ES2798798T3

ES2798798T3 - Procedimiento y aparato para obtener imágenes de determinación de distancia con un UAV, y UAV

Info

Publication number: ES2798798T3
Application number: ES16848160T
Authority: ES
Inventors: Yousheng Chen
Original assignee: Guangzhou Xaircraft Technology Co Ltd
Current assignee: Guangzhou Xaircraft Technology Co Ltd
Priority date: 2015-09-25
Filing date: 2016-09-23
Publication date: 2020-12-14
Anticipated expiration: 2036-09-23
Also published as: EP3264364A1; EP3264364A4; AU2016327918B2; CN105225241B; KR20170137934A; KR101886013B1; US20180120847A1; WO2017050279A1; JP6484729B2; CN105225241A; AU2016327918A1; WO2017050279A9; US10198004B2; EP3264364B1; JP2018527554A

Abstract

Un procedimiento para obtener una imagen de determinación de distancia con un vehículo aéreo no tripulado, UAV, que comprende: leer (S1) una secuencia de imágenes de una escena predeterminada captada por una cámara aerotransportada del UAV, donde la N-ésima imagen y la (N+1)-ésima imagen de la secuencia de imágenes tienen una región superpuesta, y una relación entre un área de la región superpuesta y un área de la N-ésima imagen o una relación entre el área de la región superpuesta y un área de la (N+1)-ésima imagen es mayor que una relación preestablecida; para cada punto de píxel en la región superpuesta, calcular (S2) una distancia de movimiento de cada punto de píxel en la región superpuesta en un sistema de coordenadas de cámara del UAV; y calcular (S2) una derivada de la distancia de movimiento de cada punto de píxel en la región superpuesta en el sistema de coordenadas de cámara del UAV con respecto al tiempo para obtener una velocidad de movimiento de píxel de cada punto de píxel en la región superpuesta en el sistema de coordenadas de cámara del UAV; obtener (S3) una velocidad de vuelo real del UAV en un sistema de coordenadas mundial mediante un dispositivo de medición de velocidad; caracterizado por que el procedimiento comprende además: obtener un valor de profundidad del i-ésimo punto de píxel (Zi) de acuerdo con una relación entre la velocidad de vuelo real (vm) del UAV en el sistema de coordenadas mundial y la velocidad de movimiento de píxel (vi) de cada punto de píxel en la región superpuesta en el sistema de coordenadas de cámara del UAV y la longitud focal (f) de la cámara aerotransportada, obtener una imagen de determinación de distancia de cada región superpuesta de acuerdo con el valor de profundidad del i-ésimo punto de píxel (Zi) y obtener una imagen de determinación de distancia de la escena preestablecida mediante la integración de la imagen de determinación de distancia de cada región superpuesta (S4).

Description

DESCRIPCIÓN

Procedimiento y aparato para obtener imágenes de determinación de distancia con un UAV, y UAV

Campo

La presente divulgación se refiere al campo técnico del procesamiento de imágenes y, más en particular, a un procedimiento y un aparato para obtener una imagen de determinación de distancia con un vehículo aéreo no tripulado (UAV) y a un vehículo aéreo no tripulado.

Antecedentes

En formas convencionales de generación de imágenes, un modelo de imagen tridimensional se convierte en una imagen bidimensional de escala de grises y la información de profundidad de la imagen se pierde durante el proceso de generación de imágenes. Sin embargo, la información de profundidad de la imagen es muy importante para aplicaciones posteriores (tal como una reconstrucción 3D, el trazado de mapas geográficos, etc.), por lo que es importante obtener una imagen de determinación de distancia (o un mapa de profundidad) tanto para la investigación teórica como para la práctica de ingeniería.

Existen dos formas de obtener una imagen de determinación de distancia en la técnica relacionada: procedimientos de adquisición activa y procedimientos de medición pasiva. En los procedimientos de adquisición activa, energía tal como un láser, ondas electromagnéticas, ondas ultrasónicas, etc. puede emitirse de manera activa, la cual es posteriormente reflejada por un obstáculo y, a continuación, se recibe dicha energía reflejada. Los procedimientos de medición pasiva se basan en la visión artificial, tal como la visión binocular.

Actualmente, los procedimientos para obtener una imagen de determinación de distancia con un UAV incluyen habitualmente emitir un haz de energía de manera activa, detectar la energía devuelta y calcular la imagen de determinación de distancia de acuerdo con la energía detectada. Sin embargo, estos procedimientos se ven afectados susceptiblemente por el entorno circundante; por ejemplo, la luz puede influir en el láser. Además, estos procedimientos requieren que el objeto a medir sea capaz de reflejar la energía. Cuando la mayor parte de la energía de emisión se absorbe, dará lugar a un fallo. Además, el alcance medible de estos procedimientos es limitado porque la energía emitida se atenuará en la atmósfera. Cuando una distancia es demasiado larga, la atenuación será tan acusada que la información de profundidad no se puede medir con precisión. Por otro lado, el procedimiento de visión binocular requiere dos cámaras y debe haber una cierta distancia entre las dos cámaras. Cuanto mayor sea la distancia a medir, mayor tendrá que ser la distancia entre las dos cámaras. En lo que respecta a un pequeño UAV, esto aumentará su carga, y la distancia máxima entre las dos cámaras es limitada, también debido al espacio limitado del pequeño UAV.

El documento de Madjidi H. et al: "Vision-based positioning and terrain mapping by global alignment for UAVs" (ADVANCED VIDEO AND SIGNAL BASED SURVELLANCE, 2003. Actas de la conferencia del IEEE celebrada el 21 y el 22 de julio de 2003, PISCATAWAY, NJ, EE.UU. IEEE, páginas 305-312) se refiere a la generación de mapas topográficos tridimensionales a partir de vídeo estereoscópico o monocular, sobre áreas de cobertura a escala de kilómetros, captado por plataformas aerotransportadas de baja altitud.

Resumen

La presente solicitud se refiere a un procedimiento para obtener una imagen de determinación de distancia con un vehículo aéreo no tripulado, UAV, de acuerdo con la reivindicación independiente 1, y a un aparato para obtener una imagen de determinación de distancia con un vehículo aéreo no tripulado, UAV, de acuerdo con la reivindicación independiente 6. Otros aspectos de la presente solicitud se definen por las reivindicaciones dependientes.

Aspectos y ventajas adicionales de formas de realización de la presente divulgación se expondrán, en parte, en la siguiente descripción, resultarán evidentes, en parte, a partir de la siguiente descripción o se obtendrán llevando a la práctica las formas de realización de la presente divulgación.

Breve descripción de los dibujos

Los aspectos y ventajas anteriores y/u otros de la presente divulgación se harán evidentes y se apreciarán más fácilmente a partir de la siguiente descripción de las formas de realización con referencia a los dibujos, en los que,

la Fig. 1 es un diagrama de flujo que ilustra un procedimiento para obtener una imagen de determinación de distancia con un UAV de acuerdo con una forma de realización de la presente divulgación,

la Fig. 2 es un diagrama esquemático que ilustra un modelo para obtener una imagen de determinación de distancia con un UAV de acuerdo con una forma de realización de la presente divulgación, y

la Fig. 3 es un diagrama de bloques que ilustra un aparato para obtener una imagen de determinación de distancia con un UAV de acuerdo con una forma de realización de la presente divulgación.

Descripción detallada

A continuación se hará referencia en detalle a formas de realización a modo de ejemplo, cuyos ejemplos se ilustran en los dibujos adjuntos, donde elementos idénticos o similares y elementos que tienen funciones idénticas o similares se denotan mediante números de referencia similares a lo largo de la descripción. Las formas de realización descritas en el presente documento con referencia a los dibujos son explicativas, sirven para explicar la presente divulgación y no debe interpretarse que limitan las formas de realización de la presente divulgación.

Un procedimiento para obtener una imagen de determinación de distancia con un vehículo aéreo no tripulado (UAV) y un UAV de acuerdo con formas de realización de la presente divulgación se describirán con referencia a los dibujos adjuntos como siguiente.

La Fig. 1 es un diagrama de flujo que ilustra un procedimiento para obtener una imagen de determinación de distancia con un UAV de acuerdo con una forma de realización de la presente divulgación. Como se ilustra en la Fig. 1, el procedimiento puede incluir lo siguiente.

En el bloque S1 se lee una secuencia de imágenes de una escena predeterminada captada por una cámara aerotransportada del UAV, donde la N-ésima imagen y la (N+1)-ésima imagen de la secuencia de imágenes tienen una región superpuesta, y una relación entre un área de la región superpuesta y un área de la N-ésima imagen o una relación entre el área de la región superpuesta y un área de la (N+1)-ésima imagen es mayor que una relación preestablecida. En otras palabras, se lee la secuencia de imágenes de un objeto a medir capturada o tomada por la cámara aerotransportada del UAV y se extraen dos imágenes contiguas de la misma, por ejemplo, la N-ésima imagen y la (N+1)-ésima imagen. Además, la N-ésima imagen y la (N+1)-ésima imagen deben tener la región superpuesta. Para garantizar la precisión de un cálculo de flujo óptico subsiguiente, la relación entre el área de la región superpuesta y el área de la N-ésima imagen o la (N+1)-ésima imagen debe ser mayor que la relación preestablecida. Más en particular, en un ejemplo de la presente divulgación, por ejemplo, la relación preestablecida es del 60%, es decir, el área de la región superpuesta representa más del 60% del área de la N-ésima imagen o la (N+1)-ésima imagen.

Además, en un ejemplo de la presente divulgación, para garantizar las cualidades de las imágenes tomadas por la cámara aerotransportada y para reducir la perturbación en el siguiente cálculo de flujo óptico que puede ser causada por vibraciones del armazón del UAV, la cámara aerotransportada puede instalarse en el UAV a través de una plataforma autoestabilizante, por ejemplo, como se ilustra en la Fig. 2. Por otro lado, para reducir la influencia de la distorsión de la propia imagen tomada por la cámara, el ángulo visual de la cámara aerotransportada no puede ser demasiado grande. En un ejemplo de la presente divulgación, el ángulo visual de la cámara aerotransportada se selecciona para que sea menor que un ángulo preestablecido. Más en particular, por ejemplo, el ángulo preestablecido puede ser de 60 grados, como se ilustra en la Fig. 2. Obviamente, el ángulo preestablecido no se limita al ángulo anterior y se puede seleccionar de acuerdo con los requisitos de una escena concreta (por ejemplo, el ángulo preestablecido puede ser inferior a 60 grados), y este ejemplo se ilustra simplemente como un ejemplo.

Además, en algunos ejemplos, como se mencionó anteriormente, cuando la distorsión de la imagen tomada por la cámara aerotransportada es acusada, la distorsión de las imágenes en la secuencia de imágenes debe ajustarse para hacer que la distorsión esté en un intervalo tolerable para las operaciones siguientes.

En el bloque S2, para cada punto de píxel en la región superpuesta, se obtiene información de cambio de posición del punto de píxel en la (N+1 )-ésima imagen con respecto a la N-ésima imagen, y se obtiene una velocidad de movimiento de píxel de cada punto de píxel en la región superpuesta en un sistema de coordenadas de cámara del UAV de acuerdo con la información de cambio de posición.

En algunos ejemplos, por ejemplo, el cambio de la información de posición (es decir, la información de cambio de posición) de cada punto de píxel en la región superpuesta en la (N+1 )-ésima imagen con respecto a la N-ésima imagen, se puede obtener mediante un procedimiento de flujo óptico basado en la coincidencia de características, y la velocidad de movimiento de píxel de cada punto de píxel en la región superpuesta en el sistema de coordenadas de cámara del UAV se puede obtener de acuerdo con el cambio de la información de posición.

En un ejemplo de la presente divulgación, el bloque S2 puede incluir adicionalmente lo siguiente.

Se calcula una distancia de movimiento de cada punto de píxel en la región superpuesta en el sistema de coordenadas de cámara del UAV. En detalle, en algunos ejemplos, la distancia de movimiento de cada punto de píxel en la región superpuesta en el sistema de coordenadas de cámara del UAV se puede calcular mediante el procedimiento de flujo óptico basado en la coincidencia de características.

En un ejemplo de la presente divulgación, calcular la distancia de movimiento de cada punto de píxel en la reglón superpuesta en el sistema de coordenadas de cámara del UAV puede incluir: calcular información de movimiento de un mismo punto de píxel en función de la información de posición del mismo punto de píxel en la N-ésima imagen y la (N+1)-ésima imagen y obtener una distancia de movimiento del mismo punto de píxel en el sistema de coordenadas de cámara de acuerdo con la información de movimiento. Como un ejemplo particular, la distancia de movimiento de cada punto de píxel en la región superpuesta en el sistema de coordenadas de cámara del UAV se puede calcular mediante la siguiente ecuación

donde, (x-i, 71) representa la información de posición del punto de píxel en la N-ésima imagen, (x2, y¡) representa la información de posición del punto de píxel en la (N+1)-ésima imagen, y (ux, uy) representa la distancia de movimiento del punto de píxel en el sistema de coordenadas de cámara.

El bloque S2 puede incluir además lo siguiente. Se calcula una derivada de la distancia de movimiento de cada punto de píxel en la región superpuesta en el sistema de coordenadas de cámara del UAV con respecto al tiempo para obtener la velocidad de movimiento de píxel de cada punto de píxel en la región superpuesta en el sistema de coordenadas de cámara del UAV.

En otras palabras, en un ejemplo particular, con el procedimiento de flujo óptico basado en la coincidencia de características, se determina una correspondencia de una posición en la (N+1)-ésima imagen para cada punto de píxel en la N-ésima imagen, después se puede calcular la distancia de movimiento de cada punto de píxel en la N-ésima imagen hasta la (N+1)-ésima imagen, y la velocidad de movimiento de píxel de cada punto de píxel en el sistema de coordenadas de cámara del UAV se puede obtener en función de la distancia de movimiento. En detalle, el procedimiento de flujo óptico basado en la coincidencia de características puede incluir un algoritmo denso y un algoritmo disperso. Con el algoritmo denso, todos los puntos de píxel en una imagen participan en el cálculo para obtener la velocidad de movimiento de píxel de cada punto de píxel en la imagen. Por otro lado, con el algoritmo disperso se pueden seleccionar partes de puntos de píxel en la imagen que son fáciles de rastrear, y el cálculo de flujo óptico se realiza con respecto a los puntos de píxel seleccionados para obtener velocidades de movimiento de píxel de estos puntos de píxel fáciles de rastrear. En un ejemplo de la presente divulgación, el procedimiento de flujo óptico práctico basado en la coincidencia de características es, por ejemplo, un algoritmo denso. Cabe destacar que calcular las velocidades de movimiento de píxel de los puntos de píxel en el sistema de coordenadas de cámara mediante el procedimiento de flujo óptico basado en la coincidencia de características es solo un ejemplo de la presente divulgación, lo que no debe interpretarse que limita la presente divulgación. Otros procedimientos para calcular las velocidades de movimiento de píxel de los puntos de píxel en el sistema de coordenadas de cámara también se pueden aplicar en la presente divulgación, los cuales están dentro del alcance de la presente divulgación.

En el bloque S3 se obtiene la velocidad de vuelo real del UAV en un sistema de coordenadas mundial.

En la práctica, la velocidad de vuelo real del UAV en el sistema de coordenadas mundial puede medirse mediante un dispositivo de medición de velocidad tal como la medición de velocidad de posicionamiento GNSS (sistema global de navegación por satélite) (por ejemplo, GPS (sistema de posición global), satélite de navegación Beidou (Osa Mayor), etc.), un medidor de velocidad aerodinámica o un radar. Después se obtiene la velocidad de vuelo medida del UAV en el sistema de coordenadas mundial.

En el bloque S4 se obtiene una imagen de determinación de distancia de cada región superpuesta de acuerdo con la velocidad de movimiento de píxel de cada punto de píxel en la región superpuesta en el sistema de coordenadas de cámara del UAV, la velocidad de vuelo real del UAV en el sistema de coordenadas mundial y parámetros de la cámara aerotransportada. Después, la imagen de determinación de distancia de cada región superpuesta puede integrarse para obtener una imagen de determinación de distancia de la escena preestablecida. En un ejemplo de la presente divulgación, los parámetros de la cámara aerotransportada pueden incluir una longitud focal de la cámara aerotransportada.

En detalle, dado que la cámara aerotransportada está instalada en la plataforma autoestabilizante, se puede asumir que cuando se toma la imagen, la velocidad angular de la cámara aerotransportada es siempre cero. En una circunstancia en la que la velocidad angular de la cámara aerotransportada es siempre cero o cercana a cero cuando se toma cada imagen, el bloque S4 puede incluir además lo siguiente.

Se establecen relaciones entre la velocidad de movimiento de píxel de cada punto de píxel en la región superpuesta en el sistema de coordenadas de cámara del UAV, la velocidad de vuelo real del UAV en el sistema de coordenadas mundial y la altura de vuelo del UAV. En detalle, por ejemplo, las relaciones entre la velocidad de movimiento de píxel de cada punto de píxel en la región superpuesta en el sistema de coordenadas de cámara del UAV, la velocidad de vuelo real del UAV en el sistema de coordenadas mundial y la altura de vuelo del UAV se pueden establecer en función del principio de formación de imágenes estenopeicas, y las relaciones se pueden expresar mediante la siguiente ecuación

Z

v = v ^—

/ 5

donde vm es la velocidad de vuelo real del UAV en el sistema de coordenadas mundial, ves la velocidad de movimiento de píxel de cada punto de píxel en la región superpuesta en el sistema de coordenadas de cámara del UAV, Z es la altura de vuelo del UAV y f es la longitud focal de la cámara aerotransportada.

El bloque S4 puede incluir además lo siguiente. La ecuación que expresa las relaciones mencionadas en el bloque SD41 se transforma para obtener un valor de profundidad de cada punto de píxel en la región superpuesta mediante la siguiente ecuación

donde Zi es el valor de profundidad del i-ésimo punto de píxel en la región superpuesta, v es la velocidad de movimiento de píxel del i-ésimo punto de píxel en el sistema de coordenadas de cámara, vm es la velocidad de vuelo real del UAV en el sistema de coordenadas mundial y f es la longitud focal de la cámara aerotransportada, que es una constante conocida.

El bloque S4 puede incluir además lo siguiente. La imagen de determinación de distancia de cada región superpuesta se obtiene de acuerdo con el valor de profundidad de cada punto de píxel en cada región superpuesta obtenida en el bloque S42, y la imagen de determinación de distancia de cada región superpuesta puede integrarse para obtener la imagen de determinación de distancia de la escena preestablecida (el objeto a medir).

En un ejemplo de la presente divulgación, el proceso anterior puede incluir además determinar si una orientación del sistema de coordenadas de cámara sigue una orientación del sistema de coordenadas mundial, y cuando la orientación del sistema de coordenadas de cámara no sigue la orientación del sistema de coordenadas mundial, ajustar la orientación del sistema de coordenadas de cámara para hacer que la orientación del sistema de coordenadas de cámara siga la orientación del sistema de coordenadas mundial.

En resumen, la presente divulgación calcula datos de profundidad de imagen mediante la combinación de la velocidad de movimiento de píxel de cada punto de píxel en el sistema de coordenadas de cámara del UAV y la velocidad de vuelo real del propio UAV y obtiene la imagen de determinación de distancia en consecuencia. Por lo tanto, cualquier procedimiento para usar una velocidad de imagen (la velocidad de movimiento de píxel de cada punto de píxel en el sistema de coordenadas de cámara del UAV) y la velocidad de vuelo real del propio UAV para obtener la imagen de determinación de distancia estará dentro del alcance de la presente divulgación.

Con el procedimiento para obtener una imagen de determinación de distancia con un UAV de acuerdo con formas de realización de la presente divulgación, la secuencia de imágenes es tomada por la cámara aerotransportada del UAV. Para la región superpuesta de dos imágenes contiguas, la velocidad de movimiento de píxel de cada punto de píxel en el sistema de coordenadas de cámara del UAV se obtiene en función de la información de cambio de posición de cada punto de píxel. La velocidad de vuelo real del UAV en el sistema de coordenadas mundial se mide mediante dispositivos tales como un GPS aerotransportado. Después se puede calcular la imagen de determinación de distancia de acuerdo con las relaciones entre las velocidades de movimiento de píxel de puntos de píxel en el sistema de coordenadas de cámara del UAV, la velocidad de vuelo real del UAV en el sistema de coordenadas mundial y la altura de vuelo del UAV. Con el procedimiento puede obtenerse con precisión la imagen de determinación de distancia, y el proceso es simple y fácil de realizar. Además, no hay requisitos de reflexión energética para el objeto a medir, de modo que la distancia medible es suficientemente larga y no hay ningún problema de atenuación de energía, por lo que tiene un amplio alcance de aplicación. Además, el procedimiento puede realizarse en el UAV de la técnica relacionada sin dispositivos adicionales y, por lo tanto, puede beneficiarse de una reducción en la carga del UAV y de un menor coste de medición. Además, también se puede evitar el fallo en la medición activa causado por la atenuación o absorción de energía en la superficie del objeto.

Las formas de realización de la presente divulgación también proporcionan un aparato para obtener una imagen de determinación de distancia con un UAV.

La Fig. 3 es un diagrama de bloques que ilustra un aparato para obtener una imagen de determinación de distancia con un UAV de acuerdo con una forma de realización de la presente divulgación. Como se ilustra en la Fig. 3, el aparato 100 para obtener una imagen de determinación de distancia con un UAV incluye un módulo de lectura 110, un módulo de cálculo 120, un módulo de medición 130 y un módulo de generación de imágenes 140.

En detalle, el módulo de lectura 110 está configurado para leer una secuencia de imágenes de una escena predeterminada captada por una cámara aerotransportada del UAV, donde la N-ésima imagen y la (N+1)-ésima imagen de la secuencia de imágenes tienen una región superpuesta, y una relación entre un área de la región superpuesta y un área de la N-ésima imagen o una relación entre el área de la región superpuesta y un área de la (N+1)-ésima imagen es mayor que una relación preestablecida. En otras palabras, la secuencia de imágenes de un objeto a medir es tomada por la cámara aerotransportada y se extraen dos imágenes contiguas de la misma, por ejemplo, la N-ésima imagen y la (N+1)-ésima imagen. Además, la N-ésima imagen y la (N+1)-ésima imagen deben tener la región superpuesta. Para garantizar la precisión de un cálculo de flujo óptico subsiguiente, la relación entre el área de la región superpuesta y el área de la N-ésima imagen o la (N+1 )-ésima imagen debe ser mayor que la relación preestablecida. Más en particular, en un ejemplo de la presente divulgación, por ejemplo, la relación preestablecida es del 60%, es decir, el área de la región superpuesta representa más del 60% del área de la N-ésima imagen o la (N+1)-ésima imagen.

Además, en un ejemplo de la presente divulgación, para garantizar las cualidades de las imágenes tomadas por la cámara aerotransportada y para reducir la perturbación en el siguiente cálculo de flujo óptico que puede ser causada por vibraciones del armazón del UAV, la cámara aerotransportada puede instalarse en el UAV a través de una plataforma autoestabilizante, por ejemplo. Por otro lado, para reducir la influencia de la distorsión de la propia imagen tomada por la cámara aerotransportada, el ángulo visual de la cámara aerotransportada no puede ser demasiado grande. En un ejemplo de la presente divulgación, el ángulo visual de la cámara aerotransportada se selecciona para que sea menor que un ángulo preestablecido. Más en particular, por ejemplo, el ángulo preestablecido puede ser de 60 grados. Obviamente, el ángulo preestablecido no se limita al ángulo anterior y se puede seleccionar de acuerdo con los requisitos de una escena concreta (por ejemplo, el ángulo preestablecido puede ser inferior a 60 grados), y este ejemplo se ilustra simplemente como un ejemplo.

En un ejemplo de la presente divulgación, cuando la distorsión de la imagen tomada por la cámara aerotransportada es acusada, el módulo de lectura 100 está configurado además para ajustar la distorsión en la secuencia de imágenes para hacer que la distorsión esté en un intervalo tolerable para las operaciones siguientes.

El módulo de cálculo 120 está configurado para obtener, para cada punto de píxel en la región superpuesta, información de cambio de posición del punto de píxel en la (N+1)-ésima imagen con respecto a la N-ésima imagen, y para obtener una velocidad de movimiento de píxel de cada punto de píxel en la región superpuesta en un sistema de coordenadas de cámara del UAV de acuerdo con la información de cambio de posición. En detalle, por ejemplo, el módulo de cálculo 120 está configurado para obtener el cambio de la información de posición (es decir, la información de cambio de posición) de cada punto de píxel en la región superpuesta en la (N+1)-ésima imagen con respecto a la N-ésima imagen mediante un procedimiento de flujo óptico basado en la coincidencia de características, y para obtener la velocidad de movimiento de píxel de cada punto de píxel en la región superpuesta en el sistema de coordenadas de cámara del UAV de acuerdo con el cambio de la información de posición.

En un ejemplo de la presente divulgación, el módulo de cálculo 120 está configurado para calcular la distancia de movimiento de cada punto de píxel en la región superpuesta en el sistema de coordenadas de cámara del UAV mediante el flujo óptico en función de la coincidencia de características. Esta acción puede incluir además calcular información de movimiento de un mismo punto de píxel en función de la información de posición del mismo punto de píxel en la N-ésima imagen y la (N+1)-ésima imagen y obtener una distancia de movimiento del mismo punto de píxel en el sistema de coordenadas de cámara de acuerdo con la información de movimiento; calcular una derivada de la distancia de movimiento de cada punto de píxel en la región superpuesta en el sistema de coordenadas de cámara del UAV con respecto al tiempo para obtener la velocidad de movimiento de píxel de cada punto de píxel en la región superpuesta en el sistema de coordenadas de cámara del UAV.

Como un ejemplo particular, la distancia de movimiento de cada punto de píxel en la región superpuesta en el sistema de coordenadas de cámara del UAV se puede calcular mediante la siguiente ecuación

donde (x1, y¹) representa la información de posición del punto de píxel en la N-ésima imagen, (x2, y2) representa la información de posición del punto de píxel en la (N+1)-ésima imagen, y (ux, uy) representa la distancia de movimiento del punto de píxel en el sistema de coordenadas de cámara. Con el procedimiento de flujo óptico basado en la coincidencia de características, se determina una correspondencia de una posición en la N-ésima imagen para cada punto de píxel en la N-ésima imagen, después se puede calcular la distancia de movimiento de cada punto de píxel en la N-ésima imagen hasta la (N+1)-ésima imagen, y la velocidad de movimiento de píxel de cada punto de píxel en el sistema de coordenadas de cámara del UAV se puede obtener en función de la distancia de movimiento. En detalle, el procedimiento de flujo óptico basado en la coincidencia de características puede incluir un algoritmo denso y un algoritmo disperso. Con el algoritmo denso, todos los puntos de píxel en una imagen participan en el cálculo para obtener la velocidad de movimiento de píxel de cada punto de píxel en la imagen. Por otro lado, con el algoritmo disperso se pueden seleccionar partes de puntos de píxel en la imagen que son fáciles de rastrear, y el cálculo de flujo óptico se realiza con respecto a los puntos de píxel seleccionados para obtener velocidades de movimiento de píxel de estos puntos de píxel fáciles de rastrear. En un ejemplo de la presente divulgación, el procedimiento de flujo óptico práctico basado en la coincidencia de características puede ser un algoritmo denso. Cabe destacar que calcular las velocidades de movimiento de píxel de los puntos de píxel en el sistema de coordenadas de cámara mediante el procedimiento de flujo óptico basado en la coincidencia de características es solo un ejemplo de la presente divulgación, lo que no debe interpretarse que limita la presente divulgación. Otros procedimientos para calcular las velocidades de movimiento de píxel de los puntos de píxel en el sistema de coordenadas de cámara también se pueden aplicar en la presente divulgación, los cuales están dentro del alcance de la presente divulgación.

El módulo de medición 130 está configurado para obtener la velocidad de vuelo real del UAV en un sistema de coordenadas mundial. En la práctica, la velocidad de vuelo real del UAV en el sistema de coordenadas mundial puede obtenerse mediante GPS, un satélite de navegación Beidou (Osa Mayor), un medidor de velocidad aerodinámica o un radar.

El módulo de generación de imágenes 140 está configurado para obtener una imagen de determinación de distancia de cada región superpuesta de acuerdo con la velocidad de movimiento de píxel de cada punto de píxel en la región superpuesta en el sistema de coordenadas de cámara del UAV, la velocidad de vuelo real del UAV en el sistema de coordenadas mundial y parámetros de la cámara aerotransportada, y para obtener una imagen de determinación de distancia de la escena preestablecida mediante la integración de la imagen de determinación de distancia de cada región superpuesta. En un ejemplo de la presente divulgación, los parámetros de la cámara aerotransportada pueden incluir una longitud focal de la cámara aerotransportada.

En detalle, dado que la cámara aerotransportada está instalada en la plataforma autoestabilizante, se puede asumir que cuando se toma la imagen, la velocidad angular de la cámara aerotransportada es siempre cero. En un ejemplo de la presente divulgación, el módulo de generación de imágenes 140 está configurado para establecer relaciones entre la velocidad de movimiento de píxel de cada punto de píxel en la región superpuesta en el sistema de coordenadas de cámara del UAV, la velocidad de vuelo real del UAV en el sistema de coordenadas mundial y la altura de vuelo del UAV. En detalle, el módulo de generación de imágenes 140 puede configurarse para establecer las relaciones entre la velocidad de movimiento de píxel de cada punto de píxel en la región superpuesta en el sistema de coordenadas de cámara del UAV, la velocidad de vuelo real del UAV en el sistema de coordenadas mundial y la altura de vuelo del UAV en función del principio de generación de imágenes estenopeicas. Las relaciones pueden expresarse mediante la siguiente ecuación:

donde vm es la velocidad de vuelo real del UAV en el sistema de coordenadas mundial, v es la velocidad de movimiento de píxel de cada punto de píxel en la región superpuesta en el sistema de coordenadas de cámara del UAV, Z es la altura de vuelo del UAV y f es la longitud focal de la cámara aerotransportada.

Después se obtiene un valor de profundidad de cada punto de píxel en la región superpuesta en función de las relaciones anteriores de la siguiente manera:

donde Z¡ es el valor de profundidad del i-ésimo punto de píxel en la región superpuesta, vi es la velocidad de movimiento de píxel del i-ésimo punto de píxel en el sistema de coordenadas de cámara, vm es la velocidad de vuelo real del UAV en el sistema de coordenadas mundial y f es la longitud focal de la cámara aerotransportada, que es una constante conocida.

Por último, la imagen de determinación de distancia de cada región superpuesta se obtiene de acuerdo con el valor de profundidad de cada punto de píxel en cada región superpuesta, y la imagen de determinación de distancia de cada región superpuesta puede integrarse para obtener la imagen de determinación de distancia de la escena preestablecida (el objeto a medir).

En un ejemplo de la presente divulgación, el aparato 100 para obtener una imagen de determinación de distancia con un UAV incluye además, por ejemplo, un módulo de ajuste (no ilustrado en las figuras). El módulo de ajuste está configurado para determinar si una orientación del sistema de coordenadas de cámara sigue una orientación del sistema de coordenadas mundial, y para ajustar la orientación del sistema de coordenadas de cámara para hacer que la orientación del sistema de coordenadas de cámara siga la orientación del sistema de coordenadas mundial cuando la orientación del sistema de coordenadas de cámara no sigue la orientación del sistema de coordenadas mundial.

Con el aparato para obtener una imagen de determinación de distancia con un UAV de acuerdo con formas de realización de la presente divulgación, la secuencia de imágenes capturada por la cámara aerotransportada del UAV es leída por el módulo de lectura. Para la región superpuesta de dos imágenes contiguas, la velocidad de movimiento de píxel de cada punto de píxel en el sistema de coordenadas de cámara del UAV se obtiene en función de la información de cambio de posición de cada punto de píxel mediante el módulo de cálculo. La velocidad de vuelo real del UAV en el sistema de coordenadas mundial se mide mediante el módulo de medición, por ejemplo dispositivos tales como un GPS aerotransportado. Después se puede calcular la imagen de determinación de distancia de acuerdo con las relaciones entre las velocidades de movimiento de píxel de puntos de píxel en el sistema de coordenadas de cámara del UAV, la velocidad de vuelo real del UAV en el sistema de coordenadas mundial y la altura de vuelo del UAV mediante el módulo de generación de imágenes. Con el aparato puede obtenerse con precisión la imagen de determinación de distancia. Además, no hay requisitos de reflexión energética para el objeto a medir, de modo que la distancia medible es suficientemente larga y no hay ningún problema de atenuación de energía, por lo que tiene un amplio alcance de aplicación. Además, el aparato puede realizarse en el UAV de la técnica relacionada sin dispositivos adicionales y, por lo tanto, puede beneficiarse de una reducción en la carga del UAV y de un menor coste de medición. Además, también se puede evitar el fallo en la medición activa causado por la atenuación o absorción de energía en la superficie del objeto.

Las formas de realización de la presente divulgación también proporcionan un UAV. El UAV incluye una cámara aerotransportada, un dispositivo de medición de velocidad, un procesador y un armazón. La cámara aerotransportada y el dispositivo de medición de velocidad están acoplados al procesador, respectivamente. El armazón está configurado para que la cámara aerotransportada, el dispositivo de medición de velocidad y el procesador se instalen en el mismo. La cámara aerotransportada está configurada para captar una secuencia de imágenes de una escena preestablecida. El dispositivo de medición de velocidad está configurado para medir o calcular una velocidad de vuelo real del UAV en el sistema de coordenadas mundial. En la práctica, el dispositivo de medición de velocidad puede incluir una medición de velocidad de posicionamiento GNSS (sistema global de navegación por satélite) (por ejemplo, GPS (sistema de posición global), satélite de navegación Beidou (Osa Mayor), etc.), un medidor de velocidad aerodinámica o un radar.

El procesador está configurado para llevar a cabo el procedimiento anterior para obtener una imagen de determinación de distancia con un UAV. En otras palabras, el procesador incluye el aparato para obtener una imagen de determinación de distancia con un UAV descrito en formas de realización anteriores de la presente divulgación.

En un ejemplo de la presente divulgación, el UAV incluye además una plataforma autoestabilizante y la cámara aerotransportada puede instalarse en el armazón a través de la plataforma autoestabilizante.

Con el UAV de acuerdo con formas de realización de la presente divulgación, la cámara aerotransportada, el dispositivo de medición de velocidad y el procesador se instalan en el armazón. La secuencia de imágenes es tomada por la cámara aerotransportada y leída por el procesador. Para la región superpuesta de dos imágenes contiguas, la velocidad de movimiento de píxel de cada punto de píxel en el sistema de coordenadas de cámara del UAV se obtiene en función de la información de cambio de posición de cada punto de píxel. La velocidad de vuelo real del UAV en el sistema de coordenadas mundial se mide mediante un dispositivo tal como un GPS aerotransportado. Después se puede calcular la imagen de determinación de distancia de acuerdo con las relaciones entre las velocidades de movimiento de píxel de puntos de píxel en el sistema de coordenadas de cámara del UAV, la velocidad de vuelo real del UAV en el sistema de coordenadas mundial y la altura de vuelo del UAV. Por lo tanto, puede obtenerse con precisión la imagen de determinación de distancia. Además, no hay requisitos de reflexión energética para el objeto a medir, de modo que la distancia medible es suficientemente larga y no hay ningún problema de atenuación de energía, por lo que tiene un amplio alcance de aplicación. Además, el procedimiento puede realizarse en el UAV de la técnica relacionada sin dispositivos adicionales y, por lo tanto, puede beneficiarse de una reducción en la carga del UAV y de un menor coste de medición. Además, también se puede evitar el fallo en la medición activa causado por la atenuación o absorción de energía en la superficie del objeto.

Los números de serie de las formas de realización en la presente divulgación solo tienen fines descriptivos y no implican que la forma de realización correspondiente sea preferible o ventajosa.

En formas de realización anteriores de la presente divulgación, se puede poner especial énfasis en diferentes partes y los detalles de las partes que no se describen en algunas formas de realización se pueden encontrar en otras formas de realización.

Debe entenderse que el contenido técnico divulgado en las formas de realización de la presente divulgación también puede lograrse de otras maneras. Las formas de realización de aparato descritas anteriormente solo tienen fines ilustrativos. Por ejemplo, la división de módulos puede ser lógica y funcional, y puede lograrse mediante diferentes maneras de división. Por ejemplo, una pluralidad de módulos de ensamblaje pueden combinarse o integrarse en otro sistema, o algunas características pueden omitirse o no ejecutarse. Además, los términos "acoplado", "acoplado directamente" o "conexión de comunicación" ilustrados o analizados pueden hacer referencia también a un acoplamiento indirecto o conexión de comunicación a través de algunas interfaces, unidades o módulos, y pueden realizarse eléctricamente o de otras maneras.

Las unidades descritas como componentes o módulos individuales pueden estar, o no, físicamente separadas; las unidades descritas como un componente de visualización pueden ser, o no, una unidad física, es decir, estar ubicadas en un lugar o estar distribuidas en una pluralidad de unidades de red. El objetivo de la presente divulgación puede lograrse mediante una parte o la totalidad de los módulos, de acuerdo con los requisitos prácticos.

Además, unidades funcionales individuales en las formas de realización de la presente divulgación pueden integrarse en un módulo de procesamiento o pueden estar físicamente presentes por separado, o dos o más unidades pueden integrarse en un módulo. El módulo integrado descrito anteriormente puede realizarse en forma de hardware o puede realizarse en forma de un módulo funcional de software.

Cuando el módulo integrado se realiza en forma de un módulo funcional de software y se vende o utiliza como un producto individual, el módulo integrado también puede almacenarse en un medio de almacenamiento legible por ordenador. Teniendo esto en cuenta, la naturaleza de las soluciones técnicas de la presente divulgación o, en otras palabras, las partes que contribuyen a la técnica anterior o a la totalidad o parte de la solución, puede realizarse o implementarse en un producto de software. El producto de software puede almacenarse en un medio de almacenamiento legible por ordenador que incluye instrucciones para que un dispositivo informático (ordenador personal, servidor o dispositivo de red) realice todas o parte de las etapas en los procedimientos descritos en las formas de realización de la presente divulgación. El medio de almacenamiento legible por ordenador puede incluir un disco flash, una memoria de solo lectura (ROM), una memoria de acceso aleatorio (RAM), un disco duro móvil, un disco magnético, un disco óptico o cualquier medio que pueda almacenar códigos de programa.

Aunque se han mostrado y descrito formas de realización explicativas, los expertos en la técnica apreciarán que se pueden realizar cambios, alternativas y modificaciones en las formas de realización.

Claims

REIVINDICACIONES

1. Un procedimiento para obtener una imagen de determinación de distancia con un vehículo aéreo no tripulado, UAV, que comprende:

leer (S1) una secuencia de imágenes de una escena predeterminada captada por una cámara aerotransportada del UAV, donde la N-ésima imagen y la (N+1)-ésima imagen de la secuencia de imágenes tienen una región superpuesta, y una relación entre un área de la región superpuesta y un área de la N-ésima imagen o una relación entre el área de la región superpuesta y un área de la (N+1)-ésima imagen es mayor que una relación preestablecida;

para cada punto de píxel en la región superpuesta, calcular (S2) una distancia de movimiento de cada punto de píxel en la región superpuesta en un sistema de coordenadas de cámara del UAV; y calcular (S2) una derivada de la distancia de movimiento de cada punto de píxel en la región superpuesta en el sistema de coordenadas de cámara del UAV con respecto al tiempo para obtener una velocidad de movimiento de píxel de cada punto de píxel en la región superpuesta en el sistema de coordenadas de cámara del UAV; obtener (S3) una velocidad de vuelo real del UAV en un sistema de coordenadas mundial mediante un dispositivo de medición de velocidad;

caracterizado por que el procedimiento comprende además:

obtener un valor de profundidad del i-ésimo punto de píxel (Zⁱ) de acuerdo con una relación entre la velocidad de vuelo real (v^m) del UAV en el sistema de coordenadas mundial y la velocidad de movimiento de píxel (vⁱ) de cada punto de píxel en la región superpuesta en el sistema de coordenadas de cámara del UAV y la longitud focal (f) de la cámara aerotransportada, obtener una imagen de determinación de distancia de cada región superpuesta de acuerdo con el valor de profundidad del i-ésimo punto de píxel (Zⁱ) y obtener una imagen de determinación de distancia de la escena preestablecida mediante la integración de la imagen de determinación de distancia de cada región superpuesta (S4).

2. El procedimiento de acuerdo con la reivindicación 1, en el que:

el valor de profundidad del i-ésimo punto de píxel (Zⁱ) se obtiene mediante la siguiente fórmula:

3. El procedimiento de acuerdo con la reivindicación 2, que comprende además:

determinar si una orientación del sistema de coordenadas de cámara sigue una orientación del sistema de coordenadas mundial;

cuando la orientación del sistema de coordenadas de cámara no sigue la orientación del sistema de coordenadas mundial, ajustar la orientación del sistema de coordenadas de cámara para hacer que la orientación del sistema de coordenadas de cámara siga la orientación del sistema de coordenadas mundial.

4. El procedimiento de acuerdo con una cualquiera de las reivindicaciones 1 -3, en el que un ángulo visual de la cámara aerotransportada es menor que un ángulo preestablecido, y el ángulo preestablecido es igual a o menor que 60 grados.

5. El procedimiento de acuerdo con una cualquiera de las reivindicaciones 1-4, que antes de calcular la distancia de movimiento de cada punto de píxel en la región superpuesta en el sistema de coordenadas de cámara del UAV, comprende además: ajustar la distorsión de imágenes en la secuencia de imágenes.

6. Un aparato para obtener una imagen de determinación de distancia con un vehículo aéreo no tripulado, UAV, que comprende:

un módulo de lectura (110), configurado para leer una secuencia de imágenes de una escena predeterminada captada por una cámara aerotransportada del UAV, donde la N-ésima imagen y la (N+1)-ésima imagen de la secuencia de imágenes tienen una región superpuesta, y una relación entre un área de la región superpuesta y un área de la N-ésima imagen o una relación entre el área de la región superpuesta y un área de la (N+1)-ésima imagen es mayor que una relación preestablecida;

un módulo de cálculo (120), configurado para calcular, para cada punto de píxel en la región superpuesta, una distancia de movimiento de cada punto de píxel en la región superpuesta en un sistema de coordenadas de cámara del UAV; y calcular una derivada de la distancia de movimiento de cada punto de píxel en la región superpuesta en el sistema de coordenadas de cámara del UAV con respecto al tiempo para obtener una velocidad de movimiento de píxel de cada punto de píxel en la región superpuesta en el sistema de coordenadas de cámara del UAV;

un módulo de medición (130), configurado para obtener la velocidad de vuelo real del UAV en un sistema de coordenadas mundial mediante un dispositivo de medición de velocidad;

caracterizado por que el dispositivo comprende además:

un módulo de generación de imágenes (140), configurado para

obtener un valor de profundidad del i-ésimo punto de píxel (Zⁱ) de acuerdo con una relación entre la velocidad de vuelo real (v^m) del UAV en el sistema de coordenadas mundial y la velocidad de movimiento de píxel (vⁱ) de cada punto de píxel en la región superpuesta en el sistema de coordenadas de cámara del UAV y la longitud focal (f) de la cámara aerotransportada, obtener una imagen de determinación de distancia de cada región superpuesta de acuerdo con el valor de profundidad del i-ésimo punto de píxel (Zⁱ) y obtener una imagen de determinación de distancia de la escena preestablecida mediante la integración de la imagen de determinación de distancia de cada región superpuesta.

7. El aparato de acuerdo con la reivindicación 6, en el que,

z t = lm>' (O < i < sumipixels)''}.

‘ * '[

8. El aparato de acuerdo con la reivindicación 7, que comprende además:

un módulo de ajuste, configurado para determinar si una orientación del sistema de coordenadas de cámara sigue una orientación del sistema de coordenadas mundial, y para ajustar la orientación del sistema de coordenadas de cámara para hacer que la orientación del sistema de coordenadas de cámara siga la orientación del sistema de coordenadas mundial cuando la orientación del sistema de coordenadas de cámara no sigue la orientación del sistema de coordenadas mundial.

9. El aparato de acuerdo con una cualquiera de las reivindicaciones 6-8, en el que un ángulo visual de la cámara aerotransportada es menor que un ángulo preestablecido y el ángulo preestablecido es igual a o menor que 60 grados.

10. El aparato de acuerdo con una cualquiera de las reivindicaciones 6-9, en el que la cámara aerotransportada está configurada además para ajustar la distorsión de imágenes en la secuencia de imágenes.