ES2646915T3

ES2646915T3 - Detección de características de las nubes

Info

Publication number: ES2646915T3
Application number: ES13789895.3T
Authority: ES
Inventors: Roderick BUCHANAN; James Duncan REVELL
Original assignee: BAE Systems PLC
Current assignee: BAE Systems PLC
Priority date: 2012-11-12
Filing date: 2013-11-11
Publication date: 2017-12-18
Anticipated expiration: 2033-11-11
Also published as: EP2917874B1; US20160283774A1; US9542600B2; EP2917874A1; AU2013343222A1; WO2014072737A1

Abstract

Un método para detectar características de nubes, que comprende: obtener (402) datos de imagen (401); identificar (404) regiones en los datos de imagen que corresponden a una región por debajo del horizonte y a una región por encima del horizonte; clasificar una o más partes de la región por encima del horizonte como cielo; clasificar (404) como característica de nube cada parte de la región por encima del horizonte que no ha sido clasificada como cielo; determinar un modelo identificación que especifica una apariencia visible de alguna o de todas las partes de la región por encima del horizonte que han sido clasificadas como una característica de nube; y utilizando el modelo de identificación determinado, clasificar como característica de nubes aquellas regiones de la región por debajo del horizonte cuya apariencia se especifica en el modelo de especificación; en donde la etapa de clasificar una o más partes de la región por encima del horizonte como cielo comprende: seleccionar una parte de la región por encima del horizonte; y clasificar la parte seleccionada como cielo si las propiedades de los píxeles dentro de la parte seleccionada cumplen uno o más de los criterios predeterminados; caracterizado por que la etapa de clasificar una o más partes de la región por encima del horizonte como cielo además comprende: calcular los gradientes de las imágenes para los canales rojo-verde-azul de los datos de imagen en las direcciones tangencial y normal respecto de la línea del horizonte; uniformizar los gradientes de la imagen calculados para los canales rojo-verde-azul realizando un promedio sobre una región local circular; y sumar los gradientes de la imagen de los canales rojo-verde-azul uniformizados para producir un valor de uniformidad combinado de cada píxel en la dirección tangencial a la línea del horizonte, y para producir un valor de uniformidad combinado de cada píxel en la dirección normal a la línea del horizonte; en donde, para cada píxel de la parte seleccionada de la región por encima del horizonte, los valores de uniformidad combinados de ese píxel en la direcciones tangencial y normal a la línea del horizonte tienen un valor por debajo de un umbral predeterminado.

Description

5

10

15

20

25

30

35

40

45

50

DESCRIPCION

Deteccion de caractensticas de las nubes.

Campo de la invencion

La presente invencion esta relacionada con la deteccion de caractensticas de las nubes.

Antecedentes

En situaciones tales como el control autonomo de aeronaves puede ser deseable detectar caractensticas de las nubes de forma automatica sin tener que depender de la vista o aporte humano. Un sistema que detecta las caractensticas de las nubes se puede combinar con un planificador de ruta o similar para ayudar a una aeronave a evitar el mal clima u otras aeronaves u objetos que puedan estar ocultos en las nubes. Ademas, es diffcil obtener informacion de telemetna relacionada con las caractensticas de las nubes debido al movimiento de las nubes y a la tipicamente pequena lmea de base de triangulacion. El documento "EO/IR Due Regard Capability for UAS Based on Intelligent Cloud Detection and Avoidance" por Hieu Nguyen et al, AIAA Infotech at Aerospace, 22 de abril de 2010 (2010-04-22), XP008161698, Atlanta, Georgia, US DOI: 10.2514/6.2010-3338, ISBN: 978-1-60086-743-9, describe un metodo para detectar caractensticas de las nubes segun el estado de la tecnica.

Compendio de la invencion

Segun un primer aspecto, la presente invencion provee un metodo para detectar caractensticas de las nubes segun la reivindicacion 1. Segun un aspecto adicional, la presente invencion provee un aparato para detectar caractensticas de las nubes segun la reivindicacion 16. Segun un aspecto adicional, la presente invencion provee una aeronave (p.ej. una aeronave autonoma o no tripulada) que comprende un aparato segun el aspecto anterior.

Segun un aspecto adicional, la presente invencion provee un programa o una pluralidad de programas instalados segun la reivindicacion 18. Segun un aspecto adicional, la presente invencion provee un medio de almacenamiento legible por ordenador segun la reivindicacion 19. Los aspectos de la invencion estan destinados a solucionar al menos algunos de los problemas mencionados anteriormente. Los aspectos de la presente invencion pueden realizar segmentacion y clasificacion de escenas para determinar las regiones donde hay nubes, suponiendo tipicamente que solo hay cielo y nubes en la imagen por encima del horizonte y solo nubes y superficie/suelo por debajo. Como el cielo y las nubes pueden tener colores muy parecidos, los aspectos de la presente invencion pueden utilizar informacion basada en texturas y gradientes para separar el cielo de las nubes. Asf se puede mantener un modelo basado en colores en base a la apariencia de la nube observada por encima del horizonte, y se podra utilizar para clasificar lo observado por debajo del horizonte. Este planteamiento puede ser relativamente rapido y obtiene resultados razonables en una serie de escenarios y condiciones lummicas.

Se pueden generar estimaciones de telemetna por medio de realizaciones de la invencion que utilizan uno o dos metodos complementarios para localizar caractensticas. El primero se puede basar en las divergencias del flujo optico en el ambito local, y se obtiene midiendo la expansion de los caractensticas de una imagen local a traves del tiempo. El segundo metodo puede utilizar la velocidad y la direccion actual del viento, que se obtiene por medio de los sensores atmosfericos de la aeronave. Esto permite inferir el movimiento de las nubes en altitudes similares, y hace posible estimar la telemetna de una caractenstica en movimiento en base a tecnicas de triangulacion.

Si bien en la presente se describen en detalle realizaciones ilustrativas de la invencion en referencia a los dibujos que la acompanan, se ha de comprender que la presente invencion no esta limitada por estas realizaciones precisas.

Mas aun, se contempla que una caractenstica particular descrita tanto de forma individual o como parte de una realizacion se puede combinar con otras caractensticas descritas de forma individual, o con partes de otras realizaciones, incluso si las otras caractensticas y realizaciones no hacen mencion a dicha caractenstica particular.

Breve descripcion de los dibujos

La invencion se puede llevar a cabo de varias formas, y, solo a modo de ejemplo, se describen a continuacion las realizaciones de la invencion en referencia a los dibujos que las acompanan, donde:

La figura 1 es un diagrama de bloque de una realizacion con conexion del sistema de deteccion de caractensticas de las nubes;

La figura 2 es un diagrama de bloque de una realizacion sin conexion del sistema de deteccion de caractensticas de las nubes;

La figura 3 es un ejemplo de una visualizacion en pantalla producida por una realizacion del sistema;

La figura 4 es un diagrama de flujo que muestra las etapas que se llevan a cabo en la realizacion;

5

10

15

20

25

30

La figura 5 muestra un ejemplo de una malla utilizada en la realizacion;

La figura 6 muestra un calculo geometrico llevado a cabo en la realizacion; y La figura 7 muestra un calculo de viento trasversal utilizado en algunas realizaciones.

Descripcion detallada

Las realizaciones del sistema son capaces de operar en modos con conexion o sin conexion. Los diagramas del sistema para estos modos de operacion se muestran en las figuras 1 y 2, respectivamente. Normalmente, las realizaciones del sistema que operan en el modo con conexion incluyen componentes en base a una aeronave, que pueden ser al menos parcialmente autonoma. El sistema 101 incluye un dispositivo informatico 100, que incluye un procesador y una memoria configurados con un codigo que ejecuta los metodos como se describen en la presente memoria. Se pueden crear las realizaciones del sistema en MATLAB™, utilizando herramientas disponibles en el mercado para la adquisicion de datos de video y para las entradas/salidas de UDP (protocolo de datagrama de usuario). El dispositivo informatico puede recibir entradas de datos de fuentes de datos o de dispositivos a traves de enlaces de comunicacion por cable o inalambricos. El sistema puede recibir como entradas de datos los datos de navegacion y de video de la plataforma, tanto de un archivo de registro (en el modo sin conexion) o directamente a traves de una interfaz de red (en el modo con conexion). Se puede apreciar que la disposicion de los componentes que se muestran en las figuras es solo a nivel de ejemplo, y que las funciones realizadas por varios de los componentes se pueden integrar o distribuir de forma distinta.

En la realizacion con conexion de la figura 1, el dispositivo informatico 100 recibe como entrada de datos una imagen de un dispositivo de camara 102, asf como datos de navegacion (p. ej. en el conocido formato UDP) de una aplicacion de interfaz SOI 104 opcional, que comprende software de comunicacion de soporte intermedio utilizado para enviar y recibir datos entre sistemas. Los datos de navegacion pueden incluir datos de latitud, longitud, altitud, barrido, inclinacion, alabeo y de tasas al menos en relacion a la aeronave en el momento en el que se capturan los datos de imagen.

La aplicacion 104 recibe los datos de un fichero de registro de navegacion 106 (en el conocido formato de datos .csv). La camara 102 es tipicamente una camara de video, pero puede ser por lo general cualquier dispositivo capaz de producir una secuencia de datos basados en imagenes de cualquier manera apropiada y en cualquier formato de datos. En la realizacion sin conexion de la figura 2, el dispositivo informatico 100 recibe entradas de datos de una fuente de datos 202 en el formato de un fichero de registro de navegacion y video (en el conocido formato de datos .ice, en el ejemplo).

El sistema puede proveer datos en el formato de un tipo de datos de nubes personalizados, que puede ser en la forma de una malla gruesa no uniforme sobre la imagen. A continuacion se muestra un ejemplo de datos:

Nombre del campo: Tipo: Descripcion

tipo_nube

marcadetiempo: uint64 Nanosegundos desde 1970

etiqueta_validez: int32 Validacion (0 = nulo, 1 = normal, 2 = prueba, 3 = sin datos)

numero_de_elementos_nube: int32 Numero de celdas en la malla en los elementos_nube

elementos_nube: tipos_disposicion_celda_nube (tipodef tipo_celda_nube [20])

tipo_celda_nube

numero-celdas: int32

clasificacion_nubes: float32 Fraccion de la celda clasificada como nube

5

10

15

20

25

30

35

Nombre del campo: Tipo: Descripcion

tipo_nube

validez_telemetna: int32 Comprueba si se ha calculado correctamente la telemetna estimada de las nubes en esta celda.

telemetna: float32 Telemetna media estimada de las nubes en esta celda (metros)

desv_estandar_telem: float32 Desviacion estandar estimada de la telemetna media de las nubes en esta celda (metros)

azimut_centroide_celda: float32 Angulo (en rad) del centroide de la celda medido en el plano horizontal desde el norte (positivo en la direccion de la agujas del reloj)

elevacion_centroide_celda: float32 Angulo (en rad) del centroide de la celda sobre el plano horizontal (positivo hacia arriba)

En algunas realizaciones, cada celda en la malla/red tendra una clasificacion (la fraccion de nube que llena esa celda) y contendra informacion de la telemetna obtenida de las caractensticas de las nubes localizadas. Si no se ha podido determinar la informacion de telemetna, se pondra una bandera de invalidado para esa celda. Ademas de la red, tambien se incluira una bandera binaria que representa si existen caractensticas bien localizadas sobre la superficie de la tierra, que indica si la superficie es visible. Se definira la estructura de la malla en el fichero de configuracion del sistema.

Para las operaciones con conexion, se podran enviar estas salidas de datos por medio de UPD, mientras que para las operaciones sin conexion, simplemente se podran mostrar y/o comparar estos datos con la verificacion en tierra 204 (informacion verificada por humanos en relacion a la posicion real de las nubes). En las operaciones sin conexion, no se utilizara el fichero de registro de navegacion externo y, en cambio, se utilizaran los datos de navegacion obtenidos del archivo de registro .ice. En las dos realizaciones de las figuras 1 y 2, el dispositivo informatico 104 esta conectado a un dispositivo de visualizacion 108. El dispositivo de visualizacion se podra utilizar para mostrar una visualizacion similar a la de la figura 3, que provee informacion sobre las posiciones de las nubes detectadas. Un piloto o navegador a bordo de la aeronave podra utilizar esta informacion en la realizacion con conexion de la figura 1 como ayuda para volar la aeronave. Como se muestra en la figura 3, las areas de nubes detectadas se pueden mostrar como regiones transparentes 301 (rojas); las regiones de caractensticas localizadas de telemetnas de menos de 10 km seran puntos 302 (azules), con las telemetnas estimadas asociadas dadas en metros (porcentaje de error estimado provisto entre parentesis); la lmea del horizonte 303 se muestra como una lmea continua (gris); los lfmites de mas/menos cuatro grados se muestran como lmeas discontinuas 304 (grises). Se puede apreciar que las tecnicas de presentacion de informacion descritas son solo a modo de ejemplo, y que puede haber muchas otras posibles, p. ej., no es necesario superponer la informacion de las caractensticas de las nubes sobre una imagen real, y podna ser, en cambio, una vista en planta que muestre las aproximaciones graficas de las caractensticas de las nubes con respecto a una representacion grafica de la aeronave.

La figura 4 muestra un proceso de desarrollo de una realizacion del sistema de deteccion y seguimiento 101 que incluye un modulo de deteccion de aeronaves, ademas del sistema de deteccion de caractensticas de las nubes. El sistema de deteccion de aeronaves es opcional/por separado, y no se describe en detalle en la presente memoria. Los modulos centrales (etapas 402, 404, 406) son comunes para aeronaves y para la deteccion de nubes, mientras que los modulos en la parte derecha (408, 409, 410) se utilizan solo para la deteccion de nubes. Un experto en la tecnica puede apreciar que estas etapas son solo a modo de ejemplo, y que se pueden omitir y/o reordenar en realizaciones alternativas de la invencion. Asimismo, el metodo se puede implementar utilizando cualquier hardware, lenguaje de programacion y estructura de datos adecuados.

Como se explica arriba, el sistema 101 recibe los datos 401 de video y de navegacion como entradas de datos, que estan disponible tanto como datos Live (en vivo) o datos Logged (registrados). En algunas realizaciones, la camara 102 toma y envfa imagenes de 5 megapfxeles a una tasa de 15Hz. Los datos de navegacion se pueden enviar a una tasa de 50Hz. Los ficheros de registro contienen datos capturados a tasas similares. En realizaciones con conexion, la camara transmite los datos de video en vivo con el protocolo de vision GiGE, y se puede adquirir por medio del Matlab Image Acquisition Toolbox. Los datos de navegacion se pueden transmitir a traves de una interfaz UPD y se pueden adquirir con el Matlab Image Acquisition Toolbox. Para las realizaciones sin conexion, la principal fuente de

5

10

15

20

25

30

35

40

45

50

55

60

datos registrados puede ser un fichero de registro .ice que contiene datos de video y de navegacion. Estas fuentes de datos se pueden introducir al mismo tiempo y pueden tener un margen de error de sincronizacion de hasta 5ms. En realizaciones alternativas, se pueden anadir formatos de archivo de video (p. ej. mp4) y/o el formato de archivo de registro Nav (p.ej., .csv).

La entrada de datos 401 se procesa por medio de una etapa de adquisicion y sincronizacion de datos 402. Como parte del proceso de sincronizacion de datos, cuando se combinan fuentes multiples de datos (que pueden operar a tasas distintas), es preferible presentar un paquete de datos sincronizado. Este contiene los paquetes de datos adecuados que estan mejor alineados unos con otros en cuanto a tiempo. La construccion de este paquete se activa cuando se reciben nuevos fotogramas de video. Puede haber tres modos operacionales en los que la interpretacion del tiempo difiere: la operacion en vivo, la reproduccion en vivo de datos registrados, y la reproduccion independiente.

- El modo de operacion en vivo corresponde a operar con conexion, y el sistema adquiere datos tan rapido como puede procesarlos. El sistema no almacenara en memoria temporal los datos que no pueda procesar, y los descartara.

- En el modo de reproduccion en vivo de datos registrados, los datos se reproduciran en las tasas a las que se capturaron. Hay una relacion de uno a uno entre el tiempo simulado del sistema y el tiempo real. Si los componentes algontmicos del sistema tardan demasiado tiempo en operar, los datos que se hubieran reproducido durante ese tiempo se descartaran y no se procesaran. Se puede utilizar este modo para analizar el rendimiento que puede alcanzar un sistema en vivo.

- En el modo de reproduccion independiente, los datos se reproduciran a una tasa diferente (variable) de la que se capturaron. Esto permite al sistema procesar todos los datos o una fraccion espedfica, segun se desee. Las realizaciones sin conexion tfpicamente operan de este modo.

En la etapa 402, el sistema 101 ejecuta una etapa 404 de segmentacion y clasificacion de imagen. Eso puede involucrar uniformizar la imagen, eXtraer el horizonte y segmentar la imagen para detectar regiones del cielo, las nubes y la superficie. La parte de la etapa que incluye uniformizar y hacer un muestreo descendente de la imagen hace uniforme el ruido de las imagenes de alta resolucion para producir imagenes mas uniformes en resoluciones mas bajas. Tfpicamente, se utiliza un factor de 1/4 o 1/6 y se promedian los pfxeles para formar la imagen mas pequena. La parte de la etapa que incluye la extraccion del horizonte calcula la posicion del horizonte, p. ej., a partir de la posicion global conocida del sensor a bordo de la aeronave, y la proyecta en la imagen. Esto permite separar dos regiones de la imagen antes de intentar clasificar la escena. En la parte de la etapa que incluye la segmentacion y clasificacion de la escena, se puede segmentar cada imagen en cielo, nubes y superficie. Esto se lleva cabo suponiendo que solo existen el cielo y las nubes en la imagen por encima del horizonte, y que solo existen nubes y superficie por debajo del horizonte. Como puede parecer que el cielo y las nubes tienen colores muy similares, se utiliza informacion basada en texturas y gradientes para separar el cielo de las nubes. Se determina entonces un modelo de identificacion en base a la apariencia de las nubes que se observan por encima del horizonte. En esta realizacion, el modelo de identificacion es un modelo basado en colores como se describe luego en mas detalle en referencia a la figura 6. Este modelo de colores luego se usa para clasificar las caractensticas por debajo del horizonte como nubes. Este planteamiento suele ser relativamente rapido comparado con tecnicas convencionales. Asimismo, a medida que cambian los colores/la apariencia de las nubes dependiendo de las condiciones lummicas, la hora del dfa, las condiciones climaticas/medioambientales, etc., al utilizar caractensticas por encima del horizonte que se identifican como nubes para determinar un modelo de colores para identificar las nubes por debajo del horizonte, el metodo descrito en la presente memoria suele ser muy ventajoso en una variedad de escenarios y condiciones lummicas.

En la etapa 406 se ejecuta una etapa de deteccion y seguimiento de caractensticas, donde se extraen, asocian y se siguen las caractensticas de una imagen a lo largo del tiempo utilizando la informacion de navegacion para formar seguimientos a traves del plano de la imagen. La parte de esta etapa de extraccion de caractensticas detecta las caractensticas visibles mas prominentes en las versiones de las imagenes en escalas de grises. Un algoritmo de deteccion busca en escalas multiples y extrae partes de imagenes que contienen la textura y los picos de intensidad locales. Se descartan las otras caractensticas que se encuentren en una region que se haya clasificado antes como cielo. Se mantienen todos las otras caractensticas. En la parte de la etapa de la asociacion de caractensticas, se asocian caractensticas de la imagen en fotogramas multiples utilizando los datos de navegacion para realizar una busqueda local de un area similar en base a tecnicas estandar de procesamiento de imagenes. El uso de datos de navegacion hace posible que haya desplazamientos angulares y de posicion relativamente amplios entre distintos fotogramas, al mismo tiempo que mantiene una asociacion de caractensticas fiable. Esto permite al sistema operar a una tasa de fotograma mas baja sin disminuir el rendimiento de manera significativa. En la parte de la etapa de seguimiento de caractensticas, se utilizan las asociaciones entre caractensticas para producir seguimientos temporales del movimiento de las caractensticas a traves del espacio de la imagen. Esto hace posible seleccionar caractensticas fiables para procesarlas en mas detalle. En este punto, los seguimientos pueden ser de caractensticas ubicados en frentes de nubes o en la superficie del suelo. Algunas realizaciones de la invencion pueden identificar solo caractensticas de nubes en la region que esta por encima del horizonte para reducir el procesamiento.

5

10

15

20

25

30

35

40

45

50

55

En la etapa 408 se ejecuta un proceso de localizacion y telemetna. Suele resultar diffcil obtener informacion de telemetna sobre caractensticas de las nubes debido al movimiento de las nubes y a la tipicamente pequena lmea de base de triangulacion. Esta etapa puede emplear uno de dos metodos de localizacion de caractensticas. El primero se basa en divergencias del flujo optico en el ambito local (ver, por ejemplo, Y. Barniv, "Passive Ranging Using Image Expansion", IEEE Trans.) Aerospace and Electronic Systems Vol. 31, No. 1 1995 y C. Raju, S. Zabuawala, S. Krishna & J. Yadegar, "A Hybrid System for Information Fusion with Application to Passive Ranging", In Proc. Int. Conf. on Image Processing, Computer Vision, and Pattern Recognition, 2007) y se obtiene midiendo las escalas y convirtiendo una region de caractensticas anterior en una posterior. Cuanto mayor sea el cambio de escalas, mas grande sera la caractenstica y mas cerca se encontrara el objeto.

El segundo metodo utiliza una opcion de configuracion introducida por el usuario que especifica la velocidad y la direccion actuales del viento (que se obtienen por medio de los sensores atmosfericos de la aeronave). La velocidad del viento se utiliza como una entrada de datos cuando no se puede observar la telemetna de una caractenstica que se mueve en el mismo plano que un sensor en movimiento que solo detecta orientacion (p. ej., la nube esta a la misma altitud que la aeronave) (ver S. Avidan & A. Shashua, "Trajectory Triangulation of Lines: Reconstruction of a 3D Point Moving Along a Line from a Monocular Image Sequence", IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000). Para determinar si la superficie del suelo es visible y si los objetos sobre ella se pueden discernir, se realiza una comprobacion de cualquier caractenstica visible prominente que este bien localizada y a una altitud cercana al nivel de la tierra/el mar.

La salida de datos del tipo de nubes 410 que produce la etapa 408 puede comprender una malla gruesa no uniforme sobre la imagen. Cada celda en la red puede tener una clasificacion (la fraccion de la celda clasificada como nube) y contener informacion de telemetna obtenida de las caractensticas de nubes localizadas. Ademas de la red, tambien podra incluir una bandera binaria que representa si existen caractensticas bien localizadas sobre la superficie de la tierra, que indica si la superficie es visible. La figura 5 muestra un ejemplo de una malla. En la figura 5, la malla es mas densa en areas de la imagen que tienen la misma altitud que la aeronave cuando esta volando recto y horizontal.

Debajo se ofrece una descripcion detallada de las tecnicas y los fundamentos matematicos de las etapas realizadas por el sistema 101, con referencia las figuras 6 en adelante. Un experto en la tecnica podra apreciar que es posible implementar realizaciones del metodo en base a las ecuaciones y calculos dados a continuacion o a cualquier equivalente matematico.

Se calibra la camara 102 montada en la aeronave como parte del modelo de sistema. Los datos intnnsecos de calibracion especifican los parametros internos de la camara para instanciar un modelo de camara estenopeica realista. Este modelo mapea un punto en el marco local de la camara c = [cx, cy, cz]T a un punto de la imagen u = [ux, uy, 1]T a traves de la transformacion no linear

(1) U = Mc'

donde c' = [cx/cz, cx/cz, 1]T y la matriz intnnseca M de la camara se construyen a partir de la distancia focal, la relacion de aspecto focal, y las coordenadas de imagen en el eje optico. El sistema de coordenadas locales de la camara se define con "z" en el eje optico, "y" apuntando hacia arriba, "x" hacia la izquierda y el origen como el punto focal. La coordenada "z" de un punto se referira a menudo como la profundidad del punto. Los ejes de coordenadas de la imagen se originan en el pixel de arriba a la izquierda en la imagen y "x" positivo hacia la derecha e "y" positivo hacia abajo. El mapeo (1) se puede invertir si se conoce la profundidad del punto.

imagen1

Las pruebas han demostrado que las distorsiones de lente, que pueden causar que las ubicaciones reales del pixel difieran de las que predice la ecuacion (1), son pequenas en comparacion con los errores que introducen los parametros extnnsecos, y no se han incorporado al sistema. Si en el futuro se desea incorporar el modelo de distorsion de lente al sistema, se puede llevar a cabo una etapa de rectificacion de imagen antes de realizar todas las otras operaciones, sin realizar ningun otra modificacion.

De igual manera, se puede realizar una estimacion de la ubicacion y la rotacion de la camara en la aeronave con respecto a las plataformas del sistema de navegacion inercial (INS) para la calibracion extnnseca. Esto permite definir un vector de traslacion Ta y una matriz de rotacion Ra que mapean un punto en el marco local de la aeronave a = [ax, ay, Szf al marco local de la camara c

(3) C = Ra (a - Ta)

El vector de traslacion se construye a partir de la ubicacion de la camara con respecto del marco de coordenadas de INS T = [Tx, Ty, Tz]T, mientras que la matriz de rotacion se construye a partir de las rotaciones necesarias alrededor de los ejes x, y, z, para transformar el sistema de ejes de INS en los de la camara, y se puede construir utilizando los componentes de la matriz individual de rotacion Ra = Rx(9x),Ry(9y)Rz(9z). En la presente memoria, el origen del sistema de coordenadas de la aeronave se centra en la antena de INS y tiene el eje "x" apuntando hacia adelante a

5

10

15

20

25

30

35

40

45

50

lo largo del eje de la aeronave, mientras que el eje "y" apunta hacia fuera sobre el ala derecha y el eje "z" apunta hacia abajo a traves del suelo de la aeronave.

Se realiza una operacion similar para desarrollar un mapeo a partir de un sistema de coordenadas mundiales al marco de la aeronave. El sistema de coordenadas mundiales en uso actualmente es UTM y supone que el viaje tiene lugar dentro de una sola zona. El sistema de ejes define el norte como el eje "x", el este como el eje "y", y abajo como el eje "z". Se puede construir un vector de traslacion Tw y una matriz de rotacion Rw a partir de la latitud, longitud, altitud, alabeo, cabeceo y guinada de la aeronave, y se puede utilizar para mapear un punto en el mundo w = [wx,Wy,Wz]T a un punto en el marco de la aeronave a

(4) a = Rw (W - Tw)

Este permite construir un solo componente de traslacion y rotacion para la camara que encapsula la solucion INS y la compensacion del montaje de la camara,

(5)

c^RjRiw-T)-T)

— R{ tv— / }

donde

y

imagen2

Para realizar la deteccion de nubes (parte de la etapa 404 de la figura 4), primero se divide la imagen al proyectar la ubicacion del horizonte sobre la imagen utilizando la ubicacion y rotacion estimadas de la camara a partir de la informacion de calibracion extrmseca y de la solucion INS. Esto permite extraer dos regiones que corresponden a las regiones por encima y por debajo del horizonte. Se han estudiado varias tecnicas de clasificacion para clasificar estas dos regiones en cielo, nubes y superficie utilizando una variedad de imagenes de caractensticas con informacion de textura y color, y los inventores han hecho una seleccion en base a la velocidad y el rendimiento de la clasificacion. Esto utiliza un modelo de dominio espedfico calibrado para extraer el cielo, y un modelo de nubes 409 aprendido y refinado en lmea a partir de las areas restantes que no son cielo y estan por encima del horizonte (nubes). Luego se utiliza este modelo para clasificar la region por debajo del horizonte para determinar otras areas donde hay nubes. Este metodo no intenta modelar la apariencia del suelo, que puede variar en gran medida.

Para segmentar y clasificar el cielo (tambien parte de la etapa 404), las propiedades de lo azul y uniforme del cielo se pueden aprovechar para clasificar la region por encima del horizonte de la manera siguiente.

En primer lugar, se pueden identificar o extraer las regiones uniformes de la porcion por encima del horizonte. En esta realizacion, el termino "uniforme" se refiere a una region en la que, por cada celda/pfxel en esa region, el gradiente RGB a traves de esa celda/pfxel (p. ej. tanto en la direccion vertical como horizontal) tiene un valor por debajo de un umbral predeterminado. En algunas realizaciones de la invencion, se utiliza una definicion diferente de uniforme.

En segundo lugar, en esta realizacion, las regiones identificadas como "uniformes" de la parte por encima del horizonte se clasifican como cielo si contienen pfxeles de un color azul fuerte. En otras realizaciones, se podran utilizar uno o mas criterios diferentes de colores para clasificar una region como cielo. La apariencia/color del cielo puede depender, por ejemplo, de la hora local del dfa, de las condiciones climaticas locales, etc. Por ejemplo, a ciertas horas del dfa, el cielo puede tener un color violeta, rosa u otro color en lugar de azul fuerte. De esta manera, dependiendo de la hora del dfa o de otro parametro, se podra seleccionar y utilizar un criterio de colores para clasificar el cielo. Asimismo, en algunas realizaciones, se utilizan uno o mas criterios distintos en lugar de uno o mas criterios de colores, o ademas de dichos criterios. Por ejemplo, en otras realizaciones de la invencion, se puede utilizar un criterio basado en tonalidad, saturacion, propiedades de iluminacion/luminosidad, o cualquier otra propiedad de la imagen para clasificar el cielo.

Se ha llegado a la conclusion de que, en general, el cielo tiende a ser mas uniforme en la direccion paralela al horizonte en comparacion con una direccion que es perpendicular al horizonte. Por lo tanto, en esta realizacion, los gradientes de las imagenes se calculan por separado para los canales RGB de la imagen en las direcciones tangenciales (Rt ,Gt ,Bt) y normales (Rn ,Gn ,Bn) respecto a la lmea del horizonte. En esta realizacion, esto se llevara a cabo de la forma siguiente. Primero, se utiliza una imagen para calcular una primera direccion, que es paralela a la lmea del horizonte en la imagen. Segundo, se calculan gradientes de la imagen en la primera direccion para cada una de las celdas/pfxeles de la imagen y para cada uno de los canales de color de la imagen (p. ej., para cada uno de los canales de color rojo, verde y azul). Tercero, se utiliza una imagen para calcular una segunda direccion, que es perpendicular a la lmea del horizonte en la imagen. Cuarto, se calculan gradientes de la imagen en la segunda direccion para cada una de las celdas/pfxeles de la imagen y para cada uno de los canales de color de la imagen.

Se podra uniformizar mas aun los gradientes de los canales RGB separados que han sido calculados realizando un promedio sobre una region local circular. Luego de uniformizarlos, los canales RGB se suman para producir un valor

5

10

15

20

25

30

35

40

45

50

55

de uniformidad combinado de un p^xel en las direcciones tangencial y normal. Se marcan entonces como umbrales para extraer conjuntos de pfxeles conectados que pertenecen a regiones de uniformidad variable.

Como una nube tambien puede tener regiones de uniformidad variable, no siempre se puede utilizar solo la propiedad de uniformidad para detectar regiones del cielo. En esta realizacion, solo se marcan como cielo aquellas regiones que contengan pfxeles de un color azul fuerte. En la presente, azul fuerte se define utilizando dos tecnicas heunsticas: (i) el color azul tiene que ser el componente RGB mas fuerte del pixel, y (ii) el valor de saturacion del pixel, que se define para cada pixel como 1 - mm(R, G,B) / max(R,G,B), debe estar por encima de un umbral predeterminado. El valor del umbral se puede determinar empmcamente a partir de experimentos y puede ser un valor controlado por el usuario para permitir que el operador lo "modifique".

Una limitacion de este planteamiento puede ocasionar que no se consiga detectar el borde entre el cielo y una nube debido a la mala identificacion (p. ej. por niebla) de los bordes de la nube. Una opcion para mejorar el rendimiento bajo estas circunstancias consiste en combinar el metodo con un esquema de clasificacion basado en un campo aleatorio de Markov que puede determinar con mas exito los lfmites entre las clases y aplicar restricciones globales.

Para la segmentacion y clasificacion de nubes (tambien parte de la etapa 404), se supone que la region por encima del horizonte que no se clasifica como cielo es nube, y se utiliza para construir y mantener un modelo de colores para la apariencia visible de las nubes. Este modelo permite detectar nubes por debajo del horizonte. El modelo consiste en una serie de distribuciones gaussianas ponderadas en un espacio tridimensional RGB y captura las variaciones en colores que se han observado recientemente en las nubes por encima del horizonte, y permite detectar regiones similares por debajo del horizonte. Se basa en el planteamiento de aprendizaje de supervision propia de H. Dahlkamp, A. Kaehler, D. Stavens, S. Thrun, & G. Bradski, "Self-supervised Monocular Road Detection in Desert Terrain", In Proc. of Robotics: Science and Systems, 2006, y permite clasificar si la imagen por debajo del horizonte es una nube o no. Se puede encontrar un planteamiento similar al algoritmo de deteccion de objetos en base a colores en S. McKennaa, Y. Rajab, S. Gong, "Tracking colour objects using adaptive mixture models", Image and Vision Computing, Vol. 17, 1999, que tambien se puede utilizar.

En esta realizacion, el modelo de identificacion determinado a partir de las nubes por encima del horizonte y utilizado para clasificar las regiones por debajo del horizonte es un modelo de colores. Sin embargo, en otras realizaciones de la invencion, uno o mas tipos de modelos de identificacion se pueden utilizar en lugar del modelo de colores, o ademas de dicho modelo. Por ejemplo, en otras realizaciones, se puede utilizar un modelo basado en tonalidad, saturacion, propiedades de luminosidad/iluminacion, o cualquier otra propiedad para modelar la apariencia visible de las nubes.

En esta realizacion, el modelo de colores toma como entrada de datos los valores RGB de todos los pfxeles por encima del horizonte y no del cielo. Se utiliza un algoritmo de agrupamiento k-promedios a partir de estos datos para producir un conjunto de puntos agrupados. Esta agrupacion permite construir un modelo de mezcla gaussiana que resume las nubes observadas en promedios y covarianzas en el espacio RGB. Este modelo se produce a partir de la imagen actual y se utiliza para actualizar un modelo de mezcla gaussiana distinto que persiste durante toda la operacion del sistema y que sigue lentamente el cambio de las caractensticas visibles de las nubes observadas. El artfculo de Dahlkamp mencionado mas arriba contiene los detalles de la inicializacion y el esquema de actualizacion.

De manera opcional, para mejor el rendimiento del sistema de clasificacion y para clasificar correctamente las nubes por debajo del horizonte que tienen un aspecto muy diferente al de aquellas por encima del horizonte, el modelo de apariencia se puede actualizar en base a las regiones de imagenes detectadas que se hayan seguido y localizado correctamente, y que se sepa que no se encuentran sobre la superficie de la tierra (ver bucle de retroalimentacion en la figura 4). Esto depende de la capacidad para localizar correctamente las caractensticas, algo que sin embargo ha resultado diffcil en las pruebas preliminares. El rendimiento del sistema para realizar clasificaciones se puede mejorar clasificando la neblina por separado, que suele suceder cerca del horizonte y comparte colores parecidos al de algunas nubes. Esto se puede llevar a cabo por medio de condiciones de uniformidad en una manera similar a la del cielo.

Esta fase de segmentacion y deteccion de imagen se puede caracterizar de forma manual segmentando un conjunto de imagenes repartidas esporadicamente en los conjuntos de datos suministrados. Se pueden calcular las tasas de falsos positivos para las clases por encima y por debajo del horizonte a partir de este conjunto de datos. Asf se obtienen resultados que miden la capacidad de separar el cielo y las nubes en base al modelo de cielo modificado, y a la habilidad del modelo de colores determinado/aprendido para clasificar nubes por debajo del horizonte.

La etapa 460 de deteccion y seguimiento de caractensticas puede involucrar etapas de deteccion de caractensticas en imagenes, asociacion y seguimiento de caractensticas. Durante la deteccion de caractensticas en imagenes, se extraen y localizan caractensticas para desarrollar telemetnas estimadas de las caractensticas detectadas. Para localizar caractensticas arbitrarias en un espacio 3D a partir de un sensor que detecta solo orientacion, como puede ser una camara, se pueden observar las caractensticas a traves del tiempo y utilizar la informacion para obtener su posicion. Las regiones con caractensticas prominentes se extraen a partir de la intensidad en la escala de grises de una imagen utilizando el determinante Hessianano de invariancia de escala (ver M. Sonka, "Image Processing, Analysis, and Machine Vision", Brooks/Cole, 2007). Esto determina de forma automatica la ubicacion y la escala de

5

10

15

20

25

30

35

40

45

50

55

60

textura de intensidad prominente en la imagen. Las regiones de imagen cuadradas se extraen de la imagen y se almacenan para su uso posterior en el algoritmo de seguimiento. Este proceso es similar al del detector de caractensticas empleado en el algoritmo SURF (deteccion acelerada de caractensticas prominentes) (H. Bay, A. Ess, T.Tuytelaars, & L.V. Gool, "SURF: Speeded Up Robust Features", Computer Vision and Image Understanding, Vol. 110, No. 3, pp. 346--359, 2008). Se espera que los patrones de caractensticas extrafdos utilizando este planteamiento se produzcan gracias a la textura que se suele encontrar en las superficies de las nubes. Estas texturas se producen debido al reflejo difuso de la luz sobre su superficie irregular, y se espera que se sean relativamente invariables respecto al angulo de vision. Estas propiedades son fundamentales para el sistema robusto y preciso de seguimiento y localizacion de caractensticas.

En ocasiones se detectan caractensticas en el cielo que resultan de la interaccion entre el gradiente de intensidad natural del cielo y los bordes de las nubes. Estas caractensticas no existen en una superficie de un objeto ffsico, y deben descartarse. Esto se consigue comprobando y eliminando todas las caractensticas que se encuentran en una region que ha sido clasificada como cielo previamente. Se mantienen todas las otras caractensticas.

La etapa de extraccion de caractensticas mencionada arriba se lleva a cabo para cada imagen nueva recibida. Se realizan seguimientos asociando caractensticas repetidamente a traves de fotogramas consecutivos. El proceso de asociacion de caractensticas tiene tres fases: asociacion aproximada, alineamiento de caractensticas y verificacion de caractensticas. El primero de estas fases utiliza la informacion de navegacion de la aeronave para predecir donde se encontrara el conjunto previo de caractensticas observadas en el fotograma siguiente, mientras que las otras dos fases comprueban las caractensticas visibles para alinear y validar las correspondencias aproximadas.

Durante la etapa de asociacion aproximada, primero se proyectan las caractensticas que se siguen en un fotograma al fotograma nuevo teniendo en cuenta la estimacion del movimiento relativo de la camara respecto a una imagen inmovil, que provee la informacion de navegacion. Como generalmente no se conoce la profundidad, la proyeccion forma un segmento de lmea en la imagen nueva definida por la lmea epipolar. Primero se realiza la asociacion generando una matriz de costes de asignacion entre los seguimientos proyectados y las nuevas caractensticas extrafdos. El coste de asociacion para cada par de caractenstica/seguimiento es la suma ponderada de la distancia de la caractenstica al final de la lmea epipolar (que representa la caractenstica proyectada a una profundidad infinita) y la distancia perpendicular desde la lmea. Se imponen restricciones que rechazan coincidencias ffsicamente imposibles en base al numero maximo de incertidumbre esperadas en el movimiento de las nubes y los errores de posicionamiento de aeronaves. Se asocian las caractensticas nuevas a seguimientos previos por medio de un algoritmo creciente que asigna nuevas caractensticas, empezando por el par de coste mmimo y siguiendo hasta que ya no existan mas asignaciones validas.

Durante la alineacion de caractensticas, las caractensticas que se han correspondido de forma aproximada a un seguimiento se alinean luego para corregir las discrepancias menores entre las ubicaciones de los puntos de caractensticas extrafdas en un objeto. Este proceso utiliza el planteamiento incremental de Kanade-Lucas-Tomasi (se puede encontrar en la referencia de Sonka mas arriba) para descubrir la compensacion optima entre dos regiones de imagenes a partir de las caractensticas que se han correspondido de forma aproximada. Este planteamiento es similar al de H. Nguyen, J. Porway, P. Ramu, A. Ganguli & J. Yadegar, "EO/IR Due Regard Capability for UAS Based on Intelligent Cloud Detection and Avoidance", AIAA Infotech@Aerospace 2010, pero se utiliza solo una capa de uniformidad. Esta combinacion de la correspondencia aproximada en base al conocido movimiento relativo de la camara respecto a una imagen inmovil y al alineamiento preciso de regiones permite seguir una caractenstica de forma fiable a traves de secuencias de video capturadas a una tasa de fotograma baja con gran movimiento entre cada fotograma.

Durante la validacion de caractensticas, para asegurarse de que la apariencia de una nueva caractenstica es coherente con el seguimiento actual y no pertenece a una caractenstica totalmente distinto, se realiza una validacion visual para asegurarse de que las regiones alineadas de la caractenstica coinciden correctamente. Esta validacion se realiza calculando la correlacion cruzada normalizada (ver la referencia de Sonka). La correlacion cruzada normalizada es valida en condiciones lummicas distintas y vana entre un valor 1 para una correspondencia perfecta y 0 cuando no hay correspondencia (se puede dar un valor negativo cuando hay correlaciones negativas). Se detectan y se descartan las correspondencias insuficientes utilizando un umbral de valores para la correlacion cruzada normalizada.

Se compilan las caractensticas asociadas, alineadas y validadas en el tiempo y se realizan seguimientos a traves del espacio de las imagenes. Los sistemas de localizacion y telemetna utilizan estos seguimientos durante el proceso de seguimiento (parte de la etapa 406).

Como parte de la etapa de localizacion y telemetna 408, se puede localizar una caractenstica estacionaria en el espacio 3D a partir de dos o mas imagenes adquiridas en ubicaciones distintas. Un ejemplo de dicha solucion de localizacion y telemetna se da en la referencia de Nguyen mencionada mas arriba. Sin embargo, si la caractenstica esta en movimiento, como las nubes suelen estar, no se podra utilizar este planteamiento. Se conoce que, bajo ciertas condiciones espedficas, se puede reconstruir la trayectoria de una caractenstica en movimiento con una velocidad indeterminada a partir de una camara en movimiento (ver la referencia al artmulo de Avidan mas arriba), sin embargo, para el caso de una nube en movimiento en el mismo plano horizontal que una aeronave, el problema

10

15

20

25

30

35

40

45

es degenerado y la telemetna no se puede observar. Este problema se puede solucionar si se supone que el movimiento de todas las nubes es constante y que todas las nubes se pueden seguir de forma conjunta, lo que permite estimar la velocidad de las nubes a distintas altitudes y utilizar dicha informacion para inferir la velocidad de las nubes a la misma altitud. Sin embargo, es improbable que esta suposicion sea correcta ya que se sabe que las masas de aire en diferentes altitudes se mueven a diferentes velocidades.

Para solucionar este problema introducido por una velocidad desconocida que hace imposible la observacion, se han implementado y estudiado dos metodos de localizacion de caractensticas. Ambos metodos se han creado para nubes en altitudes similares a las de la aeronave. Los dos metodos proveen funcionalidad complementaria, y cada uno de ellos es capaz de localizar caractensticas bajo condiciones en los que se sabe que el otro no tiene exito. Algunas realizaciones de la invencion pueden usar una o ambas tecnicas.

El metodo de estimacion de telemetna por expansion de objeto hace uso de la expansion observable de objetos a medida que se mueven hacia la camara, y se basa en el trabajo de Y. Barniv, "Passive Ranging Using Image Expansion", IEEE Trans. Aerospace and Electronic Systems Vol. 31, No. 1 1995; C. Raju, S. Zabuawala, S. Krishna & J. Yadegar, "A Hybrid System for Information Fusion with Application to Passive Ranging", In Proc. Int. Conf. on Image Processing, Computer Vision, and Pattern Recognition, 2007, y R. Brimble, J. Will & P. Chhabra, "AA022 Driveable Terrain Detection: Final Report", Systems Engineering for Autonomous Systems Defence Technology Centre, TES107479, 2011. Es especialmente bueno para estimar la telemetna de caractensticas en la direccion de vuelo, pero insuficiente para estimar la telemetna de caractensticas a los lados, por encima o por debajo de la aeronave. Cuando se presentan los detalles de este metodo, se supone que el punto de caractenstica existe en el mundo en una ubicacion p = [px, py, pz]T y se encuentra en una superficie plana local con la normal n = [nx, ny, nz]T. Esta caractenstica se observa desde dos ubicaciones, como muestran C0 y C1. Sin limitacion de la generalidad, se asume que se posiciona C0 en el origen, y por tanto p y n se definen en el sistema de coordenadas local de C0. La ubicacion y orientacion de C1, con respecto a C0, se definen por medio de las matrices de rotacion y traslacion T y R respectivamente. En la parte (a) de la figura 6, se muestra la geometna de las observaciones de la caractenstica p y un punto circundante x que se encuentra en un plano con la normal n, mientras que en la parte (b), se capturan imagenes a partir de los dos puntos de observacion, tomando nota de que la forma del patron observado sobre el plano alrededor de la caractenstica se va a deformar cuando se observe en la segunda imagen. De esta manera la caractensticas aparece en las imagenes C0 y C1 en las coordenadas

imagen3

Debido al movimiento del punto p, estas dos ecuaciones no se pueden usar para obtener la ubicacion de la caractenstica. Para desarrollar el metodo de expansion, se define x como un punto cerca de la caractenstica p en la superficie del plano y aparece en Co y Ci en las coordenadas

imagen4

Se desea encontrar una expresion para definir como la diferencia entre uip - uix cambia como una funcion de (entre otras cosas) la telemetna de la caractenstica y la diferencia entre ujp - uox.

Para empezar, observese que el punto x se encuentra en la superficie del plano y asf

(8) nT p = nJ x.

Se define la profundidad de la caractenstica p desde la camara Co como yP(= pz), y de forma similar se define y como

la profundidad x. Asi, p se puede escribir como u° y x se puede escribir como '“o • lo que hace posible reescribir (8) como:

0)

nT'ieMAu^ ■'»;

Asf pues, y se convierte en

(10)

nTM iUq n M ug

Ahora, x se puede escribir como

nrW'< ,

x ~ r.. - <

n M u„

5

10

15

20

25

30

35

40

Observese que no se puede simplificar esta formula debido a la multiplicacion de la matriz y el vector. Asi, el punto u< ahora se puede escribir como

imagen5

Ahora bien, tomando una expansion de 1er orden de una serie de Taylor en torno a

“ft - + AUj

para AHq - 0 da

imagen6

Donde A es la matriz jacobiana de f y es una funcion de (

imagen7

n,Yp,M,R, T)

La forma de la matriz jacobiana determina como un patron visible en la superficie del plano alrededor de la caractensticas se transforma cuando se ve desde una ubicacion distinta. Particularmente, como solo se consideran los terminos de primer orden esto define una transformacion afm de este patron, p. ej., se pierde el componente de la perspectiva. Este metodo es robusto para el movimiento de la caractenstica ya que son las diferencia locales entre los puntos en la imagen las que se utilizan en lugar de los desplazamientos globales. La forma jacobiana se ha calculado utilizando MATLAB's Symbolic Toolbox. La forma general es muy compleja y no se reproducira en la presente. Sin embargo, bajo ciertas condiciones espedficas, la forma jacobiana se convierte en:

imagen8

donde Tz es el componente z del vector de traslacion, es decir, la traslacion en el eje optico de Co y Rz(0z) es la matriz de rotacion producida por una rotacion alrededor del eje optico. Esta forma es valida para una serie de casos:

- La traslacion sucede solo en direccion hacia la caractenstica y la camara no rota. Es decir, R = 13x3 (i.e.) y T ~ p ; y cualquier n arbitrario, y ncP). Esto corresponde con la aeronave volando en lmea recta hacia una caractenstica de la nube.

- Se permite la rotacion alrededor del eje optico y se obtiene la forma completa de (14) si la caractenstica esta limitada al eje optico, es decir, si la camara esta montada para estar alineada a la direccion de vuelo.

- La normal de la superficie es paralela al eje optico y la camara no rota, es decir n = [0,0,1]T y R = 13x3 (es decir, 0z = 0). Esta forma es valida para cualquier ncP y T arbitrarios. Esto corresponde a una aeronave acercandose al frente de nubes que tiene la forma de una pared vertical perpendicular a la direccion de vuelo. Esta aproximacion es valida para todos los puntos del frente de nubes, y no solo para los puntos en la direccion de vuelo.

En general, ninguna de estas condiciones es valida para el movimiento general de una aeronave. Observese que la aproximacion es especialmente insuficiente para caractensticas en la tierra, que normalmente exhiben una superficie normal perpendicular a la direccion de vuelo (y al eje optico de la camara) y no suelen estar en la misma direccion de vuelo.

En el metodo de expansion de estimacion y telemetna, se puede estimar la telemetna de la caractenstica si la matriz A de deformacion afm se puede estimar a partir de la apariencia visible de la region de la imagen alrededor de la caractenstica en fotogramas distintos. Se asume entonces que A tiene la forma definida en (14). El metodo de estimacion de deformacion se basa en el estudio de Barniv mencionado mas arriba, y esta relacionado con la solucion de un problema de optimizacion no linear que tiende a deformar progresivamente una region de una imagen cuando intenta hacerla coincidir con el original. Este planteamiento asume que la matriz de deformacion afm tiene la forma:

(15) A = a-/U'0),

e incluye un termino de compensacion para realizar ajustes de precision de las traslaciones entre las caractensticas para tener en cuenta otros errores acumulados. La optimizacion se limita solo a considerar la compensacion y medicion de escalas s como variables libres, y la rotacion se fija en torno a un valor obtenido de los datos de navegacion conocidos de la aeronave. Para mejorar las propiedades de convergencia de la optimizacion no linear, la informacion del gradiente de las regiones de las imagenes se hace uniforme. Esto permite al algoritmo convergir y obtener las escalas cuando se inicializa con un error mas grande. A partir del factor de escalas s, la profundidad Yp la telemetna se pueden obtener utilizando la traslacion conocida entre los fotogramas

11

5

10

15

20

25

30

35

40

45

50

(16) 7, = ^7^ .

s-I

Observese que las traslaciones y los factores de escalas mas grandes daran estimaciones de telemetiia mas precisas. Como parte de la fase de caracterizacion, se ha estudiado la precision de que s se puede estimar solucionando el problema de optimizacion no linear. Esto permite generar estimaciones de error para la telemetna calculada. Mas adelante se podra encontrar una expresion analttica mas simple de A para la A jacobiana, que cuando se combina con un metodo de estimacion de deformacion afrn mas general (p. ej. J. Shi & C. Tomasi, "Good Features to Track", IEEE Conf. Computer Vision and Pattern Recognition, 1994), permite estimar y compensar el efecto de la normal de la superficie, lo que permite obtener una mejor precision de telemetna bajo una serie de condiciones mas amplia.

En el metodo de triangulacion con velocidad del viento conocida, si se conoce a priori la velocidad a la que se mueve una caractenstica, la estimacion de su ubicacion actual es equivalente a la triangulacion con una caractenstica estacionaria. Se debe observar que este metodo de triangulacion de una caractenstica en movimiento tiene los mismos defectos que la triangulacion normal de caractensticas estacionarias y requiere que el angulo de observacion cambie para poder obtener la ubicacion de la caractenstica. Esto es complementario con el metodo anterior basado en expansion que requiere que el angulo permanezca constante.

Se espera que la velocidad a la que la aeronave se mueve en el aire se pueda obtener de las mediciones de presion y la temperatura atmosferica, y de la velocidad indicada por la aeronave. Esta informacion en combinacion con la guinada de la aeronave y la velocidad real obtenida del GPS (asumiendo un deslizamiento cero) permite estimar la velocidad real a la que se mueve el aire. Una vez que se conoce la velocidad de la masa de aire y se utiliza para inferir el movimiento de caractensticas de nubes, el problema de ubicacion de caractensticas se transforma de nuevo en un simple problema de triangulacion, y se puede resolver de una manera similar al caso de una caractenstica estacionaria.

Observese que la velocidad de la masa de aire vana en funcion de la altitud, por lo que este metodo solo se puede aplicar estrictamente a nubes que estan a la misma altitud que la aeronave. Esto se puede extender utilizando un modelo de corte de viento y estimando de forma explfcita la velocidad de la masa de aire a diferentes altitudes.

En el metodo de estimacion de viento trasversal, como la mayor parte de los datos utilizados para estimar el movimiento de la masa de aire no estan disponibles en los datos de registros actuales, ni se espera tenerlos en pruebas de vuelo a corto plazo, este metodo incluye la velocidad del aire definida manualmente como una opcion de configuracion. Como una alternativa rudimentaria, el componente de viento trasversal de la velocidad del aire, es decir, el componente perpendicular al eje principal de la aeronave, se puede estimar a partir de la diferencia entre la guinada de la aeronave y el vector de velocidad derivado del GPS (angulo de deriva), como se muestra en la figura 7. Esto captura el efecto principal que tiene la velocidad del viento en el problema de telemetna. Sin embargo, esto aun constituye una aproximacion y se debena utilizar el vector de velocidad total si estuviese disponible.

Cuando se estiman las ubicaciones de las caractensticas de nubes se realizan las siguientes suposiciones:

- Cada caractenstica se sigue de forma independiente, es decir, se ignora la correlacion entre las estimaciones de caractensticas introducidas por la solucion de navegacion comun.

- La posicion y orientacion estimadas y la incertidumbre asociada de la camara esta disponible para cada fotograma (latitud, longitud, altitud, alabeo, cabeceo, guinada) y se supone que no esta relacionada en el tiempo. (Esto incluye errores introducidos por la sincronizacion de las fuentes de datos de video y de navegacion).

- La velocidad estimada del viento esta disponible, tanto por medio del esquema de estimacion del viento trasversal mencionado antes o de un metodo de estimacion mas preciso que utilice datos que no se encuentran disponibles actualmente. Se asume que esta estimacion esta en el plano horizontal y que tiene un margen de incertidumbre conocido y se asume que no esta relacionada en el tiempo.

El seguimiento y localizacion de una caractenstica dado se consigue utilizando un filtro de Kalmar extendido estandar. El estado espacial se define como la ubicacion de la caractenstica 3D p = [px, py, pz]T, cuya ubicacion futura se predice utilizando la velocidad estimada del viento, que se denota con w = [Wx, Wy, 0], y se aumenta en cada ciclo de actualizacion con la solucion de navegacion de la camara, que se denota c q = [qx, qy, qz, qaiabeo,

qcabeceo, qguinada]T

Prediction - Para una estimacion dada de la ubicacion de la caractenstica P y covarianza J ’ en un tiempo tk y que contiene todas las observaciones hasta un tiempo tk, la estimacion proyectada en un tiempo posterior f,<+1 =tk +

Atk se puede calcular utilizando la velocidad estimada del viento ® medio de:

que tiene una covarianza conocida ”«* por

5

10

15

20

25

30

35

ptm =p*+a>*A/* f*"* =P$*+P*(Ath)2

Actualizacion de la observacion - Para un tiempo tk dado, la ecuacion de observacion de la caractenstica se obtiene con

(18)

donde tanto R como T son funciones de la solucion de navegacion actual r|. Las jacobianas de esta funcion de observacion se denotan con H = [HP,H4 Se puede obtener la estimacion actualizada formando el estado intermedio

que tiene una covarianza

(19)

y=E/^TjrJr,

imagen9

Se pueden obtener el estado estimado y la covarianza utilizando las ecuaciones de actualizacion de filtro de Kalman estandar

(21)

•it]**l t, kf-i , , -

>' =y lu -h{y )]

^A-rtlA-rl _ ptrlik

donde la ganancia de Kalman es

Kk* = pt+*[HM]T[sMir' r

y

imagen10

Aqu Rk+1 es el ruido de la observacion y se obtiene de los errores cuando se asocian y se alinean las caractensticas extrafdas.

- Inicializacion del seguimiento - Cuando se observa una caractenstica nueva que no esta asociada a ningun otro seguimiento se crea un nuevo seguimiento. Esto se realiza de manera sencilla proyectando la observacion en el sistema de coordenadas mundial. Esto se realiza a una telemetna nominal con incertidumbre nominal. A pesar de que esta inicializacion sera incorrecta por lo general, debido a la precision de la posicion de la camara (es decir, un Pn normalmente pequeno), la estimacion generalmente converge rapidamente con la estimacion correcta y el procedimiento de inicializacion hace poca diferencia.

El marco del filtro de Kalman basico que se describe arriba permite comprobar y validar el marco de estimacion. Sin embargo, se puede mejorar de varias maneras:

- Utilizando un procedimiento de inicializacion de hipotesis de caractensticas multiples, que instancia estimaciones gaussianas multiples a diferentes angulos. Se espera que esto mejore la velocidad de convergencia y elimine alguno de los primeros errores de linearizacion. Se puede encontrar un ejemplo de dicho metodo en J. Sola, A. Monin, M. Devy & T. Lemaire, "Undelayed Initialization in Bearing Only SLAM", In Proc. Int. Conf. Itelligent Robots and Systems, 2005.

- Reemplazando el marco de Kalman con un filtro de partfculas. Asf se eliminan todos los problemas con la instanciacion de caractensticas y los errores de linearizacion, pero se espera que el proceso sea mas lento.

- Realizando estimaciones conjuntas de caractensticas. Asf se aprovecha el hecho de que cada imagen captura informacion relativa muy precisa sobre las orientaciones entre las distintas caractensticas. Asf se mejoran las estimaciones de la posicion de las caractensticas y tambien se pueden corregir los errores de rotacion en la solucion INS.

- Para mejorar la capacidad del sistema para seguir caractensticas en distintas altitudes, se debe utilizar un modelo de corte de viento y estimar de forma explfcita la velocidad de la caractensticas dentro del marco de filtros.

El metodo de telemetna basado en expansion descrito arriba funciona mejor para objetos en la trayectoria de vuelo de la aeronave. Este metodo es complementario al metodo basado en la triangulacion que tambien se ha descrito antes, que requiere observar las caractensticas desde diferentes angulos y que solo se puede utilizar para determinar la telemetna de objetos opuestos a la direccion de vuelo. Estos metodos se pueden implementar por 5 separado, pero se podran combinar de forma beneficiosa. Se podra realizar simplemente utilizando un conmutador en base al angulo entre la observacion de la caractenstica y el vector de velocidad actual. Sin embargo, tambien se pueden considerar metodos mas avanzados que combinan de forma estadfstica las estimaciones de los distintos metodos en base a la incertidumbre estimada provista por ambos metodos. Observese que para una aeronave que vuela recto y a la misma altura, ambos metodos producen resultados insuficientes cuando localizan caractensticas 10 que estan a alturas muy distintas a la del avion. Esto causa una retroalimentacion en el algoritmo de clasificacion, que tambien suele ser insuficiente para clasificar nubes que se encuentran por debajo del horizonte y que tienen aspectos muy diferentes al de las nubes por encima del horizonte. Como se ha mencionado arriba, se puede solucionar esta insuficiencia utilizando modelos de corte de viento para poder combinar la velocidad del viento en altitudes mas bajas con el marco de estimacion de ubicacion de caractensticas.

15 A pesar de que se asume de forma implfcita que el area debajo del horizonte que no se clasifica como nube es una superficie, no se espera que esto sea suficiente para cumplir con la condicion de que "la superficie es visible", segun las normas de las condiciones meteorologicas visibles y las reglas de vuelo visual. Esta condicion requiere que la superficie sea visible y que todos los objetos sobre dicha superficie se puedan discernir. Para detectar esta condicion se utiliza el marco de filtros de Kalman descrito arriba, pero ignorando la etapa de prediccion. Si se 20 localiza de forma precisa cualquier caractenstica que esta cerca del nivel del suelo/mar, se levanta una bandera de alerta. Esto indica que la aeronave puede volar mas cerca de las nubes, mientras se mantiene bajo las reglas de vuelo visual, comparado con cuando los caractensticas de la superficie no se pueden discernir.

Claims

5

10

15

20

25

30

35

40

45

REIVINDICACIONES

1. Un metodo para detectar caractensticas de nubes, que comprende: obtener (402) datos de imagen (401);

identificar (404) regiones en los datos de imagen que corresponden a una region por debajo del horizonte y a una region por encima del horizonte;

clasificar una o mas partes de la region por encima del horizonte como cielo;

clasificar (404) como caractenstica de nube cada parte de la region por encima del horizonte que no ha sido clasificada como cielo;

determinar un modelo identificacion que especifica una apariencia visible de alguna o de todas las partes de la region por encima del horizonte que han sido clasificadas como una caractenstica de nube; y

utilizando el modelo de identificacion determinado, clasificar como caractenstica de nubes aquellas regiones de la region por debajo del horizonte cuya apariencia se especifica en el modelo de especificacion; en donde

la etapa de clasificar una o mas partes de la region por encima del horizonte como cielo comprende:

seleccionar una parte de la region por encima del horizonte; y

clasificar la parte seleccionada como cielo si las propiedades de los pfxeles dentro de la parte seleccionada cumplen uno o mas de los criterios predeterminados;

caracterizado por que la etapa de clasificar una o mas partes de la region por encima del horizonte como cielo ademas comprende:

calcular los gradientes de las imagenes para los canales rojo-verde-azul de los datos de imagen en las direcciones tangencial y normal respecto de la lmea del horizonte;

uniformizar los gradientes de la imagen calculados para los canales rojo-verde-azul realizando un promedio sobre una region local circular; y sumar los gradientes de la imagen de los canales rojo-verde-azul uniformizados para producir un valor de uniformidad combinado de cada pixel en la direccion tangencial a la lmea del horizonte, y para producir un valor de uniformidad combinado de cada pixel en la direccion normal a la lmea del horizonte;

en donde, para cada pixel de la parte seleccionada de la region por encima del horizonte, los valores de uniformidad combinados de ese pixel en la direcciones tangencial y normal a la lmea del horizonte tienen un valor por debajo de un umbral predeterminado.
2. Un metodo segun la reivindicacion 1, en donde se seleccionan uno o mas criterios predeterminados dependiendo de uno o mas parametros escogidos de un grupo de parametros que consiste en: la hora del dfa, las condiciones lummicas, las condiciones medioambientales.
3. Un metodo segun la reivindicacion 1 o 2, en donde las propiedades de los pfxeles son propiedades de los colores de los pfxeles.
4. Un metodo segun la reivindicacion 3, en donde la etapa de clasificar la parte seleccionada como cielo si las propiedades de los pfxeles dentro de la parte seleccionada cumplen con uno o mas criterios predeterminados comprende clasificar la parte seleccionada como cielo si los pfxeles dentro de esa parte tienen un color azul fuerte.
5. Un metodo segun la reivindicacion 4, en donde se determina que un pixel en la parte seleccionada tiene un color azul fuerte si:

(i) el color azul es el componente RGB mas fuerte del pixel, y

(ii) el valor de saturacion del pixel se encuentra por encima de un umbral predeterminado.
6. Un metodo segun cualquiera de las reivindicaciones 1 a 5, en donde la etapa de calcular el gradiente de una imagen en las direcciones tangencial y normal al horizonte incluye:

utilizando datos de imagen, determinar una lmea del horizonte;

determinar una primera direccion paralela a la lmea del horizonte;

calcular los gradientes de la imagen en una direccion paralela a la primera direccion;

determinar una segunda direccion perpendicular a la lmea del horizonte;

5

10

15

20

25

30

35

40

calcular los gradientes de la imagen en una direccion paralela a la segunda direccion;
7. Un metodo segun cualquiera de las reivindicaciones 1 a 6, que ademas comprende:

uniformizar cada uno de los canales realizando un promedio sobre una region local circular; y

sumar los canales para producir un valor de uniformidad combinado de un pixel en las direcciones tangencial y normal.
8. Un metodo segun cualquiera de las reivindicaciones 1 a 7, que ademas incluye clasificar (404) partes de la region debajo del horizonte como superficie.
9. Un metodo segun cualquiera de las reivindicaciones 1 a 8, en donde el modelo de identificacion es un modelo basado en colores en base a la apariencia de al menos una de dichas nubes en la region por encima del horizonte.
10. Un metodo segun cualquiera de las reivindicaciones 1 a 9, que incluye una etapa de extraccion de caractensticas (406) para detectar caractensticas visibles que corresponden a dicha caractenstica de nube posible en una version de los datos de imagen en escala de grises.
11. Un metodo segun la reivindicacion 10, en donde la deteccion de extraccion de caractensticas (406) incluye buscar en escalas multiples y extraer partes de imagenes que contienen la textura y los picos de intensidad locales.
12. Un metodo segun la reivindicacion 10 u 11, que incluye asociar dichas caractensticas visibles en fotogramas multiples utilizando los datos de navegacion.
13. Un metodo segun la reivindicacion 12, en donde se utiliza la asociacion de caractensticas visibles para producir seguimientos temporales del movimiento de las caractensticas visibles por el espacio de la imagen.
14. Un metodo segun la reivindicacion 13, que incluye generar informacion de la telemetna de dicha nube calculando la escala de dicha caractenstica visible que corresponde a la nube de un fotograma anterior dado a un fotograma posterior dado.
15. Un metodo segun la reivindicacion 13 o 14, que incluye ademas generar informacion de la telemetna de dicha caractenstica nube por medio de lo siguiente:

estimar la velocidad de desplazamiento del aire en donde se encuentra la caractenstica de nube;

obtener informacion sobre la posicion y la velocidad de una aeronave que produce los datos de imagen en el momento que corresponde al fotograma de los datos de imagen, y

utilizar tecnicas de triangulacion en base a la velocidad estimada, la posicion de la aeronave, y la velocidad de la aeronave para determinar la telemetna de la nube.
16. Aparato para detectar nubes que incluye:

una o mas camaras configuradas para obtener (402) datos de imagenes (401); y

uno o mas procesadores que operan en combinacion con la o las camaras, y que estan configurados para:

identificar (404) regiones en los datos de imagen que corresponden a una region por debajo del horizonte y a una region por encima del horizonte;

clasificar una o mas partes de la region por encima del horizonte como cielo;

clasificar (404), como caractenstica de nube, cada parte de la region por encima del horizonte que no ha sido clasificada como cielo;

determinar un modelo identificacion que especifica una apariencia visible de alguna o de todas las partes de la region por encima del horizonte que han sido clasificadas como una caractenstica de nube; y

utilizando el modelo de identificacion determinado, clasificar como caractensticas de nubes aquellas regiones de la region por debajo del horizonte, cuya apariencia se especifica en el modelo de especificacion; en donde

el o los procesadores tambien estan configurados para:

seleccionar una parte de la region por encima del horizonte; y

clasificar la parte seleccionada como cielo si las propiedades de los pfxeles dentro de la parte seleccionada cumplen uno o mas de los criterios predeterminados;

caracterizado por que el o los procesadores tambien estan configurados para

calcular los gradientes de las imagenes para los canales rojo-verde-azul de los datos de imagen en las direcciones tangencial y normal respecto de la lmea del horizonte;

uniformizar los gradientes de la imagen calculados para los canales rojo-verde-azul realizando un promedio sobre 5 una region local circular; y sumar los gradientes de la imagen de los canales rojo-verde-azul uniformizados para producir un valor de uniformidad combinado de cada pixel en la direccion tangencial a la lmea del horizonte, y para producir un valor de uniformidad combinado de cada pixel en la direccion normal a la lmea del horizonte;

en donde, para cada pixel de la parte seleccionada de la region por encima del horizonte, los valores de uniformidad combinados de ese pixel en la direcciones tangencial y normal a la lmea del horizonte tienen un valor por debajo de 10 un umbral predeterminado.
17. Una aeronave que comprende el aparato segun la reivindicacion 16.
18. Un programa o una pluralidad de programas organizados para que cuando un sistema informatico o uno o mas procesadores los ejecuten, los programas hagan que el sistema informatico o el/los procesadores operen segun el metodo de cualquiera de las reivindicaciones 1 a 15.

15 19. Un medio de almacenamiento legible por ordenador que almacena el programa o la pluralidad de programas

segun la reivindicacion 18.