ES2885863T3

ES2885863T3 - Procedimiento de determinación de la dirección de un objeto a partir de una imagen del mismo

Info

Publication number: ES2885863T3
Application number: ES16716504T
Authority: ES
Inventors: Alain Simon
Original assignee: Thales SA
Current assignee: Thales SA
Priority date: 2015-03-30
Filing date: 2016-03-30
Publication date: 2021-12-15
Anticipated expiration: 2036-03-30
Also published as: SA517390053B1; FR3034553B1; CA2981382C; CA2981382A1; US20180082438A1; EP3278301B1; US10147201B2; EP3278301A1; WO2016156352A1; IL254785A0; FR3034553A1

Abstract

Procedimiento de determinación de la dirección geográfica absoluta de un objeto en una escena (1), con un rendimiento deseado en acimut y elevación en la clase de 0,1 a 1 mili-radian, comprendiendo el procedimiento una fase de aprendizaje y una fase de operación en línea, la fase de aprendizaje comprende las siguientes etapas: - adquisición mediante barrido circular por medio de un canal de un primer dispositivo optrónico de formación de imágenes en los dominios visible, infrarrojo cercano, infrarrojo corto, infrarrojo medio o infrarrojo lejano, de una posición fija determinada, de una serie de imágenes optrónicas parcialmente superpuestas (2), incluyendo una imagen o varias imágenes de la escena (etapa A1) - extracción automática de las imágenes de descriptores definidos por sus coordenadas de imagen y sus características radiométricas, con al menos un descriptor de dirección desconocida en cada superposición (21) de imágenes (etapa B1), - a partir de los descriptores extraídos en las superposiciones entre imágenes, estimación automática de la rotación relativa de las imágenes entre sí y correspondencia de los descriptores extraídos en las superposiciones (etapa C1), - identificación en las imágenes de al menos una dirección de referencia geográfica conocida (22) de precisión compatible con la prestación deseada, y determinación de las coordenadas de imagen de cada referencia (etapa D1), - a partir de los descriptores extraídos de las superposiciones y correspondencias, de la dirección y de las coordenadas de la imagen de cada referencia, estimación automática de la actitud de cada imagen y estimación de la distancia focal del primer dispositivo de formación de imágenes con una precisión compatible con el rendimiento deseado, lo que se conoce como la etapa de ajuste fino (etapa E1), - a partir de la actitud de cada imagen, la posición y los parámetros internos del primer dispositivo de formación de imágenes, incluida la distancia focal, y las coordenadas de imagen de cada descriptor, calcular las direcciones absolutas de los descriptores según un patrón de disparo predeterminado del dispositivo de formación de imágenes (etapa F1), comprendiendo la fase de funcionamiento en línea las siguientes etapas: - Adquisición de al menos una imagen del objeto, denominada imagen actual (20), a partir de un segundo dispositivo de formación de imágenes que tenga la misma posición fija que el primer dispositivo de formación de imágenes (etapa A2), - Extracción automática de descriptores de cada imagen actual (etapa B2), - Poner en correspondencia de manera automática los descriptores de cada imagen actual con los descriptores cuya dirección absoluta fue calculada durante la fase de aprendizaje, para determinar la dirección absoluta de los descriptores de cada imagen actual (etapa C2), - A partir de las direcciones absolutas de los descriptores de cada imagen actual, estimación automática de la actitud de cada imagen actual (etapa D2), - A partir de las coordenadas de la imagen del objeto en cada imagen actual, la actitud de cada imagen actual, la posición y los parámetros internos del segundo dispositivo de formación de imágenes, calcular automáticamente la dirección absoluta del objeto según un patrón de disparo de cada imagen actual (etapa E2).

Description

DESCRIPCIÓN

Procedimiento de determinación de la dirección de un objeto a partir de una imagen del mismo

El campo de la invención es el de la determinación de la dirección absoluta (o acimut y elevación geográficos) de un objeto a partir de una posición geográfica desde la que se adquiere una imagen optrónica del objeto.

La determinación de las direcciones geográficas absolutas utilizando un dispositivo optrónico de formación de imágenes que no disponga de un dispositivo de orientación que permita una medición de la dirección de calidad compatible con la buscada es un reto tecnológico.

De hecho, los sistemas que abordan este problema generalmente utilizan componentes de medición de la orientación que son caros para lograr el rendimiento deseado, que puede estar en el rango de los mili-radianes. Por ejemplo, se requiere un rendimiento angular de clase 1 mili-radián al 90% para contener un error de localización en la categoría TLE1 (6m al 90%) en un objeto situado a 5km del sensor. Los dispositivos de medición de la orientación de esta clase son poco comunes, caros y demasiado grandes en masa para ser considerados en un dispositivo portátil. Las siguientes soluciones para la medición de la actitud no son adecuadas por las siguientes razones:

• Las brújulas magnéticas son poco eficaces (clase de 10 mili-radianes), difíciles de integrar, muy sensibles al entorno EM, utilizan la declinación magnética local (también poco conocida en la clase de 10 miliradianes) para transformar el acimut magnético en un acimut o dirección geográfica, su coste es relativamente bajo pero puede alcanzar los 1000€.

• Los FOG (acrónimo de la expresión anglosajona Fiber Optic Gyrometer), los giroscopios láser (RLG) y los giroscopios de resonador hemisférico (HRG) son voluminosos, pesados y tienen un elevado consumo de energía y coste,

• Los MEMS no son lo suficientemente eficaces (unos pocos mili-radianes), no están muy maduros y requieren un procedimiento de calibración que puede ser largo y complejo,

• Los objetos celestes permiten un alto rendimiento pero no siempre son visibles (dificultad para ver las estrellas durante el día, o el sol a través de las nubes densas),

• Los sistemas de posicionamiento, como el GNSS (acrónimo de la expresión anglosajona Global de Navigation Satellite System), son moderadamente eficaces para la longitud de las bases previstas, y su volumen, masa y consumo de energía no son compatibles con un dispositivo portátil,

• El uso de puntos de referencia, a menudo extraídos de datos de ortoimágenes (en una vista equivalente a una vista vertical) o de un mapa, no es fácil de implementar cuando se utiliza una imagen de oportunidad (especialmente cuando está en un campo pequeño y en una vista de pastoreo) ya que :

° este enfoque requiere en primer lugar que la vista vertical esté disponible con el nivel de detalle adecuado,

° la probabilidad de poder hacer coincidir un punto de referencia con un detalle presente en la imagen se reduce cuadráticamente con la intensidad de campo de la imagen.

° la probabilidad de poder asociar varios puntos de referencia en una imagen también disminuye linealmente con su número.

• La técnica basada en la polarización del cielo, una reciente técnica bioinspirada para orientar a los insectos para la navegación, tiene un rendimiento pobre.

El documento "D4AR - A 4-dimensional augmented reality model for automating construction progress monitoring data collection, processing and communication" (Mani Golparvar-Fard et al.) describe un procedimiento para evaluar el progreso de una obra, a partir de imágenes tomadas desde posiciones y orientaciones específicas. En este trabajo, las imágenes se adquieren desde posiciones distantes, como se ilustra en particular en la Fig. 9, con la distancia OlOr entre las cámaras, porque la posición del objeto P se determina por triangulación.

El documento US 8600700 se refiere a la medición de los ángulos de un objeto en imágenes de 360° obtenidas a partir de un dispositivo de formación de imágenes equipado con medios de posicionamiento y colocado en al menos dos posiciones diferentes.

En el documento "Modeling the world from internet photo collections", también se utilizan imágenes del mismo sitio adquiridas desde diferentes ángulos para modelar el sitio en 3D.

El propósito de la invención es superar estos inconvenientes.

A modo de ejemplo, el procedimiento proporciona un potente modo de estimar las orientaciones y direcciones de la imagen de objetos de 1 mrad en un sistema portátil de adquisición de imágenes optrónicas explotando:

• una fase de bautismo de campo (PBT), también conocida como fase de aprendizaje, que consiste en aprender y archivar información sobre el entorno de la escena fotografiada, en forma de firmas que caracterizan los detalles extraídos de las imágenes, en la(s) banda(s) de frecuencia del sistema optrónico, estando estas firmas asociadas también a su dirección en un marco de referencia geográfico,

• una fase de operación en línea (POL), que consiste en explotar la información archivada en la fase de aprendizaje para determinar en tiempo real (normalmente en menos de 3 segundos) la dirección geográfica y posiblemente la ubicación de los objetos dentro de una imagen recién adquirida cuyas firmas se extraen para compararlas con las firmas archivadas.

En lo que sigue:

• se designa por dirección (geográfica) de un objeto en una escena el vector que une el sistema con el objeto; esta dirección se caracteriza por su elevación (ángulo con respecto al plano perpendicular a la vertical local) y su acimut geográfico (ángulo entre el Norte geográfico y la proyección de la dirección al objeto en el plano horizontal);

• la orientación o actitud de una imagen se define como la información que permite orientar completamente la imagen en un marco de referencia geográfico tridimensional (por ejemplo, mínimamente con los tres ángulos de Euler de balanceo, cabeceo y guiñada).

Además, la determinación de una dirección correspondiente a un píxel de una imagen depende de sus coordenadas de imagen y se realiza con la ayuda de un patrón geométrico paramétrico del sistema optrónico. Los parámetros del patrón dependen de la posición del sistema y de la orientación de la imagen, así como de parámetros internos (como la distancia focal o la distorsión del sensor optrónico).

Más específicamente, la invención se refiere a un procedimiento de determinación de la dirección geográfica absoluta de un objeto en una escena, como se define en la reivindicación 1.

Este proceso, que podría describirse como una brújula odométrica, implementa así una fase de aprendizaje preliminar (típicamente inferior a 3 minutos) mediante la caracterización del entorno del dispositivo de de formación de imágenes, seguida de una fase de funcionamiento en tiempo real que utiliza la información aprendida para determinar las direcciones absolutas de las imágenes y deducir las de los objetos presentes en las mismas.

El proceso de aprendizaje consiste en una fase de "bautismo en el campo" que consiste en adquirir imágenes superpuestas sobre todo el horizonte o parte de él y en aprender el entorno extrayendo y construyendo información comprimida que caracterice su contenido en las bandas de frecuencia del dispositivo de de formación de imágenes. La evaluación de una imagen actual permite entonces determinar las direcciones geográficas instantáneas de los objetos presentes en estas imágenes.

Se aplica en las siguientes condiciones de uso:

• en un sistema optrónico portátil, con la posibilidad de utilizar un soporte físico ligero como un trípode, • en un entorno que no tenga necesariamente recepción de señales GNSS o, lo que es lo mismo, en un sistema que no tenga necesariamente un receptor GNSS a bordo (como del tipo GPS, Glonass, Galileo), • sin medios de orientación o con medios de bajo coste (<100€), baja masa (<100g), baja calidad (clase 10 mrad), por tanto sin girómetro, sin instrumentos inerciales de calidad (UMI, CNI), sin goniómetro..,

• posiblemente sin mover el sistema optrónico longitudinalmente o verticalmente,

• sin ningún conocimiento particular del objeto a localizar, en particular las coordenadas geográficas o las dimensiones,

• sin que el sistema pueda intercambiar información con el objeto (especialmente de tipo colaborativo), • sin conocimiento en el área de la escena correspondiente a la imagen adquirida del objeto, en particular del puntos de referencia, dimensiones, ....

El rendimiento deseado es típicamente :

• en acimut en el rango de 0,5 a 2 mrad para PBT y POL,

• en elevación,

° con inclinómetro accesible en POL, mejor que 20 mrad en PBT y alrededor de 1 mrad en POL, ° sin inclinómetro accesible en POL, 1-2 mrad en PBT y POL.

Así, cuando se dispone de un equipo de medición de elevación relativamente ligero del tipo inclinómetro, la dificultad consiste esencialmente en restablecer en tiempo real una dirección de la clase mrad en acimut, sabiendo que los sistemas tradicionales de SWaP basados en brújulas son más bien de la clase 10 mrad.

La distancia focal del primer dispositivo de formación de imágenes puede ser diferente de la distancia focal del segundo dispositivo de formación de imágenes.

Según una característica de la invención, una posición precisa del primer dispositivo de formación de imágenes y/o los parámetros internos que incluyen la distancia focal del primer dispositivo de formación de imágenes se estiman en la etapa de ajuste fino y/o los parámetros internos que incluyen la distancia focal del segundo dispositivo de formación de imágenes de la fase en línea se estiman en la etapa de estimación de actitud de la imagen actual. Preferiblemente, el primer y el segundo dispositivo de formación de imágenes son el mismo dispositivo de formación de imágenes.

Según una característica de la invención, los descriptores de la fase de "bautismo de campo" se archivan en una base de datos con sus características radiométricas y sus direcciones absolutas.

Se puede construir un mapa de distribución espacial de los descriptores antes de la fase de operación en línea. La serie de imágenes adquiridas durante la fase de "bautismo en el campo" cubre ventajosamente un horizonte completo.

La serie de imágenes adquiridas durante la fase de "bautismo en el campo" puede cubrir una porción de un horizonte completo; entonces se identifican al menos dos referencias (direcciones geográficas absolutas de referencia) en las imágenes.

La posición del primer dispositivo de formación de imágenes se determina mediante medios de posicionamiento en el dispositivo o se estima a partir de una serie de referencias. Lo mismo ocurre con la posición del segundo dispositivo de formación de imágenes.

El procedimiento puede comprender una etapa de construcción de una imagen panorámica a partir de las imágenes finamente recortadas, estando cada píxel de la imagen panorámica asociado a una dirección absoluta.

Las imágenes adquiridas son, por ejemplo, imágenes de vídeo.

Cada referencia es típicamente un punto de referencia o un objeto celestial.

Otras características y ventajas de la invención se pondrán de manifiesto en la siguiente descripción detallada, que se da a modo de ejemplo no limitativo y con referencia a los dibujos adjuntos en los que :

la figura 1 muestra un diagrama de flujo de las principales etapas del proceso según la invención, la figura 2 muestra una representación esquemática de un ejemplo de panorama a escanear durante la fase de bautismo de campo,

la figura 3a muestra de forma esquemática un ejemplo de imágenes adquiridas mediante el barrido del panorama de la figura 2, y la figura 3b muestra estas imágenes con referencias de dirección conocida, la figura 4 ilustra la adquisición de imágenes a lo largo de 3 elevaciones medias y formando 3 bandas, con el rumbo en la abscisa y la elevación en la ordenada,

las figuras 5 muestran, en vista en planta, diferentes modos de adquisición de información de imágenes sobre una línea del horizonte, en forma de una secuencia de vídeo continua con un alto grado de superposición entre las imágenes (Fig. 5a), mediante la adquisición imagen a imagen con un solapamiento adaptado y controlado durante la adquisición (Fig. 5b), y en un modo mixto que combina una secuencia continua adquirida en primera instancia con unas cuantas imágenes dispersas adquiridas una a una en la línea del horizonte sin requerir superposición entre ellas, pero con las imágenes adquiridas en primera instancia (Fig. 5c),

la figura 6 ilustra un ejemplo de cobertura de la escena y superposición de imágenes adquiridas por un barrido circular en las direcciones de acimut segúy de elevaón según $, sin cobertura total del horizonte,

la figura 7 ilustra una forma de completar la cobertura espacial y la información desarrollada en PBT durante un POL,

la figura 8 muestra un ejemplo de adquisición desde un avión.

De una figura a otra, los mismos elementos están marcados por las mismas referencias.

La invención se basa en el aprendizaje del contenido de la escena mediante el procesamiento de imágenes y el uso de esta información para determinar las direcciones de los objetos presentes en una imagen de la escena con una buena precisión absoluta y de forma rápida. Una vez determinada su dirección, el objeto puede ser localizado en el entorno.

El procedimiento según la invención puede implementarse en cámaras terrestres que no requieren medios de posicionamiento internos (receptor GNS^s), dispositivos de medición de actitud (UMI, brújula magnética, giroscopio) o incluso medios de instalación (trípode), o un telémetro.

Uno de los problemas técnicos a resolver que subyace a estas fases de aprendizaje y posterior cálculo de las direcciones de los objetos, es orientar las imágenes adquiridas respetando las siguientes condiciones de uso:

• en un sistema optrónico portátil, con la posibilidad de utilizar un soporte físico ligero como un trípode, • en un entorno que no tenga necesariamente recepción de señales GNSS o, lo que es lo mismo, en un sistema que no tenga un receptor GNSS a bordo (como de tipo GPS, Glonass, Galileo),

• sin medios de orientación por lo tanto sin girómetro, o con medios de bajo coste (<100€), baja masa (<100g), baja calidad (clase 10 mrad), sin instrumentos inerciales de calidad (UMI, CNI), sin goniómetro.., • posiblemente sin mover el sistema optrónico longitudinalmente o verticalmente,

• sin que el sistema pueda intercambiar información con el objeto,

• sin conocimiento en el área de la escena correspondiente a la imagen adquirida del objeto, en particular del tipo puntos de referencia, dimensiones, ....

El procedimiento de determinación de la dirección de un objeto en una escena a partir de la posición de adquisición de imágenes optrónicas con un rendimiento deseado predeterminado se describe en relación con la figura 1. Se implementa mediante un sistema optrónico equipado con :

• un dispositivo optrónico de adquisición de imágenes (o dispositivo de formación de imágenes) en el rango visible o IR, como una cámara o unos prismáticos, con parámetros internos predeterminados (distancia focal y posiblemente campo de visión (FoV), punto principal de la imagen, parámetros que describen la distorsión óptica radial y tangencial, etapa de las células fotosensibles en las dos direcciones de la imagen), con una posición conocida y que, por tanto, puede estar equipado con un dispositivo de posicionamiento como un receptor GNSS (GPS, GLONASS, Galileo, ....) o cualquier otro medio de posicionamiento con la precisión deseada como DLORAN (para Differential LOng RAnge Navigation), la cartografía y la introducción manual, la comunicación de la posición por medios remotos, etc., pero se verá más adelante que sin un dispositivo de este tipo, la posición puede sin embargo ser conocida, y

• una unidad de procesamiento de las imágenes adquiridas.

El proceso comprende principalmente dos fases: una fase de aprendizaje conocida como "bautismo en el campo" y una fase de funcionamiento en línea.

La fase de aprendizaje comprende las etapas A1 a F1, como se define en la reivindicación 1.

Sobre la base de los ejemplos, se detallarán estas etapas. A1) automático (desde una plataforma equipada con un mecanismo de "Pan and Tilt", un mecanismo que permite programar la orientación de las adquisiciones en direcciones específicas con respecto a la plataforma y que permite orientar un sistema posiblemente de forma automática de manera programable, o desde una aeronave), cuasi-automático (vídeo) o imagen a imagen por un operador, mediante el barrido de la escena 1 según una figura cerrada que puede ser circular, un ejemplo de la cual se muestra en la figura 2, por medio de un primer dispositivo optrónico de formación de imágenes de posición determinada, de una serie de imágenes optrónicas parcialmente superpuestas 2 mostradas en la figura 3a, que incluyen una o más imágenes de la escena (generalmente más pequeña que la escena 1) en la que se localizará a priori el objeto cuya dirección se va a determinar durante la fase siguiente. La adquisición se realiza en un canal visible o IR, con un campo de visión específico del dispositivo. La superposición 21 de una imagen con la imagen vecina está preferentemente entre el 30% y el 60%; puede variar de una imagen a otra, como puede verse en la figura 3b. Preferiblemente, el campo de visión cubierto por todas estas imágenes es el de un círculo completo del horizonte, como es el caso de la figura 3b y las figuras 7 y 8. En efecto, el proceso considera ventajoso el cierre de un bucle, es decir, la superposición entre una imagen ya adquirida (la primera, por ejemplo, pero no necesariamente) y la última (por ejemplo, pero no necesariamente en el sentido de que la penúltima sería igual de buena). Este cierre de bucle se consigue:

• en un horizonte completo con un solo barrido en elevación (1 franja), a fin de obtener una superposición en rumbo,

• en una porción del recorrido completo con varios barridos escalonados en elevación según diferentes bandas (para cada elevación, se obtiene una banda por barrido) mediante un movimiento de tipo rectangular o elíptico de la línea de visión (LdV) del primer dispositivo de formación de imágenes, con el fin de obtener una superposición en rumbo y en elevación de las bandas correspondientes respectivamente a los barridos, como puede verse en las figuras 4 y 6,

• combinando los dos enfoques anteriores y realizando varios recorridos de la línea del horizonte a la misma o a diferentes elevaciones medias, como en la figura 5.

En situaciones en las que no es posible la adquisición de giros completos, la única opción es el barrido con movimientos LdV a diferentes elevaciones, bajo forma de elipses o de "8". Este tipo de observación es insuficiente para corregir ciertos parámetros internos, como la distancia focal, en ausencia de GCP (acrónimo anglosajón de Ground Control Points) en forma de puntos de referencia terrestres u objetos celestes, pero permite afinar los valores de ciertas magnitudes observables, como la deriva angular. Para afinar la distancia focal del dispositivo de formación de imágenes en esta situación, es ventajoso utilizar dos direcciones de referencia en la secuencia de imágenes adquiridas.

Las longitudes de onda correspondientes a las imágenes adquiridas en PBT pueden estar en diferentes bandas espectrales con :

• sensibilidad al color visible diurno, al infrarrojo cercano (PIR),

• sensibilidad diurna y nocturna en las bandas SWIR (Small Wave), MWIR (Medium Wave) o LWIR (Long Wave).

Pueden preverse varios modos de adquisición de imágenes y de tratamiento de las imágenes adquiridas.

La adquisición, que puede ser manual o automática (Pan & Tilt, o más generalmente realizada mediante un sistema optrónico montado en una plataforma con o sin servocontrol) puede realizarse en los siguientes modos:

° (MAV) un modo de adquisición de vídeo que tiene una capacidad de adquisición de alta velocidad (por ejemplo, de 10 a 100Hz), que se muestra en la Figura 5a;

° (MAI) un modo de adquisición cuadro a cuadro que permite la adquisición de imágenes una a una con un tiempo de adquisición más consistente (por ejemplo, unos 0,1 a 1 Hz) como se ilustra en la Figura 5b. La activación de las adquisiciones puede ser manual o programada, especialmente en un sistema que utilice una plataforma Pan & Tilt;

° (MAM) un modo de adquisición mixto que construye la información de la imagen como entrada al procesamiento, insertando en una secuencia adquirida en MAV, imágenes adquiridas en MAI (ver figura 5c). El interés de este enfoque se describe a continuación.

Para el procesamiento, se pueden utilizar diferentes opciones de implementación:

° (MTB) un método de procesamiento por lotes procesa la información accediendo a todas las imágenes almacenadas o archivadas por lotes;

° (MTD) un método de procesamiento dinámico, realiza el procesamiento sobre la marcha durante la adquisición de imágenes con la necesidad de acceder simultáneamente a un máximo de 2 o 3 imágenes en un momento dado;

° (MTS) un método de procesamiento de segmentos o trozos del vídeo procesa sectores angulares uno tras otro como porciones angulares en acimut (por ejemplo, partes % o A de una visión general) o en elevación (por ejemplo, montaje de franjas).

Para la adquisición de imágenes, cuando el primer dispositivo tiene una capacidad de adquisición de alta tasa (MAV con tasa generalmente > 10Hz), las imágenes adquiridas se almacenan a la tasa de vídeo en la línea del horizonte.

Como a priori hay un exceso de superposiciones entre las imágenes, una etapa del proceso determina qué imágenes de este vídeo deben conservarse. Para ello, por ejemplo, se utilizan los siguientes:

• un algoritmo del tipo Kanade-Lucas 'An Iterative Image Registration Technique with an Application to Stereo Vision 1981', alimentado por los puntos de Tomasi 'Good Features to Track 1994', que estima las traslaciones entre imágenes;

• una diezma del vídeo en función de las superposiciones calculadas, el FOV (“Field of View”) del dispositivo de formación de imágenes y la superposición objetivo entre imágenes.

Cuando el sistema de adquisición dispone de un inclinómetro, pero sus mediciones de elevación no pueden sincronizarse con las fechas de las distintas adquisiciones de imágenes -o, más ampliamente, con otros datos auxiliares de la imagen (DAI) que pueden ser, además de estas fechas de adquisición, mediciones aproximadas que permitan la posición del sistema, toda o parte de la orientación de las imágenes o parámetros aproximados del dispositivo de formación de imágenes, como una distancia focal aproximada-, el proceso puede realizarse en 2 pases:

• la primera pasada se realiza como en el modo de vídeo (MAV), sin grabar los DIC con las imágenes correspondientes,

• la segunda pasada se realiza en modo de adquisición cuadro a cuadro grabando los DIC con las imágenes correspondientes. Este pase no requiere una superposición de las imágenes adquiridas (véase la Fig. 7c). Más concretamente, se lleva a cabo un muestreo de la línea del horizonte de manera que se disponga de varias imágenes y de los correspondientes datos de imágenes auxiliares, como las mediciones de elevación, en distintos acimuts; normalmente, menos de 10 imágenes (y las correspondientes mediciones) proporcionan información suficiente. El objetivo es tener superposiciones de estas imágenes con las del pase anterior y mantener la LdV del sistema optrónico durante un tiempo suficientemente largo para tener una medición de elevación sincronizada para cada adquisición. Las imágenes de este pase se insertan sistemáticamente en el primer pase para formar la secuencia de imágenes de entrada para el procesamiento de las etapas siguientes con la característica de tener una elevación de calidad compatible con el objetivo de precisión.

En el caso de la adquisición imagen por imagen (MAI), el operador debe tomar algunas precauciones para asegurar la superposición de imágenes. En el caso de la adquisición en modo vídeo (MAV), las superposiciones son a menudo importantes y el proceso se complementa preferentemente con una etapa de clasificación automática de las imágenes, eliminando las imágenes o los descriptores demasiado redundantes.

Cuando el primer dispositivo de adquisición de imágenes dispone de varios campos y/o zums, la adquisición de la fase de "bautismo en el campo" puede realizarse en un campo amplio para reducir el tiempo de adquisición pero también para tener posiblemente una mayor probabilidad de abarcar puntos de referencia en una sola imagen.

En la práctica:

• En el modo MAI, el operador controla la orientación del primer dispositivo de adquisición de imágenes y la suficiente superposición de imágenes moviendo el dispositivo de adquisición de imágenes y disparando grabaciones de imágenes de una en una en cada orientación que seleccione. En este modo el número M de imágenes a adquirir es del orden M=a/[FOV.(1 -n))], donde n es la superposicón media entre imágenes expresado en %, FOV es el FOV longitudinal de la imagen expresado en la misma unidad que el ángulo que representa el ángulo horizontal escaneado durante las adquisiciones. Para una adquisición en todo el horizonte a =360°, y con, por ejemplo, un dispositivo de adquisición de imágenes de campo lateral de 6° y una superposición entre imágenes del 60%, el número de imágenes a adquirir es M=150 imágenes. Este número de imágenes puede reducirse a la mitad si nos conformamos con una superposición vertical del 20% del campo, pero este último enfoque no permite a priori obtener tantos descriptores, ni tantos "buenos" descriptores, lo que puede repercutir en la calidad de la estimación.

• En el modo MAV, la adquisición se realiza automáticamente por sector angular (con uno de los 2 modos anteriores de vídeo o manual) y la adquisición se detiene finalmente cuando la memoria alcanza un determinado umbral. En esta fase, las imágenes adquiridas se procesan para extraer la información del descriptor. Además de los descriptores para alimentar la BD (Base de Datos de Descriptores), el operador puede retener de una a varias imágenes para posicionar los puntos de referencia, liberando la memoria de las demás imágenes.Además de estas adquisiciones guiadas por el usuario, el dispositivo también puede implementarse con una plataforma que tenga un mecanismo de "Pan and Tilt" u otro mecanismo para programar la orientación de las adquisiciones en direcciones específicas en relación con la plataforma.

Para el procesamiento de imágenes, la elección práctica de uno de los procedimientos de procesamiento está condicionada por la memoria y la capacidad de cálculo (CPU) disponibles. Cuando la memoria (en relación con el tamaño del vídeo) y la capacidad de cálculo del procesador (CPU en relación con el retardo aceptable por el usuario) lo permiten, se recomienda el procedimiento de procesamiento por lotes (MTB), ya que permite la gestión simultánea de toda la información (incluidas las superposiciones múltiples) y ofrece una mejor comprobación de la coherencia de los parámetros estimados. En caso de escasez de memoria o CPU, el procesamiento dinámico procesará los datos extraídos de las imágenes uno tras otro.

La elección del método de procesamiento influye directamente en la técnica de estimación elegida en la etapa E1 (Fig. 1). El MTB sugiere un enfoque por lotes de Gaus-Newton o de mínimos cuadrados de Levenberg-Marquard; mientras que el Método de Procesamiento Dinámico (MTD) sugiere un Filtro de Kalman Extendido (EKF por Extended Kalman Filtre) o incluso un UKF(por Unsected Kalman Filter).

Cuando el primer dispositivo de adquisición de imágenes (o dispositivo de formación de imágenes) tiene muy poca memoria para almacenar todas las imágenes de un recorrido, se procesa la adquisición:

• o con MTB pero liberando gradualmente la memoria de las imágenes y almacenando la información del descriptor extraído,

• ya sea con el método MTD o con el método de procesamiento segmentado (MTS).

Al final de esta etapa, el sistema dispone de una secuencia de imágenes con una superposición adecuada sobre la que se realizará el procesamiento de las siguientes etapas.

Preferiblemente, sea cual sea el modo de adquisición de las imágenes, se elige una imagen de referencia entre estas imágenes.

[B1) extracción automática a partir de las imágenes de los descriptores de interés definidos por sus coordenadas de imagen y sus características radiométricas, con al menos un descriptor de dirección desconocida en cada superposición 21 de imágenes (un descriptor es suficiente si se dispone de una medición de la elevación con un inclinómetro, por ejemplo, de lo contrario se requieren al menos dos descriptores) También se aprovechan los descriptores extraídos de las partes no superpuestas de las imágenes, ya que, una vez caracterizados los parámetros del patrón de disparo, se les puede dar una orientación de calidad que se puede utilizar en la fase de explotación en línea. El operador también puede definir manualmente los descriptores nombrando los detalles y sus coincidencias en las imágenes. Esta información también puede utilizarse para :

• las imágenes se orientan relativamente entre sí en la etapa posterior C1, y luego en términos absolutos en la etapa posterior E1 en PBT,

• determinar la orientación de una imagen en POL cuando los rasgos designados tienen una firma radiométrica suficientemente característica.

Los descriptores detectados en las imágenes son, a modo de ejemplos no limitativos, de tipo:

• SIFT acrónimo de la expresión anglosajona Scale Invariant Features Translation. En este caso se trata de puntos clave caracterizados por un vector de información que describe el histograma de gradientes alrededor del píxel considerado. Esta etapa se realiza normalmente como se describe originalmente en Lowe 2001.

• SURF acrónimo de la expresión anglosajona Speeded Up Robust Features. Al igual que SIFT, este enfoque localiza detalles (primitivos) en las imágenes y los caracteriza en una alternativa más rápida que el enfoque SIFT.

• FREAK acrónimo de la expresión anglosajona Fast Retina Keypoint (Alahi et al IEEE 2012),

• Puntos de Haris y momentos de imagen.

En la práctica, el algoritmo de extracción de descriptores está configurado para garantizar que :

• El número de descriptores extraídos es satisfactorio para la aplicación (por ejemplo, al menos 2 por área de superposición). En particular, esta característica puede ser más difícil de verificar en áreas con poco detalle, debido a la composición de la escena, o a iluminaciones particulares del detector. Esto se hace principalmente a través de los parámetros específicos del algoritmo de extracción de descriptores (umbral, nivel de procesamiento de la pirámide, ...).

• La densidad espacial de los descriptores no es demasiado alta. En esta situación, por un lado, se aumenta innecesariamente el tamaño de los sistemas a estimar y, por otro, se incrementa el riesgo de asociar incorrectamente los descriptores. En la práctica, el algoritmo de selección eliminará los descriptores correspondientes a las direcciones que están demasiado cerca en angularidad del FOV del dispositivo de formación de imágenes.

Se sabe que algunos de estos descriptores son más o menos robustos a los cambios entre imágenes:

• de escala (o variación del zum),

• de orientación (rotación relativa de una imagen a otra),

• de traslación.

Sea cual sea el algoritmo utilizado, se asocia un descriptor a un píxel correspondiente a un detalle de la escena que presenta una firma específica en relación con su vecindad en la banda espectral del dispositivo de adquisición de imágenes.

Además de la libertad de escala, al elegir un zum específico y/o un campo de visión del dispositivo de adquisición, se puede elegir la adquisición en una banda espectral específica si el primer dispositivo de adquisición tiene múltiples canales (por ejemplo, IR/ VIS). Además del compromiso campo/número de imágenes ya mencionado, el interés del operador es elegir el canal con los mejores contrastes. En el caso de la utilización nocturna, la elección se limita evidentemente a los canales IR o activos de que dispone el aparato de captación.

[C1) a partir de los descriptores extraídos de las superposiciones, poner en correspondencia de forma automática (MEC) (también llamado emparejamiento) de los descriptores de las superposiciones de una imagen con la otra imagen vecina y la estimación automática de la rotación relativa de las imágenes entre ellas, posiblemente mediante la imagen de referencia. Esta etapa suele denominarse ajuste grueso o aproximado. La detección de los detalles de la escena que dan lugar a posibles superposiciones múltiples (más de 2 imágenes) puede llevarse a cabo en una fase posterior, después de haber realizado una primera orientación relativa entre las imágenes; se trata de guiar la búsqueda de descriptores que puedan vincularse a más de 2 imágenes.

Esta estimación de la orientación y el emparejamiento de los descriptores pueden llevarse a cabo simultáneamente de la siguiente manera conocida por el experto:

1. a. cálculo de una primera transformación relativa con un número mínimo de 2 MEC con un algoritmo de tipo TRIAD,

2. b. estimación de los MEC "buenos" (inliers) con un algoritmo de tipo RANSAC (o PROSAC) (acrónimos de las expresiones anglosajonas RANdom SAmple Consensus, y PROgressive SAmple Consensus), para rechazar los MEC anómalos (outliers) entre las imágenes,

3. c. estimación de una transformación óptima, basada en todas las buenas correspondencias (inliers), con un algoritmo del tipo "q-method" o "QUEST" (QUaternion ESTimator) o "SVD method" o Gauss-Newton, por ejemplo.

[D1 ) Identificar en las imágenes, automáticamente o por un operador, al menos una referencia direccional absoluta conocida 22, como se muestra en la figura 3b, como un punto de referencia o un objeto celeste, de precisión compatible con el rendimiento deseado, y determinar automáticamente o por el operador las coordenadas de imagen de cada referencia. El objetivo de esta etapa es asociar las coordenadas de la imagen con la dirección geográfica o espacial (acimut, elevación) de las referencias utilizadas.

• en un procedimiento automático, por ejemplo, una imagen asociada a un dato de referencia puede correlacionarse automáticamente con áreas de imagen alrededor de los descriptores en PBT. Hay que tener en cuenta que este enfoque requiere que las imágenes asociadas a las referencias estén disponibles en CPDV similares a las producidas en PBT. Para ello, una orientación absoluta aproximada de las imágenes PBT por medio de una brújula magnética, por ejemplo, puede facilitar la tarea reduciendo en gran medida la combinatoria de cotejo,

• en un enfoque no automático se puede considerar :

° un modo semiautomático específico, en el que el operador apunta la referencia al centro de la imagen y realiza mediciones específicas (angulares con inclinómetro y brújula magnética, por ejemplo, y potencialmente de distancia con un telémetro láser armonizado con el centro de la imagen)

° un modo de apuntamiento manual en el que el operador designa la referencia en una imagen para asociar sus coordenadas de imagen con su dirección espacial.

Cuando la referencia es un punto de referencia terrestre, es fácil determinar sus características direccionales (acimut y elevación) a partir de la posición de la cámara. La precisión de la dirección es entonces una función de la precisión de las coordenadas del punto de referencia, la precisión de la posición de la cámara, la precisión de la designación del punto de referencia y la distancia entre el punto de referencia y la cámara.

Cuando la referencia es un punto de referencia celeste, el cuerpo puede, por ejemplo, centrarse en el eje óptico y luego su dirección se determina a partir de la posición de la cámara, una fecha UTC (por ejemplo, disponible en el GPS) y efemérides de cuerpos celestes o un catálogo astrométrico. El error de dirección depende entonces de la calidad de estas cantidades de acimut y elevación, con una contribución adicional para la elevación procedente de los residuos de corrección de la refracción atmosférica.

Cuando la exploración ha cubierto un círculo completo del horizonte, una sola referencia puede ser suficiente; pero cuando el barrido ha cubierto una parte de un círculo completo del horizonte, al menos dos referencias deben ser identificadas en las imágenes. En la práctica, basta con escribir las ecuaciones del patrón de disparo que relacionan el vector espacial que une la posición del sensor (x0,y0,z0) con la posición (xn,yn,zn) de la referencia de la escena, y su posición en la imagen caracterizada por sus coordenadas. El patrón incorpora :

• parámetros internos que caracterizan la especificidad de las propiedades geométricas dentro del dispositivo de imagen,

• los parámetros externos fijados en función de la actitud de la imagen o del dispositivo de formación de imágenes y

• su posición espacial.

En esta etapa, los parámetros de orientación de la imagen se estimaron de manera aproximada. La estimación aproximada de estos parámetros proporcionará los valores iniciales para la siguiente etapa, que realizará la estimación final de sus valores.

E1) A partir de los descriptores de las superposiciones coincidentes, de la dirección y de las coordenadas de la imagen de cada referencia, estimación automática de la actitud de cada imagen, y eventualmente de una posición más precisa del primer dispositivo de formación de imágenes y de sus parámetros internos, incluida la distancia focal utilizada durante esta fase de PBT. Aunque los parámetros internos y la posición están predeterminados, es posible que se conozcan con una precisión insuficiente (es decir, que no sean coherentes con el objetivo final de calidad de la dirección, como se ilustra a continuación); esta etapa, a menudo denominada ajuste fino, permite definirlos con mayor precisión.

La necesidad de calidad en el parámetro interno que constituye la distancia focal se ilustra con un ejemplo numérico. Para ello, consideramos un detector matricial de tamaño w=1000 píxeles y una óptica que le da un FOV de 10°. La distancia focal del dispositivo de formación de imágenes es f= w / (2 tan(FOV/2)), es decir, una distancia focal de 5715 píxeles para un tamaño medio de píxel (o IFOV) de 175 prad. Si suponemos que la distancia focal inicial se conoce con una precisión del 1% -un valor que se encuentra dentro del rango de incertidumbre tradicional para esta cantidad-, esto corresponde a un error (del tipo sobre/bajo zum de imagen a imagen) de unos 5 píxeles que corresponden a una desviación angular de 0,9 mrad, es decir, un error de fotograma a fotograma de aproximadamente 1 mrad (del orden del rendimiento global buscado) pero que, al cabo de unos pocos fotogramas, se volvería rápidamente incompatible con la clase final de calidad direccional buscada (el efecto del error de zum se acumula). Este sencillo cálculo indica la importancia de que el proceso propuesto sea capaz de reestimar el parámetro interno de la distancia focal del dispositivo de formación de imágenes.

Para esta etapa se pueden utilizar varios enfoques, incluyendo :

• BA (Bundle Ajustment en inglés) para reajustar de forma coherente el conjunto de parámetros de captura de imágenes y las características de las observaciones (aquí descriptores MEC).

• PNP acrónimo de la expresión anglosajona Perspective N Points, que es el procedimiento de topografía o P3P basado en 3 puntos de imagen de coordenadas geográficas,

• P2PA, que es un P2P activo basado en la suposición de que la posición del dispositivo de formación de imágenes es fija y conocida, y que el barrido es circular,

• PNP con ajuste del haz de luz,

En función de la necesidad del usuario en cuanto a la aplicación y el control del buen funcionamiento de los algoritmos automáticos, se puede prever una etapa:

• construcción y visualización de una imagen panorámica a partir de las imágenes finamente recortadas, estando cada píxel de la imagen panorámica asociado a una dirección absoluta,

• mostrar la información asociada a la información del descriptor y el mapa de descripción espacial de descriptores (CDSD).

En general, las observaciones del tipo de alcance pueden ser adquiridas en un sistema optrónico equipado con un telémetro que está alineado con la línea de visión (LdV) del sistema, como un sistema de mano en el que el usuario puede apuntar manualmente la LdV a un detalle del paisaje y alcanzarlo. Este detalle corresponde a un descriptor (coordenadas geográficas y dirección inicialmente desconocidas) o a un punto de referencia (coordenadas geográficas conocidas a priori) y la observación de la distancia es entonces útil en el procedimiento de estimación (BA o PNP) implementado durante esta etapa E1.

F1) A partir de la actitud de cada imagen, de la posición y posiblemente de parámetros internos más precisos del primer dispositivo de formación de imágenes, y de las coordenadas de imagen de cada descriptor (los descriptores de superposición y los demás), calcular automáticamente las direcciones absolutas de estos descriptores según el patrón geométrico de disparo del dispositivo de formación de imágenes. Estos descriptores se archivan en una base de datos (BDD) con sus características radiométricas y direcciones absolutas.

Este archivo se realiza preferentemente de forma que se facilite la búsqueda de coincidencias en POL. Para ello se ordenan los descriptores, especialmente en acimut, para utilizar la ordenación de sus valores con una técnica de hashing geométrico en la etapa de emparejamiento en línea, especialmente cuando se dispone de una medición aproximada del acimut (por ejemplo, utilizando una brújula magnética).

Finalmente, se puede construir un mapa de distribución espacial de descriptores (CDSD) que contiene celdas correspondientes a ángulos sólidos o áreas espaciales. Estas celdas se determinan y posicionan en acimut y elevación según un paso horizontal y vertical elegido por el proceso (estos pasos angulares son generalmente más finos pero del orden del FOV del dispositivo de formación de imágenes). Cada una de las celdas indica el número de descriptores y/o direcciones (las de los descriptores y referencias) que se encuentran en ese ángulo sólido:

• sin descriptor

° si el área no está cubierta por ninguna imagen,

° si el contenido de las imágenes del área no da lugar a la creación de ningún descriptor en la celda,

• descriptores no coincidentes porque provienen de partes de imágenes que no se superponen,

• descriptores emparejados con su orden de multiplicidad, pudiendo asociarse un mismo descriptor a más de 2 imágenes si la superposición entre las mismas es superior al 50%; las superposiciones se producen tanto en acimut como posiblemente en elevación.

En los casos en los que el número de descriptores es muy denso y la escena tiene una gran variación en la elevación (por ejemplo, para áreas con alto relieve, fondos estrellados, ...), la CDSD se construye preferentemente como celdas de superficies regulares. Para ello, recomendamos el uso de una representación de tipo HEALPIX (Hierarchical Equal Area isoLatitude Pixelization) - véase por ejemplo "HEALPix: Un marco para High-Resolution Discretization y Fast Analysis of Data distributed on the Sphere " 2005.

La CDSD puede sintetizarse en forma binaria:

• o para presentar áreas que no tienen descriptores,

• o para presentar áreas con más de un número determinado de descriptores.

La CDSD puede construirse en un :

• relativa cuando las direcciones de los descriptores y las referencias se refieren a un punto de referencia asociado a una imagen de referencia,

• absoluta aproximada cuando las direcciones se orientan a partir de mediciones magnéticas, por ejemplo, • absoluta cuando las direcciones se orientan en un marco de referencia estimado tras un ajuste del haz al final de la fase de bautismo de campo con una calidad compatible con el objetivo.

Cuando se dispone de una brújula magnética, por ejemplo, las direcciones pueden ser inmediatamente pre-situadas en la celda correcta (con una precisión mejor que un grado). Para ello, se determina la celda de la CDSD correspondiente a la dirección del descriptor considerado, truncando o interpolando la dirección del descriptor para acercarla al centro de una celda concreta. Una vez asignados todos los descriptores de todas las imágenes a las celdas de la CDSD, y tras la fase de ajuste del haz, cada dirección se reposiciona con una calidad heredada de la(s) dirección(es) de referencia y la CDSD se ajusta desde el sistema de coordenadas relativas o se aproxima al sistema de coordenadas absolutas.

Esto proporciona una CDSD en forma de tabla, una celda de la cual corresponde a un ángulo sólido alrededor del dispositivo de formación de imágenes y que contiene el número de descriptores extraídos de todas las imágenes (incluidas las superposiciones).

La CDSD puede filtrarse para que contenga sólo un cierto número de descriptores para cada celda espacial con el fin de acelerar la evaluación para la fase en línea. Sin embargo, es más eficiente filtrar los descriptores en la etapa B1.

La eliminación de descriptores en una celda puede realizarse según los siguientes criterios:

• el espaciado o la proximidad de los descriptores en la celda,

• intensidad radiométrica de la firma del descriptor,

• la calidad de la gestión asociada una vez rellenada con la información de una fase de orientación previa. La CDSD puede utilizarse inicialmente en la fase de prueba de campo para :

• determinar la zona del espacio sobre la que se adquieren las imágenes;

• determinar el área de no cobertura en los descriptores en el volumen barrido durante esta fase de bautismo,

• informar al operador para que, eventualmente, pueda readquirir estas zonas con nuevas imágenes si las considera pertinentes;

• descriptores de filtrado en las zonas en las que son demasiado numerosos y, por tanto, redundantes en cuanto a la aportación de información geométrica y serían "similares" en cuanto a sus firmas de señales radiométricas.

En general, la posición del primer dispositivo de formación de imágenes se determina mediante medios de posicionamiento en el dispositivo, o puede estimarse a partir de varias referencias.

Una vez completada esta fase de bautismo (PBT), se inicia la fase operativa de determinación de la dirección o fase operativa en línea (POL). Comprende las etapas A2 a E2, tal como se definen en la reivindicación 1. A continuación, detallaremos estas etapas basándonos en los ejemplos.

A2) Adquisición, de forma automática o por un operador, de la imagen (eventualmente de varias imágenes) del objeto cuya dirección se quiere determinar, denominada imagen actual 20 mostrada en la figura 7, a partir de un segundo dispositivo de formación de imágenes de posición determinada, que es preferentemente el mismo que para la fase anterior pero que puede ser diferente; su posición fija es la misma que en la fase PBT.

Hay que tener en cuenta que el objeto cuya dirección debe determinarse en POL, puede posiblemente estar ausente en las imágenes 2 de PBT, ya que está ausente de la escena PBT (siendo el objeto, por ejemplo, un personaje en movimiento o un vehículo móvil). Los descriptores presentes en el entorno del objeto deben ser a priori suficientes en número y tener "buenas características" para que, combinándolos con el procedimiento MEC robusto, la presencia de un nuevo objeto en la imagen en POL no perturbe el MEC de los descriptores de la imagen actual a los del PBT como veremos más adelante. Así, la actitud de la imagen en POL puede estimarse en presencia de ciertos cambios en la escena entre los instantes PBT y POL.

Las imágenes 2 que no contienen el objeto a orientar también pueden ser adquiridas durante esta fase POL como se muestra en la Figura 7. Cuando una de estas imágenes 2 se superpone con imágenes en PBT y otra se superpone con una imagen 20, entonces :

• la imagen 20 se trata como una sola imagen en POL,

• previamente, todas las imágenes 2 (distintas de la imagen actual 20) se procesan como en PBT para construir un "puente" entre la imagen 20 del objeto y la BDD existente. Su tratamiento permite aumentar la BDD en descriptores y la CDSD en cobertura espacial. ella BDD y la CDSD pueden así enriquecerse en el curso de diferentes POL que tienen la especificidad de tener una cobertura complementaria al CDSD actual. El enriquecimiento se consigue tras afinar las direcciones de todos los elementos antiguos y nuevos (descriptores e imágenes).

B2) Extracción automática de descriptores de cada imagen actual 20.

C2) Poner en correspondencia automáticamente los descriptores de cada imagen actual a los descriptores cuya dirección absoluta fue calculada durante la fase de "bautismo de campo", para determinar la dirección absoluta de los descriptores de cada imagen actual.

Estos descriptores coincidentes de cada imagen actual se asocian preferentemente con los de la base de datos de descriptores.

Si después de la extracción de los descriptores su número o calidad se considera insuficiente o si la imagen que contiene el objeto se encuentra en una zona en la que la CDSD merece ser densificado, entonces se puede realizar un ajuste local del haz para refinar las direcciones de los descriptores con el fin de enriquecer la base de datos de descriptores con la mejor información y actualizar la CDSD.

Se pueden utilizar varias informaciones para facilitar la búsqueda de MEC entre los descriptores POL y los de la BDD de PBT. Designando por f1 (en PBT) y f2 (en POL) las distancias focales/zum de los dispositivos de formación de imágenes y por n1 (en PBT) y n2 (en POL) dos niveles de escala internos a los procesos de extracción de información multiescala, podemos explotar :

• En el nivel de información del descriptor radiométrico : Busque el CME en el nivel de escala correcto f1. 2n1 = f2. 2n2. Dejemos que en POL se utilice el nivel de escala n2 para intentar asociar un descriptor del PBT (de nivel de escala n1) se deduce de las distancias focales aproximadas en POL (f2) y PBT (f1).

• En cuanto a la información geométrica, generalmente no se resuelve un problema como si estuviera perdido en el espacio, ya que se suele tener una orientación aproximada de la imagen que normalmente hay que mejorar por un factor de 10 a 30. Esto se hace para determinar las direcciones de los píxeles correspondientes a los objetos de la imagen con la calidad requerida. Así, partiendo de la dirección aproximada del LdV (o de la orientación aproximada de la imagen) en POL y de los errores asociados, generamos una región o un ángulo sólido en el que buscaremos las correspondencias de BDD.

Los dos aspectos anteriores pueden explotarse conjunta o individualmente, el primero solo si no se dispone de una orientación aproximada de la imagen, el segundo solo también puede ser aceptable siempre que las distancias focales de los dispositivos de adquisición PBT y POL sean del mismo orden.

D2) A partir de las direcciones absolutas de los descriptores de cada imagen actual 20, estimar automáticamente la actitud de cada imagen actual 20 y posiblemente los parámetros internos del segundo dispositivo de formación de imágenes, incluyendo la distancia focal.

[E2) A partir de las coordenadas de la imagen del objeto en cada imagen actual 20, la actitud de cada imagen actual 20, la posición y los parámetros internos (posiblemente más precisos) del segundo dispositivo de formación de imágenes, calcular automáticamente la dirección absoluta del objeto según un patrón de disparo predeterminado de cada imagen actual 20.

La CDSD construido durante el bautismo de campo puede utilizarse en línea:

• para evaluar en una dirección determinada (objeto que apunta a las coordenadas) si la BDD es consistente en esta vecindad, incluso antes de que se haya producido una imagen actual,

• para ofrecer un campo de visión de trabajo si el dispositivo de formación de imágenes tiene varios campos de visión. En el caso de una PBT de campo pequeño (PC), por ejemplo, es aconsejable adquirir una imagen actual en el extremo superior del área útil, en campo amplio (GC) para garantizar los descriptores en la mitad inferior de la imagen.

La CDSD, al igual que la BDD, también puede ser enriquecida en línea. Por ejemplo, cuando el FOV de una imagen actual se extiende más allá de la zona caracterizada actual, los descriptores extraídos más allá de la zona caracterizada se añaden a la BBD cuando la imagen actual se ha orientado en términos absolutos tras cotejar algunos de sus descriptores con otros conocidos en la BBD.

En general, la posición del segundo dispositivo de formación de imágenes se determina mediante medios de posicionamiento en el segundo dispositivo de imagen o puede estimarse a partir de una serie de referencias en la fase PBT.

El sistema optrónico considerado puede ser una cámara optrónica portátil con uno o más canales de visión nocturna y/o diurna. Incluye medios de memoria y de unidad de cálculo e interfaces adecuadas para implementar el procedimiento para facilitar :

• En PBT: captura y adquisición de datos, presentación de resultados intermedios (calidad de la estimación, estadísticas MEC, banda de imagen reconstruida), y características y distribución (CDSD) de los descriptores, actitudes de la imagen, distancia focal u otro parámetro interno estimado.

• En POL : elementos de control como las características de los descriptores presentes en la imagen actual, su pertenencia a una zona espacial efectivamente cubierta por el CDSD con una posible necesidad complementaria de descripción de la escena (véase la figura 7), el número de correspondencias establecidas con los descriptores del BDD, información directamente utilizable, como la orientación (o actitud) de la imagen (o parcialmente la dirección de la LDV) y la ubicación de un objeto en el centro de la imagen cuando éste ha sido objeto de una medición de distancia (por ejemplo, en el caso de un sistema optrónico equipado con un telémetro armonizado con la LDV).

El primer y/o segundo dispositivo de formación de imágenes puede estar montado a bordo de una plataforma fija, en un trípode o en un Pan & Tilt. En el caso de un dispositivo de formación de imágenes convencional montado en un trípode, el operador activa manualmente las adquisiciones de imágenes. En este caso se trata tanto de una cámara optrónica portátil como de un teléfono móvil equipado con las unidades de procesamiento e interfaces adecuadas para desarrollar el proceso. En una plataforma Pan & Tilt, la adquisición puede programarse con un desplazamiento del dispositivo de formación de imágenes en función de sus características (área a cubrir y FOV en particular) y de las superposiciones deseadas entre imágenes. En el caso de un dispositivo de formación de imágenes montado en una plataforma móvil, la implementación del procedimiento supone el conocimiento de la posición del dispositivo de formación de imágenes a través de la de la plataforma, aunque esto puede afinarse en la etapa E1. Además, las direcciones de referencia de los descriptores se registran en el mismo marco de referencia geográfico local para todas las imágenes de la secuencia adquirida.

En muchos teléfonos móviles recientes, existe un modo de adquisición de imágenes que permite construir una imagen panorámica a partir de varias imágenes que pueden adquirirse sobre una porción o un círculo completo del horizonte. Un proceso conocido como "Panoramic Stitching" permite unir las imágenes individuales para presentar una imagen panorámica global. Contrariamente al objetivo del "stiching" que es tener una imagen más grande que la permitida por el FOV del sensor, el objetivo del procedimiento según la invención es orientar una imagen (a priori limitada al FOV del sensor) que será adquirida posteriormente al paneo desde una posición dada y determinar la dirección absoluta de uno de estos píxeles correspondiente en general a un objeto de interés de la escena. Aplicado a un teléfono móvil, el proceso complementa los algoritmos existentes en los teléfonos recientes para construir un BDD y un CDSD para determinar la dirección de un objeto.

El primer y/o segundo dispositivo de formación de imágenes puede instalarse a bordo de una plataforma móvil, como una aeronave 3, como se ilustra, por ejemplo, en la figura 8. En este caso, se supone que el sistema optrónico equipado con el dispositivo de formación de imágenes tiene la agilidad de orientar su línea de visión en diferentes direcciones bajo la plataforma. El dispositivo de formación de imágenes dispone de un modo de servocontrol que le permite garantizar patrones de adquisición circulares de las imágenes 2, como se muestra en la figura, cualquiera que sea la trayectoria de la plataforma, dentro de los límites de su posible enmascaramiento. La adquisición circular está indicada por la serie de 12 imágenes i1 a i12 con superposiciones 21, adquiridas respectivamente desde 12 posiciones 31. En esta situación, los descriptores extraídos de las imágenes que representan el terreno se caracterizan como antes por su dirección absoluta o directamente por sus coordenadas geográficas si se dispone de un patrón digital del terreno (MNT) de la escena. La ventaja de este enfoque es que las coordenadas geográficas se establecen naturalmente en un marco de referencia común (por ejemplo, WGS84). Las direcciones establecidas en cada imagen en el marco de referencia geográfico local (RGLP) correspondiente a la posición de la plataforma en el momento de la adquisición de la imagen deben establecerse en un RGL común (RGLC). Para este RGLC, se puede elegir como origen la Posición de Referencia (PR) correspondiente a la observada durante la adquisición de una imagen PBT, por ejemplo la primera o la última imagen. En general, cada dirección "v^m" en un RGL asociado a una imagen correspondiente a la posición Pm puede transferirse a una dirección "vⁿ" en el RGL de una posición Pn utilizando una relación lineal de la forma vⁿ= R(Pⁿ)R^T(P^m) v^m. Expresión en la que los elementos R son matrices de rotación (3x3) cuyos elementos dependen únicamente de las coordenadas geodésicas (longitud y latitud) de la imagen durante la adquisición mediante funciones trigonométricas y el exponente "T" indica la transposición de la rotación correspondiente. Cuando las posiciones Pn y Pm no están demasiado alejadas, también se puede utilizar una relación diferencial para caracterizar la desviación de la dirección vⁿcon respecto a la dirección v^men términos de ángulos elementales.

En la práctica, los sistemas aéreos acceden a los parámetros cinemáticos de posición, velocidad, aceleración y actitud de la plataforma. Por lo general, tienen sus propios medios para establecer la actitud de la imagen en referencia geográfica local y, por tanto, en cualquier tipo de marco de referencia. Esta información tiene errores asociados y se utiliza para inicializar y linealizar las ecuaciones no lineales que intervienen en el procedimiento de ajuste del haz.

A la salida del procedimiento, los valores de los parámetros iniciales son mejorados y caracterizados por una covarianza.

Si el sistema accede a uno o más GCP, el rendimiento del ajuste del haz puede ser mejorado significativamente. Para ponerlo en perspectiva, un sistema en el que las orientaciones iniciales de las imágenes varían de uno a unos pocos mili-radianes, resulta en un error mínimo de 30m a 30km. Por un razonamiento elemental, podemos evaluar el efecto de este error en el acimut y, por tanto, en el posicionamiento tangencial. Obsérvese que un error circular en la elevación da lugar a un error en el suelo mucho mayor para las miras oblicuas, ya que el error circular se multiplica aproximadamente por la relación entre la distancia (entre el sistema y el punto a localizar) y la altura del sistema en el suelo.

El acceso a un GCP con una calidad de 5 m a 20 km permite acceder a una calidad de orientación de % de miliradián, es decir, 4 veces mejor que el rendimiento inicial; un GCP con una calidad de 3 m a 30 km permitirá una mejora del orden de magnitud en el rendimiento de la orientación con un rendimiento angular potencial de 1/10 de mili-radián Por último, cabe señalar que el algoritmo de ajuste del haz utilizado, por ejemplo, en la fase de ajuste fino, propagará el beneficio de dicha referencia absoluta a la orientación de todas las imágenes superpuestas.

En una plataforma móvil de tipo aeronáutico (o incluso en un barco o vehículo), destacan las siguientes características

• las posiciones de las diferentes imágenes son sustancialmente diferentes pero conocidas y -al igual que las orientaciones de las imágenes- pueden ser estimadas en la etapa de ajuste del haz.

• En esta implementación, la actitud relativa es generalmente bastante conocida (unas decenas de prad durante un corto período de tiempo si hay pocas maniobras de la plataforma) lo que facilita el MEC de los descriptores (etapa C1) y la inicialización de las estimaciones no lineales (etapa E1). Además, la orientación absoluta de las imágenes es también bastante buena y del orden de mrad (facilita la etapa D1); por otra parte, un sesgo de montaje (qq mrad) se modelará preferentemente en las ecuaciones del patrón de disparo para estimarlo de la misma manera que la distancia focal en la etapa E1.

Por supuesto, conociendo la dirección del objeto, se puede determinar su ubicación geográfica cuando, por ejemplo, el dispositivo de formación de imágenes está equipado con un telémetro y/o utilizando procedimientos conocidos por el experto.

Este procedimiento de determinación de la dirección absoluta de un objeto en una imagen puede implementarse en particular a partir de un producto de programa de ordenador, comprendiendo el programa de ordenador instrucciones de código para realizar las etapas del procedimiento. Se graba en un soporte legible por ordenador. El soporte puede ser electrónico, magnético, óptico, electromagnético o un soporte de dispersión infrarroja. Ejemplos de estos soportes son las memorias de semiconductores (Random Access Memory RAM, Read-Only Memory ROM), las cintas, los disquetes o los discos magnéticos u ópticos (Compact Disk - Read Only Memory (CD-ROM), Compact Disk - Read/Write (CD-R/W) y DVD).

Claims

REIVINDICACIONES

1. Procedimiento de determinación de la dirección geográfica absoluta de un objeto en una escena (1), con un rendimiento deseado en acimut y elevación en la clase de 0,1 a 1 mili-radian, comprendiendo el procedimiento una fase de aprendizaje y una fase de operación en línea, la fase de aprendizaje comprende las siguientes etapas:

- adquisición mediante barrido circular por medio de un canal de un primer dispositivo optrónico de formación de imágenes en los dominios visible, infrarrojo cercano, infrarrojo corto, infrarrojo medio o infrarrojo lejano, de una posición fija determinada, de una serie de imágenes optrónicas parcialmente superpuestas (2), incluyendo una imagen o varias imágenes de la escena (etapa A1)

- extracción automática de las imágenes de descriptores definidos por sus coordenadas de imagen y sus características radiométricas, con al menos un descriptor de dirección desconocida en cada superposición (21) de imágenes (etapa B1),

- a partir de los descriptores extraídos en las superposiciones entre imágenes, estimación automática de la rotación relativa de las imágenes entre sí y correspondencia de los descriptores extraídos en las superposiciones (etapa C1),

- identificación en las imágenes de al menos una dirección de referencia geográfica conocida (22) de precisión compatible con la prestación deseada, y determinación de las coordenadas de imagen de cada referencia (etapa D1),

- a partir de los descriptores extraídos de las superposiciones y correspondencias, de la dirección y de las coordenadas de la imagen de cada referencia, estimación automática de la actitud de cada imagen y estimación de la distancia focal del primer dispositivo de formación de imágenes con una precisión compatible con el rendimiento deseado, lo que se conoce como la etapa de ajuste fino (etapa E1), - a partir de la actitud de cada imagen, la posición y los parámetros internos del primer dispositivo de formación de imágenes, incluida la distancia focal, y las coordenadas de imagen de cada descriptor, calcular las direcciones absolutas de los descriptores según un patrón de disparo predeterminado del dispositivo de formación de imágenes (etapa F1),

comprendiendo la fase de funcionamiento en línea las siguientes etapas:

- Adquisición de al menos una imagen del objeto, denominada imagen actual (20), a partir de un segundo dispositivo de formación de imágenes que tenga la misma posición fija que el primer dispositivo de formación de imágenes (etapa A2),

- Extracción automática de descriptores de cada imagen actual (etapa B2),

- Poner en correspondencia de manera automática los descriptores de cada imagen actual con los descriptores cuya dirección absoluta fue calculada durante la fase de aprendizaje, para determinar la dirección absoluta de los descriptores de cada imagen actual (etapa C2),

- A partir de las direcciones absolutas de los descriptores de cada imagen actual, estimación automática de la actitud de cada imagen actual (etapa D2),

- A partir de las coordenadas de la imagen del objeto en cada imagen actual, la actitud de cada imagen actual, la posición y los parámetros internos del segundo dispositivo de formación de imágenes, calcular automáticamente la dirección absoluta del objeto según un patrón de disparo de cada imagen actual (etapa E2).

2. Procedimiento automático de determinación de la dirección absoluta de un objeto según la reivindicación anterior, en el que enfóquela distancia focal del primer dispositivo de formación de imágenes es diferente de la distancia focal del segundo dispositivo de formación de imágenes.

3. Procedimiento automático de determinación de la dirección absoluta de un objeto según una de las reivindicaciones anteriores, en el que una posición precisa del primer dispositivo de formación de imágenes de la fase de aprendizaje y/o los parámetros internos del primer dispositivo de formación de imágenes de la fase de aprendizaje se estiman en la etapa de ajuste fino.

4. Procedimiento automático de determinación de la dirección absoluta de un objeto según una de las reivindicaciones anteriores, en el que los parámetros internos, incluida la distancia focal del segundo dispositivo de formación de imágenes de la fase en línea, se estiman durante la etapa de estimación de la actitud de cada imagen actual.

5. Procedimiento automático de determinación de la dirección absoluta de un objeto según una de las reivindicaciones anteriores, en el que el primer y el segundo dispositivo de formación de imágenes son un único dispositivo de formación de imágenes.

6. Procedimiento automático de determinación de la dirección absoluta de un objeto según una de las reivindicaciones anteriores, en el que los descriptores de la fase de aprendizaje se archivan en una base de datos con sus características radiométricas y sus direcciones absolutas.

7. Procedimiento automático de determinación de la dirección absoluta de un objeto según una de las reivindicaciones anteriores, en el que se construye un mapa de densidad de la distribución espacial de descriptores antes de la fase de operación en línea, determinando y posicionando celdas en acimut y elevación e indicando el número de descriptores encontrados en dichas celdas.

8. Procedimiento automático de determinación de la dirección absoluta de un objeto según una de las reivindicaciones anteriores, en el que la serie de imágenes adquiridas en la fase de aprendizaje cubre una visión completa del horizonte.

9. Procedimiento automático de determinación de la dirección absoluta de un objeto según una de las reivindicaciones 1 a 6, en el que la serie de imágenes adquiridas en la fase de aprendizaje cubre una parte de una visión completa del horizonte y en el que se identifican al menos dos referencias en las imágenes.

10. Procedimiento automático de determinación de la dirección absoluta de un objeto según una de las reivindicaciones anteriores, en el que la posición del primer dispositivo de formación de imágenes se determina mediante medios de posicionamiento previstos en dicho dispositivo o se estima a partir de varias referencias.

11. Procedimiento automático de determinación de la dirección absoluta de un objeto según una de las reivindicaciones anteriores, que comprende una etapa de construcción de una imagen panorámica a partir de las imágenes finamente ajustadas, y en el que cada píxel de la imagen panorámica está asociado a una dirección absoluta.

12. Procedimiento automático de determinación de la dirección absoluta de un objeto según una de las reivindicaciones anteriores, en el que la serie de imágenes adquiridas son imágenes de vídeo.

13. Procedimiento automático de determinación de la dirección absoluta de un objeto según una de las reivindicaciones anteriores, en el que la serie de imágenes se adquiere imagen por imagen.

14. Procedimiento automático de determinación de la dirección absoluta de un objeto según una de las reivindicaciones anteriores, en el que cada imagen adquirida está asociada a una elevación.

15. Procedimiento automático de determinación de la dirección absoluta de un objeto según una de las reivindicaciones anteriores, en el que cada referencia es un punto de referencia terrestre o un objeto celeste.

16. Procedimiento automático de determinación de la dirección absoluta de un objeto según una de las reivindicaciones anteriores, en el que el objeto está ausente en las imágenes adquiridas en la fase de aprendizaje.

17. Un producto de programa de ordenador, comprendiendo dicho programa de ordenador instrucciones de código para realizar las etapas del procedimiento según una cualquiera de las reivindicaciones anteriores, cuando dicho programa se ejecuta en un ordenador.