ES2891127T3 - Procedimiento de estimación del movimiento de un portador con respecto a un entorno y dispositivo de cálculo para sistema de navegación - Google Patents

Abstract

Procedimiento de estimación (10) del movimiento de un portador con respecto a un entorno (20) en relación con el que dicho portador se desplaza, embarcando el portador al menos un sensor de navegación y al menos un sensor de visión que produce unas imágenes 2D del entorno, caracterizado por que incluye las etapas de: - identificación (12), en unas imágenes adquiridas por el sensor de visión, de elementos característicos de las imágenes que representan unos elementos característicos del entorno, - cálculo (14) de al menos una medición condensada en función de elementos característicos de un triplete de imágenes adquiridas en unos instantes diferentes, siendo la al menos una medición condensada representativa de características del movimiento del portador en el transcurso de la adquisición de las imágenes de dicho triplete, siendo la al menos una medición condensada representativa: - de una relación de las distancias recorridas por el portador entre los instantes de adquisición de dos pares de imágenes de dicho triplete, determinada en función de elementos característicos de las imágenes del triplete que representan unos elementos característicos del entorno visibles sobre cada una de las tres imágenes de dicho triplete y/o - de una dirección de desplazamiento del portador o de una pose relativa normalizada entre los instantes de adquisición de un par de imágenes del triplete, determinada en función de elementos característicos de este par de imágenes que representan unos elementos característicos del entorno visibles sobre cada una de las dos imágenes de este par, - estimación (16) del movimiento por un filtro de estimación, denominado "filtro de navegación", en función de mediciones de navegación realizadas por el sensor de navegación y en función de la al menos una medición condensada.

Description

DESCRIPCIÓN

Procedimiento de estimación del movimiento de un portador con respecto a un entorno y dispositivo de cálculo para sistema de navegación

Sector de la técnica

La presente invención pertenece al campo de la navegación de portadores del tipo vehículos, robots, etc. Más particularmente, la presente invención se refiere a la estimación del movimiento de un portador con respecto a un entorno en relación con el que se desplaza este portador.

Estado de la técnica

El entorno es, por ejemplo, la superficie de un cuerpo celeste, otro vehículo, un relieve estructurado (ciudad, edificio), etc.

El portador debe poder desplazarse de forma autónoma con respecto a este entorno, sin conocimiento a priori del este o con un conocimiento a priori reducido. Para ello, necesita determinar su movimiento con respecto a este entorno.

El movimiento del portador se determina por medio de un sistema de navegación que comprende uno o varios sensores de navegación embarcados a bordo de dicho portador. El sistema de navegación determina el movimiento por un procesamiento adaptado de las mediciones proporcionadas por los sensores de navegación. Los sensores de navegación pueden ser de diferentes tipos, por ejemplo, receptor GPS, acelerómetro, odómetro, giroscopio, etc. La estimación del movimiento del portador con respecto al entorno se efectúa implementando un filtro de navegación que combina un modelo de desplazamiento (por ejemplo, las ecuaciones de la cinemática del portador) con las mediciones de navegación proporcionadas por los sensores de navegación.

No obstante, existen unos numerosos escenarios en los que el sistema de navegación no permite por sí solo estimar correctamente el movimiento del portador respecto al entorno.

Este es el caso, por ejemplo, de un portador con ruedas que evoluciona en la superficie de un terreno y provisto de una odometría que mide la rotación de las ruedas. Las mediciones odométricas no son suficientes para reconstruir el movimiento del portador cuando este derrapa o se desliza sobre el terreno.

Este es el caso, igualmente, de un portador que se desplaza con respecto a un cuerpo celeste y que posee una central de navegación inercial que proporciona unas mediciones de velocidades angulares y de aceleraciones lineales según al menos tres ejes independientes. Un filtro de navegación procesa estas mediciones a alta cadencia (típicamente 150 Hercios) utilizando un modelo de campo de gravedad local, por ejemplo, a través de un filtro de Kalman extendido, con el fin de restaurar posición y velocidad del portador con respecto al cuerpo celeste. Las derivas inevitables de los sensores de navegación inerciales y el desconocimiento inicial de la posición del portador con respecto al entorno son otras tantas fuentes de errores sobre la estimación del movimiento de dicho portador, en particular, sobre la estimación de su posición con respecto al entorno. Estos errores se acumulan y se propagan en el tiempo sobre las siguientes estimaciones.

Este es el caso, igualmente, de un portador provisto de un receptor GPS. Aunque un receptor GPS de este tipo esté, generalmente, adaptado para proporcionar una estimación precisa de la posición del portador (típicamente con un metro de aproximación en ciertos casos), esta precisión se degrada en caso de pérdida o de corrupción de las mediciones GPS. Una pérdida o corrupción de las mediciones GPS de este tipo puede producirse, en concreto, por el hecho de obstáculos en un canal de radio entre el portador y el emisor g Ps y/o por el hecho de fenómenos de trayectos múltiples en dicho canal de radio.

Con el fin de remediar estas limitaciones, se conoce que se implementa un sistema de visión y que se proporciona al portador uno o de varios sensores de visión, que realizan la adquisición de imágenes de dos dimensiones (imágenes 2D) del entorno.

La información proveniente del sistema de visión se procesa por el sistema de navegación. Para ello, el filtro de navegación se aumenta para tomar en cuenta las mediciones proporcionadas por el sistema de visión.

Se pueden elaborar unas numerosas puestas en práctica digitales del filtro de navegación aumentado, por ejemplo, filtro de Kalman, filtro de Kalman extendido, filtro de información, filtro de partículas, filtro bayesiano, etc.

Unos ejemplos de unos sistemas de navegación aumentados de este tipo se describen, por ejemplo, en el contexto de portadores del tipo vehículos espaciales, en las siguientes publicaciones científicas:

- "Navigation for Planetary Approach and Landing", B. Frapard et al, 5th International ESA Conférence on Guidance Navigation and Control Systems (5a Conferencia Internacional de la ESA sobre Sistemas de Control y Guías de Navegación), 22-25 de octubre de 2002, Frascati, Italia;

- "Autonomous Navigation Concepts for Interplanetary Missions", B. Polie et al, IFAC Symposium on Automatic Control in Aerospace (Simposio de la IFAC sobre Control Automático en la Industria Aeroespacial), 14-18 de junio de 2004, San Petersburgo, Rusia;

- "Mars Sample Return: Optimising the Descent and Soft Landing for an Autonomous Martian Lander", X. Sembély et al, Symposium on Atmospheric Reentry Vehicles and Systems (Simposio sobre Vehículos y Sistemas de Reentrada Atmosférica), 23 de marzo de 2005, Arcachon, Francia;

- "Vision Navigation for European Landers and the NPAL Project", G. Bodineau et al, IFAC Symposium on Automatic Control in Aerospace (Simposio de la IFAC sobre Control Automático en la Industria Aeroespacial), 25­ 29 de junio de 2007, Toulouse, Francia.

En estas publicaciones científicas, se considera un sistema de navegación inercial basado en unas mediciones de navegación de entre las que están unas mediciones de aceleraciones lineales del vehículo según los tres ejes de un marco de referencia vinculado al vehículo y unas mediciones de velocidades angulares del vehículo según estos tres ejes. El vector de estados del filtro de navegación inercial incluye unos estados relativos al movimiento, tales como la posición, velocidad y ángulos de actitud del vehículo en un marco de referencia vinculado al entorno. El filtro de navegación propaga (etapa de predicción) una estimación del vector de estados tomando en cuenta un modelo de campo de gravedad local, así como la covarianza de los errores de estimación de estos estados. El filtro de navegación recalibra (etapa de actualización) la estimación del vector de estados y, por consiguiente, del movimiento del vehículo a partir de las mediciones de navegación.

En estas publicaciones científicas, el sistema de navegación inercial se combina con un sistema de visión constituido por una cámara embarcada en el vehículo que proporciona unas imágenes 2D del entorno a una frecuencia típica del orden de 10 a 100 Hercios.

En una imagen, se identifican unas zonas características del entorno. Una zona característica del entorno es una zona cuya representación en la imagen, en tanto en cuanto conjunto de píxeles, presenta la propiedad de poder encontrarse de una imagen a la otra, por ejemplo, por correlación de imagen o por reconocimiento de forma. Una zona característica de la imagen puede ser, por ejemplo, una miniatura de algunos píxeles a algunas decenas de píxeles en las que existen unas variaciones de luminancia o de textura o de contraste en al menos dos direcciones. Las zonas características del entorno se siguen de una imagen a la otra por correlación de imagen. Se asocia a cada zona característica un punto sobre la imagen, denominado "punto característico de la imagen" Mi. El punto característico Mi es, por ejemplo, el baricentro radiométrico o geométrico de la miniatura de píxeles que representa esta zona característica o un punto particular de esta zona característica. El desplazamiento de los puntos característicos Mi de una imagen a la otra es representativo del movimiento de traslación y de rotación del vehículo con respecto al entorno.

El movimiento del vehículo de posición y actitud se estima aumentando el vector de estados del filtro de navegación inercial con las coordenadas, en un marco de referencia, de puntos característicos M'i del entorno representados por los puntos característicos Mi de la imagen. Un marco de referencia vinculado al portador se designa por (O, X, Y, Z) y se define, por ejemplo, considerando O como que es el centro del plano focal de la cámara, Z como que es eje óptico de la cámara y (X, Y) como que son el plano focal de la cámara.

Para estimar el vector de estados del filtro de navegación, se utilizan, además de las mediciones del sistema de navegación inercial, 2M mediciones correspondientes a las direcciones de los vectores OM'i en el marco de referencia.

Estando el filtro de navegación aumentado, de este modo, tanto al nivel de los estados como al nivel de las mediciones, el vector de estados del filtro de navegación se estima en función de un modelo de evolución temporal de los estados del sistema y un modelo de las diferentes mediciones.

No obstante, el inconveniente principal de los sistemas de navegación que utilizan, igualmente, unas mediciones procedentes de imágenes reside en el hecho de que la estimación del estado del portador, por medio de un filtro de navegación aumentado, de este modo, con estados y con mediciones asociados a los puntos característicos M'i necesita una potencia de cálculo importante.

Por lo demás, unos sistemas de navegación de este tipo son muy sensibles a la calidad de las zonas características del entorno. En particular, las zonas características deben ser unos elementos inmóviles del entorno y considerar por error un elemento móvil del entorno como que es una zona característica es muy perjudicial para la precisión de la estimación del movimiento del vehículo.

El documento US 2003/012410 A1 se refiere a un sistema y a un procedimiento que permiten determinar una estimación de pose de una cámara con la ayuda de características de escena reales.

Objeto de la invención

La presente invención tiene como objetivo proponer un procedimiento de estimación del movimiento de un portador que permite explotar unas mediciones obtenidas a partir de imágenes del entorno, limitando al mismo tiempo el impacto desde un punto de vista de complejidad de procesamiento.

La presente invención tiene como objetivo, igualmente, proponer un procedimiento de este tipo que permite, en ciertos modos de implementación, mejorar la robustez de la estimación en relación con las zonas características del entorno identificadas en las imágenes.

Según un primer aspecto, la presente invención se refiere a un procedimiento de estimación del movimiento de un portador con respecto a un entorno en relación con el que dicho portador se desplaza, embarcando el portador al menos un sensor de navegación y al menos un sensor de visión que produce unas imágenes 2D del entorno. El procedimiento incluye unas etapas de: i) identificación, en unas imágenes adquiridas por el sensor de visión, de elementos característicos de las imágenes que representan unos elementos característicos del entorno, ii) cálculo, en función de elementos característicos de las imágenes seguidos de una imagen a la otra de un triplete de imágenes adquiridas en unos instantes diferentes, de al menos una medición condensada representativa de características del movimiento del portador en el transcurso de la adquisición de las imágenes de dicho triplete y iii) estimación del movimiento por un filtro de navegación, en función de mediciones de navegación realizadas por el sensor de navegación y en función de la al menos una medición condensada.

Según unos modos particulares de implementación, el procedimiento de estimación incluye una o varias de las siguientes características, tomados aisladamente o según todas las combinaciones técnicamente posibles.

Preferentemente, se determina, en el transcurso de la etapa de cálculo, una medición condensada representativa de una relación de las distancias recorridas por el portador entre los instantes de adquisición de dos pares de imágenes de dicho triplete, en función de elementos característicos de las imágenes del triplete que representan unos elementos característicos del entorno visibles sobre cada una de las tres imágenes de dicho triplete.

Preferentemente, se determina, en el transcurso de la etapa de cálculo, al menos una medición condensada representativa de una dirección de desplazamiento del portador entre los instantes de adquisición de un par de imágenes del triplete, en función de elementos característicos de este par de imágenes que representan unos elementos característicos del entorno visibles sobre cada una de las dos imágenes de este par.

Preferentemente, se determina, en el transcurso de la etapa de cálculo, al menos una medición condensada representativa de una pose relativa normalizada entre los instantes de adquisición de un par de imágenes del triplete, en función de elementos característicos de este par de imágenes que representan unos elementos característicos del entorno visibles sobre cada una de las dos imágenes de este par.

Preferentemente, los elementos característicos son unos puntos característicos y/o unos objetos característicos o una o unas superficies características.

Preferentemente, las imágenes del triplete son unas imágenes seleccionadas de entre una pluralidad de imágenes adquiridas por el sensor de visión.

Preferentemente, al menos una imagen del triplete es una imagen para la que se verifica un criterio de detección de desplazamiento del portador.

Preferentemente, el criterio de detección de desplazamiento del portador se verifica para una segunda imagen cuando, seleccionándose una primera imagen y siendo visibles una pluralidad de elementos característicos del entorno, en número de N, en dicha primera imagen:

- al menos Nb de los N elementos característicos del entorno han desaparecido en dicha segunda imagen o - al menos Nb nuevos elementos característicos del entorno han aparecido en dicha segunda imagen, siendo Nb sustancialmente igual a rP N, siendo rp un porcentaje predefinido.

Preferentemente, el porcentaje predefinido rp es igual o superior al 20 %, preferentemente igual al 25 % sustancialmente.

Preferentemente, el procedimiento incluye una etapa de búsqueda de elementos característicos aberrantes de entre la pluralidad de elementos característicos de las imágenes, no considerándose unos elementos característicos considerados como aberrantes en el transcurso de la etapa de cálculo.

Preferentemente, la etapa de búsqueda de elementos característicos aberrantes de las imágenes incluye las subetapas de:

- establecimiento de grupos de elementos característicos que representen al menos cinco elementos característicos del entorno visibles sobre cada una de las imágenes de un par y/o del triplete a utilizar para calcular una medición condensada,

- cálculo, para cada grupo de elementos característicos de las imágenes, de una estimación de la medición condensada a calcular,

- búsqueda de grupos de elementos característicos aberrantes para los que la estimación de dicha medición condensada a calcular es aberrante con respecto al conjunto de las estimaciones de dicha medición condensada a calcular.

Preferentemente, el vector de estados del filtro de navegación incluye el estado del portador en los instantes de adquisición de las imágenes del triplete.

Preferentemente, una medición condensada representativa de una pose relativa normalizada entre los instantes de adquisición de al menos un par del triplete se proporciona al filtro de navegación sustancialmente en el instante de adquisición de la segunda imagen de dicho par (es decir, la imagen más reciente).

Preferentemente, en el transcurso de la etapa de cálculo, se estima el error cometido sobre la estimación de la al menos una medición condensada y, en el transcurso de la etapa de estimación, el movimiento del portador se estima en función de la estimación del error cometido sobre la estimación de la al menos una medición condensada.

Según un segundo aspecto de la invención, la presente invención se refiere a un dispositivo de cálculo para sistema de navegación de un portador que embarca al menos un sensor de navegación y al menos un sensor de visión. El dispositivo de cálculo incluye unos medios configurados para estimar el movimiento del portador de conformidad con uno cualquiera de los modos de implementación del procedimiento de estimación objeto de la invención.

Descripción de las figuras

La invención se comprenderá mejor con la lectura de la siguiente descripción, dada a título de ejemplo de ninguna manera limitativo y hecha haciendo referencia a las figuras que representan:

- Figura 1: un diagrama que representa las principales etapas de un procedimiento de estimación del movimiento de un portador según la invención,

- Figura 2: una representación esquemática, en el plano focal de un instrumento de observación, de trazas virtuales formadas por unos puntos característicos seguidos en varias imágenes adquiridas consecutivamente por dicho sensor de visión,

- Figura 3: una representación esquemática del desplazamiento de un portador con respecto a un entorno, que ilustra ciertas definiciones empleadas en la descripción,

- Figura 4a: un diagrama que representa las principales etapas de un modo particular de implementación de un procedimiento de estimación del movimiento de un portador según la invención,

- Figura 4b: un diagrama que representa de forma más detallada un modo preferido de implementación de una etapa particular del procedimiento de estimación de la figura 4a.

Descripción detallada de la invención

La presente invención se refiere a un procedimiento de estimación 10 del movimiento de un portador con respecto a un entorno 20 en relación con el que dicho portador está en movimiento.

En el contexto de la invención, el término "movimiento" se toma en sentido amplio, es decir, cualquier parámetro relativo a la trayectoria de posición y actitud del portador con respecto al entorno 20 y/o que permita prever dicha trayectoria. La estimación del movimiento comprende la estimación de al menos uno de entre los siguientes parámetros: posición, actitud, velocidad, aceleración. En el caso más corriente, se busca estimar el conjunto del movimiento, es decir, los parámetros de posición, actitud, velocidad lineal y velocidad angular del portador.

El movimiento del portador se estima con unos fines de navegación, es decir, con unos fines de estimación y de previsión de la trayectoria del portador con respecto al entorno 20. Se comprende que la invención se aplica a cualquier tipo de portador del que se busca estimar el movimiento con unos fines de navegación, tal como un vehículo terrestre, aéreo o espacial, un robot, un misil, etc.

La invención se implementa por un sistema de navegación que explota unas mediciones de navegación efectuadas por al menos un sensor de navegación embarcado por el portador y unas imágenes de dos dimensiones realizadas por al menos un sensor de visión embarcado, igualmente, por dicho portador.

Cada sensor de navegación puede ser de cualquier tipo, como, por ejemplo, receptor GPS, acelerómetro, odómetro, giroscopio, etc. Un ejemplo preferido de combinación de sensores de navegación que permite la estimación del conjunto del movimiento del portador comprende una central inercial que mide las velocidades angulares y las aceleraciones lineales según los tres ejes de un marco de referencia vinculado al portador. Preferentemente, dicha central inercial se completa por un receptor GPS y/o un altímetro y/o un odómetro, etc.

El sistema de navegación incluye un dispositivo de cálculo del tipo ordenador programado, que incluye al menos un microprocesador y unos medios de memorización (disco duro magnético, memoria flash, disco óptico, etc.) en los que se memoriza un producto de programa de ordenador, en forma de un conjunto de instrucciones de código de programa a ejecutar para implementar las diferentes etapas del procedimiento de estimación 10 del movimiento del portador. Según ciertos modos de realización, el dispositivo de cálculo incluye, igualmente, un o unos circuitos integrados, de tipo ASIC, FPGA, etc., adaptados para implementar todo o parte de las etapas del procedimiento 10. El dispositivo de cálculo está indiferentemente embarcado en el portador o deportado, es decir, localizado en otro lugar que no sea en el portador, por ejemplo, en una estación en suelo en el caso de un portador de tipo de vehículo espacial.

El portador embarca al menos un sensor de visión que puede ser de cualquier tipo adaptado para producir una imagen de dos dimensiones (2D) del entorno, como, por ejemplo, una cámara óptica, una cámara de infrarrojos, un radar generador de imágenes, etc. Un sensor de visión está adaptado para realizar la adquisición de imágenes del entorno, por ejemplo, en forma de una matriz de píxeles que proporciona una información física sobre la zona del entorno colocada en el campo de vista de este sensor de visión. Las imágenes son, por ejemplo, unas matrices de 1.000x1.000 píxeles, a una frecuencia típica comprendida entre 10 y 100 Hercios.

Cabe señalar que un sistema de visión monocular (por oposición, en concreto, a estereoscópico), que comprende un solo sensor de visión, es suficiente para la implementación de la invención. En la continuación de la exposición, nos colocamos en el caso no limitativo donde el portador embarca un solo sensor de visión adaptado para proporcionar unas imágenes 2D del entorno.

Según la invención, la estimación del movimiento del portador se realiza por medio de un filtro de estimación, denominado "filtro de navegación", que toma como entrada la información determinada a partir de las mediciones realizadas por el o los sensores de navegación y por el sensor de visión y combina dicha información, con el fin de estimar el movimiento del portador.

La figura 1 representa, de forma muy esquemática, un modo preferido de implementación del procedimiento de estimación 10, basado en la identificación de puntos característicos del entorno. Tal como se ilustra por la figura 1, el procedimiento de estimación 10 incluye las etapas:

- identificación 12 de puntos característicos Mi en unas imágenes adquiridas por el sensor de visión, que representan unos puntos característicos del entorno,

- cálculo 14, en función de puntos característicos de las imágenes seguidos de una imagen a la otra de un triplete de imágenes adquiridas en unos instantes diferentes, de al menos una medición condensada representativa de características del movimiento del portador en el transcurso de la adquisición de las imágenes de dicho triplete, - estimación 16 del movimiento por el filtro de navegación que toma como entrada unas mediciones de navegación realizadas por el sensor de navegación y la al menos una medición condensada.

Preferentemente, las etapas del procedimiento de estimación 10 se repiten, es decir, que unas mediciones condensadas se calculan para unos tripletes sucesivos de imágenes, estando cada una de las mediciones condensadas calculadas para estos tripletes sucesivos proporcionadas como entrada del filtro de navegación.

Etapa de identificación 12 de puntos característicos

La identificación de puntos característicos en una imagen se apoya en la búsqueda de zonas características de la imagen correspondientes a unas zonas características que se suponen fijas del entorno y visibles en esta imagen. Por ejemplo, las zonas características en una imagen se identifican determinando unas miniaturas de píxeles adyacentes que presentan unas buenas propiedades en términos de correlación de imagen.

Se considera que se dispone de N zonas características identificadas. Las N zonas características pueden corresponder al número total de zonas características o a un subconjunto de todas las zonas características identificadas. En este último caso, se conservan preferentemente las N zonas características para las que se verifica un criterio geométrico (las zonas características se reparten de forma sustancialmente uniforme en la imagen, ventajosamente no demasiado cercanas a los bordes de la imagen) y/o un criterio de correlación (las N zonas características que presentan las mejores propiedades de correlación).

Se siguen estas N zonas características de una imagen a la otra, por ejemplo, por correlación de imagen explotando las buenas propiedades de correlación de las miniaturas de píxeles que representan estas zonas características. Se asocia a cada zona característica un punto sobre la imagen, denominado "punto característico de la imagen" Mi, estando i comprendido entre 1 y N. El punto característico Mi de la imagen es, por ejemplo, el baricentro radiométrico o geométrico de la miniatura de píxeles que representa esta zona característica o un punto particular de esta miniatura de píxeles. Cada punto característico Mi de una imagen representa un punto característico M'i del entorno, que se supone fijo con respecto al entorno.

Etapa de cálculo 14 de al menos una medición condensada

El procedimiento 10 utiliza al menos un triplete de imágenes del entorno, adquiridas en unos instantes diferentes, para calcular al menos una medición condensada representativa de características del movimiento del portador entre los instantes de adquisición de las imágenes del triplete.

Más adelante, veremos en la descripción que este triplete de imágenes se selecciona preferentemente de entre todas las imágenes adquiridas por el sensor de visión.

En este momento, se describe un ejemplo no limitativo de cálculo de mediciones condensadas a partir de los puntos característicos Mi de la imagen en cada una de las imágenes del triplete de imágenes.

Se comprende que las convenciones consideradas a continuación, para las necesidades de la descripción de modos de implementación de la invención, no son limitativas de la invención que se podría describir de manera equivalente adoptando otras convenciones sin que la invención se modifique por ello en su principio.

Se supone, de manera no limitativa y con unos fines de claridad de la exposición, que los instantes de adquisición de las imágenes son unos múltiplos de un período temporal constante AT. Dado un instante de adquisición inicial fe, se comprenderá que la imagen de rango n es la imagen tomada en el instante tn = fe n AT que se designará por "instante n". De forma general, se comprenderá que, si el índice n de una variable Wn hace referencia al tiempo, Wn corresponde al valor de esta variable W(t) en el instante t = fe n AT.

En la continuación de la descripción, nos colocamos en el caso donde el instante corriente es n. De entre el conjunto de las imágenes tomadas antes del instante n, el triplete de imágenes está constituido por tres imágenes In¹, In² , In3 (n1 < n2 < n3), denominadas "imágenes de recalibrado".

Tal como se ha visto, los puntos característicos Mi se desplazan de una imagen a la otra cuando el portador está en movimiento. El desplazamiento de los puntos característicos Mi, 1 < i < N, de una imagen a la otra es representativo del movimiento de traslación y de rotación del portador. El desplazamiento de los puntos característicos Mi de una imagen a la otra se puede representar en forma de trazas virtuales 30 que ilustran las trayectorias de estos puntos característicos en el plano focal 40 del sensor de visión.

Por el hecho del desplazamiento del portador con respecto al entorno, de traslación y/o de rotación, las zonas características identificadas en una primera imagen no son necesariamente visibles en las siguientes imágenes. Se comprende, por lo tanto, que ciertas zonas características podrán "desaparecer" de una imagen a la otra, mientras que se podrán identificar unas nuevas zonas características.

La figura 2 representa un ejemplo de unas trazas 30 de este tipo en el plano focal 40 del sensor de visión, entre los instantes de adquisición n1 y n3.

Se designa por Min1, Min2 y Min3 las posiciones del punto característico Mi en cada una de las imágenes In¹, In² e In3. La traza virtual 30 formada por el desplazamiento del punto característico Mi está formada por las posiciones Min1, Min2 y Min3 representadas en el plano focal 40 del sensor de visión.

Tal como se ha visto anteriormente, por el hecho del desplazamiento del portador, ciertos puntos característicos Mi van a desaparecer de una imagen a la otra. Este fenómeno se ilustra por la presencia de puntos característicos fuera del plano focal 40 en la figura 2 (designados en esta figura por la referencia 50). Esta representación de puntos característicos de la imagen fuera del plano focal 40 es virtual, ya que los puntos característicos M'i fuera del campo de visión del instrumento de observación no aparecen la imagen.

En un primer momento, se consideran unos pares de imágenes de recalibrado del triplete y se calculan a partir de estos pares, unas mediciones condensadas de las que al menos una se utiliza por el filtro de navegación del sistema de navegación.

Por lo tanto, se consideran un par de imágenes de entre el triplete de imágenes de recalibrado, por ejemplo, las imágenes In¹, In² y se consideran unos puntos característicos Mi que representan unos puntos característicos M'i del entorno visibles sobre las dos imágenes de este par.

En un primer momento, se expresa, a partir de las posiciones Min1 y Min2 de los puntos Mi respectivamente en la imagen de recalibrado In¹ y en la imagen de recalibrado In² , la pose relativa entre dichas dos imágenes de recalibrado In¹ e In².

Se entiende por "pose relativa" la variación de la posición y de la actitud del sensor de visión (y, por lo tanto, del portador, suponiéndose el sensor de visión fijo con respecto al portador o con una orientación conocida en todo instante con respecto a dicho portador) en relación con el entorno 20 entre los dos instantes n1 y n2 de adquisición de las imágenes de recalibrado In¹ e In².

En la continuación de la descripción, nos colocamos, salvo indicación contraria, en el marco de referencia (O, X, Y, Z) asociado al sensor de visión, por ejemplo, definido considerando el punto de referencia O como que es el centro del plano focal del sensor de visión, Z como que es el eje óptico de dicho sensor de visión y (X, Y) como que son el plano focal del sensor de visión.

La pose relativa del sensor de visión se expresa, por ejemplo, en el marco de referencia asociado al sensor de visión, tal como está orientado en el instante n2, designado por Rn². Son posibles diferentes representaciones para la pose relativa y nos colocamos el caso donde dicha pose relativa se expresa en forma (PniPn2, S0n1n2), expresión en la que:

- Pni es la posición del origen O del marco de referencia Rni, siendo ni igual a n1 o n2,

- PniPn2 es el vector constituido por Pn¹ y Pn², de origen Pn¹,

- Ó⁰ n¹n² es la matriz de paso que transforma las coordenadas de un vector en el marco de referencia Rn¹ en las coordenadas de este vector en el marco de referencia Rn².

La figura 3 representa de forma muy esquemática las posiciones Pn¹, Pn² y Pn3 del origen O en los instantes n1, n2 y n3, así como el entorno 20 en relación con el que el portador se desplaza y unos puntos característicos M'i de este entorno.

Para cualquier punto característico M'i del entorno, se tiene la siguiente relación vectorial:

La expresión (1) se puede expresar de manera equivalente en la siguiente forma normalizada:

expresión en la que se ha designado por ||AB|| la norma del vector AB, es decir, la distancia entre los puntos A y B. Designando por:

- Unin2 el vector unitario (es decir, el vector de norma igual a 1) colineal al vector PniPn2,

- Uni,i el vector unitario de la línea de mira del sensor de visión hacia el punto característico M'i del entorno 20 en el instante n1,

- un2,i el vector unitario de la línea de mira del sensor de visión hacia el punto característico M'i del entorno 20 en el instante n2,

- pnj,i la distancia entre el punto característico M'i y posición Pnj del portador en el instante de adquisición nj (j igual a 1 o 2),

- znj,i la relación entre la distancia pnj,i y la distancia ||P ^{n i} P ⁿ² || recorrida por el punto de referencia O entre los instantes n1 y n2,

la expresión (2) se puede expresar en la siguiente forma equivalente:

Un1n2 = Zn1,¡ ' U ni , ¡ — Zn2,i ' U n2,i (3 ) La relación vectorial (3) se puede expresar en términos de coordenadas en el marco de referencia Rn² en el instante n2 en la siguiente forma:

U/77n2|Rn2 = Z n1,i ' 5 9 n1n2 ' U /77,/|R ni — Z n2,i ' U /72,/|Rn2 ( 4 )

expresión en la que:

- Unin2Rn2 y Un2,i\Rn2 designan las coordenadas de los vectores unitarios respectivamente Unin2 y Un2,i en el marco de referencia Rn2,

- u ^nf,/ |Rni designa las coordenadas del vector unitario uni,i en el marco de referencia Rni.

Se comprende que cada punto característico M'i visible a la vez en la imagen de recalibrado In¹ y la imagen de recalibrado In² puede conducir a este tipo de relación vectorial (4).

En la expresión (4) y para cada punto característico M'i del entorno 20, los términos Un1n2|Rn2, 69n1n2, zn¹,i y zn²,i representan unos términos no conocidos a priori, mientras que los términos U ^{n i,/} |Rn¹ y U ^n2,/ |Rn² , que son las líneas de vista de estos puntos característicos en el marco del sensor de visión, se pueden expresar directamente a partir de las posiciones conocidas Min1 y Min2 de los puntos característicos Mi asociados a los puntos característicos M'i del entorno respectivamente en las imágenes In¹ e In².

En la continuación de la descripción, se designa por "pose relativa normalizada" el conjunto de los parámetros (U ⁿⁱⁿ² |Rn2,69n1n2) (normalizada en el sentido donde el vector unitario Un1n2|Rn2 corresponde solamente a la dirección del vector PniPn2 sin indicación sobre la distancia entre Pn¹ y Pn²). Por lo tanto, una pose relativa normalizada comprende 5 parámetros escalares independientes: dos parámetros que describen la dirección del vector unitario U ⁿⁱⁿ² |Rn² y tres parámetros (ángulos de Euler o cuaternión normalizado) que dan la matriz de paso 69n1n2.

Se comprende que se dispone, para cada punto característico M'i visible sobre las imágenes de recalibrado In¹ e In², de una relación vectorial (4) constituida por 3 relaciones escalares. Estas 3 relaciones escalares conectan las posiciones Min1 y Min2, los 5 parámetros de pose relativa normalizada a determinar y las dos relaciones de distancias zn¹,i y zn²,i a determinar, igualmente.

Por el hecho de las restricciones de normalización ||U ⁿⁱⁿ² |Rn² || = 1, las 3 relaciones escalares anteriores conducen, de hecho, a 2 relaciones escalares independientes.

Por otra parte, las relaciones de distancia zn¹,i y zn²,i no son independientes, sino que están vinculadas entre sí por la relación:

obtenida aplicando el producto escalar por el vector U ⁿ² ,i|Rn² a los dos miembros de la ecuación (4). Por consiguiente, se comprende que, para cada punto característico M'i, una sola de las dos relaciones de distancia zn¹,i y zn²,i constituye un parámetro independiente.

Los 5 parámetros de pose relativa normalizada son los mismos para todos los puntos característicos M'i visibles sobre las dos imágenes de recalibrado In¹ e In², mientras que las relaciones de distancia zn¹,i y zn²,i, vinculadas entre sí por la relación (5), dependen del punto característico M'i considerado.

Considerando que se tienen N¹² puntos característicos M'i visibles en las dos imágenes In¹ e In² , se dispone, entonces, de 2xN12 relaciones escalares independientes (las N¹² relaciones vectoriales (4)) para (N¹²+⁵ ) incógnitas (5 parámetros de pose relativa normalizada y N¹² relaciones de distancia independientes). Por lo tanto, se comprende que la pose relativa normalizada y las relaciones de distancia se pueden estimar tan pronto como se tienen N¹² = 5 puntos característicos M'i del entorno 20 visibles sobre las dos imágenes In¹ e In².

Es ventajoso considerar un número de puntos característicos M'i superior a 5, incluso significativamente superior a 5, para mejorar la precisión de la estimación de las mediciones condensadas, lo que es siempre el caso en la práctica, ya que el número de puntos característicos en una imagen de entorno típica de dimensión 1.000x1.000 píxeles puede elevarse fácilmente a varios cientos. Cuando la información procedente de las imágenes y proporcionada al filtro de navegación se limitan solo a las mediciones condensadas, se puede considerar ventajosamente un número de puntos característicos más importante que en la técnica anterior, sin aumentar la complejidad de los cálculos efectuados por dicho filtro de navegación. En la técnica anterior, el número de estados y de mediciones que aumentan el filtro de navegación es directamente proporcional al número N de zonas características conservadas, mientras que este ya no es el caso con la invención.

La estimación de la pose relativa normalizada entre las imágenes In¹ e In² y de las relaciones de distancia se efectúa por resolución del sistema constituido por el conjunto de las ² N¹² relaciones escalares asociadas a los N¹² puntos característicos M'i del entorno. Esta resolución se puede efectuar según cualquier procedimiento conocido por el experto en la técnica, preferentemente implementando una técnica de estimación no lineal de mínimos cuadrados. En efecto, este tipo de técnica permite estimar, igualmente, la matriz de covarianza Cn¹n² de los errores de estimación de estas variables (pose relativa normalizada y relaciones de distancia), minimizándola al mismo tiempo. La resolución del sistema constituido por el conjunto de las 2 N¹² relaciones escalares mencionadas anteriormente permite obtener una medición condensada a partir de la información contenida en las imágenes In¹ e In² , representativa de la pose relativa normalizada entre las imágenes In¹ e In² , así como la matriz de covarianza de los errores de estimación de esta pose relativa normalizada, matriz que se extrae de la matriz de covarianza Cn¹n².

Eventualmente, se puede restringir esta medición condensada a la estimación de la dirección de desplazamiento del portador entre las imágenes In¹ e In² , siendo esta medición condensada, entonces, la estimación del vector Un1n2|Rn2, estableciendo la hipótesis de que las variaciones de actitud se estiman y/o miden sin recurrir a las imágenes adquiridas por el sensor de visión (por ejemplo, utilizando únicamente el sistema de navegación).

En el transcurso de la etapa de cálculo 14, se efectúa preferentemente el mismo tipo de procesamiento para el par de imágenes de recalibrado In² e In3 que los efectuados para el par de imágenes de recalibrado In¹ e In². Este procesamiento se efectúa a partir de las siguientes ecuaciones, establecidas para cada uno de N²³ puntos característicos M'i comunes a las dos imágenes de recalibrado In² e In3:

^{U n2n3\Rn3 = W n2,i ' §0n2n3 ' U n2 ,i\^n 2 ~ W n3,¡ ' U n3,i\Ri} n3 ⁽ 6⁾ expresión en la que:

- Un2n3|Rn3 y U ^n3,/ |Rn3 designan las coordenadas de los vectores unitarios respectivamente Un2n3 (colineal al vector Pn2Pn3) y Un3,/ (colineal al vector Pn3M'/) en el marco de referencia Rn3,

- ^Un2,/ |Rn² designa las coordenadas del vector unitario Un2,/ (colineal al vector Pn2M'/) en el marco de referencia Rn², - pnj,i la distancia entre el punto característico M'i y la posición Pnj del portador en el instante de adquisición nj (j igual a 2 o 3),

- Wnj,i la relación entre la distancia pnj,j y la distancia ||P ⁿ² P ⁿ³ || recorrida por el punto de referencia O entre los instantes n2 y n3,

- S0n2n3 es la matriz de paso que transforma las coordenadas de un vector en el marco de referencia Rn² en las coordenadas de este vector en el marco de referencia Rn3l.

Como para el par de imágenes de recalibrado (In¹, In²), se estiman, en función de las posiciones Min2 y Min3 de los puntos Mi respectivamente en las imágenes In² e In3, los 5 parámetros de pose relativa normalizada entre los instantes n2 y n3, así como las dos relaciones de distancias wn²,i y wn3,i.

Esta estimación de la pose relativa normalizada y de las relaciones de distancia entre los instantes n2 y n3, se efectúa según cualquier procedimiento conocido por el experto en la técnica, preferentemente implementando una técnica de estimación no lineal de mínimos cuadrados a partir de las ecuaciones (6). Preferentemente, se estima, igualmente, la matriz de covarianza Cn2n3 de los errores de estimación de estas variables.

Esta estimación permite obtener una medición condensada a partir de la información contenida en las imágenes In² e In3, representativa de la pose relativa normalizada entre las imágenes In² e In3, así como la matriz de covarianza de los errores de estimación de esta pose relativa normalizada, matriz que se extrae de la matriz de covarianza Cn2n3. Cabe señalar que nada excluye, según ciertos ejemplos de implementación, restringir esta medición condensada a la estimación de la dirección de desplazamiento del portador entre las imágenes In² e In3, siendo, entonces, esta medición condensada la estimación del vector U ⁿ²ⁿ³ |Rn3.

Se puede señalar que, además de las mediciones condensadas obtenidas por estimación de las poses relativas normalizadas entre los pares de imagen (In¹,In²) e (In2,In3) del triplete de imágenes considerado, se podrían formar, igualmente, unas mediciones condensadas a partir de la estimación de la pose relativa normalizada entre los pares de imagen (In1,In3). Sin embargo, la medición condensada formada, de este modo, no aporta una información suplementaria con respecto a las anteriores.

En el transcurso de la etapa de cálculo 14, se determina un conjunto de puntos característicos M'i visibles sobre las tres imágenes de recalibrado In¹, In² , In3 del triplete. Se designa por N¹²³ el número de puntos característicos M'i considerados, visibles sobre las tres imágenes de recalibrado del triplete.

Para estos puntos característicos M'i, se verifica la siguiente relación, por definición de los parámetros pn²,i:

^{Pn2,¡ = Wn2,¡ '} \\Pn²Pn³W ^{= Zn2,¡ '} \\PnlPn2\\ ^{(7 )}

La estimación de las relaciones de distancias wn²,i y zn²,i como se ha expuesto anteriormente permite, por lo tanto, determinar a partir de la ecuación (7) otro tipo de medición condensada, asociada al triplete de imágenes (In1,In2,In3), representativa de la relación de las distancias recorridas ó = ||Pn2Pn3|| / ||PniPn²|| Esta medición condensada representativa de la relación de las distancias recorridas es, por ejemplo, una estimación del valor de la relación ó o una estimación del valor de una función de esta relación, como, por ejemplo, arctan(ó).

Cabe señalar que esta medición condensada, representativa de la relación de las distancias recorridas, se puede calcular al mismo tiempo que las otras mediciones condensadas descritas anteriormente, implementando una técnica de estimación no lineal de mínimos cuadrados de estas mediciones a partir de las ecuaciones (4), (6), (7), de modo que se pueda estimar simultáneamente la matriz de covarianza de los errores de estimación asociados al conjunto de las mediciones condensadas que se utilizarán por el filtro de navegación.

Por lo tanto, se comprende que, en el transcurso de la etapa de cálculo 14, se pueden calcular diferentes mediciones condensadas, en concreto, una medición representativa de la relación de las distancias recorridas, unas mediciones representativas de las poses relativas normalizadas (eventualmente restringidas a unas mediciones condensadas representativas de la dirección de desplazamiento del portador). La cantidad de información procedente de las imágenes a procesar por el filtro de navegación se limita ventajosamente a las mediciones condensadas y es, por consiguiente, muy reducida con respecto a la técnica anterior. En efecto, la medición condensada representativa de la relación de las distancias recorridas consiste esencialmente en un parámetro escalar y cada medición condensada representativa de una pose relativa normalizada consiste esencialmente en 5 parámetros escalares.

Etapa de estimación 16 del movimiento del portador

En el transcurso de la etapa de estimación 16, el movimiento del portador se estima por medio del filtro de navegación que toma como entrada unas mediciones de navegación realizadas por el o los sensores de navegación de navegación y al menos una medición condensada. En otras palabras, el filtro de navegación efectúa una fusión entre, por una parte, unas mediciones de navegación y, por otra parte, al menos una medición condensada determinada a partir de un triplete de imágenes adquiridas por el sensor de visión.

La estimación del movimiento del portador se efectúa preferentemente al menos en función de la medición condensada representativa de la relación de las distancias recorridas correspondientes al triplete de imágenes (In1, In2, In3). La utilización a la vez de la medición condensada representativa de la relación de las distancias recorridas y de las mediciones condensadas representativas de las poses relativas normalizadas corresponde a un modo preferido de implementación del procedimiento de estimación 10.

La estimación del movimiento del portador implementa un filtro de navegación para el que son posibles unas numerosas puestas en práctica del filtro de navegación, como, por ejemplo, un filtro de Kalman, un filtro de Kalman extendido, un filtro de información, un filtro de partículas, un filtro bayesiano, etc. Unos filtros de navegación de este tipo se consideran como conocidos por el experto en la técnica y se podrá hacer referencia, en concreto, a las referencias de publicaciones científicas citadas anteriormente.

De forma muy general, estos filtros propagan en el transcurso del tiempo una estimación del estado del portador, así como la matriz de covarianza del error de estimación de este estado a partir de un modelo de evolución temporal del estado y recalibran esta estimación y la matriz de covarianza asociada en función de las mediciones y de la covarianza de los errores de mediciones que se les proporcionan, en la hipótesis donde estas mediciones dependen del estado del portador.

El vector de estados del filtro de navegación incluye, en concreto, el estado del portador en el instante n (es decir, el movimiento que se busca estimar), que se designa por Xn. El estado Xn comprende preferentemente al menos 6 parámetros: 3 parámetros representativos de la posición de un marco de referencia vinculado al portador en un marco de referencia externo al portador, que puede ser cualquier marco vinculado de forma determinista al entorno y 3 parámetros representativos de la actitud de dicho marco de referencia vinculado al portador en dicho marco de referencia externo al portador.

Preferentemente, se aumenta el vector de estados del filtro de navegación, con respecto a la técnica anterior, para hacer constar el estado del portador en los instantes n1, n2 y n3, designado respectivamente por Xn¹, Xn² y Xn3. Por ejemplo, los estados Xn¹, Xn² , Xn3 contienen los seis parámetros de posición y de actitud del marco de referencia del portador respectivamente en los instantes n1, n2, n3.

Según la invención, las mediciones proporcionadas al filtro de navegación para recalibrar (o actualizar) las estimaciones de los estados del portador comprenden las mediciones de navegación realizadas por el o los sensores de navegación y al menos una medición condensada. En un modo preferido de implementación, las mediciones condensadas proporcionadas al filtro de navegación comprenden, a partir del instante n2, la estimación de la pose relativa normalizada (o la estimación de la dirección de desplazamiento) entre los instantes n1 y n2 y a partir del instante n3, por una parte, la estimación de la pose relativa normalizada (o la estimación de la dirección de desplazamiento) entre los instantes n2 y n3 y, por otra parte, la medición de la relación de distancias recorridas respectivamente entre los instantes n1 y n2 y entre los instantes n2 y n3.

Se señala que, por definición, las mediciones de pose relativa normalizada y de la relación de las distancias recorridas se expresan simplemente y de forma analítica en función de los parámetros de posición y de actitud que se hacen constar en los estados Xn¹, Xn² , Xn3 del vector de estados aumentado. Esta relación entre mediciones condensadas y estados Xn¹, Xn² , Xn3 es un modelo de mediciones utilizado de manera convencional por el filtro de navegación aumentado (filtro de Kalman, por ejemplo).

Preferentemente, cuando se han determinado previamente las covarianzas de los errores sobre la estimación de todo o parte de las mediciones condensadas (estimación de la relación de distancias recorridas, estimaciones de pose relativa normalizada o estimaciones de dirección de desplazamiento), estas se proporcionan, igualmente, al filtro de navegación, como complemento de las mediciones de navegación y de las mediciones condensadas, para procesarse de manera convencional por el filtro de navegación (filtro de Kalman, por ejemplo).

El carácter híbrido de las mediciones de navegación con la medición condensada permite, en ciertos casos prácticos, mejorar sustancialmente la precisión de la estimación del movimiento del portador.

Por ejemplo, nos colocamos en el caso donde el desplazamiento del portador es rectilíneo, con una aceleración a¹ sustancialmente constante entre los instantes n1 y n2 y con una aceleración a² sustancialmente constante entre los instantes n2 y n3 (pudiendo la aceleración a² ser igual a la aceleración a¹, pero no siendo las aceleraciones a¹ y a² ambas dos nulas). Este caso es representativo, aunque muy simplificado, de un escenario de aterrizaje del portador sobre un relieve, escenario en el que las aceleraciones a¹ y a² son negativas.

Unos cálculos cinemáticos simples permiten establecer las siguientes relaciones:

\\PniPn2W = Vi ■ Ati2 + V21 ai ■ (At-12)2 (8a)

\\Pn2Pn3W = (V¹ + a1 ■ At-12) ' At23 V21 a2 ■ (At23)2 (8b)

expresiones en las que At¹² = tn² - tn¹ y At23 = tn3 - tn² y v¹ es la velocidad del portador con respecto al entorno en el instante n1.

Se deduce de las relaciones (8a) y (8b) que:

El hecho de que el movimiento sea acelerado significa que la relación ó de las distancias recorridas entre respectivamente los instantes n2 y n3 y los instantes n1 y n2, es diferente de la relación At23 / At¹² (el portador no va a velocidad constante, como promedio entre los instantes n1 y n3). Entonces, el denominador de la expresión (9) no es nulo y se ve que el conocimiento de la medición condensada representativa de la relación ó de las distancias recorridas, acoplado a un conocimiento de la aceleración, permite estimar la velocidad v¹ del portador.

La ventaja ofrecida por la toma en cuenta de las imágenes en el sistema de navegación, es que el conocimiento de la velocidad v¹ no se obtiene integrando la aceleración cuya medición tiene huella de errores, lo que evita las derivas y permite, por lo tanto, mejorar la precisión de la estimación del estado Xn del portador y, por lo tanto, de su movimiento con respecto al entorno 20.

La toma en cuenta de las mediciones condensadas se muestra, igualmente, ventajosa en el caso donde el sistema de navegación proporciona una ayuda intermitente (por ejemplo, un sistema de posicionamiento por satélites GPS u otro en un cañón urbano o un sistema odométrico en un entorno deslizante).

A título de ejemplo, se supone que el sistema de navegación está operativo entre los instantes n1 y n2, pero que ya no está operativo entre los instantes n2 y n3. El sistema de navegación proporciona una estimación bastante precisa del desplazamiento PniPn2 y, por lo tanto, de la distancia ||PniPn²|| recorrida por el portador entre los instantes n1 y n2, pero ya no proporciona una estimación fiable entre los instantes n2 y n3. La medición condensada representativa de la relación de las distancias recorridas en el instante n3 permite estimar, en función de la estimación de la distancia recorrida ||PniPn²|| proporcionada por el sistema de navegación, la distancia recorrida ||Pn2Pn3|| entre los instantes n2 y n3. La estimación de la distancia recorrida ||Pn2Pn3|| combinada con la medición condensada representativa de la pose relativa normalizada entre los instantes n2 y n3, permite estimar el desplazamiento Pn2Pn3. Por lo tanto, se comprende que el sistema de visión puede sustituir al sistema de navegación deficiente entre los instantes n2 y n3. Poco a poco, se puede propagar, de este modo, la estimación de los desplazamientos efectuados y, por lo tanto, del estado del portador de posición y de actitud, hasta que el sistema de navegación esté, de nuevo, operativo.

El procedimiento 10 se aplica de forma secuencial en los instantes ulteriores a n3 según los mismos principios. Por ejemplo, en un instante n4 ulterior a n3, se aplica el procedimiento a las imágenes de recalibrado In², In3, In4, reemplazando en el vector de estados del filtro de navegación el estado Xn¹ por el estado Xn4 del portador en el instante n4. Se señala que entre los instantes n3 y n4, la información visual procesada por el filtro de navegación aumentado se limita ventajosamente a las mediciones condensadas determinadas a partir de las imágenes de recalibrado In¹, In² e In3.

Selección del triplete de imágenes de recalibrado

En una variante de implementación del procedimiento de estimación 10, compatible con uno cualquiera de los modos de implementación descritos anteriormente, las imágenes de recalibrado del triplete son unas imágenes seleccionadas de entre una pluralidad de imágenes adquiridas por el sensor de visión. En otras palabras, los instantes de adquisición tn¹, tn² y tn3 no están necesariamente espaciados en el tiempo por el período temporal AT. Esta selección de las imágenes de recalibrado equivale a efectuar una compresión de las imágenes adquiridas para no conservar más que un subconjunto de ello para la estimación del movimiento del portador.

Preferentemente, al menos una imagen de recalibrado del triplete es una imagen para la que se ha verificado un criterio de detección de desplazamiento del portador. Según un ejemplo, el criterio de detección de desplazamiento del portador se verifica cuando, seleccionándose una primera imagen de recalibrado e identificándose un número entero N de puntos característicos M'i en dicha primera imagen de recalibrado, se selecciona una segunda imagen de recalibrado como que es una imagen ulterior a la primera imagen de recalibrado en la que al menos Nb de los N puntos característicos M'i de la primera imagen ya no son visibles, siendo Nb sustancialmente igual a un porcentaje rP predefinido de N, esto es, sustancialmente igual a rP N.

El porcentaje rP predefinido de puntos característicos M'i que ya no son visibles sobre la segunda imagen de recalibrado es preferentemente igual o superior al 20 %, por ejemplo, igual al 25 %.

De este modo, habiendo identificado N puntos característicos M'i visibles sobre la imagen de recalibrado In¹ (típicamente N del orden de 300), se les sigue en las siguientes imágenes adquiridas por el instrumento de observación hasta que al menos Nb puntos característicos, siendo Nb sustancialmente igual a rnN, ya no sean visibles en una imagen ulterior. Esta imagen ulterior se considera, entonces, como que es la segunda imagen de recalibrado In² del triplete. Asimismo, la tercera imagen de recalibrado In3 del triplete se elige como que es una imagen ulterior a la imagen de recalibrado In² , en la que al menos Nb puntos característicos, siendo Nb sustancialmente igual a m-N, ya no son visibles en esta imagen ulterior, mientras que lo eran en la segunda imagen de recalibrado In2.

El interés de una elección de este tipo de los instantes n2 y n3 con respecto al instante n1 es que resume de forma sintética todo un conjunto de restricciones a satisfacer para resolver el problema dado, como, por ejemplo, el hecho de esperar a que el portador no se desplace lo suficientemente con respecto al entorno 20 como para hacer este desplazamiento observable a partir de las imágenes de recalibrado. Por el contrario, se asegura, igualmente, que el portador no se haya desplazado demasiado, de modo que se conserve un número lo suficientemente grande de puntos característicos M'i comunes a las imágenes de recalibrado seleccionadas.

De este modo, esta elección de los instantes n1, n2, n3 es ventajosa por que permite adaptarse automáticamente al campo de vista de la cámara y a la dinámica del portador con respecto al entorno y, más exactamente, al impacto de esta dinámica sobre el sistema de visión. Por ejemplo, si la imagen del entorno cambia lentamente por el hecho de que el portador está muy alejado de los puntos característicos M'i o que está cercano a ello, pero se desplaza con una escasa velocidad, los instantes n1, n2, n3 se podrán espaciar por algunas decenas de segundos a algunos minutos, por ejemplo. Al contrario, si el portador está cercano a los puntos característicos M'i con una gran velocidad, el espaciado entre n1, n2, n3 será escaso, por ejemplo, de algunas décimas de segundos a algunos segundos. Cabe señalar que un criterio basado en la desaparición de un porcentaje rP predefinido de los N puntos característicos M'i identificados está particularmente adaptado para el caso donde el portador se acerca al entorno 20. Como alternativa o como complemento, se considera un criterio basado en la aparición de al menos un número Nb de puntos característicos M'i de una imagen a la otra, siendo Nb sustancialmente igual a rnN. Un criterio de este tipo está particularmente adaptado para el caso donde el portador se aleje del entorno 20.

Los criterios de detección de desplazamiento del portador basados en la aparición o la desaparición de puntos característicos están particularmente adaptados para los portadores que experimentan una aceleración constante, como, por ejemplo, los módulos de aterrizaje. Los instantes n2 y n3 se pueden seleccionar, igualmente, en función de un perfil de aceleración del portador, cuando se conoce a priori, con el fin, en concreto, de optimizar el carácter observable de la velocidad.

Sin embargo, se comprenderá que la selección de las imágenes de recalibrado del triplete, en particular, de los instantes n2 y n3 con respecto al instante n1, se puede hacer según cualquier otro criterio de detección de desplazamiento del portador, como, por ejemplo, un criterio analítico que tome en cuenta los diferentes parámetros en juego (campo de vista del instrumento de observación, alejamiento estimado del portador con respecto a los puntos característicos M'¡ del entorno 20, velocidad estimada del portador, aceleración estimada del portador, etc.) o bien con unos fines de optimización del carácter observable de la evolución del movimiento del portador.

Una vez seleccionado un primer triplete de imágenes de recalibrado, los siguientes tripletes se pueden elegir independientemente de este primer triplete de imágenes o bien a partir de este primer triplete de imágenes de recalibrado.

Según un primer ejemplo, se consideran unos tripletes correspondientes a unas ventanas deslizantes de imágenes de recalibrado. Por ejemplo, se considera, en primer lugar, un triplete constituido por las imágenes Ini, In², In3, luego, se considera un triplete constituido por las imágenes In² , In3, In4, luego, se considera un triplete constituido por las imágenes In3, In4, In5, etc.

Según otro ejemplo, se procesa, además, el triplete Ini, In3, In5 y, eventualmente, cualquier otro triplete obtenido a partir de las imágenes Ini, In² , In3, ln4, In5.

Eliminación de puntos característicos aberrantes

En una variante preferida de implementación, ilustrada por la figura 4a, el procedimiento 10 incluye una etapa de búsqueda 18 de puntos característicos aberrantes de entre la pluralidad de puntos característicos de las imágenes, no considerándose unos puntos característicos considerados como aberrantes en el transcurso de la etapa de cálculo 14.

En efecto, una ventaja de seleccionar las imágenes de recalibrado del triplete de entre una pluralidad de imágenes reside en el hecho de que la duración que separa las tomas de imágenes va a ser, generalmente, más importante que en la técnica anterior (en la que se consideran las imágenes obtenidas a la cadencia de adquisición de las imágenes, es decir, AT). De este modo, se podrá vigilar la evolución en el tiempo de las propiedades de los puntos característicos identificados en las imágenes y suprimir aquellos cuya evolución aparece incoherente con la hipótesis de que estos puntos característicos representan unos puntos inmóviles del entorno.

Cualquier método de supresión de datos aberrantes, como, por ejemplo, el método "Random Sample Consensus" ("Consenso de Muestra Aleatoria"), (llamado corrientemente RANSAC) se puede utilizar para eliminar los puntos característicos aberrantes. Un método de este tipo se describe en el artículo de Martin A. Fischler y Robert C. Bolles "Random Sample Consensus: A Paradigm for Model Fitting with Applications to Image Analysis and Automated Cartography", en Comm. Of the ACM, vol. 24, junio de 1981, pág. 381-395.

La figura 4b representa un modo preferido de implementación de la etapa de búsqueda 18 de puntos característicos aberrantes. Para la descripción de la figura 4a, nos colocamos en el caso no limitativo donde se buscan unos puntos característicos aberrantes con vistas a un cálculo de una medición condensada representativa de la relación de las distancias recorridas, es decir, en el caso que necesita identificar unos puntos característicos del entorno visibles sobre cada una de las tres imágenes de recalibrado del triplete.

Tal como se ilustra por la figura 4b, la etapa 18 incluye una subetapa 180 en el transcurso de la que se establecen unos grupos de puntos característicos del triplete de imágenes que representan 5 puntos característicos del entorno visibles sobre cada una de las imágenes del triplete.

La etapa 18 incluye, a continuación, una subetapa 182 en el transcurso de la que se calcula, para cada grupo de puntos característicos de las imágenes, una estimación de la medición condensada representativa de la relación de las distancias recorridas.

La etapa 18 incluye, a continuación, una subetapa 184 en el transcurso de la que se buscan unos grupos para los que la estimación de la medición condensada representativa de la relación de las distancias recorridas es aberrante con respecto al conjunto de las estimaciones. Los puntos característicos de unos grupos de este tipo, para los que la estimación de la medición condensada representativa de la relación de las distancias recorridas se considera aberrante, no se utilizan en el transcurso de la etapa de cálculo 14.

En efecto, como lo hemos visto anteriormente, una medición condensada representativa de la relación de las distancias recorridas (respectivamente una medición condensada representativa de una pose relativa normalizada), se puede obtener a partir de los puntos característicos del triplete de imágenes de recalibrado (respectivamente de un par de imágenes de recalibrado) que representan 5 puntos característicos del entorno. Por lo tanto, se puede estimar varias veces una misma medición condensada considerando diferentes grupos de puntos característicos que representan 5 puntos característicos del entorno de entre todos los puntos característicos identificados y eliminar por un método de tipo RANSAC las estimaciones que, resultantes de un grupo que representa 5 puntos característicos del entorno de entre los que habría al menos un punto característico aberrante, estarían muy alejadas de un gran número de estimaciones cercanas unas a las otras y juzgadas coherentes. Igualmente, se pueden eliminar los grupos de puntos característicos aberrantes calculando un valor promedio p y una desviación tipo o de las estimaciones y no conservar los puntos característicos de los grupos para los que la estimación obtenida está muy alejada del valor promedio p, por ejemplo, alejada en más de k o, siendo k, por ejemplo, igual a 2 o 3.

Cabe señalar que nada excluye, según ciertos ejemplos de implementación, considerar unos grupos de puntos característicos de las imágenes que representan más de 5 puntos característicos del entorno.

Generalización del procedimiento 10 a unos elementos característicos

Los ejemplos de implementación del procedimiento 10 descritos anteriormente se basan en la utilización de puntos característicos que aparecen en las imágenes. Los procesamientos asociados son simples y eficaces en tiempo de cálculo. Sin embargo, se pueden utilizar otras técnicas de procesamiento de imágenes para calcular las mediciones condensadas.

De manera más general, el procedimiento de estimación 10 utiliza unos elementos característicos de las imágenes, considerados como que representan unos elementos característicos del entorno. En particular, el procedimiento 10 utiliza, siguiendo otros ejemplos, unos objetos característicos o una o unas superficies características, que se discuten a continuación.

a) Objetos característicos

Unos objetos característicos, vinculados al entorno, son, por ejemplo, unos segmentos de recta en el caso más simple (caso muy frecuente cuando el portador se desplaza en relación con un entorno estructurado, por ejemplo, que incluye unos edificios). El seguimiento de unos objetos característicos de este tipo de una imagen a la otra se efectúa, por ejemplo, tal como se describe en la publicación científica de los autores Peer Neubert, Peter Protzel, Teresa Vidal-Calleja y Simon Lacroix, "A fast Visual Line Segment Tracker" en IEEE Int. Conf. on Emerging Technologies and Factory Automation (Conferencia Internacional sobre Tecnologías Emergentes y Automatización Industrial), Hamburgo (Alemania), sept. de 2008

Estos objetos se pueden reconocer, emparejar y rastrear de una imagen a la otra. Las diferencias de posición y orientación de estos objetos de una imagen a la otra proporcionan información sobre la variación de posición y actitud del portador con respecto al entorno, puesto que unas relaciones geométricas conectan unos a los otros. En general, es suficiente un número reducido de objetos de este tipo para estimar sin ambigüedad las poses relativas normalizadas de una imagen a la otra y las relaciones de distancia recorrida en un triplete de imágenes, como se ha descrito anteriormente en el caso de los puntos característicos.

Por ejemplo, un segmento de recta en la imagen se puede describir por dos parámetros: la distancia al centro del plano focal y el ángulo de orientación en el plano focal. Este segmento de recta en la imagen representa un segmento característico del entorno que se puede parametrizar, él mismo, en tres dimensiones. La variación del segmento de recta de una imagen a la otra proporciona dos parámetros que son las variaciones de esta distancia y de este ángulo. La variación de estos parámetros depende geométricamente de la posición y de la orientación del segmento de recta del entorno en el marco de referencia vinculado al portador y del desplazamiento del portador de una imagen a la otra. Estas relaciones geométricas se pueden utilizar para estimar las mediciones condensadas, de la misma forma que las posiciones de los puntos característicos Mi en la imagen se han utilizado para estimar estas mediciones condensadas. Se puede utilizar ventajosamente una combinación de puntos característicos y de objetos, por ejemplo, considerando los extremos de un objeto característico de tipo segmento de recta.

b) Superficies características

En otra variante del procedimiento, en particular, cuando el portador se desplaza en unos entornos escasamente estructurados (por ejemplo, sobrevuelo de terrenos), se puede suponer que los píxeles cercanos en la imagen representan unos puntos cercanos en el entorno y que el entorno o una parte de este entorno (al que se llamará "terreno" en este caso) se puede describir por una superficie continua, denominada superficie característica del entorno. El objetivo puede ser identificar en su globalidad la parte de la superficie del terreno visible en dos o tres imágenes (sin la intermediación de puntos o de objetos característicos) al mismo tiempo que se estiman las mediciones condensadas. Por ejemplo, la superficie del terreno se describe en forma de mallas 3D parametrizadas (típicamente algunos cientos de parámetros). Utilizando un primer par de imágenes (In¹,In²) (se supone que ha habido un desplazamiento de posición entre las dos imágenes), se estiman a la vez los parámetros de la superficie y la medición condensada de pose relativa normalizada utilizando el mayor número de píxeles posible (los que representan los puntos del entorno visibles sobre las dos imágenes), sin distinción de puntos o de objetos característicos. Esto se puede hacer, por ejemplo, utilizando unas técnicas de procesamiento estereoscópicas como, por ejemplo, las dadas en el artículo de S. M. Seitz, B. Curless, J. Diebel, D. Scharstein y R. Szeliski, "A Comparison and Evaluation of Multi-View Stereo Reconstruction Algorithms" en Proc. CVPR de 2006. El relieve se estima, de este modo "por efecto estereoscópico" a partir del par de imágenes (In¹, In²). Esta estimación se efectúa con un factor de escala de aproximación, dado por la distancia recorrida entre n1 y n2 (equivalente a la base de un par de imágenes estereoscópicas). Imaginemos que se conozca esta distancia, lo que elimina la ambigüedad sobre la superficie del terreno. Estando, en este momento, estimada esta superficie, se puede predecir la evolución de la imagen de esta superficie en un instante n3 ulterior a n2, en función de la pose absoluta entre los instantes n2 y n3 (se puede utilizar eventualmente un modelo de iluminación y de reflectancia del terreno). Correlacionando la imagen predicha en n3 con la imagen real In3, se podrá estimar, por lo tanto, no solamente la pose relativa normalizada entre los instantes n2 y n3, como anteriormente, sino, igualmente, la distancia recorrida entre n2 y n3, como que es la distancia que maximiza la correlación entre la imagen predicha para esta distancia y la imagen real. Si no se utiliza más que la información contenida en la imagen, la distancia recorrida entre n1 y n2 no es observable, ni la distancia recorrida entre n2 y n3, pero la relación de las distancias recorridas entre respectivamente (n1, n2) y (n2, n3) lo será. Ventajas del procedimiento 10 con respecto a la técnica anterior

El número de parámetros escalares añadidos al vector de estados del filtro de navegación es ventajosamente fijo e igual a 18 (sobre la base de una memorización de los estados Xn¹, Xn² y Xn3 que comprenden cada uno 6 parámetros escalares), en lugar de varios cientos de parámetros adicionales con las técnicas del estado de la técnica.

Además, igualmente, el número de mediciones adicionales se reduce y optimiza significativamente, limitado ventajosamente a las mediciones condensadas, en lugar del conjunto de las posiciones de los puntos característicos de la imagen en la técnica anterior. De este modo, solamente algunos parámetros (medición condensada representativa de la relación de las distancias recorridas, medición condensada representativa de la dirección de desplazamiento o de la pose relativa normalizada) se añaden a las mediciones de navegación, en lugar de varios cientos (la posición de los puntos característicos en la imagen) en la técnica anterior.

Por lo demás, la complejidad asociada a la etapa de cálculo 14 es, en el caso donde los elementos característicos son unos puntos característicos, lineal con el número N¹²³ de puntos característicos M'i considerados, visibles sobre las tres imágenes de recalibrado del triplete. La complejidad introducida por la etapa de cálculo 14 es inferior, incluso significativamente inferior a la complejidad asociada al procesamiento, por el filtro de navegación, del conjunto de las posiciones de los puntos característicos M'i en cada una de las imágenes.

Además, el procesamiento de las imágenes intermedias (entre los instantes n1 y n2, n2 y n3, etc.) puede no reducirse más que al seguimiento de los elementos característicos por correlación de imagen. Desde este momento, se comprende la eficacia del procedimiento en términos de volumen de cálculos a efectuar. Las ventajas en términos de procesamiento son muy importantes: reducción del número de imágenes procesadas, procesamiento de las imágenes proporcional al número de puntos, posibilidad de efectuar unos cálculos en paralelo, etc.

La etapa de cálculo 14, que permite calcular la medición condensada, autoriza la toma en cuenta de todos los puntos característicos identificados sin tener que seleccionar un número reducido de ellos. En la técnica anterior, era corriente no conservar más que el 10 % de los puntos característicos por unas razones de complejidad de cálculo. Este ya no es el caso, en el presente documento, puesto que la etapa de cálculo 14 permite sintetizar la información derivada de todos los puntos característicos en un número limitado de parámetros.

Ejemplos no limitativos de aplicación de la invención

La utilización de la invención es ventajosa en unos numerosos casos, por ejemplo:

- portadores que experimentan unas fuertes aceleraciones (módulos de aterrizaje, misiles): estando el portador en aceleración, las mediciones condensadas contienen una información sobre la velocidad y la aceleración con respecto al entorno; conociéndose la aceleración por el conocimiento a priori del comando o mediante una medición de la aceleración, se puede deducir de ello la velocidad relativa;

- portadores en el suelo: si el movimiento entre las dos primeras imágenes In¹ e In² se conoce utilizando una odometría externa o una navegación por satélites (GPS, incluso limitado a un número de satélites inferior a 4), por ejemplo, las mediciones condensadas permiten propagar este conocimiento a la imagen In3; las mediciones condensadas se pueden utilizar como complemento de la odometría o como remplazo de esta en caso de derrape o bien como complemento de una navegación por satélites en caso de indisponibilidad temporal (cañones urbanos, etc.);

- cita de dos portadores espaciales: antes del inicio de las operaciones de cita, los portadores están, en general, en espera y casi fijos uno con respecto al otro; es importante adquirir al menos dos imágenes durante esta fase, de modo que la adquisición de otra imagen poco tiempo después de la puesta en aceleración del portador de caza permita un carácter observable de la distancia relativa entre los portadores utilizando las mediciones condensadas;

- localización de portadores a posteriori: los procesamientos propuestos pueden efectuarse sobre unos datos registrados en vuelo, luego, almacenados y procesados en el suelo después del vuelo.

Claims (10)

REIVINDICACIONES

1. Procedimiento de estimación (10) del movimiento de un portador con respecto a un entorno (20) en relación con el que dicho portador se desplaza, embarcando el portador al menos un sensor de navegación y al menos un sensor de visión que produce unas imágenes 2D del entorno, caracterizado por que incluye las etapas de:

- identificación (12), en unas imágenes adquiridas por el sensor de visión, de elementos característicos de las imágenes que representan unos elementos característicos del entorno,

- cálculo (14) de al menos una medición condensada en función de elementos característicos de un triplete de imágenes adquiridas en unos instantes diferentes, siendo la al menos una medición condensada representativa de características del movimiento del portador en el transcurso de la adquisición de las imágenes de dicho triplete, siendo la al menos una medición condensada representativa:

o de una relación de las distancias recorridas por el portador entre los instantes de adquisición de dos pares de imágenes de dicho triplete, determinada en función de elementos característicos de las imágenes del triplete que representan unos elementos característicos del entorno visibles sobre cada una de las tres imágenes de dicho triplete y/o

o de una dirección de desplazamiento del portador o de una pose relativa normalizada entre los instantes de adquisición de un par de imágenes del triplete, determinada en función de elementos característicos de este par de imágenes que representan unos elementos característicos del entorno visibles sobre cada una de las dos imágenes de este par,

- estimación (16) del movimiento por un filtro de estimación, denominado "filtro de navegación", en función de mediciones de navegación realizadas por el sensor de navegación y en función de la al menos una medición condensada.

2. Procedimiento (10) según la reivindicación 1, caracterizado por que los elementos característicos son unos puntos característicos y/o unos objetos característicos o una o unas superficies características.

3. Procedimiento (10) según una de las reivindicaciones anteriores, caracterizado por que las imágenes del triplete son unas imágenes seleccionadas de entre una pluralidad de imágenes adquiridas por el sensor de visión.

4. Procedimiento (10) según la reivindicación 3, caracterizado por que al menos una imagen del triplete es una imagen para la que se verifica un criterio de detección de desplazamiento del portador.

5. Procedimiento (10) según la reivindicación 4, caracterizado por que el criterio de detección de desplazamiento del portador se verifica para una segunda imagen cuando, seleccionándose una primera imagen y siendo visibles una pluralidad de elementos característicos del entorno, en número de N, en dicha primera imagen:

- al menos Nb de los N elementos característicos del entorno han desaparecido en dicha segunda imagen o - al menos Nb nuevos elementos característicos del entorno han aparecido en dicha segunda imagen, siendo Nb sustancialmente igual a m-N, siendo rP un porcentaje predefinido.

6. Procedimiento (10) según la reivindicación 5, caracterizado por que el porcentaje predefinido rP es igual o superior al 20 %, preferentemente igual al 25 % sustancialmente.

7. Procedimiento (10) según una de las reivindicaciones anteriores, caracterizado por que incluye una etapa de búsqueda (18) de elementos característicos aberrantes de entre la pluralidad de elementos característicos de las imágenes, no considerándose unos elementos característicos considerados como aberrantes en el transcurso de la etapa de cálculo (14).

8. Procedimiento (10) según la reivindicación 7, caracterizado por que la etapa de búsqueda (18) de elementos característicos aberrantes de las imágenes incluye las subetapas de:

- establecimiento (180) de grupos de elementos característicos que representen al menos cinco elementos característicos del entorno visibles sobre cada una de las imágenes de un par y/o del triplete a utilizar para calcular una medición condensada,

- cálculo (182), para cada grupo de elementos característicos de las imágenes, de una estimación de la medición condensada a calcular,

- búsqueda (184) de grupos de elementos característicos aberrantes para los que la estimación de dicha medición condensada a calcular es aberrante con respecto al conjunto de las estimaciones de dicha medición condensada a calcular.

9. Procedimiento (10) según una de las reivindicaciones anteriores, caracterizado por que, en el transcurso de la etapa de cálculo (14), se estima el error cometido sobre la estimación de la al menos una medición condensada y por que, en el transcurso de la etapa de estimación (16), el movimiento del portador se estima en función de la estimación del error cometido sobre la estimación de la al menos una medición condensada.

10. Dispositivo de cálculo para sistema de navegación de un portador que embarca al menos un sensor de navegación y al menos un sensor de visión, caracterizado por que incluye unos medios configurados para estimar el movimiento del portador de conformidad con una de las reivindicaciones anteriores.