ES2507150T3 - Procedimiento de estimación de desfases de imágenes de línea obtenidos por un sensor de imagen de barrido espacial o aerotransportado - Google Patents

Abstract

Procedimiento de estimación de desplazamientos de imágenes de líneas de una imagen, dicha "imagen compuesta", está constituida por la yuxtaposición de J imágenes de líneas, en el que: - las imágenes de líneas representan una escena en la superficie (S) de un cuerpo celeste, adquirida sucesivamente mediante una línea de células sensibles de un sensor (10) situado en un vehículo que sobrevuelan dicho cuerpo celeste, estando constituida cada imagen de línea por una pluralidad de píxeles, - una imagen de línea Lj,1<= j <= J, presenta un desplazamiento lateral y/o longitudinal entre la posición que la imagen de línea Lj está destinada a ocupar en la imagen compuesta y la posición que debería ocupar por el hecho de un error de visión del sensor (10) en el transcurso de la adquisición de la imagen de línea Lj, dicho procedimiento está caracterizado por que las imágenes de líneas representan porciones diferentes de la escena y por que el desplazamiento lateral y/o longitudinal de una imagen de línea Lj, respecto del imagen de línea Li, j diferente de i, es estimada en función de un modelo local de variación lateral y/o longitudinal de la similitud entre imágenes de línea diferentes.

Description

10

15

20

25

30

35

40

45

50

E10737065

23-09-2014

DESCRIPCIÓN

Procedimiento de estimación de desfases de imágenes de línea obtenidos por un sensor de imagen de barrido espacial o aerotransportado

La presente invención pertenece al dominio de la explotación de imágenes obtenidas por un sensor de imagen de barrido ubicado a bordo de un vehículo que sobrevuela un cuerpo celeste. Más particularmente, la presente invención concierne un procedimiento de estimación de desfases de imágenes en línea que representan diferentes porciones de una escena en la superficie de un cuerpo celeste.

Un sensor de imagen de barrido (conocido bajo el nombre de “push broom” en la literatura anglosajona) incluye generalmente una pluralidad de células sensibles situadas en línea. La línea de visión del captador está dirigida hacia la superficie del cuerpo celeste observado, por ejemplo la Tierra, y forma con la línea de células sensibles un plano, llamado “plano de visión”.

Al hacer desfilar el plano de visión del sensor sobre una escena en la superficie de la Tierra, se adquieren sucesivamente imágenes en línea que se corresponden con diferentes porciones de la escena, incluyendo una pluralidad de pixels producidos por las diferentes células sensibles del sensor. Las imágenes en línea están destinadas a ser yuxtapuestas, de manera que formen una imagen, llamada “imagen compuesta”, que representa todo o parte de la escena.

Por yuxtaposición, se entiende la operación que consiste en formar una imagen compuesta constituida por una matriz de píxeles de dos dimensiones a partir de líneas de imágenes adquiridas sucesivamente de manera que las líneas de la matriz de píxeles de la imagen compuesta corresponda con las imágenes de líneas sucesivas, y las columnas de la imagen compuesta están por definición compuestas por todos los píxeles del mismo índice de las diferentes imágenes en línea.

El barrido del plano de visión del sensor se efectúa por ejemplo mediante el desplazamiento del vehículo respecto de la Tierra, en cuyo caso el sensor es generalmente inmóvil en una referencia asociada al vehículo y está situado transversalmente en la trayectoria de dicho vehículo respecto de la Tierra, preferentemente de forma perpendicular a dicho trayectoria si se trata de maximizar el batido del instrumento.

La figura 1 representa esquemáticamente en perspectiva en vuelo sobre una escena de un sensor 10 de barrido.

Se asocia al sensor 10 una referencia que incluye tres ejes X,Y y Z, ortogonales entre sí, en el que el eje X es paralelo al eje de la línea de células sensibles del sensor 10, el eje Y es paralelo a la dirección del desplazamiento de dicho sensor, el eje Z está orientado hacia la tierra, y forma con la línea de visión de dicho sensor un ángulo de valor conocido, eventualmente nulo, en ausencia de vibraciones.

En general, la adquisición de imágenes en línea por el sensor es simultánea para cada célula sensible y con un periodo de muestreo entre dos adquisiciones consecutivas sensiblemente constante.

Así, en el transcurso de una secuencia de observación, las imágenes en líneas sucesivas representan unas porciones sucesivas diferentes de la escena observada, sensiblemente alineadas una respecto de las otras y espaciadas unas de otras por un intervalo espacial sensiblemente constante (cuando la velocidad horizontal del vehículo es sensiblemente constante).

Sin embargo, dichos sensores (espaciales o aerotransportados) están sometidos a vibraciones que inducen movimientos no deseados de la línea de visión, produciendo separaciones entre las posiciones teóricas las porciones observadas en el seno de la escena y sus posiciones reales.

Éstas separaciones se encuentran, a nivel de las imágenes en línea, con la forma de desfases entre la posición que una imagen en línea va ocupar en la imagen compuesta (por simple yuxtaposición de este imagen en línea, como se ha indicado anteriormente) y la posición que debería ocupar en dicha imagen compuesta, para tener en cuenta el error de visión inducido por los movimientos no deseados de la línea de visión del sensor 10.

La figura 2 representa esquemáticamente en trazos continuos las posiciones de las dos imágenes en línea consecutivas Li y Li+1 en el seno de una imagen compuesta. Estas están yuxtapuestas, alineando los píxeles. Se ha representado en trazos discontinuos la posición en el seno de la imagen compuesta que debería ocupar la línea Li+1, teniendo en cuenta el hecho que representa una porción de la escena sensiblemente desfasada respecto de la porción teóricamente visualizada.

Se comprende por tanto que, por el hecho del desfase de la imagen en línea Li+1, se van a inducir unas deformaciones geométricas en la imagen compuesta.

Los movimientos de la línea de visión causados por vibraciones de baja frecuencia (comprendidas en un margen que va desde 0 Hercios hasta algunas decenas de Hercios), son generalmente estimadas en el transcurso de la adquisición por medio de sensores dedicados, tales como giroscopios, de manera que es posible determinar y corregir los desfases de las imágenes en línea causados por las vibraciones de baja frecuencia.

10

15

20

25

30

35

40

45

50

55

E10737065

23-09-2014

En cambio, los movimientos de la línea de visión causados por vibraciones de alta frecuencia (comprendidas entre algunas decenas de Hercios y algunos millares de Hercios) no se determinan en el transcurso de la adquisición por medio de sensores dedicados, en particular ya que no se corresponden con movimientos del conjunto del vehículo sino más bien con vibraciones locales y/o de su soporte.

Se conoce de la solicitud de patente FR 2 899 344 y de la solicitud de patente US 2008/031528 la restitución de la línea de visión de un instrumento en función de dos imágenes que representan la misma porción de una escena observada. Las zonas características homologadas, que se corresponden con el mismo punto de la escena observada, se hacen corresponder en cada una de estas imágenes. La línea de visión es después restituida mediante comparación de las posiciones en estas zonas características en cada una de dichas imágenes que representan la misma escena. Esta solución se basa, para la determinación de las zonas características homologadas que se corresponde con el mismo punto de la escena observada, en el hecho de disponer de al menos dos imágenes que representan la misma porción de la escena. Esta solución no es aplicable para restituir la línea de visión en función de imágenes de líneas de una imagen compuesta, dichas imágenes de línea representan porciones diferentes de la escena observada.

No se conoce una solución que permita corregir los desfases de las imágenes de líneas de una imagen compuesta, adquiridas por un sensor de barrido, espacial o aerotransportado, en el caso donde no se disponga de al menos dos imágenes que representan una misma porción de la escena observada.

La presente invención se propone resolver los problemas anteriormente mencionados por medio de un procedimiento de estimación del desplazamiento de imágenes de líneas de una imagen compuesta, constituida por la yuxtaposición de J imágenes en líneas, en el que las imágenes en líneas representan diferentes porciones de una escena en la superficie de un cuerpo celeste, adquiridas sucesivamente mediante una línea de células sensibles de un sensor ubicado en un vehículo que sobrevuela dicho cuerpo celeste, cada imagen en línea está constituida por una pluralidad de píxeles, y una imagen en línea Lj, 1≤ j ≤ J, presenta un desfase lateral y/o longitudinal entre la posición que la imagen en línea Lj está destinada a ocupar en la imagen compuesta y la posición que debería ocupar por el hecho de un error de visión del sensor en el transcurso de la adquisición de la imagen en línea Lj..

Según el invento, el desfase lateral y/o longitudinal que tiene la imagen en línea Lj respecto de una imagen en línea Li, siendo j diferente de i, está estimado en función de un modelo local de variación lateral y/o longitudinal de la similitud entre imágenes en línea diferentes.

Preferentemente, el modelo local de variación lateral y/o longitudinal del parecido entre imágenes en línea diferentes está determinado por el cálculo de valores de entre imágenes en línea diferentes de la imagen compuesta.

Preferentemente, el procedimiento de estimación de los desfases de las imágenes en líneas incluye una etapa de estimación del desfase lateral relativo δj de la imagen en línea Lj respecto de la imagen en línea Li, en el transcurso de la cual el modelo local de variación lateral de similitud entre imágenes en línea sucesivas está determinado calculando valores de similitud de la imagen en línea Lj con la imagen en línea Li para una pluralidad de valores de traslación lateral de una línea respecto de otra, el desfase lateral relativo δj está estimado como la traslación lateral para la cual el valor del modelo de variación lateral de similitud es máximo.

De forma preferente, el desfase lateral relativo δj de la imagen de línea Lj, respecto de una imagen de línea Li, está estimado con la forma de un número entero relativo o de un número real de píxeles.

Preferentemente, el procedimiento de estimación de los desfases de imágenes en línea incluye una etapa de integración de los desplazamientos laterales relativos δj de imágenes en línea sucesivas, para determinar los desplazamientos laterales acumulados δ’j respecto de una imagen de línea de referencia.

Preferentemente, el procedimiento de estimación de los desfases de imágenes de línea incluye una etapa de filtrado paso alto de los desfases laterales relativos δj, o acumulados δ’j.

Preferentemente, el procedimiento de estimación de desfases de imágenes de líneas incluye una etapa de estimación del desfase longitudinal relativo Δj de la imagen de línea Lj respecto de la imagen de línea Li, en el transcurso de la cual se calcula un valor de similitud de la imagen de línea Lj y de la imagen de línea Li, y se estima el desfase longitudinal relativo Δj en función de la separación longitudinal correspondiente, según el modelo local de variación longitudinal de similitud, a dicho valor de similitud de la imagen de línea Lj y de la imagen de línea Li.

Preferentemente, cuando los desfases laterales han sido previamente estimados, la etapa de estimación del desfase longitudinal relativo Δj es aplicada a imágenes de línea L’j en lugar de a imágenes de línea Lj, 1≤ j≤ J, dichas imágenes de línea L’j que se corresponden con las imágenes de líneas Lj después de la corrección de dichos desfases laterales estimados.

Preferentemente, el modelo local de variación longitudinal de similitud entre imágenes de línea sucesivas es calculado, para una separación longitudinal teórica dada entre dos imágenes de líneas, haciendo la media de los valores de similitud calculados para una pluralidad de pares de imágenes de líneas espaciados por dicha separación longitudinal teórica dada.

E10737065

23-09-2014

Preferentemente, el modelo local de variación longitudinal de similitud entre imágenes de línea sucesivas es calculado entre las separaciones longitudinales teóricas mediante interpolación en función de los valores calculados para las separaciones longitudinales teóricas.

Preferentemente, el procedimiento de estimación de los desfases de imágenes de líneas incluye una etapa de integración de los desfases longitudinales relativos Δj de imágenes de líneas sucesivas para determinar desfases longitudinales acumulados Δ’j respecto de una imagen de línea de referencia.

Preferentemente, el procedimiento de estimación de los desfases de imágenes de líneas incluye una etapa de filtrado paso alto de los desfases longitudinales relativos o acumulados.

Preferentemente, la imagen de línea Lj y la imagen de línea Li son imágenes de línea consecutivas, y/o las etapas del procedimiento de estimación son integradas al menos una vez.

La invención concierne igualmente un procedimiento de formación de imágenes compuestas a partir de imágenes de líneas que presentan desfases, incluyendo al menos:

-una etapa de estimación de los desfases de las imágenes de líneas que lleva a cabo el procedimiento de estimación de los desfases según el invento,

-una etapa de corrección de los desfases estimados de las imágenes de líneas,

-una etapa de yuxtaposición de las imágenes de líneas corregidas.

La invención concierne igualmente un procedimiento de formación de imágenes compuestas a partir de imágenes de líneas que presentan desfases, incluyendo al menos:

-una etapa de estimación de los desfases de un primer juego de imágenes de líneas adquiridas mediante un primer sensor, que lleva a cabo el procedimiento de estimación de los desfases según el invento,

-una etapa de conversión de los desfases estimados en un segundo juego de desfases para un segundo juego de imágenes de líneas, adquiridas mediante un segundo sensor ubicado en el vehículo y sometido sensiblemente a los mismos errores de visión que el primer sensor,

-una etapa de corrección del segundo juego de desfases del segundo juego de imágenes de líneas, y una etapa de yuxtaposición del segundo juego de imágenes de líneas corregidas.

La siguiente descripción de los modos de ejecución del invento es realizada haciendo referencia a las figuras, que representan de forma no limitativa:

-Figura 1: ya descrita, una representación esquemática de un sensor de barrido que sobrevuela una escena que se desea observar,

-Figura 2: ya descrita, una representación esquemática que ilustra los desfases de una imagen de línea,

-Figura 3: un diagrama que ilustra las diferentes etapas de un procedimiento de estimación del desfase de las imágenes de líneas según un modo preferido de realización del invento,

-Figura 4: una representación de un ejemplo de modelo local de variación lateral de similitud de las imágenes de líneas,

-Figura 5: una representación de un ejemplo de modelo local de variación longitudinal de similitud de las imágenes de líneas,

-Figura 6: un diagrama que ilustra las diferentes etapas de un procedimiento de formación de las imágenes compuestas según el invento.

Tal y como se describe anteriormente haciendo referencia a las figuras 1 y 2, unas imágenes de líneas son adquiridas mediante una línea de células sensibles de un sensor 10 óptico de barrido, ubicado en un vehículo que sobrevuela un cuerpo celeste, y son destinadas a ser yuxtapuestas con el fin de formar una imagen compuesta que representa una escena en la superficie del cuerpo celeste. De forma no limitativa, se considera en lo que sigue de la exposición el caso donde el cuerpo celeste es la Tierra.

El barrido del plano de visión permite adquirir sucesivamente unas imágenes de líneas que se corresponden con diferentes porciones de la escena observada, es decir porciones disjuntas o que se cubren al menos parcialmente. Unas imágenes de líneas diferentes en imagen compuesta representan en consecuencia unas porciones diferentes de la escena observada.

El barrido del plano de visión del sensor 10 se efectúa por ejemplo mediante el desplazamiento del vehículo (avión, dron, helicóptero, satélite, etcétera) respecto de la Tierra. Según otro ejemplo, el barrido del plano de visión del

10

15

20

25

30

35

40

45

50

55

E10737065

23-09-2014

sensor 10 se efectúa mediante desplazamiento del plano de visión respecto del vehículo, es decir modificando el valor del ángulo entre la línea de visión y el eje Z, por ejemplo por medio de un mecanismo de barrido que tiene ya sea el sensor 10, ya sea un espejo enfrente de un sensor 10. Este puede ser el caso para un satélite de observación en órbita geoestacionario, estabilizado según tres ejes.

Se supone que los píxeles de una misma imagen de línea son adquiridos simultáneamente, o al menos en un intervalo de tiempo suficientemente corto para que los desplazamientos de los píxeles de una misma imagen de líneas sean despreciables respecto del desfase global de dicha imagen de línea. Es por ejemplo el caso si la frecuencia de adquisición de los píxeles es significativamente superior a la frecuencia máxima de las vibraciones de sensor 10 (siendo la frecuencia máxima la frecuencia más allá de la cual la amplitud de los movimientos es despreciable respecto de las dimensiones del sensor 10, del orden de algunas centenas de Hercios a algunos millares de Hercios en la práctica).

Se considera que los movimientos de la línea de visión se traducen principalmente sobre las imágenes de líneas mediante desfases laterales (según el eje X de la línea de células sensibles del sensor 10) inducidos por las rotaciones no deseadas de la línea de visión alrededor del eje Y, llamadas “rotaciones de balanceo”, y por los desfases longitudinales (según el eje Y de barrido del sensor 10) inducidos por las rotaciones no deseadas de la línea de visión alrededor del eje X, llamadas “rotaciones de cabeceo”. Las otras perturbaciones sobre las imágenes de líneas, por ejemplo inducidas por rotaciones del sensor 10 alrededor del eje Z, no se consideran en lo que sigue de la exposición.

Por otra parte, se muestra interés principalmente por los desplazamientos introducidos por vibraciones de alta frecuencia, es decir en el contexto del invento, superiores a algunas decenas de Hercios (Hz). Tal y como se describe anteriormente, los movimientos de baja frecuencia (comprendidos entre cero y algunas decenas de Hz) son estimados por otros medios conocidos por el experto, por ejemplo a partir de medidas, absolutas o relativas respecto de una superficie S sobrevolada, del desplazamiento y de la orientación del vehículo, acopladas eventualmente con medidas de ángulo de barrido de la línea de visión del instrumento, etcétera.

La presente invención concierne un procedimiento de estimación de desfases de imágenes de líneas y un procedimiento de formación de imágenes compuestas a partir de imágenes de líneas que presentan desfases, cuya realización está por ejemplo asegurada mediante un dispositivo de cálculo (micro controlador, ordenador dotado de un microprocesador, etcétera). El dispositivo de cálculo incluye medios de memorización (disco duro magnético, memoria flash, el disco óptico, etcétera) en los cuales son almacenados los códigos de instrucciones para ejecutar para realizar las etapas de uno o de los procedimientos según el invento, así como las imágenes de líneas adquiridas por el sensor 10. Según determinados modos de realización, el dispositivo de cálculo incluye igualmente unos circuitos integrados especializados, del tipo ASIC,FPGA, etc, adaptados para realizar todas o parte de las etapas de uno o de los procedimientos según el invento.

El dispositivo de cálculo está preferentemente ubicado con el sensor 10 en el vehículo que sobrevuela la Tierra en el caso de un tratamiento en tiempo real. En el caso de un tratamiento en tiempo diferido, el dispositivo de cálculo está indistintamente situado con el sensor 10 en el vehículo, o situado fuera es decir localizado en una estación terrestre

o en un segundo vehículo que sobrevuela la Tierra.

Definiciones y anotaciones

Las definiciones y anotaciones utilizadas en lo que sigue de la exposición son dadas a continuación. Se comprende que la elección de una convención particular, para las necesidades de la descripción de los modos de realización de la invención, no es limitativo de la invención que podría ser descrita de forma equivalente adoptando otras convenciones sin que la invención sea modificada.

Se considera una imagen compuesta que incluye un número entero J de imágenes de líneas Li (1≤i≤J), adquiridas en diferentes instantes, que representan porciones diferentes de la escena observada en la superficie S de la Tierra. En la práctica, J es generalmente superior a algunas centenas, incluso superior a algunos millares.

Cada imagen de línea Li incluye un número entero N de píxeles que representan N zonas adyacentes de la porción observada. Se resigna mediante Li (n) el píxel de índice n (1≤n≤N) de la imagen de línea Li. En la práctica, N es generalmente igual o superior a algunas decenas de píxeles, pudiendo llegar en algunas aplicaciones hasta algunas decenas de millares de píxeles.

Una imagen de línea Li puede ser considerada matemáticamente o bien como una función Li (x) de una variable x, definida mediante los valores enteros de x del intervalo [1;N], o bien como un factor de números reales [Li (1),…,Li (n)].

Para un índice n dado, el conjunto de píxeles Li (n) (1≤i≤J) constituye una columna de índice n de la imagen compuesta. La columna de píxeles de índice n puede ser considerada matemáticamente o bien como una función Ly(n) de una variable y, definida para los valores enteros de y del intervalo [1;J], o bien como un vector de números reales [L1 (n),…Lj (n)].

10

15

20

25

30

35

40

45

50

E10737065

23-09-2014

La imagen de línea Li presenta un desfase lateral y/o longitudinal entre la posición que la imagen de línea Li va a ocupar en la imagen compuesta y la posición que debería ocupar en dicha imagen compuesta, por el hecho del error de visión inducido por los movimientos indeseables de la línea de visión del sensor 10. El desfase lateral y/o longitudinal de la imagen de línea Li es expresada de forma no limitativa el número (entero o real) de píxeles.

Mediante “desplazamiento (lateral y/o longitudinal) relativo” de una imagen de línea Lj respecto de una imagen de línea Li, se entiende la diferencia entre el desfase lateral y/o longitudinal de la imagen de línea Lj y el desfase lateral y/o longitudinal de la imagen de línea Li.

Según el invento, el desfase relativo de una imagen de línea Lj(1≤j≤J) respecto de la imagen de línea Li, siendo i diferente de j, es estimado por medio de al menos un modelo local de variación de la similitud entre imágenes de líneas sucesivas, determinado mediante cálculos de valores de similitud entre imágenes de línea diferentes de la imagen compuesta.

En efecto, aunque las imágenes de líneas representan porciones diferentes de la escena observada en la superficie S de la Tierra, existe en la práctica, en todo o parte del batido del sensor 10, una similitud radiométrica entre porciones sucesivas, por el hecho de la coherencia espacial de la escena observada. Esto es tanto más verdadero en la práctica como que el batido del sensor 10 es importante respecto del intervalo espacial entre dos porciones consecutivas de la escena, preferentemente un factor 100 o más, lo que asegura en la práctica por medio de un sensor que incluye una línea de al menos algunas decenas de células sensibles por una parte, y configurando el barrido del sensor 10 para barrer porciones adyacentes por otra parte.

Una función de similitud, designada por R, asocia un valor de similitud R (Li,Lj) a imágenes de líneas Li y Lj de la imagen compuesta.

La función de similitud R puede ser cualquier función de las imágenes de línea comparadas, consideradas matemáticamente como vectores, cuyo máximo es alcanzado cuando dichas imágenes de líneas son idénticas, y que decrece a medida que una distancia (en el sentido matemático del término) entre dichas imágenes de líneas aumenta, siendo la distancia entre las imágenes de líneas por ejemplo la distancia euclidiana, o cualquier otra distancia conocida por el experto.

La función de similitud R es por ejemplo una función de intercorrelación, que asocia a las imágenes de líneas comparadas un valor de similitud proporcional a su producto escalar. Según otro ejemplo, la función de similitud R se expresa con la forma:

imagen1

Donde ||X|| designa la norma 2 del vector x. Según otro ejemplo, la función de similitud R se expresa con la forma:

imagen2

de forma más general, la función de similitud R entre dos imágenes de línea puede ser calculada no sólo a partir del conjunto completo de los píxeles de las dos imágenes de líneas sino a partir de un subconjunto más restringido de píxeles, ventajosamente del mismo rango, de dichas dos imágenes de líneas.

Por modelo local de variación lateral de la similitud entre imágenes de línea diferentes, se entiende un modelo que indica cómo varía la similitud entre dos imágenes de líneas diferentes de la imagen compuesta en función de la separación lateral entre estas imágenes de líneas diferentes.

El modelo de variación lateral de la similitud, local en la imagen de línea Li, esta designado por Rlati. Para estimar el desfase lateral relativo entre las imágenes de línea Li y Lj, el modelo local de variación lateral Rlati es por ejemplo la función que asocia, una separación lateral de k píxeles, el valor de similitud R(Li,Lj[k]), designado por Ri,j[k], donde la imagen de línea Lj[k] corresponde a la imagen de línea Lj trasladada lateralmente un número k de píxeles respecto de Li, de manera que Lj[k](n)= Lj(n-k).

En el caso general, para calcular el valor de similitud entre las imágenes de línea Li y Lj[k], hace falta hacer corresponder las dos imágenes de líneas en el sentido donde los píxeles de la fila n de las dos imágenes de líneas: Li(n) y Lj[k](n) (1≤n≤N) están alineadas según el eje Y.

Las imágenes de líneas Li y Lj[k] se corresponden, cuando k tiene un valor entero, salvo en los bordes de dichas imágenes de líneas cuando k es diferente de cero (Lj(n-k) no está definido si (n-k) no está en el intervalo [1;N]). En este caso, para hacer corresponder las dos imágenes de líneas Li y Lj[k], hace falta por ejemplo extrapolar la imagen de línea Lj (y/o la imagen de línea Li), llevando a cabo procedimientos conocidos por el experto, para determinar los valores de los píxeles Lj (n-k) no definidos a priori, es decir para los valores de (n-k) no comprendidos en el intervalo

10

15

20

25

30

35

40

45

E10737065

23-09-2014

[1;N]. Según una variante preferida la correspondencia entre las dos imágenes de líneas se limita a los subconjuntos de píxeles comunes y el cálculo de similitud se efectuará sobre este subconjunto.

Se puede generalizar la traslación lateral de la imagen de línea Lj (considerada aquí como una función), y su correspondencia con otras imágenes de líneas, con un número k no entero de píxeles.

En este caso, los valores de los píxeles Lj (n-k) no están definidos, incluso para los valores de (n-k) comprendidos en el intervalo [1; N], por el hecho de que únicamente los valores de píxeles Lj(n), siendo n un entero comprendido en el intervalo [1;N], están definidos. La imagen de línea Lj debe en este caso ser re-muestreada para determinar los valores de los píxeles Lj (n-k) para valores no enteros de la traslación lateral k. El re-muestreo de la imagen de línea Lj (o de forma equivalente de la imagen de línea Lj[K], siendo K por ejemplo la parte entera de k) se efectúa llevando a cabo procedimientos conocidos por el experto, por ejemplo una interpolación de la función Lj(x) con valores no enteros de la variable x para un método polinomial (por ejemplo cúbico), Shannon truncado, spline, etc.

El cálculo de los valores de similitud entre las imágenes de línea Li y Lj[k], y por tanto del modelo local de variación lateral Rlati de similitud, podría así generalizarse para valores de k no enteros, efectuando un re-muestreo y una correspondencia de la imagen de línea Lj[k] con la imagen de línea Li.

Por modelo local de variación longitudinal de la similitud entre imágenes de línea diferentes, se entiende un modelo que indica cómo varía la similitud entre dos imágenes de líneas diferentes en función de la separación longitudinal entre estas imágenes de líneas diferentes.

El modelo de variación longitudinal de la similitud, local en la imagen de línea Li, esta designado mediante Rlongi. El modelo local de variación longitudinal Rlongj es por ejemplo la función que asocia, a una separación longitudinal de m píxeles, el valor de similitud R (Li,Li+m) de la imagen de línea Li y de la imagen de línea Li+m. Se puede calcular el modelo para valores enteros de m y ser generalizado con valores no enteros, por ejemplo mediante interpolación.

Procedimiento de estimación de desplazamientos de imágenes de líneas

El procedimiento de estimación incluye principalmente una etapa de estimación de desfase lateral y/o longitudinal respecto de una imagen de línea Lj de la imagen compuesta respecto de una imagen de línea Li de la imagen compuesta por medio de modelo local de variación lateral y/o longitudinal de la similitud.

Preferentemente, el procedimiento de estimación incluye igualmente una etapa de integración de los desplazamientos laterales y/o longitudinales relativos de imágenes de líneas sucesivas, para determinar unos desplazamientos, llamados “desplazamientos acumulados” respecto de una misma imagen de línea, llamada “imagen de línea de referencia”.

Preferentemente, el procedimiento de estimación incluye igualmente una etapa de filtrado paso alto de los desplazamientos laterales y/o longitudinales, ejecutada previamente, simultáneamente, o posteriormente a la etapa de integración anterior, para suprimir totalmente o parcialmente la deriva de baja frecuencia de la estimación de los desplazamientos relativos o acumulados.

Las diferentes etapas del procedimiento de estimación son descritas a continuación en el marco de la descripción de un modo preferido de realización del procedimiento de estimación, dado a título de ejemplo no limitativo del invento, en el que el procedimiento es realizado para estimar a la vez desplazamientos laterales y desplazamientos longitudinales.

El modo preferido de realización del procedimiento, descrito a continuación, incluye principalmente las siguientes etapas, representadas esquemáticamente en la figura 3:

-etapa 20 de estimación de los desplazamientos laterales,

-etapa 21 de integración de los desplazamientos laterales,

-etapa 22 de filtrado de los desplazamientos laterales,

-etapa 23 de estimación de los desplazamientos longitudinales,

-etapa 24 de integración de los desplazamientos longitudinales,

-etapa 25 de filtrado de los desplazamientos longitudinales.

a) Etapa 20 de estimación de desplazamientos laterales

La etapa 20 de estimación de desplazamientos laterales es descrita en el marco de la estimación del desplazamiento lateral relativo de una imagen de línea Lj de la imagen compuesta respecto de una imagen de línea Li de la imagen compuesta (1≤ j≠i≤J).

10

15

20

25

30

35

40

45

50

E10737065

23-09-2014

Preferentemente, las imágenes de línea consideradas son imágenes de líneas consecutivas, por ejemplo j= i+1. Este ejemplo no es limitativo del invento que puede ser realizado considerando imágenes de línea no inmediatamente consecutivas de la imagen compuesta, bajo reserva de la existencia de una similitud entre dichas dos imágenes de líneas que debe ser verificada caso a caso según el tipo de escena observada.

El desplazamiento lateral relativo δi+1 de la imagen de línea Li+1, respecto de la imagen de línea Li, es estimado por medio de un modelo Rlati, local de las imágenes de líneas Li y Li+1, de variación lateral de la similitud entre imágenes de líneas diferentes de la imagen compuesta.

El modelo Rlati es determinado calculando los valores de similitud Rlati(k)=Ri,i+1[k] para una pluralidad de valores de traslación lateral k.

Se hace después la hipótesis de que la similitud entre las imágenes de líneas Li y Li+1 es máxima cuando ninguna perturbación afecta a la toma de la imagen Li+1 respecto de la toma de la imagen Li, y disminuye a medida que el valor absoluto de k aumenta. Esta hipótesis se verifica más aún cuando la similitud radiométrica entre las imágenes de línea (no perturbadas) es importante por el hecho de la coherencia espacial de la escena observada y por el hecho de que el batido del sensor 10 es importante.

A partir de esta hipótesis, el desplazamiento lateral relativo δi+1 de la imagen de línea Li+1, respecto de la imagen de línea Li, es después estimado como la traslación lateral k para la cual el valor del modelo local de variación lateral

Rlat

i es máximo:

imagen3

La figura 4 representa un ejemplo de modelo local de variación lateral Rlati, y el desplazamiento lateral δi+1, obtenido para el valor máximo de dicho modelo, denominado como “max”.

La búsqueda de la traslación lateral k para la cual el valor del modelo local de variación lateral Rlati es máximo se efectúa, según la implantación elegida, ya sea imitándose a valores enteros relativos la traslación lateral k, o bien mediante valores reales.

En el caso donde se limite a valores enteros de k, se calculan los valores de similitud Ri,i+1[k] de las imágenes de líneas Li+1 y Li para una pluralidad de valores enteros de la traslación lateral k, preferentemente todos los valores enteros comprendidos en un intervalo [-K1; K2], donde K1 y K2 son números enteros o reales positivos de píxeles, preferentemente del orden de la decena. Los valores de similitud Ri,i+1[k] así calculados forman el modelo local de variación lateral Rlati de la similitud. Se determina después, sobre este conjunto de valores, el valor entero de k para el cual el valor del modelo local de variación lateral Rlati es máximo.

En caso contrario, los valores del modelo local de variación lateral Rlati, para valores reales la traslación lateral k, son iguales a valores de similitud Ri,i+1[k] determinados ya sea mediante re-muestreo de la imagen de línea Li+1 previamente al cálculo del valor de similitud Ri,i+1[k], ya sea mediante interpolación del modelo local de variación lateral Rlati, a partir de valores Ri,i+1[k] calculados para valores enteros de k.

La interpolación se puede efectuar según cualquier procedimiento que permita estimar los valores de una función a partir de un conjunto discreto de valores conocidos, como por ejemplo la interpolación lineal, polinomial, o la aproximación a los mínimos cuadrados, en cuyo caso la función interpolada no pasa necesariamente por todos los puntos (k,Ri,i+1[k]) calculados.

Según una variante, se calculan valores Rlati(k) del modelo local de variación lateral para un conjunto finito de valores de k reales en el intervalo [-K1;K2]. Por ejemplo, se considera todos los valores de k múltiples de 0.2 píxeles en este intervalo. Después se determina, sobre este conjunto de valores, el valor de k para el cual el valor de dicho modelo es máximo.

Según otra variante, la búsqueda del máximo se efectúa mediante dicotomía. Por ejemplo, haciendo referencia a la figura 4, se calculan los valores Rlati(k) del modelo local de variación lateral Rlati para los valores enteros de k que van de -3 a +3. Aparece entonces que el máximo del modelo que sería interpolado para valores no enteros de k se situaría entre 0 y +1. Se calcula entonces el valor Rlati(1/2) del modelo como siendo el valor de similitud Ri,i+1[1/2], calculado en función de Li+1) y de Li se compara después los valores Rlati(k) para k igual a 0,1/2 y 1 para saber en qué intervalo,[0,1/2] o [1/2, 1], se sitúa el máximo del modelo local de variación lateral Rlati, y se prosigue la búsqueda mediante dicotomía reduciendo iterativamente el intervalo de búsqueda en un factor de 2 cada vez.

Se comprende que cualquier procedimiento de búsqueda del máximo puede ser realizado en el transcurso de la etapa 20 del procedimiento de estimación, y que la elección de un procedimiento de búsqueda del máximo particular no es más que una variante de implementación del procedimiento de estimación según la invención.

En el transcurso de la etapa 20 de estimación de los desplazamientos laterales relativos, se estiman desplazamientos laterales relativos para una pluralidad de imágenes de líneas se considera, de forma no limitativa,

10

15

20

25

30

35

40

45

50

E10737065

23-09-2014

que se estima el desplazamiento lateral relativo de cada imagen de línea de índice 2 a J respecto del imagen de línea anterior en la imagen compuesta.

b) etapa 21 de integración de desplazamientos laterales

La etapa 21 de integración de desplazamientos laterales relativos δi+1, 1≤ i≤ J-1, estimados en el transcurso de la etapa 20 anterior tiene como objetivo determinar los desplazamientos laterales acumulados respecto de una imagen de línea de referencia de la imagen compuesta, en el ejemplo considerado aquí la imagen de línea L1. Esto se muestra ventajoso para los re-muestreos necesarios para la correspondencia de todas líneas de imagen, con vistas a la formación de la imagen compuesta.

En el transcurso de la etapa de integración de los desplazamientos laterales relativos δi+1, 1≤ i≤ J-1, dichos desplazamientos laterales nativos son por ejemplo sumados, y los desplazamientos laterales acumulados obtenidos, denominados mediante δ’i, 1≤ i≤ J , puede ser expresados mediante recurrencia de este modo:

δ’1=0,

δ’i+1= δ’i + δi+1, para 1≤ i≤ J-1.

c) etapa 22 del filtrado de los desplazamientos laterales

Los desplazamientos laterales acumulados δ’i, 1≤ i≤ J, son filtrados por medio de un filtro paso alto.

El objetivo de esta etapa 22 de filtrado es suprimir totalmente o parcialmente las variaciones de baja frecuencia de los desplazamientos laterales acumulados, variaciones de baja frecuencia que, por una parte, se supone son estimadas por otros medios cuando son inducidas por errores de visión, y que, por otra parte, pueden provenir de variaciones de la escena observada y no de errores de visión.

En un modo preferido de realización, el filtro es un filtro paso banda, es decir a la vez paso alto y paso bajo. En este caso las variaciones de las altas frecuencias son igualmente suprimidas totalmente o parcialmente, por el hecho de que se corresponden en la práctica principalmente a ruido de medida más que a errores de visión del sensor 10.

En el caso considerado aquí, donde el batido del sensor 10 es importante respecto del intervalo espacial entre dos porciones sucesivas de la escena observada, los parámetros del filtro aplicado pueden ser expresados en píxeles.

Preferentemente, la frecuencia de corte baja, designada mediante fmin, es tal que 1/fmin está comprendida entre algunas decenas de píxeles y algunas centenas de píxeles. En el caso de un filtro paso banda, la frecuencia de corte alta, denominada mediante fmax es preferentemente tal que 1/fmax es del orden de algunos píxeles.

Los desplazamientos laterales acumulados después del filtrado de las imágenes de líneas Li son denominados mediante δ’’i, 1≤ i≤ J.

La realización del filtrado puede realizarse en el dominio temporal o en el dominio de la frecuencia. Cuando los cálculos son realizados en tiempo diferido, se puede por ejemplo utilizar una transformada de Fourier del conjunto de los desplazamientos laterales acumulados δ’i, para pasar al dominio de la frecuencia.

Tal y como se ha indicado anteriormente, la etapa 22 de filtrado es indiferentemente ejecutada previamente, simultáneamente, o posteriormente a la etapa 21 de integración de los desplazamientos laterales.

d) etapa 23 de estimación de los desplazamientos longitudinales

La etapa 23 de estimación de los desplazamientos longitudinales es descrita en el marco del estimación del desplazamiento longitudinal relativo de una imagen de línea Lj de la imagen compuesta respecto de una imagen de línea Li de la imagen compuesta (1≤ j≠i≤ J).

Al igual que anteriormente en la etapa 20 de estimación de los desplazamientos laterales relativos, las imágenes de línea consideradas son preferentemente pero no necesariamente imágenes de líneas consecutivas de la imagen compuesta, y se considera de forma no limitativa que j=i+1.

En un modo preferido de realización, considerado en la continuación de la exposición, la etapa 23 de estimación de los desplazamientos longitudinales relativos es aplicada teniendo en cuenta 231 unos desplazamientos laterales relativos, cuando han sido previamente estimados, para corregir previamente las imágenes de líneas Li de dichos desplazamientos laterales relativos estimados. La etapa 23 se efectúa en este modo preferido sobre imágenes de líneas L’i que se corresponden con imágenes de líneas Li corregidas de dichos desplazamientos laterales relativos estimados. La corrección es realizada trasladando lateralmente en las imágenes de líneas Li de los desplazamientos laterales estimados, traslación que se acompaña en caso contrario por una interpolación y/o un re-muestreo. Se

10

15

20

25

30

35

40

45

50

E10737065

23-09-2014

considera por tanto, para la ejecución de la etapa 23 de estimación de los desplazamientos longitudinales relativos, unas imágenes de líneas L ’i que se corresponden con las imágenes de líneas Li[δ’i] o, preferentemente, con las imágenes de líneas Li[δ’’i], 1≤ i≤ J, que ventajosamente se corresponden mediante re-muestreo

Se señalará que las siguientes ecuaciones, que hacen referencia a la etapa 23 de estimación de desplazamientos longitudinales relativos, se aplican de forma idéntica al caso donde la etapa es aplicada sin corrección previa de los desplazamientos laterales, considerando directamente las imágenes de líneas Li, 1≤ i≤ J.

El desplazamiento longitudinal relativo Δi+1 de la imagen de línea L’i+1, respecto de imagen de línea L’i, es estimada determinando un modelo Rlongi local de las imágenes de líneas L’i y L’i+1, de variación longitudinal de la similitud de imágenes de líneas diferentes de la imagen compuesta.

En un modo preferido de realización, el modelo local de variación longitudinal de similitud, respecto de imagen de línea Li, es determinado como se describe a continuación.

El modelo local de variación longitudinal Rlongi es preferentemente determinado para valores de separación longitudinal m de imágenes de líneas sucesivas comprendidas en un intervalo [0:M], donde M es un número entero o real positivo de píxeles superior a uno, preferentemente igual o superior a dos.

Los valores enteros de separación longitudinal m, expresado en píxeles, corresponden a la separación longitudinal teórica entre dos imágenes de líneas sucesivas L’i y L’i+m separadas por m periodos de adquisición esta separación longitudinal es teórica por el hecho de que dichas imágenes de línea presentan en la práctica unos desplazamientos longitudinales debidos principalmente a movimientos indeseables de cabeceo de la línea de visión del sensor 10 en el transcurso de la adquisición.

Los valores Rlongi(m) del modelo para valores enteros de m son determinados preferentemente haciendo la media de los valores de similitud Rq,q+m[0], es decir el valor de similitud de las imágenes de líneas L’q y L’q+m que se corresponden sin traslación lateral. Los valores de similitud Rq,q+m[0], son calculados para cada entero q comprendido en un intervalo local [i-Q1; i+Q2], donde Q1 y Q2 son dos enteros positivos o nulos, de los que al menos uno es estrictamente positivo. Por ejemplo, los valores Rlongi(m) del modelo se expresan con la forma:

imagen4

donde el número de valores de similitud de media (Q1+ Q2+1) es preferentemente del orden de la decena, incluso la centena.

Según un modo particular de realización, la media de los valores de similitud Rq,q+m[0] está ponderada, con coeficientes de ponderación αq. Preferentemente los coeficientes de ponderación αq decrecen a medida que q se aleja de i. Los valores Rlongi(m) del modelo se expresan este caso con la forma:

imagen5

preferentemente, se calculan así los valores Rlongi(m) del modelo para todos los valores enteros de m en el intervalo [0;M].

Se determinan después mediante interpolación unos valores Rlongi(m) del modelo para valores reales de m. La interpolación puede ser realizada ejecutando cualquier procedimiento conocido por el experto, como por ejemplo la interpolación lineal, polinomial, la aproximación a los mínimos cuadrados, etcétera

La figura 5 representa un ejemplo de modelo local de variación longitudinal de similitud de imágenes de líneas sucesivas de la imagen compuesta.

Por definición, el modelo local Rlongi es máximo para m igual a cero, siendo máxima la similitud cuando las imágenes de las líneas son idénticas, lo que es el caso cuando m es igual a cero ya que se evalúa la similitud de la imagen de línea Li consigo misma. Por otra parte, se puede esperar que el modelo local de variación de similitud decrezca cuando m crezca, ya que la separación longitudinal entre dos imágenes de líneas es mayor, cuanto más alejadas estén las porciones que representan en la escena observada.

Para estimar el desplazamiento longitudinal relativo Δi+1, se calcula el valor de similitud Ri,i+1[0] de las imágenes de líneas L’i+1 y L’i.

Se determina después la separación longitudinal no necesariamente entera se corresponde con el valor de similitud Ri,i+1[0] según el modelo local de variación longitudinal de la similitud imágenes de líneas sucesivas de la imagen compuesta.

Tal y como se representa en la figura 5, la separación longitudinal relativa Δi+1 es estimada como la diferencia entre la separación longitudinal (denominada en la figura 5 como “M0”) determinada por el valor de similitud Ri,i+1[0]

10

15

20

25

30

35

40

45

50

E10737065

23-09-2014

(denominado en la figura 5 como “V0”) según el modelo local de variación longitudinal de similitud, y la separación longitudinal teórica de las imágenes de líneas L’i+1 y L’i (es decir 1 en el caso supuesto aquí de dos imágenes de líneas consecutivas).

Rlong

Para calcular M0, se puede por ejemplo determinar una función inversa de la función i interpolada, eventualmente a trozos, y calcular su valor M0 en Ri,i+1[0].

Según una variante, se calculan valores Rlongi(m) para una pluralidad de valores reales de m en [0;M], por ejemplo múltiples de 0,2 px a partir del modelo interpolado, y se determina el valor M0 de m para el cual los valores Rlongi(m) y Ri,i+1[0] son los más próximos. Ventajosamente, la estimación de M0 puede además estar afinada mediante dicotomía.

Se comprende además que cualquier procedimiento de búsqueda de la separación longitudinal correspondiente al valor de similitud Ri,i+1[0] puede ser realizado, y que una elección particular no constituye más que una variante de implementación del procedimiento de estimación según la invención.

Preferentemente, el modelo local de variación longitudinal de similitud es actualizado para cada imagen de línea Li+1 de la que se busca estimar el desplazamiento lateral relativo Δi+1. Según otros ejemplos, ventajosos desde el punto de vista de la cantidad de operaciones a realizar, el mismo modelo es utilizado para una pluralidad de imágenes de líneas sucesivas, de manera que la frecuencia de actualización de dicho modelo es reducida respecto al caso de una actualización para cada imagen de línea.

En el transcurso de la etapa 23 de estimación de desplazamientos longitudinales, se estiman unos desplazamientos longitudinales relativos para una pluralidad de imágenes de líneas. Se considera, de forma no limitativa, que se estima el desplazamiento longitudinal relativo de cada imagen de línea de índice 2 a J respecto de la anterior.

Conviene señalar que en el caso donde los movimientos de baja frecuencia del vehículo y/o de la línea de visión padecen una aceleración importante, puede suceder que el paso de adquisición ya no sea sensiblemente constante durante dicha adquisición, de manera que la dimensión física de los píxeles en la dirección longitudinal varía.

En un modo particular de realización de la etapa 23, el cálculo del modelo local Rlongi de variación longitudinal de similitud tiene en cuenta esas variaciones cuando son conocidas. Por ejemplo, se considera como dimensión longitudinal de referencia de los píxeles la dimensión de los píxeles de una imagen de línea L’q0, q0 dentro de [i-Q1; i+Q2] como unos múltiples no necesariamente enteros de la dimensión longitudinal de referencia, siendo los coeficientes multiplicadores la relación entre las dimensiones longitudinales físicas de los píxeles de las imágenes de líneas L’q y la dimensión longitudinal de referencia. En este caso, las separaciones longitudinales teóricas m’(q) entre las imágenes de líneas L’q y L’q+m no son necesariamente números enteros y pueden variar sensiblemente cuando q varía. Después, se calculan las funciones de similitud Rq,q+m[0] de las líneas L’q y L’q+m para q dentro de [i-Q1;i+Q2] y m perteneciente a [0;M]. Para el cálculo del modelo local de variación longitudinal de similitud, los cálculos del valor medio no están adaptados por el hecho de que m’(q) es en el presente caso variable. En una variante del procedimiento, se efectúa para cada valor entero de m dentro de [0;M] un cálculo baricentrico de los puntos (m’(q), Rq,q+m[0]) obtenidos para todos los valores de q en [i-Q1; i+Q2], ya que se interpola los baricentros así obtenidos para obtener el modelo local Rlongi de variación longitudinal de similitud. En otra variante, se determina el modelo local de variación longitudinal de similitud como la curva que pasa por los mínimos cuadrados en la vecindad de todos los puntos (m’(q), Rq,q+m[0]) calculados.

e) Etapa 24 de integración de los desplazamientos longitudinales

Al igual que para los desplazamientos laterales, los desplazamientos longitudinales relativos son integrados con vistas a obtener unos desplazamientos longitudinales acumulados respecto de una imagen de línea de referencia de la imagen compuesta, en el ejemplo considerado aquí la imagen de línea L1.

En el transcurso de la etapa de integración de los desplazamientos longitudinales relativos Δi+1, 1≤ i ≤ J-1, dichos desplazamientos longitudinales relativos son por ejemplo sumados. Los desplazamientos longitudinales acumulados obtenidos, designados mediante Δ’i, 1≤ i ≤ J, pueden estar expresados mediante recurrencia de la siguiente forma:

Δ’1=0

Δ’i+1 = Δ’i + Δi+1, para 1≤ i ≤ J-1

f) Etapa 25 de filtrado de los desplazamientos longitudinales

Al igual que para los desplazamientos laterales acumulados, los desplazamientos longitudinales acumulados Δ’i, 1≤ i ≤ J, son filtrados por medio de un filtro paso alto.

Preferentemente, el filtro es un filtro paso banda.

Preferentemente el filtro utilizado es el mismo que para el filtrado de los desplazamientos laterales acumulados, definido para la misma frecuencia de corte bajo fmin y, en caso contrario, la misma frecuencia de corte alta fmax.

10

15

20

25

30

35

40

45

E10737065

23-09-2014

Los desplazamientos longitudinales acumulados después del filtrado de las imágenes de líneas Li son designados mediante Δ’’i, 1≤ i ≤ J.

Tal y como se indicado anteriormente, la etapa 25 de filtrado es indiferentemente ejecutada previamente, simultáneamente, o posteriormente a la etapa 24 de integración de los desplazamientos longitudinales.

g) Comentarios complementarios

En un modo particular de realización, se procede a al menos una iteración suplementaria de las diferentes etapas del procedimiento de estimación, aplicando de nuevo el procedimiento de estimación a imágenes de línea corregidas de los desplazamientos estimados en el transcurso del estimación anterior del procedimiento de estimación.

De forma más general, se señala que las diferentes etapas del procedimiento de estimación según la invención, en particular la etapa 20 de estimación de los desplazamientos laterales relativos y/o la etapa 23 de estimación de los desplazamientos longitudinales relativos, pueden ser realizadas sobre subconjuntos de píxeles de imágenes de líneas Li, 1≤ i ≤ J.

Según una variante, la selección de este subconjunto es arbitraria, y tiene como objetivo principalmente reducir el número de cálculos necesarios, en particular cálculos de extrapolación de las imágenes de líneas sobre los bordes para calcular los valores de similitud. Por ejemplo es posible guardar únicamente los N-K1-K2 píxeles centrales, definidos para todos los valores de traslación lateral k en [-K1, K2].

Según otra variante la selección se efectúa según un criterio de contenido de la escena. Por ejemplo, se podrá seleccionar uno o varios subconjuntos de píxeles preferentemente adjuntos, de índices {n1, n2,….,nA}, siendo A inferior a N, para el cual el contenido presenta una varianza superior a un umbral dado, o bien para el cual el contenido presenta la varianza máxima, siendo la varianza por ejemplo calculada según la expresión:

imagen6

Procedimiento de formación de imágenes compuestas La presente invención concierne igualmente un procedimiento de formación de una imagen compuesta a partir de

imágenes de líneas Li, 1≤ i ≤ J, presentando unos desplazamientos laterales y/o longitudinales, adquiridos previamente por un sensor 10 de barrido situado en un vehículo que sobrevuela la Tierra. En un modo preferido de realización, el procedimiento de formación incluye principalmente las siguientes etapas,

representadas en la figura 6: -una etapa 30 de estimación de los desplazamientos de las imágenes de líneas Li -una etapa 31 de corrección de los desplazamientos estimados, -una etapa 32 de yuxtaposición de las imágenes de líneas corregidas. La etapa 30 de estimación de los desplazamientos de las imágenes de líneas ejecuta el procedimiento de estimación

según el invento para determinar los desplazamientos laterales y/o longitudinales de las imágenes de líneas Li, 1≤ i ≤

J. En lo que sigue, se considera de forma no limitativa el caso donde a la vez los desplazamientos laterales y

longitudinales son estimados y corregidos. Preferentemente, el procedimiento de estimación es realizado para estimar los desplazamientos acumulados después del filtrado, es decir los desplazamientos laterales δ’’i y los desplazamientos longitudinales Δ’’i, 1≤ i ≤ J.

Una vez que han sido estimados los desplazamientos laterales y longitudinales, las imágenes de líneas Li 1≤ i ≤ J., Son corregidas en el transcurso de la etapa 31 de corrección. La corrección se efectúa preferentemente en dos tiempos: -ventajosamente primero una corrección de los desplazamientos laterales,

-después una corrección de los desplazamientos longitudinales. La corrección de los desplazamientos laterales se efectúa por re-muestreo de las imágenes de líneas Li, 1≤ i ≤ J. Tal y como se ha descrito anteriormente, el re-muestreo se efectúa por ejemplo mediante interpolación, y se acompaña, en caso contrario, por una extrapolación sobre los bordes.

10

15

20

25

30

35

40

45

50

E10737065

23-09-2014

La imagen de línea L’i después de la corrección del desplazamiento lateral se corresponde con la imagen de línea Li[δ’’i], 1≤ i ≤ J.

La corrección de los desplazamientos longitudinales se efectúa mediante re-muestreo de cada columna L’i(n)( 1≤ i ≤ J) de índice n de la imagen compuesta, 1≤ n ≤ N (estando considerada una columna matemáticamente aquí como una función). Este re-muestreo se efectúa ejecutando procedimientos de interpolación conocidos por el experto, tal como una interpolación cúbica, de Shannon truncada, o utilizando splines, etc.

Así, para un índice n dado, los valores de píxeles L’i(n) (1≤ i ≤ J) se corresponde en realidad con los valores para unos índices (i+Δ’’i), 1≤ i ≤ J, por el hecho de los desplazamientos longitudinales. Para la yuxtaposición, dichos valores de los píxeles deben ser llevados a los índices i, 1≤ i ≤ J. Por ejemplo, se calcula una función L’y(n), por interpolación de valores de píxeles L’i(n), considerados de índices (i+Δ’’i), (1≤ i ≤ J), pará valores de y reales comprendidos en el intervalo [1;J], y, si es necesario, mediante extrapolación para valores de y fuera del intervalo [1;J]. Los valores de los píxeles de la columna de índice n, con índices i, 1≤ i ≤ J, designados mediante L’’i(n), son determinados como los valores tomados por la función L’y(n) para y igual a 1, 1≤ i ≤ J. Los valores L’’i(n), 1≤ n ≤ N, constituyen la imagen de líneas de índice i después la corrección del desplazamiento longitudinal Δ’’i.

La siguiente etapa 32 consiste en yuxtaponer las imágenes de líneas así corregidas para formar la imagen compuesta.

En una variante del procedimiento de formación según la invención, no representada en las figuras, los desplazamientos laterales y longitudinales estimados en el transcurso de la etapa 30 son utilizados para estimar los desplazamientos laterales y longitudinales de un segundo juego de imágenes de líneas, adquiridos mediante una línea de células sensibles de un segundo sensor situado en el mismo vehículo que el primer sensor 10, con la hipótesis de que el segundo sensor es sometido sensiblemente a las mismas vibraciones que el primer sensor 10 (siendo generalmente el caso cuando están co-localizados y/o sus planos focales están confundidos).

El procedimiento de formación incluye en este caso una etapa de conversión de los desplazamientos estimados, que tiene como objetivo determinar un segundo juego de desplazamientos laterales y longitudinales para el segundo juego de imágenes de líneas a partir de los estimados para el primer juego de imágenes de líneas Li, 1≤ i ≤ J.

La etapa de conversión consiste por ejemplo en restituir las rotaciones de balanceo y de cabeceo al origen de los desplazamientos del primer juego de imágenes de líneas Li, 1≤ i ≤ J, y determinar, en función de dicha rotaciones de balanceo y cabeceo, los desplazamientos inducidos a nivel del segundo sensor. Estas operaciones ejecutan cálculos trigonométricos conocidos por el experto, y tienen principalmente en cuenta la altitud del vehículo respecto de la superficie S de la Tierra, las dimensiones del primer sensor 10 y del segundo sensor, etc.

Una vez han sido determinados los desplazamientos del segundo juego de imágenes de líneas, se forma una imagen compuesta ejecutando la etapa 31 de corrección y la etapa 32 de yuxtaposición para respectivamente la corrección y la yuxtaposición de las imágenes de líneas del segundo juego.

Cabe señalar que el procedimiento de formación según la invención incluye según otros modos de realización unas etapas adicionales, tales como etapas que tienen como objetivo corregir la imagen compuesta totalmente o en parte de los efectos de distorsión geométrica introducidos por los movimientos de baja frecuencia del vehículo y/o de la línea de visión. Dichos movimientos de baja frecuencia son por ejemplo estimados a partir de medios convencionales, como por ejemplo unos sensores presentes a bordo del vehículo (sensores de posición, de velocidad, de aceleración lineal y angular) y/o la utilización de marcas (puntos reconocibles cuya posición en la superficie de la tierra es conocida).

La presente invención encuentra una aplicación particularmente ventajosa en el dominio de la explotación de imágenes obtenidas mediante sensores de barrido ubicados en vehículos que sobrevuelan la Tierra. Particularmente, la invención autoriza, para un tratamiento en tiempo real y en tiempo diferido apropiado, la corrección de las deformaciones geométricas, en una imagen compuesta, inducidas por vibraciones de altas frecuencias del sensor en el transcurso de la adquisición de imágenes de líneas que forman dicha imagen compuesta.

En particular, la invención permite estimar el desplazamiento lateral y/o longitudinal entre imágenes de líneas diferentes de una misma imagen compuesta, sin que sea necesario disponer, como es el caso en el arte anterior, de al menos dos imágenes compuestas que representan la misma porción de la escena observada.

Claims (1)

1. 5

   10

   15

   20

   25

   30

   35

   40

   45

   50

   E10737065

   23-09-2014

   REIVINDICACIONES

   1-Procedimiento de estimación de desplazamientos de imágenes de líneas de una imagen, dicha “imagen compuesta”, está constituida por la yuxtaposición de J imágenes de líneas, en el que:

   -las imágenes de líneas representan una escena en la superficie (S) de un cuerpo celeste, adquirida sucesivamente mediante una línea de células sensibles de un sensor (10) situado en un vehículo que sobrevuelan dicho cuerpo celeste, estando constituida cada imagen de línea por una pluralidad de píxeles,

   -una imagen de línea Lj,1≤ j ≤ J, presenta un desplazamiento lateral y/o longitudinal entre la posición que la imagen de línea Lj está destinada a ocupar en la imagen compuesta y la posición que debería ocupar por el hecho de un error de visión del sensor (10) en el transcurso de la adquisición de la imagen de línea Lj,

   dicho procedimiento está caracterizado por que las imágenes de líneas representan porciones diferentes de la escena y por que el desplazamiento lateral y/o longitudinal de una imagen de línea Lj, respecto del imagen de línea Li, j diferente de i, es estimada en función de un modelo local de variación lateral y/o longitudinal de la similitud entre imágenes de línea diferentes.

   2-Procedimiento de estimación según la reivindicación 1, en el que el modelo local de variación lateral y/o longitudinal de la similitud entre imágenes de línea diferentes es determinado mediante cálculo de valores de similitud entre imágenes de líneas diferentes de la imagen compuesta.

   3-Procedimiento de estimación según la reivindicación 2, incluyendo una etapa (20) de estimación del desplazamiento lateral relativo δj de la imagen de línea Lj respecto de la imagen de línea Li, en el transcurso de la cual el modelo local de variación lateral de similitud entre imágenes de líneas sucesivas es determinado calculando valores de similitud de la imagen de línea Lj con la imagen de línea Li para una pluralidad de valores de traslación lateral de una línea respecto de la otra, estando estimado el desplazamiento lateral relativo δj como la traslación lateral para la cual el valor del modelo de variación lateral similitud es máximo.

   4-Procedimiento de estimación según la reivindicación 3, en el que el desplazamiento lateral relativo δj de la imagen de línea Lj, respecto de una imagen de línea Li, es un número entero relativo o un número real de píxeles.

   5-Procedimiento de estimación según la reivindicación 3 o 4, que incluye una etapa (21) de integración de los desplazamientos laterales relativos δj de imágenes de líneas sucesivas, para determinar los desplazamientos laterales acumulados δ’j respecto de la imagen de línea de referencia de la imagen compuesta.

   6-Procedimiento de estimación según la reivindicación 5, que incluye una etapa (22) de filtrado paso alto de los desplazamientos laterales relativos δj o acumulados δ’j.

   7-Procedimiento de estimación según una de las reivindicaciones 2 a 6, que incluye una etapa (23) de estimación del desplazamiento longitudinal relativo Δj de la imagen de línea Lj respecto de la imagen de línea Li, en el transcurso de la cual se calcula un valor de similitud de la imagen de línea Lj y de la imagen de línea Li, y se estima el desplazamiento longitudinal relativo Δj en función de la separación longitudinal correspondiente, según el modelo local de variación longitudinal de similitud, a dicho valor de similitud de la imagen de línea Lj y de la imagen de línea Li.

   8-Procedimiento de estimación según la reivindicación 7, en el que, cuando los desplazamientos laterales han sido previamente estimados, la etapa (23) de estimación del desplazamiento longitudinal relativo Δj es aplicada a imágenes de líneas L’j en lugar de imágenes de líneas Lj, 1≤ j ≤ J, dichas imágenes de líneas L’j se corresponden con las imágenes de líneas Lj después de la corrección de dichos desplazamientos laterales estimados.

   9-Procedimiento de estimación según la reivindicación 7 u 8, en el que el modelo local de variación longitudinal de similitud entre imágenes de líneas sucesivas es calculado, para una separación longitudinal teórica dada entre dos imágenes de líneas, haciendo la media de los valores de similitud calculados para una pluralidad de pares de imágenes de líneas de la imagen compuesta espaciadas por dicha separación longitudinal teórica dada.

   10-Procedimiento de estimación según la reivindicación 9, en el que el modelo local de variación longitudinal de similitud entre imágenes de líneas sucesivas es calculado entre las separaciones longitudinales teóricas mediante interpolación en función de los valores calculados para las separaciones longitudinales teóricas.

   11-Procedimiento de estimación según una de las reivindicaciones 7 a 10, que incluye una etapa (24) de integración de los desplazamientos longitudinales relativos Δj de las imágenes de líneas sucesivas para determinar

   14

   E10737065

   23-09-2014

   unos desplazamientos longitudinales acumulados Δ’j respecto de una imagen de línea de referencia de la imagen compuesta.

   12-Procedimiento de estimación según la reivindicación 11, que incluye una etapa (25) de filtrado paso alto de los desplazamientos longitudinales relativos o acumulados.

   5 13-Procedimiento de estimación según una de las reivindicaciones anteriores, en el cual las etapas del procedimiento de estimación son iteradas al menos una vez.

   14-Procedimiento de formación de imágenes compuestas a partir de imágenes de líneas que presentan unos desplazamientos, caracterizado por que incluye al menos:

   -una etapa (30) de estimación de los desplazamientos de las imágenes de líneas que lleva a cabo el procedimiento 10 de estimación según una de las reivindicaciones anteriores,

   -una etapa (31) de corrección de los desplazamientos estimados sobre las imágenes de líneas,

   -una etapa (32) de yuxtaposición de las imágenes de líneas corregidas.

   15-Procedimiento de formación de imágenes compuestas a partir de imágenes de líneas que presentan unos desplazamientos, caracterizado por que incluye:

   15 -una etapa (30) de estimación de los desplazamientos de un primer juego de imágenes de líneas adquiridas para un primer sensor (10), que ejecuta el procedimiento de estimación según una de las reivindicaciones 1 a 13,

   -una etapa de conversión de los desplazamientos estimados en un segundo juego de desplazamientos para un segundo juego de imágenes de líneas, adquiridas mediante un segundo sensor situado en el vehículo y sometido

   20 sensiblemente a los mismos errores de visión que el primer sensor (10),

   -una etapa (31) de corrección del segundo juego de desplazamientos sobre el segundo juego de imágenes de líneas,

   -una etapa (32) de yuxtaposición del segundo juego de imágenes de líneas corregidas.

   25

   15