ES2773204T3 - Sensor de movimiento y sensor de imágenes - Google Patents
Sensor de movimiento y sensor de imágenes Download PDFInfo
- Publication number
- ES2773204T3 ES2773204T3 ES18169723T ES18169723T ES2773204T3 ES 2773204 T3 ES2773204 T3 ES 2773204T3 ES 18169723 T ES18169723 T ES 18169723T ES 18169723 T ES18169723 T ES 18169723T ES 2773204 T3 ES2773204 T3 ES 2773204T3
- Authority
- ES
- Spain
- Prior art keywords
- image
- image data
- scene
- pixels
- matrix
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000011159 matrix material Substances 0.000 claims abstract description 103
- 238000001514 detection method Methods 0.000 claims abstract description 61
- 238000001914 filtration Methods 0.000 claims abstract description 16
- 230000010363 phase shift Effects 0.000 claims abstract description 16
- 230000004044 response Effects 0.000 claims abstract description 15
- 238000012545 processing Methods 0.000 claims abstract description 8
- 239000013598 vector Substances 0.000 claims description 42
- 230000003287 optical effect Effects 0.000 claims description 20
- 238000005516 engineering process Methods 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 10
- 102100031437 Cell cycle checkpoint protein RAD1 Human genes 0.000 claims description 3
- 101001130384 Homo sapiens Cell cycle checkpoint protein RAD1 Proteins 0.000 claims description 3
- 230000003247 decreasing effect Effects 0.000 claims 1
- 238000009825 accumulation Methods 0.000 description 15
- 238000006073 displacement reaction Methods 0.000 description 9
- 238000005259 measurement Methods 0.000 description 8
- 238000000034 method Methods 0.000 description 8
- 230000008901 benefit Effects 0.000 description 4
- 238000012937 correction Methods 0.000 description 4
- 230000010354 integration Effects 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 238000003491 array Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000003595 spectral effect Effects 0.000 description 3
- 230000006641 stabilisation Effects 0.000 description 3
- 238000011105 stabilization Methods 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 101710130550 Class E basic helix-loop-helix protein 40 Proteins 0.000 description 2
- 102100025314 Deleted in esophageal cancer 1 Human genes 0.000 description 2
- 102000005717 Myeloma Proteins Human genes 0.000 description 2
- 108010045503 Myeloma Proteins Proteins 0.000 description 2
- 239000012321 sodium triacetoxyborohydride Substances 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 101100490566 Arabidopsis thaliana ADR2 gene Proteins 0.000 description 1
- 102100033934 DNA repair protein RAD51 homolog 2 Human genes 0.000 description 1
- 101001132307 Homo sapiens DNA repair protein RAD51 homolog 2 Proteins 0.000 description 1
- 101000854862 Homo sapiens Vacuolar protein sorting-associated protein 35 Proteins 0.000 description 1
- 101100269260 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) ADH2 gene Proteins 0.000 description 1
- 102100020822 Vacuolar protein sorting-associated protein 35 Human genes 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6811—Motion detection based on the image signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
- H04N25/768—Addressed sensors, e.g. MOS or CMOS sensors for time delay and integration [TDI]
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
Sensor (CM) de movimiento destinado a ser embarcado en un portador que se desplaza por encima de una escena y destinado a ser sometido a vibraciones durante su desplazamiento, el sensor (CM) de movimiento comprende: - al menos una primera matriz (MD) denominada de detección que comprende varios píxeles (PX) fotosensibles dispuestos en L líneas y C columnas, de manera que las imágenes de una misma escena sean adquiridas sucesivamente por líneas de píxeles diferentes de la primera matriz (MD) de detección durante el desplazamiento del portador para que los píxeles fotosensibles generen datos de imágenes, - un circuito (CT) de tratamiento de señales que comprende: - un circuito (FILT) de filtrado configurado para filtrar, al menos una secuencia de N datos de imagen generados por píxeles de dicha primera matriz de detección y correspondiente sensiblemente a una misma región de la escena observada en N instantes diferentes, estando N predeterminado y superior a 2, de manera que se genere al menos un pseudodato de imagen, estando filtrada dicha secuencia de N datos de imagen por un filtro de respuesta de impulso finito de N coeficientes, - un módulo (MOUV) de estimación del movimiento configurado para estimar al menos una magnitud representativa de un desfase entre un dato de imagen que proviene de un píxel fotosensible y un dato de imagen de referencia, a partir del pseudodato de imagen generado y a partir de un gradiente de una imagen de la misma región de la escena.
Description
DESCRIPCION
Sensor de movimiento y sensor de imágenes
El campo de la invención es el de la toma de imágenes por barrido o de barrido trasversal (en referencia a la expresión anglosajona “push-broom") que aprovecha el desplazamiento de escenas en una matriz de píxeles fotosensibles montados en un portador tal como un satélite de observación de la Tierra con una plataforma aerotransportada.
La invención se aplica en particular a sensores de imágenes de tipo denominado “por desfase temporal e integración” (TDI, del inglés “ Time Delay and Integraron").
El principio de un sensor TDI CI se ilustra en la figura 1. El instrumento óptico representado en la figura 1 comprende un sensor CI que comprende una matriz fotosensible de píxeles P fotosensibles, dispuestos por líneas (o filas) y por columnas; la figura, las líneas son numeradas de 1 a N (con N = 4 en la figura 1). Cuando el portador PO en el cual se embarca se desplaza con una velocidad V constante en la dirección D, perpendicular a las líneas; la imagen de la escena S observada, formada en la matriz dispuesta en el plano focal de un sistema SO óptico, se desplaza en la misma dirección, con la orientación opuesta a V. Por tanto, la línea de píxeles de rango i+1 ve, en un instante t¡+1, la misma distribución de intensidad luminosa vista por la línea del orden i en un instante anterior ti=ti+1-5t, correspondiente a una misma línea de una imagen óptica de la escena observada.
El sensor TDI CI comprende un circuito CIRC electrónico de postratamiento que integra las señales generadas para las diferentes líneas de píxeles de la matriz y correspondientes a una misma línea de la imagen. En otras palabras, añade, con una por columna, las señales generadas por los píxeles de la línea de rango 1 en el instante t-i, los de la línea de rango 2 en el instante t2, ... y los de la línea de rango N en el instante tN. En su salida, el circuito C proporciona un vector VD de datos de imagen representativo de dicha línea de la imagen óptica, integrado en un tiempo igual a N-5t, lo que permite aumentar la proporción de señal con respecto al ruido de los datos de imagen adquiridos por el sensor.
Sin embargo, la matriz de detección sufre perturbaciones que hacen variar su velocidad según el eje de las líneas y según el eje de las columnas perturbando por tanto la línea LV de mira. En otras palabras, las líneas de mira de los píxeles varían. La línea de mira de un píxel fotosensible en un instante dado es definida como la dirección que conecta el punto de la escena observada por el píxel, el centro óptico del sistema óptico y el píxel fotosensible. Las líneas de mira de los píxeles fotosensibles en los instantes en los que generan señales de las que se derivan los datos de imagen que son acumulados para generar un dato de imagen acumulado varían. La línea LV de mira representada en la figura 1 es una línea de mira media, es decir la línea de mira del píxel fotosensible central. Estas perturbaciones pueden ser por ejemplo debidas a inestabilidades de la actitud del portador PO o a microvibraciones de la matriz con respecto al portador PO. Estas perturbaciones que inducen a defectos en las imágenes entregadas por el sensor se traducen en forma de zonas borrosas.
El conocimiento preciso de las perturbaciones de la línea de mira (por ejemplo de la línea de mira media) o de las variaciones de la velocidad de la matriz de detección según el eje de las líneas y según el eje de las columnas durante las fases de adquisición de imágenes es un parámetro clave para el rendimiento del sensor. El conocimiento de estas perturbaciones se puede utilizar durante las fases de adquisición de imagen para mejorar la calidad de las imágenes entregadas, por ejemplo, suspendiendo los vectores de datos de imagen. Un dispositivo STAB de estabilización puede del mismo modo utilizar el conocimiento de perturbaciones para limitarlas y por tanto limitar su impacto en las imágenes adquiridas por el sensor.
Una solución actual para medir las variaciones de la línea de mira, en particular en el campo espacial, se basa en la utilización de giróscopos. Sin embargo, este sistema es muy caro, pesado y restrictivo para la disposición de satélites. Además, los giróscopos presentan una banda de paso limitada a varios Hz, que no permiten estimar las perturbaciones de línea de mira a alta frecuencia. Sin embargo, las microvibraciones que son contribuyentes de alta frecuencia la perturbación de la línea de mira evitan que se alcancen altas resoluciones (por aumento del número de fases TDI, es decir del número de líneas sobre el cual se hace la integración) y evitan la mejora de la resolución del suelo o GSD (en referencia a la expresión anglosajona “Ground Sample Distance").
Otra solución es utilizar un sensor de imágenes dedicado a la detección de los movimientos. Un ejemplo de este tipo de solución se describe en el documento FR 2 967 754. Este enfoque no es, o difícilmente, implementado utilizando componentes estándar, disponibles en el mercado (“COTS”, del inglés “Commercial off-the-shelf’, es decir, “disponibles a la venta”). De hecho, por un lado los sensores elementales de deformación por movimiento no son componentes estándar (el sensor óptico debe presentar una superficie suficientemente grande para permitir observar detalles y debe permitir hacer adquisiciones rápidas de imágenes, típicamente una frecuencia superior a 10 Hz), por otro lado la exigencia de una alineación sensiblemente perfecta entre estos sensores y las matrices de detección de imagen, y entre estas últimas, hace prácticamente necesaria a una cointegración en un solo elemento.
El artículo “Satellite image registration for attitude estimation with a constrained polyniomial model” de R. Perrier y otros, que aparece en Proceedings of International Conference on Image Processing en septiembre de 2010,
divulga un método de modelización para polinomios restrictivos para la estimación del movimiento lineal de una cámara de desplazamiento transversal (pushbroom).
La invención contempla superar al menos uno de los inconvenientes citados anteriormente.
A tal efecto, la invención tiene por objeto un sensor de movimiento, destinado a ser embarcado en un portador que se desplaza por encima de la escena y destinado a ser sometido a vibraciones durante su desplazamiento, según la reivindicación 1.
De forma ventajosa, la invención comprende al menos una de las características siguientes tomadas solas o en combinación:
- el circuito de filtrado está configurado para filtrar varias secuencias de N datos de imagen de manera que genera varios pseudodatos de imagen, el módulo de estimación del movimiento está configurado para estimar dicha al menos una magnitud representativa del desfase a partir de un único conjunto de pseudodatos de imagen tomados de entre dichos pseudodatos de imagen, siendo determinados los pseudodatos de imagen de dicho conjunto a partir de la secuencia de datos de imagen correspondiente a diferentes regiones de la escena observada en los mismos en N instantes diferentes,
- al menos un filtro se define de manera que forma un filtro espectral de paso bajo o de paso de banda que permite filtrar una banda de frecuencias predeterminada del desfase.
- la suma de los coeficientes ac,k con k= 1 a N de los filtros es nula,
- el circuito de filtrado está configurado para filtrar una pluralidad de secuencias de N datos de imagen generados para los píxeles de dicha al menos una matriz de detección y correspondientes a diferentes regiones de la escena observadas en los N instantes diferentes, siendo filtradas las diferentes secuencias por filtros de respuesta de impulso finito de N coeficientes idénticos,
- el circuito de filtrado está configurado para filtrar una pluralidad de secuencias de N datos de imágenes generados por píxeles de dicha al menos una matriz de detección por filtros de respuesta de impulso finito de N coeficientes distintos, estando configurado el módulo (MOUV) de estimación del movimiento para estimar las magnitudes representativas del movimiento a partir de los datos de pseudoimagen respectivos que provienen de filtros distintos,
- los filtros distintos actúan en secuencias de datos de imagen distintas correspondientes a diferentes regiones de la escena observadas en los N instantes diferentes,
- el sensor comprende un circuito de ajuste que utiliza un primer desfase y está configurado para ajustar al menos unos datos de imagen de salida a corregir, el primer desfase de manera que los pseudodatos de imagen son generados a partir de una secuencia de N datos de imagen correspondiente sensiblemente a una misma región de la escena observada en los N instantes de observación durante el desplazamiento del portador,
- el sensor comprende un circuito de cálculo del gradiente configurado para calcular el gradiente a partir de señales generadas por los píxeles de la primera matriz de detección,
- el circuito de cálculo del gradiente está configurado para determinar el gradiente a partir de secuencias de datos de imagen generadas por los píxeles de la matriz de detección, los datos de imagen de una misma secuencia de datos de imagen corresponden sensiblemente a una misma región de la escena observada en instantes diferentes, estando configurado el circuito de cálculo del gradiente para filtrar la secuencia de datos de imagen por filtros de respuesta de impulso finito con antelación a la determinación del reciente de manera que se aplican pesos respectivos a los datos de imagen de secuencias de datos de imagen, los pesos aplicados a los datos de imagen de una misma secuencia de crecen con la antigüedad de los datos de imagen de la secuencia,
- la primera matriz de detección es realizada con tecnología CMOS,
- al menos una línea de la primera matriz de detección es una matriz de detección de tipo TDI.
La invención se refiere igualmente a un sensor de imágenes que comprende un sensor de movimiento según la invención y:
- una matriz denominada de detección de imágenes que comprende varios píxeles fotosensibles dispuestos en líneas y columnas, siendo adquirida sucesivamente imágenes de una misma escena por las líneas de píxeles diferentes de la segunda matriz de detección de imágenes durante el desplazamiento del portador,
- un circuito de generación de imágenes configurado para suministrar de forma secuencial vectores de datos de imagen acumulados correspondientes a líneas de imágenes de diferentes zonas de la escena observadas que comprenden varios componentes, siendo obtenido cada componente por acumulación de datos de imagen que provienen de señales generadas por píxeles de la matriz de detección de imágenes y correspondiente
sensiblemente a una misma región de la zona observada en diferentes instantes en el transcurso del desplazamiento del portador.
De forma ventajosa, el circuito de generación de imagen está configurado de manera que determina al menos una imagen de línea que se determina a partir de al menos una de dicha al menos una magnitud representativa de desfase.
De forma ventajosa, la matriz de detección de imágenes es la primera matriz de detección.
De forma ventajosa, el circuito de imagen está configurado para utilizar al menos una estimación de una magnitud representativa del desfase para formar al menos una imagen de línea .
La invención se refiere igualmente a un instrumento óptico espacial o aerotransportado de adquisición de imágenes que comprende un sensor de movimiento según la invención y/o un sensor de imágenes según la invención.
Otras características y ventajas de la invención aparecerán de la lectura de la descripción detallada siguiente, hecha a título de ejemplo no limitativo y con referencia a los dibujos adjuntos en los cuales:
- la figura 1, ya descrita, representa el principio de funcionamiento de un sensor de imágenes de tipo TDI,
- la figura 2 representa esquemáticamente un sensor de movimiento según la invención,
- las figuras 3a y 3b representan esquemáticamente un ejemplo de filtros y respectivamente su transformada de Fourier,
- la figura 4 representa de forma más detallada un ejemplo de sensor de movimiento según la invención,
- la figura 5 representa de forma muy esquemática un satélite que comprende un sensor de movimiento según la invención.
De una figura otra, los mismos elementos son designados por las mismas referencias.
La figura 2 ilustra un ejemplo de sensor CM de movimiento según la invención. Este sensor CM comprende una matriz MD de detección que comprende una parte sensible que comprende píxeles PX fotosensibles dispuestos en líneas (o filas) y columnas de manera que forma una matriz MP fotosensible. En la figura 2, las líneas Lk son numeradas de 1 a L. Cada línea comprende C píxeles. El sensor funciona en modo rolling shooter. La matriz MP está dispuesta en el plano focal de un sistema SO óptico. Una imagen óptica formada por el sistema SO óptico embarcado a bordo del portador PO se desplaza sobre la matriz en la dirección D con un sentido opuesto al del sensor de manera que sean adquiridas sucesivamente imágenes de una misma escena por las líneas Lk sucesivas de la matriz durante el desplazamiento del portador.
Por tanto, en un instante discreto o ciclo de reloj, una zona de la escena es proyectada en una línea de índice L del sensor. En el instante siguiente, es decir en el ciclo de reloj siguiente separado del primer instante por una duración 5t correspondiente a la duración entre dos instantes consecutivos o la duración del ciclo de reloj, se proyecta la misma zona de la escena en la línea siguiente del orden L-1. Dicho de otra manera, la línea de píxeles de rango L-1 ve en un segundo instante la misma distribución de intensidad luminosa vista por la línea de orden L en el instante anterior correspondiente a una misma línea de una imagen óptica de la escena observada.
Cada píxel PX del sensor elemental genera una señal representativa de una intensidad luminosa en cada instante.
El sensor CM de movimiento comprende un circuito CT de tratamiento. Este circuito CT de tratamiento está configurado para suministrar medidas de una deformación por movimiento de línea de mira a partir de señales generadas por píxeles de la matriz MD de detección.
El circuito CT de tratamiento comprende un circuito FILT de filtrado configurado para filtrar temporalmente M secuencias de N datos de imagen que provienen de diferentes píxeles de la matriz MD y correspondiente sensiblemente a una misma región o píxel en el suelo de la escena, observada en instantes de observación diferentes en el transcurso del desplazamiento del portador PO.
El número N es un número entero predeterminado y superior a 2 e inferior o igual a L. De forma ventajosa, pero no limitativa, N es igual a L (número de líneas de la matriz).
Se entiende por “dato de imagen” un valor de una magnitud que representa la intensidad luminosa asociada a un píxel. Los datos de imagen se presentan, por ejemplo, en forma de señales electrónicas digitales. De forma alternativa, los datos de imagen podrán tener una naturaleza analógica como se verá posteriormente.
El circuito FILT de filtrado genera en un instante ti un detector VPD (ti) denominado de pseudodatos de imagen. El circuito FILT de filtrado produce a continuación vectores VPD (ti) de pseudodatos de imagen. Dicho de otra forma, produce en instantes ti sucesivos VPD (ti) vectores de pseudodatos de imagen. Cada vector VPD (ti) de
pseudodatos de imagen es generado a partir de M secuencias de N datos de imagen correspondientes sensiblemente a una misma región de la escena, observada en instantes de observación diferentes en el transcurso del tiempo. Cada vector de pseudodatos de imagen comprende M componentes, denominados pseudodatos de imagen de rango c PDIc (ti), con c= 1 a M, cada componente PDIc (ti) siendo generada a partir de una secuencia Ec de N pseudodatos de imagen DIc,k(ti- k) k = 1 a N. Las M secuencias para generar los M componentes de un mismo vector de pseudodatos de imagen comprenden N datos de imagen generados en los N mismos instantes sucesivos. Los N instantes sucesivos son diferentes de un vector de pseudodatos de imagen al otro. Al menos un instante difiere entre dos vectores de pseudodatos de imagen consecutivos.
Los instantes de observación de la escena son los mismos para las diferentes secuencias de datos de imagen a partir de las cuales se genera un mismo vector de pseudodato de imagen. Por ejemplo, los datos de imagen de cada secuencia han sido generados en N últimos instantes consecutivos o ciclos de reloj consecutivos que preceden al instante o al ciclo de reloj tI.
Cada secuencia Ec de N datos de imagen es filtrada por un filtro FC de respuesta de impulso finito de N coeficientes ac,k con k= 1 a N.
Dicho de otra manera, el circuito FILT de filtrado hace, para cada secuencia de N datos de imagen DIc,k (ti - k) con k = 1 a N, una combinación lineal de datos de imagen generados en N instantes sucesivos.
Cada pseudodato de imagen PDIc (tl) de rango (o columna) c (con c=1 a N) del vector de pseudodatos de imagen VPD (tI) entregado en el instante tI es obtenido por la fórmula siguiente:
En un primer modo de realización, cada secuencia Ec de datos e imagen está compuesta de datos de imagen DIc,k(tl-k) que provienen de señales generadas por píxeles de una misma columna de la matriz MD. Las diferentes secuencias de datos de imágenes están compuestas de datos de imagen que provienen de columnas respectivas diferentes de la matriz.
En un ejemplo no limitativo, DIc,k(tl - k) es el dato de imagen que proviene de una señal generada por el píxel de la columna de rango c de la línea Lk de rango k en el instante tl-k. Dicho de otra manera, cada secuencia de datos de imagen utilizada para generar un vector de pseudodatos de imagen en un instante tI se compone de datos de imagen que provienen de señales generadas por píxeles consecutivos de una columna c en instantes de medida consecutivos respectivos. Dicho de otra manera, el módulo FILT de filtrado hace una combinación lineal de un dato de imagen que proviene de una señal generada por un píxel de la columna c y de la línea de rango N en el instante ti_N, de una señal generada por un píxel de la columna c y de la línea de rango N-1 en el instante tI-N+1, ■■■, de una señal generada por un píxel de la columna c y de la línea de rango 1 en el instante tI-1. Los datos de imagen que provienen de píxeles de la columna c de la matriz MD de detección y de las líneas de rango k son ponderados por coeficientes ac,k respectivos del filtro asociado (ac,1,... ac,k,. ac,N).
En el ejemplo anterior, la ausencia de vibraciones, cuando la imagen formada sobre la matriz MD se desplaza según un movimiento o desplazamiento de referencia correspondiente a una velocidad constante perpendicular a las líneas de píxeles a lo largo de la matriz MD tal que los píxeles sucesivos de una misma columna observan exactamente la misma escena en los instantes consecutivos, por tanto en cada instante tI-k, el dato de imagen DIc,k(tl-k) que proviene de la señal generada por el píxel de la columna c de la línea Lk de rango k es expresado:
Donde escena(l, c) es el dato de imagen representativo del píxel de la escena observada de coordenadas I según el eje x y c según el eje y, es decir el dato de imagen representativo del I-ésimo píxel de la escena observada según el eje de las líneas x y del c-ésimo píxel de la escena observada según los ejes de las columnas y.
En este caso, la línea de mira es constante.
Sin embargo, en presencia de microvibraciones, las líneas de píxeles de índices k sucesivos no ven exactamente la misma zona de la escena observada, sino una versión desfasada en el plano de la matriz M, en la dirección horizontal y/o en la dirección vertical. Se obtiene por tanto:
DIcjc(!i-k ) =escena( l+ vf_k,c v^_k),
d _ f X
donde el vector Dl- k v l-k> ui - k J representa un vector de desfase correspondiente al desfase, en el plano de la matriz, entre el píxel de la escena vista por el píxel de rango I según el eje x y de rango k según el eje y, en un instante dado, y un píxel de referencia que debería ver este píxel en este mismo instante. Dicho de otra manera, el desfase es un desfase entre el dato de imagen obtenido a partir de la señal generada por el píxel fotosensible en el instante dado y un dato de referencia obtenido a partir de la señal generada en el mismo instante por el mismo píxel fotosensible durante la escena desplazada sobre el sensor según un movimiento de referencia predeterminado en ausencia de distorsiones ópticas. Este movimiento de referencia predeterminado se corresponde por ejemplo, de manera no limitativa, a una escena que se desplaza sobre la matriz MP de píxeles fotosensibles según el eje y a una velocidad constante. Esta velocidad constante es por ejemplo una velocidad tal como los píxeles del dos líneas de píxeles consecutivas L-l-1 y ven la misma parte de la escena en dos ciclos de reloj consecutivos, es decir en dos instantes ti-n y tw_. Este vector comprende una traslación v x 1-k horizontal es decir, según el eje x, perpendicular a la dirección D, es decir paralela a la dirección longitudinal de las líneas de píxeles y una traslación vertical, según el eje y, paralela a la dirección D o paralela a la dirección longitudinal de las columnas de píxeles.
En el caso de un desplazamiento suficientemente bajo (del orden por debajo de un píxel o de algunos píxeles) es posible linealizar la ecuación anterior y se obtiene:
donde Gx (l, c) y Gy (l, c) designan respectivamente el gradiente de imagen de la región de la escena observada en el instante tl en la dirección x y el gradiente de la escena en la dirección y a nivel del píxel de rango c de la escena observada en el instante tl. El gradiente de una imagen según una dirección es la derivada de una magnitud representativa de una intensidad luminosa según esta dirección.
El pseudodato de imagen PDIc (ti) de rango (o columna) c (con c= 1 a M) del vector de pseudodatos de imagen VPD (tl) entregado en el instante ti, se describe por tanto:
N
PDIc ( t¿) » ^ ack (escena(l,c) + vf_k Gx(l,c) vJ_kGy (l,c))
k= 1
W x V \ r
Esta última fórmula hace aparecer términos de convolución 1 y 1 del vector w¡ de convolución obtenido por convolución del filtro Fc y del vector de desplazamiento Bi en un instante ti.
Los términos de convolución del vector wi de convolución en un instante tl son dados para las fórmulas siguientes:
N
W f x a c,kv l - k
k = 1
N
W, X a c,kv ,l - k ■
k = l
se obtiene por tanto:
Por consiguiente, conociendo la suma de los coeficientes ac,k para k= 1 a N, es posible estimar, a partir de PDIc (ti) un dato representativo de la deformación por movimiento.
De forma ventajosa, con el fin de facilitar la estimación de una magnitud representativa del movimiento, se fija
Z k = i a c,k = 0 por tanto:
En este caso, el filtrado temporal de una secuencia de datos de imagen vuelve a convolucionar la deformación por movimiento de la línea de mira o de la imagen de la escena observada en los píxeles de la matriz.
Siendo esto válido para todas las columnas c, se obtiene un sistema lineal sobredeterminado
Donde A(tl) una matriz de tamaño Cx2 cuya c-ésima línea es dada por Gx(l, c) y Gy(l, c)).
El vector w " (tj) - ( '• w " * f ' .w "1 f) J de convolución es una magnitud representativa de la deformación por movimiento de desfase o de la deformación por movimiento de una imagen de la escena observada en los píxeles de la matriz, es decir la línea de mira en el plano de la matriz de detección en el instante tl con respecto a la escena de referencia o respectivamente con respecto a una línea de mira de referencia.
Una estimación de este vector puede ser por ejemplo obtenida por un enfoque de tip Ao de mínimos cuadrados que implica la inversión de una matriz 2x2. La estimada de w, por tanto referida como w se obtiene por la ecuación siguiente:
Se ha de señalar que la resolución del sistema sobredeterminado puede realizarse por cualquier otro tipo de método de resolución de un sistema lineal sobredeterminado. Se puede resolver de forma ventajosa este problema por mínimos cuadrados o mínimos cuadrados regularizados o por regresión en función de componentes principales.
En variante, la suma de los coeficientes no es nula. En este caso, se utiliza un dato de referencia que permite medir la radiometría de referencia de la escena. Este dato puede provenir de un procedimiento de medida particular asociado al sensor utilizado en esta invención o a un sensor dedicado.
La invención aprovecha la posibilidad de deducir, del filtrado temporal de secuencias de datos de imagen y de un gradiente de la imagen, una estimación de una magnitud representativa de la deformación por movimiento. Por tanto, el circuito CT de tratamiento comprende un módulo MOUV de estimación de movimiento configurado para estimar al menos una magnitud representativa de un desfase de la línea de mira en el plano de la matriz a partir de un vector VPD (L) de pseudodatos de imagen generado en el instante tl y a partir del gradiente de la imagen.
El módulo MOUV de estimación de movimiento está por ejemplo configurado para estimar w(ti). Además puedAe estar configurado para estimar una deformación por movimiento a partir de la estimada de w(ti) referida como w (ti).
Al ser la secuencia de ganancias ac,k conocida, se puede contemplar configurar el módulo de estimación de movimiento para deconvolucionar las señales ( w f .w f ) ( v f - v f ) .
de manera que se estima el módulo de T
estimación de movimiento puede por tanto ser configurado para calcular la traspuesta de W .v f ) de manera que se obtiene una estimación del movimiento í v v i x > v 1 n ) '
La utilización de un filtro integrador aplicado a la señal descrita anteriormente permite posiblemente compensar el filtro utilizado en el FILT y aumentar a un valor de actitud absoluto.
Por tanto, la magnitud representativa de la deformación por movimiento, pudiendo ser la deformación por movimiento, se estima directamente a partir de las señales generadas por una matriz de píxeles fotosensibles. Se puede hablar de detección de deformación por movimiento intrínseca. Esta solución evita por tanto la utilización de giróscopos.
Este enfoque es simple de implementar ya que permite integrar el circuito de tratamiento lo más cerca posible de la matriz de píxeles fotosensibles. Se puede instalar lo más cerca posible del chip que también se utiliza para la misión nominal (de generación de líneas de imágenes) y su transporte tiene por tanto poco impacto en la arquitectura del satélite en su conjunto.
De forma ventajosa, pero no necesariamente, los diferentes elementos que constituyen el sensor están integrados en el seno de un mismo chip.
La invención permite la medida de la deformación por movimiento únicamente partir de señales generadas por una matriz de píxeles fotosensibles. La invención permite evitar la utilización de sensores no estándar para la medida de la deformación por movimiento.
La estimación de la deformación por movimiento en dos dimensiones en un instante dado es realizada a partir de un único vector de pseudodatos de imagen cuyos componentes son obtenidos por combinación lineal de los datos de imagen generados en N mismos instantes sucesivos. Dicho de otra manera, el módulo de estimación del movimiento está configurado para estimar al menos una magnitud representativa del desfase a partir de un único conjunto de pseudodatos de imagen tomados de entre dichos pseudodatos de imagen, siendo determinados los pseudodatos de imagen de dicho conjunto a partir de la secuencia de datos de imagen correspondiente a diferentes regiones de la escena observadas en los mismos N instantes diferentes. Un espacio de memoria y una potencia de cálculo necesarios para la estimación de la deformación por movimiento son por tanto limitados. Esto permite realizar la estimación de la deformación por movimiento en tiempo real. Además, la invención permite generar vectores de datos de imagen sucesivos en los ciclos de reloj consecutivos (en los cuales se generan las señales de imagen sucesivas por la matriz de píxeles), esto permite generar estimaciones de una magnitud representativa de la deformación por movimiento en cada ciclo de reloj. Por supuesto, la estimación de una magnitud representativa de una deformación por movimiento no es obligatoriamente determinada en cada ciclo de reloj.
La estimación de una deformación por movimiento de una imagen formada sobre los píxeles es realizada a partir de datos de imagen que provienen de más de dos adquisiciones sucesivas. Esta solución permite acceder a un estimación precisa de la deformación por movimiento.
La solución propuesta permite estimar las deformaciones por movimiento a frecuencias elevadas pudiendo ir hasta varios kHz según la frecuencia de línea del detector. De hecho, las deformaciones por movimiento estimadas son mostradas en la constante de tiempo del sensor TDI, es decir generadas en cada ciclo de reloj. La frecuencia máxima de restitución es dada por la mitad de la frecuencia de muestreo, según el teorema de Shannon.
Además, la tecnología de matrices de píxeles fotosensibles permite realizar una estimación de una magnitud representativa de la deformación por movimiento con una precisión adaptada a la resolución de la imagen. De hecho, cuanto más pequeño sea el tamaño de los píxeles, mejor es la resolución de la imagen y más precisa es la medida de la deformación por movimiento.
La invención permite del mismo modo generar de forma simultánea, una estimación de la deformación por movimiento y una imagen de línea de la región observada, obtenida por acumulación de datos de imagen, proveyendo una segunda guía de tratamiento de los datos de imagen generados por la matriz de píxeles fotosensibles como se verá a continuación. El sensor de movimiento es por tanto igualmente un sensor de imágenes.
Existe una cierta latitud en la elección de los coeficientes de los filtros. De manera general, es preferible implementar un filtro de paso bajo con el fin de preservar el contenido de frecuencia de las señales de microvibraciones. La elección del mismo podrá afinarse en función de los conocimientos a priori de la deformación por movimiento de línea de mira. Un ejemplo de dicho filtro es representado en las figuras 3a y 3b. En la figura 3a, el filtro ac,k es una curva continua en forma de seno cardinal en función de k. El filtro presenta 46 coeficientes cuyos valores son las amplitudes de la curva en las abscisas discretas, teniendo de 50 a 96 en incrementos de 1. En la figura 3b, se representa la transformada de Fourier TF de la curva de la figura 3a. Esta curva representa bien un filtro de paso bajo cuya frecuencia de corte es sensiblemente de 2000 Hz. El filtro de respuesta de impulso finito formado por los 46 coeficientes tomados a lo largo de la abscisa de la figura 3a, forma un filtro de frecuencia de paso bajo. Se ha de señalar que la transformada de Fourier TF del filtro de respuesta de impulso finito representa la función de trasferencia aplicada a la deformación por movimiento.
La posibilidad de elegir los coeficientes de filtros de respuesta de impulso finito permite realizar diferentes tipos de filtros y en particular de elegir campos de frecuencias de deformación por movimiento filtrados. La invención permite determinar componentes de altas frecuencias de la deformación por movimiento. Permite igualmente privilegiar la estimación de ciertos componentes de frecuencia o de estimar separadamente varios componentes de frecuencia de la deformación por movimiento. Esto permite optimizar el ruido del error en la medida de la deformación por movimiento. Si se dispone de uno a priori en las frecuencias de la deformación por movimiento, se pueden seleccionar estas bandas de frecuencia, despreciando por tanto las bandas de frecuencia en las que domina el ruido.
De forma ventajosa, los filtros FC son definidos de manera que forman filtros espectrales de paso bajo o de paso de banda que permiten filtrar una banda de frecuencias predeterminada de la deformación por movimiento de la línea de mira. El módulo de estimación de movimiento estima por tanto una magnitud representativa de la deformación por movimiento en la banda de frecuencias considerada.
Se puede filtrar un número M igual al número de columnas C de la matriz de píxeles. En variante, el número M es superior o igual a 1, e inferior a C lo que significa que se puede utilizar solamente una parte de la matriz de detección para detectar el movimiento. Esto permite limitar un espacio de memoria y una potencia de cálculo
necesarios para realizar la estimación del movimiento. M puede estar comprendido entre 1 y C. De forma ventajosa, M es superior a 1. Cuando se filtra una única secuencia de datos de imagen, se obtiene un único pseudodato de imagen.
Cuando se filtra un número M superior a 1 de secuencias Ec dadas de imagen, los filtros Fc utilizados para filtrar las diferentes secuencias pueden ser idénticos o diferentes.
Es, en particular, posible prever filtros que filtran bandas de frecuencias distintas y de estimar varias magnitudes representativas de la deformación por movimiento a partir de componentes respectivos de datos de imágenes que provienen de filtros que filtran bandas de frecuencia respectivas. Al apuntar de forma independiente a ciertas plantillas espectrales se puede por tanto mejorar los rendimientos de estimación de la deformación por movimiento según las regiones del espectro apuntadas. Se pueden por ejemplo filtrar los datos de imagen que provienen de la mitad izquierda de la matriz de píxeles por medio de primeros filtros idénticos y los que provienen de la mitad izquierda de la matriz de píxeles por medio de segundos filtros idénticos. Cada primer filtro forma por ejemplo un filtro de paso de banda centrado en 100 Hz y cada segundo filtro forma por ejemplo un filtro de paso bajo cuya frecuencia de corte es inferior a 100 Hz. Se pueden por tanto estimar separadamente los componentes de frecuencia distintas de la deformación por movimiento (una baja frecuencia y una de 100 Hz en el ejemplo anterior), utilizando separadamente los componentes del vector de pseudodatos de imagen obtenidos a la salida de los primeros filtros y los obtenidos a la salida de los segundos filtros para realizar estimaciones distintas del magnitudes representativas de la deformación por movimiento. Esta solución presenta la ventaja de no necesitar más espacio de memoria ni potencia de cálculo suplementaria que en el caso en el que todos los filtros son idénticos. Se puede, en variante, prever un conjunto de filtros de paso de banda cuya banda pasante corresponde a la banda pasante de un dispositivo de control de órbita y de actitud del satélite AOCS (“Attitude and Orbit Control System"). Esto permite estimar una deformación por movimiento relacionada con un residuo de corrección de este dispositivo con el fin de compensar esta deformación por movimiento por medio de este dispositivo. Se pueden prever en paralelo filtros de paso de banda centrada en una frecuencia superior a la frecuencia central de la banda pasante del AOCS. Las salidas de estos filtros permiten estimar la deformación por movimiento a una frecuencia más alta con el fin de compensar las vibraciones de alta frecuencia.
Es posible, en variante, filtrar en paralelo las mismas secuencias de pseudodatos de imagen (por ejemplo las C secuencias de pseudodatos de imagen) por medio de filtros diferentes. Esta solución necesita sin embargo una potencia de cálculo y una capacidad de memoria suplementarias.
En la figura 4, se ha representado de forma más precisa el modo de realización de la figura 2 en el cual la matriz MD es realizada con tecnología CMOS.
La matriz MD de detección comprende un circuito LECT de lectura que permite leer de manera secuencial, en cada instante discreto o ciclo de reloj, las señales generadas por los diferentes píxeles de la matriz de píxeles durante el ciclo de reloj, es decir durante el período de detección elemental 8t. Estas señales se presentan clásicamente en forma de tensiones representativas de una intensidad luminosa asociada al píxel.
El sensor elemental comprende un circuito CAN de conversión analógica digital que comprende un conjunto de convertidores analógicos digitales configurados para elaborar los datos de imagen que vienen a digitalizar las tensiones leídas por el circuito de lectura. El circuito CAN de conversión analógica digital puede por ejemplo comprender un convertidor analógico digital por columna de la matriz de píxeles. De forma alternativa, la conversión analógica digital es realizada por el circuito CT de tratamiento.
El circuito FILT de filtrado comprende una primera memoria MEM1 de acumulación que comprende una pluralidad de zonas ZM de memoria donde cada zona ZM de memoria almacena datos DIc,k (ti-k) de imagen correspondientes sensiblemente a una misma región (o píxel) de la escena, siendo observada dicha región en instantes t- k sucesivos en el transcurso del desplazamiento del portador.
El circuito FILT de filtrado comprende más precisamente un conjunto EF de filtros Fc de respuesta de impulso finito que reciben secuencialmente los datos Dlc,k (ti-k) de imagen sucesivos correspondientes sensiblemente a una misma región de la cena observada, que multiplican los datos de imagen que reciben sucesivamente por los coeficientes sucesivos de filtros y entregan los productos así obtenidos a un circuito ADR de direccionamiento que direcciona los productos hacia la primera memoria MEM1 de manera que los N productos sucesivos obtenidos en el transcurso del desplazamiento del portador PO a partir de los datos de imagen correspondientes sensiblemente a una región de la escena se acumulen en una misma zona ZM de memoria.
La memoria se presenta en forma de una matriz que comprende una pluralidad de fases ETDI1 de acumulación (o fases TDI). El contenido de cada fase después de la acumulación de N productos es un vector VPD de pseudodatos de imagen. Por tanto cada fase TDI, ETDI1 comprende C zonas ZM de memoria. Cada fase ETDI1 comprende una pluralidad de zonas de memoria destinadas a acumular (es decir a añadir) los productos recibidos. La memoria funciona como un registro de desfase: en cada paso de acumulación, cuando se obtiene un vector de pseudodatos de imagen los otros vectores en el transcurso de la acumulación se desplazan de una fase y comienza a formarse un nuevo vector de datos de imagen por acumulación.
Por tanto, el modo de realización de la figura 4 necesita zonas de memoria dedicadas a la acumulación de productos.
Los filtros Fc temporales respectivos pueden recibir datos de imagen que provienen de columnas respectivas de la matriz de píxeles como se describió anteriormente. Por tanto, cuando la línea de mira sufre perturbaciones, los datos DIc,k (ti-k) de imagen sucesivos (con k=1 a N) no se corresponden exactamente con una misma región de la escena observada en diferentes instantes pero sensiblemente en la misma región, es decir con una deformación por movimiento cercana.
En variante, de forma ventajosa como se representa en la figura 4, el circuito CT de tratamiento comprende, como es visible en la figura 4, un circuito REC de ajuste que utiliza un primer desfase DEC1 de la línea de mira y está configurado para ajustar los datos de imagen de manera que corrige el primer desfase de forma que cada uno de los pseudodatos de imagen sea generado a partir de una secuencia de N datos de imagen correspondientes sensiblemente a una misma región de la escena observada en los N instantes de observación durante el desplazamiento del portador. Cuando el primer desfase no es el desfase exacto, los N datos de imagen no se corresponden exactamente a una misma región de la escena observada sino a un desfase residual cercano después de la corrección del primer desfase.
Por tanto la magnitud estimada durante el procedimiento según la invención es representativa del desfase o de la deformación por movimiento residual después de la corrección del primer desfase. Esto permite mejorar la precisión del desfase estimada en el caso de desfases importantes en la medida en la que la aproximación lineal es válida para pequeñas deformaciones por movimiento.
En el ejemplo no limitativo de la figura 4, el circuito REC1 de ajuste está comprendido en el circuito ADR2 de direccionamiento. El circuito REC1 de ajuste utiliza el primer desfase DEC1 para definir la zona de memoria de la primera memoria de acumulación en la cual se va acumular un producto de un filtrado de manera que el producto se acumule con datos de imagen relativo sensiblemente a un mismo punto de la escena.
El primer desfase puede provenir de otro sensor a bordo.
En variante, el primer desfase utilizado para calcular la dirección de la zona de memoria donde se acumula un producto obtenido a partir de un dato que proviene de una señal generada en un instante tl-k se puede calcular, a partir de al menos una salida anterior del módulo de estimación de movimiento. La señal generada en el instante tl-k puede por ejemplo calcularse a partir de al menos una salida anterior del módulo de estimación por propagación de señal para estimar el desplazamiento del portador en el instante tl-k.
Cuando la matriz M de detección es realizada con tecnologías CMOS, es posible realizar simultáneamente una estimación de una magnitud representativa de la deformación por movimiento (o desfase) y generar simultáneamente imágenes a partir de señales generadas por la matriz M de detección.
En el ejemplo no limitativo representado en la figura 4, el sensor de movimientos es un sensor de imagen es del tipo denominado “por desfase temporal e integración” o TDI del inglés “ Time Delay and Integraron". Dicho de otra manera, este sensor está configurado para suministrar de forma secuencial vectores de datos de imagen acumulados TDA(tI) correspondientes a imágenes de líneas de diferentes regiones de la escena observada. Una imagen de línea de una zona de la escena observada comprende varios componentes. Cada componente corresponde a la imagen de una región (o píxel) de la escena. Cada componente de la imagen de línea es obtenido por acumulación de datos de imagen que provienen de señales generadas por píxeles de la matriz PX de píxeles y correspondientes sensiblemente a una misma de la zona o línea de píxeles de la escena observada en diferentes instantes en el transcurso del desplazamiento del portador. Cada vector de datos de imagen acumulado TDA(tI) es representativo sensiblemente de una misma línea de la escena observada, integrada a lo largo de N ciclos de reloj.
A tal efecto, el circuito CT de tratamiento de la figura 4 comprende un circuito CI de generación de imágenes que entrega una secuencia de vectores de datos de imagen acumulados también denominados imágenes de líneas.
El circuito CI de generación de imágenes comprende igualmente una segunda memoria MEM2 de acumulación correspondiente a una pluralidad de zonas de memoria donde la zona de memoria acumula los datos de imagen correspondientes sensiblemente una misma región de la escena observada.
La segunda memoria MEM2 se presenta, como la primera memoria, en forma de una matriz que comprende una pluralidad de fases de acumulación (o fases TDI). El contenido de cada fase después de la acumulación de N productos es un vector de datos de imagen. Por tanto cada fase TDI, TDI2 comprende C zonas de memoria. Cada fase ETDI2 comprende una pluralidad de zonas ZM de memoria destinadas a acumular (es decir añadir) los datos de imagen. La memoria funciona como un registro de desfase: en cada paso de acumulación (duración entre dos instantes consecutivos separados por 5t) cuando se obtiene un vector de datos de imagen acumulado, los otros vectores en el transcurso de la acumulación se desplazan de una fase y comienza formarse un nuevo vector de datos de imagen acumulado por acumulación.
El circuito CI de generación de imágenes añade por ejemplo, columna por columna, las señales generadas por los píxeles de la línea del rango N en el instante ti-N, los de las líneas de rango N-1 en el instante tl-N+1, ..., los generados por la línea del rango 1 en el instante tl-1. Cada vector de datos de imagen acumulado TDA (ti) está compuesto de C datos de imagen acumulados DiAc obtenidos por la fórmula siguiente:
Sin embargo, esta solución presenta un interés limitado en la medida en la que no se corrige el desfase.
Por tanto, de forma ventajosa pero no necesariamente, como se representa en la figura 4, el circuito CI de generación de imagen comprende un segundo módulo REC2 de ajuste que ajusta una dirección de una zona de memoria donde se debe realizar la acumulación de un dato de imagen que proviene de uno de los píxeles de la matriz de detección de imágenes con otros datos de imagen a partir del primer desfase, es decir a partir de una estimación realizada por el módulo MOUV de estimación de movimiento. Dicho de otra manera, de manera más general no limitada al ejemplo descrito anteriormente, al menos un dato de imagen acumulado o un vector de dato de imagen acumulado (es decir al menos una imagen de línea) es determinado(a) a partir de al menos una estimación realizada por el módulo de estimación de movimiento. En variante, el segundo módulo de ajuste utiliza un segundo desfase para ajustar una dirección de memoria.
En variante, el sensor de movimiento no entrega datos de imagen. No comprende un circuito de generación de imágenes.
En variante, las imágenes de línea son generadas a partir de señales que provienen de otra matriz de detección. El sensor comprende por tanto varias matrices de píxeles.
De forma ventajosa, como se representa en la figura 4, el gradiente A(t¡) de imagen es estimada a partir de los datos de imagen que provienen de la matriz M de detección. Esto permite restituir la deformación por movimiento de manera muy precisa. En la realización de la figura 4, el circuito Ct de tratamiento comprende un módulo GRAD de cálculo de un gradiente A(t¡) espacial a partir de las señales generadas por píxeles de la matriz de detección.
En el ejemplo no limitativo de la figura 2, el circuito GR de cálculo del gradiente A(ti) de imagen calcula el gradiente, también denominado gradiente espacial, a partir de varias imágenes de línea TDA(ti) generadas por el circuito de generación de imagen. Se utiliza un método clásico de cálculo del gradiente de imagen. El módulo de gradiente de imagen es por ejemplo calculado a partir de la imagen de línea TDA(ti) generada en el instante tl y al menos una imagen de línea generada en un instante anterior al instante tl. A tal efecto, el circuito de cálculo del gradiente GR comprende una tercera memoria MEM3 configurada para memorizar al menos una imagen de línea, por ejemplo 2, y un módulo GRAD de cálculo del gradiente configurado para hacer al menos una diferencia entre dos imágenes de líneas (por ejemplo, entre una imagen de línea generada en el instante precedente al instante tl y memorizada en la tercera memoria) y la imagen de línea generada en el instante tl y memorizada en la segunda memoria y/o para hacer diferencias entre píxeles adyacentes de una misma imagen de línea y para deducir el gradiente A(tl).
En variante, el circuito de cálculo del gradiente está configurado para determinar el gradiente a partir de secuencias de datos de imagen generadas por píxeles de la matriz de detección, los datos de imagen de una misma secuencia de datos de imagen que se corresponden sensiblemente a una misma región de la escena observada en instantes diferentes. Estando configurado el circuito de cálculo del gradiente para filtrar las secuencias de datos de imagen por filtros de respuesta de impulso finito respectivos con antelación a la determinación del gradiente de manera que se aplican los pesos respectivos a los datos de imagen de secuencias de datos de imagen, los pesos positivos aplicados a los datos de imagen de una misma secuencia decrecen con la antigüedad de los datos de imagen de la secuencia. Este filtrado de paso bajo de datos (filtrado en línea y en columna) permite reducir el ruido de estimación del gradiente.
En variante, el módulo GRAD de cálculo del gradiente podrá ser configurado para calcular de otra manera el gradiente directamente a partir de datos generados por una matriz de sitios fotosensibles.
En variante, se proporciona el gradiente por otro sensor y se determina por el circuito CT de tratamiento a partir de otra matriz de píxeles fotosensibles. El sensor comprende por tanto varias matrices de píxeles fotosensibles.
El módulo MOUV de estimación del movimiento está configurado para determinar al menos una magnitud representativa de la deformación por movimiento a partir del gradiente A(ti) de una imagen de una zona de la escena observada y del vector VPD(tl) de pseudodatos de imagen correspondiente a la misma zona de escena observada.
La matriz se puede realizar con tecnología CMOS como se describió anteriormente.
En variante, al menos una línea de píxeles está formada de una línea de píxeles elemental, por ejemplo realizada con tecnología CMOS y/o al menos una línea de píxeles es una matriz elemental de tipo TDI.
Por ejemplo, al menos una línea de píxeles de la matriz de píxeles es una matriz elemental TDI que comprende una pluralidad de líneas de píxeles fotosensibles que comprenden el mismo número de columnas que la matriz M de píxeles. Esta matriz elemental está configurada para operar una trasferencia, de píxeles en píxeles a lo largo de cada columna de la matriz elemental, paralelamente al desplazamiento D, de cargas fotoeléctricas generadas por cada píxel. Se trata por ejemplo de una matriz TDI realizada con tecnología CCD (dispositivo de transferencia de carga, del inglés “Charge-Coupled Device"). Esta matriz realiza una integración TDI de las señales generadas por la matriz, sobre las líneas de píxeles de la matriz elemental, durante cada ciclo de reloj de esta matriz con el fin de generar una línea de C cargas fotoeléctricas denominada integrada en cada ciclo de reloj. De forma ventajosa, la matriz elemental comprende un convertidor que permite convertir las cargas fotoeléctricas de la línea de cargas fotoeléctrica integrada en una tensión. En variante, esta matriz elemental se realiza con tecnología CMOS.
En variante, se utilizan varias matrices de detección de tipo TDI con tecnología CCD. Las ganancias o coeficientes de los filtros son por tanto aplicadas de manera analógica. Se pueden por ejemplo aplicar ganancias a los píxeles por medio de medios de amplificación por ionización por impacto (utilizando un diseño de diodo y funcionamiento adaptado) antes de transferir las cargas fotoeléctricas a lo largo de las columnas. La suma de productos del filtro es directamente hecha por trasferencia de las cargas a lo largo de las columnas. Sin embargo, este tipo de solución permite únicamente aplicar ganancias positivas. Sin embargo, los coeficientes de filtros de respuesta de impulso finito pueden ser positivos y negativos. Se prevén por tanto dos matrices de detección de tipo TDI con tecnología CCD, una primera matriz que genera señales sobre las cuales se aplican los coeficientes positivos del filtro y una segunda matriz que genera señales sobre las cuales se aplican los opuestos a los coeficientes negativos del filtro y se sustrae, después de la digitalización de las líneas TDI, una línea TDI obtenida a la salida de la segunda matriz de detección a la obtenida a la salida de la primera matriz de detección, de forma que se obtiene un vector de pseudodatos de imagen. Las matrices se disponen favorablemente de forma que se observa la misma escena consecutivamente. Dicho de otra manera, son alineadas ventajosamente según el eje y.
El ajuste puede ser directamente hecho en el seno de las matrices de detección.
Otra matriz de detección es por tanto necesaria para generar las imágenes de líneas. La misma puede ser del tipo TDI con tecnología CCD o CMOS.
De forma ventajosa, el circuito de tratamiento está configurado para efectuar una etapa de corrección radiométrica con antelación a la estimación del desfase.
Los módulos MOUV, GRAD de cálculo pueden realizarse a partir de componentes lógicos programables tal como una FPGA, pero pueden tratarse igualmente de procesadores programados de forma oportuna.
La invención se refiere igualmente a un procedimiento de detección de movimiento y posiblemente de generación de imágenes de líneas que puede implementarse por medio del sensor o dispositivo según la invención. En este procedimiento, el sensor está embarcado a bordo de un portador que se desplaza por encima de una escena de manera que son adquiridas sucesivamente imágenes de una misma escena por las líneas de píxeles diferentes de la primera matriz M de detección de imágenes durante el desplazamiento del portador. Comprende al menos una de las etapas tales como las descritas anteriormente y que se pueden implementar por el circuito CT de tratamiento y posiblemente una etapa de generación del gradiente.
La figura 5 ilustra muy esquemáticamente un portador PO (por ejemplo una nave espacial, y de forma más particular un satélite) equipado de un instrumento IO óptico de adquisición de imágenes que comprende un sistema SO óptico convencional, por ejemplo un telescopio, acoplado a un sensor CM de movimiento según un modo de realización de la invención. El sistema SO óptico está configurado para formar una imagen de la escena sobre los píxeles de la matriz MD de detección o la matriz MP que está ventajosamente situada en el plano focal del sistema SO óptico. El portador PO comprende de forma ventajosa un dispositivo ATT de control de actitud del portador PO que está configurado para controlar la actitud del portador PO a partir de una estimación de una magnitud representativa de la deformación por movimiento entregada por el módulo MOUV de estimación de movimiento.
El satélite comprende de forma ventajosa un dispositivo STAB de estabilización que comprende por ejemplo un espejo de estabilización de línea de mira tip-tilt (o FSM en referencia la expresión anglosajona “Fast Steering M irrof) que permite controlar la orientación de la matriz MD de detección con respecto a una estructura STRUCT del portador PO, configurado para controlar la orientación de la matriz MD de detección o de la matriz MP con respecto a la estructura STRUCT a partir de una estimación de una magnitud representativa de la deformación por movimiento entregada por el módulo MOUV de estimación de movimiento.
El instrumento IO óptico comprende de forma ventajosa un espejo MIR configurado para formar una imagen de la escena observada sobre los píxeles de la matriz M de detección, y un dispositivo COMI de control que permite controlar la orientación del espejo con respecto a la matriz de detección configurado para controlar la orientación del espejo a partir de un estimación de una magnitud representativa de la deformación por movimiento entregada
por el módulo MOUV de estimación de movimiento. El dispositivo COMI de control de orientación comprende en particular un accionador que permite modificar la orientación del espejo.
De manera más general, la invención se refiere a un sistema mecánico que comprende un sensor de movimiento según la invención y un accionador y/o un controlador configurado para accionar y/o controlar respectivamente un dispositivo mecánico a partir de al menos una estimación de la deformación por movimiento que proviene del sensor de movimiento. Se refiere igualmente a un portador que comprende un sistema mecánico según la invención.
La invención se refiere igualmente a un procedimiento general que comprende una etapa de estimación de una magnitud representativa de la deformación por movimiento y otra etapa que utiliza esta estimación. Esta última etapa es por ejemplo una de las etapas descritas anteriormente con referencia a la figura 5 o una etapa de utilización de esta magnitud para generar una imagen de línea como se describió anteriormente.
Otra ventaja de la invención es permitir medir las distorsiones ópticas y defectos de alineación del instrumento en la medida en la que estas perturbaciones impactan en la línea de mira. La invención es por definición sensible a todos los parámetros que afectan a la buena suma de las fases TDI, es decir generadoras de la desincronización.
Claims (17)
1. Sensor (CM) de movimiento destinado a ser embarcado en un portador que se desplaza por encima de una escena y destinado a ser sometido a vibraciones durante su desplazamiento, el sensor (CM) de movimiento comprende:
- al menos una primera matriz (MD) denominada de detección que comprende varios píxeles (PX) fotosensibles dispuestos en L líneas y C columnas, de manera que las imágenes de una misma escena sean adquiridas sucesivamente por líneas de píxeles diferentes de la primera matriz (MD) de detección durante el desplazamiento del portador para que los píxeles fotosensibles generen datos de imágenes,
- un circuito (CT) de tratamiento de señales que comprende:
- un circuito (FILT) de filtrado configurado para filtrar, al menos una secuencia de N datos de imagen generados por píxeles de dicha primera matriz de detección y correspondiente sensiblemente a una misma región de la escena observada en N instantes diferentes, estando N predeterminado y superior a 2, de manera que se genere al menos un pseudodato de imagen, estando filtrada dicha secuencia de N datos de imagen por un filtro de respuesta de impulso finito de N coeficientes,
- un módulo (MOUV) de estimación del movimiento configurado para estimar al menos una magnitud representativa de un desfase entre un dato de imagen que proviene de un píxel fotosensible y un dato de imagen de referencia, a partir del pseudodato de imagen generado y a partir de un gradiente de una imagen de la misma región de la escena.
2. Sensor de movimiento según la reivindicación anterior, en el cual el circuito de filtrado está configurado para filtrar varias secuencias de N datos de imagen, de manera que genere varios pseudodatos de imagen, el módulo de estimación de movimiento está configurado para estimar dicha al menos una magnitud representativa del desfase a partir de un único conjunto de pseudodatos de imagen tomados de entre dichos pseudodatos de imagen, estando determinados los pseudodatos de imagen de dicho conjunto a partir de una secuencia de datos de imagen correspondiente a diferentes regiones de la escena observadas en los mismos N instantes diferentes.
3. Sensor de movimiento según una cualquiera de las reivindicaciones anteriores, en el cual al menos un filtro es definido de manera que forma un filtro especial de paso bajo o de paso de banda que permite filtrar una banda de frecuencias predeterminada del desfase.
4. Sensor de movimiento según la reivindicación anterior, en el cual la suma de los coeficientes ac,k con k=1 a N de los filtros es nula.
5. Sensor de movimiento según una cualquiera de las reivindicaciones anteriores, en el cual el circuito (FILT) de filtrado está configurado para filtrar una pluralidad de secuencias de N datos de imagen generados por píxeles de dicha primera matriz (MD) de detección y correspondientes a diferentes regiones de la escena observadas en los N instantes diferentes, estando filtradas la diferentes frecuencias por filtros de respuesta de impulso finito de N coeficientes idénticos.
6. Sensor de movimiento según una cualquiera de las reivindicaciones 1 a 4, en el cual el circuito (FILT) de filtrado está configurado para filtrar una pluralidad de secuencias de N datos de imagen generadas por píxeles de dicha primera matriz (MD) de detección por filtros de respuesta de impulso finito de N coeficientes distintos, estando configurado el módulo (MOUV) de estimación del movimiento para estimar magnitudes representativas del movimiento a partir de datos de pseudoimagen respectivos que provienen de filtros distintos.
7. Sensor de movimiento según la reivindicación anterior, en el cual los filtros distintos actúan en frecuencias de datos de imágenes distintas correspondientes a diferentes regiones de la escena observadas en los N instantes diferentes.
8. Sensor de movimiento según una cualquiera de las reivindicaciones anteriores, que comprende un circuito (REC1) de ajuste que utiliza un primer desfase y está configurado para ajustar al menos unos datos de imagen de manera que corrige el primer desfase de forma que los pseudodatos de imagen sean generados a partir de una secuencia de N datos de imagen correspondiente sensiblemente a una misma región de la escena observada en los N instantes de observación durante el desplazamiento del portador.
9. Sensor de movimiento según una cualquiera de las reivindicaciones anteriores, que comprende un circuito de cálculo de gradiente configurado para calcular el gradiente a partir de señales generadas por los píxeles de la primera matriz (MD) de detección.
10. Sensor de movimiento según la reivindicación anterior, en el cual el circuito de cálculo de gradiente está configurado para determinar el gradiente a partir de secuencias de datos de imagen generadas por los píxeles de la primera matriz (MD) de detección, los datos de imagen de una misma secuencia de datos de imagen correspondientes sensiblemente a una misma región de la escena observada en instantes diferentes, estando
configurado el circuito de cálculo del gradiente para filtrar las secuencias de datos de imágenes por filtros de respuesta de impulso finito con antelación a la determinación del gradiente, de manera que se aplican pesos respectivos a los datos de imagen de secuencias de datos de imagen, decreciendo los pesos aplicados a los datos de imagen de una misma secuencia con la antigüedad de los datos de imagen de la secuencia.
11. Sensor de movimiento según una cualquiera de las reivindicaciones anteriores, en el cual la primera matriz (MD) de detección es realizada con tecnología CMOS.
12. Sensor de movimiento según una cualquiera de las reivindicaciones anteriores, en el cual al menos una línea de la primera matriz (MD) de detección es una matriz de detección de tipo TDI.
13. Sensor de imágenes que comprende un sensor de movimiento según una cualquiera de las reivindicaciones anteriores y:
- una matriz, denominada de detección de imágenes, que comprende varios píxeles fotosensibles dispuestos en líneas y columnas, siendo adquiridas sucesivamente imágenes de una misma escena por líneas de píxeles diferentes de la segunda matriz de detección de imágenes durante el desplazamiento del portador,
- un circuito de generación de imágenes configurado para suministrar de forma secuencial vectores de datos de imagen acumulados correspondientes a imágenes de líneas de diferentes zonas de la escena observadas que comprende varios componentes, estando obtenido cada componente por acumulación de datos de imagen que provienen de señales generadas por los píxeles de la matriz de detección de imágenes y correspondientes sensiblemente a una misma región de la zona observada en diferentes instantes en el transcurso del desplazamiento del portador.
14. Sensor de imágenes según la reivindicación anterior, en el cual el circuito de generación de imagen está configurado de forma que determina al menos una imagen de línea que es determinada a partir de al menos una de dicha al menos una magnitud representativa del desfase.
15. Sensor de imágenes según una cualquiera de las reivindicaciones 13 o 14, en el cual la matriz de detección de imágenes es la primera matriz de detección.
16. Sensor de imágenes según una cualquiera de las reivindicaciones 13 a 14, en el cual el circuito de imagen está configurado para utilizar al menos una estimación de una magnitud representativa del desfase para formar al menos una imagen de línea.
17. Instrumento óptico espacial o aerotransportado de adquisición de imágenes, que comprende un sensor de movimiento según una de las reivindicaciones 1 a 12, o un sensor de imágenes según una cualquiera de las reivindicaciones 13 a 16.
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
FR1700508A FR3066271B1 (fr) | 2017-05-11 | 2017-05-11 | Capteur de mouvement et capteur d'images |
Publications (1)
Publication Number | Publication Date |
---|---|
ES2773204T3 true ES2773204T3 (es) | 2020-07-09 |
Family
ID=60765641
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
ES18169723T Active ES2773204T3 (es) | 2017-05-11 | 2018-04-27 | Sensor de movimiento y sensor de imágenes |
Country Status (3)
Country | Link |
---|---|
EP (1) | EP3402178B1 (es) |
ES (1) | ES2773204T3 (es) |
FR (1) | FR3066271B1 (es) |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR2948798B1 (fr) * | 2009-07-31 | 2011-09-16 | Astrium Sas | Procede d'estimation de decalages d'images lignes obtenues par un capteur a defilement spatial ou aeroporte |
-
2017
- 2017-05-11 FR FR1700508A patent/FR3066271B1/fr not_active Expired - Fee Related
-
2018
- 2018-04-27 EP EP18169723.6A patent/EP3402178B1/fr active Active
- 2018-04-27 ES ES18169723T patent/ES2773204T3/es active Active
Also Published As
Publication number | Publication date |
---|---|
FR3066271A1 (fr) | 2018-11-16 |
FR3066271B1 (fr) | 2019-07-12 |
EP3402178B1 (fr) | 2019-11-20 |
EP3402178A1 (fr) | 2018-11-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109791699B (zh) | 辐射成像 | |
US9297880B2 (en) | Two axis interferometer tracking device and method | |
CN114170192A (zh) | 星载光学相机焦面震颤精细检测方法 | |
US8749640B2 (en) | Blur-calibration system for electro-optical sensors and method using a moving multi-focal multi-target constellation | |
Swanson et al. | The ARCSTONE project to calibrate lunar reflectance | |
ES2773204T3 (es) | Sensor de movimiento y sensor de imágenes | |
ES2395593T3 (es) | Dispositivo de medición de defectos de un instrumento de formación de imagenes con dos sensores optoelectrónicos | |
CA2775621C (en) | Scanning multispectral telescope comprising wavefront analysis means | |
US8886484B2 (en) | Method and apparatus for the corrected radiometric measurement of object points on surfaces of astronomical bodies | |
Schott et al. | Chasing the TIRS ghosts: calibrating the Landsat 8 thermal bands | |
KR20160056871A (ko) | 일정한 풋프린트, 일정한 gsd, 일정한 공간 해상도 라인스캐너를 위한 시스템 아키텍처 | |
ES2726732T3 (es) | Sensor de imágenes por desfase temporal e integración ampliada | |
WO2017091914A1 (es) | Un proceso que permite eliminar el ruido de patrón fijo en imágenes efectivas formadas por arreglos de sensores electromagnéticos de un campo de luz mediante un reenfoque digital | |
Rojas et al. | The EarthCARE multispectral imager thermal infrared optical unit detection system design | |
RU2324151C1 (ru) | Многоканальный сканирующий радиометр с широкой полосой обзора | |
Marois et al. | TRIDENT: an infrared camera optimized for the detection of methanated substellar companions around nearby stars | |
Ferrec et al. | Sieleters, an airbone Imaging Static Fourier Transform Spectrometer: design and preliminary laboratory results | |
ES2822583T3 (es) | Analizador del frente de onda óptico | |
US8860951B2 (en) | Method and apparatus for the radiometric measurement of object points on surfaces of astronomical bodies | |
Weeks et al. | Pseudo-imaging the spectral-temporal evolution of energetic transient events | |
Scott et al. | Spatial heterodyne spectrometer for FLEX | |
Kowalewski et al. | Early orbit operations performance of the Suomi NPP OMPS instrument | |
Clark et al. | Characterization of a commercial, front-illuminated interline transfer CCD camera for use as a guide camera on a balloon-borne telescope | |
Kraut et al. | Sub-arcsecond pointing for balloon-borne telescopes | |
Albinana et al. | The calibration of the multi-spectral imager on-board the EarthCARE spacecraft |