ES2929223T3 - Sensor de imágenes aerotransportado que realiza tomas de imágenes matriciales por desfase temporal y suma multiespectrales - Google Patents

Sensor de imágenes aerotransportado que realiza tomas de imágenes matriciales por desfase temporal y suma multiespectrales Download PDF

Info

Publication number
ES2929223T3
ES2929223T3 ES19712233T ES19712233T ES2929223T3 ES 2929223 T3 ES2929223 T3 ES 2929223T3 ES 19712233 T ES19712233 T ES 19712233T ES 19712233 T ES19712233 T ES 19712233T ES 2929223 T3 ES2929223 T3 ES 2929223T3
Authority
ES
Spain
Prior art keywords
image
filter
matrix
rows
image sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
ES19712233T
Other languages
English (en)
Inventor
Jean-François Blanc
Claude Israbian
Thomas Chambon
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thales SA
Original Assignee
Thales SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thales SA filed Critical Thales SA
Application granted granted Critical
Publication of ES2929223T3 publication Critical patent/ES2929223T3/es
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2803—Investigating the spectrum using photoelectric array detector
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/30—Measuring the intensity of spectral lines directly on the spectrum itself
    • G01J3/36—Investigating two or more bands of a spectrum by separate detectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/711—Time delay and integration [TDI] registers; TDI shift registers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/768—Addressed sensors, e.g. MOS or CMOS sensors for time delay and integration [TDI]
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2803—Investigating the spectrum using photoelectric array detector
    • G01J2003/2806—Array and filter array

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Image Processing (AREA)

Abstract

Se da a conocer un sensor de imagen capaz de incorporarse a bordo de un portador que se desplaza por encima de una escena a observar, comprendiendo dicho sensor al menos una matriz de detección de imagen basada en el desplazamiento temporal para la suma que comprende una pluralidad de píxeles fotosensibles alineados a lo largo de la dirección de desplazamiento de dicho sensor. transportador; y un circuito de procesamiento de las señales, que tiene una entrada unida a una salida de datos de dicha matriz de detección de imágenes, estando configurado dicho circuito para proporcionar a su salida, para cada instante de adquisición de dicho sensor, una matriz de datos de imagen obtenida por suma de datos de imagen datos generados por las filas de píxeles; caracterizándose el sensor porque frente a dicha matriz de detección se coloca un filtro multiespectral, comprendiendo dicho filtro varios elementos filtrantes, dispuestos en filas y columnas, caracterizados por respectivas bandas de transmisión espectral, y comprendiendo cada columna de dicha matriz de detección al menos un elemento filtrante de cada tipo de elemento filtrante presente en el conjunto de dicho filtro. (Traducción automática con Google Translate, sin valor legal)

Description

DESCRIPCIÓN
Sensor de imágenes aerotransportado que realiza tomas de imágenes matriciales por desfase temporal y suma multiespectrales
La invención se refiere a generadores de imágenes que comprenden detectores matriciales.
Durante la toma de imágenes, los instrumentos aerotransportados o espaciales generalmente usan detectores lineales que funcionan como un "peine" (o "Push Broom" en inglés). Estos detectores adquieren una imagen fila por fila. Ventajosamente, detectores lineales con desfase temporal y suma ("Time Delay Integration", TDI) se utilizan para mejorar la relación señal/ruido.
Los detectores Push Broom tienen campos de aplicación particulares. Por lo tanto, su desarrollo es a menudo específico y costoso. Por lo tanto, es interesante interesarse por los sensores matriciales que son más genéricos. Estos sensores también ofrecen la ventaja de producir imágenes "rígidas", siendo las filas de la matriz adquiridas al mismo tiempo. Esta característica ofrece la ventaja de producir imágenes cuya geometría está bien controlada, lo que facilita muchas aplicaciones.
Para obtener una imagen en color de alta resolución de una escena a observar, es posible fusionar una imagen pancromática y una imagen multiespectral. La imagen pancromática y la imagen multiespectral se adquieren a resoluciones que pueden ser diferentes, normalmente con un factor de 4 entre el paso del píxel de suelo de la imagen multiespectral y el paso del píxel de suelo de la imagen pancromática (C. Latry et al., "Restoration technique for Pleiades-HR panchromatic images", Proc. Arch. Photogramm. Remote Sens., 39: 555-560, 2012). La fusión de las imágenes se realiza, por ejemplo, mediante un procesamiento en el suelo de fusión de imágenes.
Para sensores matriciales, la imagen en color de la escena a observar se produce convencionalmente por muestreo espacial de tres colores: rojo, azul y verde (RBG) gracias a un filtro. El filtro de Bayer (US 1976/3971065) y el filtro Spance CFA (ON Semiconductor, "Sparse Color Filter Pattern Overview", hoja informativa AND9180/D) se utilizan generalmente. El filtro de Bayer está presente en la mayoría de las cámaras a color del mercado. El filtro Sparse CFA es una variante del filtro Bayer que garantiza una mejor representación de imágenes oscuras.
Los sensores equipados con un filtro de Bayer o un filtro Sparse CFA se utilizan en satélites de observación de bajo coste, ya que el sensor está integrado en una cámara comercial, la llamada cámara disponible en el mercado (u "offthe-shelf' en inglés). Permiten realizar tomas de imágenes instantáneas (Snapshot) en dos dimensiones al bloquear el movimiento del satélite durante la adquisición de las imágenes. No obstante, con estos filtros, es necesario efectuar una etapa de desmosaicado o desmatriciado para crear una imagen coloreada para cada banda espectral (azul, verde, rojo y eventualmente pancromático) transmitida por el filtro. Por lo demás, la resolución efectiva de las imágenes depende de la banda espectral considerada.
Por otro lado, la mayoría de las imágenes tomadas por satélites comprenden parásitos (aliasing en inglés), y el desmosaicado da resultados insatisfactorios en este caso. Por lo demás, en el caso de satélites de alta resolución que produzcan un gran número de imágenes, es necesario comprimir estas imágenes. Por lo tanto, el algoritmo de desmosaicado se implementa a bordo, lo que requiere recursos informáticos suplementarios. El volumen de imágenes adquiridas es entonces mayor, ya que incluye tres colores por píxel mientras que una solución convencional incluye un píxel pancromático y el color en píxeles multiespectrales cuatro veces más grandes. Por lo demás, el filtro de Bayer está limitado a tres colores, lo que no siempre satisface las necesidades de las misiones de observación espacial que pueden requerir más de tres bandas espectrales.
La solicitud de patente US 2003/0006364 divulga un sensor CMOS que comprende un filtro multiespectral que presenta varios colores de filtrado que permiten adquirir imágenes en color.
El documento DE 3819828 divulga una disposición óptica particular que comprende un prisma para unir extremo a extremo dos sensores de imágenes.
El documento EP 2150039 divulga un método de formación de imágenes de objetos en movimiento uno con respecto a otro.
La invención pretende superar los inconvenientes y limitaciones del estado de la técnica mencionados anteriormente. Más precisamente, pretende proponer un sensor de imágenes que comprende matrices de detección por desfase temporal y suma, que permiten tomas de imágenes matriciales continuas TDI y un filtro multiespectral que comprende varios elementos de filtrado, que no requieren procesamiento de desmosaicado a bordo y que permiten acceder a más de tres bandas espectrales transmitidas por los elementos de filtrado.
Por lo tanto, un objeto de la invención es un sensor de imágenes capaz de ser incorporado en un portador que se desplaza por encima de una escena a observar, comprendiendo dicho sensor:
- Al menos una matriz de detección de imágenes por desfase temporal para suma, alineado en la dirección de desplazamiento de dicho portador; y
- Un circuito de procesamiento de señales que tiene al menos una entrada conectada a una salida de datos de dicha matriz de detección de imágenes;
en el que dicha o cada matriz de detección de imágenes comprende N > 1 filas y MC > 1 columnas de píxeles fotosensibles, siendo las filas paralelas entre sí y perpendiculares a las columnas y a la dirección de desplazamiento de dicho portador, y estando configurada dicha o cada matriz de detección para proporcionar, a dicho circuito de procesamiento, datos de imágenes generados por las N filas y MC columnas de píxeles de dicha o cada matriz de detección correspondientes a regiones de dicha escena a observar, y estando configurado dicho circuito de procesamiento para adquirir imágenes en instantes sucesivos, llamados instantes de adquisición, y proporcionar en su salida, para cada instante de adquisición de una imagen de una región de la escena a observar de dicho sensor de imágenes, una matriz de datos de imágenes que posee como máximo N+1-Lint filas, obteniéndose las filas de dicha matriz de datos de imágenes mediante la suma de datos de imágenes generados por Lint filas de píxeles de dicha o cada matriz de detección, siendo Lint un número entero menor o igual a N y mayor o igual a 2.
caracterizado por que se coloca un filtro multiespectral frente a dicha o cada matriz de detección, comprendiendo dicho filtro varios elementos de filtrado dispuestos en filas y columnas, y seleccionados de una pluralidad de tipos de elementos de filtrado caracterizados por bandas espectrales de transmisión respectivas, y comprendiendo cada columna de dicha matriz de detección al menos un elemento de filtrado de cada tipo de elemento de filtrado presente en todo el filtro multiespectral.
Según modos de realización particulares de la invención:
- las filas de elementos de filtrado del filtro están dispuestas en una pluralidad de tiras paralelas, filtrando los elementos de filtrado de una misma tira al menos tres filas de píxeles de dicha matriz de detección, más particularmente los elementos de filtrado de una misma tira tienen la misma banda espectral de transmisión, y más particularmente la banda espectral de transmisión de los elementos de filtrado de una misma tira es diferente de las bandas espectrales de transmisión de los elementos de filtrado de las otras tiras;
- en el caso en que los elementos presentan la misma banda espectral de transmisión dentro de la misma tira, el circuito de procesamiento está configurado para efectuar una lectura acoplada de varios píxeles pertenecientes a una misma columna de dicha matriz de detección y/o una lectura acoplada de varios píxeles pertenecientes a una misma fila de dicha matriz de detección; y
- elementos de filtrado de dicho filtro tienen una banda espectral de transmisión pancromática.
Según otro modo de realización de la invención, los elementos de filtrado de dicho filtro están dispuestos para formar un mismo patrón de filtrado, llamado subpatrón, reproducido periódicamente en las filas y columnas del filtro, y más particularmente el circuito de procesamiento está configurado para sumar dichos vectores de datos de imágenes proporcionados por dicha matriz de detección para adquirir alternativamente una imagen multiespectral y una imagen pancromática de dicha escena a observar, y aún más particularmente el circuito de procesamiento está configurado para sumar los datos de imágenes generados por los píxeles de una misma columna de dicha o cada matriz de detección para obtener una imagen pancromática de resolución completa de dicha escena a observar.
Según otro modo de realización de la invención, el sensor de imágenes comprende un prisma reflectante colocado entre dos matrices de detección en la dirección del desplazamiento de dicho portador de manera que las dos matrices de detección estén unidas extremo a extremo a lo largo de las filas de dichas matrices de detección; más particularmente comprende al menos una tercera matriz de detección que está colocada entre dicho prisma reflectante y una de las dos primeras matrices de detección en la dirección de desplazamiento de dicho portador, estando esta tercera matriz colocada en altura bajo dicho prisma, para aumentar el número de bandas espectrales filtradas por dichos filtros multiespectrales colocados frente a cada una de las matrices de detección; y aún más particularmente comprende al menos un filtro dicroico colocado entre dicho prisma reflectante y dicha tercera matriz de detección en la dirección de desplazamiento del portador para minimizar el campo óptico de dicho sensor.
Según otro modo de realización de la invención, el circuito de procesamiento de señales es un circuito digital programable.
La invención también se refiere a un instrumento óptico espacial o aerotransportado de adquisición de imágenes, que comprende un sensor de imágenes según un modo de realización de la invención.
Otras características, detalles y ventajas de la invención se harán evidentes con la lectura de la descripción realizada con referencia a las figuras adjuntas dadas a modo de ejemplo y que representan, respectivamente:
- La figura 1, el principio de funcionamiento de un sensor de imágenes equipado con una matriz de detección por desfase temporal para suma según la técnica anterior;
- La figura 2, el principio de funcionamiento de un sensor de imágenes según un primer modo de realización de la invención;
- La figura 3, el principio de funcionamiento de un sensor de imágenes según un segundo modo de realización de la invención;
- Las figuras 4a y 4b, un sensor de imágenes según un tercer modo de realización de la invención;
- Las figuras 5a y 5b, un sensor de imágenes según un cuarto modo de realización de la invención;
- Las figuras 6a y 6b, un sensor de imágenes según un quinto modo de realización de la invención; y
- La figura 7, una representación esquemática de una nave espacial que porta un instrumento óptico de adquisición de imágenes equipado con un sensor de imágenes según un modo de realización de la invención.
La figura 1 ilustra el principio de funcionamiento, según la técnica anterior (US 2016/9357145), de un sensor matricial de imágenes CI que comprende una zona matricial de detección por desfase temporal para suma de filas, esta zona matricial comprende al menos una matriz de detección M. La zona matricial de detección comprende píxeles PX, ordenados por filas y columnas. Las cargas generadas por estos píxeles se acumulan en la matriz de detección M. En la figura, las filas están numeradas de 1 a N y las columnas están numeradas de 1 a MC. El portador en el que está incorporado este sensor CI se desplaza con una velocidad V en la dirección perpendicular a las filas. Por consiguiente, la imagen de la escena a observar, formada en la zona matricial de detección M por un sistema óptico no representado, se desliza en la misma dirección, con la orientación opuesta a V. Así la fila de píxeles de rango i+1 ve, en el instante ti+1, la misma distribución de intensidad luminosa vista por la fila i en un instante anterior ti = t¡+1 - At, correspondiente a una misma fila de una imagen óptica de la escena a observar. El intervalo At depende tanto de la resolución espacial buscada (en función de la ampliación del sistema óptico y del tamaño de los píxeles) como de la velocidad de desplazamiento V del portador con respecto al suelo. Un circuito electrónico de procesamiento CT suma las señales generadas por las diferentes filas de píxeles PX de la matriz M y correspondientes a una misma fila de la imagen. En otras palabras, suma las señales de una misma escena generadas por los píxeles PX de la fila de rango 1 en el instante t-i, a las de la fila de rango 2 en el instante t2, etc... y a las de la fila de rango i en el instante ti. En su salida, el circuito CT proporciona vectores de datos de imágenes VD, siendo cada uno representativo de una fila de la imagen óptica, integrada en un tiempo igual a Nn x At, siendo Nn el número de filas sumadas para obtener una fila de la imagen óptica. Esta suma de las señales permite aumentar la relación de señal a ruido de los datos de imágenes adquiridos por el sensor. Los vectores VD forman una matriz de datos de imágenes que tiene N-Nn filas que permiten obtener una imagen óptica de la escena a observar.
La figura 2 ilustra el principio de funcionamiento de un sensor de imágenes según un primer modo de realización de la invención. Frente a la matriz de detección M se coloca un filtro multiespectral que comprende varios elementos de filtrado. Los elementos de filtrado están dispuestos en forma de filas y columnas correspondientes a las filas y columnas de píxeles de la matriz de detección M. Se eligen de una pluralidad de tipos de elementos de filtrado caracterizados por bandas espectrales de transmisión respectivas cuya unión determina eventualmente una banda espectral pancromática del filtro. Cada columna del filtro multiespectral incluye una alternancia de elementos de filtrado de diferentes tipos, tales que la unión de sus bandas espectrales de transmisión determina dicha banda pancromática del filtro. Los elementos de filtrado pueden estar dispuestos en tiras horizontales paralelas B1, B2, ..., BM. Las tiras comprenden al menos dos filas de elementos de filtrado, lo que corresponde a una altura mínima de tres píxeles. Los elementos de filtrado pueden estar configurados, por ejemplo, para tener varias bandas espectrales de transmisión dentro de una misma tira o para tener la misma banda espectral de transmisión dentro de una misma tira. El circuito de procesamiento CT proporcionará en la salida una matriz de datos MD que comprende como máximo N+1-Lint filas, donde Lint es el número de sumas efectuadas durante la adquisición de una imagen, siendo Lint un número entero menor o igual a N y mayor o igual a 2.
La figura 3 ilustra con mayor precisión el principio de funcionamiento de un sensor de imágenes según un segundo modo de realización de la invención. En esta figura solo se representa la matriz de detección M. Por razones de simplicidad, solo se representa una columna de la matriz M, pero el principio se aplica para cada columna de píxeles de la matriz. En este modo de realización, los elementos de filtrado del filtro están dispuestos en tres tiras B1, B2 y B3 horizontales y paralelas. Los elementos de filtrado de una misma tira tienen la misma banda espectral de transmisión, que es diferente de las otras bandas espectrales de transmisión de los elementos de filtrado presentes en las otras tiras. Durante la adquisición de la imagen, por ejemplo la imagen K-1, tienen lugar dos etapas distintas: la fase de exposición durante un tiempo de exposición teK-1 y la fase de lectura de la matriz M durante un tiempo de lectura tÍK-1. Un período de adquisición ta tiene por lo tanto la duración de la fase de exposición te y de la fase de lectura tl. Durante la fase de exposición, la escena a observar se desliza, según la dirección de deslizamiento P, sobre el sensor que se desplaza con una velocidad V. Esta fase de exposición se divide en varias exposiciones elementales de una duración 5te. La duración 5te corresponde al deslizamiento de la escena a observar sobre un píxel. De manera síncrona, al final de cada exposición elemental, la señal detectada en cada píxel se memoriza y, a continuación, se añade electrónicamente, después del desfase temporal, a las señales generadas por otros píxeles, en la mismo escena en instantes diferentes. Por ejemplo, en la primera exposición elemental para la imagen K-1, el píxel PX3 detecta una señal que es sumada por el circuito de procesamiento CT a la señal detectada por el píxel PX2 en la segunda exposición elemental, a continuación, la suma es sumada por el circuito CT a la señal detectada por el píxel PX1 en la tercera exposición elemental. Lo mismo ocurre para todos los píxeles que constituyen la matriz de detección M. En la figura, solo se representan tres exposiciones elementales, pero es posible realizar un número mayor de las mismas. El número de exposición elemental corresponde al número de suma de una señal detectada en un píxel dado de la escena a observar. El número típico de sumas, Lint, es de 20. Para una imagen, solo se consideran útiles las filas de la escena a observar que han sido integradas tantas veces como exposiciones elementales ha habido. Entonces constituyen una zona útil ZU. Esta zona útil está delimitada por la primera y la última filas de píxeles de una misma tira que han sido integradas tantas veces como el número de exposiciones elementales, y constituye una matriz de datos, que tiene un número de filas máximo igual a N+1-Lint, donde N es el número de filas de píxeles en la matriz de detección y Lint es el número de exposiciones elementales realizadas durante la adquisición, proporcionándose esta matriz de datos en la salida del circuito de procesamiento para este instante de adquisición. Por lo tanto, hay zonas perdidas ZP en los límites de cada tira, en las que las filas no se han integrado suficientemente con el mismo filtrado. Las alturas de las zonas útiles ZU dependen del tamaño de la matriz de detección M, del número de tiras y de la altura de las zonas perdidas ZP. Para no perder información sobre la imagen de la escena a observar, se adquieren varias imágenes de la escena: imagen K-1, imagen K, imagen K+1, ... para tener una zona de superposición ZR entre dos imágenes sucesivas. Las imágenes K-1, K, K+1, etc... son imágenes obtenidas a partir de las matrices de datos proporcionadas en la salida del circuito de procesamiento y que tienen como máximo N+1-Lint filas, siendo Lint el número de exposiciones elementales para un instante de adquisición, es decir, el número de sumas efectuadas durante un instante de adquisición. La zona de superposición ZR depende de la frecuencia de imagen, es decir, del desplazamiento relativo de la matriz entre una imagen K y una imagen K+1 según la dirección horizontal que representa el tiempo t (es decir, durante un período de imagen te tl), de la marcha lenta del portador, es decir del desplazamiento relativo de la matriz entre las imágenes K y K+1 según la dirección vertical que representa el deslizamiento P, y de las alturas de las zonas útiles ZU. En este modo de realización, hay tantas bandas espectrales de transmisión como tiras.
Según otro modo de realización de la invención, el filtro comprende ventajosamente una tira cuyos elementos de filtrado tienen una banda espectral de transmisión pancromática.
Según otro modo de realización de la invención, el filtro multiespectral está dispuesto en varias matrices de detección.
Según otro modo de realización de la invención, el circuito de procesamiento CT está configurado para realizar una lectura acoplada de los píxeles ("binning" en inglés) pertenecientes a una misma columna, llamados píxeles verticales. Esta lectura acoplada se efectúa en los píxeles que presentan un filtrado multiespectral, es decir un filtrado no pancromático. También es posible configurar el circuito de procesamiento CT para realizar una lectura acoplada de los píxeles pertenecientes a una misma fila, llamados píxeles horizontales, que presentan un filtrado multiespectral para reducir la tasa de bits de vídeo. Dado que los elementos de filtrado multiespectral son más estrechos que los elementos de filtrado pancromático, normalmente en un factor de 4, la lectura acoplada de los píxeles horizontales y verticales permite equilibrar la relación señal a ruido de las vías pancromática y multiespectrales, y así reducir el número de datos a almacenar. Por lo demás, esto permite una ganancia en la frecuencia de lectura de las filas de la matriz M, así como en la tasa de bits de vídeo.
Para producir una fila de detección, que comprende varias matrices de detección, que no presenten agujeros, las matrices se unen extremo a extremo. No obstante, debido a las dimensiones de las carcasas que contienen las matrices de detección, la unión extremo a extremo al tresbolillo que realiza habitualmente para los detectores lineales no siempre es realizable, ya que las carcasas pueden tocarse entre sí y esta unión extremo a extremo puede conducir a un aumento significativo en el campo de la óptica de enfoque. Las figuras 4a a 5b presentan varios modos de realización de la invención para unir extremo a extremo las matrices de detección y disponer así el plano focal del instrumento óptico que comprende un sensor de imágenes según la invención.
Las figuras 4a y 4b presentan una primera disposición del plano focal. Dos matrices P_MS1 y P_MS2 están enfrentadas en la dirección de deslizamiento del portador y desplazadas en la dirección de la franja (anchura de la toma de imágenes). La matriz P_MS1 "ve" solamente una parte de la matriz P_MS2, correspondiendo esta parte a la zona ZR2 de la figura. Esta zona se denomina zona de superposición. Un prisma reflectante PR está colocado entre las dos matrices en la dirección de deslizamiento, de este modo, permite una unión extremo a extremo de las dos matrices P_MS1 y P_MS2 en la dirección de la franja, es decir, a lo largo de las filas de las matrices de detección. El campo en la dirección de deslizamiento del portador se minimiza y esto permite la unión extremo a extremo de las matrices en los campos según la velocidad de deslizamiento (campos ALT, "A Long Track") o en los campos perpendiculares a la velocidad de deslizamiento (ACT, "A Cross Track").
Para aumentar el número de bandas espectrales transmitidas, es posible desdoblar las matrices P_MS1 y P_MS2 en dos cámaras MS1 y MS2, colocadas a ambos lados del prisma Pr en la dirección del deslizamiento, estando MS1 (respectivamente MS2) entre el prisma PR y la matriz P_MS1 (respectivamente P_MS2). La matriz MS1 (respectivamente MS2) se coloca al mismo nivel que la matriz P_MS1 (respectivamente P_MS2) en la dirección de la franja y debajo del prisma PR según el eje z. Sin embargo, esta solución presenta un inconveniente, porque supone que el portador (instrumento óptico) tiene un amplio campo óptico. Para minimizar este campo óptico, es posible colocar un filtro dicroico L entre la cámara P_MS1 y MS1 y/o entre la cámara P_MS2 y MS2 (figuras 5a y 5b).
La figura 6a presenta un quinto modo de realización de la invención, en el que los elementos de filtrado del filtro están dispuestos para tener un patrón de filtrado regular y periódico en las filas y columnas del filtro, llamándose este patrón subpatrón Sm. El subpatrón comprende una alternancia de elementos de filtrado de diferentes tipos, tales que la unión de sus bandas espectrales de transmisión determina una banda espectral pancromática del filtro. Ventajosamente, las bandas espectrales de transmisión de los elementos de filtrado del subpatrón son complementarias en el espectro.
Por ejemplo, con un subpatrón SM de tamaño 4 píxeles por 4 píxeles, como se presenta en la figura 5, el elemento de filtrado para el píxel 1 PX1 está dedicado a la banda espectral del azul, el del píxel 2 PX2 está dedicado a la banda del verde, el del píxel 3 PX3 a la del rojo y el del píxel 4 PX4 al infrarrojo cercano.
El circuito de procesamiento CT se configura entonces para integrar las señales de los píxeles para producir sucesivamente una imagen multiespectral y una imagen pancromática. La imagen pancromática se produce sumando, en una misma columna, todas las señales de los píxeles pertenecientes a varios subpatrones completos, mientras que la imagen multiespectral se produce sumando, en una misma columna, las señales de los píxeles módulo de la anchura del subpatrón. Por ejemplo, para un subpatrón de 4 píxeles de anchura, la imagen pancromática se obtendrá sumando en una misma columna las señales generadas por los píxeles PX1, PX2, PX3 y PX4, mientras que la imagen multiespectral se obtendrá sumando en una misma columna las señales generadas por los píxeles pX 1, PX5, PX9, etc. Se obtienen entonces alternativamente imágenes pancromáticas de resolución completa, así como imágenes multiespectrales submuestreadas según el subpatrón del filtro multiespectral. La alternancia de las imágenes pancromáticas y multiespectrales, asociada a la superposición entre dos imágenes consecutivas según la frecuencia de adquisición del sensor y el deslizamiento del portador permite adquirir el conjunto de la escena a observar en todos los canales espectrales.
La producción de una imagen de banda pancromática de resolución completa y de calidad óptima permite utilizar algoritmos de tipo PAN-sharpening (C. Latry et al., "Restoration technique for Pleiades-HR panchromatic images", Proc. Int. Arch. Photogramm. Remote Sens., 39: 555-560, 2012) para generar imágenes en color de resolución completa. La resolución completa corresponde a la resolución de la matriz de detección M sola, es decir, la resolución de la matriz M sin tener en cuenta el filtro multiespectral colocado frente a esta matriz. Por lo tanto, el número de sumas realizadas para el efecto "TDI" depende de la anchura del subpatrón.
La presencia de un subpatrón de filtrado en el filtro permite tener un patrón de filtrado regular en toda la matriz de detección, tener un número variable de bandas espectrales y no dedicar una zona de la matriz a la banda espectral pancromática. En efecto, la banda espectral pancromática permite generar una imagen de resolución completa de buena calidad, pero no es útil como producto de imagen real. Se trata, por lo tanto, de una pérdida equivalente de zona útil a nivel del sensor de imágenes.
La periodicidad del subpatrón en las filas y columnas de la matriz de detección M permite reducir los efectos Moiré durante la reconstrucción de la escena a observar en color. No obstante, es posible tener un subpatrón en el que los elementos de filtrado están colocados periódicamente solo a lo largo de las columnas de la matriz de detección M (figura 6b). Esto permite facilitar la suma de las señales generadas por los píxeles dentro de una misma columna.
Según otro modo de realización de la invención, para reducir el número de datos o mantener un buen rendimiento en la relación señal a ruido, es posible producir imágenes multiespectrales submuestreadas mediante suma de las salidas multiespectrales.
Según otro modo de realización de la invención, el circuito de procesamiento CT es un circuito digital programable.
La figura 7 ilustra muy esquemáticamente un portador SAT, por ejemplo, una nave espacial, y más particularmente un satélite, equipado con un instrumento óptico IO de adquisición de imágenes. Este instrumento óptico IO comprende un sistema óptico convencional SO, por ejemplo un telescopio, acoplado a un sensor de imágenes CI según un modo de realización de la invención.

Claims (15)

REIVINDICACIONES
1. Sensor de imágenes (CI) configurado para capturar una escena a observar cuando dicho sensor se desplaza linealmente con respecto a dicha escena según una dirección de desplazamiento p, comprendiendo dicho sensor:
- Al menos una matriz (M) de detección de imágenes por desfase temporal para suma; y
- Un circuito de procesamiento de señales (CT) que tiene al menos una entrada conectada a una salida de datos de dicha matriz de detección de imágenes;
en el que dicha o cada matriz de detección de imágenes comprende N > 1 filas y MC > 1 columnas de píxeles (PX) fotosensibles, siendo las filas paralelas entre sí y perpendiculares a las columnas y a la dirección de desplazamiento, y estando configurada dicha o cada matriz de detección para proporcionar, a dicho circuito de procesamiento, datos de imágenes generados por las N filas y MC columnas de píxeles de dicha o cada matriz de detección correspondientes a regiones de dicha escena a observar, y estando configurado dicho circuito de procesamiento para adquirir imágenes en periodos sucesivos, llamados periodos de adquisición (ta), comprendiendo cada periodo de adquisición (ta) una fase de exposición (te) compuesta por una sucesión de instantes de exposición elementales (8te), y proporcionar en su salida, para cada periodo de adquisición (ta) de una imagen de una región de la escena a observar de dicho sensor de imágenes, una matriz de datos de imágenes (MD) que posee como máximo N+1-Lint filas, obteniéndose las filas de dicha matriz de datos de imágenes mediante la suma de datos de imágenes generados por Lint filas de píxeles de dicha o cada matriz de detección, siendo Lint el número de instantes de exposición elementales (Ste) durante un período de adquisición (ta), siendo Lint un número entero menor o igual a N y mayor o igual a 2;
caracterizado por que se coloca un filtro multiespectral frente a dicha o cada matriz de detección, comprendiendo dicho filtro varios elementos de filtrado dispuestos en filas y columnas, y seleccionados de una pluralidad de tipos de elementos de filtrado caracterizados por bandas espectrales de transmisión respectivas, y comprendiendo cada columna de dicha matriz de detección al menos un elemento de filtrado de cada tipo de elemento de filtrado presente en todo el filtro multiespectral.
2. Sensor de imágenes según la reivindicación 1, en el que dichas filas de elementos de filtrado del filtro están dispuestas en una pluralidad de tiras paralelas (B1, B2, BM), filtrando los elementos de filtrado de una misma tira al menos tres filas de píxeles de dicha matriz de detección.
3. Sensor de imágenes según la reivindicación 2, en el que dichos elementos de filtrado de una misma tira tienen la misma banda espectral de transmisión.
4. Sensor de imágenes según la reivindicación 3, en el que la banda espectral de transmisión de los elementos de filtrado de una misma tira es diferente de las bandas espectrales de transmisión de los elementos de filtrado de las otras tiras.
5. Sensor de imágenes según una de las reivindicaciones 3 y 4, en el que dicho circuito de procesamiento está configurado para efectuar una lectura acoplada de varios píxeles pertenecientes a una misma columna de dicha matriz de detección.
6. Sensor de imágenes según una de las reivindicaciones 3 a 5, en el que dicho circuito de procesamiento está configurado para efectuar una lectura acoplada de varios píxeles pertenecientes a una misma fila de dicha matriz de detección.
7. Sensor de imágenes según una de las reivindicaciones anteriores, en el que los elementos de filtrado de dicho filtro tienen una banda espectral de transmisión pancromática.
8. Sensor de imágenes según la reivindicación 1, en el que los elementos de filtrado de dicho filtro están dispuestos para formar un mismo patrón de filtrado, llamado subpatrón (SM), reproducido periódicamente en las filas y columnas del filtro.
9. Sensor de imágenes según la reivindicación 8, en el que dicho circuito de procesamiento está configurado para sumar dichos vectores de datos de imágenes proporcionados por dicha matriz de detección para adquirir alternativamente una imagen multiespectral y una imagen pancromática de dicha escena a observar.
10. Sensor de imágenes según la reivindicación 9, en el que dicho circuito de procesamiento está configurado para sumar los datos de imágenes generados por los píxeles de una misma columna de dicha o cada matriz de detección para obtener una imagen pancromática de resolución completa de dicha escena a observar.
11. Sensor de imágenes según una de las reivindicaciones anteriores, que comprende un prisma reflectante (PR) colocado entre dos matrices de detección en la dirección del desplazamiento de dicho portador de manera que las dos matrices de detección estén unidas extremo a extremo a lo largo de las filas de dichas matrices de detección.
12. Sensor de imágenes según la reivindicación 11, en el que al menos una tercera matriz de detección está colocada entre dicho prisma reflectante y una de las dos primeras matrices de detección en la dirección de desplazamiento de dicho portador, estando esta tercera matriz colocada en altura bajo dicho prisma, para aumentar el número de bandas espectrales filtradas por dichos filtros multiespectrales colocados frente a cada una de las matrices de detección.
13. Sensor de imágenes según la reivindicación 12, en el que al menos un filtro dicroico (L) está colocado entre dicho prisma reflectante y dicha tercera matriz de detección en la dirección de desplazamiento del portador para minimizar el campo óptico de dicho sensor.
14. Sensor de imágenes según una de las reivindicaciones anteriores, en el que dicho circuito de procesamiento de señales es un circuito digital programable.
15. Instrumento óptico espacial o aerotransportado de adquisición de imágenes (IO), que comprende un sensor de imágenes según una de las reivindicaciones 1 a 14.
ES19712233T 2018-03-29 2019-03-27 Sensor de imágenes aerotransportado que realiza tomas de imágenes matriciales por desfase temporal y suma multiespectrales Active ES2929223T3 (es)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1800259A FR3079707B1 (fr) 2018-03-29 2018-03-29 Capteur d'images aeroporte realisant des prises de vue matricielle par decalage temporel et sommation multi-spectrales
PCT/EP2019/057711 WO2019185707A1 (fr) 2018-03-29 2019-03-27 Capteur d'images aeroporte realisant des prises de vue matricielle par decalage temporel et sommation multi-spectrales

Publications (1)

Publication Number Publication Date
ES2929223T3 true ES2929223T3 (es) 2022-11-25

Family

ID=63209447

Family Applications (1)

Application Number Title Priority Date Filing Date
ES19712233T Active ES2929223T3 (es) 2018-03-29 2019-03-27 Sensor de imágenes aerotransportado que realiza tomas de imágenes matriciales por desfase temporal y suma multiespectrales

Country Status (5)

Country Link
EP (1) EP3777129B1 (es)
KR (1) KR20200136385A (es)
ES (1) ES2929223T3 (es)
FR (1) FR3079707B1 (es)
WO (1) WO2019185707A1 (es)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3819828A1 (de) * 1988-06-10 1989-12-21 Messerschmitt Boelkow Blohm Strahlenteilung fuer opto-elektronische bildaufnahme
US7009163B2 (en) * 2001-06-22 2006-03-07 Orbotech Ltd. High-sensitivity optical scanning using memory integration
EP2150039A1 (de) * 2008-07-28 2010-02-03 Basler AG Verfahren zur Bilderfassung von relativ bewegten Objekten
US9357145B2 (en) * 2014-07-11 2016-05-31 Imperx, Inc. Area scan interline transfer CCD imaging device and apparatus with TDI scanning mode

Also Published As

Publication number Publication date
EP3777129B1 (fr) 2022-10-12
EP3777129A1 (fr) 2021-02-17
FR3079707A1 (fr) 2019-10-04
KR20200136385A (ko) 2020-12-07
FR3079707B1 (fr) 2020-02-28
WO2019185707A1 (fr) 2019-10-03

Similar Documents

Publication Publication Date Title
US11140342B2 (en) Solid-state image pickup device and electronic apparatus
US7242478B1 (en) Spatially corrected full-cubed hyperspectral imager
CN101384945B (zh) 光学多路复用成像系统及操作方法
US7433042B1 (en) Spatially corrected full-cubed hyperspectral imager
US8149400B2 (en) Coded aperture snapshot spectral imager and method therefor
US8902330B2 (en) Method for correcting image data from an image sensor having image pixels and non-image pixels, and image sensor implementing same
JP5472584B2 (ja) 撮像装置
ES2702932T3 (es) Método y sistema para referenciación geométrica de datos multiespectrales
US9661210B2 (en) Image pickup device and image pickup apparatus
JP6701194B2 (ja) 画像センサユニット及び撮像装置
JP5446521B2 (ja) 撮像装置
US9658367B2 (en) Image acquisition apparatus
JP2009177727A (ja) 撮像装置
US9534893B2 (en) Imaging machine with several detector arrays and filters with different spectral transmission windows arranged in a focal plane
ES2929223T3 (es) Sensor de imágenes aerotransportado que realiza tomas de imágenes matriciales por desfase temporal y suma multiespectrales
JP2003189316A (ja) 撮像センサ
JP2006165601A (ja) 撮像装置及び撮像素子
US9794468B2 (en) Image sensor, image capturing apparatus, focus detection apparatus, image processing apparatus, and control method of image capturing apparatus using pupil division in different directions
WO2013114889A1 (ja) 撮像装置
KR101806956B1 (ko) 컬러 필터 어레이 및 이를 이용한 이미지 센서
CN216873256U (zh) 共用微透镜部分遮挡相位对焦的图像传感器
Mendlovic et al. Multi-dimensional hyperspectral imaging system
WO2021210060A1 (ja) 固体撮像素子、撮像装置、内視鏡装置、および手術用顕微鏡システム
NL8202746A (nl) Inrichting voor het vormen van een kleurenbeeld.
WO2016190127A1 (ja) イメージセンサ、処理方法、及び、電子機器