FR3066268A1 - Capteur d'images - Google Patents

Capteur d'images Download PDF

Info

Publication number
FR3066268A1
FR3066268A1 FR1700507A FR1700507A FR3066268A1 FR 3066268 A1 FR3066268 A1 FR 3066268A1 FR 1700507 A FR1700507 A FR 1700507A FR 1700507 A FR1700507 A FR 1700507A FR 3066268 A1 FR3066268 A1 FR 3066268A1
Authority
FR
France
Prior art keywords
image data
offset
image
accumulation
registration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
FR1700507A
Other languages
English (en)
Other versions
FR3066268B1 (fr
Inventor
Thomas Chambon
Julien DUCARNE
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thales SA
Original Assignee
Thales SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thales SA filed Critical Thales SA
Priority to FR1700507A priority Critical patent/FR3066268B1/fr
Publication of FR3066268A1 publication Critical patent/FR3066268A1/fr
Application granted granted Critical
Publication of FR3066268B1 publication Critical patent/FR3066268B1/fr
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • G01C11/025Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures by scanning the object
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/62Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels
    • H04N25/625Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels for the control of smear

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)

Abstract

Capteur d'images (CI) destiné à être embarqué dans un porteur (PO) se déplaçant au-dessus d'une scène, ledit capteur comprenant : ○ plusieurs pixels photosensibles agencés en lignes et colonnes, ○ un circuit de traitement (CT) configuré pour délivrer une suite de vecteurs de données d'image accumulées, le circuit de traitement étant configuré pour: ▪ déterminer, pour au moins une donnée d'images, à partir d'un décalage entre la donnée d'image issue d'un pixel photosensible et une donnée d'image de référence, une consigne de recalage pour recaler la donnée d'image, ▪ déterminer un décalage résiduel entre la donnée d'image recalée et un point de référence dont est sensiblement représentatif un pixel d'accumulation de référence, ▪ déterminer un gain à appliquer à la donnée d'image, ▪ appliquer le gain à la donnée d'image, ▪ accumuler la donnée d'image préalablement filtrée dans le pixel d'accumulation de référence en vue générer une donnée d'image accumulée, la donnée d'image étant utilisée pour générer une unique donnée d'image accumulée, dans lequel le gain appliqué lors d'au moins une étape d'accumulation est déterminé à partir du décalage résiduel.

Description

UAr i turc u iMrtbta
Le domaine de l’invention est celui de l’imagerie par balayage ou pousse-balais (en référence à l’expression anglo-saxonne « push-broom ») exploitant le défilement de scènes sur une matrice de pixels photosensibles montée sur un porteur tel qu’un satellite d’observation de la Terre ou une plateforme aéroportée. L’invention s’applique aux capteurs d’images du type dit « par décalage temporel et intégration » (TDI, de l’anglais « Time Delay and Intégration »).
Le principe d’un capteur d’image du type TDI Cl est illustré sur la figure 1. L’instrument optique représenté sur la figure 1 comprend le capteur d’image Cl comprenant une matrice photosensible de pixels photosensibles P, agencés en lignes (ou rangées) et en colonnes ; sur la figure, les lignes sont numérotées de 1 à 4 mais le nombre de lignes pourrait être différent. Lorsque le porteur PO à bord duquel est embarqué l’instrument optique é se déplace avec une vitesse constante V dans la direction D, perpendiculaire aux lignes ; l’image de la scène S observée, formée sur la matrice disposée dans le plan focal d’un système optique SO, défile dans la même direction, avec l’orientation opposée à V. Ainsi, la ligne de pixels de rang i+1 voit, à un instant ti+i, la même distribution d’intensité lumineuse vue par la ligne d’ordre i à un instant précédent tj=ti+-i-ôt, correspondant à une même ligne d’une image optique de la scène observée.
Le capteur TDI Cl comprend un circuit électronique CIRC de posttraitement qui intègre les signaux générés par les différentes lignes de pixels de la matrice et correspondant à une même ligne de l’image. En d’autres termes il additionne, colonne par colonne, les signaux générés par les pixels de la ligne de rang 1 à l’instant ti, ceux de la ligne de rang 2 à l’instant t2, ... et ceux de la ligne de rang N à l’instant în. A sa sortie, le circuit CIRC fournit un vecteur de données d’images accumulées VD représentatif de ladite ligne de l’image optique, intégrée sur un temps égal à Nôt, ce qui permet d’augmenter le rapport signal sur bruit des données d’image acquises par le capteur. Ce vecteur VD est composé de données d’image accumulées qui sont chacune représentatives d’un point de la scène observée et qui sont chacune obtenues par accumulation de plusieurs données d’image issues de différents pixels photosensibles et qui représentatives de ce point observé à différents instants.
Du point de vue du rapport signal sur bruit, il est donc avantageux d’effectuer l’intégration sur un nombre N de lignes aussi élevé que possible. Il y a cependant des limites à cela. En effet, il y a inévitablement des imperfections entre un profil théorique de pointage du système optique formateur d’image définissant un défilement de référence de la scène sur la matrice dans le plan de la matrice et le profil réel. Autrement dit, le défilement de la scène ne correspond pas rigoureusement à la façon dont les pixels sont lus. On appelle désynchronisation, un décalage entre un pixel (ou point) d’une scène vue par un pixel photosensible à un instant donné et un pixel de référence que devrait voir ce pixel photosensible à ce même instant selon le profil théorique ou de référence de pointage. En d’autres termes, les lignes de des pixels varient. La ligne de visée d’un pixel photosensible à un instant donné est définie comme la direction reliant le point de la scène observée par le pixel, le centre optique du système optique et le pixel photosensible. Les lignes de visée des pixels photosensibles aux instants où ils génèrent des signaux dont sont issues les données d’image qui sont accumulées pour générer une donnée d’image accumulée varient. La ligne de visée LV représentée sur la figure 1 est une ligne de visée moyenne, c'est-à-dire la ligne de visée du pixel photosensible central.
Ces désynchronisations proviennent de raisons multiples: instabilités ou dérives de l’attitude du porteur PO (à l’origine de désynchronisations basses fréquences), distorsions optiques qui ne permettent pas d’avoir un défilement de la scène rigoureusement identique dans tout le champ de l’instrument, micro-vibrations de la matrice par rapport au porteur PO à relativement haute fréquence qui provoquent un bougé de la ligne de visée (par rapport de la ligne de visée moyenne par rapport à une ligne de visée de référence) non contrôlable par la plateforme satellite, des résidus de guidage : à cause de la projection géométrique de la barrette TDI au sol, il n’est pas possible de maintenir une cohérence parfaite du défilement de la scène sur tout le champ de l’instrument.
Ces perturbations se cumulent d’une ligne à l’autre, jusqu’à conduire à un flouté inacceptable de l’image finale qui affecte le contraste de l’image. Ainsi, plus le nombre d’étage TDI utilisés est important, plus ces phénomènes sont amplifiés. La désynchronisation devient dès lors un frein pour permettre d’atteindre des résolutions fines et un rapport signal sur bruit élevé. En pratique, le nombre de ligne sur lesquelles il est possible d’effectuer l’intégration ne dépasse pas quelques dizaines dans les applications spatiales.
Des solutions existent pour améliorer la qualité des images obtenues. Une solution consiste à optimiser le design optique du système optique. Toutefois, cette solution a des impacts sur la compacité de l’instrument et entraîne une réduction des champs de vue optique. Une autre solution consiste à prévoir un dispositif de stabilisation active ou passive pour limiter les vibrations de la matrice par rapport au porteur. Toutefois, cette solution entraîne une augmentation du poids du système optique et est difficile à mettre en œuvre, par ailleurs, les perturbations restantes ne sont pas maîtrisées. Une autre solution consiste à mesurer les variations de la ligne de visée au moyen de gyroscopes et de stabiliser la direction de pointage du satellite au moyen des mesures obtenues. Toutefois, ce système est très cher, lourd et contraignant pour l’aménagement des satellites. Par ailleurs, les gyroscopes présentent une bande passante limitée à quelques Hz, qui ne permet pas d’estimer les perturbations de ligne de visée à haute fréquence. Or, les micro-vibrations sont des contributeurs de haute fréquence à la perturbation de la ligne de visée. Or, la compensation de la désynchronisation dues aux micro-vibrations est nécessaire pour atteindre des hautes résolutions (accroissement du nombre d’étages TDI, c'est-à-dire du nombre de lignes sur lequel se fait l’intégration) et pour l’amélioration de la résolution au sol ou GSD (en référence à l’expression anglo-saxonne « Ground Sample Distance »).
Une autre solution décrite dans la demande de brevet FR 2976754 consiste à prévoir un capteur d’image du type TDI comprenant un capteur de mouvement permettant d’associer un décalage entre des images successives d’une même scène et un module de recalage qui utilise l’estimation du décalage pour définir une zone mémoire où doit être réalisée l’accumulation d’une donnée d’image issue d’un pixel photosensible, avec d’autres données image de façon que ces données d’image correspondent à un même point de la scène observée.
Ce procédé permet un recalage au pixel près. Or, ce procédé ne permet pas de déconvoluer l’image. De plus, un flou subsiste à cause des résidus de compensation au pixel près. Le document FR 2976754 propose une méthode d’interpolation consistant à accumuler des portions d’une donnée d’image dans plusieurs zones mémoires contigües pour améliorer la précision du recalage. Toutefois, cette solution est coûteuse en termes de mémoire et de calcul puisqu’elle nécessite de calculer une interpolation par un noyau dont la taille doit être suffisante pour assurer un gain de contraste et de bruit. De plus, l’interpolation transforme le bruit de l’image en un bruit qui n’est plus blanc ce qui a pour conséquences de créer des artéfacts dans l’image, en particulier des zones sombres là où le bruit est important, et de limiter les capacités de compression de l’image. Ce même document propose également d’introduire une zone mémoire comprenant une pluralité de sous-cellules mémoires. Dans ce cas l’inconvénient est bien sûr d’augmenter la taille physique de la zone mémoire ou sa complexité.
Afin d’améliorer la qualité des images, les chaînes de traitement d’image de haute résolution incorporent généralement de algorithmes de traitement d’images au sol, par exemple des algorithmes de déconvolution au sol pour rehausser les contrastes des images. Cependant, ces algorithmes sont limités par les artefacts qu’ils peuvent causer. Le bruit de l’image n’est plus blanc après traitement, ce qui peut gêner l’interprétation et l’utilisation des images. La déconvolution au sol rehausse les artefacts dus aux traitements bord effectués tels que la compression.
Un but de l’invention est de limiter au moins un des inconvénients précités. A cet effet, l’invention à pour objet un capteur d’images destiné à être embarqué dans un porteur se déplaçant au-dessus d’une scène, ledit capteur comprenant : une matrice de détection comprenant plusieurs pixels photosensibles agencés en lignes et colonnes, des images d’une même zone de la scène étant successivement acquises par des lignes de pixels différentes de la première matrice de détection d’images lors du déplacement du porteur, un circuit de traitement configuré pour délivrer une suite de vecteurs de données d’image accumulées comprenant des composantes étant des données d’image accumulées résultant de l’accumulation de données d’image issues de signaux générés par des pixels photosensibles à instants successifs lors du déplacement du porteur, le circuit de traitement étant configuré pour mettre en oeuvre une étape d’accumulation pour au moins une des données d’image, l’étape d’accumulation comprenant : déterminer, à partir d’un décalage entre la donnée d’image issue d’un pixel photosensible et une donnée d’image de référence, une consigne de recalage pour recaler la donnée d’image, déterminer un décalage résiduel entre la donnée d’image recalée au moyen de la consigne de recalage et un point de référence dont est sensiblement représentatif un pixel d’accumulation de référence pris parmi au moins un pixel d’accumulation, dans lequel est destinée à être accumulée la donnée d’image au moyen de la consigne de recalage, déterminer un gain à appliquer à la donnée d’image, appliquer le gain à la donnée d’image, accumuler la donnée d’image préalablement filtrée dans le pixel d’accumulation de référence, le circuit de traitement étant configuré pour accumuler, dans les pixels d’accumulation, des données d’images issues de signaux générés à des instants successifs par différents pixels photosensibles de la matrice de détection d’images lors du déplacement du porteur de sorte à générer des données d’image accumulées, la donnée d’image étant utilisée pour générer une unique donnée d’image accumulée, dans lequel le gain appliqué lors d’au moins une étape d’accumulation est déterminé à partir du décalage résiduel.
Avantageusement, l’invention comprend également au moins une des caractéristique ci-dessous prises seules ou en combinaison : - le module du gain est une fonction décroissante du module du décalage résiduel, - le gain est défini en fonction du décalage résiduel de façon à former un filtre filtrant une bande de fréquences prédéterminée dans le domaine fréquentiel, - la consigne de recalage est définie de façon à corriger le décalage avec un pas minimal de recalage prédéfini, - la consigne de recalage comprend une première consigne de recalage définie de façon à corriger le décalage et une deuxième consigne de recalage définie de façon à décaler d’un décalage contrôlé élémentaire prédéterminé la donnée d’image recalée au moyen de la première consigne de recalage, - au moins un décalage contrôlé élémentaire est supérieur à un pixel d’accumulation, - le gain est nul pour tout décalage résiduel supérieur à un seuil prédéterminé non nul, - le seuil est supérieur à 1 pixel d’accumulation, - l’étape d’accumulation est mise en oeuvre pour plusieurs données d’image, dans lequel les consignes de décalage appliquées à plusieurs données d’image prises parmi lesdites données d’image comprenant chacune une première consigne de recalage définie de façon à corriger le décalage et à adresser lesdites données d’image vers un même pixel d’accumulation dit pixel d’accumulation central et une deuxième consigne de recalage définie de façon à décaler, au moyen de décalages contrôlés élémentaires prédéterminé respectifs, les données d’images recalées au moyen de la première consigne de recalage, les décalages contrôlés élémentaires appliqués aux données d’image, recalées au moyen de la première consigne de recalage, respectives étant définis de façon à adresser au moins une des données d’image vers ledit pixel d’accumulation central et dans au moins un pixel d’accumulation entourant ledit pixel d’accumulation central et situé à une distance dudit pixel d’accumulation central inférieure ou égale audit seuil, - la matrice de détection est réalisée en technologie CMOS, - au moins une ligne de pixels de la matrice de détection est une matrice de détection de type TDI, - le capteur est réalisé en technologie CCD. L’invention se rapporte également à un instrument optique spatial ou aéroporté d’acquisition d’images, comprenant un capteur d’images selon l’une quelconque des revendications précédentes. L’invention consiste en un prétraitement de l’image par application de gains à des données d’image avant accumulation ce qui permet de générer des images lignes dont le bruit est blanc, contrairement aux traitements qui sont réalisés au sol ou aux procédés d’interpolation ou de sur échantillonnage. Les images produites ne sont donc pas affectées des mêmes artéfacts. Ce traitement est réalisé directement au niveau du capteur.
Ce prétraitement est simple à mettre en œuvre ce qui permet d’intégrer le circuit de traitement au plus près de la matrice de pixels photosensibles. Il peut être mis en place au plus proche de la puce intégrant la matrice de pixels photosensibles et son emport a donc très peu d’impact sur l’architecture satellite dans son ensemble.
Avantageusement, mais non nécessairement, les différents éléments constituant le capteur sont intégrés au sein d’une même puce.
Le prétraitement proposé utilise la désynchronisation naturelle du capteur pour définir des gains à appliquer à des données d’image.
Un choix judicieux des gains en fonction des décalages résiduels permet notamment de déconvoluer l’image et de compenser le bougé avec une précision équivalente inférieure au pixel tout en utilisant un espace mémoire limité ou de limiter le phénomène de crénelage ou « aliasing » en terminologie anglo-saxonne. L’invention permet l’accès à des fréquences spatiales inaccessibles dans l’image obtenue après sommation (sur-échantillonnage spatial accessibles grâces aux instabilités naturelles de la ligne de visée). L’invention permet également l’implémentation, à moindre frais, de la déconvolution avant la compression à bord ce qui permet d’améliorer les performances de la chaîne de compression. D’autres caractéristiques et avantages de l’invention apparaîtront à la lecture de la description détaillée qui suit, faite à titre d’exemple non limitatif et en référence aux dessins annexés dans lesquels : - la figure 1, déjà décrite, représente le principe de fonctionnement d’un capteur d’images de type TDI, - la figure 2 représente schématiquement un capteur de mouvement selon l’invention, - les figures 3a et 3b représentent schématiquement deux exemples de courbes de gains en fonction de décalages résiduels, - les figures 4a, 4b, 4c représentent des données d’image accumulées dans une mémoire d’accumulation respectivement sans recalage, avec recalage et application de gains, et avec recalage par application de gains contrôlé et application de gains, - la figure 5 représente de façon très schématique un satellite comprenant un capteur d’images selon l’invention. D’une figure à l’autre, les mêmes éléments sont repérés par les mêmes références.
La figure 2 illustre un exemple de capteur d’image CIM selon l’invention. Ce capteur CIM comprend une matrice de détection M comprenant une partie sensible comprenant des pixels photosensibles PX agencés en lignes (ou rangées) et en colonnes de sorte à former une matrice photosensible MP. Sur la figure 2, les lignes Lk sont numérotées de 1 à L. Chaque ligne Lk comprend C pixels. Le capteur fonctionne en mode rolling shutter. La matrice MP est disposée dans le plan focal du système optique SO. Une image optique formée par le système optique SO embarqué à bord d’un porteur PO défile sur la matrice dans la direction D avec un sens opposé au déplacement de la matrice MP par rapport à la scène de sorte que des images d’une même zone de la scène soient successivement acquises par les lignes successives Lk de la matrice lors du déplacement du porteur.
Ainsi, à un instant discret ou cycle d’horloge, une zone de la scène est projetée sur une ligne d’indice L du capteur. A un instant suivant, c'est-à-dire au cycle d’horloge suivant séparé du premier instant par une durée ôt correspondant à la durée entre deux instants consécutifs ou la durée d’un cycle d’horloge, la même zone de la scène est projetée sur la ligne suivante d’ordre L-1. Autrement dit, la ligne de pixels de rang L-1 voit à un deuxième instant la même distribution d’intensité lumineuse vue par la ligne d’ordre L à l’instant précédent correspondant à une même ligne d’une image optique de la scène observée.
Chaque pixel PX du capteur élémentaire génère un signal représentatif d’une intensité lumineuse à chaque instant.
Le circuit de traitement CT produit à sa sortie une suite de vecteurs de données d’image accumulées sensiblement représentatifs de lignes respectives de l’image optique intégrées sur une durée égale à N.ôt, où ôt est le temps d’intégration de l’image sur chaque ligne.
Ce capteur CIM est un capteur du type TDI dit « par décalage temporel et intégration » ou TDI de l’anglais « Time Delay and Intégration ». Autrement dit, ce capteur comprend un circuit de traitement CT configuré pour délivrer de façon séquentielle des vecteurs de données d’image accumulées VA (tl) correspondant à des images lignes de différentes zones de la scène observée. Une image ligne d’une zone de la scène observée comprend plusieurs composantes. Chaque composante correspond sensiblement à l’image d’une région (ou pixel) de la scène. Chaque composante d’une image ligne VA (tl) est obtenue par accumulation de données d’image issues de signaux générés par des pixels de la matrice de pixels PX et correspondant sensiblement à une même de la zone ou ligne de pixels la scène observée à différents instants au cours du déplacement du porteur. Chaque vecteur de données d’image accumulées VA (tl) est sensiblement représentatif d’une ligne de la scène observée, intégrée sur N cycles d’horloge.
Le nombre N est un nombre entier prédéterminé et supérieur à 2 et inférieur ou égal à L. De façon avantageuse mais non limitative, N est égal à L (nombre de lignes de la matrice).
On entend par « donnée d’image » DIck(t!_k) issue d’un pixel photosensible de la colonne de rang c et de la ligne Lk de rang k une valeur d’une grandeur représentant l’intensité lumineuse associée à ce pixel mesurée à l’instant tj_k. La donnée d’image se présente, par exemple, sous la forme d’un signal électronique numérique. La donnée d’image est par exemple obtenue par une conversion en numérique d’un signal analogique généré par le pixel et correspondant à la grandeur représentant l’intensité lumineuse. Alternativement, les données d’image pourraient avoir une nature analogique comme nous le verrons ultérieurement.
En l’absence de désynchronisation, lorsque le défilement réel est un défilement de référence qui correspond par exemple à un défilement de l’image formée sur la matrice MD à une vitesse constante perpendiculaire aux lignes de pixels le long de la matrice M, telle que les pixels successifs d’une même colonne observent exactement la même scène aux instants consécutifs, alors à chaque instant t|_k, la donnée d’image DIck(t!_k) issue d’un signal généré par le pixel de la colonne c de la ligne Lk de rang k est notée : DIcM-k) = scène (l,c) Où scène(7,c) est la donnée d’image représentative du pixel de la scène observée de coordonnées I selon l’axe x et c selon l’axe y, c'est-à-dire la donnée d’image représentative du l-ième pixel de la scène observée selon l’axe des lignes x et du c-ieme pixel de la scène observée selon l’axe des colonnes y.
Or, en présence de mouvements de la ligne de visée dus par exemple à des modifications de l’attitude du porteur, à des micro-vibrations, à des distorsions optiques, les lignes de pixels d’indices k successifs ne voient pas exactement la même zone de la scène observée, mais une version décalée dans le plan de la matrice M, dans direction horizontale et/ou dans la direction verticale. On obtient ainsi :
où le vecteur Bt_k = ( représente un vecteur décalage correspondant au décalage, dans le plan de la matrice MP, le pixel de la scène vue par le pixel de rang I selon l’axe x et de rang k selon l’axe y, à un instant donné, et un pixel de référence que devrait voir ce pixel à ce même instant lorsque le défilement de l’image optique de la scène sur la matrice MP est le défilement de référence. Autrement dit, ce décalage est un décalage entre la donnée d’image obtenue à partir du signal généré par le pixel photosensible à l’instant donné et une donnée de référence obtenue à partir du signal généré au même instant par le même pixel photosensible lorsque la scène défile sur le capteur selon un mouvement de référence prédéterminé en l’absence de distorsions optiques. Ce mouvement de référence prédéterminé correspond par exemple, de façon non limitative, à une scène défilant sur la matrice de pixels photosensibles selon l’axe y à une vitesse constante. Cette vitesse constante est par exemple une vitesse telle que les pixels de deux lignes de pixels consécutives L-l-1 et voient la même zone de la scène à deux cycles d’horloges consécutifs, c'est-à-dire à deux instants consécutifs. Ce vecteur comprend une translation horizontale vjLk c'est-à-dire, selon l’axe x, perpendiculaire à la direction D c'est-à-dire parallèle à la direction longitudinale des lignes de pixels et une translation verticale, selon l’axe y, parallèle à la direction D ou parallèle à la direction longitudinale des colonnes de pixels.
Afin de limiter le flou généré par accumulation de données d’image ne résultant pas d’un même point de la scène observée, le circuit de traitement CT est configuré pour générer les composantes des vecteurs de données d’image accumulées VA à partir de données d’images DI issues (c'est-à-dire obtenues à partir) de signaux générés par des pixels photosensibles à des instants successifs et étant recalées à partir de décalages correspondant aux données d’image respectives.
Selon l’invention, le circuit de traitement CT est configuré pour appliquer des gains aux données d’image avant de les accumuler (sommer) pour former les composantes des vecteurs de données d’image accumulées VA. Le gain appliqué à une donnée d’image dépend d’un décalage résiduel restant entre la donnée d’image issu du signal généré par un pixel à un instant donné et la donnée de référence, qui devrait être issue de ce pixel à cet instant, après recalage de la donnée d’image à partir du décalage. Chaque donnée d’image est utilisée pour la génération d’une seule composante d’un seul vecteur de données d’image accumulées et plus particulièrement pour la génération d’une seule donnée d’image accumulée. Cette composante du vecteur de données d’image accumulées VA est sensiblement représentative d’un point de la scène observée avec lequel le point de la scène dont est sensiblement représentative la donnée d’image recalée est décalé du décalage résiduel.
La c-ième composante Ζλ4 (t;, c) d’un vecteur de donnée d’image accumulées VA (ti) représentatif de la l-ième ligne de la scène est donné par la formule suivante : Où :
residualjik est la composante du décalage résiduel selon l’axe x, residual^_k est la composante du décalage résiduel selon l’axe y.
DIRck(ti_k) est une donnée d’image recalée issue d’un signal généré par un pixel photosensible à l’instant tz_fc pour être accumulée avec d’autres données d’image pour générer la composante DACz^c) du vecteur VA (tj). ak(ti-k) est le gain appliqué à la donnée d’image DIRc^t^.
Les données d’image sont accumulées dans une matrice d’accumulation MA qui comporte une matrice de pixels d’accumulation PA arrangés en lignes Lli d’indices respectifs I (avec par exemple l= 1 à N) et C colonnes cac d’indices c (c = 1 à C). Les données d’image représentatives du pixel de la scène de rangs I et c sont accumulées dans le pixel d’accumulation d’indices I et c.
Ainsi, la donnée DIRc^t^) est accumulée dans un pixel d’accumulation PA de rangs I et c de sorte à générer la composante DA(tz, c) représentative du pixel de rangs I et c de la scène. Le décalage et le décalage résiduel sont exprimés en nombre de pixels d’accumulation selon chacun des directions x et y, le décalage dans chacune de ces directions pouvant être une fraction d’un nombre entier de pixels d’accumulation.
En appliquant, aux données d’image recalées, des poids dépendant des décalages résiduels respectifs, l’invention permet de maîtriser l’impact d’une donnée d’image sur l’image ligne ou vecteur de données d’image accumulées. Les gains appliqués dépendent du décalage résiduel (résidu de déplacement) avant sommation c'est-à-dire accumulation
Comme chaque donnée d’image est utilisée pour la génération d’une unique composante d’un unique vecteur de données d’image accumulées pris dans la suite de données d’image accumulées, la solution selon l’invention permet de générer une image présentant un bruit blanc.
Avantageusement, le gain ak(t[_k) appliqué à une donnée d’image est défini de façon à réduire l’impact d’une donnée d’image présentant un décalage résiduel non nul sur une donnée d’image accumulée et ainsi de limiter le flou dans une image. La qualité de l’image se trouve finalement améliorée vis-à-vis d’un simple recalage au plus proche voisin. Les gains permettent d’optimiser le contraste de l’image par déconvolution. Par ailleurs le prétraitement proposé est moins consommateur de mémoire et plus facile à mettre en œuvre qu’un procédé d’interpolation.
Le gain appliqué à une donnée d’image peut prendre des valeurs positives ou négatives. Autrement dit, les gains sont des nombres réels. Les gains appliqués aux données d’images utilisées pour générer chaque donnée d’image accumulée sont normalisés (somme égale à 1) pour ne pas générer d’artefacts dans l’image.
Avantageusement, les gains déterminés à partir du décalage résiduel et étant utilisés pour générer une même donnée d’image accumulée comprennent des valeurs positives et négatives différentes de zéro. Cela permet d’améliorer le contraste.
Le gain peut être optimisé pour réduire le bruit, améliorer le contraste, la FTM de l’image ou fonction de transfert de modulation ou le facteur de mérite FTM*SNR où SNR est le rapport signal sur bruit de l’image. Ainsi, plus on cherche à améliorer le contraste, plus les gains choisis présentent une amplitude de variation importante. Dans ce cas, le gain en termes de SNR est réduit. A l’inverse, si l’on veut privilégier la performance en termes d’augmentation du SNR, on choisit des gains relativement constants en fonction des décalages résiduels. Dans ce cas, la forme du noyau (la forme du gain en fonction du décalage résiduel) se rapproche préférentiellement d’un filtre passe-bas dans le domaine fréquentiel, pouvant ressembler à une gaussienne.
Sur la figure 3a, on a représenté un exemple de courbe représentant la valeur du gain à appliquer à une donnée d’image en fonction de la valeur du décalage résiduel selon une direction x ou y.
Le gain peut prendre un ensemble de valeurs définies de façon que le module du gain soit une fonction monotone décroissante du module de la composante du décalage résiduel selon cette direction. Cela permet d’assurer une limitation du flou ou amélioration du contraste de l’image.
Avantageusement, la courbe représentant le gain à appliquer à une donnée définie en fonction de la valeur du décalage résiduel dans un repère 3D orthonormé comprenant deux axes orthogonaux formés par les composantes du décalage résiduel selon l’axe x et respectivement selon l’axe y et l’axe des gains, est à symétrie de révolution autour de l’axe z perpendiculaire au plan (x,y) et passant par le décalage nul en x et en y comme cela est représenté sur la figure 3b.
Autrement dit, de façon plus générale, le module du gain est avantageusement une fonction décroissante, de préférence mais non nécessairement monotone décroissante, du module du décalage résiduel. Ainsi, l’impact d’une donnée d’image sur l’image ligne est d’autant plus limité que le décalage résiduel est important ce qui permet d’améliorer le contraste de l’image.
Selon la réalisation décrite précédemment, le gain appliqué aux données images est le même quelque soit la colonne c du pixel d’accumulation dans lequel est accumulée la donnée d’image. . Cela permet de maîtriser l’effet des micro-vibrations ou à des mouvements non contrôlés du satellite sûr une image ligne.
En variante, le gain appliqué à une donnée d’image dépend de la colonne c du pixel d’accumulation dans lequel est accumulée la donnée d’image. Cela permet de maîtriser l’effet de variation de la qualité image optique sur une image ligne, c’est-à-dire en fonction de la position de la donnée considérée dans le champ de l’instrument.
Avantageusement, le décalage est généré ou mis à jour à chaque cycle d’horloge. Ainsi, les consignes de recalage et les décalages résiduels sont définis à partir de décalages différents pour les données d’image issues de signaux générés à des instants différents. Les gains associés aux différentes données sont calculés en temps réel, c'est-à-dire de façon indépendante pour les différentes données d’image, en fonction des décalages résiduels des différentes données d’image accumulées non maîtrisés dus à des déplacements non maîtrisés du porteur et/ou du système optique par rapport au porteur et/ou à des distorsions optiques non maîtrisées. En variante, le décalage est fixe dans le temps dans le cas où l’on ne cherche à compenser que les résidus statiques (typiquement la distorsion).
Selon la réalisation précédemment décrite, le décalage à un instant donné est le même pour les données images issues générées par tous les pixels d’une même ligne de pixels. En variante, le décalage peut différer selon les colonnes des pixels d’une même ligne de pixels. C’est par exemple le cas lorsque le décalage est important ou en cas de distorsion optique ou de défaut d’alignement selon l’axe x.
Nous allons maintenant plus précisément le mode de réalisation du capteur d’image selon l’invention représenté sur la figure 2.
Ce capteur est réalisé en technologie CMOS.
La matrice de détection M comprend un circuit de lecture LECT permettant de lire de façon séquentielle, à chaque instant discret ou cycle d’horloge, les signaux générés par les différents pixels de la matrice de pixels pendant le cycle d’horloge, c'est-à-dire pendant la période de détection élémentaire ôt. Ces signaux se présentent classiquement sous la forme de tensions représentatives d’une intensité lumineuse associée au pixel.
Le capteur comprend un circuit de conversion analogique numérique CAN comprenant un ensemble de convertisseurs analogiques numériques configurés pour élaborer les données d’image en venant numériser les tensions lues par le circuit de lecture, c'est-à-dire les signaux générées par les différents pixels photosensibles aux différents cycles d’horloge. Le circuit de conversion analogique numérique CAN peut par exemple comprendre un convertisseur analogique numérique par colonne de la matrice de pixels. Alternativement, la conversion analogique numérique est réalisée par le circuit de traitement CT.
La matrice d’accumulation MA est une mémoire d’accumulation et les pixels d’accumulation de la matrice d’accumulation sont des zones mémoires configurées pour stocker et accumuler des données d’image DIRck(ti_k) préalablement filtrées et recalées de façon, par exemple, à correspondre sensiblement à une même région (ou pixel) de la scène, ladite région étant observée à des instants successifs t(_fc au cours du déplacement du porteur.
La mémoire MA se présente sous la forme d’une matrice comprenant une pluralité d’étages d’accumulation (ou étages TDI) aussi appelés lignes d’accumulation Ll|. La mémoire fonctionne comme un registre à décalage : à chaque pas d’accumulation, lorsqu’un vecteur d’accumulation est obtenu, les autres vecteurs en cours d’accumulation se déplacent d’un étage et un nouveau vecteur d’accumulation commence à se former par accumulation. Le contenu de chaque étage après accumulation des N données d’images est un vecteur de données d’image accumulées VA (ti).
Le circuit de traitement CT est configuré pour mettre en oeuvre pour une étape d’accumulation pour chaque donnée d’image. Le circuit CT comprend un module de recalage d’adresse REC configuré pour déterminer une consigne de recalage CONS d’une donnée d’image de façon à corriger un décalage. La consigne de recalage définit une zone mémoire (ou pixel d’accumulation PA) vers laquelle la donnée d’image doit être adressée. Cette consigne de recalage est définie à partir du décalage.
Le décalage peut être une mesure d’un décalage provenant de capteurs embarqués à bord du porteur comme des capteurs photoniques dédiés à la mesure du bougé tels que proposés dans le document FR 2976754 ou de mesures délivrées par un gyroscope ou au moins un capteur inertiel embarqué à bord du porteur. En variante, le décalage peut être mesuré à partir de données d’image délivrées par la matrice de détection M. Le circuit de traitement comprend alors avantageusement des moyens de mesure d’un mouvement configurés pour déterminer le décalage à partir de ces données. Le décalage peut par exemple provenir d’informations de désynchronisation prédites comme par exemple des informations de distorsion optiques et/ou de résidus de guidage.
Selon une réalisation de l’invention, la consigne de recalage est définie de façon à corriger le décalage avec un pas minimal de recalage prédéterminé. Par exemple, dans le cas d’un recalage au pixel près, c'est-à-dire au plus proche voisin, le pas minimal de recalage est d’un pixel d’accumulation. .
Le circuit de traitement CT comprend un module de calcul CALC configuré pour calculer un décalage résiduel configuré pour déterminer, à partir du décalage, un décalage résiduel entre la donnée d’image recalée au moyen de la consigne de recalage et la donnée de référence.
Dans l’exemple non limitatif d’un recalage au pixel près, le résidu est la différence entre le décalage et un nombre entier le plus proche du décalage.
Ainsi le décalage résiduel comprend deux composantes données par les formules suivantes :
Où [X] représente l’arrondi à l’entier le plus proche du nombre X. Si le décalage est une somme de 0,5 et d’un entier, alors l’arrondi le plus proche est l’entier supérieur le plus proche ou l’entier inférieur le plus proche. La même convention est choisie pour tous les calculs de résidus (arrondi à
l’entier supérieur le plus proche ou à l’entier inférieur le plus proche) est choisi.
La même expression s’applique selon l’axe y (colonnes).
Le circuit de traitement CT comprend un circuit de filtrage FILT comprenant un module de calcul du gain CGAIN configuré pour déterminer un gain à appliquer à une donnée d’image à partir du décalage résiduel et un circuit d’application d’un gain AGAIN, par exemple un circuit multiplicateur, permettant d’appliquer un gain à une donnée d’image de sorte à obtenir une donnée d’image filtrée. Les gains sont des gains numériques.
Le circuit de traitement CT comprend une première et une deuxième mémoires ZGAIN et ZDELTA stockant respectivement des tables de valeurs du gain en fonction du décalage résiduel et éventuellement d’autres paramètres et au moins un décalage contrôlé.
Le circuit de traitement CT comprend un circuit d’adressage ADR piloté par le module de recalage d’adresse REC permettant d’adresser la donnée d’image filtrée vers la zone mémoire MA définie par le module de recalage d’adresse REC de sorte à être accumulée avec une unique autre donnée d’image accumulée obtenue par accumulation d’autres données d’images générées par différents pixels photosensibles de la matrice à des instants différents de sorte à mettre à jour la donnée d’image accumulée qui est destinée à former une des composantes du vecteur de données d’image accumuléess. La donnée d’image est adressée vers un unique pixel d’accumulation tel que le décalage résiduel subsiste. Autrement dit, la donnée d’image est accumulée dans un unique pixel d’accumulation qui est représentatif d’un point de la scène observée avec lequel le point de la scène dont est représentatif la donnée d’image est décalé du décalage résiduel (exprimé en nombre de pixels dans la matrice d’accumulation).
Sur les figures 4a et 4b, on a représenté un quadrillage représentant la géométrie image de référence projetée au sol (ou matrice d’accumulation) comprenant des pixels d’accumulation PA agencés en lignes et en colonnes. C’est dans cette géométrie que l’image est générée, et que l’on calcule les décalages résiduels après recalage de registre. La figure 4a illustre la mauvaise synchronisation du signal avant sommation dans le cas d’un capteur TDI sans compensation de mouvement ou de décalage. Le point noir relatif à un objet au sol se déplace dans la grille de référence. Ainsi, les différentes lignes du capteur TDI ne perçoivent pas la même zone au sol, et le signal provenant du point noir est réparti sur plusieurs lignes de pixels d’accumulation destinés à former des images lignes (vecteurs lignes accumulés) différents en sortie du capteur TDI. Cet effet de mauvaise synchronisation affecte le contraste de l’image et donc la résolution effective de l’instrument.
Dans le cas de la figure 4b, les données d’image sont recalées au pixel près avant sommation. Ainsi, une même zone au sol est perçue par les différentes images lignes (ou étages TDI) avec un décalage inférieur au demi-pixel. Autrement dit, toutes les données d’image sont accumulées dans le même pixel d’accumulation central. L’invention propose d’affecter des gains différents aux données d’image selon le décalage résiduel. Ces gains variables sont représentés par la variation de la nuance de gris des points correspondants. Dans l’exemple représenté sur la figure 4b, le gain est d’autant plus faible que l’amplitude du décalage résiduel (correspondant à la distance du point au centre du pixel central) est importante.
Selon une variante de l’invention, la consigne de recalage d’au moins une donnée d’image utilisée pour générer une donnée d’image accumulée comprend une première consigne de recalage définie de façon à corriger le décalage, avec le pas minimal de décalage prédéfini, et une deuxième consigne de décalage définie de façon à ajouter un décalage contrôlé élémentaire àcontrolledk prédéterminé à un premier décalage résiduel ainsi obtenu de façon à obtenir le décalage résiduel.
Ainsi, dans le cas d’un recalage au pixel près on obtient :
Dans ce cas, ViLk - [vjlk] est la composante du premier décalage résiduel selon l’axe de x,
Et le décalage résiduel est un vecteur comprenant deux composantes residualjik et residual^_k.
La même équation est valable selon l’axe des colonnes. ^controlled,k~ (Acontrolled,k> ^controlled.k^
Cette variante est représentée sur la figure 4c, dans laquelle on a on volontairement ajouté des décalages supplémentaires, appelés décalages élémentaires, à certaines données image.
Pour plus de clarté, sur la figure 4c, les différents points ne sont pas différenciés en fonction des gains qui leurs sont appliqués.
Avantageusement mais non nécessairement, au moins un décalage contrôlé élémentaire est supérieur à 1 pixel d’accumulation selon l’axe des lignes et/ou selon l'axe des colonnes. Ainsi, les différentes données d’image recalées ne sont pas accumulées dans le même pixel de la matrice d’accumulation comme cela est représenté sur la figure 4. Cela permet d’obtenir une plus grande dispersion spatiale des signaux avant sommation. On peut ainsi étendre le support des coefficients de filtrage (gains), améliorer l’efficacité de la déconvolution par un choix judicieux des gains et compenser des défauts fins de l’optique.
La consigne de recalage des données d’image comprend la première consigne de recalage définie de façon à corriger le décalage, avec le pas minimal de décalage prédéfini. Il subsiste alors un premier décalage résiduel.
Les premières consignes de recalage adressent plusieurs données d’image vers un même pixel d’accumulation.
Les consignes de recalage comprennent une deuxième consigne de décalage définie de façon à ajouter un décalage contrôlé élémentaire ^controiied.k θ'-l premier décalage résiduel.
Le décalage contrôlé est formé d’une succession de N décalages contrôlés élémentaires formant chacun un vecteur à deux dimensions. Au moins un des décalages contrôlés élémentaires est non nul. Les décalages contrôlés élémentaires sont appliqués selon un ordre prédéterminé aux données d’image respectives successivement adressées vers un même pixel d’accumulation par leurs premières consignes de recalage.
Ainsi, chaque décalage contrôlé élémentaire est ajouté au premier décalage résiduel d’une seule des données d’image recalées (ou adressées) vers un même pixel d’accumulation par la première consigne de recalage.
Le décalage contrôlé élémentaire appliqué est le même quelle que soit la colonne c du pixel d’accumulation, vers lequel sont adressées les données image par leurs premières consignes de recalage. En variante, le décalage contrôlé appliqué peut différer selon les colonnes c des pixels d’accumulation, d’une même ligne de pixels d’accumulation, vers lesquelles sont adressées des données image par leurs première consigne de recalage. Ceci peut permettre d’appliquer un filtre de déconvolution variable en fonction de la colonne considérée et donc du champ de l’instrument. Ceci peut être intéressant dans les cas où les performances de l’imageur optique sont sensiblement variables dans le champ de l’instrument. Le filtre de déconvolution est alors adapté particulièrement à l’endroit du champ considéré.
Le gain peut être défini par la courbe de la figure 3b de façon à rehausser les contrastes. Les données d’image des lignes avec un décalage de l’ordre du pixel sont avantageusement affectées d’un gain négatif pour rehausser les contrastes.
En variante, le gain est défini, en fonction du décalage résiduel, de sorte à former un filtre passe-bas dans le domaine fréquentiel. Cela permet de limiter les défauts dus à l’aliasing de façon plus efficaces qu’au sol (après génération des images lignes). De façon plus générale, le gain est par exemple défini en fonction du décalage résiduel, de sorte à filtrer une bande de fréquences prédéterminée dans le domaine fréquentiel.
Avantageusement, le gain est nul pour tout décalage résiduel présentant un module supérieur à un seuil prédéterminé non nul. Cela permet de supprimer l’effet, sur le flou de l’image ligne, d’une donnée d’image présentant un décalage résiduel supérieur à ce seuil. En revanche, le bruit associé à l’image augmente.
De façon avantageuse mais non nécessaire, le seuil est au moins égal à 1 pixel d’accumulation et de préférence supérieur à 1, voir supérieur à plusieurs pixels. Cela permet notamment d’effectuer une déconvolution de l’image en tenant compte, dans les images générées par le capteur, de données affectées d’un décalage contrôlé. Le choix de la taille du support du noyau de déconvolution, c'est-à-dire du seuil, permet de trouver un compromis entre l’amélioration du contraste de l’image et le maintien du bruit de l’image sous un certain seuil. Plus la taille du support du noyau est importante et plus l’invention va permettre d’agir sur des décalages non contrôlés importants et de proposer une forme précise du noyau de déconvolution dans l’espace des fréquences.
Pour rappel, le décalage contrôlé comprend plusieurs décalages contrôlés élémentaires. Ces décalages contrôlés élémentaires sont avantageusement définis afin que les consignes de recalage des données qui sont adressées vers un même pixel d’accumulation, appelé pixel central, par leurs premières consignes de recalage, ne soient plus adressées uniquement vers ce pixel central quand on ajoute les décalages contrôlés élémentaires aux premières consignes de recalage mais vers ce pixel central ainsi que vers tous les pixels d’accumulation entourant ce pixel central et dont les centres sont distants du centre de ce pixel central d’une distance supérieure au seuil.
Cela permet notamment de limiter la dépendance de la déconvolution à une direction privilégiée correspondant à la direction privilégiée du décalage (qui est la droite selon laquelle se décalent les points successifs sur la figure 4a). Cela peut être vrai pour un ou plusieurs décalages contrôlés (si les décalages contrôlés diffèrent selon les colonnes).
En variante, au moins un décalage contrôlé est composé de décalages élémentaires identiques, ce qui permet d’augmenter le rapport signal sur bruit SNR bruit. Toutefois, le contraste n’est alors pas amélioré.
Comme nous l’avons vu en référence à la figure 4b, le recalage au pixel près, c'est-à-dire le recalage des données d’image de la figure 4a par les premières consignes de recalage adresse toutes les données d’image vers un même pixel central.
Dans l’exemple représenté sur la figure 4c, on applique des décalages contrôlés élémentaires aux données d’image en plus des premières consignes de recalage. Les données d’image situées en dehors du pixel d’accumulation central sont affectées de décalages élémentaires contrôlés égaux respectivement à (-1,0 ) pour les données d’image correspondant aux points situés à gauche du pixel d’accumulation central, à (1, 0) pour les données d’image correspondant aux points situés à droite du pixel d’accumulation, à (0,1) pour les données d’image correspondant aux points situés au dessus du pixel d’accumulation central, à (0,-1) pour les données d’image correspondant aux points situés en dessous du pixel central et à (0,0) pour les données d’image correspondant aux points situés dans le pixel d’accumulation central. Ces décalages contrôlés permettent ainsi de couvrir un noyau définissant des gains présentant des valeurs non nulles pour un décalage résiduel compris entre -1 et 1.
Avantageusement, le circuit de traitement CT est configuré pour estimer le décalage à un instant ultérieur à partir du décalage qu’il reçoit. La consigne de recalage est alors estimée à partir du décalage estimé. Ceci permet de réduire les retards de contrôle de la boucle. On propage ainsi les décalages aux instants ultérieurs pour réduire le délai opérant entre le calcul des gains et leur application effective avant sommation dans la mémoire. En variante, cette estimation peut être faite en dehors du capteur.
Dans la réalisation décrite précédemment, tous les gains appliqués aux données d’image utilisées pour générer une donnée d’image accumulée dépendent des décalages résiduels. En variante, seule ou sous-partie de ces gains dépend des décalages résiduels. Cela signifie que le gain ne dépend pas du décalage résiduel dans toutes les étapes d’accumulation. Il est par exemple possible d’appliquer des gains nuis à des données d’image issues de signaux générées par un premier ensemble d’au moins une ligne de pixels photosensibles et d’appliquer des gains dépendant des décalages résiduels aux données d’image issues de signaux générés par un deuxième ensemble d’au moins une autre ligne de pixels. Cela présente un intérêt lorsque le capteur comprend des filtres spectraux différents associés à ces deux ensembles de lignes respectifs de sorte que ces deux ensembles génèrent des données d’image dans des bandes spectrales distinctes. Cela permet de créer une image uniquement dans une des deux bandes spectrales en appliquant des gains dépendant des décalages résiduels aux données d’image générées dans cette bande spectrale (première bande spectrale) et des gains nuis aux données d’image générées dans l’autre bande spectrale (deuxième bande spectrale).
En variante, le circuit de traitement CT est configuré pour générer deux suites d’images lignes obtenues à partir de gains différents définis de sorte à générer des images dans des bandes spectrales (c'est-à-dire couleurs) différentes. Par exemple, une première suite d’images est générée comme précédemment décrit, dans une des deux bandes spectrales, et une deuxième suite d’images est générée en appliquant des gains dépendant des décalages résiduels aux données d’image générées dans la deuxième bande spectrale et des gains nuis aux données d’image générées dans la première bande spectrale.
Dans ce cas, le capteur peut comprendre plusieurs mémoires d’accumulation et plusieurs circuits d’application de gain de sorte à délivrer plusieurs suites d’images à partir d’une même zone photosensible.
Les gains dépendant des décalages résiduels peuvent dépendre uniquement de ces décalages résiduels. En variante, ces gains peuvent dépendre en outre d’au moins un autre paramètre comme par exemple le bruit de l’image et/ou de la performance optique de l’instrument qui peut être éventuellement estimée en temps réel par exemple par utilisation d’analyseurs de surface d’ondes.
La matrice peut être réalisée en technologie CMOS comme décrit précédemment.
En variante, au moins une ligne de pixels est formée d’une ligne de pixels élémentaire, par exemple réalisée en technologie CMOS et / ou au moins une ligne de pixels est une matrice élémentaire de type TDI.
Par exemple, au moins une ligne de pixels de la matrice de pixels est une matrice élémentaire TDI comprenant une pluralité de lignes de pixels photosensibles comprenant par exemple le même nombre de colonnes que la matrice de pixels MD. Cette matrice élémentaire est configurée pour opérer un transfert, de pixels en pixels le long de chaque colonne de la matrice élémentaire, parallèlement au défilement D, de charges photo-électriques générées par chaque pixel. Il s’agit par exemple d’une matrice TDI réalisée en technologie CCD (dispositifs à transfert de charge, de l’anglais « Charge-Coupled Device). Cette matrice réalise une intégration TDI des signaux générés par la matrice, sur les lignes de pixels la matrice élémentaire, pendant chaque cycle d’horloge de cette matrice élémentaire afin de générer une ligne de C charges photoélectriques dite intégrée à chaque cycle d’horloge. Avantageusement, la matrice élémentaire comprend un convertisseur permettant de convertir les charges photo-électriques de la ligne de charges photoélectrique intégrée en des tensions de sorte à délivrer des lignes de C tensions qui sont les sorties. Les gains sont alors appliqués de façon aux composantes des lignes de tension préalablement numérisées. En variante, cette matrice élémentaire réalisée en technologie CMOS.
En variante, on utilise plusieurs matrices de détection de type TDI en technologie CCD. Les gains sont alors appliqués de façon analogique. On peut par exemple appliquer des gains aux données générées par les pixels au moyen de d’amplifications par ionisation par impact (en utilisant un design de diode et un fonctionnement adapté) avant transfert des charges photoélectriques le long des colonnes. L’accumulation est faite pas transfert des charges le long des colonnes. Toutefois, ce type de solution permet uniquement d’appliquer des gains positifs. Pour appliquer des gains négatifs, on peut donc prévoir deux matrices de détection de type TDI en technologie CCD, une première matrice générant des signaux sur lesquels on applique les coefficients positifs du filtre et une deuxième matrice générant des signaux sur lesquels on applique les opposés des coefficients négatifs du filtre et on soustrait, après numérisation des lignes TDI, une ligne TDI obtenue en sortie de la deuxième matrice de détection à celle obtenue en sortie de la première matrice de détection de façon à obtenir un vecteur de données d’images accumulées. Les matrices sont favorablement disposées l’une sous l’autre de manière à observer la même scène consécutivement. Les charges peuvent être recalées de manière analogique, par exemple en faisant transiter les charges en diagonale plutôt que selon les colonnes. Chaque
Avantageusement, le circuit de traitement est configuré pour effectuer une étape correction radiométrique préalablement à l’estimation du décalage.
Les modules de calcul peuvent être réalisés à partir de composants logiques programmables tel qu’un FPGA, mais il peut également s’agir de processeurs programmés de façon opportune.
La figure 5 illustre très schématiquement un porteur PO (par exemple un vaisseau spatial et plus particulièrement un satellite) équipé d’un instrument optique 10 d’acquisition d’images comprenant instrument optique 10 comprenant un système optique SO, par exemple un télescope, couplé à un capteur d’image CIM selon un mode de réalisation de l’invention. Le système optique SO est configuré pour former une image de la scène sur la matrice de pixels MD qui est avantageusement située dans le plan focal du système optique. Un capteur de mouvement MV est avantageusement embarqué à bord du porteur. Ce capteur est configuré pour délivrer les mesures du décalage (ou décalages). L’invention se rapporte également au dispositif de génération d’images comprenant le capteur d’image et le capteur de mouvement. Le capteur de mouvement peut être le capteur d’image ou être différent. L’invention se rapporte également à l’instrument optique et au porteur. L’invention se rapporte également à un procédé de génération d’images lignes pouvant être mis en œuvre au moyen du capteur ou dispositif selon l’invention. Dans ce procédé, le capteur d’images est embarqué à bord d’un porteur se déplaçant au-dessus d’une scène de sorte que des images d’une même scène étant successivement acquises par des lignes de pixels différentes de la première matrice de détection d’images M lors du déplacement du porteur. Le procédé comprend au moins une des étapes telles qui décrites précédemment et pouvant être mises en œuvre par le circuit de traitement CT et éventuellement une étape de génération du décalage et/ou de réception du décalage par le circuit de traitement CT. L’invention a été décrite dans le cas où la vitesse de déplacement du porteur est telle que le mouvement de référence est tel que les lignes de pixels successives voient exactement la même scène. L’invention s’applique également lorsque la vitesse du déplacement du porteur est supérieure à cette vitesse. De la sorte, pendant un cycle d’horloge, un même point de la scène est observé par plusieurs lignes de pixels. On réalise alors un suréchantillonnage. Les données d’une séquence d’image générées à un instant t|_k peuvent alors provenir de plusieurs pixels. Le sur-échantillonnage permet de réaliser une mesure plus précise du mouvement (inférieure au pixel).

Claims (13)

  1. REVENDICATIONS
    1. Capteur d’images (CIM) destiné à être embarqué dans un porteur (PO) se déplaçant au-dessus d’une scène, ledit capteur comprenant : o une matrice de détection (M) comprenant plusieurs pixels photosensibles agencés en lignes et colonnes, des images d’une même zone de la scène étant successivement acquises par des lignes de pixels différentes de la première matrice de détection d’images (M) lors du déplacement du porteur, o un circuit de traitement (CT) configuré pour délivrer une suite de vecteurs de données d’image accumulées comprenant des composantes étant des données d’image accumulées résultant de l’accumulation de données d’image issues de signaux générés par des pixels photosensibles à instants successifs lors du déplacement du porteur, le circuit de traitement étant configuré pour mettre en oeuvre une étape d’accumulation pour au moins une des données d’image, l’étape d’accumulation comprenant : déterminer, à partir d’un décalage entre la donnée d’image issue d’un pixel photosensible et une donnée d’image de référence, une consigne de recalage pour recaler la donnée d’image, déterminer un décalage résiduel entre la donnée d’image recalée au moyen de la consigne de recalage et un point de référence dont est sensiblement représentatif un pixel d’accumulation de référence pris parmi au moins un pixel d’accumulation, dans lequel est destinée à être accumulée la donnée d’image au moyen de la consigne de recalage, déterminer un gain à appliquer à la donnée d’image, appliquer le gain à la donnée d’image, accumuler la donnée d’image préalablement filtrée dans le pixel d’accumulation de référence, le circuit de traitement étant configuré pour accumuler, dans les pixels d’accumulation, des données d’images issues de signaux générés à des instants successifs par différents pixels photosensibles de la matrice de détection d’images lors du déplacement du porteur de sorte à générer des données d’image accumulées, la donnée d’image étant utilisée pour générer une unique donnée d’image accumulée, dans lequel le gain appliqué lors d’au moins une étape d’accumulation est déterminé à partir du décalage résiduel.
  2. 2. Capteur d’images selon la revendication précédente, dans lequel le module du gain est une fonction décroissante du module du décalage résiduel.
  3. 3. Capteur d’images selon l’une quelconque des revendications précédentes, dans lequel le gain est défini en fonction du décalage résiduel de façon à former un filtre filtrant une bande de fréquences prédéterminée dans le domaine fréquentiel.
  4. 4. Capteur d’images selon la revendication précédente, dans lequel la consigne de recalage est définie de façon à corriger le décalage avec un pas minimal de recalage prédéfini.
  5. 5. Capteur d’images selon la revendication précédente, dans lequel la consigne de recalage comprend une première consigne de recalage définie de façon à corriger le décalage et une deuxième consigne de recalage définie de façon à décaler d’un décalage contrôlé élémentaire prédéterminé la donnée d’image recalée au moyen de la première consigne de recalage.
  6. 6. Capteur d’images selon la revendication précédente, dans lequel au moins un décalage contrôlé élémentaire est supérieur à un pixel d’accumulation.
  7. 7. Capteur d’images selon l’une quelconque des revendications précédentes, dans lequel le gain est nul pour tout décalage résiduel supérieur à un seuil prédéterminé non nul.
  8. 8. Capteur d’images selon l’une quelconque des revendications précédentes, dans lequel le seuil est supérieur à 1 pixel d’accumulation.
  9. 9. Capteur d’images selon l’une quelconque des revendications 5 à 8, dans lequel l’étape d’accumulation est mise en œuvre pour plusieurs données d’image, dans lequel les consignes de décalage appliquées à plusieurs données d’image prises parmi lesdites données d’image comprenant chacune une première consigne de recalage définie de façon à corriger le décalage et à adresser lesdites données d’image vers un même pixel d’accumulation dit pixel d’accumulation central et une deuxième consigne de recalage définie de façon à décaler, au moyen de décalages contrôlés élémentaires prédéterminé respectifs, les données d’images recalées au moyen de la première consigne de recalage, les décalages contrôlés élémentaires appliqués aux données d’image, recalées au moyen de la première consigne de recalage, respectives étant définis de façon à adresser au moins une des données d’image vers ledit pixel d’accumulation central et dans au moins un pixel d’accumulation entourant ledit pixel d’accumulation central et situé à une distance dudit pixel d’accumulation central inférieure ou égale audit seuil.
  10. 10. Capteur d’images selon l’une quelconque des revendications précédentes, dans lequel la matrice de détection est réalisée en technologie CMOS.
  11. 11. Capteur d’images selon l’une quelconque des revendications précédentes, dans lequel au moins une ligne de pixels de la matrice de détection est une matrice de détection de type TDI.
  12. 12. Capteur d’images selon l’une quelconque des revendications précédentes, dans lequel le capteur est réalisé en technologie CCD.
  13. 13. Instrument optique spatial ou aéroporté d’acquisition d’images, comprenant un capteur d’images selon l’une quelconque des revendications précédentes.
FR1700507A 2017-05-11 2017-05-11 Capteur d'images Active FR3066268B1 (fr)

Priority Applications (1)

Application Number Priority Date Filing Date Title
FR1700507A FR3066268B1 (fr) 2017-05-11 2017-05-11 Capteur d'images

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1700507 2017-05-11
FR1700507A FR3066268B1 (fr) 2017-05-11 2017-05-11 Capteur d'images

Publications (2)

Publication Number Publication Date
FR3066268A1 true FR3066268A1 (fr) 2018-11-16
FR3066268B1 FR3066268B1 (fr) 2021-01-01

Family

ID=60923517

Family Applications (1)

Application Number Title Priority Date Filing Date
FR1700507A Active FR3066268B1 (fr) 2017-05-11 2017-05-11 Capteur d'images

Country Status (1)

Country Link
FR (1) FR3066268B1 (fr)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2302472A (en) * 1995-06-21 1997-01-15 Eastman Kodak Co Compensation for relative motion during aerial scanning
US20090086054A1 (en) * 2007-10-02 2009-04-02 Canon Kabushiki Kaisha Image pickup apparatus and control method therefor
FR2976754A1 (fr) * 2011-06-15 2012-12-21 Centre Nat Etd Spatiales Capteur d'images avec correction de bouge par recalage numerique de prises de vue fractionnees
US20140063285A1 (en) * 2012-08-28 2014-03-06 Sony Corporation Image data processing apparatus, imaging apparatus, and image data processing method

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2302472A (en) * 1995-06-21 1997-01-15 Eastman Kodak Co Compensation for relative motion during aerial scanning
US20090086054A1 (en) * 2007-10-02 2009-04-02 Canon Kabushiki Kaisha Image pickup apparatus and control method therefor
FR2976754A1 (fr) * 2011-06-15 2012-12-21 Centre Nat Etd Spatiales Capteur d'images avec correction de bouge par recalage numerique de prises de vue fractionnees
US20140063285A1 (en) * 2012-08-28 2014-03-06 Sony Corporation Image data processing apparatus, imaging apparatus, and image data processing method

Also Published As

Publication number Publication date
FR3066268B1 (fr) 2021-01-01

Similar Documents

Publication Publication Date Title
EP2753971B1 (fr) Stabilisation d'une ligne de visée d'un système d'imagerie embarqué à bord d'un satellite
EP2567537B1 (fr) Procede d'imagerie polychrome
EP1843295B1 (fr) Procédé de restitution de mouvements de la ligne de visée d'un instrument optique
FR2652695A1 (fr) Procede et dispositif de visualisation d'images, a correction automatique de defauts par contre-reaction.
JPH0364908B2 (fr)
EP3114831B1 (fr) Débruitage vidéo optimisé pour système multicapteur hétérogène
JP6094100B2 (ja) 移動体検出方法
FR3055727B1 (fr) Procede et dispositif de caracterisation des aberrations d'un systeme optique
FR3021127A1 (fr) Systeme et procede d'acquisition d'images hyperspectrales
EP3301644B1 (fr) Procédé de construction d'une carte de profondeur d'une scène et/ou d'une image entièrement focalisée
FR3066268A1 (fr) Capteur d'images
EP3072081B1 (fr) Determination de la carte de profondeur image d'une scene
EP3777129B1 (fr) Capteur d'images aeroporte realisant des prises de vue matricielle par decalage temporel et sommation multi-spectrales
EP3217649B1 (fr) Capteur d'images par decalage temporel et integration etendue
EP2567538A1 (fr) Procede d'imagerie
FR3066271B1 (fr) Capteur de mouvement et capteur d'images
FR2976754A1 (fr) Capteur d'images avec correction de bouge par recalage numerique de prises de vue fractionnees
EP1141648A1 (fr) Procede et systeme d'aide a la visee pour arme legere
US20230041139A1 (en) Image processing for oversampled infrared imaging
WO2012076784A1 (fr) Procede d'utilisation d'un capteur d'image
WO2023213598A1 (fr) Procédé de génération d'image par un satellite par fusion à bord d'images acquises par ledit satellite
FR2918530A1 (fr) Procede et dispositif d'observation
WO2023046551A1 (fr) Procede pour l'acquisition d'images multispectrales et d'imagettes panchromatiques
FR2986930B1 (fr) Procede d'acquisition et d'affichage d'images video numeriques
FR2702325A1 (fr) Procédé et dispositif de formation d'une image échantillonnée.

Legal Events

Date Code Title Description
PLFP Fee payment

Year of fee payment: 2

PLSC Publication of the preliminary search report

Effective date: 20181116

PLFP Fee payment

Year of fee payment: 3

PLFP Fee payment

Year of fee payment: 4

PLFP Fee payment

Year of fee payment: 5

PLFP Fee payment

Year of fee payment: 6

PLFP Fee payment

Year of fee payment: 7

PLFP Fee payment

Year of fee payment: 8