EP2649789A1 - Procede d'utilisation d'un capteur d'image - Google Patents

Procede d'utilisation d'un capteur d'image

Info

Publication number
EP2649789A1
EP2649789A1 EP11801790.4A EP11801790A EP2649789A1 EP 2649789 A1 EP2649789 A1 EP 2649789A1 EP 11801790 A EP11801790 A EP 11801790A EP 2649789 A1 EP2649789 A1 EP 2649789A1
Authority
EP
European Patent Office
Prior art keywords
photodetectors
image
selection
images
sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP11801790.4A
Other languages
German (de)
English (en)
Inventor
Michel Tulet
Xavier Sembely
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Airbus Defence and Space SAS
Original Assignee
Astrium SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Astrium SAS filed Critical Astrium SAS
Publication of EP2649789A1 publication Critical patent/EP2649789A1/fr
Withdrawn legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/13—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/42—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by switching between different modes of operation using different resolutions or aspect ratios, e.g. switching between interlaced and non-interlaced mode

Definitions

  • the present invention relates to a method of using an image sensor on board a satellite or an aircraft, as well as an image sensor and an image capture device adapted to implement a such a method.
  • earth observation or reconnaissance missions require images with very fine resolution. These may include observation missions that are conducted from a satellite, which may be a low-orbit satellite, a geostationary satellite, or a satellite in a circular or elliptical intermediate orbit. For example, a resolution of less than 1 meter may be required for images that are captured from a low-level satellite, and a resolution of less than 50 meters for images captured from a geostationary satellite.
  • a resolution that is obtained is limited by the variations in the line of sight of the imaging system used, which occur during the exposure time that is implemented to capture each image. observation.
  • Such unintentional variations of the line of sight may have multiple causes, such as vibrations that are produced by moving parts on board the satellite, such as satellite attitude control systems, among others. These vibrations in turn cause high frequency deformations of the imaging system, which in turn contribute to changes in the line of sight.
  • image jitter image jitter
  • Laser metrology devices have also been proposed to constitute the pseudo-inertial reference. Images of a reference laser beam are then captured and processed at a high rate to characterize the vibrations and distortions of the imaging system during each observation image capture exposure. But the addition to the imaging system of such a laser device which constitutes a pseudo-inertial reference makes the design and the realization of this system more complex. Its cost price is then increased, as well as its weight, which is particularly disadvantageous when the imaging system is intended to be onboard a satellite, particularly with respect to the cost of launching the satellite.
  • image sensors dedicated to the detection of image shake, which are separate from the imaging system dedicated to the observation function.
  • image-shake sensors are designed to detect high-frequency changes in the line of sight. But these are additional sensors that increase the total cost of the imaging set. In addition, their performance can hardly be guaranteed because they depend on the texture of each area that is imaged on these image shake sensors.
  • One of the aims of the present invention is then to provide a method of characterizing the image shake that occurs during the capture of an observation image, for which the above disadvantages are reduced or deleted.
  • a first object of the invention is to characterize the image shake including the components thereof which have high frequencies.
  • a second object of the invention is to characterize the image shake with the contributions to it which result from the deformations of the observation imaging system.
  • a third object of the invention is to characterize the image shake without substantially increasing the total weight and the cost of embedded systems on board the satellite or the aircraft, nor increase the complexity of the imaging system.
  • a fourth object of the invention is to keep available the total photosensitive surface of the image sensor for the function of capturing the observation images.
  • a fifth object of the invention is to provide a characterization of the image shake in the greatest possible number of circumstances, in particular even if parts of the image which is formed on the photosensitive surface of the sensor have a contrast very weak.
  • the invention provides a novel method of using an image sensor on board a satellite or an aircraft.
  • the image sensor comprises an array of photodetectors which are arranged in rows and columns of this array, and further comprises a plurality of row decoders and a plurality of column decoders, an addressing circuit and a sequencer which is coupled to the array. matrix of photodetectors by the addressing circuit. In this way, an individual operation of each photodetector can be controlled, according to accumulation, reading and resetting steps.
  • the method comprises a first image acquisition sequence, which is carried out with the photodetectors of a first selection inside the matrix, and which is repeated at a first frequency to capture a first series of images to this first frequency.
  • This first image capture sequence comprises an accumulation step, a read step and a reset step for each photodetector of the first selection.
  • this first selection of photodetectors may correspond to all the photodetectors of the matrix.
  • the method further comprises a second image acquisition sequence, which is carried out with the photodetectors of a second selection also inside the matrix, and which is repeated at a second frequency to capture a second series of images at this second frequency.
  • the second frequency is greater than the first frequency, and the first selection has more photodetectors than the second selection, with photodetectors that are common to both selections.
  • the second image acquisition sequence does not include a reset step for each photodetector which is common to both selections.
  • a step of accumulating a photodetector common to the first and second selections which is in progress just before a reading step executed for this common photodetector according to the second image acquisition sequence is continued just after this same read step performed according to the second image capture sequence.
  • the invention proposes to capture images according to two nested sequences, and by using selections of photodetectors which are different.
  • the first sequence with a lower image capture frequency, is intended to provide observation images whereas the second, higher frequency sequence is dedicated to the characterization of the variations of the line of sight; to say, the shake of the images of observation.
  • the same imaging optics can easily be used for the images of the first series and those of the second series, in particular because the same matrix of photodetectors is used for these two series. For this reason, the total weight on board a satellite or aircraft from which the observation images are captured is not increased. Nor is the design of the imaging optics specifically modified to characterize the image shake, so that the launch cost of the satellite and the cost of the imaging system are not not significantly increased.
  • the image shake that is detected includes all the contributions present, not only those that have causes external to the imaging system, but also the contributions of the deformations of the imaging system itself.
  • the second image capture frequency is limited only by the maximum frequency with which the photodetectors of the second selection can be read without being reset. This second frequency can therefore be high, especially if the number of photodetectors of the second selection is not too large. For this reason, the method of the invention makes it possible to detect variations that correspond to high frequencies, from the images of the second series.
  • the method of the invention can be used to detect variations in the line of sight of the imaging system that includes the image sensor. These variations are detected from a comparison between pattern positions within the images that are successively captured according to the second image capture sequence with the photodetectors of the second selection. Components of these line-of-sight variations that have high frequencies can thus be detected.
  • the variations of the line of sight can then be compensated inside the camera, in particular by controlling appropriate displacements of certain optical components, preferably in an analog manner.
  • the variations of the line of sight that are detected can be used to control a compensation system of these line of sight variations.
  • these variations of the line of sight can be compensated by moving at least one optical component of the imaging system that includes the image sensor.
  • the variations of the line of sight that are detected can be used to control a satellite or aircraft attitude control system.
  • the invention also provides the image sensor which is adapted to be on board a satellite or an aircraft.
  • This image sensor comprises the photodetector matrix, the row and column decoders of this matrix, the addressing circuit, and the sequencer, the latter being adapted to control the first and second image capture sequences in accordance with FIG. previously described method.
  • the sequencer may be further adapted to ensure that the second selection of photodetectors is included in the first selection, and / or that the photodetectors of the second selection are adjacent to each other within at least one window in the array.
  • the invention finally proposes an image capture device which comprises such an image sensor and a detection module for the variations of the line of sight.
  • the detection module of the variations of the line of sight is adapted to compare the positions of the pattern inside the images which are seized successively according to the second image acquisition sequence with the photodetectors of the second selection, and to detect these variations from a result of the comparison.
  • FIG. 1 illustrates an application of the invention to an observation satellite
  • FIG. 2 schematically represents an image capture device architecture adapted to implement the invention
  • FIG. 3 shows an exemplary window distribution adapted for the invention, inside a matrix of photodetectors
  • FIGS. 4a and 5a are two chronological diagrams which respectively illustrate two variants of a sequential mode of image capture, known from the prior art.
  • an imaging system is embarked aboard a satellite S, which may be low-level or geostationary orbiting the Earth or another planet.
  • the imaging system comprises, in the usual way, an image forming optics 2 and an image sensor 1 which is situated in an image forming plane of the optical element 2.
  • E denotes the optical input of optics 2
  • D designates the line of sight of the imaging system.
  • the line of sight D may vary during an exposure time of the photodetectors of the sensor 1 because of vibrations of the satellite S as a whole, vibrations which are generated by moving parts present on board the satellite S and which are transmitted to the system imaging, deformations of the imaging system, etc.
  • Such deformations of the imaging system may concern, for example, image forming optics 2, or modifying the position of the sensor 1 with respect to this optic 2.
  • high frequency vibrations which are experienced by the imaging system 2.
  • Imaging may cause deformations of this system themselves.
  • Variations in line of sight D result, which occur during the exposure time of the photodetectors to capture an observation image.
  • the invention as described makes it possible to detect and characterize these variations of the line of sight D.
  • the invention consists in a new use of the photodetector matrix of the image sensor 1, which makes it possible to detect the variations of the line of sight D without the need to add one or more additional sensors (s) ( s) forming an inertial or pseudo-inertial reference.
  • the invention is described in the context of the image capture mode using a matrix detector called "starter" in English, when the image is fixed on the detector during the image capture time.
  • the photodetector array of the image sensor 1 has adjacent rows and columns of photodetectors, for example, several thousand photodetectors in the respective two row and column directions.
  • a main window is fixed inside this matrix, to acquire the observation images.
  • This main window may correspond to the entire matrix of photodetectors, but not necessarily. It constitutes the first selection of photodetectors inside the matrix of the image sensor 1, introduced earlier in the general part of the description.
  • At least one, preferably several secondary windows are also determined inside the matrix of photodetectors.
  • Each secondary window has a number of photodetectors that are smaller or even much smaller than the main window.
  • the secondary windows together constitute the second selection of photodetectors within the array of the sensor 1.
  • each main or secondary window contains all neighboring photodetectors in the array of the image sensor 1 which are within a peripheral boundary of this window.
  • the photodetectors of the second selection can thus be adjacent to each other inside the secondary window or windows.
  • each secondary window can contain a hundred times less photodetectors than the main window. The operation of each photodetector then varies depending on whether this photodetector belongs to a secondary window or is located in the main window outside the secondary windows.
  • the photodetectors of the main window outside the secondary windows are used in the usual way, according to a succession of accumulation steps, also called integration step, read and reset. This succession of steps has been called the first sequence in the general part of this description.
  • the observation images are thus captured outside the secondary windows, at a first frequency when this first sequence is repeated.
  • the photodetectors of the secondary windows are used according to a double implementation.
  • the first image capture sequence which produces the observation images, is thus executed and repeated at the first frequency for all the photodetectors of the main window.
  • the observation images are complete inside the entire main window.
  • They are called first series of images, and can be entered according to one of the known modes of control of a matrix image sensor, in particular the snapshot mode ("snapshot mode" in English), the sequential mode ("rolling" mode) or progressive scan mode.
  • the photodetectors of the secondary windows are used in accordance with a second image acquisition sequence, which is repeated at a second frequency higher than the first frequency.
  • the second image capture sequence for each photodetector of the secondary windows is executed at the same time as the first sequence, during accumulation periods of this first sequence. It includes a reading step of the photodetector, to capture the level of accumulation that is reached at the time of this reading. However, so that the image capture according to the first sequence is not disturbed by that according to the second sequence, it is necessary that the second sequence does not include a step of resetting the photodetector. In particular, thanks to such a lack of reset, the signal-to-noise ratio of the observation image information that is read according to the first image capture sequence is not degraded in the secondary windows, relative to to its value outside these same secondary windows.
  • FIG. 2 shows the architecture of an image capture device that makes it possible to implement the method with two simultaneous sequences which has just been described.
  • the image sensor 1 usually comprises the matrix of photodetectors 10, several decoders of lines 1 1 denoted DEC. LINES, several decoders of columns 12 noted DEC. COLUMNS, an addressing circuit 13 noted ADDRESS. and a sequencer 14 denoted SEQ.
  • This device allows individual addressing of the photodetectors of the matrix 10.
  • the matrix of the photodetectors 10 may be CMOS technology.
  • the sequencer 14 is coupled to the matrix 10 by the addressing circuit 13, and makes it possible to control the individual operation of each photodetector to perform a programmed succession of accumulation, reading and reset steps.
  • the sequencer 14 is programmed to control the first image capture sequence described above for all the photodetectors of the main window, and the second image capture sequence in addition to the first sequence to the photodetectors of the secondary windows.
  • an image texture analysis can also be performed, in particular to select the pattern in addition to the use of the pattern itself.
  • characteristics of the pattern or of the texture can be determined a priori in a station on the ground before capturing an image, by exploiting images that have been captured beforehand, in particular by using the same device. Such an application may be of interest for observing the same area at times which are temporally offset, or for searching for the possible presence of mobile elements within a surveillance zone, as examples.
  • pattern, image texture, and contrast are features of an image that are distinct.
  • the image capture device further comprises an image processing unit 20, which itself comprises a window selection module 21 and a detection module 22 for detecting the variations of the line of sight D, noted D-DETECTION.
  • an image processing unit 20 which itself comprises a window selection module 21 and a detection module 22 for detecting the variations of the line of sight D, noted D-DETECTION.
  • Several strategies can be implemented alternately by the module 21 to select, within the matrix 10, the secondary windows for which the sequencer 14 will control the second image acquisition sequence.
  • At least one of the secondary windows which is used for the images captured according to the second sequence is selected inside the matrix of the photodetectors 10 from an image which has been previously entered according to the first sequence.
  • a first image is first captured with all the photodetectors of the main window, and parts of this first image are searched for constituting the secondary windows which will then be used for the second image acquisition sequence.
  • the secondary windows are then fixed permanently for this image capture or for the sequence of image captures which concerns the same area observed.
  • At least one of these secondary windows may be selected from the previously entered image based on one of the following criteria, or a combination of these criteria: l ⁇ l an image texture inside the window for the previously captured image; an absence of clouds inside the window for the previously captured image; and
  • the criterion l ⁇ l in general and the criterion in the particular case of an observation of the surface of the Earth, ensure that the images which are seized subsequently according to the second sequence in the secondary windows contain at least one pattern of which the successive positions within these images can be compared with each other.
  • the criterion / Ni / makes it possible to compare the movements of patterns in different places of the main window. It is then possible to deduce a characterization of the movement of the imaging system during each accumulation of image observation, and in particular the variations of the line of sight D. In particular, it is possible to distinguish a rotational movement around the line of sight D of a transverse movement.
  • a second secondary window selection strategy several windows smaller than the main window are fixed a priori, in each of which images are captured according to the second sequence. For example, an even distribution of small secondary windows within the main window can be adopted.
  • the first and second image capture sequences are then implemented in the manner that has been described.
  • the main window is thus used to capture the first set of images for the observation function, and the smaller windows are used to capture second sets of images respectively with each of these smaller windows.
  • at least one of these smaller windows is selected, and the second series of images that were captured with this selected window (s) are used to detect line-of-sight variations. D from the successive positions of patterns in this (these) window (s) selected (s).
  • the second Image capture sequence is performed with a number of secondary windows that is greater than the required number, and then a selection of some of these secondary windows is performed to determine the motion of the imaging system.
  • This posterior selection of the secondary window or windows may be performed according to the same criteria as those mentioned above for the first strategy.
  • FIG. 3 represents a distribution of the secondary windows in the photodetector matrix 10, as such a distribution can result from one or the other of the two strategies that have just been presented.
  • the reference M10 designates more precisely the peripheral limit of the matrix of the photodetectors 10.
  • the figure shows an example of a terrestrial scene which is imaged on the matrix 10.
  • the reference W1 designates the peripheral limit of the main window
  • the references W2 denote the respective peripheral boundaries of several secondary windows that are used to detect changes in the line of sight D.
  • the secondary windows are located inside the main window, and contain contrasting patterns that can be spotted in images seized successively according to the second sequence.
  • one of the secondary windows that is shown contains a grid pattern that is a city located in the field of view.
  • Another secondary window contains a strip pattern which is an airstrip.
  • the secondary windows are quite far apart from each other inside the main window.
  • the module 22 can be adapted to transmit data representing line of sight variations D, to a system 30 of attitude control of the aircraft. Satellite or aircraft, noted SCAO in Figure 2. Alternatively or simultaneously, the module 22 can also transmit these data to a shake compensation system of the imaging system. Such a shake compensation system is referenced 40 and noted D- COMPENSATION. It can make it possible to reduce in real time the variations of the line of sight D during the accumulation steps, by compensating for the image displacements in the focal plane which are caused by the vibrations and deformations experienced by the capture device. 'picture.
  • Such camera shake compensation can be performed by correcting the line of sight in the instrument in real time. This correction can be produced by moving:
  • the focal plane or the image sensor in this focal plane, for example using a piezoelectric actuator, or
  • an optical component for example a reflecting mirror which is placed upstream of the image sensor.
  • Each line of the matrix 10 is thus exposed during an accumulation time which is referenced A (i) for the line i, the natural numbering integer i the rows of the matrix 10 between its first line denoted 1 and its last line noted N.
  • the accumulation time for each line i and for each observation image capture period is followed by a read step, referenced R (i) for the line i.
  • a reset of the photodetectors of the line i is carried out simultaneously at the beginning of the observation image reading step for this same line i.
  • the reading steps R (i) of the different photodetector lines are progressively shifted during each observation image capture period.
  • FIGS. 4a and 5a are chronological diagrams of the sequential mode of image capture, as known from the prior art in its two variants, respectively with an accumulation duration less than and equal to the observation image capture period. .
  • each row reading step R (i) can be followed by an additional step Ra of secondary window reading.
  • these additional read steps Ra are dedicated in a manner equivalent to the reading of all the secondary windows which are used, so that all these secondary windows are read according to the same value of second frequency.
  • the execution of the additional steps Ra secondary window reading is provided during the programming of the sequencer 14.
  • additional steps Ra which are dedicated at least in part to the reading portions of line 1 of the matrix of photodetectors 10 which belong to secondary windows.
  • These assignments of the steps Ra are represented by vertical arrows in the diagram. Those portions of line 1 which belong to the secondary windows and which are read during the additional steps Ra have narrow hatches.
  • FIG. 5b likewise comprises additional steps Ra for reading the portions of lines of the matrix 10 belonging to the secondary windows. These steps Ra can still be performed after the read steps with reset of the complete lines of the matrix 10.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

Un procédé d'utilisation d'un capteur d'image à bord d'un satellite ou d'un aéronef, comprend deux séquences simultanées de saisie d'images. La première séquence correspond à une saisie d'images d'observation, et la seconde séquence correspond à une saisie d'images dédiées à la détection d'un bougé des images d'observation. Les images dédiées à la détection du bougé sont restreintes à des fenêtres qui sont au moins en partie contenues dans une fenêtre principale des images d'observation. En outre, lesdites images dédiées à la détection du bougé sont saisies à une fréquence supérieure à une fréquence des images d'observation.

Description

PROCEDE D'UTILISATION D'UN CAPTEUR D'IMAGE
La présente invention concerne un procédé d'utilisation d'un capteur d'image à bord d'un satellite ou d'un aéronef, ainsi qu'un capteur d'image et un dispositif de saisie d'image adaptés pour mettre en œuvre un tel procédé.
De plus en plus, les missions d'observation terrestre ou de reconnaissance nécessitent d'obtenir des images avec une résolution très fine. Il peut s'agir notamment de missions d'observation qui sont réalisées à partir d'un satellite, celui-ci pouvant être un satellite à orbite basse, un satellite géostationnaire, ou un satellite sur une orbite intermédiaire circulaire ou elliptique. Par exemple, une résolution inférieure à 1 mètre peut être demandée pour des images qui sont saisies à partir d'un satellite à basse altitude, et une résolution inférieure à 50 mètres pour des images saisies à partir d'un satellite géostationnaire. Or, pour de telles conditions d'imagerie, la résolution qui est obtenue est limitée par les variations de la ligne de visée du système d'imagerie utilisé, qui se produisent pendant la durée d'exposition qui est mise en œuvre pour saisir chaque image d'observation. De telles variations involontaires de la ligne de visée peuvent avoir des causes multiples, telles que des vibrations qui sont produites par des parties mobiles présentes à bord du satellite, comme les systèmes de contrôle d'attitude du satellite, notamment. Ces vibrations provoquent à leur tour des déformations à haute fréquence du système d'imagerie, qui contribuent elles-mêmes en plus aux variations de la ligne de visée. Dans le jargon de l'Homme du métier, ces variations involontaires de la ligne de visée pendant l'exposition de chaque saisie d'image sont désignées par «bougé d'image» («image jitter» en anglais).
Diverses méthodes ont déjà été proposées, pour caractériser ou mesurer le bougé d'image. La plupart d'entre elles sont basées sur la saisie à haute fréquence de données qui caractérisent les variations de la ligne de visée pendant chaque exposition. Pour cela, un dispositif de métrologie est ajouté au système d'imagerie, pour constituer une référence inertielle ou pseudo-inertielle. Or les dispositifs à base de gyroscopes ou d'accéléromètres ne permettent pas de détecter des vibrations dont les fréquences sont aussi élevées que celles qui interviennent à bord d'un satellite, ni ne permettent de détecter les contributions des déformations du système d'imagerie lui-même aux variations de la ligne de visée.
Des dispositifs de métrologie par laser ont aussi été proposés pour constituer la référence pseudo-inertielle. Des images d'un faisceau laser de référence sont alors saisies et traitées à cadence élevée, pour caractériser les vibrations et déformations du système d'imagerie pendant chaque exposition de saisie d'image d'observation. Mais l'ajout au système d'imagerie d'un tel dispositif à laser qui constitue une référence pseudo-inertielle rend plus complexes la conception et la réalisation de ce système. Son prix de revient est alors augmenté, ainsi que son poids, ce qui est particulièrement pénalisant lorsque le système d'imagerie est destiné à être embarqué à bord d'un satellite, notamment par rapport au coût de lancement du satellite.
Il a encore été proposé d'acquérir et de traiter à haute cadence, pendant l'exposition qui est réalisée pour chaque image d'observation, des images d'étoiles qui constituent des repères fixes du fait de leur éloignement. Un capteur d'image secondaire est alors dédié à la saisie de ces images d'étoiles, séparément du capteur d'image principal qui est dédié à la saisie des images d'observation. Mais la structure globale du système d'imagerie est alors plus complexe, pour combiner les deux capteurs d'image, et le prix de revient de l'ensemble est encore augmenté.
Il a notamment été proposé d'utiliser des capteurs d'image dédiés à la détection du bougé d'image, qui soient séparés du système d'imagerie dédié à la fonction d'observation. De tels capteurs de bougé d'image sont conçus pour détecter à haute fréquence des variations de la ligne de visée. Mais il s'agit de capteurs supplémentaires qui augmentent le coût total de l'ensemble d'imagerie. En outre, leurs performances peuvent difficilement être garanties, car elles dépendent de la texture de chaque zone qui est imagée sur ces capteurs de bougé d'image.
Un des buts de la présente invention consiste alors à fournir une méthode de caractérisation du bougé d'image qui intervient lors de la saisie d'une image d'observation, pour laquelle les inconvénients précédents sont réduits ou supprimés.
En particulier, un premier but de l'invention consiste à caractériser le bougé d'image y compris les composantes de celui-ci qui possèdent des fréquences élevées.
Un second but de l'invention consiste à caractériser le bougé d'image avec les contributions à celui-ci qui résultent des déformations du système d'imagerie d'observation.
Un troisième but de l'invention consiste à caractériser le bougé d'image sans augmenter substantiellement le poids total et le prix de revient des systèmes embarqués à bord du satellite ou de l'aéronef, ni augmenter la complexité du système d'imagerie.
Un quatrième but de l'invention est de conserver disponible la surface photosensible totale du capteur d'image pour la fonction de saisie des images d'observation.
Enfin, un cinquième but de l'invention consiste à fournir une caractérisation du bougé d'image dans le plus grand nombre possible de circonstances, en particulier même si des parties de l'image qui est formée sur la surface photosensible du capteur présentent un contraste très faible.
Pour atteindre ces buts et d'autres, l'invention propose un nouveau procédé d'utilisation d'un capteur d'image à bord d'un satellite ou d'un aéronef. Le capteur d'image comprend une matrice de photodétecteurs qui sont agencés selon des lignes et des colonnes de cette matrice, et comprend en outre plusieurs décodeurs de lignes et plusieurs décodeurs de colonnes, un circuit d'adressage et un séquenceur qui est couplé à la matrice des photodétecteurs par le circuit d'adressage. De cette façon, un fonctionnement individuel de chaque photodétecteur peut être commandé, selon des étapes d'accumulation, de lecture et de réinitialisation.
Selon une première caractéristique de l'invention, le procédé comprend une première séquence de saisie d'image, qui est réalisée avec les photodétecteurs d'une première sélection à l'intérieur de la matrice, et qui est répétée à une première fréquence pour saisir une première série d'images à cette première fréquence. Cette première séquence de saisie d'image comprend une étape d'accumulation, une étape de lecture et une étape de réinitialisation pour chaque photodétecteur de la première sélection. Eventuellement, cette première sélection de photodétecteurs peut correspondre à la totalité des photodétecteurs de la matrice.
Selon une seconde caractéristique de l'invention, le procédé comprend en outre une seconde séquence de saisie d'image, qui est réalisée avec les photodétecteurs d'une seconde sélection aussi à l'intérieur de la matrice, et qui est répétée à une seconde fréquence pour saisir une seconde série d'images à cette seconde fréquence. La seconde fréquence est supérieure à la première fréquence, et la première sélection comporte plus de photodétecteurs que la seconde sélection, avec des photodétecteurs qui sont communs aux deux sélections.
Selon une troisième caractéristique de l'invention, la seconde séquence de saisie d'image ne comprend pas d'étape de réinitialisation pour chaque photodétecteur qui est commun aux deux sélections. De cette façon, une étape d'accumulation d'un photodétecteur commun aux première et seconde sélections qui est en cours juste avant une étape de lecture exécutée pour ce photodétecteur commun selon la seconde séquence de saisie d'image, est poursuivie juste après cette même étape de lecture exécutée selon la seconde séquence de saisie d'image.
Enfin, selon une quatrième caractéristique de l'invention, plusieurs images de la seconde série sont saisies avec les photodétecteurs de la seconde sélection pendant qu'une seule image de la première série est saisie avec les photodétecteurs de la première sélection.
Ainsi, l'invention propose de saisir des images selon deux séquences imbriquées, et en utilisant des sélections de photodétecteurs qui sont différentes. La première séquence, à plus basse fréquence de saisie d'image, est destinée à fournir des images d'observation alors que la seconde séquence, à plus haute fréquence, est dédiée à la caractérisation des variations de la ligne de visée, c'est-à-dire du bougé des images d'observation.
Une même optique de formation d'image peut facilement être utilisée pour les images de la première série et celles de la seconde série, notamment parce que la même matrice de photodétecteurs est utilisée pour ces deux séries. Pour cette raison, le poids total embarqué à bord d'un satellite ou d'un aéronef à partir duquel les images d'observation sont saisies, n'est pas augmenté. La conception de l'optique de formation d'image n'est pas non plus modifiée spécifiquement pour permettre de caractériser le bougé d'image, si bien que le coût de lancement du satellite et le prix de revient du système d'imagerie ne sont pas augmentés significativement.
De plus, aussi parce que les images qui sont dédiées à la caractérisation du bougé d'image et celles d'observation peuvent être formées par la même optique et sont saisies par la même matrice de photodétecteurs, le bougé d'image qui est détecté comprend toutes les contributions présentes, non seulement celles qui ont des causes externes au système d'imagerie, mais aussi les contributions des déformations du système d'imagerie lui-même.
En outre, la seconde fréquence de saisie d'image n'est limitée que par la fréquence maximale avec laquelle les photodétecteurs de la seconde sélection peuvent être lus sans être réinitialisés. Cette seconde fréquence peut donc être élevée, notamment si le nombre des photodétecteurs de la seconde sélection n'est pas trop grand. Pour cette raison, le procédé de l'invention permet de détecter des variations qui correspondent à des fréquences élevées, à partir des images de la seconde série.
En particulier, le procédé de l'invention peut être utilisé pour détecter les variations de la lignée de visée du système d'imagerie qui comprend le capteur d'image. Ces variations sont détectées à partir d'une comparaison entre des positions de motif à l'intérieur des images qui sont saisies successivement selon la seconde séquence de saisie d'image avec les photodétecteurs de la seconde sélection. Des composantes de ces variations de la ligne de visée qui ont des fréquences élevées peuvent ainsi être détectées. Les variations de la ligne de visée peuvent alors être compensées à l'intérieur de l'instrument de prise de vues, notamment en commandant des déplacements appropriés de certains composants optiques, de préférence d'une façon analogique. Selon une première utilisation d'un procédé selon l'invention, les variations de la lignée de visée qui sont détectées peuvent être utilisées pour commander un système de compensation de ces variations de ligne de visée. De préférence, ces variations de la ligne de visée peuvent être compensées en déplaçant au moins un composant optique du système d'imagerie qui comprend le capteur d'image.
Selon une seconde utilisation de l'invention à bord d'un satellite ou d'un aéronef, les variations de la lignée de visée qui sont détectées peuvent être utilisées pour commander un système de contrôle d'attitude du satellite ou de l'aéronef.
L'invention propose aussi le capteur d'image qui est adapté pour être embarqué à bord d'un satellite ou d'un aéronef. Ce capteur d'image comprend la matrice de photodétecteurs, les décodeurs de lignes et de colonnes de cette matrice, le circuit d'adressage, et le séquenceur, ce dernier étant adapté pour commander les première et seconde séquences de saisie d'image conformément au procédé décrit précédemment.
Le séquenceur peut être adapté en outre pour assurer que la seconde sélection de photodétecteurs soit comprise dans la première sélection, et/ou que les photodétecteurs de la seconde sélection soient adjacents entre eux à l'intérieur d'au moins une fenêtre dans la matrice.
L'invention propose enfin un dispositif de saisie d'image qui comprend un tel capteur d'image et un module de détection des variations de la ligne de visée. Dans ce dispositif, le module de détection des variations de la ligne de visée est adapté pour comparer des positions de motif à l'intérieur des images qui sont saisies successivement selon la seconde séquence de saisie d'image avec les photodétecteurs de la seconde sélection, et pour détecter ces variations à partir d'un résultat de la comparaison.
D'autres particularités et avantages de la présente invention apparaîtront dans la description ci-après d'exemples de mise en œuvre non limitatifs, en référence aux dessins annexés, dans lesquels :
- la figure 1 illustre une application de l'invention à un satellite d'observation ; - la figure 2 représente schématiquement une architecture de dispositif de saisie d'image, adaptée pour mettre en œuvre l'invention ;
- la figure 3 montre un exemple de répartition de fenêtres adapté pour l'invention, à l'intérieur d'une matrice de photodétecteurs ;
- les figures 4a et 5a sont deux diagrammes chronologiques qui illustrent respectivement deux variantes d'un mode séquentiel de saisie d'image, connues de l'art antérieur ; et
- les figures 4b et 5b correspondent respectivement aux figures 4a et 5a, pour deux mises en œuvre de l'invention.
Conformément à la figure 1 , un système d'imagerie est embarqué à bord d'un satellite S, qui peut être à basse altitude ou géostationnaire en orbite autour de la Terre ou d'une autre planète. Le système d'imagerie comprend, de façon usuelle, une optique de formation d'image 2 et un capteur d'image 1 qui est situé dans un plan de formation d'image de l'optique 2. E désigne l'entrée optique de l'optique 2, et D désigne la ligne de visée du système d'imagerie. La ligne de visée D peut varier pendant une durée d'exposition des photodétecteurs du capteur 1 à cause de vibrations du satellite S dans son ensemble, de vibrations qui sont générées par des parties mobiles présentes à bord du satellite S et qui sont transmises au système d'imagerie, de déformations du système d'imagerie, etc. De telles déformations du système d'imagerie peuvent concerner par exemple l'optique de formation d'image 2, ou modifier la position du capteur 1 par rapport à cette optique 2. Notamment, des vibrations à haute fréquence qui sont subies par le système d'imagerie sont susceptibles de provoquer elles-mêmes des déformations de ce système. Des variations de la ligne de visée D en résultent, qui interviennent pendant la durée d'exposition des photodétecteurs pour saisir une image d'observation. L'invention telle que décrite permet de détecter et de caractériser ces variations de la ligne de visée D.
L'invention consiste en une nouvelle utilisation de la matrice de photodétecteurs du capteur d'image 1 , qui permet de détecter les variations de la ligne de visée D sans qu'il soit nécessaire d'ajouter un ou plusieurs capteur(s) additionnel(s) formant une référence inertielle ou pseudo-inertielle. L'invention est décrite dans le cadre du mode de saisie d'image à l'aide d'un détecteur matriciel dit «starer» en anglais, lorsque l'image est fixe sur le détecteur pendant la durée de saisie d'image.
La matrice de photodétecteurs du capteur d'image 1 comporte des lignes et des colonnes adjacentes de photodétecteurs, par exemple plusieurs milliers de photodétecteurs selon les deux directions respectives de ligne et de colonne. Une fenêtre principale est fixée à l'intérieur de cette matrice, pour acquérir les images d'observation. Cette fenêtre principale peut correspondre à l'ensemble de la matrice des photodétecteurs, mais pas nécessairement. Elle constitue la première sélection de photodétecteurs à l'intérieur de la matrice du capteur d'image 1 , introduite plus haut dans la partie générale de la description.
Selon l'invention, au moins une, de préférence plusieurs fenêtres secondaires sont aussi déterminées à l'intérieur de la matrice de photodétecteurs. Chaque fenêtre secondaire possède un nombre de photodétecteurs qui est inférieur, voire beaucoup plus petit, que celui de la fenêtre principale. Les fenêtres secondaires constituent ensemble la seconde sélection de photodétecteurs à l'intérieur de la matrice du capteur 1 .
Il n'est pas nécessaire que toutes les fenêtres secondaires soient situées à l'intérieur de la fenêtre principale, mais elles possèdent chacune des photodétecteurs en commun avec celle-ci. On pourra considérer dans la suite que les fenêtres secondaires sont restreintes aux photodétecteurs communs, si bien que les fenêtres secondaires peuvent apparaître contenues dans la fenêtre principale. De cette façon notamment, la seconde sélection de photodétecteurs peut être comprise dans la première sélection.
De préférence, chaque fenêtre principale ou secondaire contient tous les photodétecteurs voisins dans la matrice du capteur d'image 1 qui sont à l'intérieur d'une limite périphérique de cette fenêtre. En particulier, les photodétecteurs de la seconde sélection peuvent ainsi être adjacents entre eux à l'intérieur de la ou des fenêtres secondaires. Typiquement, chaque fenêtre secondaire peut contenir cent fois moins de photodétecteurs que la fenêtre principale. Le fonctionnement de chaque photodétecteur varie alors selon que ce photodétecteur appartient à une fenêtre secondaire ou est situé dans la fenêtre principale en dehors des fenêtres secondaires.
Les photodétecteurs de la fenêtre principale en dehors des fenêtres secondaires sont utilisés de façon usuelle, selon une succession d'étapes d'accumulation, aussi appelée étape d'intégration, de lecture et de réinitialisation. Cette succession d'étapes a été appelée première séquence dans la partie générale de cette description. Les images d'observation sont ainsi saisies en dehors des fenêtres secondaires, à une première fréquence lorsque cette première séquence est répétée.
Les photodétecteurs des fenêtres secondaires sont utilisés selon une double mise en œuvre.
D'une part, ils sont utilisés conformément à la première séquence de saisie d'image, d'une façon qui est identique aux photodétecteurs de la fenêtre principale qui sont situés en dehors des fenêtres secondaires. La première séquence de saisie d'image, qui produit les images d'observation, est donc exécutée et répétée à la première fréquence pour tous les photodétecteurs de la fenêtre principale. De cette façon, les images d'observation sont complètes à l'intérieur de toute la fenêtre principale. Elles sont appelées première série d'images, et peuvent être saisies selon l'un des modes connus de commande d'un capteur d'image matriciel, notamment le mode instantané («snapshot mode» en anglais), le mode séquentiel («rolling mode») ou le mode progressif («progressive scan mode»).
D'autre part, les photodétecteurs des fenêtres secondaires sont utilisés conformément à une seconde séquence de saisie d'image, qui est répétée à une seconde fréquence supérieure à la première fréquence.
La seconde séquence de saisie d'image pour chaque photodétecteur des fenêtres secondaires est exécutée en même temps que la première séquence, pendant des durées d'accumulation de cette première séquence. Elle comprend une étape de lecture du photodétecteur, pour saisir le niveau d'accumulation qui est atteint au moment de cette lecture. Toutefois, pour que la saisie d'image selon la première séquence ne soit pas perturbée par celle selon la seconde séquence, il est nécessaire que la seconde séquence ne comporte pas d'étape de réinitialisation du photodétecteur. En particulier, grâce à une telle absence de réinitialisation, le rapport signal-sur-bruit des informations d'image d'observation qui sont lues selon la première séquence de saisie d'image n'est pas dégradé dans les fenêtres secondaires, par rapport à sa valeur en dehors de ces mêmes fenêtres secondaires. Ainsi, plusieurs étapes de lecture sont exécutées successivement pour chaque photodétecteur des fenêtres secondaires, selon la seconde séquence de saisie d'image pendant une même étape d'accumulation qui est réalisée selon la première séquence de saisie. Puis cette étape d'accumulation est suivie par l'étape de lecture avec réinitialisation de la première séquence de saisie d'image. De cette façon, en plus de leur utilisation pour saisir l'image d'observation complète, les photodétecteurs de chaque fenêtre secondaire, c'est-à-dire les photodétecteurs de la seconde sélection, fournissent simultanément des images secondaires à la seconde fréquence, dites seconde série d'images.
La figure 2 montre l'architecture d'un dispositif de saisie d'image qui permet de mettre en œuvre le procédé à deux séquences simultanées qui vient d'être décrit. Le capteur d'image 1 comprend de façon usuelle la matrice de photodétecteurs 10, plusieurs décodeurs de lignes 1 1 notés DEC. LIGNES, plusieurs décodeurs de colonnes 12 notés DEC. COLONNES, un circuit d'adressage 13 noté ADDRESS. et un séquenceur 14 noté SEQ. Ce dispositif permet un adressage individuel des photodétecteurs de la matrice 10. Pour cela, la matrice des photodétecteurs 10 peut être de la technologie CMOS. Le séquenceur 14 est couplé à la matrice 10 par le circuit d'adressage 13, et permet de contrôler le fonctionnement individuel de chaque photodétecteur pour effectuer une succession programmée d'étapes d'accumulation, de lecture et de réinitialisation. Ainsi, le séquenceur 14 est programmé pour commander la première séquence de saisie d'image décrite plus haut à tous les photodétecteurs de la fenêtre principale, et la seconde séquence de saisie d'image en plus de la première séquence aux photodétecteurs des fenêtres secondaires.
Il est alors possible de détecter des variations de la lignée de visée D pendant chaque accumulation exécutée pour saisir une image d'observation, en comparant les positions d'au moins un motif à l'intérieur des images qui sont saisies successivement selon la seconde séquence, dans certaines au moins des fenêtres secondaires. Eventuellement, une analyse de texture d'image peut en outre être effectuée, notamment pour sélectionner le motif en plus de l'utilisation du motif lui-même. Avantageusement, des caractéristiques du motif ou de la texture peuvent être déterminées a priori dans une station au sol avant de saisir une image, en exploitant des images qui ont été saisies préalablement, notamment en utilisant le même dispositif. Une telle application peut être intéressante pour observer une même zone à des instants qui sont décalés temporellement, ou pour rechercher la présence éventuelle d'éléments mobiles à l'intérieur d'une zone de surveillance, à titre d'exemples. D'une façon qui est connue, motif, texture d'image et contraste sont des caractéristiques d'une image qui sont distinctes.
Pour cela, le dispositif de saisie d'image comprend en plus une unité de traitement d'image 20, qui comporte elle-même un module 21 de sélection des fenêtres et un module 22 de détection des variations de la ligne de visée D, noté D-DETECTION. Plusieurs stratégies peuvent être mises en œuvre alternativement par le module 21 pour sélectionner, à l'intérieur de la matrice 10, les fenêtres secondaires pour lesquelles le séquenceur 14 commandera la seconde séquence de saisie d'image.
Selon une première stratégie, au moins l'une des fenêtres secondaires qui est utilisée pour les images saisies selon la seconde séquence, est sélectionnée à l'intérieur de la matrice des photodétecteurs 10 à partir d'une image qui a été saisie préalablement selon la première séquence. Autrement dit, une première image est d'abord saisie avec tous les photodétecteurs de la fenêtre principale, et des parties de cette première image sont recherchées pour constituer les fenêtres secondaires qui seront utilisées ensuite pour la seconde séquence de saisie d'image. Les fenêtres secondaires sont alors fixées définitivement pour cette saisie d'image ou pour la séquence de saisies d'images qui concerne une même zone observée. Au moins l'une de ces fenêtres secondaires peut être sélectionnée d'après l'image saisie préalablement en fonction d'un des critères suivants, ou d'une combinaison de ces critères : l\l une texture d'image à l'intérieur de la fenêtre pour l'image saisie préalablement ; une absence de nuages à l'intérieur de la fenêtre pour l'image saisie préalablement ; et
/Ni/ lorsque plusieurs fenêtres sont utilisées pour les images saisies selon la seconde séquence, une répartition de ces fenêtres à l'intérieur de la matrice des photodétecteurs 10.
Le critère l\l d'une façon générale et le critère dans le cas particulier d'une observation de la surface de la Terre, assurent que les images qui sont saisies ultérieurement selon la seconde séquence dans les fenêtres secondaires contiennent au moins un motif dont les positions successives à l'intérieur de ces images peuvent être comparées entre elles. Le critère /Ni/ permet de comparer les déplacements de motifs dans des endroits différents de la fenêtre principale. Il est alors possible d'en déduire une caractérisation du mouvement du système d'imagerie pendant chaque accumulation d'image observation, et notamment les variations de la ligne de visée D. En particulier, il est possible de distinguer un mouvement de rotation autour de la ligne de visée D d'un mouvement transversal.
Selon une seconde stratégie de sélection des fenêtres secondaires, plusieurs fenêtres plus petites que la fenêtre principale sont fixées a priori, dans chacune desquelles des images sont saisies selon la seconde séquence. Par exemple, une répartition uniforme de petites fenêtres secondaires à l'intérieur de la fenêtre principale peut être adoptée. Les première et seconde séquences de saisie d'image sont alors mises en œuvre de la façon qui a été décrite. La fenêtre principale est ainsi utilisée pour saisir la première série d'images pour la fonction d'observation, et les fenêtres plus petites sont utilisées pour saisir des secondes séries d'images respectivement avec chacune de ces fenêtres plus petites. Ensuite, l'une au moins de ces fenêtres plus petites est sélectionnée, et les images de la seconde série qui ont été saisies avec cette (ces) fenêtre(s) sélectionnée(s) sont utilisées pour détecter les variations de la ligne de visée D à partir des positions successives de motifs dans cette (ces) fenêtre(s) sélectionnée(s). Autrement dit, la seconde séquence de saisie d'image est réalisée avec un nombre de fenêtres secondaires qui est supérieur au nombre nécessaire, puis une sélection de certaines de ces fenêtres secondaires est effectuée pour déterminer le mouvement du système d'imagerie. Cette sélection a posteriori de la ou des fenêtres secondaires peut être effectuée selon les mêmes critères que ceux qui ont été cités plus haut pour la première stratégie.
La figure 3 représente une répartition des fenêtres secondaires dans la matrice de photodétecteurs 10, comme une telle répartition peut résulter de l'une ou l'autre des deux stratégies qui viennent d'être présentées. Dans cette figure, la référence M10 désigne plus précisément la limite périphérique de la matrice des photodétecteurs 10. La figure montre un exemple de scène terrestre qui est imagée sur la matrice 10. La référence W1 désigne la limite périphérique de la fenêtre principale, et les références W2 désignent les limites périphériques respectives de plusieurs fenêtres secondaires qui sont utilisées pour détecter les variations de la ligne de visée D. Les fenêtres secondaires sont situées à l'intérieur de la fenêtre principale, et contiennent des motifs contrastés qui peuvent être repérés dans des images saisies successivement selon la seconde séquence. En particulier, l'une des fenêtres secondaires qui est représentée contient un motif en quadrillage qui est une ville située dans le champ d'observation. Une autre fenêtre secondaire contient un motif en bande qui est une piste d'atterrissage. En outre, les fenêtres secondaires sont assez éloignées les unes des autres à l'intérieur de la fenêtre principale.
Evidemment, d'autres stratégies de sélection de fenêtres dans la matrice 10 peuvent être utilisées alternativement à celles qui viennent d'être décrites en détail.
Pour une mise en œuvre de l'invention à bord du satellite S ou d'un aéronef, le module 22 peut être adapté pour transmettre des données qui représentent les variations de ligne de visée D, à un système 30 de contrôle d'attitude du satellite ou de l'aéronef, noté SCAO sur la figure 2. Alternativement ou simultanément, le module 22 peut aussi transmettre ces données à un système de compensation de bougé du système d'imagerie. Un tel système de compensation du bougé est référencé 40 et noté D- COMPENSATION. Il peut permettre de réduire en temps réel les variations de la ligne de visée D pendant les étapes d'accumulation, en compensant les déplacements d'image dans le plan focal qui sont provoqués par les vibrations et les déformations subies par le dispositif de saisie d'image.
Une telle compensation du bougé au niveau de l'instrument de prise de vues peut être effectuée en corrigeant en temps réel la ligne de visée dans l'instrument. Cette correction peut être produite en déplaçant :
- le plan focal, ou le capteur d'image dans ce plan focal, par exemple à l'aide d'un actionneur piézo-électrique, ou
- un composant optique, par exemple un miroir de renvoi qui est placé en amont du capteur d'image.
Ces deux exemples de compensation sont donnés à titre d'exemples non-limitatifs, et leurs mises en œuvre sont connues de l'Homme du métier. Par rapport à des méthodes de compensation du bougé qui procèdent par traitement d'image, celles qui opèrent en compensant les variations de la ligne de visée à l'intérieur de l'instrument de prise de vues peuvent être analogiques. Ces dernières procurent une précision qui est supérieure sans nécessiter de calculs, ce qui est particulièrement avantageux pour des applications spatiales. En effet, les applications spatiales requièrent l'utilisation de technologies spécifiques, pour répondre à des contraintes qui n'existent pas pour des applications au sol. Parmi ces contraintes spécifiques aux applications spatiales, on peut citer la limitation du nombre de composants embarqués, ou l'exigence de procédés de fabrication et de qualification qui sont conçus pour procurer une fiabilité très élevée, et qui sont par conséquent très onéreux. Enfin, les figures 4 (4a, 4b) et 5 (5a, 5b) montrent deux exemples de réalisation des première et seconde séquences de saisie d'images introduites par l'invention, telles que ces séquences peuvent être commandées chronologiquement par le séquenceur 14. La direction horizontale de ces diagrammes représentent le temps, noté t. Des périodes temporelles respectives de saisie de deux images d'observation successives sont représentées, dans le cadre C1 pour la première, et dans le cadre C2 pour la seconde. Ces images d'observation sont saisies selon le mode séquentiel («rolling») pour toutes les figures 4 et 5, avec une durée d'accumulation qui est inférieure à la période de saisie des images d'observation pour les figures 4a et 4b, et égale à cette dernière pour les figures 5a et 5b. Chaque ligne de la matrice 10 est ainsi exposée pendant une durée d'accumulation qui est référencée A(i) pour la ligne i, l'entier naturel i numérotant les lignes de la matrice 10 entre sa première ligne notée 1 et sa dernière ligne notée N. La durée d'accumulation pour chaque ligne i et pour chaque période de saisie d'image d'observation est suivie par une étape de lecture, référencée R(i) pour la ligne i. Une réinitialisation des photodétecteurs de la ligne i est effectuée simultanément au début de l'étape de lecture d'image d'observation pour cette même ligne i. Conformément au mode séquentiel, les étapes de lecture R(i) des différentes lignes de photodétecteurs sont décalées progressivement pendant chaque période de saisie d'image d'observation.
Les figures 4a et 5a sont des diagrammes chronologiques du mode séquentiel de saisie d'image, tel que connu de l'art antérieur dans ses deux variantes, respectivement à durée d'accumulation inférieure et égale à la période de saisie des images d'observation.
Conformément au diagramme de la figure 4b, chaque étape de lecture de ligne R(i) peut être suivie par une étape additionnelle Ra de lecture de fenêtre secondaire. De préférence, ces étapes additionnelles de lecture Ra sont dédiées d'une façon équivalente à la lecture de toutes les fenêtres secondaires qui sont utilisées, de sorte que toutes ces fenêtres secondaires soient lues selon la même valeur de seconde fréquence. L'exécution des étapes additionnelles Ra de lecture de fenêtre secondaire est prévue lors de la programmation du séquenceur 14. Pour la clarté de la figure 4b, seules sont indiquées des étapes additionnelles Ra qui sont dédiées au moins en partie à la lecture des portions de la ligne 1 de la matrice de photodétecteurs 10 qui appartiennent à des fenêtres secondaires. Ces affectations des étapes Ra sont représentées par des flèches verticales dans le diagramme. Ces portions de la ligne 1 qui appartiennent aux fenêtres secondaires et qui sont lues pendant les étapes additionnelles Ra ont des hachures resserrées. A partir de cette illustration pour la ligne 1 de photodétecteurs, l'Homme du métier saura poursuivre l'affectation des étapes additionnelles de lecture Ra aux portions des autres lignes de la matrice 10 qui appartiennent aussi aux fenêtres secondaires. Selon l'invention, toutes les portions de lignes de photodétecteurs qui sont lues pendant ces étapes additionnelles Ra ne sont pas réinitialisées au début, pendant ou à l'issue de ces étapes additionnelles Ra.
La figure 5b comporte de même des étapes additionnelles Ra, pour la lecture des portions de lignes de la matrice 10 qui appartiennent aux fenêtres secondaires. Ces étapes Ra peuvent encore être effectuées après les étapes de lecture avec réinitialisation des lignes complètes de la matrice 10.
Il est bien entendu que l'invention peut être reproduite en modifiant des aspects secondaires de celle-ci par rapport aux modes de mise en œuvre qui ont été décrits en détail ci-dessus, tout en conservant certains au moins des avantages qui ont été cités. En particulier, il est rappelé que les critères de sélection des fenêtres secondaires, ainsi que le nombre de ces fenêtres, peuvent être adaptés à chaque mission d'observation pour laquelle l'invention est appliquée.

Claims

R E V E N D I C A T I O N S
1 . Procédé d'utilisation d'un capteur d'image (1 ) à bord d'un satellite
(S) ou d'un aéronef, le capteur d'image comprenant une matrice de photodétecteurs (10) agencés selon des lignes et des colonnes de ladite matrice, et comprenant en outre plusieurs décodeurs de lignes (1 1 ) et plusieurs décodeurs de colonnes (12), un circuit d'adressage (13) et un séquenceur (14) couplé à la matrice des photodétecteurs par le circuit d'adressage, de façon à commander un fonctionnement individuel de chaque photodétecteur selon des étapes d'accumulation, de lecture et de réinitialisation,
le procédé comprenant une première séquence de saisie d'image, réalisée avec des photodétecteurs d'une première sélection à l'intérieur de la matrice (10), et répétée à une première fréquence pour saisir une première série d'images à ladite première fréquence, ladite première séquence de saisie d'image comprenant une étape d'accumulation, une étape de lecture et une étape de réinitialisation pour chaque photodétecteur de la première sélection, et comprenant en outre une seconde séquence de saisie d'image, réalisée avec des photodétecteurs d'une seconde sélection à l'intérieur de la matrice (10), et répétée à une seconde fréquence pour saisir une seconde série d'images à ladite seconde fréquence,
dans lequel la seconde fréquence est supérieure à la première fréquence, et la première sélection comporte plus de photodétecteurs que la seconde sélection, avec des photodétecteurs communs aux première et seconde sélections, la seconde séquence de saisie d'image ne comprenant pas d'étape de réinitialisation pour chaque photodétecteur commun aux première et seconde sélections, de sorte qu'une étape d'accumulation d'un photodétecteur commun aux dites première et seconde sélections en cours juste avant une étape de lecture exécutée pour ledit photodétecteur commun selon la seconde séquence de saisie d'image, est poursuivie juste après ladite étape de lecture exécutée selon ladite seconde séquence de saisie d'image, plusieurs images de la seconde série étant saisies avec les photodétecteurs de la seconde sélection pendant qu'une seule image de la première série est saisie avec les photodétecteurs de la première sélection.
2. Procédé selon la revendication 1 , suivant lequel la seconde sélection de photodétecteurs est comprise dans la première sélection de photodétecteurs.
3. Procédé selon la revendication 1 ou 2, suivant lequel les photodétecteurs de la seconde sélection sont adjacents entre eux à l'intérieur d'au moins une fenêtre (W2) dans la matrice (10).
4. Procédé selon la revendication 3, comprenant en outre une détection de variations d'une lignée de visée (D) d'un système d'imagerie comprenant le capteur d'image (1 ), ladite détection étant exécutée à partir d'une comparaison entre des positions de motif à l'intérieur d'images saisies successivement selon la seconde séquence de saisie d'image avec les photodétecteurs de la seconde sélection.
5. Procédé selon la revendication 4, suivant lequel ladite au moins une fenêtre (W2), utilisée pour les images saisies selon la seconde séquence de saisie d'image, est sélectionnée à l'intérieur de la matrice des photodétecteurs (10) à partir d'une image saisie préalablement selon la première séquence de saisie d'image.
6. Procédé selon la revendication 4, suivant lequel la seconde sélection de photodétecteurs comprend plusieurs fenêtres (W2) fixées initialement, puis utilisées pour saisir des images selon la seconde séquence de saisie d'image pour chacune des dites fenêtres, et suivant lequel l'une au moins des dites fenêtres est ensuite sélectionnée, et les images saisies selon la seconde séquence de saisie d'image pour ladite au moins une fenêtre sélectionnée sont utilisées pour détecter les variations de la ligne de visée (D).
7. Procédé selon la revendication 5 ou 6, suivant lequel ladite au moins une fenêtre (W2) sélectionnée est sélectionnée en fonction de : l\l une texture d'image à l'intérieur de ladite fenêtre ;
IWI une absence de nuages dans l'image à l'intérieur de ladite fenêtre ; et
/Ni/ lorsque plusieurs fenêtres sont sélectionnées, une répartition des dites fenêtres sélectionnées à l'intérieur de la matrice des photodétecteurs (10).
8. Procédé selon l'une quelconque des revendications 4 à 7, suivant lequel les variations de la lignée de visée (D) qui sont détectées sont utilisées pour commander un système (40) de compensation des dites variations de la ligne de visée.
9. Procédé selon la revendication 8, suivant lequel les variations de la ligne de visée (D) sont compensées en déplaçant au moins un composant optique du système d'imagerie.
10. Procédé selon l'une quelconque des revendications 4 à 7, suivant lequel les variations de la lignée de visée (D) qui sont détectées sont utilisées pour commander un système (30) de contrôle d'attitude du satellite (S) ou de l'aéronef.
1 1 . Capteur d'image (1 ) adapté pour être embarqué à bord d'un satellite (S) ou d'un aéronef, ledit capteur d'image comprenant une matrice de photodétecteurs (10) agencés selon des lignes et des colonnes de ladite matrice, et comprenant en outre plusieurs décodeurs de lignes (1 1 ) et plusieurs décodeurs de colonnes (12), un circuit d'adressage (13) et un séquenceur (14) couplé à la matrice des photodétecteurs par le circuit d'adressage, ledit séquenceur étant adapté pour commander un fonctionnement individuel de chaque photodétecteur selon des étapes d'accumulation, de lecture et de réinitialisation, le séquenceur (14) étant adapté en outre pour commander une première séquence de saisie d'image, réalisée à partir d'une première sélection de photodétecteurs à l'intérieur de la matrice (10), et répétée à une première fréquence pour saisir une première série d'images à ladite première fréquence, ladite première séquence de saisie d'image comprenant une étape d'accumulation, une étape de lecture et une étape de réinitialisation pour chaque photodétecteur de la première sélection,
et pour commander une seconde séquence de saisie d'image, réalisée à partir d'une seconde sélection de photodétecteurs à l'intérieur de la matrice (10), et répétée à une seconde fréquence pour saisir une seconde série d'images à ladite seconde fréquence,
la seconde fréquence étant supérieure à la première fréquence, et la première sélection comportant plus de photodétecteurs que la seconde sélection, avec des photodétecteurs communs aux première et seconde sélections,
le séquenceur (14) étant adapté en outre pour que la seconde séquence de saisie d'image ne comprenne pas d'étape de réinitialisation pour chaque photodétecteur commun aux première et seconde sélections, de sorte qu'une étape d'accumulation d'un photodétecteur commun aux dites première et seconde sélections en cours juste avant une étape de lecture exécutée pour ledit photodétecteur commun selon la seconde séquence de saisie d'image, est poursuivie juste après ladite étape de lecture exécutée selon ladite seconde séquence de saisie d'image,
de sorte que le capteur d'image (1 ) soit adapté pour saisir plusieurs images de la seconde série avec les photodétecteurs de la seconde sélection pendant qu'une seule image de la première série est saisie avec les photodétecteurs de la première sélection.
12. Capteur d'image selon la revendication 1 1 , dans lequel le séquenceur (14) est adapté en outre pour que la seconde sélection de photodétecteurs soit comprise dans la première sélection de photodétecteurs.
13. Capteur d'image selon la revendication 1 1 ou 12, dans lequel le séquenceur (14) est adapté en outre pour que les photodétecteurs de la seconde sélection soient adjacents entre eux à l'intérieur d'au moins une fenêtre (W2) dans la matrice (10).
14. Dispositif de saisie d'image comprenant : - un capteur d'image (1 ) selon l'une quelconque des revendications 1 1 à
13 ; et
- un module (22) de détection de variations d'une ligne de visée (D) d'un système d'imagerie comprenant ledit dispositif, adapté pour comparer des positions de motif à l'intérieur des images saisies successivement selon la seconde séquence de saisie d'image avec les photodétecteurs de la seconde sélection, et pour détecter les dites variations de ligne de visée à partir d'un résultat de la comparaison.
15. Dispositif selon la revendication 14, comprenant en outre un module (21 ) de sélection de fenêtre à l'intérieur de la matrice de photodétecteurs (10), et adapté pour exécuter un procédé selon l'une quelconque des revendications 5 à 7.
16. Dispositif selon la revendication 14 ou 15, dans lequel le module (22) de détection des variations de la ligne de visée (D) est adapté pour transmettre des données représentant les variations de ligne de visée (D), à un système (30) de contrôle d'attitude de satellite (S) ou d'aéronef, ou à un système de compensation de bougé du système d'imagerie.
EP11801790.4A 2010-12-06 2011-11-29 Procede d'utilisation d'un capteur d'image Withdrawn EP2649789A1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1004737A FR2968499B1 (fr) 2010-12-06 2010-12-06 Procede d'utilisation d'un capteur d'image.
PCT/FR2011/052813 WO2012076784A1 (fr) 2010-12-06 2011-11-29 Procede d'utilisation d'un capteur d'image

Publications (1)

Publication Number Publication Date
EP2649789A1 true EP2649789A1 (fr) 2013-10-16

Family

ID=44166573

Family Applications (1)

Application Number Title Priority Date Filing Date
EP11801790.4A Withdrawn EP2649789A1 (fr) 2010-12-06 2011-11-29 Procede d'utilisation d'un capteur d'image

Country Status (4)

Country Link
US (1) US20130258106A1 (fr)
EP (1) EP2649789A1 (fr)
FR (1) FR2968499B1 (fr)
WO (1) WO2012076784A1 (fr)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2991785B1 (fr) * 2012-06-06 2014-07-18 Astrium Sas Stabilisation d'une ligne de visee d'un systeme d'imagerie embarque a bord d'un satellite

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5835137A (en) * 1995-06-21 1998-11-10 Eastman Kodak Company Method and system for compensating for motion during imaging
US5844602A (en) * 1996-05-07 1998-12-01 Recon/Optical, Inc. Electro-optical imaging array and camera system with pitch rate image motion compensation which can be used in an airplane in a dive bomb maneuver
US5923278A (en) * 1996-07-11 1999-07-13 Science Applications International Corporation Global phase unwrapping of interferograms
US6175383B1 (en) * 1996-11-07 2001-01-16 California Institute Of Technology Method and apparatus of high dynamic range image sensor with individual pixel reset
US7042507B2 (en) * 2000-07-05 2006-05-09 Minolta Co., Ltd. Digital camera, pixel data read-out control apparatus and method, blur-detection apparatus and method
US7379105B1 (en) * 2002-06-18 2008-05-27 Pixim, Inc. Multi-standard video image capture device using a single CMOS image sensor
US20040075741A1 (en) * 2002-10-17 2004-04-22 Berkey Thomas F. Multiple camera image multiplexer
US7876359B2 (en) * 2003-01-17 2011-01-25 Insitu, Inc. Cooperative nesting of mechanical and electronic stabilization for an airborne camera system
JP2006019971A (ja) * 2004-06-30 2006-01-19 Fujitsu Ltd チャージポンプ動作に起因する雑音を低減したｃｍｏｓイメージセンサ
JP2006251000A (ja) * 2005-03-08 2006-09-21 Fujitsu Ltd 重畳表示可能なディスプレイコントローラ
US7755667B2 (en) * 2005-05-17 2010-07-13 Eastman Kodak Company Image sequence stabilization method and camera having dual path image sequence stabilization
US20080106625A1 (en) * 2006-11-07 2008-05-08 Border John N Multi image storage on sensor
US7714892B2 (en) * 2006-11-08 2010-05-11 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Systems, devices and methods for digital camera image stabilization
US7634187B2 (en) * 2007-01-04 2009-12-15 Qualcomm Incorporated Dynamic auto-focus window selection that compensates for hand jitter
US8896712B2 (en) * 2007-07-20 2014-11-25 Omnivision Technologies, Inc. Determining and correcting for imaging device motion during an exposure
US8253810B2 (en) * 2007-12-05 2012-08-28 Aptina Imaging Corporation Method, apparatus and system for image stabilization using a single pixel array
US8164651B2 (en) * 2008-04-29 2012-04-24 Omnivision Technologies, Inc. Concentric exposure sequence for image sensor
US8049802B2 (en) * 2008-05-29 2011-11-01 Fairchild Imaging, Inc. CMOS camera adapted for forming images of moving scenes

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
BERNARD J RAUSCHER ET AL: "Detectors for the James Webb Space Telescope Near-Infrared Spectrograph I: Readout Mode, Noise Model, and Calibration Considerations", 15 June 2007 (2007-06-15), XP055532128, Retrieved from the Internet <URL:https://ntrs.nasa.gov/archive/nasa/casi.ntrs.nasa.gov/20040171843.pdf> [retrieved on 20181210], DOI: 10.1086/520887 *
LESTER J. KOZLOWSKI ET AL: "Visible and infrared detectors at Rockwell Science Center", PROCEEDINGS OF SPIE, vol. 4008, 16 August 2000 (2000-08-16), 1000 20th St. Bellingham WA 98225-6705 USA, pages 1240, XP055532165, ISSN: 0277-786X, ISBN: 978-1-5106-2099-5, DOI: 10.1117/12.395443 *
PETER MCGREGOR ET AL: "Gemini South Adaptive Optics Imager (GSAOI)", PROCEEDINGS OF SPIE, vol. 5492, 30 September 2004 (2004-09-30), 1000 20th St. Bellingham WA 98225-6705 USA, pages 1033, XP055532137, ISSN: 0277-786X, ISBN: 978-1-5106-2099-5, DOI: 10.1117/12.550288 *
See also references of WO2012076784A1 *

Also Published As

Publication number Publication date
WO2012076784A1 (fr) 2012-06-14
US20130258106A1 (en) 2013-10-03
FR2968499A1 (fr) 2012-06-08
FR2968499B1 (fr) 2013-06-14

Similar Documents

Publication Publication Date Title
EP2753971B1 (fr) Stabilisation d&#39;une ligne de visée d&#39;un système d&#39;imagerie embarqué à bord d&#39;un satellite
EP1843295B1 (fr) Procédé de restitution de mouvements de la ligne de visée d&#39;un instrument optique
EP2962943B1 (fr) Procede d&#39;observation d&#39;une region de la surface terrestre, notamment situee a des latitudes elevees ; station sol et systeme satellitaire pour la mise en uvre de ce procede
FR3044141A1 (fr) Drone muni d&#39;une camera video delivrant des sequences d&#39;images corrigees de l&#39;effet wobble
WO2011138541A1 (fr) Procede d&#39;imagerie polychrome
EP0920677B1 (fr) Procede et dispositif de reconnaissance air-sol pour equipement optronique
FR2828315A1 (fr) Stabilisation des images d&#39;une scene, correction des offsets de niveaux de gris, detection d&#39;objets mobiles et harmonisation de deux appareils de prise de vues fondes sur la stabilisation des images
EP4078083B1 (fr) Procédé d&#39;acquisition d&#39;images d&#39;une zone terrestre par un engin spatial
EP3571468B1 (fr) Procédé d&#39;observation de la surface terrestre et dispositif pour sa mise en oeuvre
WO2012076784A1 (fr) Procede d&#39;utilisation d&#39;un capteur d&#39;image
WO2011138542A1 (fr) Procede d&#39;imagerie
FR2700847A1 (fr) Viseur d&#39;étoile à matrice de DTC, procédé de détection, et application au recalage d&#39;un engin spatial.
EP2388646B1 (fr) Procédé de prise d&#39;image
FR3024782A1 (fr) Systeme et procede d&#39;imagerie infrarouge
EP4183066B1 (fr) Procédé d&#39;émission de données par un engin spatial comportant un module d&#39;émission laser
EP3402178B1 (fr) Capteur de mouvement et capteur d&#39;images
WO2023037066A1 (fr) Procédé d&#39;acquisition d&#39;images d&#39;une zone terrestre par un engin spatial comportant un module d&#39;émission laser
FR3135329A1 (fr) Procédé de génération d’image par un satellite par fusion à bord d’images acquises par ledit satellite
WO2023046551A1 (fr) Procede pour l&#39;acquisition d&#39;images multispectrales et d&#39;imagettes panchromatiques
WO2023047036A1 (fr) Systeme d&#39;imagerie a balayage pour saisir des images selon deux valeurs d&#39;inclinaison de ligne de visee
FR3066268A1 (fr) Capteur d&#39;images
FR2729034A1 (fr) Procede et dispositif d&#39;acquisition et de poursuite, notamment pour installation de liaison optique
FR2918530A1 (fr) Procede et dispositif d&#39;observation

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20130604

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

RIN1 Information on inventor provided before grant (corrected)

Inventor name: SEMBELY, XAVIER

Inventor name: TULET, MICHEL

DAX Request for extension of the european patent (deleted)
RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: AIRBUS DEFENCE AND SPACE SAS

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20181219

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20190702