EP4189636A1 - Method and system for imaging a scene in space - Google Patents

Method and system for imaging a scene in space

Info

Publication number
EP4189636A1
EP4189636A1 EP21762748.8A EP21762748A EP4189636A1 EP 4189636 A1 EP4189636 A1 EP 4189636A1 EP 21762748 A EP21762748 A EP 21762748A EP 4189636 A1 EP4189636 A1 EP 4189636A1
Authority
EP
European Patent Office
Prior art keywords
images
image
scene
imaging
dynamic range
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP21762748.8A
Other languages
German (de)
French (fr)
Inventor
Thierry OLLIVIER
Julien CANTEGREIL
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Spaceable SAS
Original Assignee
Spaceable SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Spaceable SAS filed Critical Spaceable SAS
Publication of EP4189636A1 publication Critical patent/EP4189636A1/en
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G06T5/90—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10144—Varying exposure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Definitions

  • the present invention relates to a method for imaging a scene in space. It also relates to a system implementing the imaging method according to the invention.
  • the visual inspection of satellites in orbit corresponds to an increasingly strong expectation of satellite operators.
  • This inspection is in practice carried out from a spacecraft, in particular a dedicated satellite which embeds a system for taking pictures or acquiring images which are stored locally and then transmitted via a terrestrial reception station to a processing site. to be analyzed there, by a user or by automatic means of analysis, to detect anomalies.
  • a photographic sensor or imager can take a photo over a dynamic range of 8 to 10EV, while the shooting conditions represent a dynamic range of 20EV.
  • Exposure bracketing [1] which consists of taking a series of successive photographs in a single trigger, the exposure varying automatically between the shots.
  • the exposure variation is obtained by changing the exposure time and/or the aperture. This feature is used in cases where the determination of exposure values is difficult (situation of strong backlight for example, or when multiple reflections distort the exposure measurement by the cell or the exposure meter), or simply for security purposes.
  • the exposure calculation currently performed on digital cameras is most often done automatically, by taking an average of the luminance of a certain amount of pixels of the whole image or of a user-defined area so that the main subject of the photo is exposed correctly [2] [3]
  • the object of the present invention is to overcome these drawbacks by proposing a new method for imaging a scene in space which provides, on a computer screen of a user on the ground, images having a dynamic range wide enough to allow easy detection of anomalies.
  • This objective is achieved with a method for imaging a scene in space from a spacecraft, comprising an acquisition of a sequence of N images of said scene, with a partial overlap of the dynamic range of said images and with exposure times adjusted respectively to pass from a first darkest image to increasingly brighter images, so as to cover a dynamic range greater than that of each of said acquired images.
  • this imaging method comprises: a first step for determining a reference exposure time for the first image, the darkest, implementing a first criterion according to which the first image can comprise white pixels of maximum brightness, and a second criterion according to which the first image cannot have white areas of maximum brightness greater than or equal to 2x2 pixels, a step for acquiring an image of a scene of interest with a determined exposure time, an analysis of said image to determine whether it satisfies said first and second criteria, and if not, a new image acquisition with a modified exposure time, followed by a new analysis, said new acquisition steps and of new analysis being repeated until said first and second criteria are satisfied, a last step to acquire the Nl images.
  • this imaging method according to the invention is intended for a sequence of images, i.e. allowing overexposed images and underexposed images on one of the images but not all of them.
  • Each image in the sequence of images beyond the first can be at least 16 times brighter (+4EV) than the previous one.
  • the sequence of images can be taken in the shortest possible time to avoid pixel shifts between images taken from the same scene.
  • the imaging method according to the invention may further comprise a step for determining the exposure time modified by successive approximations, implementing a rapid calculation method such as a method by dichotomy, consisting in repeating partitions of an interval in two parts then to select the sub-interval in which there is a zero of the function, with the aim of reducing the determination time.
  • a rapid calculation method such as a method by dichotomy, consisting in repeating partitions of an interval in two parts then to select the sub-interval in which there is a zero of the function, with the aim of reducing the determination time.
  • the analysis step may only be performed for 1 pixel out of N, N being greater than or equal to 2.
  • the imaging method according to the invention can be implemented to image a satellite in orbit.
  • a system for imaging a scene in space from a spacecraft implementing the imaging method according to the invention, this system comprising means for taking of views provided for acquiring a sequence of N images of said scene, with a partial overlap of the dynamic range of said images, and means for adjusting the exposure time of each image, respectively for acquiring images of a first image darker to increasingly brighter images, so as to cover a dynamic range greater than that of each of said acquired images.
  • the imaging system according to the invention can be embedded in a visual inspection satellite communicating with a terrestrial reception station. DESCRIPTION OF FIGURES
  • Figure 1 illustrates an example of a dynamic range implemented for shots according to the invention
  • Figure 3 illustrates the exposure times for a sequence of shots (drawings not to scale) produced with the method according to the invention.
  • Exposure Value for "Exposure Value” 1EV corresponds to a doubling of the brightness.
  • An exemplary embodiment of an on-board imaging system comprises, by way of non-limiting example, optical imaging equipment, a control and processing unit, an image storage unit and a radio communication unit with a ground receiving station.
  • This on-board imaging system is for example installed in a visual inspection satellite designed to inspect one or more satellites in Earth orbit.
  • the control and processing unit is programmed to control the shooting equipment so that it takes a sequence of N photographic images in a row, in the shortest possible period of time so as not to have any lag pixels between photos.
  • This consists of taking N photos, from the darkest to the lightest, which makes it possible to cover a much greater dynamic range. For example, if with reference to Figure 1 we acquire four images in a row, using a dynamic range of 8EV for each image to limit noise, even if the photo has a higher dynamic range, each image being 16 times clearer (+4EV) than the previous one. We then have a covered dynamic range of 20EV.
  • the control and processing unit is also programmed to determine a reference exposure time for the first image (Photo 1), which then makes it possible to calculate the exposure time for Photos 2, 3 and 4.
  • the SHDR imaging method according to the invention implements an algorithm which determines the optimal exposure time for each image of the sequence.
  • the very dark image must make it possible to distinguish all the details in the light areas.
  • the very clear image must make it possible to distinguish all the details in the dark areas.
  • the other intermediate images serve as a transition for an SHDR display or for a classic treatment of HDR type photos (High Dynamic Range: wide dynamic range).
  • the algorithm is dedicated to determining the reference exposure time, i.e. the one corresponding to the darkest photo. For this, the following criteria are applied:
  • the algorithm controls the acquisition of an image of a scene of interest such as a satellite, the analysis of this image, and if it does not meet the criteria, a new image acquisition by changing the time of exposure.
  • the new exposure time is found by dichotomy, so as to reduce the number of photos to be taken to find the right exposure time.
  • For the analysis to be fast we only analyze 1 pixel out of 4, with reference to figure 2. With this simplification, the analysis time is divided by 4, we are sure that a block of 2x2 saturated pixels will be detected, and we authorize white pixels which could correspond to stars.
  • Tl reference exposure time
  • the images are acquired (Photos 1, 2, 3 and 4) by multiplying the exposure time by 16 each time (which corresponds to the overlap of 4EV), with reference to figure 3.

Abstract

A method for imaging a scene in space from a spacecraft, comprising acquiring a sequence of N images of said scene, with a partial overlap of the dynamic range of said images and with exposure times that are computed respectively so as to acquire images from darkest to lightest, so as to cover a dynamic range far greater than that of each of said acquired images and allow detection of even small anomalies.

Description

PROCEDE ET SYSTEME POUR IMAGER UNE SCENE DANS L’ESPACE METHOD AND SYSTEM FOR IMAGING A SCENE IN SPACE
DOMAINE DE G INVENTION FIELD OF INVENTION
La présente invention concerne un procédé pour imager une scène dans l’espace. Elle vise également un système mettant en œuvre le procédé d’imagerie selon l’invention. The present invention relates to a method for imaging a scene in space. It also relates to a system implementing the imaging method according to the invention.
ETAT DE LA TECHNIQUE STATE OF THE ART
L’inspection visuelle de satellites en orbite correspond à une attente de plus en plus forte des opérateurs de satellite. Cette inspection est en pratique réalisée à partir d’un vaisseau spatial, notamment un satellite dédié qui embarque un système de prise de vues ou d’acquisition d’images qui sont stockées localement puis transmises via une station de réception terrestre à un site de traitement pour y être analysées, par un utilisateur ou par des moyens d’analyse automatiques, pour détecter des anomalies. The visual inspection of satellites in orbit corresponds to an increasingly strong expectation of satellite operators. This inspection is in practice carried out from a spacecraft, in particular a dedicated satellite which embeds a system for taking pictures or acquiring images which are stored locally and then transmitted via a terrestrial reception station to a processing site. to be analyzed there, by a user or by automatic means of analysis, to detect anomalies.
Ces anomalies peuvent être assez petites, 2x2 pixels au minimum, il faut donc que les images affichées sur l’écran du poste de travail d’un utilisateur soient de la meilleure qualité possible. These anomalies can be quite small, 2x2 pixels minimum, so the images displayed on a user's workstation screen need to be of the highest possible quality.
Les photographies prises dans l’espace sont très contrastées, et la plage dynamique de lumière présente est très grande, largement supérieure à celle d’un capteur photo. The photographs taken in space are very contrasty, and the dynamic range of light present is very large, much greater than that of a photo sensor.
Si on raisonne en EV (Exposure Value), un capteur ou imageur photographique peut prendre une photo sur une plage dynamique de 8 à 10EV, alors que les conditions de prise de vues représentent un plage dynamique de 20EV. If we reason in EV (Exposure Value), a photographic sensor or imager can take a photo over a dynamic range of 8 to 10EV, while the shooting conditions represent a dynamic range of 20EV.
On connaît déjà le procédé dit de « bracketing d'exposition » [1] qui consiste à prendre une série de photographies successives en un seul déclenchement, l'exposition variant automatiquement entre les prises de vue. La variation d'exposition est obtenue en changeant le temps de pose et/ou l'ouverture. Cette fonctionnalité est utilisée dans les cas où la détermination des valeurs d'exposition est difficile (situation de fort contre-jour par exemple, ou lorsque des reflets multiples faussent la mesure de l'exposition par la cellule ou le posemètre), ou encore simplement par sécurité. We already know the process known as "exposure bracketing" [1] which consists of taking a series of successive photographs in a single trigger, the exposure varying automatically between the shots. The exposure variation is obtained by changing the exposure time and/or the aperture. This feature is used in cases where the determination of exposure values is difficult (situation of strong backlight for example, or when multiple reflections distort the exposure measurement by the cell or the exposure meter), or simply for security purposes.
Par ailleurs, le calcul d'exposition effectué actuellement sur les appareils de photographie numérique se fait le plus souvent automatiquement, en faisant une moyenne de la luminance d’une certaine quantité de pixels de toute l’image ou d’une zone définie par l'utilisateur de façon à ce que le sujet principal de la photo soit exposé correctement [2] [3] Moreover, the exposure calculation currently performed on digital cameras is most often done automatically, by taking an average of the luminance of a certain amount of pixels of the whole image or of a user-defined area so that the main subject of the photo is exposed correctly [2] [3]
Toutefois, les algorithmes mis en œuvre dans ces procédé de « bracketing d’exposition » ou de calcul d’exposition sont prévus pour une prise de vue avec une seule image, ce qui limite forcément la plage dynamique globale de la prise de vue d’une scène à contraste élevé. However, the algorithms implemented in these "exposure bracketing" or exposure calculation processes are intended for shooting with a single image, which necessarily limits the overall dynamic range of the shooting. a high contrast scene.
Le but de la présente invention est de remédier à ces inconvénients en proposant un nouveau procédé d’imagerie d’une scène dans l’espace qui procure, sur un écran d’ordinateur d’un utilisateur au sol, des images présentant une plage dynamique suffisamment large pour permettre une détection aisée d’anomalies. The object of the present invention is to overcome these drawbacks by proposing a new method for imaging a scene in space which provides, on a computer screen of a user on the ground, images having a dynamic range wide enough to allow easy detection of anomalies.
EXPOSE DE L’INVENTION DISCLOSURE OF THE INVENTION
Cet objectif est atteint avec un procédé pour imager une scène dans l’espace à partir d’un vaisseau spatial, comprenant une acquisition d’une séquence de N images de ladite scène, avec un recouvrement partiel de la plage dynamique desdites images et avec des temps d’exposition réglés respectivement pour passer d’une première image la plus sombre à des images de plus en plus claires, de façon à couvrir une plage dynamique supérieure à celle de chacune desdites images acquises. Suivant l’invention, ce procédé d’imagerie comprend : une première étape pour déterminer un temps d’exposition de référence pour la première image, la plus sombre, mettant en œuvre un premier critère selon lequel la première image peut comporter des pixels blancs de luminosité maximale, et un second critère selon lequel la première image ne peut pas avoir des zones blanches de luminosité maximale supérieures ou égales à 2x2 pixels, une étape pour acquérir une image d’une scène d’intérêt avec un temps d’exposition déterminé, une analyse de ladite image pour déterminer si celle-ci satisfait lesdits premier et second critères, et dans le cas contraire une nouvelle acquisition d’image avec un temps d’exposition modifié, suivi d'une nouvelle analyse, lesdites étapes de nouvelle acquisition et de nouvelle analyse étant réitérées jusqu’à ce que lesdits premier et second critères soient satisfaits, une dernière étape pour acquérir les N-l images. This objective is achieved with a method for imaging a scene in space from a spacecraft, comprising an acquisition of a sequence of N images of said scene, with a partial overlap of the dynamic range of said images and with exposure times adjusted respectively to pass from a first darkest image to increasingly brighter images, so as to cover a dynamic range greater than that of each of said acquired images. According to the invention, this imaging method comprises: a first step for determining a reference exposure time for the first image, the darkest, implementing a first criterion according to which the first image can comprise white pixels of maximum brightness, and a second criterion according to which the first image cannot have white areas of maximum brightness greater than or equal to 2x2 pixels, a step for acquiring an image of a scene of interest with a determined exposure time, an analysis of said image to determine whether it satisfies said first and second criteria, and if not, a new image acquisition with a modified exposure time, followed by a new analysis, said new acquisition steps and of new analysis being repeated until said first and second criteria are satisfied, a last step to acquire the Nl images.
Ainsi, ce procédé d’imagerie selon l’invention est prévu pour une séquence d’images, c'est à dire autorisant des images surexposées et des images sous-exposées sur l'une des images mais pas toutes. Thus, this imaging method according to the invention is intended for a sequence of images, i.e. allowing overexposed images and underexposed images on one of the images but not all of them.
Chaque image de la séquence d’images au-delà de la première peut être au moins 16 fois plus claire (+4EV) que la précédente. Each image in the sequence of images beyond the first can be at least 16 times brighter (+4EV) than the previous one.
La séquence d’images peut être prise dans un laps de temps le plus court possible pour ne pas avoir de décalage de pixels entre les images prises d’une même scène. The sequence of images can be taken in the shortest possible time to avoid pixel shifts between images taken from the same scene.
Le procédé d’imagerie selon l’invention peut en outre comprendre une étape pour déterminer le temps d’exposition modifié par approximations successives, mettant en œuvre une méthode de calcul rapide telle qu’une méthode par dichotomie, consistant à répéter des partages d'un intervalle en deux parties puis à sélectionner le sous-intervalle dans lequel existe un zéro de la fonction, avec pour objectif de réduire le temps de détermination. Pour des raisons semblables, l’étape d’analyse peut n'être effectuée que pour 1 pixel sur N, N étant supérieur ou égal à 2. The imaging method according to the invention may further comprise a step for determining the exposure time modified by successive approximations, implementing a rapid calculation method such as a method by dichotomy, consisting in repeating partitions of an interval in two parts then to select the sub-interval in which there is a zero of the function, with the aim of reducing the determination time. For similar reasons, the analysis step may only be performed for 1 pixel out of N, N being greater than or equal to 2.
Le procédé d’imagerie selon l’invention peut être mis en œuvre pour imager un satellite en orbite. The imaging method according to the invention can be implemented to image a satellite in orbit.
Suivant un autre aspect de l’invention, il est proposé un système pour imager une scène dans l’espace à partir d’un vaisseau spatial, mettant en œuvre le procédé d’imagerie selon l’invention, ce système comprenant des moyens de prise de vues prévus pour acquérir une séquence de N images de ladite scène, avec un recouvrement partiel de la plage dynamique desdites images, et des moyens pour régler le temps d’exposition de chaque image, respectivement pour acquérir des images d’une première image la plus sombre à des images de plus en plus claires, de façon à couvrir une plage dynamique supérieure à celle de chacune desdites images acquises. According to another aspect of the invention, there is proposed a system for imaging a scene in space from a spacecraft, implementing the imaging method according to the invention, this system comprising means for taking of views provided for acquiring a sequence of N images of said scene, with a partial overlap of the dynamic range of said images, and means for adjusting the exposure time of each image, respectively for acquiring images of a first image darker to increasingly brighter images, so as to cover a dynamic range greater than that of each of said acquired images.
Le système d’imagerie selon l’invention peut être embarqué dans un satellite d’inspection visuelle communiquant avec une station de réception terrestre. DESCRIPTION DES FIGURES The imaging system according to the invention can be embedded in a visual inspection satellite communicating with a terrestrial reception station. DESCRIPTION OF FIGURES
D’autres avantages et particularités de l’invention apparaîtront à la lecture de la description détaillée de mises en œuvre et de modes de réalisation nullement limitatifs, et des dessins annexés suivants : Other advantages and particularities of the invention will appear on reading the detailed description of implementations and non-limiting embodiments, and of the following appended drawings:
• La figure 1 illustre un exemple d’une plage dynamique mise en œuvre pour des prises de vue selon l’invention ; • Figure 1 illustrates an example of a dynamic range implemented for shots according to the invention;
• La figure 2 illustre une portion de photo analysée ; • Figure 2 illustrates a portion of photo analyzed;
• La figure 3 illustre les temps d'exposition pour une séquence de prise de vues (dessins non à l’échelle) réalisées avec le procédé selon l’invention. • Figure 3 illustrates the exposure times for a sequence of shots (drawings not to scale) produced with the method according to the invention.
DEFINITIONSDEFINITIONS
SHDR : SpaceAble High Dynamic Range pour « Grande Gamme dynamique de SpaceAble » SHDR: SpaceAble High Dynamic Range for “Great Dynamic Range of SpaceAble”
EV : Exposure Value pour « Valeur d’exposition » : 1EV correspond à un doublement de la luminosité. EV: Exposure Value for "Exposure Value": 1EV corresponds to a doubling of the brightness.
DESCRIPTION DETAILLEE DETAILED DESCRIPTION
Un exemple de réalisation d’un système d’imagerie embarqué selon l’invention comprend, à titre d’exemple non limitatif, un équipement optique de prise de vue, une unité de contrôle et de traitement, une unité de stockage d’images et une unité de radiocommunication avec une station de réception au sol. An exemplary embodiment of an on-board imaging system according to the invention comprises, by way of non-limiting example, optical imaging equipment, a control and processing unit, an image storage unit and a radio communication unit with a ground receiving station.
Ce système d’imagerie embarqué selon l’invention est par exemple installé dans un satellite d’inspection visuelle prévu pour inspecter un ou plusieurs satellites en orbitede la Terre. L’unité de contrôle et de traitement est programmée pour commander l’équipement de prise de vue de sorte qu’il prenne une séquence de N images photographiques à la suite, dans un laps de temps le plus court possible pour ne pas avoir de décalage de pixels entre les photos. Cela consiste à prendre N photos, de la plus foncée à la plus claire, ce qui permet de couvrir une plage dynamique beaucoup plus importante. Par exemple, si en référence à la figure 1 on acquiert quatre images à la suite, en utilisant une plage dynamique de 8EV pour chaque image pour limiter le bruit, même si la photo possède une plage dynamique supérieure, chaque image étant plus 16 fois claire (+4EV) que la précédente. On a alors une plage dynamique couverte de 20EV. Pour le reste de la description, il sera fait mention d’un nombre d’images N=4 par séquence. La luminosité des photos est indiquée en %. La valeur 0% indique une photo entièrement noire, la valeur 100% indique une photo entièrement blanche. This on-board imaging system according to the invention is for example installed in a visual inspection satellite designed to inspect one or more satellites in Earth orbit. The control and processing unit is programmed to control the shooting equipment so that it takes a sequence of N photographic images in a row, in the shortest possible period of time so as not to have any lag pixels between photos. This consists of taking N photos, from the darkest to the lightest, which makes it possible to cover a much greater dynamic range. For example, if with reference to Figure 1 we acquire four images in a row, using a dynamic range of 8EV for each image to limit noise, even if the photo has a higher dynamic range, each image being 16 times clearer (+4EV) than the previous one. We then have a covered dynamic range of 20EV. For the rest of the description, mention will be made of a number of images N=4 per sequence. The brightness of the photos is indicated in %. A value of 0% indicates an entirely black photo, a value of 100% indicates an entirely white photo.
Cette acquisition d’images de luminosité croissante est déjà connue en photographie terrestre sous le terme de "bracketing d'exposition", mais avec un écart de luminosité entre deux photographies beaucoup plus réduit (par exemple 1EV). This acquisition of images of increasing luminosity is already known in terrestrial photography under the term "exposure bracketing", but with a much smaller difference in luminosity between two photographs (for example 1EV).
L’unité de contrôle et de traitement est aussi programmée pour déterminer un temps d’exposition de référence de la première image (Photo 1), qui permet de calculer alors le temps d’exposition des Photos 2, 3 et 4. The control and processing unit is also programmed to determine a reference exposure time for the first image (Photo 1), which then makes it possible to calculate the exposure time for Photos 2, 3 and 4.
Le procédé d’imagerie SHDR selon l’invention implémente un algorithme qui détermine le temps d’exposition optimal pour chaque image de la séquence. L’image très foncée doit permettre de distinguer tous les détails dans les zones claires. L’image très claire doit permettre de distinguer tous les détails dans les zones foncées. The SHDR imaging method according to the invention implements an algorithm which determines the optimal exposure time for each image of the sequence. The very dark image must make it possible to distinguish all the details in the light areas. The very clear image must make it possible to distinguish all the details in the dark areas.
Les autres images intermédiaires servent de transition pour un affichage SHDR ou pour un traitement classique de photos de type HDR (High Dynamic Range : large gamme dynamique). The other intermediate images serve as a transition for an SHDR display or for a classic treatment of HDR type photos (High Dynamic Range: wide dynamic range).
Dans un premier temps, l’algorithme est dédié à la détermination du temps d'exposition de référence, c’est à dire celui correspondant à la photo la plus foncée. Pour cela, les critères suivants sont appliqués : First, the algorithm is dedicated to determining the reference exposure time, i.e. the one corresponding to the darkest photo. For this, the following criteria are applied:
- on autorise à avoir des pixels blancs (100%) contigus ou non car ils peuvent par exemple représenter les étoiles, - we authorize to have white pixels (100%) contiguous or not because they can for example represent the stars,
- on n’autorise pas à avoir des zones blanches supérieures ou égales à 2x2 pixels,- it is not allowed to have white areas greater than or equal to 2x2 pixels,
L’algorithme commande l’acquisition d’une image d’une scène d’intérêt telle qu’un satellite, l’analyse de cette image, et si elle ne répond pas aux critères, une nouvelle acquisition d’image en changeant le temps d’exposition. Le nouveau temps d’exposition est trouvé par dichotomie, de façon à réduire le nombre de photos à prendre pour trouver le bon temps d’exposition. Pour que l’analyse soit rapide, on n’analyse que 1 pixel sur 4, en référence à la figure 2. Avec cette simplification, le temps d'analyse est divisé par 4, on est sûr qu'un bloc de 2x2 pixels saturés sera détecté, et on autorise des pixels blancs qui pourraient correspondre à des étoiles. Une fois que l'on a déterminé le temps d'exposition de référence (appelé Tl), on acquiert les images (Photos 1, 2, 3 et 4) en multipliant par 16 le temps d'exposition à chaque fois (ce qui correspond au chevauchement de 4EV), en référence à la figure 3. Il n'y a pas d'analyse d’image dans cette phase de façon à avoir le temps de prise de vues le plus court pour l'ensemble des Photos 1, 2, 3 et 4. Si par exemple le temps d'exposition de référence trouvé est de 1ms, on a Tl=lms, T2 = 16ms, T3 = 256ms et T4 = 4096ms. The algorithm controls the acquisition of an image of a scene of interest such as a satellite, the analysis of this image, and if it does not meet the criteria, a new image acquisition by changing the time of exposure. The new exposure time is found by dichotomy, so as to reduce the number of photos to be taken to find the right exposure time. For the analysis to be fast, we only analyze 1 pixel out of 4, with reference to figure 2. With this simplification, the analysis time is divided by 4, we are sure that a block of 2x2 saturated pixels will be detected, and we authorize white pixels which could correspond to stars. Once the reference exposure time (called Tl) has been determined, the images are acquired (Photos 1, 2, 3 and 4) by multiplying the exposure time by 16 each time (which corresponds to the overlap of 4EV), with reference to figure 3. There is no image analysis in this phase so as to have the shortest shooting time for all Photos 1, 2 , 3 and 4. If for example the reference exposure time found is 1ms, we have T1=1ms, T2=16ms, T3=256ms and T4=4096ms.
A la fin de la prise de vues, on se retrouve avec 4 images (photos) dont la plus foncée ne possède pas de groupe de 2x2 pixels saturés à 100%, et dont l’image la plus claire ne possède aucun pixel saturé à 0% (car elle est 4096 fois plus claire que la photo de référence). At the end of the shot, we are left with 4 images (photos) of which the darkest does not have a group of 2x2 pixels saturated at 100%, and the lightest image does not have any saturated pixels at 0 % (because it is 4096 times brighter than the reference photo).
Il est à noter que le résultat d'une séquence complète est optimal lorsqu'il n'y a pas de déplacement de la scène photographiée ou de l'équipement optique pendant la prise de vues. A défaut, on risque un décalage entre les photos qu'il faudra réaligner. Dans l'espace, les déplacements relatifs sont lents ce qui permet l'utilisation de ce procédé. Bien entendu, l’invention n’est pas limitée aux exemples qui viennent d’être décrits et de nombreux autres modes de réalisation peuvent être envisagés sans sortir du cadre de la présente invention. En particulier, on peut envisager une séquence d’images contenant un nombre d’images différent de 4. REFERENCES It should be noted that the result of a complete sequence is optimal when there is no movement of the photographed scene or of the optical equipment during the shooting. Otherwise, there is a risk of a shift between the photos that will have to be realigned. In space, the relative displacements are slow which allows the use of this process. Of course, the invention is not limited to the examples which have just been described and many other embodiments can be envisaged without departing from the scope of the present invention. In particular, one can consider a sequence of images containing a number of images different from 4. REFERENCES
[1] Bracketing d'exposition https://fr.wikipedia.org/wiki/Bracketing [1] Exposure bracketing https://fr.wikipedia.org/wiki/Bracketing
[2] Jarosiaw Bemacki "Automatic exposure algorithms for digital photography" (22 janvier 2020) [2] Jarosiaw Bemacki "Automatic exposure algorithms for digital photography" (January 22, 2020)
[3] Yuanhang Su & Jay Kuo "Fast and Robust Camera’s Auto Exposure Control Using Convex or Concave Model" (2015) [3] Yuanhang Su & Jay Kuo "Fast and Robust Camera's Auto Exposure Control Using Convex or Concave Model" (2015)

Claims

REVENDICATIONS
1. Procédé pour imager une scène dans l’espace à partir d’un vaisseau spatial, comprenant une acquisition d’une séquence de N images de ladite scène, avec un recouvrement partiel de la plage dynamique desdites images et avec des temps d’exposition réglés respectivement pour passer d’une première image la plus sombre à des images de plus en plus claires, de façon à couvrir une plage dynamique supérieure à celle de chacune desdites images acquises, caractérisé en ce qu’il comprend : une première étape pour déterminer un temps d’exposition de référence pour la première image, la plus sombre, mettant en œuvre un premier critère selon lequel la première image peut comporter des pixels blancs de luminosité maximale, et un second critère selon lequel la première image ne peut pas avoir des zones blanches de luminosité maximale supérieures ou égales à 2x2 pixels, une étape pour acquérir une image d’une scène d’intérêt avec un temps d’exposition déterminé, une analyse de ladite image pour déterminer si celle-ci satisfait lesdits premier et second critères, et dans le cas contraire une nouvelle acquisition d’image avec un temps d’exposition modifié, suivi d'une nouvelle analyse, lesdites étapes de nouvelle acquisition et de nouvelle analyse étant réitérées jusqu’à ce que lesdits premier et second critères soient satisfaits. une dernière étape pour acquérir les N-l images. 1. Method for imaging a scene in space from a spacecraft, comprising an acquisition of a sequence of N images of said scene, with a partial overlap of the dynamic range of said images and with exposure times adjusted respectively to go from a darkest first image to increasingly brighter images, so as to cover a dynamic range greater than that of each of said acquired images, characterized in that it comprises: a first step for determining a reference exposure time for the first, darkest image, implementing a first criterion according to which the first image can comprise white pixels of maximum brightness, and a second criterion according to which the first image cannot have white areas of maximum luminosity greater than or equal to 2x2 pixels, a step for acquiring an image of a scene of interest with a determined exposure time, an analysis of said image to determine undermine if the latter satisfies said first and second criteria, and if not, a new image acquisition with a modified exposure time, followed by a new analysis, said new acquisition and new analysis steps being repeated until provided that said first and second criteria are satisfied. a last step to acquire the N-l images.
2. Procédé d’imagerie selon la revendication 1, caractérisé en ce que chaque image de la séquence d’images au-delà de la première est au moins 16 fois plus claire (+4EV) que la précédente. 2. Imaging method according to claim 1, characterized in that each image of the sequence of images beyond the first is at least 16 times brighter (+4EV) than the preceding one.
3. Procédé d’imagerie selon Tune des revendications 1 ou 2, caractérisé en ce que la séquence d’images est prise dans un laps de temps le plus court possible pour ne pas avoir de décalage de pixels entre les images prises d’une même scène. 3. Imaging method according to one of Claims 1 or 2, characterized in that the sequence of images is taken in the shortest possible lapse of time so as not to have any pixel offset between the images taken from the same scene.
4. Procédé d’imagerie selon Tune quelconque des revendications précédentes, caractérisé en ce qu’il comprend en outre une étape pour déterminer le temps d’exposition modifié par approximations successives, mettant en œuvre une méthode de calcul rapide telle qu’une méthode par dichotomie, consistant à répéter des partages d'un intervalle en deux parties puis à sélectionner le sous-intervalle dans lequel existe un zéro de la fonction. 4. Imaging method according to any one of the preceding claims, characterized in that it further comprises a step for determining the modified exposure time by successive approximations, implementing a fast calculation method such as a dichotomy method, consisting in repeating the partitions of an interval into two parts then in selecting the sub-interval in which there is a zero of the function.
5. Procédé d’imagerie selon l’une quelconque des revendications précédentes, caractérisé en ce que l’étape d’analyse n'est effectuée que pour 1 pixel sur N, N étant supérieur ou égal à 2. 5. Imaging method according to any one of the preceding claims, characterized in that the analysis step is only performed for 1 pixel out of N, N being greater than or equal to 2.
6. Procédé d’imagerie selon l’une quelconque des revendications précédentes, caractérisé en ce qu’il est mis en œuvre pour imager un satellite en orbite. 6. Imaging method according to any one of the preceding claims, characterized in that it is implemented to image a satellite in orbit.
7. Système pour imager une scène dans l’espace à partir d’un vaisseau spatial, mettant en œuvre le procédé d’imagerie selon l’une quelconque des revendications précédentes, ce système comprenant des moyens de prise de vues prévus pour acquérir une séquence de N images de ladite scène, avec un recouvrement partiel de la plage dynamique desdites images, et des moyens pour régler le temps d’exposition de chaque image, respectivement pour acquérir des images d’une première image la plus sombre à des images de plus en plus claires, de façon à couvrir une plage dynamique supérieure à celle de chacune desdites images acquises. 7. System for imaging a scene in space from a spacecraft, implementing the imaging method according to any one of the preceding claims, this system comprising shooting means provided for acquiring a sequence of N images of said scene, with a partial overlap of the dynamic range of said images, and means for adjusting the exposure time of each image, respectively to acquire images from a first darkest image to images of more clearer, so as to cover a dynamic range greater than that of each of said acquired images.
8. Système d’imagerie selon la revendication précédente, caractérisé en ce qu’il est embarqué dans un satellite d’inspection visuelle communiquant avec une station de réception terrestre. 8. Imaging system according to the preceding claim, characterized in that it is embedded in a visual inspection satellite communicating with a terrestrial receiving station.
EP21762748.8A 2020-07-29 2021-07-28 Method and system for imaging a scene in space Pending EP4189636A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR2008033A FR3113165B1 (en) 2020-07-29 2020-07-29 Method and system for imaging a scene in space
PCT/FR2021/051406 WO2022023668A1 (en) 2020-07-29 2021-07-28 Method and system for imaging a scene in space

Publications (1)

Publication Number Publication Date
EP4189636A1 true EP4189636A1 (en) 2023-06-07

Family

ID=73497900

Family Applications (1)

Application Number Title Priority Date Filing Date
EP21762748.8A Pending EP4189636A1 (en) 2020-07-29 2021-07-28 Method and system for imaging a scene in space

Country Status (3)

Country Link
EP (1) EP4189636A1 (en)
FR (1) FR3113165B1 (en)
WO (1) WO2022023668A1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114363525B (en) * 2022-03-17 2022-06-28 杭州灵西机器人智能科技有限公司 HDR fast automatic imaging method, structured light camera, electronic device, and storage medium

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2996034B1 (en) * 2012-09-24 2015-11-20 Jacques Joffre METHOD FOR CREATING IMAGES WITH A DYNAMIC RANGE EXTENDED IN FIXED IMAGING AND VIDEO, AND IMAGING DEVICE IMPLEMENTING THE METHOD.
US9852499B2 (en) * 2013-12-13 2017-12-26 Konica Minolta Laboratory U.S.A., Inc. Automatic selection of optimum algorithms for high dynamic range image processing based on scene classification

Also Published As

Publication number Publication date
WO2022023668A1 (en) 2022-02-03
FR3113165A1 (en) 2022-02-04
FR3113165B1 (en) 2023-04-21

Similar Documents

Publication Publication Date Title
US8724921B2 (en) Method of capturing high dynamic range images with objects in the scene
US8514322B2 (en) Systems and methods for adaptive control and dynamic range extension of image sensors
EP2457379B1 (en) Method for estimating a defect in an image capture system and associated systems
EP3973693B1 (en) Image capture device for multiple captures and surveillance system for an associated driver
EP0265302A1 (en) Fast video imaging system using an optical charge transfer sensor organised in a matrix form
US8279304B2 (en) Photography apparatus that selects optimal photography methods and obtains dynamic range expanded images based on images obtained by photography
FR2574241A1 (en) BLACK CURRENT MEASUREMENT FOR FRAME TRANSFER IMAGERS
EP3571834B1 (en) Adaptive generation of a high dynamic range image of a scene, on the basis of a plurality of images obtained by non-destructive reading of an image sensor
WO2022023668A1 (en) Method and system for imaging a scene in space
FR3054093B1 (en) METHOD AND DEVICE FOR DETECTING AN IMAGE SENSOR
US20130308021A1 (en) Systems and methods for adaptive control and dynamic range extension of image sensors
FR2968876A1 (en) System for acquisition of images of scene, has separation unit separating flow of beam from focusing optics into predetermined fractions, and merging unit merging images output from sensors to generate final image
FR3078427A1 (en) DYNAMIC DETECTION OF LIGHT PARASITE IN A DIGITAL IMAGE
EP3729796B1 (en) Imaging process and imaging system for high and low light levels
FR3113164A1 (en) Method for processing high contrast images, in particular images taken in space, and display system implementing this method
WO2017186647A1 (en) Imager system with two sensors
EP4020978A1 (en) Method for calibrating an array of photodetectors, associated calibration device and imaging system
FR3123734A1 (en) Pixel data processing method, device and corresponding program
FR3116364A1 (en) Visualization aid solution to simulate a self-exposure process
WO2023094409A1 (en) Method and device for visualising impacts of laser pulses on a target
FR2687265A1 (en) Electronic image acquisition device with very high dynamic range, and method of acquiring images of very highly contrasted scenes
EP1329846A1 (en) Arrangement for the detection of punctual targets using spatial and temporal image processing
Tendero Mathematical theory of the Flutter Shutter: its paradoxes and their solution
FR2732850A1 (en) LOAD COUPLING CAMERA EQUIPPED WITH FAULT ELIMINATION MEANS AND PROCESS IMPLEMENTED BY SUCH A CAMERA

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20230228

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)