FR3064784A1 - METHOD AND DEVICE FOR ACQUIRING AND RETRIEVING DIGITAL IMAGES WITH EXTENDED DYNAMICS - Google Patents

METHOD AND DEVICE FOR ACQUIRING AND RETRIEVING DIGITAL IMAGES WITH EXTENDED DYNAMICS Download PDF

Info

Publication number
FR3064784A1
FR3064784A1 FR1752699A FR1752699A FR3064784A1 FR 3064784 A1 FR3064784 A1 FR 3064784A1 FR 1752699 A FR1752699 A FR 1752699A FR 1752699 A FR1752699 A FR 1752699A FR 3064784 A1 FR3064784 A1 FR 3064784A1
Authority
FR
France
Prior art keywords
digital image
image
final
digital
clipping
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
FR1752699A
Other languages
French (fr)
Inventor
Arthur Toulemont
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Centre National dEtudes Spatiales CNES
Original Assignee
Centre National dEtudes Spatiales CNES
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Centre National dEtudes Spatiales CNES filed Critical Centre National dEtudes Spatiales CNES
Priority to FR1752699A priority Critical patent/FR3064784A1/en
Priority to PCT/EP2018/057822 priority patent/WO2018178104A1/en
Publication of FR3064784A1 publication Critical patent/FR3064784A1/en
Withdrawn legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/741Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors

Abstract

L'invention concerne un procédé d'acquisition d'images numériques avec une gamme dynamique étendue et un procédé de restitution d'images numériques associé, ainsi que des dispositifs correspondant. Le procédé d'acquisition d'images numériques comporte des étapes de : -détermination (30) d'une pluralité de temps d'intégration différents, -et pour chacun des temps d'intégration déterminés, obtention (32) d'une image numérique initiale acquise avec ledit temps d'intégration, chaque image numérique initiale ayant un niveau de signal correspondant, -pour chaque image numérique initiale, application (34) d'une fonction d'écrêtage avec un seuil d'écrêtage associé pour obtenir un niveau de signal linéaire en fonction de l'éclairement, pour obtenir une image numérique traitée, et -combinaison (36) des images numériques traitées pour obtenir une image finale de gamme dynamique étendue, ladite combinaison comportant une sommation des signaux d'images numériques traités, l'image finale ayant un niveau de signal linéaire par morceaux en fonction de l'éclairement.The invention relates to a method for acquiring digital images with an extended dynamic range and an associated digital image rendering method, as well as corresponding devices. The method for acquiring digital images comprises steps of: -determining (30) a plurality of different integration times, and for each of the determined integration times, obtaining (32) a digital image initial acquisition with said integration time, each initial digital image having a corresponding signal level, for each initial digital image, application (34) of a clipping function with an associated clipping threshold to obtain a level of linear signal according to the illumination, to obtain a processed digital image, and -combination (36) of the processed digital images to obtain a final image of extended dynamic range, said combination comprising a summation of the processed digital image signals, final image having a piecewise linear signal level as a function of illumination.

Description

® RÉPUBLIQUE FRANÇAISE® FRENCH REPUBLIC

INSTITUT NATIONAL DE LA PROPRIÉTÉ INDUSTRIELLE © N° de publication : 3 064 784 (à n’utiliser que pour les commandes de reproduction)NATIONAL INSTITUTE OF INDUSTRIAL PROPERTY © Publication number: 3,064,784 (to be used only for reproduction orders)

©) N° d’enregistrement national : 17 52699©) National registration number: 17 52699

COURBEVOIE © Int Cl8 : G 06 K 9/20 (2017.01), G 06 T 5/00COURBEVOIE © Int Cl 8 : G 06 K 9/20 (2017.01), G 06 T 5/00

DEMANDE DE BREVET D'INVENTION A1A1 PATENT APPLICATION

©) Date de dépôt : 30.03.17. (© Priorité : ©) Date of filing: 30.03.17. (© Priority: © Demandeur(s) : CENTRE NATIONAL D’ETUDES SPATIALES—FR. © Applicant (s): NATIONAL CENTER FOR SPATIAL STUDIES — FR. @ Inventeur(s) : TOULEMONT ARTHUR. @ Inventor (s): TOULEMONT ARTHUR. ©) Date de mise à la disposition du public de la demande : 05.10.18 Bulletin 18/40. ©) Date of public availability of the request: 05.10.18 Bulletin 18/40. ©) Liste des documents cités dans le rapport de recherche préliminaire : Se reporter à la fin du présent fascicule ©) List of documents cited in the preliminary search report: See the end of this booklet (© Références à d’autres documents nationaux apparentés : (© References to other related national documents: ® Titulaire(s) : CENTRE NATIONAL D'ETUDES SPATIALES. ® Holder (s): NATIONAL CENTER FOR SPATIAL STUDIES. ©) Demande(s) d’extension : ©) Extension request (s): © Mandataire(s) : CABINET GERMAIN ET MAUREAU. © Agent (s): CABINET GERMAIN ET MAUREAU.

RESTITUTION D'IMAGES NUMERIQUES AVEC UNE ++/ PROCEDE ET DISPOSITIF D'ACQUISITION ET DE DYNAMIQUE ETENDUE.RENDERING DIGITAL IMAGES WITH A ++ / METHOD AND DEVICE FOR EXTENDED ACQUISITION AND DYNAMICS.

FR 3 064 784 - A1 (b/) L'invention concerne un procédé d'acquisition d'images numériques avec une gamme dynamique étendue et un procédé de restitution d'images numériques associé, ainsi que des dispositifs correspondant.FR 3 064 784 - A1 (b /) The invention relates to a method for acquiring digital images with a wide dynamic range and to a method for restoring digital images, as well as corresponding devices.

Le procédé d'acquisition d'images numériques comporte des étapes de: -détermination (30) d'une pluralité de temps d'intégration différents,The digital image acquisition method comprises steps of: determining (30) a plurality of different integration times,

-et pour chacun des temps d'intégration déterminés, obtention (32) d'une image numérique initiale acquise avec ledit temps d'intégration, chaque image numérique initiale ayant un niveau de signal correspondant,and for each of the determined integration times, obtaining (32) an initial digital image acquired with said integration time, each initial digital image having a corresponding signal level,

-pour chaque image numérique initiale, application (34) d'une fonction d'écrêtage avec un seuil d'écrêtage associé pour obtenir un niveau de signal linéaire en fonction de l'éclairement, pour obtenir une image numérique traitée, etfor each initial digital image, application (34) of a clipping function with an associated clipping threshold to obtain a level of linear signal as a function of the illumination, to obtain a processed digital image, and

-combinaison (36) des images numériques traitées pour obtenir une image finale de gamme dynamique étendue, ladite combinaison comportant une sommation des signaux d'images numériques traités, l'image finale ayant un niveau de signal linéaire par morceaux en fonction de l'éclairement.-combination (36) of the digital images processed to obtain a final image of wide dynamic range, said combination comprising a summation of the digital image signals processed, the final image having a level of linear signal in pieces as a function of the illumination .

Figure FR3064784A1_D0001
Figure FR3064784A1_D0002

Procédé et dispositif d’acquisition et de restitution d’images numériques avec une dynamique étendueMethod and device for acquiring and restoring digital images with extended dynamics

La présente invention concerne un procédé d’acquisition d’images numériques avec une dynamique étendue. Elle concerne également un dispositif associé, un procédé et un dispositif de restitution d’images numériques associés.The present invention relates to a method for acquiring digital images with extended dynamics. It also relates to an associated device, a method and a device for rendering associated digital images.

Elle se situe dans le domaine du traitement d’images à large gamme dynamique, connu sous le nom de « High Dynamic Range >> ou HDR en anglais.It is in the field of wide dynamic range image processing, known as "High Dynamic Range" or HDR in English.

Dans certaines applications, la dynamique d’acquisition d’images numériques classiques n’est pas suffisante pour une représentation suffisamment précise des données physiques représentées.In some applications, the dynamic acquisition of conventional digital images is not sufficient for a sufficiently precise representation of the physical data represented.

En effet, une image numérique est obtenue classiquement par un dispositif d’acquisition d’images muni de capteurs composés de milliers de pixels, chaque pixel étant apte à transformer des photons reçus pendant un temps d’intégration en un signal électrique, ledit signal électrique étant transformé en une valeur numérique d’échantillon d’image. Les valeurs numériques dans la gamme dynamique de représentation sont représentatives donc de la quantité de lumière reçue et intégrée par les pixels. De faibles valeurs numériques correspondent à une faible quantité de photons, donc de lumière, en d’autres termes à des zones sombres, alors que des valeurs élevées correspondent à des zones claires.Indeed, a digital image is conventionally obtained by an image acquisition device provided with sensors composed of thousands of pixels, each pixel being capable of transforming photons received during an integration time into an electrical signal, said electrical signal being transformed into a digital image sample value. The numerical values in the dynamic range of representation are therefore representative of the quantity of light received and integrated by the pixels. Low numerical values correspond to a small quantity of photons, therefore light, in other words to dark areas, while high values correspond to light areas.

En plus du signal utile de l’image, plusieurs bruits viennent « polluer >> cette image. Lorsque le signal utile est faible, le bruit devient significatif et le signal utile peut être noyé dans le bruit. Le SNR (de l’anglais : Signal to Noise Ratio) correspond au ratio du niveau de signal utile sur le niveau de bruit.In addition to the useful image signal, several noises "pollute" this image. When the useful signal is weak, the noise becomes significant and the useful signal can be embedded in the noise. The SNR (from English: Signal to Noise Ratio) corresponds to the ratio of the useful signal level to the noise level.

Il existe des techniques de traitement de plusieurs images numériques permettant d’obtenir une image numérique dont la dynamique est augmentée, mais de telles techniques nécessitent en général une puissance calculatoire importante.There are techniques for processing several digital images making it possible to obtain a digital image whose dynamics are increased, but such techniques generally require significant computing power.

De telles techniques de traitement d’images ne sont pas applicables dans certaines applications, par exemple dans la capture d’images embarquée sur des dispositifs mobiles autonomes ayant une puissance de calcul limitée, par exemple des drones ou des véhicules conçus pour se déplacer sur la surface d’astres, également appelés « rovers >> en anglais.Such image processing techniques are not applicable in certain applications, for example in the capture of images embedded on autonomous mobile devices having a limited computing power, for example drones or vehicles designed to move on the surface of stars, also called "rovers" in English.

En particulier, un problème se pose dans le cas d’applications spatiales, dans le cadre de l’acquisition d’images par des robots autonomes, équipés de systèmes de communication. Dans de telles applications, la puissance calculatoire embarquée est faible, et la bande passante de communication disponible pour transmettre des données à un système récepteur situé à distance peut être faible également.In particular, a problem arises in the case of spatial applications, in the context of the acquisition of images by autonomous robots, equipped with communication systems. In such applications, the on-board computing power is low, and the communication bandwidth available for transmitting data to a remote receiver system may also be low.

Il serait donc utile de mettre au point un procédé permettant l’acquisition d’images numériques avec une dynamique étendue, et un bon rapport signal-à-bruit dans l’étendue de la gamme de représentation et ne nécessitant que de faibles moyens calculatoires.It would therefore be useful to develop a method allowing the acquisition of digital images with a wide dynamic range, and a good signal-to-noise ratio in the range of the representation range and requiring only low computational means.

A cet effet, l’invention propose un procédé d’acquisition d’images numériques mis en œuvre dans un système comportant un dispositif d’acquisition d’images numériques, ledit dispositif d’acquisition d’images numériques étant muni de capteurs, chaque capteur étant apte à transformer un éclairement détecté pendant un temps d’intégration en un signal électrique, ledit signal électrique étant transformé en une valeur de radiométrie d’échantillon d’image numérique. Le procédé comporte les étapes suivantes :To this end, the invention proposes a digital image acquisition method implemented in a system comprising a digital image acquisition device, said digital image acquisition device being provided with sensors, each sensor being able to transform an illuminance detected during an integration time into an electrical signal, said electrical signal being transformed into a radiometric value of digital image sample. The process includes the following steps:

-détermination d’une pluralité de temps d’intégration différents,-determination of a plurality of different integration times,

-et pour chacun des temps d’intégration déterminés, obtention d’une image numérique initiale acquise avec ledit temps d’intégration, chaque image numérique initiale ayant un niveau de signal correspondant,-and for each of the determined integration times, obtaining an initial digital image acquired with said integration time, each initial digital image having a corresponding signal level,

-pour chaque image numérique initiale, application d’une fonction d’écrêtage avec un seuil d’écrêtage associé pour obtenir un niveau de signal linéaire en fonction de l’éclairement, pour obtenir une image numérique traitée, etfor each initial digital image, application of a clipping function with an associated clipping threshold to obtain a level of linear signal as a function of the illumination, to obtain a processed digital image, and

-combinaison des images numériques traitées pour obtenir une image finale de gamme dynamique étendue, ladite combinaison comportant une sommation des signaux d’images numériques traités, l’image finale ayant un niveau de signal linéaire par morceaux en fonction de l’éclairement.-combination of the digital images processed to obtain a final image of wide dynamic range, said combination comprising a summation of the digital image signals processed, the final image having a linear signal level by pieces as a function of the illumination.

Avantageusement, le procédé d’acquisition d’images numériques de l’invention est simple et nécessite peu de ressources calculatoires, et permet d’obtenir une image numérique finale de grande dynamique.Advantageously, the method of acquiring digital images of the invention is simple and requires little computational resources, and makes it possible to obtain a final digital image of great dynamics.

Le procédé d’acquisition d’images numériques selon l’invention peut présenter une ou plusieurs des caractéristiques ci-dessous, prises indépendamment ou selon toutes les combinaisons techniquement acceptables.The method of acquiring digital images according to the invention may have one or more of the characteristics below, taken independently or in any technically acceptable combination.

L’étape d’écrêtage, consiste à comparer, pour chaque image numérique acquise, la valeur de chaque échantillon à la valeur de seuil d’écrêtage prédéterminée, et lorsque ladite valeur d’échantillon est supérieure à la valeur de seuil d’écrêtage, à remplacer ladite valeur d’échantillon par ladite valeur de seuil d’écrêtage.The clipping step consists in comparing, for each digital image acquired, the value of each sample with the predetermined clipping threshold value, and when said sample value is greater than the clipping threshold value, replacing said sample value with said clipping threshold value.

Pour chacune des images acquises, une même valeur de seuil d’écrêtage est appliquée.For each of the acquired images, the same clipping threshold value is applied.

L’étape de détermination des temps d’intégration comporte une détermination d’un temps d’intégration minimal et/ou d’un temps d’intégration maximal, et le calcul des autres temps d’intégration en fonction du temps d’intégration maximal et d’un nombre d’images à traiter.The step of determining the integration times comprises a determination of a minimum integration time and / or a maximum integration time, and the calculation of the other integration times as a function of the maximum integration time. and a number of images to be processed.

L’étape de détermination de temps d’intégration comporte la détermination des temps d’intégration en fonction d’un objectif de qualité de l’image numérique finale et d’un nombre d’images à traiter.The integration time determination step comprises the determination of the integration times as a function of a quality objective of the final digital image and of a number of images to be processed.

L’objectif de qualité de l’image numérique est un objectif de rapport signal à bruit minimum et la détermination des temps d’intégration met en oeuvre le rapport signal à bruit minimum, le nombre d’images traitées et un niveau de saturation d’un capteur.The objective of digital image quality is a minimum signal to noise ratio objective and the determination of the integration times implements the minimum signal to noise ratio, the number of images processed and a level of saturation of a captor.

Selon un autre aspect, l’invention concerne un programme d’ordinateur comportant des instructions logicielles qui, lorsqu’elles sont mises en oeuvre par un dispositif programmable, mettent en oeuvre un procédé d’acquisition d’images numériques tel que brièvement décrit ci-dessus.According to another aspect, the invention relates to a computer program comprising software instructions which, when implemented by a programmable device, implement a method of acquiring digital images as briefly described below. above.

Selon un autre aspect, l’invention concerne un support d’enregistrement d’informations adapté à stocker un programme d’ordinateur comportant des instructions logicielles qui, lorsqu’elles sont mises en oeuvre par un dispositif programmable, mettent en oeuvre un procédé d’acquisition d’images numériques tel que brièvement décrit cidessus.According to another aspect, the invention relates to an information recording medium suitable for storing a computer program comprising software instructions which, when implemented by a programmable device, implement a method of acquisition of digital images as briefly described above.

Selon un autre aspect, l’invention concerne un dispositif d’acquisition d’images numériques mis en oeuvre dans un système comportant un dispositif d’acquisition d’images numériques, ledit dispositif d’acquisition d’images numériques étant muni de capteurs, chaque capteur étant apte à transformer un éclairement détecté pendant un temps d’intégration en un signal électrique, ledit signal électrique étant transformé en une valeur de radiométrie d’échantillon d’image numérique. Le dispositif d’acquisition d’images numériques comporte un dispositif programmable comportant au moins un processeur adapté à mettre en œuvre des calculs, comportant :According to another aspect, the invention relates to a digital image acquisition device implemented in a system comprising a digital image acquisition device, said digital image acquisition device being provided with sensors, each sensor being able to transform an illuminance detected during an integration time into an electrical signal, said electrical signal being transformed into a radiometric value of digital image sample. The digital image acquisition device comprises a programmable device comprising at least one processor suitable for implementing calculations, comprising:

-un module de détermination d’une pluralité de temps d’intégration différents,-a module for determining a plurality of different integration times,

-un module de commande d’acquisition d’une image numérique initiale correspondante pour chacun des temps d’intégration déterminés, chaque image numérique initiale ayant un niveau de signal correspondant,a control module for acquiring a corresponding initial digital image for each of the determined integration times, each initial digital image having a corresponding signal level,

-pour chaque image numérique acquise, un module d’application d’une fonction d’écrêtage avec un seuil d’écrêtage associé pour obtenir un niveau de signal linéaire en fonction de l’éclairement, pour obtenir une image numérique traitée,-for each digital image acquired, a clipping function application module with an associated clipping threshold to obtain a linear signal level as a function of the illumination, to obtain a processed digital image,

-un module combinaison des images numériques traitées pour obtenir une image finale de gamme dynamique étendue, ladite combinaison comportant une sommation des signaux d’images numériques traités, l’image finale ayant un niveau de signal linéaire par morceaux en fonction de l’éclairement.a module combining the digital images processed to obtain a final image of wide dynamic range, said combination comprising a summation of the digital image signals processed, the final image having a level of linear signal in pieces as a function of the illumination.

Selon un autre aspect, l’invention concerne un procédé de restitution d’images numériques à partir d’une image numérique finale de gamme dynamique étendue obtenue par un procédé d’acquisition tel que brièvement décrit ci-dessus. Le procédé de restitution comporte des étapes de :According to another aspect, the invention relates to a method for restoring digital images from a final digital image of wide dynamic range obtained by an acquisition method as briefly described above. The restitution process includes steps of:

-obtention d’une pluralité de temps d’intégration différents et de seuils d’écrêtage utilisés pour obtenir l’image numérique finale de dynamique étendue, correspondant à un nombre N d’images numériques initiales ;obtaining a plurality of different integration times and clipping thresholds used to obtain the final digital image of extended dynamics, corresponding to a number N of initial digital images;

-calcul de N seuils finaux à partir des temps d’intégration et des seuils d’écrêtage ;- calculation of N final thresholds from the integration times and the clipping thresholds;

-obtention d’au moins une image restituée ayant un niveau de signal linéaire avec l’éclairement à partir de l’image numérique finale et des seuils finaux calculés.-obtaining at least one restored image having a linear signal level with the illumination from the final digital image and the calculated final thresholds.

Le procédé restitution d’images numériques selon l’invention peut présenter une ou plusieurs des caractéristiques ci-dessous, prises indépendamment ou selon toutes les combinaisons techniquement acceptables.The method of restoring digital images according to the invention may have one or more of the characteristics below, taken independently or according to any technically acceptable combination.

L’étape d’obtention d’au moins une image restituée comporte le calcul d’une seule image ayant un niveau de signal linéaire.The step of obtaining at least one restored image comprises the calculation of a single image having a linear signal level.

L’étape d’obtention d’au moins une image restituée comporte le calcul de N images restituées correspondant aux N images numériques initiales.The step of obtaining at least one restored image comprises the calculation of N restored images corresponding to the N initial digital images.

Selon un autre aspect, l’invention concerne un programme d’ordinateur comportant des instructions logicielles qui, lorsqu’elles sont mises en oeuvre par un dispositif programmable, mettent en oeuvre un procédé de restitution d’images numériques tel que brièvement décrit ci-dessus.According to another aspect, the invention relates to a computer program comprising software instructions which, when implemented by a programmable device, implement a method for restoring digital images as briefly described above. .

Selon un autre aspect, l’invention concerne un support d’enregistrement d’informations adapté à stocker un programme d’ordinateur comportant des instructions logicielles qui, lorsqu’elles sont mises en oeuvre par un dispositif programmable, mettent en oeuvre un procédé de restitution d’images numériques tel que brièvement décrit cidessus.According to another aspect, the invention relates to an information recording medium suitable for storing a computer program comprising software instructions which, when implemented by a programmable device, implement a restitution method digital images as briefly described above.

Selon un autre aspect, l’invention concerne un dispositif de restitution d’images numériques à partir d’une image numérique finale de gamme dynamique étendue obtenue par dispositif d’acquisition tel que brièvement décrit ci-dessus. Le dispositif comporte un dispositif programmable comportant au moins un processeur adapté à mettre en oeuvre des modules de :According to another aspect, the invention relates to a device for restoring digital images from a final digital image of wide dynamic range obtained by acquisition device as briefly described above. The device comprises a programmable device comprising at least one processor suitable for implementing modules of:

-obtention d’une pluralité de temps d’intégration différents et de seuils d’écrêtage utilisés pour obtenir l’image numérique finale de dynamique étendue, correspondant à un nombre N d’images numériques initiales ;obtaining a plurality of different integration times and clipping thresholds used to obtain the final digital image of extended dynamics, corresponding to a number N of initial digital images;

-calcul de N seuils finaux à partir des temps d’intégration et des seuils d’écrêtage ;- calculation of N final thresholds from the integration times and the clipping thresholds;

-obtention au moins une image restituée ayant un niveau de signal linéaire avec l’éclairement à partir de l’image numérique finale et des seuils finaux calculés.-obtaining at least one restored image having a linear signal level with the illumination from the final digital image and the calculated final thresholds.

D’autres caractéristiques et avantages de l’invention ressortiront de la description qui en est donnée ci-dessous, à titre indicatif et nullement limitatif, en référence aux figures annexées, parmi lesquelles :Other characteristics and advantages of the invention will emerge from the description which is given below, for information and in no way limitative, with reference to the appended figures, among which:

-la figure 1 est un schéma représentant les blocs fonctionnels d’un dispositif programmable apte à mettre en œuvre l’invention ;FIG. 1 is a diagram representing the functional blocks of a programmable device capable of implementing the invention;

-la figure 2 est un synoptique des principales étapes d’un procédé d’acquisition d’images de dynamique étendue selon un mode de réalisation de l’invention ;FIG. 2 is a block diagram of the main steps of a process for acquiring extended dynamic range images according to an embodiment of the invention;

-la figure 3 illustre les niveaux de signal correspondant à des images acquises en fonction de la quantité de lumière intégrée par les capteurs du dispositif d’acquisition d’images, avec des temps d’intégration différents ;FIG. 3 illustrates the signal levels corresponding to images acquired as a function of the amount of light integrated by the sensors of the image acquisition device, with different integration times;

-la figure 4 illustre schématiquement le niveau de signal Σ de l’image finale ;FIG. 4 schematically illustrates the signal level Σ of the final image;

-la figure 5 est un synoptique des principales étapes de restitution de signaux d’images acquis à partir d’une image numérique avec une dynamique étendue selon un mode de réalisation de l’invention.FIG. 5 is a block diagram of the main steps for restoring image signals acquired from a digital image with extended dynamics according to an embodiment of the invention.

La figure 1 illustre schématiquement un système 1 d’acquisition/restitution d’images numériques apte à mettre en œuvre le procédé d’acquisition d’images numériques avec une dynamique étendue selon l’invention.FIG. 1 schematically illustrates a system 1 for acquiring / restoring digital images capable of implementing the method of acquiring digital images with extended dynamics according to the invention.

Le système 1 comprend un système d’acquisition d’images 2, qui peut par exemple être embarqué à bord d’une plateforme mobile autonome, par exemple un robot.The system 1 comprises an image acquisition system 2, which can for example be carried on board an autonomous mobile platform, for example a robot.

Le système d’acquisition d’images 2 comprend un dispositif d’acquisition d’images 4, muni de capteurs, chaque capteur étant apte à transformer des photons reçus pendant un temps d’intégration en un signal électrique, ledit signal électrique étant transformé en une valeur numérique d’échantillon d’image numérique.The image acquisition system 2 comprises an image acquisition device 4, provided with sensors, each sensor being able to transform photons received during an integration time into an electrical signal, said electrical signal being transformed into a digital sample image digital value.

De préférence, des capteurs à sortie numérique de type CMOS sont utilisés.Preferably, CMOS type digital output sensors are used.

Le dispositif d’acquisition d’images 4 est connecté à un dispositif programmable 6, apte à mettre en œuvre le procédé d’acquisition d’images selon l’invention, et notamment à commander l’acquisition d’images par le dispositif d’acquisition d’images 4.The image acquisition device 4 is connected to a programmable device 6, able to implement the image acquisition method according to the invention, and in particular to control the acquisition of images by the device. image acquisition 4.

Dans un mode de mise en œuvre, le dispositif programmable 6 est réalisé sous forme de composants logiques programmables, tel qu’un FPGA (de l’anglais FieldProgrammable Gâte Array), ou encore sous forme de circuits intégrés dédiés, de type ASIC (de l’anglais Application-Specific Integrated Circuit).In one embodiment, the programmable device 6 is produced in the form of programmable logic components, such as an FPGA (from the English FieldProgrammable Gâte Array), or also in the form of dedicated integrated circuits, of the ASIC type (of English Application-Specific Integrated Circuit).

Le dispositif programmable 6 est connecté à un dispositif de stockage de type mémoire permettant de stocker des images numériques.The programmable device 6 is connected to a memory type storage device making it possible to store digital images.

Le système d’acquisition d’images 2 comporte, de manière optionnelle, un module de communication 8 apte à communiquer à distance avec un système de restitution 10, comportant également un module de communication 12, selon un protocole de communication dédié. Par exemple, une communication par satellite est mise en œuvre.The image acquisition system 2 includes, optionally, a communication module 8 capable of communicating remotely with a rendering system 10, also comprising a communication module 12, according to a dedicated communication protocol. For example, satellite communication is implemented.

Ainsi, le système d’acquisition d’images 2 est apte à transmettre des données numériques, en particulier des images numériques, au système de restitution 10.Thus, the image acquisition system 2 is able to transmit digital data, in particular digital images, to the reproduction system 10.

Dans un mode de réalisation, le système de restitution 10 est un dispositif programmable apte à mettre en œuvre l’invention, est par exemple un ordinateur. II comprend une unité centrale de traitement 16, ou CPU, apte à exécuter des instructions de programme informatique lorsque le dispositif programmable est mis sous tension. Le dispositif programmable comporte également des moyens de stockage d’informations 16, par exemple des registres ou des mémoires, aptes à stocker des instructions de code exécutable permettant la mise en œuvre de programmes comportant des instructions de code aptes à mettre en œuvre le procédé selon l’invention.In one embodiment, the rendering system 10 is a programmable device capable of implementing the invention, for example a computer. It comprises a central processing unit 16, or CPU, capable of executing computer program instructions when the programmable device is powered up. The programmable device also comprises means for storing information 16, for example registers or memories, capable of storing executable code instructions allowing the implementation of programs comprising code instructions capable of implementing the method according to the invention.

En option, le dispositif programmable 10 comprend un écran 18 et un moyen 20 de saisie des commandes d’un opérateur, par exemple un clavier, optionnellement un moyen supplémentaire de pointage 22, tel une souris, permettant de sélectionner des éléments graphiques affichés sur l’écran 18.Optionally, the programmable device 10 includes a screen 18 and a means 20 for entering operator commands, for example a keyboard, optionally an additional pointing device 22, such as a mouse, making it possible to select graphic elements displayed on the screen. screen 18.

Les divers blocs fonctionnels 12 à 22 du dispositif programmable 10 décrits cidessus sont connectés via un bus de communication 24.The various functional blocks 12 to 22 of the programmable device 10 described above are connected via a communication bus 24.

La figure 2 est un synoptique des principales étapes d’un procédé d’acquisition d’images numériques avec une dynamique étendue selon un mode de réalisation de l’invention.FIG. 2 is a block diagram of the main steps of a process for acquiring digital images with extended dynamics according to an embodiment of the invention.

Lors d’une première étape 30, on détermine un nombre N d’acquisitions d’images numériques IM, à effectuer par le dispositif d’acquisition d’images 2, et un temps d’intégration T, associée à chaque acquisition d’image IM,.During a first step 30, a number N of digital image acquisitions IM is determined, to be carried out by the image acquisition device 2, and an integration time T, associated with each image acquisition IM ,.

Le nombre N est un nombre entier strictement supérieur à 1.The number N is an integer strictly greater than 1.

Dans un mode de réalisation, le nombre N est prédéterminé, par exemple fourni par un opérateur et mémorisé, ainsi que les temps d’intégration associés.In one embodiment, the number N is predetermined, for example provided by an operator and stored, as well as the associated integration times.

En variante, N est déterminé en fonction des capacités de stockage dans le système d’acquisition d’images 2.As a variant, N is determined as a function of the storage capacities in the image acquisition system 2.

Par exemple, N=4 acquisitions d’images effectuées avec quatre temps d’intégration Tb T2, T3 et T4. Dans un mode de réalisation, T1=1ms, T2=2ms, T3=3ms, T4=4ms.For example, N = 4 image acquisitions made with four integration times T b T 2 , T 3 and T 4 . In one embodiment, T 1 = 1ms, T 2 = 2ms, T 3 = 3ms, T 4 = 4ms.

Dans un mode de réalisation, le temps d’intégration T4, est le plus long, et les autres temps d’intégration sont fixés par une règle de calcul par rapport à T4, parIn one embodiment, the integration time T 4 is the longest, and the other integration times are fixed by a calculation rule with respect to T 4 , by

1 3 exemple : T =-xT,,T2 = -χΤ,·,Ί\ =-χΊ\.1 3 example: T = -xT ,, T 2 = -χΤ, ·, Ί \ = -χΊ \.

4 2 44 2 4

Bien sûr, ce mode de réalisation est donné à titre d’exemple.Of course, this embodiment is given by way of example.

Il est possible d’appliquer d’autres règles de calcul en fonction du temps d’intégration le plus long et/ou en fonction du temps d’intégration le plus court.It is possible to apply other calculation rules according to the longest integration time and / or according to the shortest integration time.

Par exemple, un incrément temporel constant est appliqué au temps d’intégration le plus court.For example, a constant time increment is applied to the shortest integration time.

Selon une variante, on détermine séparément chaque temps d’intégration T,.According to a variant, each integration time T, is determined separately.

Selon une autre variante, le nombre N et les temps d’intégration T, sont calculés en fonction de conditions environnementales de capture ou d’un objectif de qualité fixé, par exemple en termes de rapport signal à bruit minimum à obtenir.According to another variant, the number N and the integration times T are calculated as a function of environmental capture conditions or of a fixed quality objective, for example in terms of minimum signal-to-noise ratio to be obtained.

De préférence, les temps d’intégration sont choisis de manière à ce que la quantité de mouvement dans la scène observée entre le temps d’intégration le plus court h et le temps d’intégration le plus long TN soit négligeables.Preferably, the integration times are chosen so that the amount of movement in the scene observed between the shortest integration time h and the longest integration time T N is negligible.

Tel est par exemple le cas si le dispositif de capture d’images est fixe et si la luminosité de la scène observée est stable pendant toute la durée des prises d’images, que les acquisitions d’images soient effectuées en série par un seul capteur ou en parallèle par plusieurs capteurs.This is for example the case if the image capture device is fixed and if the brightness of the scene observed is stable for the entire duration of the image taking, that the image acquisitions are carried out in series by a single sensor. or in parallel by several sensors.

L’étape 30 est suivie d’une étape 32 d’acquisition de chaque image numérique IM, en réglant le temps d’intégration des capteurs du dispositif d’acquisition d’images au temps d’intégration T, préalablement déterminé.Step 30 is followed by a step 32 of acquiring each digital image IM, by adjusting the integration time of the sensors of the image acquisition device to the integration time T, previously determined.

Une image numérique est formée d’une matrice bidimensionnelle d’échantillons d’image, chaque échantillon d’image ayant une valeur numérique associée appelée signal (correspondant à la somme du signal utile et des bruits). Le signal utile correspond à une valeur de radiométrie. Dans une gamme dynamique de représentation, la valeur de radiométrie est représentative de l’éclairement, ou en d’autres termes de la quantité de lumière, reçue et intégrée par le ou les capteurs associé audit échantillon.A digital image is made up of a two-dimensional matrix of image samples, each image sample having an associated digital value called the signal (corresponding to the sum of the useful signal and the noises). The useful signal corresponds to a radiometry value. In a dynamic range of representation, the radiometry value is representative of the illumination, or in other words of the quantity of light, received and integrated by the sensor or sensors associated with said sample.

Les faibles valeurs de radiométrie correspondent aux zones sombres, et les fortes valeurs de radiométrie aux zones éclairées.Low radiometry values correspond to dark areas, and high radiometry values correspond to bright areas.

Par exemple, chaque valeur numérique d’échantillon d’image est représentée sur P bits, P étant par exemple compris entre 8 et 10, la gamme dynamique de représentation correspondante étant la gamme des valeurs entières entre 0 et 2P-1.For example, each digital image sample value is represented on P bits, P being for example between 8 and 10, the dynamic range of corresponding representation being the range of integer values between 0 and 2 P -1.

En variante, une image numérique est composée de plusieurs telles matrices bidimensionnelles d’échantillons d’images, chaque matrice correspondant à une couleur, par exemple rouge, vert, bleu.As a variant, a digital image is composed of several such two-dimensional matrices of sample images, each matrix corresponding to a color, for example red, green, blue.

Le temps d’intégration le plus court, Tb permet d’acquérir une image numérique ayant une bonne représentation des zones claires.The shortest integration time, T b makes it possible to acquire a digital image having a good representation of the light areas.

Le temps d’intégration le plus long TN permet d’acquérir une image numérique ayant une bonne représentation des zones sombres.The longest integration time T N makes it possible to acquire a digital image having a good representation of the dark areas.

Pour chaque image numérique initiale IM,, l’étape 32 est suivie d’une étape 34 d’écrêtage, permettant d’utiliser le capteur correspondant dans sa zone linéaire. La zone linéaire du capteur est la zone dans laquelle le niveau de signal utile est proportionnel au nombre de photons.For each initial digital image IM ,, step 32 is followed by a clipping step 34, making it possible to use the corresponding sensor in its linear area. The linear area of the sensor is the area in which the useful signal level is proportional to the number of photons.

L’étape 34 met en œuvre une fonction d’écrêtage appliquée à chaque image initiale IM,, et consistant à remplacer toutes les valeurs du signal de IM, supérieures ou égales à un seuil d’écrêtage SeuilJ par la valeur SeuilJ :Step 34 implements a clipping function applied to each initial image IM ,, and consisting in replacing all the values of the signal of IM, greater than or equal to a clipping threshold SeuilJ by the value SeuilJ:

Si IMt(k,r)> Seuil_i, IM Jk,l) = Seuil _i (Eq 1)If IM t (k, r)> Threshold_i, IM Jk, l) = Threshold _i (Eq 1)

Sinon, IMJk,T) = IMJJ) pour 1 < k < L,1 < l < C, L, C étant les dimensions respectives, en nombre de lignes et nombre de colonnes, de la matrice d’image IM,.Otherwise, IMJk, T) = IMJJ) for 1 <k <L, 1 <l <C, L, C being the respective dimensions, in number of rows and number of columns, of the image matrix IM ,.

A l’issue de l’étape 34 on obtient, pour chaque indice i, une image numérique IM’,, appelée image traitée.At the end of step 34, for each index i, a digital image IM ’,, is obtained, called the processed image.

Dans un mode de réalisation, le seuil d’écrêtage est constant et égal à une valeur de seuil Sat prédéterminée pour toutes les images numériques acquises.In one embodiment, the clipping threshold is constant and equal to a predetermined Sat threshold value for all the digital images acquired.

On choisira par exemple comme valeur de seuil Sat, la valeur jusqu’à laquelle le signal est linéaire en fonction de la quantité de photons reçue par le pixel.As a threshold value Sat, for example, the value up to which the signal is linear is chosen as a function of the quantity of photons received by the pixel.

De préférence, cette valeur Sat est proche de la saturation du capteur, de manière à utiliser quasiment la totalité de la zone linéaire du capteur.Preferably, this Sat value is close to the saturation of the sensor, so as to use almost the entire linear region of the sensor.

Avantageusement, ce mode de réalisation comporte des opérations calculatoires simples, facilement réalisables par un FPGA. En pratique, seules les valeurs de IMj(k,l) supérieures au seuil d’écrêtage SeuilJ sont modifiées.Advantageously, this embodiment comprises simple computational operations, easily achievable by an FPGA. In practice, only the values of IMj (k, l) greater than the ThresholdJ clipping threshold are modified.

La figure 3 illustre schématiquement le niveau de signal de chaque image après l’étape d’écrêtage 34 en fonction de la quantité de lumière intégrée par le ou les capteurs du dispositif d’acquisition d’images, pour un ensemble de quatre temps d’intégration T1; T2, T3, T4 avec T1 <T2<T3<T4.FIG. 3 schematically illustrates the signal level of each image after the clipping step 34 as a function of the quantity of light integrated by the sensor or sensors of the image acquisition device, for a set of four times of integration T 1; T 2 , T3, T4 with T1 <T 2 <T3 <T4.

A la figure 3 on a illustré 4 graphes, chacun présentant en abscisse l’éclairement, (noté « light »), et en ordonnée le niveau de signal, qui est une valeur numérique.In FIG. 3, 4 graphs have been illustrated, each presenting the illumination on the abscissa (denoted "light"), and on the ordinate the signal level, which is a numerical value.

Le niveau de signal Si correspond à l’image écrêtée IMj, le niveau de signal S2 correspond à l’image écrêtée IM’2 et ainsi de suite. Le temps d’intégration correspondant à chaque acquisition d’image, noté Tint, est également précisé pour chaque graphe.The signal level Si corresponds to the clipped image IMj, the signal level S 2 corresponds to the clipped image IM ' 2 and so on. The integration time corresponding to each image acquisition, noted T int , is also specified for each graph.

Comme illustré à la figure 3, plus le temps d’intégration est long, plus la valeur d’éclairement nécessaire pour saturer le pixel est faible. Les paliers de saturation LsatJ sont inversement proportionnels aux temps d’intégration TN.i+1.As illustrated in FIG. 3, the longer the integration time, the lower the lighting value required to saturate the pixel. The saturation stages L satJ are inversely proportional to the integration times T N. i + 1 .

Les niveaux de signal S, sont linéaires entre 0 et Lsa,j, puis constants, grâce à la sélection des valeurs de seuil d’écrêtage SeuilJDe retour à la figure 2, suite à l’étape 34 d’écrêtage, on applique une étape 36 de sommation des images numériques écrêtées IM’,, et on obtient une image finale de gamme de représentation étendue, notée IMF :The signal levels S, are linear between 0 and L sa , j, then constant, thanks to the selection of the clipping threshold values SeuilJDeturn to FIG. 2, following the clipping step 34, a step 36 of summing the clipped digital images IM ′ ,, and a final image of extended representation range, denoted IM F , is obtained:

NNOT

IM P(k, l) = ^IMn(k,l) pour chaque (k,l), l<k<L,l<l<C (Eq 2) z'=lIM P (k, l) = ^ IM n (k, l) for each (k, l), l <k <L, l <l <C (Eq 2) z '= l

Lorsque chaque image IM’, est codée sur P bits, l’image finale IMF de gamme de représentation étendue est codée sur P'= P + log2(/V) bits.When each image IM ′ is coded on P bits, the final image IM F of extended representation range is coded on P ′ = P + log 2 (/ V) bits.

Par exemple, si N=4, les valeurs de signal de IMF sont représentées sur P+2 bits. Ainsi, on passe par exemple de valeurs représentées sur 10 bits à des valeurs représentées sur 12 bits.For example, if N = 4, the signal values of IM F are represented on P + 2 bits. Thus, for example, we pass from values represented on 10 bits to values represented on 12 bits.

L’image numérique finale ainsi obtenue IMF est ensuite mémorisée ou transmise à un dispositif de restitution lors d’une étape de stockage ou de transmission 38.The final digital image thus obtained IM F is then stored or transmitted to a rendering device during a storage or transmission step 38.

Dans un mode de réalisation, l’image numérique finale IMF est transmise par des moyens de communication sans fil, par exemple par communications radio ou par communications par satellite, à un dispositif de réception distant, qui reçoit et stocke ou traite l’image numérique finale de gamme dynamique étendue IMF.In one embodiment, the final digital image IM F is transmitted by wireless communication means, for example by radio communications or by satellite communications, to a remote reception device, which receives and stores or processes the image. final digital dynamic range IM F.

La figure 4 illustre le niveau de signal Σ de l’image finale IMF ainsi obtenue par sommation, en fonction de la quantité de lumière intégrée.FIG. 4 illustrates the signal level Σ of the final image IM F thus obtained by summation, as a function of the quantity of integrated light.

La représentation schématique de la figure 4 comprend un graphe présentant en abscisse la quantité de lumière intégrée (notée « light »), et en ordonnée le niveau de signal, qui est une valeur numérique.The schematic representation of FIG. 4 includes a graph presenting on the abscissa the quantity of integrated light (denoted “light”), and on the ordinate the signal level, which is a numerical value.

Le niveau de signal Σ correspond à la somme des niveaux de signal respectifs des images écrêtées:The signal level Σ corresponds to the sum of the respective signal levels of the clipped images:

NNOT

I(%) = J>(X) (Eq 3) z'=lI (%) = J> ( X ) (Eq 3) z '= l

Le niveau de signal Σ est linéaire par morceaux, en fonction des paliers de saturation LsatJ correspondants.The signal level Σ is piecewise linear, as a function of the corresponding saturation levels L satJ .

Une valeur de seuil final Σ, correspond à chaque palier de saturation LsatJ A final threshold value Σ, corresponds to each level of saturation L satJ

Avantageusement, on peut calculer chaque valeur de seuil final Σ, en fonction des valeurs de seuil d’écrêtage SeuilJ de la manière suivante :Advantageously, each final threshold value Σ can be calculated, as a function of the clipping threshold values SeuilJ in the following manner:

NNOT

EN=^Seuil_p (Eq4) p=lE N = ^ Threshold_p (Eq4) p = l

Et ensuite :And then :

2V-1 γ2V-1 γ

ΣΝ_γ = Σ Seuil _p + — x Seuil _ 1Σ Ν _ γ = Σ Threshold _p + - x Threshold _ 1

P=l C „ r. -, F x Seuil _i + T?x Seuil _2 + ... + TN_x Seuil _rP = l C „r. -, F x Threshold _i + T ? x Threshold _2 + ... + T N _x Threshold _r

Lr = SSeuil _p-\-(Eq 5) (Eq 6)L r = SSeuil _p - \ - (Eq 5) (Eq 6)

Les formules se simplifient dans les cas particulier où tous les seuils d’écrêtage SeuilJ sont égaux à une valeur prédéterminée Sat :The formulas are simplified in the particular cases where all the ThresholdJ clipping thresholds are equal to a predetermined Sat value:

EN=NxSat (Eq 7) ( τ + +T >E N = NxSat (Eq 7) (τ + + T>

Σ,.= r+ ji \xSa{ (Eq8)Σ ,. = R + j i \ xSa { (Eq8)

V P N-r+λ. )V P N-r + λ. )

Les seuils finaux Σ, sont utilisés soit pour restituer chacune des N images initiales, soit pour créer une image unique de dynamique étendue.The final thresholds Σ, are used either to restore each of the N initial images, or to create a single image of extended dynamics.

Le rapport signal-à-bruit de l’image numérique finale IM F, noté ici SNR(IMF), peut être calculé théoriquement en fonction de l’éclairement reçu. Cela permet de déterminer des temps d’intégration T, permettant d’assurer un objectif de qualité pour l’image finale, par exemple d’assurer que le SNR(IMF) de l’image numérique finale est supérieur à un rapport signal à bruit minimum, SNRmin, pour une image numérique finale obtenue à partir de N images initiales.The signal-to-noise ratio of the final digital image IM F , denoted here SNR (IM F ), can be calculated theoretically as a function of the illumination received. This makes it possible to determine integration times T, making it possible to ensure a quality objective for the final image, for example to ensure that the SNR (IM F ) of the final digital image is greater than a signal to minimum noise, SNR min , for a final digital image obtained from N initial images.

Le SNR de l’image finale IM F est calculé en fonction des N images numériques traitées :The SNR of the final image IM F is calculated as a function of the N digital images processed:

NNOT

IMF(k,l) = XlM'jk,l) (Eq 9) z'=lIM F (k, l) = XlM'jk, l) (Eq 9) z '= l

Le signal des images numériques traitées peut être exprimé en fonction de la réponse du capteur Rcapteur, de l’éclairement reçu par le pixel du capteur Z)[w] et du temps d’intégration 7j[s] :The signal of the processed digital images can be expressed as a function of the response of the sensor R sensor , of the illumination received by the pixel of the sensor Z) [w] and of the integration time 7j [s]:

N Γ 1 z=l (Eq 10) N Γ 1 z = l (Eq 10)

En considérant que le bruit majoritaire des capteurs actuels est le bruit photonique, (le bruit photonique est égal à la racine carrée du signal en électrons), au premier ordre, on peut donc écrire le SNR comme suit :Considering that the majority noise of current sensors is photonic noise (photonic noise is equal to the square root of the signal in electrons), at the first order, we can therefore write the SNR as follows:

N Γ 1 N Γ 1

Σ Ksnr(imf ) = (Eq 11 )Σ Ksnr (im f ) = (Eq 11)

On en déduit :We can deduce :

SNR(IMf ) = ^Rcapteur-E(k,l) (Eq 12)SNR (IM f ) = ^ R sensor -E (k, l) (Eq 12)

Pour assurer un rapport signal à bruit SNR(IMF) minimal, selon un mode de réalisation, on fixe le temps d’intégration le plus court, noté Tv To ensure a minimum SNR signal to noise ratio (IM F ), according to one embodiment, the shortest integration time, noted T v , is fixed.

En considérant le niveau de saturation en électrons, note Sate, et le niveau de SNR minimum souhaité, noté SNRmin, on obtient les temps d’écrêtage successifs par les équations suivantes :By considering the level of electron saturation, denoted Sat e , and the desired minimum SNR level, denoted SNR min , we obtain the successive clipping times by the following equations:

SNR„ σε _ σ:/SNR „σε _ σ: /

4s, at4s, at

Figure FR3064784A1_D0003

(Eq 13)(Eq 13)

Par exemple, Sate =10000 électrons. La valeur de SNRmin est fixée en fonction de l’application visée.For example, Sat e = 10,000 electrons. The value of SNRmin is fixed according to the intended application.

La figure 5 est un synoptique des principales étapes de restitution, dans un mode de réalisation, à partir d’une image finale de gamme dynamique étendue obtenue par le procédé décrit ci-dessus.FIG. 5 is a block diagram of the main restitution steps, in one embodiment, from a final image of extended dynamic range obtained by the method described above.

Le procédé de restitution comprend une première étape 40 de réception ou de lecture en mémoire de l’image numérique finale IMF.The restitution method comprises a first step 40 of receiving or reading in memory the final digital image IM F.

L’étape 40 est suivie d’une étape 42 d’obtention des paramètres utilisés : le nombre N d’acquisitions, les temps d’intégration associés, les seuils d’écrêtage SeuilJ utilisés.Step 40 is followed by a step 42 for obtaining the parameters used: the number N of acquisitions, the associated integration times, the ThresholdJ clipping thresholds used.

L’étape 42 est suivie d’une étape 44 de détermination des seuils finaux Σ, correspondant à chaque palier de saturation LsatJ du niveau de signal Σ, en utilisant les formules de calcul données par (Eq 5) à (Eq 8).Step 42 is followed by a step 44 of determining the final thresholds Σ, corresponding to each level of saturation L satJ of the signal level Σ, using the calculation formulas given by (Eq 5) to (Eq 8).

L’étape 44 est suivie d’une étape 46 d’obtention d’une image finale linéarisée.Step 44 is followed by a step 46 for obtaining a linearized final image.

Dans un mode de réalisation, on prend également en considération en niveaux de radiométrie d’obscurité, qui sont spécifiques aux capteurs utilisés et qui dépendent du temps d’intégration.In one embodiment, we also take into consideration the darkness radiometry levels, which are specific to the sensors used and which depend on the integration time.

On note Vobsle niveau d’obscurité correspondant à l’acquisition de l’image IM, avec le temps d’intégration Ti.We note V obs the level of darkness corresponding to the acquisition of the image IM, with the integration time Ti.

Le signal IM F(k,l) des pixels de l’image finale est linéaire par morceaux avec l’éclairement, ou, en d’autres termes, le signal IMP(k,l) peut être exprimé comme fonction affine de la quantité d’éclairement. Pour rendre l’interprétation des images plus facile, il peut être intéressant de linéariser l’image finale. On note IMlF(k,l) le signal du pixel (k,l) linéarisé.The IM signal F (k, l) of the pixels of the final image is piecewise linear with the illumination, or, in other words, the IM signal P (k, l) can be expressed as an affine function of the amount of illumination. To make the interpretation of the images easier, it may be interesting to linearize the final image. We denote by IM l F (k, l) the signal of the linearized pixel (k, l).

Par exemple, pour 4 temps d’intégrations Γ1234 avec des seuils d’écrêtage égaux à une valeur Sat, le signal linéarisé IMl7(k,l) est calculé comme suit.For example, for 4 integration times Γ 1234 with clipping thresholds equal to a Sat value, the linearized signal IM l 7 (k, l) is calculated as follows.

Pour IMP(k,l)<Ll on applique :For IM P (k, l) <L l we apply:

IMp n(k,l) = IMp(k,l)-(Vobs_, + Vobs_2 + Vobs_3 + Vobs_3) (Eq 14)IM p n (k, l) = IM p (k, l) - (V obs _, + V obs _ 2 + V obs _ 3 + V obs _ 3 ) (Eq 14)

Pour Ej <IMF(k,l)<£2 For Ej <IM F (k, l) <£ 2

IMh; (k,l) = (l + TJr\T) (IMF (k,D- (Vobs_, + voto_2 + Vobs_3 ) - Sat) (Eq 15) Pour Σ2 < IM F{k,l) <Σ3 IM h ; (k, l) = (l + T J r \ T ) (IM F (k, D- (V obs _, + v oto _ 2 + V obs _ 3 ) - Sat) (Eq 15) For Σ 2 < IM F {k, l) <Σ 3

IMh;(k,l) = (l + (IMF(k,l) - (Vobs_, +Vobs _2 ) - 2 · Sat) (Eq 16)IM h ; (k, l) = (l + (IM F (k, l) - (V obs _, + V obs _ 2 ) - 2 Sat) (Eq 16)

Pour Σ3 < IM F {k, Z) <Σ4 For Σ 3 <IM F {k, Z) <Σ 4

IMh;(k,l) = f 1 + Γ2+^3+ΓΑ · (IM F (k,l) - Vobs_, -3 · Sat) (Eq 17) v 7 yIM h ; (k, l) = f 1 + Γ2 + ^ 3 + Γ Α · (IM F (k, l) - V obs _, -3 · Sat) (Eq 17) v 7 y

Dans un mode de réalisation simplifié de l’étape 46, les niveaux d’obscurité sont négligés.In a simplified embodiment of step 46, the darkness levels are neglected.

Dans ce cas, les relations précédentes se simplifient :In this case, the previous relationships are simplified:

Pour IMF(k,l)<Ll on applique :For IM F (k, l) <L l we apply:

IMF (k,l) = IM F(k,l) (Eq18)IM F (k, l) = IM F (k, l) (Eq18)

Pour Ej <IMP(k,l)<Z2 For Ej <IM P (k, l) <Z 2

IMl,;(k,l) =IM l ,; (k, l) =

T -lT J-TT -lT J-T

Pour E2 <IMF(k,l)<L3 (IM F(k,l)-Sat) (Eq19)For E 2 <IM F (k, l) <L 3 (IM F (k, l) -Sat) (Eq19)

IMl,;(k,l) = + Zk±Z± . çIMp(k,l)-2· Sat) 1\+T2 J (Eq 20)IM l ,; (k, l) = + Zk ± Z ±. ç IMp (k, l) -2 · Sat) 1 \ + T 2 J (Eq 20)

Pour Σ3 < IMF(k,l) <Σ4 For Σ 3 <IM F (k, l) <Σ 4

IMh;(k,l)= i + + Γ3 + Γ41 Ζ) _ 3, Sa{) (Eq21)IM h ; (k, l) = i + + Γ 3 + Γ 41 Ζ) _ 3 , Sa {) (Eq21)

V )V)

Sur la figure 4, on a illustré en pointillés le niveau de signal Σ'1 correspondant à l’image finale de gamme dynamique étendue linéarisée.In FIG. 4, the signal level Σ ′ 1 is shown in dotted lines corresponding to the final image of linearized extended dynamic range.

En alternative ou en complément, l’étape 44 est suivie de l’étape 48 de restitution des N images acquises, dans leur gamme dynamique initiale, à partir du signal IM F(k,l) des pixels de l’image finale.As an alternative or in addition, step 44 is followed by step 48 of restitution of the N images acquired, in their initial dynamic range, from the signal IM F (k, l) of the pixels of the final image.

Dans le mode de réalisation sans prise en compte des niveaux d’obscurité, les formules suivantes sont appliquées pour déterminer la valeur de signal de chaque pixel de chacune des images finales restituées IMXP , IM2F, IM3F , ΙΜΛ Ρ :In the embodiment without taking into account the darkness levels, the following formulas are applied to determine the signal value of each pixel of each of the final restored images IM XP , IM 2F , IM 3F , ΙΜ Λ Ρ :

Pour IMF(k,l)<Eï :For IM F (k, l) <E ï : IMlF(k,l) =---IM F(k,l) (Tï+T2+T3+T4)IM lF (k, l) = --- IM F (k, l) (T ï + T 2 + T 3 + T 4 ) (Eq 22) (Eq 22) IM2F(k,l) = Tl -IMP(k,l) (Tï+T2+T3+T4)IM 2F (k, l) = Tl -IM P (k, l) (T ï + T 2 + T 3 + T 4 ) (Eq 23) (Eq 23) IM3F(k,l) = -IMP(k,l) (Tï+T2+T3+T4)IM 3F (k, l) = -IM P (k, l) (T ï + T 2 + T 3 + T 4 ) (Eq 24) (Eq 24) IM ,F(k,l) =---IMF(k,l) (Tï+T2+T3+T4)IM, F (k, l) = --- IM F (k, l) (T ï + T 2 + T 3 + T 4 ) (Eq 25) (Eq 25) Pour Σ! < IMF(k,l)<E2 For Σ! <IM F (k, l) <E 2 IM,F(k,l) = Γι -(IMF(k,l) Sat) (Tx + T2 + T3)IM, F (k, l) = Γι - (IM F (k, l) Sat) (T x + T 2 + T 3 ) (Eq 26) (Eq 26) IM2F(k,l) = Tl -(IMF(k,l) Sat) (Tx + T2 + T3 )IM 2F (k, l) = Tl - (IM F (k, l) Sat) (T x + T 2 + T 3 ) (Eq 27) (Eq 27) IM3F(k,l) = -(IMF(k,l) Sat) (Tx + T2 +T3)IM 3F (k, l) = - (IM F (k, l) Sat) (T x + T 2 + T 3 ) (Eq 28) (Eq 28) Pour Σ2 < IMF(k,l) <Σ3 For Σ 2 <IM F (k, l) <Σ 3 IMlF(k,l)= Τχ -(IMF(k,l) 2· Sat) (7j + T2 )IM lF (k, l) = Τχ - (IM F (k, l) 2 Sat) (7d + T 2 ) (Eq 29) (Eq 29) IM2F(k,l) = -(IMF(k,l) 2-Sat) (Τγ + T2 )IM 2F (k, l) = - (IM F (k, l) 2-Sat) (Τγ + T 2 ) (Eq 30) (Eq 30) Pour Σ3 < IMF(k,l) <Σ4 For Σ 3 <IM F (k, l) <Σ 4

IM,F(k,l) = IMF(k,l)-3-Sat (Eq31)IM, F (k, l) = IM F (k, l) -3-Sat (Eq31)

En variante, il est bien sûr possible de tenir compte des niveaux d’obscurité, de manière analogue à ce qui a été explicité ci-dessus en référence à l’étape 46.As a variant, it is of course possible to take account of the levels of darkness, in a manner similar to what has been explained above with reference to step 46.

Bien évidemment, les formules ont été détaillées dans le mode de réalisation à 5 N=4 images acquises, mais le principe s’applique de manière analogue à un nombre N d’images acquises, avec N quelconque.Obviously, the formulas were detailed in the embodiment with 5 N = 4 acquired images, but the principle applies in a similar manner to a number N of acquired images, with any N.

De plus, sur le même principe, il est possible de déterminer les formules à appliquer pour restituer une image finale linéarisée ou pour restituer N images finales correspondant aux images acquises lorsqu’on utilise des valeurs de seuil Seuil_i différentes.In addition, on the same principle, it is possible to determine the formulas to be applied to restore a final linearized image or to restore N final images corresponding to the images acquired when using threshold values Seuil_i different.

Claims (10)

REVENDICATIONS 1. - Procédé d’acquisition d’images numériques mis en œuvre dans un système comportant un dispositif d’acquisition d’images numériques, ledit dispositif d’acquisition d’images numériques étant muni de capteurs, chaque capteur étant apte à transformer un éclairement détecté pendant un temps d’intégration en un signal électrique, ledit signal électrique étant transformé en une valeur de radiométrie d’échantillon d’image numérique, caractérisé en ce qu’il comporte les étapes suivantes :1. - Method for acquiring digital images implemented in a system comprising a device for acquiring digital images, said device for acquiring digital images being provided with sensors, each sensor being capable of transforming an illumination detected during an integration time into an electrical signal, said electrical signal being transformed into a value for radiometry of digital image sample, characterized in that it comprises the following steps: -détermination (30) d’une pluralité de temps d’intégration (T1; T2, T3, T4) différents,-determination (30) of a plurality of different integration times (T 1; T 2 , T 3 , T 4 ), -et pour chacun des temps d’intégration (T1; T2, T3, T4) déterminés, obtention (32) d’une image numérique initiale acquise avec ledit temps d’intégration, chaque image numérique initiale ayant un niveau de signal correspondant,and for each of the integration times (T 1; T 2 , T 3 , T 4 ) determined, obtaining (32) an initial digital image acquired with said integration time, each initial digital image having a level of corresponding signal, -pour chaque image numérique initiale, application (34) d’une fonction d’écrêtage avec un seuil d’écrêtage associé (Seuil_1, Seuil_2, Seuil_3, Seuil_4) pour obtenir un niveau de signal (S15 S2, S3, S4) linéaire en fonction de l’éclairement, pour obtenir une image numérique traitée, et-for each initial digital image, application (34) of a clipping function with an associated clipping threshold (Seuil_1, Seuil_2, Seuil_3, Seuil_4) to obtain a signal level (S 15 S 2 , S 3 , S 4 ) linear as a function of the illumination, in order to obtain a processed digital image, and -combinaison (36) des images numériques traitées pour obtenir une image finale de gamme dynamique étendue, ladite combinaison comportant une sommation des signaux d’images numériques traités, l’image finale ayant un niveau de signal (Σ) linéaire par morceaux en fonction de l’éclairement.-combination (36) of the digital images processed to obtain a final image of wide dynamic range, said combination comprising a summation of the digital image signals processed, the final image having a level of signal (Σ) linear by pieces as a function of the illumination. 2, - Procédé d’acquisition d’images numériques selon la revendication 1, caractérisé en ce que l’étape d’écrêtage (34), consiste à comparer, pour chaque image numérique acquise, la valeur de chaque échantillon à la valeur de seuil d’écrêtage (Seuil_1, Seuil_2, Seuil_3, Seuil_4), et lorsque ladite valeur d’échantillon est supérieure à la valeur de seuil d’écrêtage (Seuil_1, Seuil_2, Seuil_3, Seuil_4), à remplacer ladite valeur d’échantillon par ladite valeur de seuil d’écrêtage.2, - A method of acquiring digital images according to claim 1, characterized in that the clipping step (34) consists in comparing, for each acquired digital image, the value of each sample with the threshold value clipping (Seuil_1, Seuil_2, Seuil_3, Seuil_4), and when said sample value is greater than the clipping threshold value (Seuil_1, Seuil_2, Seuil_3, Seuil_4), to replace said sample value by said value clipping threshold. 3. - Procédé d’acquisition d’images numériques selon la revendication 2, caractérisé en ce que pour chacune des images acquises, une même valeur de seuil d’écrêtage est appliquée.3. - A method of acquiring digital images according to claim 2, characterized in that for each of the acquired images, the same clipping threshold value is applied. 4, - Procédé d’acquisition d’images numériques selon l’une des revendications 1 à 3, caractérisé en ce que l’étape de détermination (30) des temps d’intégration comporte une détermination d’un temps d’intégration minimal et/ou d’un temps d’intégration maximal, et le calcul des autres temps d’intégration en fonction du temps d’intégration maximal et d’un nombre d’images à traiter.4, - Method for acquiring digital images according to one of claims 1 to 3, characterized in that the step of determining (30) the integration times comprises a determination of a minimum integration time and / or a maximum integration time, and the calculation of the other integration times as a function of the maximum integration time and of a number of images to be processed. 5. - Procédé d’acquisition d’images numériques selon l’une des revendications 1 à 3, caractérisé en ce que l’étape de détermination de temps d’intégration comporte la détermination des temps d’intégration en fonction d’un objectif de qualité de l’image numérique finale et d’un nombre d’images à traiter.5. - A method of acquiring digital images according to one of claims 1 to 3, characterized in that the step of determining integration time comprises determining the integration times as a function of an objective of quality of the final digital image and of a number of images to be processed. 6. - Dispositif d’acquisition d’images numériques mis en œuvre dans un système comportant un dispositif d’acquisition d’images numériques, ledit dispositif d’acquisition d’images numériques étant muni de capteurs, chaque capteur étant apte à transformer un éclairement détecté pendant un temps d’intégration en un signal électrique, ledit signal électrique étant transformé en une valeur de radiométrie d’échantillon d’image numérique, caractérisé en ce qu’il comporte un dispositif programmable comportant au moins un processeur adapté à mettre en œuvre des calculs, comportant :6. - Digital image acquisition device implemented in a system comprising a digital image acquisition device, said digital image acquisition device being provided with sensors, each sensor being able to transform an illumination detected during an integration time into an electrical signal, said electrical signal being transformed into a radiometric value of digital image sample, characterized in that it comprises a programmable device comprising at least one processor adapted to be implemented calculations, including: -un module de détermination d’une pluralité de temps d’intégration différents,-a module for determining a plurality of different integration times, -un module de commande d’acquisition d’une image numérique initiale correspondante pour chacun des temps d’intégration déterminés, chaque image numérique initiale ayant un niveau de signal correspondant,a control module for acquiring a corresponding initial digital image for each of the determined integration times, each initial digital image having a corresponding signal level, -pour chaque image numérique acquise, un module d’application d’une fonction d’écrêtage avec un seuil d’écrêtage associé pour obtenir un niveau de signal linéaire en fonction de l’éclairement, pour obtenir une image numérique traitée,-for each digital image acquired, a clipping function application module with an associated clipping threshold to obtain a linear signal level as a function of the illumination, to obtain a processed digital image, -un module combinaison des images numériques traitées pour obtenir une image finale de gamme dynamique étendue, ladite combinaison comportant une sommation des signaux d’images numériques traités, l’image finale ayant un niveau de signal linéaire par morceaux en fonction de l’éclairement.a module combining the digital images processed to obtain a final image of wide dynamic range, said combination comprising a summation of the digital image signals processed, the final image having a level of linear signal in pieces as a function of the illumination. 7. - Procédé de restitution d’images numériques à partir d’une image numérique finale de gamme dynamique étendue obtenue par une procédé d’acquisition conforme à l’une des revendications 1 à 5, caractérisé en ce qu’il comporte des étapes de :7. - Method for restoring digital images from a final digital image of wide dynamic range obtained by an acquisition method according to one of claims 1 to 5, characterized in that it comprises steps of : -obtention (42) d’une pluralité de temps d’intégration différents et de seuils d’écrêtage utilisés pour obtenir l’image numérique finale de dynamique étendue, correspondant à un nombre N d’images numériques initiales ;obtaining (42) a plurality of different integration times and clipping thresholds used to obtain the final digital image of extended dynamics, corresponding to a number N of initial digital images; -calcul (44) de N seuils finaux (Συ ...,Σ4) à partir des temps d’intégration et des seuils d’écrêtage ;-calculating (44) of N final thresholds (Σ υ ..., Σ 4 ) from the integration times and the clipping thresholds; -obtention (46, 48) d’au moins une image restituée ayant un niveau de signal linéaire avec l’éclairement à partir de l’image numérique finale et des seuils finaux calculés.-obtaining (46, 48) at least one restored image having a linear signal level with the illumination from the final digital image and the calculated final thresholds. 5 8.- Procédé de restitution d’images numériques selon la revendication 7, caractérisé en ce que l’étape d’obtention d’au moins une image restituée (46) comporte le calcul d’une seule image de gamme dynamique étendue ayant un niveau de signal linéaire.8. A method of restoring digital images according to claim 7, characterized in that the step of obtaining at least one restored image (46) comprises the calculation of a single image of extended dynamic range having a linear signal level. 10 9.- Procédé de restitution d’images numériques selon la revendication 7, caractérisé en ce que l’étape d’obtention d’au moins une image restituée (48) comporte le calcul de N images restituées correspondant aux N images numériques initiales.9. The method for restoring digital images according to claim 7, characterized in that the step of obtaining at least one restored image (48) comprises the calculation of N restored images corresponding to the N initial digital images. 10.- Dispositif de restitution d’images numériques à partir d’une image numérique10.- Device for restoring digital images from a digital image 15 finale de gamme dynamique étendue obtenue par dispositif d’acquisition conforme à la revendication 6, caractérisé en ce qu’il comporte un dispositif programmable comportant au moins un processeur adapté à mettre en oeuvre des modules de :15 final of dynamic range extended obtained by acquisition device according to claim 6, characterized in that it comprises a programmable device comprising at least one processor suitable for implementing modules of: -obtention d’une pluralité de temps d’intégration différents et de seuils d’écrêtage utilisés pour obtenir l’image numérique finale de dynamique étendue, correspondant à un-obtaining a plurality of different integration times and clipping thresholds used to obtain the final digital image of extended dynamics, corresponding to a 20 nombre N d’images numériques initiales ;20 number N of initial digital images; -calcul de N seuils finaux à partir des temps d’intégration et des seuils d’écrêtage ; -obtention au moins une image restituée ayant un niveau de signal linéaire avec l’éclairement à partir de l’image numérique finale et des seuils finaux calculés.- calculation of N final thresholds from the integration times and the clipping thresholds; -obtaining at least one restored image having a linear signal level with the illumination from the final digital image and the calculated final thresholds.
FR1752699A 2017-03-30 2017-03-30 METHOD AND DEVICE FOR ACQUIRING AND RETRIEVING DIGITAL IMAGES WITH EXTENDED DYNAMICS Withdrawn FR3064784A1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
FR1752699A FR3064784A1 (en) 2017-03-30 2017-03-30 METHOD AND DEVICE FOR ACQUIRING AND RETRIEVING DIGITAL IMAGES WITH EXTENDED DYNAMICS
PCT/EP2018/057822 WO2018178104A1 (en) 2017-03-30 2018-03-27 Method and device for acquiring and restoring digital images with extended dynamics

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1752699 2017-03-30
FR1752699A FR3064784A1 (en) 2017-03-30 2017-03-30 METHOD AND DEVICE FOR ACQUIRING AND RETRIEVING DIGITAL IMAGES WITH EXTENDED DYNAMICS

Publications (1)

Publication Number Publication Date
FR3064784A1 true FR3064784A1 (en) 2018-10-05

Family

ID=59699752

Family Applications (1)

Application Number Title Priority Date Filing Date
FR1752699A Withdrawn FR3064784A1 (en) 2017-03-30 2017-03-30 METHOD AND DEVICE FOR ACQUIRING AND RETRIEVING DIGITAL IMAGES WITH EXTENDED DYNAMICS

Country Status (2)

Country Link
FR (1) FR3064784A1 (en)
WO (1) WO2018178104A1 (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030072566A1 (en) * 2000-05-26 2003-04-17 Thomson-Csf Device and method for the analysis of one or more signals with wide dynamic range
US20050275747A1 (en) * 2002-03-27 2005-12-15 Nayar Shree K Imaging method and system

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030072566A1 (en) * 2000-05-26 2003-04-17 Thomson-Csf Device and method for the analysis of one or more signals with wide dynamic range
US20050275747A1 (en) * 2002-03-27 2005-12-15 Nayar Shree K Imaging method and system

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
NAYAR S K ET AL: "High Dynamic Range Imaging: Spatially Varying Pixel Exposures", PROCEEDINGS 2000 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION. CVPR 2000. HILTON HEAD ISLAND, SC, JUNE 13-15, 2000; [PROCEEDINGS OF THE IEEE COMPUTER CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION], LOS ALAMITOS, CA : IEEE COMP., 13 June 2000 (2000-06-13), pages 472 - 479, XP002236923, ISBN: 978-0-7803-6527-8 *

Also Published As

Publication number Publication date
WO2018178104A1 (en) 2018-10-04

Similar Documents

Publication Publication Date Title
CA2859900C (en) Method of estimating optical flow on the basis of an asynchronous light sensor
BE1022491B1 (en) METHOD FOR AVOIDING SATURATION OF PIXEL
FR3038431A1 (en) HIGH RESOLUTION CAMERA BLOCK FOR DRONE, WITH CORRECTION OF ONDULATING OSCILLATION TYPE INSTABILITIES
EP3272119B1 (en) Method and device of 3d reconstruction of a scene
FR3074991B1 (en) HIGH DYNAMIC IMAGE SENSOR
EP3571834B1 (en) Adaptive generation of a high dynamic range image of a scene, on the basis of a plurality of images obtained by non-destructive reading of an image sensor
FR2923024A1 (en) METHOD FOR DETECTING A TARGET
FR2996034A1 (en) Method for generating high dynamic range image representing scene in e.g. digital still camera, involves generating composite images by superposition of obtained images, and generating high dynamic range image using composite images
FR3091114A1 (en) image capture device and associated driver monitoring system
FR3064784A1 (en) METHOD AND DEVICE FOR ACQUIRING AND RETRIEVING DIGITAL IMAGES WITH EXTENDED DYNAMICS
EP1223554A1 (en) Noise reduction method
EP4260555A1 (en) Dynamic quality proxy plural camera image blending
FR3073280A1 (en) METHOD FOR OBSERVING THE GROUND SURFACE AND DEVICE FOR IMPLEMENTING IT
WO2022023668A1 (en) Method and system for imaging a scene in space
FR3114718A1 (en) Device for compensating the movement of an event sensor and associated observation system and method
EP2943935B1 (en) Estimation of the movement of an image
FR3055764A1 (en) METHOD FOR CONTROLLING THE REAL-TIME DETECTION OF A SCENE BY A WIRELESS COMMUNICATION APPARATUS, FOR EXAMPLE A CELLULAR MOBILE TELEPHONE, AND CORRESPONDING APPARATUS.
FR3069087B1 (en) METHOD OF PROCESSING AN IMAGE
EP3310039B1 (en) Electronic device for analysing a scene
FR2968876A1 (en) System for acquisition of images of scene, has separation unit separating flow of beam from focusing optics into predetermined fractions, and merging unit merging images output from sensors to generate final image
WO2022018113A1 (en) Sensor for measuring distance by time of flight with pixel having multiple memory nodes
EP3729796B1 (en) Imaging process and imaging system for high and low light levels
EP3360055A1 (en) Method of optimizing decomposition of an asynchronous signal
EP1329846A1 (en) Arrangement for the detection of punctual targets using spatial and temporal image processing
FR3131163A1 (en) Observation system and associated observation method

Legal Events

Date Code Title Description
PLFP Fee payment

Year of fee payment: 2

PLSC Publication of the preliminary search report

Effective date: 20181005

PLFP Fee payment

Year of fee payment: 3

ST Notification of lapse

Effective date: 20201110