EP4670111A1 - Procédé de traitement d'une image infrarouge par fusion de plusieurs traitements colorimétriques de l'image infrarouge - Google Patents

Procédé de traitement d'une image infrarouge par fusion de plusieurs traitements colorimétriques de l'image infrarouge

Info

Publication number
EP4670111A1
EP4670111A1 EP24712116.3A EP24712116A EP4670111A1 EP 4670111 A1 EP4670111 A1 EP 4670111A1 EP 24712116 A EP24712116 A EP 24712116A EP 4670111 A1 EP4670111 A1 EP 4670111A1
Authority
EP
European Patent Office
Prior art keywords
image
processing
applying
infrared
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP24712116.3A
Other languages
German (de)
English (en)
Inventor
Julie MANO
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Safran Electronics and Defense SAS
Original Assignee
Safran Electronics and Defense SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Safran Electronics and Defense SAS filed Critical Safran Electronics and Defense SAS
Publication of EP4670111A1 publication Critical patent/EP4670111A1/fr
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—Two-dimensional [2D] image generation
    • G06T11/10—Texturing; Colouring; Generation of textures or colours
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image

Definitions

  • TITLE Method for processing an infrared image by merging several colorimetric treatments of the infrared image
  • the present invention relates to the processing of infrared images captured by a thermal camera.
  • the present invention relates to a processing method comprising a fusion of at least two processing operations of the same infrared image so as to bring out several types of information from the scene captured in the form of an infrared image.
  • the invention applies to any type of image capable of providing different types of information depending on the image processing applied.
  • Imaging devices include, for example, a camera comprising a sensor and an optical system, as well as an image processing module for respectively capturing an image of a scene and processing said image by applying a processing function.
  • the image processing module comprises, for example, a module for optimizing the histogram of the captured images.
  • the histogram of an image is a representation of the intensity distribution of the pixels of said image.
  • the histogram optimization module is also called C.A.H for Automatic Histogram Control.
  • the histogram optimization module is intended to be able to analyze and optimize the processing of the image captured by the camera, for example by stretching the histogram globally and/or locally.
  • stretching a histogram consists, for example, in better distributing the intensity distribution of the pixels of the image, and more generally in giving another form of distribution of the intensities of the pixels.
  • stretching the histogram of Globally the histogram is stretched by taking into account the intensity value of all pixels in the image, while locally stretching the histogram is done by taking into account the intensity value of pixels in one or more specific areas of the image, for example in areas with a particular spatial frequency.
  • Locally stretching the histogram of the image is done, for example, by stretching the histogram for each spatial frequency of the image independently of the others, the superposition of these stretched histograms making it possible to obtain the locally processed image.
  • An advantage of globally stretching a histogram of an infrared image obtained with an infrared sensor is that it helps a computer or operator detect areas of interest in the infrared image, such as areas emitting heat. Indeed, global stretching improves the contrast of the image and allows better detection of areas of interest at the expense of a loss of detail. This advantage is useful for day and night use in surveillance, defense, and machine vision applications.
  • One advantage of locally stretching a histogram of an infrared image is that it helps identify details in the scene observed by the infrared camera.
  • the amount of detail makes the human eye lose its ability to recognize and detect areas of interest, especially hot spots.
  • the histogram optimization module also allows to stretch the histogram of an image in a mixed way, namely by applying a weighting between a global stretching and a local stretching.
  • State-of-the-art imaging devices comprising thermal cameras also comprise a light processing path in addition to the histogram optimization module. in the image processing module.
  • This processing path allows the image histogram to be stretched globally, or to not apply any histogram stretching processing.
  • This processing path is usually used in particular to transmit tracking information or to recover a stream of unprocessed raw images.
  • imaging devices may comprise an image fusion module, allowing imaging devices comprising an infrared sensor and a sensor in the visible wavelengths to combine thermal and visible information on a single image output from the imaging device.
  • the present invention therefore aims to overcome the aforementioned drawbacks and to provide a method for processing an infrared image forming an image offering the best possible performance in both detection and identification.
  • the present invention relates to a method for processing an infrared image captured by an infrared camera, the method comprising the following steps:
  • step of merging the first image with the second image by an image merging module into a final image comprising for each pixel of the final image a weighted merger of the equivalent pixels respectively of the first image and of the area of the second image.
  • the present invention makes it possible to form an infrared image grouping the information from two different processes to the maximum of their capacity and thus to allow an operator or a computer to easily detect an area of interest, for example via colorimetric information contained in the final image, while being able to identify the details of the observed scene, for example via information from the local processing applied.
  • the method further comprises a step of displaying the final image in real time on a display screen.
  • the step of applying local processing comprises stretching the histogram for each spatial frequency of the first image independently of the other spatial frequencies, and comprises superimposing these stretched histograms so as to obtain the first locally processed image.
  • the step of applying a global processing to the second image comprises stretching the histogram of the second image by taking into account the intensity value of all the pixels of the second image.
  • the method comprises a step of automatic or manual selection of the area of the second image.
  • the step of selecting the area of the second image includes a step of automatic detection of the area in function of the temperature and/or movement and/or shape of said area.
  • the computer color encoding format is an RGB or YCbCr format.
  • the coloring and/or merging steps are applied to the entire second image or only to one or more areas of the second image.
  • the steps of applying local processing to the first image and applying global processing to the second image are performed simultaneously.
  • the present invention also relates to a computer program comprising program code instructions for executing the steps of the method as defined above, when said program is executed on a computer.
  • the present invention also relates to a computer-readable recording medium comprising instructions which, when executed by a computer, cause the latter to implement the steps of the method as defined above.
  • the present invention also relates to an imaging device comprising an image processing module configured to implement a method for processing an infrared image captured by an infrared camera, as defined above.
  • FIG 1 is a schematic view of an imaging device intended to implement the method according to the invention.
  • FIG 2 is a schematic illustration of the different steps of the infrared image processing method according to the invention. Detailed description of at least one embodiment
  • FIG 1 schematically shows an imaging device 2 intended to implement the method described below.
  • the imaging device 2 comprises an infrared camera comprising an optical system and an infrared sensor 4 as well as an image processing module 6 which may be similar to a computer program embedded in the camera.
  • the image processing module 6 comprises on the one hand a local optimization module of the histogram 8 of images captured by the infrared sensor 4, and on the other hand a lightweight global stretching module 10 of images captured by the infrared sensor 4.
  • the image processing module 6 also includes a fusion module 12 of an output image from the local histogram optimization module 8 with an output image from the lightweight global stretching module 10.
  • the local histogram optimization module 8 allows a stretching of the histogram of an image locally.
  • the lightweight global stretching module 10 allows a stretching of the histogram of an image globally.
  • the imaging device 2 optionally comprises a display screen 14 of an image.
  • the displayed image is the image obtained at the output of the fusion module 12.
  • the different steps of a method for processing an infrared image 16 captured by an infrared sensor 4 in one embodiment are schematically represented in FIG. 2.
  • the infrared sensor is, for example, the infrared sensor 4 of the imaging device 2 illustrated in FIG. 1 and the method is, for example, implemented by the imaging device 2 illustrated in FIG. 1.
  • a step 18 of duplicating the infrared image 16 captured by the infrared sensor 4 is first carried out.
  • the infrared image 16 is, for example, in grayscale.
  • the duplication thus generates a first image 20 and a second image 22, identical to the captured infrared image 16, and in gray levels.
  • the infrared image 16 represents an indoor or outdoor scene.
  • the duplication step 18 can be carried out more particularly with a duplication module (not shown) included in the imaging device.
  • the duplication step 18 can also be carried out by duplicating the infrared image 16 into a number N of images. This makes it possible to subsequently apply a number N of different image processing operations respectively to said N images. Preferably, N is between 2 and 4 duplicated images.
  • the present invention is therefore not limited to the duplication, processing and merging of two processing operations of an image.
  • a step 24 is then carried out for applying local processing to highlight the details in the first image 20.
  • the details correspond to the high spatial frequencies of an image.
  • This step 24 is for example implemented with the image processing module 6 by the local histogram optimization module 8.
  • step 24 of applying local processing comprises, for example, stretching the histogram for each spatial frequency of the first image independently of the others, and comprises superimposing these stretched histograms so as to obtain the first locally processed image.
  • the first image is processed spatial frequency by spatial frequency
  • the local processing enhances the high spatial frequencies and lowers the low spatial frequencies for different resolutions of the image. This then makes it possible to study the different spatial components of the image.
  • the intensity value of the pixels for a given spatial frequency is modified and stretched over the entire spectrum of possible intensities.
  • the histogram stretching is carried out for each spatial frequency of the first image, and all the virtual sub-images are combined into a first processed image, a first image is obtained having numerous intensity variations, and therefore a greater number of details.
  • the local processing goes further highlight the spatial information of the first image by enhancing the contours at different scales of said first image.
  • a step 26 of applying a global processing to the second image 22 is also performed.
  • This step 26 is for example implemented with the image processing module 6 and more particularly with the lightweight global stretching module 10.
  • this step 26 comprises the stretching of the histogram of the second image.
  • the intensity value of all the pixels of the second image is modified so that the histogram of these values is stretched over all the possible intensity values of the pixels.
  • the stretching of the histogram is performed by applying an intensity gain to each of the pixels so as to completely fill the intensity dynamics of the image, then by performing a recalibration of the histogram around the average value of said intensity dynamics of the image.
  • the overall processing does not modify the contrast ratios between the different light intensities of an image, in particular in order to maintain a "thermal" view of said image.
  • the steps 24 and 26 of applying a local processing and of applying a global processing are carried out simultaneously. This is made possible by the fact that the first image 20 and the second image 22 are processed independently, for example respectively by the local histogram optimization module 8 on the one hand and by the light global stretching module 10 on the other hand.
  • N images are duplicated, for example four images, with steps 24 and 26 being applied to two images and different processing steps being applied to the remaining two images to modify them, for example by additional processing bricks.
  • a step 28 of coloring at least one area of the second processed image 22 is then carried out. This step 28 is carried out using a correspondence table between gray levels and a computer color coding format.
  • the computer color encoding format is for example RGB or YCbCr format.
  • each gray level corresponds to a precise color combination defined in the correspondence table.
  • This correspondence makes it possible to better highlight areas of interest, in particular hot spots in the infrared image.
  • An advantage is that the colorimetric information obtained highlights for the observer the elements of interest in the scene, for example hot spots, while being superimposable with another type of information, such as intensity variations illustrating the details of the image.
  • the coloring step 28 is applied for example to the entire second processed image 22.
  • a step 30 of automatic or manual selection of one or more zones of said second image 22, processed or unprocessed is carried out before the coloring step 28, a step 30 of automatic or manual selection of one or more zones of said second image 22, processed or unprocessed, is carried out.
  • the coloring step can then be applied only to one or more selected zones, the unselected zones still being converted into a computer color coding format, without however changing their visual rendering.
  • a computer color coding format of the RGB type namely with three red, green and blue components
  • the selection is for example manual and is carried out by an operator who selects, for example on a display screen, the areas of interest of the second image 20.
  • the step of selecting an area of the second image 22 includes a step 32 of automatic detection of the area in function of the temperature and/or movement and/or shape of said area. Detection is carried out automatically by a computer and/or an on-board electronic card according to temperature criteria, and/or movement and/or shape of the area to be selected.
  • detecting a hot spot of interest then allows it to be colored in order to make it more visible.
  • a step 34 of converting the first image 20 from its grayscale format to a computer color coding format is performed.
  • This step 34 is similar to the conversion of the unselected areas mentioned above.
  • the first image 20 is converted to a computer color coding format while keeping the same visual appearance of grayscale.
  • a step 36 is then carried out for merging the first image 20 modified after step 34 with the second image 22 modified after step 28 into a final image 38, the first and second images being in the same computer color coding format. If necessary, the merging step 36 makes it possible to merge the N modified images.
  • the merging step 36 is for example carried out by the image merging module 12 of the imaging device 2.
  • the final image 38 more particularly comprises for each pixel of said final image 38 a weighted fusion of the equivalent pixels respectively of the first image 20 and of the second image 22.
  • Equivalent pixels are understood to mean the pixels of the first and second images which correspond to the same pixel in the captured infrared image.
  • the weighting factor can be modified by an operator. When it is equal to 0, only the second modified image 22 is visible on the final image 38. When it is equal to 1, only the first modified image 20 is visible on the final image 38.
  • the weighting factor is different depending on the x and y coordinates, for example for coordinates included in selected areas.
  • Step 36 of merging the first modified image 20 with the second modified image 22 into a final image 38 makes it possible to combine the respective interests of local processing and global processing, and therefore to facilitate respectively the identification and the detection on the same final image 38.
  • a step 40 of displaying the final image 38 is carried out by the display screen 14 of the imaging device 2, the display step 40 preferably being carried out in real time so that the display step 40 is carried out at most one second after the infrared image 16 has been duplicated, for example in a time corresponding to three processing frames, or 60 milliseconds for an acquisition frequency of 50 Hz.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

Ce procédé de traitement d'une image infrarouge (16) captée par une caméra infrarouge comprend les étapes suivantes : - une étape de duplication (18) de l'image infrarouge (16) en une première image (20) et une deuxième image (22); - une étape d'application d'un traitement local (24) sur la première image (20); - une étape d'application d'un traitement global (26) sur la deuxième image (22); - une étape de colorisation (28) d'au moins une zone de la deuxième image (22), au moyen d'une table de correspondance entre des niveaux de gris et un format de codage informatique de couleur; et - une étape de fusion (36) de la première image (20) avec la deuxième image (22) en une image finale (38).

Description

DESCRIPTION
TITRE : Procédé de traitement d’une image infrarouge par fusion de plusieurs traitements colorimétriques de l’image infrarouge
Domaine technique
La présente invention concerne le traitement d’images infrarouges capturées par une caméra thermique.
En particulier, la présente invention concerne un procédé de traitement comprenant une fusion d’ au moins deux traitements d’une même image infrarouge de manière à faire ressortir plusieurs types d’informations de la scène capturée sous forme d’image infrarouge.
De manière générale, l’invention s’ applique à tout type d’ image pouvant apporter différents types d’ informations en fonction du traitement d’ image appliqué.
Techniques antérieures
Les dispositifs d’ imagerie existant comprennent par exemple une caméra comprenant un capteur et un système optique, ainsi qu’un module de traitement d’ image permettant respectivement de capter une image d’une scène et de traiter ladite image par application d’une fonction de traitement.
En particulier, le module de traitement d’ image comprend par exemple un module d’ optimisation de l’histogramme des images captées. L’histogramme d’une image est une représentation de la distribution d’ intensité des pixels de ladite image. Le module d’ optimisation de l’histogramme est également appelé C.A.H pour Contrôle Automatique d’ Histogramme.
Le module d’ optimisation de l’histogramme est destiné à pouvoir analyser et optimiser le traitement de l’ image captée par la caméra, par exemple en étirant l’histogramme de manière globale et/ou de manière locale. De manière générale, l’ étirage d’un histogramme consiste par exemple à mieux répartir la distribution d’intensité des pixels de l’ image, et plus généralement à donner une autre forme de distribution des intensités des pixels. En particulier, l’ étirage de l’histogramme de manière globale est réalisé en prenant en compte la valeur de l’intensité de tous les pixels de l’image tandis que l’étirage de l’histogramme de manière locale est réalisé en prenant en compte la valeur de l’ intensité de pixels sur une ou des zones précises de l’ image, par exemple sur des zones possédant une fréquence spatiale particulière. Un étirage de l’histogramme de l’image de manière locale est par exemple réalisé par étirage de l’histogramme pour chaque fréquence spatiale de l’ image indépendamment des autres, la superposition de ces histogrammes étirés permettant d’ obtenir l’image traitée de manière locale.
Un avantage de l’ étirage global d’un histogramme d’une image infrarouge obtenue avec un capteur infrarouge, également appelé capteur thermique, est de favoriser la détection par un ordinateur ou par un opérateur de zones d’intérêt dans l’image infrarouge, par exemple de zones émettant de la chaleur. En effet, un étirage global améliore le contraste de l’image et permet une meilleure détection de zones d’intérêt au détriment d’une perte de détails. Cet avantage est utile pour un usage de jour comme de nuit pour des applications de surveillance, de défense et de vision industrielle.
Un avantage de l’ étirage local d’un histogramme d’une image infrarouge est de favoriser l’ identification de détails dans la scène observée par la caméra infrarouge. Cependant, la quantité de détail fait perdre à l’ œil humain sa capacité de reconnaissance et de détection de zones d’intérêt, notamment de points chauds.
Le module d’ optimisation de l’histogramme permet également d’ étirer l’histogramme d’une image de manière mixte, à savoir en appliquant une pondération entre un étirage global et un étirage local.
Cependant, le choix d’un compromis de manière mixte entre un étirage local et un étirage global ne permet pas d’ obtenir les meilleures performances dans chacun des deux cas, pour à la fois détecter des zones d’ intérêt (par exemple des points chauds au sein de l’ image) et identifier de manière fine des détails de la scène représentée dans l’image.
Des dispositifs d’ imagerie selon l’ état de la technique comportant des caméras thermiques comprennent également une voie de traitement léger en addition du module d’ optimisation de l’histogramme dans le module de traitement d’ image. Cette voie de traitement permet d’ étirer l’histogramme de l’ image de manière globale, ou de ne pas appliquer de traitement d’ étirage de l’histogramme. Cette voie de traitement est en particulier utilisée habituellement pour transmettre des informations de suivi (« tracking » en termes anglo-saxons) ou pour récupérer un flux d’ images brutes non traitées.
De plus, des dispositifs d’ imagerie selon l’ état de la technique peuvent comprendre un module de fusion d’images, permettant aux dispositifs d’imagerie comprenant un capteur infrarouge et un capteur dans les longueurs d’ onde du visible de combiner les informations thermiques et visibles sur une même image en sortie du dispositif d’ imagerie.
Exposé de l’invention
La présente invention a donc pour but de pallier les inconvénients précités et de fournir un procédé de traitement d’une image infrarouge formant une image offrant les meilleures performances possibles tant en détection qu’ en identification.
La présente invention a pour objet un procédé de traitement d’une image infrarouge captée par une caméra infrarouge, le procédé comprenant les étapes suivantes :
- une étape de duplication de l’image infrarouge en une première image en niveaux de gris et une deuxième image en niveaux de gris ;
- une étape d’ application d’un traitement local faisant ressortir les détails sur la première image pour chaque fréquence spatiale par un module de traitement d’image ;
- une étape d’ application d’un traitement global sur la deuxième image par le module de traitement d’image faisant ressortir des points chauds d’intérêt de la deuxième image ;
- une étape de colorisation d’ au moins une zone de la deuxième image au moyen d’une table de correspondance entre des niveaux de gris et un format de codage informatique de couleur ; - une étape de conversion de la première image d’un format en niveaux de gris à un format de codage informatique de couleur ; et
- une étape de fusion de la première image avec la deuxième image par un module de fusion d’images en une image finale comprenant pour chaque pixel de l’ image finale une fusion pondérée des pixels équivalents respectivement de la première image et de la zone de la deuxième image.
Ainsi, à l’ aide de modules préexistant, notamment d’un module de traitement d’image préexistant, la présente invention permet de former une image infrarouge regroupant les informations de deux traitements différents au maximum de leur capacité et ainsi de permettre à un opérateur ou à un ordinateur de détecter aisément une zone d’ intérêt, par exemple via une information colorimétrique contenue dans l’ image finale, tout en pouvant identifier les détails de la scène observée, par exemple via une information issue du traitement local appliqué.
Dans un mode de mise en œuvre, le procédé comprend en outre une étape d’ affichage en temps réel de l’ image finale par un écran d’ affichage.
Avantageusement, l’ étape d’ application d’un traitement local comprend l’ étirage de l’histogramme pour chaque fréquence spatiale de la première image indépendamment des autres fréquences spatiales, et comprend la superposition de ces histogrammes étirés de manière à obtenir la première image traitée de manière locale.
Avantageusement, l’ étape d’ application d’un traitement global sur la deuxième image comprend l’ étirage de l’histogramme de la deuxième image en prenant en compte la valeur de l’ intensité de tous les pixels de la deuxième image.
Dans un mode particulier de mise en œuvre, le procédé comprend une étape de sélection automatique ou manuelle de la zone de la deuxième image.
Avantageusement, l’ étape de sélection de la zone de la deuxième image comprend une étape de détection automatique de la zone en fonction de la température et/ou du mouvement et/ou de la forme de ladite zone.
Dans des modes particuliers de mises en œuvre, le format de codage informatique de couleur est un format RGB ou YCbCr.
Avantageusement, les étapes de colorisation et/ou de fusion sont appliquées à la totalité de la deuxième image ou seulement à une ou plusieurs zones de la deuxième image.
Dans un mode de mise en œuvre, les étapes d’ application d’un traitement local sur la première image et d’ application d’un traitement global sur la deuxième image sont effectuées simultanément.
La présente invention a également pour objet un programme d’ ordinateur comprenant des instructions de code de programme pour l’exécution des étapes du procédé tel que défini précédemment, lorsque ledit programme est exécuté sur un ordinateur.
La présente invention a également pour objet un support d’ enregistrement lisible par ordinateur comprenant des instructions qui, lorsqu’ elles sont exécutées par un ordinateur, conduisent celui-ci à mettre en œuvre les étapes du procédé tel que défini précédemment.
La présente invention porte également sur un dispositif d’ imagerie comprenant un module de traitement d’image configuré pour mettre en œuvre un procédé de traitement d’une image infrarouge captée par une caméra infrarouge, tel que défini ci-avant.
Brève description des dessins
D’ autres buts, caractéristiques et avantages de l’ invention apparaîtront à la lecture de la description suivante, donnée uniquement à titre d’ exemple non limitatif, et faite en référence aux dessins annexés sur lesquels :
[Fig 1 ] est une vue schématique d’un dispositif d’imagerie destiné à mettre en œuvre le procédé selon l’invention ; et
[Fig 2] est une illustration schématique des différentes étapes du procédé de traitement d’ image infrarouge selon l’invention. Exposé détaillé d’au moins un mode de réalisation
On a représenté schématiquement sur la figure 1 un dispositif d’ imagerie 2 destiné à mettre en œuvre le procédé décrit ci-dessous.
Le dispositif d’imagerie 2 comprend une caméra infrarouge comprenant un système optique et un capteur infrarouge 4 ainsi qu’un module de traitement d’ image 6 pouvant s’ apparenter à un programme d’ ordinateur embarqué dans la caméra. Le module de traitement d’ image 6 comprend d’une part un module d’ optimisation locale de l’histogramme 8 d’images captées par le capteur infrarouge 4, et d’ autre part un module léger d’ étirage global 10 d’ images captées par le capteur infrarouge 4.
Le module de traitement d’image 6 comprend également un module de fusion 12 d’une image en sortie du module d’ optimisation locale de l’histogramme 8 avec une image en sortie du module léger d’ étirage global 10.
En particulier, le module d’ optimisation locale de l’histogramme 8 permet un étirage de l’histogramme d’une image de manière locale. Le module léger d’ étirage global 10 permet un étirage de l’histogramme d’une image de manière globale.
Le dispositif d’ imagerie 2 comprend optionnellement un écran d’ affichage 14 d’une image. Par exemple, l’ image affichée est l’image obtenue en sortie du module de fusion 12.
On a représenté schématiquement sur la figure 2 les différentes étapes d’un procédé de traitement d’une image infrarouge 16 captée par un capteur infrarouge 4 dans un mode de mise en œuvre. Le capteur infrarouge est par exemple le capteur infrarouge 4 du dispositif d’ imagerie 2 illustré à la figure 1 et le procédé est par exemple mis en œuvre par le dispositif d’ imagerie 2 illustré à la figure 1.
Pour la mise en œuvre du procédé de traitement, on effectue en premier lieu une étape 18 de duplication de l’ image infrarouge 16 captée par le capteur infrarouge 4. L’image infrarouge 16 est par exemple en niveaux de gris. La duplication génère ainsi une première image 20 et une deuxième image 22, identiques à l’ image infrarouge 16 captée, et en niveaux de gris. En particulier, l’image infrarouge 16 représente une scène en intérieur ou en extérieur. L’ étape 18 de duplication peut être effectuée plus particulièrement avec un module de duplication (non représenté) compris dans le dispositif d’ imagerie.
L’ étape 18 de duplication peut également être effectuée par la duplication de l’ image infrarouge 16 en un nombre N d’ images. Cela permet d’ appliquer par la suite un nombre N de traitements d’ images différents respectivement auxdites N images. De préférence, N est compris entre 2 et 4 images dupliquées. La présente invention ne se limite donc pas à la duplication, au traitement et à la fusion de deux traitements d’une image.
On effectue ensuite une étape 24 d’ application d’un traitement local faisant ressortir les détails sur la première image 20. Les détails correspondent aux hautes fréquences spatiales d’une image. Cette étape 24 est par exemple mise en œuvre avec le module de traitement d’image 6 par le module d’ optimisation locale de l’histogramme 8.
En particulier, l’ étape 24 d’ application d’un traitement local comprend par exemple l’ étirage de l’histogramme pour chaque fréquence spatiale de la première image indépendamment des autres, et comprend la superposition de ces histogrammes étirés de manière à obtenir la première image traitée de manière locale. Autrement dit, la première image est traitée fréquence spatiale par fréquence spatiale, le traitement local réhausse les hautes fréquences spatiales et rabaisse les basses fréquences spatiales pour différentes résolutions de l’ image. Cela permet ensuite d’ étudier les différentes composantes spatiales de l’ image. Ainsi, la valeur d’ intensité des pixels pour une fréquence spatiale donnée est modifiée et étirée sur tout le spectre des intensités possibles. On réalise l’ étirage d’histogramme pour chaque fréquence spatiale de la première image, et on combine toutes les sous-images virtuelles en une première image traitée, on obtient une première image ayant de nombreuses variations d’ intensité, et donc un plus grand nombre de détails. Autrement dit, le traitement local va davantage mettre en avant les informations spatiales de la première image en rehaussant les contours à différentes échelles de ladite première image.
On effectue également une étape 26 d’ application d’un traitement global sur la deuxième image 22. Cette étape 26 est par exemple mise en œuvre avec le module de traitement d’ image 6 et plus particulièrement avec le module léger d’ étirage global 10. Dans un mode de mise en œuvre, cette étape 26 comprend l’ étirage de l’histogramme de la deuxième image. Autrement dit, la valeur de l’intensité de tous les pixels de la deuxième image est modifiée de sorte que l’histogramme de ces valeurs est étiré sur toute les valeurs possibles d’intensité des pixels. Plus précisément, l’ étirage de l’histogramme s’ effectue en appliquant un gain en intensité à chacun des pixels de manière à remplir entièrement la dynamique d’intensité de l’image, puis en effectuant un recalage de l’histogramme autour de la valeur moyenne de ladite dynamique d’intensité de l’ image. Optionnellement, il est possible de personnaliser ce traitement par exemple en choisissant le nombre de pixels qui doivent être à une valeur de saturation, en augmentant ou limitant le gain, autrement dit le contraste ou encore en appliquant un offset aux valeurs des pixels de la deuxième image, autrement dit en augmentant ou diminuant la luminosité. De manière évidente, le traitement global ne modifie pas les rapports de contraste entre les différentes intensités lumineuses d’une image, notamment afin de conserver une vue « thermique » de ladite image.
Avantageusement, les étapes 24 et 26 d’ application d’un traitement local et d’ application d’un traitement global sont effectuées simultanément. Cela est rendu possible par le fait que la première image 20 et la deuxième image 22 sont traitées indépendamment, par exemple respectivement par le module d’ optimisation locale de l’histogramme 8 d’une part et part le module léger d’ étirage global 10 d’ autre part.
En variante, N images sont dupliquées, par exemple quatre images, les étapes 24 et 26 étant appliquées à deux images et des étapes de traitements différentes étant appliquées aux deux images restantes pour les modifier, par exemple par des briques de traitement supplémentaires. On effectue ensuite une étape 28 de colorisation d’ au moins une zone de la deuxième image 22 traitée. Cette étape 28 est effectuée au moyen d’une table de correspondance entre des niveaux de gris et un format de de codage informatique de couleur.
Le format de codage informatique de couleur est par exemple un format RGB ou YCbCr.
Ainsi, à chaque niveau de gris correspond une combinaison de couleur précise définie dans la table de correspondance. Cette correspondance permet de mieux mettre en valeur des zones d’ intérêt, notamment des points chauds de l’image infrarouge. Un avantage est que l’information colorimétrique obtenue met en valeur pour l’ observateur les éléments d’ intérêt de la scène, par exemple les points chauds, tout en étant superposable avec un autre type d’informations, telles que des variations d’ intensité illustrant les détails de l’ image.
L’ étape 28 de colorisation est appliquée par exemple à l’ entièreté de la deuxième image 22 traitée.
En variante, on effectue avant l’ étape 28 de colorisation une étape 30 de sélection automatique ou manuelle d’une ou plusieurs zones de ladite deuxième image 22, traitée ou non traitée. L’étape de colorisation peut alors être appliquée uniquement à l’une ou aux zones sélectionnées, les zones non sélectionnées étant tout de même converties dans un format de codage informatique de couleur, sans toutefois changer leur rendu visuel. Ainsi, dans un format de codage informatique de couleur de type RGB , à savoir avec trois composantes rouge, verte et bleue, les zones non sélectionnées gardent un aspect de type nuance de gris tout en ayant leurs composantes RGB telles que l’intensité de la composante rouge est égale, pour chaque pixel d’une zone non sélectionnée, à l’ intensité de la composante verte, ainsi qu’ à l’ intensité de la composante bleue, noté R=G=B .
La sélection est par exemple manuelle et est effectuée par un opérateur qui sélectionne, par exemple sur un écran d’ affichage les zones d’intérêt de la deuxième image 20.
Optionnellement, l’ étape de sélection d’une zone de la deuxième image 22 comprend une étape 32 de détection automatique de la zone en fonction de la température et/ou du mouvement et/ou de la forme de ladite zone. La détection est effectuée automatiquement par un ordinateur et/ou une carte électronique embarquée en fonction de critères de température, et/ou de mouvement et/ou de forme de la zone à sélectionner.
Ainsi, la détection d’un point chaud d’ intérêt permet ensuite de le coloriser afin de le rendre plus visible.
On effectue en parallèle une étape 34 de conversion de la première image 20 de son format en niveaux de gris à un format de codage informatique de couleur. Cette étape 34 est similaire à la conversion des zones non sélectionnées évoquées ci-avant. En prévision de la fusion de la première et de la deuxième image 20 et 22, la première image 20 est converties dans un format de codage informatique de couleur tout en gardant le même aspect visuel de nuance de gris. Ainsi, dans un format de codage informatique de couleur de type RGB , l’ intensité de la composante rouge est égale, pour chaque pixel de la première image, à l’intensité de la composante verte, ainsi qu’ à l’ intensité de la composante bleue, noté R=G=B .
On effectue ensuite une étape 36 de fusion de la première image 20 modifiée après l’ étape 34 avec la deuxième image 22 modifiée après l’ étape 28 en une image finale 38, la première et la deuxième image étant au même format de codage informatique de couleur. Le cas échéant, l’ étape 36 de fusion permet de fusionner les N images modifiées. L’ étape 36 de fusion est par exemple effectuée par le module de fusion 12 d’images du dispositif d’ imagerie 2.
L’ image finale 38 comprend plus particulièrement pour chaque pixel de ladite image finale 38 une fusion pondérée des pixels équivalents respectivement de la première image 20 et de la deuxième image 22. On entend par pixels équivalents les pixels des première et deuxième images qui correspondent au même pixel dans l’ image infrarouge captée.
Selon un exemple de fusion pondérée, en notant x et y les coordonnées de chaque pixel de l’ image finale 38, a le facteur de pondération compris entre 0 et 1 , R, G, B les intensités des couleurs pour un format de codage informatique de couleur RGB , on obtient les intensités RGB pour chaque pixel de l’ image finale 38, telles que :
Le facteur de pondération peut être modifié par un opérateur. Lorsqu’il est égal à 0, seule la deuxième image 22 modifiée est visible sur l’image finale 38. Lorsqu’ il est égal à 1 , seule la première image 20 modifiée est visible sur l’image finale 38.
Optionnellement, le facteur de pondération est différent selon les coordonnées x et y, par exemple pour des coordonnées comprises dans des zones sélectionnées.
L’ étape 36 de fusion de la première image 20 modifiée avec la deuxième image 22 modifiée en une image finale 38 permet de combiner les intérêts respectifs d’un traitement local et d’un traitement global, et donc de faciliter respectivement l’ identification et la détection sur une même image finale 38.
Optionnellement, on effectue une étape 40 d’ affichage de l’ image finale 38 par l’ écran d’ affichage 14 du dispositif d’imagerie 2, l’ étape 40 d’ affichage étant de préférence effectuée en temps réel de sorte que l’ étape 40 d’ affichage est effectuée au maximum une seconde après que l’image infrarouge 16 ait été dupliquée, par exemple en un temps correspondant à trois trames de traitement, soit 60 millisecondes pour une fréquence de d’ acquisition de 50Hz.

Claims

REVENDICATIONS
1. Procédé de traitement d’une image infrarouge ( 16) captée par une caméra infrarouge, caractérisé en ce qu’ il comprend les étapes suivantes : une étape de duplication ( 18) de l’image infrarouge ( 16) en une première image (20) en niveaux de gris et une deuxième image (22) en niveaux de gris ; une étape d’ application d’un traitement local (24) faisant ressortir les détails sur la première image (20) pour chaque fréquence spatiale par un module de traitement d’image (6) ; une étape d’ application d’un traitement global (26) sur la deuxième image (22) par le module de traitement d’image (6) faisant ressortir des points chauds d’intérêt de la deuxième image (22) ; une étape de colorisation (28) d’ au moins une zone de la deuxième image (22) au moyen d’une table de correspondance entre des niveaux de gris et un format de codage informatique de couleur ; une étape de conversion (34) de la première image (20) d’un format en niveaux de gris à un format de codage informatique de couleur ; et une étape de fusion (36) de la première image (20) avec la deuxième image (22) par un module de fusion d’ images ( 12), la fusion résultant en une image finale (38) comprenant pour chaque pixel de l’image finale (38) une fusion pondérée des pixels équivalents respectivement de la première image (20) et de la zone de la deuxième image (22) .
2. Procédé selon la revendication 1 , comprenant en outre une étape d’ affichage (40) en temps réel de l’image finale (38) par un écran d’ affichage ( 14) .
3. Procédé selon l’une quelconque des revendications 1 et 2, dans lequel l’étape d’ application d’un traitement local (24) comprend l’ étirage de l’histogramme pour chaque fréquence spatiale de la première image (20) indépendamment des autres fréquences spatiales, et comprend la superposition de ces histogrammes étirés de manière à obtenir la première image (20) traitée de manière locale.
4. Procédé selon l’une quelconque des revendications 1 à 3, dans lequel l’ étape d’application d’un traitement global (26) sur la deuxième image (22) comprend l’ étirage de l’histogramme de la deuxième image (22) en prenant en compte la valeur de l’intensité de tous les pixels de la deuxième image (22) .
5. Procédé selon l’une quelconque des revendications 1 à 4, comprenant une étape de sélection (30) automatique ou manuelle de la zone de la deuxième image (22) .
6. Procédé selon la revendication 5 , dans lequel l’étape de sélection (30) de la zone de la deuxième image (22) comprend une étape de détection (32) automatique de la zone en fonction de la température et/ou du mouvement et/ou de la forme de ladite zone.
7. Procédé selon l’une quelconque des revendications 1 à 6, dans lequel le format de codage informatique de couleur est un format RGB ou YCbCr.
8. Procédé selon l’une quelconque des revendications 1 à 7, dans lequel les étapes de colorisation (28) et/ou de fusion (36) sont appliquées à la totalité de la deuxième image (22) ou seulement à une ou plusieurs zones de la deuxième image (22).
9. Procédé selon l’une quelconque des revendications 1 à 8, dans lequel les étapes d’ application d’un traitement local (24) sur la première image (20) et d’ application d’un traitement global (26) sur la deuxième image (22) sont effectuées simultanément.
10. Programme d’ ordinateur comprenant des instructions de code de programme pour l’ exécution des étapes du procédé selon l’une quelconque des revendications 1 à 9, lorsque ledit programme est exécuté sur un ordinateur.
EP24712116.3A 2023-02-23 2024-02-21 Procédé de traitement d'une image infrarouge par fusion de plusieurs traitements colorimétriques de l'image infrarouge Pending EP4670111A1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR2301664A FR3146225B1 (fr) 2023-02-23 2023-02-23 Procédé de traitement d’une image infrarouge par fusion de plusieurs traitements colorimétriques de l’image infrarouge
PCT/FR2024/050233 WO2024175863A1 (fr) 2023-02-23 2024-02-21 Procédé de traitement d'une image infrarouge par fusion de plusieurs traitements colorimétriques de l'image infrarouge

Publications (1)

Publication Number Publication Date
EP4670111A1 true EP4670111A1 (fr) 2025-12-31

Family

ID=86604464

Family Applications (1)

Application Number Title Priority Date Filing Date
EP24712116.3A Pending EP4670111A1 (fr) 2023-02-23 2024-02-21 Procédé de traitement d'une image infrarouge par fusion de plusieurs traitements colorimétriques de l'image infrarouge

Country Status (5)

Country Link
US (1) US20260120244A1 (fr)
EP (1) EP4670111A1 (fr)
FR (1) FR3146225B1 (fr)
IL (1) IL322480A (fr)
WO (1) WO2024175863A1 (fr)

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8515196B1 (en) * 2009-07-31 2013-08-20 Flir Systems, Inc. Systems and methods for processing infrared images
WO2021102928A1 (fr) * 2019-11-29 2021-06-03 深圳市大疆创新科技有限公司 Procédé et appareil de traitement d'image

Also Published As

Publication number Publication date
FR3146225B1 (fr) 2025-01-10
FR3146225A1 (fr) 2024-08-30
IL322480A (en) 2025-09-01
WO2024175863A1 (fr) 2024-08-29
US20260120244A1 (en) 2026-04-30

Similar Documents

Publication Publication Date Title
CN110651301A (zh) 用于自动为夜视图像着色的方法和系统
EP4214684B1 (fr) Colorisation sélective d'imagerie thermique
WO2003007243A2 (fr) Procede et systeme pour modifier une image numerique en prenant en compte son bruit
FR3038431A1 (fr) Bloc camera haute resolution pour drone, avec correction des instabilites de type oscillations ondulantes
CN113711584A (zh) 一种摄像装置
WO2023110878A1 (fr) Procédés et systèmes de traitement d'image pour la génération d'un ensemble de données d'entraînement pour l'amélioration d'images en basse lumière à l'aide de modèles d'apprentissage automatique
Wu et al. Learn to recover visible color for video surveillance in a day
CN111757082A (zh) 一种应用于ar智能设备的图像处理方法及系统
Fredembach et al. The bright-chromagenic algorithm for illuminant estimation
CN105321153B (zh) 视频监控低照度图像色彩还原方法和装置
CA2919414A1 (fr) Mesures de projection cinematographique
EP4670111A1 (fr) Procédé de traitement d'une image infrarouge par fusion de plusieurs traitements colorimétriques de l'image infrarouge
CN118264914A (zh) 一种摄像装置
FR3145638A1 (fr) Système d'acquisition d'une image couleur et d'une image infrarouge d'une scène
Dong et al. Infrared image colorization using an edge aware auto encoder decoder with the multi-resolution fusion
FR3078427A1 (fr) Detection dynamique de lumiere parasite dans une image numerique
FR3110994B1 (fr) Procédé de reconstruction d’une image, notamment d’une image exacte en couleur, programme d’ordinateur, dispositif et système associés
FR3138961A1 (fr) Procédé de traitement d’une image infrarouge par fusion de plusieurs traitements de l’image infrarouge
EP3884656B1 (fr) Appareil et procédé pour observer une scène comportant une cible
CA3174807A1 (fr) Procede et dispositif d'imagerie de documents
FR2913515A1 (fr) Systeme interactif d'aide selection de produits cosmetiques
CN112399164A (zh) 一种低照度条件下含有近红外彩色图像颜色复原方法
TWI904542B (zh) 執行用於紅外線影像之背景光減除之方法及相關之系統及非暫時性電腦可讀儲存媒體
FR3093886A1 (fr) Méthode de masquage d’objets dans un flux vidéo
US7336845B2 (en) Improving modulation transfer function of an image

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20250730

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC ME MK MT NL NO PL PT RO RS SE SI SK SM TR