FR2953086A1

FR2953086A1 - Non uniformity correcting method for photo sensible detector of thermal camera, involves modifying pitch of offset value of detected local extremum pixels, and protecting modified offset value in offset correction table

Info

Publication number: FR2953086A1
Application number: FR0905652A
Authority: FR
Inventors: Eric Prang
Original assignee: PRANG ERIC GEORGES ANDRE
Current assignee: PRANG ERIC GEORGES ANDRE
Priority date: 2009-11-25
Filing date: 2009-11-25
Publication date: 2011-05-27
Anticipated expiration: 2029-11-25
Also published as: FR2953086B1

Abstract

The method involves correcting the non uniformity of each of pixels of thermal images. Local extremum pixels in the images are detected by comparing a value of the extremum pixels relative to a value of proximate neighboring pixels. A pitch of an offset value of the detected local extremum pixels is modified in the inverse direction at the space with respect to the neighbor spaces, and the modified offset value is protected in an offset correction table. Independent claims are also included for the following: (1) a device for correcting the non uniformity of matrix detectors (2) a computer program comprising a set of instructions for performing a non uniformity correcting method.

Description

5 10 15 20 25 30 35 40 45 4 2953086 Titre : Procédé pour réaliser une correction de non uniformité de réponse des détecteurs photosensibles. Résumé : L'invention proposée permet de faire une correction de la non uniformité des détecteurs matriciels des caméras thermiques en continu et sur un fond de paysage, que la caméra soit en mouvement (sur un porteur, en rotation pour une veille panoramique, ...) ou non. Elle est applicable à tous les détecteurs, refroidis ou non. Une électronique simple, de type logique câblée, réalise la détection des erreurs de réponse de l'ensemble des pixels de l'image par comparaison avec la valeur des pixels voisins. Une détection de type extremum local est réalisée. Un principe de statistique, basée sur la probabilité d'avoir un pixel, d'un niveau strictement supérieur ou inférieur à ses voisins, en fonction de la bande passante spatiale de l'ensemble caméra (MRTD : Minimum Resolvable Temperature Difference) permet de corriger une fraction de l'erreur (d'offset) détectée sur ce pixel. La valeur de correction, mémorisée dans une mémoire, est alors ajustée. Le phénomène statistique se mettant en place au cours du flux des images, les défauts d'homogénéité des différents pixels sont alors progressivement corrigés. Une détection de la zone de dynamique du pixel corrigé (point chaud ou point froid) et une mémorisation des corrections précédentes permet de faire également une correction sur le gain du pixel. Ce procédé permet également de détecter les pixels "morts" du détecteur et d'y apporter une correction "classique" par remplacement par un pixel voisin fonctionnant correctement. Cette méthode ne nécessite pas de réglage et fonctionne sans seuil ce qui la rend très robuste. Domaine technique : L'invention concerne les traitements de base des images thermiques. Ces traitements sont généralement réalisés par les fabricants de caméras thermiques, mais peuvent également être réalisés par des systèmes de détection, automatique ou non, ou par des systèmes de visualisation ou de présentation des images (pré ou post traitements). L'ensemble des technologies des détecteurs thermiques est concerné, refroidie ou non. Même si les erreurs d'homogénéité sont différentes suivant les détecteurs, le procédé, étant auto adaptatif, peut être utilisé efficacement. Etat de l'art : Actuellement les correction de non uniformité des capteurs (thermiques) sont généralement réalisées par mesure d'une source uniforme placée devant le détecteur (obturateur ou source de référence, ou défocalisation de l'image par l'objectif). Le procédé consiste à exposer le capteur à une source la plus homogène possible, de mesurer le résultat et de mémoriser les écarts afin d'apporter ensuite une correction inverse. 2953086 2. 1 Certaines méthodes proposent également des corrections à partir d'analyse de flux vidéo sur des images réalisées avec des fonds de paysage (sans source de référence). Il s'agit alors de faire une analyse de l'évolution d'une intensité rayonnée par une portion de la scène en cas de déplacement dans l'image. Ces méthodes, beaucoup plus complexes que le dispositif objet de l'invention, suppose en général des restrictions sur la nature de la scène observée (stationnarité dans le temps, ...). Title: A method for effecting non-uniformity correction of photosensitive detectors. Summary: The proposed invention makes it possible to make a correction of the non-uniformity of the matrix detectors of the thermal cameras in continuous and on a background of landscape, that the camera is in movement (on a carrier, in rotation for a panoramic watch, .. .) or not. It is applicable to all detectors, cooled or not. A simple electronic, wired logic type, performs the detection of response errors of all the pixels of the image by comparison with the value of neighboring pixels. Local extremum detection is performed. A statistic principle, based on the probability of having a pixel, a level strictly greater or less than its neighbors, as a function of the MRTD (Minimum Resolvable Temperature Difference) allows to correct a fraction of the (offset) error detected on this pixel. The correction value, stored in a memory, is then adjusted. The statistical phenomenon being set up during the flow of images, the homogeneity defects of the various pixels are then progressively corrected. A detection of the dynamic range of the corrected pixel (hot point or cold point) and a storage of the previous corrections also makes it possible to correct the gain of the pixel. This method also makes it possible to detect the "dead" pixels of the detector and to make a "conventional" correction by replacing it with a neighboring pixel operating correctly. This method does not require adjustment and operates without threshold which makes it very robust. Technical Field: The invention relates to the basic treatments of thermal images. These treatments are generally carried out by the manufacturers of thermal cameras, but can also be made by detection systems, automatic or not, or by visualization systems or presentation of images (pre or post treatments). All technologies of thermal detectors is concerned, cooled or not. Even if the homogeneity errors are different according to the detectors, the process, being self-adaptive, can be used effectively. State of the art: At present the correction of non-uniformity of the (thermal) sensors is generally carried out by measuring a uniform source placed in front of the detector (shutter or reference source, or defocusing of the image by the lens). The method consists of exposing the sensor to as homogeneous a source as possible, measuring the result and storing the deviations in order to then provide an inverse correction. 2953086 2. 1 Some methods also provide corrections from video stream analysis on images made with landscape backgrounds (without reference source). It is then necessary to make an analysis of the evolution of an intensity radiated by a portion of the scene in case of displacement in the image. These methods, which are much more complex than the device that is the subject of the invention, generally presuppose restrictions on the nature of the observed scene (stationarity over time, etc.).

La réponse des pixels du détecteur peut être modélisée approximativement par une droite : Ru = G,l xu + O Ou Gij est le gain du pixel situé aux coordonnées i et j dans la matrice de détecteur, O;j étant l'offset de ce même pixel. L'erreur intrinsèque au détecteur est alors pour le pixel ij la différence Rij-PPj The response of the detector pixels can be modeled approximately by a line: Ru = G, l xu + O Where Gij is the gain of the pixel located at the coordinates i and j in the detector matrix, where O is the offset of this detector. same pixel. The intrinsic error of the detector is then for the pixel ij the difference Rij-PPj

L'exposition à un seul niveau de température ne permet pas de faire la correction due au terme Gij. Mais par ailleurs, ce terme Gy est généralement beaucoup plus stable dans le temps, et donc ne nécessite que peu de variation de correction. La correction du gain GGj est réalisée en faisant deux expositions du détecteur à deux températures différentes. Un calcul de type régression linéaire permet alors d'estimer l'ensemble des deux paramètres. Exposure to a single temperature level does not allow the correction due to the term Gij. But by the way, this term Gy is generally much more stable in time, and therefore requires only a small correction variation. The gain correction GGj is performed by making two exposures of the detector at two different temperatures. A linear regression type calculation then makes it possible to estimate all of the two parameters.

La variation clans le temps du paramètre Oij dépend de la technologie du détecteur utilisé, mais oblige dans tous les cas à faire cette correction relativement souvent (à chaque démarrage, et environ toutes les heures en fonction des variations thermiques de l'environnement du détecteur) Cette opération perturbe la prise d'image qui est interrompue pendant la mesure des réponses des détecteurs élémentaires. The variation in time of the parameter Oij depends on the technology of the detector used, but in all cases forces to make this correction relatively often (at each start, and approximately every hour depending on the thermal variations of the detector environment) This operation disturbs the image pickup that is interrupted during the measurement of the responses of the elementary detectors.

De plus les bruits électroniques et thermiques perturbent la mesure de réponse des pixels réalisée sur la source homogène. Ces mesures sont donc réalisées sur plusieurs images afin de moyenner les mesures et de minimiser ces bruits. Ce procédé est consommateur de temps. In addition, the electronic and thermal noise disturb the pixel response measurement performed on the homogeneous source. These measurements are therefore performed on several images in order to average the measurements and to minimize these noises. This process is time consuming.

Enfin "la source homogène" n'est pas parfaite et génère avec ce procédé des erreurs de correction (à basse fréquence spatiale) qui peuvent être dommageables à la qualité de l'image. Finally, the "homogeneous source" is not perfect and generates with this process correction errors (at low spatial frequency) which can be detrimental to the quality of the image.

Les sources (ou références) externes à la caméra, voir les systèmes d'obturateurs internes, sont volumineux et coûteux. L'invention qui permet de supprimer ce besoin permet donc des gains de place et de coût sur la caméra. Exposé de l'invention L'invention concerne un dispositif de correction en temps réel de non homogénéité des images 45 thermiques, caractérisé en ce qu'il comprend : • Un détecteur matriciel (de toute technologie, refroidie ou non), placé derrière une optique adaptée, • Un système de digitalisation qui fournit une image numérique à deux dimensions spatiales et une valeur représentative de la température détectée 50 20 25 30 35 40 3 2953086 1 • Une électronique câblée (ou éventuellement un calculateur programmé classique) qui comporte un dispositif de comparaison de valeurs de pixels voisins, des opérateurs de calcul, des mémoires de paramètres associées à chaque pixel. • Eventuellement une mémoire non volatile pour mémoriser les corrections en cas de 5 coupure de tension. The sources (or references) external to the camera, see the internal shutter systems, are bulky and expensive. The invention that eliminates this need therefore allows space and cost savings on the camera. DESCRIPTION OF THE INVENTION The invention relates to a device for real-time correction of inhomogeneity of thermal images, characterized in that it comprises: • A matrix detector (of any technology, cooled or not), placed behind an optics adapted, • A digitalization system that provides a digital image with two spatial dimensions and a value representative of the detected temperature. • A wired electronics (or possibly a conventional programmed computer) which comprises a device for comparing values of neighboring pixels, calculation operators, parameter memories associated with each pixel. • Possibly a non-volatile memory for storing the corrections in the event of a power failure.

L'invention concerne également un procédé d'analyse des images qui comporte les étapes suivantes : 1. le calcul de correction de l'image en fonction des tables de correction calculées et mémorisées 2. la mesure des extremums locaux dans l'image (comparaison stricte avec les proches voisins) 3. la modification d'un pas de la valeur d'offset du pixel extremum (détecté par l'étape 2) dans le sens inverse à son écart par rapport aux voisins 4. la mémorisation de la valeur du pixel, ainsi que la correction effectuée 5. l'analyse des différentes corrections effectuées dans le passé et la recherche d'erreur sur le gain du pixel 6. la modification éventuelle (en fonction de l'étape 5) d'un pas de la valeur de gain du pixel dans le sens identifié. Puis la remise à zéro éventuelle des mémoires des corrections effectuées sur ce pixel. 7. l'analyse de la fréquence de correction du pixel, ou des niveaux d'erreur d'offset, et caractérisation du pixel comme "pixel mort". Puis la correction de ce pixel. The invention also relates to an image analysis method which comprises the following steps: 1. the correction calculation of the image as a function of the computed and stored correction tables 2. the measurement of the local extrema in the image (comparison strict with close neighbors) 3. the modification of a step of the offset value of the pixel extremum (detected by step 2) in the opposite direction to its deviation from the neighbors 4. the memorization of the value of the pixel, as well as the correction carried out 5. the analysis of the various corrections made in the past and the error search on the pixel gain 6. the possible modification (according to step 5) of a step of the gain value of the pixel in the identified direction. Then the reset possible memories of corrections made on this pixel. 7. analyzing the pixel correction frequency, or offset error levels, and characterizing the pixel as "dead pixel". Then the correction of this pixel.

(Voir schéma 3 : Organigramme) (See Figure 3: Flowchart)

Ce procédé est effectué en temps réel sur les images. La correction étant progressive, l'optimum n'est obtenue qu'après un certain temps, dépendant de la scène observée. This process is performed in real time on the images. The correction being progressive, the optimum is obtained only after a certain time, depending on the scene observed.

On peut observer que l'exposition à une scène homogène (méthode classique) permet d'accélérer la convergence de la correction, mais n'est plus nécessaire, grâce à cette invention. It can be observed that exposure to a homogeneous scene (classical method) makes it possible to accelerate the convergence of the correction, but is no longer necessary, thanks to this invention.

A l'extinction de la caméra les tableaux de correction d'Offset et de Gain par pixel peuvent être mémorisés, afin d'être réutilisés instantanément au prochain démarrage, augmentant ainsi la vitesse de convergence et donc la production d'images corrigées de qualité. When the camera is turned off, the Offset and Pixel Gain correction tables can be memorized, so that they can be reused instantly at the next start, thus increasing the speed of convergence and thus the production of quality corrected images.

La correction effectuée sur l'Offset du pixel est d'un pas, soit la plus petite unité mesurable par le système. Ce niveau, inférieur au bruit électronique et au bruit thermique des images permet de faire une correction qui aboutit donc à une correction meilleure que ces bruits. Dans le cas d'une source homogène, si l'on considère la correction stabilisée dans le temps, ce sont les bruits qui, additionnés au signal, vont déterminer les pixels "extremum locaux". Un pixel vu comme trop brillant par le dispositif verra son offset diminué d'un pas. Statistiquement, si cette correction était abusive, le pixel apparaîtra dans un temps indéterminé comme trop sombre, et bénéficiera d'une correction inverse. L'erreur de correction sera donc au maximum d'un pas, donc inférieure aux bruits. L'invention revient donc à moyenner les corrections dans le temps, alors que la méthode traditionnelle moyenne au préalable les images pour éliminer le bruit, et effectue une correction par la suite. The correction made on the Pixel Offset is one step, which is the smallest unit measurable by the system. This level, lower than the electronic noise and the thermal noise of the images makes it possible to make a correction which thus leads to a correction better than these noises. In the case of a homogeneous source, if one considers the correction stabilized in time, it is the noises which, added to the signal, will determine the pixels "local extremum". A pixel seen as too bright by the device will have its offset decreased by one step. Statistically, if this correction was abusive, the pixel will appear in an indeterminate time as too dark, and will benefit from a reverse correction. The correction error will therefore be at most one step, therefore less than the noise. The invention thus amounts to averaging the corrections in time, whereas the traditional method previously averages the images to eliminate the noise, and makes a correction thereafter.

Si la source n'est pas homogène, le fonctionnement de l'invention est identique, sauf pour les sources qui apparaissent ponctuelle flans l'image. Si la caméra et la source ponctuelle (cible) sont parfaitement fixes dans le temps, l'Offset du pixel considéré risque de subir une 10 15 20 25 30 35 40 45 50 4 2953086 correction abusive jusqu'à la valeur des pixels du voisinage les plus proches. Ce cas est très rare pour la raison suivante : la résolution des détecteurs modernes est généralement plus importante que la stabilisation de la ligne de visée et la source ponctuelle n'est pas visualisée toujours au même endroit. De plus ce risque de dégradation de l'image finale n'est pas très important car dans ce cas nous sommes à la limite de résolution de l'image. Dans le cas d'observation dans une direction stabilisée par un moyen extérieur (gyrostabilisation par 5 exemple) une variante de l'invention permet de minimiser le risque d'apparition de ce défaut au prix d'une augmentation du temps de convergence du filtrage. Il s'agit d'interposer une étape 2 bis au procédé qui consiste à vérifier que le pixel est extremum (de même sens) dans deux images successives. If the source is not homogeneous, the operation of the invention is identical, except for the sources that appear punctually in the image. If the camera and the point source (target) are perfectly fixed in time, the Offset of the pixel considered may be subjected to an improper correction up to the value of the pixels of the neighborhood. closer. This case is very rare for the following reason: the resolution of modern detectors is generally more important than the stabilization of the line of sight and the point source is not always displayed in the same place. Moreover this risk of degradation of the final image is not very important because in this case we are at the limit of resolution of the image. In the case of observation in a direction stabilized by an external means (gyrostabilization for example), a variant of the invention makes it possible to minimize the risk of occurrence of this defect at the cost of an increase in the filter convergence time. It is a question of interposing a step 2 bis to the process which consists in verifying that the pixel is extremum (of the same direction) in two successive images.

10 (Voir schéma 1 : Pixel « statistiquement trop brillant ») 10 (See Figure 1: Pixel "statistically too bright")

La détection d'un Gain incorrect est réalisée si un pixel sur une source sombre (objet froid) est détecté trop sombre et si ce même pixel sur un objet clair (source chaude) est détecté trop claire ou inversement. C'est donc la variation naturelle du paysage visualisé qui permet cette 15 correction très lente. Cette lenteur est légitime, car la variation du Gain intrinsèque d'un pixel est faible et très lente dans le temps. Le dispositif de traitement caractérise donc les pixels comme sombres ou clairs en fonction d'un seuil arbitraire et non significatif. Les pixels supérieurs à 2/3 de la dynamique de l'image seront considérés comme clairs, les pixels inférieurs à 1/3 de la dynamique seront considérés comme sombres. Les autres pixels (compris en 1/3 et 2/3) ne seront pas considérés. Chaque pixel comporte une mémoire de correction claire (CC) et une mémoire de correction sombre (CS). Ces mémoires sont initialisées au démarrage par des zéros. Si une correction d'offset est détectée pour un pixel, la mémoire correspondante à son niveau est initialisée à +1 si l'Offset est augmenté, et -1 si il est diminué. The detection of an incorrect gain is made if a pixel on a dark source (cold object) is detected too dark and if the same pixel on a clear object (hot source) is detected too light or vice versa. It is therefore the natural variation of the visualized landscape that allows this very slow correction. This slowness is legitimate because the variation of the intrinsic gain of a pixel is small and very slow in time. The processing device therefore characterizes the pixels as dark or light according to an arbitrary and insignificant threshold. Pixels greater than 2/3 of the dynamics of the image will be considered as clear, pixels less than 1/3 of the dynamics will be considered dark. Other pixels (included in 1/3 and 2/3) will not be considered. Each pixel has a clear correction memory (CC) and a dark correction memory (CS). These memories are initialized at startup with zeros. If an offset correction is detected for a pixel, the memory corresponding to its level is initialized to +1 if the Offset is increased, and -1 if it is decreased.

Si une configuration CS = +1 et CC = -1 est détectée, le Gain du pixel est diminué d'un pas et les mémoires CS et CC sont réinitialisées à 0. Si une configuration CS = -1 et CC = +1 est détectée, le Gain du pixel est augmenté d'un pas et les mémoires CS et CC sont réinitialisées à 0. (Voir schéma 2 : Correction de l'offset puis correction du gain) If a CS = +1 and CC = -1 configuration is detected, the Pixel Gain is decreased by one step and the CS and CC memories are reset to 0. If a CS = -1 and CC = +1 configuration is detected , the Pixel Gain is increased by one step and the CS and CC memories are reset to 0. (See diagram 2: Offset correction and then gain correction)

Les pixels morts, c'est-à-dire ayant une réponse constante dans le temps, vont être détectés par le dispositif comme étant des extremums locaux à une fréquence beaucoup plus importante que les autres. Le dispositif comporte donc un système classique de compteur (incrémenté par les corrections et décrémenté régulièrement) ou un autre système de mesure de fréquence traditionnelle en électronique ou en traitement du signal pour détecter ces pixels. Une mémoire spécifique sera alors basculée dans un état mémorisant cette détection. La valeur du pixel sera alors remplacée par la valeur du dernier pixel traité n'ayant pas de défaut. The dead pixels, that is to say having a constant response in time, will be detected by the device as local extremums at a much higher frequency than the others. The device therefore comprises a conventional counter system (incremented by the corrections and decremented regularly) or another conventional frequency measurement system in electronics or signal processing to detect these pixels. A specific memory will then be switched to a state storing this detection. The value of the pixel will then be replaced by the value of the last processed pixel having no defect.

Les avantages de cette invention sont qu'elle permet une détection des erreurs de non uniformité sans réglage (sans seuil) et sans outillage ou moyen externe (sources homogènes). En outre la correction est réalisée en temps réel et sans perturber le flux d'image qui peux être utilisé en permanence pour de la visualisation ou pour des traitements autres (poursuite de cibles, détection automatique, ...). The advantages of this invention are that it allows detection of nonuniformity errors without adjustment (without threshold) and without tooling or external means (homogeneous sources). Furthermore the correction is performed in real time and without disturbing the image flow that can be used continuously for viewing or for other treatments (tracking targets, automatic detection, ...).

Ce procédé peut également être utilisé à posteriori sur une séquence d'image enregistrée. Une première passe sur les images (ou une partie des images) permettant de générer une table de 5 2953086 1 correction des offsets et éventuellement des gains de chaque pixel. Cette table étant ensuite utilisée pour corriger la séquence ou le film en entier. Cette méthode permet donc de corriger des images à posteriori, même si une évaluation des défauts de non uniformité du capteur n'a pas été réalisée avant la prise d'image. Ces corrections à posteriori n'étant pas réalisables dans 5 le cas de correction de Non Uniformité classique par visualisation d'une scène homogène de référence. 10 15 20 25 30 35 40 45 50 6 This method can also be used a posteriori on a recorded image sequence. A first pass on the images (or part of the images) for generating a table of 5 2953086 1 correction of offsets and possibly gains of each pixel. This table is then used to correct the sequence or the entire film. This method therefore makes it possible to correct images a posteriori, even if an evaluation of the nonuniformity defects of the sensor has not been carried out before the image is taken. These corrections a posteriori not being feasible in the case of correction of conventional Uniformity by viewing a homogeneous reference scene. 10 15 20 25 30 35 40 45 50 6

Claims

1. A method for correcting the nonuniformity of matrix detectors used to make thermal images, characterized in that it consists in realizing at least the following steps: a. Correction of non-uniformity of each pixel by summation with an offset correction table. b. Detection of local extremum pixels by comparing their value with the value of nearby neighboring pixels. vs. Modification of a step in the opposite direction of the deviation from the neighbors, of the offset value of the pixel extremum determined in step b and saving of this value in the offset correction table.

2. Method according to claim 1 for correcting the gain defects of each pixel characterized in that it further comprises at least the following steps performed in real time: d. Storing successive corrections of the offset value of one pixel extremum in two gain correction tables, one table for the clear pixels called the clear table and another for the dark pixels, called the dark table; e. Detection of the opposite corrections of the offset value by comparison of the clear table and the dark table; F. If corrections are opposed, change the value of the gain of the pixel by increasing or decreasing by one step of this gain value, increase of the gain if offset increased in the dark table and offset offset in the clear table, decrease of the gain in the opposite case. boy Wut. Zero reset clear and dark correction tables for this pixel. 25

3. Method according to claim 1 for detecting pixels insensitive to the landscape, called "dead pixels" characterized in that it further comprises a step of measuring the pixel correction frequency in real time by means of a counter or a frequency measuring system; if the correction frequency of a pixel is abnormally high, the pixel considered is a dead pixel.

4. Method according to claim 1 for accelerating the convergence of offsets values to the values of the fixed structure of the sensor without removing any details of the scene in a still image (still camera) characterized in that the the correction value of the pixel offset applied in step c according to claim 1 is determined as a function of time (the value will be greater for the first images) and as a function of the background scan (the value will be larger for moving images), detected by motion in the image or by an external sensor.

5. Method according to claim 1 allowing a fast correction from the first 40 images, characterized in that it further comprises a step of initializing the offset correction values with values stored during previous corlbetions.

6. Method according to claim 1 for performing the posterior correction on an image sequence, characterized in that the table of offset correction values and possibly the gain correction tables according to claim 2 are applied to the set of images.

7. Device for correcting the non-uniformity of matrix detectors of thermal imaging cameras, characterized in that it comprises electronic circuits based on simple functions (comparators, memories, adders, etc.) or an integrated circuit of the FPGA type for implementation of the method according to claims 1 to 5. & A device according to claim 7, characterized in that it comprises a nonvolatile electronic memory of the size of the number of pixels in the images for the implementation of the method according to the claim 6 and to preserve the correction data in time and even after powering off the camera, and in that the offset corrections are initialized by the memory at startup, after a power-up. A computer program product comprising portions / means / program code instructions for performing the steps of the method according to claims 1 to 6 when said program is executed on a computer. 20 25 30 35 40 45