FR3007872B1 - Procede d'estimation de l'image totale d'une scene - Google Patents

Procede d'estimation de l'image totale d'une scene Download PDF

Info

Publication number
FR3007872B1
FR3007872B1 FR1356129A FR1356129A FR3007872B1 FR 3007872 B1 FR3007872 B1 FR 3007872B1 FR 1356129 A FR1356129 A FR 1356129A FR 1356129 A FR1356129 A FR 1356129A FR 3007872 B1 FR3007872 B1 FR 3007872B1
Authority
FR
France
Prior art keywords
image
scene
partial
estimating
total image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
FR1356129A
Other languages
English (en)
Other versions
FR3007872A1 (fr
Inventor
Laurent Mugnier
Leonardo Blanco
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Office National dEtudes et de Recherches Aerospatiales ONERA
Original Assignee
Office National dEtudes et de Recherches Aerospatiales ONERA
Centre National de la Recherche Scientifique CNRS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Office National dEtudes et de Recherches Aerospatiales ONERA, Centre National de la Recherche Scientifique CNRS filed Critical Office National dEtudes et de Recherches Aerospatiales ONERA
Priority to FR1356129A priority Critical patent/FR3007872B1/fr
Priority to PCT/EP2014/063568 priority patent/WO2014207127A1/fr
Publication of FR3007872A1 publication Critical patent/FR3007872A1/fr
Application granted granted Critical
Publication of FR3007872B1 publication Critical patent/FR3007872B1/fr
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • G06T3/40Scaling the whole image or part thereof
    • G06T3/4038Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images

Abstract

Procédé d'estimation d'une image totale vraie d'une scène (2), à partir d'images partielles de cette scène (4A, 4B) produites par un dispositif de production d'image partielle (16), ledit procédé comprenant une étape d'estimation d'une image totale vraie de la scène par une méthode d'inversion d'un modèle direct, l'étape d'estimation étant effectuée à partir d'images partielles de la scène produites par le dispositif de production d'image partielle et de leur modélisation par un modèle direct, le procédé d'estimation étant caractérisé en ce que, le modèle direct comporte un terme estimant la valeur de la transmission instrumentale globale du dispositif de production d'image partielle pour chaque pixel de l'image partielle modélisée, la valeur de la transmission instrumentale globale étant différente pour au moins deux pixels différents d'une même image partielle modélisée.

Description

PROCEDE D'ESTIMATION DE L'IMAGE TOTALE D'UNE SCENE
DESCRIPTION
DOMAINE TECHNIQUE ET ART ANTÉRIEUR
La présente demande concerne le domaine technique du traitement d'images numériques et plus précisément celui de l'estimation d'une image totale (large champ) et vraie (correction des aberrations et des bruits) d'une scène à partir d'images partielles (champ étroit) et perturbées (aberrations et bruits) produites (acquises ou simulées) de cette scène.
Dans certains domaines d'application, comme par exemple l'astronomie, la sécurité, la défense ou la médecine, l'image estimée de la scène vraie reconstituée à partir des images partielles doit avoir une résolution et un niveau de bruit aussi bons que possible, et au moins aussi bons ceux des images partielles, notamment lorsque plusieurs images partielles ont une partie correspondant à une même zone de la scène à imager. L'atteinte de cet objectif est bien entendu plus difficile en présence de perturbations des images partielles. Ces perturbations, qui peuvent être de différentes natures : d'une part, des transformations géométriques des images partielles ; d'une deuxième part, des perturbations spatiales de l'intensité (luminosité et/ou contraste) des images partielles ; et d'une troisième part, des bruits.
Les transformations géométriques des images partielles ont plusieurs causes principales possibles, notamment le mouvement et/ou la déformation de la scène dans le cas d'une scène dynamique, et/ou le mouvement et/ou la déformation du dispositif de production d'images partielles et/ou le mouvement et/ou la déformation du milieu de propagation des ondes.
Les aberrations ou perturbations spatiales de l'intensité (luminosité et/ou contraste) des images partielles ont plusieurs causes principales : a) éclairement non uniforme de la scène partielle ; b) atténuation (par exemple par absorption ou diffusion) de l'intensité des faisceaux lumineux provenant de la scène, par exemple du fait de la présence de poussières entre la scène partielle et le capteur du dispositif de production d'image partielle ; c) défauts de conception et/ou de réalisation et/ou de montage du dispositif de production d'image partielle conduisant à une perturbation spatiale de l'intensité des images partielles (ce qui est un problème différent que celui des transformations géométriques des images partielles).
Les bruits ont plusieurs causes principales : a) bruit de mesure ; b) bruit de quantification, notamment du capteur numérique.
La grandeur quantifiant les perturbations de l'intensité est désignée ci-après par «transmission instrumentale globale » (TIG) du dispositif de production d'image partielle. Par exemple, dans le domaine médical, plus particulièrement en imagerie rétinienne, la TIG peut être assimilée à un filtre se superposant à chaque image partielle d'une rétine, assombrissant les contours de chaque dite image partielle. Ce filtre est typiquement en forme de « cloche », la luminosité étant plus élevée au centre de l'image partielle qu'au niveau de ses bords.
Il est en effet plus difficile d'estimer une image totale par assemblage d'images partielles si chaque image partielle a subi des perturbations différentes et inconnues.
Dans l'état de la technique, il y a deux types de procédés se proposant de corriger tant les perturbations spatiales de l'intensité que les transformations géométriques des images partielles :
Selon une première technique connue de l'homme du métier, décrite par exemple dans WO 01/28405A2, dans un premier temps les images partielles subissent une correction géométrique et l'image totale de la scène est estimée par assemblage de ces images partielles corrigées géométriquement, puis, dans un second temps, l'image totale estimée subit une correction de son intensité par amplification de la luminosité dans les zones sombres de cette image totale.
Selon une seconde technique connue de l'homme du métier, dans un premier temps, chaque image partielle subit une correction de son intensité, puis, dans un second temps, les images partielles d'intensité corrigée subissent une correction géométrique puis sont assemblées pour former l'image totale estimée de la scène.
Lorsque l'ampleur de ces perturbations augmente, par exemple lorsque les bords des images partielles s'assombrissent, la qualité (résolution et niveau de bruit) de l'image totale estimée baisse.
En effet, concernant la première technique (assemblage puis correction de l'intensité), l'assombrissement des bords des images partielles rend délicate l'identification de leurs parties communes, et de ce fait, leur assemblage devient moins précis. Le principal inconvénient de cette première technique est que l'image totale estimée de la scène est alors de faible résolution. Un deuxième inconvénient possible selon les détails de mise en oeuvre de cette technique, est que le bruit est amplifié lors de la correction de la TIG.
Concernant la seconde technique (correction de l'intensité puis assemblage), la correction de l'intensité de chaque image partielle amplifie le bruit lors de l'amplification de la luminosité des zones sombres. Le principal inconvénient est que l'image totale estimée de la scène est alors fortement bruitée. Un deuxième inconvénient possible selon les détails de mise en oeuvre de cette technique est que l'amplification du bruit rend l'assemblage moins précis ce qui peut dégrader la résolution de l'image estimée de la scène.
Aucune des techniques actuelles d'estimation de l'image totale d'une scène à partir d'images partielles (acquises ou simulées), ne permet une estimation de qualité satisfaisante lorsque la TIG du dispositif de production d'image partielle n'est pas spatialement uniforme, ce qui est le cas lorsque les images partielles sont perturbées par un éclairement spatialement non uniforme, et/ou par des atténuations du faisceau lumineux provenant de la scène, et/ou par des défauts de conception, de réalisation ou de montage du dispositif de production d'image partielle. L'invention présentée ci-après se propose de résoudre ces inconvénients (image estimée de la scène de faible résolution et/ou fortement bruitée) et notamment à améliorer la résolution de l'image totale estimée de la scène et/ou à diminuer le bruit de l'image totale estimée de la scène , ce qui permet également d'augmenter le champ de vue de la scène totale estimée pour des niveaux de résolution et de bruit donnés.
EXPOSÉ DE L'INVENTION
La présente invention résout les inconvénients cités ci-avant, en proposant un procédé et un dispositif d'estimation d'une image totale (i.e. large champ) et vraie (correction des aberrations et des bruits) d'une scène à partir d'images partielles (i.e. en champ étroit) et perturbées (aberrations et bruits) de cette scène, produites (acquises ou simulées) par au moins un dispositif de production d'image partielle.
La présente invention prévoit en particulier un procédé d'estimation de l'image totale vraie d'une scène à partir d'images partielles et perturbées de cette scène produites à partir d'au moins un dispositif de production d'image partielle, ledit procédé comprenant : a) une étape de construction d'au moins un modèle direct modélisant au moins une desdites image» partielle», ledit modèle direct comprenant un terme, propre à chaque image partielle modélisée, définissant des transformations géométriques à appliquer à l'image totale à estimer pour qu'elle se superpose, de manière optimale, à l'image partielle produite ; b) une étape d'estimation de l'image totale vraie de la scène, en particulier par une méthode d'inversion de modèle direct, cette étape d'estimation étant effectuée à partir desdites images partielles et de leur modèle direct respectif.
Ce procédé est tel que : chaque image partielle produite utilisée dans ladite étape d'estimation b) a au moins une de ses parties imageant une partie de la scène commune avec au moins une des parties d'une autre image partielle produite ; le modèle direct prend en compte, pour chaque pixel de l'image partielle modélisée, une estimation d'une transmission instrumentale globale (TIG) du dispositif de production d'image partielle utilisé pour produire l'image partielle, les valeurs de la transmission instrumentale globale TIG étant différentes pour au moins deux pixels différents d'une même image partielle produite.
Il est précisé que des images partielles peuvent être produites dans des conditions identiques ou différentes quelconques (par exemple à des instants différents, avec des conditions d'éclairage différentes, avec des cadrages différents, selon un angle de vue différent, avec des grossissements différents), aux conditions que : si différents dispositifs de production d'image partielle sont utilisés, on estime la TIG ou une carte de TIG pour chacun de ces dispositifs ; chaque image partielle produite utilisée dans l'étape d'estimation b) a au moins une de ses parties imageant une partie de la scène commune avec au moins une des parties d'une autre image partielle produite utilisée dans ladite étape.
Cette définition récursive de l'ensemble des images partielles utilisées suppose le choix d'utiliser une première image partielle qui constitue l'ensemble de départ des images partielles utilisées.
Il est précisé que le terme définissant les transformations géométriques peut estimer tous les types de transformation géométrique subie par l'image totale de la scène (dans la description qui suit il est parfois omis le terme « et vraie » en désignant l'image totale, ceci dans une optique pédagogique), pour se superposer de manière optimale à chaque image partielle modélisée.
Par exemple, une transformation géométrique peut être une translation dans une direction horizontale et/ou verticale, et/ou une homothétie (variation de la taille globale de l'image, ce qui est le cas en cas de variation du grossissement du dispositif de production d'image partielle) et/ou une rotation et/ou une déformation.
Le terme définissant les transformations géométriques est indépendant de la TIG.
Les images partielles produites et modélisées, ainsi que l'image totale de la scène observée peuvent être à plusieurs dimensions, notamment à plus de deux dimensions (images 3D multi-spectrales par exemple).
Dans le procédé suivant l'invention, on met en oeuvre une carte de TIG qui peut être à plusieurs dimensions, notamment à plus de deux dimensions, puisque cette TIG dépend des pixels, contrairement à l'état de la technique où la TIG a une même valeur scalaire estimée pour tous les pixels d'une image partielle.
Cette caractéristique d'avoir une TIG fonction des pixels d'une image partielle a comme effet technique une correction des perturbations d'intensité de chaque pixel qui est adaptée à chaque pixel et donc aussi une amplification différenciée du bruit de ces pixels. En effet, dans la seconde technique de l'état de la technique décrite précédemment, il est procédé d'abord à une uniformisation de la TIG de chaque image partielle par amplification de la luminosité des images partielles ayant des zones sombres ce qui amplifie donc aussi le bruit dans ces zones (typiquement l'uniformisation d'une TIG de 1/10 conduit à une bruit amplifié d'un facteur 10), puis à l'assemblage de ces images partielles par compensation des transformations géométriques. Il y a donc sommation de parties d'images partielles faiblement bruitées avec des parties d'images partielles dont le bruit a été amplifié.
Cet avantage est renforcé dans un mode de réalisation particulier où l'assemblage est pondéré pixel par pixel, de sorte à pondérer plus faiblement des pixels ayant une TIG plus faible. L'effet technique de la prise en compte de la TIG dans le modèle direct et du fait que c'est la TIG de chaque pixel qui est considérée et non pas une TIG (valeur scalaire) de toute l'image partielle, est une meilleure estimation des transformations géométriques (position, orientation, taille, déformation) et donc un meilleur assemblage, et par suite le résultat est une meilleure résolution de l'image estimée de la scène.
Il est également précisé que cette étape b) peut inclure une déconvolution des images partielles. L'effet technique de cette déconvolution est d'améliorer encore la résolution effective de l'image totale estimée tout en limitant le bruit dans celle-ci.
Le terme définissant les transformations géométriques et les paramètres estimant les valeurs de la transmission instrumentale globale peuvent être estimés conjointement. L'opération d'estimation de l'image totale vraie de la scène à partir des transformations géométriques estimées et de la TIG estimée est alors faite en utilisant de manière conjointe l'ensemble des images partielles produites. L'effet technique de cette utilisation conjointe de toutes les images partielles est une meilleure limitation du bruit dans l'image totale estimée de la scène. L'apport du procédé selon l'invention à l'état de la technique est, que, de manière conjointe, toutes les perturbations sont corrigées et l'assemblage des images partielles corrigées des transformations géométriques et des perturbations d'intensité est réalisé. Cette synergie entre les corrections permet à la fois une meilleure correction des transformations géométriques et une meilleure correction des perturbations d'intensité, ce qui conduit à une image totale vraie de bien meilleure résolution et de meilleur niveau de bruit.
En effet, grâce à cette synergie entre l'opération de correction de l'intensité et celle de correction des transformations géométriques (l'assemblage), la meilleure correction de l'intensité par la prise en compte de la TIG, pixel par pixel, dans le modèle direct permet d'assembler les images partielles avec une précision pouvant être inférieure voire très inférieure à la taille d'un pixel composant les images partielles. Par exemple, la précision d'assemblage ou de mosaïquage des images partielles, pour former l'image totale estimée de la scène, peut être de l'ordre de 1/100 de la taille des pixels des images partielles produites.
Pour un niveau de résolution et de bruit accepté, le champ de vue de l'image totale vraie estimée à partir d'un ensemble d'images partielles peut donc être augmenté, par rapport aux procédés de l'état de la technique, par le procédé selon l'invention, puisque les zones au bord de l'image totale vraie sont moins sombres et moins bruitées que les zones correspondantes d'une image totale assemblée selon un procédé de l'état de la technique.
On peut également réaliser sur les images partielles brutes des opérations préliminaires telles que par exemple un filtrage fréquentiel spatial ou temporel ou un traitement des pixels morts, avant de mettre en oeuvre le procédé tel que défini plus haut.
De même, il est possible d'effectuer après l'étape b) d'estimation de l'image totale de la scène, des post-traitements de l'image totale estimée de la scène tels que par exemple : - une déconvolution de l'image totale estimée de la scène telle que décrite par exemple dans « Marginal blind déconvolution of adaptive optics retinal images » L. Blanco et L. Mugnier paru dans Optics Express 2011) ; - une compensation des aberrations résiduelles ;
Une estimation de la TIG à partir d'au moins deux images partielles peut être également mise en oeuvre. Par exemple, on peut calculer la médiane (pixel à pixel) des images partielles par un même dispositif de production.
Il est également précisé que les transformations géométriques associées à chaque image partielle peuvent être estimées à partir d'au moins deux images partielles produites et de la TIG estimée.
Avantageusement, les transformations géométriques des images partielles et la TIG sont estimées à partir de toutes les images partielles. Ainsi en tirant parti de toute l'information contenue dans les images partielles, l'image totale estimée de la scène est mieux corrigée des transformations géométriques, des perturbations d'intensité et du bruit.
Avantageusement, l'étape b) d'estimation du procédé est réalisée à l'aide d'un critère d'optimisation.
Ce critère d'optimisation peut être un critère de minimisation de la somme des distances pondérées entre les images partielles utilisées et les images partielles modélisées correspondantes, lesdites distances étant calculées pixel à pixel et ladite pondération étant explicitement fonction du pixel.
Le critère d'optimisation peut être également un critère de type « maximum de vraisemblance », ou « maximum a posteriori » (MAP) (connu également sous les noms de « maximum de vraisemblance régularisé » ou de « maximum de vraisemblance » (MV) « pénalisé »), ou bien de type maximum de vraisemblance généralisé (MVG).
Avantageusement, le critère d'optimisation peut comporter un terme de régularisation associé à chaque pixel de l'image totale vraie estimée de la scène, de sorte à empêcher, lors de l'étape b), une amplification non contrôlée du bruit dans une zone de l'image totale vraie estimée de la scène qui est absente des images partielles produites utilisées ou qui est insuffisamment éclairée.
Avantageusement, l'assemblage des images partielles est pondéré pixel par pixel, de sorte à pondérer plus faiblement les pixels ayant une TIG plus faible.
Avantageusement, le terme de régularisation est, pour chaque pixel de l'image totale vraie estimée de la scène, une distance pondérée entre l'intensité de l'image totale vraie estimée de la scène et une valeur, dite de référence, d'intensité jugée probable pour ce pixel, la dite pondération étant explicitement fonction du pixel.
La valeur de référence pour chaque pixel peut par exemple être déterminée à partir d'un modèle selon lequel l'intensité d'une zone non observée de la scène est supposée de statistique gaussienne, les pixels de ladite zone pouvant être dépendants entre eux (ce qui prend en compte les corrélations spatiales éventuelles entre les pixels) ou indépendants entre eux. Par exemple, la valeur de référence en chaque pixel peut être la moyenne de cette gaussienne.
Avantageusement, le critère d'optimisation comprend un terme de régularisation associé aux transformations géométriques que subit l'image totale vraie de la scène pour se superposer de manière optimale à chaque image partielle modélisée.
Ce terme de régularisation permet notamment de prendre en compte une information a priori sur ces transformations géométriques.
Avantageusement, un procédé selon l'invention comprend une étape préliminaire consistant à estimer la valeur de la TIG à partir des images partielles et à utiliser cette estimation lors de l'étape de construction du modèle direct. L'estimation de la TIG peut par exemple : être réalisée en calculant, pour chaque pixel composant les images partielles, une moyenne ou une médiane sur l'ensemble de ces images partielles.
Cette estimation de la TIG par calcul de la moyenne ou de la médiane peut être complétée ou remplacée par l'ajustement d'une combinaison linéaire de primitives (par exemple des surfaces polynomiales) à l'ensemble des images partielles.
Avantageusement, le modèle direct comprend, pour chaque pixel d'une image partielle modélisée, un terme ou des paramètres d'incertitude (par exemple variance des bruits) représentant les incertitudes de mesures (par exemple des biais ou des bruits) ou l'incertitude de modélisation.
Les valeurs du terme ou des paramètres d'incertitude peuvent être différentes pour différents pixels d'une même image partielle modélisée.
La présente demande concerne également un dispositif d'estimation d'image totale vraie d'une scène permettant la mise en œuvre d'un des procédés selon l'invention ci-dessus.
Ce dispositif d'estimation d'image totale vraie d'une scène comprend au moins un dispositif de production d'image partielle dont la TIG est estimable, chaque image partielle comprenant plusieurs pixels, et un moyen de calcul apte à mettre en œuvre le procédé selon l'invention. Le dispositif d'estimation d'image totale vraie peut également comprendre un moyen de stockage de données et notamment d'image partielle, dans le cas par exemple où toutes les images partielles ne seraient pas produites en même temps.
Dans un mode de réalisation de ce dispositif, ledit moyen de production d'une image partielle est un capteur numérique, par exemple de type CCD ou CMOS, comportant plusieurs pixels.
Dans un autre mode de réalisation de ce dispositif, ledit dispositif comprend plusieurs capteurs numériques.
Dans un autre mode de réalisation de ce dispositif, ledit dispositif est une caméra d'imagerie, comme par exemple une caméra d'imagerie rétinienne.
Le dispositif de production d'image partielle peut être du type imagerie plein champ corrigé ou non par optique adaptative (comme par exemple le dispositif RTX1 de la société Imagine Eyes).
BRÈVE DESCRIPTION DES DESSINS L'invention sera mieux comprise à la lecture de la description qui va suivre, donnée uniquement à titre d'exemple et faite en se référant aux dessins (où les différentes parties représentées ne le sont pas nécessairement selon une échelle uniforme) sur lesquels :
La figure 1 représente un exemple de dispositif de production d'image partielle selon l'invention permettant d'estimer l'image d'une rétine ;
Les figures 2A à 2F représentent plusieurs images partielles d'une rétine, produites par un dispositif de production d'image partielle ;
Les figures 3A à 3F représentent les images partielles de la figure 2 traitées selon un procédé de l'invention où les images ont été ici compensées des transformations géométriques estimées sans compenser la TIG, dans un but pédagogique ;
La figure 4 représente un exemple d'estimation de la valeur de la transmission instrumentale globale (TIG) à partir de plusieurs images partielles d'une rétine ;
La figure 5 représente une image totale vraie de la rétine estimée par un procédé selon l'invention ;
La figure 6A représente une image partielle produite d'une rétine dont la non uniformité de la TIG a été corrigée selon l'état de la technique (sans utiliser l'invention), c'est-à-dire individuellement, en n'utilisant que l'image partielle en question. L'amplification du bruit sur les bords est bien visible ;
La figure 6B représente une image totale estimée d'une rétine obtenue par un assemblage selon l'état de la technique, d'images partielles produites d'une rétine dont la non uniformité de la TIG a été corrigée selon l'état de la technique, c'est-à-dire individuellement. Le bruit, amplifié dans chaque image partielle, reste amplifié dans cet assemblage ;
La figure 7 représente les étapes d'un algorithme permettant de mettre en oeuvre l'un des procédés selon l'invention.
EXPOSÉ DÉTAILLÉ DE MODES DE RÉALISATION PARTICULIERS
Ci-dessous est présenté un exemple détaillé de mise en oeuvre de l'invention dans le cas de son application à l'imagerie rétinienne et de l'utilisation d'un même dispositif de production d'image partielle qui comprend un capteur numérique apte à acquérir une image partielle.
Une première étape du procédé consiste à acquérir au moins deux images partielles j et j+1 d'une même scène. Selon le présent exemple de réalisation de l'invention, la scène observée est une rétine humaine 2 (figure 1).
Une image partielle j de la rétine est obtenue à partir d'un dispositif de production d'image partielle 16 comprenant un capteur numérique 10 comprenant au moins deux pixels ((k,l) et (k',1')). Chaque pixel 12 permet la conversion des ondes lumineuses provenant d'une petite partie 4A, 4B de la rétine en un signal électrique (l(k,I), l(k',l') (figure 1).
Le dispositif de production d'image partielle convertit donc une image partielle j de la rétine en une image pixélisée, la valeur de chaque pixel lj(k,l) de l'image partielle étant proportionnelle à l'intensité des ondes lumineuses reçues par le pixel (k,I). L'intensité lj(k,l) du pixel (k,I) est brute, et n'est pas corrigée.
Lors de la première étape du procédé, deux images partielles (j,j+l) ou plus de la rétine sont numérisées par le capteur numérique du dispositif de production d'image partielle 10 sous forme d'images partielles pixélisées dont les intensités sont (liikJLljik'J'); lj+i(k,l),lj+1(k',l').
Selon une seconde étape du procédé, un modèle direct est construit de sorte à exprimer la valeur d'un pixel lj(k,l) d'une image (j) modélisée, en fonction de l'image vraie, à estimer, de la rétine : lj(k,l) = c(k,l) x [Tj(r; p1J,p2J,...,ppJ)](k;i) Onj(k, I) Equation 1
Ainsi, le modèle direct est construit à partir des termes suivants : a) le terme r représente l'image vraie recherchée de la rétine, plus précisément, le terme r représente une image globale ou entière de la rétine, non déformée géométriquement et d'éclairement spatialement uniforme ; b) le terme Tj(r; ρ\,ρ2,...,ρρ) représente une estimation des transformations géométriques subies par l'image totale vraie r pour se superposer ou correspondre à l'image partielle modélisée (j) ; c) le terme [](k,i) représente l'échantillonnage du terme r par le pixel (k,I) du capteur ; d) le terme nj(k,l) représente les variations aléatoires, c'est-à-dire le bruit de mesure sur le pixel (k,l) et/ou l'incertitude de modélisation de l'image partielle (j); e) le terme 0 représente une opération pixel à pixel qui peut par exemple être une somme dans le cas d'un bruit additif, et/ou un produit dans le cas d'un bruit multiplicatif, et/ou une autre opération non explicite (dans le cas d'un bruit Poissonien par exemple). f) le facteur "c(k,l) x" représente la transmission instrumentale globale (TIG), estimée pour chaque pixel (k,I), en fonction des conditions de production de l'image partielle (j). La valeur de ce facteur c(k,l) est différente pour au moins deux pixels appartenant au même dispositif de production d'image partielle 16. Dans le facteur c(k,l) x, "x" représente par exemple une multiplication entre la TIG et les Tj(r; ρ\ρ2,...,ρρ) mais pourrait être une opération plus complexe fonction de ces deux grandeurs, dans le cas de déformation géométrique due à l'instrument ou de non-linéarité due au capteur par exemple. À titre d'exemple, les figures 2A à 2F représentent une série d'images partielles produites d'une rétine, pour lesquelles le terme Tj(r; ρ\ρ2,...,ρρ) correspond à une translation de l'image de la rétine. La valeur de l'exposant P est dans ce cas égale à 2 de sorte que les transformations géométriques subies par le terme r pour correspondre à l'image (j) peuvent être exprimées ainsi : Tj(r; ρ\,ρ2). Dans l'équation 1, le terme T(r; ρ\ p2) est égal au produit de convolution entre le terme r et un Dirac au point (ρ\, p2 ), ce qui est équivalent à un décalage de l'image vraie r d'une quantité (p*·, P2j)-
Selon une troisième étape du procédé, on recherche conjointement l'expression du terme r et les paramètres pj'j (pour toutes les images partielles lj(k,l) par le dispositif de production d'image partielle 16, avec j ε {1,...,N}, N étant le nombre d'images partielles et j' ε {1,...,P}, P étant le nombre de paramètres de la transformation géométrique. Cette recherche est effectuée au sens du Maximum a posteriori (MAP) ou du maximum de vraisemblance généralisé. Ces méthodes d'estimation sont présentées par exemple dans le document : "Approche bayésienne pour les problèmes inverses", sous la direction de J. Idier, Hermes/Lavoisier 2001 ou dans le document : "Bayesian Approach to Inverse Problems, edited by Jérôme Idier, ISTE / John Wiley, 2008.
Pour éviter l'amplification incontrôlée du bruit dans les zones de l'image totale estimée de la rétine, on peut utiliser un modèle o priori, par exemple le suivant : en l'absence d'images partielles produites de certaines zones de la rétine, l'image totale estimée est supposée de statistique gaussienne dans ces zones, par exemple indépendante entre pixels, de moyenne r0 (par exemple constante, de valeur égale à 0, ou bien à la moyenne des valeurs des pixels estimés), et de variance l/wr(k,l) en chaque point. Le terme wr(k,l) représente un poids associé au pixel (k,I). Ce poids est associé à la pondération du terme de régularisation et, comme c'est classique en estimation régularisée (MAP par exemple), sa fonction est de régler le compromis entre fidélité aux et régularité de la solution.
Dans notre exemple, le critère d'optimisation comprend également un terme de régularisation R((pJj}, associé aux transformations géométriques que subit l'image totale vraie de la scène pour se superposer de manière optimale à chaque image partielle modélisée. Comme indiqué précédemment, ce terme de régularisation peut être utilisé pour prendre en compte une information a priori sur ces transformations géométriques.
La troisième étape aboutit donc à minimiser le critère suivant :
En l'absence du terme R({pJj}, le critère (2) est un critère de type maximum de vraisemblance (MV) vis-à-vis des décalages à estimer entre les images partielles, et de type maximum a posteriori (MAP) vis-à-vis de l'image estimée de la scène. En présence d'un terme R((pJ j}), le critère (2) est du type MAP conjoint sur r et sur les p/. Appelons r*et (p*Jj} la solution de cette minimisation, c'est-à-dire, l'image et les paramètres qui minimisent le critère (2).
Les figures 3A à 3F montrent les images acquises après compensation sur chacune de la transformation T pour les paramètres (p*J J estimés par la minimisation du critère (2), sans compensation de la TIG, dans un but illustratif : on observe visuellement que l'on a bien la même image sous-jacente, dont une partie différente est éclairée dans chaque image. L'image r* obtenue à la fin de la minimisation du critère (2) est l'estimation recherchée de l'image de la rétine observée par le dispositif de production d'image partielle 16 (figure 4). On peut constater sur la figure 4 que l'invention permet l'estimation d'une image de la rétine dont le champ est notablement élargi par rapport au champ de chaque image partielle produite, et que le bruit au bord de l'image estimée de la rétine r* est inférieur à celui obtenu par un procédé selon l'état de la technique. On peut voir également que certains détails visibles seulement sur une ou plusieurs images partielles de la rétine sont également visibles sur l'image estimée de la rétine r*.
Selon une alternative au procédé ci-dessus, le terme c(k,l) peut être estimé lors d'une étape préliminaire. Si les images partielles produites par le dispositif de production d'image partielle sont assez nombreuses (typiquement plus d'une dizaine) et différentes entre elles, une moyenne ou une médiane des images partielles peut être réalisée (figure 5).
Une autre solution, alternative ou complémentaire, peut consister à paramétrer la forme de la TIG estimée comme étant une combinaison linéaire de primitives (par exemple sous forme de polynômes) et de rechercher quelle combinaison
linéaire s'ajuste le mieux, au sens des moindres carrés pondérés par exemple, à l'ensemble des images partielles acquises.
On suppose, à titre d'exemple, un bruit de mesure gaussien, blanc, et de variance égale à (l/wj(k,l)). L'estimation des poids peut être réalisée avant l'étape de minimisation du critère (2). Par exemple, la variance totale en chaque pixel peut être estimée comme la somme de 2 composantes, l'une étant la variance du bruit photonique, l'autre la variance du bruit de capteur. La première peut être estimée directement à partir de chaque image partielle produite, la seconde peut être étalonnée à l'avance (cf. L.M. Mugnier, T. Fusco et J-M. Conan, "Mistral : a Myopie Edge-Preserving Image Restoration Method, with Application to Astronomical Adaptive-Optics-Corrected Long-Exposure Images", J. Opt. Soc. Am. A, 21(10), pp. 1841-1854 (octobre 2004)).
On peut par exemple définir le poids Wj(k,l) = 0 pour une mesure non disponible du pixel lj(k,I) (cas d'un pixel hors service par exemple).
Par souci de simplicité on peut par exemple prendre wr(k,l) =constante. De plus, pour régler facilement ce paramètre on peut le reparamétrer comme un pourcentage de la valeur moyenne de Wj en posant : wr = . < Wj(k,l)) > où <.> représente une moyenne spatiale sur les pixels (k,l) et temporelle sur les images j. On peut ensuite prendre de l'ordre de quelques pourcent (par exemple de 0,01 à 0,1). À titre de comparaison, l'approche simple de l'état de la technique consistant à compenser l'inhomogénéité de la TIG sur chaque image partielle produite, puis à assembler les images partielles pour former une image totale de la rétine est illustrée en figures 6A et 6B. L'amplification du bruit dans les images partielles est apparente (figure 6A), et se traduit par une image totale estimée de la scène très bruitée (figure 6B). Ces figures montrent que l'invention permet de résoudre ce problème d'amplification du bruit.
Dans le présent exemple, le moyen de production d'image partielle numérique du dispositif de production 16 comprend un capteur 10 de type CCD. Le dispositif d'estimation comprend également un moyen 14 de stockage de données (par exemple disque dur d'un micro-ordinateur) et de calcul (par exemple un micro ordinateur) permettant notamment à un logiciel d'effectuer les étapes d'un procédé décrit ci-dessus (figure 7).

Claims (10)

  1. ReVENOICATiONS X. Procédé d'estimation d'une image totale vraie d'une scène (2) à partir d'images partielles et perturbées de cette scène produites (4A, 48} à partir d'au moins un dispositif de production d'image(s) partieile(s) (16), ie procédé comprenant ; a) une étape de construction d'au moins un modèle direct modélisant au moins une image partielle, ledit modèle direct comprenant un terme, propre à chaque image partielle modélisée, définissant des transformations géométriques à appliquer à une image totale à estimer pour qu'elle se superpose à l'image partielle produite ; b) une étape de d'estimation de l'image totale vraie de la scène, cette étape d'estimation, comprenant une estimation dèsdites transformations géométriques, étant effectuée a partir desdifes images partielles et de leur modèle direct respectif, au moins une image partielle produite utilisée dans cette étape d'estimation ayant au moins une de ses parties imageant une partie de ia scène commune avec au moins une des parties d'une autre image partielle produite ; ledit procédé d'estimation étant caractérisé en ce que : * Ledit modèle direct construit prend en compte, pour chaque pixel de Binage partielle modélisée, une estimation de son éventuelle perturbation d'intensité dite transmission instrumentale globale (TK5) du dispositif de production d'image partielle utilisé, des valeurs de transmission instrumentale globale différentes étant prévues pour au moins deux pixels différents d'une même image partielle produite.
  2. 2. Procédé d'estimation de l'image totale vraie d'une scène selon la revendication 1, dans lequel les paramètres des transformations géométriques sont estimés conjointement.
  3. 3. Procédé d'estimation de l'image totale vraie d'une scène selon l'une des revendications 1 ou 2, dans lequel les paramètres des transformations géométriques et les paramètres estiment les valeurs de la transmission Instrumentale globale sont estimés conjointement;
  4. 4. Procédé d'estimation de l’image totale vraie d'une scène selon l'une des revendications 1 ou 2, dans lequel, le terme définissant les transformations géométriques et les paramètres estimant les valeurs de la transmission instrumentale globale sont estimés à partir de plusieurs images partielles issues du dispositif de production d'image partielle (1,6). 5> Procédé d'estimation de l'image totale vraie d'une scène selon l’une des revendications 1 à 4, dans lequel Γestimation de l'image totale vraie de la scène est réalisée à l'aide d’un critère d'optimisation comportant un terme de régularisation associé à chaque pixel de l'Image totale vraie adapté de sorte à empêcher une amplification non contrôlée, lors de l’étape b), du bruit d’une zone de l'image de la scène, qui est absente des images partielles produites utilisées ou bien qui est insuffisamment éclairée.
  5. 6, Procédé d'estimation de l'image totale vraie d'une .scène selon l’une des revendications i à S, dans lequel, lors de l'étape b), un assemblage des images partielles est pondéré pixel par pixel, iss pixels ayant une transmission Instrumentale globale plus faible étant pondérés plus faiblement,
  6. 7, Procédé d'estimation de l'image totale vraie d'une scène selon l’une des revendications i à 6, dans lequel, l'estimation de i'image totale vraie de la scène est réalisée â l'aide d’un critère d'optimisation comprenant un terme de régularisation associé aux transformations géométriques que doit subir l'image totale vraie de la scène pour que chaque image partielle produite se superpose à la partie correspondante de l'image totale vraie.
  7. 8. Procédé d'estimation de l'image totale vraie d'une scène selon l'une des revendications 6 ou 7, dans lequel ie critère d'optimisation est de type maximum de vraisemblance, ou maximum de vraisemblance généralisé, ou maximum a pasteripri.
  8. 9. Procédé d'estimation de l'image totale vraie d'une scène selon l'une des revendications 1 à 8, dans lequel une étape d’estimation de la valeur de îa transmission instrumentale globale est réalisée avant l'étape b), cette valeur estimée de la transmission instrumentale globale étant utilisée lors de ia construction dudit modèle direct.
  9. 10. Procédé d'estimation de l'Image totale vraie d'une scène selon l’une des revendications 1 à 9, dans lequel le modèle direct comporte un paramètre d'incertitude représentative d'incertitudes de modélisation pour chaque pixel composant une image partielle modélisée, IL Dispositif d'estimation d'image totale vraie comprenant : * un dispositif de production d’image partielle (16) d'une scène (2), ia transmission instrumentale globale de ce dispositif de production d'image partielle étant estimable ; • et un moyen de calcul (14) pour mettre en œuvre les étapes d'un procédé selon l'une des revendications 1 à W.
  10. 12. Dispositif d'estimation d'image totale vraie selon la revendication 11, utilisé, selon le procédé de l'une des revendications 1 à 10, pour l’imagerie rétinienne.
FR1356129A 2013-06-26 2013-06-26 Procede d'estimation de l'image totale d'une scene Active FR3007872B1 (fr)

Priority Applications (2)

Application Number Priority Date Filing Date Title
FR1356129A FR3007872B1 (fr) 2013-06-26 2013-06-26 Procede d'estimation de l'image totale d'une scene
PCT/EP2014/063568 WO2014207127A1 (fr) 2013-06-26 2014-06-26 Procede d'estimation de l'image totale d'une scene

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1356129A FR3007872B1 (fr) 2013-06-26 2013-06-26 Procede d'estimation de l'image totale d'une scene
FR1356129 2013-06-26

Publications (2)

Publication Number Publication Date
FR3007872A1 FR3007872A1 (fr) 2015-01-02
FR3007872B1 true FR3007872B1 (fr) 2019-07-05

Family

ID=49713133

Family Applications (1)

Application Number Title Priority Date Filing Date
FR1356129A Active FR3007872B1 (fr) 2013-06-26 2013-06-26 Procede d'estimation de l'image totale d'une scene

Country Status (2)

Country Link
FR (1) FR3007872B1 (fr)
WO (1) WO2014207127A1 (fr)

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5912720A (en) * 1997-02-13 1999-06-15 The Trustees Of The University Of Pennsylvania Technique for creating an ophthalmic augmented reality environment
US8194936B2 (en) * 2008-04-25 2012-06-05 University Of Iowa Research Foundation Optimal registration of multiple deformed images using a physical model of the imaging distortion

Also Published As

Publication number Publication date
FR3007872A1 (fr) 2015-01-02
WO2014207127A1 (fr) 2014-12-31

Similar Documents

Publication Publication Date Title
EP2174289B1 (fr) Procede de traitement d&#39;objet numerique et systeme associe.
JP6091176B2 (ja) 画像処理方法、画像処理プログラム、画像処理装置および撮像装置
EP3657784B1 (fr) Procédé d&#39;estimation d&#39;un défaut d&#39;un système de capture d&#39;images et systèmes associés
EP3114831B1 (fr) Débruitage vidéo optimisé pour système multicapteur hétérogène
EP2947433A1 (fr) Système et procédé d&#39;acquisition d&#39;images hyperspectrales
EP1673728A1 (fr) Procede et systeme pour m7difier une image numérique de maniere differenciee et quasi reguliere par pixel
EP0780794A1 (fr) Procédé de correction d&#39;estimation de mouvement dans des images à structures périodiques
FR3062009A1 (fr) Generation adaptative d’une image a grande gamme dynamique d’une scene, a partir d’une pluralite d’images obtenues par lecture non destructive d’un capteur d’image.
FR3055727B1 (fr) Procede et dispositif de caracterisation des aberrations d&#39;un systeme optique
FR3007872B1 (fr) Procede d&#39;estimation de l&#39;image totale d&#39;une scene
EP2668635A1 (fr) Traitement de données d&#39;images comportant des effets de turbulences dans un milieu liquide
EP3072081B1 (fr) Determination de la carte de profondeur image d&#39;une scene
KR101371925B1 (ko) 영상 초점 복원 방법
EP3054422A1 (fr) Procédé de determination d&#39;un axe de rotation d&#39;un objet en tomographie et procédé de caracterisation par tomographie
FR2851359A1 (fr) Procede et dispositif de calibration et de correction de niveaux de gris
EP3130144B1 (fr) Procédé de calibration d&#39;un imageur numérique
EP2943935A1 (fr) Estimation de mouvement d&#39;une image
EP4020978B1 (fr) Procede d&#39;etalonnage d&#39;une matrice de photodetecteurs, dispositif d&#39;etalonnage et systeme d&#39;imagerie associes
EP4020378B1 (fr) Filtre de traitement d&#39;image pour la localisation de gouttes dans une image multidimensionnelle et procédé de traitement d&#39;image associé
FR3111462A1 (fr) Procédé de construction d’un signal ou d’une image fusionné(e) haute résolution à partir d’une pluralité de signaux ou d’une pluralité d’images basse résolution.
FR3059453A1 (fr) Procede et dispositif de deconvolution d&#39;images numeriques
FR3130060A1 (fr) procédé et dispositif de caractérisation de distorsions dans une caméra plénoptique
Geng et al. A modified image restoration algorithm for multiframe degraded images
FR3066268A1 (fr) Capteur d&#39;images
FR3063559A1 (fr) Procede et dispositif electronique de determination d&#39;un modele en perspective d&#39;un objet, programme d&#39;ordinateur et appareil electronique d&#39;affichage associes

Legal Events

Date Code Title Description
PLFP Fee payment

Year of fee payment: 4

TP Transmission of property

Owner name: OFFICE NATIONAL D'ETUDES ET DE RECHERCHES AERO, FR

Effective date: 20170329

PLFP Fee payment

Year of fee payment: 5

PLFP Fee payment

Year of fee payment: 6

PLFP Fee payment

Year of fee payment: 8

PLFP Fee payment

Year of fee payment: 9

PLFP Fee payment

Year of fee payment: 10

PLFP Fee payment

Year of fee payment: 11