FR2689354A1 - Procédé récursif de restauration d'une image vidéo dégradée. - Google Patents
Procédé récursif de restauration d'une image vidéo dégradée. Download PDFInfo
- Publication number
- FR2689354A1 FR2689354A1 FR9203871A FR9203871A FR2689354A1 FR 2689354 A1 FR2689354 A1 FR 2689354A1 FR 9203871 A FR9203871 A FR 9203871A FR 9203871 A FR9203871 A FR 9203871A FR 2689354 A1 FR2689354 A1 FR 2689354A1
- Authority
- FR
- France
- Prior art keywords
- image
- camera
- restored
- digital image
- restoration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
- H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
Abstract
L'invention concerne un procédé récursif de restauration d'une image vidéo constituée de trames successives, fournie par une caméra à capteur matriciel, ladite image vidéo étant dégradée par des mouvements de déviation angulaire de ladite caméra. Selon l'invention, le procédé comporte les étapes suivantes: a) acquisition d'une image vidéo analogique par la caméra pendant une trame, b) au cours de ladite trame, mesure des mouvements de déviation angulaire de la caméra et décomposition desdits mouvements en une translation et en un opérateur de flou F subis par ladite image vidéo, c) au cours de la trame suivante, - numérisation de l'image vidéo analogique en une image numérique I, - mémorisation de ladite image numérique I, - calcul d'une translation inverse t[ix, iy] de ladite translation ainsi que de deux opérateurs matriciels C, D de restauration à partir de l'opérateur de flou F et d' informations relatives à une image numérique Xv restaurée précédemment, en vue d'obtenir l'image numérique restaurée X recherchée vérifiant une expression de restauration choisie a priori: (CF DESSIN DANS BOPI) d) au cours de la trame suivante, calcul de l'image numérique restaurée X suivant ladite expression de restauration choisie, e) mémorisation de ladite image numérique restaurée X pour son utilisation dans la restauration des images vidéo des trames ultérieures, f) mise en forme de l'image numérique restaurée X en une image vidéo analogique pour sa visualisation. Application à la stabilisation d'une image vidéo fournie par une caméra montée sur un engin mobile.
Description
La présente invention concerne un procédé récursif de restauration d'une image vidéo constituée de trames successives, fournie par une caméra à capteur matriciel, ladite image vidéo étant dégradée par des mouvements de déviation angulaire de la caméra.
L'invention trouve une application particulièrement avantageuse notamment à la stabilisation d'une image vidéo fournie par un dispositif vidéo monté sur un engin mobile et dans lequel une caméra subit des déstabilisations angulaires mesurables par un capteur gyroscopique ou analogue. Cette caméra forme, au cours d'une trame, une image électronique d'un champs visé au moyen d'un capteur matriciel placé au plan focal de la caméra réalisant la conversion en signal électrique du flux photonique reçu sur chacun de ses éléments d'image (pixels) durant un intervalle de temps commun correspondant à un temps de mesure de la caméra.
Lorsque ladite caméra subit durant ce temps de mesure des mouvements de déviation angulaire de sa ligne de visée, l'image enregistrée est dégradée par un effet de translation et un effet de flou de bougé. Plus précisément, il est établi que l'image enregistrée subit, d'une part, une translation égale à la valeur moyenne des déviations angulaires de la caméra durant son temps de mesure, et d'autre part, un filtrage passe-bas par une matrice de flou fonction des variations de la ligne de visée autour de ladite valeur moyenne des déviations angulaires.
Pour des caméras dont le temps de mesure est très faible telles que les caméras thermiques, l'effet de flou est négligeable. Dans ce cas, la restauration d'une image vidéo dégradée uniquement par un effet de translation ne pose pas de problème, lorsque l'on dispose d'une mesure desdits mouvements de déviation angulaire de la caméra. En effet, il suffit de calculer la valeur moyenne de ces déviations angulaires durant le temps de mesure de la caméra afin d'évaluer la translation subie par l'image vidéo enregistrée, et d'appliquer une translation inverse à ladite image vidéo.
Lorsque l'effet de flou n'est pas négligeable, l'image vidéo subit la translation et le filtrage passe-bas par la matrice de flou, ce filtrage ayant notamment pour effet d'atténuer les composantes spectrales hautes fréquences de l'image et même éventuellement de supprimer complétement certaines composantes spectrales. Par ailleurs, un signal parasite de bruit électronique dû à la caméra vient s'additionner aux effets de translation et de flou en accentuant la dégradation de ladite image vidéo déjà dégradée.
Actuellement, on connaît un procédé de restauration des composantes spectrales hautes fréquences de l'image atténuées par ledit filtrage passe-bas, qui consiste à appliquer à l'image dégradée un filtre inverse du filtre représentatif du flou subi. Ce filtre inverse ou filtre de restauration est un filtre du type passe-haut amplificateur des composantes spectrales hautes fréquences de l'image de manière à amplifier lesdites composantes atténuées.
Toutefois, ce procédé présente l'inconvénient de ne pas restaurer les composantes spectrales hautes fréquences de l'image vidéo qui ont été complètement supprimées par le filtre passe-bas de flou. De plus, ce procédé provoque l'amplification du bruit électronique dû à la caméra qui n'a pas subi d'atténuation par le filtre passe-bas de flou. Pour chaque image vidéo à restaurer il convient donc de réaliser un compromis entre la qualité de restauration des informations d'image et le coefficient d'amplification du bruit électronique dû à la caméra, la qualité globale de restauration de l'image dépendant directement de la sévérité de l'effet de flou subi.En effet, il convient de préciser que l'effet de flou étant dû à des mouvements aléatoires de la caméra, I'effet de flou subi par une image vidéo d'une trame donnée est totalement différent de celui subi par l'image vidéo d'une trame différente. De ce fait, le filtre de restauration étant toujours le même, on observe un effet de papillotement de l'image vidéo restaurée, la qualité de l'image vidéo mesurée et le niveau de bruit électronique étant variables d'une trame à l'autre.
Dans la pratique, il est possible de stabiliser parfaitement la caméra sur l'engin mobile afin d'éviter tous les mouvements de déviation angulaire de sa ligne de visée au cours des enregistrements d'images vidéo et d'obtenir ainsi des images vidéo non dégradées. Cette stabilisation de la caméra représente cependant un investissement financier important qu'il serait souhaitable de limiter.
Aussi, le problème technique à résoudre par l'objet de la présente invention est de permettre, pour un coût réduit, la restauration complète d'une image vidéo dégradée, constituée de trames successives, fournie par une caméra à capteur matriciel présentant des mouvements de déviation angulaire de sa ligne de visée, en évitant une amplification du signal parasite dû au bruit électronique de la caméra.
La solution au problème technique posé consiste, selon la présente invention, en un procédé récursif de restauration d'une image vidéo dégradée, comportant les étapes suivantes
a) acquisition d'une image vidéo analogique par la caméra pendant une trame,
b) au cours de ladite trame, mesure des mouvements de déviation angulaire de la caméra et décomposition desdits mouvements en une translation et en un opérateur de flou F subis par ladite image vidéo,
c) au cours de la trame suivante,
- numérisation de l'image vidéo analogique en une image numérique I,
- mémorisation de ladite image numérique I,
- calcul d'une translation inverse t[ix,iy] de ladite translation ainsi que de deux opérateurs matriciels C,D de restauration à partir de l'opérateur de flou F et d' informations relatives à une image numérique
Xv restaurée précédemment, en vue d'obtenir l'image numérique restaurée
X recherchée vérifiant une expression de restauration choisie a priori
X = C O Xv + D O 1t[ix,iy]
d) au cours de la trame suivante, calcul de l'image numérique restaurée X suivant ladite expression de restauration choisie,
e) mémorisation de ladite image numérique restaurée X pour son utilisation dans la restauration des images vidéo des trames ultérieures,
f) mise en forme de l'image numérique restaurée X en une image vidéo analogique pour sa visualisation.
a) acquisition d'une image vidéo analogique par la caméra pendant une trame,
b) au cours de ladite trame, mesure des mouvements de déviation angulaire de la caméra et décomposition desdits mouvements en une translation et en un opérateur de flou F subis par ladite image vidéo,
c) au cours de la trame suivante,
- numérisation de l'image vidéo analogique en une image numérique I,
- mémorisation de ladite image numérique I,
- calcul d'une translation inverse t[ix,iy] de ladite translation ainsi que de deux opérateurs matriciels C,D de restauration à partir de l'opérateur de flou F et d' informations relatives à une image numérique
Xv restaurée précédemment, en vue d'obtenir l'image numérique restaurée
X recherchée vérifiant une expression de restauration choisie a priori
X = C O Xv + D O 1t[ix,iy]
d) au cours de la trame suivante, calcul de l'image numérique restaurée X suivant ladite expression de restauration choisie,
e) mémorisation de ladite image numérique restaurée X pour son utilisation dans la restauration des images vidéo des trames ultérieures,
f) mise en forme de l'image numérique restaurée X en une image vidéo analogique pour sa visualisation.
Ainsi, le procédé selon l'invention permet grâce à un traitement récursif de restaurer toutes les composantes spectrales atténuées ou même supprimées d'une image vidéo dégradée, en allant rechercher dans des trames précédentes les composantes spectrales atténuées ou supprimées de l'image que l'on ne sait pas restaurer dans la trame courante, ou bien qui pourraient être restaurées mais au prix d'une augmentation importante du bruit électronique dû à la caméra. La qualité de restauration de l'image vidéo est améliorée pour une amplification moindre du bruît.
Bien entendu, il faut tenir compte d'un effet de rémanence apporté dans l'image vidéo restaurée dû à la récursivité du procédé selon l'invention, et plus particulièrement à l'opérateur C. Cet effet de rémanence sera plus amplement étudié ultérieurement.
Lorsque la caméra utilisée comprend un capteur matriciel non entrelacé présentant une matrice spatiale de mesure identique sur les trames paires et les trames impaires, l'image numérique restaurée X est calculée selon le procédé conforme à l'invention, à l'étape d) suivant l'expression T1 égale à
X = C (23 Xo + D O It[ix,iy], où Xo est l'image numérique restaurée à la trame précédente.
X = C (23 Xo + D O It[ix,iy], où Xo est l'image numérique restaurée à la trame précédente.
Par contre, lorsque la caméra utilisée comprend un capteur matriciel entrelacé présentant une matrice spatiale de mesure décalée d'une demi-ligne trame entre les trames paires et les trames impaires, l'image restaurée est calculée selon le procédé conforme à l'invention, à l'étape d) suivant l'expression T2 égale à
X = C (#) Xoo + D < t[ix,iy] où Xoo est l'image numérique restaurée deux trames plus tôt.
X = C (#) Xoo + D < t[ix,iy] où Xoo est l'image numérique restaurée deux trames plus tôt.
La description qui va suivre en regard-des dessins annexés donnés à titre d'exemples non limitatifs, fera bien comprendre en quoi consiste l'invention et comment elle peut être réalisée.
La figure 1 est un schéma synoptique d'un dispositif de mise en oeuvre du procédé selon l'invention.
La figure 2 est un chronogramme de fonctionnement du procédé selon l'invention.
La figure 3 est un organigramme du calcul des opérateurs matriciels C,D suivant le procédé selon l'invention.
. La figure 4 est un schéma d'un traitement simple d'extension d'une image vidéo.
En référence tout d'abord à la figure 1 on a représenté un schéma synoptique d'un dispositif de mise en oeuvre du procédé selon l'invention.
Comme on peut le voir sur la figure 1, ce dispositif se compose d'un dispositif électronique d'interface et de numérisation 10 d'une image vidéo analogique dégradée, enregistrée au cours d'une trame par une caméra à capteur matriciel (non représentée) animée de mouvements de déviation angulaire. Ce dispositif électronique d'interface et de numérisation 10 est destiné à numériser l'image vidéo analogique qu'il reçoit en entrée, en une image numérique I.
Plus précisément, ledit dispositif 10 est destiné à extraire, à chaque trame, la valeur analogique des pixels d'une image vidéo analogique, sous la forme d'une tension, et à numériser cette tension à l'aide d'un convertisseur analogique/numérique non représenté sur la figure 1. L'image numérique I extraite de la trame vidéo est alors stockée dans une mémoire vive sous la forme d'une matrice de dimension "n x m" contenant les valeurs numériques des pixels, 'n' étant le nombre de points par ligne et 'm' le nombre de lignes par trame. Par ailleurs, le dispositif représenté à la figure 1 comprend un calculateur 40 muni de deux voies de codage numérique A,B destinées à fournir les valeurs numériques des mouvements de déviation angulaire de la caméra durant le temps de mesure de l'image vidéo.A partir desdites valeurs numériques, le calculateur 40 est apte à identifier une translation et un opérateur de flou F subi par l'image vidéo enregistrée, et à calculer la transmission inverse t[ix,iy] et deux opérateurs matriciels C,D de restauration sous la forme de deux matrices de filtrage généralement de type passe-haut. Cette translation inverse t[ix,iy] et les deux opérateurs matriciels C,D sont directement transmis par le calculateur 40 à un dispositif électronique numérique 20 de restauration d'une image numérique I dégradée.Comme le montre la figure 1, le dispositif électronique numérique 20 comporte d'une part un opérateur de translation d'image 21 destiné à translater l'image numérique I de la translation inverse t[ix,iy], d'autre part, deux convolueurs de filtrage d'image 22, 23 effectuant des opérations de filtrage de l'image numérique au moyen des deux opérateurs matriciels C,D. En outre, le dispositif électronique numérique 20 comporte un sommateur 24 et trois mémoires d'image restaurée 25, 26, 27.
Par ailleurs, il convient de préciser que ledit dispositif électronique d'interface et de numérisation 10 ainsi que ledit dispositif électronique numérique 20 de restauration présentent une interface comportant deux mémoires de trames 51, 52 utilisées alternativement. L'une des mémoires 51, 52, accessible en écriture, reçoit l'image numérique I transmise par ledit dispositif d'interface 10 pendant que l'autre mémoire 52, accessible en lecture, alimente ledit dispositif électronique numérique 20 de restauration d'image. Ceci permet alors de créer un retard pur d'une trame entre la numérisation de l'image vidéo enregistrée et la restauration de ladite image numérique I, retard pendant lequel le calculateur 40 peut calculer la translation inverse t[ix, iy] et les deux opérateurs matriciels C,D de restauration à appliquer à ladite image numérique I.
A partir de l'image numérique I mémorisée dans la mémoire 51 à la trame précédente, le dispositif électronique numérique 20 de restauration est apte à calculer une image numérique restaurée à l'aide des différents opérateurs précités, en exécutant une expression générale de restauration choisie a priori et égale à X = C Xv + D D(jZ) 1t[ix,îy] où Xv représente une image numérique restaurée précédemment et x est le symbole de l'opération de convolution.
Plus particulièrement lorsque la caméra utilisée comprend un capteur matriciel non entrelacé, l'image numérique restaurée X est calculée par ledit dispositif numérique 20 suivant l'expression T1 égale à
X = C x Xo + D x It[ix,iy], où Xo est l'image numérique restaurée à la trame précédente et mémorisée dans une mémoire d'image restaurée 25.
X = C x Xo + D x It[ix,iy], où Xo est l'image numérique restaurée à la trame précédente et mémorisée dans une mémoire d'image restaurée 25.
Par ailleurs, lorque la caméra utilisée comprend un capteur matriciel entrelacé, l'image numérique restaurée X est calculée suivant l'expression
T2 égale à X = CO Xoo + DOxI It[ix,iy] où Xoo est l'image numérique restaurée deux trames plus tôt et mémorisée dans une autre mémoire d'image 26.
T2 égale à X = CO Xoo + DOxI It[ix,iy] où Xoo est l'image numérique restaurée deux trames plus tôt et mémorisée dans une autre mémoire d'image 26.
Chaque cycle de restauration d'une image numérique au moyen du dispositif électronique numérique 20, s'effectue au cours d'une trame vidéo.
Durant ce cycle, le contenu de l'une des deux mémoires 25, 26 est lu au moyen de sélecteurs non représentés, pour fournir l'une des images numériques Xo, Xoo restaurées aux trames précédentes et exécuter le calcul de l'image numérique restaurée X. La troisième mémoire 27 reçoit et mémorise le résultat du calcul de ladite image restaurée X afin de l'utiliser dans la restauration des images vidéo dégradées des trames ultérieures.
Une logique de contrôle des sélecteurs en entrée et sortie de ces trois mémoires 25, 26, 27 permet de choisir l'une ou l'autre des expressions de calcul T1, T2.
D'autre part, comme on peut le voir sur la figure 1, le dispositif de mise en oeuvre du procédé selon l'invention comporte un dispositif de mise en forme 30 de l'image numérique restaurée X en une image vidéo analogique de sortie pour sa visualisation, sur un moniteur par exemple.
I1 convient de préciser qu'au cours des opérations de filtrage par convolution de l'image numérique, effectuées au moyen des deux convolueurs de filtrage 22, 23, on calcule des points au bord de l'image filtrée pour lesquels l'amplitude du filtre déborde de l'image numérique d'entrée dans le dispositif électronique numérique 20 de restauration. I1 est alors recommandé de gérer le débordement pour éviter de dégrader l'image numérique restaurée X. Le fait d'ignorer simplement les termes de débordement dans l'opération de convolution, revient en effet à supposer que ladite image filtrée est étendue sur ses bords par des points noirs. Ces points noirs se situant tout d'abord sur les bords de l'image restaurée, gagnent progressivement le centre des images restaurées ultérieurement par le traitement récursif du procédé selon l'invention, ce qui crée un effet de halo sur ces images.
Afin de pallier cet inconvénient, le procédé selon l'invention comporte un traitement simple d'extension des bords de l'image numérique d'entrée à l'image numérique filtrée. La figure 4 montre ce traitement simple d'extension. Comme on peut le voir sur la figure 4, ce traitement consiste d'une part à étendre horizontalement les points situés sur un bord vertical 102 d'une image numérique d'entrée 101, dans une zone 1 correspondante de débordement vertical d'une image filtrée 102, zone 1 constituée avant ce traitement de points noirs, d'autre part à étendre verticalement les valeurs des points situés sur un bord horizontal 103 de ladite image d'entrée 101, dans une zone 2 correspondante de débordement horizontale de l'image filtrée 102.Par ailleurs, ce traitement consiste également à étendre les valeurs des points situés au coin 104 de ladite image d'entrée 101 dans la zone 3 correspondante de débordement de l'image filtrée 102.
En pratique, ce traitement d'extension revient à saturer les adresses des pixels de bord d'image filtrée générées par les convolueurs 22, 23, aux valeurs limites des pixels des bords de l'image d'entrée.
En référence à la figure 2, on a représenté le choronogramme de fonctionnement du procédé selon l'invention. Comme on peut le voir sur cette figure, dans une première étape dudit procédé, une caméra réalise, pendant une trame, un enregistrement d'une image vidéo analogique. En particulier, cet enregistrement d'image est réalisée durant un temps de mesure de la caméra qui correspond à une partie seulement de la trame vidéo. Au cours du temps de mesure de la caméra, on mesure les mouvements de déviation angulaire de ladite caméra au moyen d'un capteur gyroscopique par exemple. Les valeurs desdits mouvements sont échantillonnées et numérisées, puis décomposées en une translation et en un opérateur de flou F subis par ladite image vidéo.Ces échantillonnages numérisations et décompositions desdits mouvements de déviation angulaire sont réalisés par le calculateur 40 du dispositif de la figure 1.
Au cours de la trame suivante, la caméra transmet au dispositif électronique d'interface et de numérisation 10 l'image vidéo enregistrée précédemment. Ledit dispositif 10, numérise ladite image vidéo en une image numérique I et la stocke dans la mémoire 51. Parallèlement, on calcule une translation inverse t[ix,iy] de ladite translation et deux opérateurs matriciels C,D de restauration à partir de l'opérateur de flou F et d'informations relatives aux images restaurées précédemment. Le calcul des opérateurs C,D sera explicité en détail ultérieurement. Par ailleurs, il convient de préciser que ce calcul est effectué à l'aide du calculteur 40 du dispositif de la figure 1.
Pendant le retour trame, c'est-à-dire l'intervalle de temps disponible entre deux trames successives durant lequel aucune information d'image n'est transmise, ledit calculateur 40 transmet au dispositif électronique numérique 20 de restauration, les valeurs calculées du vecteur de la translation inverse t[ix,iy] et des matrices C,D de restauration.
Au cours de la trame suivante, on calcule ladite image numérique restaurée X à l'aide dudit dispositif de restauration 20, suivant l'expression de restauration
X = C (23 Xv + D (3 1t[ix,iy],
L'image numérique restaurée X est alors mémorisée pour son utilisation dans des restaurations d'images vidéo des trames ultérieures, et mise en forme en une image vidéo analogique pour sa visualisation sur un moniteur.
X = C (23 Xv + D (3 1t[ix,iy],
L'image numérique restaurée X est alors mémorisée pour son utilisation dans des restaurations d'images vidéo des trames ultérieures, et mise en forme en une image vidéo analogique pour sa visualisation sur un moniteur.
Dans le cas où la caméra utilisée comprend un capteur matriciel non entrelacé, les opérateurs matriciels C,D sont établis à l'aide du calculateur 40, à partir des opérations suivantes
- on détermine un modèle statistique d'une image discrète Io de la scène observée par la caméra, sous une forme d'une image aléatoire décorrélée spatialement comportant une moyenne Mi connue a priori, un écart type Si connu a priori, ladite image aléatoire Io étant corrélée temporellement par un facteur de corrélation f exprimé comme
E [Ion(i,j).Ion+m(i,j)]=fm . Si2 où E est l'espérance mathématique et Ion(i,j) est la valeur du pixel de coordonnées (i,j) de l'image Io à la trame n.
- on détermine un modèle statistique d'une image discrète Io de la scène observée par la caméra, sous une forme d'une image aléatoire décorrélée spatialement comportant une moyenne Mi connue a priori, un écart type Si connu a priori, ladite image aléatoire Io étant corrélée temporellement par un facteur de corrélation f exprimé comme
E [Ion(i,j).Ion+m(i,j)]=fm . Si2 où E est l'espérance mathématique et Ion(i,j) est la valeur du pixel de coordonnées (i,j) de l'image Io à la trame n.
- on détermine un bruit B de la caméra sous la forme d'un bruit aléatoire de moyenne nulle, décorrélé spatialement et temporellement, et comportant un écart type Sb connu a priori.
- on calcule les opérateurs C,D en minimisant l'erreur de restauration selon le critère des moindres carrés appliqué à (1) ERREUR = E [(X(i, - Io(i,j))2],
Cette minimisation s'effectue en connaissant les expressions connues a priori:
Cette minimisation s'effectue en connaissant les expressions connues a priori:
De manière plus précise, pour minimiser l'expression (1), on développe tout d'abord le carré (X(i,j) - )2-X2 +2X lo +102 où l'on remplace X(i,j) par les expressions T1 et T connues a priori. Ceci permet de faire apparaître dans ladite expression (1) des valeurs mémorisant la qualité calculée de l'image restaurée mémorisée Xo.
Ces valeurs sont les suivantes
- une matrice Q de covariance théorique entre ladite image Xo et l'image discrète Io, s'exprimant comme :
Q(k,l) = E [(XO(i,j) - Mi). (Io(i+k,j+l) - Mi)]
- une matrice d'autocorrélation AX de l'image restaurée Xo exprimée par
AX(kXl) = E [(Xo(i,j) - Mi). (Xo(i+k,j+l) - Mi)]
- une valeur MX mémorisant la valeur moyenne théorique de l'image restaurée Xo, égale à
MX = E [Xo(i,j)]
Ces trois valeurs Q, AX, MX sont initialisées au départ comme suit
Q0 = matrice nulle,
AXO = matrice de Dirac,
MX0 = 0
Puis ces valeurs sont mises à jour à chaque calcul des opérateurs matriciels C,D, pour être réutilisées dans le calcul des opérateurs C,D de la trame suivante.
- une matrice Q de covariance théorique entre ladite image Xo et l'image discrète Io, s'exprimant comme :
Q(k,l) = E [(XO(i,j) - Mi). (Io(i+k,j+l) - Mi)]
- une matrice d'autocorrélation AX de l'image restaurée Xo exprimée par
AX(kXl) = E [(Xo(i,j) - Mi). (Xo(i+k,j+l) - Mi)]
- une valeur MX mémorisant la valeur moyenne théorique de l'image restaurée Xo, égale à
MX = E [Xo(i,j)]
Ces trois valeurs Q, AX, MX sont initialisées au départ comme suit
Q0 = matrice nulle,
AXO = matrice de Dirac,
MX0 = 0
Puis ces valeurs sont mises à jour à chaque calcul des opérateurs matriciels C,D, pour être réutilisées dans le calcul des opérateurs C,D de la trame suivante.
L'expression (1) ainsi développée est une équation d'ordre 2 en Ci,j Di,j , éléments à la ligne i et colonne j des matrices C,D.
On dérive alors cette expression (1) par rapport auxdits éléments
Ci,j, Di,j , pour obtenir une équation d'ordre 1 dont les inconnus sont les éléments Ci,j , Di,j.
Ci,j, Di,j , pour obtenir une équation d'ordre 1 dont les inconnus sont les éléments Ci,j , Di,j.
La résolution de cette équation d'ordre 1 permet d'obtenir ces éléments Ci,j , Di,j et donc lesdits opérateurs matriciels C,D.
La figure 3 représente l'organigramme de calcul des opérateurs matriciels C,D. Comme on peut le voir sur cette figure, à la première trame on calcule suivant les opérations précitées lesdits opérateurs C,D en fonction de l'opérateur de flou F mesuré et les valeurs MX0, Q0, AX0 initialisées. Ces opérateurs C,D calculés permettent ainsi la mise à jour des nouvelles valeurs Q, MX, AX à partir de l'expression T1 et des valeurs connues a priori Mi, Si, f, Sb. Ces nouvelles valeurs Q, MX, AX sont celles que l'on utilise à la trame suivante pour calculer les nouveaux opérateurs matriciels C,D en fonction également d'un nouvel opérateur de flou F mesuré pour la trame en cours.
Il est intéressant de préciser que l'ajustement du facteur de corrélation f et de l'écart type Sb, permet de régler la qualité de l'image restaurée X. En effet, le réglage du facteur de corrélation f permet d'obtenir un compromis entre la qualité de la restauration de l'image vidéo dégradée et le niveau de rémanence obtenue sur l'image restaurée. Plus ledit facteur f est proche de 1, plus le procédé selon l'invention amène un effet de rémanence sur l'image restaurée. Lorsque le facteur de corrélation f est égal à 1 l'image vidéo est parfaitement restaurée, mais fixe dans le temps. Le réglage de l'écart type Sb permet d'obtenir un compromis entre la qualité de l'inversion du flou et l'amplitude du signal parasite de bruit B de la caméra. Plus l'écart type Sb est élevé, plus la qualité de restauration d'une image vidéo sera mauvaise au profit de la diminution dudit bruit B.
Lorsque la caméra utilisée comprend un capteur matriciel entrelacé, l'expression de restauration donnant le calcul de l'image restaurée X, devient l'expression T2 égale à: X = C (i) Xoo + D R It[ix,iY], où Xoo est l'image numérique restaurée deux trames plus tôt.
En effet, si le procédé selon l'invention utilisait dans ce cas l'expression T1, il perdrait la résolution verticale due à l'entrelacement du capteur matriciel de la caméra.
Par ailleurs, le principe de calcul des opérateurs matriciels C,D reste identique à celui utilisé dans le cas d'une caméra non entrelacée, en utilisant l'expression de restauration T2 au lieu de l'expression T1 pour minimiser l'expression (1) de l'ERREUR.
De plus, dans ce cas, on utilise deux jeux de valeurs mémorisant la qualité calculée de l'image restaurée mémorisée Xo. Un premier jeu formé des matrices Qp, AXp, MXp pour les trames paires, et un deuxième jeu formé des matrices Qi, AXi, MXi, pour les trames impaires. Ces deux jeux intervenant dans le calcul de deux opérateurs matriciels C,D sont remis à jour respectivement à chaque trame paire et impaire, ceci pour le calcul des opérateurs matriciels C,D des trames suivantes.
Bien entendu, le procédé selon l'invention s'applique à la restauration d'une image vidéo dégradée monochrome ou multispectrale.
Dans le cas d'une image vidéo multispectrale, ledit procédé effectue un traitement de restauration sur chacune des composantes spectrales de ladite image vidéo dégradée.
Claims (5)
1. Procédé récursif de restauration d'une image vidéo constituée de trames successives, fournie par une caméra à capteur matriciel, ladite image vidéo étant dégradée par des mouvements de déviation angulaire de ladite caméra, caractérisé en ce qu'il comporte les étapes suivantes
a) acquisition d'une image vidéo analogique par la caméra pendant une trame,
b) au cours de ladite trame, mesure des mouvements de déviation angulaire de la caméra et décomposition desdits mouvements en une translation et en un opérateur de flou F subis par ladite image vidéo,
c) au cours de la trame suivante,
- numérisation de l'image vidéo analogique en une image numérique I,
- mémorisation de ladite image numérique I,
- calcul d'une translation inverse t[ix,iyJ de ladite translation ainsi que de deux opérateurs matriciels C,D de restauration à partir de l'opérateur de flou F et d' informations relatives à une image numérique
Xv restaurée précédemment, en vue d'obtenir l'image numérique restaurée
X recherchée vérifiant une expression de restauration choisie a priori
X = cg Xv + DO 1t[ix,iy]
d) au cours de la trame suivante, calcul de l'image numérique restaurée X suivant ladite expression de restauration choisie,
e) mémorisation de ladite image numérique restaurée X pour son utilisation dans la restauration des images vidéo des trames ultérieures,
f) mise en forme de l'image numérique restaurée X en une image vidéo analogique pour sa visualisation.
2. Procédé selon la revendication 1, caractérisé en ce que la caméra comprenant un capteur matriciel non entrelacé, l'image numérique restaurée X est calculée à l'étape d) suivant 1' expression T1 égale à X = CO Xo + D (X7 It[ix,iy], où Xo est l'image numérique restaurée à la trame précédente.
3. Procédé selon la revendication 1, caractérisé en ce que la caméra comprenant un capteur matriciel entrelacé l'image numérique restaurée X est calculée à l'étape d) suivant l'expression T2 égale a X = CXoo + D (i) It[iXSiy] où Xoo est l'image numérique restaurée deux trames plus tôt.
4. Procédé selon la revendication 2, caractérisé en ce que les opérateurs de restauration C,D sont établis à partir des opérations suivantes
- détermination d'un modèle statistique d'une image discrète Io de la scène observée par la caméra, sous une forme d'une image aléatoire décorrélée spatialement comportant une moyenne (Mi) connue a priori, un écart type (Si) connu a priori, ladite image aléatoire étant corrélée temporellement par un facteur de corrélation (f),
- détermination d'un bruit B de la caméra sous la forme d'un bruit aléatoire de moyenne nulle, décorrélé spatialement et temporellement, et comportant un écart type (Sb) connu a priori,
- calcul desdits opérateurs de restauration C,D en appliquant le critère des moindres carrés appliqué aux images restaurée X et discrète Io, à l'aide des expressions connues
TI et it[ix,iy] = F Qîo + B
5.Procédé selon la revendication 3, caractérisé en ce que les opérateurs de restauration C,D sont établis à partir des opérations suivantes
- détermination d'un modèle statistique d'une image discrète Io de la scène observée par la caméra, sous une forme d'une image aléatoire décorrélée spatialement comportant une moyenne (Mi) connue a priori, un écart type (Si) connu a priori, ladite image aléatoire étant corrélée temporellement par un facteur de corrélation (f),
- détermination d'un bruit B de la caméra sous la forme d'un bruit aléatoire de moyenne nulle, décorrélé spatialement et temporellement, et comportant un écart type (Sb) connu a priori,
- calcul desdits opérateurs C,D de restauration, en appliquant le critère des moindres carrés appliqué aux images restaurée X et discrète Io, à l'aide des expressions connues
T2 et ît[ix,iy] = F QxIo + B
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR929203871A FR2689354B1 (fr) | 1992-03-31 | 1992-03-31 | Procede recursif de restauration d'une image video degradee. |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR929203871A FR2689354B1 (fr) | 1992-03-31 | 1992-03-31 | Procede recursif de restauration d'une image video degradee. |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| FR2689354A1 true FR2689354A1 (fr) | 1993-10-01 |
| FR2689354B1 FR2689354B1 (fr) | 1994-07-01 |
Family
ID=9428275
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| FR929203871A Expired - Fee Related FR2689354B1 (fr) | 1992-03-31 | 1992-03-31 | Procede recursif de restauration d'une image video degradee. |
Country Status (1)
| Country | Link |
|---|---|
| FR (1) | FR2689354B1 (fr) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR2737071A1 (fr) * | 1995-07-18 | 1997-01-24 | Sirehna Societe D Ingenierie D | Procede et dispositif de selection de prises de vues effectuees par une camera video mobile |
| EP0948197A2 (fr) * | 1998-04-03 | 1999-10-06 | Zeiss Optronik GmbH | Dispositif et procédé pour la stabilisation d'image numérique |
| FR2821928A1 (fr) * | 2001-03-09 | 2002-09-13 | Sagem | Systeme de conduite de tir |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4470151A (en) * | 1981-08-24 | 1984-09-04 | The Ltv Aerospace And Defense Co. | Image motion and distortion stabilization for predetection scene information processing sensors |
| US4612575A (en) * | 1984-07-24 | 1986-09-16 | E-Systems, Inc. | T.V. video image correction |
-
1992
- 1992-03-31 FR FR929203871A patent/FR2689354B1/fr not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4470151A (en) * | 1981-08-24 | 1984-09-04 | The Ltv Aerospace And Defense Co. | Image motion and distortion stabilization for predetection scene information processing sensors |
| US4612575A (en) * | 1984-07-24 | 1986-09-16 | E-Systems, Inc. | T.V. video image correction |
Non-Patent Citations (2)
| Title |
|---|
| PATENT ABSTRACTS OF JAPAN vol. 15, no. 390 (E-1118)3 Octobre 1991 & JP-A-31 57 070 ( KYOCERA CORP. ) 5 Juillet 1991 * |
| SYSTEMS & COMPUTERS IN JAPAN vol. 21, no. 14, 1990, NEW YORK US pages 43 - 57 , XP000230301 Y. SETO ET AL. 'A proposal of an interpolation filter with image quality correction capability' * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR2737071A1 (fr) * | 1995-07-18 | 1997-01-24 | Sirehna Societe D Ingenierie D | Procede et dispositif de selection de prises de vues effectuees par une camera video mobile |
| EP0948197A2 (fr) * | 1998-04-03 | 1999-10-06 | Zeiss Optronik GmbH | Dispositif et procédé pour la stabilisation d'image numérique |
| EP0948197A3 (fr) * | 1998-04-03 | 2001-12-12 | Zeiss Optronik GmbH | Dispositif et procédé pour la stabilisation d'image numérique |
| US7133067B1 (en) | 1998-04-03 | 2006-11-07 | Carl Zeiss Optronics Gmbh | Instrument and method for digital image stabilization |
| FR2821928A1 (fr) * | 2001-03-09 | 2002-09-13 | Sagem | Systeme de conduite de tir |
| DE10208102B4 (de) * | 2001-03-09 | 2012-01-12 | Sagem Sa | Schießleitvorrichtung |
Also Published As
| Publication number | Publication date |
|---|---|
| FR2689354B1 (fr) | 1994-07-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP0128789B1 (fr) | Procédé pour réaliser une transformation géométrique sur une image vidéo, et dispositifs mettant en oeuvre ce procédé | |
| Kronander et al. | A unified framework for multi-sensor HDR video reconstruction | |
| US20170280073A1 (en) | Systems and Methods for Reducing Noise in Video Streams | |
| FR2882160A1 (fr) | Procede de capture d'images comprenant une mesure de mouvements locaux | |
| EP0936575B1 (fr) | Procédé de traitement d'images pour l'estimation de mouvement dans une séquence d'images | |
| EP3114831B1 (fr) | Débruitage vidéo optimisé pour système multicapteur hétérogène | |
| EP0751483B1 (fr) | Procédé de filtrage temporel du bruit dans une image d'une séquence d'images numériques et dispositif mettant en oeuvre ce procédé | |
| EP0751482B1 (fr) | Procédé de filtrage temporel du bruit dans une image d'une séquence d'images numériques et dispositif mettant en oeuvre ce procédé | |
| EP3221841B1 (fr) | Procede et dispositif de filtrage adaptatif temps reel d'images de disparite ou de profondeur bruitees | |
| KR920003048B1 (ko) | 열화 추정치에 의한 줌 방식 영상 해상도 향상방법 및 장치 | |
| FR3038431A1 (fr) | Bloc camera haute resolution pour drone, avec correction des instabilites de type oscillations ondulantes | |
| FR2564627A1 (fr) | Dispositif d'application de fenetre dans un systeme de visualisation | |
| FR2831753A1 (fr) | Procede d'adaptation de contraste de plusieurs images sur une image de reference commune | |
| Purohit et al. | Image processing framework for performance enhancement of low-light image sensors | |
| EP0926626A1 (fr) | Procédé de traitement d'image pour réduire le bruit dans une image d'une séquence de trois images temporelles et appareil d'imagerie médicale mettant en oeuvre un tel procédé | |
| EP1963970A2 (fr) | Procede pour fournir des donnees a un moyen de traitement numerique | |
| EP0276603B1 (fr) | Procédés de codage et de transmission d'un signal numérique, par rafraichissement temporel sélectif d'un quantificateur vectoriel | |
| EP3301644B1 (fr) | Procédé de construction d'une carte de profondeur d'une scène et/ou d'une image entièrement focalisée | |
| EP0926625B1 (fr) | Procédé de traitement d'image incluant des étapes de filtrage spatio-temporel du bruit et appareil d'imagerie médicale mettant en oeuvre ce procédé | |
| FR2689354A1 (fr) | Procédé récursif de restauration d'une image vidéo dégradée. | |
| FR2648977A1 (fr) | Procede iteratif d'estimation de mouvement, entre une image de reference et une image courante, et dispositif pour la mise en oeuvre de ce procede | |
| FR2662283A1 (fr) | Procede de correction d'images issues de capteur provoquant un bruit periodique, et dispositif de mise en óoeuvre. | |
| EP0604245B1 (fr) | Procédé de détection d'apparition d'objets ponctuels dans une image | |
| CA2354569C (fr) | Procede et systeme d'aide a la visee pour arme legere | |
| EP0280588A1 (fr) | Procédé et dispositif de prise de vue à grande profondeur de champ |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| TP | Transmission of property | ||
| ST | Notification of lapse |
Effective date: 20071130 |