FR2830648A1 - Procede d'elimination de rayures dans des images numeriques - Google Patents
Procede d'elimination de rayures dans des images numeriques Download PDFInfo
- Publication number
- FR2830648A1 FR2830648A1 FR0113004A FR0113004A FR2830648A1 FR 2830648 A1 FR2830648 A1 FR 2830648A1 FR 0113004 A FR0113004 A FR 0113004A FR 0113004 A FR0113004 A FR 0113004A FR 2830648 A1 FR2830648 A1 FR 2830648A1
- Authority
- FR
- France
- Prior art keywords
- image
- pixels
- images
- stripe
- restoration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title abstract description 84
- 238000010191 image analysis Methods 0.000 abstract description 2
- 238000003384 imaging method Methods 0.000 abstract description 2
- 230000002093 peripheral effect Effects 0.000 abstract description 2
- 230000008569 process Effects 0.000 description 21
- 238000001514 detection method Methods 0.000 description 19
- 239000000839 emulsion Substances 0.000 description 9
- 230000006870 function Effects 0.000 description 6
- BQCADISMDOOEFD-UHFFFAOYSA-N Silver Chemical compound [Ag] BQCADISMDOOEFD-UHFFFAOYSA-N 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 229910052709 silver Inorganic materials 0.000 description 4
- 239000004332 silver Substances 0.000 description 4
- 230000004075 alteration Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 239000003086 colorant Substances 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000015556 catabolic process Effects 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000010410 layer Substances 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012731 temporal analysis Methods 0.000 description 2
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 238000005299 abrasion Methods 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 210000005045 desmin Anatomy 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 230000002688 persistence Effects 0.000 description 1
- 238000009418 renovation Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
- 238000012732 spatial analysis Methods 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 238000011282 treatment Methods 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/253—Picture signal generating by scanning motion picture films or slide opaques, e.g. for telecine
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Picture Signal Circuits (AREA)
- Facsimile Image Signal Circuits (AREA)
Abstract
La présente invention se situe dans le domaine technologique de l'imagerie et concerne plus spécifiquement l'analyse d'images.La présente invention est mise en oeuvre dans un environnement matériel utilisant un terminal (1) comprenant un écran d'affichage (2) et interfacé à une souris (4) munie d'un bouton de cornmande (5). Le terminal (1) est relié à des périphériques de type numériseur (8) imprimante (9) ou tout autre dispositif (10) permettant de capturer des données vidéo.La présente invention a pour objet un procédé qui permet de restaurer automatiquement une image ou une pluralité d'images d'origine (3) en éliminant des rayures rectilignes ou pratiquement rectilignes (31), (32), (33). Le procédé de l'invention permet d'éliminer les rayures (31), (32), (33) dans des images numériques fixes ou animées (3), en utilisant l'information résiduelle d'image dans les zones altérées desdites images.Le procédé de la présente invention est plus particulièrement utilisé dans le domaine de la restauration de films et de documents télévisés, ainsi que dans la retouche ou restauration d'images photographiques.
Description
sont des segments de droites eVou des arcs de cercles.
PROCEDE D'ELIMINATION DE RAYURES DANS DES IMAGES
NI}MERIQUES
La présente invention se situe dans le domaine technologique de l'imagerie et concerne plus spécifiquement l'analyse d'images La présente invention a pour objet un procédé qui permet de restaurer automatiquement une image ou une pluralité d'images en éliminant des rayures rectilignes ou pratiquement rectilignes qui se trouvent sur ces images Les rayures sont des
défauts ayant altéré l'image d'origine.
Dans le domaine de l'imagerie, la rénovation ou restauration des images enregistrées sur des supports traditionnels peut étre opérée en faisant un traitement d'une version préalablement numérisée de ces images. Les supports traditionnels de ces images sont constitués généralement par du film, du papier photographique ou de la bande magnétique. La restauration de ces images permet de recouvrer la représentation de l' image d'origine, qui a pu étre dogradée par exemple, du fait de son vieillissement ou des détériorations diverses engendrées au cours des traitements ou manipulations des supports photographiques, films ou magnétiques. Les images à restaurer peuvent étre fixes ou animées. Les images fixes sont généralement des photographies représentant par exemple des personnes, des paysages ou des photographies de gravures (dessins, tableaux, etc.). Les images animées sont généralement des séquences de film, par exemple des films cinématographiques, ou encore des séquences vidéo, par exemple issues de documents télévisés ou de vidéos amateurs. Les procédés de restauration numérique connus de l'homme du métier consistent généralement à numériser l' image originellement enregistrée sur un support film, argentique ou magnétique, puis à traiter l' image d'origine numérisée pour la restaurer. Ces procédés consistent à transformer l' image d'origine numérisée en fonction de
consignes données par des algorithmes de logiciels de traitement d'image.
L'image numérique ainsi transformée ou restaurée peut étre mémorisée et utilisée ultérieurement sous une forme numérique, ou par exemple éditée sur un support
type film ou papier photographique.
Plusieurs techniques de restauration ou de suppression de rayures dans des images numériques sont connues de l'homme du métier et ont été divulguées. Les méthodes pour éliminer les rayures sont généralement utilisées pour restaurer des films cinématographiques. On peut citer comme exemples les divulgations des articles suivants: "Detection and removal of line scratches in motion picture films" (auteurs: B. Besserer, S. Boukir, O. Buisson, L. Joyeux), pages 548 à 553, publié en juin 1999, CVPR'99, IEEE International Conference
On Computer Vision and Pattern Recognition, Fort Collins, Colorado.
"Computerized motion picture restoration system" (auteurs: M.N. Chong, S. Kalra, S. Krishnan, A. Laud), pages 153 à 159, publié en juin 1998, Broadcast Asia International Conference, Singapour. Ou bien encore "Restauration automatique de flms anciens" (auteur: E. DecencièreFerrandière), document de thèse publié en novembre 1997, Ecole Normale Supérieure des Mines de Paris. Ces méthodes permettent d'éliminer des rayures dans une image numérisée; mais elles ne permettent pas de restaurer parfaitement les images. De plus, elles sont souvent assez lentes quand elles sont appliquées à des films comprenant des images à haute résolution; la résolution désignant la densité de points ou de lignes (exprimée par
exemple en pixels par centimètre).
L'article intitulé "Film line scratch removal using Kalman filtering and Bayesian restoration" (auteurs: B. Besserer, S. Boukir, L. Joyeux), publié en décembre 2000, WACV'2000, 1EEE Workshop on the Application of Computer Vision, Palm Springs, Californie, décrit un procédé qui permet d'éliminer automatiquement des rayures verticales dans des séquences d'images numériques (vidéo, film). Deux traitements sont opérés successivement: la restauration est d'abord effectuée à basse résolution par utilisation d'interpolation cubique polynomiale, les paramètres d'interpolation étant estimés par la méthode des moindres carrés. La restauration est ensuite complétée par une opération d'analyse à haute résolution exploitant des modèles statistiques basés sur les champs de Markov et associés à un critère de décision du type Maximum A Posteriori (MAP). Ce procédé spatio-temporel est relativement complexe et exploite de nombreux paramètres. Il permet de restaurer des rayures dans un temps moyen de 2 secondes
par rayure, envlron.
Les procédés utilisés dans les méthodes citées précédemment ntutilisent généralement pas, pour restaurer l'image, l'information résiduelle
s susceptible d'étre présente dans chacune des zones altérées de ladite image.
L' information rési duelle d' image corresp ond à la p artie du signal original (grain inclus) qui n'a pas été perturbé par les dégradations dues aux rayures. Les procédés
utilisés sont donc basés sur l'hypothèse que les données d'image sont manquantes.
Les données numériques manquantes correspondent aux intensités des pixels de 0 l'image placés sur la rayure. Donc, ces procédés utilisent des modèles mathématiques (probabilistes par exemple) plus ou moins complexes; ils sont souvent basés sur une analyse spatio-temporelle (utilisation par exemple des données de l'image précédente et de l'image suivante de l'image altérée par des rayures), nécessitent la mise en oeuvre de moyens spécifiques onéreux (par exemple stations Silicon Graphics ou Sun). Le fait de ne pas utiliser le signal résiduel présent dans les zones altérées de l'image, rend le processus de restauration aléatoire et plus ou moins performant selon la texture (homogénéité des intensités des niveaux de gris ou des couleurs) de l'image altérée à l' emplacement de la rayure sur ladite image. L'inconvénient de tels procédés n'utilis ant p as ou n' exploitant pas l' information résiduelle dans la zone de la rayure est qu'ils n'intègrent pas par exemple l'altération réelle de la couche d'émulsion contenant l'image d'origine. Ceci rend ces procédés de restauration peu performants et assez longs; il peut par exemple étre nécessaire d'ajouter du grain après avoir restauré la texture de l'image d'origine dans la zone altérée. Une 2s importante extension spatiale des rayures présentes dans une image, ainsi que leur persistance au cours du temps, dans le cas de s équences d' images anim ées, rend l'_il humain particulièrement sensible à ces rayures. En particulier, des rayures générées sur des images success ives à textures d' images non homogènes d'une copie de film passée en projection peuvent quand méme étre détectées par un _il humain, après restauration du film par ces procédés de la technique antérieure. Ces procédés de restauration ne tiennent généralement pas compte de l'infommation résiduelle d'image dans les zones altérces, et de ce fait, ne sont pas assez roDustes. Par conséquent, l'_il humain détectera encore les rayures plus ou moins bien éliminées après restauration. A titre d'exemple, l'expérience prouve que dans une séquence de plusieurs dizaines d'images animées successives projetées en quelques secondes, l'_il humain reste sensible à la
moindre trace de rayure.
La présente invention a pour objet un procédé qui pemmet de supprimer automatiquement des rayures rectilignes ou pratiquement rectilignes lo ayant altéré une image ou une pluralité d'images d'origine. Le procédé de l'invention permet d'éliminer les rayures dans des images numériques fixes ou animées, en utilisant l'infommation résiduelle d'image dans les zones altérées desdites images. Le procédé de l'invention permet qu'un utilisateur dudit procédé
ne puisse percevoir aucune rayure lors de la visualisation de l'image restaurée.
La présente invention conceme un procédé automatique de restauration en temps réel d'au moins une image d'origine numérisée altérée par une ou plusieurs rayures rectilignes ou pratiquement rectilignes, à partir de la foumiture des masques de détection ou des coordonnées des zones à restaurer de l' image et correspondant aux rayures, le procédé comprenant les étapes suivantes: a) calculer et enregistrer pour chaque ligne de pixels de la zone à restaurer p erpendiculaire à l' axe théorique de la rayure, la valeur absolue de la différence d'intensité entre les deux pixels placés sur ladite ligne de pixels et immédiatement à gauche et à droite de la zone à restaurer, à l'extérieur de ladite zone; b) calculer et enregistrer pour chaque ligne de pixels de la zone à restaurer, la largeur et la hauteur d'un voisinage de travail qui représente une zone de pixels centrée autour de ladite ligne de pixels, ladite largeur étant approximativement celle de la zone à restaurer et ladite hauteur étant fonction des valeurs calculées à l'étape a); c) calculer et enregistrer pour chaque colonne de pixels du voisinage de travail défni à l'étape b) parallèle à l'axe théorique de la rayure, la valeur de l'intensité moyenne des intensités respectives des pixels formant ladite colonne de pisels dans l'image altérée; d) calculer et enregistrer par interpolation linéaire perpendiculaire à l' axe théorique de la rayure entre les pixels pl acés immédiatement à gauche et à droite de la zone à restaurer définis à l'étape a), la valeur locale de l'intensité du profil estimé et caractéristique de la rayure pour chaque pixel de la ligne de pixels du voisinage de lo travail; e) calculer et enregistrer la valeur locale de l'intensité corrigée pour chaque pixel de la ligne de pixels du voisinage de travail, en soustrayant la valeur obtenue à l'étape d) à la valeur de l'intensité dudit pixel dans l'image altérée, de manière à obtenir automatiquement l'image d'origine restaurée. Un des avantages majeurs du procédé de l'invention est qu'il utilise l'information résiduelle de l'image altérée, information à l' emplacement de la rayure ayant altéré ladite image. Ceci est la seule contrainte de mise en _uvre du procédé de l'invention; il est nécessaire qu'il y ait un signal correspondant à l'information résiduelle d'image. Autrement dit, le procédé de l'invention tient compte du profil réel de la rayure qui peut être aléatoire, selon l'altération subie par l'image. Le procédé de l'invention permet d'analyser l'intensité du grain présent dans la zone de la rayure. Cette information est importante et rend le procédé de l'invention robuste par rapport aux procédés de la technique antérieure. Un autre avantage du procédé de l'invention est qu'il utilise uniquement l'analyse spatiale et ne fait pas appel à l'analyse temporelle. Ce dernier avantage entrame notamment un temps d'exécution de la restauration d'image relativement réduit (environ une dixième de seconde, voire moins, par rayure) et l'utilisation d'un environnement matériel (hardware) peu coûteux. Le procédé de l'invention permet à un utilisateur, muni d'un terminal comprenant un écran d'affichage, d'éliminer pratiquement en
temps réel les rayures dans l'image restaurée, en mettant en _uvre ledit procédé.
L e pro cédé de l' invention p ermet également de ne restituer aucune rayure
perceptible par l'utilisateur lors de la visualisation de l'image restaurée.
D'autres caractéristiques et avantages apparatront à la lecture de la
description qui suit, faite en référence aux dessins des différentes fgures.
s La figure 1 représente un schéma d'un environnement matériel
(hardware) dans lequel le procédé de l'invention est mis en _uvre.
La figure 2 représente un schéma d'un exemple d'image altérée par
des rayures destinées à être restaurées par le pro cédé de l' invention.
La figure 3 représente un schéma complémentaire à la figure 2,
o permettant d'expliciter la mise en _uvre du procédé de l'invention.
Le procédé de l' invention est utilisé dans diverses opérations de traitement et de restauration d'images. Le procédé de l'invention permet la correction d'images fixes ou animées, numérisées à partir de supports du type p apier photographique, film, b ande magnétique. Le pro cédé de l' invention est 1S utilisé notamment dans le domaine de la restauration de films (films cinématographiques, séquences vidéo) et d'images photographiques. Le procédé de l'invention permet de supprimer automatiquement des rayures rectilignes ou pratiquement rectilignes dans des images numériques fxes ou animées, tout en
conservant et en exploitant l'information résiduelle présente dans l'image altérée.
L'information résiduelle présente dans la zone altérée de l'image, correspond à la partie du signal et du grain original n'ayant pas été dégradé par les perturbations dues aux rayures. Cette information résiduelle émane donc du grain résiduel dans l'image à l'emplacement de la (des) rayures. La structure argentique de l'émulsion d'une image initiale issue par exemple d'un support argentique est caractérisée par 2s son grain. Le grain résiduel correspond à la structure de l'émulsion rayée, par opposition au grain originel avant l'altération de l'image. L'appellation rayure englobe tous les déLauts du type rayure causée par un élément extérieur à l'image
par exemple et ayant dégradé ou altéré ladite image.
La fgure 1 représente un exemple d'environnement matériel permettant de mettre en _uvre le procédé de l'invention. Un utilisateur désirant restaurer une ou plusieurs images d'origine altérées utilise un terminal 1. Le terminal 1 est par exemple un ordinateur personnel ou PC (Personal Computer) comprenant un écran d'affichage 2. Le terminal 1 est interfacé à une souris 4, comprenant au moins un bouton de commande 5. Le système d'exploitation du terminal 1 est par exemple Unix, Windows ou Linux. Tous ces systèmes s d'exploitation permettent de reconnâître des périphériques comme un scanner ou numériseur 8, une imprimante 9, ou tout autre dispositif 10 relié au PC 1 et permettant la capture de données vidéo. L'utilisateur qui désire analyser une image ou une pluralité d'images d'origine numérise par exemple l'image ou la pluralité d'images d'origine en utilisant le scanner 8, notamment si le support de ladite image d'origine est un support argentique film ou papier photographique. L' image transformée est ainsi codée en données numériques. L'image d'origine numérisée 3 peut étre visualisée sur l'écran 2 du terminal 1. L'image d'origine numérisée 3 est soit une image unique, soit un sous- ensemble d'une séquence d'images, soit un jeu d'images indépendantes. L'image d'origine numérisée 3 est ensuite enregistrée ou 1S stockée dans une mémoire du terrninal 1. L'utilisateur, utilise un résultat de détection fourni par un logiciel dérivant d'un algorithme de détection approprié et permettant de détecter des éventuelles rayures dans l'image numérisée 3 qui
représente l'image d'origine altérée.
La présente invention repose sur l'hypothèse simple que le signal initial dans la zone à restaurer de l'image 3 n'est pas complètement perdu, mais seulement modifié ou bruité. Autrement dit, il subsiste une information résiduelle d'image. C'est-à-dire que dans le cas o la rayure a été créée par exemple du côté de l'émulsion d'un support argentique, ladite rayure n'a pas éliminé l'intégralité de l'émulsion ou du grain de l'image argentique initiale. La rayure peut étre aussi 2s créée en dorsale (face opposée à l'émulsion); dans ce cas, l'intégralité de l'émulsion, donc de l'information, est conservée. De plus, aucune hypothèse n'est faite sur la signature ou le profil caractéristique de la rayure. Le procédé de l'invention permet de prendre en compte pour les éliminer, par exemple des rayures claires ou sombres, discontinues ou non, en position horizontale 31, verticales 32 ou inclinées 33 dans l'irnage 3. La position verticale correspond à la position de l'axe principal 6 de l'image 3; donc toutes les rayures parallèles à l'axe 6 sont dites verticales. Les rayures éliminées par le procédé de l'invention sont rectilignes ou pratiquement rectilignes. La rayure dite pratiquement rectiligne est la rayure dont l'écart maximal de position d' au moins un des pixels de la ligne représentant l'axe réel de ladite s rayure par rapport à son axe théorique 12, est inférieur ou égal à 3 pixels. L'axe réel de la rayure est la ligne partageant la rayore en deux parties égales dans le sens de sa longueur. L'axe théorique 12 est la droite qui approche au plus près l'axe réel de la rayure. La longueur des rayures doit être suffsante pour permettre une application correcte du procédé de restauration. Généralement la valeur minimale de longueur de rayure représente approximativement 15 % de la dimension minimale du cadre de l'image d'origine altérée 3. Le procédé de l'invention permet de prendre en compte, pour les éliminer, des rayures dont la largeur n'excède généralement pas 15 pixels. Autrement dit, le procédé de l'invention permet d'éliminer des rayures dont la largeur est inférieure ou égale à 15 pixels. Avant de mettre en oeuvre le procédé de restauration de l'invention, l'utilisateur utilise avantageusement le résultat de détection fourni automatiquement par un algorithme de détection adéquat. L'algorithme de détection permet l'affichage d'une image binaire comme représentée par exemple à la figure 2. Image binaire signifie que chaque rayure appara^t clairement sous la forme de masques 21, 22 qui représentent la zone à restaurer. Ces masques 21, 22 déhinissent la position et la forme (largeur, hauteur) de la rayure correspondante dans l'image 3. Dans un mode de réalisation préférentiel, les masques 21, 22 sont de forme rectangulaire. Mais l'utilisateur, au lieu d'utiliser un algorithme de détection automatique, peut aussi lui-méme traiter manuellement l'image dégradée s en l'affichant sur l'écran 2; puis en définissant maouellement les masques 21, 22 des rayures, en utilisant par exemple un bouton S de la souris 4. Autrement dit, la détection est faite par l'utilisateur, qui délimite manuellement les zones à restaurer correspondant à chacune des rayores ayant altéré l'image d'origine. Pour que la mise en _uvre du procédé de l'invention soit optimale, la largeur du masque 21, 22 est approximativement définie avec une largeur très légèrement supérieure à la largeur de la rayure masquée, de manière à juste recouvrir ladite rayure. La restauration ou la mise en _uvre du procédé de l'invention est opérée à partir de ces masques 21, 22. Les informations concernant la forme du masque, notamment sa largeur et sa hauteur, sont enregiskées automatiquement dans un fichier. Ce fichier est stocké dans une mémoire du terminal 1. De plus le procédé de s l' invention s'applique à chaque plan formant l'image numérique. Si une image est codée uniquement en niveaux de gris, le procédé de l'invention ne s'applique qu'à un seul canal. Mais dans le cas par exemple d'une image couleur codée sur trois canaux spécifiques correspondant aux couleurs rouge, vert, bleu, le procédé de l' invention s'applique aux images correspondant respectivement au rouge, au vert o et au bleu. En effet, l'abrasion ou l'altération de l'émulsion ou du support par exemple d'un film argentique peut présenter différents degrés de dégradation. Une seule couche par exemple peut étre dégradée dans une image du film, par exemple le bleu. La restauration est opérée pour le bleu et n'est pas opérée pour les autres canaux (vert, rouge). Mais plusieurs couches de l'émulsion peuvent avoir été altérées ou dégradées dans d'autres images du film; le procédé de l'invention s'applique en utilisant l'information résiduelle de chacune desdites images. Le
procédé de l'invention n'utilise que l'information présente dans une seule image.
Ce procédé est purement spatial, car il ne fait pas appel à des informations temporelles issues par exemple des images précédentes ou suivantes de l'image à restaurer. L'hypothèse de base consistant à supposer que le signal initial existe toujours permet de conserver le grain original lors de la restauration de l'image et de ne pas avoir à opérer un traitement d'image numérique ultérieur d'ajout de grain
par exemple.
Suivant les figures 1, 2, 3, le procédé de l'invention permet 2s d'éliminer automatiquement les rayures présentes dans une image numérique 3 stockée dans la mémoire du terminal 1. Selon un mode de réalisation préférentiel de l' invention, le logiciel de détection utilisé en amont du procédé de restauration de l'invention fournit par exemple une image numérisée 30 pouvant étre affchée sur l'écran 2. L'image numérisée 30 correspond à l'affichage de la représentation
graphique du résultat de détection de l'image d'origine altérée numérisée 3.
L' im age 3 0 du résultat de détection est caractéris ée par une couleur ou un niveau de gris du fond 20 de ladite image 30, et par une ou plusieurs autres couleurs ou niveaux de gris des masques de détection 21, 22. Ces masques de détection sont fournis par un logiciel de détection approprié et correspondant aux zones à restaurer de l'image d'origine 3 altérée par des rayures. Le procédé de restauration de l'invention peut également être mis en _uvre en intégrant en entrée une liste de rayures
caractérisées par les coordonnées spatiales des zones à restaurer dans l'image 30.
Ces coordonnées sont ensuite stockées dans une mémoire du terminal 1. Le calcul des coordonnées d'une rayure de direction non verticale, c'est-àdire non parallèle lo ou confondue avec l'axe 6, est ramené par un système de changement de coordonnées intégré à l'algorithme du procédé de l'invention à un calcul de coordonnées de rayure verticale. Selon la figure 2, la zone à restaurer correspondant par exemple au masque 21 est caractérisée par ses coordonnées horizontales (xl, x2); ceci par rapport à la direction verticale perpendiculaire représentée par l'axe 6 de l'image 3, et par rapport à une origine xO. L'origine xO est généralement un des pixels formant un des coins de l'image 30; par exemple on choisit le pixel situé le plus en bas et le plus à gauche de l'image. La zone à restaurer correspondant par exemple au masque 22 est caractérisée par ses coordonnées horizontales (X3, X4). Les masques de détection 21, 22 sont les représentations graphiques des zones à restaurer. La rayore est également caractérisée par sa longueur, mesurée suivant la direction verticale parallèle à l' axe 6. Selon la figure 2, les rayures détectées altèrent par exemple l'image d'origine 3 sur toute la hauteur de ladite image 3; donc les masques de détection qui représentent graphiquement les zones à restaurer kaversent l'image 30 dans toute sa hauteur, parallèlement à l' axe 6. La largeur de la première rayure est approximativement x2 moins x (x2-x) et la largeur de la seconde rayure est approximativement X4 moins X3 (X4-X3). Les rayures détectées sont traitées et éliminées de façon indépendante, les unes après les autres. Le procédé de restauration est appliqué successivement par exemple au masque 21 correspondant à la première rayure détectée, puis au masque 22 correspondant à la seconde rayure détectée. La restauration automatique des rayures est opérée ligne par ligne dans l'image numérique 30. Le procédé de l'invention permet de calculer et enregistrer, pour chaque ligne de pixels 25 de la rayure détectée, la valeur absolue de la différence des intensités entre les deux pixels 23,24 placés sur ladite ligne de pixels et immédiatement à gauche et à droite de la zone à restaurer, extérieurement s à ladite zone. Les pixels 23,24 sont les pixels extérieurs au masque de détection, les plus proches du masque, et placés de part et d'autre des lignes verticales déterminant la largeur 27 dudit masque. Pour chaque ligne de pisels 25, ce sont les informations de détection fournies en entrée qui permettent de déterminer quels sont les deux pixels 23,24 qui sont extérieurs à la zone à restaurer de l'image et lo qui bornent ladite zone. Le résultat de cette opération, c'est-à-dire les valeurs des écarts en valeur absolue de la différence d'intensité entre les deux pixels 23,24 de chaque ligne 25 de l'image 30, permet de calculer et d'enregistrer pour chaque ligne de pixels 25 du masque 21,22, la largeur 27 et la hauteur 28 d'un voisinage de travail 26 centré sur la ligne 25. La représentation graphique 26 du voisinage de travail sur l'écran 2 est de préférence de forme rectangulaire. L'extension horizontale ou largeur 27 du voisinage 26 correspond à la largeur de la zone à restaurer, déterminée lors de la détection de rayure. Le calcul de l' extension verticale ou hauteur 28 du voisinage 26 est fonction de la similarité ou homogénéité entre les textures présentes de chaque côté de la ra,vure. Si par exemple les textures de l'image d'origine altérée 3 sont différentes de part et
d'autre des zones à restaurer 21,22, l'extension verticale 28 sera plutôt grande.
Inversement, une région par exemple de teinte uniforme de l' image d'origine 3 générera un voisinage 26 de petite extension verticale. Selon un premier mode de réalisation du procédé de l'invention, la hauteur 28 calculée du voisinage de travail 2s 26 est directement proportionnelle à la valeur absolue de la différence d'intensité entre les deux pixels 23, 24 placés sur la ligne de pixels 25, immédiatement à gauche et à droite de la zone à restaurer et à l'extérieur de ladite zone. Un second mo de de réalis ation du pro cédé de l' invention p ermet de calculer la hauteur 2 8 en excluant les lignes 25 pour lesquelles la valeur absolue de la différence d'intensité entre les deux pixels 23,24 est supérieure ou égale à un seuil d'intensité déterminé; ledit seuil d'intensité étant fonction de l'homogénéité de la texture de l'image d'origine. Cette exclusion a pour effet d'annihiler par exemple des effets dus à un bord d'objet dans l'image; ledit bord d'objet générant une différence d'intensité substantielle. La hauteur du voisinage de travail se situe généralement dans une fenêtre de 5 à 100 lignes de pixels. Le procédé de l'invention permet ensuite de calculer et d'enregistrer pour chaque colonne i de pixels du voisinage de travail 26, la valeur de l'intensité moyenne Ij des intensités respectives Ii des pixels de ladite colonne. L' ensemble de ces valeurs moyennes Ii d'intensités est considéré comme étant représentatif du profil de la rayure traitée au niveau de la ligne courante 25, dans le voisinage de travail 26. Le lo procédé de l'invention permet ensuite de calculer et d'enregistrer par interpolation linéaire perpendiculaire à l'axe théorique de la rayure entre les deux pixels 23, 24 encadrant la zone à restaurer, la valeur locale di de l'intensité du profil estimé de la rayore et caractéristique de ladite rayure, ceci pour chaque pixel de la ligne courante 25 du voisinage de travail 26. di est calculée en fonction des valeurs 1S moyennes des intensités moyennes précédemment calculées. bi est calculée en appliquant la formule suivante: bi = A, ( Ii - In) + A2 ( Ii Io); formule dans laquelle: Io représente la valeur de l'intensité moyenne de la colonne de pixels contenant le pixel 23; Ii représente la valeur de l'intensité moyenne d'une colonne i quelconque de pixels du voisinage de travail; In représente la valeur de l'intensité moyenne de la colonne de pixels ("n" ième colonne) contenant le pixel 24; di représente la correction à apporter à l'intensité Ii du pixel d'abscisse x 2s appartenant à la ligne 25 du voisinage de travail 26. A etA2 sont deux coefficients de pondération qui prennent en compte la position horizontale des pixels sur la ligne analysée 25. Ai et A2 sont obtenus par les formules respectives suivantes: A = (xi- xO) / (xn - xO); A2 = (xn - xi) / (xn - xO); formules dans lesquelles: xO représente la coordonnée horizontale de la colonne de pixels contenant le pixel 23; xn représente la coordonnée horizontale de la colonne de pixels ("n" ième colonne) contenant le pixel 24; s xi représente la coordonnée horizontale d'une colonne i quelconque du voisinage
de travail.
Le résultat de l'interpolation linéaire fournit le prof1 estimé caractéristique de la rayure au niveau de la ligne considérée 25. Le prof1 de la rayore est analysé perpendiculairement à l'axe théorique 12 de ladite rayure. A partir du résultat d'interpolation fourni, le procédé de l'invention permet de calculer et d' enregistrer la valeur lo cale de l' intensité corrigée Ic pour chaque pixel de la ligne de pixels du voisinage de travail, en soustrayant la valeur locale di de l' intens ité du prof1 estimé de la rayore à la valeur Ii dudit pixel dans l' image altérée, de manière à obtenir automatiquement l'image d'origine 3 restaurée, et à ne restituer aucune rayure à l'utilisateur lors de la visualisation de ladite image d'origine restaurée quand ladite image restaurée est affchée sur l'écran 2 par exemple. La valeur corrigée Ic est obtenue en appliquant la formule: Ic = Ii - di La suppression effective de la rayure dans l'image d'origine est donc obtenue en soustrayant pour chaque ligne de pixels, le profl estimé de la rayure aux intensités Ii de l'image d'origine altérée ou dégradée. L'ensemble de la mise en _uvre du procédé de restauration de l'invention permet l'élimination pratiquement en temps réel des rayures de l'image d'origine altérée. La mise en _uvre du procédé de l'invention permet en moyenne, d'éliminer une rayure dans 2s une image en moins d'un dixième de seconde. Dans un mode de réalisation o le procédé de l'invention est appliqué en utilisant par exemple un PC comprenant une unité centrale munie d'un microprocesseur Pentium II de 450 mégahertz, le temps de restauration d'une rayure de 1500 pixels de haut et de 5 à 8 pixels de large dans une image d'origine de par exemple 3 millions de pixels (2000 pixels par 1500 pixels) est inférieur au dixième de seconde. Le procédé de restauration décrit permet de conserver la donnée originale à proximité de la rayure ainsi que le grain
éventuel présent dans l'image traitée.
Quand l'image est restaurée au goût de l'utilisateur, elle peut par exemple étre mémorisée ou stockée dans un fichier numérique du terminal 1. Elle s peut étre également 8tre par exemple imprimée sur un support papier en utilisant
une imprimante 9 connectée au terminal 1.
L'invention a été décrite en référence aux modes de réalisation prétérés, mais il est évident que la présente demande englobe toutes les modifcations ou variantes pouvant 8tre opérées et correspondant à l'objet de o l'invention. En conséquence, les modes de réalisation présentés sont illustratifs et
ne sont pas restrictifs quant à la protection revendiquée.
FUE\nENDICATIONS 1. Procédé automatique de restauration en temps réel d'au moins une image d'origine numérisée (3) altérée par une ou plusieurs rayures rectilignes ou pratiquement rectilignes, à partir de la fourniture des masques de détection (21, -22) ou des coordonnées (Xi, X2, X3, X4) des zones à restaurer de l'image et correspondant aux rayures, le procédé comprenant les étapes suivantes: a) calculer et enregistrer pour chaque ligne de pixels (25) de la zone à restaurer perpendiculaire à l'axe théorique (12) de la rayure, la valeur absolue de la différence d'intensité entre les deux pixels (23, 24) placés sur ladite ligne de pixels et immédiatement à gauche et à droite de la zone à restaurer à l'extérieur de ladite zone; b) calculer et enregistrer pour chaque ligne de pixels de la zone à restaurer, la largeur (27) et la hauteur (28) d'un voisinage de travail (26) qui représente une zone de pixels centrée autour de ladite ligne i5 de pixels (25), ladite largeur (27) étant approximativement celle de la zone à restaurer et ladite hauteur (28) étant fonction des valeurs calculées à l'étape a); c) calculer et enregistrer pour chaque colonne (i) de pixels du voisinage de travail (26) défini à l'étape b) parallèle à l'axe théorique (12) de la rayore la valeur de l'intensité moyenne ( I) des intensités respectives (I: des pixels formant ladite colonne de pixels dans l'image altérée; d) calculer et enregistrer par interpolation linéaire perpendiculaire à l'axe théorique de la rayure, entre les pixels (23,24) placés immédiatement à gauche et à droite de la zone à restaurer définis à l'étape a), la valeur locale de l'intensité du profil estimé (bi) et caractéristique de la rayure pour chaque pixel de la ligne de pixels du voisinage de travail (26); e) calculer et enregistrer la valeur locale de l'intensité corrigée (Ic) pour chaque pixel de la ligne de pixels du voisinage de travail (26), en soustrayant la valeur (6i) obtenue à l'étape d) à la valeur de l'intensité ai) dudit pixel dans l'image altérée, de manière à obtenir
automatiquement l'image d'origine restaurée.
2. Procédé selon la revendication 1 dans lequel la rayure pratiquement rectiligne est la rayure pour laquelle l'écart maximal de position d'au moins un des pixels de la ligne représentant l'axe réel de ladite rayure par rapport à
son axe théorique (12), est inférieur ou égal à 3 pixels.
o 3. Procédé selon l'une quelconque des revendications 1 ou 2
dans lequel la hauteur calculée (28) du voisinage de travail (26) est directement proportionnelle à la valeur absolue de la différence d'intensité calculée à l'étape a)
de la revendication 1.
4. Procédé selon l'une quelconque des revendications 1 ou 2
dans lequel le voisinage de travail (26) comprend uniquement les lignes pour lesquelles la valeur absolue de la différence d'intensité calculée à l'étape a) de la revendication 1 est inférieure à un seuil d'intensité déterminé, ledit seuil étant
fonction de l'homogénéité de la texture de l'image d'origine.
5. Procédé selon l'une quelconque des revendications 3 ou 4
dans lequel la hauteur (28) du voisinage de travail (26) comprend préférentiellement
entre 5 et 100 lignes de pixels de l'image (3).
6. Procédé selon l'une quelconque des revendications
précédentes, dans lequel la rayure rectiligne ou pratiquement rectiligne a une
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
FR0113004A FR2830648B1 (fr) | 2001-10-10 | 2001-10-10 | Procede d'elimination de rayures dans des images numeriques |
EP02356186A EP1302897A1 (fr) | 2001-10-10 | 2002-09-27 | Procédé d'élimination de rayures dans des images numériques |
JP2002293797A JP2003143401A (ja) | 2001-10-10 | 2002-10-07 | オリジナル画像の自動的なリアルタイムの修復方法 |
US10/266,184 US7020346B2 (en) | 2001-10-10 | 2002-10-07 | Method for the removal of scratches from digital images |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
FR0113004A FR2830648B1 (fr) | 2001-10-10 | 2001-10-10 | Procede d'elimination de rayures dans des images numeriques |
Publications (2)
Publication Number | Publication Date |
---|---|
FR2830648A1 true FR2830648A1 (fr) | 2003-04-11 |
FR2830648B1 FR2830648B1 (fr) | 2004-01-16 |
Family
ID=8868101
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
FR0113004A Expired - Fee Related FR2830648B1 (fr) | 2001-10-10 | 2001-10-10 | Procede d'elimination de rayures dans des images numeriques |
Country Status (4)
Country | Link |
---|---|
US (1) | US7020346B2 (fr) |
EP (1) | EP1302897A1 (fr) |
JP (1) | JP2003143401A (fr) |
FR (1) | FR2830648B1 (fr) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7130472B2 (en) * | 2002-01-21 | 2006-10-31 | Canon Kabushiki Kaisha | Image distribution apparatus, communication terminal apparatus, and control method thereof |
US7324704B2 (en) * | 2003-09-11 | 2008-01-29 | Primax Electronics Ltd. | Method of repairing scratches in digital images |
DE102004005299B4 (de) * | 2004-01-29 | 2006-09-07 | Deutsches Zentrum für Luft- und Raumfahrt e.V. | Verfahren und Vorrichtung zur Erkennung von Fehlern in Filmvorlagen |
US7634151B2 (en) | 2005-06-23 | 2009-12-15 | Hewlett-Packard Development Company, L.P. | Imaging systems, articles of manufacture, and imaging methods |
WO2007029235A2 (fr) * | 2005-09-05 | 2007-03-15 | Algosoft Limited | Film numerique automatique et restauration video |
US8023766B1 (en) | 2007-04-30 | 2011-09-20 | Hewlett-Packard Development Company, L.P. | Method and system of processing an image containing undesirable pixels |
US8078002B2 (en) * | 2008-05-21 | 2011-12-13 | Microsoft Corporation | Matte-based video restoration |
GB2479414B (en) * | 2010-04-09 | 2015-11-11 | Snell Ltd | Repairing scratch impairments to an image |
KR101665977B1 (ko) * | 2014-09-23 | 2016-10-24 | 주식회사 신도리코 | 이미지 보정 장치 및 방법 |
CN110189699B (zh) * | 2019-05-10 | 2020-11-10 | 深圳市华星光电半导体显示技术有限公司 | 智能驱动画面的方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5097521A (en) * | 1989-12-21 | 1992-03-17 | Bts Broadcast Television Systems Gmbh | Method of concealing scratch errors in a video signal derived from a film scanner |
US5179419A (en) * | 1991-11-22 | 1993-01-12 | At&T Bell Laboratories | Methods of detecting, classifying and quantifying defects in optical fiber end faces |
GB2317296A (en) * | 1996-09-11 | 1998-03-18 | Philips Electronics Nv | Film scratch detector |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
SE469411B (sv) * | 1992-04-13 | 1993-06-28 | Dv Sweden Ab | Saett att detektera och avlaegsna fel oeverstigande en specifik kontrast i digitala videosignaler |
US5509086A (en) * | 1993-12-23 | 1996-04-16 | International Business Machines Corporation | Automatic cross color elimination |
DE4432787A1 (de) * | 1994-09-15 | 1996-03-21 | Philips Patentverwaltung | Verfahren und Schaltung zum Erkennen und Verdecken von Fehlern in einem Videosignal |
DE19636865C1 (de) * | 1996-09-11 | 1998-01-02 | Philips Patentverwaltung | Erkennung von schräglaufenden Kratzern in Videosignalen |
-
2001
- 2001-10-10 FR FR0113004A patent/FR2830648B1/fr not_active Expired - Fee Related
-
2002
- 2002-09-27 EP EP02356186A patent/EP1302897A1/fr not_active Withdrawn
- 2002-10-07 US US10/266,184 patent/US7020346B2/en not_active Expired - Fee Related
- 2002-10-07 JP JP2002293797A patent/JP2003143401A/ja active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5097521A (en) * | 1989-12-21 | 1992-03-17 | Bts Broadcast Television Systems Gmbh | Method of concealing scratch errors in a video signal derived from a film scanner |
US5179419A (en) * | 1991-11-22 | 1993-01-12 | At&T Bell Laboratories | Methods of detecting, classifying and quantifying defects in optical fiber end faces |
GB2317296A (en) * | 1996-09-11 | 1998-03-18 | Philips Electronics Nv | Film scratch detector |
Also Published As
Publication number | Publication date |
---|---|
US7020346B2 (en) | 2006-03-28 |
JP2003143401A (ja) | 2003-05-16 |
EP1302897A1 (fr) | 2003-04-16 |
US20030068096A1 (en) | 2003-04-10 |
FR2830648B1 (fr) | 2004-01-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10825157B2 (en) | Glare reduction in captured images | |
Lukac et al. | A taxonomy of color image filtering and enhancement solutions | |
JP4489120B2 (ja) | デジタル映像のアーティファクト削減 | |
Toth et al. | Illumination-invariant change detection | |
EP1410327B1 (fr) | Procede et systeme pour produire des informations formatees liees aux defauts d'au moins un appareil d'une chaine, notamment au flou | |
US7305127B2 (en) | Detection and manipulation of shadows in an image or series of images | |
TWI430202B (zh) | 使用全色像素之銳化方法 | |
WO2005098750A1 (fr) | Procede d'extraction de donnees brutes d'une image resultant d'une prise de vue | |
JP2009543214A (ja) | 画像特徴を意識した画像欠陥除去 | |
FR2830648A1 (fr) | Procede d'elimination de rayures dans des images numeriques | |
Bagiwa et al. | Chroma key background detection for digital video using statistical correlation of blurring artifact | |
Joyeux et al. | Tracking and map reconstruction of line scratches in degraded motion pictures | |
KR101693247B1 (ko) | 경계 특징을 이용한 모자이크 블록 추출 방법 | |
Mosleh et al. | Bandlet-based sparsity regularization in video inpainting | |
FR2887389A1 (fr) | Appareil et procede d'affichage d'images | |
Vidhya et al. | Novel video inpainting using patch sparsity | |
Kao et al. | Scratch line removal on aged films | |
de Torres et al. | An efficient approach to automatic generation of time-lapse video sequences | |
Rana et al. | Edge preservation gradient based smoothing to multiplicative the image noise | |
Kim et al. | Automatic film line scratch removal system based on spatial information | |
Bruni et al. | Removal of color scratches from old motion picture films exploiting human perception | |
Julliand | Automatic noise-based detection of splicing in digital images | |
Huo et al. | A novel non-linear method of automatic video scratch removal | |
WO2023223884A1 (fr) | Programme informatique et dispositif d'inspection | |
Vidhya et al. | Novel object removal in video using patch sparsity |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TP | Transmission of property |
Owner name: INTELLECTUAL VENTURES FUND 83 LLC, US Effective date: 20130919 |
|
PLFP | Fee payment |
Year of fee payment: 16 |
|
ST | Notification of lapse |
Effective date: 20180629 |