FR2830648A1 - Procede d'elimination de rayures dans des images numeriques - Google Patents

Procede d'elimination de rayures dans des images numeriques Download PDF

Info

Publication number
FR2830648A1
FR2830648A1 FR0113004A FR0113004A FR2830648A1 FR 2830648 A1 FR2830648 A1 FR 2830648A1 FR 0113004 A FR0113004 A FR 0113004A FR 0113004 A FR0113004 A FR 0113004A FR 2830648 A1 FR2830648 A1 FR 2830648A1
Authority
FR
France
Prior art keywords
image
pixels
images
stripe
restoration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
FR0113004A
Other languages
English (en)
Other versions
FR2830648B1 (fr
Inventor
Christophe Edmond Mauric Papin
Jean Fabien Dupont
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intellectual Ventures Fund 83 LLC
Original Assignee
Eastman Kodak Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Eastman Kodak Co filed Critical Eastman Kodak Co
Priority to FR0113004A priority Critical patent/FR2830648B1/fr
Priority to EP02356186A priority patent/EP1302897A1/fr
Priority to JP2002293797A priority patent/JP2003143401A/ja
Priority to US10/266,184 priority patent/US7020346B2/en
Publication of FR2830648A1 publication Critical patent/FR2830648A1/fr
Application granted granted Critical
Publication of FR2830648B1 publication Critical patent/FR2830648B1/fr
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/253Picture signal generating by scanning motion picture films or slide opaques, e.g. for telecine
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/77Retouching; Inpainting; Scratch removal
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Picture Signal Circuits (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

La présente invention se situe dans le domaine technologique de l'imagerie et concerne plus spécifiquement l'analyse d'images.La présente invention est mise en oeuvre dans un environnement matériel utilisant un terminal (1) comprenant un écran d'affichage (2) et interfacé à une souris (4) munie d'un bouton de cornmande (5). Le terminal (1) est relié à des périphériques de type numériseur (8) imprimante (9) ou tout autre dispositif (10) permettant de capturer des données vidéo.La présente invention a pour objet un procédé qui permet de restaurer automatiquement une image ou une pluralité d'images d'origine (3) en éliminant des rayures rectilignes ou pratiquement rectilignes (31), (32), (33). Le procédé de l'invention permet d'éliminer les rayures (31), (32), (33) dans des images numériques fixes ou animées (3), en utilisant l'information résiduelle d'image dans les zones altérées desdites images.Le procédé de la présente invention est plus particulièrement utilisé dans le domaine de la restauration de films et de documents télévisés, ainsi que dans la retouche ou restauration d'images photographiques.

Description

sont des segments de droites eVou des arcs de cercles.
PROCEDE D'ELIMINATION DE RAYURES DANS DES IMAGES
NI}MERIQUES
La présente invention se situe dans le domaine technologique de l'imagerie et concerne plus spécifiquement l'analyse d'images La présente invention a pour objet un procédé qui permet de restaurer automatiquement une image ou une pluralité d'images en éliminant des rayures rectilignes ou pratiquement rectilignes qui se trouvent sur ces images Les rayures sont des
défauts ayant altéré l'image d'origine.
Dans le domaine de l'imagerie, la rénovation ou restauration des images enregistrées sur des supports traditionnels peut étre opérée en faisant un traitement d'une version préalablement numérisée de ces images. Les supports traditionnels de ces images sont constitués généralement par du film, du papier photographique ou de la bande magnétique. La restauration de ces images permet de recouvrer la représentation de l' image d'origine, qui a pu étre dogradée par exemple, du fait de son vieillissement ou des détériorations diverses engendrées au cours des traitements ou manipulations des supports photographiques, films ou magnétiques. Les images à restaurer peuvent étre fixes ou animées. Les images fixes sont généralement des photographies représentant par exemple des personnes, des paysages ou des photographies de gravures (dessins, tableaux, etc.). Les images animées sont généralement des séquences de film, par exemple des films cinématographiques, ou encore des séquences vidéo, par exemple issues de documents télévisés ou de vidéos amateurs. Les procédés de restauration numérique connus de l'homme du métier consistent généralement à numériser l' image originellement enregistrée sur un support film, argentique ou magnétique, puis à traiter l' image d'origine numérisée pour la restaurer. Ces procédés consistent à transformer l' image d'origine numérisée en fonction de
consignes données par des algorithmes de logiciels de traitement d'image.
L'image numérique ainsi transformée ou restaurée peut étre mémorisée et utilisée ultérieurement sous une forme numérique, ou par exemple éditée sur un support
type film ou papier photographique.
Plusieurs techniques de restauration ou de suppression de rayures dans des images numériques sont connues de l'homme du métier et ont été divulguées. Les méthodes pour éliminer les rayures sont généralement utilisées pour restaurer des films cinématographiques. On peut citer comme exemples les divulgations des articles suivants: "Detection and removal of line scratches in motion picture films" (auteurs: B. Besserer, S. Boukir, O. Buisson, L. Joyeux), pages 548 à 553, publié en juin 1999, CVPR'99, IEEE International Conference
On Computer Vision and Pattern Recognition, Fort Collins, Colorado.
"Computerized motion picture restoration system" (auteurs: M.N. Chong, S. Kalra, S. Krishnan, A. Laud), pages 153 à 159, publié en juin 1998, Broadcast Asia International Conference, Singapour. Ou bien encore "Restauration automatique de flms anciens" (auteur: E. DecencièreFerrandière), document de thèse publié en novembre 1997, Ecole Normale Supérieure des Mines de Paris. Ces méthodes permettent d'éliminer des rayures dans une image numérisée; mais elles ne permettent pas de restaurer parfaitement les images. De plus, elles sont souvent assez lentes quand elles sont appliquées à des films comprenant des images à haute résolution; la résolution désignant la densité de points ou de lignes (exprimée par
exemple en pixels par centimètre).
L'article intitulé "Film line scratch removal using Kalman filtering and Bayesian restoration" (auteurs: B. Besserer, S. Boukir, L. Joyeux), publié en décembre 2000, WACV'2000, 1EEE Workshop on the Application of Computer Vision, Palm Springs, Californie, décrit un procédé qui permet d'éliminer automatiquement des rayures verticales dans des séquences d'images numériques (vidéo, film). Deux traitements sont opérés successivement: la restauration est d'abord effectuée à basse résolution par utilisation d'interpolation cubique polynomiale, les paramètres d'interpolation étant estimés par la méthode des moindres carrés. La restauration est ensuite complétée par une opération d'analyse à haute résolution exploitant des modèles statistiques basés sur les champs de Markov et associés à un critère de décision du type Maximum A Posteriori (MAP). Ce procédé spatio-temporel est relativement complexe et exploite de nombreux paramètres. Il permet de restaurer des rayures dans un temps moyen de 2 secondes
par rayure, envlron.
Les procédés utilisés dans les méthodes citées précédemment ntutilisent généralement pas, pour restaurer l'image, l'information résiduelle
s susceptible d'étre présente dans chacune des zones altérées de ladite image.
L' information rési duelle d' image corresp ond à la p artie du signal original (grain inclus) qui n'a pas été perturbé par les dégradations dues aux rayures. Les procédés
utilisés sont donc basés sur l'hypothèse que les données d'image sont manquantes.
Les données numériques manquantes correspondent aux intensités des pixels de 0 l'image placés sur la rayure. Donc, ces procédés utilisent des modèles mathématiques (probabilistes par exemple) plus ou moins complexes; ils sont souvent basés sur une analyse spatio-temporelle (utilisation par exemple des données de l'image précédente et de l'image suivante de l'image altérée par des rayures), nécessitent la mise en oeuvre de moyens spécifiques onéreux (par exemple stations Silicon Graphics ou Sun). Le fait de ne pas utiliser le signal résiduel présent dans les zones altérées de l'image, rend le processus de restauration aléatoire et plus ou moins performant selon la texture (homogénéité des intensités des niveaux de gris ou des couleurs) de l'image altérée à l' emplacement de la rayure sur ladite image. L'inconvénient de tels procédés n'utilis ant p as ou n' exploitant pas l' information résiduelle dans la zone de la rayure est qu'ils n'intègrent pas par exemple l'altération réelle de la couche d'émulsion contenant l'image d'origine. Ceci rend ces procédés de restauration peu performants et assez longs; il peut par exemple étre nécessaire d'ajouter du grain après avoir restauré la texture de l'image d'origine dans la zone altérée. Une 2s importante extension spatiale des rayures présentes dans une image, ainsi que leur persistance au cours du temps, dans le cas de s équences d' images anim ées, rend l'_il humain particulièrement sensible à ces rayures. En particulier, des rayures générées sur des images success ives à textures d' images non homogènes d'une copie de film passée en projection peuvent quand méme étre détectées par un _il humain, après restauration du film par ces procédés de la technique antérieure. Ces procédés de restauration ne tiennent généralement pas compte de l'infommation résiduelle d'image dans les zones altérces, et de ce fait, ne sont pas assez roDustes. Par conséquent, l'_il humain détectera encore les rayures plus ou moins bien éliminées après restauration. A titre d'exemple, l'expérience prouve que dans une séquence de plusieurs dizaines d'images animées successives projetées en quelques secondes, l'_il humain reste sensible à la
moindre trace de rayure.
La présente invention a pour objet un procédé qui pemmet de supprimer automatiquement des rayures rectilignes ou pratiquement rectilignes lo ayant altéré une image ou une pluralité d'images d'origine. Le procédé de l'invention permet d'éliminer les rayures dans des images numériques fixes ou animées, en utilisant l'infommation résiduelle d'image dans les zones altérées desdites images. Le procédé de l'invention permet qu'un utilisateur dudit procédé
ne puisse percevoir aucune rayure lors de la visualisation de l'image restaurée.
La présente invention conceme un procédé automatique de restauration en temps réel d'au moins une image d'origine numérisée altérée par une ou plusieurs rayures rectilignes ou pratiquement rectilignes, à partir de la foumiture des masques de détection ou des coordonnées des zones à restaurer de l' image et correspondant aux rayures, le procédé comprenant les étapes suivantes: a) calculer et enregistrer pour chaque ligne de pixels de la zone à restaurer p erpendiculaire à l' axe théorique de la rayure, la valeur absolue de la différence d'intensité entre les deux pixels placés sur ladite ligne de pixels et immédiatement à gauche et à droite de la zone à restaurer, à l'extérieur de ladite zone; b) calculer et enregistrer pour chaque ligne de pixels de la zone à restaurer, la largeur et la hauteur d'un voisinage de travail qui représente une zone de pixels centrée autour de ladite ligne de pixels, ladite largeur étant approximativement celle de la zone à restaurer et ladite hauteur étant fonction des valeurs calculées à l'étape a); c) calculer et enregistrer pour chaque colonne de pixels du voisinage de travail défni à l'étape b) parallèle à l'axe théorique de la rayure, la valeur de l'intensité moyenne des intensités respectives des pixels formant ladite colonne de pisels dans l'image altérée; d) calculer et enregistrer par interpolation linéaire perpendiculaire à l' axe théorique de la rayure entre les pixels pl acés immédiatement à gauche et à droite de la zone à restaurer définis à l'étape a), la valeur locale de l'intensité du profil estimé et caractéristique de la rayure pour chaque pixel de la ligne de pixels du voisinage de lo travail; e) calculer et enregistrer la valeur locale de l'intensité corrigée pour chaque pixel de la ligne de pixels du voisinage de travail, en soustrayant la valeur obtenue à l'étape d) à la valeur de l'intensité dudit pixel dans l'image altérée, de manière à obtenir automatiquement l'image d'origine restaurée. Un des avantages majeurs du procédé de l'invention est qu'il utilise l'information résiduelle de l'image altérée, information à l' emplacement de la rayure ayant altéré ladite image. Ceci est la seule contrainte de mise en _uvre du procédé de l'invention; il est nécessaire qu'il y ait un signal correspondant à l'information résiduelle d'image. Autrement dit, le procédé de l'invention tient compte du profil réel de la rayure qui peut être aléatoire, selon l'altération subie par l'image. Le procédé de l'invention permet d'analyser l'intensité du grain présent dans la zone de la rayure. Cette information est importante et rend le procédé de l'invention robuste par rapport aux procédés de la technique antérieure. Un autre avantage du procédé de l'invention est qu'il utilise uniquement l'analyse spatiale et ne fait pas appel à l'analyse temporelle. Ce dernier avantage entrame notamment un temps d'exécution de la restauration d'image relativement réduit (environ une dixième de seconde, voire moins, par rayure) et l'utilisation d'un environnement matériel (hardware) peu coûteux. Le procédé de l'invention permet à un utilisateur, muni d'un terminal comprenant un écran d'affichage, d'éliminer pratiquement en
temps réel les rayures dans l'image restaurée, en mettant en _uvre ledit procédé.
L e pro cédé de l' invention p ermet également de ne restituer aucune rayure
perceptible par l'utilisateur lors de la visualisation de l'image restaurée.
D'autres caractéristiques et avantages apparatront à la lecture de la
description qui suit, faite en référence aux dessins des différentes fgures.
s La figure 1 représente un schéma d'un environnement matériel
(hardware) dans lequel le procédé de l'invention est mis en _uvre.
La figure 2 représente un schéma d'un exemple d'image altérée par
des rayures destinées à être restaurées par le pro cédé de l' invention.
La figure 3 représente un schéma complémentaire à la figure 2,
o permettant d'expliciter la mise en _uvre du procédé de l'invention.
Le procédé de l' invention est utilisé dans diverses opérations de traitement et de restauration d'images. Le procédé de l'invention permet la correction d'images fixes ou animées, numérisées à partir de supports du type p apier photographique, film, b ande magnétique. Le pro cédé de l' invention est 1S utilisé notamment dans le domaine de la restauration de films (films cinématographiques, séquences vidéo) et d'images photographiques. Le procédé de l'invention permet de supprimer automatiquement des rayures rectilignes ou pratiquement rectilignes dans des images numériques fxes ou animées, tout en
conservant et en exploitant l'information résiduelle présente dans l'image altérée.
L'information résiduelle présente dans la zone altérée de l'image, correspond à la partie du signal et du grain original n'ayant pas été dégradé par les perturbations dues aux rayures. Cette information résiduelle émane donc du grain résiduel dans l'image à l'emplacement de la (des) rayures. La structure argentique de l'émulsion d'une image initiale issue par exemple d'un support argentique est caractérisée par 2s son grain. Le grain résiduel correspond à la structure de l'émulsion rayée, par opposition au grain originel avant l'altération de l'image. L'appellation rayure englobe tous les déLauts du type rayure causée par un élément extérieur à l'image
par exemple et ayant dégradé ou altéré ladite image.
La fgure 1 représente un exemple d'environnement matériel permettant de mettre en _uvre le procédé de l'invention. Un utilisateur désirant restaurer une ou plusieurs images d'origine altérées utilise un terminal 1. Le terminal 1 est par exemple un ordinateur personnel ou PC (Personal Computer) comprenant un écran d'affichage 2. Le terminal 1 est interfacé à une souris 4, comprenant au moins un bouton de commande 5. Le système d'exploitation du terminal 1 est par exemple Unix, Windows ou Linux. Tous ces systèmes s d'exploitation permettent de reconnâître des périphériques comme un scanner ou numériseur 8, une imprimante 9, ou tout autre dispositif 10 relié au PC 1 et permettant la capture de données vidéo. L'utilisateur qui désire analyser une image ou une pluralité d'images d'origine numérise par exemple l'image ou la pluralité d'images d'origine en utilisant le scanner 8, notamment si le support de ladite image d'origine est un support argentique film ou papier photographique. L' image transformée est ainsi codée en données numériques. L'image d'origine numérisée 3 peut étre visualisée sur l'écran 2 du terminal 1. L'image d'origine numérisée 3 est soit une image unique, soit un sous- ensemble d'une séquence d'images, soit un jeu d'images indépendantes. L'image d'origine numérisée 3 est ensuite enregistrée ou 1S stockée dans une mémoire du terrninal 1. L'utilisateur, utilise un résultat de détection fourni par un logiciel dérivant d'un algorithme de détection approprié et permettant de détecter des éventuelles rayures dans l'image numérisée 3 qui
représente l'image d'origine altérée.
La présente invention repose sur l'hypothèse simple que le signal initial dans la zone à restaurer de l'image 3 n'est pas complètement perdu, mais seulement modifié ou bruité. Autrement dit, il subsiste une information résiduelle d'image. C'est-à-dire que dans le cas o la rayure a été créée par exemple du côté de l'émulsion d'un support argentique, ladite rayure n'a pas éliminé l'intégralité de l'émulsion ou du grain de l'image argentique initiale. La rayure peut étre aussi 2s créée en dorsale (face opposée à l'émulsion); dans ce cas, l'intégralité de l'émulsion, donc de l'information, est conservée. De plus, aucune hypothèse n'est faite sur la signature ou le profil caractéristique de la rayure. Le procédé de l'invention permet de prendre en compte pour les éliminer, par exemple des rayures claires ou sombres, discontinues ou non, en position horizontale 31, verticales 32 ou inclinées 33 dans l'irnage 3. La position verticale correspond à la position de l'axe principal 6 de l'image 3; donc toutes les rayures parallèles à l'axe 6 sont dites verticales. Les rayures éliminées par le procédé de l'invention sont rectilignes ou pratiquement rectilignes. La rayure dite pratiquement rectiligne est la rayure dont l'écart maximal de position d' au moins un des pixels de la ligne représentant l'axe réel de ladite s rayure par rapport à son axe théorique 12, est inférieur ou égal à 3 pixels. L'axe réel de la rayure est la ligne partageant la rayore en deux parties égales dans le sens de sa longueur. L'axe théorique 12 est la droite qui approche au plus près l'axe réel de la rayure. La longueur des rayures doit être suffsante pour permettre une application correcte du procédé de restauration. Généralement la valeur minimale de longueur de rayure représente approximativement 15 % de la dimension minimale du cadre de l'image d'origine altérée 3. Le procédé de l'invention permet de prendre en compte, pour les éliminer, des rayures dont la largeur n'excède généralement pas 15 pixels. Autrement dit, le procédé de l'invention permet d'éliminer des rayures dont la largeur est inférieure ou égale à 15 pixels. Avant de mettre en oeuvre le procédé de restauration de l'invention, l'utilisateur utilise avantageusement le résultat de détection fourni automatiquement par un algorithme de détection adéquat. L'algorithme de détection permet l'affichage d'une image binaire comme représentée par exemple à la figure 2. Image binaire signifie que chaque rayure appara^t clairement sous la forme de masques 21, 22 qui représentent la zone à restaurer. Ces masques 21, 22 déhinissent la position et la forme (largeur, hauteur) de la rayure correspondante dans l'image 3. Dans un mode de réalisation préférentiel, les masques 21, 22 sont de forme rectangulaire. Mais l'utilisateur, au lieu d'utiliser un algorithme de détection automatique, peut aussi lui-méme traiter manuellement l'image dégradée s en l'affichant sur l'écran 2; puis en définissant maouellement les masques 21, 22 des rayures, en utilisant par exemple un bouton S de la souris 4. Autrement dit, la détection est faite par l'utilisateur, qui délimite manuellement les zones à restaurer correspondant à chacune des rayores ayant altéré l'image d'origine. Pour que la mise en _uvre du procédé de l'invention soit optimale, la largeur du masque 21, 22 est approximativement définie avec une largeur très légèrement supérieure à la largeur de la rayure masquée, de manière à juste recouvrir ladite rayure. La restauration ou la mise en _uvre du procédé de l'invention est opérée à partir de ces masques 21, 22. Les informations concernant la forme du masque, notamment sa largeur et sa hauteur, sont enregiskées automatiquement dans un fichier. Ce fichier est stocké dans une mémoire du terminal 1. De plus le procédé de s l' invention s'applique à chaque plan formant l'image numérique. Si une image est codée uniquement en niveaux de gris, le procédé de l'invention ne s'applique qu'à un seul canal. Mais dans le cas par exemple d'une image couleur codée sur trois canaux spécifiques correspondant aux couleurs rouge, vert, bleu, le procédé de l' invention s'applique aux images correspondant respectivement au rouge, au vert o et au bleu. En effet, l'abrasion ou l'altération de l'émulsion ou du support par exemple d'un film argentique peut présenter différents degrés de dégradation. Une seule couche par exemple peut étre dégradée dans une image du film, par exemple le bleu. La restauration est opérée pour le bleu et n'est pas opérée pour les autres canaux (vert, rouge). Mais plusieurs couches de l'émulsion peuvent avoir été altérées ou dégradées dans d'autres images du film; le procédé de l'invention s'applique en utilisant l'information résiduelle de chacune desdites images. Le
procédé de l'invention n'utilise que l'information présente dans une seule image.
Ce procédé est purement spatial, car il ne fait pas appel à des informations temporelles issues par exemple des images précédentes ou suivantes de l'image à restaurer. L'hypothèse de base consistant à supposer que le signal initial existe toujours permet de conserver le grain original lors de la restauration de l'image et de ne pas avoir à opérer un traitement d'image numérique ultérieur d'ajout de grain
par exemple.
Suivant les figures 1, 2, 3, le procédé de l'invention permet 2s d'éliminer automatiquement les rayures présentes dans une image numérique 3 stockée dans la mémoire du terminal 1. Selon un mode de réalisation préférentiel de l' invention, le logiciel de détection utilisé en amont du procédé de restauration de l'invention fournit par exemple une image numérisée 30 pouvant étre affchée sur l'écran 2. L'image numérisée 30 correspond à l'affichage de la représentation
graphique du résultat de détection de l'image d'origine altérée numérisée 3.
L' im age 3 0 du résultat de détection est caractéris ée par une couleur ou un niveau de gris du fond 20 de ladite image 30, et par une ou plusieurs autres couleurs ou niveaux de gris des masques de détection 21, 22. Ces masques de détection sont fournis par un logiciel de détection approprié et correspondant aux zones à restaurer de l'image d'origine 3 altérée par des rayures. Le procédé de restauration de l'invention peut également être mis en _uvre en intégrant en entrée une liste de rayures
caractérisées par les coordonnées spatiales des zones à restaurer dans l'image 30.
Ces coordonnées sont ensuite stockées dans une mémoire du terminal 1. Le calcul des coordonnées d'une rayure de direction non verticale, c'est-àdire non parallèle lo ou confondue avec l'axe 6, est ramené par un système de changement de coordonnées intégré à l'algorithme du procédé de l'invention à un calcul de coordonnées de rayure verticale. Selon la figure 2, la zone à restaurer correspondant par exemple au masque 21 est caractérisée par ses coordonnées horizontales (xl, x2); ceci par rapport à la direction verticale perpendiculaire représentée par l'axe 6 de l'image 3, et par rapport à une origine xO. L'origine xO est généralement un des pixels formant un des coins de l'image 30; par exemple on choisit le pixel situé le plus en bas et le plus à gauche de l'image. La zone à restaurer correspondant par exemple au masque 22 est caractérisée par ses coordonnées horizontales (X3, X4). Les masques de détection 21, 22 sont les représentations graphiques des zones à restaurer. La rayore est également caractérisée par sa longueur, mesurée suivant la direction verticale parallèle à l' axe 6. Selon la figure 2, les rayures détectées altèrent par exemple l'image d'origine 3 sur toute la hauteur de ladite image 3; donc les masques de détection qui représentent graphiquement les zones à restaurer kaversent l'image 30 dans toute sa hauteur, parallèlement à l' axe 6. La largeur de la première rayure est approximativement x2 moins x (x2-x) et la largeur de la seconde rayure est approximativement X4 moins X3 (X4-X3). Les rayures détectées sont traitées et éliminées de façon indépendante, les unes après les autres. Le procédé de restauration est appliqué successivement par exemple au masque 21 correspondant à la première rayure détectée, puis au masque 22 correspondant à la seconde rayure détectée. La restauration automatique des rayures est opérée ligne par ligne dans l'image numérique 30. Le procédé de l'invention permet de calculer et enregistrer, pour chaque ligne de pixels 25 de la rayure détectée, la valeur absolue de la différence des intensités entre les deux pixels 23,24 placés sur ladite ligne de pixels et immédiatement à gauche et à droite de la zone à restaurer, extérieurement s à ladite zone. Les pixels 23,24 sont les pixels extérieurs au masque de détection, les plus proches du masque, et placés de part et d'autre des lignes verticales déterminant la largeur 27 dudit masque. Pour chaque ligne de pisels 25, ce sont les informations de détection fournies en entrée qui permettent de déterminer quels sont les deux pixels 23,24 qui sont extérieurs à la zone à restaurer de l'image et lo qui bornent ladite zone. Le résultat de cette opération, c'est-à-dire les valeurs des écarts en valeur absolue de la différence d'intensité entre les deux pixels 23,24 de chaque ligne 25 de l'image 30, permet de calculer et d'enregistrer pour chaque ligne de pixels 25 du masque 21,22, la largeur 27 et la hauteur 28 d'un voisinage de travail 26 centré sur la ligne 25. La représentation graphique 26 du voisinage de travail sur l'écran 2 est de préférence de forme rectangulaire. L'extension horizontale ou largeur 27 du voisinage 26 correspond à la largeur de la zone à restaurer, déterminée lors de la détection de rayure. Le calcul de l' extension verticale ou hauteur 28 du voisinage 26 est fonction de la similarité ou homogénéité entre les textures présentes de chaque côté de la ra,vure. Si par exemple les textures de l'image d'origine altérée 3 sont différentes de part et
d'autre des zones à restaurer 21,22, l'extension verticale 28 sera plutôt grande.
Inversement, une région par exemple de teinte uniforme de l' image d'origine 3 générera un voisinage 26 de petite extension verticale. Selon un premier mode de réalisation du procédé de l'invention, la hauteur 28 calculée du voisinage de travail 2s 26 est directement proportionnelle à la valeur absolue de la différence d'intensité entre les deux pixels 23, 24 placés sur la ligne de pixels 25, immédiatement à gauche et à droite de la zone à restaurer et à l'extérieur de ladite zone. Un second mo de de réalis ation du pro cédé de l' invention p ermet de calculer la hauteur 2 8 en excluant les lignes 25 pour lesquelles la valeur absolue de la différence d'intensité entre les deux pixels 23,24 est supérieure ou égale à un seuil d'intensité déterminé; ledit seuil d'intensité étant fonction de l'homogénéité de la texture de l'image d'origine. Cette exclusion a pour effet d'annihiler par exemple des effets dus à un bord d'objet dans l'image; ledit bord d'objet générant une différence d'intensité substantielle. La hauteur du voisinage de travail se situe généralement dans une fenêtre de 5 à 100 lignes de pixels. Le procédé de l'invention permet ensuite de calculer et d'enregistrer pour chaque colonne i de pixels du voisinage de travail 26, la valeur de l'intensité moyenne Ij des intensités respectives Ii des pixels de ladite colonne. L' ensemble de ces valeurs moyennes Ii d'intensités est considéré comme étant représentatif du profil de la rayure traitée au niveau de la ligne courante 25, dans le voisinage de travail 26. Le lo procédé de l'invention permet ensuite de calculer et d'enregistrer par interpolation linéaire perpendiculaire à l'axe théorique de la rayure entre les deux pixels 23, 24 encadrant la zone à restaurer, la valeur locale di de l'intensité du profil estimé de la rayore et caractéristique de ladite rayure, ceci pour chaque pixel de la ligne courante 25 du voisinage de travail 26. di est calculée en fonction des valeurs 1S moyennes des intensités moyennes précédemment calculées. bi est calculée en appliquant la formule suivante: bi = A, ( Ii - In) + A2 ( Ii Io); formule dans laquelle: Io représente la valeur de l'intensité moyenne de la colonne de pixels contenant le pixel 23; Ii représente la valeur de l'intensité moyenne d'une colonne i quelconque de pixels du voisinage de travail; In représente la valeur de l'intensité moyenne de la colonne de pixels ("n" ième colonne) contenant le pixel 24; di représente la correction à apporter à l'intensité Ii du pixel d'abscisse x 2s appartenant à la ligne 25 du voisinage de travail 26. A etA2 sont deux coefficients de pondération qui prennent en compte la position horizontale des pixels sur la ligne analysée 25. Ai et A2 sont obtenus par les formules respectives suivantes: A = (xi- xO) / (xn - xO); A2 = (xn - xi) / (xn - xO); formules dans lesquelles: xO représente la coordonnée horizontale de la colonne de pixels contenant le pixel 23; xn représente la coordonnée horizontale de la colonne de pixels ("n" ième colonne) contenant le pixel 24; s xi représente la coordonnée horizontale d'une colonne i quelconque du voisinage
de travail.
Le résultat de l'interpolation linéaire fournit le prof1 estimé caractéristique de la rayure au niveau de la ligne considérée 25. Le prof1 de la rayore est analysé perpendiculairement à l'axe théorique 12 de ladite rayure. A partir du résultat d'interpolation fourni, le procédé de l'invention permet de calculer et d' enregistrer la valeur lo cale de l' intensité corrigée Ic pour chaque pixel de la ligne de pixels du voisinage de travail, en soustrayant la valeur locale di de l' intens ité du prof1 estimé de la rayore à la valeur Ii dudit pixel dans l' image altérée, de manière à obtenir automatiquement l'image d'origine 3 restaurée, et à ne restituer aucune rayure à l'utilisateur lors de la visualisation de ladite image d'origine restaurée quand ladite image restaurée est affchée sur l'écran 2 par exemple. La valeur corrigée Ic est obtenue en appliquant la formule: Ic = Ii - di La suppression effective de la rayure dans l'image d'origine est donc obtenue en soustrayant pour chaque ligne de pixels, le profl estimé de la rayure aux intensités Ii de l'image d'origine altérée ou dégradée. L'ensemble de la mise en _uvre du procédé de restauration de l'invention permet l'élimination pratiquement en temps réel des rayures de l'image d'origine altérée. La mise en _uvre du procédé de l'invention permet en moyenne, d'éliminer une rayure dans 2s une image en moins d'un dixième de seconde. Dans un mode de réalisation o le procédé de l'invention est appliqué en utilisant par exemple un PC comprenant une unité centrale munie d'un microprocesseur Pentium II de 450 mégahertz, le temps de restauration d'une rayure de 1500 pixels de haut et de 5 à 8 pixels de large dans une image d'origine de par exemple 3 millions de pixels (2000 pixels par 1500 pixels) est inférieur au dixième de seconde. Le procédé de restauration décrit permet de conserver la donnée originale à proximité de la rayure ainsi que le grain
éventuel présent dans l'image traitée.
Quand l'image est restaurée au goût de l'utilisateur, elle peut par exemple étre mémorisée ou stockée dans un fichier numérique du terminal 1. Elle s peut étre également 8tre par exemple imprimée sur un support papier en utilisant
une imprimante 9 connectée au terminal 1.
L'invention a été décrite en référence aux modes de réalisation prétérés, mais il est évident que la présente demande englobe toutes les modifcations ou variantes pouvant 8tre opérées et correspondant à l'objet de o l'invention. En conséquence, les modes de réalisation présentés sont illustratifs et
ne sont pas restrictifs quant à la protection revendiquée.
FUE\nENDICATIONS 1. Procédé automatique de restauration en temps réel d'au moins une image d'origine numérisée (3) altérée par une ou plusieurs rayures rectilignes ou pratiquement rectilignes, à partir de la fourniture des masques de détection (21, -22) ou des coordonnées (Xi, X2, X3, X4) des zones à restaurer de l'image et correspondant aux rayures, le procédé comprenant les étapes suivantes: a) calculer et enregistrer pour chaque ligne de pixels (25) de la zone à restaurer perpendiculaire à l'axe théorique (12) de la rayure, la valeur absolue de la différence d'intensité entre les deux pixels (23, 24) placés sur ladite ligne de pixels et immédiatement à gauche et à droite de la zone à restaurer à l'extérieur de ladite zone; b) calculer et enregistrer pour chaque ligne de pixels de la zone à restaurer, la largeur (27) et la hauteur (28) d'un voisinage de travail (26) qui représente une zone de pixels centrée autour de ladite ligne i5 de pixels (25), ladite largeur (27) étant approximativement celle de la zone à restaurer et ladite hauteur (28) étant fonction des valeurs calculées à l'étape a); c) calculer et enregistrer pour chaque colonne (i) de pixels du voisinage de travail (26) défini à l'étape b) parallèle à l'axe théorique (12) de la rayore la valeur de l'intensité moyenne ( I) des intensités respectives (I: des pixels formant ladite colonne de pixels dans l'image altérée; d) calculer et enregistrer par interpolation linéaire perpendiculaire à l'axe théorique de la rayure, entre les pixels (23,24) placés immédiatement à gauche et à droite de la zone à restaurer définis à l'étape a), la valeur locale de l'intensité du profil estimé (bi) et caractéristique de la rayure pour chaque pixel de la ligne de pixels du voisinage de travail (26); e) calculer et enregistrer la valeur locale de l'intensité corrigée (Ic) pour chaque pixel de la ligne de pixels du voisinage de travail (26), en soustrayant la valeur (6i) obtenue à l'étape d) à la valeur de l'intensité ai) dudit pixel dans l'image altérée, de manière à obtenir
automatiquement l'image d'origine restaurée.
2. Procédé selon la revendication 1 dans lequel la rayure pratiquement rectiligne est la rayure pour laquelle l'écart maximal de position d'au moins un des pixels de la ligne représentant l'axe réel de ladite rayure par rapport à
son axe théorique (12), est inférieur ou égal à 3 pixels.
o 3. Procédé selon l'une quelconque des revendications 1 ou 2
dans lequel la hauteur calculée (28) du voisinage de travail (26) est directement proportionnelle à la valeur absolue de la différence d'intensité calculée à l'étape a)
de la revendication 1.
4. Procédé selon l'une quelconque des revendications 1 ou 2
dans lequel le voisinage de travail (26) comprend uniquement les lignes pour lesquelles la valeur absolue de la différence d'intensité calculée à l'étape a) de la revendication 1 est inférieure à un seuil d'intensité déterminé, ledit seuil étant
fonction de l'homogénéité de la texture de l'image d'origine.
5. Procédé selon l'une quelconque des revendications 3 ou 4
dans lequel la hauteur (28) du voisinage de travail (26) comprend préférentiellement
entre 5 et 100 lignes de pixels de l'image (3).
6. Procédé selon l'une quelconque des revendications
précédentes, dans lequel la rayure rectiligne ou pratiquement rectiligne a une
FR0113004A 2001-10-10 2001-10-10 Procede d'elimination de rayures dans des images numeriques Expired - Fee Related FR2830648B1 (fr)

Priority Applications (4)

Application Number Priority Date Filing Date Title
FR0113004A FR2830648B1 (fr) 2001-10-10 2001-10-10 Procede d'elimination de rayures dans des images numeriques
EP02356186A EP1302897A1 (fr) 2001-10-10 2002-09-27 Procédé d'élimination de rayures dans des images numériques
JP2002293797A JP2003143401A (ja) 2001-10-10 2002-10-07 オリジナル画像の自動的なリアルタイムの修復方法
US10/266,184 US7020346B2 (en) 2001-10-10 2002-10-07 Method for the removal of scratches from digital images

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
FR0113004A FR2830648B1 (fr) 2001-10-10 2001-10-10 Procede d'elimination de rayures dans des images numeriques

Publications (2)

Publication Number Publication Date
FR2830648A1 true FR2830648A1 (fr) 2003-04-11
FR2830648B1 FR2830648B1 (fr) 2004-01-16

Family

ID=8868101

Family Applications (1)

Application Number Title Priority Date Filing Date
FR0113004A Expired - Fee Related FR2830648B1 (fr) 2001-10-10 2001-10-10 Procede d'elimination de rayures dans des images numeriques

Country Status (4)

Country Link
US (1) US7020346B2 (fr)
EP (1) EP1302897A1 (fr)
JP (1) JP2003143401A (fr)
FR (1) FR2830648B1 (fr)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7130472B2 (en) * 2002-01-21 2006-10-31 Canon Kabushiki Kaisha Image distribution apparatus, communication terminal apparatus, and control method thereof
US7324704B2 (en) * 2003-09-11 2008-01-29 Primax Electronics Ltd. Method of repairing scratches in digital images
DE102004005299B4 (de) * 2004-01-29 2006-09-07 Deutsches Zentrum für Luft- und Raumfahrt e.V. Verfahren und Vorrichtung zur Erkennung von Fehlern in Filmvorlagen
US7634151B2 (en) 2005-06-23 2009-12-15 Hewlett-Packard Development Company, L.P. Imaging systems, articles of manufacture, and imaging methods
WO2007029235A2 (fr) * 2005-09-05 2007-03-15 Algosoft Limited Film numerique automatique et restauration video
US8023766B1 (en) 2007-04-30 2011-09-20 Hewlett-Packard Development Company, L.P. Method and system of processing an image containing undesirable pixels
US8078002B2 (en) * 2008-05-21 2011-12-13 Microsoft Corporation Matte-based video restoration
GB2479414B (en) * 2010-04-09 2015-11-11 Snell Ltd Repairing scratch impairments to an image
KR101665977B1 (ko) * 2014-09-23 2016-10-24 주식회사 신도리코 이미지 보정 장치 및 방법
CN110189699B (zh) * 2019-05-10 2020-11-10 深圳市华星光电半导体显示技术有限公司 智能驱动画面的方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5097521A (en) * 1989-12-21 1992-03-17 Bts Broadcast Television Systems Gmbh Method of concealing scratch errors in a video signal derived from a film scanner
US5179419A (en) * 1991-11-22 1993-01-12 At&T Bell Laboratories Methods of detecting, classifying and quantifying defects in optical fiber end faces
GB2317296A (en) * 1996-09-11 1998-03-18 Philips Electronics Nv Film scratch detector

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE469411B (sv) * 1992-04-13 1993-06-28 Dv Sweden Ab Saett att detektera och avlaegsna fel oeverstigande en specifik kontrast i digitala videosignaler
US5509086A (en) * 1993-12-23 1996-04-16 International Business Machines Corporation Automatic cross color elimination
DE4432787A1 (de) * 1994-09-15 1996-03-21 Philips Patentverwaltung Verfahren und Schaltung zum Erkennen und Verdecken von Fehlern in einem Videosignal
DE19636865C1 (de) * 1996-09-11 1998-01-02 Philips Patentverwaltung Erkennung von schräglaufenden Kratzern in Videosignalen

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5097521A (en) * 1989-12-21 1992-03-17 Bts Broadcast Television Systems Gmbh Method of concealing scratch errors in a video signal derived from a film scanner
US5179419A (en) * 1991-11-22 1993-01-12 At&T Bell Laboratories Methods of detecting, classifying and quantifying defects in optical fiber end faces
GB2317296A (en) * 1996-09-11 1998-03-18 Philips Electronics Nv Film scratch detector

Also Published As

Publication number Publication date
US7020346B2 (en) 2006-03-28
JP2003143401A (ja) 2003-05-16
EP1302897A1 (fr) 2003-04-16
US20030068096A1 (en) 2003-04-10
FR2830648B1 (fr) 2004-01-16

Similar Documents

Publication Publication Date Title
US10825157B2 (en) Glare reduction in captured images
Lukac et al. A taxonomy of color image filtering and enhancement solutions
JP4489120B2 (ja) デジタル映像のアーティファクト削減
Toth et al. Illumination-invariant change detection
EP1410327B1 (fr) Procede et systeme pour produire des informations formatees liees aux defauts d'au moins un appareil d'une chaine, notamment au flou
US7305127B2 (en) Detection and manipulation of shadows in an image or series of images
TWI430202B (zh) 使用全色像素之銳化方法
WO2005098750A1 (fr) Procede d'extraction de donnees brutes d'une image resultant d'une prise de vue
JP2009543214A (ja) 画像特徴を意識した画像欠陥除去
FR2830648A1 (fr) Procede d'elimination de rayures dans des images numeriques
Bagiwa et al. Chroma key background detection for digital video using statistical correlation of blurring artifact
Joyeux et al. Tracking and map reconstruction of line scratches in degraded motion pictures
KR101693247B1 (ko) 경계 특징을 이용한 모자이크 블록 추출 방법
Mosleh et al. Bandlet-based sparsity regularization in video inpainting
FR2887389A1 (fr) Appareil et procede d'affichage d'images
Vidhya et al. Novel video inpainting using patch sparsity
Kao et al. Scratch line removal on aged films
de Torres et al. An efficient approach to automatic generation of time-lapse video sequences
Rana et al. Edge preservation gradient based smoothing to multiplicative the image noise
Kim et al. Automatic film line scratch removal system based on spatial information
Bruni et al. Removal of color scratches from old motion picture films exploiting human perception
Julliand Automatic noise-based detection of splicing in digital images
Huo et al. A novel non-linear method of automatic video scratch removal
WO2023223884A1 (fr) Programme informatique et dispositif d'inspection
Vidhya et al. Novel object removal in video using patch sparsity

Legal Events

Date Code Title Description
TP Transmission of property

Owner name: INTELLECTUAL VENTURES FUND 83 LLC, US

Effective date: 20130919

PLFP Fee payment

Year of fee payment: 16

ST Notification of lapse

Effective date: 20180629