FR3010217A1 - Procede et dispositif de traitement d'images non alignees, et programme d'ordinateur correspondant - Google Patents
Procede et dispositif de traitement d'images non alignees, et programme d'ordinateur correspondant Download PDFInfo
- Publication number
- FR3010217A1 FR3010217A1 FR1358353A FR1358353A FR3010217A1 FR 3010217 A1 FR3010217 A1 FR 3010217A1 FR 1358353 A FR1358353 A FR 1358353A FR 1358353 A FR1358353 A FR 1358353A FR 3010217 A1 FR3010217 A1 FR 3010217A1
- Authority
- FR
- France
- Prior art keywords
- image
- aligned
- alignment
- processing method
- pixels
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000012545 processing Methods 0.000 title claims description 18
- 238000004590 computer program Methods 0.000 title claims description 6
- 238000000034 method Methods 0.000 title abstract description 24
- 238000003672 processing method Methods 0.000 claims abstract description 21
- 239000003086 colorant Substances 0.000 claims abstract description 20
- 238000010276 construction Methods 0.000 claims abstract description 14
- 238000013507 mapping Methods 0.000 claims description 28
- 238000004422 calculation algorithm Methods 0.000 claims description 14
- 238000006243 chemical reaction Methods 0.000 claims description 8
- 230000001131 transforming effect Effects 0.000 claims description 5
- 238000000354 decomposition reaction Methods 0.000 claims description 4
- 230000006870 function Effects 0.000 description 23
- 230000009466 transformation Effects 0.000 description 11
- 238000004364 calculation method Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000013213 extrapolation Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004737 colorimetric analysis Methods 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
L'invention concerne un procédé de traitement d'images mettant en œuvre une première étape d'alignement (11) d'au moins deux images représentatives d'une même scène et présentant des couleurs différentes, dites image source et image cible respectivement, délivrant une première image alignée. Selon l'invention, un tel procédé met également en œuvre : - une deuxième étape d'alignement (12) de ladite image source et de ladite première image alignée, délivrant une deuxième image alignée ; - une étape de construction (13) d'un masque de confiance, correspondant à une image identifiant les régions dans lesquelles ladite première image alignée est correctement alignée avec ladite deuxième image alignée.
Description
PROCEDE ET DISPOSITIF DE TRAITEMENT D'IMAGES NON ALIGNEES, ET PROGRAMME D'ORDINATEUR CORRESPONDANT 1. Domaine de l'invention Le domaine de l'invention est celui du traitement d'images, et en particulier du traitement d'images non alignées. Plus précisément, l'invention concerne la colorimétrie des images, et propose notamment une technique permettant de quantifier une erreur de couleurs entre deux images non alignées représentatives d'une même scène, ou de construire une fonction de mappage permettant le mappage de couleurs d'images non alignées (en anglais « color mapping » ou « color transfer »). L'invention trouve notamment des applications dans la création de contenus de type image ou vidéo, notamment lors de la phase de post-production permettant de finaliser le contenu avant diffusion. 2. Art antérieur Le mappage de couleurs est une technique permettant de transformer les couleurs d'une image, dite image source, en lui affectant les couleurs d'une autre image, dite image cible ou de référence, en utilisant une fonction de mappage. Une telle fonction de mappage de couleurs peut notamment être utilisée pour retrouver une image originale dont les couleurs ont été modifiées (« reverse-engineering »), mettre en correspondance les couleurs de deux versions d'une même image obtenues en utilisant des dispositifs de capture distincts, mettre en correspondance les couleurs de deux versions d'une même image qui ont transité dans des flux différents, etc. Classiquement, la fonction de mappage est construite en remplissant une table de correspondance, dont les entrées correspondent aux valeurs des pixels de l'image source et les sorties correspondent aux valeurs des pixels correspondants de l'image cible. Si certaines valeurs sont manquantes, elles peuvent être déterminées en utilisant un algorithme classique, par exemple de type interpolation ou extrapolation. On obtient ainsi une table de correspondance complète, encore appelée 3D Look Up Table ou 3D LUT en anglais. Cette table de correspondance peut alors être utilisée pour imposer à l'image source, ou à d'autres images transitant dans le même flux, les couleurs (i.e. les valeurs des pixels) de l'image cible.
Bien que cette technique de construction de la fonction de mappage confère de bons résultats et soit facile à mettre en oeuvre, elle ne peut pas être utilisée lorsque les images source et cible ne sont pas géométriquement alignées. De ce fait, si les images source et cible ne sont pas géométriquement alignées, il est nécessaire dans un premier temps de les réaligner en utilisant une technique d'alignement, pour pouvoir dans un second temps construire la fonction de mappage de couleurs. Par exemple, un tel algorithme d'alignement met en oeuvre une transformation de type SIFT (en anglais « Scale-invariant feature transform », en français « transformation de caractéristiques visuelles invariante à l'échelle »), pour détecter et identifier les éléments similaires entre les images source et cible. Les principales étapes mises en oeuvre par un tel algorithme d'alignement automatique sont les suivantes : recherche de points d'intérêts dans les images source et cible, détermination de descripteurs de ces points d'intérêts, comparaison des descripteurs associés aux images source et cible pour obtenir des couples de points ayant des descripteurs similaires, détermination d'un modèle de déformation (homographique ou autre) permettant de mettre en correspondance les points d'intérêt de l'image source avec les points d'intérêt de l'image cible (i.e. permettant de transformer l'image source en l'image cible en transportant les points des couples calculés précédemment de leurs positions de départ vers leurs positions d'arrivée), application du modèle de déformation à l'image source pour obtenir une image source déformée (i.e. alignée), qui soit géométriquement semblable à l'image cible. Ces techniques utilisent généralement des approches statistiques. De ce fait, elles ne permettent pas d'aligner parfaitement deux images, et des erreurs d'alignement peuvent subsister. Du fait de ces imprécisions au niveau de l'alignement, la fonction de mappage de couleurs, construite à partir de l'image source alignée et de l'image cible, n'est pas optimale. A titre d'exemple, une erreur de 1 %o dans les valeurs des paramètres du modèle de distorsion peut conduire à un décalage de 1 ou 2 pixels dans les directions horizontale et/ou verticale de l'image source alignée par rapport à l'image cible, si l'on considère des images de 4 mégapixels. Ceci implique la construction d'une fonction de mappage mal adaptée, puisque remplie avec des valeurs de pixels provenant de pixels qui ne correspondent pas.
Il existe donc un besoin pour une nouvelle technique permettant d'aligner correctement au moins deux images, ou d'identifier les régions des images correctement alignées, afin d'améliorer notamment la construction d'une fonction de mappage. 3. Exposé de l'invention L'invention propose une solution nouvelle sous la forme d'un procédé de traitement d'images, mettant en oeuvre une première étape d'alignement d'au moins deux images représentatives d'une même scène et présentant des couleurs différentes, dites image source et image cible respectivement, délivrant une première image alignée. Selon l'invention, un tel procédé met également en oeuvre : une deuxième étape d'alignement de l'image source et de la première image alignée, délivrant une deuxième image alignée ; une étape de construction d'un masque de confiance, correspondant à une image identifiant les régions de la première image alignée correctement alignées avec les régions correspondantes de la deuxième image alignée.
L'invention repose donc sur la mise en oeuvre de deux étapes successives d'alignement permettant la construction d'un masque de confiance, donnant une information sur les régions correctement alignées des première et deuxième images alignées. En d'autres termes, un tel masque de confiance permet d'identifier les erreurs d'alignement subsistant après la mise en oeuvre de la deuxième étape d'alignement.
Cette information peut ensuite être utilisée pour déterminer une erreur de couleurs entre deux images, pour construire une fonction de mappage de couleurs bien adaptée, etc, même lorsque les images source et cible ne sont pas géométriquement alignées. En effet, la mise en oeuvre d'une première étape d'alignement permet d'obtenir une première image alignée dont les couleurs sont celles de l'image source, et la deuxième étape d'alignement permet de compenser au moins partiellement les erreurs d'alignement subsistant après la mise en oeuvre de la première étape d'alignement. De ce fait, l'invention ne nécessite pas la présence d'informations supplémentaires pour corriger les erreurs d'alignement, mais ré-utilise la technique d'alignement pour compenser les erreurs d'alignement subsistant après la mise en oeuvre du premier alignement.
Pour ce faire, on note que les première et deuxième étapes d'alignement mettent préférentiellement en oeuvre le même algorithme d'alignement, mais sur deux couples d'images différents (image source/image cible pour la première étape d'alignement, image source/première image alignée pour la deuxième étape d'alignement).
De plus, on note que la présence de régions dans lesquelles les première et deuxième images alignées sont correctement alignées signifie que la mise en oeuvre du premier algorithme d'alignement sur l'image source est correcte, et qu'il n'y a pas d'erreur d'alignement. En d'autres termes, le masque de confiance permet d'identifier les régions dans lesquelles la première image alignée est correctement alignée avec la deuxième image alignée, et par suite, les régions dans lesquelles la première image alignée est correctement alignée avec l'image cible. Par ailleurs, si l'image source et l'image cible n'ont pas la même taille, on aligne la plus grande image sur la plus petite image. De ce fait, on peut intervertir les images source et cible pour la construction du masque de confiance selon l'invention. En particulier, on note que la technique selon l'invention s'adapte au contenu des images, puisque le masque de confiance est construit à partir des première et deuxième images alignées, elles-mêmes obtenues à partir de l'image source et de l'image cible. Selon un aspect particulier de l'invention, les première et deuxième étapes 15 d'alignement déterminent respectivement un premier et un deuxième modèle de déformation, et appliquent respectivement le premier modèle et le deuxième modèle de déformation à l'image source. De ce fait, les première et deuxième images alignées présentent les mêmes couleurs que l'image source, et il est plus facile de les comparer pour déterminer les erreurs 20 d'alignement résiduelles. Selon une caractéristique particulière de l'invention, l'étape de construction d'un masque de confiance met en oeuvre une étape de comparaison de la première image alignée et de la deuxième image alignée, délivrant une image de comparaison colorée, et une étape de transformation de l'image de comparaison colorée en une image présentant des niveaux de 25 gris, correspondant au masque de confiance. La transformation en niveaux de gris permet notamment d'affecter une valeur entre 0 et 255 aux pixels du masque de confiance. Un pixel blanc, codé par la valeur 255, permet par exemple d'indiquer que le pixel situé à la même position dans la première image alignée et le pixel situé à la même position dans la deuxième image alignée sont identiques. Un pixel gris ou 30 noir, codé par une valeur allant de 0 à 254, permet par exemple d'indiquer que le pixel situé à la même position dans la première image alignée et le pixel situé à la même position dans la deuxième image alignée ne sont pas identiques (avec une valeur plus proche de 0 quand les pixels différent fortement, ou plus proche de 255 quand les pixels sont quasi-identiques). En particulier, l'étape de transformation délivre une image binaire, une première valeur ('1' par exemple) étant associée aux pixels correspondants aux régions dans lesquelles la première image alignée et la deuxième image alignée sont correctement alignées et une deuxième valeur ('O' par exemple) étant associée aux pixels correspondants aux régions dans lesquelles la première image alignée et la deuxième image alignée ne sont pas correctement alignées. Par exemple, l'étape de transformation met en oeuvre : une décomposition de l'image de comparaison colorée en trois images correspondant respectivement à la composante rouge, la composante verte, et la composante bleue de l'image de comparaison colorée, dites composantes d'origine, une inversion des couleurs des composantes d'origine, délivrant des composantes dites inversées ; pour au moins une des composantes inversées : o une comparaison des valeurs des pixels de la composante inversée à un seuil prédéterminé ; et o pour les valeurs supérieures ou égales au seuil, une conversion des valeurs à la première valeur ; o pour les valeurs inférieures au seuil, une conversion des valeurs à la deuxième valeur ; délivrant au moins une composante dite seuillée ; une multiplication de la composante rouge, inversée ou seuillée si elle existe, de la composante verte, inversée ou seuillée si elle existe, et de la composante bleue, inversée ou seuillée si elle existe. L'étape de décomposition de l'image de comparaison colorée est une étape classique, permettant de stocker séparément l'ensemble des pixels rouges, l'ensemble des pixels bleus et l'ensemble des pixels verts, présentant des valeurs entre 0 et 255. L'étape d'inversion des couleurs est également une étape classique, permettant de transformer la valeur 0 d'un pixel en la valeur 255 ou la valeur 255 d'un pixel en la valeur 0 par exemple. L'étape de « conversion » permet de forcer à la valeur binaire '0' ou '1' l'ensemble des pixels, en tenant compte d'un seuil, qui peut être différent selon la composante. Par exemple, si l'on considère un seuil égal à 100, on considère que tous les pixels obtenus à l'issue de l'étape d'inversion des couleurs présentant une valeur inférieure à 100 sont codés par la valeur '0', et que tous les pixels obtenus à l'issue de l'étape d'inversion des couleurs présentant une valeur supérieure ou égale à 100 sont codés par la valeur '1'.
On multiplie ensuite les composantes rouge, verte et bleue seuillées (ou simplement inversées si elles n'ont pas subi de seuillage), point par point. Ainsi, pour une position donnée, on multiplie la valeur du pixel de la composante rouge à cette position, inversée ou seuillée si elle existe, la valeur du pixel de la composante verte à cette position, inversée ou seuillée si elle existe, et la valeur du pixel de la composante bleue à cette position, inversée ou seuillée si elle existe, pour obtenir le masque de confiance. Si, pour une position donnée, la valeur du pixel est égale à 1 pour les trois composantes, alors la valeur du pixel correspondant dans le masque sera égale à '1' et sera codée par un pixel blanc. Selon un mode de réalisation particulier de l'invention, le procédé met également en oeuvre une étape de construction d'une fonction de mappage de couleurs de la première image alignée sur l'image cible, à partir du masque de confiance. Selon l'invention, on construit ainsi d'abord un masque de confiance permettant d'identifier les erreurs d'alignement subsistant après la mise en oeuvre de la deuxième étape d'alignement, et on construit la fonction de mappage en tenant compte de ce masque de confiance. En particulier, l'étape de construction d'une fonction de mappage de couleurs construit une table de correspondance définissant, pour les pixels du masque de confiance associés à la première valeur, les valeurs des pixels correspondants de la première image alignée en entrée et les valeurs des pixels correspondants de l'image cible en sortie.
La technique selon l'invention permet ainsi de construire de manière simple une fonction de mappage de couleurs, en utilisant une technique de construction classique dans les régions autorisées par le masque de confiance. Par exemple, si le masque de confiance est binaire et présente des pixels d'une première valeur dans les régions dans lesquelles le premières et deuxième images alignées sont identiques (blancs par exemple), et des pixels d'une deuxième valeur dans les régions dans lesquelles le premières et deuxième images alignées sont différentes (noirs par exemple), l'invention permet de construire une fonction de mappage en remplissant une table de correspondance dont les entrées correspondent aux valeurs des pixels de la première image alignée et les sorties correspondent aux valeurs des pixels correspondants de l'image cible uniquement pour les valeurs de pixels correspondant aux pixels blancs du masque de confiance. Les valeurs manquantes de la table peuvent alors être déduite de manière classique, par exemple par interpolation ou extrapolation. Selon un autre mode de réalisation particulier de l'invention, le procédé met également en oeuvre une étape de détermination d'une erreur de couleurs entre la première image alignée et l'image cible, à partir dudit masque de confiance. En particulier, l'étape de détermination d'une erreur de couleurs met en oeuvre, pour les pixels du masque de confiance associés à la première valeur, un calcul de distance entre les valeurs des pixels correspondants de la première image alignée et les valeurs des pixels correspondants de l'image cible. L'invention permet ainsi, selon ce mode de réalisation, de quantifier l'erreur colorimétrique entre deux images, en limitant le calcul de cette erreur aux régions dans lesquelles la première image alignée et l'image cible sont supposées être correctement alignées.
Dans un autre mode de réalisation, l'invention concerne un dispositif de traitement d'images comprenant : un module d'alignement, apte à mettre en oeuvre un premier alignement d'au moins deux images représentatives d'une même scène et présentant des couleurs différentes, dites image source et image cible respectivement, délivrant une première image alignée, et un deuxième alignement de l'image source et de la première image alignée, délivrant une deuxième image alignée ; un module de construction d'un masque de confiance, correspondant à une image identifiant les régions de la première image alignée correctement alignées avec les régions correspondantes de la deuxième image alignée.
Un tel dispositif de traitement d'images est notamment adapté à mettre en oeuvre le procédé de traitement d'images décrit précédemment. Il est par exemple intégré à un dispositif d'alignement d'images, à un codeur vidéo, à un terminal de type téléphone, ordinateur, tablette, etc. Ce dispositif pourra bien sûr comporter les différentes caractéristiques relatives au procédé de traitement d'images selon l'invention, qui peuvent être combinées ou prises isolément. Ainsi, les caractéristiques et avantages de ce dispositif sont les mêmes que ceux du procédé de traitement d'images. Par conséquent, ils ne sont pas détaillés plus amplement. En particulier, on note qu'un seul module d'alignement peut être utilisé pour mettre en oeuvre les deux étapes d'alignement, ou bien deux modules d'alignement peuvent être utilisés pour mettre chacun en oeuvre une des deux étapes d'alignement. Dans encore un autre mode de réalisation, l'invention concerne un ou plusieurs programmes d'ordinateur comportant des instructions pour la mise en oeuvre d'un procédé de traitement d'images tel que décrit ci-dessus, lorsque ce ou ces programmes sont exécutés par un processeur.
Les procédés selon l'invention peuvent donc être mis en oeuvre de diverses manières, notamment sous forme câblée ou sous forme logicielle. Ainsi, les différentes caractéristiques de la présente invention peuvent être mises en oeuvre sous la forme de système, dispositifs, procédés, ou supports lisibles par ordinateur. En conséquence, les différentes caractéristiques de la présente invention peuvent prendre la forme d'une réalisation entièrement matérielle (« hardware »), entièrement logicielle (« software »), ou combinant des aspects logiciels et matériels. Par ailleurs, certaines caractéristiques de la présente invention peuvent prendre la forme d'un support de stockage lisible par ordinateur. Toute combinaison d'un ou plusieurs supports de stockage lisibles par ordinateur peut être utilisée. 4. Liste des figures D'autres caractéristiques et avantages de l'invention apparaîtront plus clairement à la lecture de la description suivante d'un mode de réalisation particulier, donné à titre de simple exemple illustratif et non limitatif, et des dessins annexés, parmi lesquels : - la figure 1 présente les principales étapes mises en oeuvre par un procédé de traitement d'images selon un mode de réalisation de l'invention ; - la figure 2 présente un exemple de construction du masque de confiance selon le procédé de la figure 1; - la figure 3 illustre la structure simplifiée d'un dispositif de traitement d'images selon un mode de réalisation particulier de l'invention. 5. Description d'un mode de réalisation de l'invention 5.1 Principe général L'invention concerne le traitement d'images représentatives d'une même scène, mais qui ne sont pas alignées géométriquement.
Le principe général de l'invention repose sur la construction d'un masque de confiance, donnant notamment une information sur une erreur d'alignement résiduelle après la mise en oeuvre de deux algorithmes d'alignement sur les images. Un tel masque de confiance permet notamment d'identifier les régions de deux images supposées être correctement alignées, de façon notamment à utiliser les valeurs des pixels associées à ces régions dans différentes applications (construction d'une fonction de mappage de couleurs, détermination d'une erreur de couleurs, etc). On présente ci-après, en relation avec la figure 1, les principales étapes mises en oeuvre par un procédé de traitement d'images selon un mode de réalisation de l'invention.
On considère tout d'abord deux images représentatives d'une même scène (i.e. issues du même point de vue) et présentant des couleurs différentes, dites image source Is et image cible It. Au cours d'une première étape d'alignement 11, les images source et cible sont alignées, délivrant une première image alignée la1. Au cours d'une deuxième étape d'alignement 12, l'image source et de la première image alignée sont alignées, délivrant une deuxième image alignée 1a2. Au cours d'une troisième étape de construction 13, on construit un masque de confiance M, correspondant à une image identifiant les régions dans lesquelles la première image alignée la1 et la deuxième image alignée la2 sont correctement alignées. Dans les régions dans lesquelles ces deux images sont correctement alignées, cela signifie que la mise en oeuvre du premier algorithme d'alignement sur l'image source est correcte, et qu'il n'y a pas d'erreur d'alignement. Un tel masque de confiance peut ensuite être utilisé en combinaison avec l'image cible It et la première image alignée la1 dans différentes applications : construction d'une fonction de mappage de couleurs C. Map. 141, détermination d'une erreur de couleurs Err. 142, ou autre application 143. 5.2 Description d'un mode de réalisation particulier On présente en relation avec la figure 2 un mode de réalisation particulier de l'invention, selon lequel on aligne l'image source Is sur l'image cible It au cours d'une première étape d'alignement 11, et on aligne l'image source Is sur la première image alignée la1 au cours de la deuxième étape d'alignement 12. Comme illustré en figure 2, l'image source Is, associée à un premier jeu de couleurs, est alignée au cours de la première étape d'alignement 11 sur l'image cible It, associée à un deuxième jeu de couleurs. On obtient ainsi la première image alignée la1, associée au premier jeu de couleurs. L'image source Is est ensuite alignée au cours de la deuxième étape d'alignement 12 sur la première image alignée la1. On obtient ainsi la deuxième image alignée 1a2, également associée au premier jeu de couleurs. On note que les deux étapes d'alignement 11 et 12 mettent en oeuvre un même algorithme d'alignement. Par exemple, un tel algorithme d'alignement met en oeuvre une transformation de type SIFT, telle que décrite en relation avec l'art antérieur, pour détecter et identifier les éléments similaires entre les images source et cible au cours de la première étape d'alignement 11, et l'image source et la première image alignée au cours de la deuxième étape d'alignement 12. Les première et deuxième étapes d'alignement déterminent respectivement un premier et un deuxième modèle de déformation, et appliquent respectivement le premier modèle et le deuxième modèle de déformation à l'image source. De ce fait, la première image alignée la1 et la deuxième image alignée la2 présentent les mêmes couleurs que l'image source Is. Ainsi, en appliquant le premier modèle de déformation à l'image source Is au cours de l'étape d'alignement des images source et cible, on déforme l'image source et on obtient la première image alignée la1, géométriquement semblable à l'image cible. Ensuite, en appliquant le deuxième modèle de déformation à l'image source au cours de l'étape d'alignement des images source et de la première image alignée, on déforme l'image source et on obtient la deuxième image alignée 1a2, géométriquement semblable à la première image alignée la1. Bien entendu, d'autres techniques d'alignement peuvent être utilisées pour les deux étapes d'alignement, utilisant par exemple SURF (en anglais « Speeded Up Robust Features », en français « caractéristiques robustes accélérées »), RANSAC (en anglais « RANdom SAmple Consensus », ou méthode par tirage aléatoire), ou d'autres algorithmes connus.
A l'issue de ces deux étapes d'alignement 11 et 12, on construit un masque de confiance au cours d'une troisième étape de construction 13. Par exemple, selon le mode de réalisation illustré en figure 2, l'étape de construction d'un masque de confiance met en oeuvre une étape de comparaison 131 de la première image alignée la1 et de la deuxième image alignée 1a2, délivrant une image de comparaison colorée Icomp, et une étape de transformation 132 de l'image de comparaison colorée Icomp en une image présentant des niveaux de gris, correspondant au masque de confiance M. L'étape de comparaison 131 permet d'identifier les différences significatives entre la première image alignée la1 et la deuxième image alignée 1a2. Par exemple, l'étape de comparaison 131 met en oeuvre une soustraction de la deuxième image alignée la2 à la première image alignée la1. Il est en effet possible de soustraire ces deux images alignées du fait qu'elles présentent le même jeu de couleurs. L'image de comparaison colorée Icomp obtenue permet d'illustrer l'erreur d'alignement résiduelle après la mise en oeuvre des deux algorithmes d'alignement.
L'étape de transformation 132 permet de convertir l'image de comparaison colorée Icomp en une image en niveaux de gris, correspondant au masque de confiance M. La transformation en niveaux de gris permet notamment d'affecter une valeur entre 0 et 255 aux pixels du masque de confiance.
Par exemple, si l'on cherche à obtenir un masque bichrome (encore appelé masque binaire) formé uniquement de pixels blancs ou noirs, l'étape de transformation 132 met en oeuvre une décomposition de l'image de comparaison colorée Icomp en trois images correspondant respectivement à la composante rouge IR, la composante verte IG, et la composante bleue IB de l'image de comparaison colorée Icon:), puis une inversion des couleurs des composantes rouge, verte et bleue, délivrant des composantes dites inversées. Pour au moins une des composantes inversées, l'étape de transformation 132 met ensuite en oeuvre : - une comparaison des valeurs des pixels de la composante inversée à un seuil prédéterminé ; et - pour les valeurs supérieures ou égales au seuil, une conversion des valeurs à la première valeur (blanc par exemple) ; - pour les valeurs inférieures au seuil, une conversion des valeurs à la deuxième valeur (noir par exemple) ; délivrant au moins une composante seuillée.
Par exemple, un tel seuil est identique pour les différentes composantes, et prend une valeur de l'ordre de 255, 254 ou 253. Bien entendu, la valeur de ce seuil peut être adaptée en fonction de l'application envisagée. Par exemple, cette opération de conversion est mise en oeuvre pour les trois composantes rouge, verte et bleue inversées, et délivre trois composantes seuillées notées IR', IG' et IB'. Ensuite ces composantes sont multipliées entre elles, pour obtenir le masque M. D'autres techniques peuvent également être mises en oeuvre pour transformer l'image de comparaison colorée en une image en niveaux de gris. En particulier, on note que l'étape d'inversion des couleurs peut être mise en oeuvre avant l'opération de décomposition de l'image de comparaison colorée, ou peut être mise en oeuvre en inversant la valeur du seuil puis en convertissant les valeurs inférieures au seuil à la première valeur et les valeurs supérieures ou égales au seuil à la deuxième valeur. En variante, on peut décomposer l'image de comparaison colorée Icomp en trois images correspondant respectivement à la composante rouge IR, la composante verte IG, et la composante bleue IB de l'image de comparaison colorée Icomp et calculer la luminance L des pixels de l'image de comparaison colorée en utilisant la formule suivante : L = aIR + flIG + yIR avec a, fl et y des constantes, par exemple à 1 ou définies selon des formules de calcul de luminance bien connues (par exemple L = 0,299/R + 0,587/G + 0,1144 dans le domaine de la télévision). Si l'inverse de la luminance d'un pixel est supérieure à un seuil prédéterminé (par exemple de l'ordre de 254), alors on affecte une valeur égale à 255 (i.e. un pixel blanc) au pixel situé à la même position dans le masque. Sinon, on affecte une valeur égale à 0 (i.e. un pixel noir) au pixel situé à la même position dans le masque.
On obtient ainsi un masque de confiance, formé de pixels noirs et blancs, ou en niveaux de gris selon la technique de transformation utilisée et la mise en oeuvre ou non d'un seuillage, permettant d'identifier les régions dans lesquelles les première et deuxième images alignées, et par suite la première image alignée et l'image cible, sont correctement alignées. On note que ce masque présente une taille identique à celle de l'image cible et de la première image alignée. En effet, après la mise en oeuvre de la première étape d'alignement, l'image cible It et la première image alignée la1 présentent la même taille et sensiblement la même géométrie. 5.3 Exemple d'utilisation du masque de confiance Un tel masque de confiance, permettant d'identifier les régions dans lesquelles les première et deuxième images alignées sont correctement alignées, peut notamment être stocké ou utilisé dans diverses applications. Par exemple, un tel masque peut être utilisé pour quantifier une erreur colorimétrique entre l'image source et l'image cible, notamment lorsqu'elles présentent des couleurs très proches. Dans ce cas, après avoir construit le masque de confiance, on applique ce masque à l'image cible et à la première image alignée (qui présente le même jeu de couleurs que l'image source, et la même taille que l'image cible, du fait de la mise en oeuvre de la première étape d'alignement). En particulier, si le masque est un masque binaire formé de pixels blancs dans les régions dans lesquelles les première et deuxième images alignées la1 et la2 sont correctement alignées, et de pixels noirs dans les autre régions, cela signifie que la mise en oeuvre du premier algorithme d'alignement est de bonne qualité (i.e. ne présente pas d'erreurs d'alignement) dans les régions formées de pixels blancs, et qu'il est donc possible d'utiliser ces régions de la première image alignée la1 pour quantifier l'erreur colorimétrique entre l'image source et l'image cible. Pour ce faire, on calcule par exemple une distance entre les pixels de la première image alignée lai et les pixels correspondants de l'image cible, uniquement dans les régions formées de pixels blancs du masque de confiance.
Selon un autre exemple, un tel masque peut être utilisé pour construire une fonction de mappage de couleurs entre l'image source et l'image cible. Dans ce cas, après avoir construit le masque de confiance, on applique ce masque à l'image cible et à la première image alignée (qui, comme indiqué précédemment, présente le même jeu de couleurs que l'image source, et la même taille que l'image cible, du fait de la mise en oeuvre de la première étape d'alignement). En particulier, si le masque est un masque binaire formé de pixels blancs dans les régions dans lesquelles les première et deuxième images alignées lai et la2 sont correctement alignées, et de pixels noirs dans les autre régions, cela signifie que la mise en oeuvre du premier algorithme d'alignement est de bonne qualité (i.e. ne présente pas d'erreurs d'alignement) dans les régions formées de pixels blancs, et qu'il est donc possible d'utiliser ces régions de la première image alignée lai pour construire une fonction de mappage de couleurs entre l'image source et l'image cible. Pour ce faire, on remplit par exemple une table de correspondance, prenant en entrée les valeurs des pixels de la première image alignée lai et en sortie les valeurs des pixels correspondants de l'image cible, uniquement dans les régions formées de pixels blancs du masque de confiance. En d'autres termes la présence d'un pixel blanc à une position donnée du masque de confiance signifie que le pixel correspondant de la première image alignée (image source alignée) et le pixel correspondant de l'image cible peuvent être utilisés pour construire la fonction de mappage de couleurs. Au contraire, la présence d'un pixel noir à une position donnée du masque de confiance signifie que le pixel correspondant de la première image alignée (image source alignée) et le pixel correspondant de l'image cible ne peuvent pas être utilisés pour construire la fonction de mappage de couleurs, car à cette position, la première image n'est pas correctement alignée sur l'image cible.
Si on considère que le masque de confiance présente des niveaux de gris, i.e. est formé de pixels pouvant prendre des valeurs allant de 0 à 255, on peut construire une table de correspondance pour l'ensemble des pixels du masque, prenant en entrée les valeurs des pixels de la première image alignée lai et en sortie les valeurs des pixels correspondants de l'image cible, et affecter à chaque ligne de la table un indice de confiance. Par exemple, pour une position de pixel donnée, si la valeur de ce pixel dans le masque de confiance est de 0, l'indice de confiance affecté à la ligne correspondant aux valeurs de ce pixel dans la première image alignée la1 et dans l'image cible sera égal à 0 (0/255). Si la valeur de ce pixel dans le masque de confiance est de 255, l'indice de confiance affecté à la ligne correspondant aux valeurs de ce pixel dans la première image alignée la1 et dans l'image cible sera égal à 1 (255/255). Si la valeur de ce pixel dans le masque de confiance est de x, pour x compris entre 0 et 255, l'indice de confiance affecté à la ligne correspondant aux valeurs de ce pixel dans la première image alignée la1 et dans l'image cible sera égal à x/255. On dispose ainsi d'une information sur la qualité de la table de correspondance ainsi construite. Dans le domaine du cinéma, un tel masque peut notamment être utilisé en post-production, après le tournage du film, pour construire une fonction de mappage de couleurs. Par exemple, au premier stade de la post-production (« Early Digital Intermediate Grade »), le réalisateur peut souhaiter modifier les couleurs d'une séquence pour ajouter une dominante rouge. Il peut alors modifier une image de la séquence sur son ordinateur, et construire une table de correspondance entre l'image avant modification (image source) et l'image après modification (image cible) en utilisant la technique de construction d'un masque de confiance décrite ci-dessus. Le reste de la séquence peut alors être modifié en utilisant la table de correspondance ainsi construite.
Une telle fonction de mappage de couleurs peut également être utilisée pour mettre en correspondance deux versions d'un même film, par exemple une version de base sans effets spéciaux et une version dans laquelle on ajouté des effets spéciaux, ou deux versions du même film ayant été capturées par des dispositifs de capture différents, ou ayant transité dans des canaux différents, etc. 5.4 Structure simplifiée du dispositif de traitement d'images On présente finalement, en relation avec la figure 3, la structure simplifiée d'un dispositif de traitement d'images mettant en oeuvre une technique de traitement d'images selon un mode de réalisation particulier de l'invention. Comme illustré en figure 3, un tel dispositif de traitement d'images comprend une mémoire 31 comprenant une mémoire tampon, une unité de traitement 32, équipée par exemple d'un microprocesseur itP et pilotée par le programme d'ordinateur 33, mettant en oeuvre le procédé de traitement d'images selon l'invention. A l'initialisation, les instructions de code du programme d'ordinateur 33 sont par exemple chargées dans une mémoire RAM avant d'être exécutées par le processeur de l'unité de traitement 32. L'unité de traitement 32 reçoit en entrée au moins une image source Is et une image cible It correspondant à une même scène, mais présentant des jeux de couleurs différents. Le microprocesseur de l'unité de traitement 32 met en oeuvre les étapes du procédé de traitement d'images décrit précédemment, selon les instructions du programme d'ordinateur 33, pour construire un masque de confiance M. Pour cela, le dispositif de traitement d'images comprend en outre : au moins un module d'alignement 34, apte à mettre en oeuvre un premier alignement des image source et image cible, délivrant une première image alignée, et un deuxième alignement de l'image source et de la première image alignée, délivrant une deuxième image alignée, et un module de construction 35 d'un masque de confiance, correspondant à une image identifiant les régions dans lesquelles la première image alignée est correctement alignée avec la deuxième image alignée. Ces modules sont pilotés par le microprocesseur de l'unité de traitement 32.
Claims (12)
- REVENDICATIONS1. Procédé de traitement d'images, mettant en oeuvre une première étape d'alignement (11) d'au moins deux images représentatives d'une même scène et présentant des couleurs différentes, dites image source et image cible respectivement, délivrant une première image alignée, caractérisé en ce qu'il met également en oeuvre : une deuxième étape d'alignement (12) de ladite image source et de ladite première image alignée, délivrant une deuxième image alignée ; une étape de construction (13) d'un masque de confiance, correspondant à une image identifiant les régions de ladite première image alignée correctement alignées avec les régions correspondantes de ladite deuxième image alignée.
- 2. Procédé de traitement d'images selon la revendication 1, caractérisé en ce que lesdites première (11) et deuxième (12) étapes d'alignement déterminent respectivement un premier et un deuxième modèle de déformation, et appliquent respectivement ledit premier modèle et ledit deuxième modèle de déformation à ladite image source.
- 3. Procédé de traitement d'images selon l'une quelconque des revendications 1 et 2, caractérisé en ce que lesdites première (11) et deuxième (12) étapes d'alignement mettent en oeuvre le même algorithme d'alignement.
- 4. Procédé de traitement d'images selon l'une quelconque des revendications 1 à 3, caractérisé en ce que ladite étape de construction (13) d'un masque de confiance met en oeuvre une étape de comparaison (131) de ladite première image alignée et de ladite deuxième image alignée, délivrant une image de comparaison colorée, et une étape de transformation (132) de ladite image de comparaison colorée en une image présentant des niveaux de gris, correspondant audit masque de confiance.
- 5. Procédé de traitement d'images selon la revendication 4, caractérisé en ce que ladite étape de transformation (132) délivre une image binaire, une première valeur étant associée aux pixels correspondants aux régions dans lesquelles ladite première image alignée et ladite deuxième image alignée sont correctement alignées et une deuxième valeur étant associée aux pixels correspondants aux régions dans lesquelles ladite première image alignée et ladite deuxième image alignée ne sont pas correctement alignées.
- 6. Procédé de traitement d'images selon la revendication 5, caractérisé en ce que ladite étape de transformation (132) met en oeuvre : une décomposition de ladite image de comparaison colorée en trois images correspondant respectivement à la composante rouge, la composante verte, et lacomposante bleue de ladite image de comparaison colorée, dites composantes d'origine, une étape d'inversion des couleurs desdites composantes d'origine, délivrant des composantes dites inversées ; pour au moins une desdites composantes inversées : o une comparaison des valeurs des pixels de ladite composante à un seuil prédéterminé ; et o pour les valeurs supérieures ou égales audit seuil, une conversion desdites valeurs à ladite première valeur ; o pour les valeurs inférieures audit seuil, une conversion desdites valeurs à ladite deuxième valeur ; délivrant au moins une composante seuillée ; une multiplication de ladite composante rouge, inversée ou seuillée si elle existe, de ladite composante verte, inversée ou seuillée si elle existe, et de ladite composante bleue, inversée ou seuillée si elle existe.
- 7. Procédé de traitement d'images selon l'une quelconque des revendications 1 à 6, caractérisé en ce qu'il met également en oeuvre une étape de construction (141) d'une fonction de mappage de couleurs de ladite première image alignée sur ladite image cible, à partir dudit masque de confiance.
- 8. Procédé de traitement d'images selon les revendications 5 et 7, caractérisé en ce que ladite étape de construction (141) d'une fonction de mappage de couleurs construit une table de correspondance définissant en entrée, pour les pixels dudit masque de confiance associés à ladite première valeur, les valeurs des pixels correspondants de ladite première image alignée et en sortie les valeurs des pixels correspondants de ladite image cible.
- 9. Procédé de traitement d'images selon l'une quelconque des revendications 1 à 6, caractérisé en ce qu'il met également en oeuvre une étape de détermination (142) d'une erreur de couleurs entre ladite première image alignée et ladite image cible, à partir dudit masque de confiance.
- 10. Procédé de traitement d'images selon les revendications 5 et 9, caractérisé en ce que ladite étape de détermination (142) d'une erreur de couleurs met en oeuvre, pour les pixels dudit masque de confiance associés à ladite première valeur, un calcul de distance entre les valeurs des pixels correspondants de ladite première image alignée et les valeurs des pixels correspondants de ladite image cible.
- 11. Dispositif de traitement d'images comprenant :un module d'alignement (34), apte à mettre en oeuvre un premier alignement d'au moins deux images représentatives d'une même scène et présentant des couleurs différentes, dites image source et image cible respectivement, délivrant une première image alignée, et un deuxième alignement de ladite image source et de ladite première image alignée, délivrant une deuxième image alignée ; un module de construction (35) d'un masque de confiance, correspondant à une image identifiant les régions de ladite première image alignée correctement alignées avec les régions correspondantes de ladite deuxième image alignée.
- 12. Programme d'ordinateur comportant des instructions pour la mise en oeuvre d'un procédé de traitement d'images selon l'une quelconque des revendications 1 à 10 lorsque ce programme est exécuté par un processeur.
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR1358353A FR3010217A1 (fr) | 2013-08-30 | 2013-08-30 | Procede et dispositif de traitement d'images non alignees, et programme d'ordinateur correspondant |
| EP14180531.7A EP2843619A3 (fr) | 2013-08-30 | 2014-08-11 | Procédé et dispositif de traitement d'images non alignées et programme d'ordinateur correspondant |
| US14/471,664 US20150063691A1 (en) | 2013-08-30 | 2014-08-28 | Method and device for processing of non-aligned images and corresponding computer programme |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR1358353A FR3010217A1 (fr) | 2013-08-30 | 2013-08-30 | Procede et dispositif de traitement d'images non alignees, et programme d'ordinateur correspondant |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| FR3010217A1 true FR3010217A1 (fr) | 2015-03-06 |
Family
ID=49911628
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| FR1358353A Withdrawn FR3010217A1 (fr) | 2013-08-30 | 2013-08-30 | Procede et dispositif de traitement d'images non alignees, et programme d'ordinateur correspondant |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20150063691A1 (fr) |
| EP (1) | EP2843619A3 (fr) |
| FR (1) | FR3010217A1 (fr) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6541334B2 (ja) | 2014-11-05 | 2019-07-10 | キヤノン株式会社 | 画像処理装置、画像処理方法、およびプログラム |
| US9842264B2 (en) * | 2015-08-12 | 2017-12-12 | Chiman KWAN | Method and system for UGV guidance and targeting |
| EP3433832B1 (fr) * | 2016-03-25 | 2021-03-10 | Koninklijke Philips N.V. | Reconstruction d'image |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7738015B2 (en) * | 1997-10-09 | 2010-06-15 | Fotonation Vision Limited | Red-eye filter method and apparatus |
| US8467629B2 (en) * | 2010-08-12 | 2013-06-18 | High Technology Video, Inc. | Methods and systems for automatic coloring of digital images |
| US9047666B2 (en) * | 2013-03-12 | 2015-06-02 | Futurewei Technologies, Inc. | Image registration and focus stacking on mobile platforms |
| US9152870B2 (en) * | 2013-03-15 | 2015-10-06 | Sri International | Computer vision as a service |
-
2013
- 2013-08-30 FR FR1358353A patent/FR3010217A1/fr not_active Withdrawn
-
2014
- 2014-08-11 EP EP14180531.7A patent/EP2843619A3/fr not_active Withdrawn
- 2014-08-28 US US14/471,664 patent/US20150063691A1/en not_active Abandoned
Non-Patent Citations (3)
| Title |
|---|
| GARY E CHRISTENSEN ET AL: "Introduction to the Non-rigid Image Registration Evaluation Project (NIREP)", 1 January 2006, BIOMEDICAL IMAGE REGISTRATION LECTURE NOTES IN COMPUTER SCIENCE;;LNCS, SPRINGER, BERLIN, DE, PAGE(S) 128 - 135, ISBN: 978-3-540-35648-6, XP019035643 * |
| MIN TANG ET AL: "A Qualitative Meta Analysis Review on Medical Image Registration Evaluation", PROCEDIA ENGINEERING, vol. 29, 2012, pages 499 - 503, XP028457195, ISSN: 1877-7058, [retrieved on 20120215], DOI: 10.1016/J.PROENG.2011.12.750 * |
| ZITOVA B ET AL: "IMAGE REGISTRATION METHODS: A SURVEY", IMAGE AND VISION COMPUTING, ELSEVIER, GUILDFORD, GB, vol. 21, no. 11, 1 October 2003 (2003-10-01), pages 977 - 1000, XP001189327, ISSN: 0262-8856, DOI: 10.1016/S0262-8856(03)00137-9 * |
Also Published As
| Publication number | Publication date |
|---|---|
| US20150063691A1 (en) | 2015-03-05 |
| EP2843619A3 (fr) | 2015-03-11 |
| EP2843619A2 (fr) | 2015-03-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP1444651B1 (fr) | Procede et systeme pour reduire la frequence des mises a jour de moyens | |
| JP6928388B2 (ja) | 光学システム内の複数のセンサにわたる色整合 | |
| Piva | An overview on image forensics | |
| US8600185B1 (en) | Systems and methods for restoring color and non-color related integrity in an image | |
| WO2023010754A1 (fr) | Procédé et appareil de traitement d'image, équipement terminal et support d'enregistrement | |
| CN112653846B (zh) | 用于生成高动态范围图像的方法、设备和计算机可读介质 | |
| CN106960211B (zh) | 关键帧获取方法及装置 | |
| US8199384B2 (en) | Method of compensating the color tone differences between two images of the same scene | |
| US11972543B2 (en) | Method and terminal for improving color quality of images | |
| van Houten et al. | Using anisotropic diffusion for efficient extraction of sensor noise in camera identification | |
| Faridul et al. | Approximate cross channel color mapping from sparse color correspondences | |
| FR3010217A1 (fr) | Procede et dispositif de traitement d'images non alignees, et programme d'ordinateur correspondant | |
| FR3027144A1 (fr) | Procede et dispositif de determination de mouvement entre des images video successives | |
| JP2017511674A (ja) | Ｊｐｅｇ圧縮画像に関連付けられる写真カメラモデルを特定するためのシステム、ならびに関連付けられる方法、使用およびアプリケーション | |
| Baracchi et al. | Facing image source attribution on iPhone X | |
| FR3019350A1 (fr) | Systeme d'identification d'un modele d'appareil photographique associe a une image compressee au format jpeg, procede, utilisations et applications associes | |
| TW201621812A (zh) | 估算圖像序列之二相異色彩分級版本間之色映射之方法及裝置 | |
| US20240029460A1 (en) | Apparatus and method for performing image authentication | |
| US20220053117A1 (en) | Apparatus and methods for generating high dynamic range media, based on multi-stage compensation of motion | |
| CN113223185B (zh) | 一种图像处理方法、装置、电子设备及存储介质 | |
| WO2021139380A1 (fr) | Procédé et dispositif de traitement d'image, et dispositif électronique | |
| FR2830402A1 (fr) | Systeme et procede pour tester la conformite d'un dispositif de decodage numerique | |
| Van Houten et al. | Using sensor noise to identify low resolution compressed videos from youtube | |
| US20220215505A1 (en) | System and method of processing of a captured image to facilitate post-processing modification | |
| EP4140136A1 (fr) | Procédés et dispositifs de codage et de décodage d'une séquence vidéo multi-vues |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| ST | Notification of lapse |
Effective date: 20150430 |