FR2971603A1 - Procede de traitement d’image stereoscopique comprenant une bande noire et dispositif correspondant - Google Patents

Abstract

L'invention concerne un procédé de traitement d'une image stéréoscopique, ladite image stéréoscopique comprenant une première image (20) et une deuxième image (21) comprenant au moins une première bande noire (201, 202, 211, 212). Afin de réduire les défauts d'affichage liés aux bandes noires, le procédé comprend les étapes de : - estimation d'au moins un premier paramètre représentatif de ladite au moins une première bande noire (201, 202, 211, 212), - génération d'une troisième image (22) à partir de ladite image stéréoscopique par interpolation compensée en disparité, ladite troisième image (22) comprenant au moins une deuxième bande noire (221, 222), au moins un deuxième paramètre représentatif de ladite au moins une deuxième bande noire (221, 222) étant fonction du au moins un premier paramètre. L'invention concerne également un module de traitement d'image stéréoscopique correspondant et un dispositif d'affichage comprenant le module de traitement.

Description

PROCEDE DE TRAITEMENT D'IMAGE STEREOSCOPIQUE COMPRENANT UNE BANDE NOIRE ET DISPOSITIF CORRESPONDANT

1. Domaine de l'invention. L'invention se rapporte au domaine du traitement d'image ou de vidéo et plus particulièrement dans le traitement d'images et/ou de vidéo à 3 dimensions (3D). L'invention se rapporte également au domaine de l'interpolation d'images avec compensation de disparité. 2. Etat de l'art. Selon l'état de la technique, il existe plusieurs méthodes utilisées en traitement vidéo pour restituer une perception de relief, par exemple la stéréoscopie. En stéréoscopie, deux vues d'une même scène (dites aussi image droite et image gauche) sont enregistrées, avec deux caméras vidéos différentes ou deux appareils photographiques différents, à partir de deux points de vue différents décalés latéralement l'un par rapport à l'autre. Ces deux vues de la même scène sont affichées sur un dispositif d'affichage (par exemple un écran de type PDP (de l'anglais « Plasma Display Panel » ou en français « Panneau d'affichage plasma », de type LCD (de l'anglais « Liquid Crystal Display » ou en français « Dispositif d'affichage à cristaux liquides ») ou au moyen d'un vidéoprojecteur) soit de manière séquentielle temporellement (image gauche puis image droite et ainsi de suite) ou de manière entrelacée spatialement (ligne (ou colonne) de l'image gauche puis ligne (respectivement colonne) de l'image droite et ainsi de suite) pour restituer la perception du relief, c'est-à-dire l'information de profondeur. L'ampleur d'un effet 3D ou la perception d'un relief dans une image 3D dépend directement de la disparité des images gauche et droite, c'est-à-dire de la distance (mesurable en nombre de pixels par exemple) séparant deux pixels, c'est-à-dire un pixel pour l'image gauche et un pixel de l'image droite, représentant une même information vidéo au niveau du dispositif d'affichage, c'est-à-dire représentant le même élément de la scène enregistrée. La disparité des images gauche et droite d'un film ou d'une vidéo est décidée par le réalisateur et dépend de l'écartement des caméras gauche et droite filmant la scène, ces deux caméras étant par exemple écartées d'une distance égale à 6,5 cm, qui correspond à la distance moyenne séparant les yeux d'un individu.

L'écartement choisi des caméras correspondant à une moyenne, le besoin d'adapter la disparité, c'est-à-dire d'adapter l'ampleur des effets 3D, se fait sentir pour que chaque individu qui regarde un film ou une image 3D puisse adapter la disparité des images gauche et droite formant une image 3D stéréoscopique à sa vue pour éviter ou diminuer une fatigue visuelle. Par ailleurs, des effets 3D importants peuvent gêner certains spectateurs qui cherchent alors à régler l'ampleur des effets 3D, c'est-à-dire à régler la profondeur des images. De la même manière, l'ampleur des effets 3D choisie par le réalisateur à la génération du film ou de la vidéo est adaptée pour une taille d'écran donnée, par exemple un écran de salle de cinéma, et le besoin d'adapter la disparité se fait sentir lorsque le film est affiché sur un écran de taille différente que celle de l'écran pour lequel il était destiné, par exemple un écran de taille inférieure. Pour adapter la disparité, il est connu d'utiliser la technique d'interpolation de vue avec compensation de disparité. Selon cette technique, au moins une des deux images (gauche ou droite) formant l'image stéréoscopique est remplacée par une nouvelle image obtenue par interpolation à partir des deux images originales, la disparité entre l'image interpolée remplaçant une des deux images originales (par exemple l'image droite) et l'autre image originale (par exemple l'image gauche) étant par exemple inférieure à la disparité entre les deux images originales. Un des problèmes rencontrés lors de l'interpolation est lié à la présence d'une ou plusieurs bandes latérales noires sur l'une ou les deux images gauche et droite originales. En effet, les zones de l'image de part et d'autre des bandes noires sont des zones où les informations de disparité estimées sont souvent erronées, ce qui conduit à des erreurs lors de l'interpolation de vue qui est basée sur cette information de disparité.

3. Résumé de l'invention.

L'invention a pour but de pallier au moins un de ces inconvénients de l'art antérieur. Plus particulièrement, l'invention a notamment pour objectif de réduire les défauts d'affichage stéréoscopique de séquences comprenant une ou plusieurs bandes noires.

L'invention concerne un procédé de traitement d'une image stéréoscopique, l'image stéréoscopique comprenant une première image et une deuxième image, au moins une image parmi les première et deuxième images comprenant au moins une première bande noire. Afin de réduire les défauts d'affichage liés à la au moins une première bande noire, le procédé comprend les étapes de : - estimation d'au moins un premier paramètre représentatif de la au moins une première bande noire, - génération d'une troisième image à partir de l'image stéréoscopique par interpolation compensée en disparité, la troisième image comprenant au moins une deuxième bande noire, au moins un deuxième paramètre représentatif de la au moins une deuxième bande noire étant fonction du au moins un premier paramètre. Selon une caractéristique particulière, l'étape de génération de la troisième image comprend une étape de détermination d'une information représentative de la disparité entre la première image et la deuxième image. Avantageusement, l'information représentative de disparité est déterminée en fonction du au moins un premier paramètre estimé. Selon une caractéristique spécifique, la première image, la deuxième image et la troisième image comprennent chacune une partie utile, la partie utile de la troisième image étant générée par interpolation compensée en disparité à partir des seules parties utiles desdites première et deuxièmes images, la partie utile d'une image correspondant à l'image de laquelle est retirée toute bande noire. De manière avantageuse, le au moins un deuxième paramètre est fonction d'une information représentative d'une position d'interpolation entre les première et deuxième images.

Selon une autre caractéristique, le au moins un premier paramètre et le au moins un deuxième paramètre appartiennent à un ensemble de paramètres comprenant : - paramètre représentatif de la largeur de bande noire dans une image ; et - paramètre représentatif de la valeur vidéo des pixels appartenant à une bande noire dans une image. L'invention concerne également un module de traitement d'une image stéréoscopique, ladite image stéréoscopique comprenant une première image et une deuxième image, au moins une image parmi les première et deuxième images comprenant au moins une première bande noire, le module comprenant : - des moyens pour estimer au moins un premier paramètre représentatif de la au moins une première bande noire, - des moyens pour générer une troisième image à partir de l'image stéréoscopique, la troisième image comprenant au moins une deuxième bande noire, au moins un deuxième paramètre représentatif de la au moins une deuxième bande noire étant fonction du au moins un premier paramètre. De manière avantageuse, le module comprend en outre des moyens pour déterminer une information représentative de la disparité entre la première image et la deuxième image. L'invention concerne également un dispositif d'affichage comprenant un module de traitement d'une image stéréoscopique.

4. Liste des figures.

L'invention sera mieux comprise, et d'autres particularités et avantages apparaîtront à la lecture de la description qui va suivre, la description faisant référence aux dessins annexés parmi lesquels : - la figure 1 illustre la perception de profondeur et de parallaxe par un spectateur, selon un exemple particulier de l'art antérieur ; - la figure 2 illustre une méthode d'interpolation compensée en disparité d'une image stéréoscopique, selon un exemple de mise en oeuvre particulier de l'invention ; - la figure 3 illustre schématiquement la structure d'une unité de traitement d'une image stéréoscopique de la figure 2, selon un premier mode de réalisation particulier de l'invention ; - la figure 4 illustre schématiquement la structure d'une unité de traitement d'une image stéréoscopique de la figure 2, selon un deuxième mode de réalisation particulier de l'invention ; - les figures 5 et 6 illustrent un procédé de traitement d'une image stéréoscopique de la figure 2 mis en oeuvre dans une unité de traitement de la figure 3 ou de la figure 4, selon deux modes de réalisation particuliers de l'invention.

5. Description détaillée de modes de réalisation de l'invention.

La figure 1 illustre la relation entre la profondeur perçue par un spectateur et l'effet de parallaxe entre les images gauche et droite vues par respectivement l'oeil gauche 10 et l'oeil droit 11 du spectateur regardant un dispositif ou écran d'affichage 100. Dans le cas d'un affichage séquentiel temporel d'images gauche et droite représentatives d'une même scène selon deux points de vue différent (par exemple saisies par deux caméras écartées latéralement l'une de l'autre d'une distance par exemple égale à 6,5 cm), le spectateur est équipé de lunettes actives dont les occultations de l'oeil gauche et de l'oeil droit sont synchronisées respectivement avec l'affichage des images droites et gauches sur un dispositif d'affichage du type écran LCD ou plasma par exemple. Grâce à ces lunettes, l'ceil droit du spectateur ne voit que les images droites affichées et l'oeil gauche ne voit que les images gauches. Dans le cas d'un affichage entrelacé spatialement des images gauche et droite, les lignes des images gauche et droite sont entrelacées sur le dispositif d'affichage de la manière suivante : une ligne de l'image gauche puis une ligne de l'image droite (chaque ligne comprenant des pixels représentatifs des mêmes éléments de la scène filmée par les deux caméras) puis une ligne de l'image gauche puis une ligne de l'image droite et ainsi de suite. Dans le cas d'un affichage entrelacé des lignes, le spectateur porte des lunettes passives qui permettent à l'ceil droit de ne voir que les lignes droites et à l'ceil gauche de ne voir que les lignes gauches. Dans ce cas de figure, les lignes droites selon polarisées selon une première direction et les lignes gauches selon une deuxième direction, les verres gauche et droite des lunettes passives étant polarisées en conséquence pour que le verre gauche laisse passer les informations affichées sur les lignes gauches et pour que le verre droit laisse passer les informations affichées sur les lignes droites. La figure 1 illustre un écran ou dispositif d'affichage 100 située à une distance ou profondeur Zs d'un spectateur, ou plus précisément du plan orthogonal à la direction de visualisation des yeux droit 11 et gauche 10 du spectateur et comprenant les yeux droit et gauche. La référence de la profondeur, c'est-à-dire Z=O, est formée par les yeux 10 et 11 du spectateur. Deux objets 101 et 102 sont visualisés par les yeux du spectateur, le premier objet 101 étant à une profondeur Zfront inférieure à celle de l'écran 100 (Zfront < Zs) et le deuxième objet 102 à une profondeur Zrear supérieur à celle de l'écran 100 (Zrear > Zs). En d'autres termes, l'objet 101 est vu en premier-plan par rapport à l'écran 100 par le spectateur et l'objet 102 est vu en arrière-plan par rapport à l'écran 100. Pour qu'un objet soit vu en arrière plan par rapport à l'écran, il faut que les pixels gauches de l'image gauche et les pixels droits de l'image droite représentant cet objet aient une disparité positive, c'est-à-dire que la différence de position en X de l'affichage de cet objet sur l'écran 100 entre les images gauche et droite est positive. Cette différence de position en X sur l'écran des pixels gauches et droits représentant un même objet sur les images gauche et droite correspond au niveau de parallaxe entre les images gauche et droite. La relation entre la profondeur perçue par le spectateur des objets affichés sur l'écran 100, la parallaxe et la distance à l'écran du spectateur est exprimée par les équations suivantes : Equation 1 P = ws * d Equation 2 Ncol dans lesquelles

Zp est la profondeur perçue (en mètre, m),

P est la parallaxe entre les images gauche et droite (en mètre, m), d est l'information de disparité transmise (en pixels),

te est la distance interoculaire (en mètre, m), ZS est la distance entre le spectateur et l'écran (en mètre, m), WS est la largeur de l'écran (en mètre, m),

Nuo, est le nombre de colonnes du dispositif d'affichage (en pixels). L'équation 2 permet de convertir une disparité (en pixels) en parallaxe (en mètre).

La figure 2 illustre une méthode d'interpolation compensée en disparité d'une image interpolée 22 à partir d'une première image 20 et d'une deuxième image 21 formant une image stéréoscopique, selon un exemple de réalisation particulier et non limitatif de l'invention. La première image 20 et la deuxième image 21 formant l'image stéréoscopique correspondent avantageusement à deux points de vue différents d'une même scène, les deux points de vue étant décalés spatialement. La première image 20 correspond par exemple à l'image gauche de la scène qui sera vue uniquement par l'oeil gauche 10 d'un spectateur et la deuxième image 21 correspond par exemple à l'image droite de la scène qui sera vue uniquement par l'ceil droit 11 du spectateur, la différence entre les deux tete te-p Zp = points de vue gauche et droit de la scène entraînant un effet de parallaxe à l'origine de la perception de relief dans l'image stéréoscopique. L'ampleur d'un effet 3D (c'est-à-dire à trois dimensions) qui correspond à la perception d'un relief ou d'une profondeur dans une image 3D dépend de l'ampleur de l'effet de parallaxe qui est directement lié à la disparité entre la première image 20 et la deuxième image 21. La disparité correspond à la distance mesurable en nombre de pixels séparant deux pixels (un premier pixel dans la première image et un deuxième pixel dans la deuxième image) qui représentent une même information vidéo, c'est-à-dire un même point de la scène représentée dans les première et deuxième images. On dit généralement que les deux pixels sont correspondants ou que le deuxième pixel 2101 de la deuxième image 21 est le pixel correspondant au premier pixel 2001 de la première image 20 car ils représentent tous les deux un même point de la scène. La disparité d 200 associée aux pixels 2001 et 2101 correspond au nombre de pixels séparant les pixels 2001 et 2101 qui appartiennent à une même ligne L, c'est-à-dire à la différence entre le numéro de colonne à laquelle appartient le deuxième pixel 2101 et le numéro de colonne à laquelle appartient le premier pixel 2001, les deux images 20 et 21 ayant le même nombre de colonne, la première colonne étant située à gauche des images 20 et 21. La première image 20 comprend avantageusement une première bande latérale noire 201 située à gauche de la première image 20 et une deuxième bande latérale noire 202 située à droite de la première image 20. La deuxième image 21 comprend avantageusement une première bande latérale noire 211 située à gauche de la deuxième image 21 et une deuxième bande latérale noire 212 située à droite de la deuxième image 21. Chacune de ces bandes noires 201, 202, 211 et 212 est avantageusement définie par un paramètre correspondant à la largeur en pixels de la bande noire. Selon une variante, chaque bande noire est définie par un paramètre supplémentaire correspondant à l'information vidéo (c'est-à-dire le niveau de gris) des pixels formant la bande noire, les pixels formant une bande noire ayant un niveau de gris représentatif du ton noir (niveau de gris égal à 0 par exemple dans une image où les niveaux de gris sont compris entre 0 et 255) ou d'un ton s'approchant du noir (niveau de gris égal à 5, 10 ou15 par exemple dans une image où les niveaux de gris sont compris entre 0 et 255). Dans la première image 20, la partie de l'image 203 comprise entre la bande noire gauche 201 et la bande noire droite 202 correspond à la partie utile de la première image 20, c'est-à-dire la partie comprenant l'information vidéo utile de la première image, c'est-à-dire la partie comprenant l'information vidéo représentative de la scène saisie. Dans la deuxième image 21, la partie de l'image 213 comprise entre la bande noire gauche 211 et la bande noire droite 212 correspond à la partie utile de la deuxième image 21, c'est-à-dire la partie comprenant l'information vidéo utile de la deuxième image 21. Les bandes noires de chacune des images 20 et 21 sont avantageusement rajoutées avant affichage des images sur un dispositif d'image, par exemple pour pouvoir afficher les images sur différents dispositifs d'affichage ayant des formats d'écrans différents, c'est-à-dire des rapports entre hauteur et largeur de l'écran différents (par exemple 4/3 ou 16/9). Des bandes noires sont rajoutées pour palier certains problèmes de rendu d'images stéréoscopiques comportant des erreurs de fenêtre, c'est-à-dire des erreurs liées au rendu d'un ou plusieurs objets de l'image ayant une profondeur inférieure à celle de l'écran d'affichage (dits aussi objets jaillissants) et dont une partie est coupée par un des bords de l'image. Ce type d'objet engendre une gêne pour le spectateur qui reçoit deux informations contradictoires : le spectateur perçoit l'objet dans un plan situé devant le plan de l'écran alors que l'objet est coupé par le bord de l'écran situé par définition dans le plan de l'écran. Pour palier les problèmes d'erreur de fenêtre, une bande noire est insérée dans l'image au niveau du bord de l'image où l'erreur survient de manière à ce que les objets de premier plan quittent l'écran au même instant sur le bord (droit ou gauche) de la première image 20 que sur le même bord (respectivement droit ou gauche) de la deuxième image 21. Cela revient à créer une fenêtre virtuelle au niveau de l'objet le plus proche du spectateur (c'est-à-dire l'objet ayant la plus petite profondeur), cette fenêtre virtuelle étant dénommée fenêtre flottante (de l'anglais « floating window »). Un exemple d'insertion de fenêtre flottante dans un contenu vidéo 3D est décrit dans le brevet US 5847870 publié le 8 décembre 1998.

De manière avantageuse, les bandes noires gauches 201 et 211 de la première image 20 et de la deuxième image ont des largeurs différentes et les bandes noires droites de la première image 20 et de la deuxième image 21 ont des largeurs différentes. Selon une variante, les bandes noires gauches 201 et 211 sont de même largeur et/ou les bandes noires droites 202 et 212 sont de même largeur. Selon une autre variante, la première image 20 comprend une seule bande noire, par exemple la bande noire gauche 201 ou la bande noire droite 202.

Selon encore une variante, la deuxième image 21 comprend une seule bande noire, par exemple la bande noire gauche 211 ou la bande noire droite 212. En résumé, au moins une des deux images 20 et 21 comprend au moins une bande noire 201, 202, 211, 212.

Avantageusement, les bandes noires 201, 202, 211 et 212 des première et deuxième images 20 et 21 ont une forme rectangulaire, c'est-à-dire que la largeur d'une bande noire est constante sur l'ensemble des lignes d'une image. Selon une variante, les bandes noires 201, 202, 211 et 212 ont une forme de type trapézoïdale, c'est-à-dire que la largeur de la bande noire en haut de l'image est supérieure à la largeur de la bande noire en bas de l'image, ou inversement, la variation de largeur d'une ligne à l'autre de l'image étant linéaire. Selon une autre variante, la forme des bandes noires 201, 202, 211 et 212 est quelconque, par exemple en forme de créneau ou d'onde, c'est-à-dire que la largeur de la bande noire varie d'une ligne à une autre ou d'un groupe de lignes à un autre groupe de lignes. Une troisième image 22 est générée à partir des première 20 et deuxième 21 images formant l'image stéréoscopique. Cette troisième image 22 est avantageusement obtenue par interpolation compensée en disparité à partir de la première image 20 et de la deuxième image 21. L'interpolation d'image avec des cartes de disparité (une carte de disparité correspond à une carte formée d'une valeur de disparité associée à chaque pixel d'une image) consiste en l'interpolation d'une image intermédiaire à partir d'une ou plusieurs images de référence prenant en compte la disparité des pixels entre les images. En effet, tel que décrit en regard de la figure 1, une image stéréoscopique affichée sur un écran 2 est obtenue par combinaison d'une image gauche et d'une image droite, les images gauche et droite étant représentatives d'une même scène mais avec deux points de vue différents. Il en résulte qu'un même objet visualisé sur les images gauche et droite apparaît sur chacune de ces images mais avec une position spatiale différente sur chaque image. L'objet saisi apparaît ainsi sur l'image droite avec une position en x donnée et le même objet apparaît sur l'image gauche avec une position en x décalée de plusieurs pixels. Ce décalage spatial correspond à la disparité de l'image stéréoscopique résultant de la combinaison des images droite et gauche, combinaison faite par le cerveau humain et permettant de percevoir du relief. Ainsi, en partant d'une image gauche de référence (ou d'une image droite de référence) d'une paire d'images gauche et droite de référence, il est possible de générer une nouvelle image gauche (respectivement une nouvelle image droite) par interpolation avec une disparité modifiée. La combinaison de la nouvelle image gauche générée (ou respectivement la nouvelle image droite générée) avec l'image droite de référence (respectivement avec l'image gauche de référence) permet d'obtenir une image stéréoscopique résultante avec une information de profondeur (associée à la disparité) modifiée en conséquence. Grâce à la troisième image générée, il est possible de former une nouvelle image stéréoscopique, formée à partir de l'une des deux images de référence (les images de référence correspondant à la première image 20 et à la deuxième image 21 à la figure 2) et de la troisième image 22 qui remplace l'autre des deux images initiales. Par exemple, la nouvelle image stéréoscopique est formée à partir de la première image 20 et de la troisième image 22 qui remplace la deuxième image 21. Selon un autre exemple, la nouvelle image stéréoscopique est formée à partir de la deuxième image 21 et de la troisième image 22 qui remplace la première image 21. Selon une variante, deux troisièmes images sont générées à partir des première 20 et deuxième 21 images, l'une des deux troisièmes images remplaçant la première image 21 et l'autre des deux troisièmes images remplaçant la deuxième image 21 pour former une nouvelle image stéréoscopique.

L'interpolation d'image requiert la projection de la première image 20 ou de la deuxième 21, dites aussi images de référence sur la troisième image 22, dite image interpolée, le long de vecteurs de disparité qui relient les première 20 et deuxième 21 images de références. Pour obtenir le pixel interpolé 2201 de la troisième image 22 par interpolation du premier pixel 2001 de la première image 20, il est nécessaire de calculer la carte de disparité pour la troisième image 22 en projetant la carte de disparité complète de la première image 20 sur la troisième image 22 et d'assigner les valeurs de disparité aux pixels de la troisième image 22. Le calcul de la carte de disparité est réalisé pour un nombre de pixels représentatifs de la première image 20 inférieur ou égal au nombre total de pixels de la première image 20. Le premier pixel 2011 de la première image 20 possède la valeur de disparité d(P1). Le deuxième pixel 2101 correspondant dans la deuxième image 21 est défini par P1 + d(P1) et est localisé sur la même ligne L (il n'y a pas de déplacement vertical). Le pixel 2201 correspondant dans la troisième image 22 est défini par P1 +a.d(P1), où le facteur a est avantageusement compris entre 0 et 1. Une fois la carte de disparité obtenue pour la troisième image 22 interpolée, une interpolation inter-images (c'est à dire entre la première image 20 et la deuxième image 21) est réalisée le long des vecteurs de disparité pour obtenir les valeurs de niveau de gris à assigner aux pixels (par exemple le pixel 2201) de la troisième image 22 interpolée. La troisième image 22 interpolée comprend une bande noire gauche 221 et une bande noire droite 222. La bande noire gauche 221 est avantageusement déterminée en prenant en compte les paramètres relatifs à la largeur de la bande noire gauche 201 de la première image 20 et à la largeur de la bande noire gauche 211 de la deuxième image 21. Si la largeur de la bande noire gauche 201 vaut par exemple 30 pixels, si la largeur de la bande noire gauche 211 vaut par exemple 10 pixels et si le facteur a vaut par exemple 0.5 alors la largeur de la bande noire gauche vaudra (1 - 0.5)*30 + 0.5*10, soit 20 pixels. De la même manière, la bande noire droite 222 de la troisième image 22 est déterminée en prenant en compte le paramètre représentatif de la largeur de chacune des bandes noires droites 202, 212 de la première image 20 et de la deuxième image 21. L'équation permettant de déterminer la largeur de chacune des bandes noires de l'image interpolée à partir des images de références (c'est-à-dire les première et deuxième images) est la suivante : Largeur ViBx = (1 - a) * Largeur VgBx + a * Largeur VdBx Equation 3 20 Où : x vaut gauche ou droite, Bx signifiant alors Bande gauche ou Bande droite selon le cas ; ViBx signifie Vue interpolée Bande x (gauche ou droite) ; VgBx signifie Vue gauche Bande x (gauche ou droite) ; et 25 VdBx signifie Vue droite Bande x (gauche ou droite). Selon une variante, la largeur de la ligne dépend aussi de la ligne de l'image, par exemple lorsque la bande noire n'est pas de forme rectangulaire, la largeur de la bande noire variant d'une ligne à l'autre de l'image ou d'un groupe de plusieurs lignes à un autre groupe de plusieurs lignes de l'image. 30 Une fois la largeur des bandes noires 221 et 222 de la troisième image déterminées à partir des bandes noires des première et deuxième images, l'insertion des bandes noires 221 et 222 avec les largeurs appropriées est forcée dans la troisième image 22. Il n'est alors plus nécessaire de déterminer les bandes noires de la troisième image par interpolation, ce qui 35 offre l'avantage d'éviter tous les problèmes liés à l'interpolation des bandes noires. Les bandes noires insérées par forçage et déterminées à partir des bandes noires des première et deuxième images offrent par exemple l'avantage d'avoir des bords nets et/ou droits, c'est-à-dire que la frontière verticale entre la bande noire (gauche 221 ou droite 222) d'une part et la partie utile 223 de la troisième image 22 est franche, aucun point noir ne débordant de la bande noire dans la partie utile et aucun point de la partie utile ne débordant dans la bande noire, ce qui arrive lorsque les bandes noires de l'image interpolée sont déterminées par interpolation à partir des images de référence incluant les bandes noires des images de référence. Selon l'exemple de mise en oeuvre de l'invention décrit en regard de la figure 2, l'interpolation compensée en disparité à partir des première et deuxième images pour obtenir la troisième image ne se fait qu'à partir des parties utiles (respectivement 203 et 213) de chacune des première 20 et deuxième 21 images pour obtenir la partie utile 223 de la troisième image 22 interpolée. Selon une variante, un paramètre représentatif de la valeur vidéo des pixels formant les bandes noires gauche 221 et droite 222 de la troisième image 21 interpolée est déterminé à partir d'un paramètre représentatif de la valeur vidéo des pixels des bandes noires gauche 201, 211 et droite 202, 212 de respectivement la première image 20 et de la deuxième image 21 de manière similaire que pour la détermination de leur largeur. L'équation permettant de déterminer la valeur vidéo pour chaque pixel des bandes noires de la troisième image est la suivante : Valeur ViBx = (1 - a) * Valeur VgBx + a * Valeur VdBx Equation 4 Où : x vaut gauche ou droite, Bx signifiant alors Bande gauche ou Bande droite selon le cas ; ViBx signifie Vue interpolée Bande x (gauche ou droite) ; VgBx signifie Vue gauche Bande x (gauche ou droite) ; et VdBx signifie Vue droite Bande x (gauche ou droite). Selon une autre variante, la valeur vidéo des bandes noires de la troisième image 22 est forcée à une valeur déterminée, par exemple 0, 5 ou10 si l'échelle des niveaux de gris de l'image s'étend de 0 à 255.

La figure 3 illustre schématiquement un premier exemple de réalisation matérielle d'une unité de traitement d'images 3, selon un mode de réalisation particulier et non limitatif de l'invention. L'unité de traitement 3 prend par exemple la forme d'un circuit logique programmable de type FPGA (de l'anglais « Field-Programmable Gate Array » ou en français « Réseau de portes programmables ») par exemple, ASIC (de l'anglais « Application- Specific Integrated Circuit » ou en français « Circuit intégré à application spécifique ») ou d'un DSP (de l'anglais « Digital Signal Processor » ou en français « Processeur de signal numérique »). L'unité de traitement 3 comprend les éléments suivants : - un détecteur de bandes noires 30 ; - un estimateur de disparité 31 ; - un interpolateur 32 ; et - des bus de données 310, 311, 312, 313, 314, 315, 316 et 317. Un premier signal 11 référence 300 représentatif de la première image 20 et un deuxième signal 12référence 301 représentatif de la deuxième image 21, par exemple acquis par respectivement un premier dispositif d'acquisition et un deuxième dispositif d'acquisition, sont fournis en entrée de l'unité de traitement 3 à un détecteur de bandes noires 30 via deux bus de données 314 et 315 d'une part et à un estimateur de disparité 31 via deux bus de données 310 et 311 d'autre part. Pour chaque bande noire de la première image 20 et de la deuxième image 21, le détecteur de bandes noires 31 estime des premiers paramètres représentatifs des bandes noires, par exemple une information représentative de la largeur des bandes noires et une information représentative de la valeur vidéo des pixels composant les bandes noires. On retrouve en sortie du détecteur de bandes noires 30 des premiers paramètres 3001 représentatifs de la bande gauche de chaque image de référence 20 et 21 et des premiers paramètres 3002 représentatifs de la bande droite de chaque image de référence 20 et 21. Ces premiers paramètres 3001 et 3002 sont transmis à un interpolateur 32 via respectivement le bus de données 316 et le bus de données 317. A partir du premier signal 11 référence 300 et du deuxième signal 12référence 301, l'estimateur de disparité détermine une carte de disparité associée à une des images de référence 20 et 21. L'information représentative de la carte de disparité est ensuite transmise à l'interpolateur 32 via le bus de données 312, ainsi que le premier signal 11 référence 300 et le deuxième signal 12référence 301. L'interpolateur génère la troisième image 22 à partir des deux images de référence 20 et 21 et insère dans cette troisième image 22 des bandes noires gauche et droite à partir de deuxièmes paramètres les représentants. Ces deuxièmes paramètres correspondent par exemple à la largeur de chacune des bandes gauche et droite de la troisième image 22 déterminées à partir des informations de largeur des bandes noires gauche et droite des images de référence 20 et 21 et à la valeur vidéo des pixels des bandes noires gauche et droite de la troisième image 22 déterminée à partir de la valeur vidéo des bandes noires gauche et droite des images de référence 20 et 21. On retrouve en sortie de l'interpolateur 32 un troisième signal 13;nt 302 représentatif de la troisième image 22 interpolée, dont la partie utile a été estimée par interpolation compensée en disparité à partir des parties utiles de chacune des première et deuxième images et dont les deuxièmes paramètres représentatifs des bandes noires ont été déterminés à partir des premiers paramètres 3001 et 3002 représentatifs des bandes noires gauche et droite des première 20 et deuxième 21 images. Le troisième signal 302 est alors transmis avec au moins un des deux signaux d'entrée 300 et 301 (ou avec un deuxième troisième signal dans le cas où chacune des images d'entrée est remplacée par une image interpolée) à un dispositif d'affichage (non représenté) pour le rendu d'une image stéréoscopique avec des informations de profondeur modifiées par rapport à l'image stéréoscopique d'entrée formée des première 20 et deuxième 21 images. L'unité de traitement comprend avantageusement une ou plusieurs mémoires (par exemple de type RAM (de l'anglais « Random Access Memory » ou en français « Mémoire à accès aléatoire ») ou flash) aptes à mémoriser une ou plusieurs images de références et une unité de synchronisation permettant de synchroniser la transmission de l'image de référence mise en mémoire et la transmission de la troisième image au dispositif d'affichage pour le rendu de la nouvelle image stéréoscopique, dont la disparité a été modifiée. Selon une variante, le détecteur de bandes noires 30 ne détecte par les valeurs vidéos des pixels formant les bandes noires des images de référence 20 et 21, notamment dans le cas où la valeur vidéo des pixels des bandes noires de la troisième image est forcée à une valeur prédéterminée. Selon une autre variante, l'unité de traitement 3 ne comprend pas d'estimateur de disparité. Selon cette variante, l'interpolateur reçoit les signaux des images de référence 300 et 301, une information représentative de la carte de disparité comprenant les informations de disparité entre la première image 20 et la deuxième image 21 pour tout ou partie des pixels de la première image 20 étant associée au premier signal 11 référence 300. Selon une variante, une information représentative de la carte de disparité est associée au deuxième signal 12référence 301, la carte de disparité représentant la disparité entre les pixels de la deuxième image 21 et ceux de la première image 20. Selon une autre variante, le premier signal 300 et le deuxième signal 301 sont chacun associés à une information représentative d'une carte de disparité.

La figure 4 illustre schématiquement un deuxième exemple de réalisation matérielle d'une unité de traitement d'images 4, selon un mode de réalisation particulier et non limitatif de l'invention. L'unité de traitement d'images 4 comprend les mêmes éléments que l'unité de traitement 3 de la figure 3, les signes de références des éléments identiques aux deux figures 3 et 4 étant identiques. La différence entre l'unité de traitement 4 et l'unité de traitement 3 est que dans l'unité de traitement 4, les premiers paramètres 3001 et 3002 représentatifs des bandes noires des première 20 et deuxième 21 images sont transmis à l'estimateur de disparité par l'intermédiaire d'un ou plusieurs bus de données 401, 402. De manière avantageuse, l'estimateur de disparité 31 utilise les paramètres représentatifs des bandes noires des images de référence pour ne pas prendre en compte les bandes noires dans l'estimation de disparité entre la première image 20 et la deuxième image 21. Ainsi, l'estimateur de disparité n'estime la disparité que sur la partie utile 203, 213 de chacune des images de référence 20, 21. Ne pas prendre en compte les bandes noires pour l'estimation de disparité offre l'avantage de ne pas mettre en correspondance par erreur un pixel d'une bande noire d'une première image avec un pixel avec un pixel de la partie utile de la deuxième image (dont la valeur vidéo pourrait être proche de celle du pixel de la bande noire), ce qui est générateur d'erreur au niveau de l'estimation de disparité associée à ce pixel de la première image par exemple. En évitant ce genre d'erreur, on évite d'avoir des échos de la bande noire dans la partie utile de l'image interpolée, c'est-à-dire qu'on évite que des pixels « noirs » (dont la valeur vidéo est proche du noir) n'apparaissent dans la partie utile de l'image interpolée, c'est-à-dire de la troisième image 22.

Selon une variante, la disparité des bandes noires est forcée en sortie de l'estimateur de disparité avec les valeurs suivantes : Disparité bande noire gauche = Largeur VdBg - Largeur VgBg Equation 5 Disparité bande noire droite = largeur VdBd - Largeur VgBd Equation 6 avec VdBg signifiant Bande gauche de la Vue droite (vue droite correspondant à la première image 20 par exemple), VgBg signifiant Bande gauche de la Vue gauche (vue gauche correspondant à la deuxième image 21 par exemple), VdBd signifiant Bande droite de la Vue droite et VgBd signifiant Bande droite de la Vue gauche. Selon une autre variante, les bords des images sont initialisés avec la disparité des bandes noires (estimée à partir des équations 5 et 6 précédentes), l'estimateur de disparité fonctionnant alors sur toute l'image (bandes noires + partie utile) sans pour autant générer d'erreur d'estimation de disparité liée à la présence des bandes noires. Dans tous les cas de figure, la prise en compte des paramètres représentatifs des bandes noires des images de référence permet de produire une carte de disparité sans erreur liée à la présence des bandes noires à l'interpolateur 32. Les échos dans la partie utile de la troisième image générée par interpolation compensée en disparité sont donc largement réduits, voire totalement supprimés. De la même manière, les échos de la partie utile dans les bandes noires (pixels plus clairs, résultant d'une mauvaise association des pixels des première et deuxième images dans l'estimation de disparité, dans les bandes noires, c'est-à-dire des pixels porteurs d'une valeur vidéo de la partie utile dans les bandes noires) sont également évités.

La figure 5 illustre un procédé de traitement d'une image stéréoscopique mis en oeuvre dans une unité de traitement 3 ou 4, selon un premier exemple de mise en oeuvre non limitatif particulièrement avantageux de l'invention. Au cours d'une étape d'initialisation 50, les différents paramètres de l'unité de traitement sont mis à jour. Ensuite, au cours d'une étape 51, un premier paramètre représentatif d'une première bande noire de l'image stéréoscopique est estimé. L'image stéréoscopique comprend une première image 20, par exemple une image représentative d'une scène acquise selon un premier point de vue correspondant à la vue gauche de la scène et une deuxième image 21, par exemple une image représentative de la même scène que la première image 20 mais acquise selon un deuxième point de vue différent du premier point de vue correspondant à la vue droite de la scène. La première image 20 et la deuxième image 21 formant l'image stéréoscopique sont également appelées images de référence. Au moins une des images de référence comprend une première bande noire, par exemple la première image comprend une première bande noire située à gauche de l'image.

Selon un autre exemple, chaque image de référence comprend une première bande noire, à droite ou à gauche de l'image. Selon encore un exemple, chaque image de référence comprend une première bande noire gauche et une première bande noire droite situées respectivement à gauche et à droite de l'image de référence. Au cours de l'étape 51, un premier paramètre est estimé pour chaque première bande noire, par exemple un premier paramètre pour la première bande noire gauche de la première image, un premier paramètre pour la première bande noire droite de la première image, un premier paramètre pour la première bande noire gauche de la deuxième image et un premier paramètre pour la première bande noire droite de la deuxième image. Le premier paramètre correspond avantageusement à la largeur en pixel de la première bande noire lorsque cette dernière a une largeur constante sur toute la hauteur de l'image. Lorsque la largeur d'une bande noire n'est pas constante sur toute la hauteur de l'image, le premier paramètre correspond à une pluralité de largeurs en pixel de la première bande noire, le nombre de largeurs dépendant de la forme de la bande noire. Selon une variante, le premier paramètre correspond à la position de la première bande noire dans l'image, par exemple un indice de colonne de l'image si l'on considère que l'image correspond à une matrice de 1 lignes * m colonnes. Selon cette variante, l'indice de colonne indiquant la position de la première bande noire correspond au dernier indice de colonne dont les pixels appartiennent à la bande noire pour la première bande noire gauche et au premier indice de colonne dont les pixels appartiennent à la bande noire pour la première bande noire droite, la colonne de l'image la plus à gauche de l'image ayant le 1 er indice (par exemple 0) et la colonne de l'image la plus à droite de l'image ayant le dernier indice ou indice le plus élevé (par exemple 1919). Selon une autre variante, plusieurs premiers paramètres sont représentatifs d'une première bande noire, les premiers paramètres appartenant à un ensemble de paramètres comprenant : - les paramètres représentatifs de la largeur de la bande noire (largeur en pixel ou indice de colonne indiquant la position de la bande noire) ; et - les paramètres représentatifs de la valeur vidéo des pixels formant une bande noire, par exemple le niveau de gris associé à chaque couleur composante d'un pixel (par exemple rouge, vert et bleu).

Puis, au cours d'une étape 52, une troisième image 22 est générée à partir de l'image stéréoscopique par interpolation compensée en disparité à partir des première et deuxième images formant l'image stéréoscopique. Selon que les première et deuxième images comprennent 0, 1 ou 2 premières bandes noires, la troisième image comprend zéro, une ou deux deuxièmes bandes noires, situées à gauche et/ou à droite de la troisième image. La ou les deuxièmes bandes noires de la troisième image sont représentées par un ou plusieurs deuxièmes paramètres qui sont fonction du ou des premiers paramètres respectivement, c'est-à-dire qui sont déterminées à partir du ou des premiers paramètres. Si la ou les premières bandes noires des images de référence sont représentées par un premier paramètre correspondant à la largeur de la ou les premières bandes noires, alors la ou les deuxièmes bandes noires de la troisième image sont représentées par un deuxième paramètre correspondant à la largeur. Si la ou les premières bandes noires des images de référence sont représentées par un premier paramètre correspondant à la position de la ou les premières bandes noires, alors la ou les deuxièmes bandes noires de la troisième image sont représentées par un deuxième paramètre correspondant à la position. Si la ou les premières bandes noires des images de référence sont représentées par un premier paramètre correspondant à la valeur vidéo des pixels de la ou les premières bandes noires, alors la ou les deuxièmes bandes noires de la troisième image sont représentées par un deuxième paramètre correspondant à la valeur vidéo des pixels de la ou les deuxièmes bandes noires. De manière avantageuse, l'interpolation compensée en disparité est effectuée à partir des pixels de la partie utile de chacune des images de référence, c'est-à-dire en excluant la ou les premières bandes noires des images de référence dont les bandes noires ont été estimées. L'information relative à la ou les deuxièmes bandes noires de la troisième image issue de l'interpolation compensée en disparité à partir des images de référence est rajoutée en fin du processus d'interpolation. Selon une variante, l'interpolation est effectuée sur tout le contenu des images de référence, c'est-à-dire sur la partie utile de chacune des images de référence et sur les premières bandes noires des images de référence. Selon cette variante, si pour un pixel interpolé donné l'interpolation conduit à rechercher l'information vidéo dans une première bande noire des images de référence, alors la valeur vidéo de ce pixel ne prend en compte que la valeur vidéo du pixel de l'image de référence situé dans la partie utile de cette image de référence en excluant donc le pixel de l'autre image de référence. Selon cette variante, l'information relative à la ou les deuxièmes bandes noires de la troisième image interpolée est rajoutée en fin du processus d'interpolation. La prise en compte des premiers paramètres représentatifs des premières bandes noires des images de référence pour l'estimation de deuxièmes paramètres représentatifs des deuxièmes bandes noires de la troisième image interpolée offre l'avantage de fournir des deuxièmes bandes noires dans la troisième image interpolée aux bords bien nets (correspondant aux séparations entre le ou les deuxièmes bandes noires d'une part et la partie utile de la troisième image d'autre part). De plus, le ou les deuxièmes paramètres représentatifs de la ou les deuxièmes bandes noires de la troisième image ne sont basés que sur le ou les premiers paramètres représentatifs de la ou les premières bandes noires des images de référence, sans interférence avec la partie utile des images de référence.

Avantageusement, le ou les deuxièmes paramètres représentatifs de la ou les deuxièmes bandes noires sont fonction d'une information représentative de la position d'interpolation entre les première 20 et deuxième 21 images. L'information représentative de la position d'interpolation correspond à un facteur d'interpolation, noté a dans l'équation 4. Ce facteur est avantageusement compris entre 0 et 1. Selon une variante, ce facteur est fixé à l'avance et vaut par exemple 0,5. De manière avantageuse, l'information de disparité associée à au moins une des images de référence est avantageusement reçue d'un estimateur de disparité. Selon une variante, l'information de disparité est reçue directement du dispositif d'acquisition ayant servi à l'acquisition des première et deuxième images de référence. Les étapes d'estimation 51 d'au moins un premier paramètre et de génération 52 d'une troisième image par interpolation compensée en disparité sont avantageusement réitérées pour chaque image stéréoscopique d'une séquence vidéo comprenant plusieurs images stéréoscopiques, chaque image stéréoscopique étant formée d'une première image et d'une deuxième image, auxquelles sont associées ou non une carte de disparité.

La figure 6 illustre un procédé de traitement d'une image stéréoscopique mis en oeuvre dans une unité de traitement 3 ou 4, selon un deuxième exemple de mise en oeuvre non limitatif particulièrement avantageux de l'invention.

Au cours d'une étape d'initialisation 60, les différents paramètres de l'unité de traitement sont mis à jour. Ensuite, au cours d'une étape 51, identique à celle décrite en regard de la figure 5, au moins un premier paramètre représentatif d'au moins une première bande noire de l'image stéréoscopique est estimé. Puis, au cours d'une étape 61, une information représentative de la disparité entre la première image 20 et la deuxième image 21 est déterminée. De manière avantageuse, l'information de disparité est déterminée en fonction du premier paramètre de chaque bande noire détectée dans la première image 20 et/ou la deuxième image 21, c'est-à-dire que l'information de disparité associée aux bandes noires est déterminée à partir des équations 2 et 3, l'information de disparité associée aux parties utiles 203, 213 des première 20 et deuxième 21 images étant déterminée en ne s'appuyant que sur les parties utiles 203, 213. Estimer la disparité en distinguant les bandes noires d'une part et la partie utile d'autre part offre l'avantage d'éviter les erreurs d'estimations de disparité apparaissant lorsqu'un pixel d'une image de référence est mis en correspondance de manière erronée avec un pixel de la partie utile de l'autre image de référence. Selon une variante, l'estimation de disparité est effectuée sur la totalité des première et deuxième images sans faire la distinction entre partie utile des images et bandes noires. Enfin, au cours d'une étape 52, identique à celle décrite en regard de la figure 5, la troisième image 22 est générée par interpolation compensée en disparité à partir des première 20 et deuxième 21 images formant l'image stéréoscopique. Les étapes 51, 61 et 62 sont avantageusement réitérées pour chaque image stéréoscopique d'une séquence vidéo comprenant plusieurs images stéréoscopiques, chaque image stéréoscopique étant formée d'une première image et d'une deuxième image, auxquelles est associée ou non une carte de disparité.

Bien entendu, l'invention ne se limite pas aux modes de réalisation décrits précédemment. En particulier, l'invention n'est pas limitée à un procédé de traitement d'images mais s'étend à l'unité de traitement mettant en oeuvre un tel procédé et au dispositif d'affichage comprenant une unité de traitement mettant en oeuvre le procédé de traitement d'images.

De manière avantageuse, l'image stéréoscopique à partir de laquelle est générée la troisième image comprend plus de deux images, par exemple trois, quatre, cinq ou dix images, chaque image correspondant à un point de vue différent d'une même scène, l'image stéréoscopique étant alors adaptée à un affichage auto-stéréoscopique. Une troisième image est générée par interpolation compensée en disparité à partir d'un couple d'images de l'image stéréoscopique, générant un nouveau point de vue de la scène. Selon une variante, plusieurs troisièmes images sont générées par interpolation compensée en disparité à partir des première et deuxième images, notamment pour un affichage auto-stéréoscopique de la scène représentée par l'image stéréoscopique. Selon cette variante, le facteur d'interpolation a prend autant de valeurs qu'il y a de troisièmes images à générer, par exemple les valeurs 0.2, 0.4, 0.6 et 0.8.15

Claims (9)

1. REVENDICATIONS1. Procédé de traitement d'une image stéréoscopique, ladite image stéréoscopique comprenant une première image (20) et une deuxième image (21), au moins une image parmi lesdites première (20) et deuxième (21) images comprenant au moins une première bande noire (201, 202, 211, 212), caractérisé en ce que le procédé comprend les étapes de : - estimation (51) d'au moins un premier paramètre représentatif de ladite au moins une première bande noire (201, 202, 211, 212), - génération (52) d'une troisième image (22) à partir de ladite image stéréoscopique par interpolation compensée en disparité, ladite troisième image (22) comprenant au moins une deuxième bande noire (221, 222), au moins un deuxième paramètre représentatif de ladite au moins une deuxième bande noire (221, 222) étant fonction du au moins un premier paramètre.
2. 2. Procédé selon la revendication 1, caractérisé en ce que l'étape de génération de la troisième image (22) comprend une étape de détermination (61) d'une information représentative de la disparité entre la première image (20) et la deuxième image (21).
3. 3. Procédé selon la revendication 2, caractérisé en ce que l'information représentative de disparité est déterminée en fonction du au moins un 25 premier paramètre estimé.
4. 4. Procédé selon l'une des revendications 1 à 3, caractérisé en ce que la première image (20), la deuxième image (21) et la troisième image (22) comprennent chacune une partie utile (203, 213, 223), la partie utile (223) de 30 la troisième image (22) étant générée par interpolation compensée en disparité à partir des seules parties utiles (203, 213) desdites première (20) et deuxième (21) images, la partie utile d'une image (203, 213, 223) correspondant à l'image (20, 21, 22) de laquelle est retirée toute bande noire (201, 202, 211, 212, 221, 222). 35
5. 5. Procédé selon la revendication 4, caractérisé en ce que le au moins un deuxième paramètre est fonction d'une information représentative d'uneposition d'interpolation (220) entre lesdites première (20) et deuxième (21) images.
6. 6. Procédé selon l'une quelconque des revendications 1 à 5, caractérisé en ce que le au moins un premier paramètre et le au moins un deuxième paramètre appartiennent à un ensemble de paramètres comprenant : - paramètre représentatif de la largeur de bande noire dans une image ; et - paramètre représentatif de la valeur vidéo des pixels appartenant à 10 une bande noire dans une image.
7. 7. Module de traitement (3, 4) d'une image stéréoscopique, ladite image stéréoscopique comprenant une première image (20) et une deuxième image (21), au moins une image parmi lesdites première et deuxième images 15 comprenant au moins une première bande noire (201, 202, 211, 212), caractérisé en ce que le module comprend : - des moyens (30) pour estimer au moins un premier paramètre représentatif de ladite au moins une première bande noire (201, 202, 211, 212), 20 - des moyens (32) pour générer une troisième image à partir de ladite image stéréoscopique, ladite troisième image (22) comprenant au moins une deuxième bande noire (221, 222), au moins un deuxième paramètre représentatif de ladite au moins une deuxième bande noire étant fonction du au moins un premier paramètre. 25
8. 8. Module selon la revendication 7, caractérisé en ce qu'il comprend en outre des moyens (31) pour déterminer une information représentative de la disparité entre la première image et la deuxième image. 30
9. 9. Dispositif d'affichage comprenant un module de traitement (3, 4) d'une image stéréoscopique selon l'une des revendications 7 à 8.