FR3011368A1

FR3011368A1 - Procede et dispositif pour le renforcement de la forme des bords pour l'amelioration visuelle du rendu base sur des images de profondeur d'un flux video en trois dimensions

Info

Publication number: FR3011368A1
Application number: FR1459163A
Authority: FR
Inventors: Marco Grangetto; Maurizio Lucenteforte; Andrea Basso; Giovanni Ballocca; Farid Muhammad Shahid
Original assignee: Sisvel Technology SRL
Current assignee: Sisvel Technology SRL
Priority date: 2013-09-30
Filing date: 2014-09-29
Publication date: 2015-04-03
Anticipated expiration: 2034-09-29
Also published as: US10049502B2; ITTO20130784A1; GB2520162B; KR20150037668A; CN104519348B; DE102014114061A9; DE102014114061A1; FR3011368B1; CN104519348A; US20150091899A1; GB201416853D0; GB2520162A

Abstract

La présente invention concerne un procédé pour la correction des bords d'images d'un contenu vidéo en trois dimensions, ledit contenu vidéo comprenant au moins une image de vue originale et au moins une carte de profondeur ou disparité, le procédé comprenant les étapes suivantes : - la détection (42) des bords dans ladite au moins une image de vue originale pour obtenir des bords originaux ; - la déformation (43) desdits bords originaux suivant ladite carte de profondeur ou disparité ; - la détection (44) d'un ensemble de bords déformés altérés par le processus de déformation ; - la correction (45) desdits bords altérés pour obtenir des bords corrigés.

Description

PROCEDE ET DISPOSITIF POUR LE RENFORCEMENT DE LA FORME DES BORDS POUR L'AMELIORATION VISUELLE DU RENDU BASE SUR DES IMAGES DE PROFONDEUR D'UN FLUX VIDEO EN TROIS DIMENSIONS La présente invention concerne un procédé et un dispositif pour le renforcement de la forme des bords pour l'amélioration visuelle du rendu basé sur des images de profondeur d'un flux vidéo en trois dimensions. Les récents progrès dans le domaine des technologies de visualisation 3D ont 5 amené avec eux une série de problématiques techniqùes qui doivent être résolues pour garantir le succès de la TV 3D. Diverses techniques ont été proposées afin de réaliser des procédés efficaces de codage, transmission et rendu. En raison des contraintes concernant le débit de données disponible pour la transmission de vues multiples, seules peu de vues originales peuvent être transmises avec les profondeurs 10 respectives, alors que les autres vues intermédiaires sont générées à partir des vues disponibles, avec des profondeurs obtenues au moyen de techniques de rendu basées sur des images de profondeur (DIBR, rendu basé sur des images de profondeur). Pour faire le rendu des vues intermédiaires, deux ou trois vues avec les profondeurs respectives sont normalement utilisées. Le but de n'importe quelle technique DIBR 15 consiste à obtenir une qualité visuelle élevée dans les vues virtuelles. Il s'agit d'un résultat difficile à atteindre si les profondeurs sont imprécises à cause d'erreurs d'estimation ou de mesure, de quantification e/ou de compression avec perte de données. Presque toutes les techniques de synthèse des vues opèrent en deux phases : 20 au début, les vues originales sont déformées et amalgamées ensemble pour générer une vue intermédiaire ; les régions manquantes dans la vue intermédiaire sont donc récupérées avec divers procédés de retouche (inpainting). La nouvelle position de chaque pixel dépend de sa profondeur et de paramètres des caméras. Une petite erreur de profondeur peut entraîner une variation considérable dans la position finale 25 du pixel. La deuxième phase de synthèse des vues est connue comme remplissage des vides ou retouche. Le cas le plus typique est représenté par la génération d'une vue intermédiaire entre deux vues originales, c'est-à-dire les vues gauche et droite accompagnées des cartes de profondeur correspondantes.

Avec VI et Vr sont indiquées les deux vues d'entrée avec les profondeurs respectives D1, Dr, qui sont quantifiées en nombres entiers à 8 bits. Avec Zr, et Zf sont indiquées les profondeurs plus proche et plus éloignée. La configuration plus commune des caméras sera obtenue avec des caméras horizontales ayant une longueur focale f, où b1, br sont respectivement les positions des caméras gauche et droite. Habituellement, b = br - b1 est utilisé comme ligne de base des caméras. Avec V. est indiquée la vue virtuelle intermédiaire à estimer. La position de la caméra virtuelle pour V', sera b', = b, +-b br 2 - -b. Pour générer Vm, les pixels de la vue 2 gauche sont déformés vers la caméra virtuelle intermédiaire désirée ; d'une manière analogue, la vue droite est également déformée vers la vue intermédiaire. Les deux vues intermédiaires ainsi obtenues sont ainsi amalgamées pour obtenir la vue virtuelle finale. Les deux vues intermédiaires sont habituellement complémentaires et permettent de remplir la plupart des occlusions. Il est supposé maintenant que VI' est la vue virtuelle gauche. En raison de la configuration horizontale de la caméra, V1' est obtenue à partir de Vi en appliquant des écarts horizontaux à des coordonnées de pixels. Étant donné les positions des pixels (u,v) E V, , la position déformée (u',v') E V,' sera telle que u'=u et v'=v-8 soient vérifiées. L'écart de colonne S est calculé de la manière suivante : 8 bf 2d où d est la profondeur du pixel original avec des coordonnées (u,v). Les profondeurs sont généralement fournies sous forme de disparité quantifiée (profondeur inverse). Ici, la notation D1 (Dr) est utilisée pour identifier de telles cartes de profondeurs quantifiées. La profondeur réelle peut être calculée comme suit : d= (l 1 ^ 1 255 Zf Zf La vue virtuelle droite V,' est calculée de manière analogue (la vue virtuelle droite 8 est ajoutée au numéro de colonne originale pour obtenir la position déformée). Enfin, les deux vues virtuelles sont amalgamées ensemble pour obtenir la vue intermédiaire V,' et les vides sont récupérés au moyen d'un certain algorithme de retouche. Les techniques DIBR produisent des vues intermédiaires qui sont généralement affectées par des artefacts évidents dus à une série de problématiques, par exemple des erreurs de rectification, une correction imparfaite de la couleur et des informations de profondeur calculées de manière erronée.

Il est donc ressenti l'exigence d'améliorer la qualité de l'image des vues intermédiaires d'un flux vidéo en trois dimensions en détectant et corrigeant les erreurs ou les imprécisions présentes dans les informations de profondeur ou disparité. Le but principal de la présente invention est donc de proposer un procédé et 15 un dispositif pour le renforcement de la forme des bords pour l'amélioration visuelle du rendu basé sur des images de profondeur d'un flux vidéo en trois dimensions, lesquels permettent de remédier aux problèmes/inconvénients précités. Les informations de profondeur sont généralement estimées au moyen d'algorithmes basés sur l'accouplement stéréo de points correspondants dans 20 différentes vues. Il a été relevé que ce processus est un problème mal formulé et qu'il faut donc prévoir certaines erreurs d'estimation. Dans d'autres cas, la profondeur ou la disparité peut être mesurée avec des capteurs, par exemple des capteurs laser à temps de vol. Les informations de profondeur sont habituellement imprécises le long des bords des objets à cause d'erreurs d'estimation ou de mesure et d'artefacts de 25 compression ; par conséquent, le processus de déformation DIBR détruit souvent les contours des objets, en entraînant une mauvaise qualité visuelle dans la vue virtuelle. Le but principal de la présente invention consiste donc à améliorer la qualité de l'image des vues intermédiaires en détectant et en corrigeant les informations de profondeur ou disparité dans les cartes de profondeur ou disparité des images 30 stéréoscopiques (ou des flux vidéo stéréoscopiques). Il est connu en soi qu'il existe dans les flux vidéo stéréoscopiques une relation biunivoque entre carte de profondeur et carte de disparité. Il est donc entendu que dans la suite de la présente description, le cadre de l'invention devra être considéré étendu aux deux types de cartes. Le terme « carte » est utilisé ici pour indiquer aussi bien une carte de profondeur qu'une carte de disparité. Le but de la présente invention est d'améliorer les performances du DIBR au moyen de : - la correction du processus de synthèse des vues intermédiaires du côté récepteur, ou - la correction des cartes de profondeur ou disparité avant la transmission. En outre, un ensemble de métriques est introduit pour l'évaluation de l'erreur de déformation le long des bords, qui peut être avantageusement utilisée pour évaluer 10 la qualité de contenus avec vues multiples plus profondeur. Tous ces objectifs sont atteints en exploitant les connaissances précédentes relatives à la forme des bords. Pour atteindre cet objectif, l'objet de l'invention est une technique qui identifie au début les bords qui présentent une erreur de déformation significative, et 15 applique ensuite la correction à ces bords. Les corrections peuvent être appliquées suivant deux modalités, c'est-à-dire en corrigeant les profondeurs erronées correspondantes (du côté émetteur avant l'envoi des cartes de profondeur ou disparité, de manière à garantir de meilleures performances DIBR au niveau du récepteur) ou en appliquant les corrections sur la vue virtuelle du côté récepteur durant l'exécution 20 du DIBR ou comme post-élaboration avant d'envoyer l'image à l'affichage. Dans les deux cas, il est possible d'exploiter les connaissances précédentes selon lesquelles les lignes droites et les bords sont préservés dans des transformations typiques (c'est-à-dire des transformations prospectives). La solution proposée renforce la notion selon laquelle il est possible de 25 prévoir que les contours d'un objet présentent approximativement la même forme dans les vues originales (vue gauche ou droite) et dans les vues intermédiaires. A titre d'exemple, les lignes droites sont invariables avec transformation prospective, et il est donc connu que les lignes droites dans la vue gauche doivent être projetées à nouveau comme des lignes droites dans l'image déformée. 30 De manière analogue, un bord générique doit se déformer sans variations de forme significatives. Grâce à cette notion et nouvelle projection à priori, l'erreur dans la reproduction de la forme du bord originale est minimisée. Enfin, les métriques proposées pour capturer les erreurs de déformation le long des bords peuvent être utilisées comme des bases pour un système et un dispositif en mesure d'évaluer la qualité des cartes de profondeur (ou disparité) à utiliser pour la synthèse et l'interpolation des vues. L'idée de base de l'invention consiste donc à corriger les bords des vues synthétisées dans un système vidéo 3D pour la reconstruction de vues intermédiaires obtenues à partir de vues originales et/ou de cartes de profondeur correspondantes, en utilisant un algorithme de détection des bords qui agit sur la vue originale et/ou sur les cartes de profondeur. Dans les techniques de synthèse de vues intermédiaires employées dans un système de visualisation multi-vues ou auto-stéréoscopique 3D, la précision des cartes de profondeur utilisées est très importante. La précision et l'exactitude avec lesquelles sont indiquées les valeurs de profondeur des bords des images sont particulièrement importantes, ces dernières contribuant dans une mesure considérable à la détermination de la qualité perçue par l'observateur, qui est influencée par leurs artefacts. En particulier, il est nécessaire d'éviter n'importe quel type de distorsion qui altère la continuité et la connectivité des bords des images. La solution technique faisant l'objet de l'invention améliore considérablement la qualité (continuité et connectivité) des bords dans la vue synthétisée ou dans les cartes de profondeur utilisées pour synthétiser les vues et contribue fortement à l'amélioration de la qualité globale des images synthétisées en trois dimensions. La technique de correction peut être utilisée : - en phase de reconstruction du flux vidéo en trois dimensions, pour corriger des cartes de profondeur associées aux vues originales ou aux vues synthétisées et éventuellement décodées ; - avant le formatage et l'éventuel codage du flux vidéo en trois dimensions. Ci-après seront résumés certains exemples non limitatifs de réalisation de l'invention pour ce qui concerne le procédé de correction appliqué en phase de 30 reconstruction. Ces exemples seront décrits de manière approfondie dans la section dédiée à la description détaillée des modes de réalisation préférés. Selon le premier mode de réalisation, par exemple comme décrit par la suite dans le paragraphe 1, les bords sont corrigés directement dans la vue synthétisée du flux vidéo en trois dimensions reconstruit. Du fait que les bords s'avèrent souvent dégradés à cause du bruit ou d'erreurs dans les cartes de profondeur éstimées associées aux vues originales, ils nécessitent une correction » Quand cette correction a lieu durant la reconstruction, l'opération est exécutée en partant de la vue ou des vues reçues et des cartes de profondeur correspondantes, qui peuvent être reçues sous forme compressée (par exemple codées selon le standard AVC ou HEVC) ou sous forme non compressée. La première élaboration prévoit l'application d'algorithmes pour la détection et l'extraction des bords (connus en soi, comme par exemple l'algorithme de Sobel) sur la vue originale initiale reçue et reconstruite (décodée). L'ensemble des bords obtenus à partir de la vue originale peut être soumis à une autre élaboration, par exemple comme décrit par la suite dans le paragraphe 1.1, dans laquelle les bords les plus significatifs (selon des critères prédéfinis, par exemple les bords plus longs, les bords droits, les bords orientés dans une certaine direction, les bords plus proches du point de vue, etc.) sont sélectionnés et/ou les bords plus longs sont segmentés en obtenant des séquences de segments rectilignes. L'ensemble des un ou plusieurs critères appliqués dépend de l'équilibre désiré entre qualité visuelle et complexité de calcul additionnelle. Tous les bords, ou bien seulement ceux sélectionnés et/ou pré-élaborés, sont projetés en utilisant la carte de profondeur associée à la vue initiale, de manière à obtenir les positions des bords eux-mêmes dans l'image synthétisée. Ces bords projetés (soumis à une « déformation ») ou, plus précisément, les positions des pixels qui les composent sont donc comparés avec les positions correspondantes des pixels de la vue originale reçue et reconstruite.

En cas de divergence entre les positions des pixels des bords, les pixels appartenant aux bords détectés et extraits de la vue originale sont utilisés pour corriger la position des pixels des bords projetés. Pour effectuer la correction, il est nécessaire de décider quels bords sont altérés, en utilisant un procédé de mesure de l'erreur qui apparaît dans les bords 30 représentés dans la carte de profondeur, par exemple comme décrit par la suite dans le paragraphe 1.2. A titre illustratif, deux procédés de détection du niveau de divergence entre des bords projetés selon la carte de profondeur et ceux obtenus à partir de l'image de vue sont décrits. Le premier procédé, par exemple comme décrit par la suite dans le paragraphe 1.2.1, est basé sur une confrontation entre les formes des bords correspondants dans les deux images : pour chaque bord significatif, les coordonnées d'un point représentatif de la forme globale du bord sont calculées, comme par exemple son barycentre ou son point médian ; les coordonnées des pixels des bords de la carte et de la vue projetée sont ensuite normalisées par rapport à leur point représentatif. L'erreur est une fonction de la différence entre les coordonnées normalisées de la position de chaque pixel du bord original et la position des pixels du bord correspondant. Pour obtenir une mesure globale de l'erreur sur tout le bord, il est possible de combiner de manière opportune les valeurs résultantes, en considérant par exemple la somme des modules des erreurs le long de tout le bord. Le deuxième procédé, par exemple comme décrit par la suite dans le paragraphe 1.2.2, est basé sur la détection des anomalies dans la trajectoire des bords projetés par rapport à ceux extraits de la vue originale. Si, pour chaque pixel appartenant au bord projeté, il est détecté une déviation locale, par exemple avec gradient, par rapport au bord de la vue originale, cela signifie que, dans la carte de profondeur, il existe une erreur qui doit être corrigée. Un exemple est donné par le calcul du module du rapport entre la différence des coordonnées horizontales et verticales : quand la valeur est supérieure à 1, il est supposé que la position des pixels projetés est erronée. Sur la Figure 9 est présenté un exemple de bord discontinu de l'ième pixel avec gradient horizontal et vertical en module > 1. De manière plus générale, les gradients des pixels correspondants des bords homologues de la vue et de ceux projetés selon la carte de profondeur sont calculés et leurs valeurs sont confrontées : les pixels ayant une différence de gradient qui répondent à une exigence déterminée (par exemple le dépassement d'une valeur de seuil) sont corrigés. Dans ce cas aussi, il est possible d'obtenir une mesure de l'erreur globale du bord en partant de celle du pixel qui le compose, par exemple en faisant la somme des gradients correspondants par module. De cette manière, il est possible de déterminer quels bords ont été altérés de manière significative et doivent donc être corrigés de manière appropriée.

Après avoir détecté les pixels des bords et/ou des bords altérés de la carte de profondeur, leur correction peut être effectuée sur la base des bords de la vue originale, par exemple comme décrit par la suite dans le paragraphe 1.3. A titre illustratif non limitatif, trois techniques de correction possibles 5 peuvent être appliquées. La première technique de correction, par exemple comme décrit par la suite dans le paragraphe 1.3.1, prévoit de calculer la nouvelle position des pixels du bord projeté en soustrayant des coordonnées de chaque pixel la valeur de l'erreur calculée en appliquant un procédé de comparaison entre les bords, par exemple comme décrit 10 par la suite dans le paragraphe 1.2.1. Pour limiter le coût informatique dérivant de cette technique, la correction peut se limiter uniquement aux bords dont l'erreur totale dépasse un seuil prédéterminé. La deuxième technique de correction est basée sur l'application d'un opérateur local pour la correction immédiate des bords, par exemple basée sur une 15 mesure de gradient, par exemple comme décrit par la suite dans le paragraphe 1.2.2. La troisième technique prévoit une correction basée sur une fonction qui dépend des valeurs du gradient du bord de la vue originale des pixels voisins à corriger. En particulier, il est possible de corriger un pixel de bord en appliquant une fonction de la somme des coordonnées du pixel précédent et de la valeur du gradient 20 calculé en correspondance des pixels correspondants du bord projeté. Une image vidéo ne contient pas seulement des contours, mais également des couleurs, nuances et textures qui caractérisent des zones de l'image séparées d'un bord. Le déplacement des bords altérés peut provoquer des artefacts visuels dus à la discontinuité introduite dans des zones adjacentes qui peuvent être cohérents avec 25 l'évolution du bord avant la correction, par exemple comme illustré sur la Figure 10. Pour préserver la cohérence des images synthétisées corrigées (fournie par une combinaison entre carte de profondeur corrigée et vue originale correspondante), à proximité des bords déplacés sur la base de la correction effectuée, il est également possible de corriger, conjointement aux pixels recalculés du bord, certains pixels 30 environnants, par exemple comme décrit par la suite dans le paragraphe 1.4 et illustré sur la Figure 11. Cette technique est dénommée « renforcement des bords » (« edge enforcement »). Au lieu de définir une région environnante à corriger ayant des contours nets (comme illustré schématiquement à titre d'exemple sur la Figure 11), les pixels adjacents au bord corrigé peuvent être amalgamés dans la vue synthétisée conformément à une fonction de pondération qui dépend de la distance des pixels par rapport au bord attenant.

La technique de correction peut être appliquée à une vue individuelle et à la carte de profondeur correspondante ou bien à deux vues ou plus et aux cartes correspondantes (de profondeur ou disparité). En cas d'application du procédé aux vues originales du flux vidéo en trois dimensions, comme il est d'usage, les bords d'une vue sont déformés selon la carte de profondeur correspondante et les bords déformés sont ensuite comparés aux bords précédemment détectés dans l'autre vue de la paire stéréoscopique (par exemple comme décrit par la suite dans le paragraphe 2.2). La correction des bords de la vue synthétisée (déformée) est effectuée en comparant les bords déformés altérés à ceux détectés dans l'autre vue, par exemple en calculant la différence de position correspondante. Une approche similaire peut être adoptée en appliquant la technique de correction aux cartes de profondeur. Dans un autre mode de réalisation de l'invention, la technique de correction applicable aux deux cartes peut être combinée de différentes manières : - chaque vue synthétisée ou carte est corrigée de manière indépendante sur la 20 base de la vue correspondante ; - les bords erronés dans une vue ou dans la carte correspondante sont corrigés dans l'autre vue ; - les bords corrigibles basés sur les deux vues sont corrigés en utilisant les bords de la vue qui satisfont un critère prédéterminé, par exemple ceux qui, selon la 25 métrique d'erreur disponible, donnent la plus petite erreur de projection. Evidemment, les bords présents dans une seule vue (absents dans l'autre vue, par exemple à cause d'une occlusion) peuvent être corrigés uniquement à partir d'une seule vue. Dans le cas d'un contenu en trois dimensions du flux vidéo ayant plus de 30 deux vues (originales), il est possible d'utiliser l'un quelconque des procédés de correction des bords précités en l'appliquant de manière répétée à différentes paires de vues disponibles ou de cartes de profondeur (ou disparité) respectives. Ci-après sont décrits brièvement certains exemples non limitatifs de réalisation de l'invention, concernant l'application du procédé de correction durant la phase de préparation du contenu ou génération du flux vidéo en trois dimensions. Ces exemples seront décrits de manière détaillée dans la section dédiée à la description des modes de réalisation préférés.

Durant la phase de préparation ou génération du contenu vidéo en trois dimensions, il est également possible d'effectuer la correction des cartes de profondeur. Dans ce cas, il ne faut pas corriger la position des pixels des bords, mais la valeur de profondeur représentée dans la carte de profondeur correspondante. En particulier, l'écart des bords corrigés (appelé aussi disparité) est calculé. A partir de celui-ci, la valeur de profondeur corrigée correspondante est obtenue en utilisant la relation connue entre valeurs de profondeur et d'écart. La première étape consiste donc à obtenir les bords corrigés. Ceci s'effectue de manière similaire à ce qui est décrit à propos de la technique de correction en phase de reconstruction.

Tout d'abord, les bords de la vue originale (bords correcteurs) sont détectés avec une quelconque technique connue. Ces bords sont projetés dans la vue intermédiaire en utilisant la carte de profondeur correspondante, comme décrit pour la technique de correction précédente. Simultanément, toutefois, la carte des écarts des pixels des bords (obtenue de manière connue en connaissant les valeurs de profondeurs correspondantes) est également calculée. Cet écart est ajouté à la coordonnée horizontale du bord pour obtenir la position du bord projeté. Ensuite, l'erreur de projection le long des bords est calculée, c'est-à-dire la différence entre les bords projetés et ceux corrects, et puis la carte d'écart corrigée est calculée en tant que différence entre l'écart du bord original et l'erreur précédemment définie. A ce point, les valeurs de la carte de profondeur sont corrigées en utilisant, pour chaque pixel des bords, la formule qui met en relation entre eux la profondeur et l'écart ou disparité. La seule correction des valeurs de profondeur des bords peut entraîner la création d'artefacts dans la carte, de manière analogue à ce qui se produit dans la vue synthétisée. Dans ce cas aussi, pour éliminer ces artefacts, il est possible d'employer un procédé similaire au renforcement des bords, comme décrit ci-dessus. Cette deuxième technique de correction applicable durant le processus de préparation ou génération peut être utilisée directement dans le cas d'une vue individuelle et de la carte de profondeur correspondante. Quand au moins deux vues avec les cartes de profondeur correspondantes sont concernées, il est possible de coordonner de différentes manières les étapes de la deuxième technique de correction qui peuvent être utilisées pour chaque paire vue/carte de profondeur du contenu vidéo 3D. Par exemple, dans la phase de détection et de sélection des bords, par exemple comme décrit par la suite dans le paragraphe 1.2.1, il est possible d'utiliser des instruments d'accouplement stéréo pour trouver des correspondances entre des paires de bords dans les deux cartes de profondeur (droite et gauche), en sélectionnant ainsi les bords à corriger en fonction d'un critère déterminé, par exemple comme décrit par la suite dans le paragraphe 1.1. Après avoir établi la correspondance d'un bord dans les deux cartes, il est possible de définir la métrique d'erreur proposée entre le bord projeté et le bord correspondant dans une vue originale. Un autre aspect de l'invention concerne l'éventuelle utilisation d'une 15 métrique de qualité comme instrument d'évaluation de la qualité des cartes de profondeur ou disparité du flux vidéo en trois dimensions. Les indicateurs objectifs connus de la qualité de l'image (par exemple PSNR, SSIM et VQA) ne peuvent pas toujours être utilisés pour l'estimation de la qualité des cartes de profondeur. Etant donné que la qualité des bords contribue de manière 20 significative à la qualité subjective des images synthétisées, il est possible d'utiliser, comme indicateurs de la qualité des cartes de profondeurs, des fonctions obtenues en mesurant l'erreur des bords projetés, par exemple comme décrit par la suite dans le paragraphe 1.2.1 et le paragraphe 1.2.2. En particulier, il est possible de définir deux versions de ces métriques. 25 La première métrique, appelée « métrique d'erreur de déformation absolue des bords, Absolute Warping Edge (AWE) », est basée sur la projection des bords de la vue originale et mesure l'erreur de projection provoquée par des valeurs de la carte de profondeur en comparant la position du bord avant et après la projection, par exemple comme décrit par la suite dans le paragraphe 1.2.1. 30 Il est possible d'obtenir une mesure globale de la qualité de la carte de profondeur associée à la vue à un instant temporel déteiniiné en évaluant des fonctions de l'erreur définie à un niveau de pixel de bord, par exemple en calculant l'erreur quadratique moyenne, la valeur maximale ou n'importe quelle autre mesure statistique standard. Naturellement, il est possible de sélectionner pour la mesure seulement un sous-ensemble des bords, choisi sur la base d'un des critères parmi ceux décrits, par exemple dans le paragraphe 1.1. La métrique proposée peut être influencée par des erreurs de grande importance dans des bords très courts, qui sont toutefois très difficilement visibles par le système visuel humain et qui ne dégradent donc pas la qualité subjective. Il est donc proposé une deuxième métrique, pondérée par rapport à la longueur des bords : l'erreur de chaque bord est pondérée comme une fonction qui attribue un poids supérieur aux bords plus longs ; les longueurs des bords sont estimées avec une quelconque technique connue (par exemple en considérant le nombre de pixels qui les composent). Un but de la présente invention est de proposer un premier procédé pour la correction des bords des images d'un contenu vidéo en trois dimensions, ledit contenu vidéo comprenant au moins une image de vue originale et au moins une carte de profondeur ou de disparité, le procédé comprenant les étapes suivantes : la détection des bords dans ladite au moins une image de vue originale pour obtenir des bords originaux ; la déformation desdits bords originaux suivant ladite carte de profondeur ou de disparité ; la détection d'un ensemble de bords déformés altérés par le processus de déformation ; la correction desdits bords altérés pour obtenir des bords corrigés. Dans divers modes de réalisation selon la présente invention, on peut éventuellement avoir recours en outre à l'une et/ou à l'autre des dispositions suivantes, prises séparément ou en combinaison, selon lesquelles : - ladite étape de détection dudit ensemble de bords déformés comprend une étape de comparaison des formes des bords qui prévoit : - la comparaison de la forme d'un bord original avec le bord déformé correspondant et la détermination de la distorsion du bord déformé par rapport au bord original ; - ladite détermination de la distorsion comprend : - le calcul d'un point de bord de référence, comme le barycentre des coordonnées horizontales et verticales des bords déformés et des bords originaux, ou comme la médiane des coordonnées horizontales et verticales des bords déformés et des bords originaux ; - l'expression des coordonnées du bord original et du bord déformé par rapport au point de référence correspondant, en obtenant des points de bord référencés ; - le calcul de l'erreur de déformation pour chaque point du bord en prenant la différence entre les coordonnées des points de bord référencés avant et après la déformation ; - lesdites étapes de détection de l'ensemble de bords déformés comprennent une étape de détection des anomalies dans les coordonnées des bords déformés, laquelle prévoit : - la comparaison de la forme des trajectoires des bords avant et après la déformation pour identifier d'éventuelles modifications anormales et brusques du gradient des bords avant et après la déformation, en calculant la différence du gradient horizontal et/ou vertical des bords avant et après la déformation ; - ledit gradient horizontal ou vertical représentant respectivement les incréments des coordonnées horizontales et verticales de la trajectoire du bord ; - la modification dudit gradient est considérée comme une modification brusque et anormale si le bord déformé apparaît déconnecté autour du point de bord considéré ; - ladite étape de correction desdits bords altérés comprend la correction de la forme des bords déformés en soustrayant l'erreur de bord du bord déformé, de manière à renforcer la forme du bord original ; - la correction est appliquée seulement aux bords dont l'erreur globale est supérieure à un seuil ; - l'étape de déformation des bords originaux est exécutée sur un sous-ensemble des bords détectés qui dépend d'au moins un des facteurs suivants : - les critères de qualité qui doivent être satisfaits dans tout le processus de correction, de préférence la qualité visuelle ou des propriétés spécifiques des objets visuels ou des propriétés géométriques ou contraintes d'applications spécifiques ; - les caractéristiques géométriques du bord (de préférence l'orientation, la linéarité, la courbure, la longueur) ; - la position du bord (de préférence la position dans l'espace 3D, la proximité du point de vue de la caméra) ; - ladite étape de correction desdits bords altérés comprend la correction du bord en soumettant à un processus de lissage les parties de la trajectoire du bord qui ont été reconnues comme étant anormales ; - pour ladite correction, il est prévu l'utilisation d'un filtre de lissage ou d'un filtre de moyenne ou d'un filtre médian non linéaire ; - ladite étape de correction desdits bords altérés comprend la modification d'une position d'un pixel d'un bord altéré en corrigeant les valeurs anormales du gradient déformé sur la base du gradient du bord original appliqué au pixel de bord précédent ou à son voisinage ; - lesdites identification et correction par référence sont appliquées de manière récursive ; - ladite étape de correction desdits bords altérés comprend la détermination d'une fonction des valeurs de gradient desdits bords originaux à proximité du bord déformé ; - ladite fonction des valeurs de gradient des bords originaux dépend de la somme des coordonnées d'un pixel adjacent au point du bord déformé avec le gradient calculé dans ledit point ; - les bords corrigés sont contenus dans une image de vue déformée obtenue en déformant l'au moins une vue originale suivant la carte de profondeur ou de disparité ; - le procédé comprend également une étape de renforcement des bords (46), dans laquelle d'autres valeurs de pixels positionnés à proximité du bord original correspondant aux bords déformés sont amalgamées dans ladite vue déformée à proximité desdits bords corrigés ; - le procédé comprend également l'étape de détection de bords dans une autre image de vue originale du contenu vidéo en trois dimensions pour obtenir des bords détectés dans ladite autre vue, dans laquelle : - l'étape de détection de l'ensemble de bords déformés altérés par le processus de déformation comprend l'accouplement desdits bords déformés et des bords détectés dans ladite autre vue pour en déterminer la correspondance avec le même bord du contenu vidéo en trois dimensions et mesurer l'altération produite par le processus de déformation en comparant lesdits bords déformés avec les bords détectés dans ladite autre vue, et - l'étape de correction desdits bords altérés dépend desdits bords détectés dans ladite autre vue et de ladite mesure ; - le procédé comprend également les étapes suivantes - la détermination de la profondeur desdits bords déformés dans la carte de profondeur correspondante ; - le calcul des écarts provoqués par le processus de déformation sur lesdits bords déformés par rapport aux bords originaux en exploitant la relation entre des valeurs de profondeur et de disparité des pixels des bords ; - la mesure de l'erreur d'écart produite par le processus de déformation par rapport auxdits bords originaux ; - la détermination de la valeur d'écart corrigée des bords sur la base desdites erreurs d'écart et desdits écarts ; - la détermination de la valeur de profondeur corrigée desdits bords altérés en exploitant la relation entre des valeurs de profondeur et de disparité des pixels des bords ; - les profondeurs des pixels voisins sont interpolées au moyen d'un algorithme d'interpolation de la profondeur ; et - le procédé comprend également l'étape d'obtention d'images corrigées dudit contenu vidéo en trois dimensions, en appliquant lesdits bords corrigés aux images dudit contenu vidéo. De préférence, le procédé comprend l'étape additionnelle d'obtention d'images corrigées dudit contenu vidéo en trois dimensions en appliquant lesdits 25 bords corrigés aux images dudit contenu vidéo. Un autre but de la présente invention est de proposer un procédé pour la correction des bords d'images d'un contenu vidéo en trois dimensions, ledit contenu vidéo comprenant au moins deux images de vues originales et au moins deux cartes de profondeur ou disparité, le procédé comprenant : l'exécution du premier procédé 30 sur une desdites au moins deux vues originales ; l'exécution du premier procédé sur l'autre desdites au moins deux vues originales, dans lequel ledit procédé est exécuté sur lesdites vues originales consécutivement l'une après l'autre et indépendamment l'une de l'autre.

Un autre but de la présente invention est de proposer un procédé pour la correction des bords d'images d'un contenu vidéo en trois dimensions, ledit contenu vidéo comprenant au moins deux images de vues originales et au moins deux cartes de profondeur ou disparité, le procédé comprenant : l'exécution du premier procédé sur une desdites au moins deux vues originales ; l'exécution du premier procédé sur des bords de l'autre vue originale qui n'ont pas été corrigés durant l'étape précédente. Un autre but de la présente invention est de proposer un procédé pour la correction des bords d'images d'un contenu vidéo en trois dimensions, ledit contenu vidéo comprenant au moins deux images de vues originales et au moins deux cartes 10 de profondeur ou disparité, le procédé comprenant : la détermination des bords dudit contenu vidéo en trois dimensions qui peuvent être corrigés en appliquant le premier procédé auxdites deux images de vues originales, et l'application du premier procédé aux bords déterminés durant l'étape précédente. D'autres buts de la présente invention consistent à proposer un procédé pour 15 déterminer la qualité d'une carte de profondeur correspondant à une vue originale relative à un contenu vidéo en trois dimensions. En particulier, l'invention concerne également un procédé pour déterminer la qualité d'une carte de profondeur correspondant à une vue originale relative à un contenu vidéo en trois dimensions, comprenant - 20 - l'application d'un procédé selon l'invention aux bords d'une image de vue originale relative audit contenu vidéo en trois dimensions pour obtenir respectivement des distorsions des bords et des erreurs de déformation correspondantes, et - l'addition respectivement desdites distorsions ou erreurs de déformation 25 résultantes pour lesdits bords déformés suivant ladite carte de profondeur. L'invention concerne également un procédé pour déterminer la qualité d'une carte de profondeur correspondant à une vue originale relative à un contenu vidéo en trois dimensions, comprenant : - l'application du procédé selon l'invention aux bords d'une vue originale 30 relative audit contenu vidéo en trois dimensions pour obtenir des différences correspondantes de gradient horizontal et/ou vertical des bords avant et après la déformation, et - l'addition des valeurs absolues desdites différences de gradient résultantes pour lesdits bords déformés suivant ladite carte de profondeur. Selon ce procédé, les valeurs additionnées peuvent être pondérées avec un facteur de pondération dépendant de la longueur du bord correspondant. D'autres buts de la présente invention consistent à proposer un dispositif d'élaboration vidéo ou un dispositif d'évaluation de la qualité vidéo. En particulier, l'invention concerne un support lisible par ordinateur sur lequel est enregistré un programme, ledit support lisible par ordinateur comprenant des moyens de codage de programme informatique adaptés pour réaliser toutes les étapes du procédé selon l'invention, quand ledit programme est exécuté sur un ordinateur. L'invention concerne également un dispositif d'élaboration vidéo, comprenant : - des moyens d'entrée adaptés pour recevoir au moins une image de vue originale et au moins une carte de profondeur ou de disparité, et - des moyens d'élaboration d'images adaptés pour exécuter un procédé selon l'invention. D'autres buts de la présente invention consistent à proposer un système pour la reconstruction d'un contenu vidéo en trois dimensions et un système pour la génération d'un contenu vidéo en trois dimensions.

L'invention concerne également un programme informatique comprenant des moyens de codage de programme informatique adaptés pour réaliser toutes les étapes du procédé selon l'invention, quand ledit programme est exécuté sur un ordinateur. L'invention concerne également un dispositif pour l'évaluation de la qualité vidéo, comprenant : - des moyens d'entrée adaptés pour recevoir au moins une image de vue originale et au moins une carte de profondeur ou disparité, et - des moyens d'élaboration d'images adaptés pour exécuter un procédé selon l'invention. Ces buts et d'autres sont atteints grâce à un procédé et un dispositif de renforcement de la forme des bords pour l'amélioration visuelle du rendu basé sur des images de profondeur d'un flux vidéo en trois dimensions, comme décrit dans les revendications jointes, qui doivent être considérées comme partie intégrante de la présente description.

L'invention ressortira mieux de la description détaillée qui suit, fournie uniquement à titre d'exemple non limitatif et à lire en référence aux dessins annexés, sur lesquels : la Figure 1 montre des exemples de détection et de correction des erreurs des 5 bords effectuées avec la technique de la correspondance de forme « Shape Matching », en particulier : Figure 1(a) : Bord original ei ; barycentre ci = (344,5, 159) ; Figure 1(b) : Bord déformé e ; barycentre ci = (344,5, 148,5) ; Figure 1(c) : Bord référencé original eri (i) ; 10 Figure 1(d) : Bord référencé déformé él(i) ; Figure 1(e) : Bords référencés superposés provenant de (c) et (d) ; Figure l(f) : Erreur du bord vi ; Figure 1(g) : Bord déformé corrigé "éi ; Figùre 1(h) : Bord original (courbe supérieure) et bord déformé corrigé 15 (courbe inférieure) ; la Figure 2 montre des exemples de détection et de correction des erreurs des bords effectuées avec la technique du gradient de bord « Edge Gradient », en particulier : Figure 2(a) : Bord original ei ; 20 Figure 2(b) : Bord déformé ; Figure 2(c) : Gradient du bord original ; Figure 2(d) : Gradient du bord déformé ; Figure 2(e) : Bord déformé corrigé e ; Figure 2(f) : Bord original (courbe supérieure) et bord déformé corrigé 25 (courbe inférieure) ; la figure 3 montre un exemple du noyau de pondération proposé w(u,v) avec k=7 et p=0,8 ; la Figure 4 montre un premier exemple de schéma de principe d'un circuit pour la réalisation de la technique de correction des bords du côté reconstruction, 30 dans le cas d'une correction avec l'utilisation d'une seule vue ; la Figure 5 montre trois exemples d'images d'opérations de correction des bords, en particulier : Figure 5a : bords extraits de la vue gauche ; Figure 5b : image déformée avec bords altérés ; Figure 5c : image déformée avec positions des bords corrigés ; la Figure 6 montre un deuxième exemple de schéma de principe d'un circuit pour la réalisation de la technique de correction des bords du côté reconstruction, dans le cas d'un renforcement des bords avec l'utilisation de deux vues et profondeurs ; la Figure 7 montre un premier exemple de schéma de principe d'un circuit 10 pour la réalisation de la technique de correction des bords du côté génération, dans le cas d'une correction de profondeur avec l'utilisation d'une seule vue plus profondeur ; la Figure 8 montre un deuxième exemple de schéma de principe d'un circuit pour la réalisation de la technique de correction des bords du côté génération, dans le 15 cas d'une correction de profondeur avec l'utilisation de vues multiples plus profondeur ; la Figure 9 montre un exemple de bord discontinu de l'ième pixel avec gradient horizontal et vertical en module > 1 ; la Figure 10 montre un exemple illustrant comment l'écart des bords altérés 20 peut entraîner des artefacts visuels dus à la discontinuité introduite dans des zones adjacentes la Figure 11 montre un exemple de correction de pixels de zones adjacentes ; la Figure 12 montre un schéma illustratif de la procédure de correction des bords en phase de reconstruction ; 25 la Figure 13 montre un exemple de schéma de principe d'un système de réception d'un flux vidéo en trois dimensions, qui comprend un circuit comme illustré par la Figure 4 ou 6 ; la Figure 14 montre un exemple de schéma de principe d'un système de transmission d'un flux vidéo en trois dimensions, qui comprend un circuit comme 30 illustré par la Figure 7 ou 8. Ci-après seront décrites certaines variantes de réalisation de l'idée à la base du procédé selon l'invention. 1 Corrections côté récepteur Du côté récepteur (ou côté reconstruction) du flux vidéo en trois dimensions (système), l'objectif est d'améliorer la qualité visuelle des objets dans les images virtuelles créées en utilisant les vues reçues et les informations de disparité ou profondeur correspondantes. Dans la plupart des cas, les vues et les informations de profondeur sont affectées par des erreurs de compression comme conséquence d'algorithmes de compression avec perte « lossy ». La technique proposée comprend deux phases. Durant la première phase, les contours (bords) des objets sont détectés dans au moins une vue, par exemple l'image gauche. Successivement, les bords détectés sont déformés vers leur position intermédiaire, permettant la détection de l'ensemble des bords altérés par le processus de déformation. Dans la deuxième phase, la correction est appliquée à l'image déformée. 1.1 Détection et pré-élaboration des bords La première tâche de la technique proposée est d'identifier les bords dans le contenu d'entrée (vues du contenu et/ou les cartes de profondeur/disparité correspondantes). La détection des bords peut être effectuée sur les vues du contenu ou sur la carte de profondeur ou disparité correspondante. Il convient de rappeler que, étant donné que les cartes de profondeur pourraient ne pas être précises, il est habituellement conseillé de détecter les bords en utilisant les vues originales au lieu de la profondeur correspondante. Le processus commence avec un quelconque algorithme de détection connu. Il existe diverses techniques pour détecter les bords dans les images, comme les « kernel » simples et rapides de Sobel et Prewitt ou le détecteur de bord plus complexe de Canny, comme décrit, par exemple, dans l'article de J. Canny, « A computational approach to edge detection », IEEE Trans. Pattern Anal. Mach. Intell., vol. 8, n° 6, pages 679-698, juin 1986. Les étapes suivantes sont exécutées sur l'ensemble de bords ainsi obtenu. L'ensemble de bords peut être ordonné et/ou limité au niveau des dimensions 30 pour mettre à l'échelle la complexité de l'algorithme et/ou peut être pré-élaboré sur la base d'au moins un critère ou d'une combinaison de critères, parmi lesquels : - les critères de qualité qui doivent être satisfaits dans tout le processus de correction (qualité visuelle, propriétés spécifiques des objets visuels, propriétés géométriques, contraintes d'applications spécifiques) - les caractéristiques géométriques du bord (par exemple, orientation, linéarité, courbure, longueur) - la position des bords (par exemple, position dans l'espace 3D, proximité du 5 point de vue de la caméra) - les bords peuvent être subdivisés en segments rectilignes (éventuellement en générant un bord linéaire segmenté), de manière à appliquer les corrections successives seulement à des lignes droites, étant connu dans ce cas que la correction sera théoriquement optimale puisque les lignes droites sont invariables sous 10 transformation de projection - n'importe quel critère de sélection en mesure de réaliser un compromis entre la qualité finale de tout le processus de correction et la complexité de l'algorithme (cette dernière dépend du nombre de bords à corriger) ; par exemple, les bords dans l'ensemble sont d'abord ordonnés en fonction d'au moins un des critères 15 précédents et un sous-ensemble de ceux-ci est ensuite sélectionné pour la correction. Cette pré-élaboration peut être effectuée en utilisant des instruments connus de détection des bords et en configurant leurs paramètres de manière opportune, par exemple des filtres, des seuils, etc., suivis par des instruments appropriés de classification et d'ordination, supervisés ou non supervisés. Ce processus permet de 20 satisfaire de manière optimale les critères, en garantissant un bon compromis en termes de complexité. L'ensemble des bords sélectionnés est indiqué par E, où ei indique le Hème bord dans l'ensemble, si possible en accord avec les critères d'ordination précités. Par ei(i).(ui,i,vi,i) est indiqué l'ième point du j-ième bord avec des 25 coordonnées (ui,i,vi,i) dans le plan de l'image et le nombre de points du bord est ni. Autrement dit, ei(i) peut être représenté comme vecteur de ni coordonnées. La liste de bords E est donc transformée dans l'ensemble de bords déformés en appliquant une déformation vers un point de vue cible, par exemple un point de vue entre deux vues disponibles ou n'importe quel point de vue approprié dans le cas 30 d'une unique vue disponible. La déformation dépend de la carte de profondeur/disparité et est appliquée aux coordonnées correspondantes des bords, comme décrit précédemment. N'importe quelle erreur dans la valeur de profondeur/disparité en correspondance des coordonnées du bord se reflètera ainsi dans le bord déformé calculé. Sur la figure la est montré un exemple d'un bord original ei et du bord déformé correspondant -é, affecté par des erreurs de déformation (observer la déformation anormale au centre du bord). 1.2 Estimation de l'erreur de déformation sur les bords A cause d'erreurs dans les valeurs de la carte de profondeur/diversité, le processus de déformation peut potentiellement introduire des erreurs et distordre l'image.

L'algorithme proposé détecte les bords altérés par des erreurs de profondeur et les corrige. Deux procédés pour détecter les bords altérés sont proposés : - un premier procédé basé sur la comparaison des formes des bords (avant et après la déformation), et - un deuxième procédé basé sur la détection des anomalies dans les coordonnées des bords déformés. 1.2.1 Comparaison des formes des bords Le premier procédé pour estimer l'erreur de déformation et détecter le bord 20 altéré se base sur la comparaison entre la forme d'un bord original et celle du bord déformé correspondant. Par ei est indiqué un bord original et par "éj est indiqué le bord déformé correspondant. Pour déterminer la distorsion du bord déformé par rapport au bord original, le 25 barycentre des deux bords est calculé. Parr ) est indiqué le barycentre du bord original ej et par e- A est indiqué le centre du bord déformé -é, . Les barycentres sont calculés comme suit : 30 c c (141+u2+143+...+un v1+ v2+ v3+ ...+ vnj U.1. V. = ' J ni n.

Le barycentre de éj se calcule de manière analogue. La Figure la et la Figure lb montrent les valeurs du barycentre pour un bord échantillon. En variante, le barycentre peut être remplacé par n'importe quel autre point 5 de référence calculé comme une fonction des points du bord, par exemple en utilisant la médiane des coordonnées horizontale et verticale. La médiane possède la caractéristique bien connue d'être plus robuste aux extrêmes dans la valeur des coordonnées du bord déformé. Dans ce même but, il est également possible d'utiliser d'autres opérateurs statistiques. 10 Pour comparer les formes des deux bords, il faut mapper à nouveau leurs coordonnées sur les barycentres respectifs comme suit : J (i) = eJ (i) - c . (i) = é1(i) 15 en obtenant ainsi ceux qui sont appelés ici des bords référencés e; et é-ir . Un exemple de bord référencé est montré sur la Figure le et sur la Figure ld. L'erreur de déformation pour chaque point i du j-ième bord est calculée au moyen de la différence entre les coordonnées des points du bord référencé comme suit : 20 vfi ( i ) = e; ( i ) --é; ( i ) Les valeurs de iv calculées dans le cas du bord échantillon utilisé sur la Figure 1 sont montrées sur la Figure 1f. Comme cela peut être noté, des valeurs 25 élevées de yrs correspondent à la partie dans laquelle la déformation a détérioré le bord. Il est également possible de définir une erreur de déformation globale pi du jième bord, par exemple en faisant la somme du module de toutes les erreurs des points du bord comme suit : 30 = Elyi(01 En variante, il est possible de prendre une moyenne de toutes les erreurs des points du bord.

En outre, il est possible d'utiliser comme métrique pour l'erreur totale de déformation sur le j-ième bord n'importe quelle autre fonction appropriée de yi définie ci-dessus. 1.2.2 Détection des anomalies des bords déformés Un autre procédé pour détecter l'erreur de déformation dans les bords se base sur l'analyse de la forme des trajectoires du bord avant et après la déformation, en localisant d'éventuelles modifications anormales, généralement brusques. Cet objectif peut être atteint avec n'importe quel procédé de détection des anomalies connu dans la littérature.

A titre d'exemple, les bords altérés peuvent être détectés en analysant le gradient des bords avant et après la déformation, comme illustré sur les Figures 2a à 2f. Le gradient représente en effet les incréments horizontaux et verticaux de la trajectoire du bord. Lorsque le gradient d'un bord après la déformation s'avère significativement différent de celui du bord original, il sera supposé qu'il a été soumis à une déformation anormale due à des informations de profondeur erronées. Entant donné un point de bord ei(i), son gradient V. (i) sera défini comme suit : V (i) = ri (i), V; (i))= e i(i) - e j(i +1) De manière analogue, '7, (i) est calculé pour le point de bord déformé é; (i). Avant la déformation, les bords sont formés de points reliés par construction et il faut donc que soient valables V; (05_ 1 et 'Vci (05_ 1, c'est-à-dire que les coordonnées horizontales et verticales de deux points de bord consécutifs doivent être dans des positions adjacentes.

Dans ce but, il est possible d'utiliser n'importe quelle variante de test de connectivité connue dans la littérature spécialisée dans la vision artificielle. Il est possible d'observer que, pour des valeurs limitées de la ligne de base des caméras b, les bords sont caractérisés par des gradients similaires avant et après 5 la déformation. Au contraire, une déformation incorrecte modifie de manière significative le gradient du bord et certains de ses points ne s'avèrent plus reliés. Pour détecter les anomalies de déformation des bords, la différence de gradient V- j (i) - V (i) est calculée. En considérant une configuration horizontale des caméras, la déformation ne modifie pas l'indice de ligne u et la différence de gradient 10 s'avère simplifiée comme suit : i);(i) - v1;(i) = 15 - . - v i .1,1+1 hi+ v JI+1 Comme pour la métrique d'erreur précédente, dans ce cas aussi, il est possible de définir une métrique d'erreur de déformation globale du bord. Par exemple, la somme de la différence absolue du gradient horizontal avant et après la déformation pj = ecj (i) - Vej (i) peut être définie comme erreur globale 20 du bord et peut être utilisée comme métrique pour détecter un bord altéré. Comme variantes, il est possible d'utiliser d'autres opérateurs et fonctions similaires de moyenne de l'erreur de gradient. Sur la base de cette métrique d'erreur, il est possible de sélectionner pour la correction tous les bords ou seulement un sous-ensemble de ceux-ci. Par exemple, 25 sur la Figure 1, il est utilisé une métrique lai pour une trame de la séquence d'essai Poznan_Hal12, laquelle montre que seuls peu de bords présentent des valeurs élevées qui en font des candidats pour une correction. Après avoir classé le j-ième bord comme altéré, il est nécessaire de localiser les points qui requièrent effectivement la correction. 30 Sur la base des observations précédentes sur le gradient du bord, un point du bord déformé est considéré en condition d'erreur si la grandeur de la composante horizontale du gradient de l'ième point est supérieure à 1, > 1, c'est-à-dire que le bord déformé apparaît déconnecté autour de l'ième point. 1.3 Correction des bords Après avoir détecté les bords « mal déformés » durant le processus de déformation, il est possible d'adopter des contremesures opportunes en phase de correction. Ci-après sont décrites trois stratégies de corrections alternatives. 1.3.1 Correction par correspondance de forme « Shape Matching » Ce procédé de correction est lié à la métrique dénommée ici « comparaisons des formes des bords » et utilise l'erreur ivi(i) définie dans le paragraphe 1.2.1 pour corriger la forme des bords déformés. Evidemment, ce procédé peut être appliqué également en cas d'utilisation d'autres métriques d'erreur de déformation pour la détection des bords, avec pour unique inconvénient que la métrique d'erreur adoptée n'est pas réutilisée dans la phase de correction ; ceci entraîne généralement un coût informatique supérieur. La correction par correspondance de forme s'effectue en soustrayant du bord déformé l'erreur de bord pour renforcer la forme du bord original. Suivant cette solution, le bord corrigé ê, est calculé comme suit : ê1 (i) = é;(0- v(i) La Figure le et la Figure lf montrent graphiquement l'effet de cette correction sur un bord échantillon.

Pour limiter le coût de traitement, la correction. peut être appliquée uniquement aux bords dont l'erreur globale gi dépasse un seuil déterminé y. Le seuil y pour la sélection des bords altérés peut être n'importe quel nombre positif supérieur à 0. Les essais effectués montrent que de bons résultats sont généralement obtenus en fixant y>10. Toutefois, en fixant y à 0, c'est-à-dire en appliquant la correction à tous les bords de l'image, le procédé proposé fonctionnera quand même, en maintenant correctement la forme exacte des bords déformés et en corrigeant seulement les bords « mal déformés » ; en effet, le terme de corrections de l'équation précédente sera probablement déjà très proche de 0 pour les bords déjà correctement déformés et ne modifiera pas la forme de ces bords. Grâce à cette caractéristique, la sélection du seuil y n'est pas critique et peut être utilisée uniquement comme un moyen pour réduire la complexité des phases de l'algorithme complet, en produisant un effort de calcul seulement sur les bords sujets à des erreurs de déformation significative et avec un fort impact sur la qualité visuelle. La Figure 10 montre un exemple de correction appliquée à un bord mal déformé. 1.3.2 Correction par lissage Ce procédé est étroitement lié à la définition de l'erreur de bord basée sur la détection des anomalies (voir paragraphe 1.2.2). Dans ce cas, l'objectif est de corriger le bord en atténuant les parties de la trajectoire du bord qui ont été reconnues comme anormales. Si le gradient a été utilisé pour détecter les anomalies, il est possible d'utiliser un filtre de lissage, par exemple un filtre de moyenne ou un filtre médian non linéaire, sur (i) pour régulariser les valeurs. Dans le cas d'une configuration horizontale des caméras, il faudra corriger uniquement les coordonnées de colonne ; par conséquent, dans l'exemple suivant, l'indice de ligne sera omis par simplification.

Par V; est défini le gradient des bords déformés en sortie d'un quelconque opérateur de lissage. La position correcte de l'ième point du bord peut être définie par approximation en fixant v J . i si l'ième point est correct, sinon ,i V .i-1 + V c. , La Figure 2d montre deux anomalies dans le gradient du bord déformé ; en utilisant un opérateur de lissage, il est possible d'éliminer les pics soudains dans le gradient et, par le biais de la formule précédente, obtenir le bord corrigé montré sur la Figure 2e. Sur la Figure 2f, le bord corrigé (courbe inférieure) est comparé au bord correspondant avant la déformation (courbe supérieure). 1.3.3 Correction par référence Ce procédé de correction se base sur la condition préalable que le gradient du bord est presque totalement conservé suite à la, déformation.

A la lumière de ceci, pour corriger la position de l'ième point d'un bord altéré , les valeurs anormales du gradient déformé sont corrigées suivant le gradient du bord original ej. Etant donné l'ième point sélectionné du bord, sa position correcte est estimée en appliquant le gradient du bord original au point de bord précédent ou en utilisant une quelconque fonction de son voisinage comme indiqué ci-après : êj (i) = (i - 1) + V (i) Une autre possibilité consiste à utiliser un opérateur plus générique êi (i) = (i - 1) + F (NH(V(i))) dans lequel NH(.) est le voisinage de dimension H de l'ième point du bord et FO est une fonction appropriée. Du fait que l'erreur de déformation affecte habituellement une série consécutive de points du bord, l'identification et la correction des points erronés par le biais de la référence peuvent être appliquées de manière récursive. Dans une première phase, les points erronés sont localisés et corrigés, après quoi le processus est itéré jusqu'à ce que des erreurs qui dépassent une valeur déterminée ne soient plus détectées le long du bord.

Toutes les approches de correction proposées permettent d'améliorer la qualité des bords en termes de métrique d'erreur, comme illustré sur la Figure 1, où sont indiquées les valeurs de la métrique avant et après la correction pour une trame donnée d'une séquence d'essai. Les étapes algorithmiques décrites sont représentées visuellement sur la 30 Figure 3, où les bords E extraits de la vue gauche (a), leurs contreparties déformées É (b) et leurs profils corrigés (c) ont été superposés sur une image d'essai. 1.3 Renforcement des bords dans la vue virtuelle Les bords corrigés peuvent être utilisés pour améliorer la qualité de la vue intermédiaire rendue, en intégrant de manière appropriée les bords corrigés avec les pixels environnants sans introduire des artefacts visibles. En effet, les étapes algorithmiques précédentes servent uniquement à corriger la position du bord, sans s'occuper de son voisinage. Cette phase est dénommée « renforcement des bords » et peut être réalisée en utilisant des instruments connus d'élaboration d'images pour amalgamer entre elles des zones différentes de l'image. Une technique possible en mesure d'atteindre ce résultat consiste à copier 10 chaque bord corrigé dans la vue intermédiaire avec les k voisins correspondants des deux côtés du bord (horizontalement), c'est-à-dire que des morceaux d'image sont amalgamés le long du bord de manière à créer la texture correspondante. A titre d'exemple, les pixels voisins peuvent être amalgamés dans la vue virtuelle déformée en utilisant des poids qui dépendent de la distance par rapport au 15 bord corrigé. Un noyau de pondération w de dimensions (2k+1)x(2k+1) est défini comme suit : w(u,v) =1 - 1 2log(Ju 2 ± V2 +1) 20 où p est un paramètre qui représente une limite inférieure du poids de diffusion (0 < p < 1). La Figure 3 montre un exemple d'un noyau de pondération 15x15 (k=7) avec p = 0,8. La dimension présélectionnée du noyau dépend de la valeur de k qui représente un paramètre configurable. Si les bords sont corrigés à partir de la vue du contenu original VI à gauche de 25 la vue intermédiaire désirée V. (voir Figure 5), la phase de renforcement des bords utilise comme entrée la liste des bords (E,É), la vue gauche originale VI et la vue intermédiaire déformée V., et fournit en sortie une vue intermédiaire avec des bords améliorés Tout d'abord, V'.= Vm' est initialisé, après quoi chaque point de bord ei(i) est 30 corrigé en copiant le point correspondant à partir de VI: vz(é.1(0)- vi(ei(i)) L'amalgamation de la zone autour de chaque point de bord s'effectue en appliquant l'équation suivante : + x,i + y) = V (u + x,vii + y)w(x, y) +V,,, (u + + y)(1- w(x, y))j pour -k < x < k, -k < y < k, subordonnée à + + y)tz E , ce dernier contrôle étant effectué pour éviter d'atténuer des points de bord déjà copiés. 1.4 Description de certains modes de réalisation Sur la Figure 4 est illustré un exemple de schéma de principe d'un circuit pour la réalisation de la technique de correction des bords, décrite ci-dessus, du côté reconstruction d'un système pour le renforcement de la forme des bords pour l'amélioration visuelle du rendu basé sur des images de profondeur d'un flux vidéo en trois dimensions selon l'invention. Dans cet exemple, les bords détectés et corrigés en utilisant seulement la vue gauche et les bords corrigés sont donc renforcés dans la vue intermédiaire créée par un instrument de rendu d'images standard basé sur la profondeur. Il faut noter que, bien qu'il soit avantageux, comme déjà mentionné, de détecter le bord dans la vue du contenu original, la possibilité d'exécuter la même opération en utilisant la carte de profondeur n'est pas exclue. La Figure 5 illustre les étapes algorithmiques plus importantes exécutées sur une image réelle. En particulier, les étapes représentées sont : bords extraits à partir de la vue gauche (a), image déformée avec bords altérés (b) et image déformée avec positions des bords corrigées (c).

Sur la Figure 4, l'image gauche V1 et la carte de profondeur associée D1 sont élaborées dans le bloc 42 pour détecter les bords de la carte de profondeur. Ensuite, les bords détectés sont déformés dans le bloc 43. Le bloc suivant 44 calcule l'erreur du bord déformé. Dans le bloc suivant 45, la correction correspondante est appliquée aux bords détectés et puis le renforcement des bords est également appliqué aux bords correspondants (bloc 46). Enfin, la vue virtuelle correspondant à la carte de profondeur correspondant est obtenue (bloc 47).

Il est ainsi possible d'obtenir des images corrigées dudit contenu vidéo tridimensionnel, en appliquant lesdits bords corrigés sur les images dudit contenu vidéo. La Figure 6 montre un autre exemple de schéma de principe d'un circuit pour la réalisation de la technique de correction des bords du côté reconstruction d'un système pour le renforcement de la forme des bords pour l'amélioration visuelle du rendu basé sur des images de profondeur d'un flux vidéo en trois dimensions selon l'invention. Dans ce mode de réalisation, la détection et la correction des bords sont 10 effectuées sur les deux vues les plus proches et/ou sur la profondeur correspondante, du flux vidéo en trois dimensions. L'image gauche VI et la carte de profondeur associée DI sont élaborées dans le bloc 611 pour détecter les bords. Ensuite, les bords détectés sont déformés dans le bloc 612. Le bloc suivant 613 calcule l'erreur du bord déformé. Dans le bloc suivant 15 614, la correction correspondante est appliquée aux bords détectés pour obtenir une vue gauche déformée avec des bords corrigés (bloc 615). De manière similaire, l'image droite Vr et la carte de profondeur associée Dr sont élaborées dans le bloc 617 pour détecter les bords. Ensuite, les bords détectés sont déformés dans le bloc 618. Le bloc suivant 619 calcule l'erreur du bord. Dans le 20 bloc suivant 620, la correction correspondante est appliquée aux bords détectés pour obtenir une vue droite déformée avec des bords corrigés (bloc 621). Après la correction, la correspondance entre les bords est calculée : il est possible d'appliquer la correction de différentes manières avec un bloc 622 légèrement plus complexe par rapport au bloc 46 de la Figure 4 pour le renforcement 25 des bords, en appliquant une technique dénommée Multiview Edge Enforcement (renforcement des bords multi-vues). Ce bloc supplémentaire utilise au moins des techniques suivantes pour renforcer conjointement des bords corrigés obtenus à partir d'une vue gauche et d'une vue droite : - tous les bords (de gauche et de droite) sont corrigés de manière séquentielle 30 et indépendante ; cette solution est la plus simple, mais le même bord peut être corrigé deux fois ; - tous les bords sont d'abord corrigés à partir d'une vue et ensuite seuls les bords qui n'ont pas été précédemment corrigés sont élaborés avec la deuxième vue ; - pour les bords qui peuvent être corrigés aussi bien à partir de la vue gauche que de la vue droite, il est possible d'appliquer la meilleure correction sur la base d'un critère déterminé ; par exemple, il est possible de sélectionner la correction qui fournit la moindre erreur de déformation selon la métrique proposée dans ce brevet ; - les bords qui peuvent être corrigés à partir d'une seule vue sont corrigés comme dans le mode de réalisation précédent. La vue virtuelle finale est ensuite obtenue (bloc 623). La Figure 12 résume toute la procédure de correction des bords réalisée du côté reconstruction du système.

La Figure 13 montre un exemple de schéma de principe d'un système de réception d'un flux vidéo en trois dimensions, qui comprend un circuit 131 pour la réalisation de la technique de correction des bords du côté reconstruction selon l'invention. Il est clair que l'homme du métier n'a pas de problèmes pour insérer le circuit de l'invention dans un tel système de réception, lequel est réalisé de manière connue en soi, une fois que les enseignements de l'invention sont connus. Le circuit 131 peut être réalisé comme décrit ci-dessus en référence aux Figures 4 ou 6. Il reçoit sur les entrées les images gauche VI et droite Vr du flux vidéo en trois dimensions, avec les cartes de profondeur associées, respectivement DI et Dr, qui sont reconstruites de manière connue en soi, par exemple en partant d'un flux vidéo en trois dimensions composite reçu en entrée. Le circuit 131 comprend des moyens pour réaliser la technique de correction des bords décrite ci-dessus et fournit en sortie la vue virtuelle finale avec les cartes corrigées et les vues gauche VI et droite Vr. Les flux des vues gauche VI et droite Vr et des cartes de profondeur 25 correspondantes sont fournis dans un bloc 132 qui comprend des moyens pour reconstruire le flux vidéo en trois dimensions à fournir à l'affichage D ou à mémoriser pour un usage ultérieur. Le système de réception de la Figure 13 est adapté pour la reconstruction d'un flux vidéo de divers types possibles, qui dépendent du type d'affichage D. 30 Dans le cas d'un affichage 2D, le système de réception écarte simplement les images droites Vr et les cartes de profondeur et visualise, avec possibilité d'éventuelle mise à l'échelle, seulement les séquences d'images VI sur l'affichage D. Dans le cas d'un affichage 3D aussi, la même procédure dans laquelle l'utilisateur a activé le mode 2D est appliquée si disponible. Dans le cas d'un affichage 3D dans lequel le mode 3D a été activé, le système utilise les vues gauche V1 et droite Vr et les cartes de profondeurs corrigées correspondantes, pour construire une image vidéo en trois dimensions.

Le système est également adapté pour générer une image vidéo en trois dimensions pour un affichage du type auto-stéréoscopique, qui nécessite d'un nombre élevé de vues (par exemple quelques dizaines) pour générer l'effet tridimensionnel pour des spectateurs positionnés dans des points différents dans l'espace situé devant l'affichage. Dans ce cas, le bloc 131 utilise les cartes de profondeur et les vues gauche V1 et droite Vr pour synthétiser une série d'autres images adaptées pour l'affichage auto-stéréoscopique. 2 Correction côté émetteur Comme déjà mentionné, la correction des bords peut être exploitée du côté émetteur (génération) du système vidéo en trois dimensions, pour améliorer la qualité des cartes de profondeur. Ceci est réalisable en récupérant la valeur de profondeur correcte pour les bords corrigés sur la base de la correction d'écart dont ils ont besoin. Cette approche peut être utilisée comme post-élaboration pour améliorer la carte de profondeur ou peut être intégrée dans une technique d'estimation de la profondeur.

Ci-après sont fournis les détails mathématiques. 2.1 Correction de profondeur Dans ce cas, les valeurs de profondeur des points du bord soumis à une erreur de déformation sont corrigées de manière à permettre un rendu correct (grâce au standard DIBR) du contour des objets. Pour appliquer cette correction à une carte de profondeur avant la transmission, certaines informations supplémentaires basées sur la déformation des bords sont calculées. Comme dans les cas précédents, tous les bords d'au moins une vue sont tout d'abord détectés. Ensuite, tous les points de bord sont déformés dans une vue virtuelle par le biais de techniques DIBR, et les bords mal déformés sont reconnus sur la base des critères d'erreur décrits ci-dessus. Successivement, les valeurs de profondeur associées aux points de bord mal déformés sont corrigées. Le processus se base sur les étapes algorithmiques décrites ci-après. 2.1.1 Calcul de la carte d'écart Suite à la détection des bords dans au moins une vue comme décrit dans la section 1.1, la liste de bords E est déformée sur la caméra virtuelle, en déterminant une liste de bords déformés E . Durant la déformation de chaque bord, l'écart de chaque pixel de bord (ui,i,vi,i) est calculé. Par ej est indiqué le j-ième bord et par ei(i) son ième point, de manière plus spécifique ei(i) comme décrit dans les sections précédentes. Par di(i) est indiquée la profondeur correspondante du pixel de bord ei(i). En 10 prenant comme hypothèse une configuration horizontale des caméras, pour chaque pixel de bord ei(i), l'écart 8i(i) est calculé comme suit : j(i) = ± bf 15 Le signe de l'écart dépend de la direction de déformation ; par exemple, il est positif quand la vue originale est déformée vers la gauche et négatif quand la vue originale est déformée vers la droite. Les écarts de tous les points de bord sont indiqués ci-après par le terme carte d'écart. Cet écart est ajouté à la coordonnée horizontale de chaque pixel vi,i pour 20 calculer sa position déformée 17,,, . L'étape successive consiste à déterminer les bords mal déformés, et ceci s'effectue de la manière déjà décrite dans la section 1.2. 2.1.2 Correction de la carte de profondeur 25 Chaque bord mal déformé -é, (i) peut être corrigé comme décrit précédemment de manière à obtenir le bord corrigé (i). L'algorithme de correction modifie la coordonnée de colonne des pixels de bords erronés. La correction peut être calculée en termes d'erreur d'écart comme suit : 2di (i) 30 3.; (i) = (i)- (i) La carte d'écart du bord peut être corrigée en considérant l'erreur d'écart due à la correction, en obtenant la carte d'écart corrigée comme suit : ,(i) g ,(i) 4,(i) Une fois la carte d'écart corrigée, la formule de déformation est utilisée pour corriger la profondeur correspondante associée à la vue originale en inversant l'équation : 8 bf 2d dans laquelle d est la profondeur du pixel soumis à déformation. L'écart corrigé est utilisé pour calculer la profondeur corrigée correspondante comme suit : d (1) = 28bf(i) Une fois la profondeur du bord corrigée, pour éviter des artefacts, il est nécessaire de corriger la profondeur des pixels proches de chaque bord. Cet objectif peut être atteint en utilisant des algorithmes d'interpolation de profondeur connus ou n'importe quel autre instrument connu d'élaboration d'images adapté pour amalgamer des zones différentes d'images et de masquer des artefacts visuels. A titre d'exemple, l'étape de renforcement des bords précédemment décrite peut être facilement adaptée pour remplir la même fonction sur une carte de profondeur. 2.2 Exemples de réalisation Sur la Figure 4 est illustré un exemple de schéma de principe d'un circuit pour la réalisation de la technique de correction des bords, décrite ci-dessus, du côté émetteur (génération) d'un système pour le renforcement de la forme des bords pour l'amélioration visuelle du rendu basé sur des images de profondeur d'un flux vidéo en trois dimensions selon l'invention.

Dans ce mode de réalisation, la correction de profondeur est effectuée en utilisant une seule vue. Les bords sont détectés dans la vue, ils sont ensuite déformés vers une position virtuelle. Ensuite, l'erreur de bord est calculée avec les procédés décrits ci- dessus et la correction est appliquée en utilisant les techniques décrites dans la section 2.1. De cette manière, seuls les bords sont corrigés ; pour corriger les pixels de profondeur proches des bords, il est possible d'appliquer n'importe quel procédé d'interpolation approprié. Sur la Figure 7, la vue droite ou gauche et les cartes de profondeurs associées (bloc 70) sont élaborées dans le bloc 71 pour détecter les bords. Ensuite, les bords détectés sont déformés dans le bloc 72. Le bloc suivant 73 calcule l'erreur d'écart du bord déformé. Dans le bloc suivant 74, la correction correspondante d'écart du bord est appliquée aux bords détectés de la carte d'écart. Dans le bloc 75, la carte d'écart ainsi obtenue est convertie en une carte de profondeur correspondante en utilisant également la vue gauche et la carte de profondeur associée provenant du bloc 70. Ensuite, dans le bloc 76, les pixels à proximité du bord de la carte de profondeur sont corrigés, en obtenant la carte de profondeur corrigée de la vue gauche ou droite (bloc 77). La Figure 8 montre un autre exemple de schéma de principe d'un circuit pour la réalisation de la technique de correction des bords, décrite ci-dessus, du côté émetteur (génération) d'un système pour le renforcement de la forme des bords pour l'amélioration visuelle du rendu basé sur des images de profondeur d'un flux vidéo en trois dimensions selon l'invention. Dans cet autre mode de réalisation, les métriques d'erreur de déformation proposées sont utilisées pour comparer le bord détecté dans une vue originale, par exemple la vue gauche, au bord disponible dans une autre vue originale, par exemple la vue droite. Par E1 est indiqué l'ensemble de bords détecté dans la vue gauche et par Er est indiqué l'ensemble de bords détecté dans la vue droite. Chaque bord e. E est déformé vers la droite, en obtenant l'ensemble de bords déformés E1,él qui est le j-ième bord déformé. Suite à la déformation des bords E1 vers la vue droite, il est établi une correspondance entre les bords -.É1 et Er en utilisant des instruments d'accouplement stéréo appropriés connus. Pour un bord éj/ e E, , le bord correspondant dans Er sera er,k. Autrement dit, il est possible de définir une fonction de mappage m(.) telle que m(j)=k, c'est-à-dire que le j-ième bord déformé gauche corresponde au k-ième bord détecté dans la vue droite. Pour la correction, il est possible de choisir un sous-ensemble de bords sur la base d' au moins un des critères traités dans la section 1.1. En outre, il est possible qu'un bord dans E1 n'ait pas un bord correspondant dans Er à cause d'occlusions ou de problèmes de détection du bord lui-même (bords dans des régions non occluses de la vue gauche non présentes dans la vue droite, ou bien les bords correspondants dans la vue droite sont trop faibles pour être détectés par le procédé de détection des bords, et ainsi la correspondance pourrait ne pas être établie). Ces bords peuvent être exclus des candidats possibles à la correction. Après avoir établi une correspondance stéréo entre les bords, l'erreur de déformation est détectée en utilisant les métriques décrites précédemment, et la correction peut être appliquée en évaluant ces métriques. A titre d'exemple, la comparaison des formes entre le bord gauche déformé et le bord droit correspondant peut être effectuée en calculant y/1 (i) = er,.'(i)(i) (i) c'est-à-dire la même métrique que celle proposée dans la section 1.2.1 est réutilisée ici pour déterminer les différences entre le bord droit référencé et le bord gauche déformé référencé correspondant.

De manière analogue, il est possible d'adopter l'approche de détection des anomalies présentée dans la section 1.2.2 pour détecter des points anormaux d'un bord gauche déformé déterminé, en utilisant comme référence le bord droit correspondant. L'approche présentée dans la section 2.1.2 permet de calculer l'erreur d'écart : = L'erreur d'écart (i) est donc utilisée pour corriger la carte de profondeur correspondante, comme décrit dans la section 2.1.2. En échangeant les rôles des vues gauche et droite, cette approche peut être utilisée pour éliminer les anomalies de profondeur de la vue droite. 5. La Figure 8 montre le schéma de principe de la correction de profondeur effectuée en utilisant des vues multiples : la vue gauche V1 et la carte de profondeur (ou disparité) associée D1 (bloc 80) sont élaborées dans le bloc 81 pour détecter les bords de ladite vue gauche. Ensuite, les bords détectés sont déformés dans le bloc 82. La vue droite Vr et la carte de profondeur (ou disparité) associée Dr (bloc 80') sont 10 élaborées dans le bloc 81' pour détecter les bords de ladite vue droite. Dans le bloc suivant 83, la correspondance stéréo entre les bords des vues gauche et droite est calculée. Dans le bloc suivant 84, pour chaque paire de bords, l'erreur d'écart du bord est calculée. Ensuite, dans le bloc 85, la correction d'écart correspondante est 15 appliquée aux bords déformés et, dans le bloc 86, les écarts corrigés sont utilisés pour corriger la carte de profondeur correspondante de la vue gauche. Ensuite, dans le bloc 87, les pixels proches du bord de la carte de profondeur sont corrigés, en obtenant la carte de profondeur corrigée de la vue gauche (bloc 88). Comme indiqué ci-dessus, la même procédure peut être utilisée pour la carte de profondeur de la vue 20 droite. Il faut noter que la procédure décrite ci-dessus peut être appliquée à n'importe quelle paire de vues et de cartes de profondeur correspondantes et peut donc être étendue à une configuration générale multi-vues et aux cartes de profondeurs correspondantes à condition qu'elle soit appliquée de manière itérative à 25 différentes paires de vues/profondeurs pour affiner progressivement les valeurs de profondeur. Dans un autre mode de réalisation, il est possible d'adopter une des approches précitées comme une partie d'un algorithme d'estimation de la profondeur, dans le but d'aider ce dernier à restituer un résultat de profondeur amélioré ou à converger 30 plus rapidement vers les valeurs de profondeur désirées. La Figure 14 montre un exemple de schéma de principe d'un système de génération d'un flux vidéo en trois dimensions, qui comprend un circuit 141 pour la réalisation de la technique de correction des bords du côté transmission (génération) selon l'invention. Il est clair que l'homme du métier n'a pas de problèmes pour insérer le circuit de l'invention dans un tel système de réception, lequel est réalisé de manière connue en soi, une fois que les enseignements de l'invention sont connus. Le circuit 141 peut être réalisé comme décrit ci-dessus en référence aux Figures 7 ou 8. Il reçoit sur les entrées la vue gauche VI et la vue droite V, du flux vidéo en trois dimensions, avec les cartes de profondeur (ou disparité) associées, respectivement DI et Dr, qui sont générées d'une quelconque manière connue en soi. Le circuit 141 comprend des moyens pour réaliser la technique de correction des bords décrite ci-dessus et fournit en sortie les cartes de profondeur corrigées avec renforcement de la forme des bords respectivement des vues gauche VI et droite Vr. Les flux des vues gauche VI et droite Vr et des cartes de profondeur corrigées correspondantes sont fournis dans un bloc 142 qui comprend des moyens pour la génération d'un flux vidéo en trois dimensions adapté pour être fourni à un système de transmission ou mémorisé pour un usage ultérieur. 3 Procédé et dispositif pour l'évaluation de la qualité de la profondeur Habituellement, la qualité de l'estimation de profondeur est évaluée en générant une vue virtuelle à partir de deux vues et profondeurs, et la vue virtuelle est ensuite comparée à l'original correspondant.

Pour mesurer la qualité des deux images, des métriques de qualité telles que le rapport signal de crête/bruit (Peak Signal to Noise Ratio, PSNR), la mesure d'indice de similarité de structure (Sructural Similarity Index Measure, SSIM) et l'évaluation de la qualité vidéo (Video Quality Assessment, VQA) sont fréquemment utilisées.

Il existe des cas dans lesquels cette approche ne fonctionne pas car il manque la référence originale de la vue intermédiaire, du fait qu'elle n'a pas été acquise au moment de la prise de vue. Même quand la vue intermédiaire originale est disponible, la génération d'une vue intermédiaire complète par DIBR peut imposer une charge de calcul très élevée sur l'instrument d'évaluation de la qualité.

Enfin, les procédés existants d'évaluation de la qualité de la profondeur fonctionnent seulement dans le cas de deux vues avec cartes de profondeur correspondantes. Au contraire, les procédés d'évaluation de la qualité de la profondeur proposés ici ont une approche plus générale et peuvent être utilisés pour mesurer la qualité même d'une profondeur individuelle avec la vue respective. Dans ce cas, il est possible de déformer la vue individuelle vers un point de vue arbitraire et donc de calculer l'erreur de profondeur avec les procédés décrits ci-après.

Il est bien connu que les bords contribuent de manière significative à la qualité subjective de l'image. En particulier, une déformation exacte et précise des bords est une fonction importante afin de garantir des images virtuelles de haute qualité. Les métriques d'erreur de déformation des bords proposées peuvent être utilisées également dans ce but, indépendamment de leur utilisation dans le cadre d'une technique de correction des bords en trois dimensions. Certains exemples de métriques d'erreur de déformation des bords globaux sont illustrés ici ; néanmoins, il est possible de définir des métriques alternatives sur la base des métriques d'erreur des bords définies dans les sections 1.2.1 et 1.2.2. Ci-après sont illustrées deux métriques pour l'évaluation de la qualité de la profondeur basées sur les présents procédés de calcul des erreurs des bords. 3.1 Métrique d'erreur de déformation absolue des bords (Absolute Warping Edge, AWE) La manière la plus simple de calculer la qualité de la profondeur consiste à détecter les bords, c'est-à-dire l'attribut visuel principal pour le système visuel humain (SVU), déformer les bords vers une position virtuelle et calculer l'erreur induite dans chaque bord par des erreurs de profondeur. La somme des erreurs absolues de tous les bords dans une trame indique l'erreur de profondeur. Par conséquent, il est défini la métrique d'erreur de déformation absolue des bords (Absolute Warping Edge, AWE) Ak, qui représente l'erreur de déformation totale des bords dans une trame donnée k : Ak JE Ek où Ili est l'erreur du bord j et Ek est l'ensemble de tous les bords dans la trame k. Evidemment, cette métrique peut être utilisée pour classer la qualité d'une séquence vidéo complète, en appliquant un opérateur statistique approprié à la série de valeurs métriques calculées sur chaque trame et chaque vue, par exemple 5 moyenne, maximum, etc. 3.2 Erreur de déformation pondérée des bords (Weighted Warping Edge, WWE) Le procédé décrit ci-dessus pour mesurer la qualité de la profondeur peut être 10 sensible à des erreurs de grande entité dans des bords de petites dimensions qui peuvent ne pas influencer de manière significative la qualité visuelle de la vue virtuelle. Pour rendre plus robuste la métrique d'erreur, il est possible d'équilibrer l'erreur du bord en fonction de sa longueur. Une erreur de déformation pondérée des bords (Weighted Warping Edge, WWE) peut être définie comme suit : 15 = piw(ni) où l'erreur di j-ième bord est pondérée suivant une fonction w(ni) selon la longueur du bord nj. Cette fonction est utilisée pour donner un poids supérieur à 20 l'erreur dans les bords longs. Ainsi, la métrique Ak est définie comme : Ak = Di; je Ek Le procédé de la présente invention peut être avantageusement réalisé au 25 moins en partie par le biais d'un programme informatique comprenant des moyens de codage de programme pour l'exécution d'une ou plusieurs étapes du procédé quand ce programme est exécuté sur un ordinateur. Il reste donc entendu que le cadre de protection s'étend à un tel programme informatique et à des moyens lisibles par ordinateur contenant un message enregistré, lesdits moyens lisibles par ordinateur 30 comprenant des moyens de codage de programme pour l'exécution d'une ou plusieurs étapes du procédé quand ce programme est exécuté sur un ordinateur. De nombreuses modifications, variations et d'autres utilisations et applications de l'objet de l'invention sont cependant possibles, lesquels s'avèreront évidents pour l'homme du métier à la lumière de la présente description et des dessins annexés, qui en illustrent certains modes de réalisation préférés. Toutes ces modifications, variations et autres utilisations et applications qui ne s'écartent pas du cadre inventif devront être considérées couvertes par la présente invention. Les éléments et les caractéristiques décrits dans les différents modes de réalisation préférés peuvent être combinés entre eux sans pour autant sortir du cadre inventif. Des détails de réalisation additionnels ne sont pas décrits, en ce que l'homme 10 du métier sera en mesure de réaliser l'invention sur la base des enseignements contenus dans la présente description.

Claims

REVENDICATIONS1. Procédé pour la correction des bords d'images d'un contenu vidéo en trois dimensions, ledit contenu vidéo comprenant au moins une image de vue originale et au moins une carte de profondeur ou de disparité, le procédé comprenant les étapes suivantes : - la détection (42) des bords dans ladite au moins une image de vue originale pour obtenir des bords originaux ; - la déformation (43) desdits bords originaux suivant ladite carte de profondeur ou de disparité ; - la détection (44) d'un ensemble de bords déformés altérés par le processus de 10 déformation ; - la correction (45) desdits bords altérés pour obtenir des bords corrigés.
2. Procédé selon la revendication 1, dans lequel ladite étape de détection dudit ensemble de bords déformés (44) comprend une étape de comparaison des formes 15 des bords qui prévoit : - la comparaison de la forme d'un bord original avec le bord déformé correspondant et la détermination de la distorsion du bord déformé par rapport au bord original.
3. Procédé selon la revendication 2, dans lequel ladite détermination de la distorsion 20 comprend : - le calcul d'un point de bord de référence, comme le barycentre des coordonnées horizontales et verticales des bords déformés et des bords originaux, ou comme la médiane des coordonnées horizontales et verticales des bords déformés et des bords originaux ; 25 - l'expression des coordonnées du bord original et du bord déformé par rapport au point de référence correspondant, en obtenant des points de bord référencés ; - le calcul de l'erreur de déformation pour chaque point du bord en prenant la différence entre les coordonnées des points de bord référencés avant et après la déformation. 30
4. Procédé selon la revendication 1, dans lequel lesdites étapes de détection del'ensemble de bords déformés (44) comprennent une étape de détection des anomalies dans les coordonnées des bords déformés, laquelle prévoit : - la comparaison de la forme des trajectoires des bords avant et après la déformation pour identifier d'éventuelles modifications anormales et brusques du gradient des bords avant et après la déformation, en calculant la différence du gradient horizontal et/ou vertical des bords avant et après la déformation ; - ledit gradient horizontal ou vertical représentant respectivement les incréments des coordonnées horizontales et verticales de la trajectoire du bord.
5. Procédé selon la revendication 4, dans lequel la modification dudit gradient est considérée comme une modification brusque et anormale si le bord déformé apparaît déconnecté autour du point de bord considéré.
6. Procédé selon la revendication 2 ou 3, dans lequel ladite étape de correction desdits bords altérés (45) comprend la correction de la forme des bords déformés en soustrayant l'erreur de bord du bord déformé, de manière à renforcer la forme du bord original.
7. Procédé selon la revendication 6, dans lequel la correction est appliquée seulement aux bords dont l'erreur globale est supérieure à un seuil.
8. Procédé selon la revendication 1, dans lequel l'étape de déformation des bords originaux (43) est exécutée sur un sous-ensemble des bords détectés qui dépend d'au moins un des facteurs suivants : - les critères de qualité qui doivent être satisfaits dans tout le processus de correction, de préférence la qualité visuelle ou des propriétés spécifiques des objets visuels ou des propriétés géométriques ou contraintes d'applications spécifiques ; - les caractéristiques géométriques du bord (de préférence l'orientation, la linéarité, la courbure, la longueur) ; - la position du bord (de préférence la position dans l'espace 3D, la proximité du point de vue de la caméra).
9. Procédé selon la revendication 4 ou 5, dans lequel ladite étape de correctiondesdits bords altérés (45) comprend la correction du bord en soumettant à un processus de lissage les parties de la trajectoire du bord qui ont été reconnues comme étant anormales.
10. Procédé selon la revendication 9, dans lequel, pour ladite correction, il est prévu l'utilisation d'un filtre de lissage ou d'un filtre de moyenne ou d'un filtre médian non linéaire.
11. Procédé selon l'une quelconque des revendications 1 à 5, dans lequel ladite étape de correction desdits bords altérés (45) comprend la modification d'une position d'un pixel d'un bord altéré en corrigeant les valeurs anormales du gradient déformé sur la base du gradient du bord original appliqué au pixel de bord précédent ou à son voisinage.
12. Procédé selon la revendication 11, dans lequel lesdites identification et correction par référence sont appliquées de manière récursive.
13. Procédé selon l'une quelconque des revendications 1 à 5, dans lequel ladite étape de correction desdits bords altérés (45) comprend la détermination d'une fonction des 20 valeurs de gradient desdits bords originaux à proximité du bord déformé.
14. Procédé selon la revendication 13, dans lequel ladite fonction des valeurs de gradient des bords originaux dépend de la somme des coordonnées d'un pixel adjacent au point du bord déformé avec le gradient calculé dans ledit point. 25
15. Procédé selon la revendication 1, dans lequel les bords corrigés sont contenus dans une image de vue déformée obtenue en déformant l' au moins une vue originale suivant la carte de profondeur ou de disparité. 30
16. Procédé selon la revendication 15, comprenant également une étape de renforcement des bords (46), dans laquelle d'autres valeurs de pixels positionnés à proximité du bord original correspondant aux bords déformés sont amalgamées dans ladite vue déformée à proximité desdits bords corrigés.
17. Procédé selon l'une quelconque des revendications précédentes 1 à 16, comprenant également l'étape de détection de bords dans une autre image de vue originale du contenu vidéo en trois dimensions pour obtenir des bords détectés dans ladite autre vue, dans laquelle : - l'étape de détection de l'ensemble de bords déformés altérés par le processus de déformation comprend l'accouplement desdits bords déformés et des bords détectés dans ladite autre vue pour en déterminer la correspondance avec le même bord du contenu vidéo en trois dimensions et mesurer l'altération produite par le processus de déformation en comparant lesdits bords déformés avec les bords détectés dans ladite autre vue, et - l'étape de correction desdits bords altérés dépend desdits bords détectés dans ladite autre vue et de ladite mesure.
18. Procédé pour la correction des bords d'images d'un contenu vidéo en trois dimensions, ledit contenu vidéo comprenant au moins deux images de vues originales et au moins deux cartes de profondeur ou de disparité, le procédé comprenant : - l'exécution du procédé selon l'une quelconque des revendications 1 à 16 sur une 20 desdites au moins deux vues originales ; - l'exécution du procédé selon l'une quelconque des revendications 1 à 16 sur l'autre desdites au moins deux vues originales ; dans lequel ledit procédé est exécuté sur lesdites vues originales consécutivement l'une après l'autre et indépendamment l'une de l'autre. 25
19. Procédé pour la correction des bords d'images d'un contenu vidéo en trois dimensions, ledit contenu vidéo comprenant au moins deux images de vues originales et au moins deux cartes de profondeur ou de disparité, le procédé comprenant : 30 - l'exécution du procédé selon l'une quelconque des revendications 1 à 16 sur une desdites au moins deux vues originales ; - l'exécution du procédé selon l'une quelconque des revendications 1 à 16 sur des bords de l'autre vue originale qui n'ont pas été corrigés durant l'étape précédente.
20. Procédé pour la correction des bords d'images d'un contenu vidéo en trois dimensions, ledit contenu vidéo comprenant au moins deux images de vues originales et au moins deux cartes de profondeur ou de disparité, le procédé 5 comprenant : - la détermination des bords dudit contenu vidéo en trois dimensions qui peuvent être corrigés en appliquant le procédé selon l'une quelconque des revendications 1 à 16 auxdites deux images de vues originales ; et - l'application du procédé selon l'une quelconque des revendications 1 à 16 aux 10 bords déterminés durant l'étape précédente.
21. Procédé selon la revendication 1, comprenant également les étapes suivantes - la détermination de la profondeur desdits bords déformés dans la carte de profondeur correspondante ; 15 - le calcul des écarts provoqués par le processus de déformation sur lesdits bords déformés par rapport aux bords originaux en exploitant la relation entre des valeurs de profondeur et de disparité des pixels des bords ; - la mesure de l'erreur d'écart produite par le processus de déformation par rapport auxdits bords originaux ; 20 - la détermination de la valeur d'écart corrigée des bords sur la base desdites erreurs d'écart et desdits écarts ; - la détermination de la valeur de profondeur corrigée desdits bords altérés en exploitant la relation entre des valeurs de profondeur et de disparité des pixels des bords. 25
22. Procédé selon la revendication 21, dans lequel les profondeurs des pixels voisins sont interpolées au moyen d'un algorithme d'interpolation de la profondeur.
23. Procédé selon la revendication 1, comprenant également l'étape d'obtention 30 d'images corrigées dudit contenu vidéo en trois dimensions, en appliquant lesdits bords corrigés aux images dudit contenu vidéo.
24. Procédé pour déterminer la qualité d'une carte de profondeur correspondant à unevue originale relative à un contenu vidéo en trois dimensions, comprenant : - l'application d'un procédé selon la revendication 2 ou 3 aux bords d'une image de vue originale relative audit contenu vidéo en trois dimensions pour obtenir respectivement des distorsions des bords et des erreurs de déformation correspondantes, et - l'addition respectivement desdites distorsions ou erreurs de déformation résultantes pour lesdits bords déformés suivant ladite carte de profondeur.
25. Procédé pour déterminer la qualité d'une carte de profondeur correspondant à une 10 vue originale relative à un contenu vidéo en trois dimensions, comprenant : - l'application d'un procédé selon la revendication 4 ou 5 aux bords d'une vue originale relative audit contenu vidéo en trois dimensions pour obtenir des différences correspondantes de gradient horizontal et/ou vertical des bords avant et après la déformation, et 15 - l'addition des valeurs absolues desdites différences de gradient résultantes pour lesdits bords déformés suivant ladite carte de profondeur.
26. Procédé selon la revendication 23 ou 24, dans lequel les valeurs additionnées sont pondérées avec un facteur de pondération dépendant de la longueur du bord 20 correspondant.
27. Programme informatique comprenant des moyens de codage de programme informatique adaptés pour réaliser toutes les étapes des revendications 1 à 26, quand ledit programme est exécuté sur un ordinateur.
28. Support lisible par ordinateur sur lequel est enregistré un programme, ledit support lisible par ordinateur comprenant des moyens de codage de programme informatique adaptés pour réaliser toutes les étapes des revendications 1 à 26, quand ledit programme est exécuté sur un ordinateur.
29. Dispositif d'élaboration vidéo, comprenant : - des moyens d'entrée adaptés pour recevoir au moins une image de vue originale et au moins une carte de profondeur ou de disparité, et 25 30- des moyens d'élaboration d'images adaptés pour exécuter un procédé selon l'une quelconque des revendications 1 à 23.
30. Système adapté pour la reconstruction d'un contenu vidéo en trois dimensions, comprenant un dispositif d'élaboration vidéo selon la revendication 29.
31. Système adapté pour la génération d'un contenu vidéo en trois dimensions, comprenant un dispositif d'élaboration vidéo selon la revendication 29.
32. Dispositif pour l'évaluation de la qualité vidéo, comprenant - des moyens d'entrée adaptés pour recevoir au moins une image de vue originale et au moins une carte de profondeur ou disparité, et - des moyens d'élaboration d'images adaptés pour exécuter un procédé selon l'une quelconque des revendications 24 à 26.