FR2811791A1 - Estimateur de mouvement pour le codage et le decodage de sequences d'images - Google Patents

Abstract

L'invention concerne l'estimation et la compensation du mouvement entre deux images donn ees, repr esent ees à l'aide d'un maillage polygonal, et apporte une solution aux problèmes de tassement et de d ecouvrement de mailles lors du d eplacement du maillage. Plus pr ecis ement, l'invention concerne un proc ed e de codage d'un maillage repr esentatif d'une image d'une s equence anim ee. Selon l'invention, un tel maillage est de taille sup erieure à ladite image.

Description

1 2811791

Estimateur de mouvement pour le codage et le décodage de séquences d'images. Le domaine de l'invention est celui du codage d'images ou de séquences d'images. Plus précisément, l'invention concerne l'estimation et la compensation du mouvement entre deux images données. La notion de mouvement entre deux images d'une séquence est une notion

bien connue dans la communauté scientifique et technique du traitement d'image.

Celui-ci se définit comme le vecteur à deux dimensions caractérisant la différence de positions entre un point d'une image et le point homologue de l'autre image, sous l'hypothèse que ces points correspondent au même point physique dans chacune des deux images. L'attribution d'un vecteur déplacement à chaque point de l'image, ou pixel, définit donc un champ dense de mouvement sur l'image, ainsi qu'illustré en figure 1. L'ensemble 10 des N*M vecteurs obtenus pour une image de taille N*M s'appelle le champ de mouvement, ou flot optique, entre deux

images 11 et 12 correspondant respectivement aux instants t et t+1.

L'estimation du mouvement entre deux images (calcul d'un champ de déplacement ou de disparités entre deux images) trouve des applications dans tous les domaines de l'imagerie et du traitement d'image. On peut citer, à titre d'exemples, et de façon non restrictive: - le codage vidéo: le champ de mouvement est utilisé pour la prédiction d'une image à partir des images précédemment décodées. La représentation par maillage d'un tel champ est notamment définie dans différentes normes

ou standards, tel que le standard MPEG-4.

- l'imagerie médicale: analyse du mouvement du corps humain, du coeur, etc.

- le suivi d'objets (par exemple dans le cadre du contrôle du trafic routier).

L'invention s'applique notamment au traitement des images bidimensionnelles (2D), mais également au traitement des images représentatives

d'objets multidimensionnels (notamment 3D).

2 2811791

Il existe à ce jour plusieurs techniques d'estimation de mouvement dans les

séquences d'images.

Une première technique consiste à calculer un champ dense de mouvement

pour l'image, et à attribuer un vecteur de déplacement à chaque pixel.

Une deuxième technique vise à calculer un vecteur déplacement par bloc

rectangulaire de l'image.

Une troisième technique repose sur le calcul d'un modèle mathématique du mouvement par région, éventuellement de forme arbitraire, de l'image. Une telle technique met donc également en oeuvre une segmentation de l'image en régions, correspondant par exemple aux différents objets vidéo constitutifs de la scène illustrée. Une dernière technique, décrite par exemple dans la demande de brevet FR 2 783 123 intitulée "Procédé d'estimation du mouvement entre deux images", consiste à calculer un champ défini par un modèle d'éléments finis. Un maillage est associé à l'image, et une fonction d'interpolation ou d'extrapolation permet de calculer la valeur du champ en chaque point de l'image, à l'intérieur de chacune

des mailles, ainsi qu'illustré par la figure 2.

Cette technique repose par ailleurs sur la mise en oeuvre d'une méthode différentielle, qui détermine les paramètres de mouvement par optimisation d'un critère mathématique de qualité (par exemple, une erreur quadratique entre l'image et sa valeur prédite par la compensation du mouvement). Une telle optimisation est réalisée à l'aide d'une méthode d'optimisation mathématique différentielle, dans le cas de critères possédant les propriétés mathématiques

nécessaires (par exemple, un critère dérivable).

Ainsi, on associe, par exemple, un maillage triangulaire à l'image 21. On optimise la valeur des vecteurs de mouvement des sommets référencés 22, 23 et 24 du maillage. Puis on réalise une interpolation (ou une extrapolation) afin de déterminer les vecteurs de mouvement des points ne correspondant pas à des

sommets du maillage, tels que les points référencés 25 et 26 par exemple.

3 2811791

Une telle méthode d'estimation de mouvement, reposant sur la mise en oeuvre d'un maillage hiérarchique représentatif de l'image à coder, est particulièrement adaptée à la transmission progressive des données, et représente donc une solution avantageuse aux problèmes de saturation de bande passante et d'adaptabilité aux réseaux de communication, de natures et de capacités diverses. Cependant, une telle méthode rencontre certaines difficultés lors du suivi

de mouvement.

Ainsi, un inconvénient de cette technique de l'art antérieur est qu'elle engendre des déplacements de mailles, entraînant des tassements ou des découvrements sur certaines zones de l'image, tel qu'illustré en figure 5. En effet, les maillages déformables définissent une représentation continue d'un champ de mouvement (c'est-à-dire que le maillage suit les objets en mouvement dans la scène), alors que le mouvement réel d'une séquence vidéo est de nature discontinue. Par conséquent, lorsqu'un objet se déplace par exemple de gauche à droite dans l'image 51, la zone de gauche 52, découverte par le déplacement de l'objet, représente une nouvelle information, et, de ce fait, n'est plus maillée. La zone de droite 53 supporte quant à elle un tassement de mailles. De même, lorsque différents plans et objets se recouvrent dans une scène, des zones d'occultation

apparaissent, générant des lignes de discontinuité.

Or, outre les informations de mouvement, les sommets du maillage sont aussi porteurs d'informations photométriques et/ou colorimétriques qui permettent de générer un champ photométrique et/ou colorimétrique, et donc d'approximer l'image. L'apparition de zones de découvrement non maillées correspond donc à l'entrée dans l'image de zones dont la photométrie et/ou la colorimétrie ne peut pas

être approximée, c'est-à-dire de zones noires.

Les solutions généralement proposées pour compenser l'apparition de zones de découvrement non maillées, ou de zones de tassement, caractérisées par une redondance d'informations, consistent à forcer les noeuds du bord de l'image

(par exemple le noeud référencé 511) à rester immobiles.

4 2811791

Un inconvénient de cette technique de l'art antérieur est que l'approximation des zones entrantes est de qualité médiocre, en raison de

l'étirement des mailles associées.

Un autre inconvénient de cette technique de l'art antérieur est que l'estimation de mouvement est biaisée par la contrainte d'immobilité imposée aux

noeuds des bords de l'image.

Cette technique de l'art antérieur a encore pour inconvénient d'entraîner une sur-approximation trop coûteuse des zones sortant de l'image, correspondant aux zones de tassement des mailles. En effet, dans les zones de tassement, on obtient une sur-représentation du champ de mouvement, car un nombre trop élevé de mailles est utilisé pour réaliser l'approximation d'une portion réduite du champ de mouvement. Une telle sur-représentation ne nuit pas à la qualité d'approximation du champ de mouvement, mais engendre un surcoût de transmission. Une autre solution envisagée pour compenser l'apparition des zones de découvrement ou des zones de tassement du maillage consiste à insérer de nouveaux points sur les zones noires et à construire un maillage de Delaunay contraint. Un inconvénient de cette technique de l'art antérieur est qu'elle est

coûteuse en temps et en débit de transmission et/ou de stockage d'informations.

Un autre problème lié aux perturbations du champ de mouvement est l'apparition de retournement des mailles du maillage hiérarchique représentatif de l'image, ainsi qu'illustré en figure 3, lorsque certaines mailles 31, 32 se déplacent

l'une par rapport à l'autre selon des vecteurs de mouvement antagonistes 33, 34.

Plusieurs méthodes ont été envisagées pour pallier de tels retournements

de mailles.

On a notamment envisagé de mettre en place des contraintes sur les

différentes mailles, de façon à interdire les phénomènes de retournement.

On a également envisagé d'effectuer un post-traitement sur le maillage, qui peut être réalisé selon deux modes distincts. Un premier mode de réalisation d'un

2811791

post-traitement consiste à appliquer les vecteurs de mouvement tels qu'estimés aux différents noeuds du maillage, puis à détecter les vecteurs de mouvement ayant entraîné l'apparition de défauts dans le maillage, et enfin à corriger leur

valeur, de manière à compenser les phénomènes de retournement de mailles.

Un second mode de réalisation d'un post-traitement consiste en un procédé itératif: à chaque itération, on applique une partie du déplacement estimé à chacun des noeuds du maillage, de façon à ne pas générer de retournement de mailles. Les itérations sont ensuite répétées jusqu'à ce qu'on obtienne une

convergence du procédé.

Cependant, les méthodes de post-traitement agissant après que les vecteurs de mouvement des différents noeuds du maillage ont été estimés, elles ne permettent pas une gestion optimale des retournements de mailles. En effet, dans les méthodes de post-traitement, les vecteurs de mouvement sont corrigés indépendamment de leur contribution à la minimisation de l'erreur de prédiction (par exemple de l'erreur quadratique entre l'image et sa valeur prédite par

compensation de mouvement).

La technique décrite dans la demande de brevet française FR 99 15568 intitulée "Procédé d'estimation de mouvement entre deux images avec gestion de retournements de mailles et procédé de décodage correspondant" propose une solution au problème de retournement généré par l'estimateur de mouvement

reposant sur la mise en oeuvre d'un maillage hiérarchique.

Une telle technique consiste à entreprendre une optimisation initiale des vecteurs de mouvement du maillage, en laissant l'estimateur de mouvement créer d'éventuels retournements entre deux instants successifs t1 et t2, de manière à détecter les zones de discontinuité ainsi générées. Le procédé consiste alors à réaliser une nouvelle estimation du mouvement entre les instants t, et t2, en excluant les zones en défaut (c'est-àdire les zones contenant au moins un retournement de maille), afin de minimiser l'erreur de prédiction entre les deux

images correspondant aux instants t, et t2 considérés.

6 2811791

Cette nouvelle estimation permet de déterminer les vecteurs de mouvement optimaux pour la zone continue de l'image (c'est-à-dire admettant une bijection entre t1et t2) et d'éviter ainsi que les valeurs des vecteurs de mouvement obtenus au cours de l'optimisation initiale ne soient perturbées par l'existence de zones de discontinuités. Les zones en défaut sont alors approximées par une méthode fréquentielle ou spatiale, lorsque le procédé est appliqué à la compression d'images par exemple, et exclues définitivement du procédé d'optimisation,

lorsque la technique est appliquée au suivi d'objets vidéo par exemple.

Un inconvénient de cette technique de l'art antérieur est qu'elle ne permet pas de gérer l'apparition de zones de découvrements et de zones de tassement de mailles au cours d'une translation d'un objet au sein de l'image, telle que décrite ci-dessus. L'invention a notamment pour objectif de pallier ces inconvénients de l'art antérieur. Plus précisément, un objectif de l'invention est de fournir une technique de codage d'images représentées à l'aide d'un maillage, permettant une estimation et

une compensation du mouvement au sein de l'image.

Un autre objectif de l'invention est de mettre en oeuvre une technique de codage d'images permettant d'obtenir une bonne approximation de la surface photométrique et/ou colorimétrique de l'image, notamment pour les zones

fortement texturées.

L'invention a encore pour objectif de fournir une technique de codage

d'image, simple et robuste.

L'invention a également pour objectif de mettre en oeuvre une technique de codage d'image adapté à tous les domaines dans lesquels le mouvement est estimé à l'aide de maillages, et notamment le domaine du codage vidéo (tel que les

standards MPEG4 et H263+ par exemple).

Un autre objectif de l'invention est de fournir une technique de codage

d'images présentant un coût de transmission de l'information réduit.

7 2811791

Encore un autre objectif de l'invention est de mettre en oeuvre une technique de codage d'image assurant une fluidité visuelle du déplacement de l'image. L'invention a encore pour objectif de fournir une technique de codage d'images permettant de gérer efficacement l'apparition de zones de découvrement

et/ou de zones de tassement lors du déplacement des objets constitutifs de l'image.

L'invention a également pour objectif de mettre en oeuvre une technique de codage d'images permettant de gérer les phénomènes de retournements et

d'occultations de mailles.

Un autre objectif de l'invention est de fournir une technique de codage d'images permettant de réduire la transmission et/ou le stockage des vecteurs de

mouvement pour les zones de tassement de mailles.

Encore un autre objectif de l'invention est de mettre en oeuvre une technique de codage d'images permettant d'assurer la constance du rapport du

débit de transmission de l'information sur le taux de distorsion de l'image.

Ces objectifs, ainsi que d'autres qui apparaîtront par la suite sont atteints, selon l'invention, à l'aide d'un procédé de codage d'un maillage représentatif d'une image d'une séquence animée, un tel maillage étant de taille supérieure à

ladite image.

Par image, on entend ici une image bidimensionnelle, ou une image

multidimensionnelle, par exemple représentative d'un objet 3D.

Ainsi, l'invention repose sur une approche tout à fait nouvelle et inventive de l'estimation et de la compensation de mouvement pour le codage et le décodage de séquences d'images, permettant la gestion des découvrements et des tassements de mailles lors du déplacement d'objets. En effet, l'invention propose notamment le codage d'un maillage de dimension supérieure à celle de l'image à laquelle il est associé, et va donc à l'encontre des préjugés de l'homme du métier, qui a toujours cherché à réduire la quantité d'informations à coder et à transmettre et/ou stocker sur un support de données. Il semble en effet tout à fait inutile, a priori, pour

8 2811791

l'homme du métier de construire un maillage plus vaste que l'image, puisque

aucune information n'est disponible au-delà des limites de l'image.

L'invention permet ainsi, lors d'un suivi de mouvement, de maintenir un

maillage sur l'intégralité de chacune des images d'une séquence vidéo.

Avantageusement, ladite image ayant une surface de N*M pixels, ledit maillage présente une surface d'au moins nN*nM pixels, n étant un entier

supérieur ou égal à 2.

L'invention prévoit idéalement d'utiliser un maillage de taille infinie. Par défaut, le maillage s'étend de part et d'autre de l'image, de manière à ce que sa surface soit au moins n fois supérieure à celle de l'image, o n est un entier suffisamment grand, défini préalablement à la mise en oeuvre du procédé de

codage selon l'invention.

Selon une première caractéristique avantageuse de l'invention, ledit maillage est un maillage hiérarchique présentant au moins deux niveaux de

maillage emboîtés au sein d'une pyramide de maillage.

Ainsi, l'utilisation d'un maillage hiérarchique emboîté 41 permet d'obtenir un codage robuste, et réduit le coût de transmission et/ou de stockage de l'information. En effet, il existe une forte corrélation entre les informations portées par un noeud père et celles portées par ses noeuds fils au sein du maillage. De ce fait, on quantifie les valeurs des noeuds 42, 43 appartenant au niveau le plus haut de la pyramide de maillage (correspondant à un maillage grossier de l'image), en vue de leur transmission, par exemple vers un codeur, et/ou de leur stockage sur un support de données 45. En revanche, pour les niveaux inférieurs de la pyramide de maillage (correspondant à un maillage plus fin de l'image), on ne quantifie que les valeurs différentielles des noeuds fils 44, en vu de leur

transmission et/ou de leur stockage, ainsi qu'illustré en figure 4.

Selon une deuxième caractéristique avantageuse de l'invention, ledit maillage est un maillage triangulaire constitué d'un arrangement de sommets et de faces triangulaires, définies chacune par trois références aux sommets qu'elle relie,

et présentant trois arêtes reliant chacune deux desdits sommets.

9 2811791

L'invention s'applique bien sûr également à tout autre type de maillage

polygonal, ayant éventuellement subi une triangulation préalable.

Selon une technique avantageuse de l'invention, un tel procédé de codage associe à au moins certains des sommets et/ou certaines des faces dudit maillage au moins un des marqueurs suivants: - un marqueur "intérieur", une face portant un marqueur "intérieur" si elle a une intersection non vide avec ladite image, et un sommet portant un marqueur "intérieur" s'il appartient à une face "intérieur"; - un marqueur "entrant", un sommet portant un marqueur "entrant" s'il porte un marqueur "intérieur" et qu'il est extérieur à l'image, et une face portant un marqueur "entrant" si au moins un des trois sommets

qu'elle relie porte un marqueur "entrant".

L'introduction de tels marqueurs permet de différencier les sommets du maillage, et permet donc, lors de l'estimation de mouvement, d'appliquer un traitement adapté à chacun des sommets et/ou des faces du maillage, en fonction

du marqueur qui lui est associé.

Avantageusement, un tel procédé de codage met en oeuvre la succession d'étapes suivantes: - estimation du mouvement desdits sommets dudit maillage, entre deux images successives de ladite séquence; - construction d'informations colorimétriques et/ou photométriques destinées à des sommets et/ou des faces dudit maillage portant ledit marqueur "entrant". Une telle étape de construction peut être mise en oeuvre selon l'approche proposée dans le document de brevet FR-98 12525 ayant pour titre " procédé de

codage d'images fixes ou animées avec réduction et adaptation du débit ".

Cette technique a pour objet un procédé de codage d'une image

2811791

numérique, visant à produire un train binaire représentatif de cette image, la longueur du train binaire étant fonction de représentation voulue. Ce procédé comprend les étapes suivantes: - définir, sur un domaine de l'image à coder, un maillage hiérarchique comportant une pluralité de maillages emboîtés dont les sommets de mailles peuvent être des pixels de ladite image; - réaliser les optimisations de luminance, chrominance, et positions sur chaque niveau de maillage; - déterminer, pour chaque maille dudit maillage hiérarchique, un écart de luminance entre l'image à coder et une image interpolée obtenue à partir des sommets du maillage emboîté auquel appartient la maille considérée, et introduire dans le train binaire les valeurs (avantageusement codées en différentiel par rapport au niveau hiérarchique précédent) de positions, de luminance et de chrominance des sommets des mailles dont l'écart

de luminance est supérieur à un écart seuil.

Selon cette technique, on construit au terme de l'étape de maillage, une structure en arbre quaternaire, associée au maillage hiérarchique, pour manipuler les valeurs (couleurs et positions) des sommets des mailles. L'arbre présente un nombre de noeuds égal au nombre de triangles dans le niveau de maillage correspondant. Chaque noeud de l'arbre se rapporte à un unique triangle du

maillage hiérarchique.

Une fois cet arbre construit, on sélectionne les données de l'arbre à introduire dans le train binaire représentatif de l'image qui sera transmise et/ou

stockée. Cette sélection dépend de la qualité voulue.

Pour réaliser cette sélection, on calcule, pour chaque triangle, un écart de luminance entre l'image à coder et l'image interpolée à partir des sommets du maillage emboîté auquel appartient la maille considérée. Cet écart est ensuite comparé à un écart seuil pour chaque triangle. La valeur de l'écart seuil est

fonction de la qualité de représentation voulue.

il 2811791 On introduit ensuite dans le train binaire la partie de l'arbre se rapportant aux triangles dont l'écart de luminance est supérieur à l'écart seuil, qui permet donc de transmettre les données relatives à l'image en fonction de la qualité locale

de ces différentes partitions triangulaires.

Préférentiellement, ladite étape d'estimation comprend les sous-étapes suivantes: - optimisation de vecteurs de mouvement des sommets dudit maillage portant ledit marqueur "intérieur", de manière à minimiser un critère d'erreur prédéterminé de reconstruction de l'image suivante; interpolation et/ou extrapolation de vecteurs de mouvement des sommets dudit maillage ne portant pas ledit marqueur "intérieur", afin de fluidifier

le déplacement global dudit maillage.

Ainsi, lors de l'estimation de mouvement, seules les mailles comprises au moins partiellement dans l'image (c'est-à-dire les faces du maillage portant le

marqueur "intérieur") sont utilisées pour déterminer les vecteurs de mouvement.

Les noeuds externes du maillage (c'est-à-dire les noeuds ne portant pas le marqueur "intérieur") perçoivent quant à eux des vecteurs de mouvement interpolés et/ou extrapolés. De cette façon, lorsque les vecteurs de mouvement sont appliqués au maillage, les effets de tassement disparaissent et les zones découvertes sont

recouvertes par des mailles externes.

Selon un mode de réalisation préférentiel de l'invention, ladite étape d'interpolation et/ou d'extrapolation met en oeuvre un double balayage itératif avant-arrière, appliqué aux sommets du plus bas niveau de ladite pyramide de maillage pour lequel lesdits vecteurs de mouvement desdits sommets ont été

optimisés.

En effet, seuls les sommets du maillage portant un marqueur "intérieur" possedent un vecteur de mouvement significatif. Les sommets du maillage n'appartenant pas à l'image possèdent quant à eux un vecteur de mouvement indéfini. Un problème se pose donc lors de l'utilisation de ces vecteurs de mouvement pour mettre en oeuvre un déplacement global de la pyramide de

12 2811791

maillage. En effet, leur assigner un vecteur de mouvement nul risque d'engendrer des tassements de mailles au bord de l'image, et biaise la fluidité de déplacement

de l'image, obtenue par optimisation globale des vecteurs de mouvement.

L'invention prévoit donc de propager de façon artificielle les vecteurs de mouvement des sommets portant un marqueur "intérieur" vers les sommets ne portant pas de marqueur "intérieur", par la mise en oeuvre d'un tel balayage itératif avant-arrière. Avantageusement, après ladite étape d'estimation, un tel procédé de codage met en oeuvre une étape de déplacement de chacun des sommets dudit

maillage, en lui appliquant son propre vecteur de mouvement.

Selon une caractéristique avantageuse de l'invention, ladite étape de construction met en oeuvre d'une part un modèle de codage par éléments finis, et d'autre part un modèle de codage alternatif, ce dernier étant mis en oeuvre pour au moins certaines zones de ladite image, en fonction d'un critère d'erreur

prédéterminé.

En effet, lorsqu'on met en oeuvre un codage hiérarchique, par exemple tel que décrit dans la demande de brevet française FR 98 12525, et lorsqu'une portion de l'image est très texturée, il est alors nécessaire de prévoir un nombre de niveaux de maillage important pour obtenir des informations photométriques et/ou calorimétriques de qualité suffisante. Dans ce cas, le rendement du codage hiérarchique est faible. En d'autres termes, le codage hiérarchique est bien adapté aux images relativement simples, mais non aux images présentant des parties

fortement texturées.

On a donc envisagé une nouvelle approche, décrite par exemple dans la demande de brevet française FR 99 06815 intitulée "Procédé de codage hiérarchique et mise en oeuvre sélective d'un codage à base de transformation réversible, et procédé de décodage correspondant". Un tel procédé de codage d'une image à coder, comprend les étapes suivantes: définition d'un maillage hiérarchique présentant au moins deux niveaux de maillage emboîtés formés de mailles définies par des sommets (qui

13 2811791

peuvent être des pixels de ladite image à coder) - détermination, pour chacune desdites mailles, d'une information d'erreur entre ladite image à coder et une image interpolée obtenue à partir des sommets des mailles appartenant au niveau de maillage de la maille considérée; - arrêt du raffinement des mailles présentant une information d'erreur inférieure à un premier seuil prédéterminé; - mise en oeuvre d'un codage spécifique pour les mailles présentant une information d'erreur supérieure à un second seuil prédéterminé; - continuation du raffinement des mailles présentant une information d'erreur supérieure audit premier seuil prédéterminé et inférieure audit

second seuil prédéterminé.

Ainsi, selon ce procédé, on utilise sélectivement deux modes de codage distincts. Le codage hiérarchique, ou à maillages emboîtés, est le codage principal, ou codage de base, mais il n'est pas utilisé systématiquement: pour les

portions d'image qui le nécessite, un autre codage plus efficace est utilisé.

La décision d'utiliser ce codage spécifique est prise par comparaison à un seuil. Plus précisément, à chaque noeud considéré de l'arbre représentatif du maillage hiérarchique, trois possibilités sont offertes: arrêter le raffinement, ou la division, des mailles (la qualité atteinte pour la portion d'image correspondante étant suffisante), passer au niveau hiérarchique suivant, en conservant le même codage hiérarchique, ou utiliser un autre codage (en particulier un codage mieux

adapté aux portions très texturées).

On notera qu'il est envisageable d'utiliser plusieurs types différents de codages spécifiques (ou un même codage avec des paramètres différents), pour adapter plus précisément encore le choix du codage aux caractéristiques de la

portion d'image.

Selon un mode de réalisation préférentiel de l'invention, ladite étape de construction mettant en oeuvre un modèle de codage hiérarchique, elle comprend les sous-étapes suivantes:

14 2811791

- projection normale temporaire desdits sommets portant ledit marqueur "entrant" sur un bord de ladite image; - optimisation desdites informations colorimétriques et/ou photométriques desdits sommets et/ou desdites faces de ladite image, de façon à minimiser un critère d'erreur prédéterminé de reconstruction de l'image suivante; - repositionnement desdits sommets portant ledit marqueur "entrant" à leur position avant projection, lesdits sommets "entrant" étant porteurs desdites

informations colorimétriques et/ou photométriques optimisées.

Une telle projection normale temporaire des sommets portant le marqueur "entrant" sur les bords de l'image permet d'éviter la prise en compte de pixels n'appartenant pas à l'image. et assure donc la stabilité de l'étape d'optimisation des

informations colorimétriques et/ou photométriques.

Préférentiellement, ledit codage spécifique comprend les sous-étapessuivantes: - construction d'une image symétrisée, obtenue en appliquant à ladite image une symétrie axiale par rapport à chacun de ses bords et une symétrie centrale par rapport à chacun de ses coins; - optimisation desdites informations colorimétriques et/ou photométriques desdits sommets et/ou desdites faces de ladite image symétrisée par

application dudit modèle alternatif (DCT, fractales, matching pursuit).

La projection normale des sommets "entrant" du maillage sur les bords de l'image n'étant pas adaptée à l'approximation de hautes fréquences telle que celle mise en oeuvre par application du codage spécifique, on a envisagé de procéder à une symétrisation de l'image. Le traitement d'optimisation est ensuite effectué sur l'image symétrisée, et on apporte ainsi une solution au problème de la prise en

compte de pixels n'appartenant pas à l'image.

Selon une technique avantageuse de l'invention, un tel procédé de codage met en oeuvre une étape de mémorisation d'informations photométriques et/ou

colorimétriques associées aux sommets et/ou aux faces sortant de ladite image.

2811791

Ainsi, les informations relatives aux zones sortant de l'image peuvent être réutilisées si de telles zones sont amenées à revenir dans l'image, sans qu'il soit nécessaire de leur appliquer un nouveau traitement. Une telle situation est fréquente dans une séquence vidéo: c'est par exemple le cas d'un décor situé en arrière-plan d'un personnage suivi par une caméra, si le personnage effectue des

va-et-vient dans l'image.

Selon une première variante avantageuse de l'invention, tant qu'une face dudit maillage porte le marqueur "entrant", ladite étape de construction met en oeuvre au moins une itération des sous-étapes successives suivantes - optimisation desdites informations colorimétriques et/ou photométriques desdits sommets de ladite face "entrant", de façon à minimiser un critère d'erreur prédéterminé; - transmission vers un terminal et/ou stockage sur un support de données

desdites informations colorimétriques et/ou photométriques optimisées.

Ainsi, les valeurs photométriques et/ou colorimétriques nodales des mailles entrantes sont ré-optimisées, puis transmises et/ou stockées tant qu'elles ne

sont pas totalement entrées dans l'image.

Selon une deuxième variante avantageuse de l'invention, tant qu'une face dudit maillage porte le marqueur "entrant", ladite étape de construction met en oeuvre au moins une itération des sous-étapes successives suivantes: - élaboration d'un critère permettant d'évaluer une qualité de reconstruction d'image obtenue en tenant compte des informations photométriques et/ou colorimétriques courantes des sommets de ladite face; - lorsque ladite qualité n'est pas satisfaisante: - optimisation desdites informations colorimétriques et/ou photométriques desdits sommets de ladite face, de façon à minimiser un critère d'erreur prédéterminé de reconstruction de l'image suivante;

16 2811791

- transmission vers un terminal et/ou stockage sur un support de données desdites informations colorimétriques et/ou photométriques optimisées; transmission et/ou stockage d'un arbre de marqueurs indiquant audit terminal si lesdits informations colorimétriques et/ou photométriques

desdits sommets de ladite face "entrant" ont été ou non optimisées.

On estime ainsi la qualité de l'approximation de surface obtenue en tenant compte des valeurs photométriques et/ou colorimétriques nodales disponibles, et on ne pratique une optimisation et une transmission et/ou un stockage des valeurs optimisées qu'en cas d'erreur importante. Une telle variante permet de réduire la quantité d'informations à transmettre et/ou à stocker. La mise en oeuvre d'une telle variante de réalisation nécessite la transmission et/ou le stockage d'un arbre de marqueurs, indiquant, par exemple au décodeur, si la photométrie et/ou la

colorimétrie de la maille entrante est à mettre à jour avant le rendu de l'image.

Selon un premier mode de réalisation avantageux de l'invention, ladite étape d'estimation du mouvement comprend en outre une sous-étape de construction d'un arbre des vecteurs de mouvement à transmettre et/ou à stocker, l'appartenance d'un vecteur de mouvement audit arbre étant déterminée à partir

d'un critère de pertinence du mouvement appliqué auxdites faces dudit maillage.

En effet, dans les zones de tassement, on obtient une sur-représentation du champ de mouvement. Il est donc particulièrement avantageux de ne transmettre que certains des vecteurs de mouvement associés à de telles zones de tassement,

de manière à réduire le coût de transmission et/ou de stockage d'informations.

Préférentiellement, ledit critère de pertinence résulte d'une combinaison pondérée prédéterminée des sous-critères suivants: - un sous-critère de surface, permettant d'évaluer le rapport entre la surface d'une face et la surface moyenne des faces dudit maillage appartenant au même niveau de ladite pyramide de maillage; - un sous-critère de compacité, permettant d'évaluer le rapport entre la surface et le périmètre d'une face dudit maillage;

17 2811791

- un sous-critère d'antagonisme des mouvements, permettant d'évaluer

l'antagonisme des vecteurs de mouvement de sommets dudit maillage.

Selon un second mode de réalisation avantageux de l'invention, tous les vecteurs de mouvement desdits sommets dudit maillage sont transmis et/ou stockés, un décodeur adapté identifiant selon un critère prédéterminé les vecteurs

devant être pris en compte.

On réduit ainsi le coût du codage de l'image, puisque c'est au moment du décodage qu'on évalue la pertinence des vecteurs de mouvement transmis et/ou stockés. Selon une première technique avantageuse de l'invention, en présence d'une occultation d'au moins un sommet occulté par une face comprenant au moins un sommet occultant, on procède à une fusion dudit sommet occulté avec

ledit sommet occultant.

Le sommet résultant de la fusion du sommet occulté et du sommet occultant est placé sur l'arête reliant initialement le sommet occulté et le sommet

occultant, par exemple en son milieu.

Selon une deuxième technique avantageuse de l'invention, un tel procédé de codage met en oeuvre une étape de détection d'au moins une zone de ladite image occultée au cours d'un déplacement dudit maillage, et une étape de mémorisation d'informations photométriques et/ou colorimétriques relatives à ladite zone occultée, en vu d'un éventuel usage futur, lesdites informations n'étant

pas traitées.

L'invention concerne également un procédé de décodage et des dispositifs de codage et de décodage d'un maillage représentatif d'une image d'une séquence

animée, ledit maillage étant de taille supérieure à ladite image.

L'invention concerne encore un signal représentatif d'un maillage représentatif d'une image d'une séquence animée, ledit maillage étant de taille

supérieure à ladite image.

D'autres caractéristiques et avantages de l'invention apparaîtront plus

clairement à la lecture de la description suivante d'un mode de réalisation

18 2811791

préférentiel, donné à titre de simple exemple illustratif et non limitatif, et des dessins annexés, parmi lesquels: - la figure 1, déjà décrite ci-dessus, illustre la notion de champ de mouvement; - la figure 2, commentée ci-dessus, décrit un exemple d'approximation du champ de mouvement de la figure 1 par interpolation ou extrapolation des mouvements inter-nodaux; - la figure 3, décrite ci-dessus, présente un exemple de retournement de maille, résultant de l'existence de vecteurs de mouvement antagonistes au sein du champ de mouvement présenté en figure 1; - la figure 4, décrite ci-dessus, illustre un exemple de réalisation de transmission hiérarchique de l'information; - la figure 5, décrite ci-dessus, présente un exemple d'apparition d'une zone de découvrement et d'une zone de tassement du maillage résultant d'un mouvement au sein de l'image; - la figure 6 illustre la construction d'un maillage de dimension supérieure à celle de l'image; - la figure 7 présente un exemple de marqueurs "intérieur" associés à certaines faces et certains sommets d'un maillage tel qu'illustré en figure

6;

- la figure 8 illustre la mise en oeuvre d'une projection normale temporaire de sommets au cours de l'étape de construction d'informations colorimétriques et/ou photométriques; - la figure 9 présente un exemple de symétrisation de l'image en vue de la mise en oeuvre d'un codage alternatif; - la figure 10 illustre un exemple de propagation des vecteurs de mouvement des sommets portant le marqueur "intérieur" vers les autres sommets du maillage, en vue d'un déplacement global de l'ensemble des sommets de la pyramide de maillage; - la figure 11 présente un exemple de mailles portant le marqueur "entrant"

19 2811791

pendant plusieurs trames d'informations - la figure 12 illustre un phénomène de tassement de mailles sur une zone d'occultation du maillage; - la figure 13 présente un premier exemple de gestion des phénomènes d'occultation par fusion de sommets; - la figure 14 illustre un deuxième exemple de gestion des phénomènes

d'occultation par mise en oeuvre d'un maillage 3-manifold.

1. Principes de base de l'invention L'invention concerne donc une amélioration de la technique d'estimation de mouvement mettant en oeuvre une hiérarchie de maillages emboîtés (ou codage hiérarchique), telle que décrite en préambule. Selon la présente invention, on prévoit en effet d'utiliser un maillage de taille supérieure aux images de la séquence. On présente, en relation avec la figure 6, un mode de réalisation d'un

maillage de dimensions supérieures à celles de l'image.

Une image 61 est décrite à l'aide d'un maillage triangulaire, constitué d'une

pluralité de faces et de sommets, qui s'étend au-delà des limites de l'image 61.

Ainsi, certains sommets 611 sont situés à l'intérieur de l'image 61, et d'autres

sommets 612 sont placés à l'extérieur des limites de l'image 61.

Idéalement, un tel maillage est un maillage hiérarchique emboîté de

surface infinie.

Par ailleurs, on introduit la notion de marqueurs, associés aux faces et/ou aux sommets du maillage, en vue de réduire le débit de transmission

d'informations nécessaires au codage.

La figure 7 présente un exemple de marquage des sommets et des faces

d'un maillage à l'aide d'un marqueur "intérieur".

On considère l'image 71 représentée à l'aide d'un maillage 72. Chaque sommet et/ou face de la hiérarchie de maillage 72 est, ou non, marqué(e) au moyen d'un marqueur "intérieur" (indiqué par les deux lettres IN sur la figure 7)

selon qu'il se situe à l'intérieur ou à l'extérieur de l'image 71.

2811791

Plus précisément, une face du maillage est "intérieur" si elle possède une intersection non vide (en nombre de pixels) avec l'image 71. Ainsi, la face

référencée 721 porte l'indication IN sur la figure 7.

Un sommet du maillage 72 est "intérieur" à un niveau donné du maillage 72 s'il appartient à une face "intérieur" du niveau considéré. Ainsi, le sommet référencé 722 porte l'indication IN car il appartient à la face "intérieur" référencée 721. Il se peut donc qu'un sommet soit "intérieur" (c'est-à-dire porte l'indication IN sur la figure 7) tout en étant en dehors de l'image 71. Par exemple, le sommet référencé 723 est "intérieur" car il appartient à la face "intérieur" référencée 721,

mais il est extérieur à l'image 71.

On définit également un marqueur "entrant", qui peut être associé à une face et/ou à un sommet du maillage hiérarchique 72. On considère qu'un sommet est "entrant" s'il est "intérieur" et que ses informations photométriques et/ou colorimétriques sont indéfinies ou insatisfaisantes, c'est-à-dire s'il est "intérieur" mais qu'il est situé en dehors de l'image 71. On considère par ailleurs qu'une face

du maillage 72 est "entrant" si l'un au moins de ses sommets est "entrant".

2. Gestion des zones de découvrement de maillage

2.1. Description algorithmique

A chaque estimation du mouvement de l'image considérée, tous les sommets du maillage portant le marqueur "intérieur" sont utilisés pour déterminer les vecteurs de mouvement optimaux du maillage. Les vecteurs de mouvement des sommets voisins, ne portant pas le marqueur "intérieur", sont alors interpolés ou extrapolés, afin de rendre le déplacement du maillage plus fluide. On peut bien sûr envisager que certains vecteurs de mouvement soient interpolés, et que

d'autres vecteurs de mouvement soient extrapolés.

Par ailleurs, on met à jour les informations photométriques et/ou colorimétriques associées aux faces et/ou aux sommets du maillage entrant pour la première fois dans l'image (c'est-à-dire portant le marqueur "entrant"), afin de

21 2811791

réaliser une approximation complète de la surface photométrique et/ou

colorimétrique de l'image.

2.2. Approximation photométrique et/ou colorimétrique de la surface de l'image par éléments finis Une telle étape de construction des informations photométriques et/ou colorimétriques des faces et/ou des sommets "entrant" du maillage met en oeuvre une optimisation par modèle d'éléments finis, selon le procédé de codage décrit dans la demande de brevet FR 99 06815 intitulée "Procédé de codage hiérarchique et mise en oeuvre sélective d'un codage à base de transformation réversible et

procédé de décodage correspondant".

Une telle optimisation consiste notamment à réaliser des optimisations de luminance, de chrominance et de positions sur chaque niveau de maillage. On détermine ensuite, pour chaque maille du maillage hiérarchique, un écart de luminance entre l'image à coder et une image interpolée, obtenue à partir des sommets du maillage emboîté auquel appartient la maille considérée. Enfin, on introduit dans un train binaire représentatif de l'image les valeurs (avantageusement codées en différentiel par rapport au niveau hiérarchique précédent) de positions, de luminance et de chrominance des sommets des mailles

dont l'écart de luminance est supérieur à un écart seuil.

Afin d'éviter de prendre en compte des pixels n'appartenant pas à l'image, et donc de réaliser une meilleure optimisation des informations colorimétriques et/ou photométriques, on procède, selon l'invention, à une projection normale temporaire des sommets "entrant" sur les bords de l'image, ainsi qu'illustré en figure 8. Ainsi, les sommets 821a, 822a et 823a du maillage représentatif de

l'image 81 sont projetés sur les bords de l'image aux positions 821b, 822b, 823b.

Lorsque certaines faces du maillage, après projection, ne contiennent plus de pixel (c'est-à-dire qu'on obtient des faces vides après projection), elles ne sont pas prises en compte pour l'optimisation des informations de colorimétrie et/ou de photométrie. Les sommets de ces faces vides sont cependant pris en compte au

22 2811791

cours de l'optimisation des informations colorimétriques et/ou photométriques

associées aux faces voisines du maillage.

Après une telle optimisation, les sommets projetés 821b, 822b, 823b sont replacés à leur position initiale, respectivement 821a, 822a et 823a, mais on leur associe les informations colorimétriques et/ou photométriques optimisées après projection. 2.3. Approximation photométrique et/ou colorimétrique des zones texturées de l'image 2.3.1. Mise en oeuvre d'un codage spécifique L'approximation par éléments finis telle que décrite ci-dessus est bien adaptée aux images lisses. En revanche, lorsque des portions de l'image sont très texturées, il est nécessaire de mettre en oeuvre un nombre élevé de niveaux du maillage hiérarchique, pour obtenir une approximation de surface satisfaisante. Le rendement du codage hiérarchique devient alors faible. Pour pallier cet inconvénient, on a envisagé, dans la demande de brevet française n0 FR 99 06815 intitulée "Procédé de codage hiérarchique et mise en oeuvre sélective d'un codage à base de transformation réversible et procédé de décodage correspondant", de

* recourir à un modèle alternatif sur la partie résiduelle des zones texturées.

La technique décrite dans cette demande de brevet, et déjà rappelée ci-

dessus, concerne un procédé de codage d'une image à coder, comprenant les étapes suivantes: - définition d'un maillage hiérarchique présentant au moins deux niveaux de maillage emboîtés formés de mailles définies par des sommets (qui peuvent être des pixels de ladite image à coder); détermination, pour chacune desdites mailles, d'une information d'erreur entre ladite image à coder et une image interpolée obtenue à partir des sommets des mailles appartenant au niveau de maillage de la maille considérée; - arrêt du raffinement des mailles présentant une information d'erreur inférieure à un premier seuil prédéterminé;

23 2811791

- mise en oeuvre d'un codage spécifique pour les mailles présentant une information d'erreur supérieure à un second seuil prédéterminé; continuation du raffinement des mailles présentant une information d'erreur supérieure audit premier seuil prédéterminé et inférieure

audit second seuil prédéterminé.

Ainsi, selon une telle technique, on utilise sélectivement deux modes de codage distincts. Le codage hiérarchique, ou à maillages emboîtés, est le codage principal, ou codage de base, mais il n'est pas utilisé systématiquement: pour les portions d'image qui le nécessite, un autre codage plus efficace est utilisé (DCT,

fractales, matching pursuit, etc).

On choisit donc, selon l'invention, d'adopter une approche similaire à celle décrite dans la demande de brevet française FR 99 06815, et de mettre en oeuvre

un codage spécifique pour les zones très texturées de l'image.

2.3.2. Symétrisation de l'image La mise en oeuvre d'une projection des sommets "entrant" du maillage, préalablement à l'optimisation des informations photométriques et/ou colorimétriques, n'est pas adaptée à l'utilisation d'un tel codage spécifique. En effet, une telle opération de projection des sommets dénature fortement

l'approximation des hautes fréquences de l'image.

On a donc pensé à opérer une symétrisation de l'image, ainsi qu'illustré en figure 9. Les images référencées 93, 95, 97 et 99 sont ainsi obtenues en appliquant à l'image 91 une symétrie axiale par rapport à chacun des bords de l'image 91. Les images référencées 92, 94, 96 et 98 sont quant à elles des images de l'image 91 par

symétrie centrale par rapport à chacun des sommets de l'image 91.

On procède ensuite à une optimisation des informations photométriques et/ou colorimétriques à partir de l'image 90, obtenues par regroupement des images référencées 91 à 99. On solutionne ainsi le problème des pixels des faces "entrant" du maillage, extérieurs à l'image. On applique donc un traitement

similaire à toutes les faces "entrant" du maillage.

24 2811791

2.4. Estimation de mouvement 2.4.1. Estimation de mouvement des sommets "intérieur" On procède, pour l'estimation de mouvement, selon une technique similaire à celle décrite au paragraphe 2.2 pour l'approximation de surface par éléments finis. L'estimation de mouvement est donc réalisée sur les faces et les sommets du maillage portant le marqueur "intérieur". Les sommets "entrant" sont temporairement projetés normalement sur les bords de l'image, on procède ensuite à une optimisation des vecteurs de mouvement des sommets du maillage, puis, les

sommets "entrant" projetés retrouvent leur position initiale avant projection.

2.4.2. Propagation du mouvement Seuls les sommets du maillage portant le marqueur "intérieur" possèdent un vecteur de mouvement significatif. Il faut donc déterminer la valeur à attribuer aux vecteurs de mouvement des sommets ne portant pas le marqueur "intérieur",

afin de pouvoir les utiliser lors du déplacement global de la pyramide de maillage.

Attribuer des vecteurs de mouvement nuls aux sommets non "intérieur" entraîne en effet l'apparition de zones de tassement de mailles, et altère la fluidité du

déplacement déterminé par optimisation globale des vecteurs de mouvement.

On a donc envisagé d'adopter une approche inspirée de celle des calculs de carte de distance de chanfrein, telle que décrite dans le document de thèse de l'université Joseph Fourier de Grenoble, soutenue le 21 septembre 1994 par Edouard Thiel et intitulée "Les distances de chanfrein en analyse d'images: fondements et applications". Une telle approche consiste à propager les vecteurs de mouvement des sommets "intérieur" vers les sommets non "intérieur", en appliquant un double balayage itératif avant-arrière aux sommets du plus bas niveau de la pyramide de maillage, noté Lm, o les vecteurs de mouvement ont été optimisés. On évite ainsi les étirements de mailles, en permettant l'insertion de zones entrantes dans l'image, et les tassements de mailles, en évitant l'exclusion

des zones sortantes.

Une telle propagation du mouvement est, par exemple, mise en oeuvre dans un mode de réalisation particulier, selon l'algorithme suivant:

2811791

Pour tous les sommets S de Lm si INTÉRIEUR(S) alors S devient PROPAGATED sinon S devient non-PROPAGATED Itérer tant qu'il reste des vecteurs de mouvement indéfinis Pour tous les sommets S de Lm parcourus de hautgauche vers bas-droite Si non-PROPAGATED(S) et S possède au moins 2 voisins PROPAGATED Alors MOUVEMENT(S)=moyenne des MOUVEMENTs des voisins PROPAGATED S devient PROPAGATED Pour tous les sommets P de la pyramide parcourue de Lm-1 à L0 MOUVEMENT(P)=MOUVEMENT(F) tel que P est père de F On présente, en relation avec la figure 10, un exemple de mise en oeuvre

d'un tel algorithme. On considère le maillage 101 représentatif de l'image 102.

Tous les sommets "intérieur" de l'image 102 sont affectés d'un vecteur de mouvement optimisé, représenté par une flèche. On procède alors à un balayage

103 de l'image visant à propager le mouvement du haut vers le bas de l'image 102.

Les sommets 1010 et 1011 du maillage 101 sont "intérieur": leurs vecteurs

de mouvement respectifs sont donc optimisés. Selon l'algorithme présenté ci-

dessus, le sommet référencé 1012 du maillage 101 ayant les sommets référencés 1010 et 1011 pour voisins, on lui attribue un vecteur de mouvement, obtenu en faisant la moyenne des vecteurs de mouvement des sommets référencés 1010 et 1011. On procède ensuite à un balayage 104 de l'image 102 visant à propager le mouvement du bas vers le haut de l'image. On attribue ainsi au sommet référencé 1014 un vecteur de mouvement obtenu en moyennant les vecteurs de mouvement de ses sommets voisins, référencés 1012 et 1013, dont les vecteurs de mouvement

avaient été déterminés au cours du premier balayage 103.

On applique alors un nouveau balayage référencé 105 visant à propager le mouvement du haut vers le bas de l'image 102. Le mouvement se propage par exemple au sommet référencé 1016 du maillage, auquel on attribue un vecteur de

26 2811791

mouvement moyenné à partir des vecteurs de mouvement des sommets référencés

1014 et 1015.

On procède enfin à un balayage référencé 106 de bas en haut de l'image 102. A l'issue d'un tel balayage, on constate que tous les sommets du maillage 101 possèdent un vecteur de mouvement, représenté à l'aide d'une flèche sur la figure 10. Le mouvement a donc été propagé à l'ensemble du maillage 101. Les noeuds pères des noeuds du maillage 101, dans les niveaux supérieurs de la pyramide de maillage, sont alors associés à des vecteurs de mouvement de valeurs égales à

celles de leurs noeuds fils.

2.4.3. Déplacement global de la pyramide de maillage On procède alors à un déplacement global de chaque sommet de la pyramide de maillage, en lui appliquant le vecteur de mouvement qui lui a été associé au cours de l'étape précédente de propagation de mouvement. Un tel déplacement a pour effet de: - faire entrer des mailles lorsqu'un objet entre dans l'image; faire sortir des mailles en suivant un objet sortant de l'image;

- limiter les dégénérescences du maillage.

2.5. Approximation photométrique et/ou colorimétrique des faces portant le marqueur "entrant" sur plusieurs trames successives On constate, dans le domaine du codage vidéo, qu'une face du maillage, qui suit par exemple l'entrée d'un objet dans l'image, peut porter le marqueur "entrant" sur plusieurs trames de données successives, ainsi qu'illustré en figure 11. Or, les sommets "entrant" du maillage ne possèdent pas d'informations photométriques et/ou colorimétriques, ces dernières étant approximées à partir des informations photométriques et/ou colorimétriques disponibles, associées aux

portions des faces "entrant" situées à l'intérieur de l'image.

On propose, selon l'invention, deux variantes de réalisation de la gestion des informations photométriques et/ou colorimétriques des faces portant le

marqueur "entrant" sur plusieurs trames successives.

27 2811791

Une première variante de réalisation consiste à procéder à une optimisation des ces informations à chaque trame de données. Ainsi, les valeurs

photométriques et/ou colorimétriques nodales des faces entrantes 110 sont ré-

optimisées et transmises et/ou stockées sur un support de données à chaque approximation de la surface photométrique et/ou colorimétrique de l'image (c'est- à-dire à chaque instant t, t+l, t+2 et t+3), et ce, tant que la face entrante 110

considérée n'est pas entièrement incluse dans l'image 111.

Une seconde variante de réalisation, moins coûteuse en termes de transmission de données consiste à établir un critère de qualité, et à comparer, à ce critère, la qualité de l'approximation photométrique et/ou colorimétrique de surface de l'image, obtenue en tenant compte des valeurs photométriques nodales courantes des faces entrantes. Si une telle comparaison révèle une erreur importante sur l'approximation de l'image, on procède alors à une optimisation et à une transmission et/ou un stockage sur un support de données des informations photométriques et/ou colorimétriques des sommets "entrant". Si, en revanche, la qualité de l'approximation de l'image est satisfaisante, on conserve les valeurs

photométriques et/ou colorimétriques courantes pour les sommets "entrant".

Selon cette seconde variante, on construit également un arbre de marqueurs spécifiques, associés aux sommets "entrant" 112 à 114, permettant d'indiquer à un décodeur ou à tout autre terminal adapté, si la photométrie et/ou la colorimétrie de la face "entrant" considérée 110 doit être mise à jour avant le

rendu de l'image 111.

2.6. Mémorisation des informations photométriques et/ou colorimétriques associées aux zones sortant de l'image A l'issue des étapes précédentes d'estimation de mouvement et d'approximation de la surface photométrique et/ou colorimétrique de l'image, on procède à une mémorisation des informations photométriques et/ou colorimétriques associées aux zones sortantes de l'image, de façon à ce que de telles informations soient directement disponibles, sans qu'il soit nécessaire de

28 2811791

mettre en oeuvre un nouveau traitement long et coûteux, au cas o de telles zones

sortantes entreraient à nouveau dans l'image. En effet, il est fréquent dans les séquences vidéo que certains objets

entrent et sortent de l'image à plusieurs reprises (par exemple un décor situé en arrière plan d'un personnage effectuant des va-et-vient dans l'image), et il est donc particulièrement astucieux de mémoriser des informations relatives à cet objet, de manière à ne pas devoir mettre en oeuvre un nouveau traitement à chaque fois que

l'objet entre dans l'image.

3. Gestion des zones de tassement de maillage 3.1. Principe d'optimisation adaptative du mouvement

Selon le principe de codage hiérarchique par éléments finis décrit ci-

dessus, les vecteurs de mouvement des sommets appartenant aux niveaux L0 à Lm

de la pyramide de maillage sont tous optimisés.

Or, lorsque deux objets 121, 122 se croisent au sein de l'image 120 par exemple, il apparaît des zones de tassement de mailles 123 à la frontière entre les deux objets, ainsi qu'illustré en figure 12. Dans de telles zones de tassement 123, on obtient une sur-représentation inutile et coûteuse en termes de transmission de

données du champ de mouvement.

Pour compenser ce phénomène, on a envisagé, selon l'invention, d'introduire un critère de pertinence du mouvement, permettant de sélectionner les vecteurs de mouvement les plus pertinents, et qui permettent d'estimer au mieux le

déplacement au sein de la zone de tassement.

On définit donc un marqueur "pertinent", porté par les sommets du maillage dont les vecteurs de mouvement doivent être transmis et/ou stockés sur un support de données. On construit alors un arbre regroupant l'ensemble des vecteurs de mouvement à transmettre et/ou à stocker, ce qui permet, dans les zones de tassement, de réaliser la transmission de mouvement sur un nombre

localement réduit de niveaux de la pyramide de maillage.

Selon une autre variante de réalisation de l'invention, présentant un coût de codage réduit, on transmet et/ou on stocke sur un support de données l'ensemble

29 2811791

des vecteurs de mouvement associés aux sommets de la zone de tassement considérée. La pertinence des vecteurs de mouvement à l'égard de l'estimation de mouvement globale de l'image est ensuite évaluée au moment du décodage de l'image. 3.2. Construction d'un arbre de pertinence du mouvement Le marqueur "pertinent" peut prendre une valeur VRAI, lorsque le mouvement d'un sommet est pertinent pour l'estimation de mouvement global de l'image, et doit à ce titre être transmis et/ou stocké sur un support de données, ou

une valeur FAUX dans le cas contraire.

On construit l'arbre de pertinence à partir des faces et des sommets du maillage hiérarchique appartenant à un niveau de la pyramide de maillage

inférieur ou égale à Lm.

On définit un critère de pertinence, noté CP(T), à valeur dans [0;1], et un seuil de pertinence SP, également à valeur dans [0;1]. On peut bien sûr envisager que le critère de pertinence et le seuil de pertinence soient à valeur dans tout autre

intervalle [A;B] adapté à l'invention.

Pour un triangle T donné du maillage triangulaire considéré, on définit la valeur du marqueur "pertinent" de la manière suivante:

PERTINENT(T)=CP(T)>SP

Par ailleurs, le critère CP est défini par combinaison pondérée de trois sous-critères à valeur dans [0;1]: - un sous-critère CS de surface permettant d'évaluer le rapport entre la surface du triangle T considéré et la surface moyenne des triangles du même niveau du maillage: CS(T) =surf(T)/moy{surf(T') tel que T' appartient au même niveau de maillage que T}; - un sous-critère CC de compacité, éventuellement normalisé, permettant d'évaluer le rapport entre la surface et le périmètre du triangle T considéré:

CC(T)=(1 /CC(Equilatéral)*surf(T)/[4*n*périmètre(T)2].

2811791

Un tel critère est maximal et égal à 1 si T est équilatéral, et il est nul si T est plat; - un sous-critère CA d'antagonisme des mouvements des sommets du triangle considéré. Un tel critère vaut 1 si les mouvements des sommets de T sont antagonistes, c'est-à-dire en présence d'un retournement de maille potentiel, et 0 s'ils sont de même direction et sens. Si D1, D2 et D3 sont les vecteurs de mouvement des sommets de T, alors: CA(T)=1 si signe(<D1, D2>)<0 ou signe(<D3, D2>)<0 ou signe(<D1, D3> )<0

CA(T)=0 sinon.

Ainsi, CP(T)= [a*CS(T) +b*CC(T)+c*CA(T)]/ [a+b+c]

o a, b, et c sont des scalaires prédéterminés.

On détaille ci-dessous un exemple d'algorithme pouvant être mis en oeuvre pour assigner le marqueur "pertinent" aux sommets et aux triangles du maillage, et donc déterminer les vecteurs de mouvement à transmettre et/ou stocker sur un support de données: Pour tous les sommets S de la pyramide de maillage parcourue des niveaux L0 à Lm Le marqueur "pertinent" de S est initialisé à FAUX Pour tous les triangles T de la pyramide de maillage parcourue des niveaux L0 à Lm Si CP(T)>SPm Alors le marqueur "pertinent" de T prend la valeur VRAI le marqueur "pertinent" des sommets de T prend la valeur VRAI Sinon le marqueur "pertinent" de T prend la valeur FAUX Pour tous les sommets S de la pyramide de maillage parcourue des niveaux L0 à Lm Si "pertinent"(S) alors transmettre le mouvement de S. 3.3. Gestion des occultations de mailles Lorsque, par exemple, deux objets se croisent au sein de l'image, des phénomènes d'occultation peuvent se produire, qui peuvent être gérés selon deux

procédés distincts selon l'invention.

3.3.1. Fusion de sommets

31 2811791

Le premier procédé mis en oeuvre selon l'invention consiste à détecter, au moment du décodage, les zones d'occultation déterminées par les faces 130, 133 du maillage dont les sommets 131, 132 ont des vecteurs de mouvement antagonistes, selon le sous-critère CA, ainsi qu'illustré en figure 13. En effet, les faces 130, 133 ainsi détectées sont susceptibles de se retourner car leurs sommets 131, 132 sont positionnés sur des objets différents, l'un des deux objets occultant

son voisin.

Selon le mode de réalisation particulier décrit ici, on pratique alors une fusion d'arêtes (en anglais "edge collapse") entre les deux sommets voisins 131, 132 ayant un mouvement antagoniste. Il en résulte la disparition d'un triangle 130, 133, traduisant la disparition d'une partie d'un objet. Le sommet obtenu en fusionnant les sommets 131 et 132 est placé sur l'arête reliant initialement les sommets 131 et 132, par exemple en son milieu, ou à la position de l'un des deux sommets 131 et 132, ainsi qu'illustré en figure 13, o le sommet fusionné est situé

à la position occupée initialement par le sommet 132.

3.3.2. Maillage n-manifold Un deuxième procédé mis en oeuvre selon l'invention pour gérer les

phénomènes d'occultation de mailles consiste à travailler sur un maillage n-

manifold, ainsi qu'illustré en figure 14. On définit un maillage nmanifold comme un maillage triangulaire dans lequel une arête peut être partagée par n triangles, o n>2. Ainsi, la figure 14 présente un exemple de maillage 3-manifold, dans lequel l'arête référencée 143 est commune aux trois triangles référencés 140, 141,

et 142.

Selon un tel procédé, on procède tout d'abord à une estimation du

mouvement de l'image, sans tenir compte du marqueur "pertinent" décrit ci-

dessus. Au moment du décodage de l'image, lorsqu'une zone d'occultation (c'est-à-

dire un retournement d'un triangle du maillage considéré) est détectée, les triangles associés à cette zone deviennent alors porteurs d'un marqueur "overlapped" (ou en français "recouvert"). On procède alors à une nouvelle

32 2811791

optimisation du mouvement de l'image, en excluant les triangles du maillage

portant le marqueur "overlapped".

Cette nouvelle optimisation peut entraîner l'apparition de nouveau retournements de mailles, qui deviennent à leur tour porteuses d'un marqueur "overlapped". On procède alors à une nouvelle optimisation du mouvement. Ainsi, les zones du maillage portant le marqueur "overlapped" marquent les découvrements ou les recouvrements de mailles: elles correspondent donc à

des objets occultés.

Le procédé mis en oeuvre dans le mode de réalisation particulier décrit dans ce paragraphe consiste à temporairement écarter les triangles portant le marqueur "overlapped", tout en les conservant en mémoire, de manière à pouvoir

gérer leur éventuelle réapparition sur l'image.

Selon la topologie d'une zone de maillage portant le marqueur "overlapped" (encore appelée sous-maillage "overlapped"), on distingue les deux cas ci-dessous: - les frontières du sous-maillage "overlapped" sont rescindées, et le maillage devient alors n-manifold (3-manifold dans l'exemple de la figure 14); - seule une partie des frontières du sousmaillage est rescindée, et on opère

une correction locale du contenu des autres mailles "overlapped".

L'utilisation d'un maillage n-manifold permet avantageusement de conserver les informations photométriques et/ou colorimétriques associées à des zones du maillage pouvant disparaître ou apparaître à diverses reprises durant la

séquence vidéo considérée.

3.3. Conclusion L'introduction d'un critère de pertinence du mouvement permet de réduire le coût de la transmission et/ou du stockage des vecteurs de mouvement des zones de tassement, tout en conservant l'apparition des retournements de mailles, nécessaires à la mise à jour du contenu du maillage. Ainsi, l'estimation du mouvement et la transmission et/ou le stockage des vecteurs de mouvement sont régis par un arbre de pertinence, ce qui permet d'assurer la quasi constance du

33 2811791

rapport débit de transmission/distorsion de l'image, malgré l'entrée de nouvelles

mailles dans l'image, et le tassement de certaines autres.

34 2811791

Claims (24)

REVENDICATIONS

1. Procédé de codage d'un maillage représentatif d'une image d'une séquence

animée, caractérisé en ce que ledit maillage est de taille supérieure à ladite image.

2. Procédé de codage selon la revendication 1, caractérisé en ce que, ladite image ayant une surface de N*M pixels, ledit maillage présente une surface d'au

moins nN*nM pixels, n étant un entier supérieur ou égal à 2.

3. Procédé de codage selon l'une quelconque des revendications 1 et 2,

caractérisé en ce que ledit maillage est un maillage hiérarchique présentant au

moins deux niveaux de maillage emboîtés au sein d'une pyramide de maillage.

4. Procédé de codage selon l'une quelconque des revendications 1 à 3,

caractérisé en ce que ledit maillage est un maillage triangulaire constitué d'un arrangement de sommets et de faces triangulaires, définies chacune par trois références aux sommets qu'elle relie, et présentant trois arêtes reliant chacune

deux desdits sommets.

5. Procédé de codage selon l'une quelconque des revendications 1 à 4,

caractérisé en ce qu'il associe à au moins certains des sommets et/ou certaines des faces dudit maillage au moins un des marqueurs suivants: un marqueur "intérieur", une face portant un marqueur "intérieur" si elle a une intersection non vide avec ladite image, et un sommet portant un marqueur "intérieur" s'il appartient à une face "intérieur"; - un marqueur "entrant", un sommet portant un marqueur "entrant" s'il porte un marqueur "intérieur" et qu'il est extérieur à l'image, et une face portant un marqueur "entrant" si au moins un des trois sommets

qu'elle relie porte un marqueur "entrant".

6. Procédé de codage selon la revendication 5, caractérisé en ce qu'il met en oeuvre la succession d'étapes suivantes:

2811791

- estimation du mouvement desdits sommets dudit maillage, entre deux images successives de ladite séquence; - construction d'informations calorimétriques et/ou photométriques destinées à des sommets et/ou des faces dudit maillage portant ledit marqueur "tentrant".

7. Procédé de codage selon la revendication 6, caractérisé en ce que ladite étape d'estimation comprend les sous-étapes suivantes: - optimisation de vecteurs de mouvement des sommets dudit maillage portant ledit marqueur "intérieur", de manière à minimiser un critère d'erreur prédéterminé de reconstruction de l'image suivante; - interpolation et/ou extrapolation de vecteurs de mouvement des sommets dudit maillage ne portant pas ledit marqueur "intérieur", afin de fluidifier

le déplacement global dudit maillage.

8. Procédé de codage selon la revendication 7, caractérisé en ce que ladite étape d'interpolation et/ou d'extrapolation met en oeuvre un double balayage itératif avant-arrière, appliqué aux sommets du plus bas niveau de ladite pyramide de maillage pour lequel lesdits vecteurs de mouvement desdits sommets ont été optimisés.

9. Procédé de codage selon l'une quelconque des revendications 7 et 8,

caractérisé en ce qu'après ladite étape d'estimation, il met en oeuvre une étape de déplacement de chacun des sommets dudit maillage, en lui appliquant son propre

vecteur de mouvement.

10. Procédé de codage selon l'une quelconque des revendications 7 à 9,

caractérisé en ce que ladite étape de construction met en oeuvre d'une part un modèle de codage par éléments finis, et d'autre part un modèle de codage alternatif, ce dernier étant mis en oeuvre pour au moins certaines zones de ladite

image, en fonction d'un critère d'erreur prédéterminé.

11. Procédé de codage selon l'une quelconque des revendications 7 à 10,

caractérisé en ce que ladite étape de construction mettant en oeuvre un modèle de codage hiérarchique, elle comprend les sous-étapes suivantes:

36 2811791

- projection normale temporaire desdits sommets portant ledit marqueur "entrant" sur un bord de ladite image; - optimisation desdites informations colorimétriques et/ou photométriques desdits sommets et/ou desdites faces de ladite image, de façon à minimiser un critère d'erreur prédéterminé de reconstruction de l'image suivante; - repositionnement desdits sommets portant ledit marqueur "entrant" à leur position avant projection, lesdits sommets "entrant" étant porteurs desdites

informations colorimétriques et/ou photométriques optimisées.

12. Procédé de codage selon la revendication 10, caractérisé en ce que ledit codage spécifique comprend les sous-étapes suivantes: - construction d'une image symétrisée, obtenue en appliquant à ladite image une symétrie axiale par rapport à chacun de ses bords et une symétrie centrale par rapport à chacun de ses sommets; - optimisation desdites informations colorimétriques et/ou photométriques desdits sommets et/ou desdites faces de ladite image symétrisée par

application dudit modèle alternatif (DCT, fractales, matching pursuit).

13. Procédé de codage selon l'une quelconque des revendications 1 à 12,

caractérisé en ce qu'il met en oeuvre une étape de mémorisation d'informations photométriques et/ou colorimétriques associées aux sommets et/ou aux faces

sortant de ladite image.

14. Procédé de codage selon l'une quelconque des revendications 6 à 13,

caractérisé en ce que, tant qu'une face dudit maillage porte le marqueur "entrant", ladite étape de construction met en oeuvre au moins une itération des sous-étapes successives suivantes: - optimisation desdites informations colorimétriques et/ou photométriques desdits sommets de ladite face "entrant", de façon à minimiser un critère d'erreur prédéterminé; - transmission vers un terminal et/ou stockage sur un support de données

desdites informations colorimétriques et/ou photométriques optimisées.

15. Procédé de codage selon l'une quelconque des revendications 6 à 14,

caractérisé en ce que, tant qu'une face dudit maillage porte le marqueur "entrant", ladite étape de construction met en oeuvre au moins une itération des sous-étapes successives suivantes: - élaboration d'un critère permettant d'évaluer une qualité de reconstruction d'image obtenue en tenant compte des informations photométriques et/ou colorimétriques courantes des sommets de ladite face; - lorsque ladite qualité n'est pas satisfaisante: - optimisation desdites informations colorimétriques et/ou photométriques desdits sommets de ladite face, de façon à minimiser un critère d'erreur prédéterminé de reconstruction de l'image suivante; transmission vers un terminal et/ou stockage sur un support de données desdites informations colorimétriques et/ou photométriques optimisées; transmission et/ou stockage d'un arbre de marqueurs indiquant audit terminal si lesdits informations colorimétriques et/ou photométriques

desdits sommets de ladite face "entrant" ont été ou non optimisées.

16. Procédé de codage selon l'une quelconque des revendications 6 à 15,

caractérisé en ce que ladite étape d'estimation du mouvement comprend en outre une sous-étape de construction d'un arbre des vecteurs de mouvement à transmettre et/ou à stocker, l'appartenance d'un vecteur de mouvement audit arbre étant déterminée à partir d'un critère de pertinence du mouvement appliqué

auxdites faces dudit maillage.

17. Procédé de codage selon la revendication 16, caractérisé en ce que ledit

critère de pertinence résulte d'une combinaison pondérée prédéterminée des sous-

critères suivants: - un sous-critère de surface, permettant d'évaluer le rapport entre la surface d'une face et la surface moyenne des faces dudit maillage appartenant au même niveau de ladite pyramide de maillage;

38 2811791

- un sous-critère de compacité, permettant d'évaluer le rapport entre la surface et le périmètre d'une face dudit maillage; - un sous-critère d'antagonisme des mouvements, permettant d'évaluer

l'antagonisme des vecteurs de mouvement de sommets dudit maillage.

18. Procédé de codage selon l'une quelconque des revendications 6 à 15,

caractérisé en ce que tous les vecteurs de mouvement desdits sommets dudit maillage sont transmis et/ou stockés, un décodeur adapté identifiant selon un

critère prédéterminé les vecteurs devant être pris en compte.

19. Procédé de codage selon l'une quelconque des revendications 1 à 18,

caractérisé en ce qu'en présence d'une occultation d'au moins un sommet occulté par une face comprenant au moins un sommet occultant, on procède à une fusion

dudit sommet occulté avec ledit sommet occultant.

20. Procédé de codage selon l'une quelconque des revendications 1 à 19,

caractérisé en ce qu'il met en ceuvre une étape de détection d'au moins une zone de ladite image occultée au cours d'un déplacement dudit maillage, et une étape de mémorisation d'informations photométriques et/ou colorimétriques relatives à ladite zone occultée, en vu d'un éventuel usage futur, lesdites informations n'étant

pas traitées.

21. Procédé de décodage d'un maillage représentatif d'une image d'une séquence animée, caractérisé en ce que ledit maillage est de taille supérieure à

ladite image.

22. Signal représentatif d'un maillage représentatif d'une image d'une séquence

animée, caractérisé en ce que ledit maillage est de taille supérieure à ladite image.

23. Dispositif de codage d'un maillage représentatif d'une image d'une séquence animée, caractérisé en ce que ledit maillage est de taille supérieure à

ladite image.

24. Dispositif de décodage d'un maillage représentatif d'une image d'une séquence animée, caractérisé en ce que ledit maillage est de taille supérieure à

ladite image.