FR3012280A1 - Procede d'encodage et de decodage d'une sequence d'images video avec des modes de remplissage predetermines pour les pixels de parties occluses dans les images - Google Patents

Procede d'encodage et de decodage d'une sequence d'images video avec des modes de remplissage predetermines pour les pixels de parties occluses dans les images Download PDF

Info

Publication number
FR3012280A1
FR3012280A1 FR1302422A FR1302422A FR3012280A1 FR 3012280 A1 FR3012280 A1 FR 3012280A1 FR 1302422 A FR1302422 A FR 1302422A FR 1302422 A FR1302422 A FR 1302422A FR 3012280 A1 FR3012280 A1 FR 3012280A1
Authority
FR
France
Prior art keywords
image
pixels
decoding
occlusion
list
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
FR1302422A
Other languages
English (en)
Other versions
FR3012280B1 (fr
Inventor
Gang Xiao
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CT NAT de la RECH C N R S
Centre National de la Recherche Scientifique CNRS
Universite de Nice Sophia Antipolis UNSA
Original Assignee
CT NAT de la RECH C N R S
Centre National de la Recherche Scientifique CNRS
Universite de Nice Sophia Antipolis UNSA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CT NAT de la RECH C N R S, Centre National de la Recherche Scientifique CNRS, Universite de Nice Sophia Antipolis UNSA filed Critical CT NAT de la RECH C N R S
Priority to FR1302422A priority Critical patent/FR3012280B1/fr
Priority to PCT/FR2014/000224 priority patent/WO2015055902A1/fr
Publication of FR3012280A1 publication Critical patent/FR3012280A1/fr
Application granted granted Critical
Publication of FR3012280B1 publication Critical patent/FR3012280B1/fr
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/553Motion estimation dealing with occlusions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

L'invention concerne un procédé d'encodage et décodage vidéo où, à partir d'une image de référence (F1, F2) et d'un champ de vecteurs de mouvement (M1, M2), il est calculé une image prédite (P2, P3) et une image résiduelle (R2, R3). Lors de l'encodage, le procédé comprend une étape de génération d'une liste d'indicateurs d'ordre d'occlusion qui est transmise au décodage avec les champs de vecteurs de mouvement (M1, M2), l'image prédite (P2, P3) contenant des bandes d'occlusion formées par des pixels dont le champ de vecteur ne fait pas correspondre une position valable dans l'image de référence (F1, F2). La liste d'indicateurs de mode de remplissage de pixels des bandes d'occlusion de l'image prédite (P2, P3) est transmise de l'encodage au décodage, selon laquelle liste, lors du décodage, il est suivi un mode de remplissage préétabli pour remplir chaque pixel dans lesdites bandes d'occlusion de l'image prédite (P2, P3).

Description

Procédé d'encodage et de décodage d'une séquence d'images vidéo avec des modes de remplissage prédéterminés pour les pixels de parties occluses dans les images La présente invention se rapporte à un procédé d'encodage et de décodage d'images vidéo avec des modes de remplissage prédéterminés pour les pixels des parties occluses dans les images. Il est connu, dans un procédé d'encodage et de décodage vidéo pour une séquence d'images, d'effectuer lors de l'encodage, à partir d'une image de référence, respectivement précédente ou postérieure, et de champs de vecteurs de mouvement, le calcul une image prédite, respectivement suivante ou antérieure, et d'une image résiduelle. Les images résiduelles ainsi que les champs de vecteurs de mouvement sont transmis au décodage pour l'obtention d'images d'affichage, le décodage consistant pour chaque image d'affichage au calcul d'une image prédite selon le champ de vecteurs de mouvement associé et l'obtention d'une image de référence obtenue après correction de l'image prédite par l'image résiduelle associée, l'image de référence servant à l'élaboration de l'image d'affichage. Classiquement, les pixels de l'image prédite sont groupés en blocs et le champ 20 de vecteurs de mouvement est présenté en approximation avec un vecteur par bloc. Ces vecteurs sont ensuite compressés avant la transmission au décodage. Alternativement, l'image peut être divisée en segments de mouvements cohérents, chaque segment correspondant à un objet ou une scène de l'image 25 qui se déplace indépendamment des autres segments. Dans un tel segment, le champ de vecteurs de mouvement peut être décrit par un simple modèle mathématique, ce qui réduit considérablement la bande passante pour la transmission du champ de vecteurs par rapport à une transmission bloc par bloc.
Fréquemment, l'essentiel de la bande passante d'une séquence d'images vidéo est engendré par des zones d'occlusion, où une partie d'un objet de l'image prédite est cachée par un autre objet en mouvement ou par le cadre de l'image dans l'image de référence. Dans ce cas, il est utilisé des algorithmes connus qui tentent d'estimer la partie cachée en prenant une partie de l'image de référence qui ressemble au plus près à cette partie cachée. Plusieurs inconvénients limitent la performance de ces algorithmes. D'abord puisque la partie cachée n'existe pas dans l'image de référence, l'estimation de la partie occluse de l'image prédite n'est qu'une approximation qui est souvent assez loin du vrai contenu de l'image. La différence entre la prédiction et la vraie partie de l'image doit alors être corrigée par l'image résiduelle qui doit non seulement fournir la partie réelle de l'image mais aussi recorriger la partie prédite, car cette dernière a beaucoup de chance d'être bien différente de la partie réelle.
Des tests effectués montrent que dans la majorité des cas, cette double correction nécessite une bande passante plus élevée pour l'image résiduelle qu'une simple fourniture de la partie occluse de l'image prédite. Quand la bande passante est limitée, une compression à un taux plus fort de l'image résiduelle est nécessairement appliquée, entraînant inévitablement une baisse de la qualité de l'image. En plus, l'artefact introduit par une compression agressive à taux fort provient non seulement de la partie réelle de l'image mais aussi de la partie prédite et l'artefact de la partie prédite est bien plus visible que celui de la partie réelle car il s'agit de bruits sans signaux correspondants. Ces bruits se présentent souvent sous forme d'auréoles dans les zones occluses. Ensuite, la recherche des parties prédites de la zone occluse étant aléatoire, les vecteurs de mouvement qui en résultent sont aussi aléatoires, ces vecteurs de nature aléatoire étant difficiles à compresser, ce qui conduit à une augmentation importante de la bande passante pour la transmission de champ de vecteurs de mouvement. Une analyse des images réelles montre que ces vecteurs aléatoires occupent souvent la majorité de la bande passante du champ de vecteurs de mouvement compressé.
Enfin, dans les parties occluses, les vecteurs de mouvement aléatoires ne permettent pas une interpolation temporelle efficace pour les images intermédiaires entre l'image de référence et l'image prédite. De ce fait, de nouvelles corrections par images résiduelles sont nécessaires pour chacune des images intermédiaires alors que les informations pour ces images sont très souvent déjà contenues dans l'image de référence et l'image prédite. Donc un champ de vecteurs plus correct aurait le potentiel d'augmenter significativement le taux de compression pour ces images intermédiaires. Récemment, plusieurs procédés de traitement d'occlusion ont été portés à la 10 connaissance du public. Ces procédés se concentrent sur la détermination et l'interprétation des occlusions dans le cas de l'interpolation temporelle d'une image intercalée entre deux images de référence connues. Pour la compression et la transmission d'une séquence d'images vidéo, l'étape la plus fréquente est de prédire une image à partir d'une image de référence 15 précédente. Cette situation est bien différente de l'interpolation temporelle d'image et une amélioration de l'efficacité de la compression dans ce cas est très importante car elle occupe une part importante de la bande passante d'une séquence vidéo compressée. Le document US-A-2003/039307 a trait à un système et à un procédé 20 d'encodage et de décodage vidéo avec émission d'un indicateur d'ordre d'occlusion. Cet indicateur d'ordre peut indiquer un ordre relatif entre deux segments, comme par exemple une position d'un segment par rapport à un autre segment ou indiquer un ordre absolu qui donne à chaque segment une place dans la suite d'ordres. L'indicateur d'ordre peut être déterminé en fonction 25 des différences d'occlusion dans les segments entre l'image de référence et l'image prédite. Si ce document décrit un indicateur d'ordre d'occlusion, il s'est révélé que l'application d'un tel procédé produisait des artefacts qui nuisent à la qualité des images et influent négativement sur la compression. Ce document sera 30 ultérieurement plus amplement détaillé dans la présente demande de brevet en servant d'exemple pour illustrer un traitement des zones d'occlusion selon l'état de la technique.
Le problème à la base de la présente invention est donc de trouver un procédé de décodage et encodage qui réduit la bande passante de transmission nécessitée par des positions d'occlusion ou des positions en dehors du cadre de pixels de l'image de référence en faisant une meilleure prédiction des valeurs de luminance ou valeurs chromatiques des pixels se trouvant dans ces positions. A cet effet, l'invention concerne un procédé d'encodage et de décodage vidéo dans une séquence d'images, pour lequel procédé, à partir d'une image de référence et d'un champ de vecteurs de mouvement, il est calculé, lors de l'encodage et du décodage, une image prédite et une image résiduelle, les images résiduelles ainsi que les champs de vecteurs de mouvement étant transmis au décodage pour l'obtention d'images d'affichage après décodage, lequel procédé, lors de l'encodage, comprend l'étape de génération d'une liste d'indicateurs d'ordre d'occlusion, la liste d'indicateurs d'ordre d'occlusion étant transmise au décodage avec les champs de vecteurs de mouvement, l'image prédite contenant des bandes d'occlusion formées par des pixels dont le champ de vecteur ne fait pas correspondre une position valable dans l'image de référence, caractérisé en ce qu'une liste d'indicateurs de mode de remplissage de pixels des bandes d'occlusion de l'image prédite est transmise de l'encodage au décodage, selon laquelle liste, lors du décodage, il est suivi un mode de remplissage préétabli pour remplir chaque pixel dans lesdites bandes d'occlusion de l'image prédite. Avantageusement, la liste d'indicateurs de mode de remplissage est incluse dans la liste d'ordre d'occlusion ou la liste d'indicateurs de mode de remplissage est indépendante de la liste d'ordre d'occlusion et est transmise de l'encodage au décodage séparément de cette liste d'ordre. Avantageusement, il est défini deux zones de continuité du champ de vecteur de mouvement dans l'image de référence comprenant une zone occluse et une zone occluante avec une courbe de discontinuité entre les deux zones, la zone occluante recouvrant au moins partiellement la zone occluse, avec dans l'image prédite la bande d'occlusion créée par la discontinuité entre les deux zones s'intégrant dans la zone occluse, le mode de remplissage préétabli pour un pixel donné de la bande d'occlusion est la valeur de la moyenne d'une sélection de pixels appartenant à la zone occluse de l'image de référence, cette sélection de pixels étant faite pour des pixels de la zone occluse de l'image de référence mis en correspondance avec les pixels de l'image prédite les plus proches du pixel donné. Avantageusement, ladite moyenne est pondérée par une fonction de pondération dépendant du positionnement de chaque pixel dans ladite sélection de pixels de l'image de référence. Avantageusement, ladite fonction de pondération dépend aussi d'une fonction 10 statistique des gradients des valeurs de luminance de pixels sur la sélection de pixels de l'image de référence, l'ensemble desdits gradients présentant une direction dominante, ladite fonction statistique donnant une pondération plus forte aux pixels dont le positionnement est proche de la direction perpendiculaire à la direction dominante des gradients. 15 Avantageusement, la sélection de pixels de l'image de référence est affinée en ne prenant en compte que les pixels correspondants de l'image de référence mis en correspondance avec les pixels de l'image prédite les plus proches du pixel et se trouvant uniquement dans une direction comprise dans un intervalle angulaire défini par l'indicateur de mode de remplissage. 20 Avantageusement, les pixels d'une bande d'occlusion de l'image prédite, mis en correspondance par le champ de vecteurs de mouvement à aucune position correspondante valable dans l'image de référence, sont divisés en un multiple de groupes et un ordre de précédence est attribué à chacun de ces groupes, tel que, lors du décodage, le remplissage des valeurs des pixels de l'image prédite 25 se fait groupe par groupe selon leur ordre de précédence et les valeurs des pixels se trouvant dans un groupe antérieur, corrigées par le contenu de l'image résiduelle, sont utilisées comme valeurs de référence pour calculer les moyennes afin de déduire la valeur prédite d'un pixel dans un groupe postérieur.
Avantageusement, quand l'image résiduelle est divisée en blocs lors de sa compression, la division en groupes des pixels d'une bande d'occlusion de l'image prédite ne donnant aucune position correspondante valable dans l'image de référence se fait en cohérence avec la division en blocs utilisée lors de la compression de l'image résiduelle. Avantageusement, lors du décodage, pour une courbe de discontinuité séparant une zone occluante et une zone occluse, les pixels appartenant à la courbe de discontinuité sont attribués à la zone occluante. L'invention concerne aussi un système d'encodage et de décodage vidéo pour la mise en oeuvre d'un tel procédé, lequel comprend : - des moyens d'encodage d'images vidéo, comprenant des moyens de détection d'une discontinuité entre deux zones de continuité d'un champ de vecteurs de mouvement sur l'image de référence et des moyens de génération d'une liste d'indicateurs d'ordre d'occlusion et d'une liste d'indicateurs de mode de remplissage, - des moyens de décodage pour l'obtention de chaque image d'affichage, les moyens de décodage comprenant des moyens de traitement selon la liste d'indicateurs d'ordre d'occlusion et une liste d'indicateurs de mode de remplissage, ainsi que des moyens de mise en oeuvre sélective de ces modes de remplissage effectuant un remplissage de pixels des bandes d'occlusion des images prédites, - les moyens de décodage comprenant des moyens de mémorisation préalable de plusieurs modes prédéterminés de remplissage de pixels des bandes d'occlusion.
D'autres caractéristiques, buts et avantages de la présente invention apparaîtront à la lecture de la description détaillée qui va suivre et au regard des dessins annexés donnés à titre d'exemples non limitatifs et sur lesquels : - les figures 1 et 2 montrent respectivement des première et seconde 30 images successives d'une séquence vidéo, - la figure 3 montre une bande d'occlusion entre deux objets en mouvement dans une image, - les figures 4 et 5 sont respectivement une représentation schématique des étapes connues d'un procédé d'encodage et de décodage d'images vidéo, le procédé selon l'invention pouvant être utilisé dans le cadre d'un tel procédé d'encodage et de décodage, - les figures 6 et 7, 8 et 9, 10 et 11, 12 et 13 montrent respectivement une image prédite et une image résiduelle obtenues conformément à des premier, second, troisième et quatrième procédés de traitement des zones occluses dans une image selon l'état de la technique, - les figures 14 et 15 montrent respectivement une image prédite et une image résiduelle obtenues conformément à un procédé de traitement des zones occluses dans une image selon la présente invention pour un premier exemple de mise en oeuvre de remplissage des pixels occlus, - les figures 16 et 17 montrent respectivement une image prédite et une image résiduelle obtenues conformément à un procédé de traitement des zones occluses dans une image selon la présente invention pour un second exemple de mise en oeuvre de remplissage des pixels occlus, - les figures 18 et 19 montrent respectivement une image prédite et une 20 image résiduelle obtenues conformément à un procédé de traitement des zones occluses dans une image selon la présente invention pour un troisième exemple de mise en oeuvre de remplissage des pixels occlus. La figure 1 montre une première image qui, dans une séquence d'images vidéo, 25 est suivie d'une seconde image montrée à la figure 2 après déplacement d'au moins un objet dans la première image. Les images sont en réalité en couleur et de 32x32 pixels et représentent un objet mobile 1, ici l'arrière d'un véhicule automobile, qui avance par rapport à des objets fixes, aux figures 1 et 2 un poteau 2 et de la végétation 3.
Dans cet exemple, entre ces deux images montrées respectivement aux figures 1 et 2, le vecteur de déplacement de l'objet mobile 1 est de cinq pixels vers la gauche et d'un pixel vers le bas, par rapport au fond fixe 2, 3. L'appartenance des pixels de la seconde image de la figure 2 aux différentes zones est illustrée par la figure 3. Cette figure 3 montre trois zones : une zone relative à l'objet mobile 1 a formant l'avant-plan, une zone relative à l'objet fixe 2a formant l'arrière-plan et une zone d'occlusion 4a formant ici une bande. A la figure 3, cette bande d'occlusion contient 193 pixels sur les 1024 de l'image. Pour illustrer les étapes des procédés d'encodage et de décodage, il va être fait 10 référence respectivement aux figures 4 et 5. En se référant à la figure 4, il est montré comment se déroule l'encodage d'une suite d'images vidéo. A cette figure, les références S1, S2, S3 indiquent les images sources de la séquence vidéo qui entrent dans l'encodeur par son entrée Ee. 15 La référence S1 indique la première image source de la séquence et peut donner une image de type I, référencée I à cette figure. A cette image I, un champ de vecteurs M1 de mouvement est appliqué pour produire l'image prédite P2, qui sert de prédiction pour la seconde image. L'image I et le champ de vecteurs M1 de mouvement sont transmis de l'encodeur au décodeur. 20 L'image prédite P2 est comparée à la seconde image source S2 et la différence entre l'image prédite P2 et l'image source S2 donne l'image résiduelle R2. L'image prédite P2 est alors associée à l'image résiduelle R2 pour donner une image de référence F2 qui sert à l'élaboration de l'image prédite suivante P3 quand on lui applique un champ de vecteurs M2 de mouvement. Il en va de 25 même pour le vecteur M3 de mouvement et les vecteurs de mouvement suivants, bien que cela ne soit pas montré à la figure 4. Le même processus est appliqué à l'image prédite P3 pour obtenir une image résiduelle R3 puis une image de référence F3 sur laquelle on applique le champ de vecteurs M3 de mouvement. Un tel procédé se poursuit pour les n images 30 de référence.
Les images résiduelles R2, R3 ainsi que les champs de vecteurs de mouvement M1, M2, M3 obtenus lors de l'encodage sont transmis au décodage en sortant de l'encodeur par sa sortie Se et en entrant dans le décodeur par son entrée De montrée à la figure 5.
Ainsi, de manière générale lors de l'encodage, à partir d'une image de référence I, F2, F3, respectivement précédente ou postérieure, et de champs de vecteurs de mouvement M1, M2, M3, il est calculé, une image prédite P2, P3, respectivement suivante ou antérieure, et une image résiduelle R2, R3, les champs de vecteurs de mouvement M1, M2, M3 et les images résiduelles R2, R3 étant transmis de l'encodage au décodage. Dans le cas spécifique d'une première image et d'une seconde image, il est calculé à partir de la première image en lui ajoutant des champs de vecteurs de mouvement une image prédite et l'image résiduelle correspondante résulte de la différence entre image prédite et seconde image.
En se référant à la figure 5, il est montré comment se déroule le décodage d'une suite d'images vidéo. A cette figure, les références A1, A2, A3 indiquent les images d'affichage de la séquence vidéo qui sortent du décodeur par sa sortie Sd. Lors du décodage, pour l'obtention d'images d'affichage A1, A2, A3 après décodage, il est effectué le calcul d'une image prédite P2, P3 selon le champ de vecteurs de mouvement associé M1, M2 et à partir d'une image de référence F1, F2, F3. L'image prédite P2, P3, corrigée par l'image résiduelle R2, R3 donne une image de référence suivante F2, F3. Les images de référence F2 et F3 peuvent présenter des zones occluses et les pixels de ces zones sont à remplir pour l'obtention des images d'affichage correspondantes A1, A2, A3. Aux images de référence F2, F3 est ajouté le champ de vecteurs de mouvement associé M2, M3 afin d'obtenir une nouvelle image prédite P3 qui est traitée de la même manière avec correction par l'image résiduelle associée R3 afin d'obtenir une image de référence suivante F3. Le processus se poursuit ainsi pour les n images de la séquence vidéo ainsi décodée.
Dans ce qui va suivre, il va être décrit quatre procédés de traitement des zones d'occlusion suivant l'état de la technique pour comparaison avec trois procédés d'encodage et de décodage avec des variantes de mise en oeuvre de mode de remplissage prédéterminées pour les zones d'occlusion, ces variantes de mise en oeuvre pouvant en outre être utilisées dans le procédé selon la présente invention, ceci en combinaison avec une liste d'ordre de remplissage conformément à la présente invention et qui va être décrite ultérieurement. Il sera fait référence aux première et seconde images, ceci pouvant s'appliquer à toute image de référence et à une image source précédente ou postérieure selon le sens de l'encodage. Pour simplification il va être pris un encodage et un décodage portant sur des images se suivant, la seconde image suivant la première image, ce qui n'est pas limitatif. Ceci correspond à une compression des images en avant mais une compression en arrière peut aussi être possible. Dans tous les procédés de traitement des zones d'occlusion comparés, il est prévu, lors de l'encodage, de calculer des images prédites à partir de l'image de référence précédente ou postérieure et des champs de vecteurs de mouvement et ensuite de calculer les images résiduelles correspondantes qui corrigent l'image prédite pour obtenir l'image suivante ou postérieure dans le sens de l'encodage.
Ces procédés vont être décrits en prenant la première image comme image de référence sur laquelle sont appliqués les champs de vecteurs de mouvement afin de calculer une image prédite. L'image résiduelle correspondante est obtenue en faisant la différence entre image prédite et seconde image. Le premier procédé selon l'état de la technique est décrit en regard des figures 6 et 7. La figure 6 montre l'image prédite et la figure 7 montre l'image résiduelle. Ce premier procédé est dit à "vecteur par bloc". Il prévoit la détermination d'un "vecteur de compensation optimal" pour chaque bloc de 8x8 pixels par un algorithme de recherche de mouvement, le bloc dans l'image prédite étant fourni par le contenu de la première image déplacé par le vecteur de compensation. L'image prédite et l'image résiduelle sont obtenues comme précédemment indiqué. Les effets de débordement de la limite de valeur des pixels où il y a une forte différence entre l'image prédite et la seconde image créent parfois de fortes variations locales dans l'image résiduelle. Selon ce procédé, il y a plusieurs blocs dont au moins une partie est recouverte par une bande d'occlusion. Une telle bande d'occlusion est formée par des 5 pixels de l'image prédite dont le champ de vecteur ne correspond pas à une position valable dans l'image de référence. Il est ainsi défini pour la présente invention dans l'image de référence des paires de zones de continuité du champ de vecteur de mouvement. Chaque paire comprend une zone occluse et une zone occluante avec une discontinuité 10 entre les deux zones, la zone occluante recouvrant au moins partiellement la zone occluse. Pour l'image prédite, la bande d'occlusion est créée par la discontinuité entre les deux zones, discontinuité qui forme les positions non valables dans l'image de référence. Ceci est valable pour tous les exemples donnés dans la présente demande. 15 Dans le cas spécifique des figures 6 et 7, pour ces blocs, les vecteurs de mouvement n'ont pas d'effet significatif sur le résultat, car de toute façon il n'y a pas de contrepartie suffisamment similaire dans la première image. Pour les procédés et mises en oeuvre décrits dans la suite de la présente demande, les vecteurs de mouvement sont transmis par zone de mouvement, 20 soit l'avant-plan ou l'arrière-plan, la bande d'occlusion appartenant à l'arrière plan. Ces vecteurs de mouvement contiennent une liste d'indicateurs qui précise la zone d'appartenance (avant-plan, arrière-plan ou occlusion) pour chaque pixel de l'image prédite. Le deuxième procédé selon l'état de la technique est décrit en regard des 25 figures 8 et 9. Ce deuxième procédé emploie le mode de remplissage, dit à "vecteur direct", pour remplir les valeurs prédites, de luminance ou chromatique, d'un pixel se trouvant dans la bande d'occlusion en utilisant une extension par continuité des vecteurs de mouvement de l'arrière-plan pour la mise en correspondance à une position correspondante dans l'image de 30 référence, ici la première image. Si cette extension reflète effectivement le vrai mouvement du pixel occlus, la position correspondante dans l'image de référence est occupée par l'objet d'avant-plan, donc la valeur de luminance ou chromatique ainsi obtenue constitue une mauvaise prédiction. En se référant aux figures 8 et 9, il peut être constaté que la prédiction de la bande d'occlusion ainsi obtenue est erronée, ce qui génère une correction 5 importante dans l'image résiduelle et en conséquence une bande passante importante. Le troisième procédé selon l'état de la technique est décrit en regard des figures 10 et 11. Ce troisième procédé emploie le mode de remplissage, dit à "vecteur inversé", améliore le précédent procédé en remplaçant les vecteurs de 10 mouvement dans la bande d'occlusion par les vecteurs de la zone occluante, c'est-à-dire celui de l'avant-plan qui recouvre l'autre zone, cette dernière zone étant dite zone occluse comme précédemment mentionné. Ces derniers vecteurs de mouvement mettent en correspondance un pixel occlus de la seconde image à une position de la première image de l'arrière- 15 plan, dont le contenu est plus proche du pixel occlus qu'une position de l'avant- plan. Il est visible aux figures 10 et 11 que, à part les difficultés créées par le poteau 2 visibles aux figures 1 et 2, l'amélioration par rapport au deuxième procédé est significative. 20 Le quatrième procédé selon l'état de la technique est décrit en regard des figures 12 et 13. Ce quatrième procédé emploie le mode de remplissage, dit "sans prédiction", selon lequel dans la bande d'occlusion aucune prédiction n'est effectuée, le contenu de la seconde image étant entièrement fourni par l'image résiduelle dans cette bande. Ce procédé est similaire à celui décrit par 25 le document US-A-2003/039307 mentionné dans la partie introductive de la présente demande de brevet. Un inconvénient important de ce mode de remplissage, est que la fin de la bande d'occlusion, ici le contour droit de la bande d'occlusion comme montré à la figure 3, constitue une ligne de forts gradients dans l'image résiduelle, alors 30 que dans la seconde image une telle ligne n'existe pas. Une compression de l'image résiduelle va créer des artefacts autour de cette ligne, qui ne sont pas masqués par des gradients dans l'image composée. La régularité de la ligne fait que ces artefacts sont facilement remarquables par l'oeil humain et peuvent être déplaisants. Ce phénomène limite donc le taux de compression de l'image résiduelle, réduisant ainsi l'efficacité du procédé.
Ainsi, l'état de la technique le plus proche illustré par le quatrième procédé comprend une étape de génération à l'encodage d'une liste d'indicateurs d'ordre d'occlusion, chaque indicateur d'ordre d'occlusion étant en rapport avec une discontinuité détectée entre deux zones de continuité d'un champ de vecteurs de mouvement sur l'image de référence formant une courbe de discontinuité, la liste d'indicateurs d'ordre d'occlusion étant transmise au décodage avec les champs de vecteurs de mouvement. Il va maintenant être décrit trois formes de réalisation pour un procédé selon la présente invention, ces trois formes n'étant pas limitatives et étant relatives chacune à un exemple de mise en oeuvre de remplissage des pixels occlus ou des pixels hors cadre. Les dénominations utilisées pour désigner chacune des trois formes de réalisation sont purement illustratives et les formes de réalisation ainsi désignées ne doivent pas être restreintes à un sens strict donné à leur dénomination respective. D'une manière générale, ces trois formes de réalisation et d'autres variantes possibles de mise en oeuvre de remplissage pour les parties occluses ou des parties hors cadre formant les bandes d'occlusion sont utilisées dans un procédé selon la présente invention pour l'encodage et le décodage vidéo d'une séquence d'images traitant les bandes d'occlusion dans les images de référence précédemment définies, pour lequel procédé une liste d'indicateurs de mode de remplissage de pixels des bandes d'occlusion de l'image prédite est transmise de l'encodage au décodage. Selon cette liste, lors du décodage, il est suivi un mode de remplissage préétabli pour remplir chaque pixel des bandes d'occlusion de l'image prédite. Par bandes d'occlusion, il est entendu toute partie cachée par un objet en 30 mouvement et aussi toute partie en position sortie du cadre de l'image de référence.
Comme précédemment mentionné, les bandes d'occlusion sont formées par des pixels dont le champ de vecteur ne fait pas correspondre une position valable dans l'image de référence F1, F2. Il a été utilisé position valable car le champ de vecteurs peut être fractionnaire, donc la position correspondante peut ne pas avoir de coordonnées entières. Divers modes de remplissage peuvent être contenus dans le décodeur préalablement au décodage. Selon une liste d'indicateurs de mode de remplissage émise lors de l'encodage, chaque indicateur valant pour un pixel d'une bande d'occlusion, le remplissage du pixel ou du groupe de pixels de la bande d'occlusion se fait selon un mode de remplissage préétabli déjà contenu dans le décodeur et sélectionné parmi d'autres modes de remplissage. Ceci peut être fait de la manière suivante : lors de l'encodage, il est comparé l'efficacité de chacun des modes de remplissage, modes que l'encodage a préalablement mémorisés et qui sont donc à sa disposition, pour un pixel ou pour un groupe de pixels dans une bande d'occlusion. Ensuite, de l'encodage au décodage par l'intermédiaire de la liste d'indicateurs de mode de remplissage, il est indiqué le mode de remplissage le plus performant pour le pixel ou le groupe de pixels en question. Avantageusement, la liste d'indicateurs de mode de remplissage qui est transmise avec les vecteurs de mouvement peut être indépendante ou intégrée dans la liste d'indicateurs d'ordre d'occlusion, chaque indicateur d'ordre d'occlusion étant en rapport avec une discontinuité détectée entre deux zones de continuité d'un champ de vecteurs de mouvement sur l'image de référence lors de l'encodage.
II est bien entendu possible de combiner ces diverses variantes de mise en oeuvre de remplissage entre elles, ceci pour divers pixels occlus ou divers groupes de pixels hors cadre de la même image. Il peut aussi exister la définition d'un mode de remplissage par défaut pour lequel, quand aucun indicateur de mode de remplissage d'un pixel d'une bande d'occlusion n'est fourni, le mode de remplissage est automatiquement celui défini par défaut, soit pour une image, soit pour toutes les images dans une séquence de vidéo.
Dans ce qui va suivre, ce qui est énoncé pour un pixel occlus est aussi valable pour un pixel hors cadre, ces deux pixels faisant partie d'une bande d'occlusion. Les figures 14 et 15 concernent un premier exemple de mise en oeuvre de remplissage selon l'invention. Ce premier exemple de mise en oeuvre, dite à "remplissage unique", prévoit que pour chaque pixel p dans la bande d'occlusion de l'image prédite, il est d'abord procédé à une recherche de la distance minimale entre le pixel p occlus et un pixel non-occlus de la zone d'arrière-plan. La variable dl désigne donc la distance minimale entre le pixel p occlus et un pixel non-occlus de la zone d'arrière-plan. Cet exemple de mise en oeuvre emploie un unique mode de remplissage, dit "moyenne omnidirectionnelle". Quand le champ de vecteurs de mouvement ne fait correspondre à un pixel donné de l'image prédite aucune position correspondante valable dans l'image de référence, c'est-à-dire que ce pixel fait partie d'une bande d'occlusion, le mode de remplissage préétabli, dit "moyenne omnidirectionnelle", donne audit pixel occlus de la bande d'occlusion de l'image prédite la valeur moyenne d'une sélection de pixels de l'image de référence appartenant à la zone occluse. Cette sélection de pixels est faite pour des pixels de l'image de référence mis en correspondance avec les pixels de l'image prédite les plus proches du pixel donné. D'une manière générale, la moyenne précédemment calculée peut être pondérée par une fonction de pondération dépendant du positionnement de chaque pixel dans ladite sélection de pixels de l'image de référence appartenant à la zone occluse.
Par exemple, une moyenne pondérée peut être calculée pour le contenu des pixels q d'une image de référence, dont le pixel correspondant dans l'image prédite est situé à une distance d2 par rapport au pixel occlus p qui ne dépasse pas un certain multiple m de dl. La pondération r est en fonction du rapport entre dl et d2. Cette moyenne sera mise sur le pixel occlus p pour l'image prédite ainsi obtenue. Dans cet exemple, il a été pris m = 1,7 et r = (dl/d2)2, ce qui n'est pas limitatif.
Toujours dans le cas d'une image de référence équivalente à la première image montrée à la figure 1, le résultat est montré à la figure 14 à laquelle on peut constater une forte amélioration par rapport aux procédés de l'état de la technique. Le plus gros défaut reste cependant au centre de l'image, où la moyenne omnidirectionnelle n'est pas très efficace face à la caractéristique fortement directionnelle du poteau, poteau qui a été référencé 2 aux figures 1 et 2 et formant un élément de l'arrière plan, ceci étant spécifique aux images traitées et non caractéristique de ce premier exemple de mise en oeuvre de remplissage.
Cependant, contrairement aux trois premiers procédés selon l'état de la technique, il n'y a plus de phénomène de débordement des valeurs de luminance ou valeurs chromatiques du pixel dans l'image résiduelle. Des alternatives existent pour la moyenne omnidirectionnelle. Si dans l'exemple précédent, la pondération est inversement proportionnelle au carré de la distance d2 entre les pixels p et q, il est aussi possible en alternative de proposer que r = d1/d2, c'est-à-dire que la pondération soit inversement proportionnelle à la distance d2 entre les pixels p et q. Une autre alternative consiste à avoir une pondération constante, c'est-à-dire qu'elle ne dépende pas de la position du pixel q.
II est aussi possible de prendre, en alternative, des pondérations qui privilégient une direction par rapport aux autres. Par exemple, soit le vecteur v=pq de coordonnées (x, y), il peut être défini une pondération r = y.(d1/d2)2. Cette pondération a pour effet de privilégier les pixels q se situant en direction verticale par rapport au pixel occlus p. Pour les images prises en exemple, cette formule est plus performante que la moyenne omnidirectionnelle pour les quatre blocs au centre, mais moins efficace qu'une moyenne directionnelle définie dans la suite. Les figures 16 et 17 montrent un second exemple de mise en oeuvre pour un mode de remplissage selon l'invention, dénommé "remplissage adaptatif'. Ce 30 second exemple de mise en oeuvre améliore le premier exemple de mise en oeuvre de remplissage en appliquant un autre mode de remplissage pour les quatre blocs au centre de l'image. Selon ce mode de remplissage dit "moyenne directionnelle", seuls les pixels dans la direction du poteau, référencé 2 aux figures 1 et 2 et donnant un exemple d'objet immobile de l'arrière-plan, sont pris en compte dans le calcul de la moyenne.
Selon un exemple de mise en oeuvre préféré, la liste d'indicateurs de mode de remplissage contenue ou non dans la liste d'indicateurs d'occlusion transmise par l'encodeur au décodeur avec les champs de vecteur de mouvement précise un mode de moyenne directionnelle de remplissage des pixels de la bande d'occlusion pour certains blocs, dans l'exemple des figures 16 et 17 pour les quatre blocs au centre et précise un mode de moyenne omnidirectionnelle pour les autres blocs de l'image prédite. D'après le mode de remplissage "moyenne directionnelle", la sélection de pixels de l'image de référence pour le calcul de la moyenne de la prédiction d'un pixel occlus p de la bande d'occlusion de l'image prédite est affinée en ne prenant en compte que les pixels correspondants de l'image de référence mis en correspondance avec les pixels de l'image prédite les plus proches du pixel p et se trouvant uniquement dans une direction incluse dans un intervalle angulaire défini par l'indicateur de mode de remplissage. Selon ce mode de remplissage et dans le cas spécifique des images montrées, ce sont préférentiellement les pixels q dont la direction au pixel occlus p est comprise dans l'intervalle angulaire entre 68 et 90° par rapport à l'abscisse qui sont pris en compte dans le calcul de la moyenne pour le pixel p. Selon une alternative de la mise en oeuvre, l'indicateur de mode de remplissage précise au décodeur que l'intervalle angulaire est détecté par le décodeur par une analyse statistique des gradients. Lors du décodage, il est procédé à la détection de la direction de remplissage appartenant à un bloc central en analysant les gradients des pixels appartenant à la zone occluse ou d'arrière-plan dans les blocs avoisinants puis en prenant la direction perpendiculaire à la direction dominante de ces gradients comme direction de remplissage.
Ainsi, une fonction de pondération peut dépendre aussi d'une fonction statistique des gradients des valeurs de luminance de pixels sur une sélection de pixels de l'image de référence appartenant à la zone occluse, l'ensemble desdits gradients présentant une direction dominante. La fonction statistique donne alors avantageusement une pondération plus forte aux pixels dont le positionnement est proche de la direction perpendiculaire à la direction dominante des gradients. Selon cet exemple de mise en oeuvre, dans le cas spécifique des images montrées, seuls les gradients dont la ligne perpendiculaire rencontre le bloc 10 central sont pris en compte dans la détection de la direction dominante des gradients. Selon un autre exemple de mise en oeuvre, la liste d'indicateurs de mode de remplissage intégrée ou non à la liste d'indicateurs d'occlusion transmise par l'encodeur contient un mode automatique de remplissage des pixels de la 15 bande d'occlusion pour tous les blocs de l'image. Selon ce mode, le décodeur procède à une analyse des gradients des pixels appartenant à la zone d'arrière-plan ou zone occluse dans les blocs avoisinants et passe au mode de remplissage directionnel si une direction dominante des gradients est détectée. La sélection de pixels de l'image de référence peut être affinée en ne prenant 20 en compte que les pixels correspondants de l'image de référence mis en correspondance avec les pixels de l'image prédite les plus proches du pixel et se trouvant uniquement dans une direction incluse dans un intervalle angulaire défini par l'indicateur de mode de remplissage. Les formes de réalisation énoncées ci-dessus présentent l'avantage d'optimiser 25 le remplissage tout en nécessitant un minimum de bande passante supplémentaire pour la liste d'indicateurs de remplissage. Le résultat de cet exemple de mise en oeuvre de remplissage est illustré par les figures 16 et 17. L'amélioration est substantielle. Cet exemple de mise en oeuvre a en plus l'avantage d'être moins sensible que la précédente à la précision du 30 positionnement du contour de discontinuité. L'inconvénient de ces deux variantes de mise en oeuvre de remplissage selon la présente invention qui ont été précédemment décrites est que leur complexité augmente avec le carré de la largeur de la bande d'occlusion. En plus, leur efficacité diminue avec l'augmentation de cette largeur, à cause des moyennes de plus en plus larges. En regard des figures 18 et 19, il est montré un troisième exemple de mise en 5 oeuvre de remplissage selon la présente invention dénommé "remplissage successif'. Ce troisième exemple de mise en oeuvre qui peut être combiné avec les deux exemples de mise en oeuvre précédents diffère du deuxième exemple de mise en oeuvre par la division des pixels dans la bande d'occlusion en plusieurs groupes et par l'établissement d'un ordre de précédence parmi les 10 groupes. Le remplissage de la bande se fait par groupes en partant du groupe de précédence supérieure et en continuant selon la décroissance de la précédence. Chaque fois qu'un groupe est rempli, la correction par l'image résiduelle est appliquée et le résultat est utilisé comme valeurs de référence 15 pour calculer les valeurs prédites des pixels dans les groupes inférieurs. La précédence est donnée aux groupes dont les pixels sont les plus proches des pixels connus de la zone de continuité occluse par l'autre zone de continuité, celle-ci étant la zone occluante. Cet exemple de mise en oeuvre comporte cependant un risque d'accumulation 20 d'erreur. En effet, comme les valeurs de luminance ou valeurs chromatiques de l'image résiduelle sur certains pixels sont utilisées pour en déduire les valeurs de luminance ou valeurs chromatiques sur d'autres pixels, le bruit introduit par la compression de l'image résiduelle risque de se propager, s'accumuler et s'amplifier dans certaines circonstances. 25 Une solution pour éviter ce risque est d'effectuer les divisions en groupes de pixels en respectant les divisions de l'image résiduelle utilisées par le procédé de compression. L'image résiduelle est fréquemment divisée en blocs lors de l'encodage. Il est donc avantageux d'effectuer la division en groupes des pixels de l'image prédite se trouvant dans une zone occluse ou non valable de l'image 30 de référence en cohérence avec la division en blocs utilisée lors de la compression de l'image résiduelle.
Ainsi, le bruit introduit par la compression de l'image résiduelle peut être pris en compte dans le calcul des moyennes des pixels dans les groupes ultérieurs, évitant ainsi la propagation du bruit. Ceci est fait dans l'exemple présent, avec le groupement de pixels dans la 5 bande d'occlusion selon leur appartenance aux blocs carrés de 8x8 pixels de l'image. La précédence des blocs, en ordre décroissant, contenant des pixels de la bande d'occlusion est la suivante : (24,16), (8,0), (24,24), (16,8), (0,0), (16,16), (8,8), (16,24), (8,16). En plus, compte tenu d'une distance plus courte de référencement des pixels, 10 seuls les blocs (16,8) et (16,16) sont placés sous mode directionnel. Les figures 18 et 19 montrent le résultat de cet exemple de mise en oeuvre de remplissage, dont l'amélioration par rapport à l'exemple de mise en oeuvre précédent des figures 14 et 15 est perceptible. Une autre solution consiste à appliquer le mode de remplissage récursivement 15 à plusieurs reprises, lors de l'encodage. A chaque reprise, ce sont les valeurs de luminance ou valeurs chromatiques des pixels incorporant les bruits de la compression de l'image résiduelle de la précédente reprise qui sont utilisées comme référence pour le calcul des moyennes. En résumé, dans les exemples montrés aux figures 14 à 19, pour l'exemple de 20 mise en oeuvre dit à remplissage unique, tous les pixels occlus sont remplis par un unique mode de remplissage, c'est-à-dire que dans la moyenne pondérée, la pondération ne dépend que de la distance d2 entre les pixels p et q, sachant que, par sa définition, dl ne dépend que du pixel occlus p mais pas du pixel q. Dans l'exemple de mise en oeuvre dit du remplissage adaptatif, les pixels 25 occlus dans les quatre blocs au centre de l'image sont remplis en prenant un mode de remplissage directionnel, où la moyenne est prise uniquement sur les pixels de référence dans une direction donnée. Le remplissage adaptatif est donc un exemple de mélange de deux modes de remplissage pour une même bande d'occlusion. 30 Le changement des modes de remplissage d'un bloc à l'autre dans l'exemple peut se faire selon une liste d'indicateurs transmis par l'encodeur au décodeur, avec un indicateur indiquant le mode omnidirectionnel pour chaque bloc 8x8 qui ne se situe pas au centre de l'image et un indicateur indiquant le mode directionnel, avec ou sans précision sur la direction à suivre, pour chacun des quatre blocs 8x8 se situant au centre de l'image.
Les modes de remplissage parmi lesquels, lors de l'encodage, il est sélectionné un mode de remplissage, peuvent aussi être des modes connus, tels que le mode de remplissage par extension directe du champ de vecteurs de mouvement, ou extension inverse, ou sans prédiction. Ainsi, il est possible d'avoir déjà au moins cinq modes de remplissage qui peuvent être prédéterminés pour laisser le choix lors du décodage entre les possibles modes de remplissage ceci selon la liste d'indicateurs de mode de remplissage élaborée par l'encodeur. Plusieurs indicateurs peuvent être utilisés pour comparer quantitativement les efficacités des procédés et leur mode de remplissage des pixels qui ont été décrits ci-dessus. Le premier indicateur d est la moyenne quadratique de différence, pixel par pixel et couleur par couleur, entre l'image prédite et l'image réelle. Vient ensuite l'indicateur D qui est la moyenne quadratique, pixel par pixel et couleur par couleur, de la différence d'un pixel avec son voisin direct, horizontalement et verticalement, dans l'image résiduelle. Cet indicateur mesure mieux que le précédent la quantité d'informations contenue dans une image, donc sa corrélation avec la taille de l'image résiduelle compressée est plus étroite. De plus, il est possible d'avoir un indicateur a, qui est un indicateur de création d'artefacts. Il mesure l'excès de variations locales dans l'image résiduelle par rapport à l'image réelle. Cet indicateur mesure la tendance pour la compression de l'image résiduelle à créer des artefacts visibles dans l'image composée. Plus concrètement, pour une paire de pixels pl et p2 directement voisins, verticalement ou horizontalement, il existe une différence vl des contenus de 30 p1 et p2 dans l'image réelle, et une différence v2 des contenus de pl et p2 dans l'image résiduelle.
Il est défini : al= (v2-v1+2)/(v1+2) si v2>v1, et al =0 si v2<v1 a étant la moyenne quadratique des valeurs al pour toutes les paires de pixels directement avoisinantes. Le tableau suivant résume les valeurs de chaque indicateur pour les procédés et les variantes de mise en oeuvre de mode de remplissage décrits, en y ajoutant en tant qu'autre indicateur la taille d'une compression de l'image résiduelle par le standard jpeg, avec une qualité fixée à 80%.
Pour une telle compression avec ce standard, la taille de l'image est trop petite pour obtenir une compression significative. Donc l'image résiduelle est répétée 32 fois dans chaque direction, pour créer une image de 1024x1024 pixels. C'est cette dernière image qui est ensuite compressée en jpeg, dont la taille est divisée par 1024 pour obtenir la valeur affichée. L'outil de compression jpeg utilisé (Imagemagick® version 6.6.9) ne prend pas en compte la redondance de la répétition à 32 pixels, donc ces valeurs représentent bien la situation générale. La colonne « bruit » donne la différence introduite par la compression jpeg, en moyenne quadratique pixel par pixel et couleur par couleur qui est la racine carrée de l'erreur quadratique moyenne connue sous l'abréviation MSE pour « mean square error » en anglais, ce qui est l'une des mesures les plus courantes de différenciation entre deux images. N Méthode d D a JPEG 80% bruit - Image 2 78 37 - 422 7,8 d'origine 1 Vecteur par 34 33 (28) 4,15 228 10,8 bloc (2,59) (214) (6,3) 2 Vecteur direct 43 42 (24) 4,53 270 12,8 (2,3) (236) (5,3) 3 Vecteur 32 33 (20) 4,62 226 18,1 inversé (2,08) (191) (6,6) 4 Sans 28 18 1,67 189 5,3 prédiction remplissage 19 12 0,84 145 4,3 unique 6 remplissage 10 10 0,84 123 4,8 adaptatif 7 remplissage 8 9 0,45 111 4,4 successif Pour les procédés 1 à 3 de l'état de la technique, les valeurs entre parenthèses correspondent au cas où les débordements des valeurs de pixels dans l'image résiduelle sont supprimés en limitant les différences par ces limites des valeurs de luminance ou valeurs chromatiques de pixels. La vraie mesure d'efficacité 5 du procédé dépend du traitement des débordements et doit se situer entre la valeur devant les parenthèses et celle entre les parenthèses. L'avantage du procédé selon l'invention par rapport aux procédés de l'état de la technique avec n'importe lequel des trois exemples de mise en oeuvre de remplissage, ces exemples étant respectivement numérotés 5 à 7, est même plus important que la différence affichée selon le critère des fichiers jpeg. Les procédés selon l'invention avec leur exemple de mise en oeuvre de mode de remplissage donnent une valeur a de création d'artefacts nettement plus petite, ce qui autorise une compression à plus fort taux de l'image résiduelle, donc une réduction supplémentaire de la taille du fichier. Sans oublier que, par rapport au premier procédé dit 1 selon l'état de la technique, il y a aussi l'avantage de l'interpolation temporelle. En fait, pour augmenter le niveau de bruit de 4,4 obtenu avec le troisième exemple de mise en oeuvre dite à remplissage successif et numérotée 7 dans le tableau jusqu'à celui de 5,3 du procédé numéroté 4 de l'état de la technique, il faut réduire la qualité de la compression jpeg à 50% par le même logiciel de compression, ce qui produit une taille de fichier réduite à 55. Si l'effet d'une telle réduction de qualité de compression sur la qualité visuelle de l'image peut devenir discutable, une compression jpeg à 75% pour le troisième exemple de mode de remplissage numéroté 7, produisant un fichier de taille 91 pour un niveau de bruit à 4,8, donne une qualité visuelle clairement supérieure à celle des procédés 1 à 4 restant sur 80%.

Claims (10)

  1. REVENDICATIONS: 1. Procédé d'encodage et de décodage vidéo dans une séquence d'images, pour lequel procédé, à partir d'une image de référence (F1, F2) et d'un champ de vecteurs de mouvement (M1, M2), il est calculé, lors de l'encodage et du décodage, une image prédite (P2, P3) et une image résiduelle (R2, R3), les images résiduelles (R2, R3) ainsi que les champs de vecteurs de mouvement (M1 à M2) étant transmis au décodage pour l'obtention d'images d'affichage (A2, A3) après décodage, lequel procédé, lors de l'encodage, comprend l'étape de génération d'une liste d'indicateurs d'ordre d'occlusion, la liste d'indicateurs d'ordre d'occlusion étant transmise au décodage avec les champs de vecteurs de mouvement (M1, M2), l'image prédite (P2, P3) contenant des bandes d'occlusion formées par des pixels dont le champ de vecteur (M1, M2) ne fait pas correspondre une position valable dans l'image de référence (F1, F2), caractérisé en ce qu'une liste d'indicateurs de mode de remplissage de pixels des bandes d'occlusion de l'image prédite (P2, P3) est transmise de l'encodage au décodage, selon laquelle liste, lors du décodage, il est suivi un mode de remplissage préétabli pour remplir chaque pixel dans lesdites bandes d'occlusion de l'image prédite (P2, P3).
  2. 2. 2. Procédé selon la revendication 1, pour lequel la liste d'indicateurs de mode de remplissage est incluse dans la liste d'ordre d'occlusion ou la liste d'indicateurs de mode de remplissage est indépendante de la liste d'ordre d'occlusion et est transmise de l'encodage au décodage séparément de cette liste d'ordre.
  3. 3. Procédé selon l'une quelconque des revendications précédentes, pour lequel, il est défini deux zones de continuité du champ de vecteur de mouvement dans l'image de référence (F1, F2) comprenant une zone occluse et une zone occluante avec une courbe de discontinuité entre les deux zones, la zone occluante recouvrant au moins partiellement la zoneoccluse, avec dans l'image prédite (P2, P3) la bande d'occlusion créée par la discontinuité entre les deux zones s'intégrant dans la zone occluse, le mode de remplissage préétabli pour un pixel donné de la bande d'occlusion est la valeur de la moyenne d'une sélection de pixels appartenant à la zone occluse de l'image de référence (F1, F2), cette sélection de pixels étant faite pour des pixels de la zone occluse de l'image de référence (F1, F2) mis en correspondance avec les pixels de l'image prédite (P2, P3) les plus proches du pixel donné.
  4. 4. Procédé selon la revendication 3, pour lequel ladite moyenne est pondérée par une fonction de pondération dépendant du positionnement de chaque pixel dans ladite sélection de pixels de l'image de référence (F1, F2).
  5. 5. Procédé selon la revendication 4, pour lequel ladite fonction de pondération dépend aussi d'une fonction statistique des gradients des valeurs de luminance de pixels sur la sélection de pixels de l'image de référence (F1, F2), l'ensemble desdits gradients présentant une direction dominante, ladite fonction statistique donnant une pondération plus forte aux pixels dont le positionnement est proche de la direction perpendiculaire à la direction dominante des gradients.
  6. 6. Procédé selon l'une quelconque des revendications 4 à 5, pour lequel la sélection de pixels de l'image de référence (F1, F2) est affinée en ne prenant en compte que les pixels correspondants de l'image de référence (F1, F2) mis en correspondance avec les pixels de l'image prédite (P2, P3) les plus proches du pixel et se trouvant uniquement dans une direction comprise dans un intervalle angulaire défini par l'indicateur de mode de remplissage.
  7. 7. Procédé selon l'une quelconque des revendications 3 à 6, pour lequel les pixels d'une bande d'occlusion de l'image prédite (P2, P3) sont divisés en un multiple de groupes et un ordre de précédence est attribué à chacun de ces groupes, tel que, lors du décodage, le remplissage des valeurs des pixels de l'image prédite (P2, P3) se fait groupe par groupe selon leur ordre de précédence et les valeurs des pixels se trouvant dans un groupeantérieur, corrigées par le contenu de l'image résiduelle (R2, R3), sont utilisées comme valeurs de référence pour calculer les moyennes afin de déduire la valeur prédite d'un pixel dans un groupe postérieur.
  8. 8. Procédé selon la revendication 7, pour lequel, quand l'image résiduelle (R2, R3) est divisée en blocs lors de sa compression, la division en groupes des pixels d'une bande d'occlusion de l'image prédite (P2, P3) se fait en cohérence avec la division en blocs utilisée lors de la compression de l'image résiduelle (R2, R3).
  9. 9. Procédé selon l'une quelconque des revendications 3 à 8, dans lequel, lors du décodage, pour une courbe de discontinuité séparant une zone occluante et une zone occluse, les pixels de la courbe de discontinuité sont attribués à la zone occluante.
  10. 10.Système d'encodage et de décodage vidéo pour la mise en oeuvre d'un procédé selon l'une quelconque des revendications précédentes, lequel comprend : - des moyens d'encodage d'images vidéo comprenant des moyens de détection d'une discontinuité entre deux zones de continuité d'un champ de vecteurs de mouvement (M1, M2) sur l'image de référence (F1, F2) et des moyens de génération d'une liste d'indicateurs d'ordre d'occlusion et d'une liste d'indicateurs de mode de remplissage, - des moyens de décodage pour l'obtention de chaque image d'affichage (Al à A3), les moyens de décodage comprenant des moyens de traitement selon la liste d'indicateurs d'ordre d'occlusion et une liste d'indicateurs de mode de remplissage, ainsi que des moyens de mise en oeuvre sélective de ces modes de remplissage effectuant un remplissage de pixels des bandes d'occlusion des images prédites (P2, P3), - les moyens de décodage comprenant des moyens de mémorisation préalable de plusieurs modes prédéterminés de remplissage de pixels des bandes d'occlusion.30
FR1302422A 2013-10-18 2013-10-18 Procede d'encodage et de decodage d'une sequence d'images video avec des modes de remplissage predetermines pour les pixels de parties occluses dans les images Expired - Fee Related FR3012280B1 (fr)

Priority Applications (2)

Application Number Priority Date Filing Date Title
FR1302422A FR3012280B1 (fr) 2013-10-18 2013-10-18 Procede d'encodage et de decodage d'une sequence d'images video avec des modes de remplissage predetermines pour les pixels de parties occluses dans les images
PCT/FR2014/000224 WO2015055902A1 (fr) 2013-10-18 2014-10-16 Procédé d'encodage et de décodage d'une séquence d'images vidéo avec des modes de remplissage prédéterminés pour les pixels de parties occluses dans les images

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
FR1302422A FR3012280B1 (fr) 2013-10-18 2013-10-18 Procede d'encodage et de decodage d'une sequence d'images video avec des modes de remplissage predetermines pour les pixels de parties occluses dans les images

Publications (2)

Publication Number Publication Date
FR3012280A1 true FR3012280A1 (fr) 2015-04-24
FR3012280B1 FR3012280B1 (fr) 2016-12-30

Family

ID=50933184

Family Applications (1)

Application Number Title Priority Date Filing Date
FR1302422A Expired - Fee Related FR3012280B1 (fr) 2013-10-18 2013-10-18 Procede d'encodage et de decodage d'une sequence d'images video avec des modes de remplissage predetermines pour les pixels de parties occluses dans les images

Country Status (2)

Country Link
FR (1) FR3012280B1 (fr)
WO (1) WO2015055902A1 (fr)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100283892A1 (en) * 2009-05-06 2010-11-11 Samsung Electronics Co., Ltd. System and method for reducing visible halo in digital video with covering and uncovering detection
US20110129015A1 (en) * 2007-09-04 2011-06-02 The Regents Of The University Of California Hierarchical motion vector processing method, software and devices
US20110211111A1 (en) * 2010-03-01 2011-09-01 Kabushiki Kaisha Toshiba Interpolation frame generating apparatus and method
EP2602997A1 (fr) * 2011-12-07 2013-06-12 Thomson Licensing Procédé et appareil pour le traitement d'occlusions dans l'estimation du mouvement

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7103103B2 (en) 2000-04-17 2006-09-05 Pts Corporation Segmenting encoding system encoding video data using segment-by-segment kinetic data including change information in addition to translation information

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110129015A1 (en) * 2007-09-04 2011-06-02 The Regents Of The University Of California Hierarchical motion vector processing method, software and devices
US20100283892A1 (en) * 2009-05-06 2010-11-11 Samsung Electronics Co., Ltd. System and method for reducing visible halo in digital video with covering and uncovering detection
US20110211111A1 (en) * 2010-03-01 2011-09-01 Kabushiki Kaisha Toshiba Interpolation frame generating apparatus and method
EP2602997A1 (fr) * 2011-12-07 2013-06-12 Thomson Licensing Procédé et appareil pour le traitement d'occlusions dans l'estimation du mouvement

Also Published As

Publication number Publication date
WO2015055902A1 (fr) 2015-04-23
FR3012280B1 (fr) 2016-12-30

Similar Documents

Publication Publication Date Title
Battisti et al. Objective image quality assessment of 3D synthesized views
CN109462747B (zh) 基于生成对抗网络的dibr系统空洞填充方法
FR2932911A1 (fr) Procede et dispositif de remplissage des zones d&#39;occultation d&#39;une carte de profondeur ou de disparites estimee a partir d&#39;au moins deux images.
EP2304962B1 (fr) Procédé et dispositif de codage vidéo utilisant un nombre réduits de vecteurs de mouvement pour les blocs connectés
WO2001099052A1 (fr) Raffinement d&#39;un maillage triangulaire en trois dimensions
EP3878170B1 (fr) Synthèse de vues
CN112150400B (zh) 图像增强方法、装置和电子设备
FR3011368A1 (fr) Procede et dispositif pour le renforcement de la forme des bords pour l&#39;amelioration visuelle du rendu base sur des images de profondeur d&#39;un flux video en trois dimensions
TW202037169A (zh) 基於視訊的點雲壓縮的區塊分段的方法及裝置
CN113632134A (zh) 使用预组合去噪的高动态范围图像生成
FR2891686A1 (fr) Procede et dispositif de detection de transitions dans une sequence video, procede et dispositif de codage, produits programme d&#39;ordinateur et moyens de stockage correspondants.
EP1790169A1 (fr) Procede d&#39;estimation de mouvement a l&#39;aide de maillages deformables
FR3073999A1 (fr) Compression intelligente de contenus video graines
EP1413140B1 (fr) Procede d&#39;estimation de mouvement entre deux images avec gestion des retournements de mailles et procede de codage correspondant
EP1297710B1 (fr) Dispositif et procede de codage video avec filtrage recursif compense en mouvement
CN102026012A (zh) 平面视频立体化转换深度图生成方法和装置
EP0545475B1 (fr) Méthodes et dispositifs de synthèse de signaux de texture
Gunawan et al. A review on high dynamic range (HDR) image quality assessment
Karaduzovic-Hadziabdic et al. Expert evaluation of deghosting algorithms for multi-exposure high dynamic range imaging
FR3012280A1 (fr) Procede d&#39;encodage et de decodage d&#39;une sequence d&#39;images video avec des modes de remplissage predetermines pour les pixels de parties occluses dans les images
FR2933520A1 (fr) Procede et dispositif de restauration d&#39;une sequence video
FR2934453A1 (fr) Procede et dispositif de masquage d&#39;erreurs
EP3939304A1 (fr) Procédés et dispositifs de codage et de décodage d&#39;une séquence vidéo multi-vues
FR2910673A1 (fr) Procede de traitement d&#39;image et dispositif implementant ledit procede
CN118247624B (zh) 一种人工智能视频融合平台及方法

Legal Events

Date Code Title Description
PLFP Fee payment

Year of fee payment: 3

ST Notification of lapse

Effective date: 20170630