FR2873256A1 - Procede et dispositif de densification de champ de mouvement - Google Patents
Procede et dispositif de densification de champ de mouvement Download PDFInfo
- Publication number
- FR2873256A1 FR2873256A1 FR0407835A FR0407835A FR2873256A1 FR 2873256 A1 FR2873256 A1 FR 2873256A1 FR 0407835 A FR0407835 A FR 0407835A FR 0407835 A FR0407835 A FR 0407835A FR 2873256 A1 FR2873256 A1 FR 2873256A1
- Authority
- FR
- France
- Prior art keywords
- pixel
- image
- pixels
- sub
- source image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
- H04N19/615—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding using motion compensated temporal filtering [MCTF]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/553—Motion estimation dealing with occlusions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Processing (AREA)
Abstract
La présente invention concerne un procédé et un dispositif de densification de champ de mouvement entre une image de destination et une image source à partir d'un champ de mouvement entre l'image source et l'image de destination, dans lequel on détermine des connexions entre les pixels ou sous-pixels (X11, X111, X12, X121) de l'image source et les pixels ou sous-pixels (B, C', E, F) de l'image de destination, on détermine, pour chaque pixel ou sous-pixel de l'image de destination connecté à un pixel ou sous-pixel de l'image source, un espace d'association (Fen) du pixel ou du sous-pixel comprenant au moins un pixel ou sous-pixel de l'image de destination et on associe chaque pixel ou sous-pixel compris dans l'espace d'association (A, A', B, B', C, C') au pixel (X11) de l'image source connecté audit pixel ou sous-pixel pour former un champ de mouvement dense entre l'image de destination et l'image source.
Description
t
La présente invention concerne un procédé et un dispositif de densification de champ de mouvement entre une image source et une image de destination.
Plus précisément, la présente invention se situe dans le domaine du traitement d'images dans lequel des points d'une image de destination doivent être associés à des points d'une image source.
Certains algorithmes dans le domaine du codage d'une séquence d'images numériques proposent des solutions pour associer des points entre deux images.
Ces algorithmes utilisent le filtrage temporel compensé en mouvement par décomposition en ondelettes discrète. Ces algorithmes effectuent d'abord une transformée temporelle par ondelettes entre les images de la séquence d'images vidéo et décomposent ensuite spatialement les sous-bandes temporelles résultantes. Plus précisément, la séquence d'images vidéo est décomposée en deux groupes d'images, les images paires et les images impaires, un champ de mouvement est estimé entre chaque image paire et la ou les images impaires les plus proches utilisées lors de la transformation temporelle par ondelettes. Les images paires et impaires sont compensées en mouvement les unes par rapport aux autres de manière itérative afin d'obtenir des sous-bandes temporelles. L'itération de ce processus de création de groupe et de compensation en mouvement peut être effectuée afin de générer différents niveaux de transformation en ondelettes. Les images temporelles sont par la suite filtrées spatialement à l'aide de filtres d'analyse en ondelettes.
On aboutit, à l'issue de la décomposition, à un ensemble de sous-bandes spatio-temporelles. Le champ de mouvement et les sous-bandes spatiotemporelles sont enfin codés et transmis en couches correspondant aux niveaux de résolutions ciblés. Certains de ces algorithmes effectuent le filtrage temporel selon la technique présentée dans la publication de W. Sweldens, Siam J. Anal., Vol. 29, Nr2, pp 511-546, 1997 et connue sous le terme anglo-saxon de "Lifting".
Parmi ces algorithmes, il a été proposé dans la publication intitulée "3D subband video coding using Barbell Lifting; MSRA Asia; Contribution S05 au CFP MPEG-21 SVC", de mettre en correspondance les pixels des images paires avec des pixels des images impaires pour mettre à jour les pixels des images paires en réutilisant des poids de pondération des pixels des images impaires utilisés lors de la prédiction des images impaires à partir des images paires, afin d'effectuer une mise à jour pondérée utilisant ces poids de pondération. Un point P(x,y) d'une image paire contribuant avec un poids w à la prédiction d'un point Q'(x',y') d'une image impaire, sera mis à jour avec une contribution du point Q'(x',y') pondérée du poids w.
Cette solution n'est pas satisfaisante. En effet, plusieurs problèmes ne sont pas résolus par cet algorithme. Il existe dans les images paires des pixels qui ne sont pas mis en correspondance. Cette absence de mise en correspondance de pixels, appelés trous, rend la mise à jour du champ de mouvement non parfaitement inversible et provoque des artéfacts lors de la reconstruction de l'image au niveau du décodeur du client. De plus, pour certains pixels mis à jour par une pluralité de pixels d'une image paire, la mise à jour n'est pas normalisée. Cette absence de normalisation provoque aussi des artéfacts, tels que des pré et/ou post échos, lors de la reconstruction de l'image au niveau du décodeur du client. Enfin, lorsque les objets compris dans les images de la séquence d'images vidéo sont soumis à des mouvements tels que des retournements, la mise en correspondance telle que proposée dans cette publication n'est pas optimale.
Dans la demande de brevet WO 030859990 il est décrit un procédé permettant d'accélérer le calcul de vecteurs de mouvement vers l'arrière dans une séquence d'images vidéo dérivés d'un champ de mouvement disponible à partir de vecteurs de déplacement vers l'avant. Dans cette demande, des vecteurs mouvement d'un bloc sont remplacés par les vecteurs de mouvement de blocs voisins. Cette méthode, certes adaptée à des mouvements entre images tels que des zooms, n'est pas adaptée à traiter des mouvements de retournement.
L'invention a pour but de résoudre les inconvénients de l'art antérieur en proposant un procédé et un dispositif qui permettent la densification d'un champ de mouvement entre une image source et une image de destination qui soient particulièrement adaptés au traitement de mouvements de retournement tels qu'ils peuvent apparaître dans des zones d'occultation.
A cette fin, selon un premier aspect, l'invention propose un procédé de densification de champ de mouvement entre une image de destination et une image source à partir d'un champ de mouvement entre l'image source et l'image de destination, caractérisé en ce que le procédé comporte les étapes de: - détermination de connexions entre les pixels ou sous-pixels de l'image source et les pixels ou sous-pixels de l'image de destination, - détermination, pour chaque pixel ou sous-pixel de l'image de destination connecté à un pixel ou sous-pixel de l'image source, d'un espace d'association du pixel È ou du sous-pixel comprenant au moins un pixel et/ou sous-pixel de l'image de destination, - association de chaque pixel ou sous-pixel compris dans l'espace d'association au pixel ou sous-pixel de l'image source connecté audit pixel ou sous-pixel pour former un champ de mouvement dense entre l'image de destination et l'image source.
Corrélativement, l'invention concerne un dispositif de densification de champ de mouvement entre une image de destination et une image source à partir d'un champ de mouvement entre l'image source et l'image de destination, caractérisé en ce que le dispositif comporte: - des moyens de détermination de connexions entre les pixels ou sous- pixels de l'image source et les pixels ou sous-pixels de l'image de destination, - des moyens de détermination, pour chaque pixel ou sous-pixel de l'image de destination connecté à un pixel ou sous-pixel de l'image source, d'un espace d'association du pixel ou du sous-pixel comprenant au moins un pixel et/ou sous-pixel de l'image de destination, - des moyens d'association de chaque pixel ou sous-pixel compris dans l'espace d'association au pixel ou sous-pixel de l'image source connecté audit pixel ou sous-pixel pour former un champ de mouvement dense entre l'image de destination et l'image source.
Ainsi, tous les pixels ou sous-pixels de l'image de destination sont associés à un pixel ou sous-pixel de l'image source, le champ de mouvement est ainsi parfaitement inversible et ne provoque pas d'artéfacts lors de la reconstruction de l'image au niveau du décodeur du client. De plus, la densification de champ de mouvement entre une image de destination et une image source est particulièrement adaptée lorsque les objets compris dans les images de la séquence d'images vidéo sont soumis à des mouvements tels que des retournements dans des occultations.
Selon un autre aspect de l'invention, on détermine l'espace d'association en déterminant un espace de travail dans l'image de destination en fonction des pixels ou sous-pixels connectés aux pixels ou sous-pixels voisins du pixel ou sous-pixel de l'image source connecté au pixel ou sous-pixel auquel est associé l'espace de travail et en déterminant l'espace d'association dans l'espace de travail déterminé, à partir du pixel ou sous-pixel auquel est associé l'espace de travail et à partir des pixels ou sous-pixels connectés aux pixels ou sous-pixels voisins du pixel de l'image source connecté au pixel ou sous-pixel auquel est associé l'espace de travail.
Ainsi, il est possible de définir rapidement et de manière effiçace, les pixels ou sous-pixels de l'image de destination qui ne sont pas connectés au voisinage du pixel ou sous-pixel connecté.
Selon un autre aspect de l'invention, on détermine l'espace d'association en déterminant, parmi le pixel ou sous-pixel auquel est associé l'espace de travail et les pixels ou sous-pixels connectés aux pixels ou souspixels voisins du pixel ou sous-pixel de l'image source connecté au pixel ou sous-pixel auquel est associé l'espace de travail, les pixels ou souspixels délimitant l'espace de travail en fonction de leurs coordonnées dans l'image de destination et en déterminant l'espace d'association à partir des coordonnées du pixel ou sous-pixel auquel est associé l'espace de travail et des distances séparant le pixel ou sous-pixel auquel est associé l'espace de travail des pixels ou sous-pixels délimitant l'espace de travail.
Ainsi, la densification du champ de mouvement est effectuée rapidement tout en permettant une densification du champ de mouvement de bonne qualité pour le codage 15 et/ou le décodage de la séquence d'images vidéo.
Selon un autre aspect de l'invention, les distances séparant le pixel ou sous-pixel auquel est associé l'espace de travail des pixels ou souspixels délimitant l'espace de travail sont pondérées par un coefficient de l'ordre d'un demi.
Ainsi, il est possible de contrôler le taux de densification et/ou le taux de recouvrement des espaces d'association et ainsi de réduire les phénomènes de flou lors du décodage de la séquence d'images vidéo. La valeur du coefficient de un demi permet d'obtenir le meilleur compromis entre une densification complète du champ de mouvement et un recouvrement minimal des espaces d'association.
L'invention concerne aussi un dispositif de filtrage temporel compensé en mouvement d'un codeur de séquence d'images vidéo caractérisé en ce qu'il comporte le dispositif de densification de champ de mouvement selon la présente invention.
L'invention concerne aussi un dispositif de filtrage temporel inverse compensé en mouvement d'un décodeur de séquence d'images vidéo caractérisé en ce qu'il comporte le dispositif de densification de champ de mouvement selon la présente invention.
L'invention concerne aussi un signal comprenant une séquence d'images vidéo codée par filtrage temporel compensé en mouvement par décomposition en ondelettes discrète, le signal comprenant des images de haute et basse fréquences, les images de basse fréquence sont obtenues en densifiant le champ de mouvement entre une image source d'un groupe d'images source et une image de destination du groupe d'images destination à partir d'un champ de mouvement entre l'image de destination et l'image source, et dans lequel la densification est effectuée en déterminant des connexions entre les pixels ou sous-pixels de l'image source et les pixels ou sous- pixels de l'image de destination, en déterminant, pour chaque pixel ou sous-pixel de l'image de destination connecté à un pixel ou sous-pixel de l'image source, un espace d'association du pixel ou du sous-pixel comprenant au moins un pixel et/ou sous-pixel de l'image de destination et en associant à chaque pixel ou sous-pixel compris dans l'espace d'association le pixel ou sous-pixel de l'image source connecté audit pixel ou sous-pixel pour former un champ de mouvement dense entre l'image de destination et l'image source.
L'invention concerne aussi un procédé de transmission d'un signal comprenant une séquence d'images vidéo codée par filtrage temporel compensé en mouvement par décomposition en ondelettes discrète, le signal comprenant des images de haute et basse fréquences, les images de basse fréquence sont obtenues en densifiant le champ de mouvement entre une image source d'un groupe d'images source et une image de destination d'un groupe d'images destination à partir d'un champ de mouvement entre l'image de destination et l'image source, et dans lequel la densification est effectuée en déterminant des connexions entre les pixels ou sous- pixels de l'image source et les pixels ou sous-pixels de l'image de destination, en déterminant, pour chaque pixel ou sous-pixel de l'image de destination connecté à un pixel ou sous-pixel de l'image source, un espace d'association du pixel ou du sous-pixel comprenant au moins un pixel et/ou sous-pixel de l'image de destination et en associant à chaque pixel ou sous-pixel compris dans l'espace d'association le pixel ou sous- pixel de l'image source connecté audit pixel ou sous-pixel pour former un champ de mouvement dense entre l'image de destination et l'image source.
L'invention concerne aussi un procédé de stockage d'un signal comprenant une séquence d'images vidéo codée par filtrage temporel compensé en mouvement par décomposition en ondelettes discrète, le signal comprenant des images de haute et basse fréquences, les images de basse fréquence sont obtenues en densifiant le champ de mouvement entre une image source d'un groupe d'images source et une image de destination d'un groupe d'images destination à partir d'un champ de mouvement entre l'image de destination et l'image source, et dans lequel la densification est effectuée en déterminant des connexions entre les pixels ou sous-pixels de l'image source et les pixels ou sous-pixels de l'image de destination, en déterminant, pour chaque pixel ou sous-pixel de l'image de destination connecté à un pixel ou sous-pixel de l'image source, r un espace d'association du pixel ou du sous-pixel comprenant au moins un pixel et/ou sous-pixel de l'image de destination et en associant à chaque pixel ou sous-pixel compris dans l'espace d'association le pixel ou sous-pixel de l'image source connecté audit pixel ou sous-pixel pour former un champ de mouvement dense entre l'image de destination et l'image source.
Les avantages du procédé de codage, du procédé de décodage, du dispositif de codage, du dispositif de décodage, du signal comprenant la séquence d'images vidéo transmis ou stocké sur un moyen de stockage, ceux-xi sont identiques aux avantages du procédé et du dispositif de densification de champ de mouvement. Ils ne seront pas rappelés.
L'invention concerne aussi le programme d'ordinateur stocké sur un support d'informations, ledit programme comportant des instructions permettant de mettre en oeuvre le procédé précédemment décrit, lorsqu'il est chargé et exécuté par un système informatique.
Les caractéristiques de l'invention mentionnées ci-dessus, ainsi que d'autres, apparaîtront plus clairement à la lecture de la description suivante d'un exemple de réalisation, ladite description étant faite en relation avec les dessins joints, parmi lesquels: la Fig. 1 représente un schéma bloc d'un codeur vidéo à filtrage temporel compensé en mouvement utilisant la mise en correspondance selon l'invention; la Fig. 2 représente un schéma bloc du module de filtrage temporel compensé en mouvement du codeur vidéo de la Fig. 1 utilisant la mise en correspondance selon l'invention lorsque des filtres de Haar sont utilisés dans la décomposition en ondelettes; la Fig. 3 représente un schéma bloc d'un dispositif informatique et/ou de télécommunication apte à exécuter l'algorithme de mise en correspondance selon l'invention; la Fig. 4 représente l'algorithme de mise en correspondance selon l'invention exécuté par un processeur d'un dispositif informatique et/ou de télécommunication; la Fig. 5 représente un exemple simplifié de mise en correspondance de pixels et de sous-pixels d'un segment de destination avec des pixels ou sous-pixels d'un segment source; la Fig. 6 représente un exemple simplifié de mise en correspondance des autres pixels et de sous-pixels du segment de destination de la Fig. 5 avec des pixels ou sous-pixels du segment source; la Fig. 7 représente un exemple de mise en correspondance de pixels et de sous-pixels d'une image de destination avec des pixels ou sous-pixels d'une image source; la Fig. 8 représente un schéma bloc d'un décodeur vidéo à filtrage temporel compensé en mouvement utilisant la mise en correspondance selon l'invention; la Fig. 9 représente un schéma bloc du module de filtrage temporel inverse compensé en mouvement d'un décodeur vidéo de la Fig. 8 utilisant la mise en correspondance selon l'invention lorsque des filtres de Haar sont utilisés dans la décomposition en ondelettes.
1 o La Fig. 1 représente un schéma bloc d'un codeur vidéo à filtrage temporel compensé en mouvement utilisant la mise en correspondance selon l'invention.
Le codeur vidéo à filtrage temporel compensé en mouvement 10 est apte à coder une séquence d'images vidéo 15 en un flux de données échelonnables 18. Un flux de données échelonnables est un flux dans lequel les données sont agencées de telle manière qu'il est possible de transmettre une représentation, en résolution et/ou en qualité de l'image, variable selon le type d'application recevant les données. Les données comprises dans ce flux de données échelonnables sont codées de manière à assurer la transmission de séquences d'images vidéo de manière échelonnée ou "scalable" en terminologie anglo-saxonne tant en qualité qu'en résolution et cela sans avoir à effectuer différents codages de la séquence d'images vidéo. Il est ainsi possible de ne stocker sur un moyen de stockage et/ou de ne transmettre qu'une partie du flux de données échelonnables 18 vers un terminal de télécommunication lorsque le débit du réseau de télécommunication est faible et/ou lorsque le terminal de télécommunication n'a pas besoin d'une qualité et/ou d'une résolution importante. Il est aussi possible de mémoriser sur un moyen de stockage et/ou de transmettre la totalité du flux de données échelonnables 18 vers un terminal de télécommunication lorsque le débit du réseau de télécommunication est important et lorsque le terminal de télécommunication requiert une qualité et/ou une résolution importante et cela à partir du même flux de données échelonnables 18.
Le codeur vidéo à filtrage temporel compensé en mouvement 10 comprend un module de filtrage temporel compensé en mouvement 100. Le module de filtrage temporel compensé en mouvement 100 transforme un groupe de N images en deux groupes d'images, par exemple un groupe de (N+1)/2 images de basse fréquence et un groupe de N/2 images de haute fréquence et transforme ces images à partir d'une estimation de mouvement effectuée par un module d'estimation de mouvement 11 du codeur vidéo à filtrage temporel compensé en mouvement 10. Le module d'estimation de mouvement 11 effectue une estimation de mouvement entre chaque image paire notée x2[m, n] et l'image impaire précédente notée xi[m,n], voire éventuellement de l'image impaire de la paire suivante, de la séquence d'images. Le module de filtrage temporel compensé en mouvement 100 compense en mouvement l'image paire x2[m,n] afin que le filtrage temporel soit le plus efficace possible. En effet, plus la différence entre une prédiction d'une image et l'image est faible, plus elle pourra être compressée de manière efficace, c'est-à-dire avec un bon compromis débit/distorsion, ou de manière l0 équivalente, un bon rapport taux de compression sur qualité de reconstruction.
Le module d'estimation de mouvement 11 calcule, pour chaque couple d'images paire et impaire, un champ de mouvement, par exemple et de manière non limitative, par une mise en correspondance de blocs d'une image impaire vers une image paire. Cette technique est connue sous le terme anglo-saxon de "block matching". Bien entendu, d'autres techniques peuvent être utilisées telles que par exemple la technique d'estimation de mouvement par maillage. Ainsi, une mise en correspondance de certains pixels de l'image source paire est effectuée avec des pixels de l'image impaire. Dans le cas particulier d'une estimation par blocs, la valeur du mouvement du bloc peut être affectée à chaque pixel et à chaque souspixel du bloc de l'image impaire. En variante, le vecteur mouvement pondéré du bloc ainsi que les vecteurs mouvement pondérés des blocs voisins sont affectés à chaque pixel du bloc selon la technique connue sous la dénomination OBMC (Overlapped Block Motion Compensation).
Le module de filtrage temporel compensé en mouvement 100 effectue une décomposition en ondelettes discrète des images compensées pour décomposer la séquence d'images vidéo en plusieurs sous-bandes de fréquence, réparties sur un ou plusieurs niveaux de résolution. La décomposition en ondelettes discrète est appliquée récursivement sur les sous-bandes de fréquence basse des sous-bandes temporelles tant que le niveau de décomposition souhaité n'est pas atteint. Le module de décision 12 du codeur vidéo à filtrage temporel compensé en mouvement 10 détermine si le niveau de décomposition souhaité est atteint ou pas.
Les différentes sous-bandes de fréquence obtenues par le module de filtrage temporel compensé en mouvement 100 sont transférées au module de génération d'un flux échelonnable 13. Le module d'estimation de mouvement 11 transfère les estimations de mouvement au module de génération d'un flux échelonnable 13 qui compose un flux de données échelonnables 18 à partir des différentes sous-bandes de fréquence et des estimations de mouvement.
La Fig. 2 représente un schéma bloc du module de filtrage temporel compensé en mouvement du codeur vidéo de la Fig. 1 utilisant la mise en correspondance selon l'invention lorsque des filtres de Haar sont utilisés dans la décomposition en ondelettes.
Le module de filtrage temporel compensé en mouvement 100 effectue un filtrage temporel selon la technique connue sous le terme de "lifting". Cette technique permet d'effectuer un filtrage simple, flexible et parfaitement réversible équivalent à un filtrage ondelettes.
L'image paire source x2[m,n] est sur-échantillonnée par le module de suréchantillonnage 110 en effectuant par exemple une synthèse de transformée en ondelettes discrète ou SDWT ou par interpolation bilinéaire, bicubique ou par sinus cardinal. Ainsi l'image notée x2[m,n] est transformée par le module de sur-échantillonnage 110 en une image x'2[m', n'] ayant par exemple une résolution du quart de pixel.
L'image source est, pour la partie du module de filtrage temporel compensé en mouvement 100 constituée des modules 110 à 114, l'image paire x2[m,n].
Le module de filtrage temporel compensé en mouvement 100 comporte aussi un module de connexion des mouvements initiaux 121. Le module de connexion des mouvements initiaux 121 forme une image x'i[m",n"] comprenant au moins quatre fois plus de pixels que l'image x i [m,n]. L'image x' l [m",n"] est formée par interpolation de xi [m,n] ou par toute autre méthode et il est associé, à chaque pixel ou sous-pixel de l'image x'i[m",n"], par exemple le vecteur mouvement du bloc estimé par le module d'estimation de mouvement 11 comprenant ces pixels. L'image de destination est, pour la partie du module de filtrage temporel compensé en mouvement 100, constituée des modules 110 à 114, l'image impaire xi[m, n].
Nous entendons ici par pixel de l'image x'2[m',n'] un pixel de l'image x'2[m',n'] qui a la même position q'un pixel de l'image x2[m,n]. Nous entendons ici par sous-pixel de l'image x'2[m',n'], un pixel de l'image x'2[m',n'] qui a été créé par un synthèse DWT et/ou une interpolation. Nous entendons ici par pixel de l'image x'i[m",n"] un pixel de l'image x'i[m",n"] qui a la même postion qu'un pixel de l'image xi [m,n]. Nous entendons ici par sous-pixel de l'image x'i[m",n"], un pixel de l'image xi [m",n"] qui a été créé par un synthèse DWT et/ou une interpolation.
Le module de filtrage temporel compensé en mouvement 100 comporte un module de densification de champ de mouvement 112. Le module de densification de champ de mouvement 111 associe à chacun des pixels et sous-pixels de l'image de destination x'1[m",n"] au moins un pixel de l'image source x'2[m',n'] à partir des connexions établies par le module de connexion des mouvements initiaux 121.
Lorsque toutes les associations ont été effectuées, le module d'accumulation 112 créé une image d'accumulation Xa'[m",n"]. La valeur de chacun des pixels et sous-pixels de l'image d'accumulation Xa'[m",n"] est égale a la somme des valeurs des pixels et sous-pixels de l'image source x'2[m',n'] associés au pixel ou sous-pixel correspondant 1 o dans l'image de destination x' i [m",n"], cette somme étant divisée par le nombre de pixels et sous-pixels de l'image source x'2[m',n'] associés au pixel ou sous-pixel correspondant dans l'image x'1[m",n"]. Cette division permet d'éviter que des artéfacts, tels que des effets de pré et/ou post échos, apparaissent lors du décodage de la séquence d'images.
Dans une variante de réalisation de l'invention, un poids noté Wconnex est attribué à chacune des associations. La valeur de mise à jour pour chaque pixel ou sous-pixel de l'image Xa'[m',n'] sera calculée selon la formule: Maj =( E Wconnex * Valsrc)/ Wconnex associations Dans laquelle Maj est la valeur d'un pixel ou sous-pixel de l'image X'a[m",n"], et Valsrc est la valeur du pixel de l'image source x2'[m',n'] associé au pixel ou sous-pixel de l'image de destination x'1 [m",n"].
L'image Xa'[m",n"] est ensuite filtrée et sous-échantillonnée par le module de sous-échantillonnage 113 de manière à ce que celle-ci ait la même résolution que l'image x1 [m,n]. L'image Xa'[m",n"] souséchantillonnée est ensuite soustraite à l'image x1[m,n] par le soustracteur 114 pour former une image notée H[m,n] comprenant des composantes de haute fréquence. L'image H[m,n] est ensuite transférée au module de génération de flux de données échelonnables 13 et au module de synthèse 130.
L'image source est, pour la partie du module de filtrage temporel compensé en mouvement 100 constituée des modules 130 à 134, l'image H[m,n] .
L'image source H[m,n] est sur-échantillonnée par le module de synthèse 130 en effectuant par exemple une synthèse SDWT pour générer une image H'[m',n']. Le module de synthèse 130 est identique au module de synthèse 110, il ne sera pas plus décrit.
Le module de filtrage temporel compensé en mouvement 100 comporte aussi un module de densification de champ de mouvement 131.
Le module de densification de champ de mouvement 131, inverse les connexions initiales entre xl'[m",n"] et x2'[m",n"] générées par le module de connexions des mouvements initiaux pour les appliquer entre l'image source H'[m',n'] et l'image de destination x2[m,n]. L'image de destination est, pour la partie du module de filtrage temporel compensé en mouvement 100 constituée des modules 130 à 134, l'image x2[m,n] ou l'image x2'[m",n"].
Le module de densification de champ de mouvement 131 associe à chacun des pixels et sous-pixels de l'image destination x'2[m",n"] au moins un pixel ou sous-pixel de l'image source H'[m',n'] à partir des connexions établies par le module de connexion des mouvements initiaux 121. Cette association sera décrite plus en détail en référence à la Fig. 4.
Lorsque toutes les associations ont été effectuées, le module d'accumulation 133 créé une image d'accumulation Xb'[m",n"]. L'image d'accumulation Xb'[m", n"] est de la même taille que l'image de destination x2'[m",n"] et la valeur de chacun de ses pixels et sous-pixels est égale a la somme des valeurs des pixels et sous-pixels de l'image source H'[m',n'] associés au pixel ou sous-pixel correspondant dans l'image x'2[m',n"], cette somme étant divisée par le nombre de pixels et sous-pixels associés au pixel ou sous- pixel correspondant dans l'image source H'[m,n']. Cette division permet d'éviter que des artéfacts, tels que des effets de pré et/ou post échos, apparaissent lors du décodage de la séquence d'images.
L'image Xb'[m",n"] est ensuite filtrée et sous-échantillonnée par le module de sous-échantillonnage 133 de manière à ce que celle-ci ait la même résolution que l'image x2[m,n]. L'image Xb'[m",n"] souséchantillonnée est ensuite additionnée pour moitié à l'image x2[m,n] par l'additionneur 134 pour former une image notée L[m,n] comprenant descomposantes de basse fréquence. L'image L[m,n] est ensuite transférée au module de décision 12.
L'image L[m,n] est ensuite transférée du module de décision 12 du codeur vidéo à filtrage temporel compensé en mouvement 10 vers le module de génération de flux de données échelonnables 13 lorsque le niveau de résolution souhaité est obtenu ou est retraitée par le module de filtrage temporel compensé en mouvement 100 pour une nouvelle décomposition. Lorsqu'une nouvelle décomposition doit être effectuée, l'image L[m,n] est traitée par le module de filtrage temporel compensé en mouvement 100 de la même manière que celle précédemment décrite.
Ainsi, le module de filtrage temporel compensé en mouvement 100 forme, par exemple lorsque des filtres de Haar sont utilisés, des images de haute et basse 5 fréquences de la forme: H[m,n] = xl[m, n] (W2_> 1 x2[m, n] L[m,n] =(x2[m,n] +1/2 (WI_>2 H[m,nJ) Où W 1 dénote la compensation de mouvement de l'image i sur l'image j.
La Fig. 3 représente un schéma bloc d'un dispositif informatique et/ou de 10 télécommunication apte à exécuter l'algorithme de mise en correspondance selon l'invention.
Ce dispositif informatique et/ou de télécommunication 30 est adapté à effectuer à partir d'un logiciel, un filtrage temporel compensé en mouvement sur une séquence d'images. Le dispositif 30 est aussi apte à exécuter l'algorithme de mise en correspondance selon l'invention.
Le dispositif 30 est par exemple un micro-ordinateur. Il peut être aussi intégré dans un moyen de visualisation de séquences d'images vidéo tel qu'un téléviseur ou tout autre dispositif de génération d'ensemble d'informations à destination de terminaux récepteurs tels que des téléviseurs, des téléphones mobiles...
Le dispositif 30 comporte un bus de communication 301 auquel sont reliés une unité centrale 300, une mémoire morte 302, une mémoire vive 303, un écran 304, un clavier 305, un disque dur 308, un lecteur/enregistreur de disque vidéo numérique ou DVD 309, une interface de communication 306 avec un réseau de télécommunication.
Le disque dur 308 mémorise le programme mettant en oeuvre l'invention, ainsi que les données permettant le codage et/ou le décodage selon l'invention.
De manière plus générale, les programmes selon la présente invention sont mémorisés dans un moyen de stockage. Ce moyen de stockage est lisible par un ordinateur ou un microprocesseur 300. Ce moyen de stockage est intégré ou non au dispositif, et peut être amovible.
Lors de la mise sous tension du dispositif 30, les programmes selon la présente invention sont transférés dans la mémoire vive 303 qui contient alors le code exécutable de l'invention ainsi que les données nécessaires à la mise en oeuvre de l'invention.
La Fig. 4 représente l'algorithme de mise en correspondance selon l'invention exécuté par un processeur d'un dispositif informatique et/ou de télécommunication.
Les Figs. 5 et 6 seront décrites en parallèle de la présente description de l'algorithme de la Fig. 4. Afin de simplifier la présentation, le présent algorithme est décrit dans le cadre d'une mise en correspondance de pixels et de sous-pixels d'un segment de destination avec des pixels ou sous-pixels d'un segment source. Bien entendu, le présent algorithme est aussi applicable à la mise en correspondance de pixels et de sous- pixels d'une image de destination avec des pixels ou sous-pixels d'une image source.
A l'étape E400, les images source et destination sont obtenues. Ces images sont dans le cadre d'une mise en correspondance, obtenues par le module de filtrage temporel compensé en mouvement 100 du codeur vidéo de la Fig. 1, l'image source H'[m',n'] et l'image de destination x'2[m",n"].
A l'étape suivante E401, le champ de mouvement entre les images source et de destination est obtenu et une projection de celui-ci est effectuée à l'étape E402 entre l'image source et l'image de destination. Cette projection est symbolisée par les flèches entre l'image source et l'image de destination des Figs. 5 et 6.
L'étape E403 constitue le début de la densification du champ de mouvement effectuée par exemple par le module de densification 131 de la Fig. 2.
A cette étape, les pixels ou sous-pixels de l'image de destination, sur lesquels les pixels ou sous-pixels de l'image source sont projetés par application des vecteurs de champ de mouvement symbolisés par les flèches des Figs. 5 et 6, sont connectés aux pixels ou sous-pixels de l'image source. Ainsi, selon l'exemple des Figs. 5 et 6, les pixels ou souspixels B, C', E, F de l'image de destination sont connectés respectivement aux pixels ou sous-pixels X11, X12, X111 et X121 de l'image source. Il est à remarquer que les connexions des pixels ou sous- pixels C' et E sont croisées. Ceci est dû à un mouvement de retournement dans cette partie de l'image. Les pixels ou sous-pixels B" et F" de l'image de destination sont connectés respectivement aux pixels ou sous- pixels X11 et X121 de l'image source en effectuant une symétrie de bord classique.
Les pixels A, B, C, D, E F et G des Figs. 5 et 6 sont des pixels de l'image de destination. Les pixels A', B', C', D', E' et F' sont des souspixels de l'image de destination.
A l'étape E404, l'itération sur les pixels et/ou sur les sous pixels de l'image source est initialisée et le premier pixel ou sous-pixel de l'image source est considéré, ce pixel ou sous-pixel noté Ps est le pixel X11 de l'image source de la Fig. 5.
A l'étape suivante E405, le pixel ou sous-pixel de l'image de destination noté Pd connecté au pixel ou sous-pixel Ps est déterminé. Le pixel ou sous-pixel Pd est dans la Fig. 5, le pixel B. A l'étape suivante E406, les pixels ou sous-pixels voisins Pst et Ps2 du pixel ou sous-pixel Ps sont déterminés. Selon notre exemple, le pixel ou sous-pixel Ps, situé en bordure du segment, ne dispose que d'un seul voisin, c'est le pixel Ps2 X111. Dans ce cas, le pixel voisin Ps l est le pixel Ps.
A l'étape suivante E407, les pixels ou sous-pixels de l'image de destination connectés aux pixels Ps 1 et Ps2 sont déterminés. Ce sont le pixel E et le sous-pixel B" 1 o obtenus par symétrie de la projection du vecteur connectant X 11 à un pixel ou sous- pixel de l'image de destination. Ces pixels ou sous-pixels sont notés Pdl et Pd2.
A l'étape E408, il est déterminé un pixel ou sous-pixel bas noté Pbas et un sous-pixel ou sous-pixel haut noté Phaut parmi l'ensemble constitué des pixels Pdl, Pd et Pd2. Selon la Fig. 5, le pixel Phaut est le sous- pixel B" et le pixel Pbas est le pixel E. La partie de l'image comprise entre le pixel ou sous pixel Phaut et le pixel ou sous-pixel Pbas est alors considérée comme un espace de travail.
A l'étape E409, les distances en nombre de pixels ou sous-pixels séparant le pixel ou sous-pixel Pd et respectivement le pixel ou sous-pixel Pbas et Phaut sont déterminées. La distance séparant Phaut et Pd est notée Dhaut, la distance séparant Pbas et Pd est notée Dbas.
A l'étape suivante E410, est définie la frontière basse d'un espace d'association à partir de l'espace de travail déterminé à l'étape E408. La frontière basse notée Fcb est égale à la position du pixel ou souspixel Pd minorée de la distance Dbas pondérée par un coefficient k.
A l'étape suivante E411, est définie la frontière haute de l'espace d'association. La frontière haute notée Fch est égale à la position du pixel ou sous-pixel Pd à laquelle est ajoutée la distance Dhaut pondérée par un coefficient k.
Le coefficient k est, selon un mode préféré de réalisation, égal à la constante V2. Dans une variante de réalisation, le coefficient k est égal à une autre constante positive.
Lors de l'étape E412, l'espace d'association noté Fen en Fig. 5, délimité par les frontières Fcb et Fch, est déterminé.
A l'étape suivante E413, les pixels et sous-pixels de l'image de destination compris dans l'espace d'association Fen sont déterminés. Selon l'exemple de la Fig. 5, les pixels et sous-pixels A, A', B, B', C et C' sont compris dans l'espace d'association Fen.
A l'étape suivante E414, il est associé à chaque pixel et sous-pixel compris dans l'espace d'association le pixel ou sous-pixel de l'image source connecté au pixel ou sous- pixel Pd. Ainsi, selon l'exemple de la Fig. 5, les pixels ou sous-pixels A, A', B, B', C et C' sont associés au pixel ou sous-pixel X11.
L'association effectuée, il est vérifié à l'étape E415 si tous les pixels et/ou sous-pixels de l'image source ont été traités. Dans l'affirmative, le présent algorithme s'arrête. Dans la négative, l'algorithme passe à l'étape suivante E416 qui consiste à prendre le pixel ou sous-pixel suivant de l'image source. Selon l'exemple de la Fig. 5, le pixel ou souspixel suivant est le pixel ou sous-pixel noté X111.
La boucle constituée des étapes E405 à E415 est réitérée tant que tous les pixels ou sous-pixels de l'image source n'ont pas été traités.
Ainsi, comme cela est montré en Fig. 6, le pixel ou sous-pixel Pd connecté à X111 est le pixel E, les pixels ou sous-pixels voisins de X111 sont X11 et X12 respectivement connectés à B et C'. Le pixel Pbas déterminé est le pixel Pd2E et le pixel ou sous-pixel Phaut est le sous- pixel Pd1E, la distance Dbas est nulle car E est à la fois le pixel connecté à X111 et le pixel Pbas, la distance Dhaut est égale à six sous- pixels. Ainsi l'espace d'association FenE, dans le cas ou k est égal à '/2, est compris entre le pixel E et trois sous-pixels au-dessus de E. Les pixels et sous-pixels C', D, D' et E sont alors associés au sous- pixel X111.
Concernant le pixel X12, le pixel Pd connecté à X12 est le sous-pixel C', les pixels ou sous-pixels voisins de X12 sont X111 et X121 respectivement connectés à E et F. Le pixel Pbas déterminé est le pixel Pd2C' et le pixel Phaut est le sous-pixel Pd1C', la distance Dhaut est nulle car C' est à la fois le sous-pixel connecté à X12 et le sous-pixel Phaut, la distance Dbas est égale à cinq sous-pixels. Ainsi l'espace d'association FenC', dans le cas ou k est égal à Y2, est compris entre le sous-pixel C' et deux et demi sous-pixels au-dessous de C'. Les pixels et sous-pixels C', D et D' sont alors associés au pixel X12.
Concernant le pixel ou sous-pixel X121, dernier pixel ou sous-pixel de l'image source, le pixel Pd connecté à X121 est le pixel F, le pixel ou sous-pixel voisin de X121 est X12 connecté à c', le pixel F" étant obtenu par symétrie du vecteur mouvement connectant X121 à F. Le pixel Pbas déterminé est le pixel Pd2E et le pixel Phaut est le pixel ou sous-pixel Pd1F, la distance Dhaut est égale à cinq sous-pixels et la distance Dbas est égale à quatre sous-pixels. Ainsi l'espace d'association FenF, dans le cas ou k est égal à '/2, est compris entre le pixel G et deux et demi sous-pixels au-dessus de F. Les pixels et sous-pixels E, E', F, F' et G sont alors associés au pixel ou sous-pixel X121 Ainsi, tous les pixels et sous-pixels de l'image de destination sont associés à au moins un pixel ou sous-pixel de l'image source. Le champ de mouvement est ainsi rendu parfaitement inversible et cela en prenant en compte d'éventuels retournements de partie d'images.
La Fig. 7 représente un exemple de mise en correspondance de pixels et de sous-10 pixels d'une image de destination avec des pixels d'une image source.
La Fig. 7 représente une application de l'algorithme de la Fig. 4 dans un cas bidimensionnel. Le pixel xs de l'image source est connecté à un pixel xd de l'image de destination et des pixels ou sous-pixels voisins xsl, xs2, xs3, xs4, xs5, xs6, xs7 et xs8 et qui sont connectés à des pixels ou sous-pixels xdl, xd2, xd3, xd4, xd5, xd6 xd7 et xd8. Il est déterminé un espace de travail qui comprend des points voisins en prenant les maximums et les minimums des abscisses et ordonnées des pixels ou sous-pixels connectés aux voisins. Il est aussi déterminé un espace d'association de manière homothétique comme cela a précédemment été décrit en Fig. 4, le point central xs étant le centre de l'homothétie. Enfin, de la même manière que celle décrite en référence à la Fig. 4, tous les pixels ou sous-pixels compris dans l'espace d'association sont associés au pixel source xs.
La présente invention est présentée dans le cadre d'une utilisation de filtres de Haar. D'autres filtres, tels que les filtres connus sous la dénomination de filtres 5/3 ou de filtres 9/7, sont aussi utilisés dans la présente invention. Ces filtres utilisent un nombre plus important d'images source pour prédire une image de destination.
Classiquement, les modules 110 à 114 du module de filtrage temporel compensé en mouvement du codeur vidéo sont des modules pour la prédiction d'une image de destination, tandis que les modules 130 à 134 du module de filtrage temporel compensé en mouvement du codeur vidéo sont des modules pour la mise à jour d'une image de destination.
Les dispositifs de codage tels que décrits dans la présente invention forment pour chaque couple constitué d'une image source et de l'image de destination une image d'accumulation conformément à ce qui a été présenté précédemment. Chacune de ces images d'accumulation est prise en compte pour la prédiction et/ou la mise à jour de l'image de destination.
L'image d'accumulation ainsi formée est ensuite additionnée ou soustraite à l'image de destination après pondération éventuelle liée aux coefficients de filtrage du 5 lifting.
La Fig. 8 représente un schéma bloc d'un décodeur vidéo à filtrage temporel compensé en mouvement utilisant la mise en correspondance selon l'invention.
Le décodeur vidéo à filtrage temporel compensé en mouvement 60 est apte à décoder un flux de données échelonnables 18 en une séquence d'images vidéo 65, les données comprises dans ce flux de données échelonnables ayant été codées par un codeur tel que décrit en Fig. 1.
Le décodeur vidéo à filtrage temporel compensé en mouvement 60 comprend un module d'analyse 68 du flux de données 18. Le module d'analyse 68 analyse le flux de données 18 et en extrait chaque image haute fréquence de chaque niveau de décomposition ainsi que l'image comprenant les composantes de basse fréquence du plus bas niveau de décomposition. Le module d'analyse 68 transfère les images comprenant les composantes de haute fréquence 66 et de basse fréquence 67 au module de filtrage temporel compensé en mouvement inverse 600. Le module d'analyse 68 extrait aussi du flux de données 18 les différentes estimations des champs de mouvement effectuées par le codeur 10 de la Fig. 1 et les transfère au module de mémorisation des champs de mouvement 61.
Le module de filtrage temporel compensé en mouvement inverse 600 transforme de manière itérative l'image de haute fréquence et l'image de basse fréquence pour former une image paire et une image impaire correspondantes à l'image de basse fréquence de niveau de décomposition supérieur. Le module de filtrage temporel compensé en mouvement inverse 600 forme une séquence d'images vidéo à partir des estimations de mouvement mémorisées dans le module 61 et des images de haute et basse fréquences. Ces estimations de mouvement sont des estimations entre chaque image paire et l'image impaire suivante de la séquence d'images vidéo codée par le codeur 10 de la présente invention.
Le module de filtrage temporel compensé en mouvement inverse 600 effectue une synthèse en ondelettes discrète des images L[m,n] et H[m,n] pour former une séquence d'images vidéo. La synthèse en ondelettes discrète est appliquée récursivement sur les images de basse fréquence des sous- bandes temporelles tant que le niveau de décomposition souhaité n'est pas atteint. Le module de décision 62 du décodeur vidéo à filtrage temporel compensé en mouvement inverse 600 détermine si le niveau de décomposition souhaité est atteint ou pas.
La Fig. 9 représente un schéma bloc du module de filtrage temporel inverse compensé en mouvement d'un décodeur vidéo de la Fig. 8 utilisant la mise en correspondance selon l'invention lorsque des filtres de Haar sont utilisés dans la décomposition en ondelettes.
Le module de filtrage temporel compensé en mouvement inverse 600 effectue un filtrage temporel selon la technique de "lifting" de manière à reconstruire les différentes Io images de la séquence d'images vidéo codées par le codeur de la présente invention.
L'image H[m,n] ou image source est sur-échantillonnée par le module de sur-échantillonnage 610 pour former une image H'[m',n'].
Le module de filtrage temporel compensé en mouvement 100 comporte aussi un module de connexion des mouvements initiaux 621, identique au module de connexion 15 des mouvements initiaux 121 de la Fig. 2, il ne sera pas plus décrit.
Le module de filtrage temporel compensé en mouvement inverse 600 comporte un module de densification de champ de mouvement inverse 612. Le module de densification de champ de mouvement inverse 612 est identique au module de densification de champ de mouvement 132 de la Fig. 2, il ne sera pas plus décrit.
Le module de filtrage temporel compensé en mouvement inverse 600 comporte un module d'accumulation 613 identique au module d'accumulation 133 de la Fig. 2, il ne sera pas plus décrit. Le module d'accumulation 613 crée une image d'accumulation Xb'[m",n"].
Le module de filtrage temporel compensé en mouvement inverse 600 comporte un 25 module de sous-échantillonnage 614 identique au module de souséchantillonnage 133, il ne sera pas plus décrit.
Le module de filtrage temporel compensé en mouvement inverse 600 comporte un additionneur 616 qui soustrait pour moitié l'image Xb'[m",n"] filtrée et sous-échantillonnée à l'image L[m,n] pour former une image paire notée x2[m,n].
L'image x2[m,n] ou image source est sur-échantillonnée par le module de sur-échantillonnage 630 pour former une image x'2'[m',n']. Le module de synthèse 630 est identique au module de sur-échantillonnage 610 de la Fig. 9, il ne sera pas plus décrit.
Le module de filtrage temporel compensé en mouvement inverse 600 comporte un module de densification de champ de mouvement 632. Le module de densification de champ de mouvement 632 est identique au module de densification de champ de mouvement 111 de la Fig. 2, il ne sera pas plus décrit.
Le module de filtrage temporel compensé en mouvement inverse 600 comporte un module d'accumulation 633 identique au module d'accumulation 112 de la Fig. 2, il ne sera pas plus décrit. Le module d'accumulation 633 crée une image d'accumulation Xa'[m",n"].
Le module de filtrage temporel compensé en mouvement inverse 600 comporte un module de sous-échantillonage 635 identique au module de souséchantillonage 614, il ne sera pas plus décrit. Le module de filtrage temporel compensé en mouvement inverse to 600 comporte un additionneur 636 qui additionne l'image Xa'[m",n"] filtrée et sous-échantillonnée à l'image H[m,n] pour former une image impaire notée xl[m,n]. Cette image impaire est transférée au module de décision 62. Les images xi[m,n] et x2[m,n] sont, selon le niveau de décomposition souhaité, entrelacées pour produire une image L[m,n] réintroduite on non avec l'image H[m,n] de même niveau, lue dans le flux de données échelonnables 18 dans le module de filtrage temporel compensé en mouvement inverse 600.
Le procédé et le dispositif de densification selon la présente invention trouvent de multiples applications dans des domaines autres que celui précédemment décrit.
Par exemple et de manière non limitative, le procédé et le dispositif de densification sont aussi applicables dans le cadre de codeurs de séquences d'images vidéo tels que des codeurs et décodeurs MPEG 4 ou des codeurs qui utilisent un mode prédictif par compensation de mouvement. Dans ces codeurs, une image bidirectionnelle est classiquement prédite depuis l'image précédente de la séquence d'images vidéo décodée en prédiction ou en intra. L'utilisation du procédé ou du dispositif de densification dans un tel cadre permet de disposer simplement de champs de mouvement direct et inverse entre toutes les images de la séquence d'images vidéo.
Un autre exemple d'application du procédé et du dispositif de densification selon la présente invention est le domaine de rendu dans le cadre d'un schéma de synthèse d'objets représentés de manière surfacique dans lequel il est nécessaire de projeter sur un plan d'image ou rendre un polygône issu d'une surface maillée. Un tel rendu est effectué selon la présente invention en considérant un rendu par voxels de taille variable situés aux noeuds des polygones, un voxel étant une sphère dans un espace tridimensionnelle représentant une boule contribuant à la définition d'un volume ou d'une surface. Selon l'invention, la taille des voxels est définie par la taille de l'espace d'association.
Bien entendu, la présente invention n'est nullement limitée aux modes de réalisation décrits ici, mais englobe, bien au contraire, toute variante à la portée de 5 l'homme du métier.
Claims (14)
1. Procédé de densification de champ de mouvement entre une image de destination et une image source à partir d'un champ de mouvement entre l'image source et l'image de destination, caractérisé en ce que le procédé comporte les étapes de: - détermination de connexions entre les pixels ou sous-pixels de l'image source et les pixels ou sous-pixels de l'image de destination, - détermination, pour chaque pixel ou sous-pixel de l'image de destination connecté à un pixel ou sous-pixel de l'image source, d'un espace d'association du pixel ou du sous-pixel comprenant au moins un pixel ou sous-pixel de l'image de destination, - association de chaque pixel ou sous-pixel compris dans l'espace d'association au pixel de l'image source connecté audit pixel ou sous- pixel pour former un champ de mouvement dense entre l'image de destination et l'image source.
2. Procédé selon la revendication 1, caractérisé en ce que l'étape de détermination d'un espace d'association se décompose en étapes de: détermination d'un espace de travail dans l'image de destination en fonction des pixels ou sous-pixels connectés aux pixels ou sous-pixels voisins du pixel ou sous-pixel de l'image source connecté au pixel ou sous-pixel auquel est associé l'espace de travail, - détermination de l'espace d'association à partir de l'espace de travail déterminé, à partir du pixel ou sous-pixel auquel est associé l'espace de travail et à partir des pixels ou sous-pixels connectés aux pixels ou sous-pixels voisins du pixel ou sous-pixel de l'image source connecté au pixel ou sous-pixel auquel est associé l'espace de travail.
3. Procédé selon la revendication 2, caractérisé en ce que l'étape de détermination de l'espace d'association se décompose en étapes de: détermination, parmi le pixel ou sous-pixel auquel est associé l'espace de travail et les pixels ou sous-pixels connectés aux pixels ou sous- pixels voisins du pixel ou sous-pixel de l'image source connecté au pixel ou sous-pixel auquel est associé l'espace de travail, des pixels ou souspixels délimitant l'espace de travail en fonction de leurs coordonnées dans l'image de destination, - détermination de l'espace d'association à partir des coordonnées du pixel ou sous-pixel auquel est associé l'espace de travail et des distances séparant le pixel ou sous-pixel auquel est associé l'espace de travail des pixels ou sous-pixels délimitant l'espace de travail.
4. Procédé selon la revendication 3, caractérisé en ce que les distances séparant le pixel ou sous-pixel auquel est associé l'espace de travail des pixels ou sous-pixels délimitant l'espace de travail sont pondérées par un coefficient de l'ordre d'un demi.
5. Dispositif de densification de champ de mouvement entre une image de destination et une image source à partir d'un champ de mouvement entre l'image source et l'image de destination, caractérisé en ce que le dispositif comporte: - des moyens de détermination de connexions entre les pixels ou sous- pixels de l'image source et les pixels ou sous-pixels de l'image de destination, - des moyens de détermination, pour chaque pixel ou sous-pixel de l'image de destination connecté à un pixel ou sous-pixel de l'image source, d'un espace d'association du pixel ou du sous-pixel comprenant au moins un pixel ou sous-pixel de l'image de destination, des moyens d'association de chaque pixel ou sous-pixel compris dans l'espace d'association au pixel ou sous-pixel de l'image source connecté audit pixel ou sous-pixel pour former un champ de mouvement dense entre l'image de destination et l'image source.
6. Dispositif selon la revendication 5, caractérisé en ce que les moyens de détermination d'un espace d'association comportent: - des moyens de détermination d'un espace de travail dans l'image de destination en fonction des pixels ou sous-pixels connectés aux pixels ou sous-pixels voisins du pixel ou sous-pixel de l'image source connecté au pixel ou sous-pixel auquel est associé l'espace de travail, - des moyens de détermination de l'espace d'association à partir de l'espace de travail déterminé, à partir du pixel ou sous-pixel auquel est associé l'espace de travail et à partir des pixels ou sous-pixels connectés aux pixels ou sous-pixels voisins du pixel ou sous-pixel de l'image source connecté au pixel ou sous-pixel auquel est associé l'espace de travail.
7. Dispositif selon la revendication 6, caractérisé en ce que les moyens de détermination de l'espace d'association comportent: - des moyens de détermination, parmi le pixel ou sous-pixel auquel est associé l'espace de travail et les pixels ou sous-pixels connectés aux pixels ou sous-pixels voisins du pixel de l'image source connecté au pixel ou sous-pixel auquel est associé l'espace de travail, des pixels ou sous-pixels délimitant l'espace de travail en fonction de leurs coordonnées dans l'image de destination, - des moyens de détermination de l'espace d'association à partir des coordonnées du pixel ou sous-pixel auquel est associé l'espace de travail et des distances séparant le pixel ou sous-pixel auquel est associé l'espace de travail des pixels ou sous-pixels délimitant l'espace de travail.
8. Dispositif selon la revendication 7, caractérisé en ce que les distances séparant le pixel ou sous-pixel auquel est associé l'espace de travail des pixels ou sous-pixels 15 délimitant l'espace de travail sont pondérées par un coefficient de l'ordre d'un demi.
9. Dispositif de filtrage temporel compensé en mouvement d'un codeur de séquence d'images vidéo, caractérisé en ce qu'il comporte un dispositif de densification de champ de mouvement selon l'une quelconque des revendications 5 à 8.
10. Dispositif de filtrage temporel compensé en mouvement d'un décodeur de séquence d'images vidéo, caractérisé en ce qu'il comporte un dispositif de densification de champ de mouvement selon l'une quelconque des revendications 5 à 8.
11. Programme d'ordinateur stocké sur un support d'informations, ledit programme comportant des instructions permettant de mettre en oeuvre le procédé selon l'une quelconque des revendications 1 à 4, lorsqu'il est chargé et exécuté par un système informatique.
12. Signal comprenant une séquence d'images vidéo codée par filtrage temporel compensé en mouvement par décomposition en ondelettes discrète, le signal comprenant des images de haute et basse fréquences, les images de basse fréquence sont obtenues en densifiant le champ de mouvement entre une image source d'un groupe d'images source et une image de destination d'un groupe d'images destination à partir d'un champ de mouvement entre l'image de destination et l'image source, et dans lequel la densification est effectuée en déterminant des connexions entre les pixels ou sous-pixels de l'image source et les pixels ou sous-pixels de l'image de destination, en déterminant, pour chaque pixel ou sous-pixel de l'image de destination connecté à un pixel ou sous-pixel de l'image source, un espace d'association du pixel ou du sous-pixel comprenant des pixels et/ou des sous-pixels de l'image de destination et en associant à chaque pixel ou sous-pixel compris dans l'espace d'association le pixel ou sous-pixel de l'image source connecté audit pixel ou sous-pixel pour former un champ de mouvement dense entre l'image de destination et l'image source.
13. Procédé de transmission d'un signal comprenant une séquence d'images vidéo codée par filtrage temporel compensé en mouvement par décomposition en ondelettes discrète, le signal comprenant des images de haute et basse fréquences, les images de basse fréquence sont obtenues en densifiant le champ de mouvement entre une image source d'un groupe d'images source et une image de destination d'un groupe d'images destination à partir d'un champ de mouvement entre l'image de destination et l'image source, et dans lequel la densification est effectuée en déterminant des connexions entre les pixels ou sous-pixels de l'image source et les pixels ou sous- pixels de l'image de destination, en déterminant, pour chaque pixel ou sous-pixel de l'image de destination connecté à un pixel ou sous-pixel de l'image source, un espace d'association du pixel ou du sous-pixel comprenant des pixels et/ou des sous-pixels de l'image de destination et en associant à chaque pixel ou sous-pixel compris dans l'espace d'association le pixel ou sous-pixel de l'image source connecté audit pixel ou sous-pixel pour former un champ de mouvement dense entre l'image de destination et l'image source.
14. Procédé de stockage d'un signal comprenant une séquence d'images vidéo codée par filtrage temporel compensé en mouvement par décomposition en ondelettes discrète, le signal comprenant des images de haute et basse fréquences, les images de basse fréquence sont obtenues en densifiant le champ de mouvement entre une image source d'un groupe d'images source et une image de destination d'un groupe d'images destination à partir d'un champ de mouvement entre l'image de destination et l'image source, et dans lequel la densification est effectuée en déterminant des connexions entre les pixels ou sous-pixels de l'image source et les pixels ou sous- pixels de l'image de destination, en déterminant, pour chaque pixel ou sous-pixel de l'image de destination connecté à un pixel ou sous-pixel de l'image source, un espace d'association du pixel ou du sous-pixel comprenant des pixels et/ou des sous-pixels de l'image de destination et en associant à chaque pixel ou sous-pixel compris dans l'espace d'association le pixel ou sous-pixel de l'image source connecté audit pixel ou sous-pixel pour former un champ de mouvement dense entre l'image de destination et l'image source.
Priority Applications (7)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
FR0407835A FR2873256A1 (fr) | 2004-07-13 | 2004-07-13 | Procede et dispositif de densification de champ de mouvement |
EP05779693A EP1766996A1 (fr) | 2004-07-13 | 2005-06-28 | Procede et dispositif de densification de champ de mouvement |
KR1020067027759A KR20070040342A (ko) | 2004-07-13 | 2005-06-28 | 움직임 필드 고밀도화 방법 및 장치 |
JP2007520852A JP2008507169A (ja) | 2004-07-13 | 2005-06-28 | 動領域の緻密化方法及び装置 |
PCT/FR2005/001626 WO2006016026A1 (fr) | 2004-07-13 | 2005-06-28 | Procede et dispositif de densification de champ de mouvement |
CNA200580023655XA CN101053257A (zh) | 2004-07-13 | 2005-06-28 | 使运动场致密的方法及装置 |
US11/571,964 US20080117983A1 (en) | 2004-07-13 | 2006-06-28 | Method And Device For Densifying A Motion Field |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
FR0407835A FR2873256A1 (fr) | 2004-07-13 | 2004-07-13 | Procede et dispositif de densification de champ de mouvement |
Publications (1)
Publication Number | Publication Date |
---|---|
FR2873256A1 true FR2873256A1 (fr) | 2006-01-20 |
Family
ID=34949323
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
FR0407835A Withdrawn FR2873256A1 (fr) | 2004-07-13 | 2004-07-13 | Procede et dispositif de densification de champ de mouvement |
Country Status (7)
Country | Link |
---|---|
US (1) | US20080117983A1 (fr) |
EP (1) | EP1766996A1 (fr) |
JP (1) | JP2008507169A (fr) |
KR (1) | KR20070040342A (fr) |
CN (1) | CN101053257A (fr) |
FR (1) | FR2873256A1 (fr) |
WO (1) | WO2006016026A1 (fr) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR2928768B1 (fr) * | 2008-03-13 | 2010-04-09 | Commissariat Energie Atomique | Dispositif de memoire electrochimique non-volatile |
JP5294343B2 (ja) * | 2008-06-10 | 2013-09-18 | 国立大学法人東京工業大学 | 画像位置合わせ処理装置、領域拡張処理装置及び画質改善処理装置 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6381276B1 (en) * | 2000-04-11 | 2002-04-30 | Koninklijke Philips Electronics N.V. | Video encoding and decoding method |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6956898B1 (en) * | 1998-10-02 | 2005-10-18 | Lucent Technologies Inc. | Method and apparatus for dense motion field based coding |
US7023922B1 (en) * | 2000-06-21 | 2006-04-04 | Microsoft Corporation | Video coding system and method using 3-D discrete wavelet transform and entropy coding with motion information |
KR20050105246A (ko) * | 2003-02-25 | 2005-11-03 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | 오버컴플릿 웨이블렛 확장에 대해 모션 보상된 시간필터링을 사용하는 3차원 웨이블렛 비디오 코딩 |
US7627040B2 (en) * | 2003-06-10 | 2009-12-01 | Rensselaer Polytechnic Institute (Rpi) | Method for processing I-blocks used with motion compensated temporal filtering |
-
2004
- 2004-07-13 FR FR0407835A patent/FR2873256A1/fr not_active Withdrawn
-
2005
- 2005-06-28 EP EP05779693A patent/EP1766996A1/fr not_active Withdrawn
- 2005-06-28 JP JP2007520852A patent/JP2008507169A/ja not_active Withdrawn
- 2005-06-28 WO PCT/FR2005/001626 patent/WO2006016026A1/fr active Application Filing
- 2005-06-28 CN CNA200580023655XA patent/CN101053257A/zh active Pending
- 2005-06-28 KR KR1020067027759A patent/KR20070040342A/ko not_active Application Discontinuation
-
2006
- 2006-06-28 US US11/571,964 patent/US20080117983A1/en not_active Abandoned
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6381276B1 (en) * | 2000-04-11 | 2002-04-30 | Koninklijke Philips Electronics N.V. | Video encoding and decoding method |
Non-Patent Citations (5)
Title |
---|
AL-MUALLA M E: "MOTION FIELD INTERPOLATION FOR FRAME RATE CONVERSION", CIRCUITS AND SYSTEMS, 2003. ISCAS '03. PROCEEDINGS OF THE 2003 INTERNATIONAL SYMPOSIUM ON, vol. 2, 25 May 2003 (2003-05-25), pages 652 - 655, XP002316818 * |
ISO/IEC JTC1/SC29/WG11/MPEG2004/M10569/S05 XU J ET AL: "3D Sub-band Video Coding using Barbell lifting", INTERNATIONAL ORGANISATION FOR STANDARDISATION - ORGANISATION INTERNATIONALE DE NORMALISATION, March 2004 (2004-03-01), XP002316817 * |
KENG-PANG L ET AL: "Dense Motion Field and Uncovered Region Estimations for Low Bit-rate Video Coding Application", SPIE CONFERENCE ON VISUAL COMMUNICATIONS AND IMAGE PROCESSING '99, SPIE, vol. 3653, January 1999 (1999-01-01), pages 547 - 558, XP002316819 * |
PEISONG CHEN ET AL: "Improvements to the MC-EZBC scalable video coder", PROCEEDINGS 2003 INTERNATIONAL CONFERENCE ON IMAGE PROCESSING. ICIP-2003. BARCELONA, SPAIN, SEPT. 14 - 17, 2003, INTERNATIONAL CONFERENCE ON IMAGE PROCESSING, NEW YORK, NY : IEEE, US, vol. VOL. 2 OF 3, 14 September 2003 (2003-09-14), pages 81 - 84, XP010670746, ISBN: 0-7803-7750-8 * |
WUYTS T ET AL SOCIETY OF PHOTO-OPTICAL INSTRUMENTATION ENGINEERS (SPIE): "CALCULATING MOTION VECTORS FOR AN INTERPOLATED MOTION FIELD", ADVANCED IMAGE AND VIDEO COMMUNICATIONS AND STORAGE TECHNOLOGIES. AMSTERDAM, MAR. 20 - 23, 1995, BELLINGHAM, SPIE, US, vol. VOL. 2451, 1995, pages 148 - 155, XP000732655, ISBN: 0-8194-1802-1 * |
Also Published As
Publication number | Publication date |
---|---|
EP1766996A1 (fr) | 2007-03-28 |
CN101053257A (zh) | 2007-10-10 |
US20080117983A1 (en) | 2008-05-22 |
JP2008507169A (ja) | 2008-03-06 |
KR20070040342A (ko) | 2007-04-16 |
WO2006016026A1 (fr) | 2006-02-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP1766997B1 (fr) | Procédé et dispositif de codage d'une sequence d'images vidéo en coefficients de sous-bandes de fréquences de differentes resolutions spatiales | |
US20060120448A1 (en) | Method and apparatus for encoding/decoding multi-layer video using DCT upsampling | |
US20060165302A1 (en) | Method of multi-layer based scalable video encoding and decoding and apparatus for the same | |
US20070047644A1 (en) | Method for enhancing performance of residual prediction and video encoder and decoder using the same | |
FR2852773A1 (fr) | Procedes et dispositifs de codage et de decodage d'une sequence d'images par decomposition mouvement/texture et codage par ondelettes | |
JP2008503981A (ja) | グリッド動き推定/補償を用いたスケーラブルビデオ符号化 | |
JP2008541653A (ja) | スムージング予測を用いた多階層基盤のビデオエンコーディング方法、デコーディング方法、ビデオエンコーダ及びビデオデコーダ | |
CN117730338A (zh) | 视频超分辨网络及视频超分辨、编解码处理方法、装置 | |
EP1354482A1 (fr) | Procede de codage et de decodage d'images, dispositifs, et applications correspondants | |
WO2004052000A2 (fr) | Procedes et appareil de codage de vecteurs de mouvement | |
EP1766999B1 (fr) | Procede et dispositif de codage d'une sequence d'images video | |
CN111726638A (zh) | 一种结合去压缩效应与超分辨率的hevc编码优化方法 | |
US20230379475A1 (en) | Codec Rate Distortion Compensating Downsampler | |
EP2633686B1 (fr) | Codage video echelonnable a partir d'un epitome hierarchique | |
EP1766996A1 (fr) | Procede et dispositif de densification de champ de mouvement | |
EP1574068B1 (fr) | Procede de codage d'une image par ondelettes et procede de decodage correspondant | |
EP0691065A1 (fr) | Codage/decodage compatibles sous-bandes d'images de television | |
Ban et al. | NHVC: Neural Holographic Video Compression with Scalable Architecture | |
Liu et al. | Geometry-guided compact compression for light field image using graph convolutional networks | |
Singhal et al. | MAIVS: Machine Learning Based Adaptive UHD 360-Degree Immersive Video Streaming | |
Naman et al. | Rate-distortion optimized delivery of JPEG2000 compressed video with hierarchical motion side information | |
CN118433404A (zh) | 视频解码方法、视频编码方法及译码设备 | |
Naman et al. | Distortion estimation for optimized delivery of JPEG2000 compressed video with motion | |
JP5700666B2 (ja) | 画像復号装置、画像復号方法及び画像復号プログラム | |
FR2873246A1 (fr) | Procede d'estimation du mouvement pour le codage d'une sequence d'images avec echelonnabilite spatiale et temporelle |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
ST | Notification of lapse |
Effective date: 20060331 |