FR2941581A1 - Codage et decodage d'une sequence d'images video par zones d'images - Google Patents
Codage et decodage d'une sequence d'images video par zones d'images Download PDFInfo
- Publication number
- FR2941581A1 FR2941581A1 FR0950520A FR0950520A FR2941581A1 FR 2941581 A1 FR2941581 A1 FR 2941581A1 FR 0950520 A FR0950520 A FR 0950520A FR 0950520 A FR0950520 A FR 0950520A FR 2941581 A1 FR2941581 A1 FR 2941581A1
- Authority
- FR
- France
- Prior art keywords
- candidate
- zone
- decoded
- sequence
- decoding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
L'invention concerne un procédé de codage d'une séquence d'images vidéo comportant un découpage en zones d'au moins une image courante de la séquence, caractérisé en ce que, pour le codage d'au moins une zone cible (P) de ladite au moins une image courante, il comporte les étapes de : - détermination (E2) d'un ensemble ({Tn}) de zones candidates dans des parties préalablement codées puis décodées d'images de la séquence, minimisant une erreur de prédiction calculée sur le voisinage (T ) de la zone cible, - identification (E5) d'une meilleure zone candidate dans ledit ensemble, minimisant une erreur de reconstruction par rapport à la zone cible, - détermination d'une indication (m) représentative de ladite meilleure zone candidate identifiée.
Description
Codage et décodage d'une séquence d'images vidéo par zones d'image La présente invention concerne de manière générale le codage et le décodage de séquence d'images vidéo. Les codeurs vidéo actuels (normes MPEG, H264, ...) utilisent une représentation par blocs de la séquence vidéo. Les images sont découpées en macro-blocs, chaque macro-bloc est lui-même découpé en blocs et chaque bloc ou macro-bloc est codé par prédiction intra-images ou inter-images. L'invention s'applique dans le contexte de ce type de codage, mais aussi dans celui d'un codeur par régions (codage basé région dans la norme MPEG 4, JVT - ISO/IEC JTC1/SC29/WG11, "Text of ISO/IEC 14496-10:200X / FDIS Advanced Video Coding", Draft International Standard, w9198, 2007). L'invention concerne plus particulièrement la prédiction d'un bloc, d'un macrobloc, d'une région, ou de manière générale d'une zone de l'image à coder. Dans l'exemple du codeur H264, chaque macro-bloc/bloc codé comporte 20 un en-tête dans lequel sont consignées les informations générales pour le macrobloc/bloc, notamment :: • type de macrobloc (intra/inter/skip) • partition du macrobloc • transformée 25 • type de prédiction La prédiction est soit réalisé en mode intra, c'est-à-dire à partir de données de l'image en cours de codage, soit en mode inter, c'est-à-dire à partir d'une ou de plusieurs autres images de la séquence. 30 En mode intra, un macro-bloc ou un bloc est prédit à partir de son voisinage causal (les pixels adjacents qui ont déjà été codés puis décodés), selon neuf modes possibles : huit par recopie des pixels selon une orientation donnée et un pour la moyenne.
La prédiction spatiale est insuffisante à elle seule, d'où la nécessité de coder l'erreur de prédiction (le résidu). Pour cela, une transformée DCT est utilisée, suivie d'une quantification et d'un codage classique des coefficients. En mode inter, un macro-bloc ou un bloc est prédit à partir de son voisinage temporel, la norme H.264 utilise un déplacement au sens du mouvement. Un vecteur de mouvement est alors codé et transmis.
Par ailleurs, dans le domaine de la synthèse d'image, Wei et Levoy ont proposé la technique dite de "template matching" (ou prédiction markovienne des textures) pour synthétiser une image à partir d'une image source. On peut faire référence à l'article Wei, L. & Levoy, M. Akeley, K. (ed.) Fast Texture Synthesis Using Tree-Structured Vector Quantization Siggraph 2000, Computer Graphics Proceedings, ACM Press / ACM SIGGRAPH / Addison Wesley Longman, 2000, 479-488).
La technique de "template matching" est basée sur les corrélations entre pixels voisins. La valeur de chaque pixel (ou groupe de pixels) de l'image à synthétiser est déterminée en comparant chaque voisin de ce pixel avec tous les voisins d'une image source. Les voisins du pixel à synthétiser sont les pixels du voisinage causal, c'est-à-dire des pixels préalablement synthétisés. Le pixel (ou groupe de pixels) de l'image source avec le voisinage le plus similaire est assigné au pixel (ou groupe de pixels) correspondant de l'image à synthétiser. Les pixels sont synthétisés dans un ordre précis, généralement de haut en bas et de gauche à droite (ordre dit "raster scan"). Le plus proche voisinage dans l'image source est choisi sur des critères 25 de minimisation de l'erreur quadratique (en anglais : Sum of Square Difference) ou absolue (en anglais : Sum ofAbsolute Difference).
La méthode de "template matching" est une méthode de synthèse de données qui est utilisée comme alternative à la prédiction intra du codeur H264 30 (article Infra prediction by template matching de Tan et al, 2006 IEEE, pages 1693 à 1696). En pratique, un mode "template matching" est ajouté aux neuf autres modes de prédiction intra.
Dans l'article de Tan, la méthode de "template matching" est utilisée pour prédire les blocs de taille 4x4 pixels. Le bloc à prédire est considéré comme la cible (l'image à synthétiser), la source étant l'image partiellement décodée. Les gains en termes de débit s'élèvent jusqu'à 11%, avec un taux d'utilisation du nouveau mode de prédiction intra "template matching" de l'ordre de 30%. Dans le contexte de la compression vidéo, le concept du "template matching" a été amélioré (article Video Encoding Scheme Employing Intra and Inter Prediction Based on Averaged Template Matching Predictors de Suzuki et al., 2008, The Institute of Electronics, Information and Communication Engineers, pages 1127 à 1134). Suzuki et al. ont constaté que le meilleur candidat au sens de la méthode de "template matching" n'est pas forcément le meilleur représentant pour prédire l'image. À partir de cette constatation, Suzuki et al. ont adapté la méthode du template matching : une cible est prédite à partir de la moyenne des N meilleurs candidats. Avec cette méthode, la zone de travail est prédite par une pondération des quatre meilleurs candidats au sens de la méthode de "template matching". De ce fait, la prédiction a un rendu plus "flou" dû à l'effet moyenneur. Bien que la réduction de débit soit notable, cette amélioration de la méthode standard n'améliore pas, ou peu, la prédiction intra mais homogénéise le résidu.
Dans le cas de la prédiction inter-image, la méthode de "template matching" est utilisée pour estimer le mouvement d'un bloc ou macro-bloc d'une image à l'autre à partir de son voisinage (Suzuki, Y.; Boon, C. S. & Kato, S.
Block-Based Reduced Resolution Inter Frame Coding with Template Matching Prediction Image Processing, 2006 IEEE International Conference on, 2006, 1701-1704). L'objectif est de réduire l'information additionnelle nécessaire pour coder les vecteurs de mouvement. Pour chaque macro-bloc prédit temporellement, la méthode de "template matching" est comparée à l'approche standard par recherche et codage du vecteur de mouvement. Un critère débit-distorsion permet de déterminer la meilleure méthode.
La présente invention a pour but de résoudre les inconvénients de la technique antérieure. A cette fin, l'invention propose un procédé de codage d'une séquence d'images vidéo comportant un découpage en zones d'au moins une image 5 courante de la séquence, caractérisé en ce que, pour le codage d'au moins une zone cible de ladite au moins une image courante, il comporte les étapes de : - détermination d'un ensemble de zones candidates dans des parties préalablement codées puis décodées d'images de la séquence, minimisant une 10 erreur de prédiction calculée sur le voisinage de la zone cible, - identification d'une meilleure zone candidate dans ledit ensemble, minimisant une erreur de reconstruction par rapport à la zone cible, - détermination d'une indication représentative de ladite meilleure zone candidate identifiée. 15 Grâce à l'invention, la méthode dite de "template matching" est utilisée pour déterminer un ensemble de candidat pour prédire une zone d'image. On travaille donc sur un voisinage de la zone à prédire. Ensuite, le meilleur candidat parmi cet ensemble est déterminé, mais sans la méthode de "template matching". La détermination du meilleur candidat 20 repose sur un calcul d'erreur de prédiction effectué sur la zone elle-même, et non plus sur son voisinage. Selon une caractéristique préférée, la détermination de l'ensemble de zones candidates est effectuée à partir de zones déjà codées et décodées de l'image courante. 25 Il s'agit alors d'un mode de codage "intra" selon lequel on utilise une prédiction spatiale. Selon une autre caractéristique préférée alternative, la détermination de l'ensemble de zones candidates est effectuée à partir de zones d'images codées et décodées préalablement à l'image courante. 30 Il s'agit dans ce cas d'un mode de codage "inter" selon lequel on utilise une prédiction temporelle.
Ainsi, l'invention s'applique aussi bien à un codage "intra" qu'à un codage "inter". Selon une caractéristique préférée, la détermination de l'ensemble de zones candidates est suivie d'une étape additionnelle de raffinement de cet ensemble, selon laquelle des zones candidates redondantes sont supprimées de l'ensemble. Ainsi, on limite le nombre de zones candidates et par conséquent le coût de codage de l'indication de la meilleure zone candidate, sans pour autant nuire à la qualité du codage. Ce raffinement est optionnel.
Selon une caractéristique préférée, l'ensemble des zones candidates est ordonné selon un critère prédéterminé et en ce que l'indication représentative de ladite meilleure zone candidate identifiée est un indice dépendant de son ordre dans l'ensemble. Cet indice fait partie des données de codage.
L'invention concerne aussi un procédé de décodage d'une séquence d'images vidéo comportant un découpage en zones d'au moins une image courante de la séquence, caractérisé en ce que, pour le décodage d'au moins une zone cible à décoder de ladite au moins une image courante, il comporte les étapes de : - détermination d'un ensemble de zones candidates dans des parties préalablement codées puis décodées d'images de la séquence, minimisant une erreur de prédiction calculée sur le voisinage de la zone cible, - lecture d'une indication représentative d'une meilleure zone candidate minimisant une erreur de reconstruction par rapport à ladite zone cible, - reconstruction de la zone à décoder à partir de la meilleure zone candidate. Le procédé de décodage comporte des étapes très similaires à celles du procédé de codage. Selon une caractéristique préférée, la détermination de l'ensemble de 30 zones candidates est effectuée à partir de zones déjà décodées de l'image courante.
Selon une autre caractéristique préférée alternative, la détermination de l'ensemble de zones candidates est effectuée à partir de zones d'images décodées préalablement à l'image courante. Ces deux alternatives correspondent aux cas de codage/décodage "intra" et "inter". Bien sûr, le même mode est utilisé au codage et au décodage. Selon une caractéristique préférée, la détermination de l'ensemble de zones candidates est suivie d'une étape additionnelle de raffinement de cet ensemble, selon laquelle des zones candidates redondantes sont supprimées de l'ensemble.
Ce raffinement est mis en oeuvre au décodage si un raffinement similaire a été effectué au codage. Selon une caractéristique préférée, l'ensemble des zones candidates est ordonné selon un critère prédéterminé. Cela permet de retrouver la meilleure zone candidate, grâce à l'indice qui 15 fait partie des données de codage. L'invention concerne encore un dispositif de codage d'une séquence d'images vidéo comportant un découpage en zones d'au moins une image courante de la séquence, caractérisé en ce que, pour le codage d'au moins une zone cible de 20 ladite au moins une image courante, il comporte : - des moyens de détermination d'un ensemble de zones candidates dans des parties préalablement codées puis décodées d'images de la séquence, minimisant une erreur de prédiction calculée sur le voisinage de la zone cible, - des moyens d'identification d'une meilleure zone candidate dans ledit 25 ensemble, minimisant une erreur de reconstruction par rapport à la zone cible, - des moyens de détermination d'une indication représentative de ladite meilleure zone candidate identifiée.
L'invention concerne aussi un dispositif de décodage d'une séquence 30 d'images vidéo comportant un découpage en zones d'au moins une image courante de la séquence, caractérisé en ce que, pour le décodage d'au moins une zone cible à décoder de ladite au moins une image courante, il comporte : - des moyens de détermination d'un ensemble de zones candidates dans des parties préalablement codées puis décodées d'images de la séquence, minimisant une erreur de prédiction calculée sur le voisinage de la zone cible, - des moyens de lecture d'une indication représentative d'une meilleure zone candidate minimisant une erreur de reconstruction par rapport à ladite zone cible, - des moyens de reconstruction de la zone à décoder à partir de la meilleure zone candidate. Les dispositifs de codage et de décodage présentent des avantages analogues à ceux des procédés.
L'invention concerne encore des programmes d'ordinateur comportant 15 des instructions de mise en oeuvre des procédés précédemment présentés.
D'autres caractéristiques et avantages apparaîtront à la lecture de modes de réalisation préférés décrits en référence aux figures dans lesquelles : - la figure 1 représente un mode de réalisation de procédé de codage 20 selon l'invention, - la figure 2 représente une image en cours de codage par le procédé selon l'invention, - la figure 3 représente un mode de réalisation de procédé de décodage selon l'invention, 25 - la figure 4 représente un mode de réalisation de dispositif de codage selon l'invention, - la figure 5 représente un mode de réalisation de dispositif de décodage selon l'invention.
30 Selon un mode de réalisation de l'invention représenté à la figure 1, le procédé de codage de séquence d'images vidéo comporte des étapes El à E7.
Les images sont codées les unes après les autres. Pour une image à coder, au moins une zone à coder est préalablement formée dans l'image. Cette zone peut être un bloc de pixels, un macro-bloc ou plus généralement une région. Dans la suite, on considère plus particulièrement le cas ou des blocs sont formés dans l'image. Une image est codée bloc par bloc. Pour un bloc à coder, dit bloc cible, les étapes El à E7 sont mises en oeuvre. L'étape El est la sélection d'un bloc à coder P, dit bloc cible. Le bloc cible est de taille prédéterminé. Le voisinage Tp du bloc cible est également considéré. Le voisinage est un ensemble prédéterminé de pixels voisins du bloc cible. Le voisinage du bloc cible est un masque causal. Ainsi, pour un bloc cible de taille 2x2 pixels, le masque causal est par exemple l'ensemble des cinq pixels qui bordent le bloc cible sur sa gauche et au-dessus de lui. Selon un autre exemple, le masque causal qui sert de voisinage au sens de l'invention comporte les douze pixels qui forment une bordure de deux pixels d'épaisseur sur la gauche et au-dessus du bloc cible de 2x2 pixels. Bien-sûr, d'autres formes et tailles de bloc cible et de voisinage sont utilisables selon l'invention. L'étape suivante E2 est la recherche des N zones candidates Tn les plus proches de la zone de voisinage Tp. A cette étape, on travaille sur les voisinages, comme dans la méthode dite de "template matching". La recherche est faite parmi des parties d'images déjà codées et décodées. Dans un mode dit "intra", la recherche des zones candidates est faite dans la partie de l'image courante préalablement codée puis décodée par rapport à la zone de voisinage courante, comme représenté à la figure 2. Dans un mode dit "inter", la recherche est faite dans les images codées puis décodées, préalablement à l'image courante. La figure 2 représente l'image IM en cours de codage. Une partie IMI de l'image est déjà codée et sert de source pour les zones candidates. Une partie IM2 n'est pas encore codée. On considère un ordre de parcours de type "raster scan", mais d'autres parcours sont possibles. La méthode de recherche est basée sur les corrélations entre zones candidates et la zone de voisinage. Les zones candidates sont sélectionnées par exemple en fonction d'une minimisation d'erreur quadratique ou absolue entre la zone candidate et le voisinage de la zone cible.
Selon une variante, L'étape E2 est suivie de l'étape E3 qui est un raffinement de l'ensemble des zones candidates. A cette étape, on mesure les corrélations entre zones candidates. Si une zone candidate est fortement corrélée à une autre, elle est redondante et elle est supprimée de l'ensemble.
L'étape E2 ou l'étape E3 lorsqu'elle est mise en oeuvre est suivie de l'étape E4 à laquelle l'ensemble des zones candidates est ordonné selon un critère prédéterminé. Par exemple, cet ensemble est trié de la zone candidate la plus proche du voisinage de la zone cible à la zone candidate la moins proche. Un indice est affecté à chaque zone candidate de l'ensemble.
L'étape suivante E5 est la recherche de la zone candidate qui minimise une erreur de reconstruction par rapport au bloc cible. A cette étape, on ne considère plus les zones de voisinage, mais les blocs. Un bloc correspond à une zone de voisinage de manière unique qui dépend de la façon dont ont été construits les voisinages. La recherche est basée sur les corrélations entre bloc candidat et bloc cible. Un bloc candidat est sélectionné en fonction d'une minimisation d'erreur quadratique ou absolue entre les blocs candidats et le bloc cible. On note m l'indice du bloc candidat qui est sélectionné à l'étape E5.
L'étape suivante E6 est le codage de l'indice m du bloc candidat précédemment sélectionné. Comme les zones candidates ont été ordonnées, il est plus probable que le bloc candidat sélectionné soit parmi les premiers de l'ensemble ordonné. Les indices n'ont donc pas la même probabilité d'être utilisés. En attribuant une probabilité d'apparition à chaque indice de l'ensemble, le coût de codage de l'indice m est réduit grâce à un codeur entropique classique.
Il est à noter que le nombre N d'éléments dans cet ensemble est déterminé en fonction d'un compromis. Si le nombre N est trop petit, le meilleur candidat risque de ne pas être sélectionné dans l'ensemble. Si le nombre N est trop grand, le coût de codage de l'indice m risque d'être trop important pour espérer un gain de débit. L'étape suivante E7 est la reconstruction du bloc cible à partir du bloc candidat sélectionné à l'étape E5. La reconstruction du bloc cible comporte tout d'abord la prédiction du bloc cible, c'est-à-dire la recopie des données depuis le voisinage de la zone candidate vers le bloc cible. Puis la reconstruction du bloc cible comporte le calcul d'un résidu entre le bloc cible et le bloc prédit. Ce résidu est codé puis décodé afin d'être ajouté à la prédiction pour constituer le bloc reconstruit. Le bloc reconstruit enrichi la source des blocs utilisables pour coder un bloc suivant.
Selon un mode de réalisation de l'invention représenté à la figure 3, le procédé de décodage de séquence d'images vidéo comporte des étapes E10 à El 5. Les images sont décodées les unes après les autres. Pour une image à décoder, au moins une zone à décoder est préalablement considérée dans l'image. Cette zone peut être un bloc de pixels, un macro-bloc ou plus généralement une région. Dans la suite, on considère plus particulièrement le cas ou des blocs sont formés dans l'image. Une image est décodée bloc par bloc. Pour un bloc à décoder, dit bloc cible, les étapes E10 à E15 sont mises en oeuvre. Les étapes E10 à E13 sont très similaires respectivement aux étapes El à E4 précédemment décrite. L'étape E10 est la sélection d'un bloc à décoder P, dit bloc cible. Le bloc cible est de taille prédéterminé. Le voisinage Tp du bloc cible est également considéré. Le voisinage est identique à celui qui a été considéré pour le codage.
L'étape suivante E11 est la recherche des N zones candidates Tn les plus proches de la zone de voisinage Tp. A cette étape, on travaille sur les voisinages, comme dans la méthode dite de "template matching". La recherche est faite parmi des parties d'images déjà décodées. Dans un mode dit "intra", la recherche des zones candidates est faite dans la partie de l'image courante préalablement décodée par rapport à la zone de voisinage courante. Dans un mode dit "inter", la recherche est faite dans les images décodées préalablement à l'image courante. La méthode de recherche est basée sur les corrélations entre zones candidates et la zone de voisinage. Les zones candidates sont sélectionnées par exemple en fonction d'une minimisation d'erreur quadratique ou absolue entre la zone candidate et le voisinage de la zone cible.
Selon une variante, L'étape E11 est suivie de l'étape E12 qui est un raffinement de l'ensemble des zones candidates. A cette étape, on mesure les corrélations entre zones candidates. Si une zone candidate est fortement corrélée à une autre, elle est redondante et elle est supprimée de l'ensemble. Ce raffinement est effectué si l'étape similaire de raffinement a été effectuée lors du codage préalable.
L'étape E11 ou l'étape E12 lorsqu'elle est mise en oeuvre est suivie de l'étape E13 à laquelle l'ensemble des zones candidates est ordonné selon un critère prédéterminé. Par exemple, cet ensemble est trié de la zone candidate la plus proche de la zone cible à la zone candidate la moins proche.
L'étape E14 est le décodage de l'indice m. Ce décodage dépend du codage de l'indice qui a été effectué à l'étape E6. Les étapes E13 et E14 sont suivies de l'étape E15 qui est la reconstruction du bloc cible à partir du bloc candidat identifié par l'indice m.
Cette étape comporte une prédiction du bloc cible et un décodage du résidu qui est ajouté au résultat de la prédiction. Le bloc reconstruit fait ensuite partie des données qui peuvent être utilisées pour la prédiction de blocs suivants.
Les figures 4 et 5 représentent les structures simplifiées d'un dispositif de codage et d'un dispositif de décodage mettant respectivement en oeuvre une technique de codage et une technique de décodage telles que décrites ci- dessus. Un dispositif de codage tel qu'illustré en figure 4 comprend une mémoire 61 comprenant une mémoire tampon, une unité de traitement 62, équipée par exemple d'un microprocesseur, et pilotée par le programme d'ordinateur 63, mettant en oeuvre le procédé de codage selon l'invention.
A l'initialisation, les instructions de code du programme d'ordinateur 63 sont par exemple chargées dans une mémoire RAM avant d'être exécutées par le processeur de l'unité de traitement 62. L'unité de traitement 62 reçoit une image courante à coder. Le microprocesseur de l'unité de traitement 62 met en oeuvre les étapes du procédé de codage décrit précédemment, selon les instructions du programme d'ordinateur 63, pour coder l'image courante. Pour le codage d'au moins une zone cible de ladite au moins une image courante, le dispositif de codage comprend, outre la mémoire tampon 61 : - des moyens de détermination d'un ensemble de zones candidates dans des parties préalablement codées puis décodées d'images de la séquence, minimisant une erreur de prédiction calculée sur le voisinage de la zone cible, - des moyens d'identification d'une meilleure zone candidate dans ledit ensemble, minimisant une erreur de reconstruction par rapport à la zone cible, - des moyens de détermination d'une indication représentative de ladite meilleure zone candidate identifiée.
Ces moyens sont pilotés par le microprocesseur de l'unité de traitement 62. Un dispositif de décodage tel qu'illustré en figure 5 comprend une mémoire 71 comprenant une mémoire tampon, une unité de traitement 72, équipée par exemple d'un microprocesseur, et pilotée par le programme d'ordinateur 73, mettant en oeuvre le procédé de décodage selon l'invention. A l'initialisation, les instructions de code du programme d'ordinateur 73 sont par exemple chargées dans une mémoire RAM avant d'être exécutées par le processeur de l'unité de traitement 72. L'unité de traitement 72 reçoit en entrée un signal représentatif d'au moins une image codée. Le microprocesseur de l'unité de traitement 72 met en oeuvre les étapes du procédé de décodage décrit précédemment, selon les instructions du programme d'ordinateur 73, pour déterminer reconstruire l'image courante. Pour le décodage d'au moins une zone cible à décoder de ladite au moins une image courante, le dispositif de décodage comprend, outre la mémoire tampon 71 : - des moyens de détermination d'un ensemble de zones candidates dans des parties préalablement codées puis décodées d'images de la séquence, minimisant une erreur de prédiction calculée sur le voisinage de la zone cible, - des moyens de lecture d'une indication représentative d'une meilleure zone candidate minimisant une erreur de reconstruction par rapport à ladite zone cible, - des moyens de reconstruction de la zone à décoder à partir de la 15 meilleure zone candidate. Ces moyens sont pilotés par le microprocesseur de l'unité de traitement 72. 20
Claims (14)
- REVENDICATIONS1. Procédé de codage d'une séquence d'images vidéo comportant un découpage en zones d'au moins une image courante de la séquence, caractérisé en ce que, pour le codage d'au moins une zone cible de ladite au moins une image courante, il comporte les étapes de : - détermination d'un ensemble de zones candidates dans des parties 10 préalablement codées puis décodées d'images de la séquence, minimisant une erreur de prédiction calculée sur le voisinage de la zone cible, - identification d'une meilleure zone candidate dans ledit ensemble, minimisant une erreur de reconstruction par rapport à la zone cible, - détermination d'une indication représentative de ladite meilleure zone 15 candidate identifiée.
- 2. Procédé de codage selon la revendication 1, caractérisé en ce que la détermination de l'ensemble de zones candidates est effectuée à partir de zones déjà codées et décodées de l'image courante.
- 3. Procédé de codage selon la revendication 1, caractérisé en ce que la détermination de l'ensemble de zones candidates est effectuée à partir de zones d'images codées et décodées préalablement à l'image courante. 25
- 4. Procédé de codage selon l'une quelconques des revendications 1 à 3, caractérisé en ce que la détermination de l'ensemble de zones candidates est suivie d'une étape additionnelle de raffinement de cet ensemble, selon laquelle des zones candidates redondantes sont supprimées de l'ensemble. 30
- 5. Procédé de codage selon l'une quelconques des revendications 1 à 4, caractérisé en ce que l'ensemble des zones candidates est ordonné selon un critère prédéterminé et en ce que l'indication représentative de ladite meilleure 20zone candidate identifiée est un indice dépendant de son ordre dans l'ensemble.
- 6. Procédé de décodage d'une séquence d'images vidéo comportant un découpage en zones d'au moins une image courante de la séquence, caractérisé en ce que, pour le décodage d'au moins une zone cible à décoder de ladite au moins une image courante, il comporte les étapes de : - détermination d'un ensemble de zones candidates dans des parties préalablement codées puis décodées d'images de la séquence, minimisant une erreur de prédiction calculée sur le voisinage de la zone cible, - lecture d'une indication représentative d'une meilleure zone candidate minimisant une erreur de reconstruction par rapport à ladite zone cible, - reconstruction de la zone à décoder à partir de la meilleure zone candidate.
- 7. Procédé de décodage selon la revendication 6, caractérisé en ce que la détermination de l'ensemble de zones candidates est effectuée à partir de zones déjà décodées de l'image courante.
- 8. Procédé de décodage selon la revendication 6, caractérisé en ce que la détermination de l'ensemble de zones candidates est effectuée à partir de zones d'images décodées préalablement à l'image courante.
- 9. Procédé de décodage selon l'une quelconques des revendications 6 à 8, caractérisé en ce que la détermination de l'ensemble de zones candidates est suivie d'une étape additionnelle de raffinement de cet ensemble, selon laquelle des zones candidates redondantes sont supprimées de l'ensemble.
- 10. Procédé de décodage selon l'une quelconques des revendications 6 30 à 9, caractérisé en ce que l'ensemble des zones candidates est ordonné selon un critère prédéterminé.
- 11. Dispositif de codage d'une séquence d'images vidéo comportant un découpage en zones d'au moins une image courante de la séquence, caractérisé en ce que, pour le codage d'au moins une zone cible de ladite au moins une image courante, il comporte : - des moyens de détermination d'un ensemble de zones candidates dans des parties préalablement codées puis décodées d'images de la séquence, minimisant une erreur de prédiction calculée sur le voisinage de la zone cible, - des moyens d'identification d'une meilleure zone candidate dans ledit ensemble, minimisant une erreur de reconstruction par rapport à la zone cible, - des moyens de détermination d'une indication représentative de ladite meilleure zone candidate identifiée.
- 12. Dispositif de décodage d'une séquence d'images vidéo comportant un découpage en zones d'au moins une image courante de la séquence, caractérisé en ce que, pour le décodage d'au moins une zone cible à décoder de ladite au moins une image courante, il comporte : - des moyens de détermination d'un ensemble de zones candidates dans des parties préalablement codées puis décodées d'images de la séquence, minimisant une erreur de prédiction calculée sur le voisinage de la zone cible, - des moyens de lecture d'une indication représentative d'une meilleure zone candidate minimisant une erreur de reconstruction par rapport à ladite zone cible, - des moyens de reconstruction de la zone à décoder à partir de la meilleure zone candidate.
- 13. Programme d'ordinateur comportant des instructions pour la mise en oeuvre du procédé de codage selon l'une quelconque des revendications 1 à 5 lorsque ledit programme est exécuté par un processeur.30
- 14. Programme d'ordinateur comportant des instructions pour la mise en oeuvre du procédé de décodage selon l'une quelconque des revendications 6 à 10 lorsque ledit programme est exécuté par un processeur.5
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
FR0950520A FR2941581A1 (fr) | 2009-01-28 | 2009-01-28 | Codage et decodage d'une sequence d'images video par zones d'images |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
FR0950520A FR2941581A1 (fr) | 2009-01-28 | 2009-01-28 | Codage et decodage d'une sequence d'images video par zones d'images |
Publications (1)
Publication Number | Publication Date |
---|---|
FR2941581A1 true FR2941581A1 (fr) | 2010-07-30 |
Family
ID=41260018
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
FR0950520A Withdrawn FR2941581A1 (fr) | 2009-01-28 | 2009-01-28 | Codage et decodage d'une sequence d'images video par zones d'images |
Country Status (1)
Country | Link |
---|---|
FR (1) | FR2941581A1 (fr) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012033965A1 (fr) * | 2010-09-10 | 2012-03-15 | Thomson Licensing | Décodage vidéo à l'aide d'un élagage de données par l'exemple |
WO2012033971A1 (fr) * | 2010-09-10 | 2012-03-15 | Thomson Licensing | Récupération d'une version élaguée d'une image dans une séquence vidéo pour un élagage de données par l'exemple à l'aide d'une similarité de correctifs intra-trames |
WO2012033968A1 (fr) * | 2010-09-10 | 2012-03-15 | Thomson Licensing | Codage du lien vers un bloc de référence dans une compression vidéo par recherche et classement basés sur un contexte d'image |
FR2991843A1 (fr) * | 2012-11-29 | 2013-12-13 | Thomson Licensing | Procede et dispositif de prediction inter-image et procede et appareil de codage correspondants |
WO2014048946A1 (fr) * | 2012-09-26 | 2014-04-03 | Thomson Licensing | Procede et dispositif de prediction inter-image et procede et appareil de codage correspondants |
US9544598B2 (en) | 2010-09-10 | 2017-01-10 | Thomson Licensing | Methods and apparatus for pruning decision optimization in example-based data pruning compression |
US9602814B2 (en) | 2010-01-22 | 2017-03-21 | Thomson Licensing | Methods and apparatus for sampling-based super resolution video encoding and decoding |
US9813707B2 (en) | 2010-01-22 | 2017-11-07 | Thomson Licensing Dtv | Data pruning for video compression using example-based super-resolution |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080159401A1 (en) * | 2007-01-03 | 2008-07-03 | Samsung Electronics Co., Ltd. | Method and apparatus for estimating motion vector using plurality of motion vector predictors, encoder, decoder, and decoding method |
US20090180538A1 (en) * | 2008-01-16 | 2009-07-16 | The Regents Of The University Of California | Template matching scheme using multiple predictors as candidates for intra-prediction |
-
2009
- 2009-01-28 FR FR0950520A patent/FR2941581A1/fr not_active Withdrawn
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080159401A1 (en) * | 2007-01-03 | 2008-07-03 | Samsung Electronics Co., Ltd. | Method and apparatus for estimating motion vector using plurality of motion vector predictors, encoder, decoder, and decoding method |
US20090180538A1 (en) * | 2008-01-16 | 2009-07-16 | The Regents Of The University Of California | Template matching scheme using multiple predictors as candidates for intra-prediction |
Non-Patent Citations (5)
Title |
---|
JOEL JUNG ET AL: "Competition-Based Scheme for Motion Vector Selection and Coding", JOINT VIDEO TEAM (JVT) OF ISO/IEC MPEG & ITU-T VCEG(ISO/IEC JTC1/SC29/WG11 AND ITU-T SG16 Q6), no. VCEG-AC06r1, 2 August 2006 (2006-08-02), XP030003490 * |
STEFFEN KAMP ET AL: "Decoder side motion vector derivation for inter frame video coding", IMAGE PROCESSING, 2008. ICIP 2008. 15TH IEEE INTERNATIONAL CONFERENCE, IEEE, PISCATAWAY, NJ, USA, 12 October 2008 (2008-10-12), pages 1120 - 1123, XP031374203, ISBN: 978-1-4244-1765-0 * |
THIOW KENG TAN ET AL: "Intra Prediction by Averaged Template Matching Predictors", CONSUMER COMMUNICATIONS AND NETWORKING CONFERENCE, 2007. CCNC 2007. 20 07 4TH IEEE, IEEE, PI, 1 January 2007 (2007-01-01), pages 405 - 409, XP031087817, ISBN: 978-1-4244-0667-8 * |
YANG J ET AL: "Motion Vector Coding with Optimal PMV Selection", 35. VCEG MEETING; 85. MPEG MEETING; 16-7-2008 - 18-7-2008; BERLIN; (VIDEO CODING EXPERTS GROUP OF ITU-T SG.16),, 18 July 2008 (2008-07-18), XP030003587 * |
YOSHINORI SUZUKI ET AL: "Inter Frame Coding with Template Matching Averaging", IMAGE PROCESSING, 2007. ICIP 2007. IEEE INTERNATIONAL CONFERENCE ON, IEEE, PI, 1 September 2007 (2007-09-01), pages III - 409, XP031158091, ISBN: 978-1-4244-1436-9 * |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9602814B2 (en) | 2010-01-22 | 2017-03-21 | Thomson Licensing | Methods and apparatus for sampling-based super resolution video encoding and decoding |
US9813707B2 (en) | 2010-01-22 | 2017-11-07 | Thomson Licensing Dtv | Data pruning for video compression using example-based super-resolution |
US9544598B2 (en) | 2010-09-10 | 2017-01-10 | Thomson Licensing | Methods and apparatus for pruning decision optimization in example-based data pruning compression |
WO2012033969A1 (fr) * | 2010-09-10 | 2012-03-15 | Thomson Licensing | Décodage du lien vers un bloc de référence dans une compression vidéo par recherche et classement basés sur un contenu d'image |
CN103155554A (zh) * | 2010-09-10 | 2013-06-12 | 汤姆逊许可公司 | 通过基于图像内容搜索和分级在视频压缩中对至参考块的链接进行编码 |
US9338477B2 (en) | 2010-09-10 | 2016-05-10 | Thomson Licensing | Recovering a pruned version of a picture in a video sequence for example-based data pruning using intra-frame patch similarity |
WO2012033965A1 (fr) * | 2010-09-10 | 2012-03-15 | Thomson Licensing | Décodage vidéo à l'aide d'un élagage de données par l'exemple |
WO2012033968A1 (fr) * | 2010-09-10 | 2012-03-15 | Thomson Licensing | Codage du lien vers un bloc de référence dans une compression vidéo par recherche et classement basés sur un contexte d'image |
WO2012033971A1 (fr) * | 2010-09-10 | 2012-03-15 | Thomson Licensing | Récupération d'une version élaguée d'une image dans une séquence vidéo pour un élagage de données par l'exemple à l'aide d'une similarité de correctifs intra-trames |
CN103155554B (zh) * | 2010-09-10 | 2018-08-10 | 汤姆逊许可公司 | 通过基于图像内容搜索和分级在视频压缩中对至参考块的链接进行编码 |
WO2014048946A1 (fr) * | 2012-09-26 | 2014-04-03 | Thomson Licensing | Procede et dispositif de prediction inter-image et procede et appareil de codage correspondants |
US9374597B2 (en) | 2012-09-26 | 2016-06-21 | Thomson Licensing | Inter-image prediction method and device and corresponding encoding method and device |
FR2991843A1 (fr) * | 2012-11-29 | 2013-12-13 | Thomson Licensing | Procede et dispositif de prediction inter-image et procede et appareil de codage correspondants |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6983018B1 (en) | Efficient motion vector coding for video compression | |
US6438168B2 (en) | Bandwidth scaling of a compressed video stream | |
KR100803611B1 (ko) | 영상의 부호화, 복호화 방법 및 장치 | |
US8270490B2 (en) | Motion vector detection apparatus, motion vector detection method, image encoding apparatus, image encoding method, and computer program | |
US7580456B2 (en) | Prediction-based directional fractional pixel motion estimation for video coding | |
US8855203B2 (en) | Video encoding apparatus and video decoding apparatus | |
FR2941581A1 (fr) | Codage et decodage d'une sequence d'images video par zones d'images | |
US8275035B2 (en) | Video coding apparatus | |
RU2654202C1 (ru) | Устройство прогнозирующего декодирования изображений, способ прогнозирующего декодирования изображений | |
RU2620719C2 (ru) | Устройство обработки изображения и способ обработки изображения | |
US9357219B2 (en) | Video encoding apparatus and video decoding apparatus | |
KR20180004819A (ko) | 화상 예측 부호화 장치, 화상 예측 복호 장치, 화상 예측 부호화 방법, 화상 예측 복호 방법, 화상 예측 부호화 프로그램, 및 화상 예측 복호 프로그램 | |
EP2446630B1 (fr) | Codage et décodage d'une séquence d'images vidéo par zones d'image | |
JP2013518453A (ja) | 各色平面について別個のビデオ・エンコーダ、ビデオ・デコーダ、ビデオ・エンコード方法およびビデオ・デコード方法 | |
KR20100046202A (ko) | 이미지들을 처리하기 위한 방법 및 그 대응하는 전자 장치 | |
US20090103620A1 (en) | Video encoding method and apparatus and video decoding method and apparatus | |
US20090028241A1 (en) | Device and method of coding moving image and device and method of decoding moving image | |
EP2842325A1 (fr) | Partitionnement de macrobloc et estimation de mouvement à l'aide d'une analyse d'objets pour une compression vidéo | |
Peng et al. | Hash-based line-by-line template matching for lossless screen image coding | |
JP2008301270A (ja) | 動画像符号化装置及び動画像符号化方法 | |
WO2019187096A1 (fr) | Procédé de décodage, dispositif de décodage, dispositif de codage et programme | |
AU2021203029B2 (en) | Image predictive encoding device, image predictive encoding method, image predictive encoding program, image predictive decoding device, image predictive decoding method, and image predictive decoding program | |
WO2022184110A1 (fr) | Procédé de codage d'image, dispositif électronique, support de stockage et support d'enregistrement | |
JP2005328457A (ja) | 動画像符号化装置、動画像復号化装置、コーデック装置、および、プログラム | |
JP4008846B2 (ja) | 画像符号化装置、画像符号化方法、画像符号化プログラム及びそのプログラムを記録した記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
ST | Notification of lapse |
Effective date: 20110930 |