FR2941581A1 - Codage et decodage d'une sequence d'images video par zones d'images - Google Patents

Codage et decodage d'une sequence d'images video par zones d'images Download PDF

Info

Publication number
FR2941581A1
FR2941581A1 FR0950520A FR0950520A FR2941581A1 FR 2941581 A1 FR2941581 A1 FR 2941581A1 FR 0950520 A FR0950520 A FR 0950520A FR 0950520 A FR0950520 A FR 0950520A FR 2941581 A1 FR2941581 A1 FR 2941581A1
Authority
FR
France
Prior art keywords
candidate
zone
decoded
sequence
decoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
FR0950520A
Other languages
English (en)
Inventor
Isabelle Amonou
Matthieu Moinard
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Orange SA
Original Assignee
France Telecom SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by France Telecom SA filed Critical France Telecom SA
Priority to FR0950520A priority Critical patent/FR2941581A1/fr
Publication of FR2941581A1 publication Critical patent/FR2941581A1/fr
Withdrawn legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

L'invention concerne un procédé de codage d'une séquence d'images vidéo comportant un découpage en zones d'au moins une image courante de la séquence, caractérisé en ce que, pour le codage d'au moins une zone cible (P) de ladite au moins une image courante, il comporte les étapes de : - détermination (E2) d'un ensemble ({Tn}) de zones candidates dans des parties préalablement codées puis décodées d'images de la séquence, minimisant une erreur de prédiction calculée sur le voisinage (T ) de la zone cible, - identification (E5) d'une meilleure zone candidate dans ledit ensemble, minimisant une erreur de reconstruction par rapport à la zone cible, - détermination d'une indication (m) représentative de ladite meilleure zone candidate identifiée.

Description

Codage et décodage d'une séquence d'images vidéo par zones d'image La présente invention concerne de manière générale le codage et le décodage de séquence d'images vidéo. Les codeurs vidéo actuels (normes MPEG, H264, ...) utilisent une représentation par blocs de la séquence vidéo. Les images sont découpées en macro-blocs, chaque macro-bloc est lui-même découpé en blocs et chaque bloc ou macro-bloc est codé par prédiction intra-images ou inter-images. L'invention s'applique dans le contexte de ce type de codage, mais aussi dans celui d'un codeur par régions (codage basé région dans la norme MPEG 4, JVT - ISO/IEC JTC1/SC29/WG11, "Text of ISO/IEC 14496-10:200X / FDIS Advanced Video Coding", Draft International Standard, w9198, 2007). L'invention concerne plus particulièrement la prédiction d'un bloc, d'un macrobloc, d'une région, ou de manière générale d'une zone de l'image à coder. Dans l'exemple du codeur H264, chaque macro-bloc/bloc codé comporte 20 un en-tête dans lequel sont consignées les informations générales pour le macrobloc/bloc, notamment :: • type de macrobloc (intra/inter/skip) • partition du macrobloc • transformée 25 • type de prédiction La prédiction est soit réalisé en mode intra, c'est-à-dire à partir de données de l'image en cours de codage, soit en mode inter, c'est-à-dire à partir d'une ou de plusieurs autres images de la séquence. 30 En mode intra, un macro-bloc ou un bloc est prédit à partir de son voisinage causal (les pixels adjacents qui ont déjà été codés puis décodés), selon neuf modes possibles : huit par recopie des pixels selon une orientation donnée et un pour la moyenne.
La prédiction spatiale est insuffisante à elle seule, d'où la nécessité de coder l'erreur de prédiction (le résidu). Pour cela, une transformée DCT est utilisée, suivie d'une quantification et d'un codage classique des coefficients. En mode inter, un macro-bloc ou un bloc est prédit à partir de son voisinage temporel, la norme H.264 utilise un déplacement au sens du mouvement. Un vecteur de mouvement est alors codé et transmis.
Par ailleurs, dans le domaine de la synthèse d'image, Wei et Levoy ont proposé la technique dite de "template matching" (ou prédiction markovienne des textures) pour synthétiser une image à partir d'une image source. On peut faire référence à l'article Wei, L. & Levoy, M. Akeley, K. (ed.) Fast Texture Synthesis Using Tree-Structured Vector Quantization Siggraph 2000, Computer Graphics Proceedings, ACM Press / ACM SIGGRAPH / Addison Wesley Longman, 2000, 479-488).
La technique de "template matching" est basée sur les corrélations entre pixels voisins. La valeur de chaque pixel (ou groupe de pixels) de l'image à synthétiser est déterminée en comparant chaque voisin de ce pixel avec tous les voisins d'une image source. Les voisins du pixel à synthétiser sont les pixels du voisinage causal, c'est-à-dire des pixels préalablement synthétisés. Le pixel (ou groupe de pixels) de l'image source avec le voisinage le plus similaire est assigné au pixel (ou groupe de pixels) correspondant de l'image à synthétiser. Les pixels sont synthétisés dans un ordre précis, généralement de haut en bas et de gauche à droite (ordre dit "raster scan"). Le plus proche voisinage dans l'image source est choisi sur des critères 25 de minimisation de l'erreur quadratique (en anglais : Sum of Square Difference) ou absolue (en anglais : Sum ofAbsolute Difference).
La méthode de "template matching" est une méthode de synthèse de données qui est utilisée comme alternative à la prédiction intra du codeur H264 30 (article Infra prediction by template matching de Tan et al, 2006 IEEE, pages 1693 à 1696). En pratique, un mode "template matching" est ajouté aux neuf autres modes de prédiction intra.
Dans l'article de Tan, la méthode de "template matching" est utilisée pour prédire les blocs de taille 4x4 pixels. Le bloc à prédire est considéré comme la cible (l'image à synthétiser), la source étant l'image partiellement décodée. Les gains en termes de débit s'élèvent jusqu'à 11%, avec un taux d'utilisation du nouveau mode de prédiction intra "template matching" de l'ordre de 30%. Dans le contexte de la compression vidéo, le concept du "template matching" a été amélioré (article Video Encoding Scheme Employing Intra and Inter Prediction Based on Averaged Template Matching Predictors de Suzuki et al., 2008, The Institute of Electronics, Information and Communication Engineers, pages 1127 à 1134). Suzuki et al. ont constaté que le meilleur candidat au sens de la méthode de "template matching" n'est pas forcément le meilleur représentant pour prédire l'image. À partir de cette constatation, Suzuki et al. ont adapté la méthode du template matching : une cible est prédite à partir de la moyenne des N meilleurs candidats. Avec cette méthode, la zone de travail est prédite par une pondération des quatre meilleurs candidats au sens de la méthode de "template matching". De ce fait, la prédiction a un rendu plus "flou" dû à l'effet moyenneur. Bien que la réduction de débit soit notable, cette amélioration de la méthode standard n'améliore pas, ou peu, la prédiction intra mais homogénéise le résidu.
Dans le cas de la prédiction inter-image, la méthode de "template matching" est utilisée pour estimer le mouvement d'un bloc ou macro-bloc d'une image à l'autre à partir de son voisinage (Suzuki, Y.; Boon, C. S. & Kato, S.
Block-Based Reduced Resolution Inter Frame Coding with Template Matching Prediction Image Processing, 2006 IEEE International Conference on, 2006, 1701-1704). L'objectif est de réduire l'information additionnelle nécessaire pour coder les vecteurs de mouvement. Pour chaque macro-bloc prédit temporellement, la méthode de "template matching" est comparée à l'approche standard par recherche et codage du vecteur de mouvement. Un critère débit-distorsion permet de déterminer la meilleure méthode.
La présente invention a pour but de résoudre les inconvénients de la technique antérieure. A cette fin, l'invention propose un procédé de codage d'une séquence d'images vidéo comportant un découpage en zones d'au moins une image 5 courante de la séquence, caractérisé en ce que, pour le codage d'au moins une zone cible de ladite au moins une image courante, il comporte les étapes de : - détermination d'un ensemble de zones candidates dans des parties préalablement codées puis décodées d'images de la séquence, minimisant une 10 erreur de prédiction calculée sur le voisinage de la zone cible, - identification d'une meilleure zone candidate dans ledit ensemble, minimisant une erreur de reconstruction par rapport à la zone cible, - détermination d'une indication représentative de ladite meilleure zone candidate identifiée. 15 Grâce à l'invention, la méthode dite de "template matching" est utilisée pour déterminer un ensemble de candidat pour prédire une zone d'image. On travaille donc sur un voisinage de la zone à prédire. Ensuite, le meilleur candidat parmi cet ensemble est déterminé, mais sans la méthode de "template matching". La détermination du meilleur candidat 20 repose sur un calcul d'erreur de prédiction effectué sur la zone elle-même, et non plus sur son voisinage. Selon une caractéristique préférée, la détermination de l'ensemble de zones candidates est effectuée à partir de zones déjà codées et décodées de l'image courante. 25 Il s'agit alors d'un mode de codage "intra" selon lequel on utilise une prédiction spatiale. Selon une autre caractéristique préférée alternative, la détermination de l'ensemble de zones candidates est effectuée à partir de zones d'images codées et décodées préalablement à l'image courante. 30 Il s'agit dans ce cas d'un mode de codage "inter" selon lequel on utilise une prédiction temporelle.
Ainsi, l'invention s'applique aussi bien à un codage "intra" qu'à un codage "inter". Selon une caractéristique préférée, la détermination de l'ensemble de zones candidates est suivie d'une étape additionnelle de raffinement de cet ensemble, selon laquelle des zones candidates redondantes sont supprimées de l'ensemble. Ainsi, on limite le nombre de zones candidates et par conséquent le coût de codage de l'indication de la meilleure zone candidate, sans pour autant nuire à la qualité du codage. Ce raffinement est optionnel.
Selon une caractéristique préférée, l'ensemble des zones candidates est ordonné selon un critère prédéterminé et en ce que l'indication représentative de ladite meilleure zone candidate identifiée est un indice dépendant de son ordre dans l'ensemble. Cet indice fait partie des données de codage.
L'invention concerne aussi un procédé de décodage d'une séquence d'images vidéo comportant un découpage en zones d'au moins une image courante de la séquence, caractérisé en ce que, pour le décodage d'au moins une zone cible à décoder de ladite au moins une image courante, il comporte les étapes de : - détermination d'un ensemble de zones candidates dans des parties préalablement codées puis décodées d'images de la séquence, minimisant une erreur de prédiction calculée sur le voisinage de la zone cible, - lecture d'une indication représentative d'une meilleure zone candidate minimisant une erreur de reconstruction par rapport à ladite zone cible, - reconstruction de la zone à décoder à partir de la meilleure zone candidate. Le procédé de décodage comporte des étapes très similaires à celles du procédé de codage. Selon une caractéristique préférée, la détermination de l'ensemble de 30 zones candidates est effectuée à partir de zones déjà décodées de l'image courante.
Selon une autre caractéristique préférée alternative, la détermination de l'ensemble de zones candidates est effectuée à partir de zones d'images décodées préalablement à l'image courante. Ces deux alternatives correspondent aux cas de codage/décodage "intra" et "inter". Bien sûr, le même mode est utilisé au codage et au décodage. Selon une caractéristique préférée, la détermination de l'ensemble de zones candidates est suivie d'une étape additionnelle de raffinement de cet ensemble, selon laquelle des zones candidates redondantes sont supprimées de l'ensemble.
Ce raffinement est mis en oeuvre au décodage si un raffinement similaire a été effectué au codage. Selon une caractéristique préférée, l'ensemble des zones candidates est ordonné selon un critère prédéterminé. Cela permet de retrouver la meilleure zone candidate, grâce à l'indice qui 15 fait partie des données de codage. L'invention concerne encore un dispositif de codage d'une séquence d'images vidéo comportant un découpage en zones d'au moins une image courante de la séquence, caractérisé en ce que, pour le codage d'au moins une zone cible de 20 ladite au moins une image courante, il comporte : - des moyens de détermination d'un ensemble de zones candidates dans des parties préalablement codées puis décodées d'images de la séquence, minimisant une erreur de prédiction calculée sur le voisinage de la zone cible, - des moyens d'identification d'une meilleure zone candidate dans ledit 25 ensemble, minimisant une erreur de reconstruction par rapport à la zone cible, - des moyens de détermination d'une indication représentative de ladite meilleure zone candidate identifiée.
L'invention concerne aussi un dispositif de décodage d'une séquence 30 d'images vidéo comportant un découpage en zones d'au moins une image courante de la séquence, caractérisé en ce que, pour le décodage d'au moins une zone cible à décoder de ladite au moins une image courante, il comporte : - des moyens de détermination d'un ensemble de zones candidates dans des parties préalablement codées puis décodées d'images de la séquence, minimisant une erreur de prédiction calculée sur le voisinage de la zone cible, - des moyens de lecture d'une indication représentative d'une meilleure zone candidate minimisant une erreur de reconstruction par rapport à ladite zone cible, - des moyens de reconstruction de la zone à décoder à partir de la meilleure zone candidate. Les dispositifs de codage et de décodage présentent des avantages analogues à ceux des procédés.
L'invention concerne encore des programmes d'ordinateur comportant 15 des instructions de mise en oeuvre des procédés précédemment présentés.
D'autres caractéristiques et avantages apparaîtront à la lecture de modes de réalisation préférés décrits en référence aux figures dans lesquelles : - la figure 1 représente un mode de réalisation de procédé de codage 20 selon l'invention, - la figure 2 représente une image en cours de codage par le procédé selon l'invention, - la figure 3 représente un mode de réalisation de procédé de décodage selon l'invention, 25 - la figure 4 représente un mode de réalisation de dispositif de codage selon l'invention, - la figure 5 représente un mode de réalisation de dispositif de décodage selon l'invention.
30 Selon un mode de réalisation de l'invention représenté à la figure 1, le procédé de codage de séquence d'images vidéo comporte des étapes El à E7.
Les images sont codées les unes après les autres. Pour une image à coder, au moins une zone à coder est préalablement formée dans l'image. Cette zone peut être un bloc de pixels, un macro-bloc ou plus généralement une région. Dans la suite, on considère plus particulièrement le cas ou des blocs sont formés dans l'image. Une image est codée bloc par bloc. Pour un bloc à coder, dit bloc cible, les étapes El à E7 sont mises en oeuvre. L'étape El est la sélection d'un bloc à coder P, dit bloc cible. Le bloc cible est de taille prédéterminé. Le voisinage Tp du bloc cible est également considéré. Le voisinage est un ensemble prédéterminé de pixels voisins du bloc cible. Le voisinage du bloc cible est un masque causal. Ainsi, pour un bloc cible de taille 2x2 pixels, le masque causal est par exemple l'ensemble des cinq pixels qui bordent le bloc cible sur sa gauche et au-dessus de lui. Selon un autre exemple, le masque causal qui sert de voisinage au sens de l'invention comporte les douze pixels qui forment une bordure de deux pixels d'épaisseur sur la gauche et au-dessus du bloc cible de 2x2 pixels. Bien-sûr, d'autres formes et tailles de bloc cible et de voisinage sont utilisables selon l'invention. L'étape suivante E2 est la recherche des N zones candidates Tn les plus proches de la zone de voisinage Tp. A cette étape, on travaille sur les voisinages, comme dans la méthode dite de "template matching". La recherche est faite parmi des parties d'images déjà codées et décodées. Dans un mode dit "intra", la recherche des zones candidates est faite dans la partie de l'image courante préalablement codée puis décodée par rapport à la zone de voisinage courante, comme représenté à la figure 2. Dans un mode dit "inter", la recherche est faite dans les images codées puis décodées, préalablement à l'image courante. La figure 2 représente l'image IM en cours de codage. Une partie IMI de l'image est déjà codée et sert de source pour les zones candidates. Une partie IM2 n'est pas encore codée. On considère un ordre de parcours de type "raster scan", mais d'autres parcours sont possibles. La méthode de recherche est basée sur les corrélations entre zones candidates et la zone de voisinage. Les zones candidates sont sélectionnées par exemple en fonction d'une minimisation d'erreur quadratique ou absolue entre la zone candidate et le voisinage de la zone cible.
Selon une variante, L'étape E2 est suivie de l'étape E3 qui est un raffinement de l'ensemble des zones candidates. A cette étape, on mesure les corrélations entre zones candidates. Si une zone candidate est fortement corrélée à une autre, elle est redondante et elle est supprimée de l'ensemble.
L'étape E2 ou l'étape E3 lorsqu'elle est mise en oeuvre est suivie de l'étape E4 à laquelle l'ensemble des zones candidates est ordonné selon un critère prédéterminé. Par exemple, cet ensemble est trié de la zone candidate la plus proche du voisinage de la zone cible à la zone candidate la moins proche. Un indice est affecté à chaque zone candidate de l'ensemble.
L'étape suivante E5 est la recherche de la zone candidate qui minimise une erreur de reconstruction par rapport au bloc cible. A cette étape, on ne considère plus les zones de voisinage, mais les blocs. Un bloc correspond à une zone de voisinage de manière unique qui dépend de la façon dont ont été construits les voisinages. La recherche est basée sur les corrélations entre bloc candidat et bloc cible. Un bloc candidat est sélectionné en fonction d'une minimisation d'erreur quadratique ou absolue entre les blocs candidats et le bloc cible. On note m l'indice du bloc candidat qui est sélectionné à l'étape E5.
L'étape suivante E6 est le codage de l'indice m du bloc candidat précédemment sélectionné. Comme les zones candidates ont été ordonnées, il est plus probable que le bloc candidat sélectionné soit parmi les premiers de l'ensemble ordonné. Les indices n'ont donc pas la même probabilité d'être utilisés. En attribuant une probabilité d'apparition à chaque indice de l'ensemble, le coût de codage de l'indice m est réduit grâce à un codeur entropique classique.
Il est à noter que le nombre N d'éléments dans cet ensemble est déterminé en fonction d'un compromis. Si le nombre N est trop petit, le meilleur candidat risque de ne pas être sélectionné dans l'ensemble. Si le nombre N est trop grand, le coût de codage de l'indice m risque d'être trop important pour espérer un gain de débit. L'étape suivante E7 est la reconstruction du bloc cible à partir du bloc candidat sélectionné à l'étape E5. La reconstruction du bloc cible comporte tout d'abord la prédiction du bloc cible, c'est-à-dire la recopie des données depuis le voisinage de la zone candidate vers le bloc cible. Puis la reconstruction du bloc cible comporte le calcul d'un résidu entre le bloc cible et le bloc prédit. Ce résidu est codé puis décodé afin d'être ajouté à la prédiction pour constituer le bloc reconstruit. Le bloc reconstruit enrichi la source des blocs utilisables pour coder un bloc suivant.
Selon un mode de réalisation de l'invention représenté à la figure 3, le procédé de décodage de séquence d'images vidéo comporte des étapes E10 à El 5. Les images sont décodées les unes après les autres. Pour une image à décoder, au moins une zone à décoder est préalablement considérée dans l'image. Cette zone peut être un bloc de pixels, un macro-bloc ou plus généralement une région. Dans la suite, on considère plus particulièrement le cas ou des blocs sont formés dans l'image. Une image est décodée bloc par bloc. Pour un bloc à décoder, dit bloc cible, les étapes E10 à E15 sont mises en oeuvre. Les étapes E10 à E13 sont très similaires respectivement aux étapes El à E4 précédemment décrite. L'étape E10 est la sélection d'un bloc à décoder P, dit bloc cible. Le bloc cible est de taille prédéterminé. Le voisinage Tp du bloc cible est également considéré. Le voisinage est identique à celui qui a été considéré pour le codage.
L'étape suivante E11 est la recherche des N zones candidates Tn les plus proches de la zone de voisinage Tp. A cette étape, on travaille sur les voisinages, comme dans la méthode dite de "template matching". La recherche est faite parmi des parties d'images déjà décodées. Dans un mode dit "intra", la recherche des zones candidates est faite dans la partie de l'image courante préalablement décodée par rapport à la zone de voisinage courante. Dans un mode dit "inter", la recherche est faite dans les images décodées préalablement à l'image courante. La méthode de recherche est basée sur les corrélations entre zones candidates et la zone de voisinage. Les zones candidates sont sélectionnées par exemple en fonction d'une minimisation d'erreur quadratique ou absolue entre la zone candidate et le voisinage de la zone cible.
Selon une variante, L'étape E11 est suivie de l'étape E12 qui est un raffinement de l'ensemble des zones candidates. A cette étape, on mesure les corrélations entre zones candidates. Si une zone candidate est fortement corrélée à une autre, elle est redondante et elle est supprimée de l'ensemble. Ce raffinement est effectué si l'étape similaire de raffinement a été effectuée lors du codage préalable.
L'étape E11 ou l'étape E12 lorsqu'elle est mise en oeuvre est suivie de l'étape E13 à laquelle l'ensemble des zones candidates est ordonné selon un critère prédéterminé. Par exemple, cet ensemble est trié de la zone candidate la plus proche de la zone cible à la zone candidate la moins proche.
L'étape E14 est le décodage de l'indice m. Ce décodage dépend du codage de l'indice qui a été effectué à l'étape E6. Les étapes E13 et E14 sont suivies de l'étape E15 qui est la reconstruction du bloc cible à partir du bloc candidat identifié par l'indice m.
Cette étape comporte une prédiction du bloc cible et un décodage du résidu qui est ajouté au résultat de la prédiction. Le bloc reconstruit fait ensuite partie des données qui peuvent être utilisées pour la prédiction de blocs suivants.
Les figures 4 et 5 représentent les structures simplifiées d'un dispositif de codage et d'un dispositif de décodage mettant respectivement en oeuvre une technique de codage et une technique de décodage telles que décrites ci- dessus. Un dispositif de codage tel qu'illustré en figure 4 comprend une mémoire 61 comprenant une mémoire tampon, une unité de traitement 62, équipée par exemple d'un microprocesseur, et pilotée par le programme d'ordinateur 63, mettant en oeuvre le procédé de codage selon l'invention.
A l'initialisation, les instructions de code du programme d'ordinateur 63 sont par exemple chargées dans une mémoire RAM avant d'être exécutées par le processeur de l'unité de traitement 62. L'unité de traitement 62 reçoit une image courante à coder. Le microprocesseur de l'unité de traitement 62 met en oeuvre les étapes du procédé de codage décrit précédemment, selon les instructions du programme d'ordinateur 63, pour coder l'image courante. Pour le codage d'au moins une zone cible de ladite au moins une image courante, le dispositif de codage comprend, outre la mémoire tampon 61 : - des moyens de détermination d'un ensemble de zones candidates dans des parties préalablement codées puis décodées d'images de la séquence, minimisant une erreur de prédiction calculée sur le voisinage de la zone cible, - des moyens d'identification d'une meilleure zone candidate dans ledit ensemble, minimisant une erreur de reconstruction par rapport à la zone cible, - des moyens de détermination d'une indication représentative de ladite meilleure zone candidate identifiée.
Ces moyens sont pilotés par le microprocesseur de l'unité de traitement 62. Un dispositif de décodage tel qu'illustré en figure 5 comprend une mémoire 71 comprenant une mémoire tampon, une unité de traitement 72, équipée par exemple d'un microprocesseur, et pilotée par le programme d'ordinateur 73, mettant en oeuvre le procédé de décodage selon l'invention. A l'initialisation, les instructions de code du programme d'ordinateur 73 sont par exemple chargées dans une mémoire RAM avant d'être exécutées par le processeur de l'unité de traitement 72. L'unité de traitement 72 reçoit en entrée un signal représentatif d'au moins une image codée. Le microprocesseur de l'unité de traitement 72 met en oeuvre les étapes du procédé de décodage décrit précédemment, selon les instructions du programme d'ordinateur 73, pour déterminer reconstruire l'image courante. Pour le décodage d'au moins une zone cible à décoder de ladite au moins une image courante, le dispositif de décodage comprend, outre la mémoire tampon 71 : - des moyens de détermination d'un ensemble de zones candidates dans des parties préalablement codées puis décodées d'images de la séquence, minimisant une erreur de prédiction calculée sur le voisinage de la zone cible, - des moyens de lecture d'une indication représentative d'une meilleure zone candidate minimisant une erreur de reconstruction par rapport à ladite zone cible, - des moyens de reconstruction de la zone à décoder à partir de la 15 meilleure zone candidate. Ces moyens sont pilotés par le microprocesseur de l'unité de traitement 72. 20

Claims (14)

  1. REVENDICATIONS1. Procédé de codage d'une séquence d'images vidéo comportant un découpage en zones d'au moins une image courante de la séquence, caractérisé en ce que, pour le codage d'au moins une zone cible de ladite au moins une image courante, il comporte les étapes de : - détermination d'un ensemble de zones candidates dans des parties 10 préalablement codées puis décodées d'images de la séquence, minimisant une erreur de prédiction calculée sur le voisinage de la zone cible, - identification d'une meilleure zone candidate dans ledit ensemble, minimisant une erreur de reconstruction par rapport à la zone cible, - détermination d'une indication représentative de ladite meilleure zone 15 candidate identifiée.
  2. 2. Procédé de codage selon la revendication 1, caractérisé en ce que la détermination de l'ensemble de zones candidates est effectuée à partir de zones déjà codées et décodées de l'image courante.
  3. 3. Procédé de codage selon la revendication 1, caractérisé en ce que la détermination de l'ensemble de zones candidates est effectuée à partir de zones d'images codées et décodées préalablement à l'image courante. 25
  4. 4. Procédé de codage selon l'une quelconques des revendications 1 à 3, caractérisé en ce que la détermination de l'ensemble de zones candidates est suivie d'une étape additionnelle de raffinement de cet ensemble, selon laquelle des zones candidates redondantes sont supprimées de l'ensemble. 30
  5. 5. Procédé de codage selon l'une quelconques des revendications 1 à 4, caractérisé en ce que l'ensemble des zones candidates est ordonné selon un critère prédéterminé et en ce que l'indication représentative de ladite meilleure 20zone candidate identifiée est un indice dépendant de son ordre dans l'ensemble.
  6. 6. Procédé de décodage d'une séquence d'images vidéo comportant un découpage en zones d'au moins une image courante de la séquence, caractérisé en ce que, pour le décodage d'au moins une zone cible à décoder de ladite au moins une image courante, il comporte les étapes de : - détermination d'un ensemble de zones candidates dans des parties préalablement codées puis décodées d'images de la séquence, minimisant une erreur de prédiction calculée sur le voisinage de la zone cible, - lecture d'une indication représentative d'une meilleure zone candidate minimisant une erreur de reconstruction par rapport à ladite zone cible, - reconstruction de la zone à décoder à partir de la meilleure zone candidate.
  7. 7. Procédé de décodage selon la revendication 6, caractérisé en ce que la détermination de l'ensemble de zones candidates est effectuée à partir de zones déjà décodées de l'image courante.
  8. 8. Procédé de décodage selon la revendication 6, caractérisé en ce que la détermination de l'ensemble de zones candidates est effectuée à partir de zones d'images décodées préalablement à l'image courante.
  9. 9. Procédé de décodage selon l'une quelconques des revendications 6 à 8, caractérisé en ce que la détermination de l'ensemble de zones candidates est suivie d'une étape additionnelle de raffinement de cet ensemble, selon laquelle des zones candidates redondantes sont supprimées de l'ensemble.
  10. 10. Procédé de décodage selon l'une quelconques des revendications 6 30 à 9, caractérisé en ce que l'ensemble des zones candidates est ordonné selon un critère prédéterminé.
  11. 11. Dispositif de codage d'une séquence d'images vidéo comportant un découpage en zones d'au moins une image courante de la séquence, caractérisé en ce que, pour le codage d'au moins une zone cible de ladite au moins une image courante, il comporte : - des moyens de détermination d'un ensemble de zones candidates dans des parties préalablement codées puis décodées d'images de la séquence, minimisant une erreur de prédiction calculée sur le voisinage de la zone cible, - des moyens d'identification d'une meilleure zone candidate dans ledit ensemble, minimisant une erreur de reconstruction par rapport à la zone cible, - des moyens de détermination d'une indication représentative de ladite meilleure zone candidate identifiée.
  12. 12. Dispositif de décodage d'une séquence d'images vidéo comportant un découpage en zones d'au moins une image courante de la séquence, caractérisé en ce que, pour le décodage d'au moins une zone cible à décoder de ladite au moins une image courante, il comporte : - des moyens de détermination d'un ensemble de zones candidates dans des parties préalablement codées puis décodées d'images de la séquence, minimisant une erreur de prédiction calculée sur le voisinage de la zone cible, - des moyens de lecture d'une indication représentative d'une meilleure zone candidate minimisant une erreur de reconstruction par rapport à ladite zone cible, - des moyens de reconstruction de la zone à décoder à partir de la meilleure zone candidate.
  13. 13. Programme d'ordinateur comportant des instructions pour la mise en oeuvre du procédé de codage selon l'une quelconque des revendications 1 à 5 lorsque ledit programme est exécuté par un processeur.30
  14. 14. Programme d'ordinateur comportant des instructions pour la mise en oeuvre du procédé de décodage selon l'une quelconque des revendications 6 à 10 lorsque ledit programme est exécuté par un processeur.5
FR0950520A 2009-01-28 2009-01-28 Codage et decodage d'une sequence d'images video par zones d'images Withdrawn FR2941581A1 (fr)

Priority Applications (1)

Application Number Priority Date Filing Date Title
FR0950520A FR2941581A1 (fr) 2009-01-28 2009-01-28 Codage et decodage d'une sequence d'images video par zones d'images

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
FR0950520A FR2941581A1 (fr) 2009-01-28 2009-01-28 Codage et decodage d'une sequence d'images video par zones d'images

Publications (1)

Publication Number Publication Date
FR2941581A1 true FR2941581A1 (fr) 2010-07-30

Family

ID=41260018

Family Applications (1)

Application Number Title Priority Date Filing Date
FR0950520A Withdrawn FR2941581A1 (fr) 2009-01-28 2009-01-28 Codage et decodage d'une sequence d'images video par zones d'images

Country Status (1)

Country Link
FR (1) FR2941581A1 (fr)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012033965A1 (fr) * 2010-09-10 2012-03-15 Thomson Licensing Décodage vidéo à l'aide d'un élagage de données par l'exemple
WO2012033971A1 (fr) * 2010-09-10 2012-03-15 Thomson Licensing Récupération d'une version élaguée d'une image dans une séquence vidéo pour un élagage de données par l'exemple à l'aide d'une similarité de correctifs intra-trames
WO2012033968A1 (fr) * 2010-09-10 2012-03-15 Thomson Licensing Codage du lien vers un bloc de référence dans une compression vidéo par recherche et classement basés sur un contexte d'image
FR2991843A1 (fr) * 2012-11-29 2013-12-13 Thomson Licensing Procede et dispositif de prediction inter-image et procede et appareil de codage correspondants
WO2014048946A1 (fr) * 2012-09-26 2014-04-03 Thomson Licensing Procede et dispositif de prediction inter-image et procede et appareil de codage correspondants
US9544598B2 (en) 2010-09-10 2017-01-10 Thomson Licensing Methods and apparatus for pruning decision optimization in example-based data pruning compression
US9602814B2 (en) 2010-01-22 2017-03-21 Thomson Licensing Methods and apparatus for sampling-based super resolution video encoding and decoding
US9813707B2 (en) 2010-01-22 2017-11-07 Thomson Licensing Dtv Data pruning for video compression using example-based super-resolution

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080159401A1 (en) * 2007-01-03 2008-07-03 Samsung Electronics Co., Ltd. Method and apparatus for estimating motion vector using plurality of motion vector predictors, encoder, decoder, and decoding method
US20090180538A1 (en) * 2008-01-16 2009-07-16 The Regents Of The University Of California Template matching scheme using multiple predictors as candidates for intra-prediction

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080159401A1 (en) * 2007-01-03 2008-07-03 Samsung Electronics Co., Ltd. Method and apparatus for estimating motion vector using plurality of motion vector predictors, encoder, decoder, and decoding method
US20090180538A1 (en) * 2008-01-16 2009-07-16 The Regents Of The University Of California Template matching scheme using multiple predictors as candidates for intra-prediction

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
JOEL JUNG ET AL: "Competition-Based Scheme for Motion Vector Selection and Coding", JOINT VIDEO TEAM (JVT) OF ISO/IEC MPEG & ITU-T VCEG(ISO/IEC JTC1/SC29/WG11 AND ITU-T SG16 Q6), no. VCEG-AC06r1, 2 August 2006 (2006-08-02), XP030003490 *
STEFFEN KAMP ET AL: "Decoder side motion vector derivation for inter frame video coding", IMAGE PROCESSING, 2008. ICIP 2008. 15TH IEEE INTERNATIONAL CONFERENCE, IEEE, PISCATAWAY, NJ, USA, 12 October 2008 (2008-10-12), pages 1120 - 1123, XP031374203, ISBN: 978-1-4244-1765-0 *
THIOW KENG TAN ET AL: "Intra Prediction by Averaged Template Matching Predictors", CONSUMER COMMUNICATIONS AND NETWORKING CONFERENCE, 2007. CCNC 2007. 20 07 4TH IEEE, IEEE, PI, 1 January 2007 (2007-01-01), pages 405 - 409, XP031087817, ISBN: 978-1-4244-0667-8 *
YANG J ET AL: "Motion Vector Coding with Optimal PMV Selection", 35. VCEG MEETING; 85. MPEG MEETING; 16-7-2008 - 18-7-2008; BERLIN; (VIDEO CODING EXPERTS GROUP OF ITU-T SG.16),, 18 July 2008 (2008-07-18), XP030003587 *
YOSHINORI SUZUKI ET AL: "Inter Frame Coding with Template Matching Averaging", IMAGE PROCESSING, 2007. ICIP 2007. IEEE INTERNATIONAL CONFERENCE ON, IEEE, PI, 1 September 2007 (2007-09-01), pages III - 409, XP031158091, ISBN: 978-1-4244-1436-9 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9602814B2 (en) 2010-01-22 2017-03-21 Thomson Licensing Methods and apparatus for sampling-based super resolution video encoding and decoding
US9813707B2 (en) 2010-01-22 2017-11-07 Thomson Licensing Dtv Data pruning for video compression using example-based super-resolution
US9544598B2 (en) 2010-09-10 2017-01-10 Thomson Licensing Methods and apparatus for pruning decision optimization in example-based data pruning compression
WO2012033969A1 (fr) * 2010-09-10 2012-03-15 Thomson Licensing Décodage du lien vers un bloc de référence dans une compression vidéo par recherche et classement basés sur un contenu d'image
CN103155554A (zh) * 2010-09-10 2013-06-12 汤姆逊许可公司 通过基于图像内容搜索和分级在视频压缩中对至参考块的链接进行编码
US9338477B2 (en) 2010-09-10 2016-05-10 Thomson Licensing Recovering a pruned version of a picture in a video sequence for example-based data pruning using intra-frame patch similarity
WO2012033965A1 (fr) * 2010-09-10 2012-03-15 Thomson Licensing Décodage vidéo à l'aide d'un élagage de données par l'exemple
WO2012033968A1 (fr) * 2010-09-10 2012-03-15 Thomson Licensing Codage du lien vers un bloc de référence dans une compression vidéo par recherche et classement basés sur un contexte d'image
WO2012033971A1 (fr) * 2010-09-10 2012-03-15 Thomson Licensing Récupération d'une version élaguée d'une image dans une séquence vidéo pour un élagage de données par l'exemple à l'aide d'une similarité de correctifs intra-trames
CN103155554B (zh) * 2010-09-10 2018-08-10 汤姆逊许可公司 通过基于图像内容搜索和分级在视频压缩中对至参考块的链接进行编码
WO2014048946A1 (fr) * 2012-09-26 2014-04-03 Thomson Licensing Procede et dispositif de prediction inter-image et procede et appareil de codage correspondants
US9374597B2 (en) 2012-09-26 2016-06-21 Thomson Licensing Inter-image prediction method and device and corresponding encoding method and device
FR2991843A1 (fr) * 2012-11-29 2013-12-13 Thomson Licensing Procede et dispositif de prediction inter-image et procede et appareil de codage correspondants

Similar Documents

Publication Publication Date Title
US6983018B1 (en) Efficient motion vector coding for video compression
US6438168B2 (en) Bandwidth scaling of a compressed video stream
KR100803611B1 (ko) 영상의 부호화, 복호화 방법 및 장치
US8270490B2 (en) Motion vector detection apparatus, motion vector detection method, image encoding apparatus, image encoding method, and computer program
US7580456B2 (en) Prediction-based directional fractional pixel motion estimation for video coding
US8855203B2 (en) Video encoding apparatus and video decoding apparatus
FR2941581A1 (fr) Codage et decodage d'une sequence d'images video par zones d'images
US8275035B2 (en) Video coding apparatus
RU2654202C1 (ru) Устройство прогнозирующего декодирования изображений, способ прогнозирующего декодирования изображений
RU2620719C2 (ru) Устройство обработки изображения и способ обработки изображения
US9357219B2 (en) Video encoding apparatus and video decoding apparatus
KR20180004819A (ko) 화상 예측 부호화 장치, 화상 예측 복호 장치, 화상 예측 부호화 방법, 화상 예측 복호 방법, 화상 예측 부호화 프로그램, 및 화상 예측 복호 프로그램
EP2446630B1 (fr) Codage et décodage d'une séquence d'images vidéo par zones d'image
JP2013518453A (ja) 各色平面について別個のビデオ・エンコーダ、ビデオ・デコーダ、ビデオ・エンコード方法およびビデオ・デコード方法
KR20100046202A (ko) 이미지들을 처리하기 위한 방법 및 그 대응하는 전자 장치
US20090103620A1 (en) Video encoding method and apparatus and video decoding method and apparatus
US20090028241A1 (en) Device and method of coding moving image and device and method of decoding moving image
EP2842325A1 (fr) Partitionnement de macrobloc et estimation de mouvement à l'aide d'une analyse d'objets pour une compression vidéo
Peng et al. Hash-based line-by-line template matching for lossless screen image coding
JP2008301270A (ja) 動画像符号化装置及び動画像符号化方法
WO2019187096A1 (fr) Procédé de décodage, dispositif de décodage, dispositif de codage et programme
AU2021203029B2 (en) Image predictive encoding device, image predictive encoding method, image predictive encoding program, image predictive decoding device, image predictive decoding method, and image predictive decoding program
WO2022184110A1 (fr) Procédé de codage d'image, dispositif électronique, support de stockage et support d'enregistrement
JP2005328457A (ja) 動画像符号化装置、動画像復号化装置、コーデック装置、および、プログラム
JP4008846B2 (ja) 画像符号化装置、画像符号化方法、画像符号化プログラム及びそのプログラムを記録した記録媒体

Legal Events

Date Code Title Description
ST Notification of lapse

Effective date: 20110930