EP2232869A1 - Codage de mouvement sans transmission d' information de mouvement, et decodage - Google Patents

Codage de mouvement sans transmission d' information de mouvement, et decodage

Info

Publication number
EP2232869A1
EP2232869A1 EP08858284A EP08858284A EP2232869A1 EP 2232869 A1 EP2232869 A1 EP 2232869A1 EP 08858284 A EP08858284 A EP 08858284A EP 08858284 A EP08858284 A EP 08858284A EP 2232869 A1 EP2232869 A1 EP 2232869A1
Authority
EP
European Patent Office
Prior art keywords
motion
information
candidate
image portion
current image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
EP08858284A
Other languages
German (de)
English (en)
Inventor
Joël JUNG
Guillaume Laroche
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Orange SA
Original Assignee
France Telecom SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by France Telecom SA filed Critical France Telecom SA
Publication of EP2232869A1 publication Critical patent/EP2232869A1/fr
Ceased legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder

Definitions

  • the present invention relates to image coding and decoding techniques and more particularly to the encoding and decoding of the motion.
  • the current image portion is represented by chrominance luminance information and motion information between that current image portion and a reference image portion. This makes it possible to exploit the temporal correlations between the images.
  • the motion information includes one or more components such as a translational motion vector, a rotation, a pixellic component, and a subpixel component.
  • the encoding generally includes determining information for the reconstruction of the motion components. For example, a prediction of a motion vector is performed and the information for reconstruction includes the identifier of the prediction function used as well as a residue corresponding to the difference between the prediction and the original motion vector.
  • the information for the reconstruction also includes other information of various types that make it possible to obtain the components of the movement at the decoder.
  • this information is called related or "side information" and includes size parameters, function identifiers to use or other.
  • This information for the reconstruction is transmitted to the decoder.
  • the decoder reconstructs the different components of the estimated motion, i.e. applies the inverse prediction, combines the result with the residue and the related information.
  • the decoder then applies the motion components with the reference image portion and combines the result with the luminance and chrominance information to obtain the decoded picture.
  • the motion components are information whose size increases with the resolution of the images and the information for the reconstruction of these components occupies a significant part of the bandwidth.
  • An object of the present invention is to improve this situation by making it possible to transmit motion information using less bandwidth.
  • an object of the present invention is a method of encoding at least a portion of a current image comprising a motion estimation between the current image portion and a plurality of candidate image portions to form images.
  • motion components evaluating a performance criterion for each candidate image portion, selecting a reference image portion from the candidate image portions using said performance criteria, and coding information in an output stream to a decoder, characterized in that, for at least one motion component, the motion estimation, the evaluation of performance criteria and the selection of a portion of a reference image use only information considered as available at said decoder and no motion information is inserted into said output stream.
  • another object of the invention is a method of decoding at least a portion of a current image characterized in that it comprises a reception of a coding information stream of the portion of current image, a motion estimation for the current image portion from a plurality of candidate reference image portions and already decoded image portions, to form corresponding motion components, an evaluation of a performance criterion for each candidate image portion, selecting from said candidate image portions using said criteria to obtain said image portion reference and decoding of the current image portion from said reference portion and corresponding motion components.
  • the encoder uses only information available at the decoder and the decoder reproduces the calculations made at the coder. Consequently, for at least one motion component, no reconstruction information of said component must be transmitted, which saves bandwidth.
  • said estimation delivers several motion components and the method further comprises an information determination for the reconstruction of at least one of said motion components and the insertion of this information for the reconstruction in the stream. Release.
  • the decoding method comprises receiving the reconstruction information and corresponding reconstruction of a motion component.
  • the motion estimation and the evaluation of the performance criteria use correlations between fragments of the candidate picture portions and corresponding fragments that are neighbors and distinct from the portion of the picture. current image.
  • the motion estimation and the evaluation of the performance criteria use correlations between neighboring and distinct fragments of the candidate image portions and corresponding and distinct corresponding fragments. of the current image portion.
  • the invention also relates to computer programs and devices corresponding to these coding and decoding methods.
  • FIG. 1 is a diagram showing two stations in communication respectively provided with an encoder and a video decoder
  • FIG. 2 is a flowchart of the coding method according to one embodiment of the invention
  • FIGS. 3A, 3B and 3C show various embodiments of a particular step of the coding method
  • FIG. 4 is a flowchart of the decoding method according to one embodiment of the invention.
  • the invention is applicable to any system for coding and decoding images, such as, for example, the system shown with reference to FIG. 1.
  • This system allows the coding of a video sequence of a digital television stream F and its transmission from a transmitter 1 containing a video encoder 2 comprising a controller or computer 3 associated with a memory 4.
  • the transmission is provided to a receiving station 5 containing a decoder 6 also comprising a controller or computer 7 and a memory 8 .
  • the transmitter 1 comprises an antenna transmitting on a digital television radio channel a data stream ⁇ in a format such as the so-called DVB format and the station 5 is a personal computer.
  • the method of the invention will now be described at the coding level.
  • the encoder 2 receives the stream F of image data of a video sequence. This stream is processed to encode each image or image portion.
  • image portion generally refers to an element of the video sequence. Depending on the standards used, the term image may be replaced by the term frame and the term portion by the term block or macroblock.
  • the coding method begins with a motion estimation step 10 between the current image portion and candidate image portions.
  • the candidate image portions are, for example, the portions corresponding to or close to the portion of the current image in a previous image.
  • Motion components such as motion vectors are obtained through estimation 10 for each candidate image portion.
  • motion estimation implements only information considered as available to the decoder.
  • information considered available to the decoder means information which the coder estimates or knows that they have been decoded. This is information previously transmitted and for which no error message has been received or for which a positive acknowledgment of receipt has been received, or information stored in both the encoder and the decoder.
  • the motion estimation is based on a technique called pairing or correlation of blocks or lines (in English "block / line matching").
  • a motion vector Vmvt is estimated by considering blocks or lines L of the candidate image portion that are found in distinct but neighboring portions. of the portion to be coded CODE on the current picture I (N).
  • These distinct and adjacent portions are image portions already transmitted and which the encoder believes are available at the decoder.
  • the motion estimation is based on correlations between "pattern matching" contours of image fragments belonging to the CAND candidate image portions of a previous image. and the same outlines on fragments of the current image distinct and adjacent to the image portion to be coded CODE.
  • motion estimation algorithms for obtaining motion vectors from these data are known and will not be described in detail here.
  • the motion components comprise a translation vector and a rotation. At the end of the motion estimation step 10, motion components are obtained for each candidate image portion.
  • the motion estimation is followed by the determination of information for the reconstruction of each motion component.
  • This is for example the determination of the most suitable prediction functions, a residual which represents the difference between the image portion to be encoded and a portion of the candidate image transformed by the prediction function or information so-called "side information".
  • This information for reconstruction is calculated in a conventional manner per se.
  • the method then comprises a step 14 of evaluating a performance criterion for each portion of candidate image. This evaluation implements a criterion using only information considered available at the level of the decoder.
  • the performance criterion can not be based on the distortion of the current image portion because it is not available at the decoder.
  • a usable performance criterion is the absolute sum of the differences between the lines L on the previous image and the corresponding lines on the current image.
  • a usable performance criterion is the absolute sum of the differences between the lines weighted by the contour information.
  • a performance criterion is calculated for each portion of candidate image from information available at the decoder.
  • the information for the reconstruction is also available and can be used for calculation of the performance criterion.
  • the reconstruction information used should be available at the decoder. For example, the residue can not be used.
  • the method then comprises a selection 16 for retaining a reference image portion from among the candidate image portions. This selection is based on the performance criteria previously obtained. Like the motion estimation 10 and the performance evaluation 14, the selection 16 uses only information considered as available at the decoder. In particular, the selection does not use the residue information.
  • the selection consists in retaining the portion of candidate image with the best performance evaluation.
  • the selection is based on the performance evaluation weighted by the available bandwidth. This allows you to select the best compromise between image quality and throughput.
  • a reference image portion is thus available as well as the associated motion components and information for the reconstruction of these components.
  • the coding method then comprises a step 18 encoding non-motion related information such as chrominance and luminance.
  • this step 18 uses the motion components or reconstruction information to encode information such as luminance.
  • the motion vector associated with the reference image portion is used. This step 18 is implemented in a conventional manner and will not be described in more detail.
  • the method comprises a step of emitting the stream ⁇ to the decoder.
  • none of the information for the reconstruction of the motion components is inserted into the output stream.
  • neither the prediction residues of the motion vectors nor the identifiers of the reference image portion are inserted in the stream output, so that a significant fraction of the bandwidth is available.
  • the information relating to the coding of the other parameters of the image is inserted in this output stream in a conventional manner during this step 20.
  • the fact that the motion estimation, the evaluation of performance criteria and the selection of a reference image portion only use information considered as available at the level of the decoder makes it possible not to transmit the information for the first time. reconstruction of motion components. As a result, the transmission of motion information requires less bandwidth.
  • the stream ⁇ is received by the decoder.
  • the stream contains no information for the reconstruction of the motion components.
  • the decoding method begins with a motion estimation step 24 for the current image portion. This estimation is carried out identically to that carried out during the coding described with reference to step 10 of FIG. 2.
  • the motion estimation uses the information already decoded to evaluate a motion vector for each candidate image portion and the current image portion.
  • the line correlation and edge correlation techniques described above with reference to FIGS. 3A to 3C are directly applicable.
  • the motion estimation method used at the decoder in step 24 must be the same as that used at the encoder in step 10.
  • the motion estimation 24 delivers, for each portion of candidate reference image, motion components such as motion vectors.
  • the decoding method then comprises a step 26 of evaluating a performance criterion for each portion of candidate image. This evaluation is carried out according to the same methods as the evaluation 14 implemented during the coding. Accordingly, a performance criterion is associated with each candidate image portion.
  • the motion estimation 24, the evaluation of performance criteria 26 and the selection 28 are therefore performed identically to the encoder and the decoder. This is made possible by the fact that these operations use only information considered as available at the decoder.
  • the decoder thus has a reference image portion and associated motion components without it being necessary to transmit any of the information necessary for the reconstruction of the components of the image. movement.
  • the decoding method finally comprises a step 30 of decoding the current image portion.
  • the reference image portion is transformed by the associated motion components. This therefore makes it possible to obtain the motion information of the current image portion.
  • the other parameters of the current image portion such as the luminance and chrominance information, are obtained in a conventional manner. Obtaining this information requires, in some embodiments, the use of the motion vector and the reference image portion as identified in steps 24 to 28.
  • the use of the same motion estimation, the same evaluation of the performance criteria and the same selection to the encoder and the decoder makes it unnecessary to transmit the motion information between the encoder and the decoder.
  • other embodiments can be envisaged.
  • other techniques of motion estimation, evaluation of performance criteria and selection are usable.
  • techniques known as "error concealment” or “inpainting” can be implemented. In any case, these techniques must use only data considered available at the decoder.
  • the step 12 of determining the information necessary for the reconstruction is not carried out during the coding.
  • Such an embodiment makes it possible to reduce the calculations at the encoder.
  • the embodiment presented with reference to Figure 2 keeps the conventional order of operations and limits the changes to be made to existing equipment. In addition this allows performance evaluation using the information for reconstruction.
  • the method is applied to only a part of the motion components.
  • part of the motion components is encoded in a conventional manner, possibly using information available only at the encoder level.
  • the reconstruction information is transmitted.
  • it is useless to transmit the information for the reconstruction For example, the information for the reconstruction of the rotation component is transmitted while that for the translation component is not.
  • the information for the reconstruction of a pixellic component is transmitted while those relating to a sub pixel component are not.
  • an identifier of the matching method used during the motion estimation is transmitted to the decoder.
  • the decoder uses only information that is available at its level but it receives an identifier of the method to be used.
  • the candidate image portions are in the same image as the image portion to be encoded and decoded.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

L'invention porte sur un procédé de codage d'une portion d'une image courante comprenant une estimation (10) de mouvement entre la portion d'image courante et une pluralité de portions d'image candidates pour former des composantes de mouvement, une évaluation (14) d'un critère de performance pour chaque portion d'image candidate et une sélection (16) d'une portion d'image de référence à l'aide desdits critères de performance. Ce procédé est caractérisé en ce que, pour au moins une composante de mouvement, l'estimation de mouvement, l'évaluation de critères de performance et la sélection d'une portion d'image de référence utilisent uniquement des informations considérées comme disponibles au niveau dudit décodeur et aucune information de mouvement n'est insérée dans un flux de sortie destiné à un décodeur. L'invention porte également sur le décodage correspondant.

Description

CODAGE DE MOUVEMENT SANS TRANSMISSION D1 INFORMATION DE MOUVEMENT, ET DECODAGE
La présente invention concerne les techniques de codage et de décodage d'images et plus particulièrement, le codage et le décodage du mouvement.
Plusieurs procédés existants permettent de coder une portion d'image courante par rapport à d'autres portions d'images décodées précédemment selon un mode de codage dit « INTER ». La portion d'image courante est représentée par des informations de luminance de chrominance et des informations relatives au mouvement entre cette portion d'image courante et une portion d'image de référence. Cela permet d'exploiter les corrélations temporelles entre les images.
Les informations de mouvement comprennent une ou plusieurs composantes comme par exemple un vecteur de mouvement de translation, une rotation, une composante pixellique et une composante sous-pixellique. Le codage comprend en général la détermination d'informations pour la reconstruction des composantes de mouvement. Par exemple, une prédiction d'un vecteur de mouvement est réalisée et les informations pour la reconstruction comportent l'identifiant de la fonction de prédiction utilisée ainsi qu'un résidu correspondant à la différence entre la prédiction et le vecteur de mouvement d'origine.
Les informations pour la reconstruction comprennent également d'autres informations de types divers qui permettent d'obtenir les composantes du mouvement au décodeur. Par exemple, ces informations sont appelées connexes ou « side information » et regroupent des paramètres de taille, des identifiants de fonctions à utiliser ou autre.
Ces informations pour la reconstruction sont transmises au décodeur.
Le décodeur reconstruit les différentes composantes du mouvement estimé, c'est-à-dire applique la prédiction inverse, combine le résultat avec le résidu et les informations connexes. Le décodeur applique ensuite les composantes de mouvement avec la portion d'image de référence et combine le résultat avec les informations de luminance et de chrominance pour obtenir l'image décodée.
Les composantes de mouvements sont des informations dont la taille augmente avec la résolution des images et les informations pour la reconstruction des ces composantes occupent une partie importante de la bande passante.
Ceci pose des problèmes notamment dans les environnements où la bande passante est limitée, tels que les environnements sans fil.
Un objet de la présente invention est d'améliorer cette situation en permettant de transmettre des informations de mouvement en utilisant moins de bande passante.
A cet effet, un objet de la présente invention est un procédé de codage d'au moins une portion d'une image courante comprenant une estimation de mouvement entre la portion d'image courante et une pluralité de portions d'image candidates pour former des composantes de mouvement, une évaluation d'un critère de performance pour chaque portion d'image candidate, une sélection d'une portion d'image de référence parmi les portions d'image candidates à l'aide desdits critères de performance et une insertion d'informations de codage dans un flux de sortie à destination d'un décodeur, caractérisé en ce que, pour au moins une composante de mouvement, l'estimation de mouvement, l'évaluation de critères de performance et la sélection d'une portion d'image de référence utilisent uniquement des informations considérées comme disponibles au niveau dudit décodeur et aucune information de mouvement n'est insérée dans ledit flux de sortie.
De manière correspondante, un autre objet de l'invention est un procédé de décodage d'au moins une portion d'une image courante caractérisé en ce qu'il comprend une réception d'un flux d'informations de codage de la portion d'image courante, une estimation de mouvement pour la portion d'image courante à partir d'une pluralité de portions d'image de référence candidates et de portions d'image déjà décodées, pour former des composantes de mouvement correspondantes, une évaluation d'un critère de performance pour chaque portion d'image candidate, une sélection parmi lesdites portions d'image candidates à l'aide desdits critères pour obtenir ladite portion d'image de référence et un décodage de la portion d'image courante à partir de ladite portion de référence et des composantes de mouvement correspondantes.
Ainsi, le codeur utilise uniquement des informations disponibles au niveau du décodeur et le décodeur reproduit les calculs réalisés au niveau du codeur. En conséquence, pour au moins une composante de mouvement, aucune information de reconstruction de ladite composante ne doit être transmise, ce qui permet d'économiser de la bande passante.
Dans une variante du procédé de codage ladite estimation délivre plusieurs composantes de mouvement et le procédé comporte en outre une détermination d'informations pour la reconstruction d'au moins une desdites composantes de mouvement et l'insertion de ces informations pour la reconstruction dans le flux de sortie.
De manière correspondante, le procédé de décodage comprend la réception des informations de reconstruction et la reconstruction correspondante d'une composante de mouvement.
Ainsi, le procédé est combiné avec les méthodes existantes.
Dans un mode de réalisation particulier des procédés de codage et de décodage, l'estimation de mouvement et l'évaluation des critères de performance utilisent des corrélations entre des fragments des portions d'image candidates et des fragments correspondants voisins et distincts de la portion d'image courante.
Dans un autre mode de réalisation particulier des procédés de codage et de décodage, l'estimation de mouvement et l'évaluation des critères de performance utilisent des corrélations entre des fragments voisins et distincts des portions d'image candidates et des fragments correspondants voisins et distincts de la portion d'image courante.
L'invention a également pour objet des programmes d'ordinateur et des dispositifs correspondants à ces procédés de codage et de décodage.
D'autres particularités et avantages de la présente invention apparaîtront dans la description faite ci-après à titre non limitatif et en référence aux dessins annexés dans lesquels : - La figure 1 est un schéma montrant deux stations en communication pourvues respectivement d'un codeur et d'un décodeur vidéo ;
- La figure 2 est un organigramme du procédé de codage selon un mode de réalisation de l'invention ; - Les figures 3A, 3B et 3C représentent différents modes de réalisation d'une étape particulière du procédé de codage ; et
- La figure 4 est un organigramme du procédé de décodage selon un mode de réalisation de l'invention.
L'invention est applicable à tout système de codage et de décodage d'images, tel que, par exemple, le système représenté en référence à la figure 1. Ce système permet le codage d'une séquence vidéo d'un flux de télévision numérique F et sa transmission depuis un émetteur 1 contenant un codeur vidéo 2 comportant un contrôleur ou calculateur 3 associé à une mémoire 4. La transmission est assurée vers une station de réception 5 contenant un décodeur 6 comportant également un contrôleur ou calculateur 7 et une mémoire 8.
Par exemple, l'émetteur 1 comporte une antenne émettant sur un canal hertzien de télévision numérique un flux de données Φ selon un format tel que le format dit DVB et la station 5 est un ordinateur personnel. En référence à la figure 2, on va maintenant décrire le procédé de l'invention au niveau du codage.
Le codeur 2 reçoit le flux F de données d'images d'une séquence vidéo. Ce flux est traité afin de coder chaque image ou portion d'image. Le terme portion d'image désigne généralement un élément de la séquence vidéo. En fonction des standards utilisés, le terme image peut indifféremment être remplacé par le terme trame et le terme portion par le terme bloc ou macrobloc.
Le procédé de codage débute par une étape 10 d'estimation de mouvement entre la portion d'image courante et des portions d'image candidates. Les portions d'image candidates sont par exemple les portions correspondantes ou voisines de la portion d'image courante dans une image antérieure. Des composantes de mouvement, comme par exemple des vecteurs de mouvement, sont obtenues par le biais de l'estimation 10 pour chaque portion d'image candidate.
Dans le mode de réalisation décrit, l'estimation de mouvement met en œuvre uniquement des informations considérées comme disponibles au décodeur.
Par informations considérées disponibles au décodeur on entend ici des informations dont le codeur estime ou sait qu'elles ont été décodées. Il s'agit d'informations transmises précédemment et pour lesquelles aucun message d'erreur n'a été reçu ou pour lesquelles une confirmation positive de réception a été reçue, ou encore d'informations stockées à la fois dans le codeur et le décodeur.
En référence aux figures 3A à 3C, différentes estimations de mouvement sont décrites.
Dans l'exemple décrit à la figure 3A, l'estimation de mouvement est fondée sur une technique dite d'appariement ou de corrélation de blocs ou de lignes (en langue anglaise « bloc / line matching »). Pour chaque portion d'image candidate CAND d'une image antérieure I(N-1 ) un vecteur de mouvement Vmvt est estimé en considérant des blocs ou des lignes L de la portion d'image candidate qui se retrouvent dans des portions distinctes mais voisines de la portion à coder CODE sur l'image courante I(N). Ces portions distinctes et voisines sont des portions d'image déjà transmises et dont le codeur estime qu'elles sont disponibles au niveau du décodeur.
Dans l'exemple décrit en référence à la figure 3B, le même principe est appliqué à des lignes L qui sont distinctes et voisines de la portion d'image candidate CAND et à des lignes correspondantes distinctes et voisines de la portion d'image à coder CODE.
Dans l'exemple décrit à la figure 3C, l'estimation de mouvement est fondée sur des corrélations entre des contours (en langue anglaise « pattern matching ») de fragments d'image appartenant aux portions d'image candidates CAND d'une image antérieure et les mêmes contours sur des fragments de l'image courante distincts et voisins de la portion d'image à coder CODE. En soi les algorithmes d'estimation de mouvement permettant d'obtenir des vecteurs de mouvement à partir de ces données sont connus et ne seront pas décrits en détail ici. Dans l'exemple on considère que les composantes de mouvement comprennent un vecteur de translation et une rotation. A l'issue de l'étape 10 d'estimation de mouvement, des composantes de mouvement sont obtenues pour chaque portion d'image candidate.
Dans le mode de réalisation décrit, l'estimation de mouvement est suivie par la détermination d'informations pour la reconstruction de chaque composante de mouvement. Il s'agit par exemple de la détermination des fonctions de prédiction les plus adaptées, d'un résidu qui représente la différence entre la portion d'image à coder et une portion d'image candidate transformée par la fonction de prédiction ou encore des informations connexes dites « side information ». Ces informations pour la reconstruction sont calculées de manière classique en soi. Le procédé comprend ensuite une étape 14 d'évaluation d'un critère de performance pour chaque portion d'image candidate. Cette évaluation met en œuvre un critère utilisant uniquement des informations considérées disponibles au niveau du décodeur.
En effet, contrairement aux sélections de l'état de la technique, le critère de performance ne peut pas être fondé sur la distorsion de la portion d'image courante car celle-ci n'est pas disponible au niveau du décodeur.
Dans les exemples décrits en référence aux figures 3A et 3B, un critère de performance utilisable est la somme absolue des différences entre les lignes L sur l'image antérieure et les lignes correspondantes sur l'image courante.
Dans l'exemple décrit en référence à la figure 3C, un critère de performance utilisable est la somme absolue des différences entre les lignes pondérée par les informations de contour.
Ainsi un critère de performance est calculé pour chaque portion d'image candidate à partir d'informations disponibles au niveau du décodeur.
Dans le mode de réalisation décrit, les informations pour la reconstruction sont également disponibles et peuvent être utilisées pour le calcul du critère de performance. Il convient toutefois que les informations pour la reconstruction utilisées soient disponibles au décodeur. Par exemple, le résidu ne peut pas être utilisé.
Le procédé comprend ensuite une sélection 16 visant à retenir une portion d'image de référence parmi les portions d'image candidates. Cette sélection est fondée sur les critères de performance obtenus précédemment. A l'instar de l'estimation de mouvement 10 et de l'évaluation de performance 14, la sélection 16 utilise uniquement des informations considérées comme disponibles au niveau du décodeur. En particulier, la sélection n'utilise pas les informations de résidu.
Par exemple, la sélection consiste à retenir la portion d'image candidate avec la meilleure évaluation de performance. En variante, la sélection est fondée sur l'évaluation de performance pondérée par la bande passante disponible. Ceci permet de sélectionner le meilleur compromis entre qualité de l'image et débit.
A l'issue de la sélection 16, une portion d'image de référence est donc disponible ainsi que les composantes de mouvement associées et les informations pour la reconstruction de ces composantes.
Le procédé de codage comprend ensuite une étape 18 de codage d'informations non relatives au mouvement telles, que la chrominance et la luminance. Dans certains modes de réalisation, cette étape 18 utilise les composantes de mouvements ou les informations pour la reconstruction pour coder des informations telles que la luminance. Dans un mode de réalisation, le vecteur de mouvement associé à la portion d'image de référence est utilisé. Cette étape 18 est mise en œuvre de manière classique en soi et ne sera pas décrite plus en détail.
Enfin, le procédé comporte une étape 20 d'émission du flux Φ vers le décodeur. Dans l'exemple décrit aucune des informations pour la reconstruction des composantes de mouvement n'est insérée dans le flux de sortie. En particulier, ni les résidus de prédiction des vecteurs de mouvement ni les identifiants de la portion d'image de référence ne sont insérés dans le flux de sortie, de sorte qu'une fraction importante de la bande passante est disponible.
Les informations relatives au codage des autres paramètres de l'image, telles que les informations de luminance et de chrominance sont insérées dans ce flux de sortie de manière classique au cours de cette étape 20.
Ainsi, le fait que l'estimation de mouvement, l'évaluation de critères de performance et la sélection d'une portion d'image de référence utilisent uniquement des informations considérées comme disponibles au niveau du décodeur permet de ne pas transmettre les informations pour la reconstruction des composantes de mouvement. En conséquence la transmission des informations de mouvement requiert moins de bande passante.
En référence à la figure 4, le procédé de décodage correspondant va maintenant être décrit.
Lors d'une étape 22, le flux Φ est reçu par le décodeur. Comme indiqué précédemment, dans ce mode de réalisation le flux ne contient aucune information pour la reconstruction des composantes de mouvement.
Le procédé de décodage débute par une étape 24 d'estimation de mouvement pour la portion d'image courante. Cette estimation est réalisée de manière identique à celle réalisée au cours du codage décrite en référence à l'étape 10 de la figure 2.
Ainsi, l'estimation de mouvement utilise les informations déjà décodées pour évaluer un vecteur de mouvement pour chaque portion d'image candidate et la portion d'image courante. Les techniques de corrélation de lignes et de corrélation de contours décrites précédemment en référence aux figures 3A à 3C sont applicables directement.
Bien sur, la méthode d'estimation de mouvement utilisée au décodeur lors de l'étape 24 doit être la même que celle utilisée au codeur lors de l'étape 10.
De manière identique à l'estimation de mouvement faite au codage, l'estimation de mouvement 24 délivre, pour chaque portion d'image de référence candidate, des composantes de mouvement telles que des vecteurs de mouvement. Le procédé de décodage comprend ensuite une étape 26 d'évaluation d'un critère de performance pour chaque portion d'image candidate. Cette évaluation est réalisée selon les mêmes méthodes que l'évaluation 14 mise en oeuvre lors du codage. En conséquence, un critère de performance est associé à chaque portion d'image candidate.
L'estimation de critères de performance est suivie d'une sélection 28 qui est en tous points identiques à l'étape de sélection 16 décrite précédemment.
L'estimation de mouvement 24, l'évaluation de critères de performance 26 et la sélection 28 sont donc réalisées de manière identique au codeur et au décodeur. Ceci est rendu possible par le fait que ces opérations utilisent uniquement des informations considérées comme disponibles au niveau du décodeur.
A l'issue de l'étape 28, le décodeur dispose donc d'une portion d'image de référence et de composantes de mouvement associées sans qu'il n'ait été nécessaire de transmettre aucune des informations nécessaires pour la reconstruction des composantes de mouvement.
Le procédé de décodage comprend enfin une étape 30 de décodage de la portion d'image courante. Au cours de cette étape, la portion d'image de référence est transformée par les composantes de mouvement associées. Cela permet donc d'obtenir les informations de mouvement de la portion d'image courante.
En outre, les autres paramètres de la portion d'image courante, tels que les informations de luminance et de chrominance, sont obtenus de manière classique. L'obtention de ces informations requiert, dans certains modes de réalisation, l'utilisation du vecteur de mouvement et de la portion d'image de référence tels qu'identifiés lors des étapes 24 à 28.
Ainsi, l'utilisation d'une même estimation de mouvement, d'une même évaluation des critères de performance et d'une même sélection au codeur et au décodeur rend inutile la transmission des informations de mouvement entre le codeur et le décodeur. Par ailleurs, d'autres modes de réalisation peuvent être envisagés. Notamment, d'autres techniques d'estimation de mouvement, d'évaluation de critère de performance et de sélection sont utilisables. En particulier, des techniques connues sous les noms de « error concealment » ou « inpainting » peuvent être mises en œuvre. Dans tous les cas, ces techniques doivent utiliser uniquement des données considérées comme disponibles au niveau du décodeur.
En variante, l'étape 12 de détermination des informations nécessaires pour la reconstruction n'est pas réalisée lors du codage. Un tel mode de réalisation permet de diminuer les calculs au codeur. A l'inverse, le mode de réalisation présenté en référence à la figure 2 permet de conserver l'ordre classique des opérations et limite les modifications à apporter aux équipements existants. En outre cela permet de faire l'évaluation de performance en utilisant les informations pour la reconstruction. Dans une variante, le procédé est appliqué à seulement une partie des composantes de mouvement. Ainsi une partie des composantes de mouvement est codée de manière classique, éventuellement en utilisant des informations disponibles uniquement au niveau codeur. Pour cette partie des composantes de mouvement, les informations de reconstruction sont transmises. Pour l'autre partie codée selon le principe de l'invention, il est inutile de transmettre les informations pour la reconstruction. Par exemple, les informations pour la reconstruction de la composante de rotation sont transmises tandis que celles relatives à la composante de translation ne le sont pas. Dans un autre exemple, les informations pour la reconstruction d'une composante pixellique sont transmises tandis que celles relatives à une composante sous pixellique ne le sont pas.
Par ailleurs, dans un mode de réalisation particulier, un identifiant de la méthode d'appariement utilisée lors de l'estimation de mouvement est transmis au décodeur. Ainsi, le décodeur utilise uniquement des informations qui sont disponibles à son niveau mais il reçoit un identifiant de la méthode à utiliser.
Dans encore une autre variante, les portions d'image candidates sont dans la même image que la portion d'image à coder et à décoder.

Claims

REVENDICATIONS
1. Procédé de codage d'au moins une portion d'une image courante
(CODE) comprenant :
- une estimation (10) de mouvement entre la portion d'image courante et une pluralité de portions d'image candidates (CAND) pour former des composantes de mouvement (Vmvt) ; - une évaluation (14) d'un critère de performance pour chaque portion d'image candidate ;
- une sélection (16) d'une portion d'image de référence parmi les portions d'image candidates à l'aide desdits critères de performance ; et - une insertion (20) d'informations de codage dans un flux de sortie à destination d'un décodeur, caractérisé en ce que, pour au moins une composante de mouvement, l'estimation de mouvement, l'évaluation de critères de performance et la sélection d'une portion d'image de référence utilisent uniquement des informations considérées comme disponibles au niveau dudit décodeur et aucune information de mouvement n'est insérée dans ledit flux de sortie.
2. Procédé selon la revendication 1 , caractérisé en ce que ladite estimation délivre plusieurs composantes de mouvement et le procédé comporte en outre une détermination d'informations (12) pour la reconstruction d'au moins une desdites composantes de mouvement et l'insertion de ces informations pour la reconstruction dans le flux de sortie.
3. Procédé selon l'une quelconque des revendications 1 ou 2, caractérisé en ce que l'estimation de mouvement et l'évaluation des critères de performance utilisent des corrélations entre des fragments (L) des portions d'image candidates et des fragments correspondants voisins et distincts de la portion d'image courante.
4. Procédé selon l'une quelconque des revendications 1 ou 2, caractérisé en ce que l'estimation de mouvement et l'évaluation des critères de performance utilisent des corrélations entre des fragments (L) voisins et distincts des portions d'image candidates et des fragments correspondants voisins et distincts de la portion d'image courante.
5. Programme d'ordinateur à installer dans un appareil de traitement vidéo (4) comprenant des instructions pour mettre en œuvre les étapes d'un procédé de codage selon l'une quelconque des revendications 1 à 4 lors d'une exécution du programme par une unité de calcul dudit appareil.
6. Dispositif (2) de codage d'au moins une portion d'une image courante comprenant :
- un estimateur de mouvement entre la portion d'image courante (CODE) et une pluralité de portions d'image de référence candidates (CAND) pour former des composantes de mouvement (Vmvt) ;
- une unité d'évaluation d'un critère de performance pour chaque portion d'image candidate,
- un sélecteur d'une portion d'image de référence parmi les portions candidates à l'aide des dits critères de performance ; et - une unité de communication pour insérer des informations de codage dans un flux de sortie à destination d'un décodeur, caractérisé en ce que, pour au moins une composante de mouvement, l'estimateur de mouvement, l'unité d'évaluation de critères de performance et le sélecteur d'une portion d'image de référence utilisent uniquement des informations considérées comme disponibles au niveau dudit décodeur et aucune information de mouvement n'est insérée dans le flux de sortie.
7. Procédé de décodage d'au moins une portion d'une image courante caractérisé en ce qu'il comprend :
- une réception (22) d'un flux d'informations de codage de la portion d'image courante ; - une estimation (24) de mouvement pour la portion d'image courante à partir d'une pluralité de portions d'image de référence candidates et de portions d'image déjà décodées, pour former des composantes de mouvement correspondantes ;
- une évaluation (26) d'un critère de performance pour chaque portion d'image candidate ;
- une sélection (28) parmi lesdites portions d'image candidates à l'aide desdits critères pour obtenir ladite portion d'image de référence ; et un décodage (30) de la portion d'image courante à partir de ladite portion de référence et des composantes de mouvement correspondantes.
8. Procédé selon la revendication 7, caractérisé en ce qu'il comprend en outre la réception d'informations pour la reconstruction, d'au moins une composante de mouvement et une reconstruction correspondante.
9. Procédé selon l'une quelconque des revendications 7 ou 8, caractérisé en ce que l'estimation de mouvement et l'évaluation des critères de performance utilisent des corrélations entre des fragments des portions d'image candidates et des fragments correspondants voisins et distincts de la portion d'image courante.
10. Procédé selon l'une quelconque des revendications 7 ou 8, caractérisé en ce que l'estimation de mouvement et l'évaluation des critères de performance utilisent des corrélations entre des fragments voisins et distincts des portions d'image candidates et des fragments correspondants voisins et distincts de la portion d'image courante.
11. Programme d'ordinateur à installer dans un appareil de traitement vidéo, comprenant des instructions pour mettre en œuvre les étapes d'un procédé de décodage selon l'une quelconque des revendications 7 à 10, lors d'une exécution du programme par une unité de calcul dudit appareil.
12. Dispositif (6) de décodage d'au moins une portion d'image courante caractérisé en ce qu'il comprend :
- une unité de communication pour recevoir des informations de codage de la portion d'image courante ;
- un estimateur de mouvement pour la portion d'image courante à partir d'une pluralité de portions d'image de référence candidates et de portions d'image déjà décodées, pour former des composantes de mouvement correspondantes ; - une unité d'évaluation d'un critère de performance pour chaque portion d'image candidate ;
- un sélecteur, parmi lesdites portions d'image candidates et à l'aide desdits critères de performance, de ladite portion d'image de référence ; et - un décodeur de la portion d'image courante à partir de ladite portion de référence et des composantes de mouvement correspondantes.
EP08858284A 2007-11-28 2008-11-19 Codage de mouvement sans transmission d' information de mouvement, et decodage Ceased EP2232869A1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR0708314 2007-11-28
PCT/FR2008/052087 WO2009071803A1 (fr) 2007-11-28 2008-11-19 Codage de mouvement sans transmission d' information de mouvement, et decodage

Publications (1)

Publication Number Publication Date
EP2232869A1 true EP2232869A1 (fr) 2010-09-29

Family

ID=39712715

Family Applications (1)

Application Number Title Priority Date Filing Date
EP08858284A Ceased EP2232869A1 (fr) 2007-11-28 2008-11-19 Codage de mouvement sans transmission d' information de mouvement, et decodage

Country Status (5)

Country Link
US (1) US8731045B2 (fr)
EP (1) EP2232869A1 (fr)
JP (1) JP5324594B2 (fr)
CN (1) CN101919251B (fr)
WO (1) WO2009071803A1 (fr)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5625512B2 (ja) * 2010-06-09 2014-11-19 ソニー株式会社 符号化装置、符号化方法、プログラム、および記録媒体
FR2980942A1 (fr) 2011-09-30 2013-04-05 France Telecom Procede de codage et de decodage d'images, dispositif de codage et de decodage d'images et programmes d'ordinateur correspondants
FR3022724A1 (fr) * 2014-06-19 2015-12-25 Orange Procede de codage et de decodage d'images, dispositif de codage et de decodage d'images et programmes d'ordinateur correspondants

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW283289B (fr) * 1994-04-11 1996-08-11 Gen Instrument Corp
DE19541457C1 (de) * 1995-11-07 1997-07-03 Siemens Ag Verfahren zur Codierung eines Videodatenstroms einer aus Bildblöcken bestehenden Videosequenz
US20060153298A1 (en) * 2003-02-04 2006-07-13 Koninnkjkle Phillips Electronics N.V. Predictive encoding of motion vectors including a flag notifying the presence of coded residual motion vector data
US7471724B2 (en) * 2003-06-23 2008-12-30 Vichip Corp. Limited Method and apparatus for adaptive multiple-dimensional signal sequences encoding/decoding
US7499495B2 (en) * 2003-07-18 2009-03-03 Microsoft Corporation Extended range motion vectors
US7898951B2 (en) * 2003-08-13 2011-03-01 Jones Farm Technology 2, Llc Encoding and transmitting variable bit streams with utilization of a constrained bit-rate channel
KR100586882B1 (ko) * 2004-04-13 2006-06-08 삼성전자주식회사 모션 스케일러빌리티를 지원하는 코딩 방법 및 장치
JP2007043651A (ja) * 2005-07-05 2007-02-15 Ntt Docomo Inc 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法及び動画像復号プログラム
US8908765B2 (en) * 2007-11-15 2014-12-09 General Instrument Corporation Method and apparatus for performing motion estimation

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
STEFFEN KAMP ET AL: "Decoder Side Motion Vector Derivation", 82. MPEG MEETING; 22-10-2007 - 26-10-2007; SHENZHEN; (MOTION PICTURE EXPERT GROUP OR ISO/IEC JTC1/SC29/WG11),, no. M14917, 16 October 2007 (2007-10-16), XP030043523 *

Also Published As

Publication number Publication date
JP2011505095A (ja) 2011-02-17
CN101919251B (zh) 2013-07-10
US20100266046A1 (en) 2010-10-21
JP5324594B2 (ja) 2013-10-23
CN101919251A (zh) 2010-12-15
WO2009071803A1 (fr) 2009-06-11
US8731045B2 (en) 2014-05-20

Similar Documents

Publication Publication Date Title
EP0707428B1 (fr) Procédé de codage différentiel de vecteurs mouvement avec une prédiction médiane
EP0675652B1 (fr) Procédé et circuit d'estimation de mouvement entre images à deux trames entrelacées, et dispositif de codage de signaux numériques comprenant un tel circuit
EP1834488A1 (fr) Procede et dispositif de codage video
EP2377323B1 (fr) Prédiction d'images par repartionnement d'une portion de zone causale de référence, codage et decodage utilisant une telle prédiction
EP2449783A1 (fr) Prédiction d'un vecteur mouvement d'une partition d'image courante pointant sur une zone de référence qui recouvre plusieurs partitions d'image de référence, codage et décodage utilisant une telle prédiction
EP1591962B1 (fr) Procédé et dispositif de génération de vecteurs candidats pour les systèmes d'interpolation d'images par estimation et compensation de mouvement
EP2232869A1 (fr) Codage de mouvement sans transmission d' information de mouvement, et decodage
WO2010146314A1 (fr) Codage de vecteurs mouvement par competition de predicteurs
EP2810436B1 (fr) Codage et decodage par heritage progressif
EP2410749A1 (fr) Procédé d'encodage adaptatif d'un flux vidéo numérique, notamment pour diffusion sur ligne xDSL
EP2736261A1 (fr) Procédé pour évaluer la qualité d'un flux vidéo
EP0858227B1 (fr) Procédé et dispositif de codage par estimation de luminance dans un codeur d'images vidéo numérique
FR2769784A1 (fr) Methode de codage de mode dans un codage de forme binaire
EP3050298B1 (fr) Codage et décodage vidéo par héritage d'un champ de vecteurs de mouvement
EP1596607A1 (fr) Procédé et dispositif de génération de vecteurs candidats pour les systèmes d'interpolation d'images par estimation et compensation de mouvement
WO2007003836A2 (fr) Procede et dispositif de codage video
EP3350931B1 (fr) Procédé d'optimisation de transmission de flux de données vidéo dans un réseau sans fil
EP2160837A1 (fr) Sélection de fonctions de décodage distribuée au décodeur
Hofer et al. H. 264 Compress-Then-Analyze Transmission in Edge-Assisted Visual SLAM
FR2905785A1 (fr) Procede et dispositif de codage d'images
FR3027481A1 (fr) Decodeur, procede et systeme de decodage de flux multimedia
Lie et al. Prescription-based error concealment technique for video transmission on error-prone channels
FR3058858A1 (fr) Procede et dispositif de codage et de decodage d'une sequence multi-vues
FR2903270A1 (fr) Procede et dispositif de codage d'une sequence d'images, systeme de telecommunication comportant un tel dispositif et programme mettant en oeuvre un tel procede
FR2932035A1 (fr) Procede et systeme permettant de proteger un flux video en cours de compression contre les erreurs survenant lors d'une transmission

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20100615

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MT NL NO PL PT RO SE SI SK TR

AX Request for extension of the european patent

Extension state: AL BA MK RS

17Q First examination report despatched

Effective date: 20101027

DAX Request for extension of the european patent (deleted)
APBK Appeal reference recorded

Free format text: ORIGINAL CODE: EPIDOSNREFNE

APBN Date of receipt of notice of appeal recorded

Free format text: ORIGINAL CODE: EPIDOSNNOA2E

APBR Date of receipt of statement of grounds of appeal recorded

Free format text: ORIGINAL CODE: EPIDOSNNOA3E

APAF Appeal reference modified

Free format text: ORIGINAL CODE: EPIDOSCREFNE

RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: ORANGE

REG Reference to a national code

Ref country code: DE

Ref legal event code: R003

APBT Appeal procedure closed

Free format text: ORIGINAL CODE: EPIDOSNNOA9E

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION HAS BEEN REFUSED

18R Application refused

Effective date: 20180222