FR3086487A1 - Procedes et dispositifs de codage et de decodage d'un flux de donnees representatif d'au moins une image. - Google Patents
Procedes et dispositifs de codage et de decodage d'un flux de donnees representatif d'au moins une image. Download PDFInfo
- Publication number
- FR3086487A1 FR3086487A1 FR1858573A FR1858573A FR3086487A1 FR 3086487 A1 FR3086487 A1 FR 3086487A1 FR 1858573 A FR1858573 A FR 1858573A FR 1858573 A FR1858573 A FR 1858573A FR 3086487 A1 FR3086487 A1 FR 3086487A1
- Authority
- FR
- France
- Prior art keywords
- current block
- coding mode
- pixel
- block
- decoded
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims abstract description 89
- 238000003672 processing method Methods 0.000 claims abstract description 27
- 238000001914 filtration Methods 0.000 claims description 32
- 238000004590 computer program Methods 0.000 claims description 14
- 230000009849 deactivation Effects 0.000 claims description 4
- 239000004289 sodium hydrogen sulphite Substances 0.000 claims description 4
- 235000010267 sodium hydrogen sulphite Nutrition 0.000 claims description 4
- 239000004296 sodium metabisulphite Substances 0.000 claims description 3
- 235000010262 sodium metabisulphite Nutrition 0.000 claims description 3
- 238000012937 correction Methods 0.000 claims description 2
- 238000013139 quantization Methods 0.000 description 30
- 238000012805 post-processing Methods 0.000 description 19
- 238000012545 processing Methods 0.000 description 15
- 230000006870 function Effects 0.000 description 13
- 230000006835 compression Effects 0.000 description 9
- 238000007906 compression Methods 0.000 description 9
- 208000028167 Southeast Asian ovalocytosis Diseases 0.000 description 8
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 6
- 238000013459 approach Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000011002 quantification Methods 0.000 description 5
- 238000005457 optimization Methods 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 239000004306 orthophenyl phenol Substances 0.000 description 3
- 235000010292 orthophenyl phenol Nutrition 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 239000004299 sodium benzoate Substances 0.000 description 3
- 235000010234 sodium benzoate Nutrition 0.000 description 3
- 239000001797 sucrose acetate isobutyrate Substances 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 238000011282 treatment Methods 0.000 description 3
- XDLMVUHYZWKMMD-UHFFFAOYSA-N 3-trimethoxysilylpropyl 2-methylprop-2-enoate Chemical compound CO[Si](OC)(OC)CCCOC(=O)C(C)=C XDLMVUHYZWKMMD-UHFFFAOYSA-N 0.000 description 2
- 239000005711 Benzoic acid Substances 0.000 description 2
- 235000010233 benzoic acid Nutrition 0.000 description 2
- 239000004301 calcium benzoate Substances 0.000 description 2
- 235000010237 calcium benzoate Nutrition 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 239000004403 ethyl p-hydroxybenzoate Substances 0.000 description 2
- 235000010228 ethyl p-hydroxybenzoate Nutrition 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000001814 pectin Substances 0.000 description 2
- 235000010987 pectin Nutrition 0.000 description 2
- 239000000256 polyoxyethylene sorbitan monolaurate Substances 0.000 description 2
- 235000010486 polyoxyethylene sorbitan monolaurate Nutrition 0.000 description 2
- 239000001818 polyoxyethylene sorbitan monostearate Substances 0.000 description 2
- 235000010989 polyoxyethylene sorbitan monostearate Nutrition 0.000 description 2
- 239000004300 potassium benzoate Substances 0.000 description 2
- 235000010235 potassium benzoate Nutrition 0.000 description 2
- 239000000661 sodium alginate Substances 0.000 description 2
- 235000010413 sodium alginate Nutrition 0.000 description 2
- 239000004291 sulphur dioxide Substances 0.000 description 2
- 235000010269 sulphur dioxide Nutrition 0.000 description 2
- 239000001226 triphosphate Substances 0.000 description 2
- 235000011178 triphosphate Nutrition 0.000 description 2
- 239000001842 Brominated vegetable oil Substances 0.000 description 1
- 239000001828 Gelatine Substances 0.000 description 1
- 239000001825 Polyoxyethene (8) stearate Substances 0.000 description 1
- 239000004285 Potassium sulphite Substances 0.000 description 1
- 239000001852 Succistearin Substances 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 239000001809 ammonium phosphatide Substances 0.000 description 1
- 235000010986 ammonium phosphatide Nutrition 0.000 description 1
- 239000004294 calcium hydrogen sulphite Substances 0.000 description 1
- 235000010260 calcium hydrogen sulphite Nutrition 0.000 description 1
- 239000004295 calcium sulphite Substances 0.000 description 1
- 235000010261 calcium sulphite Nutrition 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 239000001806 glycerol esters of wood rosin Substances 0.000 description 1
- 235000010985 glycerol esters of wood rosin Nutrition 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000002620 method output Methods 0.000 description 1
- 239000001194 polyoxyethylene (40) stearate Substances 0.000 description 1
- 235000011185 polyoxyethylene (40) stearate Nutrition 0.000 description 1
- 239000000244 polyoxyethylene sorbitan monooleate Substances 0.000 description 1
- 235000010482 polyoxyethylene sorbitan monooleate Nutrition 0.000 description 1
- 239000000249 polyoxyethylene sorbitan monopalmitate Substances 0.000 description 1
- 235000010483 polyoxyethylene sorbitan monopalmitate Nutrition 0.000 description 1
- 239000001816 polyoxyethylene sorbitan tristearate Substances 0.000 description 1
- 235000010988 polyoxyethylene sorbitan tristearate Nutrition 0.000 description 1
- 239000004297 potassium metabisulphite Substances 0.000 description 1
- 235000010263 potassium metabisulphite Nutrition 0.000 description 1
- 239000004405 propyl p-hydroxybenzoate Substances 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 239000004402 sodium ethyl p-hydroxybenzoate Substances 0.000 description 1
- 235000010226 sodium ethyl p-hydroxybenzoate Nutrition 0.000 description 1
- GEHJYWRUCIMESM-UHFFFAOYSA-L sodium sulphite Substances [Na+].[Na+].[O-]S([O-])=O GEHJYWRUCIMESM-UHFFFAOYSA-L 0.000 description 1
- 235000010265 sodium sulphite Nutrition 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/117—Filters, e.g. for pre-processing or post-processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
L'invention concerne un procédé de codage et un procédé de décodage d'un flux de données codées représentatif d'au moins une image découpée en blocs. Pour au moins un bloc de l'image, dit bloc courant, une information indiquant un mode de codage parmi un premier et un deuxième mode de codage, du bloc courant est décodée (E42) à partir du flux de données et le bloc courant est décodé en fonction de cette information. Lorsque le mode de codage du bloc courant correspond à un deuxième mode de codage, le bloc courant est reconstruit à partir d'une prédiction obtenue, pour chaque pixel, à partir d'un autre pixel précédemment décodé appartenant au bloc courant ou à un bloc de l'image précédemment décodé, et d'une résidu décodé associé audit pixel. Au moins une méthode de traitement est appliquée au bloc courant reconstruit pour au moins un pixel du bloc courant en fonction du mode de codage du bloc courant et/ou du mode de codage des blocs voisins.
Description
PROCEDES ET DISPOSITIFS DE CODAGE ET DE DECODAGE D'UN FLUX DE DONNEES REPRESENTATIF D'AU MOINS UNE IMAGE.
1. Domaine de l'invention
Le domaine de l’invention est celui du codage et du décodage d’images ou de séquences d’images, et notamment de flux vidéo.
Plus précisément, l’invention concerne la compression d’images ou de séquences d’images utilisant une représentation par blocs des images.
L’invention peut notamment s’appliquer au codage image ou vidéo mis en œuvre dans les codeurs actuels ou à venir (JPEG, MPEG, H.264, HEVC, etc et leurs amendements), et au décodage correspondant.
2. Art Antérieur
Les images et séquences d’images numériques occupent beaucoup d’espace en termes de mémoire, ce qui nécessite, lorsque l’on transmet ces images, de les compresser afin d’éviter les problèmes d’encombrement sur le réseau utilisé pour cette transmission.
On connaît déjà de nombreuses techniques de compression de données vidéo. Parmi celles-ci, le standard de compression HEVC (High Efficiency Video Coding, Coding Tools and Specification, Matthias Wien, Signals and Communication Technology, 2015) propose de mettre en œuvre une prédiction de pixels d’une image courante par rapport à d’autres pixels appartenant à la même image (prédiction intra) ou à une image précédente ou suivante (prédiction inter).
Plus précisément, la prédiction intra exploite les redondances spatiales au sein d’une image. Pour ce faire, les images sont découpées en blocs de pixels. Les blocs de pixels sont alors prédits à l’aide d’informations déjà reconstruites, correspondant aux blocs précédemment codés/décodés dans l’image courante selon l’ordre de parcours des blocs dans l’image.
Par ailleurs, de manière classique, le codage d’un bloc courant est réalisé à l’aide d’une prédiction du bloc courant, dit bloc prédicteur, et d’un résidu de prédiction ou « bloc résiduel », correspondant à une différence entre le bloc courant et le bloc prédicteur. Le bloc résiduel obtenu est alors transformé, par exemple en utilisant une transformée de type DCT (transformée en cosinus discrète). Les coefficients du bloc résiduel transformé sont ensuite quantifiés, puis codés par un codage entropique et transmis au décodeur, qui peut reconstruire le bloc courant en ajoutant ce bloc résiduel au bloc prédicteur.
Le décodage est fait image par image, et pour chaque image, bloc par bloc. Pour chaque bloc, les éléments correspondants du flux sont lus. La quantification inverse et la transformation inverse des coefficients du bloc résiduel sont effectuées. Puis, la prédiction du bloc est calculée pour obtenir le bloc prédicteur et le bloc courant est reconstruit en ajoutant la prédiction (i.e. le bloc prédicteur) au bloc résiduel décodé.
Dans US9253508, une technique de codage DPCM (pour Differential Puise Code Modulation en anglais) pour coder des blocs en mode Intra est insérée dans un codeur HEVC. Une telle technique consiste à prédire un ensemble de pixels d'un bloc intra par un autre ensemble de pixels du même bloc qui ont été précédemment reconstruits. Dans US9253508, un ensemble de pixels du bloc intra à coder correspond à une ligne du bloc, ou une colonne ou une ligne et une colonne et la prédiction intra utilisée pour prédire l'ensemble de pixels est l'une des prédictions intra directionnelles définies dans le standard HEVC.
Une telle technique n'est toutefois pas optimale. En effet, la reconstruction d'un ensemble de pixels du bloc intra correspond soit à l'ajout d'un résidu de prédiction dans le cas d'un codage sans pertes, offrant donc un taux de compression assez faible, soit à l'ajout d'un résidu de prédiction après transformation inverse et/ou quantification inverse dudit autre ensemble de pixels servant de prédiction. Une telle technique ne permet donc pas de prédire chaque pixel du bloc intra à l'aide d'une fonction locale de prédiction et de reconstruire le pixel prédit avant de prédire un pixel suivant. En effet, cette technique nécessite de reconstruire un ensemble de pixels (ligne/colonne du bloc par exemple) pour prédire un autre ensemble de pixels. Autrement dit, à chaque prédiction et reconstruction d'une partie du bloc, plusieurs pixels du bloc sont prédits et reconstruits.
De plus, dans US9253508, il n'est pas décrit comment faire cohabiter des modes de prédiction intra classiques tels que définis dans le standard HEVC par exemple et le mode de prédiction DPCM.
Il existe donc un besoin pour une nouvelle méthode de codage et de décodage pour améliorer la compression des données image ou vidéo.
3. Exposé de l'invention
L'invention vient améliorer l'état de la technique. Elle concerne à cet effet un procédéde décodage d'un flux de données codées représentatif d'au moins une image découpée en blocs. Un tel procédé de décodage comprend, pour au moins un bloc de l'image, dit bloc courant:
- le décodage d'une information indiquant un mode de codage du bloc courant parmi au moins un premier mode de codage et un deuxième mode de codage, le deuxième mode de codage étant un mode de codage selon lequel le bloc courant est décodé via, pour chaque pixel du bloc courant:
- l'obtention d'une prédiction dudit pixel à partir d'un autre pixel précédemment décodé, ledit autre pixel précédemment décodé appartenant audit bloc courant ou à un bloc de l'image précédemment décodé,
- le décodage d'un résidu de prédiction associé audit pixel,
- la reconstruction dudit pixel à partir de la prédiction dudit pixel obtenue et du résidu de prédiction décodé associé audit pixel,
- le décodage du bloc courant selon le mode de codage indiqué par l'information décodée,
- lorsque le mode de codage du bloc courant correspond à un mode de codage distinct du deuxième mode de codage, l'application d'au moins une méthode de traitement au bloc courant reconstruit,
- lorsque le mode de codage du bloc courant correspond au deuxième mode de codage, la désactivation de l'application de ladite au moins une méthode de traitement au bloc courant reconstruit pour au moins un pixel dudit bloc courant.
Ainsi, selon l'invention, l'application de traitements sur un bloc reconstruit n'est pas réalisée dans le cas d'un bloc décodé selon un mode de codage utilisant une prédiction des pixels à partir de pixels précédemment reconstruits du même bloc. Selon ce mode de codage, le résidu de prédiction associé à chaque pixel n'est pas transformé. Les méthodes de traitement visent à améliorer la qualité des blocs de pixels reconstruits, par exemple en réduisant les effets de discontinuités entre blocs dus au codage de résidu de prédiction avec une transformée (filtre de deblocking en anglais), ou en corrigeant la valeur individuelle de chaque pixel (aussi connu sous le nom de SAO pour Sample Adaptive Offset en anglais).
Selon l'invention, le deuxième mode de codage n'utilise pas de transformée du résidu de prédiction puisque le résidu de prédiction associé à chaque pixel doit être disponible immédiatement pour reconstruire le pixel et qu'il puisse servir à la prédiction des pixels suivants du bloc courant. Ainsi, lorsque le bloc courant est décodé selon le deuxième mode de codage, il n'est pas nécessaire de réduire les discontinuités aux frontières de ce bloc courant. De même, lorsque le bloc courant est décodé selon le deuxième mode de codage, la valeur de chaque pixel est codée individuellement à l'aide d'un résidu de prédiction associé à chaque pixel. Il n'est donc pas nécessaire de corriger la valeur de chaque pixel.
Les méthodes de traitement appliquées aux blocs reconstruits nécessitent en général la transmission de paramètres au niveau bloc. Désactiver ces méthodes de traitement pour les blocs codés selon le deuxième mode de codage permet ainsi un gain en débit. De plus, le processus de décodage peut substantiellement être accéléré puisque ces méthodes de traitement ne sont pas appliquées pour ces blocs.
L'invention concerne également un procédé de codage d'un flux de données codées représentatif d'au moins une image découpée en blocs. Un tel procédé de codage comprend, pour au moins un bloc de l'image, dit bloc courant:
- le codage d'une information indiquant un mode de codage du bloc courant parmi au moins un premier mode de codage et un deuxième mode de codage, le deuxième mode de codage étant un mode de codage selon lequel le bloc courant est codé via, pour chaque pixel du bloc courant:
- l'obtention d'une prédiction dudit pixel à partir d'un autre pixel précédemment décodé, ledit autre pixel précédemment décodé appartenant audit bloc courant ou à un bloc de l'image précédemment décodé,
- le codage d'un résidu de prédiction associé audit pixel obtenu à partir de la prédiction dudit pixel,
- la reconstruction dudit pixel à partir du résidu de prédiction décodé associé audit pixel et de la prédiction dudit pixel,
- le codage du bloc courant selon le mode de codage indiqué par l'information codée,
- lorsque le mode de codage du bloc courant correspond à un mode de codage distinct du deuxième mode de codage, l'application d'au moins une méthode de traitement au bloc courant reconstruit,
- lorsque le mode de codage du bloc courant correspond au deuxième mode de codage, la désactivation de l'application de ladite au moins une méthode de traitement au bloc courant reconstruit pour au moins un pixel dudit bloc courant.
Selon un mode particulier de réalisation de l'invention, la méthode de traitement est un filtrage de déblocage appliqué aux pixels du bloc courant reconstruit qui sont situés à la frontière du bloc courant reconstruit avec un bloc voisin reconstruit dans l'image. Selon ce mode particulier de réalisation de l'invention, la méthode de traitement correspond à un filtre de deblocking classiquement appliqué en frontières de blocs pour réduire les effets de discontinuités entre blocs.
Selon un mode particulier de réalisation de l'invention, lorsque le bloc courant est décodé ou codé selon le deuxième mode de codage:
- l'application du filtrage de déblocage au bloc courant reconstruit est désactivée pour tous les pixels du bloc courant reconstruit,
- lorsque le bloc courant est décodé ou codé selon un mode de codage distinct du deuxième mode de codage:
- le filtrage de déblocage est appliqué à un pixel du bloc courant reconstruit si ledit pixel est situé sur une frontière dudit bloc courant reconstruit avec un bloc reconstruit voisin dans l’image et si ledit bloc voisin est décodé ou codé selon un mode de codage distinct du deuxième mode de codage.
Selon ce mode particulier de réalisation de l'invention, le filtrage de déblocage est appliqué seulement aux pixels en frontière de deux blocs qui sont tous les deux codés ou décodés selon des modes de codage distincts du deuxième mode de codage. Autrement dit, pour un bloc courant codé ou décodé selon un mode de codage distinct du deuxième mode de codage, le filtrage de déblocage est désactivé pour les pixels du bloc courant reconstruit qui sont situés sur la frontière avec un bloc voisin codé ou décodé selon le deuxième mode de codage.
Selon un autre mode particulier de réalisation de l'invention, lorsque le bloc courant est décodé ou codé selon le deuxième mode de codage:
- l'application du filtrage de déblocage au bloc courant reconstruit est désactivée pour un pixel du bloc courant reconstruit si ledit pixel est situé sur une frontière dudit bloc courant reconstruit avec un bloc voisin dans l’image et si ledit bloc voisin est décodé ou codé selon le deuxième mode de codage, et
- le filtrage de déblocage est appliqué à un pixel du bloc courant reconstruit, si ledit pixel est situé sur une frontière dudit bloc courant reconstruit avec un bloc voisin reconstruit dans l’image et si ledit bloc voisin est décodé ou codé selon un mode de codage distinct du deuxième mode de codage.
Selon cet autre mode particulier de réalisation de l'invention, le filtrage de déblocage est appliqué aux pixels situés en frontière de deux blocs dont au moins un des blocs est codé ou décodé selon un mode de codage distinct du deuxième mode de codage. . En revanche, le filtrage de déblocage est désactivé pour les pixels situés en frontière de deux blocs qui sont tous les deux codés ou décodés selon le deuxième mode de codage.
Ce mode particulier de réalisation de l'invention permet de lisser les effets de blocs pour les blocs codés ou décodés selon le premier mode de codage ou tout autre mode de codage distinct du deuxième mode de codage, même lorsque ceux-ci sont voisins d'un bloc reconstruit qui a été codé ou décodé selon le deuxième mode de codage.
Selon un autre mode particulier de réalisation de l'invention, la méthode de traitement est une méthode de correction d'au moins un pixel du bloc courant reconstruit par ajout à la valeur reconstruite dudit pixel d’une valeur obtenue à partir d'une information codée dans le flux de données ou décodée depuis le flux de données. Selon ce mode particulier de réalisation de l'invention, la méthode de traitement correspond à la méthode dite SAO qui a été intégrée au standard de compression HEVC.
Selon un mode particulier de réalisation de l'invention, lorsque le bloc courant est décodé ou codé selon le deuxième mode de codage, l'application de ladite méthode de correction au bloc courant reconstruit est désactivée pour tous les pixels du bloc courant reconstruit.
L'invention concerne également un dispositif de décodage configuré pour mettre en œuvre le procédé de décodage selon l'un quelconque des modes particuliers de réalisation définis cidessus. Ce dispositif de décodage pourra bien sûr comporter les différentes caractéristiques relatives au procédé de décodage selon l’invention. Ainsi, les caractéristiques et avantages de ce dispositif de décodage sont les mêmes que ceux du procédé de décodage, et ne sont pas détaillés plus amplement.
Le dispositif de décodage comprend notamment un processeur configuré pour, pour au moins un bloc de l'image, dit bloc courant:
- décoder une information indiquant un mode de codage du bloc courant parmi au moins un premier mode de codage et un deuxième mode de codage, le deuxième mode de codage étant un mode de codage selon lequel le bloc courant est décodé via, pour chaque pixel du bloc courant:
- l'obtention d'une prédiction dudit pixel à partir d'un autre pixel précédemment décodé, ledit autre pixel précédemment décodé appartenant audit bloc courant ou à un bloc de l'image précédemment décodé,
- le décodage d'un résidu de prédiction associé audit pixel,
- la reconstruction dudit pixel à partir de la prédiction dudit pixel obtenue et du résidu de prédiction décodé associé audit pixel,
- décoder le bloc courant selon le mode de codage indiqué par l'information décodée,
- lorsque le mode de codage du bloc courant correspond à un mode de codage distinct du deuxième mode de codage, appliquer au moins une méthode de traitement au bloc courant reconstruit,
- lorsque le mode de codage du bloc courant correspond au deuxième mode de codage, désactiver l'application de ladite au moins une méthode de traitement au bloc courant reconstruit pour au moins un pixel dudit bloc courant.
Selon un mode particulier de réalisation de l'invention, un tel dispositif de décodage est compris dans un terminal.
L'invention concerne également un dispositif de codage configuré pour mettre en œuvre le procédé de codage selon l'un quelconque des modes particuliers de réalisation définis cidessus. Ce dispositif de codage pourra bien sûr comporter les différentes caractéristiques relatives au procédé de codage selon l’invention. Ainsi, les caractéristiques et avantages de ce dispositif de codage sont les mêmes que ceux du procédé de codage, et ne sont pas détaillés plus amplement.
Le dispositif de codage comprend notamment un processeur configuré pour, pour au moins un bloc de l'image, dit bloc courant:
- coder une information indiquant un mode de codage du bloc courant parmi au moins un premier mode de codage et un deuxième mode de codage, le deuxième mode de codage étant un mode de codage selon lequel le bloc courant est codé via, pour chaque pixel du bloc courant:
- l'obtention d'une prédiction dudit pixel à partir d'un autre pixel précédemment décodé, ledit autre pixel précédemment décodé appartenant audit bloc courant ou à un bloc de l'image précédemment décodé,
- le codage d'un résidu de prédiction associé audit pixel obtenu à partir de la prédiction dudit pixel,
- la reconstruction dudit pixel à partir du résidu de prédiction décodé associé audit pixel et de la prédiction dudit pixel,
- coder le bloc courant selon le mode de codage indiqué par l'information codée,
- lorsque le mode de codage du bloc courant correspond à un mode de codage distinct du deuxième mode de codage, appliquer au moins une méthode de traitement au bloc courant reconstruit,
- lorsque le mode de codage du bloc courant correspond au deuxième mode de codage, désactiver l'application de ladite au moins une méthode de traitement au bloc courant reconstruit pour au moins un pixel dudit bloc courant.
Selon un mode particulier de réalisation de l'invention, un tel dispositif de codage est compris dans un terminal, ou un serveur.
Le procédé de décodage, respectivement le procédé de codage, selon l'invention peut être mis en œuvre de diverses manières, notamment sous forme câblée ou sous forme logicielle. Selon un mode particulier de réalisation de l'invention, le procédé de décodage, respectivement le procédé de codage, est mis en œuvre par un programme d'ordinateur. L'invention concerne également un programme d'ordinateur comportant des instructions pour la mise en œuvre du procédé de décodage ou du procédé de codage selon l'un quelconque des modes particuliers de réalisation décrits précédemment, lorsque ledit programme est exécuté par un processeur. Un tel programme peut utiliser n’importe quel langage de programmation. Il peut être téléchargé depuis un réseau de communication et/ou enregistré sur un support lisible par ordinateur.
Ce programme peut utiliser n'importe quel langage de programmation, et être sous la forme de code source, code objet, ou de code intermédiaire entre code source et code objet, tel que dans une forme partiellement compilée, ou dans n'importe quelle autre forme souhaitable.
L'invention vise aussi un support d'enregistrement ou support d'informations lisible par un ordinateur, et comportant des instructions d'un programme d'ordinateur tel que mentionné cidessus. Les supports d'enregistrement mentionnés ci-avant peuvent être n'importe quelle entité ou dispositif capable de stocker le programme. Par exemple, le support peut comporter un moyen de stockage telle qu'une mémoire. D'autre part, les supports d'enregistrement peuvent correspondre à un support transmissible tel qu'un signal électrique ou optique, qui peut être acheminé via un câble électrique ou optique, par radio ou par d'autres moyens. Le programme selon l'invention peut être en particulier téléchargé sur un réseau de type Internet.
Alternativement, les supports d'enregistrement peuvent correspondre à un circuit intégré dans lequel le programme est incorporé, le circuit étant adapté pour exécuter ou pour être utilisé dans l'exécution du procédé en question.
4. Liste des figures
D’autres caractéristiques et avantages de l’invention apparaîtront plus clairement à la lecture de la description suivante d’un mode de réalisation particulier, donné à titre de simple exemple illustratif et non limitatif, et des dessins annexés, parmi lesquels :
- la figure 1 présente des étapes du procédé de codage selon un mode particulier de réalisation de l'invention,
- la figure 2 illustre un exemple de position des blocs voisins d'un bloc courant pour déterminer un mode de prédiction intra selon un mode particulier de réalisation de l'invention,
- la figure 3 illustre un exemple de position des pixels de référence utilisés pour prédire des pixels d'un bloc courant selon un mode particulier de réalisation de l'invention,
- la figure 4 présente des étapes du procédé de décodage selon un mode particulier de réalisation de l'invention,
- les figures 5A et 5B illustrent des blocs de pixels reconstruits sur lesquels un posttraitement est appliqué ou non aux pixels selon le mode de codage du bloc auquel les pixels appartiennent, selon des modes particuliers de réalisation de l'invention,
- la figure 6 présente la structure simplifiée d’un dispositif de codage adapté pour mettre en oeuvre le procédé de codage selon l'un quelconque des modes particuliers de réalisation de l'invention,
- la figure 7 présente la structure simplifiée d’un dispositif de décodage adapté pour mettre en oeuvre le procédé de décodage selon l'un quelconque des modes particuliers de réalisation de l'invention.
5. Description d'un mode de réalisation de l'invention
5.1 Principe général
Des traitements réalisés après le décodage d'une image, aussi connus sous le nom de posttraitement, sont intégrées aux normes de codage vidéo afin d'améliorer la qualité des images reconstruites. Par exemple, de tels post-traitements peuvent être l'application d'un filtrage de déblocage ou deblocking filter en anglais ou bien un post-traitement dit SAO pour Sample Adaptive Offset en anglais.
Le filtrage de deblocking permet d’effacer, après décodage de chaque bloc, la discontinuité qui existe entre chaque bloc et à laquelle l’œil humain est très sensible. D’autre part, le traitement SAO permet de modifier individuellement la valeur de chaque pixel d’un bloc décodé.
Ces deux méthodes de post-traitement ont été intégrées par exemple dans le standard de compression HEVC et apportent des gains en compression et en qualité.
Toutefois, selon l'invention, un nouveau mode de codage des blocs d'une image, dit codage ILR pour In-Loop Residual en anglais, permet de se passer avantageusement de ces deux méthodes de post-traitement.
Concernant les effets de discontinuités entre blocs, ils sont principalement dus au codage du résidu classique sous forme d’une transformée. Les vecteurs de base de la transformée étant à l’échelle du bloc, ils ne permettent pas un contrôle individuel des valeurs des pixels le long de la frontière du bloc. En revanche, le mode de codage ILR permet de coder l'intensité de chaque pixel indépendamment des autres. Il n’y a donc pas d’effets de blocs constatés, et le filtrage est inutile.
De même, le traitement SAO vise à corriger la valeur individuelle de certains pixels après un codage classique. Or, le mode de codage ILR qui sera décrit plus loin, permet déjà de coder la valeur de chaque pixel individuellement. Il n’est donc pas besoin de traitement SAO pour ces pixels.
En revanche, il est nécessaire pour le codeur de pouvoir choisir pour chaque bloc à coder entre un mode de codage classique ou un mode de codage ILR afin d'optimiser le coût de codage de la séquence vidéo.
Le principe général de l'invention est donc de permettre d'activer ou non l'application d'une méthode de post-traitement à un bloc reconstruit selon que le bloc a été codé/décodé selon le mode de codage ILR.
Il y a plusieurs avantages à activer les traitements de deblocking et/ou SAO uniquement pour les blocs codés par une méthode de codage classique, i.e. un mode de codage autre que ILR. En effet, ceci permet de réduire le débit à transmettre car aucun élément de syntaxe relatif au deblocking filter ou au traitement SAO n’est transmis pour les blocs codés/décodés selon le mode de codage ILR. Ceci permet également d’accélérer substantiellement le décodage, puisque les blocs codés/décodés selon le mode de codage ILR n’ont pas besoin d’appliquer les étapes de traitement de deblocking et/ou SAO qui sont assez lourdes à mettre en oeuvre en terme de calculs et de ressources mémoires.
5. 2 Exemples de mise en oeuvre
La figure 1 présente des étapes du procédé de codage selon un mode particulier de réalisation de l'invention. Par exemple, on code une séquence d'images h, l2, ..., Inô sous la forme d'un flux de données codées STR selon un mode particulier de réalisation de l'invention. Par exemple, un tel procédé de codage est mis en oeuvre par un dispositif de codage tel que décrit plus loin en relation avec la figure 6.
Une séquence d'images h, l2, ..., Inô, Nbétant le nombre d'images de la séquence à coder, est fournie en entrée du procédé de codage. Le procédé de codage délivre en sortie un flux de données codées STR représentatif de la séquence d'images fournie en entrée.
De manière connue, le codage de la séquence d'images h, l2, ..., lNb est fait image par image selon un ordre de codage préalablement établi et connu du codeur. Par exemple, les images peuvent être codées dans l'ordre temporel h, l2, ..., lNb ou selon un autre ordre, par exemple 11,13, I2, , lNbLors d'une étape E0, une image I, à coder de la séquence d'images h,l2, ..., lNb est découpée en blocs, par exemple en blocs de taille 32x32, ou 64x64 pixels ou plus. Un tel bloc peut être subdivisé en sous-blocs carrés ou rectangulaires, par exemple de taille 16x16, 8x8, 4x4, 16x8, 8x16, ....
Lors d'une étape E1, un premier bloc ou sous-bloc Xb à coder de l'image I, est sélectionné selon un sens de parcours de l'image I, prédéterminé. Par exemple, il peut s'agir du premier bloc dans l'ordre lexicographique de parcours de l'image.
Lors d'une étape E2, l’encodeur va choisir le mode de codage pour coder le bloc courant Xb. Selon le mode particulier de réalisation décrit ici, l'encodeur sélectionne le mode de codage pour coder le bloc courant Xb parmi un premier mode de codage M1 et un deuxième mode de codage M2. Des modes de codage supplémentaires (non décrits ici) peuvent être utilisés. Selon le mode particulier de réalisation décrit ici, le premier mode de codage M1 correspond au codage du bloc courant par prédiction intra classique, par exemple tel que défini selon le standard HEVC et le deuxième mode de codage M2 correspond au codage par prédiction In Loop Residual (ILR).
Le principe de l'invention peut être étendu à d'autres types de modes de codage pour le premier mode de codage M1. . Par exemple, le premier mode de codage peut correspondre à tout type de modes de codage utilisant une transformation du résidu de prédiction (codage par prédiction inter-images, codage par prédiction spatiale avec template matching, etc...). Lors de l'étape E2, le codeur peut réaliser une optimisation débit/distorsion pour déterminer le meilleur mode de codage pour coder le bloc courant. Au cours de cette optimisation débit/distorsion, des modes de codage supplémentaires distincts du premier et du deuxième mode de codage peuvent être testés, par exemple un mode de codage en mode inter. Au cours de cette optimisation débit/distorsion, le codeur simule le codage du bloc courant Xb selon les différents modes de codage disponibles afin de déterminer le débit et la distorsion associés à chaque mode de codage et sélectionne le mode de codage offrant le meilleur compromis débit/distorsion, par exemple selon la fonction D+ÂR, où R représente le débit nécessaire pour coder le bloc courant selon le mode de codage évalué, D la distorsion mesurée entre le bloc décodé et le bloc courant original et λ un multiplicateur lagrangien, par exemple entré par l'utilisateur ou défini au codeur.
Lors d'une étape E20, une information indiquant le mode de codage sélectionné pour le bloc courant est codée dans le flux de données STR.
Si le bloc courant Xb est codé selon le premier mode de codage M1, le procédé passe à l'étape E21 de codage du bloc selon M1. Si le bloc courant Xb est codé selon le deuxième mode de codage M2, le procédé passe à l'étape E22 de codage du bloc selon M2.
On décrit ci-après l'étape E21 de codage du bloc selon le premier mode de codage M1, selon un mode particulier de réalisation de l'invention. Selon le mode particulier décrit ici, le premier mode de codage correspond à une prédiction intra classique, telle que celle définie dans le standard HEVC.
Lors d'une étape E210, un pas de quantification δγ est déterminé. Par exemple, le pas de quantification δ± peut être fixé par l’utilisateur, ou bien calculé à l’aide d’un paramètre de quantification fixant un compromis entre compression et qualité et entré par l’utilisateur ou défini par le codeur. Ainsi, un tel paramètre de quantification peut être le paramètre λ, utilisé dans la fonction de coût débit-distorsion D+Â .R où D représente la distorsion introduite par le codage et R le débit utilisé pour coder. Cette fonction sert à faire des choix de codage, classiquement on cherche la façon de coder l'image qui minimise cette fonction.
En variante, le paramètre de quantification peut être le QP, correspondant au paramètre de quantification utilisé classiquement dans les normes AVC ou HEVC. Ainsi, dans la norme HEVC, le pas de quantification δγ est déterminé par l’équation i^levelScalel QP%6 ] « (QP/6)) où levelScale[ k ] = { 40, 45, 51, 57, 64, 72 } pour k = 0..5. Lors d'une étape E211, une prédiction du bloc courant est déterminée à l'aide d'un mode de prédiction intra classique. Selon cette prédiction intra classique, chaque pixel prédit est calculé uniquement à partir des pixels décodés issus des blocs voisins (pixels de référence) situés au-dessus du bloc courant, et à gauche du bloc courant. La façon dont les pixels sont prédits à partir des pixels de référence dépend d’un mode de prédiction qui est transmis au décodeur, et qui est choisi par le codeur parmi un ensemble prédéterminé de modes connus du codeur et du décodeur.
Ainsi, dans HEVC il y a 35 modes de prédiction possibles : 33 modes qui interpolent les pixels de référence dans 33 directions angulaires différentes, et 2 autres modes: le mode DC dans lequel chaque pixel du bloc prédit est produit à partir de la moyenne des pixels de référence, et le mode PLANAR, qui effectue une interpolation plane et non directionnelle. Cette approche dite « prédiction intra classique » est bien connue et également utilisée dans le standard ITU-T H.264 (où il n’y a que 9 modes différents) ainsi que dans le logiciel expérimental JEM disponible à l’adresse internet (https://jvet.hhi.fraunhofer.de/), où il y a 67 modes de prédiction différents. Dans tous les cas, la prédiction intra classique respecte les deux aspects cités ci-dessus (prédiction des pixels à partir des blocs voisins et transmission au décodeur d'un mode de prédiction optimal).
Au cours de l'étape E211, le codeur choisit donc un des modes de prédiction disponibles parmi la liste prédéterminée de modes de prédiction. Une façon de choisir consiste par exemple à évaluer tous les modes de prédiction et à conserver le mode de prédiction qui minimise une fonction de coût tel que, classiquement, le coût débit-distorsion.
Lors d'une étape E212, le mode de prédiction choisi pour le bloc courant est codé à partir des blocs voisins du bloc courant. La figure 2 illustre un exemple de position des blocs voisins Ab et Bb du bloc courant Xb pour coder le mode de prédiction du bloc courant Xb.
Au cours de l'étape E212, le mode de prédiction intra choisi pour le bloc courant est codé en utilisant les modes de prédiction intra associés aux blocs voisins.
Par exemple, l’approche décrite dans la norme HEVC pour coder le mode de prédiction du bloc courant peut être utilisée. Dans l’exemple de la figure 2, une telle approche consiste à identifier le mode de prédiction intra mA associé au bloc Ab situé au-dessus du bloc courant, et le mode de prédiction intra mB associé au bloc Bb situé juste à gauche du bloc courant. En fonction de la valeur de mA et de mB, une liste dite MPM (pour Most Probable Mode), contenant 3 modes de prédiction intra, et une liste dite non-MPM, contenant les 32 autres modes de prédiction, sont créées.
Selon la norme HEVC, afin de coder le mode de prédiction intra du bloc courant, des éléments de syntaxe sont transmis :
-un indicateur binaire indiquant si le mode de prédiction à coder pour le bloc courant est dans la liste MPM ou non,
-si le mode de prédiction du bloc courant appartient à la liste MPM, un index dans la liste MPM correspondant au mode de prédiction du bloc courant est codé,
- si le mode de prédiction du bloc courant n'appartient pas à la liste MPM, un index dans la liste non-MPM correspondant au mode de prédiction du bloc courant est codé.
Lors d'une étape E213, le résidu de prédiction R pour le bloc courant est construit.
Au cours de l'étape E213, de manière classique, un bloc prédit P est construit en fonction du mode de prédiction choisi à l'étape E211. Puis le résidu de prédiction R est obtenu en calculant la différence pour chaque pixel, entre le bloc prédit P et le bloc courant original. Lors d'une étape E214, le résidu de prédiction R est transformé en RT.
Au cours de l'étape E214, une transformée fréquentielle est appliquée au bloc de résidu R de façon à produire le bloc RT comprenant des coefficients transformés. La transformée pourra être une transformée de type DCT par exemple. Il est possible de choisir la transformée à utiliser parmi un ensemble prédéterminé de transformées ET et de signaler la transformée utilisée au décodeur.
Lors d'une étape E215, le bloc de résidu transformé RT est quantifié à l'aide par exemple d’une quantification scalaire de pas de quantification δγ. Ceci produit le bloc de résidu de prédiction transformé quantifié RTq.
Lors d'une étape E216, les coefficients du bloc quantifié RTq sont codés par un codeur entropique. On peut par exemple utiliser le codage entropique spécifié dans la norme HEVC. De manière connue, le bloc courant est décodé en dé-quantifiant les coefficients du bloc quantifié RTq, puis en appliquant la transformée inverse aux coefficients dé-quantifiés pour obtenir le résidu de prédiction décodé. La prédiction est ensuite ajoutée au résidu de prédiction décodé afin de reconstruire le bloc courant et d'obtenir sa version décodée. La version décodée du bloc courant peut ensuite être utilisée ultérieurement pour prédire spatialement d'autres blocs voisins de l'image ou bien pour prédire des blocs d'autres images par prédiction inter-images.
On décrit ci-après l'étape E22 de codage du bloc selon le deuxième mode de codage M2, selon un mode particulier de réalisation de l'invention. Selon le mode particulier décrit ici, le deuxième mode de codage correspond à un codage par prédiction ILR.
Au cours d'une étape E220, un prédicteur local PL pour le bloc courant est déterminé. Selon le mode de codage décrit ici, les pixels du bloc courant sont prédits par des pixels précédemment reconstruits d'un bloc voisin du bloc courant ou du bloc courant lui-même.
De préférence, pour prédire, on choisit des pixels qui sont les plus proches possibles du pixel à prédire. Pour cette raison, on parle de prédicteur local. Le prédicteur local PL peut également être assimilé à un mode de prédiction du bloc courant associé au deuxième mode de codage M2. Selon cette interprétation, dans le mode particulier de réalisation décrit ici, le premier mode de codage utilise un premier groupe de modes de prédiction intra, par exemple les modes de prédiction intra définis par le standard HEVC, et le deuxième mode de codage, ici le mode ILR, utilise un deuxième groupe de modes de prédiction distinct du premier groupe de modes de prédiction intra.
Le prédicteur local PL peut être unique ou il peut être sélectionné parmi un ensemble de prédicteurs locaux prédéterminés (deuxième groupe de modes de prédiction).
Selon une variante de réalisation, 4 prédicteurs locaux sont définis. Ainsi, si on appelle X un pixel courant à prédire du bloc courant, A le pixel situé immédiatement à gauche de X, B le pixel situé immédiatement à gauche et au-dessus de X, C le pixel situé immédiatement audessus de X, tel qu'illustré en figure 3 montrant un bloc courant Xb. 4 prédicteurs locaux PL1, PL2, PL3, PL4 peuvent être définis comme suit:
PL1(X)= min(A,B) si C > max(A,B) max(A,B) si C < min(A,B)
A+B-C sinon
PL2(X) = A
PL3(X) = B
PL4(X) = C où min(A,B) correspond à la fonction retournant la valeur la plus petite entre la valeur de A et la valeur de B et max(A,B) correspond à la fonction retournant la valeur la plus grande entre la valeur de A et la valeur de B.
Au cours de l'étape E220, on détermine quel prédicteur local PL utiliser pour le bloc courant. Autrement dit, le même prédicteur local sera utilisé pour tous les pixels du bloc courant, i.e. la même fonction de prédiction. Pour cela, plusieurs variantes de réalisation sont possibles. Le codage du bloc courant avec chacun des prédicteurs peut être simulé (de manière similaire à une optimisation pour choisir un mode de codage pour le bloc courant), et le prédicteur local qui optimise une fonction de coût (par exemple, qui minimise la fonction D + λ .R où R est le débit utilisé pour coder le bloc, D est la distorsion du bloc décodé par rapport au bloc original, et λ est un paramètre fixé par l’utilisateur) est sélectionné.
Ou bien, afin de limiter la complexité de la sélection d'un prédicteur local pour le bloc courant, une orientation de la texture des pixels précédemment codés est analysée. Par exemple, les pixels précédemment codés dans le bloc qui sont situés au-dessus ou à gauche du bloc courant sont analysés à l’aide d’un opérateur de type Sobel. S'il est déterminé que:
- l'orientation est horizontale, le prédicteur local PL2 est sélectionné,
- l'orientation est verticale, le prédicteur local PL3 est sélectionné,
- l'orientation est diagonale, le prédicteur local PL4 est sélectionné,
- si aucune orientation ne se dégage, le prédicteur local PL1 est sélectionné.
Un élément de syntaxe est codé dans le flux de données STR pour indiquer au décodeur quel prédicteur local a été utilisé pour prédire le bloc courant.
Au cours d'une étape E221, un pas de quantification δ2 est déterminé. Par exemple, le pas de quantification δ2 dépend d'un même paramètre de quantification que le pas de quantification/qqui serait déterminé à l'étape E210 si le bloc courant était codé selon le premier mode de codage.
Lors d'une étape E222, un résidu de prédiction R1 est calculé pour le bloc courant. Pour cela, une fois le prédicteur local choisi, pour chaque pixel courant du bloc courant:
-le pixel courant X du bloc courant est prédit par le prédicteur local PL sélectionné, à l’aide soit des pixels extérieurs au bloc et déjà reconstruits (et donc disponibles avec leur valeur décodée), soit de pixels précédemment reconstruits dans le bloc courant, soit des deux, afin d’obtenir une valeur prédite PRED. Dans tous les cas le prédicteur PL utilise des pixels précédemment reconstruits. Sur la figure 3, on voit que les pixels du bloc courant situés sur la première ligne et/ou la première colonne du bloc courant utiliseront comme pixels de référence (pour construire la valeur prédite PRED) des pixels extérieurs au bloc et déjà reconstruits (pixels en gris sur la figure 3) et éventuellement des pixels déjà reconstruits du bloc courant. Pour les autres pixels du bloc courant, les pixels de référence utilisés pour construire la valeur prédite PRED sont situés à l'intérieur du bloc courant.
-la différence DIFF entre PRED et X est quantifiée en une valeur Q(X), par un quantificateur scalaire de pas de quantification δ2, par Q(X) = ScalarQuant(DIFF) = ScalarQuant(52, XPRED), le quantificateur scalaire étant par exemple un quantificateur scalaire au plus proche (XH- —
Q(X) est le résidu quantifié associé à X. Il est calculé dans le domaine spatial, i.e. calculé directement à partir de la différence entre la valeur prédite PRED du pixel X et la valeur originale de X. Un tel résidu quantifié Q(X) pour le pixel X est mémorisé dans un bloc de résidu de prédiction quantifié R1Q, qui sera codé ultérieurement.
-la valeur prédite décodée P1(X) de X est calculée en ajoutant à la valeur prédite PRED la valeur dé-quantifiée du résidu quantifié Q(X). La valeur prédite décodée P1(X) de X est ainsi obtenue par P1(X) = PRED + ScalarDequant(52, Q(X))· Par exemple, la fonction inverse de quantification scalaire au plus proche est donnée par: ScalarDequant(A, x) = Δχχ.
La valeur prédite décodée P1(X) permet ainsi de prédire d’éventuels pixels qui restent à traiter dans le bloc courant. Par ailleurs, le bloc P1 comprenant les valeurs décodées/reconstruites des pixels du bloc courant constitue le prédicteur ILR du bloc courant (par opposition au prédicteur intra classique).
Les sous-étapes décrites ci-dessus sont effectuées pour tous les pixels du bloc courant, dans un ordre de parcours qui assure que les pixels utilisés pour la prédiction choisie parmi PL1,..., PL4 soient disponibles.
Selon une variante de réalisation, l’ordre de parcours du bloc courant est l’ordre lexicographique, i.e. de gauche à droite, et de haut en bas.
Selon une autre variante de réalisation, plusieurs ordres de parcours du bloc courant peuvent être utilisés, par exemple :
-l’ordre lexicographique, ou
-en parcourant la première colonne de haut en bas, puis la colonne juste à sa droite, etc . ou bien,
-en parcourant les diagonales les unes après les autres.
Selon cette autre variante, il est possible de simuler le coût de codage associé à chacun des ordres de parcours et de choisir le meilleur ordre de parcours du bloc courant au sens débit/distorsion, puis de coder pour le bloc courant une information représentative de l’ordre de parcours choisi.
A l’issue de l'étape E222, le bloc de résidu quantifié R1Q a été déterminé. Ce bloc de résidu quantifié R1Q doit être codé pour être transmis au décodeur. Le prédicteur P1 du bloc courant a également été déterminé.
Lors d'une étape E223, le bloc de résidu quantifié R1Q est codé afin de le transmettre au décodeur. Il est possible d’utiliser toute approche connue telle que la méthode décrite dans HEVC pour coder les coefficients quantifiés d'un résidu de prédiction classique.
Selon le mode particulier de réalisation de l'invention décrit ici les valeurs du bloc de résidu quantifié R1Q sont codées à l'aide d'un codeur entropique à partir du flux de données STR.
Selon un mode particulier de réalisation de l'invention, il est possible de déterminer et coder un résidu de prédiction additionnel R2 à partir du prédicteur ILR obtenu pour le bloc courant. Le codage d'un résidu de prédiction additionnel R2 est toutefois optionnel. Il est possible en effet de simplement coder le bloc courant par sa version prédite P1 et le résidu quantifié R1q.
Afin de coder un résidu de prédiction additionnel R2 pour le bloc courant, les étapes suivantes sont mises en œuvre.
Lors d'une étape E224, la différence R2 entre le prédicteur P1 et le bloc courant original Xb est calculée afin de constituer un résidu additionnel R2 : R2= Xb-P1. Les étapes suivantes correspondent aux étapes classiques de codage de ce résidu R2.
Lors d'une étape E225, le résidu R2 est transformé à l'aide d'une transformée fréquentielle de façon à produire le bloc de coefficients R2T.
La transformée peut être une transformée de type DCT par exemple. Il est possible de choisir la transformée à utiliser parmi un ensemble prédéterminé de transformées ET2 et de signaler la transformée utilisée au décodeur. Dans ce cas, l’ensemble ET2 peut être différent de l’ensemble ET, afin de s’adapter aux statistiques particulières du résidu R2.
Lors d'une étape E226, le bloc de coefficients R2T est quantifié, par exemple à l’aide d’une quantification scalaire de pas de quantification 5. Ceci produit le bloc R2Tq.
Le pas de quantification δ peut être fixé par l’utilisateur, il peut également être calculé à l’aide d’un autre paramètre Λ fixant le compromis entre compression et qualité et entré par l’utilisateur ou le codeur. Par exemple, le pas de quantification δ peut correspondre au pas de quantification δ± ou être déterminé de manière similaire à celui-ci.
Lors d'une étape E227, les coefficients du bloc quantifié R2Tq sont alors transmis de façon codée. On peut par exemple utiliser le codage spécifié dans la norme HEVC.
De manière connue, le bloc courant est décodé en dé-quantifiant les coefficients du bloc quantifié R2Tq, puis en appliquant la transformée inverse aux coefficients dé-quantifiés pour obtenir le résidu de prédiction décodé. La prédiction P1 est ensuite ajoutée au résidu de prédiction décodé afin de reconstruire le bloc courant et d'obtenir sa version décodée Xrec. La version décodée Xrec du bloc courant peut ensuite être utilisée ultérieurement pour prédire spatialement d'autres blocs voisins de l'image ou bien pour prédire des blocs d'autres images par prédiction inter-images.
Lors d'une étape E23, il est vérifié si le bloc courant est le dernier bloc de l'image à traiter par le procédé de codage, compte tenu de l’ordre de parcours défini précédemment. Si le bloc courant n'est pas le dernier bloc de l'image à traiter, lors d'une étape E24, le bloc suivant de l'image à traiter est sélectionné selon le parcours de l'image défini précédemment et le procédé de codage passe à l'étape E2, où le bloc sélectionné devient le bloc courant à traiter.
Si tous les blocs de l'image ont été codés, le procédé passe à l'application des méthodes de post-traitements à appliquer à l'image reconstruite lors d'une étape E231. Comme discuté plus haut, ces méthodes de post-traitements peuvent être un filtrage deblocking et/ou une méthode SAO. L'application des post-traitements étant faite de manière similaire au codeur et au décodeur, l'étape E231 sera décrite plus loin.
Après l'application d'au moins une méthode de post-traitement, le procédé passe au codage (étape E25) de l'image suivante de la vidéo le cas échéant.
La figure 4 présente des étapes du procédé de décodage d'un flux STR de données codées représentatif d'une séquence d'images h, l2, ..., Inô à décoder selon un mode particulier de réalisation de l'invention.
Par exemple, le flux de données STR a été généré via le procédé de codage présenté en relation avec la figure 1. Le flux de données STR est fourni en entrée d'un dispositif de décodage DEC, tel que décrit en relation avec la figure 7.
Le procédé de décodage procède au décodage du flux image par image et chaque image est décodée bloc par bloc.
Lors d'une étape E40, une image I, à décoder est subdivisée en blocs. Chaque bloc va subir une opération de décodage consistant en une suite d'étapes qui sont détaillées par la suite. Les blocs peuvent être de même taille ou de tailles différentes.
Lors d'une étape E41, un premier bloc ou sous-bloc Xb à décoder de l'image I, est sélectionné comme bloc courant selon un sens de parcours de l'image I, qui est prédéterminé. Par exemple, il peut s'agir du premier bloc dans l'ordre lexicographique de parcours de l'image.
Lors d'une étape E42, une information indiquant un mode codage pour le bloc courant est lue à partir du flux de données STR. Selon le mode particulier de réalisation décrit ici, cette information indique si le bloc courant est codé selon un premier mode de codage M1 ou selon un deuxième mode de codage M2. Selon le mode particulier de réalisation décrit ici, le premier mode de codage M1 correspond au codage du bloc courant par prédiction intra classique, par exemple tel que défini selon le standard HEVC, et le deuxième mode de codage M2 correspond au codage par prédiction In Loop Residual (ILR).
Dans d'autres modes particuliers de réalisation, l'information lue à partir du flux STR peut également indiquer l'utilisation d'autres modes de codage pour coder le bloc courant (non décrits ici).
On décrit ci-après l'étape E43 de décodage du bloc courant lorsque le bloc courant est codé selon le premier mode de codage M1.
Lors d'une étape E430, un pas de quantification δ± est déterminé. Par exemple, le pas de quantification δ± est déterminé à partir du paramètre de quantification QP lu lors de l'étape E401 ou de manière similaire à ce qui a été fait au codeur. Par exemple, le pas de quantification δ± peut être calculé à l’aide du paramètre de quantification QP lu lors de l'étape E401. Par exemple, le paramètre de quantification QP peut être le paramètre de quantification utilisé classiquement dans les normes AVC ou HEVC. Ainsi, dans la norme HEVC, le pas de quantification δ± est déterminé par l’équation i^levelScalel QP%6 ] « (QP/6)) où levelScale[ k ] = { 40, 45, 51, 57, 64, 72 } pour k = 0..5.
Lors d'une étape E431, le mode de prédiction utilisé pour coder le bloc courant est décodé à partir des blocs voisins. Pour cela, comme ce qui a été fait au codeur, le mode de prédiction intra choisi pour le bloc courant est décodé, en utilisant les modes de prédiction intra associés aux blocs voisins du bloc courant.
La construction des deux listes MPM et non-MPM est strictement similaire à ce qui a été fait lors du codage. Selon le standard HEVC, des éléments de syntaxe du type suivant sont décodés :
-un indicateur binaire indiquant si le mode de prédiction à coder pour le bloc courant est dans la liste MPM ou non,
-si le mode de prédiction du bloc courant appartient à la liste MPM, un index dans la liste MPM correspondant au mode de prédiction du bloc courant est codé,
- si le mode de prédiction du bloc courant n'appartient pas à la liste MPM, un index dans la liste non-MPM correspondant au mode de prédiction du bloc courant est codé.
L'indicateur binaire et l'index du mode de prédiction sont donc lus pour le bloc courant à partir du flux de données STR, pour décoder le mode de prédiction intra du bloc courant.
Lors d'une étape E432, le décodeur construit un bloc prédit P pour le bloc courant à partir du mode de prédiction décodé.
Lors d'une étape E433, le décodeur décode les coefficients du bloc quantifié RTq à partir du flux de données STR, par exemple en utilisant le décodage spécifié dans la norme HEVC.
Lors d'une étape E434, le bloc décodé RTq est dé-quantifié, par exemple à l’aide d’une déquantification scalaire de pas de quantification δγ. Ceci produit le bloc de coefficients déquantifiés Rtqd·
Lors d'une étape E435, une transformée fréquentielle inverse est appliquée au bloc de coefficients dé-quantifiés RTqd de façon à produire le bloc de résidu de prédiction décodé Rtqdi- La transformée pourra être une transformée de type DCT inverse par exemple. Il est possible de choisir la transformée à utiliser parmi un ensemble prédéterminé de transformées ETi en décodant un indicateur à partir du flux de données STR.
Lors d'une étape E436, le bloc courant est reconstruit à partir du bloc prédit P obtenu à l'étape E432 et le bloc de résidu décodé Rtqdi obtenu à l'étape E435, afin de produire le bloc courant décodé Xrec, par Xrec= P + RtqdiOn décrit ci-après l'étape E44 de décodage du bloc courant lorsque le bloc courant est codé selon le deuxième mode de codage M2.
Lors d'une étape E440, le prédicteur local PL utilisé pour prédire les pixels du bloc courant est déterminé. Dans le cas où un seul prédicteur est disponible, le prédicteur local est par exemple défini par défaut au niveau du décodeur et aucun élément de syntaxe n’a besoin d’être lu dans le flux STR pour le déterminer.
Dans le cas où plusieurs prédicteurs locaux sont disponibles, par exemple les prédicteurs PL1-PL4 décrits plus haut, un élément de syntaxe est décodé du flux de données STR pour identifier quel prédicteur local a été utilisé pour prédire le bloc courant. Le prédicteur local est donc déterminé à partir de cet élément de syntaxe décodé.
Lors d'une étape E441, le pas de quantification δ2 est déterminé, de manière similaire à ce qui a été fait au codeur.
Lors d'une étape E442, le résidu quantifié R1Qest décodé à partir du flux de données STR. Il est possible d’utiliser toute approche connue telle que la méthode décrite dans HEVC pour décoder les coefficients quantifiés du résidu de prédiction classique.
Lors d'une étape E443, le bloc résidu quantifié R1Q est dé-quantifié à l’aide du pas de quantification δ2, de façon à produire le bloc de résidu dé-quantifié R1QD.
Lors d'une étape E444, lorsque le bloc de résidu dé-quantifié R1QD est obtenu, le bloc prédit P1 est construit à l'aide du prédicteur local PL déterminé lors de l'étape E440.
Au cours de l'étape E444, chaque pixel du bloc courant est prédit et reconstruit de la manière suivante:
-le pixel courant X du bloc courant est prédit par le prédicteur PL sélectionné, à l’aide soit des pixels extérieurs au bloc et déjà décodés, soit de pixels précédemment reconstruits du bloc courant, soit des deux, afin d’obtenir une valeur prédite PRED. Dans tous les cas, le prédicteur PL utilise des pixels précédemment décodés.
-la valeur prédite décodée P1(X) du pixel courant X est calculée en ajoutant à la valeur prédite PRED, la valeur dé-quantifiée du résidu de prédiction R1QD, tel que P1(X) = PRED + R1qd(X).
Ces étapes sont mises en oeuvre pour tous les pixels du bloc courant, dans un ordre de parcours qui assure que les pixels utilisés pour la prédiction choisie parmi PL1,... ,PL4 soient disponibles.
Par exemple, l’ordre de parcours est l’ordre lexicographique (de gauche à droite, puis les lignes de haut en bas).
Selon un mode particulier de réalisation de l'invention, le bloc prédit P1 comprenant les valeurs prédites décodées P1(X) de chaque pixel du bloc courant constitue ici le bloc courant décodé Xrec.
Selon un autre mode particulier de réalisation de l'invention, on considère ici qu'un résidu de prédiction additionnel a été codé pour le bloc courant. Il est donc nécessaire de décoder ce résidu de prédiction additionnel afin de reconstruire la version décodée du bloc courant Xrec.
Par exemple, cet autre mode particulier de réalisation peut être activé ou non par défaut au niveau du codeur et du décodeur. Ou bien, un indicateur peut être codé dans le flux de données avec les informations de niveau bloc pour indiquer pour chaque bloc codé selon le mode de codage ILR si un résidu de prédiction additionnel est codé. Ou bien encore un indicateur peut être codé dans le flux de données avec les informations de niveau image ou séquence d'images pour indiquer pour tous les blocs de l'image ou de la séquence d'images codés selon le mode de codage ILR si un résidu de prédiction additionnel est codé.
Lorsqu'un résidu de prédiction additionnel est codé pour le bloc courant, lors d'une étape E445, les coefficients du résidu de prédiction quantifié R2TQSont décodés du flux de données STR, à l'aide de moyens adaptés à ceux mis en oeuvre au codeur, par exemple les moyens mis en oeuvre dans un décodeur HEVC.
Lors d'une étape E446, le bloc de coefficients quantifiés R2Tq est dé-quantifié, par exemple à l’aide d’une dé-quantification scalaire de pas de quantification δγ. Ceci produit le bloc de coefficients dé-quantifiés R2Tqd·
Lors d'une étape E447, une transformée fréquentielle inverse est appliquée au bloc R2Tqd de façon à produire le bloc de résidu de prédiction décodé R2Tqdi.
La transformée inverse pourra être une transformée de type DCT inverse par exemple.
Il est possible de choisir la transformée à utiliser parmi un ensemble prédéterminé de transformées ET2 et de décoder l’information signalant la transformée à utiliser au décodeur. Dans ce cas, l’ensemble ET2 est différent de l’ensemble ET, afin de s’adapter aux statistiques particulières du résidu R2.
Lors d'une étape E448, le bloc courant est reconstruit en ajoutant le bloc prédit P1 obtenu lors de l'étape E444 au résidu de prédiction décodé R2Tqdi.
Lors d'une étape E45, il est vérifié si le bloc courant est le dernier bloc de l'image à traiter par le procédé de décodage, compte tenu de l’ordre de parcours défini précédemment. Si le bloc courant n'est pas le dernier bloc de l'image à traiter, lors d'une étape E46, le bloc suivant de l'image à traiter est sélectionné selon le parcours de l'image défini précédemment et le procédé de décodage passe à l'étape E42, le bloc sélectionné devenant le bloc courant à traiter.
Si tous les blocs de l'image ont été décodés, le procédé passe à l'application d'au moins une méthode de post-traitement à appliquer à l'image reconstruite lors d'une étape E451. Comme discuté plus haut, ces méthodes de post-traitement peuvent être un filtrage deblocking et/ou une méthode SAO.
Après l'application d'au moins une méthode de post-traitement, le procédé passe au décodage (étape E47) de l'image suivante de la vidéo le cas échéant.
On décrit ci-après les étapes E231 et E451 d'application d'au moins une méthode de posttraitement respectivement au codeur et au décodeur selon l'invention.
Les post-traitements nécessitent généralement d’avoir accès à des données contenues dans les blocs voisins d'un bloc courant à traiter, y compris les blocs « futurs » ou non encore reconstruits selon l'ordre de parcours des blocs dans l'image utilisé au codeur et au décodeur. Les post-traitements sont donc généralement effectués en faisant une deuxième boucle complète sur tous les blocs reconstruits de l’image. Ainsi, au codeur et au décodeur, une première boucle sur l’ensemble des blocs de l’image construit une version reconstruite des blocs à partir des informations codées pour les blocs, puis une boucle de post-traitement parcourt à nouveau les blocs reconstruits afin d'améliorer leur reconstruction. Deux exemples d’amélioration sont donnés ci-dessus, le principe général de l'invention s'applique bien sûr à d'autres méthodes de post-traitement.
Filtrage deblocking
Au cours de ce traitement, un filtrage dit de « deblocking » est appliqué à des blocs reconstruits de l’image. Ce filtrage consiste en général à appliquer un filtre passe-bas aux pixels qui se trouvent à la frontière d’un bloc reconstruit. Un tel filtre est décrit de manière générale dans l’article
Andrey Norkin et AL, “HEVC deblocking filter”, IEEE Transactions on Circuits and Systems for Video Technology (Volume: 22, Issue: 12, Dec. 2012), page(s): 1746 - 1754, ,05 October 2012.
Selon un mode particulier de réalisation de l'invention, le filtrage de deblocking n’est appliqué qu’à la frontière de deux blocs reconstruits qui ont été précédemment codés par un mode de codage classique, i.e. autre que ILR.
Ce mode particulier de réalisation de l'invention est par exemple illustré sur la figure 5A montrant:
- un bloc de pixels 80 reconstruit et ayant été décodé selon le mode de codage M2 (ILR),
- un bloc de pixels 81 reconstruit et ayant été décodé selon un mode de codage M1 (non ILR), voisin du bloc 80,
- un bloc de pixels 82 reconstruit et ayant été décodé selon un mode de codage M1 (non ILR), voisin du bloc 81.
Sur la figure 5A :
- les pixels hachurés correspondent aux pixels pour lesquels l'application du filtrage de deblocking est désactivée,
- les pixels remplis par des points sont des pixels qui ne sont, de par leur emplacement dans le bloc reconstruit, non concernés par le filtrage de deblocking,
- et les pixels blancs sont les pixels auxquels le filtrage de deblocking est appliqué.
Ainsi, selon le mode particulier de réalisation de l'invention décrit, lorsque le bloc courant, par exemple le bloc 80, est décodé ou codé selon le mode de codage M2, l'application du filtrage de deblocking au bloc courant reconstruit est désactivée pour tous les pixels du bloc courant. Ceci est illustré en figure 5A, sur laquelle tous les pixels à la frontière du bloc 80 sont hachurés.
De plus, lorsque le bloc courant, par exemple le bloc 81, est décodé ou codé selon un mode de codage classique ou non ILR, le filtrage de deblocking est appliqué à un pixel du bloc courant reconstruit si le pixel est situé sur une frontière du bloc courant reconstruit avec un bloc voisin et si le bloc voisin a été décodé ou codé selon un mode de codage classique, i.e. non ILR. Ceci est illustré en figure 5A, sur laquelle tous les pixels de bloc 81 situés à la frontière avec le bloc 80 sont hachurés et tous les pixels de bloc 81 situés à la frontière avec le bloc 82 sont blancs.
Selon un mode particulier de réalisation de l'invention, le filtrage de deblocking n’est appliqué qu’à la frontière de deux blocs dont au moins un des deux blocs est un bloc codé/décodé selon un mode de codage classique (par exemple M1 dans l'exemple décrit en relation avec les figures 2 et 4).
Ce mode particulier de réalisation de l'invention est par exemple illustré sur la figure 5B montrant:
- un bloc de pixels 83 reconstruit et ayant été décodé selon le mode de codage M1 (non ILR),
- un bloc de pixels 84 reconstruit et ayant été décodé selon un mode de codage M2 (ILR), voisin du bloc 83,
- un bloc de pixels 85 reconstruit et ayant été décodé selon un mode de codage M2 (ILR), voisin du bloc 84.
Sur la figure 5B :
- les pixels hachurés correspondent aux pixels pour lesquels l'application du filtrage de deblocking est désactivée,
- les pixels remplis par des points sont des pixels qui ne sont, de par leur emplacement dans le bloc, non concernés par le filtrage de deblocking,
- les pixels blancs sont les pixels auxquels le filtrage de deblocking est appliqué.
Ainsi, selon le mode particulier de réalisation de l'invention décrit, lorsque le bloc courant, par exemple le bloc 84, a été décodé ou codé selon le mode de codage M2 (ILR), l'application du filtrage de deblocking est désactivée pour un pixel du bloc courant 84 reconstruit si le pixel est situé sur une frontière du bloc courant 84 reconstruit avec un bloc voisin et si ledit bloc voisin a été décodé ou codé selon le mode de codage M2 (ILR). Ceci est illustré en figure 5B sur laquelle tous les pixels du bloc 84 situés à la frontière avec le bloc 85 sont hachurés.
De plus, selon ce mode particulier de réalisation de l'invention, le filtrage de deblocking est appliqué à un pixel du bloc courant (84) reconstruit, si le pixel est situé sur une frontière du bloc courant reconstruit avec un bloc voisin et si le bloc voisin a été décodé ou codé selon un mode de codage distinct du mode de codage M2. Ceci est illustré en figure 5B sur laquelle tous les pixels du bloc 84 situés à la frontière avec le bloc 83 sont blancs.
Traitement S AO
Classiquement, le traitement SAO s'applique à tous les pixels d'un bloc reconstruit. Un tel traitement SAO consiste à décaler la valeur décodée de chaque pixel du bloc d’une valeur transmise explicitement au décodeur, en fonction de l’environnement dudit pixel. Le traitement SAO est décrit dans Chih-Ming Fu, Elena Alshina, Alexander Alshin, Yu-Wen Huang, Ching-Yeh Chen, and Chia-Yang Tsai, Chih-Wei Hsu, Shaw-Min Lei, Jeong-Hoon Park, and Woo-Jin Han, “Sample Adaptive Offset in the HEVC Standard’ IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY, VOL. 22, NO. 12, DECEMBER 2012, 1755.
Selon un mode particulier de réalisation de l'invention, le traitement SAO est appliqué uniquement sur les blocs reconstruits qui ont été codés par un mode de codage classique,
i.e. non ILR. Autrement dit, lorsque le bloc courant est décodé ou codé selon le mode de codage ILR (M2 dans les exemples décrits précédemment), l'application de la méthode SAO au bloc courant reconstruit est désactivée pour tous les pixels du bloc courant reconstruit.
La figure 6 présente la structure simplifiée d’un dispositif de codage COD adapté pour mettre en œuvre le procédé de codage selon l'un quelconque des modes particuliers de réalisation de l'invention.
Selon un mode particulier de réalisation de l'invention, les étapes du procédé de codage sont mises en œuvre par des instructions de programme d'ordinateur. Pour cela, le dispositif de codage COD a l'architecture classique d'un ordinateur et comprend notamment une mémoire MEM, une unité de traitement UT, équipée par exemple d'un processeur PROC, et pilotée par le programme d'ordinateur PG stocké en mémoire MEM. Le programme d'ordinateur PG comprend des instructions pour mettre en œuvre les étapes du procédé de codage tel que décrit ci-dessus, lorsque le programme est exécuté par le processeur PROC.
A l'initialisation, les instructions de code du programme d'ordinateur PG sont par exemple chargées dans une mémoire RAM (non représentée) avant d'être exécutées par le processeur PROC. Le processeur PROC de l'unité de traitement UT met notamment en oeuvre les étapes du procédé de codage décrit ci-dessus, selon les instructions du programme d'ordinateur PG.
La figure 7 présente la structure simplifiée d’un dispositif de décodage DEC adapté pour mettre en oeuvre le procédé de décodage selon l'un quelconque des modes particuliers de réalisation de l'invention.
Selon un mode particulier de réalisation de l'invention, le dispositif de décodage DEC a l'architecture classique d'un ordinateur et comprend notamment une mémoire MEMO, une unité de traitement UTO, équipée par exemple d'un processeur PROCO, et pilotée par le programme d'ordinateur PGO stocké en mémoire MEMO. Le programme d'ordinateur PGO comprend des instructions pour mettre en oeuvre les étapes du procédé de décodage tel que décrit ci-dessus, lorsque le programme est exécuté par le processeur PROCO.
A l'initialisation, les instructions de code du programme d'ordinateur PGO sont par exemple chargées dans une mémoire RAM (non représentée) avant d'être exécutées par le processeur PROCO. Le processeur PROCO de l'unité de traitement UTO met notamment en oeuvre les étapes du procédé de décodage décrit ci-dessus, selon les instructions du programme d'ordinateur PGO.
Claims (11)
- Revendications1. Procédé de décodage d'un flux de données codées représentatif d'au moins une image, ladite image étant découpée en blocs, le procédé de décodage comprend, pour au moins un bloc de l'image, dit bloc courant:- le décodage (E42) d'une information indiquant un mode de codage du bloc courant parmi au moins un premier mode de codage et un deuxième mode de codage, le deuxième mode de codage étant un mode de codage selon lequel le bloc courant est décodé (E44) via, pour chaque pixel du bloc courant:- l'obtention d'une prédiction dudit pixel à partir d'un autre pixel précédemment décodé, ledit autre pixel précédemment décodé appartenant audit bloc courant ou à un bloc de l'image précédemment décodé,- le décodage d'un résidu de prédiction associé audit pixel,- la reconstruction dudit pixel à partir de la prédiction dudit pixel obtenue et du résidu de prédiction décodé associé audit pixel,- le décodage (E44, E43) du bloc courant selon le mode de codage indiqué par l'information décodée,- lorsque le mode de codage du bloc courant correspond à un mode de codage distinct du deuxième mode de codage, l'application d'au moins une méthode de traitement au bloc courant reconstruit,- lorsque le mode de codage du bloc courant correspond au deuxième mode de codage, la désactivation de l'application de ladite au moins une méthode de traitement au bloc courant reconstruit pour au moins un pixel dudit bloc courant.
- 2. Procédé de codage d'un flux de données codées représentatif d'au moins une image, ladite image étant découpée en blocs, le procédé de codage comprend, pour au moins un bloc de l'image, dit bloc courant:- le codage (E20) d'une information indiquant un mode de codage du bloc courant parmi au moins un premier mode de codage et un deuxième mode de codage, le deuxième mode de codage étant un mode de codage selon lequel le bloc courant est codé (E22) via, pour chaque pixel du bloc courant:- l'obtention (E222) d'une prédiction dudit pixel à partir d'un autre pixel précédemment décodé, ledit autre pixel précédemment décodé appartenant audit bloc courant ou à un bloc de l'image précédemment décodé,- le codage (E223) d'un résidu de prédiction associé audit pixel obtenu à partir de la prédiction dudit pixel,- la reconstruction dudit pixel à partir du résidu de prédiction décodé associé audit pixel et de la prédiction dudit pixel,- le codage (E21, E22) du bloc courant selon le mode de codage indiqué par l'information codée,- lorsque le mode de codage du bloc courant correspond à un mode de codage distinct du deuxième mode de codage, l'application d'au moins une méthode de traitement au bloc courant reconstruit,- lorsque le mode de codage du bloc courant correspond au deuxième mode de codage, la désactivation de l'application de ladite au moins une méthode de traitement au bloc courant reconstruit pour au moins un pixel dudit bloc courant.
- 3. Procédé selon l'une quelconque des revendications 1 ou 2, dans lequel ladite méthode de traitement est un filtrage de déblocage appliqué aux pixels du bloc courant reconstruit qui sont situés à la frontière du bloc courant reconstruit avec un bloc voisin reconstruit dans l'image.
- 4. Procédé selon la revendication 3, dans lequel:- lorsque le bloc courant est décodé ou codé selon le deuxième mode de codage:- l'application du filtrage de déblocage au bloc courant reconstruit est désactivée pour tous les pixels du bloc courant reconstruit,- lorsque le bloc courant est décodé ou codé selon un mode de codage distinct du deuxième mode de codage:- le filtrage de déblocage est appliqué à un pixel du bloc courant reconstruit si ledit pixel est situé sur une frontière dudit bloc courant reconstruit avec un bloc reconstruit voisin dans l’image et si ledit bloc voisin est décodé ou codé selon un mode de codage distinct du deuxième mode de codage.
- 5. Procédé selon la revendication 3, dans lequel:- lorsque le bloc courant est décodé ou codé selon le deuxième mode de codage:- l'application du filtrage de déblocage au bloc courant reconstruit est désactivée pour un pixel du bloc courant reconstruit si ledit pixel est situé sur une frontière dudit bloc courant reconstruit avec un bloc voisin dans l’image et si ledit bloc voisin est décodé ou codé selon le deuxième mode de codage, et- le filtrage de déblocage est appliqué à un pixel du bloc courant reconstruit, si ledit pixel est situé sur une frontière dudit bloc courant reconstruit avec un bloc voisin reconstruit dans l’image et si ledit bloc voisin est décodé ou codé selon un mode de codage distinct du deuxième mode de codage.
- 6. Procédé selon l'une quelconque des revendications 1 ou 2, dans lequel ladite méthode de traitement est une méthode de correction d'au moins un pixel du bloc courant reconstruit par ajout à la valeur reconstruite dudit pixel d’une valeur obtenue à partir d'une information codée dans le flux de données ou décodée depuis le flux de données.
- 7. Procédé selon la revendication 6, dans lequel, lorsque le bloc courant est décodé ou codé selon le deuxième mode de codage, l'application de ladite méthode de correction au bloc courant reconstruit est désactivée pour tous les pixels du bloc courant reconstruit.
- 8. Dispositif de décodage d'un flux de données codées représentatif d'au moins une image, ladite image étant découpée en blocs, le dispositif de décodage comprend un processeur (PROCO) configuré pour, pour au moins un bloc de l'image, dit bloc courant:- décoder une information indiquant un mode de codage du bloc courant parmi au moins un premier mode de codage et un deuxième mode de codage, le deuxième mode de codage étant un mode de codage selon lequel le bloc courant est décodé via, pour chaque pixel du bloc courant:- l'obtention d'une prédiction dudit pixel à partir d'un autre pixel précédemment décodé, ledit autre pixel précédemment décodé appartenant audit bloc courant ou à un bloc de l'image précédemment décodé,- le décodage d'un résidu de prédiction associé audit pixel,- la reconstruction dudit pixel à partir de la prédiction dudit pixel obtenue et du résidu de prédiction décodé associé audit pixel,- décoder le bloc courant selon le mode de codage indiqué par l'information décodée,- lorsque le mode de codage du bloc courant correspond à un mode de codage distinct du deuxième mode de codage, appliquer au moins une méthode de traitement au bloc courant reconstruit,- lorsque le mode de codage du bloc courant correspond au deuxième mode de codage, désactiver l'application de ladite au moins une méthode de traitement au bloc courant reconstruit pour au moins un pixel dudit bloc courant.
- 9. Dispositif de codage d'un flux de données codées représentatif d'au moins une image, ladite image étant découpée en blocs, le dispositif de codage comprend un processeur (PROC) configuré pour, pour au moins un bloc de l'image, dit bloc courant:- coder une information indiquant un mode de codage du bloc courant parmi au moins un premier mode de codage et un deuxième mode de codage, le deuxième mode de codage étant un mode de codage selon lequel le bloc courant est codé via, pour chaque pixel du bloc courant:- l'obtention (E222) d'une prédiction dudit pixel à partir d'un autre pixel précédemment décodé, ledit autre pixel précédemment décodé appartenant audit bloc courant ou à un bloc de l'image précédemment décodé,- le codage (E223) d'un résidu de prédiction associé audit pixel obtenu à partir de la prédiction dudit pixel,- la reconstruction dudit pixel à partir du résidu de prédiction décodé associé audit pixel et de la prédiction dudit pixel,- coder le bloc courant selon le mode de codage indiqué par l'information codée,- lorsque le mode de codage du bloc courant correspond à un mode de codage distinct du deuxième mode de codage, appliquer au moins une méthode de traitement au bloc courant reconstruit,- lorsque le mode de codage du bloc courant correspond au deuxième mode de codage, désactiver l'application de ladite au moins une méthode de traitement au bloc courant reconstruit pour au moins un pixel dudit bloc courant.
- 10. Programme d'ordinateur comportant des instructions pour la mise en oeuvre du procédé de décodage selon l’une quelconque des revendications 1 ou 3 à 7 ou du procédé de codage selon l'une quelconque des revendications 2 à 7, lorsque ledit programme est exécuté par un processeur.
- 11. Support d'informations lisible par un ordinateur, et comportant des instructions d'un programme d'ordinateur selon la revendication 10.
Priority Applications (10)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR1858573A FR3086487A1 (fr) | 2018-09-21 | 2018-09-21 | Procedes et dispositifs de codage et de decodage d'un flux de donnees representatif d'au moins une image. |
| US17/277,945 US11516465B2 (en) | 2018-09-21 | 2019-09-03 | Methods and devices for encoding and decoding a data stream representing at least one image that disables post-processing of reconstructed block based on prediction mode |
| CN202410401679.9A CN118175323A (zh) | 2018-09-21 | 2019-09-03 | 用于编码和解码代表至少一个图像的数据流的方法和设备 |
| JP2021515568A JP7487185B2 (ja) | 2018-09-21 | 2019-09-03 | 少なくとも１つの画像を表すデータストリームを符号化および復号するための方法およびデバイス |
| BR112021003486-2A BR112021003486A2 (pt) | 2018-09-21 | 2019-09-03 | métodos e dispositivos para codificação e decodificação de um fluxo de dados representando pelo menos uma imagem |
| KR1020217011404A KR20210062048A (ko) | 2018-09-21 | 2019-09-03 | 적어도 하나의 이미지를 표현하는 데이터 스트림을 인코딩 및 디코딩하기 위한 방법들 및 디바이스들 |
| EP19783583.8A EP3854085A1 (fr) | 2018-09-21 | 2019-09-03 | Procédés et dispositifs de codage et de décodage d'un flux de données représentatif d'au moins une image |
| PCT/FR2019/052029 WO2020058595A1 (fr) | 2018-09-21 | 2019-09-03 | Procédés et dispositifs de codage et de décodage d'un flux de données représentatif d'au moins une image |
| CN201980061930.9A CN112740690B (zh) | 2018-09-21 | 2019-09-03 | 用于编码和解码代表至少一个图像的数据流的方法和设备 |
| US17/973,966 US11962761B2 (en) | 2018-09-21 | 2022-10-26 | Methods and devices for encoding and decoding a data stream representing at least one image that disables post-processing of reconstructed block based on prediction mode |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR1858573A FR3086487A1 (fr) | 2018-09-21 | 2018-09-21 | Procedes et dispositifs de codage et de decodage d'un flux de donnees representatif d'au moins une image. |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| FR3086487A1 true FR3086487A1 (fr) | 2020-03-27 |
Family
ID=65494291
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| FR1858573A Withdrawn FR3086487A1 (fr) | 2018-09-21 | 2018-09-21 | Procedes et dispositifs de codage et de decodage d'un flux de donnees representatif d'au moins une image. |
Country Status (8)
| Country | Link |
|---|---|
| US (2) | US11516465B2 (fr) |
| EP (1) | EP3854085A1 (fr) |
| JP (1) | JP7487185B2 (fr) |
| KR (1) | KR20210062048A (fr) |
| CN (2) | CN112740690B (fr) |
| BR (1) | BR112021003486A2 (fr) |
| FR (1) | FR3086487A1 (fr) |
| WO (1) | WO2020058595A1 (fr) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120287994A1 (en) * | 2011-05-12 | 2012-11-15 | Qualcomm Incorporated | Filtering blockiness artifacts for video coding |
| US20130101025A1 (en) * | 2011-10-20 | 2013-04-25 | Qualcomm Incorporated | Intra pulse code modulation (ipcm) and lossless coding mode deblocking for video coding |
| US9253508B2 (en) | 2011-11-04 | 2016-02-02 | Futurewei Technologies, Inc. | Differential pulse code modulation intra prediction for high efficiency video coding |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2012134046A2 (fr) * | 2011-04-01 | 2012-10-04 | 주식회사 아이벡스피티홀딩스 | Procédé de codage vidéo |
| KR102257269B1 (ko) * | 2013-10-14 | 2021-05-26 | 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 | 비디오 및 이미지 코딩 및 디코딩을 위한 인트라 블록 카피 예측 모드의 피쳐 |
| FR3012714A1 (fr) * | 2013-10-25 | 2015-05-01 | Orange | Procede de codage et de decodage d'images, dispositif de codage et de decodage d'images et programmes d'ordinateur correspondants |
| AU2014202921B2 (en) * | 2014-05-29 | 2017-02-02 | Canon Kabushiki Kaisha | Method, apparatus and system for de-blocking a block of video samples |
| US9924175B2 (en) * | 2014-06-11 | 2018-03-20 | Qualcomm Incorporated | Determining application of deblocking filtering to palette coded blocks in video coding |
| US10924744B2 (en) * | 2017-11-17 | 2021-02-16 | Intel Corporation | Selective coding |
| US11470329B2 (en) | 2018-12-26 | 2022-10-11 | Tencent America LLC | Method and apparatus for video coding |
-
2018
- 2018-09-21 FR FR1858573A patent/FR3086487A1/fr not_active Withdrawn
-
2019
- 2019-09-03 KR KR1020217011404A patent/KR20210062048A/ko active Search and Examination
- 2019-09-03 CN CN201980061930.9A patent/CN112740690B/zh active Active
- 2019-09-03 JP JP2021515568A patent/JP7487185B2/ja active Active
- 2019-09-03 US US17/277,945 patent/US11516465B2/en active Active
- 2019-09-03 BR BR112021003486-2A patent/BR112021003486A2/pt unknown
- 2019-09-03 CN CN202410401679.9A patent/CN118175323A/zh active Pending
- 2019-09-03 EP EP19783583.8A patent/EP3854085A1/fr active Pending
- 2019-09-03 WO PCT/FR2019/052029 patent/WO2020058595A1/fr active Application Filing
-
2022
- 2022-10-26 US US17/973,966 patent/US11962761B2/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120287994A1 (en) * | 2011-05-12 | 2012-11-15 | Qualcomm Incorporated | Filtering blockiness artifacts for video coding |
| US20130101025A1 (en) * | 2011-10-20 | 2013-04-25 | Qualcomm Incorporated | Intra pulse code modulation (ipcm) and lossless coding mode deblocking for video coding |
| US9253508B2 (en) | 2011-11-04 | 2016-02-02 | Futurewei Technologies, Inc. | Differential pulse code modulation intra prediction for high efficiency video coding |
Non-Patent Citations (4)
| Title |
|---|
| ABDOLI MOHSEN ET AL: "Intra prediction using in-loop residual coding for the post-HEVC standard", 2017 IEEE 19TH INTERNATIONAL WORKSHOP ON MULTIMEDIA SIGNAL PROCESSING (MMSP), IEEE, 16 October 2017 (2017-10-16), pages 1 - 6, XP033271573, DOI: 10.1109/MMSP.2017.8122241 * |
| ANDREY NORKIN ET AL.: "HEVC deblocking filter", IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY, vol. 22, no. 12, 5 October 2012 (2012-10-05), pages 1746 - 1754, XP011487156, DOI: doi:10.1109/TCSVT.2012.2223053 |
| CHIH-MING FU; ELENA ALSHINA; ALEXANDER ALSHIN; YU-WEN HUANG; CHING-YEH CHEN; CHIA-YANG TSAI; CHIH-WEI HSU; SHAW-MIN LEI; JEONG-HOO: "Sample Adaptive Offset in the HEVC Standard", IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY, vol. 22, no. 12, December 2012 (2012-12-01), pages 1755, XP011487153, DOI: doi:10.1109/TCSVT.2012.2221529 |
| MATTHIAS WIEN: "High Efficiency Video Coding, Coding Tools and Specification", SIGNAIS AND COMMUNICATION TECHNOLOGY, 2015 |
Also Published As
| Publication number | Publication date |
|---|---|
| US11516465B2 (en) | 2022-11-29 |
| US11962761B2 (en) | 2024-04-16 |
| JP7487185B2 (ja) | 2024-05-20 |
| BR112021003486A2 (pt) | 2021-05-18 |
| JP2022501910A (ja) | 2022-01-06 |
| CN112740690B (zh) | 2024-04-09 |
| WO2020058595A1 (fr) | 2020-03-26 |
| KR20210062048A (ko) | 2021-05-28 |
| CN112740690A (zh) | 2021-04-30 |
| US20230050410A1 (en) | 2023-02-16 |
| EP3854085A1 (fr) | 2021-07-28 |
| CN118175323A (zh) | 2024-06-11 |
| US20210352272A1 (en) | 2021-11-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6334830B2 (ja) | ブロックの区分を用いた高速ビデオ符号化方法 | |
| EP2991351B1 (fr) | Procédé de décodage d'images | |
| EP2777269B1 (fr) | Procédé de codage et décodage d'images, dispositif de codage et décodage et programmes d'ordinateur correspondants | |
| EP3075155B1 (fr) | Procédé de codage et de décodage d'images, dispositif de codage et de décodage d'images et programmes d'ordinateur correspondants | |
| WO2019179401A1 (fr) | Procédé et appareil de filtrage d'image, et codec vidéo | |
| FR3029333A1 (fr) | Procede de codage et decodage d'images, dispositif de codage et decodage et programmes d'ordinateur correspondants | |
| EP3180914B1 (fr) | Procédé de codage et de décodage d'images, dispositif de codage et de décodage d'images et programmes d'ordinateur correspondants | |
| WO2020058594A1 (fr) | Procédés et dispositifs de codage et de décodage d'un flux de données représentatif d'au moins une image | |
| FR3081657A1 (fr) | Procedes et dispositifs de codage et de decodage d'un flux de donnees representatif d'au moins une image. | |
| FR2975856A1 (fr) | Procede de codage et de decodage d'images, dispositif de codage et de decodage d'images et programmes d'ordinateur correspondants | |
| FR3086487A1 (fr) | Procedes et dispositifs de codage et de decodage d'un flux de donnees representatif d'au moins une image. | |
| FR3062010A1 (fr) | Procedes et dispositifs de codage et de decodage d'un flux de donnees representatif d'une sequence d'images | |
| FR3081656A1 (fr) | Procedes et dispositifs de codage et de decodage d'un flux de donnees representatif d'au moins une image. | |
| FR3086486A1 (fr) | Procedes et dispositifs de codage et de decodage d'un flux de donnees representatif d'au moins une image. | |
| EP3922017A1 (fr) | Procédés et dispositifs de codage et de décodage d'un flux de données représentatif d'au moins une image | |
| FR2957744A1 (fr) | Procede de traitement d'une sequence video et dispositif associe | |
| EP3596923A1 (fr) | Procédé de codage et décodage d'images, dispositif de codage et décodage et programmes d'ordinateur correspondants | |
| WO2020260843A1 (fr) | Procédé d'encodage et de décodage vidéo par signalisation d'un sous-ensemble de candidat |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PLFP | Fee payment |
Year of fee payment: 2 |
|
| PLSC | Publication of the preliminary search report |
Effective date: 20200327 |
|
| ST | Notification of lapse |
Effective date: 20210506 |