EP3854085A1 - Procédés et dispositifs de codage et de décodage d'un flux de données représentatif d'au moins une image - Google Patents

Procédés et dispositifs de codage et de décodage d'un flux de données représentatif d'au moins une image

Info

Publication number
EP3854085A1
EP3854085A1 EP19783583.8A EP19783583A EP3854085A1 EP 3854085 A1 EP3854085 A1 EP 3854085A1 EP 19783583 A EP19783583 A EP 19783583A EP 3854085 A1 EP3854085 A1 EP 3854085A1
Authority
EP
European Patent Office
Prior art keywords
current block
coding mode
pixel
block
decoded
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP19783583.8A
Other languages
German (de)
English (en)
Inventor
Félix Henry
Mohsen ABDOLI
Gordon Clare
Pierrick Philippe
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Orange SA
Original Assignee
Orange SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Orange SA filed Critical Orange SA
Publication of EP3854085A1 publication Critical patent/EP3854085A1/fr
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression

Definitions

  • the field of the invention is that of coding and decoding of images or sequences of images, and in particular of video streams.
  • the invention relates to the compression of images or sequences of images using a block representation of the images.
  • the invention can in particular be applied to image or video coding implemented in current or future coders (JPEG, MPEG, H.264, HEVC, etc. and their amendments), and to the corresponding decoding.
  • JPEG Joint Photographic Experts Group
  • MPEG MPEG
  • H.264 High Efficiency Video Coding
  • HEVC High Efficiency Video Coding
  • Digital images and image sequences occupy a lot of memory space, which means that when transmitting these images, they must be compressed to avoid congestion problems on the network used for this transmission.
  • HEVC compression standard High Efficiency Video Coding, Coding Tools and Specification
  • Matthias Wien, Signais and Communication Technology proposes to implement a pixel prediction of a current image compared to other pixels belonging to the same image (intra prediction) or to a previous or next image (inter prediction).
  • intra prediction exploits spatial redundancies within an image.
  • the images are cut into blocks of pixels.
  • the pixel blocks are then predicted using information already reconstructed, corresponding to the blocks previously coded / decoded in the current image according to the order of traversal of the blocks in the image.
  • the coding of a current block is carried out using a prediction of the current block, known as the predictor block, and of a prediction residue or "residual block", corresponding to a difference between the current block and the predictor block.
  • the residual block obtained is then transformed, for example by using a transform of the DOT type (transformed into discrete cosine).
  • the coefficients of the transformed residual block are then quantified, then coded by an entropy coding and transmitted to the decoder, which can reconstruct the current block by adding this residual block to the predictor block.
  • Decoding is done image by image, and for each image, block by block. For each block, the corresponding elements of the flow are read. The inverse quantization and the inverse transformation of the coefficients of the residual block are carried out. Then the prediction of the block is calculated to obtain the predictor block and the current block is reconstructed by adding the prediction (ie the predictor block) to the decoded residual block.
  • a DPCM (for Differential Dist Code Modulation) coding technique for coding blocks in Intra mode is inserted in a HEVC coder.
  • One such technique consists in predicting a set of pixels of an intra block by another set of pixels of the same block which have been previously reconstructed.
  • a set of pixels of the intra block to be coded corresponds to a line of the block, or a column or a line and a column and the intra prediction used to predict the set of pixels is one of the intra directional predictions defined in the HEVC standard.
  • the reconstruction of a set of pixels of the intra block corresponds either to the addition of a prediction residue in the case of lossless coding, therefore offering a fairly low compression rate, or to the addition a prediction residue after inverse transformation and / or inverse quantization of said other set of pixels serving as prediction.
  • Such a technique therefore does not make it possible to predict each pixel of the intra block using a local prediction function and to reconstruct the predicted pixel before predicting a next pixel.
  • this technique requires to reconstruct a set of pixels (row / column of the block for example) to predict another set of pixels. In other words, each time a part of the block is predicted and reconstructed, several pixels of the block are predicted and reconstructed.
  • the invention improves the state of the art. To this end, it relates to a method for decoding a coded data stream representative of at least one image divided into blocks.
  • Such a decoding method comprises, for at least one block of the image, called the current block:
  • the application of processing operations to a reconstructed block is not carried out in the case of a block decoded according to a coding mode using a prediction of the pixels from previously reconstructed pixels of the same block.
  • this coding mode the prediction residue associated with each pixel is not transformed.
  • the processing methods aim to improve the quality of the blocks of reconstructed pixels, for example by reducing the effects of discontinuities between blocks due to the coding of prediction residue with a transform ("deblocking" filter), or by correcting the value each pixel (also known as SAO for Sample Adaptive Offset in English).
  • the second coding mode does not use a transform of the prediction residue since the prediction residue associated with each pixel must be available immediately to reconstruct the pixel and that it can be used to predict the following pixels of the current block.
  • the value of each pixel is coded individually using a prediction residue associated with each pixel. It is therefore not necessary to correct the value of each pixel.
  • the processing methods applied to the reconstructed blocks generally require the transmission of parameters at the block level. Disabling these processing methods for blocks coded according to the second coding mode thus allows a bit rate gain. In addition, the decoding process can be substantially accelerated since these processing methods are not applied for these blocks.
  • the invention also relates to a method for coding a stream of coded data representative of at least one image divided into blocks.
  • a coding method comprises, for at least one block of the image, called the current block: the coding of information indicating a coding mode of the current block among at least a first coding mode and a second coding mode, the second coding mode being a coding mode according to which the current block is coded via, for each pixel of the current block:
  • the processing method is an unblocking filtering applied to the pixels of the reconstructed current block which are located at the border of the reconstructed current block with a neighboring block reconstructed in the image.
  • the processing method corresponds to a "deblocking" filter conventionally applied at block boundaries to reduce the effects of discontinuities between blocks.
  • the unblocking filtering is applied to a pixel of the reconstructed current block if said pixel is located on a border of said reconstructed current block with a neighboring reconstructed block in the image and if said neighboring block is decoded or coded according to a distinct coding mode of the second coding mode.
  • the unblocking filtering is applied only to the pixels on the border of two blocks which are both coded or decoded according to coding modes distinct from the second coding mode.
  • the unblocking filtering is deactivated for the pixels of the reconstructed current block which are located on the border with a neighboring block coded or decoded according to the second coding mode.
  • the application of the unblocking filtering to the reconstructed current block is deactivated for a pixel of the reconstructed current block if said pixel is located on a border of said reconstructed current block with a neighboring block in the image and if said neighboring block is decoded or coded according to the second coding mode, and
  • the unblocking filtering is applied to a pixel of the reconstructed current block, if said pixel is located on a border of said reconstructed current block with a neighboring block reconstructed in the image and if said neighboring block is decoded or coded according to a coding mode separate from the second coding mode.
  • the unblocking filtering is applied to the pixels situated at the border of two blocks of which at least one of the blocks is coded or decoded according to a coding mode distinct from the second coding mode.
  • the unblocking filtering is deactivated for the pixels situated at the border of two blocks which are both coded or decoded according to the second coding mode.
  • This particular embodiment of the invention makes it possible to smooth the block effects for the blocks coded or decoded according to the first coding mode or any other coding mode distinct from the second coding mode, even when these are close to a reconstructed block which has been coded or decoded according to the second coding mode.
  • the processing method is a method of correcting at least one pixel of the reconstructed current block by adding to the reconstructed value of said pixel a value obtained from information encoded in the data stream or decoded from the data stream.
  • the processing method corresponds to the so-called SAO method which has been integrated into the HEVC compression standard.
  • SAO method which has been integrated into the HEVC compression standard.
  • the application of said correction method to the reconstructed current block is deactivated for all the pixels of the reconstructed current block.
  • the invention also relates to a decoding device configured to implement the decoding method according to any one of the particular embodiments defined above.
  • This decoding device could of course include the various characteristics relating to the decoding method according to the invention.
  • the characteristics and advantages of this decoding device are the same as those of the decoding method, and are not described in more detail.
  • the decoding device notably comprises a processor configured for, for at least one block of the image, called the current block:
  • decoding information indicating a coding mode of the current block from at least a first coding mode and a second coding mode, the second coding mode being a coding mode according to which the current block is decoded via, for each pixel of the current block:
  • such a decoding device is included in a terminal.
  • the invention also relates to an encoding device configured to implement the encoding method according to any one of the particular embodiments defined above.
  • This coding device could of course include the various characteristics relating to the coding method according to the invention. Thus, the characteristics and advantages of this coding device are the same as those of the coding method, and are not described in more detail.
  • the coding device notably comprises a processor configured for, for at least one block of the image, known as the current block:
  • coding information indicating a coding mode of the current block among at least a first coding mode and a second coding mode, the second coding mode being a coding mode according to which the current block is coded via, for each pixel of the current block:
  • such a coding device is included in a terminal, or a server.
  • the decoding method, respectively the coding method, according to the invention can be implemented in various ways, in particular in wired form or in software form.
  • the decoding method, respectively the coding method is implemented by a computer program.
  • the invention also relates to a computer program comprising instructions for implementing the decoding method or the coding method according to any one of the particular embodiments described above, when said program is executed by a processor.
  • Such a program can use any programming language. It can be downloaded from a communication network and / or saved on a computer-readable medium.
  • This program can use any programming language, and be in the form of source code, object code, or intermediate code between source code and object code, such as in a partially compiled form, or in any other desirable form.
  • the invention also relates to a recording medium or information medium readable by a computer, and comprising instructions of a computer program as mentioned above.
  • the recording media mentioned above can be any entity or device capable of storing the program.
  • the support may include a storage means such as a memory.
  • the recording media can correspond to a transmissible medium such as an electrical or optical signal, which can be routed via an electrical or optical cable, by radio or by other means.
  • the program according to the invention can in particular be downloaded from a network of the Internet type.
  • the recording media can correspond to an integrated circuit in which the program is incorporated, the circuit being adapted to execute or to be used in the execution of the process in question.
  • FIG. 1 presents steps of the coding method according to a particular embodiment of the invention
  • FIG. 2 illustrates an example of the position of the neighboring blocks of a current block for determining an intra prediction mode according to a particular embodiment of the invention
  • FIG. 3 illustrates an example of the position of the reference pixels used to predict pixels of a current block according to a particular embodiment of the invention
  • FIG. 4 presents steps of the decoding method according to a particular embodiment of the invention
  • FIGS. 5A and 5B illustrate blocks of reconstructed pixels on which post-processing is applied or not to the pixels according to the coding mode of the block to which the pixels belong, according to particular embodiments of the invention
  • FIG. 6 shows the simplified structure of a coding device suitable for implementing the coding method according to any one of the particular embodiments of the invention
  • - Figure 7 shows the simplified structure of a decoding device adapted to implement the decoding method according to any one of the particular embodiments of the invention.
  • Processing performed after decoding an image is integrated with video coding standards in order to improve the quality of the reconstructed images.
  • post-processing can be the application of a deblocking filter in English or else a post-processing called SAO for Sample Adaptive Offset in English.
  • the deblocking filtering makes it possible to erase, after decoding of each block, the discontinuity which exists between each block and to which the human eye is very sensitive.
  • the ODS processing makes it possible to individually modify the value of each pixel of a decoded block.
  • ILR coding for In-Loop Residual in English
  • ODS processing aims to correct the individual value of certain pixels after conventional coding.
  • the ILR coding mode which will be described below, already makes it possible to code the value of each pixel individually. So there is no need for ODS processing for these pixels.
  • the general principle of the invention is therefore to enable or not to activate the application of a post-processing method to a reconstructed block according to whether the block has been coded / decoded according to the ILR coding mode.
  • FIG. 1 presents steps of the coding method according to a particular embodiment of the invention.
  • a sequence of images l ; l 2 , ..., l N b in the form of a STR coded data stream according to a particular embodiment of the invention is implemented by a coding device as described below with reference to FIG. 6.
  • a sequence of images h, l 2 , ..., l Nb , Nb being the number of images of the sequence to be coded, is supplied at the input of the coding method.
  • the coding method outputs a stream of STR coded data representative of the sequence of images supplied as input.
  • the coding of the sequence of images h, l 2 , ..., l N b is done image by image, according to a coding order previously established and known to the coder.
  • the images can be coded in time order h, l 2 , ..., l N b or in another order, for example li, l 3 , l 2, ⁇ , iNb-
  • an image I, to be coded of the sequence of images, l 2 , ..., l N b is cut into blocks, for example into blocks of size 32 ⁇ 32, or 64 ⁇ 64 pixels or more.
  • Such a block can be subdivided into square or rectangular sub-blocks, for example of size 16 ⁇ 16, 8 ⁇ 8, 4x4, 16 ⁇ 8, 8 ⁇ 16, etc.
  • a first block or sub-block X b to code of the image I is selected according to a direction of travel of the image I predetermined. For example, it can be the first block in the lexicographic order of the image.
  • the encoder will choose the coding mode for coding the current block X b .
  • the encoder selects the coding mode for coding the current block X b from a first coding mode M1 and a second coding mode M2. Additional coding modes (not described here) can be used.
  • the first coding mode M1 corresponds to the coding of the current block by intra classical prediction, for example as defined according to the HEVC standard and the second coding mode M2 corresponds to the coding by In Loop Residual prediction (ILR).
  • ILR In Loop Residual prediction
  • the principle of the invention can be extended to other types of coding modes for the first coding mode M1.
  • the first coding mode can correspond to any type of coding mode using a transformation of the prediction residue (coding by inter-image prediction, coding by spatial prediction with template matching, etc.).
  • the coder can perform a bit rate / distortion optimization to determine the best coding mode for coding the current block.
  • additional coding modes distinct from the first and second coding mode can be tested, for example a coding mode in inter mode.
  • the coder simulates the coding of the current block X b according to the different coding modes available in order to determine the bit rate and the distortion associated with each coding mode and selects the coding mode offering the best compromise.
  • rate / distortion for example according to the function D + 2.R, where R represents the rate necessary to code the current block according to the coding mode evaluated, D the distortion measured between the decoded block and the original current block and l a multiplier Lagrangian, for example entered by the user or defined at the coder.
  • step E20 information indicating the coding mode selected for the current block is coded in the data stream STR.
  • the method goes to step E21 of coding the block according to M1. If the current block X b is coded according to the second coding mode M2, the method goes to step E22 of coding the block according to M2.
  • the first coding mode corresponds to an intra classical prediction, such as that defined in the HEVC standard.
  • a quantization step 3 ⁇ 4 is determined.
  • the quantization step 3 ⁇ 4 can be set by the user, or calculated using a quantization parameter setting a compromise between compression and quality and entered by the user or defined by the coder.
  • a quantization parameter can be the parameter L, used in the rate-distortion cost function D + 2.R, where D represents the distortion introduced by the coding and R the bit rate used to code. This function is used to make coding choices. Conventionally, we are looking for the way to code the image which minimizes this function.
  • the quantification parameter can be QP, corresponding to the quantification parameter conventionally used in AVC or HEVC standards.
  • a prediction of the current block is determined using an intra-classical prediction mode. According to this intra classical prediction, each predicted pixel is calculated only from decoded pixels from neighboring blocks (reference pixels) located above the current block, and to the left of the current block. The way in which the pixels are predicted from the reference pixels depends on a prediction mode which is transmitted to the decoder, and which is chosen by the coder from a predetermined set of modes known to the coder and the decoder.
  • HEVC there are 35 possible prediction modes: 33 modes which interpolate the reference pixels in 33 different angular directions, and 2 other modes: the DC mode in which each pixel of the predicted block is produced from the average reference pixels, and PLANAR mode, which performs plane and non-directional interpolation.
  • This so-called “intra classical prediction” approach is well known and also used in the ITU-T H.264 standard (where there are only 9 different modes) as well as in the experimental JEM software available at the internet address (https : //ivet.hhi.fraunhofer.de/), where there are 67 different prediction modes.
  • the intra classical prediction respects the two aspects mentioned above (pixel prediction from neighboring blocks and transmission to the decoder of an optimal prediction mode).
  • the coder therefore chooses one of the prediction modes available from the predetermined list of prediction modes.
  • One way of choosing is, for example, to evaluate all the prediction modes and to keep the prediction mode which minimizes a cost function such as, conventionally, the bit rate-distortion cost.
  • the prediction mode chosen for the current block is coded from the neighboring blocks of the current block.
  • FIG. 2 illustrates an example of the position of the neighboring blocks A b and B b of the current block X b for coding the prediction mode of the current block X b .
  • the intra prediction mode chosen for the current block is coded using the intra prediction modes associated with the neighboring blocks.
  • such an approach consists in identifying the intra m A prediction mode associated with the block A b located above the current block, and the intra m B prediction mode associated with the block B b located just to the left of the current block.
  • MPM for Most Probable Mode
  • non-BPM list containing the 32 other prediction modes
  • syntax elements are transmitted:
  • an index in the non-BPM list corresponding to the prediction mode of the current block is coded.
  • the prediction residue R for the current block is constructed.
  • a predicted block P is constructed as a function of the prediction mode chosen in step E21 1. Then the prediction residue R is obtained by calculating the difference for each pixel, between the predicted block P and the original current block.
  • the prediction residue R is transformed into R T.
  • a frequency transform is applied to the block of residue R so as to produce the block R T comprising transformed coefficients.
  • the transform could be a DCT type transform for example. It is possible to choose the transform to be used in a predetermined set of transforms E T and to signal the transform used to the decoder.
  • the transformed residue block R T is quantified using for example a scalar quantization of quantization step This produces the quantized transformed prediction residue block R TQ .
  • the coefficients of the quantized block R TQ are coded by an entropy coder.
  • an entropy coder One can for example use the entropy coding specified in the HEVC standard.
  • the current block is decoded by de-quantizing the coefficients of the quantized block R TQ , then by applying the inverse transform to the de-quantized coefficients to obtain the decoded prediction residue.
  • the prediction is then added to the decoded prediction residue in order to reconstruct the current block and obtain its decoded version.
  • the decoded version of the current block can then be used later to spatially predict other neighboring blocks of the image or else to predict blocks of other images by inter-image prediction.
  • step E22 of coding the block according to the second coding mode M2 is described below, according to a particular embodiment of the invention.
  • the second coding mode corresponds to coding by ILR prediction.
  • a local predictor PL for the current block is determined.
  • the pixels of the current block are predicted by pixels previously reconstructed from a neighboring block of the current block or of the current block itself.
  • the first coding mode uses a first group of intra prediction modes, for example the intra prediction modes defined by the HEVC standard, and the second coding mode, here the ILR mode, uses a second group of prediction modes distinct from the first group of intra prediction modes.
  • the local predictor PL can be unique or it can be selected from a set of predetermined local predictors (second group of prediction modes).
  • 4 local predictors are defined.
  • X is called a current pixel to predict from the current block
  • A the pixel located immediately to the left of X
  • B the pixel located immediately to the left and above X
  • C the pixel located immediately above X, as illustrated in FIG. 3 showing a current block X b .
  • 4 local predictors PL1, PL2, PL3, PL4 can be defined as follows:
  • min (A, B) corresponds to the function returning the smallest value between the value of A and the value of B and max (A, B) corresponds to the function returning the largest value between the value of A and the value of B.
  • step E220 it is determined which local predictor PL to use for the current block.
  • the same local predictor will be used for all the pixels of the current block, i.e. the same prediction function.
  • the coding of the current block with each of the predictors can be simulated (similar to an optimization for choosing a coding mode for the current block), and the local predictor which optimizes a cost function (for example, which minimizes the function D + AR, where R is the bit rate used to code the block, D is the distortion of the decoded block compared to the original block, and l is a parameter set by the user) is selected.
  • a cost function for example, which minimizes the function D + AR, where R is the bit rate used to code the block, D is the distortion of the decoded block compared to the original block, and l is a parameter set by the user
  • an orientation of the texture of the previously coded pixels is analyzed. For example, the pixels previously coded in the block which are located above or to the left of the current block are analyzed using a Sobel operator. If it is determined that:
  • the local predictor PL2 is selected
  • the local predictor PL3 is selected
  • the local predictor PL4 is selected
  • the local predictor PL1 is selected.
  • a syntax element is coded in the STR data stream to indicate to the decoder which local predictor was used to predict the current block.
  • a quantization step d 2 is determined.
  • the quantization step d 2 depends on the same quantization parameter as the quantization step 3 ⁇ 4 which would be determined in step E210 if the current block was coded according to the first coding mode.
  • a prediction residue R1 is calculated for the current block. To do this, once the local predictor has been chosen, for each current pixel of the current block:
  • the current pixel X of the current block is predicted by the local predictor PL selected, using either pixels outside the block and already reconstructed (and therefore available with their decoded value), or pixels previously reconstructed in the current block, either of the two, in order to obtain a predicted value PRED.
  • the predictor PL uses previously reconstructed pixels.
  • FIG. 3 it can be seen that the pixels of the current block situated on the first line and / or the first column of the current block will use as reference pixels (to construct the predicted value PRED) pixels external to the block and already reconstructed (pixels in gray in FIG. 3) and possibly already reconstructed pixels of the current block.
  • the reference pixels used to construct the predicted value PRED are located inside the current block;
  • Q (X) is the quantized residue associated with X. It is calculated in the spatial domain, ie calculated directly from the difference between the predicted PRED value of the pixel X and the original value of X. Such a quantized residue Q (X ) for the pixel X is stored in a quantized prediction residue block R1 Q , which will be coded later;
  • the decoded predicted value P1 (X) of X is calculated by adding to the predicted value PRED the de-quantized value of the quantized residue Q (X).
  • ScalarDequant (A, x) D x x.
  • the decoded predicted value P1 (X) thus makes it possible to predict possible pixels which remain to be processed in the current block.
  • the block P1 comprising the decoded / reconstructed values of the pixels of the current block constitutes the predictor ILR of the current block (as opposed to the intra-classical predictor).
  • the sub-steps described above are performed for all the pixels of the current block, in a traversing order which ensures that the pixels used for the prediction chosen from PL1, ..., PL4 are available.
  • the order of traversal of the current block is the lexicographic order, i.e. from left to right, and from top to bottom.
  • step E222 the quantized residue block R1 Q has been determined. This quantized residue block R1 Q must be coded to be transmitted to the decoder. The predictor P1 of the current block was also determined.
  • the quantized residue block R1 Q is coded in order to transmit it to the decoder. It is possible to use any known approach, such as the method described in HEVC to code the quantized coefficients of a classical prediction residue.
  • the values of the quantized residue block R1 Q are coded using an entropy coder from the data stream STR.
  • an additional prediction residue R2 from the predictor ILR obtained for the current block.
  • the coding of an additional prediction residue R2 is however optional. It is indeed possible to simply code the current block by its predicted version P1 and the quantized residue R1 Q.
  • the following steps correspond to the conventional steps of coding this residue R2.
  • step E225 the residue R2 is transformed using a frequency transform so as to produce the block of coefficients R2 T.
  • the transform can be a DCT type transform for example. It is possible to choose the transform to be used in a predetermined set of transforms E T2 and to signal the transform used to the decoder. In this case, the set E T2 can be different from the set E T , in order to adapt to the particular statistics of the residue R2.
  • the block of coefficients R2 T is quantized, for example using a scalar quantization of quantization step d. This produces the R2 TQ block.
  • the quantization step d can be set by the user. It can also be calculated using another parameter l fixing the compromise between compression and quality and entered by the user or the encoder. For example, the quantization step d may correspond to the quantization step 3 ⁇ 4 or be determined in a similar manner to this.
  • the coefficients of the quantized block R2 TQ are then transmitted in a coded manner.
  • the coding specified in the HEVC standard can be used.
  • the current block is decoded by de-quantizing the coefficients of the quantized block R2 TQ , then by applying the inverse transform to the de-quantized coefficients to obtain the decoded prediction residue.
  • the prediction P1 is then added to the decoded prediction residue in order to reconstruct the current block and to obtain its decoded version X rec .
  • the decoded version X rec of the current block can then be used later to spatially predict other neighboring blocks of the image or else to predict blocks of other images by inter-image prediction.
  • step E23 it is checked whether the current block is the last block of the image to be processed by the coding method, taking into account the travel order defined above. If the current block is not the last block of the image to be processed, during a step E24, the next block of the image to be processed is selected according to the path of the image defined above and the coding method go to step E2, where the selected block becomes the current block to be processed.
  • the method proceeds to the application of post-processing methods to be applied to the reconstructed image during a step E231.
  • these post-processing methods can be deblocking filtering and / or an ODS method.
  • the application of the post-processing operations being carried out in a similar manner to the coder and the decoder, step E231 will be described later.
  • FIG. 4 presents steps of the method of decoding a stream STR of coded data representative of a sequence of images h, l 2 , Iisi b to be decoded according to a particular embodiment of the invention.
  • the STR data stream was generated via the coding method presented in relation to FIG. 1.
  • the STR data stream is supplied at the input of a DEC decoding device, as described in relation to FIG. 7 .
  • the decoding method decodes the image-by-image stream and each image is decoded block by block.
  • an image I to be decoded is subdivided into blocks.
  • Each block will undergo a decoding operation consisting of a series of steps which are detailed below.
  • the blocks can be the same size or different sizes.
  • a first block or sub-block X b to be decoded from the image I is selected as the current block according to a direction of travel of the image I which is predetermined. For example, it can be the first block in the lexicographic order of the image.
  • step E42 information indicating an encoding mode for the current block is read from the data stream STR.
  • this information indicates whether the current block is coded according to a first coding mode M1 or according to a second coding mode M2.
  • the first coding mode M1 corresponds to the coding of the current block by intra classical prediction, for example as defined according to the HEVC standard
  • the second coding mode M2 corresponds to the coding by In Loop prediction Residual (ILR).
  • ILR In Loop prediction Residual
  • the information read from the stream STR can also indicate the use of other coding modes for coding the current block (not described here).
  • step E43 of decoding the current block is described when the current block is coded according to the first coding mode M1.
  • a quantization step 3 ⁇ 4 is determined.
  • the quantization step 3 ⁇ 4 is determined from the quantization parameter QP read during step E401 or in a similar manner to what was done at the coder.
  • the quantization step 3 ⁇ 4 can be calculated using the quantization parameter QP read during step E401.
  • the QP quantization parameter can be the quantification parameter conventionally used in AVC or HEVC standards.
  • the prediction mode used to code the current block is decoded from the neighboring blocks. For this, like what was done at the coder, the intra prediction mode chosen for the current block is decoded, using the intra prediction modes associated with the neighboring blocks of the current block.
  • the binary indicator and the prediction mode index are therefore read for the current block from the STR data stream, to decode the intra prediction mode of the current block.
  • the decoder constructs a predicted block P for the current block from the decoded prediction mode.
  • the decoder decodes the coefficients of the quantized block R TQ from the data stream STR, for example using the decoding specified in the HEVC standard.
  • the decoded block R TQ is de-quantized, for example using a scalar de-quantization of quantization step This produces the block of quantized coefficients R QD ⁇
  • an inverse frequency transform is applied to the block of de-quantified coefficients R T Q D so as to produce the block of decoded prediction residue RTQDI.
  • the transform could be a reverse DCT type transform for example. It is possible to choose the transform to be used in a predetermined set of transforms by decoding an indicator from the data stream STR.
  • step E44 describes the decoding of the current block when the current block is coded according to the second coding mode M2.
  • the local predictor PL used to predict the pixels of the current block is determined. If only one predictor is available, the local predictor is by example defined by default at the decoder level and no syntax element needs to be read in the STR stream to determine it.
  • a syntax element is decoded from the data stream STR to identify which local predictor was used to predict the current block.
  • the local predictor is therefore determined from this decoded syntax element.
  • the quantization step d 2 is determined, in a similar manner to what has been done at the coder.
  • the quantized residue R1 Q is decoded from the data stream STR. It is possible to use any known approach, such as the method described in HEVC to decode the quantized coefficients of the classical prediction residue.
  • the quantized residue block R1 Q is de-quantified using the quantization step d 2 , so as to produce the de-quantized residue block R1 QD .
  • step E444 when the de-quantized residue block R1 QD is obtained, the predicted block P1 is constructed using the local predictor PL determined during step E440.
  • each pixel of the current block is predicted and reconstructed as follows:
  • the current pixel X of the current block is predicted by the predictor PL selected, using either the pixels outside the block and already decoded, or previously reconstructed pixels of the current block, or both, in order to obtain a predicted value PRED.
  • the predictor PL uses previously decoded pixels;
  • the route order is the lexicographic order (from left to right, then the lines from top to bottom).
  • the predicted block P1 comprising the decoded predicted values P1 (X) of each pixel of the current block here constitutes the decoded current block X rec .
  • an additional prediction residue has been coded for the current block. It is therefore necessary to decode this additional prediction residue in order to reconstruct the decoded version of the current block X rec .
  • this other particular embodiment can be activated or not by default at the level of the coder and the decoder.
  • an indicator can be encoded in the data stream with the block level information to indicate for each block encoded according to the ILR encoding mode whether an additional prediction residue is encoded.
  • an indicator can be coded in the data stream with the image level or image sequence information to indicate for all the blocks of the image or of the image sequence coded according to the ILR coding mode if a additional prediction residue is coded.
  • the coefficients of the quantized prediction residue R2 TQ are decoded from the data stream STR, using means adapted to those implemented to the coder, for example the means implemented in a HEVC decoder.
  • the block of quantized coefficients R2 TQ is de-quantified, for example using a scalar de-quantization of quantization step This produces the block of unquantified coefficients R2 TQD .
  • an inverse frequency transform is applied to the block R2 TQD so as to produce the block of decoded prediction residue R2 TQDI
  • the reverse transform could be a reverse DCT type transform for example.
  • the transform to be used in a predetermined set of transforms E T2 and to decode the information signaling the transform to be used at the decoder.
  • the set E T2 is different from the set E T , in order to adapt to the particular statistics of the residue R2.
  • the current block is reconstructed by adding the predicted block P1 obtained during step E444 to the decoded prediction residue R2 TQDI ⁇
  • step E45 it is checked whether the current block is the last block of the image to be processed by the decoding method, taking into account the course order defined above. If the current block is not the last block of the image to be processed, during a step E46, the next block of the image to be processed is selected according to the path of the image defined previously and the decoding method goes to step E42, the selected block becoming the current block to be processed.
  • the method proceeds to the application of at least one post-processing method to be applied to the image reconstructed during a step E451.
  • these post-processing methods can be deblocking filtering and / or an ODS method.
  • the method proceeds to decoding (step E47) of the next image of the video if necessary.
  • decoding step E47
  • the steps E231 and E451 of applying at least one post-processing method respectively to the coder and to the decoder according to the invention are described below.
  • Post-processing generally requires access to data contained in the neighboring blocks of a current block to be processed, including the “future” blocks or those not yet reconstructed according to the order of traversal of the blocks in the image used. to the encoder and the decoder. Post-processing is therefore generally carried out by making a second complete loop on all the reconstructed blocks of the image. Thus, at the coder and the decoder, a first loop on all the blocks of the image builds a reconstructed version of the blocks from the information coded for the blocks, then a post-processing loop again traverses the reconstructed blocks in order to improve their reconstruction. Two examples of improvement are given above, the general principle of the invention applying of course to other post-processing methods.
  • a filter called “deblocking” is applied to reconstructed blocks of the image.
  • This filtering generally consists in applying a low-pass filter to the pixels which are at the border of a reconstructed block.
  • Such a filter is generally described in the article
  • the deblocking filtering is only applied at the border of two reconstructed blocks which have been previously coded by a conventional coding mode, i.e. other than ILR.
  • FIG. 5A This particular embodiment of the invention is for example illustrated in FIG. 5A showing:
  • the hatched pixels correspond to the pixels for which the application of deblocking filtering is deactivated
  • - the pixels filled with dots are pixels which, because of their location in the reconstructed block, are not affected by deblocking filtering
  • the white pixels are the pixels to which deblocking filtering is applied.
  • the application of the deblocking filtering to the reconstructed current block is deactivated for all the pixels of the current block. This is illustrated in FIG. 5A, in which all the pixels on the border of block 80 are hatched.
  • the deblocking filtering is applied to a pixel of the reconstructed current block if the pixel is located on a border of the current block reconstructed with a neighboring block and if the neighboring block has been decoded or coded according to a conventional coding mode, ie not ILR.
  • a conventional coding mode ie not ILR.
  • the deblocking filtering is only applied at the border of two blocks of which at least one of the two blocks is a block coded / decoded according to a conventional coding mode (for example M1 in the example described in relation to Figures 2 and 4).
  • a conventional coding mode for example M1 in the example described in relation to Figures 2 and 4.
  • FIG. 5B This particular embodiment of the invention is for example illustrated in FIG. 5B showing:
  • the hatched pixels correspond to the pixels for which the application of deblocking filtering is deactivated
  • the pixels filled with dots are pixels which, because of their location in the block, are not affected by deblocking filtering
  • the white pixels are the pixels to which deblocking filtering is applied.
  • the application of deblocking filtering is deactivated for a pixel of the reconstructed current block 84 if the pixel is located on a border of the reconstructed current block 84 with a neighboring block and if said neighboring block has been decoded or coded according to the M2 coding mode (ILR).
  • ILR M2 coding mode
  • the deblocking filtering is applied to a pixel of the reconstructed current block (84), if the pixel is located on a border of the reconstructed current block with a neighboring block and if the neighboring block has been decoded or coded according to a coding mode distinct from the coding mode M2. This is illustrated in FIG. 5B in which all the pixels of block 84 situated at the border with block 83 are white.
  • the SAO processing applies to all the pixels of a reconstructed block.
  • Such ODS processing consists in shifting the decoded value of each pixel of the block by a value explicitly transmitted to the decoder, according to the environment of said pixel.
  • SAO treatment is described in Chih-Ming Fu, Maria Alshina, Alexander Alshin, Yu-Wen Huang, Ching-Yeh Chen, and Chia-Yang Tsai, Chih-Wei Hsu, Shaw-Min Lei, Jeong-Hoon Park, and Woo -Jin Han, “Sample Adaptive Offset in the HEVC Standard 'IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY, VOL. 22, NO. 12, DECEMBER 2012, 1755.
  • the SAO processing is applied only to the reconstructed blocks which have been coded by a conventional coding mode, i.e. not ILR.
  • a conventional coding mode i.e. not ILR.
  • the application of the SAO method to the reconstructed current block is deactivated for all the pixels of the reconstructed current block.
  • FIG. 6 shows the simplified structure of a COD coding device suitable for implementing the coding method according to any one of the particular embodiments of the invention.
  • the steps of the coding method are implemented by computer program instructions.
  • the coding device COD has the conventional architecture of a computer and notably comprises a memory MEM, a processing unit UT, equipped for example with a processor PROC, and controlled by the computer program PG stored in MEM memory.
  • the computer program PG includes instructions for implementing the steps of the coding method as described above, when the program is executed by the processor PROC.
  • the code instructions of the computer program PG are for example loaded into a memory RAM (not shown) before being executed by the processor PROC.
  • the processor PROC of the processing unit UT implements in particular the steps of the coding method described above, according to the instructions of the computer program PG.
  • FIG. 7 shows the simplified structure of a DEC decoding device suitable for implementing the decoding method according to any one of the particular embodiments of the invention.
  • the DEC decoding device has the conventional architecture of a computer and in particular comprises a MEMO memory, a UTO processing unit, equipped for example with a PROCO processor, and controlled by the PGO computer program stored in MEMO memory.
  • the PGO computer program includes instructions for implementing the steps of the decoding method as described above, when the program is executed by the PROCO processor.
  • the code instructions of the PGO computer program are for example loaded into a RAM memory (not shown) before being executed by the PROCO processor.
  • the processor PROCO of the processing unit UTO implements in particular the steps of the decoding method described above, according to the instructions of the computer program PGO.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

L'invention concerne un procédé de décodage d'un flux de données codées représentatif d'au moins une image découpée en blocs. Pour au moins un bloc de l'image, dit bloc courant, une information indiquant un mode de codage parmi un premier et un deuxième mode de codage, du bloc courant est décodée (E42) à partir du flux de données et le bloc courant est décodé en fonction de cette information. Lorsque le mode de codage du bloc courant correspond à un deuxième mode de codage, le bloc courant est reconstruit à partir d'une prédiction obtenue, pour chaque pixel, à partir d'un autre pixel précédemment décodé appartenant au bloc courant ou à un bloc de l'image précédemment décodé, et d'un résidu décodé associé audit pixel. Au moins une méthode de traitement est appliquée au bloc courant reconstruit pour au moins un pixel du bloc courant en fonction du mode de codage du bloc courant et/ou du mode de codage des blocs voisins.

Description

PROCEDES ET DISPOSITIFS DE CODAGE ET DE DECODAGE D'UN FLUX DE DONNEES REPRESENTATIF D'AU MOINS UNE IMAGE
1. Domaine de l’invention
Le domaine de l’invention est celui du codage et du décodage d’images ou de séquences d’images, et notamment de flux vidéo.
Plus précisément, l’invention concerne la compression d’images ou de séquences d’images utilisant une représentation par blocs des images.
L’invention peut notamment s’appliquer au codage image ou vidéo mis en oeuvre dans les codeurs actuels ou à venir (JPEG, MPEG, H.264, HEVC, etc et leurs amendements), et au décodage correspondant.
2. Art Antérieur
Les images et séquences d’images numériques occupent beaucoup d’espace en termes de mémoire, ce qui nécessite, lorsque l’on transmet ces images, de les compresser afin d’éviter les problèmes d’encombrement sur le réseau utilisé pour cette transmission.
On connaît déjà de nombreuses techniques de compression de données vidéo. Parmi celles-ci, le standard de compression HEVC ("High Efficiency Video Coding, Coding Tools and Spécification", Matthias Wien, Signais and Communication Technology, 2015) propose de mettre en oeuvre une prédiction de pixels d’une image courante par rapport à d’autres pixels appartenant à la même image (prédiction intra) ou à une image précédente ou suivante (prédiction inter).
Plus précisément, la prédiction intra exploite les redondances spatiales au sein d’une image. Pour ce faire, les images sont découpées en blocs de pixels. Les blocs de pixels sont alors prédits à l’aide d’informations déjà reconstruites, correspondant aux blocs précédemment codés/décodés dans l’image courante selon l’ordre de parcours des blocs dans l’image.
Par ailleurs, de manière classique, le codage d’un bloc courant est réalisé à l’aide d’une prédiction du bloc courant, dit bloc prédicteur, et d’un résidu de prédiction ou « bloc résiduel », correspondant à une différence entre le bloc courant et le bloc prédicteur. Le bloc résiduel obtenu est alors transformé, par exemple en utilisant une transformée de type DOT (transformée en cosinus discrète). Les coefficients du bloc résiduel transformé sont ensuite quantifiés, puis codés par un codage entropique et transmis au décodeur, qui peut reconstruire le bloc courant en ajoutant ce bloc résiduel au bloc prédicteur.
Le décodage est fait image par image, et pour chaque image, bloc par bloc. Pour chaque bloc, les éléments correspondants du flux sont lus. La quantification inverse et la transformation inverse des coefficients du bloc résiduel sont effectuées. Puis, la prédiction du bloc est calculée pour obtenir le bloc prédicteur et le bloc courant est reconstruit en ajoutant la prédiction (i.e. le bloc prédicteur) au bloc résiduel décodé.
Dans US9253508, une technique de codage DPCM (pour Differential Puise Code Modulation en anglais) pour coder des blocs en mode Intra est insérée dans un codeur HEVC. Une telle technique consiste à prédire un ensemble de pixels d'un bloc intra par un autre ensemble de pixels du même bloc qui ont été précédemment reconstruits. Dans US9253508, un ensemble de pixels du bloc intra à coder correspond à une ligne du bloc, ou une colonne ou une ligne et une colonne et la prédiction intra utilisée pour prédire l'ensemble de pixels est l'une des prédictions intra directionnelles définies dans le standard HEVC.
Une telle technique n'est toutefois pas optimale. En effet, la reconstruction d'un ensemble de pixels du bloc intra correspond soit à l'ajout d'un résidu de prédiction dans le cas d'un codage sans pertes, offrant donc un taux de compression assez faible, soit à l'ajout d'un résidu de prédiction après transformation inverse et/ou quantification inverse dudit autre ensemble de pixels servant de prédiction. Une telle technique ne permet donc pas de prédire chaque pixel du bloc intra à l'aide d'une fonction locale de prédiction et de reconstruire le pixel prédit avant de prédire un pixel suivant. En effet, cette technique nécessite de reconstruire un ensemble de pixels (ligne/colonne du bloc par exemple) pour prédire un autre ensemble de pixels. Autrement dit, à chaque prédiction et reconstruction d'une partie du bloc, plusieurs pixels du bloc sont prédits et reconstruits.
De plus, dans US9253508, il n'est pas décrit comment faire cohabiter des modes de prédiction intra classiques tels que définis dans le standard HEVC par exemple et le mode de prédiction DPCM.
Il existe donc un besoin pour une nouvelle méthode de codage et de décodage pour améliorer la compression des données image ou vidéo.
3. Exposé de l'invention
L'invention vient améliorer l'état de la technique. Elle concerne à cet effet un procédé de décodage d'un flux de données codées représentatif d'au moins une image découpée en blocs. Un tel procédé de décodage comprend, pour au moins un bloc de l'image, dit bloc courant:
- le décodage d'une information indiquant un mode de codage du bloc courant parmi au moins un premier mode de codage et un deuxième mode de codage, le deuxième mode de codage étant un mode de codage selon lequel le bloc courant est décodé via, pour chaque pixel du bloc courant:
- l'obtention d'une prédiction dudit pixel à partir d'un autre pixel précédemment décodé, ledit autre pixel précédemment décodé appartenant audit bloc courant ou à un bloc de l'image précédemment décodé,
- le décodage d'un résidu de prédiction associé audit pixel,
- la reconstruction dudit pixel à partir de la prédiction dudit pixel obtenue et du résidu de prédiction décodé associé audit pixel,
- le décodage du bloc courant selon le mode de codage indiqué par l'information décodée,
- lorsque le mode de codage du bloc courant correspond à un mode de codage distinct du deuxième mode de codage, l'application d'au moins une méthode de traitement au bloc courant reconstruit,
- lorsque le mode de codage du bloc courant correspond au deuxième mode de codage, la désactivation de l'application de ladite au moins une méthode de traitement au bloc courant reconstruit pour au moins un pixel dudit bloc courant.
Ainsi, selon l'invention, l'application de traitements sur un bloc reconstruit n'est pas réalisée dans le cas d'un bloc décodé selon un mode de codage utilisant une prédiction des pixels à partir de pixels précédemment reconstruits du même bloc. Selon ce mode de codage, le résidu de prédiction associé à chaque pixel n'est pas transformé. Les méthodes de traitement visent à améliorer la qualité des blocs de pixels reconstruits, par exemple en réduisant les effets de discontinuités entre blocs dus au codage de résidu de prédiction avec une transformée (filtre de "deblocking" en anglais), ou en corrigeant la valeur individuelle de chaque pixel (aussi connu sous le nom de SAO pour Sample Adaptive Offset en anglais). Selon l'invention, le deuxième mode de codage n'utilise pas de transformée du résidu de prédiction puisque le résidu de prédiction associé à chaque pixel doit être disponible immédiatement pour reconstruire le pixel et qu'il puisse servir à la prédiction des pixels suivants du bloc courant. Ainsi, lorsque le bloc courant est décodé selon le deuxième mode de codage, il n'est pas nécessaire de réduire les discontinuités aux frontières de ce bloc courant. De même, lorsque le bloc courant est décodé selon le deuxième mode de codage, la valeur de chaque pixel est codée individuellement à l'aide d'un résidu de prédiction associé à chaque pixel. Il n'est donc pas nécessaire de corriger la valeur de chaque pixel.
Les méthodes de traitement appliquées aux blocs reconstruits nécessitent en général la transmission de paramètres au niveau bloc. Désactiver ces méthodes de traitement pour les blocs codés selon le deuxième mode de codage permet ainsi un gain en débit. De plus, le processus de décodage peut substantiellement être accéléré puisque ces méthodes de traitement ne sont pas appliquées pour ces blocs.
L'invention concerne également un procédé de codage d'un flux de données codées représentatif d'au moins une image découpée en blocs. Un tel procédé de codage comprend, pour au moins un bloc de l'image, dit bloc courant: - le codage d'une information indiquant un mode de codage du bloc courant parmi au moins un premier mode de codage et un deuxième mode de codage, le deuxième mode de codage étant un mode de codage selon lequel le bloc courant est codé via, pour chaque pixel du bloc courant:
- l'obtention d'une prédiction dudit pixel à partir d'un autre pixel précédemment décodé, ledit autre pixel précédemment décodé appartenant audit bloc courant ou à un bloc de l'image précédemment décodé,
- le codage d'un résidu de prédiction associé audit pixel obtenu à partir de la prédiction dudit pixel,
- la reconstruction dudit pixel à partir du résidu de prédiction décodé associé audit pixel et de la prédiction dudit pixel,
- le codage du bloc courant selon le mode de codage indiqué par l'information codée,
- lorsque le mode de codage du bloc courant correspond à un mode de codage distinct du deuxième mode de codage, l'application d'au moins une méthode de traitement au bloc courant reconstruit,
- lorsque le mode de codage du bloc courant correspond au deuxième mode de codage, la désactivation de l'application de ladite au moins une méthode de traitement au bloc courant reconstruit pour au moins un pixel dudit bloc courant.
Selon un mode particulier de réalisation de l'invention, la méthode de traitement est un filtrage de déblocage appliqué aux pixels du bloc courant reconstruit qui sont situés à la frontière du bloc courant reconstruit avec un bloc voisin reconstruit dans l'image. Selon ce mode particulier de réalisation de l'invention, la méthode de traitement correspond à un filtre de "deblocking" classiquement appliqué en frontières de blocs pour réduire les effets de discontinuités entre blocs.
Selon un mode particulier de réalisation de l'invention, lorsque le bloc courant est décodé ou codé selon le deuxième mode de codage:
- l'application du filtrage de déblocage au bloc courant reconstruit est désactivée pour tous les pixels du bloc courant reconstruit,
- lorsque le bloc courant est décodé ou codé selon un mode de codage distinct du deuxième mode de codage:
- le filtrage de déblocage est appliqué à un pixel du bloc courant reconstruit si ledit pixel est situé sur une frontière dudit bloc courant reconstruit avec un bloc reconstruit voisin dans l’image et si ledit bloc voisin est décodé ou codé selon un mode de codage distinct du deuxième mode de codage. Selon ce mode particulier de réalisation de l'invention, le filtrage de déblocage est appliqué seulement aux pixels en frontière de deux blocs qui sont tous les deux codés ou décodés selon des modes de codage distincts du deuxième mode de codage. Autrement dit, pour un bloc courant codé ou décodé selon un mode de codage distinct du deuxième mode de codage, le filtrage de déblocage est désactivé pour les pixels du bloc courant reconstruit qui sont situés sur la frontière avec un bloc voisin codé ou décodé selon le deuxième mode de codage.
Selon un autre mode particulier de réalisation de l'invention, lorsque le bloc courant est décodé ou codé selon le deuxième mode de codage:
- l'application du filtrage de déblocage au bloc courant reconstruit est désactivée pour un pixel du bloc courant reconstruit si ledit pixel est situé sur une frontière dudit bloc courant reconstruit avec un bloc voisin dans l’image et si ledit bloc voisin est décodé ou codé selon le deuxième mode de codage, et
- le filtrage de déblocage est appliqué à un pixel du bloc courant reconstruit, si ledit pixel est situé sur une frontière dudit bloc courant reconstruit avec un bloc voisin reconstruit dans l’image et si ledit bloc voisin est décodé ou codé selon un mode de codage distinct du deuxième mode de codage.
Selon cet autre mode particulier de réalisation de l'invention, le filtrage de déblocage est appliqué aux pixels situés en frontière de deux blocs dont au moins un des blocs est codé ou décodé selon un mode de codage distinct du deuxième mode de codage. En revanche, le filtrage de déblocage est désactivé pour les pixels situés en frontière de deux blocs qui sont tous les deux codés ou décodés selon le deuxième mode de codage.
Ce mode particulier de réalisation de l'invention permet de lisser les effets de blocs pour les blocs codés ou décodés selon le premier mode de codage ou tout autre mode de codage distinct du deuxième mode de codage, même lorsque ceux-ci sont voisins d'un bloc reconstruit qui a été codé ou décodé selon le deuxième mode de codage.
Selon un autre mode particulier de réalisation de l'invention, la méthode de traitement est une méthode de correction d'au moins un pixel du bloc courant reconstruit par ajout à la valeur reconstruite dudit pixel d’une valeur obtenue à partir d'une information codée dans le flux de données ou décodée depuis le flux de données. Selon ce mode particulier de réalisation de l'invention, la méthode de traitement correspond à la méthode dite SAO qui a été intégrée au standard de compression HEVC. Selon un mode particulier de réalisation de l'invention, lorsque le bloc courant est décodé ou codé selon le deuxième mode de codage, l'application de ladite méthode de correction au bloc courant reconstruit est désactivée pour tous les pixels du bloc courant reconstruit.
L'invention concerne également un dispositif de décodage configuré pour mettre en oeuvre le procédé de décodage selon l'un quelconque des modes particuliers de réalisation définis ci- dessus. Ce dispositif de décodage pourra bien sûr comporter les différentes caractéristiques relatives au procédé de décodage selon l’invention. Ainsi, les caractéristiques et avantages de ce dispositif de décodage sont les mêmes que ceux du procédé de décodage, et ne sont pas détaillés plus amplement.
Le dispositif de décodage comprend notamment un processeur configuré pour, pour au moins un bloc de l'image, dit bloc courant:
- décoder une information indiquant un mode de codage du bloc courant parmi au moins un premier mode de codage et un deuxième mode de codage, le deuxième mode de codage étant un mode de codage selon lequel le bloc courant est décodé via, pour chaque pixel du bloc courant:
- l'obtention d'une prédiction dudit pixel à partir d'un autre pixel précédemment décodé, ledit autre pixel précédemment décodé appartenant audit bloc courant ou à un bloc de l'image précédemment décodé,
- le décodage d'un résidu de prédiction associé audit pixel,
- la reconstruction dudit pixel à partir de la prédiction dudit pixel obtenue et du résidu de prédiction décodé associé audit pixel,
- décoder le bloc courant selon le mode de codage indiqué par l'information décodée,
- lorsque le mode de codage du bloc courant correspond à un mode de codage distinct du deuxième mode de codage, appliquer au moins une méthode de traitement au bloc courant reconstruit,
- lorsque le mode de codage du bloc courant correspond au deuxième mode de codage, désactiver l'application de ladite au moins une méthode de traitement au bloc courant reconstruit pour au moins un pixel dudit bloc courant.
Selon un mode particulier de réalisation de l'invention, un tel dispositif de décodage est compris dans un terminal.
L'invention concerne également un dispositif de codage configuré pour mettre en oeuvre le procédé de codage selon l'un quelconque des modes particuliers de réalisation définis ci- dessus. Ce dispositif de codage pourra bien sûr comporter les différentes caractéristiques relatives au procédé de codage selon l’invention. Ainsi, les caractéristiques et avantages de ce dispositif de codage sont les mêmes que ceux du procédé de codage, et ne sont pas détaillés plus amplement.
Le dispositif de codage comprend notamment un processeur configuré pour, pour au moins un bloc de l'image, dit bloc courant:
- coder une information indiquant un mode de codage du bloc courant parmi au moins un premier mode de codage et un deuxième mode de codage, le deuxième mode de codage étant un mode de codage selon lequel le bloc courant est codé via, pour chaque pixel du bloc courant:
- l'obtention d'une prédiction dudit pixel à partir d'un autre pixel précédemment décodé, ledit autre pixel précédemment décodé appartenant audit bloc courant ou à un bloc de l'image précédemment décodé,
- le codage d'un résidu de prédiction associé audit pixel obtenu à partir de la prédiction dudit pixel,
- la reconstruction dudit pixel à partir du résidu de prédiction décodé associé audit pixel et de la prédiction dudit pixel,
- coder le bloc courant selon le mode de codage indiqué par l'information codée,
- lorsque le mode de codage du bloc courant correspond à un mode de codage distinct du deuxième mode de codage, appliquer au moins une méthode de traitement au bloc courant reconstruit,
- lorsque le mode de codage du bloc courant correspond au deuxième mode de codage, désactiver l'application de ladite au moins une méthode de traitement au bloc courant reconstruit pour au moins un pixel dudit bloc courant.
Selon un mode particulier de réalisation de l'invention, un tel dispositif de codage est compris dans un terminal, ou un serveur.
Le procédé de décodage, respectivement le procédé de codage, selon l'invention peut être mis en oeuvre de diverses manières, notamment sous forme câblée ou sous forme logicielle. Selon un mode particulier de réalisation de l'invention, le procédé de décodage, respectivement le procédé de codage, est mis en oeuvre par un programme d'ordinateur. L'invention concerne également un programme d'ordinateur comportant des instructions pour la mise en oeuvre du procédé de décodage ou du procédé de codage selon l'un quelconque des modes particuliers de réalisation décrits précédemment, lorsque ledit programme est exécuté par un processeur. Un tel programme peut utiliser n’importe quel langage de programmation. Il peut être téléchargé depuis un réseau de communication et/ou enregistré sur un support lisible par ordinateur. Ce programme peut utiliser n'importe quel langage de programmation, et être sous la forme de code source, code objet, ou de code intermédiaire entre code source et code objet, tel que dans une forme partiellement compilée, ou dans n'importe quelle autre forme souhaitable.
L'invention vise aussi un support d'enregistrement ou support d'informations lisible par un ordinateur, et comportant des instructions d'un programme d'ordinateur tel que mentionné ci- dessus. Les supports d'enregistrement mentionnés ci-avant peuvent être n'importe quelle entité ou dispositif capable de stocker le programme. Par exemple, le support peut comporter un moyen de stockage telle qu'une mémoire. D'autre part, les supports d'enregistrement peuvent correspondre à un support transmissible tel qu'un signal électrique ou optique, qui peut être acheminé via un câble électrique ou optique, par radio ou par d'autres moyens. Le programme selon l'invention peut être en particulier téléchargé sur un réseau de type Internet.
Alternativement, les supports d'enregistrement peuvent correspondre à un circuit intégré dans lequel le programme est incorporé, le circuit étant adapté pour exécuter ou pour être utilisé dans l'exécution du procédé en question.
4. Liste des figures
D’autres caractéristiques et avantages de l’invention apparaîtront plus clairement à la lecture de la description suivante d’un mode de réalisation particulier, donné à titre de simple exemple illustratif et non limitatif, et des dessins annexés, parmi lesquels :
- la figure 1 présente des étapes du procédé de codage selon un mode particulier de réalisation de l'invention,
- la figure 2 illustre un exemple de position des blocs voisins d'un bloc courant pour déterminer un mode de prédiction intra selon un mode particulier de réalisation de l'invention,
- la figure 3 illustre un exemple de position des pixels de référence utilisés pour prédire des pixels d'un bloc courant selon un mode particulier de réalisation de l'invention,
- la figure 4 présente des étapes du procédé de décodage selon un mode particulier de réalisation de l'invention,
- les figures 5A et 5B illustrent des blocs de pixels reconstruits sur lesquels un post traitement est appliqué ou non aux pixels selon le mode de codage du bloc auquel les pixels appartiennent, selon des modes particuliers de réalisation de l'invention,
- la figure 6 présente la structure simplifiée d’un dispositif de codage adapté pour mettre en oeuvre le procédé de codage selon l'un quelconque des modes particuliers de réalisation de l'invention, - la figure 7 présente la structure simplifiée d’un dispositif de décodage adapté pour mettre en œuvre le procédé de décodage selon l'un quelconque des modes particuliers de réalisation de l'invention.
5. Description d'un mode de réalisation de l'invention
5.1 Principe général
Des traitements réalisés après le décodage d'une image, aussi connus sous le nom de post traitement, sont intégrées aux normes de codage vidéo afin d'améliorer la qualité des images reconstruites. Par exemple, de tels post-traitements peuvent être l'application d'un filtrage de déblocage ou "deblocking filter" en anglais ou bien un post-traitement dit SAO pour Sample Adaptive Offset en anglais.
Le filtrage de deblocking permet d’effacer, après décodage de chaque bloc, la discontinuité qui existe entre chaque bloc et à laquelle l’œil humain est très sensible. D’autre part, le traitement SAO permet de modifier individuellement la valeur de chaque pixel d’un bloc décodé.
Ces deux méthodes de post-traitement ont été intégrées par exemple dans le standard de compression HEVC et apportent des gains en compression et en qualité.
Toutefois, selon l'invention, un nouveau mode de codage des blocs d'une image, dit codage ILR pour In-Loop Residual en anglais, permet de se passer avantageusement de ces deux méthodes de post-traitement.
Concernant les effets de discontinuités entre blocs, ils sont principalement dus au codage du résidu classique sous forme d’une transformée. Les vecteurs de base de la transformée étant à l’échelle du bloc, ils ne permettent pas un contrôle individuel des valeurs des pixels le long de la frontière du bloc. En revanche, le mode de codage ILR permet de coder l'intensité de chaque pixel indépendamment des autres. Il n’y a donc pas d’effets de blocs constatés, et le filtrage est inutile.
De même, le traitement SAO vise à corriger la valeur individuelle de certains pixels après un codage classique. Or, le mode de codage ILR qui sera décrit plus loin, permet déjà de coder la valeur de chaque pixel individuellement. Il n’est donc pas besoin de traitement SAO pour ces pixels.
En revanche, il est nécessaire pour le codeur de pouvoir choisir pour chaque bloc à coder entre un mode de codage classique ou un mode de codage ILR afin d'optimiser le coût de codage de la séquence vidéo.
Le principe général de l'invention est donc de permettre d'activer ou non l'application d'une méthode de post-traitement à un bloc reconstruit selon que le bloc a été codé/décodé selon le mode de codage ILR. Il y a plusieurs avantages à activer les traitements de deblocking et/ou SAO uniquement pour les blocs codés par une méthode de codage classique, i.e. un mode de codage autre que ILR. En effet, ceci permet de réduire le débit à transmettre car aucun élément de syntaxe relatif au deblocking filter ou au traitement SAO n’est transmis pour les blocs codés/décodés selon le mode de codage ILR. Ceci permet également d’accélérer substantiellement le décodage, puisque les blocs codés/décodés selon le mode de codage ILR n’ont pas besoin d’appliquer les étapes de traitement de deblocking et/ou SAO qui sont assez lourdes à mettre en œuvre en terme de calculs et de ressources mémoires.
5. 2 Exemples de mise en œuvre
La figure 1 présente des étapes du procédé de codage selon un mode particulier de réalisation de l'invention. Par exemple, on code une séquence d'images l ; l2, ..., lNb sous la forme d'un flux de données codées STR selon un mode particulier de réalisation de l'invention. Par exemple, un tel procédé de codage est mis en œuvre par un dispositif de codage tel que décrit plus loin en relation avec la figure 6.
Une séquence d'images h, l2, ..., lNb, Nb étant le nombre d'images de la séquence à coder, est fournie en entrée du procédé de codage. Le procédé de codage délivre en sortie un flux de données codées STR représentatif de la séquence d'images fournie en entrée.
De manière connue, le codage de la séquence d'images h, l2, ..., l Nb est fait image par image, selon un ordre de codage préalablement établi et connu du codeur. Par exemple, les images peuvent être codées dans l'ordre temporel h, l2, ..., lNb ou selon un autre ordre, par exemple li,l3, l2, ·, iNb-
Lors d'une étape E0, une image I, à coder de la séquence d'images ,l2, ..., l Nb est découpée en blocs, par exemple en blocs de taille 32x32, ou 64x64 pixels ou plus. Un tel bloc peut être subdivisé en sous-blocs carrés ou rectangulaires, par exemple de taille 16x16, 8x8, 4x4, 16x8, 8x16, ....
Lors d'une étape E1 , un premier bloc ou sous-bloc Xb à coder de l'image I est sélectionné selon un sens de parcours de l'image I prédéterminé. Par exemple, il peut s'agir du premier bloc dans l'ordre lexicographique de parcours de l'image.
Lors d'une étape E2, l’encodeur va choisir le mode de codage pour coder le bloc courant Xb. Selon le mode particulier de réalisation décrit ici, l'encodeur sélectionne le mode de codage pour coder le bloc courant Xb parmi un premier mode de codage M1 et un deuxième mode de codage M2. Des modes de codage supplémentaires (non décrits ici) peuvent être utilisés. Selon le mode particulier de réalisation décrit ici, le premier mode de codage M1 correspond au codage du bloc courant par prédiction intra classique, par exemple tel que défini selon le standard HEVC et le deuxième mode de codage M2 correspond au codage par prédiction In Loop Residual (ILR). Le principe de l'invention peut être étendu à d'autres types de modes de codage pour le premier mode de codage M1 . Par exemple, le premier mode de codage peut correspondre à tout type de modes de codage utilisant une transformation du résidu de prédiction (codage par prédiction inter-images, codage par prédiction spatiale avec template matching, etc...). Lors de l'étape E2, le codeur peut réaliser une optimisation débit/distorsion pour déterminer le meilleur mode de codage pour coder le bloc courant. Au cours de cette optimisation débit/distorsion, des modes de codage supplémentaires distincts du premier et du deuxième mode de codage peuvent être testés, par exemple un mode de codage en mode inter. Au cours de cette optimisation débit/distorsion, le codeur simule le codage du bloc courant Xb selon les différents modes de codage disponibles afin de déterminer le débit et la distorsion associés à chaque mode de codage et sélectionne le mode de codage offrant le meilleur compromis débit/distorsion, par exemple selon la fonction D+2.R, où R représente le débit nécessaire pour coder le bloc courant selon le mode de codage évalué, D la distorsion mesurée entre le bloc décodé et le bloc courant original et l un multiplicateur lagrangien, par exemple entré par l'utilisateur ou défini au codeur.
Lors d'une étape E20, une information indiquant le mode de codage sélectionné pour le bloc courant est codée dans le flux de données STR.
Si le bloc courant Xb est codé selon le premier mode de codage M1 , le procédé passe à l'étape E21 de codage du bloc selon M1 . Si le bloc courant Xb est codé selon le deuxième mode de codage M2, le procédé passe à l'étape E22 de codage du bloc selon M2.
On décrit ci-après l'étape E21 de codage du bloc selon le premier mode de codage M1 , selon un mode particulier de réalisation de l'invention. Selon le mode particulier décrit ici, le premier mode de codage correspond à une prédiction intra classique, telle que celle définie dans le standard HEVC.
Lors d'une étape E210, un pas de quantification ¾ est déterminé. Par exemple, le pas de quantification ¾ peut être fixé par l’utilisateur, ou bien calculé à l’aide d’un paramètre de quantification fixant un compromis entre compression et qualité et entré par l’utilisateur ou défini par le codeur. Ainsi, un tel paramètre de quantification peut être le paramètre L, utilisé dans la fonction de coût débit-distorsion D+ 2.R, où D représente la distorsion introduite par le codage et R le débit utilisé pour coder. Cette fonction sert à faire des choix de codage. Classiquement on cherche la façon de coder l'image qui minimise cette fonction.
En variante, le paramètre de quantification peut être le QP, correspondant au paramètre de quantification utilisé classiquement dans les normes AVC ou HEVC. Ainsi, dans la norme HEVC, le pas de quantification ¾ est déterminé par l’équation 51=levelScale[ QP%6 ] « (QP/6)) où levelScale[ k ] = { 40, 45, 51 , 57, 64, 72 } pour k = 0..5. Lors d'une étape E21 1 , une prédiction du bloc courant est déterminée à l'aide d'un mode de prédiction intra classique. Selon cette prédiction intra classique, chaque pixel prédit est calculé uniquement à partir des pixels décodés issus des blocs voisins (pixels de référence) situés au-dessus du bloc courant, et à gauche du bloc courant. La façon dont les pixels sont prédits à partir des pixels de référence dépend d’un mode de prédiction qui est transmis au décodeur, et qui est choisi par le codeur dans un ensemble prédéterminé de modes connus du codeur et du décodeur.
Ainsi, dans HEVC, il y a 35 modes de prédiction possibles : 33 modes qui interpolent les pixels de référence dans 33 directions angulaires différentes, et 2 autres modes: le mode DC dans lequel chaque pixel du bloc prédit est produit à partir de la moyenne des pixels de référence, et le mode PLANAR, qui effectue une interpolation plane et non directionnelle. Cette approche dite « prédiction intra classique » est bien connue et également utilisée dans le standard ITU-T H.264 (où il n’y a que 9 modes différents) ainsi que dans le logiciel expérimental JEM disponible à l’adresse internet (https://ivet.hhi.fraunhofer.de/), où il y a 67 modes de prédiction différents. Dans tous les cas, la prédiction intra classique respecte les deux aspects cités ci-dessus (prédiction des pixels à partir des blocs voisins et transmission au décodeur d'un mode de prédiction optimal).
Au cours de l'étape E21 1 , le codeur choisit donc un des modes de prédiction disponibles dans la liste prédéterminée de modes de prédiction. Une façon de choisir consiste par exemple à évaluer tous les modes de prédiction et à conserver le mode de prédiction qui minimise une fonction de coût telle que, classiquement, le coût débit-distorsion.
Lors d'une étape E212, le mode de prédiction choisi pour le bloc courant est codé à partir des blocs voisins du bloc courant. La figure 2 illustre un exemple de position des blocs voisins Ab et Bb du bloc courant Xb pour coder le mode de prédiction du bloc courant Xb.
Au cours de l'étape E212, le mode de prédiction intra choisi pour le bloc courant est codé en utilisant les modes de prédiction intra associés aux blocs voisins.
Par exemple, l’approche décrite dans la norme HEVC pour coder le mode de prédiction du bloc courant peut être utilisée. Dans l’exemple de la figure 2, une telle approche consiste à identifier le mode de prédiction intra mA associé au bloc Ab situé au-dessus du bloc courant, et le mode de prédiction intra mB associé au bloc Bb situé juste à gauche du bloc courant. En fonction de la valeur de mA et de mB, une liste dite MPM (pour Most Probable Mode), contenant 3 modes de prédiction intra, et une liste dite non-MPM, contenant les 32 autres modes de prédiction, sont créées.
Selon la norme HEVC, afin de coder le mode de prédiction intra du bloc courant, des éléments de syntaxe sont transmis :
-un indicateur binaire indiquant si le mode de prédiction à coder pour le bloc courant est dans la liste MPM ou non, -si le mode de prédiction du bloc courant appartient à la liste MPM, un index dans la liste MPM correspondant au mode de prédiction du bloc courant est codé,
- si le mode de prédiction du bloc courant n'appartient pas à la liste MPM, un index dans la liste non-MPM correspondant au mode de prédiction du bloc courant est codé.
Lors d'une étape E213, le résidu de prédiction R pour le bloc courant est construit.
Au cours de l'étape E213, de manière classique, un bloc prédit P est construit en fonction du mode de prédiction choisi à l'étape E21 1 . Puis le résidu de prédiction R est obtenu en calculant la différence pour chaque pixel, entre le bloc prédit P et le bloc courant original.
Lors d'une étape E214, le résidu de prédiction R est transformé en RT.
Au cours de l'étape E214, une transformée fréquentielle est appliquée au bloc de résidu R de façon à produire le bloc RT comprenant des coefficients transformés. La transformée pourra être une transformée de type DCT par exemple. Il est possible de choisir la transformée à utiliser dans un ensemble prédéterminé de transformées ET et de signaler la transformée utilisée au décodeur.
Lors d'une étape E215, le bloc de résidu transformé RT est quantifié à l'aide par exemple d’une quantification scalaire de pas de quantification Ceci produit le bloc de résidu de prédiction transformé quantifié RTQ.
Lors d'une étape E216, les coefficients du bloc quantifié RTQ sont codés par un codeur entropique. On peut par exemple utiliser le codage entropique spécifié dans la norme HEVC. De manière connue, le bloc courant est décodé en dé-quantifiant les coefficients du bloc quantifié RTQ, puis en appliquant la transformée inverse aux coefficients dé-quantifiés pour obtenir le résidu de prédiction décodé. La prédiction est ensuite ajoutée au résidu de prédiction décodé afin de reconstruire le bloc courant et d'obtenir sa version décodée. La version décodée du bloc courant peut ensuite être utilisée ultérieurement pour prédire spatialement d'autres blocs voisins de l'image ou bien pour prédire des blocs d'autres images par prédiction inter-images.
On décrit ci-après l'étape E22 de codage du bloc selon le deuxième mode de codage M2, selon un mode particulier de réalisation de l'invention. Selon le mode particulier décrit ici, le deuxième mode de codage correspond à un codage par prédiction ILR.
Au cours d'une étape E220, un prédicteur local PL pour le bloc courant est déterminé. Selon le mode de codage décrit ici, les pixels du bloc courant sont prédits par des pixels précédemment reconstruits d'un bloc voisin du bloc courant ou du bloc courant lui-même.
De préférence, pour prédire, on choisit des pixels qui sont les plus proches possibles du pixel à prédire. Pour cette raison, on parle de prédicteur local. Le prédicteur local PL peut également être assimilé à un mode de prédiction du bloc courant associé au deuxième mode de codage M2. Selon cette interprétation, dans le mode particulier de réalisation décrit ici, le premier mode de codage utilise un premier groupe de modes de prédiction intra, par exemple les modes de prédiction intra définis par le standard HEVC, et le deuxième mode de codage, ici le mode ILR, utilise un deuxième groupe de modes de prédiction distinct du premier groupe de modes de prédiction intra.
Le prédicteur local PL peut être unique ou il peut être sélectionné dans un ensemble de prédicteurs locaux prédéterminés (deuxième groupe de modes de prédiction).
Selon une variante de réalisation, 4 prédicteurs locaux sont définis. Ainsi, si on appelle X un pixel courant à prédire du bloc courant, A le pixel situé immédiatement à gauche de X, B le pixel situé immédiatement à gauche et au-dessus de X, C le pixel situé immédiatement au- dessus de X, tel qu'illustré en figure 3 montrant un bloc courant Xb. 4 prédicteurs locaux PL1 , PL2, PL3, PL4 peuvent être définis comme suit:
PL1 (X) = min(A,B) si C > max(A,B)
max(A,B) si C < min(A,B)
A+B-C sinon
PL2(X) = A
PL3(X) = B
PL4(X) = C
où min(A,B) correspond à la fonction retournant la valeur la plus petite entre la valeur de A et la valeur de B et max(A,B) correspond à la fonction retournant la valeur la plus grande entre la valeur de A et la valeur de B.
Au cours de l'étape E220, on détermine quel prédicteur local PL utiliser pour le bloc courant. Autrement dit, le même prédicteur local sera utilisé pour tous les pixels du bloc courant, i.e. la même fonction de prédiction. Pour cela, plusieurs variantes de réalisation sont possibles. Le codage du bloc courant avec chacun des prédicteurs peut être simulé (de manière similaire à une optimisation pour choisir un mode de codage pour le bloc courant), et le prédicteur local qui optimise une fonction de coût (par exemple, qui minimise la fonction D + A.R, où R est le débit utilisé pour coder le bloc, D est la distorsion du bloc décodé par rapport au bloc original, et l est un paramètre fixé par l’utilisateur) est sélectionné.
Ou bien, afin de limiter la complexité de la sélection d'un prédicteur local pour le bloc courant, une orientation de la texture des pixels précédemment codés est analysée. Par exemple, les pixels précédemment codés dans le bloc qui sont situés au-dessus ou à gauche du bloc courant sont analysés à l’aide d’un opérateur de type Sobel. S'il est déterminé que:
- l'orientation est horizontale, le prédicteur local PL2 est sélectionné,
- l'orientation est verticale, le prédicteur local PL3 est sélectionné,
- l'orientation est diagonale, le prédicteur local PL4 est sélectionné,
- si aucune orientation ne se dégage, le prédicteur local PL1 est sélectionné. Un élément de syntaxe est codé dans le flux de données STR pour indiquer au décodeur quel prédicteur local a été utilisé pour prédire le bloc courant.
Au cours d'une étape E221 , un pas de quantification d2 est déterminé. Par exemple, le pas de quantification d2 dépend d'un même paramètre de quantification que le pas de quantification ¾ qui serait déterminé à l'étape E210 si le bloc courant était codé selon le premier mode de codage.
Lors d'une étape E222, un résidu de prédiction R1 est calculé pour le bloc courant. Pour cela, une fois le prédicteur local choisi, pour chaque pixel courant du bloc courant:
-le pixel courant X du bloc courant est prédit par le prédicteur local PL sélectionné, à l’aide soit des pixels extérieurs au bloc et déjà reconstruits (et donc disponibles avec leur valeur décodée), soit de pixels précédemment reconstruits dans le bloc courant, soit des deux, afin d’obtenir une valeur prédite PRED. Dans tous les cas, le prédicteur PL utilise des pixels précédemment reconstruits. Sur la figure 3, on voit que les pixels du bloc courant situés sur la première ligne et/ou la première colonne du bloc courant utiliseront comme pixels de référence (pour construire la valeur prédite PRED) des pixels extérieurs au bloc et déjà reconstruits (pixels en gris sur la figure 3) et éventuellement des pixels déjà reconstruits du bloc courant. Pour les autres pixels du bloc courant, les pixels de référence utilisés pour construire la valeur prédite PRED sont situés à l'intérieur du bloc courant ;
-la différence DIFF entre PRED et X est quantifiée en une valeur Q(X), par un quantificateur scalaire de pas de quantification d2 , par Q(X) = ScalarQuant(DIFF) = ScalarQuant(¾ , X- PRED), le quantificateur scalaire étant par exemple un quantificateur scalaire au plus proche voisin tel que: ScalarQuant(A, x) = floor
Q(X) est le résidu quantifié associé à X. Il est calculé dans le domaine spatial, i.e. calculé directement à partir de la différence entre la valeur prédite PRED du pixel X et la valeur originale de X. Un tel résidu quantifié Q(X) pour le pixel X est mémorisé dans un bloc de résidu de prédiction quantifié R1 Q, qui sera codé ultérieurement ;
-la valeur prédite décodée P1 (X) de X est calculée en ajoutant à la valeur prédite PRED la valeur dé-quantifiée du résidu quantifié Q(X). La valeur prédite décodée P1 (X) de X est ainsi obtenue par P1 (X) = PRED + ScalarDequant(¾, Q(X)). Par exemple, la fonction inverse de quantification scalaire au plus proche est donnée par: ScalarDequant(A, x) = D x x.
La valeur prédite décodée P1 (X) permet ainsi de prédire d’éventuels pixels qui restent à traiter dans le bloc courant. Par ailleurs, le bloc P1 comprenant les valeurs décodées/reconstruites des pixels du bloc courant constitue le prédicteur ILR du bloc courant (par opposition au prédicteur intra classique). Les sous-étapes décrites ci-dessus sont effectuées pour tous les pixels du bloc courant, dans un ordre de parcours qui assure que les pixels utilisés pour la prédiction choisie parmi PL1 ,..., PL4 soient disponibles.
Selon une variante de réalisation, l’ordre de parcours du bloc courant est l’ordre lexicographique, i.e. de gauche à droite, et de haut en bas.
Selon une autre variante de réalisation, plusieurs ordres de parcours du bloc courant peuvent être utilisés, par exemple :
-l’ordre lexicographique, ou
-en parcourant la première colonne de haut en bas, puis la colonne juste à sa droite, etc . ou bien,
-en parcourant les diagonales les unes après les autres.
Selon cette autre variante, il est possible de simuler le coût de codage associé à chacun des ordres de parcours et de choisir le meilleur ordre de parcours du bloc courant au sens débit/distorsion, puis de coder pour le bloc courant une information représentative de l’ordre de parcours choisi.
A l’issue de l'étape E222, le bloc de résidu quantifié R1 Q a été déterminé. Ce bloc de résidu quantifié R1 Q doit être codé pour être transmis au décodeur. Le prédicteur P1 du bloc courant a également été déterminé.
Lors d'une étape E223, le bloc de résidu quantifié R1Q est codé afin de le transmettre au décodeur. Il est possible d’utiliser toute approche connue, telle que la méthode décrite dans HEVC pour coder les coefficients quantifiés d'un résidu de prédiction classique.
Selon le mode particulier de réalisation de l'invention décrit ici les valeurs du bloc de résidu quantifié R1 Q sont codées à l'aide d'un codeur entropique à partir du flux de données STR.
Selon un mode particulier de réalisation de l'invention, il est possible de déterminer et coder un résidu de prédiction additionnel R2 à partir du prédicteur ILR obtenu pour le bloc courant. Le codage d'un résidu de prédiction additionnel R2 est toutefois optionnel. Il est possible en effet de simplement coder le bloc courant par sa version prédite P1 et le résidu quantifié R1 Q.
Afin de coder un résidu de prédiction additionnel R2 pour le bloc courant, les étapes suivantes sont mises en oeuvre.
Lors d'une étape E224, la différence R2 entre le prédicteur P1 et le bloc courant original Xb est calculée afin de constituer un résidu additionnel R2 : R2= Xb-P1. Les étapes suivantes correspondent aux étapes classiques de codage de ce résidu R2. Lors d'une étape E225, le résidu R2 est transformé à l'aide d'une transformée fréquentielle de façon à produire le bloc de coefficients R2T.
La transformée peut être une transformée de type DCT par exemple. Il est possible de choisir la transformée à utiliser dans un ensemble prédéterminé de transformées ET2 et de signaler la transformée utilisée au décodeur. Dans ce cas, l’ensemble ET2 peut être différent de l’ensemble ET, afin de s’adapter aux statistiques particulières du résidu R2.
Lors d'une étape E226, le bloc de coefficients R2T est quantifié, par exemple à l’aide d’une quantification scalaire de pas de quantification d. Ceci produit le bloc R2TQ.
Le pas de quantification d peut être fixé par l’utilisateur. Il peut également être calculé à l’aide d’un autre paramètre l fixant le compromis entre compression et qualité et entré par l’utilisateur ou le codeur. Par exemple, le pas de quantification d peut correspondre au pas de quantification ¾ ou être déterminé de manière similaire à celui-ci.
Lors d'une étape E227, les coefficients du bloc quantifié R2TQ sont alors transmis de façon codée. On peut par exemple utiliser le codage spécifié dans la norme HEVC.
De manière connue, le bloc courant est décodé en dé-quantifiant les coefficients du bloc quantifié R2TQ, puis en appliquant la transformée inverse aux coefficients dé-quantifiés pour obtenir le résidu de prédiction décodé. La prédiction P1 est ensuite ajoutée au résidu de prédiction décodé afin de reconstruire le bloc courant et d'obtenir sa version décodée Xrec. La version décodée Xrec du bloc courant peut ensuite être utilisée ultérieurement pour prédire spatialement d'autres blocs voisins de l'image ou bien pour prédire des blocs d'autres images par prédiction inter-images.
Lors d'une étape E23, il est vérifié si le bloc courant est le dernier bloc de l'image à traiter par le procédé de codage, compte tenu de l’ordre de parcours défini précédemment. Si le bloc courant n'est pas le dernier bloc de l'image à traiter, lors d'une étape E24, le bloc suivant de l'image à traiter est sélectionné selon le parcours de l'image défini précédemment et le procédé de codage passe à l'étape E2, où le bloc sélectionné devient le bloc courant à traiter.
Si tous les blocs de l'image ont été codés, le procédé passe à l'application des méthodes de post-traitements à appliquer à l'image reconstruite lors d'une étape E231 . Comme discuté plus haut, ces méthodes de post-traitements peuvent être un filtrage deblocking et/ou une méthode SAO. L'application des post-traitements étant faite de manière similaire au codeur et au décodeur, l'étape E231 sera décrite plus loin.
Après l'application d'au moins une méthode de post-traitement, le procédé passe au codage (étape E25) de l'image suivante de la vidéo le cas échéant. La figure 4 présente des étapes du procédé de décodage d'un flux STR de données codées représentatif d'une séquence d'images h, l2, Iisib à décoder selon un mode particulier de réalisation de l'invention.
Par exemple, le flux de données STR a été généré via le procédé de codage présenté en relation avec la figure 1. Le flux de données STR est fourni en entrée d'un dispositif de décodage DEC, tel que décrit en relation avec la figure 7.
Le procédé de décodage procède au décodage du flux image par image et chaque image est décodée bloc par bloc.
Lors d'une étape E40, une image I à décoder est subdivisée en blocs. Chaque bloc va subir une opération de décodage consistant en une suite d'étapes qui sont détaillées par la suite. Les blocs peuvent être de même taille ou de tailles différentes.
Lors d'une étape E41 , un premier bloc ou sous-bloc Xb à décoder de l'image I est sélectionné comme bloc courant selon un sens de parcours de l'image I qui est prédéterminé. Par exemple, il peut s'agir du premier bloc dans l'ordre lexicographique de parcours de l'image.
Lors d'une étape E42, une information indiquant un mode codage pour le bloc courant est lue à partir du flux de données STR. Selon le mode particulier de réalisation décrit ici, cette information indique si le bloc courant est codé selon un premier mode de codage M1 ou selon un deuxième mode de codage M2. Selon le mode particulier de réalisation décrit ici, le premier mode de codage M1 correspond au codage du bloc courant par prédiction intra classique, par exemple tel que défini selon le standard HEVC, et le deuxième mode de codage M2 correspond au codage par prédiction In Loop Residual (ILR).
Dans d'autres modes particuliers de réalisation, l'information lue à partir du flux STR peut également indiquer l'utilisation d'autres modes de codage pour coder le bloc courant (non décrits ici).
On décrit ci-après l'étape E43 de décodage du bloc courant lorsque le bloc courant est codé selon le premier mode de codage M1 .
Lors d'une étape E430, un pas de quantification ¾ est déterminé. Par exemple, le pas de quantification ¾ est déterminé à partir du paramètre de quantification QP lu lors de l'étape E401 ou de manière similaire à ce qui a été fait au codeur. Par exemple, le pas de quantification ¾ peut être calculé à l’aide du paramètre de quantification QP lu lors de l'étape E401. Par exemple, le paramètre de quantification QP peut être le paramètre de quantification utilisé classiquement dans les normes AVC ou HEVC. Ainsi, dans la norme HEVC, le pas de quantification ¾ est déterminé par l’équation 51=levelScale[ QP%6 ] « (QP/6)) où levelScale[ k ] = { 40, 45, 51 , 57, 64, 72 } pour k = 0..5. Lors d'une étape E431 , le mode de prédiction utilisé pour coder le bloc courant est décodé à partir des blocs voisins. Pour cela, comme ce qui a été fait au codeur, le mode de prédiction intra choisi pour le bloc courant est décodé, en utilisant les modes de prédiction intra associés aux blocs voisins du bloc courant.
La construction des deux listes MPM et non-MPM est strictement similaire à ce qui a été fait lors du codage. Selon le standard HEVC, des éléments de syntaxe du type suivant sont décodés :
-un indicateur binaire indiquant si le mode de prédiction à coder pour le bloc courant est dans la liste MPM ou non,
-si le mode de prédiction du bloc courant appartient à la liste MPM, un index dans la liste MPM correspondant au mode de prédiction du bloc courant codé,
- si le mode de prédiction du bloc courant n'appartient pas à la liste MPM, un index dans la liste non-MPM correspondant au mode de prédiction du bloc courant codé.
L'indicateur binaire et l'index du mode de prédiction sont donc lus pour le bloc courant à partir du flux de données STR, pour décoder le mode de prédiction intra du bloc courant.
Lors d'une étape E432, le décodeur construit un bloc prédit P pour le bloc courant à partir du mode de prédiction décodé.
Lors d'une étape E433, le décodeur décode les coefficients du bloc quantifié RTQ à partir du flux de données STR, par exemple en utilisant le décodage spécifié dans la norme HEVC. Lors d'une étape E434, le bloc décodé RTQ est dé-quantifié, par exemple à l’aide d’une dé quantification scalaire de pas de quantification Ceci produit le bloc de coefficients dé quantifiés R QD·
Lors d'une étape E435, une transformée fréquentielle inverse est appliquée au bloc de coefficients dé-quantifiés RTQD de façon à produire le bloc de résidu de prédiction décodé RTQDI. La transformée pourra être une transformée de type DCT inverse par exemple. Il est possible de choisir la transformée à utiliser dans un ensemble prédéterminé de transformées En en décodant un indicateur à partir du flux de données STR.
Lors d'une étape E436, le bloc courant est reconstruit à partir du bloc prédit P obtenu à l'étape E432 et du bloc de résidu décodé RTQDI obtenu à l'étape E435, afin de produire le bloc courant décodé Xrec, par Xrec= P + RTQDI-
On décrit ci-après l'étape E44 de décodage du bloc courant lorsque le bloc courant est codé selon le deuxième mode de codage M2.
Lors d'une étape E440, le prédicteur local PL utilisé pour prédire les pixels du bloc courant est déterminé. Dans le cas où un seul prédicteur est disponible, le prédicteur local est par exemple défini par défaut au niveau du décodeur et aucun élément de syntaxe n’a besoin d’être lu dans le flux STR pour le déterminer.
Dans le cas où plusieurs prédicteurs locaux sont disponibles, par exemple les prédicteurs PL1 -PL4 décrits plus haut, un élément de syntaxe est décodé du flux de données STR pour identifier quel prédicteur local a été utilisé pour prédire le bloc courant. Le prédicteur local est donc déterminé à partir de cet élément de syntaxe décodé.
Lors d'une étape E441 , le pas de quantification d2 est déterminé, de manière similaire à ce qui a été fait au codeur.
Lors d'une étape E442, le résidu quantifié R1 Q est décodé à partir du flux de données STR. Il est possible d’utiliser toute approche connue, telle que la méthode décrite dans HEVC pour décoder les coefficients quantifiés du résidu de prédiction classique.
Lors d'une étape E443, le bloc résidu quantifié R1 Q est dé-quantifié à l’aide du pas de quantification d2, de façon à produire le bloc de résidu dé-quantifié R1 QD.
Lors d'une étape E444, lorsque le bloc de résidu dé-quantifié R1 QD est obtenu, le bloc prédit P1 est construit à l'aide du prédicteur local PL déterminé lors de l'étape E440.
Au cours de l'étape E444, chaque pixel du bloc courant est prédit et reconstruit de la manière suivante:
-le pixel courant X du bloc courant est prédit par le prédicteur PL sélectionné, à l’aide soit des pixels extérieurs au bloc et déjà décodés, soit de pixels précédemment reconstruits du bloc courant, soit des deux, afin d’obtenir une valeur prédite PRED. Dans tous les cas, le prédicteur PL utilise des pixels précédemment décodés ;
-la valeur prédite décodée P1 (X) du pixel courant X est calculée en ajoutant à la valeur prédite PRED, la valeur dé-quantifiée du résidu de prédiction R1 QD, tel que P1 (X) = PRED + R1 QD(X).
Ces étapes sont mises en œuvre pour tous les pixels du bloc courant, dans un ordre de parcours qui assure que les pixels utilisés pour la prédiction choisie parmi PL1 ,... ,PL4 soient disponibles.
Par exemple, l’ordre de parcours est l’ordre lexicographique (de gauche à droite, puis les lignes de haut en bas).
Selon un mode particulier de réalisation de l'invention, le bloc prédit P1 comprenant les valeurs prédites décodées P1 (X) de chaque pixel du bloc courant constitue ici le bloc courant décodé Xrec.
Selon un autre mode particulier de réalisation de l'invention, on considère ici qu'un résidu de prédiction additionnel a été codé pour le bloc courant. Il est donc nécessaire de décoder ce résidu de prédiction additionnel afin de reconstruire la version décodée du bloc courant Xrec. Par exemple, cet autre mode particulier de réalisation peut être activé ou non par défaut au niveau du codeur et du décodeur. Ou bien, un indicateur peut être codé dans le flux de données avec les informations de niveau bloc pour indiquer pour chaque bloc codé selon le mode de codage ILR si un résidu de prédiction additionnel est codé. Ou bien encore un indicateur peut être codé dans le flux de données avec les informations de niveau image ou séquence d'images pour indiquer pour tous les blocs de l'image ou de la séquence d'images codés selon le mode de codage ILR si un résidu de prédiction additionnel est codé.
Lorsqu'un résidu de prédiction additionnel est codé pour le bloc courant, lors d'une étape E445, les coefficients du résidu de prédiction quantifié R2TQ sont décodés du flux de données STR, à l'aide de moyens adaptés à ceux mis en œuvre au codeur, par exemple les moyens mis en œuvre dans un décodeur HEVC.
Lors d'une étape E446, le bloc de coefficients quantifiés R2TQ est dé-quantifié, par exemple à l’aide d’une dé-quantification scalaire de pas de quantification Ceci produit le bloc de coefficients dé-quantifiés R2TQD.
Lors d'une étape E447, une transformée fréquentielle inverse est appliquée au bloc R2TQD de façon à produire le bloc de résidu de prédiction décodé R2TQDI
La transformée inverse pourra être une transformée de type DCT inverse par exemple.
Il est possible de choisir la transformée à utiliser dans un ensemble prédéterminé de transformées ET2 et de décoder l’information signalant la transformée à utiliser au décodeur. Dans ce cas, l’ensemble ET2 est différent de l’ensemble ET, afin de s’adapter aux statistiques particulières du résidu R2.
Lors d'une étape E448, le bloc courant est reconstruit en ajoutant le bloc prédit P1 obtenu lors de l'étape E444 au résidu de prédiction décodé R2TQDI·
Lors d'une étape E45, il est vérifié si le bloc courant est le dernier bloc de l'image à traiter par le procédé de décodage, compte tenu de l’ordre de parcours défini précédemment. Si le bloc courant n'est pas le dernier bloc de l'image à traiter, lors d'une étape E46, le bloc suivant de l'image à traiter est sélectionné selon le parcours de l'image défini précédemment et le procédé de décodage passe à l'étape E42, le bloc sélectionné devenant le bloc courant à traiter.
Si tous les blocs de l'image ont été décodés, le procédé passe à l'application d'au moins une méthode de post-traitement à appliquer à l'image reconstruite lors d'une étape E451 . Comme discuté plus haut, ces méthodes de post-traitement peuvent être un filtrage de deblocking et/ou une méthode SAO.
Après l'application d'au moins une méthode de post-traitement, le procédé passe au décodage (étape E47) de l'image suivante de la vidéo le cas échéant. On décrit ci-après les étapes E231 et E451 d'application d'au moins une méthode de post traitement respectivement au codeur et au décodeur selon l'invention.
Les post-traitements nécessitent généralement d’avoir accès à des données contenues dans les blocs voisins d'un bloc courant à traiter, y compris les blocs « futurs » ou non encore reconstruits selon l'ordre de parcours des blocs dans l'image utilisé au codeur et au décodeur. Les post-traitements sont donc généralement effectués en faisant une deuxième boucle complète sur tous les blocs reconstruits de l’image. Ainsi, au codeur et au décodeur, une première boucle sur l’ensemble des blocs de l’image construit une version reconstruite des blocs à partir des informations codées pour les blocs, puis une boucle de post-traitement parcourt à nouveau les blocs reconstruits afin d'améliorer leur reconstruction. Deux exemples d’amélioration sont donnés ci-dessus, le principe général de l'invention s'appliquant bien sûr à d'autres méthodes de post-traitement.
Filtrage de deblocking
Au cours de ce traitement, un filtrage dit de « deblocking » est appliqué à des blocs reconstruits de l’image. Ce filtrage consiste en général à appliquer un filtre passe-bas aux pixels qui se trouvent à la frontière d’un bloc reconstruit. Un tel filtre est décrit de manière générale dans l’article
Andrey Norkin et AL,“HEVC deblocking filtei”, IEEE Transactions on Circuits and Systems for Video Technology (Volume: 22, Issue: 12, Dec. 2012), page(s): 1746 - 1754, ,05 October 2012.
Selon un mode particulier de réalisation de l'invention, le filtrage de deblocking n’est appliqué qu’à la frontière de deux blocs reconstruits qui ont été précédemment codés par un mode de codage classique, i.e. autre que ILR.
Ce mode particulier de réalisation de l'invention est par exemple illustré sur la figure 5A montrant:
- un bloc de pixels 80 reconstruit et ayant été décodé selon le mode de codage M2
(ILR),
- un bloc de pixels 81 reconstruit et ayant été décodé selon un mode de codage M1 (non ILR), voisin du bloc 80,
- un bloc de pixels 82 reconstruit et ayant été décodé selon un mode de codage M1 (non ILR), voisin du bloc 81.
Sur la figure 5A :
- les pixels hachurés correspondent aux pixels pour lesquels l'application du filtrage de deblocking est désactivée, - les pixels remplis par des points sont des pixels qui ne sont, de par leur emplacement dans le bloc reconstruit, non concernés par le filtrage de deblocking,
- et les pixels blancs sont les pixels auxquels le filtrage de deblocking est appliqué. Ainsi, selon le mode particulier de réalisation de l'invention décrit, lorsque le bloc courant, par exemple le bloc 80, est décodé ou codé selon le mode de codage M2, l'application du filtrage de deblocking au bloc courant reconstruit est désactivée pour tous les pixels du bloc courant. Ceci est illustré en figure 5A, sur laquelle tous les pixels à la frontière du bloc 80 sont hachurés.
De plus, lorsque le bloc courant, par exemple le bloc 81 , est décodé ou codé selon un mode de codage classique ou non ILR, le filtrage de deblocking est appliqué à un pixel du bloc courant reconstruit si le pixel est situé sur une frontière du bloc courant reconstruit avec un bloc voisin et si le bloc voisin a été décodé ou codé selon un mode de codage classique, i.e. non ILR. Ceci est illustré en figure 5A, sur laquelle tous les pixels de bloc 81 situés à la frontière avec le bloc 80 sont hachurés et tous les pixels de bloc 81 situés à la frontière avec le bloc 82 sont blancs.
Selon un mode particulier de réalisation de l'invention, le filtrage de deblocking n’est appliqué qu’à la frontière de deux blocs dont au moins un des deux blocs est un bloc codé/décodé selon un mode de codage classique (par exemple M1 dans l'exemple décrit en relation avec les figures 2 et 4).
Ce mode particulier de réalisation de l'invention est par exemple illustré sur la figure 5B montrant:
- un bloc de pixels 83 reconstruit et ayant été décodé selon le mode de codage M1 (non ILR),
- un bloc de pixels 84 reconstruit et ayant été décodé selon un mode de codage M2 (ILR), voisin du bloc 83,
- un bloc de pixels 85 reconstruit et ayant été décodé selon un mode de codage M2 (ILR), voisin du bloc 84.
Sur la figure 5B :
- les pixels hachurés correspondent aux pixels pour lesquels l'application du filtrage de deblocking est désactivée,
- les pixels remplis par des points sont des pixels qui ne sont, de par leur emplacement dans le bloc, non concernés par le filtrage de deblocking,
- les pixels blancs sont les pixels auxquels le filtrage de deblocking est appliqué.
Ainsi, selon le mode particulier de réalisation de l'invention décrit, lorsque le bloc courant, par exemple le bloc 84, a été décodé ou codé selon le mode de codage M2 (ILR), l'application du filtrage de deblocking est désactivée pour un pixel du bloc courant 84 reconstruit si le pixel est situé sur une frontière du bloc courant 84 reconstruit avec un bloc voisin et si ledit bloc voisin a été décodé ou codé selon le mode de codage M2 (ILR). Ceci est illustré en figure 5B sur laquelle tous les pixels du bloc 84 situés à la frontière avec le bloc 85 sont hachurés.
De plus, selon ce mode particulier de réalisation de l'invention, le filtrage de deblocking est appliqué à un pixel du bloc courant (84) reconstruit, si le pixel est situé sur une frontière du bloc courant reconstruit avec un bloc voisin et si le bloc voisin a été décodé ou codé selon un mode de codage distinct du mode de codage M2. Ceci est illustré en figure 5B sur laquelle tous les pixels du bloc 84 situés à la frontière avec le bloc 83 sont blancs.
Traitement S AO
Classiquement, le traitement SAO s'applique à tous les pixels d'un bloc reconstruit. Un tel traitement SAO consiste à décaler la valeur décodée de chaque pixel du bloc d’une valeur transmise explicitement au décodeur, en fonction de l’environnement dudit pixel. Le traitement SAO est décrit dans Chih-Ming Fu, Elena Alshina, Alexander Alshin, Yu-Wen Huang, Ching-Yeh Chen, and Chia-Yang Tsai, Chih-Wei Hsu, Shaw-Min Lei, Jeong-Hoon Park, and Woo-Jin Han, “Sample Adaptive Offset in the HEVC Standard’ IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY, VOL. 22, NO. 12, DECEMBER 2012, 1755.
Selon un mode particulier de réalisation de l'invention, le traitement SAO est appliqué uniquement sur les blocs reconstruits qui ont été codés par un mode de codage classique, i.e. non ILR. Autrement dit, lorsque le bloc courant est décodé ou codé selon le mode de codage ILR (M2 dans les exemples décrits précédemment), l'application de la méthode SAO au bloc courant reconstruit est désactivée pour tous les pixels du bloc courant reconstruit.
La figure 6 présente la structure simplifiée d’un dispositif de codage COD adapté pour mettre en œuvre le procédé de codage selon l'un quelconque des modes particuliers de réalisation de l'invention.
Selon un mode particulier de réalisation de l'invention, les étapes du procédé de codage sont mises en œuvre par des instructions de programme d'ordinateur. Pour cela, le dispositif de codage COD a l'architecture classique d'un ordinateur et comprend notamment une mémoire MEM, une unité de traitement UT, équipée par exemple d'un processeur PROC, et pilotée par le programme d'ordinateur PG stocké en mémoire MEM. Le programme d'ordinateur PG comprend des instructions pour mettre en œuvre les étapes du procédé de codage tel que décrit ci-dessus, lorsque le programme est exécuté par le processeur PROC. A l'initialisation, les instructions de code du programme d'ordinateur PG sont par exemple chargées dans une mémoire RAM (non représentée) avant d'être exécutées par le processeur PROC. Le processeur PROC de l'unité de traitement UT met notamment en oeuvre les étapes du procédé de codage décrit ci-dessus, selon les instructions du programme d'ordinateur PG.
La figure 7 présente la structure simplifiée d’un dispositif de décodage DEC adapté pour mettre en oeuvre le procédé de décodage selon l'un quelconque des modes particuliers de réalisation de l'invention.
Selon un mode particulier de réalisation de l'invention, le dispositif de décodage DEC a l'architecture classique d'un ordinateur et comprend notamment une mémoire MEMO, une unité de traitement UTO, équipée par exemple d'un processeur PROCO, et pilotée par le programme d'ordinateur PGO stocké en mémoire MEMO. Le programme d'ordinateur PGO comprend des instructions pour mettre en oeuvre les étapes du procédé de décodage tel que décrit ci-dessus, lorsque le programme est exécuté par le processeur PROCO.
A l'initialisation, les instructions de code du programme d'ordinateur PGO sont par exemple chargées dans une mémoire RAM (non représentée) avant d'être exécutées par le processeur PROCO. Le processeur PROCO de l'unité de traitement UTO met notamment en oeuvre les étapes du procédé de décodage décrit ci-dessus, selon les instructions du programme d'ordinateur PGO.

Claims

Revendications
1. Procédé de décodage d'un flux de données codées représentatif d'au moins une image, ladite image étant découpée en blocs, le procédé de décodage comprend, pour au moins un bloc de l'image, dit bloc courant:
- le décodage (E42) d'une information indiquant un mode de codage du bloc courant parmi au moins un premier mode de codage et un deuxième mode de codage, le deuxième mode de codage étant un mode de codage selon lequel le bloc courant est décodé (E44) via, pour chaque pixel du bloc courant:
- l'obtention d'une prédiction dudit pixel à partir d'un autre pixel précédemment décodé, ledit autre pixel précédemment décodé appartenant audit bloc courant ou à un bloc de l'image précédemment décodé,
- le décodage d'un résidu de prédiction associé audit pixel,
- la reconstruction dudit pixel à partir de la prédiction dudit pixel obtenue et du résidu de prédiction décodé associé audit pixel,
- le décodage (E44, E43) du bloc courant selon le mode de codage indiqué par l'information décodée,
- lorsque le mode de codage du bloc courant correspond à un mode de codage distinct du deuxième mode de codage, l'application d'au moins une méthode de traitement au bloc courant reconstruit,
- lorsque le mode de codage du bloc courant correspond au deuxième mode de codage, la désactivation de l'application de ladite au moins une méthode de traitement au bloc courant reconstruit pour au moins un pixel dudit bloc courant.
2. Procédé de codage d'un flux de données représentatif d'au moins une image, ladite image étant découpée en blocs, le procédé de codage comprend, pour au moins un bloc de l'image, dit bloc courant:
- le codage (E20) d'une information indiquant un mode de codage du bloc courant parmi au moins un premier mode de codage et un deuxième mode de codage, le deuxième mode de codage étant un mode de codage selon lequel le bloc courant est codé (E22) via, pour chaque pixel du bloc courant:
- l'obtention (E222) d'une prédiction dudit pixel à partir d'un autre pixel précédemment décodé, ledit autre pixel précédemment décodé appartenant audit bloc courant ou à un bloc de l'image précédemment décodé, - le codage (E223) d'un résidu de prédiction associé audit pixel obtenu à partir de la prédiction dudit pixel,
- la reconstruction dudit pixel à partir du résidu de prédiction décodé associé audit pixel et de la prédiction dudit pixel,
- le codage (E21 , E22) du bloc courant selon le mode de codage indiqué par l'information codée,
- lorsque le mode de codage du bloc courant correspond à un mode de codage distinct du deuxième mode de codage, l'application d'au moins une méthode de traitement au bloc courant reconstruit,
- lorsque le mode de codage du bloc courant correspond au deuxième mode de codage, la désactivation de l'application de ladite au moins une méthode de traitement au bloc courant reconstruit pour au moins un pixel dudit bloc courant.
3. Procédé selon l'une quelconque des revendications 1 ou 2, dans lequel ladite méthode de traitement est un filtrage de déblocage appliqué aux pixels du bloc courant reconstruit qui sont situés à la frontière du bloc courant reconstruit avec un bloc voisin reconstruit dans l'image.
4. Procédé selon la revendication 3, dans lequel:
- lorsque le bloc courant est décodé ou codé selon le deuxième mode de codage:
- l'application du filtrage de déblocage au bloc courant reconstruit est désactivée pour tous les pixels du bloc courant reconstruit,
- lorsque le bloc courant est décodé ou codé selon un mode de codage distinct du deuxième mode de codage:
- le filtrage de déblocage est appliqué à un pixel du bloc courant reconstruit si ledit pixel est situé sur une frontière dudit bloc courant reconstruit avec un bloc reconstruit voisin dans l’image et si ledit bloc voisin est décodé ou codé selon un mode de codage distinct du deuxième mode de codage.
5. Procédé selon la revendication 3, dans lequel:
- lorsque le bloc courant est décodé ou codé selon le deuxième mode de codage:
- l'application du filtrage de déblocage au bloc courant reconstruit est désactivée pour un pixel du bloc courant reconstruit si ledit pixel est situé sur une frontière dudit bloc courant reconstruit avec un bloc voisin dans l’image et si ledit bloc voisin est décodé ou codé selon le deuxième mode de codage, et
- le filtrage de déblocage est appliqué à un pixel du bloc courant reconstruit, si ledit pixel est situé sur une frontière dudit bloc courant reconstruit avec un bloc voisin reconstruit dans l’image et si ledit bloc voisin est décodé ou codé selon un mode de codage distinct du deuxième mode de codage.
6. Procédé selon l'une quelconque des revendications 1 ou 2, dans lequel ladite méthode de traitement est une méthode de correction d'au moins un pixel du bloc courant reconstruit par ajout à la valeur reconstruite dudit pixel d’une valeur obtenue à partir d'une information codée dans le flux de données ou décodée depuis le flux de données.
7. Procédé selon la revendication 6, dans lequel, lorsque le bloc courant est décodé ou codé selon le deuxième mode de codage, l'application de ladite méthode de correction au bloc courant reconstruit est désactivée pour tous les pixels du bloc courant reconstruit.
8. Dispositif de décodage d'un flux de données codées représentatif d'au moins une image, ladite image étant découpée en blocs, le dispositif de décodage comprend un processeur (PROCO) configuré pour, pour au moins un bloc de l'image, dit bloc courant:
- décoder une information indiquant un mode de codage du bloc courant parmi au moins un premier mode de codage et un deuxième mode de codage, le deuxième mode de codage étant un mode de codage selon lequel le bloc courant est décodé via, pour chaque pixel du bloc courant:
- l'obtention d'une prédiction dudit pixel à partir d'un autre pixel précédemment décodé, ledit autre pixel précédemment décodé appartenant audit bloc courant ou à un bloc de l'image précédemment décodé,
- le décodage d'un résidu de prédiction associé audit pixel,
- la reconstruction dudit pixel à partir de la prédiction dudit pixel obtenue et du résidu de prédiction décodé associé audit pixel,
- décoder le bloc courant selon le mode de codage indiqué par l'information décodée,
- lorsque le mode de codage du bloc courant correspond à un mode de codage distinct du deuxième mode de codage, appliquer au moins une méthode de traitement au bloc courant reconstruit,
- lorsque le mode de codage du bloc courant correspond au deuxième mode de codage, désactiver l'application de ladite au moins une méthode de traitement au bloc courant reconstruit pour au moins un pixel dudit bloc courant.
9. Dispositif de codage d'un flux de données représentatif d'au moins une image, ladite image étant découpée en blocs, le dispositif de codage comprend un processeur (PROC) configuré pour, pour au moins un bloc de l'image, dit bloc courant: - coder une information indiquant un mode de codage du bloc courant parmi au moins un premier mode de codage et un deuxième mode de codage, le deuxième mode de codage étant un mode de codage selon lequel le bloc courant est codé via, pour chaque pixel du bloc courant:
- l'obtention (E222) d'une prédiction dudit pixel à partir d'un autre pixel précédemment décodé, ledit autre pixel précédemment décodé appartenant audit bloc courant ou à un bloc de l'image précédemment décodé,
- le codage (E223) d'un résidu de prédiction associé audit pixel obtenu à partir de la prédiction dudit pixel,
- la reconstruction dudit pixel à partir du résidu de prédiction décodé associé audit pixel et de la prédiction dudit pixel,
- coder le bloc courant selon le mode de codage indiqué par l'information codée,
- lorsque le mode de codage du bloc courant correspond à un mode de codage distinct du deuxième mode de codage, appliquer au moins une méthode de traitement au bloc courant reconstruit,
- lorsque le mode de codage du bloc courant correspond au deuxième mode de codage, désactiver l'application de ladite au moins une méthode de traitement au bloc courant reconstruit pour au moins un pixel dudit bloc courant.
10. Programme d'ordinateur comportant des instructions pour la mise en œuvre du procédé de décodage selon l’une quelconque des revendications 1 ou 3 à 7 ou du procédé de codage selon l'une quelconque des revendications 2 à 7, lorsque ledit programme est exécuté par un processeur.
1 1. Support d'informations lisible par un ordinateur, et comportant des instructions d'un programme d'ordinateur selon la revendication 10.
EP19783583.8A 2018-09-21 2019-09-03 Procédés et dispositifs de codage et de décodage d'un flux de données représentatif d'au moins une image Pending EP3854085A1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1858573A FR3086487A1 (fr) 2018-09-21 2018-09-21 Procedes et dispositifs de codage et de decodage d'un flux de donnees representatif d'au moins une image.
PCT/FR2019/052029 WO2020058595A1 (fr) 2018-09-21 2019-09-03 Procédés et dispositifs de codage et de décodage d'un flux de données représentatif d'au moins une image

Publications (1)

Publication Number Publication Date
EP3854085A1 true EP3854085A1 (fr) 2021-07-28

Family

ID=65494291

Family Applications (1)

Application Number Title Priority Date Filing Date
EP19783583.8A Pending EP3854085A1 (fr) 2018-09-21 2019-09-03 Procédés et dispositifs de codage et de décodage d'un flux de données représentatif d'au moins une image

Country Status (8)

Country Link
US (2) US11516465B2 (fr)
EP (1) EP3854085A1 (fr)
JP (2) JP7487185B2 (fr)
KR (1) KR20210062048A (fr)
CN (2) CN112740690B (fr)
BR (1) BR112021003486A2 (fr)
FR (1) FR3086487A1 (fr)
WO (1) WO2020058595A1 (fr)

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012134046A2 (fr) * 2011-04-01 2012-10-04 주식회사 아이벡스피티홀딩스 Procédé de codage vidéo
US9338476B2 (en) 2011-05-12 2016-05-10 Qualcomm Incorporated Filtering blockiness artifacts for video coding
US9510020B2 (en) * 2011-10-20 2016-11-29 Qualcomm Incorporated Intra pulse code modulation (IPCM) and lossless coding mode deblocking for video coding
US9253508B2 (en) 2011-11-04 2016-02-02 Futurewei Technologies, Inc. Differential pulse code modulation intra prediction for high efficiency video coding
WO2015054811A1 (fr) * 2013-10-14 2015-04-23 Microsoft Corporation Fonctions de mode de prédiction de copie intrabloc pour codage et décodage vidéo et d'image
FR3012714A1 (fr) * 2013-10-25 2015-05-01 Orange Procede de codage et de decodage d'images, dispositif de codage et de decodage d'images et programmes d'ordinateur correspondants
AU2014202921B2 (en) * 2014-05-29 2017-02-02 Canon Kabushiki Kaisha Method, apparatus and system for de-blocking a block of video samples
US9924175B2 (en) * 2014-06-11 2018-03-20 Qualcomm Incorporated Determining application of deblocking filtering to palette coded blocks in video coding
US10924744B2 (en) * 2017-11-17 2021-02-16 Intel Corporation Selective coding
US11470329B2 (en) 2018-12-26 2022-10-11 Tencent America LLC Method and apparatus for video coding

Also Published As

Publication number Publication date
CN112740690A (zh) 2021-04-30
BR112021003486A2 (pt) 2021-05-18
US11516465B2 (en) 2022-11-29
JP7487185B2 (ja) 2024-05-20
KR20210062048A (ko) 2021-05-28
US20230050410A1 (en) 2023-02-16
JP2022501910A (ja) 2022-01-06
US11962761B2 (en) 2024-04-16
WO2020058595A1 (fr) 2020-03-26
FR3086487A1 (fr) 2020-03-27
JP2024092045A (ja) 2024-07-05
US20210352272A1 (en) 2021-11-11
CN118175323A (zh) 2024-06-11
CN112740690B (zh) 2024-04-09

Similar Documents

Publication Publication Date Title
EP2991351B1 (fr) Procédé de décodage d&#39;images
EP2777269B1 (fr) Procédé de codage et décodage d&#39;images, dispositif de codage et décodage et programmes d&#39;ordinateur correspondants
FR2947134A1 (fr) Procedes de codage et de decodages d&#39;images, dispositifs de codage et de decodage, flux de donnees et programme d&#39;ordinateur correspondants.
WO2015059400A1 (fr) Procédé de codage et de décodage d&#39;images, dispositif de codage et de décodage d&#39;images et programmes d&#39;ordinateur correspondants
EP3075155B1 (fr) Procédé de codage et de décodage d&#39;images, dispositif de codage et de décodage d&#39;images et programmes d&#39;ordinateur correspondants
CN110290384A (zh) 图像滤波方法、装置及视频编解码器
EP3180914B1 (fr) Procédé de codage et de décodage d&#39;images, dispositif de codage et de décodage d&#39;images et programmes d&#39;ordinateur correspondants
EP3854090A1 (fr) Procédés et dispositifs de codage et de décodage d&#39;un flux de données représentatif d&#39;au moins une image
EP3815369B1 (fr) Procédés et dispositifs de codage et de décodage d&#39;un flux de données représentatif d&#39;au moins une image
EP3854085A1 (fr) Procédés et dispositifs de codage et de décodage d&#39;un flux de données représentatif d&#39;au moins une image
WO2020002795A1 (fr) Procédés et dispositifs de codage et de décodage d&#39;un flux de données représentatif d&#39;au moins une image
EP3922017A1 (fr) Procédés et dispositifs de codage et de décodage d&#39;un flux de données représentatif d&#39;au moins une image
WO2020058593A1 (fr) Procédés et dispositifs de codage et de décodage d&#39;un flux de données représentatif d&#39;au moins une image
FR2957744A1 (fr) Procede de traitement d&#39;une sequence video et dispositif associe
EP3596923A1 (fr) Procédé de codage et décodage d&#39;images, dispositif de codage et décodage et programmes d&#39;ordinateur correspondants
FR3098070A1 (fr) Procédé d’encodage et de décodage vidéo par signalisation d’un sous-ensemble de candidat
FR2956552A1 (fr) Procede de codage ou de decodage d&#39;une sequence video, dispositifs associes

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20210216

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20240626