EP3398330A1 - Procédé de codage d'une image numérique, procédé de décodage, dispositifs, terminal d'utilisateur et programmes d'ordinateurs associés - Google Patents

Procédé de codage d'une image numérique, procédé de décodage, dispositifs, terminal d'utilisateur et programmes d'ordinateurs associés

Info

Publication number
EP3398330A1
EP3398330A1 EP16829261.3A EP16829261A EP3398330A1 EP 3398330 A1 EP3398330 A1 EP 3398330A1 EP 16829261 A EP16829261 A EP 16829261A EP 3398330 A1 EP3398330 A1 EP 3398330A1
Authority
EP
European Patent Office
Prior art keywords
sequence
elements
current
predicted
values
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP16829261.3A
Other languages
German (de)
English (en)
Inventor
Félix Henry
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
B Com SAS
Original Assignee
B Com SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by B Com SAS filed Critical B Com SAS
Publication of EP3398330A1 publication Critical patent/EP3398330A1/fr
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H04N19/64—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission
    • H04N19/647—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission using significance based coding, e.g. Embedded Zerotrees of Wavelets [EZW] or Set Partitioning in Hierarchical Trees [SPIHT]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/39—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability involving multiple description coding [MDC], i.e. with separate layers being structured as independently decodable descriptions of input picture data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H04N19/619—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding the transform being operated outside the prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process

Definitions

  • the field of the invention is that of signal compression, in particular of a digital image or of a sequence of digital images, in which a prediction of a portion of the signal to be encoded is made from a portion of the already coded signal.
  • the encoding / decoding of digital images applies in particular to images from at least one video sequence comprising:
  • the present invention applies similarly to the coding / decoding of 2D or 3D type images.
  • the invention may especially, but not exclusively, apply to video coding implemented in current AVC and HEVC video encoders and their extensions (MVC, 3D-AVC, MV-HEVC, 3D-HEVC, etc.), and to corresponding decoding.
  • the invention can also be applied to audio coding, for example implemented in current audio encoders (EVS, OPUS, MPEG-H, etc.) and their extensions and the corresponding decoding. 2. Presentation of the prior art
  • a current block to be coded is predicted from a previously coded decoded block.
  • a residual block is obtained by subtracting the original values from the predicted values. It is then transformed using a type of transformation DCT (for "Discrete Cosine Transform" in English) or wavelets.
  • DCT Discrete Cosine Transform
  • the transformed coefficients are quantized and then their amplitudes are subjected to an entropic coding of the Huffmann type or arithmetic.
  • Such coding obtains effective performances because, because of the transformation, the values of the amplitudes to be coded are for the most part zero.
  • the signs of the coefficients are coded by a bit 0 or 1.
  • An advantage of such a selection is to predict the value of a sign with a correct prediction probability greater than 50%, thus to allow the application of entropic coding to the values of the prediction indicators.
  • This entropic coding encodes the sign information with an average bit rate less than one bit per sign, and thus makes it possible to increase the compression ratio.
  • a disadvantage of this technique is that by predicting globally all the selected signs, each sign is influenced by the value of others, and the prediction is degraded.
  • the invention particularly aims to overcome these disadvantages of the prior art.
  • an object of the invention is to propose a solution that more effectively selects the signs to be predicted.
  • Another objective of the invention is to propose a solution that is more efficient in compression.
  • Yet another object of the invention is to propose a solution that applies to any type of description element of a block of pixels used for coding a digital image.
  • a method of coding a digital image said image being divided into a plurality of blocks of pixels processed in a defined order, said method comprising the following steps, implemented for a current block
  • the step of encoding the elements of the sequence comprises a traversal of the elements of the sequence and comprises, for a current element, the following sub-steps:
  • the invention is based on an entirely new and inventive approach which consists in ordering the elements of description to be predicted according to an associated score and in predicting each element of the sequence based on the best combination of predictions of the values of the elements of the ordered sequence, according to a predetermined cost criterion.
  • the current element benefits from an individualized treatment that exploits the knowledge of the real values of the elements already processed, which makes it possible to improve the quality of the prediction of the elements as and when the processing of the sequence and thus increase the compression efficiency.
  • the scheduling step produces an initial sequence
  • the coding step takes as a current element the first element of a current sequence initialized to the initial sequence and comprises, once the first element processed current, a substep of updating the current sequence by deleting the first element.
  • the method comprises a preliminary step of calculating the costs associated with the plurality of combinations of values of the initial sequence, a step of memorizing the majority of combinations and their associated costs, and The selection step selects, for the current element, a combination of values of the initial sequence for which the previously processed elements have their real values.
  • the selection step comprises a sub-step for calculating the costs associated with the combinations of possible values of the current sequence as a function of a cost criterion which depends on the real values of the elements previously traveled. .
  • An advantage of this solution is that it is economical in memory resources, the calculation of the combinations and their associated costs being implemented on the fly for each current sequence.
  • the selection step selects a subset of description elements to be predicted according to predetermined scores, a predetermined score being representative of a level of reliability of the prediction of the element. prediction with which it is associated, and the scheduling step orders the elements to be predicted according to said scores.
  • a predetermined score being representative of a level of reliability of the prediction of the element. prediction with which it is associated
  • the scheduling step orders the elements to be predicted according to said scores.
  • the predetermined cost criterion belongs to a group comprising at least: a criterion for minimizing a distortion along a boundary of the current block with a previously processed block; a proximity criterion with a predetermined value; a criterion for minimizing an energy measurement of a difference between the current block and a prediction of the current block;
  • One advantage is that the invention makes it possible to use alternatively several cost criteria and possibly a combination of these criteria.
  • a coding device of a digital image said image being divided into a plurality of blocks of pixels processed in a defined order, said device comprising a reprogrammable calculation machine or a dedicated calculating machine adapted and configured for:
  • the coding of the elements of the sequence comprises a traversal of the elements of the sequence and, for a current element, is adapted to and configured for:
  • the invention also relates to a method of decoding a digital image from a bit stream, said image being divided into a plurality of blocks processed in a defined order, the bit stream comprising coded data representative of elements description of the blocks of the image, said method comprising the following steps, implemented for a block, called current block:
  • said method is particular in that the step of decoding the elements of the sequence comprises a path of said elements and comprises, for a current element, the following sub-steps:
  • the scheduling step produces an initial sequence
  • the decoding step takes as the current element the first element of a current sequence, initialized to the initial sequence and comprises, once the first decoded current element, a substep of updating the current sequence by deleting the first element.
  • this embodiment has the advantage of limiting the storage of calculated data and to release the memory as the processing progresses.
  • the decoding method comprises a preliminary step of calculating the costs associated with the plurality of combinations of values of the initial sequence, a step of recording the plurality of combinations and their associated costs. and the selecting step selects a combination from the recorded combinations that begin with the decoded values of the previously browsed items in the browse order.
  • this embodiment has the advantage of being resource-efficient calculations.
  • the combinations and their associated costs are calculated and memorized once and for all.
  • the selection step comprises a calculation of the costs associated with the combinations of possible values of the current sequence as a function of a cost criterion which depends on the decoded values of the elements previously traveled.
  • the method which has just been described in its different embodiments is advantageously implemented by a device for decoding a digital image from a bit stream comprising coded data representative of said image, said image being divided into a plurality of blocks processed in a defined order, the bitstream comprising coded data representative of elements describing the blocks of the image, said device comprising a reprogrammable calculation machine or a dedicated computing machine, configured for and adapted to , for a block, said current block: Identify a set of description elements of the current block from bitstream data;
  • the decoding of the elements of the initial sequence comprises at least two iterations of the following units, configured for and able to be applied to a so-called current sequence, initialized to the initial sequence:
  • SEL Cbk Selection of a combination of predicted values of the description elements of the current sequence out of a plurality of possible combinations according to a predetermined cost criterion and from the second element of previously described description values decoded from the initial sequence;
  • PRED Prediction of the first element of the sequence by its value in the selected combination
  • DEC IP Decoding of an indicator representative of a difference between the decoded value of the current element and the predicted value, from coded data extracted from the bit stream
  • the invention also relates to a signal carrying a bit stream comprising coded data representative of pixel block description elements of a digital image, said blocks of pixels being processed in a defined order.
  • the signal according to the invention is particular characterized in that said data encoded in the bit stream are obtained according to the coding method according to the invention.
  • the invention also relates to a user terminal comprising a device for coding a digital image and a device for decoding a digital image. according to the invention.
  • the invention also relates to a computer program comprising instructions for implementing the steps of a method of encoding a digital image as described above, when this program is executed by a processor.
  • the invention also relates to a computer program comprising instructions for implementing the steps of a method of decoding a digital image as described above, when this program is executed by a processor.
  • These programs can use any programming language. They can be downloaded from a communication network and / or recorded on a computer-readable medium.
  • the invention finally relates to recording media, readable by a processor, integrated or not to the coding device of a digital image and to the decoding device of a digital image according to the invention, optionally removable, memorizing respectively a computer program implementing an encoding method and a computer program implementing a decoding method, as described above.
  • FIG. 1 schematically illustrates a sequence of digital images to be encoded and the division into blocks of these images according to the prior art
  • FIG. 2 schematically shows the steps of a coding method of a digital image according to the invention
  • FIG. 3 details the processing step of a block implemented in the coding method according to the invention
  • Figure 4 schematically shows a decoded current block of a decoded digital image
  • FIG. 5 schematically shows the steps of a method of decoding a digital image according to a first embodiment of the invention
  • FIG. 6 shows an example of a simplified structure of a device for coding a digital image and a device for decoding a digital image according to one embodiment of the invention.
  • the general principle of the invention is based on an individual and successive processing of description elements of an ordered sequence of description elements to be predicted. For an element of this sequence, the invention selects the best combination of values of the ordered sequence according to a predetermined cost criterion and as a function of the real / decoded values of the elements already processed and on the prediction of the current element of this sequence. by its value in this combination.
  • an original video consisting of a sequence of M images II, 12,... IM, with M nonzero integer is considered.
  • the images are encoded by an encoder, the encoded data is inserted a bit stream TB transmitted to a decoder via a communication network, or a compressed file FC, intended to be stored on a hard disk for example.
  • the decoder extracts the coded data, then received and decoded by a decoder in a predefined order known from the encoder and the decoder, for example in temporal order II, then 12, then IM, this order being able to differ according to the mode of the decoder. production.
  • each block C will undergo an encoding or decoding operation consisting of a series of operations, including in a non-exhaustive manner a prediction, a residual calculation of the current block, a transformation of the pixels of the current block into coefficients, a quantization of the coefficients and entropy coding of the quantized coefficients. This sequence of operations will be detailed later.
  • the first block to be treated is selected as the current block C.
  • this is the first block (in lexicographic order).
  • This block has NxN pixels.
  • a current block C is processed by implementing an encoding scheme, for example as specified in the HEVC standard, in the document "ISO / IEC 23008-2: 2013 - High efficiency coding and media delivery in heterogeneous environments - Part 2: High efficiency video coding, "International Organization for Standardization, published November 2013.
  • This processing step is intended to provide a set of elements E for describing the data to be coded for the current block C.
  • These description elements may be of various types. Non-exhaustively, they include: information relating to coding choices of the current block C, for example a coding mode of the current block, such as the INTRA, INTER or SKIP mode, a prediction mode of the current block, among the 35 prediction modes of an INTRA block, a prediction mode of an estimated motion vector for the current block, or the significance of an amplitude of a coefficient, known per se in HEVC; the data values to be encoded, such as the components of a motion vector, the amplitude or the sign of a coefficient; etc.
  • a coding mode of the current block such as the INTRA, INTER or SKIP mode
  • a prediction mode of the current block among the 35 prediction modes of an INTRA block, a prediction mode of an estimated motion vector for the current block, or the significance of an amplitude of a coefficient, known per se in HEVC
  • the decoded current image is designated by ID. Note that in a video encoder, the ID image is (re) constructed in the encoder so that it can be used to predict the other pixels in the image sequence.
  • a prediction P of the original block C is determined. It is a prediction block constructed by known means, typically by motion compensation (block from a previously decoded reference image ) in the case of a so-called INTER prediction, or INTRA prediction (block constructed from the decoded pixels immediately adjacent to the current block in the ID image).
  • the prediction information related to P is encoded in the bit stream TB or compressed file FC. It is assumed here that there are K prediction modes possible Mi, M2, ..., M K , with K nonzero integer, and that the prediction mode chosen for the block C is the Mk mode.
  • the residue R is transformed into a block transformed residue, called
  • RT by a DCT transform or transformed into wavelets, both known to those skilled in the art and in particular implemented in the JPEG standards for the DCT and JPEG2000 for the wavelet transform.
  • the transformed residue RT is quantized by conventional quantization means, for example scalar or vector, into a quantized residue block RQ.
  • This quantized block RQ contains NxN coefficients. As known in the state of the art, these coefficients are scanned in a predetermined order so as to constitute a one-dimensional vector RQ [i], where the index i varies from 0 to N 2 -1. The index i is called the frequency of the coefficient RQ [i].
  • these coefficients are scanned in increasing frequency order, for example along a zigzag path, which is known from the JPEG fixed image coding standard.
  • the amplitude information of the coefficients of the residual block RQ is encoded by entropy coding, for example according to a Huffman coding or arithmetic coding technique.
  • amplitude is meant here the absolute value of the coefficient.
  • Amplitude coding means are for example described in the HEVC standard and in the article by Sole et al, entitled “Transform Coefficient Coding in HEVC", published in the journal IEEE Transactions on Circuits and Systems for Video Technology, Volume 22, Issue: 12, pp. 1765 - 1777, December 2012.
  • CA amplitudes are obtained.
  • step E1 for the current block C, there is thus a set E of data description elements to be encoded, among which are the quantized transformed residual coefficients RQ [i], the signs of these coefficients, the prediction mode Mk etc.
  • a subset SE of this set comprising the description elements to be predicted EP for the block C. For example, a predetermined number of elements is selected. to predict according to their amplitude and the size of the current block.
  • description elements of a particular type for example signs of transformed and quantized coefficients of the current block RQ, are considered.
  • the invention is not limited to this type of element and applies to any other description element of the current block. Other examples will be presented below.
  • a first substep E2 we begin by defining an initial subset SEI description elements to predict. For example, these are all the signs of the quantized transformed residual coefficients RQ [i] that are non-zero of the current block.
  • a context Cx associated with each coefficient among a plurality J of predetermined contexts with J nonzero integer and j integer between 1 and J.
  • Such a context is defined by at least one characteristic of the coefficient or block from which it is derived.
  • the size of the quantized residue block RQ is considered: the size of the quantized residue block RQ,
  • the prediction of the sign is all the more reliable as the amplitude is high. Similarly, it was found that when the block is larger in size, the frequency of the coefficient lower, the prediction is more reliable. Finally, it has been found that the prediction is more reliable when the current block is associated with intra prediction of a certain type.
  • the type of image in which the current block is located for example of the Intra or Inter type, known from the HEVC standard, as a function of the energy of the predictor P, or depending on the total number of non-zero coefficients in the current block.
  • Such a score Sj is representative of a reliability level of the prediction of the sign of the coefficient RQ [i].
  • the score S takes values in a predetermined set, for example from 0 to 10.
  • the score is a simple binary indication, one of which indicates that the sign can be predicted, and the other that the sign can not be predicted.
  • the scores S correspond to probabilities known a priori, dependent on the context Cxj associated with the coefficient RQ [i]. We have, in the encoder, a set of probabilities of correct detection of the signs of the coefficients RQ. For example, this set of probabilities is stored in memory.
  • the signs to be predicted are selected by thresholding the scores with which they are associated.
  • the sign is predicted if and only if Sj > Th, where Th is a predetermined threshold, for example equal to 0.7.
  • Th is known from the encoder and the decoder.
  • the threshold Th may be chosen during encoding and written in the compressed file or in the bit stream comprising the coded data representative of the digital image Im. For example, if the unit that performs the encoding does not have enough computing resources at a given time, it is possible to increase this threshold Th so as to predict fewer signs, and therefore implement fewer calculations.
  • the threshold Th it would also be possible to vary the threshold Th according to the content of the images to be encoded: an image containing a lot of content, such as large variations in brightness or large movements would use a high threshold, and an image with little content such as that low luminosity variations or few movements, would use a lower threshold Th, so as to smooth the complexity or the memory necessary for the coding of each image.
  • the signs of the selected coefficients RQ [i] are all associated with a context Cxj and a score Sj greater than the predetermined threshold Th and form a set SE of description EP elements to be predicted.
  • the ENP description elements that do not belong to the selected subset SE are conventionally encoded. This step implements coding techniques known to those skilled in the art.
  • the description elements EP are ordered. This order can be predefined, and for example correspond to the scan order of the signs as defined in the HEVC standard. Preferably, they are ordered according to their associated score. For example, if the score used is representative of a probability of correct prediction, the elements are ordered by decreasing score.
  • this step E5 comprises the following substeps:
  • the following steps form an iterative loop that will be repeated several times, depending on the number M of description elements to be predicted selected in the sequence Seq c .
  • a description element is likely to take at least two values.
  • a sign may be + or -.
  • step E52 the various possibilities or hypotheses of combinations of values of the sequence Seq c of elements to be predicted are evaluated using an evaluation function FE or a predetermined cost criterion. .
  • K hypotheses or possible combinations with K nonzero integer.
  • the hypothesis is ⁇ -, +, -, -, ..., + ⁇ and the resulting cost is 4240.
  • the evaluation function must ensure that a minimal cost is generated when the hypothesis of signs is the more likely.
  • an evaluation function which consists of measuring the distortion along left borders FG and upper FS of the current block with previously processed blocks.
  • a decoded image ID and a virtual decoded block DVs of size NxN pixels of this image are represented with the combination of signs whose cost is to be measured, where DVs (lin, col) is the pixel value of the DVs block located on the lin line and the column col of the block.
  • 5M (3, C) ((C (O, a) - 3 (Zin - 1, col + of + ((C (a, O) - 3 (Zin + a, col - 1)) 2 with C ( i, j) the value of the coefficients in the virtual decoded block DVs, with i, j integers between O and N-1.
  • FIG. 4 shows the pixels located along the left border FG whose values are from bottom to top yi to y4 and located the pixels situated along the upper boundary FS of the virtual decoded block DVs whose values are from left to right y 4 to y7, as well as the pixels Xi to x 4 and x 4 to X8 respectively located on the other side of the boundaries FG and FS.
  • Apply this operator returns to form the sum of (xi-yi) 2+ (x2-y2) 2 + (x3-y3) 2 + (x 4 y 4) 2 + (XS y 4) 2 + (x6-ys ) 2 + (x7-ye) 2 + (xs-y?) 2 .
  • the optimal virtual decoded block DVopt is determined which minimizes this measurement:
  • DV opt argmin SM DV (lD, DV s ) where ID represents the reconstructed image after decoding.
  • ID represents the reconstructed image after decoding.
  • the likelihood criterion used is the minimization of the error with the predictor P. This consists in selecting the virtual decoded block which minimizes the error with the predictor P.
  • the virtual residue associated with the optimal virtual decoded block is thus identified.
  • cost criteria such as, for example, a criterion for minimizing a measurement of distance / proximity to a predetermined value, for example a mean or the minimization of the energy of the residual block.
  • each coefficient of the current residual block its real sign (if it is a coefficient whose sign is not predicted), or the sign hypothesis (if it is a coefficient whose sign is to be predicted).
  • the virtual decoded block obtained DV is used to calculate the cost CT k associated with the combination CB k evaluated.
  • CTo FE ( ⁇ +, +, + ⁇ )
  • CTl FE ( ⁇ +, +, - ⁇ )
  • CT2 FE ( ⁇ +, -, + ⁇ )
  • CT3 FE ( ⁇ +, -, - ⁇ )
  • CT4 FE ( ⁇ -, +, + ⁇ )
  • CT5 FE ( ⁇ -, +, - ⁇ )
  • CT6 FE ( ⁇ -, -, + ⁇ )
  • CT7 FE ( ⁇ -, -, - ⁇ )
  • the first element of the current sequence Seqc is predicted by the value it takes in the combination Ck 2 . In this example, this value is +.
  • the corresponding IP prediction indicator is calculated. To do this, we compare the predicted value of sO with its real value.
  • the IP indicator indicates whether the predicted sign is equal to or different from the real sign. For example, it is 0 if the predicted and real signs are equal, 1 otherwise. In this case, the predicted value is a +, the real value a -, so the IP indicator of the first sign EDO is set to 1.
  • the IP indicator obtained is coded.
  • a known entropy coding technique is used, such as for example a Huffman coding, arithmetic coding or CABAC coding used in the HEVC standard.
  • a coded value of the prediction indicator is obtained.
  • the prediction indicator since only the description elements which are associated with a representative score of a sufficient level of reliability are predicted, the prediction indicator more often takes the value 1 than the value 0. This is set to profit by entropic coding to reduce the size of the compressed signal.
  • the entropy coding takes into account the score S associated with the predicted sign to code the IP indicator.
  • the score has a value between 0 (low reliability of the prediction) and 10 (high reliability of the prediction)
  • the entropic coding of the indicators is parameterized taking into account the score, so as to exploit the more or less uniform distribution of the indicators.
  • CABAC-type entrapic coding known from the HEVC standard, is used by initializing the probabilities used in CABAC based on the predetermined scores.
  • step E5 we test if the first sign EDo is the last of the sequence. If this is the case, the processing of step E5 is finite because the sequence comprises only one element. Otherwise, we update the current sequence Seq c E5 7 , removing the first EDo element that has just been processed. The second element EDi of the initial sequence thus becomes prime and the first iteration has been completed.
  • step E52 two embodiments of step E52 are envisaged:
  • the combinations calculated for the initial sequence, already exploited for the first iteration, are reused. It is assumed that they have been saved in a memory.
  • K combinations of the first iteration we eliminate those for which So does not have its real value.
  • CT4 to CT7 we keep only the 4 combinations CT4 to CT7 for which So is - and their associated costs:
  • CT 4 FE ( ⁇ -, +, + ⁇ )
  • CT 5 FE ( ⁇ -, +, - ⁇ )
  • CT 5 FE ( ⁇ -, -, + ⁇ )
  • CT 7 FE ( ⁇ -, -, - ⁇ )
  • the costs associated with the combinations of the new current sequence are recalculated.
  • K 2 2 possible combinations.
  • the four possible combinations are evaluated using an evaluation function that may be different from that implemented at the first iteration. For example, a measurement of the energy of the coefficients of the decoded virtual residue block DVs is used and the combination which minimizes this measurement is chosen. This evaluation function is more precise, but also more complex to calculate and therefore better adapted to shorter sequences.
  • the new current sequence only includes the sign S 2 .
  • the third and last iteration is performed in a similar manner.
  • the corresponding IP prediction indicator is calculated. Since the real value of S 2 is equal to +, the IP indicator indicates a correct prediction and is equal to 0.
  • the iterations of the step E5 apply to the first element of the sequence, which is updated by deleting the first element once treated.
  • This embodiment has the advantage of reducing at each iteration the length of the current sequence to be processed.
  • the invention is not limited to this choice of implementation.
  • the initial sequence can be preserved and the index of the current element can be progressed with each new iteration of step E5.
  • the option of previously calculating the costs associated with all combinations of possible values of the initial sequence and to memorize them, is the most suitable.
  • the decoded block is constructed by applying to the quantized residue RQ the dequantization and inverse transform steps (known per se).
  • a decoded residue block RD is obtained.
  • the predictor block P is added to RD to obtain the decoded block BD.
  • the decoded block BD is also added to the reconstructed image ID. This makes it possible to have in the encoder a decoded version of the current image. This decoded version is used in particular during the step of constructing a prediction of the signs selected to be predicted.
  • description elements are selected to predict a type other than the signs.
  • the description element M indicative of the INTRA / INTER prediction mode is considered (in the HEVC standard, such a description element is called “pred_mode_flag")
  • the description element A indicative of the amplitude of the first quantized residual coefficient for the current block in the HEVC standard, such a description element is called “coeff_abs_level_remaining”
  • the description element T indicates the use or not of an inverse transform (in the HEVC standard, such a description element is called "transform_skip_flag”).
  • an element M can take a value between 0 and 34.
  • An element A can take values between 0 and 2 15 -1.
  • the starting set consists of the description elements ⁇ M, A, T ⁇ .
  • the score of T is less than the necessary threshold Th, while M and A have a higher score.
  • the subset SE is therefore ⁇ M, A ⁇ .
  • the TB bitstream is intended to be presented at the input of a decoder, local or remote.
  • a signal carrying the bit stream is transmitted to the decoder via a communication network.
  • the current block C is processed by implementing the decoding scheme, corresponding to the coding scheme used by the encoder, for example as specified in the HEVC standard.
  • a set of ED elements for describing the data to be decoded for the current block C is identified.
  • a prediction P 'of the block to be decoded C. is carried out.
  • the prediction information related to P' is read in the bit stream or compressed file and decoded.
  • the prediction mode information is decoded.
  • the amplitude information of the residue to be decoded RQ ' is also decoded into the bit stream or compressed file and decoded. We now know the amplitudes of RQ '[i], but not yet the signs.
  • the decoding method according to the invention implements the step of selecting the description elements to be predicted from the determined description elements. This step has already been described in detail for the coding method in relation to FIGS. 2 and 3.
  • the description elements to be predicted are advantageously selected according to predetermined scores.
  • An SE set is obtained.
  • the method reads in the bitstream TB the coded data relating to the description elements of the unpredicted current block and decodes them.
  • Step D 4 it orders the elements of the set SE obtained in an initial sequence Seq ,, by decreasing scores, as already described for the coding method according to the invention.
  • Step D5 of decoding the description elements to be predicted will now be detailed in a particular embodiment. It will be noted that it is very similar to step E 5 implemented by the coding method according to the invention which has just been described.
  • steps (D52 to D56) form an iterative loop which will be repeated several times, depending on the number M of description elements to be predicted selected in the sequence Seq c .
  • D5 2 the best combination is selected in the sense of an evaluation function FE, the same as that used by the coding method which produced the bitstream to be decoded, among the possible value combinations of the current Seq sequence. c .
  • evaluation function FE the same as that used by the coding method which produced the bitstream to be decoded
  • the first description element of the sequence Seq c is decoded. In the following, it is assumed that the elements of description are signs.
  • CTo FE ( ⁇ +, +, + ⁇ )
  • CT ! FE ( ⁇ +, +, - ⁇ )
  • CT 2 FE ( ⁇ +, -, + ⁇ )
  • CT 3 FE ( ⁇ +, -, - ⁇ )
  • CT 4 FE ( ⁇ -, +, + ⁇ )
  • CT 5 FE ( ⁇ -, +, - ⁇ )
  • CT 5 FE ( ⁇ -, -, + ⁇ )
  • CT 7 FE ( ⁇ -, -, - ⁇ )
  • the value of the first sign sO is predicted by its value in the combination Cb2. This is a +.
  • the IP prediction indicator corresponding to this first sign sO is decoded from coded data extracted from the bit stream or compressed file. This indicator indicates whether the predicted sign has been correctly predicted or not. For example, assume that the decoded value is a 1 and is associated with an incorrect prediction. In D55, we deduce that the decoded value of the sign sO is a -.
  • CT 4 FE ( ⁇ -, +, + ⁇ )
  • CT 5 FE ( ⁇ -, +, - ⁇ )
  • CT 5 FE ( ⁇ -, -, + ⁇ )
  • CT 7 FE ( ⁇ -, -, - ⁇ )
  • CT 6 is identified as the minimum cost
  • the IP indicator corresponding to D2 is decoded from the coded data extracted from the bit stream or compressed file, an indicator is decoded, which indicates whether the predicted sign is equal or different from the actual sign. In our example, suppose that the decoded value of IP is 0, which means that the prediction of this sign is correct.
  • the last sign S2 is decoded.
  • CT 5 FE ( ⁇ -, -, + ⁇ )
  • CT 7 FE ( ⁇ -, -, - ⁇ )
  • CT6 is identified as the minimum cost.
  • the last sign S2 in the predefined order is predicted, in D5 3 , by its value in the combination Cb6: it is a +.
  • an IP indicator associated with the sign S2 is decoded at D5 4 . It indicates whether the sign S2 has been correctly predicted or not. In our example, suppose that the decoded value is 0, which corresponds to a correct prediction.
  • step D6 reconstruction of the current block C from the decoded description elements, EP predicted (D 5 ) and non-predicted NPs ( ⁇ 3), amplitude information of the coefficients of the residual block RQ 'and of the prediction P 'obtained in Di.
  • step D6 we first dequantize the RQ 'block to obtain a dequantized block. This is done by means adapted to the quantization used during the coding (scalar dequantization, vector dequantization ...), known to those skilled in the art.
  • the dequantized residue is then subjected to a reverse transform from that used in the coding.
  • the decoded residue is then obtained.
  • the decoded block BD ' is reconstructed by adding the decoded residue to the prediction P'.
  • This block is integrated with the image being decoded.
  • step D7 it comes to test whether the current block is the last block to be processed, given the order of travel of the blocks, defined above. If yes, the decoding is complete. If not, the next step is the step C of selecting the next block and the steps of the decoding process are repeated.
  • step D2 since all the elements of the initial sequence selected according to the predetermined scores are predicted, it is therefore known as soon as the outcome of step D2 how many IP prediction indicators are to be extracted from the bitstream or the compressed file.
  • this makes it possible to implement an implementation of the invention which decorrelates the reading and analysis operations of the coded data contained in the bit stream or compressed file (for "parsing", in English) of the processing operations. of the current block according to the encoding / decoding scheme implemented. For example, one could organize the decoding by using a specific component for the analysis / reading of the coded data in the bitstream and another for the reconstruction operations of the decoded blocks. An advantage of this parsing independence is to allow a parallelization of the decoding operations.
  • module and “unit”, used in this document, can correspond either to a software component, or to a hardware component, or to a set of hardware and / or software components, able to implement perform the function (s) described for the module or unit concerned.
  • FIG. 6 an example of a simplified structure of a device 100 for encoding a digital image and a device 200 for decoding a bit stream according to the invention is now presented.
  • the device 100 implements the coding method according to the invention which has just been described in connection with Figure 2. Only the main elements relating to the implementation of the technique according to the invention are illustrated.
  • the device 100 comprises a processing unit 110, equipped with a processor ⁇ , and driven by a computer program Pgi 120, stored in a memory 130 and implementing the method according to the invention.
  • the code instructions of the computer program Pgi 120 are for example loaded into a RAM memory before being executed by the processor of the processing unit 110.
  • the processor of the processing unit 110 sets implement the steps of the method described above, according to the instructions of the computer program 120.
  • the processor 110 is adapted to and configured to: process (PROC) a current block and obtain a set description elements of this block;
  • ORDER ordering the description elements of the subset in a sequence, said initial sequence, according to said scores
  • the device 100 is furthermore configured to encode the non-predicted elements (ENC ENP) and to reconstruct the decoded block BD and the decoded image (RECONST).
  • ENC ENP non-predicted elements
  • RECONST decoded image
  • the encoding of the elements of the initial sequence comprises at least two iterations of the following units, configured for and able to be applied to a so-called current sequence, initialized to the initial sequence: selection (SEL Cbk) of a combination of values of the description elements of the current sequence out of a plurality of possible combinations according to a predetermined cost criterion and, from the second element, of previously described description element values of the initial sequence; prediction (PRED) of the first element of the sequence by its value in the selected combination; coding (COD IP) of an indicator representative of a difference between the value of the current element and the predicted value, and
  • the device 100 furthermore comprises a unit Mi for storing the coding contexts of the coefficients, predetermined scores associated with each of these contexts, predicted values for the selected description elements, and the plurality of combinations of values of the selected sequence of description elements to be predicted.
  • These units are driven by the ⁇ processor of the processing unit 110.
  • such a device 100 can be integrated in a user terminal equipment TU, such as an encoder, a personal computer, a tablet, a digital camera, a smart mobile phone (for "smartphone") etc.
  • the device 100 is then arranged to cooperate at least with the following module of the terminal TU: a data transmission / reception module E / R, through which the bit stream TB or the compressed file FC is transmitted in a network telecommunications, for example a wired, radio or wireless network.
  • a network telecommunications for example a wired, radio or wireless network.
  • the decoding device 200 implements the decoding method according to the invention which has just been described in relation to FIG. 5.
  • the device 200 comprises a processing unit 210, equipped with a processor ⁇ 2, and driven by a computer program Pg2 220, stored in a memory 230 and implementing the method according to the invention.
  • the code instructions of the computer program Pg2 220 are for example loaded into a RAM before being executed by the processor of the processing unit 210.
  • the processor of the processing unit 210 sets implement the steps of the method described above, according to the instructions of the computer program 220.
  • the device 200 is adapted to and configured to:
  • DEC Decode
  • the decoding of the elements of the initial sequence comprises at least two iterations of the following units, configured for and able to be applied to a so-called current sequence, initialized to the initial sequence:
  • PRED Prediction of the first element of the sequence by its value in the selected combination
  • DEC IP Decoding of an indicator representative of a difference between the decoded value of the current element and the predicted value, from coded data extracted from the bit stream
  • the device 200 is further configured to decode the unpredicted elements (DEC ENP) and to reconstruct the decoded block BD and the decoded picture (RECONST).
  • DEC ENP unpredicted elements
  • RECONST decoded picture
  • the device 200 furthermore comprises a unit M 2 for storing the coding contexts of the coefficients, predetermined scores associated with each of these contexts, predicted values for the description elements selected for a block C and combinations Cbk of values of the elements. description of the sequence to be predicted.
  • such a device 200 can be integrated in a user terminal TU, for example a decoder, a TV connection box (for "Set-Top-Box", in English), a digital television, a computer, a tablet, a smart mobile phone, etc.
  • the device 200 is then arranged to cooperate at least with the following module of the terminal TU: a data transmission / reception module E / R, through which the bit stream
  • TB or compressed FC file is received from the telecommunications network.
  • a DISP module for displaying decoded digital images.
  • the invention which has just been presented can find many applications, in particular in the context of video signal compression, audio (speech, sound), still images, images acquired by an imaging module medical. It applies for example to two-dimensional (2D), three-dimensional (3D) contents including a depth map, or multispectral images (whose color intensities are different from the three red green blue bands) or finally to full images.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

L'invention concerne un procédé de codage d'une image numérique, ladite image (Im) étant divisée en une pluralité de blocs de pixels (C) traités dans un ordre défini, ledit procédé comprenant les étapes suivantes, mises en œuvre pour un bloc courant: -Traitement (E1) du bloc courant destiné à fournir un ensemble d'éléments de description du bloc traité; -Sélection (E2) d'un sous-ensemble d'au moins deux éléments de description à prédire dans l'ensemble fourni; -Ordonnancement (E4) des éléments de description du sous-ensemble en une séquence ordonnée; -Codage des éléments de la séquence; Selon l'invention,l'étape de codage des éléments de la séquence comprend un parcours des éléments de la séquence et comprend, pour un élément courant, les sous-étapes suivantes: -Sélection d'une combinaison de valeurs des éléments de description de la séquence parmi une pluralité de combinaisons en fonction d'un critère de coût prédéterminé et, à partir du deuxième élément, de valeurs d'éléments de description précédemment traités dans la séquence; -Prédiction de l'élément courant de la séquence par sa valeur dans la combinaison sélectionnée;et -Codage d'un indicateur représentatif d'une différence entre la valeur réelle de l'élément courant et sa valeur prédite,

Description

Procédé de codage d'une image numérique, procédé de décodage, dispositifs, terminal d'utilisateur et programmes d'ordinateurs associés
1. Domaine de l'invention Le domaine de l'invention est celui de la compression de signal, en particulier d'une image numérique ou d'une séquence d'images numériques, dans lequel une prédiction d'une portion du signal à coder est réalisée à partir d'une portion du signal déjà codée.
Le codage/décodage d'images numériques s'applique notamment à des images issues d'au moins une séquence vidéo comprenant :
- des images issues d'une même caméra et se succédant temporellement (codage/décodage de type 2D),
- des images issues de différentes caméras orientées selon des vues différentes (codage/décodage de type 3D),
- des composantes de texture et de profondeur correspondantes (codage/décodage de type 3D), - etc.
La présente invention s'applique de manière similaire au codage/décodage d'images de type 2D ou 3D.
L'invention peut notamment, mais non exclusivement, s'appliquer au codage vidéo mis en œuvre dans les codeurs vidéo actuels AVC et HEVC et leurs extensions (MVC, 3D-AVC, MV-HEVC, 3D-HEVC, etc), et au décodage correspondant.
L'invention peut s'appliquer aussi au codage audio, par exemple mis en œuvre dans les codeurs audio actuels (EVS, OPUS, MPEG-H, etc) et leurs extensions et au décodage correspondant. 2. Présentation de l'art antérieur
On considère un schéma de compression classique d'une image numérique, selon lequel l'image est divisée en blocs de pixels. Un bloc courant à coder est prédit à partir d'un bloc précédemment codé décodé. Un bloc résidu est obtenu par soustraction des valeurs originales aux valeurs prédites. Il est ensuite transformé à l'aide d'une transformation de type DCT (pour « Discrète Cosinus Transform », en anglais) ou ondelettes. Les coefficients transformés sont quantifiés puis leurs amplitudes sont soumises à un codage entropique de type Huffmann ou arithmétique. Un tel codage obtient des performances efficaces, car, du fait de la transformation, les valeurs des amplitudes à coder sont en grande majorité nulles.
En revanche, il ne s'applique pas aux valeurs des signes des coefficients, dont les valeurs + et - sont généralement associées à des probabilités d'apparition équivalentes. Ainsi, les signes des coefficients sont codés par un bit 0 ou 1.
On connaît de l'article de Koyama, J. et al, intitulé « Coefficient sign bit compression in video coding », et publié dans les proceedings de la conférence «Picture Coding Symposium (PCS) », en mai 2012, une méthode de sélection de signes de coefficients d'un bloc résidu à prédire. La sélection proposée est basée sur un nombre de coefficients prédéterminé en fonction de leur amplitude et de la taille du bloc dont ils sont issus. Les signes sélectionnés sont prédits en testant toutes les combinatoires possibles des valeurs de ces signes pour le bloc et en choisissant celle qui maximise un critère de vraisemblance prédéterminé. Les prédictions obtenues sont comparées aux valeurs originales des signes pour déterminer la valeur d'un indicateur de prédiction, appelé aussi résidu d'un signe prédit. Cet indicateur peut prendre deux valeurs, qui sont une première valeur représentative d'une prédiction correcte et une deuxième valeur représentative d'une prédiction incorrecte. Le reste des signes est codé de façon explicite, sans prédiction.
Un avantage d'une telle sélection est de prédire la valeur d'un signe avec une probabilité de prédiction correcte supérieure à 50%, donc de permettre l'application d'un codage entropique aux valeurs des indicateurs de prédiction. Ce codage entropique code l'information de signe avec un débit moyen inférieur à un bit par signe, et permet ainsi d'augmenter le taux de compression.
3. Inconvénients de l'art antérieur
Un inconvénient de cette technique est qu'en prédisant globalement tous les signes sélectionnées, chaque signe subit l'influence de la valeur des autres, et la prédiction s'en trouve dégradée.
4. Objectifs de l'invention
L'invention a notamment pour objectif de pallier ces inconvénients de l'art antérieur.
Plus précisément, un objectif de l'invention est de proposer une solution qui sélectionne plus efficacement les signes à prédire. Un autre objectif de l'invention est de proposer une solution qui soit plus performante en compression.
Encore un autre objectif de l'invention est de proposer une solution qui s'applique à tout type d'élément de description d'un bloc de pixels mis en œuvre pour le codage d'une image numérique.
5. Exposé de l'invention
Ces objectifs, ainsi que d'autres qui apparaîtront par la suite, sont atteints à l'aide d'un procédé de codage d'une image numérique, ladite image étant divisée en une pluralité de blocs de pixels traités dans un ordre défini, ledit procédé comprenant les étapes suivantes, mises en œuvre pour un bloc courant
Traitement du bloc courant destiné à fournir un ensemble d'éléments de description du bloc traité ;
Sélection d'un sous-ensemble d'au moins deux éléments de description à prédire dans l'ensemble fourni;
Ordonnancement des éléments de description du sous-ensemble en une séquence ordonnée;
Codage des éléments de la séquence;
Selon l'invention, l'étape de codage des éléments de la séquence comprend un parcours des éléments de la séquence et comprend, pour un élément courant, les sous-étapes suivantes:
Sélection d'une combinaison de valeurs prédites des éléments de description de la séquence parmi une pluralité de combinaisons en fonction d'un critère de coût prédéterminé et, à partir du deuxième élément, de valeurs réelles d'éléments de description précédemment parcourus dans la séquence; - Prédiction de l'élément courant de la séquence par sa valeur dans la combinaison sélectionnée ; et
Codage d'un indicateur représentatif d'une différence entre la valeur réelle de l'élément courant et sa valeur prédite,
L'invention repose sur une approche tout-à-fait nouvelle et inventive qui consiste ordonner les éléments de description à prédire en fonction d'un score associé et à prédire chaque élément de la séquence sur la base de la meilleure combinaison de prédictions des valeurs des éléments de la séquence ordonnée, selon un critère de coût prédéterminé. Ainsi, contrairement à l'art antérieur, l'élément courant profite d'un traitement individualisé qui exploite la connaissance des valeurs réelles des éléments déjà traités, ce qui permet d'améliorer la qualité de la prédiction des éléments au fur et à mesure du traitement de la séquence et donc d'augmenter l'efficacité de compression.
Selon un autre aspect de l'invention, l'étape d'ordonnancement produit une séquence initiale, l'étape de codage prend comme élément courant le premier élément d'une séquence courante initialisée à la séquence initiale et comprend, une fois le premier élément courant traité, une sous-étape de mise à jour de la séquence courante par suppression du premier élément. Un avantage de cette implémentation est de libérer de la mémoire au fur et à mesure qu'on traite la séquence d'éléments de prédiction.
Selon un autre aspect de l'invention, le procédé comprend une étape préalable de calcul des coûts associés à la pluralité de combinaisons de valeurs de la séquence initiale, une étape de mémorisation de la plu ralité de combinaisons et de leurs coûts associés et en l'étape de sélection sélectionne, pour l'élément courant, une combinaison de valeurs de la séquence initiale pour laquelle les éléments précédemment traités ont leurs valeurs réelles.
Un avantage de cette solution est d'être économe en ressources de calculs. Les combinaisons et leurs coûts associés sont calculés et mémorisés une fois pour toutes. Selon un autre aspect de l'invention, l'étape de sélection comprend une sous-étape de calcul des coûts associés aux combinaisons de valeurs possibles de la séquence courante en fonction d'un critère de coût qui dépend des valeurs réelles des éléments précédemment parcourus.
Un avantage de cette solution est d'être économe en ressources de mémoire, le calcul des combinaisons et de leurs coûts associés étant mis en œuvre à la volée pour chaque séquence courante.
Selon un autre aspect de l'invention, l'étape de sélection sélectionne un sous-ensemble d'éléments de description à prédire en fonction de scores prédéterminés, un score prédéterminé étant représentatif d'un niveau de fiabilité de la prédiction de l'élément de prédiction auquel il est associé, et l'étape d'ordonnancement ordonne les éléments à prédire en fonction desdits scores. Un avantage est que le score étant indicatif d'un niveau de fiabilité ou d'une faculté d'un élément à être bien prédit, le sous-ensemble ne comprend que les meilleurs candidats à la prédiction. Selon encore un autre aspect de l'invention, le critère de coût prédéterminé appartient à un groupe comprenant au moins : un critère de minimisation d'une distorsion le long d'une frontière du bloc courant avec un bloc précédemment traité ; - un critère de proximité avec une valeur prédéterminée ; un critère de minimisation d'une mesure d'énergie d'une différence entre le bloc courant une prédiction du bloc courant ;
Un avantage est que l'invention permet d'utiliser alternativement plusieurs critères de coût et éventuellement une combinaison de ces critères.
Le procédé qui vient d'être décrit dans ses différents modes de réalisation est avantageusement mis en œuvre par un dispositif de codage d'une image numérique, ladite image étant divisée en une pluralité de blocs de pixels traités dans un ordre défini, ledit dispositif comprenant une machine de calcul reprogrammable ou une machine de calcul dédiée, apte à et configurée pour :
Traiter un bloc courant et fournir un ensemble d'éléments de description du bloc traité ;
Sélectionner un sous-ensemble d'au moins deux éléments de description à prédire dans l'ensemble fourni parmi un ensemble d'éléments de description du bloc courant;
Ordonner les éléments de description du sous-ensemble en une séquence ordonnée;
- Coder les éléments de la séquence ordonnée.
Selon l'invention, le codage des éléments de la séquence comprend un parcours des éléments de la séquence et, pour un élément courant, est apte à et configuré pour :
Sélectionner une combinaison de valeurs prédites des éléments de description de la séquence parmi une pluralité de combinaisons en fonction d'un critère de coût prédéterminé et, à partir du deuxième élément, de valeurs réelles d'éléments de description précédemment parcourus dans la séquence;
Prédire l'élément courant de la séquence par sa valeur dans la combinaison sélectionnée ; et
Coder un indicateur représentatif d'une différence entre la valeur réelle de l'élément courant et sa valeur prédite, Corrélativement, l'invention concerne aussi un procédé de décodage d'une image numérique à partir d'un train binaire, ladite image étant divisée en une pluralité de blocs traités dans un ordre défini, le train binaire comprenant des données codées représentatives d'éléments de description des blocs de l'image, ledit procédé comprenant les étapes suivantes, mises en œuvre pour un bloc, dit bloc courant :
Identification d'un ensemble d'éléments de description du bloc courant à partir de données du train binaire ;
Sélection d'un sous-ensemble d'au moins deux éléments de description à prédire dans l'ensemble identifié;
- Ordonnancement des éléments de description du sous-ensemble en une séquence ordonnée;
Décodage des éléments de la séquence ordonnée;
Selon l'invention, ledit procédé est particulier en ce que l'étape de décodage des éléments de la séquence comprend un parcours desdits éléments et comprend, pour un élément courant, les sous-étapes suivantes:
Sélection d'une combinaison de valeurs prédites des éléments de description de la séquence parmi une pluralité de combinaisons en fonction d'un critère de coût prédéterminé et, à partir du deuxième élément, à partir du deuxième élément, de valeurs décodées d'éléments de description précédemment parcourus dans la séquence;
Prédiction du premier élément de la séquence par sa valeur dans la combinaison sélectionnée ;
Décodage d'un indicateur représentatif d'une différence entre la valeur décodée de l'élément courant et la valeur prédite, à partir de données codées extraites du train binaire, et
Obtention de la valeur décodée de l'élément courant à partir de l'indicateur décodé et de la valeur prédite.
Un avantage de l'invention est qu'elle permet de garder une indépendance entre la lecture/analyse (pour « parsing », en anglais) des données codées contenues dans le train binaire et le traitement/exploitation de ces données pour décoder le bloc courant. Selon un autre aspect de l'invention, l'étape d'ordonnancement produit une séquence initiale, l'étape de décodage prend comme élément courant le premier élément d'une séquence courante, initialisée à la séquence initiale et comprend, une fois le premier élément courant décodé, une sous-étape de mise à jour de la séquence courante par suppression du premier élément.
Comme à l'encodage, ce mode de réalisation présente l'avantage de limiter le stockage de données calculées et de libérer la mémoire au fur et à mesure de l'avancement du traitement.
Selon encore un autre aspect de l'invention, le procédé de décodage comprend une étape préalable de calcul des coûts associés à la pluralité de combinaisons de valeurs de la séquence initiale, une étape d'enregistrement de la pluralité de combinaisons et de leurs coûts associés et l'étape de sélection sélectionne une combinaison parmi les combinaisons enregistrées qui commencent par les valeurs décodées des éléments précédemment parcourus dans l'ordre de parcours.
Comme à l'encodage, ce mode de réalisation présente l'avantage d'être économe en ressources de calculs. Les combinaisons et leurs coûts associés sont calculés et mémorisés une fois pour toutes.
Selon encore un autre aspect de l'invention, l'étape de sélection comprend un calcul des coûts associés aux combinaisons de valeurs possibles de la séquence courante en fonction d'un critère de coût qui dépend des valeurs décodées des éléments précédemment parcourus. Comme à l'encodage, un avantage de cette solution est d'être économe en ressources de mémoire, le calcul des combinaisons et de leurs coûts associés étant mis en œuvre à la volée pour chaque séquence courante.
Le procédé qui vient d'être décrit dans ses différents modes de réalisation est avantageusement mis en œuvre par un dispositif de décodage d'une image numérique à partir d'un train binaire comprenant des données codées représentatives de ladite image, ladite image étant divisée en une pluralité de blocs traités dans un ordre défini, le train binaire comprenant des données codées représentatives d'éléments de description des blocs de l'image, ledit dispositif comprenant une machine de calcul reprogrammable ou une machine de calcul dédiée, configurée pour et apte à, pour un bloc, dit bloc courant : Identifier un ensemble d'éléments de description du bloc courant à partir de données du train binaire ;
Sélectionner un sous-ensemble d'au moins deux éléments de description à prédire dans l'ensemble identifié;
Ordonner les éléments de description du sous-ensemble en une séquence ordonnée;
Décoder les éléments de la séquence ordonnée;
Selon l'invention, le décodage des éléments de la séquence initiale comprend au moins deux itérations des unités suivantes, configurées pour et aptes à être appliquées à une séquence dite courante, initialisée à la séquence initiale :
Sélection (SEL Cbk) d'une combinaison de valeurs prédites des éléments de description de la séquence courante parmi une pluralité de combinaisons possibles en fonction d'un critère de coût prédéterminé et à partir du deuxième élément, de valeurs d'éléments de description précédemment décodés de la séquence initiale;
Prédiction (PRED) du premier élément de la séquence par sa valeur dans la combinaison sélectionnée ;
Décodage (DEC IP) d'un indicateur représentatif d'une différence entre la valeur décodée de l'élément courant et la valeur prédite, à partir de données codées extraites du train binaire, et
Obtention (GET) de la valeur décodée de l'élément courant à partir de l'indicateur décodé et de la valeur prédite.
Corrélativement, l'invention concerne également un signal portant un train binaire comprenant des données codées représentatives d'éléments de description de blocs de pixels d'une image numérique, lesdits blocs de pixels étant traités dans un ordre défini.
Le signal selon l'invention est particulier caractérisé en ce que lesdites données codées dans le train binaire sont obtenues conformément au procédé de codage selon l'invention.
Corrélativement, l'invention concerne aussi un terminal d'utilisateur comprenant un dispositif de codage d'une image numérique et un dispositif de décodage d'une image numérique selon l'invention.
L'invention concerne encore un programme d'ordinateur comportant des instructions pour la mise en œuvre des étapes d'un procédé de codage d'une image numérique tel que décrit précédemment, lorsque ce programme est exécuté par un processeur.
L'invention concerne aussi un programme d'ordinateur comportant des instructions pour la mise en œuvre des étapes d'un procédé de décodage d'une image numérique tel que décrit précédemment, lorsque ce programme est exécuté par un processeur.
Ces programmes peuvent utiliser n'importe quel langage de programmation. Ils peuvent être téléchargés depuis un réseau de communication et/ou enregistrés sur un support lisible par ordinateur.
L'invention se rapporte enfin à des supports d'enregistrement, lisibles par un processeur, intégrés ou non au dispositif de codage d'une image nu mérique et au dispositif de décodage d'une image numérique selon l'invention, éventuellement amovibles, mémorisant respectivement un programme d'ordinateur mettant en œuvre un procédé de codage et un programme d'ordinateur mettant en œuvre un procédé de décodage, tels que décrits précédemment.
6. Liste des figures
D'autres avantages et caractéristiques de l'invention apparaîtront plus clairement à la lecture de la description suivante d'un mode de réalisation particulier de l'invention, donné à titre de simple exemple illustratif et non limitatif, et des dessins annexés, parmi lesquels : la figure 1 illustre de façon schématique une séquence d'images numériques à coder et le découpage en blocs de ces images selon l'art antérieur ; la figure 2 présente de façon schématique les étapes d'un procédé de codage d'une image numérique selon l'invention ; la figure 3 détaille l'étape de traitement d'un bloc mise en œuvre dans le procédé de codage selon l'invention ; la figure 4 présente de façon schématique un bloc courant décodé d'une image numérique décodée; la figure 5 présente de façon schématique les étapes d'un procédé de décodage d'une image numérique selon un premier mode de réalisation de l'invention ; et la figure 6 présente un exemple de structure simplifiée d'un dispositif de codage d'une image numérique et d'un dispositif de décodage d'une image numérique selon un mode de réalisation de l'invention.
7. Description d'un mode de réalisation particulier de l'invention
Le principe général de l'invention repose sur un traitement individuel et successif d'éléments de description d'une séquence ordonnée d'éléments de description à prédire. Pour un élément de cette séquence, l'invention sélectionne la meilleure combinaison de valeurs de la séquence ordonnée selon un critère de coût prédéterminé et en fonction des valeurs réelles/décodées des éléments déjà traités et sur la prédiction de l'élément courant de cette séquence par sa valeur dans cette combinaison.
En relation avec la Figure 1, on considère une vidéo originale constituée d'une suite de M images II, 12, ...IM, avec M entier non nul. Les images sont encodées par un encodeur, les données codées sont insérées un train binaire TB transmis à un décodeur via un réseau de communication, ou un fichier compressé FC, destiné à être stocké sur un disque dur par exemple. Le décodeur extrait les données codées, puis reçues et décodées par un décodeur dans un ordre prédéfini connu de l'encodeur et du décodeur, par exemple dans l'ordre temporel II, puis 12, puis IM, cet ordre pouvant différer suivant le mode de réalisation.
Lors de l'encodage d'une image Im, avec m entier compris entre 1 et M, celle-ci est subdivisée en blocs de taille maximale qui peuvent à leur tour être subdivisés en blocs plus petits. Chaque bloc C va subir une opération d'encodage ou de décodage consistant en une suite d'opérations, comprenant de manière non exhaustive une prédiction, un calcul de résidu du bloc courant, une transformation des pixels du bloc courant en coefficients, une quantification des coefficients et un codage entropique des coefficients quantifiés. Cette suite d'opérations sera détaillée par la suite.
Les étapes du procédé de codage d'une image Im selon l'invention vont maintenant être décrites en relation avec la Figure 2. En E0, on commence par sélectionner comme bloc courant C le premier bloc à traiter. Par exemple, il s'agit du premier bloc (dans l'ordre lexicographique). Ce bloc comporte NxN pixels. Au cours d'une étape Ei, on traite un bloc C courant en mettant en œuvre un schéma de codage, par exemple tel que spécifié dans la norme HEVC, dans le document "ISO/IEC 23008- 2 : 2013 - High efficiency coding and média delivery in heterogeneous environments -- Part 2 : High efficiency video coding », International Organization for Standardization, publié en novembre 2013.
Cette étape de traitement est destinée à fournir un ensemble d'éléments E de description des données à coder pou r le bloc courant C. Ces éléments de description peuvent être de types variés. De façon non exhaustive, ils comprennent notamment : les informations relatives à des choix de codage du bloc courant C, par exemple un mode de codage du bloc courant, tel que le mode INTRA, INTER ou SKIP, un mode de prédiction du bloc courant, parmi les 35 modes de prédiction d'un bloc INTRA, un mode de prédiction d'un vecteur mouvement estimé pour le bloc courant, ou encore la signifiance d'une amplitude d'un coefficient , connus en soi dans HEVC; les valeurs de données à coder, telles que les composantes d'un vecteur mouvement, l'amplitude ou le signe d'un coefficient ; etc
On suppose qu'il existe L décou pes en blocs possibles numérotées de 1 à L, et que la découpe utilisée sur le bloc C est la découpe numéro I. Par exemple, il peut y avoir 4 découpes possibles, en blocs de taille 4x4, 8x8, 16x16, et 32x32. En relation avec la Figure 4, l'image courante décodée est désignée par ID. On notera que, dans un codeur vidéo, l'image ID est (re)construite dans le codeur de façon à pouvoir servir pour prédire les autres pixels de la séquence d'images.
En relation avec la Figure 3, on détaille un exemple de sous-étapes mises en œuvre par ce traitement Ei du bloc courant C sélectionné, conformément à la norme HEVC. Au cours d'une étape Eli, on détermine une prédiction P du bloc original C. Il s'agit d'un bloc de prédiction construit par des moyens connus, typiquement par compensation de mouvement (bloc issu d'une image de référence précédemment décodée) dans le cas d'une prédiction dite INTER, ou par prédiction INTRA (bloc construit à partir des pixels décodés immédiatement adjacents au bloc courant dans l'image ID). Les informations de prédiction liées à P sont codées dans le train binaire TB ou fichier compressé FC. On suppose ici qu'il y a K modes de prédiction possibles Mi, M2,..., MK, avec K entier non nul, et que le mode de prédiction choisi pour le bloc C est le mode Mk.
Au cours d'une étape EI2, un résidu original R est formé, par soustraction R = C-P de la prédiction P du bloc courant C au bloc courant C. Au cours d'une étape EI3, le résidu R est transformé en un bloc résidu transformé, appelé
RT, par une transformée de type DCT ou transformée en ondelettes, toutes les deux connues de l'homme de métier et notamment mises en œuvre dans les normes JPEG pour la DCT et JPEG2000 pour la transformée en ondelettes.
En El4, le résidu transformé RT est quantifié par des moyens classiques de quantification, par exemple scalaire ou vectorielle, en un bloc résidu quantifié RQ. Ce bloc quantifié RQ contient NxN coefficients. De façon connue dans l'état de l'art, ces coefficients sont scannés dans un ordre prédéterminés de façon à constituer un vecteur monodimensionnel RQ[i], où l'indice i varie de 0 à N2-l. L'indice i est appelé fréquence du coefficient RQ[i]. Classiquement, on scanne ces coefficients par ordre croissant de fréquence, par exemple selon un parcours en zigzag, qui est connu de la norme de codage d'image fixes JPEG.
Lors d'une étape El5, on vient coder les informations d'amplitude des coefficients du bloc résidu RQ par codage entropique, par exemple selon une technique de codage de Huffman ou de codage arithmétique. Par amplitude, on entend ici la valeur absolue du coefficient. Des moyens de codage des amplitudes sont par exemple décrits dans la norme HEVC et dans l'article de Sole et al, intitulé « Transform Coefficient Coding in HEVC », publié dans la revue IEEE Transactions on Circuits and Systems for Video Technology, Volume 22, Issue: 12, pp. 1765 - 1777, en décembre 2012. Classiquement, on peut coder pour chaque coefficient une information représentative du fait que le coefficient est non nul. Ensuite, pour chaque coefficient non nul, une ou plusieurs informations relatives à l'amplitude sont codées. On obtient les amplitudes codées CA. A l'issue de l'étape El, on dispose donc pour le bloc courant C d'un ensemble E d'éléments de description de données à coder, parmi lesquels on compte les coefficients résidus transformés quantifiés RQ[i] , les signes de ces coefficients, le mode de prédiction Mk etc
En relation avec la Figure 2, on sélectionne au cours d'une étape E2, un sous-ensemble SE de cet ensemble, comprenant les éléments de description à prédire EP pour le bloc C. Par exemple, on sélectionne un nombre prédéterminé d'éléments à prédire en fonction de leur amplitude et de la taille du bloc courant. Dans l'exemple de réalisation de l'invention qui va être maintenant détaillé, on considère des éléments de description d'un type particulier, par exemple des signes de coefficients transformés et quantifiés du bloc courant RQ. Bien sûr, l'invention n'est pas limitée à ce type d'éléments et s'applique à tout autre élément de description du bloc courant. D'autres exemples seront présentés ci-après.
Au cours d'une première sous-étape E2 on commence par définir un sous-ensemble initial SEI d'éléments de description à prédire. Par exemple il s'agit de tous les signes des coefficients résidus transformés quantifiés RQ[i] non nuls du bloc courant.
De façon avantageuse, on exploite la connaissance d'un contexte Cx associé à chaque coefficient parmi une pluralité J de contextes prédéterminés, avec J entier non nul et j entier compris entre 1 et J. Un tel contexte est défini par au moins une caractéristique du coefficient ou du bloc dont il est issu.
De façon avantageuse, on considère les caractéristiques suivantes : la taille du bloc résidu quantifié RQ,
- l'amplitude du coefficient quantifié RQ[i],
la fréquence du coefficient ou indice i dans le bloc RQ,
le mode de prédiction du bloc courant Mk parmi les K modes possibles.
En effet, la prédiction du signe est d'autant plus fiable que l'amplitude est élevée. De même, il a été constaté que lorsque le bloc est de taille plus grande, la fréquence du coefficient plus faible, la prédiction est plus fiable. Enfin, il a été constaté que la prédiction est plus fiable lorsque le bloc courant est associé à une prédiction intra d'un certain type.
De façon alternative, d'autres contextes sont envisageables. Ainsi, il est possible de tenir compte du type d'image dans lequel se trouve le bloc courant, par exemple du type Intra ou Inter, connu de la norme HEVC, en fonction de l'énergie du prédicteur P, ou encore en fonction du nombre total de coefficients non nuls dans le bloc courant.
Ensuite, on sélectionne les signes des coefficients du bloc RQ de l'ensemble initial, en fonction d'un score prédéterminé S, pour le contexte Cx associé au coefficient RQ[i] considéré.
Un tel score Sj est représentatif d'un niveau de fiabilité de la prédiction du signe du coefficient RQ[i]. Par exemple, le score S prend des valeurs dans un ensemble prédéterminé, par exemple de 0 à 10.
Selon une variante, le score est une simple indication binaire, dont l'une des deux valeurs indique que le signe peut être prédit, et l'autre que le signe ne peut pas être prédit. Selon une autre variante, les scores S correspondent à des probabilités connues a priori, dépendantes du contexte Cxj associé au coefficient RQ[i] . On dispose, dans l'encodeur, d'un ensemble de probabilités de détection correcte des signes des coefficients RQ. Par exemple cet ensemble de probabilités est stocké en mémoire.
Ces probabilités ont été construites avant l'encodage et le décodage, soit par accumulation statistique sur un ensemble de signaux représentatifs des signaux à coder, soit par calcul mathématique à partir d'hypothèses sur la distribution des signes des coefficients. Pour un coefficient RQ[i] associé au contexte Cx , on peut donc obtenir le score S j [ i ] en calculant la probabilité p[l] [mk] [i] [ | RQ[i] | ] de prédiction correcte du signe du coefficient RQ[i] .
Avantageusement, les signes à prédire sont sélectionnés par seuillage des scores auxquels ils sont associés. Ainsi, pour chaque coefficient RQ[i] qui a un signe (c'est-à-dire, qui n'est pas nul) et qui est associé à un contexte Cx de score Sj, on prédit le signe si et seulement si Sj>Th, où Th est un seuil prédéterminé, par exemple égal à 0,7. Par exemple, le seuil Th est connu du codeur et du décodeur.
Selon une variante, le seuil Th peut être choisi en cours de codage et inscrit dans le fichier compressé ou dans le train binaire comprenant les données codées représentatives de l'image numérique Im . Par exemple, si l'unité qui effectue l'encodage ne dispose pas d'assez de ressources de calcul à un moment donné, il lui est possible d'augmenter ce seuil Th de façon à prédire moins de signes, et donc mettre en œuvre moins de calculs.
Il serait également possible de faire varier le seuil Th en fonction du contenu des images à coder : une image comportant beaucoup de contenu, tel que des variations de luminosité importantes ou des mouvements nombreux utiliserait un seuil élevé, et une image comportant peu de contenu tel que des variations de luminosité faibles ou mouvements peu nombreux, utiliserait un seuil Th plus bas, de façon à lisser la complexité ou la mémoire nécessaire au codage de chaque image. A l'issue de cette sélection, les signes des coefficients RQ[i] sélectionnés sont tous associés à un contexte Cxj et à un score Sj supérieur au seuil Th prédéterminé et forment un ensemble SE d'éléments EP de description à prédire. Au cours d'une étape E3, on encode de façon classique les éléments de description ENP qui n'appartiennent pas au sous-ensemble SE sélectionné. Cette étape met en œuvre des techniques de codage connues de l'homme de métier. Pour les signes des coefficients RQ[i] par exemple, il est connu notamment de la norme HEVC, en particulier de l'article de Sole et al., déjà cité, le fait de transmettre chaque signe sous forme d'un élément binaire 0 ou 1, avec une convention associant l'un au signe plus et l'autre au signe moins.
En E4, on ordonne les éléments de description EP. Cet ordre peut être prédéfini, et par exemple correspondre à l'ordre de scan des signes tel que défini dans la norme HEVC. De façon préférentielle, on les ordonne en fonction de leur score associé. Par exemple si le score utilisé est représentatif d'une probabilité de prédiction correcte, on ordonne les éléments par score décroissant. On obtient une séquence Seq, dite initiale, d'éléments de description à prédire. Supposons que l'on dispose à ce stade de M signes ordonnés à prédire Seq, = { EPo=So, EPi=Si,...,EPM-i=SM-i}.
En E5, on encode les éléments de description de la séquence ordonnée Seq,.
Selon un premier mode de réalisation de l'invention, cette étape E5 comprend les sous- étapes suivantes :
En E5i on considère une séquence courante Seqc que l'on initialise à la séquence initiale
Seqi.
Les étapes suivantes forment une boucle itérative qui sera répétée plusieurs fois, en fonction du nombre M d'éléments de description à prédire sélectionnés dans la séquence Seqc.
Un élément de description est susceptible de prendre au moins deux valeu rs. Par exemple, un signe peut valoir + ou -.
Au cours de l'étape E52, on évalue les différentes possibilités ou hypothèses de combinaisons de valeurs de la séquence Seqc d'éléments à prédire, à l'aide d'une fonction d'évaluation FE ou d'un critère de coût prédéterminé. On suppose qu'on a K hypothèses ou combinaisons possibles, avec K entier non nul. Dans le cas où les éléments de description à prédire sont les M signes d'une séquence, un signe pouvant prendre la valeur + ou la valeu r -, le nom bre de combinaisons possibles est K = 2M.
Par exemple, pour une hypothèse donnée cette fonction produit un coût, par exemple : FE({s0 = -,sl = + ,s2 = -,s3 = -,...,sM-l = + ) = CT = 4240
Ici, l'hypothèse est {-,+,-,-,...,+} et le coût résultant est 4240. Bien sûr, la fonction d'évaluation doit faire en sorte de générer un coût minimal lorsque l'hypothèse de signes est la plus vraisemblable. Il existe plusieurs fonctions de coût connues de l'état de l'art et présentées dans l'article de Koyama et al, cité plus tôt.
De façon avantageuse, on utilise une fonction d'évaluation qui consiste à mesurer la distorsion le long de frontières gauche FG et supérieure FS du bloc courant avec des blocs précédemment traités. En relation avec la Figure 4, on a représenté une image décodée ID et un bloc décodé virtuel DVs de taille NxN pixels de cette image avec l'hypothèse de combinaison de signes dont on veut mesurer le coût, où DVs(lin,col) est la valeu r du pixel du bloc DVs situé sur la ligne lin et la colonne col du bloc.
On considère un opérateur « Side Matching » SM(3, B)), avec 3 image courante et C bloc courant, défini comme suit :
5M(3, C) = ^ (C(0, a) - 3(Zin - 1, col + o f + ^ (C(a, 0) - 3(Zin + a, col - l))2 avec C(i,j) la valeur des coefficients dans le bloc décodé virtuel DVs, avec i, j entiers compris entre O et N- 1.
Sur la figure 4, on a représenté les pixels situés le long de la frontière gauche FG dont les valeurs sont de bas en haut yi à y4 et situés les pixels situés le long de la frontière supérieure FS du bloc décodé virtuel DVs dont les valeurs sont de gauche à droite y4 à y7, ainsi que les pixels Xi à x4 et x4 à X8 respectivement situés de l'autre côté des frontières FG et FS. Appliquer cet opérateur revient à former la somme (xi-yi)2+ (x2-y2) 2 + (x3-y3) 2 + (x4-y4)2+ (xs- y4)2+ (x6-ys)2+ (x7-ye)2+ (xs-y?)2.
On détermine le bloc décodé virtuel optimal DVopt qui minimise cette mesure :
DVopt = argminDV SM(lD, DVs) où ID représente l'image reconstruite après décodage. Alternativement, le critère de vraisemblance utilisé est la minimisation de l'erreur avec le prédicteur P. Cela consiste à sélectionner le bloc décodé virtuel qui minimise l'erreur avec le prédicteur P.
Le résidu virtuel associé au bloc décodé virtuel optimal est ainsi identifié. Bien sûr, on pourrait recourir à d'autres critères de coût, tels que par exemple un critère de minimisation d'une mesure de distance/proximité à une valeur prédéterminée, par exemple moyenne ou la minimisation de l'énergie du bloc résidu .
Pour générer un bloc courant décodé correspondant à une hypothèse de signes Cbk, on procède de la façon suivante :
on attribue à chaque coefficient du bloc résidu courant son signe réel (s'il s'agit d'un coefficient dont le signe n'est pas prédit), ou l'hypothèse de signe (s'il s'agit d'un coefficient dont le signe est à prédire). à l'aide des moyens classiques de déquantification et de transformée inverse, on obtient un bloc de résidu décodé, dont les échantillons {rl,r2,...,r7} voisins des bloc précédemment décodés sont ajoutés aux éléments prédits correspondants du bloc P pour former les éléments reconstruits yl = rl +pl,y2 = p2 + r2, y7=p7+r7 du bloc décodé virtuel DV, comme indiqué sur la figure 4.
Le bloc décodé virtuel obtenu DV est utilisé pour calculer le coût CTk associé à la combinaison CBk évaluée.
Dans la suite, on considère que la séquence initiale compte 3 signes à prédire. On suppose que les valeurs réelles de la séquence initiale sont so = -, Si = + et S2 = - .
On évalue donc les coûts CTk des 8 combinaisons suivantes :
CTo = FE({ + , + , + })
CTl = FE({ + , + ,-})
CT2 = FE({ + ,-, + })
CT3 = FE({ + ,-,-})
CT4 = FE({-, + ,+})
CT5 = FE({-, + ,-})
CT6 = FE({-,-, + })
CT7 = FE({-,-,-})
On identifie la combinaison associée au coût minimal . Supposons qu'il s'agisse de CT2.
Au cours d'une étape E53, on prédit le premier élément de la séquence courante Seqc par la valeur qu'il prend dans la combinaison Ck2. Dans l'exemple considéré, cette valeur est + .
En E54, on calcule l'indicateur de prédiction IP correspondant. Pour ce faire, on compare la valeur prédite de sO à sa valeur réelle. L'indicateur IP indique si le signe prédit est égal à ou différent du signe réel. Par exemple, il vaut 0 si les signes prédit et réels sont égaux, 1 sinon. En l'espèce, la valeur prédite est un +, la valeur réelle un -, donc l'indicateur IP du premier signe EDO est fixé à 1.
En E55, on code l'indicateur IP obtenu . On met par exemple en œuvre une technique de codage entropique connue, telle que par exemple un codage de Huffman, codage arithmétique ou encore codage CABAC utilisé dans la norme HEVC. On obtient une valeur codée de l'indicateur de prédiction.
Selon l'invention, du fait que seuls sont prédits les éléments de description qui sont associés à un score représentatif d'un niveau de fiabilité suffisant, l'indicateur de prédiction prend plus souvent la valeur 1 que la valeur 0. Ceci est mis à profit par le codage entropique pour réduire la taille du signal compressé.
Avantageusement, le codage entropique tient compte du score S associé au signe prédit pour coder l'indicateur IP. Par exemple, dans le mode de réalisation de l'invention selon lequel le score a une valeur comprise entre 0 (faible fiabilité de la prédiction) et 10 (haute fiabilité de la prédiction), le codage entropique des indicateurs est paramétré en tenant compte du score, de façon à exploiter la répartition plus ou moins uniforme des indicateurs. Par exemple, on utilise un codage entropique de type CABAC, connu de la norme HEVC, en initialisant les probabilités utilisées dans CABAC en fonction des scores prédéterminés.
En Ε5ε, on teste si le premier signe EDo est le dernier de la séquence. Si c'est le cas, le traitement de l'étape E5 est fini, car la séquence ne comprenait qu'un seul élément. Sinon, on met à jour la séquence courante Seqc en E57, en supprimant le premier élément EDo qui vient d'être traité. Le deuxième élément EDi de la séquence initiale devient donc premier et on a terminé la première itération.
Au cours de la deuxième itération, on traite l'élément EDi, devenu premier de la séquence courante. Les étapes E52 à Ε5ε sont répétées de la façon suivante :
A ce stade deux modes de réalisation de l'étape E52 sont envisagés :
Selon une première option, on réutilise les combinaisons calculées pour la séquence initiale, déjà exploitées pour la première itération. On suppose donc qu'elles ont été enregistrées dans une mémoire. Parmi les K combinaisons de la première itération, on élimine celles pour lesquelles So n'a pas sa valeur réelle. On ne conserve donc que les 4 combinaisons CT4 à CT7 pour lesquelles So vaut -, et leurs coûts associés :
CT4=FE({-,+,+})
CT5 = FE({-, + ,-}) CT5 = FE({-,-, + })
CT7 = FE({-,-,-})
De nouveau on identifie celle qui obtient le coût minimal. Par exemple, on suppose qu'il s'agit de Cb6 avec le coût CT6.
Selon une deuxième option, on recalcule les coûts associés aux combinaisons de la nouvelle séquence courante. La séquence courante Seqc comprend M =2 éléments. Il y a K = 22 combinaisons possibles. On évalue donc les 4 combinaisons possibles à l'aide d'une fonction d'évaluation qui peut être différente de celle mise en œuvre à la première itération. Par exemple, on utilise une mesure de l'énergie des coefficients du bloc résidu virtuel décodé DVs et on choisit la combinaison qui minimise cette mesure. Cette fonction d'évaluation est plus précise, mais aussi plus complexe à calculer et donc mieux adaptée à des séquences plus courtes.
On comprend que les combinaisons et les coûts calculés pour une itération précédente ne sont pas conservés pour l'itération suivante. En E53, on prédit le signe si à - ce qui correspond à sa valeur dans la combinaison sélectionnée.
En E54, on calcule l'indicateur de prédiction IP correspondant. La valeur réelle de si étant égale à +, l'indicateur IP vaut 1.
En E55, on code l'indicateur de prédiction IP obtenu pour si ;
En Ε5ε, on teste si le signe si est le dernier de la séquence courante.
Ce n'est pas le cas, on met donc à jour la séquence courante en supprimant si. La nouvelle séquence courante ne comprend plus que le signe S2.
On réalise la troisième et dernière itération de façon similaire.
En E52, sachant que so vaut - et si vaut +, les combinaisons de valeurs possibles restantes sont CT4 et CT5. On suppose que le coût minimal est CT5. On choisit donc la combinaison Cb4.
En E53, on prédit S3 à la valeur qu'il prend dans la combinaison Cb4, à savoir + .
En E54, on calcule l'indicateur de prédiction IP correspondant. La valeur réelle de S2 étant égale à +, l'indicateur IP indique une prédiction correcte et vaut 0.
En E55, on code l'indicateur de prédiction calculé.
En Ε5ε, on teste s'il reste des éléments de description à traiter dans la séquence. s2 étant le dernier, le traitement de l'étape de codage E5 est terminé.
Dans le mode de réalisation qui vient d'être présenté, les itérations de l'étape E5 s'appliquent au premier élément de la séquence, laquelle est mise à jour par suppression du premier élément une fois traité. Ce mode de réalisation présente l'avantage de réduire à chaque itération la longueur de la séquence courante à traiter.
Néanmoins, l'invention ne se limite pas à ce choix d'implémentation. On peut alternativement conserver la séquence initiale et faire progresser l'indice de l'élément courant à chaque nouvelle itération de l'étape E5. Dans ce cas, l'option qui consiste à calculer préalablement les coûts associés à toutes les combinaisons de valeurs possibles de la séquence initiale et à les mémoriser, est la plus adaptée.
En E6, on construit le bloc décodé, en appliquant au résidu quantifié RQ les étapes de déquantification et de transformée inverse (connues en soi). On obtient un bloc résidu décodé RD. On ajoute à RD le bloc prédicteur P pour obtenir le bloc décodé BD. Au cours de cette étape on vient également ajouter le bloc décodé BD à l'image reconstruite ID. Ceci permet de disposer dans le codeur d'une version décodée de l'image courante. Cette version décodée est utilisée dans notamment au cours de l'étape de construction d'une prédiction des signes sélectionnés pour être prédits.
On passe à l'étape E7 d'insertion dans le train binaire TB ou dans un fichier compressé des données codées représentatives des indicateurs de prédiction IP et des éléments de description non prédits pour le bloc courant C.
En E8, on vient tester si le bloc courant est le dernier bloc à traiter par l'unité de codage, compte tenu de l'ordre de parcours défini précédemment. Si oui, l'unité de codage a terminé son traitement. Si non, l'étape suivante est l'étape E0 de sélection du bloc suivant.
Dans un autre mode de réalisation, on sélectionne des éléments de description à prédire d'un autre type que les signes. On considère en particulier l'élément de description M indicatif du mode de prédiction INTRA/INTER (dans la norme HEVC, un tel élément de description porte le nom « pred_mode_flag »), l'élément de description A indicatif de l'amplitude du premier coefficient résidu quantifié pour le bloc courant (dans la norme HEVC, un tel élément de description porte le nom « coeff_abs_level_remaining ») et l'élément de description T indicateur de l'utilisation ou non d'une transformée inverse (dans la norme HEVC, un tel élément de description porte le nom « transform_skip_flag »).
Dans la norme HEVC par exemple, un élément M peut prendre une valeur comprise entre 0 et 34. Un élément A peut prendre des valeurs comprises entre 0 et 215-1.
Pour le bloc courant, l'ensemble de départ est constitué des éléments de description {M, A,T}. On considère dans cet exem ple que, pou r le bloc courant C, et en fonction des informations contextuelles, il est trouvé lors de l'étape E2 que le score de T est inférieur au seuil nécessaire Th, tandis que M et A ont un score supérieur. Le sous-ensemble SE est donc {M, A}.
Le train binaire TB est destiné à être présenté en entrée d'un décodeur, local ou distant. Par exemple, un signal portant le train binaire est transmis au décodeur par l'intermédiaire d'un réseau de communication.
En relation avec la Figure 5, on présente maintenant les étapes du procédé de décodage d'une image numérique codée selon un exemple de réalisation de l'invention. On suppose qu'un train binaire TB a été reçu par un dispositif de décodage mettant en œuvre le procédé de décodage selon l'invention. En variante, le dispositif de décodage obtient un fichier compressé FC.
En DO, on commence par sélectionner comme bloc courant C le premier bloc à traiter. Par exemple, il s'agit du premier bloc (dans l'ordre lexicographique). Ce bloc comporte NxN pixels.
En Dl, on traite le bloc C courant en mettant en œuvre le schéma de décodage, correspondant au schéma de codage utilisé par l'encodeur, par exemple tel que spécifié dans la norme HEVC. En particulier, au cours de cette étape, on identifie un ensemble d'éléments ED de description des données à décoder pour le bloc courant C.
On réalise en outre une prédiction P' du bloc à décoder C. Les informations de prédiction liées à P' sont lues dans le train binaire ou fichier compressé et décodées. On décode donc l'information de mode de prédiction.
On décode aussi les informations d'amplitude du résidu à décoder RQ' sont lues dans le train binaire ou le fichier compressé et décodées. On connait donc maintenant les amplitudes des RQ'[i], mais pas encore les signes.
En D2, le procédé de décodage selon l'invention met en œuvre l'étape de sélection des éléments de description à prédire parmi les éléments de description déterminés. Cette étape a déjà été décrite en détails pour le procédé de codage en relation avec les Figu res 2 et 3. Les éléments de description à prédire sont avantageusement sélectionnés en fonction de scores prédéterminés. Un ensemble SE est obtenu .
A l'issue de cette étape, on connait les valeurs décodées des éléments de description du bloc qui n'ont pas été prédits parce qu'ils étaient associés à un score Sj inférieur à un seuil Th prédéterminé. Au cours d'une étape D3, le procédé lit dans le train binaire TB les données codées relatives aux éléments de description du bloc courant non prédits et les décode.
En D4, il ordonne les éléments de l'ensemble SE obtenu en u ne séquence initiale Seq,, par scores décroissants, comme déjà décrit pour le procédé de codage selon l'invention. L'étape D5 de décodage des éléments de description à prédire va maintenant être détaillée dans un mode de réalisation particulier. On notera qu'elle est très similaire à l'étape E5 mise en œuvre par le procédé de codage selon l'invention qui vient d'être décrit.
En D5i on considère une séquence courante Seqc que l'on initialise à la séquence initiale
Seqi.
Les étapes suivantes (D52 à D56) forment une boucle itérative qui sera répétée plusieurs fois, en fonction du nombre M d'éléments de description à prédire sélectionnés dans la séquence Seqc.
En D52, on sélectionne la meilleure combinaison au sens d'une fonction d'évaluation FE, la même que celle utilisée par le procédé de codage qui a produit le train binaire à décoder, parmi les combinaisons de valeurs possibles de la séquence courante Seqc. Comme déjà évoqué pour le procédé de codage, il existe plusieurs fonctions d'évaluation possibles. Dans la suite, on considère une mesure de distorsion le long d'une frontière avec des blocs précédemment traités et on sélectionne la combinaison de valeurs qui minimise cette mesure.
Au cours d'une première itération, on décode le premier élément de description de la séquence Seqc. Dans la suite, on suppose que les éléments de description sont des signes.
A l'aide de la fonction de coût, on génère les coûts correspondant à chaque hypothèse ou combinaison possible pour l'ensemble des signes à prédire. Ainsi, supposons que M =3, et On va générer les coûts suivants :
CTo = FE({ + , + , + }) CT! = FE({ + , + ,-})
CT2 = FE({+,-, + })
CT3 = FE({+,-,-})
CT4=FE({-, + ,+})
CT5 = FE({-, + ,-}) CT5 = FE({-,-, + }) CT7 = FE({-,-,-})
Ce sont les 8 coûts correspondant aux 8 hypothèses possibles sur les signes à prédire. On suppose que le coût minimal est CT2.
En D53, on prédit la valeur du premier signe sO par sa valeur dans la combinaison Cb2. Il s'agit d'un +.
En D54, on décode l'indicateur de prédiction IP correspondant à ce premier signe sO, à partir de données codées extraites du train binaire ou fichier compressé. Cet indicateur indique si le signe prédit a été correctement prédit ou non. Par exemple, on suppose que la valeur décodée est un 1 et qu'elle est associée à une prédiction incorrecte. En D55, on en déduit que la valeur décodée du signe sO est un -.
En D56, on teste si l'élément EDo est le dernier de la séquence cou rante. Si c'est le cas, le traitement s'achève. Sinon, on met à jour la séquence courante en D57 en supprimant l'élément EDo = sO qui vient d'être décodé.
Au cours d'une deuxième itération, on traite le deuxième élément S2, devenu premier de la séquence courante.
En D52, on considère les combinaisons Cbk, pour lesquelles So a sa valeur décodée, les autres étant éliminées.
Dans l'exemple considéré, la valeur réelle de so est -, donc on compare les coûts suivants :
CT4=FE({-, + ,+}) CT5 = FE({-, + ,-})
CT5 = FE({-,-, + })
CT7 = FE({-,-,-})
Ces 4 coûts correspondent aux 4 hypothèses possibles sur les signes qui restent à prédire, connaissant la valeur décodée de celui qui a déjà été traité. CT6 est identifié comme le coût minimal
En D53, on prédit si par sa valeur dans la combinaison Cb6, c'est-à-dire un -.
En D54, on décode l'indicateur IP correspondant à D2 à partir des données codées extraites du train binaire ou fichier compressé, un indicateur est décodé, qui indique si le signe prédit est égal ou différent du signe réel. Dans notre exemple, supposons que la valeur décodée de IP soit 0, ce qui signifie que la prédiction de ce signe est correcte.
En D55, on en déduit que si vaut -.
En D56, on teste si si est le dernier élément. Comme ce n'est pas le cas, on met à jour la séquence courante en D57, en supprimant si . La nouvelle séquence Seqc est réduite à l'élément S2.
Au cours d'une troisième et dernière itération, on décode le dernier signe S2.
En D52, on considère les combinaisons de valeurs de la séquence initiale Seq, pou r lesquelles les éléments de description déjà traités sO et si prennent leur valeur décodée.
On compare donc les coûts suivants : CT5 = FE({-,-, + })
CT7 = FE({-,-,-})
On identifie CT6 comme le coût minimal.
Alors, le dernier signe S2 dans l'ordre prédéfini est prédit, en D53, par sa valeur dans la combinaison Cb6 : il s'agit d'un +. Ensuite, un indicateur IP associé au signe S2 est décodé en D54. Il indique si le signe S2 a été correctement prédit ou non. Dans notre exemple, supposons que la valeur décodée soit 0, ce qui correspond à une prédiction correcte.
On en déduit en D55 que la valeur décodée de S2 est le signe + .
En D56, on constate que S2 est le dernier élément à traiter. Comme pour l'encodage, on notera que l'invention ne se limite pas au mode de réalisation qui vient d'être présenté. D'autres choix d'implémentation peuvent être faits, comme par exemple celui que conserver la séquence à sa longueur initiale, de mettre à jour l'indice de l'élément courant, initialisé au premier élément de description EDo et de mettre fin aux itérations u ne fois le dernier élément EDM-i traité. On passe ensuite à l'étape D6 de reconstruction du bloc courant C à partir des éléments de description décodés, EP prédits (D5) et ENP non prédits (Û3),des informations d'amplitude des coefficients du bloc résidu RQ' et de la prédiction P' obtenus en Di. Pour ce faire, on commence par déquantifier le bloc RQ' pour obtenir un bloc déquantifié. Ceci est réalisé par des moyens adaptés à la quantification utilisée lors du codage (déquantification scalaire, déquantification vectorielle...), connus de l'homme de métier.
On applique ensuite au résidu déquantifié une transformée inverse de celle utilisée au codage. On obtient alors le résidu décodé.
On reconstruit enfin le bloc décodé BD' en ajoutant le résidu décodé à la prédiction P'.
Ce bloc est intégré à l'image en cours de décodage.
Au cours d'une étape D7, on vient tester si le bloc courant est le dernier bloc à traiter, compte tenu de l'ordre de parcours des blocs, défini précédemment. Si oui, le décodage est terminé. Si non, l'étape suivante est l'étape Do de sélection du bloc suivant et les étapes du procédé de décodage sont répétées.
Selon l'invention, du fait que tous les éléments de la séquence initiale sélectionnés en fonction des scores prédéterminés sont prédits, on sait donc dès l'issue de l'étape D2 combien d'indicateurs de prédiction IP sont à extraire du train binaire ou du fichier compressé. On comprend que cela permet d'implémenter une mise en œuvre de l'invention qui décorrèle les opérations de lecture et d'analyse des données codées contenues dans le train binaire ou fichier compressé (pour « parsing », en anglais) des opérations de traitement du bloc courant conformément au schéma de codage/décodage mis en œuvre. Par exemple, on pourrait organiser le décodage en utilisant un composant spécifique pour l'analyse/lecture des données codées dans le train binaire et un autre pour les opérations de reconstruction des blocs décodés. Un avantage de cette indépendance de parsing est de permettre une parallélisation des opérations de décodage.
On notera que l'invention qui vient d'être décrite, peut être mise en œuvre au moyen de composants logiciels et/ou matériels. Dans cette optique, les termes « module » et « unité », utilisés dans ce document, peuvent correspondre soit à un composant logiciel, soit à un composant matériel, soit encore à un ensemble de composants matériels et/ou logiciels, aptes à mettre en œuvre la ou les fonctions décrites pour le module ou l'unité concerné(e).
En relation avec la figure 6, on présente maintenant un exemple de structure simplifiée d'un dispositif 100 de codage d'une image numérique et d'un dispositif 200 de décodage d'un train binaire selon l'invention. Le dispositif 100 met en œuvre le procédé de codage selon l'invention qui vient d'être décrit en relation avec la Figure 2. Seuls les principaux éléments relatifs à la mise en œuvre de la technique selon l'invention sont illustrés.
Par exemple, le dispositif 100 comprend une unité de traitement 110, équipée d'un processeur μι, et pilotée par un programme d'ordinateur Pgi 120, stocké dans une mémoire 130 et mettant en œuvre le procédé de selon l'invention.
A l'initialisation, les instructions de code du programme d'ordinateur Pgi 120 sont par exemple chargées dans une mémoire RAM avant d'être exécutées par le processeur de l'unité de traitement 110. Le processeur de l'unité de traitement 110 met en œuvre les étapes du procédé décrit précédemment, selon les instructions du programme d'ordinateur 120. Dans cet exemple de réalisation de l'invention, le processeur 110 est apte à et configuré pour : traiter (PROC) un bloc courant et obtenir un ensemble d'éléments de description de ce bloc ;
sélectionner (SEL) un sous-ensemble d'éléments de description à prédire parmi un ensemble d'éléments de description du bloc, en fonction de scores associés auxdits éléments;
ordonner (ORDER) les éléments de description du sous-ensemble en une séquence, dit séquence initiale, en fonction desdits scores ;
Encoder (COD) les éléments de la séquence ordonnée.
Le dispositif 100 est en outre configuré pour encoder les éléments non prédits (ENC ENP) et pour reconstruire le bloc décodé BD et l'image décodée (RECONST).
Selon un mode de réalisation de l'invention, l'encodage des éléments de la séquence initiale comprend au moins deux itérations des unités suivantes, configurées pour et aptes à être appliquées à une séquence dite courante, initialisée à la séquence initiale : sélection (SEL Cbk) d'une combinaison de valeurs des éléments de description de la séquence courante parmi une pluralité de combinaisons possibles en fonction d'un critère de coût prédéterminé et, à partir du deuxième élément, de valeurs d'éléments de description précédemment traités de la séquence initiale; prédiction (PRED) du premier élément de la séquence par sa valeur dans la combinaison sélectionnée ; codage (COD IP) d'un indicateur représentatif d'une différence entre la valeur de l'élément courant et la valeur prédite, et
Mise à jour (UPD Seqc) de la séquence courante par suppression du premier élément.
Selon un mode de réalisation de l'invention, le dispositif 100 comprend en outre une unité Mi de stockage des contextes de codage des coefficients, des scores prédéterminés associés à chacu n de ces contextes, des valeurs prédites pour les éléments de description sélectionnés et de la pluralité de combinaisons de valeurs de la séquence d'éléments de description à prédire sélectionnés.
Ces unités sont pilotées par le processeur μι de l'unité de traitement 110.
De façon avantageuse, un tel dispositif 100 peut être intégré à un équipement terminal d'utilisateur TU, tel qu'un encodeur, un ordinateur personnel, une tablette, une caméra numérique, un téléphone mobile intelligent (pour « smartphone », en anglais), etc. Le dispositif 100 est alors agencé pour coopérer au moins avec le module suivant du terminal TU : un module E/R d'émission/réception de données, par l'intermédiaire duquel le train binaire TB ou le fichier compressé FC est transmis dans un réseau de télécommunications, par exemple un réseau filaire, radio, ou hertzien.
Le dispositif de décodage 200 met en œuvre le procédé de décodage selon l'invention qui vient d'être décrit en relation avec la Figure 5.
Par exemple, le dispositif 200 comprend une unité de traitement 210, équipée d'un processeur μ2, et pilotée par un programme d'ordinateur Pg2 220, stocké dans une mémoire 230 et mettant en œuvre le procédé de selon l'invention.
A l'initialisation, les instructions de code du programme d'ordinateur Pg2 220 sont par exemple chargées dans une mémoire RAM avant d'être exécutées par le processeur de l'unité de traitement 210. Le processeur de l'unité de traitement 210 met en œuvre les étapes du procédé décrit précédemment, selon les instructions du programme d'ordinateur 220. Dans cet exemple de réalisation de l'invention, le dispositif 200 est apte à et configuré pour :
Identifier (IDENT) un ensemble d'éléments de description du bloc courant à partir de données du train binaire ; Sélectionner (SEL) un sous-ensemble d'éléments de description à prédire dans l'ensemble identifié, en fonction de scores associés auxdits éléments;
Ordonner (ORDER) les éléments de description du sous-ensemble en une séquence, dit séquence initiale, en fonction desdits scores ;
Décoder (DEC) les éléments de la séquence ordonnée;
Selon l'invention, le décodage des éléments de la séquence initiale comprend au moins deux itérations des unités suivantes, configurées pour et aptes à être appliquées à une séquence dite courante, initialisée à la séquence initiale :
Sélection (SEL Cbk) d'une combinaison de valeurs des éléments de description de la séquence courante parmi une pluralité de combinaisons possibles en fonction d'un critère de coût prédéterminé et de valeurs d'éléments de description précédemment traités de la séquence initiale;
Prédiction (PRED) du premier élément de la séquence par sa valeur dans la combinaison sélectionnée ;
Décodage (DEC IP) d'un indicateur représentatif d'une différence entre la valeur décodée de l'élément courant et la valeur prédite, à partir de données codées extraites du train binaire,
Obtention (GET DEDo) de la valeur décodée de l'élément courant à partir de l'indicateur décodé et de la valeur prédite ; et
Mise à jour (UPD Seqc) de la séquence courante par suppression du premier élément décodé.
Le dispositif 200 est en outre configuré pour décoder les éléments non prédits (DEC ENP) et pour reconstruire le bloc décodé BD et l'image décodée (RECONST).
Le dispositif 200 comprend en outre une unité M2 de stockage des contextes de codage des coefficients, des scores prédéterminés associés à chacun de ces contextes, des valeurs prédites pour les éléments de description sélectionnés pour un bloc C et des combinaisons Cbk de valeurs des éléments de description de la séquence à prédire sélectionnés.
Ces unités sont pilotées par le processeur μ2 de l'unité de traitement 210. De façon avantageuse, un tel dispositif 200 peut être intégré à un terminal d'utilisateur TU, par exemple un décodeur, un boîtier de connexion TV (pour « Set-Top-Box », en anglais), un téléviseur numérique, un ordinateur, une tablette, un téléphone mobile intelligent, etc. Le dispositif 200 est alors agencé pour coopérer au moins avec le module suivant du terminal TU : - un module E/R d'émission/réception de données, par l'intermédiaire duquel le train binaire
TB ou le fichier compressé FC est reçu du réseau de télécommunications. un module DISP d'affichage des images numériques décodées.
L'invention qui vient d'être présentée peut trouver de nombreuses applications, en particulier dans le cadre d'une compression de signal vidéo, audio (paroles, son), d'images fixes, d'images acquises par un module d'imagerie médicale. Elle s'applique par exemple aussi bien aux contenus bidimensionnels (2D), tridimensionnels (3D) incluant une carte de profondeur, ou encore d'images multispectrales (dont les intensités de couleur sont différentes des trois bandes rouge vert bleu) ou enfin d'images intégrales.
Il va de soi que les modes de réalisation qui ont été décrits ci-dessus ont été donnés à titre purement indicatif et nullement limitatif, et que de nombreuses modifications peuvent être facilement apportées par l'homme de l'art sans pour autant sortir du cadre de l'invention.

Claims

Procédé de codage d'une image numérique, ladite image (Im) étant divisée en une pluralité de blocs de pixels (C) traités dans un ordre défini, ledit procédé comprenant les étapes suivantes, mises en œuvre pour un bloc courant :
Traitement (El) du bloc courant destiné à fournir un ensemble d'éléments de description du bloc traité ;
Sélection (E2) d'un sous-ensemble d'au moins deux éléments de description à prédire dans l'ensemble fourni;
Ordonnancement (E4) des éléments de description du sous-ensemble en une séquence ordonnée;
Codage (E5) des éléments de la séquence;
ledit procédé étant caractérisé en ce que l'étape de codage des éléments de la séquence comprend un parcours des éléments de la séquence et comprend, pour un élément courant, les sous-étapes suivantes :
Sélection (E52) d'une combinaison de valeurs prédites des éléments de description de la séquence parmi une pluralité de combinaisons en fonction d'un critère de coût prédéterminé et, à partir du deuxième élément, de valeurs réelles d'éléments de description précédemment parcourus dans la séquence;
Prédiction (E53) de l'élément courant de la séquence par sa valeur dans la combinaison sélectionnée ; et
Codage (E5s) d'un indicateur représentatif d'une différence entre la valeur réelle de l'élément courant et sa valeur prédite,
Procédé de codage d'une image numérique selon la revendication 1, caractérisé en ce que l'étape (E4) d'ordonnancement produit une séquence initiale (Seq,), l'étape de codage (E5) prend comme élément courant le premier élément (EDo) d'une séquence courante initialisée à la séquence initiale et comprend, une fois le premier élément courant parcouru, une sous-étape (E57) de mise à jour de la séquence courante par suppression du premier élément. Procédé de codage d'une image numérique selon l'une des revendications précédentes, caractérisé en ce qu'il comprend une étape préalable de calcul des coûts associés à la pluralité de combinaisons de valeurs de la séquence ordonnée, u ne étape de mémorisation de la pluralité de combinaisons et de leurs coûts associés et en ce que l'étape de sélection (E52) sélectionne, pour l'élément courant, une combinaison de valeurs de la séquence ordonnée pour laquelle les éléments précédemment parcourus ont leurs valeurs réelles.
Procédé de codage d'une image numérique selon l'une des revendications 1 ou 2, caractérisé en ce que l'étape de sélection comprend, pour l'élément courant, une sous- étape de calcul des coûts associés aux combinaisons de valeurs possibles de la séquence courante en fonction d'un critère de coût qui dépend des valeurs réelles des éléments précédemment parcourus.
Procédé de codage d'une image numérique selon l'une des revendications précédentes, caractérisé en ce que l'étape de sélection sélectionne un sous-ensemble d'éléments de description à prédire en fonction de scores prédéterminés, un score prédéterminé étant représentatif d'un niveau de fiabilité de la prédiction de l'élément de prédiction auquel il est associé et en ce que l'étape d'ordonnancement ordonne les éléments à prédire en fonction desdits scores.
Procédé de codage d'une image numérique selon l'une des revendications précédentes, caractérisé en ce que le critère de coût prédéterminé appartient à un groupe comprenant au moins : un critère de minimisation d'une distorsion le long d'une frontière du bloc courant avec un bloc précédemment traité ; un critère de proximité avec une valeur prédéterminée ; un critère de minimisation d'une mesure d'énergie d'une différence entre le bloc courant une prédiction du bloc courant ;
Dispositif (100) de codage d'une image numérique, ladite image (Im) étant divisée en une pluralité de blocs de pixels traités dans un ordre défini, ledit dispositif comprenant une machine de calcul reprogrammable ou une machine de calcul dédiée, apte à et configurée pour :
- Traiter (PROC) un bloc courant et fournir un ensemble d'éléments de description du bloc traité ; - Sélectionner (SEL) un sous-ensemble d'au moins deux éléments de description à prédire dans l'ensemble fourni;
- Ordonner (ORDER) les éléments de description du sous-ensemble en une séquence ordonnée;
- Coder (COD) les éléments de la séquence ordonnée;
ledit dispositif étant caractérisé en ce que le codage des éléments de la séquence comprend un parcours des éléments de la séquence et, pour un élément courant, est apte à et configuré pour :
Sélectionner (SEL Cbk) une combinaison de valeurs prédites des éléments de description de la séquence parmi une pluralité de combinaisons en fonction d'un critère de coût prédéterminé et, à partir du deuxième élément, de valeurs réelles d'éléments de description précédemment parcourus dans la séquence;
Prédire (PRED) l'élément courant de la séquence par sa valeur dans la combinaison sélectionnée ; et
Coder (COD IP) un indicateur représentatif d'une différence entre la valeur réelle de l'élément courant et sa valeur prédite.
Procédé de décodage d'une image numérique (Im) à partir d'un train binaire (TB), ladite image étant divisée en une pluralité de blocs traités dans un ordre défini, le train binaire comprenant des données codées représentatives d'éléments de description des blocs de l'image, ledit procédé comprenant les étapes suivantes, mises en œuvre pou r un bloc (C), dit bloc courant :
Identification (Dl) d'un ensemble d'éléments de description du bloc courant à partir de données du train binaire ;
Sélection (D2) d'un sous-ensemble d'au moins deux éléments de description à prédire dans l'ensemble identifié;
Ordonnancement (D4) des éléments de description du sous-ensemble en une séquence ordonnée;
Décodage (D5) des éléments de la séquence ordonnée;
ledit procédé étant caractérisé en ce que l'étape (D5) de décodage des éléments de la séquence ordonnée comprend un parcours desdits éléments et comprend, pour un élément courant, les sous-étapes suivantes: Sélection (D52) d'une combinaison de valeurs prédites des éléments de description de la séquence parmi une pluralité de combinaisons en fonction d'un critère de coût prédéterminé et, à partir du deuxième élément, de valeurs décodées d'éléments de description précédemment parcourus dans la séquence;
Prédiction (D53) du premier élément de la séquence par sa valeur dans la combinaison sélectionnée ;
Décodage (D54) d'un indicateur représentatif d'une différence entre la valeur décodée de l'élément courant et la valeur prédite, à partir de données codées extraites du train binaire, et
Obtention (D5s) de la valeur décodée de l'élément courant à partir de l'indicateur décodé et de la valeur prédite.
Procédé de décodage d'une image numérique selon la revendication 8, caractérisé en ce que l'étape d'ordonnancement (D52) produit une séquence initiale (Seq,), l'étape de décodage (D54) prend comme élément courant le premier élément (EDo) d'une séquence courante, initialisée à la séquence initiale et comprend, une fois le premier élément courant traité, une sous-étape (D57) de mise à jour de la séquence courante par suppression du premier élément.
Procédé de décodage d'une image numérique selon la revendication 8, caractérisé en ce qu'il comprend une étape préalable de calcul des coûts associés à la pluralité de combinaisons de valeurs de la séquence initiale, une étape d'enregistrement de la pluralité de combinaisons et de leurs coûts associés et en ce que l'étape de sélection sélectionne une combinaison parmi les combinaisons enregistrées qui commencent par les valeurs décodées des éléments précédemment parcourus dans l'ordre de parcours.
Procédé de décodage d'une image numérique selon l'une des revendication 8 ou 9, caractérisé en ce que l'étape de sélection comprend, pour l'élément courant, un calcul des coûts associés aux combinaisons de valeurs possibles de la séquence courante en fonction d'un critère de coût qui dépend des valeurs décodées des éléments précédemment parcourus.
Dispositif (200) de décodage d'une image numérique (ID) à partir d'un train binaire (TB), ladite image étant divisée en une pluralité de blocs traités dans un ordre défini, le train binaire comprenant des données codées représentatives d'éléments de description des blocs de l'image, ledit dispositif comprenant une machine de calcul reprogrammable ou une machine de calcul dédiée, configurée pour et apte à, pour un bloc (C), dit bloc courant : Identifier (IDENT) un ensemble d'éléments de description du bloc courant à partir de données du train binaire ;
Sélectionner (SEL) un sous-ensemble d'au moins deux éléments de description à prédire dans l'ensemble identifié;
- Ordonner (ORDER) les éléments de description du sous-ensemble en une séquence ordonnée;
Décoder (DEC) les éléments de la séquence ordonnée;
ledit dispositif étant caractérisé en ce que le décodage des éléments de la séquence initiale comprend au moins deux itérations des unités suivantes, configurées pour et aptes à être appliquées à une séquence dite courante, initialisée à la séquence initiale :
Sélection (SEL Cbk) d'une combinaison de valeurs prédites des éléments de description de la séquence courante parmi une pluralité de combinaisons possibles en fonction d'un critère de coût prédéterminé et à partir du deuxième élément, de valeurs d'éléments de description précédemment décodés de la séquence initiale; - Prédiction (PRED) du premier élément de la séquence par sa valeur dans la combinaison sélectionnée ;
Décodage (DEC IP) d'un indicateur représentatif d'une différence entre la valeur décodée de l'élément courant et la valeur prédite, à partir de données codées extraites du train binaire, et - Obtention (GET) de la valeur décodée de l'élément courant à partir de l'indicateur décodé et de la valeur prédite.
13. Signal portant un train binaire (TB) comprenant des données codées représentatives d'éléments de description de blocs de pixels d'une image numérique, lesdits blocs de pixels étant traités dans un ordre défini, caractérisé en ce que lesdites données codées sont obtenues conformément au procédé de codage selon l'une des revendications 1 à 6.
14. Terminal d'utilisateur (TU) caractérisé en ce qu'il comprend un dispositif de codage d'une image numérique selon la revendication 7 et un dispositif de décodage d'une image numérique selon la revendication 12.
15. Programme d'ordinateur (Pgi) comprenant des instructions pour la mise en œuvre du procédé de codage d'une image numérique selon l'une des revendications 1 à 6, lorsqu'il est exécuté par un processeur.
Programme d'ordinateur (Pg2) comprenant des instructions pour la mise en œuvre du procédé de décodage d'une image numérique selon l'une des revendications 8 à 11, lorsqu'il est exécuté par un processeur.
EP16829261.3A 2015-12-29 2016-12-16 Procédé de codage d'une image numérique, procédé de décodage, dispositifs, terminal d'utilisateur et programmes d'ordinateurs associés Pending EP3398330A1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1502721A FR3046321B1 (fr) 2015-12-29 2015-12-29 Procede de codage d'une image numerique, procede de decodage, dispositifs, terminal d'utilisateur et programmes d'ordinateurs associes
PCT/FR2016/053540 WO2017115028A1 (fr) 2015-12-29 2016-12-16 Procédé de codage d'une image numérique, procédé de décodage, dispositifs, terminal d'utilisateur et programmes d'ordinateurs associés

Publications (1)

Publication Number Publication Date
EP3398330A1 true EP3398330A1 (fr) 2018-11-07

Family

ID=55411444

Family Applications (1)

Application Number Title Priority Date Filing Date
EP16829261.3A Pending EP3398330A1 (fr) 2015-12-29 2016-12-16 Procédé de codage d'une image numérique, procédé de décodage, dispositifs, terminal d'utilisateur et programmes d'ordinateurs associés

Country Status (7)

Country Link
US (1) US10687082B2 (fr)
EP (1) EP3398330A1 (fr)
JP (2) JP2019507521A (fr)
KR (1) KR20180133378A (fr)
CN (1) CN108781292B (fr)
FR (1) FR3046321B1 (fr)
WO (1) WO2017115028A1 (fr)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10848763B2 (en) * 2018-11-14 2020-11-24 Tencent America LLC Method and apparatus for improved context design for prediction mode and coded block flag (CBF)
FR3092719A1 (fr) * 2019-02-07 2020-08-14 Orange Procédés et dispositifs de codage et de décodage d'un flux de données représentatif d'au moins une image.
FR3098073B1 (fr) * 2019-06-25 2021-09-24 Fond B Com Procédé de codage et de décodage d’une image d’une séquence vidéo et dispositif associé
US11978912B2 (en) * 2020-11-19 2024-05-07 The Research Foundation For The State University Of New York Atomically dispersed platinum-group metal-free catalysts and method for synthesis of the same

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101553850B1 (ko) * 2008-10-21 2015-09-17 에스케이 텔레콤주식회사 동영상 부호화/복호화 장치 및 그를 위한 적응적 가중치를 사용하는 적응 중첩 블록 움직임 보상 방법 및 장치
US9113196B2 (en) * 2008-11-10 2015-08-18 Lg Electronics Inc. Method and device for processing a video signal using inter-view prediction
JP5533886B2 (ja) * 2010-02-12 2014-06-25 富士通株式会社 画像符号化装置及び画像復号装置
WO2012042646A1 (fr) * 2010-09-30 2012-04-05 富士通株式会社 Appareil de codage de vidéo de mouvement, procédé de codage de vidéo de mouvement, programme informatique de codage de vidéo de mouvement, appareil de décodage de vidéo de mouvement, procédé de décodage de vidéo de mouvement, programme informatique de décodage de vidéo de mouvement
FR2977111A1 (fr) * 2011-06-24 2012-12-28 France Telecom Procede de codage et decodage d'images, dispositif de codage et decodage et programmes d'ordinateur correspondants
JP2014528190A (ja) * 2011-08-12 2014-10-23 テレフオンアクチーボラゲット エル エム エリクソン（パブル） カメラおよび／または深度パラメータのシグナリング
GB2496197A (en) * 2011-11-07 2013-05-08 Sony Corp Frequency Domain Video Data Reordering for Encoding
EP3576412B1 (fr) * 2011-11-08 2021-09-01 Nokia Technologies Oy Manipulation d'images de référence
CN108833926B (zh) * 2012-04-16 2021-12-21 三星电子株式会社 用于确定图像的参考画面集的方法和设备
WO2014115283A1 (fr) * 2013-01-24 2014-07-31 シャープ株式会社 Dispositif de décodage d'image et dispositif de codage d'image
EP3020202B1 (fr) * 2013-07-10 2019-09-04 Sharp Kabushiki Kaisha Signalisation de liste de mise à l'échelle et activation d'ensembles de paramètres
FR3012714A1 (fr) * 2013-10-25 2015-05-01 Orange Procede de codage et de decodage d'images, dispositif de codage et de decodage d'images et programmes d'ordinateur correspondants
JP6268989B2 (ja) * 2013-11-29 2018-01-31 富士通株式会社 動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラム
US10560710B2 (en) * 2014-01-03 2020-02-11 Qualcomm Incorporated Method for coding recovery point supplemental enhancement information (SEI) messages and region refresh information SEI messages in multi-layer coding
KR20160132858A (ko) * 2014-03-14 2016-11-21 삼성전자주식회사 샘플값 보상을 위한 영상 부호화 방법과 그 장치, 및 샘플값 보상을 위한 영상 복호화 방법과 그 장치
JP6417815B2 (ja) * 2014-09-19 2018-11-07 富士ゼロックス株式会社 情報処理装置及び情報処理プログラム
US10244256B2 (en) * 2014-10-08 2019-03-26 Sharp Kabushiki Kaisha Image decoding device
US10142626B2 (en) * 2014-10-31 2018-11-27 Ecole De Technologie Superieure Method and system for fast mode decision for high efficiency video coding
US11223852B2 (en) * 2016-03-21 2022-01-11 Qualcomm Incorporated Coding video data using a two-level multi-type-tree framework

Also Published As

Publication number Publication date
FR3046321B1 (fr) 2018-01-26
CN108781292B (zh) 2022-07-12
US10687082B2 (en) 2020-06-16
US20190007706A1 (en) 2019-01-03
JP2022043029A (ja) 2022-03-15
JP2019507521A (ja) 2019-03-14
KR20180133378A (ko) 2018-12-14
CN108781292A (zh) 2018-11-09
WO2017115028A1 (fr) 2017-07-06
FR3046321A1 (fr) 2017-06-30

Similar Documents

Publication Publication Date Title
WO2015197945A1 (fr) Procédé de codage d'une image numérique, procédé de décodage, dispositifs, et programmes d'ordinateurs associés
EP3209021B1 (fr) Support d'enregistrement mémorisant un flux de données d'images codées
EP2777270B1 (fr) Procédé de codage et décodage d'images, dispositif de codage et décodage et programmes d'ordinateur correspondants
EP3061246B1 (fr) Procédé de codage et de décodage d'images, dispositif de codage et de décodage d'images et programmes d'ordinateur correspondants
WO2017115028A1 (fr) Procédé de codage d'une image numérique, procédé de décodage, dispositifs, terminal d'utilisateur et programmes d'ordinateurs associés
WO2015055937A1 (fr) Procédé de codage et de décodage d'images, dispositif de codage et de décodage d'images et programmes d'ordinateur correspondants
EP3075155B1 (fr) Procédé de codage et de décodage d'images, dispositif de codage et de décodage d'images et programmes d'ordinateur correspondants
EP3646597B1 (fr) Procédé de décodage d'une image, procédé de codage, dispositifs, équipement terminal et programmes d'ordinateurs associés
EP3238449A1 (fr) Procede de codage d'une image numerique, procede de decodage, dispositifs et programmes d'ordinateurs associes
EP3520416B1 (fr) Procédé de codage d'une image, procédé de decodage, dispositifs, equipement terminal et programmes d'ordinateurs associés
EP3158749B1 (fr) Procédé de codage et de décodage d'images, dispositif de codage et de décodage d'images et programmes d'ordinateur correspondants
WO2016097556A1 (fr) Procédé de codage d'une image numérique, procédé de décodage, dispositifs, terminal d'utilisateur et programmes d'ordinateurs associes

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20180615

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20190903

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS