EP3254467A1 - Procede de codage d'une image numerique, procede de decodage, dispositifs, et programmes d'ordinateurs associes - Google Patents

Procede de codage d'une image numerique, procede de decodage, dispositifs, et programmes d'ordinateurs associes

Info

Publication number
EP3254467A1
EP3254467A1 EP16714466.6A EP16714466A EP3254467A1 EP 3254467 A1 EP3254467 A1 EP 3254467A1 EP 16714466 A EP16714466 A EP 16714466A EP 3254467 A1 EP3254467 A1 EP 3254467A1
Authority
EP
European Patent Office
Prior art keywords
block
transformed
coefficients
current block
transform
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP16714466.6A
Other languages
German (de)
English (en)
Inventor
Pierrick Philippe
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
B Com SAS
Original Assignee
Orange SA
B Com SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Orange SA, B Com SAS filed Critical Orange SA
Publication of EP3254467A1 publication Critical patent/EP3254467A1/fr
Withdrawn legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Definitions

  • the field of the invention is that of signal compression, in particular a digital image or a sequence of digital images, divided into blocks of pixels.
  • the encoding / decoding of digital images applies in particular to images from at least one video sequence comprising:
  • the present invention applies similarly to the coding / decoding of 2D or 3D type images.
  • the invention may notably, but not exclusively, apply to the video coding implemented in the current video codecs AVC (for "Advanced Video Coding” in English) and HEVC (for "High Efficiency Video Coding”). and their extensions (MVC, 3D-AVC, MV-HEVC, 3D-HEVC, Scalable AVC, Scalable HEVC, etc.), and the corresponding decoding.
  • AVC Advanced Video Coding
  • HEVC for "High Efficiency Video Coding”
  • a current block to be coded which constitutes an initial coding unit, is generally divided into a variable number of sub-blocks according to a predetermined cutting mode.
  • a sequence of digital images II, II, Ik, IK, with non-zero integer K is considered.
  • An Ik image is divided into initial coding units (CTUs) according to the terminology of the HEVC standard, as specified in the document "ISO / IEC 23008-2: 2013 - High efficiency coding and High quality video coding ", International Organization for Standardization, published November 2013.
  • Standard encoders typically provide regular partitioning based on square or rectangular blocks.
  • CU for "Coding Units” in English
  • the partitioning is always done from the initial, unpartitioned coding unit, and the final partitioning is calculated and reported from this neutral base. Examples of partitioning allowed by the HEVC standard are presented in connection with FIG. 2.
  • Each CU will undergo an encoding or decoding operation consisting of a series of operations, including in a non-exhaustive manner a prediction, a calculation of a residual , transformation, quantification and entropy coding. This series of operations is known from the prior art and presented in connection with FIG.
  • the first block CTU to be processed is selected as current block b. For example, this is the first block (in lexicographic order).
  • This block comprises NxN pixels, with N nonzero integer, for example equal to 64 according to the HEVC standard.
  • partitioning number I there are L partitions in possible PU blocks numbered from 1 to L, and that the partitioning used on block b corresponds to partitioning number I.
  • partitioning number I there can be 4 possible partitions, in sub-size blocks. 4x4, 8x8, 16x16, and 32x32 according to a regular "quad tree" type of cutting.
  • some PU blocks may be rectangular.
  • a prediction Pr of the original block b is determined. It is a prediction block constructed by known means, typically by motion compensation (block derived from a previously decoded reference image or intra prediction (block constructed from decoded pixels immediately adjacent to the current block in the image ID)
  • the prediction information related to P is encoded in the bit stream TB or compressed file FC
  • the prediction mode chosen for the current block b is the mk mode
  • Some prediction modes are associated with an Intra prediction, others with an INTER prediction, others with a prediction of the Intra type prediction. MERGE type prediction.
  • the residue R is transformed into a transformed residue block, called RT, by a DCT transform or wavelet transform, both known to those skilled in the art and in particular implemented in the JPEG / MPEG standards for the DCT and JPEG2000 for the wavelet transform.
  • the transformed residue RT is quantized by conventional quantization means, for example scalar or vector, into a quantized residual block RQ comprising as many coefficients as the residual block RQ contains pixels, for example Nb, with non-zero integer Nb. .
  • these coefficients are scanned in a predetermined order so as to constitute a one-dimensional vector RQ [i], where the index i varies from 0 to Nb-1.
  • the index i is called the frequency of the coefficient RQ [i].
  • these coefficients are scanned in increasing frequency order, for example along a zigzag path, which is known from the JPEG fixed image coding standard.
  • the amplitude information of the coefficients of the residual block RQ is encoded by entropy coding, for example according to a Huffman coding or arithmetic coding technique.
  • amplitude is meant here the absolute value of the coefficient.
  • one or more information relating to the amplitude is encoded.
  • CA amplitudes are obtained.
  • the signs of the non-zero coefficients are simply encoded by u n bit 0 or 1, each value corresponding to a given polarity.
  • Such coding obtains effective performances because, because of the transformation, the values of the amplitudes to be coded are for the most part zero.
  • each of the sub-blocks CU of the current block b are treated as previously described, a type of prediction (Inter or Intra) being authorized by CU.
  • a type of prediction Inter or Intra
  • the PU sub-blocks of a CU sub-block are all subject to the same type of prediction.
  • the coded data for each of the I possible partitionings are put into competition according to a rate-distortion criterion and the partitioning which obtains the best result according to this criterion is finally retained.
  • the transformation step plays a crucial role in such a video coding scheme: it is it that concentrates the information before the quantization operation.
  • a set of pixels before encoding is shown on a small number of transformed coefficients, also called non-zero frequencies representing the same information. So instead of transmitting a large number of coefficients, only a small number will be needed to faithfully reconstruct a block of pixels.
  • the efficiency of a transformation is commonly measured according to a criterion of energy concentration, also in the form of a coding gain: it represents, for a given bit rate, the reduction in distortion (expressed by the quadratic error average) when coding in the transformed domain rather than in the spatial domain.
  • the gain realized in distortion by the use of transforms can also be retranscribed in gain in flow: at high rate the gain in dB divided by a value of 6.02 makes it possible to approach the economy in realized flow, expressed in bit by pixel.
  • a linear transform can be expressed as a matrix as follows.
  • An orthogonal transform has the characteristic property that the inverse transformation matrix is the transposition of the direct transformation matrix.
  • such a transformation has the property:
  • A is the matrix presenting the direct transformation and I the identity matrix and c is a numerical value.
  • c is 1, matrix A is orthonormal.
  • the most used transforms are based on cosine bases. DCT is thus present in most image compression and video standards.
  • the HEVC standard has also introduced the DST (for "Discrete Sine Transform") for the coding of particular residues in the case of 4x4 blocks. In fact, approximations of these transforms are used, the computations being carried out on integers. In general, the bases of transforms are approximated to the nearest integer, on a given precision (usually 8 bits).
  • the transforms used by the HEVC standard on blocks of 4x4 size are presented: these are the DCT and DST transforms.
  • the values presented in this table are to be divided by 128 to find the quasi-orthonormal transformations.
  • a pixel block is transformed by the following operations:
  • A denotes the transformation matrix of size NxN, x represents the pixels or residual pixels to be transformed (spatial domain), X represents the block in the transformed domain (called the frequency domain) and t the transposition operator.
  • the pixel block in the transformed domain takes the form
  • Matrix A takes the form of a 4x4 matrix in our case, with coefficients equal to those shown in the tables of Figures 4A and 4B.
  • L represents the line-specific transform and C the column-specific transformation.
  • Xet x are then respectively the transformed pixels and in the spatial domain, put in the form of vectors. So for a 4x4 block they take the following form:
  • Ans is therefore of size 16x16 in this example and more generally of size N 2 xN 2 for a block of size NxN composed of N 2 pixels.
  • a non-separable transformation A ns is able to deal frontally with all the correlations between pixels of the spatial domain, in particular the diagonal correlations. For example, in the case of a 4x4 block, the direct correlation between the pixel x0 and x5, is reduced.
  • non-separable transformations have a significant impact in ROM and many operations compared to separable transformations.
  • the complexity ratio is greater than M / 2 for a block of size MxM.
  • an image coding method which selects types of transforms to be successively applied to the rows and columns of the block according to the prediction mode chosen for this purpose.
  • block for example a particular intra-directional prediction mode. More precisely, this method associates a first linear transform with the lines of the current block, for example a DCT, and a second linear transform, distinct from the first, with the columns of the block transformed by the first transform.
  • One advantage is to adapt to the fact that the set of columns and all the rows of the block do not necessarily have the same statistical properties.
  • the invention improves the situation.
  • the invention particularly aims to overcome these disadvantages of the prior art.
  • an object of the invention is to propose a solution that improves the compression performance of a digital image encoder, without requiring a significant increase in computing and memory resources.
  • a method of coding a digital image said image being divided into a plurality of blocks of pixels processed in a defined order, said method comprising the following steps, implemented for a current block, of predetermined dimensions:
  • Transformation of the current block into a transformed block said block comprising coefficients
  • said step implementing two successive transformation substeps, the first substep applying to the current block, the second subset to the intermediate block, resulting from the first sub-step, said intermediate block including coefficients, and
  • the method comprises a preliminary training step at least a first and a second distinct vector in the block to be transformed, a said vector comprising the pixels, respectively the adjacent coefficients of a sequence of length equal to one of the dimensions of the block to be transformed and said at least one sub- step comprises applying a first transform to said at least one first vector and at least one second transform, distinct from the first, to said at least one second vector of said block.
  • At least one of the two successive steps of the separable transformation applied to the current block implements at least two distinct transforms, which are applied to distinct vectors, of dimension equal to that of a line respectively of a column of the current block and formed from a sequence of neighboring elements of the current block.
  • the invention is based on a completely new and inventive approach to the coding of images by transforming the pixels of the current block in the spatial domain into coefficients in the frequency domain, which provides a different treatment for two vectors of the current block.
  • the invention takes into consideration the fact that that two distinct vectors of a block and the same dimension may have different statistical properties, which require a suitable linear transformation.
  • the invention has the same algorithmic complexity as the prior art, but allows either to improve the coding performance, ie to improve the quality of the coded picture sequence for a given bitrate, or to lower the coding rate for a given quality.
  • the method further comprises a preliminary step of determining the at least two distinct transforms to be applied to said vectors, at least as a function of at least one coding parameter of the current block.
  • an advantage of associating the choice of transforms with an encoding parameter is to adapt to the statistical variations of the block induced by the parameter in question.
  • the coding parameter considered is the size of the block or the prediction mode applied to it.
  • the encoder is not made more complex;
  • the determining step comprises reading information stored in memory, said information comprising at least the coding parameter, an identifier of the first transform, at least one identifier of the first vector of the block. or the intermediate block, an identifier of at least one second transform, distinct from the first and at least one second vector identifier of said block.
  • the determining step comprises reading information stored in memory, said information comprising at least the coding parameter, an identifier of the first transform, at least one identifier of the first vector of the block. or the intermediate block, an identifier of at least one second transform, distinct from the first and at least one second vector identifier of said block.
  • no additional information is reported in the bitstream, the data stored in memory being duplicated on the decoder side.
  • the memory is organized according to a database.
  • An entry in the database associates with a coding parameter transformation identifiers to be applied to vector identifiers.
  • said transformation step comprises a substep of rearranging the coefficients of the transformed vectors in the intermediate block, respectively transformed.
  • the coefficients obtained are rearranged so as to form a block of coefficients.
  • the coefficients of the first transformed vector are placed on the first line or the first column of the block.
  • the coding method further comprises the following steps of:
  • the transformation step is applied to the residual current block and said at least one coding parameter is the prediction mode of the current block.
  • the prediction mode is representative of the statistical properties of a residual block alone and that it is relevant to associate a particular choice of linear transforms with a particular value of this coding parameter.
  • the method comprises a step of encoding identification information of said at least one first transform and said at least one second transform.
  • the information relating to the linear transforms used is transmitted in the bit stream.
  • the first transform is applied to a first subset of the vectors of dimensions equal to that of a row, respectively to those of a column of the block and said at least one second transform is applied to a second subset of vectors of dimensions equal to that of a row of the block, respectively to those of a column of said block.
  • two transforms lines respectively distinct columns are implemented by transformation substep.
  • the two transforms are for example associated with a prediction mode of the current block.
  • said at least one transformation sub-step implements a distinct vector-sized transform equal to that of a row of the block, respectively to that of a column, formed in the block.
  • An advantage of this embodiment is that it makes it possible to finely adapt to the statistics of each vector of the block to be processed and to improve the performance of the encoder, in terms of quality and / or compression.
  • the vectors formed belong to a group comprising: "line" vectors formed of pixels respectively coefficients of a line of the current block;
  • vectors of length equal to that of a line of the block, formed of adjacent pixels respectively coefficients, neighbors of the current block coming from at least two lines of the block vectors of length equal to that of a column of the block, formed of pixels respectively adjacent coefficients of the current block from at least two columns of the block
  • the vectors formed are of the same size as the rows or columns of the current block in order to do not increase the complexity of the encoder.
  • a vector according to the invention is not necessarily formed exclusively from elements of the same line.
  • Nonlinear vectors can advantageously be formed of neighboring elements of the block coming from neighboring lines, which makes it possible to take better advantage of particular correlations between adjacent elements of the block considered, offline and columns. This case is particularly relevant for diagonal angular prediction modes, for which the blocks to be coded have diagonal patterns.
  • a coding device of a digital image comprising the following units, suitable for being implemented for a current block, of predetermined dimensions:
  • Transformation of the current block into a transformed block said block comprising coefficients
  • said step implementing two successive subunits of transformation, the first subunit applying to the current block, the second sub-unit to the intermediate block, resulting from the first sub-step, said intermediate block including coefficients
  • Such a device comprises a unit for forming at least a first and a second distinct vector in a block, called a block to be transformed, among the current block and the intermediate block, a said vector comprising the pixels, respectively the coefficients of a sequence of adjacent pixels, respectively adjacent coefficients, of length equal to one of the dimensions of the block to be transformed and in that the at least one transformation subunit comprises the application of a first transform at least said first vector and at least a second transform, distinct from the first audit at least a second vector of said block.
  • the invention also relates to a method of decoding a digital image from a bit stream comprising coded data representative of said image, said image being divided into a plurality of blocks processed in a defined order, said method comprising the following steps, implemented for a block, called current block:
  • the decoding method is particular in that: said at least one reverse transformation substep applies to a block, said block to be processed, among the transformed current block and the intermediate block, it comprises the applying a first inverse transform to at least a first vector of length equal to that of a line or a column of the block to be treated, and of at least a second inverse transform, distinct from the first, to at least one second vector of said block of length equal to that of a line or a column; and it furthermore comprises a substep of forming the treated block, by positioning sequences of adjacent coefficients, respectively adjacent pixels, of lengths equal to that of a column, respectively of a line, resulting from the processed vectors.
  • the method further comprises a preliminary step of determining the at least two distinct transforms to be applied to said first and second vectors of the block to be processed, at least as a function of a coding parameter of the current block. .
  • the determining step comprises reading in the bitstream coded data representative of identification information of said at least one first transform and said at least one second transform. According to yet another aspect of the invention, the determining step further comprises a preliminary substep of forming the first and second vectors in the block to be treated.
  • the determining step comprises reading information in a memory, said information comprising at least the coding parameter, an identifier of the first inverse transform, at least a first vector identifier, an identifier of at least one second inverse transform, distinct from the first, at least one second vector identifier of the block to be processed.
  • the inverse transformation step further comprises a substep, prior to said at least one substep of transforming, rearranging sequences of adjacent coefficients of the block to be processed in said first and second vectors, a said sequence having a length equal to one of the dimensions of the block to be processed.
  • the decoding method according to the invention therefore implements the inverse operations of that of the coding method which has just been described.
  • the reverse transformation substeps correspond to the inverse operations of those of transformation implemented by the coding method. They follow each other in the reverse order of the coding.
  • the substep of forming the block processed from sequences of adjacent coefficients, respectively adjacent pixels, from the processed vectors corresponds to the inverse operation of that of forming the vectors to be transformed, implemented by the coding method
  • the sub-step of rearranging sequences of adjacent coefficients of the block to be processed in said first and second vectors corresponds to the inverse operation of that of rearranging the coefficients of the vectors transformed in the transformed block, implemented by the coding method.
  • the method which has just been described in its various embodiments is advantageously implemented by a device for decoding a digital image, from a bit stream comprising coded data representative of said image, said image being divided into a plurality of blocks processed in a defined order, said device comprising the following units, which can be implemented for a block of predetermined dimensions, said current block: decoding of the coefficients of the current block transformed from data read in the bit stream;
  • the device is particular in that it comprises: at least one inverse transformation subunit of a block, said block to be processed, of the transformed current block and the intermediate block, comprises the application of at least a first transform inverse to at least a first vector of length equal to that of a line respectively column of the block to be treated and at least u second inverse transform, distinct from the first to at least a second vector of length equal to that of a row, respectively column, of said block to be treated; and in that the inverse transformation unit further comprises a reverse formation subunit of a block processed by positioning sequences of adjacent coefficients, respectively adjacent pixels, of lengths equal to that of a column, respectively of a line, from the processed vectors.
  • the invention further relates to a signal carrying a bit stream comprising coded data of a digital image, said image being divided into blocks of pixels.
  • a signal is particular in that it comprises, for a current block: coded data representative of an identification information of at least a first and a second transform, distinct from each other, placed implemented during the coding of the current block during a step of transforming the current block into a transformed block, comprising two successive substeps for transforming the current block into a transformed block, at least one transformation sub-step comprising applying a first transform to at least a first vector and at least a second transform, distinct from the first, to at least a second vector of a block, said block to be transformed, from the current block and the intermediate block, and
  • encoded data representative of at least the first and second vectors formed in the block to be transformed, from a sequence of adjacent pixels, respectively adjacent coefficients, said sequence having a length equal to one of the dimensions of the block to be transformed.
  • the invention also relates to a computer terminal comprising a coding device of a digital image according to the invention and a device for decoding a digital image according to the invention.
  • the invention also relates to a computer program comprising instructions for implementing the steps of a method of coding a digital image as described above, when this program is executed by a processor.
  • the invention also relates to a computer program comprising instructions for implementing the steps of a method of decoding a digital image as described above, when this program is executed by a processor.
  • These programs can use any programming language. They can be downloaded from a communication network and / or recorded on a computer-readable medium.
  • the invention finally relates to recording media, readable by a processor, integrated or not integrated with the encoding device of a digital image and the decoding device of a digital image according to the invention, possibly removable, respectively memorizing a computer program implementing an encoding method and a computer program implementing a decoding method, as described above.
  • FIG. 1 (already described) schematically illustrates a sequence of digital images to be encoded and the division into blocks of these images according to the prior art
  • FIG. 2 (already described) presents different possibilities of partitioning a block into sub-blocks according to the prior art
  • FIG. 3 (already described) shows schematically the steps of a coding method of a digital image according to the prior art
  • FIGS. 4A and 4B (already described) show two examples of approximated frequency transforms according to the prior art
  • FIG. 1 (already described) schematically illustrates a sequence of digital images to be encoded and the division into blocks of these images according to the prior art
  • FIG. 2 (already described) presents different possibilities of partitioning a block into sub-blocks according to the prior art
  • FIG. 3 shows schematically the steps of a coding method of a digital image according to the prior art
  • FIGS. 4A and 4B (already described) show two examples of approximated frequency transforms according to the prior art
  • FIG. 1 (already described
  • FIG. 5 presents a comparative table of complexity measurements of separable transforms and of non-separable transforms;
  • FIG. 6 schematically shows the steps of a method of coding a digital image according to one embodiment of the invention;
  • Figure 7A illustrates the elements of a current block;
  • FIGS. 7B, 7C and 7D illustrate examples of formation of "line" and "column" vectors from the elements of the current block of FIG. 7A, according to the invention;
  • Fig. 8A shows a first example of estimating pixel energy values of a current block and
  • Fig. 8B shows homogeneous regions determined in the block from the estimated energy levels;
  • Fig. 9A shows a second example of estimating pixel-level energy values of a current block, and
  • FIG. 9B shows homogeneous regions determined in the block from the estimated energy levels;
  • Figure 10 details the steps of forming vectors and transforming the vectors formed according to a second embodiment of the invention;
  • FIG. 11 shows the compression gains obtained by the coding method according to this second embodiment with respect to the prior art;
  • Figure 12 details the steps of vector formation and vector transformation formed according to a third embodiment of the invention;
  • FIG. 13 shows the compression gains obtained by the coding method according to this third embodiment with respect to the prior art;
  • Figure 14 schematically shows the steps of a method of decoding a digital image according to an embodiment of the invention;
  • FIG. 15 shows an example of a simplified structure of a device for coding a digital image and a device for decoding a digital image according to one embodiment of the invention.
  • the general principle of the invention is based on the application of distinct transforms to different vectors of dimension equal to that of a row, respectively of a column, of a block to be coded.
  • the images are encoded by an encoder, the encoded data are inserted a bit stream TB transmitted to a decoder via a communication network, or a compressed file FC, intended to be stored on a hard disk for example.
  • the decoder extracts the coded data, then received and decoded by a decoder in a predefined order known from the encoder and the decoder, for example in the temporal order II, then 12, and then IM, this order being able to differ according to the mode of the decoder. production.
  • a block to be processed is selected, referred to as the x block.
  • the x block is a block CU, square or rectangular, obtained by partitioning a block CTU.
  • this block x has for dimensions, a height H and a width W, non-zero integers.
  • the transformation step T2 of the current block x is separable and implemented according to two sub-stages of linear transformation: a first linear transformation sub-step T21 applied to vectors VI0 to HIV-1 of the block x, of dimension W, intended to provide an intermediate block XI comprising WxH coefficients;
  • a second linear transformation sub-step T24 applied to vectors Vc0 to VcW-1 of block XI, of dimension H, intended to supply the transformed X block.
  • the first substep could equally well apply to vectors Vc0 to VcW-1 of block x and the second substep to vectors VIO to HIV-1 of block XI .
  • At least one of the two transforming sub-steps T21, T24 is implemented from at least two distinct linear transforms, one of which applies to at least one first vector of dimension equal to that one line of the block and formed in the block of pixels x or in the intermediate block of coefficients XI and the other in at least one second vector of dimension equal to that of a line of the block and formed in this same block.
  • transformed vectors are obtained whose coefficients are rearranged in a block XI, X of dimension MxN in T22, T25.
  • predetermined rearrangement rules will be shared by the encoder and the decoder.
  • the transformation T2 produces a block X comprising transformed coefficients, ready to be traversed by a scanning order at T3, quantized at T4, and coded at T5. It should be noted that the steps T3 and T4 can be reversed.
  • T6 is tested whether the current block x is the last block to be processed by the coding unit, taking into account the coding run order defined above. If yes, the coding unit has finished processing and the encoded data is inserted into a TB bit stream. If no, the next step is the step of selecting the next block T0. This block becomes the current block to be processed, and the next step is the step T1 for determining the transforms to be applied to the current block, already described.
  • the TB bit stream can then be transmitted to a decoder.
  • the at least two transforms are implemented during the first transformation sub-step T21.
  • the first substep T21 implements transforms on vectors of dimension equal to that of a line of the current block x. and that the second substep T24 implements at least one transform on vectors of dimensions equal to that of a column and formed from the elements of the intermediate block XI.
  • the method implements a preliminary step T20 for forming H vectors VIo to HIV-I of length W from the pixels of the current block x.
  • these vectors are formed in such a way that each element of the current block is used in a single vector.
  • an example is a current block x of size 4x4. It includes 16 coefficients xO to xl5.
  • FIG. 7B a first example of VIO to VI3 vectors formed from the lines of the block x is presented.
  • a vector Vlh of this type corresponds to the line number h of the current block x.
  • FIG. 7D there is shown a second example of vectors VI0 to VI3 formed from 4 adjacent two by two elements of block x. These elements are not all from the same line.
  • the vector VI'O comprises three consecutive elements xO, x1, x2 of the first row of the block and 1 element x4 of the second row of the block, adjacent with the element xO of the first row. It is understood that this type of vector of dimension equal to that of a line can be advantageously used to follow a texture discontinuity present in the block and better exploit the correlation between the elements of the vector.
  • the coding method according to the invention then implements a step T2 for determining at least two distinct linear transforms LO, L1 to be applied to the vectors VIO to HIV-1 formed, at least a first transform OL to be applied to at least a vector Vlhl formed and at least a second transform L1 to be applied to at least one other vector Vlh2, with hl, h2 integers between 0 and Hl and hl ⁇ h2.
  • the differentiated transforms may be of the DCT or DST type or any other linear transform effective for coding. It is thus possible to use optimal transformations for decorrelation, namely KLT (for "Karhunen-Loeve Transform", in English), or optimized according to a distortion flow criterion as presented in the article by Sezer et al, entitled “Robust learning”. of 2D Separable Transforms for Next Generation Video Coding ", published in the Proceedings of the Conference Data Compression Conference (DCC) in 2011.
  • the at least two linear transformations are determined according to at least one encoding parameter of the current block, such as for example the size of the block, or the INTRA prediction mode chosen.
  • identifiers of linear transforms associated with a coding parameter value are stored in a memory of the encoder.
  • a database BD1 which comprises entries associating with an encoding parameter, such as for example the INTRA prediction mode previously mentioned, an identifier of the first transform, at least one identifier or subscript. vector of the block or intermediate block to which the first transform is applied, and an identifier of at least one second transform, distinct from the first and at least one identifier or index of second vector of said block to which the second transform applies.
  • the first region RI consists of the first three lines which have a constant pattern
  • the second region R2 consists of the last 5 lines which have a less constant profile, because of the more pronounced discontinuity on the first column.
  • two transforms L1, L2 have been determined, one applying to the line vectors of the RI region and the other to the line vectors of the region R2.
  • the coder applies a partition in two "line" transforms, each sharing a region.
  • a DCT-type transform or a transformation defined in the KLT sense, was chosen.
  • the DCT may be considered appropriate because it is ideally suited for the transformation of continuous patterns.
  • a transform capable of taking into account the more pronounced discontinuity on the first column for example DST, or a KLT-defined transformation.
  • the DST can be considered appropriate because it is suitable for the transformation of the patterns having a discontinuity in their beginning.
  • the average energy of the first pixel, on the left edge has a value significantly different from that of the other pixel energies.
  • an input associates with the prediction mode 26, the LO transform for the line vectors v1 to v12 and the L1 transform for the vl3 to v17 vector columns.
  • the average energy per pixel obtained for a residual signal obtained by off-line pre-analysis of blocks of size 8 ⁇ 8 coming from a given coding mode in this case the mode of prediction 19 as defined by HEVC.
  • This prediction mode has an angle of approximately -53 ° and performs diagonal prediction from top to bottom.
  • the energy variations between pixels delimit three zones R'1, R'2, R'3 shown in FIG. 9B. It is necessary to cut them in order to treat them by three distinct transforms associated with the regions R'1, R'2 and R'3 and adapted to their respective statistics.
  • the formed regions do not correspond to one or more rows of the block.
  • the vector Vlhl shown in Figure 9A corresponds to the region R'1.
  • an input of the database BD1 associates with the prediction mode 19, an identifier of the transform L'O, an identifier of the vector or vectors formed in the region R'1 and to which the transform L'O , an identifier of the transform L'1, an identifier of the vector or vectors formed in the region R'2 to which the transform L'2 is applied, an identifier of the transform L'3, an identifier of the vector or vectors formed in the region R'3 to which the transform is applied 3.
  • the coding method therefore determines how to form the vectors of dimensions equal to those of a line and determines the transforms to be applied to these vectors as a function of the prediction mode used, by reading the corresponding entry in the database BD1.
  • the coding method further calculates a correlation between the values of the residual pixels of the current block at the end of the prediction according to the INTRA prediction mode number 19 and the region pattern R'1, R'2. , R'3 which has just been presented.
  • the encoder decides to use the three transforms L'O, L'1, L'2.
  • the encoder applies the three transforms, adapted to the different zones, with transforms adapted to them. For example an adaptation in the sense of the KLT will be performed. It signals this choice to the decoder by inserting in the bitstream an encoded information representative of a pattern indicator associated with the INTRA prediction mode number 19.
  • the database BD1 potentially comprises several entries corresponding to the same coding parameter, each entry comprising a distinct pattern indicator, associated with different vectors and different transforms.
  • the decoder Upon receipt of the prediction mode information and the pattern retained by the encoder, the decoder will read in its database BD2 the identifiers of the vectors to be formed in the block and transforms to apply them. It will perform inverse transformations of those performed at the encoder.
  • the linear transforms are determined dynamically by pre-analysis of the current block to be encoded.
  • this pre-analysis implements known techniques of contour analysis using a gradient estimation. Contour detection is then exploited to determine at least two regions and assign them types of transforms, according to their characteristics, for example the homogeneity of their texture.
  • the identifiers of the determined linear transforms and the identifiers of the vectors concerned are signaled in the bit stream and transmitted to the decoder.
  • this contour analysis is conducted on one or more neighboring blocks already treated and combined with a hypothesis of continuity on the current block, for example as a function of an orientation of the contour in the neighboring block, relative to the current block.
  • the regions of the current block are then determined from those of the neighboring block already processed.
  • the coder signals to the decoder the neighboring block from which the regions, and therefore the vectors and transforms to be used, must be inherited, using coded information representative of an inheritance mode with respect to the neighboring block concerned. It is understood that the decoder will have to implement the same contour analysis on the same neighboring block, once decoded, in order to deduce the vectors, transformed to use.
  • the at least two distinct linear transforms are implemented during the second transformation sub-step T31.
  • vectors of dimension H equal to that of the columns of the current block, are formed at T1, following the first transformation sub-step T30, from the coefficients of the intermediate block XI.
  • the vector Vcw corresponds to the column number w of the block.
  • the vector Vc'w comprises elements of two neighboring columns.
  • the determination step T'2 has provided at least two distinct linear transformations C0, C1 intended to be applied to the VcO VcW-1 vectors formed.
  • VIO to HIV-1 vector formation and the Li linear transformation step presented above are transposable to the steps of forming the VcO to VcW-1 vectors and determining the linear transforms Cj, knowing they are implemented for intermediate block XI.
  • the principle of the invention is implemented in the two transformation sub-steps T30 and T31.
  • the coding method implements the first step T10 for forming vectors VI0 to HIV-1 of size W from the current block x, a first step T20 for determining the transforms L0, L1 to be applied to the vectors VI0 to HIV-1, the second step T1 of VcO VcW-1 vectors of dimension H from the intermediate block XI and a second step T21 of determining the transforms C0, C1 to be applied to the VcO vectors at VcW-1.
  • H transformed lines LO to LH-1 and W transformed columns CO to CW-1 we consider H transformed lines LO to LH-1 and W transformed columns CO to CW-1.
  • a specific linear transform is applied to each vector formed in the current block whether it is the vectors VI0 to HIV-1 of dimension W formed in T'20, or the vectors VcO to VcW-1, of dimension H, formed in T'23.
  • the case of a 4X4 block is considered.
  • the signal XI transformed during step T'21 is obtained by concatenation of the following operations:
  • the Lo, Li, L2 and L3 represent line transformations and are therefore 4x4 size matrices in this embodiment, which can potentially be implemented in the form of a fast, butterfly decomposition-based algorithm as known in the art. literature, especially if the transforms used are of the DCT / DST type.
  • the 16 transformed coefficients (Xlo -.- Xlis) are thus obtained from the 16 (xo, --- Xis) pixels of the starting block x. They are rearranged in T'22 to form the XI block, for example by considering that each vector Vli transformed by the linear transform Li contributed to form the line i of the block XI
  • the Co, Ci, C2 and C3 represent column transformations and are therefore 4x4 size matrices in this embodiment, which can potentially be implemented in the form of a fast, butterfly decomposition-based algorithm as known in the art. literature, especially if the transforms used are of the DCT / DST type.
  • An advantage of this embodiment is to take into account the fact that each row and column individually presents statistics of its own. Compression performance is improved.
  • HEVC uses a line and column transform of the DST VII type for 4x4 blocks. This transformation has demonstrated the best results in terms of compactness of the signal.
  • the performances obtained with the DST as used in HEVC, the DCT commonly used in image / video coding, an optimal separable transform in the KLT sense (referred to as Sep in the table), are presented.
  • a set of transforms according to the invention, optimized in the KLT sense (called mSep in the table).
  • the KLT optimization consists in finding the row and column transformations that make it possible to obtain the best coding gain.
  • the KLT transformations are obtained by taking into consideration the pixel-to-pixel correlations of the vectors to be transformed and the determination of the transformation which better decorrelates these pixels. The The autocorrelation matrix of the pixels is thus determined, then a diagonalization is performed: the eigenvectors generating the decorrelation form the KLT transform.
  • T line vectors are formed from pixel block x and two distinct line transforms are applied to them during the first substep T "21.
  • the coefficients obtained at T "22 are rearranged to form an intermediate block XI
  • T "column” 23 vectors are formed and two distinct column transformations are applied during the second transformation sub-step T”. rearranges the transformed coefficients to T "to form the transformed block X.
  • the row transformation implemented by the first substep T "21 differentiates the transformation for the first line from that used for the others and can be expressed as follows, for a block x of dimension 4x4:
  • the coding gains obtained in the context of the 4x4 blocks are again presented for the prediction 18 of the intra mode of HEVC.
  • bit stream TB has been received by a decoding device implementing the decoding method according to the invention.
  • This block contains MxN pixels, with M and N non-zero integers.
  • the block C considered may be a block CTU or a sub-block CU obtained by cutting the block CTU or a block or sub-block residue obtained by subtracting a prediction of the current block at current block.
  • the coded data relating to the current block C are read and decoded.
  • the decoded data relating to the current block C are dequantized.
  • DQ [k] a vector of dequantized coefficients
  • the coefficients of the vector DQ are arranged in a transformed block ⁇ '. This is the inverse operation of the T3 path implemented by the coding method.
  • the transforms to be applied to the current block X ' are determined during the successive inverse transformation sub-steps D51, D54. According to the invention, at least one of them implementing two distinct linear transforms. It is understood that these are the inverse transforms of those applied by the coding method according to the invention.
  • the inverse transforms to be applied to vectors of dimension equal to that of a line or of a column can be determined in different ways, among which may be mentioned by way of example: by reading in the bit stream TB of identification information of at least a first transform and a second transform; by reading identification information of the transforms used by the encoder in a local or remote memory;
  • the choice of the first and second transforms can be associated with an encoding parameter of the current block, for example its size or its prediction mode.
  • the transforms to be applied are obtained by reading a memory, for example the input of a database BD2 associating with a coding parameter, an identifier of the first transform to minus a first vector identifier of the block or intermediate block, an identifier of at least one second transform, distinct from the first to at least one second vector identifier of said block.
  • the vector identifier corresponds to a known type of vector formed in a block of size MxN
  • the decoder it is necessary for the decoder to know how to form the vectors in the same way as the encoder.
  • Several types of column vectors or lines can be formed.
  • the decoder locally has the same vector formation rules as the encoder. These rules are for example stored in memory;
  • the decoder accesses information stored in a database, comprising entries associating with a coding parameter, indications allowing the formation of H vectors of dimension W and of W vectors of dimension H in the current block.
  • This database is duplicated at the encoder and decoder;
  • the decoder extracts from the bitstream information representative of a type of vector formed by the encoder.
  • This variant is particularly interesting when the type of vector formed is chosen dynamically, on the basis of a pre-analysis of the content of the current block implemented at the encoder.
  • the first substep implements at least two transforms on vectors of dimension equal to that of a line and the second substep one or more transforms. on vectors of dimension equal to that of a column.
  • the reverse operations will be conducted in an inverted order from that performed during the coding.
  • the first substep D51 of inverse transformation therefore applies to vectors of dimension equal to that of a column.
  • vectors in the block X ' are formed of coefficients of length equal to that of a column of the block ⁇ '. This is the inverse operation of the arrangement T25 of the coefficients of the vectors transformed in an X block implemented by the coding method.
  • step D50 the coefficients of the transformed column vector Vcj were simply set by a linear transform C0, Cl or Cj of step T24, in column j of block X.
  • a vector Vcj of length equal to that of a column is formed inversely from the coefficients of column j of block X '.
  • a column of X ' comprises the coefficients resulting from the transformation linear method applied by the coding method to the associated vector vcj.
  • step D50 then simply consists of forming "column" vectors Vcj from the columns of block X '.
  • step D50 relies on information relating to this rearrangement obtained during the determination step D4.
  • the rearrangement which consists of associating the column cjO with the input of the linear transform C0 "1 and the column cjl with the input of the linear transform C1 -1 is indicated by information representative of a type of rearrangement. predetermined or associates vector identifiers with each linear transform.
  • Such vector identifiers advantageously include a vector type and a vector index.
  • the type of vector considered is the column type and the vector to be formed is the no j, that is to say the one that corresponds to the column j of the block.
  • the coefficients of the vectors v'cj0, v'cjl processed are positioned to form an intermediate block X'I.
  • the identification information of the vectors determined during step D4 and relating to the formation of the vectors on the encoder side is used and the inverse operation is carried out
  • the identifying information includes a column index and the elements of the vector are placed in the corresponding column.
  • the identification information identifies a type of nonlinear vector known to the decoder, whose position it knows how to position the elements in the block MxN. For example, if the identification information of the determined vectors indicates that the vector vcj formed in the X'I block on the encoder side was of the type described in relation to FIG. 7E, with an index corresponding to the vector vcO, then the coefficients will be placed in X'I, X'O, X'4, X'8.
  • the intermediate block X'I obtained is then implemented in a training step D53, similar to step D50, but which forms a vector V'Ii in the block X'I from the rearrangement information obtained at D4, and associates it with one of the linear transforms LO "1 and Ll 1 also determined at D4.
  • the inverse transforms are applied, in transposed form if they are orthogonal or by means of a fast algorithm, and produce vectors V'liO, Vlil of dimension equal to that of a line.
  • the operations implemented by the decoder according to the invention are of the same nature as those used by the state of the art: the complexity is therefore unchanged to perform the transformations.
  • the vectors obtained are positioned to form the block of pixels ⁇ '. This is the inverse operation of that of formation T20 vectors implemented in the coding method according to the invention.
  • the block of pixels of the decoded image is reconstructed from the block x 'obtained and integrated with the ID image being decoded. If the block x 'is a residue block, it is added a prediction of the current block obtained from a previously processed reference image.
  • step D7 it comes to test whether the current block is the last block to process the decoder, given the order of travel defined above. If so, the decoding process has finished processing. If not, the next step is the step of selecting the next block DO and the decoding steps D1 to D7 previously described are repeated for the next block selected.
  • module and/or entity
  • module may correspond either to a software component, or to a hardware component, or to a set of hardware and / or software components, capable of implementing perform the function (s) described for the module or entity concerned.
  • the device 100 implements the coding method according to the invention which has just been described in relation with FIG. 6.
  • the device 100 comprises a processing unit 110, equipped with a processor ⁇ , and driven by a computer program Pgl 120, stored in a memory 130 and implementing the method according to the invention.
  • the code instructions of the computer program Pgi 120 are for example loaded into a RAM memory before being executed by the processor of the processing unit 110.
  • the processor of the processing unit 110 sets implement the steps of the method described above, according to the instructions of the computer program 120.
  • the device 100 comprises at least one TRANS unit for transforming a current block into a transformed block X comprising a first transformation subunit TR1 of the current block into an intermediate block and a second subunit TR2 for transforming the intermediate block into the transformed block, a QUANT unit for quantizing the transformed block, a coding unit COD for quantized block coding, and an INSERT unit for inserting the coded data into the bit stream TB.
  • the transformation unit comprises at least one formation subunit of at least two vectors from elements (pixels, respectively coefficients) of one of said blocks from the current block and the intermediate block. , able to be implemented beforehand at least one of said transformation subunits and an ARR sub-unit of arrangement of the coefficients obtained in a block.
  • the device also comprises a DET unit for determining at least two distinct transforms to be applied to said vectors, at least as a function of an encoding parameter of the current block.
  • the device 100 furthermore comprises a memory, for example a storage unit BD1 of a table comprising entries associating with an encoding parameter an identifier of the first transform with at least one vector identifier of the block or intermediate block. , an identifier of at least one second transform, distinct from the first to at least one second vector identifier of said block.
  • a memory for example a storage unit BD1 of a table comprising entries associating with an encoding parameter an identifier of the first transform with at least one vector identifier of the block or intermediate block. , an identifier of at least one second transform, distinct from the first to at least one second vector identifier of said block.
  • These units are driven by the ⁇ processor of the processing unit 110.
  • the device 100 can be integrated with a user terminal TU.
  • the device 100 is then arranged to cooperate at least with the following module of the terminal TU: A data transmission / reception module E / R, through which the bit stream TB or the compressed file FC is transmitted via a telecommunications network to a decoding device;
  • the decoding device 200 comprises a processing unit 210, equipped with a processor ⁇ 2, and driven by a computer program Pg2 220, stored in a memory 230 and implementing the decoding method according to the invention. invention, which has just been described in connection with FIG. 14.
  • the code instructions of the computer program Pg2 220 are for example loaded into a RAM before being executed by the processor of the processing unit 210.
  • the processor of the processing unit 210 sets implement the steps of the method described above, according to the instructions of the computer program 220.
  • the device 200 comprises at least December 1 unit for decoding the current block of coefficients converted from the read data in the bitstream, a DEQUANT unit dequantizing the decoded coefficients, a unit TRANS " 1 of inverse transformation of the transformed current block, able to implement two successive subunits of inverse transformation, the first subunit TRI -1 applying to the transformed current block, the second TR2 1 to the intermediate block, resulting from the first subunit
  • at least one of the subunits TRI -1 , TR2 1 implements at least a first and a second linear transform, distinct from one another, on a block called block to be processed, among the transformed current block and the intermediate block.
  • the inverse transformation unit further comprises a subunit FORM -1 able to rearrange the coefficients of the vectors processed by the first and the second transforms in the processed block.
  • the device also comprises an ARR-1 unit for forming at least two vectors from the coefficients of the block to be processed, said vectors having a length equal to one of the dimensions of the current block, to which the first and second transforms will be applied.
  • linear and a DET unit for determining at least two different linear transforms to be applied to said vectors, at least as a function of a coding parameter of the current block.
  • the device 200 can be integrated with a user terminal TU.
  • the device 200 is then arranged to cooperate at least with the following module of the terminal TU:
  • a data transmission / reception module E / R through which the bit stream TB or the compressed file FC is received from a telecommunications network;
  • An image rendering device DISP for example a terminal screen, through which the decoded digital image or the sequence of decoded images is returned to a user.
  • the user terminal TU can integrate both a coding device and a decoding device according to the invention.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

Procédé de codage d'une image numérique, procédé de décodage, dispositifs, et programmes d'ordinateurs associés L'invention concerne un procédé de codage d'une image numérique, ladite image (Ik) étant divisée en une pluralité de blocs de pixels traités dans un ordre défini, ledit procédé comprenant les étapes suivantes, mises en oeuvre pour un bloc courant (x), de dimensions prédéterminées : - Transformation (T2) du bloc courant en un bloc transformé, ledit bloc comprenant des coefficients, ladite étape mettant en oeuvre deux sous-étapes successives de transformation, la première sous-étape s'appliquant au bloc courant, la deuxième au bloc intermédiaire, issu de la première sous-étape, ledit bloc intermédiaire comprenant des coefficients, et - Quantification (T4)et codage (T5) des coefficients du bloc transformé, Caractérisé en ce que - ladite étape de transformation comprend en outre, préalablement à au moins une desdites sous-étapes de transformation, ladite sous-étape s'appliquant à un bloc, dit bloc à transformer, parmi le bloc courant et le bloc intermédiaire, une sous-étape préalable (T20, T23) de formation d'au moins un premier et un deuxième vecteurs distincts dans le bloc à transformer, un dit vecteur comprenant les pixels, respectivement les coefficients d'une séquence de pixels adjacents, respectivement coefficients adjacents du bloc à transformer, de longueur égale à une des dimensions du bloc à transformer; et - ladite au moins une sous-étape de transformation comprend l'application d'une première transformée (LO, CO) audit au moins un premier vecteur et d'au moins une deuxième transformée (Ll, Cl), distincte de la première, audit au moins un deuxième vecteur dudit bloc.

Description

Procédé de codage d'une image numérique, procédé de décodage, dispositifs, et programmes d'ordinateurs associés
1. Domaine de l'invention
Le domaine de l'invention est celui de la compression de signal, en particulier d'une image numérique ou d'une séquence d'images numériques, divisée en bloc de pixels.
Le codage/décodage d'images numériques s'applique notamment à des images issues d'au moins une séquence vidéo comprenant :
- des images issues d'une même caméra et se succédant temporellement (codage/décodage de type 2D),
- des images issues de différentes caméras orientées selon des vues différentes (codage/décodage de type 3D),
- des composantes de texture et de profondeur correspondantes (codage/décodage de type 3D),
- etc.
La présente invention s'applique de manière similaire au codage/décodage d'images de type 2D ou 3D.
L'invention peut notamment, mais non exclusivement, s'appliquer au codage vidéo mis en œuvre dans les codeurs vidéo actuels AVC (pour « Advanced Video Coding », en anglais) et HEVC (pour « High Efficiency Video Coding », en anglais) et leurs extensions (MVC, 3D-AVC, MV-HEVC, 3D-HEVC, Scalable AVC, scalable HEVC, etc), et au décodage correspondant.
2. Présentation de l'art antérieur
On considère un schéma de compression classique d'une image numérique, selon lequel l'image est divisée en blocs de pixels. Un bloc courant à coder, qui constitue une unité de codage initiale, est généralement découpé en un nombre variable de sous-blocs selon un mode de découpage prédéterminé. En relation avec la Figure 1, on considère une séquence d'images numériques II, II, Ik, IK, avec K entier non nul. Une image Ik est découpée en unités de codage initiales ou CTU (pour « Coding Tree Unit » en anglais) selon la terminologie de la norme HEVC, telle que spécifiée dans le document "ISO/IEC 23008-2:2013 - High efficiency coding and média delivery in heterogeneous environments -- Part 2: High efficiency video coding », International Organization for Standardization, publié en novembre 2013. Les codeurs standards proposent généralement un partitionnement régulier, qui s'appuie sur des blocs carrés ou rectangulaires, appelés CU (pour « Coding Units », en anglais) de taille fixe. Le partitionnement se fait toujours à partir de l'unité de codage initiale, non partitionnée, et le partitionnement final est calculé puis signalé à partir de cette base neutre. Des exemples de partitionnement autorisés par la norme HEVC sont présentés en relation avec la Figure 2. Chaque CU va subir une opération d'encodage ou de décodage consistant en une suite d'opérations, comprenant de manière non exhaustive une prédiction, un calcul de résidu, une transformation, une quantification et un codage entropique. Cette suite d'opérations est connue de l'art antérieur et présentée en relation avec la Figure 3.
On sélectionne comme bloc courant b le premier bloc CTU à traiter. Par exemple, il s'agit du premier bloc (dans l'ordre lexicographique). Ce bloc comporte NxN pixels, avec N entier non nul, par exemple égal à 64 selon la norme HEVC.
On suppose qu'il existe L partitionnements en blocs PU possibles numérotées de 1 à L, et que le partitionnement utilisé sur le bloc b correspond au partitionnement numéro I. Par exemple, il peut y avoir 4 partitionnements possibles, en sous-blocs de taille 4x4, 8x8, 16x16, et 32x32 selon un mode de découpage régulier de type « quad tree ». Comme précédemment évoqué, certains blocs PU peuvent être rectangulaires.
Au cours d'une étape El, on détermine une prédiction Pr du bloc original b. Il s'agit d'un bloc de prédiction construit par des moyens connus, typiquement par compensation de mouvement (bloc issu d'une image de référence précédemment décodée ou par prédiction intra (bloc construit à partir des pixels décodés immédiatement adjacents au bloc courant dans l'image ID). Les informations de prédiction liées à P sont codées dans le train binaire TB ou fichier compressé FC. On suppose ici qu'il y a K modes de prédiction possibles ml, m2,..., mK, avec K entier non nul. Par exemple, le mode de prédiction choisi pour le bloc courant b est le mode mk. Certains modes de prédiction sont associés à une prédiction de type Intra, d'autres à une prédiction de type INTER, d'autres à une prédiction de type MERGE.
Au cours d'une étape E2, un résidu original R est formé, par soustraction R = b-Pr de la prédiction Pr du bloc courant b au bloc courant b.
Au cours d'une étape E3, le résidu R est transformé en un bloc résidu transformé, appelé RT, par une transformée de type DCT ou transformée en ondelettes, toutes les deux connues de l'homme de métier et notamment mises en œuvre dans les normes JPEG/MPEG pour la DCT et JPEG2000 pour la transformée en ondelettes. En E4, le résidu transformé RT est quantifié par des moyens classiques de quantification, par exemple scalaire ou vectorielle, en un bloc résidu quantifié RQ comprenant autant de coefficients que le bloc résidu RQ contient de pixels, par exemple Nb, avec Nb entier non nul. De façon connue dans l'état de l'art, ces coefficients sont scannés dans un ordre prédéterminés de façon à constituer un vecteur monodimensionnel RQ[i], où l'indice i varie de 0 à Nb-1. L'indice i est appelé fréquence du coefficient RQ[i] . Classiquement, on scanne ces coefficients par ordre croissant de fréquence, par exemple selon un parcours en zigzag, qui est connu de la norme de codage d'image fixes JPEG.
Lors d'une étape E5, on vient coder les informations d'amplitude des coefficients du bloc résidu RQ par codage entropique, par exemple selon une technique de codage de Huffman ou de codage arithmétique. Par amplitude, on entend ici la valeur absolue du coefficient. Classiquement, on peut coder pou r chaque coefficient une information représentative du fait que le coefficient est non nul. Ensuite, pour chaque coefficient non nul, une ou plusieurs informations relatives à l'amplitude sont codées. On obtient les amplitudes codées CA. En général, les signes des coefficients non-nuls sont sim plement codés par u n bit 0 ou 1, chaque valeur correspondant à une polarité donnée. Un tel codage obtient des performances efficaces, car, du fait de la transformation, les valeurs des amplitudes à coder sont en grande majorité nulles.
On répète les étapes précédentes El à E5 pour les I partitionnements possibles du bloc courant b. Pour un partitionnement I, chacun des sous-blocs CU du bloc courant b sont traités comme précédemment décrit, un type de prédiction (Inter ou Intra) étant autorisé par CU. Autrement dit, les sous-blocs PU d'un sous-bloc CU sont tous soumis au même type de prédiction.
Par exemple, les données codées pour chacun des I partitionnements possibles sont mises en compétition selon un critère débit-distorsion et le partitionnement qui obtient le meilleur résultat selon ce critère est finalement retenu.
Les autres blocs de l'image II sont traités de la même façon, de même pour les images suivantes de la séquence.
L'étape de transformation joue un rôle crucial dans un tel schéma de codage vidéo : en effet c'est elle qui concentre l'information avant l'opération de quantification. Ainsi un ensemble de pixels résiduel avant encodage se voit représenté sur un faible nombre de coefficients transformés, appelés aussi fréquentiels non-nuls représentant la même information. Ainsi au lieu de transmettre un grand nombre de coefficients, seul un petit nombre sera nécessaire pour reconstituer avec fidélité un bloc de pixels.
L'efficacité d'une transformation est communément mesurée suivant un critère de concentration d'énergie, mis également sous la forme d'un gain de codage : il représente, pour un débit donné, la réduction en distorsion (exprimée par l'erreur quadratique moyenne) lorsque qu'on code dans le domaine transformé plutôt que dans le domaine spatial.
On note fft 2 rans orm l'erreur quadratique moyenne après quantification réalisée dans le domaine transformé et a^patial l'erreur quadratique pour une quantification avec la même précision dans le domaine spatial, i .e. du résiduel avant transformées. Suivant ces notations, le gain de codage s'exprime alors :
Habituellement ce gain est exprimé en dB Gtc_db = 10*log l0(Gtc)
Le gain réalisé en distorsion par l'usage de transformées peut également être retranscrit en gain en débit : à haut débit le gain en dB divisé par une valeur de 6.02 permet en effet d'approcher l'économie en débit réalisée, exprimée en bit par pixel.
En codage d'image et vidéo, les transformées les plus utilisées sont des transformées blocs (4x4, 8x8 etc), linéaires, orthogonales ou quasi-orthogonales. Une transformée linéaire peut être exprimée sous forme de matrice comme suit. Une transformée orthogonale présente comme propriété caractéristique le fait que la matrice de transformation inverse est la transposition de la matrice de transformation directe. Ainsi une telle transformation a pour propriété :
Où A est la matrice présentant la transformation directe et I la matrice identité et c une valeur numérique. Quand c vaut 1, la matrice A est orthonormale. Une matrice quasi-orthogonale, multipliée pas son inverse présente une quantité proche de la matrice identité à un facteur près. Les transformées les plus employées sont à base de bases cosinus. La DCT est ainsi présente dans la plupart des normes de compression d'image et de vidéo. Récemment la norme HEVC a également introduit la DST (pour « Discrète Sine Transform », en anglais) pour le codage de résidus particuliers dans le cas de blocs de taille 4x4. Dans les faits, ce sont des approximations de ces transformées qui sont employées, les calculs étant effectués sur des entiers. En général, les bases de transformées sont approximées à l'entier le plus proche, sur une précision donnée (généralement de 8 bits).
A titre d'exemple on présente en relation avec les Figures 4A et 4B, les transformées utilisées par la norme HEVC sur les blocs de taille 4x4 : II s'agit des transformées DCT et DST. Les valeurs présentées dans ce tableau sont à diviser par 128 pour retrouver les transformations quasi-orthonormales.
En pratique, un bloc de pixel est transformé par les opérations suivantes :
X = A - {A - xt)t (1)
A désigne la matrice de transformation de taille NxN, x représente les pixels ou pixels résiduels à transformer (domaine spatial), X le bloc dans le domaine transformé (appelé domaine fréquentiel) et t l'opérateur de transposition.
Le bloc dans le domaine spatial s'écrit (ici en 4x4) :
Le bloc de pixels dans le domaine transformé prend la forme
La matrice A prend la forme d'une matrice 4x4 dans notre cas, avec les coefficients égaux à ceux présentés dans les tables des Figures 4A et 4B.
L'équation présentée ci-dessus procède donc de la façon suivante : · le bloc x est transposé. • Ainsi la matrice A s'applique sur les lignes des pixels
• Le résultat (A■ x')est ensuite transposé
• Ensuite l'application de la matrice A se fait sur ce résultat.
La combinaison de ces opérations est donc de transformer les lignes puis les colonnes. Une écriture équivalente d'un point de vue codage mais différente d'un point de vue mathématique consiste à effectuer :
X = A - {A - xY (2) Dans ce cas ce sont les colonnes qui sont d'abord transformées.
Les transformées lignes et colonnes peuvent être différentes, comme décrit dans l'art antérieur cité. Les formules précédentes peuvent être étendues à ce cas, par exemple si on souhaite opérer sur les colonnes d'abord puis sur les lignes :
X = L - (C - xY (3)
L représente la transformée spécifique aux lignes et C la transformation spécifique aux colonnes.
Pour opérer sur les lignes au préalable, on écrit : x = C - (L - xt)t (4)
Ces deux dernières formules permettent de traiter également de traiter des blocs de pixels rectangulaires, ainsi une transformée colonne 8x8 pourra opérer sur un bloc 4x8 dans un premier temps, dans un second temps une transformée ligne de taille 4x4 opérera sur le bloc résultant pour obtenir au final les coefficients transformés. Ainsi on écrit de la même manière qu'auparavant :
X = L - (C - xY (5)
On le voit donc, on fait succéder deux transformations séparées, dans le sens ligne-colonne ou colonne-ligne. De ce fait le signal spatial est décorrélé par vecteurs lignes puis colonnes ou colonnes et ensuite lignes. ou colonnes. La décorrélation est en effet un aspect important en transformation. Assurer une bonne décorrélation permet d'obtenir un bon gain de codage. Une transformation efficace en codage a ainsi pour vocation de décorréler les vecteurs lignes et colonnes pour obtenir un signal compact dans le domaine fréquentiel et en faciliter la transmission.
Les opérations de transformation présentées plus haut agissent de façon séparable par décorrélation ligne puis colonne ou colonne puis ligne. On parle de transformées séparables.
De ce fait elles ne permettent pas de décorréler complètement les pixels dans le domaine spatial notamment la décorrélation d'éléments diagonaux, tels que xO et x5.
Pour permettre une décorrélation complète, il est possible d'effectuer une transformation non- séparable. Pour ce faire, on applique l'opérateur suivant :
X = Ansx (6)
Ans représente la transformation non séparable à effectuer, choisie de façon avantageuse orthonormale ou quasi-orthonormale, Xet x sont alors respectivement les pixels transformés et dans le domaine spatial, mis sous forme de vecteurs. Ainsi pour u n bloc 4x4 ils prennent la forme suivante :
Ans est donc de taille 16x16 dans cet exemple et plus généralement de taille N2xN2 pour un bloc de taille NxN composé de N2 pixels.
De cette façon une transformation non séparable Ans est capable de traiter frontalement toutes les corrélations entre pixels du domaine spatial, notamment les corrélations diagonales. Par exemple, dans le cas d'un bloc 4x4, la corrélation directe entre le pixel xO et x5, est amenuisée.
De ce fait les transformées non séparables sont plus efficaces en compression, néanmoins elles présentent un certain nombre d'inconvénients :
• ce sont des transformées de taille N2xN2, ainsi N4 valeurs doivent être stockées, en comparaison au 2xN2 valeurs requises pour les deux matrices réalisant la transformée séparable. Ceci a un impact sur le coût d'implémentation d'un codeur/décodeur image/vidéo pour lesquels les mémoires rapides sont coûteuses. • l'algorithme de transformation requiert un nombre d'opérations significativement plus élevé afin de traiter la dimension accrue du vecteur.
Par rapport aux transformations séparables les transformations non-séparables requièrent donc une complexité bien plus élevée, comme indiqué dans le tableau de la Figure 5. Dans ce tableau, sont listées les quantités de mémoire et d'opérations afférentes aux implémentations de transformées non-séparables (Nsep) et séparable (Sep) pour le traitement de blocs 4x4 et 8x8 respectivement.
On le voit, les transformations non-séparables ont un impact important en ROM et nombre d'opérations comparativement aux transformées séparables. Notamment en termes d'opérations le rapport de complexité est supérieure à M/2, pour un bloc de taille MxM .
On connaît en outre de la demande de brevet publiée sous le numéro US2013/0003828, une méthode de codage d'images, qui sélectionne des types de transformées à appliquer successivement aux lignes et aux colonnes du bloc en fonction du mode de prédiction choisi pour ce bloc, par exemple u n mode de prédiction intra de direction particulière. Plus précisément, cette méthode associe une première transformée linéaire aux lignes du bloc courant, par exemple une DCT, et une deuxième transformée, linéaire, distincte de la première, aux colonnes du bloc transformé par la première transformée.
Un avantage est de s'adapter au fait que l'ensemble des colonnes et l'ensemble des lignes du bloc ne présentent pas nécessairement les mêmes propriétés statistiques.
3. Inconvénients de l'art antérieur
Les inconvénients de l'art antérieur sont les suivants :
• Pour une transformée non-séparable, la complexité algorithmique est très importante. Elle requiert donc un coût d'implémentation très élevé, voire rédhibitoire.
• Dans le cas de transformées séparables, elles agissent de façon identique pour les lignes, respectivement les colonnes, en particulier il est implicitement supposé que respectivement l'ensemble des lignes respectivement des colonnes partage la même statistique. Ce sont les transformées les plus utilisées dans les codeurs actuels car elles réalisent un compromis entre efficacité de compression et coût de codage. Néanmoins elles n'atteignent pas les performances de compression des transformées non séparables. 4. Objectifs de l'invention
L'invention vient améliorer la situation.
L'invention a notamment pour objectif de pallier ces inconvénients de l'art antérieur.
Plus précisément, un objectif de l'invention est de proposer une solution qui améliore les performances de compression d'un codeur d'images numériques, sans requérir d'augmentation significative des ressources de calcul et de mémoire.
5. Exposé de l'invention
Ces objectifs, ainsi que d'autres qui apparaîtront par la suite, sont atteints à l'aide d'un procédé de codage d'une image numérique, ladite image étant divisée en une pluralité de blocs de pixels traités dans un ordre défini, ledit procédé comprenant les étapes suivantes, mises en œuvre pour un bloc courant, de dimensions prédéterminées :
Transformation du bloc courant en un bloc transformé, ledit bloc comprenant des coefficients, ladite étape mettant en œuvre deux sous-étapes successives de transformation, la première sous-étape s'appliquant au bloc courant, la deuxième au bloc intermédiaire, issu de la première sous-étape, ledit bloc intermédiaire comprenant des coefficients, et
Quantification et codage des coefficients du bloc transformé.
Selon l'invention, préalablement à au moins une desdites sous-étapes de transformation, ladite sous-étape s'appliquant à un bloc, dit bloc à transformer, parmi le bloc courant et le bloc intermédiaire, le procédé comprend une étape préalable de formation d'au moins un premier et un deuxième vecteurs distincts dans le bloc à transformer, un dit vecteur comprenant les pixels, respectivement les coefficients adjacents d'une séquence de longueur égale à une des dimensions du bloc à transformer et ladite au moins une sous- étape comprend l'application d'une première transformée audit au moins un premier vecteur et d'au moins une deuxième transformée, distincte de la première, audit au moins un deuxième vecteur dudit bloc. Selon l'invention, au moins une des deux étapes successives de la transformation séparable appliquée au bloc courant, met en œuvre au moins deux transformées distinctes, qui sont appliquées à des vecteurs distincts, de dimension égale à celle d'une ligne respectivement d'une colonne du bloc courant et formés à partir d'une séquence d'éléments voisins du bloc courant.
Ainsi, l'invention repose sur une approche tout à fait nouvelle et inventive du codage d'images par transformation des pixels du bloc courant dans le domaine spatial en coefficients dans le domaine fréquentiel, qui prévoit un traitement différent pour deux vecteurs du bloc courant.
Contrairement à l'art antérieur qui se fonde sur l'hypothèse réductrice d'une statistique commune partagée par l'ensemble des lignes, respectivement des colonnes d'un même bloc de l'image à coder, l'invention prend en considération le fait que deux vecteurs distincts d'un bloc et de même dimension peuvent présenter des propriétés statistiques différentes, qui nécessitent une transformation linéaire adaptée.
L'invention présente la même complexité algorithmique que l'art antérieur, mais permet soit d'améliorer les performances de codage, c'est-à-dire d'améliorer la qualité de la séquence d'images codée pour un débit donnée, soit d'abaisser le débit de codage pour une qualité donnée.
Selon une caractéristique avantageuse de l'invention, le procédé comprend en outre une étape préalable de détermination des au moins deux transformées distinctes à appliquer auxdits vecteurs, au moins en fonction d'au moins un paramètre de codage du bloc courant.
Un avantage d'associer le choix des transformées à u n paramètre de codage est de s'adapter aux variations statistiques du bloc induites par le paramètre en question. Par exemple, le paramètre de codage considéré est la taille du bloc ou le mode de prédiction qui lui est appliqué. Par exemple, on s'appuie sur des expérimentations préalables pour associer le paramètre de codage considérée à au moins deux transformées linéaires. Un avantage est qu'on ne rend pas le codeur plus complexe ; Selon un autre aspect de l'invention, l'étape de détermination comprend la lecture d'informations stockées en mémoire, lesdites informations comprenant au moins le paramètre de codage, un identifiant de la première transformée, au moins un identifiant de premier vecteur du bloc ou du bloc intermédiaire, un identifiant d'au moins une deuxième transformée, distincte de la première et au moins un identifiant de deuxième vecteur dudit bloc. Un avantage est qu'on ne signale pas d'informations supplémentaires dans le train binaire, les données stockées en mémoire étant dupliquées côté décodeur.
Par exemple, la mémoire est organisée selon u ne base de données. Une entrée de la base de données associe à un paramètre de codage des identifiants de transformation à appliquer à des identifiants de vecteurs.
Selon un aspect de l'invention, ladite étape de transformation comprend une sous-étape de réarrangement des coefficients des vecteurs transformés dans le bloc intermédiaire, respectivement transformé.
Suite à l'application des transformées linéaires aux vecteurs formés dans le bloc à transformer, les coefficients obtenus sont réarrangés de façon à former un bloc de coefficients. Par exemple, les coefficients du premier vecteur transformé sont placés sur la première ligne respectivement la première colonne du bloc. Ce mode de réalisation particulier présente l'avantage d'être simple et de peu impacter le codeur.
Selon encore un autre aspect de l'invention, le procédé de codage comprend en outre les étapes suivantes de :
Prédiction des valeurs du bloc courant à partir d'au moins un bloc précédemment traité selon un mode de prédiction choisi parmi une pluralité de modes prédéterminés, Calcul d'un bloc courant résidu par soustraction des valeurs prédites aux valeurs originales du bloc courant, Selon l'invention, l'étape de transformation est appliquée au bloc courant résidu et ledit au moins un paramètre de codage est le mode de prédiction du bloc courant.
On a constaté que le mode de prédiction est représentatif à lui seul des propriétés statistiques d'un bloc résidu et qu'il est pertinent de d'associer à une valeur particulière de ce paramètre de codage un choix particulier de transformées linéaires.
Selon un autre aspect de l'invention, le procédé comprend une étape de codage d'informations d'identification de ladite au moins une première transformée et de ladite au moins une deuxième transformée. Les informations relatives aux transformées linéaires utilisées sont transmises dans le train binaire. Un avantage de ce mode de réalisation est qu'il est adapté à une détermination dynamique des transformées par le codeur pour chaque bloc traité.
Selon encore un autre aspect, la première transformée est appliquée à un premier sous- ensemble des vecteurs de dimensions égales à celle d'une ligne, respectivement à celles d'une colonne du bloc et ladite au moins une deuxième transformée est appliquée à un deuxième sous- ensemble de vecteurs de dimensions égales à celle d'une ligne du bloc, respectivement à celles d'une colonne dudit bloc. Par exemple, on met en œuvre deux transformées lignes respectivement colonnes distinctes par sous-étape de transformation. Les deux transformées sont par exemple associées à un mode de prédiction du bloc courant. Ce mode de réalisation réalise un compromis entre coût de stockage des associations entre identifiants de vecteur et identifiants de transformées et performances de compression. Selon encore un autre aspect de l'invention, ladite au moins une sous-étape de transformation met en œuvre une transformée distincte par vecteur de dimension égale à celle d'une ligne du bloc, respectivement à celle d'une colonne, formé dans le bloc.
Un avantage de ce mode de réalisation est qu'il permet de s'adapter finement aux statistiques de chaque vecteur du bloc à traiter et d'améliorer les performances du codeur, en termes de qualité et/ou de compression.
Selon un autre aspect de l'invention, les vecteurs formés appartiennent à un groupe comprenant : des vecteurs « lignes » formés des pixels respectivement coefficients d'une ligne du bloc courant ;
des vecteurs « colonnes » formés des pixels respectivement coefficients d'une colonne du bloc courant ;
des vecteurs de longueur égale à celle d'une ligne du bloc, formés de pixels adjacents respectivement coefficients, voisins du bloc courant issus d'au moins deux lignes du bloc des vecteurs de longueur égale à celle d'une colonne du bloc, formés de pixels respectivement coefficients voisins du bloc courant issus d'au moins deux colonnes du bloc Les vecteurs formés sont de même taille que les lignes ou les colonnes du bloc courant afin de ne pas augmenter la complexité du codeur.
Un vecteur selon l'invention n'est pas nécessairement formé exclusivement à partir d'éléments d'une même ligne. Des vecteurs non linéaires peuvent avantageusement être formés d'éléments voisins du bloc issus de lignes voisines, ce qui permet de mieux tirer parti de corrélations particulières entre des éléments adjacents du bloc considéré, hors ligne et colonnes. Ce cas se présente tout particulièrement pour les modes de prédictions angulaires diagonaux, pour lesquels les blocs à coder présentent des motifs diagonaux.
Le procédé qui vient d'être décrit dans ses différents modes de réalisation est avantageusement mis en œuvre par un dispositif de codage d'une image numérique selon l'invention comprenant les unités suivantes, aptes à être mises en œuvre pour un bloc courant, de dimensions prédéterminées :
Transformation du bloc courant en un bloc transformé, ledit bloc comprenant des coefficients, ladite étape mettant en œuvre deux sous-unité successives de transformation, la première sous-unité s'appliquant au bloc courant, la deuxième au bloc intermédiaire, issu de la première sous-étape, ledit bloc intermédiaire comprenant des coefficients, et
Quantification et codage des coefficients du bloc transformé,
Un tel dispositif est particulier en ce qu'il comprend une unité de formation d'au moins un premier et un deuxième vecteurs distincts dans un bloc, dit bloc à transformer, parmi le bloc courant et le bloc intermédiaire,, un dit vecteur comprenant les pixels, respectivement les coefficients d'une séquence de pixels adjacents, respectivement coefficients adjacents, de longueur égale à une des dimensions du bloc à transformer et en ce que ladite au moins une sous-unité de transformation comprend l'application d'une première transformée au moins audit premier vecteur et d'au moins une deuxième transformée, distincte de la première audit au moins un deuxième vecteur dudit bloc.
Corrélativement, l'invention concerne aussi un procédé de décodage d'une image numérique à partir d'un train binaire comprenant des données codées représentatives de ladite image, ladite image étant divisée en une pluralité de blocs traités dans un ordre défini, ledit procédé comprenant les étapes suivantes, mises en œuvre pour un bloc, dit bloc courant :
Décodage des coefficients du bloc courant transformé à partir de données lues dans le train binaire ;
Déquantification des coefficients décodés ;
Transformation inverse du bloc courant transformé, ladite étape mettant en œuvre deux sous-étapes successives de transformation inverse, la première sous-étape s'appliquant au bloc courant, la deuxième au bloc intermédiaire, issu de la première sous-étape.
Le procédé de décodage selon l'invention est particulier en ce que : ladite au moins une sous-étape de transformation inverse s'appliquant à un bloc, dit bloc à traiter, parmi le bloc courant transformé et le bloc intermédiaire, elle comprend l'application d'une première transformée inverse à au moins un premier vecteur de longueur égale à celle d'une ligne, respectivement d'une colonne, du bloc à traiter, et d'au moins une deuxième transformée inverse, distincte de la première, à au moins un deuxième vecteur dudit bloc de longueur égale à celle d'une ligne, respectivement d'une colonne ; et elle comprend en outre une sous-étape de formation du bloc traité, par positionnement de séquences de coefficients adjacents, respectivement pixels adjacents, de longueurs égales à celle d'une colonne, respectivement d'une ligne, issues des vecteurs traités.
Selon un aspect de l'invention, le procédé comprend en outre une étape préalable de détermination des au moins deux transformées distinctes à appliquer auxdits premier et deuxièmes vecteurs, du bloc à traiter, au moins en fonction d'un paramètre de codage du bloc courant.
Selon un autre aspect, l'étape de détermination comprend une lecture dans le train binaire de données codées représentatives d'informations d'identification de ladite au moins une première transformée et de ladite au moins une deuxième transformée. Selon encore un autre aspect de l'invention, l'étape de détermination comprend en outre une sous-étape préalable de formation des premier et deuxième vecteurs dans le bloc à traiter.
Selon encore un autre aspect, l'étape de détermination comprend une lecture d'informations dans une mémoire, lesdites informations comprenant au moins le paramètre de codage, un identifiant de la première transformée inverse, au moins un identifiant de premier vecteur, un identifiant d'au moins une deuxième transformée inverse, distincte de la première, au moins un identifiant de deuxième vecteur du bloc à traiter.
Selon encore un autre aspect de l'invention, l'étape de transformation inverse comprend en outre une sous-étape, préalable à ladite au moins une sous-étape de transformation, de réarrangement de séquences de coefficients adjacents du bloc à traiter dans lesdits premier et deuxième vecteurs, une dite séquence ayant une longueur égale à une des dimensions du bloc à traiter.
Le procédé de décodage selon l'invention met donc en œuvre les opérations inverses de celle du procédé de codage qui vient d'être décrit.
En particulier : les sous étapes de transformation inverse correspondent aux opérations inverses de celles de transformation mises en œuvre par le procédé de codage. Elles se succèdent dans l'ordre inverse de celui du codage.
la sous-étape de formation du bloc traité à partir de séquences de coefficients adjacents, respectivement pixels adjacents, issus des vecteurs traités, correspond à l'opération inverse de celle de formation des vecteurs à transformer, mise en œuvre par le procédé de codage ;
la sous-étape de réarrangement de séquences de coefficients adjacents du bloc à traiter dans lesdits premier et deuxième vecteurs correspond à l'opération inverse de celle de réarrangement des coefficients des vecteurs transformés dans le bloc transformé, mise en œuvre par le procédé de codage.
Le procédé qui vient d'être décrit dans ses différents modes de réalisation est avantageusement mis en œuvre par un dispositif de décodage d'une image numérique, à partir d'un train binaire comprenant des données codées représentatives de ladite image, ladite image étant divisée en une pluralité de blocs traités dans un ordre défini, ledit dispositif comprenant les unités suivantes, aptes à être mises en œuvre pour un bloc de dimensions prédéterminées, dit bloc courant : - Décodage des coefficients du bloc cou rant transformé à partir de données lues dans le train binaire ;
Déquantification des coefficients décodés ;
Transformation inverse du bloc courant transformé, ladite unité étant apte à mettre en œuvre successivement deux sous-unités de transformation inverse, la première sous- unité s'appliquant au bloc courant, la deuxième au bloc intermédiaire, issu de la première sous-unité ;
Selon l'invention, le dispositif est particulier en ce qu'il comprend : au moins une sous-unité de transformation inverse d'un bloc, dit bloc à traiter, parmi le bloc courant transformé et le bloc intermédiaire, comprend l'application d'au moins une première transformée inverse à au moins un premier vecteur de longueur égale à celle d'une ligne respectivement colonne du bloc à traiter et d'au moins u ne deuxième transformée inverse, distincte de la première à au moins un deuxième vecteur de longueur égale à celle d'une ligne, respectivement colonne, dudit bloc à traiter; et en ce que l'unité de transformation inverse comprend en outre une sous-unité de formation inverse d'un bloc traité par positionnement de séquences de coefficients adjacents, respectivement pixels adjacents, de longueurs égales à celle d'une colonne, respectivement d'une ligne, issues des vecteurs traités.
L'invention concerne en outre un signal porteur d'un train binaire comprenant des données codées d'une image numérique, ladite image étant divisée en blocs de pixels. Un tel signal est particulier en en ce qu'il comprend, pour un bloc courant : des données codées représentatives d'une information d'identification d'au moins une première et une deuxième transformée, distinctes l'une de l'autre, mises en œuvre lors du codage du bloc courant au cours d'une étape de transformation du bloc courant en un bloc transformé, comprenant deux sous-étapes successives de transformation du bloc courant en un bloc transformé, au moins une sous-étape de transformation comprenant l'application d'une première transformée à au moins un premier vecteur et d'au moins une deuxième transformée, distincte de la première, à au moins un deuxième vecteur d'un bloc, dit bloc à transformer, parmi le bloc courant et le bloc intermédiaire, et
des données codées représentatives d'au moins le premier et le deuxième vecteurs formés dans le bloc à transformer, à partir d'une séquence de pixels adjacents, respectivement coefficients adjacents, ladite séquence ayant une longueur égale à une des dimensions du bloc à transformer .
L'invention concerne aussi un terminal d'ordinateur comprenant un dispositif de codage d'une image numérique selon l'invention et un dispositif de décodage d'une image numérique selon l'invention.
L'invention concerne encore un programme d'ordinateur comportant des instructions pou r la mise en œuvre des étapes d'un procédé de codage d'une image numérique tel que décrit précédemment, lorsque ce programme est exécuté par un processeur.
L'invention concerne aussi un programme d'ordinateur comportant des instructions pour la mise en œuvre des étapes d'un procédé de décodage d'une image numérique tel que décrit précédemment, lorsque ce programme est exécuté par un processeur.
Ces programmes peuvent utiliser n'importe quel langage de programmation. Ils peuvent être téléchargés depuis un réseau de communication et/ou enregistrés sur un support lisible par ordinateur.
L'invention se rapporte enfin à des supports d'enregistrement, lisibles par un processeur, intégrés ou non au dispositif de codage d'une image numérique et au dispositif de décodage d'une image numérique selon l'invention, éventuellement amovible, mémorisant respectivement un programme d'ordinateur mettant en œuvre un procédé de codage et un programme d'ordinateur mettant en œuvre un procédé de décodage, tels que décrits précédemment.
6. Liste des figures D'autres avantages et caractéristiques de l'invention apparaîtront plus clairement à la lecture de la description suivante d'un mode de réalisation particulier de l'invention, donné à titre de simple exemple illustratif et non limitatif, et des dessins annexés, parmi lesquels : la figure 1 (déjà décrite) illustre de façon schématique une séquence d'images numériques à coder et le découpage en blocs de ces images selon l'art antérieur ; la figure 2 (déjà décrite) présente différentes possibilités de partitionnement d'un bloc en sous-blocs selon l'art antérieur ; la figure 3 (déjà décrite) présente de façon schématique les étapes d'un procédé de codage d'une image numérique selon l'art antérieur ; les figures 4A et 4B (déjà décrites) présentent deux exemples de transformées en fréquence approximées selon l'art antérieur ; la figure 5 (déjà décrite) présente un tableau comparatif de mesures de complexité de transformées séparables et de transformées non séparables ; la figure 6 présente de façon schématique les étapes d'un procédé de codage d'une image numérique selon un mode de réalisation de l'invention ; la figure 7A illustre les éléments d'un bloc courant ; les figures 7B, 7C et 7D illustrent des exemples de formation de vecteurs « lignes » et « colonnes » à partir des éléments du bloc courant de la figure 7A, selon l'invention ; la figure 8A présente u n premier exemple d'estimation de valeu rs d'énergie au niveau des pixels d'un bloc courant et la figure 8B présente des régions homogènes déterminées dans le bloc à partir des niveaux d'énergie estimés ; la figure 9A présente un deuxième exemple d'estimation de valeurs d'énergie au niveau des pixels d'un bloc courant et la figure 9B présente des régions homogènes déterminées dans le bloc à partir des niveaux d'énergie estimés ; la figure 10 détaille les étapes de formation de vecteurs et de transformation des vecteurs formés selon un deuxième mode de réalisation de l'invention ; la figure 11 présente les gains de compression obtenus par le procédé de codage selon ce deuxième mode de réalisation par rapport à l'art antérieur ; la figure 12 détaille les étapes de formation de vecteurs et de transformation des vecteurs formés selon un troisième mode de réalisation de l'invention ; la figure 13 présente les gains de compression obtenus par le procédé de codage selon ce troisième mode de réalisation par rapport à l'art antérieur ; la figure 14 présente de façon schématique les étapes d'un procédé de décodage d'une image numérique selon un mode de réalisation de l'invention ; et - la figure 15 présente un exemple de structure simplifiée d'un dispositif de codage d'une image numérique et d'u n dispositif de décodage d'une image numérique selon un mode de réalisation de l'invention.
7. Description d'un mode de réalisation particulier de l'invention
Le principe général de l'invention repose sur l'application de transformées distinctes à différents vecteurs de dimension égale à celle d'une ligne, respectivement d'une colonne, d'un bloc à coder.
On considère une vidéo originale constituée d'une suite de M images II, 12, ...IM, avec M entier non nul, telle que celle présentée en relation avec la Figure 1. Les images sont encodées par un encodeur, les données codées sont insérées un train binaire TB transmis à un décodeur via un réseau de communication, ou un fichier compressé FC, destiné à être stocké sur un disque dur par exemple. Le décodeur extrait les données codées, puis reçues et décodées par un décodeur dans un ordre prédéfini connu de l'encodeur et du décodeur, par exemple dans l'ordre temporel II, puis 12, puis IM, cet ordre pouvant différer suivant le mode de réalisation.
En relation avec la Figure 6, on considère maintenant les étapes d'un procédé de codage selon un mode de réalisation de l'invention.
AU cours d'u ne étape TO, on sélectionne un bloc à traiter, dit bloc cou rant x. Par exemple, il s'agit d'un bloc CU, carré ou rectangulaire, obtenu par partitionnement d'un bloc CTU. Dans la suite, on considère que ce bloc x a pour dimensions, une hauteur H et une largeur W, entiers non nuls. A titre d'exemple illustratif, on considère le cas particulier d'un bloc WxH =4X4.
On considère une étape T2 de transformation, dans laquelle on applique au bloc courant x une transformation. L'étape T2 de transformation du bloc courant x est séparable et mise en œuvre selon deux sous-étapes de transformation linéaire : -une première sous-étape T21 de transformation linéaire appliquée à des vecteurs VIO à VIH-1 du bloc x, de dimension W, destinée à fournir un bloc intermédiaire XI comprenant WxH coefficients ;
- une deuxième sous-étape T24 de transformation linéaire appliquée à des vecteurs VcO à VcW-1 du bloc XI, de dimension H, destinée à fournir le bloc X transformé. On notera que, selon l'invention, la première sous-étape pourrait tout aussi bien s'appliquer a des vecteurs VcO à VcW-1 du bloc x que et la deuxième sous-étape à des vecteurs VIO à VIH-1 du bloc XI.
On comprend que pour traiter des blocs rectangulaires, on fait agir des transformées de tailles différentes sur les lignes et les colonnes. Selon l'invention, au moins une des deux sous-étapes T21, T24 de transformation est mise en œuvre à partir d'au moins deux transformées linéaires distinctes, l'une s'appliquant à au moins un premier vecteur de dimension égale à celle d'une ligne du bloc et formé dans le bloc de pixels x ou dans le bloc intermédiaire de coefficients XI et l'autre à au moins un deuxième vecteur de dimension égale à celle d'une ligne du bloc et formé dans ce même bloc. A l'issue de la ou les sous- étapes mettant en œuvre deux transformées linéaires distinctes, on obtient des vecteurs transformés dont les coefficients sont réarrangés dans un bloc XI, X de dimension MxN en T22, T25.
A cet égard, on notera qu'il existe différentes manières de réarrange les coefficients dans un bloc et que celle utilisée par l'encodeur doit être connue du décodeur. Dans ce but, des informations représentatives d'un mode de réarrangement de ces coefficients pourront être codées et transmises au décodeur dans le train binaire.
De façon alternative, des règles de réarrangement prédéterminées seront partagées par le codeur et le décodeur.
Ainsi, la transformation T2 produit un bloc X comprenant des coefficients transformés, prêts à être parcourus par un ordre de scanning en T3, quantifiés en T4, et codés en T5. On notera que les étapes T3 et T4 peuvent être interverties.
A l'issue du traitement du bloc courant x, on vient tester en T6 si le bloc courant x est le dernier bloc à traiter par l'unité de codage, compte tenu de l'ordre de parcours de codage défini précédemment. Si oui, l'unité de codage a terminé son traitement et les données codées sont insérées dans un train binaire TB. Si non, l'étape suivante est l'étape de sélection du bloc suivant T0. Ce bloc devient le bloc courant à traiter, et l'étape suivante est l'étape Tl de détermination des transformées à appliquer au bloc courant, déjà décrite.
Le train binaire TB peut ensuite être émis à destination d'un décodeur.
Différents modes de réalisation des étapes Tl de détermination des transformées et de transformation T2, en particulier des sous-étapes T20, T23 de formation des vecteurs, T21, T24 d'application des transformées aux vecteurs formés et T22, T25 d'arrangement des coefficients transformés dans un bloc, vont maintenant être détaillées.
Selon un premier mode de réalisation de l'invention, les au moins deux transformées sont mises en œuvre au cours de la première sous-étape de transformation T21.
Par exemple, on suppose que la première sous-étape T21 met en œuvre des transformées sur des vecteurs de dimension égale à celle d'une ligne du bloc courant x. et que la deuxième sous-étape T24 met en œuvre au moins une transformée sur des vecteurs de dimensions égale à celle d'une colonne et formés à partir des éléments du bloc intermédiaire XI.
Dans ce cas, le procédé met en œuvre une étape préalable T20 de formation de H vecteurs VIo à VIH-I de longueur W à partir des pixels du bloc courant x.
Avantageusement, ces vecteurs sont formés de façon à ce que chaque élément du bloc courant soit utilisé dans un seul vecteur.
En relation avec la Figure 7A, on considère à titre d'exemple un bloc courant x de taille 4x4. Il comprend 16 coefficients xO à xl5.
En relation avec la Figure 7B, on présente un premier exemple de vecteurs VIO à VI3 formés à partir des lignes du bloc x. Un vecteur Vlh de ce type correspond à la ligne numéro h du bloc courant x.
En relation avec la Figure 7D, on présente un deuxième exemple de vecteurs VIO à VI 3 formés à partir de 4 éléments voisins deux à deux du bloc x. Ces éléments ne sont pas tous issus de la même ligne. Par exemple, le vecteur VI'O comprend trois éléments xO, xl, x2 consécutifs de la première ligne du bloc et 1 élément x4 de la deuxième ligne du bloc, voisin avec l'élément xO de la première ligne. On comprend que ce type de vecteur de dimension égale à celle d'une ligne peut être avantageusement utilisé pour suivre une discontinuité de texture présente dans le bloc et mieux exploiter la corrélation entre les éléments du vecteur.
Le procédé de codage selon l'invention met ensuite en œuvre une étape T2 de détermination d'au moins deux transformées linéaires distinctes LO, Ll à appliquer aux vecteurs VIO à VIH-1 formés, au moins une première transformée LO à appliquer à au moins un vecteur Vlhl formé et au moins une deuxième transformée Ll à appliquer à au moins un autre vecteur Vlh2, avec hl, h2 entiers compris entre 0 et H-l et hl≠h2.
Les transformées différenciées peuvent être du type DCT ou DST ou toute autre transformée linéaire efficace pour le codage. On peut ainsi utiliser des transformations optimales pour la décorrélation, à savoir la KLT (pour « Karhunen-Loeve Transform », en anglais), ou optimisée suivant un critère débit distorsion comme présenté dans l'article de Sezer et al, intitulé « Robust learning of 2D separable transforms for next génération video coding », publié dans les proceedings de la conférence DCC (pour « Data Compression Conférence », en anglais) en 2011. Avantageusement, on détermine les au moins deux transformations linéaires en fonction d'au moins un paramètre de codage du bloc courant, tel que par exemple la taille du bloc, ou encore le mode de prédiction INTRA choisi.
Par exemple, des expérimentations menées préalablement hors ligne ont permis de déterminer au moins deux transformations linéaires adaptées à un mode de prédiction INTRA particulier et de stocker l'association obtenue en mémoire.
Avantageusement, des identifiants de transformées linéaires associées à une valeur de paramètre de codage sont stockées dans une mémoire du codeur. Il s'agit par exemple d'une base de données BD1 qui comprend des entrées associant à un paramètre de codage, tel que par exemple le mode de prédiction INTRA précédemment évoqué, un identifiant de la première transformée, au moins un identifiant ou indice de vecteur du bloc ou du bloc intermédiaire auquel appliquer la première transformée, et un identifiant d'au moins une deuxième transformée, distincte de la première et au moins un identifiant ou indice de deuxième vecteur dudit bloc auquel appliquer la deuxième transformée.
En relation avec la Figure 8A, on présente des valeurs d'énergie moyenne estimées par pixel dans des blocs résiduels de taille 8x8, issus d'un mode de prédiction INTRA donné, en l'espèce le mode de prédiction numéro 26 selon la norme HEVC. Une telle estimation est réalisée hors ligne.
On constate que l'énergie par pixel présente un motif horizontal en bandes qui justifierait une découpe en deux (ou plus) régions séparées. En relation avec la Figure 8B, on a représenté deux régions RI, R2 :
• la première région RI est constituée des trois premières lignes qui présentent un motif constant ;
• la deuxième région R2 est constituée des 5 dernières lignes qui présentent un profil moins constant, du fait de la discontinuité plus marquée sur la première colonne.
Avantageusement on a déterminé deux transformées Ll, L2, l'une s'appliquant aux vecteurs lignes de la région RI et l'autre aux vecteurs lignes de la région R2.
Ainsi suivant ce mode de prédiction, le codeur applique une partition en deux transformées « lignes » se partageant chacune une région. Pour la région RI, assez homogène, on a choisi une transformée de type DCT, ou une transformation définie au sens de la KLT. La DCT peut être considérée comme appropriée car elle est toute indiquée pour la transformation des motifs continus.
Pour la région R2, on a choisi une transformée capable de tenir compte de la discontinuité plus marquée sur la première colonne, par exemple DST, ou une transformation définie au sens de la KLT. La DST peut être considérée comme appropriée car elle est toute indiquée pour la transformation des motifs présentant une discontinuité en leur début. Pour la région R2 on note que l'énergie moyenne du premier pixel, sur le bord gauche, a une valeur significativement différente de celle des autres énergies de pixels.
Sans contrainte de mémoire, on définirait davantage de régions, voire autant que de lignes et on utiliserait 8 transformées, au prix d'une plus grande occupation d'espace mémoire.
La prise en compte de la contrainte d'occupation mémoire conduite à perdre légèrement en efficacité pour une baisse de performance limitée.
Selon l'exemple des Figures 8A et 8B, une entrée associe au mode de prédiction 26, la transformée LO pour les vecteurs lignes vIO à vl2 et la transformée Ll pour les vecteurs colonnes vl3 à vl7. En relation avec la Figure 9A, on présente maintenant l'énergie moyenne, par pixel, obtenue pour un signal résiduel obtenu par pré analyse hors ligne de blocs de taille 8x8 issus d'un mode de codage donné, en l'espèce le mode de prédiction 19 tel que défini par la norme HEVC. Ce mode de prédiction présente un angle d'approximativement -53° et effectue une prédiction diagonale du haut vers le bas.
Les variations d'énergie entre pixels délimitent trois zones R'1, R'2, R'3 représentées sur la Figure 9B. Il convient de les découper afin de les traiter par trois transformées distinctes associées aux régions R'1, R'2 et R'3 et adaptées à leurs statistiques respectives. Dans cet exemple, on constate que les régions formées ne correspondent pas à une ou plusieurs lignes du bloc. Selon l'invention, il est alors intéressant de former des vecteurs de dimensions égales à celle d'une ligne, à partir d'éléments voisins qui n'appartiennent pas nécessairement tous à la même ligne, en fonction des frontières des régions considérées. Par exemple, le vecteur Vlhl représenté sur la Figure 9A correspond à la région R'1. Selon un premier aspect, une entrée de la base de données BD1 associe au mode de prédiction 19, un identifiant de la transformée L'O, un identifiant du ou des vecteurs formés dans la région R'1 et auquel appliquer la transformée L'O, un identifiant de la transformée L'1, un identifiant du ou des vecteurs formés dans la région R'2 auquel appliquer la transformée L'2, un identifiant de la transformée L'3, un identifiant du ou des vecteurs formés dans la région R'3 auquel appliquer la transformée L'3.
Le procédé de codage détermine donc comment former les vecteurs de dimensions égales à celles d'une ligne et détermine les transformées à appliquer à ces vecteurs en fonction du mode de prédiction utilisé, par lecture de l'entrée correspondante dans la base de données BD1.
Selon un autre aspect, le procédé de codage calcule en outre une corrélation entre les valeurs des pixels résidus du bloc courant à l'issue de la prédiction selon le mode de prédiction INTRA numéro 19 et le motif de région R'1, R'2, R'3 qui vient d'être présenté.
En cas de forte corrélation entre ces deux quantités, c'est-à-dire une corrélation supérieure à un seuil de corrélation établi, l'encodeur décide d'utiliser les trois transformées L'O, L'1, L'2.
L'encodeur applique les trois transformées, adaptées aux différentes zones, avec des transformées adaptées à celles-ci. Par exemple une adaptation au sens de la KLT sera effectuée. Il signale ce choix au décodeur en insérant dans le train binaire une information codée représentative d'un indicateur de motif associé au mode de prédiction INTRA numéro 19.
On comprend que, selon ce mode de réalisation, la base de données BD1 comprend potentiellement plusieurs entrées correspondant à un même paramètre de codage, chaque entrée comprenant un indicateur de motif distinct, associé à des vecteurs différents et des transformées différentes.
A réception de l'information de mode de prédiction et du motif retenu par l'encodeur, le décodeur lira dans sa base de données BD2 les identifiants des vecteurs à former dans le bloc et des transformées à leur appliquer. Il effectuera les transformations inverses de celles effectuées au codeur.
De façon alternative, on détermine les transformées linéaires de façon dynamique par préanalyse du bloc courant à coder. Par exemple, cette pré-analyse met en œuvre des techniques connues d'analyse des contours à l'aide d'une estimation du gradient. La détection de contours est ensuite exploitée pour déterminer au moins deux régions et leur affecter des types de transformées, en fonction de leurs caractéristiques, par exemple l'homogénéité de leur texture. Dans ce cas, les identifiants des transformées linéaires déterminées et les identifiants des vecteurs concernés sont signalés dans le train binaire et transmis au décodeur.
De façon alternative cette analyse des contours est menée sur un ou plusieurs blocs voisins déjà traités et combinée à une hypothèse de continuité sur le bloc courant, par exemple en fonction d'une orientation du contour dans le bloc voisin, par rapport au bloc courant.
Lorsqu'une décision de continuité de contours est prise, les régions du bloc courant sont ensuite déterminées à partir de celles du bloc voisin déjà traité.
Dans ce cas, le codeur signale au décodeur le bloc voisin à partir duquel les régions, donc les vecteurs et les transformées à utiliser doivent être hérités, à l'aide d'une information codée représentative d'un mode d'héritage par rapport au bloc voisin concerné. On comprend que le décodeur sera amené à mettre en œuvre la même analyse de contour sur le même bloc voisin, une fois décodé, afin d'en déduire les vecteurs, transformées à utiliser.
Selon une variante de réalisation de l'invention, les au moins deux transformées linéaires distinctes sont mises en œuvre au cours de la deuxième sous-étape de transformation T31. Dans ce cas, des vecteurs de dimension H, égale à celle des colonnes du bloc courant, sont formés en Tl l, suite à la première sous-étape de transformation T30, à partir des coefficients du bloc intermédiaire XI. W vecteurs VcO à VcW-1, de longueur H, sont obtenus.
Comme précédemment, plusieurs types de vecteurs de dimension H peuvent être formés.
En relation avec la Figure 7C, le vecteur Vcw correspond à la colonne numéro w du bloc.
En relation avec la Figure 7E, le vecteur Vc'w comprend des éléments de deux colonnes voisines.
L'étape T'2 de détermination a fourni au moins deux transformées linéaires distinctes C0, Cl destinées à être appliquées aux vecteurs VcO à VcW-1 formés.
Les différents modes de réalisation des étapes de formation des vecteurs VIO à VIH-1 et de détermination des transformées linéaires Li présentés ci-dessus, sont transposables aux étapes de formation des vecteurs VcO à VcW-1 et de détermination des transformées linéaires Cj, sachant qu'elles sont mises en œuvre pour le bloc intermédiaire XI.
Avantageusement, on met en œuvre le principe de l'invention dans les deux sous-étapes de transformation T30 et T31. Dans ce cas, le procédé de codage met en œuvre la première étape T10 de formation des vecteurs VIO à VIH-1 de dimension W à partir du bloc courant x, une première étape T20 de détermination des transformées L0, Ll à appliquer aux vecteurs VIO à VIH-1, la deuxième étape Tl l de formation de vecteurs VcO à VcW-1 de dimension H à partir du bloc intermédiaire XI et une deuxième étape T21 de détermination des transformés C0, Cl à appliquer aux vecteurs VcO à VcW-1.
Un avantage est de mieux exploiter les particularités statistiques des différents vecteurs formés, pour les deux sous-étapes de transformation. Bien sûr, ce mode de réalisation nécessite en contrepartie de stocker plus de transformées.
En relation avec la Figure 10, on présente maintenant le procédé de codage d'une image numérique selon un deuxième mode de réalisation de l'invention.
Selon ce mode de réalisation on considère H transformées lignes LO à LH-1 et W transformées colonnes CO à CW-1. Autrement dit, on applique une transformée linéaire spécifique à chaque vecteur formé dans le bloc courant que ce soit les vecteurs VIO à VIH-1 de dimension W formés en T'20, ou les vecteurs VcO à VcW-1, de dimension H, formés en T'23. A titre d'exemple illustratif, on considère le cas d'un bloc 4X4.
Le signal XI transformé au cours de l'étape T'21, est obtenu par concaténation des opérations suivantes :
Les Lo, Li, L2 et L3 représentent les transformations lignes et sont donc des matrices de taille 4x4 dans ce mode de réalisation, qui peuvent potentiellement être implémentées sous la forme d'un algorithme rapide, à base de décomposition en papillon comme connu dans la littérature, notamment si les transformées utilisées sont de type DCT/DST.
On obtient ainsi les 16 coefficients transformés (Xlo-.-Xlis), à partir des 16 (xo,---Xis) pixels du bloc x de départ. Ils sont réarrangés en T'22 pour former le bloc XI, par exemple en considérant que chaque vecteur Vli transformé par la transformée linéaire Li a contribué à former la ligne i du bloc XI
La transformation colonne s'applique en T'24 de façon similaire comme suit
\x°] \ xi0 ]
Xi Xl4
= c0 -
X2 Xl8
[x3 ix
Les Co, Ci, C2 et C3 représentent les transformations colonnes et sont donc des matrices de taille 4x4 dans ce mode de réalisation, qui peuvent potentiellement être implémentées sous la forme d'un algorithme rapide, à base de décomposition en papillon comme connu dans la littérature, notamment si les transformées utilisées sont de type DCT/DST.
Ainsi dans le mode de réalisation sur bloc 4x4 qui vient d'être présentée ci-dessus, 8 transformées ont été provisionnées.
Un avantage de ce mode de réalisation est de prendre en compte le fait que chaque ligne et chaque colonne présente individuellement des statistiques qui lui sont propres. Les performances de compression sont améliorées.
En relation avec la Figure 11, on illustre le gain apporté par l'utilisation de transformées multiples dans un cas concret, celui du codage intra en HEVC, pour des blocs de taille 4x4. Dans ce cadre, HEVC utilise pour les blocs de taille 4x4, une transformée ligne et colonne de type DST VII, c'est cette transformation qui a démontré les meilleu rs résultats en termes de compacité du signal.
On se place dans le cadre d'une prédiction intra numéro 18. Cette prédiction est diagonale. Pour évaluer la performance d'une transformation, on mesure son gain de codage, c'est-à-dire le rapport entre énergie du signal et la moyenne géométrique des coefficients transformés.
En relation avec le tableau de la Figure 11, on présente les performances obtenues avec la DST telle qu'utilisée dans HEVC, la DCT communément utilisée en codage image/vidéo, une transformée séparable optimale au sens KLT (dénommée Sep dans le tableau) et un ensemble de transformées conforme à l'invention, optimisée au sens KLT (dénommée mSep dans la table). L'optimisation au sens KLT consiste à trouver les transformations lignes et colonnes qui permettent d'obtenir le meilleur gain de codage. Conformément à l'art antérieur, les transformations KLT sont obtenues par prise en considération des corrélations pixels à pixels des vecteurs à transformer et détermination de la transformation qui décorrèle au mieux ces pixels. La matrice d'autocorrélation des pixels est ainsi déterminée, puis une diagonalisation est effectuée : les vecteurs propre engendrant la décorrélation forment la transformée KLT.
Ces résultats démontrent une performance accrue à l'aide de l'invention ou un gain significatif est constaté par rapport aux méthodes de l'art antérieur.
En relation avec la Figure 12, on présente maintenant le procédé de codage d'une image numérique selon un troisième mode de réalisation de l'invention.
Selon ce mode, on forme des vecteurs « ligne » en T"20 à partir du bloc de pixels x et on leur applique deux transformées lignes distinctes au cours de la première sous-étape T"21. On réarrange les coefficients obtenus en T"22 pour former un bloc intermédiaire XI, on forme des vecteurs « colonne » en T"23 et on leur applique deux transformées colonnes distinctes au cours de la deuxième sous-étape de transformation T"24. On réarrange les coefficients transformés en T"25 pour former le bloc transformé X.
Ainsi la transformation ligne mise en œuvre par la première sous-étape T"21 différencie la transformation pour la première ligne de celle utilisée pour les autres et peut s'exprimer de la façon suivante, pour un bloc x de dimension 4x4 :
On n'a donc plus que deux transformées (Lo et Li) plutôt que 4 auparavant.
Pour les colonnes, on peut procéder de manière analogue, c'est-à-dire ne conserver que 2 transformées pour différencier les colonnes (par exemple la première des suivantes). On peut également dans un mode réalisation ne conserver qu'une seule transformation pour l'ensemble des colonnes, ou dans un autre mode conserver les 4 transformations distinctes tel qu'exposé dans le premier mode de réalisation.
Ainsi on réduit significativement l'impact lié au stockage des transformées.
Pour illustrer les performances obtenues par ce troisième mode de réalisation permettant une réduction de mémoire, on présente à nouveau les gains de codage obtenus dans le cadre des blocs 4x4 pour la prédiction 18 du mode intra de HEVC.
On retient deux transformations distinctes pour les lignes et les colonnes. On a ainsi 4 transformations au total au lieu de 8 comme présenté dans le premier mode de réalisation (on note cette configuration 4Sep). Selon une variante, on retient deux transformations distinctes pour les lignes et une seule transformée pour les colonnes (pour les colonnes on se rapproche ainsi de l'état de l'art). On a ainsi 3 transformations au total au lieu de 8 comme présenté dans le premier mode de réalisation (on note cette configuration 3Sep).
Les résultats sont présentés dans le tableau de la Figure 13. On voit donc que ces versions, à mémoire réduite, permettent d'approcher les résultats obtenus par la version à 8 transformées (mSep) avec la moitié ou moins de mémoire utilisée. On conserve un avantage significatif en compression par rapport aux transformées de l'état de l'art.
En relation avec la Figure 14, on présente maintenant les étapes d'un procédé de décodage selon un mode de réalisation de l'invention.
On suppose qu'un train binaire TB a été reçu par un dispositif de décodage mettant en œuvre le procédé de décodage selon l'invention.
En DO, on commence par sélectionner comme bloc courant C le premier bloc à traiter. Par exemple, il s'agit du premier bloc (dans l'ordre lexicographique). Ce bloc comporte MxN pixels, avec M et N entiers non nuls.
Comme décrit pour le procédé d'encodage, le bloc C considéré peut être un bloc CTU ou un sous-bloc CU obtenu par découpage du bloc CTU ou encore un bloc ou sous-bloc résidu obtenu par soustraction d'une prédiction du bloc courant au bloc courant. Au cours d'une étape Dl, les données codées relatives au bloc courant C sont lues et décodées. En D2, les données décodées relatives au bloc courant C sont déquantifiées. On obtient un vecteur de coefficients déquantifiés DQ[k], avec k entier compris entre 0 et MxN -1.
Au cours d'une étape D3, les coefficients du vecteur DQ sont arrangés dans un bloc transformé Χ'. Il s'agit de l'opération inverse du parcours T3 mis en œuvre par le procédé de codage.
En D4, on détermine les transformées à appliquer au bloc courant X' au cours des sous- étapes successives de transformation inverse D51, D54. Selon l'invention, l'une d'elles au moins mettant en œuvre deux transformées linéaires distinctes. On comprend qu'il s'agit des transformées inverses de celles appliquées par le procédé de codage selon l'invention.
Au niveau du décodeur, les transformées inverses à appliquer à des vecteurs de dimension égale à celle d'une ligne, respectivement d'une colonne peuvent être déterminées de différentes manières, parmi lesquelles on peut citer à titre d'exemple : par lecture dans le train binaire TB d'information d'identification d'au moins une première transformée et d'une deuxième transformée ; par lecture d'informations d'identification des transformées utilisées par l'encodeur dans une mémoire locale ou distante ;
Avantageusement, le choix des première et deuxième transformée peut être associé à un paramètre de codage du bloc courant, par exemple sa taille ou son mode de prédiction.
Selon un mode de réalisation de l'invention, les transformées à appliquer sont obtenues par lecture d'une mémoire, par exemple l'entrée d'une base de données BD2 associant à un paramètre de codage, un identifiant de la première transformée à au moins un identifiant de premier vecteur du bloc ou du bloc intermédiaire, un identifiant d'au moins une deuxième transformée, distincte de la première à au moins un identifiant de deuxième vecteur dudit bloc.
Avantageusement, au cours de D4, on a aussi déterminé comment les vecteurs ont été formés dans le bloc courant au niveau de l'encodeur. Par exemple l'identifiant de vecteur correspond à un type connu de vecteur formé dans un bloc de taille MxN
On comprend qu'il est nécessaire que le décodeur sache former les vecteurs de la même manière que le codeur. Plusieurs types de vecteurs colonne ou lignes peuvent être formés. De façon similaire à ce qui a été décrit pour les transformées à appliquer, plusieurs modes de réalisation sont envisagés, parmi lesquels : le décodeur dispose localement des mêmes règles de formation des vecteurs que l'encodeur. Ces règles sont par exemple stockées en mémoire ;
- Avantageusement, le décodeur accède à des informations stockées dans une base de données, comprenant des entrées associant à un paramètre de codage, des indications permettant la formation de H vecteurs de dimension W et de W vecteurs de dimension H dans le bloc courant. Cette base de données est dupliquée au niveau du codeur et du décodeur ;
- le décodeur extrait du train binaire des informations représentatives d'un type de vecteur formé par l'encodeur. Cette variante est particulièrement intéressante, lorsque le type de vecteur formé est choisi de façon dynamique, su r la base d'une pré-analyse du contenu du bloc courant mise en œuvre au niveau de l'encodeur.
A l'issue de cette étape, on connaît donc le nombre, les indices et les types de vecteurs associés à un identifiant de transformée linéaire.
Dans la suite de la description, on suppose qu'à l'encodage, la première sous-étape mettait en œuvre au moins deux transformées sur des vecteurs de dimension égale à celle d'une ligne et la deuxième sous-étape une ou plusieurs transformées sur des vecteurs de dimension égale à celle d'une colonne.
Au niveau du décodage, les opérations inverses seront menées dans un ordre inversé de celui effectué lors du codage. Dans cet exemple de réalisation, la première sous-étape D51 de transformation inverse s'applique donc à des vecteurs de dimension égale à celle d'une colonne.
Au cours d'une étape D50 on forme dans le bloc X' des vecteurs de coefficients de longueur égale à celle d'une colonne du bloc Χ'. Il s'agit de l'opération inverse de celle d'arrangement T25 des coefficients des vecteurs transformés dans un bloc X mise en œuvre par le procédé de codage.
Par exemple, côté encodeur, on avait simplement positionné les coefficients du vecteur colonne Vcj transformé par une transformée linéaire C0, Cl ou Cj de l'étape T24, dans la colonne j du bloc X. Au cours de l'étape D50 du procédé de décodage, on forme à l'inverse un vecteur Vcj de longueur égale à celle d'une colonne à partir des coefficients de la colonne j du bloc X'. On comprend donc que selon cet exemple, une colonne de X' comprend les coefficients issues de la transformation linéaire appliquée par le procédé de codage au vecteur vcj associé. Dans ce cas simple, l'étape D50 consiste alors simplement à former des vecteurs « colonnes » Vcj à partir des colonnes du bloc X'.
Avantageusement, l'étape D50 s'appuie sur des informations relatives à ce réarrangement obtenues au cours de l'étape de détermination D4. Par exemple, le réarrangement qui consiste à associer la colonne cjO à l'entrée de la transformée linéaire C0"1 et la colonne cjl à l'entrée de la transformée linéaire Cl-1 est indiqué par une information représentative d'un type de réarrangement prédéterminé ou bien associe des identifiants de vecteurs à chaque transformée linéaire.
De tels identifiants de vecteur comprennent avantageusement un type de vecteur et un indice de vecteur. Par exemple, le type de vecteur considéré est le type colonne et le vecteur à former est le no j, c'est-à-dire celui qui correspond à la colonne j du bloc.
En D51, on applique les transformées linéaires inverses C0 l' Cl 1 aux vecteurs V'cjO, V'cjl formés en D50, par exemple les colonnes cjO, cjl, sous forme transposée si elles sont orthogonales ou à l'aide d'un algorithme rapide.
On obtient des vecteurs v'cjO, v'cjl.
Au cours d'une étape D52, on positionne les coefficients des vecteurs v'cjO, v'cjl traités pour former un bloc X'I intermédiaire. Pour ce faire, on utilise les informations d'identification des vecteurs déterminées au cours de l'étape D4 et relatives à la formation des vecteurs côté encodeur et on procède à l'opération inverse
Par exemple, si les vecteurs sont des vecteurs colonnes, les informations d'identification comprennent un indice de colonne et les éléments du vecteur sont placés dans la colonne correspondante.
Si les vecteurs ne sont pas linéaires, les informations d'identification identifient un type de vecteur non linéaire connu du décodeur, dont il sait positionner les éléments dans le bloc MxN. Par exemple, si les informations d'identification des vecteurs déterminées indiquent que le vecteur vcj formé dans le bloc X'I côté encodeur était du type de ceux décrits en relation avec la Figure 7E, avec un indice correspondant au vecteur vcO, alors les coefficients seront placés en X'I, X'O, X'4, X'8.
Avant d'être soumis à la deuxième sous-étape de transformation inverse D54, le bloc intermédiaire X'I obtenu est ensuite mis en œuvre dans une étape D53 de formation, similaire à l'étape D50, mais qui forme un vecteur V'Ii dans le bloc X'I à partir des informations de réarrangement obtenues en D4, et lui associe une des transformées linéaires LO"1 et Ll 1 déterminées elle aussi en D4.
En D54, les transformées inverses sont appliquées, sous forme transposée si elles sont orthogonales ou à l'aide d'un algorithme rapide, et produisent des vecteurs V'liO, Vlil de dimension égale à celle d'une ligne. Les opérations mises en œuvre par le décodeur selon l'invention sont de même nature que celles utilisées par l'état de l'art : la complexité est donc inchangée pour effectuer les transformations.
En D55, on positionne les vecteurs obtenus pour former le bloc de pixels χ'. Il s'agit de l'opération inverse de celle de formation T20 des vecteurs mise en œuvre dans le procédé de codage selon l'invention.
En D6, on reconstruit le bloc de pixels de l'image décodée à partir du bloc x' obtenu et on l'intègre à l'image ID en cours de décodage. Si le bloc x' est un bloc résidu, on lui ajoute une prédiction du bloc courant obtenue à partir d'une image de référence précédemment traité.
Au cours d'une étape D7, on vient tester si le bloc courant est le dernier bloc à traiter le décodeur, compte tenu de l'ordre de parcours défini précédemment. Si oui, le procédé de décodage a terminé son traitement. Si non, l'étape suivante est l'étape de sélection du bloc suivant DO et les étapes de décodage Dl à D7 précédemment décrites sont répétées pour le bloc suivant sélectionné.
On notera que l'invention qui vient d'être décrite, peut être mise en œuvre au moyen de composants logiciels et/ou matériels. Dans cette optique, les termes « module » et « entité », utilisés dans ce document, peuvent correspondre soit à un composant logiciel, soit à un composant matériel, soit encore à un ensemble de composants matériels et/ou logiciels, aptes à mettre en œuvre la ou les fonctions décrites pour le module ou l'entité concerné(e).
En relation avec la figure 15, on présente maintenant un exemple de structure simplifiée d'un dispositif 100 de codage d'une image numérique selon l'invention. Le dispositif 100 met en œuvre le procédé de codage selon l'invention qui vient d'être décrit en relation avec la Figure 6. Par exemple, le dispositif 100 comprend une unité de traitement 110, équipée d'un processeur μΐ, et pilotée par un programme d'ordinateur Pgl 120, stocké dans une mémoire 130 et mettant en œuvre le procédé de selon l'invention.
A l'initialisation, les instructions de code du programme d'ordinateur Pgi 120 sont par exemple chargées dans une mémoire RAM avant d'être exécutées par le processeur de l'unité de traitement 110. Le processeur de l'unité de traitement 110 met en œuvre les étapes du procédé décrit précédemment, selon les instructions du programme d'ordinateur 120.
Dans cet exemple de réalisation de l'invention, le dispositif 100 comprend au moins une unité TRANS de transformation d'un bloc courant en un bloc transformé X comprenant une première sous-unité de transformation TRI du bloc courant en un bloc intermédiaire et une deuxième sous-unité TR2 de transformation du bloc intermédiaire en le bloc transformé, u ne unité QUANT de quantification du bloc transformé, une unité COD de codage du bloc quantifié et une unité INSERT d'insertion des données codées dans le train binaire TB.
Selon l'invention, l'unité de transformation comprend au moins une sous-unité FORM de formation d'au moins deux vecteurs à partir d'éléments (pixels, respectivement coefficients) d'un desdits blocs parmi le bloc courant et le bloc intermédiaire, apte à être mise en œuvre préalablement à au moins une desdites sous-unités de transformation et une sous-unité ARR d'arrangement des coefficients obtenus dans un bloc. Le dispositif comprend aussi une unité DET de détermination des au moins deux transformées distinctes à appliquer auxdits vecteurs, au moins en fonction d'un paramètre de codage du bloc courant.
Avantageusement, le dispositif 100 comprend en outre une mémoire, par exemple une unité BD1 de stockage d'une table comprenant des entrées associant à un paramètre de codage un identifiant de la première transformée à au moins un identifiant de vecteur du bloc ou du bloc intermédiaire, un identifiant d'au moins une deuxième transformée, distincte de la première à au moins un identifiant de deuxième vecteur dudit bloc.
Ces unités sont pilotées par le processeur μΐ de l'unité de traitement 110.
De façon avantageuse, le dispositif 100 peut être intégré à un terminal d'utilisateur TU. Le dispositif 100 est alors agencé pour coopérer au moins avec le module suivant du terminal TU : Un module E/R d'émission/réception de données, par l'intermédiaire duquel le train binaire TB ou le fichier compressé FC est transmis via un réseau de télécommunications à un dispositif de décodage;
Par exemple, le dispositif de décodage 200 comprend une unité de traitement 210, équipée d'un processeu r μ2, et pilotée par u n programme d'ordinateur Pg2 220, stocké dans une mémoire 230 et mettant en œuvre le procédé de décodage selon l'invention, qui vient d'être décrit en relation avec la Figure 14.
A l'initialisation, les instructions de code du programme d'ordinateur Pg2 220 sont par exemple chargées dans une mémoire RAM avant d'être exécutées par le processeur de l'unité de traitement 210. Le processeur de l'unité de traitement 210 met en œuvre les étapes du procédé décrit précédemment, selon les instructions du programme d'ordinateur 220.
Dans cet exemple de réalisation de l'invention, le dispositif 200 comprend au moins une unité DEC de décodage des coefficients du bloc courant transformé à partir de données lues dans le train binaire, une unité DEQUANT de déquantification des coefficients décodés, une unité TRANS"1 de transformation inverse du bloc courant transformé, apte à mettre en œuvre deux sous-unités successives de transformation inverse, la première sous-unité TRI-1 s'appliquant au bloc courant transformé, la deuxième TR2 1 au bloc intermédiaire, issu de la première sous-unité . Selon l'invention, au moins une des sous-unités TRI-1, TR2 1 met en œuvre au moins une première et une deuxième transformée linéaire, distinctes l'un de l'autre, sur un bloc dit bloc à traiter, parmi le bloc courant transformé et le bloc intermédiaire.
Selon l'invention, l'unité de transformation inverse comprend en outre une sous-unité FORM-1 apte à réarranger les coefficients des vecteurs traités par la première et la deuxième transformées dans le bloc traité.
Avantageusement, le dispositif comprend aussi une unité ARR-1 de formation d'au moins deux vecteurs à partir des coefficients du bloc à traiter, lesdits vecteurs ayant une longueur égale à une des dimensions du bloc courant, auxquels seront appliquées les première et deuxièmes transformées linéaires et une unité DET de détermination des au moins deux transformées linéairesdistinctes à appliquer auxdits vecteurs, au moins en fonction d'un paramètre de codage du bloc courant. Ces unités sont pilotées par le processeur μ2 de l'unité de traitement 210.
De façon avantageuse, le dispositif 200 peut être intégré à un terminal d'utilisateur TU. Le dispositif 200 est alors agencé pour coopérer au moins avec le module suivant du terminal TU :
Un module E/R d'émission/réception de données, par l'intermédiaire duquel le train binaire TB ou le fichier compressé FC est reçu d'un réseau de télécommunications ;
Un dispositif DISP de restitution d'images, par exemple un écran de terminal, par l'intermédiaire duquel l'image numérique décodée ou la suite d'images décodées est restituée à un utilisateur.
De façon avantageuse, le terminal d'utilisateur TU peut intégrer à la fois un dispositif de codage et un dispositif de décodage selon l'invention.
Il va de soi que les modes de réalisation qui ont été décrits ci-dessus ont été donnés à titre purement indicatif et nullement limitatif, et que de nombreuses modifications peuvent être facilement apportées par l'homme de l'art sans pour autant sortir du cadre de l'invention.

Claims

REVENDICATIONS
1. Procédé de codage d'une image numérique, ladite image étant divisée en une pluralité de blocs de pixels traités dans un ordre défini, ledit procédé comprenant les étapes suivantes, mises en œuvre pour un bloc courant, de dimensions prédéterminées :
Transformation (T2) du bloc courant en un bloc transformé, ledit bloc comprenant des coefficients, ladite étape mettant en œuvre deux sous-étapes successives de transformation, la première sous-étape (T21) s'appliquant au bloc courant, la deuxième (T24) au bloc intermédiaire, issu de la première sous-étape, ledit bloc intermédiaire comprenant des coefficients, et
Quantification (T4) et codage (T5) des coefficients du bloc transformé,
Caractérisé en ce que :
ladite étape de transformation comprend en outre, préalablement à au moins une desdites sous-étapes de transformation, ladite sous-étape s'appliquant à un bloc, dit bloc à transformer, parmi le bloc cou rant et le bloc intermédiaire, une sous-étape préalable (T20, T23) de formation d'au moins un premier et un deuxième vecteurs distincts, dans le bloc à transformer, un dit vecteur comprenant les pixels, respectivement les coefficients d'une séquence de pixels, respectivement coefficients adjacents du bloc à transformer, de longueur égale à une des dimensions du bloc à transformer ; et
ladite au moins une sous-étape de transformation comprend l'application d'une première transformée (L0, C0) audit au moins un premier vecteur et d'au moins une deuxième transformée (Ll, Cl), distincte de la première, audit au moins un deuxième vecteur dudit bloc.
2. Procédé de codage d'une image numérique selon la revendication 1, caractérisé en ce qu'il comprend en outre une étape préalable (Tl) de détermination des au moins deux transformées distinctes à appliquer auxdits vecteurs, au moins en fonction d'un paramètre de codage du bloc courant. Procédé de codage d'une image numérique selon l'une des revendications 1 et 2, caractérisé en ce que l'étape (T2) de détermination comprend la lecture d'informations stockées en mémoire, lesdites informations comprenant au moins le paramètre de codage, un identifiant de la première transformée, au moins un identifiant de premier vecteur du bloc ou du bloc intermédiaire, un identifiant d'au moins une deuxième transformée, distincte de la première et au moins un identifiant de deuxième vecteur dudit bloc.
Procédé de codage d'une image numérique selon l'une des revendications précédentes, caractérisé en ce que ladite étape de transformation comprend une sous-étape (T22, T25) de réarrangement des coefficients des vecteurs transformés dans le bloc intermédiaire (XI), respectivement transformé (X).
Procédé de codage d'une image numérique selon l'une des revendications 1 à 4, comprenant les étapes suivantes :
Prédiction des valeurs du bloc courant à partir d'au moins un bloc précédemment traité selon un mode de prédiction choisi parmi une pluralité de modes prédéterminés, Calcul d'un bloc courant résidu par soustraction des valeurs prédites aux valeurs originales du bloc courant,
caractérisé en ce que l'étape de transformation (T2) est appliquée au bloc courant résidu et en ce que ledit au moins un paramètre de codage est le mode de prédiction du bloc courant.
Procédé de codage d'une image numérique selon l'une des revendications précédentes, caractérisé en ce qu'il comprend une étape de codage d'informations d'identification de ladite au moins une première transformée et de ladite au moins une deuxième transformée.
Procédé de codage d'une image numérique selon l'une des revendications précédentes, caractérisé en ce que la première transformée est appliquée à un premier sous-ensemble des vecteurs de dimension égale à celle d'une ligne du bloc, respectivement à celle d'une colonne dudit bloc et que ladite au moins une deuxième transformée est appliquée à un deuxième sous-ensemble de vecteurs de dimension égale à celle d'une ligne du bloc, respectivement à celle d'une colonne dudit bloc.
Procédé de codage d'une image numérique selon l'une des revendications 1 à 6, caractérisé en ce que ladite au moins une sous-étape de transformation met en œuvre une transformée distincte par vecteur de dimension égale à celle d'une ligne du bloc, respectivement à celle d'une colonne, formé dans le bloc.
Dispositif (100) de codage d'une image numérique, ladite image (Ik) étant divisée en une pluralité de blocs de pixels traités dans un ordre défini, ledit dispositif comprenant les unités suivantes, aptes à être mises en œuvre pour un bloc courant (x), de dimensions prédéterminées :
Transformation (TRANS) du bloc courant en un bloc transformé, ledit bloc comprenant des coefficients, ladite unité étant apte à mettre en œuvre deux sous- unités successives de transformation, la première sous-unité (TRI) s'appliquant au bloc courant, la deuxième (TR2) au bloc intermédiaire, issu de la première sous- unité, ledit bloc intermédiaire comprenant des coefficients, et
Quantification (QUANT) et codage (COD) des coefficients du bloc transformé,
Caractérisé en ce que :
ladite unité de transformation comprend en outre une sous-unité (FORM) de formation d'au moins un premier et un deuxième vecteurs distincts dans un bloc, dit bloc à transformer, parmi le bloc courant et le bloc intermédiaire, un dit vecteur comprenant les pixels, respectivement les coefficients d'une séquence de pixels adjacents, respectivement coefficients adjacents du bloc à transformer de longueur égale à une des dimensions du bloc à transformer, ladite sous-unité étant apte à être mise en œuvre préalablement à au moins une desdites sous-unités de transformation (TRI, TR2) ; et
ladite au moins une sous-unité de transformation comprend l'application d'une première transformée audit au moins un premier vecteur et d'au moins une deuxième transformée, distincte de la première, audit au moins un deuxième vecteur dudit bloc.
10. Procédé de décodage d'une image numérique, à partir d'un train binaire (TB) comprenant des données codées représentatives de ladite image, ladite image (Ik) étant divisée en une pluralité de blocs traités dans un ordre défini, ledit procédé comprenant les étapes suivantes, mises en œuvre pour un bloc, dit bloc courant transformé (Χ') :
Décodage (Dl) des coefficients du bloc courant transformé à partir de données lues dans le train binaire ;
Déquantification (D2) des coefficients décodés ;
Transformation inverse (D5) du bloc courant transformé, ladite étape mettant en œuvre deux sous-étapes successives de transformation inverse, la première sous-étape (D51) s'appliquant au bloc courant, la deuxième (D54) au bloc intermédiaire, issu de la première sous-étape ;
Caractérisé en ce que :
ladite au moins une sous-étape de transformation inverse s'appliquant à un bloc, dit bloc à traiter, parmi le bloc courant transformé (Χ') et le bloc intermédiaire (X'I), elle comprend l'application d'une première transformée inverse (CO _1, LO"1) à au moins un premier vecteur (V'cjO, V'liO) de longueur égale à celle d'une colonne, respectivement d'une ligne, du bloc à traiter, et d'au moins une deuxième transformée inverse (Cl-1, Ll_1), distincte de la première, à au moins un deuxième vecteur (V'cjl, V'Iil) dudit bloc de longueur égale à celle d'une colonne, respectivement d'une ligne ; et en ce qu'elle comprend en outre une sous-étape (D52, D55) de formation du bloc traité (X'I, x') par positionnement de séquences de coefficients adjacents, respectivement pixels adjacents, de longueurs égales à celle d'une colonne, respectivement d'une ligne, issues des vecteurs traités (v'cjO, v'cjl, v'liO, v'Iil).
11. Procédé de décodage d'une image numérique selon la revendication 10, caractérisé en ce qu'il comprend une étape préalable (D4) de détermination des au moins deux transformées distinctes (CO _1, Cl-1, LO"1, Ll 1) à appliquer auxdits vecteurs, du bloc à traiter, au moins en fonction d'un paramètre de codage du bloc courant.
12. Procédé de décodage d'une image numérique selon l'une des revendications précédentes, caractérisé en ce que l'étape de transformation inverse comprend en outre une sous-étape (D50, D53), préalable à ladite au moins une sous-étape de transformation, de réarrangement de séquences de coefficients adjacents du bloc à traiter dans lesdits premier et deuxième vecteurs (V'cjO, V'cjl, V'liO, Vlil), une dite séquence ayant une longueur égale à une des dimensions du bloc à traiter.
13. Dispositif (200) de décodage d'une image numérique, à partir d'un train binaire (TB) comprenant des données codées représentatives de ladite image, ladite image étant divisée en une pluralité de blocs traités dans u n ordre défini, ledit dispositif comprenant les unités suivantes, aptes à être mises en œuvre pour un bloc de dimensions prédéterminées, dit bloc courant :
Décodage (DECOD) des coefficients du bloc courant transformé à partir de données lues dans le train binaire ;
Déquantification (DEQUANT) des coefficients décodés ;
Transformation inverse (TRANS _1) du bloc courant transformé, ladite unité étant apte à mettre en œuvre successivement deux sous-unités de transformation inverse, la première sous-unité s'appliquant au bloc courant, la deuxième au bloc intermédiaire, issu de la première sous-unité ;
Caractérisé en ce que
au moins une sous-unité de transformation inverse d'un bloc (Χ', XI), dit bloc à traiter, parmi le bloc courant transformé et le bloc intermédiaire, comprend l'application d'au moins une première transformée inverse (C0-1, L0-1) à au moins un premier vecteur (V'cjO, V'liO) de coefficients du bloc à traiter, de longueur égale à celle d'une colonne, respectivement d'une ligne, du bloc à traiter et d'au moins une deuxième transformée inverse (Cl-1, Ll-1), distincte de la première à au moins un deuxième vecteur (V'cjl, Vlil) de coefficients du bloc à traiter, respectivement pixels, de longueur égale à celle d'une colonne, respectivement d'une ligne, du bloc à traiter; et en ce que l'unité de transformation inverse (D5) comprend en outre une sous-unité (D52, D55) de formation du bloc traité (ΧΊ, x') par positionnement de séquences de coefficients adjacents, respectivement pixels adjacents, de longueurs égales à celle d'une colonne, respectivement d'une ligne, issues des vecteurs traités (v'cjO, v'cjl, v'liO, v'Iil).
14. Signal portant un train binaire (TB) comprenant des données codées d'une image numérique, ladite image étant divisée en blocs de pixels, caractérisé en ce qu'il comprend, pour un bloc courant :
des données codées représentatives d'une information d'identification d'au moins une première et une deuxième transformée, distinctes l'une de l'autre, mises en œuvre lors du codage du bloc courant au cours d'une étape (T2) de transformation du bloc courant en un bloc transformé, comprenant deux sous-étapes successives (T21, T24) de transformation du bloc courant en un bloc transformé, au moins une sous-étape de transformation comprenant l'application d'une première transformée (L0, C0) à au moins un premier vecteur (vlhO, vcwO) et d'au moins une deuxième transformée (Ll, Cl), distincte de la première, à au moins un deuxième vecteur (vlhl, vcwl) d'un bloc, dit bloc à transformer, parmi le bloc courant et le bloc intermédiaire (x, XI), et des données codées représentatives d'au moins le premier et le deuxième vecteurs formés dans le bloc à transformer, un dit vecteur comprenant une séquence de pixels adjacents, respectivement coefficients adjacents du bloc à transformer, de longueur égale à une des dimensions du bloc à transformer .
15. Terminal d'utilisateur (TU) caractérisé en ce qu'il comprend un dispositif (100) de codage d'une image numérique selon la revendication 9 et un dispositif de (200) décodage d'une image numérique selon la revendication 13.
17. Programme d'ordinateur (Pgl) comprenant des instructions pour la mise en œuvre du procédé de codage d'une image numérique selon l'une des revendications 1 à 8, lorsqu'il est exécuté par un processeur.
18. Programme d'ordinateur (Pg2) comprenant des instructions pour la mise en œuvre du procédé de décodage d'une image numérique selon l'une des revendications 10 à 12, lorsqu'il est exécuté par un processeur.
EP16714466.6A 2015-02-06 2016-02-05 Procede de codage d'une image numerique, procede de decodage, dispositifs, et programmes d'ordinateurs associes Withdrawn EP3254467A1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1550984A FR3032583B1 (fr) 2015-02-06 2015-02-06 Procede de codage d'une image numerique, procede de decodage, dispositifs, et programmes d'ordinateurs associes
PCT/FR2016/050246 WO2016124867A1 (fr) 2015-02-06 2016-02-05 Procede de codage d'une image numerique, procede de decodage, dispositifs, et programmes d'ordinateurs associes

Publications (1)

Publication Number Publication Date
EP3254467A1 true EP3254467A1 (fr) 2017-12-13

Family

ID=54065939

Family Applications (1)

Application Number Title Priority Date Filing Date
EP16714466.6A Withdrawn EP3254467A1 (fr) 2015-02-06 2016-02-05 Procede de codage d'une image numerique, procede de decodage, dispositifs, et programmes d'ordinateurs associes

Country Status (7)

Country Link
US (1) US20180020216A1 (fr)
EP (1) EP3254467A1 (fr)
JP (1) JP2018509070A (fr)
KR (1) KR20170134324A (fr)
CN (1) CN107409228A (fr)
FR (1) FR3032583B1 (fr)
WO (1) WO2016124867A1 (fr)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111937386A (zh) * 2018-04-01 2020-11-13 Lg电子株式会社 通过向分区块应用二次变换来处理视频信号的方法及设备

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3044507A1 (fr) * 2015-11-30 2017-06-02 Orange Procede de codage et de decodage d'images, dispositif de codage et de decodage d'images et programmes d'ordinateur correspondants
US11095893B2 (en) * 2016-10-12 2021-08-17 Qualcomm Incorporated Primary transform and secondary transform in video coding
CN113055684B (zh) * 2019-06-24 2022-09-30 杭州海康威视数字技术股份有限公司 一种编解码方法、装置及其设备
US11064194B2 (en) * 2019-10-31 2021-07-13 Western Digital Technologies, Inc. Encoding digital videos using controllers of data storage devices

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4226172B2 (ja) * 1998-11-24 2009-02-18 株式会社ハイニックスセミコンダクター 適応的変換方法を用いる映像圧縮符号化装置および復号化装置ならびにその方法
JP2005167655A (ja) * 2003-12-03 2005-06-23 Matsushita Electric Ind Co Ltd 変換符号化方法および変換復号化方法
US9172968B2 (en) * 2010-07-09 2015-10-27 Qualcomm Incorporated Video coding using directional transforms
EP2725799B1 (fr) * 2011-06-27 2020-04-29 Sun Patent Trust Procédé de codage d'images, procédé de décodage d'images, dispositif de codage d'images, dispositif de décodage d'images et dispositif de codage/décodage d'images
US20130003837A1 (en) * 2011-06-29 2013-01-03 General Instrument Corporation Methods and system for using a scan coding pattern during intra coding
CN107835420B (zh) * 2011-10-18 2021-05-14 株式会社Kt 视频信号解码方法
KR20130050149A (ko) * 2011-11-07 2013-05-15 오수미 인터 모드에서의 예측 블록 생성 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111937386A (zh) * 2018-04-01 2020-11-13 Lg电子株式会社 通过向分区块应用二次变换来处理视频信号的方法及设备
CN111937386B (zh) * 2018-04-01 2023-09-01 Lg电子株式会社 通过向分区块应用二次变换来处理视频信号的方法及设备
US11889080B2 (en) 2018-04-01 2024-01-30 Lg Electronics Inc. Method and apparatus for processing video signal by applying secondary transform to partitioned block

Also Published As

Publication number Publication date
WO2016124867A1 (fr) 2016-08-11
FR3032583A1 (fr) 2016-08-12
KR20170134324A (ko) 2017-12-06
CN107409228A (zh) 2017-11-28
US20180020216A1 (en) 2018-01-18
FR3032583B1 (fr) 2018-03-02
JP2018509070A (ja) 2018-03-29

Similar Documents

Publication Publication Date Title
EP3314897B1 (fr) Procédé de codage d'une image numérique, procédé de décodage, dispositifs, et programmes d'ordinateurs associés
WO2016124867A1 (fr) Procede de codage d'une image numerique, procede de decodage, dispositifs, et programmes d'ordinateurs associes
EP3183879A1 (fr) Procédé de codage d'une image numérique, procédé de décodage, dispositifs, et programmes d'ordinateurs associés
EP2446628A1 (fr) Procédé de codage et de décodage d'images, dispositifs de codage et de décodage, flux de données et programme d'ordinateur correspondants
EP3075155B1 (fr) Procédé de codage et de décodage d'images, dispositif de codage et de décodage d'images et programmes d'ordinateur correspondants
EP3449631B1 (fr) Procede de decodage d'une image numerique, procede de codage, dispositifs, et programmes d'ordinateurs associes
EP0490799A1 (fr) Dispositif et procédé de codage des images et système de transmission et récepteur correspondants
EP3345391A2 (fr) Procédé de codage et de décodage d'images, dispositif de codage et de décodage d'images et programmes d'ordinateur correspondants
FR3029333A1 (fr) Procede de codage et decodage d'images, dispositif de codage et decodage et programmes d'ordinateur correspondants
FR3046321A1 (fr) Procede de codage d'une image numerique, procede de decodage, dispositifs, terminal d'utilisateur et programmes d'ordinateurs associes
EP3972246B1 (fr) Procédé de codage et de décodage d'images, dispositif de codage et de décodage d'images et programmes d'ordinateur correspondants
EP3685283A1 (fr) Procedes de codage et de decodage d'une image
FR3057130B1 (fr) Procede de codage d'une image, procede de decodage, dispositifs, equipement terminal et programmes d'ordinateurs associes
FR2956789A1 (fr) Procede et dispositif de traitement d'une sequence video
EP2364552A1 (fr) Dispositif d'encodage d'un flux d'images numeriques et dispositif de decodage correspondant avec approximation du voisinage d'un bloc par le voisinage elargi du bloc
WO2009007603A2 (fr) Procedes et dispositifs de codage et de decodage d'images numeriques tenant compte du type des blocs source, signal et produits programme d'ordinateur correspondants
FR3035761A1 (fr) Procede de codage et de decodage d'images, dispositif de codage et de decodage d'images et programmes d'ordinateur correspondants
FR3083042A1 (fr) Procede de decodage d'une image, procede de codage, dispositifs, equipement terminal et programmes d'ordinateurs associes
FR3088511A1 (fr) Procede de decodage d’au moins une image, procede de codage, dispositifs, signal et programmes d’ordinateur correspondants.
FR3050858A1 (fr) Procede de codage et de decodage d’images, dispositif de codage et de decodage d’images et programmes d’ordinateur correspondants

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20170825

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: B COM

17Q First examination report despatched

Effective date: 20190226

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20190709