EP1766996A1 - Procede et dispositif de densification de champ de mouvement - Google Patents

Procede et dispositif de densification de champ de mouvement

Info

Publication number
EP1766996A1
EP1766996A1 EP05779693A EP05779693A EP1766996A1 EP 1766996 A1 EP1766996 A1 EP 1766996A1 EP 05779693 A EP05779693 A EP 05779693A EP 05779693 A EP05779693 A EP 05779693A EP 1766996 A1 EP1766996 A1 EP 1766996A1
Authority
EP
European Patent Office
Prior art keywords
pixel
sub
pixels
image
source image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP05779693A
Other languages
German (de)
English (en)
Inventor
Stéphane PATEUX
Sylvain Kervadec
Isabelle Amonou
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Orange SA
Original Assignee
France Telecom SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by France Telecom SA filed Critical France Telecom SA
Publication of EP1766996A1 publication Critical patent/EP1766996A1/fr
Withdrawn legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H04N19/615—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding using motion compensated temporal filtering [MCTF]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/553—Motion estimation dealing with occlusions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]

Definitions

  • the present invention relates to a method and device for densifying the motion field between a source image and a destination image.
  • the present invention is in the field of image processing in which points of a destination image must be associated with points of a source image.
  • Some algorithms in the field of coding a sequence of digital images provide solutions for associating points between two images.
  • These algorithms use motion-compensated temporal filtering by discrete wavelet decomposition. These algorithms first perform a wavelet temporal transformation between the images of the video image sequence and then spatially decompose the resulting temporal subbands. More precisely, the video image sequence is decomposed into two groups of images, the even images and the odd images, a motion field is estimated between each even image and the closest odd image or images used during the transformation. temporal wavelet. Even and odd images are compensated for movement with respect to each other iteratively in order to obtain temporal subbands. The iteration of this group creation and motion compensation process can be performed to generate different levels of wavelet transformation. The temporal images are then spatially filtered using wavelet analysis filters.
  • the invention proposes a method for densifying a motion field between a destination image and a source image from a motion field between the source image and the destination image. characterized in that the method comprises the steps of:
  • the invention relates to a device for densifying the motion field between a destination image and a source image from a motion field between the source image and the destination image, characterized in that the device comprises :
  • the motion field is thus perfectly invertible and does not cause artifacts during the reconstruction of the image.
  • the image at the decoder level of the client the densification of the motion field between a destination image and a source image is particularly suitable when the objects included in the images of the video image sequence are subjected to movements such as overturns in occlusions.
  • the association space is determined by determining a working space in the destination image as a function of the pixels or sub-pixels connected to the pixels or sub-pixels adjacent to the pixel or sub-pixels.
  • the pixel of the source image connected to the pixel or sub-pixel with which the workspace is associated and by determining the association space in the determined workspace from the pixel or sub-pixel with which it is associated workspace and from the pixels or sub-pixels connected to the neighboring pixels or sub-pixels of the pixel of the source image connected to the pixel or sub-pixel with which the workspace is associated.
  • the association space is determined by determining, from among the pixel or sub-pixel with which the workspace is associated and the pixels or sub-pixels connected to the pixels or sub-pixels " neighbors of the pixel or sub-pixel of the source image connected to the pixel or sub-pixel with which the workspace is associated, the pixels or sub-pixels delimiting the workspace according to their coordinates in the image of destination and by determining the association space from the coordinates of the pixel or sub-pixel with which the work space is associated and the distances separating the pixel or sub-pixel with which the pixel workspace is associated or sub-pixel - Pixels delimiting the working space
  • the densification of the motion field is performed quickly while allowing densification of the good quality motion field for coding and / or decoding of the video image sequence.
  • the distances separating the pixel or sub-pixel with which the working space of the pixels or sub-pixels delimiting the working space are associated are weighted by a coefficient of the order of one half.
  • the invention also relates to a motion compensated temporal filtering device of a video image sequence encoder characterized in that it comprises the motion field densification device according to the present invention.
  • the invention also relates to a motion compensated inverse temporal filtering device of a video image sequence decoder, characterized in that it comprises the motion field densification device according to the present invention.
  • the invention also relates to a signal comprising a sequence of video images encoded by discrete wavelet decomposition time-compensated motion filtering, the signal comprising high and low frequency images, the low frequency images are obtained by densifying the field of view.
  • the densification is performed by determining connections between the pixels or subpixels of the source image and the pixels or subpixels of the destination image, by determining, for each pixel or subpixel of the destination image connected to a pixel or subpixel of the source image, an association space of the pixel or subpixel comprising at least one pixel and / or subpixel of the destination image and associating with each pixel or subpixel understood in the association space the pixel or subpixel of the source image connected to said pixel or subpixel to form a dense motion field between the destination image and the source image.
  • the invention also relates to a method for transmitting a signal comprising a sequence of video images encoded by motion-compensated temporal filtering by discrete wavelet decomposition, the signal comprising high and low frequency images, the low frequency images are obtained by densifying the motion field between a source image of a source image group and a destination image of a destination image group from a motion field between the destination image and the source image, and wherein the densification is performed by determining connections between the pixels or subpixels of the source image and the pixels or subpixels of the destination image, determining for each pixel or sub-pixel of the destination image connected to a pixel or sub-pixel of the source image, an association space of the pixel or sub-pixel comprising at least one pixel and / or sub-pixel pixel of the destination image and associating with each pixel or subpixel included in the association space the pixel or subpixel of the source image connected to said pixel or sub-pixel to form a dense motion field between the destination image and the source image.
  • the invention also relates to a method for storing a signal comprising a sequence of video images encoded by motion-compensated temporal filtering by discrete wavelet decomposition, the signal comprising high and low frequency images, the low frequency images are obtained by densifying the motion field between a source image of a source image group and a destination image of a destination image group from a motion field between the destination image and the image source, and wherein the densification is performed by determining connections between the pixels or subpixels of the source image and the pixels or subpixels of the destination image, determining, for each pixel or subpixel of the destination image connected to a pixel or sub-pixel of the source image, an association space of the pixel or sub-pixel comprising at least one pixel and / or sub-pixel of the destination image and in associating with each pixel or subpixel included in the association space the pixel or subpixel of the source image connected to said pixel or subpixel to form a dense motion field between the destination image and the source image.
  • FIG. . 1 is a block diagram of a motion-compensated time-filtering video encoder using the mapping according to the invention
  • FIG. 2 is a block diagram of the motion-compensated temporal filtering module of the video encoder of FIG. 1 using the mapping according to the invention when Haar filters are used in the wavelet decomposition;
  • FIG. 3 represents a block diagram of a computing and / or telecommunication device capable of executing the matching algorithm according to the invention;
  • FIG. 4 represents the matching algorithm according to the invention executed by a processor of a computing and / or telecommunication device;
  • FIG. 5 is a simplified example of mapping pixels and subpixels of a destination segment to pixels or subpixels of a source segment;
  • FIG. 6 shows a simplified example of mapping the other pixels and subpixels of the destination segment of FIG. 5 with pixels or subpixels of the source segment;
  • FIG. 7 shows an example of mapping of pixels and subpixels of a destination image to pixels or subpixels of a source image
  • FIG. 8 is a block diagram of a motion-compensated time-filtering video decoder using the mapping according to the invention
  • FIG. 9 is a block diagram of the motion-compensated inverse time filtering module of a video decoder of FIG. 8 using the mapping according to the invention when Haar filters are used in the wavelet decomposition.
  • Fig. 1 represents a block diagram of a time-compensated video filtering video encoder using the mapping according to the invention.
  • the motion compensated temporal filtering video encoder 10 is adapted to encode a sequence of video images into a scalable data stream 18.
  • a scalable data stream is a stream in which the data is arranged such that way that it is possible to transmit a representation, in resolution and / or quality of the image, variable according to the type of application receiving the data.
  • the data included in this scalable data stream are coded in such a way as to ensure the transmission of video image sequences in a staggered or "scalable" manner in English terminology, both in quality and in resolution, without having to perform different codings. of the video image sequence.
  • the motion compensated temporal filtering video encoder 10 comprises a motion compensated temporal filtering module 100.
  • the motion compensated temporal filtering module 100 converts a group of N images into two groups of images, for example a group of (N). + l) / 2 low frequency images and a group of N / 2 high frequency images and transforms these images from a motion estimation made by a motion estimation module 11 of the time compensated video filtering coder movement 10.
  • the motion estimation module 11 makes a motion estimation between each paired image denoted x 2 [m, n] and the previous odd image denoted xi [m, n], or possibly even the odd image of the next pair of the image sequence.
  • the motion-compensated temporal filtering module 100 compensates for movement the paired image X 2 [m, n] so that time filtering is as efficient as possible. Indeed, the smaller the difference between a prediction of an image and the image, the more effectively it can be compressed, that is to say with a good compromise rate / distortion, or in an equivalent way, a good compression ratio on rebuild quality.
  • the motion estimation module 11 calculates, for each pair of even and odd images, a motion field, for example and in a nonlimiting manner, by a mapping of blocks from an odd image to an even image.
  • This technique is known by the Anglo-Saxon term "block matching". Good Of course, other techniques can be used such as, for example, mesh motion estimation technique.
  • a mapping of some pixels of the even source image is performed with pixels of the odd image.
  • the value of the movement of the block can be assigned to each pixel and to each sub-pixel of the block of the odd image.
  • the weighted movement vector of the block as well as the weighted motion vectors of the neighboring blocks are assigned to each pixel of the block according to the technique known under the name OBMC (Overlapped Block Motion Compensation).
  • the motion compensated temporal filtering module 100 performs a discrete wavelet decomposition of the compensated images to decompose the video image sequence into a plurality of frequency subbands distributed over one or more resolution levels. Discrete wavelet decomposition is applied recursively to the low frequency subbands of the temporal subbands until the desired decomposition level is reached. The decision module 12 of the motion-compensated temporal filtering video encoder 10 determines whether the desired decomposition level is reached or not.
  • the different frequency sub-bands obtained by the motion compensated temporal filtering module 100 are transferred to the module for generating a scalable flow 13.
  • the motion estimation module 11 transfers the motion estimates to the generation module.
  • a scalable flow 13 which composes a scalable data stream 18 from the different frequency subbands and motion estimates.
  • Fig. 2 is a block diagram of the motion-compensated temporal filtering module of the video encoder of FIG. 1 using the mapping according to the invention when Haar filters are used in the wavelet decomposition.
  • the motion-compensated temporal filtering module 100 performs time filtering according to the technique known as "lifting". This technique makes it possible to carry out a simple, flexible and perfectly reversible filtering equivalent to a wavelet filtering.
  • the source pair image x 2 [m, n] is oversampled by the over-sampling module 110 by performing for example a discrete wavelet transform or SDWT synthesis or by bilinear, bi-cubic or cardinal sinus interpolation.
  • the image denoted x 2 [m, n] is transformed by the module of over- sampling 110 in an image x ' 2 [m', n '] having for example a quarter-pixel resolution.
  • the source image is, for the part of the motion-compensated temporal filtering module 100 constituted by the modules 110 to 114, the pair image x 2 [m, n].
  • the motion-compensated temporal filtering module 100 also comprises a connection module for the initial movements 121.
  • the initial motion connection module 121 forms an image x'i [m ", n"] comprising at least four times more pixels than the image X 1 [Iu 3 Ii].
  • the image x'l [m “, n”] is formed by interpolation of Xi [m, n] or by any other method and is associated with each pixel or sub-pixel of the image x'i [m ", n"], for example the movement vector of the block estimated by the motion estimation module 11 comprising these pixels.
  • the destination image is, for the part of the motion compensated temporal filtering module 100, constituted by the modules 110 to 114, the odd image xi [m, n].
  • pixel of the image x ' 2 [m', ii] a pixel of the image x ' 2 [m', n '] which has the same position as a pixel of the image x 2 [ m, n].
  • sub-pixel of the image x ' 2 [m', n '] a pixel of the image x' 2 [m ', n'] which has been created by a synthesis DWT and / or a interpolation.
  • the motion-compensated temporal filtering module 100 comprises a motion field densification module 112.
  • the motion field densification module 111 associates with each of the pixels and sub-pixels of the destination image x'itm ",! at least one pixel of the source image x ' 2 [m', n '] from the connections established by the initial motion connection module 121.
  • Shift is the value of a pixel or subpixel of the image X'a [m “, n"]
  • Valsrc is the value of the pixel of the source image X2 '[m', n '] associated with the pixel or subpixel of the destination image x ' ⁇ m' ⁇ n "].
  • the image Xa '[m", n "] is then filtered and downsampled by the subsampling module 113 so that it has the same resolution as the image x ⁇ n ⁇ n] .
  • the subsampled image Xa '[m ", n”] is then subtracted from the image X ! [m, n] by the subtractor 114 to form an image denoted H [m, n] comprising high frequency components, the image H [m, n] is then transferred to the scalable data flow generation module 13 and the module synthesis 130.
  • the source image is, for the portion of the motion compensated temporal filtering module 100 consisting of the modules 130 to 134, the image H [m, n].
  • the source image H [m, n] is oversampled by the synthesis module 130 by performing for example an SDWT synthesis to generate an image H '[m', n '].
  • the synthesis module 130 is identical to the synthesis module 110, it will not be further described.
  • the motion field densification module 131 inverts the initial connections between x ⁇ m ' ⁇ n "] and X 2 '[m", n "] generated by the initial motion connection module to apply them between the image source H '[m', n '] and the destination image x 2 [m, n]
  • the destination image is, for the part of the motion compensated temporal filtering module 100 made up of the modules 130 to 134, the image x 2 [m, n] or the image x 2 '[m ", n”]
  • the motion field densification module 131 associates with each of the pixels and sub-pixels of the destination image x' 2 [m ", n”] at least one pixel or subpixel of the source image H '[m', n '] from the connections established by the initial motion connection module 121.
  • the accumulation module 133 creates an accumulation image Xb '[m “, n"].
  • the accumulation image Xb '[m “, n”] is of the same size as the destination image x 2 ' [m “, n”] and the value of each of its pixels and sub-pixels is equal a sum of the values of the pixels and sub-pixels of the source image H '[m', n '] associated with the corresponding pixel or sub-pixel in the image x' 2 [m ', n "], this sum being divided by the number of pixels and sub-pixels associated with the corresponding pixel or subpixel in the source image H '[m', n '].
  • the image Xb '[m ", n”] is then filtered and downsampled by the sub-sampling module 133 so that the it has the same resolution as the image x 2 [m, n] .
  • the subsampled image Xb '[m ", n”] is then added half to the image x 2 [m, n] by the adder 134 to form an image denoted L [m, n] comprising low frequency components
  • the image L [m, n] is then transferred to the decision module 12.
  • the image L [m, n] is then transferred from the decision module 12 of the motion-compensated time-filtering video encoder 10 to the scalable data flow generation module 13 when the desired resolution level is obtained or reprocessed by the time-compensated motion filtering module 100 for a new decomposition.
  • the image L [m, n] is processed by the motion-compensated temporal filtering module 100 in the same manner as that previously described.
  • the motion-compensated temporal filtering module 100 forms, for example when Haar filters are used, high and low frequency images of the form:
  • Fig. 3 represents a block diagram of a computing and / or telecommunication device capable of executing the matching algorithm according to the invention.
  • This computing and / or telecommunication device 30 is adapted to perform from a software program a temporal filtering compensated in motion on a sequence images.
  • the device 30 is also able to execute the matching algorithm according to the invention.
  • the device 30 is for example a microcomputer. It can also be integrated in a means for viewing video image sequences such as a television set or any other device for generating information sets intended for receiving terminals such as televisions, mobile telephones, etc.
  • the device 30 comprises a communication bus 301 to which are connected a central unit 300, a read-only memory 302, a random access memory 303, a screen 304, a keyboard 305, a hard disk 308, a digital video disk player / recorder or DVD 309, a communication interface 306 with a telecommunication network.
  • the hard disk 308 stores the program implementing the invention, as well as the data enabling coding and / or decoding according to the invention.
  • This storage means is readable by a computer or a microprocessor 300.
  • This storage means is integrated or not to the device, and can be removable.
  • Fig. 4 represents the matching algorithm according to the invention executed by a processor of a computing and / or telecommunication device.
  • step E400 the source and destination images are obtained. These images are in the context of a mapping, obtained by the motion-compensated temporal filtering module 100 of the video coder of FIG. 1, the source image H '[m', n '] and the destination image x' 2 [m ", n"].
  • step E401 the motion field between the source and destination images is obtained and a projection thereof is performed in step E402 between the source image and the destination image.
  • This projection is symbolized by the arrows between the source image and the destination image of FIGS. 5 and 6.
  • Step E403 constitutes the beginning of the densification of the motion field performed for example by the densification module 131 of FIG. 2.
  • the pixels or sub-pixels of the destination image on which the pixels or sub-pixels of the source image are projected by application of the motion field vectors symbolized by the arrows of Figs. 5 and 6, are connected to the pixels or sub-pixels of the source image.
  • the pixels or sub-pixels B, C, E, F of the destination image are respectively connected to the pixels or subpixels X1 1, X12, X11 and X121 of the source image.
  • the connections of the pixels or sub-pixels C and E are crossed. This is due to a flipping motion in this part of the image.
  • Pixels or subpixels B "and
  • the pixels A, B, C, D, E F and G of FIGS. 5 and 6 are pixels of the destination image.
  • step E404 the iteration on the pixels and / or the sub-pixels of the source image is initialized and the first pixel or sub-pixel of the source image is considered, this pixel or sub-pixel noted as Ps is the pixel X 1 of the source image of FIG. 5.
  • the pixel or subpixel of the destination image Pd noted connected to the pixel or subpixel Ps is determined.
  • the pixel or subpixel Pd is in FIG. 5, the pixel B.
  • the pixels or subpixels of the destination image connected to the pixels Ps1 and Ps2 are determined. It is the pixel E and the sub-pixel B "obtained by symmetry of the projection of the vector connecting Xl 1 to a pixel or subpixel of the destination image, these pixels or sub-pixels are denoted PdI and Pd2.
  • step E408 a low pixel or subpixel denoted Pbas and a high subpixel or subpixel of the set consisting of pixels Pd1, Pd and Pd2 are determined.
  • the pixel Phaut is the sub-pixel B "and the pixel Pbas is the pixel E.
  • the part of the image between the pixel or sub-pixel Phaut and the pixel or subpixel Pbas is then considered as a workspace.
  • the low boundary of an association space is defined from the workspace determined in step E408.
  • the low border denoted Fcb is equal to the position of the pixel or subpixel Pd minus the distance Dbas weighted by a coefficient k.
  • the upper boundary of the association space is defined.
  • the high border denoted Fch is equal to the position of the pixel or subpixel Pd to which is added the distance Dhigh weighted by a coefficient k.
  • the coefficient k is, according to a preferred embodiment, equal to the constant Vi. In an alternative embodiment, the coefficient k is equal to another positive constant.
  • step E412 the association space denoted Fen in FIG. 5, delimited by the boundaries Fcb and Fch, is determined.
  • the pixels and sub-pixels of the destination image included in the association space Fen are determined. According to the example of FIG. 5, the pixels and sub-pixels A, A ', B, B', C and C are included in the association space Fen.
  • step E414 there is associated with each pixel and sub-pixel included in the association space the pixel or sub-pixel of the source image connected to the pixel or sub-pixel Pd.
  • the pixels or sub-pixels A, A ', B, B', C and C are associated with the pixel or sub-pixel XI l.
  • step E415 it is verified in step E415 if all the pixels and / or sub-pixels of the source image have been processed. If yes, the present algorithm stops. If not, the algorithm proceeds to the next step E416 of taking the next pixel or subpixel of the source image.
  • the next pixel or subpixel is the pixel or subpixel denoted Xl I l.
  • the loop consisting of steps E405 to E415 is repeated until all the pixels or sub-pixels of the source image have been processed.
  • the pixel or sub-pixel Pd connected to X 11 is the pixel E
  • the neighboring pixels or sub-pixels of X 11 are X 11 and X 12 respectively connected to B and C
  • the determined pixel Pbas is the pixel Pd2E and the pixel or subpixel Phaut is the subpixel PdIE
  • the distance Dbas is zero because E is both the pixel connected to X11 and the pixel Pbas
  • the distance Dhaut is equal to six sub-pixels.
  • the association space FenE in the case where k is equal to 1 A, is between the pixel E and three sub-pixels above E.
  • the pixels and sub-pixels C, D, D 'and E are then associated with the subpixel Xl I l.
  • the pixel Pd connected to X12 is the sub-pixel C
  • the neighboring pixels or sub-pixels of X1 are X1I and X1 respectively connected to E and F.
  • the pixel Pbas determined is the pixel Pd2C and the pixel Phaut is the subpixel PdIC
  • the distance Dhaut is zero because C is both the subpixel connected to X12 and the subpixel Phaut
  • the distance Dbas is equal to five subpixels.
  • the association space FenC in the case where k is equal to Vi, is between the sub-pixel C and two and a half sub-pixels below C.
  • the pixel Pd connected to X1 21 is the pixel F
  • the neighboring pixel or sub-pixel of X1 is X1 connected to C
  • the pixel Pbas determined is the pixel Pd2E and the pixel Phaut is the pixel or subpixel PdIF
  • the distance Dhaut is equal to five sub-pixels
  • the distance Dbas is equal to four sub-pixels
  • all the pixels and sub-pixels of the destination image are associated with at least one pixel or sub-pixel of the source image.
  • the field of motion is thus made perfectly invertible and this taking into account possible reversals of part of images.
  • Fig. 7 shows an example of mapping of pixels and subpixels of a destination image to pixels of a source image.
  • Fig. 7 represents an application of the algorithm of FIG. 4 in a two-dimensional case.
  • the xs pixel of the source image is connected to a pixel xd of the destination image and adjacent pixels or sub-pixels xs1, xs2, xs3, xs4, xs5, xs6, xs7 and xs8 and which are connected to pixels or subpixels xd1, xd2, xd3, xd4, xd5, xd6 xd7 and xd8.
  • the present invention is presented in connection with the use of Haar filters.
  • Other filters such as filters known as 5/3 filters or 9/7 filters, are also used in the present invention. These filters use a larger number of source images to predict a destination image.
  • the modules 110 to 114 of the motion-compensated temporal filtering module of the video encoder are modules for the prediction of a destination image
  • the modules 130 to 134 of the time-compensated motion-compensating module of the video encoder are modules for updating a destination image.
  • the coding devices as described in the present invention form for each pair consisting of a source image and the destination image an accumulation image in accordance with what has been presented previously. Each of these accumulation images is taken into account for predicting and / or updating the destination image.
  • the accumulation image thus formed is then added to or subtracted from the destination image after possible weighting related to the facelift filtering coefficients.
  • Fig. 8 is a block diagram of a motion-compensated time-filtering video decoder using the mapping according to the invention.
  • the motion-compensated temporal filtering video decoder 60 is capable of decoding a scalable data stream 18 into a video image sequence 65, the data included in this scalable data stream having been coded by an encoder as described in FIG. 1.
  • the motion-compensated time-filtering video decoder 60 comprises an analysis module 68 of the data stream 18.
  • the analysis module 68 analyzes the data flow 18 and extracts each high-frequency image from each level of decomposition and that the image comprising the low frequency components of the lowest level of decomposition.
  • the analysis module 68 transfers the images comprising the high frequency components 66 and low frequency 61 to the inverse motion compensated time filtering module 600.
  • the analysis module 68 also extracts from the data stream 18 the different estimates of the motion fields made by the encoder 10 of the Fig. 1 and transfers them to the motion field storage module 61.
  • the inverse motion compensated temporal filtering module 600 iteratively transforms the high frequency image and the low frequency image to form an even image and an odd image corresponding to the higher decomposition low frequency image.
  • the inverse motion compensated temporal filtering module 600 forms a sequence of video images from the motion estimates stored in the module 61 and high and low frequency images. These motion estimates are estimates between each even image and the next odd image of the video image sequence encoded by the encoder 10 of the present invention.
  • the inverse motion compensated temporal filtering module 600 performs discrete wavelet synthesis of the images L [m, n] and H [m, n] to form a sequence of video images.
  • the discrete wavelet synthesis is recursively applied to the low frequency images of the temporal subbands as long as the desired level of decomposition is not achieved.
  • the decision module 62 of the inverse motion compensated temporal filtering video decoder 600 determines whether the desired decomposition level is reached or not.
  • Fig. 9 shows a block diagram of the inverse temporal filtering module of a motion compensated video decoder of the "Fig. 8 using the mapping according to the invention when Haar filters are used in the wavelet decomposition.
  • the inverse motion compensated temporal filtering module 600 performs temporal filtering according to the "lifting" technique so as to reconstruct the different images of the sequence of video images encoded by the encoder of the present invention.
  • the image H [m, n] or source image is oversampled by the oversampling module 610 to form an image H '[m', n '].
  • the motion-compensated temporal filtering module 100 also includes an initial motion connection module 621, identical to the initial motion connection module 121 of FIG. 2, it will not be more described.
  • the inverse motion compensated temporal filtering module 600 comprises an inverse motion field densification module 612.
  • the inverse motion field densification module 612 is identical to the motion field densification module 132 of FIG. 2, it will not be more described.
  • the inverse motion compensated time filtering module 600 has an accumulation module 613 identical to the accumulation module 133 of FIG. 2, it will not be more described.
  • the accumulation module 613 creates an accumulation image Xb '[m ", n"].
  • the inverse motion compensated temporal filtering module 600 comprises a subsampling module 614 identical to the subsampling module 133; it will not be described further.
  • the inverse motion-compensated temporal filtering module 600 comprises an adder 616 which half subtracts the filtered and subsampled image Xb '[m ", n"] from the image L [m, n] to form an even image. denoted X 2 [m, n].
  • the image x 2 [m, n] or source image is oversampled by the oversampling module 630 to form an image x ' 2 ' [m ', n'].
  • the synthesis module 630 is identical to the oversampling module 610 of FIG. 9, it will not be more described.
  • the inverse motion compensated time filtering module 600 comprises a motion field densification module 632.
  • the motion field densification module 632 is identical to the motion field densification module 111 of FIG. 2, it will not be more described.
  • the inverse motion compensated temporal filtering module 600 comprises an accumulation module 633 identical to the accumulation module 112 of FIG. 2, it will not be more described.
  • the accumulation module 633 creates an accumulation image Xa '[m ", n"].
  • the inverse motion compensated temporal filtering module 600 comprises a subsampling module 635 identical to the subsampling module 614, it will not be described further.
  • the inverse motion compensated temporal filtering module 600 comprises an adder 636 which adds the filtered and subsampled image Xa '[m ", n"] to the image H [m, n] to form an odd image denoted xi [m, n
  • the images xi [m, n] and x 2 [m, n] are, according to the desired decomposition level, interlaced to produce an image L [m, n] reintroduced on with the image H [m, n] of the same level, read in the stream of scalable data 18 in the inverse motion compensated time filtering module 600.
  • the method and the densification device according to the present invention find multiple applications in fields other than that previously described.
  • the method and the densification device are also applicable in the context of coders of video image sequences such as MPEG encoders and decoders 4 or encoders that use a predictive mode by motion compensation.
  • coders of video image sequences such as MPEG encoders and decoders 4 or encoders that use a predictive mode by motion compensation.
  • a bidirectional image is conventionally predicted from the previous image of the decoded video sequence in prediction or in intra.
  • the use of the densification method or device in such a frame makes it possible to simply have direct and inverse motion fields between all the images of the video image sequence.
  • Another example of application of the method and of the densification device according to the present invention is the rendering domain in the context of a synthetic scheme of objects represented in a surface manner in which it is necessary to project on a plane of image or make a polygon from a mesh surface.
  • Such rendering is performed according to the present invention by considering a voxel rendering of variable size located at the nodes of the polygons, a voxel being a sphere in a three-dimensional space representing a ball contributing to the definition of a volume or a surface.
  • the size of the voxels is defined by the size of the association space.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)

Abstract

La présente invention concerne un procédé et un dispositif de densification de champ de mouvement entre une image de destination et une image source à partir d’un champ de mouvement entre l’image source et l’image de destination, dans lequel on détermine des connexions entre les pixels ou sous-pixels (X11, X111, X12, X121) de l’image source et les pixels ou sous-pixels (B, C’, E, F) de l’image de destination, on détermine, pour chaque pixel ou sous-pixel de l’image de destination connecté à un pixel ou sous-pixel de l’image source, un espace d’association (Fen) du pixel ou du sous-pixel comprenant au moins un pixel ou sous-pixel de l’image de destination et on associe chaque pixel ou sous-pixel compris dans l’espace d’association (A, A’, B, B’, C, C’) au pixel (X11) de l’image source connecté audit pixel ou sous-pixel pour former un champ de mouvement dense entre l’image de destination et l’image source.

Description

Procédé et dispositif de densification de champ de mouvement
La présente invention concerne un procédé et un dispositif de densification de champ de mouvement entre une image source et une image de destination.
Plus précisément, la présente invention se situe dans le domaine du traitement d'images dans lequel des points d'une image de destination doivent être associés à des points d'une image source.
Certains algorithmes dans le domaine du codage d'une séquence d'images numériques proposent des solutions pour associer des points entre deux images.
Ces algorithmes utilisent le filtrage temporel compensé en mouvement par décomposition en ondelettes discrète. Ces algorithmes effectuent d'abord une transformée temporelle par ondelettes entre les images de la séquence d'images vidéo et décomposent ensuite spatialement les sous-bandes temporelles résultantes. Plus précisément, la séquence d'images vidéo est décomposée en deux groupes d'images, les images paires et les images impaires, un champ de mouvement est estimé entre chaque image paire et la ou les images impaires les plus proches utilisées lors de la transformation temporelle par ondelettes. Les images paires et impaires sont compensées en mouvement les unes par rapport aux autres de manière itérative afin d'obtenir des sous-bandes temporelles. L'itération de ce processus de création de groupe et de compensation en mouvement peut être effectuée afin de générer différents niveaux de transformation en ondelettes. Les images temporelles sont par la suite filtrées spatialement à l'aide de filtres d'analyse en ondelettes.
On aboutit, à l'issue de la décomposition, à un ensemble de sous-bandes spatio¬ temporelles. Le champ de mouvement et les sous-bandes spatio-temporelles sont enfin codés et transmis en couches correspondant aux niveaux de résolutions ciblés. Certains de ces algorithmes effectuent le filtrage temporel selon la technique présentée dans la publication de W.Sweldens, Siam J. Anal., Vol. 29, Nr2, pp 511-546, 1997 et connue sous le terme anglo-saxon de "Lifting".
Parmi ces algorithmes, il a été proposé dans la publication intitulée "3D subband video coding using Barbell Lifting; MSRA Asia; Contribution S 05 au CFP MPEG-21 SVC", de mettre en correspondance les pixels des images paires avec des pixels des images impaires pour mettre à jour les pixels des images paires en réutilisant des poids de pondération des pixels des images impaires utilisés lors de la prédiction des images impaires à partir des images paires, afin d'effectuer une mise à jour pondérée utilisant ces poids de pondération. Un point P(x,y) d'une image paire contribuant avec un poids w à la prédiction d'un point Q'(x',y') d'une image impaire, sera mis à jour avec une contribution du point Q'(x',y') pondérée du poids w.
Cette solution n'est pas satisfaisante. En effet, plusieurs problèmes ne sont pas résolus par cet algorithme. Il existe dans les images paires des pixels qui ne sont pas mis en correspondance. Cette absence de mise en correspondance de pixels, appelés trous, rend la mise à jour du champ de mouvement non parfaitement inversible et provoque des artefacts lors de la reconstruction de l'image au niveau du décodeur du client. De plus, pour certains pixels mis à jour par une pluralité de pixels d'une image paire, la mise à jour n'est pas normalisée. Cette absence de normalisation provoque aussi des artefacts, tels que des pré et/ou post échos, lors de la reconstruction de l'image au niveau du décodeur du client. Enfin, lorsque les objets compris dans les images de la séquence d'images vidéo sont soumis à des mouvements tels que des retournements, la mise en correspondance telle que proposée dans cette publication n'est pas optimale.
Dans la demande de brevet WO 030859990 il est décrit un procédé permettant d'accélérer le calcul de vecteurs de mouvement vers l'arrière dans une séquence d'images vidéo dérivés d'un champ de mouvement disponible à partir de vecteurs de déplacement vers l'avant. Dans cette demande, des vecteurs mouvement d'un bloc sont remplacés par les vecteurs de mouvement de blocs voisins. Cette méthode, certes adaptée à des mouvements entre images tels que des zooms, n'est pas adaptée à traiter des mouvements de retournement. L'invention a pour but de résoudre les inconvénients de l'art antérieur en proposant un procédé et un dispositif qui permettent la densification d'un champ de mouvement entre une image source et une image de destination qui soient particulièrement adaptés au traitement de mouvements de retournement tels qu'ils peuvent apparaître dans des zones d'occultation. A cette fin, selon un premier aspect, l'invention propose un procédé de densification de champ de mouvement entre une image de destination et une image source à partir d'un champ de mouvement entre l'image source et l'image de destination, caractérisé en ce que le procédé comporte les étapes de:
- détermination de connexions entre les pixels ou sous-pixels de l'image source et les pixels ou sous-pixels de l'image de destination,
- détermination, pour chaque pixel ou sous-pixel de l'image de destination connecté à un pixel ou sous-pixel de l'image source, d'un espace d'association du pixel ou du sous-pixel comprenant au moins un pixel et/ou sous-pixel de l'image de destination, - association de chaque pixel ou sous-pixel compris dans l'espace d'association au pixel ou sous-pixel de l'image source connecté audit pixel ou sous-pixel pour former un champ de mouvement dense entre l'image de destination et l'image source.
Corrélativement, l'invention concerne un dispositif de densification de champ de mouvement entre une image de destination et une image source à partir d'un champ de mouvement entre l'image source et l'image de destination, caractérisé en ce que le dispositif comporte :
- des moyens de détermination de connexions entre les pixels ou sous-pixels de l'image source et les pixels ou sous-pixels de l'image de destination,
- des moyens de détermination, pour chaque pixel ou sous-pixel de l'image de destination connecté à un pixel ou sous-pixel de l'image source, d'un espace d'association du pixel ou du sous-pixel comprenant au moins un pixel et/ou sous-pixel de l'image de destination,
- des moyens d'association de chaque pixel ou sous-pixel compris dans l'espace d'association au pixel ou sous-pixel de l'image source connecté audit pixel ou sous-pixel pour former un champ de mouvement dense entre l'image de destination et l'image source.
Ainsi, tous les pixels ou sous-pixels de l'image de destination sont associés à un pixel ou sous-pixel de l'image source, le champ de mouvement est ainsi parfaitement inversible et ne provoque pas d'artefacts lors de la reconstruction de l'image au niveau du décodeur du client. De plus, la densification de champ de mouvement entre une image de destination et une image source est particulièrement adaptée lorsque les objets compris dans les images de la séquence d'images vidéo sont soumis à des mouvements tels que des retournements dans des occultations. Selon un autre aspect de l'invention, on détermine l'espace d'association en déterminant un espace de travail dans l'image de destination en fonction des pixels ou sous-pixels connectés aux pixels ou sous-pixels voisins du pixel ou sous-pixel de l'image source connecté au pixel ou sous-pixel auquel est associé l'espace de travail et en déterminant l'espace d'association dans l'espace de travail déterminé, à partir du pixel ou sous-pixel auquel est associé l'espace de travail et à partir des pixels ou sous-pixels connectés aux pixels ou sous-pixels voisins du pixel de l'image source connecté au pixel ou sous-pixel auquel est associé l'espace de travail.
Ainsi, il est possible de définir rapidement et de manière efficace, les pixels ou sous-pixels de l'image de destination qui ne sont pas connectés au voisinage du pixel ou sous-pixel connecté.
Selon un autre aspect de l'invention, on détermine l'espace d'association en déterminant, parmi le pixel ou sous-pixel auquel est associé l'espace de travail et les pixels ou sous-pixels connectés aux pixels ou sous-pixels "voisins du pixel ou sous-pixel de l'image source connecté au pixel ou sous-pixel auquel est associé l'espace de travail, les pixels ou sous-pixels délimitant l'espace de travail en fonction de leurs coordonnées dans l'image de destination et en déterminant l'espace d'association à partir des coordonnées du pixel ou sous-pixel auquel est associé l'espace de travail et des distances séparant le pixel ou sous-pixel auquel est associé l'espace de travail des pixels ou sous- pixels délimitant l'espace de travail. Ainsi, la densification du champ de mouvement est effectuée rapidement tout en permettant une densification du champ de mouvement de bonne qualité pour le codage et/ou le décodage de la séquence d'images vidéo. Selon un autre aspect de l'invention, les distances séparant le pixel ou sous-pixel auquel est associé l'espace de travail des pixels ou sous-pixels délimitant l'espace de travail sont pondérées par un coefficient de l'ordre d'un demi.
Ainsi, il est possible de contrôler le taux de densification et/ou le taux de recouvrement des espaces d'association et ainsi de réduire les phénomènes de flou lors du décodage de la séquence d'images vidéo. La valeur du coefficient de un demi permet d'obtenir le meilleur compromis entre une densification complète du champ de mouvement et un recouvrement minimal des espaces d'association.
L'invention concerne aussi un dispositif de filtrage temporel compensé en mouvement d'un codeur de séquence d'images vidéo caractérisé en ce qu'il comporte le dispositif de densification de champ de mouvement selon la présente invention.
L'invention concerne aussi un dispositif de filtrage temporel inverse compensé en mouvement d'un décodeur de séquence d'images vidéo caractérisé en ce qu'il comporte le dispositif de densification de champ de mouvement selon la présente invention. L'invention concerne aussi un signal comprenant une séquence d'images vidéo codée par filtrage temporel compensé en mouvement par décomposition en ondelettes discrète, le signal comprenant des images de haute et basse fréquences, les images de basse fréquence sont obtenues en densifiant le champ de mouvement entre une image source d'un groupe d'images source et une image de destination du groupe d'images destination à partir d'un champ de mouvement entre l'image de destination et l'image source, et dans lequel la densification est effectuée en déterminant des connexions entre les pixels ou sous-pixels de l'image source et les pixels ou sous-pixels de l'image de destination, en déterminant, pour chaque pixel ou sous-pïxel de l'image de destination connecté à un pixel ou sous-pixel de l'image source, un espace d'association du pixel ou du sous-pixel comprenant au moins un pixel et/ou sous-pixel de l'image de destination et en associant à chaque pixel ou sous-pixel compris dans l'espace d'association le pixel ou sous-pixel de l'image source connecté audit pixel ou sous-pixel pour former un champ de mouvement dense entre l'image de destination et l'image source.
L'invention concerne aussi un procédé de transmission d'un signal comprenant une séquence d'images vidéo codée par filtrage temporel compensé en mouvement par décomposition en ondelettes discrète, le signal comprenant des images de haute et basse fréquences, les images de basse fréquence sont obtenues en densifiant le champ de mouvement entre une image source d'un groupe d'images source et une image de destination d'un groupe d'images destination à partir d'un champ de mouvement entre l'image de destination et l'image source, et dans lequel la densification est effectuée en déterminant des connexions entre les pixels ou sous-pixels de l'image source et les pixels ou sous-pixels de l'image de destination, en déterminant, pour chaque pixel ou sous-pixel de l'image de destination connecté à un pixel ou sous-pixel de l'image source, un espace d'association du pixel ou du sous-pixel comprenant au moins un pixel et/ou sous-pixel de l'image de destination et en associant à chaque pixel ou sous-pixel compris dans l'espace d'association le pixel ou sous-pixel de l'image source connecté audit pixel ou sous-pixel pour former un champ de mouvement dense entre l'image de destination et l'image source. L'invention concerne aussi un procédé de stockage d'un signal comprenant une séquence d'images vidéo codée par filtrage temporel compensé en mouvement par décomposition en ondelettes discrète, le signal comprenant des images de haute et basse fréquences, les images de basse fréquence sont obtenues en densifiant le champ de mouvement entre une image source d'un groupe d'images source et une image de destination d'un groupe d'images destination à partir d'un champ de mouvement entre l'image de destination et l'image source, et dans lequel la densification est effectuée en déterminant des connexions entre les pixels ou sous-pixels de l'image source et les pixels ou sous-pixels de l'image de destination, en déterminant, pour chaque pixel ou sous-pixel de l'image de destination connecté à un pixel ou sous-pixel de l'image source, un espace d'association du pixel ou du sous-pixel comprenant au moins un pixel et/ou sous-pixel de l'image de destination et en associant à chaque pixel ou sous-pixel compris dans l'espace d'association le pixel ou sous-pixel de l'image source connecté audit pixel ou sous-pixel pour former un champ de mouvement dense entre l'image de destination et l'image source. Les avantages du procédé de codage, du procédé de décodage, du dispositif de codage, du dispositif de décodage, du signal comprenant la séquence d'images vidéo transmis ou stocké sur un moyen de stockage, ceux-xi sont identiques aux avantages du procédé et du dispositif de densification de champ de mouvement. Ils ne seront pas rappelés. L'invention concerne aussi le programme d'ordinateur stocké sur un support d'informations, ledit programme comportant des instructions permettant de mettre en oeuvre le procédé précédemment décrit, lorsqu'il est chargé et exécuté par un système informatique. Les caractéristiques de l'invention mentionnées ci-dessus, ainsi que d'autres, apparaîtront plus clairement à la lecture de la description suivante d'un exemple de réalisation, ladite description étant faite en relation avec les dessins joints, parmi lesquels: la Fig. 1 représente un schéma bloc d'un codeur vidéo à filtrage temporel compensé en mouvement utilisant la mise en correspondance selon l'invention; la Fig. 2 représente un schéma bloc du module de filtrage temporel compensé en mouvement du codeur vidéo de la Fig. 1 utilisant la mise en correspondance selon l'invention lorsque des filtres de Haar sont utilisés dans la décomposition en ondelettes ; la Fig. 3 représente un schéma bloc d'un dispositif informatique et/ou de télécommunication apte à exécuter l'algorithme de mise en correspondance selon l'invention ; la Fig. 4 représente l'algorithme de mise en correspondance selon l'invention exécuté par un processeur d'un dispositif informatique et/ou de télécommunication; la Fig. 5 représente un exemple simplifié de mise en correspondance de pixels et de sous-pixels d'un segment de destination avec des pixels ou sous-pixels d'un segment source; la Fig. 6 représente un exemple simplifié de mise en correspondance des autres pixels et de sous-pixels du segment de destination de la Fig. 5 avec des pixels ou sous- pixels du segment source; la Fig. 7 représente un exemple de mise en correspondance de pixels et de sous- pixels d'une image de destination avec des pixels ou sous-pixels d'une image source ; la Fig. 8 représente un schéma bloc d'un décodeur vidéo à filtrage temporel compensé en mouvement utilisant la mise en correspondance selon l'invention ; la Fig. 9 représente un schéma bloc du module de filtrage temporel inverse compensé en mouvement d'un décodeur vidéo de la Fig. 8 utilisant la mise en correspondance selon l'invention lorsque des filtres de Haar sont utilisés dans la décomposition en ondelettes.
La Fig. 1 représente un schéma bloc d'un codeur vidéo à filtrage temporel compensé en mouvement utilisant la mise en correspondance selon l'invention.
Le codeur vidéo à filtrage temporel compensé en mouvement 10 est apte à coder une séquence d'images vidéo 15 en un flux de données échelonnables 18. Un flux de données échelonnables est un flux dans lequel les données sont agencées de telle manière qu'il est possible de transmettre une représentation, en résolution et/ou en qualité de l'image, variable selon le type d'application recevant les données. Les données comprises dans ce flux de données échelonnables sont codées de manière à assurer la transmission de séquences d'images vidéo de manière échelonnée ou "scalable" en terminologie anglo-saxonne tant en qualité qu'en résolution et cela sans avoir à effectuer différents codages de la séquence d'images vidéo. Il est ainsi possible de ne stocker sur un moyen de stockage et/ou de ne transmettre qu'une partie du flux de données échelonnables 18 vers un terminal de télécommunication lorsque le débit du réseau de télécommunication est faible et/ou lorsque le terminal de télécommunication n'a pas besoin d'une qualité et/ou d'une résolution importante. Il est aussi possible de mémoriser sur un moyen de stockage et/ou de transmettre la totalité du flux de données échelonnables 18 vers un terminal de télécommunication lorsque le débit du réseau de télécommunication est important et lorsque le terminal de télécommunication requiert une qualité et/ou une résolution importante et cela à partir du même flux de données échelonnables 18.
Le codeur vidéo à filtrage temporel compensé en mouvement 10 comprend un module de filtrage temporel compensé en mouvement 100. Le module de filtrage temporel compensé en mouvement 100 transforme un groupe de N images en deux groupes d'images, par exemple un groupe de (N+l)/2 images de basse fréquence et un groupe de N/2 images de haute fréquence et transforme ces images à partir d'une estimation de mouvement effectuée par un module d'estimation de mouvement 11 du codeur vidéo à filtrage temporel compensé en mouvement 10. Le module d'estimation de mouvement 11 effectue une estimation de mouvement entre chaque image paire notée x2[m,n] et l'image impaire précédente notée xi[m,n], voire éventuellement de l'image impaire de la paire suivante, de la séquence d'images. Le module de filtrage temporel compensé en mouvement 100 compense en mouvement l'image paire X2[m,n] afin que le filtrage temporel soit le plus efficace possible. En effet, plus la différence entre une prédiction d'une image et l'image est faible, plus elle pourra être compressée de manière efficace, c'est-à-dire avec un bon compromis débit/distorsion, ou de manière équivalente, un bon rapport taux de compression sur qualité de reconstruction.
Le module d'estimation de mouvement 11 calcule, pour chaque couple d'images paire et impaire, un champ de mouvement, par exemple et de manière non limitative, par une mise en correspondance de blocs d'une image impaire vers une image paire. Cette technique est connue sous le terme anglo-saxon de "block matching". Bien entendu, d'autres techniques peuvent être utilisées telles que par exemple la technique d'estimation de mouvement par maillage. Ainsi, une mise en correspondance de certains pixels de l'image source paire est effectuée avec des pixels de l'image impaire. Dans le cas particulier d'une estimation par blocs, la valeur du mouvement du bloc peut être affectée à chaque pixel et à chaque sous-pixel du bloc de l'image impaire. En variante, le vecteur mouvement pondéré du bloc ainsi que les vecteurs mouvement pondérés des blocs voisins sont affectés à chaque pixel du bloc selon la technique connue sous la dénomination OBMC (Overlapped Block Motion Compensation).
Le module de filtrage temporel compensé en mouvement 100 effectue une décomposition en ondelettes discrète des images compensées pour décomposer la séquence d'images vidéo en plusieurs sous-bandes de fréquence, réparties sur un ou plusieurs niveaux de résolution. La décomposition en ondelettes discrète est appliquée récursivement sur les sous-bandes de fréquence basse des sous-bandes temporelles tant que le niveau de décomposition souhaité n'est pas atteint. Le module de décision 12 du codeur vidéo à filtrage temporel compensé en mouvement 10 détermine si le niveau de décomposition souhaité est atteint ou pas.
Les différentes sous-bandes de fréquence obtenues par le module de filtrage temporel compensé en mouvement 100 sont transférées au module de génération d'un flux échelonnable 13. Le module d'estimation de mouvement 11 transfère les estimations de mouvement au module de génération d'un flux échelonnable 13 qui compose un flux de données échelonnables 18 à partir des différentes sous-bandes de fréquence et des estimations de mouvement.
La Fig. 2 représente un schéma bloc du module de filtrage temporel compensé en mouvement du codeur vidéo de la Fig. 1 utilisant la mise en correspondance selon l'invention lorsque des filtres de Haar sont utilisés dans la décomposition en ondelettes.
Le module de filtrage temporel compensé en mouvement 100 effectue un filtrage temporel selon la technique connue sous le terme de "lifting". Cette technique permet d'effectuer un filtrage simple, flexible et parfaitement réversible équivalent à un filtrage ondelettes. L'image paire source x2[m,n] est sur-échantillonnée par le module de sur¬ échantillonnage 110 en effectuant par exemple une synthèse de transformée en ondelettes discrète ou SDWT ou par interpolation bilinéaire, bi-cubique ou par sinus cardinal. Ainsi l'image notée x2[m,n] est transformée par le module de sur- échantillonnage 110 en une image x'2[m',n'] ayant par exemple une résolution du quart de pixel.
L'image source est, pour la partie du module de filtrage temporel compensé en mouvement 100 constituée des modules 110 à 114, l'image paire x2[m,n]. Le module de filtrage temporel compensé en mouvement 100 comporte aussi un module de connexion des mouvements initiaux 121. Le module de connexion des mouvements initiaux 121 forme une image x'i[m",n"] comprenant au moins quatre fois plus de pixels que l'image X1[Iu3Ii]. L'image x'l[m",n"] est formée par interpolation de Xi[m,n] ou par toute autre méthode et il est associé, à chaque pixel ou sous-pixel de l'image x'i[m",n"], par exemple le vecteur mouvement du bloc estimé par le module d'estimation de mouvement 11 comprenant ces pixels. L'image de destination est, pour la partie du module de filtrage temporel compensé en mouvement 100, constituée des modules 110 à 114, l'image impaire xi[m,n].
Nous entendons ici par pixel de l'image x'2[m',iï] un pixel de l'image x'2[m',n'] qui a la même position q'un pixel de l'image x2[m,n]. Nous entendons ici par sous-pixel de l'image x'2[m',n'], un pixel de l'image x'2[m',n'] qui a été créé par un synthèse DWT et/ou une interpolation. Nous entendons ici par pixel de l'image x'i[m",n"] un pixel de l'image x'^m'^n"] qui a la même postion qu'un pixel de l'image Xi[m,n]. Nous entendons ici par sous-pixel de l'image x'i[m",n"]3 un pixel de l'image x^m'^n"] qui a été créé par un synthèse DWT et/ou une interpolation.
Le module de filtrage temporel compensé en mouvement 100 comporte un module de densifïcation de champ de mouvement 112. Le module de densifîcation de champ de mouvement 111 associe à chacun des pixels et sous-pixels de l'image de destination x'itm",!-"] au moins un pixel de l'image source x'2[m',n'] à partir des connexions établies par le module de connexion des mouvements initiaux 121.
Lorsque toutes les associations ont été effectuées, le module d'accumulation 112 créé une image d'accumulation Xa'[m",n"]. La valeur de chacun des pixels et sous-pixels de l'image d'accumulation Xa'[m",n"] est égale a la somme des valeurs des pixels et sous-pixels de l'image source x'2[m',n'] associés au pixel ou sous-pixel correspondant dans l'image de destination x\[m",n"], cette somme étant divisée par le nombre de pixels et sous-pixels de l'image source x'2[m',n'] associés au pixel ou sous-pixel correspondant dans l'image x\[m",n"]. Cette division permet d'éviter que des artefacts, tels que des effets de pré et/ou post échos, apparaissent lors du décodage de la séquence d'images. Dans une variante de réalisation de l'invention, un poids noté WCOnnex est attribué à chacune des associations. La valeur de mise à jour pour chaque pixel ou sous-pixel de l'image Xa'[m',n'] sera calculée selon la formule:
Maj =( ∑ Wconnex * Valsrc)/ Wconnex associations
Dans laquelle Maj est la valeur d'un pixel ou sous-pixel de l'image X'a[m",n"], et Valsrc est la valeur du pixel de l'image source X2'[m',n'] associé au pixel ou sous-pixel de l'image de destination x'^m'^n"]. L'image Xa'[m",n"] est ensuite filtrée et sous-échantillonnée par le module de sous-échantillonnage 113 de manière à ce que celle-ci ait la même résolution que l'image x^n^n]. L'image Xa'[m",n"] sous-échantillonnée est ensuite soustraite à l'image X![m,n] par le soustracteur 114 pour former une image notée H[m,n] comprenant des composantes de haute fréquence. L'image H[m,n] est ensuite transférée au module de génération de flux de données échelonnables 13 et au module de synthèse 130.
L'image source est, pour la partie du module de filtrage temporel compensé en mouvement 100 constituée des modules 130 à 134, l'image H[m,n].
L'image source H[m,n] est sur-échantillonnée par le module de synthèse 130 en effectuant par exemple une synthèse SDWT pour générer une image H'[m',n']. Le module de synthèse 130 est identique au module de synthèse 110, il ne sera pas plus décrit.
Le module de filtrage temporel compensé en mouvement 100 comporte aussi un module de densification de champ de mouvement 131.
Le module de densification de champ de mouvement 131, inverse les connexions initiales entre x^m'^n"] et X2'[m",n"] générées par le module de connexions des mouvements initiaux pour les appliquer entre l'image source H'[m',n'] et l'image de destination x2[m,n]. L'image de destination est, pour la partie du module de filtrage temporel compensé en mouvement 100 constituée des modules 130 à 134, l'image x2[m,n] ou l'image x2'[m",n"]. Le module de densification de champ de mouvement 131 associe à chacun des pixels et sous-pixels de l'image destination x'2[m",n"] au moins un pixel ou sous-pixel de l'image source H'[m',n'] à partir des connexions établies par le module de connexion des mouvements initiaux 121. Cette association sera décrite plus en détail en référence à la Fig. 4. Lorsque toutes les associations ont été effectuées, le module d'accumulation 133 créé une image d'accumulation Xb'[m",n"]. L'image d'accumulation Xb'[m",n"] est de la même taille que l'image de destination x2'[m",n"] et la valeur de chacun de ses pixels et sous-pixels est égale a la somme des valeurs des pixels et sous-pixels de l'image source H'[m',n'] associés au pixel ou sous-pixel correspondant dans l'image x'2[m',n"], cette somme étant divisée par le nombre de pixels et sous-pixels associés au pixel ou sous- pixel correspondant dans l'image source H'[m',n']. Cette division permet d'éviter que des artefacts, tels que des effets de pré et/ou post échos, apparaissent lors du décodage de la séquence d'images. L'image Xb'[m",n"] est ensuite filtrée et sous-échantillonnée par le module de sous-échantillonnage 133 de manière à ce que celle-ci ait la même résolution que l'image x2[m,n]. L'image Xb'[m",n"] sous-échantillonnée est ensuite additionnée pour moitié à l'image x2[m,n] par l'additionneur 134 pour former une image notée L[m,n] comprenant des composantes de basse fréquence. L'image L[m,n] est ensuite transférée au module de décision 12.
L'image L[m,n] est ensuite transférée du module de décision 12 du codeur vidéo à filtrage temporel compensé en mouvement 10 vers le module de génération de flux de données échelonnables 13 lorsque le niveau de résolution souhaité est obtenu ou est retraitée par le module de filtrage temporel compensé en mouvement 100 pour une nouvelle décomposition. Lorsqu'une nouvelle décomposition doit être effectuée, l'image L[m,n] est traitée par le module de filtrage temporel compensé en mouvement 100 de la même manière que celle précédemment décrite.
Ainsi, le module de filtrage temporel compensé eh mouvement 100 forme, par exemple lorsque des filtres de Haar sont utilisés, des images de haute et basse fréquences de la forme:
H[m, n] = X1[TH, n] - (W2->i X2[m, n]
L[m,nJ =(x2fm,nj +1/2 (WL>2 H[m,nJ)
Où Wι→J dénote la compensation de mouvement de l'image i sur l'image j.
La Fig. 3 représente un schéma bloc d'un dispositif informatique et/ou de télécommunication apte à exécuter l'algorithme de mise en correspondance selon l'invention.
Ce dispositif informatique et/ou de télécommunication 30 est adapté à effectuer à partir d'un logiciel, un filtrage temporel compensé en mouvement sur une séquence d'images. Le dispositif 30 est aussi apte à exécuter l'algorithme de mise en correspondance selon l'invention.
Le dispositif 30 est par exemple un micro-ordinateur. Il peut être aussi intégré dans un moyen de visualisation de séquences d'images vidéo tel qu'un téléviseur ou tout autre dispositif de génération d'ensemble d'informations à destination de terminaux récepteurs tels que des téléviseurs, des téléphones mobiles...
Le dispositif 30 comporte un bus de communication 301 auquel sont reliés une unité centrale 300, une mémoire morte 302, une mémoire vive 303, un écran 304, un clavier 305, un disque dur 308, un lecteur/enregistreur de disque vidéo numérique ou DVD 309, une interface de communication 306 avec un réseau de télécommunication.
Le disque dur 308 mémorise le programme mettant en oeuvre l'invention, ainsi que les données permettant le codage et/ou le décodage selon l'invention.
De manière plus générale, les programmes selon la présente invention sont mémorisés dans un moyen de stockage. Ce moyen de stockage est lisible par un ordinateur ou un microprocesseur 300. Ce moyen de stockage est intégré ou non au dispositif, et peut être amovible.
Lors de la mise sous tension du dispositif 30, les programmes selon la présente invention sont transférés dans la mémoire vive 303 qui contient alors le code exécutable de l'invention ainsi que les données nécessaires à la mise en oeuvre de l'invention. La Fig. 4 représente l'algorithme de mise en correspondance selon l'invention exécuté par un processeur d'un dispositif informatique et/ou de télécommunication.
Les Figs. 5 et 6 seront décrites en parallèle de la présente description de l'algorithme de la Fig. 4. Afin de simplifier la présentation, le présent algorithme est décrit dans le cadre d'une mise en correspondance de pixels et de sous-pixels d'un segment de destination avec des pixels ou sous-pixels d'un segment source. Bien entendu, le présent algorithme est aussi applicable à la mise en correspondance de pixels et de sous-pixels d'une image de destination avec des pixels ou sous-pixels d'une image source.
A l'étape E400, les images source et destination sont obtenues. Ces images sont dans le cadre d'une mise en correspondance, obtenues par le module de filtrage temporel compensé en mouvement 100 du codeur vidéo de la Fig. 1, l'image source H'[m',n'] et l'image de destination x'2[m",n"].
A l'étape suivante E401, le champ de mouvement entre les images source et de destination est obtenu et une projection de celui-ci est effectuée à l'étape E402 entre l'image source et l'image de destination. Cette projection est symbolisée par les flèches entre l'image source et l'image de destination des Figs. 5 et 6.
L'étape E403 constitue le début de la densification du champ de mouvement effectuée par exemple par le module de densification 131 de la Fig. 2. A cette étape, les pixels ou sous-pixels de l'image de destination, sur lesquels les pixels ou sous-pixels de l'image source sont projetés par application des vecteurs de champ de mouvement symbolisés par les flèches des Figs. 5 et 6, sont connectés aux pixels ou sous-pixels de l'image source. Ainsi, selon l'exemple des Figs. 5 et 6, les pixels ou sous-pixels B, C, E, F de l'image de destination sont connectés respectivement aux pixels ou sous-pixels Xl 1, X12, Xl 11 et X121 de l'image source. Il est à remarquer que les connexions des pixels ou sous-pixels C et E sont croisées. Ceci est dû à un mouvement de retournement dans cette partie de l'image. Les pixels ou sous-pixels B" et
F" de l'image de destination sont connectés respectivement aux pixels ou sous-pixels
Xl 1 et Xl 21 de l'image source en effectuant une symétrie de bord classique. Les pixels A, B, C, D, E F et G des Figs. 5 et 6 sont des pixels de l'image de destination. Les pixels A', B', C, D', E' et F' sont des sous-pixels de l'image de destination.
A l'étape E404, l'itération sur les pixels et/ou sur les sous pixels de l'image source est initialisée et le premier pixel ou sous-pixel de l'image source est considéré, ce pixel ou sous-pixel noté Ps est le pixel Xl 1 de l'image source de la Fig. 5.
A l'étape suivante E405, le pixel ou sous-pixel de l'image de destination noté Pd connecté au pixel ou sous-pixel Ps est déterminé. Le pixel ou sous-pixel Pd est dans la Fig. 5, le pixel B.
A l'étape suivante E406, les pixels ou sous-pixels voisins PsI et Ps2 du pixel ou sous-pixel Ps sont déterminés. Selon notre exemple, le pixel ou sous-pixel Ps, situé en bordure du segment, ne dispose que d'un seul voisin, c'est le pixel Ps2 Xl I l. Dans ce cas, le pixel voisin PsI est le pixel Ps.
A l'étape suivante E407, les pixels ou sous-pixels de l'image de destination connectés aux pixels PsI et Ps2 sont déterminés. Ce sont le pixel E et le sous-pixel B" obtenus par symétrie de la projection du vecteur connectant Xl 1 à un pixel ou sous- pixel de l'image de destination. Ces pixels ou sous-pixels sont notés PdI et Pd2.
A l'étape E408, il est déterminé un pixel ou sous-pixel bas noté Pbas et un sous- pixel ou sous-pixel haut noté Phaut parmi l'ensemble constitué des pixels PdI, Pd et Pd2. Selon la Fig. 5, le pixel Phaut est le sous-pixel B" et le pixel Pbas est le pixel E. La partie de l'image comprise entre le pixel ou sous pixel Phaut et le pixel ou sous-pixel Pbas est alors considérée comme un espace de travail.
A l'étape E409, les distances en nombre de pixels ou sous-pixels séparant le pixel ou sous-pixel Pd et respectivement le pixel ou sous-pixel Pbas et Phaut sont déterminées. La distance séparant Phaut et Pd est notée Dhaut, la distance séparant Pbas et Pd est notée Dbas.
A l'étape suivante E410, est définie la frontière basse d'un espace d'association à partir de l'espace de travail déterminé à l'étape E408. La frontière basse notée Fcb est égale à la position du pixel ou sous-pixel Pd minorée de la distance Dbas pondérée par un coefficient k.
A l'étape suivante E411, est définie la frontière haute de l'espace d'association. La frontière haute notée Fch est égale à la position du pixel ou sous-pixel Pd à laquelle est ajoutée la distance Dhaut pondérée par un coefficient k.
Le coefficient k est, selon un mode préféré de réalisation, égal à la constante Vi. Dans une variante de réalisation, le coefficient k est égal à une autre constante positive.
Lors de l'étape E412, l'espace d'association noté Fen en Fig. 5, délimité par les frontières Fcb et Fch, est déterminé.
A l'étape suivante E413, les pixels et sous-pixels de l'image de destination compris dans l'espace d'association Fen sont déterminés. Selon l'exemple de la Fig. 5, les pixels et sous-pixels A, A', B, B', C et C sont compris dans l'espace d'association Fen.
A l'étape suivante E414, il est associé à chaque pixel et sous-pixel compris dans l'espace d'association le pixel ou sous-pixel de l'image source connecté au pixel ou sous- pixel Pd. Ainsi, selon l'exemple de la Fig. 5, les pixels ou sous-pixels A, A', B, B', C et C sont associés au pixel ou sous-pixel XI l.
L'association effectuée, il est vérifié à l'étape E415 si tous les pixels et/ou sous- pixels de l'image source ont été traités. Dans l'affirmative, le présent algorithme s'arrête. Dans la négative, l'algorithme passe à l'étape suivante E416 qui consiste à prendre le pixel ou sous-pixel suivant de l'image source. Selon l'exemple de la Fig. 5, le pixel ou sous-pixel suivant est le pixel ou sous-pixel noté Xl I l.
La boucle constituée des étapes E405 à E415 est réitérée tant que tous les pixels ou sous-pixels de l'image source n'ont pas été traités.
Ainsi, comme cela est montré en Fig. 6, le pixel ou sous-pixel Pd connecté à Xl 11 est le pixel E, les pixels ou sous-pixels voisins de Xl 11 sont Xl 1 et X12 respectivement connectés à B et C Le pixel Pbas déterminé est le pixel Pd2E et le pixel ou sous-pixel Phaut est le sous-pixel PdIE, la distance Dbas est nulle car E est à la fois le pixel connecté à Xl 11 et le pixel Pbas, la distance Dhaut est égale à six sous-pixels. Ainsi l'espace d'association FenE, dans le cas ou k est égal à 1A, est compris entre le pixel E et trois sous-pixels au-dessus de E. Les pixels et sous-pixels C, D, D' et E sont alors associés au sous-pixel Xl I l .
Concernant le pixel X12, le pixel Pd connecté à X12 est le sous-pixel C, les pixels ou sous-pixels voisins de Xl 2 sont Xl I l et Xl 21 respectivement connectés à E et F. Le pixel Pbas déterminé est le pixel Pd2C et le pixel Phaut est le sous-pixel PdIC, la distance Dhaut est nulle car C est à la fois le sous-pixel connecté à X12 et le sous- pixel Phaut, la distance Dbas est égale à cinq sous-pixels. Ainsi l'espace d'association FenC, dans le cas ou k est égal à Vi, est compris entre le sous-pixel C et deux et demi sous-pixels au-dessous de C. Les pixels et sous-pixels C, D et D' sont alors associés au pixel X12. Concernant le pixel ou sous-pixel X121, dernier pixel ou sous-pixel de l'image source, le pixel Pd connecté à Xl 21 est le pixel F, le pixel ou sous-pixel voisin de Xl 21 est Xl 2 connecté à C, le pixel F" étant obtenu par symétrie du vecteur mouvement connectant Xl 21 à F. Le pixel Pbas déterminé est le pixel Pd2E et le pixel Phaut est le pixel ou sous-pixel PdIF, la distance Dhaut est égale à cinq sous-pixels et la distance Dbas est égale à quatre sous-pixels. Ainsi l'espace d'association FenF, dans le cas ou k est égal à 1A, est compris entre le pixel G et deux et demi sous-pixels au-dessus de F. Les pixels et sous-pixels E, E', F, F' et G sont alors associés au pixel ou sous-pixel X121.
Ainsi, tous les pixels et sous-pixels de l'image de destination sont associés à au moins un pixel ou sous-pixel de l'image source. Le champ de mouvement est ainsi rendu parfaitement inversible et cela en prenant en compte d'éventuels retournements de partie d'images.
La Fig. 7 représente un exemple de mise en correspondance de pixels et de sous- pixels d'une image de destination avec des pixels d'une image source. La Fig. 7 représente une application de l'algorithme de la Fig. 4 dans un cas bidimensionnel. Le pixel xs de l'image source est connecté à un pixel xd de l'image de destination et des pixels ou sous-pixels voisins xsl, xs2, xs3, xs4, xs5, xs6, xs7 et xs8 et qui sont connectés à des pixels ou sous-pixels xdl, xd2, xd3, xd4, xd5, xd6 xd7 et xd8. Il est déterminé un espace de travail qui comprend des points voisins en prenant les maximums et les minimums des abscisses et ordonnées des pixels ou sous-pixels connectés aux voisins. Il est aussi déterminé un espace d'association de manière homothétique comme cela a précédemment été décrit en Fig. 4, le point central xs étant le centre de l'homothétie. Enfin, de la même manière que celle décrite en référence à la Fig. 4, tous les pixels ou sous-pixels compris dans l'espace d'association sont associés au pixel source xs.
La présente invention est présentée dans le cadre d'une utilisation de filtres de Haar. D'autres filtres, tels que les filtres connus sous la dénomination de filtres 5/3 ou de filtres 9/7, sont aussi utilisés dans la présente invention. Ces filtres utilisent un nombre plus important d'images source pour prédire une image de destination.
Classiquement, les modules 110 à 114 du module de filtrage temporel compensé en mouvement du codeur vidéo sont des modules pour la prédiction d'une image de destination, tandis que les modules 130 à l34 du module de filtrage temporel compensé en mouvement du codeur vidéo sont des modules pour la mise à jour d'une image de destination.
Les dispositifs de codage tels que décrits dans la présente invention forment pour chaque couple constitué d'une image source et de l'image de destination une image d'accumulation conformément à ce qui a été présenté précédemment. Chacune de ces images d'accumulation est prise en compte pour la prédiction et/ou la mise à jour de l'image de destination.
L'image d'accumulation ainsi formée est ensuite additionnée ou soustraite à l'image de destination après pondération éventuelle liée aux coeffiicients de filtrage du lifting.
La Fig. 8 représente un schéma bloc d'un décodeur vidéo à filtrage temporel compensé en mouvement utilisant la mise en correspondance selon l'invention.
Le décodeur vidéo à filtrage temporel compensé en mouvement 60 est apte à décoder un flux de données échelonnables 18 en une séquence d'images vidéo 65, les données comprises dans ce flux de données échelonnables ayant été codées par un codeur tel que décrit en Fig. 1. Le décodeur vidéo à filtrage temporel compensé en mouvement 60 comprend un module d'analyse 68 du flux de données 18. Le module d'analyse 68 analyse le flux de données 18 et en extrait chaque image haute fréquence de chaque niveau de décomposition ainsi que l'image comprenant les composantes de basse fréquence du plus bas niveau de décomposition. Le module d'analyse 68 transfère les images comprenant les composantes de haute fréquence 66 et de basse fréquence 61 au module de filtrage temporel compensé en mouvement inverse 600. Le module d'analyse 68 extrait aussi du flux de données 18 les différentes estimations des champs de mouvement effectuées par le codeur 10 de la Fig. 1 et les transfère au module de mémorisation des champs de mouvement 61.
Le module de filtrage temporel compensé en mouvement inverse 600 transforme de manière itérative l'image de haute fréquence et l'image de basse fréquence pour former une image paire et une image impaire correspondantes à l'image de basse fréquence de niveau de décomposition supérieur. Le module de filtrage temporel compensé en mouvement inverse 600 forme une séquence d'images vidéo à partir des estimations de mouvement mémorisées dans le module 61 et des images de haute et basse fréquences. Ces estimations de mouvement sont des estimations entre chaque image paire et l'image impaire suivante de la séquence d'images vidéo codée par le codeur 10 de la présente invention. Le module de filtrage temporel compensé en mouvement inverse 600 effectue une synthèse en ondelettes discrète des images L[m,n] et H[m,n] pour former une séquence d'images vidéo. La synthèse en ondelettes discrète est appliquée récursivement sur les images de basse fréquence des sous-bandes temporelles tant que le niveau de décomposition souhaité n'est pas atteint. Le module de décision 62 du décodeur vidéo à filtrage temporel compensé en mouvement inverse 600 détermine si le niveau de décomposition souhaité est atteint ou pas.
La Fig. 9 représente un schéma bloc du module de filtrage temporel inverse compensé en mouvement d'un décodeur vidéo de la" Fig. 8 utilisant la mise en correspondance selon l'invention lorsque des filtres de Haar sont utilisés dans la décomposition en ondelettes.
Le module de filtrage temporel compensé en mouvement inverse 600 effectue un filtrage temporel selon la technique de "lifting" de manière à reconstruire les différentes images de la séquence d'images vidéo codées par le codeur de la présente invention.
L'image H[m,n] ou image source est sur-échantillonnée par le module de sur- échantillonnage 610 pour former une image H'[m',n'].
Le module de filtrage temporel compensé en mouvement 100 comporte aussi un module de connexion des mouvements initiaux 621, identique au module de connexion des mouvements initiaux 121 de la Fig. 2, il ne sera pas plus décrit. Le module de filtrage temporel compensé en mouvement inverse 600 comporte un module de densifïcation de champ de mouvement inverse 612. Le module de densification de champ de mouvement inverse 612 est identique au module de densification de champ de mouvement 132 de la Fig. 2, il ne sera pas plus décrit. Le module de filtrage temporel compensé en mouvement inverse 600 comporte un module d'accumulation 613 identique au module d'accumulation 133 de la Fig. 2, il ne sera pas plus décrit. Le module d'accumulation 613 crée une image d'accumulation Xb'[m",n"].
Le module de filtrage temporel compensé en mouvement inverse 600 comporte un module de sous-échantillonnage 614 identique au module de sous-échantillonnage 133, il ne sera pas plus décrit.
Le module de filtrage temporel compensé en mouvement inverse 600 comporte un additionneur 616 qui soustrait pour moitié l'image Xb'[m",n"] filtrée et sous- échantillonnée à l'image L[m,n] pour former une image paire notée X2[m,n]. L'image x2[m,n] ou image source est sur-échantillonnée par le module de sur¬ échantillonnage 630 pour former une image x'2'[m',n']. Le module de synthèse 630 est identique au module de sur-échantillonnage 610 de la Fig. 9, il ne sera pas plus décrit.
Le module de filtrage temporel compensé en mouvement inverse 600 comporte un module de densification de champ de mouvement 632. Le module de densification de champ de mouvement 632 est identique au module de densification de champ de mouvement 111 de la Fig. 2, il ne sera pas plus décrit.
Le module de filtrage temporel compensé en mouvement inverse 600 comporte un module d'accumulation 633 identique au module d'accumulation 112 de la Fig. 2, il ne sera pas plus décrit. Le module d'accumulation 633 crée une image d'accumulation Xa'[m",n"].
Le module de filtrage temporel compensé en mouvement inverse 600 comporte un module de sous-échantillonage 635 identique au module de sous-échantillonage 614, il ne sera pas plus décrit. Le module de filtrage temporel compensé en mouvement inverse 600 comporte un additionneur 636 qui additionne l'image Xa'[m",n"] filtrée et sous- échantillonnée à l'image H[m,n] pour former une image impaire notée xi[m,n|. Cette image impaire est transférée au module de décision 62. Les images xi[m,n] et x2[m,n] sont, selon le niveau de décomposition souhaité, entrelacées pour produire une image L[m,n] réintroduite on non avec l'image H[m,n] de même niveau, lue dans le flux de données échelonnables 18 dans le module de filtrage temporel compensé en mouvement inverse 600.
Le procédé et le dispositif de densification selon la présente invention trouvent de multiples applications dans des domaines autres que celui précédemment décrit. Par exemple et de manière non limitative, le procédé et le dispositif de densification sont aussi applicables dans le cadre de codeurs de séquences d'images vidéo tels que des codeurs et décodeurs MPEG 4 ou des codeurs qui utilisent un mode prédictif par compensation de mouvement. Dans ces codeurs, une image bidirectionnelle est classiquement prédite depuis l'image précédente de la séquence d'images vidéo décodée en prédiction ou en intra. L'utilisation du procédé ou du dispositif de densification dans un tel cadre permet de disposer simplement de champs de mouvement direct et inverse entre toutes les images de la séquence d'images vidéo.
Un autre exemple d'application du procédé et du dispositif de densification selon la présente invention est le domaine de rendu dans le cadre d'un schéma de synthèse d'objets représentés de manière surfacique dans lequel il est nécessaire de projeter sur un plan d'image ou rendre un polygone issu d'une surface maillée. Un tel rendu est effectué selon la présente invention en considérant un rendu par voxels de taille variable situés aux nœuds des polygones, un voxel étant une sphère dans un espace tridimensionnelle représentant une boule contribuant à la définition d'un volume ou d'une surface. Selon l'invention, la taille des voxels est définie par la taille de l'espace d'association.
Bien entendu, la présente invention n'est nullement limitée aux modes de réalisation décrits ici, mais englobe, bien au contraire, 'toute variante à la portée de l'homme du métier.

Claims

REVENDICATIONS
1. Procédé de densification de champ de mouvement entre une image de destination et une image source à partir d'un champ de mouvement entre l'image source et l'image de destination, caractérisé en ce que le procédé comporte les étapes de:
- détermination de connexions entre les pixels ou sous-pixels de l'image source et les pixels ou sous-pixels de l'image de destination,
- détermination, pour chaque pixel ou sous-pixel de l'image de destination connecté à un pixel ou sous-pixel de l'image source, d'un espace d'association du pixel ou du sous-pixel comprenant au moins un pixel ou sous-pixel de l'image de destination,
- association de chaque pixel ou sous-pixel compris dans l'espace d'association au pixel de l'image source connecté audit pixel ou sous-pixel pour former un champ de mouvement dense entre l'image de destination et l'image source.
2. Procédé selon la revendication 1, caractérisé en ce que l'étape de détermination d'un espace d'association se décompose en étapes de:
- détermination d'un espace de travail dans l'image de destination en fonction des pixels ou sous-pixels connectés aux pixels ou sous-pixels voisins du pixel ou sous-pixel de l'image source connecté au pixel ou sous-pixel auquel est associé l'espace de travail, - détermination de l'espace d'association à partir de l'espace de travail déterminé, à partir du pixel ou sous-pixel auquel est associé l'espace de travail et à partir des pixels ou sous-pixels connectés aux pixels ou sous-pixels voisins du pixel ou sous-pixel de l'image source connecté au pixel ou sous-pixel auquel est associé l'espace de travail.
3. Procédé selon la revendication 2, caractérisé en ce que l'étape de détermination de l'espace d'association se décompose en étapes de:
- détermination, parmi le pixel ou sous-pixel auquel est associé l'espace de travail et les pixels ou sous-pixels connectés aux pixels ou sous-pixels voisins du pixel ou sous- pixel de l'image source connecté au pixel ou sous-pixel auquel est associé l'espace de travail, des pixels ou sous-pixels délimitant l'espace de travail en fonction de leurs coordonnées dans l'image de destination,
- détermination de l'espace d'association à partir des coordonnées du pixel ou sous-pixel auquel est associé l'espace de travail et des distances séparant le pixel ou sous-pixel auquel est associé l'espace de travail des pixels ou sous-pixels délimitant l'espace de travail.
4. Procédé selon la revendication 3, caractérisé en ce que les distances séparant le pixel ou sous-pixel auquel est associé l'espace de travail des pixels ou sous-pixels délimitant l'espace de travail sont pondérées par un coefficient de l'ordre d'un demi.
5. Dispositif de densification de champ de mouvement entre une image de destination et une image source à partir d'un champ de mouvement entre l'image source et l'image de destination, caractérisé en ce que le dispositif comporte :
- des moyens de détermination de connexions entre les pixels ou sous-pixels de l'image source et les pixels ou sous-pixels de l'image de destination,
- des moyens de détermination, pour chaque pixel ou sous-pixel de l'image de destination connecté à un pixel ou sous-pixel de l'image source, d'un espace d'association du pixel ou du sous-pixel comprenant au moins un pixel ou sous-pixel de l'image de destination,
- des moyens d'association de chaque pixel ou sous-pixel compris dans l'espace d'association au pixel ou sous-pixel de l'image source connecté audit pixel ou sous-pixel pour former un champ de mouvement dense entre l'image de destination et l'image source.
6. Dispositif selon la revendication 5, caractérisé en ce que les moyens de détermination d'un espace d'association comportent :
- des moyens de détermination d'un espace de travail dans l'image de destination en fonction des pixels ou sous-pixels connectés aux pixels ou sous-pixels voisins du pixel ou sous-pixel de l'image source connecté au pixel ou sous-pixel auquel est associé l'espace de travail,
- des moyens de détermination de l'espace d'association à partir de l'espace de travail déterminé, à partir du pixel ou sous-pixel auquel est associé l'espace de travail et à partir des pixels ou sous-pixels connectés aux pixels ou sous-pixels voisins du pixel ou sous-pixel de l'image source connecté au pixel ou sous-pixel auquel est associé l'espace de travail.
7. Dispositif selon la revendication 6, caractérisé en ce que les moyens de détermination de l'espace d'association comportent :
- des moyens de détermination, parmi le pixel ou sous-pixel auquel est associé l'espace de travail et les pixels ou sous-pixels connectés aux pixels ou sous-pixels voisins du pixel de l'image source connecté au pixel ou sous-pixel auquel est associé l'espace de travail, des pixels ou sous-pixels délimitant l'espace de travail en fonction de leurs coordonnées dans l'image de destination,
- des moyens de détermination de l'espace d'association à partir des coordonnées du pixel ou sous-pixel auquel est associé l'espace de travail et des distances séparant le pixel ou sous-pixel auquel est associé l'espace de travail des pixels ou sous-pixels délimitant l'espace de travail.
8. Dispositif selon la revendication 7, caractérisé en ce que les distances séparant le pixel ou sous-pixel auquel est associé l'espace de travail des pixels ou sous-pixels délimitant l'espace de travail sont pondérées par un coefficient de l'ordre d'un demi.
9. Dispositif de filtrage temporel compensé en mouvement d'un codeur de séquence d'images vidéo, caractérisé en ce qu'il comporte un dispositif de densification de champ de mouvement selon l'une quelconque des revendications 5 à 8.
10. Dispositif de filtrage temporel compensé en mouvement d'un décodeur de séquence d'images vidéo, caractérisé en ce qu'il comporte un dispositif de densification de champ de mouvement selon l'une quelconque des revendications 5 à 8.
11. Programme d'ordinateur stocké sur un support d'informations, ledit programme comportant des instructions permettant de mettre en oeuvre le procédé selon l'une quelconque des revendications 1 à 4, lorsqu'il est chargé et exécuté par un système informatique.
12. Signal comprenant une séquence d'images vidéo codée par filtrage temporel compensé en mouvement par décomposition en ondelettes discrète, le signal comprenant des images de haute et basse fréquences, les images de basse fréquence sont obtenues en densifiant le champ de mouvement entre une image source d'un groupe d'images source et une image de destination d'un groupe d'images destination à partir d'un champ de mouvement entre l'image de destination et l'image source, et dans lequel la densification est effectuée en déterminant des connexions entre les pixels ou sous- pixels de l'image source et les pixels ou sous-pixels de l'image de destination, en déterminant, pour chaque pixel ou sous-pixel de l'image de destination connecté à un pixel ou sous-pixel de l'image source, un espace d'association du pixel ou du sous-pixel comprenant des pixels et/ou des sous-pixels de l'image de destination et en associant à chaque pixel ou sous-pixel compris dans l'espace d'association le pixel ou sous-pixel de l'image source connecté audit pixel ou sous-pixel pour former un champ de mouvement dense entre l'image de destination et l'image source.
13. Procédé de transmission d'un signal comprenant une séquence d'images vidéo codée par filtrage temporel compensé en mouvement par décomposition en ondelettes discrète, le signal comprenant des images de haute et basse fréquences, les images de basse fréquence sont obtenues en densifiant le champ de mouvement entre une image source d'un groupe d'images source et une image de destination d'un groupe d'images destination à partir d'un champ de mouvement entre l'image de destination et l'image source, et dans lequel la densification est effectuée en déterminant des connexions entre les pixels ou sous-pixels de l'image source et les pixels ou sous-pixels de l'image de destination, en déterminant, pour chaque pixel ou sous-pixel de l'image de destination connecté à un pixel ou sous-pixel de l'image source, un espace d'association du pixel ou du sous-pixel comprenant des pixels et/ou des sous-pixels de l'image de destination et en associant à chaque pixel ou sous-pixel compris dans l'espace d'association le pixel ou sous-pixel de l'image source connecté audit pixel ou sous-pixel pour former un champ de mouvement dense entre l'image de destination et l'image source.
14. Procédé de stockage d'un signal comprenant une séquence d'images vidéo codée par filtrage temporel compensé en mouvement par décomposition en ondelettes discrète, le signal comprenant des images de haute et basse fréquences, les images de basse fréquence sont obtenues en densifiant le champ de mouvement entre une image source d'un groupe d'images source et une image de destination d'un groupe d'images destination à partir d'un champ de mouvement entre l'image de destination et l'image source, et dans lequel la densification est effectuée en déterminant des connexions entre les pixels ou sous-pixels de l'image source et les pixels ou sous-pixels de l'image de destination, en déterminant, pour chaque pixel ou sous-pixel de l'image de destination connecté à un pixel ou sous-pixel de l'image source, un espace d'association du pixel ou du sous-pixel comprenant des pixels et/ou des sous-pixels de l'image de destination et en associant à chaque pixel ou sous-pixel compris dans l'espace d'association le pixel ou sous-pixel de l'image source connecté audit pixel ou sous-pixel pour former un champ de mouvement dense entre l'image de destination et l'image source.
EP05779693A 2004-07-13 2005-06-28 Procede et dispositif de densification de champ de mouvement Withdrawn EP1766996A1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR0407835A FR2873256A1 (fr) 2004-07-13 2004-07-13 Procede et dispositif de densification de champ de mouvement
PCT/FR2005/001626 WO2006016026A1 (fr) 2004-07-13 2005-06-28 Procede et dispositif de densification de champ de mouvement

Publications (1)

Publication Number Publication Date
EP1766996A1 true EP1766996A1 (fr) 2007-03-28

Family

ID=34949323

Family Applications (1)

Application Number Title Priority Date Filing Date
EP05779693A Withdrawn EP1766996A1 (fr) 2004-07-13 2005-06-28 Procede et dispositif de densification de champ de mouvement

Country Status (7)

Country Link
US (1) US20080117983A1 (fr)
EP (1) EP1766996A1 (fr)
JP (1) JP2008507169A (fr)
KR (1) KR20070040342A (fr)
CN (1) CN101053257A (fr)
FR (1) FR2873256A1 (fr)
WO (1) WO2006016026A1 (fr)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2928768B1 (fr) * 2008-03-13 2010-04-09 Commissariat Energie Atomique Dispositif de memoire electrochimique non-volatile
JP5294343B2 (ja) * 2008-06-10 2013-09-18 国立大学法人東京工業大学 画像位置合わせ処理装置、領域拡張処理装置及び画質改善処理装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6956898B1 (en) * 1998-10-02 2005-10-18 Lucent Technologies Inc. Method and apparatus for dense motion field based coding
JP2003530789A (ja) * 2000-04-11 2003-10-14 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ビデオ符号化及び復号方法
US7023922B1 (en) * 2000-06-21 2006-04-04 Microsoft Corporation Video coding system and method using 3-D discrete wavelet transform and entropy coding with motion information
WO2004077834A1 (fr) * 2003-02-25 2004-09-10 Koninklijke Philips Electronics, N.V. Codage video a ondelettes tridimensionnelles appliquant un filtrage temporel a compensation en mouvement sur des decompositions d'ondelettes a redondance
KR100782829B1 (ko) * 2003-06-10 2007-12-06 렌슬러 폴리테크닉 인스티튜트 움직임 보상 시간 필터링에서 ｉ-블록들을 처리하는 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See references of WO2006016026A1 *

Also Published As

Publication number Publication date
CN101053257A (zh) 2007-10-10
WO2006016026A1 (fr) 2006-02-16
US20080117983A1 (en) 2008-05-22
KR20070040342A (ko) 2007-04-16
JP2008507169A (ja) 2008-03-06
FR2873256A1 (fr) 2006-01-20

Similar Documents

Publication Publication Date Title
CN115967803B (zh) 编解码器速率失真补偿降采样器
FR2852773A1 (fr) Procedes et dispositifs de codage et de decodage d'une sequence d'images par decomposition mouvement/texture et codage par ondelettes
CN117730338A (zh) 视频超分辨网络及视频超分辨、编解码处理方法、装置
JP2008503981A (ja) グリッド動き推定／補償を用いたスケーラブルビデオ符号化
EP2705666B1 (fr) Procédé de codage et de décodage d'images intégrales, dispositif de codage et de décodage d'images intégrales et programmes d'ordinateur correspondants
WO2002060184A1 (fr) Procede de codage et de decodage d'images, dispositifs et applications correspondants
US20060039472A1 (en) Methods and apparatus for coding of motion vectors
EP1766997B1 (fr) Procédé et dispositif de codage d'une sequence d'images vidéo en coefficients de sous-bandes de fréquences de differentes resolutions spatiales
EP1600003B1 (fr) Procede de codage d'une image video prenant en compte la parite relative a une composante du vecteur de mouvement
EP1574068B1 (fr) Procede de codage d'une image par ondelettes et procede de decodage correspondant
EP1766999B1 (fr) Procede et dispositif de codage d'une sequence d'images video
EP0691065B1 (fr) Codage/decodage compatibles sous-bandes d'images de television
EP1766996A1 (fr) Procede et dispositif de densification de champ de mouvement
EP2633686B1 (fr) Codage video echelonnable a partir d'un epitome hierarchique
Liu et al. Geometry-guided compact compression for light field image using graph convolutional networks
WO1993002526A1 (fr) Procede de compression de sequences d'images numeriques
FR2873246A1 (fr) Procede d'estimation du mouvement pour le codage d'une sequence d'images avec echelonnabilite spatiale et temporelle
Naman et al. Distortion estimation for optimized delivery of JPEG2000 compressed video with motion
Wu et al. Lossless Compression Using Joint Predictor for Astronomical Images
FR2820256A1 (fr) Procedes de codage et de decodage d'images, dispositifs, systemes signaux et applications correspondantes
Hung et al. Scalable Video Coding Using Adaptive Directional Lifting-Based Wavelet Transform
FR2899053A1 (fr) Procedes et dispositifs de codage et de decodage d'images animees, systeme de telecommunication comportant un tel dispositif et programme mettant en oeuvre un tel procede

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20061211

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LI LT LU MC NL PL PT RO SE SI SK TR

RIN1 Information on inventor provided before grant (corrected)

Inventor name: AMONOU, ISABELLE

Inventor name: PATEUX, STEPHANE

Inventor name: KERVADEC, SYLVAIN

DAX Request for extension of the european patent (deleted)
RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: FRANCE TELECOM

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20091231