EP1762100A1 - Scalable method for encoding a series of original images, and associated image encoding method, encoding device, and decoding device - Google Patents

Scalable method for encoding a series of original images, and associated image encoding method, encoding device, and decoding device

Info

Publication number
EP1762100A1
EP1762100A1 EP05749102A EP05749102A EP1762100A1 EP 1762100 A1 EP1762100 A1 EP 1762100A1 EP 05749102 A EP05749102 A EP 05749102A EP 05749102 A EP05749102 A EP 05749102A EP 1762100 A1 EP1762100 A1 EP 1762100A1
Authority
EP
European Patent Office
Prior art keywords
image
images
decoded
encoding
coding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP05749102A
Other languages
German (de)
French (fr)
Inventor
Peter Amon
Gero BÄSE
Andreas Hutter
Jürgen PANDEL
Benoit Timmermann
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens AG
Original Assignee
Siemens AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens AG filed Critical Siemens AG
Publication of EP1762100A1 publication Critical patent/EP1762100A1/en
Withdrawn legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H04N19/615—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding using motion compensated temporal filtering [MCTF]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/114—Adapting the group of pictures [GOP] structure, e.g. number of B-frames between two anchor frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/179—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scene or a shot
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]

Definitions

  • the invention relates to a method according to the preamble of claim 1 and a picture decoding method according to the preamble of claim 8. Furthermore, the invention also relates to an encoder according to the preamble of claim 10 and a decoding device according to the preamble of claim.
  • video coding methods for the efficient coding of a sequence of pictures use specific signal properties.
  • local and temporal dependencies of the individual images or of the pixels of these images are exploited.
  • Hybrid coding methods such as the 25 standards IXU-T H.263 or ITU-T H.264 [2,3], and so-called three-dimensional frequency coding approaches are basically differentiated in today's techniques for video coding.
  • both methods attempt to encode the video signal, which consists of the sequence of images
  • both spatially and temporally hybrid encoding methods initially use a motion-compensated prediction in the temporal direction and then a two-dimensional transformation of an er ⁇ produced differential images, such as by means of a two-dimensional discrete cosine transformation (DCT - Discret Cosinus Transformation), in order to remove a local correlation 35 between adjacent pixels within the difference image.
  • DCT - Discret Cosinus Transformation two-dimensional discrete cosine transformation
  • the sequence of pictures before the local two-dimensional decoration relation is broken down into a plurality of "temporal" frequency bands, such as for example two frequency bands in a high and a low frequency band for the temporal high and low frequency image components.
  • spectral decomposition of the distribution of the frequencies occurring in these frequency bands is strongly dependent on the amount of motion occurring in the video signal depend gi ⁇ f - If the considered video signal has no moving or changing elements are all high-frequency "Zeitspektralanteile" equal to zero and the entire In the normal case, however, a temporal image change will always be visible in a sequence of images, such as a local object shift, an object size change, or a scene change, resulting in an energy distribution over several spectral coefficients. where also high-frequency components arise.
  • the motion-compensated, time-filtered subband coding can also be used to create a scalable video data stream.
  • this makes temporal, qualitative or also local skability possible.
  • chapter 3.2.4 a combined scaling is presented. This will be done with help of the hybrid coding method, two different basic qualities (LO, L1) are achieved.
  • LO, L1 two different basic qualities
  • additionally scaled video data streams are added, such as, for example, L2, L3, L4 and / or L5.
  • L2,..., L5 are generated in [4] by means of a motion-compensated, time-filtered subband coding.
  • a scalable video data stream can be generated by means of a first coding method after a motion-compensated, predictive coding and a second coding method after a motion-compensated, temporally filtered partial-band coding.
  • the object underlying the invention is to provide a method for image and image decoding, an encoding and a decoding device, which a picture and image decoding a sequence of original images with a move-compensated, temporally filtered Operabandcodierver- drive with the aid of a motion-compensated , Predictive coding method in a simple and efficient way allows.
  • This object is achieved on the basis of the image coding method according to the preamble of claim 1 by its characterizing features as well as on the basis of the image decoding method according to the preamble of claim 8 by its characterizing features. Furthermore, this object is achieved by the encoding device according to the preamble of claim 9 by its characterizing features and starting from the decoding device according to the preamble of claim 10 by its characterizing features.
  • a sequence of decoded images is generated from the sequence of original images with the aid of a first coding method after a motion-compensated, predictive coding; before the image coding, a second code is generated.
  • the method according to a motion-compensated, temporally ge filtered subband coding a start image of an image group to be encoded successive original images based on a determined coding property of a decoding image used to generate an output image of a low resolution level of this image group to be used, decoded image, wherein in the image encoding of aufeinan ⁇ the following original images of the image group to be encoded and at least one decoded image in each resolution level at least one output image is generated.
  • the coding properties of the decoded images, which are generated by the first coding method are taken into account by the method according to the invention for image coding.
  • This improves the compression characteristic for the second coding method such as, for example, the compression rate or the image quality with a constant compression rate.
  • the error coding (error drift) of an image information generated by the second encoding method is reduced by suitable selection of the start picture for the picture encoding by the second coding method and thus the picture quality is increased.
  • the method according to the invention allows random access to individual images which have been generated after the first and / or second coding process.
  • the start image is determined on the basis of the decoded image used if the coding property determination shows that at least one image block of this used, decoded image has been INTRA-coded. Since an INTRA-coded image block is often encoded in higher image quality and no error drift occurs in the INTRA-coded image block, at least one image part of the image is thus encoded Output image of the low resolution level achieves a reduced signal energy and thereby an improved Kompres ⁇ sion property allows. An error drift does not occur, since with INTRA coding no prediction takes place from predecessor images and thus no errors can be taken over.
  • the start image is determined on the basis of the decoded image used if the coding property determination shows that a defined block number of image blocks of this decoded image used was INTRA-coded.
  • the start image is determined on the basis of the decoded image used if the coding property determination shows that all the image blocks of this used, decoded image are INTRA-coded.
  • a number of original images of the image group to be encoded are set as a function of the determined coding property. This ensures that the number of successive original images of the image group can be set in such a way that the decoded image can be assigned to produce a difference image for the output image of the low resolution level, which results in a very low signal energy to be encoded. If at least one intermediate image (Z1, Z2, Z3) is generated in each resolution plane (R1, R2) and the intermediate images and the output image of the low resolution plane are compressed, a reduction of the data volume of the intermediate images and of the output image of the low resolution level reached. If additionally compressed according to a wavelet-based transformation, this results in a particularly efficient reduction of the data volume of the intermediate images and the output image of the low resolution level.
  • the invention further relates to a picture decoding method for decoding at least one picture encoded by the picture encoding method. It is thus achieved that both the encoded images of the first encoding method and the intermediate images and the output image of the low resolution level of the second encoding method, which were generated according to the method for image coding, can be decoded.
  • the invention relates to an encoding device having means for forming a sequence of original images. This makes it possible for the method for forming coding to be carried out in a device, such as a mobile phone.
  • the invention also includes a decoding device with means for performing the image decoding method.
  • the image decoding method can be used in a device, e.g. implemented on a mobile phone.
  • FIGS. 1 to 5 In detail show:
  • FIG. 1 is a schematic representation of an encoding of a sequence of original images which are compressed by a first coding method after a motion-compensated, predictive coding, and be encoded with a second coding method after a motion-compensated, temporally filtered subband coding in consideration of the decoded pictures of the first coding method;
  • FIG. 2 shows a detailed illustration of the creation of an intermediate image and of an output image by means of the second coding method, which are generated from two input images in a plurality of processing steps within the first resolution plane, a decoded image of the first coding process being taken into account during the creation;
  • FIG. 3 is a schematic representation of the processing steps within the low resolution level, wherein an intermediate image and an output image are generated using two input images and two decoded images;
  • FIG. 4 is a schematic representation of an encoding device, a decoding device and a transmission medium for carrying out the method according to the invention
  • FIG. 5 is a schematic representation of the compression of a sequence of original images with a first and a second coding method, wherein a plurality of image groups with a respective different number of original images to be encoded are compressed by the second coding method.
  • FIGS. 1 to 5 Elements with the same function and mode of operation are provided in FIGS. 1 to 5 with the same reference numerals.
  • FIG. 1 shows an exemplary embodiment of the method according to the invention.
  • This is a sequence of original images Ol, ..., ON are compressed using a first coding method CV1 and a second coding method CV2.
  • These original images Ol, .--, ON were generated, for example, by a camera K and are provided in color format with a luminance component Y, and two crom- mant components CR, CB in an image size with 640x480 pixels.
  • the original images Ol,..., ON can be subjected to image preprocessing, such as noise suppression or edge sharpening, before their encoding.
  • the first coding method CV1 carries out a motion-compensated, predictive coding of the original pictures Ol,..., ON.
  • motion-compensated, predictive coding methods are known, such as , for example, the ITU-T H.263 standard.
  • images Bl, ..., BM encoded from the original images Ol, ..., ON can be generated using an INTRA coding mode and / or an INTER coding mode.
  • the INTRA coding mode encodes individual picture blocks of the respective original picture Ol,..., ON without taking into account other original pictures Ol,...
  • the INTER coding mode individual picture blocks of the respective original picture Ol,..., ON are compressed taking into account one or more pictures already encoded Bl,...
  • the number M of the encoded pictures Bl, ..., BM may differ from the number N of the original pictures Ol,.., ON, since, for example, not all the original pictures Ol,..., ON are encoded.
  • a sequence of decoded images D 1,... DM are created from the encoded images Bl,..., BM with the aid of the first coding method CV1. Furthermore, for each decoded picture D1,..., DM can have its own decoder. list which indicates which image blocks of the respective decoded image D1,..., DM have been encoded with the INTRA encoding mode and which have been encoded with the INTER encoding mode. These decoded images D1,..., DM are taken into account in the subsequent processing steps by the second coding method CV2. For the exemplary embodiment according to FIG.
  • all successive original images Ol,..., ON of a respective image group GOP are encoded using the second encoding method CV2.
  • the number of original images to be encoded of the second image group GOP2 has been selected to be four.
  • the number of original images to be encoded per image group GOP may vary, e.g. first two, then four and then eight original images are encoded in the respective image group GOP1, GOP2, GOP3.
  • the first original image of the second image group GOP2 to be encoded is the third original image O3.
  • the respective first original image of a respective image group GOP is referred to below as the start image BSP.
  • a motion-compensated, temporally filtered subband coding is to be understood as an encoding method in which in each case at least two input images, at least one output image is generated in a plurality of resolution planes.
  • still images can be created.
  • the respective intermediate image represents the motion-compensated components of the associated input images of a first sub-band.
  • the respective output image comprises the motion-compensated components of the associated input images of a second sub-band.
  • the first subband includes, for example, the high frequency and the second Xeilband the low-frequency components. In each lower resolution level, at least two output images of the higher resolution level become the input images.
  • the second coding method CV2 depicted in FIG. 1 consists of two resolution zones R1, R2.
  • the first resolution plane R1 in each case two input images El and E2, E3 and E4 and the two associated decoded images D4, D6 are respectively generated an intermediate image Z1, Z2 and one output image A1, A2.
  • the two output images Al, A2 are used as input images E5, E6 of the next resolution level R2.
  • the second resolution level R2 which in this embodiment corresponds to the low resolution level
  • a third intermediate image Z3 and a third output image A3 are generated from the input images E5, E6 together with the decoded images D3, D5.
  • the low resolution level R2 also represents a lowest resolution level.
  • the lowest resolution level is to be understood as the resolution level which only generates an output image within the image group GOP.
  • FIG. 2 shows two input images El, E2 which correspond to the original images O3 and 04, respectively.
  • the second input image E2 is subdivided, for example, into a plurality of image blocks Q1,..., Q9. These image blocks Q1,.., Q9, which correspond to the macroblocks known from [5], for example, may comprise 16 ⁇ 16 pixels.
  • the second encoding method CV2 performs a motion estimation on the first input image E1 for at least one image block Q1,..., Q9 of the second input image E2, for example for the image block Q5. Possible strategies for performing the motion estimation are known from [5].
  • this found image area becomes after a motion compensation MC with the Bilciblock Q5 of the second input image E2 high-pass filtered, spielmik by subtracting the respective pixels.
  • the motion vectors found are combined in a first motion vector list ML1.
  • a corresponding image block R1,..., R.9 for the image block Q1,..., Q9 can be used for temporal low-pass filtering from the second input image E2 belonging decoded image D4 are used.
  • No matching image area in the first input image El has been found for the image block Q6, so that the image block R6 of the fourth decoded image D4 is filtered with the image block Q6 of the second input image E2.
  • the temporal high-pass filtering produces a first intermediate image Z1.
  • the additional use of the fourth decoded image D4 during the production of the first intermediate image Z1 ensures that the first intermediate image Z1 has less signal energy, and thus by a subsequent compression process , such as a wavelet-based transformation, a higher compression rate or at a constant compression rate, a higher image quality can be achieved tat.
  • the first output image Al is generated block by block.
  • the respective image blocks of the first intermediate image Z1 which have been generated with the aid of the first input image El, are time-aligned with the first input image El using an inverse motion compensation IMC (ML1), which takes into account the motion vectors of the first motion vector list ML1 low-pass filtered.
  • the temporal low-pass filtering can be carried out by adding the respective pixels of the inverse-motion-compensated image block of the first intermediate image Z1 and image block of the first input image El.
  • the second output image A2 is generated in the same way from the input images E3 and E4.
  • a second motion vector list ML2 is generated.
  • the procedure for carrying out the method according to the invention was explained on the basis of pictures with 3 ⁇ 3 picture blocks.
  • the number of image blocks may be arbitrary, e.g. Be 4x4, 8x9 or 11x9.
  • the number of picture blocks of the decoded pictures and the input pictures may also be different.
  • the individual processing steps of the second resolution level R2, which corresponds to the low resolution level will be explained in more detail below.
  • ML3 a motion vector list ML3 is generated.
  • an inverse motion compensation IMC (ML3) and taking into account the third input image E3, the provisional third output image A3V is created.
  • the third intermediate image Z3 comprises the high-frequency components of the temporally filtered input images E5, E6.
  • the provisional third output image A3V contains the low-pass components of the temporally filtered input images E5, E6. If the resolution levels R 1, R 2 are considered together, the preliminary third output image A3V represents the "temporal" low-pass components of the second group of images GOP 2 of successive original images O 3, O 4, O 5, O 6. In an additional processing step, by prediction, such as pixel by pixel Difference, the provisional third output image A3V and the belonging third decoded image D3, the third Aus ⁇ output image A3 generated.
  • This third output image A3 and the intermediate images Z1, Z2, Z3 can be compressed before being transferred to a decoding device DV, for example by means of a wavelet transformation.
  • the assignment of the start image BSP for the image coding according to the second coding method CV2 has been selected such that it corresponds to the third original image O3. Since the number of original images O3, - - -, O6 of the second image group GOP2 to be encoded has been selected to be four in the present embodiment, the original images O3, 04, O5, O6 are encoded in common. After their compression, the next four original images beginning with the seventh original image O7 can be compressed in the following in accordance with the second coding method CV2. This can be continued until the end of the sequence of original images Ol, ...., ON to be encoded. However, the second coding method CV2 can also combine more or less successive original pictures Ol,..., ON into a picture group GOP for encoding.
  • the start image BSP of an image group GOP to be encoded from successive original images Ol,..., ON is generated on the basis of a determined coding property of an output image A3 of the low resolution level R2 of this image group GOP to be en ⁇ coded, decoded image D3. Since the image quality of the output image of the low resolution level, in the exemplary embodiment this is the third output image A3 of the second resolution level R2, depends on the associated decoded image, such as the third decoded image D3, the image quality of the associated one is decoded image of considerable importance.
  • the picture quality of the associated decoded picture essentially depends on the coding property which this decoded picture was subject to when it was created by the first coding method CV1.
  • the picture quality of the low-resolution picture output picture is considerably affected.
  • an optimal choice of the start image BSP for the image group GOP for example, an image with low signal energy is generated for the third output image A3, which image can be compressed very efficiently.
  • the coding property can be determined by evaluating the decoding list belonging to the respective decoded picture. Furthermore, the coding property can also be obtained by analyzing the encoded picture associated with the used decoded picture. For example, by analyzing the first encoded image B1, it can be determined which image blocks MBI in the first decoded image D1 were compressed by means of the INTRA or INTER coding mode.
  • the start picture BSP is determined on the basis of the decoded picture used, eg D3, if the coding property determination shows that at least one picture block MBI of this used, decoded picture D3 was INTRA coded.
  • an image block MBI is an image region of 16x16 pixels. Since the INTRA-coded picture block MBI, for example, is subject to lower quantization than in the case where this picture block MBI would have been INTER-coded, a higher picture quality results for the picture block MPI of the decoded picture D3 used than with an INTER coding. Thus, a differential image with a lower signal energy can be obtained for the third output image A3, which can be obtained, for example, by a downstream Velet compression can be compressed very efficiently.
  • an INTRA-coded picture block MBI is also advantageous since, for example, occurring decoding errors within the sequence of encoded pictures B1,..., BM are not due to an INTRA-coded picture block MBI from a preceding encoded picture Bl, ••, BM are adopted and thus an aberration does not occur even in the associated decoded image Dl, ..., DM.
  • the start image BSP can be determined on the basis of the decoded image D3 used if the coding property determination shows that a defined number of blocks AM has been INTRA-coded on picture blocks MPI of this decoded picture D3 used. If, for example, several possible starting images BSP are available, this variant of the method according to the invention selects that starting image BSP for the encoding of the image group GOP by the second coding method CV2, in which the predeterminable minimum number AM of INTRA- coded image blocks MBI of the associated decoded image Dl, ..., DM can be found. This will be explained in the following example.
  • the start image BSP is to be chosen such that the decoded image used for the third output image A3 comprises at least 20 image blocks MBI which have been compressed by means of the INTRA coding mode.
  • the third or fourth original image O3, O4 can be selected as the start image BSP.
  • the decoded images associated with the third and fourth original images O3, O4 are the third and fourth decoded images D3, D4. In the third decoded image D3 there were 25 INTRA coded image blocks MBI and in the fourth decoded image D4 there were 19 INTRA coded image blocks MBI.
  • the third original image 03 is selected as the start image BSP of the second image group GOP2 for encoding the sequence of original images Ol,..., ON.
  • the starting picture BSP is defined on the basis of the decoded picture D3 used, if the coding determining that all picture blocks MBI of this decoded picture D3 used were INTRA-coded. This is advantageous since a small difference signal with a low signal energy can thus be found for the entire third output image A3. In this case, the starting point coincides with a decoded image D1,..., DM marked with "I".
  • the start image BSP of the next image group to be encoded e.g. GOP2
  • a picture group currently to be encoded e.g. GOPl
  • the maximum number per image group is limited to six original images.
  • the picture group GOP1 currently to be encocted is divided into two subgroups so that first six and then four original pictures are encoded in a respective picture group.
  • a number of successive original images Ol,..., ON of the image group GOP to be encoded can be set as a function of the ascertaining coding property K1. This will be explained with reference to FIG. 5, whereby due to the ermit ⁇ telten coding property class as a start image BSP always diejeni- • gen original images Ol ..., ON be used in which all image blocks MPI the associated decoded images Dl. .., DM iNTRA coded.
  • decoded images D1, ..., DM are marked with an "I.”
  • the first original image Ol is used as the start image BSP of the first image group GOP1 for the encoding of the original images Ol, generates the output image All and the intermediate image ZIl.
  • the encoding after the second coding Procedure CV2 is aborted already after the second original picture 02.
  • the third image group GOP3 is encoded, whereby, for example, the output image A21 is created, thus the first image group GOP1 comprises two and the second image group GOP2 comprises four original images which are encoded by the second encoding process CV2.
  • the encoded image information comprises, for example, the intermediate images Z1,..., Z3, the third output image A3, the encoded images B3, B4, B5, B6, and the motion vector lists ML1, ML2, ML3.
  • further information is produced during the encoding, such as motion vectors in the first encoding method.
  • a multiplicity of encoded image information is produced, which are generated in an analogous manner to the exemplary embodiment.
  • the encoding device comprises a first EV Videoencodiermodul 'Vel with the aid of a sequence of Origi- nalrecin Ol, ...., ON after the first coding CVI into a sequence of encoded pictures Bl, ..., BM and therefrom ei ⁇ ne sequence decoded images Dl, ...., DM is generated.
  • the encoding device EV comprises a second video encoding module VE2 for performing the encoding of a sequence of original images Ol,..., ON according to the second encoding method.
  • the encoding device EV has a first storage device S1, which stores various images, such as the original images Ol,..., ON, organized for processing.
  • the encoding device EV includes a transmission unit SE for transmitting encoded image information, such as the encoded images Bl,..., BM.
  • the transmitting unit SE, the first memory device Sl, the first video coding module VE1 and the second video coding module VE2 are interconnected via a first connecting network VN1 for exchanging data and control information.
  • the decoding device DV has a first video decoding module VD1 for decoding the encoded pictures B1,..., BM, which were created according to the first coding method CV1.
  • the decoding device DV has a second video decoding module VD2 for decoding the images produced by the second encoding method CV2, such as the intermediate images Z1, Z2, Z3 and / or the third output image A3.
  • the motion vector lists ML1, ...., ML3 are used to reconstruct the original images O3, 04, O5, O6.
  • the decoding device DV comprises a receiving unit EE, with which the encoded Suiteinforma- functions such as the encoded images Bl, ...., BM are received and stored in a second memory device S2 for further processing.
  • the decoding device DV also includes the second memory module S2, in which various information and data, such as, for example, the motion vector lists ML1, ...., ML3 are stored.
  • the reception unit EE, the second memory device S2, the first video decoding module VD1 and the second video decoding module VD2 are connected to one another via a second connection network VN2 for exchanging data and control information.
  • the transmission medium DEM is used to transmit the encoded image information from the encoding device EV to the decoding device DV.
  • the encoding device EV and / or the decoding device DV can be used in a GSM standard device (GSM - Global System for Mobile Communications) or UMTS standard (UMTS Universal Mobile Telecommunications Systems) as well as in a computer unit which may be portable Device is integrated, housed.
  • GSM Global System for Mobile Communications
  • UMTS Universal Mobile Telecommunications Systems
  • a wireless radio network such as e.g. according to the GSM standard
  • a wired transmission medium such as e.g. an IP-based network (IP Internet Protocol) or ISDN (ISDN - Integrated Services Digital Network) can be used.
  • IP Internet Protocol IP Internet Protocol
  • ISDN ISDN - Integrated Services Digital Network
  • a storage medium such as e.g. a CD (CD-Compact Disk) or a video server, to save for later Be ⁇ use.
  • the invention also includes a picture decoding method in which the method of forming a sequence of original pictures Ol, ..., ON is decodable.
  • the sequence of encoded images B1,..., BM is first decoded by the first video decoding module VD1 into a sequence of decoded images, the D1,..., DM.
  • the second video decoding module VD2 generates a sequence of reconstructed pictures using the intermediate pictures Z1, Z2, Z3 and the third output picture A3 and with the aid of the motion vector lists ML1,..., ML3 and the decoded pictures D1,..., DM Rl, ... RM of the sequence of original images Ol, ..., ON.
  • the reconstructed images Rl 7 ...
  • the decoded images D1,..., DM generated by the first video coding module VD1 can also be reproduced on the monitor.
  • the decoded images D 1,..., DM only comprise a reduced image quality
  • the reconstructed images R 1,..., RM represent a high-quality image quality.
  • it can be selected by the user whether a sequence of images in a low or in a high image quality is to be reproduced on the output medium.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

Disclosed is a method for encoding a series of original images, in which a series of decoded images is generated from the series of original images with the aid of a first encoding technique following movement-compensated, predictive encoding, a starting image of a group of successive original images that are to be encoded is defined by means of a second encoding technique following movement-compensated, temporally filtered partial band encoding based on a determined encoding property of a decoded image of said group of images that are to be encoded, said decoded image being used for generating an output image having a low resolution level, before the images are encoded. At least one output image is generated on each level of resolution from the successive original images of the group of images that are to be encoded and from at least one decoded image during image encoding. The invention further relates to an image decoding method by means of which encoded image data obtained by the disclosed image encoding method can be decoded. The invention finally relates to an encoding and decoding device for carrying out the image encoding or image decoding method. The decoded images are provided only with a reduced quality while the reconstituted images are of great quality.

Description

SKALIERBARES VERFAHREN ZUR BILDENCODIERUNG EINER FOLGE VON ORIGINALBILDERN, SOWI E DAZUGEHÖRIGES BILDDECODIERVERFAHREN, ENCODIERVORRICHTUNG UND DECODIERVORRICHTU NG SKAL I ER BA RE S METHOD FOR IMAGE CODING A SEQUENCE OF ORIGINAL IMAGES, SOWI E DA TRAIN E HÖ RI GES IMAGE DECODE METHOD, AND encoding device DECODIERVORRICHTU NG
Beschreibungdescription
Verfahren zur Bildencodierung einer Folge von Originalbil- dern, sowie dazugehöriges Bilddecodierverfahren, Encodiervor- 5 richtung und DecodiervorrichtungMethod for forming a sequence of original images, and associated image decoding method, encoding device and decoding device
Die Erfindung betrifft ein Verfahren gemäß dem Oberbegriff des Anspruchs 1 und ein Bilddecodierverfahren gemäß dem Ober¬ begriff des Anspruchs 8. Ferner betrifft die Erfindung auch 10 eine Encodiervorrichtung gemäß dem Oberbegriff des Anspruchs, sowie eine Decodiervorrichtung gemäß dem Oberbegriff des An¬ spruchs 10.The invention relates to a method according to the preamble of claim 1 and a picture decoding method according to the preamble of claim 8. Furthermore, the invention also relates to an encoder according to the preamble of claim 10 and a decoding device according to the preamble of claim.
Gemäß [1] nutzen Videocodierverfahren zur effizienten Codie- 15 rung einer Folge von Bildern spezifische Signaleigenschaften aus. Hierbei werden örtliche und zeitliche Abhängigkeiten der einzelnen Bilder bzw. der Bildpunkte dieser Bilder ausge¬ nutzt. Je besser ein Bild— bzw. Videocodierverfahren in der Lage ist, diese Abhängigkeiten zwischen den einzelnen Bildern 20 bzw. Bildpunkten auszunutzen, umso größer ist im Allgemeinen ein erreichbarer Kompressionsfaktor.According to [1], video coding methods for the efficient coding of a sequence of pictures use specific signal properties. In this case, local and temporal dependencies of the individual images or of the pixels of these images are exploited. The better an image or video coding method is able to exploit these dependencies between the individual images 20 or pixels, the greater is generally an achievable compression factor.
Man unterscheidet bei den heutigen Techniken zur Videocodie¬ rung grundsätzlich hybride Codierverfahren, wie z.B. die 25 Standards IXU-T H.263 oder ITU-T H.264 [2,3], und so genannte dreidimensionale Frequenzcodierungsansätze. Obwohl beide Ver¬ fahren versuchen, das Videosignal, das aus der Folge von Bil¬ dern besteht, sowohl örtlich als auch zeitlich zu codieren, bedient man sich bei hybriden Codierverfahren zunächst einer 30 bewegungskompensierten Prädiktion in zeitlicher Richtung und anschließend einer zweidimensionalen Transformation eines er¬ zeugten Differenzbildes, wie z.B. mit Hilfe einer zweidimen¬ sionalen diskreten Cosinus - Transformation (DCT - Discret Cosinus Transformation) , um damit eine örtliche Korrelation 35 zwischen benachbarten Bildpunkten innerhalb des Differenzbil¬ des zu entfernen. Bei den dreidimensionalen Frequenzcodierungsansätzen, wie z.B. der bewegungskompensierten, zeitlich gefilterten Teil¬ bandcodierung, wird im Gegensatz zu dem hybriden Codierver¬ fahren keine zeitliche Prädiktion, sondern eine „echte" Transformation in Richtung der Zeitachse durchgeführt, um so¬ mit die zeitliche Korrelation aufeinanderfolgender Bilder auszunutzen- Bei einer solchen Teilbandcodierung wird die Folge von Bildern vor der örtlichen zweidimensionalen Dekor¬ relation in mehrere „zeitliche" Frequenzbänder aufgeschlüs— seit, wie z.B. bei zwei Frequenzbändern in ein Hoch- und ein Tieffrequenzband für die zeitlichen hoch- und tieffrequenten Bildanteile. Bei der spektralen Zerlegung ist die Verteilung der in diesen Frequenzbändern auftretenden Frequenzen stark von der Größe der im Videosignal auftretenden Bewegung abhän- giζf- Sofern das betrachtete Videosignal keine sich bewegenden oder veränderten Elemente aufweist, sind alle hochfrequenten „Zeitspektralanteile" gleich Null und die gesamte Energie konzentriert sich auf das Tieffrequenzband. Im Normalfall wird jedoch in einer Folge von Bildern stets eine zeitliche Bildänderung zu sehen sein, wie z.B. eine lokale Objektver— Schiebung, eine Objektgrößenänderung, oder ein Szenenwechsel. Dies führt zu einer Energieverteilung auf mehrere Spektralko¬ effizienten, wobei auch hochfrequente Anteile entstehen.Hybrid coding methods, such as the 25 standards IXU-T H.263 or ITU-T H.264 [2,3], and so-called three-dimensional frequency coding approaches are basically differentiated in today's techniques for video coding. Although both methods attempt to encode the video signal, which consists of the sequence of images, both spatially and temporally, hybrid encoding methods initially use a motion-compensated prediction in the temporal direction and then a two-dimensional transformation of an er¬ produced differential images, such as by means of a two-dimensional discrete cosine transformation (DCT - Discret Cosinus Transformation), in order to remove a local correlation 35 between adjacent pixels within the difference image. In the case of the three-dimensional frequency encoding approaches, such as motion-compensated, time-filtered subband coding, in contrast to the hybrid coding method, no temporal prediction, but a "true" transformation in the direction of the time axis is performed in order to correlate the temporal correlation of successive images In such a subband coding, the sequence of pictures before the local two-dimensional decoration relation is broken down into a plurality of "temporal" frequency bands, such as for example two frequency bands in a high and a low frequency band for the temporal high and low frequency image components. In the spectral decomposition of the distribution of the frequencies occurring in these frequency bands is strongly dependent on the amount of motion occurring in the video signal depend giζ f - If the considered video signal has no moving or changing elements are all high-frequency "Zeitspektralanteile" equal to zero and the entire In the normal case, however, a temporal image change will always be visible in a sequence of images, such as a local object shift, an object size change, or a scene change, resulting in an energy distribution over several spectral coefficients. where also high-frequency components arise.
Zur Reduktion der Spektralanteile im zeitlichen Hochfrequenz¬ band und somit zur Konzentration der Energie auf das zeitli¬ che Tieffrequenzband, wird vor der zeitlichen Filterung des Videosignals in mehrere „zeitliche" Frequenzbänder eine Bewe¬ gungsschätzung und Bewegungskompensation der zeitlich zu fil- ternden Bilder durchgeführt.To reduce the spectral components in the temporal Hochfrequenz¬ band and thus the concentration of energy to the zeitli¬ che low frequency band, before the temporal filtering of the video signal in a plurality of "temporal" frequency bands, a motion estimation and motion compensation of temporally to be filtered images performed.
Nach [4] kann die bewegungskompensierte, zeitlich gefilterte Teilbandcodierung auch zur Erstellung eines skalierbaren Vi¬ deodatenstroms eingesetzt werden. Beispielsweise wird dadurch eine zeitliche, eine qualitative oder auch eine örtliche Ska¬ lierbarkeit ermöglicht. Ferner wird in [4] Kapitel 3.2.4 eine kombinierte Skalierung vorgestellt. Hierbei werden mit Hilfe des hybriden Codierverfahrens zwei verschiedene Basisqualitä¬ ten (LO, Ll) erzielt. Zur Erreichung von verbesserten Bild¬ qualitäten werden zusätzlich skalierte Videodatenströme hin¬ zugenommen, wie beispielsweise L2, L3, L4 und/oder L5. Diese zusätzlichen skalierten Videodatenströme (L2, ..., L5) werden in [4] mit Hilfe einer bewegungskompensierten, zeitlich ge¬ filterten Teilbandcodierung erzeugt. Somit ist bekannt, dass mit Hilfe eines ersten Codierverfahrens nach einer bewegungs— kompensierten, prädiktiven Codierung und einem zweiten Co- dierverfahren nach einer bewegungskompensierten, zeitlich ge¬ filterten Teilbandcodierung ein skalierbarer Videodatenstrom erzeugt werden kann.According to [4], the motion-compensated, time-filtered subband coding can also be used to create a scalable video data stream. By way of example, this makes temporal, qualitative or also local skability possible. Furthermore, in [4] chapter 3.2.4 a combined scaling is presented. This will be done with help of the hybrid coding method, two different basic qualities (LO, L1) are achieved. In order to achieve improved image qualities, additionally scaled video data streams are added, such as, for example, L2, L3, L4 and / or L5. These additional scaled video data streams (L2,..., L5) are generated in [4] by means of a motion-compensated, time-filtered subband coding. It is thus known that a scalable video data stream can be generated by means of a first coding method after a motion-compensated, predictive coding and a second coding method after a motion-compensated, temporally filtered partial-band coding.
Die der Erfindung zugrunde liegende Aufgabe ist ein Verfahren zur Bilden— und Bilddecodierung, eine Encodier- sowie eine Decodiervorrichtung anzugeben, welche eine Bilden- und Bild¬ decodierung einer Folge von Originalbildern mit einem bewe¬ gungskompensierten, zeitlich gefilterten Teilbandcodierver— fahren unter Zuhilfenahme eines bewegungskompensierten, prä- diktiven Codierverfahrens in einfacher und effizienter Weise ermöglicht.The object underlying the invention is to provide a method for image and image decoding, an encoding and a decoding device, which a picture and image decoding a sequence of original images with a move-compensated, temporally filtered Teilbandcodierver- drive with the aid of a motion-compensated , Predictive coding method in a simple and efficient way allows.
Diese Aufgabe wird ausgehend von dem Bildencodierverfahren gemäß dem Oberbegriff des Anspruchs 1 durch dessen kennzeich— nenden Merkmale sowie ausgehend von dem Bilddecodierverfahren gemäß dem Oberbegriff des Anspruchs 8 durch dessen kennzeich¬ nenden Merkmale gelöst. Des Weiteren wird diese Aufgabe durch die Encodiervorrichtung gemäß dem Oberbegriff des Anspruchs 9 durch dessen kennzeichnende Merkmale sowie ausgehend von der Decodiervorrichtung gemäß dem Oberbegriff des Anspruchs 10 durch dessen kennzeichnende Merkmale gelöst.This object is achieved on the basis of the image coding method according to the preamble of claim 1 by its characterizing features as well as on the basis of the image decoding method according to the preamble of claim 8 by its characterizing features. Furthermore, this object is achieved by the encoding device according to the preamble of claim 9 by its characterizing features and starting from the decoding device according to the preamble of claim 10 by its characterizing features.
Bei dem Verfahren zur Bildencodierung einer Folge von Origi¬ nalbildern wird aus der Folge von Originalbildern mit Hilfe eines ersten Codierverfahrens nach einer bewegungskompensier¬ ten, prädiktiven Codierung eine Folge von decodierten Bildern erzeugt, vor der Bildencodierung wird durch ein zweites Co— dierverfahren nach einer bewegungskompensierten, zeitlich ge¬ filterten Teilbandcodierung ein Startbild einer zu encodie- renden Bildgruppe von aufeinanderfolgenden Originalbildern anhand einer ermittelten Codiereigenschaft eines zum Erzeugen eines Ausgangsbildes einer niedrigen Auflösungsebene dieser zu encodierenden Bildgruppe verwendeten, decodierten Bildes festgelegt, wobei bei der Bildencodierung aus den aufeinan¬ derfolgenden Originalbildern der zu encodierenden Bildgruppe und aus mindestens einem decodierten Bild in jeder Auflö- sungsebene mindestens ein Ausgangsbild generiert wird.In the method for forming a sequence of original images, a sequence of decoded images is generated from the sequence of original images with the aid of a first coding method after a motion-compensated, predictive coding; before the image coding, a second code is generated. The method according to a motion-compensated, temporally ge filtered subband coding a start image of an image group to be encoded successive original images based on a determined coding property of a decoding image used to generate an output image of a low resolution level of this image group to be used, decoded image, wherein in the image encoding of aufeinan ¬ the following original images of the image group to be encoded and at least one decoded image in each resolution level at least one output image is generated.
Durch das erfindungsgemäße Verfahren zur Bildencodierung wer¬ den bei der Codierung der Originalbilder durch das zweite Co¬ dierverfahren die ermittelten Codiereigenschaften der deco- dierten Bilder, die durch das erste Codierverfahren erzeugt werden, berücksichtigt. Hierdurch verbessert sich für das zweite Codierverfahren die Kompressionseigenschaft, wie bei¬ spielsweise die Kompressionsrate oder die Bildqualität bei gleich bleibender Kompressionsrate.In the encoding of the original images by the second coding method, the coding properties of the decoded images, which are generated by the first coding method, are taken into account by the method according to the invention for image coding. This improves the compression characteristic for the second coding method, such as, for example, the compression rate or the image quality with a constant compression rate.
Ferner wird durch geeignete Wahl des Startbildes für die Bil¬ dencodierung durch das zweite Codierverfahren die Fehleran¬ fälligkeit (Fehlerdrift) einer durch das zweite Codierverfah¬ ren erzeugten Bildinformation reduziert und somit die Bild— qualität erhöht.Furthermore, the error coding (error drift) of an image information generated by the second encoding method is reduced by suitable selection of the start picture for the picture encoding by the second coding method and thus the picture quality is increased.
Des Weiteren ermöglicht das erfindungsgemäße Verfahren einen wahlfreien Zugriff auf einzelne Bilder, die nach dem ersten und/oder zweiten Codierverfahren erzeugt worden sind.Furthermore, the method according to the invention allows random access to individual images which have been generated after the first and / or second coding process.
Vorzugsweise wird das Startbild aufgrund des verwendeten, de— codierten Bildes festgelegt, wenn die Codiereigenschaftser- mittelung ergibt, dass mindestens ein Bildblock dieses ver¬ wendeten, decodierten Bildes INTRA-codiert wurde. Da ein INTRA-codierter Bildblock oftmals in höherer Bildqualität en- codiert wird und im INTRA-codierten Bildblock keine Fehler¬ drift auftritt, wird somit für mindestens einen Bildteil des Ausgangsbildes der niedrigen Auflösungsebene eine verringerte Signalenergie erzielt und hierdurch eine verbesserte Kompres¬ sionseigenschaft ermöglicht. Eine Fehlerdrift tritt nicht auf, da bei der INTRA-Codierung keine Prädiktion aus Vorgän- gerbildern stattfindet und somit keine Fehler übernommen wer¬ den können.Preferably, the start image is determined on the basis of the decoded image used if the coding property determination shows that at least one image block of this used, decoded image has been INTRA-coded. Since an INTRA-coded image block is often encoded in higher image quality and no error drift occurs in the INTRA-coded image block, at least one image part of the image is thus encoded Output image of the low resolution level achieves a reduced signal energy and thereby an improved Kompres¬ sion property allows. An error drift does not occur, since with INTRA coding no prediction takes place from predecessor images and thus no errors can be taken over.
Alternativ wird das Startbild aufgrund des verwendeten, deco¬ dierten Bildes festgelegt, wenn die Codiereigenschaftsermit- telung ergibt, dass eine festgelegte Blockanzahl an Bildblö¬ cken dieses verwendeten, decodierten Bildes INTRA-codiert wurde. Hiermit wird eine Steigerung der Kompressionseffizienz des zweiten Codierverfahrens erreicht, da mehrere Bildteile des Ausgangsbildes der niedrigen Auflösungsebene eine geringe Signalenergie aufweisen und deswegen effizient encodiert wer¬ den können.Alternatively, the start image is determined on the basis of the decoded image used if the coding property determination shows that a defined block number of image blocks of this decoded image used was INTRA-coded. This achieves an increase in the compression efficiency of the second coding method, since a plurality of image parts of the output image of the low resolution level have a low signal energy and can therefore be efficiently encoded.
Alternativ wird das Startbild aufgrund des verwendeten, deco— dierten Bildes festgelegt, wenn die Codiereigenschaftsermit- telung ergibt, dass alle Bildblöcke dieses verwendeten, deco¬ dierten Bildes INTRA-codiert werden. Hierdurch wird eine gro¬ ße Steigerung der Kompressionseffizienz des zweiten Codier— Verfahrens erreicht, da alle Bildteile des Ausgangsbildes der niedrigen Auflösungsebene eine besonders geringe Signalener- gie aufweisen und sehr effizient komprimiert werden können.Alternatively, the start image is determined on the basis of the decoded image used if the coding property determination shows that all the image blocks of this used, decoded image are INTRA-coded. As a result, a large increase in the compression efficiency of the second encoding method is achieved, since all image parts of the output image of the low resolution level have a particularly low signal energy and can be compressed very efficiently.
Vorzugsweise wird eine Anzahl zu encodierender, aufeinander¬ folgender Originalbilder der Bildgruppe in Abhängigkeit von der ermittelten Codiereigenschaft eingestellt. Hiermit wird erreicht, dass die Anzahl der aufeinanderfolgenden Original¬ bilder der Bildgruppe derart eingestellt werden kann, dass dasjenige decodierte Bild zur Erstellung eines Differenzbil¬ des für das Ausgangsbild der niedrigen Auflösungsebene zuge¬ ordnet werden kann, welches eine sehr geringe zu encodierende Signalenergie ergibt. Wird weiterhin in jeder Auflösungsebene (Rl, R2) mindestens ein Zwischenbild (Zl, Z2, Z3) erzeugt und die Zwischenbilder und das Ausgangsbild der niedrigen Auflösungsebene kompri¬ miert, so wird eine Reduktion des Datenvolumens der Zwischen- bilder und des Ausgangsbildes der niedrigen Auflösungsebene erreicht. Wird zusätzlich gemäß einer Wavelet-basierten Transformation komprimiert, so wird dadurch eine besonders effiziente Reduktion des Datenvolumens der Zwischenbilder und des Ausgangsbildes der niedrigen Auflösungsebene erzielt.Preferably, a number of original images of the image group to be encoded are set as a function of the determined coding property. This ensures that the number of successive original images of the image group can be set in such a way that the decoded image can be assigned to produce a difference image for the output image of the low resolution level, which results in a very low signal energy to be encoded. If at least one intermediate image (Z1, Z2, Z3) is generated in each resolution plane (R1, R2) and the intermediate images and the output image of the low resolution plane are compressed, a reduction of the data volume of the intermediate images and of the output image of the low resolution level reached. If additionally compressed according to a wavelet-based transformation, this results in a particularly efficient reduction of the data volume of the intermediate images and the output image of the low resolution level.
Die Erfindung betrifft weiterhin ein Bilddecodierverfahren zum Decodieren von mindestens einem durch das Verfahren zur Bildencodierung codierten Bildes. Somit wird erreicht, dass sowohl die encodierten Bilder des ersten Codierverfahrens als auch die Zwischenbilder und das Ausgangsbild der niedrigen Auflösungsebene des zweiten Codierverfahrens, die gemäß dem Verfahren zur Bildencodierung erzeugt wurden, decodiert wer¬ den können.The invention further relates to a picture decoding method for decoding at least one picture encoded by the picture encoding method. It is thus achieved that both the encoded images of the first encoding method and the intermediate images and the output image of the low resolution level of the second encoding method, which were generated according to the method for image coding, can be decoded.
Ferner betrifft die Erfindung eine Encodiervorrichtung mit Mitteln zur Bildencodierung einer Folge von Originalbildern. Hierdurch wird ermöglicht, dass das Verfahren zur Bildenco¬ dierung in einem Gerät, wie beispielsweise einem Mobiltele— fon, durchgeführt werden kann.Furthermore, the invention relates to an encoding device having means for forming a sequence of original images. This makes it possible for the method for forming coding to be carried out in a device, such as a mobile phone.
Des Weiteren umfasst die Erfindung auch eine Decodiervorrich- tung mit Mitteln zum Durchführen des Bilddecodierverfahrens. Hierdurch kann das Bilddecodierverfahren in einem Gerät, wie z.B. einem Mobiltelefon implementiert, ausgeführt werden.Furthermore, the invention also includes a decoding device with means for performing the image decoding method. As a result, the image decoding method can be used in a device, e.g. implemented on a mobile phone.
Weitere Einzelheiten sowie Vorteile der Erfindung werden an¬ hand der Figuren 1 bis 5 erläutert. Im Einzelnen zeigen:Further details and advantages of the invention will be explained with reference to FIGS. 1 to 5. In detail show:
Figur 1 in schematischer Darstellung eine Encodierung einer Folge von Originalbildern, die mit einem drsten Co— dierverfahren nach einer bewegungskompensierten, pradiktiven Codierung komprimiert werden und die mit einem zweiten Codierverfahren nach einer bewe— gungskompensierten, zeitlich gefilterten Teilband- codierung unter Berücksichtigung der decodierten Bilder des ersten Codierverfahrens encodiert wer- den;FIG. 1 is a schematic representation of an encoding of a sequence of original images which are compressed by a first coding method after a motion-compensated, predictive coding, and be encoded with a second coding method after a motion-compensated, temporally filtered subband coding in consideration of the decoded pictures of the first coding method;
Figur 2 in detaillierter Darstellung die Erstellung eines Zwischenbildes und eines Ausgangsbildes mittels des zweiten Codierverfahrens, die in mehreren Verarbei— tungsschritten innerhalb der ersten Auflösungsebene aus zwei Ξingangsbildern generiert werden, wobei bei der Erstellung ein decodiertes Bild des ersten Codierverfahrens berücksichtigt wird;FIG. 2 shows a detailed illustration of the creation of an intermediate image and of an output image by means of the second coding method, which are generated from two input images in a plurality of processing steps within the first resolution plane, a decoded image of the first coding process being taken into account during the creation;
Figur 3 in schematischer Darstellung die Verarbeitungs¬ schritte innerhalb der niedrigen Auflösungsebene, wobei unter Verwendung von zwei Eingangsbildern und zwei decodierten Bildern ein Zwischenbild und ein Ausgangsbild erzeugt wird;FIG. 3 is a schematic representation of the processing steps within the low resolution level, wherein an intermediate image and an output image are generated using two input images and two decoded images;
Figur 4 in schematischer Darstellung eine Encodiervorrich- tung, eine Decodiervorrichtung und ein Übertra— gungsmedium zum Durchführen des erfindungsgemäßen Verfahrens;FIG. 4 is a schematic representation of an encoding device, a decoding device and a transmission medium for carrying out the method according to the invention;
Figur 5 in schematischer Darstellung die Kompression einer Folge von Originalbildern mit einem ersten und ei¬ nem zweiten Codierverfahren, wobei durch das zweite Codierverfahren mehrere Bildgruppen mit einer je¬ weils unterschiedlichen Anzahl an zu encodierenden Originalbilder komprimiert werden.FIG. 5 is a schematic representation of the compression of a sequence of original images with a first and a second coding method, wherein a plurality of image groups with a respective different number of original images to be encoded are compressed by the second coding method.
Elemente mit gleicher Funktion und Wirkungsweise sind in den Figuren 1 bis 5 mit denselben Bezugszeichen versehen.Elements with the same function and mode of operation are provided in FIGS. 1 to 5 with the same reference numerals.
In Fig.l ist ein Ausführungsbeispiel des erfindungemäßen Ver¬ fahrens zu sehen. Hierbei soll eine Folge von Originalbildern Ol, ...,ON unter Verwendung eines ersten Codierverfahrens CVl und eines zweiten Codierverfahrens CV2 komprimiert werden. Diese Originalbilder Ol, .--, ON wurden beispielsweise von einer Kamera K erzeugt und werden im Farbformat mit einer Helligkeitskomponente Y, und zwei Crominanzkomponenten CR, CB in einer Bildgröße mit 640x480 Bildpunkten bereitgestellt. Ferner können die Originalbilder Ol, ..., ON vor deren Enco- dierung einer Bildvorverarbeitung, wie z.B. einer Rauschun¬ terdrückung oder Kantenschärfung, unterzogen werden.FIG. 1 shows an exemplary embodiment of the method according to the invention. This is a sequence of original images Ol, ..., ON are compressed using a first coding method CV1 and a second coding method CV2. These original images Ol, .--, ON were generated, for example, by a camera K and are provided in color format with a luminance component Y, and two crom- mant components CR, CB in an image size with 640x480 pixels. Furthermore, the original images Ol,..., ON can be subjected to image preprocessing, such as noise suppression or edge sharpening, before their encoding.
Zunächst führt das erste Codierverfahren CVl eine bewegungs- kompensierte, prädiktive Codierung der Originalbilder Ol, ..., ON durch. Aus [5] sind derartige bewegungskompensierte, prädiktive Codierverfahren bekannt, wie 'bspw. der Standard ITU-T H.263. Hiermit können aus den Originalbildern Ol, ..., ON encodierte Bilder Bl, ...,BM unter Verwendung eines INTRA- Codiermodus und/oder INTER-Codiermodus erzeugt werden. Der INTRA—Codiermodus encodiert einzelne Bildblöcke des jeweili¬ gen Originalbildes Ol, ...,ON ohne Berücksichtigung anderer Originalbilder Ol, ...ON. Hingegen werden bei dem INTER— Codiermodus einzelne Bildblöcke des jeweiligen Originalbildes Ol, ..., ON unter Berücksichtigung eines oder mehrerer be¬ reits encodierter Bilder Bl, .... BN komprimiert. Zusätzlich ist es bei dem INTER—Codiermodus vorteilhaft vor der Codie— rung eine BewegungsSchätzung des jeweils zu encodierenden Bildblocks des Orignalbildes Ol, ...,ON durchzuführen und dann erst nach einer Bewegungskompensation diesen Bildblock zu encodieren. Verfahren zur Bewegungsschätzung bzw. Bewe¬ gungskompensation sind aus [5] bekannt. Ferner kann die An— zahl M der encodierten Bilder Bl, ..., BM von der Anzahl N der Originalbilder Ol, •.., ON abweichen, da beispielsweise nicht alle Originalbilder Ol, ..., ON encodiert werden.First, the first coding method CV1 carries out a motion-compensated, predictive coding of the original pictures Ol,..., ON. From [5] such motion-compensated, predictive coding methods are known, such as , for example, the ITU-T H.263 standard. Hereby, images Bl, ..., BM encoded from the original images Ol, ..., ON can be generated using an INTRA coding mode and / or an INTER coding mode. The INTRA coding mode encodes individual picture blocks of the respective original picture Ol,..., ON without taking into account other original pictures Ol,... On the other hand, in the case of the INTER coding mode, individual picture blocks of the respective original picture Ol,..., ON are compressed taking into account one or more pictures already encoded Bl,... BN. In addition, in the case of the INTER coding mode, it is advantageous to perform a motion estimation of the picture block of the original picture Ol,..., ON to be encoded prior to coding, and then to encode this picture block only after a motion compensation. Methods for motion estimation or motion compensation are known from [5]. Further, the number M of the encoded pictures Bl, ..., BM may differ from the number N of the original pictures Ol,.., ON, since, for example, not all the original pictures Ol,..., ON are encoded.
In einem nächsten Schritt werden aus den encodierten Bildern Bl,..., BM mit Hilfe des ersten Codierverfahrens CVl eine Folge von decodierten Bildern Dl,...DM erstellt. Ferner kann für jedes decodierte Bild Dl, ..., DM eine eigene Decodier— liste erstellt werden, die angibt, welche Bildblöcke des je¬ weiligen decodierten Bildes Dl, ..., DM mit dem INTRA- Codiermodus und welche mit dem INTER-Codiermodus encodiert worden sind. Diese decodierten Bilder Dl, ..., DM werden in den nachfolgenden Verarbeitungsschritten von dem zweiten Co¬ dierverfahren CV2 berücksichtigt. Für das Ausführungsbeispiel nach Fig. 1 wurden diejenigen decodierten Bilder Dl, ....,DM bei denen alle Bildblöcke mit dem INTRA—Codiermodus generiert wurden mit "I" und diejenigen, bei denen mindestens ein BiId- block mit Hilfe des INTER-Codiermodus encodiert wurde mit ei¬ nem "P" markiert.In a next step, a sequence of decoded images D 1,... DM are created from the encoded images Bl,..., BM with the aid of the first coding method CV1. Furthermore, for each decoded picture D1,..., DM can have its own decoder. list which indicates which image blocks of the respective decoded image D1,..., DM have been encoded with the INTRA encoding mode and which have been encoded with the INTER encoding mode. These decoded images D1,..., DM are taken into account in the subsequent processing steps by the second coding method CV2. For the exemplary embodiment according to FIG. 1, those decoded images D1,..., DM in which all image blocks were generated with the INTRA coding mode were labeled "I" and those in which at least one image block was generated with the aid of the INTER coding mode was encoded with a "P" marked.
In einem nachfolgenden Schritt werden alle aufeinanderfolgen¬ den Originalbildern Ol, ..., ON einer jeweiligen Bildgruppe GOP mit Hilfe des zweiten Codierverfahrens CV2 encodiert. Im vorliegenden Ausführungsbeispiel sind drei verschiedene Bild¬ gruppen GOPl, GOP2, GOP3 zu sehen. Hierbei ist die Anzahl der zu encodierenden Originalbilder der zweiten Bildgruppe GOP2 zu vier gewählt worden. Die Anzahl zu encodierender Original— bilder pro Bildgruppe GOP kann variieren, z.B. werden zuerst zwei, dann vier und dann acht Originalbilder in der jeweili¬ gen Bildgruppe GOPl, GOP2, GOP3 encodiert. So ist beispiels¬ weise das erste zu encodierende Originalbild der zweiten Bildgruppe GOP2 das dritte Originalbild O3. Das jeweils erste Originalbild einer jeweiligen Bildgruppe GOP wird im Folgen¬ den als Startbild BSP bezeichnet.In a subsequent step, all successive original images Ol,..., ON of a respective image group GOP are encoded using the second encoding method CV2. In the present exemplary embodiment, three different image groups GOP1, GOP2, GOP3 can be seen. In this case, the number of original images to be encoded of the second image group GOP2 has been selected to be four. The number of original images to be encoded per image group GOP may vary, e.g. first two, then four and then eight original images are encoded in the respective image group GOP1, GOP2, GOP3. For example, the first original image of the second image group GOP2 to be encoded is the third original image O3. The respective first original image of a respective image group GOP is referred to below as the start image BSP.
Im Rahmen dieser Erfindung ist unter einer bewegungskompen- sierten, zeitlich gefilterten Teilbandcodierung ein Codier— verfahren zu verstehen, bei dem in mehreren Auflösungsebenen aus jeweils mindestens zwei Eingangsbildern, jeweils mindes¬ tens ein Ausgangsbild erzeugt wird. Zusätzlich können noch Zwischenbilder erstellt werden. Das jeweilige Zwischenbild repräsentiert die bewegungskompensierten Anteile der dazuge— hörigen Eingangsbilder eines ersten Teilbands. Das jeweilige Ausgangsbild umfasst die bewegungskompensierten Anteile der dazugehörigen Eingangsbilder eines zweiten Teilbands . Das erste Teilband umfasst beispielsweise die hochfrequenten und das zweite Xeilband die tieffrequenten Anteile. In jeder niedrigeren Auflösungsebene werden mindestens zwei Ausgangs¬ bilder der höheren Auflösungsebene zu den Eingangsbildern.In the context of this invention, a motion-compensated, temporally filtered subband coding is to be understood as an encoding method in which in each case at least two input images, at least one output image is generated in a plurality of resolution planes. In addition, still images can be created. The respective intermediate image represents the motion-compensated components of the associated input images of a first sub-band. The respective output image comprises the motion-compensated components of the associated input images of a second sub-band. The The first subband includes, for example, the high frequency and the second Xeilband the low-frequency components. In each lower resolution level, at least two output images of the higher resolution level become the input images.
Das in Fig. 1 abgebildete zweite Codierverfahren CV2 besteht innerhalb der zweiten Bildgruppe GOP2 aus zwei Auflösungsebe¬ nen Rl, R2. In der ersten Auflösungsebene Rl werden aus je¬ weils zwei Eingangsbildern El und E2, E3 und E4 und den zwei dazugehörigen decodierten Bildern D4, D6 jeweils ein Zwi¬ schenbild Zl, Z2 und jeweils ein Ausgangsbild Al, A2 erzeugt. Die zwei Ausgangsbilder Al, A2 werden als Eingangsbilder E5, E6 der nächsten Auflösungsebene R2 verwendet. In der zweiten Auflösungsebene R2, die in diesem Ausführungsbeispiel der niedrigen Auflösungsebene entspricht, werden aus den Ein¬ gangsbildern E5, E6 zusammen mit den decodierten Bildern D3, D5 ein drittes Zwischenbild Z3 und ein drittes Ausgangsbild A3 erzeugt wird. In diesem Ausführungsbeispiel repräsentiert die niedrige Auflösungsebene R2 zugleich eine niedrigste Auf- lösungsebene. Unter der niedrigsten Auflösungsebene ist die¬ jenige Auflösungsebene zu verstehen, die innerhalb der Bild¬ gruppe GOP lediglich ein Ausgangsbild generiert. Mit Hilfe von Fig. 2 und 3 wird die Funktionsweise der jeweiligen Auf¬ lösungsebenen Rl, R2 exemplarisch näher erläutert.Within the second image group GOP2, the second coding method CV2 depicted in FIG. 1 consists of two resolution zones R1, R2. In the first resolution plane R1, in each case two input images El and E2, E3 and E4 and the two associated decoded images D4, D6 are respectively generated an intermediate image Z1, Z2 and one output image A1, A2. The two output images Al, A2 are used as input images E5, E6 of the next resolution level R2. In the second resolution level R2, which in this embodiment corresponds to the low resolution level, a third intermediate image Z3 and a third output image A3 are generated from the input images E5, E6 together with the decoded images D3, D5. In this embodiment, the low resolution level R2 also represents a lowest resolution level. The lowest resolution level is to be understood as the resolution level which only generates an output image within the image group GOP. With the aid of FIGS. 2 and 3, the mode of operation of the respective resolution levels R 1, R 2 will be explained in more detail by way of example.
In Fig. 2 sind zwei Eingangsbilder El, E2 zu sehen, die den Originalbildern O3 bzw. 04 entsprechen. Das zweite Eingangs¬ bild E2 wird beispielsweise in mehrere Bildblöcke Ql, ..., Q9 unterteilt. Diese Bildblöcke Ql, --., Q9, die beispielsweise den aus [5] bekannten Makroblöcken entsprechen, können 16x16 Bildpunkte umfassen. Zunächst führt das zweite Codierverfah¬ ren CV2 für mindestens einen Bildblock Ql, ..., Q9 des zwei¬ ten Eingangsbildes E2, z.B. für den Bildblock Q5, eine Bewe¬ gungsschätzung auf dem ersten Eingangsbild El durch. Mögliche Strategien zur Durchführung der Bewegungsschätzung sind aus [5] bekannt. Falls ein passender Bildbereich im ersten Ein¬ gangbild El gefunden wurde, wird dieser gefundene Bildbereich nach einer Bewegungskompensation MC mit dem Bilciblock Q5 des zweiten Eingangsbildes E2 zeitlich hochpassgefiltert, bei¬ spielsweise durch Subtraktion der jeweiligen Bildpunkte. Die gefundenen Bewegungsvektoren werden in einer ersten Bewe- gungsvektorliste MLl zusammengefasst.FIG. 2 shows two input images El, E2 which correspond to the original images O3 and 04, respectively. The second input image E2 is subdivided, for example, into a plurality of image blocks Q1,..., Q9. These image blocks Q1,.., Q9, which correspond to the macroblocks known from [5], for example, may comprise 16 × 16 pixels. First, the second encoding method CV2 performs a motion estimation on the first input image E1 for at least one image block Q1,..., Q9 of the second input image E2, for example for the image block Q5. Possible strategies for performing the motion estimation are known from [5]. If a suitable image area was found in the first input image El, this found image area becomes after a motion compensation MC with the Bilciblock Q5 of the second input image E2 high-pass filtered, spielsweise by subtracting the respective pixels. The motion vectors found are combined in a first motion vector list ML1.
Wird für einen Bildblock Ql, ..-, Q9 keine gute Bewegungs¬ schätzung gefunden, so kann für diesen Bildblock Ql, ..., Q9 zur zeitlichen Tiefpassfilterung ein entsprechender Bildblock Rl, ..., R.9 aus dem zum zweiten Eingangsbild E2 gehörenden decodierten Bild D4 herangezogen werden. Bspw. ist für den Bildblock Q6 kein passender Bildbereich im ersten Eingangs¬ bild El gefunden worden, so dass der Bildblock R6 des vierten decodierten Bildes D4 mit dem Bildblock Q6 des zweiten Ein- gangsbild E2 gefiltert wird.If no good motion estimation is found for an image block Q1,..., Q9, a corresponding image block R1,..., R.9 for the image block Q1,..., Q9 can be used for temporal low-pass filtering from the second input image E2 belonging decoded image D4 are used. For example. No matching image area in the first input image El has been found for the image block Q6, so that the image block R6 of the fourth decoded image D4 is filtered with the image block Q6 of the second input image E2.
Somit entsteht- durch die zeitliche Hochpassfilterung ein ers¬ tes Zwischenbild Zl. Durch die zusätzliche Verwendung des vierten decodierten Bildes D4 bei der Erstellung des ersten Zwischenbildes Zl wird erreicht, dass das erste Zwischenbild Zl weniger Signalenergie aufweist, und somit durch ein nach¬ folgendes Kompressionsverfahren, wie bspw. einer Wavelet- basierten Transformation, eine höhere Kompressionsrate bzw. bei gleich bleibender Kompressionsrate eine höhere Bildquali- tat erzielt werden kann.Thus, the temporal high-pass filtering produces a first intermediate image Z1. The additional use of the fourth decoded image D4 during the production of the first intermediate image Z1 ensures that the first intermediate image Z1 has less signal energy, and thus by a subsequent compression process , such as a wavelet-based transformation, a higher compression rate or at a constant compression rate, a higher image quality can be achieved tat.
In einem nachfolgenden Schritt wird bildblockweise das erste Ausgangsbild Al erzeugt. Hierzu werden die jeweiligen Bild— blocke des ersten Zwischenbildes Zl, die mit Hilfe des ersten Eingangsbildes El erzeugt worden sind, unter Verwendung einer inversen Bewegungskompensation IMC(MLl), die die Bewegungs¬ vektoren der ersten Bewegungsvektorliste MLl berücksichtigt, mit dem ersten Eingangsbild El zeitlich tiefpass-gefiltert. Die zeitliche Tiefpassfilterung kann durch Addition der je— weiligen Bildpunkte des invers-bewegungskompensierten Bild¬ blockes des ersten Zwischenbildes Zl und Bildblocks des ers¬ ten Eingangsbildes El ausgeführt werden. Das erste Ausgangs- bild Al enthält die „zeitlichen" Tiefpassanteile der Ein¬ gangsbilder El, E2. Das zweite Ausgangsbild A2 wird gleicher¬ maßen aus den Eingangsbildern E3 und E4 erzeugt. Hierbei wird eine zweite Bewegungsvektorliste ML2 generiert.In a subsequent step, the first output image Al is generated block by block. For this purpose, the respective image blocks of the first intermediate image Z1, which have been generated with the aid of the first input image El, are time-aligned with the first input image El using an inverse motion compensation IMC (ML1), which takes into account the motion vectors of the first motion vector list ML1 low-pass filtered. The temporal low-pass filtering can be carried out by adding the respective pixels of the inverse-motion-compensated image block of the first intermediate image Z1 and image block of the first input image El. The first starting point The second output image A2 is generated in the same way from the input images E3 and E4. Here, a second motion vector list ML2 is generated.
Im vorliegenden Ausführungsbeispiel wurde die Vorgehensweise zur Durchführung des erfindungsgemäßen Verfahrens anhand von Bildern mit 3x3 Bildblöcke erläutert. Im Allgemeinen kann die Zahl der Bildblöcke beliebig sein, wie z.B. 4x4, 8x9 oder 11x9 sein. Zudem können auch die Anzahl der Bildblöcke der decodierten Bilder und der Eingangsbilder unterschiedlich sein.In the present exemplary embodiment, the procedure for carrying out the method according to the invention was explained on the basis of pictures with 3 × 3 picture blocks. In general, the number of image blocks may be arbitrary, e.g. Be 4x4, 8x9 or 11x9. In addition, the number of picture blocks of the decoded pictures and the input pictures may also be different.
Mit Hilfe von Fig. 3 werden im Folgenden die einzelnen Verar- beitungsschritte der zweiten Auflösungsebene R2, die der niedrigen Auflösungsebene entspricht, näher erläutert. Mit Hilfe des fünften und sechsten Eingangsbildes E5, E6, die dem ersten und zweiten Ausgangsbild Al, A2 der vorausgegangenen Auflösungsebene Rl entsprechen, und unter Verwendung des zum sechsten Eingangsbild E6 gehörenden decodierten Bildes D5 wird nach einer BewegungsSchätzung und Bewegungskompensation MC(ML3) das dritte Zwischenbild Z3 erzeugt. Hierbei wird eine dritte Bewegungsvektorliste ML3 generiert. Ferner wird nach einer inversen Bewegungskompensation IMC (ML3) und unter Be- rücksichtigung des dritten Eingangsbildes E3 das vorläufige dritte Ausgangsbild A3V erstellt. Das dritte Zwischenbild Z3 umfasst die hochfrequenten Anteile der zeitlich gefilterten Eingangsbilder E5, E6. Ferner beinhaltet das vorläufige drit¬ te Ausgangsbild A3V die Tiefpassanteile der zeitlich gefil— terten Eingangsbilder E5, E6. Werden die Auflösungsebenen Rl, R2 gemeinsam betrachtet so repräsentiert das vorläufige drit¬ te Ausgangsbild A3V die „zeitlichen" Tiefpassanteile der zweiten Bildgruppe GOP2 von aufeinanderfolgenden Originalbil¬ der O3, 04, O5, O6. In einem zusätzlichen Bearbeitungsschritt wird durch Prädiktion, wie z.B. bildpunktweise Differenzbil¬ dung, des vorläufigen dritten Ausgangsbildes A3V und des da- zugehörenden dritten decodierten Bildes D3 das dritte Aus¬ gangsbild A3 erzeugt.With the aid of FIG. 3, the individual processing steps of the second resolution level R2, which corresponds to the low resolution level, will be explained in more detail below. With the aid of the fifth and sixth input image E5, E6, which correspond to the first and second output image A1, A2 of the previous resolution level R1, and using the decoded image D5 belonging to the sixth input image E6, after a motion estimation and motion compensation MC (ML3) becomes the third Intermediate image Z3 generated. In this case, a third motion vector list ML3 is generated. Furthermore, after an inverse motion compensation IMC (ML3) and taking into account the third input image E3, the provisional third output image A3V is created. The third intermediate image Z3 comprises the high-frequency components of the temporally filtered input images E5, E6. Furthermore, the provisional third output image A3V contains the low-pass components of the temporally filtered input images E5, E6. If the resolution levels R 1, R 2 are considered together, the preliminary third output image A3V represents the "temporal" low-pass components of the second group of images GOP 2 of successive original images O 3, O 4, O 5, O 6. In an additional processing step, by prediction, such as pixel by pixel Difference, the provisional third output image A3V and the belonging third decoded image D3, the third Aus¬ output image A3 generated.
Dieses dritte Ausgangsbild A3 und die Zwischenbilder Zl, Z2, Z3 können vor dem Übertragen zu einer Decodiervorrichtung DV komprimiert werden, wie bspw. mittels einer Wavelet- Transformation.This third output image A3 and the intermediate images Z1, Z2, Z3 can be compressed before being transferred to a decoding device DV, for example by means of a wavelet transformation.
Gemäß des Ausführungsbeispiels nach Fig. 1 ist die Zuordnung des Startbildes BSP für die Bildencodierung gemäß dem zweiten Codierverfahren CV2 derart gewählt worden, dass dieses dem dritten Originalbild O3 entspricht. Da die Anzahl der zu en- codierenden Originalbilder O3, - - -, O6 der zweiten Bildgruppe GOP2 in dem vorliegen Ausführungsbeispiel zu vier gewählt wurde, werden die Originalbilder O3, 04, O5, O6 gemeinsam en- codiert. Nach deren Kompression können im Folgenden die nächsten vier Originalbilder beginnend mit dem siebten Origi¬ nalbild O7 gemäß dem zweiten Codierverfahren CV2 komprimiert werden. Dies kann bis zum Ende der zu encodierenden Folge von Originalbildern Ol,...., ON fortgesetzt werden. Jedoch kann das zweite Codierverfahren CV2 auch mehr oder weniger aufein¬ anderfolgende Originalbilder Ol, ..., ON in eine Bildgruppe GOP zum Encodieren zusammenfassen.According to the exemplary embodiment according to FIG. 1, the assignment of the start image BSP for the image coding according to the second coding method CV2 has been selected such that it corresponds to the third original image O3. Since the number of original images O3, - - -, O6 of the second image group GOP2 to be encoded has been selected to be four in the present embodiment, the original images O3, 04, O5, O6 are encoded in common. After their compression, the next four original images beginning with the seventh original image O7 can be compressed in the following in accordance with the second coding method CV2. This can be continued until the end of the sequence of original images Ol, ...., ON to be encoded. However, the second coding method CV2 can also combine more or less successive original pictures Ol,..., ON into a picture group GOP for encoding.
Nach dem erfindungsgemäßen Verfahren wird vor der Bildenco¬ dierung durch das zweite Codierverfahren CV2 nach einer bewe— gungskompensierten, zeitlich- gefilterten Teilbandcodierung das Startbild BSP einer zu encodierenden Bildgruppe GOP von aufeinanderfolgenden Originalbildern Ol, ..., ON anhand einer ermittelten Codiereigenschaft eines zum Erzeugen eines Aus¬ gangsbildes A3 der niedrigen Auflösungsebene R2 dieser zu en¬ codierenden Bildgruppe GOP verwendeten, decodierten Bildes D3 festlegt. Da die Bildqualität des Ausgangsbildes der niedri¬ gen Auflösungsebene, im Ausführungsbeispiel ist dies das dritte Ausgangsbild A3 der zweiten Auflösungsebene R2, vom dazugehörigen decodierten Bild abhängt, wie z.B. dem dritten decodierten Bild D3, ist die Bildqualität des dazugehörigen decodierten Bildes von erheblicher Bedeutung. Die Bildquali¬ tät des dazugehörigen decodierten Bildes hängt im Wesentli¬ chen von der Codiereigenschaft ab, die dieses decodierte Bild bei seiner Erstellung durch das erste Codierverfahren CVl un- terworfen war. Somit wird durch die Wahl des Startbildes BSP der Bildgruppe GOP, wie z.B. der zweiten Bildgruppe GOP2, in Abhängigkeit von der Codiereigenschaft des zum Ausgangsbild der niedrigen Auflösungsebene verwendeten, decodierten Bildes die Bildqualität des Ausgangsbildes der niedrigen Auflösungs- stufe erheblich beeinflusst. Bei einer optimalen Wahl des Startbildes BSP für die Bildgruppe GOP wird beispielsweise für das dritte Ausgangsbild A3 ein Bild mit niedriger Signal¬ energie generiert, das sehr effizient komprimiert werden kann.According to the method according to the invention, before the image coding by the second coding method CV2 after a motion-compensated, time-filtered subband coding, the start image BSP of an image group GOP to be encoded from successive original images Ol,..., ON is generated on the basis of a determined coding property of an output image A3 of the low resolution level R2 of this image group GOP to be en¬ coded, decoded image D3. Since the image quality of the output image of the low resolution level, in the exemplary embodiment this is the third output image A3 of the second resolution level R2, depends on the associated decoded image, such as the third decoded image D3, the image quality of the associated one is decoded image of considerable importance. The picture quality of the associated decoded picture essentially depends on the coding property which this decoded picture was subject to when it was created by the first coding method CV1. Thus, by selecting the start picture BSP of the picture group GOP, such as the second picture group GOP2, depending on the coding characteristic of the decoded picture used for the low-resolution-level output picture, the picture quality of the low-resolution picture output picture is considerably affected. With an optimal choice of the start image BSP for the image group GOP, for example, an image with low signal energy is generated for the third output image A3, which image can be compressed very efficiently.
Die Codiereigenschaft kann durch Auswertung der zum jeweili¬ gen decodierten Bild gehörenden Decodierliste ermittelt wer¬ den. Ferner kann die Codiereigenschaft auch durch Analyse des zum verwendeten, decodierten Bild gehörenden encodierten BiI- des gewonnen werden. So kann beispielsweise durch Analyse des ersten encodieren Bildes Bl ermittelt werden, welche Bildblö¬ cke MBI im ersten decodierten Bild Dl mittels des INTRA- bzw. des INTER—Codiermodus komprimiert wurden.The coding property can be determined by evaluating the decoding list belonging to the respective decoded picture. Furthermore, the coding property can also be obtained by analyzing the encoded picture associated with the used decoded picture. For example, by analyzing the first encoded image B1, it can be determined which image blocks MBI in the first decoded image D1 were compressed by means of the INTRA or INTER coding mode.
Zusätzlich wird das Startbild BSP aufgrund des verwendeten, decodierten Bildes, z.B. D3, festgelegt, wenn die Codierei- genschaftsermittlung ergibt, dass mindestens ein Bildblock MBI dieses verwendeten, decodierten Bildes D3 INTRA—codiert wurde. Unter einem Bildblock MBI ist beispielsweise eine Bildregion aus 16x16 Bildpunkten zu verstehen. Da der INTRA- codierte Bildblock MBI bspw. einer geringeren Quantisierung unterliegt als für den Fall, dass dieser Bildblock MBI INTER- codiert worden wäre, ergibt sich eine höhere Bildqualität für den Bildblock MPI des verwendeten, decodierten Bildes D3 als bei einer INTER-Codierung. Somit kann für das dritte Aus¬ gangsbild A3 ein Differenzbild mit geringerer Signalenergie gewonnen werden, welches z.B. durch eine nachgeschaltete Wa- velet—Kompression sehr effizient komprimiert werden kann. Ferner ist die Verwendung eines INTRA-codierten Bildblocks MBI auch vorteilhaft, da bspw. auftretende Decodierfehler in¬ nerhalb der Folge von encodierten Bildern Bl, ..., BM nicht durch einen INTRA-codierten Bildblock MBI aus einem vorherge¬ henden encodierten Bild Bl, .••, BM übernommen werden und somit ein Bildfehler auch im dazugehörigen decodierten Bild Dl, ..., DM nicht auftritt.In addition, the start picture BSP is determined on the basis of the decoded picture used, eg D3, if the coding property determination shows that at least one picture block MBI of this used, decoded picture D3 was INTRA coded. For example, an image block MBI is an image region of 16x16 pixels. Since the INTRA-coded picture block MBI, for example, is subject to lower quantization than in the case where this picture block MBI would have been INTER-coded, a higher picture quality results for the picture block MPI of the decoded picture D3 used than with an INTER coding. Thus, a differential image with a lower signal energy can be obtained for the third output image A3, which can be obtained, for example, by a downstream Velet compression can be compressed very efficiently. Furthermore, the use of an INTRA-coded picture block MBI is also advantageous since, for example, occurring decoding errors within the sequence of encoded pictures B1,..., BM are not due to an INTRA-coded picture block MBI from a preceding encoded picture Bl, ••, BM are adopted and thus an aberration does not occur even in the associated decoded image Dl, ..., DM.
Ferner kann das Startbild BSP aufgrund des verwendeten, deco¬ dierten Bildes D3 festgelegt werden, wenn die Codiereigen- schaftsermittlung ergibt, dass eine festgelegte Blockanzahl AM an Bildblöcken MPI dieses verwendeten, decodierten Bildes D3 INTRA-codiert wurde. Stehen beispielsweise mehrere mögli- che Startbilder BSP zur Verfügung, so wird durch diese Vari¬ ante des erfindungsgemäßen Verfahrens dasjenige Startbild BSP für die Encodierung der Bildgruppe GOP durch das zweite Co— dierverfahren CV2 gewählt, bei dem die vorgebbare Mindestan¬ zahl AM an INTRA—codierten Bildblöcken MBI des zum dazugehö- rigen decodierten Bildes Dl, ..., DM gefunden werden kann. Dies soll am folgenden Beispiel erläutert werden. Das Start¬ bild BSP soll so gewählt werden, dass das zum dritten Aus¬ gangsbild A3 verwendete, decodierte Bild mindestens 20 Bild¬ blöcke MBI umfasst, die mittels des INTRA—Codiermodus kompri- miert wurden. Als Startbild BSP kann das dritte oder vierte Originalbild O3, O4 gewählt werden. Die zum dritten und vier¬ ten Originalbild O3, O4 dazugehörigen decodierten Bilder sind die dritten und vierten decodierten Bilder D3, D4. Im dritten decodierten Bild D3 waren 25 INTRA-codierte Bildblöcke MBI und im vierten decodierten Bild D4 waren 19 INTRA-codierte Bildblöcke MBI vorhanden. Somit wird als Startbild BSP der zweiten Bildgruppe GOP2 zur Encodierung der Folge von Origi¬ nalbildern Ol, •-., ON das dritte Originalbild 03 ausgewählt.Furthermore, the start image BSP can be determined on the basis of the decoded image D3 used if the coding property determination shows that a defined number of blocks AM has been INTRA-coded on picture blocks MPI of this decoded picture D3 used. If, for example, several possible starting images BSP are available, this variant of the method according to the invention selects that starting image BSP for the encoding of the image group GOP by the second coding method CV2, in which the predeterminable minimum number AM of INTRA- coded image blocks MBI of the associated decoded image Dl, ..., DM can be found. This will be explained in the following example. The start image BSP is to be chosen such that the decoded image used for the third output image A3 comprises at least 20 image blocks MBI which have been compressed by means of the INTRA coding mode. The third or fourth original image O3, O4 can be selected as the start image BSP. The decoded images associated with the third and fourth original images O3, O4 are the third and fourth decoded images D3, D4. In the third decoded image D3 there were 25 INTRA coded image blocks MBI and in the fourth decoded image D4 there were 19 INTRA coded image blocks MBI. Thus, the third original image 03 is selected as the start image BSP of the second image group GOP2 for encoding the sequence of original images Ol,..., ON.
In einer möglichen weiteren Variante des erfindungsgemäßen Verfahrens wird das Startbild BSP aufgrund des verwendeten, decodierten Bildes D3 festgelegt, wenn die Codiereigen- schaftsermittlung ergibt, dass alle Bildblöcke MBI dieses verwendeten, decodierten Bildes D3 INTRA-codiert wurden. Dies ist vorteilhaft, da somit für das gesamte dritte Ausgangsbild A3 ein geringes Differenzsignal mit einer geringen Signal— energie gefunden werden kann. Hierbei fällt der Startpunkt mit einem mit „I" markierten decodierten Bild Dl, ..., DM zu- sammen.In a possible further variant of the method according to the invention, the starting picture BSP is defined on the basis of the decoded picture D3 used, if the coding determining that all picture blocks MBI of this decoded picture D3 used were INTRA-coded. This is advantageous since a small difference signal with a low signal energy can thus be found for the entire third output image A3. In this case, the starting point coincides with a decoded image D1,..., DM marked with "I".
Ferner kann es notwendig sein, bei der Bestimmung des Start- bildes BSP nicht nur die Codiereigenschaft Kl zu berücksich¬ tigen, sondern auch eine Maximalanzahl an aufeinanderfolgen¬ den Originalbilder Ol, .-., ON, wobei diese Maximalanzahl beispielsweise nicht überschritten werden darf. Beispielswei¬ se soll aufgrund der Codiereigenschaftsermittlung das Start- bild BSP der nächsten zu encodierenden Bildgruppe, z.B. GOP2, so gewählt werden, dass eine aktuell zu encodierende Bild¬ gruppe, z.B. GOPl, zehn Originalbilder umfassen soll. Die Ma¬ ximalanzahl pro Bildgruppe ist jedoch auf sechs Originalbil— der begrenzt. Somit wird beispielsweise die aktuell zu enco- dierende Bildgruppe GOPl in zwei Teilgruppen aufgeteilt, so dass zunächst sechs und danach vier Originalbilder in einer jeweiligen Bildgruppe encodiert werden.Furthermore, it may be necessary to take into account not only the coding property K1 when determining the starting image BSP, but also a maximum number of successive original images O1,.., ON, whereby this maximum number may not be exceeded, for example. For example, on the basis of the coding property determination, the start image BSP of the next image group to be encoded, e.g. GOP2, are chosen such that a picture group currently to be encoded, e.g. GOPl, to include ten original images. However, the maximum number per image group is limited to six original images. Thus, for example, the picture group GOP1 currently to be encocted is divided into two subgroups so that first six and then four original pictures are encoded in a respective picture group.
In einer Variante des erfindungsgemäßen Verfahrens kann eine Anzahl zu encodierender, aufeinanderfolgender Originalbilder Ol, ..., ON der Bildgruppe GOP in Abhängigkeit der ermitteln¬ den Codiereigenschaft Kl eingestellt werden. Dies wird mit Hilfe von Fig. 5 näher erläutert, wobei aufgrund der ermit¬ telten Codiereigenschaft Kl als Startbild BSP immer diejeni- • gen Originalbilder Ol, ..., ON verwendet werden, bei denen alle Bildblöcke MPI der dazugehörenden decodierten Bilder Dl, ..., DM iNTRA-codiert wurden. Diese decodierten Bilder Dl, ..., DM sind mit einem „I" gekennzeichnet. Zunächst wird als Startbild BSP der ersten Bildgruppe GOPl für die Encodierung der Originalbilder Ol, ...., ON das erste Originalbild Ol be¬ nutzt. Hierbei werden das Ausgangsbild All und das Zwischen¬ bild ZIl generiert. Die Encodierung nach dem zweiten Codier- verfahren CV2 wird bereits nach dem zweiten Originalbild 02 abgebrochen. Denn mit dem dritten Originalbild O3 steht ein mit „I" markiertes decodiertes Bild D3 zur Verfügung, und so¬ mit zeigt die Codiereigenschaft Kl an, dass hier ein neues Startbild BSP für die zweite Bildgruppe GOP2 gesetzt werden soll. Nach der zweiten Bildgruppe GOP2 wird die dritte Bild¬ gruppe GOP3 encodiert, wobei beispielsweise das Ausgangsbild A21 erstellt wird. Somit umfasst die erste Bildgruppe GOPl zwei und die zweite Bildgruppe GOP2 vier Originalbilder, die durch das zweite Codierverfahren CV2 encodiert werden.In a variant of the method according to the invention, a number of successive original images Ol,..., ON of the image group GOP to be encoded can be set as a function of the ascertaining coding property K1. This will be explained with reference to FIG. 5, whereby due to the ermit¬ telten coding property class as a start image BSP always diejeni- • gen original images Ol ..., ON be used in which all image blocks MPI the associated decoded images Dl. .., DM iNTRA coded. These decoded images D1, ..., DM are marked with an "I." First, the first original image Ol is used as the start image BSP of the first image group GOP1 for the encoding of the original images Ol, generates the output image All and the intermediate image ZIl. The encoding after the second coding Procedure CV2 is aborted already after the second original picture 02. Because with the third original image O3 a decoded image D3 marked "I" is available, and thus the coding property K1 indicates that a new start image BSP is to be set here for the second image group GOP2 the third image group GOP3 is encoded, whereby, for example, the output image A21 is created, thus the first image group GOP1 comprises two and the second image group GOP2 comprises four original images which are encoded by the second encoding process CV2.
In dem Ausführungsbeispiel wurde speziell auf die Encodierung der Originalbilder O3, 04, O5 und O6 eingegangen. Das erste und das zweite Codierverfahren CVl, CV2 erstellen hierbei mehrere encodierte Bildinformationen. Hierbei umfassen die encodierten Bildinformationen beispielsweise die Zwischenbil¬ der Zl, ..., Z3, das drittes Ausgangsbild A3, die encodierten Bilder B3, B4, B5, B6, und die Bewegungsvektorlisten MLl, ML2, ML3. Daneben fallen noch weitere Informationen bei der Encodierung an, wie beispielsweise Bewegungsvektoren im ers¬ ten Encodierverfahren. Zur Encodierung der gesamten Folge von Originalbildern Ol, ..., ON fallen gemäß des ersten und zwei¬ ten Codierverfahrens CVl, CV2 eine Vielzahl von encodierten Bildinformationen an, die in analoger Weise zum Ausführungs- beispiel erzeugt werden.In the exemplary embodiment, special attention was given to the encoding of the original images O3, 04, O5 and O6. The first and the second coding method CV1, CV2 create several encoded image information. In this case, the encoded image information comprises, for example, the intermediate images Z1,..., Z3, the third output image A3, the encoded images B3, B4, B5, B6, and the motion vector lists ML1, ML2, ML3. In addition, further information is produced during the encoding, such as motion vectors in the first encoding method. To encode the entire sequence of original images Ol,..., ON, according to the first and second coding methods CV1, CV2, a multiplicity of encoded image information is produced, which are generated in an analogous manner to the exemplary embodiment.
Fig. 4 zeigt eine Encodiervorrichtung EV, eine Decodiervor— richtung DV und ein Übertragungsmedium UEM zum Übertragen von Informationen von der Encodiervorrichtung EV zur Decodiervor- richtung DV. Die Encodiervorrichtung EV umfasst ein erstes Videoencodiermodul' VEl mit dessen Hilfe eine Folge von Origi— nalbildern Ol,...., ON nach dem ersten Codierverfahren CVl in eine Folge von encodierten Bildern Bl, ..., BM und daraus ei¬ ne Folge decodierten Bildern Dl, ...., DM erzeugt wird. Fer- ner umfasst die Encodiervorrichtung EV ein zweites Videoenco¬ diermodul VE2 zur Durchführung der Encodierung einer Folge von Originalbildern Ol, ..., ON nach dem zweiten Codierver— fahren CV2 unter Berücksichtigung der decodierten Bilder Dl, ..., DM in Zwischenbilder Zl, Z2, Z3, in Ausgangsbilder Al, A2, A3 und zum Erzeugen mehrerer Bewegungsvektorlisten MLl, ..., ML3. Ferner verfügt die Encodiervorrichtung EV über eine erste Speichereinrichtung Sl, welche verschiedene Bilder, wie z.B. die Originalbilder Ol, ..., ON, zur Bearbeitung organi¬ siert speichert. Zusätzlich beinhaltet die Encodiervorrich¬ tung EV eine Sendeeinheit SE zum Übertragen encodierter Bild¬ informationen, wie z.B. die encodierten Bilder Bl, ..., BM. Die Sendeeinheit SE, die erste Speichereinrichtung Sl, das erste Videoencodiermodul VEl und das zweite Videoencodiermo- dul VE2 sind über ein erstes Verbindungsnetzwerk VNl zum Aus¬ tausch von Daten und Steuerinformationen miteinander verbun¬ den.4 shows an encoding device EV, a decoding device DV and a transmission medium UEM for transmitting information from the encoding device EV to the decoding device DV. The encoding device comprises a first EV Videoencodiermodul 'Vel with the aid of a sequence of Origi- nalbildern Ol, ...., ON after the first coding CVI into a sequence of encoded pictures Bl, ..., BM and therefrom ei¬ ne sequence decoded images Dl, ...., DM is generated. Furthermore, the encoding device EV comprises a second video encoding module VE2 for performing the encoding of a sequence of original images Ol,..., ON according to the second encoding method. CV2 taking into account the decoded images Dl, ..., DM in intermediate images Zl, Z2, Z3, in output images Al, A2, A3 and for generating a plurality of motion vector lists MLl, ..., ML3. Furthermore, the encoding device EV has a first storage device S1, which stores various images, such as the original images Ol,..., ON, organized for processing. In addition, the encoding device EV includes a transmission unit SE for transmitting encoded image information, such as the encoded images Bl,..., BM. The transmitting unit SE, the first memory device Sl, the first video coding module VE1 and the second video coding module VE2 are interconnected via a first connecting network VN1 for exchanging data and control information.
Die Decodiervorrichtung DV verfügt über ein erstes Videodeco— diermodul VDl zum Decodieren der encodierten Bilder Bl, ...., BM, die gemäß dem ersten Codierverfahren CVl erstellt wurden. Daneben verfügt die Decodiervorrichtung DV über ein zweites videodecodiermodul VD2 zum Decodieren der durch das zweite Codierverfahren CV2 erstellen komprimierten Bilder, wie z.B. den Zwischenbildern Zl, Z2, Z3 und/oder dem dritten Ausgangs- bild A3. Daneben werden auch die Bewegungsvektorlisten MLl, ...., ML3 zur Rekonstruktion der Originalbilder O3, 04, O5, O6 verwendet. Des Weiteren umfasst die Decodiervorrichtung DV eine Empfangseinheit EE, mit der die encodierten Bildinforma— tionen wie z.B. die encodierten Bilder Bl, ...., BM empfangen werden und in einer zweiten Speichereinrichtung S2 zur Weiterbearbeitung abgelegt werden. Schließlich beinhaltet die Decodiervorrichtung DV auch das zweite Speichermodul S2, in¬ dem verschiedene Informationen und Daten, wie bspw. die Bewe— gungsvektorlisten MLl, ...., ML3 gespeichert werden. Die Emp¬ fangseinheit EE, die zweite Speichereinrichtung S2, das erste Videodecodiermodul VDl und das zweite Videodecodiermodul VD2 sind über ein zweites Verbindungsnetzwerk VN2 zum Austausch von Daten und Steuerinformationen miteinander verbunden. Das Übertragungsmedium DEM dient zur Übermittlung der enco- dierten Bildinformationen von der Encodiervorrichtung EV zur Decodiervorrichtung DV.The decoding device DV has a first video decoding module VD1 for decoding the encoded pictures B1,..., BM, which were created according to the first coding method CV1. In addition, the decoding device DV has a second video decoding module VD2 for decoding the images produced by the second encoding method CV2, such as the intermediate images Z1, Z2, Z3 and / or the third output image A3. In addition, the motion vector lists ML1, ...., ML3 are used to reconstruct the original images O3, 04, O5, O6. Furthermore, the decoding device DV comprises a receiving unit EE, with which the encoded Bildinforma- functions such as the encoded images Bl, ...., BM are received and stored in a second memory device S2 for further processing. Finally, the decoding device DV also includes the second memory module S2, in which various information and data, such as, for example, the motion vector lists ML1, ...., ML3 are stored. The reception unit EE, the second memory device S2, the first video decoding module VD1 and the second video decoding module VD2 are connected to one another via a second connection network VN2 for exchanging data and control information. The transmission medium DEM is used to transmit the encoded image information from the encoding device EV to the decoding device DV.
Die Encodiervorrichtung EV und/oder die Decodiervorrichtung DV können in einem Mobilfunkgerät nach GSM Standard (GSM - Global System for Mobile Communications) oder UMTS-Standard (UMTS— Universal Mobile Telecommunications Systems) als auch in einer Computereinheit, die möglicherweise in einem tragba- ren Gerät integriert ist, untergebracht sein. Zur Übermitt¬ lung der encodierten Bildinformationen zwischen der Encodier¬ vorrichtung EV und der Decodiervorrichtung DV kann bspw. ein drahtloses Funknetz, wie z.B. nach dem GSM Standard, als auch ein drahtgebundenes Übertragungsmedium, wie z.B. ein IP- basiertes Netzwerk (IP- Internet Protokoll) oder ISDN (ISDN - Integrated Services Digital Network) benutzt werden.The encoding device EV and / or the decoding device DV can be used in a GSM standard device (GSM - Global System for Mobile Communications) or UMTS standard (UMTS Universal Mobile Telecommunications Systems) as well as in a computer unit which may be portable Device is integrated, housed. For the transmission of the encoded image information between the encoding device EV and the decoding device DV, it is possible, for example, to use a wireless radio network, such as e.g. according to the GSM standard, as well as a wired transmission medium, such as e.g. an IP-based network (IP Internet Protocol) or ISDN (ISDN - Integrated Services Digital Network) can be used.
Neben der Möglichkeit die encodierten Bildinformationen von der Encodiervorrichtung EV zur Decodiervorrichtung DV zu sen- den, kann es in der Praxis zweckmäßig sein, die encodierten Bildinformationen auf einem Speichermedium wie z.B. einer CD (CD- Compact Disk) oder einem Video-Server, zur späteren Be¬ nutzung zu speichern.In addition to the possibility of sending the encoded image information from the encoding device EV to the decoding device DV, in practice it may be expedient to store the encoded image information on a storage medium, such as e.g. a CD (CD-Compact Disk) or a video server, to save for later Be¬ use.
Ferner umfasst die Erfindung auch ein Bilddecodierverfahren, bei dem das Verfahren zur Bildencodierung einer Folge von Originalbildern Ol, ..., ON decodierbar ist. Beispielsweise wird zunächst durch das erste Videodecodiermodul VDl die Fol¬ ge von encodierten Bildern Bl, ..-, BM in eine Folge von de- codierten Bildern die Dl, ..., DM decodiert. Anschließend ge¬ neriert das zweite Videodecodiermodul VD2 unter Verwendung der Zwischenbilder Zl, Z2, Z3 und des dritten Ausgangsbildes A3 sowie unter Zuhilfenahme der Bewegungsvektorlisten MLl, ..., ML3 und der decodierten Bilder Dl, ...., DM eine Folge rekonstruierten Bildern Rl, ... RM der Folge von Originalbil¬ dern Ol, ..., ON. In einer möglichen Variante werden die rekonstruierten Bilder Rl7 ..., RN, die durch das zweite videodecodiermodul VD2 ge¬ neriert wurden, an ein Ausgabemedium DD, Jospw. einem Monitor wiedergeben. Alternativ oder zusätzlich können auch die deco- dierten Bilder Dl, ..., DM, erzeugt durch das erste videode¬ codiermodul VDl, auf dem Monitor wiedergeben werden. Bei¬ spielsweise umfassen die decodierten Bilder Dl, ..., DM ledig¬ lich eine reduzierte Bildqualität, wohingegen die rekon¬ struierten Bilder Rl, ...., RM eine hochqualitative Bildqua— lität repräsentieren. Somit kann bspw. durch den Nutzer aus¬ gewählt werden, ob eine Folge von Bildern in einer niedrigen oder in einer hohen Bildqualität an dem Ausgabemedium, wieder¬ gegeben werden soll. LiteraturverzeichnisFurther, the invention also includes a picture decoding method in which the method of forming a sequence of original pictures Ol, ..., ON is decodable. For example, the sequence of encoded images B1,..., BM is first decoded by the first video decoding module VD1 into a sequence of decoded images, the D1,..., DM. Subsequently, the second video decoding module VD2 generates a sequence of reconstructed pictures using the intermediate pictures Z1, Z2, Z3 and the third output picture A3 and with the aid of the motion vector lists ML1,..., ML3 and the decoded pictures D1,..., DM Rl, ... RM of the sequence of original images Ol, ..., ON. In one possible variant, the reconstructed images Rl 7 ... RN, which were generated by the second video decoder module VD2, are sent to an output medium DD, Jospw. play a monitor. Alternatively or additionally, the decoded images D1,..., DM generated by the first video coding module VD1 can also be reproduced on the monitor. For example, the decoded images D 1,..., DM only comprise a reduced image quality, whereas the reconstructed images R 1,..., RM represent a high-quality image quality. Thus, for example, it can be selected by the user whether a sequence of images in a low or in a high image quality is to be reproduced on the output medium. bibliography
[1] K. Hanke, RWTH-Aachen, http:/www.ient.rwth-aachen.cie/ forschung/pdf/3D-videocodierung.pdf[1] K. Hanke, RWTH-Aachen, http://www.ient.rwth-aachen.cie/ research / pdf / 3D-video-coding.pdf
[2] Videocodierstandard ITU-T H.263, „Videocoding for Low Bitrate Communication", 02/1998[2] Video Coding Standard ITU-T H.263, "Videocoding for Low Bitrate Communication", 02/1998
[3] VideocodierStandard ITU-T H.264, „Advanced Video Coding for Generic Audio Visual Services"1", 05/2003[3] Video Coding Standard ITU-T H.264, "Advanced Video Coding for Generic Audio Visual Services" 1 ", 05/2003
[4] H.Schwarz, D.Marpe und T.Wigand, Fraunhofer Institut für Telekommunikation, Heinrich Herz Institut, "Sca- lable Extension of H.264/AVC", ISO/IEC JTC1/SC29/WG11, MPEG04/M10569/S03, März 2004.[4] H. Schwarz, D. Marpe and T.Wigand, Fraunhofer Institute for Telecommunications, Heinrich Herz Institute, "Scalable Extension of H.264 / AVC", ISO / IEC JTC1 / SC29 / WG11, MPEG04 / M10569 / S03, March 2004.
[5] S.Jun, S. Huifang, "Image and Video Compression for Multimedia Engineering", CRC-Press, 2000 [5] S.Jun, S. Huifang, "Image and Video Compression for Multimedia Engineering", CRC-Press, 2000

Claims

Patentansprüche claims
1. Verfahren zur Bildencodierung einer Folge von Originalbil¬ dern (Ol, ..., ON) mit folgenden Schritten: a) aus der Folge von Originalbildern (Ol, . - . , ON) wird mit Hilfe eines ersten Codierverfahrens (CVl) nach einer bewe- gungskompensierten, pradiktiven Codierung eine Folge von decodierten Bildern (Dl, ..., DM) erzeugt; b) vor einer Bildencodierung wird durch ein zweites Codier— verfahren (CV2) nach einer bewegungskompensierten, zeit¬ lich gefilterten Teilbandcodierung ein Startbild (BSP) ei¬ ner zu encodierenden Bildgruppe (GOP) von aufeinanderfol¬ genden Originalbildern (O3, ..., O6) anhand einer ermit¬ telten Codiereigenschaft (Kl) eines zum Erzeugen eines Ausgangsbildes (A3) einer niedrigen Auflösungsebene (R2) dieser zu encodierenden Bildgruppe (GOP) verwendeten, de¬ codierten Bildes (D3) festgelegt, wobei bei der Bildenco¬ dierung aus den aufeinanderfolgenden Originalbildern (O3, ..., O6) der zu encodierenden Bildgruppe (GOP) und aus mindestens einem decodierten Bild (D3, ..., D6) in jeder Auflösungsebene (Rl, R2) mindestens ein Ausgangsbild (Al, A2, A3) generiert wird.1. A method for forming a sequence of original images (Ol,..., ON) with the following steps: a) from the sequence of original images (Ol,..., ON) by means of a first coding method (CV1) a motion-compensated, predictive coding generates a sequence of decoded pictures (D1, ..., DM); b) prior to a picture coding, a start picture (BSP) of a picture group (GOP) to be encoded from successive original pictures (O3,..., O6) on the basis of an ascertained coding property (Kl) of a decoded image (D3) used for generating an output image (A3) of a low resolution plane (R2) of this image group (GOP) to be encoded, wherein in the image coding the successive original images (O3,..., O6) of the image group (GOP) to be encoded and at least one decoded image (D3,..., D6) in each resolution plane (R1, R2) at least one output image (A1, A2, A3) is generated.
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass das Startbild (PSB) aufgrund des verwendeten, decodier¬ ten Bildes (D3) festgelegt wird, wenn die Codiereigenschafts- ermittelung ergibt, dass mindestens ein Bildblock (MBI) die¬ ses verwendeten, decodierten Bildes (D3) INTRA-codiert wurde.2. The method according to claim 1, characterized in that the start image (PSB) is determined on the basis of the used, decoded image (D3), if the coding property determination shows that at least one image block (MBI) used die¬ ses, decoded Image (D3) was INTRA coded.
3. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Startbild (BSP) aufgrund des verwendeten, decodier¬ ten Bildes (D3) festgelegt wird, wenn die Codiereigenschafts- ermittelung ergibt, dass eine festgelegte Blockanzahl (AM) an Bildblöcken (MBI) dieses verwendeten, decodierten Bildes (D3) INTRA-codiert wurde. 3. The method according to any one of the preceding claims, characterized in that the start image (BSP) is determined on the basis of the used, decoded picture (D3), if the coding property determination determines that a fixed block number (AM) of picture blocks (MBI ) of this used, decoded image (D3) was INTRA coded.
4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Startbild (BSP) aufgrund des verwendeten, decodier- ten Bildes (D3) festgelegt wird, wenn die Codiereigenschafts- ermittelung ergibt, dass alle Bildblöcken (MBI) dieses ver¬ wendeten, decodierten Bildes (D3) INTRA-codiert wurden.4. Method according to one of the preceding claims, characterized in that the starting picture (BSP) is determined on the basis of the decoded picture (D3) used if the coding property determination shows that all the picture blocks (MBI) use this, decoded image (D3) were INTRA coded.
5. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass eine .Anzahl zu encodierender, aufeinanderfolgender Ori¬ ginalbilder (Ol, ..., ON) der Bildgruppe (GOP) in Abhängig¬ keit der ermittelten Codiereigenschaft (Kl) eingestellt wird.5. The method according to any one of the preceding claims, characterized in that a .Anzahl to be encoded, successive Ori¬ ginalbilder (Ol, ..., ON) of the image group (GOP) depending on the determined encoding property (Kl) is set.
6. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass in jeder Auflösungsebene (Rl, R2) mindestens ein Zwischenbild (Zl, Z2, Z3) erzeugt wird, die Zwischenbilder (Zl, Z2, Z3) und das Ausgangsbild (A3) der niedrigen Auflösungsebene (R2) komprimiert werden.6. The method according to any one of the preceding claims, characterized in that in each resolution level (Rl, R2) at least one intermediate image (Zl, Z2, Z3) is generated, the intermediate images (Zl, Z2, Z3) and the output image (A3) of low resolution level (R2).
7. Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass gemäß einer Wavelet—basierten Transformation komprimiert wird.7. The method according to claim 6, characterized in that is compressed in accordance with a wavelet-based transformation.
8. Bilddecodierverfahren, gekennzeichnet durch Schritte zum Decodieren mindestens eines gemäß dem Verfahren nach einem der vorhergehenden Ansprüche codierten Bildes, insbesondere eines Zwischenbildes (Zl, Z2, Z3) und/oder des Ausgangsbildes (A3) der niedrigen Auflösungsebene (R2) .8. An image decoding method, characterized by steps for decoding at least one image encoded according to the method of one of the preceding claims, in particular an intermediate image (Z1, Z2, Z3) and / or the output image (A3) of the low resolution level (R2).
9. Encodiervorrichtung (EV) zur Bildencodierung einer Folge von Originalbildern (Ol, ..-, ON) mit Mitteln zum Durchführen des Verfahrens nach einem der Ansprüche 1 bis 7. An encoding device (EV) for forming a sequence of original images (Ol, ..-, ON) with means for carrying out the method according to one of claims 1 to 7.
10. Decodiervorrichtung (DV) mit Mitteln zum Durchführen des Bilddecodierverfahrens nach Anspruch 8. 10. D ecodiervorrichtung (DV) with means for performing the B i ldd ecodierverfahrens according to claim 8.
EP05749102A 2004-06-29 2005-06-13 Scalable method for encoding a series of original images, and associated image encoding method, encoding device, and decoding device Withdrawn EP1762100A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102004031407A DE102004031407A1 (en) 2004-06-29 2004-06-29 A method of forming a sequence of original images, and associated image decoding method, encoding device and decoding device
PCT/EP2005/052712 WO2006000533A1 (en) 2004-06-29 2005-06-13 Scalable method for encoding a series of original images, and associated image encoding method, encoding device, and decoding device

Publications (1)

Publication Number Publication Date
EP1762100A1 true EP1762100A1 (en) 2007-03-14

Family

ID=34970362

Family Applications (1)

Application Number Title Priority Date Filing Date
EP05749102A Withdrawn EP1762100A1 (en) 2004-06-29 2005-06-13 Scalable method for encoding a series of original images, and associated image encoding method, encoding device, and decoding device

Country Status (5)

Country Link
US (1) US8131088B2 (en)
EP (1) EP1762100A1 (en)
CN (1) CN1993991B (en)
DE (1) DE102004031407A1 (en)
WO (1) WO2006000533A1 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102004061906A1 (en) 2004-12-22 2006-07-13 Siemens Ag Shape coding method, and associated image decoding method, encoding device and decoding device
US8934542B2 (en) * 2007-06-29 2015-01-13 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Scalable video coding supporting pixel value refinement scalability
CN116228897B (en) * 2023-03-10 2024-04-23 北京百度网讯科技有限公司 Image processing method, image processing model and training method

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6167083A (en) * 1997-04-04 2000-12-26 Avid Technology, Inc. Computer system and process for capture editing and playback of motion video compressed using interframe and intraframe techniques
WO2002001881A2 (en) * 2000-06-30 2002-01-03 Koninklijke Philips Electronics N.V. Encoding method for the compression of a video sequence
EP1338148A1 (en) * 2000-11-17 2003-08-27 Koninklijke Philips Electronics N.V. Video coding method using a block matching process
US7876820B2 (en) * 2001-09-04 2011-01-25 Imec Method and system for subband encoding and decoding of an overcomplete representation of the data structure
CN1620815A (en) * 2002-01-22 2005-05-25 皇家飞利浦电子股份有限公司 Drift-free video encoding and decoding method, and corresponding devices
KR20050042494A (en) 2002-09-11 2005-05-09 코닌클리케 필립스 일렉트로닉스 엔.브이. Video coding method and device

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See references of WO2006000533A1 *

Also Published As

Publication number Publication date
US8131088B2 (en) 2012-03-06
US20080199087A1 (en) 2008-08-21
WO2006000533A1 (en) 2006-01-05
CN1993991A (en) 2007-07-04
DE102004031407A1 (en) 2006-01-26
CN1993991B (en) 2010-09-08

Similar Documents

Publication Publication Date Title
DE69834902T2 (en) MOTION COMPENSATED PREDICTIVE PICTURE CODING AND DECODING
DE19506372B4 (en) Bi-directional motion estimation method and a device intended for it
EP1815690A1 (en) Transcoding method and device
DE19541457C1 (en) Method for coding a video data stream of a video sequence consisting of picture blocks
EP1782634A1 (en) Method and device for coding and decoding
WO2006015947A1 (en) Coding and decoding method and device
EP2521357A1 (en) Method and device for filtering of coded image partitions
EP1472888A1 (en) Context-sensitive encoding and decoding of a video data stream
EP1762100A1 (en) Scalable method for encoding a series of original images, and associated image encoding method, encoding device, and decoding device
EP1425920A2 (en) Method for producing video coding and programme-product
EP1829378B1 (en) Image encoding method and associated image decoding method, encoding device, and decoding device
DE10022520A1 (en) Method for spatially scalable moving image coding e.g. for audio visual and video objects, involves at least two steps of different local resolution
DE60310128T2 (en) METHOD FOR WAVELET BILDCODING AND CORRESPONDING DECODING METHOD
EP0336510B1 (en) Predictive still-image encoder
EP1285537B1 (en) Method and an arrangement for the coding and decoding of a series of images
WO1997002707A1 (en) Process for decoding and coding a compressed video data stream with reduced memory requirements
DE19944300C2 (en) Method, arrangement and computer program product for motion estimation when encoding an image object in an image
EP1913780B1 (en) Method for correcting a quantised data value and associated device
Schmitz et al. Kompressionsverfahren für video und audio
WO2001028252A1 (en) Progressive fault-tolerant encoding or decoding of a sequence of images
DE102004019339A1 (en) Prediction method and associated method for decoding a prediction method, associated encoding device and decoding device
WO1998021894A1 (en) Method of compressing moving image data and coding device for carrying out said method
EP1157557A1 (en) Method and arrangement for transforming an image area
WO2001063939A1 (en) Method and device for encoding a video signal and an audio signal, computer-readable storage medium and computer program element
DE102004030294A1 (en) Image encoding method for mobile terminal, involves sub dividing total quantity of reference image blocks in to two subsets of respective image blocks by statistic selection criterion, and discarding image blocks of one subset

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20061214

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LI LT LU MC NL PL PT RO SE SI SK TR

17Q First examination report despatched

Effective date: 20070521

DAX Request for extension of the european patent (deleted)
RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: SIEMENS AKTIENGESELLSCHAFT

RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: SIEMENS AKTIENGESELLSCHAFT

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20150106