EP1782634A1 - Method and device for coding and decoding - Google Patents

Method and device for coding and decoding

Info

Publication number
EP1782634A1
EP1782634A1 EP05764634A EP05764634A EP1782634A1 EP 1782634 A1 EP1782634 A1 EP 1782634A1 EP 05764634 A EP05764634 A EP 05764634A EP 05764634 A EP05764634 A EP 05764634A EP 1782634 A1 EP1782634 A1 EP 1782634A1
Authority
EP
European Patent Office
Prior art keywords
block structure
cif
block
4cif
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
EP05764634A
Other languages
German (de)
French (fr)
Inventor
Peter Amon
Andreas Hutter
Benoit Timmermann
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens AG
Original Assignee
Siemens AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens AG filed Critical Siemens AG
Publication of EP1782634A1 publication Critical patent/EP1782634A1/en
Ceased legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/36—Scalability techniques involving formatting the layers as a function of picture distortion after decoding, e.g. signal-to-noise [SNR] scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Definitions

  • the invention relates to a method for video coding according to the preamble of claim 1, a method for decoding according to the preamble of claim 22 and coders for video coding according to the preamble of claim 23 and a decoding device according to the preamble of claim 24th
  • Digital video data is usually compressed for storage or transmission in order to significantly reduce the enormous volume of data.
  • the compression takes place both by eliminating the signal redundancy contained in the video data and by eliminating the irrelevant signal parts which are imperceptible to the human eye.
  • This is generally achieved by a hybrid coding method in which the image to be coded is first predefined in time and the remaining prediction error is then transformed into the frequency domain, for example by a discrete cosine transform, quantized there and by a variable coding method Length code is encoded. The motion information and the quantized spectral coefficients are finally transmitted.
  • An essential task in the compression of video data is thus to obtain the most accurate possible prediction of the picture to be coded from the previously transmitted picture information.
  • the prediction of an image has hitherto been effected by initially dividing the image, for example, into regular sections, typically square blocks of size 8 ⁇ 8 or 16 ⁇ 16 pixels, and then prediction for each of these picture blocks from that already known in the receiver Image information is determined by motion compensation. (However, blocks of different size may also result.) Such an approach can be taken from FIG. Two basic cases of prediction can be distinguished:
  • - Uni-directional prediction The motion compensation takes place here exclusively on the basis of the previously transmitted image and leads to so-called "P-frames".
  • Bi-directional prediction The prediction of the image is done by superimposing two images, one of which is temporally forward and another follows in time and which leads to so-called "B-frames". It should be noted here that both reference pictures have already been transferred.
  • motion-compensated temporal filtering yields five directional modes in the method of MSRA [1], as can be seen in FIG.
  • MCTF-based scalable video coding is used to ensure good video quality for a very wide range of possible bit rates as well as temporal and spatial resolution levels.
  • the MCTF algorithms known today show unacceptable results for reduced bit rates, which is due to the fact that too little texture (block information) in relation to the information which relates to the motion information (block structures and motion vectors) a sequence of defined videos refer to exist. It therefore requires a scalable form of motion information in order to achieve an optimum relationship between texture and motion data at any bit rate and also resolution.
  • MSRA Microsoft Research Asia
  • the MSRA solution proposes to present movements in layers, or to dissolve them in successively refined structures.
  • the MSRA method thus achieves that the quality of images at low bit rates is generally improved.
  • Shifts in the reconstructed image lead, which are attributable to an offset between the movement information and the textures.
  • the object underlying the invention is to provide a method for coding and decoding, as well as an encoder and decoder, which enable better embedding of refined structures.
  • This object is achieved on the basis of the method of coding according to the preamble of claim 1 by its characterizing features nenden. Furthermore, this object is achieved by a method for decoding according to the preamble of An ⁇ claim 22, the encoder according to the preamble of claim 23 and the decoder according to the preamble of claim 24 by their features.
  • the coding is block-based such that for a description of any contained in the image sequence movement of parts of the images at least one movement descriptive Block structure er ⁇ is generated, which is designed such that it is divided starting from a block in sub-blocks partially with the sub-blocks successively finer sub-dividing sub-blocks, temporarily for at least a first resolution level a first block structure and for a second resolution level a second block structure r, wherein the first resolution level has a lower number of pixels and / or image quality than the second resolution level.
  • the second block structure is compared with the first block structure such that differences in the block structure are determined so that a modified second block structure is generated on the basis of properties of the structure differences such that their structure represents a subset of the second block structure. Subsequently, the modified second block structure and the second block structure are compared on the basis of at least one value proportional to a quality of the image and based on that block structure of the coding of the bit sequence whose value is directly proportional to a better quality.
  • the difference between texture information is minimized and, moreover, this information can be coded with minimal effort.
  • the offset disappears for the cases where, for example, the finest motion vector field has been selected, so that an improvement in image quality is ensured even at lower bit rates and lower resolutions.
  • the comparisons according to the invention ensure, above all, through the comparison, that a step-by-step adaptation and, above all, an optimal adaptation between a motion estimation and the embeddedness of residual-error images is achieved.
  • it is characterized by its special efficiency.
  • sub-blocks added to this difference detection are preferably detected, the properties of the sub-blocks being detected alternatively or additionally to the difference determinations.
  • the block size of the subblocks is detected as a subblock property, one obtains a very good indicator in practice of the degree of fineness of the block structures produced.
  • the differences of the texture information can be further reduced.
  • a definable threshold value preferably only those subblocks of the second block structure are taken over into the modified second block structure whose block size reaches a definable threshold value.
  • the threshold value is preferably defined such that it indicates a ratio of the block size of a sub-block of the second block structure to a block size contained in a region of the first block structure used for comparison, which block is assigned to the smallest sub-block of the area.
  • the acquired sub-blocks can be non-dyadic.
  • a further improvement of the results with respect to the representation of the decoded image can be achieved if the modified second block structure of the second resolution step is used as the first block structure of a third resolution step, wherein the second resolution step has a lower pixel count and / or image quality than the second resolution block third resolution level.
  • possible further block structures of higher resolution levels are used for generating the modified second block structure, in which the modified second block structure of the respectively preceding resolution stage is used for the comparison according to the invention.
  • the identification takes place by the use of a direction mode, which is referred to in particular as "not_refind".
  • a bit stream is generated during the encoding of the bit sequence in such a way that it represents a scalable texture, wherein this is preferably achieved in that the bit stream is realized by a number of bit planes and in particular at least depends on Comparison result is varied as well as by a to be realized for a transmission bit rate. This achieves adapted SNR scalability.
  • At least a first part of the bit planes representing the second block structure is updated. This ensures that the corresponding second modified block structure is available on the decoder side.
  • the update can be carried out, for example, such that the transmission of a second part takes place or alternatively that the first part is modified by a second part of bit planes.
  • the updating is preferably carried out in such a way that those regions of a texture associated with the second block structure are refined, which are defined by the modified second block structure, so that in the final result a good image quality is available even for different spatio-temporal resolutions or bit rates without being subject to drift, which arises due to an offset between motion vector fields and residual error blocks, which do not make use of the refinement of the block structures.
  • Additional support for the finer granularity is achieved if, at a high bit rate, a second number of bit planes exceeding the number is transmitted.
  • the object on which the invention is based is also achieved by the method for decoding a coded image sequence by taking into account the information contained in the image sequence according to a method, in particular the information described above for updating motion information, and a scalable one Texture representing bitstream is a scaled representation of the image sequence is generated.
  • the coder according to the invention which has means for carrying out the method, and a corresponding decoder, which has means for decoding a coded picture sequence generated according to the method, also contribute to achieving the object.
  • the decoder preferably has means for detecting scalable texturizing parts of the bit stream indicating first signals, and additionally means for detecting second signals indicating regions to be updated, wherein the signals are each designed in particular as syntax elements.
  • the decoder has means for determining those bit planes at which an update leads to improvements in a representation of the coded image sequence and alternatively or additionally has means for determining the bit plane at which the update of a texture is to take place to precisely reconstruct refined or scalable representation of the image sequence.
  • the decoder has means for updating a texture which are configured in such a way that consideration of updated motion information takes place, the elimination of the offset achieved by the inventive method for encoding can be ensured in the scalable representation of the image sequence generated on the decoder side.
  • the decoder is preferably characterized by updating means which are configured in such a way that an updated texture is formed from an existing texture in such a way that the updated texture information is formed from the texture information assigned to the texture and a texture update information, wherein the update are designed such that the Texturinforma ⁇ tion is at least partially replaced by the texture update information.
  • FIG. 1 shows the model of a motion estimation for generating scalable motion information
  • FIG. 2 shows the directional modes necessary for this
  • FIG. 3 shows the subblock sizes used here
  • FIG. 4 shows the schematic representation of block structures produced according to the invention
  • FIG. 5 shows schematically the decision according to the invention about updates
  • FIG. 6 schematically shows the generation according to the invention of an updated bistream
  • FIG. 1 schematically shows the MSRA solution known from the prior art, which is explained for a better understanding of the invention, since it is used at least in part in the described embodiment.
  • the mentioned multilayer motion estimation is performed in each temporary layer.
  • the motion estimation is realized with a fixed spatial resolution with different macroblock sizes, so that the resulting motion vector field adapts to the decoded resolution.
  • the motion estimation is performed at the resolution level of the CIF format or CIF resolution, respectively with a block size of 32 x 32 as a base and with a macroblock size of 8 x 8 as the smallest block size.
  • the decoded format is the CIF format
  • the size of the macroblocks is scaled down by a factor of 2, as can be seen from FIG.
  • the original motion vectors are transmitted in the lower branch of the processing shown there for the decoding of the block present in QCIF format, while for each higher layer, for example those for the decoding of the CIF block is used, only the difference information with respect to the motion vectors is used.
  • a single motion vector of a lower layer can be used to predict a plurality of vectors of the higher layer if the block is split up into smaller subblocks.
  • FIG. 3 shows that the block structures are coded according to the MSRA method according to the same method as described in FIG Standard MPEG-4 AVC (Advanced Video Coding) [2] is used.
  • the motion estimation which belongs to the higher resolutions, is regarded as enriching information (enhancement layer / information) on the basis of a detection of the coarse movement information. Since the result obtained by the coarse motion vector field If the residual error block contains a large amount of energy, only that residual error block is transmitted which is generated after the feinsth movement compensation. This leads, especially when the coarse motion information is selected, to very strong artifacts in the reconstructed residual error image, even when the bit rate is high.
  • FIG. 4 shows how temporary block structures generated according to the invention lead, using the method according to the invention, to block structures which are ultimately to be transmitted.
  • each of these block structures is in each case assigned to a resolution level, resolution level designating the format of the resolution with which a video signal encoded by the method according to the invention, which consists of image sequences, can be represented.
  • these are the Common Intermediate Format (CIF), the QCIF and the 4CIF format.
  • QCIF represents a first resolution stage, that is to say the lowest resolution stage for the resolution stage selected according to the invention, so that according to the invention a first block structure MV_QCIF is assigned to it, while CIF represents a second resolution stage, for the invention a second block structure MV_CIF is produced.
  • the block structures are generated in the context of a motion estimation algorithm, for example using the already mentioned MCTF and / or MSRA method. It can also be seen that the temporary block structures MV_QCIF, MV_CIF and MV_4CIF have successively refined sub-block structures, which are characterized by sub-blocks which are becoming increasingly finer, based on sub-blocks MB_QCIF, MV_CIF and MV_4CIF respectively defined for each temporary block structure MV_QCIF, MV_CIF and MV_4CIF added.
  • FIG. 4 also shows the block structures MV_QCIF, MV_CIF and MV_4CIF to be transmitted or, finally, transmitted, for example for a streaming application, which are generated from the temporary block structures MV_QCIF using the method according to the invention.
  • MV_CIF and MV 4CIF are generated by respectively comparing a block structure belonging to a high resolution stage with a block structure belonging to a next lower resolution stage and, as a result, generating a modified block structure belonging to the considered resolution stage which has subblock structures which only contains a subset of the temporal block structure belonging to the same resolution step, this not being a true subset, which would preclude the case that the subblock structure of the modified block structure with the subblock structure of the corresponding temporary block str but rather, since it is even the case that this special case can also occur according to the method according to the invention, it is merely a (simple) partial quantity known, for example, from mathematics.
  • the generation of a block structure belonging to the lowest resolution stage is started.
  • the modified block structure MV QCIF results directly from this first block structure MV_QCIF, since, of course, no comparison with a previous block structure can be made for this case.
  • the directly resulting modified block structure MV_QCIF therefore has the same subblock structure as the first block structure MV QCIF.
  • a second block structure MV_CIF is generated. It can be seen that additional subblocks have been added to the second block structure MV CIF, which lead to a finer subblock structure, as compared to the first block structure MV QCIF auf ⁇ has.
  • the sub-blocks or sub-block structures that have been added are shown in phantom in the figure.
  • a comparison is therefore carried out in a next step, in which the added sub-blocks are checked as to whether they have a block size that is more than four times smaller than the smallest one
  • Block size of the corresponding subarea of the first block structure is a block size of the corresponding subarea of the first block structure.
  • the corresponding subblock structure is included in a modified second block structure MV_CIF, whereas in cases where the subblock to be examined represents less refinement, the acquisition of the subblock structure in the modified second block structure to be transferred is dispensed with.
  • the first sub-block SB1 is located in a first sub-block MB1_CIF of the second block structure MV_CIF. Accordingly, according to the invention, the first sub-block MB1_QCIF corresponding to the first sub-block MB1_CIF of the second block structure MV CIF is examined, which is the smallest sub-block size occurring here. In the present example, this minimum block size is defined by a minimum first subblock MIN SB1. As can be seen, the size of the first sub-block corresponds to the size of the first minimum sub-block, so there is no refinement in this case. Accordingly, according to the invention, the subblock structure underlying the first subblock is not adopted in the second block structure MV_CIF to be transmitted, so that in the illustration according to FIG. 4 the second modified block structure MV_CIF lacks the dot-dash grid at the corresponding position.
  • a second sub-block SB2 is used for the comparison. Since the second sub-block SB2 is contained in a fourth sub-block MB4_CIF of the second block structure MV CIF, a search is made for a minimum sub-block size in a fourth sub-block MB4_QCIF of the first block structure MV QCIF. This is given by a second minimum sub-block MIN_SB2, which in this case exactly divides the fourth sub-block MB4 QCIF of the first block structure MV_QCIF.
  • the size of the second sub-block SB2 represents one-eighth of the size of the minimum second sub-block MIN_SB2, so that even an eightfold refinement is given compared to the first block structure MV_QCIF.
  • the subblock structure defining the second subblock is also adopted in the modified second block structure MV 'CIF.
  • the same happens for all those Blocks of the second block structure MV CIF can be seen in the illustration according to FIG. 4 on the dashed structures of the modified second block structure MV 'CIF.
  • a block structure MV 4CIF is also generated for the 4CIF format. According to the invention, this is again used as a second block structure, while the first block structure is given by the preceding second block structure MV_CIF.
  • the second modified block structure MV'_4CIF resulting from the comparison of the two block structures has again been refined in the representation of FIG. 4 only by a part of the added subblock structures, which are dotted in the illustration.
  • Modified second block structure can be used as a first block structure.
  • the data rates for the motion information for the various local resolution levels are set by a parameter, so that an optimum ratio of the data rate for motion information and texture information results at each resolution level.
  • the invention is not based on the exemplary embodiment explained with reference to FIG. 4, but encompasses all implementations which come within the scope of expert knowledge and which comprise the core according to the invention:
  • An essential advantage of the algorithm according to the invention is the improvement of the image quality even at low bit rates as well as at low resolutions.
  • FIG. 5 now shows which method steps are taken as a basis for the signaling explained above or also for the bitstream generation, as explained below.
  • the novel block mode proposed according to the invention shows whether a block structure for a currently considered motion vector field is to be used for the following movement. has to be split up. Because of these block modes, it is therefore possible to locate the regions in which a current residual error block which differs from a previous residual error block associated with a lower layer.
  • the blocks associated with these regions are then compared with the blocks located at the same positions within the preceding residual error block and the difference is encoded for this purpose.
  • bit stream is generated for this purpose before the transmission, so that all the information available on the encoder side can be used optimally.
  • a comparison is carried out in the sense of an evaluation in which it is determined whether a motion vector field (block structure) must be refined or not.
  • IT block-based transformation
  • the goal of this bitstream generation according to the invention is to achieve a good image quality for various spatial conditions. to ensure lent / temporal resolution levels or bit rates, without a drift, which can be caused by an offset zwi ⁇ rule a motion vector field and a residual error block. Schematically, therefore, the steps are shown with which this is achieved according to the invention.
  • the illustrated embodiment starts from an initialization state in which a specific number of motion vector fields with corresponding residual error blocks have been generated on the encoder side. For example, a first motion vector field MVF1 and a first refined motion vector field MVF1 'for a QCIF resolution, the first refined motion vector field MVF1' and (not shown) a second motion vector field for a CIF
  • Bite planes BTPL1 ... BTPLN + M which represent the residual error block. Furthermore, the number is limited by the decision explained in the introduction about a refinement of the blocks.
  • the number of bit planes is limited to a number N. If, according to the evaluation according to the invention, the decision is made that a refinement is required, the first motion vector field MVF1 is refined in such a way that the refined motion vector field MVF1 'is generated. In such a case it is therefore necessary that the first torfield MVFl is updated ("updated") in order to prevent an offset between the motion vector fields and the respective textures.
  • bit planes BTPL1... BTPLN have usually already been transmitted. Up to a certain limit value BTPLn, the bit planes which represent the non-refined residual error blocks (BTPL1-BTPLn) need not be modified. On reaching this limit BTPLn, on the other hand, the next following bit planes BTPLn... BTPLN are updated according to the exemplary embodiment.
  • bit plane which represents the last bit plane of the unrefined residual error blocks, BTPLn and extends to the bit plane, which is already transmitted BTPLN.
  • the update is carried out in such a way that the regions which belong to the refined parts REFINEMENT are updated in such a way that they coincide with the subsequent motion vector field, i. according to the illustrated embodiment, the first refined vector field MVFl 'match.
  • the number of bit planes BTPLN + 1 to BTPLN + M which exceeds the already transmitted bit plane number BTPLN can additionally be transmitted.
  • This concept is repeated for each spatial resolution and / or quality level and thereby enables finer granularity of a signal-to-noise scalability (SNR scalability).
  • SNR scalability signal-to-noise scalability
  • the SNR and spatial scalability should also be combined here, if e.g. it is erforder ⁇ Lich to decode a (video) bitstream at CIF resolution ren and this is done at lower bit rate, the first modified motion vector field MVFl 'from the QCIF resolution to the CIF resolution upscaled.
  • an inverse wavelet transformation or an interpolation is performed in order to achieve a higher spatial resolution of the texture TEXTUR1, TEXTURE '1.
  • the SNR scalability in CIF resolution is achieved by coding the bit planes of the difference between the original refined CIF residual error block and a QCIF bit plane refined by interpolated or inverse wavelet transforms. If the decision as to whether refinement is positive in the CIF resolution is followed by the same strategy as explained in the above-described method for QCIF. The same applies to a scaling from CIF to 4CIF.
  • the SNR scalability is generated by bitwise representation of the texture information according to the example described above, but is not limited thereto, as it may also be alternative scalable texture representations can be achieved.
  • the maximum number of bit planes that occur before refinement may differ for each spatial resolution.
  • more than one update can take place within a spatial resolution level if more than two layers of the motion information are used for this spatial resolution level.

Abstract

The invention relates to a method for video coding image sequences, wherein images of the image sequence are coded in a scaled manner such that the obtained video data contains information which represents the image in a plurality of different steps from a defined image resolution and/or image quality (e.g. according to the data rate), and the resolution is defined by the number of image pixels of each represented image. Coding takes place in a block-based manner such that, for a description of an approximate movement of parts of one of the images, contained in the image sequence, at least one block structure which describes the movement is produced, said structure being fitted in such a manner that it is divided from a block into partial blocks comprising, in parts, sub-blocks which divide in a fine manner the successive partial blocks. According to the invention, a first block structure is produced temporally for at least one first resolution level and a second block structure is produced for a second resolution level. The first resolution level has a lower image pixel number and/or image quality than the second resolution level. Also, the second block structure is compared to the first block structure such that differences in the block structure are determined, such that on the base of the properties of the structure differences, a modified second block structure is produced. The structure thereof represents one part of the second block structure. Subsequently, the modified block structure and the second block structure are compared based on at least one value which is proportional to the quality of the image and the block structure and the value thereof is directly proportional to an improved quality based on the coding of the bit sequence.

Description

VERFAHREN UND VORRICHTUNG ZUM CODIEREN UND DECODIEREN METHOD AND DEVICE FOR CODING AND DECODING
Die Erfindung betrifft ein Verfahren zur Videocodierung gemäß dem Oberbegriff des Anspruchs 1, ein Verfahren zur Decodie- rung gemäß dem Gattungsbegriff des Anspruchs 22 sowie Codie¬ rer zur Videocodierung gemäß dem Gattungsbegriff des An- spruchs 23 und eine Decodiervorrichtung gemäß dem Gattungs¬ begriff des Anspruchs 24.The invention relates to a method for video coding according to the preamble of claim 1, a method for decoding according to the preamble of claim 22 and coders for video coding according to the preamble of claim 23 and a decoding device according to the preamble of claim 24th
Digitale Videodaten werden für eine Speicherung oder Übertra¬ gung in der Regel komprimiert, um das enorme Datenvolumen signifikant zu reduzieren. Die Kompression erfolgt dabei so¬ wohl durch Elimination der in den Videodaten enthaltenen Sig¬ nalredundanz als auch durch Beseitigung der für das menschli¬ che Auge nicht wahrnehmbaren irrelevanten Signalteile. Dies wird in der Regel durch ein hybrides Codierverfahren er- reicht, bei dem das zu codierende Bild zunächst zeitlich prä- diziert und der verbleibende Prädiktionsfehler anschließend in den Frequenzbereich, zum Beispiel durch eine diskrete Co¬ sinustransformation, transformiert und dort quantisiert und durch einen variablen Längencode codiert wird. Die Bewegungs- information und die quantisierten Spektralkoeffizienten wer¬ den schließlich übertragen.Digital video data is usually compressed for storage or transmission in order to significantly reduce the enormous volume of data. The compression takes place both by eliminating the signal redundancy contained in the video data and by eliminating the irrelevant signal parts which are imperceptible to the human eye. This is generally achieved by a hybrid coding method in which the image to be coded is first predefined in time and the remaining prediction error is then transformed into the frequency domain, for example by a discrete cosine transform, quantized there and by a variable coding method Length code is encoded. The motion information and the quantized spectral coefficients are finally transmitted.
Je besser diese Vorhersage der nächsten zu übertragenden Bildinformation ist, desto kleiner ist der nach der Prädikti- on verbleibende Prädiktionsfehler und um so weniger Datenrate muss anschließend für die Codierung dieses Fehlers aufgewen¬ det werden. Eine wesentliche Aufgabe bei der Kompression von Videodaten besteht also darin, eine möglichst exakte Prädik¬ tion des zu codierenden Bildes aus der bereits zuvor übertra- genden Bildinformation zu gewinnen. Die Prädiktion eines Bildes wird bisher dadurch bewirkt, dass das Bild zunächst zum Beispiel in regelmäßige Teilstücke, ty¬ pischerweise quadratische Blöcke der Größe 8x8 oder 16x16 Bildpunkte, eingeteilt wird, und für jeden dieser Bildblöcke anschließend eine Prädiktion aus der bereits im Empfänger be¬ kannten Bildinformation durch Bewegungskompensation ermittelt wird. (Es können sich allerdings auch Blöcke mit unterschied¬ licher Größe ergeben.) Derartige Vorgehensweise lässt sich der Figur 1 entnehmen. Es können hierbei zwei grundsätzliche Fälle der Prädiktion unterschieden werden:The better this prediction of the next image information to be transmitted is, the smaller the prediction error remaining after the prediction and the less data rate must subsequently be used for the coding of this error. An essential task in the compression of video data is thus to obtain the most accurate possible prediction of the picture to be coded from the previously transmitted picture information. The prediction of an image has hitherto been effected by initially dividing the image, for example, into regular sections, typically square blocks of size 8 × 8 or 16 × 16 pixels, and then prediction for each of these picture blocks from that already known in the receiver Image information is determined by motion compensation. (However, blocks of different size may also result.) Such an approach can be taken from FIG. Two basic cases of prediction can be distinguished:
- Uni-direktionale Prädiktion: Die Bewegungskompensation erfolgt hier ausschließlich auf der Basis des zuvor ü- bertragenden Bildes und führt zu sogenannten "P-Frames". - Bi-direktionale Prädiktion: Die Prädiktion des Bildes erfolgt durch Überlagerung von zwei Bildern, von denen eines zeitlich voran liegt und ein weiteres zeitlich nachfolgt und das zu sogenannten "B-Frames" führt. Zu beachten ist hierbei, dass beide Referenzbilder bereits übertragen worden sind.- Uni-directional prediction: The motion compensation takes place here exclusively on the basis of the previously transmitted image and leads to so-called "P-frames". - Bi-directional prediction: The prediction of the image is done by superimposing two images, one of which is temporally forward and another follows in time and which leads to so-called "B-frames". It should be noted here that both reference pictures have already been transferred.
Entsprechend dieser beiden möglichen Fälle der Prädiktion er¬ geben sich bei bewegungskompensierten zeitliche Filterungen („Motion Compensated Temporal Filtering", MTCF) fünf Rich- tungsmodi im Verfahren von MSRA [1] wie sie in Figur 2 zu entnehmen ist.Corresponding to these two possible cases of prediction, motion-compensated temporal filtering (MTCF) yields five directional modes in the method of MSRA [1], as can be seen in FIG.
MCTF-basierte skalierbaren Videocodierung wird eingesetzt, um eine gute Videoqualität für einen sehr großen Bereich mögli- eher Bitraten und auch zeitlichen und örtlichen Auflösungs¬ stufen zu gewährleisten. Die heute bekannten MCTF-Algorithmen zeigen dabei aber unakzeptable Ergebnisse für reduzierte Bit¬ raten, was darauf zurückzuführen ist, dass zu wenig Textur (Blockinformationen) im Verhältnis zu den Informationen, wel- che auf die Bewegungsinformationen (Blockstrukturen und Bewe¬ gungsvektoren) eines durch eine Bildfolge definierten Videos Bezug nehmen, vorhanden sind. Es bedarf daher einer skalierbaren Form der Bewegungsinforma¬ tion, um ein optimales Verhältnis zwischen Textur und Bewe¬ gungsdaten bei jedweder Bitrate und auch Auflösung zu erzie- len. Hierzu ist aus [1] eine Lösung von MSRA (Microsoft Re¬ search Asia) bekannt, welche den aktuellen Stand der MCTF- Algorithmen darstellt.MCTF-based scalable video coding is used to ensure good video quality for a very wide range of possible bit rates as well as temporal and spatial resolution levels. However, the MCTF algorithms known today show unacceptable results for reduced bit rates, which is due to the fact that too little texture (block information) in relation to the information which relates to the motion information (block structures and motion vectors) a sequence of defined videos refer to exist. It therefore requires a scalable form of motion information in order to achieve an optimum relationship between texture and motion data at any bit rate and also resolution. For this purpose, [1] a solution of MSRA (Microsoft Research Asia) is known, which represents the current state of the MCTF algorithms.
Dabei schlägt die MSRA-Lösung vor, Bewegungen schichtenweise darzustellen, respektive sie in sich sukzessive verfeinerten Strukturen aufzulösen. Das MSRA-Verfahren erzielt damit, dass die Qualität von Bildern bei niedrigen Bitraten im Allgemei¬ nen verbessert wird.The MSRA solution proposes to present movements in layers, or to dissolve them in successively refined structures. The MSRA method thus achieves that the quality of images at low bit rates is generally improved.
Diese Lösung hat jedoch den Nachteil, dass sie zu einigenHowever, this solution has the disadvantage that they come to some
Verschiebungen im rekonstruierten Bild führen, welche auf ei¬ nen Versatz zwischen den Bewegungsinformationen und der Tex¬ tur zurückzuführen sind.Shifts in the reconstructed image lead, which are attributable to an offset between the movement information and the textures.
Eine Verbesserung hierzu ist aus der deutschenAn improvement to this is from the German
Patentanmeldung mit dem Aktenzeichen 10 2004 038 110.0 be¬ kannt.Patent application with the file number 10 2004 038 110.0 be¬ known.
Bei dem dort beschriebenen Verfahren, welches insbesondere ein gemäß MSRA erzeugtes komplettes Bewegungsvektorfeld (Tem¬ poräre Blockstrukturen MV_QCIF, MV_CIF und MV_4CIF) , das en- coderseitig definiert wird, eben nicht komplett überträgt, sondern vielmehr lediglich den signifikantesten Teil dieses Bewegungsvektorfelds. Die Erzeugung des signifikantesten Teils wird dabei durch eine Art Verfeinerung der Blockstruk¬ turen erwirkt, die dadurch erreicht wird, dass auf Grund von Struktureigenschaften nur Teile der Strukturunterschiede zwi¬ schen aufeinander folgenden Blockstrukturen ermittelt und zur Erzeugung von verfeinerten Blockstrukturen verwendet werden.In the method described there, which in particular does not completely transmit a complete motion vector field generated according to MSRA (temporal block structures MV_QCIF, MV_CIF and MV_4CIF), which is defined on the encoder side, but rather only the most significant part of this motion vector field. The generation of the most significant part is achieved by a kind of refinement of the block structures, which is achieved by virtue of structural properties only determining parts of the structural differences between successive block structures and using them to produce more refined block structures.
Problematisch ist hierbei, dass nicht jede durch verfeinerte Blockstruktur und zugehöriger Textur erreichte visuelle Qua- lität gegenüber einer durch eine entsprechende Grundstruktur und zugehöriger Textur erreichbaren visuellen Qualität eine Steigerung bedeutet.The problem here is that not every visual quadrant achieved by a refined block structure and associated texture an increase in quality compared to a visual quality that can be achieved by means of a corresponding basic structure and associated texture.
Die der Erfindung zugrunde liegende Aufgabe ist es ein Ver¬ fahren zum Codieren und Decodieren, sowie einen Codierer und Decoder anzugeben, welche eine bessere Einbettung verfeiner¬ ter Strukturen ermöglichen.The object underlying the invention is to provide a method for coding and decoding, as well as an encoder and decoder, which enable better embedding of refined structures.
Diese Aufgabe wird ausgehend von dem Verfahren zur Codierung gemäß dem Oberbegriff des Anspruchs 1 durch dessen kennzeich¬ nende Merkmale gelöst. Ferner wird diese Aufgabe durch ein Verfahren zur Decodierung gemäß dem Gattungsbegriff des An¬ spruchs 22, dem Codierer gemäß dem Gattungsbegriff des An- spruchs 23 sowie dem Decodierer gemäß dem Gattungsbegriff des Anspruchs 24 durch deren Merkmale gelöst.This object is achieved on the basis of the method of coding according to the preamble of claim 1 by its characterizing features nenden. Furthermore, this object is achieved by a method for decoding according to the preamble of An¬ claim 22, the encoder according to the preamble of claim 23 and the decoder according to the preamble of claim 24 by their features.
Bei dem erfindungsgemäßen Verfahren zur Videocodierung von Bildfolgen, bei dem Bilder der Bildfolge derart skaliert co- diert werden, dass die sich ergebenden Videodaten Informatio¬ nen enthalten, die eine Darstellung der Bilder in einer Viel¬ zahl sich unterscheidender Stufen von einer durch die Anzahl von Bildpunkten je Bilddarstellung definierten Auflösung der Bilder und/oder Bildqualitäten (z.B. abhängig von der Daten- rate) gewährleisten, wobei die Codierung derart blockbasiert erfolgt, dass für eine Beschreibung einer etwaigen in der Bildfolge enthaltenen Bewegung von Teilen eines der Bilder zumindest eine die Bewegung beschreibende Blockstruktur er¬ zeugt wird, die derart ausgestaltet ist, dass sie ausgehend von einem Block in Teilblöcke zum Teil mit die Teilblöcke sukzessive feiner unterteilenden Subblöcken unterteilt wird, wird temporär für zumindest eine erste Auflösungsstufe eine erste Blockstruktur und für eine zweite Auflösungsstufe eine zweite Blockstruktur erzeugt, wobei die erste Auflösungsstufe eine niedrigere Bildpunktanzahl und/oder Bildqualität auf¬ weist als die zweite Auflösungsstufe. Ferner wird die zweite Blockstruktur mit der ersten Blockstruktur derart verglichen, dass Unterschiede in der Blockstruktur ermittelt werden, so dass auf Grundlage von Eigenschaften der Strukturunterschiede eine modifizierte zweite Blockstruktur derart erzeugt wird, dass deren Struktur eine Teilmenge der zweiten Blockstruktur darstellt. Anschließend werden die modifizierte zweite Block¬ struktur und zweite Blockstruktur anhand zumindest eines zu einer Qualität des Bildes proportionalen Wertes verglichen und diejenige Blockstruktur der Codierung der Bitfolge zugrunde gelegt, dessen Wert direkt proportional zu einer besseren Qualität ist.In the method according to the invention for video coding of image sequences, in which images of the image sequence are scaled in such a way that the resulting video data contains information representing a representation of the images in a plurality of different levels from one by the number of Image points per image representation defined resolution of the images and / or image qualities (eg depending on the data rate) ensure, the coding is block-based such that for a description of any contained in the image sequence movement of parts of the images at least one movement descriptive Block structure er¬ is generated, which is designed such that it is divided starting from a block in sub-blocks partially with the sub-blocks successively finer sub-dividing sub-blocks, temporarily for at least a first resolution level a first block structure and for a second resolution level a second block structure r, wherein the first resolution level has a lower number of pixels and / or image quality than the second resolution level. Furthermore, the second block structure is compared with the first block structure such that differences in the block structure are determined so that a modified second block structure is generated on the basis of properties of the structure differences such that their structure represents a subset of the second block structure. Subsequently, the modified second block structure and the second block structure are compared on the basis of at least one value proportional to a quality of the image and based on that block structure of the coding of the bit sequence whose value is directly proportional to a better quality.
Durch diese Verfahrensweise wird der Unterschied zwischen Texturinformationen minimiert und zudem lassen sich diese In¬ formationen mit minimalem Aufwand codieren. Zudem verschwin- det der Versatz für die Fälle, wo beispielsweise das feinste Bewegungsvektorfeld gewählt worden ist, so dass eine Verbes¬ serung der Bildqualität auch bei niedrigeren Bitraten sowie niedrigeren Auflösungen gewährleistet ist.By this procedure, the difference between texture information is minimized and, moreover, this information can be coded with minimal effort. In addition, the offset disappears for the cases where, for example, the finest motion vector field has been selected, so that an improvement in image quality is ensured even at lower bit rates and lower resolutions.
Durch das erfindungsgemäße Vergleichen wird des Weiteren vor allem durch den Vergleich gewährleistet, dass eine schritt¬ weise sich immer besser anpassende und vor allem eine optima¬ le Anpassung zwischen einer Bewegungsschätzung und der Einge¬ bettetheit von Restfehlerbildern erreicht wird. Zudem zeich- net es sich durch besondere Effizienz aus.Furthermore, the comparisons according to the invention ensure, above all, through the comparison, that a step-by-step adaptation and, above all, an optimal adaptation between a motion estimation and the embeddedness of residual-error images is achieved. In addition, it is characterized by its special efficiency.
Vorzugsweise werden hierzu zur Unterschiedsermittlung hinzu¬ gekommene Subblöcke erfasst, wobei zu den Unterschiedsermitt¬ lungen alternativ bzw. ergänzend die Eigenschaften der Sub- blocke erfasst werden.For this purpose, sub-blocks added to this difference detection are preferably detected, the properties of the sub-blocks being detected alternatively or additionally to the difference determinations.
Wird als Subblockeigenschaft die Blockgröße der Subblöcke er¬ fasst, erhält man einen in praxi sehr guten Indikator für den Grad der Feinheit der erzeugten Blockstrukturen.If the block size of the subblocks is detected as a subblock property, one obtains a very good indicator in practice of the degree of fineness of the block structures produced.
Wird für die Unterschiedsermittlung nur derjenige Teilblock der ersten Blockstruktur herangezogen, der dem Teilblock der zweiten Blockstruktur entspricht, können die Differenzen der Texturinformationen noch weiter reduziert werden.If only the partial block of the first block structure is used for the difference determination, the partial block of the second block structure, the differences of the texture information can be further reduced.
Hierbei werden vorzugsweise nur diejenigen Subblöcke der zweiten Blockstruktur in die modifizierte zweite Blockstruk¬ tur übernommen, deren Blockgröße einen definierbaren Schwell¬ wert erreichen. Hierdurch wird erreicht, dass nicht eine kom¬ plette Blockstruktur, d.h. ein komplettes Bewegungsvektorfeld übertragen werden muss, sondern lediglich der signifikanteste Teil der Struktur. Dies führt zum einen zu einer Reduzierung der zu übertragenen Information und zudem trotz dieser Reduk¬ tion zu einer Eliminierung bzw. Reduktion des Versatzes, so dass Artefakte im encodierten Bild reduziert bzw. eliminiert werden. In praxi ist dabei der Einsatz eines definierbaren Schwellwertes von besonders großem Vorteil, da beispielsweise durch Simulation oder Experimentalversuche ermittelte optima¬ le Werte hier eingestellt werden können, von denen aufgrund der Ergebnisse der Simulation bzw. Experimente sehr gute Er¬ gebnisse zu erwarten sind.In this case, preferably only those subblocks of the second block structure are taken over into the modified second block structure whose block size reaches a definable threshold value. This ensures that not a complete block structure, i. a complete motion vector field has to be transmitted, but only the most significant part of the structure. This leads firstly to a reduction of the information to be transmitted and, in spite of this reduction, to an elimination or reduction of the offset, so that artifacts in the encoded image are reduced or eliminated. In practice, the use of a definable threshold value is of great advantage since, for example, optimal values determined by simulation or experimental tests can be set here, of which very good results can be expected on the basis of the results of the simulation or experiments.
Bevorzugt wird dabei der Schwellwert derart definiert, dass er ein Verhältnis der Blockgröße eines Subblocks der zweiten Blockstruktur zu einer in einem zum Vergleich herangezogenen Bereich der ersten Blockstruktur enthaltenen Blockgröße an- gibt, welche dem kleinsten Subblock des Bereiches zugeordnet ist.In this case, the threshold value is preferably defined such that it indicates a ratio of the block size of a sub-block of the second block structure to a block size contained in a region of the first block structure used for comparison, which block is assigned to the smallest sub-block of the area.
Des Weiteren wird bei einer Weiterbildung vorgesehen, zu kennzeichnen, dass die übernommenen Subblöcke nicht-dyadisch sein können.Furthermore, it is provided in a development to indicate that the acquired sub-blocks can be non-dyadic.
Eine weitere Verbesserung der Ergebnisse hinsichtlich der Darstellung des decodierten Bildes lässt sich erreichen, wenn als erste Blockstruktur einer dritten Auflösungsstufe die mo- difizierte zweite Blockstruktur der zweiten Auflösungsstufe verwendet wird, wobei die zweite Auflösungsstufe eine niedri¬ gere Bildpunktanzahl und/oder Bildqualität aufweist als die dritte Auflösungsstufe. Hiermit werden also mögliche weitere Blockstrukturen höherer Auflösungsstufen zur Erzeugung der modifizierten zweiten Blockstruktur herangezogen, bei denen die modifizierte zweite Blockstruktur der jeweils vorherge- henden Auflösungsstufe zum erfindungsgemäßen Vergleich ver¬ wendet wird.A further improvement of the results with respect to the representation of the decoded image can be achieved if the modified second block structure of the second resolution step is used as the first block structure of a third resolution step, wherein the second resolution step has a lower pixel count and / or image quality than the second resolution block third resolution level. Thus, possible further block structures of higher resolution levels are used for generating the modified second block structure, in which the modified second block structure of the respectively preceding resolution stage is used for the comparison according to the invention.
Für eine Decodierung von Vorteil ist es auch, dass die Codie¬ rung derart erfolgt, dass in die zweite modifizierte Block- struktur nicht übernommene Subblöcke jeweils gekennzeichnet werden.It is also advantageous for a decoding that the coding takes place in such a way that subblocks not taken over into the second modified block structure are respectively identified.
Hierzu ist es vorzugsweise vorgesehen, dass die Kennzeichnung durch die Verwendung eines insbesondere als ,,not_refind" be- zeichneten Richtungsmodus erfolgt.For this purpose, it is preferably provided that the identification takes place by the use of a direction mode, which is referred to in particular as "not_refind".
Bei einer Weiterbildung der Erfindung wird im Rahmen der Co¬ dierung der Bitfolge ein Bitstrom derart erzeugt, dass er ei¬ ne skalierbare Textur repräsentiert, wobei dies vorzugsweise dadurch erfolgt, dass der Bitstrom durch eine Anzahl von Bit¬ ebenen realisiert sowie insbesondere zumindest abhängig vom Vergleichsergebnis sowie von einer für eine Übertragung zu realisierenden Bitrate variiert wird. Hierdurch wird eine an- gepasste SNR Skalierbarkeit erreicht.In a further development of the invention, a bit stream is generated during the encoding of the bit sequence in such a way that it represents a scalable texture, wherein this is preferably achieved in that the bit stream is realized by a number of bit planes and in particular at least depends on Comparison result is varied as well as by a to be realized for a transmission bit rate. This achieves adapted SNR scalability.
Wird zudem noch die Anzahl der Bitebenen in Abhängigkeit der Auflösungsstufe variiert, wird eine feine Granularität der SNR Skalierbarkeit gewährleistet.In addition, if the number of bit planes is varied depending on the resolution level, a fine granularity of the SNR scalability is ensured.
Vorteilhaft ist es dabei auch, wenn im Fall der direkten Pro¬ portionalität des Wertes der modifizierten zweiten Block¬ struktur zumindest ein erster Teil der die zweite Blockstruk¬ tur repräsentierenden Bitebenen aktualisiert wird. Hierdurch wird erreicht, dass decoderseitig die entsprechende zweite modifizierte Blockstruktur zur Verfügung steht. Dabei kann die Aktualisierung beispielsweise derart erfolgen, dass die Übertragung eines zweiten Teils erfolgt oder alter¬ nativ, dass der erste Teil durch einen zweiten Teil von Bit- ebenen modifiziert wird.It is also advantageous if, in the case of direct proportionality of the value of the modified second block structure, at least a first part of the bit planes representing the second block structure is updated. This ensures that the corresponding second modified block structure is available on the decoder side. In this case, the update can be carried out, for example, such that the transmission of a second part takes place or alternatively that the first part is modified by a second part of bit planes.
Vorzugsweise erfolgt die Aktualisierung dabei derart, dass diejenigen Regionen einer der zweiten Blockstruktur zugeord¬ neten Textur verfeinert werden, die durch die modifizierte zweite Blockstruktur definiert sind, so dass hierdurch im Endergebnis eine gute Bildqualität selbst für verschiedene örtlich-zeitliche Auflösungen bzw. Bitraten zur Verfügung steht, ohne dabei einer Drift zu unterliegen, welche durch einen Versatz zwischen Bewegungsvektorfeldern und Restfehler- blocken, welche die Verfeinerung der Blockstrukturen nicht nutzen, entsteht.The updating is preferably carried out in such a way that those regions of a texture associated with the second block structure are refined, which are defined by the modified second block structure, so that in the final result a good image quality is available even for different spatio-temporal resolutions or bit rates without being subject to drift, which arises due to an offset between motion vector fields and residual error blocks, which do not make use of the refinement of the block structures.
Eine zusätzliche Stützung der feineren Granularität wird er¬ reicht, wenn bei einer hohen Bitrate eine über die Anzahl hinausgehende zweite Anzahl von Bitebenen übertragen wird.Additional support for the finer granularity is achieved if, at a high bit rate, a second number of bit planes exceeding the number is transmitted.
Die der Erfindung zugrunde liegende Aufgabe wird auch durch das Verfahren zum Decodieren einer codierten Bildfolge da¬ durch gelöst, dass unter Berücksichtigung der in der Bildfol- ge enthaltenen nach einem Verfahren, insbesondere dem oben beschriebenen, zum Aktualisieren von Bewegungsinformationen erzeugten Informationen sowie einem eine skalierbare Textur repräsentierenden Bitstrom eine skalierte Darstellung der Bildfolge erzeugt wird.The object on which the invention is based is also achieved by the method for decoding a coded image sequence by taking into account the information contained in the image sequence according to a method, in particular the information described above for updating motion information, and a scalable one Texture representing bitstream is a scaled representation of the image sequence is generated.
Einen Beitrag zur Lösung der Aufgabe leisten auch der erfin¬ dungsgemäße Codierer, welcher Mittel zur Durchführung des Verfahrens aufweist sowie ein entsprechender Decodierer, wel¬ cher Mittel zum Decodieren einer nach dem Verfahren erzeugten codierten Bildfolge aufweist. Vorzugsweise weist der Decodierer hierzu Mittel zum Detektie- ren skalierbare Texturen repräsentierenden Teilen des Bit¬ stroms anzeigender erster Signale sowie ergänzend Mittel zum Detektieren zu aktualisierende Regionen anzeigender zweiter Signale, wobei die Signale jeweils insbesondere als Syntax¬ elemente ausgestaltet sind. Hierdurch werden die durch das erfindungsgemäße Verfahren erzielten Verbesserungen in der Qualität der Darstellung decoderseitig durchführbar.The coder according to the invention, which has means for carrying out the method, and a corresponding decoder, which has means for decoding a coded picture sequence generated according to the method, also contribute to achieving the object. For this purpose, the decoder preferably has means for detecting scalable texturizing parts of the bit stream indicating first signals, and additionally means for detecting second signals indicating regions to be updated, wherein the signals are each designed in particular as syntax elements. As a result, the improvements in the quality of the representation achieved by the method according to the invention can be carried out on the decoder side.
Wenn der Decoder über Mittel zur Bestimmung derjeniger Bit¬ ebenen, bei der eine Aktualisierung zu Verbesserungen einer Darstellung der codierten Bildfolge führt und alternativ oder ergänzend über Mittel zur Bestimmung derjenigen Bitebene ver- fügt, bei der die Aktualisierung einer Textur erfolgen soll, lässt sich die verfeinerte bzw. skalierbare Darstellung der Bildfolge exakt rekonstruieren.If the decoder has means for determining those bit planes at which an update leads to improvements in a representation of the coded image sequence and alternatively or additionally has means for determining the bit plane at which the update of a texture is to take place to precisely reconstruct refined or scalable representation of the image sequence.
Weist der Decoder Mittel zur Aktualisierung einer Textur auf, die derart ausgestaltet sind, dass eine Berücksichtigung ei¬ ner aktualisierten Bewegungsinformation erfolgt, lässt sich die durch das erfindungsgemäße Verfahren zum Codieren erziel¬ te Eliminierung des Versatzes bei der decoderseitig erzeugten skalierbaren Darstellung der Bildfolge gewährleisten.If the decoder has means for updating a texture which are configured in such a way that consideration of updated motion information takes place, the elimination of the offset achieved by the inventive method for encoding can be ensured in the scalable representation of the image sequence generated on the decoder side.
Dabei ist Decoder vorzugsweise durch Aktualisierungsmittel gekennzeichnet, die derart ausgestaltet sind, dass aus einer vorhandenen Textur eine aktualisierte Textur derart gebildet wird, dass aus der zu der Textur zugeordneten Texturinforma- tion und einer Texturaktualisierungsinformation die aktuali¬ sierte Texturinformation gebildet wird, wobei die Aktualisie¬ rungsmittel derart ausgestaltet sind, dass die Texturinforma¬ tion zumindest teilweise durch die Texturaktualisierungsin¬ formation ersetzt wird. Weitere Einzelheiten der Erfindungen sowie Vorteile werden anhand der Figuren 1 bis 7 mit Bezug auf ein Ausführungsbei¬ spiel der Erfindung erläutert. Dabei zeigt:In this case, the decoder is preferably characterized by updating means which are configured in such a way that an updated texture is formed from an existing texture in such a way that the updated texture information is formed from the texture information assigned to the texture and a texture update information, wherein the update are designed such that the Texturinforma¬ tion is at least partially replaced by the texture update information. Further details of the invention and advantages will be explained with reference to an Ausführungsbei¬ game of the invention with reference to Figures 1 to 7. Showing:
Figur 1 das Modell einer Bewegungsschätzung zum Generieren skalierbarer Bewegungsinformation,FIG. 1 shows the model of a motion estimation for generating scalable motion information,
Figur 2 die hierzu notwendigen Richtungsmodi,FIG. 2 shows the directional modes necessary for this,
Figur 3 die hierbei zur Anwendung kommenden Subblockgrößen,FIG. 3 shows the subblock sizes used here,
Figur 4 die schematische Darstellung erfindungsgemäß erzeug¬ ter Blockstrukturen,FIG. 4 shows the schematic representation of block structures produced according to the invention,
Figur 5 schematisch die erfindungsgemäße Entscheidung über AktualisierungenFigure 5 shows schematically the decision according to the invention about updates
Figur 6 schematisch die erfindungsgemäße Erzeugung eines Ak¬ tualisierten BistromsFIG. 6 schematically shows the generation according to the invention of an updated bistream
In Figur 1 ist schematisch die aus dem Stand der Technik be¬ kannte MSRA-Lösung dargestellt, die zum besseren Verständnis der Erfindung erläutert wird, da sie bei dem beschriebenen Ausführungsbeispiel zumindest in Teilen zum Einsatz kommt.FIG. 1 schematically shows the MSRA solution known from the prior art, which is explained for a better understanding of the invention, since it is used at least in part in the described embodiment.
Gemäß MSRA wird die angesprochene Multilayer-Bewegungsschät- zung in jeder temporären Schicht (Layer) durchgeführt. Die Bewegungsschätzung ist dabei bei einer festen räumlichen Auf¬ lösung mit verschiedenen Makroblockgrößen realisiert, damit das sich ergebende Bewegungsvektorfeld an die decodierte Auf¬ lösung adaptiert. Beispielsweise wird, wenn es sich bei der originalen Auflösungsstufe um ein CIF-codiertes Format han¬ delt und die decodierte Auflösungsstufe als QCIF-Format er¬ folgt, die Bewegungsschätzung auf der Auflösungsebene des CIF-Formats bzw. der CIF-Auflösung durchgeführt, wobei dies mit einer Blockgröße von 32 x 32 als Basis und mit einer Mak¬ roblockgröße von 8 x 8 als kleinste Blockgröße erfolgt. Wenn es sich dagegen bei dem decodierten Format um das CIF-Format handelt, wird die Größe der Makroblöcke um den Faktor 2 her¬ unter skaliert, wie es aus der Figur 1 zu entnehmen ist.According to MSRA, the mentioned multilayer motion estimation is performed in each temporary layer. The motion estimation is realized with a fixed spatial resolution with different macroblock sizes, so that the resulting motion vector field adapts to the decoded resolution. For example, if the original resolution level is a CIF-encoded format and the decoded resolution level is a QCIF format, the motion estimation is performed at the resolution level of the CIF format or CIF resolution, respectively with a block size of 32 x 32 as a base and with a macroblock size of 8 x 8 as the smallest block size. If on the other hand, if the decoded format is the CIF format, the size of the macroblocks is scaled down by a factor of 2, as can be seen from FIG.
Wie des Weiteren in Figur 1 zu erkennen ist, werden im unte¬ ren Zweig der dort dargestellten Verarbeitung für das Deco¬ dieren des im QCIF-Format vorhandenen Blocks die ursprüngli¬ chen Bewegungsvektoren übertragen, während für jede höhere Schicht, beispielsweise jene, die für das Decodieren des CIF- Blocks dient, lediglich die Differenzinformation bezüglich der Bewegungsvektoren verwendet wird. Dabei kann ein einzel¬ ner Bewegungsvektor einer niedrigeren Schicht zur Prädiktion mehreren Vektoren der höheren Schicht dienen, wenn der Block in kleinere Teilblöcke aufgesplittet wird.As can furthermore be seen in FIG. 1, the original motion vectors are transmitted in the lower branch of the processing shown there for the decoding of the block present in QCIF format, while for each higher layer, for example those for the decoding of the CIF block is used, only the difference information with respect to the motion vectors is used. In this case, a single motion vector of a lower layer can be used to predict a plurality of vectors of the higher layer if the block is split up into smaller subblocks.
Unterschiedliche Modi weisen dabei auf die Richtung der Bewe¬ gungskompensation hin, wie dies bereits angesprochen und in Figur 2 dargestellt ist, während aus Figur 3 zu erkennen ist, dass die Blockstrukturen gemäß dem MSRA-Verfahren nach der gleichen Methode codiert werden, wie sie im Standard MPEG-4 AVC (Advanced Video Coding) [2] verwendet wird.Different modes indicate the direction of the motion compensation, as already mentioned and illustrated in FIG. 2, while FIG. 3 shows that the block structures are coded according to the MSRA method according to the same method as described in FIG Standard MPEG-4 AVC (Advanced Video Coding) [2] is used.
Um eine die Blockstruktur und die Richtung der Bewegungskom¬ pensation auszuwählen, welche encodiert werden sollen, ist gemäß MSRA-Ansatz vorgesehen, eine sogenannte Kostenfunktion zu nutzen, die für diese Funktion definiert worden ist und welche unter dem Begriff „Rate Distortion Optimisation" be¬ kannt ist.In order to select one of the block structure and the direction of the motion compensation which are to be encoded, it is provided according to the MSRA approach to use a so-called cost function, which has been defined for this function and which is termed "rate distortion optimization" is known.
In der Multilayer-Darstellung der Bewegung gemäß MSRA werden verschiedene Bewegungsdeskriptionen, welche an verschiedene örtliche Auflösungen angepasst sind, für die gleiche temporä¬ re Schicht (Frame Rate) generiert. Dabei wird die Bewegungs¬ schätzung, welche zu den höheren Auflösungen gehört, als be- reichernde Information (enhancement layer/information) be¬ trachtet, auf Grundlage einer Detektion der groben Bewegungs¬ information. Da der durch das grobe Bewegungsvektorfeld er- zeugte Restfehlerblock sehr viel Energie enthält, wird nur derjenige Restfehlerblock übertragen, welcher nach der feins¬ ten Bewegungskompensation erzeugt wird. Dies führt, vor allem wenn die grobe Bewegungsinformation gewählt wird, zu sehr starken Artefakten in dem rekonstruierten Restfehlerbild, wo¬ bei dies sogar selbst bei hoher Bitrate erfolgt.In the multilayer representation of the motion according to MSRA, different motion descriptors, which are adapted to different local resolutions, are generated for the same temporal layer (frame rate). In this case, the motion estimation, which belongs to the higher resolutions, is regarded as enriching information (enhancement layer / information) on the basis of a detection of the coarse movement information. Since the result obtained by the coarse motion vector field If the residual error block contains a large amount of energy, only that residual error block is transmitted which is generated after the feinsth movement compensation. This leads, especially when the coarse motion information is selected, to very strong artifacts in the reconstructed residual error image, even when the bit rate is high.
In Figur 4 ist dargestellt, wie gemäß der Erfindung erzeugte temporäre Blockstrukturen unter Anwendung des erfindungsgemä- ßen Verfahrens zu Blockstrukturen führen, die letztendlich übertragenen werden sollen.FIG. 4 shows how temporary block structures generated according to the invention lead, using the method according to the invention, to block structures which are ultimately to be transmitted.
Zu erkennen sind drei temporäre Blockstrukturen MV QCIF, MV_CIF und MV_4CIF. Dabei ist jede dieser Blockstrukturen er- findungsgemäß jeweils einer Auflösungsstufe zugeordnet, wobei mit Auflösungsstufe das Format der Auflösung bezeichnet wird, mit der ein nach dem erfindungsgemäßen Verfahren codiertes Videosignal, welches aus Bildfolgen besteht, dargestellt wer¬ den kann.Three temporary block structures MV QCIF, MV_CIF and MV_4CIF can be seen. According to the invention, each of these block structures is in each case assigned to a resolution level, resolution level designating the format of the resolution with which a video signal encoded by the method according to the invention, which consists of image sequences, can be represented.
Für das vorliegende Ausführungsbeispiel handelt es sich dabei um das Common Intermediate Format (CIF) , das QCIF sowie das 4CIF Format.For the present embodiment, these are the Common Intermediate Format (CIF), the QCIF and the 4CIF format.
QCIF stellt dabei eine erste Auflösungsstufe, dass heißt die niedrigste Auflösungsstufe für das erfindungsgemäße Verfahren gewählte Auflösungsstufe dar, so dass ihr erfindungsgemäß auch eine erste Blockstruktur MV_QCIF zugeordnet wird, wäh¬ rend CIF eine zweite Auflösungsstufe darstellt, für die er- findungsgemäß eine zweite Blockstruktur MV_CIF erzeugt wird.In this case, QCIF represents a first resolution stage, that is to say the lowest resolution stage for the resolution stage selected according to the invention, so that according to the invention a first block structure MV_QCIF is assigned to it, while CIF represents a second resolution stage, for the invention a second block structure MV_CIF is produced.
Das Erzeugen der Blockstrukturen erfolgt dabei im Rahmen ei¬ nes Bewegungsschätzungsalgorithmus, beispielsweise unter Nut¬ zung des bereits angesprochenen MCTF und/oder MSRA Verfah- rens . Zu erkennen ist des Weiteren, dass die temporären Blockstruk¬ turen MV_QCIF, MV_CIF und MV_4CIF sukzessive verfeinernde Subblockstrukturen aufweisen, die dadurch gekennzeichnet sind, dass ausgehend von je temporärer Blockstruktur MV_QCIF, MV_CIF und MV_4CIF definierten Teilblöcken MB1_QCIF...MB4_QCIF immer feiner werdende weitere Subblöcke hinzukommen.The block structures are generated in the context of a motion estimation algorithm, for example using the already mentioned MCTF and / or MSRA method. It can also be seen that the temporary block structures MV_QCIF, MV_CIF and MV_4CIF have successively refined sub-block structures, which are characterized by sub-blocks which are becoming increasingly finer, based on sub-blocks MB_QCIF, MV_CIF and MV_4CIF respectively defined for each temporary block structure MV_QCIF, MV_CIF and MV_4CIF added.
Ferner ist aus der Darstellung zu erkennen, dass die temporä¬ ren Blockstrukturen MV_QCIF, MV_CIF und MV_4CIF die gleiche örtliche Auflösung haben, dies also trotz der sich von Auflö¬ sungsstufe zu Auflösungsstufe erhöhenden Bildpunktanzahl kon¬ stant bleibt.Furthermore, it can be seen from the representation that the temporary block structures MV_QCIF, MV_CIF and MV_4CIF have the same spatial resolution, ie this remains constant despite the number of image points increasing from resolution step to resolution step.
In Figur 4 sind des Weiteren die zu übertragenden bzw. letzt- endlich, beispielsweise für eine Streaming-Anwendung, über¬ tragenen Blockstrukturen MV_QCIF, MV_CIF und MV_4CIF zu er¬ kennen, welche unter Anwendung des erfindungsgemäßen Verfah¬ rens aus den temporären Blockstrukturen MV_QCIF, MV_CIF und MV 4CIF dadurch erzeugt werden, dass jeweils eine zu einer hohen Auflösungsstufe gehörige Blockstruktur mit einer zu ei¬ ner nächstniedrigeren Auflösungsstufe gehörenden Blockstruk¬ tur verglichen wird und als Ergebnis eine zur betrachteten Auflösungsstufe gehörige modifizierte Blockstruktur erzeugt wird, welche Subblockstrukturen aufweist, die nur eine Teil- menge des der zur gleichen Auflösungsstufe gehörigen temporä¬ ren Blockstruktur enthält, wobei es sich hierbei nicht um ei¬ ne echte Teilmenge handelt, die den Fall ausschließen würde, dass die Subblockstruktur der modifizierten Blockstruktur mit der Subblockstruktur der entsprechenden temporären Block- struktur identisch ist, sondern, da es vielmehr es sogar so ist, dass dieser Sonderfall nach dem erfindungsgemäßen Ver¬ fahren auch auftreten kann, es sich lediglich um eine bei¬ spielsweise aus der Mathematik bekannten (einfachen) Teilmen¬ ge handelt.FIG. 4 also shows the block structures MV_QCIF, MV_CIF and MV_4CIF to be transmitted or, finally, transmitted, for example for a streaming application, which are generated from the temporary block structures MV_QCIF using the method according to the invention. MV_CIF and MV 4CIF are generated by respectively comparing a block structure belonging to a high resolution stage with a block structure belonging to a next lower resolution stage and, as a result, generating a modified block structure belonging to the considered resolution stage which has subblock structures which only contains a subset of the temporal block structure belonging to the same resolution step, this not being a true subset, which would preclude the case that the subblock structure of the modified block structure with the subblock structure of the corresponding temporary block str but rather, since it is even the case that this special case can also occur according to the method according to the invention, it is merely a (simple) partial quantity known, for example, from mathematics.
Dieser erfindungsgemäße Algorithmus soll im Folgenden etwas detaillierter erläutert werden. Erfindungsgemäß wird mit der Erzeugung einer zur niedrigsten Auflösungsstufe gehörenden Blockstruktur begonnen. Aus dieser ersten Blockstruktur MV_QCIF ergibt sich gemäß der Erfindung dabei unmittelbar die modifizierte Blockstruktur MV QCIF, da für diesen Fall naturgemäß kein Vergleich mit einer vorheri¬ gen Blockstruktur erfolgen kann. Die sich unmittelbar erge¬ bende modifizierte Blockstruktur MV_QCIF hat daher die glei¬ che Subblockstruktur, wie sie die erste Blockstruktur MV QCIF aufweist.This algorithm according to the invention will be explained in more detail below. According to the invention, the generation of a block structure belonging to the lowest resolution stage is started. According to the invention, the modified block structure MV QCIF results directly from this first block structure MV_QCIF, since, of course, no comparison with a previous block structure can be made for this case. The directly resulting modified block structure MV_QCIF therefore has the same subblock structure as the first block structure MV QCIF.
Erfindungsgemäß wird in einem weiteren Schritt zur nächsthö¬ heren Auflösungsstufe, in diesem Fall CIF, eine zweite Block¬ struktur MV_CIF erzeugt. Zu erkennen ist dabei, dass in die zweite Blockstruktur MV CIF weitere Subblöcke hinzugekommen sind, welche zu einer feineren Subblockstruktur führen, wie es im Vergleich hierzu die erste Blockstruktur MV QCIF auf¬ weist. Die Subblöcke bzw. Subblockstrukturen, welche hinzuge¬ kommen sind, sind dabei in der Figur strichpunktiert darge- stellt.According to the invention, in a further step to the next higher resolution stage, in this case CIF, a second block structure MV_CIF is generated. It can be seen that additional subblocks have been added to the second block structure MV CIF, which lead to a finer subblock structure, as compared to the first block structure MV QCIF auf¬ has. The sub-blocks or sub-block structures that have been added are shown in phantom in the figure.
Erfindungsgemäß wird daher in einem nächsten Schritt ein Ver¬ gleich durchgeführt, bei dem die hinzugekommenen Subblöcke dahingehend überprüft werden, ob sie eine Blockgröße aufwei- sen, die mehr als viermal kleiner ist, als die kleinsteAccording to the invention, a comparison is therefore carried out in a next step, in which the added sub-blocks are checked as to whether they have a block size that is more than four times smaller than the smallest one
Blockgröße des entsprechenden Teilbereiches der ersten Block¬ struktur.Block size of the corresponding subarea of the first block structure.
Trifft dies zu, so wird die entsprechende Subblockstruktur in einer modifizierten zweiten Blockstruktur MV_CIF aufgenommen, während in den Fällen, wo der zu untersuchende Subblock eine geringere Verfeinerung darstellt, auf die Übernahme der Sub¬ blockstruktur in der zu übertragenden modifizierten zweiten Blockstruktur verzichtet wird.If this is the case, the corresponding subblock structure is included in a modified second block structure MV_CIF, whereas in cases where the subblock to be examined represents less refinement, the acquisition of the subblock structure in the modified second block structure to be transferred is dispensed with.
Um dies besser erläutern zu können, sind in der Figur 4 bei¬ spielhaft zwei der in der zweiten Blockstruktur MV CIF ent- haltenen Subblöcke herausgegriffen worden, nämlich ein erster Subblock SBl und ein zweiter Subblock SB2.In order to be able to explain this better, two of the examples in the second block structure MV CIF are shown in FIG. have been picked out, namely a first sub-block SB1 and a second sub-block SB2.
Der erste Subblock SBl befindet sich in einem ersten Teil- block MB1_CIF der zweiten Blockstruktur MV_CIF. Entsprechend wird erfindungsgemäß in einem zum ersten Teilblock MB1_CIF der zweiten Blockstruktur MV CIF korrespondierenden ersten Teilblock MB1_QCIF der ersten Blockstruktur MV_QCIF unter¬ sucht, welches die hier auftretende kleinste Subblockgröße ist. Bei dem vorliegenden Beispiel wird diese minimale Block¬ größe durch einen minimalen ersten Subblock MIN SBl defi¬ niert. Wie zu erkennen ist, entspricht die Größe des ersten Subblocks der Größe des ersten minimalen Subblocks, so dass in diesem Fall gar keine Verfeinerung vorliegt. Entsprechend wird erfindungsgemäß in der zu übertragenden zweiten Block¬ struktur MV_CIF die dem ersten Subblock zugrunde liegende Subblockstruktur nicht übernommen, so dass in der Darstellung gemäß Figur 4 der zweiten modifizierten Blockstruktur MV_CIF das strichpunktierte Gitter an der entsprechenden Stelle fehlt.The first sub-block SB1 is located in a first sub-block MB1_CIF of the second block structure MV_CIF. Accordingly, according to the invention, the first sub-block MB1_QCIF corresponding to the first sub-block MB1_CIF of the second block structure MV CIF is examined, which is the smallest sub-block size occurring here. In the present example, this minimum block size is defined by a minimum first subblock MIN SB1. As can be seen, the size of the first sub-block corresponds to the size of the first minimum sub-block, so there is no refinement in this case. Accordingly, according to the invention, the subblock structure underlying the first subblock is not adopted in the second block structure MV_CIF to be transmitted, so that in the illustration according to FIG. 4 the second modified block structure MV_CIF lacks the dot-dash grid at the corresponding position.
Bei dem Vergleich wird unter anderem auch ein zweiter Sub¬ block SB2 für den Vergleich herangezogen. Da der zweite Sub¬ block SB2 sich in einen vierten Teilblock MB4_CIF der zweiten Blockstruktur MV CIF enthalten ist, wird entsprechend in ei¬ nem vierten Teilblock MB4_QCIF der ersten Blockstruktur MV QCIF nach einer minimalen Subblockgröße gesucht. Dies ist durch einen zweiten minimalen Subblock MIN_SB2 gegeben, der in diesem Fall den vierten Teilblock MB4 QCIF der ersten Blockstruktur MV_QCIF exakt teilt. Wie zu erkennen ist, stellt in diesem Fall die Größe des zweiten Subblocks SB2 ein Achtel der Größe des minimalen zweiten Subblocks MIN_SB2 dar, so dass sogar eine achtfache Verfeinerung im Vergleich zur ersten Blockstruktur MV_QCIF gegeben ist. Erfindungsgemäß wird daher die den zweiten Subblock definierende Subblock¬ struktur auch in die modifizierte zweite Blockstruktur MV' CIF übernommen. Gleiches geschieht für all diejenigen Blöcke der zweiten Blockstruktur MV CIF wie in der Darstel¬ lung gemäß Figur 4 an den gestrichelten Strukturen der modi¬ fizierten zweiten Blockstruktur MV' CIF zu erkennen ist.In the comparison, among other things, a second sub-block SB2 is used for the comparison. Since the second sub-block SB2 is contained in a fourth sub-block MB4_CIF of the second block structure MV CIF, a search is made for a minimum sub-block size in a fourth sub-block MB4_QCIF of the first block structure MV QCIF. This is given by a second minimum sub-block MIN_SB2, which in this case exactly divides the fourth sub-block MB4 QCIF of the first block structure MV_QCIF. As can be seen, in this case the size of the second sub-block SB2 represents one-eighth of the size of the minimum second sub-block MIN_SB2, so that even an eightfold refinement is given compared to the first block structure MV_QCIF. According to the invention, therefore, the subblock structure defining the second subblock is also adopted in the modified second block structure MV 'CIF. The same happens for all those Blocks of the second block structure MV CIF can be seen in the illustration according to FIG. 4 on the dashed structures of the modified second block structure MV 'CIF.
Wie sich aus einem Vergleich der zweiten Blockstruktur MV CIF und der modifizierten zweiten Blockstruktur MV'_CIF zeigt, sind nicht alle Subblockstrukturen der zweiten Blockstruktur MV'_CIF übernommen worden. Damit nun eine derartig codierte Bildfolge richtig dargestellt werden kann, wird bei der Co- dierung der Blockstrukturen, die übertragen werden sollen, eine Kennzeichnung derjenigen Subblöcke hineincodiert, welche nicht in die modifizierten Blockstrukturen übernommen worden sind. Das erfindungsgemäße Verfahren findet dabei auch bei weiteren Auflösungsstufen in der gleichen Art seine Anwen- düng. Beispielsweise wird gemäß dem vorliegenden Ausführungs¬ beispiel für das Format 4CIF ebenfalls eine Blockstruktur MV 4CIF erzeugt. Erfindungsgemäß wird diese nun wiederum als eine zweite Blockstruktur verwandt, während die erste Block¬ struktur von durch die vorhergehende zweite Blockstruktur MV_CIF gegeben ist. Die sich durch den Vergleich der beiden Blockstrukturen ergebende zweite modifizierte Blockstruktur MV'_4CIF ist dabei in der Darstellung von Figur 4 wiederum nur durch einen Teil der hinzugekommenen Subblockstrukturen verfeinert worden, welche in der Darstellung punktiert ge- zeichnet sind.As can be seen from a comparison of the second block structure MV CIF and the modified second block structure MV'_CIF, not all sub-block structures of the second block structure MV'_CIF have been adopted. In order for such an encoded image sequence to be displayed correctly, an encoding of those subblocks which were not incorporated into the modified block structures is encoded during the encoding of the block structures which are to be transmitted. The process according to the invention also finds its application in other dissolution stages in the same way. For example, according to the present exemplary embodiment, a block structure MV 4CIF is also generated for the 4CIF format. According to the invention, this is again used as a second block structure, while the first block structure is given by the preceding second block structure MV_CIF. The second modified block structure MV'_4CIF resulting from the comparison of the two block structures has again been refined in the representation of FIG. 4 only by a part of the added subblock structures, which are dotted in the illustration.
Alternativ oder ergänzend kann für den Vergleich statt eine temporäre Blockstruktur eine bereits erzeugte übertragene, d.h. modifizierte zweite Blockstruktur als erste Blockstruk- tur genutzt werden.Alternatively or additionally, instead of a temporary block structure, an already generated transmitted, i. Modified second block structure can be used as a first block structure.
Es ist dabei erfindungsgemäß nicht erforderlich, für alle in der Bildfolge codierten Auflösungsstufen erfindungsgemäß zu übertragene Blockstrukturen zu erzeugen, sondern beispiels- weise nur in den Teilauflösungen der genannten Auflösungen, d.h. beispielsweise nur für CIF im Falle, dass QCIF, CIF oder 4CIF angewendet wurde oder nur für CIF, für den Fall, das QCIF und CIF angewendet wurde. In Praxi ist es vielmehr aus¬ reichend, dies auf im Vergleich zu allen vorhandenen Auflö¬ sungsstufen mittlere Auflösungsstufen anzuwenden, da bei ei¬ ner mittleren Auflösungsebene die beste Performance gegeben ist, weil hierbei ein vielfaches Up and Down Sampling der Blockstrukturen und der Bewegungsvektoren vermieden werden kann. Hierbei wird durch einen Parameter jeweils die Datenra¬ te für die Bewegungsinformation für die verschiedenen örtli¬ chen Auflösungsstufen eingestellt, sodass sich auf jeder Auf- lösungsstufe ein optimales Verhältnis der Datenrate für Bewe¬ gungsinformation und Texturinformation ergibt.According to the invention, it is not necessary to produce block structures to be transferred according to the invention for all resolution levels coded in the image sequence, but for example only in the partial resolutions of the resolutions mentioned, ie, for example, only for CIF in the case that QCIF, CIF or 4CIF has been used or only for CIF, in case, that QCIF and CIF has been applied. On the contrary, in practice it is sufficient to apply this to average resolution levels compared to all existing resolution levels, since the best performance is given for a middle resolution level, since in this case multiple up and down sampling of the block structures and the motion vectors is avoided can be. In this case, the data rates for the motion information for the various local resolution levels are set by a parameter, so that an optimum ratio of the data rate for motion information and texture information results at each resolution level.
Die Erfindung ist dabei nicht auf das anhand der Figur 4 er¬ läuterte Ausführungsbeispiel, sondern umfasst alle im Rahmen des fachmännischen Könnens in Frage kommenden Realisierungen, die den erfindungsgemäßen Kern:In this case, the invention is not based on the exemplary embodiment explained with reference to FIG. 4, but encompasses all implementations which come within the scope of expert knowledge and which comprise the core according to the invention:
Das, insbesondere gemäß MSRA, erzeugte komplette Bewegungs¬ vektorfeld (Temporäre Blockstrukturen MV_QCIF, MV_CIF und MV_4CIF) , welches encoderseitig definiert bzw. vorhanden ist, eben nicht komplett zu übertragen, sondern vielmehr lediglich den signifikanteste Teil dieses Bewegungsvektorfelds.That, in particular according to MSRA, generated complete Bewegungs¬ vector field (Temporary Block structures MV_QCIF, MV_CIF and MV_4CIF), which is defined on the encoder side or present, but not completely to transmit, but rather only the most significant part of this motion vector field.
Ein wesentlicher Vorteil des erfindungsgemäßen Algorithmus ist dabei, die Verbesserung der Bildqualität auch bei niedri¬ gen Bitraten sowie auch bei niedrigen Auflösungen.An essential advantage of the algorithm according to the invention is the improvement of the image quality even at low bit rates as well as at low resolutions.
In Figur 5 ist nun dargestellt, welche Verfahrensschritte ei- ner oben erläuterten Signalisierung bzw. auch - wie im Fol¬ genden dargelegt - der Bitstromerzeugung zugrunde gelegt wird.FIG. 5 now shows which method steps are taken as a basis for the signaling explained above or also for the bitstream generation, as explained below.
Gemäß der oben beschriebenen erfindungsgemäßen selektiven Verfeinerungsmethode zeigt der erfindungsgemäß vorgeschlagene neue Blockmodus, ob eine Blockstruktur für ein aktuell be¬ trachtetes Bewegungsvektorfeld für das nachfolgende Bewe- gungsvektorfeld aufgesplittet werden muss. Aufgrund dieser Blockmodi ist es daher möglich, die Regionen zu lokalisieren, in welchen ein aktueller Restfehlerblock, welche von einer niedrigeren Schicht zugeordneten vorhergehenden Restfehler- block differiert.According to the inventive selective refinement method described above, the novel block mode proposed according to the invention shows whether a block structure for a currently considered motion vector field is to be used for the following movement. has to be split up. Because of these block modes, it is therefore possible to locate the regions in which a current residual error block which differs from a previous residual error block associated with a lower layer.
Die Blöcke, die zu diesen Regionen zugeordnet sind bzw. gehö¬ ren, werden dann mit dem sich an denselben Positionen inner¬ halb des vorhergehenden Restfehlerblocks befindenden Blöcke verglichen und die Differenz hierzu codiert. Nachdem dieseThe blocks associated with these regions are then compared with the blocks located at the same positions within the preceding residual error block and the difference is encoded for this purpose. After this
Information encoderseitig gespeichert worden ist, ist es er¬ forderlich, die bestmögliche, d.h. optimale Abstimmung zwi¬ schen der Bewegungsinformation und der Textur für die jewei¬ lige Bitrate zu erreichen.Information has been stored on the encoder side, it is er¬ necessary to the best possible, i. to achieve optimum coordination between the motion information and the texture for the respective bit rate.
In der Regel wird hierzu vor der Übertragung ein Bitstrom er¬ zeugt, so dass all die encoderseitig verfügbare Information optimal genutzt werden kann.As a rule, a bit stream is generated for this purpose before the transmission, so that all the information available on the encoder side can be used optimally.
Um dies zu erreichen wird wie in der Figur 5 dargestellt bei¬ spielsweise ein Vergleich im Sinne einer Auswertung durchge¬ führt, bei dem festgestellt wird, ob ein Bewegungsvektorfeld (Blockstruktur) verfeinert werden muss oder nicht.In order to achieve this, as shown in FIG. 5, for example, a comparison is carried out in the sense of an evaluation in which it is determined whether a motion vector field (block structure) must be refined or not.
Dies ist erfindungsgemäß aus dem Grund von Vorteil, dass es in Praxi vorkommen kann, dass die sichtbare Qualität, welche mit dem Basisbewegungsvektorfeld (Blockstruktur) MVFIELDl und der korrespondierenden Texturl um einen Wert, der x% der Tex- turl beträgt, besser sein kann als das Ergebnis, welches er- zielt wird, als was erreicht wird, wenn dieses Bewegungsvek¬ torfeld zu einer modifizierten Blockstruktur MVFIELD2 verfei¬ nert worden ist und somit auch besser als die entsprechende Verfeinerung der Textur' 1 (Definiert durch y% von (Textur 1) + Verfeinerung) . Dabei ist y kleiner als x bei gleicher Bit- rate. Aus der schematisch dargestellten dem entsprechenden Ent¬ scheidungsprozedur ist zu erkennen, dass im Falle, dass eine Verfeinerung notwendig erscheint, der Teil der Information, der sich auf die Texturinformation bezieht, entsprechend a- daptiert werden muss. Damit ergibt sich aber auch das Prob¬ lem, welcher Teil der Texturinformation zu der Verfeinerungs¬ information zugeordnet wird.This is advantageous for the reason that it can occur in practice that the visible quality, which can be better with the base motion vector field (block structure) MVFIELD1 and the corresponding texture 1 by a value that is x% of the texturl, is better than the result obtained is what is achieved when this motion vector field has been refined into a modified block structure MVFIELD2 and thus also better than the corresponding refinement of the texture '1 (defined by y% of (texture 1 ) + Refinement). Here y is smaller than x at the same bit rate. It can be seen from the corresponding decision procedure shown schematically that in the event that a refinement appears necessary, the part of the information which relates to the texture information must be adapted accordingly. However, this also results in the problem of which part of the texture information is assigned to the refinement information.
Dies wird wie oben erläutert zum einen durch eine geeignete Signalisierung ermöglicht, die es ermöglicht, auf Seiten ei¬ nes Decoders diejenigen Regionen in den Restfehlerblöcken zu lokalisieren, welche verfeinert werden können und vor allem sollen. Hiermit wird dem Decoder also ermöglicht, dass vorab beschriebene erfindungsgemäße Vorgehen bei dem die Verfeine- rung der Bewegungsinformation derartig adaptiert wurde, dass die Einbettung des Restfehlerblocks ermöglicht worden ist, d.h. der Teil der Verfeinerung eines Restfehlerblocks durch einige weitere Blocks repräsentiert wird, zu erkennen und entsprechend zu berücksichtigen.As explained above, this is made possible, on the one hand, by suitable signaling, which makes it possible to locate on the side of a decoder those regions in the residual error blocks which can and should be refined. This makes it possible for the decoder that the above-described inventive procedure in which the refinement of the motion information has been adapted such that the embedding of the residual error block has been made possible, i. the part of the refinement of a residual error block is represented by a few more blocks, to recognize and to consider accordingly.
Als Zweites ist hierzu auch eine geeignete Encodierung erfor¬ derlich, die, um effizient im Sinne einer Kompressionseffi¬ zienz zu sein, derart durchgeführt wird, dass die Verfeine¬ rungsblöcke mit einer blockbasierenden Transformation (IT, DCT, etc.) encodiert werden, wobei diese Blöcke dann die Dif¬ ferenz zwischen den Restfehlerblöcken auf Basis der Verfeine¬ rung der Bewegungsvektorfelder sowie den Restfehlerblöcken repräsentieren, welche nicht auf Grundlage von verfeinerten Bewegungsvektorfeldern erzeugt worden sind und eine bestimmte Anzahl von Bitebenen beispielsweise N Bitebenen aufweisen.Second, this requires a suitable encoding which, in order to be efficient in the sense of a compression efficiency, is performed in such a way that the refinement blocks are encoded with a block-based transformation (IT, DCT, etc.) these blocks then represent the difference between the residual error blocks on the basis of the refinement of the motion vector fields and the residual error blocks which have not been generated on the basis of refined motion vector fields and have a certain number of bit planes, for example N bit planes.
Schließlich ist hierzu aber auch eine geeignete Organisation des für die Übertragung zu erzeugenden Bitstroms erforderlich wie es in der Figur 6 dargestellt ist.Finally, this also requires a suitable organization of the bit stream to be generated for the transmission, as shown in FIG.
Das Ziel dieses erfindungsgemäßen Erzeugen des Bitstrom ist es, eine gute Bildqualität für verschiedene räum- lieh/zeitliche Auflösungsstufen bzw. Bitraten zu gewährleis¬ ten, ohne dabei eine Drift, welche durch einen Versatz zwi¬ schen einem Bewegungsvektorfeld und einem Restfehlerblock entstehen kann, aufzuweisen. Schematisch sind daher die Schritte dargestellt mit denen dies erfindungsgemäß erreicht wird.The goal of this bitstream generation according to the invention is to achieve a good image quality for various spatial conditions. to ensure lent / temporal resolution levels or bit rates, without a drift, which can be caused by an offset zwi¬ rule a motion vector field and a residual error block. Schematically, therefore, the steps are shown with which this is achieved according to the invention.
Dabei geht das dargestellte Ausführungsbeispiel von einem I- nitialisierungszustand aus, bei dem eine bestimmte Nummer von Bewegungsvektorfeldern mit korrespondierenden Restfehlerblö¬ cken encoderseitig generiert worden sind. Beispielsweise ein erstes Bewegungsvektorfeld MVFl sowie ein erstes verfeinertes Bewegungsvektorfeld MVFl' für eine QCIF-Auflösung, das erste verfeinerte Bewegungsvektorfeld MVFl' sowie (nicht darge- stellt) ein zweites Bewegungsvektorfeld für eine CIF-In this case, the illustrated embodiment starts from an initialization state in which a specific number of motion vector fields with corresponding residual error blocks have been generated on the encoder side. For example, a first motion vector field MVF1 and a first refined motion vector field MVF1 'for a QCIF resolution, the first refined motion vector field MVF1' and (not shown) a second motion vector field for a CIF
Auflösung sowie das zweite Bewegungsvektorfeld und ein drit¬ tes Bewegungsvektorfeld für eine 4CIF-Auflösung. Das Encodieren bzw. Decodieren für ein derartiges Szenario bei einer QCIF-Auflösung ergibt sich bei dem erfindungsgemä- ßen Verfahren dabei wie folgt: Ausgehend von der Annahme, dass ein großer Bereich von Bitraten für die QCIF-Auflösung decodiert werden muss, ist es in einem ersten Schritt erfor¬ derlich, das erste Bewegungsvektorfeld MVl und den ersten korrespondierenden Restfehlerblock zu übertragen. Dabei gilt, je größer die Bitrate ist, desto höher ist die Anzahl derResolution as well as the second motion vector field and a third motion vector field for a 4CIF resolution. The encoding or decoding for such a scenario at a QCIF resolution results in the method according to the invention as follows: starting from the assumption that a large range of bit rates must be decoded for the QCIF resolution, it is in one First step neces sary to transmit the first motion vector field MVl and the first corresponding residual error block. The higher the bitrate, the higher the number of bitrates
Bitebenen BTPL1...BTPLN+M, welche den Restfehlerblock repräsen¬ tieren. Ferner gilt, dass die Anzahl dabei limitiert wird durch die eingangs erläuterte Entscheidung über eine Verfei¬ nerung der Blöcke.Bite planes BTPL1 ... BTPLN + M, which represent the residual error block. Furthermore, the number is limited by the decision explained in the introduction about a refinement of the blocks.
Gemäß dem dargestellten Beispiel wird die Anzahl der Bitebe¬ nen auf eine Zahl N limitiert. Wenn nun gemäß der erfindungs¬ gemäßen Auswertung die Entscheidung getroffen wird, dass eine Verfeinerung erforderlich ist, wird das erste Bewegungsvek- torfeld MVFl derart verfeinert, dass das verfeinerte Bewe¬ gungsvektorfeld MVFl' erzeugt wird. In so einem Fall ist es daher auch erforderlich, dass die zu dem ersten Bewegungsvek- torfeld MVFl korrespondierende Textur aktualisiert („upda- ted") wird, um einen Versatz zwischen den Bewegungsvektorfel¬ dern und den jeweiligen Texturen zu verhindern.According to the illustrated example, the number of bit planes is limited to a number N. If, according to the evaluation according to the invention, the decision is made that a refinement is required, the first motion vector field MVF1 is refined in such a way that the refined motion vector field MVF1 'is generated. In such a case it is therefore necessary that the first torfield MVFl is updated ("updated") in order to prevent an offset between the motion vector fields and the respective textures.
Ein hier erfindungsgemäß vorgeschlagener Algorithmus ist der Darstellung ebenfalls zu entnehmen und läuft wie folgt ab.An algorithm proposed here according to the invention can also be taken from the illustration and proceeds as follows.
Wenn die oben genannte Auswertung der Bewegungsinformationen ergibt, dass ein Update der Bewegungsinformation notwendig ist, so ist in der Regel schon eine bestimmte Anzahl von Bit¬ ebenen BTPLl...BTPLN übertragen worden. Bis zu einem gewissen Grenzwert BTPLn müssen die Bitebenen, welche die nicht ver¬ feinerten Restfehlerblöcke darstellen (BTPLl...BTPLn) , nicht modifiziert werden. Bei Erreichen dieses Limits BTPLn werden dagegen die nächstfolgenden Bitebenen BTPLn...BTPLN gemäß dem Ausführungsbeispiel aktualisiert.If the above-mentioned evaluation of the movement information reveals that an update of the movement information is necessary, a certain number of bit planes BTPL1... BTPLN has usually already been transmitted. Up to a certain limit value BTPLn, the bit planes which represent the non-refined residual error blocks (BTPL1-BTPLn) need not be modified. On reaching this limit BTPLn, on the other hand, the next following bit planes BTPLn... BTPLN are updated according to the exemplary embodiment.
Dies erfolgt dabei von der Bitebene ausgehend, welche die letzte Bitebene der nicht verfeinerten Restfehlerblöcke dar- stellt, BTPLn und erstreckt sich bis zu der Bitebene, welche bereits übertragen ist BTPLN.This takes place starting from the bit plane, which represents the last bit plane of the unrefined residual error blocks, BTPLn and extends to the bit plane, which is already transmitted BTPLN.
Der Update erfolgt dabei so, dass die Regionen, welche zu den verfeinerten Teilen REFINEMENT zugehörig sind, derart upgeda- tet werden, dass sie mit dem nachfolgenden Bewegungsvektor¬ feld, d.h. gemäß dem dargestellten Ausführungsbeispiel, dem ersten verfeinerten Vektorfeld MVFl' übereinstimmen.The update is carried out in such a way that the regions which belong to the refined parts REFINEMENT are updated in such a way that they coincide with the subsequent motion vector field, i. according to the illustrated embodiment, the first refined vector field MVFl 'match.
Dabei kann erfindungsgemäß, wenn es sich um eine höhere Bit- rate handelt, die über die bereits übertragene Bitebenenzahl BTPLN hinausgehende Anzahl der Bitebenen BTPLN+1 bis BTPLN+M zusätzlich übertragen werden. Dieses Konzept wird dabei für jede räumliche Auflösung und/oder Qualitätsstufe wiederholt und ermöglicht dadurch eine feinere Granularität einer Sig- nal/Rausch-Skalierbartkeit (SNR-Skalierbarkeit) . Gemäß dem Ausgangsszenario erfolgt ein Encodieren bzw. Deco¬ dieren bei einer CIF-Auflösungstufe wie folgt.In this case, according to the invention, in the case of a higher bit rate, the number of bit planes BTPLN + 1 to BTPLN + M which exceeds the already transmitted bit plane number BTPLN can additionally be transmitted. This concept is repeated for each spatial resolution and / or quality level and thereby enables finer granularity of a signal-to-noise scalability (SNR scalability). According to the initial scenario, an encoding or decoding takes place in a CIF resolution stage as follows.
Da auch hier erfindungsgemäß die SNR und räumliche Skalier- barkeit kombiniert werden soll, wird, wenn z.B. es erforder¬ lich ist, ein (Video-)bitstrom bei CIF-Auflösung zu decodie¬ ren und dies bei niedrigerer Bitrate erfolgen soll, das erste veränderte Bewegungsvektorfeld MVFl' von der QCIF-Auflösung zu der CIF-Auflösung hochskaliert. Zudem erfolgt z.B. eine inverse Wavelet-Transformation oder aber eine Interpolation wird durchgeführt, um eine höhere räumliche Auflösung der Textur TEXTURl, TEXTUR' 1 zu erreichen.Since, in accordance with the invention, the SNR and spatial scalability should also be combined here, if e.g. it is erforder¬ Lich to decode a (video) bitstream at CIF resolution ren and this is done at lower bit rate, the first modified motion vector field MVFl 'from the QCIF resolution to the CIF resolution upscaled. In addition, e.g. an inverse wavelet transformation or an interpolation is performed in order to achieve a higher spatial resolution of the texture TEXTUR1, TEXTURE '1.
Dabei ist anzumerken, dass bei einer sehr niedrigen Bitrate der Update der Textur TEXTURl zur Textur TEXTUR' 1 nicht er¬ forderlich ist (beispielsweise, wenn weniger als n Bitebenen notwendig sind, um die CIF-Auflösung zu decodieren) . Insge¬ samt wird dadurch eine räumliche Skalierbarkeit erreicht.It should be noted that at a very low bit rate the update of the texture TEXTUR1 to the texture TEXTURE '1 is not necessary (for example, if less than n bit planes are necessary to decode the CIF resolution). Overall, this achieves spatial scalability.
Die SNR-Skalierbarkeit bei CIF-Auflösung wird erreicht, indem das Codieren der Bitebenen der Differenz zwischen dem origi¬ nären verfeinerten CIF-Restfehlerblock und einer interpolier¬ ten oder Invers-Wavelet-Transformierten verfeinerten QCIF- Bitebene erfolgt. Wenn die Entscheidung, ob eine Verfeinerung erfolgen soll, bei der CIF-Auflösung positiv ist, wird die gleiche Strategie verfolgt, wie sie bei dem oben beschriebe¬ nen Verfahren für QCIF erläutert worden ist. Gleiches gilt für eine Skalierung von CIF zu 4CIF.The SNR scalability in CIF resolution is achieved by coding the bit planes of the difference between the original refined CIF residual error block and a QCIF bit plane refined by interpolated or inverse wavelet transforms. If the decision as to whether refinement is positive in the CIF resolution is followed by the same strategy as explained in the above-described method for QCIF. The same applies to a scaling from CIF to 4CIF.
Die Erfindung ist aber nicht auf das beschriebene Ausfüh¬ rungsbeispiel beschränkt. Vielmehr gilt auch Folgendes:However, the invention is not limited to the exemplary embodiment described. Rather, the following also applies:
1. Die SNR-Skalierbarkeit wird durch ein bitebenenweises Repräsentieren der Texturinformation gemäß dem vorge- hend beschriebenen Beispiel erzeugt, ist aber jedoch nicht darauf beschränkt, da es auch durch alternative skalierbare Texturrepräsentationen erreicht werden kann.1. The SNR scalability is generated by bitwise representation of the texture information according to the example described above, but is not limited thereto, as it may also be alternative scalable texture representations can be achieved.
2. Die maximale Anzahl der Bitebenen, welche vor der Ver- feinerung auftreten (BTPLN) , kann sich für jede räumli¬ che Auflösung unterscheiden.2. The maximum number of bit planes that occur before refinement (BTPLN) may differ for each spatial resolution.
3. Zudem kann mehr als ein Update innerhalb einem räumli¬ chen Auflösungslevel erfolgen, wenn mehr als zwei Schichten der Bewegungsinformation für dieses räumliche Auflösungslevel genutzt werden.3. In addition, more than one update can take place within a spatial resolution level if more than two layers of the motion information are used for this spatial resolution level.
Hiervon unabhängig wird dabei stets eine sehr gute Abstimmung zwischen Bewegungsinformation und der Textur für einen weiten Bereich von Bitraten sowie räumlich zeitlichen Auflösungen erreicht, wobei dies ohne Degradation der Qualität von Bil¬ dern erfolgt, da durch das erfindungsgemäße Verfahren eine gute Verteilung der Information erzielt wird und somit auch der Versatz zwischen Bewegungsinformation und Texturen elimi- niert wird. Irrespective of this, a very good coordination between motion information and the texture is always achieved for a wide range of bit rates as well as spatial temporal resolutions, this being done without degradation of the quality of images, since a good distribution of the information is achieved by the method according to the invention and thus also the offset between motion information and textures is eliminated.
Literaturverzeichnisbibliography
[1] Jizheng Xu, Ruiqin Xiong, Bo Feng, Gary Sullivan, Ming-[1] Jizheng Xu, Ruiqin Xiong, Bo Feng, Gary Sullivan, Ming
Chieh Lee, Feng Wu, Shipeng Li, "3D subband video coding using Barbell lifting", ISO/IEC JTC1/SC29/ WGIl MPEGChieh Lee, Feng Wu, Shipeng Li, "3D subband video coding using barbell lifting", ISO / IEC JTC1 / SC29 / WGIl MPEG
68th meeting, MlO569/sO5, Munich, March 2004. [2] Deutsche Patentanmeldung, Aktenzeichen 10 2004 038 110.0 68th meeting, MlO569 / sO5, Munich, March 2004. [2] German patent application, file number 10 2004 038 110.0

Claims

Patentansprüche claims
1. Verfahren zur Videocodierung von Bildfolgen bei dem Bil¬ der der Bildfolge derart skaliert codiert werden, dass die sich ergebenden Videodaten Informationen enthalten, die eine Darstellung der Bilder in einer Vielzahl sich unter¬ scheidender Stufen von einer durch die Anzahl von Bild¬ punkten je Bilddarstellung definierten Auflösung (QCIF, CIF, 4CIF) der Bilder und/oder von Bildqualitäten gewähr- leisten, wobei die Codierung derart blockbasiert erfolgt, dass für eine Beschreibung einer etwaigen in der Bildfolge enthaltenen Bewegung von Teilen eines der Bilder zumindest eine die Bewegung beschreibende Blockstruktur (MV QCIF, MV_CIF, MV_4CIF) erzeugt wird, die derart ausgestaltet ist, dass sie ausgehend von einem Block in Teilblöcke zum Teil mit die Teilblöcke (MB1_QCIF..MB4_QCIF, MB1_CIF..MB4_CIF, MBl_4CIF..MB4_4CIF) sukzessive feiner unterteilenden Subblöcken unterteilt wird, mit folgenden Schritten: a) temporär wird für zumindest eine erste Auflösungsstufe eine erste Blockstruktur (MV_QCIF; MV_CIF) und für eine zweite Auflösungsstufe eine zweite Blockstruktur (MV CIF; MV 4CIF) erzeugt, wobei die erste Auflösungs¬ stufe eine niedrigere Bildpunktanzahl und/oder Bildqua- lität aufweist als die zweite Auflösungsstufe, b) die zweite Blockstruktur (MV_CIF; MV_4CIF) wird mit der ersten Blockstruktur (MV_QCIF; MV_CIF) derart vergli¬ chen, dass Unterschiede in der Blockstruktur ermittelt werden, c) auf Grundlage von Eigenschaften der Strukturunterschie¬ de wird eine modifizierte zweite Blockstruktur (MV'_CIF, MV'_4CIF) derart erzeugt, dass deren Struktur eine Teilmenge der zweiten Blockstruktur (MV CIF; MV_4CIF) darstellt, d) die modifizierte zweite Blockstruktur (MV' CIF,1. A method for video coding of image sequences in which images of the image sequence are encoded scaled in such a way that the resulting video data contain information representing a representation of the images in a plurality of differing levels from one by the number of image points each Guaranteed image representation defined resolution (QCIF, CIF, 4CIF) of the images and / or image qualities, the coding is block-based such that for a description of any contained in the image sequence movement of parts of the images at least one movement descriptive block structure (MV QCIF, MV_CIF, MV_4CIF) is generated, which is designed in such a way that, starting from a block, it subdivides subblocks in part, with the subblocks (MB1_QCIF..MB4_QCIF, MB1_CIF..MB4_CIF, MBl_4CIF..MB4_4CIF), successively into subdividing subblocks is, with the following steps: a) temporarily becomes a first B for at least a first resolution level lock structure (MV_QCIF; MV_CIF) and for a second resolution level a second block structure (MV CIF, MV 4CIF) is generated, wherein the first resolution level has a lower number of pixels and / or image quality than the second resolution level, b) the second block structure (MV_CIF; MV_4CIF) is compared with the first block structure (MV_QCIF; MV_CIF) in such a way that differences in the block structure are determined, c) on the basis of properties of the structure differences, a modified second block structure (MV'_CIF, MV'_4CIF) is generated in such a way, that their structure represents a subset of the second block structure (MV CIF; MV_4CIF), d) the modified second block structure (MV 'CIF,
MV' 4CIF) und zweite Blockstruktur (MV CIF; M 4CIF) werden anhand zumindest eines zu einer Qualität des Bildes proportionalen Wertes verglichen, e) diejenige Blockstruktur wird der Codierung der Bitfolge zugrunde gelegt, dessen Wert direkt proportional zu ei- ner besseren Qualität ist.MV '4CIF) and second block structure (MV CIF; M 4CIF) are compared on the basis of at least one value proportional to a quality of the image, e) the block structure is based on the coding of the bit sequence whose value is directly proportional to a better quality.
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass zur Unterschiedsermittlung hinzugekommene Subblöcke er- fasst werden.2. The method according to claim 1, characterized in that for the determination of difference added sub-blocks are detected.
3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass zur Unterschiedsermittlung Subblockeigenschaften er- fasst werden.3. The method according to claim 1 or 2, characterized in that sub-block properties are detected for the difference determination.
4. Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass als Subblockeigenschaft die Blockgröße der Subblöcke er- fasst wird.4. The method according to claim 3, characterized in that the block size of the sub-blocks is detected as sub-block property.
5. Verfahren nach einem der vorhergehenden Ansprüche, da- durch gekennzeichnet, dass für die Unterschiedsermittlung nur derjenige Teilblock (MB1_QCIF..MB4QCIF; MB1_CIF..MB4_CIF) der ersten Blockstruktur (MV_QCIF; MV CIF) herangezogen wird, der dem Teilblock (MB1_CIF..MB4 CIF; MBl_4CIF..MB4_4CIF) der zweiten Block- struktur (MV_CIF; MV_4CIF) entspricht.5. Method according to one of the preceding claims, characterized in that only the subblock (MB1_QCIF..MB4QCIF; MB1_CIF..MB4_CIF) of the first block structure (MV_QCIF; MV CIF) which is used by the subblock (MB1_CIF. .MB4 CIF; MBl_4CIF..MB4_4CIF) corresponds to the second block structure (MV_CIF; MV_4CIF).
6. Verfahren nach einem der vorhergehenden Ansprüche, da¬ durch gekennzeichnet, dass die Erzeugung der zweiten mo¬ difizierten Blockstruktur auf Grundlage einer Schwell- Wertentscheidung erfolgt.6. The method according to any one of the preceding claims, da¬ characterized in that the generation of the second modified block structure is based on a threshold value decision.
7. Verfahren nach einem der Ansprüche 3 bis 6, dadurch ge¬ kennzeichnet, dass nur diejenigen Subblöcke der zweiten Blockstruktur (MV_CIF; MV_4CIF) in die modifizierte zwei- te Blockstruktur (MV'_CIF; MV'_4CIF) übernommen werden, deren Blockgröße einen definierbaren Schwellwert errei¬ chen. 7. Method according to one of claims 3 to 6, characterized in that only those subblocks of the second block structure (MV_CIF; MV_4CIF) are taken over into the modified second block structure (MV'_CIF;MV'_4CIF) whose block size is one reach definable threshold.
8. Verfahren nach dem Anspruch 7, dadurch gekennzeichnet, dass der Schwellwert derart definiert wird, dass er ein Verhältnis der Blockgröße eines Subblocks der zweiten Blockstruktur (MV CIF; MV 4CIF) zu einer in einem zum8. Method according to claim 7, characterized in that the threshold value is defined such that it has a ratio of the block size of a sub-block of the second block structure (MV CIF, MV 4CIF) to one in the second
Vergleich herangezogenen Bereich der ersten Blockstruktur (MV_QCIF; MV_CIF) enthaltenen Blockgröße angibt, welche dem kleinsten Subblock des Bereichs zugeordnet ist.Indicates the area of the first block structure (MV_QCIF; MV_CIF) contained in the comparison area which is assigned to the smallest sub-block of the area.
9. Verfahren nach einem der vorhergehenden Ansprüche, da¬ durch gekennzeichnet, dass die übernommenen Subblöcke nicht-dyadisch geteilt sein können.9. The method according to any one of the preceding claims, da¬ characterized in that the acquired sub-blocks can be divided non-dyadically.
10. Verfahren nach einem der Ansprüche, dadurch gekennzeich- net, dass als erste Blockstruktur (MV_CIF) einer dritten10. The method according to any one of claims, marked thereby, that as a first block structure (MV_CIF) of a third
Auflösungsstufe die modifizierte zweite Blockstruktur (MV' 4CIF) der zweiten Auflösungsstufe verwendet wird, wobei die zweite Auflösungsstufe eine niedrigere Bild¬ punktanzahl und/oder Bildqualität aufweist als die dritte Auflösungsstufe.Resolution level the modified second block structure (MV '4CIF) of the second resolution level is used, wherein the second resolution level has a lower Bild¬ number of points and / or image quality than the third resolution level.
11. Verfahren nach einem der Ansprüche 7 bis 10, dadurch ge¬ kennzeichnet, dass die Codierung derart erfolgt, dass in die zweite modifizierte Blockstruktur (MV_CIF; MV_4CIF) nicht übernommen Subblöcke jeweils gekennzeichnet werden.11. The method according to any one of claims 7 to 10, characterized ge indicates that the coding is carried out such that in the second modified block structure (MV_CIF; MV_4CIF) not taken sub-blocks are each marked.
12. Verfahren nach einem der Ansprüche 9 bis 11, dadurch ge¬ kennzeichnet, dass die Codierung derart erfolgt, dass nicht-dyadisch geteilte Subblöcke jeweils gekennzeichnet werden.12. The method according to any one of claims 9 to 11, characterized ge indicates that the coding is such that non-dyadically divided sub-blocks are each marked.
13. Verfahren nach dem vorhergehenden Anspruch, dadurch ge¬ kennzeichnet, dass die Kennzeichnung durch die Verwendung eines, insbesondere als ,,not_refined", bezeichneten Rich- tungsmodus erfolgt. 13. The method according to the preceding claim, characterized ge indicates that the identification by the use of a, in particular as "not_refined" designated direction mode takes place.
14. Verfahren insbesondere nach einem vorhergehenden Ansprü¬ che, dadurch gekennzeichnet, dass im Rahmen der Codierung der Bitfolge ein Bitstrom derart erzeugt wird, dass er in Verbindung mit einer Aktualisierung von Bewegungsinforma- tionen eine skalierbare Textur repräsentiert, wobei dies vorzugsweise dadurch erfolgt, dass der Bitstrom durch Texturauflösungsstufen realisiert sowie insbesondere zu¬ mindest abhängig vom Vergleichsergebnis sowie von einer für eine Übertragung zu realisierenden Bitrate variiert wird.14. A method in particular according to a preceding Ansprü¬ che, characterized in that in the context of coding the bit sequence, a bit stream is generated such that it represents a scalable texture in connection with an update of Bewegungsinforma- tions, this preferably takes place in that the bit stream is realized by texture resolution stages and in particular is varied at least as a function of the comparison result and also by a bit rate to be realized for a transmission.
15. Verfahren nach Anspruch 14, dadurch gekennzeichnet, dass die Texturauflösungsstufen als Anzahl vom Bitebenen rea¬ lisiert werden.15. The method according to claim 14, characterized in that the texture-resolution stages are realized as a number of bit planes.
16. Verfahren nach Anspruch 15, dadurch gekennzeichnet, dass die Anzahl der Bitebenen (BTPLl...BTPLN) in Abhängigkeit der Auflösungsstufe variiert wird.16. The method according to claim 15, characterized in that the number of bit planes (BTPLl ... BTPLN) is varied depending on the resolution level.
17. Verfahren nach einem der Ansprüche 15 bis 16, dadurch ge¬ kennzeichnet, dass im Fall der direkten Proportionalität des Wertes der modifizierten zweiten Blockstruktur (MV'_CIF; MV'_4CIF) zumindest ein erster Teil der die Textur repräsentierenden Bitebenen (BTPLn...BTPLN) aktuali- siert wird.17. The method according to any one of claims 15 to 16, characterized ge indicates that in the case of direct proportionality of the value of the modified second block structure (MV'_CIF; MV'_4CIF) at least a first part of the texture representing Bitebenen (BTPLn .. .BTPLN) is updated.
18. Verfahren nach Anspruch 17, dadurch gekennzeichnet, dass die Aktualisierung derart erfolgt, dass die Übertragung eines zweiten Teils (BTPLn'...BTPLN' ) erfolgt.18. The method according to claim 17, characterized in that the updating is carried out such that the transmission of a second part (BTPLn '... BTPLN') takes place.
19. Verfahren nach Anspruch 17, dadurch gekennzeichnet, dass die Aktualisierung derart erfolgt, dass der erste Teil (BTPLn...BTPLN) durch einen zweiten Teil von Bitebenen (BTPLn'...BTPLN' ) modifiziert wird.19. The method according to claim 17, characterized in that the updating is performed such that the first part (BTPLn ... BTPLN) is modified by a second part of bit-planes (BTPLn '... BTPLN').
20. Verfahren nach einem der Ansprüche 16 bis 19, dadurch gekennzeichnet, dass die Aktualisierung derart erfolgt, dass diejenigen Regionen (REFINEMENT) einer der zweiten Blockstruktur zugeordneten Textur (TEXTURl) verfeinert werden, die durch die modifizierte zweite Blockstruktur (MV'_CIF; MV'_4CIF) definiert sind.20. The method according to any one of claims 16 to 19, characterized in that the update is carried out in such a way that those regions (REFINEMENT) of a texture (TEXTUR1) associated with the second block structure are refined, which are defined by the modified second block structure (MV'_CIF;MV'_4CIF).
21. Verfahren nach einem der Ansprüche 14 bis 19, dadurch ge¬ kennzeichnet, dass bei einer hohen Bitrate eine über die Anzahl (BTPLl...BRPLN) zweite Anzahl (BTPLN...BTPLN+M) von Bitebenen übertragen wird.21. The method according to any one of claims 14 to 19, characterized ge indicates that at a high bit rate over the number (BTPLl ... BRPLN) second number (BTPLN ... BTPLN + M) is transmitted by bit-planes.
22. Verfahren zum Decodieren insbesondere einer nach dem Ver¬ fahren nach einem der Ansprüche 1 bis 20 erzeugten co¬ dierten Bitfolge, dadurch gekennzeichnet, dass unter Be¬ rücksichtigung der in der Bildfolge enthaltenen nach ei- nem Verfahren, insbesondere gemäß einem der vorhergehen¬ den Ansprüche, erzeugten Aktualisierung von Bewegungsin¬ formationen sowie einem eine skalierbare Textur repräsen¬ tierenden Bitstrom eine skalierte Darstellung der Bild¬ folge erzeugt wird.22. Method for decoding, in particular, a coded bit sequence generated according to the method according to one of claims 1 to 20, characterized in that, taking into account the sequence contained in the picture sequence according to a method, in particular according to one of the preceding A scaled representation of the image sequence is generated according to the claims, the updating of motion information and a bit stream representing a scalable texture.
23. Codierer zur Erzeugung einer codierten Bildfolge gekenn¬ zeichnet durch Mittel zur Durchführung des Verfahrens nach einem der Ansprüche 1 bis 20.23 encoder for generating a coded image sequence gekenn¬ characterized by means for performing the method according to one of claims 1 to 20.
24. Decodierer gekennzeichnet durch Mittel zum Decodieren ei¬ ner nach dem Verfahren nach einem der Ansprüche 1 bis 20 erzeugten codierten Bitfolge.24. Decoder characterized by means for decoding ei¬ ner generated according to the method of any one of claims 1 to 20 coded bit sequence.
25. Decodierer nach Anspruch 23, gegenzeichnet durch Mittel zum Detektieren skalierbare Texturen repräsentierenden Teilen des Bitstroms anzeigender erster Signale, wobei die Signale insbesondere als Syntaxelemente ausgestaltet sind.25. A decoder according to claim 23, characterized by means for detecting scalable textures representing parts of the bit stream indicative of the first signals, wherein the signals are designed in particular as syntax elements.
26. Decodierer nach einem der vorhergehenden Ansprüche, ge¬ genzeichnet durch Mittel zum Detektieren zu aktualisie- rende Regionen anzeigender zweiter Signale, wobei die Signale insbesondere als Syntaxelemente ausgestaltet sind.26. Decoder according to one of the preceding claims, to be updated by means for detecting rende regions indicating second signals, the signals are designed in particular as syntax elements.
27. Decoder nach einem der vorhergehenden Ansprüche, gekenn¬ zeichnet durch Mittel zur Bestimmung derjenigen Bitebene (BTPLn) , bei der eine Aktualisierung zu Verbesserungen einer Darstellung der Codierten Bildfolge führt.27. Decoder according to one of the preceding claims, gekenn¬ characterized by means for determining that bit-plane (BTPLn), wherein an update leads to improvements of a representation of the coded image sequence.
28. Decoder nach einem der vorhergehenden Ansprüche, gekenn¬ zeichnet durch Mittel zur Bestimmung derjenigen Bitebene (BTPLN) , bei der die Aktualisierung einer Textur erfolgen soll.28. Decoder according to one of the preceding claims, gekenn¬ characterized by means for determining that bit plane (BTPLN), in which the updating of a texture is to take place.
29. Decoder nach einem der vorhergehenden Ansprüche, gekenn¬ zeichnet durch Mittel zur Aktualisierung einer Textur, die derart ausgestaltet sind, dass eine Berücksichtigung einer aktualisierten Bewegungsinformation erfolgt.29. Decoder according to one of the preceding claims, gekenn¬ characterized by means for updating a texture, which are designed such that a consideration of an updated motion information takes place.
30. Decoder nach einem der vorhergehenden Ansprüche, gekenn¬ zeichnet durch Aktualisierungsmittel, die derart ausges¬ taltet sind, dass aus einer vorhandenen Textur eine aktu¬ alisierte Textur derart gebildet wird, dass aus der zu der Textur zugeordneten Texturinformation und einer Tex- turaktualisierungsinformation die aktualisierte Texturin¬ formation gebildet wird.30. Decoder according to one of the preceding claims, gekenn¬ characterized by updating means, which are ausgest¬ taltet such that from an existing texture an aktu¬ alisierte texture is formed such that from the associated texture texture information and a text update information the updated Texturin¬ formation is formed.
31. Decoder nach Anspruch 30, dadurch gekennzeichnet, dass die Aktualisierungsmittel derart ausgestaltet sind, dass die Texturinformation zumindest teilweise durch die Tex¬ turaktualisierungsinformation ersetzt wird. 31 decoder according to claim 30, characterized in that the updating means are configured such that the texture information is at least partially replaced by the tur¬ turaktualisierungsinformation.
EP05764634A 2004-08-27 2005-07-29 Method and device for coding and decoding Ceased EP1782634A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102004041664A DE102004041664A1 (en) 2004-08-27 2004-08-27 Method for coding and decoding, as well as coding and decoding apparatus for video coding
PCT/EP2005/053709 WO2006024584A1 (en) 2004-08-27 2005-07-29 Method and device for coding and decoding

Publications (1)

Publication Number Publication Date
EP1782634A1 true EP1782634A1 (en) 2007-05-09

Family

ID=35063418

Family Applications (1)

Application Number Title Priority Date Filing Date
EP05764634A Ceased EP1782634A1 (en) 2004-08-27 2005-07-29 Method and device for coding and decoding

Country Status (7)

Country Link
US (1) US8290058B2 (en)
EP (1) EP1782634A1 (en)
JP (2) JP2008511226A (en)
KR (1) KR101240441B1 (en)
CN (1) CN101010961B (en)
DE (1) DE102004041664A1 (en)
WO (1) WO2006024584A1 (en)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102004041664A1 (en) 2004-08-27 2006-03-09 Siemens Ag Method for coding and decoding, as well as coding and decoding apparatus for video coding
DE102005016827A1 (en) * 2005-04-12 2006-10-19 Siemens Ag Adaptive interpolation during image or video coding
KR100970697B1 (en) * 2008-05-27 2010-07-16 그리다 주식회사 Partially-updating method for image data
US8306122B2 (en) * 2008-06-23 2012-11-06 Broadcom Corporation Method and apparatus for processing image data
US20110002554A1 (en) * 2009-06-11 2011-01-06 Motorola, Inc. Digital image compression by residual decimation
US20110002391A1 (en) * 2009-06-11 2011-01-06 Motorola, Inc. Digital image compression by resolution-adaptive macroblock coding
KR101675118B1 (en) 2010-01-14 2016-11-10 삼성전자 주식회사 Method and apparatus for video encoding considering order of skip and split, and method and apparatus for video decoding considering order of skip and split
US8532408B2 (en) 2010-02-17 2013-09-10 University-Industry Cooperation Group Of Kyung Hee University Coding structure
JP5616984B2 (en) * 2011-01-26 2014-10-29 株式会社日立製作所 Image decoding device
KR102257542B1 (en) 2012-10-01 2021-05-31 지이 비디오 컴프레션, 엘엘씨 Scalable video coding using subblock-based coding of transform coefficient blocks in the enhancement layer
TWI479473B (en) * 2013-05-28 2015-04-01 Innolux Corp Liquid crystal display and display method thereof
WO2015059876A1 (en) * 2013-10-22 2015-04-30 日本電気株式会社 Block structure decision circuit and block structure decision method
US10275646B2 (en) * 2017-08-03 2019-04-30 Gyrfalcon Technology Inc. Motion recognition via a two-dimensional symbol having multiple ideograms contained therein
US10593097B2 (en) * 2018-05-08 2020-03-17 Qualcomm Technologies, Inc. Distributed graphics processing

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6084908A (en) * 1995-10-25 2000-07-04 Sarnoff Corporation Apparatus and method for quadtree based variable block size motion estimation
AUPO951297A0 (en) * 1997-09-29 1997-10-23 Canon Information Systems Research Australia Pty Ltd Method and apparatus for digital data compression
JP3660548B2 (en) * 2000-02-01 2005-06-15 日本電信電話株式会社 Image encoding method and image decoding method, image encoding device and image decoding device, and medium storing these programs
DE10022520A1 (en) 2000-05-10 2001-11-15 Bosch Gmbh Robert Method for spatially scalable moving image coding e.g. for audio visual and video objects, involves at least two steps of different local resolution
KR20020030101A (en) * 2000-06-30 2002-04-22 요트.게.아. 롤페즈 Encoding method for the compression of a video sequence
KR100353851B1 (en) * 2000-07-07 2002-09-28 한국전자통신연구원 Water ring scan apparatus and method, video coding/decoding apparatus and method using that
FI120125B (en) * 2000-08-21 2009-06-30 Nokia Corp Image Coding
KR100783396B1 (en) * 2001-04-19 2007-12-10 엘지전자 주식회사 Spatio-temporal hybrid scalable video coding using subband decomposition
DE10219640B4 (en) 2001-09-14 2012-05-24 Siemens Ag Method for coding and decoding video sequences and computer program product
US6909753B2 (en) * 2001-12-05 2005-06-21 Koninklijke Philips Electronics, N.V. Combined MPEG-4 FGS and modulation algorithm for wireless video transmission
KR20040046892A (en) * 2002-11-28 2004-06-05 엘지전자 주식회사 Method of video coding and decoding for motion vector prediction
DE102004038110B3 (en) * 2004-08-05 2005-12-29 Siemens Ag Method for coding and decoding, as well as coding and decoding apparatus for video coding
DE102004041664A1 (en) 2004-08-27 2006-03-09 Siemens Ag Method for coding and decoding, as well as coding and decoding apparatus for video coding
JP2007096479A (en) * 2005-09-27 2007-04-12 Nippon Telegr & Teleph Corp <Ntt> Inter-layer prediction coding method and apparatus, inter-layer prediction decoding method and apparatus, and program for them, and recording medium

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
BENOIT TIMMERMAN ET AL: "Response to SVC CE5 - Optimization of tradeoff between motion information and texture", 70. MPEG MEETING; 18-10-2004 - 22-10-2004; PALMA DE MALLORCA; (MOTION PICTURE EXPERT GROUP OR ISO/IEC JTC1/SC29/WG11),, no. M11365, 13 October 2004 (2004-10-13), XP030040139, ISSN: 0000-0252 *
See also references of WO2006024584A1 *
XU JIZHENG ET AL: "3D Sub-band Video Coding using Barbell lifting, ISO/IEC JTC1/SC29/WG11 MPEG2004/M10569/S05", ISO/IEC JTC1/CS29/WG11 MPEG2004/M10569/S05, XX, XX, 1 March 2004 (2004-03-01), pages 1 - 14, XP002356360 *

Also Published As

Publication number Publication date
KR101240441B1 (en) 2013-03-08
WO2006024584A1 (en) 2006-03-09
US8290058B2 (en) 2012-10-16
KR20070046880A (en) 2007-05-03
JP5300921B2 (en) 2013-09-25
US20080095241A1 (en) 2008-04-24
JP2008511226A (en) 2008-04-10
CN101010961B (en) 2010-12-01
DE102004041664A1 (en) 2006-03-09
CN101010961A (en) 2007-08-01
JP2011172297A (en) 2011-09-01

Similar Documents

Publication Publication Date Title
WO2006024584A1 (en) Method and device for coding and decoding
DE60031230T2 (en) SCALABLE VIDEO CODING SYSTEM AND METHOD
EP1774790B1 (en) Coding and decoding method and device
DE60109423T2 (en) VIDEO CODING WITH PREDICTIVE BITEBENDER CODING AND PROGRESSIVE FINE GRANULARITY SCALING (PFGS)
EP1815690A1 (en) Transcoding method and device
DE10022520A1 (en) Method for spatially scalable moving image coding e.g. for audio visual and video objects, involves at least two steps of different local resolution
DE60310128T2 (en) METHOD FOR WAVELET BILDCODING AND CORRESPONDING DECODING METHOD
EP1285537B1 (en) Method and an arrangement for the coding and decoding of a series of images
WO2006067053A1 (en) Image encoding method and associated image decoding method, encoding device, and decoding device
EP1815689A1 (en) Encoding and decoding method and encoding and decoding device
EP1869890B1 (en) Method and device for minimising a quantisation error
EP1762100A1 (en) Scalable method for encoding a series of original images, and associated image encoding method, encoding device, and decoding device
DE10121259C2 (en) Optimal SNR scalable video coding
EP1157557A1 (en) Method and arrangement for transforming an image area
WO2008006806A2 (en) Method and encoding device for encoding an image area of an image of an image sequence in at least two quality levels, and method and decoding device for decoding a first encoded data flow and a second encoded data flow
EP1913780B1 (en) Method for correcting a quantised data value and associated device
DE102004011421B4 (en) Apparatus and method for generating a scaled data stream
WO2009074393A1 (en) Method and device for determining image quality
DE10225434A1 (en) Video coding method and apparatus
EP1085761A1 (en) Motion estimation for object-oriented video coding
DE10311054A1 (en) Partial band coding of digital video images uses different levels of filter resolution for high quality
DE10243568A1 (en) Scalable video coding of video image signal involves quantising transformation signal at different quality levels in coding branches, entropy coding, feeding back transformation signal in one branch
DE102006050066A1 (en) Digitized video image coding method for coding and decoding system, involves determining set of moving vectors, executing coding for image in resolution level by using moving vectors, and obtaining coding signal
WO2000049525A1 (en) Method and system for storing at least one image and its associated relational information
DD284324A5 (en) TRANSFER PROCEDURE AND RECIPIENT FOR A TRANSMISSION PROCEDURE

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20070206

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LI LT LU LV MC NL PL PT RO SE SI SK TR

DAX Request for extension of the european patent (deleted)
RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: SIEMENS AKTIENGESELLSCHAFT

RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: SIEMENS AKTIENGESELLSCHAFT

17Q First examination report despatched

Effective date: 20150224

REG Reference to a national code

Ref country code: DE

Ref legal event code: R003

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION HAS BEEN REFUSED

18R Application refused

Effective date: 20151112