CN101180882B - 用于对视频数据进行编码的方法和设备，及用于对视频数据进行解码的方法和设备 - Google Patents

用于对视频数据进行编码的方法和设备，及用于对视频数据进行解码的方法和设备 Download PDF

Info

Publication number
CN101180882B
CN101180882B CN2006800178525A CN200680017852A CN101180882B CN 101180882 B CN101180882 B CN 101180882B CN 2006800178525 A CN2006800178525 A CN 2006800178525A CN 200680017852 A CN200680017852 A CN 200680017852A CN 101180882 B CN101180882 B CN 101180882B
Authority
CN
China
Prior art keywords
frame
pass frames
prediction
high pass
residual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN2006800178525A
Other languages
English (en)
Other versions
CN101180882A (zh
Inventor
陈颖
翟杰夫
高奎
谢凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
International Digital Madison Patent Holding SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of CN101180882A publication Critical patent/CN101180882A/zh
Application granted granted Critical
Publication of CN101180882B publication Critical patent/CN101180882B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H04N19/615—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding using motion compensated temporal filtering [MCTF]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

基于H.264/AVC的可扩展视频编码(SVC)使用运动补偿，运动补偿导致运动向量和残差画面。为了优化对增强层的残差画面的编码，可以根据基本层对其进行预测。这需要复杂的编码器和解码器。提供了简化的残差预测技术，其关注于在优化编码效率的同时降低对空间可扩展的增强层的编码和解码的复杂度。一种用于对包含高通帧和低通帧的视频数据进行编码的方法包括步骤：对低通帧进行编码，其中可以使用残差预测(ORP)；将高通帧分裂成两个交错的帧组；对所述帧组的第一帧组中的帧进行编码，其中可以使用残差预测；以及使用无残差预测(NoRP)的编码方法来对第二帧组中的帧进行编码。

Description

用于对视频数据进行编码的方法和设备，及用于对视频数据进行解码的方法和设备
技术领域
本发明涉及一种用于对视频数据进行编码的方法和设备，以及涉及一种用于对视频数据进行解码的方法和设备。
背景技术
H.264/AVC标准提供了极好的编码效率，但是它不考虑可扩展视频编码(SVC)。SVC提供了不同层，通常是基本层(BL)和增强层(EL)。运动图像专家组(MPEG)作用于视频编解码器的增强功能性。已经提供了各种技术，并且联合视频组织(JVT)启动了一项称为JSVC的标准以及相应的参考软件(JSVM)。SVC为应用提供了时间、SNR和空间可扩展性。JSVM的BL遵从H.264，按照规范，H.264中的大部分组件用于JSVM，因此仅需要根据子带结构来调整少量组件。在所有可扩展性中，空间可扩展性是最具挑战并最受人关注的，因为很难利用两个空间可扩展层之间的冗余。
SVC为空间可扩展性提供了多种技术，诸如IntraBL模式、残差预测或BLSkip(基本层跳过)模式。可以在宏块(MB)水平上选择这些模式。
IntraBL模式使用上采样的重构BL图像来预测EL中的MB，并只对残差进行编码。残差预测尝试通过减去BL的上采样运动补偿(MC)残差来减少EL中的MC残差的能量。BLSkip模式将上采样BL运动向量(MV)用于EL中的MB，并且如果MB选择了这种模式，则仅需要将残差写进比特流。因此，在空间可扩展情况下，BLSkip模式利用BL的MV和EL的MV之间的冗余。
对于包括SVC中的P图像和B图像的帧间(inter)编码图像，将残差预测用于减少残差的能量以改善编码效率。基本思想是首先通过对相应BL图像的残差信号进行上采样来获得预测残差，其中使用2抽头(tap)双线性滤波器。然后，从源自EL的运动估计的真实残差中减去预测残差，并通过DCT、熵编码等对差值进行编码。
通常，逐MB地、针对由4×4，8×8，16×16的子块组成的每个MB、并基于MC精确度来进行残差上采样。例如，如果MC精确度是16×16，则整个16×16仅使用一个运动向量；如果MC精确度是8×8，则每四个8×8的子块都可以具有不同的运动向量。针对不同的8×8子块的残差具有低相关性，因此对四个不同子块进行上采样处理。SVC利用简单的2抽头双线性滤波器，首先在水平方向然后在垂直方向上执行上采样过程。相应的滤波器作用于MB水平，并因此无法横跨8×8块的边界。
针对上述过程的选项是针对特定MB是否使用残差预测。模式判决过程尝试了不同的模式，全部使用或不用残差预测。这被称为自适应残差预测。
由H.264/SVC所采用的典型帧结构包含：两个帧内编码的参考帧，将其用在接收机处以用于即时解码器刷新(IDR)；以及多个帧内编码或帧间编码帧，其构成多个GOP(图像组)。可以内插或预测帧间编码的帧。在小波分解中，GOP的EL典型地包括多个高通帧，其后跟着一个低通帧。低通帧用于在前和随后的高通帧，即用于两个GOP。
发明内容
对于编码器和解码器而言，使用预测残差都是非常复杂的过程。因此，需要能够使用较少复杂度的编码器和/或解码器的简化处理。禁用残差预测将使解码器复杂度降低大约2的因子，但它同时降低了编码效率。另一方面，自适应残差预测是非常有潜力的技术，其针对同一目标质量将编码效率改进了大约5-10％(基于PSNR)。通常地，希望实质上保持或甚至改进编码和解码过程的效率水平。因此启用残差预测是合理的。但是，例如对于实时应用，如果对每个图像都启用残差预测，那么已知解码器对于例如双层(QCIF/CIF)空间可扩展比特流的实时解码而言过于缓慢。
本发明提供了简化的残差预测技术，其关注于降低空间可扩展EL的编码和/或解码复杂度，而仅稍微降低或甚至提高了编码效率。
根据本发明的一个方面，一种用于对包含高通帧和低通帧的视频数据进行编码的方法(其中，该编码基于预测和更新步骤)包括以下步骤：
对低通帧进行编码，其中可以使用残差预测；
例如通过根据其序号(即，使用固定光栅(raster))将每个高通帧分配给一个组，将高通帧分裂成两个(优选为交错的)帧组；
对所述帧组的第一帧组中的帧进行编码，其中可以使用残差预测；以及
使用无残差预测的编码方法来对第二帧组中的帧进行编码，即对于这些帧，禁止残差预测。
在本发明的这个方面的优选实施例中，对第一帧组中的帧进行编码包括模式选择，其中没有一种可能的编码模式使用宏块水平上的残差预测。然而，在一个实施例中，针对第一帧组的编码模式中的至少一种模式使用帧水平上的残差预测，这里将其称为“简化的残差预测”。对于简化的残差预测，优选地根据EL的信息来产生EL残差，而不使用BL残差。
在特别优选的实施例中，第一帧组包括偶高通帧，第二帧组包括奇高通帧。
具体地，本发明对于属于可扩展视频信号的增强层的那些高通和低通帧是有利的。因此，提供了针对SVC的改进并简化的残差预测方案。
由根据本发明的一个实施例的编码器所产生的结果视频信号包括至少两个空间可扩展层：BL和EL，其中EL包含编码的低通帧数据和编码的高通帧数据，并且其中，编码的高通帧数据包含编码模式指示，并可以被分裂成两种类型或两个组，这两个组之一中的高通帧数据包括用于指示是否是使用残差预测而进行编码的指示，以及其中的至少一些高通帧数据是使用帧水平而非MB水平上的残差预测(简化残差预测)进行编码的，这两个组中的另一个组的高通帧数据在不使用残差预测的情况下被编码。因此，这些帧不需要包含这种残差预测指示。第二组中的帧数据包含在不使用任何残差预测的情况下完全编码的残差图像。
因此，对于第二高通帧组，可以跳过残差预测，并且可以在帧水平而非MB水平上对第一高通帧组执行残差预测。这导致编码器以及解码器的复杂度降低，因为例如，在编码以及解码过程中不需要将帧分裂成块。
作为示例，如果GOP的大小是16，则它的结构是(未示出在前的IDR帧，P是预测帧，Bx是双线性预测帧)：P1 B1 B2 B3 B4 B5 B6B7 B8 B9 B10 B11 B12 B13 B14 B15 P2。根据本发明的优选实施例，对以下奇帧不进行残差预测：B1，B3，B5，B7，B9，B11，B13，B15。对以下偶帧进行简化的自适应残差预测：B2，B4，B6，B8，B10，B12，B14。对以下帧进行原始的传统自适应预测编码：P1 P2。
有利地，对于根据本发明的编码方法，不需要将帧分裂成MB。
用于对包含高通帧和低通帧的视频数据进行编码的相应设备(其中，该编码基于预测和更新步骤)包括：
用于对低通帧进行编码的装置，其中可以使用残差预测；
用于例如通过按照高通帧的序号将每个高通帧分配给一个组，将高通帧分裂成两个(优选地为交错的)帧组的装置；
用于对所述帧组的第一帧组中的帧进行编码的装置，其中，可以使用残差预测；以及
用于使用无残差预测的编码方法来对第二帧组中的帧进行编码的装置。此外，该设备还包括用于将残差预测指示标记插入第一帧组中的帧的装置。
根据本发明的另一个方面，一种用于对包含编码高通帧和编码低通帧的视频数据进行解码的方法(其中，至少对高通帧的解码是基于反向预测和反向更新步骤)包括以下步骤：
根据由例如编码模式标记所指示的编码模式来对低通帧进行解码；
根据高通帧的顺序(序号)来确定该高通帧是属于第一还是第二帧组(Beven，Bodd)；以及
对该高通帧进行解码，其中，如果该高通帧属于第一帧组(Beven)，则该解码使用对用于反向预测和反向更新步骤的残差的预测，以及如果该高通帧属于第二帧组，则在不经预测的情况下获得用于反向预测和反向更新步骤的残差。所述预测可以使用相应的BL残差的上采样，但是这在原理上也是另一种预测技术。
用于对包含编码高通帧和编码低通帧的视频数据进行解码的相应设备(其中，至少对编码高通帧的解码是基于反向预测和反向更新步骤)至少包括：
用于根据低通帧的编码模式对该低通帧进行解码的装置；
用于根据高通帧的顺序来确定该高通帧是属于第一还是第二帧组(Beven，Bodd)的装置；以及
用于对该高通帧进行解码的装置，其中，如果该高通帧属于第一帧组(Beven)，则该解码装置对用于反向预测和反向更新步骤的残差执行预测，以及如果该高通帧属于第二帧组，则在不经预测的情况下获得用于反向预测和反向更新步骤的残差。
在从属权利要求、下面的说明书和附图中公开了本发明的有利实施例。
附图说明
参考附图，对本发明的示例性实施例进行描述，在附图中：
图1示出了在水平方向上对残差进行上采样的原理；
图2示出了根据本发明的针对GOPSize＝8的GOP的残差预测方案；
图3示出了针对传统残差预测的块边界；以及
图4示出了简化的残差预测。
具体实施方式
以下文本涉及帧以及图像。在已经提到帧的情况下，对图像进行相同处理，反之亦然。
图1示出了使用4×4运动估计精确度在水平方向上对残差进行上采样的原理。例如，SVC利用简单的2抽头双线性滤波器，首先在水平方向上然后在垂直方向上执行上采样操作。通过平均两个邻近的原始像素来产生上采样像素值，并且上采样像素的位置正好在两个原始像素中间，因此系数是[1/2，1/2]。该2抽头滤波器不能横跨(cross)MB边界。尽管在左边界处不存在问题，但是右边界处的上采样像素刚好是其最近的相邻像素的拷贝。这被称为“最近领域法”。
对于传统的上采样，首先可以将整个残差图像分裂成MB，然后再分裂成子块。这意味着针对小块的多个存储拷贝操作和上采样步骤。这是在启用残差预测时解码器的高复杂度的主要原因。
本发明公开了通过自适应地使用残差预测、部分跳过残差预测以及修改残差预测方法来降低编码器的复杂度和解码器的复杂度的方法。
典型地，对于每个GOP都存在作为低通帧的一个P帧，例如如果GOP大小为16，那么与低通帧相关联的参数picture_id_inside_gop是16。作为P或B帧的其它15个帧是具有不同分解等级的高通帧。具有最高分解等级的帧是picture_id_inside_gop为奇数的那些：1，3，5，7，9，11，13，15。我们将那些图像称为奇图像。在本发明中，我们提出了两种解决方案来取代传统的残差上采样过程。
一种解决方案是使用传统的上采样方法来进行残差预测。然而，该过程不是对块而是对整个帧所执行的。这表示2抽头滤波器在到达整个帧的边界之前将忽略帧内的任何边界。因此，不需要将整个残差帧分裂成MB或子块。
第二种解决方案是对于一些帧完全不进行任何残差预测，因为一旦使用残差预测(为了提高编码效率)，则将在模式判决过程中选择自适应类型。换言之，在模式判决期间，与运动补偿相关的所有模式将尝试两种不同的子模式：具有残差预测的模式或者无残差预测的模式。将用于指示选择了哪种模式的标记(residual_prediction_flag)写入图像中的每个MB。
如实验所示，低通图像具有使用残差预测的高概率。典型地，低通图像的大约30％的MB将启用residual_prediction_flag。然而，已经发现：高通图像的分解级越高，则越少MB使用残差预测。对于最高分解级图像(奇图像)，仅有极少数的MB启用residual_prediction_flag。
根据本发明，将GOP的高通帧分裂成两个交错组，以及针对这两个组之一中的帧或图像，在帧水平上进行残差预测，而对另一组中的所有帧，禁止残差预测，由此可以在模式判决期间跳过残差预测。
在本发明的一个实施例中，对于所有奇图像，禁止残差预测。
有利地，即使完全不进行残差预测，观众通常也不会注意到速率失真(RD)表现，因为仅改变了少数MB的模式。另一个重要原因是：当不对整个图像中的任何MB进行残差预测时，每个MB将节省residual_prediction_flag的1比特。甚至在熵编码之后，将节省一些比特，从而改进了对于奇图像的编码效率。
实际上，从复杂度来看，如果禁用残差预测，则因为将跳过对每个MB的上采样过程，这在解码过程中将节省大约一半计算努力。这对于实时解码器是有利的。
降低解码器复杂度的另一个方法是：对于其它高通图像(即偶高通图像)，我们基于整个帧来进行残差上采样。优点是：实际上我们不需要检测运动估计(ME)块的边界，并且在整个帧中以相同方式实现2抽头滤波器，直到到达帧边界。因此，在残差上采样之前，我们不需要将整个残差帧分裂成块。因此，对于小块，我们节省了分裂时间和存储移动时间。
如图2所示，对于低通图像，利用原始的自适应残差预测(ORP)，以保持高编码效率。对于最高分解级，例如具有奇值picture_id_inside_gop的帧，不使用残差预测(NRP)，并针对这些帧中的每个MB，节省了residual_prediction_flag。针对其它高通帧(picture_id_inside_gop＝2，4，6)，我们可以选择使用弱残差预测方案，比如上述简化的残差预测(SRP)。
图3和图4示出了残差预测和简化残差预测之间的差别。在当前JVSM中，以块进行残差预测。当在图3中滤波器碰到ME块的边界时，该滤波器将停止，并且将使用如图1所示的最近领域法来预测上采样残差的边界。然而，为了降低复杂度，我们选择对针对一些高通图像所采用的残差预测过程进行简化。在进行残差预测的情况下，不再需要基于MB水平。因此，不需要对整个残差帧进行分裂，以及不需要多个存储操作。对于2抽头滤波器，在卷积操作到达帧的右或底边界(如图4所示)之前，没有差别。图3和图4中的边界都用于卷积操作。
原则上，还可以彼此独立地或者与其它模式结合地使用上述两种技术：针对至少一些帧的简化残差预测以及针对至少一些其它帧的残差预测的跳过。例如，可以将高通帧分裂成三组，一组使用传统编码，第二组使用简化的残差预测，以及第三组跳过残差预测。
此外，可以采用其它交错方案，而不是将偶高通帧分配给一个组以及将奇高通帧分配给另一个组。例如，可以使用以下方案：
不对以下帧进行残差预测：B1-B3，B5-B7，B9-B11，B13-B15；
对以下帧进行简化的自适应残差预测：B4，B8，B12；
以及，对以下帧进行原始的自适应残差预测：P1 P2。
例如，另一个可能的方案是：将先前所描述的针对“无残差预测”的组与针对“简化的自适应残差预测”的组进行交换。
当解码器接收到来自于根据本发明的编码方法的视频信号时，它能够根据特定B帧的序号来确定是否跳过对该帧的残差预测：例如，所有奇帧跳过残差预测。备选地，可以估计该帧是否包含用于指示是否已经使用残差预测的residual_prediction_flag。如果不存在此标记，则解码器可以推断：在编码过程中跳过了残差预测。
自适应残差预测表示还将对其它可能的模式进行测试，例如：inter4×4、inter16×16、inter8×8。因此，当我们提到自适应残差预测时，可以使用或不使用残差预测来对所有这些模式进行测试。因此，在本发明的优选实施例中，将模式选择用于所有高通帧(B1，...，B15)，但是：
-对于偶帧，编码器可以在不同模式之间进行选择，每种模式使用或不使用残差预测；
如果选择残差预测，则将在帧水平上进行残差预测，即简化的残差预测。
-对于奇帧，编码器也可以在不同模式之间进行选择，但对于任意模式都不允许进行残差预测，即禁用残差预测。
因此，高通帧包括示出了如何对其进行编码的指示(例如标记)。
因此，在编码期间需要进行两次判决。第一：对于帧是否使用残差预测。指示这一项的标记已经是运动参数集合(PPS)的一部分，因此它是编码器的问题。第二是如何进行残差预测：简化或原始类型。为了指示此判决的结果，一种可能性是将标记添加到PPS中，然而该PPS优选地应该是标准化的。然后，解码器可以根据此标记来检测相应的解码方法。
在本发明中，基于残差预测对于帧间(高通)图像的不同分解等级的不同重要性，提出了一种可以在很大程度上降低解码器复杂度的简化解决方案。
本发明可用于视频编码和解码，尤其当视频包含两个或更多空间可扩展层并使用例如从运动估计中所产生的残差时。

Claims (11)

1.一种用于对包含通过使用运动补偿时间滤波(MCTF)的时间小波分解所获得的高通帧和低通帧的视频数据进行编码的方法，其中所述编码基于预测和更新步骤，所述方法包括以下步骤：
-对低通帧进行编码，其中使用帧水平上的残差预测(ORP)；
-将高通帧分裂成两个交错的帧组；
-对所述帧组的第一帧组中的帧进行编码，其中使用帧水平上的残差预测；以及
-使用无残差预测(NoRP)的编码方法来对第二帧组中的帧进行编码。
2.根据权利要求1所述的方法，其中，对第一帧组中的帧进行编码的步骤包括选择多个编码模式之一，其中，可能的编码模式中的至少一个模式使用帧水平上的简化残差预测(SRP)，但是没有一个可能的编码模式使用宏块水平上的残差预测。
3.根据权利要求1或2所述的方法，其中，所述第一帧组包括偶高通帧，以及所述第二帧组包括奇高通帧。
4.根据权利要求1或2所述的方法，其中，对所述第二帧组中的帧进行编码的步骤包括模式选择。
5.根据权利要求1或2所述的方法，其中，针对较高层(EL)的帧的残差预测包括对较低层(BL)的相应帧的残差进行上采样。
6.一种用于对包含编码高通帧和编码低通帧的视频数据进行解码的方法，其中，至少对高通帧的解码是基于反向预测和反向更新步骤的，所述方法包括以下步骤：
-根据所述低通帧的编码模式来对所述低通帧进行解码；
-根据高通帧的顺序来确定所述高通帧是属于第一还是第二帧组(Beven，Bodd)；
-对所述高通帧进行解码，其中，如果所述高通帧属于第一帧组(Beven)，则所述解码使用对用于反向预测和反向更新步骤的残差的帧水平上的预测，以及如果所述高通帧属于第二帧组，则在不经预测的情况下获得用于反向预测和反向更新步骤的残差。
7.根据权利要求6所述的方法，其中，针对较高层(EL)的帧的残差预测包括对较低层(BL)的相应帧的残差进行上采样。
8.一种用于对视频数据进行编码的设备，所述视频数据包含通过使用运动补偿时间滤波(MCTF)的时间小波分解所获得的高通帧和低通帧，其中，所述编码基于预测和更新步骤，所述编码设备包括：
-用于对低通帧进行编码的装置，其中使用帧水平上的残差预测；
-用于将高通帧分裂成两个交错帧组的装置；
-用于对所述帧组的第一帧组中的帧进行编码的装置，其中，使用帧水平上的残差预测；以及
-用于使用无残差预测(NoRP)的编码方法来对第二帧组中的帧进行编码的装置。
9.如权利要求8所述的设备，其中，用于对第二帧组中的帧进行编码的装置包括用于执行模式选择的装置。
10.一种对视频数据进行解码的设备，所述视频数据包含编码高通帧和编码低通帧，其中，至少对编码高通帧的解码是基于帧水平上的反向预测和反向更新步骤的，所述设备包括：
-用于根据低通帧的编码模式来对所述低通帧进行解码的装置；
-用于根据高通帧的顺序来确定所述高通帧是属于第一还是第二帧组(Beven，Bodd)的装置；
-用于对所述高通帧进行解码的装置，其中，如果所述高通帧属于第一帧组(Beven)，则解码装置对用于反向预测和反向更新步骤的残差执行帧水平上的预测，以及如果所述高通帧属于第二帧组，则在不经预测的情况下获得用于反向预测和反向更新步骤的残差。
11.根据权利要求8-10任一所述的设备，其中，针对较高层(EL)的帧的残差预测包括对较低层(BL)的相应帧的残差进行上采样。
CN2006800178525A 2005-05-27 2006-05-03 用于对视频数据进行编码的方法和设备，及用于对视频数据进行解码的方法和设备 Active CN101180882B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP05300426.3 2005-05-27
EP05300426A EP1727372A1 (en) 2005-05-27 2005-05-27 Method and apparatus for encoding and decoding video data,
PCT/EP2006/061994 WO2006125713A2 (en) 2005-05-27 2006-05-03 Method and apparatus for encoding video data, and method and apparatus for decoding video data

Publications (2)

Publication Number Publication Date
CN101180882A CN101180882A (zh) 2008-05-14
CN101180882B true CN101180882B (zh) 2010-05-19

Family

ID=34981128

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2006800178525A Active CN101180882B (zh) 2005-05-27 2006-05-03 用于对视频数据进行编码的方法和设备，及用于对视频数据进行解码的方法和设备

Country Status (6)

Country Link
US (1) US8385432B2 (zh)
EP (2) EP1727372A1 (zh)
JP (1) JP4979023B2 (zh)
CN (1) CN101180882B (zh)
DE (1) DE602006007838D1 (zh)
WO (1) WO2006125713A2 (zh)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8442108B2 (en) 2004-07-12 2013-05-14 Microsoft Corporation Adaptive updates in motion-compensated temporal filtering
US8340177B2 (en) 2004-07-12 2012-12-25 Microsoft Corporation Embedded base layer codec for 3D sub-band coding
US8374238B2 (en) 2004-07-13 2013-02-12 Microsoft Corporation Spatial scalability in 3D sub-band decoding of SDMCTF-encoded video
US7956930B2 (en) 2006-01-06 2011-06-07 Microsoft Corporation Resampling and picture resizing operations for multi-resolution video coding and decoding
CN101601300B (zh) * 2006-12-14 2012-07-18 汤姆逊许可公司 用自适应增强层预测对位深度可分级视频数据进行编码和/或解码的方法和设备
US8199812B2 (en) 2007-01-09 2012-06-12 Qualcomm Incorporated Adaptive upsampling for scalable video coding
JP4620695B2 (ja) * 2007-02-21 2011-01-26 日本電信電話株式会社 スケーラブル動画像符号化方法，装置，そのプログラムおよびその記録媒体
US9031129B2 (en) * 2007-06-15 2015-05-12 Microsoft Technology Licensing, Llc Joint spatio-temporal prediction for video coding
CN101159875B (zh) * 2007-10-15 2011-10-05 浙江大学 二重预测视频编解码方法和装置
US8953673B2 (en) 2008-02-29 2015-02-10 Microsoft Corporation Scalable video coding and decoding with sample bit depth and chroma high-pass residual layers
US8711948B2 (en) 2008-03-21 2014-04-29 Microsoft Corporation Motion-compensated prediction of inter-layer residuals
WO2010010942A1 (ja) * 2008-07-25 2010-01-28 ソニー株式会社 画像処理装置および方法
US9571856B2 (en) 2008-08-25 2017-02-14 Microsoft Technology Licensing, Llc Conversion operations in scalable video encoding and decoding
US8213503B2 (en) 2008-09-05 2012-07-03 Microsoft Corporation Skip modes for inter-layer residual video coding and decoding
US9479786B2 (en) 2008-09-26 2016-10-25 Dolby Laboratories Licensing Corporation Complexity allocation for video and image coding applications
KR101675118B1 (ko) 2010-01-14 2016-11-10 삼성전자 주식회사 스킵 및 분할 순서를 고려한 비디오 부호화 방법과 그 장치, 및 비디오 복호화 방법과 그 장치
US9787980B2 (en) * 2011-08-17 2017-10-10 Telefonaktiebolaget Lm Ericsson (Publ) Auxiliary information map upsampling
CN103139560B (zh) * 2011-11-30 2016-05-18 北京大学 一种视频编码方法及系统
JP5938655B2 (ja) * 2012-01-11 2016-06-22 パナソニックＩｐマネジメント株式会社 再生装置、撮像装置およびプログラム
CN104094606A (zh) * 2012-01-31 2014-10-08 索尼公司 图像处理装置和图像处理方法
CN103379340B (zh) * 2012-04-19 2017-09-01 乐金电子(中国)研究开发中心有限公司 一种残差预测方法及装置
CN103716628B (zh) * 2012-09-29 2017-08-18 华为技术有限公司 编解码处理方法、编码器和解码器
US9380305B2 (en) * 2013-04-05 2016-06-28 Qualcomm Incorporated Generalized residual prediction in high-level syntax only SHVC and signaling and management thereof

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1206994A (zh) * 1997-05-14 1999-02-03 索尼公司 信号编码装置和方法、信号记录介质和信号传送方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2677836B1 (fr) * 1991-06-11 1997-08-29 Thomson Csf Codeur-decodeur sous bandes de signaux de television a niveaux compatibilite differents.
JP4186242B2 (ja) * 1997-12-26 2008-11-26 ソニー株式会社 画像信号処理装置及び画像信号処理方法
US8050329B2 (en) * 1998-06-26 2011-11-01 Mediatek Inc. Method and apparatus for generic scalable shape coding
US7412002B2 (en) * 2000-04-28 2008-08-12 Texas Instruments Incorporated Image preprocessing with selective lowpass filtering from motion compensation
EP1320831A2 (en) * 2000-09-12 2003-06-25 Koninklijke Philips Electronics N.V. Video coding method
AUPR222500A0 (en) * 2000-12-21 2001-01-25 Unisearch Limited Method for efficient scalable compression of video
WO2004077834A1 (en) * 2003-02-25 2004-09-10 Koninklijke Philips Electronics, N.V. Three-dimensional wavelet video coding using motion-compensated temporal filtering on overcomplete wavelet expansions
EP1455534A1 (en) * 2003-03-03 2004-09-08 Thomson Licensing S.A. Scalable encoding and decoding of interlaced digital video data
TWI231722B (en) * 2003-08-21 2005-04-21 Mediatek Inc Method and related apparatus for generating stereo output of vocal cancellation
EP1574995A1 (en) * 2004-03-12 2005-09-14 Thomson Licensing S.A. Method for encoding interlaced digital video data
US8340177B2 (en) * 2004-07-12 2012-12-25 Microsoft Corporation Embedded base layer codec for 3D sub-band coding
DE102004059993B4 (de) * 2004-10-15 2006-08-31 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Erzeugen einer codierten Videosequenz unter Verwendung einer Zwischen-Schicht-Bewegungsdaten-Prädiktion sowie Computerprogramm und computerlesbares Medium

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1206994A (zh) * 1997-05-14 1999-02-03 索尼公司 信号编码装置和方法、信号记录介质和信号传送方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
REICHEL J ET AL.Scalable Video Model 3.0.ISO/IEC JTC1/SC29/WG11 N6716.2004,1-85. *

Also Published As

Publication number Publication date
JP2008543138A (ja) 2008-11-27
EP1884118B9 (en) 2013-06-12
DE602006007838D1 (de) 2009-08-27
JP4979023B2 (ja) 2012-07-18
EP1727372A1 (en) 2006-11-29
EP1884118B1 (en) 2009-07-15
EP1884118A2 (en) 2008-02-06
WO2006125713A3 (en) 2007-04-05
US20090041121A1 (en) 2009-02-12
US8385432B2 (en) 2013-02-26
CN101180882A (zh) 2008-05-14
WO2006125713A2 (en) 2006-11-30

Similar Documents

Publication Publication Date Title
CN101180882B (zh) 用于对视频数据进行编码的方法和设备，及用于对视频数据进行解码的方法和设备
US11109050B2 (en) Video encoding and decoding
Flierl et al. Generalized B pictures and the draft H. 264/AVC video-compression standard
KR100679031B1 (ko) 다 계층 기반의 비디오 인코딩 방법, 디코딩 방법 및 상기방법을 이용한 장치
KR100888963B1 (ko) 영상 신호의 스케일러블 인코딩 및 디코딩 방법
KR100678958B1 (ko) 인트라 ｂｌ 모드를 고려한 디블록 필터링 방법, 및 상기방법을 이용하는 다 계층 비디오 인코더/디코더
US8208564B2 (en) Method and apparatus for video encoding and decoding using adaptive interpolation
KR100772873B1 (ko) 스무딩 예측을 이용한 다계층 기반의 비디오 인코딩 방법,디코딩 방법, 비디오 인코더 및 비디오 디코더
RU2365062C1 (ru) Способ управления устранением блочности, учитывающий режим внутреннего bl, и кодировщик/декодер многослойного видео, его использующий
KR100885443B1 (ko) 레이어간 예측방식를 사용해 엔코딩된 영상신호를디코딩하는 방법
US20060153295A1 (en) Method and system for inter-layer prediction mode coding in scalable video coding
US20070171970A1 (en) Method and apparatus for video encoding/decoding based on orthogonal transform and vector quantization
EP1775954A1 (en) Method and apparatus for reconstructing a video frame for spatial multi-layer video sequence
US20100303151A1 (en) Method for decoding video signal encoded using inter-layer prediction
Suzuki et al. Block-based reduced resolution inter frame coding with template matching prediction
Liu et al. Multiple description video coding using hierarchical B pictures
CN117478874A (zh) 一种高压缩率视频关键帧编码方法及解码方法
CN114051137A (zh) 一种空间可分级视频编码方法及解码方法
Liu et al. Spatial transcoding from scalable video coding to H. 264/AVC
Liu et al. Improved intra prediction for H. 264/AVC scalable extension
GB2511288A (en) Method, device, and computer program for motion vector prediction in scalable video encoder and decoder
Ding et al. Motion-compensated 3D wavelet video coding based on adaptive temporal lifting filter implementation

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CP02 Change in the address of a patent holder

Address after: I Si Eli Murli Nor, France

Patentee after: THOMSON LICENSING

Address before: Blogne-Bilangur, France

Patentee before: THOMSON LICENSING

CP02 Change in the address of a patent holder
TR01 Transfer of patent right

Effective date of registration: 20190125

Address after: Paris France

Patentee after: International Digital Madison Patent Holding Co.

Address before: I Si Eli Murli Nor, France

Patentee before: THOMSON LICENSING

Effective date of registration: 20190125

Address after: I Si Eli Murli Nor, France

Patentee after: THOMSON LICENSING

Address before: I Si Eli Murli Nor, France

Patentee before: THOMSON LICENSING

TR01 Transfer of patent right