CN1310519C

CN1310519C - 视频编码和解码方法以及相应信号

Info

Publication number: CN1310519C
Application number: CNB028182200A
Authority: CN
Inventors: C·杜福尔; G·马奎安特; S·E·瓦伦特
Original assignee: Koninklijke Philips Electronics NV
Current assignee: Koninklijke Philips NV
Priority date: 2001-09-18
Filing date: 2002-09-04
Publication date: 2007-04-11
Anticipated expiration: 2022-09-04
Also published as: WO2003026312A3; JP2005503736A; US20030138052A1; EP1430726A2; CN1555654A; KR20040036948A; WO2003026312A2

Abstract

本发明涉及一种施加于视频帧序列并产生编码比特流的视频编码方法，其中以一种可以允许任何解码器识别并解码所述比特流内容的所有分段的比特流语法来描述每个数据项。本发明可以在例如MPEG和ITU-H.26X系列的视频压缩标准中得到应用，依照本发明，该语法包含一个标志，被提供用于在高描述层次对于该编码比特流中描述的每个信道指示是否存在编码的残差信号，所述残差利用一种施加到先前解码的帧上并随后构建所述残差信号的预测技术而被定义。

Description

视频编码和解码方法以及相应信号

本发明涉及视频压缩领域，例如更具体地，涉及MPEG系列(MPEG-1、MPEG-2、MPEG-4)的视频标准以及ITU-H.26X系列(H.261、H.263以及扩充、H.26L)的视频标准。本发明涉及一种施加于视频帧序列并产生编码比特流的视频编码方法，其中以一种可以允许任何解码器识别并解码所述比特流内容的所有分段的比特流语法(bitstream syntax)来描述每个数据项。

本发明还涉及一种用于执行所述编码方法的设备、一种可以由此类编码设备传递的可传送视频信号、一种用于对所述可传送信号解码的视频解码方法以及相应的解码设备。

在第一种视频标准(直到MPEG-4和H.26L)中，视频以宏块为基础在不同的单独信道上被预测编码(例如亮度、色度、形状...)。可以使用例如S.R.Ely1996年在BBC研究和开发报告的文件“MPEG视频编码：基本指南介绍”(”MPEG video coding：a basic tutorialintroduction”，S.R.Ely，BBC Research and DeVelopment Report，1996)中所述的运动补偿技术来执行这种预测。运动向量场被施加到先前解码的帧上以形成要被编码的当前帧的预测。然后可以通过要被编码的当前帧同该预测帧相减来获得差值图像(被称为残差信号或者简称残差)。

存在于在输入信号中存在的所有信道上(亮度、色度、形状...)的所述残差然后被二进制编码。然而，存在几种情况，其中残差包含很少的信息，例如当由于两个连续帧的冗余而使残差的能量很低时，或者当比特预算不允许编码过多有关结构的信息时。利用上述标准，描述要被传送的信号的语法通常包括对于没有信息被编码这一事实的说明，并且迫使推动传送这些不必要的描述元素。这种缺少灵活性的结果是对于比特的浪费，并且因而造成编码效率的损失，例如在MPEG-4以及H.26L标准中所示(并且同时假设例如不希望发送给定图片的亮度和色度信道的残差信号)；

a)MPEG-4标准：

如在MPEG-4文档编号w3056的第50页和53页所定义的，也被称为“信息技术-音频可视对象的编码-第二部分：可视的”，(InformationTechnology-coding of audio-visual objects-Part 2：Visual)ISO/IECJTC1/SC29/WG11，Maui，USA，December 1999，一种被称为“cbpy”的字段被用作描述元素，指出在特定的16×16图像元素(像素)的宏块(MB)的比特流中哪个8×8亮度块已经被实际编码，利用在同一文件第340页的表B-8中所查出的变长度码(VLC)对所述描述元素进行加密编码(当对于该宏块的4个块没有残差信号被编码时，该元素为“0000”，在两个比特上编码)。相似地，一个被称为“mcbpc”的字段(见相同页码50和53)被用作描述元素，指示对于该宏块哪个8×8色度块(U和V)已被编码(当不存在残差信号时，“mcbpc”取值为“00”)。根据宏决类型，使用几个VLC表，因而在比特流中“00”值被表示为1到6个比特(见第339页表B-6和B-7)。因此，宏块对于信息“没有残差信号被编码”需要的比特数在3和8个之间，并且例如，因此对于包含396个宏块的CIF(通用中间格式)内部图片(大小为352×288像素)，比特浪费的范围从396×3比特/宏块(＝1188比特)到396×8比特/宏块(＝3168比特)。

b)H.26L标准：

如在H.26L文档Q15-K-59第16页“H.26L测试模型长期编号5(TML-5)-草案0”(“H.26L Test Model Long Term Number 5(TML-5)-Draft0”)，ITU-Telecommunication Standardization Sector，11^th Meeting，Portland，Oregon，USA，August 22-25，2000中所定义的，在宏块层次使用一种所谓的编码块模型(CBP)语法元素来指示不存在残差信号这一事实。更准确地，其中编码了所述信息的该元素对于给定的16×16宏块包含两种信息：在比特流中哪个8×8亮度块已被编码(在4个比特上)，以及是否已经对色度系数编码(在2个比特上编码的3种可能)。对于“无残差信号”，该CBP元素取十进制值“0”，它被编码在一个比特上(根据同一文档第7页的表1)，并且(正好)对于CI F内部图片，比特浪费因而为396比特。

因而，本发明的一个目的是提出一种允许减少这种比特浪费并且因而能够改善编码效率的视频编码方法。

为此目的，本发明涉及一种如本说明书的开篇部分所定义的方法，其特征特别在于：所述语法包含一个标志，该标志在高描述层次上向相应的编码设备指示对于编码比特流中所描述的每个信道是否存在编码的残差信号。

本发明还涉及由这样的视频编码方法所产生的编码比特流组成的可传送视频信号，其中利用可以允许任何解码器识别和解码所述比特流内容的所有分段的一种比特流语法来描述每个数据项，所述视频帧以宏块为基础借助一种被提供用于产生当前帧预测的预测技术进行编码，并且随后执行要被编码的当前帧同该预测帧的相减，所述相减可以得到一个被称为残差的差值图像并构成要被编码的信号，所述信号的特征在于，它包含一种语法元素，该语法元素被提供用于在高描述层次上指示对于编码比特流所描述的每个信道是否存在编码的残差信号。

本发明还涉及一种用于解码所述可传送视频信号的视频解码方法，并且涉及相应的解码设备。

以下将参考附图以更详细的方式描述本发明，其中：

图1表示具有运动补偿帧间预测的MPEG编码器的例子。

为了解决以上所解释的比特浪费的问题，不论考虑的是哪种类型的标准，建议引入一种附加语法元素，以允许在这些标准中引入更多灵活性。根据本发明，这种引入是通过在比特流的高描述层次(例如等价于视频对象层(VOL)MPEG-4层次)中增加用于在比特流中提供是否对残差信号编码的指示的特定标志而实施的。由于在不同信道中的所述指示是不同的，因此实际上建议对于这些信道的每一个(亮度、色度、形状...)，在比宏块层次更高的层次上定义这种信息，这将为未来的标准提供更大的灵活性。

在以下的描述中，假设信道的存在是由序列层次的几个语法元素所描述的(在MPEG-4术语中的VOL)，这些元素是例如：

Video_object_layer_lum 1比特

Video_object_layer_chrom 1比特(对于黑白为0)

Video_object_layer_additional_channels_enable 1比特(只对于

亮度和色度信道为0)

Number_of_additional_channels 4比特

Video_object_additional_channels[i] 1比特(不存在时为0)

附加信道的例子可以是：

Video_object_layer_shape 1比特(矩形为0)

Video_object_layer_depth 1比特(平面深度时为0)

这些语法元素应该被理解如下：

-如果“Video_object_layer_lum”为1，意味着比特流包含了用于亮度信道的语法元素；

-如果“Video_object_layer_chrom”为1，则比特流包含用于色度信道的语法元素，否则假设该序列是黑白的；

-如果“Video_object_layer_additional_channels_enable”为1，则比特流包含了描述附加信道的语法元素。

在这种情况下，变量“Number_additional_channels”保存附加信道的数目。如果除了亮度和色度信道之外还存在附加信道，则可以使用以下语法：

-如果“Video_object_layer_shape”为1，则比特流包含用于描述该图片的非矩形形状的语法元素，否则假设图片为矩形；

-如果“Video_object_layer_depth”为1，则比特流包含用于描述该图片深度结构的语法元素，否则假设其为平面图片；

-根据附加信道的数目(Number_of_additional_channels)可以得到其它信道的描述。

为了指示相关信道存在残差信号，建议了以下标志(i指定了笫i个附加信道)：

语法大小

Vop_lum_channel_coded 1比特

Vop_chrom_channel_coded 1比特

Vop_additional_channel_coded[i] 1比特

只有当在较高层次上指示存在相应信道时，才在解码每个内部图片之前从比特流中检索该语法元素。它对应于使用例如伪C代码在此写出的以下算法，其中函数read_bit(1)从比特流中返回下一个未读比特：

/*设置标志的缺省值*/

Vop_lum_channel_coded=0;

Vop_chrom_channel_coded=0;

For(i=0,with i＜number_of_additional_channels;i++)

Vop_additional_channel_coded[i]=0;

/*从比特流中读取标志*/

If(Video_object_layer_lum)

{

Vop-lum_channel_coded=read_bit(1);

If((Video_object_layer_chrom)

Vop_chrom_channel_coded=read_bit(1);

}

If(Video_object_layer_additional_channels_enable)

{

For(i=0,withi＜number_of_additional_channels;I++)

Vop_additional_channel_coded[i]=read_bit(1);

}

考虑到这些元素的语义，建议的1比特语法应被理解如下：

Vop_lum_channel_code：如果设置为1，表示对于当前图片的亮度信道编码了某些残差信号，而被设置为0时表示对于该图片没有编码亮度残差信号。

Vop_chrom_channel_code：如果设置为1，表示对于当前图片的色度信道编码了某些残差信号，而被设置为0时表示对于该图片没有编码色度残差信号。

Vop_additional_channel_coded[i]：如果设置为1，表示对于第i个附加信道编码了某些残差信号，而被设置为0时表示对于所述第i个附加信道没有编码残差信号。

上述视频编码方法可以在这样一种编码设备中实施，例如图1中所示的、表示具有运动补偿帧间预测的MPEG编码器的实例，所述编码器包含编码和预测级。该编码级自身包含模式判决电路11(用于确定编码模式I、P或者B的选择，如MPEG中所定义的)、DCT电路12、量化电路13、变长编码电路14、缓冲器15以及速率控制电路16。预测级包含运动估计电路21、运动补偿电路22、反量化电路23、反DCT电路24、加法器25、减法器26，用于向编码级发送编码设备的输入信号IS同预测级输出端(即运动补偿电路22的输出端)可用的预测信号之间的差值。该差值或者残差是被编码的比特流，并且缓冲器15的输出信号CB是编码的比特流，根据本发明它将包含在高描述层次上指示对于编码比特流中所述的每个信道是否存在编码的残差信号的语法元素。

编码设备的另一个例子可以基于MPEG-4标准的技术规范。在MPEG-4视频基础结构中，由一个或者多个视频对象(或者可能是它们的增强层次)组成的每个场景被构建为这些对象的合成，被称为视频对象(VO)并使用单独的基本比特流编码。输入的视频信息首先借助于分段电路而被分成视频对象，并且这些VO被发送到包含形状编码、运动编码和结构编码的基本编码结构中。考虑到这些编码步骤，每个VO被分为宏块，它存在于例如4个亮度块和2个色度块中，其格式为例如4:2:0，并被逐一编码。依照本发明，包含所述编码步骤所产生的编码信号的多路比特流将包含在高描述层次上对编码比特流中的每个信道指示是否存在编码残差信号的语法元素。

相反地，依照相应解码方法，被传送到解码侧的该语法元素被接收包含所述元素的编码比特流并且执行所述解码方法的视频解码器中的适当装置读出。解码器能够识别和解码该编码比特流内容中的所有分段，它读取所述附加语法元素并且知道那时不存在编码的残差信号。这种解码器可以象编码设备一样是任意的MPEG类型，其必要元件例如是串联的接收编码比特流的输入缓冲器、VLC解码器、逆量化电路以及逆DCT电路。在编码和解码两种设备中，可以提供控制器来管理编码或者解码操作的步骤。

为了示例和描述已经给出了对本发明优选实施例的以上描述。并不打算详尽描述本发明或者是将本发明限定为所公开的具体形式，通过以上教导，对于本领域技术人员来说很容易明白并被规定为包含在本发明范围中的一些显而易见的修改和变化都是可能的。

例如可以理解，此处所述的编码和解码设备可以被实施为硬件、软件或者硬件和软件的组合，而不排除单个硬件或者软件可以执行几项功能，或者多项硬件、软件或者二者的组合执行单个功能。所述方法和设备可以被任意类型的计算机系统或者其它适配设备实施。硬件和软件的一种典型组合可以是通用计算机系统，其具有其计算机程序，在被下载并执行时可以控制该计算机系统以使它执行此处所述的方法。备选地，也可以利用包含用于执行本发明的一个或者多个功能任务的专用硬件的专用计算机。

本发明也可以被嵌入在计算机程序产品中，它包含了允许实施此处所述的方法和功能的所有特征，并且当被下载到计算机系统中时，能够执行这些方法和功能。在本文中，计算机程序、软件程序、程序、程序产品或者软件意味着以任何语言、代码或者符号，用于使具有信息处理能力的系统直接地或在以下两个步骤中的任一个或两个都完成之后执行特定功能的指令集表示：这两个步骤是(a)转换为另一种语言、代码或者符号；和(b)以不同物质形式再现。

Claims

1.一种应用到视频帧序列并产生编码比特流的视频编码方法，在该比特流中利用允许任何解码器识别和解码所述比特流内容的所有分段的比特流语法来描述每个数据项，所述视频帧以宏块为基础借助于被提供用于产生当前帧预测的预测技术来进行编码，并且随后执行要被编码的当前帧同该预测帧的相减，所述相减获得一个被称为残差并构成要被编码的信号的差值图像，所述方法的特征还在于，所述语法包括一个标志，该标志在高描述层次对于该编码比特流中描述的每个信道指示是否存在编码的残差信号。

2.依照权利要求1所述的视频编码方法，其中利用运动补偿技术对所述视频帧进行预测编码。

3.一种被提供用于解码可传送的视频信号的视频解码方法，所述可传送的视频信号由通过实施一种视频编码方法而产生的编码比特流组成，所述视频编码方法被应用到视频帧序列上并产生所述编码比特流，在该比特流中利用允许任何解码器识别和解码所述比特流内容的所有分段的比特流语法来描述每个数据项，所述视频帧以宏块为基础借助于被提供用来产生当前帧预测的预测技术进行编码，并且随后执行要被编码的当前帧同该预测帧的相减，所述相减获得一个被称为残差并构成要被编码的信号的差值图像，所述信号的特征在于它包括一个语法元素，该语法元素被提供用于在高描述层次对于该编码比特流中描述的每个信道指示是否存在编码的残差信号。

4.一种用于解码可传送的视频信号的视频解码设备，所述信号由通过实施一种视频编码方法而产生的编码比特流组成，所述视频编码方法被应用到视频帧序列上并产生所述编码比特流，在该比特流中利用允许任何解码器识别和解码所述比特流内容的所有分段的比特流语法来描述每个数据项，所述视频帧以宏块为基础借助于被提供用来产生当前帧预测的预测技术进行编码，并且随后执行要被编码的当前帧同该预测帧的相减，所述相减获得一个被称为残差并构成要被编码的信号的差值图像，所述信号包括一个语法元素，该语法元素被提供用于在高描述层次对于该编码比特流中描述的每个信道指示是否存在编码的残差信号。