CN102118615B - 采用可变块大小略过模式的视频编/解码方法和装置 - Google Patents

Abstract

本发明提供了用于视频编/解码的方法和装置，能够在基于二叉树的结构中将每个宏块分割成各种块大小的小块，并将略过模式用到大小可变块。在编码端为每一分割模式确定宏块的每一个块为略过块或非略过块，以在略过模式和其它编码模式之间选择该块的编码模式。对关于分割模式的信息和哪些块在略过模式下编码的信息进行编码。编/解码端根据其是略过块还是非略过块对块信息进行相应的编/解码。本发明能够提高编/解码的效率和灵活性。

Description

采用可变块大小略过模式的视频编/解码方法和装置

技术领域

本发明涉及视频压缩方法和装置，特别是涉及一种采用可变块大小(variable block size)略过模式的视频编/解码方法和装置。

背景技术

视频编码器的编码过程可实现视频压缩/视频编码。视频编码器将原始视频数据转换成标准化比特流。经压缩的比特流能存储在存储介质，或通过传播介质传送至视频解码器以重构运动图像序列。由于在转换过程中的数据丢失，重构的视频数据与初始的视频数据相比质量降低。

最为常见的视频编码标准是MPEG-^*和H.26^*。在这些标准中，视频帧被分类为帧间帧(inter frames)和帧内帧(intra frames)，每一视频帧被分割为不相重叠的像素宏块。宏块是视频编码的基本编码单元，且可独立地被各种编码技术编码。采用运动估计和运动补偿的帧间预测是最常见的编码技术之一。通过利用存在于视频帧间的时间性冗余，前述标准已经采用帧间预测作为压缩数据的主要手段。在一些较老的视频标准例如MPEG-2中，对于帧间帧的每一宏块作出运动估计。这意味着一宏块从编码视频帧的重构图像中搜寻与其匹配的图像块。然而，随着现代视频编码标准例如H.264的发展，视频编码器的压缩能力大为提高，其部分原因在于为适应不同宏块的编码提供了许多不同的选择。这些选择被称之为编码模式，包括各种帧间模式和各种帧内模式。不同的帧间模式将宏块分割成不同大小的更小的块。与只对一种大小的块进行运动搜寻不同，能够按照块的不同大小进行具有灵活性的运动估计。例如，H.264支持7种块大小，包括16x16，16x8，8x16，8x8，8x4，4x8和4x4。除了帧间预测，各种帧内模式使用帧内预测，通过利用存在于每一视频帧内的空间性冗余来对各种大小的图像块进行编码。

除了运动估计和运动补偿技术，略过模式是另一种可能和有效的帧间预测模式。在H.264视频编码标准中，当量化参数值高时，略过模式是宏块编码最常使用的编码模式。为了采用该编码模式编码宏块，16x16大小块，在帧缓存中的第一参考帧和标准化运动矢量被使用，标准化运动矢量通常是左邻块、上邻块、右上邻块的运动矢量的中间值。该标准化运动矢量所指针的16x16像素块在当前宏块的重构中使用，而不进行运动补偿。作为运动矢量，该宏块的参考帧索引和残差(还包括编码块类型、量化参数差值和转换块大小索引的一些信息)不被编码，省去了大量比特。尽管解码一端不能获得运动矢量的任何比特，例如来自比特流的略过宏块的参考帧索引等，但解码器能够选择正确的参考帧并能获得在编码过程中所使用的同样的运动矢量。

如上所述，H.264标准中的略过模式以与宏块大小相同的固定块大小对宏块进行编码，然而，为了更高的预测精确性和编码效率，可变块大小这一特征在最近的视频编码标准中广泛使用，因此，只将现有的略过模式应用于固定块大小就存在着不足，而将略过模式应用到具有不同块大小的块则可能获得更好的性能。在另一方面，尽管H.264标准支持的可变块大小结构对于帧间预测支持7种块大小，但分割可能不够灵活，一些块大小不能同时在同一个宏块中存在。

发明内容

本发明的主要目的提供一种提供克服上述的已知略过模式和已知可变块大小结构的缺陷的解决方案。由此，本发明提出用于采用可变块大小略过模式对视频序列的宏块进行编/解码的方法和装置。

为实现上述目的，本发明采用以下技术方案：

根据本发明的一个方面，提供一种采用可变块大小略过模式的编码方法，包括以下步骤：

按照每一种分割模式，将当前视频帧的编码单元分割为一个或多个块；将每一种分割模式下的每一个块确定为略过块或非略过块；

为所述编码单元选择一种分割模式；

对所述编码单元所选的分割模式的信息进行编码；

对所述编码单元中哪些块为略过块和哪些块为非略过块的信息进行编码；以及

对所述编码单元的每一个块根据其是略过块还是非略过块进行相应的编码。

所述可变块大小可以是在基于二叉树的分割结构中获得。

根据本发明的另一个方面，提供一种采用可变块大小略过模式的解码方法，包括以下步骤：

对当前视频帧的编码单元的分割模式的信息进行解码；

对所述编码单元中哪些块为略过块和哪些块为非略过块的信息进行解码；以及

对所述编码单元的每一个块根据其是略过块还是非略过块进行相应的解码。

根据本发明的又一个方面，一种采用可变块大小略过模式的编码装置，包括：

用于按照每一种分割模式，将当前视频帧的编码单元分割为一个或多个块的构件；

用于将每一种分割模式下的每一个块确定为略过块或非略过块的构件；

用于为所述编码单元选择一种分割模式的构件；

用于对所述编码单元所选的分割模式的信息进行编码的构件；

用于对所述编码单元中哪些块为略过块和哪些块为非略过块的信息进行编码的构件；以及

用于对所述编码单元的每一个块根据其是略过块还是非略过块进行相应的编码的构件。

根据本发明的再一个方面，一种采用可变块大小略过模式的解码装置，包括：

用于对当前视频帧的编码单元的分割模式的信息进行解码的构件；

用于对所述编码单元中哪些块为略过块和哪些块为非略过块的信息进行解码的构件；以及

对所述编码单元的每一个块根据其是略过块还是非略过块进行相应的解码的构件。

本发明有益的技术效果是：

根据本发明，在编码端，将每一种分割模式下编码单元的每一个块确定为略过块或非略过块，并对分割模式的信息进行编码和哪些块为略过块和哪些块为非略过块的信息进行编码，进而使略过块在略过模式下编码，而非略过块以其它编码方法(非略过模式)编码；在解码端，对分割模式的信息和哪些块为略过块和哪些块为非略过块的信息进行解码，进而使略过块在略过模式下解码，而非略过块以其它解码方法(非略过模式)解码。通过上述手段，本发明的编/解码方法和装置使得可变块大小略过模式这一特性增强，使帧间预测在此方面更灵活，有效提高了帧间模式的视频编/解码过程的处理效率。例如，在H.264codec JM15.1中应用本发明，实验结果表明本发明能提高编码性能。至少部分实验结果表明，对于低比特率区域，平均块度-比特率(BD-bitrate)减少了约2.65％，对于高比特率区域，平均块度-比特率减少了约0.61％，而对于总体比特率区域，平均块度-比特率减少了约1.54％。本发明是可应用于新的视频编解码标准和编解码器的有效工具。

附图说明

图1为根据本发明的一种示例性实施例的宏块的二叉树分割；

图2A和2B为根据本发明的一种示例性实施例的图示，分别展示了宏块的所有可能的分割模式以及8x8子块的所有可能的子块模式；

图3为根据本发明的一种示例性实施例的图示，展示了将宏块分割为16x8的块和8x16的块时所有可能的编码情形；

图4为根据本发明的一种示例性实施例的流程图，展示了采用略过模式对视频序列的宏块进行编码的方法，所述略过模式具有在基于二叉树的分割结构中的多于一种的分割大小；

图5为根据本发明的一种示例性实施例的流程图，展示了采用略过模式对视频序列的宏块进行解码的方法，所述略过模式具有在基于二叉树的分割结构中的多于一种的分割大小；

图6为根据本发明的一种示例性实施例的结构框图，展示了采用略过模式对视频序列的宏块进行编码的装置，所述略过模式具有在基于二叉树的分割结构中的多于一种的分割大小；

图7为根据本发明的一种示例性实施例的结构框图，展示了采用略过模式对视频序列的宏块进行解码的装置，所述略过模式具有在基于二叉树的分割结构中的多于一种的分割大小。

具体实施方式

以下通过实施例结合附图对本发明进行进一步的详细说明。

以下所讨论的优选实施例采用了H.264视频编码标准的某些方面，包括16x16宏块大小和帧间预测的7种块大小。然而并不限定本发明或其他实施例必须具备这些特征。

在本发明的一种实施例中，除了16x16块大小，可以将略过模式应用到其他的块大小，例如16x8，8x16和8x8，所述略过模式对块编码而不对运动矢量、参考帧索引和残差等编码。在其它实施例中的块大小可与以上提到的块大小不一样。根据图1中所示的宏块分割二叉树，在最低级块之上的每个块能被分为大小相同的两个更小的块。换言之，将16x16宏块分割为8x8子块有8种可能的情形，将8x8子块进一步分割为4x4子块也有8种可能的情形。图2A展示了16x16宏块的8种可能分割模式，图2B展示了8x8子块的8种可能分割模式。

如图2A所示，宏块的16x8分割模式和8x16分割模式将宏块分别分割为两个16x8块和两个8x16块，其中可能一些块是略过块，一些块是非略过块。

图3展示了宏块的两个16x8/8x16块的所有可能情形：1)两个块都是非略过块；2)第一个块是略过块，第二个块是非略过块；3)第一个块是非略过块，第二个块是略过块；4)两个块都是略过块。类似的，对于图2中的16x8+8x8分割模式、8x8+16x8分割模式、8x16+8x8分割模式、8x8+8x16分割模式和8x8分割模式，各模式下分割的每一个独立块可被编码为一个略过块或一个非略过块。

图4展示了本发明优选实施例的宏块编码流程。在本实施例中，当前视频帧的编码单元即当前宏块。

首先，在确定步骤410，对于每一种分割模式，将当前宏块分割的每一个块确定为略过块或非略过块。对于不支持略过模式的块大小，将这些块大小对应的所有块确定为非略过块。

接着，在选择步骤420，选择宏块的最终分割模式。

接下来，在编码步骤430，对所选分割模式的索引进行编码。

然后，在编码步骤440，对于支持略过模式的块大小，对由宏块分割的哪些块要在略过模式下编码的信息进行编码。

有多种方法可编码这种信息。例如，在H.264标准中，略过模式仅仅支持16x16块大小，这种信息合并于宏块的编码模式的索引中，其中一种编码模式对16x16块在略过模式下进行编码，而另一种编码模式对16x16块不在略过模式下进行编码。因此，16x16块大小的信息和该宏块是否为略过块的信息在对编码模式的索引编码时编码。在本例中，编码步骤430和440合并。

除此之外，为具有支持略过模式的块大小的每一块编码具有0值或1值的标志，也是指示一个块是否为略过块的可行途径。

另外，还可以通过编码可称之为“编码类型”的索引来编码这些信息。

表1展示了将宏块分割为16x8的块和8x16的块时所有可能编码类型的示例性集合。这些编码类型可对应于图3关于略过块和非略过块的所有可能情形。

表1^*

编码类型	0	1	2	3
					16x8	AA	BA	AB	BB
8x16	CC	DC	CD	DD

^*A，B，C，D..等符号的含意请参看图3

对于16x8+8x8分割模式、8x8+16x8分割模式、8x16+8x8分割模式、8x8+8x16分割模式和8x8分割模式，每个8x8块可作为子块在子块编码模式下编码。可以增加8x8略过模式作为新的子块模式从而在略过模式下编码8x8块。

应注意，不同实施例可以采用上述的不同方法或其之外的方法来对不同的分割模式和不同块大小下哪些块是略过块的信息进行编码。

在编码了当前宏块的头信息之后，从步骤450到490，对当前宏块中所分的每一块的内容进行编码。如果当前块在检查步骤460为被检查为略过块，则在编码步骤471对该块在略过模式下进行编码，否则，在编码步骤472对该块在非略过模式下进行编码。在选择步骤450，先选择第一块开始编码；一个块编码完后，如果在检查步骤480检查到该块不是当前宏块的最后一个块，则在选择步骤490选择下一个块进行编码。

图5展示了本发明优选实施例的宏块解码流程。在本实施例中，当前视频帧的编码单元即当前宏块。

首先，在步骤510和520，对当前宏块的分割类型信息(分割模式的索引)和当前宏块中哪些块为略过块和哪些块为非略过块的信息分别进行解码。

在解码了当前宏块的头信息之后，从步骤530到570，对当前宏块中所分的每一块的内容进行解码。如果当前块在检查步骤540为被检查为略过块，则在解码步骤551对该块在略过模式下进行解码，否则，在解码步骤552对该块在非略过模式下进行解码。在选择步骤530，先选择第一块开始解码；一个块解码完后，如果在检查步骤560检查到该块不是当前宏块的最后一个块，则在选择步骤570选择下一个块进行解码。

图6为根据本发明的一种优选实施例的结构框图，其展示了采用略过模式对视频序列的宏块进行编码的装置，所述略过模式具有在基于二叉树的分割结构中的多于一种的分割大小。该装置为处理器或处理器中的模块，且图中的各个单元分别为一个独立的模块或者所有单元被集成为一个模块。该装置包括略过块和非略过块确定器600、分割模式选择器610、头信息编码单元620、略过块编码单元630以及非略过块编码单元635。

对于每种分割模式，略过块和非略过块确定器600确定当前宏块的每一个块是略过块还是非略过块。对于不支持略过模式的块大小对应的所有块，略过块和非略过块确定器600将其确定为非略过块。

分割模式选择器610选择最终的宏块分割模式，头信息编码单元620对所选的分割模式的索引进行编码。头信息编码单元620还对支持略过模式的块大小对应的块哪些是略过块的信息进行编码。

头信息编码单元620可用如下手段对这种信息进行编码。例如，在H.264编码器中，略过模式仅仅支持16x16块大小，这种信息合并于宏块的编码模式的索引中，其中一种编码模式对16x16块在略过模式下进行编码，而另一种编码模式对16x16块不在略过模式下进行编码。因此，16x16块大小的信息和该宏块是否为略过块的信息在对编码模式的索引编码时一同编码。

除此之外，为具有支持略过模式的块大小的每一块编码具有0值或1值的标志，也是指示一个块是否为略过块的可行途径。

另外，还可以通过编码可称之为“编码类型”的索引来编码这些信息。表1展示了将宏块分割为16x8的块和8x16的块时所有可能编码类型的示例性集合。对于16x8+8x8分割模式、8x8+16x8分割模式、8x16+8x8分割模式、8x8+8x16分割模式和8x8分割模式，每个8x8块可作为子块在子块编码模式下编码。可以增加8x8略过模式作为新的子块模式从而在略过模式下编码8x8块。

在编码了当前宏块的头信息之后，对当前宏块中所分的每一块的内容按块依次进行编码。略过块编码单元630负责略过块的编码，而非略过块编码单元635负责非略过块的编码。

图7为根据本发明的一种优选实施例的结构框图，其展示了采用略过模式对视频序列的宏块进行解码的装置，所述略过模式具有在基于二叉树的分割结构中的多于一种的分割大小。该装置为处理器或处理器中的模块，且图中的各个单元分别为一个独立的模块或者所有单元被集成为一个模块。该装置包括头信息解码单元700、略过块解码单元710和非略过块解码单元715。

头信息解码单元700对当前宏块的分割模式的索引和当前宏块中哪些是略过块和哪些是非略过块的信息进行解码。

在解码了当前宏块的头信息之后，对当前宏块中所分的每一块的内容按块依次进行解码。略过块解码单元710负责略过块的解码，而非略过块解码单元715负责非略过块的解码。

应了解，本发明既可以采用存储有计算机可读指令的计算机可读存储介质的方式来实施，也可以采用用于编/解码视频序列的硬件装置的一部分的方式来实施。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (16)

1.一种采用可变块大小略过模式的编码方法，所述略过模式不对像素块的一些信息进行编/解码，所述信息包括运动矢量、参考帧索引、残差、编码块模式、像素块转换的大小和形状，其特征在于，包括以下步骤：

按照每一种分割模式，将当前视频帧的编码单元分割为一个或多个块；将每一种分割模式下的每一个块确定为略过块或非略过块，所述略过块是在所述略过模式下编/解码的像素块，所述非略过块是不在所述略过模式下编/解码的像素块；

为所述编码单元选择一种分割模式；

对所述编码单元所选的分割模式的信息进行编码；

对所述编码单元中哪些块为略过块和哪些块为非略过块的信息进行编码； 以及

对所述编码单元的每一个块根据其是略过块还是非略过块进行相应的编码。

2.根据权利要求1所述的方法，其特征在于，所述编码单元为宏块、子块、扩展宏块或任意形状的像素块。

3.根据权利要求1所述的方法，其特征在于，所述分割模式为所述编码单元的基于二叉树的分割下的可能的中间状态或最终状态，所述基于二叉树的分割将一个宏块及其所分割部分分割为更小的大小相同的两个部分。

4.根据权利要求1所述的方法，其特征在于，所述对所述编码单元中哪些块为略过块和哪些块为非略过块的信息进行编码的步骤包括：

为所述编码单元编码一个或多个值，所述值随所述编码单元中哪些块为略过块和哪些块为非略过块的情况而变；或

为每一略过块编码一个0值，并为每一非略过块编码一个1值；或

为每一非略过块编码一个0值，并为每一略过块编码一个1值。

5.一种采用可变块大小略过模式的解码方法，其中，略过模式可应用到每 一种分割模式下的每一个块，所述略过模式不对像素块的一些信息进行编/解码，所述信息包括运动矢量、参考帧索引、残差、编码块模式、像素块转换的大小和形状，其特征在于，包括以下步骤：

对当前视频帧的编码单元的分割模式的信息进行解码；

对所述编码单元中哪些块为略过块和哪些块为非略过块的信息进行解码，所述略过块是在所述略过模式下编/解码的像素块，所述非略过块是不在所述略过模式下编/解码的像素块；以及

对所述编码单元的每一个块根据其是略过块还是非略过块进行相应的解码。

6.根据权利要求5所述的方法，其特征在于，所述编码单元为宏块、子块、扩展宏块或任意形状的像素块。

7.根据权利要求5所述的方法，其特征在于，所述分割模式为所述编码单元的基于二叉树的分割下的可能的中间状态或最终状态，所述基于二叉树的分割将一个宏块及其所分割部分分割为更小的大小相同的两个部分。

8.根据权利要求5所述的方法，其特征在于，所述对所述编码单元中哪些块为略过块和哪些块为非略过块的信息进行解码的步骤包括：

为所述编码单元解码一个或多个值，所述值随所述编码单元中哪些块为略过块和哪些块为非略过块的情况而变；或

为每一略过块解码一个0值，并为每一非略过块编码一个1值；或

为每一非略过块编码一个0值，并为每一略过块编码一个1值。

9.一种采用可变块大小略过模式的编码装置，所述略过模式不对像素块的一些信息进行编/解码，所述信息包括运动矢量、参考帧索引、残差、编码块模式、像素块转换的大小和形状，其特征在于，包括：

用于按照每一种分割模式，将当前视频帧的编码单元分割为一个或多个块的构件；

用于将每一种分割模式下的每一个块确定为略过块或非略过块的构件，所述略过块是在所述略过模式下编/解码的像素块，所述非略过块是不在所述略过模式下编/解码的像素块； 

用于为所述编码单元选择一种分割模式的构件；

用于对所述编码单元所选的分割模式的信息进行编码的构件；

用于对所述编码单元中哪些块为略过块和哪些块为非略过块的信息进行编码的构件；以及

用于对所述编码单元的每一个块根据其是略过块还是非略过块进行相应的编码的构件。

10.根据权利要求9所述的装置，其特征在于，所述编码单元为宏块、子块、扩展宏块或任意形状的像素块。

11.根据权利要求9所述的装置，其特征在于，所述分割模式为所述编码单元的基于二叉树的分割下的可能的中间状态或最终状态，所述基于二叉树的分割将一个宏块及其所分割部分分割为更小的大小相同的两个部分。

12.根据权利要求9所述的装置，其特征在于，所述用于对所述编码单元中哪些块为略过块和哪些块为非略过块的信息进行编码的构件包括：

用于为所述编码单元编码一个或多个值的构件，所述值随所述编码单元中哪些块为略过块和哪些块为非略过块的情况而变；或

用于为每一略过块编码一个0值，并为每一非略过块编码一个1值的构件； 或

用于为每一非略过块编码一个0值，并为每一略过块编码一个1值的构件。

13.一种采用可变块大小略过模式的解码装置，其中，略过模式可应用到每一种分割模式下的每一个块，所述略过模式不对像素块的一些信息进行编/解码，所述信息包括运动矢量、参考帧索引、残差、编码块模式、像素块转换的大小和形状，其特征在于，包括：

用于对当前视频帧的编码单元的分割模式的信息进行解码的构件；

用于对所述编码单元中哪些块为略过块和哪些块为非略过块的信息进行解码的构件，所述略过块是在所述略过模式下编/解码的像素块，所述非略过块是不在所述略过模式下编/解码的像素块；以及

对所述编码单元的每一个块根据其是略过块还是非略过块进行相应的解码的构件。 

14.根据权利要求13所述的装置，其特征在于，所述编码单元为宏块、子块、扩展宏块或任意形状的像素块。

15.根据权利要求13所述的装置，其特征在于，所述分割模式为所述编码单元的基于二叉树的分割下的可能的中间状态或最终状态，所述基于二叉树的分割将一个宏块及其所分割部分分割为更小的大小相同的两个部分。

16.根据权利要求13所述的装置，其特征在于，所述用于对所述编码单元中哪些块为略过块和哪些块为非略过块的信息进行解码的构件包括：

用于为所述编码单元解码一个或多个值的构件，所述值随所述编码单元中哪些块为略过块和哪些块为非略过块的情况而变；或

用于为每一略过块解码一个0值，并为每一非略过块解码一个1值的构件； 或

用于为每一非略过块编码一个0值，并为每一略过块编码一个1值的构件。 

Images