CN101938657A - 高效视频编码中编码单元自适应划分方法 - Google Patents

Abstract

本发明公开了一种高效视频编码中编码单元自适应划分方法，主要解决现有技术中编码单元的划分中最大编码单元和最小编码单元不能随视频内容特征进行调整，且视频帧边界处的块的可选划分模式数量少的问题。其划分步骤为：首先采用率失真准则或者视频帧间的相关性自适应地确定每个视频帧的最大编码单元和最小编码单元；其次，对视频帧边界处的最大编码单元中未超出视频帧范围的矩形块扩展为正方形块后再进行划分；然后，对划分后的矩形块进行标记，并对划分后的矩形块进行帧间预测，最后，对预测残差进行变换，量化和熵编码。本发明具有视频压缩效率高的优点，可以应用于高性能视频编码标准中。

Description

高效视频编码中编码单元自适应划分方法

技术领域

本发明属于通信领域。涉及视频编码中编码单元的划分方法，包括帧参数最大编码单元FLCTB和最小编码单元FSCTB的获取技术和帧边界处编码单元划分技术，可用于视频编码中任意分辨率下视频内容的表示，提高视频编码效率。

背景技术

随着网络技术的迅速发展，视频编码技术的成熟和完善，传输技术的不断提高，视频业务得到了广泛的应用。如何更好的实现高效的视频编码，一直是视频领域的研究热点。最近，ITU-T SG16 Q.6和ISO/IEC JTC1/SC29/WG11共同成立了视频编码合作组JCT-VC，制定高效率视频编码HEVC标准。目的是在编码器H.264/AVC编码能力的基础上，进一步提高视频压缩效率，尤其是对高清视频的压缩。

在视频内容的表示方面，JCT-VC提出了编码单元CTB这一概念，以此更有效灵活的表示视频内容，适应各种视频格式。CTB被定义为一个以2的幂次方为高的正方形，类似于H.264/AVC中定义的宏块或子宏块。但CTB支持更大的块大小，如32×32、64×64，甚至128×128，这种特性有助于编码器根据视频内容特性，视频应用和终端特性来自适应的选择CTB模式，以达到最优的编码性能。设定两个特殊的编码单元：最大编码单元LCTB和最小编码单元SCTB，编码使用的CTB的大小介于LCTB和SCTB之间。帧内/帧间预测，变换，量化和熵编码等都在CTB中进行。视频帧以LCTB为基本单元，完成一帧的CTB划分和CTB编码。视频编码中可以根据视频格式，视频内容，以及视频应用等合理的选择LCTB和SCTB，以此实现最优的压缩方式。编码过程根据视频内容采用率失真优化的方法决定CTB模式。CTB的这种特性给视频编码带来了很大的益处，尤其是高清视频的编码。

JCT-VC提出的CTB划分方法是：将一视频帧按照最大编码单元LCTB大小进行分割，以每个LCTB为基本单元，按照递归的形式确定视频帧中最优的CTB划分模式和CTB编码模式。例如视频格式为176×144，LCTB大小为128×128的视频帧，首先将176×144大小的帧，按照最大编码单元LCTB大小进行划分，即划分为四个LCTB，如图1所示的标识为0，1，2，3的LCTB；然后分别对标识为0，1，2，3的LCTB确定各自的最优划分模式和编码模式。如标识为0的LCTB，其划分模式确定方法为：利用率失真优化RDO准则确定标识为0的LCTB的编码代价，同时对标识为0的LCTB进行四等份分割，得到四个大小为64×64的CTB，如图2所示的标识为0，1，2，3的CTB，对这四个CTB分别根据RDO准则确定每个CTB的编码代价；比较这四个CTB的总编码代价和LCTB的编码代价，确定LCTB是否进行划分。对图2中标识为0，1，2，3的大小为64×64的CTB按照上述步骤分别处理，最终得到标识为0的LCTB中所有CTB的划分模式和编码模式。按照标识为0的LCTB中CTB模式的确定方法，对标识为1，2，3的LCTB分别确定CTB的划分模式和编码模式，最终完成这一视频帧的编码。

针对JCT-VC提出的这种CTB划分方法，在语法语义方面使用块划分标识split_flag比特流表示CTB的划分方法，最大编码单元LCTB和最小编码单元SCTB三个参数来表示LCTB中的CTB模式。块划分标识split_flag＝0，表示不对当前块进行四等份分割；split_flag＝1，表示对当前块进行四等份分割。利用split_flag、LCTB和SCTB可以确定一视频帧中LCTB中的块划分模式。例如图3给出一个LCTB中CTB划分模式，LCTB大小为128×128，SCTB大小为8×8，利用LCTB和SCTB参数信息，该LCTB的块划分模式使用split_flag流表示为：11000000110000000。

由于JCT-VC提出的CTB划分方法，是以固定大小的LCTB为基本单元，完成整个视频序列的编码，没有考虑相邻帧之间的相关性与CTB模式之间的关系，因而会影响CTB划分的表示效率。

同时由于在JCT-VC提出的CTB划分方法中，当视频帧的大小不是LCTB的整数倍时，边界处的LCTB的可选划分模式数量很少，且已有的划分模式不能充分体现视频内容特征，故采用上述的CTB划分方法会影响视频压缩效率。

发明内容

本发明的目的在于针对上述已有技术存在的两种问题，提出一种采高效视频编码中编码单元自适应划分方法，自适应地确定每个视频帧的最大编码单元LCTB和最小编码单元SCTB，并增加视频帧边界处的LCTB的可选划分模式，以此更有效的表示视频内容，提高视频压缩效率。

为实现上述目的，本发明提出以下两种技术方案：

技术方案一：

一种视频压缩中视频编码块自适应确定方法，包括如下步骤：

(1)遍历整个视频序列，从最大编码单元FLCTB和最小编码单元FSCTB的取值范围中采用率失真优化方法为每一视频帧选择最优的最大编码单元FLCTB和最小编码单元FSCTB，并将选择的最优的FLCTB和FSCTB写入码流；

(2)根据视频格式是否是FLCTB的整数倍确定视频帧的压缩方法，如果视频格式是FLCTB的整数倍，则按照JCT-VC提出的编码方法完成视频帧的压缩，反之，执行步骤(3)；

(3)根据视频帧是否采用帧间预测确定视频帧的压缩方法，如果未采用帧间预测，则按照JCT-VC提出的编码方法完成该帧的压缩，反之，执行步骤(4)；

(4)对视频帧右边界或下边界处的FLCTB中未超出视频帧范围的宽度为M，高度N的矩形块进行划分，即先将该矩形扩展为大小为L₂×L₂的正方形块，其中，L₂＝2ⁿ，

再对该L₂×L₂的正方形块沿水平和垂直方向划分为四等份；

(5)采用标记信息split_flag将划分后的矩形块标示为1，将没有划分的矩形块标示为0，并将该标记信息写入码流；

(6)依据标记信息split_flag，对划分后的矩形块进行帧间预测，获取运动矢量和预测残差，并进行变换、量化和熵编码。

技术方案二：

一种视频压缩中视频编码块自适应确定方法，包括如下步骤：

1)利用当前帧与参考帧之间的相关性，预测当前帧的最大编码单元FLCTB和最小编码单元FSCTB；

2)根据视频格式是否是FLCTB的整数倍确定视频帧的压缩方法，如果视频格式是FLCTB的整数倍，则按照JCT-VC提出的编码方法完成视频帧的压缩，反之，执行步骤3)；

3)根据视频帧是否采用帧间预测确定视频帧的压缩方法，如果未采用帧间预测，则按照JCT-VC提出的编码方法完成该帧的压缩，反之，执行步骤4)；

4)对视频帧右边界或下边界处的FLCTB中未超出视频帧范围的宽度为M，高度N的矩形块进行划分，即先将该矩形扩展为大小为L₂×L₂的正方形块，其中，L₂＝2ⁿ，

再对该L₂×L₂的正方形块沿水平和垂直方向划分为四等份；

5)采用标记信息split_flag将划分后的矩形块标示为1，将没有划分的矩形块标示为0，并将该标记信息写入码流；

6)依据标记信息split_flag，对划分后的矩形块进行帧间预测，获取运动矢量和预测残差，并对预测残差进行变换、量化和熵编码。

本发明与现有技术相比具有如下优点：

1)本发明由于采用自适应地确定每个视频帧的最大编码单元和最小编码单元，因此能够更有效的反映视频内容特征，提高视频压缩效率；

2)本发明由于为视频帧边界处的FLCTB中未超出视频帧范围的矩形块设计了新的划分方法，因此增加了边界处的块的划分模式的数量，进而提高了视频压缩效率。

附图说明

图1是现有视频格式为176×144的最大编码单元LCTB示意图；

图2是用现有方法对图1中标识为0的最大编码单元LCTB进行第一次划分的结果示意图；

图3是用现有方法对图1中标识为0的最大编码单元LCTB的最终划分结果示意图；

图4是本发明第一实施例的流程图；

图5是本发明第二实施例的流程图；

图6是用本发明方法将视频帧边界处的矩形块扩展为L₂×L₂的正方形块的示意图；

图7本发明与JCT-VC的编码方法的编码性能比较图。

具体实施方式

参照图4，本发明第一实施例的具体实现步骤包括如下：

步骤1，遍历整个视频序列，从最大编码单元FLCTB和最小编码单元FSCTB的取值范围中采用率失真优化方法为每一视频帧选择最优的最大编码单元FLCTB和最小编码单元FSCTB，并将选择的最优的FLCTB和FSCTB按如下任意一种方式写入码流；

(1a)直接将FLCTB写入码流；

(1b)将当前帧的FLCTB与参考帧的FLCTB的差值写入码流。

步骤2，根据视频格式为FLCTB的整数倍确定视频编码方法，如果视频格式是FLCTB的整数倍，则直接按照JCT-VC提出的编码方法完成视频帧的压缩，即按照JCT-VC提出的编码方法将视频帧划分为若干FLCTB，然后对每个FLCTB进行预测，得到预测残差，并对预测残差进行变换，量化和熵编码；反之，执行步骤3。

步骤3，根据视频帧是否采用帧间预测确定视频编码方法，如果未采用帧间预测，则按照JCT-VC提出的如下编码方法完成该帧的压缩：

首先，对该视频帧进行帧内预测，得到预测残差；

然后，对预测残差进行变换，量化和熵编码；

对于采用帧间预测的视频帧，执行步骤4。

步骤4，对视频帧右边界或下边界处的FLCTB中未超出视频帧范围的矩形块进行划分。

首先，将宽度为M，高度N的矩形扩展为图6所示的大小为L₂×L₂的正方形块，其中，L₂＝2ⁿ，

然后，对所述L₂×L₂的正方形块沿水平和垂直方向划分为四等份，在对L₂×L₂的正方形块进行分割的过程中，L₂×L₂的正方形块的分割线也将大小为M×N的矩形块划分为若干矩形子块。

步骤5，为宽度为M，高度N的矩形块的划分做标记。

首先，对每个矩形子块分别进行预编码，并依据率失真准则确定每个字块的率失真代价，将所有子块的率失真代价相加得到大小为M×N的矩形块的总代价C₁；

然后，将该大小为M×N的矩形块作为整体进行预编码，并依据率失真准则确定其率失真代价C₂；

最后，比较C₁和C₂，如果C₁小于C₂，则将标记信息split_flag标记为1，表示该矩形块需要进行划分；反之，将标记信息split_flag标记为0，表示不需要对该矩形块进行划分；并将该标记信息写入码流。

步骤6，依据标记信息split_flag，对宽度为M，高度为N的矩形块进行帧间预测。

依据标记信息split_flag确定宽度为M，高度N的矩形块的帧间预测方法，如果标记信息split_flag等于1，则以划分后的矩形子块为基本单元在参考帧中搜索与该划分后的矩形块最匹配的预测块，并将该划分后的矩形子块的第一个像素坐标和预测块的第一个像素坐标相减，得到该划分后的矩形子块运动矢量；如果标记信息split_flag等于0，则直接在参考帧中搜索该矩形块最匹配的预测块，并将该矩形块的第一个像素的坐标和预测块的第一个像素坐标相减，得到该矩形块的运动矢量。

步骤7，对宽度为M，高度为N的矩形块进行编码。

首先，将该矩形块的像素亮度值与其预测块的像素亮度值相减，得到预测残差；

然后，对预测残差进行离散余弦变换；

最后，对变换后的数值，采用标量量化方法进行量化，并对量化后的数值进行熵编码，并将编码结果写入码流。

参照图5，本发明第二实施例的具体实现步骤包括如下：

步骤A，依据参考帧的编码信息，确定参考帧的最大编码单元FLCTB和最小编码单元FSCTB，并直接将参考帧的最大编码单元FLCTB和最小编码单元FSCTB作为当前帧的最大编码单元FLCTB和最小编码单元FSCTB。

步骤B，根据视频格式为FLCTB的整数倍确定视频编码方法，如果视频格式是FLCTB的整数倍，则直接按照JCT-VC提出的编码方法完成视频帧的压缩，即按照JCT-VC提出的编码方法将视频帧划分为若干FLCTB，然后对每个FLCTB进行预测，得到预测残差，并对预测残差进行变换，量化和熵编码；反之，则执行步骤C；

步骤C，根据视频帧是否采用帧间预测确定视频编码方法，如果未采用帧间预测，则按照JCT-VC提出的如下编码方法完成该帧的压缩：

首先，对该视频帧进行帧内预测，得到预测残差；

然后，对预测残差进行变换，量化和熵编码；

对于采用帧间预测的视频帧，执行步骤D。

步骤D，对视频帧右边界或下边界处的FLCTB中未超出视频帧范围的矩形块进行划分。

首先，将宽度为M，高度N的矩形扩展为图6所示的大小为L₂×L₂的正方形块，其中，L₂＝2ⁿ，

然后，对所述L₂×L₂的正方形块沿水平和垂直方向划分为四等份，在对L₂×L₂的正方形块进行分割的过程中，L₂×L₂的正方形块的分割线也将大小为M×N的矩形块划分为若干矩形子块。

步骤E，对宽度为M，高度N的矩形块的划分进行标记。

首先，对每个矩形子块分别进行预编码，并依据率失真准则确定每个字块的率失真代价，将所有子块的率失真代价相加，得到大小为M×N的矩形块的总代价C₁；

然后，将大小为M×N的矩形块作为整体进行预编码，并依据率失真准则确定其率失真代价C₂；

最后，比较C₁和C₂，如果C₁小于C₂，则将标记信息split_flag标记为1，表示该矩形块需要进行划分；反之，将标记信息split_flag标记为0，表示不需要对该矩形块进行划分；并将该标记信息写入码流。

步骤F，对宽度为M，高度N的矩形块进行帧间预测。

依据标记信息split_flag确定宽度为M，高度N的矩形块的帧间预测方法，如果标记信息split_flag等于1，则以划分后的矩形子块为基本单元在参考帧中搜索与该划分后的矩形块最匹配的预测块，并将该划分后的矩形子块的第一个像素坐标和预测块的第一个像素坐标相减，得到该划分后的矩形子块运动矢量；如果标记信息split_flag等于0，则直接在参考帧中搜索该矩形块最匹配的预测块，并将该矩形块的第一个像素的坐标和预测块的第一个像素坐标相减，得到该矩形块的运动矢量。

步骤G，对宽度为M，高度为N的矩形块进行编码。

首先，将该矩形块的像素亮度值与其预测块的像素亮度值相减，得到预测残差；

然后，对预测残差进行离散余弦变换；

最后，对变换后的数值，采用标量量化方法进行量化，并对量化后的数值进行熵编码，并将编码结果写入码流。

本发明的效果可以通过实验进一步说明。

图7比较了本发明与JCT-VC的编码方法的编码性能。其中图7(a)比较了分别采用本发明和JCT-VC的编码方法对视频序列foreman编码后的率失真曲线，图7(b)比较了分别采用本发明和JCT-VC的编码方法对视频序列Racehorse编码后的率失真曲线，图7(c)比较了分别采用本发明和JCT-VC的编码方法对视频序列Basketball_Drill编码后的率失真曲线。

由图7可以看出，在相同编码比特率的条件下，本发明在解码端恢复的视频质量峰值信噪比PSNR高于JCT-VC的编码方法在解码端恢复的视频质量的峰值信噪比PSNR，统计结果表明本发明在解码端恢复的视频质量峰值信噪比PSNR比JCT-VC的编码方法在解码端恢复的视频质量峰值信噪比PSNR平均高出0.2dB。

Claims (6)

1.一种视频压缩中视频编码块自适应确定方法，包括如下步骤：

(1)遍历整个视频序列，从最大编码单元FLCTB和最小编码单元FSCTB的取值范围中采用率失真优化方法为每一视频帧选择最优的最大编码单元FLCTB和最小编码单元FSCTB，并将选择的最优的FLCTB和FSCTB写入码流；

(2)根据视频格式是否是FLCTB的整数倍确定视频帧的压缩方法，如果视频格式是FLCTB的整数倍，则按照JCT-VC提出的编码方法完成视频帧的压缩，反之，执行步骤(3)；

(3)根据视频帧是否采用帧间预测确定视频帧的压缩方法，如果未采用帧间预测，则按照JCT-VC提出的编码方法完成该帧的压缩，反之，执行步骤(4)；

(4)对视频帧右边界或下边界处的FLCTB中未超出视频帧范围的宽度为M，高度N的矩形块进行划分，即先将该矩形扩展为大小为L₂×L₂的正方形块，其中，L₂＝2ⁿ，

再对该L₂×L₂的正方形块沿水平和垂直方向划分为四等份；

(5)采用标记信息split_flag将划分后的矩形块标示为1，将没有划分的矩形块标示为0，并将该标记信息写入码流；

(6)依据标记信息split_flag，对划分后的矩形块进行帧间预测，获取运动矢量和预测残差，并对预测残差进行变换、量化和熵编码。

2.根据权利要求1所述的视频压缩中视频编码块自适应确定方法，其中步骤(1)所述的将选择的最优的FLCTB和FSCTB写入码流，是按如下两种方式的任一种方式进行：

(2a)直接将FLCTB写入码流；

(2b)将当前帧的FLCTB与参考帧的FLCTB的差值写入码流。

3.根据权利要求1所述的视频压缩中视频编码块自适应确定方法，其中步骤(6)所述的依据标记信息split_flag，对划分后的矩形块进行帧间预测，是以划分后的矩形块的大小为基本单元在参考帧中搜索与该矩形块最匹配的预测块。

4.一种视频压缩中视频编码块自适应确定方法，包括如下步骤：

1)利用当前帧与参考帧之间的相关性，预测当前帧的最大编码单元FLCTB和最小编码单元FSCTB；

2)根据视频格式是否是FLCTB的整数倍确定视频帧的压缩方法，如果视频格式是FLCTB的整数倍，则按照JCT-VC提出的编码方法完成视频帧的压缩，反之，执行步骤3)；

3)根据视频帧是否采用帧间预测确定视频帧的压缩方法，如果未采用帧间预测，则按照JCT-VC提出的编码方法完成该帧的压缩，反之，执行步骤4)；

4)对视频帧右边界或下边界处的FLCTB中未超出视频帧范围的宽度为M，高度N的矩形块进行划分，即先将该矩形扩展为大小为L₂×L₂的正方形块，其中，L₂＝2ⁿ，

再对该L₂×L₂的正方形块沿水平和垂直方向划分为四等份；

5)采用标记信息split_flag将划分后的矩形块标示为1，将没有划分的矩形块标示为0，并将该标记信息写入码流；

6)依据标记信息split_flag，对划分后的矩形块进行帧间预测，获取运动矢量和预测残差，并对预测残差进行变换、量化和熵编码。

5.根据权利要求4所述的视频压缩中视频编码块自适应确定方法，其中步骤1)所述的预测当前帧的最大编码单元FLCTB和最小编码单元FSCTB，按如下步骤进行：

5a)依据参考帧的编码信息，确定参考帧的最大编码单元FLCTB和最小编码单元FSCTB；

5b)直接将参考帧的最大编码单元FLCTB和最小编码单元FSCTB作为当前帧的最大编码单元FLCTB和最小编码单元FSCTB。

6.根据权利要求4所述的视频压缩中视频编码块自适应确定方法，其中步骤6)依据标记信息split_flag，对划分后的矩形块进行帧间预测，是以划分后的矩形块的大小为基本单元在参考帧中搜索与该矩形块最匹配的预测块。

Images