CN110446052B - 一种3d-hevc帧内深度图快速cu深度选择方法 - Google Patents

Abstract

本发明公开了一种3D‑HEVC帧内深度图快速CU深度选择方法，包括以下步骤：首先对当前编码帧已编码CTU得到的最优深度划分结果进行学习，获取提前终止划分阈值；其次，获取当前编码CU在深度i的最优预测失真和相应的编码参数CBF、最优预测模式P_m。最后，将当前编码CU的最优预测失真与提前终止划分阈值进行比较，并联合当前编码CU的编码参数CBF和最优预测模式P_m，判断是否提前终止当前编码CU深度i继续向下划分。本发明通过上述处理过程实现了对深度图CU深度i的提前划分快速终止，在保证编码质量基本不变的情况下，大幅降低了3D‑HEVC帧内深度图编码时间。

Description

一种3D-HEVC帧内深度图快速CU深度选择方法

技术领域

本发明属于视频编码技术领域，尤其涉及一种3D-HEVC帧内深度图快速CU深度选择方法。

背景技术

相比于二维(2D)视频，三维(3D)视频通过采用立体，多视点和多视点加深度(MVD)等技术使用户享受更真实的视觉体验，其已广泛应用于多媒体中，如3D电影，自由视点电视等。为高效压缩2D视频，视频编码联合小组(JCT-VC)开发了高效视频编码(HEVC)标准。由于3D视频是由2D纹理视频和其对应每像素深度图组成，3D视频编码扩展开发联合团队(JCT-3V)基于HEVC制定了3D-HEVC标准，以更有效的压缩3D视频。

3D-HEVC继承了HEVC的关键编码技术，如四叉树编码树单元(Coding Tree Unit,CTU)划分技术，在编码过程中，编码帧首先划分为CTU序列，所有CTU都具有相同的大小(64×64)。CTU可以进一步递归划分为4个相同大小的子编码单元(Coding Unit，CU)，直到最小的CU大小为8×8。CU的大小包括64×64，32×32，16×16和8×8，其对应的CU深度为0，1，2和3。当对CU进行帧内(Intra)预测时，其包含35种预测模式：两种非方向模式(模式0：DC模式；模式1：planar模式)和33种方向模式(从模式2到模式34)。特别对于深度图编码，由于深度图具有与纹理视频不同的纹理特征，其具有由锐利边界分割的大平滑区域，锐利边界的失真在合成视点中的对象边界处引起振铃伪像，这可能影响合成视点的质量。因此，3D-HEVC引入了几种用于深度图编码的新编码工具，以保留锐利边界，包括增加新的帧内预测模式，DMM(Depth Modelling Mode)等。

为了获得最优的编码效率，HEVC和3D-HEVC都采用率失真优化(Rate DistortionOptimization，RDO)技术选择最优的预测模式和最优的CTU深度划分。CTU首先通过从上到下递归划分为不同大小的CU深度，其中每个CU深度都需计算所有预测模式的率失真代价，率失真代价计算公式为：J_m＝D+λ×B_mode，其中λ为拉格朗日因子，D为预测失真，B_mode为编码所需比特数，最后选择率失真代价最小的预测模式为CU深度的最优模式，即获得CU深度的率失真代价。其次，通过从下到上进行CU深度裁剪，计算公式为：

其中

表示CU深度i的率失真代价，

表示CU深度i+1的率失真代价，图1为一个CTU的最优CU深度划分示例。由于通过递归将CTU划分为子CU来选择最优CU深度划分，其遍历过程的计算复杂度极高。因此，如何提前且准确地预测最优CU深度划分，从而跳过一些不必要的CU深度裁剪计算对于降低3D-HEVC深度图编码计算复杂度至关重要。

综上，有必要针对3D-HEVC深度图编码，提出一种利用CU预测失真、编码参数和预测模式的帧内深度图快速CU深度选择方法，在保证编码质量的前提下，提前判定最优CU深度划分，大幅的降低编码复杂度。

发明内容

本发明所要解决的技术问题是针对3D视频深度图帧内编码计算复杂度高的问题，提供3D-HEVC帧内深度图快速CU深度选择方法，在保证编码质量几乎不变的情况下大幅降低编码计算复杂度。

为实现上述技术目的，本发明采用如下技术方案：

一种3D-HEVC帧内深度图快速CU深度选择方法，包括以下步骤：

步骤1，在编码一帧深度图之前，初始化提前终止划分决策阈值

为0；

步骤2，从深度图中按顺序提取需要编码的CTU，每个CTU的编码具体过程为：

步骤2.1，顺序提取需要编码的CU深度i，计算当前编码CU在深度i,i∈{0,1,···,N-1}时每种预测模式的预测失真，得到最优预测失真D_i(CU_cur),i∈{0,1,···,N-1}，并获取最优预测失真对应的编码参数CBF和最优预测模式P_m；其中，N表示对CTU进行划分的最大深度；

步骤2.2，根据当前编码深度图已编码的CTU得到的最优深度划分结果，更新计算CU深度i的提前终止划分决策阈值

步骤2.3，判断是否满足任意一个提前终止划分条件：如果满足，则将当前CU深度i作为最优深度，并终止当前CU深度i继续划分；否则，将当前CU深度i继续向下划分；

其中，终止划分条件包括：

(a)、

(b)、

且CBF＝0；

(c)、

且((P_m＝0)或(P_m＝1))；

式中，Th1，Th2和Th3分别为第一阈值系数、第二阈值系数和第三阈值系数，且有Th1＜Th2＜Th3；

步骤3，返回步骤2.1，直到当前CTU得到最优CU深度划分结果；

步骤4，返回步骤2，直到当前编码深度图中CTU已全部编码；

步骤5，返回步骤1。

进一步地，步骤2中，CU深度i的提前终止划分决策阈值

的计算方法为：

式中，

表示当前编码深度图中已编码的第j个CTU中的最优CU深度i的预测失真，M表示当前编码深度图中已编码CTU的个数，中间变量ω计算为：

进一步地，其特征在于，N＝3。

进一步地，第一阈值系数的取值为Th1＝0.8，第二阈值系数的取值为Th2＝1，第三阈值系数的取值为Th3＝1.5。

进一步地，编码参数CBF具体是指编码块标志位；若编码CU在编码后的残差系数为0，则该编码CU的编码块标志位CBF＝0，否则编码块标志位CBF＝1。

进一步地，其特征在于，P_m＝1表示CU深度i编码后的最优预测模式为DC模式，P_m＝0表示CU深度i编码后的最优预测模式为Planar模式。

有益效果

本发明利用当前编码CU的预测失真、编码参数以及预测模式与最优CU深度划分之间的相关性，以作为是否提前终止划分当前编码CU深度的标准，方法设计简单易于实现，同时易于集成到3D-HEVC编码平台中。该方法可以在基本不降低编码质量的同时，大幅降低深度图帧内编码计算复杂度，提高编码速度。

附图说明

图1是一个CTU最优深度划分示例；

图2是该发明中面向3D-HEVC深度图编码的快速CU深度选择算法的流程图。

具体实施方式

下面对本发明的实施例作详细说明，本实施例以本发明的技术方案为依据开展，给出了详细的实施方式和具体的操作过程，对本发明的技术方案作进一步解释说明。

本实施例公开的3D-HEVC帧内深度图快速CU深度选择方法，如图2所示，包括以下步骤：

步骤1，在编码一帧深度图之前，初始化提前终止划分决策阈值

为0；

步骤2，从深度图中按顺序提取需要编码的CTU，每个CTU的编码具体过程为：

步骤2.1，顺序提取需要编码的CU深度i，计算当前编码CU在深度i,i∈{0,1,···,N-1}时每种预测模式的预测失真，得到最优预测失真D_i(CU_cur),i∈{0,1,···,N-1}，并获取最优预测失真对应的编码参数CBF和最优预测模式P_m；

其中，N表示对深度图进行编码的最大深度；在标准的3D-HEVC编码方法中，深度图中每个CTU的大小均为64×64，其划分最优深度可以为0、1、2、3，依次对应得到的CU大小为64×64，32×32，16×16和8×8。故本实施例中取N＝3。在本发明中，CTU即是深度为0的CU。

其中，最优预测失真的计算公式为：

P为所有帧内预测模式，D_m为帧内预测模式m的预测失真；

在本实施例中，编码参数CBF具体是指编码块标志位；若编码CU在编码后的残差系数为0，则该编码CU的编码块标志位CBF＝0，否则编码块标志位CBF＝1；

步骤2.2，根据当前编码深度图已编码的CTU得到的最优深度划分结果，更新计算CU深度i的提前终止划分决策阈值

其中，N表示对CTU进行划分的最大深度；

其中，CU深度i的提前终止划分决策阈值

的计算方法为：

式中，

表示当前编码深度图中已编码的第j个CTU中的最优CU深度i的预测失真，M表示当前编码深度图中已编码CTU的个数，中间变量ω计算为：

如果在一个CTU中获得最优深度为i∈{0,1,···,N-1}的CU，则可更新CU深度i的提前终止划分决策阈值

步骤2.3，判断是否满足任意一个终止划分条件：如果满足，则将当前CU深度i作为最优深度，并终止当前CU深度i继续划分；否则，将当前CU深度i继续向下划分；

其中，终止划分条件包括：

(a)、

(b)、

且CBF＝0；

(c)、

且((P_m＝0)或(P_m＝1))；

式中，Th1，Th2和Th3分别为第一阈值系数、第二阈值系数和第三阈值系数，且有Th1＜Th2＜Th3；在本实施例中，通过实验取经验值为：Th1＝0.8，Th2＝1，Th3＝1.5；

另外，P_m＝1表示CU深度i编码后的最优预测模式为DC模式，P_m＝0表示CU深度i编码后的最优预测模式为Planar模式。

步骤3，返回步骤2.1，直到当前CTU得到最优CU深度划分结果；

步骤4，返回步骤2，直到当前编码深度图中CTU已全部编码；

步骤5，返回步骤1。

CU编码的残差系数是否为0作为编码块标志位，其在很大程度上标志着当前编码CU深度i是否为最优深度划分；而最优CU深度划分又与预测模式有很强的相关性。因此，本发明将编码块标志位、预测模式以及提前终止划分阈值结合进行快速CU深度选择，可以在保证编码质量基本不变的情况下，最大程度地降低3D-HEVC帧内深度图的编码时间。

另外，在每编码完一个CTU后，均使用当前编码帧中已编码CTU中的最优深度划分结果，以更新当前各CU深度的提前终止划分决策阈值，有利于得到更灵活的提前终止划分决策条件，因为视频内容丰富多样，导致最优CU深度的划分也灵活多样，不断更新的阈值能更好的适用不同视频内容的CU深度提前划分决策。

下面进行仿真实验来验证本发明提出的一种3D-HEVC帧内深度图快速CU深度选择算法的性能。

为了评估上述提出方法的可行性和有效性，以HTM16.0为测试平台，在Inter(R)Core(TM)i7-7700 CPU，16GB RAM的PC上独立执行。测试序列包括两种分辨率，1024x768(Balloons，Kendo，Newspaper)和1920x1088(GT_Fly，Pozan_Halls，Poznan_Street，Undo_Dancer，Shark)，每个测试视频序列包括三个纹理视点及其对应的深度图。实验参数和条件的配置按照JCT-3V公布的通用测试条件进行。

采用BD-Rate和TS_Depth来衡量算法的性能，如表1所示。BD-Rate表示合成视点的码率变化情况，正负表示码率增减，值越小表示算法性能越好；TS_Depth表示编码时间节约，其计算为：

T_3D-HEVC表示原始测试模型的深度图编码时间，T_Proposed表示本发明方法的编码时间。

表1：本发明与HTM16.0的性能对比结果

从表1所示的性能对比结果可以看出，本发明方法可以平均减少55.9％的深度图编码时间，同时合成视点的BD-Rate平均只增加了0.09％。跟原始HTM算法平台相比，本发明方法在几乎不降低编码质量的情况下，大幅地减少了所有测试视频序列的编码时间。特别对于分辨率为1920x1088的GT_Fly视频序列，可以节约70.7％的编码时间，BD-Rate只增加了0.05％。综合来说，本发明方法能很好的减少编码复杂度，同时保持较好的视频压缩质量。

以上实施例为本申请的优选实施例，本领域的普通技术人员还可以在此基础上进行各种变换或改进，在不脱离本申请总的构思的前提下，这些变换或改进都应当属于本申请要求保护的范围之内。

Claims (6)

1.一种3D-HEVC帧内深度图快速CU深度选择方法，其特征在于，包括以下步骤：

步骤1，在编码一帧深度图之前，初始化提前终止划分决策阈值

为0；

步骤2，从深度图中按顺序提取需要编码的CTU，每个CTU的编码具体过程为：

步骤2.1，顺序提取需要编码的CU深度i，计算当前编码CU在深度i,i∈{0,1,···,N-1}时每种预测模式的预测失真，得到最优预测失真D_i(CU_cur),i∈{0,1,···,N-1}，并获取最优预测失真对应的编码参数CBF和最优预测模式P_m；其中，N表示对CTU进行划分的最大深度；

步骤2.2，根据当前编码深度图已编码的CTU得到的最优深度划分结果，更新计算CU深度i的提前终止划分决策阈值

步骤2.3，判断是否满足任意一个提前终止划分条件：如果满足，则将当前CU深度i作为最优深度，并终止当前CU深度i继续划分；否则，将当前CU深度i继续向下划分；

其中，终止划分条件包括：

(a)、

(b)、

且CBF＝0；

(c)、

且((P_m＝0)或(P_m＝1))；

式中，Th1，Th2和Th3分别为第一阈值系数、第二阈值系数和第三阈值系数，且有Th1＜Th2＜Th3；

步骤3，返回步骤2.1，直到当前CTU得到最优CU深度划分结果；

步骤4，返回步骤2，直到当前编码深度图中CTU已全部编码；

步骤5，返回步骤1。

2.根据权利要求1所述的方法，其特征在于，步骤2中，CU深度i的提前终止划分决策阈值

的计算方法为：

式中，

表示当前编码深度图中已编码的第j个CTU中的最优CU深度i的预测失真，M表示当前编码深度图中已编码CTU的个数，中间变量ω计算为：

3.根据权利要求1所述的方法，其特征在于，N＝3。

4.根据权利要求1所述的方法，其特征在于，第一阈值系数的取值为Th1＝0.8，第二阈值系数的取值为Th2＝1，第三阈值系数的取值为Th3＝1.5。

5.根据权利要求1所述的方法，其特征在于，编码参数CBF具体是指编码块标志位；若编码CU在编码后的残差系数为0，则该编码CU的编码块标志位CBF＝0，否则编码块标志位CBF＝1。

6.根据权利要求1所述的方法，其特征在于，P_m＝1表示CU深度i编码后的最优预测模式为DC模式，P_m＝0表示CU深度i编码后的最优预测模式为Planar模式。

Images