CN104038760A - 一种3d视频深度图像帧内楔形分割模式选择方法及系统 - Google Patents

Abstract

本发明提出一种3D视频深度图像帧内楔形分割模式选择方法及系统。首先计算预测块分割区域的方差，通过方差来判断分割区域的平滑程度，粗略决定最优显示楔形分割模式锐利边缘的大致区域，在包含锐利边缘的分割区域所对应的显示楔形分割模式子集中，计算最优显示楔形分割模式；其次使用最大可能模式的邻近帧内预测模式组成最大可能模式邻近帧内预测模式集合来预测当前深度的预测模式，通过判断纹理对应块的角度模式是否包含在最大可能模式邻近帧内预预测模式集中，决定结构失配是否发生，进而判断是否跳过隐式楔形分割模式的计算。本发明能够在保证合成视角中视频质量的前提下提高深度图像帧内楔形分割模式的编码速度，降低计算复杂度。

Description

一种3D视频深度图像帧内楔形分割模式选择方法及系统

技术领域

本发明属于视频编解码技术领域，具体涉及一种3D视频深度图像帧内楔形分割模式选择方法及系统。

背景技术

2013年1月联合视频开发组发布了新一代国际视频编码标准HEVC，也称为H.265。HEVC适应了高清视频的发展需求，同时在提高并行计算和适应移动网络方面进行了改进。与上一代的视频编码标准H.264相比，新标准HEVC在得到相同视频质量的情况下，可以减少约50％的码率。目前,联合视频开发组正致力于HEVC的优化和扩展标准的制定，包括高保真的扩展、多视点视频编码标准的MV-HEVC、可伸缩视频编码标准的MFC-HEVC、3D视频编码标准的3D-HEVC。其中，3D-HEVC的标准化工作已经接近尾声，并且将于2015年初作为HEVC最重要的扩展标准对外发布。3D-HEVC标准采用了多视点加深度图像的(Multiple-view plus depth)的视频格式，深度图像用来表示物体距离摄像机的距离，而自然图像被称为纹理图像。多视点加深度图像的视频究其本质仍为多视点视频。因此，3D-HEVC标准的制定采纳了多视点的编码结构并且直接引入了多视点视频编码的一些成熟编码技术。

深度图像和自然视频图像有很大的不同，主要体现在三个方面：1)深度图像的大部分为平滑区域；2)深度图像只有很少的物体边缘，但这些有限的物体边缘要比自然图像的物体边缘锐利；3)深度图像并不是用来直接观看，而是用来合成虚拟中间视角，深度图像中物体边缘的失真将在合成的虚拟中间视角中引入振铃效应，降低视频的主观质量。基于前述三方面的不同特点，保留深度图像中物体的边缘成为深度图像编码的重要工作内容之一。为了最大限度的保留深度图像的锐利边缘，“3D-HEVC Test Model5”,(“L.Zhang,G.Tech,K.Wegner,S.Yea,ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11,JCT3V-E1005,5th Meeting:Vienna,AT,27Jul.–2Aug.2013”)一文中所述的3D-HEVC测试模型引入四种新的深度模型模式：显示楔形分割模式、隐式楔形分割模式、contour分割模式、边界链式分割模式。其中，楔形分割模式(包括显示和隐式)的分割方式如图1所示，图1包含了连续时的楔形分割、离散时的楔形分割和最终的楔形分割模式。楔形分割模式用起点为S、终点为E的一条直线将预测块分割为P1和P2两个部分。3D-HEVC测试模型“3D-HEVC Test Model 5”,(“L.Zhang,G.Tech,K.Wegner,S.Yea,ITU-TSG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11,JCT3V-E1005,5th Meeting:Vienna,AT,27Jul.–2Aug.2013”)一文中，基于上述新的深度模型模式提出了一种对深度帧内预测模式进行选择的方法，该方法如图2所示，包含以下步骤：

步骤201，计算当前块的35种HEVC帧内预测模式(如图3所示)的哈达玛变换系数绝对值和(SATD)；在35种HEVC帧内预测模式中，根据SATD选择一定数目的帧内预测模式加入到候选帧内预测模式列表，其中，大小为4x4和8x8的预测块各选择8个帧内预测模式；大小为16x16、32x32和64x64的预测块各选择3个帧内预测模式；

步骤202，选取当前块的左侧和上侧邻近块的帧内预测模式，得到最大可能模式(MPM)，将MPM中的帧内预测模式加入到候选帧内预测模式列表；

步骤203，在深度图像对应块中，在显示楔形分割模式集中，计算每一个显示楔形分割模式的率失真代价，选择率失真代价最小的楔形分割模式作为最优的显示楔形分割模式并加入到候选帧内预测模式列表；

步骤204，在纹理图像对应块中，计算隐式楔形分割模式集中每一个隐式楔形分割模式的率失真代价，选择率失真代价最小的楔形分割模式作为最优的隐式楔形分割模式并加入到候选帧内预测模式列表；其中，隐式楔形分割模式集为显示楔形分割模式集的子集；隐式楔形分割模式集包为纹理对应块的帧内预测模式相对应的楔形分割模式集；

步骤205，将contour分割模式和边界链式分割模式加入到候选帧内预测模式列表；

步骤206，计算上述候选帧内预测模式列表中每个帧内预测模式的完整率失真代价，选择率失真最小的帧内预测模式作为当前块最优的帧内预测模式。

在上述帧内楔形分割模式选择方法中的步骤203和204中，需要计算楔形分割模式集中所有楔形分割模式的率失真代价。这种遍历计算率失真代价的模式选择方法使得计算复杂度高，尤其对于比较大的预测块，例如32x32和16x16的预测块，都包含1000多种楔形分割模式，这就需要计算1000多次率失真代价，使得深度图像的帧内编码时间约为自然图像帧内编码的10倍，造成当前的计算机的计算能力很难实现3D视频的实时应用。

为此，已经开展许多相关研究来提高深度图像的编码效率。德国的HHI研究所在“Simplified Wedgelet search for DMM modes 1 and 3,”(ITU-T SG 16 WP 3 and ISO/IECJTC 1/SC 29/WG 11,Doc,JCT3V-B0039,Shanghai,China)一文中提出了一种二步搜索最优楔形分割模式的方法。该方法先在两倍像素域上得到次最优楔形分割模式，然后在次最优的楔形分割模式的邻近2个像素寻找最优的楔形分割模式。该方法已经被3D-HEVC标准测试模型采纳，可以通过配置编码参数项FMD使用该方法。此外，华为公司在“FastDepth Modeling Mode Selection For3D Hevc Depth Intra Coding”(Z.Y.Gu,J.H.Zheng,N.Ling and P.Zhang,IEEE international conference on ICMEW,San Jose,CA,July2013,pp.1-4)一文中提出了一种利用粗略模式决定(RMD)候选列表中的Planar模式衡量预测块的平滑程度，从而来决定是否进行深度模型模式的快速方法。该方法同样被3D-HEVC的标准测试模型采纳。虽然，上述两种楔形分割模式快速选择方法加入到了3D-HEVC的测试模型，但是其深度图像的帧内编码时间仍为纹理图像的5倍之多。很显然，上述这些技术仍然很难到达实时应用的要求，需要进一步对深度帧内模型模式编码效率进行优化。在此基础上，申请号为201310169728.2的中国专利申请公开了一种基于深度图像的帧内预测楔形分块方法，该方法通过利用粗略模式决定(RMD)中帧内角度预测模式和楔形分割模式的纹理相关性，只在粗略模式的第一个帧内角度预测模式所对应的楔形分割模式子集中选择最优楔形分割，从而减少了需要计算RDO的楔形分割模式数目，进一步提高了编码效率，但是该技术未考虑当前块的锐利边缘的分布，仅考虑纹理的方向无法准确得到与物体边缘匹配的最优楔形分割模式，该方法在降低编码复杂程度的同时增加了码率。换言之，该方法在相同码率下，视频图像的质量下降较为严重。

发明内容

本发明提出一种3D视频深度图像帧内楔形分割模式选择方法及系统，能够在保证合成视角中视频质量的前提下提高深度图像帧内楔形分割模式的编码速度，降低计算复杂度。

为了解决上述技术问题，本发明提供一种3D视频深度图像帧内楔形分割模式选择方法，包括以下步骤：

步骤1：计算当前块的35种HEVC帧内预测模式的哈达玛变换系数绝对值和；根据所述哈达玛变换系数绝对值和选择一定数目的帧内预测模式加入到候选帧内预测模式列表；

步骤2：选取当前块的左侧和上侧邻近块的帧内预测模式，得到最大可能模式，将所述最大可能模式中的帧内预测模式加入到候选帧内预测模式列表；

步骤3：在深度图像对应块中，选取最优的显示楔形分割模式并加入到候选帧内预测模式列表；

步骤4：选取当前块左侧和上侧邻近块的帧内预测模式，组成最大可能模式，判断该最大可能模式中的帧内预测模式是否为帧内角度预测模式，

如果最大可能模式中的帧内预测模式都不是帧内角度预测模式，则继续步骤5；

如果最大可能模式中的帧内预测模式中包含有帧内角度预测模式，则在纹理图像对应块中，判断纹理块和深度块是否存在结构失配，如果存在结构失配，则继续步骤5；如果不存在结构失配，则计算最优隐式楔形分割模式并加入到候选帧内预测模式集；

步骤5：将contour分割模式和边界链式分割模式加入到候选帧内预测模式列表；

步骤6：选择上述候选帧内预测模式列表中率失真最小的帧内预测模式作为当前块最优的帧内预测模式。

本发明还提供一种实现所述3D视频深度图像帧内楔形分割模式选择方法的系统，包括计算模块、存储模块和对应纹理块获取模块；

所述存储模块用于存储：四种块分割方式；每一种块分割方式对应的两个块分割区域；每个块分割区域对应的楔形分割模式子集；最优楔形分割模式和最优隐式楔形分割模式；候选帧内模式列表；最大可能模式的邻近帧内角度预测模式集；

所述计算模块用于进行下列计算：每个块分割区域对应的楔形分割模式子集；当前块分割区域的方差；每个楔形分割的最优楔形分割模式；在楔形分割模式子集中，获取最优的楔形分割模式；获取候选帧内预测模式列表中的每个模式完整的率失真代价；

所述纹理对应块获取模块，用于获得当前深度块对应位置的纹理图像对应块的像素值和帧内预测模式。

本发明与现有技术相比，其显著优点在于：(1)本发明考虑当前块中区域的方差，粗略得到了锐利边缘的分布区域，只在锐利边缘所在分布区域对应的楔形分割模式子集中选择最优的楔形分割，没有盲目地计算所有显示楔形分割模式的率失真代价来获得最优显示楔形分割模式，减少了计算率失真代价的次数；(2)本发明将纹理图像对应块的帧内角度预测模式是否包含在当前块的最大模式的邻近模式作为判断当前块和纹理对应块结构失配的条件，当当前块和纹理图像对应块存在结构失配问题时，即使计算得到最优的隐式楔形分割并加入到候选帧内预测模式列表，在接下来对候选帧内预测模式列表中的帧内预测模式进行完整的率失真模式的计算时，也不会将隐式楔形分割模式选择为最优的帧内预测模式，所以当前块和纹理图像对应块存在失配问题时，将不执行隐式楔形分割模式，即不会进行最优的楔形分割模式的计算，也就没有隐式的楔形分割模式加入到候选的楔形分割模式集；(3)基于上述改进，本发明减少了需要计算最优隐式楔形分割的预测块数，从而提高了编码效率，同时由于考虑了深度图像和纹理图像的结构失配，不进行隐式最优模式计算的预测块将对深度图像的边缘没有任何影响，从而保证了合成视角中图像的质量。

附图说明

图1是背景技术中所述楔形分割模式的分割方式，其中(a)为连续时楔形分割方式示意图，(b)离散时楔形分割方式示意图，(c)为最终的楔形分割模式。

图2是背景技术中所述3D-HEVC的深度帧内模式选择流程示意图。

图3是背景技术所述HEVC的35种帧内预测模式示意图。

图4是本发明3D视频深度图像帧内楔形分割模式选择方法流程示意图。

图5是本发明3D视频深度图像帧内楔形分割模式选择方法中预设的四种块分割方式及区域示意图，包括：45度斜对角分割方式、135斜对角分割方式、垂直等分割方式、水平等分割方式块分割方式。

图6本发明3D视频深度图像帧内楔形分割模式选择方法中选取最优显示楔形分割模式的方法示意图。

图7本发明3D视频深度图像帧内楔形分割模式选择方法中4x4块分割区域对应的楔形分割模式集和非区域楔形分割模式子集，其中，(a)为45度斜对角分割区域一对应的楔形分割模式集，(b)为45度斜对角分割区域二对应的楔形分割模式集，(c)为135度斜对角分割区域一对应的楔形分割模式集，(d)为135度斜对角分割区域二对应的楔形分割模式集；(e)为垂直分割区域一对应的楔形分割模式集，(f)为垂直分割区域二对应的楔形分割模式集，(g)为水平分割区域二对应的楔形分割模式集，(h)为非区域分割的楔形分割模式子集，(i)为等分割楔形分割模式集。

图8本发明3D视频深度图像帧内楔形分割模式选择方法中隐式楔形快速选择方法流程图。

图9本发明3D视频深度图像帧内楔形分割模式选择系统结构示意图。

具体实施方式

本发明的创新思路是，深度图像的特殊性质之一是深度图像的大部分区域是平坦区域并且这些平坦区域被锐利的边缘所分割。很显然，楔形分割块的两个分割区域之间的像素值差异必然很大，而在两个分割区域内部，各自的深度像素值几乎不变。根据上述深度图像和楔形分割块的特性，如果首先计算预测块预先定义的分割区域的方差，通过方差来判断预先定义的分割区域的平滑程度，进而可以粗略决定最优显示楔形分割模式锐利边缘的大致区域。在包含锐利边缘的分割区域所对应的显示楔形分割模式子集中，计算得到最优的显示楔形分割模式。

对于隐式的楔形分割模式，如果纹理图像和深度图像存在结构的失配问题，那么即使遍历了所有的隐式楔形分割模式，也无法从纹理块中得到当前深度块的最优隐式楔形分割的描述。这就意味着当纹理块和深度块存在结构失配问题时，没有必要进行隐式楔形模式的计算。当前块的最大可能模式可以很好地预测当前块的帧内预测模式。为了提高预测的准确度，可以利用最大可能模式的邻近模式组成最大可能模式邻近模式集合来预测当前深度的预测模式。通过判断纹理对应块的角度模式是否包含在邻近角度预测模式集中，决定失配问题是否发生，进而判断是否跳过隐式楔形分割模式的计算。

本发明基于上述发明思路提出的3D视频深度图像帧内楔形分割模式选择方法，对3D视频中深度图像的进行楔形分割模式的快速选择，其中楔形分割模式的选择包含显示楔形分割模式的选择和隐式楔形分割模式的选择；然后将选择的最优显示楔形分割模式和隐式楔形分割模式加入到候选帧内预测模式列表；进一步地计算候选帧内预测模式列表中的帧内预测模式的完整率失真代价，最终根据完整率失真代价，得到最优的帧内预测模式。具体如图4所示，包括以下步骤：

步骤401：计算当前块的35种HEVC帧内预测模式的哈达玛变换系数绝对值和；根据所述哈达玛变换系数绝对值和选择一定数目的帧内预测模式加入到候选帧内预测模式列表；

步骤402：选取当前块的左侧和上侧邻近块的帧内预测模式，得到最大可能模式(MPM)，将所述最大可能模式中的帧内预测模式加入到候选帧内预测模式列表；

步骤403：在深度图像对应块中，选取最优的显示楔形分割模式并加入到候选帧内预测模式列表；

步骤404：选取当前块左侧和上侧邻近块的帧内预测模式，组成最大可能模式(MPM)，判断该最大可能模式MPM中的帧内预测模式是否为帧内角度预测模式，并根据判断结果决定是否进行隐式楔形分割模式选择，具体为：

如果最大可能模式MPM中的帧内预测模式都不是帧内角度预测模式，则不再进行隐式楔形分割模式选择，并进入步骤405；

如果最大可能模式MPM中的帧内预测模式中包含有帧内角度预测模式，则在纹理图像对应块中，判断纹理块和深度块是否存在结构失配，如果存在结构失配，则不再进行隐式楔形分割模式的选择，并进入步骤405；如果不存在结构失配，则按照3D-HEVC标准中所述的方法计算获得最优的隐式楔形分割模式并加入到候选帧内预测模式集；

步骤405：将contour分割模式和边界链式分割模式加入到候选帧内预测模式列表；

步骤406：选择上述候选帧内预测模式列表中率失真最小的帧内预测模式作为当前块最优的帧内预测模式。

上述步骤403中所述选取最优显示楔形分割模式的方法，包含以下步骤：

步骤4031：定义四种块分割方式，每一种块分割方式对应两个分割区域，一共有八个分割区域，每种分割方式对应的两个分割区域分别被称为第一区域和第二区域。如图5所示，如图5所示，所述四种块分割方式为：45度斜对角分割方式、135斜对角分割方式、垂直等分割方式、水平等分割方式；四种块分割方式对应的八种分割区域：左上部、右下部；右上部、左下部；左半部、右半部；上半部、下半部。其中，左上部、右上部、左半部、上半部为其对应的分割方式的第一区域；右下部、左下部、右半部、下半部为其对应的分割方式的第二区域。在楔形分割模式集中选取出每个分割区域各自对应的楔形分割模式组成每个分割区域各自对应的楔形分割模式子集，将楔形分割模式集中剩余的楔形分割模式组成非区域分割模式子集，非区域分割模式子集的元素为不包含在上述八个分割区域对应的楔形分割子集中的楔形分割模式；楔形分割模式集和非区域楔形分割模式子集如图7所示；将当前分割方式初始化为45度斜对角分割方式；

步骤4032：获取当前分割方式的最优楔形分割模式或获取最优的楔形分割模式子集，具体为：针对当前块，计算选定的块分割方式对应的两个分割区域的像素值方差，根据像素值方差估计两个分割区域的平坦程度，从而判断分割直线的大致区域，即将两个分割区域的像素值方差与预设的门限值进行比较，判断当前块的锐利边缘的大致区域，即深度像素区域信息，判断方法为：

设两个分割区域的像素值方差分别为Var_{_p1}和Var_{_p2}，

1)当Var_{_p1}和Var_{_p2}都小于或等于预设门限值时，说明了两个区域都很平滑，那么分割直线为当前块分割方式的分割直线，则将当前的块分割方式作为最优的楔形分割模式，并加入到候选帧内预测模式列表；

2)当Var_{_p1}大于预设门限值而Var_{_p2}小于或等于预设门限值时，说明了当前分割方式的第二区域为平坦区域，而当前分割方式的第一区域为非平坦区域，楔形分割直线必然在当前分割方式的第一分割区域，则将当前分割方式中第二区域相对应的楔形分割子集作为最优的楔形分割模式子集，然后继续步骤4033；

3)当Var_{_p2}大于预设门限值而Var_{_p1}小于或等于预设门限值时，说明当前分割方式的第一区域为平坦区域，而当前分割方式的第二区域为非平坦区域，则楔形分割直线必然在当前分割方式的第二分割区域，则将当前分割方式第一区域相对应的楔形分割子集作为最优的楔形分割模式子集，然后继续步骤4033；

4)当Var_{_p1}和Var_{_p2}都大于预设门限值时，说明了当前分割方式的第一区域和第二区域都为非平坦区域，则两个分割区域都包含楔形分割直线的一部分，故无法确定当前分割方式下楔形分割直线的区域，则需要考虑下一种分割方式，也即选择135度斜对角分割方式为下一个块分割方式并重复步骤4032；如果结果仍然是Var_{_p1}和Var_{_p2}都大于预设门限值，则选择垂直等分割方式作为下一个块分割方式并重复步骤4032，如果结果仍然是Var_{_p1}和Var_{_p2}都大于预设门限值，则继续选择水平等分割方式作为下一个块分割方式并重复步骤4032；如果在45度斜对角分割方式、135斜对角分割方式、垂直等分割方式、水平等分割方式这四种分割方式中即没有获得最优的楔形分割模式也没有获得最优的楔形分割模式子集，则将非区域楔形分割模式子集设为最优的楔形分割模式子集，然后继续步骤4033；

步骤4033：在步骤4032获得的最优楔形分割模式子集中，对每个楔形分割模式进行率失真代价的计算，选择率失真代价最小的楔形分割模式作为最优的显示楔形分割模式，并加入到候选帧内预测模式列表。因此，确定了分割直线的大致所属的块分割区域，仅在得到的块分割区域对应的子集中计算楔形分割的率失真代价，将大大地减少了需要计算率失真代价的次数。

上述步骤404中所述判断纹理块和深度块是否存在结构失配的方法，包含以下步骤：

将最大可能模式，以及与其邻近的M个帧内角度预测模式，共同构成最大可能模式的帧内角度预测模式集合，判断纹理图像对应块的帧内角度预测模式是否包含在最大可能模式的帧内角度预测模式集合中，

如果纹理图像对应块的帧内角度预测模式包含在最大可能模式的帧内角度预测模式集合中，则纹理块和深度块不存在结构失配；

如果纹理图像对应块的帧内角度预测模式不包含在最大可能模式的帧内角度预测模式集合中，则纹理块和深度块存在结构失配。

在上述判断纹理块和深度块是否存在结构失配的过程中，M依据经验确定取值范围，例如：对于大小为4x4和8x8的预测块，选择4个邻近模式，两侧各选择两个；对于大小为16x16的预测块，选择2个邻近模式，两侧各选择一个；对于32x32的预测块将不考虑邻近帧内预测模式，仅仅考虑最大可能模式。

一种实现上述3D视频深度图像帧内楔形分割模式选择方法的系统，如图9所示，包括计算模块、存储模块和对应纹理块获取模块；

所述存储模块用于存储4种块分割方式，即存储135度斜对角分割、45度斜对角分割、垂直等分割、水平等分割；每一种块分割方式对应的两个块分割区域；每个块分割区域对应的楔形分割模式子集；最优的楔形和隐式楔形分割模式；候选帧内预测模式列表；最大可能模式的邻近帧内角度预测模式集；

所述计算模块用于计算每个块分割区域对应的楔形分割模式子集；计算当前块的分割区域的方差；计算每个楔形分割的最优的楔形分割模式；在楔形分割模式集中，计算得到最优的楔形分割模式；计算候选帧内预测模式列表中的每个模式完整的率失真代价；

所述对应纹理块获取模块，用于获得当前深度块对应位置的纹理图像对应块的像素值和帧内预测模式；

首先将4种块分割方式和8种块分割区域存储在存储模块中；计算模块计算每个楔形分割模式属于哪一个块分割区域对应的楔形分割模式子集，并将楔形分割模式子集存储到存储模块；同时在存储模块存入非区域楔形分割模式集。对于当前块利用计算模块计算块分割区域的方差，得到楔形分割模式属于哪一个块分割区域。在存储模块中，获得得到的块分割区域对应的楔形分割模式子集。计算模块将在所得楔形分割模式子集中计算每个楔形分割模式子集的率失真代价RDO，得到最优的显示楔形分割模式，并且将其存储到存储模块的候选帧内预测模式列表上。通过纹理对应块的获取单元得到纹理对应块的像素值和帧内预测模式，并将纹理对应块的像素值和帧内预测模式存储到存储模块上。选取当前块的最大可能模式，通过计算模块得到最大可能模式的邻近帧内角度预测模式集合。如果存储模块中纹理对应块的帧内预测模式不包含在最大可能模式的邻近帧内预测模式集，计算模块将计算最优的隐式楔形分割模式，并将最优隐式楔形分割模式存储到存储模块的候选帧内预测模式列表中。计算模块计算存储模块中的候选帧内预测模式列表中的每个帧内预测模式的率失真代价，得到最优的帧内预测模式。

本发明进一步对所述3D视频深度图像帧内楔形分割模式选择方法的性能进行了实验仿真，将基于区域分割的显示楔形分割模式快速选择方法和基于纹理块匹配的隐式楔形分割模式快速选择方法整合到3D-HEVC的参考软件HTM-8.1中，并且与比较例(背景技术中专利申请号为：201310169728.2所述技术方案)的进行了比较。实验中，将本发明和比较例与HTM-8.1分别进行比较得到各自的节省编码时间的百分比和增加的平均比特率。用节省编码时间百分比来衡量了编码速度；用比特率来衡量编码的效果或是编码重建图像的质量。

编码参数设置如下：

视频序列分辨率：1092x1088、1024x768。

测试帧类型：全I帧

深度模型模式(DMM)：开

量化参数值：纹理图像：25303540深度图像：34394245

使用本发明方法进行仿真实验，其中最优显示楔形分割模式的选择流程如图6所示，

步骤601，如图5所示，定义4中块分割方式及相对应的8种分割区域，8种分割区域的索引为Index:1～8。将所有分割直线包含在左上角的楔形分割模式加入到第一种分割方式(45度斜对角分割)的一个区域对应的楔形分割模式集。在剩余的楔形分割模式中，将分割直线包含在右下角的加入到第一种分割方式的二个区域对应的楔形分割模式集。依次考虑第二种分割(135度角斜分割)、第三种分割(垂直分割)、第四种分割(水平分割)的第一区域和第二区域。得到8种区域相对应的8个楔形分割模式集，并依次标记为WPMS_i，其中i从1到8。对于不包含在8区域的楔形分割模式加入到非区域分割楔形分割集，并标记为WPMS₉。如图3的4种分割方式加入到等分割模式集，并标记为WPMS₀。将WPMS₀到WPMS₉中的每一个楔形分割模式，以二值矩阵的形式存储在存储模块上。图7为本仿真实验中一个4x4大小预测块的区域分割模式集、非区域分割模式集和等分割模式集。

步骤602，输入一个预测块，初始化将最优预测模式P_b设为-1，将包含最优楔形分割模式集WPMS_b设为-1，将用来索引楔形分割模式集的i设置为-1。

步骤603，计算块分割的两个区域的深度像素值的方差，标记为Var₁和Var₂。

步骤604，判断Var₁和Var2与阈值T之间的大小关系，来决定最优的楔形分割模式所在的区域。Var₁和Var2与阈值T共有四种大小关系分别执行步骤6041～6044不同的子步骤：

1.Var₁≤T并且Var₂≤T，执行步骤7041，最优的楔形分割模式为当前的块分割方式。

2.Var₁>T并且Var₂>T，执行步骤7042，按45度斜对角分割方式、135度斜对角分割方式、垂直分割方式、水平分割方式的顺序依次考虑下一个分割方式，并且计数i＝i+2,重复执行,重复执行703～704的计算新分割方式的两个区域的深度像素值得方差计算，及计算所得方差与阈值T的比较。如果4种分割都计算完毕，执行7045，那么将最优的楔形分割模式集确定为非区域分割楔形模式集WPMS₉。

3.Var₁≤T并且Var2>T，执行步骤7043，最优的楔形分割模式集WPMS_b确定为当前块分割方式的第一区域对应的楔形分割模式集WPMS_i。

4.Var₁>T并且Var₂≤T，执行步骤7044，最优的楔形分割模式集WPMS_b确定为当前块分割方式的第二区域对应的楔形分割模式集WPMS_i+1。

步骤605，在最优的楔形分割模式集WPMS_b中，计算每一种楔形分割模式的率失真代价RDO，其中RDO最小的楔形分割模式为最优的楔形分割模式P_b。

本仿真实验中最优隐式的楔形分割模式选择流程如图8所示，包括以下步骤：

步骤801，判断纹理对应块T_curr的帧内预测模式M_T是否为如图2所示的HEVC帧内预测模式2～34(角度预测模式)。如果判断结果为否，终止隐式楔形分割模式的选择。如果判断结果为是，获取当前深度块D_curr的左侧和上侧的邻近块的帧内预测模式，得到当前块的最大可能模式MPM。

步骤802，考虑最大可能模式的邻近模式，得到当前深度块的最大可能模式的邻近角度模式集NDS_curr，如下式(1)所示，

NDS_curr＝{MPM_-i,…,MPM,…MPM_i}     (1)

${\mathrm{MPM}}_i=\left\{\begin{array}{cc}2+(({\mathrm{MPM}}_{i+1}+29)\%32)& ,i<0\\ \mathrm{MPM}& ,i=0\\ 2+(({\mathrm{MPM}}_{i-1}-1)\%32)& ,i>0\end{array}\right.---\left(2\right)$

对于大小为4x4和8x8预测块i取2，即邻近角度模式集NDS_curr一共有5种角度模式；对于大小为16x16的预测块i取1，即邻近角度模式集NDS_curr一共有3种角度模式；对于大小为32x32的预测块i取0，即邻近角度模式集NDS_curr仅包含MPM模式。将MPM的邻近角度模式集NDS_curr存储在存储模块中。

步骤803，判断纹理对应块T_curr的帧内预测模式M_T是否包含在当前块的邻近角度模式集NDS_curr中。如果判断结果为否，则终止隐式楔形分割模式的判断。

如果判断结果为是，则执行步骤804，计算每个楔形分割模式的RDO，其中率失真代价最小的楔形分割模式为最优的隐式楔形分割模式。

表1为本发明和比较例的编码时间和平均比特率的比较结果。实验结果表明，本发明与HTM-8.1相比，在本发明方法平均码率仅仅提高了约0.6％的前提下，对测试序列节省了约40％的深度模型模式编码时间。而比较例与HTM-8.1相比平均码率增加了约1.2％，而节省的深度模型模式比本发明仅有5％的略微提高。本发明得到的合成视角比比较例得到的合成视角获得更好的视觉质量，尤其是在较低分辨率1024x768的视频序列中。发明和比较例对于1920x1088和1024x768视频序列的重建图像客观质量对比和编码效率。此外，本发明算法与比较例相比，节省了约0.6％的码率同时得到了更好的主观重建视频质量。

表1  本发明和比较例的编码时间和平均比特率的比较

综上，本发明利用了当前深度块的像素信息，粗略的判断楔形分割模式分割直线的大致位置，进而减少了需要计算率失真代价的楔形分割模式数目。同时利用MPM中角度预测模式的邻近帧内角度预测模式集对当前块的角度模式进行预测。通过判断纹理对应块是否包含在最大可能模式的邻近角度预测模式集中，决定是否存在深度块和纹理块的失配问题，进而决定是否进行隐式最优楔形分割模式的计算。本发明提出的快速楔形分割模式选择方法，提高了3D-HEVC标准中深度图像帧内编码速度和降低了编码器的计算复杂程度的同时最大限度的保证了深度图像的锐利边缘。正是因为本发明对物体边缘的保护，使得本发明获得的合成视角的视频质量好与比较例。

Claims (6)

1.一种3D视频深度图像帧内楔形分割模式选择方法，其特征在于，包括以下步骤：

步骤1：计算当前块的35种HEVC帧内预测模式的哈达玛变换系数绝对值和；根据所述哈达玛变换系数绝对值和选择一定数目的帧内预测模式加入到候选帧内预测模式列表；

步骤2：选取当前块的左侧和上侧邻近块的帧内预测模式，得到最大可能模式，将所述最大可能模式中的帧内预测模式加入到候选帧内预测模式列表；

步骤3：在深度图像当前块中，选取最优的显示楔形分割模式并加入到候选帧内预测模式列表；

步骤4：选取当前块左侧和上侧邻近块的帧内预测模式，组成最大可能模式，判断该最大可能模式中的帧内预测模式是否为帧内角度预测模式，

如果最大可能模式中的帧内预测模式都不是帧内角度预测模式，则继续步骤5；

如果最大可能模式中的帧内预测模式中包含有帧内角度预测模式，则在纹理图像对应块中，判断纹理块和深度块是否存在结构失配，如果存在结构失配，则继续步骤5；如果不存在结构失配，则计算最优隐式楔形分割模式并加入到候选帧内预测模式集；

步骤5：将contour分割模式和边界链式分割模式加入到候选帧内预测模式列表；

步骤6：选择上述候选帧内预测模式列表中率失真最小的帧内预测模式作为当前块最优的帧内预测模式。

2.如权利要求1所述的3D视频深度图像帧内楔形分割模式选择方法，其特征在于，所述步骤3中选取最优显示楔形分割模式的方法包含以下步骤：

步骤2.1：定义四种块分割方式，包括：45度斜对角分割方式、135斜对角分割方式、垂直等分割方式、水平等分割方式；四种块分割方式对应的八种分割区域：左上部、右下部；右上部、左下部；左半部、右半部；上半部、下半部；其中，左上部、右上部、左半部、上半部为其对应的分割方式的第一区域；右下部、左下部、右半部、下半部为其对应的分割方式的第二区域；在楔形分割模式集中选取出每个分割区域各自对应的楔形分割模式组成每个分割区域各自对应的楔形分割模式子集，将楔形分割模式集中剩余的楔形分割模式组成非区域分割模式子集；将当前分割方式初始化为45度斜对角分割方式；

步骤2.2：获取当前分割方式的最优楔形分割模式或最优的楔形分割模式子集，具体过程为：

计算选定的块分割方式对应的两个分割区域的像素值方差Var_{_p1}和Var_{_p2}；

如果Var_{_p1}和Var_{_p2}都小于或等于预设门限值，则将当前的块分割方式作为最优的楔形分割模式，并加入到候选帧内预测模式列表；

如果Var_{_p1}大于预设门限值而Var_{_p2}小于或等于预设门限值，则将当前分割方式中第二区域相对应的楔形分割子集作为最优的楔形分割模式子集，然后继续步骤2.3；

如果Var_{_p2}大于预设门限值而Var_{_p1}小于或等于预设门限值，则将当前分割方式第一区域相对应的楔形分割子集作为最优的楔形分割模式子集，然后继续步骤2.3；

如果Var_{_p1}和Var_{_p2}都大于预设门限值，则将135度斜对角分割方式作为下一个块分割方式并重复本步骤2.2，如果Var_{_p1}和Var_{_p2}都大于预设门限值，则将垂直等分割方式作为下一个块分割方式并重复本步骤2.2，如果Var_{_p1}和Var_{_p2}都大于预设门限值，则将水平等分割方式作为下一个块分割方式并重复本步骤2.2；

如果在45度斜对角分割方式、135斜对角分割方式、垂直等分割方式、水平等分割方式中即没有获得最优的楔形分割模式也没有获得最优的楔形分割模式子集，则将非区域楔形分割模式子集设为最优的楔形分割模式子集，然后继续步骤2.3；

步骤2.3：在步骤2.2获得的最优楔形分割模式子集中，对每个楔形分割模式进行率失真代价的计算，选择率失真代价最小的楔形分割模式作为最优的显示楔形分割模式，并加入到候选帧内预测模式列表。

3.如权利要求1所述的3D视频深度图像帧内楔形分割模式选择方法，其特征在于，所述步骤4中判断纹理块和深度块是否存在结构失配的过程为：

用最大可能模式，以及与其邻近的帧内角度预测模式共同构成最大可能模式的邻近帧内角度预测模式集合，判断纹理图像对应块的帧内角度预测模式是否包含在最大可能模式的帧内角度预测模式集合中，

如果纹理图像对应块的帧内角度预测模式包含在最大可能模式的帧内角度预测模式集合中，则纹理块和深度块不存在结构失配；

如果纹理图像对应块的帧内角度预测模式不包含在最大可能模式的帧内角度预测模式集合中，则纹理块和深度块存在结构失配。

4.如权利要求3所述的3D视频深度图像帧内楔形分割模式选择方法，其特征在于，对于大小为4x4和8x8的预测块，选择4个邻近帧内角度预测模式，两侧各选择两个；对于大小为16x16的预测块，选择2个邻近帧内角度预测模式，两侧各选择一个；对于32x32的预测块，则不考虑邻近预测模式，仅考虑最大可能模式。

5.一种实现如权利要求1所述3D视频深度图像帧内楔形分割模式选择方法的系统，其特征在于，包括计算模块、存储模块和对应纹理块获取模块；

所述存储模块用于存储：四种块分割方式；每一种块分割方式对应的两个块分割区域；每个块分割区域对应的楔形分割模式子集；最优楔形分割模式和最优隐式楔形分割模式；候选帧内预测模式列表；最大可能模式的邻近帧内角度预测模式集；

所述计算模块用于进行下列计算：每个块分割区域对应的楔形分割模式子集；当前块分割区域的方差；每个楔形分割的最优楔形分割模式；在楔形分割模式集中，获取最优的楔形分割模式；获取候选帧内预测模式列表中的每个模式完整的率失真代价；

所述纹理对应块获取模块，用于获得当前深度块对应位置的纹理图像对应块的像素值和帧内预测模式。

6.如权利要求5所述的3D视频深度图像帧内楔形分割模式选择系统，其特征在于，

首先将四种块分割方式和八种块分割区域存储在存储模块中；

计算模块计算上述八种块分割区域的每一个块分割区域对应的楔形分割模式子集，并将楔形分割模式子集存储到存储模块；同时在存储模块存入非区域楔形分割模式集；

对于当前块，使用计算模块计算块分割区域的方差，得到楔形分割模式所属的块分割区域；

在存储模块中，获得块分割区域对应的楔形分割模式子集，计算模块在所得楔形分割模式子集中计算每个楔形分割模式子集的率失真代价，得到最优显示楔形分割模式，并且将其存储到存储模块的候选帧内预测模式列表上；

通过纹理对应块的获取单元得到纹理对应块的像素值和帧内预测模式，并将纹理对应块的像素值和帧内预测模式存储到存储模块上；

选取当前块的最大可能模式，通过计算模块得到最大可能模式的邻近帧内角度预测模式集合；如果存储模块中纹理对应块的帧内预测模式不包含在最大可能模式的邻近帧内预测角度模式集，则计算模块将计算最优隐式楔形分割模式，并将最优隐式楔形分割模式存储到存储模块的候选帧内预测模式列表中；

计算模块计算存储模块中的候选帧内预测模式列表中的每个帧内预测模式的率失真代价，得到最优的帧内预测模式。