CN105007494A - 一种3d视频深度图像模型模式的帧内楔形分割模式选择方法 - Google Patents

Abstract

本发明提出一种3D视频深度图像模型模式的帧内楔形分割模式选择方法。用分割两区域的方差平方和作为帧内楔形分割模式的率失真评价函数；在所述选择的帧内楔形分割模式下确定其两分割区域；分别计算所述两分割区域各自的像素均值；根据所述像素均值分别计算两分割区域各自的方差，根据所述两个方差计算获得两分割区域的方差平方和；遍历所有帧内楔形分割模式，将具有最小方差平方和的帧内楔形分割模式作为最优的帧内楔形分割模式。本发明能够在保证合成视角视频质量的前提下降低运算复杂度，提高深度图像帧内楔形分割模式的选择速度。

Description

一种3D视频深度图像模型模式的帧内楔形分割模式选择方法

技术领域

本发明属于视频编解码技术领域，具体涉及一种3D视频深度图像模型模式的帧内楔形分割模式选择方法。

背景技术

2013年1月联合视频开发组发布了新一代国际视频编码标准HEVC，也称为H.265。HEVC适应了高清视频的发展需求，同时在提高并行计算和适应移动网络方面进行了改进。与上一代的视频编码标准H.264相比，新标准HEVC在得到相同视频质量的情况下，可以减少约50％的码率。目前,联合视频开发组正致力于HEVC的优化和扩展标准的制定，包括高保真的扩展、多视点视频编码标准的MV-HEVC、可伸缩视频编码标准的MFC-HEVC、3D视频编码标准的3D-HEVC。

3D-HEVC标准采用了多视点加深度图像的(MVD)的视频格式。在MVD视频格式里，比特流中只需包含两三个视点的视频和相应的深度图像。我们可以通过基于深度渲染技术(DIBR)得到用户所需要的虚拟中间视点。利用DIBR技术绘制虚拟视角，需要深度图像提供场景的深度信息。然而，3D-HEVC和以往的视频编码一样并非无失真编码方案，可以引起深度图像的失真。编码过程中产生的失真，使得解码端的深度值与实际的深度值有很大的偏差。当解码器进行渲染获得虚拟视角时，这种深度值的偏差体现为视差的偏移，导致了一些像素点无法正确地映射到虚拟视角。如果深度图像中物体边缘的深度值发生了失真，那么渲染过程很可能将一些原本属于前景的像素点映射到虚拟视点的背景区域或是将背景区域的像素点映射到前景区域，从而引起了虚拟视角的结构失真。人眼对于结构的失真十分敏感，因此深度图像失真引起虚拟视角的结构失真，严重降低了虚拟视角视频的主观质量。综上所述，3D视频中的深度图像需要与传统编码方式不同的编码方案编码。3D-HEVC的编码顺序是首先编码纹理图像，再编码深度图像，因此在深度图像编码的时候可以利用解码的重建的纹理图像。

为此，3D-HEVC针对深度图像的特殊性质，提出了一些有效的编码技术。首先性质一：深度图像的大部分为被锐利边缘所分割的平滑区域。其次性质二：如上所述，锐利边缘的失真将导致合成视角的结构失真。最后性质三：深度图像的主要作用并非是用来观看，而是用来合成虚拟视角。针对性质三，“3D video coding with depth modelingmodes and view synthesis optimization,”(K.Muller,P.Merkle,G.Tech,and T.Wiegand,Dec 2012,pp.1–4.)一文中使用合成视点优化技术(VSO)作为新的率失真评价函数来选择编码参数。其中包括编码单元的大小，帧内预测模式以及运动向量等等。但是由于此方法需要进行复杂的渲染过程，以获得虚拟合成视角。因此，为了降低此方法的计算复杂程度，在大多数情况下，一些基于模型的非渲染的合成视点优化技术被广泛采用，这些技术可以获得和合成视点优化质量相当的虚拟合成视角，但是率失真的评价函数的复杂程度极大的降低了。除此之外，针对性质二：深度图帧内编码还采用了非角度分割，模式模拟模式。“Fast depth modeling mode selection for 3d hevc depth intra coding,”(Z.Gu,J.Zheng,N.Ling,and P.Zhang,in Multimedia and Expo Workshops(ICMEW),2013 IEEEInternational Conference on,July 2013,pp.1–4)一文中提出了一个快速算法，对于深度图来说，大部分区域为被锐利边缘所分割的平滑区域，对于平滑区域，可以跳过深度图像模型模式DMM。此方法已经被3D-HEVC的实验模型采纳。“Edge-based intramodeselection for depth-map coding in 3D-hevc,”(C.-S.Park,，Image Processing,IEEETransactions on,vol.24,no.1,pp.155–162,Jan 2015.)一文中通过在哈达姆变换域内一个简单的边缘分类来剔除不必要的深度图像模型模式DMM，“Complexity reduction ofdepth intra coding for 3D video extension of HEVC,”(T.da Silva,L.Agostini,and L.daSilva Cruz,in Visual Communications and Image Processing Conference,2014IEEE,Dec2014,pp.229–232).一文通过利用最大可能模式和粗略模式决策来降低深度图像模型模式DMM的运算复杂度。

随着深度图像模型模式的快速发展，深度图像模型模式的数目有了很大的减少，因此在减少深度图像模型模式数目的方向上上一时难有大的突破，故而本发明从深度图帧内楔形分割模式快速选择的方向入手，旨在降低选择最优帧内楔形分割模式的运算复杂度，提高帧内楔形分割模式的选择速度。帧内楔形分割模式如图1所示。图1是一个3D-HEVC规定的一个帧内楔形分割模式的例子，沿起点和终点连成的直线方向将深度图划分为两个区域。为了得到最优的帧内楔形分割模式，需要遍历每种帧内楔形分割模式，对每种帧内楔形分割模式都进行一次率失真评价函数的计算，最小的率失真评价函数对应的帧内楔形分割模式为最优的帧内楔形分割模式。

表1不同大小的预测单元所包含的帧内楔形分割模式的数目

但是，如表1所示，帧内楔形分割模式的数目比较多，例如，当预测单元的大小是8×8时，全搜索的帧内楔形分割模式的数目是766，即使用到了“Simplified wedgelet searchfor DMM modes 1and 3”提出的快速算法，帧内楔形分割模式的数目也有310种，造成选择帧内楔形分割模式的速度较慢。本文参考的传统的帧内楔形分割模式选择方法是3D-HEVC中的帧内楔形分割模式选择方法，其流程图如图2所示，步骤如下：

步骤201：在一个给定的帧内楔形分割模式下，对一大小为H×H的预测单元，确定此分割模式的两分割区域；

步骤202：计算此帧内楔形分割模式两分割区域的像素均值，记为Mean_s1和Mean_s1。

步骤203：根据像素均值Mean_s1和Mean_s1构建重建深度图Rec_D，使得重建深度图两个区域的像素值分别等于均值Mean_s1和Mean_s1；

步骤204：根据原始深度图和重建深度图计算合成视点失真VSD，用合成视点失真VSD作为帧内楔形分割模式率失真评价函数。合成视点失真VSD的计算方法如下：

$VSD=\underset{(x,y)\∈B}{\Σ}(\frac{1}{2}\×\mathrm{\α}\×|S_D(x,y)-{S^{\′}}_D(x,y)|\×{\[|{S^{\′}}_T(x,y)-{S^{\′}}_T(x-1,y)|+|{S^{\′}}_T(x,y)-{S^{\′}}_T(x+1,y)|\]}^2)$

其中B是原始深度图，S_D和S_D'分别代表原始深度图和重建深度图的像素值，S_T'代表重建的纹理图像的像素值，α是一个由相机参数决定的系数；

步骤205：重复步骤201到步骤204，遍历所有的帧内楔形分割模式，具有最小合成视点失真VSD的帧内楔形分割模式，就是最优的3D视频深度图像模型模式的帧内楔形分割模式。

在上述帧内楔形分割模式选择方法中的步骤203、204和205中，在一个给定的帧内楔形分割模式下需要获得重建深度图和计算合成视点失真，合成视点失真的计算需要原始深度图和重建深度图，计算复杂度较高。

发明内容

本发明提出了一种3D视频深度图像模型模式的帧内楔形分割模式选择方法，能够在保证合成视角视频质量的前提下降低运算复杂度，提高深度图像帧内楔形分割模式的选择速度。

为了解决上述技术问题，本发明提供一种3D视频深度图像模型模式的帧内楔形分割模式选择方法，用分割两区域的方差平方和作为帧内楔形分割模式的率失真评价函数。

进一步，具体步骤包括：

步骤1：任意选择一个帧内楔形分割模式，在所述选择的的帧内楔形分割模式下，对一大小为H×H的预测单元，确定其两分割区域；

步骤2：分别计算所述两分割区域各自的像素均值；

步骤3：根据所述像素均值分别计算两分割区域各自的方差，根据所述两个方差计算获得两分割区域的方差平方和；

步骤4：重复步骤1至步骤3，遍历所有帧内楔形分割模式，将具有最小方差平方和的帧内楔形分割模式作为最优的帧内楔形分割模式。

进一步，所述方差平方和SSV的计算方法为：

$SSV=\[\frac{1}{N}\underset{(x_1,y_1)\∈{\mathrm{Sg}}_1}{\Σ}{\left(S_1\right(x_1,y_1)-{\mathrm{Mean}}_{s_1})}^2+\frac{1}{M}\underset{(x_2,y_2)\∈{\mathrm{Sg}}_2}{\Σ}{\left(S_2\right(x_2,y_2)-{\mathrm{Mean}}_{s_2})}^2\]$

其中，S_g1和Sg₂分别表示帧内楔形分割模式的两分割区域，N和M分别表示两分割区域内的像素个数，S₁(x₁，y₁)表示区域Sg₁的像素值，S₂(x₂，y₂)表示区域Sg₂的像素值，x₁和y₁表示区域Sg₁内像素点坐标，x₂和y₂表示区域Sg₂内像素点坐标，Mean_s1表示区域S_g1的像素均值，Mean_s2表示区域S_g2的像素均值。

本发明与现有技术相比，其显著优点在于，(1)本发明只考虑原始深度图像的方差大小，省去了重建深度图像的重建；(2)选择最优的帧内楔形模式的率失真代价函数由获取复杂度低的方差平方和SSV代替复杂度高的合成视点失真VSD，减少了75％的获取复杂程度，降低了获取复杂度；(3)本发明可以很好地和其他方法兼容，能够进一步提高最优帧内楔形分割模式的选择速度，方差平方和SSV可以很好的近似合成视点失真VSD，所以本方法可以在保证合成视点质量的前提下，快速地找到最优的帧内楔形分割模式。

附图说明

图1是一种帧内楔形分割模式示意图。

图2是传统的帧内楔形分割模式选择方法的流程图。

图3是帧内楔形分割模式候选集中两分割区域的方差分布示意图。

图4是最优的帧内楔形分割模式具有最小方差平方和的比例示意图。

图5是本发明所述帧内楔形分割模式选择方法的流程图。

图6是本发明方法与图2所示传统帧内楔形分割模式选择方法的流程对比示意图。

具体实施方式

容易理解，依据本发明的技术方案，在不变更本发明的实质精神的情况下，本领域的一般技术人员可以想象出本发明3D视频深度图像模型模式的帧内楔形分割模式选择方法的多种实施方式。因此，以下具体实施方式和附图仅是对本发明的技术方案的示例性说明，而不应当视为本发明的全部或者视为对本发明技术方案的限制或限定。

图3是所有帧内楔形分割模式侯选集两分割区域方差的分布，“+”表示最优的帧内楔形分割模式。如图3所示，最优的帧内楔形分割模式是最接近原点的，即方差是最小的。最优的帧内楔形分割模式把相似的像素集中到一个区域，尽可能大的将前景和背景分开。因此，最优的帧内楔形分割模式两个区域的方差要比非最优楔形模式分割的两个区域的方差小。图4是最优的帧内楔形分割模式具有最小方差平方和SSV的比例。其中QP表示的是量化步长。将用合成视点失真作为帧内楔形分割模式的率失真评价函数选出的最优帧内楔形分割模式计算其方差平方和，并计算其具有最小方差平方和的比例，结果如图5所示，95％-99％的根据合成视点失真VSD选出来的最优帧内楔形分割模式VSD_owp具有最小的方差平方和SSV，即几乎所有的最优帧内楔形分割模式都具有最小的方差平方和SSV，而方差平方和SSV比合成视点失真VSD的获取复杂度低。例如，对于一个大小为H×H的预测单元，由方差平方和SSV和合成视点失真VSD的获取公式可以看出，方差平方和SSV的乘法次数是H×H，合成视点失真VSD的乘法次数是4H×H，少了75％的乘法。故而可以考虑用方差平方和SSV来代替合成视点失真VSD作为帧内楔形分割模式的率失真评价函数，选择最优帧内楔形分割模式。

本发明的创新思路是，用方差平方和SSV来替代复杂度高的合成视点失真VSD，作为帧内楔形分割模式的率失真评价函数，根据方差平方和SSV的获取公式，可以看出，用方差平方和SSV作为帧内楔形分割模式的率失真评价函数，选择最优的帧内楔形分割模式，只用计算原始深度图在帧内楔形分割模式下两分割区域的方差，从而可以降低选择最优的帧内楔形分割模式的复杂程度，快速选择出最优的帧内楔形分割模式。

本发明基于上述发明思路提出的3D视频深度图像模型模式的帧内楔形分割模式的选择方法为：首先，选择一个帧内楔形分割模式，按照所述选择的帧内楔形分割模式对原始深度图进行分割，计算所述帧内楔形分割模式下两分割区域的像素均值；然后，分别计算所述帧内楔形分割模式下两分割区域的方差，计算获得方差平方和SSV；最后，按照前述方法遍历所有帧内楔形分割模式，找出最小方差平方和SSV所对应的帧内楔形分割模式，将该具有最小方差平方和SSV的帧内楔形分割模式作为最优的帧内楔形分割模式。如图5所示，前述3D视频深度图像模型模式的帧内楔形分割模式选择方法具体包括以下步骤：

步骤501：在一个选择的帧内楔形分割模式下，对一大小为H×H的预测单元PU，确定此分割模式的两分割区域S_g1和S_g2；

步骤502：计算所述选择的帧内楔形分割模式两分割区域Sg₁和Sg₂的像素均值，并分别记为Mean_s1和Mean_s2；

步骤503：根据两个像素均值Mean_s1和Mean_s2计算所述选择的帧内楔形分割模式两分割区域的方差，并分别记为Var_s1和Var_s2，根据所述分割区域的方差计算获得两分割区域的方差平方和SSV；

步骤504：重复步骤601到步骤603，遍历所有的帧内楔形分割模式，找到方差平方和SSV值最小的帧内楔形分割模式，将具有最小的方差平方和SSV的帧内楔形分割模式作为最优的的帧内楔形分割模式。

为了进一步说明本发明，本发明进一步对所述3D视频深度图像模型模式的帧内楔形分割模式的快速选择方法的性能进行了实验仿真，在3D-HEVC的参考软件HTM-13.0中进行了基于方差平方和的快速帧内楔形分割模式快速选择方法的仿真，并且与基于合成视点失真的帧内楔形分割模式的传统选择方法进行了比较。实验中，将本发明和传统选择方法分别进行仿真得到各自的编码时间节省率和增加的比特率。用编码时间节省率衡量编码速度；用比特率衡量编码的效果或是编码重建图像的质量。

仿真参数如下：

视频序列分辨率：1920x1088、1024x768。

测试帧类型：全I帧

合成视点最优：开

基于合成视点失真估计的模型：开

量化步长：34,39,42,45

硬件配置：

CPU：Intel Xeon(R)E3-12303.3GHz

RAM：16.0GB

使用本发明方法进行仿真实验，选用的视频序列是JVT-3V提供的标准视频测试序列，其中Kendo，Balloons,Newspaper的分辨率是1024x768，Dance,Fly,Halls,Street,Shark的分辨率是1920×1088。

表1为本发明方法节省楔形分割模式选择的时间的百分比。其中1024×768一行表示的是Kendo、Balloons、Newspaper三个分辨率是1024×768的测试视频序列节省楔形分割模式选择的时间的百分比的平均值，1920×1088一行表示的是Dance、Fly、Halls、Street、Shark五个分辨率是1920×1088的测试视频序列节省楔形分割模式选择的时间的百分比的平均值。平均值一行表示的是所有测试视频序列的节省楔形分割模式选择的时间的百分比的平均值。实验结果表明，本发明与传统选择方法相比，在4种量化步长下，节省时间大致相同，对测试序列都节省了约70％的楔形模式选择时间。主要是因为用方差平方和SSV作为帧内楔形分割模式的率失真评价函数来选择最优帧内楔形分割模式比用合成视点失真VSD节省了75％的乘法。表2为本发明节省深度图编码的时间的百分比，其中1024×768一行表示的是Kendo，Balloons,Newspaper三个分辨率是1024×768的测试视频序列节省深度图编码的时间的百分比的平均值，1920×1088一行表示的是Dance,Fly,Halls,Street,Shark五个分辨率是1920×1088的测试视频序列节省深度图编码的时间的百分比的平均值，平均值一行表示的是所有测试视频序列节省深度图编码的时间的百分比的平均值。从表中我们可以看出，深度图编码平均可以节省7％-16％的时间，由于本发明采用了“Fast depth modeling mode selection for 3d hevc depth intra coding,”(Z.Gu,J.Zheng,N.Ling,and P.Zhang,in Multimedia and Expo Workshops(ICMEW),2013IEEE International Conference on,July 2013,pp.1–4)一文提出的快速算法，此快速算法所用门限与量化步长有关，所以我们可以从表2看出，当量化步长较大，如量化步长是45时，节省时间并不是很显著。表3是本发明与传统选择方法相比比特率的增加，从表中可以看出，平均比特率的增加只有0.2％。与此同时，本发明可以很好的与“Fast depthmodeling mode selection for 3d hevc depth intra coding”和“Fast depth modeling modeselection for 3D-HEVC depth intra coding”提出的快速算法一起使用，有很好的兼容性。

表1本发明节省楔形分割模式选择的时间的百分比

表2本发明节省深度图编码的时间的百分比

表3本发明与比较例平均比特率比较

综上，在帧内楔形分割模式选择中，本发明利用方差平方和SSV代替合成视点失真VSD作为帧内楔形分割模式选择的率失真评价函数，进而不用获得重建深度图，降低了运算复杂度，提高了帧内楔形分割模式的选择速度，并且此方法可以很好的和各种深度图编码的快速算法兼容，使得此方法在保证合成视点质量的前提下，编码速度有了进一步的提高。

Claims (3)

1.一种3D视频深度图像模型模式的帧内楔形分割模式选择方法，其特征在于，用分割两区域的方差平方和作为帧内楔形分割模式的率失真评价函数。

2.如权利要求1所述帧内楔形分割模式选择方法，其特征在于，包括以下步骤：

步骤1：任意选择一个帧内楔形分割模式，在所述选择的的帧内楔形分割模式下，对一大小为H×H的预测单元，确定其两分割区域；

步骤2：分别计算所述两分割区域各自的像素均值；

步骤3：根据所述像素均值分别计算两分割区域各自的方差，根据所述两个方差计算获得两分割区域的方差平方和；

步骤4：重复步骤1至步骤3，遍历所有帧内楔形分割模式，将具有最小方差平方和的帧内楔形分割模式作为最优的帧内楔形分割模式。

3.如权利要求2所述帧内楔形分割模式选择方法，其特征在于，所述方差平方和SSV的计算方法为：

$SSV=\[\frac{1}{N}\underset{(x_1,y_1)\∈{\mathrm{Sg}}_1}{\Σ}{\left(S_1\right(x_1,y_1)-{\mathrm{Mean}}_{s_1})}^2+\frac{1}{M}\underset{(x_2,y_2)\∈{\mathrm{Sg}}_2}{\Σ}{\left(S_2\right(x_2,y_2)-{\mathrm{Mean}}_{s_2})}^2\]$

其中，S_g1和Sg₂分别表示帧内楔形分割模式的两分割区域，N和M分别表示两分割区域内的像素个数，S₁(x₁，y₁)表示区域Sg₁的像素值，S₂(x₂，y₂)表示区域Sg₂的像素值，x₁和y₁表示区域Sg₁内像素点坐标，x₂和y₂表示区域Sg₂内像素点坐标，Mean_s1表示区域S_g1的像素均值，Mean_s2表示区域S_g2的像素均值。