CN109587503A - 一种基于边缘检测的3d-hevc深度图帧内编码模式快速决策方法 - Google Patents

Abstract

本发明公开了一种基于边缘检测的3D‑HEVC深度图帧内编码模式快速决策方法，本方法通过判断当前预测单元属于平坦区域还是纹理复杂区域来简化帧内模式选择过程。若满足平坦区域条件，则跳过相应帧内预测模式；否则，通过检测边缘的方向来减少粗模式选择(RMD)中角度模式计算数量，从而降低帧内编码复杂度，减少编码时间。对比实验结果证明了本算法的有效性，与标准测试平台HTM 16.0相比，本方法在保证视频编码质量基本不变的前提下，可以节省30.61％的编码时间，有效降低了视频帧内编码的复杂度。

Description

一种基于边缘检测的3D-HEVC深度图帧内编码模式快速决策 方法

技术领域

本发明涉及基于3D-HEVC的视频编码技术，具体涉及一种3D-HEVC编码中基于边缘检测的深度图帧内编码模式快速决策方法

背景技术

随着计算机多媒体技术的兴起，电影、电视等方面的视频技术不断发展和完善，数字视频技术已经成为现代学术界和工业界的研究热点。三维视频不仅给人们感官上带来更高的体验感，而且也具有较为广泛的应用前景，如医学、教育等领域。为了满足各方面应用在视频压缩和传输等方面的需求，众多国内外学者和研究机构在3D视频高效编码方面开展了大量的科学研究。截止目前，正式颁布的最新3D视频编码标准是基于新一代高效视频编码标准(High Efficiency Video Coding,HEVC)的3D-HEVC标准。

3D-HEVC编码标准采用多视点视频加深度(Multi-viewVideo Plus Depth，MVD)的视频格式。这种视频格式只需编码少量视点的视频，并在视频的解码端利用基于深度的图像绘制(Depth-image-based Rendering，DIBR)技术来合成相邻视点间的虚拟视点。这样就可以利用较少的已编码视点来获得更多数量的虚拟视点，从而有效提高视频的压缩和传输效率。进行编码的每个视点均为同一时间从不同角度对同一场景进行拍摄得到的，包含纹理图和深度图。如图1所示，(a)为纹理图，(b)为相应视点的深度图，其像素值表示物体到摄像机的量化距离。通过观察可知，纹理图含有较多的纹理细节，而深度图则存在锐利边缘(实线框所示)和大片平坦区域(虚线框所示)。

3D-HEVC标准针对于深度视频边缘信息丰富的特征，在保留原有的35中帧内编码模式以外，引入了新的帧内编码技术——深度模型模式(Depth Modeling Mode，DMM)，该模式包括楔形(Wedgelet)模式和轮廓(Contour)模式。该新技术在提升视频质量的同时也使帧内编码复杂度急剧增加。表1给出了传统的35种帧内预测模式以及3D-HEVC深度图帧内编码时引入的两种DMM预测模式的编号，模式0为Planar模式，模式1为DC模式，模式2～34为33种角度模式，模式37、38分别为DMM1(Wedgelet)模式和DMM4(Contour)模式。传统的35种预测模式方向如图2所示，其中模式2～17称为水平类模式，模式18～34称为垂直类模式。Planar模式适用于像素值缓慢变化的区域，DC模式适用于大面积平坦区域，因此这两种模式在平坦区域被选择的概率较大；而角度模式则是为了能更好的适应视频内容中不同的纹理方向，因此在纹理复杂的区域应用的概率较大。

传统的帧内编码方法，存在计算复杂度高，编码效率低的问题。本发明针对于具有较高计算复杂度的深度图帧内编码过程，提出了一种基于边缘检测的帧内编码快速决策方法，在保证视频质量的同时，有效减少帧内预测编码过程的计算复杂度，提高编码效率。

表1 3D-HEVC帧内预测模式

帧内模式编号	帧内模式名称
		0	Planar模式
1	DC模式
		2～34	33种角度模式
37	DMM1(Wedgelet)模式
		38	DMM4(Contour)模式

在帧内预测编码过程中，对于每一个预测单元(PU)，均使用粗模式选择(RoughMode Decision，RMD)和率失真优化(Rate Distortion Optimation，RDO)相结合的过程，最终选择出最佳的帧内预测模式，具体过程如图3所示。首先进行粗模式选择，利用基于Hadamard变换得到的绝对变换差的和(Sum of Absolute Transform Differences，SATD)，计算35种帧内预测模式的低复杂度率失真代价值，并将其从小到大排序后，选择前N种(8×8和4×4尺寸的PU为8种，16×16、32×32和64×64尺寸的PU为3种)代价值最小的模式加入到候选列表中[8]。然后，将最有可能的模式(most probable modes，MPMs)加入到候选列表中。当编码深度图时，由于深度模型模式被设计为帧内预测模式，因此DMM1和DMM4也被加入到最终的率失真优化候选列表中；而编码纹理图时，则跳过DMM模式选择过程。最后，对候选列表中的所有模式进行率失真优化计算，得到更加精确的率失真代价函数，并通过比较率失真代价值选择出代价值最小的模式作为当前PU的最佳帧内预测模式。

发明内容

本发明的目的在于，针对基于HEVC的3D视频编码标准3D-HEVC中深度图帧内编码过程计算复杂度高的问题，提出了一种基于边缘检测的深度图帧内模式快速决策方法，在保证视频成虚拟视点质量的前提下，有效降低编码复杂度，提高编码效率，缩短编码时间。

为解决上述技术问题，本发明采取的技术方案为：

一种基于边缘检测的3D-HEVC深度图帧内编码模式快速度选择方法，该方法通过判断当前预测单元(Prediction Unit，PU)属于平坦区域还是纹理复杂区域来简化帧内模式选择过程。若满足平坦区域条件，则跳过相应帧内预测模式；否则，通过检测边缘的方向来减少粗模式选择(Rough Mode Decision，RMD)中角度模式计算数量，从而降低帧内编码复杂度，减少编码时间。本发明的技术方案流程如图所示。本方法包含如下步骤：

S1判断当前PU是否属于为深度图，如为深度图继续进行步骤1.2，若为纹理图则进行35种帧内预测模式的粗模式选择过程，并跳转到步骤1.3；

S2、提取深度图的灰度值，并利用边缘检测的方法判断当前PU的纹理特征，确定帧内编码候选模式：

S2.1：对于PU的各个像素点，将水平、垂直、45度和135度角方向的各向同性Sobel算子模板与其覆盖的图像3×3区域的9个像素进行卷积计算后，可得到该像素点的4个方向的边缘梯度分量G₀,G₄₅,G₉₀和G₁₃₅。4个方向的各向同性Sobel算子模板如图4所示。4个方向的边缘梯度计算公式为：

G₀,G₄₅,G₉₀和G₁₃₅分别为当前编码单元PU中各像素点水平、45度角、垂直、和135度角方向的边缘梯度分量，p为像素点的亮度值；

S2.2：计算各个方向的边缘梯度后，利用公式：计算当前像素的总梯度值。

G为当前编码单元PU中各像素点的边缘梯度值。

S2.3：得到PU中每个像素的总梯度值后，利用公式：计算当前PU的纹理复杂度。

W为当前预测单元PU的宽度，G_i为边缘梯度值矩阵中第i个像素点的梯度幅值，T为当前PU的纹理复杂度。

S2.4：若T＝0，则跳过粗模式选择过程，直接将Planar、DC模式加到帧内模式候选列表中；

S2.5：若T≠0，计算在当前PU中每个像素的边缘梯度分量G₀,G₄₅,G₉₀和G₁₃₅分别为最大值的次数，记为D₀,D₄₅,D₉₀和D₁₃₅。

S2.6：根据公式：MAIN_D＝max{D₀，D₄₅，D₉₀，D₁₃₅}，选择D₀,D₄₅,D₉₀和D₁₃₅中最大值所代表的方向为当前PU的纹理预测方向，并根据表2选择相应的帧内预测模式范围，并对相应模式进行粗模式选择计算。

D₀，D₄₅，D₉₀，D₁₃₅分别表示当前PU中每个边缘梯度(G₀,G₄₅,G₉₀,G₁₃₅)为最大值的次数,MAIN_D为D₀，D₄₅，D₉₀，D₁₃₅中的最大值，即当前PU的纹理预测方向。

表2纹理预测方向对应的帧内预测模式

纹理预测方向	帧内预测模式
		D<sub>0</sub>	0,1,21-31
D<sub>45</sub>	0,1,13-23
		D<sub>90</sub>	0,1,5-15
D<sub>135</sub>	0,1,2-7,29-34

S3、将MPMs模式添加到候选列表中；

S4、如果当前帧是深度图，则将DMMs添加到候选列表中；否则跳过此步骤；

S5、计算候选列表中每个模式的率失真代价值，率失真代价值最小的模式作为最佳预测模式。

附图说明

图1是纹理图深度图对比(序列Kendo，视点5的第1帧)；

图2是3D-HEVC中35种帧内编码预测模式方向

图3是3D-HEVC帧内预测编码的流程图；

图4是4个方向(水平、垂直、45度和135度)的各向同性Sobel算子模板

图5是本发明方法的流程图

图6是本发明方法与3D-HEVC原始编码方法的率失真曲线比较图

图7是本发明方法与3D-HEVC原始方法编码后视频的主观质量及细节比较图(视频序列“Balloons”，视点5，第20帧)

具体实施方式

以下结合附图对本发明作进一步详细阐述。

本发明针对基于HEVC的3D视频编码标准3D-HEVC中深度图帧内编码过程计算复杂度高的问题，提出了一种基于边缘检测的深度图帧内模式快速决策方法，在保证视频成虚拟视点质量的前提下，有效降低编码复杂度，提高编码效率，缩短编码时间。图5位本发明方法的流程图。

本发明方法的具体步骤如下：

步骤一：判断当前PU是否属于为深度图，如为深度图继续进行步骤二，若为纹理图则进行35种帧内预测模式的粗模式选择过程(图3为3D-HEVC这内预测编码流程图)，并跳转到步骤三。

步骤二：提取深度图的灰度值，并利用边缘检测的方法判断当前PU的纹理特征，确定帧内编码候选模式：

2.1：对于PU的各个像素点，将水平、垂直、45度和135度角方向的各向同性Sobel算子模板与其覆盖的图像3×3区域的9个像素进行卷积计算后，得到像素点4个方向的边缘梯度分量G₀,G₄₅,G₉₀和G₁₃₅。4个方向的各向同性Sobel算子模板如图4所示。4个方向的边缘梯度计算公式为：

G₀,G₄₅,G₉₀和G₁₃₅分别为当前编码单元PU中各像素点水平、45度角、垂直、和135度角方向的边缘梯度分量，p为像素点的亮度值

2.2：计算各个方向的边缘梯度后，利用公式：计算当前像素的总梯度值。

G为当前编码单元PU中各像素点的边缘梯度值。

2.3：得到PU中每个像素的总梯度值后，利用公式：计算当前PU的纹理复杂度。

W为当前预测单元PU的宽度，G_i为边缘梯度值矩阵中第i个像素点的梯度幅值，T为当前PU的纹理复杂度。

2.4：若T＝0，则跳过粗模式选择过程，直接将Planar、DC模式加到帧内模式候选列表中；

2.5：若T≠0，计算在当前PU中每个像素的边缘梯度分量G₀,G₄₅,G₉₀和G₁₃₅分别为最大值的次数，记为D₀,D₄₅,D₉₀和D₁₃₅。

2.6：根据公式：MAIN_D＝max{D₀，D₄₅，D₉₀，D₁₃₅}，选择D₀,D₄₅,D₉₀和D₁₃₅中最大值所代表的方向为当前PU的纹理预测方向，并根据表2选择相应的帧内预测模式范围，并对相应模式进行粗模式选择计算。

D₀，D₄₅，D₉₀，D₁₃₅分别表示当前PU中每个边缘梯度(G₀,G₄₅,G₉₀,G₁₃₅)为最大值的次数,MAIN_D为D₀，D₄₅，D₉₀，D₁₃₅中的最大值，即当前PU的纹理预测方向。

表2纹理预测方向对应的帧内预测模式

纹理预测方向	帧内预测模式
		D<sub>0</sub>	0,1,21-31
D<sub>45</sub>	0,1,13-23
		D<sub>90</sub>	0,1,5-15
D<sub>135</sub>	0,1,2-7,29-34

步骤三：将MPMs模式添加到候选列表中；

步骤四：如果当前帧是深度图，则将DMMs添加到候选列表中；否则跳过此步骤；

步骤五：计算候选列表中每个模式的率失真代价值，率失真代价值最小的模式作为最佳预测模式。

为了对本发明方法的可行性和有效性进行验证，本文在3D-HEVC测试平台HTM-16.0上进行实验，采用全帧内编码配置文件进行编码。本实验选取分辨率为1024×768的Balloons、Kendo、Newspaper1序列以及分辨率为1920×1088的GT_Fly、Poznan_Hall2、Poznan_Street、Undo_Dancer、Shark序列。测试序列具体参数见表3。实验的硬件配置及编码参数见表4。

表3测试序列参数

表4实验配置参数

依照公布的3D-HEVC的测试标准对3D-HEVC标准编码方法和引入边缘检测的帧内模式快速决策方法进行比较。ETR(Encoding Time reduction)表示与原始HTM16.0测试平台相比，本发明方法所能节省的时间百分比，计算公式为： 实验结果如表5所示。从表5中可以看出，本发明方法可以有效降低视频的编码复杂度，缩短编码时间。

Time_HTM16.0表示HTM16.0测试平台的编码时间，Time_{本发明方法}表示本发明提出的快速编码方法的编码时间。ETR表示与原始HTM16.0测试平台相比，本发明方法所能节省的时间百分比。

表5本发明方法与标准编码方法的编码时间性能比较结果(％)

在有效降低编码复杂度的同时，还需要保证各个视点视频编码质量以及合成视点的视频质量。因此还需要对使用原始编码方法和本发明方法编码后的纹理视频和合成视点视频的质量进行比较。结果图表6所示，其中video PSNR/total bitrate(简称V/T)表示编码后的视频峰值信噪比(Peak signal-to-noise ratio,PSNR)与总比特率的BD-rate的比值；synth PSNR/total bitrate(简称S/T)表示合成视点的PSNR与总比特率的BD-rate的比值。从表6中可看出，与原始的3D-HEVC标准编码方法相比，本发方法在保证较好的视频质量的前提下，可以较好的降低帧内编码的计算复杂度。从而证明本方法在帧内编码的性和高效性方面具有先进性。

表6本发明方法与标准编码方法的视频质量比较结果(％)

Claims (1)

1.一种基于边缘检测的3D-HEVC深度图帧内编码模式快速决策方法，其特征在于：本方法包含如下步骤：

S1判断当前PU是否属于为深度图，如为深度图继续进行步骤1.2，若为纹理图则进行35种帧内预测模式的粗模式选择过程，并跳转到步骤1.3；

S2、提取深度图的灰度值，并利用边缘检测的方法判断当前PU的纹理特征，确定帧内编码候选模式：

S2.1：对于PU的各个像素点，将水平、垂直、45度和135度角方向的各向同性Sobel算子模板与其覆盖的图像3×3区域的9个像素进行卷积计算后，得到该像素点的4个方向的边缘梯度分量G₀，G₄₅，G₉₀和G₁₃₅；4个方向的各向同性Sobel算子模板如图4所示；4个方向的边缘梯度计算公式为：

G₀，G₄₅，G₉₀和G₁₃₅分别为当前编码单元PU中各像素点水平、45度角、垂直、和135度角方向的边缘梯度分量，p为像素点的亮度值；

S2.2：计算各个方向的边缘梯度后，利用公式：计算当前像素的总梯度值；

G为当前编码单元PU中各像素点的边缘梯度值；

S2.3：得到PU中每个像素的总梯度值后，利用公式：计算当前PU的纹理复杂度；

W为当前预测单元PU的宽度，G_i为边缘梯度值矩阵中第i个像素点的梯度幅值，T为当前PU的纹理复杂度；

S2.4：若T＝0，则跳过粗模式选择过程，直接将Planar、DC模式加到帧内模式候选列表中；

S2.5：若T≠0，计算在当前PU中每个像素的边缘梯度分量G₀，G₄₅，G₉₀和G₁₃₅分别为最大值的次数，记为D₀，D₄₅，D₉₀和D₁₃₅；

S2.6：根据公式：MAIN_D＝max{D₀，D₄₅，D₉₀，D₁₃₅}，选择D₀，D₄₅，D₉₀和D₁₃₅中最大值所代表的方向为当前PU的纹理预测方向，并根据表2选择相应的帧内预测模式范围，并对相应模式进行粗模式选择计算；

D₀，D₄₅，D₉₀，D₁₃₅分别表示当前PU中每个边缘梯度(G₀，G₄₅，G₉₀，G₁₃₅)为最大值的次数，MAIN_D为D₀，D₄₅，D₉₀，D₁₃₅中的最大值，即当前PU的纹理预测方向；

表1纹理预测方向对应的帧内预测模式

S3、将MPMs模式添加到候选列表中；

S4、如果当前帧是深度图，则将DMMs添加到候选列表中；否则跳过此步骤；

S5、计算候选列表中每个模式的率失真代价值，率失真代价值最小的模式作为最佳预测模式。