CN108449591A

CN108449591A - 一种深度视频dmm模式简化方法

Info

Publication number: CN108449591A
Application number: CN201810236131.8A
Authority: CN
Inventors: 雷建军; 张静; 侯永宏; 孙振燕; 徐遥令; 张曼华
Original assignee: Tianjin University
Current assignee: Tianjin University
Priority date: 2018-03-21
Filing date: 2018-03-21
Publication date: 2018-08-24

Abstract

本发明公开了一种深度视频DMM模式简化方法，包括：对模式粗选中具有最小哈达玛代价的模式进行判断，跳过不必要的DMM预测模式；根据具有最小哈达玛代价的预测模式，定义允许预测模式集合，进而获取角度约束范围；通过边缘检测分别获取PU四边上梯度变化最大的像素点坐标，这些像素点作为楔形图样分割线的起点或者终点；根据角度约束范围从楔形图样分割线中获取搜索子集，搜索子集中的所有分割图样，通过率失真代价获取具有最小失真的图样作为最佳匹配的楔形划分图样；全RD代价候选列表中的所有候选模式利用合成视点优化选取当前层的最佳预测模式；继续进行CU划分，递归遍历，最终选择最佳的CU划分尺寸和最佳预测模式并进行编码。

Description

一种深度视频DMM模式简化方法

技术领域

本发明涉及视频编码领域，尤其涉及一种深度视频DMM(深度建模模式)模式简化方法。

背景技术

为了给观看者提供更加真实的体验，高清、超高清、3D视频逐渐进入人们视野。3D视频因为能够满足人们对于沉浸感的追求而得到了广泛关注。3D场景显示需要多个视点的视频序列，庞大的视频数据量不利于存储和传输，限制了其在生活中的应用范围。高效的3D视频编码方法成为多媒体领域的研究热点。根据不同的视频表达格式，3D视频的编码可以分为两类：基于多视点视频(Multiview Video,MVV)格式编码和基于多视点加深度(Multiview Video plus Depth,MVD)格式编码。MVD格式用2D彩色视频及其对应的深度图来表征3D场景，彩色视频包含了目标内容的色度信息以及亮度信息，深度图中像素值则代表场景到相机的距离，并作为非视觉信息用于虚拟视点合成中。3D-HEVC是基于MVD格式的视频压缩标准，其输入视频序列为多个视点彩色视频和对应的深度视频。为了充分去除冗余信息，3D-HEVC引入了新的预测技术和编码工具，增加了适用于多视点视频编码和深度视频编码的技术。

深度图中的边界信息对合成虚拟视点质量有直接影响，3D-HEVC在对深度视频进行编码时引入了DMM预测模式，以便更好地保留其边缘信息，避免振铃效应，提高合成视点视频质量。DMM模式将深度图分割成两部分，每部分区域深度值近似为常数。需要传递的信息包括：分割模式以及每个分割区域的深度取值。

DMM模式能提升合成视频的质量，但是其需要进行大量的搜索和率失真代价计算，需要耗费较多时间，研究DMM模式的快速算法具有重要意义。Sanchez等人提出了一种纹理描述符把CU块划分为平滑块和非平滑块，对于平滑块直接跳过DMM模式。Chun-Su等人通过分析预测模式率失真(RD)代价的值判断是否跳过DMM模式。Park提出了基于边缘检测的帧内模式快速决策算法。Zhang等人根据角度相似性把楔形划分图样分成了33个子集以简化图样搜索过程。Kawamura等人提出只计算边界附近图样列表的RD代价，有效减少了DMM中失真的计算量，该算法被3D-HEVC标准采纳。

发明人在实现本发明的过程中，发现现有技术中至少存在以下缺点和不足：

现有技术中的方法往往基于盲遍历过程，而未考虑深度视频纹理特性和DMM模式之间的联系；现有方法在进行简化搜索设计时，缺少角度约束优化机制。

发明内容

本发明提供了一种深度视频DMM模式简化方法，本发明在保证视频质量的前提下，对深度视频编码过程进行优化，引入角度约束信息以简化深度建模模式的预测过程，从而降低深度视频编码的计算复杂度，详见下文描述：

一种深度视频DMM模式简化方法，所述方法包括以下步骤：

对模式粗选中具有最小哈达玛代价的模式进行判断，跳过不必要的DMM预测模式；

根据具有最小哈达玛代价的预测模式，定义允许预测模式集合，进而获取角度约束范围；

通过边缘检测分别获取PU四边上梯度变化最大的像素点坐标，这些像素点作为楔形图样分割线的起点或者终点；

根据角度约束范围从楔形图样分割线中获取搜索子集，搜索子集中的所有分割图样，通过率失真代价获取具有最小失真的图样作为最佳匹配的楔形划分图样；

全RD代价候选列表中的所有候选模式利用合成视点优化选取当前层的最佳预测模式；继续进行CU划分，递归遍历，最终选择最佳的CU划分尺寸和最佳预测模式并进行编码。

在对模式粗选中具有最小哈达玛代价的模式进行判断之前，所述方法还包括：

对传统帧内预测通过哈达玛代价计算，选取若干个具有最小哈达玛代价的预测模式，全部加入全RD代价候选列表中。

其中，所述对模式粗选中具有最小哈达玛代价的模式进行判断，跳过不必要的DMM预测模式具体为：

定义DMM模式的跳过条件：

其中，F_DMM为标志位，如果在RMD中DC模式被选作M_HAD，则推断当前PU是平滑块，从而直接跳过DMM预测过程。

进一步地，所述根据具有最小哈达玛代价的预测模式，定义允许预测模式集合，进而获取角度约束范围具体为：

定义预测模式集合Ω_p如下式所示：

Ω_p＝{n_i||n_i-n_b|≤n_t}，

如果n_i取值超出了预测模式的范围，则定义：

其中，n表示模式的索引号；i表示允许的预测模式；b表示最佳预测模式；t代表阈值，决定了预测模式的集合大小，由于预测模式具有角度信息，根据Ω_p获取相应的允许角度范围。

进一步地，所述子集由梯度变化最大点为起点或终点的分割图样构成。

本发明提供的技术方案的有益效果是：

1、本发明具有良好的性能，在合成视点视频质量无明显下降的情况下，节省了DMM模式的预测时间和深度视频编码的时间，有效降低了计算复杂度；

2、本发明考虑深度PU(预测单元)与分割图样之间的结构相似性，通过分析PU纹理来减少粗搜索列表中图样数，实现了基于角度信息约束的DMM简化算法。

附图说明

图1为一种深度视频DMM模式简化方法的流程图；

图2为编码时间节省的曲线示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。

3D-HEVC引入了深度编码工具——DMM，然而，基于全遍历的DMM图样选择过程显著增加了深度图编码的计算复杂度。

为了克服现有技术的不足，本发明实施例提出了基于角度约束的DMM模式简化搜索算法，可以在重建视频质量无明显降低的情况下获得可观的编码时间节省，具体的技术方案分为下列步骤：

实施例1

本发明实施例提供了一种深度视频DMM模式简化方法，参见图1，该方法包括以下步骤：

101：对传统帧内预测通过哈达玛代价计算进行模式粗选(Rough Mode Decision,RMD)，即从中选取若干个具有最小哈达玛代价的预测模式，全部加入全RD代价候选列表中；

102：根据DMM模式的跳过条件对最小哈达玛代价的预测模式进行判断，判断是否直接跳过DMM模式的预测过程；

其中，当判断结果为当前PU是平滑块时，则直接跳过DMM预测过程，简化搜索过程，执行步骤103；

其中，模式粗选、以及哈达玛代价^[1]均是本领域公知的技术术语，本发明实施例对此不做赘述。

103：根据具有最小哈达玛代价的预测模式，定义允许预测模式集合，获取允许角度范围；

104：通过边缘检测分别获取PU四边上梯度变化最大的像素点坐标，这些像素点(即起点与终点)作为楔形图样分割线的起点或者终点；

105：根据角度约束范围从楔形图样分割线中获取搜索子集，即所述子集由梯度变化最大点为起点或终点的分割图样构成；搜索子集中的所有分割图样，通过率失真代价计算获取具有最小失真的图样作为最佳匹配的楔形划分图样。

106：将全RD代价计算列表中的所有候选模式通过视点合成优化(View SynthesisOptimization,VSO)过程，选取具有最小代价的预测模式作为该CU层的最佳预测模式；继续进行CU划分，递归遍历，最终选择最佳的CU划分尺寸和最佳预测模式并进行编码。

一、传统帧内模式粗选

为了减少进行全RD代价计算的模式数，传统帧内预测首先需要经过RMD，通过计算35种预测模式的哈达玛代价，依据最小哈达玛代价从中选取k个模式。

其中，k和PU尺寸有关，当PU尺寸为64×64、32×32、16×16时，k等于3，当PU尺寸为8×8或4×4时，k为8。

即，候选列表中模式个数k和PU尺寸的对应关系为：

k＝{3,3,3,8,8},corresponding to{64,32,16,8,4}

哈达玛代价计算公式如下：

J_HAD＝SATD+λ·R_mode

其中，SATD是指将残差信号进行哈达玛变换后再求各元素绝对值之和；λ表示拉格朗日乘子；R_mode表示该预测模式下编码所需比特数。

在RMD后，来自上、左和左上三个方向的相邻已编码CU的最佳预测模式作为最可能模式(Most Probable Modes,MPMs)也加入到全RD代价候选列表中。

二、基于粗选模式的DMM模式跳过

由于深度图中存在两种类型的PU，一种由近乎常值或缓慢变化的深度值组成，而另一种则包含锐利的边界。

为简化搜索过程，本发明实施例利用RMD过程中获得的具有最小哈达玛代价的模式，记做M_HAD，作为表征当前PU纹理特性的参数，定义DMM模式的跳过条件：

其中，F_DMM为标志位。DC模式预测适用于大面积平坦的区域，如果在RMD中DC模式被选作M_HAD，则推断当前PU是平滑块，从而直接跳过DMM预测过程。

三、角度约束范围获取

利用M_HAD的角度信息为DMM图样搜索过程提供先验信息，为了提高精确度，定义预测模式集合Ω_p如下式所示：

Ω_p＝{n_i||n_i-n_b|≤n_t}，

如果n_i取值超出了预测模式的范围，则定义：

其中，n表示模式的索引号；i表示允许的预测模式；b表示最佳预测模式；t代表阈值，决定了预测模式的集合大小。因为预测模式具有角度信息，根据Ω_p可获取相应的允许角度范围。

四、最佳楔形划分图样确定

通过边缘检测分别获取PU四边上梯度变化最大的像素点坐标，这些点作为楔形图样分割线的起点或者终点。然后，根据第三部分得到的楔形图样分割线允许的角度范围，获取搜索子集，该集合由在允许角度范围内，且以梯度变化最大点为起点或终点的分割图样构成。最后，搜索子集中的所有图样，通过率失真代价计算获取具有最小失真的图样作为最佳匹配的楔形划分图样。

五、最佳预测模式选取与编码

将全RD代价计算列表中的所有候选模式通过视点合成优化(View SynthesisOptimization,VSO)过程，选取具有最小代价的预测模式作为该CU层的最佳预测模式。RD代价的定义如下式所示：

其中，m*为P_m取最小值时m的取值；C表示候选模式集；P_m表示RD代价函数；D(m)表示原始CU在使用候选模式m进行编码后引入的失真，用原始视频合成的虚拟视点和编码后重建视频合成的虚拟视点各像素点间的均方误差(Mean Square Error,MSE)衡量；λ表示拉格朗日乘数；R(m)表示使用候选模式m编码当前CU所需的比特数。

在选取当前层的最佳预测模式后，继续进行CU划分，递归遍历，最终选择最佳的CU划分尺寸和最佳预测模式并进行编码。

综上所述，本发明实施例在保证视频质量的前提下，对深度视频编码过程进行优化，引入角度约束信息以简化深度建模模式的预测过程，从而降低深度视频编码的计算复杂度。

实施例2

下面通过3个视频序列(Kendo，Poznan_Hall2，Poznan_Street)的测试过程说明本发明实施例的最佳实施方式：

一、传统帧内模式粗选

传统帧内预测为了减少进行全RD代价计算的模式数，需要经过模式粗选，通过计算每种模式下的哈达玛代价，并根据PU尺寸选取前k个预测模式加入到全RD代价候选列表中。其中k和PU尺寸有关，当PU尺寸为64×64、32×32、16×16时，k等于3，当PU尺寸为8×8或4×4时，k为8。哈达玛变换是广义傅里叶变换的一种，哈达玛代价计算公式如下：

J_HAD＝SATD+λ·R_mode

其中，SATD是指将残差信号进行哈达玛变换后再求各元素绝对值之和；λ表示拉格朗日乘子；R_mode表示该预测模式下编码所需比特数。SATD能在一定程度上反映残差在频域中的大小，且性能接近于视频编码中实际使用的DCT变换。在RMD后，来自上、左和左上三个方向的相邻已编码CU的最佳预测模式作为最可能模式(Most Probable Modes,MPMs)也加入到全RD代价候选列表中。

二、基于粗选模式的DMM模式跳过

根据深度视频帧内预测流程，在进行DMM模式预测前，35种传统帧内预测模式已经通过RMD过程粗选出k种预测模式，并加入到了候选列表中。因为深度视频大部分区域都是变化缓慢的平滑区域，其中Plana模式和DC模式均适合平滑区域的预测，如果能够提出一种有效的方法对Planar和DC模式进行提前决策，跳过其他模式的RMD和RDO过程，可以有效降低计算复杂度。

本发明实施例利用RMD过程中获得的具有最小哈达玛代价的模式，记做M_HAD，作为表征当前PU纹理特性的参数，定义DMM模式的跳过条件：

其中，F_DMM为标志位，当F_DMM＝true时跳过DMM预测过程。DC模式预测适用于大面积平坦的区域，在RMD中，如果DC模式被选作M_HAD，即F_DMM判断为true，则可以推断出当前PU是平滑块，不具有锐利的边缘，这种情况下直接跳过DMM预测过程。

三、角度约束范围获取

在跳过不必要的DMM预测过程后，根据深度PU的楔形划分图样。发现DMM1图样搜索选取的最佳楔形图样的分割线和原始PU的边界具有很强的相关性，而且M_HAD和PU的纹理特性有很强的联系。由此可得：如果M_HAD属于33种角度预测模式，DMM1最佳划分图样的角度信息和M_HAD的角度信息具有很强相关性。本发明实施例利用M_HAD的角度信息为DMM图样搜索过程提供先验信息，为了提高精确度，定义预测模式集合Ω_p如下所示：

Ω_p＝{n_i||n_i-n_b|≤n_t}，

如果n_i取值超出了预测模式的范围，则定义：

其中，n表示模式的索引号；i表示允许的预测模式；b表示最佳预测模式；t代表阈值，决定了预测模式的集合大小。因为预测模式具有角度信息，根据Ω_p可获取相应的允许角度范围。如：取n_b＝10，n_t＝4，所得预测模式集合为[6，14]。根据预测模式的角度信息，可以获取PU中边界所在的角度范围。阈值n_t的取值根据实验确定。

四、最佳楔形划分图样确定

从深度PU及其对应的最佳划分图样可以看出，最佳匹配图样同原始深度PU具有很强的结构相似性，尤其是在边缘区域。基于以上分析，本发明实施例首先通过边缘检测分别获取PU四边上梯度变化最大的像素点坐标，这些点可以作为楔形图样分割线的起点或者终点。然后，根据第三部分得到的楔形图样分割线允许的角度范围，获取搜索子集，该集合由在允许角度范围内，且以梯度变化最大点为起点或终点的分割图样构成。最后，搜索子集中的所有图样，通过率失真代价计算获取具有最小失真的图样作为最佳匹配的楔形划分图样。

五、最佳预测模式选取与编码

对于同一压缩算法来说，传输信息越多，重建图像质量越好，但码率随之增加，码率越高要求更大的存储空间，也会增加网络传输的压力。在码率与失真中找出平衡点，使压缩效果最优，这种方法叫做率失真优化。率失真优化的目标是利用最少的比特达到最高的保真度，用公式表示：

其中，m^*为P_m取最小值时的m的取值，C表示候选模式集；P_m表示RD代价函数；D(m)表示原始CU在使用候选模式m进行编码后引入的失真，因为3D视频和2D视频不同的显示方式，3D-HEVC用原始视频合成的虚拟视点和编码后重建视频合成的虚拟视点各像素点间的均方误差(Mean Square Error,MSE)作为3D视频编码性能的度量标准，亦称为视点合成优化(View Synthesis Optimization,VSO)；λ表示拉格朗日乘数；R(m)表示使用候选模式m编码当前CU所需的比特数。

为了确定最佳的PU预测模式，全RD代价候选列表中的所有候选模式均需要通过视点合成优化过程，从而选取具有最小代价的预测模式作为该CU层的最佳预测模式。在选取当前层的最佳预测模式后，继续进行CU划分，递归遍历，最终选择最佳的CU划分尺寸和最佳预测模式并进行编码。

实施例3

下面结合图2对实施例1和2中的方案进行进一步地介绍，详见下文描述：

为使本方法的效果具有可比性，本发明实施例对3个视频序列(Kendo，Poznan_Hall2，Poznan_Street)进行测试，采用All-Intra编码结构。实验测试条件按照JCT-3V规定的通用测试条件进行设置。

图2为本方法的编码时间节省曲线图，表示编码节省时间随阈值n_t变化的趋势。图中编码节省时间为21％左右，有效降低了编码复杂度。

参考文献

[1]M Zhang,C Zhao,J Xu,et al.A fast depth-map wedgelet partitioningscheme for intra prediction in 3D video coding[C].2013 IEEE InternationalSymposium on Circuits and Systems (ISCAS),2013,2852-2855.

本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种深度视频DMM模式简化方法，其特征在于，所述方法包括以下步骤：

2.根据权利要求1所述的一种深度视频DMM模式简化方法，其特征在于，在对模式粗选中具有最小哈达玛代价的模式进行判断之前，所述方法还包括：

3.根据权利要求1所述的一种深度视频DMM模式简化方法，其特征在于，所述对模式粗选中具有最小哈达玛代价的模式进行判断，跳过不必要的DMM预测模式具体为：

定义DMM模式的跳过条件：

4.根据权利要求1所述的一种深度视频DMM模式简化方法，其特征在于，所述根据具有最小哈达玛代价的预测模式，定义允许预测模式集合，进而获取角度约束范围具体为：

定义预测模式集合Ω_p如下式所示：

Ω_p＝{n_i||n_i-n_b|≤n_t}，

如果n_i取值超出了预测模式的范围，则定义：

5.根据权利要求1所述的一种深度视频DMM模式简化方法，其特征在于，所述子集由梯度变化最大点为起点或终点的分割图样构成。