CN111327909B - 一种针对3d-hevc的快速深度编码方法 - Google Patents

Abstract

本发明提出了一种针对3D‑HEVC的快速深度编码方法，其步骤为：首先，通过构建的改进的最小可觉深度差模型将深度树块分成简单CU、中等CU和复杂CU；其次，执行早期SKIP模式检测确定最佳帧间模式；然后，执行快速帧内模式选择最佳帧内模式；最后，执行自适应运动搜索范围选择最佳预测模式。本发明利用改进后的最小可觉深度差分析深度图的树块特征，将CU分为简单CU、中等CU和复杂CU，然后基于这三种CU进行早期SKIP模式检测、快速帧内模式选择和自适应运动搜索范围预测，从而降低编码复杂度，减少深度图像的编码时间，并且保证主观质量的损失忽略不计。

Description

一种针对3D-HEVC的快速深度编码方法

技术领域

本发明涉及图像处理技术领域，特别是指一种针对3D-HEVC的快速深度编码方法。

背景技术

3D视频由于立体显示技术和相关应用的最新发展而变得越来越流行，例如FTV，3D电影和3D游戏。MPEG开发了一种新的3D深度增强格式——多视图视频加深度(MVD)，作为最流行的3D视频应用格式。在MVD格式中，仅利用少量捕获的纹理视频和相关深度图提供丰富的三维场景信息。在接收到纹理视频和深度映射后，可以使用基于深度图像的渲染(DIBR)对任意虚拟视图进行合成。为了有效降低传输成本，对MVD数据的纹理视频和深度图进行编码并传输到接收端。由于深度图不显示在接收端，只表示三维场景的几何信息，深度图编码的质量需要通过渲染的虚拟视图质量来衡量。为了提高深度图的压缩效率，JCT-3V已经开发了3D-HEVC。

深度图的特征与纹理图像的特征有很大不同，因为深度图具有较大的均匀区域，而这些区域由锋利的对象边缘来界定。因此3D-HEVC基于此功能设计了一些预测技术来更好地压缩深度图，例如DMM模式、深度帧内跳过模式和分段深度编码(SDC)模式。这些技术实现了很高的压缩性能，但是同时也带来了很高的复杂性，阻碍了3D-HEVC的实时应用。因此，非常需要开发一种可以减少深度图的编码时间，但不会损失3D视频质量的快速方法。

近来，已经提出了一些关于3D-HEVC的快速深度编码的最新技术。C.Park等人设计了一种快速决策方法，通过将边缘分类为不同的方法来分配DMM的复杂性，该方法可以自适应地跳过无用的DMM模式。L.Shen等人研究了一种快速方法来加速最耗时的深度图预测过程，通过使用相邻CU深度级别的相关性和纹理深度的相关性来自适应地调整模式决策过程。H.Zhang等人引入了一种快速方案来尽早终止深度图的四叉树分割，可以自适应地检测角点并重新分配分割级别。R.

等人为了减少复杂性，提出了一种基于自适应阈值模式的早期跳过方法。J.Chen等人提出一种基于检测边缘区域以减少深度编码时间的方法。H.Zhang等人提出了一种基于方差计算方法和早期模式决策的快速编码方案，来加速深度压缩。M.Saldanha等人提出了一种四叉树限制方法，为了减少基于数据挖掘的深度图帧内预测的编码器复杂性。J.Lei等人提出了一种快速模式决策，来减少深度编码过程中的候选模式，其中视图间和灰度相似度之间的相关性用于搜索最佳PU模式。L.Shen等人通过联合利用相关性，采用低复杂度帧内模式选择来加速编码计算。Q.Zhang等人提出了一种使用梯度信息的快速方法，来节省深度编码时间。M.Saldanha等人利用快速的3D-HEVC深度图压缩来关联RDO过程，该方法基于机器学习和数据挖掘来提取3D-HEVC上下文属性之间的相关性。H.Hamout等人提出了一种快速的深度图内部模型决策，该方法可以在3D-HEVC的模式决策过程中有选择的省略掉不必要的深度模式，并基于张量特征提取和数据分析来分配计算复杂度。Q.Zhang等人还引入了快速模式决策和早期终止方案来降低3D-HEVC的计算复杂性。上述方法能够减少3D-HEVC深度压缩编码时间，但是不能保证3D视频压缩的主观质量。

最小可觉差(JND)是基于心理学和生理学的有效深度模型，为了利用HVS的感知特性，在视频压缩应用中使用JND模式是降低编码器复杂性的一种有前景的方法。目前JND模式已经在一些快速HEVC编码中进行了研究。但是在文献中很少发现专门针对3D-HEVC深度压缩的JNDD模式的研究。

发明内容

针对上述背景技术中存在的不足，本发明提出了一种针对3D-HEVC的快速深度编码方法，解决了现有深度编码方法存在的编码复杂度高、编码质量差的技术问题。

本发明的技术方案是这样实现的：

一种针对3D-HEVC的快速深度编码方法，其步骤如下：

S1、通过结合JNND_T模型、边缘M_E模型和偏心模型F构建改进的最小可觉深度差模型，并利用改进的最小可觉深度差模型将深度树块分成简单CU、中等CU和复杂CU；

S2、执行早期SKIP模式检测，如果深度树块属于简单CU或中等CU，选择SKIP模式为最佳帧间模式，如果深度树块属于复杂CU，对复杂CU依次进行所有预测模式编码以确定最佳帧间模式；

S3、执行快速帧内模式选择，如果深度树块属于简单CU，选择Planar模式为最佳帧内模式，如果深度树块属于中等CU，对中等CU依次进行Planar模式、DC模式、水平/垂直模式编码以确定最佳帧间模式，如果深度树块属于复杂CU，对复杂CU依次进行所有HEVC帧内模式和DMM模式编码以确定最佳帧间模式；

S4、执行自适应运动搜索范围选择，如果深度树块属于简单CU，搜索窗口调整为[S/4×S/4]，如果深度树块属于中等CU，搜索窗口调整为[S/2×S/2]，如果深度树块属于复杂CU，搜索窗口不变，大小为[S×S]，最后确定最佳预测模式；其中，S表示设定的搜索窗口。

所述步骤S1中构建的改进的最小可觉深度差模型为：

其中，(i,j)表示像素在深度框中的位置，t表示深度帧索引，v表示观看距离，e表示相对点相对于(i,j)固定点(i_f,j_f)的偏心距，ε，φ和

均表示权重因子，JNND_T(i,j)表示MJNDD(i,j,t,v,e)模型的比例因子，M_E(i,j)表示边缘模型，F(i,j,ν,e)表示偏心率模型。

所述比例因子为：

其中，

d(i,j)代表像素深度。

所述边缘模型为：

其中，EP表示编码深度树块中边缘像素的数量，N表示深度树块的大小。

所述偏心率模型为：

其中，

表示加权模型，k(bg(i,j))表示加权模型的指数，且

h(v,e)表示截止频率。

所述利用改进的最小可觉深度差模型将深度树块分成简单CU、中等CU和复杂CU的方法为：

其中，D₁和D₂均表示深度图内容的权重因子。

所述自适应运动搜索范围的动态调整方法为：

其中，SW表示深度图当前树块的调整后的搜索窗口，S表示设定的搜索窗口。

本技术方案能产生的有益效果：本发明利用改进的最小可觉深度差分析深度图的树块特征，将CU分为简单CU、中等CU和复杂CU，然后基于这三种CU进行早期SKIP模式检测、快速帧内模式选择和自适应运动搜索范围预测，从而降低编码复杂度，减少深度图像的编码时间，并且保证主观质量的损失忽略不计。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的流程图；

图2为本发明的深度编码的模式分布图；

图3为本发明方法与FMDR、CRDC、PDSV、FMGI、EIMS、FDML、FDTD方法的编码时间的节省情况对比结果图；

图4为本发明方法与FMDR、CRDC、PDSV、FMGI、EIMS、FDML、FDTD方法的BDBRs的增加情况对比结果图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供了一种针对3D-HEVC的快速深度编码方法，首先利用最小可觉深度差模型(Modified Just Noticeable Depth Difference，MJNDD)分析深度图的树块特征，将CU分为简单CU，中等CU以及复杂CU。然后基于这三种CU进行早期SKIP模式检测，快速帧内模式选择和自适应运动搜索范围预测，从而减少深度图像的编码时间。本发明主要包括两种方法，即早期SKIP模式检测，快速帧内模式选择和自适应运动搜索范围预测，如图1所示，具体步骤如下：

S1、在传统的基于深度的最小可觉视差模型(Just Noticeable DepthDifference，JNDD)下，除非深度图中的像素值变化超过阈值，否则人眼在观看3D视频时无法检测到深度水平的变化。因此，根据深度编码的特点，通过结合JNND_T模型、边缘M_E模型和偏心模型F构建改进的最小可觉深度差模型：

其中，(i,j)表示像素在深度框中的位置，t表示深度帧索引，v表示观看距离，e表示相对点相对于(i,j)固定点(i_f,j_f)的偏心距，ε，φ和

均表示权重因子，JNND_T(i,j)表示MJNDD(i,j,t,v,e)模型的比例因子，M_E(i,j)表示边缘模型，F(i,j,ν,e)表示偏心率模型。

在MJNDD模型中，JNND_T作为MJNDD模型的比例因子，表示为：

其中，

d(i,j)代表像素深度。

在MJNDD模型中，边缘模型为：

其中，EP表示编码深度树块中边缘像素的数量，由canny算法实现，N表示深度树块的大小。

所述偏心率模型为：

其中，

表示加权模型，k(bg(i,j))表示加权模型的指数，且

h(v,e)表示截止频率。

得到MJNDD模型后，将权重因子ε、φ和

均设置为1，由于图像树块大多来自非平滑区域，图像树块的深度信息都很重要，因此，利用改进的最小可觉深度差模型将深度树块分成简单CU、中等CU和复杂CU：

其中，D₁和D₂均表示深度图内容的权重因子。

S2、在3D-HEVC中，帧间树块具有许多种模式可供选择。如果树块选择SKIP/Merge模式，则该模式没有明显的残差系数。在模式决策中将省略详尽的运动估计(ME)和视差估计(DE)过程。但是，由于原始编码器中的RD成本的计算需要进行完全搜索，才选择成本最低的SKIP/Merge模式，因此上述决定过程被延迟。由于深度图利用了包括几乎恒定且均匀的区域的优势，因此许多深度图的CU将根据RD成本选择SKIP模式。

本发明实施例分析了深度树块的帧间模式分布，帧间编码中的大多数树块都选择SKIP模式作为最佳模式。从图2中可以看出SKIP模式进行编码的深度图树块的百分比约为84.52％，而选择Merge，2N×2N，帧内和其他帧间模式的百分比小于4.3％。因此，如果在模式判定过程中预先确定了Merge模式，则可以减少原始编码器中的大量编码时间。基于以上分析，本发明实施例提出了3D-HEVC编码器中的早期SKIP模式检测，如果深度树块属于简单CU或中等CU，选择SKIP模式为最佳帧间模式，如果深度树块属于复杂CU，深度树块所有预测模式都不能忽略，对复杂CU依次进行所有预测模式编码以确定最佳帧间模式。

S3、在每个深度级别，3D-HEVC使用35种HEVC的帧内模式进行模式决策，HEVC的帧内模式包括Planar、DC和33个定向模式。另外，新的帧内模式DMM被设计用于深度编码，与HEVC中的帧内模式决策相比，选择最佳的一种，当然RD成本计算也包括DMM模式，这种方法导致计算极其复杂。一般情况下，Planar和DC模式非常适合具有均匀区域的树块，对于中等或复杂的区域，一般会选择33种定向的帧内模式。而DMM模式仅适用于锋利边缘上的深度树块，对于均匀区域而言效率不高。基于以上这些分析，如果可以预先确定最佳的帧内模式，我们将跳过完整的RD成本计算。因此，本发明实施例提出了基于MJNDD模型的快速深度帧内选择。

大约98.0％的均质区域树块选择Planar和DC模式，而其余模式(DMM和角度模式2-34)则很小概率成为最佳模式。因此，简单区域中的树块仅需要执行Planar和DC模式。对于中间区域选择其他模式(角度模式2-34)的概率小于5.9％。使用Planar、DC、水平和垂直模式编码的纹理编码和深度编码的总体概率分别为94.1％和94.2％。因此，不必在中间区域执行角度模式2-34和DMM模式。对于复杂区域，使用Planar、DC、水平/垂直和其他帧内模式编码的概率均不可忽略，都超过3.6％。因此，复杂区域中的树块需要执行纹理视频中HEVC的所有帧内模式以及用于深度图的所有HEVC帧内模式和DMM模式。基于以上分析，本发明实施例提出了3D-HEVC编码器中的快速帧内模式选择，如果深度树块属于简单CU，选择Planar模式为最佳帧内模式，如果深度树块属于中等CU，对中等CU依次进行Planar模式、DC模式、水平/垂直模式编码以确定最佳帧间模式，如果深度树块属于复杂CU，对复杂CU依次进行所有HEVC帧内模式和DMM模式编码以确定最佳帧间模式。

S4、在3D-HEVC编码器中，运动搜索消耗很大的计算量。在参考帧的预定义区域中，运动限制了当前树块的搜索范围(SR)。大的运动搜索窗口将产生较高的计算负担，而非常小的运动搜索窗口编码属性不高。合适的运动搜索窗口可以降低3D-HEVC的计算复杂度，并且在3D-HEVC中保持良好的RD属性。在3D-HEVC中，对预测向量的运动搜索有时不太精确，有时甚至对预测向量的运动搜索是完全错误的，因此需要较大的运动搜索窗口才能进行可靠的估计。当预测向量准确时，可以在不损失编码器编码效率的情况下减小运动搜索窗口。

均匀树块的CU中平均有96.2％的深度图树块的运动向量选择[S/4×S/4]窗口。对于中等树块的CU中约95.0％深度图树块的运动向量选择[S/2×S/2]窗口。对于复杂树块的CU中选择[S/8×S/8]、[S/4×S/4]和[S/2×S/2]窗口的深度图树块的运动向量分别约占深度图所有运动向量的43.7％，66.7％和76.3％(每个百分比是针对不同的窗口求得的)。调节三种类型的深度图树块的运动搜索范围，并且不能减小复杂区域中的3D-HEVC的运动矢量搜索范围。运动搜索范围的动态调整如下：

其中，SW表示深度图当前树块的调整后的搜索窗口，S表示设定的搜索窗口。本发明实施例执行自适应运动搜索范围选择，具体包括：如果深度树块属于简单CU，搜索窗口调整为[S/4×S/4]，如果深度树块属于中等CU，搜索窗口调整为[S/2×S/2]，如果深度树块属于复杂CU，搜索窗口不变，大小为[S×S]，最后确定最佳预测模式；其中，S表示设定的搜索窗口。

为了评估本发明的方法，在最新的3D-HEVC编码器(HTM 16.1)上进行了仿真测试。通过3D-HEVC开发的“VSRS-1D-Fast”软件进行仿真。利用Bjontegaard Delta比特率(BDBR)来评估所提出方法的编码效率。编码属性是在具有两个Intel Xeon E5-2640@2.0GHz处理器的工作站上实现的。

表1给出了所提出的整体方案的编码特性，该方案可以节省68.4％的编码运行时间，合成视图的平均BDBR增量为0.43％。因此，本发明可以有效地节省编码时间，并且RD性能的损失可以忽略不计。

表1本发明的编码特性

视频序列	BDBR(％)	节省时间(％)
			Kendo	0.39	-68.4
Balloons	0.43	-70.1
			Newspaper	0.46	-65.9
Shark	0.52	-58.8
			Undo_Dancer	0.54	-59.3
GT_Fly	0.41	-71.2
			Poznan_Street	0.39	-73.1
Poznan_Hall2	0.32	-80.6
			Average	0.43	-68.4

图2在四个典型的测试视频中显示了与HTM16.1相比，本发明方法的RD性能和编码运行时间的节省。从图2中可以看出，与HTM相比，本发明在节省运行时间和RD性能方面可以实现一致的属性。此外，随着压缩比特率的减小和QP值的增加，编码时间节省在曲线中增加。原因是，随着QP值的增加，仅使用ESMD检查均匀CU的SKIP、使用FIMS测试均匀CU的Planar、以及利用AMSR执行均匀CU的搜索范围窗口的可能性就增加了。

将本发明方法与最新的3D-HEVC快速方法相比较。这些3D-HEVC算法，包括FMDR、CRDC、PDSV、FMGI、EIMS、FDML和FDTD方法。图3和图4分别给出了节省编码时间和BDBR的编码结果，由图3和图4可知，与CRDC、EIMS、FDML和FDTD算法相比，本发明可以减少计算量，而且可以节省10.1％-62.7％的编码时间。同时，BDBR的增加可以忽略不计。此外，与FMDR、PDSV和FMCC算法相比，本发明可以减少2.7％-34.5％的编码时间，并且具有更好的RD效率。因此，所本发明方法对于各种3D视频都是有效的，并且在目标性能评估中，比3D-HEVC的最新快速方法的计算量减少的更多。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (1)

1.一种针对3D-HEVC的快速深度编码方法，其特征在于，其步骤如下：

S1、通过结合JNND_T模型、边缘M_E模型和偏心模型F构建改进的最小可觉深度差模型，并利用改进的最小可觉深度差模型将深度树块分成简单CU、中等CU和复杂CU；

所述步骤S1中构建的改进的最小可觉深度差模型为：

其中，(i,j)表示像素在深度框中的位置，t表示深度帧索引，v表示观看距离，e表示相对点相对于(i,j)固定点(i_f,j_f)的偏心距，ε，φ和

均表示权重因子，JNND_T(i,j)表示MJNDD(i,j,t,v,e)模型的比例因子，M_E(i,j)表示边缘模型，F(i,j,ν,e)表示偏心率模型；

比例因子为：

其中，

d(i,j)代表像素深度；

所述边缘模型为：

其中，EP表示编码深度树块中边缘像素的数量，N表示深度树块的大小；

所述偏心率模型为：

其中，

表示加权模型，k(bg(i,j))表示加权模型的指数，且

h(v,e)表示截止频率；

所述利用改进的最小可觉深度差模型将深度树块分成简单CU、中等CU和复杂CU的方法为：

其中，D₁和D₂均表示深度图内容的权重因子；

S2、执行早期SKIP模式检测，如果深度树块属于简单CU或中等CU，选择SKIP模式为最佳帧间模式，如果深度树块属于复杂CU，对复杂CU依次进行所有预测模式编码以确定最佳帧间模式；

S3、执行快速帧内模式选择，如果深度树块属于简单CU，选择Planar模式为最佳帧内模式，如果深度树块属于中等CU，对中等CU依次进行Planar模式、DC模式、水平/垂直模式编码以确定最佳帧间模式，如果深度树块属于复杂CU，对复杂CU依次进行所有HEVC帧内模式和DMM模式编码以确定最佳帧间模式；

S4、执行自适应运动搜索范围选择，如果深度树块属于简单CU，搜索窗口调整为[S/4×S/4]，如果深度树块属于中等CU，搜索窗口调整为[S/2×S/2]，如果深度树块属于复杂CU，搜索窗口不变，大小为[S×S]，最后确定最佳预测模式；其中，S表示设定的搜索窗口。

Images