CN111031303B - 基于贝叶斯决策定理的3d-hevc快速深度编码方法 - Google Patents

Abstract

本发明提出了一种基于贝叶斯决策定理的3D‑HEVC快速深度编码方法，其步骤为：首先确定深度图树块，分析不同量化参数之间的帧间模式分布；一方面，采用贝叶斯规则计算深度图树块的后验概率，并判断深度图树块的交互模式是否最佳确定深度图树块的最佳编码模式为SKIP/Merge模式；另一方面，根据贝叶斯规则计算深度图树块的贝叶斯成本，根据贝叶斯成本是否小于公差参数，早期确定终止深度图树块的CU修剪，确定最佳编码模式，或者利用3D‑HEVC编码器分割深度图树块的CU，测试深度图树块的其他编码模式，找到最佳编码模式。本发明通过引入贝叶斯规则避免了测试深度图编码的其它帧间模式，既保证相似虚拟视点质量，又明显降低3D‑HEVC深度编码复杂度。

Description

基于贝叶斯决策定理的3D-HEVC快速深度编码方法

技术领域

本发明涉及图像处理技术领域，特别是指一种基于贝叶斯决策定理的3D-HEVC快速深度编码方法。

背景技术

在过去几年中，三维(3D)视频通过3D电影、3D游戏和FTV等应用引起了极大的关注。MPEG目前正在开发一种深度增强的3D展示方式，称为多视点视频加深度(MVD)。深度图与纹理图像并置，深度图表示对象和相机之间的几何距离，而且它使接收器能够通过使用基于深度图像的渲染(DIBR)生成中间视图。为了提高深度图的压缩效率，JCT-3V开发了3D高效视频编码(3D-HEVC)。

深度图的特征与纹理视频不同，因为深度图像具有由锐利物体边界划分的大的均匀区域。与纹理编码不同，深度图像是保持深度锐利边缘而不是视觉质量。基于此功能，3D-HEVC设计了多种预测技术，如深度建模模式(DMM)，深度帧内跳过和分段深度编码(SDC)，为了更好地压缩边缘深度图片。这些模式实现了最高的编码效率，但是需要极大的复杂性。因此，非常期望设计一种快速深度编码方案，其可以减少3D-HEVC编码器的编码时间，同时降低速率失真(RD)性能。

目前已经提出了许多快速深度编码方法来降低多视图视频编码(MVC)的复杂性。所有这些方法都有效地减少了编码时间，而且MVC的视频质量几乎没有损失。但是，这些算法不太适合基于HEVC的3D视频编码器，其中针对3D-HEVC引入的新的附加四叉树结构化和深度帧内模式不被纳入那些算法。

目前已经开发了降低3D-HEVC的深度复杂性的研究。C.Park提出了一种快速深度图方法来分配3D-HEVC复杂度，在帧内预测中，边缘分类选择性地省略DMM。L.Shen等人提出了一种快速编码方法，以加速最耗时的深度图预测过程，它通过使用相邻CU深度水平的相关性和纹理深度的相关性来自适应地调整模式决策过程。R.

等人提出了一种基于自适应阈值模式的早期SKIP模式，为了降低帧间帧的复杂性。J.Chen等人提出一种快速帧内编码的算法，该算法基于检测边缘区域以减少深度编码时间，其中深度图的树块不包含对象边缘，不测试DMM。H.Zhang等人提出了一种快速编码方案，使用平方欧氏距离方差和早期模式决策来加速深度压缩。J.Lei等人提出了一种快速决策用来减少深度编码的模式数量。M.Saldanha等人提出了一种四叉树限制方法，该方法是基于数据挖掘来降低深度图帧内预测编码器的复杂度。L.Shen等人采用低复杂度的帧内模式选择，通过联合使用时-空、组件间和视图间的相关性来加速编码计算。上述方法都是针对3D-HEVC深度压缩而精心设计的，极大的缩短了编码时间，但显著降低RD的性能。

发明内容

针对上述背景技术中的不足，本发明提出了基于贝叶斯决策定理的3D-HEVC快速深度编码方法，解决了现有编码器复杂度高、率失真RD性能差的技术问题。

本发明的技术方案是这样实现的：

一种基于贝叶斯决策定理的3D-HEVC快速深度编码方法，其步骤如下：

S1、预先确定深度图树块，分析不同量化参数之间的帧间模式分布，引入贝叶斯规则；

S2、采用贝叶斯规则计算步骤S1中的深度图树块的后验概率，根据后验概率判断深度图树块的交互模式是否最佳，若是，帧间模式预测停止，早期确定深度图树块的最佳编码模式为SKIP/Merge模式，否则，测试深度图树块的其他编码模式，找到最佳编码模式；

S3、判断步骤S1中的深度图树块的编码是否跳过贝叶斯规则，若是，选择SKIP/Merge 模式作为深度图树块的最佳编码模式，否则，执行步骤S4；

S4、判定SKIP/Merge模式无效，根据贝叶斯规则计算深度图树块的贝叶斯成本；

S5、判断步骤S4中的贝叶斯成本是否小于公差参数，若是，终止深度图树块的CU修剪，确定最佳编码模式，否则，利用3D-HEVC编码器分割深度图树块的CU，测试深度图树块的其他编码模式，找到最佳编码模式。

所述步骤S2中根据后验概率判断深度图树块的交互模式是否最佳的判断标准为：

其中，P(x|κ_i′)为κ’_i的后验概率，P(κ_i)为κ_i的先验概率，κ_i为第i个帧间模式，κ’_i为纹理树块相对应的深度树块的模式，x为输入特征，P(κ_i′)为κ’_i的先验概率，p(x/κ_i)为κ_i的条件概率密度，P(x)为混合密度函数，ε为公差阈值，κ₁为SKIP/Merge模式，κ₂为Inter 2N× 2N模式，κ₃为Intra模式，κ₄为其他帧间模式。

所述深度图树块的其他编码模式包括Inter 2N×2N模式、Intra模式和其他帧间模式。

所述步骤S4中深度图树块的贝叶斯成本为：

其中，BC(η₁/y)为不分裂模式η₁的贝叶斯成本，BC(η₂/y)为分裂模式η₂的贝叶斯成本，E[·]为预期值，p(m₁)为CL₁的概率，p(m₂)为CL₂的概率，CL₁为非分裂CU错误选择分裂CU的压缩效率的损失、CL₂为分裂CU错误选择非分裂CU的压缩效率的损失，η₁为不分裂模式，η₂为分裂模式，

为基于观察y选择模式η_τ的后验概率，τ∈{1,2}， P(η_τ)为模式η_τ的先验概率，p(y/η_τ)为概率密度函数，p(y)为混合密度函数。

所述判断贝叶斯成本是否小于公差参数的判断方法为：

其中，χ为公差参数。

本技术方案能产生的有益效果：本发明利用贝叶斯决策规则以及相应纹理视频的相关性和空间相邻树块之间的相关性来分析深度图的树块特征，包括早期SKIP/Merge模式选择和自适应CU修剪终止，以有效降低复杂度，使速率失真(RD)性能损失变小。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的流程图；

图2为本发明的深度视图中树块与纹理视图中树块的对应关系；

图3为本发明与HTM16.1方法基于“Kendo”视频的率失真与渲染视图PSNR的关系曲线对比图；

图4为本发明的基于“Kendo”视频的量化参数与节省编码时间的关系曲线图；

图5为本发明与3D-HEVC方法基于“Undo_Dancer”视频的率失真与渲染视图的平均PSNR的关系曲线对比图；

图6为本发明的基于“Undo_Dancer”视频的量化参数与节省编码时间的关系曲线图；

图7为本发明与EBIMS、CRDSD、FMDGI、EISSI、FMDTE方法的总体节省编码时间的对比结果；

图8为本发明与EBIMS、CRDSD、FMDGI、EISSI、FMDTE方法的BDBR增加的对比结果。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明实施例提供了一种基于贝叶斯决策定理的3D-HEVC快速深度编码方法，利用贝叶斯决策规则以及相应纹理视频的相关性和空间相邻树块之间的相关性来分析深度图的树块特征。基于本发明提出了两种方法，早期SKIP/Merge模式选择和自适应CU修剪终止，具体步骤如下：

S1、预先确定深度图树块，分析不同量化参数之间的帧间模式分布，即选择不同的量化参数时，分别统计帧间模式，不同量化参数的帧间模式不同，分析他们之间帧间模式的分布呈现一定的规律，然后引入贝叶斯规则。

对于预测单元CU启动编码预测模式，进行深度编码的完整RD计算，为了在所有可能的深度级别中，找到具有最佳RD成本的模式决策，完整的RD计算为：

J_mode＝(SSE_luma+ω_chroma·SSE_chroma)+λ_mode·R_mode，

J_mode表示RD成本函数，SSE_luma和SSE_chroma分别表示当前树块及其重构树块在亮度和色度上的失真，ω_chroma表示色度称量参数，λ_mode表示拉格朗日乘数，R_mode表示总比特率成本。

S2、采用贝叶斯规则计算步骤S1中的深度图树块的后验概率，根据后验概率判断深度图树块的交互模式是否最佳，若是，帧间模式预测停止，早期确定深度图树块的最佳编码模式为SKIP/Merge模式，否则，测试深度图树块的其他编码模式，找到最佳编码模式，其中，其他编码模式包括Inter 2N×2N模式、Intra模式和其他帧间模式。

在深度压缩中，3D-HEVC的帧间树块可以被编码为SKIP/Merge模式、正常帧间模式和帧内模式。当采用SKIP/Merge模式编码树块时，没有参考图像索引和编码的运动矢量增量。由此，一旦预先确定了SKIP/Merge模式，就可以显著减少当前CU的可变帧间模式计算深度编码。如果能够找到一个合适的条件，在早期的时候，从相应的树块中识别出深度图的树块，这可能会选择SKIP/Merge模式，从而可以有效地简化帧间模式决策，并且可以在3D-HEVC 编码器中跳过大的计算复杂度。

贝叶斯分类器可以计算条件概率，根据给定的观察结果计算后验概率，并可以检测当前树块的帧间模式是否最佳。在使用贝叶斯定理进行深度编码的完整RD计算之前，开发了早期的SKIP/Merge模式决策。根据贝叶斯规则计算出条件概率以及观察结果计算出后验概率，然后根据贝叶斯分类器的定义可以得出：如果贝叶斯规则的决定是SKIP/Merge模式，即满足贝叶斯分类器，则当前树块被编码为SKIP/Merge模式，并且不计算其他帧间模式。同时，如果贝叶斯规则确定当前树块不是SKIP/Merge模式，即不满足贝叶斯分类器，则3D-HEVC编码器测试其他帧间模式。

SKIP/Merge模式的概率随着量化参数(QP)值的增加而显著变化，并且SKIP/Merge模式被选择的概率比其他帧间模式更高。基于此特征，本发明引入了基于贝叶斯决策规则的早期SKIP/Merge模式的选择，以避免测试3D-HEVC深度图的其它不必要的帧间模式。

所述根据后验概率判断深度图树块的交互模式是否最佳的判断标准为：

其中，P(x|κ_i′)为κ’_i的后验概率，P(κ_i)为κ_i的先验概率，κ_i为第i个帧间模式，κ’_i为纹理树块相对应的深度树块的模式，x为输入特征，即不同的量化参数，P(κ_i′)为κ’_i的先验概率，p(x/κ_i)为κ_i的条件概率密度，P(x)为混合密度函数，ε为公差阈值，κ₁为SKIP/Merge模式，κ₂为Inter 2N×2N模式，κ₃为Intra模式，κ₄为其他帧间模式。为了确定SKIP/Merge 模式，使用贝叶斯定理推导出后验概率：

又基于贝叶斯规则 P(κ_i)·p(x/κ_i)>P(κ_j)·p(x/κ_j)，在深度编码中p(κ_i)未知和p(x/κ_i)未知的情况下，本发明可以从相应的纹理树块中估计p(κ_i)和p(x/κ_i)，如图2所示。

S3、判断步骤S1中的深度图树块的编码是否跳过贝叶斯规则，若是，选择SKIP/Merge 模式作为深度图树块的最佳编码模式，否则，执行步骤S4；如果跳过贝叶斯规则，则将当前深度树块编码为SKIP/Merge模式，并且不计算其他深度级别。另一方面，如果贝叶斯规则将 SKIP/Merge模式确定为无效，则CU应该由3D-HEVC编码器分割。在CU修剪操作过程中，将每个CU的全部率失真RD值与其四个子CU的率失真RD值进行比较，以最终决定是否对CU进行分区。但是，要找到最佳的CU分区，需要详尽搜索不同深度的CU分割的各种组合，从而导致计算复杂性高。为了进一步降低编码复杂度，利用基于贝叶斯分类器的深度树块的自适应CU修剪终止方法。

S4、判定SKIP/Merge模式无效，根据贝叶斯规则计算深度图树块的贝叶斯成本。深度图的每个CU具有两个条件，即不分裂和分裂。对于深度图的CU，使用贝叶斯定理进行自适应 CU修剪终止：

其中，η₁为不分裂模式，η₂为分裂模式，P(η_τ/y)为基于观察y选择模式η_τ的后验概率，τ∈{1,2}，P(η_τ)为模式η_τ的先验概率，p(y/η_τ)为概率密度函数，p(y)为混合密度函数。

实际上，深度树块的预测模式类似于相应纹理和空间相邻树块的预测模式。基于该分析，计算当前深度树块的模式复杂度参数DMC：

其中，σ_i表示权重因子；

表示方向权重因子，

是一组预测器包括空间和共同定位的纹理视频树块。本发明使用深度树块的DMC作为贝叶斯规则的观察特征，大多数未分裂的 CU具有较小的复杂度参数DMC值，同时，未分裂CU的百分比逐渐获得较小的复杂度参数DMC值。根据大量实验，当复杂度参数DMC值大于1.2时的值，P(y/η₂)值大于P(y/η₁)。

在3D-HEVC中，做出错误的CU判断将导致编码效率损失。本发明使用CL₁表示作为非分裂CU错误选择分裂CU的压缩效率的损失，CL₂表示作为分裂CU错误选择非分裂CU的压缩效率的损失。因此，深度图树块的贝叶斯成本为：

其中，BC(η₁/y)不分裂模式η₁的贝叶斯成本，BC(η₂/y)为分裂模式η₂的贝叶斯成本，E[·] 为预期值，p(m₁)为CL₁的概率，p(m₂)为CL₂的概率，η₁为不分裂模式，η₂为分裂模式，

为基于观察y选择模式η_τ的后验概率，τ∈{1,2}，P(η_τ)为模式η_τ的先验概率，p(y/η_τ)为概率密度函数，p(y)为混合密度函数。

为了解释贝叶斯误差，本发明提出了公差参数χ，判断贝叶斯成本是否小于公差参数：

其中，公差参数χ小于等于1。

S5、判断步骤S4中的贝叶斯成本是否小于公差参数，若是，终止深度图树块的CU修剪，确定最佳编码模式，否则，利用3D-HEVC编码器分割深度图树块的CU，测试深度图树块的其他编码模式，找到最佳编码模式。实际上，本发明使用一些深度图帧(大约5帧)来计算先验和可能性的初始值。因此，贝叶斯规则不在深度视频的第一训练帧中提供任何选择。在此期间，HTM编码器的完整RDO提供所有确定以计算适当的参数。然后，使用所提出的方法对连续的深度图帧进行编码。

为了评估所提出方法的性能，本发明在3D-HEVC编码器(HTM 16.1)上测试该实验，CTC发布的8个MVD序列用于模拟实验。在这些测试序列中，“Shark”、“Undo_Dancer”和“GT_Fly”是具有高精度深度图的合成视频，“Kendo”、“Balloons”、“Newspaper”、“Poznan_Hall2”和“Poznan_Street”是自然的具有估计深度图的视频。测试条件如下：随机访问配置，视图：中心视图-左视图-右视图(按编码顺序)，量化参数QP分别设置为(25， 34)、(30，39)、(35，42)和(40，45)，测试编码帧的数量是150帧，DMM模式开启，并且启用VSO。

本发明提出的整体方案的编码性能在表1中列出，涉及早期SKIP/Merge模式选择(ESMMS)和自适应CU修剪终止(ACUPT)方法。所提出的整体方案可以极大地节省编码运行时间，具有与原始HTM16.1类似的RD性能。如图3、图4、图5和图6所示，基于“Kendo”和“Undo_Dancer”两个典型测试视频序列在本发明中和HTM16.1中的对比，与 HTM相比，本发明可以实现从低比特率范围到高比特率一致的运行时间节省，并且具有几乎类似的RD性能。此外，随着量化参数QP值的增大，编码时间节省在曲线中增加。从图7 和图8所示，虽然EBIMS、CRDSD、FMDGI、EISSI、FMDTE方法具有良好的RD性能，但计算性能较弱。对于所有3D视频序列，本发明所提方法具有最佳的编码时间节省，并且平均BDBR损失可以忽略不计

表1本发明与原始编码器的编码结果

本发明使用贝叶斯决策规则以及相应纹理视频和空间相邻树块之间的相关性来分析深度图的树块属性并跳过不必要的预测模式，以有效降低编码器的复杂度，同时RD性能损失可忽略不计。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于贝叶斯决策定理的3D-HEVC快速深度编码方法，其特征在于，其步骤如下：

S1、预先确定深度图树块，分析不同量化参数之间的帧间模式分布，引入贝叶斯规则；

S2、采用贝叶斯规则计算步骤S1中的深度图树块的后验概率，根据后验概率判断深度图树块的帧间模式是否最佳，若是，帧间模式预测停止，确定深度图树块的最佳编码模式为SKIP/Merge模式，否则，测试深度图树块的其他编码模式，找到最佳编码模式；

S3、判断步骤S1中的深度图树块的编码是否跳过贝叶斯规则，若是，选择SKIP/Merge模式作为深度图树块的最佳编码模式，否则，执行步骤S4；

S4、判定SKIP/Merge模式无效，根据贝叶斯规则计算深度图树块的贝叶斯成本；

S5、判断步骤S4中的贝叶斯成本是否小于公差参数，若是，终止深度图树块的CU修剪，确定最佳编码模式，否则，利用3D-HEVC编码器分割深度图树块的CU，测试深度图树块的其他编码模式，找到最佳编码模式。

2.根据权利要求1所述的基于贝叶斯决策定理的3D-HEVC快速深度编码方法，其特征在于，所述步骤S2中根据后验概率判断深度图树块的帧间模式是否最佳的判断标准为：

其中，p(x/κ′_i)为κ′_i的后验概率，P(κ_i)为κ_i的先验概率，κ_i为第i个帧间模式，κ′_i为纹理树块相对应的深度图树块的编码模式，深度图树块的编码模式为SKIP/Merge、帧间2N×2N、帧内模式或其他帧间模式，x为输入特征，P(κ′_i)为κ′_i的先验概率，p(x/κ_i)为κ_i的条件概率密度，ε为公差阈值，κ₁为SKIP/Merge模式，κ₂为Inter 2N×2N模式，κ₃为Intra模式，κ₄为其他帧间模式。

3.根据权利要求1或2所述的基于贝叶斯决策定理的3D-HEVC快速深度编码方法，其特征在于，所述深度图树块的其他编码模式包括Inter 2N×2N模式、Intra模式和其他帧间模式。

4.根据权利要求1所述的基于贝叶斯决策定理的3D-HEVC快速深度编码方法，其特征在于，所述步骤S4中深度图树块的贝叶斯成本为：

其中，BC(η₁/y)为不分裂模式η₁的贝叶斯成本，BC(η₂/y)为分裂模式η₂的贝叶斯成本，E[·]为预期值，p(m₁)为CL₁的概率，p(m₂)为CL₂的概率，CL₁为非分裂CU错误选择分裂CU 的压缩效率的损失、CL₂为分裂CU错误选择非分裂CU的压缩效率的损失，η₁为不分裂模式，η₂为分裂模式，

为深度图树块y对应的模式η_τ的后验概率，τ∈{1,2}，p(η_τ)为模式η_τ的先验概率，p(y/η_τ)为模式η_τ的概率密度函数，p(y)为混合密度函数；p(x/η₁)表示深度图树块不分裂模式的概率密度函数，p(x/η₂)表示深度图树块分裂模式的概率密度函数。

5.根据权利要求4所述的基于贝叶斯决策定理的3D-HEVC快速深度编码方法，其特征在于，所述判断贝叶斯成本是否小于公差参数的判断方法为：

其中，χ为公差参数。

Images