CN106803962A - 基于贝叶斯准则的3d视频深度图帧内预测模式选择方法 - Google Patents

Abstract

本发明公开了一种基于贝叶斯准则的3D视频深度图帧内预测模式选择方法。步骤如下：首先由前若干已编码帧的帧内编码预测模式数据得到训练集，并用于训练贝叶斯二分类模型；然后将待编码帧给定PU的SDM模式的RD‑Cost值作为已训练好的分类器的输入特征，并将PU分为S₀和S₁两类；对于属于S₀的PU，单深度模式将是最终的最优帧内预测模式，且模式选择会提前终止；而对于属于S1的PU，编码器将进行传统的帧内模式选择。本发明有效地降低了深度图帧内预测编码的复杂度，减少了帧内预测所需的编码时间；并在提高编码速度的同时，保证了最终解码端合成视角的视频质量。

Description

基于贝叶斯准则的3D视频深度图帧内预测模式选择方法

技术领域

本发明属于视频编解码技术领域，具体涉及一种基于贝叶斯准则的3D视频深度图帧内预测模式选择方法。

背景技术

新兴的多视点加深度图的视频格式是下一代3D视频系统的最主要的格式。它采用少量视点的纹理图信息和附加的相应视点的深度图信息来表示一个3D视频场景，而更多的视点信息可由基于深度图像的3D渲染技术来合成出来。由于在当前的3D视频系统中，深度图对于提供视差信息并引导合成过程起着关键性的作用，所以编码深度图应当极为严谨。因此，在3D-HEVC中为深度帧内编码产生了一些新的技术，如单深度模式(SDM)、深度建模模式(DMM)、分段直流编码(SDC)和视图合成优化(VSO)。而这些工具与HEVC帧内编码模块一起协作编码时，深度图帧内编码的的复杂度急剧增加。基于这个现状，一种有效的深度图帧内预测模式的选择算法变得尤为重要。

文献“Park,C.S.:‘Edge-based intra mode selection for depth-map codingin 3D-HEVC’,IEEE Trans.on Imag.Proc.,2015,24(1),pp.155-162”提出了一种基于边缘的DMM跳过算法，有效地去除了传统HEVC帧内预测模式和DMMs之间的冗余。而在文献“Miok,K.,Nam,L.,and Li,S.:‘Fast single depth intra mode decision for depth mapcoding in 3D-HEVC’,Int.Conf.on ICMEW,Turin,Italian,June 2015,pp.1-6”中，Mirk M等人设计了一种快速算法，这种算法通过考虑方差和估计失真来提前确定四叉树编码结构。尽管如此，在现有的3D-HEVC技术里，深度图帧内预测编码所消耗的时间依旧很高。

现有的包含单深度模式(SDM)的深度图帧内模式选择算法有三个步骤：

步骤一：对于SDM，预测块通过直接复制相邻块(左中或上中)的模式到当前块中。编码器通过比较两个候选块的率失真(RD)代价来确定所选模式。

步骤二：传统最优模式(CIM)通过比较所有其他的候选模式的率失真(RD)代价来确定所选模式。这里的所有模式包括传统的HEVC帧内模式和DMMs模式。值得注意的是，所有候选模式在这一步都会被编码两次，并用来表示SDC残差信号和非SDC残差信号。

步骤三：步骤二中得到的最优模式将和步骤一中的SDM比较率失真(RD)代价，并由此得到最终的最佳帧内模式。

这里我们定义步骤一、二中的最小率失真代价(RD-Cost)为SDM_cost和CIM_cost，它们的计算方式如公式(3)所示。

由于SDM仅有两个候选模式，如表1所示，SDM相对于传统的帧内编码模式所耗时间约占2.55％。

表1选择SDM的PU的百分比以及SDM消耗的时间

通常，在深度图的平滑区域内，编码块CU选择SDM预测模式的占比极高。表1显示了在不同的量化参数下，约有36％，50％，60％和70％的PU选择SDM作为最佳帧内模式。而现有的编码技术并没有考虑到深度图帧内模式中SDM的高占比和低时耗的特点，换言之，现有的深度图帧内模式选择算法的复杂程度仍可以进一步地降低。

发明内容

本发明的目的在于提出一种基于贝叶斯准则的3D视频深度图帧内预测模式选择方法，在保证合成视角中视频质量的前提下，简化深度图像帧内预测模式选择的计算过程。

实现本发明目的的技术解决方案为：一种基于贝叶斯准则的3D视频深度图帧内预测模式选择方法，包括如下步骤：

步骤1：对于输入视频序列，判断当前编码帧是否为学习帧，如果是，则进行步骤2，如果不是，则跳至步骤3；

步骤2：进行模型学习过程，即用训练集数据训练贝叶斯分类模型，最后返回步骤1；

步骤3：将给定预测单元PU的SDM_cost作为输入数据输入到训练好的分类模型中，并得到模型输出分类结果S₀和S₁，SDM_cost表示单深度即SDM模式选择的最小率失真代价，S₀和S₁分别表示SDM模式和其他传统帧内模式；

步骤4：对S₀类，帧内模式选择过程只进行SDM模式选择；而对S₁类，帧内模式选择过程进行传统的帧内模式预测即CIM模式选择；

步骤5：判断当前编码块即CU是否为最后编码块，若是，则结束当前帧编码，若不是，则返回步骤3。

进一步地，步骤1中所述当前编码帧若为学习帧，则为步骤2提供的训练数据包括P(S₀)，P(S₁)，P(x|S₁)，P(x|S₀)，SDM_cost和CIM_cost；

P(S₀)、P(S₁)分别表示类别S₀、S₁的先验概率；x＝SDM_cost，P(x|S₁)、P(x|S₀)表示两种类别下的似然函数，计算方式如下：

其中i＝0或1，参数u_i和σ_i的计算方式如公式(2)，x_ki表示样本中Si类的k个CU的SDM_cost：

而SDM_cost和CIM_cost表示SDM模式选择和传统模式选择的最小率失真代价；

SDM_cost和CIM_cost的计算方式如下：

M_cost＝DIS_VSO+λ×Rate(M) (3)

其中，M_cost表示SDM_cost或CIM_cost；DIS_VSO是模式M的VSO的值，Rate(M)是模式M的比特率代价，λ是拉格朗日乘子。

进一步地，步骤2中所述用训练集数据训练贝叶斯分类模型，所要训练的贝叶斯分类模型Ψ是一个含惩罚因子的二分类模型，数学表达式如下：

其中，p(x|S₀)/p(x|S₁)为似然比，T为分类阈值；

针对上述二分类模型，采用步骤1中得到的训练集进行监督学习。

进一步地，所述分类阈值T由如下公式确定：

其中，惩罚因子F_0,1是针对错误分类情况S₁→S₀对模型进行的纠正，F_1,0是针对错误分类情况S₀→S₁对模型进行的纠正，计算方式如下：

其中，F_1,0的取值能够调整，取值越大，编码速度越快。

进一步地，步骤4所述对S₀类，帧内模式选择过程只进行SDM模式选择；而对S₁类，帧内模式选择过程进行传统的帧内模式预测即CIM模式选择，其中：

所述SDM模式选择，预测块通过直接复制相邻块的模式到当前块中，编码器通过比较左中或上中两个候选块的率失真RD代价来确定所选模式；

所述传统帧内模式预测即CIM模式选择，通过比较所有其他的候选模式的率失真RD代价来确定所选模式；这里所有其他的候选模式包括传统的HEVC帧内模式和DMMs模式，所有候选模式都会被编码两次，并用来表示SDC残差信号和非SDC残差信号。

本发明与现有技术相比，其显著优点在于：(1)利用SDM深度模式计算复杂度低和在深度图帧内编码占比高的特点，创造性的将所有编码预测块分为SDM块和其他块，并对SDM块提前结束深度图像帧内预测模式选择过程，大大降低了编码复杂度；(2)从系统角度出发优化贝叶斯风险来处理深度帧内编码模式决策问题；(3)利用对错误决策的RD性能表现和编码时间的惩罚因子设定分类器阈值，在降低复杂度的同时，保证了良好的编码性能。

附图说明

图1是本发明基于贝叶斯准则的3D视频深度图帧内预测模式选择方法的流程图。

具体实施方式

本发明基于贝叶斯准则的3D视频深度图帧内预测模式选择方法，PU的帧内模式选择被考虑为一个二分类器问题Ψ:S＝{S₀,S₁},其中Ψ是一个分类器，S₀和S₁分别表示SDM模式和其他传统帧内模式。而Ψ的动作集{α₀,α₁}也同样被定义了。如果一个给定的预测单元(PU)属于S₀，则执行α₀，即跳过步骤二的传统帧内模式选择。否则，执行α₁，即包括所有步骤的候选模式选择。

结合图1，上述方法具体包括如下步骤：

步骤1：对于输入视频序列，判断当前编码帧是否为学习帧(用为训练集)，如果是，则进行步骤2，如果不是，则跳至步骤3；

步骤2：进行模型学习过程，即用训练集数据训练贝叶斯分类模型，最后返回步骤1；

步骤3：将给定预测单元PU的SDM_cost作为输入数据输入到训练好的分类模型中，并得到模型输出分类结果S₀和S₁，SDM_cost表示单深度即SDM模式选择的最小率失真代价，S₀和S₁分别表示SDM模式和其他传统帧内模式；

步骤4：对S₀类，帧内模式选择过程只进行SDM模式选择。而对S₁类，帧内模式选择过程进行传统的帧内模式预测即CIM模式选择；

步骤5：判断当前编码块即CU是否为最后编码块，若是，则结束当前帧编码，若不是，则返回步骤3。

在上述步骤中，步骤1中所述当前编码帧若为学习帧，则为步骤2提供的训练数据包括P(S₀)，P(S₁)，P(x|S₁)，P(x|S₀)，SDM_cost和CIM_cost；

P(S₀)、P(S₁)分别表示类别S₀、S₁的先验概率；x＝SDM_cost，P(x|S₁)、P(x|S₀)表示两种类别下的似然函数，计算方式如下：

其中i＝0或1，参数u_i和σ_i的计算方式如公式(2)，x_ki表示样本中Si类的k个CU的SDM_cost：

而SDM_cost和CIM_cost表示SDM模式选择和传统模式选择的最小率失真代价；

SDM_cost和CIM_cost的计算方式如下：

M_cost＝DIS_VSO+λ×Rate(M) (3)

其中，M_cost表示SDM_cost或CIM_cost；DIS_VSO是模式M的VSO的值，Rate(M)是模式M的比特率代价，λ是拉格朗日乘子。

在上述步骤中，步骤2中所述用训练集数据训练贝叶斯分类模型，所要训练的贝叶斯分类模型Ψ是一个含惩罚因子的二分类模型，数学表达式如下：

其中，p(x|S₀)/p(x|S₁)为似然比，T为分类阈值；

所述分类阈值T由如下公式确定：

其中，惩罚因子F_0,1是针对错误分类情况S₁→S₀对模型进行的纠正，F_1,0是针对错误分类情况S₀→S₁对模型进行的纠正，计算方式如下：

其中，F_1,0的取值能够调整，取值越大，编码速度越快。

针对上述二分类模型，采用步骤1中得到的训练集进行监督学习(模型训练)。

在上述步骤中，步骤4中：

所述SDM模式选择，预测块通过直接复制相邻块的模式到当前块中，编码器通过比较左中或上中两个候选块的率失真RD代价来确定所选模式；

所述传统帧内模式预测即CIM模式选择，通过比较所有其他的候选模式的率失真RD代价来确定所选模式；这里所有其他的候选模式包括传统的HEVC帧内模式和DMMs模式，所有候选模式都会被编码两次，并用来表示SDC残差信号和非SDC残差信号。

下面通过实施例，对本发明的技术方案作进一步具体的说明。

实施例

本实施例基于贝叶斯分类器的3D视频深度图像帧内预测模式快速选择算法流程如图1所示，其步骤包括：

步骤1：对于输入视频序列，判断当前编码帧是否为学习帧(用为训练集)，如果是，则进行步骤2，如果不是，则跳至步骤3；

步骤2：进行模型学习过程，即用训练集数据训练贝叶斯分类模型。最后返回步骤1；

训练数据包括P(S₀)，P(S₁)，P(x|S₁)，P(x|S₀)，SDM_cost和CIM_cost。P(S₀)、P(S₁)分别表示类别S₀、S₁的先验概率。x＝SDM_cost，P(x|S₁)、P(x|S₀)表示两种类别的似然函数，其计算方式如公式(1)。而SDM_cost和CIM_cost表示SDM模式选择和CIM传统模式选择的最小率失真代价，SDM_cost和CIM_cost的计算方式如公式(3)。

所述贝叶斯分类模型是一个含惩罚因子的二分类模型，它的模型数学表达式如公式(4)。所述分类数学模型中，阈值T的计算方式如公式(5)，其中惩罚因子F_0,1和F_1,0分别是针对错误分类情况S₁→S₀和S₀→S₁而对模型进行的纠正。它们的计算方式如公式(6)。F_1,0由习惯决定，它的值越大，编码越快。针对这个二分类模型，我们用步骤一中得到的训练集进行监督学习(模型训练)。

步骤3：将给定PU的SDM_cost作为输入数据输入到训练好的分类模型中，并得到模型输出分类结果S₀和S₁；

步骤4：对S₀类，帧内模式选择过程只进行SDM模式选择。而对S₁类，帧内模式选择过程进行传统的最优帧内预测模式(CIM)选择；

所述SDM模式选择，预测块通过直接复制相邻块(左中或上中)的模式到当前块中。编码器通过比较两个候选块的率失真(RD)代价来确定所选模式。所述传统最优模式(CIM)，通过比较所有其他的候选模式的率失真(RD)代价来确定所选模式。这里的所有模式包括传统的HEVC帧内模式和DMMs模式。所有候选模式在这一步都会被编码两次，并用来表示SDC残差信号和非SDC残差信号。

步骤5：判断当前编码块(CU)是否为最后编码块，若是，则结束当前帧编码，若不是，则返回步骤3。

上述算法被集成到3D-HEVC测试模型(HTM13.0)编码器中。测试序列和参数配置参考文献“Mller,K.,and Vetro,A.:‘Common test conditions of 3DV coreexperiments’,ITU-T SG 16WP 3and ISO/IEC JTC 1/SC 29/WG 11JCT3V-G1100,January2014”中提出的标准。所有3个视点的帧都作为I帧被编码。文献“Park,C.S.:‘Edge-basedintra mode selection for depth-map coding in 3D-HEVC’,IEEE Trans.onImag.Proc.,2015,24(1),pp.155-162”和文献“Miok,K.,Nam,L.,and Li,S.:‘Fast singledepth intra mode decision for depth map coding in 3D-HEVC’,Int.Conf.on ICMEW,Turin,Italian,June 2015,pp.1-6”提出的快速算法将与本发明算法在同样的平台上进行比较。对于每个视频序列，前10帧将用来进行离线的分类器训练过程。

表2本发明算法和两文献中算法的结果对比

其具体实施步骤如下：

步骤1：对前10帧视频序列进行传统编码方式，并将编码预测模式数据(包括P(S₀)、P(S₁)、P(x|S₁)、P(x|S₀)、SDM_cost和CIM_cost)记录下来用于后续模型训练；

步骤2：用前10帧已编码训练集数据学习训练贝叶斯分类模型。所述贝叶斯模型表达式如公式(2)所示。

步骤3：将10帧以后的待编码帧中给定PU的SDM_cost作为输入数据输入到训练好的分类模型中，并得到模型输出分类结果S₀和S₁；

步骤4：对S₀类，帧内模式选择过程只进行SDM模式选择。而对S₁类，帧内模式选择过程进行传统的最优帧内预测模式(CIM)选择；

步骤5：返回步骤3；

表2给出了鉴于编码时间和BDBR(合成视点总比特率的BD-Rate，以及合成视点的PSNR)的编码性能比较。

本发明的算法可以节省约53％的时间，而相应的前两种对比快速算法仅仅能节省5％和30％的时间。这是因为第一个算法只关注降低DMM决策的复杂性。在第二个算法中，它使用方差和预估失真作为特征来提前决定编码树结构。而实际上，方差是一个不稳定的特征，尤其是在高QP的情况下，此时一些复杂的区域被直接当作单深度模式(SDM)来编码了。由于SDM只占用可以忽略的时间消耗，它是没有必要通过不准确的特征来提前确定编码结构的。此外，所有算法都稍有增加BDBR，而由于本发明加入了惩罚项，本发明提出的算法可以收获一个好一些的BD性能表现。因此，本文提出的算法明显优于现有的算法。

本发明不局限于权利要求和上述实施例所涉及的内容，只要是根据本发明的构思所创造出来的任何发明，都应归属于本发明的保护范围之内。

Claims (5)

1.一种基于贝叶斯准则的3D视频深度图帧内预测模式选择方法，其特征在于，包括如下步骤：

步骤1：对于输入视频序列，判断当前编码帧是否为学习帧，如果是，则进行步骤2，如果不是，则跳至步骤3；

步骤2：进行模型学习过程，即用训练集数据训练贝叶斯分类模型，最后返回步骤1；

步骤3：将给定预测单元PU的SDM_cost作为输入数据输入到训练好的分类模型中，并得到模型输出分类结果S₀和S₁，SDM_cost表示单深度即SDM模式选择的最小率失真代价，S₀和S₁分别表示SDM模式和其他传统帧内模式；

步骤4：对S₀类，帧内模式选择过程只进行SDM模式选择；而对S₁类，帧内模式选择过程进行传统的帧内模式预测即CIM模式选择；

步骤5：判断当前编码块即CU是否为最后编码块，若是，则结束当前帧编码，若不是，则返回步骤3。

2.如权利要求1所述的基于贝叶斯准则的3D视频深度图帧内预测模式选择方法，其特征在于，步骤1中所述当前编码帧若为学习帧，则为步骤2提供的训练数据包括P(S₀)，P(S₁)，P(x|S₁)，P(x|S₀)，SDM_cost和CIM_cost；

P(S₀)、P(S₁)分别表示类别S₀、S₁的先验概率；x＝SDM_cost，P(x|S₁)、P(x|S₀)表示两种类别下的似然函数，计算方式如下：

$P\left(x\right|S_i)=\frac{1}{2{\mathrm{\π\σ}}_i}\exp \[-\frac{1}{2}{\left(\frac{x-u_i}{{\mathrm{\σ}}_i}\right)}^2\]---\left(1\right)$

其中i＝0或1，参数u_i和σ_i的计算方式如公式(2)，x_ki表示样本中Si类的k个CU的SDM_cost：

${\hat{u}}_i=\frac{1}{n}\underset{k=1}{\overset{n}{\Σ}}{x}_{ki},{{\widehat{\mathrm{\σ}}}_i}^2=\frac{1}{n}\underset{k=1}{\overset{n}{\Σ}}{(x_k-\widehat{u_i})}^2---\left(2\right)$

而SDM_cost和CIM_cost表示SDM模式选择和传统模式选择的最小率失真代价；

SDM_cost和CIM_cost的计算方式如下：

M_cost＝DIS_VSO+λ×Rate(M) (3)

其中，M_cost表示SDM_cost或CIM_cost；DIS_VSO是模式M的VSO的值，Rate(M)是模式M的比特率代价，λ是拉格朗日乘子。

3.如权利要求1所述的基于贝叶斯准则的3D视频深度图帧内预测模式选择方法，其特征在于，步骤2中所述用训练集数据训练贝叶斯分类模型，所要训练的贝叶斯分类模型Ψ是一个含惩罚因子的二分类模型，数学表达式如下：

$\mathrm{\Ψ}=\left\{\begin{array}{cc}{S}_0,& if\left(p\right(x\left|S_0\right)/p\left(x\right|S_1)>T\\ S_1,& if\left(p\right(x\left|S_0\right)/p\left(x\right|S_1)\≤T\end{array}\right.---\left(4\right)$

其中，p(x|S₀)/p(x|S₁)为似然比，T为分类阈值；

针对上述二分类模型，采用步骤1中得到的训练集进行监督学习。

4.如权利要求3所述的基于贝叶斯准则的3D视频深度图帧内预测模式选择方法，其特征在于，所述分类阈值T由如下公式确定：

$T=\frac{F_{1,0}p\left(S_1\right)}{F_{0,1}p\left(S_0\right)}---\left(5\right)$

其中，惩罚因子F_0,1是针对错误分类情况S₁→S₀对模型进行的纠正，F_1,0是针对错误分类情况S₀→S₁对模型进行的纠正，计算方式如下：

$F_{0,1}=\frac{{\mathrm{SDM}}_{\cos t}-{\mathrm{CIM}}_{\cos t}}{{\mathrm{SDM}}_{\cos t}},F_{1,0}=1---\left(6\right)$

其中，F_1,0的取值能够调整，取值越大，编码速度越快。

5.如权利要求1所述的基于贝叶斯准则的3D视频深度图帧内预测模式选择方法，其特征在于，步骤4所述对S₀类，帧内模式选择过程只进行SDM模式选择；而对S₁类，帧内模式选择过程进行传统的帧内模式预测即CIM模式选择，其中：

所述SDM模式选择，预测块通过直接复制相邻块的模式到当前块中，编码器通过比较左中或上中两个候选块的率失真RD代价来确定所选模式；

所述传统帧内模式预测即CIM模式选择，通过比较所有其他的候选模式的率失真RD代价来确定所选模式；这里所有其他的候选模式包括传统的HEVC帧内模式和DMMs模式，所有候选模式都会被编码两次，并用来表示SDC残差信号和非SDC残差信号。