CN105635742A - 面向3d视频编码的基于深度增强的重采样方法 - Google Patents

Abstract

本发明涉及一种面向3D视频编码的基于深度增强的重采样方法。本发明方法对彩色视频按原始分辨率进行编码，对深度视频进行降分辨率编码；对深度视频编码前采用基于频率选择的方法对深度视频进行下采样，对解码后的深度视频，先采用预插值方法生成原始分辨率的深度视频，再采用基于深度图可信边缘引导的深度增强方法对深度视频进行上采样；最后对解码得到的彩色视频和上采样深度视频进行视点合成，得到所需的多视点视频。本发明方法减少了重采样的深度视频在3D视频编解码过程中的失真，保护了深度视频的边缘，提高了合成视点的质量。

Description

面向3D视频编码的基于深度增强的重采样方法

技术领域

本发明属于3D视频处理技术领域，尤其涉及一种面向3D视频编码的基于深度增强的重采样方法。

背景技术

随着3D视频技术的广泛应用，给人们带来了立体的视觉感受。然而，高质量的3D视频显示常常需要大量的多视点视频，其庞大的数据量在实际应用中难以实现。因此，多视点加深度视频是目前主要的3D视频格式，它由一些彩色视频及其对应的深度视频组成，可以运用视点合成技术获得其它虚拟的多视点视频，增加了视点数量的同时有效减少了3D视频的数据量。随着基于HEVC的多视点加深度视频编码标准3D-HEVC的正式发布，带来了3D视频的高效压缩编码。然而，随着高清和超高清视频的应用，用户数量的不断增加，庞大的3D视频数据量对于有限的存储容量和传输带宽来说构成了强大的挑战。深度图是由较大的平坦区域和锐利的边缘组成的灰度图，特别适合于作多分辨率的转换，从而提高3D视频编码的效率。因此，面向3D视频编码的深度重采样方法的研究对于提高3D视频的获取，压缩和显示技术具有重要的意义。

现有的面向3D视频编码的深度重采样方法，其深度下采样方法常用最近邻域下采样方法，双线性下采样方法或者双三次下采样方法。这些下采样方法的共同缺点是未能充分考虑深度图中的深度值的分布特点，容易导致重要深度信息的丢失。当重新对深度图上采样后，原有的深度信息难以恢复。而常用的深度上采样方法，采用匹配彩色图和深度图的边缘来对深度边缘插值，从而达到边缘保护的目的。这些方法的共同缺点是未充分考虑到彩色视频和深度视频在经过3D视频编解码后，彩色图的边缘和深度图的边缘往往不再相互对应，导致对深度图插值重建后物体的边缘被平滑，物体的形状发生失真，从而降低了上采样深度图的质量。因此，本发明提出了基于深度增强的重采样方法来提高深度图的质量。根据深度图的特点是物体内部的大部分区域的深度值是相似的，而仅在边缘有不同的深度值。本发明提出了基于频率选择的深度下采样方法，根据采样窗口内深度值出现的频率来对深度下采样，并根据这些深度值与采样窗口中心像素深度值的相似度来最终确定下采样的深度值。同时作深度上采样的时候，为了保护深度边缘，本发明提出了采用基于深度图可信边缘引导的深度增强方法。首先将深度图预插值，得到原始分辨率的深度图。然后将彩色图的边缘映射到其对应的上采样深度图中，得到深度图的可信边缘。接着结合彩色图和深度图空域和时域约束关系来构造实现深度增强的能量函数。该能量函数包含空域能量函数和时域能量函数。其中空域能量函数包含的平滑函数项是由深度图的可信边缘引导下定义的由彩色和空间相似性度量组成的能量约束函数。而时域能量函数则是由相邻两帧的彩色图相似性和深度图相似性度量组成的能量约束函数。最后对总的空时能量函数作最小化求解，得到最终的上采样深度图。本发明提出的上采样方法同时考虑了彩色图和深度图的空域和时域特征，因此能够很好地恢复原始分辨率的深度图，并保护深度的边缘。因此，本发明提出的基于频率选择的深度下采样方法和基于深度图可信边缘引导的深度增强的上采样方法，在深度重采样的过程中能够很好地保留和恢复深度图的边缘信息，因此在3D视频解码端能够合成高质量的多视点视频。

发明内容

本发明的目的是针对现有的面向3D视频编码的深度重采样方法的不足，提出了一种基于深度增强的重采样方法。

本发明方法对彩色视频按原始分辨率进行编码，对深度视频进行降分辨率编码。为了保留原始深度图的深度特征，采用基于频率选择的滤波方法对深度视频下采样。深度下采样方法是先把采样窗口内的像素以平均值为阈值，分为两个像素集合，选取大于窗口内一半总像素数目的集合为采样集合，并选择该集合内出现次数最多的与中心像素最相似的深度值为下采样深度值。

为了在深度上采样过程中保护原始分辨率的深度图的边缘，得到连续的边缘，对于深度视频上采样，首先通过邻域预插值生成初始的原始分辨率的深度图。然后检测彩色图的边缘图，在它的引导下得到其对应深度图的可信边缘。接着构造实现深度增强的空时能量约束函数。对于该函数中的空域能量函数，根据深度图像素与可信边缘像素的相对位置，定义不同的由彩色相似性和空间相似性度量的平滑函数。对于时域能量函数，它由相邻两帧的彩色图相似性以及由深度可信边缘引导的深度图相似性来度量。最后，采用常规的置信传播算法对整个空时能量函数作最小化求解得到增强后的上采样深度图。该深度图与解码后的彩色图用典型的基于深度图渲染算法进行视点合成，得到所需的多视点视频。

本发明包括编码方法和解码方法。

编码方法的具体步骤是：

步骤(1)、将彩色视频以原始分辨率进行编码，按编码配置文件的参考顺序输入编码器；

步骤(2)、将深度视频采用基于频率选择的滤波方法进行下采样，然后送入3D视频编码器；

步骤(3)、将彩色视频编码的比特流和深度视频编码的比特流按参考编码顺序合并后输出；

解码方法的具体步骤是：

步骤(Ⅰ)、将视频编码的比特流进行解码，按参考编码顺序输出为彩色视频和深度视频；

步骤(Ⅱ)、将解码的深度视频，采用基于深度图可信边缘引导的深度增强方法进行上采样，得到与原始视频相同尺寸的解码视频；

步骤(Ⅲ)、采用典型的基于深度图渲染算法将解码后的彩色视频和上采样深度视频进行视点合成，得到所需的多视点视频。

本发明有益效果如下：

(1)本发明可使用多级采样的方式实现不同缩放系数的深度重采样，即每一级采样可以实现缩放系数为2的深度重采样，因此多级采样就可以适用于不同缩放系数的深度重采样；(2)本发明提出的面向3D视频编码的深度下采样方法是选择采样窗口内与中心像素深度值最相似的出现频率最高的深度值作为下采样深度值，因此能够很好的保留原始深度图中的深度值；(3)本发明提出的面向3D视频编码的深度上采样方法,采用基于深度图可信边缘引导的深度增强方法。首先将深度图预插值，得到原始分辨率的深度图。然后将彩色图的边缘映射到其对应的预插值深度图中，得到深度图的可信边缘。接着结合彩色图和深度图空域和时域约束关系来构造实现深度增强的能量函数，根据预插值深度图的像素与深度图可信边缘的相对位置，定义了该能量函数的空域能量函数和时域能量函数。最后，采用置信传播算法对该空时能量函数作最小化求解，得到上采样的深度图。由于充分考虑了空域和时域中彩色图和深度图的相互对应和约束关系，本发明提出的上采样方法能够很好地恢复和保护深度图的边缘特征，从而提高合成视点的质量。

附图说明

图1为本发明中面向3D视频编码的深度重采样方法流程图；

图2为本发明中深度图预插值上采样方法的流程图；

图3为本发明中深度图可信边缘生成方法的示意图；

图4为本发明中基于深度图可信边缘引导的像素分类示意图；

图5为本发明中时域能量函数系数生成的示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的说明。

面向3D视频编码的基于深度增强的重采样方法，采用3D视频编码HTM模型，测试条件参考JCT-3V的通用测试条件(JCT3V-E1100)，使用HTM模型自带的2个视点的多视点编码(MV-HEVC)的配置文件baseCfg_2view.cfg,下采样和上采样的缩放系数s＝2。

具体实施步骤参照附图(1)～(4)。

3D视频的具体编码方法如图1所示：

步骤(1)、将彩色视频以原始分辨率进行编码，按编码配置文件的参考顺序输入3D-HEVC编码器。

步骤(2)、将深度视频采用基于频率选择的滤波方法进行下采样，然后送入3D-HEVC编码器。其步骤为：

a.求采样窗口w×w内像素深度的平均值:

$D_m=\frac{1}{w\×w}\underset{D_n(i,j)\∈w\×w}{\Σ}{D}_n(i,j)---\left(1\right)$

其中，w＝3，D_n(i,j)是采样窗口内的像素。

b.利用平均值D_m将D_n(i,j)划分为两个像素集合G_h,G_l:

$D_n(i,j)\∈\{\begin{array}{cc}{G}_h& \begin{array}{cc}if& D_n(i,j)>D_n\end{array}\\ G_l& otherwise\end{array}---\left(2\right)$

c.下采样点像素的深度值D_d(i,j)取值为:

$D_d(i,j)=\left\{\begin{array}{cc}{R}_{G_h}& \begin{array}{cc}if& L\left(G_h\right)>\frac{L}{2}\end{array}\\ R_{G_l}& otherwise\end{array}\right.---\left(3\right)$

其中，和分别表示像素集合G_h,G_l内的下采样深度值,L＝w×w表示窗口内所有像素的数目，L(G_h)表示集合G_h中的像素数目。由于从G_h中求解与从G_l中求解的步骤是一样的，这里我们统一称为从G中求解R_G，其步骤如下：

1)遍历集合G内的每个像素G_p，统计G内每个深度值k出现的次数N_k：

2)把所有的N_k从大到小的顺序排列：

N₁>N₂>…N_k(4)

3)记N₁和N₂对应的深度值为D₁和D₂，求D₁和D₂与采样窗口内的中心像素深度值D_p的绝对差值：

U₁＝|D₁-D_p|(5)

U₂＝|D₂-D_p|(6)

4)最后，下采样深度值R_G的值为：

$R_G=\{\begin{array}{cc}{D}_1& \begin{array}{cc}if& U_1<U_2\end{array}\\ D_2& otherwise\end{array}---\left(7\right)$

步骤(3)、将彩色视频编码的比特流和深度视频编码的比特流按参考编码顺序合并后输出。

3D视频的具体解码方法如图1所示：

步骤(Ⅰ)、对视频编码的比特流进行解码，按参考编码顺序输出为彩色视频和深度视频；

步骤(Ⅱ)、将解码的深度视频采用基于深度图可信边缘引导的深度增强方法进行上采样，得到与原始视频相同尺寸的解码视频。其具体步骤为：

①将解码的深度视频预插值，得到原始分辨率的上采样深度图，如图2所示。根据缩放系数为2，图2中的黑色圆圈代表水平方向和垂直方向的待插值像素，它们的深度值由其相邻的两个低分辨率像素的深度值的平均值来确定。图2中三角形代表对角线方向的待插值像素，它们的深度值由其相邻的八邻域像素深度值的中值来确定。最后得到了原始分辨率的预插值上采样深度图D^u。

②确定深度图的可信边缘如图3所示，其生成的方法为：首先使用Canny算子检测深度图所对应的彩色图，设定其分割阈值区间为[40,130],得到彩色图的边缘B^c，将B^c中的边缘像素p∈B^c投影到深度图得到对应的边缘像素p∈B^d，考查p与其八邻域像素q的深度值关系，由下式确定深度图的可信边缘:

$D_p^r=\left\{\begin{array}{cc}1& \begin{array}{ccc}if& \frac{|D_p-\underset{q\&Element;N_8\left(p\right)}{max}{D}_q|+|D_p-\underset{q\&Element;N_8\left(p\right)}{\min }{D}_q|}{2}>t_r,& p\&Element;B^d\end{array}\\ 0& otherwise\end{array}\right.---\left(8\right)$

其中，t_r为指定阈值，优选t_r＝4。

③构造基于深度图可信边缘引导的深度增强的能量函数：

$D=\underset{D}{\arg \min }\{{\mathrm{\&alpha;E}}_{spatial}\left(D\right)+(1-\mathrm{\&alpha;})E_{temporal}\left(D\right)\}---\left(9\right)$

其中，α为比例系数，优选α＝0.2，E_spatial(D)是空域能量函数，定义为：

$E_{spatial}\left(D\right)=\underset{p\&Element;\mathrm{\&Omega;}}{\&Sigma;}{(D_p-D_p^u)}^2+E_{smooth}(D_p,D_q)---\left(10\right)$

其中，是像素点p通过步骤①得到的预插值深度图的像素深度值，Ω表示原始分辨率图像网格的像素集合，邻域平滑函数E_smooth(D_p,D_q)分为3种情况，如图4所示：

1)当p属于深度图的可信边缘时，采用其八邻域像素N₈(p)的平滑函数：

$E_{smooth}(D_p,D_q)=\underset{p\&Element;D_p^r}{\&Sigma;}\underset{q\&Element;N_8\left(p\right)}{\&Sigma;}\&lsqb;\exp (-\frac{\underset{k=1}{\overset{3}{\&Sigma;}}{(C_p^k-C_q^k)}^2}{3\&times;2{\mathrm{\&sigma;}}_{sc}^2})\exp (-\frac{{(p-q)}^2}{2{\mathrm{\&sigma;}}_{sp}^2})\&rsqb;{(D_p-D_q)}^2---\left(11\right)$

其中，和分别是像素p和q的彩色分量，D_p和D_q分别是像素p和q的深度值。

2)当p的任意八邻域像素N₈(p)位于深度图的可信边缘时，采用其八邻域像素q中的最小平滑函数：

$\begin{array}{c}{E}_{smooth}(D_p,D_q)=\underset{N_8\left(p\right)\&Element;D_p^r}{\&Sigma;}\&lsqb;\exp (-\frac{\underset{k=1}{\overset{3}{\&Sigma;}}{(C_p^k-C_q^k)}^2}{3\&times;2{\mathrm{\&sigma;}}_{sc}^2})\exp (-\frac{{(p-q)}^2}{2{\mathrm{\&sigma;}}_{sp}^2})\&rsqb;{(D_p,D_q)}^2\\ whereq=\underset{j}{\arg \min }\left\{\exp (-\frac{\underset{k=1}{\overset{3}{\&Sigma;}}{(C_p^k-C_j^k)}^2}{3\&times;2{\mathrm{\&sigma;}}_{sc}^2})\exp (-\frac{{(p-j)}^2}{2{\mathrm{\&sigma;}}_{sp}^2})\right\},j\&Element;N_8\left(p\right)\end{array}---\left(12\right)$

3)当p属于其余像素集合Θ时，采用其四邻域像素N₄(p)的平滑函数：

$E_{smooth}(D_p,D_q)=\underset{p\&Element;\mathrm{\&Theta;}}{\&Sigma;}\underset{q\&Element;N_4\left(p\right)}{\&Sigma;}\&lsqb;\exp (-\frac{\underset{k=1}{\overset{3}{\&Sigma;}}{(C_p^k-C_q^k)}^2}{3\&times;2{\mathrm{\&sigma;}}_{sc}^2})\exp (-\frac{{(p-q)}^2}{2{\mathrm{\&sigma;}}_{sp}^2})\&rsqb;{(D_p-D_q)}^2---\left(13\right)$

设置式(12)～(14)中的σ_sc和σ_sp为平滑参数，优选值为：σ_sc＝0.04和σ_sp＝1。此外，时域能量函数E_temporal(D)定义为：

$E_{temporal}\left(D\right)=\underset{p\&Element;\mathrm{\&Omega;}}{\&Sigma;}{\mathrm{\&omega;}}_t(p_t,p_{t-1}){(D_p^t-D_p^{t-1})}^2---\left(14\right)$

其中，是帧f_t中的像素p_t的深度值，是帧f_t-1中对应位置像素p_t-1的深度值，时域权重系数定义如图5所示，其计算式为：

ω_t(p_t,p_t-1)＝ω_tc(p_t,p_t-1)ω_td(p_t,p_t-1)，(15)

其中，时域彩色相似系数计算为：

${\mathrm{\&omega;}}_{tc}(p_t,p_{t-1})=\exp (-\frac{\underset{k=1}{\overset{3}{\&Sigma;}}{\left(C_p^k\right(t)-C_p^k(t-1\left)\right)}^2}{3\&times;2{\mathrm{\&sigma;}}_{tc}^2})---\left(16\right)$

式中，是帧f_t中的像素p_t的彩色分量，是帧f_t-1中对应位置像素p_t-1的彩色分量，σ_tc为平滑参数，优选为σ_tc＝0.04。

时域深度相似系数计算为：

${\mathrm{\&omega;}}_{td}(p_t,p_{t-1})=\stackrel{\&OverBar;}{D_p^r\left(t\right)\&CirclePlus;D_p^r(t-1)}---\left(17\right)$

式中，帧f_t的深度可信边缘和帧f_t-1的深度可信边缘进行异或运算后，再作取反运算。

④采用典型的置信传播算法对步骤③得到的式(9)进行最小化求解，得到最终的上采样深度图D。

步骤(Ⅲ)、采用典型的基于深度图渲染算法将解码后的彩色视频和上采样的深度视频进行视点合成，得到所需的多视点视频。

Claims (4)

1.面向3D视频编码的基于深度增强的重采样方法，其特征在于：该方法对彩色视频按原始分辨率进行编码，对深度视频进行降分辨率编码；编码端采用基于频率选择的滤波方法对深度视频下采样；解码端采用基于深度图可信边缘引导的深度增强方法对深度视频上采样；最后对解码得到的彩色视频和上采样深度视频进行视点合成，得到所需的多视点视频；

编码方法的具体步骤是：

步骤(1)、将彩色视频以原始分辨率进行编码，按编码配置文件的参考顺序输入编码器；

步骤(2)、将深度视频采用基于频率选择的滤波方法进行下采样，然后送入3D视频编码器；

步骤(3)、将彩色视频编码的比特流和深度视频编码的比特流按参考编码顺序合并后输出；

解码方法的具体步骤是：

步骤(4)、将视频编码的比特流进行解码，按参考编码顺序输出为彩色视频和深度视频；

步骤(5)、将解码的深度视频采用基于深度图可信边缘引导的深度增强方法进行上采样，得到与原始视频相同尺寸的解码视频；

步骤(6)、将解码后的彩色视频和上采样的深度视频进行视点合成，得到所需的多视点视频。

2.如权利要求1所述的面向3D视频编码的基于深度增强的重采样方法，其特征在于步骤(6)所述的视点合成采用典型的基于深度图渲染方法。

3.如权利要求1所述的面向3D视频编码的基于深度增强的重采样方法，其特征在于步骤(2)所述的将深度视频采用基于频率选择的滤波方法进行下采样，具体步骤如下：

a.求采样窗口w×w内像素深度的平均值:

$D_m=\frac{1}{w\&times;w}\underset{D_n(i,j)\&Element;w\&times;w}{\&Sigma;}{D}_n(i,j)---\left(1\right)$

其中，w为窗口边长，D_n(i,j)是采样窗口内的像素；

b.利用平均值D_m将D_n(i,j)划分为两个像素集合G_h,G_l:

$D_n(i,j)\&Element;\left\{\begin{array}{cc}{G}_h& if{D}_n(i,j)>D_m\\ G_l& otherwise\end{array}\right.---\left(2\right)$

c.下采样点像素的深度值D_d(i,j)取值为:

$D_d(i,j)=\left\{\begin{array}{cc}{R}_{G_h}& ifL\left(G_h\right)>\frac{L}{2}\\ R_{G_l}& otherwise\end{array}\right.---\left(3\right)$

其中，和分别表示像素集合G_h,G_l内的下采样深度值,L＝w×w表示窗口内所有像素的数目，L(G_h)表示集合G_h中的像素数目；由于从G_h中求解与从G_l中求解的步骤是一样的，故统一称为从G中求解R_G，其步骤如下：

1)遍历集合G内的每个像素G_p，统计G内每个深度值k出现的次数N_k：

2)把所有的N_k从大到小的顺序排列：

N₁>N₂>…N_k(4)

3)记N₁和N₂对应的深度值为D₁和D₂，求D₁和D₂与采样窗口内的中心像素深度值D_p的绝对差值：

U₁＝|D₁-D_p|(5)

U₂＝|D₂-D_p|(6)

4)最后，下采样深度值R_G的值为：

$R_G=\left\{\begin{array}{cc}{D}_1& if{U}_1<U_2\\ D_2& otherwise\end{array}\right.---\left(7\right).$

4.如权利要求1所述的面向3D视频编码的基于深度增强的重采样方法，其特征在于步骤(5)中所述的采用基于深度图可信边缘引导的深度增强方法进行上采样，具体步骤如下：

①将解码的深度视频预插值，得到原始分辨率的上采样深度图；首先，水平方向和垂直方向的待插值像素的深度值由其相邻的两个低分辨率像素的深度值的平均值来确定；其次对角线方向的待插值像素的深度值由其相邻的八邻域像素深度值的中值来确定；最后得到原始分辨率的预插值上采样深度图D^u；

②确定深度图的可信边缘其生成的方法为：首先使用Canny算子检测深度图所对应的彩色图，得到彩色图的边缘B^c，将B^c中的边缘像素p∈B^c投影到深度图得到对应的边缘像素p∈B^d，考查p与其八邻域像素q的深度值关系，由下式确定深度图的可信边缘:

$D_p^r=\left\{\begin{array}{ccc}1& if\frac{|D_p-\underset{q\&Element;N_8\left(p\right)}{max}{D}_q|+|D_p-\underset{q\&Element;N_8\left(p\right)}{\min }{D}_q|}{2}>t_r,& p\&Element;B^d\\ 0& otherwise& \end{array}\right.---\left(8\right)$

其中，t_r是指定阈值；

③构造基于深度图可信边缘引导的深度增强的能量函数：

$D=\underset{D}{\mathrm{argmin}}\{{\mathrm{\&alpha;E}}_{spatial}\left(D\right)+(1-\mathrm{\&alpha;})E_{temporal}\left(D\right)\}---\left(9\right)$

其中，α是比例系数，E_spatial(D)是空域能量函数，定义为：

$E_{spatial}\left(D\right)=\underset{p\&Element;\mathrm{\&Omega;}}{\&Sigma;}{(D_p-D_p^u)}^2+E_{smooth}(D_p,D_q)---\left(10\right)$

其中，是像素点p通过步骤①得到的预插值深度图的像素深度值，Ω表示原始分辨率图像网格的像素集合，邻域平滑函数E_smooth(D_p,D_q)分为3种情况定义：

1)当p属于深度图的可信边缘时，采用其八邻域像素N₈(p)的平滑函数：

$E_{smooth}(D_p,D_q)=\underset{p\&Element;{\mathrm{\&Omega;}}_p^r}{\&Sigma;}\underset{p\&Element;N_8\left(p\right)}{\&Sigma;}\&lsqb;\exp (-\frac{\underset{k=1}{\overset{3}{\mathrm{\&Sigma;}}}{(C_p^k-C_q^k)}^2}{3\&times;{\mathrm{\&sigma;}}_{sc}^2})\exp (-\frac{{(p-q)}^2}{2{\mathrm{\&sigma;}}_{sp}^2})\&rsqb;{(D_p-D_q)}^2---\left(11\right)$

其中，和分别是像素p和q的彩色分量，D_p和D_q分别是像素p和q的深度值；

2)当p的任意八邻域像素N₈(p)位于深度图的可信边缘时，采用其八邻域像素q中的最小平滑函数：

$E_{smooth}(D_p,D_q)=\underset{N_8\left(p\right)\&Element;D_p^r}{\&Sigma;}\&lsqb;\exp (-\frac{\underset{k=1}{\overset{3}{\mathrm{\&Sigma;}}}{(C_p^k-C_q^k)}^2}{3\&times;2{\mathrm{\&sigma;}}_{sc}^2})\exp (-\frac{{(p-q)}^2}{2{\mathrm{\&sigma;}}_{sp}^2})\&rsqb;{(D_p-D_q)}^2$

(12)

$whereq=\underset{j}{\arg \min }\left\{\exp (-\frac{\underset{k=1}{\overset{3}{\mathrm{\&Sigma;}}}{(C_p^k-C_j^k)}^2}{3\&times;2{\mathrm{\&sigma;}}_{sc}^2})\exp (-\frac{{(p-j)}^2}{2{\mathrm{\&sigma;}}_{sp}^2})\right\},j\&Element;N_8\left(p\right)$

3)当p属于其余像素集合Θ时，采用其四邻域像素N₄(p)的平滑函数：

$E_{smooth}(D_p,D_q)=\underset{p\&Element;\mathrm{\&Theta;}}{\&Sigma;}\underset{q\&Element;N_4\left(p\right)}{\&Sigma;}\&lsqb;\exp (-\frac{\underset{k=1}{\overset{3}{\&Sigma;}}{(C_p^k-C_q^k)}^2}{3\&times;2{\mathrm{\&sigma;}}_{sc}^2})\exp (-\frac{{(p-q)}^2}{2{\mathrm{\&sigma;}}_{sp}^2})\&rsqb;{(D_p-D_q)}^2---\left(13\right)$

其中，σ_sc和σ_sp是平滑参数；时域能量函数E_temporal(D)定义为：

$E_{temporal}\left(D\right)=\underset{p\&Element;\mathrm{\&Omega;}}{\&Sigma;}{\mathrm{\&omega;}}_t(p_t,p_{t-1}){(D_p^t-D_p^{t-1})}^2---\left(14\right)$

其中，是帧f_t中的像素p_t的深度值，是帧f_t-1中对应位置像素p_t-1的深度值，时域权重系数定义为：

ω_t(p_t,p_t-1)＝ω_tc(p_t,p_t-1)ω_td(p_t,p_t-1)，(15)

其中，时域彩色相似系数计算为：

${\mathrm{\&omega;}}_{tc}(p_t,p_{t-1})=\exp (-\frac{\underset{k=1}{\overset{3}{\&Sigma;}}{\left(C_p^k\right(t)-C_p^k(t-1\left)\right)}^2}{3\&times;2{\mathrm{\&sigma;}}_{tc}^2})---\left(16\right)$

式中，是帧f_t中的像素p_t的彩色分量，是帧f_t-1中对应位置像素p_t-1的彩色分量，σ_tc是平滑参数；

时域深度相似系数计算为：

${\mathrm{\&omega;}}_{td}(p_t,p_{t-1})=\stackrel{\&OverBar;}{D_p^r\left(t\right)\&CirclePlus;D_p^r(t-1)}---\left(17\right)$

式中，帧f_t的深度可信边缘和帧f_t-1的深度可信边缘进行异或运算后，再作取反运算；

④采用典型的置信传播算法对步骤③得到的式(9)进行最小化求解，得到最终的上采样深度图D。