CN103702098B - 一种时空域联合约束的三视点立体视频深度提取方法 - Google Patents

Abstract

本发明提供一种时空域联合约束的三视点立体视频深度提取方法，针对中心视点图像，利用从左右视点图像寻找最佳匹配点；利用BP算法和平面融合方法优化基于能量函数的视差估计过程；利用三视图视差和遮挡信息迭代优化；利用光流法构建相邻帧时域视差约束关系，定义了光流法置信度，抑制了视差序列时域跳变；利用二项式亚像素估计和联合双边滤波，消除由于视差值量化带来的错误，并获取亚像素精度的视差；所求视差经量化后得到最终的深度序列。与仅利用单帧进行约束相比，本发明寻找多参考帧光流，能够很好地避免空域错误在时域上的传播。因此，本发明能够通过三视点图像来求取时空域上均连续且准确的深度图像序列。

Description

一种时空域联合约束的三视点立体视频深度提取方法

技术领域

本发明涉及的是一种立体视频深度提取技术领域的方法，具体是一种利用时空域联合约束提取三视点立体视频深度信息的方法。

背景技术

深度图像由于包含场景立体结构信息，在计算机视觉领域，被广泛的应用于三维建模（3DModeling）、图像层次分割（LayerSeparation）、基于深度图像的绘制（DepthImageBasedRendering）及视频编缉（VideoEditing）等。针对立体图像，应用对应点匹配等技术可以得到立体图像的视差信息，通过所提取视差的量化得到立体图像对应的深度信息。因此，深度信息提取作为计算机视觉的一个重要基础和基本课题，已经被进行了广泛并且深入的研究。一般来说，视差估计将受到遮挡、匹配歧义性（同质区域）、重复性纹理、色彩异常值等因素的影响，使得其成为一个十分具有挑战性的课题。根据立体匹配策略的不同，视差估计大致可以分为两类方法：局部的方法和全局的方法。局部的方法主要根据某像素的邻域特征（局部结构特征）来寻找匹配点，如（SAD，MAD等），该类方法考虑到了像素的结构信息，对色彩异常不敏感，但对同质区域，重复性纹理等结构的鲁棒性较差。近年来，全局的方法取得了更为满意的结果。该类方法通过在马尔科夫随机场（MarkovRandomField）上定义立体匹配能量函数，并利用比较流行的优化算法如置信传播（BeliefPropagation）或图割（GraphCuts）等来进行优化。

经过对现有技术文献的检索发现，JianSun等于2005年在《ComputerVisionandPatternRecognition（计算机视觉与模式识别）》上发表的“SymmetricStereoMatchingforOcclusionHandling（基于对称立体匹配的遮挡估计）”中提出了对称立体匹配模型。通过迭代地利用深度信息更新遮挡信息、利用遮挡信息更新深度信息，能够较鲁棒的估计出遮挡区域。然而相对于三视点立体图像，由于其采用两视点的策略，本身缺少遮挡区域信息，因此，遮挡区域的深度信息不能得到很好地估计。

又经检索发现，GuofengZhang等于2009年在《IEEETransactiononPatternAnalysisandMachineLearning（IEEE模式分析与机器学习期刊）》上发表的“ConsistentDepthMapsRecoveryfromaVideoSequence（基于视频序列的连续深度图像估计）”中提出了捆绑优化（BundleOptimization）深度序列提取方法。该方法利用了空间上的一致性约束，使得深度序列在时域上稳定。由于他们的方法是针对视频序列，因此当输入的视点数量较少时，该方法的效果将下降。因此，该方法被限制于静止场景的深度估计，并且要求摄像机有足够的运动。

发明内容

针对现有技术中的缺陷，本发明的目的在于提出一种基于空间域与时间域联合约束的三视点深度图像序列提取方法。该方法通过平面约束、空间域约束与时间域约束，利用置信传播算法在马尔科夫随机场上优化约束后的能量函数，进行视差图与遮挡区域的迭代优化，由三视点图像来求取时空域上均连续且准确的深度图像序列，可广泛应用于3D节目制作、图像分割、视频编缉和虚拟现实等领域。

本发明是通过以下技术方案实现的，本发明针对中心视点图像，利用从左右视点图像寻找最佳匹配点，以保证视差图初始化对遮挡区域的鲁棒性；利用BP算法和平面融合方法优化基于能量函数的视差估计过程，以保持所估计视差对平面分割错误的鲁棒性；利用三视图视差和遮挡信息迭代优化，减小能量函数陷入局部极小值的可能性，提高了视差估计精度；利用光流法构建相邻帧时域视差约束关系，定义了光流法置信度，抑制了视差序列时域跳变，保证了最终结果对光流法错误保持鲁棒；利用二项式亚像素估计和联合双边滤波，消除由于视差值量化带来的错误，并获取亚像素精度的视差；所求视差经量化后得到最终的深度序列。

所述方法，具体包括以下步骤：

第一步，中间视点视差图像初始化。对于t时刻中间视点图像I_t,C，求取其初始匹配能量分布，利用BP算法优化能量函数，并加入Meanshift图像分割对视差估计加入平面约束，求得对应的视差图像

所述求取初始匹配能量分布，包括以下步骤：

1）对于中间视点图像I_t,C中像素x_c=(x,y)和给定视差d_x，其在右视点图像I_t,R中的对应像素为x_R=(x,y-d_x)。定义匹配代价函数为：

${\mathrm{Cost}}_{C,R}(x_C,d_x)=\mathrm{\τ}\·\frac{|I_{t,C}\left(x_C\right)-I_{t,R}\left(x_R\right)|}{3}+(1-\mathrm{\τ})\·C_{\mathrm{census}}(I_{t,C}\left(x_C\right),I_{t,R}\left(x_R\right))$

其中第一项表示x_c与x_R的RGB绝对值之差的平均值。所述C_census(I_t,C(x_C),I_t,R(x_R))表示x_c与x_R的局部结构相似性。

对于C_census(I_t,C(x_C),I_t,R(x_R))，以像素x_c为例，如图2所示，首先将彩色RBG图像转换为灰度图像，转换公式为Gray=0.299×R+0.587×G+0.114*B，然后将灰度信息转换为结构信息。具体方式是将x_c与其5×5邻域像素比较大小，若邻域像素比x_c灰度值大，则将其置1，否则置0，据此得到一个25bit的二进制串。最后，C_census(I_t,C(x_C),I_t,R(x_R))表示两个二进制串的汉明（Hamming）距离。

所述的τ为加权因子，取值范围是：[0.3,0.7]。

中间视点像素x_c在左视点图像I_t,L中的对应像素为x_L=(x,y+d_x)，Cost_C,L(x_C,d_x)具有与Cost_C,R(x_C,d_x)相似的定义。

2）定义初始能量函数为：

$\begin{array}{c}{E}_{t,C}^{\mathrm{init}}(D_{t,C};{\mathrm{Cost}}_{C,R},{\mathrm{Cost}}_{C,L})={\mathrm{\Σ}}_{x_c}\min (\mathrm{\ρ}\left({\mathrm{Cost}}_{C,R}(x_C,d_x)\right),\mathrm{\ρ}\left({\mathrm{Cost}}_{C,L}(x_C,d_x)\right))+\\ E_{t,C}^s\left(x_C\right)---\left(1\right)\end{array}$

其中，ρ(C)=-ln((1-e_d)exp(-C/σ_d)+e_d)，是一个对于噪声鲁棒的截断函数，是便于使用BP算法优化的平滑项函数，其定义为：

$E_{t,C}^s\left(x_C\right)={\mathrm{\Σ}}_{x_c}{\mathrm{\Σ}}_{y_c\∈N\left(x_c\right)}{\mathrm{\ω}}_s\·\mathrm{\λ}(x_C,y_C)\·\min \left(\right|D_{t,C}\left(x_C\right)-D_{t,C}\left(y_C\right)|,{\mathrm{\η}}_s)$

其中，λ(x_C,y_C)=ε/(ε+||I_t,C(x_C)-I_t,C(y_C)||₂)，N(x_c)表示像素x_c的邻域，‖·‖₂为2范数。最后，利用BP算法优化能量函数（1），得到初始视差图

所述的ω_s取值范围是：[0.1,0.4]，e_d的取值是0.01，σ_d的取值是4.0，η_s的取值是2，ε的取值范围是[5.0,15.0]。

所述加入Meanshift图像分割实现平面约束，得到平面约束后的视差图像包括以下步骤：

a）利用Meanshift对中间视点图像I_t,C进行图像分割，得到图像平面的分割结果 $S_{t,C}^i(i=1,..,I).$

b）对于分割得到的每个平面利用视差图中与该区域对应的初始视差值，将其拟合为空间中的3D平面，即：对于平面及其深度值由d_x=a_ix+b_iy+c_i给出，其中[a_ib_ic_i]为3D平面系数方程。

所述的拟合过程如下：

[4]对于由BP算法优化后的视差图首先假设对应的3D平面与成像面平行，即假设a_i=0，b_i=0，由与区域对应的计算出最小化能量即公式（1）的c_i，并记录该区域能量值。

[5]假设对应的3D平面与成像面相交，利用最小二乘法计算出该3D平面系数。利用平面系数计算出拟合平面的每个像素视差值d′_x。对于3D平面中每个像素，计算其在[d′_x-m,d′_x+m]范围内对应能量函数（1）式的最小代价视差，

其中，d′_x为利用当前3D平面系数所计算出的像素x的视差值，m为以d′_x为中心的搜索范围，据此更新得到新的3D拟合平面，并进行最小二乘计算更新3D平面系数，重复此过程直到3D平面系数收敛。最后计算对应其余平面能量。所述m的取值范围为[2,5]。

[6]当[2]中拟合平面满足条件Condition时，利用[2]中所算3D平面系数更新平面内像素点对应视差，否则，利用[1]中所计算的3D平面系数更新平面内各像素点的视差，得到更新后的视差图像

所述条件Condition为：i.[2]中平面能量小于[1]中平面能量。

ii.拟合平面内点率InlierRatio大于η_r。

所述η_r的取值范围为[0.3,0.6]。所述内点率InlierRatio为：

$\mathrm{InlierRatio}=\frac{{\mathrm{\Σ}}_{x_c\∈S_{t,C}^i}f\left(\right|a_{i}x+b_{i}y+c_i-D_{t,C}\left(x_c\right)\left|\right)}{\mathrm{sum}(x_c\∈S_{t,C}^i)}$

所述函数f(|a_ix+b_iy+c_i-D_t,C(x_c)|)为：

$f\left(x\right)=\left\{\begin{array}{c}1,\mathrm{ifx}<(d_{\max }-d_{\min })/40\\ 0,\mathrm{otherwise}\end{array}\right.$

其中，d_min为视差范围最小值，d_max为视差范围最大值。所述表示区域内像素个数。

第二步，利用得到的视差图像进行视差D_t,C与遮挡区域的迭代更新。

所述的迭代更新，包括以下步骤：

1）根据第一步提取的视差计算左右视图的遮挡信息。

所述遮挡信息计算过程是：利用投影中间视点到左右两个视点，投影后出现的孔洞定义为该视点在中间视点的遮挡信息。例如，右视图在中间视图的遮挡区域表示为一个二进制图像O_R,C(x_R)，其中O_R,C(x_R)=1表示右视图中x_R像素点在中间视图可见，O_R,C(x_R)=0表示为右视图中x_R像素点在中间视图不可见。O_L,C(x_L)具有相同的定义。

2）修改初始匹配代价函数为：

${\mathrm{Cost}}_{C,R}^v(x_C,d_x)={\mathrm{Cost}}_{C,R}(x_C,d_x)+p_v\&CenterDot;O_{R,C}\left(x_R\right)$

具有相似的定义。

所述p_v取值为4.0。

3）定义中间视图在左右视图的遮挡区域为O_C，R，O_C,L。其中O_C,R(x_R)=1表示中间视图中x_C像素点在右视图可见，O_C,R(x_R)=0表示中间视图中x_C像素点在右视图不可见。O_C,R(x_L)具有相同的定义。利用已知视差求取O_C,R，O_C,L。遮挡区域O_C,R，O_C,L的能量函数定义如下：

$E_{t,C}^{d,v}(O_{C,L},O_{C,R};D_{t,C})={\mathrm{\&Sigma;}}_{x_C}(O_{C,L}\left(x_C\right)O_{C,R}\left(x_C\right)\&CenterDot;\mathrm{\&beta;}+(1-O_{C,R}\left(x_C\right))(1+O_{C,L}\left(x_C\right)).$

$\mathrm{\&rho;}\left({\mathrm{Cost}}_{C,R}^v(x_c,D_{t,C}\left(x_C\right))\right)(1-O_{C,L}\left(x_C\right))(1+O_{C,R}\left(x_C\right))\&CenterDot;\mathrm{\&rho;}\left({\mathrm{Cost}}_{C,L}^v(x_C,D_{t,C}\left(x_C\right))\right))$

所述β取值为3.5。其中ρ(C)=-ln((1-e_d)exp(-C/σ_d)+e_d)，是一个对于噪声鲁棒的截断函数。

4）计算中间视图遮挡初始信息W_L(x_C)，W_R(x_C)。

所述计算过程如下：

对于给定视差D_t,C，将x_C映射到x_L。对于映射到同一个x_L的x_C，将其按照其视差大小（包含正负号）排序，具有最大视差的x_C将视为未遮挡（W_L(x_C)=0），而其余的将视为遮挡（W_L(x_C)=1）。W_R(x_C)的计算过程类似。

5）对于O_C,L与O_C,R违反W_L(x_C)与W_R(x_C)的惩罚函数为：

$P_{t,C}(O_{C,L},O_{C,R};W_L,W_R)={\mathrm{\&Sigma;}}_{x_C}{\mathrm{\&beta;}}_{\mathrm{\&omega;}}\left(\right|O_{C,L}\left(x_C\right)-E_L\left(x_C\right)|+|O_{C,R}\left(x_C\right)-W_R\left(x_C\right)\left|\right)$

所述β_ω的取值为1.5。

6）最终中间视图的遮挡图像能量函数定义为：

$\begin{array}{c}{E}_O(O_{C,L},O_{C,R};D_{t,C})={\mathrm{\&Sigma;}}_{x_C}{E}_{t,C}^{d,v}+P_{t,C}+{\mathrm{\&Sigma;}}_{y_c\&Element;N\left(x_c\right)}{\mathrm{\&beta;}}_o\&CenterDot;\left(\right|O_{C,L}\left(x_C\right)-O_{C,L}\left(y_C\right)|+\\ |O_{C,R}\left(x_C\right)-O_{C,R}\left(y_C\right)|)---\left(2\right)\end{array}$

其中第三项为遮挡区域的平滑项函数。

所述β_O的取值为10.0。

7）利用BP算法优化遮挡图像能量函数（2），得到中间视图遮挡图像O_C，L，O_C,R。

8）根据1）-7）过程得到的中间视图遮挡图像O_C,L，O_C,R，中间视图的匹配能量函数定义为：

$\begin{array}{c}{E}_{t,C}^{d,v}(D_{t,C};{\mathrm{Cost}}_{C,R}^v,{\mathrm{Cost}}_{C,L}^v)={\mathrm{\&Sigma;}}_{x_C}u\left(x_C\right)\&CenterDot;\left(O_{C,L}\left(x_C\right)O_{C,R}\right)\left(x_C\right)\mathrm{\&beta;}+(1-O_{C,R}\left(x_C\right))(1+\\ O_{C,L}\left(x_C\right))\&CenterDot;\mathrm{\&rho;}\left({\mathrm{Cost}}_{C,R}^v(x_C,d_x)\right)+(1-O_{C,L}\left(x_C\right))(1+O_{C,R}\left(x_C\right))\&CenterDot;\mathrm{\&rho;}\left({\mathrm{Cost}}_{C,L}^v(x_C,d_x)\right))+\\ E_{t,C}^s\left(x_C\right)---\left(3\right)\end{array}$

其中p(C)=-ln((1-e_d)exp(-C/σ_d)+e_d)，是一个对于噪声鲁棒的截断函数。β是为了防止遮挡图像中所有像素都被估计为遮挡区域而引入的惩罚项，实验中取值为10.0。

9）利用BP算法优化匹配能量函数（3），重新得到修正后的初始视差图像

10）基于多参数的Meanshift平面融合。

所述平面融合，是指：

为了保证本发明对Meanshift分割错误的鲁棒性，利用改变Meanshift分割参数，获取多个分割结果（5-6个）。因此，每一个像素可获得多个潜在视差值（Candidate），最后，利用这些潜在视差值再次优化匹配能量函数（3），得到该步骤的最终视差图像

11）重复1）-10）步骤1-2次，不断更新遮挡信息，O_C，L，O_C,R，O_R,C和O_L,C以及视差

12）利用最新遮挡信息，实现左右视差图D_t,R和D_t,L的初始化。

所述左右视差图初始化，是：

右视图的匹配代价函数为：

${\mathrm{Cost}}_{R,C}^v(x_R,d_x)={\mathrm{Cost}}_{R,C}(x_R,d_x)+{\mathrm{\&rho;}}_v\&CenterDot;O_{C,R}\left(x_C\right)$

右视图的相应的能量函数为：

$E_{t.R}^{d,v}\left(D_{t,R}\right)={\mathrm{\&Sigma;}}_{x_C}(O_{R,C}\left(X_R\right)\&CenterDot;\mathrm{\&beta;}+(1-O_{R,C}\left(x_R\right))\&CenterDot;\mathrm{\&rho;}\left({\mathrm{Cost}}_{R,C}^v(x_R,d_x)\right)+E_{t,R}^s\left(x_R\right)---\left(4\right)$

利用BP算法优化能量函数（4），获取右视差图左视差图的求取过程类似。最后，利用多参数Meanshift平面融合计算左右视差图

第三步，利用三个视差图所应满足的空间一致性约束进一步修正能量函数并进行迭代优化。所述空间一致性是：如，右图的某像素x_R所映射到的中间视图x_C应具有与其相同的视差值。

所述的空间约束迭代优化，包括以下步骤：

1）在引入空间一致性约束后，中间视图和右视图的匹配代价函数定义为：

${\mathrm{Cost}}_{C,R}^{v,s}(x_C,d_x)={\mathrm{Cost}}_{C,R}^v(x_C,d_x)+{\mathrm{\&rho;}}_v\&CenterDot;\min (s\&CenterDot;|d_x-D_{t,R}^{\mathrm{plane}\&prime;}\left(x_R\right)|,T_S)$

所述s的取值为30/(d_min-d_max),T_s取值为4.0。具有相似的定义。通过用和替换公式（3）中的和中间视图的匹配能量函数修改为：

$E_{t,C}^{d,v,s}(D_{t,C};{\mathrm{Cost}}_{C,R}^{v,S},{\mathrm{Cost}}_{C,L}^{v,s})=E_{t,C}^{d,v}(D_{t,C};{\mathrm{Cost}}_{C,R}^{v,s},{\mathrm{Cost}}_{C,L}^v)---\left(5\right)$

最后，利用BP算法优化函数（5）求取中间视差图

2）利用得到的中间视差图将能量函数（2）修改为：

$\begin{array}{c}{E}_O(O_{C,L},O_{C,R};D_{t,C}^{\mathrm{spatial}})={\mathrm{\&Sigma;}}_{x_C}{E}_{t,C}^{d,v,s}+P_{t,C}+{\mathrm{\&Sigma;}}_{y_c\&Element;N\left(x_c\right)}{\mathrm{\&beta;}}_o\&CenterDot;\left(\right|O_{C,L}\left(x_C\right)-O_{C,L}\left(y_C\right)|+\\ |O_{C,R}\left(x_C\right)-O_{C,R}\left(y_C\right)|)---\left(6\right)\end{array}$

利用BP算法优化函数（6），得到更新后的O_C,L，O_C,R，并且再次通过映射中间视点更新O_R,C和O_L,C。

3）利用得到的遮挡信息，修改右视点的匹配代价函数为：

${\mathrm{Cost}}_{R,C}^{v,s}(x_R,d_x)={\mathrm{Cost}}_{R,C}^v(x_R,d_x)+{\mathrm{\&rho;}}_v\&CenterDot;\min (s\&CenterDot;|d_x-D_{t,C}^{\mathrm{spatial}}\left(x_C\right)|,T_S)$

修改右视点的能量函数为：

$\begin{array}{c}{E}_{t,R}^{d,v}\left(D_{t,R}^{\mathrm{spatial}}\right)={\mathrm{\&Sigma;}}_{x_C}(O_{R,C}\left(x_R\right)\&CenterDot;\mathrm{\&beta;}+(1-O_{R,C}\left(x_R\right))\&CenterDot;\mathrm{\&rho;}\left({\mathrm{Cost}}_{R,C}^{v.s}(x_R,d_x)\right))+E_{t,R}^s\left(x_R\right)\\ ---\left(7\right)\end{array}$

通过BP算法优化公式（7）得到更新后的右视点视差左视点视差的求取过程与右视点类似。

4）重复1）-3）步骤1-2次，不断更新遮挡信息和各个视点视差，最终得到空间域上一致的三个视差和

第四步，利用视差图在时域上满足的时域一致性约束修正能量函数并进行优化，消除时域上各帧对应视差间的抖动。

所述时域一致性，是：在时域上对应的匹配点指向同一个空间点，即时域上应具有平滑变化的深度信息。

所述的时域一致性优化，包括以下步骤：

1）求取从第t帧到第t′帧的光流即：第t帧内的像素x在第t′帧的对应点可由 $x^{\&prime;}=x+P_{I_t,I_{t^{\&prime;}}}\left(x\right)$ 算出。

2）光流法置信度定义为：

$C_{t,t^{\&prime;}}\left(x\right)=\exp (-\frac{\left|\right|x-x^{\&prime;\&prime;}\left|\right|}{{\mathrm{\&sigma;}}_r})\&CenterDot;\exp (-\frac{\left|\right|I_t\left(x\right)-I_{t^{\&prime;}}\left(x^{\&prime;}\right)\left|\right|}{{\mathrm{\&sigma;}}_c})$

其中，x′′是x′反向投影到第t帧的像素位置。||x-x′′||表示两个像素在图像上的欧氏距离，||I_t(x)-I_t′(x′)||表示像素的RGB值之差的2范数。所述σ_r的取值为5，σ_c的取值为10。

3）考虑到从第t帧到第t′帧的时域一致性约束的匹配代价函数定义为：

$\begin{array}{c}{\mathrm{Cost}}_C^{\mathrm{tem}}(x_C,d_x)=\min ({\mathrm{Cost}}_{C,R}(x_C,d_x),{\mathrm{Cost}}_{C,L}(x_C,d_x))+p_t\&CenterDot;{\mathrm{\&Sigma;}}_{t^{\&prime;}}{C}_{t,t^{\&prime;}}\left(x_c\right)\&CenterDot;\min (s\&CenterDot;\\ {|d_x-D_{t^{\&prime;},C}^{\mathrm{spatial}}\left(x_c^{\&prime;}\right)|}^2,T_t)\end{array}$

所述的p_t取值为1，T_t取值为9。定义的能量函数为：

$E_{t.C}^{\mathrm{tem}}\left(D_{t,C}\right)={\mathrm{\&Sigma;}}_{x_c}\mathrm{\&rho;}\left({\mathrm{Cost}}_C^{\mathrm{tem}}\right)+E_{t,C}^s\left(x_C\right)---\left(8\right)$

利用BP算法优化函数（8），得到时空域均一致的深度图像

第五步，利用二项式亚像素估计与联合双边滤波消除由视差图量化引起的误差。

与现有技术相比，本发明具有如下的有益效果：

本发明能够生成时域和空间域均一致的三视点视差序列。本发明的第二步、第三步和第四步即在一个统一的框架内，考虑遮挡信息更新和时空域一致性约束，并在一个有效的迭代更新框架内进行优化求解，减少能量函数陷入局部极小值的情况。与现有技术中仅利用单个平面分割结果相比，通过利用多参数的平面分割结果，本发明对于分割错误具有鲁棒性；本发明的光流置信度定义，使得在时域约束优化时对光流错误保持鲁棒。与现有大部分技术仅利用单帧进行约束相比，本发明寻找多参考帧光流，能够很好的避免空域错误导致视差错误在时域的传播。

本发明得到的深度序列准确、且能够保持时域上的稳定性，具有较强的应用价值，可广泛应用于3D虚拟视点生成、基于深度的图像分割、3D视频编缉和虚拟现实等领域。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1基于时空域一致性约束的三视点深度估计框图；

图2Census局部结构信息图示；

图3平面拟合过程示意图；

图4Middlebury图像库实验结果；

图5Middlebury图像库实验结果各阶段错误视差率；

图6MPEG序列Balloon各阶段实验结果；

图7MPEG序列Newspaper时域约束结果。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。

如图1所示，本发明的三视点深度序列估计方法包括中间视点视差图的初始化，视差图及遮挡图像迭代更新，左右视差图像初始化，时空域约束以及亚像素估计这几个部分。

第一步，对于中间视点图像I_t,L，求取其初始匹配能量分布，利用BP算法优化能量函数，并加入Meanshift图像分割实现平面约束，求得深度图像D_t,L。

中间视点深度图像初始化过程如下：

1）计算初始能量分布

对于中间视点图像I_t,C像素x_c=(x,y)和给定视差d_x，其在右视点图像的对应像素x_R为x_R=(x,y-d_x)，因此，匹配代价为：

${\mathrm{Cost}}_{C,R}(x_C,d_x)=\mathrm{\&tau;}\&CenterDot;\frac{|I_{t,C}\left(x_C\right)-I_{t,R}\left(x_R\right)|}{3}+(1-\mathrm{\&tau;})\&CenterDot;C_{\mathrm{census}}(I_{t,C}\left(x_C\right),I_{t,R}\left(x_R\right))$

其中第一项表示x_c与x_R的RGB绝对值之差的平均值，第二项C_census(I_t，C(x_C)，I_t，R(x_R))表示x_c与x_R的局部结构相似性。对于C_census(I_t,C(x_C)I_t,R(x_R))，以像素x_c为例，如图2所示，首先将彩色RBG图像转换为灰度图像，转换公式为Gray=0.299xR+0.587xG+0.114×B然后将灰度信息转换为结构信息。具体方式是将x_c与其5×5邻域像素比较大小，若邻域像素比x_c灰度值大，则将其置1，否则置0，据此得到一个25bit的二进制串。最后，C_census(I_t，C(x_C)，I_t，R(x_R))表示两个二进制串的汉明（Hamming）距离。

一般来说，τ取值范围是：[0.3,0.7]o其在左视点图像I_t,L中的对应像素为X_L＝(x，y+d_x),Cost_C，L(x_C，d_x)具有与COSt_C，R(X_C，d_x)相似的定义。

2）定义初始能量函数

初始能量函数定义为：

$\begin{array}{c}{E}_{t,C}^{\mathrm{init}}(D_{t,C};{\mathrm{Cost}}_{C,R},{\mathrm{Cost}}_{C,L})={\mathrm{\&Sigma;}}_{x_c}\min (\mathrm{\&rho;}\left({\mathrm{Cost}}_{C,R}(x_C,d_x)\right),\mathrm{\&rho;}\left({\mathrm{Cost}}_{C,L}(x_C,d_x)\right))+\\ E_{t,C}^s\left(x_C\right)---\left(1\right)\end{array}$

其中P(C)=-ln((1-e_d)exp(-C/σ_d)+e_d)，是一个对于噪声鲁棒的截断函数，是便于使用BP算法优化的平滑项函数，其定义为：

$E_{t,C}^s\left(x_C\right)={\mathrm{\&Sigma;}}_{x_c}{\mathrm{\&Sigma;}}_{y_c\&Element;N\left(x_c\right)}{\mathrm{\&omega;}}_s\&CenterDot;\mathrm{\&lambda;}(x_C,y_C)\&CenterDot;\min \left(\right|D_{t,C}\left(x_C\right)-D_{t,C}\left(y_C\right)|,{\mathrm{\&eta;}}_s)$

其中，λ(x_C，y_C)=ε/(ε+||I_t,C(x_C)-I_t,C(y_C)||₂)，N(x_c)表示像素x_c的邻域，‖·||₂为2范数。最后，利用BP算法优化能量函数（1），得到初始视差图

ω_s取值范围是：[0.1,0.4]，e_d的取值是0.01，σ_d的取值是4.0，η_s的取值是2，ε的取值范围是[5.0,15.0]。

3）BP优化

公式（1）中第一项为数据项，通常表示为D_d(f_p)，代表定义像素点p的标签（此处为视差）为f_p的代价，第二项为平滑项，表示为D_s(f_p,f_q)，代表将两个相邻像素点p和q的标签分别定义为f_p和f_q的代价，BP算法是通过消息的传递来实现的。定义为在第i次迭代中节点p传递给乡邻节点q的消息。每个消息都是个维的向量。中每个元素的计算如下：

$m_{\mathrm{pq}}^i\left(f_q\right)={\min }_{f_p}(D_d\left(f_p\right)+D_s(f_p,f_q)+\underset{s\&Element;N\left(p\right)\backslash q}{\mathrm{\&Sigma;}}{m}_{\mathrm{sp}}^{i-1}\left(f_p\right))$

式中N(p)表示像素p的邻域。s是邻域中不包括q的点。在具体求解时，对于每个可能的f_q，分别计算在每个f_p下的消息值，然后取由所有f_p求得消息中最小的赋给相应的因此，在计算中需要两重循环。

在T次（实验中T取值为3-6次）迭代后，对每个像素计算置信向量b_q(f_q)，每个置信向量也是d_max-d_min维的。计算如下：

$b_q\left(f_q\right)=D_d\left(f_q\right)+\underset{p\&Element;N\left(q\right)}{\mathrm{\&Sigma;}}{m}_{\mathrm{pq}}^T\left(f_q\right))$

最后对每个像素，在所有b_q(f_q)中找出使b_q最小的分量对应的即为该像素的视差值。即为该像素对应于的能量值。

4）基于Meanshift图像分割的平面约束

（a）利用Meanshift对I_t，C进行图像分割，得到分割结果其中，I是分割平面数量。

（b）对于分割得到的每个平面利用中与该区域对应的初始视差值，将其拟合为空间中的3D平面，即：对于平面及其深度值由d_x＝a_ix+b_iy+c_i给出，其中[a_ib_ic_i]为3D平面系数方程。所述的拟合过程如下：

[1]对于由BP算法优化后的视差图首先假设对应的3D平面与成像面平行，即假设a_i＝0，b_i=0，由与区域对应的计算出最小化能量即公式（1）的c_i，并记录该区域能量值。

[2]假设对应的3D平面与成像面相交，利用最小二乘法计算出该3D平面系数。利用平均系数计算出拟合平面d′_x。对于拟合3D平面中每个像素，计算其在[d′_x-m，d′_x+m]范围内的最小代价视差，据此更新得到新的3D拟合平面，并进行最小二乘计算更新3D平面系数，重复此过程直到3D平面系数收敛。最后计算对应其余平面能量。

所述m的取值范围为[2,5]。

[3]当[2]中拟合平面满足条件Condition时，利用[2]中所算3D平面系数更新平面内像素点对应视差，否则，利用[1]中所计算的3D平面系数更新平面内各像素点的视差，得到更新后的视差图像

所述条件Condition为：I.平面能量小于[1]中平面能量。

II.拟合平面内点率InlierRatio大于η_r。

所述η_r的取值范围为[0.3,0.6]。所述内点率InlierRatio为：

$\mathrm{InlierRatio}=\frac{{\mathrm{\&Sigma;}}_{x_c\&Element;S_{t,C}^i}f\left(\right|a_{i}x+b_{i}y+c_i-D_{t,C}\left(x_c\right)\left|\right)}{\mathrm{sum}(x_c\&Element;S_{t,C}^i)}$

所述函数f(|a_ix+b_iy+c_i-D_t，C(x_c)|)为：

$f\left(x\right)=\left\{\begin{array}{c}1,\mathrm{ifx}<(d_{\max }-d_{\min })/40\\ 0,\mathrm{otherwise}\end{array}\right.$

所述表示区域内像素个数。

第二步，利用得到的初始视差图，进行视差与遮挡区域的迭代更新。视差与遮挡的迭代更新具体实现如下：

1）根据第一步提取的视差图像计算左右视图的遮挡信息。

遮挡信息计算过程是：利用投影中间视点到左右两个视点，投影后出现的孔洞即位该视点在中间视点的遮挡信息。例如，右视图在中间视图的遮挡区域表示为一个二进制图像O_R,C(X_R),其中O_R，C(X_R)＝1表示右视图在中间视图可见，O_R,C(X_R)=0表示为右视图在中间视图不可见。O_L，C(x_L)具有相同的定义。

2）修改初始匹配代价函数为：

${\mathrm{Cost}}_{C,R}^v(x_C,d_x)={\mathrm{Cost}}_{C,R}(x_C,d_x)+{\mathrm{\&rho;}}_v\&CenterDot;O_{R,C}\left(x_R\right)$

具有相似的定义。

所述p_v取值为4.0。

3）利用已知视差，求取中间视图在左右视图的遮挡区域O_C，R，O_C，L。其中O_C，R(X_R)＝1表示中间视图中x_C像素点在右视图可见，O_C,R(X_R)=0表示中间视图中x_C像素点在右视图不可见。O_C,R(X_L)具有相同的定义。遮挡区域O_C,R，O_C,L的能量函数定义如下：：

$E_{t,C}^{d,v}(O_{C,L}{O}_{C,R};D_{t,C})={\mathrm{\&Sigma;}}_{x_C}(O_{C,L}\left(x_C\right)O_{C,R}\left(x_C\right)\&CenterDot;\mathrm{\&beta;}+(1-O_{C,R}\left(x_C\right))(1+O_{C,L}\left(x_C\right)).$

$\mathrm{\&rho;}\left({\mathrm{Cost}}_{C,R}^v(x_C,D_{t,C}\left(x_C\right))\right)(1-O_{C,L}\left(x_C\right))(1+O_{C,R}\left(x_C\right))\&CenterDot;\mathrm{\&rho;}\left({\mathrm{Cost}}_{C,L}^v(x_C,D_{t,C}\left(x_C\right))\right))$

所述β取值为3.5。其中P(C)=-ln((1-e_d)exp(-C/σ_d)+e_d)，是一个对于噪声鲁棒的截断函数。β是为了防止遮挡图像中所有像素都被估计为遮挡区域而引入的惩罚项，实验中取值为10.0。

4）计算中间视图遮挡初始信息W_L(X_C),W_R(X_C)。

具体计算过程如下：

对于给定视差将x_C映射到x_L，对于映射到同一个x_L的x_C，将其按照其视差大小（包含正负号）排序，具有最大视差的x_C将视为未遮挡（W_L(x_C)=0），而其余的将视为遮挡（W_L(x_C)=1）。W_R(x_C)的计算过程类似。

5）对于O_C,L与O_C,R违反W_L(x_C)与W_R(x_C)的惩罚函数为：

$P_{t,C}(O_{C,L},O_{C,R};W_L,W_R)={\mathrm{\&Sigma;}}_{x_C}{\mathrm{\&beta;}}_{\mathrm{\&omega;}}\left(\right|O_{C,L}\left(x_C\right)-W_L\left(x_C\right)|+|O_{C,R}\left(x_C\right)-W_R\left(x_C\right)\left|\right)$

所述β_ω的取值为1.5。

6）最终中间视图的遮挡图像能量函数定义为：

$\begin{array}{c}{E}_O(O_{C,L},O_{C,R};D_{t,C})={\mathrm{\&Sigma;}}_{x_C}{E}_{t,C}^{d,v}+P_{t,C}+{\mathrm{\&Sigma;}}_{y_c\&Element;N\left(x_c\right)}{\mathrm{\&beta;}}_o\&CenterDot;\left(\right|O_{C,L}\left(x_C\right)-O_{C,L}\left(y_C\right)|+\\ |O_{C,R}\left(x_C\right)-O_{C,R}\left(y_C\right)|)---\left(2\right)\end{array}$

其中第三项为遮挡区域的平滑项函数。其中P_t,C是引入的惩罚项，即O_C,L(x_C)与O_C,R的初始参考图像。

所述β_O的取值为10.0。

7）利用BP算法优化能量函数即公式（2），得到中间视图遮挡图像O_C,L，O_C,R。

8）根据1）-7）过程得到的中间视图遮挡图像，中间视图的匹配能量函数定义为：

$\begin{array}{c}{E}_{t,C}^{d,v}(D_{t,C};{\mathrm{Cost}}_{C,R}^v,{\mathrm{Cost}}_{C,L}^v)={\mathrm{\&Sigma;}}_{x_C}u\left(x_C\right)\&CenterDot;\left(O_{C,L}\left(x_C\right)O_{C,R}\right)\left(x_C\right)\mathrm{\&beta;}+(1-O_{C,R}\left(x_C\right))(1+\\ O_{C,L}\left(x_C\right))\&CenterDot;\mathrm{\&rho;}\left({\mathrm{Cost}}_{C,R}^v(x_C,d_x)\right)+(1-O_{C,L}\left(x_C\right))(1+O_{C,R}\left(x_C\right))\&CenterDot;\mathrm{\&rho;}\left({\mathrm{Cost}}_{C,L}^v(x_C,d_x)\right))+\\ E_{t,C}^s\left(x_C\right)---\left(3\right)\end{array}$

9）利用BP算法优化匹配能量函数（3），重新得到修正后的初始视差图像

10）基于多参数的Meanshift平面融合

平面融合技术具体实现如下：

为了保证本发明对Meanshift分割错误的鲁棒性，利用改变Meanshift分割参数，获取n多个分割结果（5-6个）。因此，每一个像素可获得n个潜在视差值（Candidate），最后，利用这些潜在视差值再次优化能量函数即公式（3），得到该步骤的最终视差图像此处应注意利用BP优化时，标签值不再是属于[d_min，d_max]的所有视差值，而是由n个分割结果拟合出的n个潜在视差值，n的取值范围为[3,6]。

11）重复1）-10）步骤1-2次，不断更新遮挡信息，O_C,L，O_C,R，O_R,C和O_L,C以及视差图像

12）利用最新遮挡信息，实现左右视差图和的初始化。

左右视差图初始化具体实现如下：

右视图的匹配代价函数为：

${\mathrm{Cost}}_{R,C}^v(x_R,d_x)={\mathrm{Cost}}_{R,C}(x_R,d_x)+p_v\&CenterDot;O_{C,R}\left(x_C\right)$

右视图的相应的能量函数为：

$E_{t,R}^{d,v}\left(D_{t,R}\right)={\mathrm{\&Sigma;}}_{x_C}(O_{R,C}\left(x_R\right)\&CenterDot;\mathrm{\&beta;}+(1-O_{R,C}\left(x_R\right))\&CenterDot;\mathrm{\&rho;}\left({\mathrm{Cost}}_{R,C}^v(x_R,d_x)\right)+E_{t,R}^s\left(x_R\right)---\left(4\right)$

利用BP算法优化能量函数（4），获取右视差图左视差图的求取过程类似。最后，利用多参数Meanshift平面融合计算左右视差图

第三步，利用三个视差图所应满足的空间一致性约束进一步修正能量函数并进行迭代优化。所述空间一致性是：如，右图的某像素x_R所映射到的中间视图x_C应具有与其相同的视差值。

空间约束迭代优化具体实现如下：

1）在引入空间一致性约束后，中间视图和右视图的匹配代价函数定义为：

${\mathrm{Cost}}_{C,R}^{v,s}(x_C,d_x)={\mathrm{Cost}}_{C,R}^v(x_C,d_x)+{\mathrm{\&rho;}}_v\&CenterDot;\min (s\&CenterDot;|d_x-D_{t,R}^{\mathrm{plane}\&prime;}\left(x_R\right)|,T_S)$

所述s的取值为30/(d_min-d_max),d_min为视差最小值，d_max为视差最大值。T_s取值为4.0。具有相似的定义。通过用和替换（3）中的和中间视图的匹配能量函数修改为：

$E_{t,C}^{d,v,s}(D_{t,C};{\mathrm{Cost}}_{C,R}^{v,S},{\mathrm{Cost}}_{C,L}^{v,s})=E_{t,C}^{d,v}(D_{t,C};{\mathrm{Cost}}_{C,R}^{v,s},{\mathrm{Cost}}_{C,L}^v)---\left(5\right)$

最后，利用BP算法优化函数（5）求取中间视差图

2）利用得到的中间视差图将能量函数（2）修改为：

$\begin{array}{c}{E}_O(O_{C,L},O_{C,R};D_{t,C}^{\mathrm{spatial}})={\mathrm{\&Sigma;}}_{x_C}{E}_{t,C}^{d,v,s}+P_{t,C}+{\mathrm{\&Sigma;}}_{y_c\&Element;N\left(x_c\right)}{\mathrm{\&beta;}}_o\&CenterDot;\\ \left(\right|O_{C,L}\left(x_C\right)-O_{C,L}\left(y_C\right)|+|O_{C,R}\left(x_C\right)-O_{C,R}\left(y_C\right)\left|\right)\end{array}---\left(6\right)$

利用BP算法优化函数（6），得到更新后的O_C,L，O_C,R，并且再次通过映射中间视点更新O_R,C和O_L,C。

3）利用得到的遮挡信息，修改右视点的匹配代价函数为：

${\mathrm{Cost}}_{R,C}^{v,s}(x_R,d_x)={\mathrm{Cost}}_{R,C}^v(x_R,d_x)+p_v\&CenterDot;\min (s\&CenterDot;|d_x-D_{t,C}^{\mathrm{spatial}}\left(x_C\right)|,T_s)$

修改右视点的能量函数为：

$\begin{array}{c}{E}_{t,R}^{d,v}\left(D_{t,R}^{\mathrm{spatial}}\right)={\mathrm{\&Sigma;}}_{x_C}(O_{R,C}\left(x_R\right)\&CenterDot;\mathrm{\&beta;}+(1-O_{R,C}\left(x_R\right))\&CenterDot;\mathrm{\&rho;}\left({\mathrm{Cost}}_{R,C}^{v.s}(x_R,d_x)\right)+E_{t,R}^s\left(x_R\right)---\left(7\right)\end{array}$

通过BP算法优化（7）得到更新后的右视点视差左视点视差的求取过程与右视点类似。

4）重复1）-3）步骤1-2次，不断更新遮挡信息和各个视点视差，最终得到空间域上一致的三个视差和

第四步，利用视差图在时域上满足的时域一致性约束修正能量函数并进行优化，消除抖动。所述时域一致性，是：在时域上对应的匹配点指向同一个空间点，即应具有平滑变化的深度信息。

所述的时域一致性优化，包括以下步骤：

1）求取从第t帧到第t′帧的光流即：第t帧内的像素x在第t′帧的对应点可由 $x^{\&prime;}=x+P_{I_t,I_{t^{\&prime;}}}\left(x\right)$ 算出。

2）光流法置信度定义为：

$C_{t,t^{\&prime;}}\left(x\right)=\exp (-\frac{\left|\right|x-x^{\&prime;\&prime;}\left|\right|}{{\mathrm{\&sigma;}}_r})\&CenterDot;\exp (-\frac{\left|\right|I_t\left(x\right)-I_{t^{\&prime;}}\left(x^{\&prime;}\right)\left|\right|}{{\mathrm{\&sigma;}}_c})$

其中，x′′是x′反向投影到第t帧的像素位置。||x-x′′||表示两个像素在图像上的欧氏距离，||I_t(x)-I_t′(x′)||表示像素的RGB值之差的2范数。所述σ_r的取值为5，σ_c的取值为10。

3）考虑到从第t帧到第t′帧的时域一致性约束的匹配代价函数定义为：

$\begin{array}{c}{\mathrm{Cost}}_C^{\mathrm{tem}}(x_C,d_x)=\min ({\mathrm{Cost}}_{C,R}(x_C,d_x),{\mathrm{Cost}}_{C,L}(x_C,d_x))+\\ p_t\&CenterDot;{\mathrm{\&Sigma;}}_{t^{\&prime;}}{C}_{t,t^{\&prime;}}\left(x_c\right)\&CenterDot;\min (s\&CenterDot;{|d_x-D_{t^{\&prime;},C}^{\mathrm{spatial}}\left(x_c^{\&prime;}\right)|}^2,T_t)\end{array}$

所述的p_t取值为1，T_t取值为9。定义的能量函数为：

$E_{t.C}^{\mathrm{tem}}\left(D_{t,C}^{\mathrm{tem}}\right)={\mathrm{\&Sigma;}}_{x_c}\mathrm{\&rho;}\left({\mathrm{Cost}}_C^{\mathrm{tem}}\right)+E_{t,C}^s\left(x_C\right)---\left(8\right)$

利用BP算法优化函数（8），得到时空域均一致的深度图像

第五步，利用二项式亚像素估计与联合双边滤波消除由视差图量化引起的误差。

二项式亚像素估计与联合双边滤波的具体实现如下：

利用二次函数近似像素q的能量函数分布，即：

b_q(x)=ax²+bx+C

因此，对于由第四步得到的深度图像D_t,C，对于像素q，其深度值d_q的能量为b_q(b_q)。亚像素视差值可由下式计算出：

$d_q^{\mathrm{sub}}=d_q-\frac{b_q\left(d_q^{+}\right)-b_q\left(d_q^{-}\right)}{2\&times;(b_q\left(d_q^{+}\right)+b_q\left(d_q^{-}\right)-2\&times;b_q\left(d_q\right))}$

其中，最后，对亚像素深度图像进行基于深度和颜色的联合双边滤波：

$d_q^{\mathrm{final}}=\frac{1}{Z\left(q\right)}\underset{p\&Element;N\left(q\right)}{\mathrm{\&Sigma;}}{e}^{-\frac{|I_{t,C}\left(q\right)-I_{t,C}\left(p\right)|}{3\&times;{\mathrm{\&sigma;}}_{\mathrm{color}}}}\&times;e^{-\frac{|d_q^{\mathrm{sub}}-d_p^{\mathrm{sub}}|}{{\mathrm{\&sigma;}}_{\mathrm{disparity}}}}\&times;d_p^{\mathrm{sub}}$

其中，z(q)为归一化因子： $Z\left(q\right)={\mathrm{\&Sigma;}}_{p\&Element;N\left(q\right)}{e}^{-\frac{I_{t,C}\left(q\right)-I_{t,C}\left(p\right)|}{3\&times;{\mathrm{\&sigma;}}_{\mathrm{color}}}}\&times;e^{-\frac{|d_q^{\mathrm{sub}}-d_p^{\mathrm{sub}}|}{{\mathrm{\&sigma;}}_{\mathrm{disparity}}}},$ σ_color取值为2，σ_disparity取值为2，N(p)表示像素p的邻域。

利用Middlebury立体图像库做实验，通过对比各个阶段的错误视差率验证本发明对于空间域约束的有效性。实验结果图4为部分实验结果，实验结果图5列出了各个阶段的错误视差率，其中错误视差是指实验结果与真实视差之差的绝对值大于1个像素的视差。从实验结果图4和5可以看出，本发明能够有效估计出深度图像，并且错误视差率保持在较低水平，这显示了本算法可以有效的应对遮挡及同质性区域，利用平面融合技术能够对分割错误结果保持鲁棒并且保持锐利的深度图像边缘。

利用MovingPictureExpertsGroup研究组提供的多视点视频序列做实验，图6显示了本发明在各个阶段的输出结果，图7显示了加入时域约束以后对于深度序列时域跳变的抑制效果，其中第一行为中间视图，第二行为未加入时域约束的视差图序列，第三行为加入了时域约束的视差图序列。

本发明方法针对三视点立体图像序列，通过将视点间遮挡区域建模、视点内基于分割的平面约束、空间域约束、时间域约束、置信传播算法与马尔科夫随机场上结合起来，实现了在统一迭代框架下的三视点深度序列信息提取。本发明能够在摄像机基线距离较大的情况下，准确地估计出遮挡信息，并据此完成视差序列的估计，最后通过视差量化得到深度图像序列。将视点间遮挡信息、视差信息和时空约束在统一的迭代框架下完成更新。由于错误的视差值很难在空间与时间上都获得一致的支持，因此，在利用BP算法优化过程中，能量函数陷入局部极小值的几率大大减小。与仅利用单个平面分割结果相比，通过利用多参数的平面分割结果，本发明对于分割错误具有鲁棒性；本发明的光流置信度定义，使得在时域约束优化时对光流错误保持鲁棒。与仅利用单帧进行约束相比，本发明寻找多参考帧光流，能够很好地避免空域错误在时域上的传播。因此，本发明能够通过三视点图像来求取时空域上均连续且准确的深度图像序列，可广泛应用于3D节目制作，图像分割，视频编缉和虚拟现实等领域。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (7)

1.一种基于时空域联合约束的三视点立体视频深度提取方法，其特征在于，包括以下步骤：

第一步，视差图初始化，像素相似性由像素RGB值之差及Census相似性的线性组合决定；初始化能量函数，针对中间视点图像I_t，C(x_c)的点x_C，是从左视点或右视点选取匹配点，以此对于所有x_C都能找到匹配点，该能量函数由(1)式定义，利用多参数Meanshift平面分割与平面拟合，引入平面约束；

对于中间视点图像I_t，C中像素x_c＝(x，y)和给定视差d_x，其在右视点图像I_t，R中的对应像素为x_R＝(x，y-d_x)，定义匹配代价函数为：

${\mathrm{Cost}}_{C,R}(x_C,d_x)=\mathrm{\&tau;}\&CenterDot;\frac{|I_{t,c}\left(x_C\right)-I_{t,R}\left(x_R\right)|}{3}+(1-\mathrm{\&tau;})\&CenterDot;C_{\mathrm{census}}(I_{t,C}\left(x_C\right),I_{t,R}\left(x_R\right))$

其中第一项表示x_c与c_R的RGB绝对值之差的平均值，所述C_census(I_t，C(x_C)，I_t，R(x_R))表示x_c与x_R的局部结构相似性；所述的τ为加权因子；

定义能量函数如下：

$\begin{array}{c}{E}_{t,C}^{\mathrm{init}}(D_{t,C};{\mathrm{Cost}}_{C,R},{\mathrm{Cost}}_{C,L})={\mathrm{\&Sigma;}}_{x_c}\min (\mathrm{\&rho;}\left({\mathrm{Cost}}_{C,R}(x_C,d_x)\right),\mathrm{\&rho;}\left({\mathrm{Cost}}_{C,L}(x_C,d_x)\right))+\\ E_{t,C}^s\left(x_C\right)---\left(1\right)\end{array}$

其中ρ(C)＝-ln((1-e_d)exp(-C/σ_d)+e_d)，是一个对于噪声鲁棒的截断函数，是便于使用BP算法优化的平滑项函数，其定义为：

$E_{t,C}^s\left(x_C\right)={\mathrm{\&Sigma;}}_{x_c}{\mathrm{\&Sigma;}}_{y_c\&Element;N\left(x_c\right)}{\mathrm{\&omega;}}_s\&CenterDot;\mathrm{\&lambda;}(x_C,y_C)\&CenterDot;\min \left(\right|D_{t,C}\left(x_C\right)-D_{t,C}\left(y_C\right)|,{\mathrm{\&eta;}}_s)$

其中，λ(x_C，y_C)＝ε/(ε+||I_t，C(x_C)-I_t，C(y_C)||₂)，N(x_C)表示像素x_c的邻域，||·||₂为2范数，最后，利用BP算法优化能量函数(1)，得到初始视差图再通过Meanshift图像分割实现平面约束，得到平面约束后的视差图像

所述的ω_s取值范围是：[0.1，0.4]，e_d的取值是0.01，σ_d的取值是4.0，η_s的取值是2，ε的取值范围是[5.0，15.0]；

第二步，利用得到的视差图像中间视点视差图与遮挡信息的迭代更新，并利用BP算法对视差图能量函数(3)与遮挡区域能量函数(2)进行优化，利用多参数平面融合求取中间视点初始视差图，利用更新好的遮挡信息进行左右视差图初始化；

遮挡图像能量函数定义为：

$\begin{array}{c}{E}_O(O_{C,L},O_{C,R};D_{t,C})={\mathrm{\&Sigma;}}_{x_c}{E}_{t,C}^{d,v}+P_{t,C}+{\mathrm{\&Sigma;}}_{y_c\&Element;N\left(x_c\right)}{\mathrm{\&beta;}}_o\&CenterDot;\left(\right|O_{C,L}\left(x_C\right)-O_{C,L}\left(y_C\right)|+\\ |O_{C,R}\left(x_C\right)-O_{C,R}\left(y_C\right)|)---\left(2\right)\end{array}$

$\begin{array}{c}{E}_{t,C}^{d,v}(D_{t,C};{\mathrm{Cost}}_{C,R}^v,{\mathrm{Cost}}_{C,L}^v)={\mathrm{\&Sigma;}}_{x_c}u\left(x_C\right)\&CenterDot;(O_{C,L}\left(x_C\right)O_{C,R}\left(x_C\right)\mathrm{\&beta;}+(1-O_{C,R}\left(x_C\right))(1+\\ O_{C,L}\left(x_C\right))\&CenterDot;\mathrm{\&rho;}\left({\mathrm{Cost}}_{C,R}^v(x_C,d_x)\right)+(1-O_{C,L}\left(x_C\right))(1+O_{C,R}\left(x_C\right))\&CenterDot;\mathrm{\&rho;}\left({\mathrm{Cost}}_{C,L}^v(x_C,d_x)\right))\\ E_{t,C}^s\left(x_C\right)---\left(3\right)\end{array},+$

${\mathrm{Cost}}_{C,R}^v(x_C,d_x)={\mathrm{Cost}}_{C,R}(x_C,d_x)+p_v\&CenterDot;O_{R,C}\left(x_R\right)$

$P_{t,C}(O_{C,L},O_{C,R};W_L,W_R)={\mathrm{\&Sigma;}}_{x_C}{\mathrm{\&beta;}}_{\mathrm{\&omega;}}\left(\right|O_{C,L}\left(x_C\right)-W_L\left(x_C\right)|+|O_{C,R}\left(x_C\right)-W_R\left(x_C\right)\left|\right)$

其中：中间视图遮挡图像O_C，L，O_C，R；β_o的取值为10.0；左右视点遮挡图像O_L，C(x_R)，O_R，C(x_R)通过将中间视点向两侧投影，出现的孔洞即为O_L，C(x_R)，O_R，C(x_R)；

W_L(x_C)的具体计算过程为：对于给定视差值将x_C映射到x_L，对于映射到同一个x_L的x_C，将其按照其视差大小排序，具有最大视差的x_C将视为初始未遮挡即W_L(x_C)＝0，而其余的将视为初始遮挡即W_L(x_C)＝1，W_R(x_C)的计算过程类似；

第三步，利用三视点视差图所应满足的空间一致性约束进一步修正各视点视差图能量函数及遮挡区域能量函数，并进行三视点视差图与遮挡区域的迭代优化；具体利用BP算法对视差图能量函数(5)，(7)及遮挡区域能量函数(6)进行优化；

$E_{t,C}^{d,v,s}(D_{t,C};{\mathrm{Cost}}_{C,R}^{v,s},{\mathrm{Cost}}_{C,L}^{v,s})=E_{t,C}^{d,v}(D_{t,C};{\mathrm{Cost}}_{C,R}^{v,s},{\mathrm{Cost}}_{C,L}^v)---\left(5\right)$

$\begin{array}{c}{E}_O(O_{C,L},O_{C,R};D_{t,C}^{\mathrm{spatial}})={\mathrm{\&Sigma;}}_{x_C}{E}_{t,C}^{d,v,s}+P_{t,C}+{\mathrm{\&Sigma;}}_{y_c\&Element;N\left(x_c\right)}{\mathrm{\&beta;}}_o\&CenterDot;\left(\right|O_{C,L}\left(x_C\right)-O_{C,L}\left(y_C\right)|+\\ |O_{C,R}\left(x_C\right)-O_{C,R}\left(y_C\right)|)---\left(6\right)\end{array}$

$\begin{array}{c}{E}_{t,R}^{d,v}\left(D_{t,R}^{\mathrm{spatial}}\right)={\mathrm{\&Sigma;}}_{x_C}(O_{R,C}\left(x_R\right)\&CenterDot;\mathrm{\&beta;}+(1-O_{R,C}\left(x_R\right))\&CenterDot;\mathrm{\&rho;}\left({\mathrm{Cost}}_{\mathrm{RC}}^{v.s}(x_R,d_x))\right)+E_{t,R}^s\left(x_R\right)---\left(7\right)\\ \end{array}$

${\mathrm{Cost}}_{C,R}^{v,s}(x_C,d_x)={\mathrm{Cost}}_{C,R}^v(x_C,d_x)+p_v\&CenterDot;\min (s\&CenterDot;|d_x-D_{t,R}^{\mathrm{plane}\&prime;}\left(x_R\right)|,T_s)$

定义与类似，与为第二步所得到的左右初始化视差图像；

第四步，利用视差图在时域上满足的时域一致性约束修正能量函数并进行优化，利用光流置信度定义，对视差图能量函数(8)进行优化；

从第t帧到第t′帧的时域一致性约束的匹配代价函数定义为：

$\begin{array}{c}{\mathrm{Cost}}_C^{\mathrm{tem}}(x_C,d_x)=\min ({\mathrm{Cost}}_{C,R}(x_C,d_x),{\mathrm{Cost}}_{C,L}(x_C,d_x))+p_t\&CenterDot;{\mathrm{\&Sigma;}}_{t^{\&prime;}}{C}_{t,t^{\&prime;}}\left(x_c\right)\&CenterDot;\min (s\&CenterDot;\\ {|d_x-D_{t^{\&prime;},C}^{\mathrm{spatial}}\left(x_c^{\&prime;}\right)|}^2,T_t)\end{array}$

所述的p_t取值为1，T_t取值为9，定义的能量函数为：

$E_{t.C}^{\mathrm{tem}}\left(D_{t,C}\right)={\mathrm{\&Sigma;}}_{x_c}\mathrm{\&rho;}\left({\mathrm{Cost}}_C^{\mathrm{tem}}\right)+E_{t,C}^s\left(x_C\right)---\left(8\right)$

利用BP算法优化函数(8)，得到时空域均一致的深度图像

其中，光流置信度C_t，t′(x)：

$C_{t,t^{\&prime;}}\left(x\right)=\exp (-\frac{\left|\right|x-x^{\&prime;\&prime;}\left|\right|}{{\mathrm{\&sigma;}}_r})\&CenterDot;\exp (-\frac{\left|\right|I_t\left(x\right)-I_{t^{\&prime;}}\left(x^{\&prime;}\right)\left|\right|}{{\mathrm{\&sigma;}}_c})$

x′为第t帧内像素x在第t’帧的对应点，通过光流得到；x″是x′反向投影到第t帧的像素位置，||x-x″||表示两个像素在图像上的欧氏距离，||I_t(x)-I_t′(x′)||表示像素的RGB值之差的2范数；

5)利用二项式拟合及联合双边滤波进行亚像素估计，消除视差量化所引入的误差，并获取亚像素深度的视差图序列。

2.如权利要求1所述的一种基于时空域联合约束的三视点立体视频深度提取方法，其特征在于：利用τ控制颜色信息与Census信息的比重，τ的取值范围为[0.3,0.7]。

3.如权利要求1所述的一种基于时空域联合约束的三视点立体视频深度提取方法，其特征在于：所述利用多参数Meanshift平面分割与平面拟合，引入平面约束，具体为：

a)利用Meanshift对中间视点图像I_t，C进行图像分割，得到图像平面的分割结果 $S_{t,C}^i(I=1,...,I);$

b)对于分割得到的每个平面利用视差图中与该区域对应的初始视差值，将其拟合为空间中的3D平面，即：对于平面及其深度值由d_x＝a_ix+b_iy+c_i给出，其中[a_ib_ic_i]为3D平面系数方程；

所述的拟合过程如下：

[1]对于由BP算法优化后的视差图首先假设对应的3D平面与成像面平行，即假设a_i＝0，b_i＝0，由与区域对应的计算出最小化能量即能量函数公式(1)的c_i，并记录该区域能量值；

[2]假设对应的3D平面与成像面相交，利用最小二乘法计算出该3D平面系数，利用平面系数计算出拟合平面的每个像素视差值d′_x；对于3D平面中每个像素，计算其在[d′_x-m，d′_x+m]范围内对应能量函数即公式(1)的最小代价视差，其中，d′_x为利用当前3D平面系数所计算出的像素x的视差值，m为以d′_x为中心的搜索范围，据此更新得到新的3D拟合平面，并进行最小二乘计算更新3D平面系数，重复此过程直到3D平面系数收敛；最后计算对应其余平面能量；所述m的取值范围为[2，5]；

[3]当[2]中拟合平面满足条件Condition时，利用[2]中所算3D平面系数更新平面内像素点对应视差，否则，利用[1]中所计算的3D平面系数更新平面内各像素点的视差，得到更新后的视差图像

所述条件Condition为：I.[2]中平面能量小于[1]中平面能量；

II.拟合平面内点率InlierRation大于η_r；

所述η_r的取值范围为[0.3，0.6]；所述内点率InlierRation为：

$\mathrm{InlierRatio}=\frac{{\mathrm{\&Sigma;}}_{x_c\&Element;s_{t,C}^i}f\left(\right|a_{i}x+b_{i}y+c_i-D_{t,C}\left(x_c\right)\left|\right)}{\mathrm{sum}(x_c\&Element;S_{t,C}^i)}$

所述函数f(|a_ix+b_iy+c_i-D_t，C(x_c)|)为：

$f\left(x\right)=\left\{\begin{array}{cc}1,\mathrm{if}& x<(d_{\max }-d_{\min })/40\\ & 0,\mathrm{otherwise}\end{array}\right.$

其中，d_min为视差范围最小值，d_max为视差范围最大值；所述表示区域内像素个数。

4.如权利要求1所述的一种基于时空域联合约束的三视点立体视频深度提取方法，其特征在于：左右视图遮挡信息O_R，C(x_R)，O_L，C(x_L)的初始化由中间视图向左右分别映射求取，中间视图遮挡初始信息W_L(x_C)及W_R(x_C)由中间视图向左右映射，并根据视差图大小排序求取。

5.如权利要求1所述的一种基于时空域联合约束的三视点立体视频深度提取方法，其特征在于：第三步中，对视差图进行空间一致性约束，其中迭代过程按照中间视差图中间视图遮挡信息O_C，L，O_C，R，左右视图遮挡信息O_L，C，O_R，C,左右视差图 的顺序进行迭代求取，迭代过程为1-2次。

6.如权利要求1所述的一种基于时空域联合约束的三视点立体视频深度提取方法，其特征在于：第四步中，对视差图序列进行时域约束，其中光流置信度定义为：

$C_{t,t^{\&prime;}}\left(x\right)=\exp (-\frac{\left|\right|x-x^{\&prime;\&prime;}\left|\right|}{{\mathrm{\&sigma;}}_r})\&CenterDot;\exp (-\frac{\left|\right|I_t\left(x\right)-I_{t^{\&prime;}}\left(x^{\&prime;}\right)\left|\right|}{{\mathrm{\&sigma;}}_c})$

其中，x″是x′反向投影到第t帧的像素，||x-x″||表示两个像素在图像上的欧氏距离，||I_t(x)-I_t′(x′)||表示像素的RGB值之差的2范数；所述σ_r的取值为5，σ_c的取值为10；据此定义，对能量函数(8)，利用BP算法进行优化。

7.如权利要求1所述的一种基于时空域联合约束的三视点立体视频深度提取方法，其特征在于：第五步中，亚像素值由下式算出：

$d_q^{\mathrm{sub}}=d_p-\frac{b_q\left(d_q^{+}\right)-b_q\left(d_q^{-}\right)}{2\&times;(b_q\left(d_q^{+}\right)+b_q\left(d_q^{-}\right)-2\&times;b_q\left(d_q\right))}$

其中， $d_q^{+}=d_p+1,d_q^{-}=d_p-1,$ b_q(d_p)为像素q在视差为d_p时的能量值，最后，对亚像素视差图像进行基于视差和颜色的联合双边滤波：

$d_q^{\mathrm{final}}=\frac{1}{Z\left(q\right)}\underset{p\&Element;N\left(q\right)}{\mathrm{\&Sigma;}}{e}^{-\frac{|I_{t,C}\left(q\right)-I_{t,C}\left(p\right)|}{3\&times;{\mathrm{\&sigma;}}_{\mathrm{color}}}}\&times;e^{-\frac{|d_q^{\mathrm{sub}}-d_p^{\mathrm{sub}}|}{{\mathrm{\&sigma;}}_{\mathrm{disparity}}}}\&times;d_p^{\mathrm{sub}}$

其中，Z(q)为归一化因子： $Z\left(q\right)={\mathrm{\&Sigma;}}_{p\&Element;N\left(q\right)}{e}^{-\frac{|I_{t,C}\left(q\right)-I_{t,C}\left(p\right)|}{3\&times;{\mathrm{\&sigma;}}_{\mathrm{color}}}}\&times;e^{-\frac{|d_q^{\mathrm{sub}}-d_p^{\mathrm{sub}}|}{{\mathrm{\&sigma;}}_{\mathrm{disparity}}}},$ σ_color取值为2，σ_disparity取值为2，N(p)表示像素p的邻域。