CN104851100A - 可变光源下的双目视图立体匹配方法 - Google Patents

Abstract

本发明公开了一种可变光源下的双目视图立体匹配方法，该方法包括以下步骤：S1、对可变光源下的双目视图进行立体匹配，得到视差图；S2、使用视差图从双目视图中对应提取图像前景区域；S3、用贝叶斯理论框架的颜色恒常算法对提取到的图像前景区域进行光源估计；S4、用估计的光源值对双目视图进行颜色校正；S5、对颜色校正后的双目视图重新进行立体匹配，得到新的视差图；重复上述步骤S2-S5，直至计算的视差值收敛到真实视差值或达到设定的迭代次数。本方法能够有效提升可变光源下双目视图立体匹配的准确度。

Description

可变光源下的双目视图立体匹配方法

技术领域

本发明涉及双目视图立体匹配方法，具体是一种可变光源下的双目视图立体匹配方法。

背景技术

双目视图的立体匹配是深度信息恢复的重要步骤，立体匹配的主要工作是利用对应点之间颜色或梯度等特征的相似性为不同视角同一场景下寻找准确的像素对应。立体匹配算法可以分为局部立体匹配算法和全局立体匹配算法。局部立体匹配算法通过区域匹配或特征匹配的方法为每个像素独立地计算视差值。因为不考虑像素之间的相关性，局部立体匹配算法一般速度较快，但得到的匹配结果比较粗糙。而全局性方法中的能量框架，既考虑了每个像素的数据匹配代价，也为相邻像素之间的平滑性约束进行了建模，因此通常能得到比局部方法更准确的结果。因此，虽然受到能量最优化算法的效率限制，全局立体匹配算法比局部立体匹配算法的求解时间长，但其精确的匹配结果和相对独立的建模和优化过程，使得全局匹配算法在立体匹配中占据越来越重要的地位。

全局立体匹配算法一般可以基于马尔可夫随机场对匹配问题进行建模。根据马尔可夫随机场的理论，假设p和q是图像I中的像素点，d_p和d_q则是它们对应的视差值，则立体匹配问题可以进行如下方式的建模：

$E\left(d\right)=\underset{p\∈I}{\mathrm{\Σ}}D(p,d_p)+\underset{(p,p)\∈N}{\mathrm{\Σ}}S(d_p,d_q)$

其中D(p，d_p)表示像素p的视差值为d_p时的像素数据匹配代价；N表示图像对应的无向图中的边，即像素之间的相邻关系，(p，q)∈N表示像素p和像素q是相邻的；S(d_p，d_q)则表示当像素p被赋予视差值d_p而像素q被赋予视差值d_q时，它们之间的由平滑性约束导致的代价。式中的能量方程最小化时的解d就是对应于图像之间像素配对的视差值集合。

从上述模型可以看出立体匹配结果直接依赖于像素点的值，而像素点的值主要受两个变量影响：光源值和物体在该点的反射向量。

Y＝LX

Y为图像像素点的值，L为光源值，X为该点反射向量，立体匹配过程就是通过比较Y值来对X值相近的点进行匹配。

在可变光源条件下，由于L值的变化，具有相同或相近的X的点对应的Y值可能差别很大，使用传统立体匹配算法对其难以正确匹配，导致恢复得到的深度图准确度不够理想。

发明内容

本发明的目的是针对使用传统双目视图立体匹配算法对可变光源条件下的双目视图匹配时存在准确度不够理想的技术问题，提供一种可变光源下的双目视图立体匹配方法。

本发明的具体技术方案如下：

一种可变光源下的双目视图立体匹配方法包括以下步骤：

S1、对可变光源下的双目视图进行立体匹配，得到视差图；

S2、使用视差图从双目视图中对应提取图像前景区域；

S3、用贝叶斯理论框架的颜色恒常算法对提取到的图像前景区域进行光源估计；

S4、用估计的光源值对双目视图进行颜色校正；

S5、对颜色校正后的双目视图重新进行立体匹配，得到新的视差图；

重复上述步骤S2-S5，直至计算的视差值收敛到真实视差值或达到设定的迭代次数。

优选地，在所述步骤S2中，使用视差图从双目视图中对应提取图像前景区域包括：对视差图进行二值化；使用形态学方法对二值化后的图像进行去噪；以及用上述二值化和去噪步骤处理后的图像与双目视图运算提取图像前景区域；所述去噪步骤包括：对二值化后的图像使用结构元进行开操作，以及对开操作得到的图像进行形态学孔洞填充。

优选地，在所述步骤S1和步骤S5中，使用马尔科夫随机场进行立体匹配，采用的带动态权重的能量模型为

$E\left(d\right)=\underset{p\∈I}{\mathrm{\Σ}}{\mathrm{\α}}_{p}D(p,d_p)+\underset{(p,q)\∈N}{\mathrm{\Σ}}\frac{(1-{\mathrm{\α}}_p)+(1+{\mathrm{\α}}_q)}{2}S(d_p,d_q)$

其中，p和q是图像I中的像素点；d_p和d_q分别是像素p和像素q对应的视差值；D(p，d_p)表示像素p的视差值为d_p时的像素数据匹配代价；N表示图像对应的无向图中的边，即像素之间的相邻关系，(p，q)∈N表示像素p和像素q是相邻的；S(d_p，d_q)表示当像素p被赋予视差值d_p而像素q被赋予视差值d_q时，像素p和像素q之间的由平滑性约束导致的代价；α_p为像素p的数据匹配代价权重值，

${\mathrm{\α}}_p=\mathrm{\θ}+(1-\mathrm{\θ})*\left|\right|\▿I_p\left|\right|/{\left|\right|\▿I\left|\right|}_{\max }$

是像素点的梯度模值，是图像中梯度模值的最大值，θ为自定义权重参数，θ在[0.1，0.5]之间取值。

本发明通过对可变光源下双目视图的视差值与光源估计值迭代地进行计算，使计算视差值逐渐收敛到真实视差值，提升了立体匹配的准确度。

附图说明

图1为一些实施例可变光源下双目视图立体匹配方法的逻辑流程图；

图2a-2c为使用马尔科夫随机场能量框架的视差恢复结果与原图像的对比，其中图2a为光源为红色的左侧视角图，图2b为光源为白色的右侧视角图，图2c为使用马尔科夫随机场能量框架的视差恢复结果；

图3a-3b为前景图提取过程，其中图3a为待处理原图像，图3b为视差图经二值化并去噪后得到的图像；

图4a-4c为颜色恒常前后的对比，其中图4a为光源影响下原图，图4b为在颜色恒常算法对原图进行颜色校正后结果，图4c为在标准光源下原场景下图像；

图5a-5b为使用实施例方法后得到的新的视差图和原视差图的对比，其中，图5a为原视差图，图5b为使用实施例方法后得到的新的视差图。

具体实施方式

下面结合附图和实施例对本发明进一步说明。这些更详细的描述旨在帮助理解本发明，而不应被用于限制本发明。根据本发明公开的内容，本领域技术人员明白，可以不需要一些或者所有这些特定细节即可实施本发明。而在其它情况下，为了避免将发明创造淡化，未详细描述众所周知的操作过程。

图1中示意性表示了一些实施例可变光源下双目视图立体匹配方法的逻辑流程，图1中标识的图A和图B分别为可变光源下不同视角拍摄图，图中展示了使用迭代方法对立体匹配进行求解的过程。如图1所示，一些实施例可变光源下的双目视图立体匹配方法包括以下步骤：

步骤S1、对可变光源下的双目视图(即图1中的图A和图B)进行立体匹配，得到视差图；

步骤S2、使用视差图从双目视图中对应提取图像前景区域；

步骤S3、用贝叶斯理论框架的颜色恒常算法对提取到的图像前景区域进行光源估计；

步骤S4、用估计的光源值对双目视图进行颜色校正；

步骤S5、对颜色校正后的双目视图重新进行立体匹配，得到新的视差图；

重复上述步骤S2-S5(即对可变光源下双目视图的视差值与光源估计值迭代地进行计算)，直至计算的视差值收敛到真实视差值或达到设定的迭代次数。具体地，当本次迭代计算的视差值与上次迭代计算的视差值的差小于设定数值时，或者说当本次迭代计算的视差值与上次迭代计算的视差值基本相等时，即判定视差值收敛到了真实视差值。

在步骤S1中，使用马尔科夫随机场进行立体匹配，并且在能量模型中加入了与像素点的纹理复杂度相关联的动态权重，以获得更佳的效果。具体的，采用的带动态权重的立体匹配的能量模型为

$E\left(d\right)=\underset{p\∈I}{\mathrm{\Σ}}{\mathrm{\α}}_{p}D(p,d_p)+\underset{(p,q)\∈N}{\mathrm{\Σ}}\frac{(1-{\mathrm{\α}}_p)+(1+{\mathrm{\α}}_q)}{2}S(d_p,d_q)$

其中，p和q是图像I中的像素点；d_p和d_q分别是像素p和像素q对应的视差值；D(p，d_p)表示像素p的视差值为d_p时的像素数据匹配代价；N表示图像对应的无向图中的边，即像素之间的相邻关系，(p，q)∈N表示像素p和像素q是相邻的；S(d_p，d_q)表示当像素p被赋予视差值d_p而像素q被赋予视差值d_q时，像素p和像素q之间的由平滑性约束导致的代价；α_p为像素p的数据匹配代价权重值，α_p与像素点的纹理复杂度相关，(1-α_p)为像素p对应的平滑性约束权重值，(1-α_q)为像素q对应的平滑性约束权重值。

纹理复杂度可以由像素点的梯度值进行度量。因此可以先根据Sobel算子求得图像在x方向和y方向的一阶差分，即和进而求得图像每个像素点的梯度模值并找到图像中梯度模值的最大值得到这些梯度信息之后，每个像素点的数据匹配代价权重可按下式计算：

${\mathrm{\α}}_p=\mathrm{\θ}+(1-\mathrm{\θ})*\left|\right|\▿I_p\left|\right|/{\left|\right|\▿I\left|\right|}_{\max }$

由上式计算得到的权重值会根据像素点纹理复杂度的不同在[θ，1]之间取值，其中θ为自定义权重参数，一般可在[0.1，0.5]之间进行取值。

图2a-2c表示了可变光源条件下使用上述马尔科夫随机场能量框架对双目视图的视差恢复结果与原图像的对比，其中图2a为光源为红色的左侧视角图，图2b为光源为白色的右侧视角图，图2c为使用马尔科夫随机场能量框架的视差恢复结果。可以看出，得到的视差图(图2c)中包含了对象的大致轮廓信息，但仍然有很多不准确的地方。

在步骤S2中，使用视差图从双目视图中对应提取图像前景区域包括以下步骤：对视差图进行二值化；使用形态学方法对二值化后的图像进行去噪；以及用上述二值化和去噪步骤处理后的图像与双目视图运算提取图像前景区域。其中去噪步骤包括：对二值化后的图像使用结构元进行开操作，以及对开操作得到的图像进行形态学孔洞填充。

一些实施例中，具体使用Ostu方法对得到的视差图计算阈值。令连通区域内灰度级x点的概率为p(x)，则最佳阈值为下式中Ym取值最大时对应的m值

$Y_m=\frac{{[{\mathrm{\Σ}}_{x=0}^{255}\mathrm{xp}\left(x\right)*{\mathrm{\Σ}}_{x=0}^{m}p\left(x\right)-{\mathrm{\Σ}}_{x=0}^m\mathrm{xp}\left(x\right)]}^2}{{\mathrm{\Σ}}_{x=0}^{m}p\left(x\right)*(1-{\mathrm{\Σ}}_{x=0}^{m}p\left(x\right))}$

x为视差值，取值范围为0～255；p(x)是视差值为x的点在图中出现的概率。

使用形态学方法对二值化后的图像进行去噪，使得到的前景图成为连通图。具体地，对图像使用结构元进行开操作可表示如下：

其中A是待处理图像，B是结构元算子，是形态学腐蚀操作，是形态学膨胀操作。对开操作得到的图进行形态学孔洞填充可表示如下：

$X_k=(X_{k-1}\⊕B)\∩A^c$

B是结构元算子，是形态学腐蚀操作，∩是取交，X_k是第k步处理得到图像，X₀是待处理图像，当X_k＝X_k-1时，算法迭代结束。

图3b为用上述二值化和去噪方法对视差图(图2c)处理后得到的图像，用图3b与图3a进行运算后就可获得图3a的前景图，即，使用视差图从双目视图中对应提取出了图像前景区域。可以看出，经过图像二值化和去噪，可以得到比较完整、客观的图像前景区域。

在步骤S3中，用贝叶斯理论框架的颜色恒常算法对提取到的图像前景区域进行光源估计。具体地，使用损耗函数对问题建模如下

$\stackrel{\‾}{L}\left(\stackrel{\‾}{x}\right|y)=\∫\mathrm{xL}(\stackrel{\‾}{x},x)p\left(x\right|y)\mathrm{dx}$

损耗函数选择两个向量的欧几里得空间距离，p(x|y)为已知图片y，光源x的后验概率，使用贝叶斯理论对后验概率进行求解

p(x|y)∝p(y|x)p(x)

其中p(x)为光源的先验分布，通过对数据集中的光源值进行统计可以得到关于光源x值的一个先验分布。P(y|x)为光源为x时图像值为y的似然度

p(y|x)＝∫z(∏ip(y(i)|x，z(i)))p(Z)dZ

＝|X^-1|ⁿp(Z＝X^-1Y)

其中z(i)为第i个像素点反射向量，p(Z)为反射向量的先验分布。将反射向量映射到K个区间中，令p(Z)和反射向量在K个区间中的分布函数正相关：

p(z(1)，...，z(n))∝f(n₁，...，n_k)

使用一个简化、修正后的多维狄利克雷模型表示f(n₁，...，n_K)：

$f(n_1,...,n_K)=\mathrm{\Πk}{m}_k^{v_k}$

m_k为某个点的反射向量在第k个块中的概率，v_k为第k个块中是否有反射向量的一种度量方法

v_k＝n(zlip(n_k)/Σk clip(n_k))

clip(n_k)为n_k的二值函数，当n_k大于0时取值为1，否则取值为0。通过对数据集中图片的统计，得到了反射向量p(Z)的先验分布。

在步骤S4中，使用Von Kreis矩阵对原图像进行颜色校正，可表示如下

X′_k＝1/l_k*X_k，k＝{r，g，b}

其中X′_k是像素点通道k校正后的像素值，l_k为光源在通道k的值，X_k是像素点通道k原图像值。

图4a-4c表示了颜色恒常前后的对比，其中图4a为光源影响下原图，图4b为常算法对原图进行颜色校正后结果，图4c为在标准光源下原场景下图像。可以看到算法基本消除了光源的色彩影响，效果较好。

在步骤S5中，立体匹配方法与步骤S1相同，区别仅在于：步骤S1中，匹配的是原始的双目视图，而在步骤S5中，匹配的是经过颜色校正后的双目视图。

图5a-5b表示了使用上述方法后得到的新的视差图和原视差图的对比，其中，图5a为原视差图，图5b为使用上述方法后得到的新的视差图。图5a的视差图误差点比例＝20.5％，阈值＝1，图5a的视差图误差点比例＝18.2％，阈值＝1。可见，采用上述方法，有效提升了可变光源下的立体匹配的准确度，改善效果明显。

Claims (3)

1.一种可变光源下的双目视图立体匹配方法，其特征在于，该方法包括以下步骤：

S1、对可变光源下的双目视图进行立体匹配，得到视差图；

S2、使用视差图从双目视图中对应提取图像前景区域；

S3、用贝叶斯理论框架的颜色恒常算法对提取到的图像前景区域进行光源估计；

S4、用估计的光源值对双目视图进行颜色校正；

S5、对颜色校正后的双目视图重新进行立体匹配，得到新的视差图；

重复上述步骤S2-S5，直至计算的视差值收敛到真实视差值或达到设定的迭代次数。

2.根据权利要求1所述的可变光源下的双目视图立体匹配方法，其特征在于，在所述步骤S2中，使用视差图从双目视图中对应提取图像前景区域包括：

对视差图进行二值化；

使用形态学方法对二值化后的图像进行去噪；以及

用上述二值化和去噪步骤处理后的图像与双目视图运算提取图像前景区域；

所述去噪步骤包括：对二值化后的图像使用结构元进行开操作，以及对开操作得到的图像进行形态学孔洞填充。

3.根据权利要求1所述的可变光源下的双目视图立体匹配方法，其特征在于，在所述步骤S1和步骤S5中，使用马尔科夫随机场进行立体匹配，采用的带动态权重的能量模型为

$E\left(d\right)\underset{p\∈I}{\mathrm{\Σ}}{\mathrm{\α}}_{p}D(p,d_p)+\underset{(p,q)\∈N}{\mathrm{\Σ}}\frac{(1-{\mathrm{\α}}_p)+(1-{\mathrm{\α}}_q)}{2}S(d_p,d_q)$

其中，p和q是图像I中的像素点；d_p和d_q分别是像素p和像素q对应的视差值；D(p，d_p)表示像素p的视差值为d_p时的像素数据匹配代价；N表示图像对应的无向图中的边，即像素之间的相邻关系，(p，q)∈N表示像素p和像素q是相邻的；S(d_p，d_q)表示当像素p被赋予视差值d_p而像素q被赋予视差值d_q时，像素p和像素q之间的由平滑性约束导致的代价；α_p为像素p的数据匹配代价权重值，

${\mathrm{\α}}_p=\mathrm{\θ}+(1-\mathrm{\θ})*\left|\right|{\▿I}_p\left|\right|/{\left|\right|\▿I\left|\right|}_{\max }$

是像素点的梯度模值，是图像中梯度模值的最大值，θ为自定义权重参数，θ在[0.1，0.5]之间取值。