CN101765019B - 一种用于运动模糊和光照变化图像的立体匹配方法 - Google Patents

Abstract

本发明针对实际图像采集过程中出现的运动模糊与光照变化问题，提出了一种精确实用的立体匹配算法，主要包含以下几个部分：1.提出具有光照不变性的规则化差分图像特征去解决左右视图像之间的光照变化；2.利用运动模糊区域的alpha通道值有连续变化的特点，建立最大后验概率公式对其建模并同时对视差和是否受模糊影响区域进行估计；3.提出基于颜色块的对称立体匹配策略来计算更加精确的视差值。

Description

一种用于运动模糊和光照变化图像的立体匹配方法

技术领域

本发明涉及计算机视觉和图像处理技术领域，特别涉及实际图像采集中运动模糊和左右视角光照变化的立体匹配。

背景技术

自从计算机视觉领域出现以来立体视觉就被广泛的进行研究，因为它有很多重要的应用，如三维场景重建，机器导航，三维电视等。立体视觉就是通过两个配置比较靠近的摄像机(立体摄像机)来获取场景的左右视角图像，利用极线几何(epipolar geometry)的相关方法来实现水平对齐，即左右视对应点处于同一水平线上，然后通过匹配算法来得到准确的对应点坐标关系。

关于立体匹配的研究一直没有中断过，每年都有大量的文章被发表和大量的方法被提出。Scharstein和Szeliski(参考文献1：D.Scharstein，R.Szeliski，and R.Zabih.A taxonomy and evaluation of dense two-frame stereocorrespondence algorithms.International Journal of Computer Vision，2002.)于2002年把目前的匹配算法分为两类：局部优化算法和全局优化算法。局部算法依靠领域像素的值来确定当前像素的视差，其中隐含的包含了平滑假设：在局部区域像素的视差应当相差不大，从而使得到的视差图相对平滑。Yoon和Kweon(参考文献2：K.-J.Yoon and I.S.Kweon.Adaptive support-weightapproach for correspondence search.IEEE Trans.On Pattern Analysis andMachine Intelligence，2006.)提出了基于颜色相似与几何相近的自适应支撑权算法来减轻匹配模糊，虽然他们的算法精度远高于其他局部算法，但所需的计算量也很大。全局算法则很明确的提出了平滑假设并对这个假设进行建模，把匹配问题转化为一个能量最小化框架。Sun(参考文献3：J.Sun，Y.Li，S.B.Kang，and H.-Y Shum.Symmetric stereo matching for occlusion handling，IEEE Conference on Computer Vision and Pattern Recognition，pages 399-406，2005.)基于可见性约束提出了对称立体模型去同时解决匹配与遮挡问题。另外，在相似颜色块与视差空间中的非重叠平面相一致的假设上，基于颜色块的方法取得了很好的效果。

然而目前的大多数立体匹配算法都集中处理一些公共的测试数据集，而这些数据都是在相对理想的条件下采集得到，故忽略了一些实际拍摄情况的影响，其中比较突出的是运动模糊和左右视角光照变化。利用现有的立体匹配算法处理带有运动模糊和光照变化的图像都不能得到很理想的结果。一方面，运动模糊使运动区域面积增大，在匹配过程中就会出现不合理的视差值，一般需要先进行运动恢复然后再进行匹配；另一方面，目前的算法都假定左右视图像在相同光照条件下采集得到，因而对光照变化的情况效果很差。

发明内容

本发明的方法不需要运动恢复，只需检测模糊区域后就可以匹配得到其精确的视差值，并把模糊检测与匹配融合到一个框架中同时进行处理；本发明的方法还能解决现有技术中存在的左右视角光照变化问题。

本发明的目的就是提供一种立体匹配方法，从而处理实际图像采集过程中出现的运动模糊与光照变化情况。与现有的匹配算法比较，不仅应用范围有很大扩展，而且提高了匹配精度。

为实现上述目的，本发明提供一种产生精确视差图的图像匹配方法，该方法包括下列步骤：

采集左、右视角图像，并对其进行标定，使得所述左、右视角图像中的对应点在同一水平线上；

标记上述左、右视角图像中的模糊区域；

计算所述模糊区域alpha通道值；

提取左、右视角图像的规则化差分图像特征；

基于所述模糊区域alpha通道值和规则化差分图像特征建立最大后验概率模型；

采用所述最大后验概率模型求解受运动模糊影响的区域和视差图；

基于受运动模糊影像的区域采用基于颜色块的对称立体匹配算法精确求解视差图。

根据本发明的一个方面，所述采用基于颜色块的对称立体匹配算法精确求解视差图的步骤中，顺序执行以下4个步骤：推理算法、交叉验证和重匹配、基于颜色的图像分割与平面拟合，以及似然模型更新。

根据本发明的一个方面，所述建立最大后验概率模型步骤中，同时对视差图掩膜和视差图进行推理估计，其中所述视差图掩膜标记出受运动模糊影响的视差区域。

根据本发明的一个方面，所述采用基于颜色块的对称立体匹配算法精确求解视差图步骤中，所述交叉验证和重匹配把经过交叉验证的结果分为被遮挡部分和错误匹配部分。

本发明的优点在于：1.提出了规则化差分图像特征去解决图像对之间的光照变化，在局部区域光照变化比一致的假设前提下，以当前位置像素值作为参考像素，分别得到领域位置像素的“特征像素值”，特征像素值有光照不变性，故能很好的取代原有像素值来解决光照变化的问题；2.在运动模糊区域的alpha通道的值会发生变化(0～1)，这是一个检测运动模糊的线索，首先假设：alpha值越接近1的区域其视差值越不可能受到影响，alpha值越接近0的区域其视差值越可能受到影响，然后建立最大后验公式，同时对视差和模糊影响区域进行估计；3.基于颜色块的对称立体匹配策略计算更加精确的视差值。

为了进一步说明本发明的原理及特性，以下结合附图和具体实施方式对本发明进行详细说明。

附图说明

图1是用于运动模糊和光照变化图像的立体匹配算法的流程图。

图2是图像对以及根据本发明方法计算得到的深度图。

图2.(a)图2(b)是原始的有运动模糊和光照变化的图像对；

图2(c)视差受运动模糊影响的区域；图2(d)经本发明方法得到的深度图。

具体实施方式

下面结合附图详细描述本发明的具体实施方式。

图1是用于运动模糊和光照变化图像的立体匹配算法的流程图。

1.输入左右视图

根据本发明的一个实施方式，输入为已经校准好的左右两个视图，使得左右两个视图中相应的对应点在同一水平线上，即通过多视几何(Multi-viewGeometry)关系把多个不同成像平面投影到一个共同成像平面：

首先，由极限几何确定出原始左右视角的变换矩阵R；

然后定义左视图的旋转矩阵R_rect把它变换到一个共同成像平面；

计算右视图的变换矩阵R_rectR，并把它变换到共同成像平面。

通过上述处理就把整个图像的二维搜索问题转化水平线的一维搜索。左右视图的实例如图2中(a)、(b)所示。

2.交互式的指出模糊区域

使用现有的图像处理软件(Photoshop或者Windows自带的画图软件)的矩形选取工具，人工地粗略指出上述左右视图中的模糊区域，其模糊区域通常有很明显的重影现象。

3.计算alpha值

根据本发明的一个实施方式，用抠图技术计算模糊区域的alpha通道的值(透明值)。

在图像抠图中经常把图像建模为前景和背景的混合对象，I_x，y＝α_x，yF_x，y+(1-α_x，y)B_x，y，其中I_x，y为图像像素值，F_x，y为前景像素值，B_x，y为背景像素值，α_x，y为alpha通道值。在图像中手工的勾画出一小段已知的前景和背景，然后采用Levin提出的“一种自然图像抠图的闭型解”来得到模糊区域的alpha通道值(参考文献4：Anat Levin，Dani Lischinski，and Yair Weiss.Aclosed form solution to natural image matting，IEEE Conference on ComputerVision and Pattern Recognition，2006.)。

4.提取规则化差分图像特征和建立最大后验概率模型

根据本发明的一个实施方式，同时对视差图掩膜(mask)和视差图进行推理估计，其中视差图掩膜指出了受运动模糊影响的视差区域。在建立的最大后验公式中有两个隐含变量：视差图掩膜R和视差图D。其中R＝{r_p∈{0，1}}_p∈Λ，r_p＝1表示像素p的视差值没有受到运动模糊的影响，而r_p＝0则是受到了影响；同样在最大后验公式中有两个观测量：图像I和alpha值α。I＝(I_L，I_R)是左右视图像对(即图2中的(a)、(b))，α∈[0，1]表示参考图像alpha通道的值，本算法只需要粗略的交互式的勾出模糊区域，然后采用image matting算法估计出此模糊区域的α，在没有模糊的区域设置α＝1，但是值得指出的是当r_p＝1时，α不一定总是1.

最后得到的最大后验公式如下所示：

${(D,R)}^{*}=\arg \underset{(D,R)}{\max }p(D,R|I,\mathrm{\α})$

$=\arg \underset{(D,R)}{\max }p(I,\mathrm{\α}|D,R)p(D,R)$

其中p(I，α|D，R)是似然模型，p(D，R)是先验模型。

似然模型

假定图像对I与alpha通道值α分别在给定视差图D和视差图掩膜R的前提下是相互独立的，这样就可以简化以上的似然模型：

p(I，α|D，R)＝p(I|D)p(α|R)

其中

$p\left(I\right|D)\∝\exp \{-\underset{s}{\mathrm{\Σ}}F(s,d_s,I)\}$

F(·)是像素s与视差d_s的匹配函数，在下文中，按照本发明的一个实施方式，提出一个规则化差分图像特征去定义此匹配函数，用于解决光照变化所带来的问题。

规则差分图像特征是这样定义的：

$f_{p,n}=\frac{|I_n-I_p|}{I_p},n\∈\∂p$

n是p的领域像素，最后匹配函数F(p，d_p，I)可以这样定义：

$F(p,d_p,I)=\frac{\underset{n\∈\∂p,n^{\′}\∈\∂p^{\′}}{\mathrm{\Σ}}{\mathrm{\ω}}_{p,n}{\mathrm{\ω}}_{p^{\′},n^{\′}}|f_{p,n}^{\left(L\right)}-f_{p^{\′},n^{\′}}^{\left(R\right)}|}{\underset{n\∈\∂p,n^{\′}\∈\∂p^{\′}}{\mathrm{\Σ}}{\mathrm{\ω}}_{p,n}{\mathrm{\ω}}_{p^{\′},n^{\′}}}$

其中

p′＝p-d_p

${\mathrm{\ω}}_{p,n}=\exp \{-(\frac{f_{p,n}}{\mathrm{\β}}+\frac{{\mathrm{\δ}}_{p,n}}{\mathrm{\γ}})\}$

ω_p，n是每个像素的自适应权重，它由局部窗口(也叫支撑窗口)内像素的颜色和空间距离来得到，β和γ是两个可调参数。

似然模型中的另外一项p(α|R)在假定当r_p＝1时，alpha值更接近于1的前提下，可以这样定义它：

$p\left(\mathrm{\α}\right|R)\∝\exp \{-\underset{p}{\mathrm{\Σ}}E(p,r_p,{\mathrm{\α}}_p)\}$

其中E(·)是关于像素p，视差图掩膜r_p和alpha值α_p的能量函数，定义为：

E(p，r_p，α_p)＝λ_α|r_p-α_p|

先验模型

在前面给出的最大后验公式中的先验模型可以分解为：

p(D，R)＝p(D|R)p(R)

$p\left(D\right|R)\∝\exp \{-{\mathrm{\λ}}_D\underset{p}{\mathrm{\Σ}}\underset{n\∈\∂p}{\mathrm{\Σ}}\mathrm{\ψ}(d_p,d_n,r_p,r_n)\}$

其中函数ψ(d_p，d_n，r_p，r_n)定义为：

$\mathrm{\ψ}(d_p,d_n,r_p,r_n)=\left\{\begin{array}{cc}\min \left(c\right|d_p-d_q|,T),& p,q\∈R_1\\ K_D,& p,q{\∈R}_0\end{array}\right.$

以上公式采用了截断形式是为了更鲁棒的处理噪声，c是调节参数，T是截断参数。其中R₁＝{p：r_p＝1}_p∈Λ是表示可以使用常规的视差先验的区域，而R₀＝{p：r_p＝0}_p∈Λ则是模糊区域，给定一个常数惩罚项K_D。

在先验模型中还有最后一项p(R)，可以简单的给出一个Potts模型用来增强视差图掩膜的平滑性：

$p\left(R\right)\∝\exp \left\{\mathrm{\β}\underset{j\∈\∂i}{\mathrm{\Σ}}1(x_i=x_j)\right\}$

其中当x_i＝x_j的时候，1(x_i＝x_j)＝1；当x_i≠x_j的时候，1(x_i＝x_j)＝0。

5.基于颜色块的对称立体匹配算法

该匹配算法具体包括4个步骤：推理算法，交叉验证和重匹配，基于颜色的图像分割与平面拟合，似然模型更新。这四步按照顺序迭代执行直至最后的收敛，使得最大后验概率不再变化。

根据本发明的一个实施方式，在推理算法部分，即求解最大后验公式的时候，采用loopy belief propagation近似计算前面提出的最大后验概率公式，同时计算出视差图D和视差图掩膜R。因为采用的是对称策略，所以要分别以左右视图作为参考图像来计算左右视差

，

和视差图掩膜

，

；

根据本发明的一个实施方式，在交叉验证和重匹配部分，把经过一次交叉验证的结果分为两部分：被遮挡部分和错误匹配部分。通过检测参考图像中的像素是否有一个或多个目标图像像素与之对应，可以区别出遮挡部分，其余的部分则为错误匹配部分。错误的匹配主要来自于图像中的非纹理区域。根据本发明的一个实施方式，对错误匹配部分用简单的局部算法绝对强度差(Sum of Absolute intensity Differences)进行了重匹配，然后再次进行交叉验证得到更多可靠的视差值；

根据本发明的一个实施方式，在基于颜色的图像分割与平面拟合部分，采用Mean shift图像分割算法进行过分割，然后对每一个颜色块的视差值采用加权最小平方来进行视差平面拟合；

根据本发明的一个实施方式，在似然模型更新部分，利用第t次迭代的平面拟合输出来对似然模型进行更新，如下所示：

p_t+1(I|D)＝p_t(I|D)·κ_t+1

${\mathrm{\κ}}_{t+1}=\exp \{-\underset{s\∈I}{\mathrm{\Σ}}\left(K_u\right|d_{\mathrm{pf}}^t\left(s\right)-d^{t+1}\left(s\right)\left|\right)\}$

其中d^t+1(s)是像素s在第t+1次迭代的视差值，K_u是调节参数。

当最大后验概率模型收敛后，输入的左右视图经过上述的匹配算法之后，即可得到精确视差图，如图2所示的(d)所示。

虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这些具体实施方式仅是举例说明，本领域的技术人员在不脱离本发明的原理和实质的情况下，可以对上述方法和系统的细节进行各种省略、替换和改变。例如，合并上述方法步骤，从而按照实质相同的方法执行实质相同的功能以实现实质相同的结果则属于本发明的范围。因此，本发明的范围仅由所附权利要求书限定。

Claims (4)

1.一种产生精确视差图的图像匹配方法，其特征在于，该方法包括下列步骤：

采集左、右视角图像，并对其进行标定，使得所述左、右视角图像中的对应点在同一水平线上；

标记上述左、右视角图像中的模糊区域；

计算所述模糊区域alpha通道值；

提取左、右视角图像的规则化差分图像特征；

基于所述模糊区域alpha通道值和规则化差分图像特征建立最大后验概率模型；

采用所述最大后验概率模型求解受运动模糊影响的区域；

基于受运动模糊影响的区域采用基于颜色块的对称立体匹配算法精确求解视差图。

2.根据权利要求1的方法，其特征在于，所述采用基于颜色块的对称立体匹配算法精确求解视差图的步骤中，顺序执行以下4个步骤：推理算法、交叉验证和重匹配、基于颜色的图像分割与平面拟合，以及似然模型更新。

3.根据权利要求1的方法，其特征在于，所述建立最大后验概率模型步骤中，同时对视差图掩膜和视差图进行推理估计，其中所述视差图掩膜标记出受运动模糊影响的视差区域。

4.根据权利要求2的方法，其特征在于，所述采用基于颜色块的对称立体匹配算法精确求解视差图步骤中，所述交叉验证和重匹配把经过交叉验证的结果分为被遮挡部分和错误匹配部分。 

Images