CN102819843A - 基于边界控制置信传播的立体图像视差估计方法 - Google Patents

Abstract

本发明属于图像处理、立体视觉技术领域。研究立体图像中正负视差的甄别及精确估计方法，为立体图像视差控制、立体显示等奠定基础，为达到上述目的，本发明采取的技术方案是，立体图像视差估计方法，包括如下步骤：(1)正负视差甄别与视差范围估计(2)像素级视差估计(3)交叉稳定性检测(4)基于图像分割控制的BP算法使用BP算法最小化能量函数，得出使得能量函数取得最小值的视差场。本发明主要应用于图像处理。

Description

基于边界控制置信传播的立体图像视差估计方法

技术领域

本发明属于图像处理、立体视觉技术领域，具体讲本发明涉及一种双视点立体图像的视差估计方法。

背景技术

视差估计的基本原理是，利用从两个视点观察同一场景获取的立体像图对，以其中一个视点的图像作为基准，匹配出两幅图像中的对应像点，从而估计参考视图中每一像素点的视差。根据使用的约束信息的不同，可以将视差估计算法分为两类：1)局部匹配算法，这类方法利用的是对应点本身以及邻近的局部区域的约束信息，局部算法的优点是效率高，但在遮挡区域、边界区域以及缺失纹理的区域会产生较大的误差。根据匹配特征和匹配方式的不同，局部匹配算法主要分为基于特征的方法和基于区域的方法。基于特征的方法具有较好的抗干扰性能，但它只能获得稀疏的视差场，要得到稠密的视差场必须辅之以复杂的插值过程。区域法能产生稠密的视差场，算法简单、有效、易于实现，缺点是精度不高，易受噪声的影响。2)全局匹配算法，这类方法利用了图像的全局约束信息，在整个图像上定义一个包含数据误差、光滑程度以及遮挡在内的能量函数，把问题转化成优化问题来解决，全局算法对局部图像的模糊不敏感，但是它的计算代价很高。全局匹配算法包括非线性融合算法、基于动态规划的算法和基于遗传算法的方法等。

图割算法和置信传播算法，充分利用水平方向和垂直方向的二维约束，可以获取高精度的稠密视差图，是当前公认的两种较好的视差估计算法。这两种算法都以马尔可夫随机场为理论基础，图割算法将能量极小化问题转换为赋权图的最小割问题，进而采用最大流算法求解，置信传播算法则采用消息传递机制实现能量极小化。Lee发展了置信传播算法，提出了两点改进视差估计的方法：一是关于匹配代价的计算，使用块匹配替代了像素级匹配；二是利用四叉树区域分割改进视差估计。由于准确的搜索范围可以保证估计精度，将图像分割为不同区域改善了视差估计，取得了较好的效果。

在我国，葛亮等提出一种改进的立体图像对稠密匹配算法，该算法首先利用区域增长技术找到图像中的纹理单一区域，然后将整个区域作为匹配基元以得到纹理单一区域的稠密视差图。云挺等人把偏微分方程理论运用于机器视觉中，提出了一种新的基于能量函数获取稠密视差图的方法。郑志刚等提出一种基于区域间协同优化的立体匹配算法，该算法首先对参考图像进行分割，利用相关法得到各分割区域的初始匹配。然后用平面模型对各区域的视差进行拟合，得到各区域的视差平面参数。最后，基于协同优化的思想，采用局部优化的方法对各区域的视差平面参数进行迭代优化，得到合理的视差图。

发明内容

本发明旨在克服现有技术的不足，针对当前视差估计算法主要基于平行立体图像的只具有单向负水平视差的现状，研究立体图像中正负视差的甄别及精确估计方法，为立体图像视差控制、立体显示等奠定基础，为达到上述目的，本发明采取的技术方案是，立体图像视差估计方法，包括如下步骤：

(1)正负视差甄别与视差范围估计

首先用mean shift算法分别对立体图像对的左右两个视图进行分割，窗口的形状和大小都与图像本身的特征与性质相关，把分割后的不规则区域作为匹配基元；采用基于区域的相关窗法，甄别每个区域的正负视差，并确定每个区域的视差范围；以相似性测度函数度量准则，当两个窗口包含相同的特征信息时，图像的一致性度量将达到最大值，同时用相似性测度计算出的匹配代价将达到最小；代价函数采用SD(Squared Difference)和图像梯度信息结合的代价函数C(p，)定义如下：

$C(p,{\stackrel{\‾}{p}}_d)=w\×C_{\mathrm{SD}}(p,{\stackrel{\‾}{p}}_d)+(1-w)\×C_{\mathrm{GRAD}}(p,{\stackrel{\‾}{p}}_d)$

$C_{\mathrm{SD}}(p,{\stackrel{\‾}{p}}_d)=\underset{c\∈\{r,g,b\}}{\mathrm{\Σ}}{|I_c\left(p\right)-I_c\left({\stackrel{\‾}{p}}_d\right)|}^2$

$C_{\mathrm{GRAD}}(p,{\stackrel{\‾}{p}}_d)=\underset{c\∈\{r,g,b\}}{\mathrm{\Σ}}{|{\▿}_x{I}_c\left(p\right)-{\▿}_x{I}_c\left({\stackrel{\‾}{p}}_d\right)|}^2+\underset{c\∈\{r,g,b\}}{\mathrm{\Σ}}{|{\▿}_y{I}_c\left(p\right)-{\▿}_y{I}_c\left({\stackrel{\‾}{p}}_d\right)|}^2$

其中，d代表水平视差，p，

为两个视点视图中的待匹配点，

和

分别代表图像横向和纵向梯度，w是介于0和1之间的权值，基于前述方法完成对右视图的分割后，以右视图坐标为基准获取右视图各区域的视差范围；

(2)像素级视差估计

采用以上所述的代价函数C(p，

)，计算每个像素的匹配代价，以像素点为中心，取正方形邻域作为该像素点的代价累积窗口，采用自适应权值法累积匹配代价，得到更鲁棒的匹配代价，相关窗口内的加权累积后的匹配代价函数为：

$C^{\′}(p,{\stackrel{\‾}{p}}_d)=\frac{{\mathrm{\Σ}}_{q\∈N_p,{\stackrel{\‾}{q}}_d\∈N_{{\stackrel{\‾}{p}}_d}}w(p,q)w({\stackrel{\‾}{p}}_d,{\stackrel{\‾}{q}}_d)C(q,{\stackrel{\‾}{q}}_d)}{{\mathrm{\Σ}}_{q\∈N_p,{\stackrel{\‾}{q}}_d\∈N_{{\stackrel{\‾}{p}}_d}}w(p,q)w({\stackrel{\‾}{p}}_d,{\stackrel{\‾}{q}}_d)}$

其中，N_p、

分别为p点和

点的累积窗口，q点和

点分别为N_p、

中的任意点，w(p，q)、

分别为p点与

点邻域内的点相对于中心的权值；

采用WTA(winner takes all)算法，对每个像素，在已经确定的视差范围[d_c-δ，d_c+δ]内，选择令匹配代价C′(p，

)最小的视差作为该点的视差，得到初始视差图；

(3)交叉稳定性检测

用上述方法获得另一视图的初始视差图，设两视差图分别为

和根据左右视差一致性原则进行交叉检测：

其中表示像素点(x_L，y_L)的视差值，表示(x_L，y_L)的匹配点的视差值，把两个视差图中视差值不一致的点标记为遮挡点，视差值一致的点标记为匹配点；

再对匹配点进行匹配稳定性检测，标记出稳定匹配点，方法如下：对于视差范围[d_c-δ，d_c+δ]，比较某一像素点p的匹配代价函数C′(p，

)，记其中最小值为

记其中次小值为

当

大于一个预设的阈值时，把该点标记为稳定点，否则标记为不稳定点；

(4)基于图像分割控制的BP算法

构造能量函数如下：

$E\left(d\right)=\underset{p\∈P}{\mathrm{\Σ}}{C}_p\left(d_p\right)+\underset{(q,p)\∈N}{\mathrm{\Σ}}{w}_{\mathrm{pq}}f(d_p,d_q)$

其中，P为所有点的集合，p为集合中的任意点，C_p(d_p)为p点视差为d_p时的匹配代价，f(d_p-d_q)表示相邻两点p、q的视差分别为d_p、d_q时的能量，w_pq表示权值，使用4连接邻域系统，即一个像素点的视差只与相邻的四个像素的视差有关；

使用BP算法最小化能量函数，得出使得能量函数取得最小值的视差场。

采取的视差甄别与初始视差估计流程细化如下：

1)根据区域分割结果，选取右视图中第m个分割区域L_m作为第m个相关窗口，m＝1，2，3...M；

2)预估视差范围[d_min，d_max]，这里拟设定d_min＜0，d_max＞0，即对相关窗口L_m双向滑动，以甄别正负视差，运用已定义的代价函数C(p，

)寻找左视图中的匹配区域，随着相关窗口L_m的逐步移动，累计L_m窗口与相关区域间所有像素点的匹配代价，当匹配代价最小时，记录此时的视差值为d_c，并确定该区域的视差范围为[d_c-δ，d_c+δ]，重复以上步骤直至右视图中所有分割区域的视差范围计算完毕。

权值w(p，q)大小的计算法方法如下：

考虑区域分割结果对权值的影响，采用分割算法分别对左右视图进行分割，分割后的每个区域用序号来标识，利用立体图像对的区域分割结果设置匹配权值，并假设同一个分割区域内视差是一致的，权值计算公式设计如下：

$w(p,q)=\left\{\begin{array}{cc}1& q\∈S_p\\ 0& q\∉S_p\end{array}\right.$

其中S_p为点p所在的区域，当p和q处于同一区域时，两点视差相似，所以设置权值为1，当两点处于不同的区域，设置权值为0；

采用WTA(winner takes all)算法，对每个像素，在已经确定的视差范围[d_c-δ，d_c+δ]内，选择令匹配代价C′(p，

)最小的视差作为该点的视差，得到初始视差图。

根据w_pq的变化，把BP算法分为两个阶段进行；第一个阶段，根据分割信息和遮挡信息确定w_pq：

w_pq＝Scue_pqOcue_pq

其中，Scue_pq为分割信息，计算公公如下：

${\mathrm{Scue}}_{\mathrm{pq}}=\left\{\begin{array}{cc}0& p\∉S\left(q\right)\\ 1& p\∈S\left(q\right)\end{array}\right.$

其中，S_p是点p所在的图像区域，根据视差分段平滑假设，当p和q处于同一区域时，两像素视差相似，令w_pq等于1，允许信息传播；当p和q处于不同区域时，两像素视差没有关联，令w_pq等于0，不允许信息传播；

把遮挡区域的右边界作为的遮挡区域与前景的边界，得出的遮挡信息为：

${\mathrm{Ocue}}_{\mathrm{pq}}=\left\{\begin{array}{cc}0& p\∈S_{\mathrm{occ}},q\∈S_{\mathrm{nonocc}}\\ 1& \mathrm{others}\end{array}\right.,$

其中，S_occ为遮挡区域，S_nonocc为非遮挡区域，具p点在q点的左边；

BP算法的第二阶段，令所有的w_pq等于1，即允许任意相邻两点间传播信息。

本发明的技术特点及效果：

本发明在像素级匹配之前，先甄别正负视差并确定视差范围，对于视差范围较大，同时包含正视差和负视差场景的立体图像对，能够缩小视差搜索范围，提高视差的准确性。本发明还利用图像分割控制BP算法，对于视差不连续区域有较好的效果。

附图说明

图1为用于测试的双视点立体图像对。

图2为由初始视差图经交叉稳定性检测得出的遮挡区域图。

图3为本发明得出的视差图。

图4为技术方案的流程图。

具体实施方式

为克服现有技术的不足，本发明提供了一种立体图像视差估计方法，其特征在于，所述方法包括以下步骤：

1.正负视差甄别与视差范围估计

首先用mean shift算法分别对立体图像对的左右两个视图进行分割，窗口的形状和大小都与图像本身的特征与性质相关，把分割后的不规则区域作为匹配基元。采用基于区域的相关窗法，甄别每个区域的正负视差，并确定每个区域的视差范围。以相似性测度函数度量准则，当两个窗口包含相同的特征信息时，图像的一致性度量将达到最大值，同时用相似性测度计算出的匹配代价将达到最小。代价函数采用AD(Absolute  Difference)和图像梯度信息结合的代价函数C(p，

)定义如下：

$C(p,{\stackrel{\‾}{p}}_d)=w\×C_{\mathrm{SD}}(p,{\stackrel{\‾}{p}}_d)+(1-w)\×C_{\mathrm{GRAD}}(p,{\stackrel{\‾}{p}}_d)$

其中，d代表水平视差，p，

为两个视点视图中的待匹配点，w是介于0和1之间的权值，C_SD(p，

)为SD代价函数，C_GRAD(p，

)为梯度代价函数，分别定义如下：

$C_{\mathrm{SD}}(p,{\stackrel{\‾}{p}}_d)=\underset{c\∈\{r,g,b\}}{\mathrm{\Σ}}{|I_c\left(p\right)-I_c\left({\stackrel{\‾}{p}}_d\right)|}^2$

其中，I_c表示c通道的亮度值，r、g、b表示红、绿、蓝三个颜色通道。

$C_{\mathrm{GRAD}}(p,{\stackrel{\‾}{p}}_d)=\underset{c\∈\{r,g,b\}}{\mathrm{\Σ}}{|{\▿}_x{I}_c\left(p\right)-{\▿}_x{I}_c\left({\stackrel{\‾}{p}}_d\right)|}^2+\underset{c\∈\{r,g,b\}}{\mathrm{\Σ}}{|{\▿}_y{I}_c\left(p\right)-{\▿}_y{I}_c\left({\stackrel{\‾}{p}}_d\right)|}^2$

其中

和

分别代表图像横向和纵向梯度。基于前述方法完成对右视图的分割后，以右视图坐标为基准获取右视图各区域的视差范围。

2.像素级视差估计

采用以上所述的代价函数C(p，

)，计算每个像素的匹配代价。以像素点为中心，取正方形邻域作为该像素点的代价累积窗口，采用自适应权值法累积匹配代价，得到更鲁棒的匹配代价，相关窗口内的加权累积后的匹配代价函数为：

$C^{\′}(p,{\stackrel{\‾}{p}}_d)=\frac{{\mathrm{\Σ}}_{q\∈N_p,{\stackrel{\‾}{q}}_d\∈N_{{\stackrel{\‾}{p}}_d}}w(p,q)w({\stackrel{\‾}{p}}_d,{\stackrel{\‾}{q}}_d)C(q,{\stackrel{\‾}{q}}_d)}{{\mathrm{\Σ}}_{q\∈N_p,{\stackrel{\‾}{q}}_d\∈N_{{\stackrel{\‾}{p}}_d}}w(p,q)w({\stackrel{\‾}{p}}_d,{\stackrel{\‾}{q}}_d)}$

其中，N_p、

分别为p点和点的累积窗口，q点和

点分别为N_p、

中的任意点，w(p，q)、

分别为p点与

点邻域内的点相对于中心的权值。

采用WTA(winner takes all)算法，对每个像素，在已经确定的视差范围[d_c-δ，d_c+δ]内，选择令匹配代价C′(p，)最小的视差作为该点的视差，得到初始视差图。

3.交叉稳定性检测

用上述方法获得另一视图的初始视差图，设两视差图分别为和

根据左右视差一致性原则进行交叉检测：

其中

表示像素点(x_L，y_L)的视差值，

表示(x_L，y_L)的匹配点的视差值。把两个视差图中视差值不一致的点标记为遮挡点，视差值一致的点标记为匹配点。

再对匹配点进行匹配稳定性检测，标记出稳定匹配点。方法如下：对于视差范围d＝[d_c-δ，d_c+δ]，比较某一像素点p的匹配代价函数C′(p，

)，记其中最小值为

记其中次小值为

当大于一个预设的阈值时，把该点标记为稳定点，否则标记为不稳定点。

4.基于图像分割控制的BP算法。

构造能量函数如下：

$E\left(d\right)=\underset{p\∈P}{\mathrm{\Σ}}{C}_p\left(d_p\right)+\underset{(q,p)\∈N}{\mathrm{\Σ}}{w}_{\mathrm{pq}}f(d_p,d_q)$

其中，P为所有点的集合，p为集合中的任意点，C_p(d_p)为p点视差为d_p时的匹配代价，f(d_p-d_q)表示相邻两点p、q的视差分别为d_p、d_q时的能量，w_pq表示权值。为了使算法易于实现，使用4连接邻域系统，即一个像素点的视差只与相邻的四个像素的视差有关。

使用BP算法最小化能量函数，得出使得能量函数取得最小值的视差场。根据w_pq的变化，把BP算法分为两个阶段进行。第一个阶段，根据分割信息和遮挡信息确定w_pq：

w_pq＝Scue_pqOcue_pq

其中Scue_pq为分割信息，Ocue_pq为遮挡信息。第二阶段，令所有的w_pq等于1，即允许任意相邻两点间传播信息。

下面通过双视点立体图像对的视差估计过程进一步详细说明本发明：

1.正负视差甄别与视差范围估计

首先用mean shift算法分别对立体图像对的左右两个视图进行分割，窗口的形状和大小都与图像本身的特征与性质相关，把分割后的不规则区域作为匹配基元。采用基于区域的相关窗法，甄别每个区域的正负视差，并确定每个区域的视差范围。以相似性测度函数度量准则，当两个窗口包含相同的特征信息时，图像的一致性度量将达到最大值，同时用相似性测度计算出的匹配代价将达到最小。代价函数采用SD(Squared Difference)和图像梯度信息结合的代价函数C(p，)定义如下：

$C(p,{\stackrel{\‾}{p}}_d)=w\×C_{\mathrm{SD}}(p,{\stackrel{\‾}{p}}_d)+(1-w)\×C_{\mathrm{GRAD}}(p,{\stackrel{\‾}{p}}_d)$

其中，d代表水平视差，p，

为两个视点视图中的待匹配点，w是介于0和1之间的权值，C_SD(p，

)为SD代价函数，C_GRAD(p，)为梯度代价函数，定义如下：

$C_{\mathrm{SD}}(p,{\stackrel{\‾}{p}}_d)=\underset{c\∈\{r,g,b\}}{\mathrm{\Σ}}{|I_c\left(p\right)-I_c\left({\stackrel{\‾}{p}}_d\right)|}^2$

其中，I_c表示c通道的亮度值，r、g、b表示红、绿、蓝三个颜色通道。

$C_{\mathrm{GRAD}}(p,{\stackrel{\‾}{p}}_d)=\underset{c\∈\{r,g,b\}}{\mathrm{\Σ}}{|{\▿}_x{I}_c\left(p\right)-{\▿}_x{I}_c\left({\stackrel{\‾}{p}}_d\right)|}^2+\underset{c\∈\{r,g,b\}}{\mathrm{\Σ}}{|{\▿}_y{I}_c\left(p\right)-{\▿}_y{I}_c\left({\stackrel{\‾}{p}}_d\right)|}^2$

其中

和

分别代表图像横向和纵向梯度。基于前述方法完成对右视图的分割后，以右视图坐标为基准获取右视图各区域的视差范围。采取的视差甄别与初始视差估计流程如下：

1)根据区域分割结果，选取右视图中第m个分割区域L_m作为第m个相关窗口，m＝1，2，3...M；

2)预估视差范围d＝[d_min，d_max]，这里拟设定d_min＜0，d_max＞0，即对相关窗口L_m双向滑动，以甄别正负视差。运用已定义的代价函数C(p，

)寻找左视图中的匹配区域，随着相关窗口L_m的逐步移动，累计L_m窗口与相关区域间所有像素点的匹配代价，当匹配代价最小时，记录此时的d＝d_c，并确定该区域的视差范围为[d_c-δ，d_c+δ]，重复以上步骤直至右视图中所有分割区域的视差范围计算完毕。

2.像素级视差估计

对于参考视图中的每个像素，构造一个正方形邻域支持窗口，并且在匹配目标视图上在[d_c-δ，d_c+δ]范围内移动窗口。采用以上所述的代价函数C(p，

)，计算窗口内每个像素的匹配代价，用自适应权值法累积匹配代价，得到更鲁棒的匹配代价，相关窗口内的加权累积后的匹配代价函数为：

$C^{\′}(p,{\stackrel{\‾}{p}}_d)=\frac{{\mathrm{\Σ}}_{q\∈N_p,{\stackrel{\‾}{q}}_d\∈N_{{\stackrel{\‾}{p}}_d}}w(p,q)w({\stackrel{\‾}{p}}_d,{\stackrel{\‾}{q}}_d)C(q,{\stackrel{\‾}{q}}_d)}{{\mathrm{\Σ}}_{q\∈N_p,{\stackrel{\‾}{q}}_d\∈N_{{\stackrel{\‾}{p}}_d}}w(p,q)w({\stackrel{\‾}{p}}_d,{\stackrel{\‾}{q}}_d)}$

其中N_p、分别为p点和

点的累积窗口，q点和

点分别为N_p、

中的任意点，w(p，q)、分别为p点与

点邻域内的点相对于中心的权值。权值w(p，q)大小的计算法方法如下：

考虑区域分割结果对权值的影响，采用分割算法分别对左右视图进行分割，分割后的每个区域用序号来标识，利用立体图像对的区域分割结果设置匹配权值，并假设同一个分割区域内视差是一致的。

权值计算公式设计如下：

$w(p,q)=\left\{\begin{array}{cc}1& q\∈S_p\\ 0& q\∉S_p\end{array}\right.$

其中S_p为点p所在的区域，当p和q处于同一区域时，两点视差相似，所以设置权值为1，当两点处于不同的区域，设置权值为0。

采用WTA(winner takes all)算法，对每个像素，在已经确定的视差范围[d_c-δ，d_c+δ]内，选择令匹配代价C′(p，

)最小的视差作为该点的视差，得到初始视差图。

3.交叉稳定性检测

用同样的方法获得另一视图的初始视差图，设两视差图分别为

和

根据左右视差一致性原则进行交叉检测：

其中

表示像素点(x_L，y_L)的视差值，则其匹配点在另一视图的坐标为

所以

是(x_L，y_L)的匹配点的视差值，在只有水平视差的情况下，两个匹配点的视差互为相反数。以此为检测标准，把两个视差图中视差值不一致的点标记为遮挡点，视差值一致的点标记为匹配点。

再对匹配点进行匹配稳定性检测，标记出稳定匹配点。方法如下：对于视差范围d＝[d_c-δ，d_c+δ]，比较某一像素点p的匹配代价函数C′(p，

)，记其中最小值为

记其中次小值为

当大于一个预设的阈值时，把该点标记为稳定点，否则标记为不稳定点。

4.基于图像分割控制的BP算法

BP算法基于稠密视差场的连续性假设，即视差在大部区域比较平滑，但是会在物体边界上产生剧烈变化，将稠密视差场抽象为一种马尔可夫场，该马尔可夫随机场的每个节点对应参考视图的一个像素。相邻像素的视差信息通过置信传播在马尔可夫网络上相互传递，通过迭代计算最终得到全局最优的视差估计结果。马尔可夫随机场模型既能反映图像的随机性，又能反映图像的潜在结构，又可以有效地描述图像的性质。令P为参考视图中所有点的集合，对于每一个点p∈P，其视差值为d_p，构造能量函数如下：

$E\left(d\right)=\underset{p\∈P}{\mathrm{\Σ}}{C}_p\left(d_p\right)+\underset{(q,p)\∈N}{\mathrm{\Σ}}f(d_p,d_q)$

其中，C_p(d_p)为p点视差为d_p时的能量，f(d_p，d_q)表示相邻两点p、q的视差分别为d_p、d_q时的能量。N代表本发明使用的4连接邻域系统，一个像素点的视差只与相邻的四个像素的视差有关。

使用BP最小化该能量函数。BP是一个迭代推测的算法，它在网络中传递信息，其具体步骤如下：

a)初始化BP算法，初始化点p能量函数C_p(d_p)，把稳定匹配点的能量函数初始化为该点的的匹配代价函数C′(p，

)，把不稳定匹配点和遮挡点的能量函数初始化为常值函数。令

为第t次迭代p传递到q的信息量，初始化所有信息

为常值。

b)按t＝1:T迭代按照一定的顺序更新信息

$m_{p\→q}^t\left(d_q\right)=\min (w_{\mathrm{pq}}f(d_p-d_q)+C_p\left(d_p\right)+\underset{s\∈N\left(p\right)\backslash q}{\mathrm{\Σ}}{m}_{s\→p}^{t-1}\left(d_p\right))$

其中，N(p)\q表示除q外与p相邻的点，w_pq表示该代价的权值，t表示当前迭代次数，T表示最大迭代次数。

c)当迭代到一定程度后，信息量

收敛，计算每一结点的置信度：

$b_p\left(d_p\right)=C_p\left(d_p\right)+\underset{k\∈N\left(p\right)}{\mathrm{\Σ}}{m}_{k\→p}\left(d_p\right)$

其中，N(p)表示与p相邻的点。

d)得出每一结点的视差：对每个节点p，b_p(d_p)向量中最小的元素对应的d_p就是节点p在MRF中的解：

d_p＝argmin(b_p(d_p))

由于视差剧烈变化总是发生在物体的边界，所以在边界上两像素的视差关联性很小，甚至没有关联，BP算法传递的视差信息也有所变化，本发明利用mean shift算法分割得到物体边界，作为控制w_pq变化的依据，从而控制BP算法的信息传递。把BP算法分为两个阶段进行。第一个阶段，根据分割信息和遮挡信息确定w_pq：

w_pq＝Scue_pqOcue_pq

其中，Scue_pq为分割信息：

${\mathrm{Scue}}_{\mathrm{pq}}=\left\{\begin{array}{cc}0& p\∉S\left(q\right)\\ 1& p\∈S\left(q\right)\end{array}\right.$

其中，S_p是点p所在的图像区域，根据视差分段平滑假设，当p和q处于同一区域时，两像素视差相似，令w_pq等于1，允许信息传播；当p和q处于不同区域时，两像素视差没有关联，令w_pq等于0，不允许信息传播。

遮挡信息根据图三得出，把遮挡区域的右边界作为的遮挡区域与前景的边界，得出的遮挡信息为：

${\mathrm{Ocue}}_{\mathrm{pq}}=\left\{\begin{array}{cc}0& p\∈S_{\mathrm{occ}},q\∈S_{\mathrm{nonocc}}\\ 1& \mathrm{others}\end{array}\right.,$

其中，S_occ为遮挡区域，S_nonocc为非遮挡区域，具p点在q点的左边。

在第一阶段中，BP算法迭代一定次数，使得视差信息在各区域内充分传递后，开始第二阶段，令所有的w_pq等于1，即允许任意相邻两点间传播信息，以平滑孤立的视差值，最终得到分段平滑的视差图。

Claims (4)

1.一种基于边界控制置信传播的立体图像视差估计方法，其特征是，包括如下步骤：

(1)正负视差甄别与视差范围估计

首先用mean shift算法分别对立体图像对的左右两个视图进行分割，窗口的形状和大小都与图像本身的特征与性质相关，把分割后的不规则区域作为匹配基元；采用基于区域的相关窗法，甄别每个区域的正负视差，并确定每个区域的视差范围；以相似性测度函数度量准则，当两个窗口包含相同的特征信息时，图像的一致性度量将达到最大值，同时用相似性测度计算出的匹配代价将达到最小；代价函数采用SD(Squared Difference)和图像梯度信息结合的代价函数C(p，)定义如下：

$C(p,{\stackrel{\‾}{p}}_d)=w\×C_{\mathrm{SD}}(p,{\stackrel{\‾}{p}}_d)+(1-w)\×C_{\mathrm{GRAD}}(p,{\stackrel{\‾}{p}}_d)$

$C_{\mathrm{SD}}(p,{\stackrel{\‾}{p}}_d)=\underset{c\∈\{r,g,b\}}{\mathrm{\Σ}}{|I_c\left(p\right)-I_c\left({\stackrel{\‾}{p}}_d\right)|}^2$

$C_{\mathrm{GRAD}}(p,{\stackrel{\‾}{p}}_d)=\underset{c\∈\{r,g,b\}}{\mathrm{\Σ}}{|{\▿}_x{I}_c\left(p\right)-{\▿}_x{I}_c\left({\stackrel{\‾}{p}}_d\right)|}^2+\underset{c\∈\{r,g,b\}}{\mathrm{\Σ}}{|{\▿}_y{I}_c\left(p\right)-{\▿}_y{I}_c\left({\stackrel{\‾}{p}}_d\right)|}^2$

其中，d代表水平视差，p，

为两个视点视图中的待匹配点，

和分别代表图像横向和纵向梯度，w是介于0和1之间的权值，基于前述方法完成对右视图的分割后，以右视图坐标为基准获取右视图各区域的视差范围；

(2)像素级视差估计

采用以上所述的代价函数C(p，

)，计算每个像素的匹配代价，以像素点为中心，取正方形邻域作为该像素点的代价累积窗口，采用自适应权值法累积匹配代价，得到更鲁棒的匹配代价，相关窗口内的加权累积后的匹配代价函数为：

$C^{\′}(p,{\stackrel{\‾}{p}}_d)=\frac{{\mathrm{\Σ}}_{q\∈N_p,{\stackrel{\‾}{q}}_d\∈N_{{\stackrel{\‾}{p}}_d}}w(p,q)w({\stackrel{\‾}{p}}_d,{\stackrel{\‾}{q}}_d)C(q,{\stackrel{\‾}{q}}_d)}{{\mathrm{\Σ}}_{q\∈N_p,{\stackrel{\‾}{q}}_d\∈N_{{\stackrel{\‾}{p}}_d}}w(p,q)w({\stackrel{\‾}{p}}_d,{\stackrel{\‾}{q}}_d)}$

其中，N_p、

分别为p点和

点的累积窗口，q点和点分别为N_p、

中的任意点，w(p，q)、

分别为p点与

点邻域内的点相对于中心的权值；采用WTA(winner takes all)算法，对每个像素，在已经确定的视差范围[d_c-δ，d_c+δ]内，选择令匹配代价C′(p，

)最小的视差作为该点的视差，得到初始视差图；

(3)交叉稳定性检测

用上述方法获得另一视图的初始视差图，设两视差图分别为

和

根据左右视差一致性原则进行交叉检测：

其中表示像素点(x_L，y_L)的视差值，

表示(x_L，y_L)的匹配点的视差值，把两个视差图中视差值不一致的点标记为遮挡点，视差值一致的点标记为匹配点；

再对匹配点进行匹配稳定性检测，标记出稳定匹配点，方法如下：对于视差范围[d_c-δ，d_c+δ]，比较某一像素点p的匹配代价函数C′(p，)，记其中最小值为

记其中次小值为

当

大于一个预设的阈值时，把该点标记为稳定点，否则标记为不稳定点；

(4)基于图像分割控制的BP算法

构造能量函数如下：

$E\left(d\right)=\underset{p\∈P}{\mathrm{\Σ}}{C}_p\left(d_p\right)+\underset{(q,p)\∈N}{\mathrm{\Σ}}{w}_{\mathrm{pq}}f(d_p,d_q)$

其中，P为所有点的集合，p为集合中的任意点，C_p(d_p)为p点视差为d_p时的匹配代价，f(d_p-d_q)表示相邻两点p、q的视差分别为d_p、d_q时的能量，w_pq表示权值，使用4连接邻域系统，即一个像素点的视差只与相邻的四个像素的视差有关；

使用BP算法最小化能量函数，得出使得能量函数取得最小值的视差场。

2.如权利要求1所述的基于边界控制置信传播的立体图像视差估计方法，其特征是，采取的视差甄别与初始视差估计流程细化如下：

1)根据区域分割结果，选取右视图中第m个分割区域L_m作为第m个相关窗口，m＝1，2，3...M；

2)预估视差范围[d_min，d_max]，这里拟设定d_min＜0，d_max＞0，即对相关窗口L_m双向滑动，以甄别正负视差，运用已定义的代价函数C(p，

)寻找左视图中的匹配区域，随着相关窗口L_m的逐步移动，累计L_m窗口与相关区域间所有像素点的匹配代价，当匹配代价最小时，记录此时的视差值为d_c，并确定该区域的视差范围为[d_c-δ，d_c+δ]，重复以上步骤直至右视图中所有分割区域的视差范围计算完毕。

3.如权利要求1所述的基于边界控制置信传播的立体图像视差估计方法，其特征是，权值w(p，q)大小的计算法方法如下：

考虑区域分割结果对权值的影响，采用分割算法分别对左右视图进行分割，分割后的每个区域用序号来标识，利用立体图像对的区域分割结果设置匹配权值，并假设同一个分割区域内视差是一致的，权值计算公式设计如下：

$w(p,q)=\left\{\begin{array}{cc}1& q\∈S_p\\ 0& q\∉S_p\end{array}\right.$

其中S_p为点p所在的区域，当p和q处于同一区域时，两点视差相似，所以设置权值为1，当两点处于不同的区域，设置权值为0；

采用WTA(winner takes all)算法，对每个像素，在已经确定的视差范围[d_c-δ，d_c+δ]内，选择令匹配代价C′(p，)最小的视差作为该点的视差，得到初始视差图。

4.如权利要求1所述的基于边界控制置信传播的立体图像视差估计方法，其特征是，根据w_pq的变化，把BP算法分为两个阶段进行；第一个阶段，根据分割信息和遮挡信息确定w_pq：

w_pq＝Scue_pqOcue_pq

其中，Scue_pq为分割信息，计算公公如下：

${\mathrm{Scue}}_{\mathrm{pq}}=\left\{\begin{array}{cc}0& p\∉S\left(q\right)\\ 1& p\∈S\left(q\right)\end{array}\right.$

其中，S_p是点p所在的图像区域，根据视差分段平滑假设，当p和q处于同一区域时，两像素视差相似，令w_pq等于1，允许信息传播；当p和q处于不同区域时，两像素视差没有关联，令w_pq等于0，不允许信息传播；

把遮挡区域的右边界作为的遮挡区域与前景的边界，得出的遮挡信息为：

${\mathrm{Ocue}}_{\mathrm{pq}}=\left\{\begin{array}{cc}0& p\∈S_{\mathrm{occ}},q\∈S_{\mathrm{nonocc}}\\ 1& \mathrm{others}\end{array}\right.,$

其中，S_occ为遮挡区域，S_nonocc为非遮挡区域，具p点在q点的左边；

BP算法的第二阶段，令所有的w_pq等于1，即允许任意相邻两点间传播信息。

Images