CN106097336A - 基于置信传播和自相似差异测度的前后景立体匹配方法 - Google Patents

Abstract

本发明提供一种基于置信传播和自相似差异测度的前后景立体匹配方法，包括：首先，分别采用置信传播算法和自相似差异测度算法对图像进行立体匹配，获得各自的视差图；然后，利用分段函数融合置信传播算法和自相似差异测度算法，匹配出视差图中的前景信息和背景信息。本发明提供的基于置信传播和自相似差异测度的前后景立体匹配方法，具有很好的立体匹配精度。

Description

基于置信传播和自相似差异测度的前后景立体匹配方法

技术领域

本发明涉及计算机视觉技术领域，更为具体地，涉及一种基于置信传播和自相似差异测度的前后景立体匹配方法。

背景技术

立体匹配是目前最热点的计算机视觉方向之一。其目标是在不同的视点视角及不同的时间地点，在一幅或几幅图片中找出对应点，进而获得一个稠密的深度或视差映射图。

目前常见的立体匹配方法包括局部方法和全局方法。全局方法主要包括图割(GC)和置信传播(BP)方法。全局方法精度较高，但速度相对较慢，难以满足实时、准确、快速的应用，尤其在三维重建、立体视频、机器人导航等对实时性较高的领域无法满足。局部算法虽然速度快，但精度较差。

发明内容

鉴于上述问题，本发明的目的是提供一种基于置信传播和自相似差异测度的前后景立体匹配方法，以解决现有引导滤波的立体匹配方法在大面积的低纹理区域和不连续区域边界存在缺陷的问题。

本发明提供一种基于置信传播和自相似差异测度的前后景立体匹配方法，包括：

步骤S1：分别采用置信传播算法和自相似差异测度算法对图像进行立体匹配，获得各自的视差图；

步骤S2：利用分段函数融合置信传播算法和自相似差异测度算法，匹配出视差图中的前景信息和背景信息。

本发明提供的基于置信传播和自相似差异测度的前后景立体匹配方法，通过分段函数融合置信传播算法和自相似差异测度算法，具有很好的立体匹配的精度。

为了实现上述以及相关目的，本发明的一个或多个方面包括后面将详细说明并在权利要求中特别指出的特征。下面的说明以及附图详细说明了本发明的某些示例性方面。然而，这些方面指示的仅仅是可使用本发明的原理的各种方式中的一些方式。此外，本发明旨在包括所有这些方面以及它们的等同物。

附图说明

通过参考以下结合附图的说明及权利要求书的内容，并且随着对本发明的更全面理解，本发明的其它目的及结果将更加明白及易于理解。在附图中：

图1为根据本发明实施例的基于置信传播和自相似差异测度的前后景立体匹配方法的流程示意图。

在所有附图中相同的标号指示相似或相应的特征或功能。

具体实施方式

在下面的描述中，出于说明的目的，为了提供对一个或多个实施例的全面理解，阐述了许多具体细节。然而，很明显，也可以在没有这些具体细节的情况下实现这些实施例。在其它例子中，为了便于描述一个或多个实施例，公知的结构和设备以方框图的形式示出。

因为详细的细节信息，自相似差异测度在视差图中的前景信息上有较好的优势，由于置信传播推理，而置信传播算法拥有更好的背景映射。因此，本发明提出了基于分段思想，通过结合置信传播算法和自相似差异测度算法，能够提高视差图的效果，从而提高立体匹配精度，尤其是在不连续区域。

以下将结合附图对本发明的具体实施例进行详细描述。

图1示出了根据本发明实施例的基于置信传播和自相似差异测度的前后景立体匹配方法的流程。

如图1所示，本发明提供的基于置信传播和自相似差异测度的前后景立体匹配方法，包括：

步骤S1：分别采用置信传播算法和自相似差异测度算法对图像进行立体匹配，获得各自的视差图。

采用置信传播算法对图像进行立体匹配的过程，包括：

立体匹配可以归纳成能量函数最小化过程。在立体匹配中，可以通过马尔科夫随机场建立视差图模型来解决，并利用最大后验概率获得最优视差值，然后构建能量函数。

步骤S11：构建基于马尔科夫随机场的联合概率函数。

参考图像与模板图像是否匹配，可以通过两个像素的灰度或颜色差来决定。定义数据约束项φ(x_p,y_p)来表示灰度匹配的可信程度，定义平滑约束项Ψ(x_i,y_j)表示平滑匹配可信程度。通过平滑项和数据项的构建，可以得到MRF基于马尔科夫随机场的联合概率函数为：

$P(x_1,x_2,...,x_N,y_1,y_2...,y_N)=\underset{(i,j)}{\Π}\mathrm{\Ψ}(x_i,x_j)\underset{p}{\Π}\mathrm{\φ}(x_p,y_p)---\left(1\right)$

其中：N代表节点数目，(i,j)表示一对相邻节点，x_n代表位于节点n的视差值，y_n代表位于节点n的像素值；

步骤S12：对式(1)取负对数，获得基于置信传播算法的能量函数E(·)：

$E(x_1,x_2,...,x_N,y_1,y_2...,y_N)=\underset{(i,j)}{\Σ}V(x_i,x_j)+\underset{i}{\Σ}D(x_i,y_i),$

其中，D(·)和V(·)代表能量函数的数据项和平滑项；

步骤S13：通过节点的邻域信息更新消息。

置信传播算法是通过在图像四邻域或八邻域网格上通过迭代的方式传递消息来完成，消息更新通过节点的邻域信息，公式如下：

$m_{right}\left(x_j\right)\←\underset{x_i}{max}\mathrm{\Ψ}(x_i,x_j)\mathrm{\Φ}(x_p,x_p)\×m_{right}\left(x_j\right)m_{up}\left(x_j\right)m_{down}\left(x_j\right)$

其中，m_right(x_j),m_up(x_j),m_down(x_j)是代表从节点i上、下、右传来的消息；

步骤S14：更新每个节点的置信度：

$d_s\left(x_s\right)\←{\mathrm{\κm}}_s\left(x_s\right)\underset{x_{k\∈N\left(X_s\right)}}{\Π}{m}_{ks}\left(x_s\right)$

其中，κ代表归一化常量，m_ks(X_s)表示节点k向节点s传播的信息，m_s(x_s)表示节点s的信息,x_s表示位于节点s的视差值,x_k表示位于节点k的视差值；

步骤S15：将s节点的最大置信度作为s节点的最优视差，s节点的最大置信度为：

$d_s^{max}=\arg \max d_s\left(x_s\right)$

步骤S16：通过s节点的最优视差获得视差图的视差值：

d_BP＝arg min E(x_s,y_s)。

其中，σ表示节点s的可能视差集。

采用自相似差异测度算法对图像进行立体匹配的过程，包括：

仅依靠全局算法不足以获得精确的视差值，因为由于全局信息传递，使像素视差值易受临近像素值影响，若是传递信息准确，获得精确的视差值；若存在噪音或相邻像素值不准确会造成视差值偏差。

自相似差异测度算法在一定程度上能避免上述问题，自相似差异测度算法是一个局部算法，结合了绝对灰度差异算法(absolute intensity differences(SAD))和绝对梯度差异算法(absolute gradient-based differences measure(SAGD))。传统的测度仅仅考虑左右图像像素之间的测度关系，没有考虑到梯度测度关系,自相似加权融合了绝对灰度差和基于梯度的测度算法，使算法鲁棒性更强、准确性更高。利用自相似差异测度，其可有效结合图像信息和梯度信息。

设像素位置(x,y)∈Ω,d为视差值，N(x,y)为一个5×5的窗口，I_L和I_R分别表示参考图像和目标图像，则：

绝对灰度差异测度C_SAD(·)的公式为：

$C_{SAD}(x,y,d)=\underset{(i,j)\∈N(x,y)}{\Σ}|I_L(i,j)-I_R(i+d,j)|$

绝对梯度差异测度C_GRAD(·)的公式为：

$C_{GRAD}(x,y,d)=\underset{(i,j)\∈N_X(x,y)}{\Σ}|{\▿}_X{I}_R(i,j)-{\▿}_X{I}_L(i+d,j)|+\underset{(i,j)\∈N_Y(x,y)}{\Σ}|{\▿}_Y{I}_L(i,j)-{\▿}_Y{I}_R(i+d,j)|,$

其中，N_X(x,y)表示没有最右侧的邻域,N_Y(x,y)表示没有最低侧的邻域,▽_X表示X方向的中心差分,▽_Y代表Y方向的中心差分，▽_Y代表Y方向的中心差分，像素位置(x,y)∈Ω,d为视差值，N(x,y)为一个5×5的窗口，I_L和I_R分别表示参考图像和目标图像；

自相似差异测度算法被定义为：

其中，和分别被定义为C_SAD(·)和C_GRAD(·)的权重函数。

之后，采用左右图像的交叉验证和胜者优先算法(WTA算法，为现有技术，故在此不再赘述)，获得视差图的视差值为：

$d_{SD}=\underset{d_s\∈\mathrm{\σ}}{\arg \min }C(s,d_s).$

步骤S2：利用分段函数融合置信传播算法和自相似差异测度算法，匹配出视差图中的前景信息和背景信息。

通过大量实验,可以发现置信传播算法因为采用信息传播,在视差图背景信息方面有很大的优势，特别在低纹理和遮挡区域。同时自相似差异测度算法因为采用绝对灰度差和基于梯度的测度算法，可以有效描述细节信息，有很好的前景信息。因而本发明提出一种结合置信传播算法和自相似差异测度算法的分段立体匹配算法。具体地，在背景信息中采用置信传播算法，在前景信息中，采用自相似差异测度算法，在中间区域结合二者的优势的思路，具体公式如下：

设置置信传播算法的视差值为d_BP，自相似差异测度算法的视差值为d_SD，d^*是通过融合置信传播算法和自相似差异测度算法最终获得的视差值,其属于一个有限的视差集带L离散视差的Γ＝[d₁,d₂,…,d_L],ε为一个误差阈值.具体地，为了避免可能的误差，设置d^*作为较高的权重，接近d^*区域设置较低的权重.分段函数d^*(·)定义如下:

其中，x_p表示位于节点p的视差值,min(d_BP,d_SD)表示取最小值，和分别代表上舍入和下舍入算子，在本发明中，误差阈值

在本发明中，如果视差值小于L/2，认为该视差值是视差图中的背景信息，如果视差值大于L/2，认为该视差值是视差图中的前景信息。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (5)

1.一种基于置信传播和自相似差异测度的前后景立体匹配方法，包括：

步骤S1：分别采用置信传播算法和自相似差异测度算法对图像进行立体匹配，获得各自的视差图；

步骤S2：利用分段函数融合所述置信传播算法和所述自相似差异测度算法，匹配出所述视差图中的前景信息和背景信息。

2.如权利要求1所述的基于置信传播和自相似差异测度的前后景立体匹配方法，其中，在利用所述置信传播算法对图像进行立体匹配的过程中，包括：

步骤S11：构建基于马尔科夫随机场的联合概率函数，所述联合概率函数为：

P(x₁,x₂,…,x_N,y₁,y₂…,y_N)＝ΠΨ(x_i,x_j)Πφ(x_p,y_p)

其中，数据约束项φ(x_p,y_p)表示灰度匹配的可信程度，平滑约束项Ψ(x_i,y_j)表示平滑匹配可信程度，N表示节点数目；(i,j)表示一对相邻节点，x_n表示位于节点n的视差值。y_n表示位于节点n的像素值；

步骤S12：对所述联合概率函数取负对数，获得基于置信传播算法的能量函数E(·)，所述能量函数E(·)为：

E(x₁,x₂,…,x_N,y₁,y₂…,y_N)＝ΣV(x_i,x_j)+ΣD(x_i,y_i)

其中，D(·)和V(·)分别表示所述能量函数E(·)的数据项和平滑项；

步骤S13：通过节点的邻域信息更新消息，公式如下：

其中，m_right(x_j),m_up(x_j),m_down(x_j)表示从节点i上、下、右传来的信息；

步骤S14：更新每个节点的置信度：

$d_s\left(x_s\right)\←{\mathrm{\κm}}_s\left(x_s\right)\underset{x_{k\∈N\left(X_s\right)}}{\Π}{m}_{ks}\left(x_s\right)$

其中，κ表示归一化常量，m_ks(X_s)表示节点k向节点s传播的信息，m_s(x_s)表示节点s的信息，x_s表示位于节点s的视差值，x_k表示位于节点k的视差值；

步骤S15：将s节点的最大置信度作为s节点的最优视差，s节点的最大置信度为：

$d_s^{\max }=\arg \max d_s\left(x_s\right);$

步骤S16：通过s节点的最优视差获得视差图的视差值：

$d_{BP}=\underset{d_s\∈\mathrm{\σ}}{\mathrm{argmin}}E(x_s,y_s).$

其中，σ表示节点s的可能视差集。

3.如权利要求1所述的基于置信传播和自相似差异测度的前后景立体匹配方法，其中，步骤S2包括：

步骤S21：自定义所述自相似差异测度算法为：

其中，和分别被定义为C_SAD(·)和C_GRAD(·)的权重系数；

绝对灰度差异测度C_SAD(·)被定义为：

$C_{SAD}(x,y,d)=\underset{(i,j)\∈N(x,y)}{\Σ}|I_L(i,j)-I_R(i+d,j)|;$

绝对梯度差异测度C_GRAD(·)被定义为：

$C_{GRAD}\left(x,y,d\right)=\underset{\left(i,j\right)\∈N_X\left(x,y\right)}{\Σ}\left|{\▿}_X{I}_R\left(i,j\right)-{\▿}_X{I}_L\left(i+d,j\right)\right|+\underset{\left(i,j\right)\∈N_Y\left(x,y\right)}{\Σ}\left|{\▿}_Y{I}_L\left(i,j\right)-{\▿}_Y{I}_R\left(i+d,j\right)\right|;$

其中，N_X(x,y)表示没有最右侧的邻域,N_Y(x,y)表示没有最低侧的邻域,表示X方向的中心差分,代表Y方向的中心差分，像素位置(x,y)∈Ω,d为视差值，N(x,y)为一个5×5的窗口，I_L和I_R分别表示参考图像和目标图像；

步骤S22：采用左右图像的交叉验证和胜者优先算法获得视差图的视差值为：

$d_{SD}=\underset{d_s\∈\mathrm{\σ}}{\mathrm{argmin}}C(s,d_s).$

4.如权利要求1所述的基于置信传播和自相似差异测度的前后景立体匹配方法，其中，所述分段函数d^*(·)定义为：

其中，x_p表示位于节点p的视差值，min(d_BP,d_SD)表示取最小值，d^*为通过融合所述置信传播算法和所述自相似差异测度算法获得的视差值，其属于一个有限的视差集带L离散视差的Γ＝[d₁,d₂,…,d_L]，ε为误差阈值，和分别代表上舍入和下舍入算子。

5.如权利要求4所述的基于置信传播和自相似差异测度的前后景立体匹配方法，其中，