CN101877129B - 基于最小和缓存加速策略的泛化置信度传播的双目立体视觉匹配方法 - Google Patents

Abstract

一种基于最小和缓存加速策略的泛化置信度传播的双目立体视觉匹配方法，包括以下步骤：1)采集双目的左右两幅图像，建立马尔可夫随机场；2)产生多尺度马尔可夫随机场，第k层的大小是第k+1层大小的四分之一；3)设在多尺度马尔可夫随机场中共有n层，按从1到n的顺序分别对n个马尔可夫随机场进行求解，将第i层的计算结果传递到第i+1层；4)在最底层马尔可夫随机场求解完成后，取代价值最小的那个状态作为该变量的最终状态，即为该变量所对应图像中点的视差值。本发明有效降低复杂度、减少计算量。

Description

基于最小和缓存加速策略的泛化置信度传播的双目立体视觉匹配方法

技术领域

本发明涉及图像处理、计算机视觉、计算方法、数学、数值方法领域，尤其是计算机视觉的双目立体视觉匹配方法。

背景技术

目前，立体视觉匹配问题的研究已经取得了很大的进展。特别是基于全局优化的匹配算法，已经成为了解决匹配问题的主要方法，得到了广泛的运用。其能得到如此关注的原因是因为匹配问题可以很好地被建模为一个马尔可夫随机场(MRF)或条件随机场(CRF)的优化问题。这类问题在许多学科中都有设计，由此产生的很多算法都可以运用到匹配问题的解决当中来。

其中，基于置信度传播(Belief Propagation)的算法是一种目前受到广泛关注的方法。它的主要思想是通过节点之间置信度的传播实现整个模型的逐步收敛。其最初是在文献(Pearl J..Probabilistic reasoningin intelligent systems：networks of plausible inference[M](智能系统中的概率推演：可信度推演网络)，San Francisco：Morgan KaufmannPublishers Inc.，1988.)中提出的，然后在文献(Sun Jian，Zheng Nan-Ning，et al..Stereo matching using belief propagation[J](使用置信度传播的匹配算法).IEEE transactions on Pattern Analysis and Machine Intelligence.2003，25(7)：787-800.)中第一次引入到求解匹配问题中。

置信度传播算法的一个最大的问题是只有在无环的图结构中才被证明可以收敛，而像匹配问题中使用到的网格状的马尔可夫随机场模型具有大量的环状结构，这样就会造成结果的不稳定。对于这个问题主要有三种解决方法，第一种是将迭代的次数设定在一个比较小的次数上，不用等到算法收敛就直接停止迭代。这也是最简单，最常用的一种解决方法；第二种是将邻近两次迭代过程中置信度变化不大或没有变化的节点移除出迭代过程，使得当迭代过程的不断进行，节点数量逐渐减少，当没有节点参与迭代时，迭代自动终止；第三种方法是在每次迭代中都先构造一棵生成树，迭代在该生成树中进行，如文献(Wainwright M.J.，Jaakkola T.S.，et al..MAP estimation via agreementon trees：message-passing and linear programming[J](使用树的统一性的最大后验概率估计：信息传递和线性规划).IEEE Transactions onInformation Theory.2005，51(11)：3697-3717.)和(Kolmogorov V..Convergent tree-reweighted message passing for energy minimization[J](使用收敛的树型信息传递的能量最小化方法).IEEE Transactions onPattern Analysis and Machine Intelligence.2006.10，28(10)：1568-1583.)中所示。由于生成树中没有环状结构，所以不会产生不收敛的结果。而且文献(Szeliski R.，Zabih R.，et al..A comparative study of energyminimization methods for markov random fields with smoothness-basedpriors[J](对基于光滑先验概率的马尔可夫随机场进行能量最小化的算法的比较研究).IEEE Transactions on Pattern Analysis and MachineIntelligence.2008，30(6)：1068-1080.)中的实验表明，该方法在匹配问题中可以得到比传统的置信度传播算法更稳定的匹配结果。

另外一种置信度传播算法的扩展是泛化置信度传播算法。该算法是传统置信度传播算法的一种扩展。它最早是由Yedidia及其他研究者提出的(Yedidia J.S.，Freeman W.T.，et al..Generalized beliefpropagation[J](泛化置信度传播算法).Neural Information ProcessingSystems.2000，13：689-695.)。泛化置信度传播算法的总体思想是将图结构中的各节点进行聚类，在各聚类间进行信息传播。它并没有制定具体的聚类或者说分块策略，只是一个框架性的算法。文献(YedidiaJ.S.，Freeman W.T.，et al..Constructing free-energy approximations andgeneralized belief propagation algorithms[J](构造自由能估计算法和泛化置信度传播算法).IEEE transactions on information theory，2005，51(7)：2282-2312.)对泛化置信度传播算法的聚类方式进行了讨论，提出了用一种区域图的图结构来表示各种不同的聚类结果，同时还在区域图上讨论了泛化置信度传播算法的收敛性质。由于该算法计算量较大，所以在匹配问题中还没有出现应用实例。

发明内容

为了克服现有的针对泛化置信度传播算法的双目图像匹配方法的较高复杂度，较大计算量的不足，本发明提出了基于最小和的缓存加速策略，使得泛化置信度传播算法的性能得到了很大加强，从而成功将其应用于双目视觉中匹配问题的求解过程中，提供了一种有效降低复杂度、减少计算量的基于最小和缓存加速策略的泛化置信度传播的双目立体视觉匹配方法。

本发明解决其技术问题所采用的技术方案是：

一种基于最小和缓存加速策略的泛化置信度传播的双目立体视觉匹配方法，所述双目立体视觉匹配方法包括以下步骤：

1)采集双目的左右两幅图像，将左图中的每一个像素点都作为一个变量，然后保持这些变量在图像坐标中的相对位置不变，进行4邻域连接，得到马尔可夫随机场的拓扑结构，然后按公式(1)和公式(2)分别计算马尔可夫随机场中的各变量的各状态代价值，以及各连接边的代价值：

$D\left(f_p\right)=\mathrm{\λ}\·\min (\sqrt{\underset{c\∈\{L,a,b\}}{\mathrm{\Σ}}{(I_c^L\left(p\right)-I_c^R(p-f_p))}^2},T)---\left(1\right)$

V(f_p，f_q)＝min(|f_p-f_q|，K)         (2)

其中，λ表示代价权重，它影响到点代价在整个能量函数中所占有的比重；f_p和f_q分别表示变量p和q的状态序号；T表示截断值；颜色向量距离采用欧氏距离来表征，K表示截断值；I_c ^L(p)和I_c ^R(p)分别表示左图和右图中p点处的c通道的颜色值；

2)产生多尺度马尔可夫随机场，第k层的大小是第k+1层大小的四分之一；

3)设在多尺度马尔可夫随机场中共有n层，按从1到n的顺序分别对n个马尔可夫随机场进行求解；首先，使用泛化置信度传播算法对每一层的马尔可夫随机场分别求解，原始的泛化置信度传播算法使用公式(3)和公式(4)来进行信息传递：

其中，φ_s＝φ_s(x_s)＝D(x_s)，m_s→u＝m_s→u(x_u)表示当变量u选定状态x_u时，变量s向变量u传递的点信息，m_st→uv＝m_st→uv(x_u，x_v)表示当变量u和变量v选定状态x_u和x_u时，变量s和变量t之间的边向变量u和变量v之间的边传递的边信息；

对公式(3)和公式(4)进行负对数操作，并对其中的独立计算进行缓存，得到两条新的公式，即公式(5)和公式(6)：

$m_{s\→u}^t\left(x_u\right)=\underset{x_s}{\min }(P_s\left(x_s\right)+Q_{\mathrm{su}}(x_s,x_u))---\left(5\right)$

$m_{\mathrm{st}\→\mathrm{uv}}^t(x_u,x_v)=\underset{x_s,x_t}{\min }({Q_{\mathrm{su}}}^{\′}(x_s,x_u)+{Q_{\mathrm{tv}}}^{\′}(x_t,x_v)+{Q_{\mathrm{st}}}^{\′}(x_s,x_t))-m_{s\→u}^{t-1}-m_{t\→v}^{t-1}---\left(6\right)$

其中，上标表示当前的迭代序号。

$P_s\left(x_s\right)=D\left(x_s\right)+\underset{i=\{a,b,c\}}{\mathrm{\Σ}}{m}_{i\→s}^{t-1}\left(x_s\right);$

$Q_{\mathrm{su}}(x_s,x_u)=V(x_s,x_u)+\underset{i=\{\mathrm{bd},\mathrm{ce}\}}{\mathrm{\Σ}}{m}_{i\→\mathrm{su}}^{t-1}(x_s,x_u);$

${Q_{\mathrm{su}}}^{\′}=D\left(x_s\right)+V(x_s,x_u)+m_{a\→s}^{t-1}\left(x_s\right)+m_{c\→s}^{t-1}\left(x_s\right)+m_{\mathrm{ce}\→\mathrm{su}}^{t-1}(x_s,x_u);$

${Q_{\mathrm{tv}}}^{\′}=D\left(x_t\right)+V(x_t,x_v)+m_{b\→t}^{t-1}\left(x_t\right)+m_{d\→t}^{t-1}\left(x_t\right)+m_{\mathrm{df}\→\mathrm{tv}}^{t-1}(x_t,x_v);$

${Q_{\mathrm{st}}}^{\′}=V(x_s,x_t)+m_{\mathrm{ab}\→\mathrm{st}}^{t-1}(x_s,x_t)$ 均是缓存变量；

然后分点传递和边传递两部分分别进行信息传递，在点传递过程中，首先选择所有非相邻的变量同步进行上下左右四个方向的传递，再选择在前一步中没有进行传递的变量进行同样方式的传递；在边传递过程中，分为水平边传递和垂直边传递两部分，其中，水平边传递分过程中，首先选择非相邻的水平边进行同步上下两个方向的传递，再选择在前一步中没有进行传递的水平边按同样方式进行传递；然后进行垂直边传递，其传递方式和水平边传递相同；每一层次设定迭代次数，迭代完成后，将第i层的计算结果传递继承到第i+1层；

4)在最底层马尔可夫随机场求解完成后，按下式计算每个变量的代价值：

$C_s^t\left(x_s\right)=\underset{i=\{a,b,c,d\}}{\mathrm{\Σ}}{m}_{i\→s}^t\left(x_s\right)---\left(7\right)$

然后取代价值最小的那个状态作为该变量的最终状态，即为该变量所对应图像中点的视差值。

进一步，所述步骤1)中，点代价计算是在CIELAB颜色空间中进行。

再进一步，所述步骤3)中，第i层的计算结果传递继承到第i+1层的继承过程分为点信息继承和边信息继承两部分，在点信息继承中，第i层中的任意一个变量都有4条点信息需要继承，每一条点信息由第i+1层中相对应的4个变量继承；在边信息继承中，分为水平边信息继承和垂直边信息继承两部分，水平边信息继承中，第i层中的任意一条水平边都有2条边信息需要继承，每一条边信息由第i+1层中相应的2条边继承，垂直边的继承过程和水平边继承过程相同。

本发明的技术构思为：使用基于最小和的缓存加速策略加快泛化置信度传播算法的计算速度。

本发明的有益效果主要表现在：大大加速了泛化置信度传播算法的计算速度。

附图说明

图1是多尺度马尔可夫随机场的建立过程的示意图。

图2和图3分别是在泛化置信度传播算法的一次迭代过程中两种信息的传递顺序的示意图。

图4、图5、以及图6是多尺度马尔可夫随机场层次之间的信息继承过程的示意图。

具体实施方式

下面结合附图对本发明做进一步描述。

参照图1～图6，一种基于最小和缓存加速策略的泛化置信度传播的双目图像匹配方法，所述计算机双目立体视觉匹配方法包括以下步骤：

1)使用左右两幅图像，计算得到相对应的马尔可夫随机场。

2)产生多尺度马尔可夫随机场，第k层的大小是第k+1层大小的四分之一。

3)设在多尺度马尔可夫随机场中共有n层，按从1到n的顺序分别对n个马尔可夫随机场进行求解。在计算过程中，将第i层的计算结果传递到第i+1层。

4)在最底层马尔可夫随机场求解完成后，计算每个点最终状态值，即每个像素点的视差值。

在步骤1)中，将左图中的每一个像素点都作为一个变量，然后保持这些变量在图像坐标中的相对位置不变，进行4邻域连接，得到的就是马尔可夫随机场的拓扑结构。然后按公式(1)和公式(2)分别计算马尔可夫随机场中的各变量的各状态代价值，以及各连接边的代价值。

$D\left(f_p\right)=\mathrm{\λ}\·\min (\sqrt{\underset{c\∈\{L,a,b\}}{\mathrm{\Σ}}{(I_c^L\left(p\right)-I_c^R(p-f_p))}^2},T)---\left(1\right)$

V(f_p，f_q)＝min(|f_p-f_q|，K)           (2)

其中，λ表示代价权重，它影响到点代价在整个能量函数中所占有的比重；f_p和f_q分别表示变量p和q的状态序号；T表示截断值；颜色向量距离采用欧氏距离来表征，K表示截断值；I_c ^L(p)和I_c ^R(p)分别表示左图和右图中p点处的c通道的颜色值；需要提及的是，为了使代价计算更精确，这里的点代价计算是在CIELAB(the L*a*b*s tandardofCommission Internationale de L′Eclairage)颜色空间中进行的。颜色向量距离采用欧氏距离来表征。K表示截断值。

在步骤2)中，将马尔可夫随机场按图1产生多尺度结构。将每个4点变量集合中的左上变量作为上一层次马尔可夫随机场中的变量。

在步骤3)中，首先，使用泛化置信度传播算法对每一层的马尔可夫随机场分别求解。原始的泛化置信度传播算法使用公式(3)和公式(4)来进行信息传递。

其中，φ_s＝φ_s(x_s)＝D(x_s)，

m_s→u＝m_s→u(x_u)表示当变量u选定状态x_u时，变量s向变量u传递的点信息，m_st→uv＝m_st→uv(x_u，x_v)表示当变量u和变量v选定状态x_u和x_u时，变量s和变量t之间的边向变量u和变量v之间的边传递的边信息；

为了避免使用计算量较大的乘法和除法操作，本发明对以上两条公式进行负对数操作，并对其中的独立计算进行缓存，得到两条新的公式，即公式(5)和公式(6)。

$m_{s\→u}^t\left(x_u\right)=\underset{x_s}{\min }(P_s\left(x_s\right)+Q_{\mathrm{su}}(x_s,x_u))---\left(5\right)$

$m_{\mathrm{st}\→\mathrm{uv}}^t(x_u,x_v)=\underset{x_s,x_t}{\min }({Q_{\mathrm{su}}}^{\′}(x_s,x_u)+{Q_{\mathrm{tv}}}^{\′}(x_t,x_v)+{Q_{\mathrm{st}}}^{\′}(x_s,x_t))-m_{s\→u}^{t-1}-m_{t\→v}^{t-1}---\left(6\right)$

其中，

$P_s\left(x_s\right)=D\left(x_s\right)+\underset{i=\{a,b,c\}}{\mathrm{\Σ}}{m}_{i\→s}^{t-1}\left(x_s\right)$

$Q_{\mathrm{su}}(x_s,x_u)=V(x_s,x_u)+\underset{i=\{\mathrm{bd},\mathrm{ce}\}}{\mathrm{\Σ}}{m}_{i\→\mathrm{su}}^{t-1}(x_s,x_u)$

${Q_{\mathrm{su}}}^{\′}=D\left(x_s\right)+V(x_s,x_u)+m_{a\→s}^{t-1}\left(x_s\right)+m_{c\→s}^{t-1}\left(x_s\right)+m_{\mathrm{ce}\→\mathrm{su}}^{t-1}(x_s,x_u)$

${Q_{\mathrm{tv}}}^{\′}=D\left(x_t\right)+V(x_t,x_v)+m_{b\→t}^{t-1}\left(x_t\right)+m_{d\→t}^{t-1}\left(x_t\right)+m_{\mathrm{df}\→\mathrm{tv}}^{t-1}(x_t,x_v)$

${Q_{\mathrm{st}}}^{\′}=V(x_s,x_t)+m_{\mathrm{ab}\→\mathrm{st}}^{t-1}(x_s,x_t)$

都是缓存变量。

然后分点传递和边传递两部分分别进行信息传递，在点传递过程中，首先选择所有非相邻的变量同步进行上下左右四个方向的传递，再选择在前一步中没有进行传递的变量进行同样方式的传递；在边传递过程中，分为水平边传递和垂直边传递两部分，其中，水平边传递分过程中，首先选择非相邻的水平边进行同步上下两个方向的传递，再选择在前一步中没有进行传递的水平边按同样方式进行传递；然后进行垂直边传递，其传递方式和水平边传递相同，即按图2和图3方式进行顺序计算，其中，箭头方向表明消息的传递起始点。每一层次设定一定的迭代次数，迭代完成后，相关信息由下一层次继承。第i层的计算结果传递继承到第i+1层的继承过程分为点信息继承和边信息继承两部分，在点信息继承中，第i层中的任意一个变量都有4条点信息需要继承，每一条点信息由第i+1层中相对应的4个变量继承；在边信息继承中，分为水平边信息继承和垂直边信息继承两部分，水平边信息继承中，第i层中的任意一条水平边都有2条边信息需要继承，每一条边信息由第i+1层中相应的2条边继承，垂直边的继承过程和水平边继承过程相同，继承过程如图4，图5，图6所示。

再在步骤4)中，按下式计算每个变量的代价值

$C_s^t\left(x_s\right)=\underset{i=\{a,b,c,d\}}{\mathrm{\Σ}}{m}_{i\→s}^t\left(x_s\right)---\left(7\right)$

然后取代价值最小的那个状态作为该变量的最终状态，即为该变量所对应图像中点的视差值。

表1给出了使用本发明进行加速和不使用本发明时的泛化置信度传播算法的运行效率的比较：

表1

本实验的实验环境为具有1.6GHz主频CPU和1G内存的个人电脑。图像对为由Middlebury提供(D.Scharstein and R.Szeliski.“Ataxonomy and evaluation of dense two-frame stereo correspondencealgorithms(一种对双目密集点匹配算法的分类和评价)”，InternationalJournal of Computer Vision，2002，47(1)，pp.7-42.)的“Tsukuba”实验图像对，大小为384×288像素。参数设置为T＝30.0，λ＝0.87，K＝10.0，每个变量的状态数为16，以及多尺度空间的层数为5，每个层次的迭代次数为4次。

Claims (3)

1.一种基于最小和缓存加速策略的泛化置信度传播的双目立体视觉匹配方法，其特征在于：所述双目立体视觉匹配方法包括以下步骤：

1)采集双目的左右两幅图像，将左图中的每一个像素点都作为一个变量，然后保持这些变量在图像坐标中的相对位置不变，进行4邻域连接，得到马尔可夫随机场的拓扑结构，然后按公式(1)和公式(2)分别计算马尔可夫随机场中的各变量的各状态代价值，以及各连接边的代价值：

$D\left(f_p\right)=\mathrm{\λ}\·\min (\sqrt{\underset{c\∈\{L,a,b\}}{\mathrm{\Σ}}{(I_c^L\left(p\right)-I_c^R(p-f_p))}^2},T)---\left(1\right)$

V(f_p，f_q)＝min(|f_p-f_q|，K)    (2)

其中，λ表示代价权重，它影响到点代价在整个能量函数中所占有的比重；f_p和f_q分别表示变量p和q的状态序号；T表示截断值；颜色向量距离采用欧氏距离来表征，K表示截断值；I_c ^L(p)和I_c ^R(p)分别表示左图和右图中p点处的c通道的颜色值；

2)产生多尺度马尔可夫随机场，第k层的大小是第k+1层大小的四分之一；

3)设在多尺度马尔可夫随机场中共有n层，按从1到n的顺序分别对n层马尔可夫随机场进行求解；首先，使用泛化置信度传播算法对每一层的马尔可夫随机场分别求解，原始的泛化置信度传播算法使用公式(3)和公式(4)来进行信息传递：

其中，φ_s＝φ_s(x_s)＝D(x_s)，m_s→u＝m_s→u(x_u)表示当变量u选定状态x_u时，变量s向变量u传递的点信息，m_st→uv＝m_st→uv(x_u，x_v)表示当变量u选定状态x_u和变量v选定状态x_v时，变量s和变量t之间的边向变量u和变量v之间的边传递的边信息；

对公式(3)和公式(4)进行负对数操作，并对其中的独立计算进行缓存，得到两条新的公式，即公式(5)和公式(6)：

$m_{s\→u}^t\left(x_u\right)=\underset{x_s}{\min }(P_s\left(x_s\right)+Q_{\mathrm{su}}(x_s,x_u))---\left(5\right)$

$m_{\mathrm{st}\→\mathrm{uv}}^t(x_u,x_v)=\underset{x_s,x_t}{\min }(Q_{\mathrm{su}}^{\′}(x_s,x_u)+Q_{\mathrm{tv}}^{\′}(x_t,x_v)+Q_{\mathrm{st}}^{\′}(x_s,x_t))-m_{s\→u}^{t-1}-m_{t\→v}^{t-1}---\left(6\right)$

其中，上标表示当前的迭代序号；

$P_s\left(x_s\right)=D\left(x_s\right)+\underset{i=\{a,b,c\}}{\mathrm{\Σ}}{m}_{i\→s}^{t-1}\left(x_s\right);$

$Q_{\mathrm{su}}(x_s,x_u)=V(x_s,x_u)+\underset{i=\{\mathrm{bd},\mathrm{ce}\}}{\mathrm{\Σ}}{m}_{i\→\mathrm{su}}^{t-1}(x_s,x_u);$

$Q_{\mathrm{su}}^{\′}=D\left(x_s\right)+V(x_s,x_u)+m_{a\→s}^{t-1}\left(x_s\right)+m_{c\→s}^{t-1}\left(x_s\right)+m_{\mathrm{ce}\→\mathrm{su}}^{t-1}(x_s,x_u);$

$Q_{\mathrm{tv}}^{\′}=D\left(x_t\right)+V(x_t,x_v)+m_{b\→t}^{t-1}\left(x_t\right)+m_{d\→t}^{t-1}\left(x_t\right)+m_{\mathrm{df}\→\mathrm{tv}}^{t-1}(x_t,x_v);$

$Q_{\mathrm{st}}^{\′}=V(x_s,x_t)m_{\mathrm{ab}\→\mathrm{st}}^{t-1}(x_s,x_t)$ 均是缓存变量；

然后分点传递和边传递两部分分别进行信息传递，在点传递过程中，首先选择所有非相邻的变量同步进行上下左右四个方向的传递，再选择在前一步中没有进行传递的变量进行同样方式的传递；在边传递过程中，分为水平边传递和垂直边传递两部分，其中，水平边传递分过程中，首先选择非相邻的水平边进行同步上下两个方向的传递，再选择在前一步中没有进行传递的水平边按同样方式进行传递；然后进行垂直边传递，其传递方式和水平边传递相同；每一层次设定迭代次数，迭代完成后，将第i层的计算结果传递继承到第i+1层；

4)在最底层马尔可夫随机场求解完成后，按下式计算每个变量的代价值

$C_s^t\left(x_s\right)=\underset{i=\{a,b,c,d\}}{\mathrm{\Σ}}{m}_{i\→s}^t\left(x_s\right)---\left(7\right)$

然后取代价值最小的那个状态作为该变量的最终状态，即为该变量所对应图像中点的视差值。

2.如权利要求1所述的基于最小和缓存加速策略的泛化置信度传播的双目立体视觉匹配方法，其特征在于：所述步骤1)中，点代价计算是在CIELAB颜色空间中进行。

3.如权利要求1或2所述的基于最小和缓存加速策略的泛化置信度传播的双目立体视觉匹配方法，其特征在于：所述步骤3)中，第i层的计算结果传递继承到第i+1层的继承过程分为点信息继承和边信息继承两部分，在点信息继承中，第i层中的任意一个变量都有4条点信息需要继承，每一条点信息由第i+1层中相对应的4个变量继承；在边信息继承中，分为水平边信息继承和垂直边信息继承两部分，水平边信息继承中，第i层中的任意一条水平边都有2条边信息需要继承，每一条边信息由第i+1层中相应的2条边继承，垂直边的继承过程和水平边继承过程相同。

Images