CN107341822B - 一种基于最小分支代价聚合的立体匹配方法 - Google Patents

Abstract

本发明公开了一种基于最小分支代价聚合的立体匹配方法。所述的最小分支构建于有向图，有向图的方向是由图像像素点的梯度信息决定的。在最小分支构建完成后，输入图像被分割成很多碎片，碎片的大小和强度信息能够有效的区分图像的强弱纹理区域，再根据碎片的大小和相似性将最可能处于同一视差下的碎片连接在一起，最后在所建立的完整最小分支结构上执行代价聚合步骤。基于最小分支的代价聚合方法保留了更多的图像自然信息，使得代价聚合结果更加准确，从而有效的提高了立体匹配的精度。

Description

一种基于最小分支代价聚合的立体匹配方法

技术领域

本发明属于图像处理技术领域，涉及一种基于最小分支代价聚合的立体匹配方法。

背景技术

在过去十年中，立体匹配在计算机视觉领域受到了极大的关注。学者们已经提出了许多优异的方法来显着地提高现有技术水平。立体匹配的目标是寻找两个行矫正后的左右图像中匹配的对应点。

立体匹配算法可以分为局部算法和全局算法两类。通常包括四个步骤：⑴计算每个像素的匹配成本，⑵根据窗口或特定结构聚合匹配代价，⑶计算视差值，⑷视差精化

在这些步骤中，代价聚合的质量对立体匹配算法的成功影响最大。它是最先进的局部算法的关键因素，也是一些顶级全局算法的主要构建块。大多数现有的全局方法在牺牲速度的前提下提高精度。相比之下，局部方法能达到较好的实时性，通常被认为是更有效的方法。虽然基于局部特征的方法具有快速的运行时间，但也需要更高的精度。一种基于双边滤波的代价聚合算法能够非常有效的保护图像深度边缘，并且在Middlebury数据集上得到了精度很高的视差图。然而，高视差精度通常需要较大的内核大小(例如35×35)，这使得该方法计算复杂度很高。为了克服这个缺陷，出现了如快速双边滤波器和实时双向滤波器。但是由于这些方法依赖于量化所以降低了匹配性能。一种基于非局部代价聚合的新算法能够快速建立立体图像中相关像素之间的对应关系，该算法基于由立体图像对构建的最小生成树上的像素相似度来自适应地聚合匹配成本值以保留深度边缘。由于非局部算法不具有区域的概念，因此在处理无纹理区域方面仍然存在一些问题。一种改进的树结构-分割树引入区域的概念，在一定程度上改善了无纹理问题。一种基于融合树的代价聚合方法利用SLIC方法分割图像并且基于像素和区域计算两次MST，在提高精度的同时也大幅提高了运行时间。

发明内容

本发明目的是提供一种高精度匹配的基于最小分支代价聚合的立体匹配方法。

本发明提供一种基于最小分支代价聚合的立体匹配方法，该方法包括以下步骤：

S1：将经过矫正的左图像I_L和右图像I_R作为参考图像和目标图像。

S2：基于图像相邻像素点之间的梯度差的正负对左右图像分别构建有向图I'_L和I'_R。

S3：在有向图I'_L和I'_R上利用Tarjan算法构建最小树形图，为了保证树形图一定存在，需要添加一个虚拟节点，从虚拟节点构建直线连接有向图的每个节点，权重为无穷大。构建完最小树形图之后去掉虚拟节点和虚拟节点所连接的边，形成一个个独立的根树，每个根树代表一个碎片区域。

S4：对左右图像计算相邻碎片区域之间的两类连接边，一种边连接相邻两区域的叶子节点，权重为w_e1。另一种边连接相邻两区域的根节点，权重为w_e2。

S5：将S4中所计算的两类边按w_e1，λw_e2进行升序排列并依次判断：若该边所连接的两碎片大小和相似性满足三个区域连接条件，则用由区域间颜色差决定的权重边连接两碎片，一次遍历后，不满足连接条件的碎片用无穷大权重的边连接，最终形成完整的最小分支结构。

S6：令p为左图像I_L中当前待匹配像素点，视差d的取值范围是D＝[d_min,d_max]，利用代价函数求得像素点p和右图像I_R中的所有候选匹配点p_d的匹配代价，候选匹配点的匹配代价为Cost(p,p_d,d)。

S7：在左右图上构建的完整最小分支上执行代价聚合，从根节点到叶子节点和从叶子节点到根节点两个方向遍历最小分支结构，节点p在视差d下的代价为CostA(p,p_d,d)。

S8：根据WTA选择左右图中每个像素点最小匹配代价对应的视差值作为该点的视差值，生成左右视差图D₁和D₂。

S9：根据两幅视差图D₁和D₂进行左右一致性检查。

S10：根据检查结果更新左视差图中的像素点代价值。

S11：在左图中根据更新的代价值重新进行代价聚合和WTA策略选择视差，生成最终的视差图。

进一步的，S2中构建有向图的方法为：令i，j表示图像上一对相邻的像素点，则表示两点的梯度值，若构建两条连接线分别指向i和j。若构建一条连接线由j指向i，反之构建连接线从i指向j。

进一步的，S4中所述w_e1和w_e2计算公式为：

w_e2＝|avg(U)-avg(V)|

其中p1和p2表示相邻两区域U和V的叶子节点，avg(U)和avg(V)代表U和V的平均颜色强度。

avg(U)＝Col_sum(U)/size(U)

Col_sum(U)表示区域U中所有点的RGB三个通道颜色值之和，size(U)表示区域U包含点的总数。

进一步的，S5中λ取0.2，由于每个区域的根节点较叶子节点不易受边界节点的影响，所以赋予根节点之间的连接边更小的选择权重。区域连接条件：

size(U)-size(V)≤α

size(U)≤β或者size(V)≤β

c＜min(Int(U)+τ(U),Int(V)+τ(V))

其中α＝β＝50，c表示当前判断的边的权重，Int(U)，Int(V)表示区域U,V里面的最大的边权重。

τ(U)＝k/size(U)

k＝m*n/s

m和n表示图像的宽度和高度，s＝200。τ(U)控制两个区域之间的差异在多大程度上小于区域内差异才能被连接。连接两区域的边的权重计算同w_e1。

进一步的，S6中代价函数的计算公式为：

颜色代价：

梯度代价：C_g(p,q)＝min(|I_L(p)-I_R(q)|,τ_g)

代价函数：Cost(p,q)＝w*C_c(p,q)+(1-w)*C_g(p,q)

其中τ_c，τ_g分别表示颜色和梯度的阈值，取值7和2。w表示颜色代价所占权重，取0.11。

进一步的，S7中代价聚合函数的计算公式为：

其中表示q点的总聚合代价，Pr(p)表示p点的父节点，表示从叶子节点到根节点代价聚合过程中p点在视差d下的聚合代价。

其中D(p,q)表示p点和q点之间边的权重和，σ＝0.1。

其中C_d(p)表示p点在视差d下的匹配代价，Ch(p)表示点p的子节点。

进一步的，S8中所述的采用WTA策略选择具有最小代价值的候选点作最优匹配点具体为：像素p点的视差：d＝argmin_d∈DCost(p,p_d,d)

进一步的，S9中所述的左右一致性检查为：对于D₁中的点p，视差值是d₁，则p在D₂中的对应点是p-d₁，p-d₁的视差值记为d₂。若d₁≠d₂，p被标记为误匹配点。

进一步的，S10中所述更新代价值步骤为：若p为误匹配点，则对于视差范围内所有d，Cost(p,p_d,d)＝0否则Cost(p,p_d,d)＝|d-d₁|。

本发明是第一个用到梯度信息建立像素点之间联系的立体匹配算法，打破了传统的观念：图像只能被建立成无向图，第一次尝试在有向图上进行立体匹配算法。在构建最小分支后，图像被分割成大量碎片，能够有效的区分图像的有无纹理区域，有利于提高立体匹配算法的准确性。本发明首次提出了在有向图上进行立体匹配的算法，同时提供的图像分割算法能够有效的区分图像的有无纹理区域，该算法具有很大的发展前景。

附图说明

图1为有向图示意图。

图2为构建最小分支的过程。

图3为区域之间的两类连接边示意图。

图4为连接后的完整的最小分支结构。

图5为左右一致性检查后的误匹配图。

图6为本文算法和其他算法生成的视差图对比。其中，(a)为Ground truth图，(b)为本文算法结果，(c)为Non-Local算法结果，(d)为Segment-Tree算法结果。

图7为本发明的方法流程图。

具体实施方式

下面，将结合附图1～6进一步详细说明本发明的具体实施方式

本发明基于最小分支代价聚合的立体匹配方法，具体实施步骤如下：

S1：将经过矫正的左图像I_L和右图像I_R分别作为参考图像和目标图像。

S2：基于图像相邻像素点之间的梯度差的正负对左右图像分别构建有向图I'_L和I'_R。令i，j表示图像上一对相邻的像素点，则表示两点的梯度值，若构建两条连接线分别指向i和j。若构建一条连接线由j指向i，反之构建连接线从i指向j，如图1所示。

S3：在有向图I'_L和I'_R上利用Tarjan算法构建最小树形图，为了保证树形图一定存在，需要添加一个虚拟节点，从虚拟节点构建直线连接有向图的每个节点，权重为无穷大。构建完最小树形图之后去掉虚拟节点和虚拟节点所连接的边，形成一个个独立的根树，每个根树代表一个碎片区域，如图2所示。

S4：分别计算每张图像所有碎片区域之间的两类连接边如3所示，边e₁连接相邻两区域的叶子节点，权重边e₂连接相邻两区域的根节点，权重w_e2＝|avg(U)-avg(V)|。其中p1和p2表示相邻两区域U和V的叶子节点，avg(U)和avg(V)代表区域U和V的平均颜色强度。avg(U)＝Col_sum(U)/size(U)，Col_sum(U)表示区域U中所有像素点的RGB三通道颜色值之和，size(U)表示区域U中像素点的个数。

S5：将S4中所计算的两类边按w_e1，λw_e2进行升序排列并依次判断：若该边所连接的两碎片大小和相似性满足三个区域连接条件，则用由区域间颜色差决定的权重边连接两碎片，一次遍历后，不满足连接条件的碎片用无穷大权重的边连接，最终形成完整的最小分支结构。如图4所示，虚线边代表S4中所计算的区域间连接边。

区域连接条件为：

size(U)-size(V)≤α

size(U)≤β或者size(V)≤β

c＜min(Int(U)+τ(U),Int(V)+τ(V))

其中α＝β＝50，c表示当前判断的连接边的权重，Int(U)，Int(V)表示区域U,V里面的最大的边权重。

τ(U)＝k/size(U)

k＝m*n/s

m和n表示参考图像的宽度和高度，s＝200。τ(U)控制两个区域之间的差异在多大程度上小于区域内差异才能被连接。连接两区域的边权重计算同w_e1。

S6：令p为左图像I_L中当前待匹配像素点，视差d的取值范围是D＝[d_min,d_max]，利用代价函数求得像素点p和右图像I_R中的所有候选匹配点p_d的匹配代价，候选匹配点的匹配代价为Cost(p,p_d,d)。

代价函数的计算公式为：

颜色代价：

梯度代价：C_g(p,q)＝min(|I_L(p)-I_R(q)|,τ_g)

代价函数：Cost(p,q)＝w*C_c(p,q)+(1-w)*C_g(p,q)

其中τ_c，τ_g分别表示颜色和梯度的阈值，取值7和2。w表示颜色代价所占权重，取0.11。

S7：在左右图上构建的完整最小分支上执行代价聚合，从根节点到叶子节点和从叶子节点到根节点两个方向遍历最小分支结构，节点p在视差d下的代价为CostA(p,p_d,d)。

其中表示q点的总聚合代价，Pr(p)表示p点的父节点，表示从叶子节点到根节点代价聚合过程中p点在视差d下的聚合代价。

其中D(p,q)表示p点和q点之间边的权重和，σ＝0.1。

其中C_d(p)表示p点在视差d下的匹配代价，Ch(p)表示点p的子节点。

S8：根据WTA选择左右图中每个像素点最小匹配代价对应的视差值作为该点的视差值，生成左右视差图D₁和D₂。

S9：根据两幅视差图D₁和D₂进行左右一致性检查。对于D₁中的点p，视差值是d₁，则p在D₂中的对应点是p-d₁，p-d₁的视差值记为d₂。若d₁≠d₂，p被标记为误匹配点，如图5所示，黑色点代表误匹配点。

S10：根据检查结果更新左视差图中的像素点代价值，若p为误匹配点，则对于视差范围内所有d，Cost(p,p_d,d)＝0否则Cost(p,p_d,d)＝|d-d₁|。

S11：在左图中根据更新的代价值重新进行代价聚合和WTA策略选择视差，生成最终的视差图。如图6所示，(a)为Ground truth图，(b)为本文算法结果，(c)为Non-Local算法结果，(d)为Segment-Tree算法结果。

本文的实验结果和与其他类似算法的对比，大幅降低了立体匹配的误匹配率：

表1为本发明对比算法NL，ST，HT在Middlebury 2001数据集的测试结果

表2为本发明对比算法NL,ST在Middlebury 2006数据集的测试结果

表3为本发明对比算法NL,ST在Middlebury 2014数据集的测试结果

Claims (7)

1.一种基于最小分支代价聚合的立体匹配方法，其特征在于，该方法包括以下步骤：

S1：将经过矫正的左图像I_L和右图像I_R分别作为参考图像和目标图像；

S2：基于图像相邻像素点之间的梯度差的正负对左右图像分别构建有向图I'_L和I'_R；具体为：令i，j表示图像上一对相邻的像素点，表示两点的梯度值，若构建两条有向连接线分别指向i和j；若构建一条有向连接线由j指向i，反之构建有向连接线从i指向j；

S3：在有向图I'_L和I'_R上利用Tarjan算法构建最小树形图，为了保证树形图一定存在，需要添加一个虚拟节点，从虚拟节点构建直线连接有向图的每个节点，权重为无穷大；构建完最小树形图之后去掉虚拟节点和虚拟节点所连接的边，形成一个个独立的根树，每个根树代表一个碎片区域；

S4：对左右图像计算相邻碎片区域之间的两类连接边，一类边连接相邻两区域的叶子节点，权重为w_e1；另一类边连接相邻两区域的根节点，权重为w_e2；w_e1和w_e2计算公式为：

w_e2＝|avg(U)-avg(V)|

其中p1和p2表示相邻两区域U和V的根树的叶子节点，avg(U)和avg(V)代表区域U和V的平均颜色强度；

avg(U)＝Col_sum(U)/size(U)

Col_sum(U)表示区域U中所有像素点的RGB三通道颜色值之和，size(U)表示区域U中像素点的个数；

S5：将S4中所计算的两类边按w_e1，λw_e2进行升序排列并依次判断：若当前边所连接的两碎片大小和相似性满足三个区域连接条件，则用由区域间颜色差决定的权重的边连接两碎片，一次遍历后，不满足连接条件的碎片用无穷大权重的边连接，最终形成完整的最小分支结构；所述的区域连接条件为：

size(U)-size(V)≤α；

size(U)≤β或者size(V)≤β；

c＜min(Int(U)+τ(U),Int(V)+τ(V))

其中α＝β＝50，c表示当前判断的连接边的权重，Int(U)，Int(V)分别表示区域U,V里面的最大的边权重；

τ(U)＝k/size(U)；

k＝m*n/s

m和n表示参考图像的宽度和高度，s＝200；τ(U)控制两个区域之间的差异在多大程度上小于区域内差异才能被连接；连接两区域的边权重计算同w_e1；

S6：令p为左图像I_L中当前待匹配像素点，视差d的取值范围是D＝[d_min,d_max]，利用代价函数求得像素点p和右图像I_R中的所有候选匹配点p_d的匹配代价，候选匹配点的匹配代价为Cost(p,p_d,d)；

S7：在左右图像上构建的完整最小分支上执行代价聚合，从根节点到叶子节点和从叶子节点到根节点两个方向遍历最小分支结构，节点p在视差d下的代价为CostA(p,p_d,d)；

S8：根据WTA策略，即选择左右图像中每个像素点最小匹配代价对应的视差值作为该点的视差值，生成左右视差图D₁和D₂；

S9：根据两幅视差图D₁和D₂进行左右一致性检查；

S10：根据检查结果更新左视差图中的像素点代价值；

S11：在左视差图中根据更新的代价值重新进行代价聚合和WTA策略选择视差，生成最终的视差图。

2.根据权利要求1所述的基于最小分支代价聚合的立体匹配方法，其特征在于：S5中λ取0.2。

3.根据权利要求1或2所述的基于最小分支代价聚合的立体匹配方法，其特征在于：

S6中代价函数的计算公式为：

颜色代价：

梯度代价：C_g(p,q)＝min(|I_L(p)-I_R(q)|,τ_g)

代价函数：Cost(p,q)＝w*C_c(p,q)+(1-w)*C_g(p,q)

其中τ_c，τ_g分别表示颜色和梯度的阈值，取值7和2；w表示颜色代价所占权重，取0.11。

4.根据权利要求3所述的基于最小分支代价聚合的立体匹配方法，其特征在于：

S7中代价聚合的计算公式：

其中表示q点的总聚合代价，Pr(p)表示p点的父节点，表示从叶子节点到根节点代价聚合过程中p点在视差d下的聚合代价；

其中D(p,q)表示p点和q点之间边的权重和，σ＝0.1；

其中C_d(p)表示p点在视差d下的匹配代价，Ch(p)表示点p的子节点。

5.根据权利要求4所述的基于最小分支代价聚合的立体匹配方法，其特征在于：

S8中采用WTA策略选择具有最小代价值的候选点作最优匹配点具体为：

像素p点的视差：

d＝argmin_d∈DCost(p,p_d,d)。

6.根据权利要求4或5所述的基于最小分支代价聚合的立体匹配方法，其特征在于：

S9中所述的左右一致性检查为：对于D₁中的点p，视差值是d₁，则p在D₂中的对应点是q，q的视差值记为d₂；若d₁≠d₂，p被标记为误匹配点。

7.根据权利要求6所述的基于最小分支代价聚合的立体匹配方法，其特征在于：

S10中所述更新代价值步骤为：若p为误匹配点，则对于视差范围内所有d，Cost(p,p_d,d)＝0否则Cost(p,p_d,d)＝|d-d₁|。