CN107341823A - 一种基于特征融合的最小分支立体匹配方法 - Google Patents

Abstract

本发明公开了一种基于特征融合的最小分支立体匹配方法，能够有效解决弱纹理区域、不连续区域、遮挡区域的误匹配问题，提高立体匹配精度。最小分支结构首次利用梯度信息构建有向图聚合匹配代价，构建最小分支后图像被分割成若干区域，图像被分割成区域的过程不需要设置任何参数，不仅分割过程自然，而且可以有效地区分图像中的纹理区域，提高了立体匹配准确性。基于特征融合的初始匹配代价计算改善了弱纹理区域和不连续区域的误匹配问题，基于四个方向寻找未遮挡点的左右一致性检测，有效改善了遮挡区域的误匹配问题，进一步提高了立体匹配的准确性。

Description

一种基于特征融合的最小分支立体匹配方法

技术领域

本发明属于立体匹配技术领域，涉及一种基于特征融合的最小分支立体匹配方法。

背景技术

立体匹配技术是计算机视觉领域中一个很有价值的热点问题。立体匹配通常包括四个步骤：(1)计算每个像素点的初始匹配代价；(2)基于一个窗口或特殊结构聚合匹配代价；(3)计算视差；(4)视差优化。

立体匹配算法主要可以三类，局部算法、全局算法和半全局算法。局部算法基于特定窗口聚合匹配代价，运行速度快但是精度差。全局算法的出现提高了立体匹配的准确性，然而较慢的实时性限制了它在实际场景中的应用。半全局算法的提出有效地平衡了立体匹配的速度与精度的关系。一种基于非局部代价聚合的半全局算法利用图像中所有像素点的关系，在图像上构建最小生成树结构，经过两次遍历聚合匹配代价，该算法结果优于之前所有的局部算法。一种基于分割树聚合的半全局算法改善了无纹理区域匹配不当的问题，在提高精度的同时运行时间也大幅提高。

半全局算法具有鲁棒性强和对光照影响不敏感的优势，但仍然存在弱纹理区域、不连续区域、遮挡区域的误匹配问题。

发明内容

针对现有技术的不足，本发明提出一种基于特征融合的最小分支立体匹配方法，能够有效解决弱纹理区域、不连续区域、遮挡区域的误匹配问题，提高立体匹配精度。

一种基于特征融合的最小分支立体匹配方法，包括以下步骤：

步骤1、获取待处理图像左图和右图分别作为参考图像和目标图像，对两幅图像做预处理；

步骤2、基于特征融合方法计算两幅预处理后图像的初始匹配代价；具体为：

对两幅图分别进行Census变换和局部二值模式(Local Binary Pattern,LBP)变换，求出相应的初始匹配代价值；

基于颜色特征和梯度特征分别计算相应的初始匹配代价值；

使用归一化函数，将四种匹配代价值融合成最终的初始匹配代价值。

步骤3、基于相邻像素的梯度差，在预处理后的两幅图上构建有向图；

步骤4、在两幅有向图上使用Tarjan算法构建最小树形图，最小树形图构建完成后，图片被分割成若干有根树，每个有根树代表一个区域；具体为：

在左图和右图分别增添一个虚拟节点，从虚拟节点构建有无穷大权重的边到有向图的每个节点；使用Tarjan算法构建最小树形图；最小树形图构建完成后，删除虚拟节点和虚拟节点连接有向图的边。

步骤5、对两幅最小树形图计算相邻区域间的两类连接边，一类边连接相邻两区域的叶子节点，另一类边连接相邻两区域的根节点；

步骤6、将步骤5中所计算的两类边进行升序排列并根据区域连接准则进行判断，若满足条件则连接两区域，若不满足则用有无穷大权重的边连接，最终形成最小分支结构；

步骤7、基于两幅图的最小分支结构进行代价聚合，计算匹配代价；

步骤8、根据WTA策略选择两幅图中每个像素点的最小匹配代价对应的视差值作为该点的视差值，生成左右视差图；

步骤9、在两幅视差图上进行左右一致性检测，根据检查结果更新左视差图中的像素点代价值；具体为：

对于左图中某一点p，求得其视差值为d1，则右图上与其对应的匹配点应该为(p-d1)，(p-d1)的视差值记为d2，计算|d1-d2|的值，若此值不为0，将p标记为遮挡点；若此值为0，则p点为非遮挡点，对于视差范围内所有的d，代价值为|d-d1|；

对于一个遮挡点p，分别水平向左和向右、垂直向上和向下找到四个离此遮挡点p最近的非遮挡点；

比较四个非遮挡点的距离，根据距离此遮挡点最远的非遮挡点的视差值更新p点代价值。

步骤10、在左图中根据更新的代价值重新进行代价聚合和WTA策略选择视差，生成最终的视差图。

本发明的有益效果是：

1.最小分支结构首次利用梯度信息构建有向图聚合匹配代价，构建最小分支后图像被分割成若干区域，可以有效地区分图像中的纹理区域，提高了立体匹配准确性。

2.图像被分割成区域的过程不需要设置任何参数，分割过程更自然；

3.基于特征融合的初始匹配代价计算改善了弱纹理区域和不连续区域的误匹配问题，提高了立体匹配的准确性。

4.基于四个方向寻找未遮挡点的左右一致性检测，有效改善了遮挡区域的误匹配问题，进一步提高了立体匹配的准确性。

附图说明

图1为本发明一种实施例的基于特征融合的最小分支立体匹配方法流程图。

图2为本发明一种实施例的待处理图像示意图。

图3为本发明一种实施例的有向图示意图。

图4为本发明一种实施例的构建最小分支示意图。

图5为本发明一种实施例的分割后若干有根树示意图。

图6为本发明一种实施例的连接区域两类边的示意图。

图7为本发明一种实施例的完整的最小分支示意图。

图8为本发明一种实施例的视差图示意图。

图9为本发明一种实施例的最小分支立体匹配算法和基于特征融合的最小分支立体匹配算法视差图对比示意图。

图10为本发明一种实施例的本文算法和其他算法生成的视差图对比示意图。其中，(a)为Ground truth图，(b)为Non-Local算法结果，(c)为Segment-Tree算法结果,(d)为最小分支算法结果,(e)为本文算法结果。

具体实施方式

下面结合附图对本发明一种实施例做进一步说明。

本发明实施例中，基于特征融合的最小分支立体匹配方法，如图1所示，包括以下步骤：

步骤1、获取待处理图像左图和右图分别作为参考图像和目标图像，本发明实例中，如图2所示为待处理图像,采用快速中值滤波方法对两幅图像进行预处理；

步骤2、基于特征融合方法计算两幅预处理后图像的初始匹配代价，本发明实例中，给定左图中一个像素点p＝(x,y)，在视差d下，计算C_AD(p,d),C_GRD(p,d),C_Census(p,d)和C_LBP(p,d)。C_Census(p,d)定义为左右两图对应像素字符串的海明距离。C_LBP(p,d)定义为左右两图中对应像素点的距离。

C_AD(p,d)计算公式:

C_GRD(p,d)计算公式:

基于四种特征融合的初始匹配代价计算公式:

其中，是权重系数，取值范围是0到1。ρ(C,λ)为归一化函数：将变量C的值归一化到区间[0,1]；λ是归一化参数。归一化函数定义如下：

步骤3、基于相邻像素的梯度差，预处理后的两幅图上构建有向图，本发明实例中，令p，q表示图像上一对相邻的像素点，则表示两点的梯度值，若构建两条连接线分别指向p和q。若构建一条连接线由q指向p，反之构建连接线从p指向q。

本发明实例中，如图3所示为有向图示意图。

步骤4、在两幅有向图上使用Tarjan算法构建最小树形图，本发明实例中，在左图和右图分别增添一个虚拟节点，从虚拟节点构建有无穷大权重的边到有向图的每个节点，最小树形图构建完成后，删除虚拟节点和虚拟节点连接有向图的边。

本发明实例中，如图4所示为构建最小分支示意图。

最小树形图构建完成后，图片被分割成若干有根树，每个有根树代表一个区域，本发明实例中，如图5所示为分割后若干有根树示意图；

步骤5、对两幅最小树形图计算相邻区域间的两类连接边，一类边连接相邻两区域的叶子节点，另一类边连接相邻两区域的根节点；

步骤6、将步骤5中所计算的两类边进行升序排列，本发明实例中，两类边的权重计算方式；

w_e1＝|I(s)-I(r)| (6)

w_e2＝|avg(U)-avg(V)| (7)

I(s)和I(r)指相邻像素的颜色值。avg(U)和avg(V)指区域U和V的平均颜色值。将e1和e2两类边根据w_e1和λ·w_e2升序排列。根据区域连接准则进行判断，若满足条件则连接两区域U和V，若不满足则用有无穷大权重的边连接，最终形成最小分支结构。

区域连接准则为：

|size(U)-size(V)|≤α (8)

size(U)≤β或者size(V)≤β (9)

其中α＝β＝50。

本发明实例中，如图6所示为连接区域两类边的示意图。

步骤7、基于两幅图的最小分支结构进行代价聚合，计算匹配代价，

匹配代价计算公式为：

其中表示p点的总聚合代价，Pr(p)表示p点的父节点，表示从叶子节点到根节点代价聚合过程中p点在视差d下的聚合代价值。

其中D(p,q)表示p点和q点之间边的权重和，σ＝0.1。

其中C_d(p)表示p点在视差d下的匹配代价，Ch(p)表示点p的子节点。

步骤8、根据WTA策略，本发明实例中，选择两幅图中每个像素点的最小匹配代价对应的视差值作为该点的视差值，生成左右视差图。

步骤9、在两幅视差图上进行左右一致性检测，根据检查结果更新左视差图中的像素点代价值，本发明实例中，对于左图中某一点p，求得其视差值为d1，则右图上与其对应的匹配点的灰度值应该为(p-d1)，(p-d1)的视差值记为d2，计算|d1-d2|的值，若此值不为0，将p标记为遮挡点；若此值为0，则p点为非遮挡点，对于视差范围内所有的d，代价值为|d-d1|。对于一个遮挡点p，分别水平向左和向右、垂直向上和向下找到四个离此遮挡点p最近的非遮挡点，比较四个非遮挡点的距离，根据距离此遮挡点最远的非遮挡点的视差值更新p点的代价值。

步骤10、在左图中根据更新的代价值重新进行代价聚合和WTA策略选择视差，生成最终的视差图。

本发明实例中，如图8所示为视差图示意图。

本发明实例中，如图9所示为最小分支立体匹配算法和基于特征融合的最小分支立体匹配算法在无纹理区域和不连续区域视差图对比示意图。

本发明实例中，如图10所示为本文算法与Non-Local算法，Segment-Tree算法和最小分支算法实验结果示意图。(a)为Ground truth图，(b)为Non-Local算法结果，(c)为Segment-Tree算法结果,(d)为最小分支算法结果,(e)为本文算法结果。

本文的实验结果和与其他类似算法的对比，大幅降低了立体匹配的误匹配率。

本发明实例中，表1为本发明对比算法NL,ST,HT在Middlebury 2001数据集的测试结果。

表1

本发明实例中，表2为本发明对比算法NL，ST，最小分支算法(MB)在Middlebury2014数据集的测试结果。

表2

Claims (2)

1.一种基于特征融合的最小分支立体匹配方法，其特征在于，包括以下步骤：

步骤1、获取待处理图像左图和右图分别作为参考图像和目标图像，对两幅图像预处理；

步骤2、基于特征融合方法计算两幅预处理后图像的初始匹配代价：对两幅图分别进行Census变换和局部二值模式LBP变换，求出相应的初始匹配代价值；基于颜色特征和梯度特征分别计算相应的初始匹配代价值；使用归一化函数，将四种匹配代价值融合成最终的初始匹配代价值；

步骤3、基于相邻像素的梯度差，在预处理后的两幅图上构建有向图；

步骤4、在左图和右图分别增添一个虚拟节点，从虚拟节点构建有无穷大权重的边到有向图的每个节点；在两幅有向图上使用Tarjan算法构建最小树形图，最小树形图构建完成后，图片被分割成若干有根树，每个有根树代表一个区域；最小树形图构建完成后，删除虚拟节点和虚拟节点连接有向图的边；

步骤5、对两幅最小树形图计算相邻区域间的两类连接边，一类边连接相邻两区域的叶子节点，另一类边连接相邻两区域的根节点；

步骤6、将步骤5中所计算的两类边进行升序排列并根据区域连接准则进行判断，若满足条件则连接两区域，若不满足则用有无穷大权重的边连接，最终形成最小分支结构；

步骤7、基于两幅图的最小分支结构进行代价聚合，计算匹配代价；

步骤8、根据WTA策略选择两幅图中每个像素点的最小匹配代价对应的视差值作为该点的视差值，生成左右视差图；

步骤9、在两幅视差图上进行左右一致性检查，根据检查结果更新左视差图中的像素点代价值；

步骤10、在左图中根据更新的代价值重新进行代价聚合和WTA策略选择视差，生成最终的视差图。

2.根据权利要求1所述的基于特征融合的最小分支立体匹配方法，其特征在于，步骤9所述的在两幅视差图上进行左右一致性检查，具体为：

对于左图中某一点p，求得其视差值为d1，则右图上与其对应的匹配点应该为(p-d1)，(p-d1)的视差值记为d2，计算|d1-d2|的值，若此值不为0，将p标记为遮挡点；若此值为0，则p点为非遮挡点，对于视差范围内所有的d，代价值为|d-d1|；

对于一个遮挡点p，分别水平向左和向右、垂直向上和向下找到四个离此遮挡点p最近的非遮挡点；

比较四个非遮挡点的距离，根据距离此遮挡点最远的非遮挡点的视差值更新p点代价值。