CN109887021A - 基于跨尺度的随机游走立体匹配方法 - Google Patents

Abstract

本发明涉及一种基于跨尺度的随机游走立体匹配方法，包括：(1)对参考图像和目标图像分别进行高斯下采样，得到不同尺度的参考图像；对不同尺度的参考图像和目标图像分别采用加权的Census变换和梯度信息相结合的匹配代价；选取超像素成本函数；使用线性迭代聚类的方法进行超像素分割；使用改进的重启动与随机游走算法对超像素分割结果做全局上的优化；对各个尺度的参考图像和目标图像，进行正则化融合到原始分辨率尺寸上；对得到的聚合结果采用WTA策略分别获取参考图像和目标图像的最优视差图；对所得视差图进行后处理，采用左右一致性检测、权重中值滤波来提高最终的视差图精度。

Description

基于跨尺度的随机游走立体匹配方法

技术领域

本发明涉及计算机双目立体视觉领域中的立体匹配,广泛应用于机器人导航、无人驾驶、三维重建等领域。

背景技术

立体匹配技术是计算机视觉领域内的重要研究方向之一，其旨在通过实现参考图像与目标图像之间的像素点匹配，继而获得场景的视差信息，通过对视差信息的转化最终获得场景的三维深度信息。

现阶段的传统的立体匹配算法主要分为两大类。一类是基于全局约束的全局立体匹配算法，如基于置信传播、随机游走、协同优化等算法，全局算法通常复杂度较高，虽然其获得的匹配精度较高但算法所执行时间较长不易于实时应用。另一类是基于局部约束的局部算法，一般是通过在一定尺寸的聚合窗口内对匹配代价进行聚合，再通过WTA算法得出最优视差值，通常该类算法计算复杂度较低，易于实时应用。大多数算法都是在图像的最大分辨率下进行处理的，没有考虑人眼视觉系统是在不同尺度上处理接收到的视觉信号，模拟人眼视觉系统由粗到细(coarseto fine)的处理过程。故仅在一个尺度上进行匹配，难以获得较好的匹配结果。

随着立体匹配算法于工业、生活领域内的广泛应用，高精度的匹配方式成为了当下立体视觉计算的研究热点。近年来，立体视觉理论的不断发展为获得高精度的立体匹配提供了理论基础。

发明内容

本发明针对上述问题提出一种基于跨尺度的随机游走立体匹配方法，首先对参考图像和目标图像分别进行高斯下采样，得出多尺度图像。之后在对应尺度上分别计算匹配代价和代价聚合，然后通过添加正则化项的方式，融合多尺度的聚合结果，再进行后处理，最终获得高精度的立体匹配结果，本发明的技术方案如下：

一种基于跨尺度的随机游走立体匹配算方法，包括下列步骤：

(1)对参考图像I_R和目标图像I_T分别进行尺度为5的高斯下采样，得到不同尺度的参考图像I_{R_n}和目标图像I_{T_n}，其中n为尺度层编号且n∈{1，2，3，4，5}；

(2)对不同尺度的参考图像和目标图像分别采用加权的Census变换和梯度信息相结合的匹配代价，方法如下：

A.利用Census变换将左右视图的像素转化为二值向量然后和周围支持窗口的像素作比较，通过计算左右视图的汉明距离来得出匹配代价C(u,v,d),再找出基于视差d的最小匹配代价值min(C(u,v,d),τ_c)；

B.采用同样的方法可得基于梯度信息的最小匹配代价值min(G(u,v,d),τ_g)，其中(u,v)表示像素点坐标，τ_c和τ_g用于截断匹配代价值；

C.得到的初始匹配代价P(u,v,d)：

P(u,v,d)＝σ_cmin(C(u,v,d),τ_c)+σ_gmin(G(u,v,d),τ_g)

其中σ_c和σ_g分别为Census项的权重参数和梯度项的权重参数；

(3)选取超像素成本函数F(q,d)：

其中q表示超像素区域，n_q表示属于超像素区域q中像素的数量；

(4)使用线性迭代聚类的方法进行超像素分割；

(5)使用改进的重启动与随机游走算法对超像素分割结果做全局上的优化，优化采用的迭代公式如下：

其中表示最初的代价聚合值，表示更新的代价值，t表示迭代次数，k表示超像素数量，c是重启动概率，权重矩阵W＝[w_ij]_k×k，是通过归一化权重矩阵W的行来得到的，其中I(s_i)和I(s_j)分别表示邻域超像素区域i和j的像素强度，τ_e和σ_e是调整函数输出的参数；

(6)对各个尺度的参考图像I_{R_n}和目标图像I_{T_n}，进行正则化融合到原始分辨率尺寸上，并对所得视差图进行引导滤波来有效突出图像边缘信息，通过建立一个跨尺度的代价聚合模型，对各个尺度得到的聚合代价值以添加正则化项的方式进行融合：

式中上标s为下采样尺度空间,S为下采样的最大次数；其中为以像素点i为中心核窗口内的其他像素点，K(i^s,j^s)为用来衡量像素点i^s,j^s之间相似性的相似性核，K(i^s,j^s)为本文所提代价聚合算法输出值 为归一化常数，z^s为待计算的匹配代价；为匹配代价迭代去噪声过程中最终输出值，即最终去噪声的匹配代价，λ为正则化因子；最终融合多个尺度的代价聚合值到原始分辨率尺寸上；

(7)对得到的聚合结果采用WTA策略分别获取参考图像和目标图像的最优视差图；

(8)对所得视差图进行后处理，采用左右一致性检测、权重中值滤波来提高最终的视差图精度。

总之，本发明针对传统的基于单尺度立体匹配算法存在的不足，并有效结合局部和全局算法，提出一种基于跨尺度的随机游走立体匹配算法。本发明能够获得更为精确的立体匹配效果，有着广泛的应用前景。

附图说明

图1为本发明的基于跨尺度的随机游走立体匹配算法流程图。

图2为基于单尺度的随机游走立体匹配算法与本发明对标准测试图像“Adirondack”进行匹配得到的对比视差图，(a)为Adirondack左图，(b)为基于单尺度的随机游走立体匹配算法得到的左视差图，(c)为本发明得到的左视差图。

图3为基于单尺度的随机游走立体匹配算法与本发明对标准测试图像“Playtable”进行匹配得到的对比视差图，(a)为Playtable左图，(b)为基于单尺度的随机游走立体匹配算法得到的左视差图，(c)为本发明得到的左视差图。

具体实施方式

本发明基于跨尺度的随机游走算法，主要由四部分组成：参考图像和目标图像的多尺度高斯下采样、各个尺度分别进行匹配代价计算、分别进行代价聚合和优化、最后是视差精炼。具体步骤和原理如下：

1、参考图像I_R以及目标图像I_T的多尺度分解；

实验采用传统的基于高斯滤波的多尺度分解对参考图像I_R以及目标图像I_T进行多尺度分解，得到一系列不同尺度层下的参考图像I_{R_n}和目标图像I_{T_n}，其中n为尺度层编号且n∈{1，2，3，4，5}。

其中i、j分别为中心像素点(i,j)的横、纵坐标；(u,v)为以(i，j)为中心像素点，尺寸为(2r1+1)×(2r2+1)的窗口内任意像素点，u,v分别为横、纵坐标；Γ(u,v)为高斯核内像素点(u,v)的权重。

2、对各个尺度层参考图像I_{R_n}以及目标图像I_{T_n}进行匹配代价的计算；

采用加权的Census变换与梯度信息相结合来计算匹配代价，

Census变换将左右视图的像素转化为二值向量然后和周围支持窗口的像素作比较：

其中I(u,v)和I(u_w,v_w)分别表示输入像素和周围支持窗口中的亮度值。表示级联，w表示中心像素点(u,v)的支持窗口，H表示赋值为1或0的二值函数。通过比较中心像素和周围像素的亮度值来生成二值函数H：

左图和右图分别转化为二值向量形式，通过计算两者的汉明距离来得出匹配代价：

C_r(u,v,d)＝Ham(T_l(u,v),T_r(u+d,v)),

C_l(u,v,d)＝Ham(T_l(u,v),T_r(u-d,v)).

C(u,v,d)是基于视差d测出的匹配代价，l和r分别表示左图和右图。

梯度图像匹配定义为：

其中和分别表示水平和竖直梯度。本文使用Census变换和梯度图像匹配进行代价计算。两种方法都设置截断阈值用于限制异常点的影响。

P(u,v,d)＝σ_cmin(C(u,v,d),τ_c)+σ_gmin(G(u,v,d),τ_g)

σ_c和σ_g表示权重参数用于平衡Census和梯度项，τ_c和τ_g用于截断匹配代价值。

3、匹配代价计算后进行代价聚合，首先应用超像素分割用于代价聚合，超像素层面的成本函数为：

其中n_q表示属于超像素区域q中像素的数量，F(q,d)表示超像素成本函数。之后再使用改进的重启动与随机游走算法对聚合结果做全局上的优化。提出的重启动与随机游走算法为：

其中表示最初的代价聚合值，表示更新的代价值，t表示迭代次数，k表示超像素数量，c是重启动概率。权重矩阵W＝[w_ij]_k×k包含边缘权重，是通过归一化权重矩阵W的行来得到的。左图和右图的匹配代价值需分别计算。

使用与边缘权重成正比的概率形式来将匹配代价值传播到相邻节点上，边缘权重受邻域超像素区域的像素强度相似性影响。

其中I(s_i)和I(s_j)分别表示邻域超像素区域i和j的像素强度，τ_e和σ_e是调整函数输出的参数。

4、建立一个跨尺度的代价聚合模型，对各个尺度得到的聚合代价值以添加正则化项的方式进行融合，充分考虑到多尺度之间的关系：

式中上标s为下采样尺度空间,S为下采样的最大次数。其中为以像素点i为中心核窗口内的其他像素点，K(i^s,j^s)为用来衡量像素点i^s,j^s之间相似性的相似性核，K(i^s,j^s)为本文所提代价聚合算法，为归一化常数，z^s为待计算的匹配代价；为匹配代价迭代去噪声过程中最终输出值，即最终去噪声的匹配代价。λ为正则化因子，最终融合多个尺度的代价聚合值到原始分辨率尺寸上。

105：视差计算和求精；

多尺度融合后的视差图再进行引导滤波，可以有效突出图像边缘信息，增强纹理结构。利用WTA策略获得最终的视差图像。最后对所得视差图进行左右一致性检测，对错误像素和遮挡像素重新赋值，再进行权重中值滤波，滤除噪声的同时，能够保护图像的边缘，使之不被模糊。通过上述的后处理步骤，可以有效改善图像质量，降低误匹配率。

下面以具体的试验来验证本方法的可行性，详见下文描述：

试验结果均为本方法在CPU为Inter(R)i5-74003.00GHz主频CPU，8GB内存的台式电脑上运行所得，操作系统为Windows 10，仿真软件为64位MatlabR2016b。试验采用的图对‘Adirondack’、’Piano’为标准测试图来源于http://vision.middlebury.edu/stereo/eval3/。

从图2、图3可以看出，传统的基于单尺度的随机游走算法在图2(b)Adirondack视差图的背景区域以及图3(b)Piano视差图的前景区域均存在较多的误匹配点，而本发明采用的基于跨尺度的随机游走立体匹配算法可以较好地消除上述区域的误匹配点，获得的视差图匹配效果更好。

本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任务修改、等同替换、改进等，均应包含在本发明的保护范围之内。

本发明的具体流程如下：

(1)对参考图像I_R和目标图像I_T分别进行尺度为5的高斯下采样，得到不同尺度的参考图像I_{R_n}和目标图像I_{T_n}，其中n为尺度层编号且n∈{1，2，3，4，5}；

(2)对不同尺度的参考图像和目标图像分别采用加权的Census变换和梯度信息相结合的匹配代价计算方法得到参考图像和目标图像的初始匹配代价P；

(3)先利用超像素分割的方法对超像素区域进行代价聚合，再使用重启动与随机游走算法对聚合结果做全局上的优化；

(4)对各个尺度得到的图像进行正则化融合到原始分辨率尺寸上，并对所得视差图进行引导滤波来有效突出图像边缘信息；

(5)对得到的聚合结果采用WTA策略分别获取参考图像和目标图像的最优视差图；

(6)对所得视差图进行后处理，采用左右一致性检测、权重中值滤波来提高视差图精度。

Claims (1)

1.一种基于跨尺度的随机游走立体匹配方法，包括下列步骤：

(1)对参考图像I_R和目标图像I_T分别进行尺度为5的高斯下采样，得到不同尺度的参考图像I_{R_n}和目标图像I_{T_n}，其中n为尺度层编号且n∈{1，2，3，4，5}。

(2)对不同尺度的参考图像和目标图像分别采用加权的Census变换和梯度信息相结合的匹配代价，方法如下：

A.利用Census变换将左右视图的像素转化为二值向量然后和周围支持窗口的像素作比较，通过计算左右视图的汉明距离来得出匹配代价C(u,v,d),再找出基于视差d的最小匹配代价值min(C(u,v,d),τ_c)；

B.采用同样的方法可得基于梯度信息的最小匹配代价值min(G(u,v,d),τ_g)，其中(u,v)表示像素点坐标，τ_c和τ_g用于截断匹配代价值；

C.得到的初始匹配代价P(u,v,d)：

P(u,v,d)＝σ_c min(C(u,v,d),τ_c)+σ_gmin(G(u,v,d),τ_g)

其中σ_c和σ_g分别为Census项的权重参数和梯度项的权重参数；

(3)选取超像素成本函数F(q,d)：

其中q表示超像素区域，n_q表示属于超像素区域q中像素的数量；

(4)使用线性迭代聚类的方法进行超像素分割；

(5)使用改进的重启动与随机游走算法对超像素分割结果做全局上的优化，优化采用的迭代公式如下：

其中表示最初的代价聚合值，表示更新的代价值，t表示迭代次数，k表示超像素数量，c是重启动概率，权重矩阵W＝[w_ij]_k×k，是通过归一化权重矩阵W的行来得到的，其中I(s_i)和I(s_j)分别表示邻域超像素区域i和j的像素强度，τ_e和σ_e是调整函数输出的参数；

(6)对各个尺度的参考图像I_{R_n}和目标图像I_{T_n}，进行正则化融合到原始分辨率尺寸上，并对所得视差图进行引导滤波来有效突出图像边缘信息，通过建立一个跨尺度的代价聚合模型，对各个尺度得到的聚合代价值以添加正则化项的方式进行融合：

式中上标s为下采样尺度空间,S为下采样的最大次数；其中为以像素点i为中心核窗口内的其他像素点，K(i^s,j^s)为用来衡量像素点i^s,j^s之间相似性的相似性核，K(i^s,j^s)为本文所提代价聚合算法输出值 为归一化常数，z^s为待计算的匹配代价；为匹配代价迭代去噪声过程中最终输出值，即最终去噪声的匹配代价，λ为正则化因子；最终融合多个尺度的代价聚合值到原始分辨率尺寸上；

(7)对得到的聚合结果采用WTA策略分别获取参考图像和目标图像的最优视差图；

(8)对所得视差图进行后处理，采用左右一致性检测、权重中值滤波来提高最终的视差图精度。