CN107564045A - 基于梯度域引导滤波的立体匹配算法 - Google Patents

Abstract

本发明涉及一种基于梯度域引导滤波的立体匹配算法，包括：采用截断亮度初始匹配代价联合截断梯度初始匹配代价计算方法计算得到参考图像I_R的初始匹配代价p_R；根据梯度域引导滤波的原理，以初始匹配代价p_R为待滤波项，参考图像为引导图像，计算匹配代价最佳滤波参数根据梯度域引导滤波的原理，以参考图像为待滤波项，参考图像为引导图像，计算参考图像最佳滤波参数得到相应的滤波结果进行全域聚合，得到聚合后的匹配代价最佳滤波参数得到初始匹配代价的滤波结果；对得到的初始匹配代价滤波结果采用WTA策略获取参考图像的视差图。

Description

基于梯度域引导滤波的立体匹配算法

技术领域

本发明涉及计算机立体视觉领域中的立体匹配，可用于图像的三维重建，在医学图像、媒体设备等中提供指导。

背景技术

立体匹配技术是计算机视觉领域内的重要研究方向之一，其旨在通过实现参考图像与目标图像之间的像素点匹配，继而获得场景的视差信息，通过对视差信息的转化最终获得场景的三维深度信息，该技术最为关键的一步是如何获得高精度的视差信息。

现阶段的立体匹配算法主要分为两大类。一类是基于全局约束的全局算法，如基于置信传播、协同优化、图割等立体匹配算法，全局算法通常较为复杂，虽获得的匹配精度较高但算法所需执行时间较长不易于实时应用。另一类是基于局部约束的局部算法，主要是通过在一定尺寸的聚合窗口内对匹配代价进行聚合，继而得到匹配的结果，通常该类算法计算复杂度较低，易于实时应用。基于引导滤波的立体匹配算法是现阶段具有代表性的局部立体匹配算法，该算法充分利用了引导滤波的性能，获得了较好的匹配结果，但由于引导滤波在滤波时对于图像的边缘与纹理同等对待，同时在计算滤波参数时未考虑到窗口内像素点间的空间以亮度差异，上述因素导致了滤波的结果受到一定限制，因此该算法也存在一定的局限性。

立体匹配应用于众多科技领域，有着广泛的应用前景。近年来，计算机视觉理论的发展为获得高精度的立体匹配效果提供了理论基础。

发明内容

本发明针对基于引导滤波的立体匹配算法存在的不足提出一种基于梯度域引导滤波的立体匹配算法，利用梯度域引导滤波的优良滤波特性获得更为精确的匹配结果，本发明的技术方案如下：

一种基于梯度域引导滤波的立体匹配算法，包括下列步骤：

(1)采用截断亮度初始匹配代价联合截断梯度初始匹配代价计算方法计算得到参考图像I_R的初始匹配代价p_R；

(2)根据梯度域引导滤波的原理，以初始匹配代价p_R为待滤波项，参考图像为引导图像，计算匹配代价最佳滤波参数

(3)根据梯度域引导滤波的原理，以参考图像为待滤波项，参考图像为引导图像，计算参考图像最佳滤波参数将其带入梯度域引导滤波模型，得到相应的滤波结果

(4)设参考图像中心像素点为(x_R,y_R)，参考图像中任意像素点为(i_R,j_R)，首先在水平方向计算像素点(i_R,j_R)与(i_R,y_R)之间的每一对相邻点的权重值：当相邻点在参考图像I_R中灰度值之差的绝对值不大于1且相邻点在滤波结果中灰度值之差的绝对值不大于1时，相应的权重值赋为0，不满足上述条件时相应的权重值赋为-μ，其中μ为常数；同理在竖直方向计算(i_R,y_R)与(x_R,y_R)之间的每一对相邻点的权重值：当相邻点在参考图像I_R中灰度值之差的绝对值不大于1且相邻点在滤波结果中灰度值之差的绝对值不大于1时，相应的权重值赋为0，不满足上述条件时相应的权重值赋为-μ；最后将上述计算得到的每一对相邻点的权重值进行累加得到滤波贡献W_R(i_R,j_R)，并根据公式计算经过指数化操作后的滤波贡献f(W_R(i_R,j_R))，其中e为自然底数，最后将f(W_R(i_R,j_R))与匹配代价最佳滤波参数相乘后进行全域的聚合，得到聚合后的匹配代价最佳滤波参数

(5)将聚合后的匹配代价最佳滤波参数带入梯度域引导滤波的模型中，得到初始匹配代价的滤波结果；

(6)对得到的初始匹配代价滤波结果采用WTA策略获取参考图像的视差图。

总之，本发明针对传统的基于引导滤波的立体匹配算法中存在的不足,提出一种基于梯度域引导滤波的立体匹配算法，依据梯度域引导滤波的滤波原理对初始匹配代价进行滤波，并对计算得到的最佳滤波参数进行聚合，继而获得良好的匹配效果。本发明能够获得更为精准的立体匹配结果，有着广泛的应用前景。

附图说明

图1本发明的基于梯度域引导滤波的立体匹配算法流程图。

图2为传统的基于引导滤波的立体匹配算法与本发明对标准测试图像“Piano”进行匹配得到的对比视差图，(a)为左图，(b)为传统的基于引导滤波的立体匹配算法得到的左视差图(红色区域为误匹配区域)，(c)为本发明得到的为左视差图(红色区域为误匹配区域)。

具体实施方式

本发明基于梯度域引导滤波的立体匹配算法，主要由四部分组成：初始匹配代价的计算、最佳滤波参数的计算、最佳滤波参数的聚合、视差图的计算。具体步骤和原理如下：

101：初始匹配代价的计算；

根据参考图像I_R及目标图像I_T的亮度信息和梯度信息，采用立体匹配技术中任意常用的截断亮度初始匹配代价联合截断梯度初始匹配代价计算方法，计算得到参考图像的初始匹配代价p_R。

p_R(i_R,j_R,d)＝0.11×min(|I_R(i_R,j_R)-I_T(i_R,j_R-d)|,7)+0.89×min(|▽I_R(i_R,j_R)-▽I_T(i_R,j_R-d)|,2)

其中▽I_R、▽I_T分别为参考图像的梯度、目标图像的梯度；i_R、j_R、d分别为参考图像的横坐标、纵坐标、视差搜索值。

102：梯度域引导滤波最佳滤波参数的计算；

将待滤波的项记为Z，引导图像记为I，采用梯度域引导滤波模型计算相应的最佳滤波参数。

首先构建能量函数E：

χ(i,j)＝σ₁(i,j)·σ_ω(i,j)

其中x,y分别为中心像素点(x,y)的横、纵坐标，ω(x,y)是以(x,y)为中心的滤波窗口，其窗口内任意像素点为(i,j)，i,j分别为该点的横、纵坐标，|ω(x,y)|为窗口内的像素数；a、b为滤波参数；λ、ε₀为常数；η为均值偏离量；e为自然底数；χ为偏离变量；σ₁、σ_ω分别为引导图像I在3×3窗口、ω(x,y)窗口内的标准差；μ_χ,∞为χ在ω(x,y)窗口内的平均值。

对能量函数E求偏导数后赋0，得到最佳滤波参数a^*、b^*：

103：以初始匹配代价p_R为待滤波项，参考图像I_R为引导图像，对初始匹配代价进行梯度域引导滤波，计算其相应的最佳滤波参数；

相较于引导滤波，梯度域引导滤波算法可以获得更为优良的保边缘滤波效果，因此将其应用于初始匹配代价的滤波聚合，可以获得更为准确的结果。

依据步骤102，以初始匹配代价p_R为待滤波项Z，参考图像I_R为引导图像I，计算相应的最佳滤波参数(为便于区分，称为匹配代价最佳滤波参数)，结果记为

104：以参考图像I_R为待滤波项，参考图像I_R为引导图像，对参考图像进行梯度域引导滤波，计算其相应的最佳滤波参数；

依据步骤102，以参考图像I_R为待滤波项Z，参考图像I_R为引导图像I，计算相应的最佳滤波参数(为便于区分，称为参考图像最佳滤波参数)，结果记为

105：计算参考图像以及目标图像的梯度域引导滤波结果；

得到参考图像最佳滤波参数后，依据梯度域引导滤波模型即可得到相应滤波后的结果

106：匹配代价最佳滤波参数的聚合

依据参考图像I_R中邻近像素点的灰度值差异以及参考图像I_R经过梯度域引导滤波后中邻近像素点灰度值差异，计算参考图像中的每个像素点(i_R,j_R)(其中i_R,j_R分别为此像素点的横、纵坐标)对参考图像的中心像素点(x_R,y_R)(其中x_R,y_R分别为此像素点的横、纵坐标)的滤波贡献W_R(i_R,j_R)，并将上述滤波贡献经过指数化操作后应用于匹配代价最佳滤波参数的聚合过程，得到聚合后的匹配代价最佳滤波参数

f(W_R(i_R,j_R))＝exp(W_R(i_R,j_R))

其中k,t为坐标变量；μ为常数；是以(x_R,y_R)为中心，尺寸为整个参考图像I_R大小的窗口，是以(x_T,y_T)为中心，尺寸为整个目标图像I_T大小的窗口；g()为阈值判断函数；f()代表指数化操作。滤波贡献W_R(i_R,j_R)的计算原则是：参考图像I_R中邻近像素点的灰度值差异不大于1且中邻近像素点灰度值差异不大于1时，滤波贡献W_R(i_R,j_R)越大，反之越小。当参考图像在某些区域灰度值变化较大时，其经过梯度域引导滤波之后，这些区域的灰度值会产生较大的变化，若直接采用双边滤波的方式设置滤波贡献，则会得到过小的滤波贡献，因此不能较为准确的反应灰度值变化较大区域像素点对于中心像素点的滤波贡献。因此，本发明采用梯度域引导滤波的方式获取参考图像滤波前后的变化信息可以较好地区分滤波前后变化较大的点，而采用阈值判断的方式可以为这些区域的点设置合理的滤波贡献，总之本发明充分利用参考图像在滤波前后的变化信息对匹配代价最佳滤波参数进行合理的聚合，从而获得更为精确的最佳滤波参数。

107：初始匹配代价的聚合；

得到初始匹配代价以及聚合后的最佳滤波参数后，依据梯度域引导滤波模型即可得到滤波后的结果，该结果即为聚合后的匹配代价P_R(x_R,y_R,d)：

108：视差图的计算。

对聚合后的匹配代价P_R(x_R,y_R,d)采用WTA(Winner Takes All)策略计算得到参考图像视差图D_R(x_R,y_R)：

其中d_min、d_max分别为最小、最大视差搜索值。

下面以具体的试验来验证本方法的可行性，详见下文描述：

试验结果均为本方法在CPU为Intel i7-3610QM，2.3GHz，内存为16G的笔记本电脑上运行所得，操作系统为Windows 7，仿真软件为64位Matlab R2012b。试验采用的图‘Piano’为标准测试图来源于http://vision.middlebury.edu/stereo/data/。

从图2中可以看出，本发明获得的Piano视差图在背景区域的误匹配点明显少于传统基于引导滤波的立体匹配算法。

本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

本发明的具体流程如下：

(1)采用截断亮度初始匹配代价联合截断梯度初始匹配代价计算方法计算得到参考图像I_R的初始匹配代价p_R；

(2)根据梯度域引导滤波的原理，以初始匹配代价p_R为待滤波项，参考图像为引导图像，计算匹配代价最佳滤波参数

(3)根据梯度域引导滤波的原理，以参考图像为待滤波项，参考图像为引导图像，计算参考图像最佳滤波参数将其带入梯度域引导滤波模型，得到相应的滤波结果

(4)设参考图像中心像素点为(x_R,y_R)，参考图像中任意像素点为(i_R,j_R)，首先在水平方向计算像素点(i_R,j_R)与(i_R,y_R)之间的每一对相邻点的权重值：当相邻点在参考图像I_R中灰度值之差的绝对值不大于1且相邻点在滤波结果中灰度值之差的绝对值不大于1时，相应的权重值赋为0，不满足上述条件时相应的权重值赋为-μ，其中μ为常数；同理在竖直方向计算(i_R,y_R)与(x_R,y_R)之间的每一对相邻点的权重值：当相邻点在参考图像I_R中灰度值之差的绝对值不大于1且相邻点在滤波结果中灰度值之差的绝对值不大于1时，相应的权重值赋为0，不满足上述条件时相应的权重值赋为-μ；最后将上述计算得到的每一对相邻点的权重值进行累加得到滤波贡献W_R(i_R,j_R)，并根据公式计算经过指数化操作后的滤波贡献f(W_R(i_R,j_R))，其中e为自然底数，最后将f(W_R(i_R,j_R))与匹配代价最佳滤波参数相乘后进行全域的聚合，得到聚合后的匹配代价最佳滤波参数

(5)将聚合后的匹配代价最佳滤波参数带入梯度域引导滤波的模型中，得到初始匹配代价的滤波结果；

(6)对得到的初始匹配代价滤波结果采用WTA(Winner Takes All)策略获取参考图像的视差图。

Claims (1)

1.一种基于梯度域引导滤波的立体匹配算法，包括下列步骤：

(1)采用截断亮度初始匹配代价联合截断梯度初始匹配代价计算方法计算得到参考图像I_R的初始匹配代价p_R；

(2)根据梯度域引导滤波的原理，以初始匹配代价p_R为待滤波项，参考图像为引导图像，计算匹配代价最佳滤波参数

(3)根据梯度域引导滤波的原理，以参考图像为待滤波项，参考图像为引导图像，计算参考图像最佳滤波参数将其带入梯度域引导滤波模型，得到相应的滤波结果

(4)设参考图像中心像素点为(x_R,y_R)，参考图像中任意像素点为(i_R,j_R)，首先在水平方向计算像素点(i_R,j_R)与(i_R,y_R)之间的每一对相邻点的权重值：当相邻点在参考图像I_R中灰度值之差的绝对值不大于1且相邻点在滤波结果中灰度值之差的绝对值不大于1时，相应的权重值赋为0，不满足上述条件时相应的权重值赋为-μ，其中μ为常数；同理在竖直方向计算(i_R,y_R)与(x_R,y_R)之间的每一对相邻点的权重值：当相邻点在参考图像I_R中灰度值之差的绝对值不大于1且相邻点在滤波结果中灰度值之差的绝对值不大于1时，相应的权重值赋为0，不满足上述条件时相应的权重值赋为-μ；最后将上述计算得到的每一对相邻点的权重值进行累加得到滤波贡献W_R(i_R,j_R)，并根据公式计算经过指数化操作后的滤波贡献f(W_R(i_R,j_R))，其中e为自然底数，最后将f(W_R(i_R,j_R))与匹配代价最佳滤波参数相乘后进行全域的聚合，得到聚合后的匹配代价最佳滤波参数

(5)将聚合后的匹配代价最佳滤波参数带入梯度域引导滤波的模型中，得到初始匹配代价的滤波结果；

(6)对得到的初始匹配代价滤波结果采用WTA策略获取参考图像的视差图。