CN105631887A - 基于自适应支持权重匹配算法的两步视差改良方法及系统 - Google Patents

Abstract

本发明公开了一种基于自适应支持权重匹配算法的两步视差改良方法及系统，其中方法包括以下步骤：S1、对左右原图进行自适应支持权重匹配算法求取原始视差图；S2、对求取的原始视差图进行左右一致性检测，对检测到的不一致像素点的视差值采用变交叉域投票法和固定窗口投票法进行初始修正；S3、将修正后的视差图中存在的误匹配区域分为非正常区域和错误边缘区域，并分别进行二次修正。本发明可克服自适应支持权重算法在精度上的不足，提升匹配精度。

Description

基于自适应支持权重匹配算法的两步视差改良方法及系统

技术领域

本发明涉及计算机视觉领域，尤其是涉及计算机视觉中立体匹配的视差改良算法。

背景技术

计算机视觉旨在通过摄像头来模拟人眼对目标进行跟踪、测量与识别，其在智能交通、裂纹检测、三维重建等众多领域均有广泛应用。双目视觉是计算机视觉的一个重要分支，双目视觉旨在通过左右两个摄像头分别获取到的左右两幅图像，计算两幅图像中物体的视差得到物体的三维信息。在还原物体三维信息的过程中，立体匹配是最重要也是最核心的一步，立体匹配的精度与提取到的三维坐标有最直接的关系，因此提升立体匹配算法的精度显得非常重要。

传统的立体匹配算法，按照匹配区域的不同，通常可以分为两个大类：全局匹配算法和局部匹配算法。全局匹配算法利用图像的全局约束信息建立代价函数，通过多次迭代以至全局代价函数最小来获得最优的匹配结果，因此全局匹配算法具有计算代价高，匹配时间长等问题。局部匹配算法只对相关点及其相邻像素点的相关信息进行约束，因此相比较于全局匹配算法，局部匹配算法的匹配效率高，但是在精度上有所欠缺。立体匹配算法通常有以下步骤：1、代价计算；2、代价聚合；3、视差计算；4、视差改良。近年来，自适应支持权重局部匹配算法在匹配精度上可以达到与全局算法相匹配的程度，并且具有更高的匹配效率，主要是因为自适应支持权重算法在代价计算和代价聚合步骤中，同时利用了相邻像素点的颜色信息和距离信息，因此达到了比较高的匹配精度。但是从视差改良的角度提升自适应支持权重匹配算法的匹配精度的算法很少。

发明内容

本发明的目的在于，提供一种可克服自适应支持权重算法在精度上的不足，提升匹配精度的基于自适应支持权重匹配算法的两步视差改良方法及系统。

本发明解决其技术问题所采用的技术方案是：

提供一种基于自适应支持权重匹配算法的两步视差改良方法，包括以下步骤：

S1、对左右原图进行自适应支持权重匹配算法求取原始视差图；

S2、对求取的原始视差图进行左右一致性检测，对检测到的不一致像素点的视差值采用变交叉域投票法和固定窗口投票法进行初始修正；

S3、将修正后的视差图中存在的误匹配区域分为非正常区域和错误边缘区域，并分别进行二次修正；

其中非正常区域定义为：视差图中的存在某一区域P，对原始图像中相同的区域P内的每一个像素点q₁求其变交叉域原始图像中区域P内所有像素点的变交叉域组成区域记为M，在视差图中有相同的区域M，如果区域中存在像素点的视差值不等于区域P内像素点的视差值并且服从(其中d(p)表示像素点p的视差值)，则该区域P定义为非正常区域；对该非正常区域的视差值采用与步骤S2相同的方法进行修正；

错误边缘区域定义为：视差图中物体的边缘像素与原图物体边缘像素之间的误匹配区域；错误边缘区域内的像素点的视差值通过视差继承算法来修正。

本发明所述的方法中，步骤S1中，在自适应支持权重匹配算法的参数选择上，在截断绝对差值T＝40以及窗口大小N＝35的条件下，γ_c和γ_p的参数分别选取为9和26时，对middlebury测试集tsukuba,venus,teddy,cones进行测试，其平均错误率最小，值为7.71％。

本发明所述的方法中，步骤S2具体包括以下步骤：

S21、对每一个不一致像素点p₁，求其变交叉域R，在其变交叉域内建立视差分布直方图，当该视差分布直方图满足一定条件时，将该不一致像素点的视差值修正为视差分布直方图中分布最多的视差d_f；

S22、将剩余的未被修正的不一致像素点的集合记为Q，针对Q中每一个像素点p₂,以p₂为中心，建立方形窗口，求该窗口的视差分布直方图，像素点p₂的视差值修正为视差分布直方图中分布个数最多的视差d_s；

S23、对修正后的视差图像进行中值滤波。

本发明所述的方法中，重复步骤S21多次，以使尽可能多的不一致像素点的视差得到修正。

本发明所述的方法中，该方法还包括步骤：

S4、对经二次修正后的视差图像进行中值滤波，从而得到最终的视差图。

本发明还提供一种基于自适应支持权重匹配算法的两步视差改良系统，包括：

原始视差图求取模块，用于对左右原图进行自适应支持权重匹配算法求取原始视差图；

初始修正模块，用于对求取的原始视差图进行左右一致性检测，对检测到的不一致像素点的视差值采用变交叉域投票法和固定窗口投票法进行初始修正；

二次修正模块，用于将修正后的视差图中存在的误匹配区域分为非正常区域和错误边缘区域，并分别进行二次修正；其中非正常区域定义为：视差图中的存在某一区域P，对原始图像中相同的区域P内的每一个像素点q₁求其变交叉域原始图像中区域P内所有像素点的变交叉域组成区域记为M，在视差图中有相同的区域M，如果区域中存在像素点的视差值不等于区域P内像素点的视差值并且服从(其中d(p)表示像素点p的视差值)，则该区域P定义为非正常区域；对该非正常区域的视差值采用与步骤S2相同的方法进行修正；错误边缘区域定义为：视差图中物体的边缘像素与原图物体边缘像素之间的误匹配区域；错误边缘区域内的像素点的视差值通过视差继承算法来修正。

本发明所述的系统中，所述原始视差图求取模块具体用于在自适应支持权重匹配算法的参数选择上，在截断绝对差值T＝40以及窗口大小N＝35的条件下，γ_c和γ_p的参数分别选取为9和26时，对middlebury测试集tsukuba,venus,teddy,cones进行测试，其平均错误率最小，值为7.71％。

本发明所述的系统中，所述初始修正模块具体包括：

变交叉域投票法修正模块，用于对每一个不一致像素点p₁，求其变交叉域R，在其变交叉域内建立视差分布直方图，当该视差分布直方图满足一定条件时，将该不一致像素点的视差值修正为视差分布直方图中分布最多的视差d_f；

固定窗口投票法修正模块，用于将剩余的未被修正的不一致像素点的集合记为Q，针对Q中每一个像素点p₂,以p₂为中心，建立方形窗口，求该窗口的视差分布直方图，像素点p₂的视差值修正为视差分布直方图中分布个数最多的视差d_s；

中值滤波模块，用于对修正后的视差图像进行中值滤波。

本发明所述的系统中，所述变交叉域投票法修正模块还用于多次使用变交叉域投票法修正不一致像素点的视差，以使尽可能多的不一致像素点的视差得到修正。

本发明所述的系统中，该中值滤波模块还用于对经二次修正后的视差图像进行中值滤波，从而得到最终的视差图。

本发明产生的有益效果是：本发明通过两步视差改良的方式来提高自适应支持权重算法的匹配精度，该方法主要针对三类误匹配区域：左右一致性检测到的误匹配区域、非正常区域和错误边缘区域，针对这三类误匹配区域采用不同的修正算法，有效提高了匹配精度。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1为本发明基于两步视差改良的自适应支持权重匹配算法的流程图；

图2位自适应支持权重参数γ_c和γ_p与平均误匹配率的关系图；

图3为像素点p的变交叉域，虚线围成的区域表示像素点p的变交叉域；

图4为像素点p的固定窗口，其中黑点表示未被修正的左右一致性检测到的“错误”像素点；

图5中黑色区域表示检测到的middlebury测试集的错误边缘区域；

图6(a)、图6(b)为本发明提供的算法跟其他算法匹配结果的对比。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

本发明实施例基于自适应支持权重匹配算法的两步视差改良方法，其包含以下三个步骤：

(1)、对左右原图进行自适应支持权重匹配算法求取原始视差图；

(2)、对求取的原始视差图进行左右一致性检测，对检测到的不一致像素点的视差值采用变交叉域投票法和固定窗口投票法进行初始修正；

(3)、将修正后的视差图中存在的误匹配区域分为非正常区域和错误边缘区域，并分别进行二次修正；

其中非正常区域定义为：视差图中的存在某一区域P，对原始图像中相同的区域P内的每一个像素点q₁求其变交叉域原始图像中区域P内所有像素点的变交叉域组成区域记为M，在视差图中有相同的区域M，如果区域中存在像素点的视差值不等于区域P内像素点的视差值并且服从(其中d(p)表示像素点p的视差值)，则该区域P定义为非正常区域；对该非正常区域的视差值采用与步骤(2)相同的方法进行修正；

错误边缘区域定义为：视差图中物体的边缘像素与原图物体边缘像素之间的误匹配区域；错误边缘区域内的像素点的视差值通过视差继承算法来修正。

本发明的一个较佳实施例中：

上述步骤(1)可依据自适应支持权重匹配算法计算原始视差图，其具体参数设置如下：

(1-1)以middlebury测试集tsukuba,venus,teddy,cones为对象，对左右两幅原图进行自适应支持权重立体匹配，在截断绝对差值T＝40以及窗口大小N＝35的条件下，γ_c和γ_p的参数分别选取为9和26，得到平均错误率最小的原始视差匹配图，值为7.71％。

上述步骤(2)对步骤(1)得到的原始视差图进行初始视差改良，其具体步骤如下：

(2-1)对步骤(1)求得的原始视差图进行左右一致性检测，对检测到的“错误”(即不一致)像素点的视差值采用变交叉域投票法和固定窗口投票法进行修正；

具体如下：

变交叉域投票法：首先，求像素点p的变交叉域。从像素点p的上、下两个方向分别求其边界像素点q₁，q₂。以求p点的下边界像素点q₁为例，从像素点p开始，沿着向下的方向寻找点q₁，直到q₁违反以下任一条件则终止搜索，并且像素点q₁即为像素点p的下边界像素点：

(Ⅰ)D_c(p,q)＜τ₁，并且D_c(p,q-(0,1))＜τ₁；(1)

(Ⅱ)D_s(p,q)＜L₁；(2)

(Ⅲ)当L₂＜D_s(p,q)＜L₁时，D_c(p,q)＜τ₂。(3)

其中,L₁，L₂表示空间距离阈值，τ₁，τ₂表示颜色距离阈值，并且

D_c(p,q)＝max_n＝R,G,B|I_n(p)-I_n(q)|(4)

D_s(p,q)＝|p-q|(5)

按照以上方法，分别求出像素点p的上下两个方向的边界像素点。对于上下边界像素点组成区域内的每一个像素点，按照相同方法求其左右边界像素点。像素点p的上、下边界点组成的区域和区域内每一个像素点的左、右边界像素点组成的交叉域即为像素点p的变交叉域，图3虚线部分即为像素点p的交叉域。

对左右一致性检测检测到的每一个“错误”像素点，求其变交叉域，通过变交叉域投票法对“错误”像素点的视差值进行修正。首先，对每一个错误像素点变交叉域内的可靠像素点(非“错误”像素点)建立视差分布直方图H_p，变交叉域中视差值分布最多的个数记为S_f，该视差值记为d_f，可靠像素点总个数记为S_p，当满足以下条件时，该“错误”像素点的视差值修正为d_f：

$S_p>{\mathrm{\τ}}_s,\frac{S_f}{S_p}>{\mathrm{\τ}}_H---\left(6\right)$

其中τ_s和τ_H为阈值常数。

重复执行变交叉域投票法五次，以保证尽可能多的“错误”像素点的视差值被修正。

执行完以上步骤之后，大部分的左右一致性检测检测到的“错误”像素点的视差得到修正，由于不满足公式(6)的修正条件，仍然会存在少数的“错误”像素点的视差值无法被修正，因此，剩下的“错误”像素点的视差采用固定窗口投票法进行修正。

具体如下：

固定窗口投票法：在剩下的“错误”像素点中，以每一个“错误”像素点为中心，设计固定长度N_square的方形窗口，建立以窗口内可靠像素点视差值为基础的视差分布直方图H_s，其中，视差值出现次数最多的视差d_s，则该“错误”像素点视差值即为d_s，如图4所示。对middlebury测试集tsukuba,venus,teddy,cones进行测试，测试结果表明，当N_square值为7时，固定窗口投票法处理的平均错误率最小。

执行完以上步骤以后，对得到的初始视差图进行中值滤波。

上述步骤(3)对步骤(2)得到的初始视差图进行初始视差改良，其具体步骤如下：

(3-1)对步骤(2)求得的初始视差图，主要得误匹配点集中在弱纹理以及物体边缘区域。第二步视差改良主要集中修正初始视差图中的弱纹理以及物体边缘区域的误匹配点。

具体如下：

视差图中的存在某一区域P，对原始图像中相同的区域P内的每一个像素点q₁求其变交叉域原始图像中区域P内所有像素点的变交叉域组成区域记为M，在视差图中有相同的区域M，如果区域中存在像素点的视差值不等于区域P内像素点的视差值并且服从(其中d(p)表示像素点p的视差值)，则该区域P定义为非正常区域。非正常区域像素点的视差采用步骤(2)中的变交叉域投票法和固定窗口投票法进行修正。

错误边缘区域定义为视差图中物体的边缘像素与原图物体边缘像素之间的误匹配区域。错误边缘区域通过以下方式提取：采用Canny边缘检测算法提取视差图和原图的边缘像素点，对于视差图上的每一个边缘像素点p，如果其在原图中不是边缘像素点，则将该像素点记为不匹配边界点。以不匹配边界点p为中心建立固定长度方形窗口，当窗口内任一与像素点p具有相同视差值的像素点满足以下任一条件时，则将不匹配边界点p以及窗口内所有与点p具有相同视差值的像素点记为错误边界点：

(Ⅰ)|I_R(p)-I_R(q)|≥ε_s(7)

(Ⅱ)|I_G(p)-I_G(q)|≥ε_s；(8)

(Ⅲ)|I_B(p)-I_B(q)|≥ε_s(9)

(Ⅳ)sum_n＝R,G,B|I_n(p)-I_n(q)|≥ε_a(10)

其中，I_R,I_G,I_B分别代表像素点在RGB空间的R、G、B分量值，ε_s和ε_a分别表示单分量阈值常数和全分量阈值常数。

所有的错误边界点的集合记为错误边缘区域。错误边缘区域内像素点视差值通过视差继承算法来修正，通过该计算方法检测到的错误边缘区域如图5黑色区域所示。

具体如下：

记错误边缘区域为R，计算错误边缘区域内的每个像素点p的变交叉域Q，变交叉域Q内每一个像素点q对其中心像素点p的支持权重服从公式(11)：

$w(p,q)=\left\{\begin{array}{cc}0& q\∈R\\ \exp (-{\mathrm{\Δc}}_{pq}/{\mathrm{\γ}}_c-{\mathrm{\Δg}}_{pq}/{\mathrm{\γ}}_p)& q\∉R\end{array}\right.---\left(11\right)$

其中

Δc_pq＝sqrt((L_p-L_q)²+(a_p-a_q)²+(b_p-b_q)²)(12)

Δg_pq＝sqrt((x_p-x_q)²+(y_p-y_q)²)(13)

式中，L,a,b表示像素点在CIE空间的三个分量值，x，y表示像素点在图像坐标的坐标值。

像素点p的视差值被修正为d_f(p)：

$d_f\left(p\right)=\arg \underset{d\∈d_{max}}{max}\left(\underset{q\∈Q}{\Σ}w\left(p,q\right)\×m\left(q,d\right)\right)---\left(14\right)$

$m(p,q)=\left\{\begin{array}{ccc}1,& if& d\left(q\right)=d\\ 0,& if& d\left(q\right)\≠d\end{array}\right.---\left(15\right)$

对错误边缘区域内所有像素点的视差值通过以上方法进行修正，最后对求得的视差图进行中值滤波，结果即为最终视差图，如图6，该图表示本方法计算的视差图和其他算法计算的视差图的效果对比图。

下面以middlebury测试平台的测试集：tsukuba,venus,teddy,cones进行测试，实验平台为Matlab2014b，实验结果的评估标准为误匹配像素的百分比。

表1误匹配率对比

本发明实施例基于自适应支持权重匹配算法的两步视差改良系统，用于实现上述方法，具体包括：

原始视差图求取模块，用于对左右原图进行自适应支持权重匹配算法求取原始视差图；

初始修正模块，用于对求取的原始视差图进行左右一致性检测，对检测到的不一致像素点的视差值采用变交叉域投票法和固定窗口投票法进行初始修正；

二次修正模块，用于将修正后的视差图中存在的误匹配区域分为非正常区域和错误边缘区域，并分别进行二次修正；其中非正常区域定义为：视差图中的存在某一区域P，对原始图像中相同的区域P内的每一个像素点q₁求其变交叉域原始图像中区域P内所有像素点的变交叉域组成区域记为M，在视差图中有相同的区域M，如果区域中存在像素点的视差值不等于区域P内像素点的视差值并且服从(其中d(p)表示像素点p的视差值)，则该区域P定义为非正常区域；对该非正常区域的视差值采用与步骤S2相同的方法进行修正；错误边缘区域定义为：视差图中物体的边缘像素与原图物体边缘像素之间的误匹配区域；错误边缘区域内的像素点的视差值通过视差继承算法来修正。

本发明的一个实施例中，原始视差图求取模块具体用于在自适应支持权重匹配算法的参数选择上，在截断绝对差值T＝40以及窗口大小N＝35的条件下，γ_c和γ_p的参数分别选取为9和26时，对middlebury测试集tsukuba,venus,teddy,cones进行测试，其平均错误率最小，值为7.71％。

初始修正模块具体包括：

变交叉域投票法修正模块，用于对每一个不一致像素点p₁，求其变交叉域R，在其变交叉域内建立视差分布直方图，当该视差分布直方图满足一定条件时，将该不一致像素点的视差值修正为视差分布直方图中分布最多的视差d_f；

固定窗口投票法修正模块，用于将剩余的未被修正的不一致像素点的集合记为Q，针对Q中每一个像素点p₂,以p₂为中心，建立方形窗口，求该窗口的视差分布直方图，像素点p₂的视差值修正为视差分布直方图中分布个数最多的视差d_s；

中值滤波模块，用于对修正后的视差图像进行中值滤波。

本发明的一个实施例中，变交叉域投票法修正模块还用于多次使用变交叉域投票法修正不一致像素点的视差，以使尽可能多的不一致像素点的视差得到修正。

本发明的一个实施例中，该中值滤波模块还用于对经二次修正后的视差图像进行中值滤波，从而得到最终的视差图。

应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (10)

1.一种基于自适应支持权重匹配算法的两步视差改良方法，其特征在于，包括以下步骤：

S1、对左右原图进行自适应支持权重匹配算法求取原始视差图；

S2、对求取的原始视差图进行左右一致性检测，对检测到的不一致像素点的视差值采用变交叉域投票法和固定窗口投票法进行初始修正；

S3、将修正后的视差图中存在的误匹配区域分为非正常区域和错误边缘区域，并分别进行二次修正；

其中非正常区域定义为：视差图中的存在某一区域P，对原始图像中相同的区域P内的每一个像素点q₁求其变交叉域原始图像中区域P内所有像素点的变交叉域组成区域记为M，在视差图中有相同的区域M，如果区域中存在像素点的视差值不等于区域P内像素点的视差值并且服从(其中d(p)表示像素点p的视差值)，则该区域P定义为非正常区域；对该非正常区域的视差值采用与步骤S2相同的方法进行修正；

错误边缘区域定义为：视差图中物体的边缘像素与原图物体边缘像素之间的误匹配区域；错误边缘区域内的像素点的视差值通过视差继承算法来修正。

2.根据权利要求1所述的方法，其特征在于，步骤S1中，在自适应支持权重匹配算法的参数选择上，在截断绝对差值T＝40以及窗口大小N＝35的条件下，γ_c和γ_p的参数分别选取为9和26时，对middlebury测试集tsukuba,venus,teddy,cones进行测试，其平均错误率最小，值为7.71％。

3.根据权利要求1所述的方法，其特征在于，步骤S2具体包括以下步骤：

S21、对每一个不一致像素点(左右一次性检测到的像素点)p₁，求其变交叉域R，在其变交叉域内建立视差分布直方图，当该视差分布直方图满足一定条件时，将该不一致像素点的视差值修正为视差分布直方图中分布最多的视差d_f；

S22、将剩余的未被修正的不一致像素点的集合记为Q，针对Q中每一个像素点p₂,以p₂为中心，建立方形窗口，求该窗口的视差分布直方图，像素点p₂的视差值修正为视差分布直方图中分布个数最多的视差d_s；

S23、对修正后的视差图像进行中值滤波。

4.根据权利要求1所述的方法，其特征在于，重复步骤S21多次，以使尽可能多的不一致像素点的视差得到修正。

5.根据权利要求1所述的方法，其特征在于，该方法还包括步骤：

S4、对经二次修正后的视差图像进行中值滤波，从而得到最终的视差图。

6.一种基于自适应支持权重匹配算法的两步视差改良系统，其特征在于，包括：

原始视差图求取模块，用于对左右原图进行自适应支持权重匹配算法求取原始视差图；

初始修正模块，用于对求取的原始视差图进行左右一致性检测，对检测到的不一致像素点的视差值采用变交叉域投票法和固定窗口投票法进行初始修正；

二次修正模块，用于将修正后的视差图中存在的误匹配区域分为非正常区域和错误边缘区域，并分别进行二次修正；其中非正常区域定义为：视差图中的存在某一区域P，对原始图像中相同的区域P内的每一个像素点q₁求其变交叉域原始图像中区域P内所有像素点的变交叉域组成区域记为M，在视差图中有相同的区域M，如果区域中存在像素点的视差值不等于区域P内像素点的视差值并且服从(其中d(p)表示像素点p的视差值)，则该区域P定义为非正常区域；对该非正常区域的视差值采用与步骤S2相同的方法进行修正；错误边缘区域定义为：视差图中物体的边缘像素与原图物体边缘像素之间的误匹配区域；错误边缘区域内的像素点的视差值通过视差继承算法来修正。

7.根据权利要求6所述的系统，其特征在于，所述原始视差图求取模块具体用于在自适应支持权重匹配算法的参数选择上，在截断绝对差值T＝40以及窗口大小N＝35的条件下，γ_c和γ_p的参数分别选取为9和26时，对middlebury测试集tsukuba,venus,teddy,cones进行测试，其平均错误率最小，值为7.71％。

8.根据权利要求6所述的系统，其特征在于，所述初始修正模块具体包括：

变交叉域投票法修正模块，用于对每一个不一致像素点p₁，求其变交叉域R，在其变交叉域内建立视差分布直方图，当该视差分布直方图满足一定条件时，将该不一致像素点的视差值修正为视差分布直方图中分布最多的视差d_f；

固定窗口投票法修正模块，用于将剩余的未被修正的不一致像素点的集合记为Q，针对Q中每一个像素点p₂,以p₂为中心，建立方形窗口，求该窗口的视差分布直方图，像素点p₂的视差值修正为视差分布直方图中分布个数最多的视差d_s；

中值滤波模块，用于对修正后的视差图像进行中值滤波。

9.根据权利要求8所述的系统，其特征在于，所述变交叉域投票法修正模块还用于多次使用变交叉域投票法修正不一致像素点的视差，以使尽可能多的不一致像素点的视差得到修正。

10.根据权利要求8所述的系统，其特征在于，该中值滤波模块还用于对经二次修正后的视差图像进行中值滤波，从而得到最终的视差图。