CN109255811A - 一种基于可信度图视差优化的立体匹配方法 - Google Patents

Abstract

本发明公开了一种基于可信度图视差优化的立体匹配方法，首先融合AD和MiniCensus两种相似性度量函数构造AD‑MiniCensus变换计算双目相机左右图像的初始匹配代价；然后，采用双臂长阀值和双色彩阀值的判断准则，分别对左右图像构建自聚合窗口，取重叠区域为自适应聚合窗口；最后采用WTA策略取视差区间内匹配代价最小点为初始匹配点并计算初始视差，使用一种基于可信度图的区域投票优化算法，结合左右一致性检测等多个优化步骤实现视差图优化。本发明方法能够有效计算双目相机左右图像中各个像素的对应点，视差优化算法可以有效减少误匹配点，准确的计算各个像素的视差值；本发明方法可并行计算并通过硬件加速降低运算时间，适合于工程应用。

Description

一种基于可信度图视差优化的立体匹配方法

技术领域

本发明属于双目立体视觉技术领域，涉及一种基于可信度图视差优化的立体匹配方法。

背景技术

移动机器人工作的环境越来越复杂，其对周围环境信息感知的要求越来越高，加之半导体技术快速发展，处理器计算速度提高，视觉传感器成本下降，双目立体视觉被逐步引入到移动机器人环境感知等领域。

立体视觉系统主要分为以下四个组成部分:摄像机标定、图像获取、立体匹配和三维重建。它的基本原理是根据同一个目标在不同视角下的二维图像，通过找到相同二维像素点所对应的空间坐标，从而获得稠密的场景距离信息，即深度图。立体匹配是双目立体视觉中最重要、最核心的问题。它解决的是对于同一空间景物上的一点在参考图像上的投影点如何在匹配图像上找到其对应点的问题，其准确度对深度估算的准确度有着重要影响。立体匹配算法可以分为局部立体匹配算法和全局立体匹配算法，局部算法一般都包含代价函数，代价聚合和视差优化及精化三个步骤，前者通过调节单个点相似性度量方式来改善匹配性能，而后者通过改变邻域内其他像素的对当前像素的不同贡献来增强鉴别性。因此，研究代价函数构成，代价聚合窗口生成方法和视差优化算法具有重要意义。

发明内容

发明目的：本发提供一种可有效降低了匹配误差率、降低运算时间且适合于工程运用的基于可信度图视差优化的立体匹配方法。

技术方案：本发明所述的一种基于可信度图视差优化的立体匹配方法，包括以下步骤：

(1)融合AD和MiniCensus两种相似性度测量函数，构建AD-MiniCensus初始匹配代价函数，计算左右图像每个像素点的初始匹配代价；

(2)以左右图像每个像素作为中心建立十字框架支持窗口，采用双臂长阀值和双色彩阀值的判断准则，在水平和垂直方向，自适应地生长四个臂长，以准确地构建局部聚合窗口；

(3)在局部十字框架支持窗口的基础上，分别沿垂直方向和水平方向构建自适应窗口，聚合窗口内的初始匹配代价并进行归一化处理，通过WTA策略计算出每个像素点的初始视差；

(4)通过左右一致性检测，基于可信度图的区域投票优化算法，经过插值优化及亚像素化，得到最终视差。

所述步骤(1)通过以下公式实现：

N_p∈{q_x＝p_x||q_y＝p_y||(q_x＝p_x+α&&q_y＝p_y+α,α∈Z)}

C_minicensus(p,d)＝Hamming[T_l(p),T_r(p+d)]

d∈[d_min,d_max]

C(p,d)＝ρ(C_minicensus(p,d),λ_minicensus)+ρ(C_ad(p,d),λ_ad)

其中，p为像素点，d为视差，d_min为最小视差，d_max为最大视差，T(p)表示p像素点的MiniCensus序列，p_x，p_y表示像素p在像素坐标系下的横坐标和纵坐标，q_x，q_y表示像素q在像素坐标系下的横坐标和纵坐标，N_p表示支持窗口内除p点外，满足限制条件的所有像素点的集合，整数α为偏移量，C(p,d)为单个像素的初始匹配代价，ρ(c,λ)为映射函数，λ_minicensus为MiniCensus映射参数，λ_ad为AD映射参数，C_ad(p,d)为AD相似性测量函数，C_minicensus(p,d)为MiniCensus相似性测量函数，I_li(p)为像素p左图RGB单通道像素值，I_lr(p+d)为像素p右图在d视差距离下RGB单通道像素值，Hamming[T_l(p),T_r(p+d)]为汉明距离函数，T_l(p)表示p的左图MiniCensus序列，T_r(p)表示p的右图MiniCensus序列。

所述步骤(2)所通过以下公式实现：

D_c(p₁,p)＜τ₁and D_c(p₁,p₁+(1,0))＜τ₁

D_s(p₁,p)＜L₁

D_c(p₁,p)＜τ₂,if L₂＜D_s(p₁,p)＜L₁

τ₁＞τ₂and L₁＞L₂

D_c(p₁,p)＝max|I_i(p₁)-I_i(p)|i＝R,G,B

D_s(p₁,p)＝|p₁-p|

其中，p_l表示向左延伸的最大像素，τ₁和τ₂表示颜色阈值，L₁和L₂表示距离阈值，D_s表示像素间的空间距离，D_c表示色彩空间距离，得到四个臂长后，可得P的十字交叉区域为：

沿垂直方向，对V(p)中每个像素进行水平臂长H(p)求解，联合所有H(p)可得垂直自适应聚合区域U_v(p)，对H(p)中每个像素进行垂直臂长V(p)求解，联合所有V(p)可得垂直自适应聚合区域U_H(p)。

所述步骤(3)通过以下公式实现：

其中，U(p)为左图像素p生成的聚合区域，U(p,d)为右图在视差d下的对应像素聚合区域，归一化匹配代价,N为聚合区域的像素总个数，为初始视差。

所述步骤(4)包括以下步骤：

(41)对初始视差图进行左右一致性检测找到视差异常点，利用AD相似度测量函数求得的匹配代价，计算每个像素点的匹配代价峰值比Conf₁(x,y)：

d_l(p)＝d_r{p-[d_l(p),0]}

Conf(x,y)＝Conf₁(x,y)+ΔConf(x,y)

其中，d(p)为初始视差值，c_f为常量，ΔConf(x,y)为可信度增量；

(42)当像素满足检测要求时，增加一个常量，否则减小一个常量，统计聚合区域中所有可信度高于阈值的像素点视差值，构建具有dmax+1个区段的视差直方图Hp，使用出现频率最高的视差值以代替异常点视差值；

(43)对遮挡点和误匹配点采用不同的插值处理；

(44)进行亚像素化处理获得最终视差。

有益效果：与现有技术相比，本发明的有益效果为：1、有效减少了误匹配点，降低了匹配误差率；2、本方法使用Middlebury标准图像集进行测试，可以准确的计算出视差值；3、本发明方法可并行计算并通过硬件加速降低运算时间，适合于工程应用。

附图说明

图1是本发明的流程图；

图2是自适应生长区域示意图；

图3是初始视差图；

图4是可信度图。

具体实施方式

下面结合附图对本发明作进一步详细说明。

本发明一种基于可信度图视差优化的立体匹配方法的原理是：融合AD灰度绝对值和MiniCensus两种相似性度测量函数，构建AD-MiniCensus初始匹配代价函数，利用此函数计算左右图像每个像素点的初始匹配代价；随后，以左右图像每个像素作为中心建立十字框架支持窗口，采用双臂长阀值和双色彩阀值的判断准则，在水平和垂直方向，自适应地生长四个臂长，以准确地构建局部聚合窗口；然后，分别沿垂直方向，水平方向构建自适应窗口，聚合窗口内的初始匹配代价并进行归一化处理，通过WTA策略计算出每个像素点的初始视差；最后，通过左右一致性检测，基于可信度图的区域投票优化算法，插值优化，亚像素化，实现视差图优化，获得最终视差。

图1为本发明流程图，包括以下步骤：

1、建立基于AD-MiniCensus变换的初始匹配代价

AD是一种高效的相似性度量函数，但易于受到光照影响；MiniCensus变换尽管提高了匹配算法对光照的鲁棒性，但是该变换丢失了大量原图像素值的信息，导致在视差不连续区域及纹理较少区域误匹配率较高。将两者结合构成初始代价函数，旨在提升算法性能。p为像素点，在视差d下，按照RGB三通道计算，AD的匹配代价计算为：

I_li(p)为像素p左图RGB单通道像素值，I_lr(p+d)为像素p右图在d视差距离下RGB单通道像素值。使用在选定的初始匹配窗口内，选择像素p水平方向，垂直方向，正负45度方向上的所有像素点q，和中心像素p顺序进行比较，若q灰度值大于p记为1，否则记为0，由此按位连接组成的序列作为中心点的MiniCensus序列。变换后使用汉明距离计算相似度，汉明距离越小，相似度越高。

N_p∈{q_x＝p_x||q_y＝p_y||(q_x＝p_x+α&&q_y＝p_y+α,α∈Z)} (3)

C(p,d)＝ρ(C_minicensus(p,d),λ_minicensus)+ρ(C_ad(p,d),λ_ad) (7)

T(p)表示p像素点的MiniCensus序列，p_x，p_y表示像素p在像素坐标系下的横坐标和纵坐标，q_x，q_y表示像素q在像素坐标系下的横坐标和纵坐标，N_p表示支持窗口内除p点外，满足限制条件的所有像素点的集合，整数α为偏移量。C(p,d)为单个像素的初始匹配代价，ρ(c,λ)为映射函数。λ_minicensus为MiniCensus映射参数，设为30，λ_ad为AD映射参数，设为10，Hamming[T_l(p),T_r(p+d)]表示汉明距离函数，d_min为最小视差，d_max为最大视差。由于MiniCensus变换和AD对相似度的评价标准不同，为了不使评价函数严重依赖其中一种度量手段，同时为了控制异常值，所以本文将两种不同的评价手段映射到[0,1]区间上，映射参数λ_ad为10，λ_minicensus为30。

2、建立基于十字交叉区域的自适应聚合窗口

自适应窗口的设计关键是为每个像素p确定水平臂长和垂直臂长。本文采用双臂长阀值和双色彩阀值的判断准则对自适应聚合窗口臂长进行限制，以得到更准确的聚合窗口，如图2所示。H(p)表示水平臂长，V(p)表示垂直臂长，{h^-,h⁺,v^-,v⁺}分别表示左，右，上，下四个臂长的长度，以左臂长为例，臂长判断准则数学表达式为：

D_c(p₁,p)＜τ₁and D_c(p₁,p₁+(1,0))＜τ₁ (8)

D_s(p₁,p)＜L₁ (9)

D_c(p₁,p)＜τ₂,if L₂＜D_s(p₁,p)＜L₁ (10)

τ₁＞τ₂and L₁＞L₂ (11)

D_c(p₁,p)＝max|I_i(p₁)-I_i(p)|i＝R,G,B (12)

D_s(p₁,p)＝|p₁-p| (13)

p_l表示向左延伸的最大像素，τ₁和τ₂表示颜色阈值，L₁和L₂表示距离阈值。D_s表示像素间的空间距离，D_c表示色彩空间距离，公式(8)通过限制p_l和p及p_l与其前一像素p_l+(1,0)之间的颜色差异，保证聚合区域的边缘特性。L₁值大于L₂，用来包含足够的像素，保证无纹理区域的匹配精度。当臂长度超过L₂时，计算D_c时将使用更严格的阈值τ₂，以确保臂长仅延伸到色彩非常相似的区域图案。由以上判定准则，可得p的十字交叉区域。

3、初始代价聚合及初始视差选择方法

沿垂直方向，对V(p)中每个像素进行水平臂长H(p)求解，联合所有H(p)可得垂直自适应聚合区域U_v(p)；对H(p)中每个像素进行垂直臂长V(p)求解，联合所有V(p)可得垂直自适应聚合区域U_H(p)。

对于代价聚合部分，为避免聚合成本被右图像中的异常值污染，对称地考虑左图像素p生成的聚合区域U(p)，以及右图在视差d下的对应像素聚合区域U(p,d)。代价聚合区域为联合区域及归一化匹配代价计算如下,N为聚合区域的像素总个数。

为获取稳定的聚合值，可进行多次迭代聚合计算。假设进行4次迭代聚合计算，第一次和第三次聚合，首先水平聚合然后垂直聚合，对于第二次和第四次聚合，切换聚合方向：首先是纵向聚合，然后是水平聚合。对于每个像素，这个新的聚合顺序导致基于交叉的聚合区域与不同，通过改变聚合方向，在迭代过程中使用两个聚合区域，可以减少深度不连续处的误差。

为进一步避免错误匹配，在代价聚合前，使用基于半全局匹配方法的多方向扫描线优化器，之后采用WTA策略，找到视差区间内匹配代价最小的像素点，计算其在水平方向上与p点的位置差做为初始视差，遍历计算左图中每个像素点的初始视差即可得初始视差图，初始视差图如图3所示。

4、基于可信度图的区域投票视差优化算法

在初始视差图中，遮挡区域和深度不连续处易出现异常值，使用左右一致性检测，不满足公式(19)的像素点为异常点，根据对极几何原理，异常点被进一步分类为遮挡点和误匹配点。在初始视差图中，会存在较多的异常点，检测到的异常点的视差值应使用邻域内的视差值代替。

d_l(p)＝d_r{p-[d_l(p),0]} (19)

d(p)为初始视差值，采用一种基于可信度的区域投票策略进行优化，对于每个像素的初始视差值，其可信度由邻域可鉴别性决定，纹理丰富区域可信度较高，反之，可信度较低。在初始匹配代价求解过程中，利用AD的匹配代价，计算每个像素点的匹配代价峰值比Conf₁(x,y)，即匹配代价最小值和次小值的比值。

Conf(x,y)＝Conf₁(x,y)+ΔConf(x,y) (22)

c_f为常量，ΔConf(x,y)为可信度增量。利用左右一致性检测，当该像素满足检测要求时，增加一个常量，否则减小一个常量，所得可信度图如图4所示。

统计聚合区域中所有可信度高于阈值的像素点视差值，构建具有dmax+1个区段的视差直方图Hp，使用出现频率最高的视差值以代替异常点视差值，然后对遮挡点和误匹配点采用不同的插值处理：如果p是遮挡点，则选择具有最低视差值的像素进行插值，因为p最可能来自背景；否则选择具有最相似颜色的像素进行插值。最后进行亚像素化处理获得最终视差。经过以上优化步骤后，遮挡点和误匹配点将明显减少。

使用Middlebury标准图像集中的Tsukba、Teddy和Cones三幅基准彩色图像对本方法进行评测，其测试参数均按照测试平台要求设置，其图像的匹配误差百分比如表1所示。

表1基于Middlebury基准图像的匹配误差百分比

在表1中，non-occ表示非遮挡区域误匹配像素比，all表示全区域误匹配像素比，由匹配误差百分比对比可知，本文方法图像匹配误差率低于经典全局立体匹配算法GC，DP，尤其在视差搜索范围较大的Teddy和Cones测试图上。

以上实施例仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明保护范围之内。

Claims (5)

1.一种基于可信度图视差优化的立体匹配方法，其特征在于，包括以下步骤：

(1)融合AD和MiniCensus两种相似性度测量函数，构建AD-MiniCensus初始匹配代价函数，计算左右图像每个像素点的初始匹配代价；

(2)以左右图像每个像素作为中心建立十字框架支持窗口，采用双臂长阀值和双色彩阀值的判断准则，在水平和垂直方向，自适应地生长四个臂长，以准确地构建局部聚合窗口；

(3)在局部十字框架支持窗口的基础上，分别沿垂直方向和水平方向构建自适应窗口，聚合窗口内的初始匹配代价并进行归一化处理，通过WTA策略计算出每个像素点的初始视差；

(4)通过左右一致性检测，基于可信度图的区域投票优化算法，经过插值优化及亚像素化，得到最终视差。

2.根据权利要求1所述一种基于可信度图视差优化的立体匹配方法，其特征在于，所述步骤(1)通过以下公式实现：

N_p∈{q_x＝p_x||q_y＝p_y||(q_x＝p_x+α&&q_y＝p_y+α,α∈Z)}

C_minicensus(p,d)＝Hamming[T_l(p),T_r(p+d)]

d∈[d_min,d_max]

C(p,d)＝ρ(C_minicensus(p,d),λ_minicensus)+ρ(C_ad(p,d),λ_ad)

其中，p为像素点，d为视差，d_min为最小视差，d_max为最大视差，T(p)表示p像素点的MiniCensus序列，p_x，p_y表示像素p在像素坐标系下的横坐标和纵坐标，q_x，q_y表示像素q在像素坐标系下的横坐标和纵坐标，N_p表示支持窗口内除p点外，满足限制条件的所有像素点的集合，整数α为偏移量，C(p,d)为单个像素的初始匹配代价，ρ(c,λ)为映射函数，λ_minicensus为MiniCensus映射参数，λ_ad为AD映射参数，C_ad(p,d)为AD相似性测量函数，C_minicensus(p,d)为MiniCensus相似性测量函数，I_li(p)为像素p左图RGB单通道像素值，I_lr(p+d)为像素p右图在d视差距离下RGB单通道像素值，Hamming[T_l(p),T_r(p+d)]为汉明距离函数，T_l(p)表示p的左图MiniCensus序列，T_r(p)表示p的右图MiniCensus序列。

3.根据权利要求1所述一种基于可信度图视差优化的立体匹配方法，其特征在于，所述步骤(2)所通过以下公式实现：

D_c(p₁,p)＜τ₁ and D_c(p₁,p₁+(1,0))＜τ₁

D_s(p₁,p)＜L₁

D_c(p₁,p)＜τ₂,if L₂＜D_s(p₁,p)＜L₁

τ₁＞τ₂ and L₁＞L₂

D_c(p₁,p)＝max|I_i(p₁)-I_i(p)|i＝R,G,B

D_s(p₁,p)＝|p₁-p|

其中，p_l表示向左延伸的最大像素，τ₁和τ₂表示颜色阈值，L₁和L₂表示距离阈值，D_s表示像素间的空间距离，D_c表示色彩空间距离，得到四个臂长后，可得P的十字交叉区域为：

沿垂直方向，对V(p)中每个像素进行水平臂长H(p)求解，联合所有H(p)可得垂直自适应聚合区域U_v(p)，对H(p)中每个像素进行垂直臂长V(p)求解，联合所有V(p)可得垂直自适应聚合区域U_H(p)。

4.根据权利要求1所述一种基于可信度图视差优化的立体匹配方法，其特征在于，所述步骤(3)通过以下公式实现：

其中，U(p)为左图像素p生成的聚合区域，U(p,d)为右图在视差d下的对应像素聚合区域，归一化匹配代价,N为聚合区域的像素总个数，为初始视差。

5.根据权利要求1所述一种基于可信度图视差优化的立体匹配方法，其特征在于，所述步骤(4)包括以下步骤：

(41)对初始视差图进行左右一致性检测找到视差异常点，利用AD相似度测量函数求得的匹配代价，计算每个像素点的匹配代价峰值比Conf₁(x,y)：

d_l(p)＝d_r{p-[d_l(p),0]}

Conf(x,y)＝Conf₁(x,y)+ΔConf(x,y)

其中，d(p)为初始视差值，c_f为常量，ΔConf(x,y)为可信度增量；

(42)当像素满足检测要求时，增加一个常量，否则减小一个常量，统计聚合区域中所有可信度高于阈值的像素点视差值，构建具有dmax+1个区段的视差直方图Hp，使用出现频率最高的视差值以代替异常点视差值；

(43)对遮挡点和误匹配点采用不同的插值处理；

(44)进行亚像素化处理获得最终视差。