CN115601406A - 基于融合代价计算和加权引导滤波的局部立体匹配方法 - Google Patents

Abstract

本发明公开了一种基于融合代价计算函数和加权引导滤波的局部立体匹配方法，步骤S1、获得参考图像和匹配图像；步骤S2、计算参考图像和匹配图像中每个像素的改进三状态Census变换代价、增强梯度代价和AD‑Census代价，采用指数融合算法将代价值进行融合；步骤S3、构建聚合区域，然后在聚合区域上进行代价聚合，生成聚合之后的代价空间；步骤S4、在聚合后的代价空间中采用赢者通吃算法，得到初始视差图；步骤S5、对不同类型的匹配错误点采用不同的插值策略进行视差填充，最后对经过视差填充之后的视差图进行亚像素精化和中值滤波，以获得最终视差图。与现有技术相比，本发明克服了单一代价的不足，能够生成更好的视差图，且相比传统Census变换精度提高了4.9％。

Description

基于融合代价计算和加权引导滤波的局部立体匹配方法

技术领域

本发明涉及图像处理领域，具体涉及一种双目立体视觉的局部立体匹配算法。

背景技术

基于双目立体视觉的三维重建技术具有精度高、设备简单、实时性强的优点，广泛应用于虚拟现实、工业测量和机器人导航等领域，近年来成为机器视觉领域的研究热点。立体匹配算法作为双目立体视觉中最核心的技术，其匹配精度对三维重建的效果起着至关重要的作用。

立体匹配算法的目的是寻找参考图像和匹配图像的匹配点对，计算视差并生成视差 图；该算法分为全局立体匹配算法、半全局立体匹配算法以及局部立体匹配算法。局部立体匹配算法又称为基于滑动窗口的匹配算法，具有计算量小、精度高和易于在硬件上 实施等优点，是目前匹配算法中的研究热点。现有技术中已有立体匹配算法优化为代价 计算、代价聚合、视差计算以及视差优化四个步骤的方案。

目前，代价计算函数中最常用的相似性度量函数为Census变换，其拥有对噪声的抗干扰性，但没有充分利用像素值的本身大小以及像素之间的互相关信息，对中心像素 的依赖型强。

发明内容

本发明旨在提出一种基于融合代价计算和加权引导滤波的局部立体匹配方法，通过 构建融合代价来作为整体代价计算函数以及对视差图实现加权引导滤波，以获得最终视 差图。。

本发明利用以下技术方案实现：

一种基于融合代价计算函数和加权引导滤波的局部立体匹配方法，该方法包括以下 步骤：

步骤S1、采用两个相机搭建双目立体视觉系统，获得左/右相机拍摄的彩色图像分别为参考图像和匹配图像；

步骤S2、计算参考图像和匹配图像中每个像素的改进三状态Census变换代价、增强梯度代价和AD-Census代价，采用指数融合算法将上述三种代价值按权重进行融合；

步骤S3、基于十字交叉自适应生成域方法为每个目标像素构建聚合区域，然后在聚合区域上进行代价聚合，生成聚合之后的代价空间；

步骤S4、在聚合后的代价空间中采用赢者通吃算法，初步确定每个最小像素代价，每个最小像素代价所对应的视差值为最优视差，得到初始视差图；

步骤S5、采用左右一致性原则对初始视差图中匹配错误的点进行分类，然后对不同类型的匹配错误点采用不同的插值策略进行视差填充，最后对经过视差填充之后的视差图进行亚像素精化和中值滤波，以获得最终视差图。

与现有技术相比，本发明具有以下有益效果：

1)克服了传统Census变换过度依赖中心像素的缺点，增强了对边缘信息的利用，并克服了单一代价的不足，能够生成更好的视差图；

2)在Middleburry数据集Teddy、Tsukuba、Venus、Cones上进行了测试，对不同 图像都具有良好的抗干扰性，相比传统Census变换精度提高了4.9％。

附图说明

图1为本发明的一种基于融合代价计算函数和加权引导滤波的局部立体匹配方法整体流程图。

图2为搭建的双目立体视觉系统实施例图。

图3为本发明中改进三状态Census变换和传统Census变换在Middleburry数据集Motorcycle弱纹理区域的视差对比图。

图4为本发明优选实施例所述标准数据集中的真实视差图。

图5为本发明优选实施例的经过本实例案例算法得到的视差图。

图6为本发明优选实施例的算法误差对比结果图；

图7为8方向示意图。

具体实施方式

下面结合附图和具体实施例对本发明技术方案作进一步详细描述。

本发明的一种基于融合代价计算函数和加权引导滤波的局部立体匹配方法，在代价 计算中提出一种改进三状态Census变换和一种增强梯度代价计算方法，并融合AD代 价构成本算法的代价计算函数；在代价聚合中提出一种改进加权引导滤波算法；然后采 用赢者通吃算法选取最小代价值对应的视差为最优视差值，并对初始视差图进行多步精 化以进一步提高算法匹配精度，该方法具体包括以下步骤：

步骤S1、采用两个相机搭建双目立体视觉系统，获得左/右相机拍摄的彩色图像分别为参考图像和匹配图像；

步骤S2、计算参考图像和匹配图像中每个像素的改进三状态Census变换代价、增强梯度代价(x方向和y方向)和AD代价，采用指数融合算法将上述几种代价值按权 重进行融合，生成以图像宽为x轴、图像高为y轴、视差范围为z轴的三维初始代价空 间；

步骤S3、基于十字交叉自适应生成域方法为每个目标像素构建聚合区域，然后在聚合区域上进行代价聚合，生成聚合之后的代价空间；

步骤S4、在聚合后的代价空间中采用赢者通吃算法，初步确定每个最小像素代价，每个最小像素代价所对应的视差值为最优视差，得到初始视差图；

步骤S5、采用左右一致性原则对初始视差图中匹配错误的点进行分类，然后对不同类型的匹配错误点采用不同的插值策略进行视差填充，最后对经过视差填充之后的视差图进行亚像素精化和中值滤波，以获得最终视差图。

进一步地，所述步骤S2具体包括以下步骤：

步骤S21、将参考图像和匹配图像转换为灰度图像，然后在参考图像的灰度图像上以目标像素p为中心建立大小为9x7的邻域窗口，将该邻域窗口作为Census变换窗口， 在Census变换窗口内进行改进三状态Census变换，其中改进三状态Census变换过程定 义如下：

式中，

为目标像素点p的像素值均值，I(q)为邻域内像素点q的像素值，ξ[·]为 01序列，是构成改进三状态Census变换码的基础，α为局部纹理对比度阈值，α的表达 式如下：

式中，sum1为Census变换窗口中大于像素值均值的所有像素的灰度值之和，sum2为Census变换窗口中小于像素值均值的所有像素的灰度值之和，n1和n2分别为Census 变换窗口中大于像素值均值的所有像素的数量和Census变换窗口中小于像素值均值的 所有像素的数量，β为归一化参数，将其设为32。

实现Census变换窗口的Census变换码连接，得到改进三状态Census变换码如下式所示：

式中，W(p)为以目标像素p为中心的邻域窗口，I(p)和I(q)分别为像素p和像素q的灰度值，c(p)为目标像素点p的Census变换码。

设参考图像中的目标像素p在视差d时，与匹配图像中的像素p_d构成匹配点对；

通过汉明距离得到改进三状态Census代价，如下式所示：

C_Census(p，d)＝Hamming[c₁(p)，c_r(p_d)]

步骤S22、对参考图像和匹配图像的灰度图像进行限制对比度自适应直方图均衡处 理，然后在处理后的图像上计算x方向和y方向的增强梯度代价，如下式所示：

式中，I′_L和I′_R分别为经过限制对比度自适应直方图均衡处理后的参考图像和匹配 图像的像素值，

和

分别为目标像素p在x方向和y方向的梯度；

步骤S23、计算参考图像和匹配图像中每个像素的AD-Census代价，如下式所示：

式中，d为视差，

表示参考图像中目标像素p第i通道中的像素值；

步骤S24、融合上述三种代价构建整体代价计算函数：

C(p，d)＝ρ(C_Census(p，d)，γ_Census)+ρ(C_Grad(p，d)，γ_Grad)+ρ(C_AD(p，d)，γ_AD)

式中，C_Census(p，d)、C_Grad(p，d)和C_AD(p，d)分别为改进三状态Census变换代 价、增强梯度代价(x方向和y方向)和AD-Census代价，γ为可调参数，通过调整γ 的值可以调整三种代价的比重，避免最终代价值过度依赖某一种代价，C为变量，在 上式中带入的三种匹配代价；ρ(c，γ)为关于c的控制函数，如下式所示：

进一步地，所述步骤3具体包括以下步骤：

步骤S31、构建自适应生成域的骨架：首先构建以目标像素p为垂点的十字架作为自适应区域的初始骨架部分，十字架由水平臂H(p)和垂直臂V(p)构成，臂长为 {h_p ⁺，h_p ^-，v_p ⁺，v_p ^-}。以左水平臂长

为例，臂长扩展准则如下式所示：

式中，D_s(p，q)＝|p-q|为距离差，τ和L为预设的色彩阈值和距离阈值，

为目标像素点p和聚合区域内的像素点q之间的色彩 差异，当臂长不满足上述臂长扩展准则时停止增长；

步骤S32、根据初始骨架构建自适应生成域，利用S31得到的目标像素点p的臂长{h_p ⁺，h_p ^-，v_p ⁺，v_p ^-}，进而得到正交的十字交叉区域H(p)和V(p)，如下式所示：

最后，沿着竖直方向对V(p)中聚合区域内的像素点q按照步骤S31中的臂长扩展准则构建水平支持区域H(p)，联合所有水平支持区域H(p)得到图像中任意目标像素点p 的自适应区域，如下式所示：

步骤S33、得到聚合后的代价值，如下式所示：

式中，N为自适应区域U(p)内的像素个数。

进一步地，所述步骤5具体包括以下步骤：

步骤S51、对步骤S4获得的初始视差图依据下式进行左右一致性检测，左右一致性准则为下式：

|d_L(x，y)-d_R[(x-d_L(x，y))，y]|＜1

式中，d_L(x，y)为参考图像中目标像素点坐标p(x，y)的视差值，d_R(x-d_L(x，y)，y)为目标像素点坐标p(x，y)在视差d下的匹配点(x-d_L(x，y)，y)的视差值；

若初始视差图中的像素点满足左右一致性准则，则为匹配正确点，若不满足则为匹 配异常点。进一步地，根据极限约束准则再将匹配异常点分为错误匹配点和遮挡点；

进一步地根据极限约束准则匹配点分为错误匹配点和遮挡点；极线约束准则指明匹 配点对应该在同一水平线上，即如果能够在同一水平线上找到匹配点对，则该点为错误匹配点，否则为遮挡点。

步骤S52、分别采用不同的差值策略对错误匹配点和遮挡点进行插值：①采用区域迭代插值策略对遮挡点进行插值：在遮挡点的十字交叉窗口内对视差合理点(视差 合理点即为匹配正确的点)进行直方图投票，投票总数为N_sum，得到票数最高的视差 值记为d_H，其票数记作N_vote(d_H)，若满足式N_sum＞τ_N和

两个条件，则遮 挡点的视差值更新为d_H，τ_N和τ_R是阈值，是自定义的值，分别取50和0.5。按照上 述过程进行五次区域迭代插值，更新所有遮挡点的视差值，针对匹配错误的点完成视 觉填充；

②对于错误匹配点，则从8方向的合理点中选择与目标像素点p在原参考图像中颜色最接近的视差值来更新原视差值，针对匹配错误的点完成视觉填充；

其中，参考图像就是左图像，匹配图像就是右图像

步骤S53、对步骤S52处理后的视差图进行亚像素精化，以及进行基于3×3滤波核的中值滤波，得到最终视差图。

如图2所示，为搭建的双目立体视觉系统实施例图。该双目立体视觉系统包括左侧相机1、右侧相机2、固定板3以及用于固定相机和固定板的螺丝结构4。其中的单目摄像 机型号为S50PT1080，采用usb接口，支持uvc通信协议，内置CMOS(OV2710)感光芯 片，视场角为110度，分辨率为1920x1080，相机的其他主要参数如表1所示。

表1

如图3，(a)为“Motorcycle”参考图像原图，(b)和(c)分别是传统Census变换和改进 三状态Census变换在没有噪声影响时生成的视差图。由(b)和(c)对比可知，在没有噪声影 响时，改进三状态Census对传统Census的匹配效果稍有改善。在原图中添加高斯噪声，两种Census变换生成的视差图分别为(d)和(e)，如图所示，改进三状态Census变换的改善效果十分明显，且生成的视差图与不加噪声时的视差图差别不大，说明本发明所提改进 三状态Census对噪声有很好的抗干扰性。

以上所述仅为展示本发明技术思想和特点的较为优选的实施方式，目的在于能够使 本领域内的技术人员理解发明内容并据此实施，并不用以限制本发明，即在本发明精神和原则之内所做的修饰、替代、同等变化等，均应在本发明保护范围之内。

Claims (4)

1.一种基于融合代价计算函数和加权引导滤波的局部立体匹配方法，其特征在于，该方法包括以下步骤：

步骤S1、采用两个相机搭建双目立体视觉系统，获得左/右相机拍摄的彩色图像分别为参考图像和匹配图像；

步骤S2、计算参考图像和匹配图像中每个像素的改进三状态Census变换代价、增强梯度代价和AD代价，采用指数融合算法将上述三种代价值按权重进行融合；

步骤S3、基于十字交叉自适应生成域方法为每个目标像素构建聚合区域，然后在聚合区域上进行代价聚合，生成聚合之后的代价空间；

步骤S4、在聚合后的代价空间中采用赢者通吃算法，初步确定每个最小像素代价，每个最小像素代价所对应的视差值为最优视差，得到初始视差图；

步骤S5、采用左右一致性原则对初始视差图中匹配错误的点进行分类，然后对不同类型的匹配错误点采用不同的插值策略进行视差填充，最后对经过视差填充之后的视差图进行亚像素精化和中值滤波，以获得最终视差图。

2.如权利要求1所述的一种基于融合代价计算函数和加权引导滤波的局部立体匹配方法，其特征在于，进一步地，所述步骤S2具体包括以下步骤：

步骤S21、将参考图像和匹配图像转换为灰度图像，然后在参考图像的灰度图像上以目标像素p为中心建立大小为9x7的邻域窗口，将该邻域窗口作为Census变换窗口，在Census变换窗口内进行改进三状态Census变换，其中改进三状态Census变换过程定义如下：

式中，

为目标像素点p的像素值均值，I(q)为邻域内像素点q的像素值，ξ[·]为01序列，是构成改进三状态Census变换码的基础，α为局部纹理对比度阈值，α的表达式如下：

式中，sum1为Census变换窗口中大于像素值均值的所有像素的灰度值之和，sum2为Census变换窗口中小于像素值均值的所有像素的灰度值之和，n1和n2分别为Census变换窗口中大于像素值均值的所有像素的数量和Census变换窗口中小于像素值均值的所有像素的数量，β为归一化参数，将其设为32；

实现Census变换窗口的Census变换码连接，得到改进三状态Census变换码如下式所示：

式中，W(p)为以目标像素p为中心的邻域窗口，I(p)和I(q)分别为像素p和像素q的灰度值，c(p)为目标像素点p的Census变换码；

设参考图像中的目标像素p在视差d时，与匹配图像中的像素p_d构成匹配点对；

通过汉明距离得到改进三状态Census代价，如下式所示：

C_Census(p，d)＝Hamming[c₁(p)，c_r(p_d)]；

步骤S22、对参考图像和匹配图像的灰度图像进行限制对比度自适应直方图均衡处理，然后在处理后的图像上计算x方向和y方向的增强梯度代价，如下式所示：

式中，I′_L和I′_R分别为经过限制对比度自适应直方图均衡处理后的参考图像和匹配图像的像素值，

和

分别为目标像素p在x方向和y方向的梯度；

步骤S23、计算参考图像和匹配图像中每个像素的AD代价，如下式所示：

式中，d为视差，

表示参考图像中目标像素p第i通道中的像素值；

步骤S24、融合上述三种代价构建整体代价计算函数：

C(p，d)＝ρ(C_Census(p，d)，γ_Census)+ρ(C_Grad(p，d)，γ_Grad)+ρ(C_AD(p，d)，γ_AD)

式中，C_Census(p，d)、C_Grad(p，d)和C_AD(p，d)分别为改进三状态Census变换代价、增强梯度代价和AD代价，γ为可调参数，C为变量，ρ(c，γ)为关于c的控制函数，如下式所示：

3.如权利要求1所述的一种基于融合代价计算函数和加权引导滤波的局部立体匹配方法，其特征在于，进一步地，所述步骤3具体包括以下步骤：

步骤S31、构建自适应生成域的骨架：首先构建以目标像素p为垂点的十字架作为自适应区域的初始骨架部分，十字架由水平臂H(p)和垂直臂V(p)构成，臂长为{h_p ⁺，h_p ^-，v_p ⁺，v_p ^-}；当臂长不满足上述臂长扩展准则时停止增长；

步骤S32、根据初始骨架构建自适应生成域，利用S31得到的目标像素点p的臂长{h_p ⁺，h_p ^-，v_p ⁺，v_p ^-}，进而得到正交的十字交叉区域H(p)和V(p)，如下式所示：

最后，沿着竖直方向对V(p)中聚合区域内的像素点q按照步骤S31中的臂长扩展准则构建水平支持区域H(p)，联合所有水平支持区域H(p)得到图像中任意目标像素点p的自适应区域，如下式所示：

步骤S33、得到聚合后的代价值，如下式所示：

式中，N为自适应区域U(p)内的像素个数。

4.如权利要求1所述的一种基于融合代价计算函数和加权引导滤波的局部立体匹配方法，其特征在于，进一步地，所述步骤5具体包括以下步骤：

步骤S51、对步骤S4获得的初始视差图依据下式进行左右一致性检测，左右一致性准则为下式：

|d_L(x，y)-d_R[(x-d_L(x，y))，y]|＜1

式中，d_L(x，y)为参考图像中目标像素点坐标p(x，y)的视差值，d_R(x-d_L(x，y)，y)为目标像素点坐标p(x，y)在视差d下的匹配点(x-d_L(x，y)，y)的视差值；

若初始视差图中的像素点满足左右一致性准则，则为匹配正确点，若不满足则为匹配异常点；

进一步地根据极限约束准则匹配点分为错误匹配点和遮挡点，如果能够在同一水平线上找到匹配点对，则该点为错误匹配点，否则为遮挡点；

步骤S52、分别采用不同的差值策略对错误匹配点和遮挡点进行插值：①采用区域迭代插值策略对遮挡点进行插值：在遮挡点的十字交叉窗口内对视差合理点进行直方图投票，投票总数为N_sum，得到票数最高的视差值记为d_H，其票数记作N_vote(d_H)，若满足式N_sum＞τ_N和

两个条件，则遮挡点的视差值更新为d_H，τ_N和τ_R为阈值；按照上述过程进行五次区域迭代插值，更新所有遮挡点的视差值，针对匹配错误的点完成视觉填充；

②对于错误匹配点，则从8方向的合理点中选择与目标像素点p在原参考图像中颜色最接近的视差值来更新原视差值，针对匹配错误的点完成视觉填充；

步骤S53、对步骤S52处理后的视差图进行亚像素精化，以及进行基于3×3滤波核的中值滤波，得到最终视差图。

Images