CN106355570B

CN106355570B - 一种结合深度特征的双目立体视觉匹配方法

Info

Publication number: CN106355570B
Application number: CN201610919222.2A
Authority: CN
Inventors: 张印辉; 王杰琼; 何自芬
Original assignee: Kunming University of Science and Technology
Current assignee: Kunming University of Science and Technology
Priority date: 2016-10-21
Filing date: 2016-10-21
Publication date: 2019-03-19
Anticipated expiration: 2036-10-21
Also published as: CN106355570A

Abstract

本发明公开一种结合深度特征的双目立体视觉匹配方法，包括对左右图像经卷积神经网络得深度特征图，以深度特征为基准计算像素深度特征截断相似性测度，构造组合颜色、梯度和深度特征的截断匹配代价函数得匹配代价卷；对匹配代价卷采用固定窗口、可变窗口、自适应权重聚合或引导滤波方法得经过匹配代价聚合的代价卷；将前述代价卷采用WTA选择最优视差得初始视差图，然后采用双峰测试、左—右一致性检测、顺序一致性检测或遮挡约束算法寻找遮挡区域，将遮挡点赋予距离最近同行点的视差值得视差图；对视差图用均值或双边滤波器对视差图滤波得最终视差图。本发明能够有效降低立体匹配的误匹配率，图像平滑且有效保持图像边缘包括细小物体的边缘。

Description

一种结合深度特征的双目立体视觉匹配方法

技术领域

本发明属于计算机视觉技术领域，具体涉及一种误匹配率低、图像平滑且能有效保持图像边缘的结合深度特征的双目立体视觉匹配方法。

背景技术

双目立体视觉系统由于最接近人类视觉系统，是近几十年以来计算机视觉领域发展最为活跃的方向之一。双目立体视觉系统是利用单目或者双目摄像机观察景物的方式，得到同一个世界场景在不同视角下的两幅图像，通过计算机辅助技术处理图像从而模拟人类双眼视觉系统获得该场景的三维信息的过程。双目立体视觉发展至今几十年的时间里，已在机器人视觉、医疗诊断、航空测绘、军事工程、工业监控、三维物体表面建模等方面得到非常广泛的应用。

双目立体视觉系统流程分为图像获取、摄像机系统标定、双目立体匹配和场景三维重建四个步骤。立体匹配是计算同一个场景空间点在两幅成像平面中投影点的对应关系，以及通过立体匹配获得该空间点在两幅图像中的视差值，良好的立体匹配结果对于实现双目立体视觉三维重建至关重要。但立体匹配是双目立体视觉最重要也最困难的一步，至今仍为双目立体视觉发展的瓶颈所在。阻碍立体匹配技术顺利前进的因素有很多，图像中弱纹理区域或者重复纹理区域的存在以及遮挡区域的存在等均是制约其发展的重要原因。现有的以图像特征为基元的立体匹配方法通常只能得到特征区域像素的视差值，匹配结果具有稀疏性，想要得到稠密的视差图还需要借助后续的插值算法，然而这样就会相应降低匹配的精度。而稠密双目立体匹配算法可以分为局部立体匹配算法和全局立体匹配算法两大类，全局立体匹配算法借助多种约束条件和全局优化策略通常能够得到较好的立体匹配结果，但是该类算法的弊端就是复杂度高，计算量大；局部立体匹配算法较全局算法计算量小，复杂度低但其匹配精度也相对较低。因此，如何通过立体匹配技术获得高精度的视差图是双目立体视觉技术的关键。

发明内容

本发明的目的在于提供一种误匹配率低、图像平滑且能有效保持图像边缘的结合深度特征的双目立体视觉匹配方法。

本发明目的是这样实现的，包括匹配代价计算、匹配代价聚合、视差计算、视差图优化步骤，具体包括：

A、匹配代价计算：将已校正的双目立体视觉传感器获得的左右两幅图像通过构造卷积神经网络CNN（Convolutional Neural Networks）得到其深度特征图，以深度特征为基准计算像素的深度特征截断相似性测度，然后构造组合颜色、梯度和深度特征的截断匹配代价函数，根据立体图像对的视差搜索范围完成所有视差值下的匹配代价计算后得到匹配代价卷；

B、匹配代价聚合：对A步骤的匹配代价卷采用固定窗口、多窗口、可变窗口、自适应权重聚合或引导滤波方法代价聚合得到经过匹配代价聚合的代价卷；

C、视差计算：将B步骤聚合后得到的经过匹配代价聚合的代价卷采用WTA（Winner-Take-All，即“胜者为王”）算法选择最优视差得到初始视差图，然后对初始视差图采用双峰测试BMD（Bimodality）、左—右一致性检测LRC（Left-Right Checking）、顺序一致性检测ORD（Ordering）或遮挡约束OCC（Occlusion Constraint）算法寻找遮挡区域，将遮挡区域的遮挡点赋予距离其最近的同行点的视差值后得到视差图；

D、视差图优化：对C步骤的视差图使用均值滤波器或双边滤波器对视差图进行滤波，在图像平滑的同时恢复误匹配像素点得到最终视差图。

本发明与现有技术相比具有以下有益效果：

1、本发明通过在像素相似性度量常用的像素颜色、梯度等特征的基础上提出使用图像的深层特征，引入卷积神经网络，对原始匹配图像构建卷积神经网络得到原始图像的深层特征图像，在该图像上以深度特征为基础计算匹配代价，构建颜色、梯度以及深度特征组合截断匹配代价函数，从而有效降低立体匹配的误匹配率。

2、本发明在结合深度特征的匹配代价函数的基础上，在代价聚合方面特别利用了引导滤波对匹配代价卷做滤波处理，提高了图像的匹配精度，包括对遮挡区域以及视差不连续区域的匹配精度，提高了图像的平滑性。

3、本发明在匹配聚合后将得到的匹配代价卷进行WTA算法选择最优视差，然后通过遮挡处理完成遮挡区域的检测，最后采用均值滤波器或双边滤波器对视差图进行后处理，得到最终视差，即能更进一步的降低立体匹配的误匹配率，而且还能有效保证图像边缘不被破坏。

因此，本发明具有误匹配率低、图像平滑且能有效保持图像边缘的特点。

附图说明

图1为本发明立体匹配典型框架图；

图2为本发明卷积神经网络框架图；

图3为middlebury标准立体图像对；

图4为初始视差图；

图5为未经后处理的视差图；

图6为视差图对比之一；

图7为视差图对比之二；

图中：A-匹配代价卷，A1-匹配代价片，S100-匹配代价计算，S200-匹配代价聚合，S300-视差计算，S400-视差图优化。

具体实施方式

下面结合附图与实施例对本发明作进一步的说明，但不以任何方式对本发明加以限制，依据本发明的教导所作的任何变更或替换，均属于本发明的保护范围。

本发明方法包括匹配代价计算、匹配代价聚合、视差计算、视差图优化步骤，具体包括：

A、匹配代价计算：将已校正的双目立体视觉传感器获得的左右两幅图像通过构造卷积神经网络CNN得到其深度特征图，以深度特征为基准计算像素的深度特征截断相似性测度，然后构造组合颜色、梯度和深度特征的截断匹配代价函数，根据立体图像对的视差搜索范围完成所有视差值下的匹配代价计算后得到匹配代价卷；

C、视差计算：将B步骤聚合后得到的经过匹配代价聚合的代价卷采用WTA算法选择最优视差得到初始视差图，然后对初始视差图采用双峰测试BMD、左—右一致性检测LRC、顺序一致性检测ORD或遮挡约束OCC算法寻找遮挡区域，将遮挡区域的遮挡点赋予距离其最近的同行点的视差值后得到视差图；

所述卷积神经网络CNN（Convolutional Neural Networks）基本结构通常包括两层，其一为特征提取层，该层中每个神经元的输入与前一层的局部接受域连接，提取该局部特征。一旦该局部特征被提取后，它与其它特征间的位置关系也就随之确定下来；其二是特征映射层，卷积神经网络的每个计算层由多个特征映射组成，每一个特征映射就是一个平面，平面上所有神经元拥有相同的权值。特征映射结构采用sigmoid函数作为卷积网络的激活函数，保证了特征映射的位移不变性。此外，因为一个映射面上所有神经元共享权值，从而减少网络自由参数的个数。卷积神经网络中的每一个卷积层都紧跟着一个用来求局部平均与二次提取的计算层，这种特有的两次特征提取结构降低了特征分辨率。

本发明A步骤中的构造卷积神经网络CNN是假设原始图像大小为的彩色图像，利用大小为的Gabor滤波核进行卷积，得到的图像第三维包含64个通道，然后经过一步池化操作输出的深度特征图像。

所述池化是在获得卷积图像的特征后，先确定池化区域的大小，然后把卷积特征划分到多个大小为池化区域的不相交区域中，然后用这些区域的最大或平均特征来获取池化后的卷积特征。

本发明A步骤中的截断相似性测度为：

(1)

其中、分量表示该特征点的二维空间坐标，表示视差值，和分别表示左深度图像、右深度图像，是截断上限；

所述构造组合颜色、梯度和深度特征的截断匹配代价函数为：

(2)

其中表示图像方向的梯度，、分别表示左极线、右极线，、、分别是三个部分的截断上限，、和分别是基于颜色、梯度、深度测度的权重。

本发明B步骤中的引导滤波方法是将立体图像对的左视图作为引导图像，通过权利要求4所述组合颜色、梯度和深度特征的截断匹配代价函数得到每个视差值对应的匹配代价片作为滤波输入，其中引导图像为三通道彩色图像，然后利用相对于彩色图像的滤波核权重W _ij (I)对彩色图像滤波核进行滤波输出经过匹配代价滤波的代价卷，

(3)

其中I _i、I _j分别表示图像处的像素亮度，表示图像I在窗口区域内像素的均值，ω表示以点为中心的窗口，表示惩罚系数，T表示截断上限，是图像在窗口支持区域内的协方差矩阵，是的单位矩阵。

本发明C步骤中的WTA选择最优视差是通过遍历经过匹配代价滤波的代价卷每个像素候选视差值对应的匹配代价值，选择匹配代价取得最小值时相应的视差值做为该像素的最优视差，得到初始视差图，其计算公式如下：

（4）

其中代表经过匹配代价滤波的代价卷，p表示滤波输入，为候选视差范围，表示像素的最优视差值。

本发明C步骤中的左—右一致性检测LRC是对初始视差图分别以左、右图像为匹配参考图像分两次计算得到基于左、右视图的中间视差图，将得到的两幅中间视差图做对比，当左图像中某点的视差值与右图像对应像素的视差值大于某个阈值时，则将该点视为遮挡区域的点，然后将遮挡点赋予距离其最近的同行点的视差值后得到视差图。

所述对初始视差图分别以左、右图像为匹配参考图像分两次计算得到基于左、右视图的视差图是将初始视差图分别以左、右图像为匹配参考图像通过引导滤波方法和WTA选择最优视差计算得到基于左、右视图的中间视差图。

本发明D步骤中的双边滤波器是基于像素点邻域像素值的非线性图像滤波器，双边滤波器对视差图进行滤波的权重为：

（5）

其中是归一化参数，双边滤波器参数和分别用来调整像素、之间的几何空间距离、颜色差。

实验例

实验采用的四组立体图像对标准图像来自Middlebury（Middlebury stereo.http://vision.middlebury.edu/stereo/, 2016.1）立体图像，分别为Tsukuba、Teddy、Cones、Venus图像对，在MATLAB平台上进行实验，所有图片均已完成极线校正，满足极线约束。四组立体图像对的左、右视图如图3所示，第一行均为左视图，第二行为右视图。

根据Middlebury算法评估的要求，对评测平台上的四组立体图像对采用相同的参数集。实验中局部立体匹配方法各个步骤的参数设置如下：匹配代价构建中基于颜色和深度测度的权重和分别为0.19和0.01，截断上限、和分别是0.027、0.027和0.008，数据均是通过实验获得；滤波核参数、分别为9和0.0001，引导滤波降采样系数设置为3，双边滤波器参数、分别是0.1和9，双边滤波器维度=19。针对左—右一致性遮挡检测步骤，如果某像素点的左视图视差和右视图视差之差的绝对值大于一个像素，则该点视为遮挡点。同样对立体匹配结果测评部分，匹配误差阈值也设为1，即算法得到的视差值与真实视差值做差，差值的绝对值大于一个像素的时候认定该点是错误匹配点。实验均以左视图作为参考图像。

图4是局部立体匹配方法实验完成匹配代价引导滤波和WTA视差值选择后得到的初始视差图，图4a)、图4b)、图4c)、图4d)分别是Tsukuba、Teddy、Cones、Venus标准图像的初始视差图。图5a)、图5b)、图5c)、图5d)分别是四组标准图像对完成左—右一致性遮挡检测未进行视差图后处理的视差图。图4初始视差图和图5未经过后处理的视差图可以看出针对局部立体匹配方法，没有进行遮挡处理和后处理的视差图均不平滑，视差图中出现大块的错误匹配区域。

针对立体匹配方法的客观定量评价本实验以Middlebury平台的测评方法将本发明的方法和其他五种相关的局部立体匹配方法（或称之为算法）做对比。此外由于匹配代价函数的构成几乎很少使用图像的深度特征，本发明在匹配代价函数的设置中引入了深度学习的思想，组合了像素颜色、梯度和深度特征的截断匹配代价函数。为验证该相似性测度的有效性，本实验同样也构建了基于颜色和梯度的截断匹配代价函数。得到的匹配代价卷使用引导滤波进行代价函数的聚合，通过WTA选择最优视差值得到初始视差图。利用左—右一致性检测提取遮挡区域进而利用双边滤波器对视差图后处理。除了代价函数中颜色和梯度分量系数分别是0.11和0.89，该实验采用参数与结合深度特征的实验参数一致，包括颜色和梯度的截断阈值。表1中以“颜色+梯度”表示该实验。除此之外表1针对本发明的方法结果和另外五种局部立体匹配方法的匹配结果的错误匹配百分比做了对比，表中non代表非遮挡区域错误匹配百分比，all代表整幅图像的错误匹配百分比，disc代表视差不连续区域的错误匹配百分比，最后一列平均误差表示的是所有四组立体图像对匹配误差数据的平均值，匹配错误率均以百分数表示。表1中所有方法按平均匹配误差百分比由低到高进行排序，从中可以看出，本发明提出的结合深度特征构建的匹配代价函数，以及利用引导滤波进行匹配代价卷滤波的局部立体匹配方法，在Middlebury提供的四组标准立体图像对中的总体匹配精度高于其他方法。通过四组立体图像对的错误匹配百分比可看出结合深度特征的代价函数的匹配结果明显优于只包含像素颜色和像素梯度的代价函数的匹配结果，其错误匹配百分比在三种情况下都低于后者。究其原因可以归结为卷积操作能够增强图像特征并且有一定的降噪作用。然而值得注意的是，即使本发明较改进的代价函数匹配结果差但是其匹配结果均优于其它五种局部立体匹配方法，也说明了采用引导滤波对噪声匹配代价卷做滤波操作得到合理的匹配代价分布的方法优于五种基于窗口的匹配代价聚合。

表1 匹配误差比较

表中文献[1]（Gupta R K, Cho S Y. A correlation-based approach forreal-time stereo matching. Advances in Visual Computing. Berlin, 2010）采用基于相关性的局部立体匹配算法，该算法采用了一大一小两个相关性窗口即多窗口的立体匹配算法，因此该方法在视差边缘和弱纹理区域得到不错的匹配效果。文献[2]（Wang L,Liao M, Gong M, etal. High-quality real-time stereo using adaptive costaggregation and dynamic programming. Proc of International Symposium on. IEEE3D Data Processing, Visualization, and Transmission (2006), 2006）提出的立体匹配算法是在基于全局的动态规划的立体匹配框架中引入格式塔理论，应用了基于颜色相似性和空间距离相近性自适应代价聚合。文献[3]（Richardt C, Orr D, Davies I, etal.Real-time spatiotemporal stereo matching using the dual-cross-bilateral grid.Proc of Computer Vision (ECCV2010). Berlin, 2010）采用了Yoon和Kewon的自适应代价聚合算法并做了相应的改进。文献[4]（Nalpantidis L, Gasteratos A. Biologicallyand psychophysically inspired adaptive support weights algorithm for stereocorrespondence. Robotics and Autonomous Systems, 2010, 58(5): 457-464）局部立体匹配算法以SAD作为相似性测度，完成匹配代价计算后应用自适应支持权重代价聚合算法，基于AD算子的自适应权重聚合过程引入基于格式塔心理学的空间距离相近性和颜色相似性原则。其中代价聚合窗口不是采用的传统的矩形支持窗，应用了圆形窗口。该方法属于自适应权重的局部立体匹配算法。文献[5]（Nalpantidis L, Gasteratos A. Stereovision for robotic applications in the presence of non-ideal lightingconditions. Image and Vision Computing, 2010, 28(6): 940-951）针对立体匹配技术中光照变化对匹配结果的影响提出一种不基于像素亮度的光照不变性相似性测度，并使用自适应权重的代价聚合算法完成立体匹配，得到视差图。作为对比算法以上五种算法分别在匹配代价函数构建和代价聚合方面做了相应的研究，包含了光照不变性相似性测度和多窗口代价聚合以及自适应代价聚合方法。

主观定性评价七种立体匹配方法，图6和图7是本发明局部立体匹配方法得到的四组立体图像对的视差图和其他五种局部立体匹配方法的视差图以及标准视差图的对比。图6 a）从左至右分别是采用本发明结合深度特征的引导滤波局部立体匹配方法得到的Tsukuba、Teddy、Cones、Venus的视差图。图6b）是没使用深度特征的实验得到的视差图。图6c）、图6 d）、图6 e）、图7f）、图7 g）分别是文献[1]、[2]、[3]、[4]、[5]提出的局部立体匹配方法得到的匹配视差图，图7 h）是每组立体图像对的标准视差图用于定性评价立体匹配方法的有效性。通过对比可以看出本发明提出的结合深度特征的引导滤波局部立体匹配方法框架得到了较高质量的视差图，图像平滑并且有效保持了图像边缘包括细小物体的边缘，例如Tsukuba图中的台灯。图6 a）中视差图较图6 b）视差图中物体的边缘轮廓更完整清晰，说明没有结合深度特征的匹配方法在视差边缘区域的匹配效果较结合深度特征的方法差。

Claims

1.一种结合深度特征的双目立体视觉匹配方法，包括匹配代价计算、匹配代价聚合、视差计算、视差图优化步骤，具体包括：

所述截断相似性测度为：

(1)

其中x、y分量表示特征点的二维空间坐标，d表示视差值，D _l和D _r分别表示左深度图像、右深度图像，T是截断上限；

(2)

其中Ñ_x表示图像x方向的梯度，I _l、I _r分别表示左极线、右极线，T ₁ 、T ₂ 、T ₃分别是三个部分的截断上限，α ₁ 、α ₂和1-α ₁-α ₂分别是基于颜色、梯度、深度测度的权重；

C、视差计算：将B步骤聚合后得到的经过匹配代价聚合的代价卷采用胜者为王WTA算法选择最优视差得到初始视差图，然后对初始视差图采用双峰测试BMD、左—右一致性检测LRC、顺序一致性检测ORD或遮挡约束OCC算法寻找遮挡区域，将遮挡区域的遮挡点赋予距离其最近的同行点的视差值后得到视差图；

2.根据权利要求1所述的结合深度特征的双目立体视觉匹配方法，其特征在于A步骤中的构造卷积神经网络CNN是假设原始图像大小为m×n×3的彩色图像，利用大小为9×9×3×64的Gabor滤波核进行卷积，得到的图像第三维包含64个通道，然后经过一步池化操作输出m×n×64的深度特征图像。

3.根据权利要求2所述的结合深度特征的双目立体视觉匹配方法，其特征在于所述池化是在获得卷积图像的特征后，先确定池化区域的大小，然后把卷积特征划分到多个大小为池化区域的不相交区域中，然后用这些区域的最大或平均特征来获取池化后的卷积特征。

4.根据权利要求1所述的结合深度特征的双目立体视觉匹配方法，其特征在于B步骤中的引导滤波方法是将立体图像对的左视图作为引导图像，通过组合颜色、梯度和深度特征的截断匹配代价函数得到每个视差值对应的匹配代价片作为滤波输入，其中引导图像为三通道彩色图像，然后利用相对于彩色图像的滤波核权重W _ij (I)对彩色图像滤波核进行滤波输出经过匹配代价滤波的代价卷，

(3)

其中I _i、I _j分别表示图像i，j处的像素亮度，k:(i,j)表示二维像素点坐标（i, j）处的一维索引为k，μ _k表示图像I在窗口ω _k区域内像素的均值，ω _k表示以点k为中心的窗口，ε表示惩罚系数，T表示截断上限，Σ _k是图像I在窗口支持区域ω _k内3×3的协方差矩阵，U是3×3的单位矩阵。

5.根据权利要求1所述的结合深度特征的双目立体视觉匹配方法，其特征在于C步骤中的WTA选择最优视差是通过遍历经过匹配代价滤波的代价卷每个像素候选视差值对应的匹配代价值，选择匹配代价取得最小值时相应的视差值做为每个像素的最优视差，得到初始视差图，其计算公式如下：

（4）

其中C'代表经过匹配代价滤波的代价卷，p表示滤波输入，r为候选视差范围，D _p表示像素d的最优视差值。

6.根据权利要求1所述的结合深度特征的双目立体视觉匹配方法，其特征在于C步骤中的左—右一致性检测LRC是对初始视差图分别以左、右图像为匹配参考图像分两次计算得到基于左、右视图的中间视差图，将得到的两幅中间视差图做对比，当左图像中某点的视差值与右图像对应像素的视差值大于某个阈值时，则将该点视为遮挡区域的点，然后将遮挡点赋予距离其最近的同行点的视差值后得到视差图。

7.根据权利要求6所述的结合深度特征的双目立体视觉匹配方法，其特征在于所述对初始视差图分别以左、右图像为匹配参考图像分两次计算得到基于左、右视图的中间视差图是将初始视差图分别以左、右图像为匹配参考图像通过引导滤波方法和WTA选择最优视差计算得到基于左、右视图的中间视差图。

8.根据权利要求1所述的结合深度特征的双目立体视觉匹配方法，其特征在于D步骤中的双边滤波器是基于像素点邻域像素值的非线性图像滤波器，双边滤波器对视差图进行滤波的权重为：

（5）

其中I _i、I _j分别表示图像i，j处的像素亮度，k _i是归一化参数，双边滤波器参数σ_s和σ_c分别用来调整像素i、j之间的几何空间距离、颜色差。