CN106780442B

CN106780442B - 一种立体匹配方法及系统

Info

Publication number: CN106780442B
Application number: CN201611079621.9A
Authority: CN
Inventors: 唐荣富; 余勤力; 周剑; 龙学军; 徐一丹
Original assignee: Chengdu Tongjia Youbo Technology Co Ltd
Current assignee: Chengdu Tongjia Youbo Technology Co Ltd
Priority date: 2016-11-30
Filing date: 2016-11-30
Publication date: 2019-12-24
Anticipated expiration: 2036-11-30
Also published as: CN106780442A; WO2018098891A1

Abstract

本发明公开了一种立体匹配方法，包括：提取左右图的特征点，并对特征点进行特征点匹配确定支撑点；根据支撑点构建Delaunay三角形；其中，Delaunay三角形包括三角形内所有像素点视差的先验概率以及像素点与支撑点的最小支撑距离；利用视差计算方法计算左图中像素点的视差条件概率及视差置信水平；根据Delaunay三角形，视差条件概率及视差置信水平，利用贝叶斯原理计算得到最优后验视差；该方法实现了快速匹配获得高精度视差图，特别适合移动平台或实时性要求高的应用领域；本发明还公开了一种立体匹配系统，具有上述有益效果。

Description

一种立体匹配方法及系统

技术领域

本发明涉及计算机视觉技术领域，特别涉及一种立体匹配方法及系统。

背景技术

立体匹配(stereo dense matching)是指根据所选特征的计算、建立特征间的对应关系，将同一个空间物理点在不同图像中的像点对应起来。立体匹配是计算机视觉研究中一个重要热点和难点，是机器人、医学、人工智能等许多应用中的关键技术之一。近年来，随着移动平台的发展，对立体匹配方法的精度及实时性要求不断提升。立体匹配算法分解为四个步骤：匹配代价计算、匹配代价聚合、视差计算、视差细化。按照约束方式的不同，立体匹配算法可分为局部匹配算法和全局匹配算法。

全局立体匹配算法主要是通过全局的优化理论方法估计视差，建立全局能量函数，再通过最小化全局能量函数来得到最优视差值。一般而言，全局匹配算法得到的结果精度较局部算法高，但其计算量较大、耗时较长，不适合实时应用。主要的算法有图割(graphcuts)、信念传播(belief propagation)、半全局匹配(semi-global matching)、动态规划(dynamic programing)等。目前，立体匹配的一个研究方向为采用卷积神经网络的机器学习的方法，可以获得较经典全局算法相当或更高的精度。

局部匹配算法主要是采用局部优化方法进行视差值估计，与全局立体匹配算法一样，也是通过能量最小化方法进行视差估计，不同的是在能量函数中，局部匹配算法只有数据项，而没有平滑项。由于局部匹配算法对光照强度和对比度的变化比较敏感，当图像存在纹理特征重复、纹理较弱及遮挡现象比较严重的情况下会导致错误匹配概率较高。常用的局部匹配算法主要有SAD(sum of absolute differences算法、CT(census transform)算法、ASW(adaptive support weight)算法、ELAS(efficient large area stereomatching)算法、IDR(iterative dense refinement)算法等。SAD算法是计算局部窗口的对应像素差的绝对值，CT算法是先对窗口区域进行变换，后按Hamming距离度量计算匹配代价。SAD和CT方法实现简单、快速，但精度很低。ASW算法根据生物视觉原理，改变SAD算法单一相同权重的方法，引入自适应权重的思想，获得了很高的匹配精度，但是自适应权重导致的计算量非常大。IDR算法采用双通道(two-pass)的方法简化实现ASW，并增加了迭代改进的方法，从而获得了较高的精度。IDR算法结构非常利于并行处理，在CUDA架构下优化后可以得到很高的运算效率；但IDR算法也存在两个主要不足：在非CUDA架构下运行速度较慢，且内存开销非常大。ELAS算法采用了与上述方法完全不同的思想：其首先采用sobel算子获得图像的强纹理的支撑点；然后使用支撑点几何对图像进行Delaunay三角剖分，获得像素点的视差平面估计；最后采用sobel算子测度计算匹配代价，并利用加权的方法得到视差的最优估计。ELAS算法是目前运行速度最快的立体匹配算法之一，精度也非常高，适于实时应用场合。ELAS算法的主要不足表现为：算法结构不利于并行化实现，且存在某些像素点无法计算视差的情况。

因此，如何在保证算法精度的前提下提高运行效率，仍是立体匹配技术在移动平台应用的一个难点。

发明内容

本发明的目的是提供一种立体匹配方法及系统，实现了快速匹配获得高精度视差图，特别适合移动平台或实时性要求高的应用领域。

为解决上述技术问题，本发明提供一种立体匹配方法，包括：

提取左右图的特征点，并对所述特征点进行特征点匹配确定支撑点；

根据所述支撑点构建Delaunay三角形；其中，所述Delaunay三角形包括三角形内所有像素点视差的先验概率以及像素点与支撑点的最小支撑距离；

利用视差计算方法计算左图中像素点的视差条件概率及视差置信水平；

根据所述Delaunay三角形，所述视差条件概率及所述视差置信水平，利用贝叶斯原理计算得到最优后验视差。

可选的，提取左右图的特征点，并对所述特征点进行特征点匹配确定支撑点，包括：

利用FAST算子对左右图提取特征点，并利用BRIEF进行特征描述；

利用极线约束以及特征描述中的Hamming距离进行特征点匹配，将匹配成功的特征点作为支撑点。

可选的，根据所述支撑点构建Delaunay三角形，包括：

利用分治法对左图的支撑点集合进行Delaunay三角剖分；

利用公式计算得到所述左图像素点与支撑点的最小支撑距离m；

利用高斯模型计算得到所述左图像素点视差的先验概率P(dn|S)；

其中，D_p,i为对应像素点与其所在Delaunay三角形的支撑点的欧氏距离，σ_p＝qσ，σ为方差，q为常数参数；dp为由支撑点确定的视差估计，且dp＝au_p+bv_p+c，参数a,b,c通过拟合三个支撑点平面获得，dn为支撑点视差值，u_p和v_p分别为该像素点的横坐标和纵坐标。

可选的，利用视差计算方法计算左图中像素点的视差条件概率及视差置信水平，包括：

利用改进census变换立体匹配算法计算所述左图中像素点的视差条件概率及视差置信水平。

可选的，根据所述Delaunay三角形，所述视差条件概率及所述视差置信水平，利用贝叶斯原理计算得到最优后验视差，包括：

利用公式d^*＝argminP(dn|S,O)计算得到最优后验视差d^*；

其中，为视差后验概率，f(dn)为改进census变换立体匹配算法的Hamming距离，f_m(d)为条件视差的置信水平函数，S为支撑点，O为根据某种局部立体匹配算子的匹配代价，α为权重参数。

可选的，该立体匹配方法还包括：

利用左右一致性检测方法检测视差图中误匹配点。

可选的，利用左右一致性检测方法检测视差图中误匹配点之后，还包括：

根据WTA策略，利用所述误匹配点左右两侧的视差值对误差匹配点的视差值进行替换。

本发明还提供一种立体匹配系统，包括：

支撑点确定模块，用于提取左右图的特征点，并对所述特征点进行特征点匹配确定支撑点；

Delaunay三角形构建模块，用于根据所述支撑点构建Delaunay三角形；其中，所述Delaunay三角形包括三角形内所有像素点视差的先验概率以及像素点与支撑点的最小支撑距离；

概率计算模块，用于利用视差计算方法计算左图中像素点的视差条件概率及视差置信水平；

后验视差计算模块，用于根据所述Delaunay三角形，所述视差条件概率及所述视差置信水平，利用贝叶斯原理计算得到最优后验视差。

可选的，所述Delaunay三角形构建模块，包括：

剖分单元，用于利用分治法对左图的支撑点集合进行Delaunay三角剖分；

距离计算单元，用于利用公式计算得到所述左图像素点与支撑点的最小支撑距离m；

先验概率计算单元，用于利用高斯模型计算得到所述左图像素点视差的先验概率P(dn|S)；

可选的，所述后验视差计算模块具体为利用公式d^*＝argminP(dn|S,O)计算得到最优后验视差d^*的模块；

本发明所提供的立体匹配方法，包括：提取左右图的特征点，并对特征点进行特征点匹配确定支撑点；根据支撑点构建Delaunay三角形；其中，Delaunay三角形包括三角形内所有像素点视差的先验概率以及像素点与支撑点的最小支撑距离；利用视差计算方法计算左图中像素点的视差条件概率及视差置信水平；根据Delaunay三角形，视差条件概率及视差置信水平，利用贝叶斯原理计算得到最优后验视差；该方法利用快速、高精度、具有自适应性的立体匹配方法，实现了快速匹配获得高精度视差图，特别适合移动平台或实时性要求高的应用领域；本发明还提供了一种立体匹配系统，具有上述有益效果，在此不再赘述。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例所提供的立体匹配方法的流程图；

图2为本发明实施例所提供的立体匹配系统的结构框图。

具体实施方式

本发明的核心是提供一种立体匹配方法及系统，实现了快速匹配获得高精度视差图，特别适合移动平台或实时性要求高的应用领域。

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在以下实施例内容的描述中，采用立体匹配的通用术语，以左图为基准图(reference image)，并约定左右图已完成单目像机标定(camera calibration)和立体标定(stereo rectification)。

请参考图1，图1为本发明实施例所提供的立体匹配方法的流程图；该方法可以包括：

S100、提取左右图的特征点，并对所述特征点进行特征点匹配确定支撑点；

具体的，该步骤主要为了获取支撑点，本实施例并不对具体特征点的提取及匹配算法进行限定。为了快速，高精度完成视差图，这里可以选用具备计算速度快，精度高的相关算法。且进一步为了使该立体匹配算法能够很好的应用于移动平台，选取的算法还应该具有计算逻辑相对简单的特点。例如在进行特征点匹配时可以利用极线约束以及特征点描述子快速进行特征点匹配，匹配成功的特征点称为支撑点(support point)。这里极线约束将匹配搜索从二维降为一维，极大简化了复杂度提高了计算速度。适合移动平台或实时性要求高的应用领域。

优选的，提取左右图的特征点，并对所述特征点进行特征点匹配确定支撑点可以包括：

具体的，利用FAST(features from accelerated segment test)算子对左右图提取特征点并用BRIEF(binary robust independent element feature)进行特征描述。

其中，FAST特征点检测是公认的快速有效的特征点提取方法。FAST特征提取主要包括三个步骤：对固定半径(通常半径选为三个像素)圆上的像素进行分割测试，并通过逻辑测试去除大量的非特征候选点；基于分类的角点特征检测，利用ID3分类器根据16个特征判决候选点是否为角点特征；利用非极大值抑制进行角点特征的验证。BRIEF描述子是在特征点周边随机取点对进行灰度计算，直接获得二进制特征描述向量。BRIEF描述子具有两个明显优势：描述子所需字节少，内存开销小；利用Hamming测度进行匹配运算速度非常快。

具体的，使用极线约束以及特征点距离快速进行特征点匹配，匹配成功的特征点称为支撑点(support point)。

其中，极线约束将匹配搜索从二维降为一维，极大简化了复杂度。考虑到视差空间(Disp)的限制，左图特征点在右图上的匹配点只能位于对应外极线上的一个小区间。因此，本实施例可以使用WTA(winner takes all)策略，在视差空间内选择匹配代价最小的点作为匹配点，对应的左图像上p点的视差D_L(p)为

其中：d(d∈Disp)表示视差空间Disp中的可能视差，其取值一般为0到最大视差d_max之间的整数；H(.)表示对应左右像素BRIEF描述子的Hamming距离。

S110、根据所述支撑点构建Delaunay三角形；其中，所述Delaunay三角形包括三角形内所有像素点视差的先验概率以及像素点与支撑点的最小支撑距离；

具体的，对左图进行Delaunay三角剖分的目的是将图像分割成覆盖整幅图像平面且彼此相连的三角形网格，将视差图描述为一系列具有相同或者相近视差值的三角形区域，三角形网格可以反映出像素点与其邻近像素点间的拓扑连接关系。对于视差平滑区域，在保证边缘细节的前提下，三角形划分应该足够大以减少匹配的歧义性。在视差连续区域，顶点密度、数量应尽量少，以加快匹配速度。在视差不连续区域，为了正确描述物体的形状，顶点数量应该足够多，以便能更好地保证后续视差图匹配的精度。

其中，Delaunay三角网具有以下优点：结构良好，数据结构简单，数据冗余度小，存储效率高，与不规则的地面特征和谐一致，可以表示线性特征，可适应各种分布密度的数据等。

本实施例并不对进行Delaunay三角剖分算法进行限定，用户可以根据自身对结果的要求进行选择，在算法选择时可以考虑计算平台硬件水平，对结果精度和计算速度的需求等。该Delaunay三角剖分算法可以包括有随机增量法、三角网生长法和分治法等。其中，随机增量法的实现简单高效，占用内存较小，但其时间复杂度高；三角网生长法由于效率相对较低，目前采用较少；分治法的效率最高，而且剖分后的三角面片较为平滑，同时很好地保持了物体的边缘特征。因此优选的，本实施例可以使用分治法对支撑点集合进行Delaunay三角剖分。本实施例中Delaunay三角形提供了该三角形内所有像素点视差的先验概率以及像素点与支撑点的最小支撑距离(minimum support distance)等信息；具体的，根据所述支撑点构建Delaunay三角形可以包括：

利用分治法对左图的支撑点集合进行Delaunay三角剖分；

其中，D_p,i为对应像素点与其所在Delaunay三角形的支撑点的欧氏距离，σ_p＝qσ，σ为方差，q为常数参数(可以依据经验值进行设定和修改)；dp为由支撑点确定的视差估计，且dp＝au_p+bv_p+c，参数a,b,c通过拟合三个支撑点平面获得，dn为支撑点视差值，u_p和v_p分别为该像素点的横坐标和纵坐标。

具体的，在利用分治法对左图的支撑点集合进行Delaunay三角剖分后，由于已知所有支撑点视差值，因此可在每一个三角形确定的平面内估计包含其中的任一像素点的视差初值dp，并通过几何关系得到该像素与相邻三个支撑点的最小支撑距离m(minimumsupport distance)。

S120、利用视差计算方法计算左图中像素点的视差条件概率及视差置信水平；

具体的，该步骤主要为了计算得到左图中任意像素点的视差条件概率及视差置信水平(confidence level)，并不对具体的视差计算方法进行限定。由于改进census变换立体匹配算法计算具有结构简单，计算速度快等优点。因此，优选的，利用改进census变换立体匹配算法计算所述左图中像素点的视差条件概率及视差置信水平。

具体的，census变换是一种非参数局部变换。它的缺点是结果过于依赖于中心像素。因此本实施例采用基于邻域信息的改进census变换立体匹配算法(a modified censustransform based on the neighborhood information for stereo matchingalgorithm)。该改进census变换立体匹配算法针对传统census变换在视差不连续区域和噪声干扰情况下误匹配率较高的情况，提出了一种利用邻域相关信息的改进census变换立体匹配算法。应用两位信息来表示像素与中心像素、像素与邻域灰度均值的灰度差异对census变换进行了改进，通过Hamming距计算得到初始匹配代价；经过并行分层权重代价聚合提高匹配精度，并降低代价聚合计算复杂度。

该改进census变换立体匹配算法使中心像素的表示更加精确；使变换后的图像在视差不连续区域的信息表示更为丰富；同时减少了噪声对匹配质量的影响。经测试表明，该算法结构简单，复杂度低，具有较高的鲁棒性，有效地提高了匹配精度。该步骤采用Hamming距离来表示视差条件概率P(O|dn)：

其中，f(dn)为改进census变换立体匹配算法的Hamming距离，f_m(d)为条件视差的置信水平函数。从统计学的角度看，视差条件概率表征了视差dn的置信水平。

S130、根据所述Delaunay三角形，所述视差条件概率及所述视差置信水平，利用贝叶斯原理计算得到最优后验视差。最优后验视差即为视差的最优后验估计

具体的，根据Delaunay三角形中的先验概率，最小支撑距离以及视差条件概率及视差置信水平，利用贝叶斯原理获得最优的后验视差(posteriordisparity)，即为该像素的最佳视差。根据视差先验概率模型及条件概率模型得到贝叶斯参数估计模型：P(dn|S,O)∝P(dn|S)*P(O|dn)，可得如下结果：

其中，为视差后验概率，f(dn)为改进census变换立体匹配算法的Hamming距离，f_m(d)为条件视差的置信水平函数，S为支撑点，O为根据某种局部立体匹配算子的匹配代价，α为权重参数，dn为视差。

需要特别说明的是，本发明提供了最优视差估计的一种贝叶斯立体匹配方法，其中的支撑点提取以及条件概率的算法是可替换的，并调整相应的模型参数。

基于上述技术方案，本发明实施例提供的立体匹配方法，该方法根据条件视差的置信水平、像素点与支撑点的几何拓扑关系，确定先验概率和条件概率的权重参数，可以获得更为精确的视差后验估计。相比与现有技术中ELAS算法经验固化权重参数相比，该方法充分利用了先验视差和条件视差的所包含的信息，模型更加合理。参数具有自适应性。该方法中参数模型的先验概率和条件概率的权重参数是根据置信水平、几何拓扑关系自适应确定的。事实上，参数模型只需要确定经验参数α和σ(可根据试验测定)，σ_p和P(O|dn)是自适应变化的，更具有灵活性。参数模型形式简单，运算高效。即该方法利用快速、高精度、具有自适应性的立体匹配方法，实现了快速匹配获得高精度视差图，特别适合移动平台或实时性要求高的应用领域。

基于上述技术方案，为了提高立体匹配的精度，该方法还可以包括：

利用左右一致性检测方法检测视差图中误匹配点。

具体的，使用左右一致性检测方法检测出误匹配点。利用上述实施例得到的左图和右图的视差图，如果右视差图中的像素点向左偏移与视差值大小相同的单位像素后，与左视差图中相应位置像素点的值相同，则为可靠匹配点，否则为误匹配点。在检测到误匹配点后该方法还可以包括：

具体的，对于计算出来的误匹配点，通过WTA策略用左右两侧的视差值替换即可。提高立体匹配的精度。

进一步，此时视差图可能仍然存在少数噪点，需要进一步除噪，可以使用快速中值滤波滤除，最后通过插值优化得到亚像素精度的视差，使得视差图更为完整、正确。

基于上述技术方案，本发明实施例提供的立体匹配方法，该方法在构建贝叶斯先验概率模型时，采用了FAST特征提取算子和BRIEF描述算子，提升了支撑点的效率和稠密度，使得先验概率更为精确；在构建贝叶斯条件概率模型时，采用改进CT算法(即改进census变换算法)，更加快速精确；更为重要的是，该方法的贝叶斯参数估计模型充分考虑了先验视差的几何拓扑结构和条件概率的置信水平，具有参数自适应性、形式简单、运算高效的特点。

下面对本发明实施例提供的立体匹配系统进行介绍，下文描述的立体匹配系统与上文描述的立体匹配方法可相互对应参照。

请参考图2，图2为本发明实施例所提供的立体匹配系统的结构框图；该系统可以包括：

支撑点确定模块100，用于提取左右图的特征点，并对所述特征点进行特征点匹配确定支撑点；

Delaunay三角形构建模块200，用于根据所述支撑点构建Delaunay三角形；其中，所述Delaunay三角形包括三角形内所有像素点视差的先验概率以及像素点与支撑点的最小支撑距离；

概率计算模块300，用于利用视差计算方法计算左图中像素点的视差条件概率及视差置信水平；

后验视差计算模块400，用于根据所述Delaunay三角形，所述视差条件概率及所述视差置信水平，利用贝叶斯原理计算得到最优后验视差。

基于上述实施例，所述Delaunay三角形构建模块200可以包括：

基于上述实施例，所述后验视差计算模块400具体为利用公式d^*＝argminP(dn|S,O)计算得到最优后验视差d^*的模块；

基于上述任意实施例，该系统还可以包括：

一致性检测模块，用于利用左右一致性检测方法检测视差图中误匹配点。

基于上述任意实施例，该系统还可以包括：

替换模块，用于根据WTA策略，利用所述误匹配点左右两侧的视差值对误差匹配点的视差值进行替换。

基于上述任意实施例，该系统还可以包括：

除噪模块，用于使用快速中值滤波滤除，最后通过插值优化得到亚像素精度的视差，使得视差图更为完整、正确。

基于上述技术方案，本发明实施例提供的立体匹配系统，采用贝叶斯最大后验估计的思想获得视差最优估计。该系统首先利用支撑点快速匹配获得视差的先验概率(priorprobability)，其中先验概率与支撑点视差、像素点几何、最小距离相关；通过改进census变换立体匹配算法计算条件概率(conditional probability)，其中条件概率与匹配代价、置信水平相关；最后，根据先验概率和条件概率获得后验概率(posterior probability)，通过最大化后验概率获得视差的最优估计。特别地，该系统使用的贝叶斯模型中的参数具有自适应性。

说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

以上对本发明所提供的立体匹配方法及系统进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims

1.一种立体匹配方法，其特征在于，包括：

2.根据权利要求1所述的立体匹配方法，其特征在于，提取左右图的特征点，并对所述特征点进行特征点匹配确定支撑点，包括：

3.根据权利要求2所述的立体匹配方法，其特征在于，根据所述支撑点构建Delaunay三角形，包括：

利用分治法对左图的支撑点集合进行Delaunay三角剖分；

4.根据权利要求3所述的立体匹配方法，其特征在于，利用视差计算方法计算左图中像素点的视差条件概率及视差置信水平，包括：

5.根据权利要求4所述的立体匹配方法，其特征在于，根据所述Delaunay三角形，所述视差条件概率及所述视差置信水平，利用贝叶斯原理计算得到最优后验视差，包括：

利用公式d^*＝argminP(dn|S,O)计算得到最优后验视差d^*；

6.根据权利要求1-5任一项所述的立体匹配方法，其特征在于，还包括：

利用左右一致性检测方法检测视差图中误匹配点。

7.根据权利要求6所述的立体匹配方法，其特征在于，利用左右一致性检测方法检测视差图中误匹配点之后，还包括：

利用所述误匹配点左右两侧的视差值对误匹配点的视差值进行替换。

8.一种立体匹配系统，其特征在于，包括：

9.根据权利要求8所述的立体匹配系统，其特征在于，所述Delaunay三角形构建模块，包括：

10.根据权利要求9所述的立体匹配系统，其特征在于，所述后验视差计算模块具体为利用公式d^*＝argminP(dn|S,O)计算得到最优后验视差d^*的模块；