CN110310320A - 一种双目视觉匹配代价聚合优化方法 - Google Patents

Abstract

本发明公开了一种双目视觉匹配代价聚合优化方法，可以用于在计算机视觉立体匹配领域。采用census算法对左右图像进行匹配，计算出左图像在右图像中相应点视差范围内代价，获取到每个点视差范围内的代价数组；计算出每个点视差范围内的代价方差，进行代价聚合，结合掩码方案将误差代价进行排除，计算出每个点的聚合结果；最后通过分析聚合中数据的相关性，把代价聚合过程中无相关路径和同一条路径内数据进行拆分隔离，提高聚合实时性。整个方法可提高最终匹配精度和实时性。

Description

一种双目视觉匹配代价聚合优化方法

技术领域

本发明属于计算机视觉技术领域，主要涉及一种双目视觉匹配代价聚合优化方法。

背景技术

计算机视觉就是用各种成像手段代替人视觉器官作为一种信息采集输入手段，由计算机代替人大脑完成信息的处理和解释，最终目标可以使计算机能够像人一样能够观察、识别、理解物理世界，可以从图像或图像序列中提取信息，提取客观世界的三维信息以及物体形态等。上世纪50年代计算机视觉技术主要集中在二维图像分析、识别领域。60年代中期美国MIT的Robert首次完成了对三维积木世界的解释，同时Huffman，Clows以及Waltz等人对积木世界进行了研究并分别解决了由线段解释景物和处理阴影的问题，为三维立体视觉技术发展的转折点。立体视觉也称双目视觉或者双目立体视觉(Stere Vision),是获取物体三维信息的重要手段，原理是模拟人类双眼原理，从两个或者多个点观察一个物体获取在不同视角下的图像，通过三角测量原理计算图像像素之间的位置偏移(即视差)来获取物体的三维信息。M.Z.Brown和D.Burschk等人将立体视觉主要划分为摄像机标定，立体匹配算法和三维信息恢复等主要几步，相机标定主要是为了确定相机位置，熟悉参数以及建立成像模型，以便确定空间坐标系中物体在图像上像点之间的对应关系。立体匹配时整个立体视觉中最复杂、重要重要的步骤，主要如何从左图片上的任意一点在右图上寻找对应点的过程。根据立体匹配视差结果之后，结合相机参数就可恢复出特定点的深度信。Heiko Hirschmu¨ller于2008年发表的“Stereo Processing by Semiglobal Matchingand Mutual Information”文章中通过建立模型将双目匹配主要划分为双目图像预处理，双目匹配算法，代价聚合，深度计算，误差消除平滑处理等几个步骤。双目匹配算法一直是影响立体视觉研究的瓶颈问题，同时也是立体视觉中研究的热点领域，主要存在问题集中在两个方面计算速度即实时性和计算准度问题。传统立体匹配算法中主要分为局部方法和全局方法，局部方法仅仅依赖与给定窗口中有限个像素，计算复杂度较低但是运算速度块，但是在低纹理区域及重复纹理区域容易产生误差，准确度较低。全局算法将视差问题转化为全局能量函数，每个像素点都依赖于图片中其他所有像素信息，可以提供匹配的准确度，但是运算复杂度较高，不能适用于实时性较高场景。Smith在‘SUSAN-a new approach tolow level image processing[J]’中提出了著名的SUSAN角点检测算子，该方法通过对像素周围区域分析，用统计特性来解决该像素的属性即该像素是角点，边上的点还是普通区域中的点，根据角点特征分别在左图像和右图像中找到相应的位置。Noble在’FindingComers[J]’中试图用微分几何给出角点检测的理论公式，并归纳出了在Plessey算法下的检测原则。Harris和Stephensf在’A Combined Comer and Edge Detector[C]’对Plessey角点检测进行改进，提出Harris算子。Pritchett和Zisserman等人在‘A Matching andReconstruction from Widely Separated Views[J]’提出了用单应矩阵(Homography)取代传统的灰度相似性和极线约束作为匹配的准则，他们近似认为特征点及其周围小块区域是空间中平面的成像，因此匹配点对之间应近似满足单应矩阵的关系。另外，他们试图寻找一种整体相似变换，以使两幅图像在相差一个常数因子的情况下具有最大相关性，根据整体变换，估计图像间局部区域的仿射变换，用局部变换来寻找匹配点。Lhuillier和Long等人在‘Robust Dense Matching Using Local mad Global Geometric Constraints[C]’提出了一种稠密匹配的新策略，该策略综合了以对极几何约束为代表的全局约束和以灰度相似、单应矩阵为代表的局部约束，在每次匹配过程中，选取当前灰度相似性最大的匹配对，在它的周围小区域内寻找更多的匹配对，重复这种过程直至匹配对充满整幅图像，最后再应用对极几何约束去除错误匹配。该方法对于纹理稠密的图像特别有效，缺陷是精度不高。国内研究情况CN201510882365.6提出了对双目图像进行图像梯度矩阵求解方法得到视差图方法。随着神经网络以及机器学习技术发展，很多研究学者将其方法引入到双目匹配算法，Kong和Tao在.A method for learning matching errors in stereo computation[J]中使用SD来计算初始匹配代价，并训练了一个模型来预测初始视差出现下列三种情况的可能性：初始视差是正确的、初始视差出现了前景膨胀、初始视差出现了其他错误，预测出来的初始视差可信度被用来对其进行再次修正，进一步将研究扩展到利用归一化交叉相关来合并不同大小的窗得到的预测结果。Spyropoulos在“Learning to Detect GroundControl Points for Improving the Accuracy of Stereo Matching[C]”训练了一个随机森林分类器来预测初始代价的置信度然后将预测结果作为马尔科夫随机场的软约束用以减少立体匹配结果的误差。国内研究进展，CN105956597A提出了一种基于卷积神经网络的双目立体匹配算法，首先采用了两个卷积神经子网络对待匹配图像小块进行特征提取，通过卷积神经网络的自动学习能力，能够自动提取出健壮、多样的特征，避免了传统立体匹配方法的复杂的特征选择和人工抽取特征的过程。然后将它们的输出特征进行级联送入到全连接层进行匹配代价计算，获得了比传统立体匹配方法更好的匹配代价，结合视差的后处理方法，可有效获得高精度的视差图.CN108682026A提出基于匹配基元融合的双目视觉立体匹配方法。不论是传统方法还是神经网络方法，仍然无法解决立体匹配中的计算效率和计算准确度之间达到完美平衡，上述研究方向主要集中匹配算法领域，对代价聚合研究相对较少，经过统计代价聚合计算复杂度以及计算量在整个立体匹配过程中至少占50％，本发明则针对如何提高代价聚合以及准确度，效率方法进行研究。

发明内容

针对双目匹配中代价聚合因周围误差点造成视差准确性问题以及代价聚合的实时性问题。本发明提出了一种双目视觉匹配代价聚合优化方法，通过对视差范围为代价的离散程度获取到误差代价点，构建整幅图像掩码，以此来消除双相机亮度曝光等等会不一致以及遮挡物等带来的误差聚合，提高聚合精度以及最终视差准确度。最后分析聚合中数据的相关性，对路径聚合进行分解，提高聚合实时性。

本发明通过以下技术方案实现：

一种双目视觉匹配代价聚合优化方法，包含以下步骤：

步骤一.采用census算法对左右图像进行匹配，计算出左图像在右图像中相应点视差范围内代价值，获取到每个点视差范围内的代价数组；

步骤二.计算出每个点视差范围内的代价方差，如果代价的离散程度较高说明有遮挡物或者左右图像存在不一致问题，该点被标记为误差，最终形成误差掩码方案；

步骤三.进行代价聚合，结合掩码方案将误差代价进行排除，计算出每个点的聚合结果；

步骤四.分析各条路径数据相关性，把代价聚合过程中无相关路径和数据进行拆分隔离。

与现有技术相比，本发明所提出的一种立体匹配双目视觉代价聚合优化方法，通过计算视差范围内代价值离散程度以及最大值与最小值绝对值之差阈值，决定是否要对该点的周围像素做代价聚合，提高代价聚合准确度。通过对视差范围为代价的离散程度获取到误差代价点，构建整幅图像掩码，消除双相机亮度曝光等等会不一致的情况，以及遮挡物等带来的误差聚合，提高聚合精度以及最终视差准确度。通过分析聚合中数据的相关性，将路径聚合进行分解，提高聚合实时性。整个方法可极大提高最终匹配精度和实时性。

附图说明

图1为现有技术中双目立体视觉匹配的流程示意图。

图2为本发明整体双目视觉匹算法流程。

图3为立体匹配算法流程。

图4为本发明代价聚合前的代价判定算法流程。

图5为本发明代价聚合算法过程

具体实施方式

以下结合附图和具体实施例对本发明作进一步详细阐述。

如图1所示，现有技术中双目立体视觉匹配的流程示意图，其具体算法如图3首先采用census算法对左右图像进行匹配，其基本思想是在图像区域定义一个矩形窗口，用这个矩形窗口遍历整幅图像。选取中心像素作为参考像素，将矩形窗口中每个像素的灰度值与参考像素的灰度值进行比较，灰度值小于或等于参考值的像素标记为0，大于参考值的像素标记为1，最后再将它们按位连接，得到变换后的结果，变换后的结果是由0和1组成的二进制码流。Census变换的实质是将图像像素的灰度值编码成二进制码流，以此来获取邻域像素灰度值相对于中心像素灰度值的大小关系，具体公式可以表述为：

p是窗口中心像素，q是窗口中心像素以外的其他像素，Np表示中心像素p的邻域。I(*)表示像素点*处的灰度值。

Census变换能够较好的检测出图像的局部特征，同时也能较好看出左右图像中光照不一致性问题。其次根据变换的census结果，根据左图像中的像素按照行计算右图在视差范围内的汉明距离，即代价值：

其中D为视差范围，p代表左图像中像素点为位置，q代表右图像中的像素点位置，根据左图像中的像素点位置查找在视差范围内的右图像中的相似匹配度(即代价)，即每个像素点都有D数目的相似匹配度。

上述匹配一般都是按照行或者列进行匹配，匹配出的结果如果不进行各个方向聚合，深度图像将会出现很大误差以及行或列之间将会出现明显间隙，没有平滑过渡，需要按照各个方向进行代价聚合做平滑过渡，

当误差代价出现较大误差时，该误差通过代价聚合中将会影响最终视差的准确性，为了减少误差代价点对聚合的影响，需要对误差像素点的代价准确度进行判断。

为了解决上述问题，如图4本实施例的一种双目视觉匹配代价聚合前合法代价判定，通过计算视差范围内代价值离散程度以及最大值与最小值绝对值之差阈值，决定是否要对该点的周围像素做代价聚合，提高代价聚合准确度。代价聚合之前首先求出每个像素点的视差范围均值：

其中p代表一个像素点(col,row),D代表的是视差范围，d代表每个视差其值为0≤d≤D-1,求出利用标准差来识别出每个像素点视差范围内的cost值的离散程度,求出该点视差范围内的方法：

σ(p)为该像素点的视差范围之内的代价标准差，代表所有视差范围内的代价离散程度，所有代价值过于离散说明该点匹配时可能存在误差，当周围点向它平滑时会引起误差，最终导致周围点视差被该点强制平滑而造成视差值误差，以下几种情况有可能导致以上误差：

视差范围内灰度图有可能存在阴影或者遮挡物。当匹配视差范围之内的出现一半阴影，右灰度图的所有视差范围之内在窗口创建内计算的SHD/SAD值，与左灰度图该点部分计算代价值时，将会突然之前在某个视差点之后将会出现跳变，与正常相比将会造成所有代价处于一个比较离散状态。当有遮挡物也是如此，同样也会出现代价跳变。

受限于芯片ISP双相机亮度曝光等等会不一致能够做到完全同步，以及双相机硬件走线等原因也会造成两个图像不会完全一致，左右两个摄像头曝光调焦等都很难做到完全一致，进一步增加左右图像完全一致难度。左右图像不一致有时会造成局部点亮度等等不一致，导致代价值会局部出现较大偏差，同样也会处于比较离散状态。

当匹配点处于物体边缘处，查找右图匹配点时，只有在正真视差点处代价值是最小的，其他视差处的代价值都处于较大，例如当实际视差为5，因为在物体边缘分别在1，2处或者14，15处的视差都是较大值，这时也会处于较大离散状态。随着图像里物体越来越多，会越来越明显。

通过设定标准差经验阈值判断离散程度是否在合法之内，

超过标准差阈值则说明离散程度过高，标记为误差点，代价聚合时将排除该点不进行代价聚合。

标准差往往只能判断整体离散程度。假如代价1的视差要比代价2视差准确。代价2值都处于较小波动时，但是其最大和最小代价值有相对突变较大，导致视差会有相对较大误差。

此类误差也需要进一步排除点，否则会造成代价聚合之后也会引起的结果,结合第一步误差mask继续进行误差点排除：

当在视差范围之内，最大代价值与最小值之差绝对值大于Diff时，将其判断为两者值在视差范围之内，相差太大则认为其存在突变点，计算出的代价值不可靠，不可做累计匹配参考点。

经过上述两点排除之后，会形成与图片分辨率大小相同的掩码方案，1为该点误差不可靠，代价聚合累积时不可作为其参考点。

传统代价聚合公式为：

其中ag为：

ag_r(p，d)＝(min(C_r(p-r，d)，C_r(p-r，d-1)+P₁，C_r(p-r，d+1)+P₁，min_iC_r(p-r，i)+P₂)-min_kC_r(p-r，k))

P1，P2为相邻点的惩罚系数，P2永远大于P1。

每个点都需要同时各个方向代价聚合，最后再根据每个聚合后的代价值计算出每个点视差，其数据相关性较强，计算复杂度也较高，整体比较耗时。

如图5本实施例中代价聚合路径方向示意图和误差代价代价聚合算法流程，结合上述掩码方案其公式可以演进为：

Ag_r(p，d)为各个方向代价聚合，结合前面掩码误差点排除，公式可以进一步演进为

Ag′_r(p，d)＝Mask(p)*(min(C_r(p-r，d)，C_r(p-r，d-1)+P₁，C_r(p-r，d+1+P1，miniCrp-r，i+P2)-minkCrp-r，k)

r为各个方向，其中Mask(p)为零时，误差点将不进行聚合，即

Ag′_r(p，d)＝Mask(p)*Ag_r(p，d)

为了提高其代价聚合实时性，根据需要设置路径方向，对路径之间的数据相关性进行分析后，得出可以再将各个方向聚合的结果再次重新聚合，减少数据之间相关性，可以同时增加计算并行度，其公式演进为：

其中r为各个方向，分别为4，8，16等，

然后分析一条路径内的数据相关性，其数据在同一条路径之内存在数据可并行度，同一条路径之内同一个方向在一张图可以拆分成多条相并行的路径，其公式可以演进为：

其中P为同一组图片内相同方向拆分的路径。

最后根据Ag_r(p，d)每个点由D个元素的数组组成，代表聚合之后的代价值，D范围的代价最小值在数组中的位置将是每个点视差，通过3*3中值滤波进一步将孤立视差进行排除。

以上所述，仅为本发明的较佳实施例而已，并非对本发明作任何形式上的限制，任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内，依据本发明的技术实质对以上实施例所作的任何简单修改，等同变化与修饰，均仍属于本发明技术方案的保护范围内。

Claims (7)

1.一种双目视觉匹配代价聚合优化方法，其特征在于，包含以下步骤：

步骤一.采用census算法对左右图像进行匹配，计算出左图像在右图像中相应点视差范围内代价值，获取到每个点视差范围内的代价数组；

步骤二.计算出每个点视差范围内的代价方差，如果代价的离散程度较高说明有遮挡物或者左右图像存在不一致问题，该点被标记为误差，最终形成误差掩码方案；

步骤三.进行代价聚合，结合掩码方案将误差代价进行排除，计算出每个点的聚合结果；

步骤四.分析各条路径数据相关性，将代价聚合过程中无相关路径和数据进行拆分隔离。

2.根据权利要求1所述的一种双目视觉匹配代价聚合优化方法，其特征在于，所述步骤一：

采用census算法对左右图像进行匹配，即在图像区域定义一个矩形窗口，用这个矩形窗口遍历整幅图像；选取中心像素作为参考像素，将矩形窗口中每个像素的灰度值与参考像素的灰度值进行比较，灰度值小于或等于参考值的像素标记为0，大于参考值的像素标记为1，最后再将它们按位连接，得到变换后的结果，变换后的结果是由0和1组成的二进制码流；Census变换的实质是将图像像素的灰度值编码成二进制码流，以此来获取邻域像素灰度值相对于中心像素灰度值的大小关系，具体公式可以表述为：

p是窗口中心像素，q是窗口中心像素以外的其他像素，Np表示中心像素p的邻域。I(*)表示像素点*处的灰度值；

根据变换的census结果和左图像中的像素，按照行计算右图在视差范围内的汉明距离，即代价值：

其中D为视差范围，p代表左图像中像素点为位置，q代表右图像中的像素点位置，根据左图像中的像素点位置查找在视差范围内的右图像中的相似匹配度(即代价)，即每个像素点都有D数目的相似匹配度。

3.根据权利要求1所述的一种双目视觉匹配代价聚合优化方法，其特征在于，所述步骤二：

代价聚合之前首先求出每个像素点的视差范围均值：

其中p代表一个像素点(col,row),D代表的是视差范围，d代表每个视差其值为0≤d≤D-1,求出利用标准差来识别出每个像素点视差范围内的代价值的离散程度,求出该点视差范围内的方法：

σ(p)为该像素点的视差范围之内的代价标准差，代表所有视差范围内的代价离散程度，所有代价值过于离散代表说明该点匹配时可能存在误差，当周围点向它平滑时会引起误差，最终导致周围点视差被该点强制平滑而造成视差值误差。

4.根据权利要求1所述的一种双目视觉匹配代价聚合优化方法，其特征在于，所述步骤三：

每个点同时按照一个方向进行聚合，最后再将各个方向聚合的结果再次重新聚合，其代价聚合公式为：

其中r为各个方向，分别为4，8，16，

Ag_r(p，d)为各个方向代价聚合，结合前面掩码误差点排除，公式可以进一步演进为Ag_r(p，d)＝Mask(p)*(min(C_r(p-r，d)，C_r(p-r，d-1)+P₁，C_r(p-r,d+1+P1,miniCrp-r,i+P2)-minkCrp-r,k)

r为各个方向,其中Mask(p)为零时，误差点将不进行聚合。

5.根据权利要求1所述的一种双目视觉匹配代价聚合优化方法，其特征在于，所述步骤三：

通过设定标准差经验阈值判断离散程度是否在合法之内，

超过标准差阈值则说明离散程度过高标记为误差点，代价聚合时将排除该点不进行代价聚合。

6.根据权利要求5所述的一种双目视觉匹配代价聚合优化方法，其特征在于：结合第一步误差mask继续进行误差点排除：

当在视差范围之内，最大代价值与最小值之差绝对值大于Diff时，将其判断为两者值在视差范围之内相差太大则认为其存在突变点，计算出的代价值不可靠，不可做累计匹配参考点；

经过两点排除之后，会形成与图片分辨率大小相同的掩码方案，1为该点误差不可靠，代价聚合累积时不可作为其参考点。

7.根据权利要求1所述的一种双目视觉匹配代价聚合优化方法，其特征在于，所述步骤四：

同一条路径之内同一个方向在一张图可以拆分成多条相并行的路径，其公式可以演进为：

根据Ag_r(p，d)每个点由D个元素的数组组成，代表聚合之后的代价值，D范围的cost最小值在数组中的位置将是每个点视差，通过3*3中值滤波进一步将孤立视差进行排除。