CN106340036A - 一种基于双目立体视觉的立体匹配方法 - Google Patents

Abstract

本发明是一种基于双目立体视觉的立体匹配方法，该方法包括构建高斯金字塔、匹配代价计算和代价聚合、匹配代价融合、计算视差、视差图修复及空洞填补、视差精细化六个阶段，在代价聚合阶段加入拉普拉斯金字塔变换，在视差图修复和空洞填补阶段采用了一种基于边缘保护的插值算法，在视差精细化阶段加入基于加权联合双边滤波的视差精细化方法，获得高精度的视差图。本发明计算量适中，融合不同尺度下的匹配结果，在代价聚合阶段和视差精细化阶段进行了改进，能够获得更好的视差图。并且对于光照等外部噪音具有一定的鲁棒性。

Description

一种基于双目立体视觉的立体匹配方法

技术领域

本发明涉及一种基于双目立体视觉的立体匹配方法，是一种基于双目立体视觉、通过对图像对立体匹配计算深度的方法，属于计算机视觉领域。立体匹配是通过查找不同视角拍摄的两幅或者多幅同一场景不同图像间的匹配像素点，然后将匹配像素点之间的2D位移差(也叫视差disparity)转换为3D深度，从而估算出场景的一个3D模型。立体匹配广泛应用于虚拟现实、机器人导航、3D场景绘制与重建、大型机械姿态感知等领域。

背景技术

美国麻省理工学院(MIT)人工智能实验室的D.Marr教授提出一种成功应用在双目匹配上的视觉计算理论，D.Marr教授通过2张有视差的平面数字图像获得有深度的立体图形，创造性地提出了双目图像匹配的理论基础。Tomasi，Kansde利用正交投影模型作为摄像机成像模型，其摄像机运动和三维结构信息是由仿射分解的方法得出的，他们研制的系统为了解决特征点匹配问题利用了基于光流的跟踪技术，因为只有在物体尺寸远小于物体深度时，正交投影模型才成立，所以该方法有一定局限性。近几年来，国内学者在双目立体视觉匹配方面进行了大量的研究，中科院自动化研究所的雷成，开发了CVSuite软件，实现了特征点提取、立体匹配、摄像机自标定和三维显示。中科院沈阳自动化所的机器人视觉研究组的钟云德，采用了一种半稠密匹配方法进行双目图像的立体匹配，该方法比较好地实现双目立体匹配，但匹配过程复杂且匹配时间响应增大。清华大学的王磊提出了基于平面的摄影变换和遗传算法的匹配算法，该方法使用的是平面投影变换，所以在使用过程中有旋转而不能平移。传统的匹配算法采用了基于特征的匹配算法(Feature-matchingAlgorithm)和基于区域的匹配算法(Area-matching Algorithm)。基于特征的立体匹配算法要以提取特征信息为前提，虽然易于实现，但由于所能提取的特征点个数非常有限，特征提取的方法直接影响算法的好坏，基于特征的匹配算法匹配误差较大，只能获得稀疏的视差图，不能应用于要求较高的场合。传统的区域匹配算法是以固定的窗口为模板，比较两幅图像的相似度，相似度最高的则为实现了匹配，所以该算法能够获得稠密的视差图，但窗口大小的选择则成为了一个重要问题，窗口选择太大，则相当于一个均值滤波器，往往会损失边缘信息，窗口选择太小，受噪声影响的程度就越大。

阻碍立体匹配正确率的因素有许多，其中最主要的是噪声问题、视差不连续问题、弱纹理和重复纹理问题，归结如下：

(1)光学失真和噪声(亮度、色调、饱和度等失衡)：立体匹配研究中无论是使用自己获取的图像还是标准图像库中的图像，光学失真和噪声都是不可避免的问题。它们是由摄像机等设备和环境等客观因素造成的，与算法本身关系不大，但是在处理过程中必不可少的会受到亮度、色调、饱和度等失衡带来的干扰。

(2)视差不连续问题：不同物体相交的轮廓区域视差值都是不连续的，在视差不连续区域纹理信息特别丰富，这无疑增加了立体匹配的难度，所以在进行视差估计时，需要考虑到这一不连续的特性，同时视差不连续区域一般都是和遮挡区域紧靠在一起的，所以在计算此处视差时特别容易出现错误匹配。

(3)弱纹理和重复纹理问题：对于这些区域在寻找匹配点时会发现有不止一个像素点与其对应，想要在这些区域能够找到最合适的视差，就需要找到足够多的特征来进行区别，而如何才能找到这些特征量却不是一件容易的事情。

正是由于立体匹配存在的这些问题，才使得它一直成为研究人员关心的重点。随着科学技术的快速发展，对于解决立体匹配这一问题的渴望也变得越来越迫切，各国科学家也都在努力寻求一种高效快速的方法来突破这一瓶颈。

发明内容

技术问题：为解决上述问题，本发明提供一种基于双目立体视觉的立体匹配方法，在代价聚合阶段加入拉普拉斯金字塔变换，在视差图修复和空洞填补阶段采用了一种基于边缘保护的插值算法，在视差精细化阶段加入基于加权联合双边滤波的视差精细化方法，获得高精度的视差图。本发明计算量适中，融合不同尺度下的匹配结果，在代价聚合阶段和视差精细化阶段进行了改进，能够获得更好的视差图。并且对于光照等外部噪音具有一定的鲁棒性。

技术方案：本发明的一种基于双目立体视觉的立体匹配方法包括构建高斯金字塔、匹配代价计算和代价聚合、匹配代价融合、计算视差、视差图修复及空洞填补、视差精细化六个阶段，

1)构建高斯金字塔阶段：在立体匹配图像对上分别构建多层高斯金字塔，随着分辨率的降低，高斯金字塔低分辨率分解层上的最大视差也相应减小；

2)匹配代价计算和代价聚合：在高斯金字塔各分解层下分别进行匹配代价计算和代价聚合操作得到各个尺度下的匹配代价卷，引入拉普拉斯金字塔变换，在融合高斯金字塔各个分解层上的匹配代价之前进行拉普拉斯上采样，使其分辨率与原图像一致；

3)匹配代价融合：融合各个尺度分辨率下的匹配代价卷cost volume，得到最终与原图像分辨率一致的匹配代价卷；

4)视差计算：在最终匹配代价卷上使用WTA(胜者为王)算法，从匹配代价卷的多个匹配代价图中，取每个像素点的最小匹配代价所对应的视差作为该像素点的视差，此时匹配代价最小，两幅图像对应视差下的像素点对最相似匹配，计算出每个像素点的视差即构成视差图；

5)视差图修复及空洞填补：分别以左右图像为参考图像按4)分别计算出左右视差图，保留左右视差图原有的空洞区域，对于左右视差图相差很大的区域重置为空洞，形成一张带有空洞的视差图，采用一种基于边缘保护的插值算法进行空洞填补；

6)视差精细化：对初始视差图使用基于加权联合双边滤波的视差精细化方法进行精细化，去除视差图中的噪声，以及物体边缘轮廓的模糊，得到质量更好的视差图。

其中：

所述步骤2)，引入拉普拉斯金字塔变换，在融合高斯金字塔各个分解层上的匹配代价之前进行拉普拉斯上采样，具体步骤包括：

2.1)把低分辨率高斯金字塔分解层图像通过扩大算子进行扩充放大，其中扩大算子是通过对该分解层进行插值实现的；

2.2)通过求解高斯金字塔中每两层图像之间的差异得到图像的拉普拉斯金字塔；

2.3)将原立体图像对使用高斯金字塔变换分解到多个高斯分解层；

2.4)在每个分解层下计算匹配代价并独立进行代价聚合，得到多个匹配代价卷；

2.5)在低分辨率高斯分解层上的匹配代价卷上进行拉普拉斯上采样，使低分辨率高斯分解层上的匹配代价卷通过多次拉普拉斯上采样后分辨率和原图像一样，得到最后的匹配代价向量。

所述的步骤5)，采用基于边缘保护的插值算法进行空洞填补，具体步骤包括：

5.1)提取左图的边缘轮廓信息，采用基于森林SED算法、GPB算法、candy算法或图像梯度算法；边缘轮廓之内的部分属于同一个物体，同一个物体的深度相近；

5.2)计算两个像素之间的代价距离：在两个像素之间所有可能的路径上，累计经过每个像素的代价和作为这条路径的代价，取所有路径代价中的最小值作为两个像素之间的代价距离；而经过每个像素点的代价与轮廓边界信息相对应，在边缘轮廓之内像素点之间代价距离小，而与边缘轮廓之外的其他像素点之间的代价距离大；

5.3)按照5.2)所示方法计算代价距离，对于空洞中的边缘像素点，找到多个与它代价距离最近且已知视差的像素点；

5.4)对于5.3)得到的多个像素点，累计它们的视差与权值的乘积的和，并取平均值得到最后的视差，权值通过自变量为代价距离的高斯函数计算。

所述的步骤6)，采用加权联合双边滤波视差图精细化方法对立体匹配得到的视差图进行精细化，具体步骤包括：

6.1)在初始的视差图上使用斑点检测算法filterSpeckles得到视差图中的连通区域；

6.2)对于视差图中的每一像素点，设置以该像素点为中心的支持窗口，根据窗口内所有像素点信息计算该像素点的权值，包括基于空间距离的权值、基于颜色距离的权值、基于连通区域的权值；其中基于空间距离的权值用两像素的空间距离的高斯函数计算；基于颜色距离的权值用两像素的颜色距离的高斯函数计算；基于连通区域的权值是支持窗口中连通区域的所有像素到中心像素点的空间距离、颜色距离和视差距离的乘积之和；

6.3)利用6.2)中计算的三种权值，对支持窗口中心点进行加权联合双边滤波；

6.4)滤波之后需要对轮廓边缘模糊的区域进行视差修正：以当前像素为中心的支持窗口中，使用双边滤波前与当前像素使用双边滤波后视差差异最小的视差作为当前像素的视差。

有益效果：

(1)在原论文基于高斯金字塔变换的框架上，引入拉普拉斯金字塔变换。减少了噪声和光学失真对后续处理的影响，能有效地提高视差计算的精度，得到误差更小的视差图。

(2)在融合高斯金字塔各个分解层上的匹配代价之前进行拉普拉斯上采样，能缓解弱纹理和重复纹理的问题，有效提高视差图的质量。

(3)在视差精细化阶段引入基于加权联合双边滤波的视差精细化方法替换原来的加权中值滤波方法。视差精细化关乎视差图的最终效果，本发明采用基于加权联合双边滤波的视差精细化方法，去除视差图中的噪声，以及物体边缘轮廓的模糊，进一步提高最终视差图的质量。

(4)在视差图修复及空洞填补阶段采用了一种基于边缘保护的插值算法，能有效解决视差不连续和无法匹配区域的视差计算问题。

附图2给出了b给出了本论文得到的视差图以及Middlebury Stereo Vision提供的精准视差图本发明能够获得更好的视差图。并且对于光照等外部噪音具有一定的鲁棒性，有效地保护了双目立体匹配方法的版权。

附图说明

图1为本发明的总体流程图；

图2为本发明的结果视差图。其中图a是图像I，图b是图像I’，图c是本文算法视差图，图d是Middlebury Stereo Vision提供的精准视差图。

具体实施方式

下面结合附图和高斯金字塔变换跨尺度代价聚合的立体匹配过程，通过实例对本发明做进一步阐述：

1、计算匹配代价

匹配代价是用来衡量不同视角拍摄的两幅或者多幅同一场景不同图像，在不同视差下对应像素点对之间在的相似性。匹配代价计算使用f:R^W×H×3×R^W×H×3→R^W×H×L表示，其中W、H表示图像分辨率的宽和高，3代表像素RGB通道，L代表最大视差d_max。不同视角拍摄的两幅同一场景不同立体图像对I、I′使用式(1)来表示在视差从1到L的匹配代价卷。

C＝f(I,I′) (1)

对于x_i,y_i坐标处的像素点i＝f(x_i,y_i)，在视差l下的匹配代价为标量C(i,l)。使用亮度加梯度的匹配代价为目前常用的匹配代价计算方法:

其中I(i)表示图像I中像素点i的RGB颜色向量，表示x方向的亮度梯度，τ_c、τ_g分别为亮度和x方向亮度梯度的截断参数，i_l＝(x_i-l,y_i)为像素点i在视差l下在图像I′中的对应像素点。

利用式(2)计算I中每个像素点在视差l(1≤l≤L)下的匹配代价即可得到匹配代价图，重复计算每个视差下的匹配代价图即可得L个匹配代价图所组成的匹配代价卷，匹配代价卷可以看成是一个维度为W×H×L的三维矩阵。

2、代价聚合

由计算匹配代价阶段获得的匹配代价卷包含噪声，代价聚合阶段对匹配代价卷的去噪声处理可以看成是对匹配代价卷的加权最小二乘(weighted least squares:WLS)优化问题。本文采用的WLS优化如式(3)所示：

其中当代价聚合采用局部方法时N_i为以像素点i为中心核窗口内的其他像素点，当采用非局部的方法时N_i为整个图像内的其他像素点；K(i,j)为用来衡量像素点i,j之间相似性的相似性核，在使用引导滤波器做相似核函数时采用像素点间像平面二维空间距离和颜色空间距离来衡量像素点i,j之间的相似性，在使用最小生成树做相似核函数时则采用测地线距离衡量像素点i,j之间的相似性； 为归一化常数；z变量为匹配代价迭代去噪声过程中的输出值；式(4)为匹配代价迭代去噪声过程的最终输出值，是最终去除噪声的匹配代价，也就是说当时为式(3)加权最小二乘优化问题的最优解。

3、跨尺度的代价聚合框架

当前的局部和非局部代价聚合算法都是在立体图像对I、I′原始分辨率下的匹配代价卷上进行代价聚合，使用这些算法在高纹理区域都能取得质量好的视差值，但是在低纹理区域或者无纹理区域则效果都不好，考虑到人眼视觉系统是在不同尺度上处理接收到的视觉信号，并且对细节信息非常敏感，本发明将原立体图像对I、I′分解到多个尺度上，在各个尺度分解层下分别进行代价聚合处理再融合各个尺度上的代价聚合结果，能获得更好的视差图。

金字塔变换是常用的跨尺度多分辨率分解方法。一幅图像的金字塔，是该图像经过相应处理再降采样形成的一系列以金字塔形状排列，分辨率逐步降低的图像集合，金字塔顶部是待处理图像低分辨率表示，其他金字塔层是在不同尺度下的高分辨率表示。图像的不同金字塔分解层，能用来分析图像中不同大小的物体，其中低分辨率图像可用来分析图像中大的物体，高分辨率图像可用来分析图像中的小的物体以及细节信息。图像的重要特征按照不同的尺度，不同的分辨率分解到不同的金字塔分解层上。按照金字塔构造原理的不同，金字塔可以分为高斯金字塔、拉普拉斯金字塔、梯度金字塔、对比度金字塔等。

对于高斯金字塔，第l分解层图像G_l与第l-1分解层图像G_l-1之间满足式(5)：

其中1≤i≤R_l-1/2，1≤j≤C_l-1/2，R_l-1、C_l-1为第l-1分解层图像G_l-1的行数和列数；第l分解层图像G_l比第l-1分解层图像G_l-1缩小了4倍；w(m,n)为大小为奇数k(k＝3、5、7…)的生成核，是一个窗函数，可以看成一个低通二维滤波器，一个典型的5×5w(m,n)窗口如式(6)所示：

图像的拉普拉斯金字塔可以通过求解高斯金字塔中每两层图像之间的差异得到，为求出高斯金字塔第l分解层图像G_l与第l-1分解层图像G_l-1之间的差异，需要先把低分辨率高斯金字塔分解层图像G_l进行扩充放大，使它的分辨率和高分辨率分解层图像G_l-1一样，定义扩大算子Expand：

通过扩大算子运算得到的与G_l-1分辨率一样，扩大算子的具体运算是通过对第l分解层图像G_l进行插值放大，由式(8)实现：

其中1≤i≤R_l-1，1≤j≤C_l-1，R_l-1、C_l-1为第l-1分解层图像G_l-1的行数和列数，G_l′由式(9)决定：

完整的拉普拉斯金字塔定义为：

将原立体图像对I、I′使用高斯金字塔变换分解到0、1、2…S高斯分解层；分别在第0、1、2…S高斯分解层下，分别计算视差从1到L、1到L/2、1到L/2²…1到L/2^S的匹配代价并独立进行代价聚合，得到匹配代价卷C⁰、C¹、C²…C^S，其中C⁰是在最大分辨率下的匹配代价卷，C^S是在最小分辨率下的代价卷；之后对低分辨率1、2…S高斯分解层上的匹配代价卷C¹、C²…C^S进行拉普拉斯上采样Expand⁽¹⁾(C¹)，Expand⁽²⁾(C²)，…Expand^(S)(C^S)，使低分辨率高斯分解层上的匹配代价卷通过多次拉普拉斯上采样后分辨率和原图像I、I′以及C⁰一样，Expand^(S)表示使用s次拉普拉斯上采样使低分辨代价卷恢复到原始图像的分辨率。引入高斯金字塔变换^[9]的式(3)、(4)修正为式(11)、(12)：

其中是尺度s下的归一化常数；为尺度s下对应的变量；为代价聚合操作(迭代去噪声过程)的中间输出值；式(13)表示在尺度0、1、2…S下分别独立执行代价聚合操作，并对代价聚合结果进行拉普拉斯上采样得到最终的匹配代价向量。

为了融合多个尺度的匹配代价，引入不同尺度之间的正则化约束项到式(11)，保证相邻尺度同一像素匹配代价的一致性，如式(14)所示：

其中λ为正则化常数因子，正则化常数因子越大，同一像素不同尺度之间的一致性约束越强，会加强对低纹理区域的视差估计(低纹理区域视差难以估计，需要加强约束才行)，但是副作用是使得其他区域的视差值估计不够精确；表示加入不同尺度之间的正则化约束项后在尺度0、1、2…S下经过代价聚合操作(迭代去噪声过程最后得到)的匹配代价组成的向量：

优化目标式(14)的求解为凸优化问题，解为优化目标式(14)的驻点。令表示式(14)中的优化目标函数，如式(16)求偏导数可得式(17)。

图像S+1个高斯金字塔分解尺度对应S+1个线性方程，式(17)方程组可以使用矩阵形式如式(18)表示：

其中A为(S+1)×(S+1)的三对角线矩阵，A为可逆矩阵，可得式(19)：

由式(19)可求得最终融合了多个尺度的代价聚合结果，引入了尺度间的正则化后，来自粗尺度的匹配代价会修正最精细尺度的匹配代价，只需使用式(20)求出最精细尺度上的匹配代价然后在最精细尺度上使用WTA算法即可求得视差图。

(4)视差图修复及空洞填补

可以采用基于森林SED算法、GPB算法、candy算法或图像梯度算法提取所述左图边缘轮廓信息，缘轮廓之内的部分属于同一个物体，同一个物体的深度相近。

计算两个像素之间的代价距离：在两个像素之间所有可能的路径上，累计经过每个像素的代价和作为这条路径的代价，取所有路径代价中的最小值作为两个像素之间的代价距离。而经过每个像素点的代价与轮廓边界信息相对应。在边缘轮廓之内像素点之间代价距离小，而与边缘轮廓之外的其他像素点之间的代价距离大。代价距离计算如式(21)所示：

其中P_p,q表示像素p,q之间所有可能的路径，C(p_s)表示经过像素点p_s的代价，C与深度边界相对应。根据距离D_G的计算方法，一个像素距离同一深度层上的所有像素点的距离都很近，而距离其他深度层上的距离很远。

按照式(21)所示方法计算代价距离，对于空洞中的边缘像素点，找到多个与它代价距离最近且已知视差的像素点。累计它们的视差与权值的乘积的和，并取平均值得到最后的视差。权值是自变量为代价距离的高斯函数。

例如，对于空洞中点p，首先找到p点周围N个自定义的代价距离最小的已求视差的像素点p_i，计算N个自定义的代价距离最小的像素点的视差乘以权重得到乘积之和后，取平均值即为p点的视差，即

其中，为基于自定义的代价距离的权重，N_k(p)为p点周围N个自定义的代价距离最小的已求得光流信息的像素点p_i。

(5)视差精细化

由金字塔变换跨尺度代价聚合框架提取到的视差图D^INITIAL有噪声，场景中物体的边缘轮廓信息保留不好。在视差图精细化阶段，使用彩色图像和提取到的对应视差图做输入，采用Matsuo等人提出的加权联合双边滤波(weighted joint bilateralfilter:WJBF)视差图精细化方法对立体匹配得到的视差图D^INITIAL进行精细化，去除视差图中的噪声，以及物体边缘轮廓的模糊，得到质量更好的视差图D^WJBF。

如式(23)所示加权联合双边滤波是在联合双边滤波的基础上加上权值，其中：p表示当前像素点；s为以p点为中心的支持窗口内的其他像素点；I为输入的彩色图像；D为彩色图像对应的视差图；N为支持窗口内的像素点；w为基于空间距离的权值，像素点间空间距离越近，权值越大，其中σ_s为空间高斯分布参数；c为基于颜色距离的权值，像素点间的像素值越相似，权值越大，其中σ_c为颜色高斯分布参数；R_s为连通区域的权值，由式(24)决定。

其中：M_s为斑点掩码，斑点为视差图中的噪声区域，在初始的视差图上使用斑点检测算法(filterSpeckles)得到视差图中的连通区域，斑点检测算法使用预先设定好的斑点区域大小speckleWindowSize以及斑点区域内像素点间视差值差异大小speckleRange两个参数来检测斑点区域，当视差图上区域内的像素点视差值差异大于speckleRange且这样的区域尺寸小于speckleWindowSize时将该区域内的像素点掩码标为0，否则像素点的掩码置为1；w为基于空间距离的权值；c为基于颜色距离的权值；d为基于视差距离的权值，视差差异越小，d值越大；N′为支持窗口内连通区域像素点。通过使用权值图和加权双边滤波来忽略场景中物体边缘部分、以及视差图中噪声部分的视差值，最终能够修正视差图物体边缘部分的模糊并减少视差图中的噪声。

使用加权联合双边滤波能够修正视差图中物体边缘轮廓部分的视差值并对视差平坦区域进行平滑，但在前景和背景颜色差异小、前景和背景视差值差异大的部分会引入轻微的模糊，对这些区域的视差值D^WJBF需要使用式(25)进行修正，其中为修正后的视差值，W为以p点为中心的支持窗口。

Claims (4)

1.一种基于双目立体视觉的立体匹配方法，其特征在于该方法包括构建高斯金字塔、匹配代价计算和代价聚合、匹配代价融合、计算视差、视差图修复及空洞填补、视差精细化六个阶段，

1)构建高斯金字塔阶段：在立体匹配图像对上分别构建多层高斯金字塔，随着分辨率的降低，高斯金字塔低分辨率分解层上的最大视差也相应减小；

2)匹配代价计算和代价聚合：在高斯金字塔各分解层下分别进行匹配代价计算和代价聚合操作得到各个尺度下的匹配代价卷，引入拉普拉斯金字塔变换，在融合高斯金字塔各个分解层上的匹配代价之前进行拉普拉斯上采样，使其分辨率与原图像一致；

3)匹配代价融合：融合各个尺度分辨率下的匹配代价卷cost volume，得到最终与原图像分辨率一致的匹配代价卷；

4)视差计算：在最终匹配代价卷上使用胜者为王算法WTA，从匹配代价卷的多个匹配代价图中，取每个像素点的最小匹配代价所对应的视差作为该像素点的视差，此时匹配代价最小，两幅图像对应视差下的像素点对最相似匹配，计算出每个像素点的视差即构成视差图；

5)视差图修复及空洞填补：分别以左右图像为参考图像按4)分别计算出左右两幅视差图，保留左右视差图原有的空洞区域，对于左右视差图相差很大的区域重置为空洞，形成一张带有空洞的视差图，采用一种基于边缘保护的插值算法进行空洞填补；

6)视差精细化：对初始视差图使用基于加权联合双边滤波的视差精细化方法进行精细化，去除视差图中的噪声，以及物体边缘轮廓的模糊，得到质量更好的视差图。

2.根据权利要求1所述的基于双目立体视觉的立体匹配方法，其特征在于所述步骤2)，引入拉普拉斯金字塔变换，在融合高斯金字塔各个分解层上的匹配代价之前进行拉普拉斯上采样，具体步骤包括：

2.1)把低分辨率高斯金字塔分解层图像通过扩大算子进行扩充放大，其中扩大算子是通过对该分解层进行插值实现的；

2.2)通过求解高斯金字塔中每两层图像之间的差异得到图像的拉普拉斯金字塔；

2.3)将原立体图像对使用高斯金字塔变换分解到多个高斯分解层；

2.4)在每个分解层下计算匹配代价并独立进行代价聚合，得到多个匹配代价卷；

2.5)在低分辨率高斯分解层上的匹配代价卷上进行拉普拉斯上采样，使低分辨率高斯分解层上的匹配代价卷通过多次拉普拉斯上采样后分辨率和原图像一样，得到最后的匹配代价向量。

3.根据权利要求1所述的基于双目立体视觉的立体匹配方法，其特征在于所述的步骤5)，采用基于边缘保护的插值算法进行空洞填补，具体步骤包括：

5.1)提取左图的边缘轮廓信息，采用基于森林SED算法、GPB算法、candy算法或图像梯度算法；边缘轮廓之内的部分属于同一个物体，同一个物体的深度相近；

5.2)计算两个像素之间的代价距离：在两个像素之间所有可能的路径上，累计经过每个像素的代价和作为这条路径的代价，取所有路径代价中的最小值作为两个像素之间的代价距离；而经过每个像素点的代价与轮廓边界信息相对应，在边缘轮廓之内像素点之间代价距离小，而与边缘轮廓之外的其他像素点之间的代价距离大；

5.3)按照5.2)所示方法计算代价距离，对于空洞中的边缘像素点，找到多个与它代价距离最近且已知视差的像素点；

5.4)对于5.3)得到的多个像素点，累计它们的视差与权值的乘积的和，并取平均值得到最后的视差，权值通过自变量为代价距离的高斯函数计算。

4.根据权利要求1所述的基于双目立体视觉的立体匹配方法，其特征在于所述的步骤6)，采用加权联合双边滤波视差图精细化方法对立体匹配得到的视差图进行精细化，具体步骤包括：

6.1)在初始的视差图上使用斑点检测算法filterSpeckles得到视差图中的连通区域；

6.2)对于视差图中的每一像素点，设置以该像素点为中心的支持窗口，根据窗口内所有像素点信息计算该像素点的权值，包括基于空间距离的权值、基于颜色距离的权值、基于连通区域的权值；其中基于空间距离的权值用两像素的空间距离的高斯函数计算；基于颜色距离的权值用两像素的颜色距离的高斯函数计算；基于连通区域的权值是支持窗口中连通区域的所有像素到中心像素点的空间距离、颜色距离和视差距离的乘积之和；

6.3)利用6.2)中计算的三种权值，对支持窗口中心点进行加权联合双边滤波；

6.4)滤波之后需要对轮廓边缘模糊的区域进行视差修正：以当前像素为中心的支持窗口中，使用双边滤波前与当前像素使用双边滤波后视差差异最小的视差作为当前像素的视差。