CN111680756A - 一种优化倾斜面的双目立体视觉精准匹配方法 - Google Patents

Abstract

本发明提供的一种优化倾斜面的双目立体视觉精准匹配方法，将双目视觉半全局匹配方法与基于倾斜面的视差优化方法结合，同时解决了双目立体视觉匹配最重要的精度和速度二方面的问题。解决匹配精度复杂问题时，除优化匹配流程外，还成功处理了对遮挡点处理不当、影像固有噪点及光照等外部环境因素对精度造成的影响，双目立体视觉匹配精度大幅提高。而在从各方面较好的解决精度问题的同时，又简化优化了匹配算法，缩短了算法时间，很好的解决了双目立体视觉匹配的精度和速度这二个相互矛盾的问题，本发明的具有明显的有效性、先进性和实用性。

Description

一种优化倾斜面的双目立体视觉精准匹配方法

技术领域

本发明涉及一种双目立体视觉精准匹配方法，特别涉及一种优化倾斜面的双目立体视觉精准匹配方法，属于双目视觉匹配技术领域。

背景技术

我们处在一个信息爆炸的时代，而大部分信息都是通过视觉被感知的，各种视觉信息使得人们目不暇接，当前的计算机技术已相当普及，虚拟现实等新技术层出不穷，而机器学习等技术也使得机器越来越向人脑靠近。既然人眼能获取现实世界的信息，那么机器也应该同样能获取现实世界的信息，机器做到后还能够实现智能驾驶等一系列功能。而现实世界中景物的距离信息，是很重要的一种信息，这种信息通过机器进一步加工还能在很多方面协助人类活动，同时也是相对较容易由机器感知的一种信息。那么使得机器更好更快的获取这种距离信息，有巨大的利用价值。本发明主要研发利用双目相机构成双目视觉系统，完成双目立体视觉精准匹配，更好的获取物体的距离信息。

双目立体视觉系统首先立足于计算机视觉，计算机视觉是用计算机实现人眼的功能，感知部分信息，包括获取、分析、处理、理解影像或更真实世界高维数据的方法，计算机视觉的目的是产生决策形式的数字或符号信息。双目立体视觉于二十世纪的六十年代形成了计算机视觉发展史上的一个小高潮，罗伯茨通过计算机程序从数字影像中提取如立方体、棱柱体等多面体的三维结构，并对物体形状及空间关系进行描述。罗伯茨开创了以理解三维场景为目的的三维计算机视觉，标志着计算机视觉正式开始步入正轨。到了七十年代，已经出现了部分视觉应用系统。经过四十多年的发展，在马尔理论框架下，如今能够测算出物体所处环境的三维模型，双目匹配也是典型的基于马尔理论框架的应用。

双目立体视觉核心在双目，人的肉眼由于两眼能同时看到相同的图像，透过不同角度传到大脑后，大脑会结合两眼所看到的影像产生深度立体感。科学家通过模仿人眼的成像原理而发明了相机，而照片体现的信息却只是平面的。实际上人类只用单眼也能感知一定的立体信息，这是人脑通过观察目标大小、光照、颜色等信息，并结合经验产生的，是人脑比较复杂的高级信息处理，但只用一只眼睛观察时，人对距离等立体信息的感知能力明显下降，而计算机不能如此简单的从单目影像中提取立体信息。于是，解决方法就是使用二个相机，从不同角度获取同一景物，并提取立体信息，双目立体视觉中的最基本工具就是双目相机。

进入21世纪，尤其是2012年后，双目视觉对人们的生活产生的影响越来越多，3D电影在中国引爆了观影狂潮，而VR技术成为了当今热门技术，重建3D景物之前往往需要将现实中的3D信息提取，这就属于双目立体计算机视觉的范畴了。例如虚拟现实里的360度街景应用，如想采集多角度的立体信息，就需要使用基于双目立体视觉产品。双目立体视觉对很多领域也产生巨大影响，如生产的自动化、自动驾驶技术等，它也从侧面提高人们的生活水平。

尽管经过了许多年的发展，双目立体视觉技术目前仍不成熟，还存在很多可供优化改良之处，而目前双目立体视觉相关产品存在着强劲的市场需求，所以无论是从技术研发还是市场运用上双目立体视觉技术都有广阔的前景。

基于双目立体视觉的匹配和测距技术也不成熟，本发明主要就是对该技术进行优化改良。双目立体视觉匹配作为双目立体视觉中的核心技术，双目立体视觉匹配在发展过程中主要注重二方面问题，精度和速度。匹配精度问题复杂，除匹配流程外，对遮挡点处理不当、影像固有噪点及光照等外部环境因素均会对精度造成影响。而要从各方面较好的解决精度的问题，一般会延长算法时间，这使得这二个问题成为了相互矛盾的问题，而本发明一种优化倾斜面的双目立体视觉精准匹配方法的目标就是要同时解决这二个问题。

双目立体视觉在发展过程中可以分为局部与全局二类，首先出现的是双目局部算法，而后由于双目全局匹配算法在速度方面天生的劣势，双目局部算法更受青睐，直到2007年半全局匹配方法打破了全局与局部之间的常规界限，将双目视觉匹配算法提升了一个程度。局部算法充分利用影像的RGB通道信息的方法，增加了精确程度，但目前大多数用于稳定工作环境的工业相机仅有黑白通道而不适用，利用RGB多通道信息也会明显减缓速度。直到半全局算法诞生后，基于其的算法因为速度和效果的优势越来越受到重视。

综上，针对现有技术存在的部分缺陷，本发明拟解决以下问题：

一是现有技术主流的基于双目立体视觉的匹配和测距技术不成熟，双目立体视觉匹配作为双目立体视觉中的核心技术，双目立体视觉匹配在发展过程中主要注重二方面问题，精度和速度。匹配精度问题复杂，现有技术除匹配流程外，对遮挡点处理不当、影像固有噪点及光照等外部环境因素均会对精度造成影响。而要从各方面较好的解决精度的问题，一般会延长算法时间，这使得这二个问题成为了相互矛盾的问题，现有技术无法同时解决这二个问题，现有技术的方法局限性大。

二是双目立体视觉在发展过程中可以分为局部与全局二类，现有技术首先出现的是双目局部算法，而后由于双目全局匹配算法在速度方面天生的劣势，双目局部算法更受青睐，局部算法充分利用影像的RGB通道信息的方法，增加了精确程度，但现有技术大多数用于稳定工作环境的工业相机仅有黑白通道而不适用，利用RGB多通道信息也会明显减缓速度。现有技术的双目全局匹配算法在速度方面天生的劣势又一直无法解决。

三是现有技术双目立体视觉匹配方法的平滑效果不好，场景中后景表现不平滑，对视差误差较大的像素点，优化效果更差。现有技术为改良匹配效果尝试了算法流程改变和步骤增多，但算法的时间也明显增加了，相对与现有技术其它匹配算法相比，匹配效果虽有一定提高，但算法在速度方面劣势太大，几乎没有实用价值。

四是现有技术的双目立体视觉匹配方法，算法复杂度高，不容易实现且效果不好，双目立体视觉匹配处理质量波动大，不具有质量控制和保障机制，双目立体视觉匹配质量的判定不准确，算法的鲁棒性很差。不论是在实验环境下测试还是在工程环境中应用于匹配，其效果都不尽如人意。

基于以上分析，本发明立足基于半全局匹配方法的视差结果，利用倾斜面模型进行一定的优化，以期得到比原始视差图更精确的平展的视差图。

发明内容

针对现有技术的不足，本发明提供一种优化倾斜面的双目立体视觉精准匹配方法，同时解决了双目立体视觉匹配最重要的精度和速度二方面的问题。解决匹配精度复杂问题时，除优化匹配流程外，还成功处理了对遮挡点处理不当、影像固有噪点及光照等外部环境因素对精度造成的影响，双目立体视觉匹配精度大幅提高。而在从各方面较好的解决精度问题的同时，又简化优化了匹配算法，缩短了算法时间，很好的解决了双目立体视觉匹配的精度和速度这二个相互矛盾的问题。本发明算法复杂度低，很容易实现且效果明显，双目立体视觉匹配处理质量比较平稳，具有良好的质量控制和保障机制，双目立体视觉匹配质量的判定更为精准，使得双目立体视觉匹配处理方法更具鲁棒性和高效性。不论是在实验环境下测试还是在工程环境中应用于匹配，其效果相对现有技术的半全局算法都得到了明显的改良，而对比现有技术的其它算法优势更为明显。

为达到以上技术效果，本发明所采用的技术方案如下：

一种优化倾斜面的双目立体视觉精准匹配方法，在半全局匹配生成的视差图上进行基于倾斜面平展的优化，将双目视觉半全局匹配方法与基于倾斜面的视差优化方法结合得到一种改良的双目视觉立体匹配方法，包括双目视觉半全局匹配和倾斜面平展的半全局匹配视差优化；

本发明的影像匹配在双目视觉局部与全局算法基础上，采用同时包含全局与局部算法部分特征与优点的双目视觉半全局匹配方法，在双目视觉半全局匹配方法上引入倾斜面进行优化，基于全局匹配的动态规划，汲取近似局部匹配的价值汇集流程，不仅汇集局部信息，而且同时使用了一种综合能量函数，基于半全局匹配的结果，使综合能量函数最小化，最终生成精确和平展的视差图；

双目视觉半全局匹配方法的价值匹配计算采用分层次互信息法，分层次互信息法中熵表示随机变量的不确定性，不确定性强时熵的值越大，熵最大为1，影像的熵代表影像的信息量；互信息表示二个随机变量之间的相关性，相关性越大，互信息越大；二张影像若匹配程度很高，说明二张影像相关性大；反之，若二张影像匹配程度很低，二张影像的互信息就很小；双目视觉立体匹配是使互信息最大化，熵和互信息的定义分别如式1和式2；

其中，互信息的前二组A_M1、A_M2是影像熵，最后一组A_M1M2是协同熵，协同熵依赖协同概率分布，协同熵的公式如下所示：

影像概率分布B实质表示影像的灰度直方图，影像中每个灰度值对应的像素个数除以影像像素个数就是该灰度值对应的概率，单张影像的概率密度是一维的，还有一组二维的二张影像间形成的协同概率密度B_M1,M2(m,n)，(m,n)是像素灰度值对，M₁和M₂分别代表了原图和校正之后的图，b代表像素点，z代表像素的总数，统计不同灰度值对的个数并归一化，二张影像对应的概率分布可以用一张图表示，协同概率分布就是归一化之后的统计直方图；

协同熵通过泰勒展开近似表达为像素和的形式，其中a为数据组，其自变量是像素灰度值，所以事先建表，将每个灰度值对的a值保存，协同熵通过查表计算，

其中，g(m,n)指的是高斯平展，B是一张表示概率值的影像，正是针对这张影像进行平展处理；

原本熵和协同熵的计算方法不同，但两者都采用泰勒近似方式，采用分层次互信息进行价值匹配计算，每一层的计算对应一次迭代，视差图随机生成，在计算出匹配价值后，进行匹配价值的汇集，半全局算法利用多个方向上的路径，对不同方向的价值值进行累积，最后通过局部匹配算法的胜者为王法则求出使匹配价值最小的视差值，根据每个像素点的视差，最终生成一张视差图。

一种优化倾斜面的双目立体视觉精准匹配方法，进一步的，双目视觉半全局匹配方法是兼具全局匹配算法与局部匹配算法的特点，承继各自的优势产生的方法，双目视觉半全局匹配方法既不是只考虑像素的局部区域，也不是考虑所有的像素点；

双目视觉半全局匹配方法基于全局匹配算法的动态规划，双目视觉半全局匹配方法的价值汇集与整张影像的信息都存在关联，从不同方向的一维路径进行匹配价值汇集，达到近似二维路径的效果，最终找到具有最小价值的路径。

一种优化倾斜面的双目立体视觉精准匹配方法，进一步的，倾斜面平展的半全局匹配视差优化方法基于区域和能量，首先通过像素能量和边交界能量分配区域，然后用拟合平面方法拟合出视差倾斜面，同一区域内的视差采用拟合平面计算，再根据切分块、边交界的相互关联提出平面平展能量并进行能量的最小化，将视差图优化；

本发明基于倾斜面平展的视差优化方法实现对双目视觉半全局匹配方法的改良，包括基于倾斜面平展的视差优化、影像初始化和计算区域初步切分、拟合视差倾斜面与平展视差图。

一种优化倾斜面的双目立体视觉精准匹配方法，进一步的，基于倾斜面平展的视差优化中，倾斜面平展流程基于区域，先将影像切分成多个切分块，这些区域称超像素，视差值的计算以切分块为单位进行，在区域上建立一个视差倾斜面，视差倾斜面保存切分块内像素点的拟合视差值，对任意像素点b，在由值i索引的切分块内，e_i是切分块的视差平面，该平面通过E_i、F_i、G_i三个参数表示，对于该切分块内的点(b_x,b_y),拟合视差值如式6定义：

倾斜面平展法用能量形式描述，定义切分块内像素点集合中初始视差距离拟合视差倾斜面较远的点，即视差值不可靠的点为外点，它们构成外点集合，其余点为内点，构成内点集合，并设标志q标记一个点是否为外点，设c为相邻切分块分配标签，K_b为像素点b所属切分块K的索引。

一种优化倾斜面的双目立体视觉精准匹配方法，进一步的，基于倾斜面平展的视差优化算法流程的能量由下面的综合能量函数定义：

F＝颜色管理组+位置管理组+深度数据组+平面平展组+复杂度组+边交界长度组

综合能量函数式有六组分能量函数式，第一组至第六组指定的分能量函数式与在综合能量函数式中出现的次序相同；

第一组：颜色管理组，颜色管理组鼓励超像素中的像素颜色尽量相似，是针对外观的管理；

第二组：位置管理组，位置管理组是使得切分块倾向于形状规则；

第三组：深度数据组，深度数据组使得像素的视差与拟合视差尽量相似，当一个点不在内点集合内，即属于外点时，该点对应的能量设成为一个常数项，避免异常值扰动能量；

第四组：平面平展组，平面平展组衡量相邻的切分块的情况，若二个切分块共面，那么二个切分块倾向于合并，若二个切分块视差断裂，那么它们之间倾向于形成边交界；若发现遮挡，那么遮挡区域倾向具有相对更近的距离，即更大的视差；

第五组：复杂度组，复杂度组鼓励二个区域共平面，整张影像的复杂度倾向于尽量低，具体为：遮挡区域产生的价值＞视差断链区域产生的价值＞共面区域产生的价值；

第六组：边交界长度组，边交界长度组鼓励边交界尽量笔直，同时鼓励超像素尽量规则，针对一个像素点，依次寻找它与八个相邻像素点的关联，若相邻且与它不属于同一个切分块，则增加一个单位的边交界长度能量；

六组能量结合后构成了综合能量，在设计算法时会涉及到各组能量。

一种优化倾斜面的双目立体视觉精准匹配方法，进一步的，基于倾斜面平展的视差优化方法，设计算法实现视差优化的流程：首先对原始影像进行处理，映射到利于运算的空间，算法以切分块而非像素点为运算的基本单位，而切分块之间形成的边交界也是能量优化的重要参照物，需要先将场景影像利用颜色和位置信息进行初步切分，然后对半全局算法生成的初始视差以切分块为单位进行视差倾斜面的拟合并调整切分块，之后利用边交界与切分块本身或二者之间形成的能量关联对视差平面进行拟合平面的调整优化，并根据最终拟合的视差倾斜面生成精确平展的最终视差图。

一种优化倾斜面的双目立体视觉精准匹配方法，进一步的，影像初始化和计算区域初步切分中，首先处理输入的影像，将RGB值转换CIELAB值，随后用双目视觉半全局算法得到一张初始视差图，初始视差图中每个像素点的视差为初始视差；

本发明以切分块为基本单位进行计算，首先需要根据输入影像的像素点数量及指定的超像素数目进行均匀的切分，完成切分后对像素点建立索引数组，索引数组称为标签，给出像素点的坐标后通过标签索引到像素点所属的切分块；同时反向对切分块按次序加入其下属像素点的信息，包括CIELAB空间分量值；

本发明的边交界是指相邻的二个切分块形成的交界，包含交界中的所有像素点，特定的二个切分块间形成的边交界为一条边交界，一条边交界总是与二个切分区域构成关联，判断二个像素点是否属于同一条边交界的标准是判断它们是否由相同的二个切分区域绞合而成；多个切分块形成多个边交界，定义一个边交界的集合储存边交界信息，并初始化边交界信息；首先遍历所有像素点，对其周围的四个相邻像素点，只要该点与任意相邻像素点不属于同一个切分块，就将其定义为边交界像素点；

在均匀切分影像后，解决调整影像切分块使特定能量最小化问题，本发明采用拓扑结构保留的影像切分方法进行切分，拓扑结构保留的影像切分方法在切分的同时保证了切分块是独特、连续并且无空洞的。

一种优化倾斜面的双目立体视觉精准匹配方法，进一步的，拟合视差倾斜面与平展视差图中，获取合理切分区域后，需要更新新旧切分区域的位置和灰度均值，本发明采用增量平均计算法更新切分区域,然后利用双目视觉半全局算法产生的初始视差图对每个切分区域进行视差平面的拟合，采用联合最小二乘法的随机采样一致性拟合平面算法，联合最小二乘法的随机采样一致性拟合平面算法先用随机采样一致性算法检测并剔除异常视差数据点，即外点，再利用最小二乘法将得到的有效视差数据点，即内点拟合，计算平面模型参数；随机采样一致性算法根据一组包含异常数据的样本数据集，设置数学模型，然后通过反复提取最小点集估算模型中参数的初始值，利用这些初始参数值把所有数据分为有效数据和无效数据，再用得到的有效数据重新计算和估算模型的参数；具体步骤为：

第一步，在一个切分块中随机选取三个不同的像素点用来确定一个视差倾斜面，设平面方程为：

Ax+By+Cz＝G 式9

第二步，计算切分块K中每个像素点b_i(x_i，y_i)的初始视差G和倾斜面之间的距离G_i，即：

G_i＝|Ax_i+By_i+C-G| 式10

第三步，Δ_G是距离的阈值，定义内点为满足以下约束条件的点，并统计内点个数M：

|Ax_i+By_i+C-G|＜Δ_G 式11

第四步，不断重复上述步骤，迭代n次，完成后比较所有结果，选定内点个数M最多时产生的倾斜面为最终倾斜面；

完成上述步骤后，利用最小二乘法对最终倾斜面中的内点进行重新拟合，使用一系列点(x_i,y_i),i＝0,1,…,z-1拟合计算平面方程，最小二乘法使K最小，其中K为：

K是一种能量表达形式，以平方差值和的形式表达能量，平方差值和通过在窗口内取像素点差值，再平方，最后叠加这些平方后的差值得到；第三组深度数据组与第四组平面平展组能量也是通过平方差值和的形式来表达，这类能量的最小化可通过最小二乘法解决；要使得S最小，应满足：

通过计算可得：

通过该线性方程组解出A₀,A₁,A₂，即可得到最终拟合平面f＝A₀x+A₁y+A₂。

一种优化倾斜面的双目立体视觉精准匹配方法，进一步的，将切分块的集合与边交界的集合完备化，对切分块的集合，先写入各切分区域每个像素点的位置和初始视差信息，写入的同时生成了部分二乘组，之后在处理边交界信息的同时也为切分区域写入了对应边交界的索引；对边交界的集合，若某边交界像素点b处于水平边交界中，那么找出它右边的边交界像素点b_next，并建立关联，若处于垂直边交界中，那么找出它下方的边交界像素点b_next，并建立关联，向边交界的集合中写入b与b_next的中间坐标代表边交界坐标，同时写入了b与b_next所属切分块的索引信息，通过二个切分块的索引可检索到特定边交界；

利用这二个完备的集合，完成平展步骤；边交界像素点分为三种，并给予不同标签：第一种是视差断裂点；第二种是共面点；第三种是遮挡点,分为左遮挡点和右遮挡点；在进行平展步骤前，本发明需要先为像素点分配标签类型，这实质是第五组能量最小化的过程；定义三种边交界能量，分别代表边交界像素点标签为视差断裂点、共面点、遮挡点时产生的边交界能量，假设像素点分别属于这三种类型，求出对应能量，把其中最小能量对应的类型写入标签；

完成对边交界的类型标签分配后，最后进行平展步骤，平展步骤是针对切分块的，产生的效应是使第四组能量，即平面平展能量最小；平面平展组能量以和方差的形式表现；

首先提取出一个切分块的所有边交界，对视差断裂的边交界，求出该边交界与对侧切分块相互形成的能量；对共面的边交界，首先求出该侧切分块与对侧切分块相互形成的能量，在叠加上对侧切分块自己形成的能量；根据式12与式15，由最小二乘法解决和方差形式能量最小问题；

视差断裂边交界中，设对侧切分块的视差拟合平面用A_jB_jC_j三个参数表示，式15中的右侧值转化为：

式中A_jB_jC_j是定值，代表对侧切分块的拟合平面参数，S代表权重值，共面边交界的情况以此类推，将该式带入式15后解出的平面方程即为最终的切分块的视差平面方程；

将切分块下属的像素点坐标带入视差平面方程中，获取每个像素点的最终视差，并生成一张稠密视差图。

与现有技术相比，本发明的优点和创新点在于：

一是本发明提供的一种优化倾斜面的双目立体视觉精准匹配方法，同时解决了双目立体视觉匹配最重要的精度和速度二方面的问题。解决匹配精度复杂问题时，除优化匹配流程外，还成功处理了对遮挡点处理不当、影像固有噪点及光照等外部环境因素对精度造成的影响，双目立体视觉匹配精度大幅提高。而在从各方面较好的解决精度问题的同时，又简化优化了匹配算法，缩短了算法时间，很好的解决了双目立体视觉匹配的精度和速度这二个相互矛盾的问题，本发明的具有明显的有效性、先进性和实用性。

二是本发明提供的一种优化倾斜面的双目立体视觉精准匹配方法，采用同时包含全局与局部算法部分特征与优点的双目视觉半全局匹配方法，它基于全局匹配的动态规划发展，汲取了近似局部匹配的价值汇集流程，而汇集的又不仅是局部信息，且使用了综合能量函数求解问题，本发明在半全局匹配生成的视差图上进行基于倾斜面平展的优化。本发明将双目视觉半全局匹配方法与基于倾斜面的视差优化方法结合而得到了一种改良的双目视觉立体匹配方法，实验表明本发明的双目视觉立体匹配精度较目前的主流方法有较大提升。

三是本发明提供的一种优化倾斜面的双目立体视觉精准匹配方法，平滑效果非常好，场景中后景表现非常平滑，对视差误差较大的像素点，优化效果更为明显。虽然本发明算法流程改变和步骤增多，但本发明算法的时间并没有明显增加，相对与现有技术其它效果尚可的匹配算法，本发明算法在速度方面仍保持有较大优势。

四是本发明提供的一种优化倾斜面的双目立体视觉精准匹配方法，算法复杂度低，很容易实现且效果明显，双目立体视觉匹配处理质量比较平稳，具有良好的质量控制和保障机制，双目立体视觉匹配质量的判定更为精准，使得双目立体视觉匹配处理方法更具鲁棒性和高效性。不论是在实验环境下测试还是在工程环境中应用于匹配，其效果相对现有技术的半全局算法都得到了明显的改良，而对比现有技术的其它算法优势更为明显。

附图说明

图1是本发明基于倾斜面平展的视差优化流程示意图。

图2是本发明的综合能量函数组成结构示意图。

图3是本发明的方法与其它方法处理后的视差效果对比示意图。

具体实施方式

下面结合附图，对本发明提供的一种优化倾斜面的双目立体视觉精准匹配方法的技术方案进行进一步的描述，使本领域的技术人员可以更好的理解本发明并能予以实施。

本发明提供的一种优化倾斜面的双目立体视觉精准匹配方法，在半全局匹配生成的视差图上进行基于倾斜面平展的优化，将双目视觉半全局匹配方法与基于倾斜面的视差优化方法结合得到一种改良的双目视觉立体匹配方法，包括双目视觉半全局匹配和倾斜面平展的半全局匹配视差优化；

本发明的影像匹配在双目视觉局部与全局算法基础上，采用同时包含全局与局部算法部分特征与优点的双目视觉半全局匹配方法，在双目视觉半全局匹配方法上引入倾斜面进行优化，基于全局匹配的动态规划，汲取近似局部匹配的价值汇集流程，不仅汇集局部信息，而且同时使用了一种综合能量函数，基于半全局匹配的结果，使综合能量函数最小化，最终生成精确和平展的视差图。

一、双目视觉半全局匹配

双目视觉半全局匹配方法是兼具全局匹配算法与局部匹配算法的部分特点，承继各自的部分优势产生的方法，双目视觉半全局匹配方法既不是只考虑像素的局部区域，也不是考虑所有的像素点。

双目视觉半全局匹配方法基于全局匹配算法的动态规划，价值汇集步骤与局部匹配算法基于窗口中基础元素的价值汇集算法不同，双目视觉半全局匹配方法的价值汇集与整张影像的信息都存在关联，从不同方向的一维路径进行匹配价值汇集，达到近似二维路径的效果，最终找到具有最小价值的路径。

(一)双目视觉半全局立体匹配方法

双目视觉半全局匹配方法的价值匹配计算采用分层次互信息法，分层次互信息法中熵表示随机变量的不确定性，不确定性强时熵的值越大，熵最大为1，影像的熵代表影像的信息量；互信息表示二个随机变量之间的相关性，相关性越大，互信息越大。二张影像若匹配程度很高，说明二张影像相关性大；反之，若二张影像匹配程度很低，二张影像的互信息就很小。双目视觉立体匹配是使互信息最大化，熵和互信息的定义分别如式1和式2。

其中，互信息的前二组A_M1、A_M2是影像的熵，最后一组A_M1M2是协同熵，协同熵依赖协同概率分布，协同熵的公式如下所示：

影像概率分布B实质表示影像的灰度直方图，影像中每个灰度值对应的像素个数除以影像像素个数就是该灰度值对应的概率，单张影像的概率密度是一维的，还有一组二维的二张影像间形成的协同概率密度B_M1,M2(m,n)，(m,n)是像素灰度值对，M₁和M₂分别代表了原图和校正之后的图，b代表像素点，z代表像素的总数，统计不同灰度值对的个数并归一化。因此，二张影像对应的概率分布可以用一张图表示，协同概率分布就是归一化之后的统计直方图。

协同熵通过泰勒展开近似表达为像素和的形式，其中a为数据组，其自变量是像素灰度值，所以事先建表，将每个灰度值对的a值保存，协同熵通过查表计算，加快计算速度。

其中，g(m,n)指的是高斯平展，B是一张表示概率值的影像，正是针对这张影像进行平展处理。

原本熵和协同熵的计算方法不同，但由于遮挡点问题，将两者都设置为相同，都采用泰勒近似方式。具体来说，影像的熵是基于影像的概率分布计算，但由于遮挡点的存在，有些像素没有匹配点，若也将这样的像素考虑在内并不合适，于是将焦点放在协同熵的定义上，协同熵基于协同概率分布，其基于的点可以保证都是匹配点，基于这样的概率分布得到影像熵。最后，采用分层次互信息进行价值匹配计算，由于概率分布图和影像大小无关，可以采用分层计算的方式加速，每一层的计算对应一次迭代，视差图可以随机生成，在计算出匹配价值后，半全局匹配方法将进行匹配价值的汇集，不同于全局算法最小化能量函数时使用的二维路径，半全局算法利用多个方向上的路径，对不同方向的价值值进行累积，为保证精度至少选取8个方向，最后通过局部匹配算法的胜者为王法则求出使匹配价值最小的视差值，根据每个像素点的视差，最终生成一张视差图。

二、倾斜面平展的半全局匹配视差优化

倾斜面平展的视差优化方法基于区域和能量，首先通过像素能量和边交界能量分配区域，然后用拟合平面方法拟合出视差倾斜面，同一区域内的视差采用拟合平面计算，再根据切分块、边交界的相互关联提出平面平展能量并进行能量的最小化，将视差图优化。本发明基于倾斜面平展的视差优化方法实现对双目视觉半全局匹配方法的改良，包括基于倾斜面平展的视差优化、影像初始化和计算区域初步切分、拟合视差倾斜面与平展视差图。

(一)基于倾斜面平展的视差优化

倾斜面平展流程基于区域，所以先将影像切分成多个切分块，这些区域称超像素，视差值的计算以切分块为单位进行，而非以单个像素点为单位。在这个区域上建立一个视差倾斜面，视差倾斜面保存切分块内像素点的拟合视差值。对任意像素点b，在由值i索引的切分块内，e_i是切分块的视差平面，该平面通过E_i、F_i、G_i三个参数表示，对于该切分块内的点(b_x,b_y),拟合视差值如式6定义：

倾斜面平展法用能量形式描述，定义切分块内像素点集合中初始视差距离拟合视差倾斜面较远的点，即视差值不可靠的点为外点，它们构成外点集合，其余点为内点，构成内点集合，并设标志q标记一个点是否为外点，设c为相邻切分块分配标签，K_b为像素点b所属切分块K的索引。综合像素能量、边交界能量、平展能量因素，整个算法流程的能量由下面的综合能量函数定义：

F＝颜色管理组+位置管理组+深度数据组+平面平展组+复杂度组+边交界长度组

上述综合能量函数式代表整个倾斜面平展法所有步骤，并非一次性定义并求解，综合能量函数式有六组分能量函数式，如图2所示，本发明中第一组至第六组指定的分能量函数式与在综合能量函数式中出现的次序相同。

第一组：颜色管理组，颜色管理组鼓励超像素中的像素颜色尽量相似，是针对外观的管理；

第二组：位置管理组，位置管理组是使得切分块倾向于形状规则；

第三组：深度数据组，深度数据组使得像素的视差与拟合视差尽量相似，当一个点不在内点集合内，即属于外点时，该点对应的能量设成为一个常数项，避免异常值扰动能量。

第四组：平面平展组，平面平展组衡量相邻的切分块的情况，若二个切分块共面，那么二个切分块倾向于合并，若二个切分块视差断裂，那么它们之间倾向于形成边交界；若发现遮挡，那么遮挡区域倾向具有相对更近的距离，即更大的视差；

第五组：复杂度组，复杂度组鼓励二个区域共平面，整张影像的复杂度倾向于尽量低，具体为：遮挡区域产生的价值＞视差断链区域产生的价值＞共面区域产生的价值；

第六组：边交界长度组，边交界长度组鼓励边交界尽量笔直，同时鼓励超像素尽量规则，针对一个像素点，依次寻找它与八个相邻像素点的关联，若相邻且与它不属于同一个切分块，则增加一个单位的边交界长度能量；

六组能量结合后构成了综合能量，在设计算法时会涉及到各组能量。

基于倾斜面平展的视差优化方法，设计算法实现视差优化的流程：首先对原始影像进行处理，映射到利于运算的空间，由于算法以切分块而非像素点为运算的基本单位，而切分块之间形成的边交界也是能量优化的重要参照物，需要先将场景影像利用颜色和位置信息进行初步切分，这部分不涉及半全局算法生成的视差图。然后对半全局算法生成的初始视差以切分块为单位进行视差倾斜面的拟合并调整切分块，之后利用边交界与切分块本身或二者之间形成的能量关联对视差平面进行拟合平面的调整优化，并根据最终拟合的视差倾斜面生成精确平展的最终视差图。算法流程图如图1所示。

以下记载本发明倾斜面平展视差优化程序的详细步骤，并在这些步骤中重现能量分函数式，体现能量最小化的具体过程。

(二)影像初始化和计算区域初步切分

本发明首先处理输入的影像，将RGB值转换CIELAB值，CIELAB空间三个基本坐标表示颜色的亮度，CIELAB空间的L*分量使程序方便进行后续灰度值的计算，而又保留了颜色信息，随后用双目视觉半全局算法得到一张初始视差图，初始视差图中每个像素点的视差为初始视差。

由于本发明以切分块为基本单位进行计算，首先需要根据输入影像的像素点数量及指定的超像素数目进行均匀的切分，完成切分后对像素点建立索引数组，索引数组称为标签，给出像素点的坐标后通过标签索引到像素点所属的切分块。同时反向对切分块按次序加入其下属像素点的信息，包括CIELAB空间分量值。

本发明的边交界是指相邻的二个切分块形成的交界，包含交界中的所有像素点，特定的二个切分块间形成的边交界为一条边交界，一条边交界总是与二个切分区域构成关联，判断二个像素点是否属于同一条边交界的标准是判断它们是否由相同的二个切分区域绞合而成。多个切分块形成多个边交界，定义一个边交界的集合储存边交界信息，并初始化边交界信息。首先遍历所有像素点，对其周围的四个相邻像素点，只要该点与任意相邻像素点不属于同一个切分块，就将其定义为边交界像素点。

在均匀切分影像后，解决调整影像切分块使特定能量最小化问题，这个问题有多种解决办法，例如使用马尔科夫随机场，但该办法运算价值过高。本发明采用拓扑结构保留的影像切分方法进行切分，拓扑结构保留的影像切分方法在切分的同时保证了切分块是独特、连续并且无空洞的。

拓扑结构保留的影像切分方法的具体步骤是从边交界点集合中依次取出边交界点p，寻找p与周边四个像素点所属切分块Kp_neighpcr形成的能量，以上步骤中的能量包含像素点能量与边交界长度能量，像素点能量是第一组颜色管理组、第二组位置管理组、第三组深度数据组能量的叠加，而边交界长度能量是第六组边交界长度组的能量；

颜色能量通过对p点CIELAB空间的L*A*b*三个分量与Kp_neighpcr区域L*A*b*三个分量的平均值求平方灰度差后叠加；位置能量对p点的像素坐标与Kp_neighpcr区域的平均像素坐标求平方灰度差后叠加；深度能量指p点的初始视差与p点在Kp_neighpcr区域拟合视差的平方灰度差的叠加，由于尚未对切分区域进行视差平面拟合，第三组深度能量在此并无实质意义，但与前二组能量构成了像素能量的整体，本发明后续的二次切分会涉及第三组深度能量。针对边交界长度能量，本步骤选取p点周边的8个像素点，判断其是否属于Kp_neighpcr切分区域，不属于则赋予较高能量，若与p产生了最小能量的切分块并非p所属的切分块，则将p移出当前切分块并分配到p_miz所属的切分块Kp_miz中。迭代过程中一个边交界点的所属切分块变化，则以其为中心，向四周扩散，检查并在必要时重新分配其相邻像素点的所属切分区域，经过多次迭代后，影像形成了新的切分区域与边交界，由原来的规则边交界转化成为使特定能量最小的边交界。

(三)拟合视差倾斜面与平展视差图

获取合理切分区域后，需要更新新旧切分区域的位置和灰度均值，本发明采用增量平均计算法更新切分区域,设E_z是序列u_i的平均值，即

推出该式并利用该式求平均值：

E_i＝E_i-1+(u_i-E_i-1)/i 式8

然后利用双目视觉半全局算法产生的初始视差图对每个切分区域进行视差平面的拟合。针对现有技术的拟合平面方法在视差值存在误差或异常值时产生拟合不稳定的问题，本发明采用联合最小二乘法的随机采样一致性拟合平面算法。联合最小二乘法的随机采样一致性拟合平面算法先用随机采样一致性算法检测并剔除异常视差数据点，即外点，再利用最小二乘法将得到的有效视差数据点，即内点拟合，计算平面模型参数。随机采样一致性算法根据一组包含异常数据的样本数据集，设置数学模型，然后通过反复提取最小点集估算模型中参数的初始值，利用这些初始参数值把所有数据分为有效数据和无效数据，再用得到的有效数据重新计算和估算模型的参数。其中有效数据为可被模型描述的数据，无效数据为偏离正常范围很大、无法适应数学模型的数据。具体步骤为：

第一步，在一个切分块中随机选取三个不同的像素点用来确定一个视差倾斜面，设平面方程为：

Ax+By+Cz＝G 式9

第二步，计算切分块K中每个像素点b_i(x_i，y_i)的初始视差G和倾斜面之间的距离G_i，即：

G_i＝|Ax_i+By_i+C-G| 式10

第三步，Δ_G是距离的阈值，定义内点为满足以下约束条件的点，并统计内点个数M：

|Ax_i+By_i+C-G|＜Δ_G 式11

第四步，不断重复上述步骤，迭代n次，完成后比较所有结果，选定内点个数M最多时产生的倾斜面为最终倾斜面。

完成上述步骤后，利用最小二乘法对最终倾斜面中的内点进行重新拟合，使用一系列点(x_i,y_i),i＝0,1,…,z-1拟合计算平面方程，最小二乘法使K最小，其中K为：

K是一种能量表达形式，以平方差值和的形式表达能量，平方差值和通过在窗口内取像素点差值，再平方，最后叠加这些平方后的差值得到。第三组深度数据组与第四组平面平展组能量也是通过平方差值和的形式来表达，这类能量的最小化可通过最小二乘法解决。要使得S最小，应满足：

通过计算可得：

通过该线性方程组解出A₀,A₁,A₂，即可得到最终拟合平面f＝A₀x+A₁y+A₂。

使用上述方法为每一个切分块生成一个视差拟合平面，该切分块内的像素点的拟合视差通过拟合平面计算。先在切分块的集合中写入各拟合平面的信息，再使用拓扑结构保留的影像切分方法对影像的切分区域进行二次调整，调整时切分区域已经包含了刚刚生成的视差拟合平面，所以对切分区域的调整可使像素点能量中的第三组能量，即深度数据能量连同第一、二、六组能量一起最小化，对当前切分区域写入相关信息，同时完备化切分区域与边交界的集合，供后续步骤使用。

将切分块的集合与边交界的集合完备化，对切分块的集合，程序先是写入了各切分区域每个像素点的位置和初始视差信息，写入的同时生成了部分二乘组，之后在处理边交界信息的同时也为切分区域写入了对应边交界的索引；对边交界的集合，若某边交界像素点b处于水平边交界中，那么找出它右边的边交界像素点b_next，并建立关联，若处于垂直边交界中，那么找出它下方的边交界像素点b_next，并建立关联，程序向边交界的集合中写入b与b_next的中间坐标代表边交界坐标，同时写入了b与b_next所属切分块的索引信息，通过二个切分块的索引可检索到特定边交界。

利用这二个完备的集合，完成平展步骤。边交界像素点分为三种，并给予不同标签：第一种是视差断裂点；第二种是共面点；第三种是遮挡点,分为左遮挡点和右遮挡点；在进行平展步骤前，本发明需要先为像素点分配标签类型，这实质是第五组能量最小化的过程。定义三种边交界能量，分别代表边交界像素点标签为视差断裂点、共面点、遮挡点时产生的边交界能量，假设像素点分别属于这三种类型，求出对应能量，把其中最小能量对应的类型写入标签。

针对视差断裂点，初始边交界能量通过求当前边交界与二侧切分块拟合视差的均方差得到，之后叠加上视差断裂的惩罚值，视差断裂的惩罚值比共面惩罚值大，设该边交界包含z个像素点(x_n,y_n)，一侧切分块的视差拟合平面用A_iB_iC_i三个参数表示，另一侧切分块的视差拟合平面用A_jB_jC_j三个参数表示，h_hinge为视差断裂参数，视差断裂产生的边交界能量用公式表示为：

针对共面点，初始能量通过二次求边交界某一侧切分块对本侧和另一侧切分块的均方误差并累加得到，共面惩罚值为0，设该边交界一侧切分块包含z个像素点(x_n,y_n)，视差拟合平面用A_iB_iC_i三个参数表示，另一侧切分块包含m个像素点(x_n,y_n)，视差拟合平面用A_jB_jC_j三个参数表示，共面点产生的边交界能量用公式表达为：

针对遮挡点，不计此组初始能量，但叠加最大的惩罚组。流程为以视差断裂点的能量为参照，若共面能量可以达到比视差断裂点的能量更小，那么二个切分区域共面。

完成对边交界的类型标签分配后，最后进行平展步骤。平展步骤是针对切分块的，产生的效应是使第四组能量，即平面平展能量最小。平面平展组能量以和方差的形式表现。

首先提取出一个切分块的所有边交界，对视差断裂的边交界，求出该边交界与对侧切分块相互形成的能量；对共面的边交界，首先求出该侧切分块与对侧切分块相互形成的能量，在叠加上对侧切分块自己形成的能量。根据式12与式15，由最小二乘法解决和方差形式能量最小问题。

以视差断裂边交界为例，设对侧切分块的视差拟合平面用A_jB_jC_j三个参数表示，式15中的右侧值转化为：

式中A_jB_jC_j是定值，代表对侧切分块的拟合平面参数，S代表权重值，共面边交界的情况以此类推。将该式带入式15后解出的平面方程即为最终的切分块的视差平面方程。

将切分块下属的像素点坐标带入视差平面方程中，获取每个像素点的最终视差，并生成一张稠密视差图。

在双目视觉局部与全局算法基础上，本发明采用同时包含全局与局部算法部分特征与优点的双目视觉半全局匹配方法，它基于全局匹配的动态规划发展，汲取了近似局部匹配的价值汇集流程，而汇集的又不仅是局部信息，且使用了综合能量函数求解问题，本发明在半全局匹配生成的视差图上进行基于倾斜面平展的优化。本发明将双目视觉半全局匹配方法与基于倾斜面的视差优化方法结合而得到了一种改良的双目视觉立体匹配方法。

三、实验结果测试

本发明的实验一是利用Middlebury平台提供的部分图片序列测试，并与真实视差比较，分析效果与误差，二是使用自己拍摄的照片进行测试。

首先直观上观察对比视差图，如图3所示，本发明方法平滑效果非常好，场景中后景表现非常平滑，而对比方法SGM、Elas均出现了不同程度的过渡性色带效应；本发明方法场景台阶处的视差过渡也表现良好。从整体上看视差图，本发明方法块效应较其它对比方法更好。

进一步通过数据对比，从Bad0.5看出对比算法错误率都比较高，SGM、Elas算法错误大于0.5的像素非常多，而本发明算法经过优化后表现较好，且各组均比SGM、Elas算法好很多，部分场景表现尤为优异。另外，Bad2.0结果证明，对视差误差较大的像素点，本发明算法的优化效果更为明显。虽然本发明算法流程改变和步骤增多，但本发明算法的时间并没有明显增加，相对与现有技术其它效果尚可的匹配算法，本发明算法在速度方面仍保持有较大优势。

本发明侧重于从双目视觉匹配算法方面优化距离测试结果，实际上双目用于距离测算时还有焦距等其它因素对匹配结果产生影响，也有必要使用自动提取感兴趣的目标区域并抛弃视差值不可靠的点，在计算距离的过程中，目前尚需手动取适合的目标点通过视差计算距离，而现有技术的SGM算法室内场景产生的错误点区域较大，此区域内匹配结果错误，室外场景由于相机焦距等问题，较远目标误差均较大，但本发明的方法依旧表现最好，这证明了本发明算法的改良效果，也证明了本发明算法可以用于工程实践环境。

经过二部分的测试，证明了本发明的立体匹配算法不论是在实验环境下测试还是在工程环境中应用于匹配，其效果相对现有技术的半全局算法都得到了明显的改良，而对比现有技术的其它算法也有较大的优势。

Claims (9)

1.一种优化倾斜面的双目立体视觉精准匹配方法，其特征在于，在半全局匹配生成的视差图上进行基于倾斜面平展的优化，将双目视觉半全局匹配方法与基于倾斜面的视差优化方法结合得到一种改良的双目视觉立体匹配方法，包括双目视觉半全局匹配和倾斜面平展的半全局匹配视差优化；

本发明的影像匹配在双目视觉局部与全局算法基础上，采用同时包含全局与局部算法部分特征与优点的双目视觉半全局匹配方法，在双目视觉半全局匹配方法上引入倾斜面进行优化，基于全局匹配的动态规划，汲取近似局部匹配的价值汇集流程，不仅汇集局部信息，而且同时使用了一种综合能量函数，基于半全局匹配的结果，使综合能量函数最小化，最终生成精确和平展的视差图；

双目视觉半全局匹配方法的价值匹配计算采用分层次互信息法，分层次互信息法中熵表示随机变量的不确定性，不确定性强时熵的值越大，熵最大为1，影像的熵代表影像的信息量；互信息表示二个随机变量之间的相关性，相关性越大，互信息越大；二张影像若匹配程度很高，说明二张影像相关性大；反之，若二张影像匹配程度很低，二张影像的互信息就很小；双目视觉立体匹配是使互信息最大化，熵和互信息的定义分别如式1和式2；

其中，互信息的前二组A_M1、A_M2是影像熵，最后一组A_M1M2是协同熵，协同熵依赖协同概率分布，协同熵的公式如下所示：

影像概率分布B实质表示影像的灰度直方图，影像中每个灰度值对应的像素个数除以影像像素个数就是该灰度值对应的概率，单张影像的概率密度是一维的，还有一组二维的二张影像间形成的协同概率密度B_M1,M2(m,n)，(m,n)是像素灰度值对，M₁和M₂分别代表了原图和校正之后的图，b代表像素点，z代表像素的总数，统计不同灰度值对的个数并归一化，二张影像对应的概率分布可以用一张图表示，协同概率分布就是归一化之后的统计直方图；

协同熵通过泰勒展开近似表达为像素和的形式，其中a为数据组，其自变量是像素灰度值，所以事先建表，将每个灰度值对的a值保存，协同熵通过查表计算，

其中，g(m,n)指的是高斯平展，B是一张表示概率值的影像，正是针对这张影像进行平展处理；

原本熵和协同熵的计算方法不同，但两者都采用泰勒近似方式，采用分层次互信息进行价值匹配计算，每一层的计算对应一次迭代，视差图随机生成，在计算出匹配价值后，进行匹配价值的汇集，半全局算法利用多个方向上的路径，对不同方向的价值值进行累积，最后通过局部匹配算法的胜者为王法则求出使匹配价值最小的视差值，根据每个像素点的视差，最终生成一张视差图。

2.根据权利要求1所述的一种优化倾斜面的双目立体视觉精准匹配方法，其特征在于，双目视觉半全局匹配方法是兼具全局匹配算法与局部匹配算法的特点，承继各自的优势产生的方法，双目视觉半全局匹配方法既不是只考虑像素的局部区域，也不是考虑所有的像素点；

双目视觉半全局匹配方法基于全局匹配算法的动态规划，双目视觉半全局匹配方法的价值汇集与整张影像的信息都存在关联，从不同方向的一维路径进行匹配价值汇集，达到近似二维路径的效果，最终找到具有最小价值的路径。

3.根据权利要求1所述的一种优化倾斜面的双目立体视觉精准匹配方法，其特征在于，倾斜面平展的半全局匹配视差优化方法基于区域和能量，首先通过像素能量和边交界能量分配区域，然后用拟合平面方法拟合出视差倾斜面，同一区域内的视差采用拟合平面计算，再根据切分块、边交界的相互关联提出平面平展能量并进行能量的最小化，将视差图优化；

本发明基于倾斜面平展的视差优化方法实现对双目视觉半全局匹配方法的改良，包括基于倾斜面平展的视差优化、影像初始化和计算区域初步切分、拟合视差倾斜面与平展视差图。

4.根据权利要求3所述的一种优化倾斜面的双目立体视觉精准匹配方法，其特征在于，基于倾斜面平展的视差优化中，倾斜面平展流程基于区域，先将影像切分成多个切分块，这些区域称超像素，视差值的计算以切分块为单位进行，在区域上建立一个视差倾斜面，视差倾斜面保存切分块内像素点的拟合视差值，对任意像素点b，在由值i索引的切分块内，e_i是切分块的视差平面，该平面通过E_i、F_i、G_i三个参数表示，对于该切分块内的点(b_x,b_y),拟合视差值如式6定义：

倾斜面平展法用能量形式描述，定义切分块内像素点集合中初始视差距离拟合视差倾斜面较远的点，即视差值不可靠的点为外点，它们构成外点集合，其余点为内点，构成内点集合，并设标志q标记一个点是否为外点，设c为相邻切分块分配标签，K_b为像素点b所属切分块K的索引。

5.根据权利要求4所述的一种优化倾斜面的双目立体视觉精准匹配方法，其特征在于，基于倾斜面平展的视差优化算法流程的能量由下面的综合能量函数定义：

F＝颜色管理组+位置管理组+深度数据组

+平面平展组+复杂度组+边交界长度组

综合能量函数式有六组分能量函数式，第一组至第六组指定的分能量函数式与在综合能量函数式中出现的次序相同；

第一组：颜色管理组，颜色管理组鼓励超像素中的像素颜色尽量相似，是针对外观的管理；

第二组：位置管理组，位置管理组是使得切分块倾向于形状规则；

第三组：深度数据组，深度数据组使得像素的视差与拟合视差尽量相似，当一个点不在内点集合内，即属于外点时，该点对应的能量设成为一个常数项，避免异常值扰动能量；

第四组：平面平展组，平面平展组衡量相邻的切分块的情况，若二个切分块共面，那么二个切分块倾向于合并，若二个切分块视差断裂，那么它们之间倾向于形成边交界；若发现遮挡，那么遮挡区域倾向具有相对更近的距离，即更大的视差；

第五组：复杂度组，复杂度组鼓励二个区域共平面，整张影像的复杂度倾向于尽量低，具体为：遮挡区域产生的价值＞视差断链区域产生的价值＞共面区域产生的价值；

第六组：边交界长度组，边交界长度组鼓励边交界尽量笔直，同时鼓励超像素尽量规则，针对一个像素点，依次寻找它与八个相邻像素点的关联，若相邻且与它不属于同一个切分块，则增加一个单位的边交界长度能量；

六组能量结合后构成了综合能量，在设计算法时会涉及到各组能量。

6.根据权利要求4所述的一种优化倾斜面的双目立体视觉精准匹配方法，其特征在于，基于倾斜面平展的视差优化方法，设计算法实现视差优化的流程：首先对原始影像进行处理，映射到利于运算的空间，算法以切分块而非像素点为运算的基本单位，而切分块之间形成的边交界也是能量优化的重要参照物，需要先将场景影像利用颜色和位置信息进行初步切分，然后对半全局算法生成的初始视差以切分块为单位进行视差倾斜面的拟合并调整切分块，之后利用边交界与切分块本身或二者之间形成的能量关联对视差平面进行拟合平面的调整优化，并根据最终拟合的视差倾斜面生成精确平展的最终视差图。

7.根据权利要求3所述的一种优化倾斜面的双目立体视觉精准匹配方法，其特征在于，影像初始化和计算区域初步切分中，首先处理输入的影像，将RGB值转换CIELAB值，随后用双目视觉半全局算法得到一张初始视差图，初始视差图中每个像素点的视差为初始视差；

本发明以切分块为基本单位进行计算，首先需要根据输入影像的像素点数量及指定的超像素数目进行均匀的切分，完成切分后对像素点建立索引数组，索引数组称为标签，给出像素点的坐标后通过标签索引到像素点所属的切分块；同时反向对切分块按次序加入其下属像素点的信息，包括CIELAB空间分量值；

本发明的边交界是指相邻的二个切分块形成的交界，包含交界中的所有像素点，特定的二个切分块间形成的边交界为一条边交界，一条边交界总是与二个切分区域构成关联，判断二个像素点是否属于同一条边交界的标准是判断它们是否由相同的二个切分区域绞合而成；多个切分块形成多个边交界，定义一个边交界的集合储存边交界信息，并初始化边交界信息；首先遍历所有像素点，对其周围的四个相邻像素点，只要该点与任意相邻像素点不属于同一个切分块，就将其定义为边交界像素点；

在均匀切分影像后，解决调整影像切分块使特定能量最小化问题，本发明采用拓扑结构保留的影像切分方法进行切分，拓扑结构保留的影像切分方法在切分的同时保证了切分块是独特、连续并且无空洞的。

8.根据权利要求3所述的一种优化倾斜面的双目立体视觉精准匹配方法，其特征在于，拟合视差倾斜面与平展视差图中，获取合理切分区域后，需要更新新旧切分区域的位置和灰度均值，本发明采用增量平均计算法更新切分区域,然后利用双目视觉半全局算法产生的初始视差图对每个切分区域进行视差平面的拟合，采用联合最小二乘法的随机采样一致性拟合平面算法，联合最小二乘法的随机采样一致性拟合平面算法先用随机采样一致性算法检测并剔除异常视差数据点，即外点，再利用最小二乘法将得到的有效视差数据点，即内点拟合，计算平面模型参数；随机采样一致性算法根据一组包含异常数据的样本数据集，设置数学模型，然后通过反复提取最小点集估算模型中参数的初始值，利用这些初始参数值把所有数据分为有效数据和无效数据，再用得到的有效数据重新计算和估算模型的参数；具体步骤为：

第一步，在一个切分块中随机选取三个不同的像素点用来确定一个视差倾斜面，设平面方程为：

Ax+By+Cz＝G 式9

第二步，计算切分块K中每个像素点bi(xi，yi)的初始视差G和倾斜面之间的距离G_i，即：

G_i＝|Ax_i+By_i+C-G| 式10

第三步，Δ_G是距离的阈值，定义内点为满足以下约束条件的点，并统计内点个数M：

|Ax_i+By_i+C-G|＜ΔG 式11

第四步，不断重复上述步骤，迭代n次，完成后比较所有结果，选定内点个数M最多时产生的倾斜面为最终倾斜面；

完成上述步骤后，利用最小二乘法对最终倾斜面中的内点进行重新拟合，使用一系列点(x_i,y_i),i＝0,1,…,z-1拟合计算平面方程，最小二乘法使K最小，其中K为：

K是一种能量表达形式，以平方差值和的形式表达能量，平方差值和通过在窗口内取像素点差值，再平方，最后叠加这些平方后的差值得到；第三组深度数据组与第四组平面平展组能量也是通过平方差值和的形式来表达，这类能量的最小化可通过最小二乘法解决；要使得S最小，应满足：

通过计算可得：

通过该线性方程组解出A₀,A₁,A₂，即可得到最终拟合平面f＝A₀x+A₁y+A₂。

9.根据权利要求8所述的一种优化倾斜面的双目立体视觉精准匹配方法，其特征在于，将切分块的集合与边交界的集合完备化，对切分块的集合，先写入各切分区域每个像素点的位置和初始视差信息，写入的同时生成了部分二乘组，之后在处理边交界信息的同时也为切分区域写入了对应边交界的索引；对边交界的集合，若某边交界像素点b处于水平边交界中，那么找出它右边的边交界像素点b_next，并建立关联，若处于垂直边交界中，那么找出它下方的边交界像素点b_next，并建立关联，向边交界的集合中写入b与b_next的中间坐标代表边交界坐标，同时写入了b与b_next所属切分块的索引信息，通过二个切分块的索引可检索到特定边交界；

利用这二个完备的集合，完成平展步骤；边交界像素点分为三种，并给予不同标签：第一种是视差断裂点；第二种是共面点；第三种是遮挡点,分为左遮挡点和右遮挡点；在进行平展步骤前，本发明需要先为像素点分配标签类型，这实质是第五组能量最小化的过程；定义三种边交界能量，分别代表边交界像素点标签为视差断裂点、共面点、遮挡点时产生的边交界能量，假设像素点分别属于这三种类型，求出对应能量，把其中最小能量对应的类型写入标签；

完成对边交界的类型标签分配后，最后进行平展步骤，平展步骤是针对切分块的，产生的效应是使第四组能量，即平面平展能量最小；平面平展组能量以和方差的形式表现；

首先提取出一个切分块的所有边交界，对视差断裂的边交界，求出该边交界与对侧切分块相互形成的能量；对共面的边交界，首先求出该侧切分块与对侧切分块相互形成的能量，在叠加上对侧切分块自己形成的能量；根据式12与式15，由最小二乘法解决和方差形式能量最小问题；

视差断裂边交界中，设对侧切分块的视差拟合平面用A_jB_jC_j三个参数表示，式15中的右侧值转化为：

式中A_jB_jC_j是定值，代表对侧切分块的拟合平面参数，S代表权重值，共面边交界的情况以此类推，将该式带入式15后解出的平面方程即为最终的切分块的视差平面方程；

将切分块下属的像素点坐标带入视差平面方程中，获取每个像素点的最终视差，并生成一张稠密视差图。

Images