CN111508030A - 一种计算机视觉的立体匹配方法 - Google Patents

Abstract

本发明属于立体匹配算法技术领域，尤其是一种计算机视觉的立体匹配方法，包括以下步骤：S1：区域相关匹配给定在一幅图像上的某一点，选取该像素点邻域内的一个子窗口，在另一幅图像中的一个区域内，根据某种相似性判断依据，寻找与子窗口图像最为相似的子图，而其匹配的子图中对应的像素点就为该像素的匹配点；本发明的算法计算复杂度小，且利用了红外和梯度差综合算法保留边缘信息的特点，降低噪声干扰，提升图像分辨率，用平稳区域的视差值来估计非平稳区域的错误视差值，能有效降低立体匹配的误匹配率，提高视差图精度，尤其在边缘信息丰富的区域匹配性能更佳。

Description

一种计算机视觉的立体匹配方法

技术领域

本发明涉及立体匹配算法技术领域，尤其涉及一种计算机视觉的立体匹配方法。

背景技术

当前计算机立体视觉的水平与人类的双目视觉水平还相距甚远，对它的研究仍然是一个非常活跃的领域。大量的学校、公司以及研究机构的研究人员仍然在进行着对计算机立体视觉的研究，这是因为计算机立体视觉与人眼立体视觉相比，主要有以下不可替代的优点：1、精度高。人眼的立体感知能力虽然很强，能够很轻松的正确判断出两个物体的深度顺序，但是却无法得到其精确的距离信息。然而，使用计算机立体视觉，通过精确的标定，使用合适的计算方法，在匹配正确的情况下可以得到非常精确的深度和位置等数值信息，这使得机器人的精密控制、三维模型重建等工作可以更好的完成；2、扩展能力强大。由于计算机硬件和软件不像人类的器官那样不可改变，计算机立体视觉可以从各个方面对其进行扩展，以满足不同应用的需求。首先，计算机立体视觉并不限于双目视觉，很多系统使用了三相机、多相机甚至相机矩阵采集图像。相机的摆放方式除了类似人眼的水平摆放，还可以采用垂直摆放、环绕摆放以及立体摆放等多种灵活的方式，有一些系统的相机间的关系还可以根据需要进行动态变化。此外，除了可见光，使用特殊的相机，还可以采集到其它各种类型的输入数据，如红外线、核磁共振等。所以说，计算机立体视觉技术具有强大的扩展能力，能够提供比人眼立体视觉系统更丰富的信息。

现有技术局部匹配算法：局部匹配算法是通过在一个小的邻域窗口内计算像素的匹配代价，经过代价聚合，最小化代价函数后获得视差值。现有技术全局匹配算法：全局匹配算法则通过最小化全局能量函数，同时优化所有像素视差值，一般精度较高。

现有技术局部匹配算法的缺点：该方法计算复杂度低，适用于实时的立体匹配任务，但其视差结果受窗口尺寸大小影响较大，精度较低。现有技术全局匹配算法的缺点：该方法计算复杂度高，适用于精度要求较高的立体匹配任务，图割法，置信传播算法，动态规划等都是常见的高效的全局立体匹配算法。

发明内容

本发明的目的是为了解决现有技术中存在现有技术的缺点，而提出的一种计算机视觉的立体匹配方法。

为了实现上述目的，本发明采用了如下技术方案：

一种计算机视觉的立体匹配方法，包括以下步骤：

S1：区域相关匹配给定在一幅图像上的某一点，选取该像素点邻域内的一个子窗口，在另一幅图像中的一个区域内，根据某种相似性判断依据，寻找与子窗口图像最为相似的子图，而其匹配的子图中对应的像素点就为该像素的匹配点；

S2：荣誉计算消除通过网络计算输入立体图像对的初始匹配代价，同时利用“胜者为王”策略找出对应的视差值，生成初始视差图；

S3：将生成的初始视差图输入到红外图像匹配算法进行计算，通过采用EDP算法重构非平稳像素点匹配代价，最后通过WTA算法计算得到非平稳像素视差值并填充到孔洞视差图中，得到完整的结果视差图；

S4：红外匹配算法分别连接有基本约束条件、基于视差梯度的可变搜索范围区域相关匹配和基本特征算法进行辅助计算；

S5：基本特征算法将计算结果输入到基本相位匹配算法可匹配出相对应的三维模型；

S6：红外图像匹配算法将计算结果传输到Matlab环境下进行仿真实验研究；

S7：Matlab环境下仿真实验研究结果可以应用到移动机器人平台上进行实验探索；

S8：待移动机器人平台上的实验研究成熟后，可应用到生产线产品检测领域进行使用。

优选的，所述基本约束条件包括相容性约束、唯一性约束、连续性约束和外极线约束。

优选的，所述基本相位匹配算法根据摄像机成像模型，对摄像机进行内外部参数标定，再根据所标定的内外部参数得到立体像对基本矩阵，根据所得到的基本矩阵进行极线校正，通过双线性内插值法进行相位插值，得到经过极线校正后的相位图，通过模板匹配的方法，确定初始匹配点，再通过基于最小二乘的二次曲面拟合的方法在初始匹配点6×6邻域内进行亚像素级定位，进而得到亚像素级的匹配点。

优选的，所述基本特征匹配算法是基于几何特征信息(边缘、线、轮廓、兴趣点、角点和几何基元等)，针对几何特征点进行视差估计，先要提取图像的特征点，尽而利用这些特征点的视差值信息来重建三维空间场景；

匹配所需要的主要步骤：原始图像、构件图像尺寸、特征点提取、特征点描述、特征点定位和特征匹配，如果想得到稠密的视差图，需要采用插值的方法。

优选的，所述红外图像匹配算法包括：

(1)分别对可见光图像和红外图像提取出最大稳定极值区域；

(2)分别对可见光图像和红外图像的最大稳定极值区域进行归一合并区域；

(3)建立FBP模型，使用二进制编码描述所述标准圆内的纹理信息；

(4)使用汉明距离匹配各区域的编码。

插值法又称"内插法"，是利用函数f(x)在某区间中插入若干点的函数值，作出适当的特定函数，在这些点上取已知值，在区间的其他点上用这特定函数的值作为函数f(x)的近似值，这种方法称为插值法。如果这特定函数是多项式，就称它为插值多项式。

本发明的算法计算复杂度小，且利用了红外和梯度差综合算法保留边缘信息的特点，降低噪声干扰，提升图像分辨率，用平稳区域的视差值来估计非平稳区域的错误视差值，能有效降低立体匹配的误匹配率，提高视差图精度，尤其在边缘信息丰富的区域匹配性能更佳。

附图说明

图1为本实用新型所提供的一种计算机视觉的立体匹配方法的整体框图；

图2为图1中的基本约束条件扩展框图；

图3为图1中的基本相位匹配算法框图；

图4为图1中的基本特征匹配算法框图；

图5为图1中的红外图像匹配算法框图。

具体实施方式

下面将结合本发明实施例中的方法，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。

实施例

一种计算机视觉的立体匹配方法，包括以下步骤：

S1：区域相关匹配给定在一幅图像上的某一点，选取该像素点邻域内的一个子窗口，在另一幅图像中的一个区域内，根据某种相似性判断依据，寻找与子窗口图像最为相似的子图，而其匹配的子图中对应的像素点就为该像素的匹配点；

S2：荣誉计算消除通过网络计算输入立体图像对的初始匹配代价，同时利用“胜者为王”策略找出对应的视差值，生成初始视差图；

S3：将生成的初始视差图输入到红外图像匹配算法进行计算，通过采用EDP算法重构非平稳像素点匹配代价，最后通过WTA算法计算得到非平稳像素视差值并填充到孔洞视差图中，得到完整的结果视差图；

S4：红外匹配算法分别连接有基本约束条件、基于视差梯度的可变搜索范围区域相关匹配和基本特征算法进行辅助计算；

S5：基本特征算法将计算结果输入到基本相位匹配算法可匹配出相对应的三维模型；

S6：红外图像匹配算法将计算结果传输到Matlab环境下进行仿真实验研究；

S7：Matlab环境下仿真实验研究结果可以应用到移动机器人平台上进行实验探索；

S8：待移动机器人平台上的实验研究成熟后，可应用到生产线产品检测领域进行使用。

本实施例中，所述基本约束条件包括相容性约束、唯一性约束、连续性约束和外极线约束。

本实施例中，所述基本相位匹配算法根据摄像机成像模型，对摄像机进行内外部参数标定，再根据所标定的内外部参数得到立体像对基本矩阵，根据所得到的基本矩阵进行极线校正，通过双线性内插值法进行相位插值，得到经过极线校正后的相位图，通过模板匹配的方法，确定初始匹配点，再通过基于最小二乘的二次曲面拟合的方法在初始匹配点6×6邻域内进行亚像素级定位，进而得到亚像素级的匹配点。

计算两个像素之间的代价距离：在两个像素之间所有可能的路径上，累计经过每个像素的代价和作为这条路径的代价，取所有路径代价中的最小值作为两个像素之间的代价距离。而经过每个像素点的代价与轮廓边界信息相对应。在边缘轮廓之内像素点之间代价距离小，而与边缘轮廓之外的其他像素点之间的代价距离大，代价距离计算如式所示：

其中Pp,q表示像素p,q之间所有可能的路径，C(ps)表示经过像素点p的代价，C与深度边界相对应。根据距离DG的计算方法，一个像素距离同一深度层上的所有像素点的距离都很近，而距离其他深度层上的距离很远。

按照式上述所示方法计算代价距离，对于空洞中的边缘像素点，找到多个与它代价距离最近且已知视差的像素点。累计它们的视差与权值的乘积的和，并取平均值得到最后的视差。

本实施例中，所述基本特征匹配算法是基于几何特征信息(边缘、线、轮廓、兴趣点、角点和几何基元等)，针对几何特征点进行视差估计，先要提取图像的特征点，尽而利用这些特征点的视差值信息来重建三维空间场景；

匹配所需要的主要步骤：原始图像、构件图像尺寸、特征点提取、特征点描述、特征点定位和特征匹配，如果想得到稠密的视差图，需要采用插值的方法。

插值法又称"内插法"，是利用函数f(x)在某区间中插入若干点的函数值，作出适当的特定函数，在这些点上取已知值，在区间的其他点上用这特定函数的值作为函数f(x)的近似值，这种方法称为插值法。

插值法定义2:a＝x0<x1<…<xn＝b:取[a,b]上n+1个节点并给定在这些节点上的函数值f(xR)＝yR R＝0,1，…，n

如果函数Φ(x)满足条件

i)Φ(x)在[a,b]上连续

ii)Φ(xr)＝yR,R＝0,1，…，n

iii)Φ(x)zai每个小区间[xR,xR+1]是m次多项式，

R＝0,1，…，n-1则称Φ(x)为f(x)在[a,b]上的分段m次插值多项式。

本实施例中，所述红外图像匹配算法包括：

(1)分别对可见光图像和红外图像提取出最大稳定极值区域；

(2)分别对可见光图像和红外图像的最大稳定极值区域进行归一合并区域；

(3)建立FBP模型，使用二进制编码描述所述标准圆内的纹理信息；

(4)使用汉明距离匹配各区域的编码。

本发明的算法计算复杂度小，且利用了红外和梯度差综合算法保留边缘信息的特点，降低噪声干扰，提升图像分辨率，用平稳区域的视差值来估计非平稳区域的错误视差值，能有效降低立体匹配的误匹配率，提高视差图精度，尤其在边缘信息丰富的区域匹配性能更佳。

以上，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (5)

1.一种计算机视觉的立体匹配方法，其特征在于，包括以下步骤：

S1：区域相关匹配给定在一幅图像上的某一点，选取该像素点邻域内的一个子窗口，在另一幅图像中的一个区域内，根据某种相似性判断依据，寻找与子窗口图像最为相似的子图，而其匹配的子图中对应的像素点就为该像素的匹配点；

S2：荣誉计算消除通过网络计算输入立体图像对的初始匹配代价，同时利用“胜者为王”策略找出对应的视差值，生成初始视差图；

S3：将生成的初始视差图输入到红外图像匹配算法进行计算，通过采用EDP算法重构非平稳像素点匹配代价，最后通过WTA算法计算得到非平稳像素视差值并填充到孔洞视差图中，得到完整的结果视差图；

S4：红外匹配算法分别连接有基本约束条件、基于视差梯度的可变搜索范围区域相关匹配和基本特征算法进行辅助计算；

S5：基本特征算法将计算结果输入到基本相位匹配算法可匹配出相对应的三维模型；

S6：红外图像匹配算法将计算结果传输到Matlab环境下进行仿真实验研究；

S7：Matlab环境下仿真实验研究结果可以应用到移动机器人平台上进行实验探索；

S8：待移动机器人平台上的实验研究成熟后，可应用到生产线产品检测领域进行使用。

2.根据权利要求1所述的一种计算机视觉的立体匹配方法，其特征在于，所述基本约束条件包括相容性约束、唯一性约束、连续性约束和外极线约束。

3.根据权利要求1所述的一种计算机视觉的立体匹配方法，其特征在于，所述基本相位匹配算法根据摄像机成像模型，对摄像机进行内外部参数标定，再根据所标定的内外部参数得到立体像对基本矩阵，根据所得到的基本矩阵进行极线校正，通过双线性内插值法进行相位插值，得到经过极线校正后的相位图，通过模板匹配的方法，确定初始匹配点，再通过基于最小二乘的二次曲面拟合的方法在初始匹配点6×6邻域内进行亚像素级定位，进而得到亚像素级的匹配点。

4.根据权利要求1所述的一种计算机视觉的立体匹配方法，其特征在于，所述基本特征匹配算法是基于几何特征信息(边缘、线、轮廓、兴趣点、角点和几何基元等)，针对几何特征点进行视差估计，先要提取图像的特征点，尽而利用这些特征点的视差值信息来重建三维空间场景；

匹配所需要的主要步骤：原始图像、构件图像尺寸、特征点提取、特征点描述、特征点定位和特征匹配，如果想得到稠密的视差图，需要采用插值的方法。

5.根据权利要求1所述的一种计算机视觉的立体匹配方法，其特征在于，所述红外图像匹配算法包括：

(1)分别对可见光图像和红外图像提取出最大稳定极值区域；

(2)分别对可见光图像和红外图像的最大稳定极值区域进行归一合并区域；

(3)建立FBP模型，使用二进制编码描述所述标准圆内的纹理信息；

(4)使用汉明距离匹配各区域的编码。

Images