CN115661474A - 一种基于网格加速的图像特征点匹配方法 - Google Patents

Abstract

本发明提出了一种基于网格加速的图像特征点匹配方法，能够提高匹配的实时性和准确性。本发明使用改进的GMS算法对特征点进行提纯，在构建GMS网格时，通过四叉树分块化对图像进行处理，可以减少匹配时间；在统计过程中，通过运动平滑约束的统计特性剔除错误匹配点，由于更改了得分的计算方式，匹配效率得到提高。改进的GMS算法能够更高效地剔除错误匹配点，提高图像的匹配质量。

Description

一种基于网格加速的图像特征点匹配方法

技术领域

本发明涉及图像识别技术领域，具体涉及一种基于网格加速的图像特征点匹配方法。

背景技术

随着计算机视觉的兴起，图像匹配作为图像处理的基础，相应地受到了重视。图像匹配，是在一张待测的目标图像中寻找与模板图像相似的图像区域的过程。现有的图像匹配算法大致分为以下几类：第一类是基于灰度的匹配算法，该类算法从图像像素点的灰度入手，计算图像间的相似性，从而完成匹配；第二类是基于变换域的匹配算法，该类算法通过傅里叶等变换将空域操作转移到频域上来，利用频域中的相位信息计算空域中的位移信息，从而实现匹配；第三类是基于特征的匹配算法，该类算法通常提取图像中的特征信息，通过特征的相似程度完成图像的匹配。

基于灰度的匹配算法以互相关法为代表，缺点是计算量大，匹配速度慢。基于变换域的匹配算法，即相位相关法，使用傅里叶变换或小波变换将空域信息变换到频域中进行处理，该类算法对于存在平移情况的图像，匹配的精度和速度得到了一定提高，而对于存在旋转和缩放情况的图像，却需付出巨大的计算量。基于特征的匹配算法是近年来应用较多的算法，经典的基于特征的匹配算法包括SIFT算法、SURF算法、ORB算法等。实际应用中，现有的算法存在匹配的实时性差、匹配结果中错误匹配多的问题。

发明内容

有鉴于此，本发明提出了一种基于网格加速的图像特征点匹配方法，能够提高匹配的实时性和准确性。

为实现上述目的，本发明的一种基于网格加速的图像特征点匹配方法，包括如下步骤：

对输入的两幅图像进行特征点检测；对特征点进行描述；获得特征点描述子后，利用基于汉明距离的暴力匹配算法进行粗匹配，得到粗匹配结果；使用改进的GMS算法对粗匹配结果进一步筛选提纯；所述改进的GMS算法步骤如下：

设定四叉树的最大划分深度n和各图像网格匹配点的阈值ε，对两幅图像进行四叉树划分处理，划分规则为：如果图像中某网格的匹配点数大于阈值ε，则对该网格进行四叉树划分，否则不进行划分，当达到四叉树的最大划分深度或者图像中所有网格的匹配点数量小于阈值ε时，停止划分；

对各网格内位于边缘的特征点进行处理，使得特征点正确匹配和错误匹配的区分度增大；当特征点的得分大于阈值S_T时，判定为正确匹配，否则为错误匹配，S_T的计算公式为S_T＝βM，其中，β是权重因子，β∝k，k为四叉树的层次数，k≤n；M是特征点的均值；

通过运动平滑约束的统计特性剔除错误匹配点。

其中，对各网格内位于边缘的特征点进行处理的具体做法为：引入自适应算法，计算网格的边缘距离d，将网格扩大，使得边缘上的支持点分配到周围多个邻域网格；其中网格边缘距离d的计算公式如下：

其中，d是最佳的网格边缘距离；L是图像的长或宽，在长度和宽度方面做相应的扩展；G是所有网格的个数；α∈[0,1]为权重因子，α∝k。

其中，对输入的两幅图像进行特征点检测时，使用oFast算法检测图像中的特征点，具体检测的流程为：以待检测点为圆心，以3个像素为半径，构建离散的16个像素点连接的圆形邻域；对16个像素点进行标号，设定阈值t，先判断1和9号位置像素点的灰度Ln是否均满足条件Ln<Lp-t，如果不满足，排除此像素点，如果满足则执行下一步；满足上述条件后，判断5和13号位置像素点的灰度Ln是否均满足条件Ln<Lp–t，如果不满足，排除此像素点，如果满足则执行下一步；使用ID3训练决策树，筛选最优特征点，并判断16个点中是否有12个及以上的连续像素点满足条件，如果不满足则排除此像素点；使用非极大值抑制法去除局部比较密集的特征点；构建图像金字塔，对图像进行下采样，对不同层级的图像分别进行Fast特征点检测，所有点的集合构成oFast特征点，实现特征检测的尺度不变性；计算ORB特征的方向，使用矩法查找当前特征点的半径为r的圆形邻域的质心，以待检测点指向其圆形邻域质心的方向作为该特征点的方向。

其中，使用基于Brief算法添加旋转因子得到的rBrief描述子进行特征描述，具体描述方式为：rBrief算法在Brief算法的基础上，通过使用机器学习的方法代替二维高斯分布的方法选择256个点对，将256个点对乘上通过特征点主方向计算得到的旋转矩阵，从而使特征点的主方向作为X轴，实现特征描述的旋转不变性。

其中，利用基于汉明距离的暴力匹配算法进行粗匹配时，在暴力匹配中引入交叉验证剔除误匹配。

有益效果：

1、本发明使用改进的GMS算法对特征点进行提纯，在构建GMS网格时，通过四叉树分块化对图像进行处理，可以减少匹配时间；在统计过程中，通过运动平滑约束的统计特性剔除错误匹配点，由于更改了得分的计算方式，匹配效率得到提高。改进的GMS算法能够更高效地剔除错误匹配点，提高图像的匹配质量。

2、本发明使用改进的GMS算法中通过自适应算法，引入网格边缘距离对网格边缘附近的特征点进行处理，使得这些特征点可以发挥对正确匹配点的支持作用，提高正确匹配点的得分。

3、本发明中对输入的两幅图像进行特征点检测时，使用oFast算法检测图像中的特征点，具体是对不同层级的图像分别进行Fast特征点检测，所有点的集合构成oFast特征点，实现特征检测的尺度不变性。

4、本发明中对特征点进行描述时，使用基于Brief算法添加旋转因子得到的rBrief描述子进行特征描述。rBrief算法在Brief算法的基础上，通过使用机器学习的方法代替二维高斯分布的方法选择256个点对，将256个点对乘上通过特征点主方向计算得到的旋转矩阵，从而使特征点的主方向作为X轴，实现特征描述的旋转不变性。

附图说明

图1为本发明图像特征点匹配过程的示意图。

图2为本发明图像网格划分及边缘扩展示意图。

具体实施方式

下面结合附图并举实施例，对本发明进行详细描述。

本发明提出了一种基于网格加速的图像特征点匹配方法，能够提高图像匹配的效率与准确率，图像特征点匹配过程如图1所示，包括如下步骤：

步骤S1：对输入的两幅图像进行特征点检测，本实施例中使用oFast算法检测图像中的特征点，具体检测的流程为：以待检测点为圆心，以3个像素为半径，构建离散的16个像素点连接的圆形邻域；对16个像素点进行标号，设定阈值t，先判断1和9号位置像素点的灰度Ln是否均满足条件Ln<Lp-t，如果不满足，排除此像素点，如果满足则执行下一步；满足上述条件后，判断5和13号位置像素点的灰度Ln是否均满足条件Ln<Lp–t，如果不满足，排除此像素点，如果满足则执行下一步；使用ID3训练决策树，筛选最优特征点，并判断16个点中是否有12个及以上的连续像素点满足条件，如果不满足则排除此像素点；使用非极大值抑制法去除局部比较密集的特征点；构建图像金字塔，对图像进行下采样，对不同层级的图像分别进行Fast特征点检测，所有点的集合构成oFast特征点，实现特征检测的尺度不变性；计算ORB特征的方向，使用矩法查找当前特征点的半径为r的圆形邻域的质心，以待检测点指向其圆形邻域质心的方向作为该特征点的方向。

步骤S2：对特征点进行描述，本实施例中使用基于Brief算法添加旋转因子得到的rBrief描述子进行特征描述，具体描述方式为：rBrief算法在Brief算法的基础上，通过使用机器学习的方法代替二维高斯分布的方法选择256个点对，将256个点对乘上通过特征点主方向计算得到的旋转矩阵，从而使特征点的主方向作为X轴，实现特征描述的旋转不变性。

步骤S3：获得特征点描述子后，利用基于汉明距离的暴力匹配算法进行粗匹配，得到粗匹配结果。进一步地，由于暴力匹配无法剔除误匹配，可以在暴力匹配中引入交叉验证剔除误匹配。

步骤S4：通常，GMS通过设定固定的网格数，统计每一对匹配点邻域内的匹配总数，对正确匹配和错误匹配进行区分。本发明使用改进的GMS算法对粗匹配结果进一步筛选提纯。所述改进的GMS算法步骤如下：

1)设定四叉树的最大划分深度为n、各图像网格匹配点的阈值为ε，对两幅图像进行四叉树划分处理。划分规则为：如果图像中某网格的匹配点数大于阈值ε，则对该网格进行四叉树划分，否则不进行划分。当达到四叉树的最大划分深度或者图像中所有网格的匹配点数量小于阈值ε时，停止划分。

2)对各网格内位于边缘的特征点进行有效处理，使得特征点正确匹配和错误匹配的区分度增大。具体做法为：引入自适应算法，计算网格的边缘距离d，将网格扩大，使得边缘上的支持点分配到周围多个邻域网格。计算特征点Xi的得分Si时，不需像原始GMS算法一样统计特征点Xi所在网格和周围8个邻域网格中的支持点，只统计本网格中的支持点个数即可。网格边缘距离d的计算公式如下：

其中，d是最佳的网格边缘距离；L是图像的长或宽，在长度和宽度方面做相应的扩展；G是所有网格的个数；α∈[0,1]为权重因子，α∝k，k为四叉树的层次数，k≤n，即层次数越大，权重因子越大，网格扩展的比例越大，从而使得正确的匹配对拥有更多的支持点。图像网格划分及边缘扩展的示意图如图2所示。

3)当特征点的得分大于阈值S_T时，判定为正确匹配，否则为错误匹配。S_T的计算公式如下：

S_T＝βM

其中，β是权重因子，β∝k，k为四叉树的层次数，k≤n，即层次数越大，权重因子越大；M是特征点的均值。

综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于网格加速的图像特征点匹配方法，其特征在于，包括如下步骤：

对输入的两幅图像进行特征点检测；对特征点进行描述；获得特征点描述子后，利用基于汉明距离的暴力匹配算法进行粗匹配，得到粗匹配结果；使用改进的GMS算法对粗匹配结果进一步筛选提纯；所述改进的GMS算法步骤如下：

设定四叉树的最大划分深度n和各图像网格匹配点的阈值ε，对两幅图像进行四叉树划分处理，划分规则为：如果图像中某网格的匹配点数大于阈值ε，则对该网格进行四叉树划分，否则不进行划分，当达到四叉树的最大划分深度或者图像中所有网格的匹配点数量小于阈值ε时，停止划分；

对各网格内位于边缘的特征点进行处理，使得特征点正确匹配和错误匹配的区分度增大；当特征点的得分大于阈值S_T时，判定为正确匹配，否则为错误匹配，S_T的计算公式为S_T＝βM，其中，β是权重因子，β∝k，k为四叉树的层次数，k≤n；M是特征点的均值；

通过运动平滑约束的统计特性剔除错误匹配点。

2.如权利要求1所述的方法，其特征在于，对各网格内位于边缘的特征点进行处理的具体做法为：引入自适应算法，计算网格的边缘距离d，将网格扩大，使得边缘上的支持点分配到周围多个邻域网格；其中网格边缘距离d的计算公式如下：

其中，d是最佳的网格边缘距离；L是图像的长或宽，在长度和宽度方面做相应的扩展；G是所有网格的个数；α∈[0,1]为权重因子，α∝k。

3.如权利要求1或2所述的方法，其特征在于，对输入的两幅图像进行特征点检测时，使用oFast算法检测图像中的特征点，具体检测的流程为：以待检测点为圆心，以3个像素为半径，构建离散的16个像素点连接的圆形邻域；对16个像素点进行标号，设定阈值t，先判断1和9号位置像素点的灰度Ln是否均满足条件Ln<Lp-t，如果不满足，排除此像素点，如果满足则执行下一步；满足上述条件后，判断5和13号位置像素点的灰度Ln是否均满足条件Ln<Lp–t，如果不满足，排除此像素点，如果满足则执行下一步；使用ID3训练决策树，筛选最优特征点，并判断16个点中是否有12个及以上的连续像素点满足条件，如果不满足则排除此像素点；使用非极大值抑制法去除局部比较密集的特征点；构建图像金字塔，对图像进行下采样，对不同层级的图像分别进行Fast特征点检测，所有点的集合构成oFast特征点，实现特征检测的尺度不变性；计算ORB特征的方向，使用矩法查找当前特征点的半径为r的圆形邻域的质心，以待检测点指向其圆形邻域质心的方向作为该特征点的方向。

4.如权利要求1或2所述的方法，其特征在于，使用基于Brief算法添加旋转因子得到的rBrief描述子进行特征描述，具体描述方式为：rBrief算法在Brief算法的基础上，通过使用机器学习的方法代替二维高斯分布的方法选择256个点对，将256个点对乘上通过特征点主方向计算得到的旋转矩阵，从而使特征点的主方向作为X轴，实现特征描述的旋转不变性。

5.如权利要求1或2所述的方法，其特征在于，利用基于汉明距离的暴力匹配算法进行粗匹配时，在暴力匹配中引入交叉验证剔除误匹配。

Images