CN110675437B - 一种基于改进gms-orb特征的图像匹配方法及存储介质 - Google Patents

Abstract

本发明请求保护一种基于改进GMS‑ORB特征的图像匹配方法，其包括以下步骤：S1使用Fast方法对原图像与待配准图像的特征点进行粗提取，获得大量特征点；S2利用机器学习方法筛选最优Fast特征点；S3构建高斯金字塔实现特征点的尺度不变性；S4使用灰度质心法实现特征点的旋转不变性；S5使用BRIEF算法对Fast角点提取出来的特征点进行描述，利用基于汉明距离的暴力匹配算法进行特征点粗匹配；S6使用改进的GMS算法对粗匹配进行提纯，剔除错误匹配，完成图像配准。本方法结合四叉树与GMS算法利用四叉树控制GMS生成网格数量，缩短匹配时间，有针对性划分网格提高了配准精度。

Description

一种基于改进GMS-ORB特征的图像匹配方法及存储介质

技术领域

本发明属于图像处理技术领域，特别涉及ORB特征提取方法，GMS特征点提 纯方法以及四叉树分割三种方法的结合。

背景技术

图像是人们对自身以及世界认知的重要源泉，随着计算机视觉的兴起， 图像匹配技术作为图像处理的基础越来越受到人们的重视。目前国内外诸多著 名学者都致力于图像匹配算法的研究,图像匹配方法主要有以下3类，第一类是 基于灰度区域的图像匹配算法，该类算法主要操作图像像素点的灰度，通过计 算图像几何子区域之间的相关性来进行匹配，从而完成匹配；第二类是基于变 换域的图像匹配算法，该类算法通过傅里叶等变换将空域上的操作转移到频域 上，利用频域中图像的相位信息关系计算其空域中的位移信息，从而实现匹配； 第三类是基于特征信息的图像匹配算法，该类算法通常提取图像中的特征信息， 将图像匹配问题转化为特征的匹配问题。

基于灰度区域的图像匹配算法主要1982年Rosenfeld等人提出了互相关 法，缺点是计算量大、匹配速度慢；Anuta提出了一种利用快速傅里叶变换进行 互相关图像检测的方法，提高了匹配的计算速度但精度低，受噪声影响较大。 基于变换域的图像匹配算法采用傅立叶变换或者小波变换将空间域图像信息变 换到频率域中，最常用的是傅立叶变换，即相位相关法。基于相位相关法的图 像拼接算法对光照变化和噪声干扰具有较好的鲁棒性，图像匹配和拼接的精度 和效率都得到了提高。但相位相关法的缺陷也是比较明显的，传统的相位相关 法仅适用于平移图像，经改进后可以应用于存在旋转和缩放情况的图像，却又 付出了巨大计算量的代价，且依然无法解决投影变换问题。基于特征信息的图 像匹配算法是近年来图像处理领域的热点之一。比较经典的算法有SIFT算法， Harris特征点算法。

以上提出的图像匹配算法存在关键确定是匹配时间过长不能达到实时匹 配要求，匹配结果中错误匹配较多，需要一种新的算法对粗匹配进行提纯。因 此提出一种基于改进GMS-ORB特征的图像匹配方法。

发明内容

本发明旨在解决以上现有技术的问题。提出了一种能够缩短图像匹配时间并 且提高匹配精准度的基于改进GMS-ORB特征的图像匹配方法。本发明的技术方 案如下：

一种基于改进GMS-ORB特征的图像匹配方法，其包括以下步骤：

S1、使用Fast方法分别对原图像与待配准图像的特征点进行粗提取，获得 特征点；

S2、利用机器学习方法对步骤S1的特征点进行筛选得出最优Fast特征点；

S3、构建高斯金字塔使得步骤S2中检测出的特征点具有尺度不变性；

S4、使用灰度质心法使得步骤S2检测出的特征点具有旋转不变性；

S5、使用二元健壮独立基础特征算法对经过步骤S4灰度质心法限定的特征 点进行描述，利用基于汉明距离的暴力匹配算法进行特征点粗匹配；

S6使用改进的GMS算法对粗匹配进行提纯，改进主要在引入四叉树结合 GMS算法剔除错误匹配，完成图像配准。

进一步的，所述步骤S1使用Fast对原图像与待配准图像的特征点进行粗提 取，具体包括：从原图像中选取一点P，以P为圆心画一个半径为3像素的圆， 圆周上如果有连续n个像素点的灰度值比P点的灰度值大或者小，则认为P为 特征点，n设置为12，首先同时检查1、9、5、13位置上的灰度值，如果P是 特征点，那么这四个位置上有3个或3个以上的像素值都大于或小于P点的灰 度值，如果不满足则排除此点。

进一步的，所述步骤S2使用机器学习方法中的ID3算法递归地构建决策树， 计算信息增益最大的特征点作为最优特征点，训练一个决策树将特征点圆周上 的16个像素输入决策树中，以此来筛选出最优的Fast特征点。

进一步的，所述步骤S3构建高斯金字塔使得步骤S2的最优Fast特征点具有 尺度不变性具体包括：建立高斯金字塔，设置一个比例因子scaleFactor和金字 塔的层数nlevels，将原图像按比例因子缩小成nlevels幅图像，缩放后的图像为:

I′＝I/scaleFactor

I表示原图像，I′为缩放后图像，scaleFactor在opencv中默认1.2，nlevels幅不同比例的图像提取特征点总和作为这幅图像的Fast特征点。

进一步的，所述步骤S4使用灰度质心法实现特征点的旋转不变性具体包括： 以P为关键点建立5×5像素矩形。以P为圆心做矩形内切圆，圆内为取点区域， 把这块圆心区域看做一块木板，木板上每个点的质量等于其对应的像素值，根 据积分学的知识求出这个密度不均匀木板的质心Q，计算公式如下，其中R为 圆的半径。

可以求出质心：

角点坐标为P,向量的角度即为该特征点的方向，计算公式如下:

进一步的，所述步骤S5使用BRIEF算法对Fast角点提取出来的特征点进 行描述具体包括：利用基于汉明距离的暴力匹配算法进行特征点粗匹配，ORB 特征提取算法根据其特性采用31×31像素领域进行BRIEF描述，并采用5×5 的二进制测试窗口对特征点采样对进行积分图像计算；

二元测试τ定义为：

在31×31的临域范围内按照高斯分布选择n对随机点对，点对之间的配 对也是随机配对，生成的n维的BRIEF二进制描述向量定义为:

其中，n一般取值选择为128，256；

由BRIEF算法生成的特征描述是不具备旋转不变性的，针对旋转性问题， ORB算法将采样点旋转角度θ(主方向与x轴夹角)，使描述向量具有旋转不 变性；

定义一个2×n的矩阵：

使用特征点方向θ对应的旋转矩阵R，则有S_θ＝RS描述子表示为:

g_n(p,θ)＝f_n(p)|(x_i,y_i)∈S_θ

在获取特征描述子后，设定阈值，当A和B描述子相似度大于阈值则判 定A,B为相同特征点，即2个点匹配成功。

进一步的，所述步骤S6使用改进的GMS算法对粗匹配进行提纯，具体包括：

步骤1、设定一个四叉树的最大划分深度d，然后设定每个分块内部匹配点的 阈值ε，如果当前图像块内部匹配点数大于阈值ε,就对当前块进行四叉树划分， 否则就不再划分；认定当前块已经划分完成，直到所有图像块内部匹配点数量 小于阈值ε或者该分块对应的四叉树深度达到最大划分深度停止划分；

步骤2、对两幅图像进行四叉树分块处理，即将图像I_a和图像I_b划分为多个 网格块集合{A,B}，其中A＝{a₁,a₂...a_i...a_M}，B＝{b₁,b₂...b_j...b_M}，a_i表示I_a中第i个网 格块，b_j表示I_b中第j个网格块；通过统计当前网格相邻的四个网格特征分数， 将这5个网格特征分数之和称为五宫格特征分数S，定义公式如下:

式中S_i,j是第i个网格所在的五宫格中第J个网格特征分数；

步骤3、当网格特征分数S_i大于网格特征分数阈值S_T时，判定{f_ai,f_bi}为正确 匹配，反之，为错误匹配；网格特征分数阈值S_T计算公式为:

S_T＝μln(αM_i+β)

式中μ，α，β为阈值系数，μ系数针对网格内正确匹配较少且错误匹配 较多的情况，一般设置比较大，α系数是特征数量均值的权重，一般设置接 近于1，而β是针对以e为底的对数函数输入较小的情况，一般设置比较小。

一种存储介质，该存储介质内部存储计算机程序，所述计算机程序被处理 器读取时，执行上述权利要求1～7任一项的方法。

本发明的优点及有益效果如下：

本发明创新在于步骤S6针对传统ORB特征提取算法特征点提纯过程中使 用随机抽样一致性进行检验提纯，本发明使用改进的GMS算法进行提纯特征点， 在构建GMS网格时引入四叉树对图像进行分块化，进一步减少了匹配时间，同 时在考虑网格特征分数时利用对称性，减少选取领域网格数量优化了算法的时 间复杂度。通过对指定块内特征点使用GMS算法提高了匹配精准度。对比传统 的随机抽样一致性算法，本发明运算时间短，在实时场景特征提取时效果明显， 在配准度方面本发明对比传统ORB特征提取算法精确度有了明显提高，在图形 拼接过程中使用本方法能够有效减少因配准度不够导致图像拼接出现鬼影的情 况。

附图说明

图1是本发明提供优选实施例基于改进GMS-ORB特征的图像匹配方法的流程示 意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、 详细地描述。所描述的实施例仅仅是本发明的一部分实施例。

本发明解决上述技术问题的技术方案是：

如图1所示，本发明的实现流程包括如下：

步骤S1：输入2幅图像使用Fast对原图像与待匹配图像的特征点进行粗 提取，从图像中选取一点P，以P为圆心画一个半径为3pixel的圆。圆周上如 果有连续n个像素点的灰度值比P点的灰度值大或者小，则认为P为特征点。N 设置为12，首先检查1,9,5,13位置上的灰度值，如果P是特征点，那么这四个 位置上有3个或3个以上的像素值都大于或小于P点的灰度值。如果不满足则 排除此点。

步骤S2：使用机器学习方法中的ID3算法训练一个决策树将特征点圆周上 的16个像素输入决策树中，以此来筛选出最优的Fast特征点。

步骤S3：建立高斯金字塔设置一个比例因子scaleFactor和金字塔的层数nlevels，将原图像按比例因子缩小成nlevels幅图像，缩放后的图像为:

I′＝I/scaleFactork(k＝1,2...,nlevels)

nlevels幅不同比例的图像提取特征点总和作为这幅图像的Fast特征点。

步骤S4：使用灰度质心法实现特征点的旋转不变性具体包括使用矩法来确 定Fast特征点的方向，通过矩来计算特征点以r为半径范围内的质心，特征点 坐标到质心形成一个向量作为该特征点的方向，矩定义如下:

其中，I(x,y)为图像灰度表达式。该矩的质心为:

角点坐标为O,向量的角度即为该特征点的方向，计算公式如下:

步骤S5：使用BRIEF算法对Fast角点提取出来的特征点进行描述，利用 基于汉明距离的暴力匹配算法进行特征点粗匹配,ORB根据其特性采用31×31像 素领域进行BRIEF描述，并采用5×5的二进制测试窗口对特征点采样对进行积 分图像计算。

二元测试τ定义为：

在31×31的领域范围内按照高斯分布选择n对随机点对，点对之间的配对也是 随机配对，生成的n维的BRIEF二进制描述向量定义为:

其中，n一般取值选择为128，256。由BRIEF算法生成的特征描述是不具备旋 转不变性的，针对旋转性问题，ORB算法将采样点旋转角度θ(主方向与x轴夹 角)，使描述向量具有旋转不变性。

定义一个2×n的矩阵：

使用特征点方向θ对应的旋转矩阵R，则有Sθ＝RS描述子表示为:

g_n(p,θ)＝f_n(p)|(x_i,y_i)∈S_θ

在获取特征描述子后，设定阈值，当A和B描述子相似度大于阈值则判定A,B 为相同特征点，即2个点匹配成功。

步骤S6：使用改进的GMS算法对粗匹配进行提纯，GMS算法通过论证得出 正确匹配的相邻区域中存在若干匹配对其进行支撑，由于错误匹配是随机发生 的，其周围领域内很难找到匹配对其进行支撑。GMS算法通过粗匹配点集{Fa,Fb} 相邻的像素区域中统计符合匹配关系数量来区分正确匹配和错误匹配。改进的GMS算法步骤如下：

Part1

设定一个四叉树的最大划分深度d，然后设定每个分块内部匹配点的阈值ε，如 果当前图像块内部匹配点数大于阈值ε,就对当前块进行四叉树划分，否则就不 再划分。认定当前块已经划分完成。直到所有图像块内部匹配点数量小于阈值 ε或者该分块对应的四叉树深度达到最大划分深度停止划分。

Part2

对两幅图像进行Part1四叉树分块处理，即将图像I_a和图像I_b划分为多个网格 块集合{A,B}，其中A＝{a₁,a₂...a_i...a_M}，B＝{b₁,b₂...b_j...b_M}，a_i表示I_a中第i个网 格块，b_j表示I_b中第j个网格块。通过统计当前网格相邻的四个网格特征分数， 将这5个网格特征分数之和称为五宫格特征分数S，定义公式如下:

式中S_i,j是第i个网格所在的五宫格中第J个网格特征分数。

Part3

当网格特征分数S_i大于网格特征分数阈值S_T时，判定{f_ai,f_bi}为正确匹配，反 之，为错误匹配。网格特征分数阈值S_T计算公式为:

S_T＝μln(αM_i+β)

式中μ，α，β为阈值系数，μ系数针对网格内正确匹配较少且错误匹配较多 的情况，一般设置比较大，α系数是特征数量均值的权重，一般设置接近于1， 而β是针对以e为底的对数函数输入较小的情况，一般设置比较小。

为评估本算法的性能，本发明采用3组公开数据集图像进行实验测试，本 实验主要采用匹配正确率作为评价指标。实验结果如表一：

匹配准确率

算法	图像1	图像2	图像3
				ORB+RANSAC	93.12	95.61	93.18
本文算法	95.63	98.14	98.14

以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范 围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或 修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。

Claims (7)

1.一种基于改进GMS-ORB特征的图像匹配方法，其特征在于，包括以下步骤：

S1、使用Fast方法分别对原图像与待配准图像的特征点进行粗提取，获得特征点；

S2、利用机器学习方法对步骤S1的特征点进行筛选得出最优Fast特征点；

S3、构建高斯金字塔使得步骤S2中检测出的特征点具有尺度不变性；

S4、使用灰度质心法使得步骤S2检测出的特征点具有旋转不变性；

S5、使用二元健壮独立基础特征算法对经过步骤S4灰度质心法限定的特征点进行描述，利用基于汉明距离的暴力匹配算法进行特征点粗匹配；

S6使用改进的GMS算法对粗匹配进行提纯，改进在于引入四叉树结合GMS算法剔除错误匹配，完成图像配准；

所述步骤S6使用改进的GMS算法对粗匹配进行提纯，具体包括：

步骤1、设定一个四叉树的最大划分深度d，然后设定每个分块内部匹配点的阈值ε，如果当前图像块内部匹配点数大于阈值ε,就对当前块进行四叉树划分，否则就不再划分；认定当前块已经划分完成，直到所有图像块内部匹配点数量小于阈值ε或者该分块对应的四叉树深度达到最大划分深度停止划分；

步骤2、对两幅图像进行四叉树分块处理，即将图像I_a和图像I_b划分为多个网格块集合{A,B}，其中A＝{a₁,a₂...a_i...a_M}，B＝{b₁,b₂...b_j...b_M}，a_i表示I_a中第i个网格块，b_j表示I_b中第j个网格块；通过统计当前网格相邻的四个网格特征分数，将这5个网格特征分数之和称为五宫格特征分数S_i，定义公式如下:

式中S_i,j是第i个网格所在的五宫格中第j个网格特征分数；

步骤3、当网格特征分数S_i大于网格特征分数阈值S_T时，判定{f_ai,f_bi}为正确匹配，反之，为错误匹配；网格特征分数阈值S_T计算公式为:

S_T＝μln(αM_i+β)

式中μ，α，β为阈值系数。

2.根据权利要求1所述的一种基于改进GMS-ORB特征的图像匹配方法，其特征在于，所述步骤S1使用Fast对原图像与待配准图像的特征点进行粗提取，具体包括：从原图像中选取一点P，以P为圆心画一个半径为3像素的圆，圆周上如果有连续n个像素点的灰度值比P点的灰度值大或者小，则认为P为特征点，n设置为12；或者，首先同时检查1、9、5、13位置上的灰度值，那么这四个位置上有3个或3个以上的像素值都大于或小于P点的灰度值，如果不满足则排除此点。

3.根据权利要求2所述的一种基于改进GMS-ORB特征的图像匹配方法，其特征在于，所述步骤S2使用机器学习方法中的ID3算法递归地构建决策树，计算信息增益最大的特征点作为最优特征点，训练一个决策树将特征点圆周上的16个像素输入决策树中，以此来筛选出最优的Fast特征点。

4.根据权利要求2所述的一种基于改进GMS-ORB特征的图像匹配方法，其特征在于，所述步骤S3构建高斯金字塔使得步骤S2的最优Fast特征点具有尺度不变性具体包括：建立高斯金字塔，设置一个比例因子scaleFactor和金字塔的层数nlevels，将原图像按比例因子缩小成nlevels幅图像，缩放后的图像为:

I′＝I/scaleFactor

I表示原图像，I′为缩放后图像，scaleFactor在opencv中默认1.2，nlevels幅不同比例的图像提取特征点总和作为这幅图像的Fast特征点。

5.根据权利要求4所述的一种基于改进GMS-ORB特征的图像匹配方法，其特征在于，所述步骤S4使用灰度质心法实现特征点的旋转不变性具体包括：以P为关键点建立5×5像素矩形，以P为圆心做矩形内切圆，圆内为取点区域，把这块圆心区域看做一块木板，木板上每个点的质量等于其对应的像素值，根据积分学的知识求出这个密度不均匀木板的质心Q，计算公式如下，其中R为圆的半径；

可以求出质心：

角点坐标为P,向量的角度即为该特征点的方向，计算公式如下:

6.根据权利要求5所述的一种基于改进GMS-ORB特征的图像匹配方法，其特征在于，所述步骤S5使用BRIEF算法对Fast角点提取出来的特征点进行描述具体包括：利用基于汉明距离的暴力匹配算法进行特征点粗匹配，ORB特征提取算法根据其特性采用31×31像素领域进行BRIEF描述，并采用5×5的二进制测试窗口对特征点采样对进行积分图像计算；

二进制测试τ定义为：

在31×31的邻域范围内按照高斯分布选择n对随机点对，点对之间的配对也是随机配对，生成的n维的BRIEF二进制描述向量定义为:

其中，n一般取值选择为128，256；

定义一个2×n的矩阵：

使用特征点方向θ对应的旋转矩阵R，则有S_θ＝RS描述子表示为:

g_n(p,θ)＝f_n(p)|(x_i,y_i)∈S_θ

在获取特征描述子后，设定阈值，当2个特征点的描述子相似度大于阈值则判定为相同特征点，即2个点匹配成功。

7.一种存储介质，该存储介质内部存储计算机程序，其特征在于，所述计算机程序被处理器读取时，执行上述权利要求1～6任一项的方法。

Images