CN115861640A - 一种基于orb和surf特征的快速图像匹配方法 - Google Patents

一种基于orb和surf特征的快速图像匹配方法 Download PDF

Info

Publication number
CN115861640A
CN115861640A CN202211299594.1A CN202211299594A CN115861640A CN 115861640 A CN115861640 A CN 115861640A CN 202211299594 A CN202211299594 A CN 202211299594A CN 115861640 A CN115861640 A CN 115861640A
Authority
CN
China
Prior art keywords
image
matching
feature
point
points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211299594.1A
Other languages
English (en)
Inventor
朱志浩
鹿志旭
高直
张春富
周天池
阚加荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yancheng Institute of Technology
Original Assignee
Yancheng Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yancheng Institute of Technology filed Critical Yancheng Institute of Technology
Priority to CN202211299594.1A priority Critical patent/CN115861640A/zh
Publication of CN115861640A publication Critical patent/CN115861640A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

本发明涉及图像处理领域，特别是指一种基于ORB和SURF特征的快速图像匹配方法。该方法包括：输入图像一和图像二；通过ORB分别检测所述图像一和图像二中的特征点；通过SURF特征对上述检测出的角点信息添加方向信息并进行特征描述；将所述图像一的特征描述符和图像二的特征描述符，根据FLANN匹配和双向匹配完成初始粗匹配；根据PROSAC算法消除所述粗匹配中的误匹配；生成所述图像一和图像二中特征点的匹配关系。能够有效提高图像匹配技术的精准度和速度，同时降低误匹配点的产生。

Description

一种基于ORB和SURF特征的快速图像匹配方法
技术领域
本发明涉及图像处理领域，特别是指一种基于ORB和SURF特征的快速图像匹配方法。
背景技术
随着科技的进步，图像匹配技术是当下计算机视觉中的研究重点之一。图像匹配是计算机视觉领域中图像处理应用的关键技术，被广泛应用在医学图像分析、飞机导航、目标识别与跟踪等领域。因此，对于图像匹配技术的研究具有重要的理论意义和实用价值。
图像匹配技术的关键问题主要在于精准性和速度，常见的图像匹配方法主要为基于灰度信息和基于特征信息两类，前者通过对图像的像素区域遍历以此达到匹配目的，计算量大且易受噪声影响；后者通过分析图像的特征信息进行匹配，计算量小且精准度高，且其在不同环境的影响下都具有更好的性能，因此基于特征信息的图像匹配方法得到了更为广泛的应用。
图像特征匹配通常包括特征检测、特征提取和特征描述符生成及匹配三部分构成。迄今为止，学者们提出了很多基于特征信息的图像匹配算法，David Lowe提出了尺度不变特征变化(SIFT)算法，在光照、旋转、尺度等影响下具有较好的不变性，但算法复杂导致匹配速度慢，降低匹配实时性。Bay等在SIFT算法的基础上优化提出了加速鲁棒特征(SURF)算法，通过引入积分图像极大提高了算法的实时性，但匹配点数下降。Rublee等[10]提出了ORB算法，该算法通过改进FAST算法提高特征检测速度，采用rBRIEF二进制描述符特征描述符，匹配速度得到了很大提高。在图像特征匹配方面，也有着越来越多的研究，Brute Force匹配是一种常见的图像特征匹配方法，通过对一个图像选取一个特征点，然后对待匹配图像的特征点进行遍历，根据每组数据间的距离大小，选取最佳匹配。Fischler在1981年提出RANSAC算法，RANSAC算法的基本思想是利用迭代方法从包含诸多内点和外点的数据集中寻求更多包含支持内点更优的模型参数，再用模型的余集检验抽取的样本，从而有效的消除异常值。
其中：ORB算法是在FAST和BRIEF算法的基础上做了改进和优化的结合体，加快了计算速度上，但往往忽略其图像匹配的精准性，影响最终的匹配效果。在面对高维特征问题上，Brute Force匹配无法得到较好的匹配效果，且该算法是尝试所有的可能匹配，算法时间过长，所以易产生误匹配情况，需要对匹配结果进行提纯，提高匹配正确率。在消除误匹配过程中，RANSAC算法在获取模型参数时，随机抽取特征匹配点对，但特征匹配点对中匹配点对有优劣之分，如果抽取相似度较差的匹配点对，不仅浪费时间且效果欠佳。
因此，针对上述问题，如何提供一种精准度高且运行时间少的解决方法，是我们需要解决的问题。
发明内容
鉴于上述问题，本发明提供一种基于ORB和SURF特征的图像匹配方法，该方法能够提高图像匹配的精准性和速度，同时减少错误匹配，保留更高质量的特征点。
第一方面，本发明提供一种基于ORB和SURF特征的图像匹配方法，包括：
步骤1.输入图像一和图像二；
步骤2.通过ORB分别检测所述图像一和图像二中的特征点；
步骤3.通过SURF特征对上述检测出的角点信息添加方向信息并进行特征描述；
步骤4.将所述图像一的特征描述符和图像二的特征描述符，根据FLANN匹配和双向匹配完成初始粗匹配；
步骤5.根据PROSAC算法消除所述粗匹配中的误匹配，实现更近一步的精匹配，
步骤6.生成所述图像一和图像二的图像匹配关系。
在一个实施例中，输入图像一和图像二后，所述方法还包括，对图像一和图像二进行预处理，预处理包括图像灰度化和滤波处理，再进行归一化处理。
在一个实施例中，通过ORB分别检测所述图像一和图像二的特征点，包括：
以待测点P为圆心，利用ORB中的FAST算法检测特征点，通过比较像素点与其周围邻域其他像素点的灰度值大小来判断是否为角点。FAST特征点检测过程如下：
(1)选取像素点P，设该点的灰度值为Q；
(2)以该像素点为圆心，考虑半径为3的圆周内的16个像素点，若有n(一般取9或12)个连续像素点的灰度值大于或小于Q，则P为角点。
在一个实施例中，通过SURF特征对上述检测出的角点信息添加方向信息并进行特征描述包括，一，对检测出的角点信息添加方向信息；二，建立描述符，确定主方向后，选取20s×20s的区域，并分成4×4的子区域，通过计算产生64维的向量作为描述符。
添加方向信息和建立描述符具体为，将检测到的角点做为圆心将检测到的角点做为圆心，以特征点为圆心计算半径为6δ(δ为尺度)的区域内所有像素点x和y上的harr小波的响应值dx和dy，并使用高斯加权系数对响应值进行加权，然后以60°为角度滑动扇形窗口并计算窗口中所有小波响应之和，值最大的扇形方向即为特征点的主方向。构建以特征点为中心的20s×20s的矩形区域，并划分为4×4个方形子区域，在每个子区域中计算harr小波特征x和y方向上的响应值，并用高斯窗口函数加权，得到一个4维特征向量V，把16个方形子区域的特征向量V组合，得到64维的SURF描述子。
在一个实施例中，根据FLANN匹配和双向匹配原则完成所述匹配中的粗匹配，包括：
FLANN匹配是执行快速近似最近邻搜索，执行过程中，从图像一与图像二中找到欧氏距离最近和次近的两个点，比较其之间的比值和设定阈值，得到最后的匹配结果，FLANN能够很好解决高维特征；双向匹配通过FLANN匹配对图像一找到图像二相对应的点，然后再对图像二找到图像一相对应的特征点，对两次所得特征点进行筛选，如果相同保留否则剔除。
在一个实施例中，根据PROSAC算法消除粗匹配中的误匹配，达到算法的精匹配原则，包括：
(1)设置初始迭代次数和内点阈值，迭代次数初始值为0；
(2)根据匹配点对相似度排序，选取M个高质量数据；
(3)从M个数据中随机选取T个数据，计算模型参数
(4)当计算模型参数所得的到内点数量大于内点阈值时，则返回内点，否则迭代次数加以，返回步骤2。
下面通过附图和实施例，对本发明的技术方案做进一步的阐述。
附图说明
图1为本发明提供的基于ORB和SURF特征的图像匹配方法的流程图；
图2为本发明提供的基于ORB和SURF特征的图像匹配方法的原理图；
图3为本发明提供的基于ORB和SURF特征的图像匹配方法的FAST特征点检测原理图；
图4为本发明提供的基于ORB和SURF特征的图像匹配方法的PROSAC算法流程图；
图5为本发明提供的基于ORB和SURF特征的图像匹配方法方法在图像的匹配结果。
具体实施方式
下面将参照附图更详细地对本发明的技术方案做进一步的详细说明：
参照图1所示，该方法包括六个步骤：
步骤1.输入图像一和图像二；
步骤2.通过ORB分别检测所述图像一和图像二中的特征点；
步骤3.通过SURF特征描述符分别对所述图像一和图像二中所述特征点进行描述；
步骤4.将所述图像一和图像二中所述特征点的描述符根据FLANN和双向匹配完成初始粗匹配；
步骤5.根据PROSAC算法消除所述粗匹配中的误匹配；
步骤6.生成所述图像一和图像二中特征点的匹配关系。
具体地，上述步骤2中对传统SURF算法进行改进，由于ORB算法特征检测速度比SURF算法快，因此使用ORB算法来完成特征检测。上述步骤3中采用SURF算法进行特征描述，由于ORB算法虽然加快了检测速度但检测到的特征点没有尺度不变性，因此使用SURF算法完成特征提取与描述，即：将检测到的角点做为圆心，以以特征点为圆心计算半径为6δ(δ为尺度)的区域内所有像素点x和y上的harr小波的响应值dx和dy，并使用高斯加权系数对响应值进行加权，然后以60°为角度滑动扇形窗口并计算窗口中所有小波响应之和，值最大的扇形方向即为特征点的主方向。构建以特征点为中心的20s×20s的矩形区域，并划分为4×4个方形子区域，在每个子区域中计算harr小波特征x和y方向上的响应值，并用高斯窗口函数加权，得到一个4维特征向量V，把16个方形子区域的特征向量V组合，得到64维的SURF描述子。
传统方法利用欧式距离来衡量特征向量的相似性，但仍存在一对多的匹配现象，为消除错误匹配和保证匹配精准性，本发明实施例中采用FLANN和双向匹配的方法，通过对两幅图像相互匹配解决上述问题。
现有RANSAC算法在获取模型参数时，随机抽取特征匹配点对，忽视特征匹配点对中匹配点对的优劣之分，且计算复杂。本发明使用的PROSAC算法是基于RANSAC算法的改进的来，相较于RANSAC算法在鲁棒性和计算效率方面均有所提高，为了使匹配方法更精准、快速，步骤五中使用PROSAC算法来代替RANSAC来消除异常值。
本实施例中，能够有效提高图像匹配的精准性和速度，便于后续图像拼接、图像融合、三维重建等。本方法包括的特征检测、特征描述和消除误匹配等三个步骤，从这三个方面对图像匹配方法进行改进，得到精确的特征匹配点对的关系并完成匹配。
参照图2所示为ORB和SURF特征的图像匹配原理图；
(1)输入源图像c、d，ORB利用FAST算法检测特征点，源图像c、d已做过预处理；
(2)然后使用SURF描述符进行方向分配，得到旋转尺度不变性的图像特征点；
(3)使用FLANN匹配的同时加入双向匹配来完成初始粗匹配，两种方法能够减少误匹配点的产生；
(4)经过初始粗匹配后，仍会存在误匹配，采用PROSAC算法消除粗匹配后存在的误匹配点，提高匹配精度；
(5)得到图像匹配关系，完成匹配。
为了进一步提高图像中特征点的匹配精度，对输入的图像一和图像二进行预处理，预处理包括图像灰度化和滤波处理，再进行归一化处理。
下面结合附图2、附图3和附图4通过ORB算法和SURF算法的原理介绍，进一步说明本发明提供的基于ORB和SURF特征的图像匹配方法，具体如下。
1.通过ORB分别检测所述图像一和图像二中的特征点
ORB算法是在FAST和BRIEF算法的基础上做了改进和优化的结合体。FAST算法是由Edward Rosten等提出来的，通过比较像素点与其周围邻域其他像素点的灰度值大小来判断是否为角点。FAST特征点检测参考图3所示，检测过程如下：
(1)选取像素点P，设该点的灰度值为Q；
(2)以该像素点为圆心，考虑半径为3的圆周内的16个像素点，若有n(一般取9或12)个连续像素点的灰度值大于或小于Q，则P为角点。
2.通过SURF特征描述符分别对所述图像一和图像二中所述特征点进行描述
SURF算法对特征点进行矢量描述时，以特征点为圆心计算半径为6δ(δ为尺度)的区域内所有像素点x和y上的harr小波的响应值dx和dy，并使用高斯加权系数对响应值进行加权，然后以60°为角度滑动扇形窗口并计算窗口中所有小波响应之和，值最大的扇形方向即为特征点的主方向。构建以特征点为中心的20s×20s的矩形区域，并划分为4×4个方形子区域，在每个子区域中计算harr小波特征x和y方向上的响应值，并用高斯窗口函数加权，得到一个4维特征向量V，把16个方形子区域的特征向量V组合，所以SURF描述子的维数为64。
3.将所述图像一和图像二中所述特征点的描述符根据FLANN和双向匹配完成初始粗匹配
FLANN匹配采用的是近似法算法更快，而且能够很好解决高维特征问题。双向匹配能够让两幅图像中的特征点得到一一对应的特征点，消除一对多等误匹配。而原始匹配过程只考虑图像二对应图像一的特征点关系，忽略了图像一对应图像二的特征点关系，这种匹配方式容易出现一对多等匹配现象。双向匹配考虑图像二对图像一的特征点关系，也考虑了图像一对应图像二的特征点关系，通过对两次所得特征点进行筛选，如果两次匹配的特征点相同则保留，否则剔除。从而达到图像匹配的粗匹配。
4.根据PROSAC算法消除所述粗匹配中的误匹配
初始粗匹配后仍会存在误匹配，需要进一步剔除。PROSAC算法是基于RANSAC算法的改进，传统RANSAC算法在获取模型参数时，随机抽取特征匹配点对，但特征匹配点对中匹配点对有优劣之分，如果抽取相似度较差的匹配点对，不仅浪费时间且效果欠佳。PROSAC算法与RANSAC算法采取的随机抽取方式不同，首先根据匹配点对的相似度进行排序，取相似度高的匹配点对作为假设集，在假设集中进行采样计算，与RANSAC相比有效降低了迭代次数，很大提高了算法运行效率。
参考图4所示为PROSAC算法流程图，PROSAC算法的具体步骤如下：
(1)设置初始迭代次数和内点阈值，迭代次数初始值为0；
(2)根据匹配点对相似度排序，选取M个高质量数据；
(3)从M个数据中随机选取T个数据，计算模型参数
(4)当计算模型参数所得的到内点数量大于内点阈值时，则返回内点，否则迭代次数加以，返回步骤2。
5.生成所述图像一和图像二中特征点的匹配关系
在上述步骤后，图像特征匹配过程中的错误匹配点大部分被剔除，最终得到图像特征匹配的匹配关系，完成匹配。
以上实施例仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明保护范围之内。上面对本发明的实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。

Claims (6)

1.一种基于ORB和SURF特征的快速图像匹配方法，其特征在于，包括：
步骤1.输入图像一和图像二；具体包括：对输入图像进行预处理；所述预处理包括图像灰度化和滤波处理，再进行归一化处理。
步骤2.通过ORB分别检测所述图像一和图像二中的特征点；
步骤3.通过SURF特征对上述检测出的角点信息添加方向信息并进行特征描述；
步骤4.将所述图像一的特征描述符和图像二的特征描述符，根据FLANN匹配和双向匹配完成初始粗匹配；
步骤5.根据PROSAC算法消除所述粗匹配中的误匹配，实现更近一步的精匹配；
步骤6.生成图像一和图像二中特征点的匹配关系。
2.根据权利要求1所述的基于ORB和SURF特征的快速图像匹配方法，其特征在于：所述步骤2具体为，以待测点P为圆心，利用ORB中的FAST算法检测特征点，通过比较像素点与其周围邻域其他像素点的灰度值大小来判断是否为角点。FAST特征点检测过程如下：
(1)选取像素点P，设该点的灰度值为Q；
(2)以该像素点为圆心，考虑半径为3的圆周内的16个像素点，若有n(一般取9或12)个连续像素点的灰度值大于或小于Q，则P为角点。
3.根据权利要求1所述的基于ORB和SURF特征的快速图像匹配方法，其特征在于：所述步骤3包括，一，对检测出的角点信息添加方向信息；二，建立描述符，确定主方向后，选取20s×20s的区域，并分成4×4的子区域，通过计算产生64维的向量作为描述符。
4.根据权利要求3所述的基于ORB和SURF特征的快速图像匹配方法，其特征在于：添加方向信息和建立描述符具体为，将检测到的角点做为圆心，以特征点为圆心计算半径为6δ(δ为尺度)的区域内所有像素点x和y上的harr小波的响应值dx和dy，并使用高斯加权系数对响应值进行加权，然后以60°为角度滑动扇形窗口并计算窗口中所有小波响应之和，值最大的扇形方向即为特征点的主方向。构建以特征点为中心的20s×20s的矩形区域，并划分为4×4个方形子区域，在每个子区域中计算harr小波特征x和y方向上的响应值，并用高斯窗口函数加权，得到一个4维特征向量V，把16个方形子区域的特征向量V组合，得到64维的SURF描述子。
5.根据权利要求1所述的基于ORB和SURF特征的快速图像匹配方法，其特征在于：所述步骤4具体为，通过FLANN算法利用双向匹配原则，找到图像一某特征点在图像二上的最近邻特征点，反之，在图像一上找到图像二的最近邻特征点，通过判定距离比值，保留给定阈值内的点，完成初始粗匹配。
6.根据权利要求1所述的基于ORB和SURF特征的快速图像匹配方法，其特征在于：所述步骤5具体为，对步骤4的初始粗匹配做进一步的匹配提纯，提高匹配精度，具体包括：
(1)设置初始迭代次数和内点阈值，迭代次数初始值为0；
(2)根据匹配点对相似度排序，选取M个高质量数据；
(3)从M个数据中随机选取T个数据，计算模型参数；
(4)当计算模型参数所得的到内点数量大于内点阈值时，则返回内点，否则迭代次数加以，返回步骤2。
CN202211299594.1A 2022-10-24 2022-10-24 一种基于orb和surf特征的快速图像匹配方法 Pending CN115861640A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211299594.1A CN115861640A (zh) 2022-10-24 2022-10-24 一种基于orb和surf特征的快速图像匹配方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211299594.1A CN115861640A (zh) 2022-10-24 2022-10-24 一种基于orb和surf特征的快速图像匹配方法

Publications (1)

Publication Number Publication Date
CN115861640A true CN115861640A (zh) 2023-03-28

Family

ID=85661749

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211299594.1A Pending CN115861640A (zh) 2022-10-24 2022-10-24 一种基于orb和surf特征的快速图像匹配方法

Country Status (1)

Country Link
CN (1) CN115861640A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116824183A (zh) * 2023-07-10 2023-09-29 北京大学 基于多重特征描述符的图像特征匹配方法和装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116824183A (zh) * 2023-07-10 2023-09-29 北京大学 基于多重特征描述符的图像特征匹配方法和装置
CN116824183B (zh) * 2023-07-10 2024-03-12 北京大学 基于多重特征描述符的图像特征匹配方法和装置

Similar Documents

Publication Publication Date Title
CN109887015B (zh) 一种基于局部曲面特征直方图的点云自动配准方法
Kälviäinen et al. Probabilistic and non-probabilistic Hough transforms: overview and comparisons
CN104766084A (zh) 一种多目标匹配的近复制图像检测方法
Yang et al. Robust semantic template matching using a superpixel region binary descriptor
CN110443261B (zh) 一种基于低秩张量恢复的多图匹配方法
CN111753119A (zh) 一种图像搜索方法、装置、电子设备及存储介质
Zhang et al. Saliency-driven oil tank detection based on multidimensional feature vector clustering for SAR images
CN112614167A (zh) 一种结合单偏光与正交偏光图像的岩石薄片图像对齐方法
CN114331879A (zh) 一种均衡化二阶梯度直方图描述子的可见光与红外图像配准方法
CN108537832B (zh) 基于局部不变灰度特征的图像配准方法、图像处理系统
CN110246165B (zh) 提高可见光图像与sar图像配准速度的方法及系统
CN114358166B (zh) 一种基于自适应k均值聚类的多目标定位方法
CN115861640A (zh) 一种基于orb和surf特征的快速图像匹配方法
CN114663373A (zh) 一种用于零件表面质量检测的点云配准方法及装置
Yang et al. A method for wafer defect detection using spatial feature points guided affine iterative closest point algorithm
Sun et al. Multi-stage refinement feature matching using adaptive ORB features for robotic vision navigation
CN111798453A (zh) 用于无人驾驶辅助定位的点云配准方法及其系统
CN111898428A (zh) 一种基于orb的无人机特征点匹配方法
CN112364881A (zh) 一种进阶采样一致性图像匹配算法
CN114648445A (zh) 一种基于特征点提取及精配准优化的多视角高分辨率点云拼接方法
CN114332172A (zh) 一种基于协方差矩阵改进的激光点云配准方法
CN109002828A (zh) 基于均值跳动迹变换的图像纹理特征提取方法
Li et al. Efficient properties-based learning for mismatch removal
Han et al. Accurate and robust vanishing point detection method in unstructured road scenes
Dong et al. Superpixel-based local features for image matching

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination