CN116310373A - 基于改进surf特征的图像匹配方法 - Google Patents

基于改进surf特征的图像匹配方法 Download PDF

Info

Publication number
CN116310373A
CN116310373A CN202211299007.9A CN202211299007A CN116310373A CN 116310373 A CN116310373 A CN 116310373A CN 202211299007 A CN202211299007 A CN 202211299007A CN 116310373 A CN116310373 A CN 116310373A
Authority
CN
China
Prior art keywords
image
points
matching
feature
feature points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211299007.9A
Other languages
English (en)
Inventor
高直
鹿志旭
朱志浩
周天池
阚加荣
王建冈
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yancheng Institute of Technology
Original Assignee
Yancheng Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yancheng Institute of Technology filed Critical Yancheng Institute of Technology
Priority to CN202211299007.9A priority Critical patent/CN116310373A/zh
Publication of CN116310373A publication Critical patent/CN116310373A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及数字图像处理技术领域，特别是一种基于改进SURF特征的图像匹配方法。该方法包括：输入基准图和待匹配图像；通过SURF算法分别检测所述基准图和待匹配图像中具有尺度不变性的特征点；通过DAISY描述符分别对所述基准图和待匹配图像中的所述特征点进行特征描述；根据两个特征点间的欧式距离来完成初始匹配；根据RANSAC算法消除初始匹配过程中的误匹配点。可有效提高图像特征匹配的准确度和速度，同时降低错误匹配的速率，保留了更高质量的特征点，以便于后续图像拼接、图像融合、三维重建等。

Description

基于改进SURF特征的图像匹配方法
技术领域
本发明涉及图像处理技术领域，特别是一种基于改进SURF特征的图像匹配方法。
背景技术
图像匹配技术是现许多计算机视觉领域问题研究的基础，图像局部特征匹配在图像匹配领域占据着至关重要的位置。图像的局部特征描述符是图像特征提取与匹配过程中的核心部分，对于图像局部特征匹配的方法，目前大部分方法为基于特征点的局部特征匹配。其中，SURF算法在尺度不变特征变化算法SIFT(Scale Invariant Feature Transform)基础上被Bay等提出，通过对海森行列式算法的简化，大大提升了SURF算法的运算速度，但其精度却有所下降，在旋转不变性方面表现欠佳。DAISY描述符由Engin Tola等所提出来的一种用于宽基线立体匹配的局部特征描述符，因为其描述符结构原因，易获取旋转不变性，匹配效果比较优秀。所以基于SURF的图像匹配技术一直是人们研究的热点。
发明内容
本发明的目的是针对SURF算法在图像特征匹配中提取特征点时误匹配率高，匹配精度较低等问题，在SURF算法特征点检测的基础上，用DAISY特征描述符替换原SURF特征描述算子，并采用RANSAC算法进行误匹配点删除，从而提高匹配算法的性能。技术方案如下：
一种基于改进SURF特征的图像匹配方法，包括以下步骤：
步骤1，输入基准图和待匹配图像；对图像进行预处理，预处理包括图像灰度化和滤波处理，再进行归一化处理；
步骤2，通过SURF算法分别检测所述基准图和待匹配图像中具有尺度不变性的特征点；
步骤3，通过DAISY描述符分别对所述基准图和待匹配图像中的所述特征点进行特征描述；
步骤4，将所述基准图中所述特征点的描述符和所述待匹配图像中所述特征点的描述符进行匹配，完成初始匹配；
步骤5，采用RANSAC算法消除初始匹配过程中的误匹配点；
步骤6，生成所述基准图和待匹配图像中特征点的匹配关系。
其中，所述步骤2包括，采用Hessian矩阵行列式来检测特征点，对于图像P上图像尺度为δ的点
Figure BDA0003903823540000011
的Hessian矩阵的定义为：
Figure BDA0003903823540000021
其中，Lxx(a,δ)、Lxy(a,δ)和Lyy(a,δ)分别是高斯二阶偏导数与图像P在点
Figure BDA0003903823540000022
处的卷积，为提高运算速度，采用盒式滤波器，卷积运算后的值分别为Dxx、Dxy、Dyy，为平衡盒式滤波器近似带来的误差，在Dxy上乘以一个加权系数，该加权系数通常取值0.9，因此每个像素的Hessian矩阵判别式的近似值为：
Det(H)＝DxxDyy-(0.9Dxy)2
所述步骤3包括，一，分配主方向，使其具有旋转不变性，二，建立描述符，以45°为单位选取方向，提取第二层同心圆环最大梯度直方图，从而得到具有旋转不变性的DAISY描述符。
具体方法为：以待描述的特征点为中心，向外构造成三个不同半径的同心圆，每层的高斯尺度相同，向外高斯尺度逐层增大，在360°范围内每隔45°取一个采样点，这样共得到3×8+1＝25个采样点。以像素点(c,d)为例，该像素点8个方向的梯度由
Figure BDA0003903823540000023
(o＝1,2,3…,8表示梯度的方向；(·)+表示(α)+＝max(α,0))表示。然后，对梯度图像Go(c,d)进行高斯卷积，公式表示为/>
Figure BDA0003903823540000024
其中G∑表示高斯尺度值为∑的高斯核，则像素点(c,d)得到一个长度为8的向量，即像素点(c,d)的局部梯度方向直方图可表示为：
Figure BDA0003903823540000025
所以DAISY描述符的公式为：
Figure BDA0003903823540000026
公式中，P＝1,2,3表示结构层数；Q＝1,2,…,8表示每一层划分的方向，lr(c,d,Rk)表示以(c,d)为结构中心，第k层同心圆环上第r个采样点的所在的位置，
Figure BDA0003903823540000027
表示该采样点的局部梯度方向直方图。所以像素点(c,d)的描述符特征向量维数为(8×3+1)×8＝200维。
所述步骤4为，将步骤3得到的基准图描述符和待匹配图像描述符利用特征点间的欧式距离进行判定，与给定阈值比较，排除超过给定阈值的特征点，完成初始匹配。
所述步骤5为，在步骤4得到两幅图像之间的初始匹配关系基础上，采用RANSAC算法做进一步的误匹配点消除，避免出现一对多等误匹配现象，具体包括：
(1)从数据集中随机抽取4对匹配对作为样本，利用公式计算单应性矩阵，模型记为P1，设定阈值。
(2)计算数据集中所有数据与模型P1之间的误差，若其误差小于设定阈值，则将其视为内点，加入内点集Q1。
(3)若有足够多的点被视为内点，则选择此时的模型P1，否则重复上述步骤，直至符合要求，选出内点占比最大的模型，作为问题的解。
本发明采用以上技术方案与现有技术相比，具有以下技术效果：
本发明实施例提供的一种基于改进SURF特征的图像匹配方法，可有效提高图像特征匹配的准确度和速度，同时降低错误匹配的速率，保留了更高质量的特征点，以便于后续图像拼接、图像融合、三维重建等。
附图说明
图1为本发明方法的流程图；
图2为本发明DAISY描述符结构图；
图3为本发明方法与经典SURF算法在旋转角度变化下的匹配数据结果对比表格；
图4为本发明方法与经典SURF算法在图像模糊变化下的匹配数据结果对比表格；
图5为本发明方法与经典SURF算法在图像JPEG压缩比变化下的匹配数据结果对比表格；
图6为本发明方法与经典SURF算法在图像光照变化下的匹配数据结果对比表格；
图7为经典SURF在旋转角度下的匹配结果；
图8为本发明方法在旋转角度下的匹配结果；
图9为本发明方法在图像模糊变化下的匹配结果；
图10为本发明方法在图像JPEG压缩比变化下的匹配结果；
图11为本发明方法在图像光照变化下的匹配结果。
具体实施方式
下面结合附图对本发明的技术方案做进一步的详细说明：
如图1所示，该方法包括五个步骤；
步骤1.输入基准图和待匹配图像；
步骤2.通过SURF算法进行特征提取检测，分别检测出所述基准图和待匹配图像具有尺度不变性的特征点；
步骤3.通过DAISY描述符分别对所述基准图和待匹配图像中的所述特征点进行特征描述；
步骤4.通过欧氏距离完成初始匹配
步骤5.通过RANSAC算法对初始匹配的结果进行误匹配点剔除；
步骤6.输出匹配图像。
实验平台为：MATLAB(2018a)，运行环境：Inter(R)core(TM)i5-4200H CPU@2.80GHz，8GB内存，64位Windows10操作系统。
下面通过DAISY描述符的原理介绍，结合附图2进一步说明本发明基于改进SURF特征的图像匹配方法。
DAISY描述符是一种局部特征描述符，由中心对称结构构成，采用的是圆形领域，具有更好的定位性能。以待描述的特征点为中心，向外构造成三个不同半径的同心圆，每层的高斯尺度相同，向外高斯尺度逐层增大，在360°范围内每隔45°取一个采样点，这样共得到3×8+1＝25个采样点。
DAISY描述符的构造方法：以像素点(c,d)为例，该像素点8个方向的梯度由
Figure BDA0003903823540000041
(o＝1,2,3…,8表示梯度的方向；(·)+表示(α)+＝max(α,0))表示。然后，对梯度图像Go(c,d)进行高斯卷积，公式表示为/>
Figure BDA0003903823540000042
其中G∑表示高斯尺度值为∑的高斯核，则像素点(c,d)得到一个长度为8的向量，即像素点(c,d)的局部梯度方向直方图可表示为：
Figure BDA0003903823540000043
所以DAISY描述符的公式为：
Figure BDA0003903823540000044
公式中，P＝1,2,3表示结构层数；Q＝1,2,…,8表示每一层划分的方向，lr(c,d,Rk)表示以(c,d)为结构中心，第k层同心圆环上第r个采样点的所在的位置，
Figure BDA0003903823540000045
表示该采样点的局部梯度方向直方图。所以像素点(c,d)的描述符特征向量维数为(8×3+1)×8＝200维。
在分析DAISY描述符构成方法后，可以发现DAISY描述符的中心对称结构对于图像光照和仿射变化具有很好的鲁棒性，并且可以快速旋转，处理方便。且DAISY算子对梯度直方图加权的方法是采用高斯核卷积完成的，由于高斯核有各向同性，图像旋转后，体现在直方图上只是直方图柱子的顺序发生改变，因此无需重复计算梯度直方图。考虑SURF算法在旋转不变性上表现不佳，因此采用在SURF算法特征点检测的基础上，以SURF算法选取特征点的主方向，然后利用DAISY描述符的旋转不变性快速获得DAISY描述符。既保持原始SURF算法计算速度快的特点，也提高了其在旋转不变性的匹配正确率。
在一个实施例中，基于改进SURF特征的图像匹配方法实施过程具体如下：
对输入图像进行图像灰度化和滤波处理，再进行归一化处理；
SURF算法利用方框滤波代替了高斯滤波，并且使用了积分图像来加速积分过程，因此其能在保持较高精度的情况下尽可能地提升运算速度。
对于图像P上图像尺度为δ的点
Figure BDA0003903823540000051
的Hessian矩阵的定义为：
Figure BDA0003903823540000052
其中，Lxx(a,δ)是高斯二阶偏导数与点
Figure BDA0003903823540000053
处图像的卷积。
SURF使用盒式滤波器来近似替代高斯滤波器，从而提高运算速度，使用盒滤波器会近似带来误差，所以在Dxy上乘一个加权系数0.9为来加以平衡。
Det(H)＝DxxDyy-(0.9Dxy)2
因为使用盒式滤波器，所有Dxx是Lxx的近似值，Dxy是Lxy的近似值，Dyy是Lyy的近似值。
为获得最佳效果，在每个检测的兴趣点尺度空间上执行非最大抑制，每个兴趣点的响应值大于或小于其周围26个点的值时，则将其视为特征点。
在使用Hessian矩阵获取特征点后，通过统计特征点领域内的Haar小波特征确定其主方向。然后使用DAISY描述符的公式构造计算特征描述符，此时的特征描述符旋转不变性极易获得。
根据两个特征点间的欧式距离来对上一步得到的特征点点集进行特征点粗匹配，得到粗匹配点。
在粗匹配之后，采用RANSAC算法进行误匹配点剔除。阈值设定为0.03具体步骤如下：
(1)从数据集中随机抽取4对匹配对作为样本，利用公式计算单应性矩阵，模型记为P1，设定阈值。
(2)计算数据集中所有数据与模型P1之间的误差，若其误差小于设定阈值，则将其视为内点，加入内点集Q1。
(3)若有足够多的点被视为内点，则选择此时的模型P1，否则重复上述步骤，直至符合要求，选出内点占比最大的模型，作为问题的解。
为进一步说明本发明的图像匹配结果，我们分别选取了在旋转角度、图像模糊、JPEG压缩比和光照等变化下进行实验，结合附图3、附图4、附图5和附图6可以看出，本发明在SURF算法特征检测的基础上引入了DAISY描述符，保持原始SURF算法计算速度快的特点，也提高了其获取在旋转不变性的速度，提高了正确匹配率，避免了匹配“一对多”等现象；在完成粗匹配之后引入误匹配剔除算法，剔除产生的误匹配点对。算法不仅匹配精度高，而且计算速度快，匹配时间短，匹配速度快，与经典SURF匹配方法相比，鲁棒性较优，具有实时性。
以上实施例仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明保护范围之内。上面对本发明的实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。

Claims (5)

1.一种基于改进SURF特征的图像匹配方法，其特征在于，包括以下步骤：
步骤1，输入基准图和待匹配图像；对图像进行预处理，预处理包括图像灰度化和滤波处理，再进行归一化处理；
步骤2，通过SURF算法分别检测所述基准图和待匹配图像中具有尺度不变性的特征点；
步骤3，通过DAISY描述符分别对所述基准图和待匹配图像中的所述特征点进行特征描述；
步骤4，将所述基准图中所述特征点的描述符和所述待匹配图像中所述特征点的描述符进行匹配，完成初始匹配；
步骤5，采用RANSAC算法消除初始匹配过程中的误匹配点；
步骤6，生成所述基准图和待匹配图像中特征点的匹配关系。
2.根据权利要求1所述的基于改进SURF特征的图像匹配方法，其特征在于：所述步骤2具体为，采用Hessian矩阵行列式来检测特征点，对于图像P上图像尺度为δ的点
Figure FDA0003903823530000011
的Hessian矩阵的定义为：
Figure FDA0003903823530000012
其中，Lxx(a,δ)、Lxy(a,δ)和Lyy(a,δ)分别是高斯二阶偏导数与图像P在点
Figure FDA0003903823530000013
处的卷积，为提高运算速度，采用盒式滤波器，卷积运算后的值分别为Dxx、Dxy、Dyy，为平衡盒式滤波器近似带来的误差，在Dxy上乘以一个加权系数，该加权系数通常取值0.9，因此每个像素的Hessian矩阵判别式的近似值为：
Det(H)＝DxxDyy-(0.9Dxy)2。
3.根据权利要求1所述的基于改进SURF特征的图像匹配方法，其特征在于：所述步骤3具体为，一，分配主方向，使其具有旋转不变性，二，建立描述符，以45°为单位选取方向，提取第二层同心圆环最大梯度直方图，从而得到具有旋转不变性的DAISY描述符。
4.根据权利要求3所述的基于改进SURF特征的图像匹配方法，其特征在于：以待描述的特征点为中心，向外构造成三个不同半径的同心圆，每层的高斯尺度相同，向外高斯尺度逐层增大，在360°范围内每隔45°取一个采样点，这样共得到3×8+1＝25个采样点。以像素点(c,d)为例，该像素点8个方向的梯度由
Figure FDA0003903823530000014
(o＝1,2,3…,8表示梯度的方向；(·)+表示(α)+＝max(α,0))表示。然后，对梯度图像Go(c,d)进行高斯卷积，公式表示为
Figure FDA0003903823530000021
其中G∑表示高斯尺度值为∑的高斯核，则像素点(c,d)得到一个长度为8的向量，即像素点(c,d)的局部梯度方向直方图可表示为：
Figure FDA0003903823530000022
所以DAISY描述符的公式为：
Figure FDA0003903823530000023
公式中，P＝1,2,3表示结构层数；Q＝1,2,…,8表示每一层划分的方向，lr(c,d,Rk)表示以(c,d)为结构中心，第k层同心圆环上第r个采样点的所在的位置，
Figure FDA0003903823530000024
表示该采样点的局部梯度方向直方图。所以像素点(c,d)的描述符特征向量维数为(8×3+1)×8＝200维。
5.根据权利要求1所述的基于改进SURF特征的图像匹配方法，其特征在于：所述步骤5为，在步骤4得到两幅图像之间的初始匹配关系基础上，采用RANSAC算法做进一步的误匹配点消除，避免出现一对多等误匹配现象，具体包括：
(1)从数据集中随机抽取4对匹配对作为样本，利用公式计算单应性矩阵，模型记为P1，设定阈值。
(2)计算数据集中所有数据与模型P1之间的误差，若其误差小于设定阈值，则将其视为内点，加入内点集Q1。
(3)若有足够多的点被视为内点，则选择此时的模型P1，否则重复上述步骤，直至符合要求，选出内点占比最大的模型，作为问题的解。
CN202211299007.9A 2022-10-24 2022-10-24 基于改进surf特征的图像匹配方法 Pending CN116310373A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211299007.9A CN116310373A (zh) 2022-10-24 2022-10-24 基于改进surf特征的图像匹配方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211299007.9A CN116310373A (zh) 2022-10-24 2022-10-24 基于改进surf特征的图像匹配方法

Publications (1)

Publication Number Publication Date
CN116310373A true CN116310373A (zh) 2023-06-23

Family

ID=86780281

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211299007.9A Pending CN116310373A (zh) 2022-10-24 2022-10-24 基于改进surf特征的图像匹配方法

Country Status (1)

Country Link
CN (1) CN116310373A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116824183A (zh) * 2023-07-10 2023-09-29 北京大学 基于多重特征描述符的图像特征匹配方法和装置
CN118397315A (zh) * 2024-06-27 2024-07-26 中国民用航空飞行学院 低能见度图像匹配方法、装置、计算机设备及存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116824183A (zh) * 2023-07-10 2023-09-29 北京大学 基于多重特征描述符的图像特征匹配方法和装置
CN116824183B (zh) * 2023-07-10 2024-03-12 北京大学 基于多重特征描述符的图像特征匹配方法和装置
CN118397315A (zh) * 2024-06-27 2024-07-26 中国民用航空飞行学院 低能见度图像匹配方法、装置、计算机设备及存储介质

Similar Documents

Publication Publication Date Title
Li et al. WaveCNet: Wavelet integrated CNNs to suppress aliasing effect for noise-robust image classification
CN116310373A (zh) 基于改进surf特征的图像匹配方法
JP5431362B2 (ja) 画像識別のための特徴ベースの識別特性（ｓｉｇｎａｔｕｒｅ）
CN104809731B (zh) 一种基于梯度二值化的旋转尺度不变场景匹配方法
Abidin et al. Copy-move image forgery detection using deep learning methods: a review
CN102016880A (zh) 用于图像识别的尺度健壮的基于特征的标识符
CN113538246B (zh) 基于无监督多阶段融合网络的遥感图像超分辨率重建方法
CN111831844A (zh) 图像检索方法、图像检索装置、图像检索设备及介质
CN112819875B (zh) 单目深度估计的方法、装置及电子设备
Vidyadharan et al. Digital image forgery detection using compact multi-texture representation
CN113298718A (zh) 一种单幅图像超分辨率重建方法及系统
CN112614167A (zh) 一种结合单偏光与正交偏光图像的岩石薄片图像对齐方法
CN106157240B (zh) 基于字典学习的遥感图像超分辨率方法
CN110516731B (zh) 一种基于深度学习的视觉里程计特征点检测方法及系统
Rana et al. MSRD-CNN: Multi-scale residual deep CNN for general-purpose image manipulation detection
WO2009126427A2 (en) Image descriptor quantization
CN110991501B (zh) 一种基于Hessian矩阵的改进ORB特征点匹配方法
CN116152517A (zh) 一种改进的orb特征提取方法
CN113688842B (zh) 一种基于解耦合的局部图像特征提取方法
CN116485849A (zh) 一种点云配准方法、系统及电子设备
CN114565772B (zh) 集合特征提取方法、装置、电子设备及存储介质
Rai et al. A Thorough Investigation on Image Forgery Detection.
Debbarma et al. Keypoints based copy-move forgery detection of digital images
CN113989205A (zh) 基于梯度余弦相似的orb误匹配剔除算法
CN116665256B (zh) 一种基于指纹图像局部区域质量的指纹匹配方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination