CN107895380A - 一种图像快速匹配方法 - Google Patents

一种图像快速匹配方法 Download PDF

Info

Publication number
CN107895380A
CN107895380A CN201711213054.6A CN201711213054A CN107895380A CN 107895380 A CN107895380 A CN 107895380A CN 201711213054 A CN201711213054 A CN 201711213054A CN 107895380 A CN107895380 A CN 107895380A
Authority
CN
China
Prior art keywords
image
matching
images
wavelet
points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711213054.6A
Other languages
English (en)
Inventor
祁友杰
郑子扬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
8511 Research Institute of CASIC
Original Assignee
8511 Research Institute of CASIC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 8511 Research Institute of CASIC filed Critical 8511 Research Institute of CASIC
Priority to CN201711213054.6A priority Critical patent/CN107895380A/zh
Publication of CN107895380A publication Critical patent/CN107895380A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20048Transform domain processing
    • G06T2207/20064Wavelet transform [DWT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种图像快速匹配方法,属于数字图像处理技术领域。该方法包括以下步骤:步骤A、利用小波分解方法提取源图像的低频子图像,所述小波分解所使用的小波滤波器满足以下条件:其低通滤波器的系数之和为1;步骤B、利用SIFT特征图像匹配方法对所述低频子图像和目标图像进行粗匹配,得到源图像中的粗匹配点;步骤C、从源图像中选取粗匹配点最集中的部分图像;步骤D、利用SIFT特征图像匹配方法对所选取的部分图像和目标图像进行细匹配,得到最终的图像匹配结果。相比现有技术,本发明在保证匹配准确度的同时,大幅降低了计算量,提高了图像匹配的速度。

Description

一种图像快速匹配方法
技术领域
本发明属于数字图像处理技术领域,具体涉及一种图像快速匹配方法。
背景技术
在图像匹配领域,由于SIFT(Scale Invariant Feature Transform,尺度不变特征变换)算法对存在尺度、旋转、照度、视角、仿射变化等情况下的图像,都能够实现图像的准确匹配,因此它在图像匹配领域得到了广泛的应用。然而,由于SIFT算法本身所需的庞大计算量,其对于某些本身数据量较大或者具有较高实时性要求的场合,例如高分辨率遥感图像,则并不能很好地应用。
为了解决该问题,一些研究者提出了多种不同的方案,例如以提升算法效率为主的SURF[Bay H,Tuytelaars T,Van G L.SURF:Speeded up Robust Features[C]//9thEuropean Conference on Computer Vision,2006:404‐417]和PCASIFT[Yan Ke,RahulSukthankar.PCA‐SIFT:A More Distinctive Representation for Local ImageDescriptors[C]//Proceedings of the 2004IEEE Computer Society Conference onComputer Vision and Pattern Recognition,2004,2:506‐513]算法,虽然在匹配速度上,较SIFT算法相比已有了明显的提高,但在实际工程中,尤其在图像尺寸变大后,这种性能上的提高便被大幅地弱化。即使是近几年新提出的BIRSK[Leutenegger S,Chli M,SiegwartR Y.BRISK:Binary Robust Invariant Scalable Keypoints[C]//IEEE InternationalConference on Computer Vision,2011:2548‐2555]和FREAK[Alahi A.Ortiz R,Vandergheynst P.FREAK:Fast Retina Keypoint[C]//IEEE Conference on ComputerVision and Pattern Recognition,2012:510‐517]算法,当图像尺寸变大后,其匹配速度依然不能满足要求。而最重要的是,上述几种算法描述子的综合性能不如SIFT描述子稳定[Mikolajczyk K,Schmid C.A Performance Evaluation of Local Descriptors[J].IEEETrans.on PAMI,2005,27(10):1615‐1630]。文献[Xiong Zhi,Wang dan,Zhang dan,etal..Research on Improved SIFT Feature Matching Arithmetic in the SAR VisionMatching Aided Navigation[C].The 6th International Conference on ComputerScience&Education,2011:909‐914]提出用小波变换与SIFT算法联合来提高SAR图像的目标识别,但算法采用单一、固定的小波滤波器,没有具体分析小波变换对频谱的影响,没有给出选择小波滤波器的指导性原则或者公式,而实际仿真发现,并非所有的小波滤波器都适合与SIFT算法联合,以提高图像的匹配速度。
发明内容
本发明的目的在于提供一种图像快速匹配方法,利用小波分解方法缩小SIFT特征匹配的搜索范围、提高匹配速度。
实现本发明目的的技术解决方案为:一种图像快速匹配方法,其特征在于,包括以下步骤:
步骤A、利用小波分解方法提取源图像的低频子图像,所述小波分解所使用的小波滤波器满足以下条件:其低通滤波器的系数之和为1;
步骤B、利用SIFT特征图像匹配方法对所述低频子图像和目标图像进行粗匹配,得到源图像中的粗匹配点;
步骤C、从源图像中选取粗匹配点最集中的部分图像;
步骤D、利用SIFT特征图像匹配方法对所选取的粗匹配点最集中的部分图像和目标图像进行细匹配,得到最终的图像匹配结果。
在步骤B与步骤C之间还包括对粗匹配点进行筛选的步骤:首先对以粗匹配点的坐标所构成的数据集进行聚类,在聚类完成后将不能归入任一簇集的粗匹配点作为错误匹配点进行剔除,得到源图像中的粗匹配点,转入步骤C。
本发明与现有技术相比,其显著优点在于:(1)根据创新性的理论分析及实验,首次提出了能够使得小波分解与特征匹配相结合的对于小波滤波器的要求,从而使利用小波分解方法缩小SIFT特征匹配的搜索范围、提高匹配速度的思路真正具有了实用性,并可相应选择最佳的小波滤波器使得算法效果最优;(2)在保证匹配准确度的同时,大幅降低了计算量,提高了图像匹配的速度。
附图说明
图1为本发明图像快速匹配方法一个优选实施例的流程示意图。
图2为二阶小波分解树。
图3为二阶小波分解树的频谱特性。
图4为三次小波变换过程中,SIFT特征点在频域中的范围变化。
图5为几种典型小波滤波器的低通滤波器幅频响应。
图6为同一幅遥感图像经不同小波滤波器处理得到的低频子图像的关键点数量对比。
图7为同一幅遥感图像经不同小波滤波器处理得到的低频子图像与原遥感图像之间准确SIFT匹配点的数量对比。
图8为本发明图像快速匹配方法的方法流程图。
具体实施方式
下面结合附图对本发明的技术方案进行详细说明:
在图像识别领域,SIFT算法有着其他方法难以替代的优点,比如其多量性的特点:即使少数的几个物体也能产生大量的SIFT特征向量。但对于某些数字图像,例如纹理信息很丰富的遥感图像,在实时性要求比较严格的场合,SIFT算法很难满足要求。为了保证图像匹配准确度的同时提高匹配速度,本发明提出了一种图像快速匹配方法,结合小波变换与SIFT算法,可大幅缩小SIFT特征匹配的搜索范围,提高匹配效率;并根据创新性的理论分析及实验,首次提出了能够使得小波分解与SIFT特征匹配相结合的对于小波滤波器的要求。
结合图8,本发明所述的一种图像快速匹配方法,具体包括以下步骤:
步骤A、利用小波分解方法提取源图像的低频子图像,所述小波分解所使用的小波滤波器满足以下条件:其低通滤波器的系数之和为1。
步骤B、利用SIFT特征图像匹配方法对所述低频子图像和目标图像进行粗匹配,得到源图像中的粗匹配点;为了提高粗匹配的准确性,本发明还可进一步采用聚类的方法对粗匹配得到的粗匹配点进行筛选,剔除其中的错误匹配点,具体方法如下:首先对以粗匹配点的坐标所构成的数据集进行聚类,在聚类完成后将不能归入任一簇集的粗匹配点作为错误匹配点进行剔除。
步骤C、从源图像中选取粗匹配点最集中的部分图像;
确定源图像中粗匹配点最集中的区域的具体方式可根据需要灵活确定,以下为几种可行方案:
如果通过聚类进行了粗匹配点的筛选,则可以聚类所得到的各簇中心的横坐标均值、纵坐标均值作为横坐标、纵坐标在源图像中确定一点,在源图像中选取以该点为中心的部分区域;或者,直接以最大簇的簇中心为中心从源图像中选取部分区域;还可以各粗匹配点的横坐标均值、纵坐标均值作为横坐标、纵坐标在源图像中确定一点,在源图像中选取以该点为中心的部分区域;又或者,以粗匹配点中横坐标极大值与极小值的均值、纵坐标极大值与极小值的均值作为横坐标、纵坐标在源图像中确定一点,在源图像中选取以该点为中心的部分区域。所选取区域的部分图像即可与目标图像进行下一步的细匹配。
所选取区域的大小同样可根据实际需要确定,例如,可预先规定所选取区域为源图像大小的一定比例(例如1/2、1/4、1/8等);或者,以粗匹配点之间的平均距离作为所选取区域的半径;再或者,以聚类所得到的各簇中心之间的平均距离作为所选取区域的半径;又或者,以最大簇中各元素之间的平均距离作为所选取区域的半径。为了避免区域大小选择的随意性,对于大小为L×W
(L≥512,W≥512)像素的源图像,本发明优选采用以下经验公式确定所选区域的大小:
其中,ll为所选取部分图像的边长,单位为像素;表示向下取整运算。
步骤D、利用SIFT特征图像匹配方法对所选取的部分图像和目标图像进行细匹配,得到最终的图像匹配结果。
图1显示了采用本发明方法进行遥感图像匹配的一个具体实施例的算法流程。如图所示,该实施例中增加了将粗匹配点数量与一阈值K进行比较的步骤,如大于该阈值,则表明粗匹配点的数量足够,可根据当前的粗匹配点从源图像中确定进行细匹配的区域;如否,则表明当前粗匹配点数量不足以准确确定进行细匹配的区域,此时需要降低小波分解的层数并重新进行粗匹配。
为了使公众能够更深入地理解本发明技术方案,首先对本发明技术方案的理论基础进行详细说明。
多分辨率分析是构造离散小波基的基本框架,也是信号在小波基下进行分解和重构的基本理论保证,同时多分辨率分析也是SIFT算法构建高斯金字塔的理论基础。所以,多分辨率分析是实现小波变换与SIFT算法相结合的一座桥梁。由MRA(多尺度分析)知道,在小波变换中,尺度函数和小波函数ψ(t)都可以用一个基线性表示:
等式(1)和(2)被称为双尺度函数,它表明了小波变换与SIFT算法在实现上的一致:通过滤波和下采样实现。
对双尺度方程两边取Fourier变换,可得到频域上的双尺度关系:
这里:
反复将等式(5)带入等式(3),则对于n∈Z有
由等式(1)(2)、(3)、(7),我们可得到图2所示的一个二阶小波分解树以及图3所示的其理想传递特性,其中h1和h0分别为半波带滤波器。第一阶滤波器组将V2的频谱分成低通带(V0+W0)和高通带(W1),从而生成低尺度的尺度系数V1和小波系数W1;第二阶滤波器组将低通带进一步分成另外一个低通带(V0)和带通带(W0)。由此可知,对图像而言,每做一次小波变换,低频子带图像的大小便减小到原先的1/4,信号的带宽变为原先的1/2,这样便极大地减少了SIFT算法中特征点的数目,图4展示了三次小波变换过程中,频域中能够检测到SIFT特征点的范围变化。
文献[Run‐hai J.,Yuan‐cheng L.,Jing‐biao H,“Remote sensing imagecompression based on vision model and image feature,”Journal of BeijingUniversity of Aeronautics and Astronautics,vol.31,No.2,Feb,2005.]已经用统计的方法证明,沿着低频至最高频,遥感图像能量分布是先增加后减小,即遥感图像的中频信息较多。于是,通过对遥感图像做小波变换,既可以达到减少图像特征点数目,缩减图像匹配时间的目的;同时又不会因为小波变换后的低频子图像中的特征点数目极少而无法进行图像匹配。理论上,图像分解的最大尺度为其中,为向下取整操作。但实际处理时,J的取值要根据遥感图像的大小和纹理信息的丰富程度来确定,一个大小为1024×1024的纹理信息相对比较丰富的遥感图像,取J=3一般是比较合适的。
SIFT算法进行匹配操作有两个最重要的过程:特征点的检测和关键点的描述。前者是提取图像中的相对不变点,比如角点、边缘点、亮区中的暗点等,这些点在频域中表现为中、高频信息;后者则是通过描述关键点周围局部邻域的梯度来实现,即主要通过低、中频信息的描述来实现关键点之间的辨识。
小波分解的实质就是让信号通过选定的低通和高通滤波器。对于第j+1层信号的分解就是将第j层的信号序列分别通过l(n)和h(n)两个滤波器,而离散信号通过滤波器可以利用卷积和的形式来描述,如下式所示:
表1列出了几种典型的小波滤波器,而图5则显示了其低通滤波器的幅频响应,为了说明低通滤波器幅频曲线中低频区的不同而导致的算法性能的不同,我们将各个低通滤波器的幅频响应曲线的低频区放大,放于各自幅频曲线之下以做对比。
表1滤波器及其系数
从滤波器的幅频曲线可以看出,虽然几种滤波器均能实现低通滤波的功能,但其对于低频区的影响却各不相同。其中,非规范的haar小波滤波器和B样条小波滤波器对整个频带信号没有增加信号幅值的作用;而规范的haar小波滤波器能增强低频区信号幅值;5‐3小波滤波器则能够增强中频区信号幅值。用上述几种小波滤波器分别对一幅大小为1024×1024的遥感图像做4层小波分解,对分解后的每层低频子图像做关键点检测,得到关键点数目的对比曲线,如图6所示;将每层低频子图像与原图像做SIFT匹配,得到准确匹配到的关键点数目对比曲线,如图7所示。
根据图6、图7可以看出,规范的haar小波滤波器因为改变了图像的基频信息,从而使得准确检测到的关键点数目急剧减少;B样条小波滤波器因为跟高斯滤波器最为相似,所以B样条小波滤波器性能最好;非规范的haar小波滤波器性能要稍弱于B样条小波滤波器,但非规范的haar小波滤波器的系数要更加简单,通过硬件平台来实现滤波器功能时,非规范的haar小波滤波器更具优势。
由上可知,小波变换与SIFT相结合实现图像匹配的关键在于:低通滤波器不能改变图像的基频信息,由此可以得到选择小波滤波器的一个充分条件,即:
其中l(k)为低通滤波器系数。
本发明采用由粗到细的匹配思路,首先通过小波变换提取源图像在尺度空间里的高尺度表示,并将其与待匹配目标图像进行粗匹配,根据粗匹配的结果,从源图像中重新选取粗匹配点最密集的区域图像与待匹配目标图像进行细匹配,最终完成匹配操作。本发明可在保证匹配准确性的前提下大幅降低计算量,提高匹配速度。
为了验证本发明方法的效果,取图像大小为1024×1024的一幅遥感图像做为源图像,从源图像中取大小为512×512的一块区域作为待匹配的目标图像,分别用SIFT算法、SURF算法和本发明方法做图像匹配实验,每种算法完成图像匹配所花费的时间如表2所示。
表2算法匹配时间对比
从表2可以看出,对于信息量相对比较丰富的遥感图像的匹配,SIFT算法还是很难满足实时性的要求,即使是在计算性能上优化了的SURF算法,其性能优势也不明显。而采用本发明方法,即使只将源图像进行1次小波分解,其匹配所花费的时间已经比SURF算法少了近40%,而将源图像进行3次小波分解,其匹配所花费的时间只是SIFT算法的25.04%、SURF算法的35.36%,可见本发明方法极大地提高了匹配速度。

Claims (8)

1.一种图像快速匹配方法,其特征在于,包括以下步骤:
步骤A、利用小波分解方法提取源图像的低频子图像,所述小波分解所使用的小波滤波器满足以下条件:其低通滤波器的系数之和为1;
步骤B、利用SIFT特征图像匹配方法对所述低频子图像和目标图像进行粗匹配,得到源图像中的粗匹配点;
步骤C、从源图像中选取粗匹配点最集中的部分图像;
步骤D、利用SIFT特征图像匹配方法对所选取的粗匹配点最集中的部分图像和目标图像进行细匹配,得到最终的图像匹配结果。
2.根据权利要求1所述图像快速匹配方法,其特征在于:在步骤B与步骤C之间还包括对粗匹配点进行筛选的步骤:首先对以粗匹配点的坐标所构成的数据集进行聚类,在聚类完成后将不能归入任一簇集的粗匹配点作为错误匹配点进行剔除,得到源图像中的粗匹配点,转入步骤C。
3.根据权利要求2所述图像快速匹配方法,其特征在于:所述步骤C,从源图像中选取粗匹配点最集中的部分图像,具体方法如下:以聚类所得到的各簇中心的横坐标均值、纵坐标均值作为横坐标、纵坐标在源图像中确定一点,在源图像中选取以该点为中心的部分图像。
4.根据权利要求1所述图像快速匹配方法,其特征在于,所述步骤C,所述从源图像中选取粗匹配点最集中的部分图像,具体方法如下:以各粗匹配点的横坐标均值、纵坐标均值作为横坐标、纵坐标在源图像中确定一点,在源图像中选取以该点为中心的部分图像。
5.根据权利要求1所述图像快速匹配方法,其特征在于,从源图像中所选取的粗匹配点最集中的部分图像的大小按照以下方法确定:
式中,L、W分别为源图像的长度、宽度,ll为所选取部分图像的边长,ll、L、W的单位均为像素;表示向下取整运算。
6.根据权利要求1所述图像快速匹配方法,其特征在于,所述小波分解采用软件实现的B样条小波滤波器。
7.根据权利要求1所述图像快速匹配方法,其特征在于,所述小波分解采用硬件实现的非规范的haar小波滤波器。
8.根据权利要求1~7任一项所述图像快速匹配方法,其特征在于,源图像为遥感图像。
CN201711213054.6A 2017-11-27 2017-11-27 一种图像快速匹配方法 Pending CN107895380A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711213054.6A CN107895380A (zh) 2017-11-27 2017-11-27 一种图像快速匹配方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711213054.6A CN107895380A (zh) 2017-11-27 2017-11-27 一种图像快速匹配方法

Publications (1)

Publication Number Publication Date
CN107895380A true CN107895380A (zh) 2018-04-10

Family

ID=61806818

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711213054.6A Pending CN107895380A (zh) 2017-11-27 2017-11-27 一种图像快速匹配方法

Country Status (1)

Country Link
CN (1) CN107895380A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108921175A (zh) * 2018-06-06 2018-11-30 西南石油大学 一种基于fast改进的sift图像配准方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102842134A (zh) * 2012-07-16 2012-12-26 西安电子科技大学 基于sar图像的快速景象匹配方法
CN104751470A (zh) * 2015-04-07 2015-07-01 东南大学 一种图像快速匹配方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102842134A (zh) * 2012-07-16 2012-12-26 西安电子科技大学 基于sar图像的快速景象匹配方法
CN104751470A (zh) * 2015-04-07 2015-07-01 东南大学 一种图像快速匹配方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108921175A (zh) * 2018-06-06 2018-11-30 西南石油大学 一种基于fast改进的sift图像配准方法

Similar Documents

Publication Publication Date Title
CN107358258B (zh) 基于nsct双cnn通道和选择性注意机制的sar图像目标分类
Muhammad et al. Image forgery detection using steerable pyramid transform and local binary pattern
Meethongjan et al. An intelligent fused approach for face recognition
WO2017080196A1 (zh) 基于人脸图像的视频分类方法和装置
CN104809731B (zh) 一种基于梯度二值化的旋转尺度不变场景匹配方法
Abidin et al. Copy-move image forgery detection using deep learning methods: a review
Kasban et al. An efficient approach for forgery detection in digital images using Hilbert–Huang​ transform
Al-Hammadi et al. Curvelet transform and local texture based image forgery detection
Yang et al. Digital image forgery forensics by using undecimated dyadic wavelet transform and Zernike moments
CN104751470A (zh) 一种图像快速匹配方法
CN108932492A (zh) 一种基于非采样剪切波变换的图像指纹提取方法
Sun et al. Recaptured image forensics algorithm based on image texture feature
Doegar et al. Image forgery detection based on fusion of lightweight deep learning models
Sanyal et al. Traffic sign recognition on Indian database using wavelet descriptors and convolutional neural network ensemble
Wang et al. An improved SIFT feature extraction method for tyre tread patterns retrieval
CN107895380A (zh) 一种图像快速匹配方法
Dhar et al. Interval type-2 fuzzy set and human vision based multi-scale geometric analysis for text-graphics segmentation
Rathi et al. Copy move forgery detection by using integration of SLIC and SIFT
Song et al. Face anti-spoofing detection using least square weight fusion of channel-based feature classifiers
Hashmi et al. Fast and robust copy-move forgery detection using wavelet transforms and SURF.
Verma et al. Multi-resolution Local extrema patterns using discrete wavelet transform
CN103077396B (zh) 一种彩色图像的向量空间特征点提取方法及装置
Huang et al. Boosting scheme for detecting region duplication forgery in digital images
Sedai et al. Evaluating shape and appearance descriptors for 3D human pose estimation
Zhang et al. Digital image forensics of non-uniform deblurring

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180410