CN111242221B - 基于图匹配的图像匹配方法、系统及存储介质 - Google Patents

基于图匹配的图像匹配方法、系统及存储介质 Download PDF

Info

Publication number
CN111242221B
CN111242221B CN202010036611.7A CN202010036611A CN111242221B CN 111242221 B CN111242221 B CN 111242221B CN 202010036611 A CN202010036611 A CN 202010036611A CN 111242221 B CN111242221 B CN 111242221B
Authority
CN
China
Prior art keywords
matrix
matching
image
feature
graph
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010036611.7A
Other languages
English (en)
Other versions
CN111242221A (zh
Inventor
申槟瑞
朱圣鑫
牛强
马飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Jiaotong Liverpool University
Original Assignee
Xian Jiaotong Liverpool University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Jiaotong Liverpool University filed Critical Xian Jiaotong Liverpool University
Priority to CN202010036611.7A priority Critical patent/CN111242221B/zh
Publication of CN111242221A publication Critical patent/CN111242221A/zh
Application granted granted Critical
Publication of CN111242221B publication Critical patent/CN111242221B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明揭示了基于图匹配的图像匹配方法、系统及存储介质，其中基于图匹配的图像匹配方法，通过特征点提取、特征点筛选，完全图构建，采用图匹配方法，通过增加边的属性进行匹配，即使局部特征由于相似难以区分或两图中同一物体的局部特征有变化，都能通过特征点之间的距离关系约束准确实现特征的匹配，有效增强了匹配方法的鲁棒性，保证匹配精度。同时，与经典的图匹配技术，如整数投影不动点法（IPFP）和逐步分配算法（GA）相比，此方法采用了先进的快速连续投影不动点迭代方法求最优解，并提出了新的投影方法，在优化的过程中简化了计算量，极大提高了图匹配方法的速度，并且在图匹配技术本有的高精确度之上又有一定程度的精度提升。

Description

基于图匹配的图像匹配方法、系统及存储介质
技术领域
本发明涉及计算机视觉领域和模式识别领域，具体是图像处理技术领域，尤其是基于图匹配的图像匹配方法、系统及存储介质。
背景技术
随着多媒体技术的迅猛发展，图像已成为传递信息的重要载体，数字图像处理技术越来越彰显出它的重要地位，其中图像匹配技术更是近些年来人们关注的重点内容。因为数字图像处理技术的其他研究方向如图像识别、图像检索，以及目标识别、目标跟踪等都是在图像匹配技术的基础上进一步发展的。可以说图像匹配技术的进步能够带动数字图像处理技术整体的发展。
但图像匹配技术不仅是研究热点，同时也是研究难点。匹配的目标是对图像中相同的物体找到精确的对应关系，然而其实现过程受到了很多限制。比如待匹配的图像可能来自不同的摄影设备，不同的拍摄场景，甚至是不同的拍摄时代。存储设备的不同，视角、光照的变换以及背景的杂乱所带来的是物体的失真，几何变形，噪声干扰等，这些影响无疑给图像匹配技术带来了巨大考验。
特征匹配即为找到两幅图中的特征之间的对应关系。近些年来，广大学者已经对图像匹配技术进行了大量的研究，并取得较好的学术成果。一般的图像匹配方法是基于图像特征点及特征描述向量进行的，传统的特征匹配方法的是点匹配，即直接使用关键点的特征向量进行匹配。对每一个特征点，都为其于匹配图片中找到最为相似的特征点。但是由于仅仅依靠局部特征进行匹配，导致点匹配往往忽略了全局的信息。当图片的局部特征非常相似之时，点匹配方法难以区分这些特征点，进而导致匹配混乱。且当两幅图像的特征因为拍摄的角度或距离不同而产生变化时，点匹配方法也难以做到精确的匹配。
而利用图匹配算法则可以实现匹配集的优化，首先变是将图片转化为图，图中的顶点代表图像特征点，图中的边代表图像特征点关联，设置能量函数式表示点与点、边与边之间的相似性，通过最小化函数式达到匹配约束效果。但传统的图匹配算法，如经典图匹配技术整数投影不动点法(IPFP)和逐步分配算法(GA)，其求解过程过于复杂，时间花销大，无法实现匹配的高效。
发明内容
本发明的目的就是为了解决现有技术中存在的上述问题，通过图匹配算法并对算法改进，从而提供了一种快速实现图像匹配的基于图匹配的图像匹配方法、系统及存储介质。
本发明的目的通过以下技术方案来实现：
基于图匹配的图像匹配方法，包括如下步骤：
S1，获取待匹配的参考图像与目标图像；
S2，分别提取两个图像中的特征点，并得到每个特征点的特征向量；
S3，计算一个图像中每个特征向量与另一个图像中的所有特征向量的相似度，选择相似度高的n个特征向量，并得到参考图像的特征矩阵和目标图像的特征矩阵；
S4，将筛选得到的特征点作为顶点构建得到两个完全图，并得到参考图像的邻接矩阵和目标图像的邻接矩阵；
S5，对两个完全图进行图匹配，通过投影不动点迭代方法和匈牙利算法得出匹配误差最小的匹配矩阵从而确定两个完全图的特征点之间的最优匹配关系。
优选的，所述的基于图匹配的图像匹配方法中，所述S2步骤中，通过SIFT提取方法提取特征点及得到特征向量。
优选的，所述的基于图匹配的图像匹配方法中，所述S3步骤中，通过计算向量内积来计算相似度，具体包括：
S31,根据公式(1)计算参考图像的每一特征向量与目标图像所有特征向量的相似度，
Figure BDA0002366249070000031
S32,根据公式(2)计算目标图像的每一特征向量与参考图像的所有特征向量的相似度，
Figure BDA0002366249070000032
其中，Fi为参考图像的第i个特征点的特征向量；
Figure BDA0002366249070000033
为目标图像的第j个特征点的特征向量；
S33,计算完毕之后，将每个图像的特征向量按相似度大小排序，保留所需数量的n个特征向量,分别组成参考图像的特征矩阵和目标图像的特征矩阵。
优选的，所述的基于图匹配的图像匹配方法中，所述S3步骤中，n在50～1000之间取值。
优选的，所述的基于图匹配的图像匹配方法中，所述S5包括：
S51,初始化矩阵M(0)为一个n×n的矩阵，其每个元素大小都为
Figure BDA0002366249070000034
接着根据公式(3)进行迭代至收敛，每次迭代都是根据上一轮得出的矩阵，重新计算/>
Figure BDA0002366249070000035
得到一个新的矩阵，并将该矩阵通过投影函数转变成一个与之最接近的双随机矩阵,
Figure BDA0002366249070000041
其中，M(t)是指第t次迭代得到的矩阵；t为迭代次数；P(·)为投影函数；A为参考图像的邻接矩阵；
Figure BDA0002366249070000042
为目标图像的邻接矩阵；λ为控制两种误差比例的变量；F为目标图像的特征矩阵；/>
Figure BDA0002366249070000043
为目标图像的特征矩阵的转置矩阵；
S52,用匈牙利算法将得到的双随机矩阵转化为排列矩阵即为匹配矩阵，得到特征点之间的最优匹配关系。
优选的，所述的基于图匹配的图像匹配方法中，所述S51中投影函数的计算过程如下
S511，对于给定矩阵N,用softmax算法，按照公式(4)增大其元素之间的大小分离度，并且保证每个元素为正：
Figure BDA0002366249070000044
其中，给定矩阵
Figure BDA0002366249070000045
β是控制离散程度的变量，在10-5～10-7之间取值；
S512，使用sinkhorn算法将S511得到的矩阵S转化为一个双随机矩阵，即根据公式(5)、(6)对双随机矩阵的行和列进行交替的归一化迭代；
Figure BDA0002366249070000046
Figure BDA0002366249070000047
其中，Sij是矩阵S第i行j列的元素；
Figure BDA0002366249070000048
是矩阵S第i行j列的元素的第t次迭代，t为迭代次数。
优选的，所述的基于图匹配的图像匹配方法还包括：
S6，剔除错误匹配的特征点；
S7，获得两个图像的特征点之间的最终匹配关系。
优选的，所述的基于图匹配的图像匹配方法中，所述S6步骤包括，
S61,根据公式(7)计算匹配上的特征点之间的余弦相似度，
Figure BDA0002366249070000051
其中，‖Fi‖为特征向量Fi的范数，
Figure BDA0002366249070000052
为特征向量/>
Figure BDA0002366249070000053
的范数；
S62,当余弦相似度低于阈值时，令匹配矩阵中余弦相似度低于阈值的对应元素由1变为0。
优选的，所述的基于图匹配的图像匹配方法中，所述S6步骤中的阈值在50％～90％之间。
基于图匹配的图像匹配系统，包括：
图片获取单元，用于获取待匹配的参考图像与目标图像；
特征点提取单元，用于分别提取两个图像中的特征点，并得到每个特征点的特征向量；
特征点筛选单元，用于计算一个图像中每个特征向量与另一个图像中的所有特征向量的相似度，选择相似度高的n个特征向量，并得到参考图像的特征矩阵和目标图像的特征矩阵；
图构建单元，用于将筛选得到的特征点作为顶点构建得到两个完全图，并得到参考图像的邻接矩阵和目标图像的邻接矩阵；
图匹配单元，用于对两个完全图进行图匹配，通过投影不动点迭代方法和匈牙利算法得出匹配误差最小的匹配矩阵从而确定两个完全图的特征点之间的最优匹配关系。
优选的，所述的基于图匹配的图像匹配系统还包括：剔除单元，用于剔除余弦相似度低于阈值的特征点。
存储介质，存储有实现上述方法的程序。
本发明技术方案的优点主要体现在：
本方案设计精巧，采用图匹配方法，通过增加边的属性进行匹配，即使局部特征由于相似难以区分或两图中同一物体的局部特征有变化，都能通过特征点之间的距离关系约束准确实现特征的匹配，有效增强了匹配方法的鲁棒性，保证匹配精度。同时，与经典的图匹配技术，如整数投影不动点法(IPFP)和逐步分配算法(GA)相比，此方法采用了先进的快速连续投影不动点迭代方法求最优解，并提出了新的投影方法，在优化的过程中简化了计算量，极大提高了图匹配方法的速度，并且在图匹配技术本有的高精确度之上又有一定程度的精度提升。
本方案通过对特征点的两级筛选并通过筛选参数的优选，有效的避免了错误和低相似度的特征点的干扰，从而提高了最终的匹配精度，同时减小了计算量。
附图说明
图1是本发明的流程示意图；
图2a、2b是本发明的S2步骤用于同一位置不同拍摄角度的两张图片的特征点提取的示意图；
图2c、2d是本发明的S3步骤用于同一位置不同拍摄角度的两张图片的特征点筛选后的示意图；
图2e是本发明的S4步骤构建图的一个示例图；
图2f是本发明的S5步骤用于同一位置不同拍摄角度的两张图片进行图匹配后的匹配结果示意图；
图2g是本发明的S6步骤用于同一位置不同拍摄角度的两张图片的进行余弦相似度筛选后的匹配结果示意图(其中余弦相似度阈值为60％，筛选后原100个匹配剩余52个)；
图2h是传统点匹配方法用于同一位置不同拍摄角度的两张图片的匹配结构示意图(图中交叉线条越多表明匹配误差越大)；
图3a是本发明的方法用于局部特征相似情况下的两张图片的匹配结果示意图；
图3b是传统点匹配方法用于局部特征相似情况下的两张图片的匹配结果示意图(图中交叉线条越多表明匹配误差越大)；
图4a是本发明的方法用于不同距离拍摄的两张图片的匹配结构示意图；
图4b是传统的点匹配方法用于不同距离拍摄的两张图片的匹配结构示意图(图中交叉线条越多表明匹配误差越大)。
具体实施方式
本发明的目的、优点和特点，将通过下面优选实施例的非限制性说明进行图示和解释。这些实施例仅是应用本发明技术方案的典型范例，凡采取等同替换或者等效变换而形成的技术方案，均落在本发明要求保护的范围之内。
在方案的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“前”、“后”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。并且，在方案的描述中，以操作人员为参照，靠近操作者的方向为近端，远离操作者的方向为远端。
下面结合附图对本发明揭示的基于图匹配的图像匹配方法进行阐述，该方法尤其适用于两幅图像的局部特征的匹配，其具体可用于分析两张图像的相似度，如附图1所示，所述图像匹配方法包括如下步骤：
S1，获取待匹配的参考图像与目标图像；所述参考图像与目标图像可以是对同一对象在相同或不同的距离、角度、光照等条件下获取的两张图像。
S2，分别提取两个图像中的特征点，并得到每个特征点的特征向量；此处，优选通过SIFT提取方法(尺度不变特征变换方法)提取特征点及得到特征向量。
尺度不变特征变换方法(Scale-invariant feature transform，SIFT)可在图像中检测出与影像的大小和旋转无关的关键点，并对其生成描述点及点周围的图片局部特征的描述子，也称为该点特征向量。这些描述子对旋转、尺度缩放、亮度变化保持不变性，对视角变化、仿射变换、噪声等也有一定的鲁棒性。特征描述子是以特征点为中心取16x16的邻域作为采样窗口，将采样点和特征点的相对方向通过高斯窗口进行加权运算，归入4x4个格子，每个格子有八个方向，这样就得到了128维的向量。这个向量就是对该采样点及其周围像素信息的表示。
所述SIFT特征检测主要包括以下4个基本步骤：
1、尺度空间极值检测：搜索所有尺度上的图像位置。通过高斯微分函数来识别潜在的对于尺度缩放、旋转、亮度变化无关的特征向量。
2、关键点定位，在每个候选的位置上，通过一个拟合精细的模型来确定位置和尺度。关键点的选择依据于它们的稳定程度。
3、方向确定，基于图像局部的梯度方向，分配给每个关键点位置一个或多个方向。所有后面的对图像数据的操作都相对于关键点的方向、尺度和位置进行变换，从而提供对于这些变换的不变性。
4、关键点描述，在每个关键点周围的邻域内，在选定的尺度上测量图像局部的梯度。这些梯度被变换成一种表示，这种表示允许比较大的局部形状的变形和光照变化。
此处SIFT特征检测的具体方法为现有技术，此处不作赘述，特征提取的效果图如附图2a、2b所示，图中各圆圈区域为所述提取的特征点。
S3，计算一个图像中每个特征向量与另一个图像中的所有特征向量的相似度，选择相似度高的n个特征向量，得到参考图像的特征矩阵和目标图像的特征矩阵。
这是由于相似度低的特征向量可能难以找到对应的匹配关系，一方面增加了后续匹配的计算量，也增加了匹配错误的风险，因此需要剔除，以保留高相似度的特征向量从而有效提高匹配精度。
具体的，通过计算向量内积来计算相似度，详细步骤如下：
S31,根据公式(1)计算参考图像的每一特征向量与目标图像所有特征向量的相似度，
Figure BDA0002366249070000091
S32,根据公式(2)计算目标图像的每一特征向量与参考图像的所有特征向量的相似度，
Figure BDA0002366249070000092
其中，Fi为参考图像的第i个特征点的特征向量；
Figure BDA0002366249070000093
为目标图像的第j个特征点的特征向量；
S33，计算完毕之后，将每个图像的特征向量按相似度大小排序，即将参考图像的每个特征向量按照相似度由大至小或由小至大排序及将目标图像的每个特征向量按照相似度由大至小或由小至大排序，然后保留所需要的相似度高的n个特征向量,其中，n在50～1000之间取值，即分别从参考图像和目标图像的特征向量中选择相似度最高的50～1000个特征向量，分别组成参考图像的特征矩阵F和目标图像的特征矩阵
Figure BDA0002366249070000101
特征点筛选后的效果图如附图2c、2d所示。
S4，如附图2e所示，将筛选得到的特征点作为顶点构建得到两个完全图(此处的图graph是一种网状数据结构，是由非空的顶点集合和一个描述顶点之间关系的集合组成)，并得到参考图像的邻接矩阵和目标图像的邻接矩阵。
此处构建完全图为已知技术，具体的是将从参考图像中筛选得到的所有的特征点作为顶点，顶点相互连接作为边，得到一个完全图，两个顶点之间的距离作为对应边的长度为，图中的边的长度即为对应特征点之间在图片中的欧几里得距离，由此得到一个n×n的邻接矩阵，记参考图像的邻接矩阵为A，关键点i在图像中的位置为(xi，yi),则
Figure BDA0002366249070000102
按照上述过程，同理可得目标图像的邻接矩阵/>
Figure BDA0002366249070000103
S5，将两幅图片转化为完全图之后，对两个完全图进行图匹配可以得到特征点之间的最优对应关系。任一个对应关系可以表示为一个排列矩阵(排列矩阵：矩阵元素为0或1，且每行每列有且只有一个元素为一)，也叫做匹配矩阵M。Mij＝1表示参考图像的第i个关键点匹配上了匹配图像的第j个关键点。
详细来说，图匹配算法的目的是找一个能使得匹配误差最小的匹配矩阵，此处匹配误差
Figure BDA0002366249070000111
是一个对于匹配矩阵M的量化指标，其中‖·‖F是弗罗贝尼乌斯矩阵范数，其计算方式为/>
Figure BDA0002366249070000112
FT为特征矩阵F的偏置矩阵；第一个项表示匹配后的边的误差，第二项为匹配后点的特征的误差；λ为控制两种误差比例的变量，通常取1。如果一个匹配矩阵M的匹配误差较小，则说明它较好的描述了图像特征之间的联系，是一个较好的匹配关系。
基于此，图匹配问题可以转化为一个离散优化问题：
Figure BDA0002366249070000113
s.t.M1＝1,M′1＝1,M∈{0,1}n×n,
为了提高算法速率和防止陷入局部极大值，通过将原问题的定义域松弛到双随机矩阵空间上，从而我们将这个离散优化问题转为一个连续优化问题：
Figure BDA0002366249070000114
s.t.M1＝1,M′1＝1,M≥0.
此处，M是匹配矩阵；M′是匹配矩阵M的转置矩阵；粗体的1表示匹配元素大小全为1的列向量；M1＝1表示矩阵M乘以元素全为1的列向量等于元素全为1的列向量，意味着矩阵M每一行的和为1；M′1＝1表示矩阵M的转置矩阵乘以元素全为1的列向量等于元素全为1的列向量，意味着M每一列的和为1。
实际计算时，通过投影不动点迭代方法可以快速得到上述连续优化问题的近似解，即令
Figure BDA0002366249070000115
其导数为▽/>
Figure BDA0002366249070000116
则上述最大值问题可以由下述定点得带法得出近似解
Figure BDA0002366249070000121
投影不动点迭代方法可以找到匹配误差最小的双随机矩阵，该矩阵可看作是最终所需的匹配矩阵的连续状态，然后再通过匈牙利算法将所述双随机矩阵转化为所需要的匹配矩阵M从而确定两个完全图的特征点之间的最优匹配关系。
具体的包括如下步骤：
S51,首先初始化矩阵M(0)为一个n×n的矩阵，其每个元素大小都为
Figure BDA0002366249070000122
接着，根据公式(3)进行迭代至收敛，迭代收敛判定为当|M(t+1)-M(t)|<∈时，可认为算法已经收敛，停止运算并输出M(t+1)作为结果；∈通常取0.01到0.1；
Figure BDA0002366249070000123
其中，M(t)是指第t次迭代得到的矩阵；t为迭代次数；P(·)为投影函数，该函数可以将给定矩阵转换为一个与原矩阵最接近的双随机矩阵；A为参考图像的邻接矩阵；
Figure BDA0002366249070000124
为目标图像的邻接矩阵；λ为控制两种误差比例的变量；F为目标图像的特征矩阵；/>
Figure BDA0002366249070000125
为目标图像的特征矩阵的转置矩阵。
公式(3)是一个递推式的迭代，每次迭代都是根据上一轮得出的矩阵M(t)计算M(t +1)，即重新计算
Figure BDA0002366249070000126
得到一个新的矩阵，并将该矩阵通过投影函数转变成一个与之最接近的双随机矩阵，在每次计算过程中都有投影函数参与。当然求解得出来的连续的M(t)不是最终解，后续需要用匈牙利算法转化为离散的0，1矩阵。
进一步，为了提升运算效率，发明人在不降低运算精度的基础上，简化了原有方法的运算，即在此方法中，发明人应用了一个新的快速有效的投影方法：softmax-Sinkhorn算法来实现，该投影方法包括如下过程：
S511，对于给定矩阵N,首先用softmax算法，按照公式(4)增大其元素之间的大小分离度，并且保证每个元素为正：
Figure BDA0002366249070000131
其中，给定矩阵
Figure BDA0002366249070000132
β是控制离散程度的变量，通常在10-5～10-7之间取值。
S512，然后，使用sinkhorn算法将S511得到的矩阵S转化为一个双随机矩阵，具体是根据公式(5)、(6)对矩阵S的行和列进行交替的归一化迭代；
Figure BDA0002366249070000133
Figure BDA0002366249070000134
其中，Sij是矩阵S第i行j列的元素；
Figure BDA0002366249070000135
是矩阵S第i行j列的元素的第t次迭代，t为迭代次数。
初始化：S(0)＝S。
收敛判定条件为：当‖S(t+2)-S(t)‖F<ε时，停止运算并输出S(t+2)，其中ε通常取0.005到0.1。
S52,当S512步骤迭代收敛后，用匈牙利算法(Hungarian algorithm)将最终得到的双随机矩阵转化为排列矩阵即为匹配误差最小的匹配矩阵，得到特征点之间的最优匹配关系，此处匈牙利算法为已知技术，不作赘述；图匹配后得到匹配结果图如附图2f所示。
由于两幅图片不完全一样时，可能目标图片提取出来的一些特征点在参考图片上根本不存在(反之亦然)，这样就会导致一些错误的匹配，因此，为了进一步提高匹配精确度，所述基于图匹配的图像匹配方法还包括如下步骤：
S6，剔除异常匹配特征点，具体包括，
S61,根据公式(7)计算匹配上的特征点之间的余弦相似度，即若Mij＝1,参考图片的第i个特征点与匹配图片的第j个特征点的余弦相似度为：
Figure BDA0002366249070000141
其中，‖Fi‖为特征向量Fi的范数，
Figure BDA0002366249070000142
为特征向量/>
Figure BDA0002366249070000143
的范数；
S62,当余弦相似度低于阈值时，所述阈值优选在50％～90％之间，剔除低于阈值的特征点，具体的是令匹配矩阵中余弦相似度低于阈值的对应元素由1变为0。
S7，获得两个图像的特征点之间的最终匹配关系，得到如附图2g、3a、4a所示的匹配效果图。
采用本发明的方法与点匹配方法的比较结果，如附图2g、2h,3a、3b,4a、4b所示，其中线条交叉越多表明匹配的效果越差，匹配精度越高，因此可以直观的看出，采用本实施例的方法最终匹配结果中线条交叉的数量明显少于点匹配方法最终匹配结果中线条交叉的数量。
采用本方案的方法与经典方法就相同的图像进行图像匹配时的数据对比如下：
表(1)为匹配误差比对表
图例 IPFP GA 本方法
树皮(300个顶点) 2.42×104 3.81×104 2.17×104
墙壁(600个顶点) 6.93×104 7.42×104 6.74×1　04
涂鸦(900个顶点) 7.70×104 8.19×104 7.29×104
表(2)为匹配时间对比表
图例 IPFP GA 本方法
树皮(300个顶点) 8.56秒 1.45秒 0.31秒
墙壁(600个顶点) 38.75秒 24.12秒 1.13秒
涂鸦(900个顶点) 274.81秒 128.32秒 4.59秒
从表(1)、表(2)数据可看出，本方法相对于现有相比：匹配误差更低，尤其相对于GA发放而言，匹配误差明显降低，精度提高40％以上。从匹配时间来看，本方案相对于现有方法有大幅度的提高，尤其是相对于IPFP方法而言，计算速率提升数十倍，并且随着特征点数量的增加，本方法相对于现有方法所需的处理时间的增加量明显更少，因此对于大量特征点的比对更适用。
本方案进一步揭示了一种基于图匹配的图像匹配系统，用于实现上述的方法，其包括：
图片获取单元，用于获取待匹配的参考图像与目标图像；
特征点提取单元，用于分别提取两个图像中的特征点，并得到每个特征点的特征向量；
特征点筛选单元，用于计算一个图像中每个特征向量与另一个图像中的所有特征向量的相似度，选择相似度高的n个特征向量，并得到参考图像的特征矩阵和目标图像的特征矩阵；
图构建单元，用于将筛选得到的特征点作为顶点构建得到两个完全图，并得到参考图像的邻接矩阵和目标图像的邻接矩阵；
图匹配单元，用于对两个完全图进行图匹配，通过投影不动点迭代方法和匈牙利算法得出匹配误差最小的匹配矩阵从而确定两个完全图的特征点之间的最优匹配关系；
及剔除单元，用于剔除余弦相似度低于阈值的特征点。
本方案还揭示了一种存储介质，存储有实现上述方法的程序。
本发明尚有多种实施方式，凡采用等同变换或者等效变换而形成的所有技术方案，均落在本发明的保护范围之内。

Claims (11)

1.基于图匹配的图像匹配方法，其特征在于，包括如下步骤：
S1，获取待匹配的参考图像与目标图像；
S2，分别提取两个图像中的特征点，并得到每个特征点的特征向量；
S3，计算一个图像中每个特征向量与另一个图像中的所有特征向量的相似度，选择相似度高的n个特征向量得到参考图像的特征矩阵和目标图像的特征矩阵；
S4，将筛选得到的特征点作为顶点构建得到两个完全图，并得到参考图像的邻接矩阵和目标图像的邻接矩阵；
S5，对两个完全图进行图匹配，通过投影不动点迭代方法和匈牙利算法得出匹配误差最小的匹配矩阵，从而确定两个完全图的特征点之间的最优匹配关系；
所述S5包括：
S51,初始化矩阵M(0)为一个n×n的矩阵，其每个元素大小都为
Figure FDA0004092847250000011
接着根据公式(3)进行迭代至收敛，每次迭代都是根据上一轮得出的矩阵，重新计算/>
Figure FDA0004092847250000012
得到一个新的矩阵，并将该矩阵通过投影函数转变成一个与之最接近的双随机矩阵，
Figure FDA0004092847250000013
其中，M(t)是第t次迭代得到的矩阵；t为迭代次数；P(·)为投影函数；A为参考图像的邻接矩阵；
Figure FDA0004092847250000014
为目标图像的邻接矩阵；λ为控制两种误差比例的变量；F为目标图像的特征矩阵；/>
Figure FDA0004092847250000015
为目标图像的特征矩阵的转置矩阵；
S52,用匈牙利算法将得到的双随机矩阵转化为排列矩阵即为匹配矩阵，得到特征点之间的最优匹配关系。
2.根据权利要求1所述的基于图匹配的图像匹配方法，其特征在于，所述S2步骤中，通过SIFT提取方法提取特征点及得到特征向量。
3.根据权利要求1所述的基于图匹配的图像匹配方法，其特征在于，所述S3步骤中，通过计算向量内积来计算相似度，具体包括：
S31,根据公式(1)计算参考图像的每一特征向量与目标图像所有特征向量的相似度，
Figure FDA0004092847250000021
S32,根据公式(2)计算目标图像的每一特征向量与参考图像的所有特征向量的相似度，
Figure FDA0004092847250000022
其中，Fi为参考图像的第i个特征点的特征向量；
Figure FDA0004092847250000023
为目标图像的第j个特征点的特征向量；
S33,计算完毕之后，将每个图像的特征向量按相似度大小排序，保留大于相似度阈值的特征向量,分别组成参考图像的特征矩阵和目标图像的特征矩阵。
4.根据权利要求1所述的基于图匹配的图像匹配方法，其特征在于，所述S3步骤中，n在50～1000之间取值。
5.根据权利要求1所述的基于图匹配的图像匹配方法，其特征在于，所述S51中投影函数的计算过程如下：
S511，对于给定矩阵N,用softmax算法，按照公式(4)增大其元素之间的大小分离度，并且保证每个元素为正：
Figure FDA0004092847250000024
其中，给定矩阵
Figure FDA0004092847250000031
β是控制离散程度的变量，在10-5～10-7之间取值；
S512，使用sinkhorn算法将S511得到的矩阵S转化为一个双随机矩阵，即根据公式(5)、(6)对矩阵S的行和列进行交替的归一化迭代；
Figure FDA0004092847250000032
Figure FDA0004092847250000033
其中，Sij是矩阵S第i行j列的元素；
Figure FDA0004092847250000034
是矩阵S第i行j列的元素的第t次迭代。
6.根据权利要求1所述的基于图匹配的图像匹配方法，其特征在于，还包括：
S6，剔除错误匹配的特征点；
S7，获得两个图像的特征点之间的最终匹配关系。
7.根据权利要求6所述的基于图匹配的图像匹配方法，其特征在于，所述S6步骤包括，
S61,根据公式(7)计算匹配上的特征点之间的余弦相似度，
Figure FDA0004092847250000035
其中，||Fi||为特征向量Fi的范数，
Figure FDA0004092847250000036
为特征向量/>
Figure FDA0004092847250000037
的范数；
S62,当余弦相似度低于阈值时，令匹配矩阵中余弦相似度低于阈值的对应元素由1变为0。
8.根据权利要求7所述的基于图匹配的图像匹配方法，其特征在于，所述S6步骤中的阈值在50％～90％之间。
9.基于图匹配的图像匹配系统，其特征在于，包括：
图片获取单元，用于获取待匹配的参考图像与目标图像；
特征点提取单元，用于分别提取两个图像中的特征点，并得到每个特征点的特征向量；
特征点筛选单元，用于计算一个图像中每个特征向量与另一个图像中的所有特征向量的相似度，选择相似度高的n个特征向量，并得到参考图像的特征矩阵和目标图像的特征矩阵；
图构建单元，用于将筛选得到的特征点作为顶点构建得到两个完全图，并得到参考图像的邻接矩阵和目标图像的邻接矩阵；
图匹配单元，用于对两个完全图进行图匹配，通过投影不动点迭代方法和匈牙利算法得出匹配误差最小的匹配矩阵从而确定两个完全图的特征点之间的最优匹配关系；
所述图匹配单元用于对两个完全图进行图匹配，通过投影不动点迭代方法和匈牙利算法得出匹配误差最小的匹配矩阵从而确定两个完全图的特征点之间的最优匹配关系，具体包括：
初始化矩阵M(0)为一个n×n的矩阵，其每个元素大小都为
Figure FDA0004092847250000041
接着根据公式(3)进行迭代至收敛，每次迭代都是根据上一轮得出的矩阵，重新计算/>
Figure FDA0004092847250000042
得到一个新的矩阵，并将该矩阵通过投影函数转变成一个与之最接近的双随机矩阵，
Figure FDA0004092847250000043
其中，M(t)是第t次迭代得到的矩阵；t为迭代次数；P(·)为投影函数；A为参考图像的邻接矩阵；
Figure FDA0004092847250000044
为目标图像的邻接矩阵；λ为控制两种误差比例的变量；F为目标图像的特征矩阵；/>
Figure FDA0004092847250000045
为目标图像的特征矩阵的转置矩阵；
用匈牙利算法将得到的双随机矩阵转化为排列矩阵即为匹配矩阵，得到特征点之间的最优匹配关系。
10.根据权利要求9所述的基于图匹配的图像匹配系统，其特征在于，还包括：剔除单元，用于剔除余弦相似度低于阈值的特征点。
11.存储介质，其特征在于：存储有实现如权利要求1-8任一所述的基于图匹配的图像匹配方法的程序。
CN202010036611.7A 2020-01-14 2020-01-14 基于图匹配的图像匹配方法、系统及存储介质 Active CN111242221B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010036611.7A CN111242221B (zh) 2020-01-14 2020-01-14 基于图匹配的图像匹配方法、系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010036611.7A CN111242221B (zh) 2020-01-14 2020-01-14 基于图匹配的图像匹配方法、系统及存储介质

Publications (2)

Publication Number Publication Date
CN111242221A CN111242221A (zh) 2020-06-05
CN111242221B true CN111242221B (zh) 2023-06-20

Family

ID=70874548

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010036611.7A Active CN111242221B (zh) 2020-01-14 2020-01-14 基于图匹配的图像匹配方法、系统及存储介质

Country Status (1)

Country Link
CN (1) CN111242221B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112007009A (zh) * 2020-07-28 2020-12-01 重庆华森制药股份有限公司 一种盐酸特拉唑嗪胶囊的智能制造方法及系统
CN112015935B (zh) * 2020-09-03 2022-12-06 科大讯飞股份有限公司 图像搜索方法、装置、电子设备及存储介质
CN112085092B (zh) * 2020-09-08 2023-06-20 哈尔滨工业大学（深圳） 一种基于时空连续性约束的图匹配方法及装置
CN113139490B (zh) * 2021-04-30 2024-02-23 中德（珠海）人工智能研究院有限公司 一种图像特征匹配方法、装置、计算机设备及存储介质
CN113506368B (zh) * 2021-07-13 2023-03-24 阿波罗智能技术(北京)有限公司 地图数据融合方法、装置、电子设备、介质和程序产品
CN114943943B (zh) * 2022-05-16 2023-10-03 中国电信股份有限公司 目标轨迹获得方法、装置、设备及存储介质
CN114742869B (zh) * 2022-06-15 2022-08-16 西安交通大学医学院第一附属医院 基于图形识别的脑部神经外科配准方法及电子设备

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101677561B1 (ko) * 2010-12-08 2016-11-18 한국전자통신연구원 영상 정합 장치 및 그것의 영상 정합 방법
CN102722731A (zh) * 2012-05-28 2012-10-10 南京航空航天大学 一种基于改进sift算法的高效图像匹配方法
CN102930292B (zh) * 2012-10-17 2015-11-11 清华大学 一种基于p-SIFT特征的物体识别方法
JP2015007919A (ja) * 2013-06-25 2015-01-15 Kddi株式会社 異なる視点の画像間で高精度な幾何検証を実現するプログラム、装置及び方法
CN107665479A (zh) * 2017-09-05 2018-02-06 平安科技（深圳）有限公司 一种特征提取方法、全景拼接方法及其装置、设备及计算机可读存储介质
CN110097093B (zh) * 2019-04-15 2022-08-19 河海大学 一种异源图像精确匹配方法

Also Published As

Publication number Publication date
CN111242221A (zh) 2020-06-05

Similar Documents

Publication Publication Date Title
CN111242221B (zh) 基于图匹配的图像匹配方法、系统及存储介质
CN103077512B (zh) 基于主成分析的数字图像的特征提取与匹配方法
US9141871B2 (en) Systems, methods, and software implementing affine-invariant feature detection implementing iterative searching of an affine space
CN109697692B (zh) 一种基于局部结构相似的特征匹配方法
CN108509925B (zh) 一种基于视觉词袋模型的行人重识别方法
JP2011008507A (ja) 画像検索方法およびシステム
Etezadifar et al. A new sample consensus based on sparse coding for improved matching of SIFT features on remote sensing images
CN112926592B (zh) 一种基于改进Fast算法的商标检索方法及装置
Al-Shurbaji et al. An optimized scale-invariant feature transform using chamfer distance in image matching
CN106611030A (zh) 基于视频的对象相似度比较方法和检索方法及其系统
CN106951873B (zh) 一种遥感图像目标识别方法
Sadeghi et al. A local image descriptor based on radial and angular gradient intensity histogram for blurred image matching
CN113129332A (zh) 执行目标对象跟踪的方法和装置
Li et al. A genetic-optimized multi-angle normalized cross correlation SIFT for automatic remote sensing registration
CN111160433B (zh) 一种高分辨率图像特征点的高速匹配方法及系统
Ren et al. SAR image matching method based on improved SIFT for navigation system
Zhou et al. A unified deep learning network for remote sensing image registration and change detection
Clark et al. Perspective correction for improved visual registration using natural features.
Alsharif Keypoint Description Using Statistical Descriptor with Similarity-Invariant Regions.
Huang et al. BALG: An alternative for fast and robust feature matching
Chandramouleeswaran Feature extraction of identical human bite mark images using machine learning and deep neural network
Lu et al. A Sar Image registration method based on SIFT Algorithm
Zhu et al. Automatic remote sensing image registration based on SIFT descriptor and image classification
Kalaiyarasi et al. Enhancing logo matching and recognition using local features
Yang et al. A remote sensing imagery automatic feature registration method based on mean-shift

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant