CN110147801B - 一种基于向量的sift点集平滑匹配方法 - Google Patents

一种基于向量的sift点集平滑匹配方法 Download PDF

Info

Publication number
CN110147801B
CN110147801B CN201910461320.XA CN201910461320A CN110147801B CN 110147801 B CN110147801 B CN 110147801B CN 201910461320 A CN201910461320 A CN 201910461320A CN 110147801 B CN110147801 B CN 110147801B
Authority
CN
China
Prior art keywords
matching
point
relation
corresponding relation
posterior probability
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910461320.XA
Other languages
English (en)
Other versions
CN110147801A (zh
Inventor
刘志远
张振昌
张少涵
高丽斌
陈日清
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujian Agriculture and Forestry University
Original Assignee
Fujian Agriculture and Forestry University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujian Agriculture and Forestry University filed Critical Fujian Agriculture and Forestry University
Priority to CN201910461320.XA priority Critical patent/CN110147801B/zh
Publication of CN110147801A publication Critical patent/CN110147801A/zh
Application granted granted Critical
Publication of CN110147801B publication Critical patent/CN110147801B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于向量的SIFT点集平滑匹配方法。该方法包括：对待匹配的图片进行预处理，提取图片的SIFT特征点构造两个点集；利用开源库初步计算两个点集之间可能存在的关系，通过连接两个点集的特征点对构成向量，用来表示点集映射关系；计算特征点对之间匹配情况的最大后验概率，利用高斯核函数构造正则化项，通过对应关系和正则化项构造能量函数；通过EM算法迭代计算，在第一步中，利用现有的特征点匹配关系估计值，更新其最大后验概率值；在第二步中，根据在第一步中求得的对应关系最大后验概率值，最大化能量函数，从而更新对应关系的估计值；重复迭代进行上述两步，从而得到最佳对应关系，即两个点集正确匹配结果。

Description

一种基于向量的SIFT点集平滑匹配方法
技术领域
本发明涉及图像点集匹配领域，具体是一种基于向量的SIFT点集平滑匹配方法。
背景技术
视觉是人类获取外界信息的最重要的方式，而计算机视觉研究的就是如何让计算机有效地获取外界信息，模仿人类视觉的运行原理。图像匹配是计算机视觉研究领域的重要基础之一，也一直是此领域的研究热点问题。图像匹配是指通过寻找图像对之间两两对应关系，建立起多幅图像间的对应关系，从而解决人脸识别、目标识别、图像拼接、三维重建。
如何有效的进行匹配是图像匹配问题的核心研究内容。因此，通过对图像提取特征点，构造点集进行匹配，并在此基础上实现下一步的图像匹配问题，从而获取有效的匹配结果。在实际应用中，由于需要进行图像匹配的图像数据包括各个方面(如人、车等物体、草地、树木等自然景象)，因此，要选择合适的特征点作为输入数据构成待匹配点集。另外由于输入的图像数据存在分辨率、光照、角度等各方面的不同，这使得图像匹配问题变得更加复杂。
近年来，图像匹配技术一直是众多专家学者的研究热点所在，随着图像匹配技术的发展，点集匹配技术也在同步发展。基于角点特征的匹配算法。基于尺度不变特征的匹配算法、针对形状匹配的形状上下文算法等一系列算法都是为了从图像数据中提取出有效的特征点以进行下一步的匹配问题。在初步进行特征点提取、匹配过程后，需要通过算法(如经典的RANSAC算法)进行消除错误匹配。
本发明采用一种基于向量的SIFT点集平滑匹配方法有效地消除错误匹配，保证最终的点集及图像匹配效果。在传统的开源库(如OpenCV)中，提取SIFT特征点后，采用暴力(brute-force)匹配或者快速最近邻(FLANN)匹配，确定SIFT特征点之间的匹配关系。前者通过寻找距离最低的特征点作为匹配的特征点，后者通过近似的方法，找到相对好的最近邻匹配，但是速度更快。本发明引入高斯核函数，将输入空间映射到高维特征空间，避免“维数灾难”问题的出现。而最大期望(EM)算法是在统计中被用于寻找，依赖于不可观察的隐性变量的概率模型中，求得参数的最大似然估计，经常用在机器学习和计算机视觉的数据聚类领域。
发明内容
本发明的目的在于提供一种基于向量的SIFT点集平滑匹配方法，能够提供最终的点集及图像匹配效果。
为实现上述目的，本发明的技术方案是：一种基于向量的SIFT点集平滑匹配方法，包括如下步骤：
步骤S1、对待匹配的图片进行预处理，提取图片的SIFT特征点构造两个点集；
步骤S2、利用开源库初步计算两个点集之间可能存在的关系，通过连接两个点集的特征点对构成向量，用来表示点集映射关系；
步骤S3、计算特征点对之间匹配情况的最大后验概率，利用高斯核函数构造正则化项，通过对应关系和正则化项构造能量函数；
步骤S4、通过EM算法迭代计算，在第一步中，利用现有的特征点匹配关系估计值，更新其最大后验概率值；
步骤S5、在第二步中，根据在第一步中求得的对应关系最大后验概率值，最大化能量函数，从而更新对应关系的估计值；
步骤S6、重复迭代进行步骤S4、S5，从而得到最佳对应关系，即两个点集正确匹配结果。
在本发明一实施例中，所述步骤S2中，采用向量的形式表示两点间关系，确定初步对应匹配关系。
在本发明一实施例中，所述步骤S3中，最大后验概率计算公式如下：
Figure BDA0002077794720000021
其中，Pn表示概率，y表示输入图像与输出图像之间的向量关系，x表示输入图像的像素点，f表示x与y之间的映射关系，D,a,γ,σ,π代表事先确定的常数。
在本发明一实施例中，所述步骤S3中，高斯核函数和正则化项公式如下：
Figure BDA0002077794720000022
Figure BDA0002077794720000023
其中，κ(·)代表核函数，g(f)代表正则化项，β,λ,
Figure BDA0002077794720000024
Γ代表事先确定的常数。
在本发明一实施例中，所述步骤S3中，能量函数公式如下：
Figure BDA0002077794720000025
其中，
Figure BDA0002077794720000026
代表概率pn的矩阵，
Figure BDA0002077794720000027
代表输入图像与输出图像之间的向量关系的矩阵，λ,
Figure BDA0002077794720000028
Γ代表事先确定的常数。
相较于现有技术，本发明具有以下有益效果：本发明方法能够提供最终的点集及图像匹配效果。
附图说明
图1为本发明方法流程图。
具体实施方式
下面结合附图，对本发明的技术方案进行具体说明。
本发明提供了一种基于向量的SIFT点集平滑匹配方法，包括以下步骤：
1)对需要进行匹配的图像数据进行读取、预处理，提取图片的SIFT特征点构造两个点集；
2)利用开源库初步计算两个点集之间可能存在的关系，通过连接两个点集的特征点对构成向量，用来表示点集映射关系；
3)计算特征点对之间匹配情况的最大后验概
Figure BDA0002077794720000031
利用高斯核函数
Figure BDA0002077794720000032
构造正则化项：
Figure BDA0002077794720000033
使点集匹配更加平滑，具备适用性，通过对应关系和正则化项构造能量函数：
Figure BDA0002077794720000034
4)通过EM算法迭代求解，在第一步(计算期望：E)中，利用现有的特征点匹配关系估计值，更新其最大后验概率值；
5)在第二步(最大化：M)中，根据在E步中求得的对应关系最大后验概率值，最大化能量函数，从而更新对应关系的估计值；
6)重复迭代进行以上两步，从而得到最佳对应关系，即两个点集正确匹配结果。
以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。

Claims (1)

1.一种基于向量的SIFT点集平滑匹配方法，其特征在于，包括如下步骤：
步骤S1、对待匹配的图片进行预处理，提取图片的SIFT特征点构造两个点集；
步骤S2、利用开源库初步计算两个点集之间可能存在的关系，通过连接两个点集的特征点对构成向量，用来表示点集映射关系；
步骤S3、计算特征点对之间匹配情况的最大后验概率，利用高斯核函数构造正则化项，通过对应关系和正则化项构造能量函数；
步骤S4、通过EM算法迭代计算，在EM算法的第一步中，利用现有的特征点匹配关系估计值，更新最大后验概率值；
步骤S5、在EM算法的第二步中，根据在EM算法的第一步中求得的对应关系最大后验概率值，最大化能量函数，从而更新对应关系的估计值；
步骤S6、重复迭代进行步骤S4、S5，从而得到最佳对应关系，即两个点集正确匹配结果；
所述步骤S2中，采用向量的形式表示两点间关系，确定初步对应匹配关系；
所述步骤S3中，最大后验概率计算公式如下：
Figure FDA0004040127490000011
其中，Pn表示概率，y表示输入图像与输出图像之间的向量关系，x表示输入图像的像素点，f表示x与y之间的映射关系，D,a,γ,σ,π代表事先确定的常数；
所述步骤S3中，高斯核函数和正则化项公式如下：
Figure FDA0004040127490000012
Figure FDA0004040127490000013
其中，κ(·)代表核函数，g(f)代表正则化项，
Figure FDA0004040127490000014
代表事先确定的常数；
所述步骤S3中，能量函数公式如下：
Figure FDA0004040127490000015
其中，
Figure FDA0004040127490000016
代表概率pn的矩阵，
Figure FDA0004040127490000017
代表输入图像与输出图像之间的向量关系的矩阵，
Figure FDA0004040127490000018
代表事先确定的常数。
CN201910461320.XA 2019-05-30 2019-05-30 一种基于向量的sift点集平滑匹配方法 Active CN110147801B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910461320.XA CN110147801B (zh) 2019-05-30 2019-05-30 一种基于向量的sift点集平滑匹配方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910461320.XA CN110147801B (zh) 2019-05-30 2019-05-30 一种基于向量的sift点集平滑匹配方法

Publications (2)

Publication Number Publication Date
CN110147801A CN110147801A (zh) 2019-08-20
CN110147801B true CN110147801B (zh) 2023-05-12

Family

ID=67592207

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910461320.XA Active CN110147801B (zh) 2019-05-30 2019-05-30 一种基于向量的sift点集平滑匹配方法

Country Status (1)

Country Link
CN (1) CN110147801B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104077352A (zh) * 2014-05-27 2014-10-01 浙江大学 基于能量模型的图像语义标注方法
CN109598750A (zh) * 2018-12-07 2019-04-09 中国地质大学（武汉） 一种基于变形空间金字塔的大尺度差异图像特征点匹配方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BR112013015346B1 (pt) * 2013-06-13 2021-10-13 Sicpa Holding Sa Método e dispositivo para classificar um objeto em dados de imagem em uma dentre um conjunto de classes usando um classificador, meio legível por computador não transitório e sistema

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104077352A (zh) * 2014-05-27 2014-10-01 浙江大学 基于能量模型的图像语义标注方法
CN109598750A (zh) * 2018-12-07 2019-04-09 中国地质大学（武汉） 一种基于变形空间金字塔的大尺度差异图像特征点匹配方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Smooth point matching based on SIFT;Zhiyuan Liu;《2018 International Conference on Cloud Computing, Big Data and Blockchain (ICCBB)》;20190711;全文 *
基于目标形状特征和纹理特征的迭代配准方法在颈动脉血管中的应用;张剑华等;《浙江工业大学学报》;20180123(第01期);全文 *

Also Published As

Publication number Publication date
CN110147801A (zh) 2019-08-20

Similar Documents

Publication Publication Date Title
Melekhov et al. Dgc-net: Dense geometric correspondence network
EP3944200B1 (en) Facial image generation method and apparatus, device and storage medium
CN108846358B (zh) 一种基于孪生网络进行特征融合的目标跟踪方法
Cheng et al. Exploiting effective facial patches for robust gender recognition
Lin et al. Hyperspectral image denoising via matrix factorization and deep prior regularization
Yan et al. Ranking with uncertain labels
CN112288011B (zh) 一种基于自注意力深度神经网络的图像匹配方法
CN111625667A (zh) 一种基于复杂背景图像的三维模型跨域检索方法及系统
CN105930382A (zh) 一种用2d图片搜索3d模型的方法
CN111612008A (zh) 基于卷积网络的图像分割方法
CN112085835B (zh) 三维卡通人脸生成方法、装置、电子设备及存储介质
Hua et al. Depth estimation with convolutional conditional random field network
CN109829353A (zh) 一种基于空间约束的人脸图像风格化方法
CN112232134A (zh) 一种基于沙漏网络结合注意力机制的人体姿态估计方法
CN110070574A (zh) 一种基于改进PSMNet的双目视觉立体匹配算法
CN108491863A (zh) 基于非负矩阵分解和卷积神经网络的彩色图像处理方法
CN111695455B (zh) 一种基于耦合判别流形对齐的低分辨人脸识别方法
Du et al. Age factor removal network based on transfer learning and adversarial learning for cross-age face recognition
CN112329771A (zh) 一种基于深度学习的建筑材料样本识别方法
CN112801945A (zh) 基于双重注意力机制特征提取的深度高斯混合模型颅骨配准方法
CN115205903A (zh) 一种基于身份迁移生成对抗网络的行人重识别方法
CN114119669A (zh) 一种基于Shuffle注意力的图匹配目标跟踪方法与系统
CN111339342B (zh) 一种基于角度三元中心损失的三维模型检索方法
CN110070626B (zh) 一种基于多视角分类的三维物体检索方法
CN110147801B (zh) 一种基于向量的sift点集平滑匹配方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant