CN110009670A - 基于fast特征提取和piifd特征描述的异源图像配准方法 - Google Patents

基于fast特征提取和piifd特征描述的异源图像配准方法 Download PDF

Info

Publication number
CN110009670A
CN110009670A CN201910241541.6A CN201910241541A CN110009670A CN 110009670 A CN110009670 A CN 110009670A CN 201910241541 A CN201910241541 A CN 201910241541A CN 110009670 A CN110009670 A CN 110009670A
Authority
CN
China
Prior art keywords
feature
matching
heterologous
point
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910241541.6A
Other languages
English (en)
Inventor
刘亚东
戴进墩
罗林根
傅晓飞
余钟民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yantai Institute Of Information Technology Shanghai Jiaotong University
Shanghai Jiaotong University
Original Assignee
Yantai Institute Of Information Technology Shanghai Jiaotong University
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yantai Institute Of Information Technology Shanghai Jiaotong University, Shanghai Jiaotong University filed Critical Yantai Institute Of Information Technology Shanghai Jiaotong University
Priority to CN201910241541.6A priority Critical patent/CN110009670A/zh
Publication of CN110009670A publication Critical patent/CN110009670A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20164—Salient point detection; Corner detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于FAST特征提取和PIIFD特征描述的异源图像配准方法，通过FAST特征提取、PIIFD特征描述、最近邻比例阈值粗匹配、RANSAC错配剔除、最小二乘法仿射变换计算，能够得到异源图像之间的空间变换关系。本发明技术解决方案流程完善，鲁棒性高，实用性强，不易受异源图像品质的影响，能克服图像背景等因素对特征提取的干扰，可以很好地解决目前异源图像配准精度低、误差大、速度慢等问题。

Description

基于FAST特征提取和PIIFD特征描述的异源图像配准方法
技术领域
本发明涉及异源图像方法，具体是一种基于FAST特征提取和PIIFD特征描述的异源图像配准方法。
背景技术
异源图像配准是异源图像融合的一个技术难点和必要步骤。具体地说，异源图像配准是要寻找异源图像间像素点的空间变换关系，使得一图像中的像素点准确映射到另一幅图像中的像素点上。在过去的三十年，图像配准与融合技术得到了快速发展，并逐步应用到军事、遥测、材料力学、医学应用、数字成像等重要领域。
异源图像配准本身具有极高的复杂性。异源图像的成像机制通常各不相同，因此图像的质量和特点也存在较大的差异。
目前的主流配准方法主要可以分成两类：基于区域灰度信息的配准以及基于图像典型特征的配准。
基于区域灰度信息的配准方法是通过某一区域或整幅图像上的灰度信息的相关性估算两图像间的空间变换。这类配准方法，对图像本身的预处理较少甚至没有，较易受到噪声的干扰，算法稳定性和可靠性一般不强。特别对于数据规模较大、分辨率较高的图像，一般计算效率很低，因此，其应用也受到了较大的限制。
相反地，基于特征的配准方法性能更为稳定，场景适用性更为强大。基于特征的配准力图寻找对旋转、缩放等空间变换保持不变性或者相似性的特征，根据特征的匹配结果计算空间变换关系。由于基于特征的配准方法一般只利用提取到的特征信息而非图像的全部信息，特征提取的质量和匹配的精度都直接影响到方法的性能上。常用的特征包括点特征(角点、交叉点等)、线特征(直线、轮廓线等)、面特征(闭合区域等)及虚拟特征等。从当前的研究进展上看，兼顾计算性能和配准精度，以点特征的研究最为深入。
已有的异源图像配准方法的配准精度仍然较低，在效率和性能两个方面均有巨大的可研空间。为了点特征的提取和描述效率及点特征的匹配效率，亟需优秀的异源图像配准方法进行效率和性能的双重优化。
发明内容
本发明的目的在于克服上述异源图像配准方法的不足，提出一种稳定性更强、速度更快的基于FAST特征提取和PIIFD特征描述的异源图像配准方法。
本发明的原理：
异源图像中的典型点特征存在较强的相似性和相关性。通过提取异源图像中的特征点，并采用合适的特征描述方法，能够较好地衡量特征点之间的匹配关系，进而计算图像之间的空间变换关系。
FAST特征提取将角点定义为：若某像素与其周围邻域内足够多的像素点相差较大，则该像素可能是角点。角点特征的提取效果和效率都更好。
PIIFD是一种首先应用在视网膜图像上的特征描述方法。PIIFD考虑了异源图像之间梯度翻转的效应，在特征描述上也更为准确。
本发明的技术解决方案如下：
一种基于FAST特征提取和PIIFD特征描述的异源图像配准方法，其特征在于，所述方法包括以下步骤：
步骤S1，选取FAST方法提取角点作为特征点；
步骤S2，对步骤S1提取到的角点通过PIIFD法进行特征描述；
步骤S3，对步骤S2得到的特征描述利用最近邻比例阈值策略进行一次双向匹配后，再采用RANSAC法对错误的匹配进行剔除；
步骤S4，对步骤S3得到的特征点匹配结果，利用最小二乘法计算两幅异源图像之间的仿射变换关系。
采用FAST角点作为特征，具体是：对每个像素点建立半径为3的Bresenham圆；比较圆周上16个像素点与中心像素点的灰度值；当连续9个圆周点的像素灰度值与中心像素点灰度值存在较大差异时，认为该点是角点；重复以上步骤，检测整幅图像所有像素点，进行非极大值抑制，仅保留响应最大的像素点作为最终检测得到的角点。
采用PIIFD描述符对特征进行描述，具体是：使用连续的平方梯度计算特征点的主朝向；对固定的正方形邻域的所有像素点的梯度幅值进行累加，作为朝向直方图的输入，再采取双线性插值改善朝向直方图的梯度样本分布；利用得到的朝向执行方图及其180°旋转矩阵的行向量构造线性描述符，将其转换为一维向量并做归一化。
利用最近邻比例阈值策略进行一次双向匹配，匹配策略为比较一幅图像的某一特征与另一幅图像所有特征之间的欧氏距离，当最近邻距离和次近邻距离的比值小于预设的阈值时认为匹配可能是正确的。具体地，先建立图像A的特征到图像B的特征的匹配，再建立图像B的特征到图像A的特征的匹配，检查匹配结果，仅当两特征存在双向的匹配，才保留该特征对作为粗匹配的结果。
对采用RANSAC法对错误的匹配进行剔除，具体是：从粗匹配点对中随机抽取数量为3的粗匹配点对作为样本数据；用此样本数据估计空间变换参数；求取全体各个粗匹配点对在估计的变换参数下的距离，若距离小于预设的阈值，则判定该粗匹配数据为内点，反之，为外点；反复迭代多次，选取优化内点率高的样本数据包含的匹配点对，将其保留为精匹配点对。
利用最小二乘法计算两幅异源图像之间的仿射变换关系，具体是对步骤S3得到的特征点匹配结果，构建特征匹配的均方根误差；通过最小二乘法可以快速寻找最佳的仿射变换参数，使得均方根误差最小，即为配准最终采用的仿射变换。
与现有技术相比，本发明的有益效果是：通过FAST特征提取，提高了角点提取的准确性；通过PIIFD，增强了角点特征之间的相似性；通过最近邻比例阈值匹配和RANSAC算法减小了特征点对的错误匹配。总的来说，基于FAST特征提取和PIIFD特征描述的异源图像配准方法可以有效解决配准误差较大、可靠性较弱、鲁棒性不够强、速度不够快等问题，实用性强。
通过本发明的配准方法，可以将拍摄角度不同、模态不同、畸变程度不同的两幅异源图像进行配准，建立两幅异源图像像素点的一一映射。
附图说明
图1是红外原始图像示例
图2是可见光原始图像示例
图3是精匹配特征点对示例
图4是本发明方法配准结果示例
具体实施方式
本发明所要解决的技术问题是提供一种基于FAST特征提取和PIIFD特征描述的异源图像配准方法。
本发明所公开的异源图像配准方法，包括以下步骤：
步骤S1，采用FAST算法分别提取两幅异源图像的角点作为特征点；
步骤S2，采用PIIFD分别对得到的特征点构建特征描述符；
步骤S3，对所得到的特征点对，采用基于最近邻比例阈值值匹配策略，得到粗匹配点对，进一步地，采用RANSAC进行错配剔除，得到精匹配点对。
以图1所示的红外图像和图2所示的可见光图像配准为例，本发明方法得到的特征精匹配点对如图3所示，效果较好，特征提取和匹配的误差均较小，所保留的特征点对均具有典型性和代表性。
步骤S4，根据精匹配点对的坐标，利用最小二乘法计算仿射变换的参数。通过得到的仿射变换参数，异源图像的像素点可以建立起一对一的映射关系，即配准完成。
图4所示为采用本发明方法对图1和图2的异源图像进行配准得到的镶嵌图结果，两幅图像的重叠区域较大，配准误差在个位像素内，配准效果相当理想。

Claims (6)

1.一种基于FAST特征提取和PIIFD特征描述的异源图像配准方法，其特征在于，所述方法包括以下步骤：
步骤S1，选取FAST方法提取角点作为特征点；
步骤S2，对步骤S1提取到的角点通过PIIFD法进行特征描述；
步骤S3，对步骤S2得到的特征描述利用最近邻比例阈值策略进行一次双向匹配后，再采用RANSAC法对错误的匹配进行剔除；
步骤S4，对步骤S3得到的特征点匹配结果，利用最小二乘法计算两幅异源图像之间的仿射变换关系。
2.根据权利要求1所述的异源图像配准方法，其特征在于，采用FAST角点作为特征，具体是：对每个像素点建立半径为3的Bresenham圆；比较圆周上16个像素点与中心像素点的灰度值；当连续9个圆周点的像素灰度值与中心像素点灰度值存在较大差异时，认为该点是角点；重复以上步骤，检测整幅图像所有像素点，进行非极大值抑制，仅保留响应最大的像素点作为最终检测得到的角点。
3.根据权利要求1所述的异源图像配准方法，其特征在于，采用PIIFD描述符对特征进行描述，具体是：使用连续的平方梯度计算特征点的主朝向；对固定的正方形邻域的所有像素点的梯度幅值进行累加，作为朝向直方图的输入，再采取双线性插值改善朝向直方图的梯度样本分布；利用得到的朝向执行方图及其180°旋转矩阵的行向量构造线性描述符，将其转换为一维向量并做归一化。
4.根据权利要求1所述的异源图像配准方法，其特征在于，利用最近邻比例阈值策略进行一次双向匹配，匹配策略为比较一幅图像的某一特征与另一幅图像所有特征之间的欧氏距离，当最近邻距离和次近邻距离的比值小于预设的阈值时认为匹配可能是正确的。具体地，先建立图像A的特征到图像B的特征的匹配，再建立图像B的特征到图像A的特征的匹配，检查匹配结果，仅当两特征存在双向的匹配，才保留该特征对作为粗匹配的结果。
5.根据权利要求1所述的异源图像配准方法，其特征在于，对采用RANSAC法对错误的匹配进行剔除，具体是：从粗匹配点对中随机抽取数量为3的粗匹配点对作为样本数据；用此样本数据估计空间变换参数；求取全体各个粗匹配点对在估计的变换参数下的距离，若距离小于预设的阈值，则判定该粗匹配数据为内点，反之，为外点；反复迭代多次，选取优化内点率高的样本数据包含的匹配点对，将其保留为精匹配点对。
6.根据权利要求1所述的异源图像配准方法，其特征在于，利用最小二乘法计算两幅异源图像之间的仿射变换关系，具体是对步骤S3得到的特征点匹配结果，构建特征匹配的均方根误差；通过最小二乘法可以快速寻找最佳的仿射变换参数，使得均方根误差最小，即为配准最终采用的仿射变换。
CN201910241541.6A 2019-03-28 2019-03-28 基于fast特征提取和piifd特征描述的异源图像配准方法 Pending CN110009670A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910241541.6A CN110009670A (zh) 2019-03-28 2019-03-28 基于fast特征提取和piifd特征描述的异源图像配准方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910241541.6A CN110009670A (zh) 2019-03-28 2019-03-28 基于fast特征提取和piifd特征描述的异源图像配准方法

Publications (1)

Publication Number Publication Date
CN110009670A true CN110009670A (zh) 2019-07-12

Family

ID=67168565

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910241541.6A Pending CN110009670A (zh) 2019-03-28 2019-03-28 基于fast特征提取和piifd特征描述的异源图像配准方法

Country Status (1)

Country Link
CN (1) CN110009670A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112364879A (zh) * 2020-10-10 2021-02-12 南京轩宁信息技术有限公司 一种基于双向最优匹配点对的图像匹配方法
CN113095385A (zh) * 2021-03-31 2021-07-09 安徽工业大学 一种基于全局和局部特征描述的多模图像匹配方法
CN113792788A (zh) * 2021-09-14 2021-12-14 安徽工业大学 一种基于多特征相似度融合的红外和可见光图像匹配方法
CN116485858A (zh) * 2023-06-25 2023-07-25 中国人民解放军国防科技大学 基于多尺度跨模态邻域描述子的异源图像配准方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102436652A (zh) * 2011-08-31 2012-05-02 航天恒星科技有限公司 一种多源遥感图像自动配准方法
CN104167003A (zh) * 2014-08-29 2014-11-26 福州大学 一种遥感影像的快速配准方法
CN104318548A (zh) * 2014-10-10 2015-01-28 西安电子科技大学 一种基于空间稀疏度和sift特征提取的快速图像配准实现方法
CN104992400A (zh) * 2015-06-19 2015-10-21 北京邮电大学 多光谱图像配准方法和装置
US20170294024A1 (en) * 2016-04-11 2017-10-12 Goodrich Corporation Fast multi-spectral image registration by modeling platform motion

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102436652A (zh) * 2011-08-31 2012-05-02 航天恒星科技有限公司 一种多源遥感图像自动配准方法
CN104167003A (zh) * 2014-08-29 2014-11-26 福州大学 一种遥感影像的快速配准方法
CN104318548A (zh) * 2014-10-10 2015-01-28 西安电子科技大学 一种基于空间稀疏度和sift特征提取的快速图像配准实现方法
CN104992400A (zh) * 2015-06-19 2015-10-21 北京邮电大学 多光谱图像配准方法和装置
US20170294024A1 (en) * 2016-04-11 2017-10-12 Goodrich Corporation Fast multi-spectral image registration by modeling platform motion

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
戴进墩 等: ""基于 NSCT 域 FAST角点检测的电气设备红外与"", 《电测与仪表》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112364879A (zh) * 2020-10-10 2021-02-12 南京轩宁信息技术有限公司 一种基于双向最优匹配点对的图像匹配方法
WO2022073249A1 (zh) * 2020-10-10 2022-04-14 南京轩宁信息技术有限公司 一种基于双向最优匹配点对的图像匹配方法
CN113095385A (zh) * 2021-03-31 2021-07-09 安徽工业大学 一种基于全局和局部特征描述的多模图像匹配方法
CN113095385B (zh) * 2021-03-31 2023-04-18 安徽工业大学 一种基于全局和局部特征描述的多模图像匹配方法
CN113792788A (zh) * 2021-09-14 2021-12-14 安徽工业大学 一种基于多特征相似度融合的红外和可见光图像匹配方法
CN113792788B (zh) * 2021-09-14 2024-04-16 安徽工业大学 一种基于多特征相似度融合的红外和可见光图像匹配方法
CN116485858A (zh) * 2023-06-25 2023-07-25 中国人民解放军国防科技大学 基于多尺度跨模态邻域描述子的异源图像配准方法及装置
CN116485858B (zh) * 2023-06-25 2023-09-01 中国人民解放军国防科技大学 基于多尺度跨模态邻域描述子的异源图像配准方法及装置

Similar Documents

Publication Publication Date Title
CN110009670A (zh) 基于fast特征提取和piifd特征描述的异源图像配准方法
CN106530347B (zh) 一种稳定的高性能圆特征检测方法
CN108921895B (zh) 一种传感器相对位姿估计方法
CN104200461B (zh) 基于互信息图像选块和sift特征的遥感图像配准方法
US20130051626A1 (en) Method And Apparatus For Object Pose Estimation
CN108765476B (zh) 一种偏振图像配准方法
CN112801074B (zh) 一种基于交通摄像头的深度图估计方法
CN102982334B (zh) 基于目标边缘特征与灰度相似性的稀疏视差获取方法
CN111160291B (zh) 基于深度信息与cnn的人眼检测方法
CN106327534A (zh) 一种基于定位块的轮胎内壁纹理识别方法
CN111126412A (zh) 基于特征金字塔网络的图像关键点检测方法
CN109376641A (zh) 一种基于无人机航拍视频的运动车辆检测方法
CN114331879A (zh) 一种均衡化二阶梯度直方图描述子的可见光与红外图像配准方法
CN110120013A (zh) 一种点云拼接方法及装置
CN114120013A (zh) 一种红外与rgb跨模态特征点匹配方法
CN109766850A (zh) 基于特征融合的指纹图像匹配方法
Wang et al. LBP-based edge detection method for depth images with low resolutions
CN115294371B (zh) 基于深度学习的互补特征可靠描述与匹配方法
CN113723432B (zh) 一种基于深度学习的智能识别、定位追踪的方法及系统
CN111931689B (zh) 一种在线提取视频卫星数据鉴别特征的方法
Phogat et al. Different image registration methods—an overview
Zhang Binocular Stereo Vision
Dong et al. An Intelligent Detection Method for Optical Remote Sensing Images Based on Improved YOLOv7.
CN114463534A (zh) 一种目标关键点检测方法、装置、设备及存储介质
Song et al. Edge-guided depth map enhancement

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190712