CN111160433A - 一种高分辨率图像特征点的高速匹配方法及系统 - Google Patents

一种高分辨率图像特征点的高速匹配方法及系统 Download PDF

Info

Publication number
CN111160433A
CN111160433A CN201911318809.8A CN201911318809A CN111160433A CN 111160433 A CN111160433 A CN 111160433A CN 201911318809 A CN201911318809 A CN 201911318809A CN 111160433 A CN111160433 A CN 111160433A
Authority
CN
China
Prior art keywords
image
matching
feature
point
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911318809.8A
Other languages
English (en)
Other versions
CN111160433B (zh
Inventor
童卫青
张晓迁
李嵩
章昕烨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Commercial Digital Printing Co ltd
East China Normal University
Original Assignee
Shanghai Commercial Digital Printing Co ltd
East China Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Commercial Digital Printing Co ltd, East China Normal University filed Critical Shanghai Commercial Digital Printing Co ltd
Priority to CN201911318809.8A priority Critical patent/CN111160433B/zh
Publication of CN111160433A publication Critical patent/CN111160433A/zh
Application granted granted Critical
Publication of CN111160433B publication Critical patent/CN111160433B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出了一种高分辨率图像特征点的高速匹配方法，该方法综合了图像的灰度与色彩信息，分别从灰度图像和颜色不变量图像上计算出SIFT特征向量，连接成256维的联合特征向量，以达到精度更高的特征匹配。目前大多数特征匹配方法都是通过使用暴力匹配来找到初始匹配的，而暴力匹配的计算时间与图像分辨率成正比，无法解决在高分辨率图像的计算成本问题，本发明结合高分辨率图像的下采样和局部暴力匹配，极大地降低了算法的时间复杂度，同时实现了高精度的特征点匹配。本发明还提出了一种高分辨率图像特征点的高速匹配系统。

Description

一种高分辨率图像特征点的高速匹配方法及系统
技术领域
本发明属于图像处理和计算机视觉技术领域，具体涉及一种高分辨率图像特征点的高速匹配方法及系统。
背景技术
洞窟壁画是珍贵的历史文物，对研究古代的政治、文化、宗教和民俗等具有重要的价值。由于洞窟壁画是一种不可移动的文物，随着时间推移，洞窟壁画的自然风化是不可避免的，为此数字化保存是保护洞窟壁画的有效手段。
根据我国古壁画数字化保存的技术要求，古壁画的采样分辨率不能低于300dpi(即，实际壁画上的两个图像采样点距离小于85微米)。洞窟里的壁画一般出现在凹凸不平的石壁、圆柱和穹顶等上，这些壁画往往幅面大且形状复杂。目前还没有这么高分辨率的相机，但为了满足壁画文物数字化保存的采样精度，一般的做法是将一个洞窟里的壁画分拍成100–300幅满足数字化保存的采样分辨率要求的局部图像，然后通过图像拼接技术，把这些局部图像拼接成一幅完整图像。我们的目的是研发一种能找出两幅高采样分辨率图像的特征点匹配的高速算法。特征点匹配是图像拼接的前处理，它不但要求特征点数量要多，还要求特征点匹配的误差要小，处理速度要快。
图像拼接的主要工作为图像配准和图像融合，配准是融合的基础。现有的图像配准算法可以大致分为三类：基于模板(或者说是基于灰度值)的方法、基于特征的匹配方法和基于域变换的方法。其中基于模板方法的思想是比较模板与图像块之间的像素灰度值；基于特征的匹配是目前应用最广泛的方法，描述图像信息的特征通常包含图像的轮廓、点、线和区域等；基于域变换的方法通常是将图像的空间域转换为频率域进行配准计算，如小波变换等方法。
目前有很多研究学者致力于基于特征的匹配方法，研究当由于场景复杂或环境发生变化等情况下，如何提高特征点匹配的正确性或者如何将正确的匹配与错误的匹配区分开从而达到剔除错误的特征点匹配的目的，对特征点匹配后的后续工作提供精确的初始输入从而提高两平面间变换的估计精度，将两幅图像进行精准的拼接。近些年来，既有的特征点匹配方法局限在一般分辨率的灰度图像上，而洞窟壁画图像的特点是分辨率非常高，并且具有相同灰度纹理而颜色不同的地方比较多，针对这类特殊图像，仅在灰度图像上提取出的特征描述符失去了色彩区分性，使得匹配的效果不尽人意，而且时间复杂度也非常高。因此，高分辨率图像的高速化特征点匹配技术具有重要的研究意义和实用价值。
在获得了表征图像信息的特征点以及对特征点的描述后，如何找到两幅图像之间这些特征的对应关系是计算机视觉领域中很多工作的基石，如图像检索、三维重建等。关于特征点匹配的研究工作，迄今为止有很多研究者提出了不少的算法，并且在这个方向上也一直有人在继续努力。关于特征点匹配算法的研究可以大致分为三类。
很多研究者致力于在得到的大量的初始匹配后，如何从中筛选出高可信的匹配对的研究，这属于第一类方法。近几年，Jiayi等人[1]提出LPM算法，表明了表示图像拓扑结构的特征点之间的空间邻域关系在视点变换或者非刚体变换下通常是保持不变的，因此，两幅图像中的正确匹配点对之间的空间邻域关系(比如该点的4近邻)应该也是保持基本不变的。他们在根据最近邻获得一组初始假定集合后，通过对空间邻域关系进行数学建模，考察匹配点对的空间邻域上每个点与其邻域点之间的欧氏距离和，距离小的被认为是正确匹配并保留。随后，Junjun等人在LPM算法的基础上提出了GLPM算法，根据次近邻比值法获得一组假定匹配集合后，利用原始匹配集合构造4邻域空间进行第一次误匹配剔除后，再根据得到的新匹配集合重新构造点的邻域空间，从而利用了更小却更加准确的匹配集合来指导原始假定匹配的筛选工作。JiaWang等人[2]在2017年，于CVPR会议上发表了一篇关于剔除误匹配的文章，根据[3]提出的运动平滑性这一概念，认为正确匹配对间的“运动”是具有一致性的，而错误的匹配对之间往往没有规律可循，那么正确匹配点周围聚集着同样正确的匹配对的概率非常高，因此可以根据每对匹配的周围小邻域内匹配对的数量作为划分正确和错误匹配的依据。GuoHua[4]首先考虑特征点的数量，如果数量非常大，那么可以首先根据次近邻的比值对匹配对进行排序筛选，然后对剩余的匹配点集中的特征点构造三角形，通过判断每组特征点三角形之间的几何相似性衡量是否为正确匹配，但是该方法的计算量过大，假若有100对匹配，那么关键点三角形的构造数量就有16万左右，所以对小图像并控制特征点数量来说，该方法是简单易实现的。Jiayi等人[5]在2015年的时候针对遥感图像提出LLT算法，因为遥感图像的局部区域点对应的差异一般比较小，所以相邻特征点之间的局部结构也非常强并且稳定，对左图中的点构造一个近邻关系并为每个近邻分配权重，利用初始变换矩阵和权重构造右图中的近邻关系，然后对这个变换矩阵参数进行优化，优化的方法是将其表示为贝叶斯模型的最大似然估计，其中隐含/潜在变量指示假设集中的匹配是异常点或内点，利用EM算法进行求解。Maoguo等人[6]是根据SIFT的次近邻比值得到一组初始匹配后，通过对参考图像点集中的任意两个点的距离与其在目标图像点集中的对应点之间的距离的比值进行直方图统计，将直方图的密集程度作为两幅图像的尺度偏差，距离比落在直方图的密度中心的点被认为是正确匹配的点。Zhaoxia等人[7]在2012年提出RSOC算法，该算法在基于特征向量空间得到初始匹配集合后，再根据集合中的每个点与其K近邻点之间的角度空间序进行描述子的重新计算，那么误匹配剔除工作就转化为了寻找具有最小全局转换误差的图匹配问题。Kaimo等人[8]把错误匹配的剔除视为一个直接配准的过程，利用初始匹配集合估算得到的两幅图像间的变换矩阵将目标图像变换到参考图像视角下，然后对两幅图像的重叠区域进行重采样，对采样点进行一个基于网格变形的矫正过程，降低两幅图像之间的光学误差。
第二类方法不同于上述方法，它更倾向于直接找到一组更精确的匹配点集。Bing等人[9]曾在PAMI上发表了一篇文章，他们将离散点集的配准问题转化为连续分布的配准问题。利用高斯混合模型来表示输入的点集，那么两组离散点集间的配准问题就等价于两个混合高斯模型之间的统计误差最小化问题。他们认为特征提取具有不确定性，而特征提取往往是产生待匹配点集的第一步，所以他们基于随机点位置的连续概率分布进行点集样本的构造。所以，传统上点匹配文献中经常遇到的困难离散优化问题就转化成了更加容易处理的连续优化问题。但是，这种基于密度的配准方法对产生两组点集的采样频率具有相似的约束。如果要配准的两组点集合之间的采样率相差很大，例如，从不同视角对倾斜曲面进行距离扫描得到的点集，基于密度的配准性能可能会下降，并且下降的程度取决于所采用方法的鲁棒性。在2016年Jiayi和Ji沿着这个思想，提出了通过概率方法处理匹配问题，并且考虑了全局信息与局部信息的重要性。对于全局信息来说，用高斯混合模型表示输入点集，然后约束其质心与在变换矩阵作用下得到的参考点集的质心一致，以此来估计一个最优的变换矩阵同时也可以得到满足最优情况的点，在优化的过程中，考虑了使用两点间的描述符匹配结果初始化参数。针对两个不同波段和不同传感器设备中获得的多光谱图像之间的强度差异问题，Wenping等人[10]提出了一个新的梯度定义用于特征点匹配问题，即：在高斯尺度空间使用Sobel滤波器对图像进行两次过滤，得到梯度大小和方向。使用这个新的梯度定义去计算提取到的SIFT关键点的主方向和描述子，其中对于描述子的计算，是将每一个关键点周围的半径为12σ的圆划分为17个组，每一个组统计8个梯度方向，这样每个关键点就由一个136维的特征向量来描述。除此之外，作者还指出了一种新的度量特征向量之间相似性的指标，这个指标不仅考虑了两个关键点的特征向量之间的欧氏距离，还考虑了它们之间的尺度差、方向差和坐标位置变换的差值。比值匹配法是Lowe[11]提出的一种有效的衡量匹配关系的算法，比值匹配法中认为查询图像中的一点在目标图像上有且只有一个匹配或者根本没有匹配。Arnfred和Winkler[12]基于比值匹配法的思想进行了扩展，认为次近邻所传达的信息是这不是一个真正的对应。因此，作者将次近邻点的查找空间由原本的目标图像点集合扩展为目标图像与参考图像的所有点集合，如果次近邻属于参考图像本身所在的点集合，那么说明找到的最近邻一定不是正确的匹配，当次近邻属于目标点集合并且最近邻与次近邻的比值满足某个阈值时才认为这是我们要寻找的正确匹配。最近邻与次近邻只是考虑了目标图像中是否存在参考图像的对应点，但是可能会存在一种情况，即目标图像中的当前点是参考图像中某点的最近邻点，但是参考图像中的某点不一定也是目标图像中当前点的最近邻点，那这就表明它们很有可能不是真正的对应关系。因此，Xiaojie[13]等人提出只有满足双向匹配的点才有可能是正确的匹配，即各自都是对方的具有最近邻距离的点，然后再借助Delaunay三角形算法将参考图像中的处于匹配集合中的特征点划分成不重叠的三角形面片，并根据匹配集合中点与点之间的对应关系，把目标图像中的特征点按照参考图像的三角形排列也组成一系列不重叠的三角形面片。最后，分别对每一个三角形中的特征点以及三角形顶点依据齐次坐标下三角形内点与顶点的线性关系进行匹配验证。Marwan等人[14]认为两幅图像中的特征点的描述向量与特征点空间结构总可以找到一种映射关系将两幅图像的各自表达嵌入到一个统一的欧氏空间中，那么在这个统一的空间中，越靠近的点说明它们越有可能是匹配的点对。作者通过分别将两幅图像中点集的空间邻接关系和特征向量相似度构造成两个加权矩阵，然后对加权矩阵进行计算，找到与统一欧氏空间之间的映射关系，最后根据欧氏空间下的欧氏距离判断是否为匹配对。Maodi等人[15]也是将特征点之间的欧氏计算转换为矩阵的计算，分别把参考图像与目标图像中的特征点与其它点之间的特征向量距离编码成矩阵，既考虑每组点集自身与自身之间的空间坐标关系还考虑两组点集之间的特征向量的欧氏距离，用各自的空间关系距离归一化后作为特征向量距离的权重，通过调整两组点集之间的欧氏距离矩阵，根据这个距离矩阵寻找参考图像中的点在目标图像中的匹配点。也就是说，对于当前图1中的i点与图2中j点的特征向量距离，图1中除了i点的每一点k在图2中的最近特征向量的距离都会对i与j的特征向量距离产生影响，从而不断的改变两组点集中的特征向量距离矩阵，最后，该距离矩阵中值最小的即为最近邻点。
第三类专注于特征匹配的前提步骤，即如何找到更具代表性的特征点或如何更好的描述该点的特性。Amin Sedaghat等人[16]对SIFT特征点的提取进行了改进，在特征点提取时，还需考虑该点在相关的高斯尺度下的周围邻域的信息量，即信息熵。并且控制每个尺度层上特征点的数量分布要尽可能的均匀。Flora Dellinger等人[17]基于SIFT提出了一种新的关键点检测器SAR-SIFT来改善SIFT算法在SAR图像上的不足，通过定义一种新的梯度概念，重新求解特征点的主方向与描述符，而且使用了方形邻域代替SIFT中的圆形邻域。同样地，Yunhe Wang针对局部区域的描述方法提出了基于DCT(Discrete CosineTransform)的描述符计算方法[18]，相比于SIFT的128维向量，该方法仅有32维，更加的紧凑和去冗余。
上述的研究大都是考虑几何点的结构信息，对描述符的改进也是针对于灰度图像，忽略了颜色信息的独特性。
参考文献：
[1]Ma,Jiayi,Zhao,Ji,Jiang,Junjun,et al.Locality Preserving Matching[J].International Journal of Computer Vision,2018,127(2):512-531.
[2]Bian J,Lin W Y,Matsushita Y,et al.GMS:Grid-Based Motion Statisticsfor Fast,Ultra-Robust Feature Correspondence[C]//2017IEEE Conference onComputer Vision and Pattern Recognition(CVPR).IEEE,2017.
[3]Lin,Wen-Yan,Wang,Fan,Cheng,Ming-Ming,et al.CODE:Coherence BasedDecision Boundaries for Feature Correspondence[J].IEEE Transactions onPattern Analysis&Machine Intelligence,2017,40(1):34-47.
[4]Lv G.A Novel Correspondence Selection Technique for Affine RigidImage Registration[J].IEEE Access,2018,6:1-1.
[5]Ma J,Zhou H,Zhao J,et al.Robust Feature Matching for RemoteSensing Image Registration via Locally Linear Transforming[J].IEEETransactions on Geoscience and Remote Sensing,2015,53(12):1-13.
[6]Gong M,Zhao S,Jiao L,et al.A Novel Coarse-to-Fine Scheme forAutomatic Image Registration Based on SIFT and Mutual Information[J].IEEETransactions on Geoscience and Remote Sensing,2014,52(7):4328-4338.
[7]Liu Z,An J,Jing Y.A Simple and Robust Feature Point MatchingAlgorithm Based on Restricted Spatial Order Constraints for Aerial ImageRegistration[J].IEEE Transactions on Geoscience and Remote Sensing,2012,50(2):514-527.
[8]Lin K,Jiang N,Liu S.Direct Photometric Alignment by MeshDeformation[C]//2017 IEEE Conference on Computer Vision and PatternRecognition(CVPR).IEEE,2017.
[9]Jian B,Vemuri B C.Robust Point Set Registration Using GaussianMixture Models[J].IEEE Transactions on Pattern Analysis and MachineIntelligence,2011,33(8):0-1645.
[10]Ma W,Wen Z,Wu Y,et al.Remote Sensing Image Registration WithModified SIFT and Enhanced Feature Matching[J].IEEE Geoscience and RemoteSensing Letters,2016,PP(99):1-5.
[11]Lowe D G.Distinctive Image Features from Scale-InvariantKeypoints[J].International Journal of Computer Vision,2004,60(2):91-110.
[12]Arnfred J T,Winkler S.A General Framework For Image FeatureMatching Without Geometric Constraints[J].Pattern Recognition Letters,2016,73.
[13]Guo X,Cao X.Good match exploration using triangle constraint[J].Pattern Recognition Letters,2012,33(7):872-881.
[14]Torki M,Elgammal A.One-Shot Multi-Set Non-rigid Feature-SpatialMatching[C]//Computer Vision&Pattern Recognition.IEEE,2010.
[15]Hu M,Liu Y,Fan Y.Robust Image Feature Point Matching Based onStructural Distance[J].2015.
[16]Sedaghat A,Mokhtarzade M,Ebadi H.Uniform Robust Scale-InvariantFeature Matching for Optical Remote Sensing Images[J].IEEE Transactions onGeoscience and Remote Sensing,2011,49(11):4516-4527.
[17]Dellinger F,Delon J,Gousseau Y,et al.SAR-SIFT:A SIFT-LikeAlgorithm for SAR Images[J].IEEE Transactions on Geoscience and RemoteSensing,2015,53(1):453-466.
[18]Wang Y,Shi M,You S,et al.DCT Inspired Feature Transform for ImageRetrieval and Reconstruction[J].IEEE Transactions on Image Processing,2016,25(9):4406-4420.
发明内容
针对当前大多数匹配方法处理高分辨率图像时计算成本巨大的问题，本发明旨在降低时间复杂度的同时获得更高精度的特征匹配，结合了高分辨率图像的下采样和对传统特征描述子与暴力匹配进行的改进，不仅能大大提升效率，而且剔除了野点并得到了更多高精度的匹配点。
为了实现上述发明目的，本发明采用的技术方案是：
一种高分辨率图像特征点的高速匹配方法，包括以下步骤：
包括以下步骤：
步骤1：图像粗配准处理，具体包括以下子步骤：
步骤1.1：对输入的两幅重叠的目标图像和参考图像进行下采样处理，然后分别输出目标图像和参考图像的下采样图像Ts和Rs；
步骤1.2：根据两幅图像拍摄时的重叠率估算下采样图像Ts和Rs间的粗略平移量和重叠区域，并依据图像重叠率计算后续匹配模板的大小；
步骤1.3：在下采样图像Ts的重叠区域中央，选取指定大小的矩形区域作为匹配模板，在下采样参考图像Rs的重叠区域内搜索与匹配模板最相似的区域的位置，据此得到下采样图像Ts和Rs间的最大平移量；
步骤1.4：分别生成下采样图像Ts和Rs的灰度图像和颜色不变量图像；
步骤1.5：分别从下采样图像Ts和Rs的灰度图像中检测出SIFT特征点；
步骤1.6：根据SIFT特征点的位置，分别从下采样图像Ts和Rs的灰度图像与颜色不变量图像中抽出基于SIFT描述符的联合特征向量；
步骤1.7：对下采样图像Ts中每个特征点，根据最大平移量估计出它在下采样图像Rs上的对应矩形范围，然后进行基于联合特征向量的特征点匹配搜索，找到其对应的匹配点；
步骤1.8找到两幅图像中对应的点对集合，再根据降采样图像与原图像之间的几何关系，将降采样图像坐标系下的匹配点集合中的所有特征点映射到原图像坐标系下，利用RANSAC算法估计原分辨率图像间的初始单应变换矩阵Hstr，从而获得目标图像和参考图像间的单应变换关系；
步骤2：图像精配准处理，具体包括以下子步骤：
步骤2.1：对两幅输入图像分别生成参考图像与目标图像的灰度图像和颜色不变量图像，分别记为TG、RG、TCI、RCI；
步骤2.2：分别在TG、RG图像上检测其SIFT特征点；
步骤2.3：在目标图像的灰度图像以及颜色不变量实数图上，计算所有特征点的SIFT特征向量，然后把每个特征点的灰度特征向量和颜色不变量特征向量拼接成256维的联合SIFT特征向量；
步骤2.4：在参考图像的灰度图像以及颜色不变量实数图上，计算所有特征点的SIFT特征向量，然后把每个特征点的灰度特征向量和颜色不变量特征向量拼接成256维的混合SIFT特征向量；
步骤2.5：对目标图像和参考图像里的特征点按以下步骤进行初匹配处理：对图像TG中每个特征点，根据第1阶段得到的图像粗配准的单应变换矩阵HsTR可以估计出它在图像RG上位置，然后在该位置的5×5矩形范围内，用其对应的联合SIFT特征向量的相似度来寻找匹配点；
步骤2.6：用RANSAC算法对上述找到的所有匹配点进行筛选，获得真匹配点集合，然后根据这些真匹配点集合计算目标图像和参考图像间的单应变换矩阵HTR。
本发明所述步骤1.1中，对两幅重叠待拼接的高分辨率图像进行下采样处理，下采样率r＝0.1，即将图像分辨率降低到原来的r2倍。
本发明所述步骤1.4-1.6中：
利用公式1将RGB颜色空间映射到高斯颜色模型，生成颜色不变量图像：
Figure BDA0002326584490000091
本发明中，对目标图像中每个特征点，根据图像粗配准的单应变换矩阵估计出它在参考图像上对应匹配点的位置，然后在该位置的5×5像素矩形范围内，用其对应的联合SIFT特征向量的相似度来寻找匹配点。
基于以上方法，本发明还提出了一种高分辨率图像特征点的高速匹配系统，包括：图像粗配准处理模块和图像精配准处理模块。
本发明综合了图像的灰度信息与颜色信息，分别从灰度图像和颜色不变量图像上计算出SIFT特征向量，拼接成256维的联合特征向量，以达到精度更高的特征匹配；同时当前大多数特征匹配方法都是通过使用暴力匹配来找到初始匹配的，而暴力匹配的计算时间与图像分辨率成正比，无法解决在高分辨率图像的计算成本问题，本发明结合高分辨率图像的下采样和局部暴力匹配，极大地降低了算法的计算成本、时间复杂度，同时实现了高精度的特征点匹配。
在实际壁画图像库上，对本发明方法的性能进行了实验，实验结果表明：在分辨率为8000万像素的壁画图像上，每对图像的正确匹配点数量平均比SIFT算法高出10多万个，特征点匹配处理速度是SIFT算法的10倍多，其双图像误差平均小于0.2像素。
附图说明
图1为一种高分辨率图像特征点的高速匹配法第一阶段特征点粗匹配的流程图。
图2a、2b为输入两幅高分辨率图像的示意图。
图3a、3b为目标图像和参考图像估算的重叠区域。
图4为下采样图像中选取指定大小的矩形区域作为匹配模板示意图。
图5为一种高分辨率图像特征点的高速匹配法第二阶段图像精配准的流程图。
图6为根据得到的精确单应变化矩阵实现图像拼接的结果示意图。
图7为本发明高分辨率图像特征点的高速匹配系统的结构示意图。
具体实施方式
结合以下具体实施例和附图，对发明作进一步的详细说明。实施本发明的过程、条件、实验方法等，除以下专门提及的内容之外，均为本领域的普遍知识和公知常识，本发明没有特别限制内容。
本发明提出一种高分辨率图像特征点的高速匹配方法NeoKP，该算法可以从两幅重叠的高采用分辨率图像中快速找出正确的特征匹配点，用于后续的图像拼接处理。本算法又2大特点：①通过下采样图像获得原图像粗配准的单应变换矩阵，从而极大地降低了后续特征点匹配的时间复杂度；②提出了一种基于灰度和颜色不变量的特征联合描述符，它能很好地区分具有相同灰度纹理不同颜色的特征点，因而提高了特征点匹配的正确性。
在实际壁画图像库上，对NeoKPM算法的性能进行了实验，实验结果表明：在分辨率为8000万像素的壁画图像上，每对图像的正确匹配点数量平均比SIFT算法高出10多万个，特征点匹配处理速度是SIFT算法的10倍多，其双图像误差平均小于0.2像素。
本发明提出的高分辨率图像特征点的高速匹配方法法，包括如下步骤：
(1)对输入的两幅重叠图像(一幅为目标图像，一幅为参考图像，目的是用目标图像去配准参考图像)进行下采样处理，分别输出目标图像和参考图像的下采样图像Ts和Rs；
(2)根据两幅图像拍摄时的重叠率估算下采样图像Ts和Rs间的粗略平移量和重叠区域，并依据图像重叠率计算后续匹配模板的大小；
(3)在下采样图像Ts的重叠区域中央，选取指定大小的矩形区域作为匹配模板，在下采样参考图像Rs的重叠区域内搜索与匹配模板最相似的区域的位置，据此得到图像Ts和Rs间的最大平移量；
(4)分别生成图像Ts和Rs的灰度图像和颜色不变量图像；
(5)分别从图像Ts和Rs的灰度图像中检测出SIFT特征点；
(6)根据SIFT特征点的位置，分别从图像Ts和Rs的灰度图像与颜色不变量图像中抽出基于SIFT描述符的联合特征向量；
(7)对图像Ts中每个特征点，根据最大平移量可以估计出它在图像Rs上的对应矩形范围，然后进行基于联合特征向量的特征点匹配搜索，找到其对应的匹配点；
(8)找到两幅图像中对应的点对集合，再根据降采样图像与原图像之间的几何关系，将降采样图像坐标系下的匹配点集合中的所有特征点映射到原图像坐标系下，利用RANSAC方法估计原分辨率图像间的初始单应变换矩阵Hstr，从而获得目标图像和参考图像间的单应变换关系。
(9)对两幅输入图像分别生成参考图像与目标图像的灰度图像和颜色不变量图像，分别记为TG、RG、TCI、RCI；
(10)分别在TG、RG图像上检测其SIFT特征点；
(11)在目标图像的灰度图像以及颜色不变量实数图上，计算所有特征点的SIFT特征向量，然后把每个特征点的灰度特征向量和颜色不变量特征向量拼接成256维的联合SIFT特征向量；
(12)在参考图像的灰度图像以及颜色不变量实数图上，计算所有特征点的SIFT特征向量，然后把每个特征点的灰度特征向量和颜色不变量特征向量拼接成256维的混合SIFT特征向量；
(13)对目标图像和参考图像里的特征点按以下步骤进行初匹配处理：对图像TG中每个特征点，根据第1阶段得到的图像粗配准的单应变换矩阵HsTR可以估计出它在图像RG上位置，然后在该位置的5×5矩形范围内，用其对应的联合SIFT特征向量的相似度来寻找匹配点；
用RANSAC方法对上述找到的所有匹配点进行筛选，获得真匹配点集合，然后根据这些真匹配点集合计算目标图像和参考图像间的单应变换矩阵HTR。
实施例
如图1所示，本发明第1阶段的特征点粗匹配：
(1)输入尺寸为7730*10288、分辨率为350dpi的高分辨率目标图像T和参考图像R(如图2所示)进行下采样率为0.1的下采样处理，分别输出目标图像和参考图像的下采样图像Ts和Rs；
(2)由于两幅图像拍摄时的重叠率大概为50％，估算下采样图像Ts和Rs间的粗略平移量和重叠区域(如图3所示)，并依据图像重叠率计算后续匹配模板的大小；
(3)在下采样图像Ts的重叠区域中央，选取指定大小的矩形区域作为匹配模板，选取的矩形区域如图4所示，选取在下采样参考图像Rs的重叠区域内搜索与匹配模板最相似的区域的位置，据此得到图像Ts和Rs间的最大平移量；
(4)分别生成图像Ts和Rs的灰度图像和颜色不变量图像；
(5)分别从图像Ts和Rs的灰度图像中检测出SIFT特征点；
(6)根据SIFT特征点的位置，分别从图像Ts和Rs的灰度图像与颜色不变量图像中抽出基于SIFT描述符的联合特征向量；
(7)对图像Ts中每个特征点，根据最大平移量可以估计出它在图像Rs上的对应矩形范围，然后进行基于联合特征向量的特征点匹配搜索，找到其对应的匹配点；
(8)找到两幅图像中对应的点对集合，再根据降采样图像与原图像之间的几何关系，将降采样图像坐标系下的匹配点集合中的所有特征点映射到原图像坐标系下，利用RANSAC方法估计原分辨率图像间的初始单应变换矩阵Hstr，从而获得目标图像和参考图像间的单应变换关系。
如图5所示，第2阶段图像精配准
(9)对两幅输入图像分别生成参考图像与目标图像的灰度图像和颜色不变量图像，分别记为TG、RG、TCI、RCI；
(10)分别在TG、RG图像上检测其SIFT特征点；
(11)在目标图像的灰度图像以及颜色不变量实数图上，计算所有特征点的SIFT特征向量，然后把每个特征点的灰度特征向量和颜色不变量特征向量拼接成256维的联合SIFT特征向量；
(12)在参考图像的灰度图像以及颜色不变量实数图上，计算所有特征点的SIFT特征向量，然后把每个特征点的灰度特征向量和颜色不变量特征向量拼接成256维的混合SIFT特征向量；
(13)对目标图像和参考图像里的特征点按以下步骤进行初匹配处理：对图像TG中每个特征点，根据第1阶段得到的图像粗配准的单应变换矩阵HsTR可以估计出它在图像RG上位置，然后在该位置的5×5矩形范围内，用其对应的联合SIFT特征向量的相似度来寻找匹配点；
(14)用RANSAC方法对上述找到的所有匹配点进行筛选，获得真匹配点集合，然后根据这些真匹配点集合计算目标图像和参考图像间的单应变换矩阵HTR；
(15)根据得到精确的单应变化矩阵HTR，实现目标图像与参考图像的拼接，拼接结果如图6所示。
本实例通过上述方法步骤，能够实现高分辨率图像特征点的高速匹配，相比传统方法数小时的计算成本，仅仅5分钟就实现了双向平均误差不到0.2像素且数量更多的特征点匹配，对解决处理高分辨率图像的特征匹配与拼接问题具有重大意义。
本发明的保护内容不局限于以上实施例。在不背离发明构思的精神和范围下，本领域技术人员能够想到的变化和优点都被包括在本发明中，并且以所附的权利要求书为保护范围。

Claims (5)

1.一种高分辨率图像特征点的高速匹配方法，其特征在于，包括以下步骤：
步骤1：图像粗配准处理，具体包括以下子步骤：
步骤1.1：对输入的两幅重叠的目标图像和参考图像进行下采样处理，然后分别输出目标图像和参考图像的下采样图像Ts和Rs；
步骤1.2：根据两幅图像拍摄时的重叠率估算下采样图像Ts和Rs间的粗略平移量和重叠区域，并依据图像重叠率计算后续匹配模板的大小；
步骤1.3：在下采样图像Ts的重叠区域中央，选取指定大小的矩形区域作为匹配模板，在下采样参考图像Rs的重叠区域内搜索与匹配模板最相似的区域的位置，据此得到下采样图像Ts和Rs间的最大平移量；
步骤1.4：分别生成下采样图像Ts和Rs的灰度图像和颜色不变量图像；
步骤1.5：分别从下采样图像Ts和Rs的灰度图像中检测出SIFT特征点；
步骤1.6：根据SIFT特征点的位置，分别从下采样图像Ts和Rs的灰度图像与颜色不变量图像中抽出基于SIFT描述符的联合特征向量；
步骤1.7：对下采样图像Ts中每个特征点，根据最大平移量估计出它在下采样图像Rs上的对应矩形范围，然后进行基于联合特征向量的特征点匹配搜索，找到其对应的匹配点；
步骤1.8找到两幅图像中对应的点对集合，再根据降采样图像与原图像之间的几何关系，将降采样图像坐标系下的匹配点集合中的所有特征点映射到原图像坐标系下，利用RANSAC算法估计原分辨率图像间的初始单应变换矩阵Hstr，从而获得目标图像和参考图像间的单应变换关系；
步骤2：图像精配准处理，具体包括以下子步骤：
步骤2.1：对两幅输入图像分别生成参考图像与目标图像的灰度图像和颜色不变量图像，分别记为TG、RG、TCI、RCI；
步骤2.2：分别在TG、RG图像上检测其SIFT特征点；
步骤2.3：在目标图像的灰度图像以及颜色不变量实数图上，计算所有特征点的SIFT特征向量，然后把每个特征点的灰度特征向量和颜色不变量特征向量拼接成256维的联合SIFT特征向量；
步骤2.4：在参考图像的灰度图像以及颜色不变量实数图上，计算所有特征点的SIFT特征向量，然后把每个特征点的灰度特征向量和颜色不变量特征向量拼接成256维的混合SIFT特征向量；
步骤2.5：对目标图像和参考图像里的特征点按以下步骤进行初匹配处理：对图像TG中每个特征点，根据第1阶段得到的图像粗配准的单应变换矩阵HsTR估计出它在图像RG上位置，然后在该位置的5×5矩形范围内，用其对应的联合SIFT特征向量的相似度来寻找匹配点；
步骤2.6：用RANSAC算法对上述找到的所有匹配点进行筛选，获得真匹配点集合，然后根据这些真匹配点集合计算目标图像和参考图像间的单应变换矩阵HTR。
2.根据权利要求1所述的高分辨率图像特征点的高速匹配方法，其特征在于，所述步骤1.1中，对两幅重叠待拼接的高分辨率图像进行下采样处理，下采样率r＝0.1，即将图像分辨率降低到原来的r2倍。
3.根据权利要求1所述的高分辨率图像特征点的高速匹配方法，其特征在于，所述步骤1.4-1.6中：
利用公式1将RGB颜色空间映射到高斯颜色模型，生成颜色不变量图像：
Figure FDA0002326584480000021
从灰度图像中检测出SIFT特征点，根据SIFT特征点的位置，分别在灰度图像和颜色不变量图像上计算所有特征点的SIFT特征向量，然后把每个特征点的128维灰度特征向量和128维颜色不变量特征向量拼接成256维的混合SIFT特征向量，来进行特征的匹配。
4.根据权利要求1所述的高分辨率图像特征点的高速匹配方法，其特征在于，对目标图像中每个特征点，根据图像粗配准的单应变换矩阵估计出它在参考图像上对应匹配点的位置，然后在该位置的5×5像素矩形范围内，用其对应的联合SIFT特征向量的相似度来寻找匹配点。
5.一种高分辨率图像特征点的高速匹配系统，其特征在于，包括：图像粗配准处理模块和图像精配准处理模块；所述图像粗配准处理模块和所述图像精配准处理模块采用如权利要求1-4之任一项所述的高分辨率图像特征点的高速匹配方法。
CN201911318809.8A 2019-12-19 2019-12-19 一种高分辨率图像特征点的高速匹配方法及系统 Active CN111160433B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911318809.8A CN111160433B (zh) 2019-12-19 2019-12-19 一种高分辨率图像特征点的高速匹配方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911318809.8A CN111160433B (zh) 2019-12-19 2019-12-19 一种高分辨率图像特征点的高速匹配方法及系统

Publications (2)

Publication Number Publication Date
CN111160433A true CN111160433A (zh) 2020-05-15
CN111160433B CN111160433B (zh) 2023-04-25

Family

ID=70557430

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911318809.8A Active CN111160433B (zh) 2019-12-19 2019-12-19 一种高分辨率图像特征点的高速匹配方法及系统

Country Status (1)

Country Link
CN (1) CN111160433B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113516693A (zh) * 2021-05-21 2021-10-19 郑健青 一种快速通用的图像配准方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102722731A (zh) * 2012-05-28 2012-10-10 南京航空航天大学 一种基于改进sift算法的高效图像匹配方法
JP2014225168A (ja) * 2013-05-16 2014-12-04 Kddi株式会社 特徴点集合で表される画像間の類似度を算出するプログラム、装置及び方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102722731A (zh) * 2012-05-28 2012-10-10 南京航空航天大学 一种基于改进sift算法的高效图像匹配方法
JP2014225168A (ja) * 2013-05-16 2014-12-04 Kddi株式会社 特徴点集合で表される画像間の類似度を算出するプログラム、装置及び方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
马旭燕;袁媛;汪承义;陈静波;贺东旭: "高分辨率遥感图像配准控制点均匀化算法" *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113516693A (zh) * 2021-05-21 2021-10-19 郑健青 一种快速通用的图像配准方法
CN113516693B (zh) * 2021-05-21 2023-01-03 郑健青 一种快速通用的图像配准方法

Also Published As

Publication number Publication date
CN111160433B (zh) 2023-04-25

Similar Documents

Publication Publication Date Title
Ma et al. A novel two-step registration method for remote sensing images based on deep and local features
Sui et al. Automatic optical-to-SAR image registration by iterative line extraction and Voronoi integrated spectral point matching
Yang et al. Automated registration of dense terrestrial laser-scanning point clouds using curves
Fan et al. Registration of optical and SAR satellite images by exploring the spatial relationship of the improved SIFT
Xiong et al. A critical review of image registration methods
Mousavi et al. A two-step descriptor-based keypoint filtering algorithm for robust image matching
Bariya et al. 3D geometric scale variability in range images: Features and descriptors
CN105184801B (zh) 一种基于多层次策略的光学与sar影像高精度配准方法
Kumar Mishra et al. A review of optical imagery and airborne lidar data registration methods
CN112085772B (zh) 一种遥感图像配准方法及装置
CN112883850B (zh) 一种基于卷积神经网络的多视角空天遥感图像匹配方法
Urban et al. Finding a good feature detector-descriptor combination for the 2D keypoint-based registration of TLS point clouds
Chen et al. Robust affine-invariant line matching for high resolution remote sensing images
CN102446356A (zh) 一种获取均匀分布匹配点的遥感影像并行自适应匹配方法
Gao et al. Multi-scale PIIFD for registration of multi-source remote sensing images
Wang et al. Robust line feature matching based on pair-wise geometric constraints and matching redundancy
Chen et al. Robust local feature descriptor for multisource remote sensing image registration
Chen et al. An improved image matching method based on SURF algorithm
CN104820992B (zh) 一种基于超图模型的遥感图像语义相似性度量方法及装置
CN111160433B (zh) 一种高分辨率图像特征点的高速匹配方法及系统
Zingman et al. Automated search for livestock enclosures of rectangular shape in remotely sensed imagery
Yang et al. Fast urban aerial image matching based on rectangular building extraction
Li et al. Auto-registration of medium and high spatial resolution satellite images by integrating improved SIFT and spatial consistency constraints
Ren et al. SAR image matching method based on improved SIFT for navigation system
Yang et al. Adjacent Self-Similarity Three-dimensional Convolution for Multi-modal Image Registration

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant