CN110097093B - 一种异源图像精确匹配方法 - Google Patents

一种异源图像精确匹配方法 Download PDF

Info

Publication number
CN110097093B
CN110097093B CN201910298603.7A CN201910298603A CN110097093B CN 110097093 B CN110097093 B CN 110097093B CN 201910298603 A CN201910298603 A CN 201910298603A CN 110097093 B CN110097093 B CN 110097093B
Authority
CN
China
Prior art keywords
image
point
matching
matched
points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910298603.7A
Other languages
English (en)
Other versions
CN110097093A (zh
Inventor
王鑫
翟华琼
吕国芳
石爱业
张香梁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hohai University HHU
Original Assignee
Hohai University HHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hohai University HHU filed Critical Hohai University HHU
Priority to CN201910298603.7A priority Critical patent/CN110097093B/zh
Publication of CN110097093A publication Critical patent/CN110097093A/zh
Application granted granted Critical
Publication of CN110097093B publication Critical patent/CN110097093B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/446—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering using Haar-like filters, e.g. using integral image techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G06V10/464—Salient features, e.g. scale invariant feature transforms [SIFT] using a plurality of salient features, e.g. bag-of-words [BoW] representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种异源图像精确匹配方法，包括：首先，对红外灰度图像与其负像将分别与可见光灰度图像匹配，即两个待匹配图像组；其次，针对待匹配图像组的每幅图像，提取具有尺度不变的关键点，计算关键点邻域的LPQ特征向量；第三，对待匹配图像组中的每幅图像的即SIFT特征、基于角点的形状上下文特征、LPQ特征进行加权融合，然后通过最近邻次近邻比值法对图像进行初始匹配；第四，去除误匹配点；最后，将红外灰度图像与其负像分别与可见光灰度图像匹配的结果整合为最终匹配结果。本发明设计了上下文描述子，获取图像的全局信息，同时为了进一步提高匹配性能，还利用LPQ描述子得到图像模糊不变纹理特征，最终该方法可以得到异源图像精确匹配结果。

Description

一种异源图像精确匹配方法
技术领域
本发明属于图像处理技术领域，尤其涉及一种异源图像精确匹配方法。
背景技术
异源视觉图像(以下简称异源图像)的匹配技术是广泛应用于飞机、遥感卫星、导弹等视觉导航、模式识别、制导和地形测量中的关键技术，这些系统采用的常是具有不同成像机理的传感器。所谓异源图像匹配，就是对来自不同成像传感器的图像进行匹配的技术。这些图像是由不同成像传感器在不同成像时间、光照环境等条件下形成的同一景象或物体、目标的图像，主要包括可见光图像、红外图像和雷达孔径图像(SAR图像)等图像类型。由于不同类型传感器本身结构、成像原理等方面的不同，导致异源图像上对应区域的灰度、对比度都存在较大的差异。因此，异源图像匹配是一项非常有难度的工作，需要研究出鲁棒性强、精确度高的异源图像匹配方法。
传统的图像匹配方法分为基于区域(主要是像素灰度、梯度等信息)的匹配方法和基于特征(主要是特征点、边缘和骨架等特征)的匹配方法。由于异源传感器对同一场景拍摄所生成的图像，无论是灰度、对比度还是纹理都存在很大的差异，同时红外图像还具有拍摄图像较为模糊的特点，因此，现在主流的异源图像匹配方法大都为基于特征匹配的方法。然而，现阶段国内外很多文献介绍的都是基于单一特征的异源图像匹配算法，由于单一特征没有充分利用图像信息，导致在匹配图像时，匹配精度不高，这也是本发明所要解决的技术问题。
发明内容
发明目的：针对以上问题，由于SIFT特征只包含了图像的局部信息，本发明设计了基于角点的形状上下文特征，可以获取图像的全局信息，同时为了进一步提高匹配性能，还利用LPQ算法得到图像模糊不变纹理特征，最终该方法可以得到异源图像精确匹配结果。
技术方案：为实现本发明的目的，本发明所采用的技术方案是：一种异源图像精确匹配方法，包括如下步骤：
(1)针对待匹配的红外和可见光异源图像，将它们分别灰度化，同时求出红外灰度图的负像，红外灰度图像img1与其负像img3分别与可见光灰度图像img2匹配，即两个待匹配图像组；
(2)针对待匹配图像组的每幅图像，基于DOG算法提取具有尺度不变的关键点，对关键点进行SIFT特征向量提取；设计改进的Harris算法提取图像的角点，并建立以角点为参考点的形状上下文特征；基于LPQ算法计算关键点邻域的LPQ特征向量；
(3)针对待匹配图像组中的每幅图像的三种特征即SIFT特征、基于角点的形状上下文特征、LPQ特征，分别计算三种特征的相似性系数，采用余弦相似度算法计算SIFT特征向量相似性系数，采用欧式距离算法分别计算基于角点的形状上下文特征向量和LPQ特征向量相似性系数，将三种特征的相似性系数加权融合，作为多特征的联合相似性度量，然后通过最近邻次近邻比值法对待匹配图像组的每组图像进行初始匹配；
(4)为了进一步提高匹配精度，利用RANSAC算法去除误匹配点；
(5)将红外灰度图像与其负像分别与可见光灰度图像匹配的结果整合为最终匹配结果。
所述步骤(1)中获取红外灰度图像的负像的具体方法是：
由于在可见光图像和红外图像中可能存在相同位置像素点灰度梯度方向相反的情况，所以提出对红外灰度图进行负像求取，后续红外灰度图像img1与其负像img3将分别与可见光灰度图像img2匹配。其中，红外图负像求取方法为：鉴于灰度图像的灰度范围为0～255，所以用255减去红外灰度图像中每个像素的灰度值，计算得到红外灰度图像的负像img3。
本发明中，参考图像为可见光灰度图像，待匹配图像为红外灰度图像或其负像。
所述步骤(2)中针对待匹配图像组的每幅图像，基于DOG算法提取具有尺度不变的关键点，对关键点进行SIFT特征提取；设计改进的Harris算法提取图像的角点，并建立以角点为参考点的形状上下文特征；基于LPQ算法计算关键点邻域的LPQ特征向量，具体实现方法是：
(a)针对待匹配图像组的每幅图像，基于DOG算法提取具有尺度不变的关键点，对关键点进行SIFT特征提取，并将得到的SIFT特征向量归一化。
(a1)以关键点为圆心，任意半径画圆，以关键点主方向为横坐标轴方向；
(a2)取关键点周围的16x16邻域，把邻域划分为4x4的子邻域，并且在每个子邻域里面进行八个方向梯度直方图的计算统计，这样就形成了128维(4x4x8)的SIFT特征向量；
(a3)对步骤(a2)中得到的SIFT特征向量进行归一化。
(b)针对待匹配图像组的每幅图像，设计改进的Harris算法提取图像的角点，并建立以角点为参考点的形状上下文特征，具体方法如下：
第一，针对待匹配图像组的每幅图像，建立局部窗口在图像上滑动，转换为数学公式(1)所示，根据公式(4)的R值判断是否是图像的Harris角点；
E(u，v)＝∑w(x，y)[I(x+u，y+v)-I(x，y)]2 (1)
其中，I(x，y)为图像在(x，y)点的灰度值，w(x，y)是高斯加权函数，u，v是窗口在水平，竖直方向的偏移。对式(1)二阶泰勒级数展开化简，得到：
E(u，v)＝∑w(x，y)[uIx+vIy]2 (2)
接着，将式(2)转化为矩阵表示：
Figure BDA0002027464230000031
其中，M是对称矩阵，
Figure BDA0002027464230000032
Ix和Iy是图像灰度沿x和y方向的梯度分量。
定义角点函数R：
R＝detM-k(traceM)2 (4)
其中，det M是矩阵M的行列式，trace M为矩阵M的直迹，k为经验常数，一般取值为0.04～0.06，本发明k值为0.06。
如果R＜0，则该点为边缘点；如果R＞0，则该点为角点或者平坦区域的点，但是平坦区域的点的R值近似为0，本发明将R＞0.01的点判定为角点。同时角点的灰度变化越大，则R的值也会越大。
第二，为了提高可见光图像与红外图像及其负值图像的同名点(即相同位置角点)比例，提出设置阈值thresh，令R＞thresh*Rmax，以从角点中进一步找到强角点，其中，Rmax是计算所有像素点的R值中最大的值；
第三，针对待匹配图像组的每幅图像，以(a)中基于DOG算法提取的图像关键点为圆心，以圆心到图像的所有关键点中的最长距离为半径，建立对数极坐标系，然后沿半径方向将整个坐标系划分为五个半径不等的同心圆，越靠近中心点的圆环半径越小。再将360度分成12份，最后就将对数极坐标系分成60个小区域。传统的形状上下文特征向量是基于轮廓点，本发明是基于角点的形状上下文特征。利用对数直方图统计落入60个区域的强角点的数量，并计算落入点的概率，得到一个60维的特征向量作为基于角点形状上下文(Harris-based Shape Context，H-SC)描述。
最后，将基于角点的形状上下文特征向量H-SC归一化。
(c)基于LPQ算法计算关键点邻域的LPQ特征向量，并将特征向量归一化。
所述步骤(3)中对待匹配图像组中的每幅图像的这三种特征即SIFT特征、基于角点的形状上下文特征、LPQ特征，分别计算三种特征的相似性系数，采用余弦相似度算法计算SIFT特征向量的相似性系数，采用欧式距离算法分别计算基于角点的形状上下文特征向量和LPQ特征向量相似性系数，将三种特征的相似性系数加权融合，作为多特征的联合相似性度量，然后通过最近邻次近邻比值法对待匹配图像组的每组图像进行初始匹配，具体实现形式是：
(a)对待匹配图像组中的每幅图像的这三种特征即SIFT特征、基于角点的形状上下文特征、LPQ特征，分别计算三种特征的相似性系数，采用余弦相似度算法计算SIFT特征向量的相似性系数dsift，采用欧式距离算法分别计算基于角点的形状上下文特征向量相似性系数dsc和LPQ特征向量相似性系数dlpq，将三种特征的相似性系数加权融合，作为多描述子的联合相似性度量；
第一，采用余弦相似度算法对SIFT特征向量进行相似性系数，即采用向量之间的夹角进行测量：
Figure BDA0002027464230000041
其中，p和q分别是参考图像和待匹配图像的SIFT特征描述向量。
第二，采用欧式距离算法对H-SC特征向量进行相似性系数：
Figure BDA0002027464230000042
其中，n是基于角点形状上下文特征向量的维度，ai是参考图像在任意关键点的基于角点形状上下文特征向量Rs(a0，a1，...a59)中的第i位，bi为待匹配图像中任意关键点的基于角点形状上下文特征向量Is(b0，b1，...b59)中的第i位。
第三，采用欧式距离算法检测LPQ特征描述向量的相似性系数：
Figure BDA0002027464230000043
其中，kn是LPQ特征向量的维度，si是参考图像在任意关键点的LPQ特征向量S(s0，s1，...s59)中的第i位，mi为待匹配图像中任意关键点的LPQ特征向量Mt(m0，m1，...m59)中的第i位。
第四，将三种特征的相似性系数加权融合，作为多特征的联合相似性度量：
d＝αdsift+β*dsc+(1-α-β)dlpa (8)
其中α，β为权值因子。
(b)基于式(8)将三种特征的相似性系数加权融合，作为多特性的联合相似性度量，即联合相似度，然后通过最近邻次近邻比值法对待匹配图像组的每组图像进行初始匹配。
若参考图像的某个关键点1与待匹配图像的某个关键点2最相似，即联合相似度量值最小，则关键点2为最邻近点，dND表示这关键点1与关键点2的联合相似度量值；若参考图像的某个关键点1与待匹配图像的某个关键点3第二相似，即联合相似度量值次最小，则关键点3为次邻近点，dNND表示关键点1与关键点3的联合相似度量值，δ为两个联合相似度的比率，当比率小于设定的阈值T时，接受关键点1与关键点2为一对匹配点。
Figure BDA0002027464230000051
通过上述方法找出所有的匹配点对形成匹配点对数据集。
上述步骤(4)中为了进一步提高匹配精度，利用RANSAC算法去除误匹配点，得到精匹配结果。
RANSAC算法原理是为了寻找一个最佳的单应性矩阵H如式(10)所示，RANSAC目的是找到最优的模型如式(11)所示，使得满足该模型的数据点个数最多，将不满足该模型的数据点剔除，具体内容如下：
(4.1)从匹配点对数据集中随机抽取一个样本，即4个不共线的匹配点对，根据这个4个匹配点对计算出单应性矩阵H：
Figure BDA0002027464230000052
Figure BDA0002027464230000053
其中，(cxi，cyi)和(cxi′，cyi′)为匹配点对的位置坐标，通过4个匹配点对的位置坐标即可解出公式(10)中的矩阵H，即得到公式11中的八个参数。
(4.2)使用矩阵H对匹配对数据集中的匹配点进行变换，如果点(cxi，cyi)通过H根据公式(11)计算得到的点与(cxi′，cyi′)坐标相同，则该点对是符合要求的点对，计算匹配点对数据集中符合上述变换要求点对的总数num。
(4.3)重复步骤(4.1)-(4.2)，随机选择所有4个不共线的匹配点对，计算所有不同的单应性矩阵H以及对应的num值，找到num最大值对应的单应性矩阵H，作为最优的单应性矩阵H，删除匹配对数据集中不符合单应性矩阵H变换的点对，即实现匹配点的删除。所述不符合单应性矩阵H变换的点对即为：对点(cxi，cyi)通过H根据公式(11)计算得到的点与匹配点对(cxi′，cyi′)的坐标不相同。
上述步骤(5)中将红外灰度图像与其负像分别与可见光灰度图像匹配的结果整合为最终匹配结果。通过将img1和img3分别和img2进行粗匹配和精匹配，将两次最终精匹配后得到的匹配点对整合，得到最后的匹配点对。
有益效果：与现有技术相比，本发明的技术方案具有以下有益技术效：
本发明是一种复合特征的异源匹配算法，利用了具有尺度不变性的SIFT特征，由于SIFT特征是描述局部图像信息，于是又引入形状上下文特征来描述图像的全局信息。传统的形状上下文的参考点是图像轮廓点，对形状简单的图像匹配效果较好，如果图像较大，图像信息比较复杂时，由于轮廓点过多，获取特征所需时间较长，效率低，而且所选取的点不具有显著性。为了解决这一问题，本发明将Harris强角点作为参考点。强角点在保留图像中重要特征的同时，可以有效的减少特征点信息的冗余量，有效的提高了计算的速度，有利于图像匹配。同时为了充分利用图像信息，本文又增加了LPQ特征作为区域特征，来优化算法，重要的是该特征具有模糊不变性。通过采用局部LPQ向量的方法对匹配的点的周围选取背景区域，利用局部背景纹理相关性，增强匹配的相关性。因此本发明方法在各种情况下具有匹配的稳定性和可靠性。
附图说明
图1是本发明方法的框架图；
图2是本发明在同场景同尺度视角下的匹配结果图；
图3是本发明在旋转变换下的匹配结果图；
图4是本发明在视角变换下的匹配结果图；
图5是本发明在尺度变换下的匹配结果图。
具体实施方式
以下将结合附图，对本发明的技术方案及有益效果进行详细说明。
如图1所示，本发明提供一种异源图像精确匹配方法，首先，针对待匹配的红外和可见光异源图像，将它们分别灰度化，同时求出红外灰度图的负像，后续红外灰度图像与其负像将分别与可见光灰度图像匹配，即两个待匹配图像组。其次，针对待匹配图像组的每幅图像，基于DOG算法提取具有尺度不变的关键点，对关键点进行SIFT特征提取；设计改进的Harris算法提取图像的角点，并建立以角点为参考点的形状上下文描述；基于LPQ算法计算关键点邻域的LPQ特征向量。第三，针对待匹配图像组中的每幅图像的这三种特征即SIFT特征、基于角点的形状上下文特征、LPQ特征，分别计算三种特征的相似性系数，将三种特征的相似性系数加权融合，作为多描述子的联合相似性度量，然后通过最近邻次近邻比值法对图像进行初始匹配。第四，为了进一步提高匹配精度，利用RANSAC算法去除误匹配点。最后，将红外灰度图像与其负像分别与可见光灰度图像匹配的结果整合为最终匹配结果。所述方法具体包括如下步骤：
(1)针对待匹配的红外和可见光异源图像，将它们分别灰度化，同时求出红外灰度图的负像，红外灰度图像img1与其负像img3分别与可见光灰度图像img2匹配，即两个待匹配图像组；
(2)针对待匹配图像组的每幅图像，基于DOG算法提取具有尺度不变的关键点，对关键点进行SIFT特征提取；设计改进的Harris算法提取图像的角点，并建立以角点为参考点的形状上下文描述；基于LPQ算法计算关键点邻域的LPQ特征向量；
(3)针对待匹配图像组中的每幅图像的这三种特征即SIFT特征、基于角点的形状上下文特征、LPQ特征，分别计算三种特征的相似性系数，采用余弦相似度算法计算SIFT描述子的相似性系数，采用欧式距离算法分别计算基于角点的形状上下文描述子和LPQ描述子相似性系数，将三种特征的相似性系数加权融合，作为多描述子的联合相似性度量，然后通过最近邻次近邻比值法对图像进行初始匹配；
(4)为了进一步提高匹配精度，利用RANSAC算法去除误匹配点；
(5)将红外灰度图像与其负像分别与可见光灰度图像匹配的结果整合为最终匹配结果。
所述步骤(1)中获取红外灰度图像的负像的具体方法是：
由于在可见光图像和红外图像中可能存在相同位置像素点灰度梯度方向相反的情况，所以提出对红外灰度图进行负像求取，后续红外灰度图像img1与其负像img3将分别与可见光灰度图像img2匹配。其中，红外图像负像求取方法为：鉴于灰度图像的灰度范围为0～255，所以用255减去红外灰度图像中每个像素的灰度值，计算得到红外灰度图像的负像。
下文中，参考图像为可见光灰度图像，待匹配图像为红外灰度图像或其负像。
所述步骤(2)中针对待匹配图像组的每幅图像，基于DOG算法提取具有尺度不变的关键点，对关键点进行SIFT特征提取；设计改进的Harris算法提取图像的角点，并建立以角点为参考点的形状上下文描述；基于LPQ算法计算关键点邻域的LPQ特征向量，具体实现形式是：
(a)针对待匹配图像组的每幅图像，基于DOG算法提取具有尺度不变的关键点，对关键点进行SIFT特征提取，并将得到的SIFT特征向量归一化。
(a1)以关键点为圆心，任意半径画圆，以关键点主方向为横坐标轴方向。
(a2)取关键点周围的16x16邻域，把邻域划分为4x4的子邻域，并且在每个子邻域里面进行八个方向梯度直方图的计算统计，这样就形成了128维(4x4x8)的SIFT描述子。
(a3)对特征向量进行归一化。
(b)设计改进的Harris算法提取图像的角点，并建立以角点为参考点的形状上下文描述，具体内容如下：
(b1)建立局部窗口，通过在参考图像和待匹配图像上滑动，判断R大于阈值以获取图像的Harris角点；
E(u，v)＝∑x，yw(x，y)[I(x+u，y+v)-I(x，y)]2 (1)
其中，I(x，y)为图像在(x，y)点的灰度值，w(x，y)是高斯加权函数，u，v是窗口在水平，竖直方向的偏移。对式(1)二阶泰勒级数展开化简，得到：
E(u，v)＝∑x，yw(x，y)[uIx+vIy]2 (2)
接着，将式(2)转化为矩阵表示：
Figure BDA0002027464230000081
其中，M为
Figure BDA0002027464230000082
Ix和Iy是图像灰度沿x和y方向的梯度分量。
定义角点函数R：
R＝detM-k(traceM)2 (4)
其中，det M是矩阵M的行列式，trace M为矩阵M的直迹，k为经验常数，一般取值为0.04～0.06，本发明k值为0.06。
如果R＜0，则该点为边缘点；如果R＞0，则该点为角点或者平坦区域的点，但是平坦区域的点的R值近似为0，本发明将R＞0.01的点判定为角点。同时角点的灰度变化越大，则R的值也会越大。
(b2)为了提高可见光图像与红外图像及其负值图像的同名点(即相同位置角点)比例，提出设置阈值thresh，令R＞thresh*Rmax，以从角点中进一步找到强角点，其中，Rmax是计算所有像素点的R值中最大的值。
(b3)以(a)中基于DOG算法提取的图像关键点为圆心，以图像的最远关键点为半径，建立对数极坐标系，然后沿半径方向将整个坐标系划分为五个半径不等的同心圆，越靠近中心点的圆环半径越小。再将360度分成12份，最后就将对数极坐标系分成60个小区域。传统的形状上下文描述子是基于轮廓点，本发明是基于角点的形状上下文描述子。利用对数直方图统计落入60个区域的强角点的数量，并计算落入点的概率，得到一个60维的特征向量作为角点形状上下文(Harris-based Shape Context，H-SC)描述子。
(b4)将基于角点的形状上下文特征向量H-SC归一化。
(c)基于LPQ算法计算关键点邻域的LPQ特征向量，并将特征向量归一化。
(c1)以关键点为中心，选取25x25像素的图像作为特征区域；
(c2)以3×3窗口对离散区域进行短时傅里叶变换，计算特征区域中256维的LPQ特征向量。
(c3)将特征向量归一化。
所述步骤(3)中对待匹配图像组中的每幅图像的这三种特征即SIFT特征、基于角点的形状上下文特征、LPQ特征，分别计算三种特征的相似性系数，采用余弦相似度算法计算SIFT描述子的相似性系数，采用欧式距离算法分别计算基于角点的形状上下文描述子和LPQ描述子相似性系数，将三种特征的相似性系数加权融合，作为多描述子的联合相似性度量，然后通过最近邻次近邻比值法对图像进行初始匹配，具体实现形式是：
(d)对待匹配图像组中的每幅图像的这三种特征即SIFT特征、基于角点的形状上下文特征、LPQ特征，分别计算三种特征的相似性系数，采用余弦相似度算法计算SIFT描述子的相似性系数dsift，采用欧式距离算法分别计算基于角点的形状上下文描述子相似性系数dsc和LPQ描述子相似性系数dlpq，将三种特征的相似性系数加权融合，作为多描述子的联合相似性度量。
(d1)采用余弦相似度算法对SIFT描述子进行相似性度量，即采用向量之间的夹角进行测量：
Figure BDA0002027464230000091
其中，p和q分别是参考图像和待匹配图像的SIFT特征描述向量。
(d2)采用欧式距离算法对H-SC描述子进行相似性度量：
Figure BDA0002027464230000092
其中，ai是参考图像在任意关键点的形状上下文特征描述Rs(a0，a1，...a59)中的第i位，bi为待匹配图像中任意关键点的形状上下文特征描述Is(b0，b1，...b59)中的第i位。
(d3)采用欧式距离算法检测LPQ特征描述向量的相似性：
Figure BDA0002027464230000101
其中，si是参考图像在任意关键点的LPQ特征描述S(s0，s1，...s59)中的第i位，mi为待匹配图像中任意关键点的LPQ特征描述Mt(m0，m1，...m59)中的第i位。
(d4)将三种特征的相似性系数加权融合，作为多描述子的联合相似性度量：
d＝αdsiftt+β*dsc+(1-α-β)dlpq (8)
其中α，β为权值因子。
(e)基于式(8)得到的多描述子的联合相似性度量，利用最近邻次近邻比值法，粗匹配得到初始的匹配点对。
设dND和dNND分别表示实时图像的某个特征点和基准图像的最近和次近特征点的联合距离，δ为两个距离的比率，当比率小于设定的阈值T时，接受这一对匹配点。
Figure BDA0002027464230000102
上述步骤(4)中为了进一步提高匹配精度，利用RANSAC算法去除误匹配点，得到精匹配结果。具体步骤如下：
(f1)从数据集中随机抽取一个RANSAC样本，即mc个不共线的匹配点对。
(f2)根据这mc个匹配点对寻找一个最优参数满足数据点个数最多的变换矩阵H。
Figure BDA0002027464230000103
Figure BDA0002027464230000104
其中，(cxi，cyi)为参考图像关键点的位置，(cxi′，cyi′)为通过变换矩阵后对应的关键点的位置，i取任意整数表示匹配点对的序号。将mc对匹配点经过式(10)的计算恢复出矩阵Ht中的nc个参数，mc和nc的关系为式(12)。
Figure BDA0002027464230000105
(f3)判断(b)中建立的模型(当前一致集)是否为最优，包括通过矩阵H测试数据并计算其数据点个数等。若是则更新当前最优一致集。
(f4)更新当前错误概率P，若P大于允许的最小错误概率则重复(a)～(c)步骤，直到其小于最小错误概率。其中本发明设定P为0.015。
上述步骤(5)中通过将img1和img3分别和img2进行粗匹配和精匹配，将两次最终精匹配后得到的匹配点对结合起来，得到最后的匹配点对。
最后，本发明对提出的算法进行了实验验证，图2是同场景同尺度视角的可见光和红外图像，尺寸为512×367，匹配对数为42，正确39对，正确率93％；图3是可见光图像和旋转了5°的红外图像，尺寸为397×254，匹配对数为33，正确31对，正确率94％；图4是红外图像和视角变换下的可见光图像，尺寸为398×254，匹配对数为20，正确17对，正确率85％。图5是可见光图像和同场景但尺度缩小了33％的红外图像，可见光图像的尺寸为220×208，红外图像的尺寸为178×171，匹配对数为11，正确对数10，正确率91％。可以看出，本发明算法在同条件以及存在旋转、视角和尺度变换条件下均具有良好的匹配结果。
以上实施例仅为说明本发明的技术思想,不能以此限定本发明的保护范围，对于本技术领域的普通技术人员来说，在不脱离本发明技术思想的前提下，在本发明的技术方案基础上所做的任何改动，均落入本发明保护范围之内。

Claims (6)

1.一种异源图像精确匹配方法，其特征在于，该方法包括如下步骤：
(1)针对待匹配的红外和可见光异源图像，将它们分别灰度化，同时求出红外灰度图的负像，红外灰度图像img1与其负像img3分别与可见光灰度图像img2匹配，即两个待匹配图像组，并将可见光灰度图像img2作为参考图像，红外灰度图像或其负像作为待匹配图像；
(2)针对待匹配图像组的每幅图像，基于DOG算法提取具有尺度不变的关键点，对关键点进行SIFT特征向量提取；设计改进的Harris算法提取图像的角点，并建立以角点为参考点的形状上下文特征；基于LPQ算法计算关键点邻域的LPQ特征向量；
(3)针对待匹配图像组中的每幅图像的三种特征即SIFT特征、基于角点的形状上下文特征、LPQ特征，分别计算三种特征的相似性系数，采用余弦相似度算法计算SIFT特征向量相似性系数，采用欧式距离算法分别计算基于角点的形状上下文特征向量和LPQ特征向量相似性系数，将三种特征的相似性系数加权融合，作为多特征的联合相似性度量，然后通过最近邻次近邻比值法对待匹配图像组的每组图像进行初始匹配，形成匹配点对数据集；
(4)利用RANSAC算法去除匹配点对数据集中误匹配的点对；
(5)将红外灰度图像与其负像分别与可见光灰度图像匹配的结果整合为最终匹配结果。
2.根据权利要求1所述的一种异源图像精确匹配方法，其特征在于，步骤(1)中获取红外灰度图像的负像的具体方法是：用255减去红外灰度图像中每个像素的灰度值，计算得到红外灰度图像的负像img3。
3.根据权利要求1或2所述的一种异源图像精确匹配方法，其特征在于，所述步骤(2)中针对待匹配图像组的每幅图像，基于DOG算法提取具有尺度不变的关键点，对关键点进行SIFT特征提取；设计改进的Harris算法提取图像的角点，并建立以角点为参考点的形状上下文特征；基于LPQ算法计算关键点邻域的LPQ特征向量，具体方法如下：
(a)针对待匹配图像组的每幅图像，基于DOG算法提取具有尺度不变的关键点，对关键点进行SIFT特征提取，并将得到的SIFT特征向量归一化：
(a1)以关键点为圆心，任意半径画圆，以关键点主方向为横坐标轴方向；
(a2)取关键点周围的16x16邻域，把邻域划分为4x4的子邻域，并且在每个子邻域里面进行八个方向梯度直方图的计算统计，这样就形成了128维的SIFT特征向量；
(a3)对步骤(a2)中得到的SIFT特征向量进行归一化；
(b)针对待匹配图像组的每幅图像，设计改进的Harris算法提取图像的角点，并建立以角点为参考点的形状上下文特征，具体方法如下：
第一，针对待匹配图像组的每幅图像，建立局部窗口在图像上滑动，转换为数学公式(1)所示，根据公式(4)的R值判断是否是图像的Harris角点；
E(u，v)＝∑w(x，y)[I(x+u，y+v)-I(x，y)]2 (1)
其中，I(x，y)为图像在(x，y)点的灰度值，w(x，y)是高斯加权函数，u，v是窗口在水平，竖直方向的偏移，对式(1)二阶泰勒级数展开化简，得到：
E(u，v)＝∑w(x，y)[uIx+vIy]2 (2)
将式(2)转化为矩阵表示：
Figure FDA0002027464220000021
其中，M是对称矩阵，M为
Figure FDA0002027464220000022
Ix和Iy是图像灰度沿x和y方向的梯度分量；
定义角点函数R：
R＝detM-k(traceM)2 (4)
其中，det M是矩阵M的行列式，trace M为矩阵M的直迹，k为经验常数；
如果R＜0，则该点为边缘点；如果R＞0，则该点为角点；
第二，设置阈值thresh，令R＞thresh*Rmax，以从角点中进一步找到强角点，其中，Rmax是计算所有像素点的R值中最大的值；
第三，针对待匹配图像组的每幅图像，以(a)中基于DOG算法提取的图像关键点为圆心，以圆心到图像的所有关键点中的最长距离为半径，建立对数极坐标系，然后沿半径方向将整个坐标系划分为五个半径不等的同心圆，再将360度分成12份，最后就将对数极坐标系分成60个小区域，利用对数直方图统计落入60个区域的强角点的数量，并计算落入点的概率，得到一个60维的特征向量作为基于角点形状上下文描述；
第四，将基于角点的形状上下文特征向量H-SC归一化；
(c)基于LPQ算法计算关键点邻域的LPQ特征向量，并将特征向量归一化。
4.根据权利要求3所述的一种异源图像精确匹配方法，其特征在于，所述步骤(3)中对待匹配图像组中的每幅图像的这三种特征即SIFT特征、基于角点的形状上下文特征、LPQ特征，分别计算三种特征的相似性系数，采用余弦相似度算法计算SIFT特征向量的相似性系数，采用欧式距离算法分别计算基于角点的形状上下文特征向量和LPQ特征向量相似性系数，将三种特征的相似性系数加权融合，作为多特征的联合相似性度量，然后通过最近邻次近邻比值法对待匹配图像组的每组图像进行初始匹配，具体方法如下：
(a)对待匹配图像组中的每幅图像的这三种特征即SIFT特征、基于角点的形状上下文特征、LPQ特征，分别计算三种特征的相似性系数，采用余弦相似度算法计算SIFT特征向量的相似性系数dsift，采用欧式距离算法分别计算基于角点的形状上下文特征向量相似性系数dsc和LPQ特征向量相似性系数dlpq，将三种特征的相似性系数加权融合，作为多描述子的联合相似性度量；
第一，采用余弦相似度算法对SIFT特征向量进行相似性系数，即采用向量之间的夹角进行测量：
Figure FDA0002027464220000031
其中，p和q分别是参考图像和待匹配图像的SIFT特征描述向量；
第二，采用欧式距离算法对H-SC特征向量进行相似性系数：
Figure FDA0002027464220000032
其中，n是基于角点形状上下文特征向量的维度，ai是参考图像在任意关键点的基于角点形状上下文特征向量Rs中的第i位，bi为待匹配图像中任意关键点的基于角点形状上下文特征向量Is中的第i位；
第三，采用欧式距离算法检测LPQ特征描述向量的相似性系数：
Figure FDA0002027464220000033
其中，kn是LPQ特征向量的维度，si是参考图像在任意关键点的LPQ特征向量S中的第i位，mi为待匹配图像中任意关键点的LPQ特征向量Mt中的第i位；
第四，将三种特征的相似性系数加权融合，作为多特征的联合相似性度量：
d＝αdsift+β*dsc+(1-α-β)dlpq (8)
其中α，β为权值因子；
(b)若参考图像的某个关键点1与待匹配图像的某个关键点2最相似，即联合相似度量值最小，则关键点2为最邻近点，dND表示这关键点1与关键点2的联合相似度量值；若参考图像的某个关键点1与待匹配图像的某个关键点3第二相似，即联合相似度量值次最小，则关键点3为次邻近点，dNND表示关键点1与关键点3的联合相似度量值，δ为两个联合相似度的比率，当比率小于设定的阈值T时，接受关键点1与关键点2为一对匹配点：
Figure FDA0002027464220000041
通过上述方法找出所有的匹配点对形成匹配点对数据集。
5.根据权利要求3所述的一种异源图像精确匹配方法，其特征在于，上述步骤(4)，利用RANSAC算法去除误匹配点，具体方法如下：
(4.1)从匹配点对数据集中随机抽取一个样本，即4个不共线的匹配点对，根据这个4个匹配点对计算出单应性矩阵H：
Figure FDA0002027464220000042
Figure FDA0002027464220000043
其中，(cxi，cyi)和(cxi′，cyi′)为匹配点对的位置坐标，通过4个匹配点对的位置坐标即可解出公式(10)中的矩阵H，即得到公式11中的八个参数；
(4.2)使用矩阵H对匹配对数据集中的匹配点进行变换，如果点(cxi，cyi)通过H根据公式(11)计算得到的点与(cxi′，cyi′)坐标相同，则该点对是符合要求的点对，计算匹配点对数据集中符合上述变换要求点对的总数num；
(4.3)重复步骤(4.1)-(4.2)，随机选择所有4个不共线的匹配点对，计算所有不同的单应性矩阵H以及对应的num值，找到num最大值对应的单应性矩阵H，作为最优的单应性矩阵H，删除匹配对数据集中不符合单应性矩阵H变换的点对，即实现匹配点的删除，所述不符合单应性矩阵H变换的点对即为：对点(cxi，cyi)通过H根据公式(11)计算得到的点与匹配点(cxi′，cyi′)的坐标不相同。
6.根据权利要求5所述的一种异源图像精确匹配方法，其特征在于，上述步骤(5)中将红外灰度图像与其负像分别与可见光灰度图像匹配的结果整合为最终匹配结果，方法如下：通过将img1和img3分别和img2进行粗匹配和精匹配，将两次最终精匹配后得到的匹配点对整合，得到最后的匹配点对。
CN201910298603.7A 2019-04-15 2019-04-15 一种异源图像精确匹配方法 Active CN110097093B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910298603.7A CN110097093B (zh) 2019-04-15 2019-04-15 一种异源图像精确匹配方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910298603.7A CN110097093B (zh) 2019-04-15 2019-04-15 一种异源图像精确匹配方法

Publications (2)

Publication Number Publication Date
CN110097093A CN110097093A (zh) 2019-08-06
CN110097093B true CN110097093B (zh) 2022-08-19

Family

ID=67444908

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910298603.7A Active CN110097093B (zh) 2019-04-15 2019-04-15 一种异源图像精确匹配方法

Country Status (1)

Country Link
CN (1) CN110097093B (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110490268A (zh) * 2019-08-26 2019-11-22 山东浪潮人工智能研究院有限公司 一种基于余弦相似度的改进最近邻距离比的特征匹配方法
CN112633304B (zh) * 2019-09-23 2023-07-25 中国科学院沈阳自动化研究所 一种鲁棒的模糊图像匹配方法
CN111091133B (zh) * 2019-11-05 2023-05-30 西安建筑科技大学 一种基于sift算法的青铜器金文图像识别方法
CN111242221B (zh) * 2020-01-14 2023-06-20 西交利物浦大学 基于图匹配的图像匹配方法、系统及存储介质
CN111783834B (zh) * 2020-06-03 2022-08-19 河海大学 一种基于联合图频谱特征分析的异源图像匹配方法
CN112446908A (zh) * 2020-11-18 2021-03-05 中国科学院上海技术物理研究所 一种基于几何纹理的热红外影像控制点提取方法
CN112435296B (zh) * 2020-12-01 2024-04-19 南京工程学院 一种用于vslam室内高精度定位的图像匹配方法
CN112712510B (zh) * 2020-12-31 2022-12-30 中国电子科技集团公司第十四研究所 一种基于梯度和相位一致性的异源图像匹配方法
US11475240B2 (en) * 2021-03-19 2022-10-18 Apple Inc. Configurable keypoint descriptor generation
CN113095385B (zh) * 2021-03-31 2023-04-18 安徽工业大学 一种基于全局和局部特征描述的多模图像匹配方法
CN113469003B (zh) * 2021-06-24 2023-03-14 上海电力大学 一种遥感图像的匹配方法
CN113362265B (zh) * 2021-08-10 2021-11-16 成都新橙北斗智联有限公司 一种低成本的无人机正射影像快速地理拼接方法
CN113792788B (zh) * 2021-09-14 2024-04-16 安徽工业大学 一种基于多特征相似度融合的红外和可见光图像匹配方法
CN114723770B (zh) * 2022-05-16 2022-08-09 中国人民解放军96901部队 一种基于特征空间关系的异源图像匹配方法
CN115019071B (zh) * 2022-05-19 2023-09-19 昆明理工大学 光学图像与sar图像匹配方法、装置、电子设备及介质
CN116310417B (zh) * 2023-03-10 2024-04-26 济南大学 一种基于形状上下文信息的近似图匹配方法及系统
CN116824516B (zh) * 2023-08-30 2023-11-21 中冶路桥建设有限公司 一种涉路施工安全监测及管理系统
CN117455149B (zh) * 2023-10-19 2024-07-05 珠江水利委员会珠江流域水土保持监测中心站 生产建设项目建设全周期变化检测方法、介质
CN117692649B (zh) * 2024-02-02 2024-04-19 广州中海电信有限公司 基于图像特征匹配的船舶远程监控视频高效传输方法
CN117830301B (zh) * 2024-03-04 2024-05-14 青岛正大正电力环保设备有限公司 基于红外可见光融合特征的捞渣区域检测方法
CN117994255B (zh) * 2024-04-03 2024-06-07 中国人民解放军总医院第六医学中心 基于深度学习的肛裂检测系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020062557A (ko) * 2001-01-20 2002-07-26 삼성전자 주식회사 영역 분할된 영상의 영역 특징치 정합에 기초한객체추출장치 및 그 방법
CN101650784A (zh) * 2009-09-23 2010-02-17 南京大学 一种利用结构上下文特征进行图像匹配的方法
CN102722731A (zh) * 2012-05-28 2012-10-10 南京航空航天大学 一种基于改进sift算法的高效图像匹配方法
CN104182930A (zh) * 2014-08-16 2014-12-03 大连理工大学 Sift图像快速匹配的尺寸预处理方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020062557A (ko) * 2001-01-20 2002-07-26 삼성전자 주식회사 영역 분할된 영상의 영역 특징치 정합에 기초한객체추출장치 및 그 방법
CN101650784A (zh) * 2009-09-23 2010-02-17 南京大学 一种利用结构上下文特征进行图像匹配的方法
CN102722731A (zh) * 2012-05-28 2012-10-10 南京航空航天大学 一种基于改进sift算法的高效图像匹配方法
CN104182930A (zh) * 2014-08-16 2014-12-03 大连理工大学 Sift图像快速匹配的尺寸预处理方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
异步多特征红外与可见光图像匹配算法;李俊山等;《微电子学与计算机》;20130705(第07期);全文 *

Also Published As

Publication number Publication date
CN110097093A (zh) 2019-08-06

Similar Documents

Publication Publication Date Title
CN110097093B (zh) 一种异源图像精确匹配方法
CN104574347B (zh) 基于多源遥感数据的在轨卫星图像几何定位精度评价方法
CN104200495B (zh) 一种视频监控中的多目标跟踪方法
CN109409292A (zh) 基于精细化特征优化提取的异源图像匹配方法
CN108491838B (zh) 基于sift和hough的指针型仪表示数读取方法
CN110569861B (zh) 一种基于点特征和轮廓特征融合的图像匹配定位方法
CN103729654A (zh) 基于改进sift算法的图像匹配检索系统
CN107862708A (zh) 一种sar与可见光图像配准方法
CN108257155B (zh) 一种基于局部和全局耦合的扩展目标稳定跟踪点提取方法
CN110084830B (zh) 一种视频运动目标检测与跟踪方法
CN110222661B (zh) 一种用于运动目标识别及跟踪的特征提取方法
CN112734816B (zh) 基于CSS-Delaunay的异源图像配准方法
CN108229500A (zh) 一种基于函数拟合的sift误匹配点剔除法
CN111967337A (zh) 一种基于深度学习和无人机影像的管道线变化检测方法
Kabbai et al. Image matching based on LBP and SIFT descriptor
CN107862319A (zh) 一种基于邻域投票的异源高分光学影像匹配误差剔除方法
CN114972458A (zh) 一种可见光与红外热成像图像配准的方法及系统
CN116664892A (zh) 基于交叉注意与可形变卷积的多时相遥感图像配准方法
Huang et al. SAR and optical images registration using shape context
CN114358166A (zh) 一种基于自适应k均值聚类的多目标定位方法
CN112418250B (zh) 一种复杂3d点云的优化匹配方法
CN110246165A (zh) 提高可见光图像与sar图像配准速度的方法及系统
CN104484647B (zh) 一种高分辨率遥感图像云高度检测方法
Cai et al. Feature detection and matching with linear adjustment and adaptive thresholding
CN110738098A (zh) 一种目标的识别定位与锁定跟踪方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant