CN111506759B - 一种基于深度特征的影像匹配方法及装置 - Google Patents

一种基于深度特征的影像匹配方法及装置 Download PDF

Info

Publication number
CN111506759B
CN111506759B CN202010144544.0A CN202010144544A CN111506759B CN 111506759 B CN111506759 B CN 111506759B CN 202010144544 A CN202010144544 A CN 202010144544A CN 111506759 B CN111506759 B CN 111506759B
Authority
CN
China
Prior art keywords
image
matching
depth
features
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010144544.0A
Other languages
English (en)
Other versions
CN111506759A (zh
Inventor
蓝朝桢
张永显
施群山
崔志祥
侯慧太
秦剑琪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Information Engineering University of PLA Strategic Support Force
Original Assignee
Information Engineering University of PLA Strategic Support Force
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Information Engineering University of PLA Strategic Support Force filed Critical Information Engineering University of PLA Strategic Support Force
Priority to CN202010144544.0A priority Critical patent/CN111506759B/zh
Publication of CN111506759A publication Critical patent/CN111506759A/zh
Application granted granted Critical
Publication of CN111506759B publication Critical patent/CN111506759B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Library & Information Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于深度特征的影像匹配方法及装置，属于深度学习和图像处理技术领域。本发明采用的预训练的卷积神经网络来构建基准影像深度特征数据库，使得在训练样本不足时，能够利用预训练卷积神经网络对图像深度特征进行有效提取，从而提高基准影像深度特征数据库中特征的有效性，以此提高图像匹配的鲁棒性。

Description

一种基于深度特征的影像匹配方法及装置
技术领域
本发明涉及一种基于深度特征的影像匹配方法及装置，属于深度学习和图像处理技术领域。
背景技术
卫星导航受限环境下，快速准确的图像检索匹配功能对于无人机执行情报搜集、监视和侦察等任务的作用尤为重要。基于场景环境中固有不变的路标特征实现目标对象的查询匹配，旨在寻找无人机获取的序列影像与先验参考图像一致的尺度不变路标特征。
传统上，将路标识别匹配问题看作图像检索任务，使用具有局部不变性的特征来表示每一幅图像，然后将特征聚合成一个向量进行表示，通过查询地理特征数据库获得视觉上最相似的图像来估计查询图像的位置，常用方法有BOW(Bag of Words)、VLAD(Vectorof Locally Aggregated Descriptors)、FV(Fisher Vector)等。近几年，卷积神经网络(CNN)的出现为多种类型的识别任务提供了更强性能的图像表示，目前主流提取图像深度特征的方法是利用深度卷积神经网络，通过深度卷积神经网络提取出来的深度特征与传统视觉特征相比，最大的区别在于图像深度特征是从大规模数据中自动学习出来的，而不是被手工设计出来的。由于卷积神经网络的特性，不同网络的输出具有不同抽象程度的图像视觉表征能力，一般来说，越接近输入层的信号其通用性越强，而越接近输出层的信号则更容易被特定的训练数据所拟合，相比全连接层特征，卷积层特征具有更强的辨别能力和细节描述能力。Arandjelovic等受VLAD特征启发，提出一种卷积神经网络模型，将传统的VLAD结构嵌入到CNN网络中，得到一个新的VLAD层，实现了端到端的路标识别；Sarlin等提出一种基于CNN结构并结合注意力得分由粗到精的关键点选择机制，该方法适合大尺度图像特征描述符索引，并证明了这种描述符优于多数的全局和局部描述符。以上研究从不同方面提高了路标识别的准确率和匹配效率，但基于无人机识别自然场景路标进行序列图像和基准图像匹配仍面临的较多挑战：(1)在图像采集阶段不同的分辨率、角度、尺度、传感器和光照条件将导致特征混淆和物体遮挡等问题；(2)相机内部参数的差异会引起图像对之间的不同；(3)不同时间段采集的图像可能由于物体出现或者消失导致图像之间的匹配变得更加困难。目前，尽管基于深度卷积特征的图像匹配方法在性能上得到了很大的提升，由于深度特征是一种基于数据驱动学习的特征表征，要得到一个特征表征能力强的卷积神经网络模型往往需要大量的训练样本，当训练样本不足时，无法有效提取图像的深度特征，基于深度特征的影像匹配鲁棒性低。
发明内容
本发明的目的是提供一种基于深度特征的影像匹配方法及装置，以解决目前的影像匹配过程中鲁棒性低的问题。
本发明为解决上述技术问题而提供一种基于深度特征的影像匹配方法，该匹配方法包括以下步骤：
1)将待匹配的影像通过深度学习算法进行深度特征提取；
2)将提取出的深度特征与基准影像深度特征数据库中特征进行相似性计算，根据得到的相似性从基准影像深度特征数据库中找到相应的特征描述符，以实现对影像的匹配；
所述基准影像深度特征数据库的构建过程为：将训练图像输入到预训练的卷积神经网络中进行训练，利用训练好的卷积神经网络对基准影像的特征进行提取，将提取的特征存入一个数据库，形成基准影像深度特征数据库。
本发明还提供了一种基于深度特征的影像匹配装置，该装置包括存储器和处理器，以及存储在所述存储器上并在所述处理器上运行的计算机程序，所述处理器与所述存储器相耦合，所述处理器执行所述计算机程序时实本发明的基于深度特征的影像匹配方法。
本发明采用的预训练的卷积神经网络来构建基准影像深度特征数据库，使得在训练样本不足时，能够利用预训练卷积神经网络对图像深度特征进行有效提取，从而提高基准影像深度特征数据库中特征的有效性，以此提高图像匹配的鲁棒性。
进一步地，为了获取不同尺度下的影像深度特征，所述步骤2)中基准影像深度特征数据库中包括不同尺度因子下的基准影像的特征。
进一步地，为了提高待处理影像深度特征提取的有效性，所述步骤1)中的深度学习算法采用步骤2)中已训练好的卷积神经网络。
进一步地，本发明还给出了具体提取手段，不同尺度因子的基准影像特征的提取过程为：
将卷积神经网络应用于金字塔每个层级，将获得的特征图作为特征的局部描述符，通过卷积层和池化层配置感受野进行特征点定位计算，使用感受野中心的像素点坐标作为特征位置，以此得到不同尺度下的图像局部区域特征。
进一步地，所述的卷积神经网络采用寻训练的残差神经网络RestNet50模型。
进一步地，为了准确实现各类影像的匹配，所述的基准影像包括可见光影像和热红外影像，若待匹配影像为可见光影像，将其与基准影像深度特征数据库中的可见光特征进行匹配，若待匹配影像为热红外光影像，将其与基准影像深度特征数据库中的热红外特征进行匹配，
进一步地，所述步骤2)中的训练过程为：
将经过标注的训练图像输入到卷积神经网络中提取当前参数下的特征，然后送入分类器中进行分类预测，将预测结果与标注的标签进行比对得到分类损失，根据分类损失通过反向传播算法对卷积神经网络的参数进行调整，直至分类损失达到设定要求。
附图说明
图1是本发明的所采用的图像特征匹配原理示意图；
图2-a是本发明实施例中同一区域中的可见光图像；
图2-b是本发明实施例中同一区域中的热外红外图像；
图3-a是本发明实施例中同一区域可见光图像的64维特征图；
图3-b是本发明实施例中同一区域热红外图像的64维特征图；
图3-c是本发明实施例中同一区域可见光图像的1024维特征图；
图3-d是本发明实施例中同一区域热红外图像的1024维特征图；
图4是本发明基准影像深度特征库构建与图像匹配流程图；
图5-a是本发明实施例中单一尺度下特征提取过程中的稳健特征率示意图；
图5-b是本发明实施例中多尺度下特征提取过程中的稳健特征率示意图；
图6-a是本发明实施例中旋转性能测试时选用的夏季正射影像图；
图6-b是本发明实施例中旋转性能测试时选用额冬季正射影像图；
图6-c是本发明实施例中旋转性能测试时选用的红外影像图；
图7是本发明实施例中图像旋转特征匹配测试结果图；
图8-a是本发明中第一光照条件下夏季正射影像特征提取结果示意图；
图8-b是本发明中第二光照条件下夏季正射影像特征提取结果示意图；
图9是本发明深度特征自动识别匹配流程图；
图10-a是本发明尺度变换实验例中选用的夏季基准图像；
图10-b是本发明尺度变换实验例中不同尺度夏季图像匹配结果示意图；
图10-c是本发明尺度变换实验例中选用的冬季基准图像；
图10-d是本发明尺度变换实验例中不同尺度冬季图像匹配结果示意图；
图11-a是本发明季节变换实验例中选用的夏季基准图像；
图11-b是本发明季节变换实验例中选用的冬季基准图像；
图11-c是本发明季节变换实验例中夏季俯视图像匹配结果示意图；
图11-d是本发明季节变换实验例中冬季俯视图像匹配结果示意图；
图12-a是本发明视角变换实验例中选用的夏季基准图像；
图12-b是本发明视角变换实验例中不同视角夏季图像匹配结果示意图；
图12-c是本发明视角变换实验例中选用的冬季基准图像；
图12-d是本发明视角变换实验例中不同视角冬季图像匹配结果示意图；
图13-a是本发明光照变换实验例中夕阳西下图像匹配结果示意图；
图13-b是本发明光照变换实验例中艳阳高照图像匹配结果示意图；
图13-c是本发明光照变换实验例中阴雨蒙蒙图像匹配结果示意图；
图13-d是本发明光照变换实验例中乌云密布图像匹配结果示意图；
图14-a是本发明热红外图像匹配实验例中较大尺度夜间热红图像匹配结果示意图；
图14-b是本发明热红外图像匹配实验例中较小尺度夜间热红图像匹配结果示意图；
图14-c是本发明热红外图像匹配实验例中第一视角白天热红图像匹配结果示意图；
图14-d是本发明热红外图像匹配实验例中第二视角白天热红图像匹配结果示意图；
图15-a是本发明异源图像匹配实验例中正视可见光影像图匹配结果示意图；
图15-b是本发明异源图像匹配实验例中正视红外影像匹配结果示意图；
图15-c是本发明异源图像匹配实验例中可见光影像斜视图匹配结果示意图；
图15-d是本发明异源图像匹配实验例中红外影像斜视图匹配结果示意图；
图16是本发明在不同实验条件下特征匹配状况示意图；
图17-a是本发明与其他特征匹配方法的粗匹配率性能比较示意图；
图17-b是本发明与其他特征匹配方法的精匹配率性能比较示意图。
具体实施方式
下面结合附图对本发明的具体实施方式作进一步地说明。
匹配方法实施例
本发明的匹配方法是借助于预训练模型，在训练样本不足时，通过利用预训练卷积神经网络对图像深度特征进行有效提取，从而提高基准影像深度特征数据库中特征的有效性，以此提高图像匹配的鲁棒性。
提升卷积神经网络深度特征匹配性能的方法之一是增加网络层数，形成深层卷积神经网络，基于深层卷积神经网络能够提取鲁棒性强的图像深度特征，本发明基于大规模Google-Landmarks数据集，借助预训练的残差神经网络ResNet50模型，利用全卷积神经网络经过分类损失训练从无人机序列影像中提取密集深度特征，并显示地构造倍尺度因子的图像金字塔来处理尺度变化问题，以获取不同尺度图像的区域特征，本实施例图像金字塔设置了从0.25到2.0的尺度范围，共有7种不同的层级，并将全卷积神经网络独立应用于金字塔每个层级，把获得的特征图视为特征的局部描述符，然后通过卷积层和池化层配置感受野进行特征点定位计算，使用感受野中心的像素点坐标作为特征位置，由此便通过影像金字塔获得了描述不同尺度下的图像局部区域特征，如图1所示。
在图像深度特征提取过程中，通过训练一个带有注意力机制的特征分类器来测量局部特征之间的相关性，为每个特征学习一个得分函数α(fn；θ)，其中θ是得分函数α(·)的参数。为实现该训练，利用了加权求和池化对特征进行处理，其中池化的权重由注意力得分网络获得。训练过程被描述为不断迭代fn∈Rd,n＝1,…,N，其中d表示特征维度并与注意力得分模型一块学习，网络的输出y是由特征向量的加权求和生成，由下式给出：
y＝W(∑nα(fn；θ)·fn),， (1)
式中：W∈RM×d表示用来训练预测M类的CNN最终全连接层权重。
对于训练过程，采用交叉熵损失的方法，表达为：
其中：y*对应真值，1表示单位向量，得分函数α(·)的参数通过反向传播算法训练，其梯度计算如下：
式中：输出函数αn＝α(fn；θ)的反向传播参数θ与标准多层感知机参数含义相同。
本发明的匹配方法是借助于预训练模型，在训练样本不足时，通过利用预训练卷积神经网络对图像深度特征进行有效提取，从而提高基准影像深度特征数据库中特征的有效性，以此提高图像匹配的鲁棒性。首先利用无人机获取一系列的可见光或热红外序列图像，并做去噪声、去畸变等预处理；然后借助预训练的ResNet50残差网络在Google-Landmarks数据集中学习到的路标特征，主要包含了训练权重文件获取、影像特征学习提取、分类；在测试阶段则是由基准网络深度特征库和在线检测特征两个基本模块组成，经过路标特征描述符索引的桥梁作用，实现相对应特征描述符之间的匹配；最后对于路标的识别设计了三种检测方式，一是不同场景可见光图像的路标识别匹配、二是同一场景同一检测条件下的可见光和热红外图像的路标识别匹配、三是同一场景不同检测条件下的可见光影像路标识别匹配，具体流程如图9所示。下面结合具体的实例对本发明进行详细说明。
1.影像深度特征提取
采集待匹配的影像数据，为提高多源影像特征协同匹配的准确率和鲁棒性，本发明在采集数据过程中使用了可见光高清摄像头和红外热成像仪两种方式，目的是验证算法对获取的可见光图像和热红外图像与基准图像协同匹配的性能。如图2-a和图2-b所示，为一个包含建筑物、草地和树木等景物在内的可见图像和热红外图像的对比，由于红外热成像仪成像能力不足，图像中树木草地部分区域几乎是全黑的，这些因素也会对基于神经网络的多源影像特征匹配任务带来挑战。
本发明基于ResNet50预训练模型，对获取的同一地区的可见光图像和相应的热红外影像提取了卷积后的前5层特征，图像经过第一层卷积后得到64维的特征(如图3-a和图3-b所示)，第二层卷积后得到256维特征，第三层卷积后得到512维特征，第四层卷积后得到1024维特征(如图3-c和图3-d所示)，第五层卷积后得到2048维特征。
通过综合考虑特征描述符维度和特征复杂度，最后选择了第四层卷积输出的特征，该层输入为28×28×512的特征图，它首先通过一个1×1×256的卷积层将输入特征图降维到28×28×256，然后通过一个3×3×256的卷积层，最后通过1×1×1024的卷积层将输出特征图进行升维。
2.构建影像深度特征数据库
基准图像深度特征数据库构建及基于深度特征的图像匹配流程如图4所示，其中实线单箭头表示训练和构建过程，输入是一批经过标注的训练图像，这些训练图像经过ResNet50卷积神经网络的计算提取到当前参数下的特征，然后送入Softmax分类器进行分类预测，将预测结果与标注的标签进行比对从而计算出分类损失，然后经过反向传播算法调整网络的参数，经过多轮迭代之后得到训练好的参数。将基准图像依次通过训练好的网络可以计算得到其对应的深度特征，然后将这些特征存放到数据库中就建成了一个基准影像深度特征数据库；虚线单箭头表示特征检索和图像匹配过程，将待处理的可见光或热红外图像通过卷积神经网络计算得到深度特征，然后与特征库中的特征描述符进行相似性计算，从而检索到相应的特征描述符，为图像匹配提供参考依据。
为验证特征数据库中特征提取性能，分别从图像的尺度变换、旋转变换、光照变换三个方面评估特征数据库的性能。
(1)尺度性能测试
实验中构建尺度因子为倍的图像金字塔，设置了从0.25到2.0的尺度范围，分别使用了0.25、0.356、0.5、0.7071、1.0、1.4142、2.0共7种不同的尺度，然后利用全卷积网络(FCN)对每一尺度下的图像进行单独处理来获取图像的深度特征。为比较深度特征提取效率，分别对这7层不同的尺度逐层叠加以细化每层尺度的作用机理，叠加层采用简单的方式，即前2层、前3层、前4层、前5层、前6层和全部7层的叠加，同时记录多尺度的特征检测数量和稳健特征提取数量。
7种不同尺度系数的单层特征提取实验和6种不同尺度系数的多层特征提取实验表明了随尺度系数的增加，特征检测数量和稳健特征提取数量都不断增长，稳健特征提取率也随之增长，尺度系数为0.25时的提取率仅为62.5％，而尺度系数为2.0时，提取率增长至90.1％，增幅为27.6％，其平均提取率为88.2％；多尺度系数同样表明随特征金字塔的层数加深和采用更多层的尺度系数提取特征，其特征检测数量和特征提取数量都会增加，且特征提取率也会随之提高，当尺度系数为前2层时，提取率为76.4％；当尺度系数为全7层时，提取率上升至95.6，增幅为19.2％。具体如表1所示。
表1
图5-a和图5-b进一步表明了随尺度系数的增加或者金字塔层数的增加，稳健特征提取数量和比率都会上升。对单一尺度下的稳健特征提取率而言，提取率曲线先保持平稳随后迅速上升而后趋于平稳，具体表现为0.25倍和0.356倍的尺度系数时，特征提取率偏低为65％左右；在0.356-1.0尺度空间提取率直线上升，当尺度为1.0倍时，提取率接近90％，尺度系数再往后增加时，提取率保持平稳，波动幅度较小。对于多尺度的特征提取率来说，提取率曲线持续保持上升趋势，从前2层的尺度系数变化到前5层的尺度系数，提取率增加14.1％，上升至90.5％，而从前5层到变化全7层的尺度系数，提取率上升至95.6％，增幅为5.1％。因此，尺度系数小于1.0倍时对特征提取的数量影响较大，尺度系数大于1.0倍时增幅趋于平缓。
(2)旋转性能测试
对于旋转性能的测试，选用了热红外图像、冬季获取的正射影像和夏季获取的正射影像三种不同类型的图像进行实验，分别如图6-c、图6-b和图6-a所示。对三种类型的图像分别按照10°间隔依次旋转一周，从整体来看，随图像旋转角度变化，特征粗匹配率和精匹配率曲线都是先急剧下降，然后振荡变化，随之又急剧上升，如图7所示。具体来说，图像旋转在[0°，60°]区间特征匹配率急剧下降；[60°，160°]区间特征匹配率波动变化较大且精匹配率均小于20％；[160°，200°]区间出现小峰值，三种类型特征匹配率都有回升，到180°时达到峰值；[200°，300°]区间特征精匹配率波动变化较大且均小于20％，这与旋转角度在[60°，160°]区间特征匹配变化保持一致；[300°，360°]区间特征匹配率又快速上升，和[0°，60°]区间特征匹配率急剧下降形成鲜明对比。上述分析表明，图像的旋转对特征粗匹配率和精匹配率均影响较大，当图像左右旋转30°以内具有50％以上的精匹配率，能够提取到较为充分均匀的稳健内点。另外，图中也表明热红外图像的特征粗匹配率和夏季或冬季正射影像特征提取率走势相同，但比例却远低于其他两者。
(3)光照性能测试
对于光照性能的测试，选用了具有代表性的两幅光照差异大的夏季获取的正射影像进行实验，两幅图像特征提取率分别为：92.6％和95.6％，如图8-a和图8-b所示。二者虽略有差别，但整体差异不大，特征提取率均能达到90％以上。同时也说明，阳光充足、光照好的天气特征提取效率要高于阴雨天、光照差的天气特征提取效率。因此，利用无人平台获取基准图像时，应该考虑天气原因，在晴朗的天气进行作业。
影像深度特征的快速、准确识别是在深度特征库中快速查询检索相对应特征的过程，通过比较在线学习到的图像深度特征和预训练的深度特征数据库特征之间的差值，认为特征描述符之差小于设定阈值的匹配成功。
装置实施例
本发明的基于深度特征的影像匹配装置包括存储器和处理器，以及存储在所述存储器上并在所述处理器上运行的计算机程序，所述处理器与所述存储器相耦合，所述处理器执行所述计算机程序时实现本发明的基于深度特征的影像匹配方法，具体实现过程已在方法实施例中进行了详细说明，这里不再详述。
实验例
本实验采用无人遥感系统作为数据获取平台，试验场选在河南登封某地区，该区域内整体地形为低山丘陵，高差适中，地物类型丰富，有利于无人机序列影像与基准影像匹配算法的鲁棒性评估验证。由于无人机受传感器视场角限制，在获取大范围的地形数据时，需要飞行多条航线获取测区全部影像，以保证影像数据的重叠度，本实验数据来源较为丰富，基准影像其摄影航向重叠度为80％，旁向重叠度为60％。序列影像则包含不同时期不同传感器获取的1:500和1:1000俯视图、不同光照不同季节斜视图，不同尺度不同角度的斜视图等数据。
本实验的采用的实验平台硬件为2.6GHz Intel CPU、32GB RAM、NVIDIAGTX1660Ti、Ubuntu16.04笔记本电脑，编程环境为Anaconda4.6.0(Python3.6)、TensorFlow1.2。
下面基于两种不同季节的基准图像分别进行实验，验证基于深度特征的无人机影像与基准影像在复杂场景下特征识别匹配的鲁棒性，一是夏季采集影像制作的基准图像，二是冬季采集影像制作的基准图像，以这两种不同季节的正射影像作为基准图，分别利用所提方法进行六种不同类型影像的深度特征提取和匹配，即尺度变化、季节变化、视角变化、光照变化、热红外图像匹配、可见光和热红外影像匹配六个方面，利用其进行对比实验，能够在一定程度上检验本发明。
传感器获取影像过程中会由于高度或焦距的变化使所摄影图像具有不同的尺度差异，实验中采用两组不同季节的正射影像作为基准影像，并选择同季节的无人机影像作为待匹配图像，下面针对不同场景变换的性能进行验证。
1)尺度变换
选取的夏季基准图像如图10-a所示，冬季基准图像如图10-c所示，将与夏季基准图像不同尺度的夏季图像和夏季基准图像进行匹配，其结果如图10-b所示，将与冬季基准图像不同尺度的冬季图像和冬季基准图像进行匹配，其结果如图10-d所示，从中可以看出，基于夏季基准图像的不同尺度图像匹配有132对特征点，基于冬季基准图像的不同尺度图像匹配有169对特征点，冬季由于遮挡较少特征匹配点更为明显，分布更加均匀。
2)季节变换
选取的夏季基准图像如图11-a所示，冬季基准图像如图11-b所示，将待匹配的夏季俯视图图像和夏季基准图像进行匹配，结果如图11-c所示，将待匹配的冬季俯视图图像和冬季基准图像进行匹配，结果如图11-d所示，夏季和冬季分别匹配到98对和94对特征点，可见不论基准图像是夏季的还是冬季的，季节变化改变了匹配特征点的物理位置，不同季节在图像上反应出纹理差异、光照差异、天气变化、物体遮挡、地物增加或减少等，这对提取深度特征均有较为重要的影响，由此可见基于季节变化的图像匹配，能够匹配上的鲁棒性强、尺度不变、图像固有的稳健的深度特征。
3)视角变换
此组实验设计了两种视角变化，第一是距离远、倾斜大、尺度小的图像(如图12-b)与夏季基准图(如图12-a)匹配，第二是距离近、倾斜小、尺度大的图像(如图12-d)与冬季基准图(如图12-c)匹配，结果分别是199对和30对特征点。大倾斜的图像匹配特征点集中分布在图像中央区域，该区域变形小，主要匹配的是集中图像下半部分区域的特征；对于边缘区域特征匹配数量少的原因有二，一是倾斜大，距离越远变形越大，甚至消隐，难以匹配；二是斜视图像部分特征在基准影像上不可见。斜视图和基准图匹配的最大差别在于，基准图是垂直摄影的只能看到图像上物体的顶部，而斜视图能看到图像上物体的侧面，这表明了图像的视角变化会造成特征点匹配数量的急剧下降的原因。
4)光照变换
对于光照变化的实验，选择四种不同的天气，分别是夕阳西下大阴影图像、艳阳高照小阴影图像、阴雨蒙蒙无阴影图像和乌云密布无阴影图像，分别如图13-a、图13-b、图13-c和图13-d所示。从特征匹配数量来看，分别匹配的特征点对是350对、556对、941对和221对，明显优于其他组的实验效果，表明了基于卷积神经网络学习提取到的深度特征对光照变化的鲁棒性更强。
5)热红外图像匹配
此部分利用同一热成像仪分别获取了两个不同地点的热红外图像，设计了大尺度夜间热红外图像和多视角白天热红外图像两种匹配场景，然后利用卷积神经网络提取其深度特征后，匹配点对分别是369对和215对，分别如图14-a、图14-b、图14-c和图14-d所示。从匹配效果来看，每一种场景的特征点分布较为均匀，完全满足匹配数量和质量要求。
6)异源图像匹配
异源影像匹配是基于两种不同传感器平台获取图像之间的匹配，由于热成像仪获取的图像分辨率较低，利用可见光相机和热成像仪对同一区域进行摄影时，得到的可见光图像分辨率远大于热红外图像，且热成像仪焦距长，摄影区域相对较小。图15-a和图15-b是可见光相机和热成像仪同时摄影的图像，看出热红外图像基本位于可见光图像中央区域，深度特征匹配数量117对，热红外图像上特征点分布较为均匀。图15-c和图15-d是斜视可见光图像与斜视热红外图像的匹配，特征点匹配数量37对，主要分布在高亮和特征明显区域，图像中部建筑物上，所提取和匹配特征数量极少，进一步验证了视角的变化会造成特征提取匹配数量的急剧下降。
基于前述6组实验发现，待匹配图像的尺度变化、季节变化、视角变化是影响图像正确匹配的重要因素，如图16所示，图中横轴1和2表示尺度变化情况的粗匹配率、精匹配率和内点数量，3和4代表季节变化的匹配情况，5和6代表视角变化的匹配情况，7-10代表4种不同光照变化的匹配情况，11和12代表热红外图像匹配，13和14代表异源影像匹配。从未提纯的匹配率来看，每种条件下均有较高的匹配率，未提纯的匹配作为一种粗匹配，可靠性不强，匹配率最差的是异源影像斜视图与俯视图匹配为46.45％，最高的是光照条件为阴雨天气，匹配率达86.48％；从提纯后的匹配率来看，不同条件下匹配率变动剧烈，提纯后的匹配作为一种精匹配，可靠性强，最好的是夏季不同尺度的俯视图与基准图的匹配，有50.19％的匹配率，最差的视角变化后无人机影像与冬季基准图的匹配，仅有1.27％的匹配率；从正确匹配的内点数量来看，最大内点数是941对，最小内点数是30对，这与精匹配率趋势基本一致，对于图像匹配而言，越多的正确点对匹配效果越好，但耗时随之增长，正确的匹配点对能够均匀分布，不需要太多的匹配点对，也能得到较为准确的匹配变换结果。
除上述6中不同条件下的深度特征匹配性能实验验证，又基于上述同一匹配条件设计了与常用的SIFT算法、SURF算法、ORB算法和AKAZE算法等影像匹配算法的对比，结果如图17-a和图17-b所示。本发明和传统方法在同一匹配条件下首先进行了粗匹配对比，能够看出不论是匹配率的高低还是稳定性，本发明明显优于其他传统方法。为了进一步提高匹配可靠性，分别对上述几种方法进行RANSAC(Random Sample Consensus)提纯，得到每种方法的精匹配率，本发明在图像的尺度变换、季节变化和视角变化方面和传统方法相当，在光照变化、热红外图像匹配和异源影像匹配方面显著优于传统方法。这说明了本发明基于深度卷积神经网络提取的深度特征方法在大尺度多场景的无人机影像和基准影像匹配方面具有较强的可行性和鲁棒性。
因此，本发明基于预训练的ResNet50残差神经网络模型，提出的无人机影像与基准影像匹配和异源影像匹配方法，并在不同尺度、不同视角、不同光照、不同季节、热红外图像和异源图像等多种条件下进行匹配实验。结果表明，本发明在多种复杂条件下的无人机影像和基准影像匹配中均能够得到高效、稳健的结果，相比一些经典的传统方法也具有较为明显的优势，能够在一定程度上解决卫星导航受限环境下无人机自身和目标定位问题。

Claims (6)

1.一种基于深度特征的影像匹配方法，特征在于，该匹配方法包括以下步骤：
1)将待匹配的影像通过深度学习算法进行深度特征提取；
2)将提取出的深度特征与基准影像深度特征数据库中特征进行相似性计算，根据得到的相似性从基准影像深度特征数据库中找到相应的特征描述符，以实现对影像的匹配；
所述基准影像深度特征数据库的构建过程为：将训练图像输入到预训练卷积神经网络中进行训练，利用训练好的卷积神经网络对基准影像的特征进行提取，将提取的特征存入一个数据库，形成基准影像深度特征数据库；所述步骤2)中基准影像深度特征数据库中包括不同尺度因子下的基准影像的特征，不同尺度因子的基准影像特征的提取过程为：构建尺度因子为√2倍的图像金字塔，所述金字塔设置7种不同的层级，每个层级的尺度因子不同，将预训练卷积神经网络应用于金字塔每个层级，将获得的特征图作为特征的局部描述符，通过卷积层和池化层配置感受野进行特征点定位计算，使用感受野中心的像素点坐标作为特征位置，以此得到不同尺度下的图像局部区域特征。
2.根据权利要求1所述的基于深度特征的影像匹配方法，其特征在于，所述步骤1)中的深度学习算法采用步骤2)中已训练好的卷积神经网络。
3.根据权利要求1所述的基于深度特征的影像匹配方法，其特征在于，所述的预训练卷积神经网络采用预训练的残差神经网络RestNet50模型。
4.根据权利要求1-3中任一项所述的基于深度特征的影像匹配方法，其特征在于，所述的基准影像包括可见光影像和热红外影像，若待匹配影像为可见光影像，将其与基准影像深度特征数据库中的可见光特征进行匹配，若待匹配影像为热红外光影像，将其与基准影像深度特征数据库中的热红外特征进行匹配。
5.根据权利要求1所述的基于深度特征的影像匹配方法，其特征在于，所述步骤2)中的训练过程为：
将经过标注的训练图像输入到预训练卷积神经网络中提取当前参数下的特征，然后送入分类器中进行分类预测，将预测结果与标注的标签进行比对得到分类损失，根据分类损失通过反向传播算法对卷积神经网络的参数进行调整，直至分类损失达到设定要求。
6.一种基于深度特征的影像匹配装置，其特征在于，该装置包括存储器和处理器，以及存储在所述存储器上并在所述处理器上运行的计算机程序，所述处理器与所述存储器相耦合，所述处理器执行所述计算机程序时实现如权利要求1-5中任一项所述的基于深度特征的影像匹配方法。
CN202010144544.0A 2020-03-04 2020-03-04 一种基于深度特征的影像匹配方法及装置 Active CN111506759B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010144544.0A CN111506759B (zh) 2020-03-04 2020-03-04 一种基于深度特征的影像匹配方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010144544.0A CN111506759B (zh) 2020-03-04 2020-03-04 一种基于深度特征的影像匹配方法及装置

Publications (2)

Publication Number Publication Date
CN111506759A CN111506759A (zh) 2020-08-07
CN111506759B true CN111506759B (zh) 2023-10-24

Family

ID=71874045

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010144544.0A Active CN111506759B (zh) 2020-03-04 2020-03-04 一种基于深度特征的影像匹配方法及装置

Country Status (1)

Country Link
CN (1) CN111506759B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113298087B (zh) * 2021-04-29 2022-11-18 上海淇玥信息技术有限公司 图片分类模型冷启动的方法、系统、装置及介质
CN114199250A (zh) * 2021-12-03 2022-03-18 清华大学 一种基于卷积神经网络的景象匹配导航方法及装置
CN117078985B (zh) * 2023-10-17 2024-01-30 之江实验室 一种景象匹配方法、装置、存储介质及电子设备
CN117576597B (zh) * 2024-01-15 2024-04-12 深圳市金飞杰信息技术服务有限公司 一种基于无人机驾驶的视觉识别方法及其系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106778768A (zh) * 2016-11-22 2017-05-31 广西师范大学 基于多特征融合的图像场景分类方法
CN107194346A (zh) * 2017-05-19 2017-09-22 福建师范大学 一种汽车疲劳驾驶预测方法
CN108320310A (zh) * 2018-02-06 2018-07-24 哈尔滨工业大学 基于图像序列的空间目标三维姿态估计方法
CN108960412A (zh) * 2018-06-29 2018-12-07 北京京东尚科信息技术有限公司 图像识别方法、装置及计算机可读存储介质
CN109543672A (zh) * 2018-10-15 2019-03-29 天津大学 基于稠密特征金字塔网络的物体检测方法
CN110084294A (zh) * 2019-04-18 2019-08-02 北京师范大学 一种基于多尺度深度特征的遥感影像分类方法
WO2019174378A1 (zh) * 2018-03-14 2019-09-19 大连理工大学 一种基于深度预测和增强子网络的高质量深度估计方法
CN110796037A (zh) * 2019-10-15 2020-02-14 武汉大学 基于轻量级感受野金字塔的星载光学遥感图像舰船目标检测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3404583A1 (en) * 2017-05-19 2018-11-21 MVTec Software GmbH System and method for model adaptation

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106778768A (zh) * 2016-11-22 2017-05-31 广西师范大学 基于多特征融合的图像场景分类方法
CN107194346A (zh) * 2017-05-19 2017-09-22 福建师范大学 一种汽车疲劳驾驶预测方法
CN108320310A (zh) * 2018-02-06 2018-07-24 哈尔滨工业大学 基于图像序列的空间目标三维姿态估计方法
WO2019174378A1 (zh) * 2018-03-14 2019-09-19 大连理工大学 一种基于深度预测和增强子网络的高质量深度估计方法
CN108960412A (zh) * 2018-06-29 2018-12-07 北京京东尚科信息技术有限公司 图像识别方法、装置及计算机可读存储介质
CN109543672A (zh) * 2018-10-15 2019-03-29 天津大学 基于稠密特征金字塔网络的物体检测方法
CN110084294A (zh) * 2019-04-18 2019-08-02 北京师范大学 一种基于多尺度深度特征的遥感影像分类方法
CN110796037A (zh) * 2019-10-15 2020-02-14 武汉大学 基于轻量级感受野金字塔的星载光学遥感图像舰船目标检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"基于多尺度特征的目标检测算法研究";高鸣岐;《中国优秀硕士学位论文全文数据库（电子期刊）全文数据库 信息科技辑》;20190115;第I138-3123页 *
基于SIFT特征的人耳识别;雷松泽;姚红革;齐敏;郝重阳;;计算机应用(06);1690-1693 *

Also Published As

Publication number Publication date
CN111506759A (zh) 2020-08-07

Similar Documents

Publication Publication Date Title
CN111506759B (zh) 一种基于深度特征的影像匹配方法及装置
CN110163110B (zh) 一种基于迁移学习和深度特征融合的行人重识别方法
CN110097093B (zh) 一种异源图像精确匹配方法
CN111899172A (zh) 一种面向遥感应用场景的车辆目标检测方法
CN107481315A (zh) 一种基于Harris‑SIFT‑BRIEF算法的单目视觉三维环境重建方法
CN108596961A (zh) 基于三维卷积神经网络的点云配准方法
CN111666434B (zh) 基于深度全局特征的街景图片检索方法
CN111476251A (zh) 一种遥感影像匹配方法及装置
CN113159466B (zh) 一种短时光伏发电功率预测系统及方法
CN110110694B (zh) 一种基于目标检测的视觉slam闭环检测方法
CN114255263B (zh) 一种基于背景辨识的自适应空间暗弱星体识别方法
Lv et al. An adaptive multifeature sparsity-based model for semiautomatic road extraction from high-resolution satellite images in urban areas
CN111062310B (zh) 一种基于虚拟样本生成的少样本无人机图像识别方法
CN108320310B (zh) 基于图像序列的空间目标三维姿态估计方法
Fan et al. UAV image crop classification based on deep learning with spatial and spectral features
CN116311368A (zh) 行人重识别方法
CN114495170A (zh) 一种基于局部抑制自注意力的行人重识别方法及系统
Cao et al. Detection method based on image enhancement and an improved faster R-CNN for failed satellite components
CN113011359B (zh) 一种基于图像的同时检测平面结构和生成平面描述的方法及应用
Yin et al. isimloc: Visual global localization for previously unseen environments with simulated images
CN110738098A (zh) 一种目标的识别定位与锁定跟踪方法
Peltomäki et al. Evaluation of long-term LiDAR place recognition
Badami et al. Depth-enhanced hough forests for object-class detection and continuous pose estimation
CN113240712A (zh) 一种基于视觉的水下集群邻居跟踪测量方法
Zhao et al. Attention-enhanced cross-modal localization between 360 images and point clouds

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant