CN111414968B - 一种基于卷积神经网络特征图的多模态遥感影像匹配方法 - Google Patents

一种基于卷积神经网络特征图的多模态遥感影像匹配方法 Download PDF

Info

Publication number
CN111414968B
CN111414968B CN202010224267.4A CN202010224267A CN111414968B CN 111414968 B CN111414968 B CN 111414968B CN 202010224267 A CN202010224267 A CN 202010224267A CN 111414968 B CN111414968 B CN 111414968B
Authority
CN
China
Prior art keywords
image
matching
pairs
feature
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010224267.4A
Other languages
English (en)
Other versions
CN111414968A (zh
Inventor
陈敏
赵怡涛
严少华
朱庆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southwest Jiaotong University
Original Assignee
Southwest Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southwest Jiaotong University filed Critical Southwest Jiaotong University
Priority to CN202010224267.4A priority Critical patent/CN111414968B/zh
Publication of CN111414968A publication Critical patent/CN111414968A/zh
Application granted granted Critical
Publication of CN111414968B publication Critical patent/CN111414968B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/35—Determination of transform parameters for the alignment of images, i.e. image registration using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于卷积神经网络特征图的多模态遥感影像匹配方法，包括如下步骤：1)构建面向影像非线性灰度变化的相似性度量神经网络FSNet；2)构建训练样本集训练FSNet，并由FSNet的卷积模块构成特征提取网络CSNet；3)对待匹配的多模态遥感影像中的参考影像
Figure DDA0002427123670000011
和搜索影像
Figure DDA0002427123670000012
进行降采样，利用CSNet提取降采样后影像的深度特征图；4)基于深度特征图估计
Figure DDA0002427123670000013
和
Figure DDA0002427123670000014
之间的单应性变换模型H，利用H对
Figure DDA0002427123670000015
进行几何纠正，得到纠正后搜索影像
Figure DDA0002427123670000016
5)利用FSNet对
Figure DDA0002427123670000017
和
Figure DDA0002427123670000018
进行特征匹配；6)利用逆变换H‑1将
Figure DDA0002427123670000019
上的匹配点坐标反算回
Figure DDA00024271236700000110
得到最终匹配结果。本发明提供了一种对多模态遥感影像非线性灰度变化和几何变形鲁棒且无需任何先验信息的基于卷积神经网络特征图的多模态遥感影像匹配方法。

Description

一种基于卷积神经网络特征图的多模态遥感影像匹配方法
技术领域
本发明属于遥感影像处理中的影像匹配技术领域，具体涉及一种基于卷积神经网络特征图的多模态遥感影像匹配方法。
背景技术
随着遥感技术的飞速发展，传感器类型及数据获取手段越来越多样化，容易获取同一观测区域的多模态遥感影像。由于多模态遥感影像能够反映同一地物的不同特性，对多模态遥感影像进行融合处理有助于影像解译，更好地获取地物信息。然而，多模态遥感影像之间可能存在因传感器成像原理不同造成的非线性灰度变化、拍摄时间差异造成的影像背景变化(如人工目标的新建与拆除、植被季节性变化)，以及成像视角不同造成的几何变形等，给影像处理带来极大的困难，其中可靠的特征匹配是关键难题之一。
现有影像匹配方法大体上可分为两类：基于灰度的匹配方法和基于特征的匹配方法。其中，基于灰度的匹配方法(如影像相关类方法)因匹配精度高，算法简单，易于理解和实现，在影像匹配研究早期得到了广泛应用。通过改善匹配策略可进一步提高影像匹配的稳定性和可靠性，如金字塔匹配、最小二乘匹配、松弛匹配等。虽然基于灰度的匹配方法能够获得较高的匹配精度，但这类方法只适用于影像灰度变化较小或仅存在线性灰度变化的情况，对于多模态遥感影像之间的非线性灰度变化和几何变形的鲁棒性不足。
相对而言，基于特征的匹配方法通过构建更加抽象或高层次的特征来描述特征点，大幅提高了特征匹配的鲁棒性。基于特征的匹配方法可进一步细分为基于人工设计特征描述符的方法和基于深度学习的方法。
在基于人工设计特征描述符的匹配方法中，常用的如SIFT等基于梯度算子特征描述符的方法在影像存在非线性灰度变化的地方容易获得相反的梯度方向，导致同名特征描述符不相似，进而导致特征匹配失败的情况。针对这个问题，研究人员提出了一类基于局部自相似性的特征匹配方法，此类方法能够较好地克服影像非线性灰度差异问题，提高了多模态遥感影像特征匹配的效果。此外，研究人员挖掘相位一致性模型的亮度和对比度不变性，提出了一类基于相位一致性模型的特征匹配方法，此类方法能够较好地处理多模态遥感影像非线性灰度变化问题。但是，当影像之间存在明显的几何变形时，无论是基于局部自相似性的匹配方法还是基于相位一致性模型的匹配方法的匹配性能都将急剧下降甚至失效。
随着人工智能浪潮的兴起，深度学习方法被广泛应用到影像特征匹配中。常见的深度学习匹配方法主要思想是：将正负样本和相似性度量同时输入两个权值共享的深度卷积神经网络中，让两个分支共同学习影像的深度特征，并通过最小化正样本之间特征描述符距离，最大化负样本特征描述符距离进行模型训练，得到深度特征描述符和相似性测度。已有研究表明，这种端对端的网络结构对影像非线性灰度变化具有较强的鲁棒性。另一类深度学习匹配算法的思想是通过深度神经网络来直接学习特征描述符，再用传统特征相似性度量方法实现特征匹配。
虽然基于深度学习的特征匹配方法大幅提升了传统方法的匹配性能，但是应用于多模态遥感影像匹配时仍然存在以下几个问题：
1)现有方法在特征匹配之前通常需要利用地理参考等先验信息进行影像粗配准，消除影像几何变形，导致特征匹配严重依赖先验信息。当先验信息精度不足或缺失时，特征匹配不可靠甚至失败；
2)基于深度学习的匹配算法受训练样本影响大。现有方法在制作影像特征匹配样本集时，通常只考虑了正样本的几何对应问题，对于负样本的选择较随意，未考虑负样本与正样本之间的相互位置关系，导致在影像匹配时，同名点附近一定区域内的特征都呈现较高的相似度，容易造成误匹配。
发明内容
为了解决现有技术存在的上述问题，本发明目的在于提供一种能够在无任何影像先验信息和人工干预的情况下，在具有显著非线性灰度变化和几何变形的多模态遥感影像之间获得可靠特征匹配结果的基于卷积神经网络特征图的多模态遥感影像匹配方法。
本发明所采用的技术方案为：
一种基于卷积神经网络特征图的多模态遥感影像匹配方法，包括如下步骤：
1)构建面向多模态遥感影像非线性灰度变化的影像相似性度量深度学习网络FSNet；
2)构建训练样本集对步骤1)中的深度学习网络进行训练，得到训练后的网络FSNet，并由训练好的FSNet网络的卷积模块构成特征提取网络CSNet；
3)对待匹配的多模态遥感影像中的参考影像
Figure BDA0002427123650000031
和搜索影像
Figure BDA0002427123650000032
进行降采样，并利用步骤2)中训练好的CSNet网络提取影像深度特征图；
4)基于步骤3)获取的降采样后参考影像
Figure BDA0002427123650000033
的深度特征图和降采样后搜索影像
Figure BDA0002427123650000034
的深度特征图估计原始参考影像
Figure BDA0002427123650000035
和原始搜索影像
Figure BDA0002427123650000036
之间的单应性变换模型H，并对原始搜索影像
Figure BDA0002427123650000037
进行几何纠正，得到纠正后搜索影像
Figure BDA0002427123650000038
5)基于原始参考影像
Figure BDA0002427123650000039
和纠正后的搜索影像
Figure BDA00024271236500000310
生成待匹配特征对，并利用FSNet网络进行匹配判别，得到匹配集合MatchSetRS’；
6)利用步骤4)估计得到的原始参考影像
Figure BDA00024271236500000311
与原始搜索影像
Figure BDA00024271236500000312
之间的单应性变换模型H的逆变换H-1，将步骤5)得到的匹配集合MatchSetRS’中的纠正后搜索影像
Figure BDA00024271236500000313
上的点坐标反算回原始搜索影像
Figure BDA00024271236500000314
得到原始参考影像
Figure BDA00024271236500000315
与原始搜索影像
Figure BDA00024271236500000316
的匹配结果。
优选地，在步骤1)中，FSNet由影像特征提取网络CSNet和相似性度量网络两个子网络构成；其中，CSNet网络的每个分支由5个卷积模块构成，两分支之间通过共享权重降低网络参数量；每个卷积模块采取了“Conv+BN+ReLU”构建策略。
优选地，采取“Conv+BN+ReLU”构建策略时，CSNet的5个卷积层的具体参数C(n,m,k)分别设置为：C(16,3,1)、C(32,5,1)、C(64,5,1)、C(64,5,1)、C(16,5,1)。其中n表示卷积层中卷积核的个数，m×m表示卷积核的尺寸，k表示卷积核进行卷积运算时的步长。
优选地，步骤2)包括如下具体步骤：
21)构建正样本集：分别从可见光-近红外、光学-SAR以及光学-LiDAR影像像对上制作训练样本；
22)构建负样本集，其中负样本集由普通负样本集和顾及样本距离的负样本集两部分构成；
23)构建完整样本集：通过步骤21)和步骤22)，对于M对正样本，将产生M对普通负样本和M对顾及样本距离的负样本；从所有M对普通负样本和M对顾及样本距离的负样本中各随机抽取M/2对，形成M对负样本，最终得到包含M对正样本和M对负样本的完整样本集；
24)利用步骤23)构建的样本集对步骤1)中所述的深度学习网络FSNet进行训练；
25)通过步骤24)训练得到FSNet以后，从中截取卷积模块得到特征提取网络CSNet。
优选地，步骤21)包括如下具体步骤：
211)可见光-近红外正样本：从多波段卫星影像的可见光波段影像与近红外波段影像上按对应像素自动裁取大小为97×97像素的影像块，获取可见光-近红外影像正样本；
212)光学-SAR及光学-LiDAR正样本：采用人工选取控制点的方式进行几何纠正；然后对已经经过几何纠正的光学-SAR及光学-LiDAR影像，采用基于相位一致性的影像特征匹配方法进行特征匹配，并利用RANSAC算法对特征匹配结果进行误匹配剔除，获取正确匹配点；再在影像上以正确匹配点为中心裁取大小为97×97像素的影像块，获得正样本。
优选地，步骤22)包括如下具体步骤：
221)普通负样本构建：假设正样本集PSSet如式(1)所示，样本集包含M对样本，每对样本由两个影像块构成：
Figure BDA0002427123650000051
那么，对于正样本集中任意一对样本中的一幅影像块
Figure BDA0002427123650000052
将其作为普通负样本对中的一幅影像块
Figure BDA0002427123650000053
随机从其他正样本对的配对影像中选择一幅影像块
Figure BDA0002427123650000054
作为普通负样本对中的另一幅影像块
Figure BDA0002427123650000055
形成一对普通负样本
Figure BDA0002427123650000056
得到普通负样本集GNSSet如式(2)所示：
Figure BDA0002427123650000057
222)顾及样本距离的负样本构建：对于任意一对正样本
Figure BDA0002427123650000058
对应的匹配点(pi,qi)，在搜索影像上距离同名点qi为r像素的圆上，以竖直向上为起点，等间隔确定8个点，从这8个点中随机取一个点作为负样本点Nqi，以该负样本点为中心裁取大小为97×97像素的影像块作为顾及样本距离的负样本对中的一幅影像块
Figure BDA0002427123650000059
同时将参考影像上pi点为中心的影像块
Figure BDA00024271236500000510
作为顾及样本距离的负样本对中的另一幅影像块
Figure BDA00024271236500000511
形成一对顾及样本距离的负样本对
Figure BDA00024271236500000512
对每对正样本对都进行步骤222)中的处理，得到如式(3)所示的顾及样本距离的负样本集DGNSSet如式(3)所示：
Figure BDA00024271236500000513
优选地，在步骤24)中，每次迭代的样本批次大小为32对样本；选择动量优化法作为网络优化器，网络初始学习率为0.001，动量为0.9；当平均训练损失值低于0.001时，网络终止训练。
优选地，步骤3)包括如下具体步骤：
31)分别对待匹配影像对中的原始参考影像
Figure BDA0002427123650000061
和搜索影像
Figure BDA0002427123650000062
进行降采样，然后再输入CSNet进行深度特征图计算；在降采样操作中，为了保持原始影像
Figure BDA0002427123650000063
和
Figure BDA0002427123650000064
间的尺度关系不变，需要对参考影像
Figure BDA0002427123650000065
和搜索影像
Figure BDA0002427123650000066
保持相同的降采样率；因此，按公式(4)进行降采样运算：
Figure BDA0002427123650000067
式中，[Rr,Cr]代表原始参考影像
Figure BDA0002427123650000068
的行、列数，[Rs,Cs]代表原始搜索影像
Figure BDA0002427123650000069
的行、列数；[R′r,C′r]代表降采样后的参考影像
Figure BDA00024271236500000610
的行、列数，[R′s,C′s]代表降采样后的搜索影像
Figure BDA00024271236500000611
的行、列数；β为降采样因子；
32)利用步骤2)中训练好的CSNet网络对降采样后的参考影像
Figure BDA00024271236500000612
和降采样后的搜索影像
Figure BDA00024271236500000613
计算深度特征图。
优选地，步骤4)包括如下具体步骤：
41)采用基于特征词袋BoF的影像检索方法计算降采样后参考影像
Figure BDA00024271236500000614
的每幅深度特征图与降采样后搜索影像
Figure BDA00024271236500000615
的每幅深度特征图的相似度；
42)找到相似度最高的3对深度特征图，分别对这3对深度特征图进行SIFT特征匹配；
43)将3对最相似的深度特征图之间获得的匹配点合并为一个匹配点集合，利用RANSAC算法剔除匹配点集合中的外点，并估计深度特征图之间的单应性变换模型；
44)基于步骤43)估计的深度特征图之间的单应性变换模型，由已知的CSNet网络输出的深度特征图与输入的降采样影像之间的尺度关系，以及CSNet输入的降采样影像与原始影像之间的尺度关系，推导出原始参考影像
Figure BDA0002427123650000071
与原始搜索影像
Figure BDA0002427123650000072
之间的单应性变换模型H；
45)利用得到的单应性变换模型H对原始搜索影像
Figure BDA0002427123650000073
进行几何纠正，并利用双线性内插方法进行重采样，得到纠正后的影像
Figure BDA0002427123650000074
实现原始搜索影像与原始参考影像的粗配准。
优选地，步骤5)包括如下具体步骤：
51)利用分块Harris算法对原始参考影像
Figure BDA0002427123650000075
提取特征点，并以每个特征点为中心裁取97×97像素大小的影像块；
52)对于原始参考影像
Figure BDA0002427123650000076
上提取的任意特征点pi(x,y)，在纠正后搜索影像
Figure BDA0002427123650000077
上以(x,y)为中心建立大小为w×w的搜索区域，将搜索区域内所有像素作为pi(x,y)的待匹配点；分别以每个待匹配点为中心，在纠正后搜索影像
Figure BDA0002427123650000078
上裁取大小为97×97像素的影像块，与特征点pi(x,y)对应的影像块组成一对待匹配特征对；将w设置为30个像素，对于参考影像上每个特征点pi(x,y)，将生成900对待匹配特征对；
53)将900对待匹配特征对输入训练好FSNet网络中进行计算，将输出结果为“匹配”且相似度值最大的一对特征作为特征点pi(x,y)对应的匹配结果；
54)重复步骤52)和步骤53)，遍历完所有参考影像上的特征点，得到特征匹配集合MatchSet；利用RANSAC算法对MatchSet进行外点剔除，得到原始参考影像
Figure BDA0002427123650000079
和纠正后搜索影像
Figure BDA00024271236500000710
的特征匹配结果MatchSetRS’。
本发明的有益效果为：
1.本发明设计了用于多模态遥感影像块特征提取和相似性度量的深度卷积神经网络，并通过构建多模态遥感影像特征匹配样本集来训练该网络，使得训练得到的网络能够克服多模态遥感影像之间的非线性灰度差异。在此基础上，本发明提出了基于深度特征图的影像几何纠正方法，通过此步骤来克服多模态遥感影像之间的尺度、旋转等几何变形。将上述两部分整合成一个完整的多模态遥感影像特征匹配框架，能够同时克服多模态遥感影像之间的非线性灰度差异和几何变形问题，本发明能够在无任何影像先验信息和人工干预的情况下，在多模态遥感影像之间获得可靠的特征匹配结果。
2.本发明在利用多模态遥感影像的深度特征图估计影像几何变换模型进行多模态遥感影像几何粗纠正时，一方面通过影像降采样来提高深度特征图计算的效率，另一方面采用基于BoF的影像检索的方法来先找到最相似的3对深度特征图，再在相似的深度特征图之间进行特征匹配，避免了对所有深度特征图进行盲匹配造成的效率低下和匹配不可靠的问题。本发明通过这两方面的巧妙设计，能够大幅提高多模态遥感影像几何粗纠正的时间效率和可靠性。
3.本发明设计了顾及样本距离的多模态遥感影像特征匹配训练样本集构建方法。该方法在制作负样本时，考虑了负样本与同名点的距离，以此样本集训练的深度学习网络能够有效地识别距离真实同名点很近的错误匹配点，进而促进本发明多模态遥感影像特征匹配方法能够获得更多的正确匹配特征和更高的匹配精度。
本发明的有益效果不限于此描述，为了更好的便于理解，在具体实施方式部分进行了更加详细的描述。
本发明的附加优点、目的，以及特征将在下面的描述中将部分地加以阐述，且将对于本领域普通技术人员在研究下文后部分地变得明显，或者可以根据本发明的实践而获知。本发明的目的和其它优点可以通过在书面说明及其权利要求书以及附图中具体指出的结构实现到并获得。
本领域技术人员将会理解的是，能够用本发明实现的目的和优点不限于以上具体所述，并且根据以下详细说明将更清楚地理解本发明能够实现的上述和其他目的。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明的流程图；
图2是本发明FSNet网络结构示意图；图中阿拉伯数字表示在该维度上的尺寸；
图3是顾及样本距离的负样本构建方法的示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
在本发明的描述中，需要理解的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
如图1～图3所示，本实施例的基于卷积神经网络特征图的多模态遥感影像匹配方法，该方法依次包括以下步骤：
1)构建面向多模态遥感影像非线性灰度变化的影像相似性度量深度学习网络FSNet(Fully Connected Siamese-type Neural Network)，网络结构如图2所示。
FSNet由影像特征提取网络CSNet(Convolutional Siamese-type NeuralNetwork)和相似性度量网络两个子网络构成。CSNet网络的每个分支由5个卷积模块构成，两分支之间通过共享权重降低网络参数量。每个卷积模块采取了“Conv+BN+ReLU”构建策略，即在每层卷积(Conv)之后，使用批量规范化层(BN层)来加速网络训练时的收敛，然后通过ReLU激活函数对神经元进行激活。本发明中CSNet的5个卷积层的具体参数C(n,m,k)分别设置为：C(16,3,1)、C(32,5,1)、C(64,5,1)、C(64,5,1)、C(16,5,1)。其中n表示卷积层中卷积核的个数，m×m表示卷积核的尺寸，k表示卷积核进行卷积运算时的步长。相比于传统Siamese网络，我们在本发明网络中去掉了池化层。因为在遥感影像匹配任务中需要得到尽可能精确的同名点坐标，而池化层在通过降维手段来减少网络参数量的同时，将降低同名点定位精度，并易造成同名点邻近特征点的错误匹配。
相似性度量网络是在特征提取网络CSNet的基础上，将两个分支用全连接层相连，双分支的特征经过全连接层降维和聚合之后，被输入损失函数计算网络预测值与标签值之间的差异。本发明中选用Sigmoid交叉熵损失函数来计算损失值。本发明网络设置了两层全连接层，第一层和第二层全连接层的输出神经元个数分别为128和2。
2)构建训练样本集对步骤一中的深度学习网络进行训练，得到训练后的网络FSNet和CSNet。具体方法如下：
21)正样本集构建。本发明分别从可见光-近红外、光学-SAR以及光学-LiDAR影像像对上制作训练样本。
211)可见光-近红外样本
本发明从多波段卫星影像的可见光波段影像与近红外波段影像上按对应像素自动裁取大小为97×97像素的影像块，获取可见光-近红外影像正样本。由于这些影像中的可见光波段和近红外波段影像是已经配准好的，因此对于这类影像，在制作正样本时只需要按照对应像素裁剪影像块即可。
212)光学-SAR及光学-LiDAR正样本
由于SAR影像、LiDAR强度或高程渲染影像与可见光影像之间往往存在显著的几何变形，无法直接裁取对应图像位置的影像块作为正样本，需要预先进行几何纠正。本发明采用人工选取控制点的方式进行几何纠正。几何纠正之后的影像之间仍然不可避免的存在若干个像素的位置偏差，仍然无法像可见光-近红外影像那样直接进行裁剪。为此，本发明对已经经过几何纠正的光学-SAR及光学-LiDAR影像，采用基于相位一致性的影像特征匹配方法进行特征匹配，并利用RANSAC算法对特征匹配结果进行误匹配剔除，获取正确匹配点。由于影像已通过人工选取的控制点进行了几何纠正，消除了显著的全局几何变形，同时，相位一致性模型对影像非线性辐射变化具有较强的鲁棒性，因此特征匹配获取的匹配点具有较高的可靠性。在此基础上，本发明以匹配点为中心裁取大小为97×97像素的影像块获取正样本。
22)负样本集构建。本发明构建的负样本集由普通负样本集和顾及样本距离的负样本集两部分构成。具体方法如下：
221)普通负样本集构建
本发明普通负样本集是在正样本集的基础上，通过随机配对来自不同正样本对的影像块得到的。假设正样本集PSSet如式(1)所示，样本集包含M对样本，每对样本由两个影像块构成：
Figure BDA0002427123650000121
那么，对于正样本集中任意一对样本中的一幅影像块
Figure BDA0002427123650000122
将其作为普通负样本对中的一幅影像块
Figure BDA0002427123650000123
随机从其他正样本对的配对影像中选择一幅影像块
Figure BDA0002427123650000124
作为普通负样本对中的另一幅影像块
Figure BDA0002427123650000125
形成一对普通负样本
Figure BDA0002427123650000126
得到普通负样本集GNSSet如式(2)所示：
Figure BDA0002427123650000127
222)顾及样本距离的负样本构建
针对影像匹配中出现的同名点周围邻近点造成的误匹配现象，本发明提出一种顾及样本距离的负样本构建方法：
如图3所示，对于任意一对正样本
Figure BDA0002427123650000128
对应的匹配点(pi,qi)，在搜索影像上距离同名点qi为r像素的圆上，以竖直向上为起点，等间隔确定8个点，从这8个点中随机取一个点作为负样本点Nqi，以该负样本点为中心裁取大小为97×97像素的影像块作为顾及样本距离的负样本对中的一幅影像块
Figure BDA0002427123650000129
同时将参考影像上pi点为中心的影像块
Figure BDA00024271236500001210
作为顾及样本距离的负样本对中的另一幅影像块
Figure BDA00024271236500001211
形成一对顾及样本距离的负样本对
Figure BDA00024271236500001212
对每对正样本对都进行步骤222)中的处理，得到如式(3)所示的顾及样本距离的负样本集DGNSSet(Distance Based General Negative Sample Set)如式(3)所示：
Figure BDA00024271236500001213
23)完整样本集构建：通过步骤21)和步骤22)，对于M对正样本，将产生M对普通负样本和M对顾及样本距离的负样本；从所有M对普通负样本和M对顾及样本距离的负样本中各随机抽取M/2对，形成M对负样本，最终得到包含M对正样本和M对负样本的完整样本集TSSet(Training Sample Set)。
24)利用步骤23)构建的样本集TSSet对步骤一中所述的深度学习网络FSNet进行训练。在训练过程中，每次迭代的样本批次大小为32对样本。本发明选择动量优化法作为网络优化器，网络初始学习率为0.001，动量为0.9。当平均训练损失值低于0.001时，网络终止训练。
25)通过步骤24)训练得到FSNet以后，从中截取卷积模块得到特征提取网络CSNet。
3)利用上述步骤2)中训练好的CSNet网络提取影像深度特征图，具体方法如下：
31)分别对待匹配影像对中的原始参考影像
Figure BDA0002427123650000131
和搜索影像
Figure BDA0002427123650000132
进行降采样。由于遥感影像的行列数通常达到上万级别，若直接利用CSNet对原始参考影像
Figure BDA0002427123650000133
和搜索影像
Figure BDA0002427123650000134
进行深度特征图提取，计算效率较为低下。为了提升算法效率，本发明方法首先对原始影像
Figure BDA0002427123650000135
和
Figure BDA0002427123650000136
对进行降采样操作，然后再输入CSNet进行深度特征图计算。在降采样操作中，为了保持原始影像
Figure BDA0002427123650000137
和
Figure BDA0002427123650000138
间的尺度关系不变，需要对参考影像
Figure BDA0002427123650000139
和搜索影像
Figure BDA00024271236500001310
保持相同的降采样率。因此，本发明方法按公式(4)进行降采样运算：运算：
Figure BDA00024271236500001311
式中，[Rr,Cr]代表原始参考影像
Figure BDA00024271236500001312
的行、列数，[Rs,Cs]代表原始搜索影像
Figure BDA00024271236500001313
的行、列数；[R′r,C′r]代表降采样后的参考影像
Figure BDA00024271236500001314
的行、列数，[R′s,C′s]代表降采样后的搜索影像
Figure BDA00024271236500001315
的行、列数；β为降采样因子；本发明将其设置为600。
32)利用步骤2)中训练好的CSNet网络对降采样后的参考影像
Figure BDA00024271236500001316
和降采样后的搜索影像
Figure BDA00024271236500001317
计算深度特征图。
4)基于步骤3)获取的降采样后参考影像
Figure BDA0002427123650000141
的深度特征图和降采样后搜索影像
Figure BDA0002427123650000142
的深度特征图估计原始参考影像
Figure BDA0002427123650000143
和原始搜索影像
Figure BDA0002427123650000144
之间的单应性变换模型H，并对原始搜索影像
Figure BDA0002427123650000145
进行几何纠正，得到纠正后搜索影像
Figure BDA0002427123650000146
如果直接对所有的深度特征图进行两两特征匹配来估计几何变换模型，效率非常低，为了克服这个问题，本发明通过影像检索的策略来提高效率。具体方法如下：
41)采用基于特征词袋BoF(Bag of Feature)的影像检索方法计算降采样后参考影像
Figure BDA0002427123650000147
的每幅深度特征图与降采样后搜索影像
Figure BDA0002427123650000148
的每幅深度特征图的相似度；
42)找到相似度最高的3对深度特征图，分别对这3对深度特征图进行SIFT(ScaleInvariant Feature Transform)特征匹配。由于本发明所述的CSNet网络是由多模态遥感影像样本集训练得到的，通过CSNet输出的影像深度特征图中，对应神经元输出的深度特征图之间的非线性灰度差异将被消除或显著缓解。此时只需考虑影像之间的几何变形，而SIFT算法具有尺度和旋转不变性，对多模态影像之间的几何变形具有较强的鲁棒性。因此，利用SIFT算法可以在3对最相似的深度特征图之间获得一些可靠的匹配点；
43)将3对最相似的深度特征图之间获得的匹配点合并为一个匹配点集合，利用RANSAC算法剔除匹配点集合中的外点，并估计深度特征图之间的单应性变换模型；
44)基于步骤43)估计的深度特征图之间的单应性变换模型，由已知的CSNet网络输出的深度特征图与输入的降采样影像之间的尺度关系，以及CSNet输入的降采样影像与原始影像之间的尺度关系，推导出原始参考影像
Figure BDA0002427123650000149
与原始搜索影像
Figure BDA00024271236500001410
之间的单应性变换模型H；
45)利用得到的单应性变换模型H对原始搜索影像
Figure BDA00024271236500001411
进行几何纠正，并利用双线性内插方法进行重采样，得到纠正后的影像
Figure BDA00024271236500001412
实现原始搜索影像与原始参考影像的粗配准。
5)基于原始参考影像
Figure BDA0002427123650000151
和纠正后的搜索影像
Figure BDA0002427123650000152
生成待匹配特征对，并利用FSNet网络进行匹配判别，得到匹配集合MatchSetRS’。具体方法如下：
51)利用分块Harris算法对原始参考影像
Figure BDA0002427123650000153
提取特征点，并以每个特征点为中心裁取97×97像素大小的影像块；
52)对于原始参考影像
Figure BDA0002427123650000154
上提取的任意特征点pi(x,y)，在纠正后搜索影像
Figure BDA0002427123650000155
上以(x,y)为中心建立大小为w×w的搜索区域，将搜索区域内所有像素作为pi(x,y)的待匹配点；分别以每个待匹配点为中心，在纠正后搜索影像
Figure BDA0002427123650000156
上裁取大小为97×97像素的影像块，与特征点pi(x,y)对应的影像块组成一对待匹配特征对；将w设置为30个像素，对于参考影像上每个特征点pi(x,y)，将生成900对待匹配特征对；
53)将900对待匹配特征对输入训练好FSNet网络中进行计算，将输出结果为“匹配”且相似度值最大的一对特征作为特征点pi(x,y)对应的匹配结果；
54)重复步骤52)和步骤53)，遍历完所有参考影像上的特征点，得到特征匹配集合MatchSet；利用RANSAC算法对MatchSet进行外点剔除，得到原始参考影像
Figure BDA0002427123650000157
和纠正后搜索影像
Figure BDA0002427123650000158
的特征匹配结果MatchSetRS’。
6)利用步骤4)估计得到的原始参考影像
Figure BDA0002427123650000159
与原始搜索影像
Figure BDA00024271236500001510
之间的单应性变换模型H的逆变换H-1，将步骤5)得到的匹配集合MatchSetRS’中的纠正后搜索影像
Figure BDA00024271236500001511
上的点坐标反算回原始搜索影像
Figure BDA00024271236500001512
得到原始参考影像
Figure BDA00024271236500001513
与原始搜索影像
Figure BDA00024271236500001514
的匹配结果。
本发明设计了用于多模态遥感影像块特征提取和相似性度量的深度卷积神经网络，并通过构建多模态遥感影像特征匹配样本集来训练该网络，使得训练得到的网络能够克服多模态遥感影像之间的非线性灰度差异。在此基础上，本发明提出了基于深度特征图的影像几何纠正方法，通过此步骤来克服多模态遥感影像之间的尺度、旋转等几何变形。将上述两部分整合成一个完整的多模态遥感影像特征匹配框架，能够同时克服多模态遥感影像之间的非线性灰度差异和几何变形问题，本发明能够在无任何影像先验信息和人工干预的情况下，在多模态遥感影像之间获得可靠的特征匹配结果。
本发明在利用多模态遥感影像的深度特征图估计影像几何变换模型进行多模态遥感影像几何粗纠正时，一方面通过影像降采样来提高深度特征图计算的效率，另一方面采用基于BoF的影像检索的方法来先找到最相似的3对深度特征图，再在相似的深度特征图之间进行特征匹配，避免了对所有深度特征图进行盲匹配造成的效率低下和匹配不可靠的问题。本发明通过这两方面的巧妙设计，能够大幅提高多模态遥感影像几何粗纠正的时间效率和可靠性。
本发明设计了顾及样本距离的多模态遥感影像特征匹配训练样本集构建方法。该方法在制作负样本时，考虑了负样本与同名点的距离，以此样本集训练的深度学习网络能够有效地识别距离真实同名点很近的错误匹配点，进而促进本发明多模态遥感影像特征匹配方法能够获得更多的正确匹配特征和更高的匹配精度。
本发明不局限于上述可选实施方式，任何人在本发明的启示下都可得出其他各种形式的产品，但不论在其形状或结构上作任何变化，凡是落入本发明权利要求界定范围内的技术方案，均落在本发明的保护范围之内。

Claims (5)

1.一种基于卷积神经网络特征图的多模态遥感影像匹配方法，其特征在于，包括如下步骤：
1)构建面向多模态遥感影像非线性灰度变化的影像相似性度量深度学习网络FSNet；
2)构建训练样本集对步骤1)中的深度学习网络进行训练，得到训练后的网络FSNet，并由训练好的FSNet网络的卷积模块构成特征提取网络CSNet；
3)对待匹配的多模态遥感影像中的参考影像
Figure FDA0003544933260000011
和搜索影像
Figure FDA0003544933260000012
进行降采样，并利用步骤2)中训练好的CSNet网络提取影像深度特征图；
4)基于步骤3)获取的降采样后参考影像
Figure FDA0003544933260000013
的深度特征图和降采样后搜索影像
Figure FDA0003544933260000014
的深度特征图估计原始参考影像
Figure FDA0003544933260000015
和原始搜索影像
Figure FDA0003544933260000016
之间的单应性变换模型H，并对原始搜索影像
Figure FDA0003544933260000017
进行几何纠正，得到纠正后搜索影像
Figure FDA0003544933260000018
5)基于原始参考影像
Figure FDA0003544933260000019
和纠正后的搜索影像
Figure FDA00035449332600000110
生成待匹配特征对，并利用FSNet网络进行匹配判别，得到匹配集合MatchSetRS’；
6)利用步骤4)估计得到的原始参考影像
Figure FDA00035449332600000111
与原始搜索影像
Figure FDA00035449332600000112
之间的单应性变换模型H的逆变换H-1，将步骤5)得到的匹配集合MatchSetRS’中的纠正后搜索影像
Figure FDA00035449332600000113
上的点坐标反算回原始搜索影像
Figure FDA00035449332600000114
得到原始参考影像
Figure FDA00035449332600000115
与原始搜索影像
Figure FDA00035449332600000116
的匹配结果。
在步骤1)中，FSNet由影像特征提取网络CSNet和相似性度量网络两个子网络构成；其中，CSNet网络的每个分支由5个卷积模块构成，两分支之间通过共享权重降低网络参数量；每个卷积模块采取了“Conv+BN+ReLU”构建策略；
采取“Conv+BN+ReLU”构建策略时，CSNet的5个卷积层的具体参数C(n,m,k)分别设置为：C(16,3,1)、C(32,5,1)、C(64,5,1)、C(64,5,1)、C(16,5,1)；其中n表示卷积层中卷积核的个数，m×m表示卷积核的尺寸，k表示卷积核进行卷积运算时的步长；
步骤2)包括如下具体步骤：
21)构建正样本集：分别从可见光-近红外、光学-SAR以及光学-LiDAR影像上制作训练样本；
22)构建负样本集，其中负样本集由普通负样本集和顾及样本距离的负样本集两部分构成；
23)构建完整样本集：通过步骤21)和步骤22)，对于M对正样本，将产生M对普通负样本和M对顾及样本距离的负样本；从所有M对普通负样本和M对顾及样本距离的负样本中各随机抽取M/2对，形成M对负样本，最终得到包含M对正样本和M对负样本的完整样本集；
24)利用步骤23)构建的样本集对步骤1)中所述的深度学习网络FSNet进行训练；
25)通过步骤24)训练得到FSNet以后，从中截取卷积模块得到特征提取网络CSNet；
步骤21)包括如下具体步骤：
211)可见光-近红外正样本：从多波段卫星影像的可见光波段影像与近红外波段影像上按对应像素自动裁取大小为97×97像素的影像块，获取可见光-近红外影像正样本；
212)光学-SAR及光学-LiDAR正样本：采用人工选取控制点的方式进行几何纠正；然后对已经经过几何纠正的光学-SAR及光学-LiDAR影像，采用基于相位一致性的影像特征匹配方法进行特征匹配，并利用RANSAC算法对特征匹配结果进行误匹配剔除，获取正确匹配点；再在影像上以正确匹配点为中心裁取大小为97×97像素的影像块，获得正样本；
步骤22)包括如下具体步骤：
221)普通负样本构建：假设正样本集PSSet如式(1)所示，样本集包含M对样本，每对样本由两个影像块构成：
Figure FDA0003544933260000031
那么，对于正样本集中任意一对样本中的一幅影像块
Figure FDA0003544933260000032
将其作为普通负样本对中的一幅影像块
Figure FDA0003544933260000033
随机从其他正样本对的配对影像中选择一幅影像块
Figure FDA0003544933260000034
作为普通负样本对中的另一幅影像块
Figure FDA0003544933260000035
形成一对普通负样本
Figure FDA0003544933260000036
得到普通负样本集GNSSet如式(2)所示：
Figure FDA0003544933260000037
222)顾及样本距离的负样本构建：对于任意一对正样本
Figure FDA0003544933260000038
对应的匹配点(pi,qi)，在搜索影像上距离同名点qi为r像素的圆上，以竖直向上为起点，等间隔确定8个点，从这8个点中随机取一个点作为负样本点Nqi，以该负样本点为中心裁取大小为97×97像素的影像块作为顾及样本距离的负样本对中的一幅影像块
Figure FDA0003544933260000039
同时将参考影像上pi点为中心的影像块
Figure FDA00035449332600000310
作为顾及样本距离的负样本对中的另一幅影像块
Figure FDA00035449332600000311
形成一对顾及样本距离的负样本对
Figure FDA00035449332600000312
对每对正样本对都进行步骤222)中的处理，得到如式(3)所示的顾及样本距离的负样本集DGNSSet如式(3)所示：
Figure FDA00035449332600000313
2.根据权利要求1所述的一种基于卷积神经网络特征图的多模态遥感影像匹配方法，其特征在于，在步骤24)中，每次迭代的样本批次大小为32对样本；选择动量优化法作为网络优化器，网络初始学习率为0.001，动量为0.9；当平均训练损失值低于0.001时，网络终止训练。
3.根据权利要求1所述的一种基于卷积神经网络特征图的多模态遥感影像匹配方法，其特征在于，步骤3)包括如下具体步骤：
31)分别对待匹配影像对中的原始参考影像
Figure FDA0003544933260000041
和搜索影像
Figure FDA0003544933260000042
进行降采样，然后再输入CSNet进行深度特征图计算；在降采样操作中，为了保持原始影像
Figure FDA0003544933260000043
和
Figure FDA0003544933260000044
间的尺度关系不变，需要对参考影像
Figure FDA0003544933260000045
和搜索影像
Figure FDA0003544933260000046
保持相同的降采样率；因此，按公式(4)进行降采样运算：
Figure FDA0003544933260000047
式中，[Rr,Cr]代表原始参考影像
Figure FDA0003544933260000048
的行、列数，[Rs,Cs]代表原始搜索影像
Figure FDA0003544933260000049
的行、列数；[R′r,C′r]代表降采样后的参考影像
Figure FDA00035449332600000410
的行、列数，[R′s,C′s]代表降采样后的搜索影像
Figure FDA00035449332600000411
的行、列数；β为降采样因子；
32)利用步骤2)中训练好的CSNet网络对降采样后的参考影像
Figure FDA00035449332600000412
和降采样后的搜索影像
Figure FDA00035449332600000413
计算深度特征图。
4.根据权利要求1所述的一种基于卷积神经网络特征图的多模态遥感影像匹配方法，其特征在于，步骤4)包括如下具体步骤：
41)采用基于特征词袋BoF的影像检索方法计算降采样后参考影像
Figure FDA00035449332600000414
的每幅深度特征图与降采样后搜索影像
Figure FDA00035449332600000415
的每幅深度特征图的相似度；
42)找到相似度最高的3对深度特征图，分别对这3对深度特征图进行SIFT特征匹配；
43)将3对最相似的深度特征图之间获得的匹配点合并为一个匹配点集合，利用RANSAC算法剔除匹配点集合中的外点，并估计深度特征图之间的单应性变换模型；
44)基于步骤43)估计的深度特征图之间的单应性变换模型，由已知的CSNet网络输出的深度特征图与输入的降采样影像之间的尺度关系，以及CSNet输入的降采样影像与原始影像之间的尺度关系，推导出原始参考影像
Figure FDA0003544933260000051
与原始搜索影像
Figure FDA0003544933260000052
之间的单应性变换模型H；
45)利用得到的单应性变换模型H对原始搜索影像
Figure FDA0003544933260000053
进行几何纠正，并利用双线性内插方法进行重采样，得到纠正后的影像
Figure FDA0003544933260000054
实现原始搜索影像与原始参考影像的粗配准。
5.根据权利要求1～4任意一项所述的一种基于卷积神经网络特征图的多模态遥感影像匹配方法，其特征在于，步骤5)包括如下具体步骤：
51)利用分块Harris算法对原始参考影像
Figure FDA0003544933260000055
提取特征点，并以每个特征点为中心裁取97×97像素大小的影像块；
52)对于原始参考影像
Figure FDA0003544933260000056
上提取的任意特征点pi(x,y)，在纠正后搜索影像
Figure FDA0003544933260000057
上以(x,y)为中心建立大小为w×w的搜索区域，将搜索区域内所有像素作为pi(x,y)的待匹配点；分别以每个待匹配点为中心，在纠正后搜索影像
Figure FDA0003544933260000058
上裁取大小为97×97像素的影像块，与特征点pi(x,y)对应的影像块组成一对待匹配特征对；将w设置为30个像素，对于参考影像上每个特征点pi(x,y)，将生成900对待匹配特征对；
53)将900对待匹配特征对输入训练好FSNet网络中进行计算，将输出结果为“匹配”且相似度值最大的一对特征作为特征点pi(x,y)对应的匹配结果；
54)重复步骤52)和步骤53)，遍历完所有参考影像上的特征点，得到特征匹配集合MatchSet；利用RANSAC算法对MatchSet进行外点剔除，得到原始参考影像
Figure FDA0003544933260000059
和纠正后搜索影像
Figure FDA00035449332600000510
的特征匹配结果MatchSetRS’。
CN202010224267.4A 2020-03-26 2020-03-26 一种基于卷积神经网络特征图的多模态遥感影像匹配方法 Active CN111414968B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010224267.4A CN111414968B (zh) 2020-03-26 2020-03-26 一种基于卷积神经网络特征图的多模态遥感影像匹配方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010224267.4A CN111414968B (zh) 2020-03-26 2020-03-26 一种基于卷积神经网络特征图的多模态遥感影像匹配方法

Publications (2)

Publication Number Publication Date
CN111414968A CN111414968A (zh) 2020-07-14
CN111414968B true CN111414968B (zh) 2022-05-03

Family

ID=71493289

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010224267.4A Active CN111414968B (zh) 2020-03-26 2020-03-26 一种基于卷积神经网络特征图的多模态遥感影像匹配方法

Country Status (1)

Country Link
CN (1) CN111414968B (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111950433B (zh) * 2020-08-07 2023-09-12 中国人民解放军战略支援部队航天工程大学 光学卫星影像特征匹配深度学习训练样本集自动构建方法
CN112150359B (zh) * 2020-09-15 2022-04-12 中国水利水电科学研究院 基于机器学习和特征点识别的无人机图像快速拼接方法
CN112328715B (zh) * 2020-10-16 2022-06-03 浙江商汤科技开发有限公司 视觉定位方法及相关模型的训练方法及相关装置、设备
CN112200845A (zh) * 2020-10-22 2021-01-08 清华大学 一种图像配准方法和装置
CN112488292B (zh) * 2020-11-19 2024-02-02 杭州电子科技大学 一种面向通用多模态学习的神经框架搜索方法
CN112598718B (zh) * 2020-12-31 2022-07-12 北京深睿博联科技有限责任公司 一种无监督多视角多模态智能眼镜图像配准方法及装置
CN113066015B (zh) * 2021-05-14 2022-06-03 清华大学 一种基于神经网络的多模态遥感影像旋转差异校正方法
CN113313002A (zh) * 2021-05-24 2021-08-27 清华大学 一种基于神经网络的多模态遥感影像特征提取方法
CN113723447B (zh) * 2021-07-15 2024-03-08 西北工业大学 一种多模态影像的端到端的模板匹配方法
CN113658235B (zh) * 2021-08-06 2022-08-09 北京理工大学 基于vgg网络与高斯差分网络的光学遥感影像精确配准方法
CN113840127B (zh) * 2021-08-12 2024-02-27 长光卫星技术股份有限公司 一种卫星视频影像获取水域自动掩膜处理dsm的方法
CN114494372B (zh) * 2022-01-11 2023-04-21 西南交通大学 一种基于无监督深度学习的遥感影像配准方法
CN115082779B (zh) * 2022-05-05 2022-11-15 生态环境部卫星环境应用中心 基于遥感影像的煤电企业检测方法和装置
CN116091706B (zh) * 2023-04-07 2023-06-20 山东建筑大学 多模态遥感影像深度学习匹配的三维重建方法
CN116580320B (zh) * 2023-05-25 2023-10-13 中国水利水电科学研究院 一种大尺度人为水土流失扰动范围遥感智能提取方法
CN116894100B (zh) * 2023-07-24 2024-04-09 北京和德宇航技术有限公司 一种遥感影像的显示控制方法、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105320965A (zh) * 2015-10-23 2016-02-10 西北工业大学 基于深度卷积神经网络的空谱联合的高光谱图像分类方法
CN108510532A (zh) * 2018-03-30 2018-09-07 西安电子科技大学 基于深度卷积gan的光学和sar图像配准方法
CN110160502A (zh) * 2018-10-12 2019-08-23 腾讯科技（深圳）有限公司 地图要素提取方法、装置及服务器

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102521597B (zh) * 2011-12-14 2013-04-24 武汉大学 一种基于分级策略的影像直线特征匹配方法
CN106295714B (zh) * 2016-08-22 2020-01-21 中国科学院电子学研究所 一种基于深度学习的多源遥感图像融合方法
CN108021886B (zh) * 2017-12-04 2021-09-14 西南交通大学 一种无人机重复纹理影像局部显著特征点匹配方法
CN108510467B (zh) * 2018-03-28 2022-04-08 西安电子科技大学 基于深度可变形卷积神经网络的sar图像目标识别方法
CN109035315A (zh) * 2018-08-28 2018-12-18 武汉大学 融合sift特征和cnn特征的遥感图像配准方法及系统
CN109711444A (zh) * 2018-12-18 2019-05-03 中国科学院遥感与数字地球研究所 一种新的基于深度学习的遥感影像配准方法
CN109711321B (zh) * 2018-12-24 2020-09-01 西南交通大学 一种结构自适应的宽基线影像视角不变直线特征匹配方法
CN109784223B (zh) * 2018-12-28 2020-09-01 珠海大横琴科技发展有限公司 一种基于卷积神经网络的多时相遥感影像匹配方法及系统
CN109671110B (zh) * 2018-12-29 2020-08-25 西南交通大学 一种局部几何结构约束的城区宽基线影像特征点匹配方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105320965A (zh) * 2015-10-23 2016-02-10 西北工业大学 基于深度卷积神经网络的空谱联合的高光谱图像分类方法
CN108510532A (zh) * 2018-03-30 2018-09-07 西安电子科技大学 基于深度卷积gan的光学和sar图像配准方法
CN110160502A (zh) * 2018-10-12 2019-08-23 腾讯科技（深圳）有限公司 地图要素提取方法、装置及服务器

Also Published As

Publication number Publication date
CN111414968A (zh) 2020-07-14

Similar Documents

Publication Publication Date Title
CN111414968B (zh) 一种基于卷积神经网络特征图的多模态遥感影像匹配方法
CN109871823B (zh) 一种结合旋转框和上下文信息的卫星图像舰船检测方法
CN107016646A (zh) 一种基于改进的逼近投影变换图像拼接方法
CN106373088A (zh) 大倾斜低重叠率航空图像的快速拼接方法
CN109934857B (zh) 一种基于卷积神经网络与orb特征的回环检测方法
CN111369601B (zh) 一种基于孪生网络的遥感图像配准方法
CN107958443A (zh) 一种基于脊线特征和tps形变模型的指纹图像拼接方法
CN112883850A (zh) 一种基于卷积神经网络的多视角空天遥感图像匹配方法
CN107025449A (zh) 一种视角不变局部区域约束的倾斜影像直线特征匹配方法
CN110807828A (zh) 一种倾斜摄影三维重建匹配方法
CN111506759A (zh) 一种基于深度特征的影像匹配方法及装置
CN110751271B (zh) 一种基于深度神经网络的图像溯源特征表征方法
CN116258953A (zh) 一种遥感影像目标检测方法
CN117611996A (zh) 基于深度特征融合的葡萄种植区遥感影像变化检测方法
Wang et al. A learnable joint spatial and spectral transformation for high resolution remote sensing image retrieval
CN111784679A (zh) 一种基于cnn和svm的挡土墙裂缝识别方法
CN115908112A (zh) 一种面向低重叠率的点云配准方法
Li et al. RIFT2: Speeding-up RIFT with a new rotation-invariance technique
CN114565781A (zh) 一种基于旋转不变性的影像匹配方法
CN114693755B (zh) 多模图像最大矩与空间一致性的非刚性配准方法及系统
CN113723447B (zh) 一种多模态影像的端到端的模板匹配方法
CN117079272A (zh) 一种结合手工特征和学习特征的弹底窝痕特征识别方法
CN115761528A (zh) 基于积分图的推扫式遥感卫星影像高精度波段对齐方法
CN116030511A (zh) 一种基于ToF的三维人脸识别方法
CN114882139A (zh) 一种多层级地图的端到端智能生成方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant