CN111414968A - 一种基于卷积神经网络特征图的多模态遥感影像匹配方法 - Google Patents
一种基于卷积神经网络特征图的多模态遥感影像匹配方法 Download PDFInfo
- Publication number
- CN111414968A CN111414968A CN202010224267.4A CN202010224267A CN111414968A CN 111414968 A CN111414968 A CN 111414968A CN 202010224267 A CN202010224267 A CN 202010224267A CN 111414968 A CN111414968 A CN 111414968A
- Authority
- CN
- China
- Prior art keywords
- image
- matching
- pairs
- feature
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/35—Determination of transform parameters for the alignment of images, i.e. image registration using statistical methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Evolutionary Biology (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Astronomy & Astrophysics (AREA)
- Remote Sensing (AREA)
- Multimedia (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于卷积神经网络特征图的多模态遥感影像匹配方法,包括如下步骤:1)构建面向影像非线性灰度变化的相似性度量神经网络FSNet;2)构建训练样本集训练FSNet,并由FSNet的卷积模块构成特征提取网络CSNet;3)对待匹配的多模态遥感影像中的参考影像和搜索影像进行降采样,利用CSNet提取降采样后影像的深度特征图;4)基于深度特征图估计和之间的单应性变换模型H,利用H对进行几何纠正,得到纠正后搜索影像5)利用FSNet对和进行特征匹配;6)利用逆变换H‑1将上的匹配点坐标反算回得到最终匹配结果。本发明提供了一种对多模态遥感影像非线性灰度变化和几何变形鲁棒且无需任何先验信息的基于卷积神经网络特征图的多模态遥感影像匹配方法。
Description
技术领域
本发明属于遥感影像处理中的影像匹配技术领域,具体涉及一种基于卷积神经网络特征图的多模态遥感影像匹配方法。
背景技术
随着遥感技术的飞速发展,传感器类型及数据获取手段越来越多样化,容易获取同一观测区域的多模态遥感影像。由于多模态遥感影像能够反映同一地物的不同特性,对多模态遥感影像进行融合处理有助于影像解译,更好地获取地物信息。然而,多模态遥感影像之间可能存在因传感器成像原理不同造成的非线性灰度变化、拍摄时间差异造成的影像背景变化(如人工目标的新建与拆除、植被季节性变化),以及成像视角不同造成的几何变形等,给影像处理带来极大的困难,其中可靠的特征匹配是关键难题之一。
现有影像匹配方法大体上可分为两类:基于灰度的匹配方法和基于特征的匹配方法。其中,基于灰度的匹配方法(如影像相关类方法)因匹配精度高,算法简单,易于理解和实现,在影像匹配研究早期得到了广泛应用。通过改善匹配策略可进一步提高影像匹配的稳定性和可靠性,如金字塔匹配、最小二乘匹配、松弛匹配等。虽然基于灰度的匹配方法能够获得较高的匹配精度,但这类方法只适用于影像灰度变化较小或仅存在线性灰度变化的情况,对于多模态遥感影像之间的非线性灰度变化和几何变形的鲁棒性不足。
相对而言,基于特征的匹配方法通过构建更加抽象或高层次的特征来描述特征点,大幅提高了特征匹配的鲁棒性。基于特征的匹配方法可进一步细分为基于人工设计特征描述符的方法和基于深度学习的方法。
在基于人工设计特征描述符的匹配方法中,常用的如SIFT等基于梯度算子特征描述符的方法在影像存在非线性灰度变化的地方容易获得相反的梯度方向,导致同名特征描述符不相似,进而导致特征匹配失败的情况。针对这个问题,研究人员提出了一类基于局部自相似性的特征匹配方法,此类方法能够较好地克服影像非线性灰度差异问题,提高了多模态遥感影像特征匹配的效果。此外,研究人员挖掘相位一致性模型的亮度和对比度不变性,提出了一类基于相位一致性模型的特征匹配方法,此类方法能够较好地处理多模态遥感影像非线性灰度变化问题。但是,当影像之间存在明显的几何变形时,无论是基于局部自相似性的匹配方法还是基于相位一致性模型的匹配方法的匹配性能都将急剧下降甚至失效。
随着人工智能浪潮的兴起,深度学习方法被广泛应用到影像特征匹配中。常见的深度学习匹配方法主要思想是:将正负样本和相似性度量同时输入两个权值共享的深度卷积神经网络中,让两个分支共同学习影像的深度特征,并通过最小化正样本之间特征描述符距离,最大化负样本特征描述符距离进行模型训练,得到深度特征描述符和相似性测度。已有研究表明,这种端对端的网络结构对影像非线性灰度变化具有较强的鲁棒性。另一类深度学习匹配算法的思想是通过深度神经网络来直接学习特征描述符,再用传统特征相似性度量方法实现特征匹配。
虽然基于深度学习的特征匹配方法大幅提升了传统方法的匹配性能,但是应用于多模态遥感影像匹配时仍然存在以下几个问题:
1)现有方法在特征匹配之前通常需要利用地理参考等先验信息进行影像粗配准,消除影像几何变形,导致特征匹配严重依赖先验信息。当先验信息精度不足或缺失时,特征匹配不可靠甚至失败;
2)基于深度学习的匹配算法受训练样本影响大。现有方法在制作影像特征匹配样本集时,通常只考虑了正样本的几何对应问题,对于负样本的选择较随意,未考虑负样本与正样本之间的相互位置关系,导致在影像匹配时,同名点附近一定区域内的特征都呈现较高的相似度,容易造成误匹配。
发明内容
为了解决现有技术存在的上述问题,本发明目的在于提供一种能够在无任何影像先验信息和人工干预的情况下,在具有显著非线性灰度变化和几何变形的多模态遥感影像之间获得可靠特征匹配结果的基于卷积神经网络特征图的多模态遥感影像匹配方法。
本发明所采用的技术方案为:
一种基于卷积神经网络特征图的多模态遥感影像匹配方法,包括如下步骤:
1)构建面向多模态遥感影像非线性灰度变化的影像相似性度量深度学习网络FSNet;
2)构建训练样本集对步骤1)中的深度学习网络进行训练,得到训练后的网络FSNet,并由训练好的FSNet网络的卷积模块构成特征提取网络CSNet;
6)利用步骤4)估计得到的原始参考影像与原始搜索影像之间的单应性变换模型H的逆变换H-1,将步骤5)得到的匹配集合MatchSetRS’中的纠正后搜索影像上的点坐标反算回原始搜索影像得到原始参考影像与原始搜索影像的匹配结果。
优选地,在步骤1)中,FSNet由影像特征提取网络CSNet和相似性度量网络两个子网络构成;其中,CSNet网络的每个分支由5个卷积模块构成,两分支之间通过共享权重降低网络参数量;每个卷积模块采取了“Conv+BN+ReLU”构建策略。
优选地,采取“Conv+BN+ReLU”构建策略时,CSNet的5个卷积层的具体参数C(n,m,k)分别设置为:C(16,3,1)、C(32,5,1)、C(64,5,1)、C(64,5,1)、C(16,5,1)。其中n表示卷积层中卷积核的个数,m×m表示卷积核的尺寸,k表示卷积核进行卷积运算时的步长。
优选地,步骤2)包括如下具体步骤:
21)构建正样本集:分别从可见光-近红外、光学-SAR以及光学-LiDAR影像像对上制作训练样本;
22)构建负样本集,其中负样本集由普通负样本集和顾及样本距离的负样本集两部分构成;
23)构建完整样本集:通过步骤21)和步骤22),对于M对正样本,将产生M对普通负样本和M对顾及样本距离的负样本;从所有M对普通负样本和M对顾及样本距离的负样本中各随机抽取M/2对,形成M对负样本,最终得到包含M对正样本和M对负样本的完整样本集;
24)利用步骤23)构建的样本集对步骤1)中所述的深度学习网络FSNet进行训练;
25)通过步骤24)训练得到FSNet以后,从中截取卷积模块得到特征提取网络CSNet。
优选地,步骤21)包括如下具体步骤:
211)可见光-近红外正样本:从多波段卫星影像的可见光波段影像与近红外波段影像上按对应像素自动裁取大小为97×97像素的影像块,获取可见光-近红外影像正样本;
212)光学-SAR及光学-LiDAR正样本:采用人工选取控制点的方式进行几何纠正;然后对已经经过几何纠正的光学-SAR及光学-LiDAR影像,采用基于相位一致性的影像特征匹配方法进行特征匹配,并利用RANSAC算法对特征匹配结果进行误匹配剔除,获取正确匹配点;再在影像上以正确匹配点为中心裁取大小为97×97像素的影像块,获得正样本。
优选地,步骤22)包括如下具体步骤:
221)普通负样本构建:假设正样本集PSSet如式(1)所示,样本集包含M对样本,每对样本由两个影像块构成:
那么,对于正样本集中任意一对样本中的一幅影像块将其作为普通负样本对中的一幅影像块随机从其他正样本对的配对影像中选择一幅影像块作为普通负样本对中的另一幅影像块形成一对普通负样本得到普通负样本集GNSSet如式(2)所示:
222)顾及样本距离的负样本构建:对于任意一对正样本对应的匹配点(pi,qi),在搜索影像上距离同名点qi为r像素的圆上,以竖直向上为起点,等间隔确定8个点,从这8个点中随机取一个点作为负样本点Nqi,以该负样本点为中心裁取大小为97×97像素的影像块作为顾及样本距离的负样本对中的一幅影像块同时将参考影像上pi点为中心的影像块作为顾及样本距离的负样本对中的另一幅影像块形成一对顾及样本距离的负样本对
对每对正样本对都进行步骤222)中的处理,得到如式(3)所示的顾及样本距离的负样本集DGNSSet如式(3)所示:
优选地,在步骤24)中,每次迭代的样本批次大小为32对样本;选择动量优化法作为网络优化器,网络初始学习率为0.001,动量为0.9;当平均训练损失值低于0.001时,网络终止训练。
优选地,步骤3)包括如下具体步骤:
31)分别对待匹配影像对中的原始参考影像和搜索影像进行降采样,然后再输入CSNet进行深度特征图计算;在降采样操作中,为了保持原始影像和间的尺度关系不变,需要对参考影像和搜索影像保持相同的降采样率;因此,按公式(4)进行降采样运算:
式中,[Rr,Cr]代表原始参考影像的行、列数,[Rs,Cs]代表原始搜索影像的行、列数;[R′r,C′r]代表降采样后的参考影像的行、列数,[R′s,C′s]代表降采样后的搜索影像的行、列数;β为降采样因子;
优选地,步骤4)包括如下具体步骤:
42)找到相似度最高的3对深度特征图,分别对这3对深度特征图进行SIFT特征匹配;
43)将3对最相似的深度特征图之间获得的匹配点合并为一个匹配点集合,利用RANSAC算法剔除匹配点集合中的外点,并估计深度特征图之间的单应性变换模型;
44)基于步骤43)估计的深度特征图之间的单应性变换模型,由已知的CSNet网络输出的深度特征图与输入的降采样影像之间的尺度关系,以及CSNet输入的降采样影像与原始影像之间的尺度关系,推导出原始参考影像与原始搜索影像之间的单应性变换模型H;
优选地,步骤5)包括如下具体步骤:
52)对于原始参考影像上提取的任意特征点pi(x,y),在纠正后搜索影像上以(x,y)为中心建立大小为w×w的搜索区域,将搜索区域内所有像素作为pi(x,y)的待匹配点;分别以每个待匹配点为中心,在纠正后搜索影像上裁取大小为97×97像素的影像块,与特征点pi(x,y)对应的影像块组成一对待匹配特征对;将w设置为30个像素,对于参考影像上每个特征点pi(x,y),将生成900对待匹配特征对;
53)将900对待匹配特征对输入训练好FSNet网络中进行计算,将输出结果为“匹配”且相似度值最大的一对特征作为特征点pi(x,y)对应的匹配结果;
54)重复步骤52)和步骤53),遍历完所有参考影像上的特征点,得到特征匹配集合MatchSet;利用RANSAC算法对MatchSet进行外点剔除,得到原始参考影像和纠正后搜索影像的特征匹配结果MatchSetRS’。
本发明的有益效果为:
1.本发明设计了用于多模态遥感影像块特征提取和相似性度量的深度卷积神经网络,并通过构建多模态遥感影像特征匹配样本集来训练该网络,使得训练得到的网络能够克服多模态遥感影像之间的非线性灰度差异。在此基础上,本发明提出了基于深度特征图的影像几何纠正方法,通过此步骤来克服多模态遥感影像之间的尺度、旋转等几何变形。将上述两部分整合成一个完整的多模态遥感影像特征匹配框架,能够同时克服多模态遥感影像之间的非线性灰度差异和几何变形问题,本发明能够在无任何影像先验信息和人工干预的情况下,在多模态遥感影像之间获得可靠的特征匹配结果。
2.本发明在利用多模态遥感影像的深度特征图估计影像几何变换模型进行多模态遥感影像几何粗纠正时,一方面通过影像降采样来提高深度特征图计算的效率,另一方面采用基于BoF的影像检索的方法来先找到最相似的3对深度特征图,再在相似的深度特征图之间进行特征匹配,避免了对所有深度特征图进行盲匹配造成的效率低下和匹配不可靠的问题。本发明通过这两方面的巧妙设计,能够大幅提高多模态遥感影像几何粗纠正的时间效率和可靠性。
3.本发明设计了顾及样本距离的多模态遥感影像特征匹配训练样本集构建方法。该方法在制作负样本时,考虑了负样本与同名点的距离,以此样本集训练的深度学习网络能够有效地识别距离真实同名点很近的错误匹配点,进而促进本发明多模态遥感影像特征匹配方法能够获得更多的正确匹配特征和更高的匹配精度。
本发明的有益效果不限于此描述,为了更好的便于理解,在具体实施方式部分进行了更加详细的描述。
本发明的附加优点、目的,以及特征将在下面的描述中将部分地加以阐述,且将对于本领域普通技术人员在研究下文后部分地变得明显,或者可以根据本发明的实践而获知。本发明的目的和其它优点可以通过在书面说明及其权利要求书以及附图中具体指出的结构实现到并获得。
本领域技术人员将会理解的是,能够用本发明实现的目的和优点不限于以上具体所述,并且根据以下详细说明将更清楚地理解本发明能够实现的上述和其他目的。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明的流程图;
图2是本发明FSNet网络结构示意图;图中阿拉伯数字表示在该维度上的尺寸;
图3是顾及样本距离的负样本构建方法的示意图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本发明,而不能理解为对本发明的限制。
在本发明的描述中,需要理解的是,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
在本发明中,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。
如图1~图3所示,本实施例的基于卷积神经网络特征图的多模态遥感影像匹配方法,该方法依次包括以下步骤:
1)构建面向多模态遥感影像非线性灰度变化的影像相似性度量深度学习网络FSNet(Fully Connected Siamese-type Neural Network),网络结构如图2所示。
FSNet由影像特征提取网络CSNet(Convolutional Siamese-type NeuralNetwork)和相似性度量网络两个子网络构成。CSNet网络的每个分支由5个卷积模块构成,两分支之间通过共享权重降低网络参数量。每个卷积模块采取了“Conv+BN+ReLU”构建策略,即在每层卷积(Conv)之后,使用批量规范化层(BN层)来加速网络训练时的收敛,然后通过ReLU激活函数对神经元进行激活。本发明中CSNet的5个卷积层的具体参数C(n,m,k)分别设置为:C(16,3,1)、C(32,5,1)、C(64,5,1)、C(64,5,1)、C(16,5,1)。其中n表示卷积层中卷积核的个数,m×m表示卷积核的尺寸,k表示卷积核进行卷积运算时的步长。相比于传统Siamese网络,我们在本发明网络中去掉了池化层。因为在遥感影像匹配任务中需要得到尽可能精确的同名点坐标,而池化层在通过降维手段来减少网络参数量的同时,将降低同名点定位精度,并易造成同名点邻近特征点的错误匹配。
相似性度量网络是在特征提取网络CSNet的基础上,将两个分支用全连接层相连,双分支的特征经过全连接层降维和聚合之后,被输入损失函数计算网络预测值与标签值之间的差异。本发明中选用Sigmoid交叉熵损失函数来计算损失值。本发明网络设置了两层全连接层,第一层和第二层全连接层的输出神经元个数分别为128和2。
2)构建训练样本集对步骤一中的深度学习网络进行训练,得到训练后的网络FSNet和CSNet。具体方法如下:
21)正样本集构建。本发明分别从可见光-近红外、光学-SAR以及光学-LiDAR影像像对上制作训练样本。
211)可见光-近红外样本
本发明从多波段卫星影像的可见光波段影像与近红外波段影像上按对应像素自动裁取大小为97×97像素的影像块,获取可见光-近红外影像正样本。由于这些影像中的可见光波段和近红外波段影像是已经配准好的,因此对于这类影像,在制作正样本时只需要按照对应像素裁剪影像块即可。
212)光学-SAR及光学-LiDAR正样本
由于SAR影像、LiDAR强度或高程渲染影像与可见光影像之间往往存在显著的几何变形,无法直接裁取对应图像位置的影像块作为正样本,需要预先进行几何纠正。本发明采用人工选取控制点的方式进行几何纠正。几何纠正之后的影像之间仍然不可避免的存在若干个像素的位置偏差,仍然无法像可见光-近红外影像那样直接进行裁剪。为此,本发明对已经经过几何纠正的光学-SAR及光学-LiDAR影像,采用基于相位一致性的影像特征匹配方法进行特征匹配,并利用RANSAC算法对特征匹配结果进行误匹配剔除,获取正确匹配点。由于影像已通过人工选取的控制点进行了几何纠正,消除了显著的全局几何变形,同时,相位一致性模型对影像非线性辐射变化具有较强的鲁棒性,因此特征匹配获取的匹配点具有较高的可靠性。在此基础上,本发明以匹配点为中心裁取大小为97×97像素的影像块获取正样本。
22)负样本集构建。本发明构建的负样本集由普通负样本集和顾及样本距离的负样本集两部分构成。具体方法如下:
221)普通负样本集构建
本发明普通负样本集是在正样本集的基础上,通过随机配对来自不同正样本对的影像块得到的。假设正样本集PSSet如式(1)所示,样本集包含M对样本,每对样本由两个影像块构成:
那么,对于正样本集中任意一对样本中的一幅影像块将其作为普通负样本对中的一幅影像块随机从其他正样本对的配对影像中选择一幅影像块作为普通负样本对中的另一幅影像块形成一对普通负样本得到普通负样本集GNSSet如式(2)所示:
222)顾及样本距离的负样本构建
针对影像匹配中出现的同名点周围邻近点造成的误匹配现象,本发明提出一种顾及样本距离的负样本构建方法:
如图3所示,对于任意一对正样本对应的匹配点(pi,qi),在搜索影像上距离同名点qi为r像素的圆上,以竖直向上为起点,等间隔确定8个点,从这8个点中随机取一个点作为负样本点Nqi,以该负样本点为中心裁取大小为97×97像素的影像块作为顾及样本距离的负样本对中的一幅影像块同时将参考影像上pi点为中心的影像块作为顾及样本距离的负样本对中的另一幅影像块形成一对顾及样本距离的负样本对
对每对正样本对都进行步骤222)中的处理,得到如式(3)所示的顾及样本距离的负样本集DGNSSet(Distance Based General Negative Sample Set)如式(3)所示:
23)完整样本集构建:通过步骤21)和步骤22),对于M对正样本,将产生M对普通负样本和M对顾及样本距离的负样本;从所有M对普通负样本和M对顾及样本距离的负样本中各随机抽取M/2对,形成M对负样本,最终得到包含M对正样本和M对负样本的完整样本集TSSet(Training Sample Set)。
24)利用步骤23)构建的样本集TSSet对步骤一中所述的深度学习网络FSNet进行训练。在训练过程中,每次迭代的样本批次大小为32对样本。本发明选择动量优化法作为网络优化器,网络初始学习率为0.001,动量为0.9。当平均训练损失值低于0.001时,网络终止训练。
25)通过步骤24)训练得到FSNet以后,从中截取卷积模块得到特征提取网络CSNet。
3)利用上述步骤2)中训练好的CSNet网络提取影像深度特征图,具体方法如下:
31)分别对待匹配影像对中的原始参考影像和搜索影像进行降采样。由于遥感影像的行列数通常达到上万级别,若直接利用CSNet对原始参考影像和搜索影像进行深度特征图提取,计算效率较为低下。为了提升算法效率,本发明方法首先对原始影像和对进行降采样操作,然后再输入CSNet进行深度特征图计算。在降采样操作中,为了保持原始影像和间的尺度关系不变,需要对参考影像和搜索影像保持相同的降采样率。因此,本发明方法按公式(4)进行降采样运算:运算:
式中,[Rr,Cr]代表原始参考影像的行、列数,[Rs,Cs]代表原始搜索影像的行、列数;[R′r,C′r]代表降采样后的参考影像的行、列数,[R′s,C′s]代表降采样后的搜索影像的行、列数;β为降采样因子;本发明将其设置为600。
4)基于步骤3)获取的降采样后参考影像的深度特征图和降采样后搜索影像的深度特征图估计原始参考影像和原始搜索影像之间的单应性变换模型H,并对原始搜索影像进行几何纠正,得到纠正后搜索影像如果直接对所有的深度特征图进行两两特征匹配来估计几何变换模型,效率非常低,为了克服这个问题,本发明通过影像检索的策略来提高效率。具体方法如下:
42)找到相似度最高的3对深度特征图,分别对这3对深度特征图进行SIFT(ScaleInvariant Feature Transform)特征匹配。由于本发明所述的CSNet网络是由多模态遥感影像样本集训练得到的,通过CSNet输出的影像深度特征图中,对应神经元输出的深度特征图之间的非线性灰度差异将被消除或显著缓解。此时只需考虑影像之间的几何变形,而SIFT算法具有尺度和旋转不变性,对多模态影像之间的几何变形具有较强的鲁棒性。因此,利用SIFT算法可以在3对最相似的深度特征图之间获得一些可靠的匹配点;
43)将3对最相似的深度特征图之间获得的匹配点合并为一个匹配点集合,利用RANSAC算法剔除匹配点集合中的外点,并估计深度特征图之间的单应性变换模型;
44)基于步骤43)估计的深度特征图之间的单应性变换模型,由已知的CSNet网络输出的深度特征图与输入的降采样影像之间的尺度关系,以及CSNet输入的降采样影像与原始影像之间的尺度关系,推导出原始参考影像与原始搜索影像之间的单应性变换模型H;
52)对于原始参考影像上提取的任意特征点pi(x,y),在纠正后搜索影像上以(x,y)为中心建立大小为w×w的搜索区域,将搜索区域内所有像素作为pi(x,y)的待匹配点;分别以每个待匹配点为中心,在纠正后搜索影像上裁取大小为97×97像素的影像块,与特征点pi(x,y)对应的影像块组成一对待匹配特征对;将w设置为30个像素,对于参考影像上每个特征点pi(x,y),将生成900对待匹配特征对;
53)将900对待匹配特征对输入训练好FSNet网络中进行计算,将输出结果为“匹配”且相似度值最大的一对特征作为特征点pi(x,y)对应的匹配结果;
54)重复步骤52)和步骤53),遍历完所有参考影像上的特征点,得到特征匹配集合MatchSet;利用RANSAC算法对MatchSet进行外点剔除,得到原始参考影像和纠正后搜索影像的特征匹配结果MatchSetRS’。
6)利用步骤4)估计得到的原始参考影像与原始搜索影像之间的单应性变换模型H的逆变换H-1,将步骤5)得到的匹配集合MatchSetRS’中的纠正后搜索影像上的点坐标反算回原始搜索影像得到原始参考影像与原始搜索影像的匹配结果。
本发明设计了用于多模态遥感影像块特征提取和相似性度量的深度卷积神经网络,并通过构建多模态遥感影像特征匹配样本集来训练该网络,使得训练得到的网络能够克服多模态遥感影像之间的非线性灰度差异。在此基础上,本发明提出了基于深度特征图的影像几何纠正方法,通过此步骤来克服多模态遥感影像之间的尺度、旋转等几何变形。将上述两部分整合成一个完整的多模态遥感影像特征匹配框架,能够同时克服多模态遥感影像之间的非线性灰度差异和几何变形问题,本发明能够在无任何影像先验信息和人工干预的情况下,在多模态遥感影像之间获得可靠的特征匹配结果。
本发明在利用多模态遥感影像的深度特征图估计影像几何变换模型进行多模态遥感影像几何粗纠正时,一方面通过影像降采样来提高深度特征图计算的效率,另一方面采用基于BoF的影像检索的方法来先找到最相似的3对深度特征图,再在相似的深度特征图之间进行特征匹配,避免了对所有深度特征图进行盲匹配造成的效率低下和匹配不可靠的问题。本发明通过这两方面的巧妙设计,能够大幅提高多模态遥感影像几何粗纠正的时间效率和可靠性。
本发明设计了顾及样本距离的多模态遥感影像特征匹配训练样本集构建方法。该方法在制作负样本时,考虑了负样本与同名点的距离,以此样本集训练的深度学习网络能够有效地识别距离真实同名点很近的错误匹配点,进而促进本发明多模态遥感影像特征匹配方法能够获得更多的正确匹配特征和更高的匹配精度。
本发明不局限于上述可选实施方式,任何人在本发明的启示下都可得出其他各种形式的产品,但不论在其形状或结构上作任何变化,凡是落入本发明权利要求界定范围内的技术方案,均落在本发明的保护范围之内。
Claims (10)
1.一种基于卷积神经网络特征图的多模态遥感影像匹配方法,其特征在于,包括如下步骤:
1)构建面向多模态遥感影像非线性灰度变化的影像相似性度量深度学习网络FSNet;
2)构建训练样本集对步骤1)中的深度学习网络进行训练,得到训练后的网络FSNet,并由训练好的FSNet网络的卷积模块构成特征提取网络CSNet;
2.根据权利要求1所述的一种基于卷积神经网络特征图的多模态遥感影像匹配方法,其特征在于,在步骤1)中,FSNet由影像特征提取网络CSNet和相似性度量网络两个子网络构成;其中,CSNet网络的每个分支由5个卷积模块构成,两分支之间通过共享权重降低网络参数量;每个卷积模块采取了“Conv+BN+ReLU”构建策略。
3.根据权利要求2所述的一种基于卷积神经网络特征图的多模态遥感影像匹配方法,其特征在于,采取“Conv+BN+ReLU”构建策略时,CSNet的5个卷积层的具体参数C(n,m,k)分别设置为:C(16,3,1)、C(32,5,1)、C(64,5,1)、C(64,5,1)、C(16,5,1)。其中n表示卷积层中卷积核的个数,m×m表示卷积核的尺寸,k表示卷积核进行卷积运算时的步长。
4.根据权利要求1所述的一种基于卷积神经网络特征图的多模态遥感影像匹配方法,其特征在于,步骤2)包括如下具体步骤:
21)构建正样本集:分别从可见光-近红外、光学-SAR以及光学-LiDAR影像像对上制作训练样本;
22)构建负样本集,其中负样本集由普通负样本集和顾及样本距离的负样本集两部分构成;
23)构建完整样本集:通过步骤21)和步骤22),对于M对正样本,将产生M对普通负样本和M对顾及样本距离的负样本;从所有M对普通负样本和M对顾及样本距离的负样本中各随机抽取M/2对,形成M对负样本,最终得到包含M对正样本和M对负样本的完整样本集;
24)利用步骤23)构建的样本集对步骤1)中所述的深度学习网络FSNet进行训练;
25)通过步骤24)训练得到FSNet以后,从中截取卷积模块得到特征提取网络CSNet。
5.根据权利要求4所述的一种基于卷积神经网络特征图的多模态遥感影像匹配方法,其特征在于,步骤21)包括如下具体步骤:
211)可见光-近红外正样本:从多波段卫星影像的可见光波段影像与近红外波段影像上按对应像素自动裁取大小为97×97像素的影像块,获取可见光-近红外影像正样本;
212)光学-SAR及光学-LiDAR正样本:采用人工选取控制点的方式进行几何纠正;然后对已经经过几何纠正的光学-SAR及光学-LiDAR影像,采用基于相位一致性的影像特征匹配方法进行特征匹配,并利用RANSAC算法对特征匹配结果进行误匹配剔除,获取正确匹配点;再在影像上以正确匹配点为中心裁取大小为97×97像素的影像块,获得正样本。
6.根据权利要求4所述的一种基于卷积神经网络特征图的多模态遥感影像匹配方法,其特征在于,步骤22)包括如下具体步骤:
221)普通负样本构建:假设正样本集PSSet如式(1)所示,样本集包含M对样本,每对样本由两个影像块构成:
那么,对于正样本集中任意一对样本中的一幅影像块将其作为普通负样本对中的一幅影像块随机从其他正样本对的配对影像中选择一幅影像块作为普通负样本对中的另一幅影像块形成一对普通负样本得到普通负样本集GNSSet如式(2)所示:
222)顾及样本距离的负样本构建:对于任意一对正样本对应的匹配点(pi,qi),在搜索影像上距离同名点qi为r像素的圆上,以竖直向上为起点,等间隔确定8个点,从这8个点中随机取一个点作为负样本点Nqi,以该负样本点为中心裁取大小为97×97像素的影像块作为顾及样本距离的负样本对中的一幅影像块同时将参考影像上pi点为中心的影像块作为顾及样本距离的负样本对中的另一幅影像块形成一对顾及样本距离的负样本对
对每对正样本对都进行步骤222)中的处理,得到如式(3)所示的顾及样本距离的负样本集DGNSSet如式(3)所示:
7.根据权利要求4所述的一种基于卷积神经网络特征图的多模态遥感影像匹配方法,其特征在于,在步骤24)中,每次迭代的样本批次大小为32对样本;选择动量优化法作为网络优化器,网络初始学习率为0.001,动量为0.9;当平均训练损失值低于0.001时,网络终止训练。
8.根据权利要求1所述的一种基于卷积神经网络特征图的多模态遥感影像匹配方法,其特征在于,步骤3)包括如下具体步骤:
31)分别对待匹配影像对中的原始参考影像和搜索影像进行降采样,然后再输入CSNet进行深度特征图计算;在降采样操作中,为了保持原始影像和间的尺度关系不变,需要对参考影像和搜索影像保持相同的降采样率;因此,按公式(4)进行降采样运算:
式中,[Rr,Cr]代表原始参考影像的行、列数,[Rs,Cs]代表原始搜索影像的行、列数;[R'r,C'r]代表降采样后的参考影像的行、列数,[R's,C's]代表降采样后的搜索影像的行、列数;β为降采样因子;
9.根据权利要求1所述的一种基于卷积神经网络特征图的多模态遥感影像匹配方法,其特征在于,步骤4)包括如下具体步骤:
42)找到相似度最高的3对深度特征图,分别对这3对深度特征图进行SIFT特征匹配;
43)将3对最相似的深度特征图之间获得的匹配点合并为一个匹配点集合,利用RANSAC算法剔除匹配点集合中的外点,并估计深度特征图之间的单应性变换模型;
44)基于步骤43)估计的深度特征图之间的单应性变换模型,由已知的CSNet网络输出的深度特征图与输入的降采样影像之间的尺度关系,以及CSNet输入的降采样影像与原始影像之间的尺度关系,推导出原始参考影像与原始搜索影像之间的单应性变换模型H;
10.根据权利要求1~9任意一项所述的一种基于卷积神经网络特征图的多模态遥感影像匹配方法,其特征在于,步骤5)包括如下具体步骤:
52)对于原始参考影像上提取的任意特征点pi(x,y),在纠正后搜索影像上以(x,y)为中心建立大小为w×w的搜索区域,将搜索区域内所有像素作为pi(x,y)的待匹配点;分别以每个待匹配点为中心,在纠正后搜索影像上裁取大小为97×97像素的影像块,与特征点pi(x,y)对应的影像块组成一对待匹配特征对;将w设置为30个像素,对于参考影像上每个特征点pi(x,y),将生成900对待匹配特征对;
53)将900对待匹配特征对输入训练好FSNet网络中进行计算,将输出结果为“匹配”且相似度值最大的一对特征作为特征点pi(x,y)对应的匹配结果;
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010224267.4A CN111414968B (zh) | 2020-03-26 | 2020-03-26 | 一种基于卷积神经网络特征图的多模态遥感影像匹配方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010224267.4A CN111414968B (zh) | 2020-03-26 | 2020-03-26 | 一种基于卷积神经网络特征图的多模态遥感影像匹配方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111414968A true CN111414968A (zh) | 2020-07-14 |
CN111414968B CN111414968B (zh) | 2022-05-03 |
Family
ID=71493289
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010224267.4A Active CN111414968B (zh) | 2020-03-26 | 2020-03-26 | 一种基于卷积神经网络特征图的多模态遥感影像匹配方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111414968B (zh) |
Cited By (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111950433A (zh) * | 2020-08-07 | 2020-11-17 | 中国人民解放军战略支援部队航天工程大学 | 光学卫星影像特征匹配深度学习训练样本集自动构建方法 |
CN112150359A (zh) * | 2020-09-15 | 2020-12-29 | 中国水利水电科学研究院 | 基于机器学习和特征点识别的无人机图像快速拼接方法 |
CN112200845A (zh) * | 2020-10-22 | 2021-01-08 | 清华大学 | 一种图像配准方法和装置 |
CN112488292A (zh) * | 2020-11-19 | 2021-03-12 | 杭州电子科技大学 | 一种面向通用多模态学习的神经框架搜索方法 |
CN112598718A (zh) * | 2020-12-31 | 2021-04-02 | 北京深睿博联科技有限责任公司 | 一种无监督多视角多模态智能眼镜图像配准方法及装置 |
CN113066015A (zh) * | 2021-05-14 | 2021-07-02 | 清华大学 | 一种基于神经网络的多模态遥感影像旋转差异校正方法 |
CN113313002A (zh) * | 2021-05-24 | 2021-08-27 | 清华大学 | 一种基于神经网络的多模态遥感影像特征提取方法 |
CN113658235A (zh) * | 2021-08-06 | 2021-11-16 | 北京理工大学 | 基于vgg网络与高斯差分网络的光学遥感影像精确配准方法 |
CN113723447A (zh) * | 2021-07-15 | 2021-11-30 | 西北工业大学 | 多模态影像的端到端的模板匹配法 |
CN113840127A (zh) * | 2021-08-12 | 2021-12-24 | 长光卫星技术有限公司 | 一种卫星视频影像获取水域自动掩膜处理dsm的方法 |
CN113849598A (zh) * | 2021-08-31 | 2021-12-28 | 艾迪恩(山东)科技有限公司 | 基于深度学习的社交媒体虚假信息检测方法及检测系统 |
CN114494372A (zh) * | 2022-01-11 | 2022-05-13 | 西南交通大学 | 一种基于无监督深度学习的遥感影像配准方法 |
CN115082779A (zh) * | 2022-05-05 | 2022-09-20 | 生态环境部卫星环境应用中心 | 基于遥感影像的煤电企业检测方法和装置 |
JP2023502819A (ja) * | 2020-10-16 | 2023-01-26 | 浙江商▲湯▼科技▲開▼▲発▼有限公司 | 視覚位置決め方法、関連モデルの訓練方法及び関連装置並びに機器 |
CN116091706A (zh) * | 2023-04-07 | 2023-05-09 | 山东建筑大学 | 多模态遥感影像深度学习匹配的三维重建方法 |
CN116580320A (zh) * | 2023-05-25 | 2023-08-11 | 中国水利水电科学研究院 | 一种大尺度人为水土流失扰动范围遥感智能提取方法 |
CN116894100A (zh) * | 2023-07-24 | 2023-10-17 | 北京和德宇航技术有限公司 | 一种遥感影像的显示控制方法、设备及存储介质 |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102521597A (zh) * | 2011-12-14 | 2012-06-27 | 武汉大学 | 一种基于分级策略的影像直线特征匹配方法 |
CN105320965A (zh) * | 2015-10-23 | 2016-02-10 | 西北工业大学 | 基于深度卷积神经网络的空谱联合的高光谱图像分类方法 |
CN106295714A (zh) * | 2016-08-22 | 2017-01-04 | 中国科学院电子学研究所 | 一种基于深度学习的多源遥感图像融合方法 |
CN108021886A (zh) * | 2017-12-04 | 2018-05-11 | 西南交通大学 | 一种无人机重复纹理影像局部显著特征点匹配方法 |
CN108510532A (zh) * | 2018-03-30 | 2018-09-07 | 西安电子科技大学 | 基于深度卷积gan的光学和sar图像配准方法 |
CN108510467A (zh) * | 2018-03-28 | 2018-09-07 | 西安电子科技大学 | 基于深度可变形卷积神经网络的sar图像目标识别方法 |
CN109035315A (zh) * | 2018-08-28 | 2018-12-18 | 武汉大学 | 融合sift特征和cnn特征的遥感图像配准方法及系统 |
CN109671110A (zh) * | 2018-12-29 | 2019-04-23 | 西南交通大学 | 一种局部几何结构约束的城区宽基线影像特征点匹配方法 |
CN109711321A (zh) * | 2018-12-24 | 2019-05-03 | 西南交通大学 | 一种结构自适应的宽基线影像视角不变直线特征匹配方法 |
CN109711444A (zh) * | 2018-12-18 | 2019-05-03 | 中国科学院遥感与数字地球研究所 | 一种新的基于深度学习的遥感影像配准方法 |
CN109784223A (zh) * | 2018-12-28 | 2019-05-21 | 珠海大横琴科技发展有限公司 | 一种基于卷积神经网络的多时相遥感影像匹配方法及系统 |
CN110160502A (zh) * | 2018-10-12 | 2019-08-23 | 腾讯科技(深圳)有限公司 | 地图要素提取方法、装置及服务器 |
-
2020
- 2020-03-26 CN CN202010224267.4A patent/CN111414968B/zh active Active
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102521597A (zh) * | 2011-12-14 | 2012-06-27 | 武汉大学 | 一种基于分级策略的影像直线特征匹配方法 |
CN105320965A (zh) * | 2015-10-23 | 2016-02-10 | 西北工业大学 | 基于深度卷积神经网络的空谱联合的高光谱图像分类方法 |
CN106295714A (zh) * | 2016-08-22 | 2017-01-04 | 中国科学院电子学研究所 | 一种基于深度学习的多源遥感图像融合方法 |
CN108021886A (zh) * | 2017-12-04 | 2018-05-11 | 西南交通大学 | 一种无人机重复纹理影像局部显著特征点匹配方法 |
CN108510467A (zh) * | 2018-03-28 | 2018-09-07 | 西安电子科技大学 | 基于深度可变形卷积神经网络的sar图像目标识别方法 |
CN108510532A (zh) * | 2018-03-30 | 2018-09-07 | 西安电子科技大学 | 基于深度卷积gan的光学和sar图像配准方法 |
CN109035315A (zh) * | 2018-08-28 | 2018-12-18 | 武汉大学 | 融合sift特征和cnn特征的遥感图像配准方法及系统 |
CN110160502A (zh) * | 2018-10-12 | 2019-08-23 | 腾讯科技(深圳)有限公司 | 地图要素提取方法、装置及服务器 |
CN109711444A (zh) * | 2018-12-18 | 2019-05-03 | 中国科学院遥感与数字地球研究所 | 一种新的基于深度学习的遥感影像配准方法 |
CN109711321A (zh) * | 2018-12-24 | 2019-05-03 | 西南交通大学 | 一种结构自适应的宽基线影像视角不变直线特征匹配方法 |
CN109784223A (zh) * | 2018-12-28 | 2019-05-21 | 珠海大横琴科技发展有限公司 | 一种基于卷积神经网络的多时相遥感影像匹配方法及系统 |
CN109671110A (zh) * | 2018-12-29 | 2019-04-23 | 西南交通大学 | 一种局部几何结构约束的城区宽基线影像特征点匹配方法 |
Non-Patent Citations (3)
Title |
---|
M.CHEN: "LGS: LOCAL GEOMETRICAL STRUCTURE-BASED INTEREST POINT MATCHING FOR WIDE-BASELINE IMAGERY IN URBAN AREAS", 《ISPRS ANNALS OF THE PHOTOGRAMMETRY, REMOTE SENSING AND SPATIAL INFORMATION SCIENCES》 * |
深度机器学习: "深度学习-BN的理解(二)", 《HTTPS://WWW.CNBLOGS.COM/EILEARN/P/9098910.HTML》 * |
陈 敏: "面向城区宽基线立体像对视角变化的结构自适应特征点匹配", 《测绘学报》 * |
Cited By (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111950433B (zh) * | 2020-08-07 | 2023-09-12 | 中国人民解放军战略支援部队航天工程大学 | 光学卫星影像特征匹配深度学习训练样本集自动构建方法 |
CN111950433A (zh) * | 2020-08-07 | 2020-11-17 | 中国人民解放军战略支援部队航天工程大学 | 光学卫星影像特征匹配深度学习训练样本集自动构建方法 |
CN112150359B (zh) * | 2020-09-15 | 2022-04-12 | 中国水利水电科学研究院 | 基于机器学习和特征点识别的无人机图像快速拼接方法 |
CN112150359A (zh) * | 2020-09-15 | 2020-12-29 | 中国水利水电科学研究院 | 基于机器学习和特征点识别的无人机图像快速拼接方法 |
JP7280393B2 (ja) | 2020-10-16 | 2023-05-23 | 浙江商▲湯▼科技▲開▼▲発▼有限公司 | 視覚位置決め方法、関連モデルの訓練方法及び関連装置並びに機器 |
JP2023502819A (ja) * | 2020-10-16 | 2023-01-26 | 浙江商▲湯▼科技▲開▼▲発▼有限公司 | 視覚位置決め方法、関連モデルの訓練方法及び関連装置並びに機器 |
CN112200845A (zh) * | 2020-10-22 | 2021-01-08 | 清华大学 | 一种图像配准方法和装置 |
CN112488292A (zh) * | 2020-11-19 | 2021-03-12 | 杭州电子科技大学 | 一种面向通用多模态学习的神经框架搜索方法 |
CN112488292B (zh) * | 2020-11-19 | 2024-02-02 | 杭州电子科技大学 | 一种面向通用多模态学习的神经框架搜索方法 |
CN112598718A (zh) * | 2020-12-31 | 2021-04-02 | 北京深睿博联科技有限责任公司 | 一种无监督多视角多模态智能眼镜图像配准方法及装置 |
CN113066015A (zh) * | 2021-05-14 | 2021-07-02 | 清华大学 | 一种基于神经网络的多模态遥感影像旋转差异校正方法 |
CN113313002A (zh) * | 2021-05-24 | 2021-08-27 | 清华大学 | 一种基于神经网络的多模态遥感影像特征提取方法 |
CN113723447A (zh) * | 2021-07-15 | 2021-11-30 | 西北工业大学 | 多模态影像的端到端的模板匹配法 |
CN113723447B (zh) * | 2021-07-15 | 2024-03-08 | 西北工业大学 | 一种多模态影像的端到端的模板匹配方法 |
CN113658235A (zh) * | 2021-08-06 | 2021-11-16 | 北京理工大学 | 基于vgg网络与高斯差分网络的光学遥感影像精确配准方法 |
CN113840127A (zh) * | 2021-08-12 | 2021-12-24 | 长光卫星技术有限公司 | 一种卫星视频影像获取水域自动掩膜处理dsm的方法 |
CN113840127B (zh) * | 2021-08-12 | 2024-02-27 | 长光卫星技术股份有限公司 | 一种卫星视频影像获取水域自动掩膜处理dsm的方法 |
CN113849598A (zh) * | 2021-08-31 | 2021-12-28 | 艾迪恩(山东)科技有限公司 | 基于深度学习的社交媒体虚假信息检测方法及检测系统 |
CN113849598B (zh) * | 2021-08-31 | 2024-08-02 | 艾迪恩(山东)科技有限公司 | 基于深度学习的社交媒体虚假信息检测方法及检测系统 |
CN114494372A (zh) * | 2022-01-11 | 2022-05-13 | 西南交通大学 | 一种基于无监督深度学习的遥感影像配准方法 |
CN115082779B (zh) * | 2022-05-05 | 2022-11-15 | 生态环境部卫星环境应用中心 | 基于遥感影像的煤电企业检测方法和装置 |
CN115082779A (zh) * | 2022-05-05 | 2022-09-20 | 生态环境部卫星环境应用中心 | 基于遥感影像的煤电企业检测方法和装置 |
CN116091706A (zh) * | 2023-04-07 | 2023-05-09 | 山东建筑大学 | 多模态遥感影像深度学习匹配的三维重建方法 |
CN116580320B (zh) * | 2023-05-25 | 2023-10-13 | 中国水利水电科学研究院 | 一种大尺度人为水土流失扰动范围遥感智能提取方法 |
CN116580320A (zh) * | 2023-05-25 | 2023-08-11 | 中国水利水电科学研究院 | 一种大尺度人为水土流失扰动范围遥感智能提取方法 |
CN116894100A (zh) * | 2023-07-24 | 2023-10-17 | 北京和德宇航技术有限公司 | 一种遥感影像的显示控制方法、设备及存储介质 |
CN116894100B (zh) * | 2023-07-24 | 2024-04-09 | 北京和德宇航技术有限公司 | 一种遥感影像的显示控制方法、设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN111414968B (zh) | 2022-05-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111414968B (zh) | 一种基于卷积神经网络特征图的多模态遥感影像匹配方法 | |
CN110135366B (zh) | 基于多尺度生成对抗网络的遮挡行人重识别方法 | |
CN108961235B (zh) | 一种基于YOLOv3网络和粒子滤波算法的缺陷绝缘子识别方法 | |
CN101430759B (zh) | 优化的人脸识别预处理方法 | |
CN111626927B (zh) | 采用视差约束的双目图像超分辨率方法、系统及装置 | |
CN114926892A (zh) | 一种基于深度学习的眼底图像匹配方法、系统和可读介质 | |
CN114419413A (zh) | 感受野自适应的变电站绝缘子缺陷检测神经网络构建方法 | |
CN109086350B (zh) | 一种基于WiFi的混合图像检索方法 | |
CN111199245A (zh) | 油菜害虫识别方法 | |
CN116258953A (zh) | 一种遥感影像目标检测方法 | |
CN110751271B (zh) | 一种基于深度神经网络的图像溯源特征表征方法 | |
CN111784679A (zh) | 一种基于cnn和svm的挡土墙裂缝识别方法 | |
CN114882537B (zh) | 一种基于神经辐射场的手指新视角图像生成方法 | |
CN116071676A (zh) | 一种基于注意力导向金字塔融合的红外小目标检测方法 | |
CN114861761B (zh) | 一种基于孪生网络特征与几何验证的回环检测方法 | |
CN115908112A (zh) | 一种面向低重叠率的点云配准方法 | |
CN117611996A (zh) | 基于深度特征融合的葡萄种植区遥感影像变化检测方法 | |
CN113420776B (zh) | 一种基于模型融合的多侧面联合检测物品分类方法 | |
CN116503418A (zh) | 一种复杂场景下的作物三维目标检测方法 | |
CN117391938B (zh) | 一种红外图像超分辨率重建方法、系统、设备及终端 | |
CN113378672A (zh) | 基于改进YOLOv3的输电线缺陷多目标检测方法 | |
CN112232403A (zh) | 一种红外图像与可见光图像的融合方法 | |
CN110070626B (zh) | 一种基于多视角分类的三维物体检索方法 | |
CN111950476A (zh) | 基于深度学习的复杂环境下河道船舶自动识别方法 | |
CN117079272A (zh) | 一种结合手工特征和学习特征的弹底窝痕特征识别方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |