CN117274627A - 一种基于图像转换的多时相积雪遥感图像匹配方法及系统 - Google Patents

一种基于图像转换的多时相积雪遥感图像匹配方法及系统 Download PDF

Info

Publication number
CN117274627A
CN117274627A CN202311209524.7A CN202311209524A CN117274627A CN 117274627 A CN117274627 A CN 117274627A CN 202311209524 A CN202311209524 A CN 202311209524A CN 117274627 A CN117274627 A CN 117274627A
Authority
CN
China
Prior art keywords
remote sensing
image
snow
matching
sensing image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311209524.7A
Other languages
English (en)
Inventor
付志涛
张健
唐伯惠
张韶琛
黎瑞虹
李梦华
张珂
稽娅帅
张智豪
张歆山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kunming University of Science and Technology
Original Assignee
Kunming University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kunming University of Science and Technology filed Critical Kunming University of Science and Technology
Priority to CN202311209524.7A priority Critical patent/CN117274627A/zh
Publication of CN117274627A publication Critical patent/CN117274627A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/094—Adversarial learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Abstract

本发明公开了一种基于图像转换技术的多时相积雪遥感图像的匹配方法及系统。涉及图像处理技术领域，该方法包括以下步骤：首先，利用图像转换技术将积雪覆盖的遥感图像转换成没有积雪的遥感图像；然后，通过训练好的网络对这两张没有积雪覆盖的图片进行特征检测和特征提取；接着，进行相应的匹配任务；最后，将匹配的坐标结果映射到有积雪与无积雪的遥感图像上。本发明解决了大面积积雪对图像匹配任务的影响，通过转换生成没有积雪的遥感图像来降低两张待匹配图像间的特征差异性，从而提高匹配的效果。

Description

一种基于图像转换的多时相积雪遥感图像匹配方法及系统
技术领域
本发明涉及遥感图像处理技术领域，具体为一种基于图像转换的多时相积雪遥感图像匹配方法及系统。
背景技术
随着地球观测技术的不断发展,研究人员现在可以利用不同时间获得的遥感图像来观测同一地区,这些图像提供了丰富的纹理信息和空间细节，广泛应用于变化检测、地面目标识别和灾害分析等军事和民用领域。近年来，有越来越多的学者开始利用遥感积雪图像进行相关分析和处理研究。他们利用多时相积雪遥感数据进行每日积雪变化监测，测量雪覆盖区域、云/雪分割等相关研究。不同时相的遥感数据为上述研究工作提供了大量的数据支持。然而，所有这些工作都需要对图像进行精确的匹配。
图像匹配旨在从两幅或多幅图像中识别出相同或者相似的结构与内容，建立两个图像特征点之间的准确对应关系。图像匹配是数据处理工作的核心内容，是配准和融合等工作的基础，也是进一步处理和分析这些图像数据的前提。现有的匹配方法可以分为基于区域的匹配方法和基于特征的匹配方法。基于区域的匹配方法也称为模板匹配，是指通过使用相似性度量准则来评估两幅图像中对应窗口对的相似性来实现匹配。虽然基于区域的匹配方法易于实现，但是其计算复杂度高、灵活性低、局部表征不足，特别是对于图像间存在的光照变化、像素强度变化以及图像噪声等因素敏感。
基于特征的方法首先对图像的特征进行检测和描述，然后利用这些特征的相似性确定对应关系，这些相似性对图像失真更可靠，在一定程度上可以克服基于区域的方法的缺陷。基于特征的方法的主要步骤为:特征提取、特征描述和特征匹配。
由于季节变换、地址蚀变、人类活动等因素，同一地区在不同时间的影像往往会发生变化，导致多时相遥感图像间存在着局部几何变形的问题。地面起伏的山区会带来复杂的局部位移。倾斜的拍摄视角或不同太阳角度造成的阴影遮挡也会带来不确定性。因此，多时相遥感图像的匹配是一项具有挑战性的任务。对于带有积雪的遥感图像进行匹配则更为困难，除了前面提到的挑战外，覆盖在地物表面的积雪，导致地物特征模糊，掩盖住原有的显著特征。具体而言，多时相积雪遥感图像的匹配工作主要面临以下问题。首先，积雪覆盖在地面和地物表面上，降低了图像中局部特征的信息强度，使得提取鲁棒的匹配特征变得困难。其次，积雪破坏了两张待匹配图像间局部特征的一致性，导致图像中原本一致的地物在被积雪覆盖后出现几何差异和特征差异，进而导致局部特征不一致，难以有效的进行相关的匹配工作。
发明内容
针对现有技术的不足，本发明提供了一种基于图像转换的多时相积雪遥感图像匹配方法及系统。主要解决多时相积雪遥感图像的匹配难题。在跨季节的多时相积雪遥感图像匹配问题中，图像中覆盖的积雪会使得地物局部特征信息不明显，信息强度变弱。现有的匹配方法多关注局部特征，难以将全局信息与上下文特征有效的聚合，无法在多时相积雪遥感图像匹配中获得鲁棒的局部和全局一致性特征，不能很好的解决多时相积雪遥感图像匹配问题。
本发明提供如下技术方案：
一种基于图像转换的多时相积雪遥感图像匹配方法及系统，包括：
步骤S1，建立训练数据集1，获取同一地区的多时相积雪遥感图像数据集，其中数据集中的每组图片为一张带有积雪覆盖的遥感图像A，一张没有积雪覆盖的遥感图像B，遥感图像A和遥感图像B的内容相互对应，数据集1作为训练网络的输入来进行训练；
步骤S2，将数据集1送入图像转换网络中进行转换生成训练，将遥感图像A转换成为没有积雪覆盖的图像，将转换后得到的没有积雪覆盖的图像与数据集1中的遥感图像B组成数据集2，数据集2中每对数据的两张图片逐一对应，作为特征提取网络的输入；
步骤S3，将数据集2输入深度卷积网络，训练图像特征一致性的提取；
步骤S4，通过特征提取网络，提取两张图像间的一致性特征并进行特征匹配，得到对应的匹配位置坐标；
步骤S5，将匹配位置坐标映射到未经过转换的带有积雪覆盖的遥感图像A中，从而得到了两张多时相积雪遥感图像的匹配结果。
优选的，步骤S2中，利用Pix2Pix网络来对图像进行生成转换，使用U-net256作为其生成器网络，PatchGAN作为鉴别器网络，将积遥感图像A作为输入，生成没有积雪覆盖的遥感图像；
转换网络的损失函数为：
其中：
x表示输入的原图像，也就是每组数据中的遥感图像A。表示一般的cGAN的目标函数，生成器G不断的尝试最小化目标函数，而D则通过不断的迭代去最大化这个目标函数，训练好转换网络后，输入遥感图像A输出同一地区没有积雪覆盖的遥感图像C。
4.优选的，步骤S3包括特征一致性提取网络的构建以及训练；
构建：特征一致性提取网络包括编码器和一个特征检测器，将网络的前6个非共享权重的层划分为特征提取的模态统一模块来进一步的消除图像间的差异，原始编码器由3个卷积层组成，且与特征检测器共享权重；
训练：将同一场景的无积雪和有积雪的两张多时相图片分别表示为I、I′，用H表示他们之间的真实对应关系，{Di，Di′}表示根据图像得到密集特征图，将特征图描述符进行采样，得到的样本为{dN，dN′}，在特征图描述符{Di，Di′}中，提取同一张图像中的最近的不匹配的两个描述符{da，da′}，以及两张图像间的不匹配的最近的描述符{dm，dn}，为了使获得的特征描述符能够在匹配阶段满足最近邻的匹配原则，描述符必须与其最近的不匹配的特征的距离最大化，而与之对应位置的特征之间的距离最小化；
θ(di，da)＝acos((di Tda)表示角距离，因为角距离可以用来平衡匹配和不匹配对的优化，描述符损失函数为：
R(di；dN，dN′)＝[(π-θ(di，db))2+(π-θ(di，da))2+(π-min{θ(di，dn)，θ(di，dm)})2+θ(di，di′)2)]2
网络在训练过程中，第二幅图像的检测得分图应该与第一幅图像的一致，且特征点的检测分数要显著，这样才能够在一定范围内获取唯一值，如果第一张图像中的某个像素用(x，y)表示，其在第二张图像中对应的位置为(x，y)，坐标之间的对应关系可以表示为Hxy＝(x，y′)，用S和S′分别表示图I和I′的可重复性得分图，S′H表示S根据H进行变换得到的得分图，约束的目的是希望S中所有的局部最大值都应该与S′H中的局部最大值对应，关键思想是最大化两者之间的余弦相似度，consim(S，S′H)，当consim(S，S′H)最大时，则S和S′H之间的最大值完全对应，为了避免约束将S和S′H变为常数而达到收敛，利用峰值损失来最大化得分图的局部峰值，公式如下：
LP＝(I，I′，H)＝Lconsim(I，I′，H)+(Lpeak(I)+Lpeak(I′))
所以网路最终的损失函数为：
L＝LAP+LD+LP
其中LAP、LD、LP分别代表平均精度损失、描述符损失和点检测损失。
优选的，通过深度学习优化器寻找描述符损失函数和点检测损失函数的值降低最快的方向，以所述方向对模型及进行反向传播，更新网络参数。
优选的，步骤S4，对遥感图像C与遥感图像B进行匹配，得到相应的匹配坐标，步骤S5，将匹配的坐标位置映射到遥感图像A中，得到遥感图像A和遥感图像B的匹配结果。
一种基于图像转换的多时相积雪遥感图像匹配系统，包括图像转换模块，将带有积雪的遥感图像A进行转换，生成没有积雪的遥感图像C；
图像特征提取模块，将遥感图像C与遥感图像B进行一致性特征提取，其中遥感图像B为与遥感图像A为同一地区且相互对应的无积雪覆盖的遥感图像，得到两张图像的描述符和特征；
图像特征匹配模块，将得到的特征进行最近邻匹配，得到两张没有积雪的遥感图像的匹配结果；
坐标映射模块，将两张没有积雪的遥感图像的匹配结果映射到遥感图像A，得到有积雪的和没积雪的遥感图像的匹配结果。
优选的，图像转换模块采用Pix2Pix网络进行图像转换。
优选的，调节辊组设置在辊组的两端或者单独设置在辊组的中间，或者辊组由若干个调节辊组组成。
优选的，图像特征提取网络用Pi x2Pi x生成的没有积雪的遥感图像与真实的没有积雪的遥感图像作为一对训练输入来进行特征一致性提取网络的训练。
优选的，图像特征匹配模块包括非共享权重的卷积网络模块，将待处理的图片给从3通道映射编码到128维的通道上，可以更有效的利用图像的多通道信息，并进一步消除图像之间的模态差异，还包括共享权重的网络编码层和特征检测器，来检测匹配需要的特征点。
一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述的一种基于图像转换的多时相积雪遥感图像匹配系统
与现有技术相比，本发明提供了一种基于图像转换的多时相积雪遥感图像匹配方法及系统，具体是提供了一种图像先转换再匹配的方法，将积雪覆盖的遥感图像转换生成没有积雪覆盖的遥感图像，然后再进行匹配任务，最后将匹配坐标映射到原本带有积雪的遥感图像中，即可完成匹配。
附图说明
图1所示为本发明中基于图像转换的多时相积雪遥感图像匹配方法的流程示意图。
图2所示为本发明中提供的被积雪覆盖、未被积雪覆盖和经过转换得到的没有积雪覆盖的遥感图像示意图。
图3所示为本发明中特征提取网络的结构示意图。
图4所示为本发明中基于图像转换的多时相积雪遥感图像匹配系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一
请参阅图中，一种基于图像转换的多时相积雪遥感图像匹配方法及系统，本发明实施例提供了一种基于无监督深度学习的遥感影像配准方法，如图1所示，
包括以下步骤S1～S5：
步骤S1，建立训练数据集1，获取同一地区的多时相积雪遥感图像数据集，其中数据集中的每组图片为一张有大面积的积雪覆盖的图片，一张没有积雪覆盖的图片，每组的两张图片共同作为训练网络的输入来进行训练。
步骤S2，本实施例将数据集1送入图像转换网络中进行转换生成训练，将带有积雪的遥感图像转换成为没有积雪的遥感图片。将转换后的没有积雪的图片与另一张本就没有积雪的遥感图片组成数据集2，数据集2中每对数据的两张图片逐一对应。作为特征提取网络的输入。
步骤S3，通过深度卷积网络和数据集2，训练图像特征一致性的提取。通过深度学习的优化器来寻找描述符损失函数和点检测损失函数的值降低最快的方向，以所述方向对模型及进行反向传播，更新网络参数。
步骤S4，通过特征提取网络，提取两张图像间的一致性特征并进行特征匹配，得到对应的匹配位置坐标。
步骤S5，将匹配位置坐标映射到未经过转换的积雪覆盖图像中，从而得到了两张多时相积雪遥感图像的匹配结果。
本实施例以一组多时相积雪遥感图像的匹配任务为例，说明本方法各步骤的具体操作。
本实施例中，所述步骤S1中，建立训练数据集1，包括：
获取某一地区的光学遥感图像A，图像A被大面积的积雪覆盖。
获取某一地区的没有积雪覆盖的光学遥感图像B，图像B与A属于同一地区，且完全对应。A和B图像组成了训练数据集1，数据集1中的每组数据都有一张A图片与一张B图片。数据集1将被用来进行转换生成网络的训练。
本实施例中，所述步骤S2中，利用训练数据集1来训练Pix2Pix生成网络，包括：
搭建Pi x2Pix生成网络的框架，U-net256作为其生成器网络，PatchGAN作为鉴别器网络。图像A作为输入的图像x，图像B作为真实的图像y。鉴别器D接收生成的图像G(x)(或者真实的图像y)。判别器D的作用是在图像A的条件下，对于生成的图片G(x)判断为假，对于真实的图像y判断为真。生成器生成假数据样本并试图欺骗鉴别器。另一方面，鉴别器试图区分真假样本,它们在训练阶段都相互竞争，在这个重复的过程中，生成器和鉴别器在每次重复后在各自的工作中变得越来越好。生成模型捕获数据的分布，并以尝试最大化判别器出错的概率的方式进行训练。另一方面，判别器基于一个模型，该模型估计它获得的样本是从训练数据而不是从生成器接收的概率。
进行Pix2Pix的图像转换网络的训练，将数据集1中每组数据作为一对输入。训练一个网络将带有积雪的遥感图像映射为没有积雪的遥感图像。鉴别器D学习对假图片(由生成器合成)和真实图片组进行分类。生成器G，学会欺骗鉴别器。Pix2Pix与普通GAN不同的是，生成器和鉴别器都观察输入的积雪遥感图像与生成图片或真实图片，普通GAN直接输入生成图片或真实图片；
转换网络的损失函数为：
其中：
x表示输入的原图像，也就是每组数据中的遥感图像A。表示一般的cGAN的目标函数，生成器G不断的尝试最小化目标函数，而D则通过不断的迭代去最大化这个目标函数，训练好转换网络后，输入遥感图像A输出同一地区没有积雪覆盖的遥感图像C；
经过训练后，本实施例将带有积雪的遥感图像A送入网络进行转换，得到A图像中对应地区的，没有积雪覆盖的遥感图像C。
构建训练数据集2。经过转换生成的没有积雪的遥感图像C，与本就没有积雪的光学遥感图图像B，共同组成了用于一致性特征提取的训练数据集2。训练数据集2中的每组数据，都包括一张生成的图像C和一张图像B。
本实施例中，所述步骤S3中，训练特征一致性提取网络，包括：
对特征一致性提取网络进行训练。将数据训练集2作为输入，每次对一张B和一张C送入网络。将整幅图像作为网络的数据，进行特征提取的训练，预测输入图像对的一组可重复且可靠的特征位置，
图像首先经过最前面的特征模态统一模块，模块包括6个网络层部分。该模块将图像从3通道映射到256通道，尽可能的消除两图像间的模态差异，也可以尽可能多的利用图像的通道和维度信息。
然后是图像的编码器，在损失函数的约束下，进一步的将图像的特征进行提取训练，最终得到图像的256维度的描述符。图像中的每一个像素都可以用一个长度为256的向量来表示。
具体的，将同一场景的无积雪和有积雪的两张多时相图片分别表示为I、I′，用H表示他们之间的真实对应关系，{Di，Di′}表示根据图像得到密集特征图，将特征图描述符进行采样，得到的样本为{dN，dN′}，在特征图描述符{Di，Di′}中，提取同一张图像中的最近的不匹配的两个描述符{da，da′}，以及两张图像间的不匹配的最近的描述符{dm，dn}，为了使获得的特征描述符能够在匹配阶段满足最近邻的匹配原则，描述符必须与其最近的不匹配的特征的距离最大化，而与之对应位置的特征之间的距离最小化；
θ(di，da)＝acos((di′da)表示角距离，因为角距离可以用来平衡匹配和不匹配对的优化，描述符损失函数为：
R(di；dN，dN′)＝[(π-θ(di，db))2+(π-θ(di，da))2+(π-min{θ(di，dn)，θ(di，dm)})2+θ(di，di′)2)]2
网络在训练过程中，第二幅图像的检测得分图应该与第一幅图像的一致，且特征点的检测分数要显著，这样才能够在一定范围内获取唯一值，如果第一张图像中的某个像素用(x，y)表示，其在第二张图像中对应的位置为(x，y)，坐标之间的对应关系可以表示为Hxy×(x，y′)，用S和S′分别表示图I和I′的可重复性得分图，S′H表示S根据H进行变换得到的得分图，约束的目的是希望S中所有的局部最大值都应该与S′H中的局部最大值对应，关键思想是最大化两者之间的余弦相似度，consim(S，S′H)，当consim(S，S′H)最大时，则S和S′H之间的最大值完全对应，为了避免约束将S和S′H变为常数而达到收敛，利用峰值损失来最大化得分图的局部峰值，公式如下：
LP＝(I，I′，H)＝Lconsim(I，I′，H)+(Lpeak(I)+Lpeak(I′))
所以网路最终的损失函数为：
L＝LAP+LD+LP
其中LAP、LD、LP分别代表平均精度损失、描述符损失和点检测损失。
最后是图像的特征检测模块。通过网络，得到描述符的1维度的得分图，得分图的局部最大值对应的位置即为提取的关键点。
本实施例中，所述步骤S4中，对没有积雪的两张遥感图像进行匹配，包括：
将转换后生成的没有积雪的遥感图像C和遥感图像B通过特征一致性提取网络来进行特征提取。然后通过最近邻匹配，得到匹配的特征的具体位置坐标。得到图像C和图像B之间的匹配结果。
本实施例中，所述步骤S5中，坐标映射部分，包括：
将图像B与图像C之间的匹配坐标位置映射到图像A和图像B之间。将C图中与B图中对应位置的特征坐标替换到图A中，得到图A中的特征与图C中特征的对应关系。完成了多时相积雪遥感图像A和B的匹配任务。
实施例二
基于与上述实施例一所述的基于混合孪生网络的异源图像关键点检测方法相同的原理，本实施例提供了一种基于混合孪生网络的异源图像关键点检测系统，如图4所示，
包括：
图像转换模块，将带有积雪的遥感图像进行转换，生成没有积雪的遥感图像。
图像特征提取模块，将两张没有积雪的遥感图像进行一致性特征提取，得到两张图像的描述符和特征。
图像特征匹配模块，将得到的特征进行最近邻匹配，得到两张没有积雪的遥感图像的匹配结果。
坐标映射模块，将两张没有积雪的遥感图像的匹配结果映射到多时相积雪遥感图像中，得到有积雪的和没积雪的遥感图像的匹配结果。
实施例三
为解决上述技术问题，本实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如实施例一所述的基于图像转换的多时相积雪遥感图像匹配方法。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (10)

1.一种基于图像转换的多时相积雪遥感图像匹配方法，其特征在于，包括：
步骤S1，建立训练数据集1，获取同一地区的多时相积雪遥感图像数据集，其中数据集中的每组图片为一张带有积雪覆盖的遥感图像A，一张没有积雪覆盖的遥感图像B，遥感图像A和遥感图像B的内容相互对应，数据集1作为训练网络的输入来进行训练；
步骤S2，将数据集1送入图像转换网络中进行转换生成训练，将遥感图像A转换成为没有积雪覆盖的图像，将转换后得到的没有积雪覆盖的图像与数据集1中的遥感图像B组成数据集2，数据集2中每对数据的两张图片逐一对应，作为特征提取网络的输入；
步骤S3，将数据集2输入深度卷积网络，训练图像特征一致性的提取；
步骤S4，通过特征提取网络，提取两张图像间的一致性特征并进行特征匹配，得到对应的匹配位置坐标；
步骤S5，将匹配位置坐标映射到未经过转换的带有积雪覆盖的遥感图像A中，从而得到了两张多时相积雪遥感图像的匹配结果。
2.根据权利要求1所述的一种基于图像转换的多时相积雪遥感图像匹配方法及系统，其特征在于，步骤S2中，利用Pix2Pix网络来对图像进行生成转换，使用U-net256作为其生成器网络，PatchGAN作为鉴别器网络，将积遥感图像A作为输入，生成没有积雪覆盖的遥感图像；
转换网络的损失函数为：
其中：
x表示输入的原图像，也就是每组数据中的遥感图像A。表示一般的cGAN的目标函数，生成器G不断的尝试最小化目标函数，而D则通过不断的迭代去最大化这个目标函数，训练好转换网络后，输入遥感图像A输出同一地区没有积雪覆盖的遥感图像C。
3.根据权利要求2所述的一种基于图像转换的多时相积雪遥感图像匹配方法及系统，其特征在于，步骤S3包括特征一致性提取网络的构建以及训练；
构建：特征一致性提取网络包括编码器和一个特征检测器，将网络的前6个非共享权重的层划分为特征提取的模态统一模块来进一步的消除图像间的差异，原始编码器由3个卷积层组成，且与特征检测器共享权重；
训练：将同一场景的无积雪和有积雪的两张多时相图片分别表示为I、I″，用H表示他们之间的真实对应关系，{Di,Di″}表示根据图像得到密集特征图，将特征图描述符进行采样，得到的样本为{dN,dN″}，在特征图描述符{Di,Di″}中,提取同一张图像中的最近的不匹配的两个描述符{da,da″},以及两张图像间的不匹配的最近的描述符{dm,dn}，为了使获得的特征描述符能够在匹配阶段满足最近邻的匹配原则，描述符必须与其最近的不匹配的特征的距离最大化，而与之对应位置的特征之间的距离最小化；
θ(di,da)＝acos((di Tda)表示角距离，因为角距离可以用来平衡匹配和不匹配对的优化，描述符损失函数为：
R(di；dN，dN′)＝[(π-θ(di，db))2+(π-θ(di，da))2+(π-min{θ(di，dn)，θ(di，dm)})2+θ(di，di′)2)]2
网络在训练过程中，第二幅图像的检测得分图应该与第一幅图像的一致，且特征点的检测分数要显著，这样才能够在一定范围内获取唯一值，如果第一张图像中的某个像素用(x，y)表示，其在第二张图像中对应的位置为(x，y)，坐标之间的对应关系可以表示为Hxy＝(x′，y′)，用S和S′分别表示图I和I″的可重复性得分图，S′H表示S根据H进行变换得到的得分图，约束的目的是希望S中所有的局部最大值都应该与S′H中的局部最大值对应，关键思想是最大化两者之间的余弦相似度，consim(S，S′H)，当consim(S，S′H)最大时，则S和S′H之间的最大值完全对应，为了避免约束将S和S′H变为常数而达到收敛，利用峰值损失来最大化得分图的局部峰值，公式如下：
LP＝(I，I′，H)＝Lconsim((I，I′，H)+(Lpeak(I)+Lpeak(I′))
所以网路最终的损失函数为:
L＝LAP+LD+LP
其中LAP、LD、LP分别代表平均精度损失、描述符损失和点检测损失。
4.根据权利要求3所述的一种基于图像转换的多时相积雪遥感图像匹配方法及系统，其特征在于，通过深度学习优化器寻找描述符损失函数和点检测损失函数的值降低最快的方向，以所述方向对模型及进行反向传播，更新网络参数。
5.根据权利要求4所述的一种基于图像转换的多时相积雪遥感图像匹配方法及系统，其特征在于，步骤S4,对遥感图像C与遥感图像B进行匹配，得到相应的匹配坐标，步骤S5,将匹配的坐标位置映射到遥感图像A中，得到遥感图像A和遥感图像B的匹配结果。
6.一种基于图像转换的多时相积雪遥感图像匹配系统，其特征在于，包括图像转换模块，将带有积雪的遥感图像A进行转换，生成没有积雪的遥感图像C；
图像特征提取模块，将遥感图像C与遥感图像B进行一致性特征提取，其中遥感图像B为与遥感图像A为同一地区且相互对应的无积雪覆盖的遥感图像，得到两张图像的描述符和特征；
图像特征匹配模块，将得到的特征进行最近邻匹配，得到两张没有积雪的遥感图像的匹配结果；
坐标映射模块，将两张没有积雪的遥感图像的匹配结果映射到遥感图像A，得到有积雪的和没积雪的遥感图像的匹配结果。
7.根据权利要求6所述的一种基于图像转换的多时相积雪遥感图像匹配系统，其特征在于，图像转换模块采用Pix2Pix网络进行图像转换。
8.根据权利要求6所述的一种基于图像转换的多时相积雪遥感图像匹配系统，其特征在于：图像特征提取网络用Pix2Pix生成的没有积雪的遥感图像与真实的没有积雪的遥感图像作为一对训练输入来进行特征一致性提取网络的训练。
9.根据权利要求8所述的一种基于图像转换的多时相积雪遥感图像匹配系统，其特征在于：图像特征匹配模块包括非共享权重的卷积网络模块，将待处理的图片给从3通道映射编码到128维的通道上，可以更有效的利用图像的多通道信息，并进一步消除图像之间的模态差异，还包括共享权重的网络编码层和特征检测器，来检测匹配需要的特征点。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至5中任一项所述的一种基于图像转换的多时相积雪遥感图像匹配系统。
CN202311209524.7A 2023-09-19 2023-09-19 一种基于图像转换的多时相积雪遥感图像匹配方法及系统 Pending CN117274627A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311209524.7A CN117274627A (zh) 2023-09-19 2023-09-19 一种基于图像转换的多时相积雪遥感图像匹配方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311209524.7A CN117274627A (zh) 2023-09-19 2023-09-19 一种基于图像转换的多时相积雪遥感图像匹配方法及系统

Publications (1)

Publication Number Publication Date
CN117274627A true CN117274627A (zh) 2023-12-22

Family

ID=89203792

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311209524.7A Pending CN117274627A (zh) 2023-09-19 2023-09-19 一种基于图像转换的多时相积雪遥感图像匹配方法及系统

Country Status (1)

Country Link
CN (1) CN117274627A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114037845A (zh) * 2021-11-30 2022-02-11 昆明理工大学 一种基于gan网络的异源图像特征块主方向判定方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114037845A (zh) * 2021-11-30 2022-02-11 昆明理工大学 一种基于gan网络的异源图像特征块主方向判定方法及系统
CN114037845B (zh) * 2021-11-30 2024-04-09 昆明理工大学 一种基于gan网络的异源图像特征块主方向判定方法及系统

Similar Documents

Publication Publication Date Title
CN108961235B (zh) 一种基于YOLOv3网络和粒子滤波算法的缺陷绝缘子识别方法
CN110969088B (zh) 一种基于显著性检测与深度孪生神经网络的遥感影像变化检测方法
CN109829423B (zh) 一种结冰湖泊红外成像检测方法
CN113240691A (zh) 一种基于u型网络的医学图像分割方法
CN109376641B (zh) 一种基于无人机航拍视频的运动车辆检测方法
CN112883850B (zh) 一种基于卷积神经网络的多视角空天遥感图像匹配方法
CN106844739B (zh) 一种基于神经网络协同训练的遥感图像变化信息检索方法
CN111414954B (zh) 一种岩石图像检索方法及其系统
CN113284144B (zh) 一种基于无人机的隧道检测方法及装置
Joshi et al. Automatic surface crack detection using segmentation-based deep-learning approach
CN117274627A (zh) 一种基于图像转换的多时相积雪遥感图像匹配方法及系统
CN113033315A (zh) 一种稀土开采高分影像识别与定位方法
CN113850769B (zh) 一种基于Siamese空谱联合卷积网络的高光谱变化检测方法
CN109635726B (zh) 一种基于对称式深度网络结合多尺度池化的滑坡识别方法
CN113781532B (zh) Sar卫星图像与光学图像自动匹配检索方法
CN113327271B (zh) 基于双光孪生网络决策级目标跟踪方法、系统及存储介质
CN111104850A (zh) 一种基于残差网络的遥感影像建筑物自动提取方法和系统
CN114140700A (zh) 基于级联网络的分步异源图像模板匹配方法
CN110853058B (zh) 基于视觉显著性检测的高分辨率遥感影像道路提取方法
CN113761995A (zh) 一种基于双变换对齐与分块的跨模态行人重识别方法
CN107273793A (zh) 一种用于人脸识别的特征提取方法
Li et al. Detecting building changes using multi-modal Siamese multi-task networks from very high resolution satellite images
CN116385477A (zh) 一种基于图像分割的杆塔图像配准方法
CN115100681A (zh) 一种衣着识别方法、系统、介质及设备
Yuan et al. Graph neural network based multi-feature fusion for building change detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination