CN115063359A - 基于对抗双自编码器网络的遥感图像变化检测方法及系统 - Google Patents

基于对抗双自编码器网络的遥感图像变化检测方法及系统 Download PDF

Info

Publication number
CN115063359A
CN115063359A CN202210642111.7A CN202210642111A CN115063359A CN 115063359 A CN115063359 A CN 115063359A CN 202210642111 A CN202210642111 A CN 202210642111A CN 115063359 A CN115063359 A CN 115063359A
Authority
CN
China
Prior art keywords
self
remote sensing
network
encoder
sensing image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210642111.7A
Other languages
English (en)
Inventor
陈璞花
马文韬
焦李成
刘芳
李玲玲
马文萍
郭雨薇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN202210642111.7A priority Critical patent/CN115063359A/zh
Publication of CN115063359A publication Critical patent/CN115063359A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/32—Normalisation of the pattern dimensions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于对抗双自编码器网络的遥感图像变化检测方法及系统，对双时相遥感图像进行预处理；将预处理后的双时相遥感图像制作数据集；构建对抗双自编码器网络；使用数据集训练对抗双自编码器网络；将数据集输入训练好的对抗双自编码器网络中，根据输出的结果得到变化图，再使用自动阈值分割法Otsu对变化图进行二值化得到变化检测图，完成遥感图像变化检测。

Description

基于对抗双自编码器网络的遥感图像变化检测方法及系统
技术领域
本发明属于遥感图像变化检测技术领域，特别涉及一种基于对抗双自编码器网络的遥感图像变化检测方法及系统。
背景技术
变化检测作为遥感信息的重要应用之一，有着十分重要的现实意义，广泛应用于许多领域。变化检测目的在于分析不同时刻的同一空间区域的信息，检测地表地物变化信息，滤除因干扰因素出现的伪变化信息，并且找到真正的变化信息。目前的变化检测据遥感数据中有无标签数据可以分为有监督和无监督方法，有监督的方法依赖于有标记的训练样本。但是，获取大量直接表示变化区域的带注释数据的成本很高。
发明内容
为了克服上述现有技术的缺点，本发明的目的在于提供一种基于对抗双自编码器网络的遥感图像变化检测方法及系统，以期在无标注或少量标注样本的情况下提高遥感图像变化检测的预测准确率。
为了实现上述目的，本发明采用的技术方案是：
基于对抗双自编码器网络的遥感图像变化检测方法，包括以下步骤：
S1、对双时相遥感图像进行预处理；
S2、将S1预处理后的双时相遥感图像制作成数据集；
S3、构建对抗双自编码器网络，包括：
S301、搭建两个分支自编码器网络，分别提取双时相遥感图像的特征；
S302、在S301搭建的两个分支自编码器网络特征层之间添加判别器网络，构建对抗判别模块；
S303、在S301搭建的两个分支自编码器网络特征层分别添加多头注意力机制，由两个分支自编码器网络、多头注意力机制构成注意力约束模块；
S4、使用S2制作的数据集训练S3搭建的对抗双自编码器网络；
S5、将S2制作的数据集输入S4训练好的对抗双自编码器网络中，根据输出的结果确定输入遥感图像对的中心像素是否变化，完成遥感图像变化检测。
进一步地，所述S1中，读入同一地理区域、不同时向的两张遥感图像，对两张遥感图像进行归一化预处理。
进一步地，所述S2中，首先通过传统无监督变化检测方法得到伪标签，以像素为中心，从双时相遥感图像中裁剪尺寸均为16×16的成对图像块，选取伪标签中未变化部分作为数据集。
进一步地，所述S301中，每个分支自编码器网络，由三个浅层自编码器组成，两个分支自编码器网络的网络结构相同，但是不共享网络参数。
进一步地，所述S301中，每个分支自编码器网络均由二维卷积层堆叠而成。
进一步地，所述S302中，两个分支自编码器网络的最深层特征层有一个判别器网络，由多层卷积层、BN层和池化层组成，作为对抗判别模块；所述S303中，两个分支自编码器网络的最深层特征层各添加一个多头注意力机制。
进一步地，所述判别器网络将两个分支自编码器网络输出的特征图像F1和特征图像F2分别输入进行判别，并且将F1和F2分别预设为真和假；然后通过对抗训练使F1和F2特征在分布上相近；两个多头注意力机制分别对应两个分支自编码器网络，将F1和F2分别输入多头注意力机制并且通过平均误差损失函数进行特征约束。
进一步地，所述S4，交叉损失的λ值为0.05～0.5，初始学习率为0.0001～0.0005，batchsize为64～256；训练共迭代10～20次，学习率采用三段式的方式衰减，每隔5～10代，学习率衰减为原来的十分之一；使用平均误差损失和交叉熵损失作为损失函数，使用Adam作为优化方法。
进一步地，所述S5，使用自动阈值分割法Otsu对变化图进行二值化得到变化检测图。
进一步地，本发明还提供了一种基于对抗双自编码器网络的遥感图像变化检测系统，包括：
处理模块，对双时相遥感图像进行预处理；
数据模块，将处理模块预处理后的双时相遥感图像制作成数据集；
网络模块，构建对抗双自编码器网络；所述对抗双自编码器网络包括两个分支自编码器网络、判别器网络以及多头注意力机制；所述两个分支自编码器网络用于分别提取双时相遥感图像的特征，所述判别器网络设置于两个分支自编码器网络特征层之间，与两个分支自编码器网络构成对抗判别模块；所述多头注意力机制分别添加在两个分支自编码器网络特征层，与两个分支自编码器网络构成注意力约束模块；
训练模块，使用数据模块制作的数据集训练网络模块搭建的对抗双自编码器网络；
检测模块，将数据模块制作,数据集输入训练模块训练好的对抗双自编码器网络中，根据输出的结果得到变化图，再使用自动阈值分割法Otsu对变化图进行二值化得到变化检测图，完成遥感图像变化检测。
与现有技术相比，本发明的有益效果是：
本发明一种基于对抗双自编码器网络的遥感图像变化检测方法，使用分支网络作为基础结构，分别提取同一地点、不同时间的遥感图像的特征。该算法在分支网路中添加注意力机制和判别器，约束两个分支网络中特征的相互依赖关系，使其能够根据网络损失的反馈为每个特征图像的通道分配权重。通过不断的迭代训练，双自编码器网络能够有效的约束未变化像素块，从而分离出变化和未变化像素。这种模式的设计极大的增强了变化检测的检测精度。
进一步的，深度神经网络需要大量的数据训练网络，通过S2从双时相遥感图像中选出部分像素制作训练数据集，并使用双时相图像的所有像素输入训练完成的网络。
进一步的，通过S3设计了一种基于深度学习的无监督变化检测网络。
进一步的，通过S301使用双自编码器网络分别提取双时相图像的特征。若双时相遥感图像的地物信息相同，则两个分支网络提取的特征也相似，若双时向图像的地物信息不同，则两个分支网络提取的特征也存在较大差异；有利于判断输入图像对是否发生变化。
进一步的，通过S302向双自编码器网络中添加判别器网络，判别器网络能够约束特征图像，并为特征图像的每个通道重新分配权重，为伪变化信息的特征被分配较小的权重。
进一步的，两个分支网络有一对相互独立的多头注意力机制模块，多头注意力机制模块与对抗双自编码器网络构成了注意力约束模块。
进一步的，为了使模型拟合当前数据集，使用S2生成的数据集训练网络。
进一步的，为了验证模型的性能，使用S2生成的数据集测试模型。模型的输入是一对双时相遥感图像，输出是一个二维向量，代表像素的变化强度，根据输出的结果得到变化图，再使用自动阈值分割法Otsu对变化图进行二值化得到变化检测图，完成遥感图像变化检测。
综上所述，本发明基于生成对抗网络、双自编码器网络和多头注意力机制设计了一种新的变化检测模型，该模型能够在一定程度上提升变化检测的效果，获取视觉效果更好、数值指标更高的变化检测结果。
附图说明
图1为本发明基于对抗双自编码器网络的遥感图像变化检测方法及系统的整体结构图。
图2为双自编码器分支的网络结构图。
图3为多头注意力机制的网络结构图。
图4为第一组仿真实验结果图，其中，(a)为时相1的遥感图像，(b)为时相2的遥感图像，(c)为标签，(d)为实验结果。
图5为第二组仿真实验结果图，其中，(a)为时相1的遥感图像，(b)为时相2的遥感图像，(c)为标签，(d)为实验结果。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中的描述和所示的本发明实施例的组件可以通过各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
在附图中示出了根据本发明公开实施例的各种结构示意图。这些图并非是按比例绘制的，其中为了清楚表达的目的，放大了某些细节，并且可能省略了某些细节。图中所示出的各种区域、层的形状及它们之间的相对大小、位置关系仅是示例性的，实际中可能由于制造公差或技术限制而有所偏差，并且本领域技术人员根据实际所需可以另外设计具有不同形状、大小、相对位置的区域/层。
本发明提供了一种基于对抗双自编码器网络的遥感图像变化检测方法，预处理双时相遥感图像；制作数据集；构建对抗双自编码器；使用数据集训练模型；并使用数据集获取最终的结果。该方法使用无监督方法，避免了标注成本问题。具体地，本发明是无监督的深度学习算法，伪孪生结构可以增加网络的灵活度，而且对于双时图像，独立提取特征更符合逻辑，所以使用两个独立的相同结构的自编码器分支网络分别提取两个遥感图像的特征，同时因为多时相图像的大部分区域是未变化和伪变化区域，在没有任何标注数据的情况下，希望通过使多时图像特征对距离尽可能接近，从而筛选出距离较大的作为变化特征对，因此使用判别器对特征图像进行分布约束，同时通过多头注意力机制为两个分支网络之间建立联系，对特征图像进行约束，通过交叉损失间接实现对特征图像的约束。注意力机制和判别器，约束两个分支网络中特征的相互依赖关系，使其能够根据网络损失的反馈为每个特征图像的通道分配权重，增强对变化特征的提取。并且，本发明还使用变化向量分析对特征对进行计算并生成差异图，最后对差异图进行阈值分割生成变化检测图，从而实现对整幅图像的变化检测。由此，本发明在国土资源估计、抗震救灾等领域有重要的意义。
具体地，本发明一种基于孪生注意力融合网络的遥感图像变化检测方法，包括以下步骤：
S1、预处理双时相遥感图像
读入同一地理区域、不同时相的两张遥感图像，即空间位置一一对应但是不同时间的两张遥感图像，然后对两张遥感图像的像素值进行归一化预处理。
S2、制作数据集
生成数据集时，首先通过传统无监督变化检测方法得到伪标签，以像素为中心，从S1预处理后的双时相遥感图像中裁剪尺寸均为16×16的空间位置相同的成对图像块，选取伪标签中未变化部分作为数据集。
S3、构建对抗双自编码器网络，具体如下：
S301、搭建两个分支自编码器网络，两个分支自编码器网络用于分别提取双时相遥感图像的特征。
两个分支自编码器网络均由三个浅层自编码器堆叠而成，通过多个自编码器的堆叠提升网络的特征提取能力；每个浅层自编码器，由二维卷积层、最大池化层、BN层组成；两个分支自编码器网络的网络结构相同，但是不共享网络参数。
S302、在两个分支自编码器网络特征层之间添加判别器网络，构建对抗判别模块；
具体地，本发明在两个分支自编码器网络的最深层特征层布置判别器网络，判别器网络由多层卷积层、BN层和池化层组成，构建对抗判别模块。
在前向传播过程中，两个分支自编码器网络的输出是判别器网络的输入。记两个分支自编码器网络输入数据分别为I1∈RH×W×C和I2∈RH×W×C，其计算特征图像分别为
Figure BDA0003684531400000071
和
Figure BDA0003684531400000072
如图1中x、y和h1、h2所示。其中，H、W、C分别是图像块的高、宽和维度，通常情况下H＝W＝16、C＝3。
请参阅图1和图2，两个分支自编码器网络输入数据分别为I1∈RH×W×C和I2∈RH ×W×C，然后通过编码器的每一层使用最大池化将数据压缩成维度为
Figure BDA0003684531400000073
的特征向量。判别器网络将双自编码器输出特征图像F1和特征图像F2分别输入进行判别，并且将F1和F2分别预设为“真”标签和“假”标签；然后通过对抗训练使F1和F2特征在分布上相近。
由此，判别器网络通过连接建立两个分支通道的联系，并通过反向传播重新为通道分配权重。通过上述步骤，判别器网络通过约束特征图像F1和F2的分布，约束双自编码器的权值，根据相关性信息自适应地调整通道的特征响应，对变化检测有益的信息被分配较大的权重，对变化检测结果影响较小的信息被分配较小的权重。
S303、在两个分支自编码器网络特征层分别添加多头注意力机制，由两个分支自编码器网络、多头注意力机制构成注意力约束模块。示例地，多头注意力机制可添加在两个分支自编码器网络的最深层特征层。
请参阅图3，多头注意力机制与自注意力机制类似，但它通过将输入数据分解为三个矩阵Q、V、K，并且Q、V、K分别通过n次线性变换得到n组Qi、Vi、Ki，然后通过Attention(scaled Dot-product Attention)得到相应输出Headi，最后拼接所有的Head0-Headn，并将其线性映射为最终输出。将模型分为多个头，形成多个子空间，可以让模型去关注不同方面的信息。
由于两个多头注意力机制分别对应两个分支自编码器网络，因此将F1和F2分别输入多头注意力机制，可通过平均误差损失函数进行特征约束。
S4、使用数据集训练模型(即对抗双自编码器网络)。
使用S2中生成的数据集和S3搭建的网络训练模型，模型训练时交叉损失的λ值为0.05～0.5，初始学习率为0.0001～0.0005，batchsize为64～256；模型训练共迭代10～20次，学习率采用三段式的方式衰减，每隔5～10代，学习率衰减为原来的十分之一；使用平均误差损失和交叉熵损失作为损失函数，使用Adam作为优化方法。
S5、使用数据集获取最终的结果。
使用S2生成的数据集测试模型。模型的输入是一对双时相遥感图像，输出是一个二维向量，代表像素的变化强度，根据输出的结果得到变化图，再使用自动阈值分割法Otsu对变化图进行二值化得到变化检测图，判断输入遥感图像对的中心像素是否变化，完成遥感图像变化检测。
本发明再一个实施例中，提供一种基于对抗双自编码器网络的遥感图像变化检测系统，该系统能够用于实现上述基于对抗双自编码器网络的遥感图像变化检测方法，具体的，该基于对抗双自编码器网络的遥感图像变化检测系统包括处理模块、数据模块、网络模块、训练模块以及检测模块。
其中，处理模块，对双时相遥感图像进行预处理；
数据模块，将处理模块预处理后的双时相遥感图像制作成数据集；
网络模块，构建对抗双自编码器网络和多头注意力机制模块；
训练模块，使用数据模块制作的数据集训练网络模块搭建的对抗双自编码器网络；
检测模块，将数据模块制作，数据集输入训练模块训练好的对抗双自编码器网络中，根据输出的结果得到变化图，再使用自动阈值分割法Otsu对变化图进行二值化得到变化检测图，完成遥感图像变化检测。
本发明再一个实施例中，提供了一种终端设备，该终端设备包括处理器以及存储器，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器用于执行所述计算机存储介质存储的程序指令。处理器可能是中央处理单元(Central ProcessingUnit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor、DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable GateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其是终端的计算核心以及控制核心，其适于实现一条或一条以上指令，具体适于加载并执行一条或一条以上指令从而实现相应方法流程或相应功能。
本发明实施例所述的处理器可以用于基于对抗自编码器网络的遥感图像变化检测方法的操作，包括：
对双时相遥感图像进行预处理；将预处理后的双时相遥感图像制作数据集；构建对抗双自编码器网络；使用数据集训练对抗双自编码器网络；将数据集输入训练好的对抗双自编码器网络中，根据输出的结果得到变化图，再使用自动阈值分割法Otsu对变化图进行二值化得到变化检测图，完成遥感图像变化检测。
本发明再一个实施例中，本发明还提供了一种存储介质，具体为计算机可读存储介质(Memory)，所述计算机可读存储介质是终端设备中的记忆设备，用于存放程序和数据。可以理解的是，此处的计算机可读存储介质既可以包括终端设备中的内置存储介质，当然也可以包括终端设备所支持的扩展存储介质。计算机可读存储介质提供存储空间，该存储空间存储了终端的操作系统。并且，在该存储空间中还存放了适于被处理器加载并执行的一条或一条以上的指令，这些指令可以是一个或一个以上的计算机程序(包括程序代码)。需要说明的是，此处的计算机可读存储介质可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。
可由处理器加载并执行计算机可读存储介质中存放的一条或一条以上指令，以实现上述实施例中有关基于对抗双自编码器网络的遥感图像变化检测方法的相应步骤；计算机可读存储介质中的一条或一条以上指令由处理器加载并执行如下步骤：
对双时相遥感图像进行预处理；将预处理后的双时相遥感图像制作数据集；构建对抗双自编码器网络；使用数据集训练对抗双自编码器网络；将数据集输入训练好的对抗双自编码器网络中，根据输出的结果得到变化图，再使用自动阈值分割法Otsu对变化图进行二值化得到变化检测图，完成遥感图像变化检测。
下面结合仿真结果对本发明的效果做进一步说明
1.实验平台
本发明的仿真试验硬件平台为：NVIDIA TITAN XP，12G显存。
本发明的软件平台为：Windows10操作系统、python3.6、tensorflow2
2.实验数据集
图4是SZTAKI AirChange Benchmark数据集中的一组遥感图像，图像的尺寸为952×640，空间分辨率为1.5米，标签由专家手工绘制。图5是广东政务数据创新大赛提供的QuickBird数据集中的一组遥感图像，图像的尺寸均为512×512。
3.仿真实验评价指标
Figure BDA0003684531400000101
Figure BDA0003684531400000102
Figure BDA0003684531400000103
Figure BDA0003684531400000104
Figure BDA0003684531400000105
Figure BDA0003684531400000111
其中，pre为查准率，rec为查全率，acc为预测准确率，F1为F1系数，kappa为Kappa系数，TP是真正例，TN为真反例，FP为假正例，FN为假反例。
4.实验结果
表1
F1 ACC PCC RC Kappa
SCCN 0.767 0.938 0.729 0.827 0.535
DNN 0.721 0.951 0.793 0.681 0.444
ACE-Net 0.776 0.949 0.767 0.785 0.551
本发明 0.829 0.961 0.815 0.844 0.658
表2
F1 ACC PCC RC Kappa
SCCN 0.868 0.956 0.829 0.923 0.737
DNN 0.894 0.967 0.81 0.923 0.788
ACE-Net 0.879 0.961 0.846 0.922 0.759
本发明 0.896 0.971 0.918 0.876 0.791
上述表格中，对称卷积耦合网络(SCCN)，将异质图像的鉴别特征映射到一个公共特征空间，并通过设置阈值生成最终的变化图。DNN通过迭代耦合字典学习方法进行变化检测。ACE-Net是带有两个自动编码器的对抗性循环编码器网络。
表1代表图4所示数据在不同方法下的数值指标，表2代表图5所示数据在不同方法下的数值指标，通过表1、表2以及图4中(a)～(d)、图5中(a)～(d)，显然可以看出，对抗双自编码器网络在不同类型的数据上均有较好的表现。
综上所述，本发明一种基于对抗双自编码器网络的遥感图像变化检测方法及系统，能够极大的提升遥感图像的变化检测效果。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。

Claims (10)

1.基于对抗双自编码器网络的遥感图像变化检测方法，其特征在于，包括以下步骤：
S1、对双时相遥感图像进行预处理；
S2、将S1预处理后的双时相遥感图像制作成数据集；
S3、构建对抗双自编码器网络，包括：
S301、搭建两个分支自编码器网络，分别提取双时相遥感图像的特征；
S302、在S301搭建的两个分支自编码器网络特征层之间添加判别器网络，构建对抗判别模块；
S303、在S301搭建的两个分支自编码器网络特征层分别添加多头注意力机制，由两个分支自编码器网络、多头注意力机制构成注意力约束模块；
S4、使用S2制作的数据集训练S3搭建的对抗双自编码器网络；
S5、将S2制作的数据集输入S4训练好的对抗双自编码器网络中，根据输出的结果确定输入遥感图像对的中心像素是否变化，完成遥感图像变化检测。
2.根据权利要求1所述基于对抗双自编码器网络的遥感图像变化检测方法，其特征在于，所述S1中，读入同一地理区域、不同时向的两张遥感图像，对两张遥感图像进行归一化预处理。
3.根据权利要求1所述基于对抗双自编码器网络的遥感图像变化检测方法，其特征在于，所述S2中，首先通过传统无监督变化检测方法得到伪标签，以像素为中心，从双时相遥感图像中裁剪尺寸均为16×16的成对图像块，选取伪标签中未变化部分作为数据集。
4.根据权利要求1所述基于对抗双自编码器网络的遥感图像变化检测方法，其特征在于，所述S301中，每个分支自编码器网络，由三个浅层自编码器组成，两个分支自编码器网络的网络结构相同，但是不共享网络参数。
5.根据权利要求1或4所述基于对抗双自编码器网络的遥感图像变化检测方法，其特征在于，所述S301中，每个分支自编码器网络均由二维卷积层堆叠而成。
6.根据权利要求5所述基于对抗双自编码器网络的遥感图像变化检测方法，其特征在于，所述S302中，两个分支自编码器网络的最深层特征层有一个判别器网络，由多层卷积层、BN层和池化层组成，作为对抗判别模块；所述S303中，两个分支自编码器网络的最深层特征层各添加一个多头注意力机制。
7.根据权利要求6所述基于对抗双自编码器网络的遥感图像变化检测方法，其特征在于，所述判别器网络将两个分支自编码器网络输出的特征图像F1和特征图像F2分别输入进行判别，并且将F1和F2分别预设为真和假；然后通过对抗训练使F1和F2特征在分布上相近；两个多头注意力机制分别对应两个分支自编码器网络，将F1和F2分别输入多头注意力机制并且通过平均误差损失函数进行特征约束。
8.根据权利要求1所述基于对抗双自编码器网络的遥感图像变化检测方法，其特征在于，所述S4，交叉损失的λ值为0.05～0.5，初始学习率为0.0001～0.0005，batchsize为64～256；训练共迭代10～20次，学习率采用三段式的方式衰减，每隔5～10代，学习率衰减为原来的十分之一；使用平均误差损失和交叉熵损失作为损失函数，使用Adam作为优化方法。
9.根据权利要求1所述基于对抗双自编码器网络的遥感图像变化检测方法，其特征在于，所述S5，使用自动阈值分割法Otsu对变化图进行二值化得到变化检测图。
10.一种基于对抗双自编码器网络的遥感图像变化检测系统，其特征在于，包括：
处理模块，对双时相遥感图像进行预处理；
数据模块，将处理模块预处理后的双时相遥感图像制作成数据集；
网络模块，构建对抗双自编码器网络；所述对抗双自编码器网络包括两个分支自编码器网络、判别器网络以及多头注意力机制；所述两个分支自编码器网络用于分别提取双时相遥感图像的特征，所述判别器网络设置于两个分支自编码器网络特征层之间，与两个分支自编码器网络构成对抗判别模块；所述多头注意力机制分别添加在两个分支自编码器网络特征层，与两个分支自编码器网络构成注意力约束模块；
训练模块，使用数据模块制作的数据集训练网络模块搭建的对抗双自编码器网络；
检测模块，将数据模块制作,数据集输入训练模块训练好的对抗双自编码器网络中，根据输出的结果得到变化图，再使用自动阈值分割法Otsu对变化图进行二值化得到变化检测图，完成遥感图像变化检测。
CN202210642111.7A 2022-06-08 2022-06-08 基于对抗双自编码器网络的遥感图像变化检测方法及系统 Pending CN115063359A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210642111.7A CN115063359A (zh) 2022-06-08 2022-06-08 基于对抗双自编码器网络的遥感图像变化检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210642111.7A CN115063359A (zh) 2022-06-08 2022-06-08 基于对抗双自编码器网络的遥感图像变化检测方法及系统

Publications (1)

Publication Number Publication Date
CN115063359A true CN115063359A (zh) 2022-09-16

Family

ID=83200486

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210642111.7A Pending CN115063359A (zh) 2022-06-08 2022-06-08 基于对抗双自编码器网络的遥感图像变化检测方法及系统

Country Status (1)

Country Link
CN (1) CN115063359A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116503620A (zh) * 2023-05-11 2023-07-28 中国科学院空天信息创新研究院 高分遥感图像变化检测方法、装置、电子设备及介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116503620A (zh) * 2023-05-11 2023-07-28 中国科学院空天信息创新研究院 高分遥感图像变化检测方法、装置、电子设备及介质
CN116503620B (zh) * 2023-05-11 2023-12-08 中国科学院空天信息创新研究院 高分遥感图像变化检测方法、装置、电子设备及介质

Similar Documents

Publication Publication Date Title
Xie et al. Multilevel cloud detection in remote sensing images based on deep learning
CN109584248B (zh) 基于特征融合和稠密连接网络的红外面目标实例分割方法
CN109740588B (zh) 基于弱监督和深度响应重分配的x光图片违禁品定位方法
CN111199214B (zh) 一种残差网络多光谱图像地物分类方法
CN110082821B (zh) 一种无标签框微地震信号检测方法及装置
CN111291826B (zh) 基于相关性融合网络的多源遥感图像的逐像素分类方法
CN113095370B (zh) 图像识别方法、装置、电子设备及存储介质
CN110610143B (zh) 多任务联合训练的人群计数网络方法、系统、介质及终端
CN112991278B (zh) RGB空域特征与LoG时域特征结合的Deepfake视频检测方法及系统
CN110490265B (zh) 一种基于双路卷积和特征融合的图像隐写分析方法
CN113469074B (zh) 基于孪生注意力融合网络的遥感图像变化检测方法及系统
CN111292377B (zh) 目标检测方法、装置、计算机设备和存储介质
CN106780639B (zh) 基于显著性特征稀疏嵌入和极限学习机的哈希编码方法
CN109191418A (zh) 一种基于收缩自编码器特征学习的遥感图像变化检测方法
CN112580458A (zh) 人脸表情识别方法、装置、设备及存储介质
CN108388901B (zh) 基于空间-语义通道的协同显著目标检测方法
CN114509785A (zh) 三维物体检测方法、装置、存储介质、处理器及系统
CN117079098A (zh) 一种基于位置编码的空间小目标检测方法
CN115063359A (zh) 基于对抗双自编码器网络的遥感图像变化检测方法及系统
CN114821316A (zh) 一种三维探地雷达裂缝病害识别方法及系统
CN117422936B (zh) 一种遥感图像分类方法及系统
CN112418256A (zh) 分类、模型训练、信息搜索方法、系统及设备
CN113918744A (zh) 相似图像检索方法、装置、存储介质及计算机程序产品
CN117152823A (zh) 一种基于动态空洞卷积金字塔注意力的多任务年龄估计方法
CN111539966A (zh) 一种基于模糊c均值聚类的比色传感器阵列图像分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination