CN112508936A - 一种基于深度学习的遥感图像变化检测方法 - Google Patents

一种基于深度学习的遥感图像变化检测方法 Download PDF

Info

Publication number
CN112508936A
CN112508936A CN202011525828.0A CN202011525828A CN112508936A CN 112508936 A CN112508936 A CN 112508936A CN 202011525828 A CN202011525828 A CN 202011525828A CN 112508936 A CN112508936 A CN 112508936A
Authority
CN
China
Prior art keywords
change detection
detection model
remote sensing
layer
data set
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011525828.0A
Other languages
English (en)
Other versions
CN112508936B (zh
Inventor
张雨薇
刘鹏
何国金
马艳
赵灵军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aerospace Information Research Institute of CAS
Original Assignee
Aerospace Information Research Institute of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aerospace Information Research Institute of CAS filed Critical Aerospace Information Research Institute of CAS
Priority to CN202011525828.0A priority Critical patent/CN112508936B/zh
Publication of CN112508936A publication Critical patent/CN112508936A/zh
Application granted granted Critical
Publication of CN112508936B publication Critical patent/CN112508936B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度学习的遥感图像变化检测方法，该方法将遥感图像变化检测问题转换为图像语义分割问题进行处理，构建基于U‑net的变化检测模型；引入ConvLSTM层优化U‑net结构，得到基于L‑Unet的变化检测模型，引入空洞卷积，并借鉴空洞空间金字塔池化结构，得到基于A‑Lunet的变化检测模型；基于公开的遥感数据集，对构建的变化检测模型进行训练与测试，得到训练好的变化检测模型；将不同时相的遥感图输入训练好的变化检测模型，获取最终检测结果。本发明提出的基于L‑Unet的变化检测模型及基于A‑Lunet的变化检测模型均可达到较高的准确率，且对于图像偏移问题均有较好的适应性。

Description

一种基于深度学习的遥感图像变化检测方法
技术领域
本发明涉及遥感图像变化检测技术领域，具体来说，涉及一种基于深度学习的遥感图像变化检测方法。
背景技术
遥感图像变化检测通过相关算法对同一区域不同时相的两幅或多幅遥感图像进行分析，从中找出变化区域，可以为人们提供地球表面大范围的变化信息，是遥感技术的重要研究方向之一，在地貌特征监测、自然灾害监测、环境监测(基于热成像非线性多期预报的早期火灾探测，环境遥感，2007，110(1)：18-28)、森林资源监测等多个领域应用广泛，起到至关重要的作用。
但是，实际上在大多数的变化检测应用中，常用方法依旧是目视解译及人工手动勾画。这种方法依赖于解译人员的主观判断，且自动化程度低、耗时耗力，局限性较大。因此，遥感图像变化检测方法的自动化程度亟待提高。近年来，深度学习成为一大热点，有愈来愈多的研究者将深度学习的方法应用于遥感图像变化检测任务中。总之，遥感图像变化检测具有极大的研究价值及广泛的应用前景，我们有必要对其研究方法进行探究与改进。
自20世纪70年代起，国内外学者对遥感图像的变化检测问题进行了深入研究，提出了许多不同的变化检测方法，但是并没有一种适用于任何遥感数据集、任何分辨率的通用方法。
早期的遥感图像变化检测方法可以分为分类后比较法和直接比较法两类，这些方法主要面向中低分辨率的遥感图像，逐个像素地分析像素光谱差异，以提取变化信息，属于像素级统计方法。
20世纪90年代起，机器学习为遥感图像变化检测提供新的可能。随着支持向量机、随机森林、决策树、人工神经网络等机器学习方法逐渐应用于遥感图像变化检测中，GIS集成方法也开始得到应用。除此之外，还有一些混合类方法，包括光谱混合分析法、生物进化算法、模糊聚类分析法、多传感数据融合分析方法(多时相遥感影像变化检测方法综述，武汉大学学报(信息科学版)，2018，43(12)：1885-1898)。这些方法提高了遥感图像变化检测的精度。
进入21世纪以来，面向对象的变化检测开始引起关注，变化检测的基本单元逐渐从像素过渡为对象。一些相对成熟的像素级变化检测方法逐渐被引入到对象级遥感图像变化检测中，包括分类后比较法、直接比较法、GIS集成法等。除此之外，马尔科夫随机场、条件随机场、水平集等方法也得到应用，这类方法考虑到了邻域像素的空间关系，有效地结合了光谱及空间信息，从而降低了面向对象变化检测方法的不确定性。这一阶段的变化检测方法可以分为直接对象比较法和对象类别比较法(多时相遥感影像变化检测方法综述，武汉大学学报(信息科学版)，2018，43(12)：1885-1898)。
近年来，随着深度学习在各个领域均取得巨大进展，将深度学习应用于遥感图像变化检测领域逐渐成为国内外学者的研究热点。深度学习可以通过复杂的网络和反向传播的自动学习分析复杂且深层的特征，可以有效地提取遥感图像特征。目前已有的方法基本上实现了遥感图像变化检测，且提高了变化检测的性能，但是随着遥感技术的不断发展，遥感图像变化检测仍然面临着很多问题需要进行深入研究。
发明内容
针对相关技术中的上述技术问题，本发明提出一种基于深度学习的遥感图像变化检测方法，能够克服现有技术的上述不足。
为实现上述技术目的，本发明的技术方案是这样实现的：
一种基于深度学习的遥感图像变化检测方法，包括以下步骤：
S1构建基于U型神经网络(U-net)的变化检测模型：从输入和输出数据的维度来看，变化检测与语义分割非常相似，因此采用U-net简洁的语义分割模型，并基于U-net构建变化检测模型，考虑到计算复杂性和硬件性能，使用了一个深度为3层的小型U-net网络，构建基于U-net的变化检测模型，输入层将两幅不同时相的遥感图像叠加为一幅多波段图像输入到网络，左侧的收缩路径依次对上一层的输入进行卷积、ReLU线性函数激活、池化操作，再通过右侧的扩张路径将网络最后一层的特征图扩张至与输入图像尺寸相同，通过sigmoid分类器对变化特征图计算其每个像素属于变化类、未变化类的概率，最后对神经网络输出的概率矩阵进行转化，生成变化检测图；
S2优化U-net结构以构建基于L-Unet的变化检测模型：引入卷积长短时记忆层(ConvLSTM层)，将U-net的输入层替换为5维的ConvLSTM层，将随后的卷积层更改为ConvLSTM层，ConvLSTM层仍将保留U-net的关键特征，得到基于L-Unet的变化检测模型，ConvLSTM层包含对长范围依赖进行建模的长短时记忆结构(LSTM)和用于处理空间数据的卷积结构；
S3对基于L-Unet的变化检测模型进行训练：基于公开的遥感数据集，对数据集中两个时相的遥感图像及标注图像进行预处理，构建用于基于L-Unet的变化检测模型的训练集和测试集，对构建的基于L-Unet的变化检测模型进行训练和测试，得到训练好的基于L-Unet的变化检测模型；
S4将不同时相的遥感图输入训练好的基于L-Unet的变化检测模型，获取最终检测结果。
进一步地，所述基于L-Unet的变化检测模型的输入层将两幅不同时相的遥感图像输入到L-Unet网络中，先后通过第1、2个ConvLSTM层，之后进行一次池化操作；再先后通过第3、4个ConvLSTM层，之后进行第二次池化操作，再先后通过第5、6个ConvLSTM层，再通过上采样层，将上采样层的输出与第3、4个ConvLSTM层的输出一起通过合并层，输入到第7、8个ConvLSTM层中，并通过第二个上采样层，将该上采样层的输出与第1、2个ConvLSTM层的输出一起通过合并层，输入到第9、10个ConvLSTM层中，得到概率矩阵，转化为0-255之间的数值，由输出层输出检测结果图像。
进一步地，所述步骤S3中的遥感数据集包括SZTAKI数据集、Onera卫星变化检测数据集、GED数据集。
进一步地，所述步骤S3中构建用于基于L-Unet的变化检测模型的训练集和测试集还包括：在SZTAKI数据集和OSCD数据集上做随机的偏移，并且使用偏移处理后的数据集去生成训练集和测试集。
进一步地，所述步骤S3中对构建的基于L-Unet的变化检测模型进行训练还包括：使用ReLU作为隐藏层激活函数，使用二元交叉熵函数作为损失函数，并使用Adam算法对基于L-Unet的变化检测模型的参数进行优化。
根据本发明的另一方面，提供了另一种基于深度学习的遥感图像变化检测方法，包括以下步骤：
S1构建基于U-net的变化检测模型：使用一个深度为3层的U-net网络，构建基于U-net的变化检测模型；
S2优化U-net结构以构建基于A-Lunet的变化检测模型：将U-net的输入层替换为5维的ConvLSTM层，将随后的卷积层更改为ConvLSTM层，引入空洞卷积替代池化层，并使用空洞空间金字塔池化结构替代普通的池化结构，得到基于A-Lunet的变化检测模型；
S3对基于A-Lunet的变化检测模型进行训练：基于公开的遥感数据集，对数据集中两个时相的遥感图像及标注图像进行预处理，构建用于基于A-Lunet的变化检测模型的训练集和测试集，对构建的基于A-Lunet的变化检测模型进行训练和测试，得到训练好的基于A-Lunet的变化检测模型；
S4将不同时相的遥感图输入训练好的基于A-Lunet的变化检测模型，获取最终检测结果。
进一步地，所述基于A-Lunet的变化检测模型的输入层将两幅不同时相的遥感图像输入到A-Lunet网络中，先将输入数据通过两个扩张率为1的ConvLSTM层，再将输入数据通过两个扩张率为2的ConvLSTM层，接着将输入数据通过两个扩张率为5的ConvLSTM层，将各个ConvLSTM层的输出通过合并层，输入到两个ConvLSTM层中，得到概率矩阵，转化为0-255之间的数值，由输出层输出检测结果图像。
进一步地，所述步骤S3中的遥感数据集包括SZTAKI数据集、Onera卫星变化检测数据集、GED数据集。
进一步地，所述步骤S3中构建用于基于A-Lunet的变化检测模型的训练集和测试集进一步包括：在SZTAKI数据集和OSCD数据集上做随机的偏移，并且使用偏移处理后的数据集去生成训练集。
进一步地，所述步骤S3中对构建的基于A-Lunet的变化检测模型进行训练进一步包括：使用ReLU作为隐藏层激活函数，使用二元交叉熵函数作为损失函数，并使用Adam算法对基于A-Lunet的变化检测模型的参数进行优化。
本发明的有益效果：本发明的基于深度学习的遥感图像变化检测方法将遥感图像变化检测问题转换为图像语义分割问题进行处理，通过引入ConvLSTM层使得遥感图像的时空属性能够同时得到高效利用；通过引入空洞卷积，及借鉴空洞空间金字塔结构，提高神经网络获取上下文的能力，空洞卷积可以替代池化层来扩大感受野，同时保持分辨率不降低，并使得网络具有获取多尺度上下文信息的能力，而空洞空间金字塔池化结构可以融合多尺度的特征信息，从而合并多尺度信息，增强对图像偏移问题的适应性。
本发明提出的基于L-Unet的变化检测模型及基于A-Lunet的变化检测模型均可达到较高的准确率，且对于图像偏移问题均有较好的适应性，而A-Lunet相比于U-net和L-Unet具有更好的适应性。本发明的基于深度学习的遥感图像变化检测方法适用于遥感图像的变化检测领域，可应用于植被动态监测、自然灾害监测、违章建筑识别等实际问题，同时也可以推广到其他领域，具有重要意义。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明实施例所述的L-Unet的网络结构示意图；
图2是根据本发明实施例所述的A-Lunet的网络结构示意图；
图3是根据本发明实施例所述的变化检测结果。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。
本发明的一种基于深度学习的遥感图像变化检测方法，包括以下步骤：
步骤1：构建基于U-net的变化检测模型：针对遥感图像变化检测的应用需求，将遥感图像变化检测问题转换为图像语义分割问题进行处理，深入了解U-net框架结构及特性，并在此基础上构建U-net变化检测模型。
步骤1.1：深入了解U-net框架结构及特性：U-net的网络结构一共有5层，主要由两部分组成：一部分是下采样部分，遵循典型的卷积网络结构，每层由两次重复的3×3卷积操作(padding＝0)组成，每次卷积后面都跟随一个线性修正单元(ReLU)激活函数，两组卷积之后为步长为2的最大池化操作用于下采样。在这个过程中，特征图尺寸不断缩小，通道数不断加倍；另一部分是上采样部分，提高了输出的分辨率，每层先向上通过2×2的卷积核进行反卷积操作以放大特征图，再将下采样部分对应层的特征图叠加到一起后，通过两次3×3卷积操作，再使用ReLU激活函数。最后通过1×1卷积操作进行分类输出结果。
步骤1.2：构建U-net变化检测模型：使用一个深度为3层的小型U-net网络，设计并实现基于U-net的变化检测模型。输入层将两幅不同时相的遥感图像(尺寸大小为256×256)叠加为一幅多波段图像输入到网络，左侧的收缩路径依次对上一层的输入进行卷积、ReLU线性函数激活、池化操作，最后一层特征图的大小为64×64，再通过右侧的扩张路径将网络最后一层的特征图扩张至与输入图像尺寸相同，通过sigmoid分类器对变化特征图计算其每个像素属于变化类、未变化类的概率，最后对神经网络输出的概率矩阵进行转化，生成变化检测图。
步骤2：改进优化U-net结构以构建新的变化检测模型：对U-net结构进行进一步改进优化，引入ConvLSTM层，得到一个在结构上与U-net类似的变化检测网络，称为L-Unet，使得遥感图像的时空属性同时得到高效利用；进一步引入空洞卷积，并借鉴空洞空间金字塔池化结构，得到空洞L-Unet，称为A-Lunet，提高模型对上下文信息的获取能力，增强对图像偏移问题的适应性。
步骤2.1：引入ConvLSTM层，得到一个在结构上与U-net类似的变化检测网络，称为L-Unet：将U-net的输入层替换为5维的ConvLSTM层，将随后的卷积层也更改为ConvLSTM层，ConvLSTM层仍将保留U-net的关键特征，这样就得到了一个结构上与Unet类似的变化检测网络，称为L-Unet。
ConvLSTM的关键公式如式(1)所示。其中，x1，…，xt是输入的时空图像，它们是三维张量，其后两个维度是空间维度。C1，…，Ct是单元输出，H1，…Ht是隐藏状态，it，ft，ot是相应的输入门、遗忘门和输出门。*表示卷积运算符，°表示哈达玛积。
Figure BDA0002850772910000081
步骤2.1.1：如图1所示，首先，输入层将两幅不同时相的遥感图像(尺寸大小为256×256)输入到L-Unet网络中，先后通过两个ConvLSTM层，卷积核大小为3×3，通道数为16，之后进行一次池化操作，滤波器大小为2×2，通道数为16；再先后通过两个ConvLSTM层，卷积核大小为3×3，通道数为32，之后进行第二次池化操作，滤波器大小为2×2，通道数为32，再先后通过两个ConvLSTM层，卷积核大小为3×3，通道数为64。
步骤2.1.2：再通过上采样层，卷积核大小为2×2，通道数为64，将上采样层的输出与第3、4个ConvLSTM层的输出一起通过合并层，输入到第7、8个ConvLSTM层中，卷积核大小为3×3，通道数为32，并通过第二个上采样层，卷积核大小为2×2，通道数为32，将该上采样层的输出与第1、2个ConvLSTM层的输出一起通过合并层，输入到第9、10个ConvLSTM层中，卷积核大小为3×3，通道数为16，得到256×256的概率矩阵，转化为0-255之间的数值，由输出层输出检测结果图像。
步骤2.1.3：与语义分割任务相比，变化检测任务中的可变土地利用特征通常规模更大。此外，高分辨率遥感图像之间存在着不可忽视的偏移。于是在此基础上，引入空洞卷积，来扩大滤波器的视野，从而合并多尺度信息。
空洞卷积的定义如公式(2)所示。考虑二维信号，并且对输出y上的每个位置i以及滤波器w，在输入的特征图x上进行空洞卷积。输入采样的步长为r。
y[i]＝∑k[xi+rk]w[k] (2)
步骤2.1.4：同时，由于上采样和池化层在检测较小的物体时不太稳定，并且训练过程和空间分层信息将损失，对于这个问题，使用空洞空间金字塔池化(Atrous SpatialPyramid Pooling，ASPP)的方法来代替U-net中的上采样和下采样结构。
步骤2.1.5：为避免栅格效应，采用了混合空洞卷积中提出的锯齿结构。最终，得到了一个更简洁的称为空洞L-Unet的网络，使用空洞空间金字塔池化替代了普通的池化结构，并且根据混合空洞卷积原则，使用的扩张率为[1,2,5]。
步骤2.1.6：如图2所示，首先，输入层将两幅不同时相的遥感图像(尺寸大小为256×256)输入到A-Lunet网络中，先将输入数据通过两个扩张率为1的ConvLSTM层，卷积核大小为3×3，通道数为16，再将输入数据通过两个扩张率为2的ConvLSTM层，卷积核大小为3×3，通道数为8，接着将输入数据通过两个扩张率为5的ConvLSTM层，卷积核大小为3×3，通道数为4。
步骤2.1.7：接下来，将各个ConvLSTM层的输出通过合并层，输入到两个ConvLSTM层中，卷积核大小为3×3，通道数为4，得到256×256的概率矩阵，转化为0-255之间的数值，由输出层输出检测结果图像。
步骤3：获取适用于遥感图像变化检测的公开数据集，设计对比实验，对构建的三种变化检测模型在不同数据集上进行训练与测试，对比检测性能，获得变化检测结果。
步骤3.1：获取适用于遥感图像变化检测的公开数据集，包括SZTAKI数据集、Onera卫星变化检测数据集、GED数据集。对数据集中两个时相的遥感图像及标注图像进行预处理，从而构建用于对比实验的训练集及测试集。
步骤3.2：考虑到多光谱图像中普遍存在的图像偏移问题，本发明人为地在SZTAKI数据集和OSCD数据集上做了随机的偏移，并且使用偏移处理后的数据集去生成训练和测试集，以提高模型对图像偏移的适应性。
SZTAKI数据集(SZTAKI Air Change Benchmark)是由CsabaBenedek生成的航空摄影测量图像的变化检测数据集，包含13对尺寸为952×640，分辨率为1.5m的航空图像，每组图像包含一对原始输入图像和相关变化的二分类标注图像，将以下差异视作变化：新建区域、建筑作业、种植了大批树木、新耕地、翻修前的基础工作，然后再构建。本发明选择10组在图像背景和地面对象方面相似的图像对生成训练和测试数据集，其中训练集600张图像，测试集120张图像。
Onera卫星变化检测数据集(Onera Satellite Change Detection，OSCD)包含通过哥白尼计划的Sentinel-2卫星获得的13波段多光谱卫星图像对，提供了像素级的城市变化基础，本发明生成的数据集包含训练集507张图像，测试集28张图像。
GED数据集(Google Earth Dataset)是Lebedev等人通过Google Earth获得的同一地区季节变化的遥感图像，作者获取到7对分辨率为4725×2700像素的季节性变化遥感图像生成了相应的训练集和测试集，通过裁剪256x256个随机旋转的片段(0-2π)和至少一部分目标对象生成的了图像大小为256x256像素的数据集。因此，对象中心坐标是唯一的，每个轴的对象中心之间的距离为32像素。本发明使用了该数据集中的10000张训练图像及3000张测试图像作为训练集和测试集。
步骤3.3：之后，设计对比实验，将三种变化检测模型在不同数据集上进行训练和测试，对比检测性能。
步骤3.3.1：实验为基于U-net的变化检测模型、基于L-Unet的变化检测模型、基于A-Lunet的变化检测模型设置了类似的网络配置。三个模型均使用ReLU作为隐藏层激活函数，使用二元交叉熵函数作为损失函数，并使用Adam算法对三个模型的参数进行优化。
步骤3.3.2：网络训练阶段，为了保证可比性，三者训练的Epoch、Batch Size、初始学习率、神经网络输入尺寸等超参数均相同。
步骤3.3.3：部分变化检测结果如图3所示，第一行检测结果对应原始SZTAKI数据集，第二行检测结果对应偏移SZTAKI数据集，第三行检测结果对应原始OSCD数据集，第四行检测结果对应偏移OSCD数据集，第五行检测结果对应GED真实数据集。
下面对本发明提供的基于深度学习的变化检测模型L-Unet、A-Lunet的整体准确率进行评价。实验结果如表1-6所示。
表1 SZTAKI原始数据集的准确率
Figure BDA0002850772910000121
表2 SZTAKI偏移数据集的准确率
Figure BDA0002850772910000122
表3 SZTAKI数据集上A-Lunet与L-Unet的准确率比较
Figure BDA0002850772910000123
表4 OSCD原始数据集的准确率
Figure BDA0002850772910000131
表5 OSCD偏移数据集的准确率
Figure BDA0002850772910000132
表6 GED真实数据集的准确率
Figure BDA0002850772910000133
从表中可以发现，相比U-net，本发明提出的L-Unet和A-Lunet在各数据集上的准确率均有稳定的提高，说明该模型对不同数据集都具有较好的鲁棒性。
其中，由表2、表5可以看出，对于进行过偏移处理的数据集，U-net的准确率明显降低，而L-Unet和A-Lunet仍然可以达到较高的准确率。
且对于SZTAKI数据集来说，测试集样本总数均为120张，由表3可以看出，原始数据集测试过程中仅有33张样本的准确率符合A-Lunet高于L-Unet，而偏移后的数据集测试过程中有65张样本符合A-Lunet的准确率高于L-Unet。
对于OSCD数据集来说，如表5所示，A-Lunet的准确率不仅没有降低，反而有明显上升。
对于GED数据集来说，如表6所示，面对可能存在的偏移问题，A-Lunet也可以达到更高的准确率。
由此可以认为，本发明提出的A-Lunet和L-Unet对于图像偏移问题均有较好的适应性，而A-Lunet相比于U-net和L-Unet具有更好的适应性。
在具体应用时，将不同时相的遥感图输入训练好的基于L-Unet的变化检测模型或基于A-Lunet的变化检测模型，获取最终检测结果。
但是，本发明提出的遥感图像变化检测方法，目前只是检测出不同时相图像中存在的变化区域及未变化区域，相当于二分类问题，并没有转化为多分类问题，无法检测出变化前后的具体地物类别，例如建筑用地的变迁、土地变为草地、森林变为荒地等，因此提取到的地物变化特征信息精准度有待提高。
同时，在测试过程中，得到的检测结果中可能会存在噪声，为了使得检测结果更加准确，应该使用恰当的方法除去干扰，而本发明缺乏对检测结果的后处理，并没有采用膨胀、腐蚀或孔洞填充等方法细化检测结果，一定程度上会影响检测结果的准确性。
综上所述，借助于本发明的上述技术方案，通过将高分辨率遥感图像变化检测问题转换为图像语义分割问题进行处理，借鉴U型神经网络结构(U-net)，设计端到端的变化检测模型，并在此基础上，对U-net进行改进优化，使得遥感图像的时空属性能够同时得到高效利用，同时在一定程度上提高了变化检测的精度及模型对图像偏移的适应性。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于深度学习的遥感图像变化检测方法，其特征在于，包括以下步骤：
S1 构建基于U-net的变化检测模型：使用一个深度为3层的U-net网络，构建基于U-net的变化检测模型；
S2 优化U-net结构以构建基于L-Unet的变化检测模型：将U-net的输入层替换为5维的ConvLSTM层，将随后的卷积层更改为ConvLSTM层，得到基于L-Unet的变化检测模型；
S3 对基于L-Unet的变化检测模型进行训练：基于公开的遥感数据集，对数据集中两个时相的遥感图像及标注图像进行预处理，构建用于基于L-Unet的变化检测模型的训练集和测试集，对构建的基于L-Unet的变化检测模型进行训练和测试，得到训练好的基于L-Unet的变化检测模型；
S4 将不同时相的遥感图输入训练好的基于L-Unet的变化检测模型，获取最终检测结果。
2.根据权利要求1所述的基于深度学习的遥感图像变化检测方法，其特征在于，所述基于L-Unet的变化检测模型的输入层将两幅不同时相的遥感图像输入到L-Unet网络中，先后通过第1、2个ConvLSTM层，之后进行一次池化操作；再先后通过第3、4个ConvLSTM层，之后进行第二次池化操作，再先后通过第5、6个ConvLSTM层，再通过上采样层，将上采样层的输出与第3、4个ConvLSTM层的输出一起通过合并层，输入到第7、8个ConvLSTM层中，并通过第二个上采样层，将该上采样层的输出与第1、2个ConvLSTM层的输出一起通过合并层，输入到第9、10个ConvLSTM层中，得到概率矩阵，转化为0-255之间的数值，由输出层输出检测结果图像。
3.根据权利要求1所述的基于深度学习的遥感图像变化检测方法，其特征在于，所述步骤S3中的遥感数据集包括SZTAKI数据集、Onera卫星变化检测数据集、GED数据集。
4.根据权利要求3所述的基于深度学习的遥感图像变化检测方法，其特征在于，所述步骤S3中构建用于基于L-Unet的变化检测模型的训练集和测试集进一步包括：在SZTAKI数据集和OSCD数据集上做随机的偏移，并且使用偏移处理后的数据集去生成训练集和测试集。
5.根据权利要求1所述的基于深度学习的遥感图像变化检测方法，其特征在于，所述步骤S3中对构建的基于L-Unet的变化检测模型进行训练进一步包括：使用ReLU作为隐藏层激活函数，使用二元交叉熵函数作为损失函数，并使用Adam算法对基于L-Unet的变化检测模型的参数进行优化。
6.一种基于深度学习的遥感图像变化检测方法，其特征在于，包括以下步骤：
S1 构建基于U-net的变化检测模型：使用一个深度为3层的U-net网络，构建基于U-net的变化检测模型；
S2 优化U-net结构以构建基于A-Lunet的变化检测模型：将U-net的输入层替换为5维的ConvLSTM层，将随后的卷积层更改为ConvLSTM层，引入空洞卷积替代池化层，并使用空洞空间金字塔池化结构替代普通的池化结构，得到基于A-Lunet的变化检测模型；
S3 对基于A-Lunet的变化检测模型进行训练：基于公开的遥感数据集，对数据集中两个时相的遥感图像及标注图像进行预处理，构建用于基于A-Lunet的变化检测模型的训练集和测试集，对构建的基于A-Lunet的变化检测模型进行训练和测试，得到训练好的基于A-Lunet的变化检测模型；
S4 将不同时相的遥感图输入训练好的基于A-Lunet的变化检测模型，获取最终检测结果。
7.根据权利要求6所述的基于深度学习的遥感图像变化检测方法，其特征在于，所述基于A-Lunet的变化检测模型的输入层将两幅不同时相的遥感图像输入到A-Lunet网络中，先将输入数据通过两个扩张率为1的ConvLSTM层，再将输入数据通过两个扩张率为2的ConvLSTM层，接着将输入数据通过两个扩张率为5的ConvLSTM层，将各个ConvLSTM层的输出通过合并层，输入到两个ConvLSTM层中，得到概率矩阵，转化为0-255之间的数值，由输出层输出检测结果图像。
8.根据权利要求6所述的基于深度学习的遥感图像变化检测方法，其特征在于，所述步骤S3中的遥感数据集包括SZTAKI数据集、Onera卫星变化检测数据集、GED数据集。
9.根据权利要求8所述的基于深度学习的遥感图像变化检测方法，其特征在于，所述步骤S3中构建用于基于A-Lunet的变化检测模型的训练集和测试集进一步包括：在SZTAKI数据集和OSCD数据集上做随机的偏移，并且使用偏移处理后的数据集去生成训练集。
10.根据权利要求6所述的基于深度学习的遥感图像变化检测方法，其特征在于，所述步骤S3中对构建的基于A-Lunet的变化检测模型进行训练进一步包括：使用ReLU作为隐藏层激活函数，使用二元交叉熵函数作为损失函数，并使用Adam算法对基于A-Lunet的变化检测模型的参数进行优化。
CN202011525828.0A 2020-12-22 2020-12-22 一种基于深度学习的遥感图像变化检测方法 Active CN112508936B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011525828.0A CN112508936B (zh) 2020-12-22 2020-12-22 一种基于深度学习的遥感图像变化检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011525828.0A CN112508936B (zh) 2020-12-22 2020-12-22 一种基于深度学习的遥感图像变化检测方法

Publications (2)

Publication Number Publication Date
CN112508936A true CN112508936A (zh) 2021-03-16
CN112508936B CN112508936B (zh) 2023-05-19

Family

ID=74923040

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011525828.0A Active CN112508936B (zh) 2020-12-22 2020-12-22 一种基于深度学习的遥感图像变化检测方法

Country Status (1)

Country Link
CN (1) CN112508936B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112949541A (zh) * 2021-03-17 2021-06-11 华东师范大学 一种基于Unet+ConvGRU混合模型的车道线检测方法
CN113487576A (zh) * 2021-07-14 2021-10-08 中国科学院合肥物质科学研究院 一种基于通道注意力机制的虫害图像检测方法
CN113591608A (zh) * 2021-07-12 2021-11-02 浙江大学 一种基于深度学习的高分辨率遥感影像不透水面提取方法
CN113627093A (zh) * 2021-07-01 2021-11-09 武汉大学 一种基于改进Unet网络的水下机构跨尺度流场特征预测方法
CN113901877A (zh) * 2021-09-13 2022-01-07 广州市城市规划勘测设计研究院 遥感影像建筑物变化检测方法、装置、设备及存储介质
CN115019166A (zh) * 2022-05-24 2022-09-06 深圳大学 基于深度网络模型的沼泽湿地信息提取方法、装置、介质及终端
CN115359310A (zh) * 2022-07-08 2022-11-18 中国人民解放军国防科技大学 一种基于ConvLSTM和条件随机场的SIC预测方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109886106A (zh) * 2019-01-15 2019-06-14 浙江大学 一种基于深度学习的遥感图像建筑物变化检测方法
CN110059658A (zh) * 2019-04-26 2019-07-26 北京理工大学 一种基于三维卷积神经网络的遥感卫星影像多时相变化检测方法
CN110853026A (zh) * 2019-11-16 2020-02-28 四创科技有限公司 一种融合深度学习与区域分割的遥感影像变化检测方法
CN111915571A (zh) * 2020-07-10 2020-11-10 云南电网有限责任公司带电作业分公司 融合残差网络与U-Net网络的图像变化检测方法、装置、存储介质及设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109886106A (zh) * 2019-01-15 2019-06-14 浙江大学 一种基于深度学习的遥感图像建筑物变化检测方法
CN110059658A (zh) * 2019-04-26 2019-07-26 北京理工大学 一种基于三维卷积神经网络的遥感卫星影像多时相变化检测方法
CN110853026A (zh) * 2019-11-16 2020-02-28 四创科技有限公司 一种融合深度学习与区域分割的遥感影像变化检测方法
CN111915571A (zh) * 2020-07-10 2020-11-10 云南电网有限责任公司带电作业分公司 融合残差网络与U-Net网络的图像变化检测方法、装置、存储介质及设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SHUTING SUN 等: "L-UNet: An LSTM Network for Remote Sensing Image Change Detection", 《IEEE GEOSCIENCE AND REMOTE SENSING LETTERS》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112949541A (zh) * 2021-03-17 2021-06-11 华东师范大学 一种基于Unet+ConvGRU混合模型的车道线检测方法
CN113627093A (zh) * 2021-07-01 2021-11-09 武汉大学 一种基于改进Unet网络的水下机构跨尺度流场特征预测方法
CN113627093B (zh) * 2021-07-01 2023-11-21 武汉大学 一种基于改进Unet网络的水下机构跨尺度流场特征预测方法
CN113591608A (zh) * 2021-07-12 2021-11-02 浙江大学 一种基于深度学习的高分辨率遥感影像不透水面提取方法
CN113487576A (zh) * 2021-07-14 2021-10-08 中国科学院合肥物质科学研究院 一种基于通道注意力机制的虫害图像检测方法
CN113487576B (zh) * 2021-07-14 2023-08-22 中国科学院合肥物质科学研究院 一种基于通道注意力机制的虫害图像检测方法
CN113901877A (zh) * 2021-09-13 2022-01-07 广州市城市规划勘测设计研究院 遥感影像建筑物变化检测方法、装置、设备及存储介质
CN115019166A (zh) * 2022-05-24 2022-09-06 深圳大学 基于深度网络模型的沼泽湿地信息提取方法、装置、介质及终端
CN115019166B (zh) * 2022-05-24 2024-02-09 深圳大学 沼泽湿地信息提取方法、装置、介质及终端
CN115359310A (zh) * 2022-07-08 2022-11-18 中国人民解放军国防科技大学 一种基于ConvLSTM和条件随机场的SIC预测方法及系统
CN115359310B (zh) * 2022-07-08 2023-09-01 中国人民解放军国防科技大学 一种基于ConvLSTM和条件随机场的SIC预测方法及系统

Also Published As

Publication number Publication date
CN112508936B (zh) 2023-05-19

Similar Documents

Publication Publication Date Title
CN112508936A (zh) 一种基于深度学习的遥感图像变化检测方法
CN111986099B (zh) 基于融合残差修正的卷积神经网络的耕地监测方法及系统
CN107067405B (zh) 基于尺度优选的遥感影像分割方法
CN108038448A (zh) 基于加权熵的半监督随机森林高光谱遥感影像分类方法
CN101699514B (zh) 基于免疫克隆量子聚类的sar图像分割方法
CN112232328A (zh) 基于卷积神经网络的遥感影像建筑区提取方法、装置
CN113988147B (zh) 基于图网络的遥感图像场景多标签分类方法及装置、多标签检索方法及装置
Chen et al. Agricultural remote sensing image cultivated land extraction technology based on deep learning
CN114937173A (zh) 一种基于动态图卷积网络的高光谱图像快速分类方法
Holail et al. Afde-net: Building change detection using attention-based feature differential enhancement for satellite imagery
Xu et al. Classification of 3-D point clouds by a new augmentation convolutional neural network
CN111611960A (zh) 一种基于多层感知神经网络大区域地表覆盖分类方法
CN114943902A (zh) 基于多尺度特征感知网络的城市植被无人机遥感分类方法
Kazimi et al. Semantic segmentation of manmade landscape structures in digital terrain models
CN116912582A (zh) 一种基于表征模型的强鲁棒性高光谱目标检测方法
Laban et al. Enhanced pixel based urban area classification of satellite images using convolutional neural network
Jing et al. Time series land cover classification based on semi-supervised convolutional long short-term memory neural networks
CN115690597A (zh) 一种基于深度背景差分的遥感影像城市地物变化检测方法
Wang et al. Change detection in bitemporal remote sensing images by using feature fusion and fuzzy C-means
Geng et al. A novel color image segmentation algorithm based on JSEG and Normalized Cuts
Zhong et al. Local Climate Zone Mapping by Coupling Multi-Level Features with Prior Knowledge Based on Remote Sensing Images
Cao et al. Understanding 3D point cloud deep neural networks by visualization techniques
Luo et al. Real-time pedestrian detection method based on improved YOLOv3
Lin et al. Slope unit-based genetic landform mapping on Tibetan plateau-a terrain unit-based framework for large spatial scale landform classification
CN115205853B (zh) 一种基于图像的柑橘果实检测与识别方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant