CN114359723A - 一种基于空谱特征融合网络的遥感影像变化检测方法 - Google Patents

Abstract

本发明公开了一种基于空谱特征融合网络的遥感影像变化检测方法，首先对遥感影像进行几何校正、影像配准的预处理操作；然后将训练集输入到DESSN网络中进行训练；最后将测试图像输入至DESSN网络模型中，输出双时相遥感影像变化检测的分割结果。本发明利用结合Ghost的非对称双卷积模块替代U‑Net网络中原始的双卷积模块增强特征学习能力，降低参数量，在特征提取层后加上用于抑制噪声引起的无关变化的差异增强模块，加强对变化目标的关注；最后在特征融合阶段设计了一个非局部空谱信息融合模块用于加强变化对象的边界完整性和内部紧密性，最终实现遥感影像的高精度变化检测，可有效提升遥感影像变化检测水平以及降低内存消耗。

Description

一种基于空谱特征融合网络的遥感影像变化检测方法

技术领域

本发明属于图像处理技术及模式识别技术领域，涉及深度学习、图像分割领域的理论知识，本发明具体涉及了一种基于空谱特征融合网络的遥感影像变化检测方法。

背景技术

遥感影像变化检测是识别某一地区不同时期影像中差异的过程，是遥感影像分析一个重要的分支，被广泛应用到城市扩张、土地勘探、灾害评估、环境监测等领域。随着光学传感器设备的不断发展，获取遥感影像变得更加便利，所获取到的遥感影像分辨率不断提高，提供了越来越丰富的地表信息，突破了遥感数据短缺和低质的问题。但另一方面，随着分辨率的提高，类内间的方差变大，检测结果受噪声的影响较大。因此如何有效地实现超高分辨率的遥感影像变化检测的研究成为了遥感影像分析领域的一个热点研究。

在对变化检测使用深度学习技术之前，实现变化检测通常用到的是基于变换和图像代数的方法，如主成分分析、独立成分分析、变化向量分析等。这些方法的主要思想是先获得差异图像，然后对差异图像进行基于阈值或基于聚类的像素分类，提取变化特征，或者通过最大化差异获得变化图像。由于这些方法只提取图像的光谱信息，而忽略了上下文关系，因此只适用于中低分辨率图像。针对于高分辨率和超高分辨率图像地物的纹理更加丰富、类内的异质性增强的问题，Tan、Lei等人提出了解决的方法。他们将像素分组为对象，然后将这些对象视为单位，根据它们的颜色、形状和邻域信息来确定它们是否发生了变化。虽然这些方法在一定程度上改善了超高分辨率遥感影像的变化检测精度，但它们只采用手工特征，而且需要复杂的分类器，因此存在对噪声敏感，检测精度低，计算成本高等的缺陷。

相比于传统的变化检测方法，深度学习方法能够充分利用大量训练样本的数据多样性，自动地学习复杂地面物体的抽象和多级特征，并对噪声表现出很强的鲁棒性。全卷积神经网络（Fully Convolutional Networks, FCN）是一种经典的端到端深度学习框架，该框架通常采用多级编码器-解码器结构，并且编码器和解码器通常由大量标准卷积与反卷积层组成。Peng等人为了克服最初的深度学习方法的传播误差大、计算复杂度高等缺点设计了基于FCN的变化检测方法。尽管FCN不需要全连接层，但由于它们主要采用的是单分支网络，此类方法容易导致双时相图像原始信息的丢失。为此，Daudt等人将孪生网络引入到遥感影像变化检测中，充分利用了双时相图像中更丰富的图像特征，大大提高了检测精度。自此之后，孪生网络被广泛用作变化检测过程中特征提取的一部分。为了进一步提高检测精度，一些方法在此基础上引入长短期记忆网络、递归神经网络来探索时空关系，还有一些方法引入注意力机制通过利用差异特征图和空间位置的重要性来改善变化检测的性能。总体来说，为提高检测精度，这些方法在双分支的基础上不断扩大和加深网络模型，大大增加了计算成本，且容易造成过拟合的问题。

在超高分辨率遥感影像变化检测的研究中，尽管已经出现了许多有效的检测模型，但目前仍然存在一些问题。首先，现有方法无法有效构建双时相图像之间的关系，导致无关变化对检测结果的不利影响。其次，未充分考虑变化对象的边界完整性和内部紧密性，导致预测变化图中的边缘信息丢失。第三，现有的双分支网络扩大了模型的规模，增加了计算成本，容易造成过拟合的问题。

在超高分辨率遥感影像变化检测的研究中，尽管已经出现了许多有效的检测模型，但目前仍然存在一些问题。首先，现有方法未充分有效地构建双时相图像之间的关系，导致无关变化对检测结果的不利影响。其次，未充分考虑变化对象的边界完整性和内部紧密性，导致预测变化图中的边缘信息丢失。第三，现有的双分支网络扩大了模型的规模，增加了计算成本，且容易造成过拟合的问题。

发明内容

为了解决上述问题，本发明提出了一种基于空谱特征融合网络的遥感影像变化检测方法，增强遥感影像变化检测的轻量化差异并融合非局部空谱信息，旨在通过使用差异增强模块抑制非变化区域对检测结果的影响；利用非局部空谱信息融合模块将空谱信息有效融合，既抑制了特征的冗余，又加强了特征之间的长程关系；利用结合Ghost的非对称双卷积模块加强对边缘信息的提取，以及极大地降低了参数量和计算量，最终实现轻量化的高精度变化检测方法。

本发明具体技术方案如下：

一种基于空谱特征融合网络的遥感影像变化检测方法，遥感影像数据集中包含训练集、验证集和测试集。首先对遥感影像进行几何校正、影像配准的预处理操作；然后将训练集输入到DESSN网络模型中进行训练；最后将测试集图像输入至训练好的DESSN网络模型中，输出双时相遥感影像变化检测的分割结果。

所述DESSN网络模型是一个双分支的U型网络，包含差异增强模块、非局部空谱信息融合模块、结合Ghost的非对称双卷积模块；DESSN网络模型将原始U-Net网络中的卷积替换为结合Ghost的非对称双卷积模块；在U型网络的编码部分的每一个特征提取层后加上差异增强模块，并用加强后的差异图像进行跳跃连接；在编码器提取到深层语义特征后，经过非局部空谱信息融合模块，整合上下文信息，抑制冗余特征，经过特征解码器恢复出变化检测的分割图。

所述结合Ghost的非对称双卷积模块在每一层卷及操作中，用一半的非对称双卷积模块进行特征提取，然后利用所获得的特征图进行线性变换获得新的特征图

所述差异增强模块是在每一个特征提取层中双时相特征图的差异图上使用注意力机制，然后将所获得的带有权重的差异图与原始特征图相加。

所述非局部空谱信息融合模块为嵌入到非局部模块中的多尺度并行采样模块。

具体实现步骤如下：

步骤一、数据集预处理：对所获得的遥感影像应用几何校正、影像配准的预处理操作，减少太阳光照角度、大气层厚薄程度对检测结果的影响，然后进行图像裁剪和数据增强操作；

步骤二、训练DESSN网络模型：给定DESSN网络模型运行参数，对DESSN网络模型进行训练，直至收敛；

步骤三、进行变化检测：将测试集输入至DESSN网络模型中，得到双时相遥感影像的变化检测分割结果。

步骤一中，所述数据增强操作为随机翻转、旋转。

步骤一中，所述图像裁剪的大小为256×256。

步骤二中，DESSN网络模型运行参数为：学习率为1×10^-4，结合Ghost的非对称双卷积模块中，Ghost模块中的压缩倍数设置为2，线性操作的核大小设置为3。

本发明与现有技术相比具有如下优点：

1、为了构建双时相图像之间的关系，利用差异增强模块对特征提取层的特征图进行差异增强，使网络更加关注变化的区域，从而抑制噪声引起的无关变化，更好地将物体与背景区分开来。

2、为了加强变化对象的边界完整性和内部紧密性，在特征融合阶段设计并使用了非局部空谱信息融合模块。 一方面，所提出的该模块不同于常规的空间光谱特征融合，因为非局部空谱信息融合模块可以提供远程相关性；另一方面，它也不同于常规的非局部模块，因为它还集成了多尺度空间信息，从而实现更好的特征表示，用于对变化的对象进行分类和定位。

3、为了减少网络参数的数量，设计了结合 Ghost 的非对称双卷积模块来代替普通卷积。非对称卷积虽然可以在一定程度上减少参数的数量，但可能会导致网络性能的轻微退化。在普通卷积中加入非对称卷积可以增强特征学习能力，但降低参数的能力有限。因此提出的结合Ghost的非对称双卷积模块结合了非对称卷积和 Ghost 的优点。

附图说明

图1是本发明所述检测方法的流程图。

图2是本发明DESSN网络模型用于双时相遥感影像的变化检测的原理图。

图3是DESSN网络模型中差异增强模块的模型。

图4是DESSN网络模型中非局部空谱信息融合模块的模型。

图5是DESSN网络模型中结合Ghost的非对称双卷积模块的模型。

图6是分别利用8种遥感影像变化检测方法对公开数据集LEVIR-CD进行变化检测得到的视觉效果图。

图7是编码部分最后一个差异增强模块的输出可视化效果图。

图8是非局部空谱信息融合模块的输出可视化效果图。

具体实施方式

参见图1，图中是本发明所述检测方法的流程原理框图，针对已有方法存在的差异特征获取过程中信息丢失、检测结果边缘的完整性和内部的紧致性差以及模型大的问题，本发明设计了轻量化的差异增强及非局部空谱信息融合方法。

本发明方法具体过程如下：

（1）数据集预处理：先对所获得的遥感影像进行大气校正、影像配准等预处理操作，所获得的数据分辨率为0.5m，大小为1024×1024像素，然后对图像进行裁剪，裁剪后的大小为256×256；为防止过拟合，进行了随机翻转、旋转等的数据增强操作。

（2）训练DESSN网络模型：本网络训练阶段使用高分辨率的双时相遥感影像作为输入。DESSN网络模型运行参数为：学习率为1×10^-4，结合Ghost的非对称双卷积模块中，Ghost模块中的压缩倍数设置为2，线性操作的核大小设置为3。使用Adam梯度下降来优化模型。

（3）对双时相遥感影像进行变化检测：将测试图像输入至DESSN中，输出变化检测分割结果，大小为256×256。

所述DESSN网络模型结构如图2所示，从变化检测的任务需求出发，将 Siamese网络的思想引入到U-Net网络中，获得一个双分支的U型网络。为解决目前双分支网络进行变化检测存在的缺陷，该模型主要包含三个模块，分别是差异增强模块、非局部空谱信息融合模块、结合Ghost的非对称双卷积模块。

所述DESSN网络模型具体的设计如下：

a）差异增强模块：差异增强模块如图3所示。具体地，为了进一步有效地构建双时相图像之间的关系，在每一个特征提取层中双时相特征图的差异图上使用注意力机制，然后将所获得的带有权重的差异图与原始特征图相加，从而加强变化目标之间的关系，降低未变化区域对检测结果的影响，并用加强后的差异图像进行跳跃连接，为上采样提供更加准确的位置信息。

b）非局部空谱信息融合模块：非局部空谱信息融合模块如图4所示。具体地，为了加强变化对象的边界完整性和内部紧密性，且降低特征融合中的冗余，拟采用非局部模块。但非局部模块涉及到矩阵的乘积运算，计算量庞大，于是设计了多尺度并行采样模块，将其嵌入到非局部模块中，既能降低运算复杂度，又将空间信息与光谱信息进行了融合，从而提高了检测精度。

c）结合Ghost的非对称双卷积模块：结合Ghost的非对称双卷积模块如图5所示。具体地，为了降低模型的内存消耗并提高对边缘信息的提取，将原始U-Net网络中的双卷积替换为非对称双卷积模块。为进一步降低模型的参数量，引入Ghost的思想，具体地，在每一层卷及操作中，用一半的非对称双卷积模块进行特征提取，然后利用所获得的特征图进行线性变换获得新的特征图。

本发明的效果可以通过以下实施例进一步说明。

为了测试本发明变化检测的准确性和优越性，硬件实验平台：CPU为Intel Corei9-9900X 10，3.5GHz，GPU为GeForce RTX 3090Ti，显存为24GB；软件平台：DESSN网络在PyTorch开源框架下实现。将数据的70%用作训练集，20%用作验证集，10%用作测试集，通过随机裁剪将他们裁剪为大小256×256的图像对，为了增强数据的多样性以及防止过拟合，我们进行了必要的数据增强操作。

本发明通过计算以下几个指标参数来评估算法性能，分别是：精度（Pre）, 召回率（Rec）, F1分数（F1）。

我们首先通过消融实验验证本发明提出的DESSN中设计的两个核心模块差异增强模块以及非局部空谱信息融合模块的作用，差异增强模块用于避免噪声、阳光等造成的伪变化的不利影响，部分可视化结果如图7所示，以进一步验证其有效性。我们选择最后一个差异增强模块进行可视化的原因是最后一层包含丰富的语义信息，并且表现出更好的性能。

可视化结果中，可以使用颜色区分关注度，红色表示关注度最高区域，蓝色表示关注度最低区域，图7中每一列分别是：前时相图像，后时相图像，差异增强模块的两个输入，差异增强模块的三个输出，标注图。

在图7中，（d）和（e）分别表示差异增强模块输入和输出的后时间图像。增强后的图像更加关注建筑物，差异图（g）的注意力区域更接近真实变化，这有利于为解码器提供更好的位置信息并提高变化对象的轮廓精度。由于两个特征图的通道融合容易导致极度冗余的特征，因此我们采用了非局部的通道注意力模块来抑制冗余。通道注意力可以得到像素之间的关系，当某些像素的关系相似时，可以将它们视为一类，从而更容易、更清晰地进行分类。为进一步提高检测精度，我们采用空间和通道信息相结合的方法。另外，针对以往空间和通道信息组合方法计算成本高的缺点，我们提出了多尺度并行采样模块，将其嵌入到非局部模块中，将空间信息引入通道注意力，从而大大降低了计算成本并且实现了更高的准确率。

为了证明该模块的有效性，定性结果如图 8 所示。图中每一列分别是：前时相图像，后时相图像，非局部空谱信息融合模块的输入，非局部空谱信息融合模块的输出，标注图。我们可以发现该模块的效果是非常明显的。虽然它也关注了道路，但这个问题可以通过同时结合差异增强模块来解决。因为对差异图像执行的跳过连接可以提供更详细的信息来解决错误的注意力。这样，最终组合的模型可以得到满意的结果。

为了整体验证本发明提出的DESSN网络在高分辨率双时相遥感影像变化检测中的作用，我们使用本发明提出的DESSN网络与其他8种用于遥感影像变化检测的神经网络的检测结果做了对比，图6展示了不同检测网络针对遥感影像变化检测的分割结果的比较。图中每一列依次的方法分别是：前时相图像，后时相图像，标注图，U-Net，FC-EF，FC-Siam-conc，FC-Siam-diff，W-Net，DSIFN，FCN-PP，FDCNN，DESSN。

定量分析如表 1 所示，其中最佳值以粗体显示。

表1 9种变化检测方法对测试图像进行变化检测结果

Methods	OE(%)	Pre(%)	Rec(%)	F1(%)
					Siam-UNet	0.9637	84.75	89.60	87.11
FC-EF	1.2248	82.27	86.18	84.18
					FC-Siam-conc	1.1940	76.17	86.90	81.18
FC-Siam-diff	1.1680	84.44	86.38	85.40
					W-Net	1.0233	81.01	87.02	83.91
FCN-PP	1.4631	82.09	84.48	83.27
					DSIFN	0.9468	86.00	89.73	87.83
FDCNN	1.2230	83.87	87.56	85.68
					ours	0.8899	90.99	91.73	91.36

在稀疏变化检测的情况下都会存在一些错误检测区域，例如图6中的第一行（d，e，f，h）。由于受阳光角度和树木覆盖程度的影响，这些方法在某些区域的结果都比较模糊，但总的来说我们的网络在边界精度上是相当有优势的。大型建筑物的检测主要看边界是否平滑，是否存在漏检和误检区。在图 6 的第二行中，(d-k) 不同程度地展示了这些问题，我们的网络表现出最佳性能。在图6第3行，当变化的建筑物集中时，（d-k）会出现粘连，（d，e，f，j，k）会出现缺失检测。我们的网络在变化对象的完整性和紧密性方面表现出了最佳性能。为了进一步说明我们方法的优越性，定量评估结果如表 1 所示，我们的网络获得了最好的结果，比比较方法中的最高结果高3.53%。这表明我们的网络可以通过细化边缘并加强变化对象的完整性和内部紧密性来有效提高 高分辨率遥感影像变化检测的性能。总之，图6的这些实验图像表明，本文提出的DESSN能够更好的实现对高分辨率遥感影像的变化检测。

另外，本发明另一个出发点是降低模型的内存消耗，为克服通道和空间注意力相结合时的计算量大的问题，提出了多尺度并行采样模块，将其嵌入到非局部模块中，不仅能够更好地表达特征之间的关系，而且降低了计算复杂度。为进一步降低模型的参数量，本发明提出的结合Ghost的非对称双卷积模块优化了对边缘信息的提取，而且进一步大大地降低了计算量。表2是利用9种变化检测方法对测试图像进行变化检测后，计算以下4个指标参数：浮点数操作数（FLOPs），参数数量（Params），模型的存储使用情况（Storage Usage）和F1分数（F1）得到的结果。

本发明的性能的比较结果如表2所示，综合来看，我们的模型压缩是有效的。

表2 9种变化检测方法对测试图像进行变化检测指标参数结果

Methods	FLOPs (G)	Params (M)	Storage usage (MB)	F1 (%)
					Siam-UNet	80.65	39.70	151.51	87.11
FC-EF	2.63	0.85	3.34	84.18
					FC-Siam-conc	4.07	1.07	4.08	81.18
FC-Siam-diff	3.47	0.85	3.33	85.40
					W-Net	95.80	31.57	120.48	83.91
FCN-PP	34.65	28.13	107.39	83.27
					DSIFN	112.15	43.50	116.92	87.83
FDCNN	32.40	1.86	7.09	85.68
					ours	36.75	19.35	73.95	91.36

通过对图5、图6、图7、图8，表1以及表2的综合分析，本发明提出的DESSN能实现更高精度的遥感影像变化检测，且模型所需的内存消耗较小，在遥感影像分析方面具有广泛的应用前景。

Claims (9)

1.一种基于空谱特征融合网络的遥感影像变化检测方法，其特征在于：

遥感影像数据集中包含训练集、验证集和测试集，首先对遥感影像进行几何校正、影像配准的预处理操作；然后将训练集输入到DESSN网络模型中进行训练；最后将测试集图像输入至训练好的DESSN网络模型中，输出双时相遥感影像变化检测的分割结果。

2.根据权利要求1所述的一种基于空谱特征融合网络的遥感影像变化检测方法，其特征在于：

所述DESSN网络模型是一个双分支的U型网络，包含差异增强模块、非局部空谱信息融合模块、结合Ghost的非对称双卷积模块；DESSN网络模型将原始U-Net网络中的卷积替换为结合Ghost的非对称双卷积模块；在U型网络的编码部分的每一个特征提取层后加上差异增强模块，并用加强后的差异图像进行跳跃连接；在编码器提取到深层语义特征后，经过非局部空谱信息融合模块，整合上下文信息，抑制冗余特征，经过特征解码器恢复出变化检测的分割图。

3.根据权利要求2所述的一种基于空谱特征融合网络的遥感影像变化检测方法，其特征在于：

所述结合Ghost的非对称双卷积模块在每一层卷及操作中，用一半的非对称双卷积模块进行特征提取，然后利用所获得的特征图进行线性变换获得新的特征图。

4.根据权利要求3所述的一种基于空谱特征融合网络的遥感影像变化检测方法，其特征在于：

所述差异增强模块是在每一个特征提取层中双时相特征图的差异图上使用注意力机制，然后将所获得的带有权重的差异图与原始特征图相加。

5.根据权利要求4所述的一种基于空谱特征融合网络的遥感影像变化检测方法，其特征在于：

所述非局部空谱信息融合模块为嵌入到非局部模块中的多尺度并行采样模块。

6.根据权利要求5所述的一种基于空谱特征融合网络的遥感影像变化检测方法，其特征在于：

具体实现步骤如下：

步骤一、数据集预处理：对所获得的遥感影像应用几何校正、影像配准的预处理操作，减少太阳光照角度、大气层厚薄程度对检测结果的影响，然后进行图像裁剪和数据增强操作；

步骤二、训练DESSN网络模型：给定DESSN网络模型运行参数，对DESSN网络模型进行训练，直至收敛；

步骤三、进行变化检测：将测试集输入至DESSN网络模型中，得到双时相遥感影像的变化检测分割结果。

7.根据权利要求6所述的一种基于空谱特征融合网络的遥感影像变化检测方法，其特征在于：

步骤一中，所述数据增强操作为随机翻转、旋转。

8.根据权利要求7所述的一种基于空谱特征融合网络的遥感影像变化检测方法，其特征在于：

步骤一中，所述图像裁剪的大小为256×256。

9.根据权利要求8所述的一种基于空谱特征融合网络的遥感影像变化检测方法，其特征在于：

步骤二中，DESSN网络模型运行参数为：学习率为1×10^-4，结合Ghost的非对称双卷积模块中，Ghost模块中的压缩倍数设置为2，线性操作的核大小设置为3。

Images