CN116343043A - 一种具有多尺度特征融合功能的遥感影像变化检测方法 - Google Patents

Abstract

本发明公开了一种具有多尺度特征融合功能的遥感影像变化检测方法，首先采集用于遥感图像变化检测的数据集，并将数据集分为训练集、验证集和测试集，再对数据集内部的数据进行增强扩充，接着对数据集中的训练集采用预训练网络和差分网络提取特征，再通过CBAM注意力机制和Swin Transformer模型进行融合辅助训练，得到融合辅助训练结果；本发明实现了具有利用Swin Transformer块和CBAM注意力机制捕获全局信息的功能，且能更有效的识别同一区域不同时刻遥感影像中的变化区域，提高了变化检测的精确度，也实现了利用卷积神经网络来提取局部信息，并利用Swin Transformer block来捕获远程依赖，保障了低层和高层特征的融合效果，适合被广泛推广和使用。

Description

一种具有多尺度特征融合功能的遥感影像变化检测方法

技术领域

本发明涉及图像处理技术领域，具体涉及一种具有多尺度特征融合功能的遥感影像变化检测方法。

背景技术

近年来，许多场景分割的神经网络模型已经应用于变化检测任务来提取更深层次的特征；研究工作集中在对深层特征的提取和细化，包括金字塔模型、深层监督和注意力机制等。

目前，连续下采样过程丢失了准确的空间位置信息，导致像素边缘检测不准确和细小目标的遗漏；现有SNUNet-CD和DCFF-Net等新的稠密连接孪生网络来保留高分辨率和细粒度的特征表示，并取得了更好的实验效果，但纯卷积的变化检测模型依旧很难将长距离的概念在时空上联系起来；因此，需要设计一种具有多尺度特征融合功能的遥感影像变化检测方法。

发明内容

本发明的目的是克服现有技术的不足，为更好的解决连续下采样过程丢失了准确的空间位置信息，导致像素边缘检测不准确和细小目标遗漏的问题，提供了一种具有多尺度特征融合功能的遥感影像变化检测方法，其实现了具有利用Swin Transformer块和CBAM注意力机制捕获全局信息的功能，且能更有效的识别同一区域不同时刻遥感影像中的变化区域，提高了变化检测的精确度。

为了达到上述目的，本发明所采用的技术方案是：

一种具有多尺度特征融合功能的遥感影像变化检测方法，包括以下步骤，

步骤(A)，采集用于遥感图像变化检测的数据集，并将数据集分为训练集、验证集和测试集，再对数据集内部的数据进行增强扩充；

步骤(B)，对数据集中的训练集采用预训练网络和差分网络提取特征，再通过CBAM注意力机制和Swin Transformer模型进行融合辅助训练，得到融合辅助训练结果；

步骤(C)，基于融合辅助训练结果构建先前知识复用通道注意模块，并用于融合局部和全局信息；

步骤(D)，通过融合局部和全局两条并行的注意力路径，并重新校准当前的特征图，生成最终的变化图，完成对遥感影像变化的检测作业。

前述的一种具有多尺度特征融合功能的遥感影像变化检测方法，步骤(A)，采集用于遥感图像变化检测的数据集，并将数据集分为训练集、验证集和测试集，再对数据集内部的数据进行增强扩充，其中数据增强扩张包括旋转90°、旋转180°、旋转270°、水平翻转和垂直翻转。

前述的一种具有多尺度特征融合功能的遥感影像变化检测方法，步骤(B)，对数据集中的训练集采用预训练网络和差分网络提取特征，再通过CBAM注意力机制和SwinTransformer模型进行融合辅助训练，得到融合辅助训练结果，其中所述预训练网络采用的是VGG16模型，而所述差分网络采用的是UNet++模型，具体步骤如下，

步骤(B1)，设X^i,j表示卷积单元，x^i,j表示节点X^i,j的输出，SF^i,0和SF^i,2为采用SwinTransformer block进行多尺度特征融合的模块，所述SF^i,0中的i＝1、2、3和4，所述SF^i,2中的i＝1和2，CF^i,1和CF^1,3为采用CBAM注意力机制进行多尺度特征融合的模块，所述CF^i,1中的i＝1、2和3；

步骤(B2)，设

对x^2,0进行上采样并得到和x^1,0∈R^B×C×H×W相同尺度的特征A，而预训练网络输出的原始图像特征/>

与/>

在通道维度合并得到特征B∈R^B×2C×H×W，接着将特征B与特征A在通道维度合并得到特征C∈R^{B ×3C×H×W}，再将特征C输入到Swin Transformer Block中得到融合全局信息的特征SF^2,0，具体融合步骤如公式(1)、公式(2)和公式(3)所示，

A＝Up(x^2,0) (1)

SF^2,0＝SwinT([A,B]) (3)

其中，Up()表示上采样，[，]表示在通道维度拼接，SwinT()表示SwinTransformer Block；

步骤(B3)，将SF^2,0与x^1,0在通道维度拼接得到特征D，并输入到X^1,1表示的卷积单元中得到x^1,1，再将差分网络输出的原始图像特征

与/>

在通道维度合并得到特征E∈R^B×C×2H×2W，接着特征E和x^1,1在通道维度拼接后经过两个卷积进行降维得到特征F，再将特征F输入到CBAM注意力机制，具体融合过程如公式(4)、公式(5)、公式(6)、公式(7)和公式(8)所示，

D＝[SF^2,0,x^1,0] (4)

x^1,1＝X(SF^2,0,x^1,0) (5)

F＝C([x^1,1,E]) (6)

其中，[，]表示在通道维度进行拼接，X代表卷积单元，C代表两个卷积进行降维，

代表元素相乘。

前述的一种具有多尺度特征融合功能的遥感影像变化检测方法，步骤(C)，基于融合辅助训练结果构建先前知识复用通道注意模块，并用于融合局部和全局信息，所述先前知识复用通道注意模块包括两条并行的注意力路径，其中一条路径为局部路径，另一条路径为全局路径，具体步骤如下，

步骤(C11)，局部路径，由局部夸通道交互模块构成，并用于获取局部信息；

步骤(C12)，全局路径，由两个堆叠模块组成，其中一个是先前知识聚合模块，另一个是全局夸通道交互模块，所述先前知识聚合模块用于不同聚合特征映射之间的信道交互，所述全局夸通道交互模块用于利用先前知识聚合模块生成的细化特征对信道关系进行建模。

前述的一种具有多尺度特征融合功能的遥感影像变化检测方法，步骤(D)，通过融合局部和全局两条并行的注意力路径，并重新校准当前的特征图，生成最终的变化图，完成对遥感影像变化的检测作业，具体步骤如下，

步骤(D1)，由于节点{x^0,1,x^0,2,x^0,3,x^0,4}为UNet++语义分割模型中不同深度图像分割的结果，这样在每个节点后增加一个1×1大小的卷积层能获得预测，再用GroundTruth计算损失；

步骤(D2)，使用CBAM注意力机制融合特征，其中将拼接后的特征送入大小为1×1的卷积层并得到预测变化图，且共有五个子损失，而采用λ来平衡损失的权重，具体的总损失函数如公式(9)、公式(10)和公式(11)所示，

其中，y为真实变化图，

为预测变化图，α和γ均为常数；L_total为总的损失函数，且总的损失函数L_total包含两项，第一项是L_bce，L_bce为二分类交叉熵损失，第二项是L_sa-dice，L_sa-dice为自调整骰子损失。

本发明的有益效果是：本发明的一种具有多尺度特征融合功能的遥感影像变化检测方法，首先为了更好的将深度原始图像特征与图像差异特征进行特征融合，交替使用CBAM注意力机制和SwinTransformer模型，并利用卷积提取局部特征的优势，再利用SwinTransformer模型提取全局信息能克服卷积计算的固有局限，有效的实现了该方法具有利用Swin Transformer块和CBAM注意力机制捕获全局信息的功能，且能更有效的识别同一区域不同时刻遥感影像中的变化区域，提高了变化检测的精确度，也实现了利用卷积神经网络来提取局部信息，并利用Swin Transformer block来捕获远程依赖，保障了低层和高层特征的融合效果。

附图说明

图1是本发明的整体检测网络图；

图2是本发明的实施例中第一时相遥感影像示意图；

图3是本发明的实施例中第二时相遥感影像示意图；

图4是本发明的实施例中遥感影像变化检测结果示意图；

图5是本发明的实施例中实际变化区域地面真值示意图。

具体实施方式

下面将结合说明书附图，对本发明作进一步的说明。

如图1所示，本发明的一种具有多尺度特征融合功能的遥感影像变化检测方法，包括以下步骤，

步骤(A)，采集用于遥感图像变化检测的数据集，并将数据集分为训练集、验证集和测试集，再对数据集内部的数据进行增强扩充，其中数据增强扩张包括旋转90°、旋转180°、旋转270°、水平翻转和垂直翻转。

步骤(B)，对数据集中的训练集采用预训练网络和差分网络提取特征，再通过CBAM注意力机制和Swin Transformer模型进行融合辅助训练，得到融合辅助训练结果，其中所述预训练网络采用的是VGG16模型，而所述差分网络采用的是UNet++模型，具体步骤如下，

其中，预训练网络采用VGG16模型的权重由ImageNet方法训练而得，而预训练网络和差分网络提取特征的过程为双时态图像I_T1和I_T2分别调用训练好的vgg16，获得前四个卷积块的输出尺寸大小(C，H，W)分别为[64，256，256]、[128，128，128]、[256，64，64]和[512，32，32]；

步骤(B1)，设X^i,j表示卷积单元，x^i,j表示节点X^i,j的输出，SF^i,0和SF^i,2为采用SwinTransformer block进行多尺度特征融合的模块，所述SF^i,0中的i＝1、2、3和4，所述SF^i,2中的i＝1和2，CF^i,1和CF^1,3为采用CBAM注意力机制进行多尺度特征融合的模块，所述CF^i,1中的i＝1、2和3；

步骤(B2)，设

对x^2,0进行上采样并得到和x^1,0∈R^B×C×H×W相同尺度的特征A，而预训练网络输出的原始图像特征/>

与/>

在通道维度合并得到特征B∈R^B×2C×H×W，接着将特征B与特征A在通道维度合并得到特征C∈R^{B ×3C×H×W}，再将特征C输入到Swin Transformer Block中得到融合全局信息的特征SF^2,0，具体融合步骤如公式(1)、公式(2)和公式(3)所示，

其中，上采样采用的是双线性插值法。因为不同深度的特征图经过的注意力机制是不同的，如最深层卷积块(第五层)得到的特征在不断上采样特征融合经过的是：SF(利用Swin Transformer block进行融合)、CF(使用的是CBAM通道注意力机制)、SF、CF；再上一层卷积块(第四层)上采样特征融合经过的是：SF、CF、SF；第二层卷积块则是经过上采样特征融合使用的是：SF；这是交替使用SF和CF两个模块的过程。

A＝Up(x^2,0) (1)

SF^2,0＝SwinT([A,B]) (3)

其中，Up()表示上采样，[，]表示在通道维度拼接，SwinT()表示SwinTransformer Block；

步骤(B3)，将SF^2,0与x^1,0在通道维度拼接得到特征D，并输入到X^1,1表示的卷积单元中得到x^1,1，再将差分网络输出的原始图像特征

与/>

在通道维度合并得到特征E∈R^B×C×2H×2W，接着特征E和x^1,1在通道维度拼接后经过两个卷积进行降维得到特征F，再将特征F输入到CBAM注意力机制，具体融合过程如公式(4)、公式(5)、公式(6)、公式(7)和公式(8)所示，

D＝[SF^2,0,x^1,0] (4)

x^1,1＝X(SF^2,0,x^1,0) (5)

F＝C([x^1,1,E]) (6)

其中，[，]表示在通道维度进行拼接，X代表卷积单元，C代表两个卷积进行降维，

代表元素相乘。

步骤(C)，基于融合辅助训练结果构建先前知识复用通道注意模块，并用于融合局部和全局信息，所述先前知识复用通道注意模块包括两条并行的注意力路径，其中一条路径为局部路径，另一条路径为全局路径，具体步骤如下，

步骤(C11)，局部路径，由局部夸通道交互模块构成，并用于获取局部信息；

步骤(C12)，全局路径，由两个堆叠模块组成，其中一个是先前知识聚合模块，另一个是全局夸通道交互模块，所述先前知识聚合模块用于不同聚合特征映射之间的信道交互，所述全局夸通道交互模块用于利用先前知识聚合模块生成的细化特征对信道关系进行建模。

步骤(D)，通过融合局部和全局两条并行的注意力路径，并重新校准当前的特征图，生成最终的变化图，完成对遥感影像变化的检测作业，具体步骤如下，

其中，加入深度监督的目的是加快整体训练的收敛速度；

步骤(D1)，由于节点{x^0,1,x^0,2,x^0,3,x^0,4}为UNet++语义分割模型中不同深度图像分割的结果，这样在每个节点后增加一个1×1大小的卷积层能获得预测，再用GroundTruth计算损失；

其中，4个经过上采样的拥有完整分辨率的输出信息代表不同语义级别的输出，对最终的输出结果有不同的重要性；因此，通过一个先前知识复用通道注意模块能更有效地纳入以前的知识聚合，并更好的进行特征复用；

步骤(D2)，使用CBAM注意力机制融合特征，其中将拼接后的特征送入大小为1×1的卷积层并得到预测变化图，且共有五个子损失，而采用λ来平衡损失的权重，具体的总损失函数如公式(9)、公式(10)和公式(11)所示，

其中，y为真实变化图，

为预测变化图，α和γ均为常数；L_total为总的损失函数，且总的损失函数L_total包含两项，第一项是L_bce，L_bce为二分类交叉熵损失，第二项是L_sa-dice，L_sa-dice为自调整骰子损失γ为常数；γ用于避免在y＝0和/>

时，分母不为0；可以将α设为0.01，将γ设为0.0001；L_bce用于做二分类的损失函数；L_sa-dice用于降低大量负样本的训练偏向影响。

针对在变化检测任务中，样本类的分布存在严重的不平衡问题，本发明采用对两个不同的损失函数进行加权和来解决这个问题，同时为了更有效地训练UNet++网络的浅权重，采用了深度监督方法。

为了更好的阐述本发明的使用效果，下面介绍本发明的一个具体实施例；

如图2、图3和图4所示，能够显示出高光谱变化检测的效果，其中图2和图3为同一区域的两个不同时间点的高光谱图像，图4为使用本发明方法的变化检测结果，图5是实际变化地面变化的真值图；从检测结果和实际的地面变化的真值图中可以看出，本发明所提方法可以有效的识别变化区域。

综上所述，本发明的一种具有多尺度特征融合功能的遥感影像变化检测方法，有效的实现了具有利用Swin Transformer块和CBAM注意力机制捕获全局信息的功能，且能更有效的识别同一区域不同时刻遥感影像中的变化区域，提高了变化检测的精确度，也实现了利用卷积神经网络来提取局部信息，并利用Swin Transformer block来捕获远程依赖，保障了低层和高层特征的融合效果。

以上显示和描述了本发明的基本原理、主要特征及优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (5)

1.一种具有多尺度特征融合功能的遥感影像变化检测方法，其特征在于：包括以下步骤，

步骤(A)，采集用于遥感图像变化检测的数据集，并将数据集分为训练集、验证集和测试集，再对数据集内部的数据进行增强扩充；

步骤(B)，对数据集中的训练集采用预训练网络和差分网络提取特征，再通过CBAM注意力机制和Swin Transformer模型进行融合辅助训练，得到融合辅助训练结果；

步骤(C)，基于融合辅助训练结果构建用于融合局部和全局信息的先前知识复用通道注意模块；

步骤(D)，通过融合局部和全局两条并行的注意力路径，并重新校准当前的特征图，生成最终的变化图，完成对遥感影像变化的检测作业。

2.根据权利要求1所述的一种具有多尺度特征融合功能的遥感影像变化检测方法，其特征在于：步骤(A)，采集用于遥感图像变化检测的数据集，并将数据集分为训练集、验证集和测试集，再对数据集内部的数据进行增强扩充，其中数据增强扩张包括旋转90°、旋转180°、旋转270°、水平翻转和垂直翻转。

3.根据权利要求2所述的一种具有多尺度特征融合功能的遥感影像变化检测方法，其特征在于：步骤(B)，对数据集中的训练集采用预训练网络和差分网络提取特征，再通过CBAM注意力机制和Swin Transformer模型进行融合辅助训练，得到融合辅助训练结果，其中所述预训练网络采用的是VGG16模型，而所述差分网络采用的是UNet++模型，具体步骤如下，

步骤(B1)，设X^i,j表示卷积单元，x^i,j表示节点X^i,j的输出，SF^i,0和SF^i,2为采用SwinTransformer block进行多尺度特征融合的模块，所述SF^i,0中的i＝1、2、3和4，所述SF^i,2中的i＝1和2，CF^i,1和CF^1,3为采用CBAM注意力机制进行多尺度特征融合的模块，所述CF^i,1中的i＝1、2和3；

步骤(B2)，设

对x^2,0进行上采样并得到和x^1,0∈R^B×C×H×W相同尺度的特征A，而预训练网络输出的原始图像特征/>

与/>

在通道维度合并得到特征B∈R^B×2C×H×W，接着将特征B与特征A在通道维度合并得到特征C∈R^B×3C×H×W，再将特征C输入到Swin Transformer Block中得到融合全局信息的特征SF^2,0，具体融合步骤如公式(1)、公式(2)和公式(3)所示，

A＝Up(x^2,0) (1)

SF^2,0＝SwinT([A,B]) (3)

其中，Up()表示上采样，[，]表示在通道维度拼接，SwinT()表示Swin TransformerBlock；

步骤(B3)，将SF^2,0与x^1,0在通道维度拼接得到特征D，并输入到X^1,1表示的卷积单元中得到x^1,1，再将差分网络输出的原始图像特征

与/>

在通道维度合并得到特征E∈R^B×C×2H×2W，接着特征E和x^1,1在通道维度拼接后经过两个卷积进行降维得到特征F，再将特征F输入到CBAM注意力机制，具体融合过程如公式(4)、公式(5)、公式(6)、公式(7)和公式(8)所示，

D＝[SF^2,0,x^1,0] (4)

x^1,1＝X(SF^2,0,x^1,0) (5)

F＝C([x^1,1,E]) (6)

其中，[，]表示在通道维度进行拼接，X代表卷积单元，C代表两个卷积进行降维，

代表元素相乘。

4.根据权利要求3所述的一种具有多尺度特征融合功能的遥感影像变化检测方法，其特征在于：步骤(C)，基于融合辅助训练结果构建用于融合局部和全局信息的先前知识复用通道注意模块，所述先前知识复用通道注意模块包括两条并行的注意力路径，其中一条路径为局部路径，另一条路径为全局路径，具体步骤如下，

步骤(C11)，局部路径，由局部夸通道交互模块构成，并用于获取局部信息；

步骤(C12)，全局路径，由两个堆叠模块组成，其中一个是先前知识聚合模块，另一个是全局夸通道交互模块，所述先前知识聚合模块用于不同聚合特征映射之间的信道交互，所述全局夸通道交互模块用于利用先前知识聚合模块生成的细化特征对信道关系进行建模。

5.根据权利要求4所述的一种具有多尺度特征融合功能的遥感影像变化检测方法，其特征在于：步骤(D)，通过融合局部和全局两条并行的注意力路径，并重新校准当前的特征图，生成最终的变化图，完成对遥感影像变化的检测作业，具体步骤如下，

步骤(D1)，由于节点{x^0,1,x^0,2,x^0,3,x^0,4}为UNet++语义分割模型中不同深度图像分割的结果，这样在每个节点后增加一个1×1大小的卷积层能获得预测，再用Ground Truth计算损失；

步骤(D2)，使用CBAM注意力机制融合特征，其中将拼接后的特征送入大小为1×1的卷积层并得到预测变化图，且共有五个子损失，而采用λ来平衡损失的权重，具体的总损失函数如公式(9)、公式(10)和公式(11)所示，

其中，y为真实变化图，

为预测变化图，α和γ均为常数；L_total为总的损失函数，且总的损失函数L_total包含两项，第一项是L_bce，L_bce为二分类交叉熵损失，第二项是L_sa-dice，L_sa-dice为自调整骰子损失。

Images