CN114049335B - 一种基于时空注意力的遥感影像变化检测方法 - Google Patents

Abstract

本发明提供了一种基于时空注意力的遥感影像变化检测方法，包括：步骤1：准备遥感影像对；步骤2：对整理好的遥感影像对以及对应的变化区域的掩膜图像进行数据预处理；步骤3：将遥感影像对输入到孪生卷积神经网络中，得到影像对对应的第一特征图与第二特征图；步骤4：将第一特征图与第二特征图在时间维度上进行拼接得到特征图X，后输入到时空注意力模块中；步骤5：时空注意力模块输出的张量Z，采用改进的对比损失函数来处理孪生神经网络输出的影像对的特征图。在双时相的遥感影像检测过程中，引入时空注意力模块，可以避免由于双时相遥感影像之间的光照变化，拍摄角度等因素造成伪变化点的检测，提高检测精度。

Description

一种基于时空注意力的遥感影像变化检测方法

技术领域

本发明涉及遥感领域，特别地，涉及遥感影像变化检测领域。

背景技术

遥感影像变化检测主要是分析同一区域在不同时期下的变化信息，同时滤除作为干扰因素的不相干的变化信息，是目前遥感领域研究的热点问题之一，在土地覆盖变化监测、自然灾害监测、国土资源调查等方面有着重要的应用价值。传统的遥感影像变化检测主要是基于像素的变化检测，在双时相遥感影像精确几何配准的基础上，基于像素层级，对前后两个时相的影像进行灰度或色彩的比较，判断是否存在有变化的像素，进而确定出变化区域，但基于像素的变化检测严格依赖于影像配准的精度，并且在双时相影像的比较过程中，仅考虑单个像元的光谱特征，未考虑周围临近像元的光谱特征以及空间信息特征等，会造成检测结果存在大量的伪变化像素点，导致变化检测精度较低。

近年来，随着深度学习技术的不断发展，基于深度学习的影像分割技术进行面向对象级的变化检测方法不断被提出，并普遍获得了较像素级变化检测方法更优的检测精度。面向对象级的变化检测方法主要依赖于影像分割技术，对双时相遥感影像进行同步分割或单独分割后提取影像对象，通过对比双时相影像对象的大小，位置，形状等来分析变化区域。但现阶段，对双时相影像进行分割时，无论同步分割或单独分割，都并未考虑双时相影像之间的时间关系，同时，由于双时相影像之间自身存在的光照变化以及配准误差会对真实物体的变化信息产生干扰。

为此急需一种能够解决因光照变化，配准误差，拍摄角度等因素导致产生伪变化检测问题的技术方案。

发明内容

为解决上述问题，本文研究不同像素之间的时空关系，提出了一种时空注意力的遥感影像变化检测方法。在孪生神经网络的基础上，针对孪生神经网络输出的特征图，在时间维度上进行拼接输入到时空注意力模块中，最后基于欧式距离进行度量分析，基于阈值分割得到变化图。

本发明的一方面提供了一种基于时空注意力的遥感影像变化检测方法，包括：

步骤1：准备遥感影像对，获取一定量的同一区域不同时间下的严格配准的遥感影像对，针对遥感影像对中的变化区域，制作对应的掩膜图像，其中未变化区域掩膜图像对应的像素值为0，变化区域对应的掩膜图像像素值为1；

步骤2：对整理好的遥感影像对以及对应的变化区域的掩膜图像进行数据预处理；

步骤3：将遥感影像对输入到孪生卷积神经网络中，得到影像对对应的第一特征图与第二特征图；

步骤4：将第一特征图与第二特征图在时间维度上进行拼接得到特征图X，后输入到时空注意力模块中，该模块通过三个不同的卷积层分别得到空间维度张量Q，空间维度张量K，以及时间维度张量V；

时空注意力模块的输出张量由V张量的加权和计算得出，其中分配给每个V张量的权重矩阵A由Q和对应的K张量通过相关性计算得出，具体公式为：

最终将得到的权重A与V相乘得到注意力机制学到的特征张量Y：

Y＝V*A；

将Y与输入时空自注意力模块的特征图X进行相加得到该模块的输出Z：

Z＝Y+X；

其中softmax指归一化指数函数，其将输入映射为0-1之间的实数，C指原始输入影像的通道数，C'指在生成空间维度张量Q以及K的过程中，所采用的卷积层的个数，A为权重矩阵；

步骤5：时空注意力模块输出的张量Z，在时间维度上为Z1，Z2，通过双线性差值使其与输入影像对图像大小一致，然后计算Z1，Z2之间欧式距离的大小，网络训练阶段，采用改进的对比损失函数来处理孪生神经网络输出的影像对的特征图，改进后的对比损失函数表达式如下所示：

其中margin1,margin2,margin3为预先设置的三种阶梯阈值。

可选的，还包括步骤6，在训练阶段，当对比损失函数的值不再下降时，保留此时训练阶段产生的模型，用来进行遥感影像变化检测。

可选的，还包括步骤7，基于训练阶段产生的遥感影像变化检测模型，准备待检测的严格配准的遥感影像对，输入到孪生神经网络中，后经过时空注意力模块输出样本特征图，经过双线性差值使其与输入影像对图像大小保持一致后，计算样本特征图之间欧式距离的大小，选定合适的阈值进行像素分割得到影像变化图。

可选的，孪生卷积神经网络包括：首先输入影像，经过卷积以及池化操作后，经过编码过程下采样和解码过程上采样后，经过全卷积-卷积-全卷积操作，输出网络提取的特征图。

可选的，所述预处理包括：统一影像对及对应变化区域掩膜图像的影像大小。

可选的，所述预处理包括：对影像对以及变化区域的掩膜图像进行数据增广操作。

可选的，在步骤3中，为保证输入影像对在上采样以及下采样的过程中影像尺寸保持不变，卷积过程中采用对边缘补零策略来保证输入输出图像大小一样。

本发明的另一方面还提供了一种遥感方法，所述遥感方法使用所述的遥感影像变化检测方法。

本发明的第三方面还提供了一种遥感设备，所述遥感设备使用所述遥感影像变化检测方法。

本发明的第四方面还提供了一种服务器，所述服务器运行所述遥感影像变化检测方法。

本发明的发明点及技术效果：

1、在双时相的遥感影像检测过程中，引入时空注意力模块，并对模块的结构进行了有针对性的优化设计(特别是设计了损失函数的具体形式)，可以避免由于双时相遥感影像之间的光照变化，拍摄角度等因素造成伪变化点的检测，提高检测精度。

2、在特征提取阶段，采用孪生unet卷积神经网络通过权重共享的方式进行特征提取，可以极大的降低训练阶段所需的时间，提高训练效率。

3、unet卷积神经网络的使用，在特征提取阶段能更好的融合不同尺度的特征，使得变化检测阶段，可以更好的提取变化区域更精细的特征。

3、在对比损失函数的使用过程中，通过设置阶梯阈值的方式，可以更好的自适应由于光照变化，配准误差等造成的伪变化检测区域。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1是本发明实施例中的一种基于时空注意力的遥感影像变化检测方法的整体流程图。

图2是本发明实施例中的unet卷积神经网络结构图。

图3是本发明实施例中的时空注意力模块结构图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

如图1所示，本发明实施例中的一种基于时空注意力的遥感影像变化检测方法包括：

1、准备遥感影像对，获取一定量的同一区域不同时间下的严格配准的遥感影像对，针对遥感影像对中的变化区域，制作对应的掩膜图像，其中未变化区域掩膜图像对应的像素值为0，变化区域对应的掩膜图像像素值为1。

2、对整理好的遥感影像对以及对应的变化区域的掩膜图像进行数据预处理，主要包括统一影像对及对应变化区域掩膜图像的影像大小，对影像对以及变化区域的掩膜图像进行数据增广操作等，主要包括随机旋转，影像亮度，饱和度的调整等。

3、将遥感影像对输入到孪生卷积神经网络unet中，得到影像对对应的特征图1与特征图2。其中unet中基本网络结构采用残差神经网络resnet18，为保证输入影像对在上采样以及下采样的过程中，影像尺寸保持不变，卷积过程中采用对边缘补零策略来保证输入输出图像大小一样。

4、将特征图1与特征图2在时间维度上进行拼接得到特征图X，后输入到时空注意力模块中，该模块通过三个不同的卷积层分别得到空间维度张量Q，空间维度张量K，以及时间维度张量V。时空注意力模块的输出张量由V张量的加权和计算得出，其中分配给每个V张量的权重矩阵A由Q和对应的K张量通过相关性计算得出，具体公式如(1)所示，最终将得到的权重矩阵A与V相乘得到注意力机制学到的特征张量Y(公式2)，将Y与输入时空自注意力模块的特征图X进行相加得到该模块的输出Z(公式3)。

Y＝V*A (2)

Z＝Y+X (3)

其中softmax指归一化指数函数，其将输入映射为0-1之间的实数，C指原始输入影像的通道数，C'指在生成空间维度张量Q以及K的过程中，所采用的卷积层的个数，A为权重矩阵。

5、时空自注意力模块输出的张量Z，在时间维度上为Z1，Z2，通过双线性差值使其与输入影像对图像大小一致，然后计算Z1，Z2之间欧式距离的大小，网络训练阶段，采用改进的对比损失函数来处理孪生神经网络unet输出的影像对的特征图，下面将详述。

由于不同时间点的遥感影像存在角度、光照、色彩等的变化，原始单一的阈值设置可能会导致模型优化过程中收敛慢或者性能差，因此，本研究设置阶梯阈值来消除角度色彩等变化对阈值造成的影响，改进后的对比损失函数表达式如下所示：

其中margin1,margin2,margin3为预先设置的三种阶梯阈值，经过大量实验，优选0.44，0.53，0.67作为训练的初始阈值。当然，也可根据定义的变化区域的属性来设置对应的阶梯阈值。阶梯阈值的设置能较好的避免由于光照变化，拍摄角度等因素造成的伪变化情况。网络整体的损失函数采用三种阶梯阈值求得的平均值L_loss。其中d代表双时相影像对对应的样本特征之间的欧式距离，y为两样本之间是否匹配的标签，y为1时为相似或匹配，y为0时代表不匹配，margin为预先设置的阈值大小。

6、在训练阶段，当对比损失函数的值不再下降时，保留此时训练阶段产生的模型，用来进行遥感影像变化检测。

7、基于训练阶段产生的遥感影像变化检测模型，准备待检测的严格配准的遥感影像对，输入到孪生神经网络unet中，后经过时空注意力模块输出样本特征图，经过双线性差值使其与输入影像对图像大小保持一致后，计算样本特征图之间欧式距离的大小，选定合适的阈值进行像素分割得到影像变化图。

在上述步骤中，孪生神经网络unet具体的网络如图2所示，主要由下采样，上采样以及跳跃连接构成，首先输入影像，经过卷积以及池化操作后，经过编码过程下采样块1，下采样块2，下采样块3，下采样块4后，在经过解码过程上采样块4，上采样块3，上采样块2，上采样块1后，经过全卷积-卷积-全卷积操作后，输出网络提取的特征图。其中下采样编码过程通过卷积和下采样来降低图像尺寸，提取浅层特征。上采样解码过程通过卷积和上采样来获取深层次特征。下采样块1与上采样块1，下采样块2与上采样块2，下采样块3与上采样块3，下采样块4与上采样块4之间通过跳跃方式进行连接，将编码阶段的特征图与解码阶段的特征图进行融合，能够结合深层次以及浅层次的特征，细化图像。

特别的，时空注意力模块具体结构如图3所示，将孪生unet结构中输出的两个特征图通过三个不同的1*1卷积得到三个特征向量K,Q,V，其大小为(C,H,W,2)。然后改变其向量形状得到矩阵K1,Q1,V1,其大小为(C,N)，对K1,Q1,V1进行转置，并将转置后的K1,Q1进行矩阵相乘后采用归一化损失函数计算相似矩阵，大小为(N,N)，将相似矩阵与V1进行矩阵乘法得到输出矩阵，大小为(C,N)，最后将其形状改变为(C,H,W,2)得到最终的注意力特征图。此注意力特征图在原来单时相遥感影像空间特征的基础上，引入了双时相遥感影像中的时间特征，能够更好的避免在双时相的变化检测中，由于影像之间的光照变化，配准误差，拍摄角度等的变化造成的伪变化检测区域，最终提高变化检测的精度。

可以理解，除了上述内容，还包括一些常规结构和常规方法，由于这些内容都是公知的，不再赘述。但这并不意味着本发明不存在这些结构和方法。

本领域技术人员应认识到，虽然本文已详尽示出和描述了本发明的多个示例性实施例，但是，在不脱离本发明精神和范围的情况下，仍可根据本发明公开的内容直接确定或推导出符合本发明原理的许多其他变型或修改。因此，本发明的范围应被理解和认定为覆盖了所有这些其他变型或修改。

Claims (10)

1.一种基于时空注意力的遥感影像变化检测方法，其特征在于：

步骤1：准备遥感影像对，获取同一区域不同时间下的严格配准的遥感影像对，针对遥感影像对中的变化区域，制作对应的掩膜图像，其中未变化区域掩膜图像对应的像素值为0，变化区域对应的掩膜图像像素值为1；

步骤2：对整理好的遥感影像对以及对应的变化区域的掩膜图像进行数据预处理；

步骤3：将遥感影像对输入到孪生卷积神经网络中，得到影像对对应的第一特征图与第二特征图；

步骤4：将第一特征图与第二特征图在时间维度上进行拼接得到特征图X，后输入到时空注意力模块中，该模块通过三个不同的卷积层分别得到空间维度张量Q，空间维度张量K，以及时间维度张量V；

时空注意力模块的输出张量由V张量的加权和计算得出，其中分配给每个V张量的权重矩阵A由Q和对应的K张量通过相关性计算得出，具体公式为：

最终将得到的权重A与V相乘得到注意力机制学到的特征张量Y：

Y＝V*A；

将Y与输入时空自注意力模块的特征图X进行相加得到该模块的输出Z：

Z＝Y+X；

其中softmax指归一化指数函数，其将输入映射为0-1之间的实数，C指原始输入影像的通道数，C′指在生成空间维度张量Q以及K的过程中，所采用的卷积层的个数，A为权重矩阵；

步骤5：时空注意力模块输出的张量Z，在时间维度上为Z1，Z2，通过双线性差值使其与输入影像对图像大小一致，然后计算Z1，Z2之间欧式距离的大小，网络训练阶段，采用改进的对比损失函数来处理孪生神经网络输出的影像对的特征图，改进后的对比损失函数表达式如下所示：

其中margin1,margin2,margin3为预先设置的三种阶梯阈值，其中d代表双时相影像对对应的样本特征之间的欧式距离，y为两样本之间是否匹配的标签，y为1时为相似或匹配，y为0时代表不匹配，N为双时相影像对的数量，L1为margin1阈值下对应的损失值，L2为margin2阈值下对应的损失值，L3为margin3阈值下对应的损失值。

2.如权利要求1所述的方法，其特征在于：还包括步骤6，在训练阶段，当对比损失函数的值不再下降时，保留此时训练阶段产生的模型，用来进行遥感影像变化检测。

3.如权利要求2所述的方法，其特征在于：还包括步骤7，基于训练阶段产生的遥感影像变化检测模型，准备待检测的严格配准的遥感影像对，输入到孪生神经网络中，后经过时空注意力模块输出样本特征图，经过双线性差值使其与输入影像对图像大小保持一致后，计算样本特征图之间欧式距离的大小，选定阶梯阈值进行像素分割得到影像变化图。

4.如权利要求1所述的方法，其特征在于：孪生卷积神经网络包括：首先输入影像，经过卷积以及池化操作后，经过编码过程下采样和解码过程上采样后，经过全卷积-卷积-全卷积操作，输出网络提取的特征图。

5.如权利要求1所述的方法，其特征在于：所述预处理包括：统一影像对及对应变化区域掩膜图像的影像大小。

6.如权利要求1所述的方法，其特征在于：所述预处理包括：对影像对以及变化区域的掩膜图像进行数据增广操作。

7.如权利要求1所述的方法，其特征在于：在步骤3中，为保证输入影像对在上采样以及下采样的过程中影像尺寸保持不变，卷积过程中采用对边缘补零策略来保证输入输出图像大小一样。

8.一种遥感方法，其特征在于，所述遥感方法使用如权利要求1-7任一所述的遥感影像变化检测方法。

9.一种遥感设备，其特征在于，所述遥感设备使用如权利要求1-7任一所述遥感影像变化检测方法。

10.一种服务器，其特征在于，所述服务器运行如权利要求1-7任一所述遥感影像变化检测方法。

Images