CN115410059B - 基于对比损失的遥感图像部分监督变化检测方法及设备 - Google Patents

Abstract

本发明涉及基于对比损失的遥感图像部分监督变化检测方法及设备，属于遥感图像变化检测技术领域。方法包括步骤：S1.对同一地点两个不同时期的遥感图像进行裁剪和预处理，得到两个时期的采样图像块和变化二值图，并进行数据集划分；S2.构建遥感图像变化检测网络，它包括特征提取网络和对比判别器；S3.将图像块输入特征提取网络得到共四层特征图；S4.将两个时期的某相同层特征图送入对比判别器中对比，计算对比损失；S5.迭代训练与优化模型，利用最后模型得到变化预测图。本发明不需要类别信息，适用于任意地物类别数量的数据集，因此需要的监督信息更少，适用的数据集更广泛，且算法更简洁，可移植性和鲁棒性更佳。

Description

基于对比损失的遥感图像部分监督变化检测方法及设备

技术领域

本发明涉及一种遥感图像变化检测方法，特别涉及一种基于对比损失的遥感图像部分监督变化检测方法及设备，属于对比学习和遥感图像变化检测技术领域。

背景技术

随着遥感和卫星技术的发展，高分辨率的遥感图像被广泛使用于地面物体分类、土地使用监测和城市土地规划等任务中，变化检测算法借助同一地区多时期的遥感图像，对发生变化的区域进行检测，对灾害检测、环境监测等任务有很大的帮助。

传统的变化检测方法大多使用一些颜色增强和变换方法，使不同时期的遥感图像尽量相似，然后使用聚类或颜色阈值的方法获得变化预测图。这些方法大多不需要监督信息，因此可以广泛适用于各类遥感图像，然而，由于遥感图像的复杂性，这些算法的性能大多不太理想，无法得到准确精细的变化预测图。随着深度学习的发展，卷积神经网络被应用于遥感图像处理领域，用于提取遥感图像中的语义特征，基于深度学习的变化检测算法从多个时期的遥感图像中提取特征，进行分类和对比，得到变化预测图。与传统的变化检测算法相比，基于深度学习的变化检测方法在性能上有极大的提升，但不足之处是需要精确的监督信息辅助训练。然而，高分辨率图像具有内容多、尺寸大的特点，制作遥感图像地物分类数据集需要大量的人力物力，且标注过程中难免会产生漏标、误标，将会对深度学习算法的预测精度产生影响，如何在减少标注成本的同时，使变化检测算法的检测性能不受影响是一个极具挑战性的问题。

如专利CN 112818818 B公开了一种基于AFFPN的新型超高清遥感图像变化检测方法。该方法包括构建自适应多尺度多层次特征融合的感知网络AFFPN；将旧时态图像T1和新时态图像T2输入AFFPN，分别进行并行的特征提取，得到多尺度多层次的特征将两个同一层次的沿着通道维度进行堆叠后进行特征融合，得到融合特征F f ；将融合特征F f 进行二倍上采样，得到差异图D；基于差异图D，联合使用像素损失函数和感知损失函数对AFFPN进行训练；对差异图D进行Argmax操作，获得每个像素点属于的类别，生成变化图M。 它的不足之处是需要借助两个时期的地物监督信息进行训练，计算差异图D和地物监督信息之间的损失，意味着需要分别对两个时期的遥感图像逐像素地标注出地面物体类别，需要大量的人力物力。另在其步骤S54和S55中，将真实的标签变化图与差值图合并，送入VGG-19中进行特征提取，意味着该发明无法应用于无地物监督信息的两时期变化检测任务中。

发明内容

本发明的目的是克服上述不足，而提供一种基于对比损失的遥感图像部分监督变化检测方法，在只使用变化图训练的情况下，借助对比损失和余弦相似度，计算不同时期遥感图像的相似度，完成变化检测模型的训练，减少遥感图像变化检测算法中对监督数据的依赖。

本发明采取的技术方案为：

基于对比损失的遥感图像部分监督变化检测方法，包括步骤如下：

S1. 对同一地点两个不同时期的遥感图像进行裁剪和预处理，得到两个时期的采样图像块和变化二值图，并进行数据集划分；

S2. 构建遥感图像变化检测网络，它包括特征提取网络和对比判别器，其中特征提取网络使用引入了残差模块的ResNet-50网络；所述ResNet-50网络包含一个7*7卷积层、3*3最大值池化层和三个依次相连的卷积组；

S3. 将图像块输入特征提取网络，分别在最大值池化层和每个卷机组后得到一层特征图共四层特征图；两个不同时期的图像块对应的四层特征图分别为

F ¹¹，F ¹²，F ¹³，F ¹⁴，F ²¹，F ²²，F ²³，F ²⁴；

S4. 将两个时期的某相同层特征图送入对比判别器中对比得变化预测，利用对比特征向量的余弦相似度和步骤S1的变化二值图计算对比损失；

S5.迭代训练与优化检测模型，将成对的不同时期的待检测遥感图像输入模型，利用最后模型得到变化预测图。

上述方法中，步骤S1所述的变化二值图为对两个时期的遥感图像进行裁剪，形成同一地点不同时期的遥感图像，并对其中的变化部分进行目视解译， 0代表未变化区域，1代表变化区域，形成变化二值图。所述的预处理后的采样图像块尺寸为256*256*3（长*宽*通道数）。

步骤S2所述的三个依次相连的卷积组分别包含3、4、7个瓶颈卷积（Bottleneck）模块，每个瓶颈卷积模块内包含一组1*1、3*3和1*1卷积。所述的对比判别器包含一个1*1卷积、一个3*3卷积和一个上采样层。

步骤S4优选将第三层特征图F ¹³，F ²³送入对比判别器对比。所述的计算对比损失，公式如下：

其中，N代表的是变化图（S1中的变化二值图）中未发生变化的像素数，即值为0的 像素数，C代表的是变化图（S1中的变化二值图）中发生变化的像素数，即值为1的像素数， p_i ¹，p_j ¹，p_i ²，p_j ²分别为两个时期的特征图中i，j像素特征向量，尺寸为1*256，

为温度系 数，用于控制模型对变化像素的区分度，sim()为余弦相似度，计算公式如下：

其中u，v分别代表两个时期特征图中对应像素的特征向量，T代表转置。

步骤S5所述的迭代训练与优化检测模型使用SGD优化器，动量为0.9，开始训练时，学习率采用预热的方法逐渐增大至0.01，将批次大小设置为4，即训练时四对图片算作一次迭代，每对图片为同一地点两个时期的遥感图像，共四万次迭代，每次迭代完成后分别输出损失。每当训练集全部迭代一次后进行一次测试，输出测试精度，以便进行神经网络训练程度的预测。

本发明的另一个目的是提供一种基于对比损失的遥感图像部分监督变化检测设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上所述的基于对比损失的遥感图像部分监督变化检测方法。

本发明还提供一种存储设备，其为计算机可读存储设备，所述的计算机可读存储设备上存储有计算机程序用于实现如上所述的基于对比损失的遥感图像部分监督变化检测方法中的步骤。

本发明的有益效果是：

本发明只使用两个时期遥感图像的变化二值图，借助对比损失和余弦相似度，对两个时期的特征图进行对比，即可检测出遥感图像中的发生变化部分，与有监督的变化检测算法相比，不需要多个时期的遥感图像地面物体类别标注图，大大节约了标注成本。同时，本发明直接输出变化预测图，与遥感图像中地面物体的类别无关，且无需额外的后处理算法，保持了算法的简洁性和可移植性。本发明不需要类别信息，适用于任意地物类别数量的数据集，因此需要的监督信息更少，适用的数据集更广泛，且算法更简洁，可移植性和鲁棒性更佳，保证了遥感图像变化检测的精度。

附图说明

图1为本发明的方法流程图；

图2为本发明方法的网络模型结构示意图；

图3为本发明ResNet-50网络结构图；

图4为本发明瓶颈卷积模块的结构图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

实施例1

基于对比损失的遥感图像部分监督变化检测方法，包括步骤如下：

S1. 对同一地点两个不同时期的遥感图像进行裁剪和预处理，得到两个时期的采样图像块和变化二值图，并进行数据集划分：

对两个时期的遥感图像进行裁剪，形成同一地点不同时期的遥感图像，并对其中的变化部分进行目视解译，形成变化图二值图，0代表未变化区域，1代表变化区域。将裁剪出的遥感图像及其变化二值图进行缩放（变化二值图只进行裁剪和缩放，用于后续步骤中对比损失的计算）。经过裁剪和缩放后得到256*256的遥感图块；随机选择部分遥感图块进行上下左右随即翻转；计算RGB三通道的均值和标准差，对图块进行标准化，最终得到的训练图块尺寸为256*256*3（长*宽*通道数）。将所有图片按照7：3的比例随机划分为训练集和测试集。

S2. 构建遥感图像变化检测网络，它包括特征提取网络和对比判别器：

特征提取网络使用ResNet-50，其引入了残差模块，构建输入输出的残差函数，使得参数更加容易优化，在增加网络深度的同时避免过拟合。ResNet-50网络包含一个7*7卷积层，3*3的最大值池化层，和三个依次连接的卷积组，三个卷积组内依次分别包含3、4、7个瓶颈卷积（Bottleneck）模块（瓶颈卷积模块在卷机组内串行），每个瓶颈卷积模块内包含一组1*1、3*3和1*1卷积。对比判别器包含一个1*1卷积、一个3*3卷积和一个上采样层，其中1*1卷积的作用是通道降维，将输入判别器的特征图降维到256维，减少计算损失时的显存消耗。3*3卷积的作用是增加非线性，上采样层的作用是将特征图上采样回原始图块尺寸，方便与变化图计算对比损失。

S3. 将图像块输入特征提取网路，得两个不同时期的图像对应的四层特征图：

将训练集中256*256*3的带标签（步骤S1得到的遥感图块对应的变化二值图标签）的图块送入特征提取网路ResNet-50中，最终得到四层特征图（最开始的7*7卷积和3*3池化后得到第一层，后面三个卷积组依次得到第二、三、四层），尺寸分别为：64*64*256、32*32*512、16*16*1024、8*8*2048，两个时期四个尺寸的特征图定义为

F ¹¹，F ¹²，F ¹³，F ¹⁴，F ²¹，F ²²，F ²³，F ²⁴。

S4. 将两个时期的某相同层特征图送入对比判别器中对比，计算对比损失：

将不同时期的尺寸为16*16*1024的第三层特征图F ¹³，F ²³送入对比判别器中对比（在深度学习中，最开始得到的特征图具有高分辨率但是语义特征不足，经过多层卷积后，语义特征逐渐充分，但分辨率随之减小，因此本发明权衡了语义特征和分辨率，使用第三层特征图用于计算损失），在训练阶段，借助余弦相似度和已有变化二值图计算对比损失进行模型训练（只在训练阶段计算损失值）；训练完成后，利用余弦相似度对各特征图中的像素进行度量，设置阈值m为0.5，余弦相似度小于0.5，即判定为发生变化，得变化预测图。使用对比损失函数计算对比损失，公式如下：

其中，N代表的是变化图（S1中的变化二值图）中未发生变化的像素数，即值为0的 像素数，C代表的是变化图（S1中的变化二值图）中发生变化的像素数，即值为1的像素数， p_i ¹，p_j ¹，p_i ²，p_j ²分别为两个时期的特征图中i，j像素特征向量，尺寸为1*256，

为温度系 数，用于控制模型对变化像素的区分度，sim()为余弦相似度，计算公式如下：

其中u，v分别代表两个时期特征图中对应像素的特征向量，T代表转置。

在变化检测中，发生变化像素的特征向量在两个时期的特征相似度低，未发生变化的特征向量在两个时期的特征相似度高。从对比损失公式中可以看出，当未发生变化的特征相似度越小，发生变化的特征相似度越大，损失越小。本专利使用对比损失计算两个时期的特征图间的差异，两个时期的遥感图像变化越大，用同一特征提取网络提取到的特征图间的差异越大，借助对比损失计算出的差异值也越大。

S5.迭代训练与优化检测模型，将成对的不同时期的待检测遥感图像输入模型，利用最后模型得到变化预测图：

基于上述的损失函数进行优化，训练使用SGD优化器，动量为0.9，开始训练时，学习率采用预热的方法逐渐增大至0.01。将批次大小设置为4，即训练时四对图片算作一次迭代，每对图片为同一地点两个时期的遥感图像，共四万次迭代，每次迭代完成后分别输出损失。每当训练集全部迭代一次后进行一次测试，输出测试精度，以便进行神经网络训练程度的预测。得到最终训练好的模型后，将成对的不同时期的待检测遥感图像对送入模型，则可得到变化预测图。

实施例2

本实施例提供了实现本发明的硬件设备：

一种存储设备，其为计算机可读存储设备，所述的计算机可读存储设备上存储有计算机程序用于实现如实施例1所述的基于对比损失的遥感图像部分监督变化检测方法中的步骤。

一种基于对比损失的遥感图像部分监督变化检测设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如实施例1所述的基于对比损失的遥感图像部分监督变化检测方法。

以上所述仅为本发明的较佳实施例而已，并不用于限制本发明，凡在本发明的精神和原则范围之内所作的任何修改、等同替换以及改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.基于对比损失的遥感图像部分监督变化检测方法，其特征是，包括步骤如下：

S1. 对同一地点两个不同时期的遥感图像进行裁剪和预处理，得到两个时期的采样图像块和变化二值图，并进行数据集划分；

S2. 构建遥感图像变化检测网络，它包括特征提取网络和对比判别器，其中特征提取网络使用引入了残差模块的ResNet-50网络；所述ResNet-50网络包含一个7*7卷积层、3*3最大值池化层和三个依次相连的卷积组；

S3. 将图像块输入特征提取网络，分别在最大值池化层和每个卷机组后得到一层特征图共四层特征图；两个不同时期的图像块对应的四层特征图分别为

F ¹¹，F ¹²，F ¹³，F ¹⁴，F ²¹，F ²²，F ²³，F ²⁴；

S4. 将两个时期的某相同层特征图送入对比判别器中对比得变化预测，利用对比特征向量的余弦相似度和步骤S1的变化二值图计算对比损失；所述的计算对比损失，公式如下：

其中，N代表的是变化图中未发生变化的像素数，即值为0的像素数，C代表的是变化图 中发生变化的像素数，即值为1的像素数，p_i ¹，p_j ¹，p_i ²，p_j ²分别为两个时期的特征图中i，j像 素特征向量，尺寸为1*256，

为温度系数，用于控制模型对变化像素的区分度，sim()为余 弦相似度，计算公式如下：

其中u，v分别代表两个时期特征图中对应像素的特征向量，T代表转置；

S5.迭代训练与优化检测模型，将成对的不同时期的待检测遥感图像输入模型，利用最后模型得到变化预测图。

2.根据权利要求1所述的基于对比损失的遥感图像部分监督变化检测方法，其特征是，步骤S1所述的变化二值图为对两个时期的遥感图像进行裁剪，形成同一地点不同时期的遥感图像，并对其中的变化部分进行目视解译， 0代表未变化区域，1代表变化区域，形成变化二值图。

3.根据权利要求1所述的基于对比损失的遥感图像部分监督变化检测方法，其特征是，步骤S2所述的对比判别器包含一个1*1卷积、一个3*3卷积和一个上采样层。

4.根据权利要求1所述的基于对比损失的遥感图像部分监督变化检测方法，其特征是，步骤S2所述的三个依次相连的卷积组分别包含3、4、7个瓶颈卷积模块，每个瓶颈卷积模块内包含一组1*1、3*3和1*1卷积。

5.根据权利要求1所述的基于对比损失的遥感图像部分监督变化检测方法，其特征是，步骤S4将第三层特征图F ¹³，F ²³送入对比判别器对比。

6.根据权利要求1所述的基于对比损失的遥感图像部分监督变化检测方法，其特征是，步骤S4利用余弦相似度对各特征图中的像素进行度量，设置阈值m为0.5，余弦相似度小于0.5，即判定为发生变化，得变化预测图。

7.根据权利要求1所述的基于对比损失的遥感图像部分监督变化检测方法，其特征是，步骤S5所述的迭代训练与优化检测模型使用SGD优化器，动量为0.9，开始训练时，学习率采用预热的方法逐渐增大至0.01，将批次大小设置为4，即训练时四对图片算作一次迭代，每对图片为同一地点两个时期的遥感图像，共四万次迭代，每次迭代完成后分别输出损失。

8.基于对比损失的遥感图像部分监督变化检测设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征是，所述处理器执行所述程序时实现如权利要求1-7任一项所述的基于对比损失的遥感图像部分监督变化检测方法。

9.一种存储设备，其为计算机可读存储设备，其特征是，所述的计算机可读存储设备上存储有计算机程序用于实现如权利要求1-7任一项所述的基于对比损失的遥感图像部分监督变化检测方法中的步骤。

Images