CN113537023B - 一种遥感影像语义变化检测方法 - Google Patents

Abstract

本发明属于遥感影像技术领域，具体涉及一种遥感影像语义变化检测方法。该方法首先将前、后期遥感影像输入至语义变化检测模型中，得到前、后期遥感影像的地物分类结果；所述语义变化检测模型利用已进行地物分类的遥感影像进行训练得到，且所述语义变化检测模型包括两个编码器、两个OCR模块、相似度度量模块和两个解码器；然后将前、后期遥感影像的地物分类结果进行对比，以确定前、后期遥感影像的语义变化。本发明能够实现对地物进行准确分类，有效地减少地物分类结果中漏检、误检的现象，且对建筑物的检测结果更为完整、平滑，边界也更为完整，提高了变化区域影像地物分类精度，进而使得语义变化检测精度更高，为更好地为地理信息更新提供依据。

Description

一种遥感影像语义变化检测方法

技术领域

本发明属于遥感影像技术领域，具体涉及一种遥感影像语义变化检测方法。

背景技术

遥感影像变化检测是通过对同一区域不同时间获取的遥感影像进行数据处理和影像对比，从而获取地表类型变化信息的过程，有效地获取地球表面的变化信息在环境监测、城市规划、灾害监测等方面具有重要意义。现有的变化检测方法大多只关注某一区域是否发生了变化，而忽略了地物变化的类别信息。语义变化检测在此基础上引入语义信息，具有更高的研究价值和更强的挑战性。传统获取地物变化类型的方法主要分为两类：分类后变化检测，指分别对不同时相的影像进行分类，再逐像素对前后时期影像的分类结果进行对比；联合分类法，指将不同时相的影像进行叠加，同时进行地物分类以减小分类误差对变化检测结果的影响。然而传统的方法只有在地物分类准确的情况下才有效，在实际应用中很难达到要求。

深度学习技术的快速发展及其在语义分割领域的广泛应用，大大提高了遥感影像地物分类的精度，为语义变化检测带来新的研究方向。传统的语义分割网络往往存在地物分类结果精度低的问题，进而导致遥感影像语义变化检测不准。

发明内容

本发明提供了一种遥感影像语义变化检测方法，用以解决现有技术的遥感影像语义变化检测不准的问题。

为解决上述技术问题，本发明所包括的技术方案以及技术方案对应的有益效果如下：

本发明提供了一种遥感影像语义变化检测方法，包括如下步骤：

1)将前、后期遥感影像输入至语义变化检测模型中，得到前、后期遥感影像的地物分类结果；所述语义变化检测模型利用已进行地物分类的遥感影像进行训练得到，且所述语义变化检测模型包括两个编码器、两个OCR模块、相似度度量模块和两个解码器；

两个编码器分别为第一解码器和第二解码器；第一解码器的输入为前期遥感影像，用于对前期遥感影像进行特征提取以得到前期遥感影像的低层特征并进行输出；第二编码器的输入为后期遥感影像，用于对后期遥感影像进行特征提取以得到后期遥感影像的低层特征并进行输出；

两个OCR模块分别为第一OCR模块和第二OCR模块；第一OCR模块的输入为第一解码器的输出，用于对前期遥感影像的低层特征进行特征提取以得到前期遥感影像的多尺度特征并进行输出；第二OCR模块的输入为第二解码器的输出，用于对后期遥感影像的低层特征进行特征提取以得到后期遥感影像的多尺度特征并进行输出；

相似度度量模块的输入为两个OCR模块的输出，用于对前、后期遥感影像的多尺度特征进行特征提取以得到相似度度量特征并进行输出；

两个解码器分别为第一解码器和第二解码器；所述第一解码器用于将叠加后的前期遥感影像的低层特征、前期遥感影像的多尺度特征、相似度度量特征进行处理，以得到前期影像的地物分类结果；所述第二解码器用于将叠加后的后期遥感影像的低层特征、后期遥感影像的多尺度特征、相似度度量特征进行处理，以得到后期影像的地物分类结果；

2)将前、后期遥感影像的地物分类结果进行对比，以确定前、后期遥感影像的语义变化。

上述技术方案的有益效果为：本发明所构建的语义变化检测模型，将孪生网络和OCR模块相结合，能够提取出前、后期影像的低层特征、多尺度特征和相似度度量特征，并依据这些特征来得到前、后期遥感影像的地物分类结果，进而将第地物分类结果进行比较，以确定前、后期遥感影像的语义变化。本发明方法能够有效利用前后时相影像之间的相关性，生成的结果中细小的点状或线状边缘较小，在后处理中可以很好的剔除这些区域，同时可以较好的保留实际变化的区域，实现对地物进行准确分类，有效地减少地物分类结果中漏检、误检的现象，且对建筑物的检测结果更为完整、平滑，边界也更为完整，模型中使用的编码-解码结构可以很好的恢复边界信息，提高了变化区域影像地物分类精度，进而使得语义变化检测精度更高，为更好地为地理信息更新提供依据。

进一步的，所述语义变化检测模型中的两个编码器均采用ResNet50编码器。

进一步的，所述语义变化检测模型中的两个解码器均包括卷积层和下采样单元。

进一步的，所述卷积层的大小为3×3。

进一步的，步骤2)所采用的手段为：

首先将前、后期遥感影像的地物分类结果进行初始对比，得到初始比较结果；

然后对初始比较结果进行腐蚀和膨胀操作处理以得到最终的前、后期遥感影像的语义变化。

上述技术方案的有益效果为：对初始比较结果进行腐蚀和膨胀操作，可以得到更加精确的变化检测结果。

进一步的，在进行腐蚀和膨胀处理操作时，道路变化区域的参数小于其他地物类型的参数。

上述技术方案的有益效果为：在剔除伪变化的同时保留道路变化区域的完整性，可以得到更为准确的变化区域信息，进而结合地物分类结果可以获得地物变化类别的信息。

进一步的，两个编码器的权值共享。

附图说明

图1是现有技术中的OCR模块的结构图；

图2是现有技术中的孪生神经网络结构图；

图3是本发明的Siam-OCRNet网络的结构图；

图4是本发明的遥感影像语义变化检测方法的流程图；

图5-1是本发明的17年高分2号影像图；

图5-2是本发明的19年资源3号影像图；

图5-3是本发明的17年影像地物标注图；

图5-4是本发明的19年影像地物标注图；

图6-1是区域一的影像对图；

图6-2是区域一的地面真值图；

图6-3是区域一的基于SegNet网络生成的结果图；

图6-4是区域一的基于U-Net网络生成的结果图；

图6-5是区域一的基于Siam-OCRNet网络生成的结果图；

图7-1是区域二的影像对图；

图7-2是区域二的地面真值图；

图7-3是区域二的基于SegNet网络生成的结果图；

图7-4是区域二的基于U-Net网络生成的结果图；

图7-5是区域二的基于Siam-OCRNet网络生成的结果图；

图8-1是区域三的影像对图；

图8-2是区域三的地面真值图；

图8-3是区域三的基于SegNet网络生成的结果图；

图8-4是区域三的基于U-Net网络生成的结果图；

图8-5是区域三的基于Siam-OCRNet网络生成的结果图；

图9-1是区域四的影像对图；

图9-2是区域四的地面真值图；

图9-3是区域四的基于SegNet网络生成的结果图；

图9-4是区域四的基于U-Net网络生成的结果图；

图9-5是区域四的基于Siam-OCRNet网络生成的结果图；

图10-1是区域一的粗变化检测结果图；

图10-2是区域二的粗变化检测结果图；

图10-3是区域三的粗变化检测结果图；

图10-4是区域四的粗变化检测结果图；

图11-1是区域一的变化检测结果图；

图11-2是区域二的变化检测结果图；

图11-3是区域三的变化检测结果图；

图11-4是区域四的变化检测结果图；

图12-1是区域一的语义变化检测结果图；

图12-2是区域二的语义变化检测结果图；

图12-3是区域三的语义变化检测结果图；

图12-4是区域四的语义变化检测结果图。

具体实施方式

本发明的基本构思为：本发明设计了Siam-OCRNet网络，利用编码器分别提取前后时期影像的特征，再利用OCR模块提取影像中多尺度特征，之后对多尺度特征进行相似性度量，然后将编码器中获取的低层特征与多尺度特征、相似性度量特征叠加输入至解码器，获得前后时期遥感影像地物变化类别，最后利用形态学图像处理方法中膨胀及腐蚀操作消除因影像配准精度不高而可能造成的伪变化。

下面先对目标上下文表示(Object Contextual Representation，OCR)模块和孪生神经网络(Siamese Net)做一介绍，介绍完毕后再对本发明所使用的Siam-OCRNet网络进行详细介绍。

1)OCR模块。OCR模块显式地把像素分类问题转化成物体区域分类问题。如图1所示，OCR模块主要包括三个阶段：①将上下文像素划分为一组软对象区域，每个soft objectregions对应一个类，即从深度网络(backbone)计算得到的粗软分割(粗略的语义分割结果)。这种划分是在分类标签的监督下学习的。根据网络中间层的特征表示估测粗略的语义分割结果作为OCR方法的一个输入，即结构图中的Soft Object Regions。②根据粗略的语义分割结果和网络最深层的特征表示计算出物体区域表示(Object RegionRepresentations)，此计算过程相当于计算每个语义类别的注意力，输出K组向量，K等于语义类别数，每一个向量对应一个语义类别的特征表示。③计算网络最深层输出的像素特征表示(Pixel Representations)与计算得到的物体区域特征表示(Object RegionRepresentation)之间的关系矩阵，然后根据每个像素和物体区域特征表示在关系矩阵中的数值把物体区域特征加权求和，得到最后的物体上下文特征表示OCR。当把物体上下文特征表示OCR与网络最深层输入的特征表示拼接之后作为上下文信息增强的特征表示(Augmented Representation)，可以基于增强后的特征表示预测每个像素的语义类别。综上所述，OCR可计算一组物体区域的特征表达，然后根据物体区域特征表示与像素特征表示之间的相似度将这些物体区域特征表示传播给每一个像素。

2)孪生神经网络。孪生神经网络是一种相似性度量网络，其结构如图2所示，孪生神经网络中包含两个相同的神经网络，可以对两个输入进行特征提取，再通过距离度量的方式计算特征向量的相似度。孪生神经网络适合处理两个输入“相对类似”的情况。对于遥感影像变化检测问题，孪生神经网络可以同时对前后时相的影像进行特征提取，通过共享权重的方式获取影像的特征图，最后对影像特征图进行对比以突出变化区域特征并抑制不变区域特征。

3)Siam-OCRNet网络。为了达到精确的像素级分类的目的，本发明设计了Siam-OCRNet网络结构，针对遥感影像变化检测数据的特点，使用孪生神经网络对前后时期影像同时进行地物分类，其整体结构如图3所示，包括两个编码器、两个OCR模块、相似度度量模块(Diff&conv模块)和两个解码器。两个编码器均使用ResNet50，且两个ResNet分支共享权重，两个编码器分别对前、后期遥感影像进行特征提取以得到前、后期遥感影像的低层特征。同时网络利用OCR模块对不同类别的特征有不同的侧重，突出变化地物在特征图中的信息，并减小不变化特征对网络的影响，起到提升地物分类结果精度的作用；两个OCR模块分别用于对前、后期遥感影像的低层特征进行处理以分别得到前、后期遥感影像的多尺度特征。Diff&conv模块表示对影像特征图的对比，Diff&conv模块接收来自两侧OCR模块输出的特征图，通过将两侧特征图相减和卷积实现，以得到相似度度量特征。两个解码器均采用卷积层和下采样单元，其中一个解码器将ResNet50获取的前期影像的低层特征、OCR模块得到的前期影像的多尺度特征、Diff&conv模块输出的相似度度量特征进行叠加后的特征通过3×3的卷积调整通道数量，使其与地物类别数相同，最后使用上采样操作将特征图恢复至原始影像大小，以得到前期影像的地物分类结果；另一个解码器ResNet50获取的后期影像的低层特征、OCR模块得到的后期影像的多尺度特征、Diff&conv模块输出的相似度度量特征进行叠加后的特征通过3×3的卷积调整通道数量，使其与地物类别数相同，最后使用上采样操作将特征图恢复至原始影像大小，以得到后期影像的地物分类结果。

利用上述介绍的Siam-OCRNet网络模型，可实现本发明的一种遥感影像语义变化检测方法，其整个流程如图4所示。

步骤一，构建Siam-OCRNet网络模型，其结构如图3所示。利用已进行地物分类的遥感影像对Siam-OCRNet网络进行训练得到语义变化检测模型。

步骤二，将待检测的前、后期遥感影像输入至语义变化检测模型中，得到前、后期遥感影像的地物分类结果。

步骤三，将前、后期遥感影像的地物分类结果进行对比，得到初始比较结果。

步骤四，对初始比较结果进行腐蚀和膨胀操作处理以得到最终的前、后期遥感影像的语义变化。具体的：

由于前后时相影像拍摄时间以及拍摄时传感器的位置和姿态不同、地形起伏等影响，影像配准不可避免地会存在误差，使得即使地形没有发生变化，前后时期影像地物分类图的边界也将存在差异，也会导致变化检测结果中存在细小的点状或线状边缘，即存在伪变化。

为了得到更为准确的变化区域信息，本发明使用形态学图像处理方法消除上述变化检测结果中可能存在的伪变化。对于检测出的居民地、植被等面状地物可能的伪变化，首先对获取的变化检测结果进行腐蚀，尽可能消除因为上述配准精度不高而造成的伪变化，由于腐蚀操作使变化区域缩小，还需要通过膨胀处理，这种先腐蚀再膨胀的方式即形态学图像处理中的“开操作”。道路变化区域与其他地物类型的变化区域不同，其变化区域较为细长，与伪变化相似，如果使用相同的参数对变化检测结果进行后处理容易产生断裂，因此，对于道路变化区域的后处理，使用较小的参数进行腐蚀和膨胀，在剔除伪变化的同时保留道路变化区域的完整性。经过形态学图像处理方法得到更为准确的变化区域信息后，结合地物分类结果可以获得地物变化类别的信息。

下面将本发明的一种遥感影像语义变化检测方法应用于具体的实例中以说明本发明方法的有效性。

该实例选用某地区的遥感影像作为实验数据，前一时相影像为2017年高分2号卫星影像，后一时相影像为2019年资源3号卫星影像，影像大小为11137像素×10854像素。实验利用ENVI软件完成影像的融合、配准等预处理操作，其中融合后影像分辨率约为3米。如图5-1、5-2、5-3、5-4所示，实验数据集中包含建筑物、水域、植被、道路和背景五种类别，标签中分别用不同程度的灰色表示。由于GPU限制，实验不能对整幅影像进行训练，实验将前后时期影像裁剪为512像素×512像素的小块，共得到990对影像对，随机抽取158对影像对作为验证集，随机抽取198对影像对作为测试集，其余634对影像对作为训练集，对训练集和验证集进行旋转、镜像的操作以增加数据量。

本实验中，所有程序在Windows系统上运行，使用Python3.6进行编程，CPU为i9-9900处理器，64Gb内存。所用GPU为NVIDIA GeForce RTX 2080Ti 11Gb，GPU加速库采用CUDA10.0。Siam-OCRNet网络使用Pytorch框架实现。

为了验证Siam-OCRNet网络的有效性，将其与SegNet、U-Net网络进行对比。图6-1至图6-5均为区域一的实验结果，该区域主要包括水域和道路两种类别，图6-1至图6-5的上一行均为前期影像，下一行均为后期影像。图6-1为前后时期影像对，图6-2为前后期影像的地面真值图，图6-3、6-4、6-5分别为SegNet、U-Net、本发明方法生成的结果图。从图6-1至图6-5可以看出SegNet、U-Net网络的结果中均存在漏检、误检的现象，并且地物类别边缘存在大量错分像素，分割结果不够平滑；其中U-Net通过跳跃连接使低层特征与高层特征相结合，得到的道路检测结果更为连续、完整。本文网络能够对水域和道路类别进行准确分类，通过使用ASPP模块提取影像的多尺度地物特征，从而有效地减少地物分类结果中漏检、误检的现象，但由于Siam-OCRNet仅对最低层信息使用跳跃连接，其道路分类结果中存在不连续的情况。

区域二检测结果如图7-1至图7-5所示，该区域主要包括建筑物和道路两种地物类型，图7-1至图7-5的上一行均为前期影像，下一行均为后期影像。图7-1为前后时期影像对，图7-2为前后期影像的地面真值图，图7-3、7-4、7-5分别为SegNet、U-Net、本发明方法生成的结果图。由实验结果可以看出，SegNet和U-Net检测结果中建筑物区域存在孔洞现象，其中SegNet检测结果中孔洞现象更为明显，并且建筑物边界处分割结果较为杂乱。Siam-OCRNet虽然对道路检测的效果不如U-Net，但是建筑物的检测结果中的更为完整、平滑，边界也更为完整。

区域三结果如图8-1至8-5所示，该区域主要包括植被、建筑物和道路三种地物类型，图8-1至图8-5的上一行均为前期影像，下一行均为后期影像。图8-1为前后时期影像对，图8-2为前后期影像的地面真值图，图8-3、8-4、8-5分别为SegNet、U-Net、本发明方法生成的结果图。由实验结果可以看出，SegNet的检测结果中植被区域存在部分漏检，并且SegNet和U-Net在前一时相影像生成的结果中存在一部分虚检(图像右上角部分)；Siam-OCRNet生成的结果相对完整，且对植被的检测具有一定的优势，但对于道路的检测存在部分漏检。

区域四结果如图9-1至图9-2所示，图9-1至图9-5的上一行均为前期影像，下一行均为后期影像。图9-1为前后时期影像对，图9-2为前后期影像的地面真值图，图9-3、9-4、9-5分别为SegNet、U-Net、本发明方法生成的结果图。从影像对中可以发现，右下角道路的光谱特征更接近裸地，实验结果中SegNet和U-Net均将其识别为背景类别，而Siam-OCRNet中使用的相似性度量模块增大了前后时相影像的变化特征，得到的分类结果中右下角的道路较为完整、连续。

为了对各网络分割结果进行定量评价，本文选用语义分割中通用交并比IoU(Intersection over Union)和平均交并比mIoU(mean Intersection over Union)对网络预测结果进行评价。实验结果精度评价如表1所示，Siam-OCRNet与SegNet、U-Net网络相比，前后时相影像中水域、建筑物、植被以及道路类别mIoU均达到最优。由于U-Net网络中使用了多个跳跃连接，而Siam-OCRNet考虑到网络计算量的问题，只使用了一个跳跃连接，使得本发明方法中道路的分类精度低于U-Net网络；此外，由于训练集中道路样本像素占比较少，导致道路的精度明显低于与其他地物类别，水域和居民地的分类精度较高，不仅由于其训练样本较多，还因为其在影像中一般为大面积的区域，对于一张影像中大面积的区域，现有的语义分割网络都能将其准确地分类，不同网络的区别在于能否对边界区域准确地划分，本发明方法中使用的编码-解码结构可以很好的恢复边界信息。

表1地物分类精度评价

在获得地物分类结果后，通过对比得到粗略的变化检测结果，区域一、区域二、区域三、区域四的检测结果图分别如图10-1、图10-2、图10-3、图10-4所示，图10-1至图10-4的第一行均是人工标注的变化检测结果，图10-1至图10-4的第二行至第四行分别为SegNet、U-Net、Siam-OCRNet通过对比前后时相影像的分类图得到的结果。由于上述提到的在成像条件上的差异，导致变化检测结果中存在细小的点状或线状边界，而SegNet和U-Net没有使用相似性对比的结构，所生成的点状或线状边缘更加明显，范围更大，甚至大于某些实际变化的地物类别，Siam-OCRNet生成的结果中边界较细，受影响较小。

针对上述问题，本发明采用膨胀、腐蚀等形态学图像处理的方法进行解决，膨胀、腐蚀中使用的核尺寸大小为5×5，处理后的各个区域的变化检测结果如图11-1至11-4所示。图11-1至图11-4的第一行均是人工标注的变化检测结果，图11-1至图11-4的第二行至第四行分别为SegNet、U-Net、Siam-OCRNet通过对比前后时相影像的分类图得到的结果。其中，SegNet和U-Net中的边缘较大，使用形态学操作生成的变化检测结果不能有效剔除细小的点状或线状边界，这给后续变化检测结果的应用带来很大的影响。本文网络经过后处理操作，消除了粗变化检测结果中存在细小的点状或线状边界的现象，得到完整、准确的变化检测结果，从而能够更好地为地理信息更新提供依据。

本实施例采用准确率(Precision)、召回率(Recall)、F1值(F1-Score)、总体精度OA(Overall Accuracy)作为二值变化检测结果，在变化检测中，虚警率越低，准确率越高；漏检率越低，召回率越高。F1值和总体精度反映变化检测的总体表现，其值越高表示变化检测结果越好。

二值变化检测结果的精度评价如表2所示，与其他网络相比，Siam-OCRNet变化检测结果中准确率、F1值、总体精度均达到最优，召回率次于U-Net网络，但由于U-Net变化检测结果中存在大量虚检，导致其准确率较低。其中，由于SegNet和U-Net对前后时相影像分别进行分类，忽略了前后时相影像之间的相关性，导致变化检测结果过于杂乱；另外，由于存在使用数据集的传感器不同、地形起伏造成影像配准精度不高等问题，使得变化检测中难以消除分类结果存在的边缘不一致的问题，导致SegNet和U-Net变化检测的精度较低，无法应用于后续的地理信息更新中。本发明方法同时对前后时相影像进行分类，网络中包含对前后时相影像特征图对比的过程，有效地利用了前后时相影像之间的相关性，生成的结果中细小的点状或线状边缘较小，在后处理中可以很好的剔除这些区域，同时可以较好的保留实际变化的区域。

表2精度评价

语义变化检测结果为地物分类结果与二值变化检测结果融合得到，图12-1至图12-4为各个区域的采用本发明方法得到的语义变化检测结果，图中不同灰度颜色分别代表新增的水域、建筑物、植被、道路、消失的水域以及消失的植被。

Claims (7)

1.一种遥感影像语义变化检测方法，其特征在于，包括如下步骤：

1)将前、后期遥感影像输入至语义变化检测模型中，得到前、后期遥感影像的地物分类结果；所述语义变化检测模型利用已进行地物分类的遥感影像进行训练得到，且所述语义变化检测模型包括两个编码器、两个OCR模块、相似度度量模块和两个解码器；

两个编码器分别为第一解码器和第二解码器；第一解码器的输入为前期遥感影像，用于对前期遥感影像进行特征提取以得到前期遥感影像的低层特征并进行输出；第二编码器的输入为后期遥感影像，用于对后期遥感影像进行特征提取以得到后期遥感影像的低层特征并进行输出；

两个OCR模块分别为第一OCR模块和第二OCR模块；第一OCR模块的输入为第一解码器的输出，用于对前期遥感影像的低层特征进行特征提取以得到前期遥感影像的多尺度特征并进行输出；第二OCR模块的输入为第二解码器的输出，用于对后期遥感影像的低层特征进行特征提取以得到后期遥感影像的多尺度特征并进行输出；

相似度度量模块的输入为两个OCR模块的输出，用于对前、后期遥感影像的多尺度特征进行特征提取以得到相似度度量特征并进行输出；

两个解码器分别为第一解码器和第二解码器；所述第一解码器用于将叠加后的前期遥感影像的低层特征、前期遥感影像的多尺度特征、相似度度量特征进行处理，以得到前期影像的地物分类结果；所述第二解码器用于将叠加后的后期遥感影像的低层特征、后期遥感影像的多尺度特征、相似度度量特征进行处理，以得到后期影像的地物分类结果；

2)将前、后期遥感影像的地物分类结果进行对比，以确定前、后期遥感影像的语义变化。

2.根据权利要求1所述的遥感影像语义变化检测方法，其特征在于，步骤1)中，所述语义变化检测模型中的两个编码器均采用ResNet50编码器。

3.根据权利要求1所述的遥感影像语义变化检测方法，其特征在于，步骤1)中，所述语义变化检测模型中的两个解码器均包括卷积层和下采样单元。

4.根据权利要求3所述的遥感影像语义变化检测方法，其特征在于，所述卷积层的大小为3×3。

5.根据权利要求1所述的遥感影像语义变化检测方法，其特征在于，步骤2)所采用的手段为：

首先将前、后期遥感影像的地物分类结果进行初始对比，得到初始比较结果；

然后对初始比较结果进行腐蚀和膨胀操作处理以得到最终的前、后期遥感影像的语义变化。

6.根据权利要求5所述的遥感影像语义变化检测方法，其特征在于，在进行腐蚀和膨胀处理操作时，道路变化区域的参数小于其他地物类型的参数。

7.根据权利要求1～6任一项所述的遥感影像语义变化检测方法，其特征在于，两个编码器的权值共享。

Images