CN114821354B - 一种基于孪生多任务网络的城市建筑物变化遥感检测方法 - Google Patents

Abstract

本发明提供了一种基于孪生多任务网络的城市建筑物变化遥感检测方法，包括以下步骤：步骤S1：选择覆盖研究区域的双时相高分辨率遥感影像；步骤S2：构建多任务特征提取器；步骤S3：基于步骤S2，构建特征差异度量模块；步骤S4：建立联合损失函数；步骤S5：构建遥感影像数据集进行样本迁移，制作模型训练样本库；步骤S6：训练孪生多任务模型。应用本技术方案可解决传统孪生神经网络在遥感影像变化检测结果中出现的检测边界与实际边界吻合度较低的问题，减少由于高分辨率遥感影像的空间位移问题而造成的错检漏检现象，而且端对端的模型架构有效提升了变化检测效率，为高效获取高分辨率影像中精细的城市建筑物变化信息提供技术支撑。

Description

一种基于孪生多任务网络的城市建筑物变化遥感检测方法

技术领域

本发明涉及建筑物变化遥感检测方法的技术领域，特别是一种基于孪生多任务网络的城市建筑物变化遥感检测方法。

背景技术

城市区域的建筑物是城市里边十分重要的地理要素，是人们居住、工作、生活等活动的基本载体。快速的城市化进程带来了城市地表的快速变化，其中建筑物的变化(拆除、新建)等尤为显著。有效地识别城市区域建筑物的变化信息为土地资源管理、城市环境监测和城市可持续发展战略制定等应用提供了重要的数据支撑。传统的建筑物变化信息采集手段多依靠人工测绘或目视解译航空像片获得，方法耗时耗力、效率较低。

近年来，卫星遥感技术蓬勃发展，影像的空间分辨率不断提高，对空间细节的表征能力不断增强，为精细的建筑物变化识别带来了机会。但目前城市建筑物变化检测方法依然存在诸多挑战，受影像拍摄姿态影响，不同时相的高分辨率影像常存在空间位移现象，造成严重的漏检或错检；此外，受影像拍摄季相影响，不同物候期的植被覆盖存在显著的光谱差异，检测结果不确定性增大。因此，面向可持续城市发展建设，如何基于高分辨率遥感影像精准的识别城市区域的建筑物变化信息是当前亟待解决的技术问题。

发明内容

有鉴于此，本发明的目的在于提供一种基于孪生多任务网络的城市建筑物变化遥感检测方法，解决传统孪生神经网络在遥感影像变化检测结果中出现的检测边界与实际边界吻合度较低的问题，减少由于高分辨率遥感影像的空间位移问题而造成的错检漏检现象，而且端对端的模型架构有效提升了变化检测效率，为高效获取高分辨率影像中精细的城市建筑物变化信息提供技术支撑。

为实现上述目的，本发明采用如下技术方案：一种基于孪生多任务网络的城市建筑物变化遥感检测方法，包括以下步骤：

步骤S1：选择覆盖研究区域的双时相高分辨率遥感影像，并对遥感影像进行预处理；

步骤S2：基于卷积神经网络，构建多任务特征提取器，同时提取遥感影像的区域特征F_mask和边界特征F_contour；

步骤S3：基于步骤S2，构建特征差异度量模块，分别计算双时相影像的区域特征差异度D_mask及边界特征差异度D_contour；

步骤S4：建立联合损失函数，在模型训练阶段，使用联合损失函数约束步骤S2、步骤S3不断调优；

步骤S5：收集用于高分辨率遥感影像变化检测的公开影像数据集，构建对抗神经网络对公开遥感影像数据集进行样本迁移，制作模型训练样本库；

步骤S6：训练孪生多任务模型，并将训练好的模型用于步骤S1所获遥感影像的城市建筑物变化检测。

在一较佳的实施例中，步骤S1具体包括以下步骤：

步骤S11：选择存在建筑物变化区域的两幅不同时相高分辨率遥感影像，并对遥感影像进行预处理；主要包括：正射校正、多光谱-全色融合操作；

步骤S12：对步骤S11获得的双时相遥感影像进行地理配准。

在一较佳的实施例中，步骤S2具体包括以下步骤：

步骤S21：基于卷积神经网络，使用卷积层代替全连接层，构建编码器；编码器被两个任务共用，编码器由四部分构成，每部分均包含一个空洞卷积层、池化层和激活函数；

步骤S22：使用多个下采样模块构建区域解码器和边界解码器，并在各解码器中采用跳层连接机制，将双时相图像的深浅层特征结合；

步骤S23：基于步骤S21、S22构建多任务特征提取器；并在特征提取器中加入注意力机制；

步骤S24：使用两个权值共享的多任务特征提取器搭建孪生神经网络，自动学习不同时刻遥感影像T₁和T₂的图像区域特征F_mask和边界特征F_contour。

在一较佳的实施例中，步骤S3具体包括以下步骤：

步骤S31：分别计算图像区域特征F_mask、边界特征F_contour之间的欧氏距离，获取距离图D_mask和D_contour；计算像素级特征间差异度D_P采用下式：

式中，i,j代表像素的坐标值，代表第一时相的遥感影像在指定位置像素的特征值，/>代表第二时相的影像在指定位置像素的特征值；

步骤S32：对步骤S31获得的距离图D_mask、D_contour进行卷积操作，使用Softmax层完成特征差异度量模块构建。

在一较佳的实施例中，步骤S4具体包括以下步骤：

步骤S41：使用负对数似然损失作为多任务特征提取器模块中区域、边界特征提取任务的损失函数，特征提取部分的总损失函数公式为：

L_total＝λ₁L_mask+λ₂L_contour

式中，L_total表示特征提取部分的总损失值，λ₁、λ₂是各部分损失的权重参数；具体的单项损失计算公式为：

式中，L_mask、L_contour分别表示区域提取和边界提取的像素分类误差；x是图像空间Ω中的像素位置；P_mask(x；l_mask(x))、P_contour(x；l_contour(x))表示Softmax激活函数对真标签L_mask和L_contour的预测概率；

步骤S42：特征差异度量模块使用Focal Loss函数：

L_FocalLoss＝-α(1-ρ_t)^λlog(ρ_t)

式中，L_FocalLoss表示Focal Loss函数，α是来控制正负样本对总损失的共享权重，λ为可调的聚焦参数，p为变化概率；

步骤S43：设置孪生多任务神经网络的损失函数L_{Siam_mul_task}为：

L_{Siam_mul_task}＝θ₁L_total+θ₂L_FocalLoss

式中，θ₁、θ₂表示各部分权重比例，L_total为特征提取部分的损失函数。

在一较佳的实施例中，步骤S5具体包括以下步骤：

步骤S51：选择高分辨率遥感影像变化检测公开数据集，挑选城市建筑物场景下的训练样本；

步骤S52：对研究区的高分辨率影像进行正射校正、影像融合预处理操作，并得到RGB影像；

步骤S53：基于步骤S1处理后的影像制作少量城市建筑物变化数据集，并与公开数据集共同训练对抗神经网络，使用训练充分的对抗神经网络生成伪数据集，进行样本层面的迁移学习；

步骤S54：使用步骤S53获取的伪数据集，结合目标域的城市建筑物变化检测数据集，构建模型训练样本库，以训练孪生多任务变化检测网络。

在一较佳的实施例中，步骤S6具体包括以下步骤：

步骤S61：使用步骤S5获取的样本库，设置网络超参数，训练孪生多任务变化检测模型，保存模型权重；

步骤S62：使用模型对步骤S1获取的目标影像进行城市建筑物变化检测，获取变化检测结果。

与现有技术相比，本发明具有以下有益效果：利用孪生神经网络并结合多任务学习机制，构建孪生多任务变化检测网络，将边界信息规则化集成至模型内部，以提升检测边界与实际变化边界吻合度；此外，引入对抗学习机制并充分利用开放地理数据集，通过采集少量目标影像样本标签，实现孪生多任务神经网络在不同传感器高分辨率遥感影像变化检测中的有效迁移。本发明可解决传统孪生神经网络在遥感影像变化检测结果中出现的检测边界与实际边界吻合度较低的问题，减少由于高分辨率遥感影像的空间位移问题而造成的错检漏检现象，而且端对端的模型架构有效提升了变化检测效率，为高效获取高分辨率影像中精细的城市建筑物变化信息提供技术支撑。

附图说明

图1为本发明优选实施例的方法流程图；

图2为本发明优选实施例的研究区变化参考图；

图3为本发明优选实施例的变化检测结果图。

具体实施方式

下面结合附图及实施例对本发明做进一步说明。

应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式；如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

如图1所示，本实施例提供了一种面向城市建筑物的遥感变化检测方法，具体包括以下步骤：

步骤S1：选择覆盖研究区域的双时相高分二号卫星影像，并对遥感影像进行预处理；

步骤S2：基于主流的卷积神经网络，构建多任务特征提取器，同时提取建设项目的区域特征F_mask和边界特征F_contour；

步骤S3：基于步骤S2，构建特征差异度量模块，分别计算双时相影像区域特征差异度D_mask及边界特征差异度D_contour；

步骤S4：建立联合损失函数，在模型训练阶段，使用联合损失函数约束步骤S2、步骤S3不断调优；

步骤S5：收集用于高分辨率遥感影像变化检测的公开遥感影像数据集，构建对抗性神经网络对公开遥感影像数据集进行样本迁移，制作模型训练样本库；

步骤S6：使用训练样本训练孪生多任务模型，并将训练好的模型用于步骤S1所获影像的城市建筑物变化检测。

在本实施例中，步骤S1具体包括以下步骤：

步骤S11：选择存在建筑物变化区域的两幅不同时相GF-2遥感影像，并使用ENVI软件对影像进行正射校正和Gram-Schmidt多光谱-全色融合。

步骤S12：对步骤S11获得的双时相影像进行地理配准。

在本实施例中，步骤S2中具体包括以下步骤：

步骤S21：选择UNet作为主干网络，使用卷积层代替全连接层，构建编码器。编码器被两个任务共用，编码器由四部分构成，每部分均包含一个空洞卷积层、池化层和激活函数。

步骤S22：使用多个下采样模块构建区域解码器和边界解码器，并在各解码器中采用跳层连接机制，将双时相图像的深浅层特征结合；

步骤S23：基于步骤S21、S22构建多任务特征提取器。并在特征提取器中加入通道空间注意力机制；

步骤S24：使用两个权值共享的多任务特征提取器搭建孪生神经网络，自动学习不同时刻影像T₁和T₂的图像区域特征F_mask和边界特征F_contour。

在本实施例中，步骤S3中具体包括以下步骤：

步骤S31：分别计算图像区域特征F_mask、边界特征F_contour之间的欧氏距离，获取距离图D_mask和D_contour。计算像素级特征间差异度D_P采用下式：

式中，i,j代表像素的坐标值，代表第一时相的影像在指定位置像素的特征值(区域或边界特征)，/>代表第二时相的影像在指定位置像素的特征值。

步骤S32：对步骤S31获得的距离图D_mask、D_contour进行卷积操作，使用Softmax层完成特征差异度量模块构建。

在本实施例中，步骤S4中具体包括以下步骤：

步骤S41：使用负对数似然损失作为多任务特征提取器模块中区域、边界特征提取任务的损失函数，特征提取部分的总损失函数公式为：

L_total＝λ₁L_mask+λ₂L_contour

式中，L_total表示特征提取部分的总损失值，λ₁、λ₂是各部分损失的权重参数；具体的单项损失计算公式为：

式中，L_mask、L_contour表示区域提取和边界提取的像素分类误差。x是图像空间Ω中的像素位置。P_mask(x；l_mask(x))、P_contour(x；l_contour(x))表示Softmax激活函数对真标签L_mask和L_contour的预测概率。

步骤S42：特征差异度量模块使用Focal Loss函数：

L_FocalLoss＝-α(1-ρ_t)^λlog(p_t)

式中，α是来控制正负样本对总损失的共享权重，λ为可调的聚焦参数，p为变化概率。本研究中α设为0.25，λ设为2。

步骤S43：设置孪生多任务神经网络的损失函数为：

L_{Siam_mul_task}＝θ₁L_total+θ₂L_FocalLoss

式中，θ₁、θ₂表示各部分权重比例,L_total为特征提取部分的损失函数在本实施例中，步骤S5中具体包括以下步骤：

步骤S51：本实施例使用CD_Data_GZ公开数据集，挑选合适的城市建筑物场景下的训练样本。

步骤S52：对研究区的GF-2影像进行正射校正、融合等预处理操作，并得到RGB影像。

步骤S53：基于步骤S1处理后的影像制作少量城市建筑物变化数据集，并与公开数据集共同训练对抗性神经网络，使用训练充分的对抗神经网络生成伪数据集，进行样本层面的迁移学习。

步骤S54：使用步骤S53获取的伪数据集，结合目标域的城市建筑物变化检测数据集，构建合理的模型训练样本库，以训练孪生多任务变化检测网络。

在本实施例中，步骤S6中具体包括以下步骤：

步骤S61：使用步骤S5获取的样本库，设置合理的学习率、训练回合、优化器等超参数，训练孪生多任务变化检测模型，保存最优模型权重。

步骤S62：使用最优模型对步骤S1获取的目标影像进行城市建筑物变化检测，获取变化检测结果。

特别的，本实施例以福建省福州市部分区域为研究区，利用2017和2020年研究区GF-2共两个时期的高分辨率遥感影像数据对研究区内主要变化区域进行城市建筑物变化检测，图2为研究区参考变化图和2017年至2020年预测城市建筑物变化图。从图2-3可知，本发明可以对城市建筑物变化区域进行精准检测，检测结果的变化边界与实际变化边界吻合度较高。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述，仅是本发明的较佳实施例而已，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例。但是凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。

Claims (4)

1.一种基于孪生多任务网络的城市建筑物变化遥感检测方法，其特征在于，基于孪生神经网络和多任务学习，包括以下步骤：

步骤S1：选择覆盖研究区域的双时相高分辨率遥感影像，并对遥感影像进行预处理；

步骤S2：基于卷积神经网络，构建多任务特征提取器，同时提取遥感影像的区域特征F_mask和边界特征F_contour；

步骤S3：基于步骤S2，构建特征差异度量模块，分别计算双时相影像的区域特征差异度D_mask及边界特征差异度D_contour；

步骤S4：建立联合损失函数，在模型训练阶段，使用联合损失函数约束步骤S2、步骤S3不断调优；

步骤S5：收集用于高分辨率遥感影像变化检测的公开影像数据集，构建对抗神经网络对公开遥感影像数据集进行样本迁移，制作模型训练样本库；

步骤S6：训练孪生多任务模型，并将训练好的模型用于步骤S1所获遥感影像的城市建筑物变化检测；

步骤S2具体包括以下步骤：

步骤S21：基于卷积神经网络，使用卷积层代替全连接层，构建编码器；编码器为两个任务共用，编码器由四部分构成，每部分均包含一个空洞卷积层、池化层和激活函数；

步骤S22：使用多个下采样模块构建区域解码器和边界解码器，并在各解码器中采用跳层连接机制，将双时相图像的深浅层特征结合；

步骤S23：基于步骤S21、S22构建多任务特征提取器；并在特征提取器中加入注意力机制；

步骤S24：使用两个权值共享的多任务特征提取器搭建孪生神经网络，自动学习不同时刻遥感影像T₁和T₂的图像区域特征F_mask和边界特征F_contour；

步骤S3具体包括以下步骤：

步骤S31：分别计算图像区域特征F_mask、边界特征F_contour之间的欧氏距离，获取距离图D_mask和D_contour；计算像素级特征间差异度D_P采用下式：

式中，i,j代表像素的坐标值，代表第一时相的遥感影像在指定位置像素的特征值，代表第二时相的影像在指定位置像素的特征值；

步骤S32：对步骤S31获得的距离图D_mask、D_contour进行卷积操作，使用Softmax层完成特征差异度量模块构建；

步骤S4具体包括以下步骤：

步骤S41：使用负对数似然损失作为多任务特征提取器模块中区域、边界特征提取任务的损失函数，特征提取部分的总损失函数公式为：

L_total＝λ₁L_mask+λ₂L_contour

式中，L_total表示特征提取部分的总损失值，λ₁、λ₂是各部分损失的权重参数；具体的单项损失计算公式为：

式中，L_mask、L_contour分别表示区域提取和边界提取的像素分类误差；x是图像空间Ω中的像素位置；P_mask(x；l_mask(x))、P_contour(x；l_contour(x))表示Softmax激活函数对真标签L_mask和L_contour的预测概率；

步骤S42：特征差异度量模块使用Focal Loss函数：

L_FocalLoss＝-α(1-ρ_t)^λlog(ρ_t)

式中，L_FocalLoss表示Focal Loss函数，α是来控制正负样本对总损失的共享权重，λ为可调的聚焦参数，p为变化概率；

步骤S43：设置孪生多任务神经网络的损失函数L_{Siam_mul_task}为：

L_{Siam_mul_task}＝θ₁L_total+θ₂L_FocalLoss

式中，θ₁、θ₂表示各部分权重比例，L_total为特征提取部分的损失函数。

2.根据权利要求1所述的一种基于孪生多任务网络的城市建筑物变化遥感检测方法，其特征在于，步骤S1具体包括以下步骤：

步骤S11：选择存在建筑物变化区域的两幅不同时相高分辨率遥感影像，并对遥感影像进行预处理；主要包括：正射校正、多光谱-全色融合操作；

步骤S12：对步骤S11获得的双时相遥感影像进行地理配准。

3.根据权利要求1所述的一种基于孪生多任务网络的城市建筑物变化遥感检测方法，其特征在于，步骤S5具体包括以下步骤：

步骤S51：选择高分辨率遥感影像变化检测公开数据集，挑选城市建筑物场景下的训练样本；

步骤S52：对研究区的高分辨率影像进行正射校正、影像融合预处理操作，并得到RGB影像；

步骤S53：基于步骤S1处理后的影像制作少量城市建筑物变化数据集，并与公开数据集共同训练对抗神经网络，使用训练充分的对抗神经网络生成伪数据集，进行样本层面的迁移学习；

步骤S54：使用步骤S53获取的伪数据集，结合目标域的城市建筑物变化检测数据集，构建模型训练样本库，以训练孪生多任务变化检测网络。

4.根据权利要求1所述的一种基于孪生多任务网络的城市建筑物变化遥感检测方法，其特征在于，步骤S6具体包括以下步骤：

步骤S61：使用步骤S5获取的样本库，设置网络超参数，训练孪生多任务变化检测模型，保存模型权重；

步骤S62：使用模型对步骤S1获取的目标影像进行城市建筑物变化检测，获取变化检测结果。