CN116597317A - 遥感图像变化检测数据生成方法、装置、设备及介质 - Google Patents

Abstract

本申请公开了一种遥感图像变化检测数据生成方法、装置、设备及介质，属于遥感影像处理技术领域。遥感图像变化检测数据生成方法包括：获取既有语义标签图；更改既有语义标签图的至少部分像素对应的标签类别，获得合成语义标签图；确定既有语义标签图与合成语义标签图之间的变化标签数据；生成合成语义标签图对应的第一遥感图像；基于第一遥感图像、既有语义标签图对应的第二遥感图像以及变化标签数据，获得遥感图像变化检测数据。本申请不需要人工配准和标注，以低成本的得到大量用于模型训练所需的遥感图像变化检测数据。

Description

遥感图像变化检测数据生成方法、装置、设备及介质

技术领域

本申请涉及遥感影像处理技术领域，尤其涉及一种遥感图像变化检测数据生成方法、装置、设备及介质。

背景技术

遥感影像变化检测是利用不同时期覆盖同一地表区域的多源遥感影像，确定和分析该地域地物的变化，包括地物位置、范围的变化以及地物性质、状态的变化。相关技术中，深度学习也以在遥感影像变化检测中应用，因此，基于深度学习的遥感影像变化检测需要大量的变化检测数据用于训练神经网络。

但是，现有的变化检测数据需要人工肉眼对比两个遥感影像数据，逐像素对比并标记出其存在变化的区域，不同的应用场景需要配合不同专业的工程人员分析遥感图像，导致神经网络训练所需的变化检测数据样本匮乏。

发明内容

本申请的主要目的在于提供一种遥感图像变化检测数据生成方法、装置、设备及介质，旨在解决现有神经网络训练所需的变化检测数据样本匮乏的技术问题。

为实现上述目的，本申请提供一种遥感图像变化检测数据生成方法，方法包括：

获取既有语义标签图；

更改既有语义标签图的至少部分像素对应的标签类别，获得合成语义标签图；

确定既有语义标签图与合成语义标签图之间的变化标签数据；

生成合成语义标签图对应的第一遥感图像；

基于第一遥感图像、既有语义标签图对应的第二遥感图像以及变化标签数据，获得遥感图像变化检测数据。

在本申请可能的一实施例中，更改既有语义标签图的至少部分像素对应的标签类别，获得合成语义标签图，包括：

识别既有语义标签图中的目标连通域集合；其中，目标连通域集合为所有类别或者部分类别的语义标签对应的连通域的集合；

确定目标连通域集合内的至少一个待更改连通域；

更改各待更改连通域对应的标签类别，获得合成语义标签图。

在本申请可能的一实施例中，确定目标连通域集合内的至少一个待更改连通域，包括：

获取更改区域占比；

基于更改区域占比，获得待更改连通域数量；

基于待更改连通域数量，确定目标连通域集合内的待更改连通域。

在本申请可能的一实施例中，更改各待更改连通域的标签类别，获得合成语义标签图，包括：

基于待更改连通域的原有标签类别，确定目标修改策略；

基于目标修改策略，更改各待更改连通域的标签类别，获得合成语义标签图。

在本申请可能的一实施例中，生成合成语义标签图对应的第一遥感图像，包括：

确定合成语义标签图对应的第一时相风格信息；

将第一时相风格信息和合成语义标签图输入至训练好的遥感图像生成对抗网络，获得第一遥感图像。

在本申请可能的一实施例中，基于第一遥感图像、既有语义标签图对应的第二遥感图像、以及变化标签数据，获得遥感图像变化检测数据之前，方法还包括：

确定既有语义标签图对应的第二时相风格信息；第二时相风格信息与第一时相风格信息不同；

将第二时相风格信息和既有语义标签图输入至遥感图像生成对抗网络，获得第二遥感图像。

在本申请可能的一实施例中，确定合成语义标签图对应的第一时相风格信息，包括：

获取用户确定的第一参考遥感图像；

获得第一参考遥感图像的第一指定时相风格信息；

将指定时相风格信息作为第一时相风格信息；和/或

确定既有语义标签图对应的第二时相风格信息，包括：

获取用户确定的第二参考遥感图像；

获得第二参考遥感图像的第二指定时相风格信息；

将第二指定时相风格信息作为第二时相风格信息。

第二方面，本申请还提供了一种遥感图像变化检测数据生成装置，包括：

数据获取模块，获取既有语义标签图；

数据更改模块，更改既有语义标签图的至少部分像素对应的标签类别，获得合成语义标签图；

变化确定模块，用于确定既有语义标签图与合成语义标签图之间的变化标签数据；

图像生成模块，用于生成合成语义标签图对应的第一遥感图像；

样本生成模块，用于基于第一遥感图像、既有语义标签图对应的第二遥感图像以及变化标签数据，获得遥感图像变化检测数据。

在本申请可能的一实施例中，数据更改模块包括：

连通域识别单元，用于识别既有语义标签图中的目标连通域集合；其中，目标连通域集合为所有类别或者部分类别的语义标签对应的连通域的集合；

区域确定单元，用于确定目标连通域集合内的至少一个待更改连通域；

标签类别更改单元，用于更改各待更改连通域对应的标签类别，获得合成语义标签图。

在本申请可能的一实施例中，区域确定单元，具体用于获取更改区域占比；基于更改区域占比，获得待更改连通域数量；基于待更改连通域数量，确定目标连通域集合内的待更改连通域。

在本申请可能的一实施例中，数据更改模块，具体包括：

策略确定单元，用于基于待更改连通域的原有标签类别，确定目标修改策略；

数据更改单元，用于基于目标修改策略，更改各待更改连通域的标签类别，获得合成语义标签图。

在本申请可能的一实施例中，图像生成模块，具体包括：

第一风格确定单元，用于确定合成语义标签图对应的第一时相风格信息；

第一图像生成单元，用于将第一时相风格信息和合成语义标签图输入至训练好的遥感图像生成对抗网络，获得第一遥感图像。

在本申请可能的一实施例中，第一风格确定单元，具体用于获取用户确定的第一参考遥感图像；获得第一参考遥感图像的第一指定时相风格信息；将指定时相风格信息作为第一时相风格信息。

在本申请可能的一实施例中，装置还包括：

第二风格确定单元，用于确定既有语义标签图对应的第二时相风格信息；第二时相风格信息与第一时相风格信息不同；

第二图像生成单元，用于将第二时相风格信息和既有语义标签图输入至遥感图像生成对抗网络，获得第二遥感图像。

在本申请可能的一实施例中，第二风格确定单元，具体用于获取用户确定的第二参考遥感图像；获得第二参考遥感图像的第二指定时相风格信息；将第二指定时相风格信息作为第二时相风格信息。

第三方面，本申请还提供了一种遥感图像变化检测数据生成设备，包括：处理器，存储器以及存储在存储器中的遥感图像变化检测数据生成程序，遥感图像变化检测数据生成程序被处理器运行时实现如第一方面遥感图像变化检测数据生成方法的步骤。

第四方面，本申请还提供了一种计算机可读存储介质，计算机可读存储介质上存储有遥感图像变化检测数据生成程序，遥感图像变化检测数据生成程序被处理器执行时实现如第一方面的遥感图像变化检测数据生成方法。

本申请提出的一种遥感图像变化检测数据生成方法，通过对遥感图像领域中，既有语义标签图的至少部分像素对应的标签类别进行更改编辑，得到合成语义标签图以及两者之间的变化标签数据，然后利用得到的合成语义标签图生成第一遥感图像，即新的遥感图像，该新的遥感图像和真实的语义分割数据对应的第二遥感图像形成一个变化对，此时，该变化对和变化标签组成神经网络训练所需的变化检测数据。

不难看出，由于在遥感影像领域中，语义分割数据不需要配准操作，人工标注像素级语义标签相对变化检测数据更容易，从而存在大量经过人工标注的真实语义分割数据，由此，本申请在真实语义分割数据的语义标签图的基础上进行更改编辑和图像生成操作，以处理得到变化检测数据，不需要人工配准和标注，从而可以低成本的得到大量的变化检测数据。

附图说明

图1为本申请实施例方案涉及的硬件运行环境的遥感图像变化检测数据生成设备的结构示意图；

图2为本申请遥感图像变化检测数据生成方法第一实施例的流程示意图；

图3为本申请遥感图像变化检测数据生成方法第二实施例的流程示意图；

图4为本申请时相风格信息的生成示意图；

图5为本申请一示例的整体处理流程示意图；

图6为图5中标签更改编辑的细化示意图；

图7为本申请一示例中语义标签图A-seg和对应的第一遥感图像A；

图8为本申请一示例中合成语义标签图B-seg和对应的第二遥感图像B；

图9为本申请一示例中语义标签图A-seg和合成语义标签图B-seg之间的变化标签数据Label-1；

图10为本申请另一示例中语义标签图D-seg和对应的第一遥感图像D；

图11为本申请另一示例中合成语义标签图E-seg和对应的第二遥感图像E；

图12为本申请另一示例中语义标签图D-seg和合成语义标签图E-seg之间的变化标签数据Label-2；

图13为本申请遥感图像变化检测数据生成装置的模块示意图。

本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

遥感影像变化检测是利用不同时期覆盖同一地表区域的多源遥感影像，确定和分析该地域地物的变化，包括地物位置、范围的变化以及地物性质、状态的变化。相关技术中，深度学习也已在遥感影像变化检测中应用，因此，基于深度学习的遥感影像变化检测需要大量的变化检测数据用于训练神经网络。

一般而言，对于遥感变化检测数据的获取，需要经过下述过程：首先，获取同一区域不同时相的两幅遥感影像，然后因为拍摄时间及角度的不同，需要对两幅遥感影像进行地理信息配准。配准这一过程需要人工在两幅图像上找到一定数量的相同特征点，十分耗时。最后，人工肉眼对比两个遥感影像，逐像素对比并标记出其存在变化的区域，从而得到变化标签。如此，才得到由变化标签以及两幅遥感影像组成的变化检测数据，也即是在训练时的一个变化检测样本。

可以理解的，人工配准和人工标注导致神经网络训练所需的变化检测数据样本匮乏，也即是得到大量变化检测数据的成本较高。

为此，本申请提供了一种解决方案，由于在遥感影像领域中，语义分割数据不需要配准操作，人工标注像素级语义标签相对变化检测数据更容易，从而存在大量经过人工标注的真实语义分割数据，基于此，在真实语义分割数据的语义标签图的基础上进行更改编辑和图像生成操作，以处理得到变化检测数据，不需要人工配准和标注，从而可以低成本的得到大量的变化检测数据。

下面结合一些具体实施例进一步阐述本申请的发明构思。

以下对本申请实施例涉及到的技术进行解释：

生成对抗网络(Generative Adversarial Networks，GAN)：是一种深度学习模型，是近年来复杂分布上无监督学习最具前景的方法之一。模型通过框架中(至少)两个模块：生成模型(Generative Model)和判别模型(Discriminative Model)的互相博弈学习产生相当好的输出。原始GAN理论中，并不要求G和D都是神经网络，只需要是能拟合相应生成和判别的函数即可。但实用中一般均使用深度神经网络作为G和D。在本实施例中，生成对抗网络用于根据给定的语义分割数据生成遥感图像。

语义分割(Semantic Segmentation)，用于为图像中的每个像素点分配语义标签类别，并将语义标签类别和像素点相关联。在遥感影像领域，语义分割数据的人工标注也是像素级的，即针对单张遥感影像逐像素地对不同地物进行分配语义标签类别。

本申请实施例以下，将对本申请技术实现中应用到的遥感影像变化检测设备进行说明：

如图1所示，该遥感图像变化检测数据生成设备可以包括：处理器1001，例如中央处理器(Central Processing Unit，CPU)，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(WIreless-FIdelity，WI-FI)接口)。存储器1005可以是高速的随机存取存储器(RandomAccess Memory，RAM)存储器，也可以是稳定的非易失性存储器(Non-Volatile Memory，NVM)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

本领域技术人员可以理解，图1中示出的结构并不构成对遥感图像变化检测数据生成设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、数据存储模块、网络通信模块、用户接口模块以及遥感图像变化检测数据生成程序。

在图1所示的遥感图像变化检测数据生成设备中，网络接口1004主要用于与网络服务器进行数据通信；用户接口1003主要用于与用户进行数据交互；本申请遥感图像变化检测数据生成设备中的处理器1001、存储器1005可以设置在遥感图像变化检测数据生成设备中，遥感图像变化检测数据生成设备通过处理器1001调用存储器1005中存储的遥感图像变化检测数据生成程序，并执行本申请实施例提供的遥感图像变化检测数据生成方法。

基于上述硬件结构但不限于上述硬件结构，本申请提供一种遥感图像变化检测数据生成方法第一实施例。参照图2，图2示出了本遥感图像变化检测数据生成方法第一实施例的流程示意图。

需要说明的是，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

本实施例中，方法包括：

步骤S100、获取既有语义标签图。

本实施例中，遥感图像变化检测数据的执行主体为遥感图像变化检测数据生成设备，该遥感图像变化检测数据生成设备可以是移动电话、智能电话、笔记本电脑、数字广播接收器、个人数字助理(PDA)、平板电脑(PAD)等用户设备(UserEquipment，UE)，或者手持设备、车载设备、可穿戴设备、计算设备或连接到无线调制解调器的其它处理设备以及移动台(Mobile station，MS)等。遥感图像变化检测数据与互联网网络连接，以访问遥感影像领域中公开数据库。

既有语义标签图为遥感影像领域中公开数据集中向公众开放的遥感影像语义分割数据中的语义标签图。可以理解的，由于在遥感影像领域中，语义分割数据不需要配准操作，专业工程人员人工标注像素级语义标签相对变化检测数据更容易，从而存在大量经过人工标注、精度较高的真实语义分割数据。且这些大量经过人工标注的语义分割数据可存储于遥感影像领域中的一个或多个公开数据库中，如多标签类别语义分割数据库loveDA，建筑物语义分割数据库xview2等。从而遥感图像变化检测数据生成设备在执行步骤S100时，可通过网络等方式从公开数据库中获取前述的真实语义分割数据，并提取其中的既有语义标签图。

步骤S200、更改既有语义标签图的至少部分像素对应的标签类别，获得合成语义标签图。

步骤S300、确定既有语义标签图与合成语义标签图之间的变化标签数据。

需要说明的是，遥感图像变化检测数据生成设备在执行步骤S200时，可以将其中部分像素对应的语义标签的标签类别，更改为既有语义标签图现有标签类别中的其他标签类别，或者也可以将其中部分像素对应的标签类别更为该语义标签图所属应用领域的现有标签类别中的其他标签类别。

可以理解的，在遥感影像中，语义标签的标签类别可以根据地物属性进行分类，如可以是建筑物、耕地、草地、水体等。

如在一示例中，既有语义标签图中现有语义标签的标签类别包括建筑物和背景，此时可以将其中部分区域内的像素对应的标签类别由建筑物修改为背景。

或者，在另一示例中，既有语义标签图中现有标签类别包括建筑物和背景，此时可以将其中部分像素对应的语义标签的标签类别由建筑物修改为水体。

值得一提的是，本实施例中，在执行步骤S200时，合成语义标签图是在既有语义标签图的图像基础上做变化，两者始终是指向或者反应的是同一空间区域。如此，可使得构成的变化检测数据中，变化对之间存在变化区域和未变化区域。如此，对既有语义标签图进行更改编辑后，既有语义标签图和合成语义标签图这两张语义标签图之间存在相同的区域和不同的区域，不同的区域组成的数据集即为变化标签数据。

其中，变化标签数据的具体格式可构造为二值变化标签图或者其他格式。如可在一张同尺寸的黑色掩膜上，将发生变化的区域分割出来，然后将其像素值设定位为255，从而得到黑白二色的二值变化标签图。或者，变化区域的像素值还可以根据变化前的标签类别和/或变化后的标签类别确定，以更加细致地反应标签类别的变化。

可以理解的，由于语义分割是为图像中的每个像素点分配语义标签类别，因此，在执行步骤S200时，被更改的标签类别对应的对象为像素。但是以像素为对象进行更改操作，可能会导致原本的单个连通域内多个类别的语义标签混杂而真实度欠佳。因此，为了提高最终生成的变化检测数据的真实性。作为一种具体实施方式，步骤S300具体包括：

步骤S310、识别既有语义标签图中的目标连通域集合。

其中，目标连通域集合为所有类别或者部分类别的语义标签对应的连通域的集合。

连通域一般是图像中具有相同像素且位置相邻的前景像素点组成的图像区域。可以理解的，语义标签图包括图像中各个像素和对应的标签类别之间的关联关系。即在语义标签图中，已经根据语义分割结果将图像分割成多个具有闭合的且独立的轮廓区域，单个的块状区域即为单个连通域。因此在既有语义标签图中，会根据语义标签的类别将图像进行分割，即属于同一个标签类别的像素分割至同一连通域，其指向空间区域内连续的区域。在既有语义标签图中，所有标签类别的语义标签对应的至少一个连通域构成的集合即为目标连通域集合。当然，若仅仅对既有语义标签图的部分进行更改，此时，可以是所有类别语义标签中的部分类别语义标签对应的至少一个连通域构成的集合为目标连通域集合。

值得一提的是，目标连通域集合可以根据既有语义标签图的语义标签的标签类别数量、其内部单个连通域的分布数量或者其内部单个连通域的相对大小(如所有标签类别的语义标签对应的连通域的平均值、中位数等)等因素来确定，或者还可以由用户提前配置。如在一示例中，既有语义标签图其中仅仅存在2种标签类别的语义标签，此时，所有连通域数量可以仅仅对应其中一种标签类别的语义标签。或者，在另一示例中，既有语义标签图中存在7种标签类别的语义标签，此时，可以将除其中一种标签类别(如背景)之外的其余所有标签类别的语义标签对应的连通域的集合作为前述的所有连通域。

步骤S320、确定目标连通域集合内的至少一个待更改连通域。

在执行步骤S320时，可以根据预设选择策略，或者是随机确定出待更改连通域。如此，待更改连通域的数量可以仅仅包括1个，或者，待更改连通域还可以包括多个，其中每个待更改连通域均具有各自的语义标签。

如在一示例中，用户提前配置了预设选择规则，即对某个地点处所有的“裸地”这一语义标签对应的连通域进行更改，则可以在选择出相应的语义标签图后，将“裸地”对应的连通域确定为待更改连通域。

此外，作为一种具体实施方式，在执行步骤S320时，具体可以获取更改区域占比；基于更改区域占比，获得待更改连通域数量；然后基于待更改连通域数量，确定目标连通域集合内的至少一个待更改连通域。

其中，更改区域占比为既有语义标签图中变化区域在整个语义标签图中的比例，也即是待更改连通域数量和目标连通域集合内连通域总数的比例。用户可以提前配置相应的更改区域占比，从而遥感图像变化检测数据生成设备在执行步骤S320时，可以调用用户配置的更改区域占比。当然，当用户没有配置时，则可以调用执行历史任务时的上一更改区域占比或者使用一默认值。在得到更改区域占比后，即可计算得到待更改连通域数量，然后随机选择待更改连通域数量的待更改连通域，

步骤S330、更改各待更改连通域的标签类别，获得合成语义标签图。

在确定出待更改连通域后，即可对所有待更改连通域的语义标签进行标签类别更改，从而得到合成语义标签图。

可以理解的是，在执行步骤S330时，当待更改连通域包括单个连通域时，更改该单个连通域对应的语义标签的标签类别即可。当待更改连通域包括多个连通域时，将每个待更改连通域对应的语义标签的标签类别分别更改至预定的标签类别。

值得一提的是，在执行步骤S330时，具体可以是根据目标修改策略更改各待更改连通域的标签类别，获得合成语义标签图，或者是随机更改各待更改连通域的标签类别，获得合成语义标签图。

目标修改策略可以根据如下方式确定：(1)基于待更改连通域的原有标签类别，确定目标修改策略；(2)基于目标修改策略，更改各待更改连通域的标签类别，获得合成语义标签图。

其中，修改策略可以是用户提前配置有相应的标签类别变化映射关系，映射关系包括修改前的标签类别和对应的修改后的标签类别。从而在执行步骤S330时，可以根据待更改连通域的原有标签类别查阅标签类别变化映射关系，从而确定出对应的映射关系，并将其确定为目标修改策略。并依照目标修改策略记录的修改后的标签类别对待更改连通域的标签类别进行更改。

或者，修改策略还可以是用户提前配置有标签类别分组表，其中，同一个标签类别组中的所有语义标签全部修改为其他标签类别的同一结果语义标签，且不同标签类别组之间的同一结果语义标签不同。从而在执行步骤S330时，可以根据待更改连通域的原有标签类别查阅标签类别分组表，从而确定出对应的标签类别组，并将标签类别组对应的映射关系确定为目标修改策略。并依照目标修改策略记录的修改后的标签类别对待更改连通域的标签类别进行更改。

或者，修改策略还可以是上述修改策略的结合。如在一示例中，既有语义标签图中包括A、B、C、D、E、F、G共8类标签类别，其中，可以需要修改的为A、B、C、D、E，修改策略为：A、B、C分为第一组，其对应的结果语义标签为D；D、E分为第二组，其对应的结果语义标签的标签类别并未限制，可以随机修改。

当然，修改策略也可以由用户提前配置为其他策略。

容易理解的，通过前述的更改区域占比和/配置修改策略，可以实现对语义标签图的可控编辑，以及通过较少数量的既有语义标签图大量生成真实度较佳的合成语义标签图，从而提供更加丰富的变化检测数据样本。

步骤S400、生成合成语义标签图对应的第一遥感图像。

步骤S500、基于第一遥感图像、既有语义标签图对应的第二遥感图像、以及变化标签数据，获得遥感图像变化检测数据。

由于合成语义标签图并非已有的语义标签图，因此其并不具有对应的遥感图像。此时，为了构建所需的变化检测数据，需要生成合成语义标签图对应的第一遥感图像。可以理解的，作为本实施例的一种选择，可以利用现有的遥感图像生成神经网络模型，生成得到第一遥感图像。

或者，作为本实施例的另一种选择，还可以利用前述的既有语义标签图对应的真实遥感图像重新训练一个新的遥感图像生成神经网络模型，然后将合成语义标签图输入至对应的遥感图像生成神经网络模型，得到第一遥感图像。此时，得到的第一遥感图像和真实遥感图像更加贴近，进而可使得最终得到的遥感图像变化检测数据更加真实。

或者，作为本实施例的又一种选择，还可以利用前述的语义标签图对应的真实遥感图像重新训练一个新的遥感图像生成神经网络模型，然后分别将合成语义标签图和既有语义标签图输入至遥感图像生成神经网络模型，然后得到遥感图像生成神经网络模型输出的两幅遥感图像，也即是第一遥感图和第二遥感图。此时，得到第一遥感图像和第二遥感图像均为合成图像，可使得两者和变化标签数据构成的遥感图像变化检测数据训练效果更佳。

如此，本实施例中的第二遥感图像可以是在现有遥感数据库中可以找到的真实遥感图像，还可以是在执行本实施例提供的方法步骤中新生成的合成遥感图像。

在得到第一遥感图像、第二遥感图像和变化标签数据之后，即可构建得到遥感图像变化检测数据，也即是可以作为遥感影像变化检测神经网络训练所需的训练样本。当然，可以理解的，既有语义标签图、合成语义标签图、第一遥感图像和第二遥感图像均是同一尺寸。

不难看出，人工配准和人工标注导致神经网络训练所需的变化检测数据样本匮乏，而在遥感影像领域中，分割数据不需要配准操作，人工标注像素级语义标签相对变化检测数据更容易，从而存在大量经过人工标注的真实语义分割数据，基于此，本实施例在真实语义分割数据的语义标签图的基础上进行更改编辑和图像生成操作，以处理得到变化检测数据，不需要人工配准和标注，从而可以低成本的得到大量的变化检测数据。

基于上述实施例，提出本申请遥感图像变化检测数据生成方法第二实施例。

参阅图3，在本实施例中，步骤S400具体包括：

步骤S410、确定合成语义标签图对应的第一时相风格信息。

步骤S420、将第一时相风格信息和合成语义标签图输入至训练好的遥感图像生成对抗网络，获得第一遥感图像。

在遥感影像领域中，遥感变化检测一般是针对同一空间区域的不同时相的两幅遥感影像。因此，对于同一空间区域，随着时间的变化，同一地物不仅可能发生标签类别的变化，但更关键的是地物颜色的变化，如自然季节导致的颜色变化或者是人为因素导致的颜色变化，导致整个空间区域内颜色的搭配和空间分布等具有一种成像风格。甚至于随着时间的变化，拍摄遥感相机的设备硬件或者成像算法发生变化，也导致最终成像效果有差别，其也体现在成像风格上。由此，本实施例中，利用时相风格信息来反应遥感图像的图像风格。

如此，在执行步骤S400时，可以先从多个待选时相风格信息中筛选出生成第一遥感图像时的第一时相风格信息。

可以理解的，确定合成语义标签图对应的第一时相风格信息可以是随机确定，还可以是根据预设风格筛选策略确定。

如预设风格筛选策略可以是根据既有语义标签图的真实遥感图像确定。具体的，在执行步骤410时，获取用户确定的第一参考遥感图像，然后获得第一参考遥感图像的第一指定时相风格信息；最后将第一指定时相风格信息作为第一时相风格信息。

也即是用户可指定一第一参考遥感图像，其中，第一参考遥感图像可以是公开于公众可查阅的数据库中的遥感图像。然后可根据一图像成像风格计算器计算其成像风格，得到第一指定时相风格信息。并将其作为本实施例中，待生成的第一遥感图像的成像风格。如此，最终从公开遥感图像的成像风格中筛选出第一时相风格信息。

或者，预设风格筛选策略还可以是根据地貌风格、季节或者遥感卫星型号等维度确定。具体的，在执行步骤410时，向用户展示一风格选择界面，其中包括有地貌风格选择子界面，如沙漠城市风格控件、水乡城市风格控件、严寒城市风格控件、中原村镇风格控件、特大城市风格控件等；以及季节选择子界面，如春季控件、夏季控件、雨季控件、焊季控件等；以及遥感卫星选择子界面等。用户根据自身需求选择相应的控件，从而得到相应的预设风格筛选策略。从而依据预设风格筛选策略，从多个待选时相风格信息中筛选出符合用户要求维度的第一时相风格信息。

或者，作为一种实施方式，可以针对现有的真实遥感图像学习得到多种成像风格，从而获得前述的多个待选时相风格信息。具体的，当利用多个语义分割样本训练遥感图像生成对抗网络时，获得每个语义分割样本对应的实际时相风格信息。然后将实际时相风格信息作为待选时相风格信息。

如在一示例中，在利用多个语义分割样本训练遥感图像生成对抗网络具体可以包括：

步骤A10：将真实语义分割数据中大小为n×n×1的语义标签图作为语义分割样本输入到生成对抗网络的生成模型中，得到一个大小为n×n×3的预测图像。在一示例中，预测图像可以是RGB三通道图像。可以理解的，生成模型的期望输出是该语义标签对应的真实遥感图像，计算生成对抗网络输出的预测图像与期望输出之间的第一误差。

步骤A20：将得到的n×n×3的预测图像和n×n×1的语义标签图联接为n×n×4的第一特征图，将第一特征图输入到生成对抗网络的判别模型中，判别模型输出第一判别结果。容易理解的，判别模型输出的第一判别结果是一个在0至1之间的概率值。因输入图像是预测图像，判别模型的期望输出是假，即为0，将第一判别结果与期望输出0经过损失函数计算第二误差。

步骤A30：将真实语义分割数据对应的真实遥感图像与n×n×1的语义标签图联接为n×n×4的第二特征图输入到判别模型中，判别模型输出第二判别结果。第二判别结果也是一个在0至1之内的概率值。因输入图像是真实语义分割数据对应的真实遥感图像，判别模型的期望输出是真，即为1，将第二判别结果与期望输出1经过损失函数计算得到第三误差。

步骤A40：对第一误差、第二误差和第三误差进行反向传播，更新生成对抗网络的模型参数。

从真实语义分割数据集中获取新的真实语义分割数据，然后重复执行步骤A10至步骤A20，直至生成对抗网络的生成模型和判别模型达到平衡状态，训练完成，得到训练好的遥感图像生成对抗网络。

请参阅图4，在本示例中，遥感图像生成对抗网络还增设有一风格编码器，其计算每张输入至生成对抗网络中真实遥感图像的风格掩码，也即是实际时相风格信息。并在生成模型生成预测图像的过程中，将对应的实际时相风格信息也作为步骤A10的输入参与到图像生成过程中的计算，以控制生成的预测网络的风格。从而在训练完成后，遥感图像生成对抗网络不仅计算得到数量较为丰富且真实的实际时相风格信息，且训练得到的遥感图像生成对抗网络可以根据输入的语义标签图和实际时相风格信息训练得到具有和真实遥感图像风格相应、且真实度较高的遥感图像。如在一示例中，所有风格掩码会被保存在遥感图像生成对抗网络的风格库中，每个风格掩码以真实遥感图像的名字命名，从而作为待选时相风格信息。

进一步的，作为一种实施方式，第二遥感图像具体可通过如下方式获得：

步骤B10、确定既有语义标签图对应的第二时相风格信息。

其中，第二时相风格信息与第一时相风格信息不同。

步骤B20、将第二时相风格信息和既有语义标签图输入至遥感图像生成对抗网络，获得第二遥感图像。

第二时相风格信息用于对生成的第二遥感图像的风格进行控制，以使得最终生成的第二遥感图像的成像风格和第一遥感图像的成像风格不一致，以此来模拟真实双时相遥感图像数据不同时相之间的风格差异。第二时相风格信息如何确定可参阅与前述实施例中第一时相风格信息如何确定，本实施例不再赘述。

如也可由用户指定，即在执行步骤B10时，获取用户确定的第二参考遥感图像；获得第二参考遥感图像的第二指定时相风格信息；将第二指定时相风格信息作为第二时相风格信息。如此，最终从公开遥感图像的成像风格中筛选出一种不同于第一时相风格信息的成像风格。

容易理解的，本实施例在生成的第一遥感图像和生成的第二遥感图像均设定不同的成像风格，以模拟真实双时相遥感图像数据不同时相之间的风格差异，避免遥感图像变化检测神经网络对真实中不同时相非地物的误检。

为使得本领域技术人员，更好地理解本申请权利要求的保护范围。以下通过具体的应用场景中的具体实施示例，对本申请权利要求记载的技术方案进行解释说明，可以理解的是，以下示例仅用于解释本申请，而不用于限定本申请权利要求的保护范围。

示例1：建筑物变化检测是遥感图像变化检测领域中基础且十分重要的问题，用于预测多时段遥感影像中是否存在建筑物的新建拆除等变化。

请参阅图5，图5为本示例1的整体处理流程示意图。请参阅图6，图6为整体处理流程中语义标签更改编辑步骤的细化示意图。请参阅图7，其左侧为语义标签图A-seg，右侧为第一遥感图像A。图8中，左侧为合成语义标签图B-seg，右侧为第二遥感图像B。图9为变化标签数据Label-1。

请参阅图5，本示例中，首先利用获取的公开建筑物语义分割数据库xview2中的真实语义分割数据训练生成对抗网络，得到训练好的遥感图像生成对抗网络。在训练过程中，通过计算真实语义分割数据对应的遥感图像的风格掩码的方式，得到反应各个真实遥感图像的成像风格的实际时相风格信息。所有的实际时相风格信息都保存在风格库中。生成对抗网络的生成模型的输入是语义标签图和实际时相风格信息，输出的是与语义标签图对应的预测合成图像。

再单独取出xview2数据集中的所有语义标签图作为既有语义标签图，每个语义标签图中只有两种标签类别的语义标签，即背景(黑色区域，像素值为0)和建筑物(白色区域，像素值为255)。任取一张语义标签图A-seg，对其进行语义标签更改编辑，具体先采用连通域分析算法得到该语义标签图A-seg中所有建筑物语义标签对应的连通域集合C，然后从连通域集合C中随机选择数量n(n为自然数，具体值可提前配置)的独立建筑物连通域作为待更改连通域。再对选择的这些待更改连通域进行标签类别更改，将其对应的语义标签由建筑物修改为背景，从而得到合成语义标签图B-seg。具体的，可将选择的这些独立建筑物连通域内的像素值从255改为0。

然后根据语义标签图A-seg和语义标签图B-seg之间的变化，得到变化标签数据Label-1，如图9所示。具体为，在一张像素值全为0、且和语义标签图A-seg的尺寸相同的黑色掩膜上，将语义标签图A-seg和语义标签图B-seg之间像素值改变的区域对应的部分的像素值由0改为255，得到变化标签数据Label-1，以此反映的就是语义标签图A-seg与语义标签图B-seg的差异。该变化标签数据Label-1为二值变化标签。

之后确定语义标签图A-seg的第一时相风格信息S1和语义标签图B-seg的第二时相风格信息S2。具体可以是由用户选择xview2数据集中两张真实遥感图像，并将两张真实遥感图像各自的风格分别指定给第一时相风格信息S1和语义标签图B-seg，从而得到第一时相风格信息S1和第二时相风格信息S2。

最后，取出遥感图像生成对抗网络的生成模型，将语义标签图A-seg和第一时相风格信息S1输入到生成模型中，得到第一遥感图像A。将语义标签图B-seg和第二时相风格信息S2输入到生成模型中，得到第二遥感图像B。第一遥感图像A、第二遥感图像B及变化标签数据Label-1即构成一对建筑物变化检测数据。

示例2：利用多标签类别语义分割数据生成通用变化检测数据

遥感图像变化检测神经网络的通用变化检测用于提取两期遥感影像中地物类型发生变化的区域。通用变化检测提取的变化类型十分多样，不仅可以识别语义变化，也可以进一步识别出变化图斑的变化标签类别。

请参阅图10，其左侧为语义标签图D-seg，右侧为第一遥感图像D。图11中，左侧为合成语义标签图E-seg，右侧为第二遥感图像E。图12为变化标签数据Label-2。

首先利用获取的公开多标签类别语义分割数据集loveDA中的多标签类别真实语义分割数据训练生成对抗网络，得到训练好的遥感图像生成对抗网络。在训练过程中，通过计算多标签类别真实语义分割数据对应的遥感图像的风格掩码的方式，得到反应各个多标签类别真实遥感图像的成像风格的实际时相风格信息。所有的实际时相风格信息都保存在风格库中。生成对抗网络的生成模型的输入是语义标签图和实际时相风格信息，输出的是与语义标签图对应的预测合成图像。

再单独取出loveDA数据库中所有语义标签图。语义标签图中的共有7类语义标签，包括：建筑物、道路、水体、裸地、林地、农业用地以及背景。任取一张语义标签图D-seg，采用连通域分析算法得到该语义标签图D-seg中所有标签类别的语义标签的目标连通域集合F。从目标连通域集合F中随机选择数量m(m为自然数，具体值可提前配置)个独立轮廓区域，作为待更改连通域。其中，待更改连通域的标签类别可以是7类语义标签中的任一种，并不限定。随机将选出待更改连通域的语义标签类别更改为7类标签中的其他语义标签，从而得到合成语义标签图E-seg。

然后根据语义标签图D-seg和语义标签图E-seg之间的变化，得到变化标签数据Label-2，如图12所示。具体为，在一张像素值全为0、且和语义标签图D-seg的尺寸相同的黑色掩膜上，先标记地物标签类别发生变化的区域。然后将其中，由建筑物语义标签改变为其他标签类别的区域的像素值由0改为255。如果是非建筑物的其他语义标签，则将对应的区域的像素值由0改为128。如此，得到的变化标签数据Label-2上就有三种像素值，分别代表三种变化标签类别，0代表未发生语义标签变化，128代表非建筑物的地物发生语义变化，255代表建筑物发生语义变化。相较于二值变化标签，本示例中变化标签数据Label-2展示的变化标签类别的种类可以分的更加细致。

之后确定语义标签图D-seg的第一时相风格信息S3和语义标签图E-seg的第二时相风格信息S4。具体可以是由用户选择loveDA数据集中两张多标签类别真实遥感图像，并将两张多标签类别真实遥感图像各自的风格分别指定给第一时相风格信息S3和语义标签图E-seg，从而得到第一时相风格信息S1和第二时相风格信息S4。

最后，取出遥感图像生成对抗网络的生成模型，将语义标签图D-seg和第一时相风格信息S1输入到生成模型中，得到第一遥感图像D。将语义标签图E-seg和第二时相风格信息S2输入到生成模型中，得到第二遥感图像B。第一遥感图像D、第二遥感图像E及变化标签数据Label-2即构成一对建筑物变化检测数据。

不难看出，本申请实施例利用既有的语义分割数据来生成变化检测数据，绕过了真实双时相变化检测数据难配准、难打标的问题，从而可以得到数量较多，真实度较高的变化检测数据。且如上示例中，通过引入时相风格信息，实现对生成的合成遥感图像的风格变化控制，以模拟真实变化检测数据的时相风格变化。

基于同一发明构思，请参阅图13，第二方面，本申请还提供了遥感图像变化检测数据生成装置，包括：

数据获取模块，获取既有语义标签图；

数据更改模块，更改既有语义标签图的至少部分像素对应的标签类别，获得合成语义标签图；

变化确定模块，用于确定既有语义标签图与合成语义标签图之间的变化标签数据；

图像生成模块，用于生成合成语义标签图对应的第一遥感图像；

样本生成模块，用于基于第一遥感图像、既有语义标签图对应的第二遥感图像以及变化标签数据，获得遥感图像变化检测数据。

在本申请可能的一实施例中，数据更改模块包括：

连通域识别单元，用于识别既有语义标签图中的目标连通域集合；其中，目标连通域集合为所有类别或者部分类别的语义标签对应的连通域的集合；

区域确定单元，用于确定目标连通域集合内的至少一个待更改连通域；

标签类别更改单元，用于更改各待更改连通域对应的标签类别，获得合成语义标签图。

在本申请可能的一实施例中，区域确定单元，具体用于获取更改区域占比；基于更改区域占比，获得待更改连通域数量；基于待更改连通域数量，确定目标连通域集合内的待更改连通域。

在本申请可能的一实施例中，数据更改模块，具体包括：

策略确定单元，用于基于待更改连通域的原有标签类别，确定目标修改策略；

数据更改单元，用于基于目标修改策略，更改各待更改连通域的标签类别，获得合成语义标签图。

在本申请可能的一实施例中，图像生成模块，具体包括：

第一风格确定单元，用于确定合成语义标签图对应的第一时相风格信息；

第一图像生成单元，用于将第一时相风格信息和合成语义标签图输入至训练好的遥感图像生成对抗网络，获得第一遥感图像。

在本申请可能的一实施例中，第一风格确定单元，具体用于获取用户确定的第一参考遥感图像；获得第一参考遥感图像的第一指定时相风格信息；将指定时相风格信息作为第一时相风格信息。

在本申请可能的一实施例中，装置还包括：

第二风格确定单元，用于确定既有语义标签图对应的第二时相风格信息；第二时相风格信息与第一时相风格信息不同；

第二图像生成单元，用于将第二时相风格信息和既有语义标签图输入至遥感图像生成对抗网络，获得第二遥感图像。

在本申请可能的一实施例中，第二风格确定单元，具体用于获取用户确定的第二参考遥感图像；获得第二参考遥感图像的第二指定时相风格信息；将第二指定时相风格信息作为第二时相风格信息。

需要说明的是，本实施例中的关于遥感图像变化检测数据生成装置的各实施方式以及其达到的技术效果可参照前述实施例中遥感图像变化检测数据生成方法的各种实施方式，这里不再赘述。

此外，本申请实施例还提出一种计算机存储介质，存储介质上存储有遥感图像变化检测数据生成程序，遥感图像变化检测数据生成程序被处理器执行时实现如上文的遥感图像变化检测数据生成方法的步骤。因此，这里将不再进行赘述。另外，对采用相同方法的有益效果描述，也不再进行赘述。对于本申请所涉及的计算机可读存储介质实施例中未披露的技术细节，请参照本申请方法实施例的描述。确定为示例，程序指令可被部署为在一个计算设备上执行，或者在位于一个地点的多个计算设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个计算设备上执行。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，上述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，上述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(RandomAccessMemory，RAM)等。

另外需说明的是，以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本申请提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件的方式来实现，当然也可以通过专用硬件包括专用集成电路、专用CPU、专用存储器、专用元器件等来实现。一般情况下，凡由计算机程序完成的功能都可以很容易地用相应的硬件来实现，而且，用来实现同一功能的具体硬件结构也可以是多种多样的，例如模拟电路、数字电路或专用电路等。但是，对本申请而言更多情况下软件程序实现是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在可读取的存储介质中，如计算机的软盘、U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，RandomAccessMemory)、磁碟或者光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例的方法。

以上仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (11)

1.一种遥感图像变化检测数据生成方法，其特征在于，所述方法包括：

获取既有语义标签图；

更改所述既有语义标签图的至少部分像素对应的标签类别，获得合成语义标签图；

确定所述既有语义标签图与所述合成语义标签图之间的变化标签数据；

生成所述合成语义标签图对应的第一遥感图像；

基于所述第一遥感图像、所述既有语义标签图对应的第二遥感图像以及所述变化标签数据，获得遥感图像变化检测数据。

2.根据权利要求1所述的遥感图像变化检测数据生成方法，其特征在于，所述更改所述既有语义标签图的至少部分像素对应的标签类别，获得合成语义标签图，包括：

识别所述既有语义标签图中的目标连通域集合；所述目标连通域集合为所有类别或者部分类别的语义标签对应的连通域的集合；

确定所述目标连通域集合内的至少一个待更改连通域；

更改各所述待更改连通域对应的标签类别，获得所述合成语义标签图。

3.根据权利要求2所述的遥感图像变化检测数据生成方法，其特征在于，所述确定所述目标连通域集合内的至少一个待更改连通域，包括：

获取更改区域占比；

基于所述更改区域占比，获得待更改连通域数量；

基于所述待更改连通域数量，确定所述目标连通域集合内的待更改连通域。

4.根据权利要求3所述的遥感图像变化检测数据生成方法，其特征在于，所述更改各所述待更改连通域的标签类别，获得所述合成语义标签图，包括：

基于所述待更改连通域的原有标签类别，确定目标修改策略；

基于所述目标修改策略，更改各所述待更改连通域的标签类别，获得所述合成语义标签图。

5.根据权利要求1至4任一项所述的遥感图像变化检测数据生成方法，其特征在于，所述生成所述合成语义标签图对应的第一遥感图像，包括：

确定所述合成语义标签图对应的第一时相风格信息；

将所述第一时相风格信息和所述合成语义标签图输入至训练好的遥感图像生成对抗网络，获得所述第一遥感图像。

6.根据权利要求5所述的遥感图像变化检测数据生成方法，其特征在于，所述基于所述第一遥感图像、所述既有语义标签图对应的第二遥感图像、以及所述变化标签数据，获得遥感图像变化检测数据之前，所述方法还包括：

确定所述既有语义标签图对应的第二时相风格信息；所述第二时相风格信息与所述第一时相风格信息不同；

将所述第二时相风格信息和所述既有语义标签图输入至所述遥感图像生成对抗网络，获得所述第二遥感图像。

7.根据权利要求6所述的遥感图像变化检测数据生成方法，其特征在于，所述确定所述合成语义标签图对应的第一时相风格信息，包括：

获取用户确定的第一参考遥感图像；

获得所述第一参考遥感图像的第一指定时相风格信息；

将所述指定时相风格信息作为所述第一时相风格信息；和/或

确定所述既有语义标签图对应的第二时相风格信息，包括：

获取用户确定的第二参考遥感图像；

获得所述第二参考遥感图像的第二指定时相风格信息；

将所述第二指定时相风格信息作为所述第二时相风格信息。

8.一种遥感图像变化检测数据生成装置，其特征在于，包括：

数据获取模块，获取既有语义标签图；

数据更改模块，更改所述既有语义标签图的至少部分像素对应的标签类别，获得合成语义标签图；

变化确定模块，用于确定所述既有语义标签图与所述合成语义标签图之间的变化标签数据；

图像生成模块，用于生成所述合成语义标签图对应的第一遥感图像；

样本生成模块，用于基于所述第一遥感图像、所述既有语义标签图对应的第二遥感图像以及所述变化标签数据，获得遥感图像变化检测数据。

9.根据权利要求8所述的遥感图像变化检测数据生成装置，其特征在于，所述数据更改模块包括：

连通域识别单元，用于识别所述既有语义标签图中的目标连通域集合；其中，所述目标连通域集合为所有类别或者部分类别的语义标签对应的连通域的集合；

区域确定单元，用于确定所述目标连通域集合内的至少一个待更改连通域；

标签类别更改单元，用于更改各所述待更改连通域对应的标签类别，获得所述合成语义标签图；

其中，所述区域确定单元，具体用于获取更改区域占比；基于所述更改区域占比，获得待更改连通域数量；基于所述待更改连通域数量，确定所述目标连通域集合内的待更改连通域；和/或

所述数据更改模块，具体包括：

策略确定单元，用于基于所述待更改连通域的原有标签类别，确定目标修改策略；

数据更改单元，用于基于所述目标修改策略，更改各所述待更改连通域的标签类别，获得所述合成语义标签图；和/或

所述图像生成模块，具体包括：

第一风格确定单元，用于确定所述合成语义标签图对应的第一时相风格信息；

第一图像生成单元，用于将所述第一时相风格信息和所述合成语义标签图输入至训练好的遥感图像生成对抗网络，获得所述第一遥感图像；

其中，所述第一风格确定单元，具体用于获取用户确定的第一参考遥感图像；获得所述第一参考遥感图像的第一指定时相风格信息；将所述指定时相风格信息作为所述第一时相风格信息；和/或

所述装置还包括：

第二风格确定单元，用于确定所述既有语义标签图对应的第二时相风格信息；所述第二时相风格信息与所述第一时相风格信息不同；

第二图像生成单元，用于将所述第二时相风格信息和所述既有语义标签图输入至所述遥感图像生成对抗网络，获得所述第二遥感图像；

其中，所述第二风格确定单元，具体用于获取用户确定的第二参考遥感图像；获得所述第二参考遥感图像的第二指定时相风格信息；将所述第二指定时相风格信息作为所述第二时相风格信息。

10.一种遥感图像变化检测数据生成设备，其特征在于，包括：处理器，存储器以及存储在所述存储器中的遥感图像变化检测数据生成程序，所述遥感图像变化检测数据生成程序被所述处理器运行时实现如权利要求1至7中任一项所述遥感图像变化检测数据生成方法的步骤。

11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有遥感图像变化检测数据生成程序，所述遥感图像变化检测数据生成程序被处理器执行时实现如权利要求1至7任一项所述的遥感图像变化检测数据生成方法的步骤。