CN115170575A - 遥感影像变化检测及模型训练的方法及设备 - Google Patents

遥感影像变化检测及模型训练的方法及设备 Download PDF

Info

Publication number
CN115170575A
CN115170575A CN202211098516.5A CN202211098516A CN115170575A CN 115170575 A CN115170575 A CN 115170575A CN 202211098516 A CN202211098516 A CN 202211098516A CN 115170575 A CN115170575 A CN 115170575A
Authority
CN
China
Prior art keywords
remote sensing
image
change detection
network
comparison
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211098516.5A
Other languages
English (en)
Other versions
CN115170575B (zh
Inventor
陈伟涛
孙佰贵
李�昊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba China Co Ltd
Original Assignee
Alibaba China Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba China Co Ltd filed Critical Alibaba China Co Ltd
Priority to CN202211098516.5A priority Critical patent/CN115170575B/zh
Publication of CN115170575A publication Critical patent/CN115170575A/zh
Application granted granted Critical
Publication of CN115170575B publication Critical patent/CN115170575B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供一种遥感影像变化检测及模型训练的方法及设备。本申请的方法，通过将两期遥感影像的标签信息映射到对应颜色生成对应的着色图，作为模型的输入数据，将着色图和两期遥感影像一起输入训练好的变化检测模型，通过变化检测模型可以分别根据遥感影像获取两期遥感影像的第一比较特征，根据着色图获取两期遥感影像的第二比较特征，再将基于不同模态数据获取的比较特征进行融合，得到融合编码比较特征，基于融合编码比较特征解码得到变化检测结果，从而利用遥感影像和已有的标签信息进行变化检测得到精准的变化检测结果，能够提高变化检测结果的准确度。

Description

遥感影像变化检测及模型训练的方法及设备
技术领域
本申请涉及数据处理技术，尤其涉及一种遥感影像变化检测及模型训练的方法及设备。
背景技术
遥感影像变化检测是根据不同时间的多次观测到的遥感影像来确定地表覆盖状态变化的过程，实时精确地获取地表变化信息对于自然资源管理、生态环境保护等具有重要意义。近年来，深度学习已经广泛应用于两期遥感影像的变化检测任务中，比如新增建筑、建筑拆除、建筑改建的检测，用于国土管理过程中，农地、耕地、林地变化检测用于耕农林地的监测和保护等。
目前基于遥感影像的变化检测模型，仅根据输入的两期遥感影像来检测两期遥感影像中地物的变化。由于地物的变化情况复杂，既涉及各种复杂的地形地貌的多种变化类别，又涉及到不同时期下不同的采样环境，同时还受到各种不同人工后处理的影响，不同地物在遥感影像中的影像区别并不是很大，因此，单一基于输入的遥感影像进行地物变化检测的准确度较低。
发明内容
本申请提供一种遥感影像变化检测及模型训练的方法及设备，用以解决遥感影像的变化检测模型的准确度低的问题。
第一方面，本申请提供一种遥感影像变化检测方法，包括：
获取不同时刻采集的两期遥感影像，以及所述两期遥感影像的标签信息；根据所述两期遥感影像的标签信息和预设的映射信息，生成所述标签信息对应的着色图；将所述着色图和所述两期遥感影像输入变化检测模型，通过所述变化检测模型根据遥感影像获取两期遥感影像的第一比较特征，根据所述着色图获取两期遥感影像的第二比较特征，将所述第一比较特征和所述第二比较特征进行融合，得到融合编码比较特征，并根据融合编码比较特征解码得到所述两期遥感影像的变化检测结果。
第二方面，本申请提供一种用于建筑物变化检测的遥感影像变化检测方法，包括：
获取用户指定的在不同时刻采集的两期遥感影像，以及所述两期遥感影像的标签信息，所述两期遥感影像中包含目标地域范围内的地物；根据所述两期遥感影像的标签信息和预设的映射信息，生成所述标签信息对应的着色图；将所述着色图和所述两期遥感影像输入变化检测模型，通过所述变化检测模型根据遥感影像获取两期遥感影像的第一比较特征，根据所述着色图获取两期遥感影像的第二比较特征，将所述第一比较特征和所述第二比较特征进行融合，得到融合编码比较特征，并根据融合编码比较特征解码得到所述目标地域范围内的地物的变化检测结果；根据所述目标地域范围内的地物的变化检测结果，确定所述目标地域范围内建筑物的变化情况。
第三方面，本申请提供一种遥感影像变化检测模型训练方法，包括：
获取不同时刻采集的两期遥感数据，所述遥感数据包括多个不同地表范围的遥感影像，同一地表范围的两期遥感影像组成一个训练样本组，并获取多个训练样本组的弱标签信息；根据训练样本组的弱标签信息和预设的映射信息，生成该训练样本组对应的着色图；将训练样本组及对应的着色图输入变化检测模型，通过所述变化检测模型根据训练样本获取两期遥感影像的第一比较特征，根据着色图获取两期遥感影像的第二比较特征，将所述第一比较特征和所述第二比较特征进行融合，得到融合编码比较特征，并根据融合编码比较特征解码得到变化检测结果；根据所述变化检测结果和所述弱标签信息，计算损失值，并根据损失值更新所述变化检测模型的参数。
第四方面，本申请提供一种电子设备，包括：处理器，以及与所述处理器通信连接的存储器；所述存储器存储计算机执行指令；所述处理器执行所述存储器存储的计算机执行指令，以实现上述第一方面或第二方面所述的方法。
第五方面，本申请提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现上述第一方面、第二方面或第三方面所述的方法。
本申请提供的遥感影像变化检测及模型训练的方法及设备，通过将两期遥感影像的标签信息映射到对应颜色生成对应的着色图，作为模型的输入数据，将着色图和两期遥感影像一起输入训练好的变化检测模型，通过变化检测模型可以分别根据遥感影像获取两期遥感影像的比较特征，根据着色图获取两期遥感影像的比较特征，再将基于不同模态数据获取的比较特征进行融合，得到融合编码比较特征，基于融合编码比较特征解码得到变化检测结果，从而利用遥感影像和已有的标签信息进行变化检测，能够提高变化检测结果的准确度。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
图1为本申请所基于的一种遥感影像变化检测的系统架构的示意图；
图2为本申请一示例实施例提供的遥感影像变化检测方法流程图；
图3为本申请一示例实施例提供的变化检测模型的总体框架图；
图4为本申请一示例实施例提供的构建多个层次比较特征的总体框架图；
图5为本申请另一示例实施例提供的变化检测模型的总体框架图；
图6为本申请一示例实施例提供的遥感影像变化检测模型训练方法流程图；
图7为本申请一示例实施例提供的训练过程中变化检测模型的总体框架图；
图8为本申请另一示例实施例提供的训练过程中变化检测模型的总体框架图；
图9为本申请一示例实施例提供的遥感影像变化检测装置的结构示意图；
图10为本申请一示例实施例提供的遥感影像变化检测模型训练装置的结构示意图；
图11为本申请一示例实施例提供的电子设备的结构示意图。
通过上述附图，已示出本申请明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围，而是通过参考特定实施例为本领域技术人员说明本申请的概念。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
目前基于遥感影像的变化检测模型，仅根据输入的两期遥感影像来检测两期遥感影像中地物的变化。由于地物的变化情况复杂，既涉及各种复杂的地形地貌的多种变化类别，又涉及到不同时期下不同的采样环境，同时还受到各种不同人工后处理的影响，不同地物在遥感影像中的影像区别并不是很大，因此，单一基于输入的遥感影像进行地物变化检测的准确度较低。
另外目前的变化检测模型的训练需要强监督数据集以提高模型的准确度，需要针对各种复杂情况的大量数据进行精准的人工标注，来完成用于模型学习的强监督数据集的构造，这就需要大量经过专业培训的标注人员完成人工标注。在高精准度的标注要求下，即使经过专业培训的熟练的标注人员单位时间内可完成的工作量也很有限，效率非常低。而相比于强监督数据，弱监督数据的获取相对更加容易、效率更高，但同时基于弱监督数据监督下，变化检测模型的准确度低。
针对变化检测模型的准确度低的技术问题，本申请提供一种变化检测模型训练方法，以及基于训练好的变化检测模型的遥感影像变化检测方法。本申请提供的遥感影像变化检测方法，对于不同时刻采集的两期遥感影像，通过获取两期遥感影像的标签信息，根据两期遥感影像的标签信息和预设的映射信息，生成标签信息对应的着色图，将标签信息映射成对应的着色图，并作为变化检测模型的一种模态的输入数据，将着色图和两期遥感影像输入训练好的变化检测模型，通过变化检测模型根据遥感影像和着色图分别获取两期遥感影像的比较特征，将根据遥感影像获取的比较特征和根据着色图获取的比较特征进行融合，能够利用根据遥感影像获取的比较特征来修正基于标签信息（对应的着色图）获取的比较特征，得到融合编码比较特征，并根据融合编码比较特征解码得到两期遥感影像的变化检测结果，达到基于遥感影像修正已有的标签信息来获取精准变化标签的效果，从而提高变化检测模型的准确度。
另外，在进行遥感影像变化检测及变化检测模型训练过程中，使用的标签信息可以是两期遥感影像的弱标签信息，将弱标签信息转化为着色图作为变化检测模型的输入，来强化遥感影像中不同地物，能够达到基于遥感影像修正弱标签信息的效果，从而得到精准地的变化标签，提高变化检测模型的准确度。其中弱标签信息是指具有标签不够完整，有一定的噪声标签等特征的标签信息，弱标签信息无需经人工精准标注，通过自动识别和/或人工简单修正即可得到，不要求具有很高的精准度，容易获取到。
参考图1，图1为本申请所基于的一种遥感影像变化检测的系统架构的示意图，图1所示系统架构具体可包括服务器以及终端。其中，服务器具体可为设置在云端的服务器集群，该服务器中将存储有预设的映射信息和变化检测模型，通过服务器中预设运算逻辑，服务器可实现遥感影像变化检测等多种运算功能。
终端具体可为具有网络通信功能、运算功能以及信息显示功能的硬件设备，其包括但不限于智能手机、平板电脑、台式电脑、物联网设备等。
通过与服务器的通信交互，用户可以通过终端向服务器提交不同时刻采集的两期遥感影像和标签信息。服务器可以根据两期遥感影像的标签信息和预设的映射信息，生成标签信息对应的着色图；将着色图和两期遥感影像输入训练好的变化检测模型，通过变化检测模型根据遥感影像和着色图分别获取两期遥感影像的比较特征，将根据遥感影像获取的比较特征和根据着色图获取的比较特征进行融合，得到融合编码比较特征，并根据融合编码比较特征解码得到两期遥感影像的变化检测结果。服务器将变化检测结果反馈给终端。终端可以展示变化检测结果。
本申请提供的方法，可以用于用户指定的任意两期遥感影像进行变化检测，也可以应用于对多期遥感影像进行变化检测。在实际应用中若需要基于多个不同时刻采集的目标地域范围的多期遥感影像，来检测目标地域范围内地物的连续多次的变化情况，可以分别对多期遥感影像中相邻两期遥感影像进行变化检测，得到两期遥感影像的变化检测结果，基于每相邻两期遥感影像的变化检测结果，来生成多期遥感影像的连续多次的变化情况。
下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请的实施例进行描述。
图2为本申请一示例实施例提供的遥感影像变化检测方法流程图。本实施例提供的遥感影像变化检测方法的执行主体为上述提及的服务器。如图2所示，该方法具体步骤如下：
步骤S201、获取不同时刻采集的两期遥感影像，以及两期遥感影像的标签信息。
在实际应用中进行遥感影像变化检测时，通常是对用户指定的在两个不同时刻采集到的两期遥感影像进行变化检测，以确定两期遥感影像中地表覆盖状态的变化情况。其中，每一期遥感数据可以包括多个覆盖不同地表范围的遥感影像，两期的遥感影像成对出现，覆盖同一地表范围的两期遥感影像为一对遥感影像，按照实际需要可以针对每一对（或用户指定的若干对）覆盖同一地表范围的两期遥感影像进行变化检测。
对任一对（两期）遥感影像进行变化检测的过程均一致，下面以对覆盖同一地表范围的一对（两期）遥感影像进行变化检测为例，对变化检测的流程进行示例性地说明。
其中，两期遥感影像的标签信息可以包括两期遥感影像的变化标签，或者可以包括两期遥感影像分别对应的地物类目标签。
本实施例中，标签信息具体可以通过现有技术中对应标签的识别方法实现，例如，两期遥感影像的变化标签可以利用经过预训练的变化检测模型确定，遥感影像分别对应的地物类目标签可以通过训练好对模型或者结合其他卫星数据采样得到，此处不做具体限定。
需要说明的是，本实施例中两期遥感影像的标签信息可以是弱标签信息，获取两期遥感影像的弱标签信息时无需人工精准标注，通过自动识别和/或人工简单修正即可得到，不要求具有很高的精准度，容易获取到。
步骤S202、根据两期遥感影像的标签信息和预设的映射信息，生成标签信息对应的着色图。
其中，预设的映射信息包含不同的标签值对应的颜色信息，用于将不同的标签值映射到不同的颜色。
本实施例中，根据预设的映射信息，将两期遥感影像的标签信息映射到不同的颜色，生成对应的着色图。该着色图对应的地表范围与两期遥感影像对应的地表范围相同，并且着色图中的区域与两期遥感影像中的区域对应。遥感影像中同一区域对应一种地物类目，不同区域对应的地物类目可能相同也可能不同。
示例性地，标签信息代表不同含义时，对应的映射信息不同。例如，若标签信息为两期遥感影像的变化标签，则映射信息包含每种变化标签值对应的颜色信息。基于映射信息将变化标签映射到对应的颜色，从而生成一个表示两期遥感影像变化信息的着色图。
例如，若标签信息包括两期遥感影像分别对应的地物类目标签，则映射信息包含每种地物类目标签值对应的颜色信息。基于该映射信息，分别将每一期遥感影像对应的地物类目标签映射到对应颜色，生成一个表示该期遥感影像的地物类目信息的着色图，得到两期遥感影像分别对应的着色图，也即得到两个着色图。
示例性地，若标签信息包括两期遥感影像分别对应的地物类目标签，预设的映射信息可以包含每种变化标签值对应的颜色信息，这种情况下将两期遥感影像分别对应的地物类目标签转换为两期遥感影像的变化标签，然后基于映射信息将变化标签映射到对应的颜色，从而生成一个表示两期遥感影像变化信息的着色图。
通过将两期遥感影像的标签信息映射到对应颜色生成对应的着色图，可以将标签信息转换为模型可接收的输入数据，以向模型提供除遥感影像之外的另一种模态的输入数据。
步骤S203、将着色图和两期遥感影像输入变化检测模型，通过变化检测模型根据遥感影像获取两期遥感影像的第一比较特征，根据着色图分别获取两期遥感影像的第二比较特征，将第一比较特征和第二比较特征进行融合，得到融合编码比较特征，并根据融合编码比较特征解码得到两期遥感影像的变化检测结果。
将着色图和两期遥感影像这两种不同模态的数据输入训练好的变化检测模型，通过变化检测模型可以分别根据遥感影像获取两期遥感影像的第一比较特征，根据着色图获取两期遥感影像的第二比较特征，再将基于不同模态数据获取的比较特征（包括第一比较特征和第二比较特征）进行融合，从而利用遥感影像对标签信息进行修正，得到融合编码比较特征，基于融合编码比较特征解码得到变化检测结果，能够提高变化检测结果的准确度。
示例性地，在得到变化检测结果之后，可以通过可视化界面展示变化检测结果，或者将变化检测结果根据预设方式发送至指定终端等，变化检测结果的输出和具体使用方式可以根据实际应用场景的需要进行设置和调整，此处不做具体限定。
本实施例通过将两期遥感影像的标签信息映射到对应颜色生成对应的着色图，作为模型的输入数据，将着色图和两期遥感影像一起输入训练好的变化检测模型，通过变化检测模型可以分别根据遥感影像获取两期遥感影像的比较特征，根据着色图获取两期遥感影像的比较特征，再将基于不同模态数据获取的比较特征进行融合，得到融合编码比较特征，基于融合编码比较特征解码得到变化检测结果，从而利用遥感影像对已有的标签信息进行修正得到精准的变化标签，能够提高变化检测结果的准确度。
在一可选实施例中，标签信息包括两期遥感影像中区域的变化标签，映射信息包括不同的变化标签对应的颜色信息。上述步骤S202中具体可以采用如下方式生成着色图：
初始化变化着色图中每一区域的颜色信息为预设值，变化着色图中的区域与两期遥感影像中的区域对应；按照映射信息，将变化着色图中的区域上色成区域的变化标签对应的颜色，得到变化着色图。
其中，预设值可以为0，或者可以为其他值，此处不做具体限定。
示例性地，以两期遥感影像I1和I2中某一区域前期为绿地，后期变推填土为例，假设标签信息为两期遥感影像的变化标签的弱标签信息，该区域的变化标签值为9，表示该区域由绿地变推填土，映射信息中变化标签值9映射到绿色，绿色可以表示为(0, 255, 0)。那么，可以将变化着色图IS中变化标签值为9的区域上色成绿色，可以表示为：IS(y==9) =(0, 255, 0)。
上完色后，标签信息（包含各种类型的变化标签）就转化成一幅能够可视化的着色图，该着色图后续进一步作为变化检测模型的一种模态的输入数据。
通过该实施例，可以在不清楚前后期遥感图像的地物类目，只有地物类目变化信息的情况下，将包括两期遥感影像地物类目的变化标签的标签信息进行上色，转换为变化检测模型的一种模态的输入数据。
参见图3，图3为本申请一示例实施例提供的变化检测模型的总体框架图，基于上述将标签信息转换为一幅变化着色图的情况，变化检测模型可以包括：结构相同的第一子网络、第二子网络、第三子网络，以及多模态融合网络和第一解码器。
其中，第一子网络与第二子网络共享参数，第一子网络与第三子网络不共享参数。
同构但不共享参数的第一子网络和第二子网络构成孪生编码网络，分别用于提取一期遥感影像的图像特征，得到两期遥感影像的图像特征。进一步地，比较两个子网络提取的两期遥感影像的图像特征可以得到两期遥感影像的第一比较特征。第三子网络用于根据变化着色图提取两期遥感图像的第二比较特征。多模态融合网络用于将两期遥感影像的第一比较特征和第二比较特征融合，得到融合编码比较特征。第一解码器用于对融合编码比较特征进行解码得到变化检测结果。
本实施例中，上述步骤S203具体可以采用如下方式实现：将两期遥感影像（如图3中所示的I1和I2）分别输入第一子网络和第二子网络，通过第一子网络和第二子网络分别提取一期遥感影像的图像特征，得到两期遥感影像的图像特征（如图3中所示的I1fea和I2fea）。进一步地，对两个子网络提取的两期遥感影像的图像特征进行比较操作，得到两期遥感影像的第一比较特征（如图3中所示的Img）。
可选地，上述比较操作可以通过将两期遥感影像的图像特征相减，取差值的绝对值，得到两期遥感影像的第一比较特征。可选地，上述比较操作可以通过将两期遥感影像的图像特征连接，作为两期遥感影像的第一比较特征。
将变化着色图（如图3中所示的IS）输入第三子网络，通过第三子网络提取两期遥感影像的第二比较特征（如图3中所示的Nlcd）。
将两期遥感影像的第一比较特征和第二比较特征这两种基于不同模态数据获取的特征输入多模态融合网络，通过多模态融合网络对第一比较特征和第二比较特征进行融合，得到融合编码比较特征（如图3中所示的M）。
融合编码比较特征输入第一解码器，通过第一解码器对融合编码比较特征进行解码，得到变化检测结果。
示例性地，各个子网络可以采用ResNet（Deep residual network，深度残差网络）、HRnet（High-Resolution Net）等用于提取图像特征的神经网络实现，此处不做具体限定。
具体地，每个子网络可以包括4个模块，分别提取4个层次的特征。图4示出了基于四个模块与多模态融合网络构建4个层次的比较特征的总体框架，参见图4，有填充色的模块表示针对两期遥感影像进行特征编码的孪生编码网络（包括第一子网络和第二子网络）的四个模块，不具有填充色的模块表示针对着色图进行特征编码的神经网络（包括第三子网络）的四个模块。图4中未示出孪生编码网络内部各个子网络的结构。
首先，通过每个子网络的第一个模块提取第一个层次的特征：
将前一期遥感影像I1输入第一子网络（用f1表示）的第一个模块（用f1_1表示），提取前一期遥感影像I1的第一层次的图像特征（用I1fea1表示），该过程可以表示为：I1fea1= f1_1(I1)。将后一期遥感影像I2输入第二子网络（用f2表示）的第一个模块（用f2_1表示），提取后一期遥感影像I2的第一层次的图像特征（用I2fea1表示），该过程可以表示为：I2fea1 = f2_1(I2)。将两期遥感影像的第一个层次的图像特征I1fea1和I2fea1进行比较，可得到第一层次的第一比较特征（用Img1表示），该过程可以表示为：Img1 = Compare(I1fea1, I2fea1)，Compare表示所采用的比较操作。其中，比较操作可以采用通道维度将两个特征连接的方式实现。
将变化着色图IS输入第三子网络（用f3表示）的第一个模块（用f3_1表示），提取变化着色图IS的图像特征，得到两期遥感影像的第一个层次的第二比较特征（用Nlcd1表示），该过程可以表示为：Nlcd1 = f3_1(IS)。
将第一层次的第一比较特征Img1和第一层次的第二比较特征Nlcd1输入多模态融合网络（如图4中所示的NC），通过多模态融合网络进行特征融合，得到第一个层次的融合编码比较特征M1。
可选地，基于第一个层次的融合编码比较特征M1确定更新后的第一层次的第一比较特征Img1_new和更新后的第一层次的第二比较特征Nlcd1_new。基于更新后第一个层次的第一比较特征和第二比较特征来构造第二层次的第一比较特征和第二比较特征。
可选地，若比较操作可以采用通道维度将两个特征连接的方式实现，通过对更新后的第一层次的第一比较特征Img1_new进行通道分离操作，得到更新后两期遥感影像的第一个层次的图像特征，该过程可以表示为：I1fea1，I2fea1 = split(Img1_new)，其中，split表示通道分离操作，把一个特征在通道维度分离出两个特征。基于更新后的第一个层次的图像特征来构造第二层次的第一比较特征和第二比较特征。
同理，基于两期遥感影像的第一个层次的图像特征I1fea1和I2fea1（或者更新后的I1fea1和I2fea1），以及第一层次的第二比较特征Nlcd1（或更新后的第二比较特征Nlcd1_new），通过每个子网络的第二个模块进一步构建第二个层次的第一比较特征和第二个层次的第二比较特征：
将前一期遥感影像I1的第一个层次的图像特征I1fea1输入第一子网络f1的第二个模块（用f1_2表示），提取前一期遥感影像I1的第二层次的图像特征（用I1fea2表示），该过程可以表示为：I1fea2= f1_2(I1fea1)。将后一期遥感影像I2的第一个层次的图像特征I2fea1输入第二子网络f2的第二个模块（用f2_2表示），提取后一期遥感影像I2的第二层次的图像特征（用I2fea2表示），该过程可以表示为：I2fea2 = f2_2(I2fea1)。将两期遥感影像的第二个层次的图像特征I1fea2和I2fea2进行比较，可得到第二层次的第一比较特征（用Img2表示），该过程可以表示为：Img2 = Compare(I1fea2, I2fea2)。
将第一层次的第二比较特征Nlcd1（或更新后的第二比较特征Nlcd1_new）输入第三子网络f3的第二个模块（用f3_2表示），提取变化着色图IS的第二层次的图像特征，得到两期遥感影像的第二层次的第二比较特征（用Nlcd2表示），该过程可以表示为：Nlcd2= f3_2(Nlcd1)，或者Nlcd2= f3_2(Nlcd1_new)。将第二层次的第一比较特征Img2和第二层次的第二比较特征Nlcd2输入多模态融合网络，通过多模态融合网络进行特征融合，得到第二层次的融合编码比较特征M2。
可选地，基于第二个层次的融合编码比较特征M2确定更新后的第二层次的第一比较特征Img2_new和更新后的第二层次的第二比较特征Nlcd2_new。基于更新后第二个层次的第一比较特征和第二比较特征来构造第三层次的第一比较特征和第二比较特征。
可选地，若比较操作可以采用通道维度将两个特征连接的方式实现，通过对更新后的第二层次的第一比较特征Img2_new进行通道分离操作，得到更新后两期遥感影像的第二个层次的图像特征，该过程可以表示为：I1fea2，I2fea2= split(Img2_new)。基于更新后的第二层次的图像特征来构造第三层次的第一比较特征和第二比较特征。
同理，可以得到第三层次的第一比较特征Img3、第二比较特征Nlcd3和融合编码比较特征M3，以及第四层次的第一比较特征Img4、第二比较特征Nlcd4和融合编码比较特征M4。
进一步地，将第四层次的融合编码比较特征M4输入第一解码器，通过第一解码器对融合编码比较特征M4进行解码，得到变化检测结果。
一种可选实施方式中，上述多模态融合网络对第一比较特征Img和第二比较特征Nlcd的具体处理过程如下：
将第一比较特征Img和第二比较特征Nlcd连接后输入全局平均池化层，进行平均池化处理，得到特征I，该过程可以表示为I=Fpg(Img||Nlcd)，其中Fpg表示全局平均池化处理，||表示在通道维度的连接。
将特征I分别通过结构相同且不共享参数的两个全连接层（用Fmlp1和Fmlp2表示）和sigmoid激活函数，得到特征W_Img和特征W_Nlcd，该过程可以表示为：
W_Nlcd=σ(Fmlp1 (I))，W_Img=σ(Fmlp2 (I))，其中σ表示sigmoid激活函数。
将特征W_Img和特征W_Nlcd通过如下方式进行相互修正，得到特征Nlcd_rec和特征Img_rec：Img_rec=(Nlcd* W_Nlcd)+ Img，Nlcd_rec=( Img * W_Img)+ Nlcd。
再将Nlcd_rec和特征Img_rec连接后输入全局平均池化层，进行平均池化处理，得到特征I_rec：I_rec= Fpg(Img_rec||Nlcd_rec)。
将特征I_rec分别输入结构相同且不共享参数的两个卷积层（用Fconv1和Fconv2表示），得到特征Att_Img和特征Att_Nlcd，该过程可以表示为：Att_Img= Fconv1 (I_rec)，Att_Nlcd= Fconv2 (I_rec)。进一步计算得到特征Att：Att=softmax(Att_Img||Att_Nlcd)。
基于第一比较特征Img、第二比较特征Nlcd和特征Att，确定融合编码比较特征M：M=Img*Att[:,0:1]+ Nlcd*Att[:,1:2]，其中，Att[:,0:1]和Att[:,1:2]表示将Att分割成的两部分。
进一步地，基于融合编码比较特征M确定更新后的第一比较特征Img_new和更新后的第二比较特征Nlcd_new：Img_new=( Img+M)/2，Nlcd_new=(Nlcd+M)/2。
通过这种多模态融合的方式，可以在不清楚前后期遥感图像的地物类目，只有地物类目变化信息的情况下，将一个模态的第一比较特征和另一模态的第二比较特征根据相互注意力进行互相补偿，从而修正并丰富原来的比较特征，得到融合编码比较特征和更新后的第一比较特征和更新后的第二比较特征。
在一可选实施例中，标签信息包括遥感影像中区域的地物类目标签，映射信息包括不同的地物类目标签对应的颜色信息。上述步骤S202中具体可以采用如下方式生成着色图：
获取两期遥感影像对应的两期地物着色图，初始化两期地物着色图中每一区域的颜色信息为预设值；根据每一期遥感影像中区域的地物类目标签，按照映射信息，将该期遥感影像对应的地物着色图中的区域上色成区域的地物类目标签对应的颜色，得到两期地物类目着色图。其中，预设值可以为0，或者可以为其他值，此处不做具体限定。
示例性地，以两期遥感影像I1和I2中某一区域前期为绿地（假设地物类目标签为3），后期变推填土（假设地物类目标签为6）为例，假设标签信息包括两期遥感影像的地物类目标签的弱标签信息，映射信息包括地物类目标签值对应的颜色信息，假设地物类目标签3对应绿色，绿色可以表示为(0, 255, 0)，地物类目标签6对应黄色，黄色可以表示为(255,255, 0)。那么，对于前期为绿地（假设地物类目标签为3），后期变推填土（假设地物类目标签为6）区域，该区域在前一期遥感影像对应的地物类目着色图IS1中上色为绿色，在后一期遥感影像对应的地物类目着色图IS2中上色为黄色，可以表示为：IS1(y==3)=(0, 255, 0)，IS2(y==6) = (255, 255, 0)。
上完色后，标签信息（包含各种类型的地物类目标签）就转化成两幅能够可视化的着色图，着色图后续进一步作为变化检测模型的一种模态的输入数据。
通过该实施例，可以在清楚前后期地物类目的情况下，将包括两期遥感影像的地物类目标签的弱标签信息进行上色，转换为变化检测模型的一种模态的输入数据。
可选地，在得到两期地物类目着色图之后，可以通过可视化页面输出两期地物类目着色图，以供用户查看地物类目着色图，或者用户可以在可视化页面对地物类目着色图中的一个或多个区域的颜色进行修改。
进一步地，根据用户对任一地物类目着色图的修改操作，更新地物类目着色图，更新后的地物类目着色图作为变化检测模型的输入用于进行后续变化检测。
参见图5，图5为本申请另一示例实施例提供的变化检测模型的总体框架图，基于上述将标签信息转换为两期地物类目着色图的情况，变化检测模型包括：结构相同的第四子网络、第五子网络、第六子网络、第七子网络，以及多模态融合网络和第一解码器。
其中，第四子网络与第五子网络共享参数，第六子网络与第七子网络共享参数，第四子网络与第六子网络不共享参数。
同构但不共享参数的第四子网络和第五子网络构成孪生编码网络，分别用于提取一期遥感影像的图像特征，得到两期遥感影像的图像特征。进一步地，比较两个子网络提取的两期遥感影像的图像特征可以得到两期遥感影像的第一比较特征。
同构但不共享参数的第六子网络和第七子网络构成孪生编码网络，分别用于提取两个地物类目着色图的图像特征。进一步地，比较两个子网络提取的两个地物类目着色图的图像特征可以得到两期遥感影像的第二比较特征。
多模态融合网络用于将两期遥感影像的第一比较特征和第二比较特征融合，得到融合编码比较特征。
第一解码器用于对融合编码比较特征进行解码得到变化检测结果。
本实施例中，上述步骤S203具体可以采用如下方式实现：
将两期遥感影像（如图5中所示的I1和I2）分别输入第四子网络和第五子网络，通过第四子网络和第五子网络分别提取一期遥感影像的图像特征，得到两期遥感影像的图像特征（如图5中所示的I1fea和I2fea）。进一步地，对两个子网络提取的两期遥感影像的图像特征进行比较操作，得到两期遥感影像的第一比较特征（如图5中所示的Img）。
将两期遥感影像对应的地物类目着色图（如图5中所示的IS1和IS2）分别输入第六子网络和第七子网络，通过第六子网络和第七子网络分别提取一期地物类目着色图的图像特征，得到两期地物类目着色图的图像特征（如图5中所示的IS1fea和IS2fea）。进一步地，对两个子网络提取的两期地物类目着色图的图像特征进行比较操作，得到两期遥感影像的第二比较特征（如图5中所示的Nlcd）。
可选地，上述比较操作可以通过将两期遥感影像/地物类目着色图的图像特征相减，取差值的绝对值，得到两期遥感影像的第一比较特征/第二比较特征。可选地，上述比较操作可以通过将两期遥感影像/地物类目着色图的图像特征连接，作为两期遥感影像的第一比较特征/第二比较特征。
进一步地，将两期遥感影像的第一比较特征和第二比较特征这两种基于不同模态数据获取的特征输入多模态融合网络，通过多模态融合网络对第一比较特征和第二比较特征进行融合，得到融合编码比较特征（如图5中所示的M）。
融合编码比较特征输入第一解码器，通过第一解码器对融合编码比较特征进行解码，得到变化检测结果。
示例性地，各个子网络可以采用ResNet（Deep residual network，深度残差网络）、HRnet（High-Resolution Net）等用于提取图像特征的神经网络实现，此处不做具体限定。
具体地，每个子网络可以包括4个模块，分别提取4个层次的特征。图4示出了基于四个模块与多模态融合网络构建4个层次的比较特征的总体框架，参见图4，有填充色的模块表示针对两期遥感影像进行特征编码的孪生编码网络（包括第四子网络和第五子网络）的四个模块，不具有填充色的模块表示针对着色图进行特征编码的神经网络（包括第六子网络和第七子网络）的四个模块。图4中未示出孪生编码网络内部各个子网络的结构。
首先，通过每个子网络的第一个模块提取第一个层次的特征：
将前一期遥感影像I1输入第四子网络（用f4表示）的第一个模块（用f4_1表示），提取前一期遥感影像I1的第一层次的图像特征（用I1fea1表示），该过程可以表示为：I1fea1= f4_1(I1)。将后一期遥感影像I2输入第五子网络（用f5表示）的第一个模块（用f5_1表示），提取后一期遥感影像I2的第一层次的图像特征（用I2fea1表示），该过程可以表示为：I2fea1 = f5_1(I2)。将两期遥感影像的第一个层次的图像特征I1fea1和I2fea1进行比较，可得到第一层次的第一比较特征（用Img_1表示），该过程可以表示为：Img_1 = Compare(I1fea1, I2fea1)，Compare表示所采用的比较操作。其中，比较操作可以采用通道维度将两个特征连接的方式实现。
将前一期遥感影像I1对应的地物类目着色图IS1输入第六子网络（用f6表示）的第一个模块（用f6_1表示），提取地物类目着色图IS1的图像特征，得到前一期地物类目着色图IS1的第一个层次的图像特征（用IS1fea1表示），该过程可以表示为：IS1fea1 = f6_1(IS1)。将后一期遥感影像I2对应的地物类目着色图IS2输入第七子网络（用f7表示）的第一个模块（用f7_1表示），提取地物类目着色图IS2的图像特征，得到后一期地物类目着色图IS2的第一个层次的图像特征（用IS2fea1表示），该过程可以表示为：IS2fea1 = f7_1(IS2)。将两期地物类目着色图的第一个层次的图像特征IS1fea1和IS2fea1进行比较，可得到第一层次的第二比较特征（用Nlcd_1表示），该过程可以表示为：Nlcd_1 = Compare(IS1fea1, IS2fea1)，Compare表示所采用的比较操作。其中，比较操作可以采用通道维度将两个特征连接的方式实现。
进一步地，将第一层次的第一比较特征Img_1和第一层次的第二比较特征Nlcd_1输入多模态融合网络，通过多模态融合网络进行特征融合，得到第一个层次的融合编码比较特征M_1。
可选地，基于第一个层次的融合编码比较特征M_1确定更新后的第一层次的第一比较特征Img_1_new和更新后的第一层次的第二比较特征Nlcd_1_new。基于更新后第一个层次的第一比较特征和第二比较特征来构造第二层次的第一比较特征和第二比较特征。
可选地，若比较操作可以采用通道维度将两个特征连接的方式实现，通过对更新后的第一层次的第一比较特征Img_1_new进行通道分离操作，得到更新后两期遥感影像的第一个层次的图像特征，该过程可以表示为：I1fea1，I2fea1 = split(Img_1_new)，其中，split表示通道分离操作，把一个特征在通道维度分离出两个特征。基于更新后两期遥感影像的第一个层次的图像特征来构造第二层次的第一比较特征和第二比较特征。
同理，若比较操作可以采用通道维度将两个特征连接的方式实现，通过对更新后的第一层次的第二比较特征Nlcd_1_new进行通道分离操作，得到更新后两期地物类目着色图的第一个层次的图像特征，该过程可以表示为：IS1fea1，IS2fea1 = split(Nlcd_1_new)，其中，split表示通道分离操作，把一个特征在通道维度分离出两个特征。基于更新后两期地物类目着色图的第一个层次的图像特征来构造第二层次的第一比较特征和第二比较特征。
同理，基于两期遥感影像的第一个层次的图像特征I1fea1和I2fea1（或者更新后的I1fea1和I2fea1），以及两期地物类目着色图的第一个层次的图像特征IS1fea1和IS2fea1（或者更新后的IS1fea1和IS2fea1），通过每个子网络的第二个模块进一步构建第二个层次的第一比较特征和第二个层次的第二比较特征：
将前一期遥感影像I1的第一个层次的图像特征I1fea1输入第四子网络f4的第二个模块（用f4_2表示），提取前一期遥感影像I1的第二层次的图像特征（用I1fea2表示），该过程可以表示为：I1fea2= f4_2(I1fea1)。将后一期遥感影像I2的第一个层次的图像特征I2fea1输入第五子网络f5的第二个模块（用f5_2表示），提取后一期遥感影像I2的第二层次的图像特征（用I2fea2表示），该过程可以表示为：I2fea2 = f5_2(I2fea1)。将两期遥感影像的第二个层次的图像特征I1fea2和I2fea2进行比较，可得到第二层次的第一比较特征（用Img_2表示），该过程可以表示为：Img_2 = Compare(I1fea2, I2fea2)。
将前一期地物类目着色图IS1的第一个层次的图像特征IS1fea1输入第六子网络f6的第二个模块（用f6_2表示），提取前一期地物类目着色图IS1的第二层次的图像特征（用IS1fea2表示），该过程可以表示为：IS1fea2= f6_2(IS1fea1)。将后一期地物类目着色图IS2的第一个层次的图像特征IS2fea1输入第七子网络f7的第二个模块（用f7_2表示），提取后一期地物类目着色图IS2的第二层次的图像特征（用IS2fea2表示），该过程可以表示为：IS2fea2 = f7_2(IS2fea1)。将两期地物类目着色图的第二个层次的图像特征IS1fea2和IS2fea2进行比较，可得到第二层次的第二比较特征（用Nlcd_2表示），该过程可以表示为：Nlcd_2 = Compare(IS1fea2, IS2fea2)。
将第二层次的第一比较特征Img_2和第二层次的第二比较特征Nlcd_2输入多模态融合网络，通过多模态融合网络进行特征融合，得到第二层次的融合编码比较特征M_2。
可选地，基于第二个层次的融合编码比较特征M_2确定更新后的第二层次的第一比较特征Img_2_new和更新后的第二层次的第二比较特征Nlcd_2_new。基于更新后第二个层次的第一比较特征和第二比较特征来构造第三层次的第一比较特征和第二比较特征。
可选地，若比较操作可以采用通道维度将两个特征连接的方式实现，通过对更新后的第二层次的第一比较特征Img_2_new进行通道分离操作，得到更新后两期遥感影像的第二个层次的图像特征，该过程可以表示为：I1fea2，I2fea2= split(Img_2_new)。基于更新后的第二层次的图像特征来构造第三层次的第一比较特征和第二比较特征。
可选地，若比较操作可以采用通道维度将两个特征连接的方式实现，通过对更新后的第二层次的第二比较特征Nlcd_2_new进行通道分离操作，得到更新后两期地物类目着色图的第二个层次的图像特征，该过程可以表示为：IS1fea2，IS2fea2= split(Nlcd_2_new)。基于更新后两期地物类目着色图的第二层次的图像特征来构造第三层次的第一比较特征和第二比较特征。
同理，可以得到第三层次的第一比较特征Img_3、第二比较特征Nlcd_3和融合编码比较特征M_3，以及第四层次的第一比较特征Img_4、第二比较特征Nlcd_4和融合编码比较特征M_4。
进一步地，将第四层次的融合编码比较特征M_4输入第一解码器，通过第一解码器对融合编码比较特征M_4进行解码，得到变化检测结果。
本实施例中，多模态融合网络对第一比较特征和第二比较特征的具体处理过程，与前述实施例中多模态融合网络对第一比较特征Img和第二比较特征Nlcd的具体处理过程类似，具体参见前述实施例的相关内容，此处不再赘述。
通过这种多模态融合的方式，在清楚前后期地物类目的情况下，将一个模态的第一比较特征和另一模态的第二比较特征根据相互注意力进行互相补偿，从而修正并丰富原来的比较特征，得到融合编码比较特征和更新后的第一比较特征和更新后的第二比较特征。
示例性地，上述遥感影像变化检测方法可以应用于地上建筑物的变化检测、动土检测等场景中。
本申请实施例提供一种用于建筑物变化检测的遥感影像变化检测方法，该方法具体包括如下步骤：
步骤S1、获取用户指定的在不同时刻采集的两期遥感影像，以及两期遥感影像的标签信息，两期遥感影像中包含目标地域范围内的地物。
步骤S2、根据两期遥感影像的标签信息和预设的映射信息，生成标签信息对应的着色图。
步骤S3、将着色图和两期遥感影像输入变化检测模型，通过变化检测模型根据遥感影像获取两期遥感影像的第一比较特征，根据着色图获取两期遥感影像的第二比较特征，将第一比较特征和第二比较特征进行融合，得到融合编码比较特征，并根据融合编码比较特征解码得到目标地域范围内的地物的变化检测结果。
步骤S4、根据目标地域范围内的地物的变化检测结果，确定目标地域范围内建筑物的变化情况。
本实施例中，根据两期遥感影像及已知的标签信息，利用变化检测模型进行遥感影像变化检测得到两期遥感影像的变化检测结果，也即得到目标地域范围内的地物的变化检测结果，这一过程与上述实施例中遥感影像变化检测方法中的过程类似，具体参见上述遥感影像变化检测方法实施例，此处不再赘述。
本实施例中，在得到包含目标地域范围内的地物的两期遥感影像的变化检测结果之后，进一步基于变化检测结果来确定目标地域范围内建筑物的变化情况。例如某一个区域增加了新的建筑物，某一区域的建筑物变为绿化区域等。
图6为本申请一示例实施例提供的遥感影像变化检测模型训练方法流程图。本实施例提供的方法的执行主体可以是上述提及的服务器，也可以是上述服务器之外的电子设备，该电子设备完成模型训练得到训练好的变化检测模型之后，将该变化检测模型存储到用于进行遥感图像变化检测的服务器上。如图6所示，该方法具体步骤如下：
步骤S601、获取不同时刻采集的两期遥感数据，遥感数据包括多个不同地表范围的遥感影像，同一地表范围的两期遥感影像组成一个训练样本组，并获取多个训练样本组的弱标签信息。
本实施例中，利用弱标签信息作为弱监督数据，对变化检测模型进行弱监督的模型训练，无需使用强监督数据，或使用少量强监督数据进行模型测试，即可训练得到准确性较高的变化检测模型，从而提高弱监督条件下变化检测模型的准确度。
该步骤中，首先基于历史采集的遥感数据生成训练数据集。具体地，获取不同时刻采集的遥感数据，可以获取多组遥感数据。对于每一组遥感数据包括两个不同时刻采集的前后两期遥感数据。其中每一期遥感数据可以包括多个覆盖不同地表范围的遥感影像，两期的遥感影像成对出现，覆盖同一地表范围的两期遥感影像为一对遥感影像，每一对覆盖同一地表范围的两期遥感影像组成一个训练样本组。获取每一训练样本组的弱标签信息。
每一训练样本组的两期遥感影像的弱标签信息可以包括两期遥感影像的变化标签，或者可以包括两期遥感影像分别对应的地物类目标签。弱标签信息可以通过现有技术中对应标签的识别方法实现，例如，两期遥感影像的变化标签可以利用经过预训练的变化检测模型确定，遥感影像分别对应的地物类目标签可以通过训练好对模型或者结合其他卫星数据采样得到，此处不做具体限定。
需要说明的是，本实施例中获取两期遥感影像的弱标签信息时无需人工精准标注，通过自动识别和/或人工简单修正，不要求具有很高的精准度，容易获取到。
可选地，可以对少量训练样本组进行人工精准标注，得到精准的强标签信息。基于该强标签信息对变化检测模型进行预训练，得到精度不太高的变化检测模型。基于预训练的变化检测模型来自动生成大量训练样本组的变化检测结果，通过人工对变化检测结果进行简单修正即可作为弱标签信息使用。
另外，训练样本及弱标签信息还可以从已有的公开数据库中获取，例如从全球土地覆被FROM-GLC数据等公开数据集中获取。
步骤S602、根据训练样本组的弱标签信息和预设的映射信息，生成该训练样本组对应的着色图。
其中，预设的映射信息包含不同的弱标签值对应的颜色信息，用于将不同的弱标签值映射到不同的颜色。
该步骤中生成每一训练样本组对应的着色图的具体实现方式与上述遥感影像变化检测方法实施例中生成任意两期遥感影像的弱标签信息对应的着色图的实现方式类似，具体参见上述步骤S202的相关内容，此处不再赘述。
步骤S603、将训练样本组及对应的着色图输入变化检测模型，通过变化检测模型根据训练样本获取两期遥感影像的第一比较特征，根据着色图获取两期遥感影像的第二比较特征，将第一比较特征和第二比较特征进行融合，得到融合编码比较特征，并根据融合编码比较特征解码得到变化检测结果。
将着色图和训练样本组的两期遥感影像这两种不同模态的数据输入训练好的变化检测模型，通过变化检测模型可以分别根据训练样本获取两期遥感影像的第一比较特征，根据着色图获取两期遥感影像的第二比较特征，再将基于不同模态数据获取的比较特征（包括第一比较特征和第二比较特征）进行融合，从而利用训练样本对弱标签信息进行修正，得到融合编码比较特征，基于融合编码比较特征解码得到变化检测结果。
该步骤中的变化检测模型的具体处理过程与上述遥感影像变化检测方法实施例中变化检测模型的处理过程一致，具体参见上述步骤S203的相关内容，此处不再赘述。
步骤S604、根据变化检测结果和弱标签信息，计算损失值，并根据损失值更新变化检测模型的参数。
在通过变化检测模型基于训练样本组及对应的着色图等多模态输入数据确定变化检测结果之后，根据变化检测结果和弱标签信息计算损失，并根据损失值，采用随机梯度下降方式更新变化检测模型的参数，以实现弱监督条件下变化检测模型的模型训练，可以提高变化检测模型的准确性。
示例性地，可以采用交叉熵损失函数来根据变化检测结果和弱标签信息计算损失。
可选地，可以获取少量人工精准标注的强标签信息，基于强标签信息的样本来评测变化检测模型的效果。
本实施例通过在弱监督条件下训练变化检测模型的过程中，将两期遥感影像的弱标签信息映射到对应颜色生成对应的着色图，作为模型的一种模态的输入数据，将着色图和两期遥感影像一起输入训练好的变化检测模型，通过变化检测模型可以分别根据遥感影像获取两期遥感影像的比较特征，根据着色图获取两期遥感影像的比较特征，再将基于不同模态数据获取的比较特征进行融合，从而利用遥感影像对弱标签信息进行修正，得到融合编码比较特征，基于融合编码比较特征解码得到变化检测结果，并基于变化检测结果和弱标签信息更新模型参数，在少量人工精准标注或完全不要人工精准标注的情况下，有效提升变化模型的训练效果，能够提高弱监督条件下训练得到的变化检测模型的准确度。
本实施例中，利用弱标签信息作为弱监督数据，对变化检测模型进行弱监督的模型训练，无需使用强监督数据，或使用少量强监督数据进行模型测试，即可训练得到准确性较高的变化检测模型，从而提高弱监督条件下变化检测模型的准确度。
在一可选实施例中，弱标签信息包括两期遥感影像中区域的变化标签，映射信息包括不同的变化标签对应的颜色信息。上述步骤S602具体可以采用如下方式实施：初始化变化着色图中每一区域的颜色信息为预设值，变化着色图中的区域与两期遥感影像中的区域对应；按照映射信息和弱标签信息，将变化着色图中的区域上色成区域的变化标签对应的颜色，得到变化着色图。其中，预设值可以为0，或者可以为其他值，此处不做具体限定。
上完色后，弱标签信息（包含各种类型的变化标签）就转化成一幅能够可视化的着色图，该着色图后续进一步作为变化检测模型的一种模态的输入数据。
通过该实施例，可以在不清楚前后期遥感图像的地物类目，只有地物类目变化信息的情况下，将包括两期遥感影像地物类目的变化标签的弱标签信息进行上色，转换为变化检测模型的一种模态的输入数据。
参见图7，基于上述将弱标签信息转换为一幅变化着色图的情况，变化检测模型可以包括：结构相同的第一子网络、第二子网络、第三子网络，以及多模态融合网络和第一解码器。其中，第一子网络与第二子网络共享参数，第一子网络与第三子网络不共享参数。
同构但不共享参数的第一子网络和第二子网络构成孪生编码网络，分别用于提取一期遥感影像的图像特征，得到两期遥感影像的图像特征。进一步地，比较两个子网络提取的两期遥感影像的图像特征可以得到两期遥感影像的第一比较特征。
第三子网络用于根据变化着色图提取两期遥感图像的第二比较特征。
多模态融合网络用于将两期遥感影像的第一比较特征和第二比较特征融合，得到融合编码比较特征。
第一解码器用于对融合编码比较特征进行解码得到变化检测结果。
可选地，如图7所示，变化检测模型还可以包括第二解码器和第三解码器，第一解码器、第二解码器和第三解码器这三者结构相同且不共享参数。
在通过多模态融合网络得到融合编码比较特征之后，对融合编码比较特征进行通道分离操作，得到更新后的遥感影像比较特征和着色图比较特征；通过第二解码器对更新后的遥感影像比较特征进行解码，得到第一检测结果；通过第三解码器对更新后的着色图比较特征进行解码，得到第二检测结果。
进一步地，根据变化检测结果和弱标签信息，计算损失值，并根据损失值更新变化检测模型的参数，具体可以采用如下方式实现：根据变化检测结果和弱标签信息计算第一损失值，根据第一检测结果和弱标签信息计算第二损失值，根据第二检测结果和弱标签信息计算第三损失值。根据第一损失值、第二损失值和第三损失值确定综合损失，根据综合损失更新变化检测模型的参数。
示例性地，上述步骤S603具体可以采用如下方式实现：将一训练样本组的两期遥感影像（如图7中所示的I1和I2）分别输入第一子网络和第二子网络，通过第一子网络和第二子网络分别提取一期遥感影像的图像特征，得到两期遥感影像的图像特征（如图7中所示的I1fea和I2fea）。进一步地，对两个子网络提取的两期遥感影像的图像特征进行比较操作，得到两期遥感影像的第一比较特征（如图7中所示的Img）。
可选地，上述比较操作可以通过将两期遥感影像的图像特征相减，取差值的绝对值，得到两期遥感影像的第一比较特征。可选地，上述比较操作可以通过将两期遥感影像的图像特征连接，作为两期遥感影像的第一比较特征。
将变化着色图（如图7中所示的IS）输入第三子网络，通过第三子网络提取两期遥感影像的第二比较特征（如图7中所示的Nlcd）。
将两期遥感影像的第一比较特征和第二比较特征这两种基于不同模态数据获取的特征输入多模态融合网络，通过多模态融合网络对第一比较特征和第二比较特征进行融合，得到融合编码比较特征（如图7中所示的M）。融合编码比较特征输入第一解码器，通过第一解码器对融合编码比较特征进行解码，得到变化检测结果（如图7中所示的D_M）。
进一步地，对融合编码比较特征进行通道分离操作，得到更新后的遥感影像比较特征（如图7中所示的Img_new）和着色图比较特征（如图7中所示的Nlcd_new）。更新后的遥感影像比较特征Img_new输入第二解码器，通过第二解码器对更新后的遥感影像比较特征Img_new进行解码，得到第一检测结果（如图7中所示的D_Img）。更新后的着色图比较特征Nlcd_new输入第三解码器，通过第三解码器对更新后的着色图比较特征Nlcd_new进行解码，得到第二检测结果（如图7中所示的D_Nlcd）。
进一步地，根据变化检测结果D_M和弱标签信息（用y表示）计算第一损失值L3：L3= CE(D_M, y)，根据第一检测结果D_Img和弱标签信息y计算第二损失值L1：L1 = CE(D_Img, y)，根据第二检测结果D_Nlcd和弱标签信息y计算第三损失值L2：L2 = CE(D_Nlcd,y)。其中，CE表示交叉熵损失函数。
进一步地，根据第一损失值、第二损失值和第三损失值确定综合损失L：L = w1*L1+ w2*L2 + w3*L3，其中，w3>w1>w2，w3、w1、w2分别为三个损失的权重，可以根据实际应用场景和经验进行设置和调整，此处不做具体限定。
进一步地，根据综合损失L，采用随机梯度下降方式，更新变化检测模型的参数。
本实施例中，各个子网络可以采用ResNet（Deep residual network，深度残差网络）、HRnet（High-Resolution Net）等用于提取图像特征的神经网络实现，此处不做具体限定。
具体地，每个子网络可以包括4个模块，分别提取4个层次的特征。基于四个模块与多模态融合网络构建4个层次的比较特征的总体框架可以参见图4，有填充色的模块表示针对两期遥感影像进行特征编码的孪生编码网络（包括第一子网络和第二子网络）的四个模块，不具有填充色的模块表示针对着色图进行特征编码的神经网络（包括第三子网络）的四个模块。基于图4所示的框架，变化检测模型的具体处理过程参见上述实施例中图4相关内容，此处不再赘述。
基于图4所示框架，变换检测模型的处理过程中可以得到四个层次的（或更新后的）第一比较特征和第二比较特征：(Img_1，Nlcd_1)、(Img_2，Nlcd_2)、(Img_3，Nlcd_3)、(Img_4，Nlcd_4)，以及四个层次的融合编码比较特征M1、M2、M3、M4。
一种可选地实现方式中，在计算损失时，可以将多个层次的融合编码比较特征输入第一解码器，得到多个变换检测结果，基于多个变换检测结果和弱标签信息计算第一损失。将多个层次（或更新后的）第一比较特征输入第二解码器，得到多个第一检测结果，基于多个第一检测结果和弱标签信息计算第二损失。将多个层次（或更新后的）第二比较特征输入第三解码器，得到多个第二检测结果，基于多个第二检测结果和弱标签信息计算第三损失。进一步地，基于第一损失、第二损失和第三损失计算综合损失，并基于综合损失更新模型参数。
在一可选实施例中，弱标签信息包括遥感影像中区域的地物类目标签，映射信息包括不同的地物类目标签对应的颜色信息。上述步骤S602具体可以采用如下方式实施：获取训练样本组的两期遥感影像分别对应的地物着色图，初始化地物着色图中区域的颜色信息为预设值；根据每一期遥感影像中区域的地物类目标签，按照映射信息，将该期遥感影像对应的地物着色图中的区域上色成区域的地物类目标签对应的颜色，得到每一期遥感影像对应的地物类目着色图。其中，预设值可以为0，或者可以为其他值，此处不做具体限定。
上完色后，弱标签信息（包含各种类型的地物类目标签）就转化成两幅能够可视化的着色图，着色图后续进一步作为变化检测模型的一种模态的输入数据。
通过该实施例，可以在清楚前后期地物类目的情况下，将包括两期遥感影像的地物类目标签的弱标签信息进行上色，转换为变化检测模型的一种模态的输入数据。
参见图8，基于上述将弱标签信息转换为两期地物类目着色图的情况，变化检测模型包括：结构相同的第四子网络、第五子网络、第六子网络、第七子网络，以及多模态融合网络和第一解码器。其中第四子网络与第五子网络共享参数，第六子网络与第七子网络共享参数，第四子网络与第六子网络不共享参数。
同构但不共享参数的第四子网络和第五子网络构成孪生编码网络，分别用于提取一训练样本组中一期遥感影像的图像特征，得到两期遥感影像的图像特征。进一步地，比较两个子网络提取的两期遥感影像的图像特征可以得到两期遥感影像的第一比较特征。
同构但不共享参数的第六子网络和第七子网络构成孪生编码网络，分别用于提取两个地物类目着色图的图像特征。进一步地，比较两个子网络提取的两个地物类目着色图的图像特征可以得到两期遥感影像的第二比较特征。
多模态融合网络用于将两期遥感影像的第一比较特征和第二比较特征融合，得到融合编码比较特征。
第一解码器用于对融合编码比较特征进行解码得到变化检测结果。
可选地，如图8所示，变化检测模型还可以包括第二解码器和第三解码器，第一解码器、第二解码器和第三解码器这三者结构相同且不共享参数。
在通过多模态融合网络得到融合编码比较特征之后，对融合编码比较特征进行通道分离操作，得到更新后的遥感影像比较特征和着色图比较特征；通过第二解码器对更新后的遥感影像比较特征进行解码，得到第一检测结果；通过第三解码器对更新后的着色图比较特征进行解码，得到第二检测结果。
进一步地，根据变化检测结果和弱标签信息，计算损失值，并根据损失值更新变化检测模型的参数，具体可以采用如下方式实现：根据变化检测结果和弱标签信息计算第一损失值，根据第一检测结果和弱标签信息计算第二损失值，根据第二检测结果和弱标签信息计算第三损失值。根据第一损失值、第二损失值和第三损失值确定综合损失，根据综合损失更新变化检测模型的参数。
示例性地，上述步骤S603具体可以采用如下方式实现：将一训练样本组的两期遥感影像（如图8中所示的I1和I2）分别输入第一子网络和第二子网络，通过第一子网络和第二子网络分别提取一期遥感影像的图像特征，得到两期遥感影像的图像特征（如图8中所示的I1fea和I2fea）。进一步地，对两个子网络提取的两期遥感影像的图像特征进行比较操作，得到两期遥感影像的第一比较特征（如图8中所示的Img）。
将一训练样本组的两期遥感影像对应的地物类目着色图（如图8中所示的IS1和IS2）分别输入第六子网络和第七子网络，通过第六子网络和第七子网络分别提取一期地物类目着色图的图像特征，得到两期地物类目着色图的图像特征（如图8中所示的IS1fea和IS2fea）。进一步地，对两个子网络提取的两期地物类目着色图的图像特征进行比较操作，得到两期遥感影像的第二比较特征（如图8中所示的Nlcd）。
可选地，上述比较操作可以通过将两期遥感影像/地物类目着色图的图像特征相减，取差值的绝对值，得到两期遥感影像的第一比较特征/第二比较特征。可选地，上述比较操作可以通过将两期遥感影像/地物类目着色图的图像特征连接，作为两期遥感影像的第一比较特征/第二比较特征。
进一步地，将两期遥感影像的第一比较特征和第二比较特征这两种基于不同模态数据获取的特征输入多模态融合网络，通过多模态融合网络对第一比较特征和第二比较特征进行融合，得到融合编码比较特征（如图8中所示的M）。
融合编码比较特征输入第一解码器，通过第一解码器对融合编码比较特征进行解码，得到变化检测结果（如图8中所示的D_M）。
进一步地，对融合编码比较特征M进行通道分离操作，得到更新后的遥感影像比较特征（如图8中所示的Img_new）和着色图比较特征（如图8中所示的Nlcd_new）。更新后的遥感影像比较特征Img_new输入第二解码器，通过第二解码器对更新后的遥感影像比较特征Img_new进行解码，得到第一检测结果（如图8中所示的D_Img）。更新后的着色图比较特征Nlcd_new输入第三解码器，通过第三解码器对更新后的着色图比较特征Nlcd_new进行解码，得到第二检测结果（如图8中所示的D_Nlcd）。
进一步地，根据变化检测结果D_M和弱标签信息（用y表示）计算第一损失值L3：L3= CE(D_M, y)，根据第一检测结果D_Img和弱标签信息y计算第二损失值L1：L1 = CE(D_Img, y)，根据第二检测结果D_Nlcd和弱标签信息y计算第三损失值L2：L2 = CE(D_Nlcd,y)。其中，CE表示交叉熵损失函数。
进一步地，根据第一损失值、第二损失值和第三损失值确定综合损失L：L = w1*L1+ w2*L2 + w3*L3，其中，w3>w1>w2，w3、w1、w2分别为三个损失的权重，可以根据实际应用场景和经验进行设置和调整，此处不做具体限定。
进一步地，根据综合损失L，采用随机梯度下降方式，更新变化检测模型的参数。
本实施例中，各个子网络可以采用ResNet（Deep residual network，深度残差网络）、HRnet（High-Resolution Net）等用于提取图像特征的神经网络实现，此处不做具体限定。
具体地，每个子网络可以包括4个模块，分别提取4个层次的特征。基于四个模块与多模态融合网络构建4个层次的比较特征的总体框架可以参见图4，有填充色的模块表示针对两期遥感影像进行特征编码的孪生编码网络（包括第四子网络和第五子网络）的四个模块，不具有填充色的模块表示针对着色图进行特征编码的神经网络（包括第六子网络和第七子网络）的四个模块。图4中未示出孪生编码网络内部各个子网络的结构。基于图4所示的框架，变化检测模型的具体处理过程参见上述图5对应实施例中的相关内容，此处不再赘述。
基于图4所示框架，变换检测模型的处理过程中可以得到四个层次的（或更新后的）第一比较特征和第二比较特征：(Img_1，Nlcd_1)、(Img_2，Nlcd_2)、(Img_3，Nlcd_3)、(Img_4，Nlcd_4)，以及四个层次的融合编码比较特征M1、M2、M3、M4。
一种可选地实现方式中，在计算损失时，可以将多个层次的融合编码比较特征输入第一解码器，得到多个变换检测结果，基于多个变换检测结果和弱标签信息计算第一损失。将多个层次（或更新后的）第一比较特征输入第二解码器，得到多个第一检测结果，基于多个第一检测结果和弱标签信息计算第二损失。将多个层次（或更新后的）第二比较特征输入第三解码器，得到多个第二检测结果，基于多个第二检测结果和弱标签信息计算第三损失。进一步地，基于第一损失、第二损失和第三损失计算综合损失，并基于综合损失更新模型参数。
在一可选实施例中，在变化检测模型训练完成后，可以将第二解码器和第三解码器摘除，保留变化检测效果更好的对融合编码比较特征进行解码的解码器，以对变化检测模型进行剪裁，减少变化检测模型的模型参数，得到最终的变化检测模型，从而减少变化检测模型占用的存储空间和使用变化检测模型进行遥感影像变化检测的耗时。
示例性地，以采用高分辨率网络作为编码的基础网络，全卷积网络作为解码网络，采用某一公开的土地覆盖数据库中的数据作为弱标签构建训练集，采用交并比(Intersection over Union，简称IoU)作为评测指标。通过本申请提供的变化检测模型训练方法，可以使得变化检测模型的检测结果的IoU由0.501提升至0.531，模型效果得到显著提升。
图9为本申请一示例实施例提供的遥感影像变化检测装置的结构示意图。本实施例提供的装置应用于执行遥感影像变化检测方法。如图9所示，遥感影像变化检测装置90包括：标签获取模块91、着色模块92和变化检测模块93。
其中，标签获取模块91用于获取不同时刻采集的两期遥感影像，以及两期遥感影像的标签信息。着色模块92用于根据两期遥感影像的标签信息和预设的映射信息，生成标签信息对应的着色图。变化检测模块93用于将着色图和两期遥感影像输入变化检测模型，通过变化检测模型根据遥感影像获取两期遥感影像的第一比较特征，根据着色图获取两期遥感影像的第二比较特征，将第一比较特征和第二比较特征进行融合，得到融合编码比较特征，并根据融合编码比较特征解码得到两期遥感影像的变化检测结果。
在一可选实施例中，标签信息包括两期遥感影像中区域的变化标签，映射信息包括不同的变化标签对应的颜色信息。
在实现根据两期遥感影像的标签信息和预设的映射信息，生成标签信息对应的着色图时，着色模块92具体用于：初始化变化着色图中每一区域的颜色信息为预设值，变化着色图中的区域与两期遥感影像中的区域对应；按照映射信息，将变化着色图中的区域上色成区域的变化标签对应的颜色，得到变化着色图。
在一可选实施例中，变化检测模型包括：结构相同的第一子网络、第二子网络、第三子网络，以及多模态融合网络和第一解码器，其中第一子网络与第二子网络共享参数，第一子网络与第三子网络不共享参数。
在实现将着色图和两期遥感影像输入变化检测模型，通过变化检测模型确定变化检测结果，变化检测模块93具体用于：将两期遥感影像分别输入第一子网络和第二子网络，通过第一子网络和第二子网络分别提取一期遥感影像的图像特征，比较两期遥感影像的图像特征，得到两期遥感影像的第一比较特征；将着色图输入第三子网络，通过第三子网络提取两期遥感影像的第二比较特征；通过多模态融合网络对第一比较特征和第二比较特征进行融合，得到融合编码比较特征；通过第一解码器对融合编码比较特征进行解码，得到变化检测结果。
在一可选实施例中，标签信息包括遥感影像中区域的地物类目标签，映射信息包括不同的地物类目标签对应的颜色信息。
在实现根据两期遥感影像的标签信息和预设的映射信息，生成标签信息对应的着色图时，着色模块92具体用于：获取两期遥感影像对应的两期地物着色图，初始化两期地物着色图中每一区域的颜色信息为预设值；根据每一期遥感影像中区域的地物类目标签，按照映射信息，将该期遥感影像对应的地物着色图中的区域上色成区域的地物类目标签对应的颜色，得到两期地物类目着色图。
在一可选实施例中，着色模块92还用于：通过可视化页面输出两期地物类目着色图；根据对任一地物类目着色图的修改操作，更新地物类目着色图，更新后的地物类目着色图作为变化检测模型的输入用于进行后续变化检测。
在一可选实施例中，变化检测模型包括：结构相同的第四子网络、第五子网络、第六子网络、第七子网络，以及多模态融合网络和第一解码器，其中第四子网络与第五子网络共享参数，第六子网络与第七子网络共享参数，第四子网络与第六子网络不共享参数。
在实现将着色图和两期遥感影像输入变化检测模型，通过变化检测模型确定变化检测结果，变化检测模块93具体用于：将两期遥感影像分别输入第四子网络和第五子网络，通过第四子网络和第五子网络分别提取一期遥感影像的图像特征，比较两期遥感影像的图像特征，得到两期遥感影像的第一比较特征；将两期遥感影像对应的地物类目着色图分别输入第六子网络和第七子网络，通过第六子网络和第七子网络分别提取一期地物类目着色图的图像特征，比较两期着色图的图像特征，得到两期遥感影像的第二比较特征；通过多模态融合网络对第一比较特征和第二比较特征进行融合，得到融合编码比较特征；通过第一解码器对融合编码比较特征进行解码，得到变化检测结果。
在一可选实施例中，两期遥感影像的标签信息为弱标签。
在一可选实施例中，在模型训练过程中，变化检测模型还包括第二解码器和第三解码器，第一解码器、第二解码器和第三解码器这三者结构相同且不共享参数，第二解码器用于对根据融合编码比较特征更新后的遥感影像比较特征进行解码，得到第一检测结果；第三解码器用于对根据融合编码比较特征更新后的着色图比较特征进行解码，得到第二检测结果。变化检测模型的参数基于根据变化检测结果和标签信息计算得到的第一损失值，根据第一检测结果和标签信息计算得到的第二损失值，以及根据第二检测结果和标签信息计算得到的第三损失值更新确定。
在一可选实施例中，在模型训练结束后，对变化检测模型进行剪裁，摘除第二解码器和第三解码器，得到最终的变化检测模型。
本实施例提供的装置具体可以用于执行基于上述任一实施例提供的遥感影像变化检测方法，具体功能和所能实现的技术效果此处不再赘述。
图10为本申请一示例实施例提供的遥感影像变化检测模型训练装置的结构示意图。本实施例提供的装置应用于执行遥感影像变化检测模型训练方法。如图10所示，遥感影像变化检测模型训练装置100包括：训练数据获取模块1001、着色模块1002、变化检测模块1003和训练模块1004。
其中，训练数据获取模块1001用于获取不同时刻采集的两期遥感数据，遥感数据包括多个不同地表范围的遥感影像，同一地表范围的两期遥感影像组成一个训练样本组，并获取多个训练样本组的弱标签信息。着色模块1002用于根据训练样本组的弱标签信息和预设的映射信息，生成该训练样本组对应的着色图。变化检测模块1003用于将训练样本组及对应的着色图输入变化检测模型，通过变化检测模型根据训练样本获取两期遥感影像的第一比较特征，根据着色图获取两期遥感影像的第二比较特征，将第一比较特征和第二比较特征进行融合，得到融合编码比较特征，并根据融合编码比较特征解码得到变化检测结果。训练模块1004用于根据变化检测结果和弱标签信息，计算损失值，并根据损失值更新变化检测模型的参数。
在一可选实施例中，变化检测模型还包括第二解码器和第三解码器，第一解码器、第二解码器和第三解码器这三者结构相同且不共享参数。
在通过多模态融合网络得到融合编码比较特征之后，变化检测模块1003还用于：对融合编码比较特征进行通道分离操作，得到更新后的遥感影像比较特征和着色图比较特征；通过第二解码器对更新后的遥感影像比较特征进行解码，得到第一检测结果；通过第三解码器对更新后的着色图比较特征进行解码，得到第二检测结果。
进一步地，训练模块1004还用于根据变化检测结果和弱标签信息计算第一损失值，根据第一检测结果和弱标签信息计算第二损失值，根据第二检测结果和弱标签信息计算第三损失值；根据第一损失值、第二损失值和第三损失值确定综合损失，根据综合损失更新变化检测模型的参数。
本实施例提供的装置具体可以用于执行基于上述任一实施例提供的遥感影像变化检测模型训练方法，具体功能和所能实现的技术效果此处不再赘述。
图11为本申请一示例实施例提供的电子设备的结构示意图。如图11所示，该电子设备110包括：处理器1101，以及与处理器1101通信连接的存储器1102，存储器1102存储计算机执行指令。其中，处理器执行存储器存储的计算机执行指令，以实现上述任一方法实施例所提供的方案，具体功能和所能实现的技术效果此处不再赘述。
本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，计算机执行指令被处理器执行时用于实现上述任一方法实施例所提供的方案，具体功能和所能实现的技术效果此处不再赘述。
本申请实施例还提供了一种计算机程序产品，计算机程序产品包括：计算机程序，计算机程序存储在可读存储介质中，电子设备的至少一个处理器可以从可读存储介质读取计算机程序，至少一个处理器执行计算机程序使得电子设备执行上述任一方法实施例所提供的方案，具体功能和所能实现的技术效果此处不再赘述。
另外，在上述实施例及附图中的描述的一些流程中，包含了按照特定顺序出现的多个操作，但是应该清楚了解，这些操作可以不按照其在本文中出现的顺序来执行或并行执行，仅仅是用于区分开各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。需要说明的是，本文中的“第一”、“第二”等描述，是用于区分不同的消息、设备、模块等，不代表先后顺序，也不限定“第一”和“第二”是不同的类型。 “多个”的含义是两个以上，除非另有明确具体的限定。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求书指出。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求书来限制。

Claims (14)

1.一种遥感影像变化检测方法，其特征在于，包括：
获取不同时刻采集的两期遥感影像，以及所述两期遥感影像的标签信息；
根据所述两期遥感影像的标签信息和预设的映射信息，生成所述标签信息对应的着色图；
将所述着色图和所述两期遥感影像输入变化检测模型，通过所述变化检测模型根据遥感影像获取两期遥感影像的第一比较特征，根据所述着色图获取两期遥感影像的第二比较特征，将所述第一比较特征和所述第二比较特征进行融合，得到融合编码比较特征，并根据融合编码比较特征解码得到所述两期遥感影像的变化检测结果。
2.根据权利要求1所述的方法，其特征在于，所述标签信息包括所述两期遥感影像中区域的变化标签，所述映射信息包括不同的变化标签对应的颜色信息；
所述根据所述两期遥感影像的标签信息和预设的映射信息，生成所述标签信息对应的着色图，包括：
初始化变化着色图中每一区域的颜色信息为预设值，所述变化着色图中的区域与所述两期遥感影像中的区域对应；
按照所述映射信息，将所述变化着色图中的区域上色成区域的变化标签对应的颜色，得到变化着色图。
3.根据权利要求2所述的方法，其特征在于，所述变化检测模型包括：结构相同的第一子网络、第二子网络、第三子网络，以及多模态融合网络和第一解码器，其中第一子网络与第二子网络共享参数，第一子网络与第三子网络不共享参数；
将所述着色图和所述两期遥感影像输入变化检测模型，通过所述变化检测模型确定变化检测结果，包括：
将两期遥感影像分别输入第一子网络和第二子网络，通过第一子网络和第二子网络分别提取一期遥感影像的图像特征，比较两期遥感影像的图像特征，得到两期遥感影像的第一比较特征；
将所述着色图输入第三子网络，通过第三子网络提取两期遥感影像的第二比较特征；
通过多模态融合网络对所述第一比较特征和所述第二比较特征进行融合，得到融合编码比较特征；
通过第一解码器对所述融合编码比较特征进行解码，得到变化检测结果。
4.根据权利要求1所述的方法，其特征在于，所述标签信息包括所述遥感影像中区域的地物类目标签，所述映射信息包括不同的地物类目标签对应的颜色信息；
所述根据所述两期遥感影像的标签信息和预设的映射信息，生成所述标签信息对应的着色图，包括：
获取两期遥感影像对应的两期地物着色图，初始化两期地物着色图中每一区域的颜色信息为预设值；
根据每一期遥感影像中区域的地物类目标签，按照所述映射信息，将该期遥感影像对应的地物着色图中的区域上色成区域的地物类目标签对应的颜色，得到两期地物类目着色图。
5.根据权利要求4所述的方法，其特征在于，还包括：
通过可视化页面输出所述两期地物类目着色图；
根据对任一所述地物类目着色图的修改操作，更新所述地物类目着色图，更新后的地物类目着色图作为变化检测模型的输入用于进行后续变化检测。
6.根据权利要求5所述的方法，其特征在于，所述变化检测模型包括：结构相同的第四子网络、第五子网络、第六子网络、第七子网络，以及多模态融合网络和第一解码器，其中第四子网络与第五子网络共享参数，第六子网络与第七子网络共享参数，第四子网络与第六子网络不共享参数；
将所述着色图和所述两期遥感影像输入变化检测模型，通过所述变化检测模型确定变化检测结果，包括：
将两期遥感影像分别输入第四子网络和第五子网络，通过第四子网络和第五子网络分别提取一期遥感影像的图像特征，比较两期遥感影像的图像特征，得到两期遥感影像的第一比较特征；
将两期遥感影像对应的地物类目着色图分别输入第六子网络和第七子网络，通过第六子网络和第七子网络分别提取一期地物类目着色图的图像特征，比较两期着色图的图像特征，得到两期遥感影像的第二比较特征；
通过多模态融合网络对所述第一比较特征和所述第二比较特征进行融合，得到融合编码比较特征；
通过第一解码器对所述融合编码比较特征进行解码，得到变化检测结果。
7.根据权利要求1-6中任一项所述的方法，其特征在于，所述两期遥感影像的标签信息为弱标签。
8.根据权利要求7所述的方法，其特征在于，
在模型训练过程中，所述变化检测模型还包括第二解码器和第三解码器，所述第一解码器、所述第二解码器和第三解码器这三者结构相同且不共享参数，
所述第二解码器用于对根据融合编码比较特征更新后的遥感影像比较特征进行解码，得到第一检测结果；
所述第三解码器用于对根据融合编码比较特征更新后的着色图比较特征进行解码，得到第二检测结果；
所述变化检测模型的参数基于根据所述变化检测结果和所述标签信息计算得到的第一损失值，根据所述第一检测结果和所述标签信息计算得到的第二损失值，以及根据所述第二检测结果和所述标签信息计算得到的第三损失值更新确定。
9.根据权利要求8所述的方法，其特征在于，在模型训练结束后，对变化检测模型进行剪裁，摘除所述第二解码器和所述第三解码器，得到最终的变化检测模型。
10.一种用于建筑物变化检测的遥感影像变化检测方法，其特征在于，包括：
获取用户指定的在不同时刻采集的两期遥感影像，以及所述两期遥感影像的标签信息，所述两期遥感影像中包含目标地域范围内的地物；
根据所述两期遥感影像的标签信息和预设的映射信息，生成所述标签信息对应的着色图；
将所述着色图和所述两期遥感影像输入变化检测模型，通过所述变化检测模型根据遥感影像获取两期遥感影像的第一比较特征，根据所述着色图获取两期遥感影像的第二比较特征，将所述第一比较特征和所述第二比较特征进行融合，得到融合编码比较特征，并根据融合编码比较特征解码得到所述目标地域范围内的地物的变化检测结果；
根据所述目标地域范围内的地物的变化检测结果，确定所述目标地域范围内建筑物的变化情况。
11.一种遥感影像变化检测模型训练方法，其特征在于，包括：
获取不同时刻采集的两期遥感数据，所述遥感数据包括多个不同地表范围的遥感影像，同一地表范围的两期遥感影像组成一个训练样本组，并获取多个训练样本组的弱标签信息；
根据训练样本组的弱标签信息和预设的映射信息，生成该训练样本组对应的着色图；
将训练样本组及对应的着色图输入变化检测模型，通过所述变化检测模型根据训练样本获取两期遥感影像的第一比较特征，根据着色图获取两期遥感影像的第二比较特征，将所述第一比较特征和所述第二比较特征进行融合，得到融合编码比较特征，并根据融合编码比较特征解码得到变化检测结果；
根据所述变化检测结果和所述弱标签信息，计算损失值，并根据损失值更新所述变化检测模型的参数。
12.根据权利要求11所述的方法，其特征在于，所述变化检测模型还包括第二解码器和第三解码器，所述第一解码器、所述第二解码器和第三解码器这三者结构相同且不共享参数，在通过多模态融合网络得到融合编码比较特征之后，还包括：
对所述融合编码比较特征进行通道分离操作，得到更新后的遥感影像比较特征和着色图比较特征；
通过所述第二解码器对更新后的遥感影像比较特征进行解码，得到第一检测结果；
通过所述第三解码器对更新后的着色图比较特征进行解码，得到第二检测结果；
所述根据所述变化检测结果和所述弱标签信息，计算损失值，并根据损失值更新所述变化检测模型的参数，包括：
根据所述变化检测结果和所述弱标签信息计算第一损失值，根据所述第一检测结果和所述弱标签信息计算第二损失值，根据所述第二检测结果和所述弱标签信息计算第三损失值；
根据第一损失值、第二损失值和第三损失值确定综合损失，根据综合损失更新所述变化检测模型的参数。
13.一种电子设备，其特征在于，包括：处理器，以及与所述处理器通信连接的存储器；
所述存储器存储计算机执行指令；
所述处理器执行所述存储器存储的计算机执行指令，以实现如权利要求1-12中任一项所述的方法。
14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1-12中任一项所述的方法。
CN202211098516.5A 2022-09-09 2022-09-09 遥感影像变化检测及模型训练的方法及设备 Active CN115170575B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211098516.5A CN115170575B (zh) 2022-09-09 2022-09-09 遥感影像变化检测及模型训练的方法及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211098516.5A CN115170575B (zh) 2022-09-09 2022-09-09 遥感影像变化检测及模型训练的方法及设备

Publications (2)

Publication Number Publication Date
CN115170575A true CN115170575A (zh) 2022-10-11
CN115170575B CN115170575B (zh) 2022-12-23

Family

ID=83482442

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211098516.5A Active CN115170575B (zh) 2022-09-09 2022-09-09 遥感影像变化检测及模型训练的方法及设备

Country Status (1)

Country Link
CN (1) CN115170575B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115620150A (zh) * 2022-12-05 2023-01-17 海豚乐智科技(成都)有限责任公司 基于孪生Transformer的多模态图像地面建筑识别方法及装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111161218A (zh) * 2019-12-10 2020-05-15 核工业北京地质研究院 一种基于孪生卷积神经网络的高分遥感影像变化检测方法
CN111274938A (zh) * 2020-01-19 2020-06-12 四川省自然资源科学研究院 一种面向Web的高分遥感河流水质动态监测方法与系统
CN112419156A (zh) * 2020-11-26 2021-02-26 武汉大学 一种顾及地物类别差异的多幅高分辨率遥感影像镶嵌方法
CN112861690A (zh) * 2021-02-01 2021-05-28 武汉汉达瑞科技有限公司 多方法融合的遥感影像变化检测方法及系统
US11189034B1 (en) * 2020-07-22 2021-11-30 Zhejiang University Semantic segmentation method and system for high-resolution remote sensing image based on random blocks
US20220237830A1 (en) * 2021-01-22 2022-07-28 Adobe Inc. Automatic object re-colorization
US20220237888A1 (en) * 2021-01-27 2022-07-28 Tata Consultancy Services Limited Method and system for providing generalized approach for crop mapping across regions with varying characteristics
CN114882252A (zh) * 2022-05-20 2022-08-09 中国人民解放军国防科技大学 半监督遥感影像变化检测方法、装置和计算机设备
CN114926511A (zh) * 2022-05-11 2022-08-19 西安电子科技大学 一种基于自监督学习的高分辨率遥感影像变化检测方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111161218A (zh) * 2019-12-10 2020-05-15 核工业北京地质研究院 一种基于孪生卷积神经网络的高分遥感影像变化检测方法
CN111274938A (zh) * 2020-01-19 2020-06-12 四川省自然资源科学研究院 一种面向Web的高分遥感河流水质动态监测方法与系统
US11189034B1 (en) * 2020-07-22 2021-11-30 Zhejiang University Semantic segmentation method and system for high-resolution remote sensing image based on random blocks
CN112419156A (zh) * 2020-11-26 2021-02-26 武汉大学 一种顾及地物类别差异的多幅高分辨率遥感影像镶嵌方法
US20220237830A1 (en) * 2021-01-22 2022-07-28 Adobe Inc. Automatic object re-colorization
US20220237888A1 (en) * 2021-01-27 2022-07-28 Tata Consultancy Services Limited Method and system for providing generalized approach for crop mapping across regions with varying characteristics
CN112861690A (zh) * 2021-02-01 2021-05-28 武汉汉达瑞科技有限公司 多方法融合的遥感影像变化检测方法及系统
CN114926511A (zh) * 2022-05-11 2022-08-19 西安电子科技大学 一种基于自监督学习的高分辨率遥感影像变化检测方法
CN114882252A (zh) * 2022-05-20 2022-08-09 中国人民解放军国防科技大学 半监督遥感影像变化检测方法、装置和计算机设备

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
YI LIU 等: "Building Change Detection for Remote Sensing Images Using a Dual Task Constrained Deep Siamese Convolutional Network Model", 《IEEE》 *
向阳等: "基于改进UNet孪生网络的遥感影像矿区变化检测", 《煤炭学报》 *
王延飞等: "盐城丹顶鹤保护区核心区土地覆被信息提取及其动态变化分析", 《森林工程》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115620150A (zh) * 2022-12-05 2023-01-17 海豚乐智科技(成都)有限责任公司 基于孪生Transformer的多模态图像地面建筑识别方法及装置
CN115620150B (zh) * 2022-12-05 2023-08-04 海豚乐智科技(成都)有限责任公司 基于孪生Transformer的多模态图像地面建筑识别方法及装置

Also Published As

Publication number Publication date
CN115170575B (zh) 2022-12-23

Similar Documents

Publication Publication Date Title
CN110795858B (zh) 家装设计图纸的生成方法和装置
CN113343775B (zh) 一种用于遥感影像地表覆盖分类的深度学习泛化方法
CN114863418B (zh) 一种均压场识别方法、装置、存储介质及终端
CN109741209B (zh) 台风灾害下配电网多源数据融合方法、系统及存储介质
CN115170749B (zh) 基于Cesium的WEBGIS三维可视化构建方法及系统
CN115064020B (zh) 基于数字孪生技术的智慧教学方法、系统及存储介质
CN115170575B (zh) 遥感影像变化检测及模型训练的方法及设备
CN115544264B (zh) 知识驱动的桥梁建造数字孪生场景智能构建方法及系统
CN111046213B (zh) 一种基于图像识别的知识库构建方法
CN114418021B (zh) 模型优化方法、装置及计算机程序产品
CN102800120B (zh) 一种基于多智能体的应急灾情态势显示系统和方法
CN115272667B (zh) 农田图像分割模型训练方法、装置、电子设备和介质
CN115048478B (zh) 智能设备地理信息图谱的构建方法、设备和系统
CN109241241A (zh) 一种基于通信数据的移动用户关系类型识别方法
CN110991022B (zh) 一种嵌入式城市设计场景仿真系统及方法
CN111176624B (zh) 一种流式计算指标的生成方法及装置
Sang et al. The topological viewshed: embedding topological pointers into digital terrain models to improve GIS capability for visual landscape analysis
CN113763447A (zh) 深度图的补全方法、电子设备及存储介质
CN113569886A (zh) 网络结构调整方法、装置和存储介质及电子设备
CN117422426B (zh) 基于水运工程bim模型的信息优化方法及系统
KR20200040457A (ko) 이미지 기반 교통 정보 예측 방법, 장치 및 컴퓨터 프로그램
CN113011584B (zh) 一种编码模型训练的方法、编码的方法、装置和存储介质
Ahmadi et al. Using cognitive information in the expert interface system for intelligent structuring and quality control of spatial data measured from photogrammetric or remotely sensed images
CN117541883B (zh) 图像生成模型训练、图像生成方法、系统以及电子设备
CN115424019A (zh) 一种细粒度点分割材质分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant