CN115311550A - 遥感影像语义变化检测方法、装置、电子设备及存储介质 - Google Patents

遥感影像语义变化检测方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN115311550A
CN115311550A CN202210715284.7A CN202210715284A CN115311550A CN 115311550 A CN115311550 A CN 115311550A CN 202210715284 A CN202210715284 A CN 202210715284A CN 115311550 A CN115311550 A CN 115311550A
Authority
CN
China
Prior art keywords
time phase
image block
image
remote sensing
phase image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210715284.7A
Other languages
English (en)
Other versions
CN115311550B (zh
Inventor
岳安志
陈静波
陈建胜
贺东旭
邓毓鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aerospace Information Research Institute of CAS
Original Assignee
Aerospace Information Research Institute of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aerospace Information Research Institute of CAS filed Critical Aerospace Information Research Institute of CAS
Priority to CN202210715284.7A priority Critical patent/CN115311550B/zh
Publication of CN115311550A publication Critical patent/CN115311550A/zh
Application granted granted Critical
Publication of CN115311550B publication Critical patent/CN115311550B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种遥感影像语义变化检测方法、装置、电子设备及存储介质，该方法涉及遥感图像处理领域，包括：获取遥感影像；遥感影像包括前时相遥感影像和后时相遥感影像；对前时相遥感影像和后时相遥感影像进行影像裁剪，得到裁剪之后的至少一个前时相影像块和至少一个后时相影像块；将各前时相影像块和各后时相影像块输入至影像语义变化检测模型，得到影像语义变化检测模型输出的检测结果图；基于各前时相影像块分类图、各后时相影像块分类图和各前后时相影像块二值变化检测图，确定遥感影像对应的语义变化检测图，实现了遥感影像的语义变化的检测，提升了语义变化检测的精度。

Description

遥感影像语义变化检测方法、装置、电子设备及存储介质
技术领域
本发明涉及遥感图像处理领域，尤其涉及一种遥感影像语义变化检测方法、装置、电子设备及存储介质。
背景技术
遥感影像变化检测用于提取地表覆盖或土地利用地物要素类型间的变化信息，未特别说明的情况下，遥感影像变化检测一般是指利用同一区域、前后两个时相的光学卫星遥感影像提取变化信息，即双时相光学遥感影像变化检测。按照变化信息的层次，变化检测可分为二值变化检测和语义变化检测；其中，二值变化检测仅关注变化属性(即是否发生了变化)，语义变化检测除了关注变化属性之外，还关注变化方向(即由什么地物变为什么地物)。
目前，基于深度学习的语义分割模型开展双时相光学遥感影像变化检测是当前的研究热点，主要方法可分为两类：一类是利用双流网络架构分别学习前后时相影像特征，另一类是通过通道叠加将前后时相影像合成为一景影像后输入单流网络架构。双流网络架构的一般采用编码器—解码器(encoder-decoder)模型，在模型训练阶段，双流网络利用两个孪生编码器(Siamese encoder)分别监督地学习前、后时相影像的特征，进一步利用特征融合模块组合学习的特征，以增强变化信息，最后计算解码器输出的变化概率与真值间的损失函数(loss function)，以调整编码器和解码器的权重参数。
相关技术中，利用提出的压缩—扩张/扩张—压缩网络(Compress-Expand/Expand-Compress Network，CEECNet)作为孪生编码器提取前后时相影像特征，并利用相对注意力机制将前后时相特征融合为变化特征，进一步利用常规的上采样、通道叠加和卷积模块构成的解码器进行特征图分辨率提升，以分形谷本(Tanimoto)相似度系数为损失函数进行模型训练，开展变化检测分割、边缘检测分割、距离变化预测多任务学习。
然而，未充分挖掘前后时相影像间变化特征的引导作用，主要表现在特征融合模块、损失函数两方面；其中，在特征融合模块方面，CEECNet基于相对注意力的特征融合虽然可增强变化信息，但由于融合权重是通过学习的注意力机制参数确定的，存在“黑盒”问题，因而不具有可解释性；在损失函数方面，CEECNet采用的损失函数只考虑了“最大化变化区域与真值的特征差异”的需求，而未考虑“最小化未变化区域与真值的特征差异”需求，因而存在未充分利用样本中的未变化区域信息的问题，从而导致变化检测的精度低。
发明内容
本发明提供一种遥感影像语义变化检测方法、装置、电子设备及存储介质，用以解决现有技术中变化检测的精度低的缺陷，实现高精度检测遥感影像的语义变化。
本发明提供一种遥感影像语义变化检测方法，所述方法包括：
获取遥感影像；所述遥感影像包括前时相遥感影像和后时相遥感影像；
对所述前时相遥感影像和所述后时相遥感影像进行影像裁剪，得到裁剪之后的至少一个前时相影像块和至少一个后时相影像块；
将各所述前时相影像块和各所述后时相影像块输入至影像语义变化检测模型，得到所述影像语义变化检测模型输出的检测结果图；所述检测结果图包括至少一个前时相影像块分类图、至少一个后时相影像块分类图和至少一个前后时相影像块二值变化检测图；所述影像语义变化检测模型，是基于样本遥感影像进行训练后得到的；
基于各所述前时相影像块分类图、各所述后时相影像块分类图和各所述前后时相影像块二值变化检测图，确定所述遥感影像对应的语义变化检测图；所述语义变化检测图用于指示所述遥感影像的变化结果。
根据本发明提供的一种遥感影像语义变化检测方法，所述影像语义变化检测模型包括特征提取模块、影像分类模块、变化检测模块；
所述将各所述前时相影像块和各所述后时相影像块输入至影像语义变化检测模型，得到所述影像语义变化检测模型输出的检测结果图，包括：
将各所述前时相影像块和各所述后时相影像块输入至所述特征提取模块，得到所述特征提取模块输出的至少一个前时相影像块特征图和至少一个后时相影像块特征图；
将各所述前时相影像块特征图和各所述后时相影像块特征图输入至所述影像分类模块，得到所述影像分类模块输出的至少一个前时相影像块分类图和至少一个后时相影像块分类图；
将各所述前时相影像块特征图和各所述后时相影像块特征图输入至所述变化检测模块，得到所述变化检测模块输出的至少一个前后时相影像块二值变化检测图。
根据本发明提供的一种遥感影像语义变化检测方法，所述变化检测模块包括变化特征融合单元、变化特征解码单元、变化语义分割单元；
所述将各所述前时相影像块特征图和各所述后时相影像块特征图输入至所述变化检测模块，得到所述变化检测模块输出的至少一个前后时相影像块二值变化检测图，包括：
将各所述前时相影像块特征图和各所述后时相影像块特征图输入至变化特征融合单元，得到所述变化特征融合单元输出的至少一个变化特征融合图；
将各所述变化特征融合图输入至所述变化特征解码单元，得到所述变化特征解码单元输出的至少一个变化特征图；
将各所述变化特征图输入至变化语义分割单元，得到所述变化语义分割单元输出的至少一个前后时相影像块二值变化检测图。
根据本发明提供的一种遥感影像语义变化检测方法，所述将各所述前时相影像块特征图和各所述后时相影像块特征图输入至变化特征融合单元，得到所述变化特征融合单元输出的至少一个变化特征融合图，包括：
将各所述前时相影像块特征图和各所述后时相影像块特征图输入至变化特征融合单元，对各所述前时相影像块特征图和各所述后时相影像块特征图进行特征相加，得到至少一个特征相加融合结果；
对各所述前时相影像块特征图和各所述后时相影像块特征图进行特征相减，得到至少一个特征相减融合结果；
分别计算各所述前时相影像块特征图和各所述后时相影像块特征图中对应像素的特征之间的距离；
将各所述距离作为权重，分别与各所述特征相加融合结果和各所述特征相减融合结果相乘，确定至少一个距离加权结果；
基于各所述特征相加融合结果、各所述特征相减融合结果和各所述距离加权结果，确定至少一个变化特征融合图。
根据本发明提供的一种遥感影像语义变化检测方法，所述基于各所述特征相加融合结果、各所述特征相减融合结果和各所述距离加权结果，确定至少一个变化特征融合图，包括：
分别将各所述特征相加融合结果、各所述特征相减融合结果与各所述距离加权结果进行相加，确定至少一个相加结果；
对各所述相加结果进行通道叠加，确定至少一个变化特征融合图。
根据本发明提供的一种遥感影像语义变化检测方法，所述变化检测模块在训练阶段使用的变化损失函数，采用公式(1)表示：
Chgloss＝((1-Distunchg)+Distchg)/2 (1)
其中，Chgloss表示变化损失函数，Distunchg表示未变化区域特征距离，Distchg表示变化区域特征距离。
根据本发明提供的一种遥感影像语义变化检测方法，所述基于各所述前时相影像块分类图、各所述后时相影像块分类图和各所述前后时相影像块二值变化检测图，确定所述遥感影像对应的语义变化检测图，包括：
对各所述前时相影像块分类图进行拼接，确定与所述前时相遥感影像对应的前时相影像分类图；
对各所述后时相影像块分类图进行拼接，确定与所述后时相遥感影像对应的后时相影像分类图；
对各所述前后时相影像块二值变化检测图进行拼接，确定前后时相二值变化检测图；
基于所述前时相影像分类图、所述后时相影像分类图和所述前后时相二值变化检测图，确定所述遥感影像对应的语义变化检测图。
本发明还提供一种遥感影像语义变化检测装置，所述装置包括：
获取模块，用于获取遥感影像；所述遥感影像包括前时相遥感影像和后时相遥感影像；
裁剪模块，用于对所述前时相遥感影像和所述后时相遥感影像进行进行影像裁剪，得到裁剪之后的至少一个前时相影像块和至少一个后时相影像块；
检测模块，用于将各所述前时相影像块和各所述后时相影像块输入至影像语义变化检测模型，得到所述影像语义变化检测模型输出的检测结果图；所述检测结果图包括至少一个前时相影像块分类图、至少一个后时相影像块分类图和至少一个前后时相影像块二值变化检测图；所述影像语义变化检测模型，是基于样本遥感影像进行训练后得到的；
确定模块，用于基于各所述前时相影像块分类图、各所述后时相影像块分类图和各所述前后时相影像块二值变化检测图，确定所述遥感影像对应的语义变化检测图；所述语义变化检测图用于指示所述遥感影像的变化结果。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述遥感影像语义变化检测方法。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述遥感影像语义变化检测方法。
本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述遥感影像语义变化检测方法。
本发明提供的遥感影像语义变化检测方法、装置、电子设备及存储介质，通过获取遥感影像；遥感影像包括前时相遥感影像和后时相遥感影像；对前时相遥感影像和后时相遥感影像进行影像裁剪，得到裁剪之后的至少一个前时相影像块和至少一个后时相影像块；将各前时相影像块和各后时相影像块输入至影像语义变化检测模型，得到影像语义变化检测模型输出的至少一个前时相影像块分类图、至少一个后时相影像块分类图和至少一个前后时相影像块二值变化检测图；基于各前时相影像块分类图、各后时相影像块分类图和各前后时相影像块二值变化检测图，确定遥感影像对应的语义变化检测图。本发明提供的方法，通过影像语义变化检测模型，实现了检测遥感影像的语义变化，提升了遥感影像的语义变化检测的精度。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图进行简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的遥感影像语义变化检测方法的流程示意图之一；
图2是本发明提供的遥感影像语义变化检测方法的流程示意图之二；
图3是本发明提供的孪生编码器的结构示意图；
图4是本发明提供的语义分割块的结构示意图；
图5是本发明提供的变化特征融合模块的结构图；
图6是本发明提供的影像语义变化检测模型的结构示意图；
图7是本发明提供的遥感影像语义变化检测方法的流程示意图之三；
图8是本发明提供的遥感影像语义变化检测方法的结果示意图；
图9是本发明提供的遥感影像语义变化检测装置的结构示意图；
图10是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合附图，通过一些实施例及其应用场景对本发明提供的遥感影像语义变化检测方法进行详细的说明。
本发明提供一种遥感影像语义变化检测方法，该遥感影像语义变化检测方法适用于遥感影像的检测场景中，获取遥感影像；所述遥感影像包括前时相遥感影像和后时相遥感影像；对所述前时相遥感影像和所述后时相遥感影像进行影像裁剪，得到裁剪之后的至少一个前时相影像块和至少一个后时相影像块；将各所述前时相影像块和各所述后时相影像块输入至影像语义变化检测模型，得到所述影像语义变化检测模型输出的检测结果图；所述检测结果图包括至少一个前时相影像块分类图、至少一个后时相影像块分类图和至少一个前后时相影像块二值变化检测图；所述影像语义变化检测模型，是基于样本遥感影像进行训练后得到的；基于各所述前时相影像块分类图、各所述后时相影像块分类图和各所述前后时相影像块二值变化检测图，确定所述遥感影像对应的语义变化检测图；所述语义变化检测图用于指示所述遥感影像的变化结果。本发明提供的方法，通过影像语义变化检测模型，实现了遥感影像的语义变化的检测，提升了遥感影像的语义变化检测的精度。
下面结合图1-图8描述本发明的遥感影像语义变化检测方法。
图1是本发明的提供的遥感影像语义变化检测方法的流程示意图之一，如图1所示，该方法包括步骤101-步骤104，其中：
步骤101，获取遥感影像；所述遥感影像包括前时相遥感影像和后时相遥感影像。
需要说明的是，本发明提供的遥感影像语义变化检测方法可适用于遥感影像的检测场景中。该方法的执行主体可以为遥感影像语义变化检测装置，例如电子设备、或者该遥感影像语义变化检测装置中的用于执行遥感影像语义变化检测方法的控制模块。
具体地，通过飞机拍摄或者卫星拍摄目标区域的影像，可以获取到遥感影像，其中，在不同时刻拍摄的遥感影像包括前时相遥感影像和后时相遥感影像，前时相遥感影像和后时相遥感影像是针对同一目标区域拍摄的影像。
步骤102，对所述前时相遥感影像和所述后时相遥感影像进行影像裁剪，得到裁剪之后的至少一个前时相影像块和至少一个后时相影像块。
具体地，首先对获取的前时相遥感影像和后时相遥感影像进行预处理，其中，预处理包括空间配准、相对辐射校正、影像重采样、尺寸和通道统一等。
利用尺寸均匀、无重叠的滑动窗口裁剪预处理之后的前时相遥感影像和后时相遥感影像，得到具有相同地理坐标范围、宽度和高度相同的至少一个前时相图像块和至少一个后时相影像块。
实际中，遥感影像的裁剪过程为：尺寸均为h×w×c的前时相遥感影像和后时相遥感影像，分别被尺寸为s×s的无重叠滑动窗口均匀裁剪为s×s×c的多个前时相影像块和多个后时相影像块；其中，h为遥感影像的高度，w为遥感影像的宽度，c为遥感影像的通道数，s为宽度和高度相同的滑动窗口的尺寸；若滑动窗口最后一行的影像块的高度不足s，或者最后一列的影像块的宽度不足s的像素以0值填充。
步骤103，将各所述前时相影像块和各所述后时相影像块输入至影像语义变化检测模型，得到所述影像语义变化检测模型输出的检测结果图；所述检测结果图包括至少一个前时相影像块分类图、至少一个后时相影像块分类图和至少一个前后时相影像块二值变化检测图；所述影像语义变化检测模型，是基于样本遥感影像进行训练后得到的。
具体地，将各前时相影像块和各后时相影像块输入至影像语义变化检测模型，得到影像语义变化检测模型输出的检测结果图；检测结果图包括至少一个前时相影像块分类图、至少一个后时相影像块分类图和至少一个前后时相影像块二值变化检测图；其中，至少一个前时相影像块分类图与各前时相影像块一一对应，至少一个后时相影像块分类图与各后时相影像块一一对应，至少一个前后时相影像块二值变化检测图与各后时相影像块一一对应。
步骤104，基于各所述前时相影像块分类图、各所述后时相影像块分类图和各所述前后时相影像块二值变化检测图，确定述遥感影像对应的语义变化检测图；所述语义变化检测图用于指示所述遥感影像的变化结果。
具体地，根据各前时相影像块分类图，可以得到前时相遥感影像对应的影像分类结果；根据各后时相影像块分类图，可以得到后时相遥感影像对应的影像分类结果；根据各前后时相影像块二值变化检测图，可以得到前后时相影像二值变化检测结果；再根据前时相遥感影像对应的影像分类结果、后时相遥感影像对应的影像分类结果、前后时相影像二值变化检测结果，确定前后时相影像对应的语义变化检测图。
本发明提供的遥感影像语义变化检测方法，通过对前时相遥感影像和后时相遥感影像进行影像裁剪，得到裁剪之后的至少一个前时相影像块和至少一个后时相影像块；将各前时相影像块和各后时相影像块输入至影像语义变化检测模型，得到影像语义变化检测模型输出的检测结果图；检测结果图包括至少一个前时相影像块分类图、至少一个后时相影像块分类图和至少一个前后时相影像块二值变化检测图；基于各前时相影像块分类图、各后时相影像块分类图和各前后时相影像块二值变化检测图，确定遥感影像对应的语义变化检测图。本发明提供的方法，通过影像语义变化检测模型，实现了遥感影像的语义变化的检测，提升了遥感影像的语义变化检测的精度。
图2是本发明提供的遥感影像语义变化检测方法的流程示意图之二，如图2所示，该方法包括步骤201-步骤206，其中：
步骤201，获取遥感影像；所述遥感影像包括前时相遥感影像和后时相遥感影像。
步骤202，对所述前时相遥感影像和所述后时相遥感影像进行影像裁剪，得到裁剪之后的至少一个前时相影像块和至少一个后时相影像块。
可选地，关于步骤201-202的说明和解释，可以参照上述针对步骤101-102的说明和解释，且能达到相同的技术效果，为避免重复，这里不再赘述。
步骤203，将各所述前时相影像块和各所述后时相影像块输入至所述特征提取模块，得到所述特征提取模块输出的至少一个前时相影像块特征图和至少一个后时相影像块特征图。
具体地，特征提取模块利用两个权重共享的孪生编码器(Siamese Encoder，SE)，分别提取各前时相影像块和各后时相影像块的特征，得到维度一致的至少一个前时相影像块特征图和至少一个后时相影像块特征图。其中，各前时相影像块特征图和各后时相影像块特征图分别与各前时相影像块和各后时相影像块一一对应，即前时相影像块特征图与前时相影像块对应，后时相影像块特征图与后时相影像块对应。
图3是本发明提供的孪生编码器的结构示意图，如图3所示，孪生编码器包括卷积神经网络特征提取、双向特征金字塔网络(Bi-directional Feature Pyramid Network，BiFPN)多尺度特征融合两个部分，其中：
卷积神经网络特征提取利用权重相同的两个孪生卷积网络，对前时相影像块Patbef和后时相影像块Pataft进行特征提取，卷积神经网络由6个卷积层组成；其中，第1个卷积层利用3个3×3×c的卷积核，将Patbef和Pataft的尺寸由s×s×c调整为s×s×3，以便于在模型训练过程中加载数据集(ImageNet)等大型开源数据集上的预训练权重；第2个卷积层至第6个卷积层分别利用C0、C1、C2、C3和C4等卷积核逐步提取Patbef和Pataft特征，分别得到尺寸为
Figure BDA0003708575420000121
Figure BDA0003708575420000122
的特征图；
采用加权BiFPN融合第2个卷积层至第6个卷积层得到的
Figure BDA0003708575420000123
Figure BDA0003708575420000124
等5个不同分辨率的特征图，得到对应于Patbef的多尺度前时相影像块特征图Feabef，Feabef＝{P1,P2,P3,P4,P5}，以及对应于的Pataft的多尺度后时相影像块特征图Feaaft，Feaaft＝{P’1,P’2,P’3,P’4,P’5}。
步骤204，将各所述前时相影像块特征图和各所述后时相影像块特征图输入至所述影像分类模块，得到所述影像分类模块输出的至少一个前时相影像块分类图和至少一个后时相影像块分类图。
以对前时相影像块特征图进行分类为例进行说明。具体地，影像分类模块使用影像分类解码器对输入的前时相影像块特征图和后时相影像块特征图进行分类；其中，影像分类解码器包括4个语义分割块(Segmentation Block，SB)和1个语义分割头(Segmentation Head，SH)。通过该影像分类解码器得到与前时相图像块Patbef高度s和宽度s一致的前时相影像块分类图。
图4是本发明提供的语义分割块的结构示意图，如图4所示，该语义分割块包括上采样、特征叠加、卷积模块(Conv-BN-ReLU)、压缩-激励注意力模块和卷积模块(Conv-BN-ReLU)等。
实际中，SB通过上采样、特征叠加、卷积模块(Conv-BN-ReLU)、压缩-激励注意力模块和卷积模块(Conv-BN-ReLU)等模块，得到与前时相图像块Patbef高度s和宽度s一致的分类图；SH对特征图中各像素点进行归一化(softmax)函数运算，得到前时相影像块特征图中各像素点对应的类别概率，即前时相影像块对应的类别概率图，从而得到前时相影像块特征图对应的前时相影像块分类图。
需要说明的是，在影像语义变化检测模型的训练阶段，采用前时相影像块分类图与其对应的真值图，计算分类损失函数Claloss＝DICEloss+BCEloss，以调整孪生编码器和影像分类解码器的权重，即将Dice损失函数DICEloss和二分类交叉熵损失函数(Binary CrossEntropy，BCEloss)相加，组合为分类损失函数Claloss；在模型推理阶段，取前时相影像块分类图中最大的概率对应的类别为对应像素的类别，得到与前时相影像块特征图对应的前时相影像块分类图。
针对后时相影像块特征图的分类，采用与前时相影像块特征图相同的分类过程，得到后时相影像块特征图对应的后时相影像块分类图，为了避免重复，在此不做重复赘述。
根据上述的描述，影像分类模块，分别基于前时相影像块特征图Feabef、后时相影像块特征图Feaaft，利用前时相影像块的影像分类解码器、后时相影像块的影像分类解码器进行解码，得到前时相影像块分类图Patbef_cla、后时相影像块分类图Pataft_cla。
步骤205，将各所述前时相影像块特征图和各所述后时相影像块特征图输入至所述变化检测模块，得到所述变化检测模块输出的至少一个前后时相影像块二值变化检测图。
具体地，变化检测模块可以是一个变化检测解码器，将各前时相影像块特征图和各后时相影像块特征图输入至变化检测模块，得到变化检测模块输出的至少一个前后时相影像块二值变化检测图，其中，前后时相影像块二值变化检测图表示后时相影像块相对于前时相影像块的变化二值图。
步骤206，基于各所述前时相影像块分类图、各所述后时相影像块分类图和各所述前后时相影像块二值变化检测图，确定所述遥感影像对应的语义变化检测图；所述语义变化检测图用于指示所述遥感影像的变化结果。
可选地，关于步骤206的说明和解释，可以参照上述针对步骤104的说明和解释，且能达到相同的技术效果，为避免重复，这里不再赘述。
本发明提供的遥感影像语义变化检测方法，通过将各前时相影像块和各后时相影像块输入至特征提取模块，得到至少一个前时相影像块特征图和至少一个后时相影像块特征图；将各前时相影像块特征图和各后时相影像块特征图输入至影像分类模块，得到至少一个前时相影像块分类图和至少一个后时相影像块分类图；将各前时相影像块特征图和各后时相影像块特征图输入至变化检测模块，得到至少一个前后时相影像块二值变化检测图；最后，基于各前时相影像块分类图、各后时相影像块分类图和各前后时相影像块二值变化检测图，确定遥感影像对应的语义变化检测图，实现了遥感影像的语义变化的检测，提升了语义变化检测的精度。
可选地，所述变化检测模块包括变化特征融合单元、变化特征解码单元、变化语义分割单元；上述步骤205的具体实现方式包括以下步骤：
步骤1)将各所述前时相影像块特征图和各所述后时相影像块特征图输入至变化特征融合单元，得到所述变化特征融合单元输出的至少一个变化特征融合图。
具体地，利用变化特征融合模块(Change Feature Fusion Module，CFFM)，将各前时相特征图Feabef、各后时相特征图Feaaft进行运算组合，得到至少一个变化特征融合图Feacha。
步骤2)将各所述变化特征融合图输入至所述变化特征解码单元，得到所述变化特征解码单元输出的至少一个变化特征图。
具体地，变化特征解码单元可以是变化特征解码器，通过上述如图4所示的上采样、特征叠加、卷积模块(Conv-BN-ReLU)、压缩-激励注意力模块、卷积模块(Conv-BN-ReLU)等语义分割模块，得到与前后时相影像块高度s和宽度s一致的变化特征图。
步骤3)将各所述变化特征图输入至变化语义分割单元，得到所述变化语义分割单元输出的至少一个前后时相影像块二值变化检测图。
具体地，利用语义分割头对各变化特征图使用激活函数(Sigmoid)进行运算，得到值域范围为(0，1)的前后时相影像块间的变化概率图；再利用阈值提取变化概率图中的变化像素，若变化概率图中的各像素点的值大于等于阈值，则该像素点发生变化，则将该像素点的值设置为1；若变化概率图中的各像素点的值小于阈值，则该像素点未发生变化，则将该像素点的值设置为0，从而得到至少一个前后时相影像块二值变化检测图。
本发明提供的遥感影像语义变化检测方法，通过将各前时相影像块特征图和各后时相影像块特征图输入至变化特征融合单元，得到至少一个变化特征融合图；将各变化特征融合图输入至变化特征解码单元，得到至少一个变化特征图；将各变化特征图输入至变化语义分割单元，得到至少一个前后时相影像块二值变化检测图，构建具有可解释性的变化检测模块的特征融合单元，实现了遥感影像的语义变化的检测，增强特征引导的可解释性，提升了语义变化检测的精度。
可选地，将各所述前时相影像块特征图和各所述后时相影像块特征图输入至变化特征融合单元，得到所述变化特征融合单元输出的至少一个变化特征融合图的具体实现方式，包括：
步骤1)将各所述前时相影像块特征图和各所述后时相影像块特征图输入至变化特征融合单元，对各所述前时相影像块特征图和各所述后时相影像块特征图进行特征相加，得到至少一个特征相加融合结果。
具体地，将前时相影像块特征图与后时相影像块特征图进行特征相加，通过特征相加可以增强变化特征，得到至少一个特征相加融合结果，即特征相加融合结果Feaadd＝(Pn+P’n)，其中，Pn表示前时相影像块特征图，P’n表示后时相影像块特征图。
步骤2)对各所述前时相影像块特征图和各所述后时相影像块特征图进行特征相减，得到至少一个特征相减融合结果。
具体地，将前时相影像块特征图与后时相影像块特征图进行特征相减，并求绝对值，通过特征相减也可以增强变化特征，得到至少一个特征相减融合结果，其中，即特征相减融合结果Feasub＝|(Pn-P’n)|。
步骤3)分别计算各所述前时相影像块特征图和各所述后时相影像块特征图中对应像素的特征之间的距离。
具体地，分别逐像素计算前时相影像块特征图与后时相影像块特征图中对应像素的特征间的欧氏距离，并利用Sigmoid函数将距离归一化至(0,1)的范围内，即
Figure BDA0003708575420000161
其中，i表示特征图中的第i个特征，xi和x′i分别表示前时相影像块特征图和后时相影像块特征图中第i个特征的特征值，n为特征图的特征维度。
步骤4)将各所述距离作为权重，分别与各所述特征相加融合结果和各所述特征相减融合结果相乘，确定至少一个距离加权结果。
具体地，将各像素点对应的距离作为权重，逐像素分别与各特征相加融合结果进行相乘，可以表示为Feaw_add＝Feaadd*Feadist；与各特征相减融合结果进行相乘，可以表示为Feaw_sub＝Feasub*Feadist；其中，Feaadd表示特征相加融合结果，Feadist表示前时相影像块特征图与后时相影像块特征图中对应像素的特征间的欧氏距离，Feasub表示特征相减融合结果，从而确定至少一个距离加权结果。
步骤5)基于各所述特征相加融合结果、各所述特征相减融合结果和各所述距离加权结果，确定至少一个变化特征融合图。
本发明提供的遥感影像语义变化检测方法，通过将各前时相影像块特征图和各后时相影像块特征图输入至变化特征融合单元，对各前时相影像块特征图和各后时相影像块特征图进行特征相加，得到至少一个特征相加融合结果；对各前时相影像块特征图和各后时相影像块特征图进行特征相减，得到至少一个特征相减融合结果；再分别计算各前时相影像块特征图和各后时相影像块特征图中对应像素的特征之间的距离；将各距离作为权重，分别与各特征相加融合结果和各特征相减融合结果相乘，确定至少一个距离加权结果；基于各特征相加融合结果、各特征相减融合结果和各距离加权结果，确定至少一个变化特征融合图，通过构建具有可解释性的变化检测模块的特征融合单元，利用特征相加、特征相减、特征距离加权和特征叠加等运算，既保证了融合操作的可解释性，又可得到较好的特征融合效果，实现了遥感影像的语义变化的检测，增强特征引导的可解释性，提升了语义变化检测的精度。
图5是本发明提供的变化特征融合模块的结构图，如图5所示，将前时相影像块特征图Pn与后时相影像块特征图P’n进行特征相加、特征相减、特征距离计算，再对特征距离利用Sigmoid函数将距离归一化至(0,1)的范围内，分别得到特征相加融合结果Feaadd、特征相减融合结果Feasub、归一化之后的特征距离Feadist，将Feadist作为权重，分别与Feaadd、Feasub进行点积相乘，分别得到Feaadd对应的距离加权结果及Feasub对应的距离加权结果，再将Feaadd对应的距离加权结果和Feasub对应的距离加权结果进行通道叠加，得到变化特征融合图Feachg，从而得到遥感影像对应的变化特征融合结果In。
可选地，基于各所述特征相加融合结果、各所述特征相减融合结果和各所述距离加权结果，确定至少一个变化特征融合图，包括：
分别将各所述特征相加融合结果、各所述特征相减融合结果与各所述距离加权结果进行相加，确定至少一个相加结果；对各所述相加结果进行通道叠加，确定至少一个变化特征融合图。
具体地，将特征相加融合结果Feaadd与特征相加融合结果对应的距离加权结果Feaw_add相加，得到对应的相加结果；将特征相减融合结果Feasub与特征相减融合结果对应的距离加权结果Feaw_sub相加，得到对应的相加结果；再对各相加结果进行通道叠加，得到最终的至少一个变化特征融合结果，从而确定至少一个变化特征融合图，表示为Feacha＝concat[Feaadd+Feaw_add,Feasub+Feaw_sub]。
本发明提供的遥感影像语义变化检测方法，通过分别将各特征相加融合结果、各特征相减融合结果与各距离加权结果进行相加，确定至少一个相加结果；对各相加结果进行通道叠加，确定至少一个变化特征融合图，实现了遥感影像的特征融合，增强特征引导的可解释性，提升了语义变化检测的精度。
可选地，所述变化检测模块在训练阶段使用的变化损失函数，采用公式(1)表示：
Chgloss＝((1-Distunchg)+Distchg)/2 (1)
其中，Chgloss表示损失函数，Distunchg表示未变化区域特征距离，Distchg表示变化区域特征距离。
具体地，在影像语义变化检测模型的训练阶段，采用前时相影像块分类图与前时相影像块分类图对应的二值变化检测真值图，计算变化损失函数Chgloss，以调整孪生编码器和变化检测解码器的权重。
特别地，为了充分利用前后时相影像块中的未变化区域特征，定义了同时考虑未变化区域特征距离Distunchg和变化区域特征距离Distchg的变化损失函数Chgloss，采用公式(1)表示：
Chgloss＝((1-Distunchg)+Distchg)/2 (1)
其中，Chgloss表示损失函数，Distunchg表示未变化区域特征距离，Distchg表示变化区域特征距离。
其中，未变化区域特征距离Distunchg可以采用公式(2)表示：
Figure BDA0003708575420000191
其中，Pbef_unchg＝Feabef*(1-Gchg)，Paft_unchg＝Feaaft*(1-Gchg)。
变化区域特征距离Distchg可以采用公式(3)表示：
Figure BDA0003708575420000192
其中，Pbef_chg＝Feabef*Gchg，Paft_chg＝Feaaft*Gchg。
上述公式(2)和公式(3)中，Feabef＝{P1,P2,P3,P4,P5}，Feabef表示前时相影像块特征图，Feaaft＝{P’1,P’2,P’3,P’4,P’5}，Feaaft表示后时相影像块特征图，Gchg表示二值变化检测真值图，h表示Feabef和Feaaft的高度，w表示Feabef和Feaaft的宽度，b表示Feabef和Feaaft的特征通道数。
本发明提供的遥感影像语义变化检测方法，通过定义变化损失函数，同时考虑了未变化区域特征距离和变化区域特征距离，既惩罚了变化区域被判定为未变化区域的情况，又惩罚了未变化区域被判定为变化区域的情况，通过均衡利用变化区域和未变化区域提供的特征引导，降低漏检和误检，提升了语义变化检测的精度。
图6是本发明提供的影像语义变化检测模型的结构示意图，如图6所示，包括特征提取模块、影像分类模块、变化检测模块；其中，
特征提取模块，采用两个孪生编码器SE对输入的前时相影像块和后时相影像块进行特征提取，得到前时相影像块特征图Feabef和后时相影像块特征图Feaaft；
影像分类模块，采用4个结构相同的语义分割块SB和1个语义分割头SH的影像分类解码器，分别对前时相影像块特征图Feabef和后时相影像块特征图Feaaft进行分类，得到前时相影像块分类图Patcla_bef和后时相影像块分类图Patcla_aft；其中，影像分类模块在训练阶段采用分类损失函数Claloss调整孪生编码器和影像分类解码器的权重；
变化检测模块，采用变化特征融合模块(Change Feature Fusion Module，CFFM)，将前时相特征图Feabef、后时相特征图Feaaft进行运算组合，得到变化特征融合图Feacha，将变化特征融合图Feacha输入至变化特征解码器(语义分割模块SB)，再经过语义分割头SH对经过语义分割模块SB的变化特征图使用激活函数(Sigmoid)进行运算，得到值域范围为(0，1)的前后时相影像块间的变化概率图，即得到前后时相影像二值变化检测图Patbin_chg；其中，变化检测模块在训练阶段采用变化损失函数Chgloss，以调整孪生编码器和变化检测解码器的权重；
根据上述特征提取模块S1、影像分类模块S2、变化检测模块S3得到影像语义变化检测模型输出的前时相影像块分类图Patcla_bef、后时相影像块分类图Patcla_aft和前后时相影像块二值变化检测图Patbin_chg。
可选地，上述步骤104或步骤206的具体实现方式包括以下步骤：
步骤1)对各所述前时相影像块分类图进行拼接，确定与所述前时相遥感影像对应的前时相影像分类图。
具体地，对前时相影像块分类图进行空间拼接，根据对前时相遥感影像进行影像裁剪的裁剪顺序，即从Imgbef到Patbef的裁剪顺序，将前时相影像块分类图Patbef_cla按照裁剪顺序拼接为与前时相遥感影像Imgbef对应的前时相影像分类图Imgbef_cla。
步骤2)对各所述后时相影像块分类图进行拼接，确定与所述后时相遥感影像对应的后时相影像分类图。
具体地，对后时相影像块分类图进行空间拼接，根据对后时相遥感影像进行影像裁剪的裁剪顺序，即从Imgaft到Pataft的裁剪顺序，将后时相影像块分类图Pataft_cla按照裁剪顺序拼接为与后时相遥感影像Imgaft对应的后时相影像分类图Imgaft_cla。
步骤3)对各所述前后时相影像块二值变化检测图进行拼接，确定前后时相二值变化检测图。
具体地，对前后时相影像块二值变化检测图进行空间拼接，根据对前时相遥感影像进行影像裁剪的裁剪顺序，即从Imgbef到Patbef的裁剪顺序，将前后时相影像块二值变化检测图Patbin_chg按照裁剪顺序拼接为前后时相二值变化检测图Imgbin_chg。
步骤4)基于所述前时相影像分类图、所述后时相影像分类图和所述前后时相二值变化检测图，确定所述遥感影像对应的语义变化检测图。
具体地，对前后时相二值变化检测图进行属性合并，根据前时相影像分类图、后时相影像分类图和前后时相二值变化检测图，在单通道的前后时相二值变化检测图Imgbin_chg上增加2个通道，其中，新增通道1存储前时相影像分类图Imgbef_cla对应像素的类别标识(ID)值，新增通道2存储后时相影像分类图Imgaft_cla对应像素的类别(ID)值，从而得到包含变化方向(即由什么地物变为什么地物)的语义变化检测图Imgsem_chg。
本发明提供的遥感影像语义变化检测方法，通过对各前时相影像块分类图进行拼接，确定与前时相遥感影像对应的前时相影像分类图；对各后时相影像块分类图进行拼接，确定与后时相遥感影像对应的后时相影像分类图；对各前后时相影像块二值变化检测图进行拼接，确定前后时相二值变化检测图；基于前时相影像分类图、后时相影像分类图和前后时相二值变化检测图，合并得到遥感影像对应的语义变化检测图，实现了前时相影像分类结果空间拼接、后时相影像分类结果空间拼接、前后时相二值变化检测结果空间拼接及前后时相二值变化检测结果属性合并，直观地展示了遥感影像的语义变化检测结果，提升了语义变化检测的精度。
图7是本发明提供的遥感影像语义变化检测方法的流程示意图之三，如图7所示，该方法包括步骤701-步骤709，其中：
步骤701，获取遥感影像；遥感影像包括前时相遥感影像和后时相遥感影像；
步骤702，影像预处理；对前时相遥感影像和后时相遥感影像进行预处理；预处理包括空间配准、相对辐射校正、影像重采样、尺寸和通道统一等；
步骤703，影像裁剪；对预处理之后的前时相遥感影像和后时相遥感影像进行裁剪，得到裁剪之后的至少一个前时相影像块和至少一个后时相影像块；
步骤704，特征提取；使用特征提取模块(孪生编码器)对至少一个前时相影像块和至少一个后时相影像块进行特征提取，得到至少一个前时相影像块特征图和至少一个后时相影像块特征图；
步骤705，影像分类；分别使用前时相分类解码器(语义分割块SB和语义分割头SH)、后时相分类解码器(语义分割块SB和语义分割头SH)对前时相影像块特征图和后时相影像块特征图进行分割，得到前时相影像块分类图和后时相影像块分类图；
步骤706，变化特征融合；使用变化特征融合单元(变化特征融合模块CFFM)对前时相影像块分类图和后时相影像块分类图进行融合，得到变化特征融合图；
步骤707，变化特征分割；根据变化特征融合图，使用变化特征解码单元(变化特征解码器，即语义分割模块SB)，得到与前后时相影像块高度和宽度一致的变化特征图；
步骤708，变化特征检测；使用变化语义分割单元(语义分割头SH)对各变化特征图使用激活函数进行运算，得到前后时相影像块二值变化检测图；
步骤709，成果合并；将前时相影像块分类图、后时相影像块分类图和前后时相影像块二值变化检测图分别进行拼接，并合并得到遥感影像对应的语义变化检测图。
表1变化检测精度对比表
Figure BDA0003708575420000231
本发明提供的遥感影像语义变化检测方法在WHU-CD开源变化检测数据集上进行应用，现将现有的压缩—扩张/扩张—压缩网络(Compress-Expand/Expand-CompressNetwork，CEECNet)V1方法与本发明提供的遥感影像语义变化检测方法进行对比，通过F1指数值和交并比(IoU)两项指标进行说明，表1是遥感影像的变化检测精度对比表，如表1所示。通过表1可以看出，本发明提供的方法，达到的精度指标比CEECNet V1达到的精度指标高。
图8是本发明提供的遥感影像语义变化检测方法的结果示意图，如图8所示，使用本发明提供的遥感影像语义变化检测方法得到的语义变化检测图比CEECNet V1方法得到的语义变化检测图的精度高。
下面对本发明提供的遥感影像语义变化检测装置进行描述，下文描述的遥感影像语义变化检测装置与上文描述的遥感影像语义变化检测方法可相互对应参照。
图9是本发明提供的遥感影像语义变化检测装置的结构示意图，如图9所示，该遥感影像语义变化检测装置900包括：获取模块901、裁剪模块902、检测模块903、确定模块904；其中：
获取模块901，用于获取遥感影像；所述遥感影像包括前时相遥感影像和后时相遥感影像；
裁剪模块902，用于对所述前时相遥感影像和所述后时相遥感影像进行进行影像裁剪，得到裁剪之后的至少一个前时相影像块和至少一个后时相影像块；
检测模块903，用于将各所述前时相影像块和各所述后时相影像块输入至影像语义变化检测模型，得到所述影像语义变化检测模型输出的检测结果图；所述检测结果图包括至少一个前时相影像块分类图、至少一个后时相影像块分类图和至少一个前后时相影像块二值变化检测图；所述影像语义变化检测模型，是基于样本遥感影像进行训练后得到的；
确定模块904，用于基于各所述前时相影像块分类图、各所述后时相影像块分类图和各所述前后时相影像块二值变化检测图，确定所述遥感影像对应的语义变化检测图；所述语义变化检测图用于指示所述遥感影像的变化结果。
本发明提供的遥感影像语义变化检测装置，通过对前时相遥感影像和后时相遥感影像进行影像裁剪，得到裁剪之后的至少一个前时相影像块和至少一个后时相影像块；将各前时相影像块和各后时相影像块输入至影像语义变化检测模型，得到影像语义变化检测模型输出的检测结果图；检测结果图包括至少一个前时相影像块分类图、至少一个后时相影像块分类图和至少一个前后时相影像块二值变化检测图；基于各前时相影像块分类图、各后时相影像块分类图和各前后时相影像块二值变化检测图，确定遥感影像对应的语义变化检测图。本发明提供的方法，通过影像语义变化检测模型，实现了检测遥感影像的语义变化，提升了遥感影像的语义变化检测的精度。
可选地，所述影像语义变化检测模型包括特征提取模块、影像分类模块、变化检测模块；所述检测模块903，具体用于：
将各所述前时相影像块和各所述后时相影像块输入至所述特征提取模块，得到所述特征提取模块输出的至少一个前时相影像块特征图和至少一个后时相影像块特征图；
将各所述前时相影像块特征图和各所述后时相影像块特征图输入至所述影像分类模块，得到所述影像分类模块输出的至少一个前时相影像块分类图和至少一个后时相影像块分类图；
将各所述前时相影像块特征图和各所述后时相影像块特征图输入至所述变化检测模块，得到所述变化检测模块输出的至少一个前后时相影像块二值变化检测图。
可选地，所述变化检测模块包括变化特征融合单元、变化特征解码单元、变化语义分割单元；所述检测模块903，具体用于：
将各所述前时相影像块特征图和各所述后时相影像块特征图输入至变化特征融合单元，得到所述变化特征融合单元输出的至少一个变化特征融合图；
将各所述变化特征融合图输入至所述变化特征解码单元，得到所述变化特征解码单元输出的至少一个变化特征图；
将各所述变化特征图输入至变化语义分割单元，得到所述变化语义分割单元输出的至少一个前后时相影像块二值变化检测图。
可选地，所述检测模块903，具体用于：
将各所述前时相影像块特征图和各所述后时相影像块特征图输入至变化特征融合单元，对各所述前时相影像块特征图和各所述后时相影像块特征图进行特征相加，得到至少一个特征相加融合结果；
对各所述前时相影像块特征图和各所述后时相影像块特征图进行特征相减，得到至少一个特征相减融合结果；
分别计算各所述前时相影像块特征图和各所述后时相影像块特征图中对应像素的特征之间的距离；
将各所述距离作为权重，分别与各所述特征相加融合结果和各所述特征相减融合结果相乘，确定至少一个距离加权结果；
基于各所述特征相加融合结果、各所述特征相减融合结果和各所述距离加权结果，确定至少一个变化特征融合图。
可选地，所述检测模块903，具体用于：
分别将各所述特征相加融合结果、各所述特征相减融合结果与各所述距离加权结果进行相加，确定至少一个相加结果；
对各所述相加结果进行通道叠加，确定至少一个变化特征融合图。
可选地，所述变化检测模块在训练阶段使用的变化损失函数，采用公式(1)表示：
Chgloss＝((1-Distunchg)+Distchg)/2 (1)
其中，Chgloss表示变化损失函数，Distunchg表示未变化区域特征距离，Distchg表示变化区域特征距离。
可选地，所述确定模块904，具体用于：
对各所述前时相影像块分类图进行拼接，确定与所述前时相遥感影像对应的前时相影像分类图；
对各所述后时相影像块分类图进行拼接，确定与所述后时相遥感影像对应的后时相影像分类图；
对各所述前后时相影像块二值变化检测图进行拼接，确定前后时相二值变化检测图；
基于所述前时相影像分类图、所述后时相影像分类图和所述前后时相二值变化检测图，确定所述遥感影像对应的语义变化检测图。
图10是本发明提供的一种电子设备的实体结构示意图，如图10所示，该电子设备1000可以包括：处理器(processor)1010、通信接口(Communications Interface)1020、存储器(memory)1030和通信总线1040，其中，处理器1010，通信接口1020，存储器1030通过通信总线1040完成相互间的通信。处理器1010可以调用存储器1030中的逻辑指令，以执行遥感影像语义变化检测方法，该方法包括：
获取遥感影像；所述遥感影像包括前时相遥感影像和后时相遥感影像；
对所述前时相遥感影像和所述后时相遥感影像进行影像裁剪，得到裁剪之后的至少一个前时相影像块和至少一个后时相影像块；
将各所述前时相影像块和各所述后时相影像块输入至影像语义变化检测模型，得到所述影像语义变化检测模型输出的检测结果图；所述检测结果图包括至少一个前时相影像块分类图、至少一个后时相影像块分类图和至少一个前后时相影像块二值变化检测图；所述影像语义变化检测模型，是基于样本遥感影像进行训练后得到的；
基于各所述前时相影像块分类图、各所述后时相影像块分类图和各所述前后时相影像块二值变化检测图，确定所述遥感影像对应的语义变化检测图；所述语义变化检测图用于指示所述遥感影像的变化结果。
此外，上述的存储器1030中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的遥感影像语义变化检测方法，该方法包括：
获取遥感影像；所述遥感影像包括前时相遥感影像和后时相遥感影像；
对所述前时相遥感影像和所述后时相遥感影像进行影像裁剪，得到裁剪之后的至少一个前时相影像块和至少一个后时相影像块；
将各所述前时相影像块和各所述后时相影像块输入至影像语义变化检测模型，得到所述影像语义变化检测模型输出的检测结果图；所述检测结果图包括至少一个前时相影像块分类图、至少一个后时相影像块分类图和至少一个前后时相影像块二值变化检测图；所述影像语义变化检测模型，是基于样本遥感影像进行训练后得到的；
基于各所述前时相影像块分类图、各所述后时相影像块分类图和各所述前后时相影像块二值变化检测图，确定所述遥感影像对应的语义变化检测图；所述语义变化检测图用于指示所述遥感影像的变化结果。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的遥感影像语义变化检测方法，该方法包括：
获取遥感影像；所述遥感影像包括前时相遥感影像和后时相遥感影像；
对所述前时相遥感影像和所述后时相遥感影像进行影像裁剪，得到裁剪之后的至少一个前时相影像块和至少一个后时相影像块；
将各所述前时相影像块和各所述后时相影像块输入至影像语义变化检测模型，得到所述影像语义变化检测模型输出的检测结果图；所述检测结果图包括至少一个前时相影像块分类图、至少一个后时相影像块分类图和至少一个前后时相影像块二值变化检测图；所述影像语义变化检测模型，是基于样本遥感影像进行训练后得到的；
基于各所述前时相影像块分类图、各所述后时相影像块分类图和各所述前后时相影像块二值变化检测图，确定所述遥感影像对应的语义变化检测图；所述语义变化检测图用于指示所述遥感影像的变化结果。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (11)

1.一种遥感影像语义变化检测方法，其特征在于，所述方法包括：
获取遥感影像；所述遥感影像包括前时相遥感影像和后时相遥感影像；
对所述前时相遥感影像和所述后时相遥感影像进行影像裁剪，得到裁剪之后的至少一个前时相影像块和至少一个后时相影像块；
将各所述前时相影像块和各所述后时相影像块输入至影像语义变化检测模型，得到所述影像语义变化检测模型输出的检测结果图；所述检测结果图包括至少一个前时相影像块分类图、至少一个后时相影像块分类图和至少一个前后时相影像块二值变化检测图；所述影像语义变化检测模型，是基于样本遥感影像进行训练后得到的；
基于各所述前时相影像块分类图、各所述后时相影像块分类图和各所述前后时相影像块二值变化检测图，确定所述遥感影像对应的语义变化检测图；所述语义变化检测图用于指示所述遥感影像的变化结果。
2.根据权利要求1所述的遥感影像语义变化检测方法，其特征在于，所述影像语义变化检测模型包括特征提取模块、影像分类模块、变化检测模块；
所述将各所述前时相影像块和各所述后时相影像块输入至影像语义变化检测模型，得到所述影像语义变化检测模型输出的检测结果图，包括：
将各所述前时相影像块和各所述后时相影像块输入至所述特征提取模块，得到所述特征提取模块输出的至少一个前时相影像块特征图和至少一个后时相影像块特征图；
将各所述前时相影像块特征图和各所述后时相影像块特征图输入至所述影像分类模块，得到所述影像分类模块输出的至少一个前时相影像块分类图和至少一个后时相影像块分类图；
将各所述前时相影像块特征图和各所述后时相影像块特征图输入至所述变化检测模块，得到所述变化检测模块输出的至少一个前后时相影像块二值变化检测图。
3.根据权利要求2所述的遥感影像语义变化检测方法，其特征在于，所述变化检测模块包括变化特征融合单元、变化特征解码单元、变化语义分割单元；
所述将各所述前时相影像块特征图和各所述后时相影像块特征图输入至所述变化检测模块，得到所述变化检测模块输出的至少一个前后时相影像块二值变化检测图，包括：
将各所述前时相影像块特征图和各所述后时相影像块特征图输入至变化特征融合单元，得到所述变化特征融合单元输出的至少一个变化特征融合图；
将各所述变化特征融合图输入至所述变化特征解码单元，得到所述变化特征解码单元输出的至少一个变化特征图；
将各所述变化特征图输入至变化语义分割单元，得到所述变化语义分割单元输出的至少一个前后时相影像块二值变化检测图。
4.根据权利要求3所述的遥感影像语义变化检测方法，其特征在于，所述将各所述前时相影像块特征图和各所述后时相影像块特征图输入至变化特征融合单元，得到所述变化特征融合单元输出的至少一个变化特征融合图，包括：
将各所述前时相影像块特征图和各所述后时相影像块特征图输入至变化特征融合单元，对各所述前时相影像块特征图和各所述后时相影像块特征图进行特征相加，得到至少一个特征相加融合结果；
对各所述前时相影像块特征图和各所述后时相影像块特征图进行特征相减，得到至少一个特征相减融合结果；
分别计算各所述前时相影像块特征图和各所述后时相影像块特征图中对应像素的特征之间的距离；
将各所述距离作为权重，分别与各所述特征相加融合结果和各所述特征相减融合结果相乘，确定至少一个距离加权结果；
基于各所述特征相加融合结果、各所述特征相减融合结果和各所述距离加权结果，确定至少一个变化特征融合图。
5.根据权利要求4所述的遥感影像语义变化检测方法，其特征在于，所述基于各所述特征相加融合结果、各所述特征相减融合结果和各所述距离加权结果，确定至少一个变化特征融合图，包括：
分别将各所述特征相加融合结果、各所述特征相减融合结果与各所述距离加权结果进行相加，确定至少一个相加结果；
对各所述相加结果进行通道叠加，确定至少一个变化特征融合图。
6.根据权利要求2-5任一项所述的遥感影像语义变化检测方法，其特征在于，所述变化检测模块在训练阶段使用的变化损失函数，采用公式(1)表示：
Chgloss＝((1-Distunchg)+Distchg)/2 (1)
其中，Chgloss表示变化损失函数，Distunchg表示未变化区域特征距离，Distchg表示变化区域特征距离。
7.根据权利要求1所述的遥感影像语义变化检测方法，其特征在于，所述基于各所述前时相影像块分类图、各所述后时相影像块分类图和各所述前后时相影像块二值变化检测图，确定所述遥感影像对应的语义变化检测图，包括：
对各所述前时相影像块分类图进行拼接，确定与所述前时相遥感影像对应的前时相影像分类图；
对各所述后时相影像块分类图进行拼接，确定与所述后时相遥感影像对应的后时相影像分类图；
对各所述前后时相影像块二值变化检测图进行拼接，确定前后时相二值变化检测图；
基于所述前时相影像分类图、所述后时相影像分类图和所述前后时相二值变化检测图，确定所述遥感影像对应的语义变化检测图。
8.一种遥感影像语义变化检测装置，其特征在于，所述装置包括：
获取模块，用于获取遥感影像；所述遥感影像包括前时相遥感影像和后时相遥感影像；
裁剪模块，用于对所述前时相遥感影像和所述后时相遥感影像进行进行影像裁剪，得到裁剪之后的至少一个前时相影像块和至少一个后时相影像块；
检测模块，用于将各所述前时相影像块和各所述后时相影像块输入至影像语义变化检测模型，得到所述影像语义变化检测模型输出的检测结果图；所述检测结果图包括至少一个前时相影像块分类图、至少一个后时相影像块分类图和至少一个前后时相影像块二值变化检测图；所述影像语义变化检测模型，是基于样本遥感影像进行训练后得到的；
确定模块，用于基于各所述前时相影像块分类图、各所述后时相影像块分类图和各所述前后时相影像块二值变化检测图，确定所述遥感影像对应的语义变化检测图；所述语义变化检测图用于指示所述遥感影像的变化结果。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述遥感影像语义变化检测方法。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述遥感影像语义变化检测方法。
11.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述遥感影像语义变化检测方法。
CN202210715284.7A 2022-06-22 2022-06-22 遥感影像语义变化检测方法、装置、电子设备及存储介质 Active CN115311550B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210715284.7A CN115311550B (zh) 2022-06-22 2022-06-22 遥感影像语义变化检测方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210715284.7A CN115311550B (zh) 2022-06-22 2022-06-22 遥感影像语义变化检测方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN115311550A true CN115311550A (zh) 2022-11-08
CN115311550B CN115311550B (zh) 2024-05-28

Family

ID=83854653

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210715284.7A Active CN115311550B (zh) 2022-06-22 2022-06-22 遥感影像语义变化检测方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN115311550B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116416586A (zh) * 2022-12-19 2023-07-11 香港中文大学（深圳） 基于rgb点云的地图元素感知方法、终端及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108446588A (zh) * 2018-02-05 2018-08-24 中国测绘科学研究院 一种双时相遥感影像变化检测方法及系统
CN110853026A (zh) * 2019-11-16 2020-02-28 四创科技有限公司 一种融合深度学习与区域分割的遥感影像变化检测方法
US20210264557A1 (en) * 2020-02-26 2021-08-26 Beijing Jingdong Shangke Information Technology Co., Ltd. System and method for real-time, simultaneous object detection and semantic segmentation
CN114120148A (zh) * 2022-01-25 2022-03-01 武汉易米景科技有限公司 一种遥感影像建筑物变化区域的检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108446588A (zh) * 2018-02-05 2018-08-24 中国测绘科学研究院 一种双时相遥感影像变化检测方法及系统
CN110853026A (zh) * 2019-11-16 2020-02-28 四创科技有限公司 一种融合深度学习与区域分割的遥感影像变化检测方法
US20210264557A1 (en) * 2020-02-26 2021-08-26 Beijing Jingdong Shangke Information Technology Co., Ltd. System and method for real-time, simultaneous object detection and semantic segmentation
CN114120148A (zh) * 2022-01-25 2022-03-01 武汉易米景科技有限公司 一种遥感影像建筑物变化区域的检测方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116416586A (zh) * 2022-12-19 2023-07-11 香港中文大学（深圳） 基于rgb点云的地图元素感知方法、终端及存储介质
CN116416586B (zh) * 2022-12-19 2024-04-02 香港中文大学（深圳） 基于rgb点云的地图元素感知方法、终端及存储介质

Also Published As

Publication number Publication date
CN115311550B (zh) 2024-05-28

Similar Documents

Publication Publication Date Title
CN110335290B (zh) 基于注意力机制的孪生候选区域生成网络目标跟踪方法
CN107945204B (zh) 一种基于生成对抗网络的像素级人像抠图方法
CN108256562B (zh) 基于弱监督时空级联神经网络的显著目标检测方法及系统
CN106683048B (zh) 一种图像超分辨率方法及设备
WO2019136591A1 (zh) 基于弱监督时空级联神经网络的显著目标检测方法及系统
CN111696196B (zh) 一种三维人脸模型重建方法及装置
CN111784624B (zh) 目标检测方法、装置、设备及计算机可读存储介质
CN112927209B (zh) 一种基于cnn的显著性检测系统和方法
JP7327077B2 (ja) 路上障害物検知装置、路上障害物検知方法、及び路上障害物検知プログラム
CN111723841A (zh) 文本检测方法、装置、电子设备及存储介质
CN113254927B (zh) 一种基于网络防御的模型处理方法、装置及存储介质
CN113052873A (zh) 一种在线自监督学习场景适应的单目标跟踪方法
CN113870157A (zh) 一种基于CycleGAN的SAR图像合成方法
US11367206B2 (en) Edge-guided ranking loss for monocular depth prediction
CN115564983A (zh) 目标检测方法、装置、电子设备、存储介质及其应用
US20230153965A1 (en) Image processing method and related device
CN111179270A (zh) 基于注意力机制的图像共分割方法和装置
CN116452810A (zh) 一种多层次语义分割方法、装置、电子设备及存储介质
CN115546171A (zh) 一种基于关注阴影边界和特征校正的阴影检测方法及设备
CN112149526A (zh) 一种基于长距离信息融合的车道线检测方法及系统
CN115311550A (zh) 遥感影像语义变化检测方法、装置、电子设备及存储介质
CN114821823A (zh) 图像处理、人脸防伪模型的训练及活体检测方法和装置
CN112967293A (zh) 一种图像语义分割方法、装置及存储介质
US20230073175A1 (en) Method and system for processing image based on weighted multiple kernels
CN114821356B (zh) 一种精确定位的光学遥感目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant