CN116363521A - 一种遥感影像语义预测方法 - Google Patents

Abstract

本发明公开一种遥感影像语义预测方法，属于图像处理技术领域，用于影像语义变化检测，包括获取公开的语义变化检测基准数据集，语义变化检测基准数据集包括双时间图像，将双时间图像分成3部分；基于训练集和验证集，构建语义变化检测网络模型，语义变化检测网络模型包括全卷积神经网络编码器、双分支语义推理模块、卷积块注意力模块、跨时间语义推理模块和变化检测块，将测试集输入训练好的网络模型中，得到网络预测的语义变化检测结果。本发明提出的语义变化检测网络模型对于高空间分辨率下的语义变化检测任务有良好的适用性，一定程度上缓解由于季节因素引起的类别变化检测误判现象。

Description

一种遥感影像语义预测方法

技术领域

本发明公开一种遥感影像语义预测方法，属于专门适用于预测目的的数据处理方法和图像数据处理和摄影测量学技术领域。

背景技术

近年来，基于深度学习的遥感图像变化检测已成为研究热点。基于深度学习的光学遥感图像的变化检测方法有两个主流方法，一种是先分类，再对分类结果判别的变化检测方法：首先用深度神经网络分类模型分别对双时相图像进行图像分类，然后通过比较其分类结果来判定变化情况。这种方法严重依赖于分类模型的准确性，同时先分类后变化检测步骤繁琐，此外，当比较两个分类结果时，预测误差会累积。另一种是基于深度学习直接进行变化检测的方法，该方法用深度学习技术直接对双时相图像生成变化结果，精度有了明显的提升。然而现有的基于深度学习的绝大多数变化检测方法都是二值（变化/未变化）变化检测（BCD），即发现土地利用类型有没有发生变化，但对于发生怎样的变化是未知的，然而土地覆盖类型发生了怎样的变化对于大范围土地覆盖类型调查具有重要意义。和二值变化检测研究相比，近年来也有研究者在语义变化检测(SCD)方面做出了贡献，即分析像素级别的“from-to”变化。Ding et al.提出了Bi-SRNet解决了高分辨率语义变化检测问题，虽然该方法和前人的相比取得了改进，但它很少考虑到网络中每个特征权重的差异对SCD结果的影响。

发明内容

本发明的目的在于提供一种遥感影像语义预测方法，以解决现有技术中，遥感影像语义变化检测未考虑的特征权重导致变化检测误判的问题。

一种遥感影像语义预测方法，包括：

S1.获取公开的语义变化检测基准数据集，所述语义变化检测基准数据集包括双时间图像；

S2.将双时间图像按比例7：2：1分成3部分；

S3.基于训练集和验证集，构建语义变化检测网络模型，语义变化检测网络模型包括全卷积神经网络编码器、双分支语义推理模块、卷积块注意力模块、跨时间语义推理模块和变化检测块；

全卷积神经网络编码器使用全卷积神经网络FCN对输入的双时间图像提取语义特征；

语义变化检测网络模型使用两个全卷积神经网络编码器提取语义特征X₁和X₂，两个双分支语义推理模块处理X₁和X₂，两个全卷积神经网络编码器和两个双分支语义推理模块的权重是共享的；

卷积块注意力模块使用通道注意力模块和空间注意力模块依次对输入的特征进行处理，分别对特征的每个通道和每个空间位置进行权重分配；

所述跨时间语义推理模块学习跨时间语义关联，增强未变化区域特征；

使用3种损失函数来训练语义变化检测网络模型：语义类损失

_sem，二值变化损失

_bc，语义一致性损失/>

_sc；

语义变化检测网络模型使用了3种评估指标评估语义变化检测的精度，包括总体精度OA、均交并比mIoU、分离Kappa系数SeK；

S4.将测试集输入训练好的语义变化检测网络模型中，得到遥感影像语义预测结果。

S3中，增强未变化区域特征后得到增强的特征X₁'和X₂'并送往卷积块注意力模块，生成特征X₁''和X₂''并发送到跨时间语义推理模块得到二次增强的特征X₁'''和X₂'''，经过分类器将X₁'''和X₂'''投射到语义图SM₁和SM₂中，变化检测块提取X₁'''和X₂'''中不一致的信息，经过变化检测分类器投射到二值变化图C中，两次投射过程均通过1×1卷积层输出，权重不共享；

语义图SM₁和二值变化图C做掩膜生成语义变化图SCM₁，语义图SM₂和二值变化图C做掩膜生成语义变化图SCM₂。

双分支语义推理模块包括：输入一个c×h×w的特征X，其中c是通道数，h是高，w是宽，将X投射到三个向量m，n，p中，其中m ∈ H×c'，向量m的行数为H，列数为c'，n ∈ c'×H，向量n的行数为c'，列数为H，p ∈c×H，向量p的行数为c，列数为H，H=h×w，c'=c/r，r为默认值是2的通道缩减因子，增强的语义特征X'的表示为X'=X+p×M，其中矩阵M的计算公式为M=Φ(m×n)，Φ是softmax归一化函数；

向量m的行数=向量n的列数=向量p的列数，向量m的列数=向量n的行数。

通道注意力模块对输入特征的不同通道进行权重分配；

输入大小为 C×H×W的特征图F，特征图F的通道数为C，高为H，宽为W，通过空间尺度的最大池化操作和平均池化操作进行压缩，经过池化操作后，特征图分别被压缩成两个通道数为C、高为1、宽为1的向量，将这两个向量发送给共享的多层感知器并输出，使用逐元素求和进行合并；

附加一个 sigmoid函数分配每个通道的注意力权重，得到通道注意力图M^C，获得输入特征每一个通道的权值，将这些权值乘上原输入特征图F得到改进后的特征F'。

对输入的特征图F'，在每一个特征点的通道尺度上分别进行最大池化和平均池化，将最大池化和平均池化的结果堆叠连接，用一个过滤器大小为7×7的卷积操作f ^7×7进行卷积；

取一个sigmoid函数生成空间注意力图M^S，获得输入特征图每一个特征点位置的权值，将这个权值乘上原输入特征图F'得到改进的特征F''。

对于输入的特征X₁''和X₂''，跨时间语义推理模块将X₁''投射到三个向量m₁，n₁，p₁中，将X₂''投射到三个向量m₂，n₂，p₂中，其中m₁，m₂ ∈ H×c'，向量m₁和m₂的行数为H，列数为c'；n₁，n₂ ∈ c'×H，向量n₁和n₂ 的行数为c'，列数为H；p₁，p₂ ∈ c×H，向量p₁和p₂ 的行数为c，列数为H，m₁和n₁两个向量相乘得到矩阵M₁，m₂和n₂两个向量相乘得到矩阵M₂：

向量m的行数=向量n的列数=向量p的列数=向量m₁和m₂的行数=向量n₁和n₂ 的列数=向量p₁和p₂ 的列数，向量m的列数=向量n的行数=向量m₁和m₂的列数=向量n₁和n₂ 的行数，向量p的行数=向量p₁和p₂ 的行数；

M₁=Φ(m₁×n₁)，M₂=Φ(m₂×n₂)；

生成的特征X₁'''由X₁''，p₁，M₂计算得到，X₂'''由X₂''，p₂，M₁计算得到：

X₁'''= X₁''+ p₁×M₂，X₂'''= X₂''+ p₂×M₁。

语义类损失是语义分割结果 SM₁、SM₂和语义变化标签L₁、L₂之间的多类交叉熵损失，语义类损失计算公式为：

；

式中，N为数据集中的语义类别数，y_i和p_i分别表示真值标签和第i类的预测概率，没有变化的类被排除在损失计算之外；

二值变化损失网络预测的二值变化图C和参考的二值变化图L_c之间的二值交叉熵损失，其中L_c是由L₁或者L₂将变化区域做掩膜而生成，二值变化损失计算公式为：

；

上式中，y_c和p_c分别表示真值标签和预测的变化概率；

语义一致性损失计算时，需关联SM₁，SM₂和L_c，语义一致性损失计算公式为：

；

上式中，x₁和x₂分别为语义分割结果SM₁和SM₂上像素点的特征向量，y_c是L_c上相同位置的值。

OA是语义分割和变化检测任务的评估指标，将P = {p_ij} (i， j ∈ {0， 1， ...，N}）表示为一个混淆矩阵，其中，0表示没有变化，N为变化的类别总数，p_ij表示网络预测错误的像素总数，网络预测类别为i，实际类别为j；p_ii表示网络预测正确的像素总数，OA的计算公式如下：

；

mIoU为语义分割的标准度量，用于测量真实值和预测值之间的相关度， mIoU是无变化区域的均交并比IoU_n和所有变化区域的均交并比IoU_y的平均值，计算过程为：

；

其中，p₀₀表示混淆矩阵中i=0且j=0的元素，p_i0表示混淆矩阵中网络预测类别为i且j=0的元素，p_0j表示混淆矩阵中i=0且实际类别为0的元素；

SeK系数反映了预测值与真实值的一致性，SeK系数计算如下：

；

式中，K为相乘系数，S₀和S_e，分别为第一计算系数和第二计算系数，

和/>

分别为p_ij和p_ii的估值。

相对比现有技术，本发明具有以下有益效果：基于语义变化检测基准数据集，本发明提出的语义变化检测网络模型在OA、mIoU和Sek三项指标中分别达到了87.66%，72.88%和21.84%，对于高空间分辨率下的语义变化检测任务有良好的适用性，能够一定程度上缓解由于季节因素引起的类别变化检测误判现象，同时对于建筑物、树以及柏油马路等的边界检测中都更接近真实效果，能够有效凸显变化区域并且抑制不变区域。

附图说明

图1是本发明的总体流程图；

图2为遥感影像语义预测网络训练过程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

一种遥感影像语义预测方法，包括：

S1.获取公开的语义变化检测基准数据集，所述语义变化检测基准数据集包括双时间图像；

S2.将双时间图像按比例7：2：1分成3部分；

S3.基于训练集和验证集，构建语义变化检测网络模型，语义变化检测网络模型包括全卷积神经网络编码器、双分支语义推理模块、卷积块注意力模块、跨时间语义推理模块和变化检测块；

全卷积神经网络编码器使用全卷积神经网络FCN对输入的双时间图像提取语义特征；

语义变化检测网络模型使用两个全卷积神经网络编码器提取语义特征X₁和X₂，两个双分支语义推理模块处理X₁和X₂，两个全卷积神经网络编码器和两个双分支语义推理模块的权重是共享的；

卷积块注意力模块使用通道注意力模块和空间注意力模块依次对输入的特征进行处理，分别对特征的每个通道和每个空间位置进行权重分配；

所述跨时间语义推理模块学习跨时间语义关联，增强未变化区域特征；

使用3种损失函数来训练语义变化检测网络模型：语义类损失

_sem，二值变化损失

_bc，语义一致性损失/>

_sc；

语义变化检测网络模型使用了3种评估指标评估语义变化检测的精度，包括总体精度OA、均交并比mIoU、分离Kappa系数SeK；

S4.将测试集输入训练好的语义变化检测网络模型中，得到遥感影像语义预测结果。

S3中，增强未变化区域特征后得到增强的特征X₁'和X₂'并送往卷积块注意力模块，生成特征X₁''和X₂''并发送到跨时间语义推理模块得到二次增强的特征X₁'''和X₂'''，经过分类器将X₁'''和X₂'''投射到语义图SM₁和SM₂中，变化检测块提取X₁'''和X₂'''中不一致的信息，经过变化检测分类器投射到二值变化图C中，两次投射过程均通过1×1卷积层输出，权重不共享；

语义图SM₁和二值变化图C做掩膜生成语义变化图SCM₁，语义图SM₂和二值变化图C做掩膜生成语义变化图SCM₂。

双分支语义推理模块包括：输入一个c×h×w的特征X，其中c是通道数，h是高，w是宽，将X投射到三个向量m，n，p中，其中m ∈ H×c'，向量m的行数为H，列数为c'，n ∈ c'×H，向量n的行数为c'，列数为H，p ∈c×H，向量p的行数为c，列数为H，H=h×w，c'=c/r，r为默认值是2的通道缩减因子，增强的语义特征X'的表示为X'=X+p×M，其中矩阵M的计算公式为M=Φ(m×n)，Φ是softmax归一化函数；

向量m的行数=向量n的列数=向量p的列数，向量m的列数=向量n的行数。

通道注意力模块对输入特征的不同通道进行权重分配；

输入大小为 C×H×W的特征图F，特征图F的通道数为C，高为H，宽为W，通过空间尺度的最大池化操作和平均池化操作进行压缩，经过池化操作后，特征图分别被压缩成两个通道数为C、高为1、宽为1的向量，将这两个向量发送给共享的多层感知器并输出，使用逐元素求和进行合并；

附加一个 sigmoid函数分配每个通道的注意力权重，得到通道注意力图M^C，获得输入特征每一个通道的权值，将这些权值乘上原输入特征图F得到改进后的特征F'。

对输入的特征图F'，在每一个特征点的通道尺度上分别进行最大池化和平均池化，将最大池化和平均池化的结果堆叠连接，用一个过滤器大小为7×7的卷积操作f ^7×7进行卷积；

取一个sigmoid函数生成空间注意力图M^S，获得输入特征图每一个特征点位置的权值，将这个权值乘上原输入特征图F'得到改进的特征F''。

对于输入的特征X₁''和X₂''，跨时间语义推理模块将X₁''投射到三个向量m₁，n₁，p₁中，将X₂''投射到三个向量m₂，n₂，p₂中，其中m₁，m₂ ∈ H×c'，向量m₁和m₂的行数为H，列数为c'；n₁，n₂ ∈ c'×H，向量n₁和n₂ 的行数为c'，列数为H；p₁，p₂ ∈ c×H，向量p₁和p₂ 的行数为c，列数为H，m₁和n₁两个向量相乘得到矩阵M₁，m₂和n₂两个向量相乘得到矩阵M₂：

向量m的行数=向量n的列数=向量p的列数=向量m₁和m₂的行数=向量n₁和n₂ 的列数=向量p₁和p₂ 的列数，向量m的列数=向量n的行数=向量m₁和m₂的列数=向量n₁和n₂ 的行数，向量p的行数=向量p₁和p₂ 的行数；

M₁=Φ(m₁×n₁)，M₂=Φ(m₂×n₂)；

生成的特征X₁'''由X₁''，p₁，M₂计算得到，X₂'''由X₂''，p₂，M₁计算得到：

X₁'''= X₁''+ p₁×M₂，X₂'''= X₂''+ p₂×M₁。

语义类损失是语义分割结果 SM₁、SM₂和语义变化标签L₁、L₂之间的多类交叉熵损失，语义类损失计算公式为：

；

式中，N为数据集中的语义类别数，y_i和p_i分别表示真值标签和第i类的预测概率，没有变化的类被排除在损失计算之外；

二值变化损失网络预测的二值变化图C和参考的二值变化图L_c之间的二值交叉熵损失，其中L_c是由L₁或者L₂将变化区域做掩膜而生成，二值变化损失计算公式为：

；

上式中，y_c和p_c分别表示真值标签和预测的变化概率；

语义一致性损失计算时，需关联SM₁，SM₂和L_c，语义一致性损失计算公式为：

；

上式中，x₁和x₂分别为语义分割结果SM₁和SM₂上像素点的特征向量，y_c是L_c上相同位置的值。

OA是语义分割和变化检测任务的评估指标，将P = {p_ij} (i， j ∈ {0， 1， ...，N}）表示为一个混淆矩阵，其中，0表示没有变化，N为变化的类别总数，p_ij表示网络预测错误的像素总数，网络预测类别为i，实际类别为j；p_ii表示网络预测正确的像素总数，OA的计算公式如下：

；

mIoU为语义分割的标准度量，用于测量真实值和预测值之间的相关度， mIoU是无变化区域的均交并比IoU_n和所有变化区域的均交并比IoU_y的平均值，计算过程为：

；

其中，p₀₀表示混淆矩阵中i=0且j=0的元素，p_i0表示混淆矩阵中网络预测类别为i且j=0的元素，p_0j表示混淆矩阵中i=0且实际类别为0的元素；

SeK系数反映了预测值与真实值的一致性，SeK系数计算如下：

；

式中，K为相乘系数，S₀和S_e，分别为第一计算系数和第二计算系数，

和/>

分别为p_ij和p_ii的估值。

本发明中，语义变化标签L₁、L₂是网页标准语言中的语义化标签，专门负责网页结果，语义化是指对事物进行正确直观的解释，标签则代表了该事物的具体内容，语义化标签由处理工具自动生成，例如调用Labelme工具生成语义标签，所述Labelme是一种标签图像生成工具。

本发明的总体流程图如图1所示，语义变化检测网络训练过程如图2所示。实施例中，S1有足量的公开数据集可供网络模型进行训练，可以检测多种土地覆盖类别的变化。数据集SECOND提供了变化前影像和变化后影像的语义变化标签，每个标签标注了1个变化类别和6个土地覆盖类别，分别是：无变化、非植被地面（不透水地表或裸地）、树木、低矮植被、水体、建筑物和操场。这些类别考虑了常见的土地覆盖类型以及由于人为因素引起的频繁的地理变化。将S1中获取的4662对双时间图像按比例7：2：1分成3部分，训练集3264对，验证集932对，测试集466对；

S3的过程用公式表示如下：

；

S3中，梯度下降优化方法是带有Nesterov动量的随机梯度下降（SGD），对语义变化检测网络模型设置超参数，batch大小包括4、8、16，学习率（lr）大小包括0.001、0.01、0.1。本发明将batch和学习率进行两两组合，共形成9种不同的参数组合，它们[batch；lr]分别是：[4；0.001]，[4；0.01]，[4；0.1]，[8；0.001]，[8；0.01]，[8；0.1]，[16；0.001]，[16；0.01]，[16；0.1]。此外，为了使每组实验能够得到充分的训练，训练的轮次epoch不限制，当训练结果的评估指标连续10个epoch得不到提高时，便停止训练。经过若干次实验后，选择效果最佳的超参数组合。

通道注意力图（M^C）的计算如下：

；

空间注意力图M^S计算如下：

；

本发明使用的数据集是一个语义变化检测的基准数据集。SECOND数据集是由几个空中平台和传感器采集的双时相高分辨率光学图像构成的，包含RGB 3个通道。图像的空间分辨率在0.5m到3m之间。 数据集包含的区域包括杭州、成都和上海等几个中国城市。共有4662对双时相图像，每个图像的大小相同，均为512×512像素。

对本发明提供的一种基于深度学习的高空间分辨率遥感影像语义变化检测网络的准确性进行评价，如表1和表2所示。

表1 基线网络和本发明网络的精度对比

；

表2 本发明网络和其他变化检测方法的精度对比

；

由表1可见，引入CBAM的本发明网络，将OA，mIoU，Sek三项指标分别提升了0.52%，0.47%，0.53%。本发明网络检测效果有了明显的改善，变化前的影像中本发明能够识别出发生变化的是低矮植被而不是裸地，尽管低矮植被的颜色由于季节变化而发生了改变，因此该网络能够很好的减少季节因素的影响；此外，在水和建筑物的边界变化识别方面也都更接近目标效果；与基线网络相比，加入卷积块注意力模块后的网络在凸显变化区域并且抑制不变区域方面更接近理想效果。

由表2可见，本发明提出的方法在OA、mIoU和Sek三项指标中分别达到了87.66%，72.88%和21.84%，各项指标精度超过了表中所有的对比方法。为了更直观的评估各方法，选取两组区域测试数据进行对比， UNet++和IFN对于变化后图像中水的识别是失败的，水和低矮植被被混淆，ResNet-LSTM虽然辨别出了一部分水域变化，但对水的区域识别并不完整，此外，这三种方法在一些关键区域（如树）的变化检测中也并不理想；HRSCD-str.4和前三种方法相比效果有了较大提升，该方法基本能够识别出变化后的水域，但是在多个变化类别（如树、柏油马路）的边界检测中并不理想；而上述的变化检测能够被本发明网络所捕获，此外，该方法在建筑物边界、树的边界以及柏油马路的边界检测中都更接近目标效果，这与卷积块注意力模块对输入特征的通道和空间位置的权重分配是紧密相关的。

以上实施例仅用于说明本发明的技术方案，而非对其限制，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换，而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (8)

1.一种遥感影像语义预测方法，其特征在于，包括：

S1.获取公开的语义变化检测基准数据集，所述语义变化检测基准数据集包括双时间图像；

S2.将双时间图像按比例7：2：1分成3部分；

S3.基于训练集和验证集，构建语义变化检测网络模型，语义变化检测网络模型包括全卷积神经网络编码器、双分支语义推理模块、卷积块注意力模块、跨时间语义推理模块和变化检测块；

全卷积神经网络编码器使用全卷积神经网络FCN对输入的双时间图像提取语义特征；

语义变化检测网络模型使用两个全卷积神经网络编码器提取语义特征X₁和X₂，两个双分支语义推理模块处理X₁和X₂，两个全卷积神经网络编码器和两个双分支语义推理模块的权重是共享的；

卷积块注意力模块使用通道注意力模块和空间注意力模块依次对输入的特征进行处理，分别对特征的每个通道和每个空间位置进行权重分配；

所述跨时间语义推理模块学习跨时间语义关联，增强未变化区域特征；

使用3种损失函数来训练语义变化检测网络模型：语义类损失

_sem，二值变化损失/>

_bc，语义一致性损失/>

_sc；

语义变化检测网络模型使用了3种评估指标评估语义变化检测的精度，包括总体精度OA、均交并比mIoU、分离Kappa系数SeK；

S4.将测试集输入训练好的语义变化检测网络模型中，得到遥感影像语义预测结果。

2.根据权利要求1所述的一种遥感影像语义预测方法，其特征在于，S3中，增强未变化区域特征后得到增强的特征X₁'和X₂'并送往卷积块注意力模块，生成特征X₁''和X₂''并发送到跨时间语义推理模块得到二次增强的特征X₁'''和X₂'''，经过分类器将X₁'''和X₂'''投射到语义图SM₁和SM₂中，变化检测块提取X₁'''和X₂'''中不一致的信息，经过变化检测分类器投射到二值变化图C中，两次投射过程均通过1×1卷积层输出，权重不共享；

语义图SM₁和二值变化图C做掩膜生成语义变化图SCM₁，语义图SM₂和二值变化图C做掩膜生成语义变化图SCM₂。

3.根据权利要求2所述的一种遥感影像语义预测方法，其特征在于，双分支语义推理模块包括：输入一个c×h×w的特征X，其中c是通道数，h是高，w是宽，将X投射到三个向量m，n，p中，其中m ∈ H×c'，向量m的行数为H，列数为c'，n ∈ c'×H，向量n的行数为c'，列数为H，p ∈c×H，向量p的行数为c，列数为H，H=h×w，c'=c/r，r为默认值是2的通道缩减因子，增强的语义特征X'的表示为X'=X+p×M，其中矩阵M的计算公式为M=Φ(m×n)，Φ是softmax归一化函数；

向量m的行数=向量n的列数=向量p的列数，向量m的列数=向量n的行数。

4.根据权利要求3所述的一种遥感影像语义预测方法，其特征在于，通道注意力模块对输入特征的不同通道进行权重分配；

输入大小为 C×H×W的特征图F，特征图F的通道数为C，高为H，宽为W，通过空间尺度的最大池化操作和平均池化操作进行压缩，经过池化操作后，特征图分别被压缩成两个通道数为C、高为1、宽为1的向量，将这两个向量发送给共享的多层感知器并输出，使用逐元素求和进行合并；

附加一个 sigmoid函数分配每个通道的注意力权重，得到通道注意力图M^C，获得输入特征每一个通道的权值，将这些权值乘上原输入特征图F得到改进后的特征F'。

5.根据权利要求4所述的一种遥感影像语义预测方法，其特征在于，对输入的特征图F'，在每一个特征点的通道尺度上分别进行最大池化和平均池化，将最大池化和平均池化的结果堆叠连接，用一个过滤器大小为7×7的卷积操作f ^7×7进行卷积；

取一个sigmoid函数生成空间注意力图M^S，获得输入特征图每一个特征点位置的权值，将这个权值乘上原输入特征图F'得到改进的特征F''。

6.根据权利要求5所述的一种遥感影像语义预测方法，其特征在于，对于输入的特征X₁''和X₂''，跨时间语义推理模块将X₁''投射到三个向量m₁，n₁，p₁中，将X₂''投射到三个向量m₂，n₂，p₂中，其中m₁，m₂ ∈ H×c'，向量m₁和m₂的行数为H，列数为c'；n₁，n₂ ∈ c'×H，向量n₁和n₂ 的行数为c'，列数为H；p₁，p₂ ∈ c×H，向量p₁和p₂ 的行数为c，列数为H，m₁和n₁两个向量相乘得到矩阵M₁，m₂和n₂两个向量相乘得到矩阵M₂：

向量m的行数=向量n的列数=向量p的列数=向量m₁和m₂的行数=向量n₁和n₂ 的列数=向量p₁和p₂ 的列数，向量m的列数=向量n的行数=向量m₁和m₂的列数=向量n₁和n₂ 的行数，向量p的行数=向量p₁和p₂ 的行数；

M₁=Φ(m₁×n₁)，M₂=Φ(m₂×n₂)；

生成的特征X₁'''由X₁''，p₁，M₂计算得到，X₂'''由X₂''，p₂，M₁计算得到：

X₁'''= X₁''+ p₁×M₂，X₂'''= X₂''+ p₂×M₁。

7.如权利要求6所述的一种遥感影像语义预测方法，其特征在于，语义类损失是语义分割结果 SM₁、SM₂和语义变化标签L₁、L₂之间的多类交叉熵损失，语义类损失计算公式为：

；

式中，N为数据集中的语义类别数，y_i和p_i分别表示真值标签和第i类的预测概率，没有变化的类被排除在损失计算之外；

二值变化损失网络预测的二值变化图C和参考的二值变化图L_c之间的二值交叉熵损失，其中L_c是由L₁或者L₂将变化区域做掩膜而生成，二值变化损失计算公式为：

；

上式中，y_c和p_c分别表示真值标签和预测的变化概率；

语义一致性损失计算时，需关联SM₁，SM₂和L_c，语义一致性损失计算公式为：

；

上式中，x₁和x₂分别为语义分割结果SM₁和SM₂上像素点的特征向量，y_c是L_c上相同位置的值。

8.如权利要求7所述的一种遥感影像语义预测方法，其特征在于，OA是语义分割和变化检测任务的评估指标，将P = {p_ij} 表示为一个混淆矩阵，其中，i， j ∈ {0， 1， ...， N}，0表示没有变化，N为变化的类别总数，p_ij表示网络预测错误的像素总数，网络预测类别为i，实际类别为j；p_ii表示网络预测正确的像素总数，OA的计算公式如下：

；

mIoU为语义分割的标准度量，用于测量真实值和预测值之间的相关度， mIoU是无变化区域的均交并比IoU_n和所有变化区域的均交并比IoU_y的平均值，计算过程为：

；

其中，p₀₀表示混淆矩阵中i=0且j=0的元素，p_i0表示混淆矩阵中网络预测类别为i且j=0的元素，p_0j表示混淆矩阵中i=0且实际类别为0的元素；

SeK系数反映了预测值与真实值的一致性，SeK系数计算如下：

；

式中，K为相乘系数，S₀和S_e，分别为第一计算系数和第二计算系数，

和/>

分别为p_ij和p_ii的估值。

Images