CN115731462A - 基于多头自-交叉混合注意力的高光谱图像变化检测方法 - Google Patents

Abstract

基于多头自‑交叉混合注意力的高光谱图像变化检测方法，包括；S101：将双时相高光谱图像输入丰度矩阵学习模块，基于端元共享学习对应的丰度矩阵；S102：根据提取的丰度矩阵和端元矩阵重建图像，不断缩小重建图像与原始图像的差异从而优化丰度矩阵学习网络；S103：对丰度矩阵分块后提取其浅层特征投影到不同的子空间，将对应的矩阵输入多头自‑交叉混合注意力机制；S104：多头自交叉混合注意力机制利用相关性差异对图像特征加权，输出抑制两时相图像不变信息同时保留变化信息的差异信息映射；S105：经过多层次自‑交叉混合注意力机制的堆叠，不断地强化差异信息；S106：确定最佳网络参数后输出预测的变化检测图。本发明有效提高了变化检测的精度。

Description

基于多头自-交叉混合注意力的高光谱图像变化检测方法

技术领域

本发明属于高光谱遥感影像变化检测技术领域，具体涉及基于多头自-交叉混合注意力的高光谱图像变化检测方法。

背景技术

高光谱图像是由丰富的光谱维信息和二维空间信息构成的数据立方体。与多光谱图像相比，高光谱图像涵盖了更广泛的波长范围，能捕获更精细的地物特征，因此被广泛应用在遥感图像处理技术中。高光谱图像变换检测指检测出由相同传感器在不同时刻获得的双时相高光谱图像之间的变化，已经被广泛应用在矿产勘查、海岸湿地监测、土地覆盖监察等众多领域。

经典的变化检测算法可大致分为：1)影像代数法；2)影像变换法；3)分类检测方法；4)其它传统方法；和5)基于深度学习的方法。

影像代数法通过简单的代数操作得到变化特征图，如图像差值法、图像比值法、变化向量分析(change vector analysis,CVA)。CVA是最为经典的算法之一，通过差值运算得到双时相图像之间的变化向量，其中变化向量的欧式距离表示变化强度，变化内容由变化向量的方向表示。这类方法的关键是找到变化阈值，而随着波段数的增加，阈值的选择变得愈发困难。

影像变换法通过将图像映射到新的特征域，从而增强变化特征抑制不变特征，同时减少数据冗余。主成分分析、慢特征分析、迭代加权多元变化为影像变换法中最有代表性的算法，然而在变换过程中将不可避免的导致了光谱信息的丢失。

基于分类的变化检测主要包括分类后比较法和联合分类法。分类后比较的原理是分别将两时相图像分类，在逐像素对比被分类区域来决定变化信息的位置和类型；联合分类方法为将多时相影像叠加在一起形成一个数据集进行直接分类。虽然这类方法检测出了变化类别，但分类结果太依赖于分类器的性能。

除了以上三种分类方法，还有一些其他用于变化检测的方法取得了优异成果，如基于解混思想、基于低秩稀疏表示、基于张量回归等。然而高光谱数据的高维和冗余特性仍给变化检测带来了很大的挑战。

近年来，深度学习作为特征提取的有力工具，成为了遥感图像处理的重要分支。虽然目前许多先进的变化检测算法已经取得了优良的成果，但仍然存在一些缺陷：(1)由于光谱传感器的低空间分辨率以及其它的外部干扰因素，高光谱图像中存在混合像元现象。混合像元中包含了多种地物信息，导致了同谱异物、异谱同物现象的产生，极大的影响了变化检测的准确率；(2)大部分基于深度学习的变化检测算法利用了双分支结构，即为每个分支独立提取对应单时相图像的空谱特征，没有充分地利用双时相图像之间的相关性。

发明内容

为了克服上述现有技术存在的不足，本发明的目的在于提供一种基于多头自-交叉混合注意力的高光谱图像变化检测方法方法，丰度矩阵学习网络基于端元共享学习高光谱图像丰度矩阵，在有效减弱混合像元影响的同时将图像间的差异映射到对应的丰度矩阵中；此外由多层次多头自-交叉混合注意力机制组成的差异信息提取模块充分利用了双时相图像之间的相关性，得到的变化特征图中不变区域的信息被抑制，变化区域更易被识别。

为了实现上述目的，本发明采用的技术方案是：

基于多头自-交叉混合注意力的高光谱图像变化检测方法，包括以下步骤；

S101：将双时相高光谱图像分别输入顶点成分分析方法和丰度矩阵学习网络，提取端元矩阵，并基于端元共享学习对应的丰度矩阵S_i；

S102：根据提取的丰度矩阵S_i和端元矩阵重建图像，不断缩小重建图像与原始图像的差异从而优化丰度矩阵学习网络；

S103：对S101的丰度矩阵S_i分块后提取其浅层特征经一卷积层投影到不同的子空间并得到对应的Q_i,h、K_i,h、V_i,h矩阵后输入多头自-交叉混合注意力机制；

S104：多头自交叉混合注意力机制利用相关性差异对其输入加权输出抑制两时相图像不变信息同时保留变化信息的差异信息映射；

S105：经过多个多头自-交叉混合注意力机制的堆叠，即多层次多头自-交叉混合注意力机制，不断地强化差异信息；

S106：对由多层次多头自-交叉混合注意力机制组成的差异信息提取模块进行有监督的训练，确定最佳网络参数后输出预测的变化检测图。

进一步的，所述步骤S101具体为：

高光谱图像分为端元矩阵和丰度矩阵的线性组合，其矩阵形式表示为：

其中

表示高光谱图像，B为光谱波段数，M为像素个数，

表示端元矩阵，

表示丰度矩阵，N表示端元数量，

表示加性噪声，

为丰度矩阵列向量上和为1的约束，1_N为N×1的全1向量；该约束条件保证了丰度矩阵的稀疏性，更好的反映了每个端元对像素光谱的贡献度，同时降低了计算复杂度；

令

表示在相同地域不同时刻获得的双时相高光谱图像，其中H和W分别表示图像的高宽；M＝H×W表示图像像素个数；

在相同场景的不同时间获得的高光谱图像将共享端元矩阵，首先将输入的两高光谱图像在空间维上合并成

再使用顶点成分分析法提取合并图像的端元矩阵，该算法沿着垂直于已知端元构成的子空间方向迭代执行投影，每次迭代的投影极值即为新的端元；当端元数量满足设定值时结束迭代，输出完整的端元矩阵A；

利用深度神经网络强大的学习和数据拟合能力，基于L层全连接网络设计了丰度矩阵学习网络，为满足高光谱图像线性混合模型的约束条件，使用Softmax激活函数约束丰度矩阵列向量中各元素的值在0到1之间同时使其总和为1，分别满足了非负约束及丰度总和为1的约束；提取丰度矩阵S_i(i＝1,2)可以表示为：

S_i＝σ(f^L(···f^l(···f¹(Y_i)))),i＝1,2

其中，f^j(·)表示由全连接层和ReLU激活函数组成的第j层的函数，σ(·)表示Softmax激活函数。

进一步的，所述步骤S102具体为：

为了获得最优的丰度矩阵，使用端元矩阵和两个丰度矩阵分别重建双时相高光谱图像，当重建图像Y_i(i＝1,2)与原始图像Y_i(i＝1,2)差异最小时获得最优的丰度矩阵学习网络，因此采用L₁范数作为损失函数L₁来评价丰度矩阵的优化程度：

其中Y_i＝AS_i，i＝1，2；

经梯度反向传播更新丰度矩阵学习网络中的参数，当迭代次数大于设定值时结束迭代输出最能拟合原始图像的丰度矩阵S_i。

进一步的，所述步骤S103具体为：

提取丰度矩阵的浅层特征可表示为：

S_shai＝g_shallow(S_i),i＝1,2

其中g_shallow(·)包含卷积核大小为3×3的卷积层及ReLu激活函数来提取浅层特征；

浅层特征对应的查询(queries,Q)、键(keys,K)、值(values,V)矩阵由卷积核大小为3×3的卷积层获得，为提高特征表达能力，从多个维度提取特征来提高模块的性能，查询矩阵、键矩阵、值矩阵被投影进不同的子空间来实现多头自-交叉混合注意力机制，如以下公式所示：

其中h∈[1,···,H]表示第h个头，H表示投影空间的数量，

表示投影矩阵，

表示卷积核为3×3的卷积；

得到Q_i,h、K_i,h、V_i,h后矩阵将其输入由自-交叉混合注意力机制组成的多头自-交叉混合注意力机制提取差异信息。

进一步的，所述步骤S104具体为：

将单时相高光谱图像中Q_i、K_i的自匹配结果称为自相关矩阵(SCM)，双时相图像间Q₁、K₂的交叉匹配结果称为互相关矩阵(CCM)，可由以下公式计算：

SCM_i＝Q_iK_i ^T,i＝1,2

CCM＝Q₁K₂ ^T

丰度矩阵之间的相关性越强，则双时相图像之间的相似度越高；根据这一理论，SCM_i和CCM的值越接近，则双时相图像之间的相似度越高；计算SCM_i与CCM之间的差值，即两张图像间的相关性差异，获得图像特征的权重，使用固定值d_k对该差值缩放，使得梯度更加稳定，得到的结果经Softmax函数归一化得到注意力机制权重，然后用权重矩阵乘以V矩阵抑制不变信息，得到易于区分的变化信息；双时相图像的单头自-交叉混合注意力机制定义为：

其中σ_i(·)(i＝1,2)表示Softmax激活函数，d_k表示键矩阵(Key)的维度；

由第h个头的多头自-交叉混合注意力机制计算出的SCM和CCM为：

SCM_i,h＝Q_i,hK_i,h ^T,i＝1,2

CCM_h＝Q_1,hK_2,h ^T

多头自-交叉混合注意力机制最终输出的差异信息映射由每个单头注意力机制计算结果合并得到，对于Y₁的计算过程表示为：

其中

其中F₁表示图像Y₁输入多头自-交叉混合注意力机制对应的结果，D_k表示为保持梯度稳定而选择的固定值，W₁ ^O表示由1×1大小的卷积核学习得到的投影矩阵；

同样，对于图像Y₂输入多头自-交叉混合注意力机制对应的结果可表示为：

其中

进一步的，所述步骤S105具体为：

多层次注意力机制堆叠组成差异信息提取模块，其整个过程表示为：

[G₁,G₂]＝g^t(g^t-1···(g¹(S_sha1,S_sha2)))

其中G₁及G₂表示浅层特征经多层次注意力机制输出的两个增强的差异特征图，g^t(·)表示第t层多头自-交叉混合注意力机制。

进一步的，所述步骤S106具体为：

将两个经增强的差异特征图G₁和G₂级联再输入全连接层中，并使用Softmax激活函数将分类结果约束在概率空间，得到的结果可以识别出亚像素是否发生了变化，最终的变化特征图可表示为：

CD＝g_cd(Concat(G₁,G₂))

其中g_cd(·)为一由全连接网络组成的分类器；

为使预测值尽可能接近标签值，使用损失函数测量预测值与ground-truth标签之间的差值，从而进一步优化模型，本方法使用交叉熵损失函数为：

本发明的有益效果：

1、本发明提出丰度矩阵相关性分析网络，有效减弱了混合像元的影响，充分利用了双时相图像之间的相关性。

2、本发明提出基于端元共享的丰度矩阵学习网络在自动学习丰度矩阵的同时将双时相图像的变化信息映射到对应的丰度矩阵中。

3、本发明提出多层次多头自-交叉混合注意力，利用双时图像之间的相关性差异对图像特征进行加权，从而逐步抑制不变的信息，保留变化的信息，显著提高了变化检测精度。

附图说明

图1是本发明实施例提供的高光谱图像变化检测方法流程图。

图2是本发明实施例提供的丰度矩阵学习网络及提取端元矩阵示意图。

图3是本发明实施例提供的多头自-交叉注意力机制提取差异特征图示意图。

图4是本发明实施例提供的单头自-交叉注意力机制示意图。

图5是本发明实施例提供的变化检测结果图对比。

图5中：(a)-(h)按顺序分别为Ground-truth标准图、CVA方法结果图、PCA方法结果图、IR-MAD方法结果图、SVM方法结果图、ReCNN方法结果图、BCNNs方法结果图、本发明结果图。

具体实施方式

下面结合附图对本发明作进一步详细说明。

参照图1-图5，一种基于多头自-交叉混合注意力的高光谱图像变化检测方法，下面结合附图对本发明进行详细描述。

如图1所示，本发明提供的基于多头自-交叉混合注意力的高光谱图像变化检测方法包括以下步骤：

S101：将双时相高光谱图像分别输入顶点成分分析方法和丰度矩阵学习网络，提取端元矩阵，并基于端元共享学习对应的丰度矩阵S_i；

S102：根据提取的丰度矩阵S_i和端元矩阵重建图像，不断缩小重建图像与原始图像的差异从而优化丰度矩阵学习网络；

S103：对S101的丰度矩阵S_i分块后提取其浅层特征经一卷积层投影到不同的子空间并得到对应的Q_i,h、K_i,h、V_i,h矩阵后输入多头自-交叉混合注意力机制；

S104：多头自交叉混合注意力机制利用相关性差异对其输入加权，输出抑制两时相图像不变信息同时保留变化信息的差异信息映射；

S105：经过多个多头自-交叉混合注意力机制的堆叠，即多层次多头自-交叉混合注意力机制，不断地强化差异信息；

S106：对由多层次多头自-交叉混合注意力机制组成的差异信息提取模块进行有监督的训练，确定最佳网络参数后输出预测的变化检测图。下面结合附图对本发明的技术方案作进一步的描述。

如图1所示，本发明实施例提供的基于多头自-交叉混合注意力的高光谱图像变化检测方法，其实现过程如下：

(1)如图2所示，将双时相高光谱图像分别输入顶点成分分析方法和丰度矩阵学习网络，提取端元矩阵，并基于端元共享学习对应的丰度矩阵S_i；

高光谱图像的线性混合模型指出高光谱图像中的像元为端元和丰度的线性组合，其矩阵形式可以表示为：

其中

表示高光谱图像，B为光谱波段数，M为像素个数，

表示端元矩阵，

表示丰度矩阵，N表示端元数量，

表示加性噪声，

为丰度矩阵列向量上和为1的约束，1_N为N×1的全1向量；该约束条件保证了丰度矩阵的稀疏性，更好的反映了每个端元对像素光谱的贡献度，同时降低了计算复杂度；

令

表示在相同地域不同时刻获得的双时相高光谱图像，其中H和W分别表示图像的高宽；M＝H×W表示图像像素个数；我们假设，在相同场景的不同时间获得的高光谱图像共享端元矩阵；

本方法首先将输入的两高光谱图像在空间维上合并成

再使用顶点成分分析法提取合并图像的端元矩阵，该算法沿着垂直于已知端元构成的子空间方向迭代执行投影，每次迭代的投影极值即为新的端元；当端元数量满足设定值时结束迭代，输出完整的端元矩阵A；

利用深度神经网络强大的学习和数据拟合能力，基于L层全连接网络设计了丰度矩阵学习网络，为满足高光谱图像线性混合模型的约束条件，使用Softmax激活函数约束丰度矩阵列向量中各元素的值在0到1之间同时使其总和为1，分别满足了非负约束及丰度总和为1的约束；提取丰度矩阵S_i(i＝1,2)可以表示为：

S_i＝σ(f^L(···f^l(···f¹(Y_i)))),i＝1,2

其中，f^j(·)表示由全连接层和ReLU激活函数组成的第j层的函数，σ(·)表示Softmax激活函数。

(2)根据提取的丰度矩阵S_i和端元矩阵重建图像，不断缩小重建图像与原始图像的差异从而优化丰度矩阵学习网络；

(2a)为了获得最优的丰度矩阵，使用端元矩阵和丰度分别重建双时相图像，当重建图像Y_i(i＝1,2)与原始图像Y_i(i＝1,2)差异最小时获得最优的丰度矩阵学习网络，因此采用L₁范数作为损失函数L₁来评价丰度矩阵的优化程度：

其中Y_i＝AS_i，i＝1，2；

(2b)经梯度反向传播更新丰度矩阵学习网络中的参数，当迭代次数大于设定值时结束迭代输出最能拟合原始图像的丰度矩阵S_i。

(3)如图3所示，对S101的丰度矩阵S_i分块后提取其浅层特征经一卷积层投影到不同的子空间并得到对应的Q_i,h、K_i,h、V_i,h矩阵后输入多头自-交叉混合注意力机制，具体为：

(3a)提取丰度矩阵的浅层特征可表示为：

S_shai＝g_shallow(S_i),i＝1,2

其中g_shallow(·)包含卷积核大小为3×3的卷积层及ReLu激活函数来提取浅层特征；

(3b)浅层特征对应的查询(queries,Q)、键(keys,K)、值(values,V)矩阵由卷积核大小为3×3的卷积层获得。为提高特征表达能力，从多个维度提取特征来提高模块的性能，查询矩阵、键矩阵、值矩阵被投影进不同的子空间来实现多头自-交叉混合注意力机制，如以下公式所示：

其中h∈[1,···,H]表示第h个头，H表示投影空间的数量，

表示投影矩阵，

表示卷积核为3×3的卷积。

得到Q_i,h、K_i,h、V_i,h后矩阵将其输入由自-交叉混合注意力机制组成的多头自-交叉混合注意力机制提取差异信息。

(4)如图4所示，多头自-交叉混合注意力机制利用相关性差异对图像特征加权，输出抑制两时相图像不变信息同时保留变化信息的差异信息映射，具体为：

(4a)将单时相高光谱图像中Q_i、K_i的自匹配结果称为自相关矩阵(SCM)，双时相图像间Q₁、K₂的交叉匹配结果称为互相关矩阵(CCM)，可由以下公式计算：

SCM_i＝Q_iK_i ^T,i＝1,2

CCM＝Q₁K₂ ^T

(4b)丰度矩阵之间的相关性越强，则双时相图像之间的相似度越高；根据这一理论，SCM_i和CCM的值越接近，则双时相图像之间的相似度越高；计算SCM_i与CCM之间的差值，即两张图像间的相关性差异，获得图像特征的权重，使用固定值d_k对该差值缩放，使得梯度更加稳定。得到的结果经Softmax函数归一化得到注意力机制权重，然后用权重矩阵乘以V矩阵抑制不变信息，得到易于区分的变化信息；双时相图像的单头自-交叉混合注意力机制可以定义为：

其中σ_i(·)(i＝1,2)表示Softmax激活函数，d_k表示键矩阵的维度。

(4c)由第h个头的多头自-交叉混合注意力机制计算出的SCM和CCM为：

SCM_i,h＝Q_i,hK_i,h ^T,i＝1,2

CCM_h＝Q_1,hK_2,h ^T

(4d)多头自-交叉混合注意力机制最终输出的差异信息映射由每个单头注意力机制计算结果合并得到，对于Y₁的计算过程可以表示为：

其中

其中F₁表示图像Y₁输入多头自-交叉混合注意力机制对应的结果，D_k表示为保持梯度稳定而选择的固定值，W₁ ^O表示由1×1大小的卷积核学习得到的投影矩阵；

(4f)同样，对于图像Y₂输入多头自-交叉混合注意力机制对应的结果可表示为：

其中

(5)经过多个多头自-交叉混合注意力机制的堆叠，即多层次多头自-交叉混合注意力机制，不断地强化差异信息，具体为：

多层次注意力机制堆叠组成差异信息提取模块，其整个过程可以表示为：

[G₁,G₂]＝g^t(g^t-1···(g¹(S_sha1,S_sha2)))

其中G₁及G₂表示浅层特征经多层次注意力机制输出的差异特征图，g^t(·)表示第t层多头自-交叉混合注意力机制。

(6)对由多层次多头自-交叉混合注意力机制组成的差异信息提取模块进行有监督的训练，确定最佳网络参数后输出预测的变化检测图，具体为：

将两个经增强的差异特征图G₁和G₂级联再输入全连接层中，并使用Softmax激活函数将分类结果约束在概率空间，得到的结果可以识别出亚像素是否发生了变化，最终的变化特征图可表示为：

CD＝g_cd(Concat(G₁,G₂))

其中g_cd(·)为一由全连接网络组成的分类器。

为使预测值尽可能接近标签值，使用损失函数测量预测值与ground-truth标签之间的差值，从而进一步优化模型，本方法使用交叉熵损失函数为：

下面结合仿真实验对本发明的技术效果作详细的说明：

1.仿真实验条件与数据集：

本发明的仿真实验的硬件平台为：NVDI AGTX 3090GPU

本发明的仿真实验的软件平台为：Linux18.06操作系统、python3.7和pytorch1.12。

本发明仿真实验使用由EO-1卫星获得的Farmland数据集，该数据集表示中国江苏盐城市附近农田的变化，两张图像分别于2006年3月3日和2007年4月23日获得，其分辨率都为420×140。此外两时相的高光谱数据集包含242个波段，光谱范围为0.4到2.5μm，空间分辨率为30m。经过去噪和预处理后，剩余154个波段可被用于变化检测。在所有被标记的像素中，随机选择20％的样本作为训练集，其余80％作为测试集。

2、评价指标

选用两种指标评价变化检测结果，分别为总精度OA和卡方系数KC，OA表示正确分类的样本占总样本的比例，KC为表示预测值与参考值的一致性，OA与KC值与变化检测结果的准确率呈正相关关系。

3、对比算法与结果分析

为了验证所提出方法的有效性，选择了7种具有代表性的方法进行对比实验，包括CVA、PCA、IR-MAD、SVM、ReCNN、BCNNs。

不同方法得到的检测结果如图5所示，在这个数据集上生成的变化区域相对集中，形状也相对规则。观察图5(b)和图5(c)可以得到，CVA和PCA方法不能很好的检测出主要的变化区域，在CVA的结果中存在大量噪声，变化最明显的区域没有被完全检测，而PCA作为一种降维算法不可避免地导致了有用信息的丢失。如图5(d)所示，与前两种方法相比，IR-MAD提高了对变化显著区域的检测能力，但是仍然有很多未变化区域被误检为变化区域。SVM减少了噪声的产生，但漏检率仍然非常高。如图5(f)和图5(g)所示，两种基于深度学习方法的检测结果有了很大提升，但边界区域相对来说比较粗糙。由主管结果可以得到本发明方法得到的检测结果最为精准。

实验结果的量化评估如表1所示，前3种经典方法CVA、PCA、IR-MAD的总精度OA都低于0.9。虽然SVM的总精度OA大于0.9，但其卡方系数KC与前三种无监督的算法一样低于0.8。由此可以看出传统的经典方法不能很好的检测出变化区域。两种基于深度学习方法的总精度OA和卡方系数KC显著提高。与基于机器学习的SVM方法相比，ReCNN方法的KC增加了19.5％，BCNNs的结果增加了近20％。如表1中粗体所示，本发明方法与其他对比方法相比性能最为优越，OA达到了0.9799,KC达到了0.9533。

表1本发明方法与其他代表性方法量化评估

以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭示如上，然而并非用以限定本发明，任何本领域技术人员，在不脱离本发明技术方案范围内，当可利用上述揭示的技术内容做出些许更动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简介修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (7)

1.基于多头自-交叉混合注意力的高光谱图像变化检测方法，其特征在于，包括以下步骤；

S101：将双时相高光谱图像分别输入顶点成分分析方法和丰度矩阵学习网络，提取端元矩阵并基于端元共享学习对应的丰度矩阵S_i；

S102：根据提取的丰度矩阵S_i和端元矩阵重建图像，不断缩小重建图像与原始图像的差异从而优化丰度矩阵学习网络；

S103：对S101的丰度矩阵S_i分块后提取其浅层特征经一卷积层投影到不同的子空间并得到对应的Q_i,h、K_i,h、V_i,h矩阵后输入多头自-交叉混合注意力机制；

S104：多头自交叉混合注意力机制利用相关性差异对其输入加权，输出抑制两时相图像不变信息同时保留变化信息的差异信息映射；

S105：经过多个多头自-交叉混合注意力机制的堆叠，即多层次多头自-交叉混合注意力机制，不断地强化差异信息；

S106：对由多层次多头自-交叉混合注意力机制组成的差异信息提取模块进行有监督的训练，确定最佳网络参数后输出预测的变化检测图。

2.根据权利要求1所述的基于多头自-交叉混合注意力的高光谱图像变化检测方法，其特征在于，所述步骤S101具体为：

高光谱图像分为端元矩阵和丰度矩阵的线性组合，其矩阵形式表示为：

其中

表示高光谱图像，B为光谱波段数，M为像素个数，

表示端元矩阵，

表示丰度矩阵，N表示端元数量，

表示加性噪声，

为丰度矩阵列向量上和为1的约束，1_N为N×1的全1向量；

令

表示在相同地域不同时刻获得的双时相高光谱图像，其中H和W分别表示图像的高宽；M＝H×W表示图像像素个数；

在相同场景的不同时间获得的高光谱图像将共享端元矩阵，首先将输入的两高光谱图像在空间维上合并成

再使用顶点成分分析法提取合并图像的端元矩阵，该算法沿着垂直于已知端元构成的子空间方向迭代执行投影，每次迭代的投影极值即为新的端元；当端元数量满足设定值时结束迭代，输出完整的端元矩阵A；

基于L层全连接网络设计了丰度矩阵学习模块，为满足高光谱图像线性混合模型的约束条件，使用Softmax激活函数约束丰度矩阵列向量中各元素的值在0到1之间同时使其总和为1，分别满足了非负约束及丰度总和为1的约束；提取丰度矩阵S_i(i＝1,2)可以表示为：

S_i＝σ(f^L(···f^l(···f¹(Y_i)))),i＝1,2

其中，f^j(·)表示由全连接层和ReLU激活函数组成的第j层的函数，σ(·)表示Softmax激活函数。

3.根据权利要求1所述的基于多头自-交叉混合注意力的高光谱图像变化检测方法，其特征在于，所述步骤S102具体为：

为了获得最优的丰度矩阵，使用端元矩阵和丰度分别重建双时相图像，当重建图像Y_i(i＝1，2)与原始图像Y_i(i＝1,2)差异最小时获得最优的丰度矩阵学习网络，因此采用L₁范数作为损失函数L₁来评价丰度矩阵的优化程度：

其中Y_i＝AS_i，i＝1，2；

经梯度反向传播更新丰度矩阵学习网络中的参数，当迭代次数大于设定值时结束迭代输出最能拟合原始图像的丰度矩阵S_i。

4.根据权利要求1所述的基于多头自-交叉混合注意力的高光谱图像变化检测方法，其特征在于，所述步骤S103具体为：

提取丰度矩阵的浅层特征可表示为：

S_shai＝g_shallow(S_i),i＝1,2

其中g_shallow(·)包含卷积核大小为3×3的卷积层及ReLu激活函数来提取浅层特征；

浅层特征对应的查询、键、值矩阵由卷积核大小为3×3的卷积层获得，为提高特征表达能力，从多个维度提取特征来提高模块的性能，查询矩阵(queries,Q)、键矩阵(keys,K)、值矩阵(values,V)被投影进不同的子空间来实现多头自-交叉混合注意力机制，如以下公式所示：

其中h∈[1,···,H]表示第h个头，H表示投影空间的数量，

表示投影矩阵，

表示卷积核为3×3的卷积；

得到Q_i,h、K_i,h、V_i,h后矩阵将其输入由自-交叉混合注意力机制组成的多头自-交叉混合注意力机制提取差异信息。

5.根据权利要求1所述的基于多头自-交叉混合注意力的高光谱图像变化检测方法，其特征在于，所述步骤S104具体为：

将单时相高光谱图像中Q_i、K_i的自匹配结果称为自相关矩阵(SCM)，双时相图像间Q₁、K₂的交叉匹配结果称为互相关矩阵(CCM)，可由以下公式计算：

SCM_i＝Q_iK_i ^T,i＝1,2

CCM＝Q₁K₂ ^T

丰度矩阵之间的相关性越强，则双时相图像之间的相似度越高；根据这一理论，SCM_i和CCM的值越接近，则双时相图像之间的相似度越高；计算SCM_i与CCM之间的差值，即两张图像间的相关性差异，获得图像特征的权重，使用固定值d_k对该差值缩放，使得梯度更加稳定，得到的结果经Softmax函数归一化得到注意力机制权重，然后用权重矩阵乘以V矩阵抑制不变信息，得到易于区分的变化信息；双时相图像的单头自-交叉混合注意力机制定义为：

其中σ_i(·)(i＝1,2)表示Softmax激活函数，d_k表示键矩阵(Key)的维度；

由第h个头的多头自-交叉混合注意力机制计算出的SCM和CCM为：

SCM_i,h＝Q_i,hK_i,h ^T,i＝1,2

CCM_h＝Q_1,hK_2,h ^T

多头自-交叉混合注意力机制最终输出的差异信息映射由每个单头注意力机制计算结果合并得到，对于Y₁的计算过程表示为：

F₁＝MultiHead₁(Q₁,K₁,V₁,K₂)

＝Concat(head_1,1,···head_1,h,···head_1,H)W₁ ^O

其中

其中F₁表示图像Y₁输入多头自-交叉混合注意力机制对应的结果，D_k表示为保持梯度稳定而选择的固定值，W₁ ^O表示由1×1大小的卷积核学习得到的投影矩阵；

同样，对于图像Y₂输入多头自-交叉混合注意力机制对应的结果可表示为：

F₂＝MultiHead₂(Q₂,K₂,V₂,K₁)

＝Concat(head_2,1,···head_2,h,···head_2,H)W₂ ^O

其中

6.根据权利要求1所述的基于多头自-交叉混合注意力的高光谱图像变化检测方法，其特征在于，所述步骤S105具体为：

多层次注意力机制堆叠组成差异信息提取模块，其整个过程表示为：

[G₁,G₂]＝g^t(g^t-1···(g¹(S_sha1,S_sha2)))

其中G₁及G₂表示浅层特征经多层次注意力机制输出的两个增强的差异特征图，g^t(·)表示第t层多头自-交叉混合注意力机制。

7.根据权利要求1所述的基于多头自-交叉混合注意力的高光谱图像变化检测方法，其特征在于，所述步骤S106具体为：

将两个经增强的差异特征图G₁和G₂级联再输入全连接层中，并使用Softmax激活函数将分类结果约束在概率空间，得到的结果可以识别出亚像素是否发生了变化，最终的变化特征图可表示为：

CD＝g_cd(Concat(G₁,G₂))

其中g_cd(·)为一由全连接网络组成的分类器；

为使预测值尽可能接近标签值，使用损失函数测量预测值与ground-truth标签之间的差值，从而进一步优化模型，本方法使用交叉熵损失函数为：

Images