CN114663777B - 基于时空联合图注意机制的高光谱影像变化检测方法 - Google Patents

基于时空联合图注意机制的高光谱影像变化检测方法 Download PDF

Info

Publication number
CN114663777B
CN114663777B CN202210222236.4A CN202210222236A CN114663777B CN 114663777 B CN114663777 B CN 114663777B CN 202210222236 A CN202210222236 A CN 202210222236A CN 114663777 B CN114663777 B CN 114663777B
Authority
CN
China
Prior art keywords
matrix
feature
pixel
conv2
convolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210222236.4A
Other languages
English (en)
Other versions
CN114663777A (zh
Inventor
王相海
赵克云
赵晓阳
李思瑶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Liaoning Normal University
Original Assignee
Liaoning Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Liaoning Normal University filed Critical Liaoning Normal University
Priority to CN202210222236.4A priority Critical patent/CN114663777B/zh
Publication of CN114663777A publication Critical patent/CN114663777A/zh
Application granted granted Critical
Publication of CN114663777B publication Critical patent/CN114663777B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于时空联合图注意机制的高光谱遥感影像变化检测方法，引入了时空联合图注意机制，利用不同时相地表覆盖之间的关联性来传播地表覆盖信息，有效地弥补了传统卷积神经网络提取特征时的不足。同时，由于时空联合图注意机制是以半监督的方式进行特征传播，可以一定程度上减少网络对于标记样本数量的依赖性。此外，本发明引进超像素级—像素级两个分支的网络框架，分别对高光谱影像的超像素级特征和像素级特征进行提取，两个分支以互补的方式协同工作，有效地提高了变化检测精度。实验结果表明，本发明在river、farm和USA三个数据集上的总体精度分别达到了96.91％、98.40％和96.87％，Kappa系数分别为79.57％、96.14％和90.99％。

Description

基于时空联合图注意机制的高光谱影像变化检测方法
技术领域
本发明涉及遥感影像处理领域，尤其是一种基于时空联合图注意机制的高光谱影像变化检测方法。
背景技术
遥感影像变化检测(CD)可识别同一地区不同时间地表覆盖的变化，已应用于诸如地理国情检测、土地调查、城市变化分析、生态系统检测和灾害监测评估等领域。高光谱影像(HSI)是在宽光谱波长范围内进行详细的光谱采样，在获得地物空间信息的同时又能以近似连续的电磁波谱反射特性反映地物的光谱信息，从而为获取更加精细的地表变化信息奠定了基础。
目前，针对高光谱变化检测方法的研究主要围绕着卷积神经网络(CNN)展开，通常采用非常复杂的网络结构来提高对高光谱影像的特征提取能力。存在如下问题：使用固定尺寸的卷积核来提取特征，因此其特征提取能力会受到感受野的限制；只能在欧几里得空间进行特征提取，无法适应高光谱影像中不同地表覆盖之间的复杂的拓扑结构，因此无法有效利用地表覆盖之间的相关性；高光谱影像的标签获取难度较大。
图神经网络(GNN)由于能够在不规则的图域进行特征提取也逐渐受到关注，图注意网络(GAT)就是其中之一。不同于传统的卷积神经网络，图注意网络能够打破感受野的限制，更加有效地利用节点之间的相关性；其次，图注意网络通过学习得到节点之间的注意系数，并根据注意系数进行有选择性的特征传播；图注意网络以半监督的方式进行学习，可以一定程度的减少对标签数量的依赖性，进行妥善地使用后能够使其胜任小样本任务。然而，迄今为止并未见将图注意网络应用于高光谱影像变化检测的相关报道。
发明内容
本发明是为了解决现有技术所存在的上述技术问题，提供一种基于时空联合图注意机制的高光谱影像变化检测方法。
本发明的技术解决方案是：一种基于时空联合图注意机制的高光谱影像变化检测方法，依次按照如下步骤进行：
步骤1.分别对T1时相高光谱影像X1∈RH×W×C、T2时相高光谱影像X2∈RH×W×C以及对应的标签图g∈RH×W进行预处理
步骤1.1.将输入的T1时相高光谱影像X1∈RH×W×C与T2时相高光谱影像X2∈RH×W×C按通道维连接，得到T3时相高光谱影像X3∈RH×W×2C，其中H×W为影像的空间尺寸大小，C为其光谱长度；
步骤1.2.将T1、T2两个时相的高光谱影像映射至二维空间RHW×C，将T3时相的高光谱影像映射至二维空间RHW×2C，利用封装好的数据标准化方法skleam.preprocessing.StandScaler对T1、T2、T3时相高光谱影像的二维空间投影进行标准化处理，再分别映射回原三维空间，得到T1、T2、T3时相高光谱影像数据块和/>
步骤1.3.随机抽取标签图g中有标签的像素点的90％作为网络训练集，再以剩余的10％有标签的像素点作为网络验证集，余下所有无标签像素点即是检测集；
步骤1.4.构造与网络训练集、网络验证集和检测集相对应的三个标签集：分别创建一个与标签图尺寸相同的一个全0元素的二维图，再分别依据网络训练集、网络验证集和检测集修正其元素值，即当像素点为变化像素时，二维图中对应位置的值为1，而当像素点为不变化像素时，二维图中对应位置的值为2，最后将得到的二维图分别作为训练集标签图g1∈RH×W、验证集标签图g2∈RH×W和检测集标签图g3∈RH×W；
步骤1.5.对训练集标签图g1、验证集标签图g2和检测集标签图g3分别进行哑变量编码，即将标签图中的0编码为00，将标签图中的1编码为10，将标签图中的2编码为01，进一步将编码后的标签图分别映射至二维空间RHW×2，从而得到训练集编码标签图g′1、验证集编码标签图g′2和检测集编码标签图g′3；
步骤1.6.根据训练集编码标签图g′1、验证集编码标签图g′2和检测集编码标签图g′3分别制作训练集掩码、验证集掩码和检测集掩码，即如果标签图中某行存在不为0的元素，则将该行所有元素赋值为1，分别得到尺寸为HW×2的训练集掩码m1、验证集掩码m2和检测集掩码m3；
步骤2.超像素分割
步骤2.1.调用封装好的线性判别分析方法LinearDiscriminantAnalysis利用训练集标签图g1分别对T1、T2、T3时相高光谱影像数据块和/>进行降维处理；
步骤2.2.调用封装好的简单线性迭代聚类方法slic对步骤2.1的降维结果进行超像素分割，超像素个数为n＝H×W/c，其中c为预定义的超像素分割尺度，最终得到对应的分割结果Seg1、Seg2和Seg3，对应的超像素块数分别为K1、K2和K3；
步骤2.3.将分割结果Seg1、Seg2和Seg3映射至一维空间，得到Seg′1、Seg′2和Seg′3，按照公式(1)构建对应关联矩阵Q1、Q2和Q3：
其中为关联矩阵Qn位置(i，j)上的值，Seg′n i表示Seg′n的第i个元素；
步骤2.4.根据步骤2.2所得和步骤2.1所得，对属于同一超像素块中的像素点值取平均，作为该超像素块的像素值，从而得到T1、T2、T3时相的超像素块像素值列表S1、S2和S3；
步骤2.5.根据超像素块像素值列表S1、S2和S3，利用公式(2)构建时间邻接矩阵A1 ，2、A2，1、A1，3、A3，1、A2，3和A3，2，
其中(m，n)分别取(1，2)、(2，1)、(1，3)、(3，1)、(2，3)和(3，2)，为Am，n的(i，j)位置上的值，/>和/>分别为Sm和Sn的第i和j个元素，σ为参数，取值为10；
步骤2.6.调用封装好的数据标准化方法sklearn.preprocessing.scale对时间邻接矩阵进行按行归一化处理；
步骤2.7.根据步骤2.2所得分割结果，按公式(3)构建邻接掩码Mask1、Mask2和Mask3：
其中为Maskn矩阵中(i，j)位置上的值，/>和/>分别表示时相n的第i个超像素块和第j个超像素块；
步骤2.8.根据超像素块像素值列表S1、S2和S3和邻接掩码Mask1、Mask2和Mask3，利用公式(4)得到空间邻接矩阵A1、A2和A3：
其中为矩阵An中(i，j)位置上的值；
步骤3：设置网络迭代总次数T，令epoch＝1，定义最佳损失best_loss＝9999；
步骤4.利用超像素级特征提取模块进行特征提取
步骤4.1.去噪
使用四组卷积层Conv2_0、Conv2_1、Conv2_2和Conv2_3对高光谱影像数据块和/>分别进行特征提取，所述四组卷积层均包含1层卷积操作、1层BatchNorm归一化操作和1层激活操作，其中，卷积层含有128个大小为1×1的卷积核，每个卷积核以1个像素为步长进行卷积运算，并选用非线性激活函数LeakyReLU作为激活函数进行运算：
先使用Conv2_0对进行特征提取，得到中间特征Y1∈RHW×128，然后使用Conv2_1对Y1进行特征提取，得到特征I1∈RHW×128；
先使用Conv2_0对进行特征提取，得到中间特征Y2∈RHW×128，然后使用Conv2_1对Y2进行特征提取，得到特征I2∈RHW×128；
先使用Conv2_2对进行特征提取，得到中间特征Y3∈RHW×128，然后使用Conv2_3对Y3进行特征提取，得到特征I3∈RHW×128；
步骤4.2.使用编码器按照公式(5)将特征I1、I2和I3编码为图结构；
其中Gn表示编码后的节点矩阵，表示按列归一化的关联矩阵Qn，/>表示矩阵乘法，编码器最终输出三个节点矩阵/>和/>
步骤4.3.利用时空联合图注意机制模块进行特征提取
步骤4.3.1.利用Concat操作连接编码器输出的节点矩阵G1、G2和G3，得到节点矩阵其中Kt＝K1+K2+K3；
步骤4.3.2.对节点矩阵执行参数为0.6的Dropout操作，得到张量
步骤4.3.3.定义可训练参数W′∈R128×64，利用参数W′对张量Z进行线性变换，得到张量其中/>表示矩阵乘法；
步骤4.3.4.定义可训练参数利用参数a对节点执行自注意机制：按公式(6)(7)获得节点的特征值，
其中为特征值，/>分别为参数a的前半部分和后半部分，/>表示矩阵乘法；
步骤4.3.5.根据节点的特征值，利用公式(8)计算节点间的注意系数：
其中表示两个节点间的注意系数，然后使用非线性激活函数LeakyReLU对e进行激活；
步骤4.3.6.根据时间邻接矩阵和空间邻接矩阵，对步骤4.3.5所得注意系数矩阵e的不同区域进行后处理，注意系数矩阵e被划分为9个区域：
区域1：注意系数矩阵e的第0至K1行的第0至K1列，对应空间邻接矩阵A1；
区域2：注意系数矩阵e的第0至K1行的第K1至K1+K2列，对应时间邻接矩阵A1，2；
区域3：注意系数矩阵e的第0至K1行的第K1+K2至K1+K2+K3列，对应时间邻接矩阵A1 ，3；
区域4：注意系数矩阵e的第K1至K1+K2行的第0至K1列，对应时间邻接矩阵A2，1；
区域5：注意系数矩阵e的第K1至K1+K2行的第K1至K1+K2列，对应空间邻接矩阵A2；
区域6：注意系数矩阵e的第K1至K1+K2行的第K1+K2至K1+K2+K3列，对应时间邻接矩阵A2，3；
区域7：注意系数矩阵e的第K1+K2至K1+K2+K3行的第0至K1列，对应时间邻接矩阵A3 ，1；
区域8：注意系数矩阵e的第K1+K2至K1+K2+K3行的第K1至K1+K2列，对应时间邻接矩阵A3，2；
区域9：注意系数矩阵e的第K1+K2至K1+K2+K3行的第K1+K2至K1+K2+K3列，对应空间邻接矩阵A3；
根据注意系数矩阵e的不同区域与不同邻接矩阵的对应关系，按公式(9)进行后处理：
其中，表示后处理后的新注意系数矩阵α的第i行第j列的元素，ei，j表示某一区域的注意系数矩阵e中第i行第j列的元素，Ai，j为ei，j区域对应的时间邻接矩阵或空间邻接矩阵，min为极小值，取-9e15；
步骤4.3.7.采用softmax激活函数对步骤4.3.6所得新注意系数矩阵α进行激活，再对结果执行参数为0.6的Dropout操作，得到用于进行节点间特征传播的权值矩阵β；
步骤4.3.8.根据步骤4.3.7所得权值矩阵β和步骤4.3.3所得特征W′Z，按公式(10)进行节点间的特征传播：
其中为进行特征传播后的新特征图，β为权值矩阵，/>表示矩阵乘法；
步骤4.3.9.采用elu激活函数对步骤4.3.8所得特征图M进行激活；
步骤4.3.10.再重复步骤4.3.3-4.3.9两次，将得到的3个激活后特征图按通道维进行连接，得到多头注意特征图
步骤4.3.11.将多头注意特征图按行进行拆分；
Mt的第0至K1行为时相1对应特征
Mt的第K1至K1+K2行为时相2对应特征
Mt的第K1+K2至K1+K2+K3行为时相3对应特征
步骤4.3.12.对步骤4.3.11所得特征图E1、E2、E3执行参数为0.6的Dropout操作，再分别采用log_softmax激活函数进行激活，得到输出特征O1、O2和O3；
步骤4.4.使用解码器按照公式(11)将图结构特征O1，O2和O3解码至欧几里得结构，
其中Pn表示解码后的特征图，Qn表示关联矩阵，表示矩阵乘法，On表示解码器的输入图结构特征，解码器最终输出三个超像素级特征P1∈RHW×192、P2∈RHW×192、P3∈RHW×192；
步骤4.5.按通道维对步骤5.4所得三个超像素级特征进行连接，得到超像素级特征Pt∈RHW×576；
步骤5.利用卷积神经网络特征提取模块进行特征提取
使用四组卷积层对步骤4.1所得特征I3∈RHW×128进行特征提取，得到像素级特征B∈RHW×64，四组卷积层分别为Conv2_4，Conv2_5，Conv2_6，Conv2_7；
所述Conv2_4包含1层卷积操作、1层BatchNorm归一化操作和1层激活操作，其中，卷积层含有128个大小为1×1的卷积核，每个卷积核以1个像素为步长进行卷积运算，并选用非线性激活函数LeakyReLU作为激活函数进行运算；
所述Conv2_5包含1层卷积操作和1层激活操作，其中，卷积层含有128个大小为5×5的卷积核，进行Padding＝2的边界填充操作，每个卷积核以1个像素为步长进行卷积运算，且Groups＝128保证每个输出卷积核只与输入的对应的通道进行卷积，并选用非线性激活函数LeakyReLU作为激活函数进行运算；
所述Conv2_6包含1层卷积操作、1层BatchNorm归一化操作和1层激活操作，其中，卷积层含有64个大小为1×1的卷积核，每个卷积核以1个像素为步长进行卷积运算，并选用非线性激活函数LeakyReLU作为激活函数进行运算；
所述Conv2_7包含1层卷积操作和1层激活操作，其中，卷积层含有64个大小为5×5的卷积核，进行Padding＝2的边界填充操作，每个卷积核以1个像素为步长进行卷积运算，且Groups＝64保证每个输出卷积核只与输入的对应的通道进行卷积，并选用非线性激活函数LeakyReLU作为激活函数进行运算；
获得像素级特征B的过程如下：
先使用Conv2_4对特征I3进行特征提取，得到中间特征J1∈RHW×128；
再使用Conv2_5对中间特征J1进行特征提取，得到中间特征J2∈RHW×128；
再使用Conv2_6对中间特征J2进行特征提取，得到中间特征J3∈RHW×64；
最后使用Conv2_7对中间特征J3进行特征提取，得到像素级特征B∈RHW×64；
步骤6.利用变化检测模块完成变化检测任务，输出检测结果
步骤6.1.按通道维连接超像素级特征Pt∈RHW×576和像素级特征B∈RHW×64，得到联合特征U∈RHW×640；
步骤6.2.将联合特征U∈RHW×640送入全连接层Linear，所述全连接层包含1层全连接操作和1层激活操作，其中1层全连接层含有两个输出单元，1层激活操作选用Softmax作为激活函数进行运算，得到检测结果pred∈RHW×2；
步骤7.根据检测结果pred、训练集编码标签图g′1和训练集掩码m1，按公式(12)求交叉熵Lt作为损失函数：
步骤8.利用Adam优化器和训练损失Lt更新网络参数；
步骤9.当epoch％10＝＝0时，额外执行验证过程；根据检测结果pred、验证集编码标签图g′2和验证集掩码m2，按公式(13)求交叉熵Lv作为验证集损失：
判断当前验证集损失与最佳损失的大小关系：若Lv＜best_loss，则保存当前模型为最佳模型，同时更新最佳损失为当前验证集损失，否则不做变动；
步骤10.epoch←epoch+1，若epoch≤T，则返回步骤3继续进行网络训练过程，直至epoch＞T，网络训练完毕；
步骤11.将检测集输入到训练完毕的网络结构中，得到最终变化检测结果pred′∈RHW×2；然后调用封装好的方法torch.argmax返回变化检测结果pred′第1维的最大值索引，得到图像draw∈RHW，将图像draw映射至二维空间RH×W获得最终的检测图，其中检测图中数值1表示变化像素，数值2表示不变像素。
本发明引入了时空联合图注意机制，利用不同时相地表覆盖之间的关联性来传播地表覆盖信息，有效地弥补了传统卷积神经网络提取特征时的不足。同时，由于时空联合图注意机制是以半监督的方式进行特征传播，可以一定程度上减少网络对于标记样本数量的依赖性。此外，本发明引进超像素级-像素级两个分支的网络框架，分别对高光谱影像的超像素级特征和像素级特征进行提取，两个分支以互补的方式协同工作，有效地提高了变化检测精度。实验结果表明，本发明在river、farm和USA三个数据集上的总体精度分别达到了96.91％、98.40％和96.87％，Kappa系数分别为79.57％、96.14％和90.99％。
附图说明
图1为本发明实施例的网络结构图。
图2为时空联合图注意机制结构图。
图3为本发明实施例与CVA方法、PCA-CVA方法、SVM方法、GETNET方法、SSCNN-S方法对river数据集的变化检测结果对比示意图。
图4为本发明实施例与CVA方法、PCA-CVA方法、SVM方法、GETNET方法、SSCNN-S方法对farm数据集的变化检测结果对比示意图。
图5为本发明方法与CVA方法、PCA-CVA方法、SVM方法、GETNET方法、SSCNN-S方法对USA数据集的变化检测结果对比示意图。
具体实施方式
本发明的技术解决方案是：一种基于时空联合图注意机制的高光谱影像变化检测方法，如图1所示依次按照如下步骤进行：
步骤1.分别对T1时相高光谱影像X1∈RH×W×C、T2时相高光谱影像X2∈RH×W×C以及对应的标签图g∈RH×W进行预处理
步骤1.1.将输入的T1时相高光谱影像X1∈RH×W×C与T2时相高光谱影像X2∈RH×W×C按通道维连接，得到T3时相高光谱影像X3∈RH×W×2C，其中H×W为影像的空间尺寸大小，C为其光谱长度；
步骤1.2.将T1、T2两个时相的高光谱影像映射至二维空间RHW×C，将T3时相的高光谱影像映射至二维空间RHW×2C，利用封装好的数据标准化方法sklearn.preprocessing.StandScaler对T1、T2、T3时相高光谱影像的二维空间投影进行标准化处理，再分别映射回原三维空间，得到T1、T2、T3时相高光谱影像数据块和/>
步骤1.3.随机抽取标签图g中有标签的像素点的90％作为网络训练集，再以剩余的10％有标签的像素点作为网络验证集，余下所有无标签像素点即是检测集；
步骤1.4.构造与网络训练集、网络验证集和检测集相对应的三个标签集：分别创建一个与标签图尺寸相同的一个全0元素的二维图，再分别依据网络训练集、网络验证集和检测集修正其元素值，即当像素点为变化像素时，二维图中对应位置的值为1，而当像素点为不变化像素时，二维图中对应位置的值为2，最后将得到的二维图分别作为训练集标签图g1∈RH×W、验证集标签图g2∈RH×W和检测集标签图g3∈RH×W；
步骤1.5.对训练集标签图g1、验证集标签图g2和检测集标签图g3分别进行哑变量编码，即将标签图中的0编码为00，将标签图中的1编码为10，将标签图中的2编码为01，进一步将编码后的标签图分别映射至二维空间RHW×2，从而得到训练集编码标签图g′1、验证集编码标签图g′2和检测集编码标签图g′3；
步骤1.6.根据训练集编码标签图g′1、验证集编码标签图g′2和检测集编码标签图g′3分别制作训练集掩码、验证集掩码和检测集掩码，即如果标签图中某行存在不为0的元素，则将该行所有元素赋值为1，分别得到尺寸为HW×2的训练集掩码m1、验证集掩码m2和检测集掩码m3；
步骤2.超像素分割
步骤2.1.调用封装好的线性判别分析方法LinearDiscriminantAnalysis利用训练集标签图g1分别对T1、T2、T3时相高光谱影像数据块和/>进行降维处理；
步骤2.2.调用封装好的简单线性迭代聚类方法slic对步骤2.1的降维结果进行超像素分割，超像素个数为n＝H×W/c，其中c为预定义的超像素分割尺度，最终得到对应的分割结果Seg1、Seg2和Seg3，对应的超像素块数分别为K1、K2和K3；
步骤2.3.将分割结果Seg1、Seg2和Seg3映射至一维空间，得到Seg′1、Seg′2和Seg′3，按照公式(1)构建对应关联矩阵Q1、Q2和Q3：
其中为关联矩阵Qn位置(i，j)上的值，Seg′n i表示Seg′n的第i个元素；
步骤2.4.根据步骤2.2所得和步骤2.1所得，对属于同一超像素块中的像素点值取平均，作为该超像素块的像素值，从而得到T1、T2、T3时相的超像素块像素值列表S1、S2和S3；
步骤2.5.根据超像素块像素值列表S1、S2和S3，利用公式(2)构建时间邻接矩阵A1 ，2、A2，1、A1，3、A3，1、A2，3和A3，2，
其中(m，n)分别取(1，2)、(2，1)、(1，3)、(3，1)、(2，3)和(3，2)，为Am，n的(i，j)位置上的值，/>和/>分别为Sm和Sn的第i和j个元素，σ为参数，取值为10；
步骤2.6.调用封装好的数据标准化方法sklearn.preprocessing.scale对时间邻接矩阵进行按行归一化处理；
步骤2.7.根据步骤2.2所得分割结果，按公式(3)构建邻接掩码Mask1、Mask2和Mask3：
其中为Maskn矩阵中(i，j)位置上的值，/>和/>分别表示时相n的第i个超像素块和第j个超像素块；
步骤2.8.根据超像素块像素值列表S1、S2和S3和邻接掩码Mask1、Mask2和Mask3，利用公式(4)得到空间邻接矩阵A1、A2和A3：
其中为矩阵An中(i，j)位置上的值；
步骤3：设置网络迭代总次数T，令epoch＝1，定义最佳损失best_loss＝9999；
步骤4.利用超像素级特征提取模块进行特征提取
步骤4.1.去噪
使用四组卷积层Conv2_0、Conv2_1、Conv2_2和Conv2_3对高光谱影像数据块和/>分别进行特征提取，所述四组卷积层均包含1层卷积操作、1层BatchNorm归一化操作和1层激活操作，其中，卷积层含有128个大小为1×1的卷积核，每个卷积核以1个像素为步长进行卷积运算，并选用非线性激活函数LeakyReLU作为激活函数进行运算：
先使用Conv2_0对进行特征提取，得到中间特征Y1∈RHW×128，然后使用Conv2_1对Y1进行特征提取，得到特征I1∈RHW×128；
先使用Conv2_0对进行特征提取，得到中间特征Y2∈RHW×128，然后使用Conv2_1对Y2进行特征提取，得到特征I2∈RHW×128；
先使用Conv2_2对进行特征提取，得到中间特征Y3∈RHW×128，然后使用Conv2_3对Y3进行特征提取，得到特征I3∈RHW×128；
步骤4.2.使用编码器按照公式(5)将特征I1、I2和I3编码为图结构；
其中Gn表示编码后的节点矩阵，表示按列归一化的关联矩阵Qn，/>表示矩阵乘法，编码器最终输出三个节点矩阵/>和/>
步骤4.3.利用时空联合图注意机制模块进行特征提取，如图2所示：
步骤4.3.1.利用Concat操作连接编码器输出的节点矩阵G1、G2和G3，得到节点矩阵其中Kt＝K1+K2+K3；
步骤4.3.2.对节点矩阵执行参数为0.6的Dropout操作，得到张量
步骤4.3.3.定义可训练参数W′∈R128×64，利用参数W′对张量Z进行线性变换，得到张量其中/>表示矩阵乘法；
步骤4.3.4.定义可训练参数利用参数a对节点执行自注意机制：按公式(6)(7)获得节点的特征值，
其中为特征值，/>分别为参数a的前半部分和后半部分，/>表示矩阵乘法；
步骤4.3.5.根据节点的特征值，利用公式(8)计算节点间的注意系数：
其中表示两个节点间的注意系数，然后使用非线性激活函数LeakyReLU对e进行激活；
步骤4.3.6.根据时间邻接矩阵和空间邻接矩阵，对步骤4.3.5所得注意系数矩阵e的不同区域进行后处理，注意系数矩阵e被划分为9个区域：
区域1：注意系数矩阵e的第0至K1行的第0至K1列，对应空间邻接矩阵A1；
区域2：注意系数矩阵e的第0至K1行的第K1至K1+K2列，对应时间邻接矩阵A1，2；
区域3：注意系数矩阵e的第0至K1行的第K1+K2至K1+K2+K3列，对应时间邻接矩阵A1 ，3；
区域4：注意系数矩阵e的第K1至K1+K2行的第0至K1列，对应时间邻接矩阵A2，1；
区域5：注意系数矩阵e的第K1至K1+K2行的第K1至K1+K2列，对应空间邻接矩阵A2；
区域6：注意系数矩阵e的第K1至K1+K2行的第K1+K2至K1+K2+K3列，对应时间邻接矩阵A2，3；
区域7：注意系数矩阵e的第K1+K2至K1+K2+K3行的第0至K1列，对应时间邻接矩阵A3 ，1；
区域8：注意系数矩阵e的第K1+K2至K1+K2+K3行的第K1至K1+K2列，对应时间邻接矩阵A3，2；
区域9：注意系数矩阵e的第K1+K2至K1+K2+K3行的第K1+K2至K1+K2+K3列，对应空间邻接矩阵A3；
根据注意系数矩阵e的不同区域与不同邻接矩阵的对应关系，按公式(9)进行后处理：
其中，表示后处理后的新注意系数矩阵α的第i行第j列的元素，ei，j表示某一区域的注意系数矩阵e中第i行第j列的元素，Ai，j为ei，j区域对应的时间邻接矩阵或空间邻接矩阵，min为极小值，取-9e15；
步骤4.3.7.采用softmax激活函数对步骤4.3.6所得新注意系数矩阵α进行激活，再对结果执行参数为0.6的Dropout操作，得到用于进行节点间特征传播的权值矩阵β；
步骤4.3.8.根据步骤4.3.7所得权值矩阵β和步骤4.3.3所得特征W′Z，按公式(10)进行节点间的特征传播：
/>
其中为进行特征传播后的新特征图，β为权值矩阵，/>表示矩阵乘法；
步骤4.3.9.采用elu激活函数对步骤4.3.8所得特征图M进行激活；
步骤4.3.10.再重复步骤4.3.3-4.3.9两次，将得到的3个激活后特征图按通道维进行连接，得到多头注意特征图
步骤4.3.11.将多头注意特征图按行进行拆分；
Mt的第0至K1行为时相1对应特征
Mt的第K1至K1+K2行为时相2对应特征
Mt的第K1+K2至K1+K2+K3行为时相3对应特征
步骤4.3.12.对步骤4.3.11所得特征图E1、E2、E3执行参数为0.6的Dropout操作，再分别采用log_softmax激活函数进行激活，得到输出特征O1、O2和O3；
步骤4.4.使用解码器按照公式(11)将图结构特征O1，O2和O3解码至欧几里得结构，
其中Pn表示解码后的特征图，Qn表示关联矩阵，表示矩阵乘法，On表示解码器的输入图结构特征，解码器最终输出三个超像素级特征P1∈RHW×192、P2∈RHW×192、P3∈RHW×192；
步骤4.5.按通道维对步骤5.4所得三个超像素级特征进行连接，得到超像素级特征Pt∈RHW×576；
步骤5.利用卷积神经网络(CNN)特征提取模块进行特征提取
使用四组卷积层对步骤4.1所得特征I3∈RHW×128进行特征提取，得到像素级特征B∈RHW×64，四组卷积层分别为Conv2_4，Conv2_5，Conv2_6，Conv2_7；
所述Conv2_4包含1层卷积操作、1层BatchNorm归一化操作和1层激活操作，其中，卷积层含有128个大小为1×1的卷积核，每个卷积核以1个像素为步长进行卷积运算，并选用非线性激活函数LeakyReLU作为激活函数进行运算；
所述Conv2_5包含1层卷积操作和1层激活操作，其中，卷积层含有128个大小为5×5的卷积核，进行Padding＝2的边界填充操作，每个卷积核以1个像素为步长进行卷积运算，且Groups＝128保证每个输出卷积核只与输入的对应的通道进行卷积，并选用非线性激活函数LeakyReLU作为激活函数进行运算；
所述Conv2_6包含1层卷积操作、1层BatchNorm归一化操作和1层激活操作，其中，卷积层含有64个大小为1×1的卷积核，每个卷积核以1个像素为步长进行卷积运算，并选用非线性激活函数LeakyReLU作为激活函数进行运算；
所述Conv2_7包含1层卷积操作和1层激活操作，其中，卷积层含有64个大小为5×5的卷积核，进行Padding＝2的边界填充操作，每个卷积核以1个像素为步长进行卷积运算，且Groups＝64保证每个输出卷积核只与输入的对应的通道进行卷积，并选用非线性激活函数LeakyReLU作为激活函数进行运算；
获得像素级特征B的过程如下：
先使用Conv2_4对特征I3进行特征提取，得到中间特征J1∈RHW×128；
再使用Conv2_5对中间特征J1进行特征提取，得到中间特征J2∈RHW×128；
再使用Conv2_6对中间特征J2进行特征提取，得到中间特征J3∈RHW×64；
最后使用Conv2_7对中间特征J3进行特征提取，得到像素级特征B∈RHW×64；
步骤6.利用变化检测模块完成变化检测任务，输出检测结果
步骤6.1.按通道维连接超像素级特征Pt∈RHW×576和像素级特征B∈RHW×64，得到联合特征U∈RHW×640；
步骤6.2.将联合特征U∈RHW×640送入全连接层Linear，所述全连接层包含1层全连接操作和1层激活操作，其中1层全连接层含有两个输出单元，1层激活操作选用Softmax作为激活函数进行运算，得到检测结果pred∈RHW×2；
步骤7.根据检测结果pred、训练集编码标签图g′1和训练集掩码m1，按公式(12)求交叉熵Lt作为损失函数：
步骤8.利用Adam优化器和训练损失Lt更新网络参数；
步骤9.当epoch％10＝＝0时，额外执行验证过程；根据检测结果pred、验证集编码标签图g′2和验证集掩码m2，按公式(13)求交叉熵Lv作为验证集损失：
判断当前验证集损失与最佳损失的大小关系：若Lv＜best_loss，则保存当前模型为最佳模型，同时更新最佳损失为当前验证集损失，否则不做变动；
步骤10.epoch←epoch+1，若epoch≤T，则返回步骤3继续进行网络训练过程，直至epoch＞T，网络训练完毕；
步骤11.将检测集输入到训练完毕的网络结构中，得到最终变化检测结果pred′∈RHW×2；然后调用封装好的方法torch.argmax返回变化检测结果pred′第1维的最大值索引，得到图像draw∈RHW，将图像draw映射至二维空间RH×W获得最终的检测图，其中检测图中数值1表示变化像素，数值2表示不变像素。
为验证本发明的有效性，以公开的river数据集、farm数据集和USA数据集为例进行实验，采用总体准确率(OA)和Kappa系数作为客观指标对变化检测结果进行评价，并将本发明的评价结果与CVA方法、PCA-CVA方法、SVM方法、GETNET方法和SSCNN-S方法进行比较，其中本发明所采用的的超像素分割尺度分别为80、50、50。结果如图3～图5及表1～表3所示。
从表1可以看出，对于river数据集，本发明取得的OA结果分别比CVA方法、PCA-CVA方法、SVM方法、GETNET方法和SSCNN-S方法提升了4.24％、1.75％、2.67％、1.92％、0.51％，平均提升了2.21％；本发明的Kappa系数结果分别比CVA方法、PCA-CVA方法、SVM方法、GETNET方法和SSCNN-S方法提升了13.82％、4.80％、8.91％、4.85％、5.26％，平均提升了7.52％。
从表2可以看出，对于farm数据集，本发明取得的OA结果分别比CVA方法、PCA-CVA方法、SVM方法、GETNET方法和SSCNN-S方法提升了3.19％、1.74％、4.66％、0.89％、0.68％，平均提升了2.23％；Kappa系数结果分别比CVA方法、PCA-CVA方法、SVM方法、GETNET方法和SSCNN-S方法提升了7.64％、4.17％、11.36％、2.25％、1.79％，平均提升了5.44％。
从表3可以看出，对于USA数据集，本发明取得的OA结果分别比CVA方法、PCA-CVA方法、SVM方法、GETNET方法和SSCNN-S方法提升了4.87％、5.34％、8.77％、2.57％、0.36％，平均提升了4.38％；Kappa系数结果分别比CVA方法、PCA-CVA方法、SVM方法、GETNET方法和SSCNN-S方法提升了16.89％、18.74％、22.51％、8.50％、1.81％，平均提升了13.69％。
图3为不同方法对river数据集的变化检测结果图，其中，(a)为CVA方法的变化检测结果，其总体准确率为92.67％；(b)为PCA-CVA方法的变化检测结果，其总体准确率为95.16％；(c)为SVM方法的变化检测结果，其总体准确率为94.24％；；(d)为GETNET方法的变化检测结果，其总体准确率为94.99％；(e)为SSCNN-S方法的变化检测结果，其总体准确率为96.40％；(f)为本发明的变化检测结果，其总体准确率为96.91％；(g)为Ground-truth变化检测图。
图4为不同方法对farm数据集的变化检测结果图，其中，(a)为CVA方法的变化检测结果，其总体准确率为95.23％；(b)为PCA-CVA方法的变化检测结果，其总体准确率为96.68％；(c)为SVM方法的变化检测结果，其总体准确率为93.76％；；(d)为GETNET方法的变化检测结果，其总体准确率为97.53％；(e)为SSCNN-S方法的变化检测结果，其总体准确率为97.74％；(f)为本发明的变化检测结果，其总体准确率为98.40％；(g)为Ground-truth变化检测图。
图5为不同方法对USA数据集的变化检测结果图，其中，(a)为CVA方法的变化检测结果，其总体准确率为92.00％；(b)为PCA-CVA方法的变化检测结果，其总体准确率为91.53％；(c)为SVM方法的变化检测结果，其总体准确率为88.10％；；(d)为GETNET方法的变化检测结果，其总体准确率为94.30％；(e)为SSCNN-S方法的变化检测结果，其总体准确率为96.51％；(f)为本发明的变化检测结果，其总体准确率为98.40％；(g)为Ground-truth变化检测图。
从图3、图4和图5中可以看出，本发明在边缘处可以保持很好的连续性，存在更少的伪变化，能够更有效地识别地表覆盖变化，特别是能够相对准确地判断图4中部右侧的变化区域。而且，由于超像素分支与像素级分支实现了优势互补，本发明能够获得比CVA方法、PCA-CVA方法、SVM方法、GETNET方法和SSCNN-S方法这五种方法更加准确的变化检测结果。
综合表1、表2、表3、图3、图4、图5的对比结果可知，通过引入时空联合图注意机制以及超像素分支与像素级分支的互补工作方式，本发明有效地提升了高光谱变化检测的精度。
表1 River数据集变化检测精度比较(％)
表2 Farm数据集变化检测精度比较(％)
表3 USA数据集变化检测精度比较(％)
/>

Claims (1)

1.一种基于时空联合图注意机制的高光谱影像变化检测方法，依次按照如下步骤进行：
步骤1.分别对T1时相高光谱影像X1∈RH×W×C、T2时相高光谱影像X2∈RH×W×C以及对应的标签图g∈RH×W进行预处理
步骤1.1.将输入的T1时相高光谱影像X1∈RH×W×C与T2时相高光谱影像X2∈RH×W×C按通道维连接，得到T3时相高光谱影像X3∈RH×W×2C，其中H×W为影像的空间尺寸大小，C为其光谱长度；
步骤1.2.将T1、T2两个时相的高光谱影像映射至二维空间RHW×C，将T3时相的高光谱影像映射至二维空间RHW×2C，利用封装好的数据标准化方法sklearn.preprocessing.StandScaler对T1、T2、T3时相高光谱影像的二维空间投影进行标准化处理，再分别映射回原三维空间，得到T1、T2、T3时相高光谱影像数据块和/>
步骤1.3.随机抽取标签图g中有标签的像素点的90％作为网络训练集，再以剩余的10％有标签的像素点作为网络验证集，余下所有无标签像素点即是检测集；
步骤1.4.构造与网络训练集、网络验证集和检测集相对应的三个标签集：分别创建一个与标签图尺寸相同的一个全0元素的二维图，再分别依据网络训练集、网络验证集和检测集修正其元素值，即当像素点为变化像素时，二维图中对应位置的值为1，而当像素点为不变化像素时，二维图中对应位置的值为2，最后将得到的二维图分别作为训练集标签图g1∈RH×W、验证集标签图g2∈RH×W和检测集标签图g3∈RH×W；
步骤1.5.对训练集标签图g1、验证集标签图g2和检测集标签图g3分别进行哑变量编码，即将标签图中的0编码为00，将标签图中的1编码为10，将标签图中的2编码为01，进一步将编码后的标签图分别映射至二维空间RHW×2，从而得到训练集编码标签图g′1、验证集编码标签图g′2和检测集编码标签图g′3；
步骤1.6.根据训练集编码标签图g′1、验证集编码标签图g′2和检测集编码标签图g′3分别制作训练集掩码、验证集掩码和检测集掩码，即如果标签图中某行存在不为0的元素，则将该行所有元素赋值为1，分别得到尺寸为HW×2的训练集掩码m1、验证集掩码m2和检测集掩码m3；
步骤2.超像素分割
步骤2.1.调用封装好的线性判别分析方法LinearDiscriminantAnalysis利用训练集标签图g1分别对T1、T2、T3时相高光谱影像数据块和/>进行降维处理；
步骤2.2.调用封装好的简单线性迭代聚类方法slic对步骤2.1的降维结果进行超像素分割，超像素个数为n＝H×W/c，其中c为预定义的超像素分割尺度，最终得到对应的分割结果Seg1、Seg2和Seg3，对应的超像素块数分别为K1、K2和K3；
步骤2.3.将分割结果Seg1、Seg2和Seg3映射至一维空间，得到Seg′1、Seg′2和Seg′3，按照公式(1)构建对应关联矩阵Q1、Q2和Q3：
其中为关联矩阵Qn位置(i，j)上的值，Seg′n i表示Seg′n的第i个元素；
步骤2.4.根据步骤2.2所得和步骤2.1所得，对属于同一超像素块中的像素点值取平均，作为该超像素块的像素值，从而得到T1、T2、T3时相的超像素块像素值列表S1、S2和S3；
步骤2.5.根据超像素块像素值列表S1、S2和S3，利用公式(2)构建时间邻接矩阵A1，2、A2 ，1、A1，3、A3，1、A2，3和A3，2，
其中(m，n)分别取(1，2)、(2，1)、(1，3)、(3，1)、(2，3)和(3，2)，为Am，n的(i，j)位置上的值，/>和/>分别为Sm和Sn的第i和j个元素，σ为参数，取值为10；
步骤2.6.调用封装好的数据标准化方法sklearn.preprocessing.scale对时间邻接矩阵进行按行归一化处理；
步骤2.7.根据步骤2.2所得分割结果，按公式(3)构建邻接掩码Mask1、Mask2和Mask3：
其中为Maskn矩阵中(i，j)位置上的值，/>和/>分别表示时相n的第i个超像素块和第j个超像素块；
步骤2.8.根据超像素块像素值列表S1、S2和S3和邻接掩码Mask1、Mask2和Mask3，利用公式(4)得到空间邻接矩阵A1、A2和A3：
其中为矩阵An中(i，j)位置上的值；
步骤3：设置网络迭代总次数T，令epoch＝1，定义最佳损失best_loss＝9999；
步骤4.利用超像素级特征提取模块进行特征提取
步骤4.1.去噪
使用四组卷积层Conv2_0、Conv2_1、Conv2_2和Conv2_3对高光谱影像数据块和分别进行特征提取，所述四组卷积层均包含1层卷积操作、1层BatchNorm归一化操作和1层激活操作，其中，卷积层含有128个大小为1×1的卷积核，每个卷积核以1个像素为步长进行卷积运算，并选用非线性激活函数LeakyReLU作为激活函数进行运算：
先使用Conv2_0对进行特征提取，得到中间特征Y1∈RHW×128，然后使用Conv2_1对Y1进行特征提取，得到特征I1∈RHW×128；
先使用Conv2_0对进行特征提取，得到中间特征Y2∈RHW×128，然后使用Conv2_1对Y2进行特征提取，得到特征I2∈RHW×128；
先使用Conv2_2对进行特征提取，得到中间特征Y3∈RHW×128，然后使用Conv2_3对Y3进行特征提取，得到特征I3∈RHW×128；
步骤4.2.使用编码器按照公式(5)将特征I1、I2和I3编码为图结构；
其中Gn表示编码后的节点矩阵，表示按列归一化的关联矩阵Qn，/>表示矩阵乘法，编码器最终输出三个节点矩阵/>和/>
步骤4.3.利用时空联合图注意机制模块进行特征提取
步骤4.3.1.利用Concat操作连接编码器输出的节点矩阵G1、G2和G3，得到节点矩阵其中Kt＝K1+K2+K3；
步骤4.3.2.对节点矩阵执行参数为0.6的Dropout操作，得到张量
步骤4.3.3.定义可训练参数W′∈R128×64，利用参数W′对张量Z进行线性变换，得到张量其中/>表示矩阵乘法；
步骤4.3.4.定义可训练参数利用参数a对节点执行自注意机制：按公式(6)(7)获得节点的特征值，
其中为特征值，/>分别为参数a的前半部分和后半部分，/>表示矩阵乘法；
步骤4.3.5.根据节点的特征值，利用公式(8)计算节点间的注意系数：
其中表示两个节点间的注意系数，然后使用非线性激活函数LeakyReLU对e进行激活；
步骤4.3.6.根据时间邻接矩阵和空间邻接矩阵，对步骤4.3.5所得注意系数矩阵e的不同区域进行后处理，注意系数矩阵e被划分为9个区域：
区域1：注意系数矩阵e的第0至K1行的第0至K1列，对应空间邻接矩阵A1；
区域2：注意系数矩阵e的第0至K1行的第K1至K1+K2列，对应时间邻接矩阵A1，2；
区域3：注意系数矩阵e的第0至K1行的第K1+K2至K1+K2+K3列，对应时间邻接矩阵A1，3；
区域4：注意系数矩阵e的第K1至K1+K2行的第0至K1列，对应时间邻接矩阵A2，1；
区域5：注意系数矩阵e的第K1至K1+K2行的第K1至K1+K2列，对应空间邻接矩阵A2；
区域6：注意系数矩阵e的第K1至K1+K2行的第K1+K2至K1+K2+K3列，对应时间邻接矩阵A2，3；
区域7：注意系数矩阵e的第K1+K2至K1+K2+K3行的第0至K1列，对应时间邻接矩阵A3，1；
区域8：注意系数矩阵e的第K1+K2至K1+K2+K3行的第K1至K1+K2列，对应时间邻接矩阵A3，2；
区域9：注意系数矩阵e的第K1+K2至K1+K2+K3行的第K1+K2至K1+K2+K3列，对应空间邻接矩阵A3；
根据注意系数矩阵e的不同区域与不同邻接矩阵的对应关系，按公式(9)进行后处理：
其中，表示后处理后的新注意系数矩阵α的第i行第j列的元素，ei，j表示某一区域的注意系数矩阵e中第i行第j列的元素，Ai，j为ei，j区域对应的时间邻接矩阵或空间邻接矩阵，min为极小值，取-9e15；
步骤4.3.7.采用softmax激活函数对步骤4.3.6所得新注意系数矩阵α进行激活，再对结果执行参数为0.6的Dropout操作，得到用于进行节点间特征传播的权值矩阵β；
步骤4.3.8.根据步骤4.3.7所得权值矩阵β和步骤4.3.3所得特征W′Z，按公式(10)进行节点间的特征传播：
其中为进行特征传播后的新特征图，β为权值矩阵，/>表示矩阵乘法；
步骤4.3.9.采用elu激活函数对步骤4.3.8所得特征图M进行激活；
步骤4.3.10.再重复步骤4.3.3-4.3.9两次，将得到的3个激活后特征图按通道维进行连接，得到多头注意特征图
步骤4.3.11.将多头注意特征图按行进行拆分；
Mt的第0至K1行为时相1对应特征
Mt的第K1至K1+K2行为时相2对应特征
Mt的第K1+K2至K1+K2+K3行为时相3对应特征
步骤4.3.12.对步骤4.3.11所得特征图E1、E2、E3执行参数为0.6的Dropout操作，再分别采用log_softmax激活函数进行激活，得到输出特征O1、O2和O3；
步骤4.4.使用解码器按照公式(11)将图结构特征O1，O2和O3解码至欧几里得结构，
其中Pn表示解码后的特征图，Qn表示关联矩阵，表示矩阵乘法，On表示解码器的输入图结构特征，解码器最终输出三个超像素级特征P1∈RHW×192、P2∈RHW×192、P3∈RHW×192；
步骤4.5.按通道维对步骤5.4所得三个超像素级特征进行连接，得到超像素级特征Pt∈RHW×576；
步骤5.利用卷积神经网络特征提取模块进行特征提取
使用四组卷积层对步骤4.1所得特征I3∈RHW×128进行特征提取，得到像素级特征B∈RHW ×64，四组卷积层分别为Conv2_4，Conv2_5，Conv2_6，Conv2_7；
所述Conv2_4包含1层卷积操作、1层BatchNorm归一化操作和1层激活操作，其中，卷积层含有128个大小为1×1的卷积核，每个卷积核以1个像素为步长进行卷积运算，并选用非线性激活函数LeakyReLU作为激活函数进行运算；
所述Conv2_5包含1层卷积操作和1层激活操作，其中，卷积层含有128个大小为5×5的卷积核，进行Padding＝2的边界填充操作，每个卷积核以1个像素为步长进行卷积运算，且Groups＝128保证每个输出卷积核只与输入的对应的通道进行卷积，并选用非线性激活函数LeakyReLU作为激活函数进行运算；
所述Conv2_6包含1层卷积操作、1层BatchNorm归一化操作和1层激活操作，其中，卷积层含有64个大小为1×1的卷积核，每个卷积核以1个像素为步长进行卷积运算，并选用非线性激活函数LeakyReLU作为激活函数进行运算；
所述Conv2_7包含1层卷积操作和1层激活操作，其中，卷积层含有64个大小为5×5的卷积核，进行Padding＝2的边界填充操作，每个卷积核以1个像素为步长进行卷积运算，且Groups＝64保证每个输出卷积核只与输入的对应的通道进行卷积，并选用非线性激活函数LeakyReLU作为激活函数进行运算；
获得像素级特征B的过程如下：
先使用Conv2_4对特征I3进行特征提取，得到中间特征J1∈RHW×128；
再使用Conv2_5对中间特征J1进行特征提取，得到中间特征J2∈RHW×128；
再使用Conv2_6对中间特征J2进行特征提取，得到中间特征J3∈RHW×64；
最后使用Conv2_7对中间特征J3进行特征提取，得到像素级特征B∈RHW×64；
步骤6.利用变化检测模块完成变化检测任务，输出检测结果
步骤6.1.按通道维连接超像素级特征Pt∈RHW×576和像素级特征B∈RHW×64，得到联合特征U∈RHW×640；
步骤6.2.将联合特征U∈RHW×640送入全连接层Linear，所述全连接层包含1层全连接操作和1层激活操作，其中1层全连接层含有两个输出单元，1层激活操作选用Softmax作为激活函数进行运算，得到检测结果pred∈RHW×2；
步骤7.根据检测结果pred、训练集编码标签图g′1和训练集掩码m1，按公式(12)求交叉熵Lt作为损失函数：
步骤8.利用Adam优化器和训练损失Lt更新网络参数；
步骤9.当epoch％10＝＝0时，额外执行验证过程；根据检测结果pred、验证集编码标签图g′2和验证集掩码m2，按公式(13)求交叉熵Lv作为验证集损失：
判断当前验证集损失与最佳损失的大小关系：若Lv＜best_loss，则保存当前模型为最佳模型，同时更新最佳损失为当前验证集损失，否则不做变动；
步骤10.epoch←epoch+1，若epoch≤T，则返回步骤3继续进行网络训练过程，直至epoch＞T，网络训练完毕；
步骤11.将检测集输入到训练完毕的网络结构中，得到变化检测结果pred′∈RHW×2；然后调用封装好的方法torch.argmax返回变化检测结果pred′第1维的最大值索引，得到图像draw∈RHW，将图像draw映射至二维空间RH×W获得最终的检测图，其中检测图中数值1表示变化像素，数值2表示不变像素。
CN202210222236.4A 2022-03-07 2022-03-07 基于时空联合图注意机制的高光谱影像变化检测方法 Active CN114663777B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210222236.4A CN114663777B (zh) 2022-03-07 2022-03-07 基于时空联合图注意机制的高光谱影像变化检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210222236.4A CN114663777B (zh) 2022-03-07 2022-03-07 基于时空联合图注意机制的高光谱影像变化检测方法

Publications (2)

Publication Number Publication Date
CN114663777A CN114663777A (zh) 2022-06-24
CN114663777B true CN114663777B (zh) 2024-04-05

Family

ID=82029498

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210222236.4A Active CN114663777B (zh) 2022-03-07 2022-03-07 基于时空联合图注意机制的高光谱影像变化检测方法

Country Status (1)

Country Link
CN (1) CN114663777B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115374376B (zh) * 2022-10-24 2023-01-31 水利部交通运输部国家能源局南京水利科学研究院 小水电生态影响监测评估方法与系统
CN117830752B (zh) * 2024-03-06 2024-05-07 昆明理工大学 一种用于多光谱点云分类的自适应空-谱掩码图卷积方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017215284A1 (zh) * 2016-06-14 2017-12-21 山东大学 基于卷积神经网络的胃肠道肿瘤显微高光谱图像处理方法
CN113255727A (zh) * 2021-04-25 2021-08-13 辽宁师范大学 可分层密集融合网络的多传感器遥感影像融合分类方法
CN113723255A (zh) * 2021-08-24 2021-11-30 中国地质大学（武汉） 一种高光谱影像分类方法和存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017215284A1 (zh) * 2016-06-14 2017-12-21 山东大学 基于卷积神经网络的胃肠道肿瘤显微高光谱图像处理方法
CN113255727A (zh) * 2021-04-25 2021-08-13 辽宁师范大学 可分层密集融合网络的多传感器遥感影像融合分类方法
CN113723255A (zh) * 2021-08-24 2021-11-30 中国地质大学（武汉） 一种高光谱影像分类方法和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
三维卷积神经网络模型联合条件随机场优化的高光谱遥感影像分类;李竺强;朱瑞飞;高放;孟祥玉;安源;钟兴;;光学学报;20180403(第08期);全文 *

Also Published As

Publication number Publication date
CN114663777A (zh) 2022-06-24

Similar Documents

Publication Publication Date Title
Wei et al. 3-D quasi-recurrent neural network for hyperspectral image denoising
CN114663777B (zh) 基于时空联合图注意机制的高光谱影像变化检测方法
Yue et al. Deep recursive super resolution network with Laplacian Pyramid for better agricultural pest surveillance and detection
Xie et al. Deep convolutional networks with residual learning for accurate spectral-spatial denoising
Chen et al. Convolutional neural network based dem super resolution
CN113780149A (zh) 一种基于注意力机制的遥感图像建筑物目标高效提取方法
Chen et al. MICU: Image super-resolution via multi-level information compensation and U-net
Zhao et al. High-resolution remote sensing bitemporal image change detection based on feature interaction and multitask learning
CN114693577B (zh) 一种基于Transformer的红外偏振图像融合方法
CN104820967B (zh) 在轨计算成像方法
Wang et al. Y-Net: A multiclass change detection network for bi-temporal remote sensing images
Zhu et al. Semantic image segmentation with shared decomposition convolution and boundary reinforcement structure
CN116311186A (zh) 一种基于改进Transformer模型的植物叶片病变识别方法
Yang et al. MSE-Net: generative image inpainting with multi-scale encoder
CN116402851A (zh) 一种复杂背景下的红外弱小目标跟踪方法
Ye et al. An improved efficientNetV2 model based on visual attention mechanism: application to identification of cassava disease
CN104008383B (zh) 基于流形学习线性化的高光谱图像特征提取方法
Wang et al. An unsupervised heterogeneous change detection method based on image translation network and post-processing algorithm
Xie et al. FCT: fusing CNN and transformer for scene classification
Zhao et al. Thermal UAV image super-resolution guided by multiple visible cues
Li et al. A deep learning framework for infrared and visible image fusion without strict registration
CN114170154A (zh) 基于Transformer的遥感VHR图像变化检测方法
CN117422878A (zh) 一种基于双分支动态注意力的遥感图像语义分割方法
CN117710744A (zh) 基于波段选择特征融合多注意力网络的高光谱图像分类方法
CN109460788B (zh) 基于低秩-稀疏信息组合网络的高光谱图像分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant