CN114663779A - 基于时-空-谱注意力机制的多时相高光谱影像变化检测方法 - Google Patents

基于时-空-谱注意力机制的多时相高光谱影像变化检测方法 Download PDF

Info

Publication number
CN114663779A
CN114663779A CN202210297922.8A CN202210297922A CN114663779A CN 114663779 A CN114663779 A CN 114663779A CN 202210297922 A CN202210297922 A CN 202210297922A CN 114663779 A CN114663779 A CN 114663779A
Authority
CN
China
Prior art keywords
conv1
layer
convolution
pixel
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210297922.8A
Other languages
English (en)
Inventor
王相海
程伟
李艺
宋若曦
宋传鸣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Liaoning Normal University
Original Assignee
Liaoning Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Liaoning Normal University filed Critical Liaoning Normal University
Priority to CN202210297922.8A priority Critical patent/CN114663779A/zh
Publication of CN114663779A publication Critical patent/CN114663779A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于时‑空‑谱注意力机制的多时相高光谱影像变化检测方法，首先，引进了一种空间域和光谱域双分支神经网络框架，通过双分支分别提取高光谱差分影像的空间域特征和光谱域特征，从而利用高光谱影像多维度之间的相关性以提高变化检测的准确性；其次，在空间域分支上引入多尺度金字塔空间注意力机制，通过空洞卷积来扩大卷积的感受野，以获取多尺度上下文信息，并且通过空间注意力机制对感兴趣区域分配更多权重，从而抑制不必要的特征。在光谱域上引入时‑谱注意力模块，从而刻画多时相高光谱差分影像不同位置地物光谱之间的关联。实验结果表明，本发明有效提高了变化检测的精度。

Description

基于时-空-谱注意力机制的多时相高光谱影像变化检测方法
技术领域
本发明涉及遥感影像处理领域，尤其是一种能有效利用时间维度、空间维度和光谱维度之间相关性的基于时-空-谱注意力机制的多时相高光谱影像变化检测方法。
背景技术
遥感图像变化检测技术是指利用不同时间获取的覆盖同一地表区域的遥感图像来确定地表变化的过程，目前已应用于城市增长跟踪、土地利用监测和灾害评估等领域。高光谱成像技术也被称作成像光谱技术，具有光谱学和光学成像的双重优势，其经过光谱反射率重建影像，能获取地物近似连续的光谱反射率曲线，因而通过结合高光谱影像的空间上下文信息和光谱信息进行变化检测可有效提升变化检测的精度。
Johnson等人于1998年提出的CVA(Change Vector Analysis,CVA)方法，作为一种典型的无监督方法通过光谱矢量做差形成变化矢量，然后通过判断变化矢量的幅值与给定阈值的大小进而确定两个时相对应的区域是否发生变化。然而，CVA方法对于多波段遥感影像效果较差，而且很难消除结果中由于噪声等因素造成的伪变化；Deng等人于2008年提出的主成分分析法(PCA)通过降维的方法选择有效特征，然后对低维度子空间数据进行变化检测，该方法可以有效压缩冗余数据，但通常会忽略光谱间的相关性信息，很难获得完整的变化信息矩阵；Yuan等人于2015年提出了一种新的用于噪声环境下变化检测的距离度量学习框架，利用高光谱影像丰富的光谱信息检测变化区域，但是缺少对高光谱影像空间信息的利用，其变化检测精度有待进一步提升。
近年来，深度学习的不断发展为遥感影像处理带来了新的思路，人们将其应用于高光谱影像的变化检测中使检测精度得到一定程度的提升，比如Kevin等人于2019年利用预先训练的用于语义分割的CNN模型以无监督的方式对变化区域进行检测，然而该方法的检测精度在很大程度上依赖于预训练模型执行语义分割的能力；Wang等人于2019年提出了一种通用的端到端二维CNN高光谱图像变化检测框架(GETNET)，该方法将解混获得的丰度信息与二维CNN相结合以提高变化检测精度，然而该方法需要通过其它变化检测方法获得伪训练集来训练整个网络，伪训练集的固有噪声通常会导致算法性能的降低；Li等人于2021年将结构相似性(SSIM)和变化向量分析(CVA)两种互补的模型驱动方法相结合生成可信标签，然后利用CNN进行训练；Zhan等人于2021年提出了一种基于孪生结构光谱空间CNN的高光谱影像变化检测框架，首先将多时相高光谱影像输入孪生CNN提取浅层光谱空间向量，然后计算两个向量的欧氏距离来确定张量对的相似性；Zhao等人于2022年提出了一种新的基于简化三维卷积自动编码器(S3DCAECD)的高光谱图像变化检测框架，可以有效减少高光谱图像的光谱冗余。
总体来看，现有方法一般只关注高光谱影像的单方面特性，而缺乏对高光谱影像多维度特征的挖掘和联合应用，在一定程度上影响了检测精度的提升；此外，现有方法大多对地物不同区域分配均衡权重，而变化点作为感兴趣区域其特征的特殊性与重要性未得到充分重视，缺少自适应的对感兴趣区域或特征分配更多权重，这也在一定程度上制约了检测精度的提升。
发明内容
本发明为了解决现有技术所存在的上述技术问题，提供了一种能有效利用时间维度、空间维度和光谱维度间相关性的基于时-空-谱注意力机制的多时相高光谱影像变化检测方法。
本发明的技术解决方案是：一种基于时-空-谱注意力机制的多时相高光谱影像变化检测方法，按如下步骤进行：
步骤1.建立并初始化用于多时相高光谱影像变化检测的卷积神经网络Nmhi，所述Nmhi包含2个用于特征提取的子网络Nfeaturespa和Nfeaturespe以及1个用于变化检测的子网络NCD；
步骤1.1建立并初始化子网络Nfeaturespa，所述子网络Nfeaturespa含有4组卷积层，分别为Conv1_0、Conv1_1、Conv1_2和Conv1_3，以及自定义模块MPSA和1组最大池化层MaxPool1；
所述Conv1_0包含1层卷积操作、1层BatchNorm归一化操作和1层激活操作，其中，卷积层含有100个大小为3×3的卷积核，每个卷积核以1个像素为步长进行卷积运算，并选用参数为0.2的非线性激活函数LeakyReLU作为激活函数进行运算；
所述Conv1_1包含1层卷积操作、1层BatchNorm归一化操作和1层激活操作，其中，卷积层含有100个大小为3×3的卷积核，每个卷积核以1个像素为步长进行卷积运算，并选用参数为0.2的非线性激活函数LeakyReLU作为激活函数进行运算；
所述Conv1_2包含1层卷积操作、1层BatchNorm归一化操作和1层激活操作，其中，卷积层含有200个大小为1×1的卷积核，每个卷积核以1个像素为步长进行卷积运算，并选用参数为0.2的非线性激活函数ReLU作为激活函数进行运算；
所述Conv1_3包含1层卷积操作、1层BatchNorm归一化操作和1层激活操作，其中，卷积层含有200个大小为1×1的卷积核，每个卷积核以1个像素为步长进行卷积运算，并选用参数为0.2的非线性激活函数LeakyReLU作为激活函数进行运算；
所述自定义模块MPSA模块包含2组并行的卷积层，分别为Conv1_11和Conv1_12，以及自定义模块LPAM和自定义连接层Concatenate1；
所述Conv1_11包含一层卷积操作，含有256个空洞率为3、大小为3×3的卷积核，每个卷积核以1个像素为步长进行卷积运算；
所述Conv1_12包含一层卷积操作，含有256个空洞率为4、大小为3×3的卷积核，每个卷积核以1个像素为步长进行卷积运算；
所述自定义模块LPAM包含3组并行的卷积层，分别为Conv1_Q、Conv1_K和Conv1_V，其中：
所述Conv1_Q包含一层卷积操作，含有32个大小为1×1的卷积核，每个卷积核以1个像素为步长进行卷积运算；
所述Conv1_K包含一层卷积操作，含有32个大小为1×1的卷积核，每个卷积核以1个像素为步长进行卷积运算；
所述Conv1_V包含一层卷积操作，含有256个大小为1×1的卷积核，每个卷积核以1个像素为步长进行卷积运算；
所述自定义连接层Concatenate1用于连接两个特征；
所述最大池化层MaxPool1包含1层池化操作、2层全连接操作、2层激活操作、2层Dropout操作和1层Flatten操作，其中，池化层以大小为2×2的池化核进行最大池化运算，2层全连接层分别有1024和512个输出单元，并选用ReLU作为激活函数进行运算，再执行参数为0.5的Dropout操作，最后通过Flatten操作得到空间域特征Fspa；
步骤1.2.建立并初始化子网络Nfeaturespe，该网络包含1组自定义模块LCAM，2组卷积层Conv2_0、Conv2_1以及1组最大池化层MaxPool2；
所述自定义LCAM模块用于计算光谱注意力特征；
所述Conv2_0包含1层卷积操作、1层BatchNorm归一化操作和1层激活操作，其中，卷积层含有32个大小为11的一维卷积核，每个卷积核以1个像素为步长进行卷积运算，并选用参数为0.2的非线性激活函数LeakyReLU作为激活函数进行运算；
所述Conv2_1包含1层卷积操作、1层BatchNorm归一化操作和1层激活操作，其中，卷积层含有96个大小为3的一维卷积核，每个卷积核以1个像素为步长进行卷积运算，并选用参数为0.2的非线性激活函数LeakyReLU作为激活函数进行运算；
所述最大池化层MaxPool2包含1层池化操作和1层Flatten操作，其中，池化层以大小为2的一维池化核进行最大池化运算，再通过Flatten操作得到光谱域特征Fspe；
步骤1.3.建立并初始化子网络NCD，该网络包含1组自定义连接层Concatenate2，1组参数为0.5的Dropout操作以及1组全连接层Dense1；
所述自定义连接层Concatenate2用于连接两个特征；
所述全连接层Dense1有2个分类单元，分别代表变化与不变，并采取Softmax作为激活函数；
步骤2.输入高光谱影像的训练集X、人工已标注的像元点坐标集和标签集，对Nmhi进行训练；
步骤2.1.定义
Figure BDA0003564102480000041
和
Figure BDA0003564102480000042
为分别于时间t1和t2获取的同一地区双时相高光谱遥感影像，大小为M×N×D，其中M和N分别表示图像的长度和宽度，D为图像的通道数；通过公式(1)获得多时相高光谱差分影像
Figure BDA0003564102480000043
DI＝|log(I2-I1)| (1)
步骤2.2.根据人工已标注的像元点坐标集，提取标签的像元点集合XH＝{xH，i|i＝1，...，m}，其中xH，i表示XH中的第i个像元点，m表示具有标签的像元点总数；
步骤2.3.根据公式(2)对XH进行标准化处理，得到
Figure BDA0003564102480000044
其中，
Figure BDA0003564102480000045
表示标准化后的具有标签的高光谱影像像元点集合，
Figure BDA0003564102480000046
表示
Figure BDA0003564102480000047
的第i个像元点；
Figure BDA0003564102480000048
步骤2.4.以
Figure BDA0003564102480000049
的每个像元点为中心将X分割成一系列大小为r×r的高光谱像元块集合XH1，其中r为预设的高光谱像元块长度和宽度；
步骤2.5.将XH1中的每个像元块进行上下翻转，得到高光谱像元块集合XH2；
步骤2.6.对XH1中的每个像元块添加方差为0.01的高斯噪声，得到高光谱像元块集合XH3；
步骤2.7.将XH1中的每个像元块以其中心点为旋转中心顺时针随机旋转z×90度，得到高光谱像元块集合XH4，其中z表示从集合{1，2，3}中随机选取出的数值；
步骤2.8.令
Figure BDA0003564102480000051
将
Figure BDA0003564102480000052
作为变化检测神经网络的训练集，并将训练集中的样本整合为元组
Figure BDA0003564102480000053
的形式作为网络数据输入，其中，
Figure BDA0003564102480000054
表示训练集中高光谱影像像元块，Yi表示
Figure BDA0003564102480000055
对应的真实类别标签，令迭代次数iter←1，执行步骤2.9至步骤2.13；
步骤2.9采用子网络Nfeaturespa提取训练集的空间特征；
步骤2.9.1利用子网络Nfeaturespa前三层卷积层Conv1_0、Conv1_1和Conv1_2依次对高光谱影像的训练集
Figure BDA0003564102480000056
进行特征提取，得到高光谱影像的初步空间特征FConv1_2；
步骤2.9.2利用自定义模块MPSA对初步空间特征PConv1_2进行进一步的特征提取，包括以下a-c步骤；
(a)利用并行的卷积Conv1_11和Conv1_12对初步空间特征FConv1_2进行卷积，分别得到特征FConv1_11和FConv1_12；
(b)将特征PConv1_11和FConv1_12分别输入自定义模块LPAM计算得到空间注意力特征
Figure BDA0003564102480000057
和
Figure BDA0003564102480000058
具体包括以下3个步骤：
①将输入的三维张量F送入卷积层Conv1_Q计算得到特征
Figure BDA0003564102480000059
再将F送入卷积层Conv1_K计算得到特征
Figure BDA00035641024800000510
接着将F送入卷积层Conv1_V计算得到特征
Figure BDA00035641024800000511
其中，FQ，i、FK，i和FV，i分别表示FQ、FK和FV的第i个元素，Cspa表示输入张量的通道数，Hspa和Wspa分别表示输入张量的长度和宽度，K1＝32，K2＝32，K3＝256；
②利用reshape操作将FQ和FK映射到
Figure BDA00035641024800000512
空间，并根据公式(3)计算空间注意力矩阵
Figure BDA00035641024800000513
Figure BDA00035641024800000514
其中，N1表示特征的总数且N1＝Hspa×Wspa，
Figure BDA0003564102480000061
表示Fspax中第j行第h列的元素，
Figure BDA0003564102480000062
表示FK的第j个元素的转置；
③利用reshape操作将FV映射到
Figure BDA0003564102480000063
空间，根据公式(4)计算空间注意力特征FspaA；
Figure BDA0003564102480000064
其中，ηspa是预设的缩放系数，
Figure BDA0003564102480000065
表示FspaX的第g行元素所组成的向量；
(c)根据公式(5)利用自定义连接层Concatenate1将
Figure BDA0003564102480000066
和
Figure BDA0003564102480000067
进行连接操作，得到MPSA模块的输出FMPSA，其中，
Figure BDA0003564102480000068
表示第1个LPAM模块的输出，
Figure BDA0003564102480000069
表示第2个LPAM模块的输出；
Figure BDA00035641024800000610
其中，“|”表示连接第1个空间注意力特征与第2个空间注意力特征的操作；
步骤2.9.3利用子网络Nfeaturespa的最后一层卷积Conv1_3对特征FMPSA进行计算，得到特征FConv1_3；
步骤2.9.4利用自定义模块MPSA对特征FConv1_3进行进一步的特征提取得到空间特征Ffinal；
步骤2.9.5利用最大池化层MaxPool1对空间特征Ffinal进行计算，得到高光谱影像的空间域特征Fspa；
步骤2.10采用子网络Nfeaturespe提取训练集的光谱特征；
步骤2.10.1利用自定义模块LCAM对高光谱影像的训练集
Figure BDA00035641024800000611
进行计算，得到高光谱影像的光谱注意力特征FspeA，具体步骤如下：
所述自定义LCAM模块利用reshape操作将输入的三维张量F1映射至
Figure BDA00035641024800000612
空间，得到特征
Figure BDA00035641024800000613
其中，Cspe表示输入的通道数，N2＝1×1，
Figure BDA00035641024800000614
表示FspeR的第i个通道；再根据公式(6)计算光谱注意力矩阵
Figure BDA00035641024800000615
Figure BDA00035641024800000616
其中，
Figure BDA00035641024800000617
表示FspeS中第j行第i列的元素，
Figure BDA00035641024800000618
表示FspeR的第j个通道的转置，
Figure BDA00035641024800000619
表示FspeR的第k个通道，“·”表示内积运算；进而根据公式(7)将FspeR与FspeS进行矩阵乘法运算，得到光谱注意力特征FspeS；
Figure BDA0003564102480000071
其中，ηspe表示预设的系数；
步骤2.10.2利用卷积层Conv2_0对光谱注意力特征FspeA进行卷积得到特征FConv2_0；
步骤2.10.3利用卷积层Conv2_1对特征FConv2_0进行卷积得到特征FConv2_1；
步骤2.10.4利用最大池化层MaxPool2对特征FConv2_1进行计算，得到高光谱影像的光谱域特征Fspe；
步骤2.11采用子网络NCD进行变化检测；
步骤2.11.1根据公式(8)利用自定义连接层Concatenate2将空间域特征Fspa和光谱域特征Fspe进行连接操作得到融合特征Fmerge；
Fmerge＝(Fspa|Fspe) (8)
步骤2.11.2对融合特征Fmerge进行参数为0.5的Dropout操作，再输入Dense1计算得出变化结果CMpred；
步骤2.12根据公式(9)和公式(10)的定义，将加权的交叉熵作为损失函数；
Figure BDA0003564102480000072
Figure BDA0003564102480000073
其中，T表示总训练样本数，ωj表示第j类的权重，Pr(yn＝j|FM；θ)表示第n个像元点属于第j类的概率，nj表示训练样本中第j类像元点的数量；
步骤2.13若训练集中的所有像元块均已处理完毕，则转入步骤2.14，否则，从训练集中取出一组未处理的像元块，返回步骤2.9；
步骤2.14令iter←iter+1，若迭代次数iter＞Total_iter，则得到了已训练好的卷积神经网络Nmhi，转入步骤3；否则，利用基于Adam的反向误差传播算法和预测损失Loss更新Nmhi的参数，转入步骤2.9重新处理训练集中的所有像元块，所述Total_iter表示预设的迭代次数；
步骤3.输入未被标记的高光谱影像X′，对X′的全部像元进行数据预处理，并采用已完成训练的卷积神经网络Nmhi完成变化检测；
步骤3.1.在X′中提取全部像元点组成集合PH＝{pH，l|l＝1，...，U}，其中，pH，l表示PH的第l个像元，U表示全部像元的总数；
步骤3.2.根据公式(11)对PH进行标准化处理，得到
Figure BDA0003564102480000074
其中，
Figure BDA0003564102480000075
表示标准化后的高光谱影像像元点集合，
Figure BDA0003564102480000076
表示
Figure BDA0003564102480000077
的第l个像元点；
Figure BDA0003564102480000081
步骤3.3.以
Figure BDA0003564102480000082
的每个像元点为中心将X′分割成一系列大小为r×r的高光谱像元块集合，组成高光谱影像测试集
Figure BDA0003564102480000083
其中r为预设的高光谱像元块长度和宽度；
步骤3.4.采用子网络Nfeaturespa提取测试集的空间特征；
步骤3.4.1利用子网络Nfeaturespa前三层卷积层Conv1_0、Conv1_1和Conv1_2依次对高光谱影像的测试集
Figure BDA0003564102480000084
进行特征提取，得到高光谱影像的初步空间特征PConv1_2；
步骤3.4.2利用自定义模块MPSA对初步空间特征PConv1_2进行进一步的特征提取，包括以下a-c步骤；
(a)利用并行的并行的卷积Conv1_11和Conv1_12对初步空间特征PConv1_2进行卷积，分别得到特征PConv1_11和PConv1_12；
(b)将特征PConv1_11和PConv1_12分别输入自定义模块LPAM计算得到空间注意力特征
Figure BDA0003564102480000085
和
Figure BDA0003564102480000086
具体包括以下3个步骤：
①将输入的三维张量P送入卷积层Conv1_Q计算得到特征
Figure BDA0003564102480000087
再将P送入卷积层Conv1_K计算得到特征
Figure BDA0003564102480000088
接着将P送入卷积层Conv1_V计算得到特征
Figure BDA0003564102480000089
其中，PQ，i、PK，i和PV，i分别表示PQ、PK和PV的第i个元素，Cspa表示输入张量的通道数，Hspa和Wspa分别表示输入张量的长度和宽度，K1＝32，K2＝32，K3＝256；
②利用reshape操作将PQ和PK映射到
Figure BDA00035641024800000810
空间，并根据公式(12)计算空间注意力矩阵
Figure BDA00035641024800000811
Figure BDA00035641024800000812
其中，N1表示特征的总数且N1＝Hspa×Wspa，
Figure BDA00035641024800000813
表示Pspax中第j行第h列的元素，
Figure BDA00035641024800000814
表示PK的第j个元素的转置；
③利用reshape操作将PV映射到
Figure BDA00035641024800000815
空间，根据公式(13)计算空间注意力特征PspaA；
Figure BDA00035641024800000816
其中，ηspa是预设的缩放系数，
Figure BDA00035641024800000817
表示PspaX的第g行元素所组成的向量；
(c)根据公式(14)利用自定义连接层Concatenatel将
Figure BDA0003564102480000091
和
Figure BDA0003564102480000092
进行连接操作，得到MPSA模块的输出PMPSA，其中，
Figure BDA0003564102480000093
表示第1个LPAM模块的输出，
Figure BDA0003564102480000094
表示第2个LPAM模块的输出；
Figure BDA0003564102480000095
其中，“|”表示连接第1个空间注意力特征与第2个空间注意力特征的操作；
步骤3.4.3利用子网络Nfeaturespa的最后一层卷积Conv1_3对特征PMPSA进行计算，得到特征PConv1_3；
步骤3.4.4利用自定义模块MPSA对特征PConv1_3进行进一步的特征提取得到空间特征Pfinal；
步骤3.4.5利用最大池化层MaxPool1对空间特征Pfinal进行计算，得到高光谱影像的空间域特征Pspa；
步骤3.5.采用子网络Nfeaturespe提取测试集的光谱特征；
步骤3.5.1利用自定义模块LCAM对高光谱影像的训练集
Figure BDA0003564102480000096
进行计算，得到高光谱影像的光谱注意力特征PspeA，具体步骤如下：
所述自定义LCAM模块利用reshape操作将输入的三维张量P1映射至
Figure BDA0003564102480000097
空间，得到特征
Figure BDA0003564102480000098
其中，Cspe表示输入的通道数，N2＝1×1，
Figure BDA0003564102480000099
表示PspeR的第i个通道；再根据公式(15)计算光谱注意力矩阵
Figure BDA00035641024800000910
Figure BDA00035641024800000911
其中，
Figure BDA00035641024800000912
表示PspeS中第j行第i列的元素，
Figure BDA00035641024800000913
表示PspeR的第j个通道的转置，
Figure BDA00035641024800000914
表示PspeR的第k个通道，“·”表示内积运算；进而根据公式(16)的定义将PspeR与PspeS进行矩阵乘法运算，得到光谱注意力特征PspeA；
Figure BDA00035641024800000915
其中，ηspe表示预设的系数；
步骤3.5.2利用卷积层Conv2_0对光谱注意力特征PspeA进行卷积得到特征PConv2_0；
步骤3.5.3利用卷积层Conv2_1对特征PConv2_0进行卷积得到特征PConv2_1；
步骤3.5.4利用最大池化层MaxPool2对特征PConv2_1进行计算，得到高光谱影像的光谱域特征Pspe；
步骤3.6采用子网络NCD进行变化检测；
步骤3.6.1根据公式(17)利用自定义连接层Concatenate2将空间域特征Pspa和光谱域特征Pspe进行连接操作得到融合特征Pmerge；
Pmerge＝(Pspa|Pspe) (17)
步骤3.6.2对融合特征Pmerge进行参数为0.5的Dropout操作，再输入Dense1计算得出变化结果Ppred。
与现有技术相比，本发明具有两方面优点：第一，引进了一种基于时-空-谱注意力机制的多时相高光谱影像变化检测双分支神经网络框架，通过双分支分别提取高光谱差分影像的空间域特征和光谱域特征，从而利用高光谱影像多维度之间的相关性以提高变化检测的准确性；第二，在空间域分支上引入多尺度金字塔空间注意力机制，通过空洞卷积来扩大卷积的感受野，以获取多尺度上下文信息，并且通过空间注意力机制对感兴趣区域分配更多权重，从而抑制不必要的特征。在光谱域上引入时-谱注意力模块，从而刻画多时相高光谱差分影像不同位置地物光谱之间的关联，大幅提升变化检测的精度。
附图说明
图1为本发明实施例变化检测网络结构及流程图。
图2为本发明实施例自定义模块MPSA结构及流程图。
图3为本发明实施例自定义模块LCAM模块结构及流程图。
图4为本发明实施例与CVA方法、DSFA方法、MMP方法、PBCNN方法、GETNet方法、DBDA方法、HybridSN方法、SSCNN-S方法对Irrigated Agricultural Area数据集的融合分类结果对比示意图。
图5为本发明实施例与CVA方法、DSFA方法、MMP方法、PBCNN方法、GETNet方法、DBDA方法、HybridSN方法、SSCNN-S方法对Wetland Agricultural Area数据集的融合分类结果对比示意图。
图6为本发明实施例与CVA方法、DSFA方法、MMP方法、PBCNN方法、GETNet方法、DBDA方法、HybridSN方法、SSCNN-S方法对River数据集的融合分类结果对比示意图。
具体实施方式
本发明的一种基于时-空-谱注意力机制的多时相高光谱影像变化检测方法如图1所示，按如下步骤进行：
步骤1.建立并初始化用于多时相高光谱影像变化检测的卷积神经网络Nmhi，所述Nmhi包含2个用于特征提取的子网络Nfeaturespa和Nfeaturespe以及1个用于变化检测的子网络NCD；
步骤1.1建立并初始化子网络Nfeaturespa，所述子网络Nfeaturespa含有4组卷积层，分别为Conv1_0、Conv1_1、Conv1_2和Conv1_3，以及自定义模块MPSA和1组最大池化层MaxPool1；
所述Conv1_0包含1层卷积操作、1层BatchNorm归一化操作和1层激活操作，其中，卷积层含有100个大小为3×3的卷积核，每个卷积核以1个像素为步长进行卷积运算，并选用参数为0.2的非线性激活函数LeakyReLU作为激活函数进行运算；
所述Conv1_1包含1层卷积操作、1层BatchNorm归一化操作和1层激活操作，其中，卷积层含有100个大小为3×3的卷积核，每个卷积核以1个像素为步长进行卷积运算，并选用参数为0.2的非线性激活函数LeakyReLU作为激活函数进行运算；
所述Conv1_2包含1层卷积操作、1层BatchNorm归一化操作和1层激活操作，其中，卷积层含有200个大小为1×1的卷积核，每个卷积核以1个像素为步长进行卷积运算，并选用参数为0.2的非线性激活函数ReLU作为激活函数进行运算；
所述Conv1_3包含1层卷积操作、1层BatchNorm归一化操作和1层激活操作，其中，卷积层含有200个大小为1×1的卷积核，每个卷积核以1个像素为步长进行卷积运算，并选用参数为0.2的非线性激活函数LeakyReLU作为激活函数进行运算；
所述自定义模块MPSA模块如图2上半部分所示，包含2组并行的卷积层，分别为Conv1_11和Conv1_12，以及自定义模块LPAM和自定义连接层Concatenate1；
所述Conv1_11包含一层卷积操作，含有256个空洞率为3、大小为3×3的卷积核，每个卷积核以1个像素为步长进行卷积运算；
所述Conv1_12包含一层卷积操作，含有256个空洞率为4、大小为3×3的卷积核，每个卷积核以1个像素为步长进行卷积运算；
所述自定义模块LPAM包含3组并行的卷积层，分别为Conv1_Q、Conv1_K和Conv1_V，其中：
所述Conv1_Q包含一层卷积操作，含有32个大小为1×1的卷积核，每个卷积核以1个像素为步长进行卷积运算；
所述Conv1_K包含一层卷积操作，含有32个大小为1×1的卷积核，每个卷积核以1个像素为步长进行卷积运算；
所述Conv1_V包含一层卷积操作，含有256个大小为1×1的卷积核，每个卷积核以1个像素为步长进行卷积运算；
所述自定义连接层Concatenate1用于连接两个特征；
所述最大池化层MaxPool1包含1层池化操作、2层全连接操作、2层激活操作、2层Dropout操作和1层Flatten操作，其中，池化层以大小为2×2的池化核进行最大池化运算，2层全连接层分别有1024和512个输出单元，并选用ReLU作为激活函数进行运算，再执行参数为0.5的Dropout操作，最后通过Flatten操作得到空间域特征Fspa；
步骤1.2.建立并初始化子网络Nfeaturespe，包含1组自定义模块LCAM，2组卷积层Conv2_0、Conv2_1以及1组最大池化层MaxPool2；
所述自定义LCAM模块用于计算光谱注意力特征；
所述Conv2_0包含1层卷积操作、1层BatchNorm归一化操作和1层激活操作，其中，卷积层含有32个大小为11的一维卷积核，每个卷积核以1个像素为步长进行卷积运算，并选用参数为0.2的非线性激活函数LeakyReLU作为激活函数进行运算；
所述Conv2_1包含1层卷积操作、1层BatchNorm归一化操作和1层激活操作，其中，卷积层含有96个大小为3的一维卷积核，每个卷积核以1个像素为步长进行卷积运算，并选用参数为0.2的非线性激活函数LeakyReLU作为激活函数进行运算；
所述最大池化层MaxPool2包含1层池化操作和1层Flatten操作，其中，池化层以大小为2的一维池化核进行最大池化运算，再通过Flatten操作得到光谱域特征Fspe；
步骤1.3.建立并初始化子网络NCD，该网络包含1组自定义连接层Concatenate2，1组参数为0.5的Dropout操作以及1组全连接层Dense1；
所述自定义连接层Concatenate2用于连接两个特征；
所述全连接层Dense1有2个分类单元，分别代表变化与不变，并采取Softmax作为激活函数；
步骤2.输入高光谱影像的训练集X、人工已标注的像元点坐标集和标签集，对Nmhi进行训练，具体如图1所示：
步骤2.1.定义
Figure BDA0003564102480000121
和
Figure BDA0003564102480000122
为分别于时间t1和t2获取的同一地区双时相高光谱遥感影像，大小为M×N×D，其中M和N分别表示图像的长度和宽度，D为图像的通道数；通过公式(1)获得多时相高光谱差分影像
Figure BDA0003564102480000131
DI＝|log(I2-I1)| (1)
步骤2.2.根据人工已标注的像元点坐标集，提取标签的像元点集合XH＝{xH，i|i＝1，...，m}，其中xH，i表示XH中的第i个像元点，m表示具有标签的像元点总数；
步骤2.3.根据公式(2)对XH进行标准化处理，得到
Figure BDA0003564102480000132
其中，
Figure BDA0003564102480000133
表示标准化后的具有标签的高光谱影像像元点集合，
Figure BDA0003564102480000134
表示
Figure BDA0003564102480000135
的第i个像元点；
Figure BDA0003564102480000136
步骤2.4.以
Figure BDA0003564102480000137
的每个像元点为中心将X分割成一系列大小为r×r的高光谱像元块集合XH1，其中r为预设的高光谱像元块长度和宽度；
步骤2.5.将XH1中的每个像元块进行上下翻转，得到高光谱像元块集合XH2；
步骤2.6.对XH1中的每个像元块添加方差为0.01的高斯噪声，得到高光谱像元块集合XH3；
步骤2.7.将XH1中的每个像元块以其中心点为旋转中心顺时针随机旋转z×90度，得到高光谱像元块集合XH4，其中z表示从集合{1，2，3}中随机选取出的数值；
步骤2.8.令
Figure BDA0003564102480000138
将
Figure BDA0003564102480000139
作为变化检测神经网络的训练集，并将训练集中的样本整合为元组
Figure BDA00035641024800001310
的形式作为网络数据输入，其中，
Figure BDA00035641024800001311
表示训练集中高光谱影像像元块，Yi表示
Figure BDA00035641024800001312
对应的真实类别标签，令迭代次数iter←1，执行步骤2.9至步骤2.13；
步骤2.9采用子网络Nfeaturespa提取训练集的空间特征；
步骤2.9.1利用子网络Nfeaturespa前三层卷积层Conv1_0、Conv1_1和Conv1_2依次对高光谱影像的训练集
Figure BDA00035641024800001313
进行特征提取，得到高光谱影像的初步空间特征FConv1_2；
步骤2.9.2利用自定义模块MPSA对初步空间特征FConv1_2进行进一步的特征提取，包括以下a-c步骤；
(a)利用并行的卷积Conv1_11和Conv1_12对初步空间特征FConv1_2进行卷积，分别得到特征FConv1_11和FConv1_12；
(b)将特征PConv1_11和FConv1_12分别输入自定义模块LPAM计算得到空间注意力特征
Figure BDA0003564102480000141
和
Figure BDA0003564102480000142
具体如图2下部分所示，包括以下3个步骤：
①将输入的三维张量F送入卷积层Conv1_Q计算得到特征
Figure BDA0003564102480000143
再将F送入卷积层Conv1_K计算得到特征
Figure BDA0003564102480000144
接着将F送入卷积层Conv1_V计算得到特征
Figure BDA0003564102480000145
其中，FQ，i、FK，i和FV，i分别表示FQ、FK和FV的第i个元素，Cspa表示输入张量的通道数，Hspa和Wspa分别表示输入张量的长度和宽度，K1＝32，K2＝32，K3＝256；
②利用reshape操作将FQ和FK映射到
Figure BDA0003564102480000146
空间，并根据公式(3)计算空间注意力矩阵
Figure BDA0003564102480000147
Figure BDA0003564102480000148
其中，N1表示特征的总数且N1＝Hspa×Wspa，
Figure BDA0003564102480000149
表示FspaX中第j行第h列的元素，
Figure BDA00035641024800001410
表示FK的第j个元素的转置；
③利用reshape操作将FV映射到
Figure BDA00035641024800001411
空间，根据公式(4)计算空间注意力特征FspaA；
Figure BDA00035641024800001412
其中，ηspa是预设的缩放系数，
Figure BDA00035641024800001413
表示FspaX的第g行元素所组成的向量；
(c)根据公式(5)利用自定义连接层Concatenate1将
Figure BDA00035641024800001414
和
Figure BDA00035641024800001415
进行连接操作，得到MPSA模块的输出FMPSA，其中，
Figure BDA00035641024800001416
表示第1个LPAM模块的输出，
Figure BDA00035641024800001417
表示第2个LPAM模块的输出；
Figure BDA00035641024800001418
其中，“|”表示连接第1个空间注意力特征与第2个空间注意力特征的操作；
步骤2.9.3利用子网络Nfeaturespa的最后一层卷积Conv1_3对特征FMPSA进行计算，得到特征FConv1_3；
步骤2.9.4利用自定义模块MPSA对特征FConv1_3进行进一步的特征提取得到空间特征Ffinal；
步骤2.9.5利用最大池化层MaxPool1对空间特征Ffinal进行计算，得到高光谱影像的空间域特征Fspa；
步骤2.10采用子网络Nfeaturespe提取训练集的光谱特征；
步骤2.10.1利用自定义模块LCAM对高光谱影像的训练集
Figure BDA00035641024800001419
进行计算，得到高光谱影像的光谱注意力特征FspeA，具体步骤如图3所示：
所述自定义LCAM模块利用reshape操作将输入的三维张量F1映射至
Figure BDA0003564102480000151
空间，得到特征
Figure BDA0003564102480000152
其中，Cspe表示输入的通道数，N2＝1×1，
Figure BDA0003564102480000153
表示FspeR的第i个通道；再根据公式(6)计算光谱注意力矩阵
Figure BDA0003564102480000154
Figure BDA0003564102480000155
其中，
Figure BDA0003564102480000156
表示FspeS中第j行第i列的元素，
Figure BDA0003564102480000157
表示FspeR的第j个通道的转置，
Figure BDA0003564102480000158
表示FspeR的第k个通道，“·”表示内积运算；进而根据公式(7)将FspeR与FspeS进行矩阵乘法运算，得到光谱注意力特征FspeA；
Figure BDA0003564102480000159
其中，ηspe表示预设的系数；
步骤2.10.2利用卷积层Conv2_0对光谱注意力特征FspeA进行卷积得到特征FConv2_0；
步骤2.10.3利用卷积层Conv2_1对特征FConv2_0进行卷积得到特征FConv2_1；
步骤2.10.4利用最大池化层MaxPool2对特征FConv2_1进行计算，得到高光谱影像的光谱域特征Fspe；
步骤2.11采用子网络NCD进行变化检测；
步骤2.11.1根据公式(8)利用自定义连接层Concatenate2将空间域特征Fspa和光谱域特征Fspe进行连接操作得到融合特征Fmerge；
Fmerge＝(Fspa|Fspe) (8)
步骤2.11.2对融合特征Fmerge进行参数为0.5的Dropout操作，再输入Dense1计算得出变化结果CMpred；
步骤2.12根据公式(9)和公式(10)的定义，将加权的交叉熵作为损失函数；
Figure BDA00035641024800001510
Figure BDA00035641024800001511
其中，T表示总训练样本数，ωj表示第j类的权重，Pr(yn＝j|FM；θ)表示第n个像元点属于第j类的概率，nj表示训练样本中第j类像元点的数量；
步骤2.13若训练集中的所有像元块均已处理完毕，则转入步骤2.14，否则，从训练集中取出一组未处理的像元块，返回步骤2.9；
步骤2.14令iter←iter+1，若迭代次数iter＞Total_iter，则得到了已训练好的卷积神经网络Nmhi，转入步骤3；否则，利用基于Adam的反向误差传播算法和预测损失Loss更新Nmhi的参数，转入步骤2.9重新处理训练集中的所有像元块，所述Total_iter表示预设的迭代次数；
步骤3.输入未被标记的高光谱影像X′，对X′的全部像元进行数据预处理，并采用已完成训练的卷积神经网络Nmhi完成变化检测；
步骤3.1.在X′中提取全部像元点组成集合PH＝{pH，l|l＝1，...，U}，其中，pH，l表示PH的第l个像元，U表示全部像元的总数；
步骤3.2.根据公式(11)对PH进行标准化处理，得到
Figure BDA0003564102480000161
其中，
Figure BDA0003564102480000162
表示标准化后的高光谱影像像元点集合，
Figure BDA0003564102480000163
表示
Figure BDA0003564102480000164
的第l个像元点；
Figure BDA0003564102480000165
步骤3.3.以
Figure BDA0003564102480000166
的每个像元点为中心将X′分割成一系列大小为r×r的高光谱像元块集合，组成高光谱影像测试集
Figure BDA0003564102480000167
其中r为预设的高光谱像元块长度和宽度；
步骤3.4.采用子网络Nfeaturespa提取测试集的空间特征；
步骤3.4.1利用子网络Nfeaturespa前三层卷积层Conv1_0、Conv1_1和Conv1_2依次对高光谱影像的测试集
Figure BDA0003564102480000168
进行特征提取，得到高光谱影像的初步空间特征PConv1_2；
步骤3.4.2利用自定义模块MPSA对初步空间特征PConv1_2进行进一步的特征提取，包括以下a-c步骤；
(a)利用并行的并行的卷积Conv1_11和Conv1_12对初步空间特征PConv1_2进行卷积，分别得到特征PConv1_11和PConv1_12；
(b)将特征PConv1_11和PConv1_12分别输入自定义模块LPAM计算得到空间注意力特征
Figure BDA0003564102480000169
和
Figure BDA00035641024800001610
具体包括以下3个步骤：
①将输入的三维张量P送入卷积层Conv1_Q计算得到特征
Figure BDA00035641024800001611
再将P送入卷积层Conv1_K计算得到特征
Figure BDA00035641024800001612
接着将P送入卷积层Conv1_V计算得到特征
Figure BDA00035641024800001613
其中，PQ，i、PK，i和PV，i分别表示PQ、PK和PV的第i个元素，Cspa表示输入张量的通道数，Hspa和Wspa分别表示输入张量的长度和宽度，K1＝32，K2＝32，K3＝256；
②利用reshape操作将PQ和PK映射到
Figure BDA00035641024800001614
空间，并根据公式(12)计算空间注意力矩阵
Figure BDA0003564102480000171
Figure BDA0003564102480000172
其中，N1表示特征的总数且N1＝Hspa×Wspa，
Figure BDA0003564102480000173
表示PspaX中第j行第h列的元素，
Figure BDA0003564102480000174
表示PK的第j个元素的转置；
③利用reshape操作将PV映射到
Figure BDA0003564102480000175
空间，根据公式(13)计算空间注意力特征PspaA；
Figure BDA0003564102480000176
其中，ηspa是预设的缩放系数，
Figure BDA0003564102480000177
表示PspaX的第g行元素所组成的向量；
(c)根据公式(14)利用自定义连接层Concatenate1将
Figure BDA0003564102480000178
和
Figure BDA0003564102480000179
进行连接操作，得到MPSA模块的输出PMPSA，其中，
Figure BDA00035641024800001710
表示第1个LPAM模块的输出，
Figure BDA00035641024800001711
表示第2个LPAM模块的输出；
Figure BDA00035641024800001712
其中，“|”表示连接第1个空间注意力特征与第2个空间注意力特征的操作；
步骤3.4.3利用子网络Nfeaturespa的最后一层卷积Conv1_3对特征PMPSA进行计算，得到特征PConv1_3；
步骤3.4.4利用自定义模块MPSA对特征PConv1_3进行进一步的特征提取得到空间特征Pfinal；
步骤3.4.5利用最大池化层MaxPool1对空间特征Pfinal进行计算，得到高光谱影像的空间域特征Pspa；
步骤3.5.采用子网络Nfeaturespe提取测试集的光谱特征；
步骤3.5.1利用自定义模块LCAM对高光谱影像的训练集
Figure BDA00035641024800001713
进行计算，得到高光谱影像的光谱注意力特征PspeA，具体步骤如下：
所述自定义LCAM模块利用reshape操作将输入的三维张量P1映射至
Figure BDA00035641024800001714
空间，得到特征
Figure BDA00035641024800001715
其中，Cspe表示输入的通道数，N2＝1×1，
Figure BDA00035641024800001716
表示PspeR的第i个通道；再根据公式(15)计算光谱注意力矩阵
Figure BDA00035641024800001717
Figure BDA00035641024800001718
其中，
Figure BDA00035641024800001719
表示PspeS中第j行第i列的元素，
Figure BDA00035641024800001720
表示PspeR的第j个通道的转置，
Figure BDA0003564102480000181
表示PspeR的第k个通道，“·”表示内积运算；进而根据公式(16)的定义将PspeR与PspeS进行矩阵乘法运算，得到光谱注意力特征PspeA；
Figure BDA0003564102480000182
其中，ηspe表示预设的系数；
步骤3.5.2利用卷积层Conv2_0对光谱注意力特征PspeA进行卷积得到特征PConv2_0；
步骤3.5.3利用卷积层Conv2_1对特征PConv2_0进行卷积得到特征PConv2_1；
步骤3.5.4利用最大池化层MaxPool2对特征PConv2_1进行计算，得到高光谱影像的光谱域特征Pspe；
步骤3.6采用子网络NCD进行变化检测；
步骤3.6.1根据公式(17)利用自定义连接层Concatenate2将空间域特征Pspa和光谱域特征Pspe进行连接操作得到融合特征Pmerge；
Pmerge＝(Pspa|Pspe) (17)
步骤3.6.2对融合特征Pmerge进行参数为0.5的Dropout操作，再输入Dense1计算得出变化结果Ppred。
为验证本发明的有效性，以公开的Irrigated Agricultural Area数据集、Wetland Agricultural Area数据集和River数据集为例进行实验，采用总体准确率(OA)和Kappa系数作为客观指标对变化检测结果进行评价，并将本发明的评价结果与CVA方法、DSFA方法、MMP方法、PBCNN方法、GETNET方法、DBDA方法、HybridSN方法和SSCNN-S方法进行比较。
变化检测任务的主要挑战是漏分和错分问题。对于基于遥感影像的变化检测，检测错误就是把变化区域分为不变区域和把不变区域分为变化区域。从图4、图5和图6可见，本发明与其他方法相比，具有更清晰的边界，并且与GroundTruth结果图相比较，本发明漏分点和错分点明显较少，展现出一定程度的优越性。从表1可见，对于IrrigatedAgricultural Area数据集，本发明取得的OA结果分别比CVA方法、DSFA方法、MMP方法、PBCNN方法、GETNET方法、DBDA方法、HybridSN方法和SSCNN-S方法提升了4.2％、2.4％、5.1％、8.3％、3％、1％、1.8％、0.8％，平均提升了3.3％；本发明的Kappa系数结果分别比CVA方法、DSFA方法、MMP方法、PBCNN方法、GETNET方法、DBDA方法、HybridSN方法和SSCNN-S方法提升了13.9％、8.7％、12.2％、25.2％、9.6％、2.9％、5.1％、3％，平均提升了10.0％。对于Wetland Agricultural Area数据集，本发明取得的OA结果分别比CVA方法、DSFA方法、MMP方法、PBCNN方法、GETNET方法、DBDA方法、HybridSN方法和SSCNN-S方法提升了20.2％、20.9％、3.2％、7.4％、1.7％、1.4％、1.8％、1.5％，平均提升了7.3％；Kappa系数结果分别比CVA方法、DSFA方法、MMP方法、PBCNN方法、GETNET方法、DBDA方法、HybridSN方法和SSCNN-S方法提升了48.1％、30.7％、7.8％、18.6％、4.4％、3.3％、4.1％、3.6％，平均提升了15.1％。对于River数据集，本发明取得的OA结果分别比CVA方法、DSFA方法、MMP方法、PBCNN方法、GETNET方法、DBDA方法、HybridSN方法和SSCNN-S方法提升了15.5％、2.5％、1.8％、5.4％、1.8％、0.8％、0.6％、0.3％，平均提升了3.6％；Kappa系数结果分别比CVA方法、DSFA方法、MMP方法、PBCNN方法、GETNET方法、DBDA方法、HybridSN方法和SSCNN-S方法提升了45.5％、6.5％、6.4％、23.4％、4.5％、6.6％、5.5％、4.9％，平均提升了12.9％。
图4为不同方法对Irrigated Agricultural Area数据集的检测结果图，其中，(a)为CVA方法的检测结果，其总体准确率为93.1％；(b)为DSFA方法的检测结果，其总体准确率为94.9％；(c)为MMP方法的检测结果，其总体准确率为92.2％；(d)为PBCNN方法的检测结果，其总体准确率为89.0％；(e)为GETNET方法的检测结果，其总体准确率为94.3％；(f)为DBDA方法的检测结果，其总体准确率为96.3％；(g)为HybridSN方法的检测结果，其总体准确率为95.5％；(h)为SSCNN-S方法的检测结果，其总体准确率为96.5％；(i)为本发明的检测结果，其总体准确率为97.3％；(j)为Ground-truth参考图。
图5为不同方法对Wetland Agricultural Area数据集的检测结果图，其中，(a)为CVA方法的检测结果，其总体准确率为79.0％；(b)为DSFA方法的检测结果，其总体准确率为78.3％；(c)为MMP方法的检测结果，其总体准确率为96.0％；(d)为PBCNN方法的检测结果，其总体准确率为91.8％；(e)为GETNET方法的检测结果，其总体准确率为97.5％；(f)为DBDA方法的检测结果，其总体准确率为97.8％；(g)为HybridSN方法的检测结果，其总体准确率为97.4％；(h)为SSCNN-S方法的检测结果，其总体准确率为97.7％；(i)为本发明的检测结果，其总体准确率99.2％；(j)为Ground-truth参考图。
图6为不同方法对River数据集的检测结果图，其中，(a)为CVA方法的检测结果，其总体准确率为81.2％；(b)为DSFA方法的检测结果，其总体准确率为94.2％；(c)为MMP方法的检测结果，其总体准确率为94.9％；(d)为PBCNN方法的检测结果，其总体准确率为91.3％；(e)为GETNET方法的检测结果，其总体准确率为94.9％；(f)为DBDA方法的检测结果，其总体准确率为95.9％；(g)为HybridSN方法的检测结果，其总体准确率为96.1％；(h)为SSCNN-S方法的检测结果，其总体准确率为96.4％；(i)为本发明的检测结果，其总体准确率96.7％；(j)为Ground-truth参考图。
综合表1、图4、图5、图6的对比结果可知，本发明通过充分利用高光谱图像的空间域和光谱域信息，并结合自注意力机制，有效地提升了高光谱影像变化检测精度。
表1变化检测精度比较(％)
Figure BDA0003564102480000201
。

Claims (1)

1.一种基于时-空-谱注意力机制的多时相高光谱影像变化检测方法，其特征在于按如下步骤进行：
步骤1.建立并初始化用于多时相高光谱影像变化检测的卷积神经网络Nmhi，所述Nmhi包含2个用于特征提取的子网络Nfeaturespa和Nfeaturespe以及1个用于变化检测的子网络NCD；
步骤1.1建立并初始化子网络Nfeaturespa，所述子网络Nfeaturespa含有4组卷积层，分别为Conv1_0、Conv1_1、Conv1_2和Conv1_3，以及自定义模块MPSA和1组最大池化层MaxPool1；
所述Conv1_0包含1层卷积操作、1层BatchNorm归一化操作和1层激活操作，其中，卷积层含有100个大小为3×3的卷积核，每个卷积核以1个像素为步长进行卷积运算，并选用参数为0.2的非线性激活函数LeakyReLU作为激活函数进行运算；
所述Conv1_1包含1层卷积操作、1层BatchNorm归一化操作和1层激活操作，其中，卷积层含有100个大小为3×3的卷积核，每个卷积核以1个像素为步长进行卷积运算，并选用参数为0.2的非线性激活函数LeakyReLU作为激活函数进行运算；
所述Conv1_2包含1层卷积操作、1层BatchNorm归一化操作和1层激活操作，其中，卷积层含有200个大小为1×1的卷积核，每个卷积核以1个像素为步长进行卷积运算，并选用参数为0.2的非线性激活函数ReLU作为激活函数进行运算；
所述Conv1_3包含1层卷积操作、1层BatchNorm归一化操作和1层激活操作，其中，卷积层含有200个大小为1×1的卷积核，每个卷积核以1个像素为步长进行卷积运算，并选用参数为0.2的非线性激活函数LeakyReLU作为激活函数进行运算；
所述自定义模块MPSA模块包含2组并行的卷积层，分别为Conv1_11和Conv1_12，以及自定义模块LPAM和自定义连接层Concatenate1；
所述Conv1_11包含一层卷积操作，含有256个空洞率为3、大小为3×3的卷积核，每个卷积核以1个像素为步长进行卷积运算；
所述Conv1_12包含一层卷积操作，含有256个空洞率为4、大小为3×3的卷积核，每个卷积核以1个像素为步长进行卷积运算；
所述自定义模块LPAM包含3组并行的卷积层，分别为Conv1_Q、Conv1_K和Conv1_V，其中：
所述Conv1_Q包含一层卷积操作，含有32个大小为1×1的卷积核，每个卷积核以1个像素为步长进行卷积运算；
所述Conv1_K包含一层卷积操作，含有32个大小为1×1的卷积核，每个卷积核以1个像素为步长进行卷积运算；
所述Conv1_V包含一层卷积操作，含有256个大小为1×1的卷积核，每个卷积核以1个像素为步长进行卷积运算；
所述自定义连接层Concatenate1用于连接两个特征；
所述最大池化层MaxPool1包含1层池化操作、2层全连接操作、2层激活操作、2层Dropout操作和1层Flatten操作，其中，池化层以大小为2×2的池化核进行最大池化运算，2层全连接层分别有1024和512个输出单元，并选用ReLU作为激活函数进行运算，再执行参数为0.5的Dropout操作，最后通过Flatten操作得到空间域特征Fspa；
步骤1.2.建立并初始化子网络Nfeaturespe，该网络包含1组自定义模块LCAM，2组卷积层Conv2_0、Conv2_1以及1组最大池化层MaxPool2；
所述自定义LCAM模块用于计算光谱注意力特征；
所述Conv2_0包含1层卷积操作、1层BatchNorm归一化操作和1层激活操作，其中，卷积层含有32个大小为11的一维卷积核，每个卷积核以1个像素为步长进行卷积运算，并选用参数为0.2的非线性激活函数LeakyReLU作为激活函数进行运算；
所述Conv2_1包含1层卷积操作、1层BatchNorm归一化操作和1层激活操作，其中，卷积层含有96个大小为3的一维卷积核，每个卷积核以1个像素为步长进行卷积运算，并选用参数为0.2的非线性激活函数LeakyReLU作为激活函数进行运算；
所述最大池化层MaxPool2包含1层池化操作和1层Flatten操作，其中，池化层以大小为2的一维池化核进行最大池化运算，再通过Flatten操作得到光谱域特征Fspe；
步骤1.3.建立并初始化子网络NCD，该网络包含1组自定义连接层Concatenate2，1组参数为0.5的Dropout操作以及1组全连接层Dense1；
所述自定义连接层Concatenate2用于连接两个特征；
所述全连接层Dense1有2个分类单元，分别代表变化与不变，并采取Softmax作为激活函数；
步骤2.输入高光谱影像的训练集X、人工已标注的像元点坐标集和标签集，对Nmhi进行训练；
步骤2.1.定义
Figure FDA0003564102470000031
和
Figure FDA0003564102470000032
为分别于时间t1和t2获取的同一地区双时相高光谱遥感影像，大小为M×N×D，其中M和N分别表示图像的长度和宽度，D为图像的通道数；通过公式(1)获得多时相高光谱差分影像
Figure FDA0003564102470000033
DI＝|log(I2-I1)| (1)
步骤2.2.根据人工已标注的像元点坐标集，提取标签的像元点集合XH＝{xH，i|i＝1，...，m}，其中xH，i表示XH中的第i个像元点，m表示具有标签的像元点总数；
步骤2.3.根据公式(2)对XH进行标准化处理，得到
Figure FDA0003564102470000034
其中，
Figure FDA0003564102470000035
表示标准化后的具有标签的高光谱影像像元点集合，
Figure FDA0003564102470000036
表示
Figure FDA0003564102470000037
的第i个像元点；
Figure FDA0003564102470000038
步骤2.4.以
Figure FDA0003564102470000039
的每个像元点为中心将X分割成一系列大小为r×r的高光谱像元块集合XH1，其中r为预设的高光谱像元块长度和宽度；
步骤2.5.将XH1中的每个像元块进行上下翻转，得到高光谱像元块集合XH2；
步骤2.6.对XH1中的每个像元块添加方差为0.01的高斯噪声，得到高光谱像元块集合XH3；
步骤2.7.将XH1中的每个像元块以其中心点为旋转中心顺时针随机旋转z×90度，得到高光谱像元块集合XH4，其中z表示从集合{1，2，3}中随机选取出的数值；
步骤2.8.令
Figure FDA00035641024700000310
将
Figure FDA00035641024700000311
作为变化检测神经网络的训练集，并将训练集中的样本整合为元组
Figure FDA00035641024700000312
的形式作为网络数据输入，其中，
Figure FDA00035641024700000313
表示训练集中高光谱影像像元块，Yi表示
Figure FDA00035641024700000314
对应的真实类别标签，令迭代次数iter←1，执行步骤2.9至步骤2.13；
步骤2.9采用子网络Nfeaturespa提取训练集的空间特征；
步骤2.9.1利用子网络Nfeaturespa前三层卷积层Conv1_0、Conv1_1和Conv1_2依次对高光谱影像的训练集
Figure FDA00035641024700000315
进行特征提取，得到高光谱影像的初步空间特征Fconv1_2；
步骤2.9.2利用自定义模块MPSA对初步空间特征FConv1_2进行进一步的特征提取，包括以下a-c步骤；
(a)利用并行的卷积Conv1_11和Conv1_12对初步空间特征PConv1_2进行卷积，分别得到特征FConv1_11和FConv1_12；
(b)将特征FConv1_11和FConv1_12分别输入自定义模块LPAM计算得到空间注意力特征
Figure FDA0003564102470000041
和
Figure FDA0003564102470000042
具体包括以下3个步骤：
①将输入的三维张量F送入卷积层Conv1_Q计算得到特征
Figure FDA0003564102470000043
再将F送入卷积层Conv1_K计算得到特征
Figure FDA0003564102470000044
接着将F送入卷积层Conv1_V计算得到特征
Figure FDA0003564102470000045
其中，FQ，i、FK，i和FV，i分别表示FQ、FK和FV的第i个元素，Cspa表示输入张量的通道数，Hspa和Wspa分别表示输入张量的长度和宽度，K1＝32，K2＝32，K3＝256；
②利用reshape操作将FQ和FK映射到
Figure FDA0003564102470000046
空间，并根据公式(3)计算空间注意力矩阵
Figure FDA0003564102470000047
Figure FDA0003564102470000048
其中，N1表示特征的总数且
Figure FDA0003564102470000049
表示FspaX中第j行第h列的元素，
Figure FDA00035641024700000410
表示FK的第j个元素的转置；
③利用reshape操作将FV映射到
Figure FDA00035641024700000411
空间，根据公式(4)计算空间注意力特征FspaA；
Figure FDA00035641024700000412
其中，ηspa是预设的缩放系数，
Figure FDA00035641024700000413
表示FspaX的第g行元素所组成的向量；
(c)根据公式(5)利用自定义连接层Concatenate1将
Figure FDA00035641024700000414
和
Figure FDA00035641024700000415
进行连接操作，得到MPSA模块的输出FMPSA，其中，
Figure FDA00035641024700000416
表示第1个LPAM模块的输出，
Figure FDA00035641024700000417
表示第2个LPAM模块的输出；
Figure FDA00035641024700000418
其中，“|”表示连接第1个空间注意力特征与第2个空间注意力特征的操作；
步骤2.9.3利用子网络Nfeaturespa的最后一层卷积Conv1_3对特征FMPSA进行计算，得到特征FConv1_3；
步骤2.9.4利用自定义模块MPSA对特征FConv1_3进行进一步的特征提取得到空间特征Ffinal；
步骤2.9.5利用最大池化层MaxPool1对空间特征Ffinal进行计算，得到高光谱影像的空间域特征Fspa；
步骤2.10采用子网络Nfeaturespe提取训练集的光谱特征；
步骤2.10.1利用自定义模块LCAM对高光谱影像的训练集
Figure FDA0003564102470000051
进行计算，得到高光谱影像的光谱注意力特征FspeA，具体步骤如下：
所述自定义LCAM模块利用reshape操作将输入的三维张量F1映射至
Figure FDA0003564102470000052
空间，得到特征
Figure FDA0003564102470000053
其中，Cspe表示输入的通道数，N2＝1×1，
Figure FDA0003564102470000054
表示FspeR的第i个通道；再根据公式(6)计算光谱注意力矩阵
Figure FDA0003564102470000055
Figure FDA0003564102470000056
其中，
Figure FDA0003564102470000057
表示FspeS中第j行第i列的元素，
Figure FDA0003564102470000058
表示FspeR的第j个通道的转置，
Figure FDA0003564102470000059
表示FspeR的第k个通道，“·”表示内积运算；进而根据公式(7)将FspeR与FspeS进行矩阵乘法运算，得到光谱注意力特征FspeA；
Figure FDA00035641024700000510
其中，ηspe表示预设的系数；
步骤2.10.2利用卷积层Conv2_0对光谱注意力特征FspeA进行卷积得到特征FConv2_0；
步骤2.10.3利用卷积层Conv21对特征FConv2_0进行卷积得到特征FConv2_1；
步骤2.10.4利用最大池化层MaxPool2对特征FConv2_1进行计算，得到高光谱影像的光谱域特征Fspe；
步骤2.11采用子网络NCD进行变化检测；
步骤2.11.1根据公式(8)利用自定义连接层Concatenate2将空间域特征Fspa和光谱域特征Fspe进行连接操作得到融合特征Fmerge；
Fmerge＝(Fspa|Fspe) (8)
步骤2.11.2对融合特征Fmerge进行参数为0.5的Dropout操作，再输入Dense1计算得出变化结果CMpred；
步骤2.12根据公式(9)和公式(10)的定义，将加权的交叉熵作为损失函数；
Figure FDA00035641024700000511
Figure FDA00035641024700000512
其中，T表示总训练样本数，ωj表示第j类的权重，Pr(yn＝j|FM；θ)表示第n个像元点属于第j类的概率，nj表示训练样本中第j类像元点的数量；
步骤2.13若训练集中的所有像元块均已处理完毕，则转入步骤2.14，否则，从训练集中取出一组未处理的像元块，返回步骤2.9；
步骤2.14令iter←iter+1，若迭代次数iter>Total_iter，则得到了已训练好的卷积神经网络Nmhi，转入步骤3；否则，利用基于Adam的反向误差传播算法和预测损失Loss更新Nmhi的参数，转入步骤2.9重新处理训练集中的所有像元块，所述Total_iter表示预设的迭代次数；
步骤3.输入未被标记的高光谱影像X′，对X′的全部像元进行数据预处理，并采用已完成训练的卷积神经网络Nmhi完成变化检测；
步骤3.1.在X′中提取全部像元点组成集合PH＝{pH，l|l＝1，...，U}，其中，pH，l表示PH的第l个像元，U表示全部像元的总数；
步骤3.2.根据公式(11)对PH进行标准化处理，得到
Figure FDA0003564102470000061
其中，
Figure FDA0003564102470000062
表示标准化后的高光谱影像像元点集合，
Figure FDA0003564102470000063
表示
Figure FDA0003564102470000064
的第l个像元点；
Figure FDA0003564102470000065
步骤3.3.以
Figure FDA0003564102470000066
的每个像元点为中心将X′分割成一系列大小为r×r的高光谱像元块集合，组成高光谱影像测试集
Figure FDA0003564102470000067
其中r为预设的高光谱像元块长度和宽度；
步骤3.4.采用子网络Nfeaturespa提取测试集的空间特征；
步骤3.4.1利用子网络Nfeaturespa前三层卷积层Convl_0、Conv1_1和Conv1_2依次对高光谱影像的测试集
Figure FDA0003564102470000068
进行特征提取，得到高光谱影像的初步空间特征PConv1_2；
步骤3.4.2利用自定义模块MPSA对初步空间特征PConv1_2进行进一步的特征提取，包括以下a-c步骤；
(a)利用并行的并行的卷积Conv1_11和Conv1_12对初步空间特征PConv1_2进行卷积，分别得到特征PConv1_11和PConv1_12；
(b)将特征PConv1_11和PConv1_12分别输入自定义模块LPAM计算得到空间注意力特征
Figure FDA0003564102470000069
和
Figure FDA00035641024700000610
具体包括以下3个步骤：
①将输入的三维张量P送入卷积层Conv1_Q计算得到特征
Figure FDA00035641024700000611
再将P送入卷积层Conv1_K计算得到特征
Figure FDA00035641024700000612
接着将P送入卷积层Conv1_V计算得到特征
Figure FDA0003564102470000071
其中，PQ，i、PK，i和PV，i分别表示PQ、PK和PV的第i个元素，Cspa表示输入张量的通道数，Hspa和Wspa分别表示输入张量的长度和宽度，K1＝32，K2＝32，K3＝256；
②利用reshape操作将PQ和PK映射到
Figure FDA0003564102470000072
空间，并根据公式(12)计算空间注意力矩阵
Figure FDA0003564102470000073
Figure FDA0003564102470000074
其中，N1表示特征的总数且N1＝Hspa×Wspa，
Figure FDA0003564102470000075
表示PspaX中第j行第h列的元素，
Figure FDA0003564102470000076
表示PK的第j个元素的转置；
③利用reshape操作将PV映射到
Figure FDA0003564102470000077
空间，根据公式(13)计算空间注意力特征PspaA；
Figure FDA0003564102470000078
其中，ηspa是预设的缩放系数，
Figure FDA0003564102470000079
表示PspaX的第g行元素所组成的向量；
(c)根据公式(14)利用自定义连接层Concatenate1将
Figure FDA00035641024700000710
和
Figure FDA00035641024700000711
进行连接操作，得到MPSA模块的输出PMPSA，其中，
Figure FDA00035641024700000712
表示第1个LPAM模块的输出，
Figure FDA00035641024700000713
表示第2个LPAM模块的输出；
Figure FDA00035641024700000714
其中，“|”表示连接第1个空间注意力特征与第2个空间注意力特征的操作；
步骤3.4.3利用子网络Nfeaturespa的最后一层卷积Conv1_3对特征PMPSA进行计算，得到特征PConv1_3；
步骤3.4.4利用自定义模块MPSA对特征PConv1_3进行进一步的特征提取得到空间特征Pfinal；
步骤3.4.5利用最大池化层MaxPooll对空间特征Pfinal进行计算，得到高光谱影像的空间域特征Pspa；
步骤3.5.采用子网络Nfeaturespe提取测试集的光谱特征；
步骤3.5.1利用自定义模块LCAM对高光谱影像的训练集PH est进行计算，得到高光谱影像的光谱注意力特征PspeA，具体步骤如下：
所述自定义LCAM模块利用reshape操作将输入的三维张量P1映射至
Figure FDA00035641024700000715
空间，得到特征
Figure FDA00035641024700000716
其中，Cspe表示输入的通道数，N2＝1×1，
Figure FDA00035641024700000717
表示PspeR的第i个通道；再根据公式(15)计算光谱注意力矩阵
Figure FDA0003564102470000081
Figure FDA0003564102470000082
其中，
Figure FDA0003564102470000083
表示Pspes中第j行第i列的元素，
Figure FDA0003564102470000084
表示PspeR的第j个通道的转置，
Figure FDA0003564102470000085
表示PspeR的第k个通道，“·”表示内积运算；进而根据公式(16)的定义将PspeR与PspeS进行矩阵乘法运算，得到光谱注意力特征PspeA；
Figure FDA0003564102470000086
其中，ηspe表示预设的系数；
步骤3.5.2利用卷积层Conv2_0对光谱注意力特征PspeA进行卷积得到特征PConv2_0；
步骤3.5.3利用卷积层Conv2_1对特征PConv2_0进行卷积得到特征PConv2_1；
步骤3.5.4利用最大池化层MaxPool2对特征PConv2_1进行计算，得到高光谱影像的光谱域特征Pspe；
步骤3.6采用子网络NCD进行变化检测；
步骤3.6.1根据公式(17)利用自定义连接层Concatenate2将空间域特征Pspa和光谱域特征Pspe进行连接操作得到融合特征Pmerge；
Pmerge＝(Pspa|Pspe) (17)
步骤3.6.2对融合特征Pmerge进行参数为0.5的Dropout操作，再输入Dense1计算得出变化结果Ppred。
CN202210297922.8A 2022-03-25 2022-03-25 基于时-空-谱注意力机制的多时相高光谱影像变化检测方法 Pending CN114663779A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210297922.8A CN114663779A (zh) 2022-03-25 2022-03-25 基于时-空-谱注意力机制的多时相高光谱影像变化检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210297922.8A CN114663779A (zh) 2022-03-25 2022-03-25 基于时-空-谱注意力机制的多时相高光谱影像变化检测方法

Publications (1)

Publication Number Publication Date
CN114663779A true CN114663779A (zh) 2022-06-24

Family

ID=82032353

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210297922.8A Pending CN114663779A (zh) 2022-03-25 2022-03-25 基于时-空-谱注意力机制的多时相高光谱影像变化检测方法

Country Status (1)

Country Link
CN (1) CN114663779A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112052755A (zh) * 2020-08-24 2020-12-08 西安电子科技大学 基于多路注意力机制的语义卷积高光谱图像分类方法
KR102197297B1 (ko) * 2019-09-27 2020-12-31 서울대학교산학협력단 순환형 3차원 완전 합성곱망을 활용한 초분광영상의 변화탐지 방법
AU2020103901A4 (en) * 2020-12-04 2021-02-11 Chongqing Normal University Image Semantic Segmentation Method Based on Deep Full Convolutional Network and Conditional Random Field
CN113255727A (zh) * 2021-04-25 2021-08-13 辽宁师范大学 可分层密集融合网络的多传感器遥感影像融合分类方法
CN113705526A (zh) * 2021-09-07 2021-11-26 安徽大学 一种高光谱遥感影像分类方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102197297B1 (ko) * 2019-09-27 2020-12-31 서울대학교산학협력단 순환형 3차원 완전 합성곱망을 활용한 초분광영상의 변화탐지 방법
CN112052755A (zh) * 2020-08-24 2020-12-08 西安电子科技大学 基于多路注意力机制的语义卷积高光谱图像分类方法
AU2020103901A4 (en) * 2020-12-04 2021-02-11 Chongqing Normal University Image Semantic Segmentation Method Based on Deep Full Convolutional Network and Conditional Random Field
CN113255727A (zh) * 2021-04-25 2021-08-13 辽宁师范大学 可分层密集融合网络的多传感器遥感影像融合分类方法
CN113705526A (zh) * 2021-09-07 2021-11-26 安徽大学 一种高光谱遥感影像分类方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
范丽丽;赵宏伟;赵浩宇;胡黄水;王振;: "基于深度卷积神经网络的目标检测研究综述", 光学精密工程, no. 05, 13 May 2020 (2020-05-13) *

Similar Documents

Publication Publication Date Title
CN112541503B (zh) 基于上下文注意力机制和信息融合的实时语义分割方法
CN107564025B (zh) 一种基于深度神经网络的电力设备红外图像语义分割方法
CN113159051B (zh) 一种基于边缘解耦的遥感图像轻量化语义分割方法
CN111915592B (zh) 基于深度学习的遥感图像云检测方法
CN112668494A (zh) 基于多尺度特征提取的小样本变化检测方法
CN111639719B (zh) 基于时空运动和特征融合的足迹图像检索方法
Gao et al. Small sample classification of hyperspectral image using model-agnostic meta-learning algorithm and convolutional neural network
CN104317902A (zh) 基于局部保持迭代量化哈希的图像检索方法
CN114821342B (zh) 一种遥感影像道路提取方法及系统
CN105989597B (zh) 基于像素选择过程的高光谱图像异常目标检测方法
CN113255727A (zh) 可分层密集融合网络的多传感器遥感影像融合分类方法
CN112733693B (zh) 一种全局感知高分辨率遥感影像多尺度残差道路提取方法
CN115331104A (zh) 一种基于卷积神经网络的农作物种植信息提取方法
CN111147863B (zh) 基于张量的视频快照压缩成像恢复方法
CN115393718A (zh) 基于自适应融合NestedUNet的光学遥感图像变化检测方法
CN117058558A (zh) 基于证据融合多层深度卷积网络的遥感图像场景分类方法
CN114463340B (zh) 一种边缘信息引导的敏捷型遥感图像语义分割方法
CN111310820A (zh) 基于交叉验证深度cnn特征集成的地基气象云图分类方法
CN114693577A (zh) 一种基于Transformer的红外偏振图像融合方法
CN112381144B (zh) 非欧与欧氏域空谱特征学习的异构深度网络方法
CN113505856A (zh) 一种高光谱影像无监督自适应分类方法
CN106407975A (zh) 基于空间‑光谱结构约束的多尺度分层目标检测方法
CN111242003B (zh) 一种基于多尺度受约束自注意机制的视频显著性物体检测的方法
Zeng et al. Masanet: Multi-angle self-attention network for semantic segmentation of remote sensing images
CN114663779A (zh) 基于时-空-谱注意力机制的多时相高光谱影像变化检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination