CN116977747B - 基于多路多尺度特征孪生网络的小样本高光谱分类方法 - Google Patents

基于多路多尺度特征孪生网络的小样本高光谱分类方法 Download PDF

Info

Publication number
CN116977747B
CN116977747B CN202311085390.2A CN202311085390A CN116977747B CN 116977747 B CN116977747 B CN 116977747B CN 202311085390 A CN202311085390 A CN 202311085390A CN 116977747 B CN116977747 B CN 116977747B
Authority
CN
China
Prior art keywords
feature
convolution
output
features
characteristic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311085390.2A
Other languages
English (en)
Other versions
CN116977747A (zh
Inventor
杨京辉
覃佳
黎安奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Geosciences Beijing
Original Assignee
China University of Geosciences Beijing
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Geosciences Beijing filed Critical China University of Geosciences Beijing
Priority to CN202311085390.2A priority Critical patent/CN116977747B/zh
Publication of CN116977747A publication Critical patent/CN116977747A/zh
Application granted granted Critical
Publication of CN116977747B publication Critical patent/CN116977747B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/194—Terrestrial scenes using hyperspectral data, i.e. more or other wavelengths than RGB
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于多路多尺度特征孪生网络的小样本高光谱分类方法，包括以下步骤：读入高光谱图像数据；数据块划分；生成样本对训练集和测试集；生成样本对训练集的标签；通过孪生网络支路的膨胀‑余弦注意力模块获得带权重的特征,通过残差‑密集混合多路模块提取多路特征，通过多核深度特征提取模块提取细粒度特征；通过孪生网络支路获得样本特征；进行孪生网络对比学习训练；进行孪生网络分类学习训练；确定高光谱像元类别。本发明的优点是：所需带标签训练样本少，分类精度高。

Description

基于多路多尺度特征孪生网络的小样本高光谱分类方法
技术领域
本发明涉及遥感信息处理技术领域，特别涉及一种基于多路多尺度特征孪生网络的小样本高光谱分类方法。
背景技术
高光谱图像具有数百个连续波段，它不仅提供了空间信息，还提供了丰富的光谱信息，可用于区分土地覆盖类型。高光谱图像分类的目的是对高光谱图像逐像素分类到预定义的标签中。然而，在实际的应用中，获取具有类别标签的数据往往成本很高，导致带标签的数据短缺成为高光谱图像分类任务中的一项难题。实际遇到的高光谱分类通常为仅有少量带标签训练样本情况下的分类问题，也被称为小样本分类。随着技术的发展，基于3D卷积的孪生网络(3D convolutional siamese network，3DCSN)被成功的引入高光谱图像分类中，并具有一定的优势。
3DCSN的基本结构包含两个相同的卷积神经网络分支作为孪生网络支路，在训练阶段输入为一组样本对，每个分支处理样本对中的一个输入图像样本，这两个分支共享相同的权重和参数。在训练阶段，3DCSN会接收一组样本对作为输入，通过由三维卷积和二维卷积串联构成的孪生网络支路中进行训练，并利用损失函数来衡量样本对的相似性或距离，通过反向传播算法，网络的参数和权重会被调整以最小化损失函数。最后，通过全连接层输出每类的概率值，通过选出最大概率值来确定像元类别。
现有的高光谱图像分类方法中主要存在以下问题：1、小样本训练集情况下分类精度低。2、分类过程中，没有充分利用图像空-谱信息，不同尺度的邻域信息没有得到综合全面的考虑。3、没有有效提取并利用高光谱图像中的复杂完备特征。
上述问题导致高光谱图像的特征不能得到充分的提取及表达致使分类精度不高。
发明内容
本发明针对现有技术的缺陷，提供了一种基于多路多尺度特征孪生网络的小样本高光谱分类方法。利用膨胀-余弦注意力机制实现图像中的空间-光谱权重综合衡量，利用多路特征提取将组卷积局部残差特征、全局残差特征，全局密集特征融合，有效传播和利用不同层级的特征，增强了特征的表达能力，使用多尺度卷积核充分利用高光谱图像中的邻域信息提取特征，利用多尺度深度特征提取模块有效提取并利用高光谱图像中的复杂细粒度特征。
为了实现以上发明目的，本发明采取的技术方案如下：
一种基于多路多尺度特征孪生网络的小样本高光谱分类方法，包括以下步骤：
S1：读入高光谱图像数据；
读入三维的高光谱高维数据和每个像素的真实标签；
S2：数据块划分；
将读入的原始高光谱图像边缘填充0像素，填充的尺寸为在图像空间维度即宽高四周分别扩充并填充4像素；在填充操作后的高光谱图像中，以原始高光谱图像每个像素点为中心像，逐像素划分成数据块；去除标签值为0的数据块及其标签；
S3：生成样本对训练集和测试集；
从去除标签值为0后的数据块中每类随机选取三个样本，作为样本集，其余的样本作为测试集；再将样本集中的每个样本与其余样本配对得到样本对集，即训练集，和对应的标签对；
S4：生成样本对训练集的标签；
对训练集通过判断标签对的一致性给样本对赋予标签；若标签对的值是一致的，则这对样本的标签为1，若标签对的值不一致则这对样本的标签为0；
S5：通过孪生网络支路的膨胀-余弦注意力模块获得带权重的特征，通过残差-密集混合多路模块提取多路特征，通过多核深度特征提取模块提取细粒度特征；
在训练阶段，训练样本对输入孪生网络，孪生网络由两个完全相同的分支构成，并共享权重；在测试阶段，测试样本直接输入孪生网络中的一个支路；通过孪生网络支路获得样本特征；
S6：进行孪生网络对比学习训练；
将训练集中的训练样本对输入孪生网络，通过对比损失函数更新网络参数；
S7：进行孪生网络分类学习训练；
进入分类学习训练阶段，使用平均池化操作从特征中提取特征向量，然后使用全连接层来生成预测值，选出概率值最大的标签作为预测标签；
S8：确定高光谱像元类别；
训练好网络模型后，将测试集的测试样本输入到模型中进行像元分类；测试样本通过S5利用孪生网络中的一个支路获得分类特征，然后使用平均池化操作从分类特征中提取特征向量，然后使用全连接层来生成预测值，最终选出概率值最大的标签作为最终分类结果。
进一步地，S5包括以下步骤：
S51：通过膨胀-余弦注意力模块获得带权重的特征；
首先利用谱维度膨胀卷积将输入特征的谱维度减半，再利用余弦相似度计算相邻像素与中心像素的相关程度得到权重掩码，最后将得到的权重掩码与输入特征相乘得到带权重的特征图；
S52：通过残差-密集混合多路模块提取多路特征；
输入特征先在谱维度填充0，保证后续组卷积操作的分组数是整数，再依次经过两个串联的残差-密集混合多路模块来提取特征，利用组卷积操作提取局部残差特征、全局密集特征，利用普通卷积提取全局残差特征，然后利用元素级相加和谱维度拼接来融合三路特征；
S53：通过多核深度特征提取模块提取细粒度特征；
多路特征作为输入，通过多核深度特征提取模块提取细粒度特征，在单个残差块内构建分层的类残差连接来提取细粒度特征，使用多核多尺度卷积来增加每个网络层的接受域范围，通过在光谱维度分组，对光谱块进行多核多尺度卷积及层级跳跃连接，提取图像的语义信息；
S54：通过孪生网络支路获得样本特征；
孪生网络支路一与孪生网络支路二构成相同；如果在训练阶段，训练样本对通过两个孪生网络支路获得训练样本对特征；如果在测试阶段，测试样本通过孪生网络中的一个支路获得分类特征。
进一步地，S51通过膨胀-余弦注意力模块获得带权重的特征，包括以下步骤：
S511：膨胀卷积操作；
输入Xn经过核大小为3×1×1，膨胀率为2的膨胀卷积dilatedconv1，将谱带从B减少到B/2得到的通道减半的特征其具体过程如公式(1)和(2)所示；
Kequ＝Kreal+(Kreal-1)×(SDR-1) (1)
其中SDR表示膨胀率，Kequ表示光谱深度的等效卷积核大小，Kreal表示在光谱深度上的实卷积核大小，*表示卷积操作；
S512：批归一化(BN)和sigmoid激活操作；
将步骤S511得到的通道减半的特征输入到由批归一化(BN)层和sigmoid激活层串联的操作中，得到输出特征其中sigmoid激活层将特征对应数值限制在(0，1)，输出由下式(3)得到；
S513：计算中心像素与邻域像素余弦相似度；
将S512输出的特征通过余弦相似度公式，即下式(4)来计算中心像素与其相邻像素的余弦相似度，得到空间权重掩码M；
其中mi，j表示权重掩码M的第i行第j列的值，T表示转置操作，表示转置操作后的第i行第j列的值，表示的中心像素；||·||表示二范数运算，·表示乘运算；
S514：权重与输入相乘，获得注意力模块特征X′n；
将步骤S513得到的空间权重掩码M与输入Xn相乘得到输出注意力模块特征X′n。
进一步地，S52通过残差-密集混合多路模块提取多路特征，输入依次经过两个串联的残差-密集混合多路模块来提取特征，包括以下步骤：
S521：谱维度填充；
对步骤S514的得到的X′n进行谱维度填充0，保证后续组卷积操作的分组数是整数，将谱维度B填充0到B′得到其中B′如公式(5)所示；
其中ceil(·)表示向上取整，groups表示分组的组数；
S522：多路特征提取预处理；
将步骤S521得到的结果依次经过：卷积核大小为1×1×1分组数为5输出为320个通道的组卷积层grouppreconditioning1→批归一化层→relu激活层，得到输出X′n1，如公式(6)所示；
其中grouppreconditioning1(·)表示组卷积预处理操作，BN表示批归一化操作，relu表示relu激活函数；
S523：通过组卷积局部特征支路，提取组卷积局部特征；
将步骤S522得到结果X′n1经过两个串联的GC操作GC1和GC2得到组卷积局部特征输出GC1表示第一个GC操作，GC2表示第二个GC操作；
S524：通过全局残差特征支路，提取全局残差特征；
与组卷积局部特征提取的同时，X′n1通过两个串联的普通卷积和一个跳跃连接操作得到全局残差特征输出
S525：通过全局密集特征支路，提取全局密集特征；
与组卷积局部特征和全局残差特征提取的同时，X′n1通过S523中GC1操作后直接通过跳跃连接作为全局密集特征参与后续操作；如下式(7)所示；
S526：三路特征进行聚合，包括以下步骤：
1)与相加得到输出
2)符号与进行谱维度的拼接得到聚合特征X″n；
S527：残差-密集混合多路模块构成及操作封装；
步骤S521-S525构成了一个残差-密集混合多路模块，对应的模块组合操作能够封装为BX操作，如下式(8)所示；
S528：获取最终的多路特征XnD，包括以下步骤：
1)第一个残差-密集混合多路模块的输出X″n作为输入进入第二个残差-密集混合多路模块得到输出X′nD，如公式(9)所示；
X′nD＝BX(X″n) (9)
2)X′nD通过多路特征获取预处理操作，获得最终的多路特征XnD；
X′nD依次经过串联的：卷积核大小为1×1×1分组数为5输出为320个通道的组卷积层grouppreconditioning2→批归一化层→relu激活层，得到最终的多路特征特征XnD，由下式(10)所示：
XnD＝relu(BN(grouppreconditioning2(X′nD))) (10)
其中grouppreconditioning2表示组卷积预处理操作，BN表示批归一化操作，relu表示relu激活函数。
进一步地，S523具体包括如下步骤：
1)GC操作由卷积核大小为1×1×1分组数为5输出为320个通道的组卷积层groupGC→批归一化层→relu激活层构成，如下式(11)所示：
GC(ω)＝relu(BN(groupGC(ω))) (11)
其中groupGC(·)表示组卷积操作，BN表示批归一化操作，relu表示relu激活函数，ω表示待处理对象；
2)X′n1经过两个串联的GC操作得到输出组卷积局部特征如下式(12)所示；
其中GC1表示第一个GC操作，GC2表示第二个GC操作。
进一步地，S524具体包括如下步骤：
1)输入X′n1依次经过Conv1BnRelu操作即：卷积核大小为1×1×1输出为32个通道的普通卷积层1→批归一化层→relu激活层，和Conv2BnRelu操作即：卷积核大小为1×1×1输出为320个通道的普通卷积层2→批归一化层→relu激活层，得到输出
2)输入X′n1与通过跳跃连接相加，得到全局残差特征
进一步地，S53通过多核深度特征提取模块提取细粒度特征，包括以下步骤：
S531：特征段划分；
将XnD沿着谱维度平均划分成5个特征段，即{xs1n，xs2n，xs3n，xs4n，xs5n}，每个子特征段通道数为64；
S532：提取五个特征段对应的细粒度特征，包括以下步骤：
1)第一特征段细粒度特征提取，输出结果ys1n；
保留第一个特征段xs1n作为第一个特征段细粒度输出特征ys1n；
2)第二特征段细粒度特征提取，输出结果ys2n；
将第一特征段xs1n进行多核多尺度组卷积操作得到输出ys′1n，再与第二特征段xs2n相加得到第二特征段细粒度输出特征ys2n；
3)第三特征段细粒度特征提取，输出结果ys3n；
第二特征段细粒度输出特征ys2n进行多核多尺度组卷积操作，与第三特征段xs3n相加得到第三特征段细粒度输出特征ys3n；
4)第四特征段细粒度特征提取，输出结果ys4n；
第三特征段细粒度输出特征ys3n进行多核多尺度组卷积操作操作，与第四特征段xs4n相加得到第四特征段细粒度输出特征ys4n；
5)第五特征段细粒度特征提取，输出结果ys5n；
第四特征段细粒度输出特征ys4n进行多核多尺度组卷积操作操作，与第五特征段xs5相加得到第五特征段细粒度输出特征ys5n；
S533：获取总的细粒度特征YSnF，包括以下步骤：
1)特征维度拼接；
将五个特征段细粒度特征输出{ys1n，ys2n，ys3n，ys4n，ys5n}沿着谱维度拼接得到YS′nF，由下式(13)所示；
YS′nF＝Concate(ys1n，ys2n，ys3n，ys4n，ys5n) (13)
2)将YS′nF与XnD相加得到总的细粒度特征YSnF。
进一步地，S532中的多核多尺度组卷积操作由和两个并行支路以及谱维度保持卷积组成；
①支路；
由卷积核大小为3×1×1分组数为2输入和输出通道为64的组卷积层groupconv3×1×1→批归一化层→relu激活层依次串联组成，将这一系列操作命名为操作，由下式(14)表示；
②支路；
由卷积核大小为5×1×1分组数为2输入和输出通道为64的组卷积层groupconv5×1×1→批归一化层→relu激活层依次串联组成，将这一系列操作命名为操作，由下式(15)表示；
③支路结果拼接；
将操作和操作分别取得的结果沿着谱维度拼接，命名为操作，如下式(16)所示：
④谱维度保持；
谱维度保持卷积依次使用卷积核大小为1×1×1分组数为2输入通道为128输出通道为64的组卷积层groupconv1×1×1→批归一化层→relu激活层；
⑤组合构成多核多尺度组卷积
将上述①-④组合操作记为操作，由下式(17)所示；
进一步地，S54通过孪生网络支路获得样本特征，具体包括：
孪生网络支路一与孪生网络支路二构成相同，将步骤S51至S53对应的孪生网络单个支路整体操作记为f(·)操作，并获得对应样本特征；如果在训练阶段，训练样本对(Xn，Xm)通过两个孪生网络支路获得训练样本对特征，f(Xn)表示孪生网络支路一特征提取操作，f(Xm)表示孪生网络支路二特征提取操作；如果在测试阶段，测试样本xtest通过孪生网络中的一个支路获得分类特征YStest。
与现有技术相比，本发明的优点在于：
1.多路多尺度特征提取：通过多路特征提取模块，可以同时提取不同尺度和层次的特征，从而捕捉到图像中的更多细节和上下文信息。这有助于提高分类性能，尤其对于高光谱图像这种具有丰富信息的数据类型尤为重要。
2.孪生网络对比学习：通过对比损失函数进行网络训练，可以使得网络能够更好地学习到样本间的相似性和差异性。能够有效地克服小样本问题，提高分类精度。
3.膨胀-余弦注意力模块：通过膨胀-余弦注意力模块，可以为特征图中的每个位置赋予不同的权重，从而使得网络能够更加关注重要的特征区域。有助于提高分类性能和减少冗余特征的影响。
4.残差-密集混合多路模块：通过残差连接和密集混合的方式，可以提取更加鲁棒和丰富的特征表示。有助于增强网络的表达能力和分类性能。
5.多核深度特征提取模块：通过多核深度特征提取模块，可以提取细粒度特征，捕捉到更加细致的图像信息。有助于增强网络对于高光谱图像中复杂和细微特征的识别能力。
6.小样本需求：多路多尺度特征孪生网络在小样本场景下仍能表现出色。由于其能够利用数据增强技术和自适应权重分配，能够充分利用有限的带标签训练样本，减轻了对大量标注数据的需求，降低了数据收集和标注的成本。
7.高分类精度：多路多尺度特征孪生网络通过融合多个尺度的特征图，能够更全面地捕捉图像的特征信息。多尺度的特征融合可以提高分类模型的表达能力，从而达到更高的分类精度，提升了小样本场景下的分类性能。
8.鲁棒性强：多路多尺度特征孪生网络通过融合不同尺度的特征图，能够对图像中的不同尺度和角度的变化具有较好的适应性。这使得模型在面对视角变化、光照变化、噪声等干扰时具有更强的鲁棒性，提高了模型在实际应用中的稳定性和可靠性。
9.可扩展性好：多路多尺度特征孪生网络的结构可以根据需求进行调整和扩展。可以根据特定任务的要求，增加或减少特征提取模块的数量和尺度，灵活适应不同的数据和任务场景，具有较好的可扩展性和通用性。
10.高效性：多路多尺度特征孪生网络的结构简单且参数量较小，能够在计算资源有限的情况下高效地进行训练和推理。这使得模型能够适应边缘设备、移动设备等资源受限的场景，具有较高的实用性和应用价值。
附图说明
图1为本发明实施例基于多路多尺度特征孪生网络的小样本高光谱分类方法的流程图。
图2为本发明实施例膨胀-余弦注意力模块示意图。
图3为本发明实施例残差-密集混合多路模块示意图。
图4为本发明实施例多核深度特征提取模块示意图。
图5为本发明实施例多核多尺度组卷积模块示意图。
图6为实验中的Pavia University高光谱数据的单一波段显示图像。
图7为实验中在Pavia University高光谱数据中所选取的真实地物分布图。
图8为实验中采用的两种不同方法对数据集分类后与之对应的各类地物的分类分布图，其中a，b分别对应着数据集的3DCSN分类分布图和本发明方法分类分布图。
图9为3DCSN分类方法和本发明方法在总体分类精度，类别平均分类精度和Kappa系数评价指标上的结果。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白，以下根据附图并列举实施例，对本发明做进一步详细说明。
如图1所示，本发明提供一种基于多路多尺度特征孪生网络的小样本高光谱分类方法，包括以下步骤：
1、读入高光谱图像数据。
读入三维的高光谱高维数据S∈RW×H×B。其中∈表示属于符号，R表示实数域符号，W表示高光谱图像的宽，H表示高光谱图像的高，B表示高光谱图像的高光波段数。并读入每个像素的真实标签Y∈(Y1，Y2，…，Yi，…YE)，i∈(1，E)其中Yi是对应每个像素的标签值，E表示一共E个像素点。
2.数据块划分。
2.1、将读入的原始高光谱图像边缘填充0像素，填充的尺寸为在图像空间维度即宽高四周分别扩充并填充4像素。
2.2、在填充操作后的高光谱图像中，以原始高光谱图像每个像素点为中心像，逐像素划分成9×9×B的E个数据块。
2.3、去除标签值为0的数据块及其标签，最终得到Q个数据块和对应中心像素标签的Q个标签值。
3、生成样本对训练集和测试集。
3.1、从Q个数据块中每类随机选取三个样本，共3×C个样本集，其余的样本作为测试集Xtest，xtest是测试集中的测试样本。其中C表示读入的高光谱图像的总类别数。
3.2、将3×C个样本集中的每个样本与其余样本配对得到(3×C)(3×C-1)个样本对(Xn，Xm)，即训练集，和对应的标签对(Yn，Ym)。其中Xn和Xm分别表示组成样本对的两个样本，Yn和Ym分别表示Xn和Xm的标签，其中n，m∈(1，2，…，(3×C)(3×C-1))。
4、生成样本对训练集的标签。
对训练集通过判断标签对(Yn，Ym)的一致性给样本对赋予标签Xn，m。若标签对的值是一致的，则这对样本的标签Xn，m为1，若标签对的值不一致则这对样本的标签Yn，m为0，如公式(1)所示。
5、通过孪生网络支路的膨胀-余弦注意力模块，残差-密集混合多路模块和多核深度特征提取模块提取样本特征。
在训练阶段，训练样本对(Xn，Ym)输入孪生网络，孪生网络由两个完全相同的分支构成，并共享权重，Xn送入孪生网络支路一，将样本Xm送入孪生网络支路二，下边以孪生网络支路一的构成来进行展开介绍，孪生网络支路二为相同的模块构成。在测试阶段，测试样本xtest直接输入孪生网络中的一个支路。
5.1、通过膨胀-余弦注意力模块获得带权重的特征。
输入样本通过膨胀-余弦注意力模块获得带权重的特征，其具体处理可以参照图2。
5.1.1、膨胀卷积操作。
输入Xn经过核大小为3×1×1，膨胀率为2的膨胀卷积dilatedconv1，将谱带从B减少到B/2得到的通道减半的特征其具体过程如公式(2)和(3)所示。
Kequ＝Kreal+(Kreal-1)×(SDR-1) (2)
其中SDR表示膨胀率，Kequ表示光谱深度的等效卷积核大小，Kreal表示在光谱深度上的实卷积核大小，*表示卷积操作。
5.1.2、批归一化(BN)和sigmoid激活操作。
将步骤5.1.1得到的通道减半的特征输入到由批归一化(BN)层和sigmoid激活层串联的操作中，得到输出特征其中sigmoid激活层将特征对应数值限制在(0，1)，输出由下式(4)得到。
5.1.3、计算中心像素与邻域像素余弦相似度。
将5.1.2输出的特征通过余弦相似度公式，即下式(5)来计算中心像素与其相邻像素的余弦相似度，得到空间权重掩码M。
其中mi，j表示权重掩码M的第i行第j列的值，T表示转置操作，表示转置操作后的第i行第j列的值，表示的中心像素。||·||表示二范数运算，·表示乘运算。
5.1.4、权重与输入相乘，获得注意力模块特征X′n
将步骤5.1.3得到的空间权重掩码M与输入Xn相乘得到输出注意力模块特征X′n。由下式(6)表示。
X′n＝M⊙Xn (6)
其中⊙表示逐像素相乘。
5.2、通过残差-密集混合多路模块提取多路特征。
通过残差-密集混合多路模块提取多路特征，输入依次经过两个串联的残差-密集混合多路模块来提取特征，其具体处理可以参照图3。
5.2.1、谱维度填充。
对步骤5.1.4的得到的X′n进行谱维度填充0，保证后续组卷积操作的分组数是整数，将谱维度B填充0到B′得到其中B′如公式(7)所示。
其中ceil(·)表示向上取整，groups表示分组的组数。
5.2.2、多路特征提取预处理。
将步骤5.2.1得到的结果依次经过：卷积核大小为1×1×1分组数为5输出为320个通道的组卷积层grouppreconditioning1→批归一化层→relu激活层，得到输出X′n1，如公式(8)所示。
其中grouppreconditioning1(·)表示组卷积预处理操作，BN表示批归一化操作，relu表示relu激活函数。
5.2.3通过组卷积局部特征支路，提取组卷积局部特征。
将步骤5.2.2得到结果X′n1经过两个串联的GC操作得到组卷积局部特征输出
1)GC操作由卷积核大小为1×1×1分组数为5输出为320个通道的组卷积层groupGC→批归一化层→relu激活层构成，如下式(9)所示：
GC(ω)＝relu(BN(groupGC(ω))) (9)
其中groupGC(·)表示组卷积操作，BN表示批归一化操作，relu表示relu激活函数，ω表示待处理对象。
2)X′n1经过两个串联的GC操作得到输出组卷积局部特征如下式(10)所示。
其中GC1表示第一个GC操作，GC2表示第二个GC操作。
5.2.4、通过全局残差特征支路，提取全局残差特征。
与组卷积局部特征提取的同时，X′n1通过两个串联的普通卷积和一个跳跃连接操作得到全局残差特征输出
1)输入X′n1依次经过Conv1BnRelu操作即：卷积核大小为1×1×1输出为32个通道的普通卷积层1→批归一化层→relu激活层，和Conv2BnRelu操作即：卷积核大小为1×1×1输出为320个通道的普通卷积层2→批归一化层→relu激活层，得到输出可由公式(11)表示。
2)输入X′n1与通过跳跃连接相加，得到全局残差特征，如下式(12)所示。
5.2.5、通过全局密集特征支路，提取全局密集特征。
与组卷积局部特征和全局残差特征提取的同时，X′n1通过5.2.3中GC1操作后直接通过跳跃连接作为全局密集特征参与后续操作。如下式(13)所示。
5.2.6、三路特征进行聚合。
1)与相加得到输出如下式(14)所示。
2)符号与进行谱维度的拼接得到聚合特征X″n。即下式(15)所示。
其中Concate表示沿谱维度拼接操作。
5.2.7、残差-密集混合多路模块构成及操作封装。
步骤5.2.1-5.2.5构成了一个残差-密集混合多路模块，对应的模块组合操作可以封装为BX操作，如下式(16)所示。
5.2.8、获取最终的多路特征XnD。
1)第一个残差-密集混合多路模块的输出X″n作为输入进入第二个残差-密集混合多路模块得到输出X′nD，如公式(17)所示。
X′nD＝BX(X″n) (17)
2)X′nD通过多路特征获取预处理操作，获得最终的多路特征XnD。
X′nD依次经过串联的：卷积核大小为1×1×1分组数为5输出为320个通道的组卷积层grouppreconditioning2→批归一化层→relu激活层，得到最终的多路特征特征XnD，由下式(18)所示：
XnD＝relu(BN(grouppreconditioning2(X′nD))) (18)
其中grouppreconditioning2表示组卷积预处理操作，BN表示批归一化操作，relu表示relu激活函数。
5.3、通过多核深度特征提取模块提取细粒度特征。
多路特征XnD作为输入，通过多核深度特征提取模块提取细粒度特征，在单个残差块内构建了分层的类残差连接来提取细粒度特征，使用多核多尺度卷积来增加每个网络层的接受域范围，具体操作可以参照图4。
5.3.1、特征段划分。
将XnD沿着谱维度平均划分成5个特征段，即{xs1n，xs2n，xs3n，xs4n，xs5n}，每个子特征段通道数为64。
5.3.2、提取五个特征段对应的细粒度特征。
1)第一特征段细粒度特征提取，输出结果ys1n。
保留第一个特征段xs1n作为第一个特征段细粒度输出特征ys1n。如下式(19)所示。
ys1n＝xs1n (19)
2)第二特征段细粒度特征提取，输出结果ys2n。
将第一特征段xs1n进行多核多尺度组卷积操作得到输出ys′1n，再与第二特征段xs2n相加得到第二特征段细粒度输出特征ys2n，如下式(20)和(21)所示。
ys2n＝xs2n+ys′1n (20)
其中的多核多尺度组卷积操作主要由和两个并行支路以及谱维度保持卷积组成。
①支路。
由卷积核大小为3×1×1分组数为2输入和输出通道为64的组卷积层groupconv3×1×1→批归一化层→relu激活层依次串联组成，将这一系列操作命名为操作，由下式(22)表示。
②支路。
由卷积核大小为5×1×1分组数为2输入和输出通道为64的组卷积层groupconu5×1×1→批归一化层→relu激活层依次串联组成，将这一系列操作命名为操作，由下式(23)表示。
③支路结果拼接。
将操作和操作分别取得的结果沿着谱维度拼接，命名为操作，如下式(24)所示：
④谱维度保持。
谱维度保持卷积依次使用卷积核大小为1×1×1分组数为2输入通道为128输出通道为64的组卷积层groupconv1×1×1→批归一化层→relu激活层。
⑤组合构成多核多尺度组卷积
将上述①-④组合操作记为操作如，由下式(25)所示。
3)第三特征段细粒度特征提取，输出结果ys3n。
第二特征段细粒度输出特征ys2n进行多核多尺度组卷积操作操作，与第三特征段xs3n相加得到第三特征段细粒度输出特征ys3n，如下式(26)所示。
4)第四特征段细粒度特征提取，输出结果ys4n。
第三特征段细粒度输出特征ys3n进行多核多尺度组卷积操作操作，与第四特征段xs4n相加得到第四特征段细粒度输出特征ys4n，如下式(27)所示。
5)第五特征段细粒度特征提取，输出结果ys5n。
第四特征段细粒度输出特征ys4n进行多核多尺度组卷积操作操作，与第五特征段xs5相加得到第五特征段细粒度输出特征ys5n，如下式(28)所示。
5.3.3、获取总的细粒度特征YSnF。
1)特征维度拼接。
将五个特征段细粒度特征输出{ys1n，ys2n，ys3n，ys4n，ys5n}沿着谱维度拼接得到YS′nF，由下式(29)所示。
YS′nF＝Concate(ys1n，ys2n，ys3n，ys4n，ys5n) (29)
2)将YS′nF与XnD相加得到总的细粒度特征YSnF，如公式(30)表示。
YSnF＝YS′nF+XnD (30)
5.4通过孪生网络支路获得样本特征。
孪生网络支路一与孪生网络支路二构成相同，将步骤5.1-5.3对应的孪生网络单个支路整体操作记为f(·)操作，并获得对应样本特征。如果在训练阶段，训练样本对(Xn，Xm)通过两个孪生网络支路获得训练样本对特征，f(Xn)表示孪生网络支路一特征提取操作，f(Xm)表示孪生网络支路二特征提取操作。如果在测试阶段，测试样本xtest通过孪生网络中的一个支路获得分类特征YStest。
6、进行孪生网络对比学习训练。
将训练集中的训练样本对(Xn，Xm)输入孪生网络，Xn送入孪生网络支路一，将样本Xm送入孪生网络支路二。设θ为对比学习过程中的参数，通过下式(31)来更新θ：
θ＝argmin(Lcontra{f(Xn)，f(Xm)，Yn，m；θ}) (31)
其中Lcontra表示的是对比损失函数，其中Yn，m表示样本对标签。Lcontra具体公式由下式(32)所示。
其中margin是边界间隔用于定义样本的分类边界，其典型值为1.25。d是两个特征向量之间的欧氏距离通过下式(33)得到。
d＝||f(Xn)-f(Xm)||2 (33)
其中||·||2表示欧式距离计算。
7、进行孪生网络分类学习训练。
步骤6之后进入分类学习训练阶段，使用平均池化操作从特征中提取1×1×128个特征向量，然后使用全连接层来生成大小为1×C个预测值，其中C表示数据集类别数，选出概率值最大的标签作为预测标签，即下式(34)所示。
是第i个训练样本的预测标签，Avgpool表示平均池化操作，Linear表示全连接层操作，max表示取最大值。
像元类别预测过程使用交叉熵损失函数来训练θ，通过反向传播算法来调整θ得到最小化损失函数，θ由下式(35)和(36)更新：
θ＝argmin{Lcross-entropy[f(Xi)]，Yi；θ} (36)
其中Lcross-entropy交叉熵损失函数，Yi是第i个训练样本的真实标签值。
8、确定高光谱像元类别。
训练好网络模型后，将测试集的测试样本输入到模型中进行像元分类。测试样本xtest通过步骤5利用孪生网络中的一个支路获得分类特征YStest，然后使用平均池化操作从分类特征中提取1×1×128个特征向量，然后使用全连接层来生成大小为1×C个预测值，最终选出概率值最大的标签作为最终分类结果。即下式(37)所示。
YZ＝max(Linear(Avgpool(YStest))) (37)
值得注意的是：步骤8针对高光谱图像中的每个测试样本都要运行一遍，最终输出本发明下的高光谱图像分类结果YZ。图1给出了本发明方法的流程图。
为了说明本发明的有效性，特进行如下实验论证。
其中采用Pavia University高光谱数据集来验证本发明方法的适用性，如图6和7所示。
帕维亚大学数据是由帕维亚大学使用反射光学系统成像光谱仪(ROSIS)传感器拍摄的。该传感器可捕获430～860nm范围内光谱波段。该数据集有103个光谱波段，610×340像素。数据场景中包含九个土地覆盖类别。从9种实际地物分布样本中每类随机抽取3个样本数据作为训练样本。
在对高光谱图像进行分类时，本发明方法与3DCSN方法进行对比。
运用三种方法分类后与之对应的各类地物的分类分布图如8所示，可以很直观的看到相对于3DCSN方法分类，本发明的方法分类效果图好。
三种分类方法的三个分类评价指标即总体分类精度，类别平均分类精度和Kappa系数如图9所示，其中总体分类精度、类别平均分类精度和Kappa系数越高图像的分类效果就越好。较之3DCSN，本发明方法从总体分类精度，类别平均分类精度和Kappa系数来看分别高出15.46％，15.92％，18.08％。通过实验的对比分析可以进一步看出本发明方法优势所在。
上述根据本发明的方法可在硬件、固件中实现，或者被实现为可存储在记录介质(诸如CD ROM、RAM、软盘、硬盘或磁光盘)中的软件或计算机代码，或者被实现通过网络下载的原始存储在远程记录介质或非暂时机器可读介质中并将被存储在本地记录介质中的计算机代码，从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件(诸如ASIC或FPGA)的记录介质上的这样的软件处理。可以理解，计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件(例如，RAM、ROM、闪存等)，当所述软件或计算机代码被计算机、处理器或硬件访问且执行时，实现在此描述的基于多路多尺度特征孪生网络的小样本高光谱分类方法。此外，当通用计算机访问用于实现在此示出的处理的代码时，代码的执行将通用计算机转换为用于执行在此示出的处理的专用计算机。
本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的实施方法，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。

Claims (6)

1.一种基于多路多尺度特征孪生网络的小样本高光谱分类方法，其特征在于，包括以下步骤：
S1：读入高光谱图像数据；
读入三维的高光谱高维数据和每个像素的真实标签；
S2：数据块划分；
将读入的原始高光谱图像边缘填充0像素，填充的尺寸为在图像空间维度即宽高四周分别扩充并填充4像素；在填充操作后的高光谱图像中，以原始高光谱图像每个像素点为中心像，逐像素划分成数据块；去除标签值为0的数据块及其标签；
S3：生成样本对训练集和测试集；
从去除标签值为0后的数据块中每类随机选取三个样本，作为样本集，其余的样本作为测试集；再将样本集中的每个样本与其余样本配对得到样本对集，即训练集，和对应的标签对；
S4：生成样本对训练集的标签；
对训练集通过判断标签对的一致性给样本对赋予标签；若标签对的值是一致的，则这对样本的标签为1，若标签对的值不一致则这对样本的标签为0；
S5：通过孪生网络支路的膨胀-余弦注意力模块获得带权重的特征,通过残差-密集混合多路模块提取多路特征，通过多核深度特征提取模块提取细粒度特征；
在训练阶段，训练样本对输入孪生网络，孪生网络由两个完全相同的分支构成，并共享权重；在测试阶段，测试样本直接输入孪生网络中的一个支路；通过孪生网络支路获得样本特征；
S5的子步骤如下：
S51：通过膨胀-余弦注意力模块获得带权重的特征；
首先利用谱维度膨胀卷积将输入特征的谱维度减半，再利用余弦相似度计算相邻像素与中心像素的相关程度得到权重掩码，最后将得到的权重掩码与输入特征相乘得到带权重的特征图；
S52：通过残差-密集混合多路模块提取多路特征；
输入特征先在谱维度填充0，保证后续组卷积操作的分组数是整数，再依次经过两个串联的残差-密集混合多路模块来提取特征，利用组卷积操作提取局部残差特征、全局密集特征，利用普通卷积提取全局残差特征，然后利用元素级相加和谱维度拼接来融合三路特征；
S53：通过多核深度特征提取模块提取细粒度特征；
多路特征作为输入，通过多核深度特征提取模块提取细粒度特征，在单个残差块内构建分层的类残差连接来提取细粒度特征，使用多核多尺度卷积来增加每个网络层的接受域范围，通过在光谱维度分组，对光谱块进行多核多尺度卷积及层级跳跃连接，提取图像的语义信息；
S54：通过孪生网络支路获得样本特征；
孪生网络支路一与孪生网络支路二构成相同；如果在训练阶段，训练样本对通过两个孪生网络支路获得训练样本对特征；如果在测试阶段，测试样本通过孪生网络中的一个支路获得分类特征；
S6：进行孪生网络对比学习训练；
将训练集中的训练样本对输入孪生网络，通过对比损失函数更新网络参数；
S7：进行孪生网络分类学习训练；
进入分类学习训练阶段，使用平均池化操作从特征中提取特征向量，然后使用全连接层来生成预测值，选出概率值最大的标签作为预测标签；
S8：确定高光谱像元类别；
训练好网络模型后，将测试集的测试样本输入到模型中进行像元分类；测试样本通过S5利用孪生网络中的一个支路获得分类特征，然后使用平均池化操作从分类特征中提取特征向量，然后使用全连接层来生成预测值，最终选出概率值最大的标签作为最终分类结果。
2.根据权利要求1所述的一种基于多路多尺度特征孪生网络的小样本高光谱分类方法，其特征在于：S51通过膨胀-余弦注意力模块获得带权重的特征，包括以下步骤：
S511：膨胀卷积操作；
输入Xn经过核大小为3×1×1，膨胀率为2的膨胀卷积dilatedconv1，将谱带从B减少到B/2得到的通道减半的特征其具体过程如公式(1)和(2)所示；
Kequ＝Kreal+(Kreal-1)×(SDR-1) (1)
其中SDR表示膨胀率，Kequ表示光谱深度的等效卷积核大小，Kreal表示在光谱深度上的实卷积核大小，*表示卷积操作；
S512：批归一化(BN)和sigmoid激活操作；
将步骤S511得到的通道减半的特征输入到由批归一化(BN)层和sigmoid激活层串联的操作中，得到输出特征其中sigmoid激活层将特征对应数值限制在(0,1)，输出由下式(3)得到；
S513：计算中心像素与邻域像素余弦相似度；
将S512输出的特征通过余弦相似度公式，即下式(4)来计算中心像素与其相邻像素的余弦相似度，得到空间权重掩码M；
其中mi,j表示权重掩码M的第i行第j列的值，T表示转置操作，表示转置操作后的第i行第j列的值，表示的中心像素；‖·‖表示二范数运算，·表示乘运算；
S514：权重与输入相乘，获得注意力模块特征X′n；
将步骤S513得到的空间权重掩码M与输入Xn相乘得到输出注意力模块特征X′n。
3.根据权利要求2所述的一种基于多路多尺度特征孪生网络的小样本高光谱分类方法，其特征在于：S52通过残差-密集混合多路模块提取多路特征，输入依次经过两个串联的残差-密集混合多路模块来提取特征，包括以下步骤：
S521：谱维度填充；
对步骤S514的得到的X′n进行谱维度填充0，保证后续组卷积操作的分组数是整数，将谱维度B填充0到B′得到其中B′如公式(5)所示；
其中ceil(·)表示向上取整，groupd表示分组的组数；
S522：多路特征提取预处理；
将步骤S521得到的结果依次经过：卷积核大小为1×1×1分组数为5输出为320个通道的组卷积层grouppreconditioning1→批归一化层→relu激活层，得到输出X′n1，如公式(6)所示；
其中grouppreconditioning1(·)表示组卷积预处理操作，BN表示批归一化操作，relu表示relu激活函数；
S523：通过组卷积局部特征支路，提取组卷积局部特征；
将步骤S522得到结果X′n1经过两个串联的GC操作GC1和GC2得到组卷积局部特征输出GC1表示第一个GC操作，GC2表示第二个GC操作；
S523的子步骤如下：
1)GC操作由卷积核大小为1×1×1分组数为5输出为320个通道的组卷积层groupGC→批归一化层→relu激活层构成，如下式(11)所示：
GC(ω)＝relu(BN(groupGC(ω))) (11)
其中groupGC(·)表示组卷积操作，BN表示批归一化操作，relu表示relu激活函数,ω表示待处理对象；
2)X′n1经过两个串联的GC操作得到输出组卷积局部特征如下式(12)所示；
其中GC1表示第一个GC操作，GC2表示第二个GC操作；
S524：通过全局残差特征支路，提取全局残差特征；
与组卷积局部特征提取的同时，X′n1通过两个串联的普通卷积和一个跳跃连接操作得到全局残差特征输出
S525：通过全局密集特征支路，提取全局密集特征；
与组卷积局部特征和全局残差特征提取的同时，X′n1通过S523中GC1操作后直接通过跳跃连接作为全局密集特征参与后续操作；如下式(7)所示；
S526：三路特征进行聚合，包括以下步骤：
1)与相加得到输出
2)符号与进行谱维度的拼接得到聚合特征X″n；
S527：残差-密集混合多路模块构成及操作封装；
步骤S521-S525构成了一个残差-密集混合多路模块，对应的模块组合操作能够封装为BX操作，如下式(8)所示；
S528：获取最终的多路特征XnD，包括以下步骤：
1)第一个残差-密集混合多路模块的输出X″n作为输入进入第二个残差-密集混合多路模块得到输出X′nD，如公式(9)所示；
X′nD＝BX(X″n) (9)
2)X′nD通过多路特征获取预处理操作，获得最终的多路特征XnD；
X′nD依次经过串联的：卷积核大小为1×1×1分组数为5输出为320个通道的组卷积层grouppreconditioning2→批归一化层→relu激活层，得到最终的多路特征特征XnD，由下式(10)所示：
XnD＝relu(BN(grouppreconditioning2(X′nD))) (10)
其中grouppreconditioning2表示组卷积预处理操作，BN表示批归一化操作，relu表示relu激活函数。
4.根据权利要求3所述的一种基于多路多尺度特征孪生网络的小样本高光谱分类方法，其特征在于，S524具体包括如下步骤：
1)输入X′n1依次经过Conv1BnRelu操作即：卷积核大小为1×1×1输出为32个通道的普通卷积层1→批归一化层→relu激活层，和Conv2BnRelu操作即：卷积核大小为1×1×1输出为320个通道的普通卷积层2→批归一化层→relu激活层，得到输出
2)输入X′n1与通过跳跃连接相加,得到全局残差特征
5.根据权利要求4所述的一种基于多路多尺度特征孪生网络的小样本高光谱分类方法，其特征在于：S53通过多核深度特征提取模块提取细粒度特征，包括以下步骤：
S531：特征段划分；
将XnD沿着谱维度平均划分成5个特征段，即{xs1n，xs2n，xs3n，xs4n，xs5n}，每个子特征段通道数为64；
S532：提取五个特征段对应的细粒度特征，包括以下步骤：
1)第一特征段细粒度特征提取，输出结果ys1n；
保留第一个特征段xs1n作为第一个特征段细粒度输出特征ys1n；
2)第二特征段细粒度特征提取，输出结果ys2n；
将第一特征段xs1n进行多核多尺度组卷积操作得到输出ys′1n，再与第二特征段xs2n相加得到第二特征段细粒度输出特征ys2n；
3)第三特征段细粒度特征提取，输出结果ys3n；
第二特征段细粒度输出特征ys2n进行多核多尺度组卷积操作，与第三特征段xs3n相加得到第三特征段细粒度输出特征ys3n；
4)第四特征段细粒度特征提取，输出结果ys4n；
第三特征段细粒度输出特征ys3n进行多核多尺度组卷积操作操作，与第四特征段xs4n相加得到第四特征段细粒度输出特征ys4n；
5)第五特征段细粒度特征提取，输出结果ys5n；
第四特征段细粒度输出特征ys4n进行多核多尺度组卷积操作操作，与第五特征段xs5相加得到第五特征段细粒度输出特征ys5n；
S533：获取总的细粒度特征YSnF，包括以下步骤：
1)特征维度拼接；
将五个特征段细粒度特征输出{ys1n，ys2n，ys3n，ys4n，ys5n}沿着谱维度拼接得到YS′nF，由下式(13)所示；
YS′nF＝Concate(ys1n,ys2n,ys3n,ys4n,ys5n) (13)
2)将YS′nF与XnD相加得到总的细粒度特征YSnF；
所述S532中的多核多尺度组卷积操作由和两个并行支路以及谱维度保持卷积组成；
①支路；
由卷积核大小为3×1×1分组数为2输入和输出通道为64的组卷积层groupconv3×1×1→批归一化层→relu激活层依次串联组成，将这一系列操作命名为操作，由下式(14)表示；
②支路；
由卷积核大小为5×1×1分组数为2输入和输出通道为64的组卷积层groupconv5×1×1→批归一化层→relu激活层依次串联组成，将这一系列操作命名为操作，由下式(15)表示；
③支路结果拼接；
将操作和操作分别取得的结果沿着谱维度拼接，命名为操作，如下式(16)所示：
④谱维度保持；
谱维度保持卷积依次使用卷积核大小为1×1×1分组数为2输入通道为128输出通道为64的组卷积层groupconv1×1×1→批归一化层→relu激活层；
⑤组合构成多核多尺度组卷积
将上述①-④组合操作记为操作，由下式(17)所示；
6.根据权利要求1所述的一种基于多路多尺度特征孪生网络的小样本高光谱分类方法，其特征在于：S54通过孪生网络支路获得样本特征，具体包括：
孪生网络支路一与孪生网络支路二构成相同，将步骤S51至S53对应的孪生网络单个支路整体操作记为f(·)操作，并获得对应样本特征；如果在训练阶段，训练样本对(Xn,Xm)通过两个孪生网络支路获得训练样本对特征，f(Xn)表示孪生网络支路一特征提取操作，f(Xm)表示孪生网络支路二特征提取操作；如果在测试阶段，测试样本xtest通过孪生网络中的一个支路获得分类特征YStest。
CN202311085390.2A 2023-08-28 2023-08-28 基于多路多尺度特征孪生网络的小样本高光谱分类方法 Active CN116977747B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311085390.2A CN116977747B (zh) 2023-08-28 2023-08-28 基于多路多尺度特征孪生网络的小样本高光谱分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311085390.2A CN116977747B (zh) 2023-08-28 2023-08-28 基于多路多尺度特征孪生网络的小样本高光谱分类方法

Publications (2)

Publication Number Publication Date
CN116977747A CN116977747A (zh) 2023-10-31
CN116977747B true CN116977747B (zh) 2024-01-23

Family

ID=88483235

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311085390.2A Active CN116977747B (zh) 2023-08-28 2023-08-28 基于多路多尺度特征孪生网络的小样本高光谱分类方法

Country Status (1)

Country Link
CN (1) CN116977747B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117496243B (zh) * 2023-11-06 2024-05-31 南宁师范大学 基于对比学习的小样本分类方法及系统

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106897681A (zh) * 2017-02-15 2017-06-27 武汉喜恩卓科技有限责任公司 一种遥感图像对比分析方法及系统
CN111199251A (zh) * 2019-12-27 2020-05-26 中国地质大学（北京） 一种基于加权邻域的多尺度高光谱图像分类方法
CN111640159A (zh) * 2020-05-11 2020-09-08 武汉大学 一种基于孪生卷积神经网络的遥感影像变化检测方法
CN112052755A (zh) * 2020-08-24 2020-12-08 西安电子科技大学 基于多路注意力机制的语义卷积高光谱图像分类方法
WO2021097055A1 (en) * 2019-11-14 2021-05-20 Nec Laboratories America, Inc. Domain adaptation for semantic segmentation via exploiting weak labels
CN113298734A (zh) * 2021-06-22 2021-08-24 云南大学 一种基于混合空洞卷积的图像修复方法及系统
CN114119532A (zh) * 2021-11-23 2022-03-01 云南电网有限责任公司电力科学研究院 一种基于遥感影像与孪生神经网络的建筑物变化检测方法
CN114821164A (zh) * 2022-04-13 2022-07-29 北京工业大学 基于孪生网络的高光谱图像分类方法
CN115131254A (zh) * 2022-06-30 2022-09-30 杭州电子科技大学 一种基于双域学习的恒定码率压缩视频质量增强方法
CN115578632A (zh) * 2021-11-30 2023-01-06 齐齐哈尔大学 基于膨胀卷积的高光谱图像分类方法
CN115908806A (zh) * 2022-11-23 2023-04-04 南京邮电大学 基于轻量级多尺度特征增强网络的小样本图像分割方法
CN116310510A (zh) * 2023-02-08 2023-06-23 西安电子科技大学 一种基于小样本深度学习的高光谱图像分类方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106897681A (zh) * 2017-02-15 2017-06-27 武汉喜恩卓科技有限责任公司 一种遥感图像对比分析方法及系统
WO2021097055A1 (en) * 2019-11-14 2021-05-20 Nec Laboratories America, Inc. Domain adaptation for semantic segmentation via exploiting weak labels
CN111199251A (zh) * 2019-12-27 2020-05-26 中国地质大学（北京） 一种基于加权邻域的多尺度高光谱图像分类方法
CN111640159A (zh) * 2020-05-11 2020-09-08 武汉大学 一种基于孪生卷积神经网络的遥感影像变化检测方法
CN112052755A (zh) * 2020-08-24 2020-12-08 西安电子科技大学 基于多路注意力机制的语义卷积高光谱图像分类方法
CN113298734A (zh) * 2021-06-22 2021-08-24 云南大学 一种基于混合空洞卷积的图像修复方法及系统
CN114119532A (zh) * 2021-11-23 2022-03-01 云南电网有限责任公司电力科学研究院 一种基于遥感影像与孪生神经网络的建筑物变化检测方法
CN115578632A (zh) * 2021-11-30 2023-01-06 齐齐哈尔大学 基于膨胀卷积的高光谱图像分类方法
CN114821164A (zh) * 2022-04-13 2022-07-29 北京工业大学 基于孪生网络的高光谱图像分类方法
CN115131254A (zh) * 2022-06-30 2022-09-30 杭州电子科技大学 一种基于双域学习的恒定码率压缩视频质量增强方法
CN115908806A (zh) * 2022-11-23 2023-04-04 南京邮电大学 基于轻量级多尺度特征增强网络的小样本图像分割方法
CN116310510A (zh) * 2023-02-08 2023-06-23 西安电子科技大学 一种基于小样本深度学习的高光谱图像分类方法

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
A Multipath and Multiscale Siamese Network Based on Spatial-Spectral Features for Few-Shot Hyperspectral Image Classification;Jinghui Yang等;《Remote Sensing 》;第15卷(第18期);1-23 *
Arnet: Attention-Based Refinement Network for Few-Shot Semantic Segmentation;Rusheng Li等;《ICASSP 2020 - 2020 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)》;2238-2242 *
Deformable Siamese Attention Networks for Visual Object Tracking;Yuechen Yu等;《2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)》;6727-6736 *
基于3D-CNN的高光谱遥感图像分类算法;王立国等;《黑龙江大学自然科学学报》;第39卷(第01期);96-105 *
基于判别相关性滤波器的运动目标跟踪方法研究;黄文慧;《中国博士学位论文全文数据库 (信息科技辑)》(第09期);I138-28 *
基于孪生残差神经网络的遥感影像变化检测;倪良波等;《计算机工程与设计》;第41卷(第12期);3451-3457 *
基于小样本学习的图像分类技术综述;刘颖等;《自动化学报》;第47卷(第02期);297-315 *

Also Published As

Publication number Publication date
CN116977747A (zh) 2023-10-31

Similar Documents

Publication Publication Date Title
CN111160311B (zh) 基于多注意力机制双流融合网络的黄河冰凌语义分割方法
CN111695467B (zh) 基于超像素样本扩充的空谱全卷积高光谱图像分类方法
CN108537742B (zh) 一种基于生成对抗网络的遥感图像全色锐化方法
CN111783884B (zh) 基于深度学习的无监督高光谱图像分类方法
CN107590515A (zh) 基于熵率超像素分割的自编码器的高光谱图像分类方法
CN114419381B (zh) 一种语义分割方法及应用其的道路积水检测方法和装置
CN116977747B (zh) 基于多路多尺度特征孪生网络的小样本高光谱分类方法
CN112861931B (zh) 一种基于差异注意力神经网络的多级别变化检测方法、系统、介质及电子设备
CN111696136B (zh) 一种基于编解码结构的目标跟踪方法
CN113988147B (zh) 基于图网络的遥感图像场景多标签分类方法及装置、多标签检索方法及装置
CN116310850B (zh) 基于改进型RetinaNet的遥感图像目标检测方法
CN113642445A (zh) 一种基于全卷积神经网络的高光谱影像分类方法
CN116403213A (zh) 基于人工智能的循环肿瘤细胞检测仪及其方法
CN114998703B (zh) 一种基于高分辨卷积神经网络的遥感图像变化检测方法
CN115311550B (zh) 遥感影像语义变化检测方法、装置、电子设备及存储介质
CN117115663A (zh) 一种基于深度监督网络的遥感图像变化检测系统及其方法
CN114170526A (zh) 基于轻量化网络的遥感影像多尺度目标检测识别方法
CN115240072A (zh) 一种基于多方向多尺度光谱-空间残差卷积神经网络的高光谱多类变化检测方法
CN115546638A (zh) 基于暹罗级联差分神经网络的变化检测方法
CN114299382A (zh) 高光谱遥感图像分类方法及系统
CN116563649B (zh) 基于张量映射网络的高光谱图像轻量化分类方法及装置
CN112784777A (zh) 基于对抗学习的无监督高光谱图像变化检测方法
CN114998725B (zh) 基于自适应空谱注意力核生成网络的高光谱图像分类方法
Kanthi et al. A 3D-Inception CNN for Hyperspectral Image Classification
Shao et al. Ship detection in optical satellite image based on RX method and PCAnet

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant