CN116595208B - 高光谱图像的分类方法、装置及电子设备 - Google Patents

高光谱图像的分类方法、装置及电子设备 Download PDF

Info

Publication number
CN116595208B
CN116595208B CN202310869709.4A CN202310869709A CN116595208B CN 116595208 B CN116595208 B CN 116595208B CN 202310869709 A CN202310869709 A CN 202310869709A CN 116595208 B CN116595208 B CN 116595208B
Authority
CN
China
Prior art keywords
sample
data
spatial
hyperspectral image
vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310869709.4A
Other languages
English (en)
Other versions
CN116595208A (zh
Inventor
周浩
夏蒙恩
袁国武
陈冬
马仪
徐邦武
王琰
马御棠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yunnan University YNU
Original Assignee
Yunnan University YNU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yunnan University YNU filed Critical Yunnan University YNU
Priority to CN202310869709.4A priority Critical patent/CN116595208B/zh
Publication of CN116595208A publication Critical patent/CN116595208A/zh
Application granted granted Critical
Publication of CN116595208B publication Critical patent/CN116595208B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/58—Extraction of image or video features relating to hyperspectral data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Library & Information Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供了一种高光谱图像的分类方法、装置及电子设备，获取高光谱图像数据集；基于数据集确定训练集、支持集与查询集；应用训练集中的样本数据对基于卷积残差块与空间注意力机制的双通道孪生网络进行训练，得到初始分类模型；将支持集中的样本数据输入初始分类模型进行模型参数迁移，得到高光谱图像分类模型；将查询集中的样本数据输入至高光谱图像分类模型，得到查询集中每个样本数据对应的分类结果。本申请充分利用有限样本中的有效信息，通过网络优化后的基于卷积残差块与空间注意力机制的双通道孪生网络，进行分类模型训练，并采用迁移学习的方法对小样本场景下高光谱图像分类，提高高光谱图像的分类精度。

Description

高光谱图像的分类方法、装置及电子设备
技术领域
本申请涉及遥感影像技术领域，尤其是涉及一种高光谱图像的分类方法、装置及电子设备。
背景技术
目前小样本场景下高光谱图像分类方式有：基于原型网络的小样本高光谱图像分类、基于关系网络的小样本高光谱图像分类和基于孪生网络的小样本高光谱图像分类；由于存在缺乏样本信息、特征提取模型泛化性能差等问题，上述三种方式导致分类精度远没达到实际应用的标准。
发明内容
本申请的目的在于提供一种高光谱图像的分类方法、装置及电子设备，充分利用有限样本中的有效信息，通过网络优化后的基于卷积残差块与空间注意力机制的双通道孪生网络，进行分类模型训练，并采用迁移学习的方法对小样本场景下高光谱图像分类，提高高光谱图像的分类精度。
第一方面，本申请实施例提供一种高光谱图像的分类方法，方法包括：获取高光谱图像数据集；数据集中的每个样本数据包括高光谱图像样本分别对应的第一数据块和第二数据块；第一数据块和第二数据块大小不同，且均包括高光谱图像样本的空间尺寸和光谱波段数；基于数据集确定训练集和测试集；测试集包括支持集与查询集；训练集中包括与分类目标相关和/或无关的大量标注样本数据；支持集中包括与分类目标相关的小样本标注数据；查询集中包括与分类目标相关的未标注样本数据；应用训练集中的样本数据对基于卷积残差块与空间注意力机制的双通道孪生网络进行训练，得到初始分类模型；将支持集中的样本数据输入初始分类模型进行模型参数迁移，得到高光谱图像分类模型；将查询集中的样本数据输入至高光谱图像分类模型，得到查询集中每个样本数据对应的分类结果。
在本申请较佳的实施方式中，上述基于数据集确定训练集和测试集的步骤，包括：从高光谱图像数据集中查找标注有分类标签的第一高光谱图像样本数据；从标注有分类标签的第一高光谱图像样本数据中查找标注有目标分类标签的第二高光谱图像样本数据；由查找到的第二高光谱图像样本数据组成测试集中的支持集；由查找到的第一高光谱图像样本数据中除第二高光谱图像样本数据之外的其它样本数据组成训练集；从高光谱图像数据集中查找与目标分类相关的未标注样本数据，作为测试集中的查询集。
在本申请较佳的实施方式中，上述双通道孪生网络包括：两个通道分别对应的基于卷积残差块与空间注意力机制的特征提取模块；应用训练集中的样本数据对基于卷积残差块与空间注意力机制的双通道孪生网络进行训练，得到初始分类模型的步骤，包括：从训练集中的样本数据中获取多个样本对；样本对由随机选择的一个第一数据块和一个第二数据块组成；样本对包括：正样本对或负样本对；针对每个样本对，将样本对中的两个数据块分别输入至两个通道分别对应的基于卷积残差块与空间注意力机制的特征提取模块，得到样本对对应的空谱信息；空谱信息包括空间特征信息和光谱特征信息；基于样本对对应的空谱信息和样本对的标签向量计算总损失值；基于损失值进行梯度反向传播，通过参数调优得到初始分类模型。
在本申请较佳的实施方式中，上述特征提取模块包括：光谱特征提取网络、光谱空间连接层和空间特征提取网络；光谱特征提取网络包括三个一维卷积残差块单元；每个一维卷积残差块单元的三个光谱信息提取层中分别由一维卷积层、BN层和ReLU层组成；光谱空间连接层包括：一维卷积层、归一化层和ReLU激活函数层；空间特征提取网络包括二维卷积残差块单元和空间注意力机制模块；二维卷积残差块单元包括三个二维卷积层；每个二维卷积层后连接归一化层和ReLU激活函数层；将样本对输入至两个通道分别对应的基于卷积残差块与空间注意力机制的特征提取模块，得到样本对对应的空谱信息的步骤，包括：分别将样本对中的两个数据块作为当前样本，将当前样本输入至对应通道的光谱特征提取网络，输出第一特征向量；将第一特征向量输入至对应通道的光谱空间连接层，输出第二特征向量；将第二特征向量输入至对应通道的空间特征提取网络，输出第三特征向量，作为当前样本对应的空谱信息。
在本申请较佳的实施方式中，上述将第二特征向量输入至对应通道的空间特征提取网络，输出第三特征向量的步骤，包括：将第二特征向量输入至二维卷积残差块单元，输出第四特征向量；通过空间注意力机制模块对第四特征向量分别进行最大池化操作和平均池化操作，得到两个第五特征向量；将两个第五特征向量按照通道进行拼接，得到第六特征向量；通过预设卷积层将第六特征向量转换为单通道特征向量；采用预设激活函数将单通道特征向量中像素值映射到0～1的概率空间中，用来表示图像中的特征信息，使其生成空间注意力权重系数；应用空间注意力权重系数与第四特征向量的通道进行逐通道相乘，得到第三特征向量。
在本申请较佳的实施方式中，上述样本对对应的空谱信息包括：第一通道输出的第一数据块对应的第一输出向量，及第二通道输出的第二数据块对应的第二输出向量；样本对的标签向量包括：第一数据块对应的第一标签向量和第二数据块对应的第二标签向量；基于样本对对应的空谱信息和样本对的标签向量计算总损失值的步骤，包括：根据第一输出向量、第二输出向量、第一标签向量和第二标签向量，分别计算加权对比损失函数对应的第一损失值，以及标签平滑损失函数对应的第二损失值；将第一损失值与第二损失值进行求和，得到总损失值。
在本申请较佳的实施方式中，上述根据第一输出向量、第二输出向量、第一标签向量和第二标签向量，分别计算加权对比损失函数对应的第一损失值，以及标签平滑损失函数对应的第二损失值的步骤，包括：根据以下指定算式计算总损失值：
；
；
；
；
；
；
其中，表示加权对比损失函数对应的第一损失值；/>表示正样本对对应的第一标签向量；/>表示负样本对对应的第二标签向量；/>为正样本对中两个数据块特征之间的距离，/>为负样本对中两个数据块特征之间的距离；/>表示样本对中两个数据块之间的余弦距离；/>表示两个数据块特征之间距离的上界；/>、/>分别表示所述第一输出向量、所述第二输出向量对应的中心向量；/>表示标签平滑损失函数对应的第二损失值；/>表示第/>个类别的概率，/>表示第/>个类别对应的样本对的权重，/>为网络模型倒数第二层的激活的向量；/>表示/>的转置；/>表示第/>个类别对应的样本对的标签向量，/>为标签平滑因子，K表示分类的类别总数；L表示为样本的类别总数，/>为第/>个类别对应的样本对的权重。
第二方面，本申请实施例还提供一种高光谱图像的分类装置，装置包括：数据集获取模块，用于获取高光谱图像小样本数据集；数据集中的每个样本数据包括高光谱图像样本分别对应的第一数据块和第二数据块；第一数据块和第二数据块大小不同，且均包括高光谱图像样本的空间尺寸和光谱波段数；数据集划分模块，用于基于数据集确定训练集和测试集；训练集中包括与分类目标相关和/或无关的大量标注样本；支持集中包括与分类目标相关的小样本标注数据；查询集中包括与分类目标相关的未标注样本数据；模型训练模块，用于应用训练集中的样本数据对基于卷积残差块与空间注意力机制的双通道孪生网络进行训练，得到初始分类模型；参数迁移模块，用于将支持集中的样本数据输入初始分类模型进行模型参数迁移，得到高光谱图像分类模型；模型分类模块，用于将查询集中的样本数据输入至高光谱图像分类模型，得到查询集中每个样本数据对应的分类结果。
第三方面，本申请实施例还提供一种电子设备，包括处理器和存储器，存储器存储有能够被处理器执行的计算机可执行指令，处理器执行计算机可执行指令以实现上述第一方面所述的方法。
第四方面，本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，计算机可执行指令在被处理器调用和执行时，计算机可执行指令促使处理器实现上述第一方面所述的方法。
本申请实施例提供的高光谱图像的分类方法、装置及电子设备中，首先获取高光谱图像小样本数据集；该数据集中的每个样本数据包括高光谱图像样本分别对应的第一数据块和第二数据块；第一数据块和第二数据块大小不同，且均包括高光谱图像样本的空间尺寸和光谱波段数；然后基于数据集确定训练集和测试集；测试集包括支持集与查询集；训练集中包括与分类目标相关和/或无关的大量标注样本数据；支持集中包括与分类目标相关的小样本标注数据；查询集中包括与分类目标相关的未标注样本数据；然后应用训练集中的样本数据对基于卷积残差块与空间注意力机制的双通道孪生网络进行训练，得到初始分类模型；将支持集中的样本数据输入初始分类模型进行模型参数迁移，得到高光谱图像分类模型；将查询集中的样本数据输入至高光谱图像分类模型，得到查询集中每个样本数据对应的分类结果。本申请实施例能够充分利用有限样本中的有效信息，通过网络优化后的基于卷积残差块与空间注意力机制的双通道孪生网络，进行分类模型训练，并采用迁移学习的方法对小样本场景下高光谱图像分类，提高高光谱图像的分类精度。
附图说明
为了更清楚地说明本申请具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种高光谱图像的分类方法的流程图；
图2为本申请实施例提供的一种基于卷积残差块与空间注意力机制的双通道孪生网络的结构示意图；
图3为本申请实施例提供的一种高光谱图像的分类方法中模型训练过程的流程图；
图4为本申请实施例提供的一种卷积残差块单元的结构示意图；
图5为本申请实施例提供的一种空间注意力结构图；
图6为本申请实施例提供的一种高光谱图像的分类装置的结构框图；
图7为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合实施例对本申请的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在传统的高光谱图像(Hyperspectral Image ,HSI)分类中，由于高光谱图像具有光谱信息与空间信息，因此对数据的处理通常需要较多的标记数据用于网络的训练才能获得较好的分类效果，然而在高光谱图像样本标记工作量大、人工标注成本较高等原因而导致标记样本数量少，较难提供大量训练数据，使用较深的网络的进行训练有可能出现梯度消失情况且小样本情况下标记样本数量少，分类种类较多就会使网络易产生过拟合，进而降低分类精度。
目前小样本场景下高光谱图像分类方式有以下三种：
(1) 基于原型网络的小样本高光谱图像分类：
这种方式不适用于复杂分类问题,原型网络只能处理具有线性可分性质的数据集，对于复杂的非线性分类问题，效果不佳；对新样本的泛化能力较弱，原型网络对新样本的泛化能力有限，当遇到未见过的样本时，分类性能容易下降。
(2) 基于关系网络的小样本高光谱图像分类：
基于关系网络的方法对样本数据的选择和数量有一定的依赖性，如果样本数量不足或者样本质量较差，容易导致小样本场景下高光谱图像样本信息利用率低，影响特征提取能力，使得分类精度下降。
(3) 基于孪生网络的小样本高光谱图像分类：
目前基于孪生网络的小样本高光谱图像分类网络较为复杂不能做到轻量化，这样大大加大了模型对于计算机硬件设备的要求。此外由于面对的为小样本问题，孪生网络容易出现过拟合或欠拟合的问题，在高光谱图像分类任务中，由于数据维度高，样本数量有限，这会导致模型在训练集上表现很好，但在测试集上表现不佳。
基于此，本申请实施例提供一种高光谱图像的分类方法、装置及电子设备，能够充分利用有限样本中的有效信息，通过网络优化后的基于卷积残差块与空间注意力机制的双通道孪生网络，进行分类模型训练，并采用迁移学习的方法对小样本场景下高光谱图像分类，提高高光谱图像的分类精度。为便于对本实施例进行理解，首先对本申请实施例所公开的一种高光谱图像的分类方法进行详细介绍。
图1为本申请实施例提供的一种高光谱图像的分类方法的流程图，该方法包括以下步骤：
步骤S102，获取高光谱图像数据集。
上述数据集中的每个样本数据包括高光谱图像样本分别对应的第一数据块和第二数据块；第一数据块和第二数据块大小不同，且均包括高光谱图像样本的空间尺寸和光谱波段数；比如，第一数据块尺寸为W1×H1表示较大的数据块，第二数据块为W2×H2表示较小的数据块。
高光谱图像包括光谱信息和空间信息，可表示为，其中/>为高光谱图像的空间尺寸即图像的分辨率大小，/>为高光谱图像光谱波段数，由于高光谱图像样本数据维度较高，因此首先将图像样本数据进行主成分分析法(PCA)进行降维操作，然后将其分成/>与/>两个不同大小的高光谱图像数据块，以便进行后续模型训练、参数迁移及模型分类。
步骤S104，基于数据集确定训练集和测试集；测试集包括支持集与查询集。
其中，训练集的数据可以与测试集没有太大关系，测试集数据是模型最终希望进行分类的那种数据，训练集的数据甚至都不必要是最终希望分类的数据，甚至可以不是同一类数据，因此，训练集的数据可以选用有大量标注样本的数据集，即训练集中可以包括与分类目标相关的大量标注样本数据，也可以包括与分类目标无关的大量标注样本数据，或者还可以同时包括与分类目标相关和无关的大量标注样本数据；测试集的数据是最终模型希望分类的那种数据，因此测试集的数据通常标注过的样本很少，将测试集的数据分为支持集和查询集，支持集中包括与分类目标相关的小样本标注数据；查询集中包括与分类目标相关的未标注样本数据。
步骤S106，应用训练集中的样本数据对基于卷积残差块与空间注意力机制的双通道孪生网络进行训练，得到初始分类模型。
上述双通道孪生网络包括：两个通道分别对应的基于卷积残差块与空间注意力机制的特征提取模块；两个通道对应网络完全相同，每个通道对应的特征提取模块包括：光谱特征提取网络、光谱空间连接层和空间特征提取网络；光谱特征提取网络包括三个一维卷积残差块单元；每个一维卷积残差块单元的三个光谱信息提取层中分别由一维卷积层、BN层和ReLU层组成；光谱空间连接层包括：一维卷积层、归一化层和ReLU激活函数层；空间特征提取网络包括二维卷积残差块单元和空间注意力机制模块；二维卷积残差块单元包括三个二维卷积层；每个二维卷积层后连接归一化层和ReLU激活函数层。
通过训练集中的样本数据对基于卷积残差块与空间注意力机制的双通道孪生网络进行训练，可以得到高光谱图像的初始分类模型。
步骤S108，将支持集中的样本数据输入初始分类模型进行模型参数迁移，得到高光谱图像分类模型；通过支持集对训练集学习到的模型进行迁移学习，也可理解为对训练集学习到的模型参数进行参数微调，得到最终的高光谱图像分类模型。
步骤S110，将查询集中的样本数据输入至高光谱图像分类模型，得到查询集中每个样本数据对应的分类结果。
本申请实施例提供的高光谱图像的分类方法中，能够充分利用有限样本中的有效信息，通过网络优化后的基于卷积残差块与空间注意力机制的双通道孪生网络，进行分类模型训练，并采用迁移学习的方法对小样本场景下高光谱图像分类，提高高光谱图像的分类精度。
本申请实施例还提供另一种高光谱图像的分类方法，该方法在上述实施例的基础上实现；本实施例重点描述数据集划分及模型训练过程。
在本申请较佳的实施方式中，上述将数据集分成训练集和测试集的步骤，包括：从高光谱图像数据集中查找标注有分类标签的第一高光谱图像样本数据；从标注有分类标签的第一高光谱图像样本数据中查找标注有目标分类标签的第二高光谱图像样本数据；由查找到的第二高光谱图像样本数据组成测试集中的支持集；由查找到的第一高光谱图像样本数据中除第二高光谱图像样本数据之外的其它样本数据组成训练集；从高光谱图像数据集中查找与目标分类相关的未标注样本数据，作为测试集中的查询集。
下面详细阐述模型训练过程：
参见图2所示，上述双通道孪生网络包括：两个通道分别对应的基于卷积残差块与空间注意力机制的特征提取模块；每个通道对应的特征提取模块包括：光谱特征提取网络、光谱空间连接层和空间特征提取网络；本申请实施例中，高光谱图像包括光谱信息和空间信息表示为，其中/>为高光谱图像的空间尺寸即图像的分辨率大小，/>为高光谱图像光谱波段数，由于高光谱图像数据维度较高，因此首先将图像数据进行主成分分析法(PCA)进行降维操作，然后将其分成/>与/>两个不同大小的高光谱图像数据块送入到改进后双通道孪生神经网络进行训练，使网络学习到深层次的光谱信息和空间信息，随后通过全局平均池化(GAP)输出的特征向量/>映射到特征空间中进行两个特征向量之间的度量学习,其中K为数据集的特征图维数。
上述应用训练集中的样本数据对基于卷积残差块与空间注意力机制的双通道孪生网络进行训练，得到初始分类模型的步骤，包括以下步骤，参见图3所示：
步骤S302，从训练集中的样本数据中获取多个样本对；样本对由随机选择的一个第一数据块和一个第二数据块组成；样本对包括：正样本对或负样本对；在第一数据块和第二数据块属于同一类时，为正样本对；在第一数据块和第二数据块不属于同一类时，为负样本对。
步骤S304，针对每个样本对，将样本对中的两个数据块分别输入至两个通道分别对应的基于卷积残差块与空间注意力机制的特征提取模块，得到样本对对应的空谱信息；空谱信息包括空间特征信息和光谱特征信息。
具体实施时，每个通道对应的特征提取模块包括：光谱特征提取网络、光谱空间连接层和空间特征提取网络，分别将样本对中的两个数据块作为当前样本，将当前样本输入至对应通道的光谱特征提取网络，输出第一特征向量；将第一特征向量输入至对应通道的光谱空间连接层，输出第二特征向量；将第二特征向量输入至对应通道的空间特征提取网络，输出第三特征向量，作为当前样本对应的空谱信息。
上述将第二特征向量输入至对应通道的空间特征提取网络，输出第三特征向量的步骤，包括：将第二特征向量输入至二维卷积残差块单元，输出第四特征向量；通过空间注意力机制模块对第四特征向量分别进行最大池化操作和平均池化操作，得到两个第五特征向量；将两个第五特征向量按照通道进行拼接，得到第六特征向量；通过预设卷积层将第六特征向量转换为单通道特征向量；采用预设激活函数将单通道特征向量中像素值映射到0～1的概率空间中，用来表示图像中的特征信息，使其生成空间注意力权重系数；应用空间注意力权重系数与第四特征向量的通道进行逐通道相乘，得到第三特征向量。
光谱特征提取网络包括三个一维卷积残差块单元；一维卷积通过将空间数值设置为1进行实现如式（1）。一维卷积的为第i层中第j个特征图在（x,y,z）位置处神经元的值计算如下所示：
其中，m为索引到当前第j个特征图连接的第（i-1）层中的特征图；为卷积核随着频谱维度的尺寸大小；p为空间卷积核的长度，q为空间卷积核的宽度，r为空间卷积核的高度；此式中p,q都设置为1，r设置为0；/>为连接到第m个特征图位置（p,q,r）的值；/>为第i层中第j个特征图的偏差；函数f(·)为ReLU激活函数。
每个一维卷积残差块单元的三个光谱信息提取层中分别由一维卷积层、BN层和ReLU层组成；参见图4所示，在第一个单元中卷积层中卷积核大小设置成3×1×1，通道数为16；第二个单元中卷积层中卷积核大小设置成3×1×1，通道数为32；第三个单元中卷积层中卷积核大小设置成3×1×1，通道数为64；将每一个一维卷积残差块单元中第一个光谱信息提取层的输出与第三个光谱信息提取层的输出相加进行输出到下一个一维卷积残差块单元中。通过三个一维卷积残差块单元进行提取后得到的特征图为，即前述第一特征向量。
然后光谱特征提取网络输出的特征图为输入由一个一维卷积层、归一化层（Batch Norm）和ReLU激活函数层组成的光谱空间连接层，将光谱特征提取部分输出的/>特征图重组输出为/>输出到空间信息提取部分中。在该部分中卷积核大小为（64×1×1）与输入通道维度相同如式（2）所示，使卷积层可以提取全部的光谱信息，实现光谱-空间信息的连接。
其中，m为索引到当前第j个特征图连接的第（i-1）层中的特征图；c为通道维度大小，该卷积层中卷积核与输入维度大小保持一致；p为空间卷积核的长度，q为空间卷积核的宽度，r为空间卷积核的高度；此式中p,q，r都设置为1；为连接到第m个特征图位置（p,q,r）的值；/>为第i层中第j个特征图的偏差；函数f(·)为ReLU激活函数。
空间特征提取网络将光谱空间连接层输出的特征图，即第二特征向量经过二维卷积残差块和空间注意力机制提取特征图的空间信息，并且该模块得到的特征图包含高光谱图像不同的类别信息。该部分将光谱空间连接层输出的特征图通过该模块将其变为/>，其中K为特征图维数，即通过空间信息提取部分后特征图维数将从64降到高光谱数据集的类别数K。
空间特征提取网络包括二维卷积残差块单元和空间注意力机制模块；二维卷积残差块单元包括三个二维卷积层；每个二维卷积层后连接归一化层和ReLU激活函数层。
二维卷积残差块单元通过三个二维卷积层进行对空间信息的提取，并且在每个二维卷积层之后都会有归一化层（Batch Norm）和ReLU激活函数层。二维卷积的为第i层中第j个特征图在（x,y）位置处神经元的值计算如公式（3）所示：
其中，m为索引到当前第j个特征图连接的第（i-1）层中的特征图；为第i层空间卷积核的长度，/>为第i层空间卷积核的宽度；/>为连接到第m个特征图位置（p,q）的值；为第i层中第j个特征图的偏差；函数f(·)为ReLU激活函数。
二维卷积层输出的特征图作为空间注意力机制模块的输入特征图，如图5所示。首先将输入特征图输入到空间注意力机制中进行最大池化和平均池化操作，来分别对不同信息进行利用，得到两个/>的特征图，使生成图中每一个像素都融合了该位置所有通道的特征。再将生成的两个/>的特征图在按照通道拼接在一起，然后经过一个7×7的卷积层将特征图变为/>的单通道，使用Sigmoid激活函数将特征图中像素值映射到0～1的概率空间中，用来表示图像中较为明显的特征信息，使其生成空间注意力权重系数Ms。最后将该注意力权重与该模块的输入特征图的通道进行逐通道相乘，即Ms×输入特征，最终得到新的特征/>。注意力可用公式（4）表示。
其中为注意力权重系数，F为输入特征，/>表示Sigmoid激活函数，/>表示7×7的卷积核，/>与/>分别表示平均池化和最大池化。
步骤S306，基于样本对对应的空谱信息和样本对的标签向量计算总损失值。
上述样本对对应的空谱信息包括：第一通道输出的第一数据块对应的第一输出向量，及第二通道输出的第二数据块对应的第二输出向量；样本对的标签向量包括：第一数据块对应的第一标签向量和第二数据块对应的第二标签向量；基于样本对对应的空谱信息和样本对的标签向量计算总损失值的步骤，包括：根据第一输出向量、第二输出向量、第一标签向量和第二标签向量，分别计算加权对比损失函数对应的第一损失值，以及标签平滑损失函数对应的第二损失值；将第一损失值与第二损失值进行求和，得到总损失值。
上述根据第一输出向量、第二输出向量、第一标签向量和第二标签向量，分别计算加权对比损失函数对应的第一损失值，以及标签平滑损失函数对应的第二损失值的步骤，包括：
根据以下指定算式计算总损失值：
；
；
；
；
；
；
其中，表示加权对比损失函数对应的第一损失值；/>表示正样本对对应的第一标签向量；/>表示负样本对对应的第二标签向量；/>为正样本对中两个数据块特征之间的距离，/>为负样本对中两个数据块特征之间的距离；/>表示样本对中两个数据块之间的余弦距离；/>表示两个数据块特征之间距离的上界；/>、/>分别表示所述第一输出向量、所述第二输出向量对应的中心向量；/>表示标签平滑损失函数对应的第二损失值；/>表示第/>个类别的概率，/>表示第/>个类别对应的样本对的权重，/>为网络模型倒数第二层的激活的向量；/>表示/>的转置；/>表示第/>个类别对应的样本对的标签向量，/>为标签平滑因子，K表示分类的类别总数；L表示为样本的类别总数，/>为第/>个类别对应的样本对的权重。
在双通道孪生网络的训练过程中，每次训练中经加权对比损失函数与标签平滑损失函数进行损失函数的计算，并经过Adam优化器来进行快速拟合。总损失函数如公式（5）所示：
加权对比损失函数对应的第一损失值：
从双通道孪生网络输出两个不同大小的特征图和别取中心向量/>和/>,则样本对中两个样本（即两个数据块）之间的余弦距离w可如公式（6）所示：
式（7）为加权对比损失函数的表达式，其中与正样本对进行相乘，/>与负样本对进行相乘；/>为样本对为同一类样本特征之间的距离，/>为样本对为不同类样本特征之间的距离；/>表示正样本对对应的第一标签向量；（1-/>）表示负样本对对应的第二标签向量；/>表示两个数据块特征之间距离的上界。
这一层主要是为了让网络进行更好的通过两个特征图之间的度量距离：相同类别之间的距离小，不同类别之间的距离较大，并以此来对网络进行训练。
标签平滑损失函数对应的第二损失值：
由于双通道孪生网络输入信息的不同导致其输出特征向量也不同，为了更好的优化网络参数，本发明采用标签平滑交叉熵损失函数来进行梯度的反向传播，使得预测的正负样本输出值差距缩小，有效避免模型的过拟合问题。其公式（9）如下所示：
其式（8）中，表示第/>个类别的概率，/>表示第/>个类别对应的样本对的权重，/>为网络模型倒数第二层的激活的向量；/>表示/>的转置；K表示分类的类别总数；L表示为样本的类别总数，/>为第/>个类别对应的样本对的权重。式（9）中，/>表示第/>个类别对应的样本对的标签向量，/>为标签平滑因子，K表示分类的类别总数。
步骤S308，基于损失值进行梯度反向传播，通过参数调优得到初始分类模型。
最后，再将支持集中的样本数据输入初始分类模型进行模型参数迁移，得到高光谱图像分类模型；将查询集中的样本数据输入至高光谱图像分类模型，得到查询集中每个样本数据对应的分类结果。
本申请实施例包含两个关键技术点（基于卷积残差块与空间注意力机制的双通道孪生网络的高光谱图像光谱空间信息的提取、网络模型防止对于小样本情况下过拟合，优化损失函数的反向传播），与现有技术相比，具体优势描述如下：
（1）基于卷积残差块与空间注意力机制的双通道孪生网络的高光谱图像光谱空间信息的提取；
本申请实施例中针对小样本情况下高光谱图像分类中数据深层次提取不充分的问题，因此选择三个一维卷积残差块单元作为高光谱图像数据光谱信息的提取部分，二维卷积残差块单元与空间注意力机制结合作为高光谱图像数据空间信息提取部分。经过以上对特征的提取，使网络最终获得特征信息在原有表层信息的基础上还包含了深层次的特征，加强了网络对多类别小样本情况下高光谱图像分类能力，有利于实现对特征类似、易产生误差的地物种类的精准分类。
（2）网络模型防止对于小样本情况下过拟合，梯度消失，并选取更优损失函数；
针对为了提取高光谱图像数据而增加网络深度造成网络梯度消失的问题，现有的小样本高光谱图像分类方法通常将特征提取网络加深来提高网络对于高光谱数据的特征提取能力，但在深度学习中网络的加深容易造成网络梯度消失的问题，以及由于小样本情况下，高光谱图像具有高维的特性在特征且标记样本少类别多等特点也会使网络训练过程中产生过拟合的问题。故提取模块中引入残差卷积方法来缓解网络加深过程中梯度退化的问题，提高模型的学习能力。选取更优的标签平滑交叉熵损失函数（Label Smoothed CrossEntropy）减缓模型因加深网络而产生的过拟合现象，进一步提高总体分类精度。
为评估所提出方法的有效性，使用三个公开的高光谱图像数据集，即IndianPines(IP)、Pavia University(UP)和Salinas进行测试，为了验证本文所提出方法的有效性，本文选取了目前经典及较为先进的高光谱图像分类方法即SVM、3-D-CNN、SSRN、DFSL+SVM、DCFSL、S3Net等方法，并对以上方法实验中每类也随机选取5个标记样本进行训练，通过对比分析用于验证所提出方法的有效性。
为了验证标签平滑损失函数中标签因子对OA、AA及Kappa系数的影响，本文从0.1至0.9的范围内对三个数据集进行实验，其OA、AA及Kappa系数当标签因子设置为0.2时，OA值通常高于其他参数设定值，因此在随后的消融实验和对比实验中将其设置为0.2。
在标签平滑损失函数中标签因子设置为0.2的情况下，本论文方法与其余方法在Indian Pines、Pavia University、Salinas三个数据集上的实验结果分别如下表1、表2与表3所示；表1为Indian Pines 高光谱遥感影像数据集分类精度表；表2为PaviaUniversity 高光谱遥感影像数据集分类精度表；表3为Salinas高光谱遥感影像数据集分类精度表。
表1
表2
表3
通过不同的方法在三个数据集实验结果表1、表2和表3显示，本申请实施例所使用的网络（如表中Ours）在5个标记样本的情况下其分类性能相比其他方法总体表现较好的分类性能。
本申请实施例提供的方法的总体分类精度分达到78.03%、88.00%和96.20%的最高准确度。与迁移学习中孪生网络S3Net相比，总体分类精度分别提高了2.04%、3.6%和2.17%，平均分类精度分别提高了0.83%、2.33%和1.51%，Kappa系数分别提高了0.0225、0.0423和0.0235。与迁移学习中跨域方法DCFSL相比，总体分类精度分别提高了11.22%、4.35%和6.86%，平均分类精度分别提高了8.83%、6.72%和3.59%，Kappa系数分别提高了0.1269、0.0564和0.0756。因本方法改进了网络结构，加深并结合残差块结构以及引入空间注意力机制可以使特征提取网络对高光谱数据中的光谱信息和空间信息有着更好的特征提取能力，此外由于加入标签平滑交叉熵损失函数能够减弱网络过拟合的程度。与其他方法相比在小样本情况下本方法可以进一步提高高光谱图像的分类性能，并证明本方法的有效性与较好的鲁棒性。
基于卷积残差块和空间注意力的双通道孪生神经网络用于小样本高光谱图像分类，与传统小样本方法相比具有以下优势：（1）在双通道孪生网络（Siamese Net）基础上引入轻量化卷积残差与空间注意力机制，使得系统能够更加充分利用对光谱信息和空谱信息，提高了对高光谱图像的特征提取和表达能力；（2）选择更优的标签平滑交叉熵损失函数减缓模型因加深网络而产生的过拟合现象，提高网络模型的泛化能力。
本申请实施例提供的一种基于卷积残差和空间注意力孪生网络的小样本高光谱图像分类方法，采用迁移学习中度量学习的训练策略，将输入孪生网络的样本对的数据映射到同一特征空间中，在特征空间计算支持集和查询集的相似性来预测未标记样本的类别。在双通道孪生网络基础上引入卷积残差块并加深光谱特征提取模块的网络层数，使达到对高光谱图像光谱信息的更加充分利用，引入空间注意力机制（SAM）加强网络空间特征提取部分对空谱信息的提取能力，选择更优的标签平滑交叉熵损失函数减缓模型因加深网络而产生的过拟合现象，进一步提高总体分类精度，并有较强的鲁棒性。实验中与多组常用的算法在相同条件下进行对比实验，其结果都要优于其他算法。
基于上述方法实施例，本申请实施例还提供一种高光谱图像的分类装置，参见图6所示，该装置包括：数据集获取模块602，用于获取高光谱图像小样本数据集；数据集中的每个样本数据包括高光谱图像样本分别对应的第一数据块和第二数据块；第一数据块和第二数据块大小不同，且均包括高光谱图像样本的空间尺寸和光谱波段数；数据集划分模块604，用于将数据集分成训练集和测试集；训练集中包括与分类目标相关和/或无关的大量标注样本；支持集中包括与分类目标相关的小样本标注数据；查询集中包括与分类目标相关的未标注样本数据；模型训练模块606，用于应用训练集中的样本数据对基于卷积残差块与空间注意力机制的双通道孪生网络进行训练，得到初始分类模型；参数迁移模块608，用于将支持集中的样本数据输入初始分类模型进行模型参数迁移，得到高光谱图像分类模型；模型分类模块610，用于将查询集中的样本数据输入至高光谱图像分类模型，得到查询集中每个样本数据对应的分类结果。
在本申请较佳的实施方式中，上述数据集划分模块604，用于从高光谱图像数据集中查找标注有分类标签的第一高光谱图像样本数据；从标注有分类标签的第一高光谱图像样本数据中查找标注有目标分类标签的第二高光谱图像样本数据；由查找到的第二高光谱图像样本数据组成测试集中的支持集；由查找到的第一高光谱图像样本数据中除第二高光谱图像样本数据之外的其它样本数据组成训练集；从高光谱图像数据集中查找与目标分类相关的未标注样本数据，作为测试集中的查询集。
在本申请较佳的实施方式中，上述双通道孪生网络包括：两个通道分别对应的基于卷积残差块与空间注意力机制的特征提取模块；模型训练模块606，用于从训练集中的样本数据中获取多个样本对；样本对由随机选择的一个第一数据块和一个第二数据块组成；样本对包括：正样本对或负样本对；针对每个样本对，将样本对中的两个数据块分别输入至两个通道分别对应的基于卷积残差块与空间注意力机制的特征提取模块，得到样本对对应的空谱信息；空谱信息包括空间特征信息和光谱特征信息；基于样本对对应的空谱信息和样本对的标签向量计算总损失值；基于损失值进行梯度反向传播，通过参数调优得到初始分类模型。
在本申请较佳的实施方式中，上述特征提取模块包括：光谱特征提取网络、光谱空间连接层和空间特征提取网络；光谱特征提取网络包括三个一维卷积残差块单元；每个一维卷积残差块单元的三个光谱信息提取层中分别由一维卷积层、BN层和ReLU层组成；光谱空间连接层包括：一维卷积层、归一化层和ReLU激活函数层；空间特征提取网络包括二维卷积残差块单元和空间注意力机制模块；二维卷积残差块单元包括三个二维卷积层；每个二维卷积层后连接归一化层和ReLU激活函数层；模型训练模块606，用于分别将样本对中的两个数据块作为当前样本，将当前样本输入至对应通道的光谱特征提取网络，输出第一特征向量；将第一特征向量输入至对应通道的光谱空间连接层，输出第二特征向量；将第二特征向量输入至对应通道的空间特征提取网络，输出第三特征向量，作为当前样本对应的空谱信息。
在本申请较佳的实施方式中，上述将第二特征向量输入至对应通道的空间特征提取网络，输出第三特征向量的步骤，包括：将第二特征向量输入至二维卷积残差块单元，输出第四特征向量；通过空间注意力机制模块对第四特征向量分别进行最大池化操作和平均池化操作，得到两个第五特征向量；将两个第五特征向量按照通道进行拼接，得到第六特征向量；通过预设卷积层将第六特征向量转换为单通道特征向量；采用预设激活函数将单通道特征向量中像素值映射到0～1的概率空间中，用来表示图像中的特征信息，使其生成空间注意力权重系数；应用空间注意力权重系数与第四特征向量的通道进行逐通道相乘，得到第三特征向量。
在本申请较佳的实施方式中，上述样本对对应的空谱信息包括：第一通道输出的第一数据块对应的第一输出向量，及第二通道输出的第二数据块对应的第二输出向量；样本对的标签向量包括：第一数据块对应的第一标签向量和第二数据块对应的第二标签向量；模型训练模块606，用于根据第一输出向量、第二输出向量、第一标签向量和第二标签向量，分别计算加权对比损失函数对应的第一损失值，以及标签平滑损失函数对应的第二损失值；将第一损失值与第二损失值进行求和，得到总损失值。
在本申请较佳的实施方式中，上述模型训练模块606，用于：根据以下指定算式计算总损失值：
；
；/>
；
；
；
；
其中，表示加权对比损失函数对应的第一损失值；/>表示正样本对对应的第一标签向量；/>表示负样本对对应的第二标签向量；/>为正样本对中两个数据块特征之间的距离，/>为负样本对中两个数据块特征之间的距离；/>表示样本对中两个数据块之间的余弦距离；/>表示两个数据块特征之间距离的上界；/>、/>分别表示所述第一输出向量、所述第二输出向量对应的中心向量；/>表示标签平滑损失函数对应的第二损失值；/>表示第/>个类别的概率，/>表示第/>个类别对应的样本对的权重，/>为网络模型倒数第二层的激活的向量；/>表示/>的转置；/>表示第/>个类别对应的样本对的标签向量，/>为标签平滑因子，K表示分类的类别总数；L表示为样本的类别总数，/>为第/>个类别对应的样本对的权重。
本申请实施例提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置的实施例部分未提及之处，可参考前述方法实施例中相应内容。
本申请实施例还提供了一种电子设备，如图7所示，为该电子设备的结构示意图，其中，该电子设备包括处理器71和存储器70，该存储器70存储有能够被该处理器71执行的计算机可执行指令，该处理器71执行该计算机可执行指令以实现上述方法。
在图7示出的实施方式中，该电子设备还包括总线72和通信接口73，其中，处理器71、通信接口73和存储器70通过总线72连接。
其中，存储器70可能包含高速随机存取存储器（RAM，Random Access Memory），也可能还包括非不稳定的存储器（non-volatile memory），例如至少一个磁盘存储器。通过至少一个通信接口73（可以是有线或者无线）实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。总线72可以是ISA（IndustryStandard Architecture，工业标准体系结构）总线、PCI（Peripheral ComponentInterconnect，外设部件互连标准）总线或EISA（Extended Industry StandardArchitecture，扩展工业标准结构）总线等。所述总线72可以分为地址总线、数据总线、控制总线等。为便于表示，图7中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
处理器71可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器71中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器71可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital SignalProcessor，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器71读取存储器中的信息，结合其硬件完成前述实施例的方法的步骤。
本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令在被处理器调用和执行时，该计算机可执行指令促使处理器实现上述方法，具体实现可参见前述方法实施例，在此不再赘述。
本申请实施例所提供的方法、装置和电子设备的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。
除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对步骤、数字表达式和数值并不限制本申请的范围。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
在本申请的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
最后应说明的是：以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

Claims (9)

1.一种高光谱图像的分类方法，其特征在于，所述方法包括：
获取高光谱图像数据集；所述数据集中的每个样本数据包括高光谱图像样本分别对应的第一数据块和第二数据块；所述第一数据块和所述第二数据块大小不同，且均包括高光谱图像样本的空间尺寸和光谱波段数；
基于所述数据集确定训练集和测试集；所述测试集包括支持集与查询集；所述训练集中包括与分类目标相关和/或无关的标注样本数据；所述支持集中包括与分类目标相关的小样本标注数据；所述查询集中包括与分类目标相关的未标注样本数据；
应用所述训练集中的样本数据对基于卷积残差块与空间注意力机制的双通道孪生网络进行训练，得到初始分类模型；
将所述支持集中的样本数据输入所述初始分类模型进行模型参数迁移，得到高光谱图像分类模型；
将所述查询集中的样本数据输入至所述高光谱图像分类模型，得到所述查询集中每个样本数据对应的分类结果；
所述双通道孪生网络包括：两个通道分别对应的基于卷积残差块与空间注意力机制的特征提取模块；应用所述训练集中的样本数据对基于卷积残差块与空间注意力机制的双通道孪生网络进行训练，得到初始分类模型的步骤，包括：
从所述训练集中的样本数据中获取多个样本对；所述样本对由随机选择的一个第一数据块和一个第二数据块组成；所述样本对包括：正样本对或负样本对；针对每个所述样本对，将所述样本对中的两个数据块分别输入至两个通道分别对应的基于卷积残差块与空间注意力机制的特征提取模块，得到所述样本对对应的空谱信息；所述空谱信息包括空间特征信息和光谱特征信息；基于所述样本对对应的空谱信息和所述样本对的标签向量计算总损失值；基于所述损失值进行梯度反向传播，通过参数调优得到所述初始分类模型。
2.根据权利要求1所述的方法，其特征在于，基于所述数据集确定训练集和测试集的步骤，包括：
从所述高光谱图像数据集中查找标注有分类标签的第一高光谱图像样本数据；
从所述标注有分类标签的第一高光谱图像样本数据中查找标注有目标分类标签的第二高光谱图像样本数据；
由查找到的所述第二高光谱图像样本数据组成测试集中的支持集；由查找到的所述第一高光谱图像样本数据中除所述第二高光谱图像样本数据之外的其它样本数据组成训练集；
从所述高光谱图像数据集中查找与目标分类相关的未标注样本数据，作为测试集中的查询集。
3.根据权利要求1所述的方法，其特征在于，所述特征提取模块包括：光谱特征提取网络、光谱空间连接层和空间特征提取网络；所述光谱特征提取网络包括三个一维卷积残差块单元；每个一维卷积残差块单元的三个光谱信息提取层中分别由一维卷积层、BN层和ReLU层组成；所述光谱空间连接层包括：一维卷积层、归一化层和ReLU激活函数层；所述空间特征提取网络包括二维卷积残差块单元和空间注意力机制模块；所述二维卷积残差块单元包括三个二维卷积层；每个二维卷积层后连接归一化层和ReLU激活函数层；
将所述样本对输入至两个通道分别对应的基于卷积残差块与空间注意力机制的特征提取模块，得到所述样本对对应的空谱信息的步骤，包括：
分别将所述样本对中的每个样本作为当前样本，将所述当前样本输入至对应通道的所述光谱特征提取网络，输出第一特征向量；
将所述第一特征向量输入至对应通道的所述光谱空间连接层，输出第二特征向量；
将所述第二特征向量输入至对应通道的所述空间特征提取网络，输出第三特征向量，作为所述当前样本对应的空谱信息。
4.根据权利要求3所述的方法，其特征在于，将所述第二特征向量输入至对应通道的所述空间特征提取网络，输出第三特征向量的步骤，包括：
将所述第二特征向量输入至所述二维卷积残差块单元，输出第四特征向量；
通过所述空间注意力机制模块对所述第四特征向量分别进行最大池化操作和平均池化操作，得到两个第五特征向量；将两个第五特征向量按照通道进行拼接，得到第六特征向量；通过预设卷积层将所述第六特征向量转换为单通道特征向量；采用预设激活函数将所述单通道特征向量中像素值映射到0～1的概率空间中，用来表示图像中的特征信息，使其生成空间注意力权重系数；应用所述空间注意力权重系数与所述第四特征向量的通道进行逐通道相乘，得到所述第三特征向量。
5.根据权利要求1所述的方法，其特征在于，所述样本对对应的空谱信息包括：第一通道输出的第一数据块对应的第一输出向量，及第二通道输出的第二数据块对应的第二输出向量；所述正负样本对的标签向量包括：正样本对应的第一标签向量和负样本对应的第二标签向量；基于所述正负样本对对应的空谱信息和所述正负样本对的标签向量计算总损失值的步骤，包括：
根据所述第一输出向量、所述第二输出向量、所述第一标签向量和所述第二标签向量，分别计算加权对比损失函数对应的第一损失值，以及标签平滑损失函数对应的第二损失值；
将所述第一损失值与所述第二损失值进行求和，得到总损失值。
6.根据权利要求5所述的方法，其特征在于，根据所述第一输出向量、所述第二输出向量、所述第一标签向量和所述第二标签向量，分别计算加权对比损失函数对应的第一损失值，以及标签平滑损失函数对应的第二损失值的步骤，包括：
根据以下指定算式计算总损失值：
；
；
；
；
；
；
其中，表示加权对比损失函数对应的第一损失值；/>表示正样本对对应的第一标签向量；/>表示负样本对对应的第二标签向量；/>为正样本对中两个数据块特征之间的距离，/>为负样本对中两个数据块特征之间的距离；/>表示样本对中两个数据块之间的余弦距离；/>表示两个数据块特征之间距离的上界；/>、/>分别表示所述第一输出向量、所述第二输出向量对应的中心向量；/>表示标签平滑损失函数对应的第二损失值；/>表示第/>个类别的概率，/>表示第/>个类别对应的样本对的权重，/>为网络模型倒数第二层的激活的向量；/>表示/>的转置；/>表示第/>个类别对应的样本对的标签向量，/>为标签平滑因子，K表示分类的类别总数；L表示为样本的类别总数，/>为第/>个类别对应的样本对的权重。
7.一种高光谱图像的分类装置，其特征在于，所述装置包括：
数据集获取模块，用于获取高光谱图像小样本数据集；所述数据集中的每个样本数据包括高光谱图像样本分别对应的第一数据块和第二数据块；所述第一数据块和所述第二数据块大小不同，且均包括高光谱图像样本的空间尺寸和光谱波段数；
数据集划分模块，用于基于所述数据集确定训练集和测试集；所述测试集包括支持集与查询集；所述训练集中包括与分类目标相关和/或无关的标注样本数据；所述支持集中包括与分类目标相关的小样本标注数据；所述查询集中包括与分类目标相关的未标注样本数据；
模型训练模块，用于应用所述训练集中的样本数据对基于卷积残差块与空间注意力机制的双通道孪生网络进行训练，得到初始分类模型；
参数迁移模块，用于将所述支持集中的样本数据输入所述初始分类模型进行模型参数迁移，得到高光谱图像分类模型；
模型分类模块，用于将所述查询集中的样本数据输入至所述高光谱图像分类模型，得到所述查询集中每个样本数据对应的分类结果；
所述双通道孪生网络包括：两个通道分别对应的基于卷积残差块与空间注意力机制的特征提取模块；所述模型训练模块，还用于从所述训练集中的样本数据中获取多个样本对；所述样本对由随机选择的一个第一数据块和一个第二数据块组成；所述样本对包括：正样本对或负样本对；针对每个所述样本对，将所述样本对中的两个数据块分别输入至两个通道分别对应的基于卷积残差块与空间注意力机制的特征提取模块，得到所述样本对对应的空谱信息；所述空谱信息包括空间特征信息和光谱特征信息；基于所述样本对对应的空谱信息和所述样本对的标签向量计算总损失值；基于所述损失值进行梯度反向传播，通过参数调优得到所述初始分类模型。
8.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的计算机可执行指令，所述处理器执行所述计算机可执行指令以实现权利要求1至6任一项所述的方法。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令在被处理器调用和执行时，计算机可执行指令促使处理器实现权利要求1至6任一项所述的方法。
CN202310869709.4A 2023-07-17 2023-07-17 高光谱图像的分类方法、装置及电子设备 Active CN116595208B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310869709.4A CN116595208B (zh) 2023-07-17 2023-07-17 高光谱图像的分类方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310869709.4A CN116595208B (zh) 2023-07-17 2023-07-17 高光谱图像的分类方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN116595208A CN116595208A (zh) 2023-08-15
CN116595208B true CN116595208B (zh) 2023-10-13

Family

ID=87604782

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310869709.4A Active CN116595208B (zh) 2023-07-17 2023-07-17 高光谱图像的分类方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN116595208B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116990243B (zh) * 2023-09-26 2024-01-19 湖南大学 一种基于gap框架的轻量化注意力高光谱计算重构方法
CN117273070B (zh) * 2023-11-16 2024-02-02 云南烟叶复烤有限责任公司 一种基于孪生卷积自编码器构建的光谱模型转移方法
CN117893537B (zh) * 2024-03-14 2024-05-28 深圳市普拉托科技有限公司 托盘表面材质的脱色检测方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111652038A (zh) * 2020-04-13 2020-09-11 上海海洋大学 基于卷积神经网络的遥感的海冰图像分类方法
CN113011499A (zh) * 2021-03-22 2021-06-22 安徽大学 一种基于双注意力机制的高光谱遥感图像分类方法
CN114048810A (zh) * 2021-11-10 2022-02-15 东华大学 一种基于多层次特征提取网络的高光谱图像分类方法
CN114821164A (zh) * 2022-04-13 2022-07-29 北京工业大学 基于孪生网络的高光谱图像分类方法
CN115496934A (zh) * 2022-08-19 2022-12-20 河海大学 一种基于孪生神经网络的高光谱图像分类方法
WO2022267388A1 (zh) * 2021-06-21 2022-12-29 深圳大学 红树林高光谱图像分类方法、装置、电子设备及存储介质
CN116012653A (zh) * 2023-01-16 2023-04-25 河南理工大学 一种注意力残差单元神经网络高光谱图像分类方法及系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111652038A (zh) * 2020-04-13 2020-09-11 上海海洋大学 基于卷积神经网络的遥感的海冰图像分类方法
CN113011499A (zh) * 2021-03-22 2021-06-22 安徽大学 一种基于双注意力机制的高光谱遥感图像分类方法
WO2022267388A1 (zh) * 2021-06-21 2022-12-29 深圳大学 红树林高光谱图像分类方法、装置、电子设备及存储介质
CN114048810A (zh) * 2021-11-10 2022-02-15 东华大学 一种基于多层次特征提取网络的高光谱图像分类方法
CN114821164A (zh) * 2022-04-13 2022-07-29 北京工业大学 基于孪生网络的高光谱图像分类方法
CN115496934A (zh) * 2022-08-19 2022-12-20 河海大学 一种基于孪生神经网络的高光谱图像分类方法
CN116012653A (zh) * 2023-01-16 2023-04-25 河南理工大学 一种注意力残差单元神经网络高光谱图像分类方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于小样本学习的高光谱遥感图像分类算法;张婧;袁细国;;聊城大学学报(自然科学版)(第06期);4-14 *
基于胶囊网络的高光谱遥感图像特征提取与分类研究;王伟业;中国博士学位论文全文数据库 工程科技Ⅱ辑(第02期);C028-33 *

Also Published As

Publication number Publication date
CN116595208A (zh) 2023-08-15

Similar Documents

Publication Publication Date Title
CN116595208B (zh) 高光谱图像的分类方法、装置及电子设备
Sameen et al. Classification of very high resolution aerial photos using spectral-spatial convolutional neural networks
Roy et al. FuSENet: fused squeeze‐and‐excitation network for spectral‐spatial hyperspectral image classification
Kabbai et al. Image classification by combining local and global features
Ahmad Deep image retrieval using artificial neural network interpolation and indexing based on similarity measurement
WO2019100724A1 (zh) 训练多标签分类模型的方法和装置
Kato et al. Image reconstruction from bag-of-visual-words
CN110569738B (zh) 基于密集连接网络的自然场景文本检测方法、设备和介质
CN107563442B (zh) 基于稀疏低秩正则图张量化嵌入的高光谱图像分类方法
Niu et al. Meta-metric for saliency detection evaluation metrics based on application preference
CN110929080B (zh) 基于注意力和生成对抗网络的光学遥感图像检索方法
Zhou et al. Remote sensing scene classification based on rotation-invariant feature learning and joint decision making
CN112580480B (zh) 一种高光谱遥感影像分类方法及装置
CN107577758B (zh) 一种基于多区域交叉权值的图像卷积特征的生成方法
CN109213886B (zh) 基于图像分割和模糊模式识别的图像检索方法及系统
Yin et al. Cloud and snow detection of remote sensing images based on improved Unet3+
CN111639697B (zh) 基于非重复采样与原型网络的高光谱图像分类方法
Gan et al. Dissimilarity-weighted sparse representation for hyperspectral image classification
CN104699781B (zh) 基于双层锚图散列的sar图像检索方法
CN117131376A (zh) 一种基于视变换结合生成对抗网络进行持续学习的高光谱跨域鲁棒异常检测方法、系统、设备及介质
CN113516194B (zh) 高光谱遥感影像半监督分类方法、装置、设备及存储介质
CN106778494A (zh) 一种基于sift‑lpp的高光谱遥感影像特征提取方法
Nie et al. Hyperspectral image classification based on multiscale spectral–spatial deformable network
López-Cifuentes et al. Attention-based knowledge distillation in scene recognition: the impact of a dct-driven loss
Qian et al. An effective pest detection method with automatic data augmentation strategy in the agricultural field

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant