CN116543203A - 基于上下文注意特征的高光谱图像分类方法及系统 - Google Patents

基于上下文注意特征的高光谱图像分类方法及系统 Download PDF

Info

Publication number
CN116543203A
CN116543203A CN202310451982.5A CN202310451982A CN116543203A CN 116543203 A CN116543203 A CN 116543203A CN 202310451982 A CN202310451982 A CN 202310451982A CN 116543203 A CN116543203 A CN 116543203A
Authority
CN
China
Prior art keywords
attention
feature fusion
classification
dual
network model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310451982.5A
Other languages
English (en)
Inventor
崔颖
高山
李文山
罗丽
陈晓力
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Engineering University
Original Assignee
Harbin Engineering University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Engineering University filed Critical Harbin Engineering University
Priority to CN202310451982.5A priority Critical patent/CN116543203A/zh
Publication of CN116543203A publication Critical patent/CN116543203A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/58—Extraction of image or video features relating to hyperspectral data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于上下文注意特征的高光谱图像分类方法及系统，其中，该方法包括：获取原始高光谱数据构建数据集，并将其划分为训练集、验证集和测试集；构建双重注意力机制的特征融合网络模型；利用训练集对该模型进行训练；利用验证集在训练过程中对双重注意力机制的特征融合网络模型进行交叉验证，得到验证结果；筛选验证结果中最佳分类效果的双重注意力机制的特征融合网络模型作为目标分类模型，并通过目标分类模型对预设高光谱图像进行分类。该方法能提高少量训练样本下的分类精度，对初始标注样本的需求量不大，可节省人工标注类别信息所带来的时间成本，且鲁棒性也可得到保证，通过少量样本即可获得稳定的训练出效果可观的分类模型。

Description

基于上下文注意特征的高光谱图像分类方法及系统
技术领域
本发明涉及图像处理分类技术领域，特别涉及一种基于上下文注意特征的高光谱图像分类方法及系统。
背景技术
高光谱图像分类作为高光谱图像处理主要任务之一，获得了研究者们的极大关注，它的定义是给某一场景的每个像元分配一个确定类别或者一些确定类别。经过多年发展，许多学者结合一些机器学习方法来构建针对高光谱图像特点的分类方法。
高光谱图像分类是遥感技术的一个重要研究方向，经过20多年的研究，高光谱图像分类从早期的目视解释法发展到机器学习方法再到现在的深度学习方法，在高效计算了的同时提高了分类精度。与传统的手工提取特征方法相比，基于深度学习的模型可以在没有人工干预的情况下自动从高光谱图像中分层提取特征。有的方法都是直接对高光谱图像进行特征提取，以获得全局空间-光谱特征，在这些方法中，细节特征很容易丢失，局部邻域环境没有被充分利用。高光谱图像的分类主要取决于每个像素点的特征以及其周围特征的影响，远距离的像素可能会对其产生负面影响，反而导致提取的特征准确性差，故并不是所有的背景信息都对提高分类性能由积极作用，引入无意义的背景噪声甚至可能降低分类小效果。因此，识别有用的上下文信息对高光谱图像分类具有关键作用。同时由于卷积神经网络需要依赖大量的训练样本进行训练，而在高光谱数据集中可以获得和加以利用的带标注样本的数目较少，为了解决该问题，通常需要人为额外获取标注样本的信息，耗费了大量人力物力，这也是目前大多数的监督分类方法应用到高光谱图像数据分类中所需解决的困难。因此，如何在小量标记样本下改善分类精度，降低人为标注地表信息的成本，也是需要重点关注的方向和热点。
发明内容
本发明提供一种基于上下文注意特征的高光谱图像分类方法及系统，以用于解决现有高光谱图像分类方法需要大量训练样本，且还需要人为额外获取标注样本的信息，耗费了大量人力物力，但分类精度很低的技术问题。
本发明一方面实施例提供一种基于上下文注意特征的高光谱图像分类方法，包括：
步骤S1，获取原始高光谱数据构建数据集，并根据预设划分方式将所述数据集划分为训练集、验证集和测试集；
步骤S2，构建双重注意力机制的特征融合网络模型，其中，所述双重注意力机制的特征融合网络模型包括自注意位置校准模块、交叉注意位置校准模块和特征融合模块；
步骤S3，利用所述训练集对所述双重注意力机制的特征融合网络模型进行训练；
步骤S4，利用所述验证集在训练过程中对所述双重注意力机制的特征融合网络模型进行交叉验证，得到验证结果，其中，所述验证结果包括多个双重注意力机制的特征融合网络模型的分类效果；
步骤S5，筛选所述验证结果中最佳分类效果的双重注意力机制的特征融合网络模型作为目标分类模型，并通过所述目标分类模型对预设高光谱图像进行分类。
本发明另一方面实施例提供一种基于上下文注意特征的高光谱图像分类系统，包括：
获取模块，用于获取原始高光谱数据构建数据集，并根据预设划分方式将所述数据集划分为训练集、验证集和测试集；
构建模块，用于构建双重注意力机制的特征融合网络模型，其中，所述双重注意力机制的特征融合网络模型包括自注意位置校准模块、交叉注意位置校准模块和特征融合模块；
训练模块，用于利用所述训练集对所述双重注意力机制的特征融合网络模型进行训练；
验证模块，用于利用所述验证集在训练过程中对所述双重注意力机制的特征融合网络模型进行交叉验证，得到验证结果，其中，所述验证结果包括多个双重注意力机制的特征融合网络模型的分类效果；
分类模块，用于筛选所述验证结果中最佳分类效果的双重注意力机制的特征融合网络模型作为目标分类模型，并通过所述目标分类模型对预设高光谱图像进行分类。
本发明又一方面实施例提供一种高光谱图像分类设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如上述实施例所述的基于上下文注意特征的高光谱图像分类方法。
本发明还一方面实施例提供一种非临时性计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述实施例所述的基于上下文注意特征的高光谱图像分类方法。
本发明的技术方案，至少实现了如下有益的技术效果：
(1)构建的双重注意力机制的特征融合网络模型，适用于小样本的情况，对该模型进行训练与交叉验证，可以在其对自注意力机制下提取的全局上下文特征和交叉注意力机制下提取的局部上下文特征有效融合的基础上，实现有限样本下高光谱图像的精细分类；
(2)构建的双重注意力机制的特征融合网络模型能够明显提高少量训练样本下的分类精度，对初始标注样本的需求量不大，可以大大节省人工标注类别信息所带来的时间成本，具有一定的实际意义；
(3)构建的双重注意力机制的特征融合网络模型的鲁棒性能够得到保证，通过少量样本即可获得稳定的训练出效果可观的分类模型，且时间成本在可以接受的范围内。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1是本发明一个实施例的基于上下文注意特征的高光谱图像分类方法的流程图；
图2是本发明一个实施例的基于上下文注意特征的高光谱图像分类方法具体执行框图；
图3是本发明一个实施例的双重注意力机制的特征融合网络模型的结构示意图；
图4是本发明一个实施例的基于上下文注意特征的高光谱图像分类系统的结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
下面参照附图描述根据本发明实施例提出的基于上下文注意特征的高光谱图像分类方法及系统，首先将参照附图描述根据本发明实施例提出的基于上下文注意特征的高光谱图像分类方法。
图1是本发明一个实施例的基于上下文注意特征的高光谱图像分类方法的流程图。
如图1和2所示，该基于上下文注意特征的高光谱图像分类方法包括以下步骤：
在步骤S1中，获取原始高光谱数据构建数据集，并根据预设划分方式将数据集划分为训练集、验证集和测试集。
在本发明的一个实施例中，获取原始高光谱数据构建数据集具体包括：
获取原始高光谱图像数据，对原始高光谱图像数据的类别信息进行标注；
利用主成分分析法对标注后的原始高光谱图像数据进行降维，将降维后得到的数据作为数据集，其中，数据集包括Indian Pines数据集、Salinas Valley数据集和PaviaUniversity数据集。
需要说明的是，由于原始高光谱数据量较大，一般无法直接加载进行训练，所以本发明实施例使用主成分分析法进行降维，以解决高光谱图像维度较高且不同波段之间存在相关性和冗余性的问题，从而使不对最终的分类精度产生负面影响。
在步骤S2中，构建双重注意力机制的特征融合网络模型，其中，双重注意力机制的特征融合网络模型包括自注意位置校准模块、交叉注意位置校准模块和特征融合模块。
具体地，构建基于双重注意力机制的特征融合网络模型，并对模型参数进行调整，主要用于捕获更精确全局-局部上下文注意特征。该模型分别利用自注意力位置校准模块提取全局上下文注意特征和交叉注意位置校准模块提取局部上下文注意特征，为了更好的融合全局-局部特征，还设计了多尺度全局-局部特征融合模块(MSGL)，通过聚合来自全局和局部的注意特征，以更少的通信成本实现保留更有代表性的特征。
如图3所示，双重注意力机制的特征融合网络模型包括两个分支(即自注意位置校准模块和交叉注意位置校准模块)和一个特征融合模块(即多尺度全局-局部特征融合模块)，其中，分支一用以提取高光谱图像的全局上下文注意文特征信息，被称之自注意位置校准模块，其内部主要由自注意力模块和自校准卷积组成；分支二用以提取高光谱图像的局部上下文注意特征信息，被称之交叉注意位置校准模块，主要由交叉注意力机制和自校准卷积组成。在实际应用中，对模型进行训练时，输入的高光谱数据可首先通过PCA降维去除冗余光谱信息，特征融合模块将分支一与分支二提取的信息融合，其主要由多尺度卷积核LIP局部重要性池化层组成，最后将特征融合后的特征图输入至Softmax分类器进行分类。
具体而言，双重注意力机制的特征融合网络模型输入的是经过PCA降维之后的整个高光谱数据；然后利用深度可分离卷积一次获取高光谱图像的空间和光谱特征图，为获取有效的全局上下文注意特征，本发明实施例将初始特征图送入到自注意位置校准模块中，以增强特征信息；同时，也将初始特征图送入到交叉注意位置校准模块中，以此来获取局部有效信息；为了更好地融合语义和尺度不一致的特征，本发明实施例提出了多尺度全局-局部特征融合模块，利用该模型既能得到分辨率较高的低层特征，也可以得到语义丰富的高层特征；然后，利用多类别焦点损失函数代替交叉熵损失函数，用来解决由样本不均衡导致的分类准确率低的问题；最后，得到每个像素的标签，进而得到最终的高光谱图像分类图。
对于自注意位置校准模块，首先设置一个任意大小的池化内核，在低维空间范围内对其每个通道进行位置编码，允许每个空间位置不仅将其周围的信息环境自适应的视为来自低维空间的嵌入，并以此作为注意力机制的标量。然后，对池化层输出的矩阵进行1*1卷积变换，这可以对通道间的依赖性进行建模。再对其进行上采样对齐注意力模块的空间位置，目的是扩展每个卷积层的视场，自适应地在每个位置处建立了长距离空间的校准操作。通过位置自校正机制，网络可以在全局感受野下准确的校准相应目标位置的特征，与被校准模块合并获取更丰富的信息来生成更多的辨识性表示。
对于交叉注意位置校准模块，局部特征首先通过一个交叉注意单元来收集水平和垂直方向上的上下文信息；然后，通过将第一交叉注意单元产生的特征图送到第二交叉注意单元，从交叉路径获得的附加上下文信息最终实现所有位置的完整图像依赖性；接下利用自校准卷积获取位置信息；最后交叉注意力特征与位置校准特征连接得到最终的局部上下文注意特征特征图。
对于特征融合模块，将主干网络分别提取的全局-局部注意特征先进行拼接操作。在处理全局特征部分时，该部分主要包括不同尺度的卷积层、批量归一化(BN)层和激活函数校正线性单元(ReLu)，另一边则是处理局部注意特征，利用LIP进行池化操作，LIP池化层基于局部重要性建模，它基于输入自适应学习重要性权重，可以保留每个像素邻域的局部重要性；然后添加1×1卷积层，以增强学习能力，保证特征的平滑；另外还包括批量归一化(BN)层和激活函数校正线性单元(ReLu)和上采样(Upsampling)；其中，需要将特征图调整至和上面的全局特征图尺寸一致以方便特征融合；接下来使用维度相加来聚合以上两部分特征图，并利用残差结构连接深层和浅层特征；最后，经过三次特征融合处理，得到最终的特征图。
在步骤S3中，利用训练集对双重注意力机制的特征融合网络模型进行训练。
具体地，根据预设划分方式分别对Indian Pines数据集、Salinas Valley数据集和Pavia University数据集进行划分，得到的相应训练集对双重注意力机制的特征融合网络模型进行训练。
在一种应用场景中，为了提取高光谱图像的空谱联合信息，可在上述将数据集划分为训练集、验证集和测试集之前，将高光谱数据划分为三维数据块，然后按比例将三维数据块划分为训练集、验证集、测试集。其中，划分的三维数据块将数据划分成9×9×w大小输入到双重注意力机制的特征融合网络模型中，其中，w是高光谱图像经过PCA的波段数，IP数据集保留128个波段，SV数据集和UP数据集保留32个波段。对于IP数据集，随机选择总样本数的5％作为训练集，即512个样本，5％作为验证集，剩余的标记样本作为测试。对于SV和UP数据集，随机选择总样本数的1％作为训练集，即427和541个样本，1％作为验证集，剩余的标记样本作为测试。采用the overall accuracy(OA),average accuracy(AA),kappacoefficient作为评价指标。
在步骤S4中，利用验证集在训练过程中对双重注意力机制的特征融合网络模型进行交叉验证，得到验证结果，其中，验证结果包括多个双重注意力机制的特征融合网络模型的分类效果。
在本发明的一个实施例中，步骤S4具体包括：
步骤S401，将验证集输入至正在训练中的双重注意力机制的特征融合网络模型中；
步骤S402，通过自注意位置校准模块获取验证集的全局上下文位置特征信息；
步骤S403，通过交叉注意位置校准模块获取验证集的局部上下文位置特征信息；
步骤S404，利用特征融合模块将全局上下文位置特征信息和局部上下文位置特征信息进行特征融合，得到融合后的位置特征信息；
步骤S405，基于融合后的位置特征信息，通过Softmax分类器得到在验证集上的多个双重注意力机制的特征融合网络模型的分类效果作为验证结果。
通过验证集在训练过程中对双重注意力机制的特征融合网络模型进行交叉验证，可以保证最终确定下来的训练好的模型分类效果最精准。
进一步地，自注意位置校准模块包括：自注意力机制单元和全局位置自校准卷积单元，其中，
通过自注意力机制单元利用编码器对验证集中的高光谱数据的语义特征之间的全局上下文信息进行建模，得到全局上下文信息；
通过全局位置自校准卷积单元使验证集中的高光谱数据自适应地在每个位置处建立长距离空间我校准操作，得到在全局感受野下的全局位置特征信息；
将全局上下文信息和全局位置特征信息进行合并，获取全局上下文位置特征信息。
进一步地，交叉注意位置校准模块包括：交叉注意力机制单元和局部位置自校准卷积，其中，
通过交叉注意力机制单元远程依赖验证集中的高光谱数据的局部上下文信息，从交叉路径中得到局部上下文信息；
通过局部位置自校准卷积单元使验证集中的高光谱数据自适应地在每个位置处建立长距离空间自校准操作，得到在全局感受野下的局部位置特征信息；
将局部上下文信息和局部位置特征信息进行合并，获取局部上下文位置特征信息。
进一步地，特征融合模块包括：多尺度卷积单元和LIP池化单元，其中，
通过多尺度卷积单元捕获全局上下文位置特征信息和局部上下文位置特征信息中的不同层次特征信息
通过LIP池化单元对不同层次特征信息进行局部重要性建模，保留每个像素邻域的局部重要性信息，进而进行特征融合得到融合后的全局-局部特征信息。
在步骤S5中，筛选验证结果中最佳分类效果的双重注意力机制的特征融合网络模型作为目标分类模型(英文缩写为DAFFN)，并通过目标分类模型对预设高光谱图像进行分类。
在一种应用场景中，不同模型参数的双重注意力机制的特征融合网络模型在通过训练集进行训练的过程中，通过验证集进行交叉验证得到验证结果并选择出分类效果最好的模型，具体地，可根据不同模型在训练过程中在验证集上的损失值的最小值确定性能最好的模型参数(权重数据)并保存下来，将该模型参数下的双重注意力机制的特征融合网络模型确定为目标分类模型，实现小样本情况下对高光谱图像的精准分类。
进一步地，在将分类效果最好的双重注意力机制的特征融合网络模型确定为目标分类模型之后还包括：
步骤S6，通过测试集对目标分类模型的分类效果进行测试。
具体地，使用上述目标分类模型在测试集上进行精度指标、稳定性、模型分类时间等指标的测定，并绘制出完整的分类图，以对目标分类模型的分类效果进行验证，进一步保证模型的准确性和鲁棒性。
下面通过一个具体实施例对本发明实施例提出的基于上下文注意特征的高光谱图像分类方法进一步说明，以证明其的优越性和有效性。
本实施例将目标分类模型(DAFFN)与其他现有先进模型如DBMA、DBDA、SSRN、FDSSC、LSSAN、SSFTT、MDSCN这七个模型在三个常见的高光谱数据集Indian Pines、SalinasValley、Pavia University数据集上进行对比实验，其中，IP数据集学习率为0.001，SV数据集的学习率为0.0003，UP数据集的学习率为0.001。本实施例使用Adam对网络进行优化，选择Cosine Annealing LR方法来降低学习速率，其中，参数epoch设置为20，eta_min设置为0，训练轮次为10，每轮次迭代次数为100次。IP数据集的批次大小设为32，SV和UP数据集的批次大小为128。Focal loss的参数γ，在IP数据集上设为2，UP和SV数据集上设为1。另外，所以用于比较的模型的参数都统一设为学习率为0.01，批尺寸batch size为32。为了保证实验的准确性和客观性，本实施例所有的训练样本都是随机选择，并对所有实验运行了10次，每次迭代次数epoch为100。对于IP数据集，本实施例随机选择总样本数的5％作为训练集，即512个样本，5％作为验证集，剩余的标记样本作为测试。对于SV和UP数据集，本实施例随机选择总样本数的1％作为训练集，即427和541个样本，1％作为验证集，剩余的标记样本作为测试。本实施例采用the overall accuracy(OA),average accuracy(AA),kappacoefficient作为评价指标。
在三个数据集上的实验结果如下表1-表3所示:
表1 IP数据集分类精度结果对比
表2 SV数据集分类精度结果对比
表3 UP数据集分类精度结果对比
数据表明，本发明实施例的高光谱图像分类方法在训练样本较少的情况下具有明显的优势，在三个数据集上均取得了最好的分类结果和较强的稳定性。
综上，根据本发明实施例提出的基于上下文注意特征的高光谱图像分类方法，将卷积神经网络技术和注意力机制技术相结合，提出一种基于双重注意力机制的特征融合网络模型，对该模型进行训练与交叉验证，可以在其对自注意位置校准模块提取的全局上下文注意特征和交叉注意位置校准模块提取的局部上下文注意特征进行有效融合的基础上，实现有限样本下高光谱图像的精细分类；与其他现有技术相比，能够明显提高少量训练样本下的分类精度，对初始标注样本的需求量不大，可以大大节省人工标注类别信息所带来的时间成本，具有一定的实际意义；除此之外，模型的鲁棒性也能够得到保证，通过少量样本即可获得稳定的训练出效果可观的分类模型，且时间成本在可以接受的范围内。
其次参照附图描述根据本发明实施例提出的基于上下文注意特征的高光谱图像分类系统。
图4是本发明一个实施例的基于上下文注意特征的高光谱图像分类系统的结构示意图。
如图4所示，该系统10包括：获取模块100、构建模块200、训练模块300、验证模块400和分类模块500。
其中，获取模块100用于获取原始高光谱数据构建数据集，并根据预设划分方式将数据集划分为训练集、验证集和测试集。构建模块200用于构建双重注意力机制的特征融合网络模型，其中，双重注意力机制的特征融合网络模型包括自注意位置校准模块、交叉注意位置校准模块和特征融合模块。训练模块300用于利用训练集对双重注意力机制的特征融合网络模型进行训练。验证模块400用于利用验证集在训练过程中对双重注意力机制的特征融合网络模型进行交叉验证，得到验证结果，其中，验证结果包括多个双重注意力机制的特征融合网络模型的分类效果。分类模块500用于筛选验证结果中最佳分类效果的双重注意力机制的特征融合网络模型作为目标分类模型，并通过目标分类模型对预设高光谱图像进行分类。
可选的，上述高光谱图像分类系统还包括：测试模块，用于通过测试集对目标分类模型的分类效果进行测试。
需要说明的是，前述对基于上下文注意特征的高光谱图像分类方法实施例的解释说明也适用于该实施例的基于上下文注意特征的高光谱图像分类系统，此处不再赘述。
根据本发明实施例提出的基于上下文注意特征的高光谱图像分类系统，将卷积神经网络技术和注意力机制技术相结合，提出一种基于双重注意力机制的特征融合网络模型，对该模型进行训练与交叉验证，可以在其对自注意位置校准模块提取的全局上下文注意特征和交叉注意位置校准模块提取的局部上下文注意特征进行有效融合的基础上，实现有限样本下高光谱图像的精细分类；与其他现有技术相比，能够明显提高少量训练样本下的分类精度，对初始标注样本的需求量不大，可以大大节省人工标注类别信息所带来的时间成本，具有一定的实际意义；除此之外，模型的鲁棒性也能够得到保证，通过少量样本即可获得稳定的训练出效果可观的分类模型，且时间成本在可以接受的范围内。
为了实现上述实施例，本发明还提出了一种高光谱图像分类设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如前述实施例所述的基于上下文注意特征的高光谱图像分类方法。
为了实现上述实施例，本发明还提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如前述实施例所述的基于上下文注意特征的高光谱图像分类方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或N个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“N个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更N个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或N个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，N个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种基于上下文注意特征的高光谱图像分类方法，其特征在于，包括以下步骤：
步骤S1，获取原始高光谱数据构建数据集，并根据预设划分方式将所述数据集划分为训练集、验证集和测试集；
步骤S2，构建双重注意力机制的特征融合网络模型，其中，所述双重注意力机制的特征融合网络模型包括自注意位置校准模块、交叉注意位置校准模块和特征融合模块；
步骤S3，利用所述训练集对所述双重注意力机制的特征融合网络模型进行训练；
步骤S4，利用所述验证集在训练过程中对所述双重注意力机制的特征融合网络模型进行交叉验证，得到验证结果，其中，所述验证结果包括多个双重注意力机制的特征融合网络模型的分类效果；
步骤S5，筛选所述验证结果中最佳分类效果的双重注意力机制的特征融合网络模型作为目标分类模型，并通过所述目标分类模型对预设高光谱图像进行分类。
2.根据权利要求1所述的基于上下文注意特征的高光谱图像分类方法，其特征在于，所述获取原始高光谱数据构建数据集具体包括：
获取原始高光谱图像数据，对所述原始高光谱图像数据的类别信息进行标注；
利用主成分分析法对标注后的原始高光谱图像数据进行降维，将降维后得到的数据作为所述数据集。
3.根据权利要求1所述的基于上下文注意特征的高光谱图像分类方法，其特征在于，所述步骤S4具体包括：
步骤S401，将所述验证集输入至正在训练中的双重注意力机制的特征融合网络模型中；
步骤S402，通过所述自注意位置校准模块获取所述验证集的全局上下文位置特征信息；
步骤S403，通过所述交叉注意位置校准模块获取所述验证集的局部上下文位置特征信息；
步骤S404，利用所述特征融合模块将所述全局上下文位置特征信息和所述局部上下文位置特征信息进行特征融合，得到融合后的位置特征信息；
步骤S405，基于所述融合后的位置特征信息，通过所述Softmax分类器得到在所述验证集上的多个双重注意力机制的特征融合网络模型的分类效果作为所述验证结果。
4.根据权利要求3所述的基于上下文注意特征的高光谱图像分类方法，其特征在于，所述自注意位置校准模块包括：自注意力机制单元和全局位置自校准卷积单元，其中，
通过所述自注意力机制单元利用编码器对所述验证集中的高光谱数据的语义特征之间的全局上下文信息进行建模，得到全局上下文信息；
通过所述全局位置自校准卷积单元使所述验证集中的高光谱数据自适应地在每个位置处建立长距离空间我校准操作，得到在全局感受野下的全局位置特征信息；
将所述全局上下文信息和所述全局位置特征信息进行合并，获取所述全局上下文位置特征信息。
5.根据权利要求3所述的基于上下文注意特征的高光谱图像分类方法，其特征在于，所述交叉注意位置校准模块包括：交叉注意力机制单元和局部位置自校准卷积，其中，
通过所述交叉注意力机制单元远程依赖所述验证集中的高光谱数据的局部上下文信息，从交叉路径中得到局部上下文信息；
通过所述局部位置自校准卷积单元使所述验证集中的高光谱数据自适应地在每个位置处建立长距离空间自校准操作，得到在全局感受野下的局部位置特征信息；
将所述局部上下文信息和所述局部位置特征信息进行合并，获取所述局部上下文位置特征信息。
6.根据权利要求3所述的基于上下文注意特征的高光谱图像分类方法，其特征在于，所述特征融合模块包括：多尺度卷积单元和LIP池化单元，其中，
通过所述多尺度卷积单元捕获所述全局上下文位置特征信息和所述局部上下文位置特征信息中的不同层次特征信息；
通过所述LIP池化单元对所述不同层次特征信息进行局部重要性建模，进而进行特征融合得到所述融合后的全局-局部特征信息。
7.根据权利要求1所述的基于上下文注意特征的高光谱图像分类方法，其特征在于，还包括：
步骤S6，通过所述测试集对所述目标分类模型的分类效果进行测试。
8.一种基于上下文注意特征的高光谱图像分类系统，其特征在于，包括：
获取模块，用于获取原始高光谱数据构建数据集，并根据预设划分方式将所述数据集划分为训练集、验证集和测试集；
构建模块，用于构建双重注意力机制的特征融合网络模型，其中，所述双重注意力机制的特征融合网络模型包括自注意位置校准模块、交叉注意位置校准模块和特征融合模块；
训练模块，用于利用所述训练集对所述双重注意力机制的特征融合网络模型进行训练；
验证模块，用于利用所述验证集在训练过程中对所述双重注意力机制的特征融合网络模型进行交叉验证，得到验证结果，其中，所述验证结果包括多个双重注意力机制的特征融合网络模型的分类效果；
分类模块，用于筛选所述验证结果中最佳分类效果的双重注意力机制的特征融合网络模型作为目标分类模型，并通过所述目标分类模型对预设高光谱图像进行分类。
9.一种高光谱图像分类设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-7任一项所述的基于上下文注意特征的高光谱图像分类方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7任一项所述的基于上下文注意特征的高光谱图像分类方法。
CN202310451982.5A 2023-04-24 2023-04-24 基于上下文注意特征的高光谱图像分类方法及系统 Pending CN116543203A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310451982.5A CN116543203A (zh) 2023-04-24 2023-04-24 基于上下文注意特征的高光谱图像分类方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310451982.5A CN116543203A (zh) 2023-04-24 2023-04-24 基于上下文注意特征的高光谱图像分类方法及系统

Publications (1)

Publication Number Publication Date
CN116543203A true CN116543203A (zh) 2023-08-04

Family

ID=87446272

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310451982.5A Pending CN116543203A (zh) 2023-04-24 2023-04-24 基于上下文注意特征的高光谱图像分类方法及系统

Country Status (1)

Country Link
CN (1) CN116543203A (zh)

Similar Documents

Publication Publication Date Title
EP3961484B1 (en) Medical image segmentation method and device, electronic device and storage medium
US9811760B2 (en) Online per-feature descriptor customization
US9330336B2 (en) Systems, methods, and media for on-line boosting of a classifier
US20170076448A1 (en) Identification of inflammation in tissue images
CN116368500A (zh) 模型训练方法、图像处理方法、计算处理设备及非瞬态计算机可读介质
CN110543916B (zh) 一种缺失多视图数据的分类方法及系统
CN110163294B (zh) 基于降维操作和卷积网络的遥感图像变化区域检测方法
CN111079807B (zh) 一种地物分类方法及装置
CN113449787B (zh) 基于汉字笔画结构的字体库补全方法及系统
CN111275686A (zh) 用于人工神经网络训练的医学图像数据的生成方法及装置
CN111652266A (zh) 用户界面组件的识别方法、装置、电子设备和存储介质
CN114998220A (zh) 一种基于改进的Tiny-YOLO v4自然环境下舌像检测定位方法
CN110245683A (zh) 一种少样本目标识别的残差关系网络构建方法及应用
CN103810667A (zh) 通过背景减去的光谱场景简化
CN113762396A (zh) 一种二维图像语义分割方法
Otálora et al. Image magnification regression using densenet for exploiting histopathology open access content
CN113221762B (zh) 代价平衡决策方法、保险理赔决策方法、装置和设备
CN113592842A (zh) 一种基于深度学习的样本血清质量识别方法及识别设备
CN116309465B (zh) 一种基于改进的YOLOv5的自然环境下舌像检测定位方法
CN112560925A (zh) 一种复杂场景目标检测数据集构建方法及系统
CN111612021B (zh) 一种错误样本识别方法、装置及终端
CN116543203A (zh) 基于上下文注意特征的高光谱图像分类方法及系统
CN115004241B (zh) 基于深度学习的图像分割的移位不变损失
CN113610080A (zh) 基于跨模态感知的敏感图像识别方法、装置、设备及介质
CN110222657B (zh) 单步人脸检测器优化系统、方法、装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination