CN114972903A - 高光谱图像分类方法、装置、电子设备及存储介质 - Google Patents

高光谱图像分类方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN114972903A
CN114972903A CN202210393879.5A CN202210393879A CN114972903A CN 114972903 A CN114972903 A CN 114972903A CN 202210393879 A CN202210393879 A CN 202210393879A CN 114972903 A CN114972903 A CN 114972903A
Authority
CN
China
Prior art keywords
vector
pixel
classification
spectrum
hyperspectral image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210393879.5A
Other languages
English (en)
Inventor
祖宝开
李建强
李亚芳
王宏远
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Technology
Original Assignee
Beijing University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Technology filed Critical Beijing University of Technology
Priority to CN202210393879.5A priority Critical patent/CN114972903A/zh
Publication of CN114972903A publication Critical patent/CN114972903A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种高光谱图像分类方法、装置、电子设备及存储介质，所述方法包括：针对高光谱图像的每个待分类像素，确定所述像素对应的空谱像素块；将所述空谱像素块输入到训练好的高光谱图像分类模型中，得到所述像素对应的分类结果；其中，所述训练好的高光谱图像分类模型包括级联的卷积层、深度自注意力变换网络模型的编码器和多层感知器分类头，所述级联的卷积层用于提取所述像素的空谱特征，所述编码器用于基于所述像素的空谱特征捕获所述像素的光谱序列特征，所述多层感知器分类头用于基于像素的光谱序列特征对所述像素进行分类。本发明能够很好地挖掘和表示光谱特征的序列属性，从而能够准确和精细地分类高光谱图像中的像素。

Description

高光谱图像分类方法、装置、电子设备及存储介质
技术领域
本发明涉及图像处理技术领域，尤其涉及一种高光谱图像分类方法、装置、电子设备及存储介质。
背景技术
高光谱图像(Hyperspectral image,HSI)集样本的图像信息与光谱信息于一身，具有波段数多、蕴含信息丰富、光谱分辨率高等特点，其丰富的光谱和空间信息可以更好地表征和利用地球表面，目前已经被广泛应用于农业监测、环境污染监测和城市增长分析等领域。
高光谱图像分类是对未标记的像素进行标号的过程，是一种重要的信息获取手段。挖掘光谱特征是准确和精细分类高光谱图像中像素的关键因素。近年来，人们提出了大量基于深度卷积神经网络(Convolutional Neural Network,CNN)的高光谱图像分类方法，该方法虽然具有空间特征提取的优势，但难以处理序列数据，且不擅长对远程依赖关系进行建模。然而，高光谱图像的光谱是一种序列数据，通常包含数百个波段，不同位置的光谱信息反映了不同波长对应的不同吸收特性，这在很大程度上反映了当前物体的物理特性。因此，深度卷积神经网络很难很好地挖掘和表示光谱特征的序列属性。
发明内容
本发明提供一种高光谱图像分类方法、装置、电子设备及存储介质，用以解决现有技术中深度卷积神经网络很难很好地挖掘和表示光谱特征的序列属性的缺陷，实现准确和精细地分类高光谱图像中的像素的目的。
本发明提供一种高光谱图像分类方法，包括：
针对高光谱图像的每个待分类像素，确定所述像素对应的空谱像素块；
将所述空谱像素块输入到训练好的高光谱图像分类模型中，得到所述像素对应的分类结果；
其中，所述训练好的高光谱图像分类模型包括级联的卷积层、深度自注意力变换网络模型的编码器和多层感知器分类头，所述级联的卷积层用于提取所述像素的空谱特征，所述编码器用于基于所述像素的空谱特征捕获所述像素的光谱序列特征，所述多层感知器分类头用于基于像素的光谱序列特征对所述像素进行分类。
根据本发明提供的一种高光谱图像分类方法，所述将所述空谱像素块输入到训练好的高光谱图像分类模型中，得到所述像素对应的分类结果，包括：
将所述空谱像素块输入所述级联的卷积层，得到所述像素的第一嵌入向量；所述第一嵌入向量用于表征所述像素的空谱特征；
基于所述第一嵌入向量、分类嵌入向量和位置嵌入向量，确定第二嵌入向量；其中，所述分类嵌入向量是用于分类的类别向量，所述位置嵌入向量是用于保留光谱之间的空间位置编码信息的位置向量；
将所述第二嵌入向量输入所述深度自注意力变换网络模型的编码器，得到所述像素的空谱特征向量；所述空谱特征向量用于表征所述像素的光谱序列特征；
将所述像素的空谱特征向量输入所述多层感知器分类头进行分类，得到所述像素对应的分类结果。
根据本发明提供的一种高光谱图像分类方法，所述级联的卷积层包括级联的第一数量的三维卷积层、第二数量的二维卷积层和第三数量的全连接层，所述将所述空谱像素块输入所述级联的卷积层，得到所述像素的第一嵌入向量，包括：
将所述空谱像素块输入所述第一数量的三维卷积层，得到第一输出特征向量，并将所述第一输出特征向量进行降维转换，得到第二输出特征向量；
将所述第二输出特征向量输入所述第二数量的二维卷积层，得到第三输出特征向量，并将所述第三输出特征向量进行降维转换，得到第四输出特征向量；
将所述第四输出特征向量输入所述第三数量的全连接层，得到所述像素的第一嵌入向量。
根据本发明提供的一种高光谱图像分类方法，所述基于所述第一嵌入向量、分类嵌入向量和位置嵌入向量，确定第二嵌入向量，包括：
在所述第一嵌入向量的预设位置加入一维的所述分类嵌入向量，生成光谱嵌入向量；
将所述光谱嵌入向量和所述位置嵌入向量按元素相加，得到第二嵌入向量。
根据本发明提供的一种高光谱图像分类方法，所述深度自注意力变换网络模型的编码器包括多个编码块，所述编码块包括：第一归一化层、多头自注意力层、第二归一化层和前馈神经网络层；所述将所述第二嵌入向量输入所述深度自注意力变换网络模型的编码器，得到所述像素的空谱特征向量，包括：
将所述第二嵌入向量输入所述第一归一化层，经过层归一化处理，得到第一向量；
将所述第一向量输入所述多头自注意力层，得到第二向量；
将所述第二向量与所述第二嵌入向量相加后的第三向量输入所述第二归一化层，经过层归一化处理，得到第四向量；
将所述第四向量输入所述前馈神经网络层，得到第五向量，并将所述第三向量与所述第四向量进行相加，得到所述像素的空谱特征向量。
根据本发明提供的一种高光谱图像分类方法，所述多层感知器分类头包括归一化层和一层全连接层；所述将所述像素的空谱特征向量输入所述多层感知器分类头进行分类，得到所述像素对应的分类结果，包括：
将所述像素的空谱特征向量输入所述归一化层，经过层归一化处理，得到第四向量；
将所述第四向量输入所述全连接层进行分类，得到述像素对应的分类结果。
本发明还提供一种高光谱图像分类装置，包括：
确定模块，用于针对高光谱图像的每个待分类像素，确定所述像素对应的空谱像素块；
分类模块，用于将所述空谱像素块输入到训练好的高光谱图像分类模型中，得到所述像素对应的分类结果；其中，所述训练好的高光谱图像分类模型包括级联的卷积层、深度自注意力变换网络模型的编码器和多层感知器分类头，所述级联的卷积层用于提取所述像素的空谱特征，所述编码器用于基于所述像素的空谱特征捕获所述像素的光谱序列特征，所述多层感知器分类头用于基于像素的光谱序列特征对所述像素进行分类。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述高光谱图像分类方法。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述高光谱图像分类方法。
本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述高光谱图像分类方法。
本发明提供的一种高光谱图像分类方法、装置、电子设备及存储介质，通过将高光谱图像中每个待分类像素对应的空谱像素块输入到训练好的高光谱图像分类模型中，得到所述像素对应的分类结果，所述训练好的高光谱图像分类模型包括级联的卷积层、深度自注意力变换网络模型的编码器和多层感知器分类头。由于级联的卷积层具有较好的空间特征提取的优势，深度自注意力变换网络模型具有优越的处理序列数据的能力，将级联的卷积层和深度自注意力变换网络模型的编码器进行结合，可以更好地提取所述像素的空谱特征，从而可以更好地基于所述像素的空谱特征来挖掘和表示光谱特征的序列属性，捕获所述像素的光谱序列特征。由于更好地挖掘到所述像素的光谱序列特征，通过所述多层感知器分类头对所述像素进行分类，能够准确和精细地分类高光谱图像中的像素。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的高光谱图像分类方法的流程示意图；
图2是本发明提供的高光谱图像分类模型的示意图；
图3是本发明提供的高光谱图像分类装置的结构示意图；
图4是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合图1和图2，对本发明实施例提供的高光谱图像分类方法进行详细地说明。
图1为本发明提供的高光谱图像分类方法的流程示意图。如图1所示，本实施例提供的方法可以包括以下步骤：
步骤101、针对高光谱图像的每个待分类像素，确定所述像素对应的空谱像素块；
具体地，每个待分类像素对应的空谱像素块(P×P，P为空谱像素块的维度)包含待分类像素的相邻像素及其光谱信息(P×P×C，C为光谱维度)。在本实施例中，P＝7，C＝144，本实施例不限于此。
步骤102、将空谱像素块输入到训练好的高光谱图像分类模型中，得到所述像素对应的分类结果；其中，所述训练好的高光谱图像分类模型包括级联的卷积层、深度自注意力变换网络模型的编码器和多层感知器分类头，所述级联的卷积层用于提取所述像素的空谱特征，所述编码器用于基于所述像素的空谱特征捕获所述像素的光谱序列特征，所述多层感知器分类头用于基于像素的光谱序列特征对所述像素进行分类。
具体地，如图2所示，训练好的高光谱图像分类模型包括级联的卷积层、深度自注意力变换网络(Transformer)模型的编码器和多层感知器分类头。其中，级联的卷积层具有较好的空间特征提取的优势，可以更好地提取待分类像素的空谱特征。深度自注意力变换网络模型具有优越的处理序列数据的能力，可以基于待分类像素的空谱特征来挖掘和表示光谱特征的序列属性。将级联的卷积层和深度自注意力变换网络模型的编码器进行结合，可以更好地捕获待分类像素的光谱序列特征。由于更好地挖掘到待分类像素的光谱序列特征，通过多层感知器分类头对待分类像素进行分类，能够准确和精细地分类高光谱图像中的像素。
本发明提供的一种高光谱图像分类方法、装置、电子设备及存储介质，通过将高光谱图像中每个待分类像素对应的空谱像素块输入到训练好的高光谱图像分类模型中，得到所述像素对应的分类结果，所述训练好的高光谱图像分类模型包括级联的卷积层、深度自注意力变换网络模型的编码器和多层感知器分类头。由于级联的卷积层具有较好的空间特征提取的优势，深度自注意力变换网络模型具有优越的处理序列数据的能力，将级联的卷积层和深度自注意力变换网络模型的编码器进行结合，可以更好地提取所述像素的空谱特征，从而可以更好地基于所述像素的空谱特征来挖掘和表示光谱特征的序列属性，捕获所述像素的光谱序列特征。由于更好地挖掘到所述像素的光谱序列特征，通过所述多层感知器分类头对所述像素进行分类，能够准确和精细地分类高光谱图像中的像素。
可选地，步骤S102可以包括以下子步骤：
步骤S1021、将空谱像素块输入级联的卷积层，得到待分类像素的第一嵌入向量；第一嵌入向量用于表征待分类像素的空谱特征；
步骤S1022、基于第一嵌入向量、分类嵌入向量和位置嵌入向量，确定第二嵌入向量；其中，分类嵌入向量是用于分类的类别向量，位置嵌入向量是用于保留光谱之间的空间位置编码信息的位置向量；
步骤S1023、将第二嵌入向量输入深度自注意力变换网络模型的编码器，得到待分类像素的空谱特征向量；空谱特征向量用于表征待分类像素的光谱序列特征；
步骤S1024、将待分类像素的空谱特征向量输入多层感知器分类头进行分类，得到待分类像素对应的分类结果。
步骤S1021中，将空谱像素块输入级联的卷积层，提取待分类像素的空谱特征，(B×N×D，B为批量大小，N为光谱维度，D为标记(token)的维度)，将待分类像素的空谱特征向量作为第一嵌入向量。在本实施例中，N＝134，D＝64，本实施例不限于此。由于级联的卷积层具有较好的空间特征提取的优势，并且可以在很大程度上保留网络学习中的光谱序列信息，同时考虑空间上下文信息，可以更好地提取待分类像素的空谱特征。
步骤S1022中，在第一嵌入向量的基础上加入分类嵌入向量和位置嵌入向量，得到第二嵌入向量。分类嵌入向量可以使深度自注意力变换网络模型的编码器取可学习的分类嵌入向量作为类别预测结果。位置嵌入向量可以使第二嵌入向量保留光谱之间的空间位置编码信息。
步骤S1023中，由于深度自注意力变换网络模型具有优越的处理序列数据的能力，将第二嵌入向量输入深度自注意力变换网络模型的编码器，可以更好地基于待分类像素的空谱特征来挖掘和表示光谱特征的序列属性，捕获待分类像素的光谱序列特征。
步骤S1024中，由于更好地挖掘到待分类像素的光谱序列特征，通过多层感知器分类头对待分类像素进行分类，能够准确和精细地分类高光谱图像中的像素。
在上述实施例中，通过级联的卷积层提取到更好的待分类像素的空谱特征，即第一嵌入向量。通过在第一嵌入向量的基础上加入分类嵌入向量和位置嵌入向量，得到第二嵌入向量，使得深度自注意力变换网络模型的编码器可以取可学习的分类嵌入向量作为类别预测结果，以及使第二嵌入向量保留光谱之间的空间位置编码信息。将第二嵌入向量输入深度自注意力变换网络模型的编码器，可以更好地基于待分类像素的空谱特征来挖掘和表示光谱特征的序列属性，捕获待分类像素的光谱序列特征。由于更好地挖掘到待分类像素的光谱序列特征，通过多层感知器分类头对待分类像素进行分类，能够准确和精细地分类高光谱图像中的像素。
可选地，级联的卷积层包括级联的第一数量的三维卷积层、第二数量的二维卷积层和第三数量的全连接层。步骤S1021可以包括：将空谱像素块输入第一数量的三维卷积层，得到第一输出特征向量，并将第一输出特征向量进行降维转换，得到第二输出特征向量；将第二输出特征向量输入第二数量的二维卷积层，得到第三输出特征向量，并将第三输出特征向量进行降维转换，得到第四输出特征向量；将第四输出特征向量输入第三数量的全连接层，得到待分类像素的第一嵌入向量。
具体地，在本实施例中，如图2所示，级联的卷积层包括级联的三个三维卷积层(conv3d1，conv3d2和conv3d3)、两个二维卷积层(conv2d1和conv2d2)和两个全连接层(fc1和fc2)，本实施例不限于此。其中，级联的卷积层的设置参数可以如表1所示：
表1级联的卷积层的设置参数
Figure BDA0003596572490000091
Figure BDA0003596572490000101
如图2所示，将空谱像素块(1@144×7×7)输入三个三维卷积层(conv3d1，conv3d2和conv3d3)中，得到第一输出特征向量(40@138×1×1)，并将第一输出特征向量(40@138×1×1)进行降维转换，得到第二输出特征向量(1@138×40)；将第二输出特征向量(1@138×40)输入两个二维卷积层(conv2d1和conv2d2)，得到第三输出特征向量(64@134×36)，并将第三输出特征向量(64@134×36)进行降维转换，得到第四输出特征向量(1@134×2304)；将第四输出特征向量(1@134×2304)输入两个全连接层(fc1和fc2)，得到待分类像素的第一嵌入向量(1@134×64)。
在上述实施例中，由于级联的卷积层具有较好的空间特征提取的优势，并且可以在很大程度上保留网络学习中的光谱序列信息，同时考虑空间上下文信息，可以更好地提取待分类像素的空谱特征。
可选地，步骤S1022可以包括：在第一嵌入向量的预设位置加入一维的分类嵌入向量，生成光谱嵌入向量；将光谱嵌入向量和位置嵌入向量按元素相加，得到第二嵌入向量。
具体地，在本实施例中，预设位置指第一嵌入向量的首位。在第一嵌入向量
Figure BDA0003596572490000102
(B×N×D)的首位加入一维的分类嵌入向量xclass，生成光谱嵌入向量(B×(N+1)×D)，总长度为N+1。将光谱嵌入向量(B×(N+1)×D)和位置嵌入向量Epos按元素相加，得到第二嵌入向量z0。即
Figure BDA0003596572490000103
Figure BDA0003596572490000104
在上述实施例中，通过在第一嵌入向量的基础上加入分类嵌入向量和位置嵌入向量，得到第二嵌入向量，通过深度自注意力变换网络模型的编码器，取可学习的分类嵌入向量作为类别预测结果，以及使第二嵌入向量保留光谱之间的空间位置编码信息。
可选地，如图2所示，深度自注意力变换网络模型的编码器包括多个编码块，所述编码块包括：第一归一化层、多头自注意力层、第二归一化层和前馈神经网络层。步骤S1023可以包括：将第二嵌入向量输入第一归一化层，经过层归一化处理，得到第一向量；将第一向量输入多头自注意力层，得到第二向量；将第二向量与第二嵌入向量相加后的第三向量输入第二归一化层，经过层归一化处理，得到第四向量；将第四向量输入前馈神经网络层，得到第五向量，并将第三向量与第四向量进行相加，得到像素的空谱特征向量。在本实施例中，深度自注意力变换网络模型的编码器包括5个串行堆叠的编码块，本实施例不限于此。
在上述实施例中，由于深度自注意力变换网络模型具有优越的处理序列数据的能力，将第二嵌入向量输入深度自注意力变换网络模型的多个编码块中的第一归一化层、多头自注意力层、第二归一化层和前馈神经网络层，可以更好地基于待分类像素的空谱特征来挖掘和表示光谱特征的序列属性，捕获待分类像素的光谱序列特征。
可选地，多层感知器分类头包括归一化层和一层全连接层，本实施例不限于此。步骤S1024可以包括：将待分类像素的空谱特征向量输入归一化层，经过层归一化处理，得到第四向量；将第四向量输入全连接层进行分类，得到待分类像素对应的分类结果。
在本实施例中，全连接层对应的激活函数为高斯误差线性单元(Gaussian ErrorLinerar Units，GELU)激活函数，本实施例不限于此，还可以使用其他激活函数。最终分类只取待分类像素的空谱特征向量中第一个用于分类的标记(token)，输入到多层感知器分类头中，得到最后的待分类像素对应的分类结果。
下面对本发明提供的高光谱图像分类装置进行描述，下文描述的高光谱图像分类装置与上文描述的高光谱图像分类方法可相互对应参照。
图3是本发明提供的高光谱图像分类装置的结构示意图。如图3所示，本实施例提供的装置可以包括：
确定模块10，用于针对高光谱图像的每个待分类像素，确定所述像素对应的空谱像素块；
分类模块20，用于将所述空谱像素块输入到训练好的高光谱图像分类模型中，得到所述像素对应的分类结果；其中，所述训练好的高光谱图像分类模型包括级联的卷积层、深度自注意力变换网络模型的编码器和多层感知器分类头，所述级联的卷积层用于提取所述像素的空谱特征，所述编码器用于基于所述像素的空谱特征捕获所述像素的光谱序列特征，所述多层感知器分类头用于基于像素的光谱序列特征对所述像素进行分类。
可选地，分类模块20包括：
卷积单元，用于将所述空谱像素块输入所述级联的卷积层，得到所述像素的第一嵌入向量；所述第一嵌入向量用于表征所述像素的空谱特征；
确定单元，用于基于所述第一嵌入向量、分类嵌入向量和位置嵌入向量，确定第二嵌入向量；其中，所述分类嵌入向量是用于分类的类别向量，所述位置嵌入向量是用于保留光谱之间的空间位置编码信息的位置向量；
编码单元，用于将所述第二嵌入向量输入所述深度自注意力变换网络模型的编码器，得到所述像素的空谱特征向量；所述空谱特征向量用于表征所述像素的光谱序列特征；
分类单元，用于将所述像素的空谱特征向量输入所述多层感知器分类头进行分类，得到所述像素对应的分类结果。
可选地，所述级联的卷积层包括级联的第一数量的三维卷积层、第二数量的二维卷积层和第三数量的全连接层，卷积单元具体用于：
将所述空谱像素块输入所述第一数量的三维卷积层，得到第一输出特征向量，并将所述第一输出特征向量进行降维转换，得到第二输出特征向量；
将所述第二输出特征向量输入所述第二数量的二维卷积层，得到第三输出特征向量，并将所述第三输出特征向量进行降维转换，得到第四输出特征向量；
将所述第四输出特征向量输入所述第三数量的全连接层，得到所述像素的第一嵌入向量。
可选地，确定单元具体用于：
在所述第一嵌入向量的预设位置加入一维的所述分类嵌入向量，生成光谱嵌入向量；
将所述光谱嵌入向量和所述位置嵌入向量按元素相加，得到第二嵌入向量。
可选地，所述深度自注意力变换网络模型的编码器包括多个编码块，所述编码块包括：第一归一化层、多头自注意力层、第二归一化层和前馈神经网络层；编码单元具体用于：
将所述第二嵌入向量输入所述第一归一化层，经过层归一化处理，得到第一向量；
将所述第一向量输入所述多头自注意力层，得到第二向量；
将所述第二向量与所述第二嵌入向量相加后的第三向量输入所述第二归一化层，经过层归一化处理，得到第四向量；
将所述第四向量输入所述前馈神经网络层，得到第五向量，并将所述第三向量与所述第四向量进行相加，得到所述像素的空谱特征向量。
可选地，所述多层感知器分类头包括归一化层和一层全连接层；分类单元具体用于：
将所述像素的空谱特征向量输入所述归一化层，经过层归一化处理，得到第四向量；
将所述第四向量输入所述全连接层进行分类，得到述像素对应的分类结果。
图4示例了一种电子设备的实体结构示意图，如图4所示，该电子设备可以包括：处理器(processor)410、通信接口(CommunicationsInterface)420、存储器(memory)430和通信总线440，其中，处理器410，通信接口420，存储器430通过通信总线440完成相互间的通信。处理器410可以调用存储器430中的逻辑指令，以执行高光谱图像分类方法，该方法包括：
针对高光谱图像的每个待分类像素，确定所述像素对应的空谱像素块；
将所述空谱像素块输入到训练好的高光谱图像分类模型中，得到所述像素对应的分类结果；
其中，所述训练好的高光谱图像分类模型包括级联的卷积层、深度自注意力变换网络模型的编码器和多层感知器分类头，所述级联的卷积层用于提取所述像素的空谱特征，所述编码器用于基于所述像素的空谱特征捕获所述像素的光谱序列特征，所述多层感知器分类头用于基于像素的光谱序列特征对所述像素进行分类。
可选地，处理器410将所述空谱像素块输入到训练好的高光谱图像分类模型中，得到所述像素对应的分类结果，包括：
将所述空谱像素块输入所述级联的卷积层，得到所述像素的第一嵌入向量；所述第一嵌入向量用于表征所述像素的空谱特征；
基于所述第一嵌入向量、分类嵌入向量和位置嵌入向量，确定第二嵌入向量；其中，所述分类嵌入向量是用于分类的类别向量，所述位置嵌入向量是用于保留光谱之间的空间位置编码信息的位置向量；
将所述第二嵌入向量输入所述深度自注意力变换网络模型的编码器，得到所述像素的空谱特征向量；所述空谱特征向量用于表征所述像素的光谱序列特征；
将所述像素的空谱特征向量输入所述多层感知器分类头进行分类，得到所述像素对应的分类结果。
可选地，所述级联的卷积层包括级联的第一数量的三维卷积层、第二数量的二维卷积层和第三数量的全连接层，处理器410将所述空谱像素块输入所述级联的卷积层，得到所述像素的第一嵌入向量，包括：
将所述空谱像素块输入所述第一数量的三维卷积层，得到第一输出特征向量，并将所述第一输出特征向量进行降维转换，得到第二输出特征向量；
将所述第二输出特征向量输入所述第二数量的二维卷积层，得到第三输出特征向量，并将所述第三输出特征向量进行降维转换，得到第四输出特征向量；
将所述第四输出特征向量输入所述第三数量的全连接层，得到所述像素的第一嵌入向量。
可选地，处理器410基于所述第一嵌入向量、分类嵌入向量和位置嵌入向量，确定第二嵌入向量，包括：
在所述第一嵌入向量的预设位置加入一维的所述分类嵌入向量，生成光谱嵌入向量；
将所述光谱嵌入向量和所述位置嵌入向量按元素相加，得到第二嵌入向量。
可选地，所述深度自注意力变换网络模型的编码器包括多个编码块，所述编码块包括：第一归一化层、多头自注意力层、第二归一化层和前馈神经网络层；处理器410将所述第二嵌入向量输入所述深度自注意力变换网络模型的编码器，得到所述像素的空谱特征向量，包括：
将所述第二嵌入向量输入所述第一归一化层，经过层归一化处理，得到第一向量；
将所述第一向量输入所述多头自注意力层，得到第二向量；
将所述第二向量与所述第二嵌入向量相加后的第三向量输入所述第二归一化层，经过层归一化处理，得到第四向量；
将所述第四向量输入所述前馈神经网络层，得到第五向量，并将所述第三向量与所述第四向量进行相加，得到所述像素的空谱特征向量。
可选地，所述多层感知器分类头包括归一化层和一层全连接层；处理器410将所述像素的空谱特征向量输入所述多层感知器分类头进行分类，得到所述像素对应的分类结果，包括：
将所述像素的空谱特征向量输入所述归一化层，经过层归一化处理，得到第四向量；
将所述第四向量输入所述全连接层进行分类，得到述像素对应的分类结果。
此外，上述的存储器430中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，RandomAccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的高光谱图像分类方法，且能达到相同的技术效果，为避免重复，这里不再赘述。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的高光谱图像分类方法，且能达到相同的技术效果，为避免重复，这里不再赘述。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种高光谱图像分类方法，其特征在于，包括：
针对高光谱图像的每个待分类像素，确定所述像素对应的空谱像素块；
将所述空谱像素块输入到训练好的高光谱图像分类模型中，得到所述像素对应的分类结果；
其中，所述训练好的高光谱图像分类模型包括级联的卷积层、深度自注意力变换网络模型的编码器和多层感知器分类头，所述级联的卷积层用于提取所述像素的空谱特征，所述编码器用于基于所述像素的空谱特征捕获所述像素的光谱序列特征，所述多层感知器分类头用于基于像素的光谱序列特征对所述像素进行分类。
2.根据权利要求1所述的高光谱图像分类方法，其特征在于，所述将所述空谱像素块输入到训练好的高光谱图像分类模型中，得到所述像素对应的分类结果，包括：
将所述空谱像素块输入所述级联的卷积层，得到所述像素的第一嵌入向量；所述第一嵌入向量用于表征所述像素的空谱特征；
基于所述第一嵌入向量、分类嵌入向量和位置嵌入向量，确定第二嵌入向量；其中，所述分类嵌入向量是用于分类的类别向量，所述位置嵌入向量是用于保留光谱之间的空间位置编码信息的位置向量；
将所述第二嵌入向量输入所述深度自注意力变换网络模型的编码器，得到所述像素的空谱特征向量；所述空谱特征向量用于表征所述像素的光谱序列特征；
将所述像素的空谱特征向量输入所述多层感知器分类头进行分类，得到所述像素对应的分类结果。
3.根据权利要求2所述的高光谱图像分类方法，其特征在于，所述级联的卷积层包括级联的第一数量的三维卷积层、第二数量的二维卷积层和第三数量的全连接层，所述将所述空谱像素块输入所述级联的卷积层，得到所述像素的第一嵌入向量，包括：
将所述空谱像素块输入所述第一数量的三维卷积层，得到第一输出特征向量，并将所述第一输出特征向量进行降维转换，得到第二输出特征向量；
将所述第二输出特征向量输入所述第二数量的二维卷积层，得到第三输出特征向量，并将所述第三输出特征向量进行降维转换，得到第四输出特征向量；
将所述第四输出特征向量输入所述第三数量的全连接层，得到所述像素的第一嵌入向量。
4.根据权利要求2所述的高光谱图像分类方法，其特征在于，所述基于所述第一嵌入向量、分类嵌入向量和位置嵌入向量，确定第二嵌入向量，包括：
在所述第一嵌入向量的预设位置加入一维的所述分类嵌入向量，生成光谱嵌入向量；
将所述光谱嵌入向量和所述位置嵌入向量按元素相加，得到第二嵌入向量。
5.根据权利要求2所述的高光谱图像分类方法，其特征在于，所述深度自注意力变换网络模型的编码器包括多个编码块，所述编码块包括：第一归一化层、多头自注意力层、第二归一化层和前馈神经网络层；所述将所述第二嵌入向量输入所述深度自注意力变换网络模型的编码器，得到所述像素的空谱特征向量，包括：
将所述第二嵌入向量输入所述第一归一化层，经过层归一化处理，得到第一向量；
将所述第一向量输入所述多头自注意力层，得到第二向量；
将所述第二向量与所述第二嵌入向量相加后的第三向量输入所述第二归一化层，经过层归一化处理，得到第四向量；
将所述第四向量输入所述前馈神经网络层，得到第五向量，并将所述第三向量与所述第四向量进行相加，得到所述像素的空谱特征向量。
6.根据权利要求2所述的高光谱图像分类方法，其特征在于，所述多层感知器分类头包括归一化层和一层全连接层；将所述像素的空谱特征向量输入所述多层感知器分类头进行分类，得到所述像素对应的分类结果，包括：
将所述像素的空谱特征向量输入所述归一化层，经过层归一化处理，得到第四向量；
将所述第四向量输入所述全连接层进行分类，得到述像素对应的分类结果。
7.一种高光谱图像分类装置，其特征在于，包括：
确定模块，用于针对高光谱图像的每个待分类像素，确定所述像素对应的空谱像素块；
分类模块，用于将所述空谱像素块输入到训练好的高光谱图像分类模型中，得到所述像素对应的分类结果；其中，所述训练好的高光谱图像分类模型包括级联的卷积层、深度自注意力变换网络模型的编码器和多层感知器分类头，所述级联的卷积层用于提取所述像素的空谱特征，所述编码器用于基于所述像素的空谱特征捕获所述像素的光谱序列特征，所述多层感知器分类头用于基于像素的光谱序列特征对所述像素进行分类。
8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述的高光谱图像分类方法。
9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的高光谱图像分类方法。
10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的高光谱图像分类方法。
CN202210393879.5A 2022-04-14 2022-04-14 高光谱图像分类方法、装置、电子设备及存储介质 Pending CN114972903A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210393879.5A CN114972903A (zh) 2022-04-14 2022-04-14 高光谱图像分类方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210393879.5A CN114972903A (zh) 2022-04-14 2022-04-14 高光谱图像分类方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN114972903A true CN114972903A (zh) 2022-08-30

Family

ID=82976890

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210393879.5A Pending CN114972903A (zh) 2022-04-14 2022-04-14 高光谱图像分类方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN114972903A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111126256A (zh) * 2019-12-23 2020-05-08 武汉大学 一种基于自适应空谱多尺度网络的高光谱图像分类方法
CN111914907A (zh) * 2020-07-13 2020-11-10 河海大学 一种基于深度学习空谱联合网络的高光谱图像分类方法
CN112749752A (zh) * 2021-01-15 2021-05-04 中国人民解放军战略支援部队信息工程大学 一种基于深度Transformer的高光谱影像分类方法
WO2021082480A1 (zh) * 2019-10-29 2021-05-06 华为技术有限公司 一种图像分类的方法及相关装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021082480A1 (zh) * 2019-10-29 2021-05-06 华为技术有限公司 一种图像分类的方法及相关装置
CN111126256A (zh) * 2019-12-23 2020-05-08 武汉大学 一种基于自适应空谱多尺度网络的高光谱图像分类方法
CN111914907A (zh) * 2020-07-13 2020-11-10 河海大学 一种基于深度学习空谱联合网络的高光谱图像分类方法
CN112749752A (zh) * 2021-01-15 2021-05-04 中国人民解放军战略支援部队信息工程大学 一种基于深度Transformer的高光谱影像分类方法

Similar Documents

Publication Publication Date Title
JP6718994B2 (ja) データの量子処理のためのシステムおよび方法
US20240007633A1 (en) Image compression and decoding, video compression and decoding: methods and systems
Kang et al. Dual-path network-based hyperspectral image classification
Romero et al. Unsupervised deep feature extraction for remote sensing image classification
CN109784347B (zh) 基于多尺度稠密卷积神经网络和谱注意力机制的图像分类方法
CN112101381A (zh) 张量协作图判别分析遥感图像特征提取方法
Das Hyperspectral image, video compression using sparse tucker tensor decomposition
CN114912533B (zh) 一种应用于变压器的状态监测系统及监测方法
Zhou et al. Graph convolution: A high-order and adaptive approach
CN115471216B (zh) 智慧实验室管理平台的数据管理方法
CN109871749A (zh) 一种基于深度哈希的行人重识别方法和装置、计算机系统
CN112801063A (zh) 神经网络系统和基于神经网络系统的图像人群计数方法
CN112819007A (zh) 图像识别方法、装置、电子设备及存储介质
Tang et al. Improving cloud type classification of ground-based images using region covariance descriptors
Guo et al. Hyperspectral image compression via cross-channel contrastive learning
CN112733861B (zh) 基于u型残差网络的文本擦除和抠字方法
Xia et al. Combination of multi‐scale and residual learning in deep CNN for image denoising
Mei et al. Learn a compression for objection detection-vae with a bridge
CN114972903A (zh) 高光谱图像分类方法、装置、电子设备及存储介质
CN115147895B (zh) 人脸鉴伪方法及装置
Kumar et al. Face recognition with frame size reduction and DCT compression using PCA algorithm
Chen et al. Hyperspectral remote sensing IQA via learning multiple kernels from mid-level features
Kekre et al. Sectorization of Full Kekre’s Wavelet Transform for Feature extraction of Color Images
CN112861135B (zh) 基于注意力机制的恶意代码检测方法
Yaman et al. Image processing and machine learning‐based classification method for hyperspectral images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination