CN114742985A - 一种高光谱特征提取方法、装置及存储介质 - Google Patents

一种高光谱特征提取方法、装置及存储介质 Download PDF

Info

Publication number
CN114742985A
CN114742985A CN202210277342.2A CN202210277342A CN114742985A CN 114742985 A CN114742985 A CN 114742985A CN 202210277342 A CN202210277342 A CN 202210277342A CN 114742985 A CN114742985 A CN 114742985A
Authority
CN
China
Prior art keywords
hyperspectral
image
size
multiplied
spectral
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210277342.2A
Other languages
English (en)
Inventor
于文博
黄鹤
沈纲祥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou University
Original Assignee
Suzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou University filed Critical Suzhou University
Priority to CN202210277342.2A priority Critical patent/CN114742985A/zh
Publication of CN114742985A publication Critical patent/CN114742985A/zh
Priority to PCT/CN2022/142161 priority patent/WO2023173884A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种高光谱特征提取方法、装置及计算机存储介质，本发明提出的基于多模态注意力编码的高光谱特征提取方法，通过构建空间维序贯特征提取模块实现对像元空间数据中两种序贯信息的有效提取，通过双向长短期记忆层移除序贯特征提取过程序贯方向对性能的影响，通过针对不同序贯信息来构建不同注意力权重矩阵，实现对序贯信息中重要部分的强化，实现信息的高性能融合，最终有效提升提取到的特征的表达能力。

Description

一种高光谱特征提取方法、装置及存储介质
技术领域
本发明涉及遥感技术领域，尤其是指一种高光谱特征提取方法、装置及计算机存储介质。
背景技术
在遥感领域，高光谱成像技术在多种研究中被广泛使用。高光谱图像包含了极其丰富的空间信息和光谱信息，其中空间信息指在各个光谱波长下单一像元的具体空间位置信息，光谱信息指单一像元在各个光谱波长下光谱反射率组成的连续光谱曲线。通过对高光谱图像进行特征提取研究，可以得到蕴含重要判别信息的嵌入特征，减少图像的冗余信息，并可以进一步提升后续分类研究中的识别精度。早期，高光谱图像特征提取方法主要提取像元的光谱特征，并没有考虑不同像元位置信息之间的差异，因此这些方法难以取得较好的分类结果。近年来，随着计算机的算力急剧提升，并伴随着深度学习研究的不断深入，大量针对本研究领域的神经网络方法相继被提出，这些方法中引入了多传感器数据融合的理论思想，对空间信息和光谱信息构建映射来进行提取，并最后实现特征融合，这类方法避免了重要高光谱信息的大量缺失，从而进一步提升了相关算法的分类性能。
高光谱特征提取方法从数据多样性的角度一般可分为基于光谱信息的特征提取方法和基于空-谱信息的特征提取方法。
基于光谱信息的高光谱特征提取方法主要利用高光谱图像中单一的光谱曲线来对特征提取模型进行构建，同时不考虑像元在空间层面的空间位置，属于单模态学习。早期较为常用的方法一般包括主成分分析(Principle Component Analysis，PCA)，最小化噪声分离(Minimum Noise Fraction， MNF)，线性判别分析(Linear Discriminant Analysis，LDA)等等。同时为了应对非线性数据，一些基于流形学习的方法也被提出，例如局部线性嵌入(Local Linear Embedding，LLE)，拉普拉斯特征映射(Laplacian Eigenmaps，LE)，多维尺度分析(Multidimensional Scaling，MDS)等等。此类方法一般只考虑高光谱像元内部的重要判别信息，以此来保障像元的分类能力。近年来，随着深度学习研究的不断深入，一些深度网络模型也被广泛应用到高光谱图像特征提取相关的研究中，例如自动编码器(Auto-encoder，AE)、变分自动编码器(Variational Auto-encoder，VAE)、长短期记忆网络(Long Short Term Memory，LSTM)等等。然而，此类方法没有考虑高光谱像元的空间位置关系，因此也仅从光谱层面对高光谱图像中的判别信息进行详细的描述，缺乏重要空间信息，无法充分发挥高光谱图像的“图谱合一”的优势，即图像中空间信息和光谱信息之间存在协同性。目前来说，本研究领域的主流高光谱特征提取方法是基于空-谱信息的特征提取方法。
高光谱图像是一种典型的三维立方体数据，包含两个空间维和一个光谱维。这种数据将目标地物像元的局部空间信息与各波长下的独有光谱信息进行交互式结合，并共同在完整的高光谱图像中进行体现，因此高光谱图像具有“图谱合一”的重要特点，即高光谱图像的空间信息与光谱信息具有一致性和协同性。同时，由于高光谱图像较为复杂多变的拍摄场景，以及拍摄环境的信息干扰影响，高光谱图像中还会存在“一物异谱”和“一谱异物”的现象，这些现象也会严重影响干扰高光谱像元的分析结果。高光谱图像的空间信息是指单一像元在空间层面上的局部邻域像元组成的信息，通过假定每个光谱像元都和它的局部邻域像元存在一定的贡献关系或关联关系，可以实现对局部空间的学习，进而掌握像元在真实地物中的多重判别信息。目前的方法一般采用卷积神经网络对像元在局部感受野的信息进行卷积操作，获取像元的空间特征，并将其与其他特征相结合，实现多模态学习。但这类方法存在如下缺陷：①通常使用卷积神经网络等方式进行特征提取，却没有对信息中重要的区域进行强化，无法对局部信息的重要部分进行突出，而是采用一致的方式进行处理，难以突出信息重点；②无法挖掘空-谱信息中特有的序贯信息，且没有考虑序贯信息在不同序贯方向的差异，在对空-谱信息中的序贯信息进行提取时没有考虑序贯方向对提取效果的影响③使用注意力机制时，权重矩阵的构建方式过于单一④空间信息和光谱信息的融合方式过于简单，较为单一，无法充分实现模态信息(空间信息和光谱信息)的融合。
发明内容
为此，本发明所要解决的技术问题在于克服现有技术中高光谱特征提取精度低的问题。
为解决上述技术问题，本发明提供了一种高光谱特征提取方法包括：选取高光谱图像进行归一化处理得到原域高光谱图像X×Y×B，X和Y是各波长下高光谱图像的空间尺寸，B是高光谱图像的波段个数，设置邻域滑动窗口 s，嵌入维数为d，对所述原域高光谱图像的每一个高光谱像元选取其周围尺寸为s×s的邻域像元作为该像元的空间数据，得到邻域高光谱空间数据集；
将所述原域高光谱图像和所述邻域高光谱空间数据集输入预先训练好的高光谱深度网络模型中；
将所述邻域高光谱空间数据集输入静态空间维序贯特征提取模块中，所述邻域高光谱空间数据集经过尺寸变换层后输入m个静态单元，所述静态单元包括双向长短期记忆层、第一平均池化层和静态注意力层，利用所述静态注意力层计算所述第一平均池化层输出结果的欧式权重矩阵和光谱权重矩阵，并分别进行归一化操作，将所述欧式权重矩阵和所述光谱权重矩阵按位相乘得到静态权重矩阵，利用所述静态权重矩阵计算得到输出并经过第二平均池化层后生成静态序贯特征图像；
将所述邻域高光谱空间数据集输入动态空间维序贯特征提取模块中，所述邻域高光谱空间数据集经过所述尺寸变换层和拼接层后输入m个动态单元，所述动态单元包括所述双向长短期记忆层、所述第一平均池化层和动态注意力层，利用所述动态注意力层计算所述第一平均池化层输出结果的权重矩阵，并进行归一化操作，得到动态权重矩阵，利用所述动态权重矩阵计算得到输出并经过所述第二平均池化层后生成动态序贯特征图像；
利用光谱特征提取模块提取所述原域高光谱图像的特征得到原域光谱特征图像；
将所述静态序贯特征图像、所述动态序贯特征图像和所述原域光谱特征图像融合得到最终光谱特征图像；
利用解码模块对所述最终光谱特征图像解码生成目标光谱特征图像。
优选地，所述预训练高光谱深度网络模型包括：
依据公式Γ＝ΓR+ΓKL构建损失函数：
Figure BDA0003551843780000041
Figure BDA0003551843780000042
其中，∑(·)为将括号内的内容全部加在一起，Indata为所述原域高光谱图像，Outdata为所述目标光谱特征图像，μ为所述融合特征图像，δ为第三原域光谱特征图像；
选用步长为10-3的Adam优化器训练所述高光谱深度网络模型直至所述损失函数收敛。
优选地，所述将所述邻域高光谱空间数据集输入静态空间维序贯特征提取模块中包括：
将所述邻域高光谱空间数据集的X×Y个尺寸为1×s×s×B的空间数据输入所述尺寸变换层，输出尺寸为1×s2×B；
将X×Y个尺寸为1×s2×B的空间数据输入所述静态单元的双向长短期记忆层，输出尺寸为1×s2×2d；
将X×Y个尺寸为1×s2×2d的空间数据输入所述静态单元的第一平均池化层，输出尺寸为1×s2×d；
将X×Y个尺寸为1×s2×d的空间数据输入所述静态单元的静态注意力层，变换尺寸得到尺寸为1×s×s×d的矩阵
Figure BDA0003551843780000043
对所述矩阵
Figure BDA0003551843780000051
的X×Y个空间数据依据公式
Figure BDA0003551843780000052
对每个所述空间数据位置在[i,j](1≤i≤s，1≤j≤s)的样本pi,j与中心像元
Figure BDA0003551843780000053
之间的欧氏距离进行按位存储得到X×Y个尺寸为1×s×s的所述欧式权重矩阵ME；
对X×Y个空间数据依据公式
Figure BDA0003551843780000054
对每个所述空间数据位置在 [i,j]的样本pi,j与中心样本
Figure BDA0003551843780000055
之间的光谱距离进行按位存储得到X×Y个尺寸为1×s×s的所述光谱权重矩阵MS；
对每个所述欧式权重矩阵ME和每个所述光谱权重矩阵MS进行归一化操作
Figure BDA0003551843780000056
对每个所述欧式权重矩阵与对应的所述光谱权重矩阵进行按位相乘操作得到X×Y个静态权重矩阵M＝ME×MS；
将X×Y个尺寸为1×s×s的所述静态权重矩阵M的尺寸维度扩张为 1×s×s×1；
计算输出X×Y个
Figure BDA0003551843780000057
其尺寸为1×s×s×d，转换尺寸为 1×s2×d输入所述第二平均池化层生成所述静态序贯特征图像Output1。
优选地，所述将所述邻域高光谱空间数据集输入动态空间维序贯特征提取模块中包括：
将所述邻域高光谱空间数据集的X×Y个尺寸为1×s×s×B的空间数据输入所述尺寸变换层，输出尺寸为
Figure BDA0003551843780000058
将X×Y个尺寸为
Figure BDA0003551843780000059
的空间数据输入所述拼接层，输出尺寸为
Figure BDA00035518437800000510
将X×Y个尺寸为
Figure BDA00035518437800000511
的空间数据输入所述动态单元的双向长短期记忆层，输出尺寸为1×k×2d；
将X×Y个尺寸为1×k×2d的空间数据输入所述静态单元的第一平均池化层，输出尺寸为为1×k×d的矩阵H；
将所述矩阵H输入所述动态单元的动态注意力层，对矩阵H的X×Y个空间数据依据公式
Figure BDA0003551843780000061
计算每个所述空间数据位置在[i,j](1≤i≤s， 1≤j≤s)的样本pi,j与所有样本的光谱距离之和，进行按位存储得到X×Y个尺寸为1×s×s的动态权重矩阵N，并对每个所述动态权重矩阵N进行归一化操作；
将X×Y个尺寸为1×s×s的所述动态权重矩阵N的尺寸维度扩张为 1×s×s×1；
计算输出X×Y个H+N×H，其尺寸为1×k×d，输入所述第二平均池化层生成所述静态序贯特征图像Output2。
优选地，所述将所述静态序贯特征图像、所述动态序贯特征图像和所述原域光谱特征图像融合得到最终光谱特征图像包括：
对所述静态序贯特征图像、所述动态序贯特征图像和所述第二原域光谱特征图像进行快速傅里叶变换并进行按位相乘和拼接操作，得到所述融合特征图像；
将所述第一原域光谱特征图像输入一个全连接层得到第三原域光谱特征图像，利用所述第三原域光谱特征图像、所述融合特征图像以及随机生成的噪声矩阵，生成最终光谱特征图像。
优选地，所述利用所述第三原域光谱特征图δ、融合特征图μ以及随机生成的噪声矩阵γ，生成最终光谱特征图Output＝μ+(δ×γ)。
优选地，所述对所述光谱特征图像解码生成目标光谱特征图像包括：
将尺寸为1×2d的所述光谱特征图像输入第一全连接层，输出为 X×Y×d；
将X×Y×d输入剩余第2到第n-1个全连接层，输出为X×Y×d；
将X×Y×d输入第n个全连接层，输出为尺寸为1×B的目标光谱特征图像Outdata。
本发明还提供了一种高光谱特征提取的装置，包括：
预处理模块，用于选取高光谱图像进行归一化处理得到原域高光谱图像 X×Y×B，X和Y是各波长下高光谱图像的空间尺寸，B是高光谱图像的波段个数，设置邻域滑动窗口s，嵌入维数为d，对所述原域高光谱图像的每一个高光谱像元选取其周围尺寸为s×s的邻域像元作为该像元的空间数据，得到邻域高光谱空间数据集；
输入模块，用于将所述原域高光谱图像和所述邻域高光谱空间数据集输入预先训练好的高光谱深度网络模型中；
静态序贯特征提取模块，用于将所述邻域高光谱空间数据集经过尺寸变换层后输入m个静态单元，所述静态单元包括双向长短期记忆层、第一平均池化层和静态注意力层，利用所述静态注意力层计算所述第一平均池化层输出结果的欧式权重矩阵和光谱权重矩阵，并分别进行归一化操作，将所述欧式权重矩阵和所述光谱权重矩阵按位相乘得到静态权重矩阵，利用所述静态权重矩阵计算得到输出并经过第二平均池化层后生成静态序贯特征图像；
动态序贯特征提取模块，用于将所述邻域高光谱空间数据集经过所述尺寸变换层和拼接层后输入m个动态单元，所述动态单元包括所述双向长短期记忆层、所述第一平均池化层和动态注意力层，利用所述动态注意力层计算所述第一平均池化层输出结果的权重矩阵，并进行归一化操作，得到动态权重矩阵，利用所述动态权重矩阵计算得到输出并经过所述第二平均池化层后生成动态序贯特征图像；
光谱特征提取模块，用于提取所述原域高光谱图像的特征得到原域光谱特征图像；
特征融合拼接模块，用于将所述静态序贯特征图像、所述动态序贯特征图像和所述原域光谱特征图像融合得到最终光谱特征图像；
解码模块，用于利用解码模块对所述最终光谱特征图像解码生成目标光谱特征图像。
本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述一种高光谱特征提取的方法的步骤。
本发明的上述技术方案相比现有技术具有以下优点：
①本发明针对空间层面中两种序贯信息分别构建不同的权重矩阵，实现了方法与样本特性间高适配性匹配的特点，权重矩阵的构造更为符合高光谱图像的数据特性，对空间层面中序贯信息的重要部分进行了强化②本发明利用双向长短期记忆网络和注意力机制对空间层面中两种序贯信息进行特征提取，减少了序贯信息中序贯方向对最终性能的影响。③本发明利用空间层面中序贯信息对光谱信息的修正，实现了特征提取的优化，解决了像元信息表达形式较为单一的问题，实现了多模态的特征提取方法④本发明将两种序贯特征与光谱特征进行信息修正融合，充分实现了模态信息(空间信息和光谱信息)的融合。本发明提出了一种基于多模态注意力编码的高光谱特征提取方法，通过构建空间维序贯特征提取模块实现对像元空间数据中两种序贯信息的有效提取，通过双向长短期记忆层来减少序贯特征提取过程中序贯方向对性能的影响，通过针对不同序贯信息来构建不同注意力权重矩阵实现对序贯信息中重要部分的强化，实现信息的充分融合，最终有效提升提取到的特征的表达能力。
附图说明
为了使本发明的内容更容易被清楚的理解，下面根据本发明的具体实施例并结合附图，对本发明作进一步详细的说明，其中：
图1是高光谱特征提取的实现流程图；
图2是静态注意力层的示意图；
图3是动态注意力层的示意图；
图4是高光谱特征提取实验流程图。
图5为本发明实施例提供的一种高光谱特征提取装置的结构框
具体实施方式
本发明的核心是提供一种高光谱特征提取的方法、装置、设备及计算机存储介质，以提高光谱特征提取的精度。
为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参考图1，图1为本发明所提供的高光谱特征提取的实现流程图；具体操作步骤如下：
S101:选取高光谱图像进行归一化处理得到原域高光谱图像X×Y×B，X 和Y是各波长下高光谱图像的空间尺寸，B是高光谱图像的波段个数，设置邻域滑动窗口s，对所述原域高光谱图像的每一个高光谱像元选取其周围尺寸为 s×s的邻域像元作为该像元的空间数据，得到邻域高光谱空间数据集；
归一化处理公式如下：
Figure BDA0003551843780000091
其中，xmin表示数据中最小值，xmax为最大值。
设置邻域滑动窗口s为大于0的奇数，嵌入维数为d，d大于0，各网络层的节点数均为d；
对于边缘的高光谱像元，对缺失的部分进行补零操作。
获取全部X×Y个尺寸为1×s×s×B的空间数据作为输入样本一，即邻域高光谱空间数据集，获取全部X×Y个尺寸为1×B的高光谱像元作为输入样本二，即原域高光谱图像，其中输入样本一和输入样本二的个数相同，且一一对应，同一序号的输入样本二是输入样本一的中心。
将全部X×Y个输入样本一和全部X×Y个输入样本二按照相同的顺序进行打乱，并选取序号处于前30％的输入样本一和输入样本二作为训练样本一和训练样本二，若X×Y×30％不是整数，则将其进行四舍五入操作；
从全部X×Y×30％个训练样本一和全部X×Y×30％个训练样本二中选择相同位置的小批量训练样本一和小批量训练样本二输入到神经网络中，小批量样本个数为512，将512个小批量训练样本一作为空间维序贯特征提取模块一和空间维序贯特征提取模块二的输入，将512个小批量训练样本二作为光谱特征提取模块的输入，对深度网络进行训练。
依据公式Γ＝ΓR+ΓKL构建损失函数：
Figure BDA0003551843780000101
Figure BDA0003551843780000102
其中，∑(·)为将括号内的内容全部加在一起，Indata为所述原域高光谱图像，Outdata为所述目标光谱特征图像，μ为所述融合特征图像，δ为第三原域光谱特征图像，ΓR保障了深度网络输入信息与输出信息的一致性，ΓKL是保障了高斯分布和嵌入特征分布的一致性；
选用步长为10-3的Adam优化器训练所述高光谱深度网络模型直至所述损失函数收敛(需训练至少1000次)。
S102:将所述原域高光谱图像和所述邻域高光谱空间数据集输入预先训练好的高光谱深度网络模型中；
构建高光谱深度网络模型，模型中包含静态空间维序贯特征提取模块、动态空间维序贯特征提取模块、光谱特征提取模块和解码模块。
S103:将所述邻域高光谱空间数据集输入静态空间维序贯特征提取模块中，所述邻域高光谱空间数据集经过尺寸变换层后输入m个静态单元，所述静态单元包括双向长短期记忆层、第一平均池化层和静态注意力层，利用所述静态注意力层计算所述第一平均池化层输出结果的欧式权重矩阵和光谱权重矩阵，并分别进行归一化操作，将所述欧式权重矩阵和所述光谱权重矩阵按位相乘得到静态权重矩阵，利用所述静态权重矩阵计算得到输出并经过第二平均池化层后生成静态序贯特征图像；
尺寸变换层用于将一定维度的多维矩阵重新排列构造一个新的保持同样元素数量但是不同维度尺寸的矩阵，仅改变矩阵的形状，平均池化层指通过计算平均值的方式减少矩阵某一个或多个维度，将这一个或多个维度的维数压缩为原来的
Figure BDA0003551843780000111
其中α是池化系数。
双向长短期记忆层是深度学习领域的已有模型，包括两个序贯方向的长短期记忆层，减少序贯方向对特征映射结果造成的影响，双向长短期记忆层使用的激活函数为Tanh激活函数：
Figure BDA0003551843780000112
静态空间维序贯特征提取模块的输入尺寸为1×s×s×B，该模块由一个尺寸变换层(Reshape Layer)、m个静态单元和第二平均池化层(Average Pooling Layer)组成，尺寸变换层的输入尺寸为1×s×s×B，输出尺寸为 1×s2×B，第一个静态单元的输入尺寸为1×s2×B，输出尺寸为1×s2×d，剩余m-1个静态单元的输入尺寸为1×s2×d，输出尺寸为1×s2×d，平均池化层的输入尺寸为1×s2×d，针对第二个维度的池化系数为s2，输出为Output1，其尺寸为1×d。
一个静态单元由一个双向长短期记忆层(Bidirectional Long Short TermMemory Layer)、第一平均池化层和一个静态注意力层组成。其中双向长短期记忆层的节点数为d，输入尺寸与其所在的静态单元一致，输出尺寸为 1×s2×2d。平均池化层的输入尺寸为1×s2×2d，针对第三个维度的池化系数为2，输出尺寸为1×s2×d，静态注意力层的输入尺寸为1×s2×d，输出尺寸为1×s2×d。
S104:将所述邻域高光谱空间数据集输入动态空间维序贯特征提取模块中，所述邻域高光谱空间数据集经过所述尺寸变换层和拼接层后输入m个动态单元，所述动态单元包括所述双向长短期记忆层、所述第一平均池化层和动态注意力层，利用所述动态注意力层计算所述第一平均池化层输出结果的权重矩阵，并进行归一化操作，得到动态权重矩阵，利用所述动态权重矩阵计算得到输出并经过所述第二平均池化层后生成动态序贯特征图像；
动态空间维序贯特征提取模块的输入尺寸为1×s×s×B，该模块由一个尺寸变换层、一个拼接层(Concatenation Layer)、m个动态单元和第二平均池化层组成，其中尺寸变换层的输入尺寸为1×s×s×B，输出尺寸为
Figure BDA0003551843780000121
拼接层的输入尺寸为
Figure BDA0003551843780000122
输出尺寸为
Figure BDA0003551843780000123
第一个动态单元的输入尺寸为
Figure BDA0003551843780000124
输出尺寸为1×k×d，剩余m-1个动态单元的输入尺寸为1×k×d，输出尺寸为1×k×d，平均池化层的输入尺寸为1×k×d，针对第二个维度的池化系数为k,输出为Output2，其尺寸为 1×d。
一个动态单元由一个双向长短期记忆层、第一平均池化层和一个动态注意力层组成。其中双向长短期记忆层的节点数为d，输入尺寸与其所在的动态单元一致，输出尺寸为1×k×2d，平均池化层的输入尺寸为1×k×2d，针对第三个维度的池化系数为2,输出尺寸为1×k×d。动态注意力层的输入尺寸为1×k×d，输出尺寸为1×k×d。
S105:利用光谱特征提取模块提取所述原域高光谱图像的特征得到原域光谱特征图像；
光谱特征提取模块由m个全连接层组成，全连接层使用的激活函数为 Tanh激活函数，第一个全连接层的输入尺寸为1×B，输出尺寸为1×d，剩余 m-1个全连接层的输入尺寸为1×d，输出尺寸为1×d；
将所述原域高光谱图像X×Y×B输入第一全连接层，输出为X×Y×d；
将X×Y×d输入剩余m-1个全连接层，第m-1个全连接层的输出为第一原域光谱特征图Toutput，第m个全连接层的输出为第二原域光谱特征图 Output3。
S106:将所述静态序贯特征图像、所述动态序贯特征图像和所述原域光谱特征图像融合得到最终光谱特征图像；
S107:利用解码模块对所述最终光谱特征图像解码生成目标光谱特征图像。
本发明的两种空间信息是用lstm网络提取到的两种连续信息，也叫序贯信息，主要是空间信息中的两种连续性。
本发明针对空间层面中两种序贯信息分别构建不同的权重矩阵，实现了方法与样本特性间高适配性匹配的特点，权重矩阵的构造更为符合高光谱图像的数据特性，对空间层面中序贯信息的重要部分进行了强化。本发明利用双向长短期记忆网络和注意力机制对空间层面中两种序贯信息进行特征提取，减少了序贯信息中序贯方向对最终性能的影响。本发明利用空间层面中序贯信息对光谱信息的修正，实现了特征提取的优化，解决了像元信息表达形式较为单一的问题，实现了多模态的特征提取方法。本发明将两种序贯特征与光谱特征进行信息修正融合，充分实现了模态信息(空间信息和光谱信息) 的融合。本发明提出了一种基于多模态注意力编码的高光谱特征提取方法，通过构建空间维序贯特征提取模块实现对像元空间数据中两种序贯信息的有效提取，通过双向长短期记忆层来减少序贯特征提取过程中序贯方向对性能的影响，通过针对不同序贯信息来构建不同注意力权重矩阵实现对序贯信息中重要部分的强化，实现信息的充分融合，最终有效提升提取到的特征的表达能力。
基于以上实施例，本实施例对步骤S103和S104进行进一步详细说明，具体如下：
参考图2：
S131:将所述邻域高光谱空间数据集的X×Y个尺寸为1×s×s×B的空间数据输入所述尺寸变换层，输出尺寸为1×s2×B；
S132:将X×Y个尺寸为1×s2×B的空间数据输入所述静态单元的双向长短期记忆层，输出尺寸为1×s2×2d；
S133:将X×Y个尺寸为1×s2×2d的空间数据输入所述静态单元的第一平均池化层，输出尺寸为1×s2×d；
S134:将X×Y个尺寸为1×s2×d的空间数据输入所述静态单元的静态注意力层，变换尺寸得到尺寸为1×s×s×d的矩阵
Figure BDA0003551843780000141
S135:对所述矩阵
Figure BDA0003551843780000142
的X×Y个空间数据依据公式
Figure BDA0003551843780000143
对每个所述空间数据位置在[i,j](1≤i≤s，1≤j≤s)的样本pi,j与中心像元
Figure BDA0003551843780000144
之间的欧氏距离进行按位存储得到X×Y个尺寸为1×s×s的所述欧式权重矩阵ME；
S136:对X×Y个空间数据依据公式
Figure BDA0003551843780000145
对每个所述空间数据位置在[i,j]的样本pi,j与中心样本
Figure BDA0003551843780000146
之间的光谱距离进行按位存储得到 X×Y个尺寸为1×s×s的所述光谱权重矩阵MS；
其中|·|2是计算向量各元素平方和再取平方根.
S137:对每个所述欧式权重矩阵ME和每个所述光谱权重矩阵MS进行归一化操作
Figure BDA0003551843780000147
其中，xmin表示矩阵中最小值，xmax表示矩阵中最大值；
S138:对每个所述欧式权重矩阵与对应的所述光谱权重矩阵进行按位相乘操作得到X×Y个静态权重矩阵M＝ME×MS；
S139:将X×Y个尺寸为1×s×s的所述静态权重矩阵M的尺寸维度扩张为1×s×s×1；
S1310:计算输出X×Y个
Figure BDA0003551843780000148
其尺寸为1×s×s×d，转换尺寸为 1×s2×d输入所述第二平均池化层生成所述静态序贯特征图像Output1。
参考图3：
S141:将所述邻域高光谱空间数据集的X×Y个尺寸为1×s×s×B的空间数据输入所述尺寸变换层，输出尺寸为
Figure BDA0003551843780000149
S142:将X×Y个尺寸为
Figure BDA00035518437800001410
的空间数据输入所述拼接层，输出尺寸为
Figure BDA00035518437800001411
S143:将X×Y个尺寸为
Figure BDA00035518437800001412
的空间数据输入所述动态单元的双向长短期记忆层，输出尺寸为1×k×2d；
S144:将X×Y个尺寸为1×k×2d的空间数据输入所述静态单元的第一平均池化层，输出尺寸为为1×k×d的矩阵H；
S145:将所述矩阵H输入所述动态单元的动态注意力层，对矩阵H的X×Y 个空间数据依据公式
Figure BDA0003551843780000151
计算每个所述空间数据位置在[i,j](1≤i≤ s，1≤j≤s)的样本pi,j与所有样本的光谱距离之和，进行按位存储得到X×Y个尺寸为1×s×s的动态权重矩阵N，并对每个所述动态权重矩阵N进行归一化操作；
S146:将X×Y个尺寸为1×s×s的所述动态权重矩阵N的尺寸维度扩张为 1×s×s×1；
S147:计算输出X×Y个H+N×H，其尺寸为1×k×d，输入所述第二平均池化层生成所述静态序贯特征图像Output2。
根据权利要求1所述的高光谱特征提取方法，其特征在于，所述提取所述原域高光谱图像的特征得到原域光谱特征图像包括：
将所述原域高光谱图像X×Y×B输入第一全连接层，输出为X×Y×d；
将X×Y×d输入剩余m-1个全连接层，第m-1个全连接层的输出为第一原域光谱特征图Toutput，第m个全连接层的输出为第二原域光谱特征图 Output3。
本发明所提供的高光谱特征提取方法在针对空间层面中第一种序贯信息进行权重矩阵构建时，既考虑像元之间的光谱距离又考虑像元之间的欧氏距离，且采用二者折中的方式实现的权重矩阵的构建；在针对空间层面中第二种序贯信息进行权重矩阵构建时，重点考虑每一个小样本与整个序贯样本的平均光谱距离，重点突出它在数据中的局部相关性，有效提升重要信息的权重。
基于以上实施例，本实施例对步骤S106进行详细说明，具体如下：
S161:对所述静态序贯特征图像Output1、所述动态序贯特征图像Output2和所述第二原域光谱特征图像Output3进行快速傅里叶变换并进行按位相乘和拼接操作，得到所述融合特征图像μ；
对Output1、Output2和Output3进行快速傅里叶变换，分别得到
Figure BDA0003551843780000161
Figure BDA0003551843780000162
和
Figure BDA0003551843780000163
对
Figure BDA0003551843780000164
和
Figure BDA0003551843780000165
进行按位相乘计算并得到
Figure BDA0003551843780000166
对
Figure BDA0003551843780000167
和
Figure BDA0003551843780000168
进行按位相乘计算并得到
Figure BDA0003551843780000169
对
Figure BDA00035518437800001610
和
Figure BDA00035518437800001611
进行快速傅里叶逆变换分别得到Output13和Output23，二者尺寸均为 1×d，利用一个拼接层对二者进行拼接，得到尺寸为1×2d的输出μ。
S162:将所述第一原域光谱特征图像输入一个全连接层得到第三原域光谱特征图像，利用所述第三原域光谱特征图像δ、所述融合特征图像μ以及随机生成的噪声矩阵γ，生成最终光谱特征图像Output＝μ+(δ×γ)；
γ为随机生成的噪声矩阵，其符合高斯分布，且尺寸为1×2d。
快速傅里叶变换和快速傅里叶逆变换为信号处理领域的常用定义，指利用计算机计算离散傅里叶变换和离散傅里叶逆变换的高效、快速计算方法；按位相乘计算指将两个形状相同的矩阵或向量的相同位置的元素进行乘法计算，最终得到同样形状的矩阵或向量。
本发明通过信息修正融合，将两种序贯特征与光谱特征进行融合，利用快速傅里叶变换的特性达到高效的目的，实现信息的高性能融合，最终有效提升提取到的特征的表达能力。
基于以上实施例，本实施例提取高光谱图像中空-谱特征，并用于后续分类研究，采用印第安纳州森林数据集(Indian Pines Dataset)为例，具体如下：
参考图4：
输入：输入的高光谱图像是大小为145×145×200的图像，共包含21025 个像元，每个像元包含200个波段，整个数据集共含有16个有效类别和背景噪声类别，将属于背景噪声类别的像元去掉后，共剩余10366个有效像元。
参数设定：邻域滑动窗尺寸为7，静态空间维序贯特征提取模块和动态空间维序贯特征提取模块中单元个数均为3，光谱特征提取模块中网络层个数为 3，解码模块中网络层个数为3，嵌入维数为40。
邻域信息选取：针对每一个像元，得到大小为7×7×200的邻域信息。
训练此高光谱深度网络模型：
利用10366个有效像元可得到10366个输入样本一和10366个输入样本二，这些样本随机排序并选择30％的样本用于训练深度网络模型，小批量样本个数为512，每次训练只用一份小批量样本。在训练结束后，将全部10366个输入样本一和全部10366个输入样本二输入深度模型进行测试，得到尺寸为 10366×40的嵌入特征，最后利用SVM分类器进行分类。随机选择10％的样本来训练SVM分类器，并使用剩余的90％样本进行测试，最终得到分类结果，选用总体分类精度和平均分类精度来对分类结果进行评价。总体分类结果指所有样本中分类正确的样本数目除以全部样本数目的比值。平均分类精度首先计算每一类中分类正确的样本数目除以该类样本的数目的比值，并求取各类比值的平均值。
用本申请提出的基于多模态注意力编码的高光谱特征提取方法和基于普通变分自动编码的高光谱特征提取方法(包含编码器和解码器，其中编码器由3层全连接层组成，解码器由3层全连接层组成，网络层节点个数均与本申请实施的方法相同)所得到的分类结果如下表所示。
Figure BDA0003551843780000171
从表可以看出，本申请的方法可以较好地提升嵌入特征的分类性能，具有更少的错分样本。由此可见，本申请方法具有较强的特征提取能力。因此本申请方法可以有效提升嵌入特征的可分类能力和分类精度。
请参考图5，图5为本发明实施例提供的一种高光谱特征提取装置的结构框图；具体装置可以包括：
预处理模块100，用于选取高光谱图像进行归一化处理得到原域高光谱图像X×Y×B，X和Y是各波长下高光谱图像的空间尺寸，B是高光谱图像的波段个数，设置邻域滑动窗口s，嵌入维数为d，对所述原域高光谱图像的每一个高光谱像元选取其周围尺寸为s×s的邻域像元作为该像元的空间数据，得到邻域高光谱空间数据集；
输入模块200，用于将所述原域高光谱图像和所述邻域高光谱空间数据集输入预先训练好的高光谱深度网络模型中；
静态序贯特征提取模块300，用于将所述邻域高光谱空间数据集经过尺寸变换层后输入m个静态单元，所述静态单元包括双向长短期记忆层、第一平均池化层和静态注意力层，利用所述静态注意力层计算所述第一平均池化层输出结果的欧式权重矩阵和光谱权重矩阵，并分别进行归一化操作，将所述欧式权重矩阵和所述光谱权重矩阵按位相乘得到静态权重矩阵，利用所述静态权重矩阵计算得到输出并经过第二平均池化层后生成静态序贯特征图像；
动态序贯特征提取模块400，用于将所述邻域高光谱空间数据集经过所述尺寸变换层和拼接层后输入m个动态单元，所述动态单元包括所述双向长短期记忆层、所述第一平均池化层和动态注意力层，利用所述动态注意力层计算所述第一平均池化层输出结果的权重矩阵，并进行归一化操作，得到动态权重矩阵，利用所述动态权重矩阵计算得到输出并经过所述第二平均池化层后生成动态序贯特征图像；
光谱特征提取模块500，用于提取所述原域高光谱图像的特征得到原域光谱特征图像；
特征融合拼接模块600，用于将所述静态序贯特征图像、所述动态序贯特征图像和所述原域光谱特征图像融合得到最终光谱特征图像；
解码模块700，用于利用解码模块对所述最终光谱特征图像解码生成目标光谱特征图像。
本实施例的高光谱特征提取装置用于实现前述的高光谱特征提取方法，因此高光谱特征提取装置中的具体实施方式可见前文高光谱特征提取方法的实施例部分，例如，预处理模块100，输入模块200，静态序贯特征提取模块 300，动态序贯特征提取模块400，光谱特征提取模块500，特征融合拼接模块600，解码模块700，分别用于实现上述高光谱特征提取方法中步骤S101， S102，S103，S104，S105，S106和S107，所以，其具体实施方式可以参照相应的各个部分实施例的描述，在此不再赘述。
本发明具体实施例还提供了一种高光谱特征提取的设备，包括：存储器，用于存储计算机程序；处理器，用于执行所述计算机程序时实现上述一种高光谱特征提取的方法的步骤。
本发明具体实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述一种高光谱特征提取的方法的步骤。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，上述实施例仅仅是为清楚地说明所作的举例，并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (10)

1.一种高光谱特征提取方法，其特征在于，包括：
选取高光谱图像进行归一化处理得到原域高光谱图像X×Y×B，X和Y是各波长下高光谱图像的空间尺寸，B是高光谱图像的波段个数，设置邻域滑动窗口s，嵌入维数为d，对所述原域高光谱图像的每一个高光谱像元选取其周围尺寸为s×s的邻域像元作为该像元的空间数据，得到邻域高光谱空间数据集；
将所述原域高光谱图像和所述邻域高光谱空间数据集输入预先训练好的高光谱深度网络模型中；
将所述邻域高光谱空间数据集输入静态空间维序贯特征提取模块中，所述邻域高光谱空间数据集经过尺寸变换层后输入m个静态单元，所述静态单元包括双向长短期记忆层、第一平均池化层和静态注意力层，利用所述静态注意力层计算所述第一平均池化层输出结果的欧式权重矩阵和光谱权重矩阵，并分别进行归一化操作，将所述欧式权重矩阵和所述光谱权重矩阵按位相乘得到静态权重矩阵，利用所述静态权重矩阵计算得到输出并经过第二平均池化层后生成静态序贯特征图像；
将所述邻域高光谱空间数据集输入动态空间维序贯特征提取模块中，所述邻域高光谱空间数据集经过所述尺寸变换层和拼接层后输入m个动态单元，所述动态单元包括所述双向长短期记忆层、所述第一平均池化层和动态注意力层，利用所述动态注意力层计算所述第一平均池化层输出结果的权重矩阵，并进行归一化操作，得到动态权重矩阵，利用所述动态权重矩阵计算得到输出并经过所述第二平均池化层后生成动态序贯特征图像；
利用光谱特征提取模块提取所述原域高光谱图像的特征得到原域光谱特征图像；
将所述静态序贯特征图像、所述动态序贯特征图像和所述原域光谱特征图像融合得到最终光谱特征图像；
利用解码模块对所述最终光谱特征图像解码生成目标光谱特征图像。
2.根据权利要求1所述的高光谱特征提取方法，其特征在于，所述预训练高光谱深度网络模型包括：
依据公式Γ＝ΓR+ΓKL构建损失函数：
Figure FDA0003551843770000021
Figure FDA0003551843770000022
其中，∑(·)为将括号内的内容全部加在一起，Indata为所述原域高光谱图像，Outdata为所述目标光谱特征图像，μ为所述融合特征图像，δ为第三原域光谱特征图像；
选用步长为10-3的Adam优化器训练所述高光谱深度网络模型直至所述损失函数收敛。
3.根据权利要求1所述的高光谱特征提取方法，其特征在于，所述将所述邻域高光谱空间数据集输入静态空间维序贯特征提取模块中包括：
将所述邻域高光谱空间数据集的X×Y个尺寸为1×s×s×B的空间数据输入所述尺寸变换层，输出尺寸为1×s2×B；
将X×Y个尺寸为1×s2×B的空间数据输入所述静态单元的双向长短期记忆层，输出尺寸为1×s2×2d；
将X×Y个尺寸为1×s2×2d的空间数据输入所述静态单元的第一平均池化层，输出尺寸为1×s2×d；
将X×Y个尺寸为1×s2×d的空间数据输入所述静态单元的静态注意力层，变换尺寸得到尺寸为1×s×s×d的矩阵
Figure FDA0003551843770000031
对所述矩阵
Figure FDA0003551843770000032
的X×Y个空间数据依据公式
Figure FDA0003551843770000033
对每个所述空间数据位置在[i,j](1≤i≤s，1≤j≤s)的样本pi,j与中心像元
Figure FDA0003551843770000034
之间的欧氏距离进行按位存储得到X×Y个尺寸为1×s×s的所述欧式权重矩阵ME；
对X×Y个空间数据依据公式
Figure FDA0003551843770000035
对每个所述空间数据位置在[i,j]的样本pi,j与中心样本
Figure FDA0003551843770000036
之间的光谱距离进行按位存储得到X×Y个尺寸为1×s×s的所述光谱权重矩阵MS；
对每个所述欧式权重矩阵ME和每个所述光谱权重矩阵MS进行归一化操作
Figure FDA0003551843770000037
对每个所述欧式权重矩阵与对应的所述光谱权重矩阵进行按位相乘操作得到X×Y个静态权重矩阵M＝ME×MS；
将X×Y个尺寸为1×s×s的所述静态权重矩阵M的尺寸维度扩张为1×s×s×1；
计算输出X×Y个
Figure FDA0003551843770000038
其尺寸为1×s×s×d，转换尺寸为1×s2×d输入所述第二平均池化层生成所述静态序贯特征图像Output1。
4.根据权利要求1所述的高光谱特征提取方法，其特征在于，所述将所述邻域高光谱空间数据集输入动态空间维序贯特征提取模块中包括：
将所述邻域高光谱空间数据集的X×Y个尺寸为1×s×s×B的空间数据输入所述尺寸变换层，输出尺寸为
Figure FDA0003551843770000041
将X×Y个尺寸为
Figure FDA0003551843770000042
的空间数据输入所述拼接层，输出尺寸为
Figure FDA0003551843770000043
将X×Y个尺寸为
Figure FDA0003551843770000044
的空间数据输入所述动态单元的双向长短期记忆层，输出尺寸为1×k×2d；
将X×Y个尺寸为1×k×2d的空间数据输入所述静态单元的第一平均池化层，输出尺寸为为1×k×d的矩阵H；
将所述矩阵H输入所述动态单元的动态注意力层，对矩阵H的X×Y个空间数据依据公式
Figure FDA0003551843770000045
计算每个所述空间数据位置在[i,j](1≤i≤s，1≤j≤s)的样本pi,j与所有样本的光谱距离之和，进行按位存储得到X×Y个尺寸为1×s×s的动态权重矩阵N，并对每个所述动态权重矩阵N进行归一化操作；
将X×Y个尺寸为1×s×s的所述动态权重矩阵N的尺寸维度扩张为1×s×s×1；
计算输出X×Y个H+N×H，其尺寸为1×k×d，输入所述第二平均池化层生成所述静态序贯特征图像Output2。
5.根据权利要求1所述的高光谱特征提取方法，其特征在于，所述提取所述原域高光谱图像的特征得到原域光谱特征图像包括：
将所述原域高光谱图像X×Y×B输入所述光谱特征提取模块的第一全连接层，输出为X×Y×d；
将X×Y×d输入剩余m-1个全连接层，第m-1个全连接层的输出为第一原域光谱特征图Toutput，第m个全连接层的输出为第二原域光谱特征图Output3。
6.根据权利要求5所述的高光谱特征提取方法，其特征在于，所述将所述静态序贯特征图像、所述动态序贯特征图像和所述原域光谱特征图像融合得到最终光谱特征图像包括：
对所述静态序贯特征图像、所述动态序贯特征图像和所述第二原域光谱特征图像进行快速傅里叶变换并进行按位相乘和拼接操作，得到所述融合特征图像；
将所述第一原域光谱特征图像输入一个全连接层得到第三原域光谱特征图像，利用所述第三原域光谱特征图像、所述融合特征图像以及随机生成的噪声矩阵，生成最终光谱特征图像。
7.根据权利要求6所述的高光谱特征提取方法，其特征在于，所述利用所述第三原域光谱特征图δ、融合特征图μ以及随机生成的噪声矩阵γ，生成最终光谱特征图Output＝μ+(δ×γ)。
8.根据权利要求6所述的高光谱特征提取方法，其特征在于，所述对所述光谱特征图像解码生成目标光谱特征图像包括：
将尺寸为1×2d的所述光谱特征图像输入所述解码模块的第一全连接层，输出为X×Y×d；
将X×Y×d输入剩余第2到第n-1个全连接层，输出为X×Y×d；
将X×Y×d输入第n个全连接层，输出为尺寸为1×B的目标光谱特征图像Outdata。
9.一种高光谱特征提取的装置，其特征在于，包括：
预处理模块，用于选取高光谱图像进行归一化处理得到原域高光谱图像X×Y×B，X和Y是各波长下高光谱图像的空间尺寸，B是高光谱图像的波段个数，设置邻域滑动窗口s，嵌入维数为d，对所述原域高光谱图像的每一个高光谱像元选取其周围尺寸为s×s的邻域像元作为该像元的空间数据，得到邻域高光谱空间数据集；
输入模块，用于将所述原域高光谱图像和所述邻域高光谱空间数据集输入预先训练好的高光谱深度网络模型中；
静态序贯特征提取模块，用于将所述邻域高光谱空间数据集经过尺寸变换层后输入m个静态单元，所述静态单元包括双向长短期记忆层、第一平均池化层和静态注意力层，利用所述静态注意力层计算所述第一平均池化层输出结果的欧式权重矩阵和光谱权重矩阵，并分别进行归一化操作，将所述欧式权重矩阵和所述光谱权重矩阵按位相乘得到静态权重矩阵，利用所述静态权重矩阵计算得到输出并经过第二平均池化层后生成静态序贯特征图像；
动态序贯特征提取模块，用于将所述邻域高光谱空间数据集经过所述尺寸变换层和拼接层后输入m个动态单元，所述动态单元包括所述双向长短期记忆层、所述第一平均池化层和动态注意力层，利用所述动态注意力层计算所述第一平均池化层输出结果的权重矩阵，并进行归一化操作，得到动态权重矩阵，利用所述动态权重矩阵计算得到输出并经过所述第二平均池化层后生成动态序贯特征图像；
光谱特征提取模块，用于提取所述原域高光谱图像的特征得到原域光谱特征图像；
特征融合拼接模块，用于将所述静态序贯特征图像、所述动态序贯特征图像和所述原域光谱特征图像融合得到最终光谱特征图像；
解码模块，用于利用解码模块对所述最终光谱特征图像解码生成目标光谱特征图像。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至8任一项所述一种高光谱特征提取的方法的步骤。
CN202210277342.2A 2022-03-17 2022-03-17 一种高光谱特征提取方法、装置及存储介质 Pending CN114742985A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210277342.2A CN114742985A (zh) 2022-03-17 2022-03-17 一种高光谱特征提取方法、装置及存储介质
PCT/CN2022/142161 WO2023173884A1 (zh) 2022-03-17 2022-12-27 一种高光谱特征提取方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210277342.2A CN114742985A (zh) 2022-03-17 2022-03-17 一种高光谱特征提取方法、装置及存储介质

Publications (1)

Publication Number Publication Date
CN114742985A true CN114742985A (zh) 2022-07-12

Family

ID=82277946

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210277342.2A Pending CN114742985A (zh) 2022-03-17 2022-03-17 一种高光谱特征提取方法、装置及存储介质

Country Status (2)

Country Link
CN (1) CN114742985A (zh)
WO (1) WO2023173884A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023173884A1 (zh) * 2022-03-17 2023-09-21 苏州大学 一种高光谱特征提取方法、装置及存储介质
WO2024040828A1 (zh) * 2022-08-26 2024-02-29 苏州大学 遥感高光谱图像与激光雷达图像融合分类方法及装置
CN117726916A (zh) * 2024-02-18 2024-03-19 电子科技大学 一种图像分辨率融合增强的隐式融合方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118212536B (zh) * 2024-05-20 2024-10-08 南京理工大学 物理引导的超分辨压缩编码光谱成像方法
CN118658610A (zh) * 2024-08-19 2024-09-17 中国人民解放军总医院第二医学中心 一种基于机器学习的膀胱癌诊断辅助系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107844751A (zh) * 2017-10-19 2018-03-27 陕西师范大学 引导滤波长短记忆神经网络高光谱遥感图像的分类方法
CN111814607A (zh) * 2020-06-24 2020-10-23 中国地质大学（武汉） 一种适用于小样本高光谱影像分类的深度学习模型
CN111914907A (zh) * 2020-07-13 2020-11-10 河海大学 一种基于深度学习空谱联合网络的高光谱图像分类方法
WO2021082480A1 (zh) * 2019-10-29 2021-05-06 华为技术有限公司 一种图像分类的方法及相关装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3172698A1 (en) * 2014-07-24 2017-05-31 Ecole Polytechnique Fédérale de Lausanne (EPFL) Compact multifunctional system for imaging spectroscopy
CN112116563A (zh) * 2020-08-28 2020-12-22 南京理工大学 一种基于谱维与空间协作邻域注意力的高光谱图像目标检测方法与系统
CN112200090B (zh) * 2020-10-12 2022-07-01 桂林电子科技大学 基于交叉分组空谱特征增强网络的高光谱图像分类方法
CN114742985A (zh) * 2022-03-17 2022-07-12 苏州大学 一种高光谱特征提取方法、装置及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107844751A (zh) * 2017-10-19 2018-03-27 陕西师范大学 引导滤波长短记忆神经网络高光谱遥感图像的分类方法
WO2021082480A1 (zh) * 2019-10-29 2021-05-06 华为技术有限公司 一种图像分类的方法及相关装置
CN111814607A (zh) * 2020-06-24 2020-10-23 中国地质大学（武汉） 一种适用于小样本高光谱影像分类的深度学习模型
CN111914907A (zh) * 2020-07-13 2020-11-10 河海大学 一种基于深度学习空谱联合网络的高光谱图像分类方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
侯榜焕;姚敏立;王榕;张峰干;戴定成;: "面向高光谱图像分类的空谱半监督局部判别分析", 光学学报, no. 07, 31 December 2017 (2017-12-31), pages 314 - 323 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023173884A1 (zh) * 2022-03-17 2023-09-21 苏州大学 一种高光谱特征提取方法、装置及存储介质
WO2024040828A1 (zh) * 2022-08-26 2024-02-29 苏州大学 遥感高光谱图像与激光雷达图像融合分类方法及装置
CN117726916A (zh) * 2024-02-18 2024-03-19 电子科技大学 一种图像分辨率融合增强的隐式融合方法
CN117726916B (zh) * 2024-02-18 2024-04-19 电子科技大学 一种图像分辨率融合增强的隐式融合方法

Also Published As

Publication number Publication date
WO2023173884A1 (zh) 2023-09-21

Similar Documents

Publication Publication Date Title
CN114742985A (zh) 一种高光谱特征提取方法、装置及存储介质
CN111079532B (zh) 一种基于文本自编码器的视频内容描述方法
CN107609587B (zh) 一种基于深度卷积生成对抗网络的多类别多视图数据生成方法
CN111340814A (zh) 一种基于多模态自适应卷积的rgb-d图像语义分割方法
CN112396645B (zh) 一种基于卷积残差学习的单目图像深度估计方法和系统
CN111523546A (zh) 图像语义分割方法、系统及计算机存储介质
CN110580704A (zh) 基于卷积神经网络的et细胞图像自动分割方法及系统
CN105138973A (zh) 人脸认证的方法和装置
CN112686817B (zh) 一种基于不确定性估计的图像补全方法
WO2023151529A1 (zh) 人脸图像的处理方法及相关设备
CN113240683B (zh) 基于注意力机制的轻量化语义分割模型构建方法
CN113066065B (zh) 无参考图像质量检测方法、系统、终端及介质
CN113066089B (zh) 一种基于注意力引导机制的实时图像语义分割方法
CN115620010A (zh) 一种rgb-t双模态特征融合的语义分割方法
CN114387512A (zh) 基于多尺度特征融合与增强的遥感影像建筑物提取方法
CN112288690A (zh) 一种融合多尺度多层级特征的卫星影像密集匹配方法
CN116468947A (zh) 刀具图像识别方法、装置、计算机设备及存储介质
CN113538402B (zh) 一种基于密度估计的人群计数方法及系统
CN114494387A (zh) 一种生成数据集网络模型及雾图生成方法
CN109934835B (zh) 基于深度强化网络邻接连接的轮廓检测方法
CN118134779A (zh) 一种基于多尺度重构Transformer与多维注意力的红外和可见光图像融合方法
CN112487992B (zh) 一种基于流模型的人脸情绪图像的生成方法及设备
CN106503648A (zh) 基于稀疏投影二值编码的人脸识别方法及装置
CN113096133A (zh) 一种基于注意力机制的语义分割网络的构建方法
CN117522674A (zh) 一种联合局部和全局信息的图像重建系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination