CN111353531A - 基于奇异值分解和空谱域注意力机制高光谱图像分类方法 - Google Patents

基于奇异值分解和空谱域注意力机制高光谱图像分类方法 Download PDF

Info

Publication number
CN111353531A
CN111353531A CN202010117283.3A CN202010117283A CN111353531A CN 111353531 A CN111353531 A CN 111353531A CN 202010117283 A CN202010117283 A CN 202010117283A CN 111353531 A CN111353531 A CN 111353531A
Authority
CN
China
Prior art keywords
pixel
size
mask
spatial
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010117283.3A
Other languages
English (en)
Other versions
CN111353531B (zh
Inventor
马文萍
李龙伟
朱浩
武越
周晓波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN202010117283.3A priority Critical patent/CN111353531B/zh
Publication of CN111353531A publication Critical patent/CN111353531A/zh
Application granted granted Critical
Publication of CN111353531B publication Critical patent/CN111353531B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于奇异值分解和空谱域注意力机制高光谱图像分类方法，从数据集中读入高光谱图像，其中包括三个广泛使用的高光谱图像数据集，即Indian Pines数据集，Pavia University数据集和Salinas Valley数据集，选择任一种且对应只有部分区域的类标ground truth图进行处理；对样本进行粗处理，构造基于奇异值分解卷积网络的无监督特征提取模型；按照训练集：验证集：测试集＝10％：10％：80％的方式，选取训练集、验证集和测试集；对样本进行细处理，构造基于空谱域注意力机制网络的双支路分类模型；利用训练数据集对分类模型进行训练，得到训练好的分类模型；利用训练好的分类模型对测试数据集进行分类，得到测试数据集中每个像素点的类别。本发明提高了高光谱图像分类的精度与速度。

Description

基于奇异值分解和空谱域注意力机制高光谱图像分类方法
技术领域
本发明属于图像处理技术领域，具体涉及一种基于奇异值分解和空谱域注意力机制高光谱图像分类方法。
背景技术
高光谱遥感对地观测技术被广泛的应用在很多不同的领域，例如矿业、天文学、化学成像、农业、环境科学、荒地火灾跟踪和生物威胁检测等。高光谱图像分类技术是高光谱遥感对地观测技术的一项重要内容，其具体任务是对高光谱图像中的每一个像素所代表的目标进行分类。然而由于高光谱图像存在高维特性，谱间相似性及可训练样本少等问题，高光谱图像分类技术面临一系列的挑战。
注意力机制和人类的视觉注意力很相似，人类的注意力是人类视觉所特有的大脑信号处理机制。人类通过快速扫描全局图像，获得需要重点关注的目标区域，得到注意力焦点，而后对这一区域投入更多注意力，以获取更多所需要关注目标的细节信息，从而抑制其他无用信息。这是人类利用有限的注意力资源从大量信息中快速筛选出高价值信息的手段，是人类在长期进化中形成的一种生存机制，极大地提高了视觉信息处理的效率与准确性。深度学习中的注意力机制从本质上讲和人类的选择性视觉注意力机制类似，目的也是从众多信息中选择出对当前任务目标更关键的信息。
发明内容
本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种基于奇异值分解和空谱域注意力机制高光谱图像分类方法，用提出的奇异值分解卷积网络对样本进行粗略但有效的筛选和特征提取，一定程度上缓解高光谱图像数据量大、样本数量少的问题，同时利用双支路对样本进行空谱域的进一步特征提取融合，能提高高光谱图像分类问题的精度与速度。
本发明采用以下技术方案：
基于奇异值分解和空谱域注意力机制高光谱图像分类方法，包括以下步骤：
S1、从数据集中读入高光谱图像，其中包括三个广泛使用的高光谱图像数据集，即Indian Pines数据集，Pavia University数据集和Salinas Valley数据集，选择任一种且对应只有部分区域的类标ground truth图进行处理；
S2、对样本进行粗处理，构造基于奇异值分解卷积网络的无监督特征提取模型；
S3、按照训练集：验证集：测试集＝10％：10％：80％的方式，选取训练集、验证集和测试集；
S4、对样本进行细处理，构造基于空谱域注意力机制网络的双支路分类模型；
S5、利用训练数据集对分类模型进行训练，得到训练好的分类模型；
S6、利用训练好的分类模型对测试数据集进行分类，得到测试数据集中每个像素点的类别。
具体的，步骤S2具体为：
S201、随机在原始图像上选择N个像素点，以每个像素为中心取邻域7×7的区域作为样本块，输入样本块，对样本块去平均处理；
S202、假设光谱维度为C，将处理后的样本块组合成一个新的矩阵X，矩阵X的大小为(7×7×C)×N，其中每一列为一个样本块，含有7×7×C个元素；
S203、对矩阵X进行奇异值分解操作，得到矩阵X的左奇异矩阵U；
S204、选择左奇异矩阵U的前L个列向量，将每一个列向量组合成大小为7×7×C的卷积核，对原图像做卷积操作，提取特征。
具体的，步骤S3具体为：
S301、在数据集的ground truth图中找到有类标的点的坐标；
S302、对原始数据边缘进行补0填充操作，边缘填充的大小为上下各填充3行，左右各填充3列；
S303、根据ground truth图的坐标，在数据集的原始图像中找到有对应类标的像素点，以每个像素为中心取邻域7×7的区域作为样本块，每个块的邻域为中心点的分类所服务；
S304、按照训练集：验证集：测试集＝10％：10％：80％在每类样本中随机选取相应数量的样本作为训练集、验证集和测试集。
具体的，步骤S4具体为：
S401、针对样本谱域的注意力机制网络的支路；
S402、针对样本空域的注意力机制网络的支路；
S403、融合谱域与空域的特征，并对样本分类。
进一步的，步骤S401具体为：
S40101、输入步骤S3得到的训练样本块，假设输入的样本大小为H×W×C；
S40102、对训练样本谱域进行操作，对输入训练样本在空间轴上分别进行全局最大池化和全局平均池化，得到两个大小为1×1×C的通道描述，将通道描述输入共享权重的两层神经网络，输出两个1×1×C的掩模，逐像素相加经过sigmoid函数激活得到一个大小为1×1×C的掩模；
S40103、将步骤S40102中得到的特征与输入样本逐像素相乘得到一个大小为H×W×C新特征；
S40104、将输入样本与步骤S403得到的新特征逐像素相加得到新特征；
S40105、对步骤S40104得到的新特征在空间轴上分别进行全局最大池化和全局平均池化，得到两个大小为1×1×C的通道描述，将通道描述输入共享权重的两层神经网络，输出两个1×1×C的掩模，逐像素相加经过sigmoid函数激活得到一个大小为1×1×C的掩模；
S40106、将步骤S40102的掩模与步骤S40105的掩模相加，得到1×1×C的新掩模；
S40107、将步骤S40106中得到的掩模与步骤S40104得到的新特征逐像素相乘得到一个大小为H×W×C新特征；
S40108、将步骤S40104得到的新特征与步骤S40107得到的特征逐像素相加；
S40109、对步骤S40108得到的特征在空间轴上分别进行全局最大池化和全局平均池化，得到两个大小为1×1×C的通道描述，将通道描述输入共享权重的两层神经网络，输出两个1×1×C的掩模，逐像素相加经过sigmoid函数激活得到一个大小为1×1×C的掩模；
S40110、将步骤S40106的掩模与步骤S40109的掩模相加，得到1×1×C的新掩模；
S40111、将步骤S40110中得到的掩模与步骤S40108得到的特征逐像素相乘得到一个大小为H×W×C新特征；
S40112、将步骤S40108得到的特征与步骤S40111得到的特征逐像素相加；得到谱域特征。
进一步的，步骤S402具体为：
S40201、对步骤S3的输入训练样本在频谱轴上分别进行全局最大池化和全局平均池化，得到两个大小为H×W×1的通道描述，将两个通道描述进行拼接得到一个H×W×2的通道描述，进行卷积操作与sigmoid函数激活，得到一个大小为H×W×1的掩模；
S40202、将步骤S40201中得到的掩模与输入样本逐像素相乘得到一个大小为H×W×C新特征；
S40203、将训练样本与步骤S40202的特征逐像素相加得到新特征；
S40204、对步骤S40203得到的新特征在频谱轴上分别进行全局最大池化和全局平均池化，得到两个大小为H×W×1的通道描述，将两个通道描述进行拼接得到一个H×W×2的通道描述，进行卷积操作与sigmoid函数激活，得到一个大小为H×W×1的掩模；
S40205、将步骤S40204得到的掩模与步骤S40201得到的掩模逐像素相加，得到大小为H×W×1的掩模；
S40206、将步骤S40205中得到的掩模与步骤S40203得到的特征逐像素相乘得到一个大小为H×W×C新特征；
S40207、将步骤S40206中得到的特征与步骤S40203的特征逐像素相加得到新特征；
S40208、对步骤S40207得到的特征在频谱轴上分别进行全局最大池化和全局平均池化，得到两个大小为H×W×1的通道描述，将两个通道描述进行拼接得到一个H×W×2的通道描述，进行卷积操作与sigmoid函数激活，得到一个大小为H×W×1的掩模；
S40209、将步骤S40208得到的掩模与步骤S40204得到的掩模逐像素相加，得到大小为H×W×1的掩模；
S40210、将步骤S40209中得到的掩模与步骤S40207得到的特征逐像素相乘得到一个大小为H×W×C新特征；
S40211、将步骤S40210中得到的特征与步骤S40207的特征逐像素相加得到空域的特征。
进一步的，步骤S403具体为：
S40301、融合空域与谱域的特征，将步骤S401中得到的谱域特征与步骤S402中得到的空域特征拼接为大小为H×W×2C的特征，结果卷积操作得到H×W×C的特征；
S40302、步将步骤S40301得到的特征经过全连接层和softmax分类器输出分类结果。
具体的，步骤S5具体为：
将训练数据集的样本块作为分类器的输入，训练数据集中每个像素点的类别作为分类模型的输出，通过求解上述类别与地面实况图上所对应的真实类别之间的误差并对误差进行反向传播，优化分类模型的网络参数，得到训练好的分类模型。
与现有技术相比，本发明至少具有以下有益效果：
本发明基于奇异值分解和空谱域注意力机制高光谱图像分类方法，采用对样本由粗到细的处理操作，使得样本处理更高效快捷，从而提高了高光谱图像地物分类的准确率和分类速度。
进一步的，通过对样本进行基于奇异值分解卷积操作，用矩阵自身得到的卷积核去卷积矩阵，以及多次卷积操作，更加容易提取高阶特征，并且有效的缓解了可训练样本少的问题，鲁棒性更强。
进一步的，步骤S3对原图划分训练集、验证集和测试集能够充分利用数据，训练集用来训练网络模型，验证集防止过度训练，测试集用来单独评估最终的网络。
进一步的，采用对中间层特征的多次利用，不仅有效的减少信息损失情况，而且有效的缓解了梯度消失的问题。
进一步的，高光谱数据具有大量的光谱信息，通过步骤S401，对数据通道实施注意力机制，通过对通道贡献的评估，通道间得到不同的权重，使得网络更加注意到我们所需要的的通道，有利于对光谱的利用从而提高分类正确率。
进一步的，高光谱数据同时具有丰富的空间信息信息，通过步骤S402，对数据空间域实施注意力机制，通过将原始数据的空间信息变换到另一个空间并保留关键信息，从而提取关键信息，找到数据信息中需要被关注的区域，提高分类正确率。
进一步的，步骤S403通过将通道注意力模块和空间注意力模块合并，充分结合高光谱数据具有大量的光谱信息和丰富的空间信息的特性，更有利于对数据的分类从而提高分类正确率。
进一步的，步骤S5将训练样本输入网络，通过计算误差并进行误差反向传播，更新网络参数得到分类模型，之后只需要将测试样本输入已经训练好的模型就能得到对数据的整体评估，验证网络的正确性。
综上所述，本发明充分结合了高光谱数据具有众多光谱信息和丰富的空间信息的特性，以及可训练样本少的问题，能够有效的提高高光谱图像地物分类的准确率和分类速度，并具有鲁棒性。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
图1为本发明的实现流程图；
图2为本发明对待分类图像的分类结果图。
具体实施方式
本发明提供了一种基于奇异值分解和空谱域注意力机制高光谱图像分类方法，从数据集中读入高光谱图像数据；随机选择一些样本块输入奇异值分解卷积网络获得特征，此为第一步粗处理无监督提取特征；按比例选择训练集、测试集和验证集；构造基于空谱域注意力机制网络的双支路分类模型；用训练数据集对分类模型进行训练；利用训练好的分类模型对测试数据集分类。本发明采取“由粗到细”处理操作，结合高光谱数据具有丰富的光谱信息和空间信息的特点，利用注意力机制注意重要信息抑制不重要信息的功能，提高了分类精度和分类速度，解决现有技术分类精度低以及耗时长的问题。
请参阅图1，本发明一种基于奇异值分解和空谱域注意力机制高光谱图像分类方法，从数据集中读入高光谱图像数据；随机选择一些样本块输入奇异值分解卷积网络获得特征，此为第一步粗处理无监督提取特征；按比例选择训练集、测试集和验证集；构造基于空谱域注意力机制网络的双支路分类模型；用训练数据集对分类模型进行训练；利用训练好的分类模型对测试数据集分类。具体步骤如下：
S1、从数据集中读入高光谱图像，其中包括三个广泛使用的高光谱图像数据集，即Indian Pines(IP)数据集，Pavia University(UP)数据集和Salinas Valley(SV)数据集，选择其中之一以及对应的只有部分区域的类标ground truth图进行处理；
S2、对样本采取“由粗到细”的处理操作，“粗”处理过程：构造基于奇异值分解卷积网络的无监督特征提取模型；
S201、随机在原始图像上选择N个像素点，以每个像素为中心取邻域7×7的区域作为样本块，输入样本块，对样本块去平均处理；
S202、将处理后的样本块组合成一个新的矩阵X，矩阵X的大小为(7×7×C)×N，其中每一列为一个样本块，含有7×7×C个元素(假设光谱维度为C)；
S203、由于矩阵X为非方阵，对矩阵X进行奇异值分解操作，分解公式如下：
X＝UΣVT
其中，V为右奇异矩阵，T为非负实数对角矩阵，T为转置符号，由此得到矩阵X的左奇异矩阵U；
S204、特征提取过程：
Y＝UTX
其中，Y为由左奇异矩阵U对矩阵X的提取的特征，相当于一个卷积过程F＝W*I，所以选择左奇异矩阵U的前L个列向量，将每一个列向量组合成大小为7×7×C的卷积核，对原图像做卷积操作，由本身得到的卷积核卷积原图像，更加容易得到高阶特征；
S205、重复步骤S201至S204，重复多次过程，更加容易得到具有意义的高阶特征。
S3、选取训练集、验证集和测试集
S301、在数据集的ground truth图中找到有类标的点的坐标；
S302、对原始数据边缘进行补0填充操作，由于采用的是逐像素滑窗操作选取样本块，为了使原始图像的边缘点也能进行滑窗操作，所以这里边缘填充的大小为上下各填充3行，左右各填充3列；
S303、根据ground truth图的坐标，在数据集的原始图像中找到有对应类标的像素点，以每个像素为中心取邻域7×7的区域作为样本块，每个块的邻域为中心点的分类所服务；
S304、按照训练集：验证集：测试集＝10％：10％：80％的方式，在每类样本中随机选取相应数量的样本作为训练集、验证集和测试集。
S4、细处理过程：构造基于空谱域注意力机制网络的双支路分类模型；
S401、针对样本谱域的注意力机制网络的支路；
S40101、输入步骤S3得到的训练样本块，假设输入的样本大小为H×W×C；
S40102、对训练样本谱域进行操作，对输入训练样本在空间轴上分别进行全局最大池化和全局平均池化，得到两个大小为1×1×C的通道描述，将通道描述输入共享权重的两层神经网络，输出两个1×1×C的掩模，逐像素相加经过sigmoid函数激活得到一个大小为1×1×C的掩模，sigmoid函数公式如下：
Figure BDA0002391879720000101
其中，x为函数输入，即经过共享权重的两层神经网络输出后的两个1×1×C的掩模，e为自然常数；
S40103、将步骤S40102中得到的特征与输入样本逐像素相乘得到一个大小为H×W×C新特征；
S40104、由于步骤S40103中得到的新特征是经过池化后得到的特征，存在信息损失的可能，且经过sigmoid函数激活得到的掩模为0到1之间的值，经过多层网络传递之后特征值会越来越小，产生梯度消失的现象，所以将输入样本与步骤S403得到的新特征逐像素相加得到新特征，补充信息便于网络传递；假设第t层的输入为xt，第T的输出是yT(T>t)，第i层的映射函数是Fi，第i层的参数是wi，则此步骤可以表示为：
Figure BDA0002391879720000111
在反向传播过程中，从第T层到第t层的梯度误差e的计算如下：
Figure BDA0002391879720000112
其中，F(xi,wi)为各层的映射函数，数字1的存在，使得反向传播过程梯度不会变得很小，能够有效的缓解梯度消失的现象；
S40105、类似于步骤S40102，对步骤S40104得到的特征在空间轴上分别进行全局最大池化和全局平均池化，得到两个大小为1×1×C的通道描述，将通道描述输入共享权重的两层神经网络，输出两个1×1×C的掩模，逐像素相加经过sigmoid函数激活得到一个大小为1×1×C的掩模；
S40106、由于步骤S40102得到的1×1×C的掩模是一个中间过程，可能会存在一些潜在的信息，将步骤S40102的掩模与步骤S40105的掩模相加，得到1×1×C的新掩模；
S40107、将步骤S40106中得到的掩模与步骤S40104得到的特征逐像素相乘得到一个大小为H×W×C新特征；
S40108、与步骤S40104同理，将步骤S40104得到的特征与步骤S40107得到的特征逐像素相加；
S40109、类似于步骤S40105，对步骤S40108得到的特征在空间轴上分别进行全局最大池化和全局平均池化，得到两个大小为1×1×C的通道描述，将通道描述输入共享权重的两层神经网络，输出两个1×1×C的掩模，逐像素相加经过sigmoid函数激活得到一个大小为1×1×C的掩模；
S40110、与步骤S40106同理，将步骤S40106的掩模与步骤S40109的掩模相加，得到1×1×C的新掩模；
S40111、将步骤S40110中得到的掩模与步骤S40108得到的特征逐像素相乘得到一个大小为H×W×C新特征；
S40112、与步骤S40108同理，将步骤S40108得到的特征与步骤S40111得到的特征逐像素相加；得到谱域特征；
S402、针对样本空域的注意力机制网络的支路；
S40201、对步骤S3的输入训练样本在频谱轴上分别进行全局最大池化和全局平均池化，得到两个大小为H×W×1的通道描述，将两个通道描述进行拼接得到一个H×W×2的通道描述，进行卷积操作与sigmoid函数激活，得到一个大小为H×W×1的掩模；
S40202、将步骤S40201中得到的掩模与输入样本逐像素相乘得到一个大小为H×W×C新特征；
S40203、与步骤S40104同理，将训练样本与步骤S40202的特征逐像素相加得到新特征；
S40204、类似于步骤S40201，对步骤S40203得到的特征在频谱轴上分别进行全局最大池化和全局平均池化，得到两个大小为H×W×1的通道描述，将两个通道描述进行拼接得到一个H×W×2的通道描述，进行卷积操作与sigmoid函数激活，得到一个大小为H×W×1的掩模；
S40205、与步骤S40106同理，将步骤S40204得到的掩模与步骤S40201得到的掩模逐像素相加，得到大小为H×W×1的掩模；
S40206、将步骤S40205中得到的掩模与步骤S40203得到的特征逐像素相乘得到一个大小为H×W×C新特征；
S40207、与步骤S40203同理，将步骤S40206中得到的特征与步骤S40203的特征逐像素相加得到新特征；
S40208、类步骤S40204，对步骤S40207得到的特征在频谱轴上分别进行全局最大池化和全局平均池化，得到两个大小为H×W×1的通道描述，将两个通道描述进行拼接得到一个H×W×2的通道描述，进行卷积操作与sigmoid函数激活，得到一个大小为H×W×1的掩模；
S40209、与步骤S40205同理，将步骤S40208得到的掩模与步骤S40204得到的掩模逐像素相加，得到大小为H×W×1的掩模；
S40210、将步骤S40209中得到的掩模与步骤S40207得到的特征逐像素相乘得到一个大小为H×W×C新特征；
S40211、与步骤S40207同理，将步骤S40210中得到的特征与步骤S40207的特征逐像素相加得到空域的特征；
S403、融合谱域与空域的特征，并对样本分类；
S40301、融合空域与谱域的特征，将步骤S401中得到的谱域特征与步骤S402中得到的空域特征拼接为大小为H×W×2C的特征，结果卷积操作得到H×W×C的特征；
S40302、步将步骤S40301得到的特征经过全连接层和softmax分类器输出分类结果。
S5、利用训练数据集对分类模型进行训练，得到训练好的分类模型；
将训练数据集的样本块作为分类器的输入，训练数据集中每个像素点的类别作为分类模型的输出，通过求解上述类别与地面实况图上所对应的真实类别之间的误差并对误差进行反向传播，来优化分类模型的网络参数，得到训练好的分类模型。
S6、利用训练好的分类模型对测试数据集进行分类。
将测试数据集的样本块作为训练好的分类模型的输入，训练好的分类模型的输出为测试数据集中每个像素点进行分类得到的分类类别。
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中的描述和所示的本发明实施例的组件可以通过各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的效果可以通过以下仿真实验进一步说明：
1.仿真条件：
硬件平台为：Intel(R)Xeon(R)CPU E5-2630，2.40GHz×16，内存为64G。
软件平台为：pytorch。
2.仿真内容与结果：
仿真数据：
Indian Pines(IP)：
Indian Pines数据集是由印第安纳州西北部的机载可见/红外成像光谱仪(AVIRIS)首次收集的。该图像具有16个类别和145×145个像素，空间分辨率为20m。AVIRIS成像光谱仪成像波长范围为0.4～2.5μm，是在连续的220个波段对地物连续成像的，但是由于第104～108，第150-163和第220个波段不能被水反射，因此，一般使用的是剔除了这20个波段后剩下200个波段作为研究的对象。
Pavia University(UP)：
Pavia University数据集是由德国的机载反射光学光谱成像仪(ROSIS-3)收集的。图像具有9个类别和610×340个像素，空间分辨率为1.3m。该光谱成像仪对0.43～0.86μm波长范围内的115个波段连续成像，其中12个波段由于受噪声影响被剔除，因此一般使用的是剩下103个光谱波段所成的图像。
Salinas Valley(SV)：
此数据集也是由AVIRIS成像光谱仪所拍摄收集的。该图像具有16个类别和512×217个像素，空间分辨率为3.7m。该图像原本也有224个波段，同样的，我们一般使用的也是剔除了第108～112，154～167和第224个不能被水反射的波段后剩下的204个波段的图像。波长在0.4～2.5μm的范围内。
用本发明方法在上述仿真条件下进行实验，得到如图2的分类结果。
表1是分别为3DCNN方法、用于高光谱图像分类的光谱空间残差网络方法、基于奇异值分解卷积网络和空谱域注意力机制网络的高光谱图像分类方法对高光谱图像中地物分类准确率的统计。
表1三种方法在仿真中得到的分类准确率
Figure BDA0002391879720000151
Figure BDA0002391879720000161
其中，F1表示3DCNN方法，F2表示用于高光谱图像分类的光谱空间残差网络方法，F3表示基于奇异值分解卷积网络和空谱域注意力机制网络的高光谱图像分类方法。
从表中可以看出，采用本发明方法相比于其他两种方法，在分类精度上有了较大的提高，这主要是因为对样本进行了两次提取特征的过程，粗处理过程由自身的特点选择卷积核有利于提取高阶特征；细处理过程考虑了高光谱图像数据的有光谱信息也有空间信息的特点，利用注意力机制，选择重要信息抑制不重要信息，有助于得到更有用的特征，从而得到更高的分类准确率
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。

Claims (8)

1.基于奇异值分解和空谱域注意力机制高光谱图像分类方法，其特征在于，包括以下步骤：
S1、从数据集中读入高光谱图像，其中包括三个广泛使用的高光谱图像数据集，即Indian Pines数据集，Pavia University数据集和Salinas Valley数据集，选择任一种且对应只有部分区域的类标ground truth图进行处理；
S2、对样本进行粗处理，构造基于奇异值分解卷积网络的无监督特征提取模型；
S3、按照训练集：验证集：测试集＝10％：10％：80％的方式，选取训练集、验证集和测试集；
S4、对样本进行细处理，构造基于空谱域注意力机制网络的双支路分类模型；
S5、利用训练数据集对分类模型进行训练，得到训练好的分类模型；
S6、利用训练好的分类模型对测试数据集进行分类，得到测试数据集中每个像素点的类别。
2.根据权利要求1所述的基于奇异值分解和空谱域注意力机制高光谱图像分类方法，其特征在于，步骤S2具体为：
S201、随机在原始图像上选择N个像素点，以每个像素为中心取邻域7×7的区域作为样本块，输入样本块，对样本块去平均处理；
S202、假设光谱维度为C，将处理后的样本块组合成一个新的矩阵X，矩阵X的大小为(7×7×C)×N，其中每一列为一个样本块，含有7×7×C个元素；
S203、对矩阵X进行奇异值分解操作，得到矩阵X的左奇异矩阵U；
S204、选择左奇异矩阵U的前L个列向量，将每一个列向量组合成大小为7×7×C的卷积核，对原图像做卷积操作，提取特征。
3.根据权利要求1所述的基于奇异值分解和空谱域注意力机制高光谱图像分类方法，其特征在于，步骤S3具体为：
S301、在数据集的ground truth图中找到有类标的点的坐标；
S302、对原始数据边缘进行补0填充操作，边缘填充的大小为上下各填充3行，左右各填充3列；
S303、根据ground truth图的坐标，在数据集的原始图像中找到有对应类标的像素点，以每个像素为中心取邻域7×7的区域作为样本块，每个块的邻域为中心点的分类所服务；
S304、按照训练集：验证集：测试集＝10％：10％：80％在每类样本中随机选取相应数量的样本作为训练集、验证集和测试集。
4.根据权利要求1所述的基于奇异值分解和空谱域注意力机制高光谱图像分类方法，其特征在于，步骤S4具体为：
S401、针对样本谱域的注意力机制网络的支路；
S402、针对样本空域的注意力机制网络的支路；
S403、融合谱域与空域的特征，并对样本分类。
5.根据权利要求4所述的基于奇异值分解和空谱域注意力机制高光谱图像分类方法，其特征在于，步骤S401具体为：
S40101、输入步骤S3得到的训练样本块，假设输入的样本大小为H×W×C；
S40102、对训练样本谱域进行操作，对输入训练样本在空间轴上分别进行全局最大池化和全局平均池化，得到两个大小为1×1×C的通道描述，将通道描述输入共享权重的两层神经网络，输出两个1×1×C的掩模，逐像素相加经过sigmoid函数激活得到一个大小为1×1×C的掩模；
S40103、将步骤S40102中得到的特征与输入样本逐像素相乘得到一个大小为H×W×C新特征；
S40104、将输入样本与步骤S403得到的新特征逐像素相加得到新特征；
S40105、对步骤S40104得到的新特征在空间轴上分别进行全局最大池化和全局平均池化，得到两个大小为1×1×C的通道描述，将通道描述输入共享权重的两层神经网络，输出两个1×1×C的掩模，逐像素相加经过sigmoid函数激活得到一个大小为1×1×C的掩模；
S40106、将步骤S40102的掩模与步骤S40105的掩模相加，得到1×1×C的新掩模；
S40107、将步骤S40106中得到的掩模与步骤S40104得到的新特征逐像素相乘得到一个大小为H×W×C新特征；
S40108、将步骤S40104得到的新特征与步骤S40107得到的特征逐像素相加；
S40109、对步骤S40108得到的特征在空间轴上分别进行全局最大池化和全局平均池化，得到两个大小为1×1×C的通道描述，将通道描述输入共享权重的两层神经网络，输出两个1×1×C的掩模，逐像素相加经过sigmoid函数激活得到一个大小为1×1×C的掩模；
S40110、将步骤S40106的掩模与步骤S40109的掩模相加，得到1×1×C的新掩模；
S40111、将步骤S40110中得到的掩模与步骤S40108得到的特征逐像素相乘得到一个大小为H×W×C新特征；
S40112、将步骤S40108得到的特征与步骤S40111得到的特征逐像素相加；得到谱域特征。
6.根据权利要求4所述的基于奇异值分解和空谱域注意力机制高光谱图像分类方法，其特征在于，步骤S402具体为：
S40201、对步骤S3的输入训练样本在频谱轴上分别进行全局最大池化和全局平均池化，得到两个大小为H×W×1的通道描述，将两个通道描述进行拼接得到一个H×W×2的通道描述，进行卷积操作与sigmoid函数激活，得到一个大小为H×W×1的掩模；
S40202、将步骤S40201中得到的掩模与输入样本逐像素相乘得到一个大小为H×W×C新特征；
S40203、将训练样本与步骤S40202的特征逐像素相加得到新特征；
S40204、对步骤S40203得到的新特征在频谱轴上分别进行全局最大池化和全局平均池化，得到两个大小为H×W×1的通道描述，将两个通道描述进行拼接得到一个H×W×2的通道描述，进行卷积操作与sigmoid函数激活，得到一个大小为H×W×1的掩模；
S40205、将步骤S40204得到的掩模与步骤S40201得到的掩模逐像素相加，得到大小为H×W×1的掩模；
S40206、将步骤S40205中得到的掩模与步骤S40203得到的特征逐像素相乘得到一个大小为H×W×C新特征；
S40207、将步骤S40206中得到的特征与步骤S40203的特征逐像素相加得到新特征；
S40208、对步骤S40207得到的特征在频谱轴上分别进行全局最大池化和全局平均池化，得到两个大小为H×W×1的通道描述，将两个通道描述进行拼接得到一个H×W×2的通道描述，进行卷积操作与sigmoid函数激活，得到一个大小为H×W×1的掩模；
S40209、将步骤S40208得到的掩模与步骤S40204得到的掩模逐像素相加，得到大小为H×W×1的掩模；
S40210、将步骤S40209中得到的掩模与步骤S40207得到的特征逐像素相乘得到一个大小为H×W×C新特征；
S40211、将步骤S40210中得到的特征与步骤S40207的特征逐像素相加得到空域的特征。
7.根据权利要求4所述的基于奇异值分解和空谱域注意力机制高光谱图像分类方法，其特征在于，步骤S403具体为：
S40301、融合空域与谱域的特征，将步骤S401中得到的谱域特征与步骤S402中得到的空域特征拼接为大小为H×W×2C的特征，结果卷积操作得到H×W×C的特征；
S40302、步将步骤S40301得到的特征经过全连接层和softmax分类器输出分类结果。
8.根据权利要求1所述的基于奇异值分解和空谱域注意力机制高光谱图像分类方法，其特征在于，步骤S5具体为：
将训练数据集的样本块作为分类器的输入，训练数据集中每个像素点的类别作为分类模型的输出，通过求解上述类别与地面实况图上所对应的真实类别之间的误差并对误差进行反向传播，优化分类模型的网络参数，得到训练好的分类模型。
CN202010117283.3A 2020-02-25 2020-02-25 基于奇异值分解和空谱域注意力机制高光谱图像分类方法 Active CN111353531B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010117283.3A CN111353531B (zh) 2020-02-25 2020-02-25 基于奇异值分解和空谱域注意力机制高光谱图像分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010117283.3A CN111353531B (zh) 2020-02-25 2020-02-25 基于奇异值分解和空谱域注意力机制高光谱图像分类方法

Publications (2)

Publication Number Publication Date
CN111353531A true CN111353531A (zh) 2020-06-30
CN111353531B CN111353531B (zh) 2023-03-28

Family

ID=71192382

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010117283.3A Active CN111353531B (zh) 2020-02-25 2020-02-25 基于奇异值分解和空谱域注意力机制高光谱图像分类方法

Country Status (1)

Country Link
CN (1) CN111353531B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111797941A (zh) * 2020-07-20 2020-10-20 中国科学院长春光学精密机械与物理研究所 携带光谱信息和空间信息的图像分类方法及系统
CN112052755A (zh) * 2020-08-24 2020-12-08 西安电子科技大学 基于多路注意力机制的语义卷积高光谱图像分类方法
CN112052758A (zh) * 2020-08-25 2020-12-08 西安电子科技大学 基于注意力机制和循环神经网络的高光谱图像分类方法
CN112183414A (zh) * 2020-09-29 2021-01-05 南京信息工程大学 一种基于混合空洞卷积的弱监督遥感目标检测方法
CN112200090A (zh) * 2020-10-12 2021-01-08 桂林电子科技大学 基于交叉分组空谱特征增强网络的高光谱图像分类方法
CN112232343A (zh) * 2020-09-03 2021-01-15 国家粮食和物资储备局科学研究院 一种粮食霉变粒识别神经网络和识别方法
CN112396161A (zh) * 2020-11-11 2021-02-23 中国科学技术大学 基于卷积神经网络的岩性剖面图构建方法、系统及设备
CN117173854A (zh) * 2023-09-13 2023-12-05 西安博深安全科技股份有限公司 一种基于深度学习的煤矿明火预警方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108764005A (zh) * 2018-01-31 2018-11-06 华侨大学 一种高光谱遥感图像地物空间波谱特征提取方法及系统
CN110516596A (zh) * 2019-08-27 2019-11-29 西安电子科技大学 基于Octave卷积的空谱注意力高光谱图像分类方法
US20200019817A1 (en) * 2018-07-11 2020-01-16 Harbin Institute Of Technology Superpixel classification method based on semi-supervised k-svd and multiscale sparse representation

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108764005A (zh) * 2018-01-31 2018-11-06 华侨大学 一种高光谱遥感图像地物空间波谱特征提取方法及系统
US20200019817A1 (en) * 2018-07-11 2020-01-16 Harbin Institute Of Technology Superpixel classification method based on semi-supervised k-svd and multiscale sparse representation
CN110516596A (zh) * 2019-08-27 2019-11-29 西安电子科技大学 基于Octave卷积的空谱注意力高光谱图像分类方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
刘万军等: "基于DS聚类的高光谱图像集成分类算法", 《计算机应用研究》 *
谷雨等: "融合空谱特征和集成超限学习机的高光谱图像分类", 《测绘学报》 *
赵扬等: "基于改进的三维卷积神经网络的高光谱遥感影像分类技术研究", 《信息技术与网络安全》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111797941A (zh) * 2020-07-20 2020-10-20 中国科学院长春光学精密机械与物理研究所 携带光谱信息和空间信息的图像分类方法及系统
CN112052755A (zh) * 2020-08-24 2020-12-08 西安电子科技大学 基于多路注意力机制的语义卷积高光谱图像分类方法
CN112052758A (zh) * 2020-08-25 2020-12-08 西安电子科技大学 基于注意力机制和循环神经网络的高光谱图像分类方法
CN112052758B (zh) * 2020-08-25 2023-05-23 西安电子科技大学 基于注意力机制和循环神经网络的高光谱图像分类方法
CN112232343A (zh) * 2020-09-03 2021-01-15 国家粮食和物资储备局科学研究院 一种粮食霉变粒识别神经网络和识别方法
CN112232343B (zh) * 2020-09-03 2023-11-21 国家粮食和物资储备局科学研究院 一种粮食霉变粒识别神经网络和识别方法
CN112183414A (zh) * 2020-09-29 2021-01-05 南京信息工程大学 一种基于混合空洞卷积的弱监督遥感目标检测方法
CN112200090A (zh) * 2020-10-12 2021-01-08 桂林电子科技大学 基于交叉分组空谱特征增强网络的高光谱图像分类方法
CN112396161A (zh) * 2020-11-11 2021-02-23 中国科学技术大学 基于卷积神经网络的岩性剖面图构建方法、系统及设备
CN112396161B (zh) * 2020-11-11 2022-09-06 中国科学技术大学 基于卷积神经网络的岩性剖面图构建方法、系统及设备
CN117173854A (zh) * 2023-09-13 2023-12-05 西安博深安全科技股份有限公司 一种基于深度学习的煤矿明火预警方法及系统
CN117173854B (zh) * 2023-09-13 2024-04-05 西安博深安全科技股份有限公司 一种基于深度学习的煤矿明火预警方法及系统

Also Published As

Publication number Publication date
CN111353531B (zh) 2023-03-28

Similar Documents

Publication Publication Date Title
CN111353531B (zh) 基于奇异值分解和空谱域注意力机制高光谱图像分类方法
CN109584248B (zh) 基于特征融合和稠密连接网络的红外面目标实例分割方法
Nogueira et al. Dynamic multicontext segmentation of remote sensing images based on convolutional networks
Rasti et al. Hyperspectral and LiDAR fusion using extinction profiles and total variation component analysis
CN109993220B (zh) 基于双路注意力融合神经网络的多源遥感图像分类方法
CN110084159B (zh) 基于联合多级空谱信息cnn的高光谱图像分类方法
CN113486851B (zh) 基于双分支光谱多尺度注意力网络的高光谱图像分类方法
Heydari et al. Meta-analysis of deep neural networks in remote sensing: A comparative study of mono-temporal classification to support vector machines
Song et al. Remotely sensed image classification using sparse representations of morphological attribute profiles
Li et al. Generalized composite kernel framework for hyperspectral image classification
Rahaman et al. An efficient multilevel thresholding based satellite image segmentation approach using a new adaptive cuckoo search algorithm
Ortac et al. Comparative study of hyperspectral image classification by multidimensional Convolutional Neural Network approaches to improve accuracy
CN112561027A (zh) 神经网络架构搜索方法、图像处理方法、装置和存储介质
Jiang et al. Focal-test-based spatial decision tree learning
Liu et al. Multimorphological superpixel model for hyperspectral image classification
CN113469074B (zh) 基于孪生注意力融合网络的遥感图像变化检测方法及系统
CN112052755A (zh) 基于多路注意力机制的语义卷积高光谱图像分类方法
CN114140683A (zh) 一种航拍图像目标检测的方法、设备与介质
Doi et al. The effect of focal loss in semantic segmentation of high resolution aerial image
CN111860124A (zh) 基于空谱胶囊生成对抗网络的遥感图像分类方法
Anand et al. Extended morphological profiles analysis of airborne hyperspectral image classification using machine learning algorithms
CN111222545A (zh) 基于线性规划增量学习的图像分类方法
Bhardwaj et al. Threshold-free attribute profile for classification of hyperspectral images
Hamouda et al. Hyperspectral imaging classification based on convolutional neural networks by adaptive sizes of windows and filters
CN116310688A (zh) 基于级联融合的目标检测模型及其构建方法、装置及应用

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant