CN113095409B - 基于注意力机制和权值共享的高光谱图像分类方法 - Google Patents

基于注意力机制和权值共享的高光谱图像分类方法 Download PDF

Info

Publication number
CN113095409B
CN113095409B CN202110399194.7A CN202110399194A CN113095409B CN 113095409 B CN113095409 B CN 113095409B CN 202110399194 A CN202110399194 A CN 202110399194A CN 113095409 B CN113095409 B CN 113095409B
Authority
CN
China
Prior art keywords
layer
hyperspectral image
activation function
layers
image classification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110399194.7A
Other languages
English (en)
Other versions
CN113095409A (zh
Inventor
刘逸
郭震
慕彩红
刘红英
王蓉芳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN202110399194.7A priority Critical patent/CN113095409B/zh
Publication of CN113095409A publication Critical patent/CN113095409A/zh
Application granted granted Critical
Publication of CN113095409B publication Critical patent/CN113095409B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/253Fusion techniques of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/194Terrestrial scenes using hyperspectral data, i.e. more or other wavelengths than RGB
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出了一种基于注意力机制和权值共享的高光谱图像分类方法,其实现步骤为:(1)获取高光谱图像并对其进行预处理;(2)对归一化后的高光谱图像进行邻域取块;(3)生成训练样本集与测试样本集;(4)构建高光谱图像分类网络模型;(5)对高光谱图像分类网络模型进行迭代训练;(6)获取高光谱图像的分类结果,本发明有效解决深度卷积神经网络参数冗余的问题,并且能够解决在有限样本数据集下分类精度低的问题,分类性能良好。

Description

基于注意力机制和权值共享的高光谱图像分类方法
技术领域
本发明属于图像处理技术领域,涉及一种高光谱图像分类方法,具体涉及一种图像分类技术领域中的基于注意力机制和权值共享的高光谱图像分类方法。可应用于灾害监测、地质勘探、城市规划、目标识别等诸多领域。
背景技术
高光谱图像是高光谱成像仪器在不同波长的光谱波段上对图像空间范围内地物目标同时成像得到的三维图像。高光谱以其丰富的波段信息记录了地物目标的连续光谱特征,具备了能够进行更多种类地物目标识别和更高精度地进行目标分类的可能性。基于这些特点,高光谱图像可以实现对地物所属类别进行精确的判断,对人类认识客观世界提供了有利条件。高光谱图像的分类可以对图像空间范围内的不同地物进行精准识别,可以判断出各像素点的地物类别,再进一步进行其它应用。如何提高分类精度是高光谱图像分类的重点和难点。随着深度学习在各个领域的广泛应用,高光谱图像分类也出现了多种深度学习分类方法,如自编码器AE(Autoencoder)、卷积神经网络CNN(Convolutional NeuralNetworks)、深度信念网络DBN(Deep Belief Network)等。基于深度学习的高光谱图像分类方法可以自适应的提取特征,可以取得很好的分类结果,得到了研究人员的广泛的应用。
例如,西安电子科技大学在其申请的专利文献“基于空间坐标与空谱特征融合的高光谱分类方法”(专利申请号:201710644479.6,申请公布号:CN 107451614 A),提出了一种基于空间坐标与空谱特征融合的高光谱图像分类方法。该方法先对高光谱图像进行空间邻域划分采样,随后将空间坐标作为空间特征,接着将空间特征与光谱特征分别利用支持向量机SVM进行分类,将分类所得像素点属于每类的概率作为概率特征,最后将空间特征分类得到的概率特征与光谱特征所得概率特征融合,再次利用支持向量机SVM(SupportVector Machine)进行分类,得出最终分类结果。该方法存在的不足之处在于,仅利用了空间坐标作为空间特征,高光谱图像的空间信息利用不足,导致空谱特征融合不充分,且模型无法筛选训练样本中的有用信息和噪声信息,使得分类精度较差。
又如,Meng等人在其发表的论文“Multipath Residual Network for Spectral-Spatial Hyperspectral Image Classification”(Remote Sensing,vol.11,no.16:1896,Aug.2019,doi:10.3390)提出了一种基于多径残差网络(MPRN)的高光谱图像分类方法。该方法首先对原始高光谱图像进行邻域块采样,随后使用多径残差函数并行的方式代替了原始残差网络中多个残差块堆叠的方式,最后利用多径残差网络进行分类,得到最终分类结果。该方法存在的不足之处在于,多径残差网络只使用二维卷积核进行特征的提取,无法充分融合空谱特征,且多径的思想为网络模型引入了额外的冗余参数,降低了分类精度。
发明内容
本发明的目的在于针对上述现有技术的不足,提出一种基于注意力机制和权值共享的高光谱图像分类方法,用于解决现有技术中存在的分类精度较低的技术问题。
为实现上述目的,本发明采取的技术方案包括如下步骤:
(1)获取高光谱图像并对其进行预处理:
(1a)获取一幅包含K个不同地物类别的高光谱图像
Figure BDA0003017120950000021
和对应的标签图
Figure BDA0003017120950000022
其中,K≥2,∈表示属于,
Figure BDA0003017120950000023
表示实数域,m和n分别表示F的长和宽,b表示F的光谱波段数;
(1b)将高光谱图像F转换成大小为a×b的二维矩阵
Figure BDA0003017120950000024
a=m×n,并对X进行归一化,再将归一化后的二维矩阵转换为与F尺寸大小相同的三维矩阵,得到归一化后的高光谱图像F′;
(2)对归一化后的高光谱图像F′进行邻域取块:
对归一化后的高光谱图像F′分别以尺寸3、5、7进行0像素边缘填充,再以边缘填充后的高光谱图像中的每个像素点为中心,分别选取7×7×b、11×11×b、15×15×b的邻域块,得到三种尺度的邻域块;
(3)生成训练样本集与测试样本集:
将每种尺度邻域块中每个邻域块的中心像素点的类别组合成类别集合,并将其中半数以下类别对应的中心像素点所在的邻域块组成训练样本集,将其余的领域块组成测试样本集;
(4)构建高光谱图像分类网络模型:
构建包括依次级联的特征提取网络、concatenate层、第一全局平均池化层和第一全连接层的高光谱图像分类网络模型;特征提取网络包括三个并行连接且权值共享的特征提取分支,每个特征提取分支包括多个三维卷积层、多个二维卷积层、多个规范层、多个激活函数层和多个融合层;每个融合层包括由第二全局平均池化层、多个全连接层和多个激活函数层组成的注意力机制网络;
(5)对高光谱图像分类网络模型进行迭代训练:
(5a)初始化迭代次数为t,最大迭代次数为T,T≥200,并令t=1;
(5b)将从训练样本集随机且有回放选取的N个训练样本作为高光谱图像分类网络模型的输入进行前向传播,得到预测标签向量集合y={y1,y2,...,yn,...,yN},N≥2,yn表示第n个训练样本对应的预测标签向量;
(5c)采用交叉熵损失函数L计算每个预测标签向量yn与其对应的真实标签向量
Figure BDA0003017120950000031
之间的损失值,并采用梯度下降法,通过损失值对高光谱图像分类网络模型的权值参数ω进行更新;
(5d)判断t≥T是否成立,若是,得到训练好的高光谱图像分类网络模型,否则,令t=t+1,并执行步骤(5b);
(6)获取高光谱图像的分类结果:
将测试样本集作为训练好的高光谱图像分类网络模型的输入进行前向传播,得到所有测试样本的预测标签。
本发明与现有技术相比,具有以下优点:
本发明所构建的高光谱图像分类网络模型,其中包含的特征提取网络包含有三个权值共享且结构相同的特征提取分支,在训练过程中避免了现有技术中空谱特征融合不充分,且多分支结构增加模型冗余参数的缺陷,而且特征提取网络还包含有由第二全局平均池化层、多个全连接层和多个激活函数层组成的注意力机制网络,在训练过程中避免了现有技术中模型无法筛选训练样本中的有用信息和噪声信息的缺陷,与现有技术相比,有效提高了高光谱图像的分类精度。
附图说明
图1是本发明的实现流程图。
具体实施方式
下面结合附图和具体实施例,对本发明作进一步的详细描述。
参照图1,本发明包括如下步骤:
步骤1)获取高光谱图像并对其进行预处理:
(1a)获取一幅包含K个不同地物类别的高光谱图像
Figure BDA0003017120950000041
和对应的标签图
Figure BDA0003017120950000042
其中,K≥2,∈表示属于,
Figure BDA0003017120950000043
表示实数域,m和n分别表示F的长和宽,b表示F的光谱波段数,本实例中,输入的高光谱图像为Indian Pines高光谱图像,K=16,m=145,n=145,b=200;
(1b)将高光谱图像F转换成大小为a×b的二维矩阵
Figure BDA0003017120950000044
a=m×n,并对X进行归一化,再将归一化后的二维矩阵转换为与F尺寸大小相同的三维矩阵,得到归一化后的高光谱图像F′,其中对二维矩阵X的每个光谱波段中每个地物目标的归一化公式为:
Figure BDA0003017120950000045
其中,
Figure BDA0003017120950000046
表示归一化后的二维矩阵X′中第i个光谱波段中的第j个地物目标,
Figure BDA0003017120950000047
表示二维矩阵X中第i个光谱波段中所有地物目标的平均像素值,
Figure BDA0003017120950000048
表示二维矩阵X中第i个光谱波段中所有地物目标像素值的方差值;
由于不同评价指标往往具有不同的量纲和量纲单位,从而影响最后的分类结果,为了消除指标之间的量纲影响,需要进行归一化处理,解决数据指标之间的可比性,本实例中,使用零均值归一化处理;
步骤2)对归一化后的高光谱图像F′进行邻域取块:
对归一化后的高光谱图像F′分别以尺寸3、5、7进行0像素边缘填充,再以边缘填充后的高光谱图像中的每个像素点为中心,分别选取7×7×b、11×11×b、15×15×b的邻域块,得到三种尺度的邻域块;
由于高光谱图像分类是对每个像素逐个分类且需要结合每个中心像素周围领域像素的信息,0像素边缘填充操作能够确保每个像素点都能进行邻域取块操作,邻域块样本同时含有光谱信息和邻域空间信息,有利于提高模型的分类精度;
步骤3)生成训练样本集与测试样本集:
将每种尺度邻域块中每个邻域块的中心像素点的类别组合成类别集合,并将其中半数以下类别对应的中心像素点所在的邻域块组成训练样本集,将其余的领域块组成测试样本集;
由于选取训练样本数量过多会使得算法在分类精度上失去对比性,所以在本实例中,选取训练样本集和测试样本集中的样本数占总样本数的比例分别为10%和90%;
步骤4)构建高光谱图像分类网络模型:
构建包括依次级联的特征提取网络、concatenate层、第一全局平均池化层和第一全连接层的高光谱图像分类网络模型;特征提取网络包括三个并行连接且权值共享的特征提取分支,每个特征提取分支包括多个三维卷积层、多个二维卷积层、多个规范层、多个激活函数层和多个融合层;每个融合层包括由第二全局平均池化层、多个全连接层和多个激活函数层组成的注意力机制网络;
在本实例中,特征提取分支的具体结构为:第一三维卷积层→第一规范层→第一激活函数层→第二三维卷积层→第二规范层→第二激活函数层→第三三维卷积层→第三规范层→第三激活函数层→第四三维卷积层→第四规范层→第四激活函数层→第一二维卷积层→第五规范层→第五激活函数层→第一融合层→第二二维卷积层→第六规范层→第六激活函数层→第二融合层→第三二维卷积层→第七规范层→第七激活函数层→第三融合层→第四二维卷积层→第八规范层→第八激活函数层→第四融合层;
特征提取分支相关的参数设置为:三维卷积层的卷积核个数为16,第一、第二、第三、第四三维卷积层卷积核尺寸依次为(1,1,5)、(1,1,3)、(1,1,3)、(1,1,10),卷积步长依次为3、1、1、1;第一、第二、第三、第四二维卷积层的卷积核个数依次为160、160、160、16,卷积核尺寸均为(3,3),卷积步长均为1;规范层的动量因子为0.8;激活函数层的激活函数采用ReLU激活函数;
第一全连接层神经元的个数与地物类别数K相等,激活函数采用softmax函数;
融合层的具体结构为:第二全局平均池化层→第二全连接层→第九激活函数层→第三全连接层→第十激活函数层;
融合层相关的参数设置为:第二全局平均池化层的池化长度为15;两个全连接层的神经元个数均为160;第九、第十激活函数层的激活函数分别采用ReLU激活函数、sigmoid激活函数;
三个权值共享的特征提取分支的具体结构可以在提取多尺度特征的同时,降低模型中的冗余参数,注意力机制网络能够给网络中每个特征的通道赋权值,增加有用通道的权重,减少噪声通道的权重,提高模型最终的分类精度;
步骤5)对高光谱图像分类网络模型进行迭代训练:
(5a)初始化迭代次数为t,最大迭代次数为T,T≥200,并令t=1,本实例中,T=200;
(5b)将从训练样本集随机且有回放选取的N个训练样本作为高光谱图像分类网络模型的输入进行前向传播,对训练样本逐层提取特征并用第一全连接层对最后的特征向量进行预测,得到预测标签向量集合y={y1,y2,...,yn,...,yN},N≥2,yn表示第n个训练样本对应的预测标签向量,本实例中,N=16;
(5c)采用交叉熵损失函数L计算每个预测标签向量yn与其对应的真实标签向量
Figure BDA0003017120950000061
之间的损失值,并采用梯度下降法,通过损失值对高光谱图像分类网络模型的权值参数ω进行更新,其中交叉熵损失函数L的表达式,以及权值参数ω的更新公式分别为:
Figure BDA0003017120950000062
Figure BDA0003017120950000063
其中,Σ表示求和操作,ln表示以自然常数e为底的对数,ω′表示ω的更新结果,η表示L的学习率,
Figure BDA0003017120950000064
表示求导操作,本实例中,学习率η=0.0001;
(5d)判断t≥T是否成立,若是,得到训练好的高光谱图像分类网络模型,否则,令t=t+1,并执行步骤(5b);
步骤5)获取高光谱图像的分类结果:
将测试样本集作为训练好的高光谱图像分类网络模型的输入进行前向传播,对测试样本逐层提取特征并用第一全连接层对最后的特征向量进行分类,得到所有测试样本的预测标签。
下面结合仿真实验对本发明的效果做进一步的说明:
1.仿真实验条件:
本发明的仿真实验采用的硬件测试平台是:处理器为Inter Core i7-8750H,主频为2.20GHz,内存16GB;软件平台为:Windows 10企业版64位操作系统和Python3.6进行仿真测试。
本发明的仿真实验中所使用的高光谱图像数据集,是由AVIRIS sensor在印第安纳州西北部的Indian Pines测试场地上收集的Indian pines数据集,Indian pines数据集图像的大小为145*145,具有200个光谱波段,包含16类地物,具体包含:Alfalfa,Corn-Notill,Corn-Mintill,Corn,Grass-Pasture,Grass-Trees,Grass-Pasture-Mowed,Hay-Windrowed,Oats,Soybean-Notill,Soybean-Mintill,Soybean-Clean,Wheat,Woods,Building-Grass-Trees-Drives,Stone-Steel-Towers,图像格式为mat。
2.仿真实验内容及结果分析:
为了说明本发明基于注意力机制和权值共享的高光谱图像分类方法具有优秀的分类能力,本发明的仿真实验是采用本发明方法与三种现有高光谱图像分类方法进行仿真。
在仿真实验中,采用的三种现有高光谱图像分类方法是指:
1)经典的支持向量机SVM用于高光谱图像分类的方法,该方法通过支持向量机直接对光谱信息进行分类。
2)Meng等人在其发表的论文“Multipath Residual Network for Spectral-Spatial Hyperspectral Image Classification”(Remote Sensing,vol.11,no.16:1896,Aug.2019,doi:10.3390)提出了一种基于多径残差网络的高光谱图像分类方法MPRN。
3)西安电子科技大学在其申请的专利文献“基于空间坐标与空谱特征融合的高光谱分类方法”(专利申请号:201710644479.6,申请公布号:CN 107451614 A)提出了一种基于空间坐标与空谱特征融合的高光谱图像分类方法SPE-SPA-SVM。。
为了对分类结果进行量化,实验采用了以下3个评价指标。
(1)整体精度OA(overall accuracy),将测试集上正确分类的像素点的个数除以总的像素个数,称为整体精度OA,其值在0~100%之间,此值越大说明分类效果越好。
(2)平均精度AA(average accuracy),将测试集上每类正确分类的像素点个数除以该类所有像素的总数,得到该类的正确分类精度,将所有类别的精度的平均值称为平均精度AA,其值在0~100%之间,此值越大说明分类效果越好。
(3)Kappa(Kappa Coefficient)系数:Kappa系数是定义在混淆矩阵X上的一个评价指标,综合考虑混淆矩阵对角线上的元素和偏离对角线的元素,更客观地反映了算法的分类性能,Kappa的值在-1~1的范围,此值越大说明分类效果越好。
本发明与三种现有技术在两个高光谱数据集上的整体分类精度OA、平均分类精度AA和Kappa系数的对比,如表1所示。
表1现有技术与本发明在分类精度上的对比结果
Figure BDA0003017120950000081
从表1可以看出,本发明的分类结果无论在OA、AA、还是Kappa系数上均明显优于这三种现有技术。
本发明将三个结构相同的特征提取分支以权值共享的方式进行信息交互,实现了尺度特征和空谱特征融合的同时,极大地减少了网络中冗余参数量的使用,降低了网络在训练过程中过拟合的风险,进一步提升了分类能力。同时,本发明提出注意力机制网络,减少了训练过程中冗余参数的传递权重,使有用特征被重点传递,所以发明的分类精度要明显优于其他三个现有分类方法。
综合上述仿真实验中的结果分析,本发明提出的方法能有效地解决传统深度卷积神经网络中因参数量过大而产生的过拟合现象,进一步解决分类精度差的问题。

Claims (4)

1.一种基于注意力机制和权值共享的高光谱图像分类方法,其特征在于,包括如下步骤:
(1)获取高光谱图像并对其进行预处理:
(1a)获取一幅包含K个不同地物类别的高光谱图像
Figure FDA0004048487430000011
和对应的标签图
Figure FDA0004048487430000012
其中,K≥2,∈表示属于,
Figure FDA0004048487430000013
表示实数域,m和n分别表示F的长和宽,b表示F的光谱波段数;
(1b)将高光谱图像F转换成大小为a×b的二维矩阵
Figure FDA0004048487430000014
a=m×n,并对X进行归一化,再将归一化后的二维矩阵转换为与F尺寸大小相同的三维矩阵,得到归一化后的高光谱图像F′;
(2)对归一化后的高光谱图像F′进行邻域取块:
对归一化后的高光谱图像F′分别以尺寸3、5、7进行0像素边缘填充,再以边缘填充后的高光谱图像中的每个像素点为中心,分别选取7×7×b、11×11×b、15×15×b的邻域块,得到三种尺度的邻域块;
(3)生成训练样本集与测试样本集:
将每种尺度邻域块中每个邻域块的中心像素点的类别组合成类别集合,并将其中半数以下类别对应的中心像素点所在的邻域块组成训练样本集,将其余的邻域块组成测试样本集;
(4)构建高光谱图像分类网络模型:
构建包括依次级联的特征提取网络、concatenate层、第一全局平均池化层和第一全连接层的高光谱图像分类网络模型;特征提取网络包括三个并行连接且权值共享的特征提取分支,每个特征提取分支包括多个三维卷积层、多个二维卷积层、多个规范层、多个激活函数层和多个融合层;每个融合层包括由第二全局平均池化层、两个全连接层和两个激活函数层组成的注意力机制网络,其具体结构为:第二全局平均池化层→第二全连接层→第九激活函数层→第三全连接层→第十激活函数层;融合层相关的参数设置为:第二全局平均池化层的池化长度为15;两个全连接层的神经元个数均为160;第九、第十激活函数层的激活函数分别采用ReLU激活函数、sigmoid激活函数;
(5)对高光谱图像分类网络模型进行迭代训练:
(5a)初始化迭代次数为t,最大迭代次数为T,T≥200,并令t=1;
(5b)将从训练样本集随机且有回放选取的N个训练样本作为高光谱图像分类网络模型的输入进行前向传播,得到预测标签向量集合y={y1,y2,...,yn,...,yN},N≥2,yn表示第n个训练样本对应的预测标签向量;
(5c)采用交叉熵损失函数L计算每个预测标签向量yn与其对应的真实标签向量
Figure FDA0004048487430000021
之间的损失值,并采用梯度下降法,通过损失值对高光谱图像分类网络模型的权值参数ω进行更新;
(5d)判断t≥T是否成立,若是,得到训练好的高光谱图像分类网络模型,否则,令t=t+1,并执行步骤(5b);
(6)获取高光谱图像的分类结果:
将测试样本集作为训练好的高光谱图像分类网络模型的输入进行前向传播,得到所有测试样本的预测标签。
2.根据权利要求1所述的基于注意力机制和权值共享的高光谱图像分类方法,其特征在于,步骤(1b)中所述的对X进行归一化,其中对二维矩阵X的每个光谱波段中每个地物目标的归一化公式为:
Figure FDA0004048487430000022
其中,
Figure FDA0004048487430000023
表示归一化后的二维矩阵X′中第i个光谱波段中的第j个地物目标,
Figure FDA0004048487430000024
表示二维矩阵X中第i个光谱波段中所有地物目标的平均像素值,
Figure FDA0004048487430000025
表示二维矩阵X中第i个光谱波段中所有地物目标像素值的方差值。
3.根据权利要求1所述的基于注意力机制和权值共享的高光谱图像分类方法,其特征在于,步骤(4)中所述的高光谱图像分类网络模型,其中特征提取分支包含的三维卷积层、二维卷积层和融合层的数量均为四个,规范层和激活函数层的数量均为八个,具体结构参数设置为:
特征提取分支的具体结构:第一三维卷积层→第一规范层→第一激活函数层→第二三维卷积层→第二规范层→第二激活函数层→第三三维卷积层→第三规范层→第三激活函数层→第四三维卷积层→第四规范层→第四激活函数层→第一二维卷积层→第五规范层→第五激活函数层→第一融合层→第二二维卷积层→第六规范层→第六激活函数层→第二融合层→第三二维卷积层→第七规范层→第七激活函数层→第三融合层→第四二维卷积层→第八规范层→第八激活函数层→第四融合层;
特征提取分支相关的参数设置为:三维卷积层的卷积核个数为16,第一、第二、第三、第四三维卷积层卷积核尺寸依次为(1,1,5)、(1,1,3)、(1,1,3)、(1,1,10),卷积步长依次为3、1、1、1;第一、第二、第三、第四二维卷积层的卷积核个数依次为160、160、160、16,卷积核尺寸均为(3,3),卷积步长均为1;规范层的动量因子为0.8;激活函数层的激活函数采用ReLU激活函数;
第一全连接层神经元的个数与地物类别数K相等,激活函数采用softmax函数。
4.根据权利要求1所述的基于注意力机制和权值共享的高光谱图像分类方法,其特征在于,步骤(5c)中所述的交叉熵损失函数L的表达式,以及权值参数ω的更新公式分别为:
Figure FDA0004048487430000031
Figure FDA0004048487430000032
其中,Σ表示求和操作,ln表示以自然常数e为底的对数,ω′表示ω的更新结果,η表示L的学习率,
Figure FDA0004048487430000033
表示求导操作。
CN202110399194.7A 2021-04-13 2021-04-13 基于注意力机制和权值共享的高光谱图像分类方法 Active CN113095409B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110399194.7A CN113095409B (zh) 2021-04-13 2021-04-13 基于注意力机制和权值共享的高光谱图像分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110399194.7A CN113095409B (zh) 2021-04-13 2021-04-13 基于注意力机制和权值共享的高光谱图像分类方法

Publications (2)

Publication Number Publication Date
CN113095409A CN113095409A (zh) 2021-07-09
CN113095409B true CN113095409B (zh) 2023-04-07

Family

ID=76677223

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110399194.7A Active CN113095409B (zh) 2021-04-13 2021-04-13 基于注意力机制和权值共享的高光谱图像分类方法

Country Status (1)

Country Link
CN (1) CN113095409B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113486851B (zh) * 2021-07-28 2023-04-18 齐齐哈尔大学 基于双分支光谱多尺度注意力网络的高光谱图像分类方法
CN113486981B (zh) * 2021-07-30 2023-02-07 西安电子科技大学 基于多尺度特征注意力融合网络的rgb图像分类方法
CN114863293B (zh) * 2022-05-07 2023-07-18 中国石油大学(华东) 一种基于双分支gan网络的高光谱溢油检测方法
CN114998725B (zh) * 2022-05-17 2024-07-19 北京理工大学 基于自适应空谱注意力核生成网络的高光谱图像分类方法
CN115345909B (zh) * 2022-10-18 2023-01-24 无锡学院 基于深度空间光谱卷积融合特征的高光谱目标跟踪方法
CN115909052A (zh) * 2022-10-26 2023-04-04 杭州师范大学 一种基于混合卷积神经网络的高光谱遥感图像分类方法
CN115830461B (zh) * 2023-02-23 2023-05-02 汕头大学 基于深度序列卷积网络的高光谱图像识别方法
CN117422932B (zh) * 2023-11-17 2024-05-28 中国矿业大学 一种基于多模态强化图注意力网络的高光谱图像分类方法
CN117765397A (zh) * 2023-12-28 2024-03-26 内蒙古农业大学 一种基于上采样和多分支的高光谱图像分类方法和系统
CN117830848B (zh) * 2024-01-03 2024-10-18 中国科学院长春光学精密机械与物理研究所 基于类引导注意力机制的高光谱图像分类方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090318815A1 (en) * 2008-05-23 2009-12-24 Michael Barnes Systems and methods for hyperspectral medical imaging
CN109993220B (zh) * 2019-03-23 2022-12-06 西安电子科技大学 基于双路注意力融合神经网络的多源遥感图像分类方法
CN110335290B (zh) * 2019-06-04 2021-02-26 大连理工大学 基于注意力机制的孪生候选区域生成网络目标跟踪方法
CN110321963B (zh) * 2019-07-09 2022-03-04 西安电子科技大学 基于融合多尺度多维空谱特征的高光谱图像分类方法
CN111639587B (zh) * 2020-05-27 2023-03-24 西安电子科技大学 基于多尺度谱空卷积神经网络的高光谱图像分类方法
CN111898633B (zh) * 2020-06-19 2023-05-05 北京理工大学 一种基于高光谱图像的海上舰船目标检测方法
CN112307958B (zh) * 2020-10-30 2023-06-23 河北工业大学 基于时空外观运动注意力网络的微表情识别方法

Also Published As

Publication number Publication date
CN113095409A (zh) 2021-07-09

Similar Documents

Publication Publication Date Title
CN113095409B (zh) 基于注意力机制和权值共享的高光谱图像分类方法
CN110321963B (zh) 基于融合多尺度多维空谱特征的高光谱图像分类方法
CN112052755B (zh) 基于多路注意力机制的语义卷积高光谱图像分类方法
CN111191736B (zh) 基于深度特征交叉融合的高光谱图像分类方法
CN109344698B (zh) 基于可分离卷积和硬阈值函数的高光谱波段选择方法
CN110084311B (zh) 基于三元权值卷积神经网络的高光谱图像波段选择方法
CN110084159A (zh) 基于联合多级空谱信息cnn的高光谱图像分类方法
CN109598306B (zh) 基于srcm和卷积神经网络的高光谱图像分类方法
CN111523521A (zh) 一种双支路融合多尺度注意神经网络的遥感图像分类方法
CN111814685A (zh) 基于双支路卷积自编码器的高光谱图像分类方法
CN105760900B (zh) 基于近邻传播聚类和稀疏多核学习的高光谱图像分类方法
CN112308152B (zh) 基于光谱分割与同质区域检测的高光谱图像地物分类方法
CN109840560A (zh) 基于胶囊网络中融入聚类的图像分类方法
CN114842264B (zh) 一种基于多尺度空谱特征联合学习的高光谱图像分类方法
CN114972885B (zh) 基于模型压缩的多模态遥感图像分类方法
CN113705580A (zh) 基于深度迁移学习的高光谱图像分类方法
CN113435254A (zh) 一种基于哨兵二号影像的耕地深度学习提取方法
CN111639697B (zh) 基于非重复采样与原型网络的高光谱图像分类方法
CN115713537A (zh) 基于光谱引导与深度注意力的光学遥感图像云雾分割方法
CN114266961A (zh) 一种整合高光谱和多频段全极化sar影像的沼泽植被堆栈集成学习分类方法
CN116977723A (zh) 基于空间-光谱混合自注意力机制的高光谱图像分类方法
CN115240072A (zh) 一种基于多方向多尺度光谱-空间残差卷积神经网络的高光谱多类变化检测方法
Song et al. Multi-source remote sensing image classification based on two-channel densely connected convolutional networks.
CN113469084B (zh) 基于对比生成对抗网络的高光谱图像分类方法
CN117611908A (zh) 天空地一体化大场景高光谱遥感图像的农作物精准分类

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant