CN111695469A - 轻量化深度可分离卷积特征融合网的高光谱图像分类方法 - Google Patents

轻量化深度可分离卷积特征融合网的高光谱图像分类方法 Download PDF

Info

Publication number
CN111695469A
CN111695469A CN202010486459.2A CN202010486459A CN111695469A CN 111695469 A CN111695469 A CN 111695469A CN 202010486459 A CN202010486459 A CN 202010486459A CN 111695469 A CN111695469 A CN 111695469A
Authority
CN
China
Prior art keywords
training
sample
layer
extraction module
information extraction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010486459.2A
Other languages
English (en)
Other versions
CN111695469B (zh
Inventor
王佳宁
黄润虎
郭思颖
李林昊
杨攀泉
焦李成
杨淑媛
刘芳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN202010486459.2A priority Critical patent/CN111695469B/zh
Publication of CN111695469A publication Critical patent/CN111695469A/zh
Application granted granted Critical
Publication of CN111695469B publication Critical patent/CN111695469B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/194—Terrestrial scenes using hyperspectral data, i.e. more or other wavelengths than RGB
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Biology (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种轻量化深度可分离卷积特征融合网的高光谱图像分类方法，处理高光谱图像，并进行归一化处理获得样本集，对样本集进行分类，完成数据预处理；设置光谱信息提取模块、空间信息提取模块和多层特征融合模块，完成训练模型构建；使用构建的训练模型对预处理的卷积神经网络进行训练，得到最终训练结果；将卷积神经网络运行重复N次，通过N次测试结果进行投票表决得到最终的分类结果，进行高光谱图像分类；根据高光谱图像分类结果输出分类图像。本发明采用光谱信息与空间信息相融合的方法，降低参数数量，增加网络深度，提升网络运行效率，改善了分类准确度。

Description

轻量化深度可分离卷积特征融合网的高光谱图像分类方法
技术领域
本发明属于图像处理技术领域，具体涉及一种轻量化深度可分离卷积特征融合网的高光谱图像分类方法。
背景技术
近年来随着高光谱遥感技术的逐渐强大，遥感数据维度不断增加，对高光谱数据分类问题带来了极大挑战。高光谱数据具有数据量大、相关性、多维度、非线性等特点，选择有效的算法用到高光谱数据的分类中，成为了高光谱遥感图像数据分析的重要问题。根据深度学习的特点，在高光谱图像分类任务中引入深度神经网络的理论和模型，使得通过高光谱遥感获取的丰富信息被充分利用，对现实应用有着重要的意义。而在高光谱遥感图像处理的过程中，处理数据量与计算量过大仍是现实存在的一个问题。因此，轻量化图像处理技术进入我们的视野。在轻量化图像处理中，如何在模型轻量化和计算量降低的情况下保证一个较好的精确度结果是我们目前所需实现的目标。
在HSI分类的早期，特征提取仅关注光谱信息。仅利用光谱信息的方法未能捕获重要的空间变化，通常导致(分类器)性能差。事实上，在HSI中，不同的物体可能表现出相似的光谱特征，而不同位置的相同物体可能会出现不同的光谱特征。对于这样的物体，仅使用光谱特征进行分类是非常困难的。
近年来，通过使用卷积神经网络对高光谱图像进行分类的方法显示了优良的性能。通常，网络深度对于许多视觉识别任务至关重要，尤其是对于处理具有非常复杂的空谱特征的HSI而言。但是，过度增加深度会给常规的CNN带来一些负面影响(例如，过度拟合，梯度消失和精度下降)。由于这个原因，以前在HSI分类中使用的网络仅采用几个卷积层，更深层次的区分特征无法充分提取，对卷积神经网络的性能造成了影响。
在最近的研究工作中，如何使用光谱空间联合信息对高光谱图像进行分类以及对网络进行轻量化处理成为解决上述问题的重要研究方向。通过提取光谱特征与空间特征进行综合使用，克服传统方法只利用高光谱图像光谱信息的缺点，提高了网络的特征信息提取能力，改善了网络分类效果。轻量化卷积神经网络模型设计，是指在借鉴现有卷积神经网络结构基础上，重新设计网络结构，以达到减少参数量，降低计算复杂度的目标。通过对网络进行轻量化处理，可将HSI分类中使用的网络由几个卷积层增加至数十个卷积层，极大地提高了网络的特征提取能力。
尽管上述方法均从不同方面试图解决高光谱图像分类任务中存在的问题，但仍不全面。如何更充分利用高光谱图像空谱信息和降低高光谱图像分类网络参数量增加网络深度仍面临巨大挑战。
发明内容
本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种轻量化深度可分离卷积特征融合网的高光谱图像分类方法，充分利用轻量化结构分别提取空间信息与光谱信息通过多层特征融合进行样本预测，再经过投票表决预测最终分类结果。
本发明采用以下技术方案：
轻量化深度可分离卷积特征融合网的高光谱图像分类方法，包括以下步骤：
S1、处理高光谱图像，并进行归一化处理获得样本集，对样本集进行分类，完成数据预处理；
S2、设置光谱信息提取模块、空间信息提取模块和多层特征融合模块，完成训练模型构建；
S3、使用步骤S2构建的训练模型对步骤S1预处理的卷积神经网络进行训练，得到最终训练结果；
S4、步骤S3完成后，将卷积神经网络运行重复N次，通过N次测试结果进行投票表决得到最终的分类结果，进行高光谱图像分类；
S5、根据高光谱图像分类结果输出分类图像。
具体的，步骤S1具体为：
S101、通过PCA降维提取光谱维主要特征信息，对高光谱图像进行处理；
S102、高光谱图像经过PCA降维后，对样本数据进行归一化操作；使用min-max归一化，即对样本数据进行线性变换，使结果映射到[0-1]之间；
S103、设定一个25X25的高光谱图像样本窗口，实现特征抓取得到样本集,并且训练样本是在一个样本集中，获得高光谱图像样本集之后，划分训练集与测试集；
S104、以抓取样本中心点标签作为该抓取样本标签，根据标签进行抓取样本的分类。
具体的，步骤S2中，将训练样本输入光谱信息提取模块，包括点卷积层，批量归一化层BN，非线性激活层，残差连接；将光谱信息提取模块输出的stage_0输入空间信息提取模块，空间信息提取模块中每三层Ir层输出的stage_1，stage_2，stage_3作为多层特征融合模块的第二、三、四个输入，将光谱提取特征Rspe，空间谱提取特征Rspa1，Rspa2，Rspa3通过点卷积卷积进行通道数调整，输出Zspe，Zspa1，Zspa2，Zspa3；将Zspa1，Zspa2，Zspa2，进行特征融合输出Zspa，再与Zspe进行concat操作输出Z，然后通过全局池化输出特征向量Z′，最后通过全连接层输出分类预测值pred。
进一步的，批量归一化层BN将每批次的前一层的激活标准化；假设批次的大小为m，并且
Figure BDA0002519400140000041
是基于整批样本得出的；批次中存在m个这种激活的值，即
Figure BDA0002519400140000042
计算如下：
Figure BDA0002519400140000043
其中，
Figure BDA0002519400140000044
为批量归一化后批次中样本的输出；
Figure BDA0002519400140000045
和
Figure BDA0002519400140000046
为
Figure BDA0002519400140000047
的期望和方差；γ和β为学习的超参数，ξ为防止分母为0。
具体的，步骤S3中，首先将训练样本输入光谱信息提取模块进行网络的训练，光谱信息提取模块的输出stage_0输入空间信息提取模块进行训练；
然后将光谱信息提取模块的输出与空间信息提取模块低、中、高三层输出特征stage_1，stage_2，stage_3输入多层特征融合模块进行特征融合，将融合特征经全局池化后输入全连接层进行训练，得到最终训练结果。
进一步的，设置训练次数为8000，单次样本输入量为128，损失函数为交叉熵损失函数，学习率初始为0.001，随机失活节点保留率为0.5，使用生成的训练集对构建好的卷积神经网络进行训练，每训练100次后，输出训练集分类准确度；每训练500次后，将全部训练集输入网络进行训练，输出训练集分类准确度。
具体的，步骤S4中，将多次多层特征融合模块的分类结果保存到投票表决模块，具体为：
将L类的分数初始化为p1＝p2＝...＝pL＝0；根据每个分类器的预测结果更新分数；根据获得的分数预测测试样本xi的标签，输出最终分类结果。
进一步的，分数预测测试样本xi的标签为：
xi＝arg max pc
其中，pc表示第c类的分数。
具体的，步骤S5中，使用轻量化结构提取光谱信息与空间信息，具体为：
使用九层点卷积提取光谱信息，均为128通道点卷积层，点卷积可降低网络参数量，每一层点卷积均使用残差连接保存特征信息；使用九层Ir层提取空间信息提取空间信息。
与现有技术相比，本发明至少具有以下有益效果：
本发明一种轻量化深度可分离卷积特征融合网的高光谱图像分类方法，能够通过轻量化结构点卷积与深度可分离卷积进行光谱信息与空间信息提取，然后用多层特征融合模块融合不同层特征进行分类，最后将多次分类结果用投票表决机制提升网络鲁棒性。
进一步的，对高光谱图像数据进行预处理，提取训练标签和测试标签，由于高光谱图像波段众多，光谱维特征信息较为冗余，通过PCA降维来提取光谱维主要特征信息。
进一步的，采用轻量化结构点卷积与深度可分离卷积分别提取不同层光谱信息stage_0与空间信息stage_1，stage_2，stage_3，输入多层特征融合层进行特征融合，轻量化结构降低参数数量，增加了网络深度。
进一步的，采用多层特征融合，将不同层的光谱提取信息与空间提取信息进行融合处理(stage_0，stage_1，stage_2，stage_3)，为一层光谱信息与三层空间信息，融合后特征经全局池化层与全连接层处理输出分类预测结果。联合使用光谱信息与空间信息对高光谱图像进行分类，改善了分类效果。
进一步的，采用投票表决机制，对同一批输入样本，经多次运行网络，保存多次网络分类结果进行投票表决。在不增加输入样本数量的条件下，提高网络的鲁棒性，降低网络收敛过程中因收敛至局部最优点造成的样本点错分的概率。因而本发明有如下优点：克服传统高光谱图像分类方法只利用高光谱图像的光谱信息，未能充分利用空间信息的缺点，采用光谱信息与空间信息综合使用的方法，提高了分类准确度；使用9层点卷积层提取光谱信息，9层深度可分离卷积构成的Ir层提取空间信息，大大降低了网络参数量；网络中大量使用残差连接，保留特征信息；网络中卷积操作均为二维轻量化卷积操作，相比于普通卷积使用参数量更少；提取不同层的光谱信息与空间信息输入多层特征融合层，保留了特征信息，提高了分类准确度；对多层特征融合层中的光谱信息与空间信息进行融合处理，不单一使用光谱信息或空间信息对高光谱图像进行分类；使用投票表决机制，提高了网络分类结果的鲁棒性，并降低由于网络训练过程中收敛至局部最优点导致部分测试样本点错分的概率。
进一步的，采用投票表决机制结果对图像进行分类。
综上所述，本发明通过轻量化结构提取光谱信息与空间信息，克服传统方法只利用高光谱图像光谱信息的缺点，采用光谱信息与空间信息相融合的方法，降低参数数量，增加网络深度，提升网络运行效率，改善了分类准确度。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
图1为全局结构图；
图2为光谱信息提取模块中加入了残差连接的点卷积层；
图3为Ir层图，其中，(a)为输入与输出通道数相等的Ir层；(b)为输入与输出通道数不相等的Ir层；
图4为本发明Pavia University分类效果图，其中，(a)为DFFN每类3％样本分类结果；(b)为3D-LWNT每类200样本分类结果；(c)为本发明每类3％样本分类结果；(d)为本发明每类200样本分类结果。
具体实施方式
本发明提供了一种轻量化深度可分离卷积特征融合网的高光谱图像分类方法，采用。
请参阅图1，本发明一种轻量化深度可分离卷积特征融合网的高光谱图像分类方法，包括以下步骤：
S1、数据预处理；
S101、处理高光谱图像
由于高光谱图像波段众多，光谱维特征信息较为冗余，通过PCA降维来提取光谱维主要特征信息。
S102、归一化处理
原始图像经过PCA降维后，对样本数据进行归一化操作；使用min-max归一化，即对样本数据进行线性变换，使结果映射到[0-1]之间，转换公式如下：
Figure BDA0002519400140000071
其中，max为图像样本数据集的最大值，min为图像样本数据集的最小值，x是样本数据集中的样本数据值，x*表示归一化后的样本数据集中的样本数据值；对样本数据进行归一化操作，不仅提升训练模型的收敛速度,还能够提升训练模型的精度。
S103、获得样本集
使用min-max归一化方法对数据进行归一化操作后，根据高光谱图像与标签进行结合来构造样本集：设定一个15X15的高光谱图像样本窗口，实现特征抓取得到样本集,并且训练样本是在一个样本集中，测试样本按类别分类成各个样本集。
在获得高光谱图像样本集之后，划分训练集与测试集。
S104、样本集分类
以抓取样本中心点标签作为该抓取样本标签，根据标签进行抓取样本的分类。高光谱图像的数据量有限，每一类只提取出200个样本块作为训练样本，其余作为测试样本。
优选的，在硬件条件允许的情况下，可以在预处理中不使用PCA降维，直接取出原始高光谱图像光谱维度的数据，尽可能多的保留光谱维度信息。
S2、构建训练模型；
将训练样本输入光谱信息提取模块提取光谱特征stage_0，stage_0分别作为空间信息提取模块的输入与多层特征融合模块的第一个输入；从空间信息提取模块每三层提取一个空间特征，分别为stage_1，stage_2，stage_3，输入多层特征融合模块与stage_0进行特征融合，特征融合结果经全局池化为特征向量，然后经全连接层进行分类。
光谱信息提取模块
将训练样本输入光谱信息提取模块，包括点卷积层，批量归一化层，非线性激活层，残差连接。
使用9层2-D点卷积层对输入训练样本进行光谱信息提取，第9层点卷积层的输出stage_0分别作为空间信息提取模块的输入与多层特征融合模块的第一个输入；每一层点卷积层均由128个卷积核构成；残差结构将点卷积层的输入与输出进行对应值相加操作；卷积层的激活函数是'Relu6'；使用批归一化使得更高的学习率通过对每个训练小批量的数据进行归一化来加速收敛，如图2所示。
空间信息提取模块
输入是光谱信息提取模块的输出stage_0，模块包括9层Mobilenet v2中的反向残差层(Ir层)，呈直筒型结构；每3层Ir层作为一个小模块。
九层Ir层均为64通道。
每三层Ir层的输出分别为stage_1，stage_2，stage_3，将这三个输出作为多层特征融合模块的第二、三、四个输入。
每个Ir层由点卷积层，深度卷积层(卷积核大小是3*3)，批量归一化层，非线性激活层，残差连接构成，卷积层的激活函数是'Relu6'，如图3所示。
优选的，在卷积层中加入注意力加权机制(SE)模块，提高网络运行效率，去除冗余信息。
多层特征融合模块
Rspe代表光谱提取特征，Rspa1，Rspa2，Rspa3代表空间谱提取特征，公式如下：
Figure BDA0002519400140000091
Figure BDA0002519400140000092
Figure BDA0002519400140000093
Figure BDA0002519400140000094
Zspa＝Zspa1+Zspa2+Zspa3 (6)
Figure BDA0002519400140000095
Z′＝G(Z) (8)
pred＝W⊙G(Z) (9)
其中，
Figure BDA0002519400140000101
表示卷积操作，G(.)表示全局池化操作，⊙为全连接操，
Figure BDA0002519400140000102
为concat操作。
将Rspe，Rspa1，Rspa2，Rspa3通过点卷积卷积进行通道数调整，输出Zspe，Zspa1，Zspa2，Zspa3；将Zspa1，Zspa2，Zspa2，进行特征融合输出Zspa，再与Zspe进行concat操作输出Z，然后通过全局池化输出特征向量Zs′pa，最后通过全连接层输出分类预测值pred；
使用非线性变换整流线型单元Relu6，以计算输出激活值
Figure BDA0002519400140000103
公式如下：
Figure BDA0002519400140000104
对于批量归一化层BN，它将每批次的前一层的激活标准化；应用保持平均激活接近0并且激活标准偏差接近1的变换；假设批次的大小为m，并且
Figure BDA0002519400140000105
是基于整批样本得出的；因此，批次中存在m个这种激活的值，即
Figure BDA0002519400140000106
计算公式为
Figure BDA0002519400140000107
其中，
Figure BDA0002519400140000108
表示批量归一化后批次中样本的输出；
Figure BDA0002519400140000109
和
Figure BDA00025194001400001010
表示
Figure BDA00025194001400001011
的期望和方差；γ和β表示学习的超参数，ξ为防止公式分母为0，设置ξ为极小值0.0001；
优选的，在光谱信息提取模块中，每层点卷积中添加残差连接；
S3、训练网络；
训练模型的过程分为三步；首先将训练样本输入光谱信息提取模块进行网络的训练，光谱信息提取模块的输出stage_0输入空间信息提取模块进行训练，然后将光谱信息提取模块的输出与空间信息提取模块低、中、高三层输出特征stage_1，stage_2，stage_3输入多层特征融合模块进行特征融合，将融合特征经全局池化后输入全连接层进行训练，得到最终训练结果；
设置训练次数为8000，单次样本输入量为128，损失函数为交叉熵损失函数，学习率初始为0.001，随机失活节点保留率为0.5，使用生成的训练集对构建好的卷积神经网络进行训练，每训练100次后，输出训练集分类准确度；每训练500次后，将全部训练集输入网络进行训练，输出训练集分类准确度；
优选的，每三层提取一次光谱信息输入多层特征融合模块进行特征融合处理；
优选的，在特征融合模块中，可以将光谱提取信息与空间提取信息分别进行融合处理然后输出预测概率向量，然后将两个预测概率向量进行加权再相加，视为对光谱维信息与空间维信息对于分类的重要度的调整；
S4、高光谱图像分类；
投票表决模块
训练模型完成，并进行测试；保存测试值，将网络运行重复N次，通过N次测试结果进行投票表决得到最终的分类结果；
投票表决模块：将多次多层特征融合模块的分类结果保存，进行如下操作：
(1)将L类的分数初始化为p1＝p2＝…＝pL＝0；
(2)根据每个分类器的预测结果更新分数；
例如，如果像素xi是通过分类器从第c类预测的，则仅属于c类的分数(即pc)将由pc＝pc+1更新；直到所有N次分类预测结果均用于预测xi的标签，分数停止更新；
(3)根据获得的分数预测测试样本xi的标签为：
xi＝arg max pc (14)
其中，pc表示第c类的分数。
输出最终分类结果。
针对网络鲁棒性问题，可以在网络末尾添加投票表决机制，即多次运行网络保存分类结果，针对某一测试样本点，将出现次数最多的分类结果作为此点最终的分类结果进行输出；
S5、输出分类图像；
根据高光谱图像分类结果输出分类图像。
使用轻量化结构提取光谱信息与空间信息，请参阅图2，光谱信息提取主要使用九层点卷积提取光谱信息，均为128通道点卷积层，点卷积可降低网络参数量，每一层点卷积均使用残差连接保存特征信息。
请参阅图3，空间信息提取使用九层Ir层提取空间信息，如图2所示，每三层作为一个小模块。前三层Ir层为64通道，中间三层Ir层为32通道，后三层Ir层为16通道。Ir层主要由深度可分离卷积与残差连接构成，深度可分离卷积中的深度卷积用来提取空间信息，点卷积与深度卷积均用来降低网络参数量，残差连接保留特征信息。
上述对于光谱信息与空间信息的提取均为轻量化结构提取，解决网络参数量降低与空间光谱联合特征提取问题。
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中的描述和所示的本发明实施例的组件可以通过各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
使用Pavia University高光谱图像数据，每类取200个或3％样本作为训练集，其余作为测试集进行高光谱图像分类。
(1)将原始输入图像PCA降维至18维；
(2)将降维后图像进行min-max归一化；
(3)从归一化图像上通过15*15的窗口抓取样本集，每类取200个样本作为训练集，其余作为测试集；
(4)设置训练次数为8000，单次样本输入量为128，损失函数为交叉熵损失函数，学习率初始为0.001，随机失活节点保留率为0.5，使用(3)中生成的训练集对构建好的卷积神经网络进行训练，每训练100次后，输出训练集分类准确度；每训练500次后，将全部训练集输入网络进行训练，输出训练集分类准确度；
(5)将训练样本输入训练模型进行训练；
(6)训练模型完成，并进行测试；保存测试值，将网络运行重复5次，通过5次测试结果进行投票表决得到最终的分类结果；
(7)根据高光谱图像分类结果输出分类图像。
表1
Figure BDA0002519400140000141
表2
DFFN 3D-LWNET Propos
参数数量 371632 763008 256964
请参阅表1和表2，本发明提出的高光谱图像分类方法，相比于DFFN，参数量减少了31％；相比于3D-LWNET，参数量减少了66％。其OA值比DFFN高0.7％，与3D-LWNET相同。在更少的参数使用量条件下，本发明提出的网络结构取得了与3D-LWNET可比的分类效果。
请参阅图4，图4(a)(b)(c)(d)分别为表1中的四个分类结果图，由图可知本发明在降低网络参数数量的情况下取得了比DFFN与3D-LWNET可比或更好的分类效果。
综上所述，本发明一种轻量化深度可分离卷积特征融合网的高光谱图像分类方法，通过轻量化结构点卷积与深度可分离卷积提取空间光谱联合特征，得到多层特征进行多层特征融合，再经过全局池化与全连接层得到分类结果；然后将网络运行重复N(本网络N＝5)次，通过N次测试结果进行投票表决得到最终的分类结果，实现高光谱数据的有效分类。实验结果表明，在使用更少参数量的情况下，本发明有与现有技术可比或者更优的分类精度。
以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。

Claims (9)

1.轻量化深度可分离卷积特征融合网的高光谱图像分类方法，其特征在于，包括以下步骤：
S1、处理高光谱图像，并进行归一化处理获得样本集，对样本集进行分类，完成数据预处理；
S2、设置光谱信息提取模块、空间信息提取模块和多层特征融合模块，完成训练模型构建；
S3、使用步骤S2构建的训练模型对步骤S1预处理的卷积神经网络进行训练，得到最终训练结果；
S4、步骤S3完成后，将卷积神经网络运行重复N次，通过N次测试结果进行投票表决得到最终的分类结果，进行高光谱图像分类；
S5、根据高光谱图像分类结果输出分类图像。
2.根据权利要求1所述的方法，其特征在于，步骤S1具体为：
S101、通过PCA降维提取光谱维主要特征信息，对高光谱图像进行处理；
S102、高光谱图像经过PCA降维后，对样本数据进行归一化操作；使用min-max归一化，即对样本数据进行线性变换，使结果映射到[0-1]之间；
S103、设定一个25X25的高光谱图像样本窗口，实现特征抓取得到样本集,并且训练样本是在一个样本集中，获得高光谱图像样本集之后，划分训练集与测试集；
S104、以抓取样本中心点标签作为该抓取样本标签，根据标签进行抓取样本的分类。
3.根据权利要求1所述的方法，其特征在于，步骤S2中，将训练样本输入光谱信息提取模块，包括点卷积层，批量归一化层BN，非线性激活层，残差连接；将光谱信息提取模块输出的stage_0输入空间信息提取模块，空间信息提取模块中每三层Ir层输出的stage_1，stage_2，stage_3作为多层特征融合模块的第二、三、四个输入，将光谱提取特征Rspe，空间谱提取特征Rspa1，Rspa2，Rspa3通过点卷积卷积进行通道数调整，输出Zspe，Zspa1，Zspa2，Zspa3；将Zspa1，Zspa2，Zspa2，进行特征融合输出Zspa，再与Zspe进行concat操作输出Z，然后通过全局池化输出特征向量Z′，最后通过全连接层输出分类预测值pred。
4.根据权利要求3所述的方法，其特征在于，批量归一化层BN将每批次的前一层的激活标准化；假设批次的大小为m，并且
Figure FDA0002519400130000021
是基于整批样本得出的；批次中存在m个这种激活的值，即
Figure FDA0002519400130000022
计算如下：
Figure FDA0002519400130000023
其中，
Figure FDA0002519400130000024
为批量归一化后批次中样本的输出；
Figure FDA0002519400130000025
和
Figure FDA0002519400130000026
为
Figure FDA0002519400130000027
的期望和方差；γ和β为学习的超参数，ξ为防止分母为0。
5.根据权利要求1所述的方法，其特征在于，步骤S3中，首先将训练样本输入光谱信息提取模块进行网络的训练，光谱信息提取模块的输出stage_0输入空间信息提取模块进行训练；
然后将光谱信息提取模块的输出与空间信息提取模块低、中、高三层输出特征stage_1，stage_2，stage_3输入多层特征融合模块进行特征融合，将融合特征经全局池化后输入全连接层进行训练，得到最终训练结果。
6.根据权利要求5所述的方法，其特征在于，设置训练次数为8000，单次样本输入量为128，损失函数为交叉熵损失函数，学习率初始为0.001，随机失活节点保留率为0.5，使用生成的训练集对构建好的卷积神经网络进行训练，每训练100次后，输出训练集分类准确度；每训练500次后，将全部训练集输入网络进行训练，输出训练集分类准确度。
7.根据权利要求1所述的方法，其特征在于，步骤S4中，将多次多层特征融合模块的分类结果保存到投票表决模块，具体为：
将L类的分数初始化为p1＝p2＝...＝pL＝0；根据每个分类器的预测结果更新分数；根据获得的分数预测测试样本xi的标签，输出最终分类结果。
8.根据权利要求7所述的方法，其特征在于，分数预测测试样本xi的标签为：
xi＝arg max pc
其中，pc表示第c类的分数。
9.根据权利要求1所述的方法，其特征在于，步骤S5中，使用轻量化结构提取光谱信息与空间信息，具体为：
使用九层点卷积提取光谱信息，均为128通道点卷积层，点卷积可降低网络参数量，每一层点卷积均使用残差连接保存特征信息；使用九层Ir层提取空间信息提取空间信息。
CN202010486459.2A 2020-06-01 2020-06-01 轻量化深度可分离卷积特征融合网的高光谱图像分类方法 Active CN111695469B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010486459.2A CN111695469B (zh) 2020-06-01 2020-06-01 轻量化深度可分离卷积特征融合网的高光谱图像分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010486459.2A CN111695469B (zh) 2020-06-01 2020-06-01 轻量化深度可分离卷积特征融合网的高光谱图像分类方法

Publications (2)

Publication Number Publication Date
CN111695469A true CN111695469A (zh) 2020-09-22
CN111695469B CN111695469B (zh) 2023-08-11

Family

ID=72479041

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010486459.2A Active CN111695469B (zh) 2020-06-01 2020-06-01 轻量化深度可分离卷积特征融合网的高光谱图像分类方法

Country Status (1)

Country Link
CN (1) CN111695469B (zh)

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112200063A (zh) * 2020-09-30 2021-01-08 湖南理工学院 一种基于神经网络和注意力机制的高效波段加权预处理方法
CN112733774A (zh) * 2021-01-18 2021-04-30 大连海事大学 一种基于BiLSTM与串并多尺度CNN结合的轻量化ECG分类方法
CN112818794A (zh) * 2021-01-25 2021-05-18 哈尔滨工业大学 基于递进式空谱联合深度网络的高光谱遥感图像生成方法
CN112862906A (zh) * 2021-01-15 2021-05-28 深圳市中钞科信金融科技有限公司 基于神经网络的颜色空间转换方法
CN112949592A (zh) * 2021-03-31 2021-06-11 云南大学 高光谱图像的分类方法、装置和电子设备
CN112990106A (zh) * 2021-04-19 2021-06-18 中国人民解放军国防科技大学 水下物体检测方法、装置、计算机设备和存储介质
CN113052014A (zh) * 2021-03-09 2021-06-29 西北工业大学深圳研究院 基于双层空间流形表示的高光谱图像分类方法
CN113177465A (zh) * 2021-04-27 2021-07-27 江苏科技大学 基于深度可分离卷积神经网络的sar图像自动目标识别方法
CN113210264A (zh) * 2021-05-19 2021-08-06 江苏鑫源烟草薄片有限公司 烟草杂物剔除方法及装置
CN113256733A (zh) * 2021-05-14 2021-08-13 四川大学 基于置信度投票卷积神经网络的相机光谱灵敏度重建方法
CN113505830A (zh) * 2021-07-09 2021-10-15 西安交通大学 旋转机械故障诊断方法、系统、设备及存储介质
CN113723377A (zh) * 2021-11-02 2021-11-30 南京信息工程大学 一种基于ld-ssd网络的交通标志检测方法
CN113780147A (zh) * 2021-09-06 2021-12-10 西安电子科技大学 一种轻量化动态融合卷积网的高光谱地物分类方法及系统
CN113822212A (zh) * 2021-09-27 2021-12-21 东莞理工学院 一种嵌入式物体识别方法和装置
CN113963207A (zh) * 2021-10-21 2022-01-21 江南大学 基于空谱信息特征引导融合网络的高光谱图像分类方法
CN114067175A (zh) * 2021-11-12 2022-02-18 北京邮电大学 一种基于通道特征融合的高光谱图像小样本分类方法及装置
CN114140393A (zh) * 2021-11-05 2022-03-04 安徽中医药大学 一种基于深度学习的类风湿性关节炎x光片评分方法
CN114373080A (zh) * 2022-03-22 2022-04-19 中国石油大学(华东) 基于全局推理的轻量化混合卷积模型的高光谱分类方法
CN114373120A (zh) * 2021-03-25 2022-04-19 河北地质大学 一种多尺度空间融合高光谱土壤重金属污染识别评价方法
CN114529836A (zh) * 2022-02-23 2022-05-24 安徽大学 一种sar图像目标检测方法
CN114897814A (zh) * 2022-05-07 2022-08-12 中国石油大学(华东) 基于多级小波分解密接网络的高光谱图像溢油检测方法
CN115035074A (zh) * 2022-06-17 2022-09-09 重庆大学 基于全局空间感知网络的宫颈上皮组织病理图像识别方法
CN115249332A (zh) * 2022-09-23 2022-10-28 山东锋士信息技术有限公司 基于空谱双分支卷积网络的高光谱图像分类方法及设备
CN115661655A (zh) * 2022-11-03 2023-01-31 重庆市地理信息和遥感应用中心 高光谱和高分影像深度特征融合的西南山区耕地提取方法
CN116091372A (zh) * 2023-01-03 2023-05-09 江南大学 基于层分离和重参数的红外和可见光图像融合方法
CN117237341A (zh) * 2023-11-13 2023-12-15 山东第一医科大学第一附属医院(山东省千佛山医院) 基于高光谱图像的人体外周血样本检测方法及系统
CN117388198A (zh) * 2023-10-31 2024-01-12 重庆大学 一种基于多源光谱融合的水质cod检测方法及检测设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017215284A1 (zh) * 2016-06-14 2017-12-21 山东大学 基于卷积神经网络的胃肠道肿瘤显微高光谱图像处理方法
CN109978071A (zh) * 2019-04-03 2019-07-05 西北工业大学 基于数据增广和分类器融合的高光谱图像分类方法
CN110298396A (zh) * 2019-06-25 2019-10-01 北京工业大学 基于深度学习多特征融合的高光谱图像分类方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017215284A1 (zh) * 2016-06-14 2017-12-21 山东大学 基于卷积神经网络的胃肠道肿瘤显微高光谱图像处理方法
CN109978071A (zh) * 2019-04-03 2019-07-05 西北工业大学 基于数据增广和分类器融合的高光谱图像分类方法
CN110298396A (zh) * 2019-06-25 2019-10-01 北京工业大学 基于深度学习多特征融合的高光谱图像分类方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
李秉璇;周冰;贺宣;刘贺雄;: "针对高光谱图像的目标分类方法现状与展望" *
王浩;张晶晶;李园园;王峰;寻丽娜;: "基于3D卷积联合注意力机制的高光谱图像分类" *

Cited By (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112200063A (zh) * 2020-09-30 2021-01-08 湖南理工学院 一种基于神经网络和注意力机制的高效波段加权预处理方法
CN112862906A (zh) * 2021-01-15 2021-05-28 深圳市中钞科信金融科技有限公司 基于神经网络的颜色空间转换方法
CN112862906B (zh) * 2021-01-15 2023-07-21 深圳市中钞科信金融科技有限公司 基于神经网络的颜色空间转换方法
CN112733774A (zh) * 2021-01-18 2021-04-30 大连海事大学 一种基于BiLSTM与串并多尺度CNN结合的轻量化ECG分类方法
CN112818794B (zh) * 2021-01-25 2022-03-04 哈尔滨工业大学 基于递进式空谱联合深度网络的高光谱遥感图像生成方法
CN112818794A (zh) * 2021-01-25 2021-05-18 哈尔滨工业大学 基于递进式空谱联合深度网络的高光谱遥感图像生成方法
CN113052014A (zh) * 2021-03-09 2021-06-29 西北工业大学深圳研究院 基于双层空间流形表示的高光谱图像分类方法
CN113052014B (zh) * 2021-03-09 2022-12-23 西北工业大学深圳研究院 基于双层空间流形表示的高光谱图像分类方法
CN114373120B (zh) * 2021-03-25 2023-05-23 河北地质大学 一种多尺度空间融合高光谱土壤重金属污染识别评价方法
CN114373120A (zh) * 2021-03-25 2022-04-19 河北地质大学 一种多尺度空间融合高光谱土壤重金属污染识别评价方法
CN112949592A (zh) * 2021-03-31 2021-06-11 云南大学 高光谱图像的分类方法、装置和电子设备
CN112990106A (zh) * 2021-04-19 2021-06-18 中国人民解放军国防科技大学 水下物体检测方法、装置、计算机设备和存储介质
CN113177465A (zh) * 2021-04-27 2021-07-27 江苏科技大学 基于深度可分离卷积神经网络的sar图像自动目标识别方法
CN113256733B (zh) * 2021-05-14 2022-05-20 四川大学 基于置信度投票卷积神经网络的相机光谱灵敏度重建方法
CN113256733A (zh) * 2021-05-14 2021-08-13 四川大学 基于置信度投票卷积神经网络的相机光谱灵敏度重建方法
CN113210264A (zh) * 2021-05-19 2021-08-06 江苏鑫源烟草薄片有限公司 烟草杂物剔除方法及装置
CN113210264B (zh) * 2021-05-19 2023-09-05 江苏鑫源烟草薄片有限公司 烟草杂物剔除方法及装置
CN113505830B (zh) * 2021-07-09 2024-04-02 西安交通大学 旋转机械故障诊断方法、系统、设备及存储介质
CN113505830A (zh) * 2021-07-09 2021-10-15 西安交通大学 旋转机械故障诊断方法、系统、设备及存储介质
CN113780147A (zh) * 2021-09-06 2021-12-10 西安电子科技大学 一种轻量化动态融合卷积网的高光谱地物分类方法及系统
CN113822212A (zh) * 2021-09-27 2021-12-21 东莞理工学院 一种嵌入式物体识别方法和装置
CN113822212B (zh) * 2021-09-27 2024-01-05 东莞理工学院 一种嵌入式物体识别方法和装置
CN113963207B (zh) * 2021-10-21 2024-03-29 江南大学 基于空谱信息特征引导融合网络的高光谱图像分类方法
CN113963207A (zh) * 2021-10-21 2022-01-21 江南大学 基于空谱信息特征引导融合网络的高光谱图像分类方法
CN113723377A (zh) * 2021-11-02 2021-11-30 南京信息工程大学 一种基于ld-ssd网络的交通标志检测方法
CN114140393B (zh) * 2021-11-05 2024-08-13 安徽中医药大学 一种基于深度学习的类风湿性关节炎x光片评分方法
CN114140393A (zh) * 2021-11-05 2022-03-04 安徽中医药大学 一种基于深度学习的类风湿性关节炎x光片评分方法
CN114067175A (zh) * 2021-11-12 2022-02-18 北京邮电大学 一种基于通道特征融合的高光谱图像小样本分类方法及装置
CN114529836A (zh) * 2022-02-23 2022-05-24 安徽大学 一种sar图像目标检测方法
CN114529836B (zh) * 2022-02-23 2022-11-08 安徽大学 一种sar图像目标检测方法
CN114373080A (zh) * 2022-03-22 2022-04-19 中国石油大学(华东) 基于全局推理的轻量化混合卷积模型的高光谱分类方法
CN114373080B (zh) * 2022-03-22 2022-07-29 中国石油大学(华东) 基于全局推理的轻量化混合卷积模型的高光谱分类方法
CN114897814A (zh) * 2022-05-07 2022-08-12 中国石油大学(华东) 基于多级小波分解密接网络的高光谱图像溢油检测方法
CN115035074A (zh) * 2022-06-17 2022-09-09 重庆大学 基于全局空间感知网络的宫颈上皮组织病理图像识别方法
CN115035074B (zh) * 2022-06-17 2024-05-28 重庆大学 基于全局空间感知网络的宫颈上皮组织病理图像识别方法
CN115249332A (zh) * 2022-09-23 2022-10-28 山东锋士信息技术有限公司 基于空谱双分支卷积网络的高光谱图像分类方法及设备
CN115661655B (zh) * 2022-11-03 2024-03-22 重庆市地理信息和遥感应用中心 高光谱和高分影像深度特征融合的西南山区耕地提取方法
CN115661655A (zh) * 2022-11-03 2023-01-31 重庆市地理信息和遥感应用中心 高光谱和高分影像深度特征融合的西南山区耕地提取方法
CN116091372A (zh) * 2023-01-03 2023-05-09 江南大学 基于层分离和重参数的红外和可见光图像融合方法
CN116091372B (zh) * 2023-01-03 2023-08-15 江南大学 基于层分离和重参数的红外和可见光图像融合方法
CN117388198A (zh) * 2023-10-31 2024-01-12 重庆大学 一种基于多源光谱融合的水质cod检测方法及检测设备
CN117388198B (zh) * 2023-10-31 2024-06-28 重庆大学 一种基于多源光谱融合的水质cod检测方法及检测设备
CN117237341A (zh) * 2023-11-13 2023-12-15 山东第一医科大学第一附属医院(山东省千佛山医院) 基于高光谱图像的人体外周血样本检测方法及系统

Also Published As

Publication number Publication date
CN111695469B (zh) 2023-08-11

Similar Documents

Publication Publication Date Title
CN111695469B (zh) 轻量化深度可分离卷积特征融合网的高光谱图像分类方法
CN113011499B (zh) 一种基于双注意力机制的高光谱遥感图像分类方法
WO2021042828A1 (zh) 神经网络模型压缩的方法、装置、存储介质和芯片
CN112541409B (zh) 一种融入注意力的残差网络表情识别方法
US20190228268A1 (en) Method and system for cell image segmentation using multi-stage convolutional neural networks
CN113705526B (zh) 一种高光谱遥感影像分类方法
CN111274869B (zh) 基于并行注意力机制残差网进行高光谱图像分类的方法
Hou et al. Convnets with smooth adaptive activation functions for regression
CN110321830B (zh) 一种基于神经网络的中文字符串图片ocr识别方法
CN109299668B (zh) 一种基于主动学习和聚类分析的高光谱图像分类方法
CN112733659B (zh) 一种基于自步学习双流多尺度密集连接网络的高光谱图像分类方法
CN108133188A (zh) 一种基于运动历史图像与卷积神经网络的行为识别方法
CN110288555B (zh) 一种基于改进的胶囊网络的低照度增强方法
CN112800876A (zh) 一种用于重识别的超球面特征嵌入方法及系统
CN109255381B (zh) 一种基于二阶vlad稀疏自适应深度网络的图像分类方法
CN109190511B (zh) 基于局部与结构约束低秩表示的高光谱分类方法
US20200143209A1 (en) Task dependent adaptive metric for classifying pieces of data
CN112102314B (zh) 基于不确定性来判断人脸图片质量的计算方法
Bahrami et al. Joint auto-weighted graph fusion and scalable semi-supervised learning
CN113344077A (zh) 一种基于卷积胶囊网络结构的抗噪茄科病害识别方法
CN114780767A (zh) 一种基于深度卷积神经网络的大规模图像检索方法及系统
CN116977723A (zh) 基于空间-光谱混合自注意力机制的高光谱图像分类方法
CN114959797A (zh) 基于数据扩增和sskelm的铝电解槽况诊断方法
CN114648667A (zh) 一种基于轻量化双线性cnn模型的鸟类图像细粒度识别方法
CN112560824B (zh) 一种基于多特征自适应融合的人脸表情识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant