CN114399642A - 一种卷积神经网络荧光光谱特征提取方法 - Google Patents

一种卷积神经网络荧光光谱特征提取方法 Download PDF

Info

Publication number
CN114399642A
CN114399642A CN202111641007.8A CN202111641007A CN114399642A CN 114399642 A CN114399642 A CN 114399642A CN 202111641007 A CN202111641007 A CN 202111641007A CN 114399642 A CN114399642 A CN 114399642A
Authority
CN
China
Prior art keywords
layer
feature
convolutional
size
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111641007.8A
Other languages
English (en)
Inventor
陈颖
张永彬
刘铮莹
朱奇光
刘俊飞
陈婷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yanshan University
Original Assignee
Yanshan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yanshan University filed Critical Yanshan University
Priority to CN202111641007.8A priority Critical patent/CN114399642A/zh
Publication of CN114399642A publication Critical patent/CN114399642A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种卷积神经网络荧光光谱特征提取方法，涉及荧光光谱的特征提取技术，本发明首先在卷积神经网络的输入层做原始数据的预处理，通过特征区域积分找到重要光谱区域，减少网络训练的时间和复杂度；其次卷积神经网络采用DeepSpectra模型，在增加网络深度的同时减少每个特征图的长度，在每个卷积层输入前加入稀疏约束，提高特征提取的有效性，同时每个卷积层的卷积核采用大中小三个尺度进行特征提取，将融合后信息作为特征图来增强每层的提取效果。本发明可以更好的找到原始数据中的特征信息，减少了网络训练的时间和复杂度，提高特征提取的有效性，使得重要的特征信息被不断加强，而不重要的信息被逐渐削弱。

Description

一种卷积神经网络荧光光谱特征提取方法
技术领域
本发明涉及荧光光谱的特征提取技术，尤其是一种卷积神经网络荧光光谱特征提取方法，用于图片及高光谱的特征提取领域。
背景技术
近年来由于海水富营养化加剧，水体中浮游藻类大量繁殖，频繁引发藻华现象，已经成为海洋生态环境的主要污染，所以藻类种类和数量的测量对生态环境检测具有重要意义。浮游植物中含有的色素具有荧光效应，因此荧光光谱分析是一种有效的测量方法，其中三维荧光光谱法在藻类测量中应用广泛，但是三维荧光数据较多，但并不是光谱区域下的所有波长变量都含有有用信息，只有少数光谱区域含有物质特征。其冗余区域荧光信息参与建模会影响预测精度，增加模型的计算，有必要在建立模型之前对荧光数据进行特征提取。
相关概念包括以下内容：
EPLS：一种无元参数的、简单的无监督稀疏特征学习算法。该方法提供的鉴别特征对分类非常有用，因为它们联合捕获了相关的空间和光谱图像特征，该方法从一个层的输出迭代地构建一个稀疏目标，并对该特定目标进行优化。
DeepSpectra：种卷积神经网络模型，具有稀疏连接、参数共享、池化和深层次结构等特征，该模型包含了神经网络的卷积层、拉伸层、全连接层和输出层。在卷积神经中，DeepSpectra模型不仅增加了卷积神经网络模型的深度，而且增加了卷积神经网络模型的宽度。
PCA(Principal Component Analysis)：主成分分析。
LLE(locally linear embedding)：局部线性嵌入算法。
目前，该方面一些常用的方法有：
1、通过PCA算法对光谱数据降维，再用降维后的数据建立含量预测模型。
2、通过LLE算法对光谱数据降维，再用降维后的数据建立含量预测模型。
主成分分析法：
PCA通过降维来消除变量之间的相关性。将单样本三维荧光数据矩阵按照列方向拉直成一维数据，多个被拉直的一维荧光数据样本组成二维数据矩阵Xn×m，包含n个荧光光谱样本，m个波长，则X在低维空间的投影为T＝XP，T返回到m维空间的投影为:
Figure BDA0003443796590000021
其中，T是得分向量，pi是载荷向量。右乘pi，得到：
Figure BDA0003443796590000022
得分向量ti越大，
Figure BDA0003443796590000023
在pi方向上的变化幅度就越大。
首先对训练光谱和测试光谱数据矩阵X进行中心化处理；其次将训练光谱数据对应的前k个特征值相对应的载荷向量P∈Rm×k将被保留下来。用方差的累计贡献率来确定主成分个数，通过计算前k个主成分的累积贡献率来选取主成分个数。
局部线性嵌入算法：
LLE的目的是寻找嵌入在高维观测空间的低维流形，即通常意义下的特征，并且有整体最优解，不需要迭代，避免了局部极值问题。设三维荧光光谱信号为X，其中，X＝[x1,x2,…,xn]，xi∈Rm，m为荧光光谱信号的维数，映射到低维空间中的信号为Y＝[y1,y2,…,yn]，yi∈Rd，d为降维后荧光光谱信号的维数。LLE算法主要步骤如下：
采用k近邻法寻找每个藻种光谱信号的k个近邻点。
依据每个藻种光谱的近邻点计算处样本点的局部重建权值矩阵，要求误差函数最小，即：
Figure BDA0003443796590000031
其中，
Figure BDA0003443796590000032
当xj不属于xi的近邻时，wij＝0。
由该藻种荧光光谱的局部重建权值矩阵和其近邻点计算处该样本点的输出值，即d维嵌入值yi，映射条件应该满足：损失函数最小，即：
Figure BDA0003443796590000033
为了保证上式有唯一解，低维嵌入yi应满足：
Figure BDA0003443796590000034
Figure BDA0003443796590000035
现有技术的缺点是：
(1)PCA算法将所有的样本作为一个整体对待，去寻找一个均方误差最小下的最优线性映射投影，而忽略了其他的属性，而它所忽略的投影方向可能刚好包含了重要的信息。这就可能导致所提取的特征用于训练预测模型效果并不好；
(2)LLE算法需要进行稠密采样，且该算法的局部邻域参数k、嵌入维数d和信号中的噪声,会影响高维空间的降维效果。
发明内容
本发明需要解决的技术问题是提供一种卷积神经网络荧光光谱特征提取方法，便于更好的找到原始数据中的特征信息，减少网络训练的时间和复杂度，提高特征提取的有效性，使得重要的特征信息被不断加强，而不重要的信息被逐渐削弱。
为解决上述技术问题，本发明所采用的技术方案是：
一种卷积神经网络荧光光谱特征提取方法，包括以下内容：
首先在卷积神经网络的输入层做原始数据的预处理，通过特征区域积分找到重要光谱区域；
其次卷积神经网络采用DeepSpectra模型，在增加网络深度的同时减少每个特征图的长度，在每个卷积层输入前加入EPLS算法作为网络的稀疏约束，提高特征提取的有效性，同时每个卷积层的卷积核采用大中小三个尺度进行特征提取，将融合后信息作为特征图来增强每层的提取效果。
本发明技术方案的进一步改进在于：包括以下步骤：
(1)将测量得到的三维光谱数据通过激发波长首尾相连的形式展成一行，保留完整波长点的光谱信息；
(2)根据光谱区域激发波长和发射波长的间隔将光谱区域划分为若干个单位区域，单位区域阈值设定为单位区域最大积分值的三分之一，保留积分值大于阈值的光谱数据作为网络的输入层；
(3)设置卷积神经网络包括1个输入层、3个卷积层，2个全连接层、1个拉伸层，每个卷积层中都包括1个池化层，采用的最大池化法，采样窗口宽度为2，以采样窗口内的最大值作为特征值；所述3个卷积层为Conv1、Conv2、Conv3，所述2个全连接层为F1、F2，所述1个拉伸层为Flatten；
(4)将步骤(2)的输出数据作为网络的输入，经过EPLS稀疏约束进行稀疏表示；
(5)将稀疏表示的数据作为卷积层Conv1的输入，在Conv1中使用9个卷积核，3个卷积核的大小为3，作为小尺度特征提取，3个卷积核的大小为5，作为中尺度特征提取，3个卷积核的大小为8，作为大尺度特征提取，每个卷积核的步长为2，原始输入光谱的特征长度减小，由9个特征维度表示；Conv1从稀疏表示的含噪声的光谱数据中提取相关信息并去除噪声；
(6)将Conv1的输出经过EPLS稀疏约束作为卷积层Conv2的输入，在Conv2中使用18个卷积核，6个卷积核的大小为3，作为小尺度特征提取，6个卷积核的大小为5，作为中尺度特征提取，6个卷积核的大小为8，作为大尺度特征提取，每个卷积核的步长为2；光谱数据的特征长度再次降低，由18个特征维度表示；Conv2学习到更复杂更抽象的特征；
(7)将Conv2的输出经过EPLS稀疏约束作为卷积层Conv3的输入，在Conv3中使用36个卷积核，12个卷积核的大小为3，作为小尺度特征提取，12个卷积核的大小为5，作为中尺度特征提取，12个卷积核的大小为8，作为大尺度特征提取，每个卷积核的步长为2；光谱数据的特征长度再次降低，由36个特征维度表示；
(8)通过将拉伸层将卷积层Conv3输出的36个长度不等的特征图转换为一维向量，并将该向量输入到全连接层F1中，F1层包含134个神经元，最终输出134个特征，F2层有3神经元，对应3个光谱类别；
(9)将LReLU函数作为Conv1、Conv2、Conv3、F1、F2的激活函数，加快收敛速度，使梯度下降和反向传播更高效，选择Adam作为梯度下降优化器，分类交叉熵损失函数作为损失函数；
(10)将数据集训练集数设置为40，将训练批次大小设置为30，将训练批次设置为50，训练批次大小称为batch-size，将训练批次称为epochs；把原来的数据集打乱，取出打乱顺序后的batch-size个样本和对应的标签进行卷积神经网络的训练，每用batch-size个样本就调整一次权值；训练完成后把F1层得到的特征作为最终提取得到的特征向量，还有一维是对应样本索引。
本发明技术方案的进一步改进在于：所述原始数据的预处理包括：
通过荧光区域积分找到荧光光谱数据的特征区域，在特征区域内投将整个荧光区域划分为若干个单位区域，由于三维荧光光谱数据是离散数据，其单位区域的体积积分为
Figure BDA0003443796590000051
式中I(λEX,λEM)为在激发波长λEX、发射波长λEM处的荧光强度，ΔλEX为激发波长间隔，ΔλEM为发射波长间隔。
本发明技术方案的进一步改进在于：所述卷积层的基本卷积计算公式如下表示：
Figure BDA0003443796590000061
其中，*表示卷积运算，l代表当前卷积层，
Figure BDA0003443796590000062
为当前卷积层l输出的第j个特征图，ωij为卷积层l-1中第i个特征图上的第j组卷积核，
Figure BDA0003443796590000063
为l-1层第i个特征图，
Figure BDA0003443796590000064
为当前层第j组卷积核的偏置项，
Figure BDA0003443796590000065
为l-1层与l层间第j组卷积核运算输出的特征图数目，该卷积层共有K个特征图，激活函数运算以f()表示；卷积核内的值最初被随机设定，卷积运算的本质为卷积核内数值与局部感受野的数值加权求和，经过多次运算，卷积核内参数不断优化更新，最终趋于收敛。
本发明技术方案的进一步改进在于：所述池化层的运算表达式：
Figure BDA0003443796590000066
其中，down()表示采样过程；以l代表当前卷积层，
Figure BDA0003443796590000067
为当前池化层l输出的第j特征图；
Figure BDA0003443796590000068
为l-1层输出的第j特征图；
Figure BDA0003443796590000069
是乘性偏置项；
Figure BDA00034437965900000610
是加性偏置项；激活函数运算以f()表示。
本发明技术方案的进一步改进在于：所述全连接层的计算公式为：
hω,b(x)＝f(ωTx+b)
其中，hω,b为当前神经元的输出；x为输入神经网络的一维特征向量；ω为当前神经元连接的权值向量；b为偏置向量；f()代表激活函数。
本发明技术方案的进一步改进在于：所述LReLU函数作为激活函数，其计算公式如下：
Figure BDA0003443796590000071
由于采用了上述技术方案，本发明取得的技术进步是：
本发明根据光谱谱图的凹凸性找到主要特征区域光谱数据，在卷积层加入稀疏性约束提高网络提取性能，利用三层神经网络加三种尺度卷积核对光谱特征从不同层面和感受野进行特征提取，可以更好的找到原始数据中的特征信息。
首先在卷积神经网络的输入层做原始数据的预处理，通过特征区域积分找到重要光谱区域，减少了网络训练的时间和复杂度。
其次在每个卷积层输入前加入稀疏约束，提高特征提取的有效性。
LReLU函数激活函数将卷积之后的负值置零，重要的特征信息被不断加强，而不重要的信息被逐渐削弱。
附图说明
图1为卷积神经网络分析模型示意图；
图2为卷积计算过程示意图；
图3为最大池化和均值池化过程示意图；
图4为特征提取后分类效果对比图。
具体实施方式
下面结合实施例对本发明做进一步详细说明：
如图1至图4所示，本发明对原始荧光光谱数据中重要荧光信息不断进行放大和提取，提取出新的综合变量来反映原变量的大部分信息。
本技术先对原荧光光谱数据进行预处理，目的是在做卷积神经网络的输入前将不必要的信息去除掉，减少模型的输入和特征提取的时间，增加提取的效率和准确率。首先需要对原始三维荧光数据进行区域积分，找到光谱特征区域，特征区域内的光谱数据作为卷积神经网络的输入。卷积神经网络采用DeepSpectra模型，包含三个卷积层、一个拉伸层、一个全连接层和一个输出层。在每个卷积层前加入EPLS算法作为网络的稀疏约束，通过对输入数据的特征无监督学习，来对网络进行合理的参数设置，帮助DeepSpectra模型更好的获取光谱数据特征。
光谱数据预处理原理：
通过荧光区域积分找到荧光光谱数据的特征区域，在特征区域内投将整个荧光区域划分为若干个单位区域，由于三维荧光光谱数据是离散数据，其单位区域的体积积分为
Figure BDA0003443796590000081
式中I(λEX,λEM)为在激发波长λEX、发射波长λEM处的荧光强度，ΔλEX为激发波长间隔(取5nm)，ΔλEM为发射波长间隔(取5nm)。
卷积神经网络的DeepSpectra模型：
卷积神经网络可以通过稀疏连接和权值共享等特征从原始光谱中获取光谱特征，它是由输入层、隐藏层和输出层等多层神经元规律连接组成，如图1所示。其隐藏层通常由交替的卷积层和池化层加上全连接层构成，卷积层可以逐层提取输入信息中的多种局部特征，池化层将相邻的多个特征点合并，精简数据量、提高运算效率，全连接层可完成非线性分类任务。无论是卷积核还是全连接层，它的权重都不是人为决定的，而是通过大量的样本进行反向传播、学习出来的，我们不知道卷积层会卷积成什么样，也不知道每一个卷积层具体提取的是什么特征，但是通过大量的样本反向传播、梯度下降、迭代，自动学习到卷积核的权重和全连接层的权重，这正是卷积神经网络要训练的地方。
(1)卷积层：卷积层是CNN的核心算法模块，通常位于输入层之后，池化运算层之前，是卷积神经网络最重要的组成部分。卷积层的由一组参数可训练的滤波器组成，这些滤波器通常感知区域较小，也被称作卷积核。网络前向传播过程中，每个卷积核都会在输入数据上按一定方向滑动，并且对所覆盖区域执行卷积运算。基本卷积计算公式如下表示：
Figure BDA0003443796590000091
其中，*表示卷积运算，l代表当前卷积层，
Figure BDA0003443796590000092
为当前卷积层l输出的第j个特征图，ωij为卷积层l-1中第i个特征图上的第j组卷积核，
Figure BDA0003443796590000093
为l-1层第i个特征图，
Figure BDA0003443796590000094
为当前层第j组卷积核的偏置项，
Figure BDA0003443796590000095
为l-1层与l层间第j组卷积核运算输出的特征图数目，该卷积层共有K个特征图，激活函数运算以f()表示。卷积核内的值最初被随机设定，卷积运算的本质为卷积核内数值与局部感受野的数值加权求和，经过多次运算，卷积核内参数不断优化更新，最终趋于收敛。图2是一个简单的卷积运算示例，卷积核为3*3，滑动步长为1，得到的输出特征图。
(2)池化层：池化层通常位于卷积层之后，其功能是对卷积层运算生成的特征图采样，因此也可称为采样层。池化层的运算并未减少特征图的个数，而是减小了每个特征图的维度，缩减了数据量，可提升运算速度，增强神经网络模型鲁棒性。式(2-20)为池化层的一般运算表达式：
Figure BDA0003443796590000096
其中，down()表示采样过程；以l代表当前卷积层，
Figure BDA0003443796590000097
为当前池化层l输出的第j特征图；
Figure BDA0003443796590000098
为l-1层输出的第j特征图；
Figure BDA0003443796590000099
是乘性偏置项；
Figure BDA00034437965900000910
是加性偏置项；激活函数运算以f()表示。图3为最大池化核平均池化的运算过程。
(3)全连接层：经过卷积层和池化层的运算，神经网络在输入数据中提取到了起初无法直接获得的局部和全局特征。全连接层是一层或多层神经元组成，其中神经元通常与邻层所有神经元互相连接，它的作用是接收卷积和池化层的输出结果，对局部特征和全局特征分类。全连接层的计算公式为：
hω,b(x)＝f(ωTx+b)
其中，hω,b为当前神经元的输出；x为输入神经网络的一维特征向量；ω为当前神经元连接的权值向量；b为偏置向量；f()代表激活函数。
hω,b输入到softmax分类器中。hω,b的取值可以为正值或者负值，softmax分类器的作用是将hω,b归一化到0～1范围内。softmax的输出σ(hω,b)代表光谱属于每一个类别的概率。
对于卷积层以及全连接层，采用带泄露整流函数(Leaky rectified linearunit,LReLU)作为激活函数，其计算公式如下：
Figure BDA0003443796590000101
LReLU激活函数将卷积之后的负值置零，重要的特征信息被不断加强，而不重要的信息被逐渐削弱。
卷积神经网络的训练和优化依赖于损失函数，损失函数计算预测值和真实值之间的误差，通过反向传播算法将误差从最后一层反向传播至网络各层并更新权值。更新后的参数继续参与训练，循环往复，直到损失函数值达到最小，即达到了最终训练的目的。该模型采用交叉熵损失函数作为目标函数，同时为了防止模型产生过拟合，采用L2正则化方法，目标方程如下：
Figure BDA0003443796590000102
其中，N为训练样本总数，yn为样本的实际类别，
Figure BDA0003443796590000103
为样本的预测类别，λ为正则化系数，w为需要进行正则化的权重。
DeepSpectra模型共包括三个卷积层、一个拉伸层、两个全连接层。每个卷积层包括一个池化层，用来对每个特征进行降维，第二个全连接层可看作输出层，可以根据具体物质类别设置第二个全连接层的神经元个数，第一个全连接层为原始数据通过卷积和池化后得到的特征数据。
卷积神经网络系统中大规模训练样本具有冗余和稀疏的特点，稀疏性表现激活时间稀疏性和样本分布稀疏性。激活时间稀疏性描述了神经元的响应分布具有高丰度的特点，样本分布稀疏性描述了在任何时间下仅有很少的神经元单位处在激活态，这为输入数据提供了一个方便处理的表示形式。通过EPLS算法引入两种稀疏性约束，对输入的数据进行无监督学习。EPLS算法的具体步骤：
从网络层输出H构建稀疏矩阵T，设Hl,b是第l层网络的输出矩阵，由维度为Nh l的Nb输出向量构成，总样本数为N。设Tl,b是经过EPLS稀疏后得到的稀疏矩阵，维度与Hl,b相同，初始时Tl,b为全零，EPLS算法选取行向量h第j个元素hj，寻找出hj减去抑制因子aj后的向量中值最大的元素位置k作为激活位，这样可以保证样本分布稀疏性，抑制因子a的初始值是一个全零向量，维数与h相同，它可以计数某一位置被选取作为激活位置的次数，通过惩罚该位置来保证激活时间稀疏性。更新Tl,b矩阵中该位置的元素位1，同时更新抑制因子a。对所有行向量进行遍历得到原始数据的稀疏性表示Tl,b。
本技术具体实施步骤：
(1)将测量得到的三维光谱数据通过激发波长首尾相连的形式展成一行，保留完整波长点的光谱信息
(2)根据光谱区域激发波长和发射波长的间隔将光谱区域划分为若干个单位区域，单位区域阈值设定为单位区域最大积分值的三分之一，保留积分值大于阈值的光谱数据作为网络的输入层。
(3)卷积神经网络设置1个输入层，3个卷积层(Conv1、Conv2、Conv3)，2个全连接层(F1、F2)，1个拉伸层(Flatten)，每个卷积层中都包括1个池化层，采用的最大池化法，采样窗口宽度为2，以采样窗口内的最大值作为特征值。
(4)将步骤(2)的输出数据作为网络的输入，经过EPLS稀疏约束进行稀疏表示。
(5)稀疏表示的数据作为卷积层Conv1的输入，在Conv1中使用9个卷积核，3个卷积核的大小为3，作为小尺度特征提取，3个卷积核的大小为5，作为中尺度特征提取，3个卷积核的大小为8，作为大尺度特征提取，每个卷积核的步长为2，原始输入光谱的特征长度减小，由9个特征维度表示。Conv1从稀疏表示的含噪声的光谱数据中提取相关信息并去除噪声。
(6)Conv1的输出经过EPLS稀疏约束作为卷积层Conv2的输入，在Conv2中使用18个卷积核，6个卷积核的大小为3，作为小尺度特征提取，6个卷积核的大小为5，作为中尺度特征提取，6个卷积核的大小为8，作为大尺度特征提取，每个卷积核的步长为2。光谱数据的特征长度再次降低，由18个特征维度表示。Conv2学习到更复杂更抽象的特征。
(7)Conv2的输出经过EPLS稀疏约束作为卷积层Conv3的输入，在Conv3中使用36个卷积核，12个卷积核的大小为3，作为小尺度特征提取，12个卷积核的大小为5，作为中尺度特征提取，12个卷积核的大小为8，作为大尺度特征提取，每个卷积核的步长为2。光谱数据的特征长度再次降低，由36个特征维度表示。
(8)拉伸层将卷积层Conv3输出的36个长度不等的特征图转换为一维向量，并将该向量输入到全连接层F1中，F1层包含134个神经元，最终输出134个特征，F2层有3神经元，对应3个光谱类别。
(9)LReLU函数作为Conv1、Conv2、Conv3、F1、F2的激活函数，加快收敛速度，使梯度下降和反向传播更高效，选择Adam作为梯度下降优化器，分类交叉熵损失函数作为损失函数
(10)数据集训练集数为40，训练批次大小(batch-size)为30，训练批次(epochs)为50。把原来的数据集打乱，取出打乱顺序后的batch-size个样本和对应的标签进行卷积神经网络的训练，每用batch-size个样本就调整一次权值。训练完成后把F1层得到的特征作为最终提取得到的特征向量，还有一维是对应样本索引。
为验证特征提取效果，以抑食金球藻、细长聚球藻、小球藻荧光光谱为识别对象，分别经PCA、LLE、CNN进行特征提取后返回特征向量作为支持向量机分类模型的输入，比较分类效果，分类平均准确率如图4所示，分类平均准确率由显著提高。

Claims (7)

1.一种卷积神经网络荧光光谱特征提取方法，其特征在于：包括以下内容：
首先在卷积神经网络的输入层做原始数据的预处理，通过特征区域积分找到重要光谱区域；
其次卷积神经网络采用DeepSpectra模型，在增加网络深度的同时减少每个特征图的长度，在每个卷积层输入前加入EPLS算法作为网络的稀疏约束，提高特征提取的有效性，同时每个卷积层的卷积核采用大中小三个尺度进行特征提取，将融合后信息作为特征图来增强每层的提取效果。
2.根据权利要求1所述的一种卷积神经网络荧光光谱特征提取方法，其特征在于：包括以下步骤：
(1)将测量得到的三维光谱数据通过激发波长首尾相连的形式展成一行，保留完整波长点的光谱信息；
(2)根据光谱区域激发波长和发射波长的间隔将光谱区域划分为若干个单位区域，单位区域阈值设定为单位区域最大积分值的三分之一，保留积分值大于阈值的光谱数据作为网络的输入层；
(3)设置卷积神经网络包括1个输入层、3个卷积层，2个全连接层、1个拉伸层，每个卷积层中都包括1个池化层，采用的最大池化法，采样窗口宽度为2，以采样窗口内的最大值作为特征值；所述3个卷积层为Conv1、Conv2、Conv3，所述2个全连接层为F1、F2，所述1个拉伸层为Flatten；
(4)将步骤(2)的输出数据作为网络的输入，经过EPLS稀疏约束进行稀疏表示；
(5)将稀疏表示的数据作为卷积层Conv1的输入，在Conv1中使用9个卷积核，3个卷积核的大小为3，作为小尺度特征提取，3个卷积核的大小为5，作为中尺度特征提取，3个卷积核的大小为8，作为大尺度特征提取，每个卷积核的步长为2，原始输入光谱的特征长度减小，由9个特征维度表示；Conv1从稀疏表示的含噪声的光谱数据中提取相关信息并去除噪声；
(6)将Conv1的输出经过EPLS稀疏约束作为卷积层Conv2的输入，在Conv2中使用18个卷积核，6个卷积核的大小为3，作为小尺度特征提取，6个卷积核的大小为5，作为中尺度特征提取，6个卷积核的大小为8，作为大尺度特征提取，每个卷积核的步长为2；光谱数据的特征长度再次降低，由18个特征维度表示；Conv2学习到更复杂更抽象的特征；
(7)将Conv2的输出经过EPLS稀疏约束作为卷积层Conv3的输入，在Conv3中使用36个卷积核，12个卷积核的大小为3，作为小尺度特征提取，12个卷积核的大小为5，作为中尺度特征提取，12个卷积核的大小为8，作为大尺度特征提取，每个卷积核的步长为2；光谱数据的特征长度再次降低，由36个特征维度表示；
(8)通过拉伸层将卷积层Conv3输出的36个长度不等的特征图转换为一维向量，并将该向量输入到全连接层F1中，F1层包含134个神经元，最终输出134个特征，F2层有3神经元，对应3个光谱类别；
(9)将LReLU函数作为Conv1、Conv2、Conv3、F1、F2的激活函数，加快收敛速度，使梯度下降和反向传播更高效，选择Adam作为梯度下降优化器，分类交叉熵损失函数作为损失函数
(10)将数据集训练集数设置为40，将训练批次大小设置为30，将训练批次设置为50，训练批次大小称为batch-size，将训练批次称为epochs；把原来的数据集打乱，取出打乱顺序后的batch-size个样本和对应的标签进行卷积神经网络的训练，每用batch-size个样本就调整一次权值；训练完成后把F1层得到的特征作为最终提取得到的特征向量，还有一维是对应样本索引。
3.根据权利要求1所述的一种卷积神经网络荧光光谱特征提取方法，其特征在于：所述原始数据的预处理包括：
通过荧光区域积分找到荧光光谱数据的特征区域，在特征区域内投将整个荧光区域划分为若干个单位区域，由于三维荧光光谱数据是离散数据，其单位区域的体积积分为
Figure FDA0003443796580000031
式中I(λEX,λEM)为在激发波长λEX、发射波长λEM处的荧光强度，ΔλEX为激发波长间隔，ΔλEM为发射波长间隔。
4.根据权利要求2所述的一种卷积神经网络荧光光谱特征提取方法，其特征在于：所述卷积层的基本卷积计算公式如下表示：
Figure FDA0003443796580000032
其中，*表示卷积运算，l代表当前卷积层，
Figure FDA0003443796580000033
为当前卷积层l输出的第j个特征图，ωij为卷积层l-1中第i个特征图上的第j组卷积核，
Figure FDA0003443796580000034
为l-1层第i个特征图，
Figure FDA0003443796580000035
为当前层第j组卷积核的偏置项，
Figure FDA0003443796580000036
为l-1层与l层间第j组卷积核运算输出的特征图数目，该卷积层共有K个特征图，激活函数运算以f()表示；卷积核内的值最初被随机设定，卷积运算的本质为卷积核内数值与局部感受野的数值加权求和，经过多次运算，卷积核内参数不断优化更新，最终趋于收敛。
5.根据权利要求2所述的一种卷积神经网络荧光光谱特征提取方法，其特征在于：所述池化层的运算表达式：
Figure FDA0003443796580000037
其中，down()表示采样过程；以l代表当前卷积层，
Figure FDA0003443796580000038
为当前池化层l输出的第j特征图；
Figure FDA0003443796580000039
为l-1层输出的第j特征图；
Figure FDA00034437965800000310
是乘性偏置项；
Figure FDA00034437965800000311
是加性偏置项；激活函数运算以f()表示。
6.根据权利要求2所述的一种卷积神经网络荧光光谱特征提取方法，其特征在于：所述全连接层的计算公式为：
hω,b(x)＝f(ωTx+b)
其中，hω,b为当前神经元的输出；x为输入神经网络的一维特征向量；ω为当前神经元连接的权值向量；b为偏置向量；f()代表激活函数。
7.根据权利要求2所述的一种卷积神经网络荧光光谱特征提取方法，其特征在于：所述LReLU函数作为激活函数，其计算公式如下：
Figure FDA0003443796580000041
CN202111641007.8A 2021-12-29 2021-12-29 一种卷积神经网络荧光光谱特征提取方法 Pending CN114399642A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111641007.8A CN114399642A (zh) 2021-12-29 2021-12-29 一种卷积神经网络荧光光谱特征提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111641007.8A CN114399642A (zh) 2021-12-29 2021-12-29 一种卷积神经网络荧光光谱特征提取方法

Publications (1)

Publication Number Publication Date
CN114399642A true CN114399642A (zh) 2022-04-26

Family

ID=81229729

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111641007.8A Pending CN114399642A (zh) 2021-12-29 2021-12-29 一种卷积神经网络荧光光谱特征提取方法

Country Status (1)

Country Link
CN (1) CN114399642A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115836868A (zh) * 2022-11-25 2023-03-24 燕山大学 基于多尺度卷积核尺寸cnn的驾驶员疲劳状态识别方法
CN116978181A (zh) * 2023-09-20 2023-10-31 永林电子股份有限公司 一种兼具日常照明功能的led应急灯控制方法及其装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115836868A (zh) * 2022-11-25 2023-03-24 燕山大学 基于多尺度卷积核尺寸cnn的驾驶员疲劳状态识别方法
CN116978181A (zh) * 2023-09-20 2023-10-31 永林电子股份有限公司 一种兼具日常照明功能的led应急灯控制方法及其装置

Similar Documents

Publication Publication Date Title
Ghaderizadeh et al. Hyperspectral image classification using a hybrid 3D-2D convolutional neural networks
CN110728224B (zh) 一种基于注意力机制深度Contourlet网络的遥感图像分类方法
Wu et al. Application of image retrieval based on convolutional neural networks and Hu invariant moment algorithm in computer telecommunications
CN109919241B (zh) 基于概率模型和深度学习的高光谱未知类别目标检测方法
CN113392931B (zh) 基于自监督学习及多任务学习的高光谱开放集分类方法
Badawi et al. A hybrid memetic algorithm (genetic algorithm and great deluge local search) with back-propagation classifier for fish recognition
Khan et al. A new channel boosted convolutional neural network using transfer learning
CN114399642A (zh) 一种卷积神经网络荧光光谱特征提取方法
Albelwi et al. Automated optimal architecture of deep convolutional neural networks for image recognition
Yang et al. Underwater acoustic research trends with machine learning: general background
Verma et al. Prediction of students’ academic performance using Machine Learning Techniques
Yao et al. A review on image classification of remote sensing using deep learning
Sabih et al. Utilizing explainable AI for quantization and pruning of deep neural networks
Chen et al. Application of improved convolutional neural network in image classification
CN114937173A (zh) 一种基于动态图卷积网络的高光谱图像快速分类方法
Jang et al. Deep neural networks with a set of node-wise varying activation functions
CN114170154A (zh) 基于Transformer的遥感VHR图像变化检测方法
EP3888008A1 (en) Computer architecture for artificial image generation
CN110717374A (zh) 一种基于改进的多层感知机的高光谱遥感影像分类方法
Li et al. A concatenating framework of shortcut convolutional neural networks
CN115375941A (zh) 基于gat和3d-cnn的多特征融合高光谱图像分类方法
CN115691817A (zh) 一种基于融合神经网络的LncRNA-疾病关联预测方法
CN115423091A (zh) 一种条件对抗神经网络训练方法、场景生成方法和系统
CN115661498A (zh) 一种自优化单细胞聚类方法
CN115393631A (zh) 基于贝叶斯层图卷积神经网络的高光谱图像分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination