CN114692773A - 基于drs-vgg的端到端深度学习拉曼光谱数据分类方法 - Google Patents
基于drs-vgg的端到端深度学习拉曼光谱数据分类方法 Download PDFInfo
- Publication number
- CN114692773A CN114692773A CN202210368912.9A CN202210368912A CN114692773A CN 114692773 A CN114692773 A CN 114692773A CN 202210368912 A CN202210368912 A CN 202210368912A CN 114692773 A CN114692773 A CN 114692773A
- Authority
- CN
- China
- Prior art keywords
- deep
- vgg
- raman spectrum
- deep learning
- spectrum data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013135 deep learning Methods 0.000 title claims abstract description 78
- 238000001237 Raman spectrum Methods 0.000 title claims abstract description 72
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000013145 classification model Methods 0.000 claims abstract description 46
- 238000012549 training Methods 0.000 claims abstract description 41
- 238000012360 testing method Methods 0.000 claims abstract description 27
- 238000012795 verification Methods 0.000 claims abstract description 18
- 238000001228 spectrum Methods 0.000 claims abstract description 13
- 238000012545 processing Methods 0.000 claims abstract description 11
- 230000006870 function Effects 0.000 claims description 36
- 230000004913 activation Effects 0.000 claims description 20
- 238000011176 pooling Methods 0.000 claims description 15
- 238000011156 evaluation Methods 0.000 claims description 11
- 230000003595 spectral effect Effects 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 9
- 238000001069 Raman spectroscopy Methods 0.000 claims description 8
- 238000009827 uniform distribution Methods 0.000 claims description 8
- 238000013507 mapping Methods 0.000 claims description 5
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 150000001875 compounds Chemical class 0.000 claims description 3
- 238000009826 distribution Methods 0.000 claims description 3
- 230000007246 mechanism Effects 0.000 claims description 3
- 238000013527 convolutional neural network Methods 0.000 claims description 2
- 238000010200 validation analysis Methods 0.000 claims 1
- 238000007781 pre-processing Methods 0.000 abstract description 9
- 238000012937 correction Methods 0.000 abstract description 3
- 238000010801 machine learning Methods 0.000 description 13
- 238000004422 calculation algorithm Methods 0.000 description 9
- 238000013136 deep learning model Methods 0.000 description 6
- 238000012706 support-vector machine Methods 0.000 description 6
- 238000007637 random forest analysis Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 238000007477 logistic regression Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000004451 qualitative analysis Methods 0.000 description 2
- 238000004445 quantitative analysis Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000001066 destructive effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000013213 extrapolation Methods 0.000 description 1
- 239000007789 gas Substances 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 235000003642 hunger Nutrition 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 229910052500 inorganic mineral Inorganic materials 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000011707 mineral Substances 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000011056 performance test Methods 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000037351 starvation Effects 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
- 238000001845 vibrational spectrum Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Probability & Statistics with Applications (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
Abstract
本发明公开一种基于Deep Residual Shrinkage‑VGG的端到端深度学习的分类方法，包括：获取拉曼光谱数据，进行一阶样条插值处理且补零，随机打乱后划分成训练集、验证集和测试集；构建一个基于Deep ResidualShrinkage‑VGG的端到端深度学习的分类模型；使用训练集训练该分类模型，使用验证集对模型的超参数进行调整；使用测试集测试该性能。本发明提出的方法，无需光谱数据校正预处理，适用于高噪声、小样本、超多分类的拉曼光谱数据，提高了拉曼光谱数据分类问题的正确率与适用性，在一定程度上改善了深层深度学习网络模型的训练过慢的问题。
Description
技术领域
本发明涉及拉曼光谱数据分类领域，具体涉及一种基于Deep ResidualShrinkage-VGG的端到端深度学习拉曼光谱数据分类方法。
背景技术
拉曼光谱是一种振动光谱，在分析科学领域中为我们提供了一种具有快速、灵敏、非接触性、非破坏性特点的检测方法，它通过材料对入射光源中产生的拉曼散射进行材料的结构分析。拉曼光谱适用于不同温度下气体、液体、固体的定性定量分析，因此，在医疗领域、食品科学领域、法医学领域、地质学领域实现了广泛应用。
拉曼光谱信号中包含的信息是分析的关键。由于拉曼信号容易受到荧光过程、材料密度、环境噪声、外部光源的影响，光谱会出现基线漂移的现象和受到噪声信号的干扰，噪声信号强度可比拉曼散射高出几个数量级，严重影响光谱的分析。由于这些限制因素的存在，传统的拉曼光谱分析过程通常需要通过去噪、平滑、基线消除、归一化等数据预处理。许多传统的机器学习方法已经被应用于对目标物的定性定量分析。支持向量机(SupportVector Machine，SVM)、K近邻(K-Nearest Neighbor，KNN)、随机森林(Random Forest，RF)、逻辑斯蒂回归(Logistic Regression，LR)算法是几种简单有效的分类器，然而这些算法容易在小样本、类不均衡、高噪声数据的场景上出现过拟合的问题，且无法构造无需预处理的端到端的数据分类模型。
近年来，深度学习算法也逐渐被应用到光谱数据的自动化分析方面，它的目的在于用抽象的方法不断从低级特征向量中提取重要特征。相比之下，深度学习算法是更为优异的选择方案，它在光谱识别的任务中拥有着如下两大优点：(1)不仅能识别相关特征，还能学习识别模式和知识。(2)相比于机器学习算法拥有更良好的分类结果。就总体而言，目前拉曼光谱识别研究过渡依赖于特征工程，注重采用数据增强手段实现识别正确率的提升，较少考虑模型性能与训练时间成本之间的权衡。我们认为构造一种能够自动处理数据、训练速度快、精度高的端到端分类模型是解析和理解光谱信息不可缺少的手段。
发明内容
本发明的目的在于，提出一种基于DRS(Deep Residual Shrinkage)-VGG的端到端深度学习拉曼光谱数据分类方法，利用深度学习方法取代了传统的通过预处理的方案，实现了富含干扰信息的多类别的拉曼光谱数据的识别，且达到了深度学习网络模型性能与训练时间成本之间的权衡。
本发明的技术方案为：
一种基于Deep Residual Shrinkage-VGG的端到端深度学习拉曼光谱数据分类方法，包括以下步骤：
步骤1，获取拉曼光谱数据，进行一阶样条插值处理，将超出原光谱波数范围的插值点补零，将处理后的拉曼光谱数据随机打乱后划分成训练集、验证集和测试集；
步骤2，构建一个基于Deep Residual Shrinkage-VGG的端到端深度学习的分类模型；
步骤3，使用训练集训练基于Deep Residual Shrinkage-VGG的端到端深度学习的分类模型，使用验证集对模型的超参数进行调整，初步评估模型的性能；
步骤4，使用测试集测试基于Deep Residual Shrinkage-VGG的端到端深度学习的分类模型性能。
步骤1中，获取拉曼光谱数据，进行一阶样条插值处理，具体包括：采用式(1)对拉曼光谱数据进行一阶样条插值处理，由于采样条件不同，各样本不处于同一波数范围，需要通过插值处理使得数据尺寸达到一致。由指定波数值求得对应光谱强度值，使得每个拉曼光谱在指定波数范围内均匀采样：
式中，xi-1和xi+1为插值前的某个分段区间左右端点拉曼光谱数据波数值；yi-1和yi+1为插值前的该分段区间左右端点拉曼光谱数据强度值；Xi为该区间插值后的拉曼光谱数据波数值；Yi为该区间插值后的拉曼光谱数据强度值；
将超出原光谱波数范围的插值点补零，具体包括：若给定插值区间大于原拉曼光谱数据的波数范围，在原拉曼光谱数据的波数范围内进行一阶样条插值后，在超出在原拉曼光谱数据的波数范围用数值0补齐范围外插值数据的强度值；
将处理后的拉曼光谱数据随机打乱后划分成训练集、验证集和测试集，具体包括：将随机打乱后的拉曼光谱数据的30％划分为测试集，在划分过程中将数据按原数据集中各标签的比例传递，使得样本分布相同；采取同样的划分策略，将剩下数据的80％划分为训练集，将剩下数据的20％划分为验证集。
步骤2中，构建一个基于Deep Residual Shrinkage-VGG的端到端深度学习的分类模型，具体包括：
构建的基于Deep Residual Shrinkage-VGG的端到端深度学习的分类模型依次由两个卷积模块、三个DRS模块、两个全连接模块和Softmax输出层构成；
卷积模块依次由卷积层、ReLU激活函数、卷积层、ReLU激活函数、最大池化层连接构成；
DRS模块由卷积层、ReLU激活函数、全局平均池化层、全连接层、批标准化层、Sigmoid激活函数、最大池化层相组合构成；模块的主体是四个依次连接的卷积层，在主体的不同阶段加入了两个分支；在一分支中加入了恒等映射，在参数反向传播的过程中使得梯度可以更加有效地流回上层以减轻卷积神经网络的训练难度；在另一分支中借助了注意力机制来自动实现了特征的软阈值化，它的主要功能是将绝对值小于某个阈值的特征消除为0，同时其它的特征也向着0进行调整，表示为：
式中，
代表了软阈值化后的第i个通道的第j个强度值；zij代表未经处理前第i个通道的第j个强度值；λi代表经过全局平均池化层后第i个强度值；wi代表经过Sigmoid激活函数后的第i个强度值，它代表了的λi权重，λi与wi的相乘代表了每一层通道所对应的阈值；
将DRS模块的输出展开作为全连接层的输入；全连接模块依次由全连接层、批标准化层、ReLU激活函数、丢弃率为0.5的Dropout层连接构成；
将全连接模块的输出作为Softmax输出层的输入，通过Sotfmax输出层获得概率分布形式的分类预测结果。
DRS-VGG中DRS的含义为深度残差收缩(Deep Residual Shrinkage)，这意味着整个模型具有较深的结构，收缩并不意味着像金字塔般的网络结构，而是意味着主体模块可以不断提炼并保留信号中包含的重要信息。
步骤3中，使用训练集训练基于Deep Residual Shrinkage-VGG的端到端深度学习的分类模型，使用验证集对模型的超参数进行调整，初步评估模型的性能，具体包括：
1)按照一维数据尺寸设置输入层的输入大小，使得数据依次经过分类模型的各层；
2)使用he_uniform按照均匀分布赋值卷积层的权重，权重的初始化情况如下所示：
式中，Wi,j代表某个卷积层第i个卷积核的第j个权重；U代表均匀分布；nin代表权值张量中的输入单位的数量；Wi,j从
中的均匀分布中抽取数值；
3)使用Adam优化器对步骤2中构建的基于Deep Residual Shrinkage-VGG的端到端深度学习的分类模型进行训练，使用交叉熵损失函数，交叉熵损失函数表达式为：
式中，L为模型输入数据与输出数据的损失误差值总和；Li为样本i的损失误差值；N为输入数据拉曼光谱总数；M为输入数据类别总数；yic为取值为0或1的符号函数，若样本i的真实类别等于c则取1，否则取0；pic为观测样本i属于类别c的预测概率；
4)将训练集中的样本作为输入，并划分为合适的多个批次batch_size，设置合适的学习率训练基于Deep Residual Shrinkage-VGG的端到端深度学习的分类模型，使得损失函数收敛；
5)使用验证集评估训练的基于Deep Residual Shrinkage-VGG的端到端深度学习的分类模型的误差和分类准确率，从而进行模型调参，保存最优的基于Deep ResidualShrinkage-VGG的端到端深度学习的分类模型。
步骤4中，使用测试集测试基于Deep Residual Shrinkage-VGG的端到端深度学习的分类模型性能，具体包括：
使用测试集对步骤3中保存的基于Deep Residual Shrinkage-VGG的端到端深度学习的分类模型的性能进行测试，采用正确率、准确率、召回率、F1分数、GFLOPs、早停时间、可训练参数作为基于Deep Residual Shrinkage-VGG的端到端深度学习的分类模型的评价指标。
与现有技术相比，本发明具有如下优点：
本发明提出的一种基于Deep Residual Shrinkage-VGG的端到端深度学习的分类方法与现有的机器学习与深度学习方法相比，完成了拉曼光谱数据端到端的识别，在无需预处理的情况下，提高了拉曼光谱数据超多分类问题的准确率，且实现了模型性能与训练时间成本之间的权衡。本发明基于Deep Residual Shrinkage-VGG的端到端深度学习的分类模型在较深的网络结构中通过恒等映射和DRS模块的加入无视了特征之间的差异性，通过特征复用加快了模型的学习速度，解决了复杂深度学习模型计算复杂度大，训练时间长，容易在训练过程中出现梯度异常的问题。
本发明提出的一种基于Deep Residual Shrinkage-VGG的端到端深度学习拉曼光谱数据分类方法，无需光谱数据校正预处理，适用于高噪声、小样本、超多分类的拉曼光谱数据，提高了拉曼光谱数据分类问题的正确率与适用性，在一定程度上改善了深层深度学习网络模型的训练过慢的问题。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例共同用于解释本发明，并不构成对本发明的限制。在附图中：
图1是本发明实施例中基于Deep Residual Shrinkage-VGG的端到端深度学习的分类方法的流程图。
图2是DRS模块结构图。
图3是卷积模块结构图。
图4是全连接模块结构图。
具体实施方式
以下将结合附图及实施例来详细说明本发明的实施方式，借此对本发明如何应用技术手段来解决技术问题，并达成技术效果的实现过程能充分理解并据此实施。
如图1～4所示，一种基于Deep Residual Shrinkage-VGG的端到端深度学习的拉曼光谱数据分类方法，包括以下步骤：
步骤1，获取拉曼光谱数据，进行一阶样条插值处理，将超出原光谱波数范围的插值点补零，将处理后的拉曼光谱数据随机打乱后划分成训练集、验证集和测试集。
由于采样条件不同，各样本不处于同一波数范围，需要通过插值处理使得数据尺寸达到一致。采用式(1)对拉曼光谱数据进行一阶样条插值处理，从50cm-1到1650cm-1波数范围内以1cm-1为间隔均匀插值，得到1601个与波数对应的强度值，一阶样条插值方法如下所示：
式中，xi-1和xi+1为插值前的某个分段区间左右端点拉曼光谱数据波数值；yi-1和yi+1为插值前的该分段区间左右端点拉曼光谱数据强度值；Xi为该区间插值后的拉曼光谱数据波数值；Yi为该区间插值后的拉曼光谱数据强度值。
将超出在原拉曼光谱数据的波数范围的强度值用数值0补齐。
将处理后的拉曼光谱数据随机打乱后划分成训练集、验证集和测试集，具体包括：将随机打乱后的拉曼光谱数据的30％划分为测试集，在划分过程中将数据按原数据集中各标签的比例传递，使得样本分布相同；采取同样的划分策略，将剩下数据的80％划分为训练集，将剩下数据的20％划分为验证集。
步骤2，构建一个基于Deep Residual Shrinkage-VGG的端到端深度学习的分类模型。
构建的基于Deep Residual Shrinkage-VGG的端到端深度学习的分类模型依次由两个卷积模块、三个DRS模块、两个全连接模块和Softmax输出层构成。
卷积模块依次由卷积层、ReLU激活函数、卷积层、ReLU激活函数、最大池化层连接构成。
第一个卷积模块内卷积层的通道数为64，卷积核尺寸为3，步长为1。第二个卷积模块内卷积层的通道数为128，卷积核尺寸为3，步长为1。卷积模块内最大池化层的核大小为2，步长为2。
DRS模块由卷积层、ReLU激活函数、全局平均池化层、全连接层、批标准化层、Sigmoid激活函数、最大池化层相组合构成。模块的主体是四个依次连接的通道数为128、核尺寸为3、步长为1的一维卷积层，每个卷积层后面都连接了ReLU激活函数。卷积层的在主体的不同阶段加入了两个分支。在一分支中加入了恒等映射；在另一分支中借助了注意力机制来自动实现了特征的软阈值化。它的主要功能是将绝对值小于某个阈值的特征消除为0，同时其它的特征也向着0进行调整，表示为：
式中，
代表了软阈值化后的第i个通道的第j个强度值；zij代表未经处理前第i个通道的第j个强度值；λi代表经过全局平均池化层后第i个强度值；wi代表经过Sigmoid激活函数后的第i个强度值，它代表了的λi权重，λi与wi的相乘代表了每一层通道所对应的阈值。
λ是经过取绝对值处理的全局平均池化层的一个输出。w是Sigmoid激活函数后的输出，它可以看做是每一层通道的重要性系数。z是第四个卷积层的输出。τi为第i个通道的阈值，用于消除冗余信息，它是λ和w的点乘结果的第i个值。
将软阈值化后的输出
与DRS模块的输入相加并经过核大小为2、步长为2的最大池化层得到DRS模块的输出。
将DRS模块的输出展开作为全连接层的输入，全连接模块依次由全连接层、批标准化层、ReLU激活函数、丢弃率为0.5的Dropout层连接构成。
将全连接模块的输出作为Softmax输出层的输入，通过Sotfmax输出层获得概率分布形式的分类预测结果。
步骤3，使用训练集训练基于Deep Residual Shrinkage-VGG的端到端深度学习的分类模型，使用验证集对模型的超参数进行调整，初步评估模型的性能。
1)按照一维数据尺寸设置输入层的输入大小为(1601,1)，使得数据依次经过分类模型的各层。
2)使用he_uniform按照均匀分布赋值卷积层的权重，权重的初始化情况如下所示：
式中，Wi,j代表某个卷积层第i个卷积核的第j个权重；nin代表权值张量中的输入单位的数量；Wi,j从
中的均匀分布中抽取数值。
3)使用Adam优化器对步骤2中构建的基于Deep Residual Shrinkage-VGG的端到端深度学习的分类模型进行训练，使用交叉熵损失函数，交叉熵损失函数表达式为：
式中，L为模型输入数据与输出数据的损失误差值总和；Li为样本i的损失误差值；N为输入数据拉曼光谱总数；M为输入数据类别总数；yic为取值为0或1的符号函数，若样本i的真实类别等于c则取1，否则取0；pic为观测样本i属于类别c的预测概率。
4)将训练集中的样本作为输入，划分的batch_size为64，设置学习率为0.0001，训练基于Deep Residual Shrinkage-VGG的端到端深度学习的分类模型，使得损失函数收敛。
5)使用验证集评估训练的基于Deep Residual Shrinkage-VGG的端到端深度学习的分类模型的误差和分类准确率，从而进行模型调参，保存最优的基于Deep ResidualShrinkage-VGG的端到端深度学习的分类模型。
步骤4，使用测试集测试基于Deep Residual Shrinkage-VGG的端到端深度学习的分类模型性能。
使用测试集对步骤3中保存的基于Deep Residual Shrinkage-VGG的端到端深度学习的分类模型的性能进行测试。
选择RRUFF数据库的Unrated_oriented和Unrated_unoriented子集中样本数从6到50的光谱样本，共计包含了343类矿物的5618个拉曼光谱样本。就数据集整体而言，类别数多，样本分布不均衡且大量标签样本数过少。就数据集样本个体而言，特征维度大，且数据未经预处理，富含噪声，强度范围广，基线漂移现象明显。
通过对选择的数据集的性能测试探究基于Deep Residual Shrinkage-VGG的端到端深度学习的分类模型在高噪声不标准、超多分类、小样本问题的突破之处。
本发明方法与应用于拉曼光谱数据分类的传统机器学习方法和在该领域所采用的深度学习模型进行了性能对比。
采用正确率、准确率、召回率、F1分数作为机器学习方法的评价指标。采用正确率、准确率、召回率、F1分数、早停时间、GFLOPs、可训练参数作为深度学习模型的评价指标。
采取的传统机器学习方法包括：支持向量机(SVM)、K近邻(KNN)、随机森林(RF)、逻辑斯蒂回归(LR)算法。
其中支持向量机算法选用线性核函数，惩罚系数C＝250。K近邻算法的k取1。在支持向量机和随机森林预测之前先将数据进行N＝100的主成分分析的降维。
选取应用于拉曼光谱识别的领域的LeNet-5、VGG-19、DeepSpectra、ResidualSpectra模型作为深度学习模型的对比代表。
为减少随机性对结果公平性的影响，将每组实验重复100次。
本发明方法与其他机器学习方法分类性能的评价结果如表1所示。
表1本发明方法与其它机器学习方法分类性能的评价结果
本方法与其他机器学习相比显现出了卓越的分类性能，各项评价指标都远优异于传统的机器学习方法。就平均正确率而言分别比各机器学习模型高35.52％，35.02％，21.18％，54.46％。巨大的性能差异说明传统的机器学习方法不适用于高噪声、不标准的拉曼光谱数据。传统的机器学习方法只能拟合经过去噪、基线校正、标准化等预处理手段处理后的拉曼光谱数据。
本发明方法与其它深度学习方法分类性能的评价结果如表2所示。早停时间代表了模型完成收敛所需要的训练时间，单位为秒。Floating point operations(FLOPs)为浮点运算数，可理解为计算量，1GFLOPs代表10亿次浮点运算。可训练参数的单位为百万。
表2本发明方法与其它深度学习方法分类性能的评价结果
深度学习模型为数据饥饿模型，训练集中单标签样本数目与样本总数影响着分类的结果，且模型结构与分类结果密切相关。本发明方法与其它深度学习方法分类性能的评价结果表明本方法对正样本的预测精确率较高，误分类现象不突出，可靠性高。
由表2可得，在本数据集的分类情景下，计算复杂度小的深度学习模型分类正确率低，由于模型深度较浅而无法从过多干扰中提取有效特征，对关键特征峰的识别模糊，导致召回率较低，意味着分类性能较差。
此外，本方法与VGG-19都表现出了在不标准数据集上提取良好特征的能力，两者都可以从复杂的光谱中分离干扰信息。但是由GFLOPs、可训练参数、早停时间的对比可得，VGG-19模型计算复杂度更大，所需训练时间更长。
通过模型结构对比和性能评价结果分析可证明Deep Residual Shrinkage-VGG的端到端深度学习的分类模型具有如下特点：
1)较深的网络结构能够无视特征之间的差异性，无需特征变量处于相同比较尺度，因此可以适用于未经数值标准化的数据。
2)在Deep Residual Shrinkage-VGG的DRS模块中，恒等映射可以无损地传播梯度，避免了由堆叠深层结构而引起的梯度异常的问题，特征复用加快了模型的学习速度。
3)自动生成参数的软阈值层嵌入于DRS模块中，弱化了不重要的特征，消除冗余信息而无需专业知识，使得部分特征的梯度为0，从而提取出具有更强的判断能力的深层特征，使得分类任务不受去噪等预处理的限制。
4)与现有技术相比，Deep Residual Shrinkage-VGG在拉曼光谱多分类任务上同时拥有了良好的精度与速度，计算并行度高，鲁棒性强。
本方法将拉曼光谱数据特点与深度学习网络结构相结合匹配，利用深度学习方法取代了传统的通过预处理的方案，实现了富含干扰信息的拉曼光谱数据的识别。
Claims (7)
1.一种基于Deep Residual Shrinkage-VGG的端到端深度学习拉曼光谱数据分类方法，包括以下步骤：
步骤1，获取拉曼光谱数据，进行一阶样条插值处理，将超出原光谱波数范围的插值点补零，将处理后的拉曼光谱数据随机打乱后划分成训练集、验证集和测试集；
步骤2，构建一个基于Deep Residual Shrinkage-VGG的端到端深度学习的分类模型；
步骤3，使用训练集训练基于Deep Residual Shrinkage-VGG的端到端深度学习的分类模型，使用验证集对模型的超参数进行调整，初步评估模型的性能；
步骤4，使用测试集测试基于Deep Residual Shrinkage-VGG的端到端深度学习的分类模型性能。
2.根据权利要求1所述的基于Deep Residual Shrinkage-VGG的端到端深度学习的拉曼光谱数据分类方法，其特征在于，步骤1中，进行一阶样条插值处理，具体包括：
采用式(1)对拉曼光谱数据进行一阶样条插值处理，由指定波数值求得对应光谱强度值，使得每个拉曼光谱在指定波数范围内均匀采样：
式中，xi-1和xi+1为插值前的某个分段区间左右端点拉曼光谱数据波数值；yi-1和yi+1为插值前的该分段区间左右端点拉曼光谱数据强度值；Xi为该区间插值后的拉曼光谱数据波数值；Yi为该区间插值后的拉曼光谱数据强度值。
3.根据权利要求1所述的基于Deep Residual Shrinkage-VGG的端到端深度学习的拉曼光谱数据分类方法，其特征在于，步骤1中，将超出原光谱波数范围的插值点补零，具体包括：
若给定插值区间大于原拉曼光谱数据的波数范围，在原拉曼光谱数据的波数范围内进行一阶样条插值后，在超出在原拉曼光谱数据的波数范围用数值0补齐范围外插值数据的强度值。
4.根据权利要求1所述的基于Deep Residual Shrinkage-VGG的端到端深度学习的拉曼光谱数据分类方法，其特征在于，步骤1中，将处理后的拉曼光谱数据随机打乱后划分成训练集、验证集和测试集，具体包括：
将随机打乱后的拉曼光谱数据的30％划分为测试集，在划分过程中将数据按原数据集中各标签的比例传递，使得样本分布相同；采取同样的划分策略，将剩下数据的80％划分为训练集，将剩下数据的20％划分为验证集。
5.根据权利要求1所述的基于Deep Residual Shrinkage-VGG的端到端深度学习的拉曼光谱数据分类方法，其特征在于，步骤2中，构建一个基于Deep Residual Shrinkage-VGG的端到端深度学习的分类模型，具体包括：
构建的基于Deep Residual Shrinkage-VGG的端到端深度学习的分类模型依次由两个卷积模块、三个DRS模块、两个全连接模块和Softmax输出层构成；
卷积模块依次由卷积层、ReLU激活函数、卷积层、ReLU激活函数、最大池化层连接构成；
DRS模块由卷积层、ReLU激活函数、全局平均池化层、全连接层、批标准化层、Sigmoid激活函数、最大池化层相组合构成；DRS模块的主体是四个依次连接的卷积层，在主体的不同阶段加入了两个分支，在一分支中加入了恒等映射，在参数反向传播的过程中使得梯度可以更加有效地流回上层以减轻卷积神经网络的训练难度，在另一分支中借助了注意力机制来自动实现了特征的软阈值化，它的主要功能是将绝对值小于某个阈值的特征消除为0，同时其它的特征也向着0进行调整，表示为：
式中，
代表了软阈值化后的第i个通道的第j个强度值；zij代表未经处理前第i个通道的第j个强度值；λi代表经过全局平均池化层后第i个强度值；wi代表经过Sigmoid激活函数后的第i个强度值，它代表了的λi权重，λi与wi的相乘代表了每一层通道所对应的阈值；
将DRS模块的输出展开作为全连接层的输入，全连接模块依次由全连接层、批标准化层、ReLU激活函数、丢弃率为0.5的Dropout层连接构成；
将全连接模块的输出作为Softmax输出层的输入，通过Sotfmax输出层获得概率分布形式的分类预测结果。
6.根据权利要求1所述的基于Deep Residual Shrinkage-VGG的端到端深度学习的拉曼光谱数据分类方法，其特征在于，步骤3中，使用训练集训练基于Deep ResidualShrinkage-VGG的端到端深度学习的分类模型，使用验证集对模型的超参数进行调整，初步评估模型的性能，具体包括：
3.1)按照一维数据尺寸设置输入层的输入大小，使得数据依次经过分类模型的各层；
3.2)使用he_uniform按照均匀分布赋值卷积层的权重，权重的初始化情况如下所示：
式中，Wi,j代表某个卷积层第i个卷积核的第j个权重；U代表均匀分布；nin代表权值张量中的输入单位的数量；Wi,j从
中的均匀分布中抽取数值；
3.3)使用Adam优化器对步骤2中构建的基于Deep Residual Shrinkage-VGG的端到端深度学习的分类模型进行训练，使用交叉熵损失函数，交叉熵损失函数表达式为：
式中，L为模型输入数据与输出数据的损失误差值总和；Li为样本i的损失误差值；N为输入数据拉曼光谱总数；M为输入数据类别总数；yic为取值为0或1的符号函数，若样本i的真实类别等于c则取1，否则取0；pic为观测样本i属于类别c的预测概率；
3.4)将训练集中的样本作为输入，并划分为合适的多个批次batch_size，设置合适的学习率训练基于Deep Residual Shrinkage-VGG的端到端深度学习的分类模型，使得损失函数收敛；
3.5)使用验证集评估训练的基于Deep Residual Shrinkage-VGG的端到端深度学习的分类模型的误差和分类准确率，从而进行模型调参，保存最优的基于Deep ResidualShrinkage-VGG的端到端深度学习的分类模型。
7.根据权利要求1所述的基于Deep Residual Shrinkage-VGG的端到端深度学习的分类模型，其特征在于，步骤4中，使用测试集测试基于Deep Residual Shrinkage-VGG的端到端深度学习的分类模型性能，具体包括：
使用测试集对步骤3中保存的基于Deep Residual Shrinkage-VGG的端到端深度学习的分类模型的性能进行测试，采用正确率、准确率、召回率、F1分数、GFLOPs、早停时间、可训练参数作为基于Deep Residual Shrinkage-VGG的端到端深度学习的分类模型的评价指标。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210368912.9A CN114692773B (zh) | 2022-04-08 | 基于drs-vgg的端到端深度学习拉曼光谱数据分类方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210368912.9A CN114692773B (zh) | 2022-04-08 | 基于drs-vgg的端到端深度学习拉曼光谱数据分类方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114692773A true CN114692773A (zh) | 2022-07-01 |
| CN114692773B CN114692773B (zh) | 2024-10-18 |
Family
ID=
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117290669A (zh) * | 2023-11-24 | 2023-12-26 | 之江实验室 | 基于深度学习的光纤温度传感信号降噪方法、装置和介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109858477A (zh) * | 2019-02-01 | 2019-06-07 | 厦门大学 | 用深度森林在复杂环境中识别目标物的拉曼光谱分析方法 |
| WO2020073737A1 (zh) * | 2018-10-10 | 2020-04-16 | 浙江大学 | 一种基于深度学习的定量光谱数据分析处理方法 |
| CN113095188A (zh) * | 2021-04-01 | 2021-07-09 | 山东捷讯通信技术有限公司 | 一种基于深度学习的拉曼光谱数据分析方法与装置 |
| CN113947117A (zh) * | 2021-10-08 | 2022-01-18 | 南京航空航天大学 | 一种用于拉曼光谱学的基于多项式重建算法的cnn迁移学习方法 |
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020073737A1 (zh) * | 2018-10-10 | 2020-04-16 | 浙江大学 | 一种基于深度学习的定量光谱数据分析处理方法 |
| CN109858477A (zh) * | 2019-02-01 | 2019-06-07 | 厦门大学 | 用深度森林在复杂环境中识别目标物的拉曼光谱分析方法 |
| CN113095188A (zh) * | 2021-04-01 | 2021-07-09 | 山东捷讯通信技术有限公司 | 一种基于深度学习的拉曼光谱数据分析方法与装置 |
| CN113947117A (zh) * | 2021-10-08 | 2022-01-18 | 南京航空航天大学 | 一种用于拉曼光谱学的基于多项式重建算法的cnn迁移学习方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117290669A (zh) * | 2023-11-24 | 2023-12-26 | 之江实验室 | 基于深度学习的光纤温度传感信号降噪方法、装置和介质 |
| CN117290669B (zh) * | 2023-11-24 | 2024-02-06 | 之江实验室 | 基于深度学习的光纤温度传感信号降噪方法、装置和介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Aydadenta et al. | A clustering approach for feature selection in microarray data classification using random forest | |
| Feng et al. | Convolutional neural network based on bandwise-independent convolution and hard thresholding for hyperspectral band selection | |
| Chauhan et al. | An efficient data mining classification approach for detecting lung cancer disease | |
| CN116153495A (zh) | 一种食管癌患者免疫治疗预后生存预测方法 | |
| CN110455512B (zh) | 基于深度自编码器dae的旋转机械多集成故障诊断方法 | |
| CN108681742B (zh) | 用于分析司机驾驶行为对车辆能耗敏感性的分析方法 | |
| CN111738309A (zh) | 多尺度分析和集成学习的气敏传感器故障模式识别方法 | |
| CN114564982A (zh) | 雷达信号调制类型的自动识别方法 | |
| Gohar et al. | Terrorist group prediction using data classification | |
| CN115563610A (zh) | 入侵检测模型的训练方法、识别方法和装置 | |
| Mendigoria et al. | Vision-based postharvest analysis of musa acuminata using feature-based machine learning and deep transfer networks | |
| Dhiman et al. | Citrus fruits classification and evaluation using deep convolution neural networks: an input layer resizing approach | |
| CN115186798A (zh) | 基于知识蒸馏的再生tsk模糊分类器 | |
| Wu et al. | A CS-AdaBoost-BP model for product quality inspection | |
| Singh et al. | Apple Disease Classification Built on Deep Learning | |
| CN117078960A (zh) | 一种基于图像特征提取的近红外光谱分析方法及系统 | |
| CN114692773A (zh) | 基于drs-vgg的端到端深度学习拉曼光谱数据分类方法 | |
| Xiao et al. | Health assessment for piston pump using LSTM neural network | |
| CN114692773B (zh) | 基于drs-vgg的端到端深度学习拉曼光谱数据分类方法 | |
| Al-Alimi et al. | FHIC: Fast hyperspectral image classification model using ETR dimensionality reduction and ELU activation function | |
| CN112052881B (zh) | 基于多尺度近端特征拼接的高光谱图像分类模型的装置 | |
| Rahadiyan et al. | Classification of chili plant condition based on color and texture features | |
| Bai et al. | Microarray cancer classification using feature extraction-based ensemble learning method | |
| CN115618215B (zh) | 一种基于形态学智能计算的复杂电磁环境分级方法 | |
| Muhali et al. | A Comparison of Keras Application Models with Pre-Trained Weights in Predicting the Disease of Lanzones Leaf |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |