CN109883990A - 一种药用真菌近红外光谱分析方法 - Google Patents
一种药用真菌近红外光谱分析方法 Download PDFInfo
- Publication number
- CN109883990A CN109883990A CN201910148749.3A CN201910148749A CN109883990A CN 109883990 A CN109883990 A CN 109883990A CN 201910148749 A CN201910148749 A CN 201910148749A CN 109883990 A CN109883990 A CN 109883990A
- Authority
- CN
- China
- Prior art keywords
- vector
- input
- layer
- stage
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
本发明提供一种药用真菌近红外光谱分析方法,针对原始光谱数据进行完全自主的光谱预处理和特征波段提取的近红外光谱分析(ABRN),通过Attention模块实现对原始光谱进行增强特征波段,减弱噪声波段的自动预处理,然后使用残差神经网络对经Attention模块处理后的光谱数据进行特征提取和最终的含量预测。解决了在原始近红外光谱数据中大量噪声波段影响对特征波段选取准确性的问题,以及需要依赖专家经验进行人为的特征预处理而造成的一些微小特征的丢失,本发明针对原始近红外光谱无需人为干预,实现对原始近红外光谱中特征波段的自动提取以及活性成分含量的预测。
Description
技术领域
本发明提供一种药用真菌近红外光谱分析方法,用于中药材的有效成分的快速检测,属于中药材活性成分分析技术领域。
背景技术
药用真菌,如冬虫夏草,牛樟芝和松茸等,具有增强人体免疫力,抗肿瘤和抗癌的功效,药用真菌中的活性成分可用于广泛的临床治疗,并且这些成分可通过近红外光谱快速检测,近红外光谱(NIRS)是一种方便,快速,无侵入性的分析方法,已应用于药用真菌数据的定量分析。通过扫描样品的近红外光谱,可以记录分子中单个化学键的频率信息,由于NIRS的优势,研究人员可以快速准确地分析药用真菌中各种活性成分的含量,当前已有很多近红外光谱分析方法,如偏最小二乘法(PLS)和径向基函数神经网络(RBFNN)等,均显示出良好的预测精度和性能。如Meng Q F等人使用PLS方法通过采用最佳波长建立令人满意的NIRS校准模型;Kim G等人使用最大归一化预处理技术消除光谱中无关噪声;Lu J H等人使用基于小波变换预处理的RBFNN分析近红外光谱,同时移动窗口方法被用作为原始光谱数据输入RBFNN模型前的一个预处理步骤,通过使用度近似作为标准来选择特征波长变量;Jintao X等人使用人工神经网络(ANN)通过进行提取主要成分的预处理,对比了PLS和ANN,验证了ANN具有更优的非线性拟合性能;Liu T等人深度自动编码器(DAE),可以通过将高维数据转换为具有线性和非线性组合特征的低维码来从近红外光谱数据中提取有效特征。
目前面临的问题是由于近红外光谱数据维度高信息复杂的特点,在原始近红外光谱数据中存在大量的噪声波段,这会影响对特征波段选取的准确性,因此,当前近红外光谱方法需要对原始近红外光谱进行人为的特征选取预处理,这些预处理方法需要依赖专家的经验,这样会由于认为的因素而丢失原始光谱中一些微小但重要的特征峰。
发明内容
本发明提供了一种药用真菌近红外光谱分析方法,针对原始光谱数据进行完全自主的光谱预处理和特征波段提取的近红外光谱分析(ABRN),通过Attention模块实现对原始光谱进行增强特征波段,减弱噪声波段的自动预处理,然后使用残差神经网络对经Attention模块处理后的光谱数据进行特征提取和最终的含量预测。解决了在原始近红外光谱数据中大量噪声波段影响对特征波段选取准确性的问题,以及需要依赖专家经验进行人为的特征预处理而造成的一些微小特征的丢失,本发明针对原始近红外光谱无需人为干预,实现对原始近红外光谱中特征波段的自动提取以及活性成分含量的预测。
本发明公开的一种药用真菌近红外光谱分析方法,其技术解决方案如下:
1)数据源
采集、存储药用真菌的近红外光谱图,记录药用真菌内活性成分的含量值,并保存为excel表格形式作为实验数据集。
2)构建ABRN
ABRN主体分为两个部分,即Attention模块和残差网络,在传统残差网络的输入层之前,加入Attention模块进行对原始光谱数据的自动预处理,得到预处理后的数据直接作为残差网络的新输入。
a.Attention模块
Attention模块作为特征权重重新分配的自动预处理,由输入层,特征分布比例重分配层,相似度计算层以及矩阵变维层构成。
原始长序列光谱输入向量(XSD)定义为
(1)式中:XSD表示原始输入向量;
num表示样本的数量;
k表示样本序号;
将原始输入向量先输入至Attention模块的输入层中,然后通过特征分布比例重分配层中的softmax函数重新计算原始输入向量中各个特征所占比重,softmax函数如下所示:
(2)式中:i表示向量维度序号;
softmax表示归一化指数函数;
表示XSD经过softmax函数计算得到的输出。
将特征分布比例重分配层的输出与原始输入向量共同输入至相似度计算层,通过如下函数计算二者的相似度:
(3)式中:表示特征权重方阵;
i,j均表示向量维度序号;
n表示向量总维度;
exp表示以自然常数e为底的指数函数。
将特征权重方阵与XSD进行矩阵乘法操作,计算与XSD的每个维度相对应的特征权重重分配向量,如下所示:
(4)式中:表示重新分配权重后向量的第j维。
将Attention模块的自动预处理之后的特征增强噪声减弱的新向量,通过矩阵变维层将一维光谱向量转换为二维光谱矩阵,该矩阵作为Attention模块最终的输出。
b.残差网络
Attention模块的输出向量直接作为第二部分残差网络输入层的输入向量,残差网络主要由两种残差块组成,即identity块和convolution块。
残差网络共分为五个不同的阶段,每个阶段的输入均为前一阶段的输出,阶段1的输入即为Attention模块的输出:
阶段1是标准卷积层;
阶段2是一个convolution块后添加两个identity块;
阶段3是一个convolution块后添加三个identity块;
阶段4是一个convolution块后添加五个identity块;
阶段5与阶段2相同;
最后将阶段5的输出矩阵经过均值池化操作后,展开为一维向量输入至最后的全连接网络,进行最终的非线性预测,最终输出对药用真菌中活性成分的预测值。
本发明的积极效果在于:
本发明相对于现有技术,优势在于无需依赖专家经验对原始光谱数据进行人为的特征选取以及去除噪声的预处理,实现了完全自主的特征波段强化,噪声波段减弱的预处理,解决了由于经验不足等人为因素所导致的误差对原始近红外光谱特征提取以及活性成分含量预测的准确性。
附图说明:
图1为本发明整体结构流程图;
图2为本发明Attention模块结构图;
图3为本发明残差网络中identity块和convolution块的结构图;
图4为本发明牛樟芝样本(A)和松茸样本(B)的近红外光谱图。
具体实施方式:
通过以下实施例进一步举例描述本发明,并不以任何方式限制本发明,在不背离本发明的技术解决方案的前提下,对本发明所作的本领域普通技术人员容易实现的任何改动或改变都将落入本发明的权利要求范围之内。
实施例1
1)采集、存储165个牛樟芝样本和200个松茸样本的近红外光谱图,如图4所示,使用日本岛津UV-3150型紫外可见近红外分光光度计和日本岛津ISR-3100积分球附件对牛樟芝样本和松茸样本进行扫描,扫描波长范围为800-2500nm,光谱带密度为12nm,以硫酸钡对照品作为空白对照,光谱采样间隔为1nm,每个样品进行3次光谱扫描,最终取平均值最为样品的光谱数据,并使用化学试剂通过侵入式方法分别测量牛樟芝样本中多糖与三萜以及松茸样本中多糖与麦角固醇共4种活性成分的含量,并将这4组数据记录为excel表格形式作为实验数据集,对这4组数据集进行划分,每组数据集中随机选取该组总数量的80%作为训练集,剩余20%作为验证集。
2)构建ABRN,如图1所示,分别构建ABRN中Attention模块和残差网络,将Attention模块的输出结果直接输入至残差网络中进行特征波段提取,以及最终的活性成分含量预测,具体步骤如下:
a.Attention模块
定义165个牛樟芝样本的原始光谱输入向量和200个松茸样本的原始光谱输入向量为:
其中i表示向量维度序号,k表示样本序号。
将定义好的原始光谱输入向量矩阵输入至Attention模块的输入层中,如图2所示,先经过特征分布比例重分配层中的softmax函数重新计算原始输入向量中各个特征所占比重,然后将得到的输出与原始输入向量XSD共同输入至相似度计算层计算二者的相似度,计算公式如下:
其中表示特征权重方阵,i和j均表示向量维度序号,exp表示以自然常数e为底的指数函数;
然后将原始输入向量矩阵与特征权重方阵进行矩阵乘法和将维度为1764的光谱向量变维为44×44,得到Attention模块最终的输出,即已经将原始向量中特征波段强化,噪声波段减弱后的新的光谱向量:
b.残差网络
经过Attention模块自动预处理后,得到165×44×44的牛樟芝输入数据和200×44×44的松茸输入数据,输入至传统残差网络中,进行特征提取,实现对牛樟芝中多糖和三萜活性成分含量的预测和对松茸中多糖和麦角固醇活性成分含量的预测。
残差网络的优势在于其拥有identity块和convolution块,如图3所示,通过identity块和convolution块的组合能够对光谱向量中特征的提取更准确。
残差网络使用均方根误差RMSE作为损失函数,使用Adam优化算法,卷积核的大小设置为1×3,移动步长设为1,卷积核的初始权重是使用随机数进行初始化的,残差网络中各个超参数设置为:学习率lr=0.001,beta_1=0.9,beta_2=0.999,epsilon=1e-08,训练过程中的batch_size设置为10。
由于样本数量有限,为了防止模型在训练过程中发生过拟合,在网络中的每个卷积层后加入正则化层和dropout机制来防止。
最后通过计算相关系数来表示4组活性成分的预测值与真实值的拟合效果,用来评价模型的预测性能,公式如下:
其中ypre表示网络对牛樟芝样本中多糖与三萜活性成分含量的预测值,以及松茸样本中多糖与麦角固醇活性成分含量的预测值,ylabel表示牛樟芝样本中多糖与三萜活性成分含量的真实值,以及松茸样本中多糖与麦角固醇活性成分含量的真实值,mean表示计算平均值函数,R2表示活性成分的预测值与真实值之间的相关系数。
试验例1
为证明本发明的可靠性,将本发明与当前流行的三种近红外光谱分析方法,即偏最小二乘(PLS),径向基神经网络(RBFNN),残差网络(ResNet)进行了对比试验,分别用这三种方法与本发明方法对牛樟芝中多糖和三萜与松茸中多糖和麦角固醇4种活性成分的含量进行了预测,在4组对比试验中,都以训练集与测试集上的均方根误差,以及对牛樟芝中多糖和三萜活性成分含量与松茸中多糖和麦角固醇含量的预测值与真实值的拟合系数作为评价分析方法性能好坏的指标,结果如表1所示:
表1
RMSET表示训练集的均方根误差,RMSEV表示验证集的均方根误差,均方根误差越接近0,表明分析方法的预测值与真实值的偏差越小,表示预测值与真实值的拟合系数,系数越接近1,表明预测准确性越高。
结论:
表1的对比结果表明,在分析原始近红外光谱数据并预测牛樟芝样本中多糖与三萜活性成分含量和松茸样本中多糖与麦角固醇活性成分含量的四组实验中,本发明提出的ABRN方法表现出最优的性能,拥有最低的均方根误差和最高的预测值与真实值的拟合系数。
虽然在对比实验中,偏最小二乘(PLS),径向基神经网络(RBFNN),残差网络(ResNet)三种方法均先采用依赖专家经验的滑动窗口方式对原始近红外光谱数据进行人为的预处理,再将预处理后的近红外光谱数据输入至模型中进行活性成分含量的预测,但由于人为因素的影响,会错失一些微小但同样重要的特征波段,而这样的误差会直接影响模型对近红外光谱数据中特征信息提取的完整性,从而影响最终对活性成分含量预测的准确性。
而本发明的ABRN直接对原始近红外光谱数据进行分析,既能最大程度的保留原始光谱数据中的特征信息,解决现有方法存在的需依赖专家经验对原始光谱数据进行人为预处理而造成特征信息丢失的局限性问题,又能实现对原始光谱进行特征增强,噪声减弱的自动预处理,减少了人为因素的干扰和人力成本,由表1也可看出,本发明提出的ABRN在四组活性成分含量的预测实验中,均表现出最低的均方根误差和最高的预测准确性,而预测准确性由预测值与真实值之间的拟合系数决定,拟合系数越接近于1,表明预测准确性越高。
Claims (1)
1.一种药用真菌近红外光谱分析方法,包括以下步骤:
1)数据源
采集、存储药用真菌的近红外光谱图,记录药用真菌内活性成分的含量值,并保存为excel表格形式作为实验数据集;
2)构建ABRN
ABRN主体分为两个部分,即Attention模块和残差网络,在传统残差网络的输入层之前,加入Attention模块进行对原始光谱数据的自动预处理,得到预处理后的数据直接作为残差网络的新输入:
a.Attention模块
Attention模块作为特征权重重新分配的自动预处理,由输入层,特征分布比例重分配层,相似度计算层以及矩阵变维层构成;
原始长序列光谱输入向量(XSD)定义为:
(1)式中:XSD表示原始输入向量;
num表示样本的数量;
k表示样本序号;
将原始输入向量先输入至Attention模块的输入层中,然后通过特征分布比例重分配层中的softmax函数重新计算原始输入向量中各个特征所占比重,softmax函数如下所示:
(2)式中:i表示向量维度序号;
softmax表示归一化指数函数;
表示XSD经过softmax函数计算得到的输出;
将特征分布比例重分配层的输出与原始输入向量共同输入至相似度计算层,通过如下函数计算二者的相似度:
(3)式中:表示特征权重方阵;
i,j均表示向量维度序号;
n表示向量总维度;
exp表示以自然常数e为底的指数函数;
将特征权重方阵与XSD进行矩阵乘法操作,计算与XSD的每个维度相对应的特征权重重分配向量,如下所示:
(4)式中:表示重新分配权重后向量的第j维:
将Attention模块的自动预处理之后的特征增强噪声减弱的新向量,通过矩阵变维层将一维光谱向量转换为二维光谱矩阵,该矩阵作为Attention模块最终的输出;
b.残差网络
Attention模块的输出向量直接作为第二部分残差网络输入层的输入向量,残差网络主要由两种残差块组成,即identity块和convolution块:
残差网络共分为五个不同的阶段,每个阶段的输入均为前一阶段的输出,阶段1的输入即为Attention模块的输出:
阶段1是标准卷积层;
阶段2是一个convolution块后添加两个identity块;
阶段3是一个convolution块后添加三个identity块;
阶段4是一个convolution块后添加五个identity块;
阶段5与阶段2相同;
最后将阶段5的输出矩阵经过均值池化操作后,展开为一维向量输入至最后的全连接网络,进行最终的非线性预测,最终输出对药用真菌中活性成分的预测值。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910148749.3A CN109883990B (zh) | 2019-02-28 | 2019-02-28 | 一种药用真菌近红外光谱分析方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910148749.3A CN109883990B (zh) | 2019-02-28 | 2019-02-28 | 一种药用真菌近红外光谱分析方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109883990A true CN109883990A (zh) | 2019-06-14 |
CN109883990B CN109883990B (zh) | 2021-07-06 |
Family
ID=66929939
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910148749.3A Active CN109883990B (zh) | 2019-02-28 | 2019-02-28 | 一种药用真菌近红外光谱分析方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109883990B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110208211A (zh) * | 2019-07-03 | 2019-09-06 | 南京林业大学 | 一种用于农药残留检测的近红外光谱降噪方法 |
CN113420815A (zh) * | 2021-06-24 | 2021-09-21 | 江苏师范大学 | 半监督rsdae的非线性pls间歇过程监测方法 |
CN114062305A (zh) * | 2021-10-15 | 2022-02-18 | 中国科学院合肥物质科学研究院 | 基于近红外光谱和1D-In-Resnet网络的单籽粒品种鉴定方法及系统 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105158200A (zh) * | 2015-07-16 | 2015-12-16 | 天津工业大学 | 一种提高近红外光谱定性分析准确度的建模方法 |
CN104237158B (zh) * | 2014-09-04 | 2016-07-27 | 浙江科技学院 | 一种具有普适性的近红外光谱定性分析方法 |
CN108319972A (zh) * | 2018-01-18 | 2018-07-24 | 南京师范大学 | 一种针对图像语义分割的端到端差异网络学习方法 |
CN108510488A (zh) * | 2018-03-30 | 2018-09-07 | 安徽理工大学 | 基于残差网络的输送带四种损伤检测方法 |
CN108875787A (zh) * | 2018-05-23 | 2018-11-23 | 北京市商汤科技开发有限公司 | 一种图像识别方法及装置、计算机设备和存储介质 |
CN108875913A (zh) * | 2018-05-30 | 2018-11-23 | 江苏大学 | 一种基于卷积神经网络的松茸快速无损检测系统及方法 |
CN108921814A (zh) * | 2018-05-16 | 2018-11-30 | 华南农业大学 | 一种基于深度学习的柑橘黄龙病在线快速检测系统及方法 |
-
2019
- 2019-02-28 CN CN201910148749.3A patent/CN109883990B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104237158B (zh) * | 2014-09-04 | 2016-07-27 | 浙江科技学院 | 一种具有普适性的近红外光谱定性分析方法 |
CN105158200A (zh) * | 2015-07-16 | 2015-12-16 | 天津工业大学 | 一种提高近红外光谱定性分析准确度的建模方法 |
CN108319972A (zh) * | 2018-01-18 | 2018-07-24 | 南京师范大学 | 一种针对图像语义分割的端到端差异网络学习方法 |
CN108510488A (zh) * | 2018-03-30 | 2018-09-07 | 安徽理工大学 | 基于残差网络的输送带四种损伤检测方法 |
CN108921814A (zh) * | 2018-05-16 | 2018-11-30 | 华南农业大学 | 一种基于深度学习的柑橘黄龙病在线快速检测系统及方法 |
CN108875787A (zh) * | 2018-05-23 | 2018-11-23 | 北京市商汤科技开发有限公司 | 一种图像识别方法及装置、计算机设备和存储介质 |
CN108875913A (zh) * | 2018-05-30 | 2018-11-23 | 江苏大学 | 一种基于卷积神经网络的松茸快速无损检测系统及方法 |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110208211A (zh) * | 2019-07-03 | 2019-09-06 | 南京林业大学 | 一种用于农药残留检测的近红外光谱降噪方法 |
CN110208211B (zh) * | 2019-07-03 | 2021-10-22 | 南京林业大学 | 一种用于农药残留检测的近红外光谱降噪方法 |
CN113420815A (zh) * | 2021-06-24 | 2021-09-21 | 江苏师范大学 | 半监督rsdae的非线性pls间歇过程监测方法 |
CN113420815B (zh) * | 2021-06-24 | 2024-04-30 | 江苏师范大学 | 半监督rsdae的非线性pls间歇过程监测方法 |
CN114062305A (zh) * | 2021-10-15 | 2022-02-18 | 中国科学院合肥物质科学研究院 | 基于近红外光谱和1D-In-Resnet网络的单籽粒品种鉴定方法及系统 |
CN114062305B (zh) * | 2021-10-15 | 2024-01-26 | 中国科学院合肥物质科学研究院 | 基于近红外光谱和1D-In-Resnet网络的单籽粒品种鉴定方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN109883990B (zh) | 2021-07-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109883990A (zh) | 一种药用真菌近红外光谱分析方法 | |
CN107219188B (zh) | 一种基于改进dbn的近红外光谱分析纺织品棉含量的方法 | |
CN104020135B (zh) | 基于近红外光谱的校正模型建模方法 | |
CN110068544B (zh) | 物质识别网络模型训练方法及太赫兹光谱物质识别方法 | |
CN109858477A (zh) | 用深度森林在复杂环境中识别目标物的拉曼光谱分析方法 | |
CN107679569A (zh) | 基于自适应超图算法的拉曼光谱物质自动识别方法 | |
CN109472287A (zh) | 基于二维Gabor小波的三维荧光光谱特征提取方法 | |
CN113420795B (zh) | 一种基于空洞卷积神经网络的矿物光谱分类方法 | |
CN107121407A (zh) | 基于pso‑ricaelm的近红外光谱分析鉴别翠冠梨成熟度的方法 | |
CN110208211B (zh) | 一种用于农药残留检测的近红外光谱降噪方法 | |
Bittencourt et al. | Feature selection by using classification and regression trees (CART) | |
CN108344701A (zh) | 基于高光谱技术的石蜡等级定性分类与定量回归方法 | |
Yu et al. | LSCA-net: A lightweight spectral convolution attention network for hyperspectral image processing | |
Huang et al. | Attention based residual network for medicinal fungi near infrared spectroscopy analysis | |
CN116312860B (zh) | 基于监督迁移学习的农产品可溶性固形物预测方法 | |
CN111104876A (zh) | 一种基于神经网络的红外光谱反卷积方法 | |
CN113640244B (zh) | 一种基于可见近红外光谱的果树品种鉴别方法 | |
CN105844297A (zh) | 基于局部空间信息的封装式高光谱波段选择方法 | |
CN115982349A (zh) | 一种基于改进tf-idf的客户用电安全智能分类方法 | |
CN114742091A (zh) | 基于卷积块注意力的雷达个体辐射识别方法、系统及介质 | |
Wang et al. | Convolutional neural networks of whole jujube fruits prediction model based on multi-spectral imaging method | |
CN114119984A (zh) | 基于一维卷积神经网络的纤维成分分类方法 | |
CN113177488A (zh) | 基于最佳指数波段组合的高光谱图像波段选择方法 | |
Wan et al. | BO-densenet: A bilinear one-dimensional densenet network based on multi-scale feature fusion for wood NIR classification | |
CN110378373B (zh) | 一种模糊非相关线性鉴别分析的茶叶品种分类方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |