CN112858208A - 基于红外光谱主成分和神经网络的生物质钾含量测量与建模方法 - Google Patents

基于红外光谱主成分和神经网络的生物质钾含量测量与建模方法 Download PDF

Info

Publication number
CN112858208A
CN112858208A CN201911182407.XA CN201911182407A CN112858208A CN 112858208 A CN112858208 A CN 112858208A CN 201911182407 A CN201911182407 A CN 201911182407A CN 112858208 A CN112858208 A CN 112858208A
Authority
CN
China
Prior art keywords
data
biomass
potassium content
neural network
infrared spectrum
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911182407.XA
Other languages
English (en)
Inventor
王晓东
刘长瑞
吕海洋
王风启
董长青
张俊姣
梁慧
胡笑颖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NATIONAL BIO ENERGY GROUP CO LTD
North China Electric Power University
Original Assignee
NATIONAL BIO ENERGY GROUP CO LTD
North China Electric Power University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NATIONAL BIO ENERGY GROUP CO LTD, North China Electric Power University filed Critical NATIONAL BIO ENERGY GROUP CO LTD
Priority to CN201911182407.XA priority Critical patent/CN112858208A/zh
Publication of CN112858208A publication Critical patent/CN112858208A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G01N21/35Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
    • G01N21/3563Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light for analysing solids; Preparation of samples therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

本发明公开了一种基于红外光谱主成分和神经网络的生物质钾含量测量与建模方法,主要包括以下步骤:(1)生物质红外光谱数据的获取及预处理;(2)记录红外光谱数据采集时的环境状态参数;(3)依据国家或行业标准测得生物质样本的钾含量测量值数据;(4)对红外光谱数据和钾含量测量值做两两相关性计算;(5)采用主成分分析的方法对数据降维;(6)以主成分数据和环境状态参数为输入,钾含量测量值为输出,建立神经网络模型,使用训练集进行训练至误差小于0.1%;(7)输入验证集数据,模型计算获得钾含量数据,与测量值数据比较,得出预测偏差。该方法无需破碎或接触生物质,是一种可以实现在线测量、充分考虑测量环境影响、非接触式快速测量方法。

Description

基于红外光谱主成分和神经网络的生物质钾含量测量与建模 方法
技术领域
本发明属于生物质和大数据分析技术领域,涉及一种高效、精确的生物质钾含量测量方法。
背景技术
生物质(biomass)狭义上认为是农林业种植、生产过程中产生的秸秆、树木、废弃物等等,因此广泛存在于农田、森林、城市绿化等地。其储量巨大且自身可作为能源用于发电或提取高附加值化合物。
物质的钾元素含量的现有检测方法多为氧化水解的方法,中华人民共和国国家标准GB/T 30725—2014中指出,其测量原理为:样品在经过氢氟酸、高氯酸分解,在盐酸介质中,加入稀释剂镧或锶消除铝、钛等对测量的干扰。这些方法虽然较准确,但因其需要温度较高、时间较长,且操作非常复杂、无法在线测量,因此需要探索其他更简便的方法。
发明专利CN201610972123.0公开了一种油砂中钾元素含量的近红外光谱测量方法,其采用的方法为将油砂样品的红外光谱数据与油砂中的钾元素含量建立相关性关系并依据偏最小二乘回归的方法进行建模。此种方法所得到的预测准确度仅为83%左右,且仅对环境中温度的因素做了考量,对湿度、测量距离等状态参数未进行考虑,因此在多种不同环境中进行在线测量,其测量的准确度也受其影响。
基于已有技术对不同物质进行红外分析的检测方法的缺点,本发明的基于红外光谱主成分和神经网络的生物质钾含量测量与建模方法是一种可以实现在线测量、充分考虑测量环境影响、非接触式快速测量方法,应用可更广泛、误差更小。
发明内容
为了满足快速低成本测量需求,弥补现有方法的不足,本发明基于红外光谱主成分和神经网络的生物质钾含量测量与建模方法提供了一种可以实现在线测量、充分考虑测量环境影响、非接触式快速测量方法。
为实现所述发明目的,本发明包含以下特征:
基于红外光谱主成分和神经网络的生物质钾含量测量与建模方法,其主要包括红外光谱测量、生物质钾含量测量、状态参数测量、主成分分析以及BP神经网络建模方法。
方法包含以下步骤:
(1)生物质样本数据的获取:针对生物质样本,采用红外分析仪测量红外光谱数据,并对数据进行去燥、平滑等处理,同时记录红外光谱数据采集时的环境温度、压力、红外传感器探头距离样品的距离、环境光强等状态参数数据;依据标准(如国家标准GB/T30725—2014)测量方法,对生物质钾含量进行检测,获得生物质钾含量测量值数据;
(2)样本集的划分:采用随机分类的方法,将所得样本数据的20%~80%作为训练集,其余样本数据作为验证集;
(3)相关性分析:采用皮尔逊公式对步骤(1)得到的生物质红外光谱数据和生物质钾含量测量值进行两两相关性计算,来确定所选取的红外光谱数据和钾含量测量值之间的相关性,剔除无关数据;
(4)主成分分析:将步骤(3)得到的剔除完无关变量的红外光谱数据进行降维处理,得到综合变量,即筛选后的主成分;
(5)神经网络模型的建立和训练:将步骤(4)得到的主成分数据和步骤(1)得到的红外数据采集时的环境状态参数作为神经网络的输入参数,对应的钾含量测量值数据作为输出参数,建立BP神经网络模型;并采用训练集数据对BP神经网络模型进行优化训练,当误差小于等于0.1%时,模型优化训练完成;
(6)验证及完成建模:采用验证集数据作为步骤(5)训练完成的神经网络模型输入,计算输出值,将输出值和测量值进行对比,通过比对平均相对误差评判预测模型和结果的准确性。
上述所述生物质,为农林业种植、生产过程中产生的秸秆、树木、废弃物等等,包括玉米秆、玉米芯、小麦秆、木块、木屑、树枝、家具废料、树皮、稻壳等不同种类。
上述步骤(1)所述的钾含量测量方法为标准(如:国家标准GB/T 30725—2014)中的氧化-水解方法,即在氧气和水蒸气氛围中,高温燃烧使钾元素溶解于水中,再检测水中钾离子含量,最后转化成总钾元素含量。采用其他国家或行业标准测量的钾含量数据也可采用。
上述步骤步骤(1)中对生物质进行红外测量的光谱范围为760nm~3000nm,也可高于3000nm。
上述步骤(4)中的主成分分析包括对矩阵进行标准化处理、求取相关系数矩阵及特征值,求取贡献率,贡献率大于等于80%,则选定为主成分。
本发明的有益效果包括:
1、技术适用范围较广,覆盖大部分生物质,适用范围广;
2、采用主成分分析的方法,基于贡献率选取与钾含量测量值更相关的主成分,对原始数据进行降维操作,降低了复杂性;
3、BP神经网络没有对主导因子预测的功能,主成分分析弥补了这部分的缺憾,利用神经网络建立的预测模型对生物质钾含量进行参数预测,将预测值和真实值进行对比,通过比对平均相对误差评判预测模型和结果的准确性;
4、方法中生物质不用特殊处理,同时引入了红外光谱数据测量时的环境温度、压力、红外传感器探头距离样品的距离、环境光强等环境状态参数,步骤更简单、预测更精准、应用更广泛,且可以实现在线测量。
附图说明
图1为本发明的流程图。
具体实施方式
下面以实施案例的方式对发明内容进行进一步地、较为完整的说明,本发明包括但不限于以下的案例。
实施例:
(1)生物质样本数据的获取:选取100组生物质样本,对其进行红外数据的测量,获取40000组红外数据,对其进行平滑、去噪等处理;同时记录红外光谱数据采集时的环境温度、压力、红外传感器探头距离样品的距离、环境光强等状态参数数据;依据标准(国家标准GB/T 30725—2014)测量方法,测量对应生物质的钾含量,记录钾含量测量值数据。
(2)样本集的划分:步骤(1)得到的40000组样本数据采用随机分类的方法,分为20000组的训练集数据和20000组的验证集数据。训练集用于神经网络的建模及优化训练,验证集用于检验神经网络的相对误差和准确性检验。
(3)相关性分析:采用皮尔逊相关性计算公式对红外光谱数据和钾含量测量值进行两两相关性计算,得到相关系数,确定所选取的红外光谱数据对生物质钾含量的影响作用。主要包含以下内容:
a.生物质红外光谱数据用向量X表示,即X1,X2……,Xn,每一个Xi对应p个值,即每一组生物质对应p个红外数据,最终得到矩阵X:
Figure BDA0002291620630000031
b.生物质碳含量测量值用Y表示。利用皮尔逊相关系数公式计算矩阵X、Y的相关系数矩阵Xy。
c.得到的相关系数矩阵Xy中每个值均会处于[-1,1]区间,等于0说明该波段对应红外数据与碳含量无关,大于0说明是正相关,小于0说明是负相关。将无关的红外数据剔除,最终得到一个新的剔除无关数据的矩阵Xc:
Figure BDA0002291620630000032
显然z≤p。每个成分可用Si1,Si2…,Siz表示。
(4)主成分分析:对步骤(3)中得到的Xc矩阵进行标准化处理,得到标准化矩阵Xs,求取Xs的相关系数矩阵C,求取C矩阵的特征向量v和特征值λ。采用贡献率公式R=每个成分的特征向量/特征向量之和。选取成分贡献率R≥80%的成分作为主成分。主成分矩阵M:
Figure BDA0002291620630000041
显然m≤z。每个主成分可用Mi1,Mi2…,Mim表示。
(5)BP神经网络模型的建立及训练:以步骤(4)得到的主成分矩阵M和生物质红外光谱数据测量时的环境参数为输入参数,以对应的生物质钾含量测量值Y为输出参数,建立神经网络模型;使用步骤(2)中随机分类的20000组训练集数据进行优化训练,系统设定误差设置为0.1%,当网络达到这个设定的误差后停止训练,获得标准化的预测模型。。
(6)验证及完成建模:选取步骤(2)的20000组验证集数据引入神经网络模型,得出预测结果,与对应的含钾量测量值数据进行比较,通过对比平均相对误差评判预测模型的准确度。
以上实施案例仅用于详细说明本发明,而本发明并不限制于此。

Claims (7)

1.基于红外光谱主成分和神经网络的生物质钾含量测量与建模方法,其特征在于包含以下步骤:
(1)生物质样本数据的获取:包括生物质的红外光谱数据的获取和平滑去噪等预处理;红外光谱数据采集时的环境温度、压力、红外传感器探头距离样品的距离、环境光强等状态参数数据的获取及预处理;依据标准(如:国家标准GB/T 30725—2014)的高温水解-电位滴定法测量生物质的钾含量,记录钾含量测量值数据;
(2)样本集的划分:采用随机分类的方法,将所得样本数据的20%~80%作为训练集,其余样本数据作为验证集;
(3)相关性和主成分分析:通过相关性计算公式对生物质样本红外光谱数据和钾含量测量值进行两两相关性计算,得到相关系数;采用主成分分析的方法对相关的红外光谱数据做降维处理,获得累积贡献率高于80%的主成分表达式和相关数值;
(4)BP神经网络的建立和训练:以步骤(3)获取的主成分数据和步骤(1)获取的红外分析仪所处环境状态参数为输入参数,步骤(1)获取的生物质钾含量测量值为输出参数,建立BP神经网络模型,并采用训练集数据对BP神经网络模型进行优化训练,当误差小于0.1%时,完成优化训练过程;
(5)验证及完成建模:输入验证集生物质的红外数据和红外分析仪状态参数,通过神经网络计算获得输出的钾含量数据,将该数据与钾含量测量值的数据比较,得出预测偏差。
2.根据权利要求1所述基于红外光谱主成分和神经网络的生物质钾含量测量与建模方法,其特征在于:所述生物质包括秸秆、木材、家具废料、树皮、稻壳等不同种类的生物质。
3.根据权利要求1所述基于红外光谱主成分和神经网络的生物质钾含量测量与建模方法,其特征在于:采用主成分分析方法考虑了不同波长数据的影响作用,进行数据降维处理,降低了计算量;采用红外分析仪所处环境状态参数直接作为神经网络输入,充分考虑了环境变化对测量准确性的影响作用,结果更加准确可靠,适用范围更加广阔。
4.根据权利要求1所述基于红外光谱主成分和神经网络的生物质钾含量测量与建模方法,其特征在于:步骤1(1)所述红外光谱的波长范围为700nm~3000nm;。
5.根据权利要求1所述基于红外光谱主成分和神经网络的生物质钾含量测量与建模方法,其特征在于:步骤1(2)所述的训练集用于BP神经网络模型的搭建和训练,验证集用于检验神经网络的相对误差和准确性检验。
6.根据权利要求1所述基于红外光谱主成分和神经网络的生物质钾含量测量与建模方法,其特征在于:步骤1(5)利用神经网络建立的预测模型对生物质含钾量进行参数预测,将预测值和钾含量测量值进行对比,通过比对相对误差评判预测模型和结果的准确性。
7.根据权利要求1-6任意一项所述的基于红外光谱主成分和神经网络的生物质钾含量测量与建模方法在生物质和大数据分析等领域的应用均属本专利权利保护范畴。
CN201911182407.XA 2019-11-27 2019-11-27 基于红外光谱主成分和神经网络的生物质钾含量测量与建模方法 Pending CN112858208A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911182407.XA CN112858208A (zh) 2019-11-27 2019-11-27 基于红外光谱主成分和神经网络的生物质钾含量测量与建模方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911182407.XA CN112858208A (zh) 2019-11-27 2019-11-27 基于红外光谱主成分和神经网络的生物质钾含量测量与建模方法

Publications (1)

Publication Number Publication Date
CN112858208A true CN112858208A (zh) 2021-05-28

Family

ID=75985432

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911182407.XA Pending CN112858208A (zh) 2019-11-27 2019-11-27 基于红外光谱主成分和神经网络的生物质钾含量测量与建模方法

Country Status (1)

Country Link
CN (1) CN112858208A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114414648A (zh) * 2022-03-29 2022-04-29 联泰集群(北京)科技有限责任公司 一种基于机器学习的自动电位滴定方法及系统
CN116735444A (zh) * 2023-06-08 2023-09-12 深圳市中科云驰环境科技有限公司 基于红外散射光谱的水体悬浮物浓度检测方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130266959A1 (en) * 2010-10-12 2013-10-10 Deutsches Rheuma-Forschungszentrum Berlin Principle component analysis (pca) - based analysis of discontinuous emission spectra in multichromatic flow cytometry
CN107655850A (zh) * 2016-07-25 2018-02-02 上海创和亿电子科技发展有限公司 基于近红外光谱的非线性建模方法及系统
CN107677647A (zh) * 2017-09-25 2018-02-09 重庆邮电大学 基于主成分分析和bp神经网络的中药材产地鉴别方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130266959A1 (en) * 2010-10-12 2013-10-10 Deutsches Rheuma-Forschungszentrum Berlin Principle component analysis (pca) - based analysis of discontinuous emission spectra in multichromatic flow cytometry
CN107655850A (zh) * 2016-07-25 2018-02-02 上海创和亿电子科技发展有限公司 基于近红外光谱的非线性建模方法及系统
CN107677647A (zh) * 2017-09-25 2018-02-09 重庆邮电大学 基于主成分分析和bp神经网络的中药材产地鉴别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
张瑶: "基于光谱技术的农林环境关键参数信息获取研究", 《中国优秀博硕士学位论文全文数据库(博士) 农业科技辑》 *
程旭云: "生物质秸秆热化工特性的NIRS分析方法与热值模型构建", 《中国优秀博硕士学位论文全文数据库(硕士) 农业科技辑》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114414648A (zh) * 2022-03-29 2022-04-29 联泰集群(北京)科技有限责任公司 一种基于机器学习的自动电位滴定方法及系统
CN116735444A (zh) * 2023-06-08 2023-09-12 深圳市中科云驰环境科技有限公司 基于红外散射光谱的水体悬浮物浓度检测方法及装置
CN116735444B (zh) * 2023-06-08 2024-04-02 深圳市中科云驰环境科技有限公司 基于红外散射光谱的水体悬浮物浓度检测方法及装置

Similar Documents

Publication Publication Date Title
CN109187392B (zh) 一种基于分区建模的锌液痕量金属离子浓度预测方法
CN101520412A (zh) 基于独立分量分析和遗传神经网络的近红外光谱分析方法
CN111537845A (zh) 基于拉曼光谱聚类分析的油纸绝缘设备老化状态识别方法
CN112858208A (zh) 基于红外光谱主成分和神经网络的生物质钾含量测量与建模方法
CN110779875B (zh) 一种基于高光谱技术检测冬小麦麦穗水分含量的方法
CN105334185A (zh) 基于光谱投影判别的近红外模型维护方法
CN113758890A (zh) 一种气体浓度计算方法、装置、设备及存储介质
WO2020248961A1 (zh) 一种无参考值的光谱波数选择方法
CN117312968A (zh) 一种盐碱农田土壤有机质含量的预测方法
CN107290299B (zh) 一种实时无损检测桃的糖度和酸度的方法
CN104316492A (zh) 近红外光谱测定马铃薯块茎中蛋白质含量的方法
CN112651173B (zh) 一种基于跨域光谱信息的农产品品质无损检测方法及可泛化系统
CN112861299A (zh) 基于红外光谱主成分和神经网络的生物质氯含量测量与建模方法
CN112861414A (zh) 基于红外光谱主成分和神经网络的生物质碳含量测量与建模方法
Nkansah et al. Determination of concentration of ACQ wood preservative components by UV-Visible spectroscopy coupled with multivariate data analysis
CN115828114A (zh) 一种铝型材挤压机能耗异常检测方法
赵娟 et al. Comparative analysis of harvest maturity model for Fuji apple based on visible/near spectral nondestructive detection
CN112966817A (zh) 基于红外光谱主成分和神经网络的生物质氧含量测量与建模方法
CN112858205A (zh) 基于红外光谱主成分和神经网络的生物质氢含量测量与建模方法
CN112858209A (zh) 基于红外光谱主成分和神经网络的生物质氮含量测量与建模方法
CN112861411A (zh) 基于近红外光谱主成分和神经网络的生物质钠含量测量与建模方法
CN114414524A (zh) 快速检测航空煤油性质的方法
CN112861413A (zh) 基于近红外光谱主成分和神经网络的生物质水含量测量与建模方法
CN113418889A (zh) 一种基于深度学习的干菜水分含量和菌落总数的实时检测方法
CN112861415A (zh) 基于近红外光谱主成分和神经网络的生物质灰分含量测量与建模方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210528

RJ01 Rejection of invention patent application after publication