CN112861414A - 基于红外光谱主成分和神经网络的生物质碳含量测量与建模方法 - Google Patents

基于红外光谱主成分和神经网络的生物质碳含量测量与建模方法 Download PDF

Info

Publication number
CN112861414A
CN112861414A CN201911181236.9A CN201911181236A CN112861414A CN 112861414 A CN112861414 A CN 112861414A CN 201911181236 A CN201911181236 A CN 201911181236A CN 112861414 A CN112861414 A CN 112861414A
Authority
CN
China
Prior art keywords
data
carbon content
biomass
neural network
infrared spectrum
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911181236.9A
Other languages
English (en)
Inventor
董长青
朱恒
胡笑颖
张俊姣
王孝强
赵莹
薛俊杰
郑宗明
张旭明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NATIONAL BIO ENERGY GROUP CO LTD
North China Electric Power University
Original Assignee
NATIONAL BIO ENERGY GROUP CO LTD
North China Electric Power University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NATIONAL BIO ENERGY GROUP CO LTD, North China Electric Power University filed Critical NATIONAL BIO ENERGY GROUP CO LTD
Priority to CN201911181236.9A priority Critical patent/CN112861414A/zh
Publication of CN112861414A publication Critical patent/CN112861414A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G01N21/35Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
    • G01N21/3504Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light for analysing gases, e.g. multi-gas analysis
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N31/00Investigating or analysing non-biological materials by the use of the chemical methods specified in the subgroup; Apparatus specially adapted for such methods
    • G01N31/12Investigating or analysing non-biological materials by the use of the chemical methods specified in the subgroup; Apparatus specially adapted for such methods using combustion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/044Recurrent networks, e.g. Hopfield networks
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00Features of devices classified in G01N21/00
    • G01N2201/12Circuits of general importance; Signal processing
    • G01N2201/129Using chemometrical methods
    • G01N2201/1296Using chemometrical methods using neural networks

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Molecular Biology (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Combustion & Propulsion (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

本发明公开了一种基于红外光谱主成分和神经网络的生物质碳含量测量与建模方法,主要包括以下步骤:(1)生物质红外光谱数据的获取及预处理;(2)记录红外光谱数据采集时的环境状态参数;(3)依据国家或行业标准测得生物质样本的碳含量测量值数据;(4)对红外光谱数据和碳含量测量值做两两相关性计算;(5)采用主成分分析的方法对数据降维;(6)以主成分数据和环境状态参数为输入,碳含量测量值为输出,建立神经网络模型,使用训练集进行训练至误差小于0.1%;(7)输入验证集数据,模型计算获得碳含量数据,与测量值数据比较,得出预测偏差。该方法无需破碎或接触生物质,是一种可以实现在线测量、充分考虑测量环境影响、非接触式快速测量方法。

Description

基于红外光谱主成分和神经网络的生物质碳含量测量与建模 方法
技术领域
本发明属于生物质和大数据分析技术领域,涉及一种高效、精确的生物质碳含量测量方法。
背景技术
生物质(biomass)狭义上认为是农林业种植、生产过程中产生的秸秆、树木、废弃物等等,因此广 泛存在于农田、森林、城市绿化等地。其储量巨大且自身可作为能源用于发电或提取高附加值化合物。
物质的碳元素含量的现有检测方法多为氧化方法,中华人民共和国电力行业标准(DL/T 568— 2013)中指出,其测量原理为:样品在高纯氧气中高温燃烧,燃烧产物中的硫氧化物及卤化物由试剂去除, 气态CO2进入储气罐,再从储气罐中定量抽取气体送入红外检测池测量CO2含量,从而计算出碳含量。这 些方法虽然较准确,但因其需要温度较高、时间较长,因此需要探索其他更简便的方法。
国内外具有采用大数据分析进行碳测量的研究及专利。如发明专利CN201710438484.1中提供了 一种利用近红外光谱检测油菜茎秆碳含量的方法,其采用的方法为将油菜茎秆的7个截面红外数据与碳含 量建立相关性关系并依据偏最小二乘回归的方法进行建模。此种方法所得到的预测残差为0.5%以上,且需 要对茎秆进行多个横截面处理,处理复杂程度较高,同时其对油菜茎秆秆进行截面切除,对样品进行了破 坏,是一种离线测量方法。发明专利CN201210285592.7公开了一种利用中红外光谱技术估测土壤有机碳 含量的方法,其采用将土壤的红外数据与真实有机碳含量进行关联的方法,依据偏最小二乘回归的方法建 立模型,在经过检验样本集进行检验,最后进行预测,是一种离线测量方法。
基于已有技术对不同物质进行红外分析的检测方法的缺点,本发明的基于红外光谱主成分和神经 网络的生物质碳含量测量与建模方法是一种可以实现在线测量、充分考虑测量环境影响、非接触式快速测 量方法,应用可更广泛、误差更小。
发明内容
为了满足快速低成本测量需求,弥补现有方法的不足,本发明基于红外光谱主成分和神经网络的 生物质碳含量测量与建模方法提供了一种可以实现在线测量、充分考虑测量环境影响、非接触式快速测量 方法。
为实现所述发明目的,本发明包含以下特征:
基于红外光谱主成分和神经网络的生物质碳含量测量与建模方法,其主要包括红外光谱测量、生 物质碳含量测量、状态参数测量、主成分分析以及BP神经网络建模方法。
方法包含以下步骤:
(1)生物质样本数据的获取:针对生物质样本,采用红外分析仪测量红外光谱数据,并对数据进 行去燥、平滑等处理,同时记录红外光谱数据采集时的环境温度、压力、红外传感器探头距离样品的距离、 环境光强等状态参数数据;依据标准(如电力行业标准:DL/T 568—2013)测量方法,对生物质碳含量进 行检测,获得生物质碳含量测量值数据;
(2)样本集的划分:采用随机分类的方法,将所得样本数据的20%~80%作为训练集,其余样本数 据作为验证集;
(3)相关性分析:采用皮尔逊公式对步骤(1)得到的生物质红外光谱数据和生物质碳含量测量值进 行两两相关性计算,来确定所选取的红外光谱数据和碳含量测量值之间的相关性,剔除无关数据;
(4)主成分分析:将步骤(3)得到的剔除完无关变量的红外光谱数据进行降维处理,得到综合变量, 即筛选后的主成分;
(5)神经网络模型的建立和训练:将步骤(4)得到的主成分数据和步骤(1)得到的红外数据采集时的 环境状态参数作为神经网络的输入参数,对应的碳含量测量值数据作为输出参数,建立BP神经网络模型; 并采用训练集数据对BP神经网络模型进行优化训练,当误差小于等于0.1%时,模型优化训练完成;
(6)验证及完成建模:采用验证集数据作为步骤(5)训练完成的神经网络模型输入,计算输出值, 将输出值和测量值进行对比,通过比对平均相对误差评判预测模型和结果的准确性。
上述所述生物质,为农林业种植、生产过程中产生的秸秆、树木、废弃物等等,包括玉米秆、玉 米芯、小麦秆、木块、木屑、树枝、家具废料、树皮、稻壳等不同种类。
上述步骤(1)所述的碳含量测量方法为标准(如:电力行业DL/T 568—2013)中的氧化方法,即使 用高温燃烧将碳元素氧化成二氧化碳,再将二氧化碳通过红外分析仪进行定量分析。采用其他国家或行业 标准测量的碳含量数据也可采用。
上述步骤步骤(1)中对生物质进行红外测量的光谱范围为760nm~3000nm,也可高于3000nm。
上述步骤(4)中的主成分分析包括对矩阵进行标准化处理、求取相关系数矩阵及特征值,求取贡献 率,贡献率大于等于80%,则选定为主成分。
本发明的有益效果包括:
1、技术适用范围较广,覆盖大部分生物质,适用范围广;
2、采用主成分分析的方法,基于贡献率选取与碳含量测量值更相关的主成分,对原始数据进行 降维操作,降低了复杂性;
3、BP神经网络没有对主导因子预测的功能,主成分分析弥补了这部分的缺憾,利用神经网络建 立的预测模型对生物质碳含量进行参数预测,将预测值和真实值进行对比,通过比对平均相对误差评判预 测模型和结果的准确性;
4、方法中生物质不用特殊处理,同时引入了红外光谱数据测量时的环境温度、压力、红外传感 器探头距离样品的距离、环境光强等环境状态参数,步骤更简单、预测更精准、应用更广泛,且可以实现 在线测量。
附图说明
图1为本发明的流程图。
具体实施方式
下面以实施案例的方式对发明内容进行进一步地、较为完整的说明,本发明包括但不限于以下的 案例。
实施例:
(1)生物质样本数据的获取:选取100组生物质样本,对其进行红外数据的测量,获取40000组 红外数据,对其进行平滑、去噪等处理;同时记录红外光谱数据采集时的环境温度、压力、红外传感器探 头距离样品的距离、环境光强等状态参数数据;依据标准(电力行业标准:DL/T 568—2013)测量方法, 测量对应生物质的碳含量,记录碳含量测量值数据。
(2)样本集的划分:步骤(1)得到的40000组样本数据采用随机分类的方法,分为20000组的训练 集数据和20000组的验证集数据。训练集用于神经网络的建模及优化训练,验证集用于检验神经网络的相 对误差和准确性检验。
(3)相关性分析:采用皮尔逊相关性计算公式对红外光谱数据和碳含量测量值进行两两相关性计 算,得到相关系数,确定所选取的红外光谱数据对生物质碳含量的影响作用。主要包含以下内容:
a.生物质红外光谱数据用向量X表示,即X1,X2……,Xn,每一个Xi对应p个值,即每一组生物 质对应p个红外数据,最终得到矩阵X:
Figure RE-GDA0002666477970000031
b.生物质碳含量测量值用Y表示。利用皮尔逊相关系数公式计算矩阵X、Y的相关系数矩阵Xy。
c.得到的相关系数矩阵Xy中每个值均会处于[-1,1]区间,等于0说明该波段对应红外数据与碳含 量无关,大于0说明是正相关,小于0说明是负相关。将无关的红外数据剔除,最终得到一个新的剔除无 关数据的矩阵Xc:
Figure RE-GDA0002666477970000032
显然z≤p。每个成分可用Si1,Si2…,Siz表示。
(4)主成分分析:对步骤(3)中得到的Xc矩阵进行标准化处理,得到标准化矩阵Xs,求取Xs的 相关系数矩阵C,求取C矩阵的特征向量v和特征值λ。采用贡献率公式R=每个成分的特征向量/特征向量 之和。选取成分贡献率R≥80%的成分作为主成分。主成分矩阵M:
Figure RE-GDA0002666477970000033
显然m≤z。每个主成分可用Mi1,Mi2…,Mim表示。
(5)BP神经网络模型的建立及训练:以步骤(4)得到的主成分矩阵M和生物质红外光谱数据测量 时的环境参数为输入参数,以对应的生物质碳含量测量值Y为输出参数,建立神经网络模型;使用步骤(2) 中随机分类的20000组训练集数据进行优化训练,系统设定误差设置为0.1%,当网络达到这个设定的误差 后停止训练,获得标准化的预测模型。
(6)验证及完成建模:选取步骤(2)的20000组验证集数据引入神经网络模型,得出预测结果,与 对应的含碳量测量值数据进行比较,通过对比平均相对误差评判预测模型的准确度。
以上实施案例仅用于详细说明本发明,而本发明并不限制于此。

Claims (7)

1.基于红外光谱主成分和神经网络的生物质碳含量测量与建模方法,其特征在于包含以下步骤:
(1)生物质样本数据的获取:包括生物质的红外光谱数据的获取和平滑去噪等预处理;红外光谱数据采集时的环境温度、压力、红外传感器探头距离样品的距离、环境光强等状态参数数据的获取及预处理;依据标准(如:电力行业标准DL/T 568—2013)方法测量生物质的碳含量,记录碳含量测量值数据;
(2)样本集的划分:采用随机分类的方法,将所得样本数据的20%~80%作为训练集,其余样本数据作为验证集;
(3)相关性和主成分分析:通过相关性计算公式对生物质样本红外光谱数据和碳含量测量值进行两两相关性计算,得到相关系数;采用主成分分析的方法对相关的红外光谱数据做降维处理,获得累积贡献率高于80%的主成分表达式和相关数值;
(4)BP神经网络的建立和训练:以步骤(3)获取的主成分数据和步骤(1)获取的红外分析仪所处环境状态参数为输入参数,步骤(1)获取的生物质碳含量测量值为输出参数,建立BP神经网络模型,并采用训练集数据对BP神经网络模型进行优化训练,当误差小于0.1%时,完成优化训练过程;
(5)验证及完成建模:输入验证集生物质的红外数据和红外分析仪状态参数,通过神经网络计算获得输出的碳含量数据,将该数据与碳含量测量值的数据比较,得出预测偏差。
2.根据权利要求1所述基于红外光谱主成分和神经网络的生物质碳含量测量与建模方法,其特征在于:所述生物质包括秸秆、木材、家具废料、树皮、稻壳等不同种类的生物质。
3.根据权利要求1所述基于红外光谱主成分和神经网络的生物质碳含量测量与建模方法,其特征在于:采用主成分分析方法考虑了不同波长数据的影响作用,进行数据降维处理,降低了计算量;采用红外分析仪所处环境状态参数直接作为神经网络输入,充分考虑了环境变化对测量准确性的影响作用,结果更加准确可靠,适用范围更加广阔。
4.根据权利要求1所述基于红外光谱主成分和神经网络的生物质碳含量测量与建模方法,其特征在于:步骤1(1)所述红外光谱的波长范围为700nm~3000nm。
5.根据权利要求1所述基于红外光谱主成分和神经网络的生物质碳含量测量与建模方法,其特征在于:步骤1(2)所述的训练集用于BP神经网络模型的搭建和训练,验证集用于检验神经网络的相对误差和准确性检验。
6.根据权利要求1所述基于红外光谱主成分和神经网络的生物质碳含量测量与建模方法,其特征在于:步骤1(5)利用神经网络建立的预测模型对生物质含碳量进行参数预测,将预测值和碳含量测量值进行对比,通过比对相对误差评判预测模型和结果的准确性。
7.根据权利要求1-6任意一项所述的基于红外光谱主成分和神经网络的生物质碳含量测量与建模方法在生物质和大数据分析等领域的应用均属本专利权利保护范畴。
CN201911181236.9A 2019-11-27 2019-11-27 基于红外光谱主成分和神经网络的生物质碳含量测量与建模方法 Pending CN112861414A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911181236.9A CN112861414A (zh) 2019-11-27 2019-11-27 基于红外光谱主成分和神经网络的生物质碳含量测量与建模方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911181236.9A CN112861414A (zh) 2019-11-27 2019-11-27 基于红外光谱主成分和神经网络的生物质碳含量测量与建模方法

Publications (1)

Publication Number Publication Date
CN112861414A true CN112861414A (zh) 2021-05-28

Family

ID=75985594

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911181236.9A Pending CN112861414A (zh) 2019-11-27 2019-11-27 基于红外光谱主成分和神经网络的生物质碳含量测量与建模方法

Country Status (1)

Country Link
CN (1) CN112861414A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114813618A (zh) * 2022-04-07 2022-07-29 同济大学 一种基于机器学习和红外光谱技术快速识别固体废物碳比例的方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107655850A (zh) * 2016-07-25 2018-02-02 上海创和亿电子科技发展有限公司 基于近红外光谱的非线性建模方法及系统
CN107677647A (zh) * 2017-09-25 2018-02-09 重庆邮电大学 基于主成分分析和bp神经网络的中药材产地鉴别方法
CN109992861A (zh) * 2019-03-21 2019-07-09 温州大学 一种近红外光谱建模方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107655850A (zh) * 2016-07-25 2018-02-02 上海创和亿电子科技发展有限公司 基于近红外光谱的非线性建模方法及系统
CN107677647A (zh) * 2017-09-25 2018-02-09 重庆邮电大学 基于主成分分析和bp神经网络的中药材产地鉴别方法
CN109992861A (zh) * 2019-03-21 2019-07-09 温州大学 一种近红外光谱建模方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
张瑶: "基于光谱技术的农林环境关键参数信息获取研究", 中国优秀博硕士学位论文全文数据库(博士)农业科技辑 *
程旭云: "生物质秸秆热化工特性的NIRS分析方法与热值模型构建", 中国优秀博硕士学位论文全文数据库(硕士)农业科技辑 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114813618A (zh) * 2022-04-07 2022-07-29 同济大学 一种基于机器学习和红外光谱技术快速识别固体废物碳比例的方法

Similar Documents

Publication Publication Date Title
CN108663339B (zh) 基于光谱和图像信息融合的霉变玉米在线检测方法
CN104020127B (zh) 一种利用近红外光谱快速测量烟叶中无机元素的方法
CN101520412A (zh) 基于独立分量分析和遗传神经网络的近红外光谱分析方法
CN111537845A (zh) 基于拉曼光谱聚类分析的油纸绝缘设备老化状态识别方法
CN105486655A (zh) 基于红外光谱智能鉴定模型的土壤有机质快速检测方法
CN112858208A (zh) 基于红外光谱主成分和神经网络的生物质钾含量测量与建模方法
CN115993344A (zh) 一种近红外光谱分析仪质量监测分析系统及方法
CN107290299B (zh) 一种实时无损检测桃的糖度和酸度的方法
CN109142251A (zh) 随机森林辅助人工神经网络的libs定量分析方法
Chen et al. Hyperspectral detection of sugar content for sugar-sweetened apples based on sample grouping and SPA feature selecting methods
CN111999258A (zh) 一种面向光谱基线校正的加权建模局部优化方法
CN104316492A (zh) 近红外光谱测定马铃薯块茎中蛋白质含量的方法
CN112861414A (zh) 基于红外光谱主成分和神经网络的生物质碳含量测量与建模方法
CN112651173B (zh) 一种基于跨域光谱信息的农产品品质无损检测方法及可泛化系统
CN112861299A (zh) 基于红外光谱主成分和神经网络的生物质氯含量测量与建模方法
Nkansah et al. Determination of concentration of ACQ wood preservative components by UV-Visible spectroscopy coupled with multivariate data analysis
CN112485238A (zh) 一种基于拉曼光谱技术鉴别姜黄精油产地的方法
赵娟 et al. Comparative analysis of harvest maturity model for Fuji apple based on visible/near spectral nondestructive detection
CN112858209A (zh) 基于红外光谱主成分和神经网络的生物质氮含量测量与建模方法
CN112858205A (zh) 基于红外光谱主成分和神经网络的生物质氢含量测量与建模方法
CN112966817A (zh) 基于红外光谱主成分和神经网络的生物质氧含量测量与建模方法
CN115828114A (zh) 一种铝型材挤压机能耗异常检测方法
CN112861411A (zh) 基于近红外光谱主成分和神经网络的生物质钠含量测量与建模方法
CN114414524A (zh) 快速检测航空煤油性质的方法
CN113418889A (zh) 一种基于深度学习的干菜水分含量和菌落总数的实时检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination