CN112861411A - 基于近红外光谱主成分和神经网络的生物质钠含量测量与建模方法 - Google Patents
基于近红外光谱主成分和神经网络的生物质钠含量测量与建模方法 Download PDFInfo
- Publication number
- CN112861411A CN112861411A CN201911181178.XA CN201911181178A CN112861411A CN 112861411 A CN112861411 A CN 112861411A CN 201911181178 A CN201911181178 A CN 201911181178A CN 112861411 A CN112861411 A CN 112861411A
- Authority
- CN
- China
- Prior art keywords
- data
- neural network
- biomass
- infrared spectrum
- sodium content
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000002028 Biomass Substances 0.000 title claims abstract description 43
- 238000000034 method Methods 0.000 title claims abstract description 42
- DGAQECJNVWCQMB-PUAWFVPOSA-M Ilexoside XXIX Chemical compound C[C@@H]1CC[C@@]2(CC[C@@]3(C(=CC[C@H]4[C@]3(CC[C@@H]5[C@@]4(CC[C@@H](C5(C)C)OS(=O)(=O)[O-])C)C)[C@@H]2[C@]1(C)O)C)C(=O)O[C@H]6[C@@H]([C@H]([C@@H]([C@H](O6)CO)O)O)O.[Na+] DGAQECJNVWCQMB-PUAWFVPOSA-M 0.000 title claims abstract description 33
- 229910052708 sodium Inorganic materials 0.000 title claims abstract description 33
- 239000011734 sodium Substances 0.000 title claims abstract description 33
- 238000002329 infrared spectrum Methods 0.000 title claims abstract description 31
- 238000005259 measurement Methods 0.000 title claims abstract description 31
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 30
- 239000000523 sample Substances 0.000 claims abstract description 45
- 238000001514 detection method Methods 0.000 claims abstract description 4
- 238000007781 pre-processing Methods 0.000 claims abstract description 4
- 238000012549 training Methods 0.000 claims description 22
- 238000012795 verification Methods 0.000 claims description 14
- 230000002159 abnormal effect Effects 0.000 claims description 10
- 238000003062 neural network model Methods 0.000 claims description 10
- 238000012706 support-vector machine Methods 0.000 claims description 9
- 238000000513 principal component analysis Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000007689 inspection Methods 0.000 claims description 4
- 239000012472 biological sample Substances 0.000 claims description 3
- 239000002994 raw material Substances 0.000 claims description 3
- 238000007405 data analysis Methods 0.000 claims description 2
- 238000012847 principal component analysis method Methods 0.000 claims description 2
- 238000009499 grossing Methods 0.000 claims 1
- 238000003672 processing method Methods 0.000 claims 1
- 238000004445 quantitative analysis Methods 0.000 abstract 1
- 230000003595 spectral effect Effects 0.000 abstract 1
- 239000000446 fuel Substances 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 230000007613 environmental effect Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000010998 test method Methods 0.000 description 2
- 235000010799 Cucumis sativus var sativus Nutrition 0.000 description 1
- 244000299906 Cucumis sativus var. sativus Species 0.000 description 1
- 229910000831 Steel Inorganic materials 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000004380 ashing Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000002615 epidermis Anatomy 0.000 description 1
- 239000000447 pesticide residue Substances 0.000 description 1
- 239000010959 steel Substances 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
- G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
- G01N21/35—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
- G01N21/359—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light using near infrared light
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N2201/00—Features of devices classified in G01N21/00
- G01N2201/12—Circuits of general importance; Signal processing
- G01N2201/129—Using chemometrical methods
- G01N2201/1296—Using chemometrical methods using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Spectroscopy & Molecular Physics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
本发明公开一种基于近红外光谱主成分和神经网络的生物质钠含量测量与建模方法，采用定量分析方法依据标准(如：国家标准GB/T 30725‑2014《固体生物质燃料灰成份测定方法》)对生物质钠含量进行测量，获得生物质钠含量测量值，采用近红外光谱仪测量生物质样本的近红外光谱；测量近红外数据采集时的环境温度、压力、红外传感器探头距离样品的距离、环境光强度等状态参数；对获得的光谱数据进行基线漂移，光滑去噪等预处理；将生物质近红外光谱以及环境相关状态参数与钠含量测量值关联，构建预测模型。本方法对生物质样本无破坏，充分考虑测量环境造成的影响，可实现快速检测、在线测量生物质中的钠含量。
Description
技术领域
本发明属于生物质大数据分析领域，涉及到一种对生物质原料中的钠进行快速准确的测量方法。
背景技术
生物质的利用属于废物利用并且不限制在一个方面，生物质燃料的钠对锅炉的运行起着至关重要的影响，对生物质钠含量的检测一般采用原子吸收法，按照国家标准(GB/T30725-2014)对样品进行灰化处理，灰样经氢氟酸、高氯酸分解，处于盐酸介质中，采用空气-乙炔火焰进行原子吸收测定。此法虽然准确，但是须破坏生物质样品，所需时间较长，工艺复杂，难以实现实时在线测量。
专利CN 102095702 A中使用二阶导数对数据进行预处理，利用偏最小二乘法进行数据建模，该方法没有考虑实时测量时环境的影响作用。本发明则采用Chauvenet检验法是一个以正态分布为中心的范围的检验法，去量钢化，对于生物质的高斯形态的元素分布特性，采用支持向量机模型进行预测，相对来说比较科学实用。
专利CN 105954228 A中提供了一种基于近红外光光谱对黄瓜表皮农药残留的鉴别方法，采用主成分分析来对数据进行预处理，采用偏最小二乘法建立模型进行预测，该方法没有考虑实时测量时环境的影响作用。支持向量机模型计算量相对较小，运行迅速，模型准确。
发明内容
本发明提出的基于近红外光谱主成分和神经网络的生物质钠含量测量与建模方法提供了一种可以实现在线实时测量、充分考虑测量环境影响、非接触式快速测量方法。
为实现所述发明目的，本发明包含以下特征：
基于近红外光谱主成分和神经网络的生物质钠含量测量与建模主要包括红外光谱的测量、生物质钠含量测量、状态参数测量、主成分分析及支持向量机建模方法。
主要包含以下几个步骤：
(1)生物质原始数据采集：依据标准(如：国家标准GB/T 30725-2014)对生物质钠含量进行测量；利用近红外光谱仪器(波长范围为：1200～3000nm)对生物质样本测量，获得样本的红外光谱数据；测量红外数据采集时的环境温度、压力、红外传感器探头距离样品的距离、环境光强等状态参数。
(2)样本集的划分：采用随机分类的方法，选取30％～70％的样本作为训练样本集，其余数据作为验证样本集。训练样本集用来训练神经网络模型，验证样本集则用来检测所建立的神经网络模型是否准确。
(3)异常数据去除：本发明中采用Chauvenet检验法对数据进行异常数据处理，将异常数据从数据集中移除，剔除数据的粗大误差，增强后来数据建模的精确性。
(4)红外光谱数据预处理：本发明采用主成分分析方法，将红外数据各波长的测量数据进行主成分分析，获得主成分表达式和主成分数值。利用主成分对预处理后的数据进行降维后，选取贡献率大于80％的成分作为主成分，去除数据的重复性和共线性，减少数据计算量并且保证数据原始特征。
(5)建立神经网络模型：将经预处理后的红外光谱的主成分数据，以及状态参数数据作为支持向量机神经网络的输入参数，将生物质钠含量测量值作为神经网络输出参数，采用训练样本集对建立的神经网络进行训练，当误差小于0.1％时，完成优化训练过程，获得最优的网络结构和参数。
(6)验证模型准确性：采用验证样本集中的红外光谱数据和状态参数数据作为步骤(5)已训练收敛的支持向量机神经网络的输入，将神经网络的输出值与验证样本集中生物质钠的测量值进行对比，验证模型的准确性。
本发明的有益效果包括：对不同状态下的生物质燃料进行了钠测量，对生物质燃料的种类也不限制，使用PCA-SVM的方法对近红外光谱进行建模得到对钠精确、快速、方便快捷的检测方法。
附图说明
图1为本发明的流程图。
具体实施方案
下面对上述步骤进行具体实施方案的详细描述，本发明中的案例包括，但是不限于本案例。
(1)生物质原始数据测量：选取100组生物质样本，对不同状态的生物质原料进行红外数据测量，获取40000组红外数据，将数据进行平滑去噪处理，记录近红外光谱数据采集时的环境温度、压力、红外传感器距离样品的距离，环境光强等状态参数数据，依据标准(如：国家标准GB/T 30725-2014)对生物质钠含量进行测量。
(2)样本集的划分：将采集的40000组红外数据和对应的状态参数随机分类，分为训练样本集和验证样本集，其中20000组作为训练样本集数据，20000组作为验证样本集数据，训练样本集用来训练神经网络模型，验证样本集则用来检测所建立的神经网络模型是否准确。
(3)异常数据去除：采用Chauvenet检验法去除异常数据，将异常数据从数据集中移除，剔除数据的粗大误差，得到剔除异常数据的训练样本集S增强后来数据建模的精确性。
(4)红外光谱数据预处理：将S作为主成分分析的输入数据进行分析，求取S的相关矩阵C，求得相关矩阵C的特征值，贡献率等于成分特征值与特征值之和的商，得到累计贡献率，选取累计贡献率大于80％的成分作为主成分，得到主成分矩阵F，对数据进行降维，去除数据的重复性和共线性，防止拟合过度等情况，减少数据计算量并且保证数据原始特征。
(5)建立神经网络模型：将经预处理后的红外光谱的主成分矩阵F，以及状态参数数据作为支持向量机神经网络的输入参数，将生物质钠含量测量值Y作为神经网络输出参数，采用训练样本集对建立的神经网络进行训练，当误差小于0.1％时，完成优化训练过程，获得最优的网络结构和参数。
(6)验证模型准确性：用验证集对神经网络模型进行验证，获得钠计算值Y将钠含量测量值与神经网络的预测值Y进行对比，求得预测值和真实值之间的相关系数和均方根误差，来对整体模型快速检测的准确度进行评价。
本发明中的方法，包括但不限于生物质燃料组分的分析测量。
Claims (8)
1.基于近红外光谱主成分和神经网络的生物质钠含量测量与建模方法，其特征包含以下几个步骤：
(1)生物质原始数据采集：依据标准(如：国家标准GB/T 30725-2014)对生物质钠含量进行测量；利用近红外光谱仪器(波长范围为：1200～3000nm)对生物质样本测量，获得样本的红外光谱数据；测量红外数据采集时的环境温度、压力、红外传感器探头距离样品的距离、环境光强等状态参数；
(2)样本集的划分：采用随机分类的方法，选取30％～70％的数据作为训练样本集，其余数据作为验证样本集；
(3)异常数据去除：本发明中采用Chauvenet检验法对数据进行异常数据处理，提取有用数据信号，获得噪点比低、背景干扰相对较小的信号；
(4)红外光谱数据预处理：本发明采用主成分分析方法把噪声和背景进行分离，将红外数据各波长的测量数据进行主成分分析，获得主成分表达式和主成分数值；
(5)建立神经网络模型：将经预处理后的红外光谱的主成分数据，以及状态参数数据作为支持向量机神经网络的输入参数，将生物质钠含量测量值作为神经网络输出参数，采用训练样本集对建立的神经网络进行训练，获得最优的网络结构和参数；
(6)验证模型准确性：采用验证样本集中的红外光谱数据和状态参数数据作为步骤(5)已训练收敛的支持向量机神经网络的输入，将神经网络的输出值与验证样本集中生物质钠的测量值进行对比，验证模型的准确性。
2.根据权利要求1所述的基于近红外光谱主成分和神经网络的生物质钠含量测量与建模方法，其特征在于：步骤(1)利用近红外光谱仪器对生物质样本测量，获得样本的红外光谱数据；测量红外数据采集时的环境温度、压力、红外传感器探头距离样品的距离、环境光强等状态参数。
3.根据权利要求1所述的基于近红外光谱主成分和神经网络的生物质钠含量测量与建模方法，其特征在于：步骤(2)对采集的数据进行分类，采用随机分类的方法，选取30％～70％的数据作为训练样本集，其余数据作为验证样本集；训练样本集用来建立神经网络模型，验证样本集则用来检测所建立的神经网络模型是否准确。
4.根据权利要求1所述的基于近红外光谱主成分和神经网络的生物质钠含量测量与建模方法，其特征在于：步骤(3)平滑处理方法，采用Chauvenet检验法去除异常数据增强后来数据建模的精确性。
5.根据权利要求1所述的基于近红外光谱主成分和神经网络的生物质钠含量测量与建模方法，其特征在于：步骤(4)将红外数据各波长的测量数据进行主成分分析，对预处理后的数据进行降维，选取贡献率大于80％的成分作为主成分，获得主成分表达式和主成分数值，去除数据的重复性和共线性，防止拟合过度等情况，减少数据计算量并且保证数据原始特征。
6.根据权利要求1所述的基于近红外光谱主成分和神经网络的生物质钠含量测量与建模方法，其特征在于：步骤(5)使用支持向量机神经网络方法对训练样本集数据对神经网络进行训练优化，模型的输入为主成分分析后提取的主成分向量，输出为生物质原料中的钠含量值，采用主成分分析方法考虑了不同波长数据的影响作用，进行数据降维处理，降低了计算量；采用红外分析仪所处环境状态参数直接作为神经网络输入，充分考虑了环境变化对测量准确性的影响作用，结果更加准确可靠，适用范围更加广阔。
7.根据权利要求1所述的基于近红外光谱主成分和神经网络的生物质钠含量测量与建模方法，其特征在于：步骤(6)利用模型求出训练样本集和验证样本集的相关系数和均方根误差，来对整体模型快速检测的准确度进行评价。
8.根据权利要求1-7任意一项所述的基于近红外光谱主成分和神经网络的生物质钠含量测量与建模方法在生物质和大数据分析领域的应用均属本专利权利保护范畴。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911181178.XA CN112861411A (zh) | 2019-11-27 | 2019-11-27 | 基于近红外光谱主成分和神经网络的生物质钠含量测量与建模方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911181178.XA CN112861411A (zh) | 2019-11-27 | 2019-11-27 | 基于近红外光谱主成分和神经网络的生物质钠含量测量与建模方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112861411A true CN112861411A (zh) | 2021-05-28 |
Family
ID=75985590
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911181178.XA Pending CN112861411A (zh) | 2019-11-27 | 2019-11-27 | 基于近红外光谱主成分和神经网络的生物质钠含量测量与建模方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112861411A (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101339186A (zh) * | 2008-08-07 | 2009-01-07 | 中国科学院过程工程研究所 | 一种在线检测固态生物质生物转化过程的方法 |
| CN107677647A (zh) * | 2017-09-25 | 2018-02-09 | 重庆邮电大学 | 基于主成分分析和bp神经网络的中药材产地鉴别方法 |
| CN109001143A (zh) * | 2018-08-01 | 2018-12-14 | 重庆医科大学 | 一种灵敏预测麻黄品质特性的中红外光谱法 |
-
2019
- 2019-11-27 CN CN201911181178.XA patent/CN112861411A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101339186A (zh) * | 2008-08-07 | 2009-01-07 | 中国科学院过程工程研究所 | 一种在线检测固态生物质生物转化过程的方法 |
| CN107677647A (zh) * | 2017-09-25 | 2018-02-09 | 重庆邮电大学 | 基于主成分分析和bp神经网络的中药材产地鉴别方法 |
| CN109001143A (zh) * | 2018-08-01 | 2018-12-14 | 重庆医科大学 | 一种灵敏预测麻黄品质特性的中红外光谱法 |
Non-Patent Citations (2)
| Title |
|---|
| 张瑶: "基于光谱技术的农林环境关键参数信息获取研究", 《中国优秀博硕士学位论文全文数据库（博士） 农业科技辑》 * |
| 程旭云: "生物质秸秆热化工特性的NIRS分析方法与热值模型构建", 《中国优秀博硕士学位论文全文数据库（硕士） 农业科技辑》 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103983595B (zh) | 一种基于紫外-可见光谱处理的水质浊度解算方法 | |
| CN105300923A (zh) | 一种近红外光谱分析仪在线应用时无测点温度补偿模型修正方法 | |
| CN107703097B (zh) | 利用近红外光谱仪构建快速预测原油性质的模型的方法 | |
| CN111855608B (zh) | 基于融合特征波长选择算法的苹果酸度近红外无损检测方法 | |
| CN109324013A (zh) | 一种利用高斯过程回归模型构建原油性质近红外快速分析的方法 | |
| CN105486655A (zh) | 基于红外光谱智能鉴定模型的土壤有机质快速检测方法 | |
| CN116985183B (zh) | 一种近红外光谱分析仪质量监测管理方法及系统 | |
| CN110749565A (zh) | 一种快速鉴别普洱茶存储年份的方法 | |
| CN114611582B (zh) | 一种基于近红外光谱技术分析物质浓度的方法及系统 | |
| CN111999258A (zh) | 一种面向光谱基线校正的加权建模局部优化方法 | |
| CN111965167A (zh) | 预测固体废弃物元素组成及热值的方法及装置 | |
| CN110567894A (zh) | 一种含水溶液pH值快速检测方法和检测装置 | |
| CN105954228A (zh) | 基于近红外光谱的油砂中金属钠含量的测量方法 | |
| CN111141809B (zh) | 一种基于非接触式电导信号的土壤养分离子含量检测方法 | |
| CN112485238B (zh) | 一种基于拉曼光谱技术鉴别姜黄精油产地的方法 | |
| CN112861412A (zh) | 基于近红外光谱主成分和神经网络的生物质挥发分含量测量与建模方法 | |
| CN112858208A (zh) | 基于红外光谱主成分和神经网络的生物质钾含量测量与建模方法 | |
| CN112861415A (zh) | 基于近红外光谱主成分和神经网络的生物质灰分含量测量与建模方法 | |
| CN112861413A (zh) | 基于近红外光谱主成分和神经网络的生物质水含量测量与建模方法 | |
| CN116858822A (zh) | 一种基于机器学习和拉曼光谱的水体中磺胺嘧啶定量分析方法 | |
| CN112861411A (zh) | 基于近红外光谱主成分和神经网络的生物质钠含量测量与建模方法 | |
| AU2021102567A4 (en) | Rapid diagnosis method of soil fertility grade based on hyperspectral data | |
| CN104596978A (zh) | 近红外漫反射光谱技术测定造纸法再造烟叶物理指标定量的方法 | |
| CN104596982A (zh) | 近红外漫反射光谱技术测定造纸法再造烟叶果胶的方法 | |
| CN112861416A (zh) | 基于近红外光谱主成分和神经网络的生物质固定碳测量与建模方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |