CN109060715A - 一种基于自组织神经网络的近红外光谱共识模型的构建方法 - Google Patents
一种基于自组织神经网络的近红外光谱共识模型的构建方法 Download PDFInfo
- Publication number
- CN109060715A CN109060715A CN201810857472.7A CN201810857472A CN109060715A CN 109060715 A CN109060715 A CN 109060715A CN 201810857472 A CN201810857472 A CN 201810857472A CN 109060715 A CN109060715 A CN 109060715A
- Authority
- CN
- China
- Prior art keywords
- sample
- common recognition
- variable
- model
- near infrared
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000002329 infrared spectrum Methods 0.000 title claims abstract description 12
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 10
- 238000010276 construction Methods 0.000 title claims abstract description 7
- 238000000034 method Methods 0.000 claims abstract description 9
- 230000003595 spectral effect Effects 0.000 claims abstract description 5
- 239000005416 organic matter Substances 0.000 claims abstract description 4
- 238000010238 partial least squares regression Methods 0.000 claims abstract description 4
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000004611 spectroscopical analysis Methods 0.000 claims description 5
- 238000001311 chemical methods and process Methods 0.000 claims description 3
- 230000009286 beneficial effect Effects 0.000 abstract description 4
- 238000001228 spectrum Methods 0.000 abstract description 4
- 239000011159 matrix material Substances 0.000 abstract 1
- 238000001514 detection method Methods 0.000 description 5
- 240000008042 Zea mays Species 0.000 description 3
- 235000005824 Zea mays ssp. parviglumis Nutrition 0.000 description 3
- 235000002017 Zea mays subsp mays Nutrition 0.000 description 3
- 235000005822 corn Nutrition 0.000 description 3
- 238000012952 Resampling Methods 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000002567 autonomic effect Effects 0.000 description 1
- 239000003153 chemical reaction reagent Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 231100000614 poison Toxicity 0.000 description 1
- 230000007096 poisonous effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
- G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
- G01N21/35—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
- G01N21/359—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light using near infrared light
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
本发明公开了一种基于自组织神经网络的近红外光谱共识模型的构建方法，包括以下操作：选取n个样本，测定某一有机物样本参考值，采集样本的近红外光谱数据，记为矩阵X，对X进行预处理得到Xpre，应用自组织神经网络聚类方法将光谱变量聚成4类。根据聚类结果建立4组样本集，分别对样本集进行划分，使用样本集中3n/4的样本作为建模集，剩余n/4样本作为预测集，建立偏最小二乘回归模型；计算预测结果与参考值之间的误差，再应用共识模型算法计算出4个子模型权重系数w1、w2、w3和w4，并基于权重系数对4个子模型进行变量共识，得到定量模型。本发明的有益效果是本发明的有益效果是不仅合理的利用了样本光谱信息变量，而且提升了模型的准确性和鲁棒性。
Description
技术领域
本发明涉及化学计量学和光谱学领域，特别涉及一种基于自组织神经网络的近红外光谱共识模型的构建方法。
背景技术
虽然近红外光谱技术是一种方便、简单的快速检测技术，其具有无损、安全、样品无需预处理、不需有毒有害化学试剂等特点，已经成为当前最有前景和应用最广泛的快速检测技术之一。但由于近红外光谱信息具有高维性，通常具有成百上千个变量，里面包含了大量的冗余，共线性，甚至无用的变量信息。因此通常需要对光谱数据进行变量选择，然后基于的最优变量建立定量模型，以此来提升模型的鲁棒性和预测精度。
通常所采用的变量选择方法有遗传算法、连续投影算法、无信息变量消除法、竞争性自适应重采样法等算法，这些算法虽然可以获取最有用的变量，但在选择最优变量的同时不进去除了许多冗余变量，但与此同时也去除了许多含有少数信息的有益变量，因此选出的少数最优变量很可能不足以充分的表达出总体的光谱信息，而且许多变量选择方法选出的变量个数不能超过样本个数，否则无法有效的建立定量检测模型，因此存在丢失过多变量信息的问题。
发明内容
本发明要解决的技术问题是提出一种合理利用样本光谱信息变量，且提升了模型的准确性和鲁棒性的基于自组织神经网络变量选择的近红外光谱共识模型算法。
为解决上述技术问题，本发明是通过以下技术方案实现的：一种基于自组织神经网络的近红外光谱共识模型的构建方法，包括以下步骤：
步骤1，选取n个样本，n为小于100的正整数，通过标准化学方法测定某一有机物样本参考值，记为列向量Y；
步骤2，采集n个样本m维近红外光谱数据X；
步骤3，对光谱数据进行预处理，处理后的数据计为Xpre；
步骤4，应用自组织神经网络变量聚类方法进行光谱变量聚类，将变量按照变量相互之间相似性聚成4类，每类含有变量个数分别为a、b、c、d，其中a+b+c+d＝m；
步骤5，基于变量聚类结果建立含有n个样本，含有a、b、c、d个变量的4组样本集Za、Zb、Zc和Zd；
步骤6，分别对Za、Zb、Zc和Zd 4组样本集数据进行划分，其中3n/4的样本作为建模集，剩余n/4样本做为预测集，然后建立4个偏最小二乘回归模型；计算4组预测结果与参考值之间的误差，而后应用共识模型算法计算出4个子模型权重系数w1、w2、w3、w4；权重系数的计算公式为：
步骤7，基于权重系数w1、w2、w3、w4对4个子模型进行变量共识，得到定量模型，变量共识计算公式为：
f(x)＝∑kwkfk(x)。
本发明的有益效果是共识模型f(x)的RMSEP值更低，说明共识模型充分利用了采集到的样本信息，提升检测模型的精度，RMSEC与RMSEP之间的差值减少，说明共识模型提升了检测模型的鲁棒性。。
附图说明
图1为本发明的实施流程图。
具体实施方式
为了使本发明的技术方案更加清楚明白，以下结合附图及实施例，对本发明作进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
参考图1，本发明提供一种基于自主神经网络的近红外光谱共识模型的构建方法，下面以玉米样本为例解释本发明，包括以下步骤：
步骤1，选取80个玉米样本，通过标准化学方法测定某一有机物的样本参考值，记为列向量Y。
步骤2，采集80个玉米样本700维近红外光谱数据X。
步骤3，对光谱数据进行一阶导数、二阶导数，矢量归一化(SNV)，多元散射校正(MSC)或Savitzky–Golay处理预处理，处理后的数据计为Xpre。
步骤4，应用自组织神经网络变量聚类方法进行光谱变量聚类，将变量按照变量相互之间相似性聚成4类，含有变量个数分别为262、177、73、188。
步骤5，基于变量聚类结果建立含有80个样本，含有262、177、73、188个变量的4组样本集Za、Zb、Zc和Zd。
步骤6，分别对Za、Zb、Zc和Zd 4组样本集数据进行划分，使用样本集中60个样本作为建模集，剩余20个样本做为预测集，然后建立4个偏最小二乘回归模型；计算4组预测结果与参考值之间的误差，而后应用共识模型算法计算出4个子模型权重系数w1、w2、w3、w4。
权重系数的计算公式为：
步骤7，基于权重系数w1、w2、w3、w4对4个子模型进行变量共识，得到定量模型，变量共识计算公式为：
f(x)＝∑kwkfk(x)。
以上实施例仅仅是对本发明的解释，其并不是对本发明的限制，对于本领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围，因此本发明专利的保护范围应以权利要求为准。
Claims (1)
1.一种基于自组织神经网络的近红外光谱共识模型的构建方法，其特征在于包括以下步骤：
步骤1，选取n个样本，其中n为小于100的正整数，通过标准化学方法测定某一有机物的样本参考值，记为列向量Y；
步骤2，采集n个样本m维近红外光谱数据X；
步骤3，对光谱数据进行预处理，处理后的数据计为Xpre；
步骤4，应用自组织神经网络变量聚类方法进行光谱变量聚类，将变量按照变量相互之间相似性聚成4类，每类含有变量个数分别为
a、b、c、d，其中a+b+c+d＝m；
步骤5，基于变量聚类结果建立含有n个样本，含有a、b、c、d个变量的4组样本集Za、Zb、Zc和Zd；
步骤6，分别对Za、Zb、Zc和Zd4组样本集数据进行划分，其中3n/4的样本作为建模集，剩余n/4样本做为预测集，然后建立4个偏最小二乘回归模型；计算4组预测结果与参考值之间的误差，而后应用共识模型算法计算出4个子模型权重系数w1、w2、w3、w4；权重系数的计算公式为：
步骤7，基于权重系数w1、w2、w3、w4对4个子模型进行变量共识，得到定量模型，变量共识计算公式为：
f(x)＝∑kwkfk(x)。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810857472.7A CN109060715A (zh) | 2018-07-31 | 2018-07-31 | 一种基于自组织神经网络的近红外光谱共识模型的构建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810857472.7A CN109060715A (zh) | 2018-07-31 | 2018-07-31 | 一种基于自组织神经网络的近红外光谱共识模型的构建方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109060715A true CN109060715A (zh) | 2018-12-21 |
Family
ID=64831867
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810857472.7A Pending CN109060715A (zh) | 2018-07-31 | 2018-07-31 | 一种基于自组织神经网络的近红外光谱共识模型的构建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109060715A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111595834A (zh) * | 2020-05-27 | 2020-08-28 | 浙江大学 | 一种桑叶中重金属元素铜的快速定量检测模型的构建方法 |
| CN115345239A (zh) * | 2022-08-17 | 2022-11-15 | 无锡迅杰光远科技有限公司 | 样品含量识别方法、装置和存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104091089A (zh) * | 2014-07-28 | 2014-10-08 | 温州大学 | 一种红外光谱数据pls建模方法 |
| CN107067034A (zh) * | 2017-04-15 | 2017-08-18 | 温州大学 | 一种快速识别红外光谱数据分类的方法及系统 |
| CN107153046A (zh) * | 2017-05-18 | 2017-09-12 | 温州大学 | 基于浓度残差信息的近红外光谱检测水果品质的方法及系统 |
-
2018
- 2018-07-31 CN CN201810857472.7A patent/CN109060715A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104091089A (zh) * | 2014-07-28 | 2014-10-08 | 温州大学 | 一种红外光谱数据pls建模方法 |
| CN107067034A (zh) * | 2017-04-15 | 2017-08-18 | 温州大学 | 一种快速识别红外光谱数据分类的方法及系统 |
| CN107153046A (zh) * | 2017-05-18 | 2017-09-12 | 温州大学 | 基于浓度残差信息的近红外光谱检测水果品质的方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| 刘科: "共识建模方法在光谱分析中的应用研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
| 来永杰: "基于SOM聚类变量选择方法的共识模型在近红外光谱数据中的应用", 《中国优秀硕士学位论文全文数据库 工程科技Ⅰ辑》 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111595834A (zh) * | 2020-05-27 | 2020-08-28 | 浙江大学 | 一种桑叶中重金属元素铜的快速定量检测模型的构建方法 |
| CN111595834B (zh) * | 2020-05-27 | 2021-05-04 | 浙江大学 | 一种桑叶中重金属元素铜的快速定量检测模型的构建方法 |
| CN115345239A (zh) * | 2022-08-17 | 2022-11-15 | 无锡迅杰光远科技有限公司 | 样品含量识别方法、装置和存储介质 |
| CN115345239B (zh) * | 2022-08-17 | 2023-10-13 | 无锡迅杰光远科技有限公司 | 样品含量识别方法、装置和存储介质 |
| CN117171566A (zh) * | 2022-08-17 | 2023-12-05 | 无锡迅杰光远科技有限公司 | 样品含量识别方法、装置和存储介质 |
| CN117171566B (zh) * | 2022-08-17 | 2024-05-10 | 无锡迅杰光远科技有限公司 | 样品含量识别方法、装置和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112216396B (zh) | 一种基于图神经网络预测药物-副作用关系的方法 | |
| Grabarnik et al. | Correct testing of mark independence for marked point patterns | |
| US10140422B2 (en) | Progression analytics system | |
| CN105630743B (zh) | 一种光谱波数的选择方法 | |
| WO2019165673A1 (zh) | 一种报销单风险预测方法、装置、终端设备及存储介质 | |
| CN111785328B (zh) | 基于门控循环单元神经网络的冠状病毒序列识别方法 | |
| CN103714261B (zh) | 二阶段混合模型的智能辅助医疗决策支持方法 | |
| CN110141219A (zh) | 基于导联融合深度神经网络的心肌梗死自动检测方法 | |
| CN110141220A (zh) | 基于多模态融合神经网络的心肌梗死自动检测方法 | |
| CN109243620B (zh) | 基于血药浓度监测的药效优化方法及装置 | |
| CN106650314A (zh) | 预测氨基酸突变的方法及系统 | |
| CN113239279B (zh) | 一种慢性病医疗数据采集分析管理方法及云平台 | |
| CN106055922A (zh) | 一种基于基因表达数据的混合网络基因筛选方法 | |
| CN105446741B (zh) | 一种基于api比对的移动应用程序辨识方法 | |
| Shi et al. | Amur tiger stripes: Individual identification based on deep convolutional neural network | |
| CN111343147B (zh) | 一种基于深度学习的网络攻击检测装置及方法 | |
| CN108597605A (zh) | 一种个人健康生活大数据采集与分析系统 | |
| CN109060715A (zh) | 一种基于自组织神经网络的近红外光谱共识模型的构建方法 | |
| CN113470816A (zh) | 一种基于机器学习的糖尿病肾病预测方法、系统和预测装置 | |
| CN107480426B (zh) | 自迭代病历档案聚类分析系统 | |
| CN116959725A (zh) | 一种多模态数据融合的疾病风险预测方法 | |
| CN108197795A (zh) | 恶意团体账户识别方法、装置、终端及存储介质 | |
| KR102406375B1 (ko) | 원천 기술의 평가 방법을 포함하는 전자 장치 | |
| CN110334767A (zh) | 一种用于空气质量分类的改进随机森林方法 | |
| CN102135496A (zh) | 基于多尺度回归的红外光谱定量分析方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20181221 |
|
| RJ01 | Rejection of invention patent application after publication |