CN109145403B - 一种基于样本共识的近红外光谱建模方法 - Google Patents

一种基于样本共识的近红外光谱建模方法 Download PDF

Info

Publication number
CN109145403B
CN109145403B CN201810857499.6A CN201810857499A CN109145403B CN 109145403 B CN109145403 B CN 109145403B CN 201810857499 A CN201810857499 A CN 201810857499A CN 109145403 B CN109145403 B CN 109145403B
Authority
CN
China
Prior art keywords
sample
matrix
data
recording
reference value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810857499.6A
Other languages
English (en)
Other versions
CN109145403A (zh
Inventor
陈孝敬
李理敏
石文
袁雷明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wenzhou University
Original Assignee
Wenzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wenzhou University filed Critical Wenzhou University
Priority to CN201810857499.6A priority Critical patent/CN109145403B/zh
Publication of CN109145403A publication Critical patent/CN109145403A/zh
Application granted granted Critical
Publication of CN109145403B publication Critical patent/CN109145403B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Chemical & Material Sciences (AREA)
  • Geometry (AREA)
  • Evolutionary Computation (AREA)
  • Computer Hardware Design (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

本发明公开了一种基于样本共识的近红外光谱建模方法，包括以下步骤：选取n个样本，测定某一有机物样本参考值，记为列向量Y，采集n个样本的近红外光谱数据，记为矩阵X，对矩阵X进行预处理，记为矩阵Xpre，将样本参考值列向量Y和光谱数据矩阵Xpre进行合并，记为矩阵Z，选取矩阵Z中n/4的样本数据作为预测集记为Zp，按照比例r对矩阵Z中剩余的3n/4的样本数据进行s次随机划分得到矩阵Zc，以每个Zc为建模集、Zp为预测集分别建立s个偏最小二乘回归子模型，再采用样本共识算法计算出模型表达式。本发明的有益效果是在当前样本数据较少的情况下，提出一种样本共识模型，此模型可以充分利用采集到的样本信息，提升检测模型的精度。

Description

一种基于样本共识的近红外光谱建模方法
技术领域
本发明涉及化学计量学和光谱学领域领域，特别涉及一种基于样本共识的近红外光谱建模方法。
背景技术
近红外光谱的波数范围为12500～4000cm-1，其光谱信息的来源于此区域有机物含氢官能团的倍频和合频吸收。随着近些年近红外光谱技术的快速发展，以及近红外光谱技术本身所具有快速、无损、安全、样品无需预处理和无需有毒有害化学试剂等优点，使得近红外光谱技术已经被广泛的应用于有机物定性和定量分析中。
虽然近红外光谱技术具有方便、简单、快速等特点，但在实际样本的近红外光谱信息采集过程中，会由于采集样本对象本身所具有的限制(例如样本稀少、样本的季节性、储藏性时间短等特性)或外界环境的限制(例如经济条件、实验时间、仪器的复杂性等条件限制)，使得实际中采集到的样本数据较少，导致构建的定性和定量检测模型具有较低的准确性和稳定性。
发明内容
本发明要解决的技术问题是提供在一定程度上解决模型样本数据较少的问题，并且提升模型的准确性和鲁棒性的基于样本共识的近红外光谱建模方法。
为解决上述技术问题，本发明是通过以下技术方案实现的：一种基于样本共识的近红外光谱建模方法，包括以下步骤：
步骤1，选取n个样本，通过标准化学方法测定某一有机物的样本参考值，记为列向量Y；
步骤2，采集n个样本的近红外光谱数据，记为矩阵X；
步骤3，对矩阵X选用一阶导数、二阶导数、矢量归一化、多元散射校正或平滑处理中的一种或多种方法进行预处理，记为矩阵Xpre；
步骤4，将样本参考值列向量Y和光谱数据矩阵Xpre进行合并，记为样本数据矩阵Z，Z＝[YXpre]；
步骤5，采用蒙特卡洛取样法随机选取矩阵Z中n/4的样本数据作为预测集记为Zp，Zp中属于列向量Y的部分为Yp，属于Xpre的部分为XP，Zp＝[YpXP]；
步骤6，按照比例r对矩阵Z中剩余的3/4的样本数据进行随机划分得到矩阵Zc，其中r∈[0.5,0.9]，以Zc为建模集、Zp为预测集，建立子模型的偏最小二乘回归模型；
步骤7，重复步骤6的操作，对矩阵Z中剩余的3n/4的样本数据进行s次随机划分，以每次得到的Zc为建模集、固定的Zp为预测集分别建立s个偏最小二乘回归子模型f1(x)、f2(x)、f3(x)…fk(x)…fs(x)；
步骤8，根据步骤7中建立的s个偏最小二乘回归子模型对预测集样本进行预测，并分别计算每个子模型预测值与真实参考值之间的误差，然后计算出s个子模型的权重系数w1、w2、w3…wk…ws，其中wk为第k个子模型的权重系数，权重系数的计算公式为：
Figure BDA0001748878510000031
步骤9，基于权重系数w1、w2、w3…wk…ws对s个子模型进行样本共识，得到预测精度更高、鲁棒性更优的模型f(x)，样本共识计算公式为：
Figure BDA0001748878510000032
进一步的：步骤6中r＝0.6，步骤7中s＝30。
本发明的有益效果是在当前样本数据较少的情况下，提出一种样本共识模型，此模型通过建立多个偏最小二乘子模型，并对这些子模型进行共识计算，相比于单个偏最小二乘回归模型，共识后模型f(x)的RMSEP值更低，说明共识模型充分利用了采集到的样本信息，提升检测模型的精度，RMSEC与RMSEP之间的差值减少，说明共识模型提升了检测模型的鲁棒性。
附图说明
图1为本发明的实施流程图。
具体实施方式
为了使本发明的技术方案更加清楚明白，以下结合附图及实施例，对本发明作进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
参考图1，本发明提供一种基于样本共识的近红外光谱建模方法，下面以玉米样本为例解释本发明，包括以下步骤：
S1：选取80个玉米目标样本，测定玉米的淀粉含量作为样本参考值，记为列向量Y。
S2：采集80个玉米样本的近红外光谱数据，记为矩阵X，光谱范围为1100-2498nm，间隔为2nm，共700个波段。
S3：对矩阵X进行一阶导数的Savitzky–Golay预处理，记为矩阵Xpre。
S4：将样本参考值列向量Y和光谱数据矩阵Xpre进行合并，记为样本数据矩阵Z，Z＝[YXpre]。
S5：采用蒙特卡洛取样法随机选取矩阵Z中20个的样本数据作为预测集记为Zp，Zp中属于列向量Y的部分为Yp，属于Xpre的部分为XP，Zp＝[YpXP]。
S6：对样本矩阵Z中剩余的60个样本数据按照比例r＝0.6随机划分得到矩阵Zc，以Zc为建模集、Zp为预测集，建立偏最小二乘回归子模型。
S7：重复步骤6的操作，对矩阵Z中剩余的60个样本数据进行30次划分，以每次得到的Zc为建模集、Zp为预测集分别建立30个偏最小二乘回归子模型f1(x)、f2(x)、f3(x)…fk(x)…fs(x)。
S8：根据步骤7中的30个偏最小二乘回归子模型对预测集样本进行预测，并分别计算每个子模型预测值与真实参考值之间的误差，然后计算出30个子模型的权重系数w1、w2、w3…w30，权重系数的计算公式为。
Figure BDA0001748878510000051
S9：基于权重系数w1、w2、w3…w30对30个子模型进行样本共识，得到预测精度更高、鲁棒性更优的模型f(x)，样本共识计算公式为：
f(x)＝∑kwkfk(x)。
以上实施例仅仅是对本发明的解释，其并不是对本发明的限制，对于本领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围，因此本发明专利的保护范围应以权利要求为准。

Claims (2)

1.一种基于样本共识的近红外光谱建模方法，其特征在于包括以下步骤：
步骤1，选取n个样本，其中n为小于100的正整数，通过标准化学方法测定某一有机物样本参考值，记为列向量Y；
步骤2，采集n个样本的近红外光谱数据，记为矩阵X；
步骤3，对矩阵X选用一阶导数、二阶导数、矢量归一化、多远散射校正或平滑处理中的一种或多种方法进行预处理，记为矩阵Xpre；
步骤4，将样本参考值列向量Y和光谱数据矩阵Xpre进行合并，记为样本数据矩阵Z，Z＝[YXpre]；
步骤5，采用蒙特卡洛特取样法随机选取样本数据矩阵Z中n/4的样本数据作为预测集记为Zp，Zp中属于列向量Y的部分为Yp，属于Xpre的部分为XP，Zp＝[YpXP]；
步骤6，对样本数据矩阵Z中剩余的3n/4样本按照比例r随机划分得到样本集矩阵Zc，其中r∈[0.5,0.9]，以样本集矩阵Zc为建模集、Zp为预测集，建立偏最小二乘回归子模型；
步骤7，重复步骤6的操作，对矩阵Z中剩余的3n/4的样本数据进行s次随机划分，以每次得到的Zc为建模集、固定的Zp为预测集分别建立s个偏最小二乘回归子模型f1(x)、f2(x)、f3(x)…fk(x)…fs(x)；
步骤8，根据步骤7中建立的s个偏最小二乘回归子模型对预测集样本进行预测，并分别计算每个子模型预测值与真实参考值之间的误差，然后计算出s个子模型的权重系数w1、w2、w3…wk…ws，其中wk为第k个子模型的权重系数，权重系数的计算公式为：
Figure FDA0001748878500000021
步骤9，基于权重系数w1、w2、w3…wk…ws对s个子模型进行样本共识，样本共识计算公式为：
Figure FDA0001748878500000022
f(x)为预测精度更高、鲁棒性更优的模型。
2.根据权利要求1所述的一种基于样本共识的近红外光谱建模方法，其特征在于：步骤6中r＝0.6，步骤7中s＝30。
CN201810857499.6A 2018-07-31 2018-07-31 一种基于样本共识的近红外光谱建模方法 Active CN109145403B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810857499.6A CN109145403B (zh) 2018-07-31 2018-07-31 一种基于样本共识的近红外光谱建模方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810857499.6A CN109145403B (zh) 2018-07-31 2018-07-31 一种基于样本共识的近红外光谱建模方法

Publications (2)

Publication Number Publication Date
CN109145403A CN109145403A (zh) 2019-01-04
CN109145403B true CN109145403B (zh) 2022-12-13

Family

ID=64798897

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810857499.6A Active CN109145403B (zh) 2018-07-31 2018-07-31 一种基于样本共识的近红外光谱建模方法

Country Status (1)

Country Link
CN (1) CN109145403B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110795689B (zh) * 2019-09-30 2023-08-25 深圳数联天下智能科技有限公司 一种矩阵数据处理的方法、装置及存储介质
CN111125629B (zh) * 2019-12-25 2023-04-07 温州大学 一种域自适应的pls回归模型建模方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101825567A (zh) * 2010-04-02 2010-09-08 南开大学 一种近红外光谱和拉曼光谱波长的筛选方法
CN106596416A (zh) * 2016-11-25 2017-04-26 华中农业大学 一种基于高光谱成像技术的冷鲜肉品质无损检测方法
WO2017084119A1 (zh) * 2015-11-19 2017-05-26 江南大学 一种具有无测点温度补偿功能的近红外物性参数测量方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101825567A (zh) * 2010-04-02 2010-09-08 南开大学 一种近红外光谱和拉曼光谱波长的筛选方法
WO2017084119A1 (zh) * 2015-11-19 2017-05-26 江南大学 一种具有无测点温度补偿功能的近红外物性参数测量方法
CN106596416A (zh) * 2016-11-25 2017-04-26 华中农业大学 一种基于高光谱成像技术的冷鲜肉品质无损检测方法

Also Published As

Publication number Publication date
CN109145403A (zh) 2019-01-04

Similar Documents

Publication Publication Date Title
CN108181263B (zh) 基于近红外光谱的烟叶部位特征提取及判别方法
CN101430276B (zh) 光谱分析中波长变量优选的方法
TW201224431A (en) Monitoring, detecting and quantifying chemical compounds in a sample
CN103712939B (zh) 一种基于紫外可见光谱的污染物浓度拟合方法
CN106918567B (zh) 一种测量痕量金属离子浓度的方法和装置
CN101825567A (zh) 一种近红外光谱和拉曼光谱波长的筛选方法
CN110569566B (zh) 一种板带力学性能预测方法
CN108169165B (zh) 基于太赫兹光谱和图像信息融合的麦芽糖混合物定量分析方法
CN109145403B (zh) 一种基于样本共识的近红外光谱建模方法
CN114611582B (zh) 一种基于近红外光谱技术分析物质浓度的方法及系统
CN117686442B (zh) 一种氯离子扩散浓度检测方法、系统、介质及设备
CN110349633B (zh) 一种基于辐射响应生物学通路筛选辐射生物标志物及预测辐射剂量的方法
WO2023123329A1 (zh) 近红外光谱的净信号提取方法及其系统
CN108120694B (zh) 用于晒红烟化学成分分析的多元校正方法及系统
Pereira et al. Modelling the ageing process: A novel strategy to analyze the wine evolution towards the expected features
TWI428581B (zh) 辨識光譜的方法
CN106596506B (zh) 一种基于压缩存储和列选主元高斯消去法的airPLS实现方法
CN111125629B (zh) 一种域自适应的pls回归模型建模方法
CN111289459B (zh) 混合物质组分浓度检测方法、装置、设备及存储介质
CN109063767B (zh) 一种基于样本和变量共识的近红外光谱建模方法
Rinnan et al. Simultaneous classification of multiple classes in NMR metabolomics and vibrational spectroscopy using interval-based classification methods: iECVA vs iPLS-DA
EP2834624B1 (en) A method for measuring performance of a spectroscopy system
Miszczyk et al. Multivariate analysis of impedance data obtained for coating systems of varying thickness applied on steel
CN116399836A (zh) 基于交替梯度下降算法的串扰荧光光谱分解方法
CN109145887B (zh) 一种基于光谱潜变量混淆判别的阈值分析方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant