CN111999258A - 一种面向光谱基线校正的加权建模局部优化方法 - Google Patents
一种面向光谱基线校正的加权建模局部优化方法 Download PDFInfo
- Publication number
- CN111999258A CN111999258A CN202010636816.9A CN202010636816A CN111999258A CN 111999258 A CN111999258 A CN 111999258A CN 202010636816 A CN202010636816 A CN 202010636816A CN 111999258 A CN111999258 A CN 111999258A
- Authority
- CN
- China
- Prior art keywords
- spectral
- matrix
- spectrum
- value
- local optimization
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000003595 spectral effect Effects 0.000 title claims abstract description 69
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000005457 optimization Methods 0.000 title claims abstract description 38
- 238000001228 spectrum Methods 0.000 claims abstract description 56
- 239000000126 substance Substances 0.000 claims abstract description 45
- 238000012937 correction Methods 0.000 claims abstract description 21
- 238000007781 pre-processing Methods 0.000 claims abstract description 10
- 239000011159 matrix material Substances 0.000 claims description 58
- 238000001514 detection method Methods 0.000 claims description 7
- 125000004122 cyclic group Chemical group 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 4
- 230000005012 migration Effects 0.000 claims 1
- 238000013508 migration Methods 0.000 claims 1
- 238000004458 analytical method Methods 0.000 abstract description 12
- 238000004445 quantitative analysis Methods 0.000 abstract description 8
- 238000005516 engineering process Methods 0.000 abstract description 6
- 238000010183 spectrum analysis Methods 0.000 abstract description 5
- 238000010606 normalization Methods 0.000 abstract description 4
- 238000012549 training Methods 0.000 description 8
- 239000005416 organic matter Substances 0.000 description 7
- 238000005259 measurement Methods 0.000 description 6
- 239000002689 soil Substances 0.000 description 6
- 238000002329 infrared spectrum Methods 0.000 description 5
- 239000010865 sewage Substances 0.000 description 5
- 238000004476 mid-IR spectroscopy Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000010238 partial least squares regression Methods 0.000 description 3
- 238000004477 FT-NIR spectroscopy Methods 0.000 description 2
- 238000004497 NIR spectroscopy Methods 0.000 description 2
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 2
- 210000004271 bone marrow stromal cell Anatomy 0.000 description 2
- 229910052760 oxygen Inorganic materials 0.000 description 2
- 239000001301 oxygen Substances 0.000 description 2
- 238000010223 real-time analysis Methods 0.000 description 2
- 239000004016 soil organic matter Substances 0.000 description 2
- 238000001237 Raman spectrum Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000002189 fluorescence spectrum Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000002650 habitual effect Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
- G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
- G01N21/35—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
- G01N21/3563—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light for analysing solids; Preparation of samples therefor
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
- G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
- G01N21/35—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
- G01N21/359—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light using near infrared light
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Immunology (AREA)
- Computational Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- General Health & Medical Sciences (AREA)
- Biochemistry (AREA)
- Pure & Applied Mathematics (AREA)
- Analytical Chemistry (AREA)
- Mathematical Physics (AREA)
- Chemical & Material Sciences (AREA)
- Health & Medical Sciences (AREA)
- Pathology (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Algebra (AREA)
- Probability & Statistics with Applications (AREA)
- Operations Research (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
本发明公开了一种面向光谱基线校正的加权建模局部优化方法。该方法将目标成分的化学值数据转换为权重信息,结合多元散射校正预处理方法构建光谱数据加权校正方法,利用归一化运算的特点,将回归方程的常数项归于无穷小量,使光谱基线偏移的数据特征不被带入定标模型中。同时,基于样本光谱的距离指标构造负指数函数权值,加权提取光谱数据的特征信号,为定标模型的局部优化提取具有高信噪比的信息波长变量,以降低模型复杂度,缩短建模运算时间。基于加权化学值和加权优化光谱值建立特定对象的光谱分析局部优化模型,融合即时分析技术,实现快速建模,能够有效提高光谱定量分析模型的预测能力。
Description
技术领域
本发明涉及近红外、红外光谱分析中的建模优化领域,具体涉及建模过程中的一种面向光谱基线校正的加权建模局部优化方法。
背景技术
光谱计量分析是一种快速检测技术。它是利用不同频率的光照射物质对象,通过对比入射光和出射光的光强能量改变产生光谱数据,并通过统计学定标方法对光谱数据进行建模和挖掘,来确定检测对象中的特定化学成分含量。利用红外(Mid-IR)或近红外(Near-IR)谱段的光谱能够实现高效率低成本、无破坏性、多成分同时快速分析,应用于农业、食品、环境等领域。为了实现高精准度的快速即时分析,Mid-IR/Near-IR需要结合多目标多层次的计量学分析方法的研究,随着大数据智能化时代的到来,近红外/红外光谱分析更倾向于结合即时分析技术的应用。
即时分析技术的特点在于即测即得,然而现场测量得到的光谱数据通常包含各种噪音干扰,使得即时分析技术无法有效执行。噪音主要来自于现场环境条件多变和人工操作的不确定性,形成了光谱基线偏移和信息不确定两种典型的干扰。基线偏移即为某样本光谱的数据原点偏离了其他样本的数据原点,所获取的光谱并非真实反映该样本的实际光谱强度,如果每个样本都按照测量所得数据整合光谱矩阵,则该矩阵数据对应多个不同的数据原点,进而间接影响后期光谱定标效果。信息不确定即为某波长频率的光谱响应失真,在该波长所测得的光谱数据存在测量误差,在所设置的整个近红外/红外检测谱段中有可能存在多个波长点的响应失真,从而导致后期光谱定标建模的预测精准度的下降。
由于现场环境条件难以控制、人工操作具有一定的习惯性和连续性,此类噪音无法在测量过程中进行校正,因此,有必要在光谱定标建模过程中,研究一种光谱分析的计量学方法,以解决光谱矩阵数据中所包含的基线偏移和信息不确定两种噪音干扰,有利于推动Mid-IR/Near-IR光谱分析和即时分析技术的整合应用。基于此,本发明提出一种面向光谱基线校正的加权建模局部优化方法(简称基线校正加权局部优化方法,BCWLO方法),基于Lambert-Beer定律和偏最小二乘法(PLS)建立光谱定标模型,一方面利用标准化和归一化技术将训练样本的参考化学值整合成为光谱数据的加权值,通过多元散射校正(MSC)的预处理操作对光谱数据进行加权校正,以达到消除基线偏移的目的;另一方面,基于距离规则为光谱数据构造以负指数函数加权的矩阵,以此加强光谱特征信号的显著性,利用加权光谱矩阵和归一化参考化学值进行光谱定标训练,能够实现对光谱模型的局部优化。
发明内容
本发明是为近红外、红外光谱定量分析技术提供面向光谱基线校正的加权建模局部优化方法,即BCWLO方法。该方法能够针对不同的分析对象,快速有效地完成光谱基线校正、实现针对不同目标成分定量检测的局部建模优化。
数据准备:利用近红外/红外光谱仪器测量光谱数据,设置测量的光谱波段起止位置和光谱分辨率,以确定输出的连续光谱波段共包含p个波长变量;将n个样本逐次放入光谱仪中进行测量,获得光谱响应数据矩阵An×p;另一方面,利用常规化学方法定量测定相同n个样本的r个目标成分含量,作为光谱分析建模优化的参考化学值Cn×r(以下简称化学值)。
本发明的面向光谱基线校正的加权建模局部优化方法的具体步骤为:
步骤一,基于样本化学值矩阵Cn×r,计算化学值权重矩阵Ωn×r=[ωi],i=1,2,…n,其中ωi=[ωi,j]1×r为针对第i个样本的权重向量,且j=1,2…r;并对C进行加权运算得到加权后的化学值矩阵,记为CΩ。
步骤二,基于权重矩阵Ω对光谱数据进行预处理。光谱数据预处理的目的在于光谱降噪,考虑将化学值权重向量ωi嵌入多元散射矫正(MSC)方法完成预处理,可加强针对基线偏移的校正。具体过程如下:
②通过每个样本光谱Ai对平均光谱Aave按照Ai=k·Aave+1·b的线性关系进行回归,估计回归系数k和b;
步骤三,基于光谱数据An×p计算权重矩阵
Δ=diag(δi),i=1,2,…n,
步骤四,联合AΔ和CΩ,实现光谱建模局部优化,具体过程如下:
①基于Lambert-Beer定律得到化学值与光谱值的线性关系 其中Bp×r=[bj](j=1,2…r)为回归系数矩阵。利用偏最小二乘(PLS)算法建立光谱定标预测模型,预测目标样本的化学值Ci′(i=1,2…n),通过计算均方根误差即可得到基于全谱波长的模型预测结果。
②设置PLS潜变量f在算法调试过程中的取值范围为1≤f≤Fmax且f∈Z,通过调试不同PLS潜变量因子数(f=1,2,…Fmax),对全波长变量进行特征提取可实现PLS降维和即时局部优化。对于某一个确定的f取值,找到矩阵的最大特征值所对应的特征向量σf,随后计算加权光谱矩阵AΔ关于这个f固定取值的得分向量sf和载荷向量lf,同时估计针对f个因子数的回归系数矩阵Br×f,其中
③历遍所有的f取值,如果f<Fmax,使f=f+1进行循环求解,
得到分别基于f=1,2…Fmax个潜变量因子的多个定标模型,并根据预测均方根误差RMSE(f)的最小值确定最优的潜变量因子数fopt。
步骤五,根据步骤四选取的最优潜变量因子数fopt,将加权光谱矩阵AΔ进行分解得到其对应的得分矩阵Sopt=[s1,s2,…sfopt]和载荷矩阵Lopt=[l1,l2,…lfopt],结合化学值建立局部优化的PLS回归模型(类似步骤四①),估计回归系数矩阵Bopt=[b1,b2,…bfopt],由此确定光谱加权局部优化的定标模型,可得化学值预测值为:
该模型可用于对新来未知样本的预测。通过采集未知样本的光谱数据(耗时仅2~3min),即可通过局部优化模型对未知样本进行即时分析,实现快速检测。
与现有技术相比,本发明的BCWLO方法的优势在于,一方面,以统计学的标准化/归一化理论为依据,将训练样本对应目标成分的化学值数据转换为权重信息,结合常用的MSC预处理方法构建光谱数据加权校正方法,利用标准化/归一化的计算特性,将回归方程的常数项归于无穷小量,使得光谱基线偏移的数据特征不被带入定标模型中,以消除基线偏移对于模型预测结果的影响。另一方面,利用数据科学中基于距离提取特征信号的原理,针对经过化学值加权预处理后的光谱数据进一步构造基于距离的负指数函数权值,达到突显目标成分的光谱数据特征的目的,为定标模型的局部优化提取信息波长变量,能够减少参与建模的波长变量个数,降低模型复杂度,缩短建模运算时间,实现快速建模。最后,利用经典的PLS算法建立基于归一化化学值和加权优化光谱值的局部优化模型,能够有效提高Mid-IR/Near-IR光谱定标模型的预测能力,有利于推动即时分析技术的融合应用,可以胜任近红外/红外光谱的现场在线快速建模,对于小型专用光谱仪器的开发和生产提供良好的算法理论和技术支持。
本发明的BCWLO方法针对近红外/红外光谱分析领域而提出,同时可以应用于远红外、紫外等不同频率波段的原生光谱、拉曼光谱、荧光光谱的定量分析过程。已经在土壤有机质的FT-NIR定量分析、污水处理化学需氧量(COD)的NIR分析中得到验证。
附图说明
图1为本发明的BCWLO的算法流程示意图。
图2为本发明实施例1中BCWLO方法应用于污水COD的NIR光谱定量分析中所得到的波长变量权重图。
图3为本发明实施例1中利用加权MSC基线校正光谱图。
图4为本发明实施例1中PLS因子数优选图。
图5为本发明实施例1中加权局部优化的样本预测图。
图6为本发明实施例2中BCWLO方法应用于土壤有机质的FT-NIR光谱定量分析中所得到的波长变量权重图。
图7为本发明实施例2中利用加权MSC基线校正光谱图。
图8为本发明实施例2中PLS因子数优选图。
图9为本发明实施例2中加权局部优化的样本预测图。
具体实施方式
以下将利用两个实施例对本发明予以进一步的说明,但并不因此而限制本发明。
实施例1:
污水样本化学需氧量(COD值)的NIR光谱定量分析。共有83个污水样品,目标成分为COD(即n=83,r=1),其COD取值范围为52-382mg/L,光谱测量设置的连续长波段区域是800-2498(nm),相邻波长间隔2nm,每个样本测得共有850个波长变量的光谱值(即p=850);光谱建模采用基于PLS方法的内部留一交叉检验的模式,利用本发明的BCWLO方法实现基线偏移校正和局部优化的波长变量选择,采用均方根偏差(RMSE)来量化衡量建模预测效果,并给出定标模型的回归系数。
具体步骤为:
步骤二,基于权重矩阵Ω,将化学值权重向量ωi(i=1,2…83)嵌入MSC方法完成预处理,可加强针对基线偏移的校正。具体过程:①计算所有样本的加权平均光谱:②通过每个样本光谱Ai对平均光谱Aave按照Ai=k·Aave+1·b的线性关系进行回归,估计得到回归系数k=1.0697和b=0.1902;③利用回归系数计算得到MSC校正后的光谱:
步骤三,基于预处理后的光谱数据计算权重矩阵Δ=diag(δi),i=1,2,…83,其中偏移参数τ取值为τ=0.6。并对AMSC进行加权运算,得到加权后的光谱矩阵AΔ=Δ·AMSC加权计算后光谱AΔ如图3所示。
步骤四,联合AΔ和CΩ,实现光谱建模局部优化,具体过程为:①基于Lambert-Beer定律得到COD化学值与污水光谱值的线性关系 其中B=[bj]850×1为回归系数矩阵。利用偏最小二乘(PLS)算法建立光谱定标预测模型,按照样本进行留一内部交叉估计,每次提取第i个样本作为目标样本,其余样本作为定标训练样本,利用训练样本建模估计系数矩阵B,进而预测目标样本的化学值Ci′,通过改变i的取值(即i=1,2…83)历遍所有样本,通过计算均方根误差即可得到基于全谱波长的模型预测结果。②设置PLS潜变量f在算法调试过程中的取值范围为1≤f≤30,通过调试不同PLS潜变量因子数(f=1,2,…30),对全波长变量进行特征提取可实现PLS降维和即时局部优化。对于某一个确定的f取值,找到矩阵的最大特征值所对应的特征向量σf,随后计算加权光谱矩阵AΔ关于这个f固定取值的得分向量sf和载荷向量lf,同时估计针对f个因子数的回归系数矩阵B1×f,其中③历遍所有的f取值,如果f<30,使f=f+1进行循环求解,得到分别基于f=1,2…30个潜变量因子的多个定标模型,对应的RMSE(f)结果如图4所示,最小值确定最优的潜变量因子数fopt=11。
步骤五,根据步骤四选取的最优潜变量因子数fopt=11,将加权光谱矩阵AΔ进行分解得到其对应的得分矩阵Sopt=[s1,s2,…s11]和载荷矩阵Lopt=[l1,l2,…l11],结合化学值建立局部优化的PLS回归模型(类似步骤四①)估计回归系数,Bopt=[b1,b2,…b11]=[95.9,-12.4,438.6,171.9,-364.4,-31.7,171.6,-42.5,122.6,279.3,-289.1],由此确定光谱加权局部优化的定标模型,可计算化学值预测值为:所有83个样本的COD预测值如图5所示,与实际含量相比,具有RMSE(fopt)=RMSE(11)=18.32的预测均方根偏差,可用于对未知土壤样本的有机质含量进行预测,实现快速检测。
实施例2:
土壤样本有机质含量的FT-NIR光谱定量分析。共有135个土壤样品,目标成分为有机质(即n=135,r=1),有机质含量范围是1.100-6.418(wt%),光谱测量设置的连续长波段区域是10000-4000(cm-1),光谱分辨率为8cm-1,每个样本测得共有1512个波长变量的光谱值(即p=1512);光谱建模采用基于PLS方法的外部检验模式,训练集样本85个,验证集样本50个,利用本发明的BCWLO方法实现基线偏移校正和局部优化的波长变量选择,采用均方根偏差(RMSE)来量化衡量建模预测效果,并给出定标模型的回归系数。
具体步骤为:
步骤一,基于135个土壤样本的有机质含量化学值Ci(i=1,2…135)计算化学值权重矩阵Ω135×1=[ωi],其中ωi为针对第i个样本的权重向量,且并对C进行加权运算得到加权后的化学值CΩ(如图6所示)。
步骤二,基于权重矩阵Ω135×1数据,将化学值权重数据ωi嵌入MSC方法完成预处理:①计算所有样本的加权平均光谱:②通过每个样本光谱Ai对平均光谱Aave按照Ai=k·Aave+1·b的线性关系进行回归,估计回归系数k=1.1547和b=0.0703;③利用回归系数计算得到MSC校正后的光谱:
步骤四,联合AΔ和CΩ,实现光谱建模局部优化,具体过程为:①基于Lambert-Beer定律确定有机质化学值与土壤光谱值的线性关系 其中B=[bj]1512×1为回归系数矩阵。利用PLS算法建立光谱定标预测模型,按照样本进行留一内部交叉估计,每次提取第i个样本作为目标样本,其余样本作为定标训练样本,利用训练样本建模估计系数矩阵B,进而预测目标样本的化学值Ci′,通过改变i的取值(即i=1,2…135)历遍所有样本,通过计算均方根误差即可得到基于全谱波长的模型预测结果。②设置PLS潜变量f在算法调试过程中的取值范围为1≤f≤20,通过调试不同PLS潜变量因子数(f=1,2,…20),对全波长变量进行特征提取可实现PLS降维和即时局部优化。对于某一个确定的f取值,找到矩阵的最大特征值所对应的特征向量σf,随后计算加权光谱矩阵AΔ关于这个f固定取值的得分向量sf和载荷向量lf,同时估计针对f个因子数的回归系数矩阵B1×f,其中 ③历遍所有的f取值,如果f<20,使f=f+1进行循环求解,得到分别基于f=1,2…20个潜变量因子的多个定标模型,对应的RMSE(f)结果如图8所示,最小值确定最优的潜变量因子数fopt=7。
步骤五,根据步骤四选取的最优潜变量因子数fopt=7,将加权光谱矩阵AΔ进行分解得到其对应的得分矩阵Sopt=[s1,s2,…s7]和载荷矩阵Lopt=[l1,l2,…l7],结合化学值建立局部优化的PLS回归模型(类似步骤四①)估计回归系数,可以得到Bopt=[b1,b2,…b7]=[-6527,3936,1363,-974,747,-367,279],由此确定光谱加权局部优化的定标模型,可计算化学值预测值为: 所有135个样本的有机质含量预测值如图9所示,与实际含量相比,具有RMSE(fopt)=RMSE(7)=0.2423的预测均方根偏差,可用于对未知土壤样本的有机质含量进行预测,实现快速检测。
Claims (1)
1.一种面向光谱基线校正的加权建模局部优化方法,其特征在于具体步骤为:
步骤一,基于样本化学值矩阵Cn×r,计算化学值权重矩阵Ωn×r=[ωi],i=1,2,…n,其中ωi=[ωi,j]1×r为针对第i个样本的权重向量,且 并对C进行加权运算得到加权后的化学值矩阵,记为CΩ;
步骤二,基于权重矩阵Ω对光谱数据进行预处理,光谱数据预处理的目的在于光谱降噪,考虑将化学值权重向量ωi嵌入多元散射矫正方法完成预处理,可加强针对基线偏移的校正,具体过程如下:
②通过每个样本光谱Ai对平均光谱Aave按照Ai=k·Aave+1·b的线性关系进行回归,估计回归系数k和b;
步骤三,基于光谱数据An×p计算权重矩阵;
Δ=diag(δi),i=1,2,…n,
步骤四,联合AΔ和CΩ,实现光谱建模局部优化,具体过程如下:
①基于Lambert-Beer定律得到化学值与光谱值的线性关系其中Bp×r=[bj](j=1,2…r)为回归系数矩阵,利用偏最小二乘算法建立光谱定标预测模型,预测目标样本的化学值Ci ′(i=1,2…n),通过计算均方根误差,即可得到基于全谱波长的模型预测结果;
②设置PLS潜变量f在算法调试过程中的取值范围为1≤f≤Fmax且f∈Z,通过调试不同偏最小二乘潜变量因子数f=1,2,…Fmax,对全波长变量进行特征提取可实现偏最小二乘降维和即时局部优化,对于某一个确定的f取值,找到矩阵的最大特征值所对应的特征向量σf,随后计算加权光谱矩阵AΔ关于这个f固定取值的得分向量sf和载荷向量lf,同时估计针对f个因子数的回归系数矩阵Br×f,其中
③历遍所有的f取值,如果f<Fmax,使f=f+1进行循环求解,
得到分别基于f=1,2…Fmax个潜变量因子的多个定标模型,并根据预测均方根误差RMSE(f)的最小值确定最优的潜变量因子数fopt;
步骤五,根据步骤四选取的最优潜变量因子数fopt,将加权光谱矩阵AΔ进行分解得到其对应的得分矩阵Sopt=[s1,s2,…sfopt]和载荷矩阵Lopt=[l1,l2,…lfopt],结合化学值建立局部优化的偏最小二乘回归模型,估计回归系数矩阵Bopt=[b1,b2,…bfopt],由此确定光谱加权局部优化的定标模型,可得化学值预测值为:
该模型可用于对新来未知样本的预测,通过采集未知样本的光谱数据,耗时仅2~3min,即可通过局部优化模型对未知样本进行即时分析,实现快速检测。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010636816.9A CN111999258B (zh) | 2020-07-03 | 2020-07-03 | 一种面向光谱基线校正的加权建模局部优化方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010636816.9A CN111999258B (zh) | 2020-07-03 | 2020-07-03 | 一种面向光谱基线校正的加权建模局部优化方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111999258A true CN111999258A (zh) | 2020-11-27 |
CN111999258B CN111999258B (zh) | 2022-06-17 |
Family
ID=73466414
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010636816.9A Active CN111999258B (zh) | 2020-07-03 | 2020-07-03 | 一种面向光谱基线校正的加权建模局部优化方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111999258B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114184576A (zh) * | 2021-10-19 | 2022-03-15 | 北京蓝星清洗有限公司 | 一种基于分子光谱流程工业在线测量方法及系统 |
CN115049025A (zh) * | 2022-08-16 | 2022-09-13 | 山东钢铁股份有限公司 | 一种基于弹性分段标准化算法的模型迁移方法及系统 |
CN116202973A (zh) * | 2023-05-06 | 2023-06-02 | 弗斯迈智能科技(江苏)有限公司 | 一种钙钛矿胶膜整叠成膜检测系统 |
Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1992007275A1 (en) * | 1990-10-12 | 1992-04-30 | Exxon Research And Engineering Company | Spectral data measurement and correction |
EP1875128A2 (en) * | 2005-04-25 | 2008-01-09 | University of Massachusetts | Systems and methods for correcting optical reflectance measurements |
CN101520412A (zh) * | 2009-03-23 | 2009-09-02 | 中国计量学院 | 基于独立分量分析和遗传神经网络的近红外光谱分析方法 |
CN101825567A (zh) * | 2010-04-02 | 2010-09-08 | 南开大学 | 一种近红外光谱和拉曼光谱波长的筛选方法 |
CN102854151A (zh) * | 2012-10-06 | 2013-01-02 | 桂林理工大学 | 一种光谱分析中样品集划分的化学计量学方法 |
CN104502306A (zh) * | 2014-12-09 | 2015-04-08 | 西北师范大学 | 基于变量重要性的近红外光谱波长选择方法 |
CN105928901A (zh) * | 2016-07-11 | 2016-09-07 | 上海创和亿电子科技发展有限公司 | 一种定性定量相结合的近红外定量模型构建方法 |
CN106124445A (zh) * | 2016-06-16 | 2016-11-16 | 福州大学 | 一种快速、无损鉴别转基因大豆方法 |
CN106951720A (zh) * | 2017-04-12 | 2017-07-14 | 山东省科学院海洋仪器仪表研究所 | 基于典型相关性分析及线性插值的土壤养分模型转移方法 |
CN107148567A (zh) * | 2014-10-29 | 2017-09-08 | 堀场仪器株式会社 | 基于吸光度和荧光确定水处理参数 |
CN107271389A (zh) * | 2017-06-24 | 2017-10-20 | 桂林理工大学 | 一种基于指标极值的光谱特征变量快速匹配方法 |
CN109409350A (zh) * | 2018-10-23 | 2019-03-01 | 桂林理工大学 | 一种基于pca建模反馈式载荷加权的波长选择方法 |
CN110361356A (zh) * | 2019-07-30 | 2019-10-22 | 长春理工大学 | 一种提高小麦水分预测精度的近红外光谱变量选择方法 |
CN110503156A (zh) * | 2019-08-27 | 2019-11-26 | 黑龙江八一农垦大学 | 一种基于最小相关系数的多变量校正特征波长选择方法 |
-
2020
- 2020-07-03 CN CN202010636816.9A patent/CN111999258B/zh active Active
Patent Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1992007275A1 (en) * | 1990-10-12 | 1992-04-30 | Exxon Research And Engineering Company | Spectral data measurement and correction |
EP1875128A2 (en) * | 2005-04-25 | 2008-01-09 | University of Massachusetts | Systems and methods for correcting optical reflectance measurements |
CN101520412A (zh) * | 2009-03-23 | 2009-09-02 | 中国计量学院 | 基于独立分量分析和遗传神经网络的近红外光谱分析方法 |
CN101825567A (zh) * | 2010-04-02 | 2010-09-08 | 南开大学 | 一种近红外光谱和拉曼光谱波长的筛选方法 |
CN102854151A (zh) * | 2012-10-06 | 2013-01-02 | 桂林理工大学 | 一种光谱分析中样品集划分的化学计量学方法 |
CN107148567A (zh) * | 2014-10-29 | 2017-09-08 | 堀场仪器株式会社 | 基于吸光度和荧光确定水处理参数 |
CN104502306A (zh) * | 2014-12-09 | 2015-04-08 | 西北师范大学 | 基于变量重要性的近红外光谱波长选择方法 |
CN106124445A (zh) * | 2016-06-16 | 2016-11-16 | 福州大学 | 一种快速、无损鉴别转基因大豆方法 |
CN105928901A (zh) * | 2016-07-11 | 2016-09-07 | 上海创和亿电子科技发展有限公司 | 一种定性定量相结合的近红外定量模型构建方法 |
CN106951720A (zh) * | 2017-04-12 | 2017-07-14 | 山东省科学院海洋仪器仪表研究所 | 基于典型相关性分析及线性插值的土壤养分模型转移方法 |
CN107271389A (zh) * | 2017-06-24 | 2017-10-20 | 桂林理工大学 | 一种基于指标极值的光谱特征变量快速匹配方法 |
CN109409350A (zh) * | 2018-10-23 | 2019-03-01 | 桂林理工大学 | 一种基于pca建模反馈式载荷加权的波长选择方法 |
CN110361356A (zh) * | 2019-07-30 | 2019-10-22 | 长春理工大学 | 一种提高小麦水分预测精度的近红外光谱变量选择方法 |
CN110503156A (zh) * | 2019-08-27 | 2019-11-26 | 黑龙江八一农垦大学 | 一种基于最小相关系数的多变量校正特征波长选择方法 |
Non-Patent Citations (10)
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114184576A (zh) * | 2021-10-19 | 2022-03-15 | 北京蓝星清洗有限公司 | 一种基于分子光谱流程工业在线测量方法及系统 |
CN115049025A (zh) * | 2022-08-16 | 2022-09-13 | 山东钢铁股份有限公司 | 一种基于弹性分段标准化算法的模型迁移方法及系统 |
CN116202973A (zh) * | 2023-05-06 | 2023-06-02 | 弗斯迈智能科技(江苏)有限公司 | 一种钙钛矿胶膜整叠成膜检测系统 |
Also Published As
Publication number | Publication date |
---|---|
CN111999258B (zh) | 2022-06-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111999258B (zh) | 一种面向光谱基线校正的加权建模局部优化方法 | |
Chen et al. | Rapid measurement of total acid content (TAC) in vinegar using near infrared spectroscopy based on efficient variables selection algorithm and nonlinear regression tools | |
CN101915744B (zh) | 物质成分含量的近红外光谱无损检测方法及装置 | |
Giovenzana et al. | Rapid evaluation of craft beer quality during fermentation process by vis/NIR spectroscopy | |
CN102879353B (zh) | 近红外检测花生中蛋白质组分含量的方法 | |
CN107703097B (zh) | 利用近红外光谱仪构建快速预测原油性质的模型的方法 | |
CN111488926B (zh) | 一种基于优化模型的土壤有机质测定方法 | |
CN101825567A (zh) | 一种近红外光谱和拉曼光谱波长的筛选方法 | |
CN109669023A (zh) | 一种基于多传感器融合的土壤属性预测方法 | |
CN105486655A (zh) | 基于红外光谱智能鉴定模型的土壤有机质快速检测方法 | |
Chen et al. | Quantitative analysis of soil nutrition based on FT-NIR spectroscopy integrated with BP neural deep learning | |
CN106596456A (zh) | 基于可变移动窗口选择溶液近红外光谱谱区的方法 | |
CN115993344A (zh) | 一种近红外光谱分析仪质量监测分析系统及方法 | |
CN104596979A (zh) | 近红外漫反射光谱技术测定造纸法再造烟叶纤维素的方法 | |
CN106018331A (zh) | 多通道光谱系统的稳定性评价方法及预处理优化方法 | |
CN104596976A (zh) | 近红外漫反射光谱技术测定造纸法再造烟叶蛋白质的方法 | |
CN114611582A (zh) | 一种基于近红外光谱技术分析物质浓度的方法及系统 | |
CN111141809B (zh) | 一种基于非接触式电导信号的土壤养分离子含量检测方法 | |
CN108120694A (zh) | 用于晒红烟化学成分分析的多元校正方法及系统 | |
CN116578851A (zh) | 一种高光谱土壤有效硼含量预测方法 | |
CN108398400B (zh) | 利用太赫兹成像无损检测小麦中脂肪酸含量的方法 | |
Sun et al. | Visible-NIR spectroscopy and least square support vector machines regression for determination of vitamin C of mandarin fruit | |
CN111220565B (zh) | 一种基于cpls的红外光谱测量仪器标定迁移方法 | |
US11754539B2 (en) | System and computer-implemented method for extrapolating calibration spectra | |
CN109145887B (zh) | 一种基于光谱潜变量混淆判别的阈值分析方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |