CN111999258B - 一种面向光谱基线校正的加权建模局部优化方法 - Google Patents

Abstract

本发明公开了一种面向光谱基线校正的加权建模局部优化方法。该方法将目标成分的化学值数据转换为权重信息，结合多元散射校正预处理方法构建光谱数据加权校正方法，利用归一化运算的特点，将回归方程的常数项归于无穷小量，使光谱基线偏移的数据特征不被带入定标模型中。同时，基于样本光谱的距离指标构造负指数函数权值，加权提取光谱数据的特征信号，为定标模型的局部优化提取具有高信噪比的信息波长变量，以降低模型复杂度，缩短建模运算时间。基于加权化学值和加权优化光谱值建立特定对象的光谱分析局部优化模型，融合即时分析技术，实现快速建模，能够有效提高光谱定量分析模型的预测能力。

Description

一种面向光谱基线校正的加权建模局部优化方法

技术领域

本发明涉及近红外、红外光谱分析中的建模优化领域，具体涉及建模过程中的一种面向光谱基线校正的加权建模局部优化方法。

背景技术

光谱计量分析是一种快速检测技术。它是利用不同频率的光照射物质对象，通过对比入射光和出射光的光强能量改变产生光谱数据，并通过统计学定标方法对光谱数据进行建模和挖掘，来确定检测对象中的特定化学成分含量。利用红外(Mid-IR)或近红外(Near-IR)谱段的光谱能够实现高效率低成本、无破坏性、多成分同时快速分析，应用于农业、食品、环境等领域。为了实现高精准度的快速即时分析，Mid-IR/Near-IR需要结合多目标多层次的计量学分析方法的研究，随着大数据智能化时代的到来，近红外/红外光谱分析更倾向于结合即时分析技术的应用。

即时分析技术的特点在于即测即得，然而现场测量得到的光谱数据通常包含各种噪音干扰，使得即时分析技术无法有效执行。噪音主要来自于现场环境条件多变和人工操作的不确定性，形成了光谱基线偏移和信息不确定两种典型的干扰。基线偏移即为某样本光谱的数据原点偏离了其他样本的数据原点，所获取的光谱并非真实反映该样本的实际光谱强度，如果每个样本都按照测量所得数据整合光谱矩阵，则该矩阵数据对应多个不同的数据原点，进而间接影响后期光谱定标效果。信息不确定即为某波长频率的光谱响应失真，在该波长所测得的光谱数据存在测量误差，在所设置的整个近红外/红外检测谱段中有可能存在多个波长点的响应失真，从而导致后期光谱定标建模的预测精准度的下降。

由于现场环境条件难以控制、人工操作具有一定的习惯性和连续性，此类噪音无法在测量过程中进行校正，因此，有必要在光谱定标建模过程中，研究一种光谱分析的计量学方法，以解决光谱矩阵数据中所包含的基线偏移和信息不确定两种噪音干扰，有利于推动Mid-IR/Near-IR光谱分析和即时分析技术的整合应用。基于此，本发明提出一种面向光谱基线校正的加权建模局部优化方法(简称基线校正加权局部优化方法，BCWLO方法)，基于Lambert-Beer定律和偏最小二乘法(PLS)建立光谱定标模型，一方面利用标准化和归一化技术将训练样本的参考化学值整合成为光谱数据的加权值，通过多元散射校正(MSC)的预处理操作对光谱数据进行加权校正，以达到消除基线偏移的目的；另一方面，基于距离规则为光谱数据构造以负指数函数加权的矩阵，以此加强光谱特征信号的显著性，利用加权光谱矩阵和归一化参考化学值进行光谱定标训练，能够实现对光谱模型的局部优化。

发明内容

本发明是为近红外、红外光谱定量分析技术提供面向光谱基线校正的加权建模局部优化方法，即BCWLO方法。该方法能够针对不同的分析对象，快速有效地完成光谱基线校正、实现针对不同目标成分定量检测的局部建模优化。

数据准备：利用近红外/红外光谱仪器测量光谱数据，设置测量的光谱波段起止位置和光谱分辨率，以确定输出的连续光谱波段共包含p个波长变量；将n个样本逐次放入光谱仪中进行测量，获得光谱响应数据矩阵A_n×p；另一方面，利用常规化学方法定量测定相同n个样本的r个目标成分含量，作为光谱分析建模优化的参考化学值C_n×r(以下简称化学值)。

本发明的面向光谱基线校正的加权建模局部优化方法的具体步骤为：

步骤一，基于样本化学值矩阵C_n×r，计算化学值权重矩阵Ω_n×r＝[ω_i],i＝1,2,…n，其中ω_i＝[ω_i,j]_1×r为针对第i个样本的权重向量，且

j＝1,2…r；并对C进行加权运算得到加权后的化学值矩阵，记为C^Ω。

步骤二，基于权重矩阵Ω对光谱数据进行预处理。光谱数据预处理的目的在于光谱降噪，考虑将化学值权重向量ω_i嵌入多元散射矫正(MSC)方法完成预处理，可加强针对基线偏移的校正。具体过程如下：

①计算所有样本的加权平均光谱：

②通过每个样本光谱A_i对平均光谱A_ave按照A_i＝k·A_ave+1·b的线性关系进行回归，估计回归系数k和b；

③利用回归系数计算得到MSC校正后的光谱：

步骤三，基于光谱数据A_n×p计算权重矩阵

Δ＝diag(δ_i),i＝1,2,…n，

其中

τ为偏移参数(一般取值τ∈(0,1])。并对A^MSC进行加权运算，可加强光谱特征信号的显著性，得到加权后的光谱矩阵(记为A^Δ)，即A^Δ＝Δ·A^MSC。

步骤四，联合A^Δ和C^Ω，实现光谱建模局部优化，具体过程如下：

①基于Lambert-Beer定律得到化学值与光谱值的线性关系

其中B_p×r＝[b_j](j＝1,2…r)为回归系数矩阵。利用偏最小二乘(PLS)算法建立光谱定标预测模型，预测目标样本的化学值C_i′(i＝1,2…n)，通过计算均方根误差

即可得到基于全谱波长的模型预测结果。

②设置PLS潜变量f在算法调试过程中的取值范围为1≤f≤F_max且f∈Z，通过调试不同PLS潜变量因子数(f＝1,2,…F_max)，对全波长变量进行特征提取

可实现PLS降维和即时局部优化。对于某一个确定的f取值，找到矩阵

的最大特征值所对应的特征向量σ_f，随后计算加权光谱矩阵A^Δ关于这个f固定取值的得分向量s_f和载荷向量l_f，同时估计针对f个因子数的回归系数矩阵B_r×f，其中

③历遍所有的f取值，如果f<F_max，使f＝f+1进行循环求解，

得到分别基于f＝1,2…F_max个潜变量因子的多个定标模型，并根据预测均方根误差RMSE(f)的最小值确定最优的潜变量因子数f_opt。

步骤五，根据步骤四选取的最优潜变量因子数f_opt，将加权光谱矩阵A^Δ进行分解得到其对应的得分矩阵S_opt＝[s₁,s₂,…s_fopt]和载荷矩阵L_opt＝[l₁,l₂,…l_fopt]，结合化学值建立局部优化的PLS回归模型(类似步骤四①)，估计回归系数矩阵B_opt＝[b₁,b₂,…b_fopt]，由此确定光谱加权局部优化的定标模型，可得化学值预测值为：

该模型可用于对新来未知样本的预测。通过采集未知样本的光谱数据(耗时仅2～3min)，即可通过局部优化模型对未知样本进行即时分析，实现快速检测。

与现有技术相比，本发明的BCWLO方法的优势在于，一方面，以统计学的标准化/归一化理论为依据，将训练样本对应目标成分的化学值数据转换为权重信息，结合常用的MSC预处理方法构建光谱数据加权校正方法，利用标准化/归一化的计算特性，将回归方程的常数项归于无穷小量，使得光谱基线偏移的数据特征不被带入定标模型中，以消除基线偏移对于模型预测结果的影响。另一方面，利用数据科学中基于距离提取特征信号的原理，针对经过化学值加权预处理后的光谱数据进一步构造基于距离的负指数函数权值，达到突显目标成分的光谱数据特征的目的，为定标模型的局部优化提取信息波长变量，能够减少参与建模的波长变量个数，降低模型复杂度，缩短建模运算时间，实现快速建模。最后，利用经典的PLS算法建立基于归一化化学值和加权优化光谱值的局部优化模型，能够有效提高Mid-IR/Near-IR光谱定标模型的预测能力，有利于推动即时分析技术的融合应用，可以胜任近红外/红外光谱的现场在线快速建模，对于小型专用光谱仪器的开发和生产提供良好的算法理论和技术支持。

本发明的BCWLO方法针对近红外/红外光谱分析领域而提出，同时可以应用于远红外、紫外等不同频率波段的原生光谱、拉曼光谱、荧光光谱的定量分析过程。已经在土壤有机质的FT-NIR定量分析、污水处理化学需氧量(COD)的NIR分析中得到验证。

附图说明

图1为本发明的BCWLO的算法流程示意图。

图2为本发明实施例1中BCWLO方法应用于污水COD的NIR光谱定量分析中所得到的波长变量权重图。

图3为本发明实施例1中利用加权MSC基线校正光谱图。

图4为本发明实施例1中PLS因子数优选图。

图5为本发明实施例1中加权局部优化的样本预测图。

图6为本发明实施例2中BCWLO方法应用于土壤有机质的FT-NIR光谱定量分析中所得到的波长变量权重图。

图7为本发明实施例2中利用加权MSC基线校正光谱图。

图8为本发明实施例2中PLS因子数优选图。

图9为本发明实施例2中加权局部优化的样本预测图。

具体实施方式

以下将利用两个实施例对本发明予以进一步的说明，但并不因此而限制本发明。

实施例1：

污水样本化学需氧量(COD值)的NIR光谱定量分析。共有83个污水样品，目标成分为COD(即n＝83,r＝1)，其COD取值范围为52-382mg/L，光谱测量设置的连续长波段区域是800-2498(nm)，相邻波长间隔2nm，每个样本测得共有850个波长变量的光谱值(即p＝850)；光谱建模采用基于PLS方法的内部留一交叉检验的模式，利用本发明的BCWLO方法实现基线偏移校正和局部优化的波长变量选择，采用均方根偏差(RMSE)来量化衡量建模预测效果，并给出定标模型的回归系数。

具体步骤为：

步骤一，基于样本COD化学值矩阵C_83×1，计算化学值权重矩阵Ω_83×1＝[ω_i]，其中ω_i为针对第i个样本的权重向量，且

并对C进行加权运算得到加权后的化学值C^Ω(如图2所示)。

步骤二，基于权重矩阵Ω，将化学值权重向量ω_i(i＝1,2…83)嵌入MSC方法完成预处理，可加强针对基线偏移的校正。具体过程：①计算所有样本的加权平均光谱：

②通过每个样本光谱A_i对平均光谱A_ave按照A_i＝k·A_ave+1·b的线性关系进行回归，估计得到回归系数k＝1.0697和b＝0.1902；③利用回归系数计算得到MSC校正后的光谱：

步骤三，基于预处理后的光谱数据

计算权重矩阵Δ＝diag(δ_i),i＝1,2,…83，其中

偏移参数τ取值为τ＝0.6。并对A^MSC进行加权运算，得到加权后的光谱矩阵A^Δ＝Δ·A^MSC加权计算后光谱A^Δ如图3所示。

步骤四，联合A^Δ和C^Ω，实现光谱建模局部优化，具体过程为：①基于Lambert-Beer定律得到COD化学值与污水光谱值的线性关系

其中B＝[b_j]_850×1为回归系数矩阵。利用偏最小二乘(PLS)算法建立光谱定标预测模型，按照样本进行留一内部交叉估计，每次提取第i个样本作为目标样本，其余样本作为定标训练样本，利用训练样本建模估计系数矩阵B，进而预测目标样本的化学值C_i′，通过改变i的取值(即i＝1,2…83)历遍所有样本，通过计算均方根误差

即可得到基于全谱波长的模型预测结果。②设置PLS潜变量f在算法调试过程中的取值范围为1≤f≤30，通过调试不同PLS潜变量因子数(f＝1,2,…30)，对全波长变量进行特征提取

可实现PLS降维和即时局部优化。对于某一个确定的f取值，找到矩阵

的最大特征值所对应的特征向量σ_f，随后计算加权光谱矩阵A^Δ关于这个f固定取值的得分向量s_f和载荷向量l_f，同时估计针对f个因子数的回归系数矩阵B_1×f，其中

③历遍所有的f取值，如果f<30，使f＝f+1进行循环求解，

得到分别基于f＝1,2…30个潜变量因子的多个定标模型，对应的RMSE(f)结果如图4所示，最小值确定最优的潜变量因子数f_opt＝11。

步骤五，根据步骤四选取的最优潜变量因子数f_opt＝11，将加权光谱矩阵A^Δ进行分解得到其对应的得分矩阵S_opt＝[s₁,s₂,…s₁₁]和载荷矩阵L_opt＝[l₁,l₂,…l₁₁]，结合化学值建立局部优化的PLS回归模型(类似步骤四①)估计回归系数，B_opt＝[b₁,b₂,…b₁₁]＝[95.9,-12.4,438.6,171.9,-364.4,-31.7,171.6,-42.5,122.6,279.3,-289.1]，由此确定光谱加权局部优化的定标模型，可计算化学值预测值为：

所有83个样本的COD预测值如图5所示，与实际含量相比，具有RMSE(f_opt)＝RMSE(11)＝18.32的预测均方根偏差，可用于对未知土壤样本的有机质含量进行预测，实现快速检测。

实施例2：

土壤样本有机质含量的FT-NIR光谱定量分析。共有135个土壤样品，目标成分为有机质(即n＝135,r＝1)，有机质含量范围是1.100-6.418(wt％)，光谱测量设置的连续长波段区域是10000-4000(cm^-1)，光谱分辨率为8cm^-1，每个样本测得共有1512个波长变量的光谱值(即p＝1512)；光谱建模采用基于PLS方法的外部检验模式，训练集样本85个，验证集样本50个，利用本发明的BCWLO方法实现基线偏移校正和局部优化的波长变量选择，采用均方根偏差(RMSE)来量化衡量建模预测效果，并给出定标模型的回归系数。

具体步骤为：

步骤一，基于135个土壤样本的有机质含量化学值C_i(i＝1,2…135)计算化学值权重矩阵Ω_135×1＝[ω_i]，其中ω_i为针对第i个样本的权重向量，且

并对C进行加权运算得到加权后的化学值C^Ω(如图6所示)。

步骤二，基于权重矩阵Ω_135×1数据，将化学值权重数据ω_i嵌入MSC方法完成预处理：①计算所有样本的加权平均光谱：

②通过每个样本光谱A_i对平均光谱A_ave按照A_i＝k·A_ave+1·b的线性关系进行回归，估计回归系数k＝1.1547和b＝0.0703；③利用回归系数计算得到MSC校正后的光谱：

步骤三，基于预处理后的光谱数据

计算权重矩阵Δ＝diag(δ_i),i＝1,2,…135，其中

偏移参数τ取值为τ＝0.5。并对A^MSC进行加权运算，即A^Δ＝Δ·A^MSC，加权计算后光谱A^Δ如图7所示。

步骤四，联合A^Δ和C^Ω，实现光谱建模局部优化，具体过程为：①基于Lambert-Beer定律确定有机质化学值与土壤光谱值的线性关系

其中B＝[b_j]_1512×1为回归系数矩阵。利用PLS算法建立光谱定标预测模型，按照样本进行留一内部交叉估计，每次提取第i个样本作为目标样本，其余样本作为定标训练样本，利用训练样本建模估计系数矩阵B，进而预测目标样本的化学值C_i′，通过改变i的取值(即i＝1,2…135)历遍所有样本，通过计算均方根误差

即可得到基于全谱波长的模型预测结果。②设置PLS潜变量f在算法调试过程中的取值范围为1≤f≤20，通过调试不同PLS潜变量因子数(f＝1,2,…20)，对全波长变量进行特征提取

可实现PLS降维和即时局部优化。对于某一个确定的f取值，找到矩阵

的最大特征值所对应的特征向量σ_f，随后计算加权光谱矩阵A^Δ关于这个f固定取值的得分向量s_f和载荷向量l_f，同时估计针对f个因子数的回归系数矩阵B_1×f，其中

③历遍所有的f取值，如果f<20，使f＝f+1进行循环求解，

得到分别基于f＝1,2…20个潜变量因子的多个定标模型，对应的RMSE(f)结果如图8所示，最小值确定最优的潜变量因子数f_opt＝7。

步骤五，根据步骤四选取的最优潜变量因子数f_opt＝7，将加权光谱矩阵A^Δ进行分解得到其对应的得分矩阵S_opt＝[s₁,s₂,…s₇]和载荷矩阵L_opt＝[l₁,l₂,…l₇]，结合化学值建立局部优化的PLS回归模型(类似步骤四①)估计回归系数，可以得到B_opt＝[b₁,b₂,…b₇]＝[-6527,3936,1363,-974,747,-367,279]，由此确定光谱加权局部优化的定标模型，可计算化学值预测值为：

所有135个样本的有机质含量预测值如图9所示，与实际含量相比，具有RMSE(f_opt)＝RMSE(7)＝0.2423的预测均方根偏差，可用于对未知土壤样本的有机质含量进行预测，实现快速检测。

Claims (1)

1.一种面向光谱基线校正的加权建模局部优化方法，其特征在于具体步骤为：

步骤一，基于样本化学值矩阵C_n×r，计算化学值权重矩阵Ω_n×r＝[ω_i],i＝1,2,…n，其中ω_i＝[ω_i,j]_1×r为针对第i个样本的权重向量，且

并对C进行加权运算得到加权后的化学值矩阵，记为C^Ω；

步骤二，基于权重矩阵Ω对光谱数据进行预处理，光谱数据预处理的目的在于光谱降噪，考虑将化学值权重向量ω_i嵌入多元散射矫正方法完成预处理，可加强针对基线偏移的校正，具体过程如下：

①计算所有样本的加权平均光谱：

②通过每个样本光谱A_i对平均光谱A_ave按照A_i＝k·A_ave+1·b的线性关系进行回归，估计回归系数k和b；

③利用回归系数计算得到多元散射矫正校正后的光谱：

步骤三，基于光谱数据A_n×p计算权重矩阵；

Δ＝diag(δ_i),i＝1,2,…n，

其中

τ为偏移参数，取值τ∈(0,1])，并对A^MSC进行加权运算，可加强光谱特征信号的显著性，得到加权后的光谱矩阵，记为A^Δ，即A^Δ＝Δ·A^MSC；

步骤四，联合A^Δ和C^Ω，实现光谱建模局部优化，具体过程如下：

①基于Lambert-Beer定律得到化学值与光谱值的线性关系

其中B_p×r＝[b_j](j＝1,2…r)为回归系数矩阵，利用偏最小二乘算法建立光谱定标预测模型，预测目标样本的化学值C_i ^′(i＝1,2…n)，通过计算均方根误差，

即可得到基于全谱波长的模型预测结果；

②设置PLS潜变量f在算法调试过程中的取值范围为1≤f≤F_max且f∈Z，通过调试不同偏最小二乘潜变量因子数f＝1,2,…F_max，对全波长变量进行特征提取

可实现偏最小二乘降维和即时局部优化，对于某一个确定的f取值，找到矩阵

的最大特征值所对应的特征向量σ_f，随后计算加权光谱矩阵A^Δ关于这个f固定取值的得分向量s_f和载荷向量l_f，同时估计针对f个因子数的回归系数矩阵B_r×f，其中

③历遍所有的f取值，如果f<F_max，使f＝f+1进行循环求解，

得到分别基于f＝1,2…F_max个潜变量因子的多个定标模型，并根据预测均方根误差RMSE(f)的最小值确定最优的潜变量因子数f_opt；

步骤五，根据步骤四选取的最优潜变量因子数f_opt，将加权光谱矩阵A^Δ进行分解得到其对应的得分矩阵S_opt＝[s₁,s₂,…s_fopt]和载荷矩阵L_opt＝[l₁,l₂,…l_fopt]，结合化学值建立局部优化的偏最小二乘回归模型，估计回归系数矩阵B_opt＝[b₁,b₂,…b_fopt]，由此确定光谱加权局部优化的定标模型，可得化学值预测值为：

该模型可用于对新来未知样本的预测，通过采集未知样本的光谱数据，耗时仅2～3min，即可通过局部优化模型对未知样本进行即时分析，实现快速检测。

Images