CN109409350B - 一种基于pca建模反馈式载荷加权的波长选择方法 - Google Patents

Abstract

本发明公开了一种基于PCA建模反馈式载荷加权的波长选择方法。该方法以PCA算法为基础，针对不同频率的光谱检测数据进行训练，建立并优化计量学分析模型，将建模系数反馈式PCA载荷向量进行加权组合，为每一个波长变量加以信息贡献度的衡量，进而选择具有较高信噪比的信息波长集合，能够有效减少参与建模的波长数量，降低模型复杂度；依此筛选出的波长组合可以结合线性判别或多元线性回归等各种简便的统计算法完成定性或定量分析。该方法能够提高光谱信息变量筛选的工作效率，可以应用于近红外、红外、紫外等多种频段的光谱降维快速检测，为小型专用光谱仪器的研发和应用提供算法理论基础和技术支持，有望推广应用于高光谱图像分析领域。

Description

一种基于PCA建模反馈式载荷加权的波长选择方法

技术领域

本发明涉及近红外、红外光谱分析中的建模优化领域，具体涉及建模过程中的一种基于主成分分析(PCA)建模反馈式载荷加权的波长选择方法。

背景技术

光谱分析是利用不同频率的光测量物质的光谱响应数据，并通过定性或定量方法来确定待测对象中的化学成分及其含量信息的一种现代化快速检测技术。红外光介于可见光与远红外光之间，可分为近红外(NIR)、中红外(简称红外，MIR)两个常用技术谱段。近年来随着大数据科学、计算机技术和化学计量学的发展，NIR/MIR分析技术以其分析速度快、效率高、成本低、非破坏性、可实时在线分析、多成分同时检测等特点，在食品、农业、环境、生物医学等众多领域得到广泛的应用。光谱分析的一般过程分为样本划分、数据预处理、波长特征筛选、建模预测、模型检验五个阶段。研究学者们已经在数据预处理、波长特征筛选、建模预测这几个阶段做了很多研究工作。

然而，近年来，研制基于连续长波段的通用型光谱检测仪器的技术已经趋于成熟，但是连续波段通用型光谱仪的体积庞大、价格昂贵、不便于携带，现阶段主要应用于实验室检测，不利于推广应用。此外，对于不同对象都不作区分地进行全谱扫描，由于波长变量个数众多、光谱响应信号重叠严重、单目标对应的光谱吸收峰不能突显，不能快速有效地实现实时在线检测。因此，为了在某一领域中实现多目标同时快速检测，有必要研发便携式的小型专用光谱仪，这其中涉及的关键技术是如何快速有效地选取具有高信噪比的光谱波长变量(信息变量)进行组合建模优化。但已有研究多为对波长变量进行空间变换后筛选出对应的特征变量，并不是对原始波长变量的筛选；如果能够利用比较简单的算法过程能够实现对光谱数据原始波长变量进行筛选，将是光谱分析的计量方法研究中的一项突破。

由于近红外、红外光谱的响应数据通常不具备明显的单目标吸收峰，光谱共线性问题一直是影响长波段光谱数据建模精度的技术障碍。常用的消除共线性的计量学算法有主成分分析(PCA)和偏最小二乘法(PLS)，它们是通过坐标转换的方式将原始波长变量投影到一个新的坐标空间，使得在新的坐标中的成分变量两两之间具有最大的差异；其中PLS的算法步骤也采用了PCA算法的思想。基于此，本发明提出一种基于PCA建模反馈式载荷加权的波长选择方法(简称载荷加权波长选择方法，LWVS方法)；该方法可以实现单独利用PCA算法，结合简易计量学线性建模方法，即可在原始光谱的序列数据中选择信息波长变量，并非选择空间变换后的特征变量；利用模型优化系数反馈作为各个载荷变量的组合系数，以衡量各个原始波长变量在新坐标成分变量中的贡献程度，进而实现在光谱分析的波长特征筛选阶段完成对原始波长信息变量的选择。

发明内容

本发明是为近红外、红外光谱定性/定量分析技术提供一种基于PCA建模反馈式载荷加权的波长选择方法(LWVS)。该方法是只需要对PCA基本算法过程中进行整合和改进，就能在波长特征选择的阶段中完成对光谱数据原始波长的筛选，通过内部自建模的方式选择信息波长。该方法所选波长是为光谱数据原始波长，与空间变换的特征变量具有本质的区别。

数据准备：利用(近)红外光谱仪器测量光谱数据，设置测量的光谱波段起止位置和光谱分辨率，以确定输出的连续光谱波段共包含p个波长变量；将n个样本逐次放入光谱仪中进行测量，获得光谱响应数据以矩阵的形式保存，称为光谱矩阵X_n×p；此外，利用常规化学方法定性/定量测定相同n个样本的某个目标成分含量，作为光谱分析建模优化的目标数据Y_n×1。

本发明LWVS方法的具体步骤为：

步骤一，提取载荷向量。根据PCA算法原理，首先计算光谱矩阵X_n×p是协方差矩阵(或相关系数矩阵)，记为MX_p×p，进一步计算确定MX矩阵的特征值集合LV_p×1和特征向量集合LOAD_p×p，即满足

其中，

表示LV_p×1的转置向量，LOAD即为X在PCA算法中投影到新坐标下的载荷向量集合，称为载荷矩阵。

步骤二，载荷向量排序。将向量LV中的数值和矩阵LOAD中的列向量按照LV的数值从大到小排序，则LOAD的列向量(载荷向量)两两之间具有最大差异(协方差)。

步骤三，计算得分向量。根据PCA原理，将光谱矩阵X进行标准化变换后计算得分矩阵F_n×p；标准化的方法有多种，如归一变换、变异系数变换、正态标准化等，可以选择其中一种方法，经过标准化变换后的光谱矩阵X^stand，进而可计算得到F，

可以验证，每个得分向量F_i的方差值与对应每个特征值LV(i)相等，即

var(F_i)＝LV(i),i＝1,2…p，

其中，F_i＝(F_1i,F_2i…F_ni)′。

步骤四，确定主成分数量。计算每个主成分变量的方差贡献率CR(i)，每个主成分变量的方差所占全部主成分变量方差总和的比例即为该主成分变量的贡献率，即

按照LV数值从大到小的顺序，选取累积贡献率足够大的前面t个主成分变量F₁,F₂…F_t组合成为PCA算法的得分矩阵

作为光谱建模优化的自变量，依此，也将在载荷矩阵LOAD_p×p中相应的选取前面t个载荷向量作为光谱建模的主载荷矩阵

步骤五，优化模型系数。利用主成分得分矩阵

代替原始光谱矩阵X_n×p进行建模优化，在一定程度上可以避免原始光谱数据中固有的共线性问题。于是，光谱建模可以选用计算复杂度较低、过程简单、操作简便的方法，如，定性分析可选用线性判别法(LDA)，定量分析可选用多元线性回归(MLR)。在定性/定量分析的过程中不断训练并优化模型，并获取模型的判别系数/回归系数，记为coeff_t×1。

步骤六，获取波长权重。将光谱建模优化获得的判别系数/回归系数coeff_t×1反馈作用于PCA的载荷矩阵

以每个载荷向量加权线性组合的形式计算每个原始波长变量的权重值weight，

即可根据波长变量的权重值选择对于模型贡献较大的波长集合。

与现有技术相比，本发明的LWVS方法的优势在于，基于经典的PCA算法的特征值分解原理，仅在波长特征选择的阶段中，通过自建模型进行训练和优化调试，将建模系数反馈式地传输给载荷向量进行加权组合，完成对每一个原始波长变量加以信息度的衡量，进而选择有效的具有较高信噪比的信息波长集合；反馈式加权组合方法使得单独利用PCA算法就能够完成对光谱数据原始波长的优选，为后期进行建模预测、模型检验提供数据筛选方法；该方法能够大大减少建模波长数量，降低模型复杂度，缩短运算时间，可操作性强，能够为光谱分析模型的变量筛选优化过程提高效率。筛选得到的波长组合可以结合利用简单的LDA或MLR方法完成定性/定量分析，所得模型预测效果和连续长波段所建模型的性能指标相近，可以胜任待测对象的近红外/红外光谱快速检测，为小型专用的(近)红外光谱仪器的研发、生产和推广应用提供了算法理论基础和技术支持。

本发明的LWVS方法针对近红外、红外光谱分析领域而提出，同时可以应用于远红外、紫外等不同频段的光谱分析过程，并有望推广至高光谱图像分析领域。已经在土壤总氮的FT-NIR定量分析、咖啡因的NIR判别分析中得到验证。

附图说明

图1为本发明的LWVS的算法流程示意图。

图2为本发明实施例1中LWVS方法应用于咖啡样本咖啡因的NIR判别分析中得到的每个原始光谱波长变量的信息权重分布及波长选择方案图示。

图3为本发明实施例2中LWVS方法应用于土壤样本总氮含量的FT-NIR定量分析中得到的每个原始光谱波长变量的信息权重分布及波长选择方案图示。

具体实施方式

以下将利用两个实施例对本发明予以进一步的说明，但并不因此而限制本发明。

实施例1：

咖啡样本咖啡因成分的NIR光谱定性判别。共有174个粉末状咖啡固体样品，其中116个样本包含咖啡因，58个样本不包含咖啡因，光谱测量设置的连续长波段区域是1000-2500(nm)，相邻波长间隔2nm，每个样本测得共有750个波长变量的光谱值；光谱建模采用留一交叉检验的模式，利用本发明的LWVS方法选择具有较高信噪比的信息波长集合，结合LDA方法进行进一步的建模判别，构建混淆矩阵来量化衡量判别准确率。

具体步骤为：步骤一，计算光谱矩阵X_174×750的协方差矩阵MX_750×750，并计算MX矩阵的特征值LV_750×1和特征向量集合LOAD_750×750，确定载荷矩阵。步骤二，根据750个特征值的数值按照从大到小排序将载荷向量从新排序。步骤三，本实施例中使用归一化方法将光谱矩阵X进行标准变换，进而计算得分矩阵F_174×750；步骤四，计算每个主成分变量的方差贡献率CR(i)，根据数据情况，只计算i＝1,2…20的主成分贡献率，进而选取累积贡献率达到99.95％的13个主成分变量组合成为PCA算法的得分矩阵

作为光谱建模优化的自变量，同时选择对应的主载荷矩阵

步骤五，优化模型系数。利用主成分得分矩阵

进行建模优化，结合线性判别法(LDA)完成咖啡因的定性判别，经过模型训练，确定判别系数coeff_13×1按多项式升幂排序为[0.039,-0.218,0.154,1.487,3.152,5.768,1.222,1.778,12.351,-3.199,-24.416,-16.275,13.687]。步骤六，将判别系数coeff_13×1反馈到PCA中对载荷矩阵

进行加权线性组合，得到每一个原始波长变量的权重值weight_750×1，如图2所示，指定波长选择的权重值weight>2，选择信息波长集合为6个子波段{1000-1034，1150-1218，1886-1912，1956-1996，2024-2054，2096-2114(nm)}，共113个波长变量(约为原来连续长波段波长数量的15％)。利用这113个信息波长变量进行再次LDA判别，误判率仅为12.1％，结果优于在原连续长波段区域(1000-2500nm)上的偏最小二乘判别(误判率为18.4％)。

实施例2：

土壤样本总氮含量的FT-NIR光谱定量分析。共有135个粉末状固体土壤样品，总氮含量范围是0.056-0.289(wt％)，光谱测量设置的连续长波段区域是9800-4200(cm^-1)，光谱分辨率为8cm^-1，每个样本测得共有1410个波长变量的光谱值；光谱建模采用留一交叉检验的模式，利用本发明的LWVS方法选择具有较高信噪比的信息波长集合，结合MLR方法进行进一步的建模预测，使用均方根偏差(RMSE)来量化衡量建模预测效果。

具体步骤为：步骤一，计算光谱矩阵X_135×1410的协方差矩阵MX_1410×1410，并计算MX矩阵的特征值LV_1410×1和特征向量集合LOAD_1410×1410，确定载荷矩阵。步骤二，根据1410个特征值的数值按照从大到小排序将载荷向量从新排序。步骤三，本实施例中使用归一化方法将光谱矩阵X进行标准变换，进而计算得分矩阵F_135×1410；步骤四，计算每个主成分变量的方差贡献率CR(i)，根据数据情况，只计算i＝1,2…20的主成分贡献率，进而选取累积贡献率达到99.8％的9个主成分变量组合成为PCA算法的得分矩阵

作为光谱建模优化的自变量，同时选择对应的主载荷矩阵

步骤五，优化模型系数。利用主成分得分矩阵

进行建模优化，结合多元线性回归(MLR)完成土壤总氮的定量预测，经过模型训练，确定回归系数coeff_9×1按多项式升幂排序为[1.538,-0.581,0.177,-0.871,0.405,-2.316,3.478,3.217,1.173]。步骤六，将回归系数coeff_9×1反馈到PCA中对载荷矩阵

进行加权线性组合，得到每一个原始波长变量的权重值weight_1410×1，如图3所示，指定波长选择的权重值weight>1.5，选择信息波长集合为5个子波段{8086-7583，7198-6963，5446-5192，4791-4676，4516-4390(cm^-1)}，共311个波长变量(约为原来连续长波段波长数量的20％)。利用这311个信息波长变量进行再次MLR回归计算，预测均方根偏差为0.0137(wt％)，结果略优于在原连续长波段区域(9800-4200cm^-1)上的偏最小二乘回归(预测均方根偏差为0.0144(wt％))。

Claims (1)

1.一种基于PCA建模反馈式载荷加权的波长选择方法，其特征在于具体步骤为：

步骤一，提取载荷向量：根据PCA算法原理，首先计算光谱矩阵X_n×p是协方差矩阵，记为MX_p×p，进一步计算确定MX矩阵的特征值集合LV_p×1和特征向量集合LOAD_p×p，即满足

其中，

表示LV_p×1的转置向量，LOAD即为X在PCA算法中投影到新坐标下的载荷向量集合，称为载荷矩阵；

步骤二，载荷向量排序：将向量LV中的数值和矩阵LOAD中的列向量按照LV的数值从大到小排序，则LOAD的列向量两两之间具有最大差异；

步骤三，计算得分向量：根据PCA原理，将光谱矩阵X进行标准化变换后计算得分矩阵F_n×p；标准化的方法有多种，可以选择其中一种方法，经过标准化变换后的光谱矩阵X^stand，进而可计算得到F，

可以验证，每个得分向量F_i的方差值与对应每个特征值LV(i)相等，即

var(F_i)＝LV(i),i＝1,2…p，

其中，F_i＝(F_1i,F_2i…F_ni)′；

步骤四，确定主成分数量；计算每个主成分变量的方差贡献率CR(i)，每个主成分变量的方差所占全部主成分变量方差总和的比例即为该主成分变量的贡献率，即

按照LV数值从大到小的顺序，选取累积贡献率足够大的前面t个主成分变量F₁,F₂…F_t组合成为PCA算法的得分矩阵

作为光谱建模优化的自变量，依此，也将在载荷矩阵LOAD_p×p中相应的选取前面t个载荷向量作为光谱建模的主载荷矩阵

步骤五，优化模型系数：利用主成分得分矩阵

代替原始光谱矩阵X_n×p进行建模优化，在一定程度上可以避免原始光谱数据中固有的共线性问题，定性分析选用线性判别法(LDA)，定量分析选用多元线性回归(MLR)，在定性或定量分析的过程中不断训练并优化模型，并获取模型的判别系数/回归系数，记为coeff_t×1；

步骤六，获取波长权重；将光谱建模优化获得的判别系数或回归系数coeff_t×1反馈作用于PCA的载荷矩阵

以每个载荷向量加权线性组合的形式计算每个原始波长变量的权重值weight，

即可根据波长变量的权重值选择对于模型具有贡献的波长集合。

Images