CN105823751A - 基于λ-SPXY算法的红外光谱多元校正回归建模方法 - Google Patents

Abstract

本发明公开了一种基于λ‑SPXY算法的红外光谱多元校正回归建模方法，包括以下步骤：根据待测样品光谱的样本集特征，设定最优权重调整参数λ，给样本集仪器响应矢量空间X和因变量空间Y分配不同的权重；再利用λ‑SPXY算法选定校正集并建立回归模型。本发明提供了一种可以充分考虑X和Y空间各自贡献的数据集划分方法，可以更有效的覆盖多维空间；在多元校正的数据集划分方面，此方法可以获得比传统的SPXY方法更合理的结果，并大幅度改善建立模型的预测性能。

Description

基于λ-SPXY算法的红外光谱多元校正回归建模方法

技术领域

本发明涉及一种基于λ-SPXY算法的红外光谱多元校正回归建模方法，属于多元校正回归建模领域。

背景技术

多元校正回归建模方法已经应用在各类定量分析领域，应用最广泛的是偏最小二乘法(PLS)。在多元校正回归建模的过程中，所建模型的性能在很大程度上取决于所使用的校正集。因此，如何从大量样本中选取具有代表性的样本构建高质量的、有利于提升模型性能的校正集极为重要。目前，选取样本构建校正集的方法主要有两种方式：聚类划分原则和均衡化划分原则。聚类划分原则主要针对样本集进行聚类分析，然后依据聚类分析的相应结果选取代表性的样本构建校正集；而均衡化原则的核心思想是选择代表性样本使其尽可能的按照空间距离均匀的覆盖整个样本空间。

目前，均衡化设计原则的样本选择方法主要有随机法RS(Randomsampling)、基于仪器响应矢量空间X的空间距离选取原则的KS(Kennard–Stone)法，基于仪器响应矢量空间X和因变量空间Y的联合空间距离选取原则的SPXY(SamplesetportioningbasedonjointX-Ydistances)法。RS操作简便，随机性大，不能保证所选样本具有代表性和外推能力。KS方法的目标是通过计算样本数据间的欧氏距离使所选出的样本能够均匀地覆盖整个样本集区域。距离样本集的均值最近的样本视为最具有代表性的样本，作为第一样本入选校正集。然后，根据样本与已分配到校正集的样本之间的欧式距离，按顺序连续选出样本。重复这样的过程直到获得指定数量的样本。缺陷是只考虑了仪器响应矢量空间X的特征，没有考虑样本的因变量空间Y的影响。故此也存在这局限性和不合理性，难以获取性能稳定且适用性较强的模型。

基于X-Y联合距离选择原则的SPXY划分方法与基于X空间距离选择原则的KS划分方法最大的不同是既充分考虑仪器响应矢量空间X又考虑因变量空间Y的影响。此时的欧氏距离改写为：

$d_{x,y}(m,n)=\frac{d_x(m,n)}{{\mathrm{maxd}}_x(i,j)}+\frac{d_y(m,n)}{{\mathrm{maxd}}_y(i,j)}---\left(1\right)$

其中，i＝1,2…N，j＝1,2…N且i≠j。d_x,y(m,n)为样本m和n之间的联合距离，λ为权重调整参数，d_x(m,n)为样本m和n在X空间的空间欧氏距离，d_y(m,n)为样本m和n在Y空间的空间欧氏距离，maxd_x(i,j)为所有样本中在X空间的最大欧氏空间距离，maxd_y(i,j)为所有样本中在Y空间的最大欧氏空间距离。

此类方法比起KS方法，改进了数据集划分的距离选择判据，考虑了因变量空间的因素；但是此方法并没有考虑样本集的具体特征，只是为仪器响应空间X和因变量空间Y赋予了相等的权重，认为对于所有的样本集来说，X空间和Y空间的影响都是相同权重的，这显然对于具体的样本集来说是不符合实际的，因而导致最终建立的模型的预测准确性及稳定性受限，无法满足实际需求。

发明内容

本发明的目的在于，提供一种基于λ-SPXY算法的红外光谱多元校正回归建模方法，它能够兼顾待测样本集的光谱(仪器响应矢量空间X)距离分布特征和样品因变量(Y)空间距离分布特征，并且依据样本的具体特征和所设计的优化原则，分配给仪器响应矢量空间X和因变量空间Y不同的权重，以解决现有技术数据集划分方法中存在的缺点，提高回归建模的预测性能及稳定性。

为解决上述技术问题，本发明采用如下的技术方案：一种基于λ-SPXY算法的红外光谱多元校正回归建模方法，包括以下步骤：根据待测样品光谱的样本集特征，设定最优权重调整参数λ，给样本集仪器响应矢量空间X和因变量空间Y分配不同的权重；再利用λ-SPXY算法选定校正集并建立回归模型。

如前述的基于λ-SPXY算法的红外光谱多元校正回归建模方法，具体步骤包括：

S1.计算待测样本集中样本m和n之间的X空间的空间距离d_x(m,n)和Y空间的空间距离d_y(m,n)，其中，m,n∈[1,N]，N为总样本数；

S2.根据待测样品光谱的样本集特征，设定最优权重调整参数λ；给样本集仪器响应矢量空间X和因变量空间Y分配不同的权重；再利用λ-SPXY算法得到样本m和n之间的联合空间距离d_x,y(m,n)；选择联合空间距离最大的两个样本加入校正集；

S3.在未入选所述校正集的剩余样本中，根据剩余样本与已入选校正集的各个样本之间的联合空间距离再次进行样本选择，并将其加入校正集；

S4.判断所述校正集中样本是否达到指定的数量，若是则得出最终的校正集，并转至S5，否则重复步骤S2；

S5.利用最终的校正集建立回归模型。

因而可以保证最终所建模型的性能，使其预测精度较高，同时稳定性较好。

如前述的基于λ-SPXY算法的红外光谱多元校正回归建模方法，所述根据待测样品光谱的样本集特征，设定最优权重调整参数λ具体通过以下方式获得：

Sa.设定权重调整参数λ的初始值为零；

Sb.利用λ-SPXY算法选定λ值所对应的校正集，并建立回归模型，求取预测均方根误差RMSEP和交叉验证均方根误差RMSECV之和F(λ)，F(λ)＝RMSEP(λ)+RMSECV(λ)；

Sc.判断λ是否等于1，是则转至Sd，不是则将λ在0-1范围内以μ间隔为步长递增，并转至Sb；

Sd.利用参数优化选取原则，选取最小的F(λ)值所对应的λ，作为最优权重调整参数λ；

因而能有效减少计算量，提高参数的选择效率。

如前述的基于λ-SPXY算法的红外光谱多元校正回归建模方法，步骤S4中所述的利用λ-SPXY算法计算相应λ值得到样本m和n之间的联合空间距离d_x,y(m,n)具体通过以下方式获得：

$d_{x,y}(m,n)=\mathrm{\λ}\·\frac{d_x(m,n)}{{\max }_{m,n\∈\[1,N\]}{d}_x(m,n)}+(1-\mathrm{\λ})\frac{d_y(m,n)}{{\max }_{m,n\∈\[1,N\]}{d}_y(m,n)}$

从而可以获得更加科学合理的校正集，使得最终所建模型的预测精度更高，稳定性更好。

如前述的基于λ-SPXY算法的红外光谱多元校正回归建模方法，步骤S5中所述的根据剩余样本与已入选校正集的各个样本之间的距离再次进行样本的选择，并加入校正集具体包括：计算剩余样本中的每个样本与已入选校正集的各个样本之间的最短联合距离,然后选择所述最短联合距离中的最长联合距离所对应的样本加入校正集，从而可以得到样本空间分布最均匀的校正集，并且因此能够提高所建模型的预测精度和稳定性。

如前述的基于λ-SPXY算法的红外光谱多元校正回归建模方法，权重调整参数λ的步长递增的间隔μ为0.1，从而能够减少模型所需时间，并能提高所建模型的预测精度和稳定性。

如前述的基于λ-SPXY算法的红外光谱多元校正回归建模方法，所述回归建模的模型为PLS模型。

如前述的基于λ-SPXY算法的红外光谱多元校正回归建模方法，所述的待测样品包括啤酒、葡萄酒。经验证，本发明的方法可以在所有光谱分析中得以应用，尤其是对于酒类等复杂混合液体定量分析的应用具有良好的前景，所建模型的预测精度和稳定性均较好；酒类中特别是对于啤酒、葡萄酒的定量分析，所建模型的预测精度和稳定性更好。

与现有技术相比，本发明通过根据待测样品光谱的样本集特征(光谱距离特征和样品因变量空间分布特征)，设定最优权重调整参数λ，给样本集仪器响应矢量空间X和因变量空间Y分配不同的权重；再利用λ-SPXY算法选定校正集并建立回归模型，同时考虑了仪器响应矢量空间X和因变量空间Y，并且依据样本的具体特征，分配给仪器响应矢量空间X和因变量空间Y不同的权重(即提供了一种可以充分考虑X和Y空间各自贡献的数据集划分方法)，从而可以更有效的覆盖多维空间；在多元校正的数据集划分方面，此方法可以获得比传统的SPXY方法更合理的结果，并大幅度改善建立模型的预测性能。据大量数据统计表明，采用本发明后，回归建模的模型校正集和验证集的预测准确率分别提高了15.6％和30.8％。

附图说明

图1所示是本发明的一种实施例的方法流程图；

图2所示是本发明的另一种实施例的方法流程图；

图3是本发明实验例1中λ-SPXY方法啤酒数据集建模的RMSEP与RMSECV的数值图；

图4是本发明实验例1中λ-SPXY方法葡萄酒数据集建模的RMSEP与RMSECV的数值图；

图5是本发明实验例1中以啤酒光谱数据集和葡萄酒光谱数据集分别采用PLS-RS、PLS-KS、PLS-SPXY、PLS-YR和PLS-λ-SPXY方法进行处理的RPD值对比图。

下面结合附图和具体实施方式对本发明作进一步的说明。

具体实施方式

本发明的实施例1，如图1所示：一种基于λ-SPXY算法的红外光谱多元校正回归建模方法，包括以下步骤：根据待测样品光谱的样本集特征，设定最优权重调整参数λ，给样本集仪器响应矢量空间X和因变量空间Y分配不同的权重；再利用λ-SPXY算法选定校正集并建立回归模型；具体步骤包括：

S1.计算待测样本集中样本m和n之间的X空间的空间欧式距离d_x(m,n)和Y空间的空间欧式距离d_y(m,n)，其中，m,n∈[1,N]，N为总样本数；

S2.根据待测样品光谱的样本集特征，设定最优权重调整参数λ；给样本集仪器响应矢量空间X和因变量空间Y分配不同的权重；再利用λ-SPXY算法得到样本m和n之间的联合空间距离d_x,y(m,n)；选择联合空间距离最大的两个样本加入校正集；

S3.在未入选所述校正集的剩余样本中，根据剩余样本与已入选校正集的各个样本之间的联合空间距离再次进行样本选择，并将其加入校正集；

S4.判断所述校正集中样本是否达到指定的数量，若是则得出最终的校正集，并转至S5，否则重复步骤S2；

S5.利用最终的校正集建立回归模型。

本发明的实施例2，如图2所示：一种基于λ-SPXY算法的红外光谱多元校正回归建模方法，具体步骤包括：

a.设定权重调整参数λ的初始值为零；

b.计算待测样本集中样本m和n之间的X空间的空间距离d_x(m,n)和Y空间的空间距离d_y(m,n)，其中，m,n∈[1,N]，N为总样本数；

c.利用权重调整参数λ给样本集仪器响应矢量空间X和因变量空间Y分配不同的权重，并利用λ-SPXY算法计算相应λ值得到样本m和n之间的联合空间距离d_x,y(m,n)，选择联合空间距离最大的两个样本加入校正集；

d.在未入选所述校正集的剩余样本中，根据剩余样本与已入选校正集的各个样本之间的联合距离再次进行样本选择，并将其加入校正集；

e.判断所述校正集中样本是否达到指定的数量，若是则得出相应λ所对应的校正集，并转至S6，否则重复步骤S2；

f.利用相应λ值所对应的校正集建立回归模型，并求取预测均方根误差RMSEP和交叉验证均方根误差RMSECV之和F(λ)，F(λ)＝RMSEP(λ)+RMSECV(λ)；

g.判断λ是否等于1，是则转至S8，不是则将λ在0-1范围内以0.1间隔(或以其他间隔)为步长递增，并转至S3；

h.利用参数优化选取原则，选取最小的F(λ)值所对应的λ，作为最优λ；

i.利用最优λ所对应的校正集进行建模预测。

其中，预测均方根误差RMSEP(RootMeanSquareErrorofPrediction)和交叉验证均方根误差RMSECV(RootMeanSquareErrorofCrossValidation)、以及相对分析误差RPD(RatioofPerformancetoStandardDeviate)作为模型的主要评价指标。RMSECV和RMSEP的值越低，RPD的值越高，则说明模型的稳定性和预测能力越好。RMSECV，RMSEP和RPD计算公式如下：

$RMSEP=\sqrt{\frac{\underset{i=1}{\overset{n_v}{\Σ}}{(y_{i,pre}-y_{i,ref})}^2}{n_v}}$

n_v是验证集样本数,y_i,ref样本参考值,y_i,prei样本PLS预测值，

$RMSECV=\sqrt{\frac{\underset{i=1}{\overset{n_c}{\Σ}}{(y_{i,pre}-y_{i,ref})}^2}{n_c}}$

n_c是校正集样本数目y_i,ref第i个样本参考值,y_i,pre是PLS模型的交叉验证过程中第i个样本预测值。

${\mathrm{RPD}}_c=\frac{SD}{RMSECV}$

${\mathrm{RPD}}_v=\frac{SD}{RMSEP}$

其中SD是分析样本的标准差。这个指标用来验证模型的稳定性性和预测能力。

$R^2=1-\frac{\underset{i=1}{\overset{n}{\Σ}}{(y_{i,ref}-y_{i,pre})}^2}{\underset{i=1}{\overset{n}{\Σ}}{(y_{i,ref}-\stackrel{\‾}{y})}^2}$

其中，是校正集或者验证集中所有样品参考值的平均值；,y_i,ref为校正集或验证集第i个样本的参考值，y_i,pre是验证集或者校正集预测过程中第i个样本的预测值。

所述回归建模的模型可以为PLS模型。

所述待测样品可以为酒水，优选为啤酒、葡萄酒。

实验例：以啤酒光谱数据集和葡萄酒光谱数据集为例，进行了发明策略的验证实验。

数据集1：啤酒样本数据集。该数据集是由等人提供的，包括60个已知原麦汁浓度的啤酒样本。原麦汁浓度是由嘉士伯啤酒厂的A/S测定的，其浓度范围为4.23％～18.76％柏拉图，用来间接测定啤酒生产过程中酵母发酵生产酒精的能力。利用30mm的石英样品池采集未稀释的脱气啤酒的光谱信息。光谱波长范围为400nm～2250nm，间隔2nm，每个样本波长数为926。可见光/近红外透射光谱两端包含大量变量。在400nm～700nm区间内，从低浓度啤酒到黑啤酒由于颜色的变化，存在大量变量；在波长高于1350nm的范围内，主要是水的吸收峰，较高的吸收水平会引起噪音测量；在波长大约为970nm处主要是水的O-H键的二级倍频，剩余部分的光谱主要是C-H键和N-H键的伸缩倍频。在光谱的两端呈现了大量变量。

数据集2：葡萄酒样本数据集。该数据集由Prof.MarcMeurens提供，该样本的酒精浓度由中红外MIR法测定，其酒精含量范围是7.48％～15.5％vol。它包括123个样本，每个样本包含256个吸光度光谱，波数范围是950cm-1到1920cm-1。现利用红外光谱估计葡萄酒样本中的酒精含量。

实施方法：

利用PLS-RS、PLS-KS、PLS-SPXY及本发明提出的λ-SPXY算法的红外光谱多元校正回归建模方法(即PLS-λ-SPXY)四种方法分别进行数据集的的划分与建模，然后对所建模型的预测能力进行评估和对比。啤酒数据集中40个样本分别作为RS、KS、SPXY、λ-SPXY相应的校正集，剩余的20个样本作为各自相应的验证集。同理，按上述方法，将葡萄酒数据集中93个样本分别作为相应的校正集，剩余的30个样本作为的验证集。具体数据集划分及建模过程如下：

a.设定权重调整参数λ的初始值为零；

b.计算待测样本集中样本m和n之间的光谱空间欧氏距离d_x(m,n)和d_y(m,n)，其中，m,n∈[1,N]，N为总样本数；

c.利用权重调整参数λ给样本集仪器响应矢量空间X和因变量空间Y分配不同的权重，并利用λ-SPXY算法计算相应λ值得到样本m和n之间的联合空间距离d_x,y(m,n)，选择联合空间距离最大的两个样本加入校正集；

d.在未入选所述校正集的剩余样本中，根据剩余样本与已入选校正集的各个样本之间依据λ-SPXY计算的联合距离再次进行样本选择，并将其加入校正集；

e.判断所述校正集中样本是否达到指定的数量，若是则得出相应λ所对应的校正集，并转至S6，否则重复步骤S2；

f.利用相应λ值所对应的校正集建立回归模型，并求取预测均方根误差RMSEP和交叉验证均方根误差RMSECV之和F(λ)，F(λ)＝RMSEP(λ)+RMSECV(λ)；

g.判断λ是否等于1，是则转至S8，不是则将λ在0-1范围内以μ间隔为步长递增，并转至S3；

h.利用参数优化选取原则，选取最小的F(λ)值所对应的λ，作为最优λ；

i.利用最优λ所对应的校正集进行建模预测。

根据不同λ值，所建模型对应于λ的RMSEP(λ)和RMSECV(λ)的变化如附图3和附图4所示。对于啤酒和葡萄酒数据集，依据如前所诉的选取原则，λ的值分别为0.9和0.3。通过RS、KS、SPXY和本发明中所述的λ-SPXY算法分别所得校正集和验证集相应数据的统计结果如表1所示：

表1样本校正集与验证集Y值特征统计结果

表1表明：除RS方法外，其他几种数据集划分方法所得的样本特性(如范围、均值及标准差)相等或相近。RS方法是一种广泛应用的简单技术，但不能保证样本集的代表性，也不能保证样本集的边界值都包含在校正集中。对于啤酒数据集，校正集的范围是4.23％～16.17％柏拉图，而验证集的范围是6.02％～18.76％柏拉图。很明显，RS因其较低的标准差，所得的校正集并不适合建模。

如上所述，就校正集和验证集的指标而言，模型建模成功与否可通过以下的指标进行判定：预测均方根误差(RMSEP)、交叉验证均方根误差(RMSECV)、决定系数(R²)和相对分析误差(RPD)。实验中，运用F检验结合PRESS的方法确定最佳主成分数。较低的RMSEP、RMSECV值和较高的R²、RPD值表明模型具有良好的性能。几种数据集划分策略所建模型性能的对比如表2所示：

表2几种数据集划分策略所得的预测结果

注：表中括号内的值代表主成分数目

根据表2中PLS-RS、PLS-KS、PLS-SPXY和PLS-λ-SPXY之间的对比可以看出：利用PLS-λ-SPXY建模所得的RMSEP、RMSECV值相比其他四种方法所得相应的值最小。除此之外，RPD也是一个检测回归模型的鲁棒性能和预测性能的常用指标。通常，一个相对较高的RPD值(>3.0)表明模型可以可靠地预测化学成分；RPD值高于5.0时，认为模型利于质量控制；RPD值高于8.0时，认为模型可以用于定量分析领域。作为表明校正模型性能的主要参数，RPD的值如图5所示。综上所述，说明本发明的数据集划分策略明显改善了建模效果。

Claims (8)

1.一种基于λ-SPXY算法的红外光谱多元校正回归建模方法，其特征在于，包括以下步骤：根据待测样品光谱的样本集特征，设定最优权重调整参数λ，给样本集仪器响应矢量空间X和因变量空间Y分配不同的权重；再利用λ-SPXY算法选定校正集并建立回归模型。

2.根据权利要求1所述的基于改进SPXY算法的红外光谱多元校正回归建模方法，其特征在于，具体步骤包括：

S1.计算待测样本集中样本m和n之间的X空间的空间欧式距离d_x(m,n)和Y空间的空间欧式距离d_y(m,n)，其中，m,n∈[1,N]，N为总样本数；

S2.根据待测样品光谱的样本集特征，设定最优权重调整参数λ；给样本集仪器响应矢量空间X和因变量空间Y分配不同的权重；再利用λ-SPXY算法得到样本m和n之间的联合空间距离d_x,y(m,n)；选择联合空间距离最大的两个样本加入校正集；

S3.在未入选所述校正集的剩余样本中，根据剩余样本与已入选校正集的各个样本之间的联合空间距离再次进行样本选择，并将其加入校正集；

S4.判断所述校正集中样本是否达到指定的数量，若是则得出最终的校正集，并转至S5，否则重复步骤S2；

S5.利用最终的校正集建立回归模型。

3.根据权利要求2所述的基于λ-SPXY算法的红外光谱多元校正回归建模方法，其特征在于，所述根据待测样品光谱的样本集特征，设定最优权重调整参数λ具体通过以下方式获得：

Sa.设定权重调整参数λ的初始值为零；

Sb.利用λ-SPXY算法选定λ值所对应的校正集，并建立回归模型，求取预测均方根误差RMSEP和交叉验证均方根误差RMSECV之和F(λ)，F(λ)＝RMSEP(λ)+RMSECV(λ)；

Sc.判断λ是否等于1，是则转至Sd，不是则将λ在0-1范围内以μ间隔为步长递增，并转至Sb；

Sd.利用参数优化选取原则，选取最小的F(λ)值所对应的λ，作为最优权重调整参数λ。

4.根据权利要求2所述的基于λ-SPXY算法的红外光谱多元校正回归建模方法，其特征在于，步骤S2中所述的利用λ-SPXY算法计算相应λ值得到样本m和n之间的联合空间距离d_x,y(m,n)具体通过以下方式获得：

$d_{x,y}\left(m,n\right)=\mathrm{\λ}\·\frac{d_x\left(m,n\right)}{{\max }_{m,n\∈\[1,N\]}{d}_x\left(m,n\right)}+\left(1-\mathrm{\λ}\right)\frac{d_y\left(m,n\right)}{{\max }_{m,n\∈\[1,N\]}{d}_y\left(m,n\right)}.$

5.根据权利要求2所述的基于λ-SPXY算法的红外光谱多元校正回归建模方法，其特征在于，步骤S4中所述的根据剩余样本与已入选校正集的各个样本之间的距离再次进行样本的选择，并加入校正集具体包括：计算剩余样本中的每个样本与已入选校正集的各个样本之间的最短联合距离,然后选择所述最短联合距离中的最长联合距离所对应的样本加入校正集。

6.根据权利要求3所述的基于λ-SPXY算法的红外光谱多元校正回归建模方法，其特征在于，权重调整参数λ的步长递增的间隔μ为0.1。

7.根据权利要求1所述的基于λ-SPXY算法的红外光谱多元校正回归建模方法，其特征在于，所述回归建模的模型为PLS模型。

8.根据权利要求1所述的基于λ-SPXY算法的红外光谱多元校正回归建模方法，其特征在于，所述的待测样品包括啤酒、葡萄酒。