CN103927438A - 基于连续投影算法的近红外波长变量选择方法 - Google Patents

Abstract

本发明公开了一种基于连续投影算法的近红外波长变量选择方法。利用权重值方法，将全谱分成三类：相关波数点集、无关波数点集、噪声波数点集，在“相关波数点集”、“无关波数点集”中选取波数点集，建立校正模型，采用正交投影来判断新选入的波长变量的重要性。该方法克服线性相关性、有效降低数据维数、最大限度提取解释信息，确保建立的校正模型校正具有较高的稳健性。

Description

基于连续投影算法的近红外波长变量选择方法

技术领域

本发明涉及一种对石油或农产品品质进行分析的近红外波长变量选择方法，具体涉及基于连续投影算法的近红外波长变量选择方法，属于分析化学技术领域。

背景技术

近红外分析技术是分析化学领域迅猛发展的高新分析技术，其具有无破坏、无污染、分析重现性好、成本低等优点，广泛应用于石油化工、农业、食品等行业。例如在石化领域测定油品辛烷值，农业领域测定谷物的蛋白质、脂肪等含量。但是，近红外区域(780-2526nm)主要体现含氢基团(-OH、-NH、-CH)的合频和各级倍频的吸收，具有信息强度弱、谱峰重叠等缺点，而且波长点之间存在严重的线性关系，导致建模失败。

在实际应用中，常使用全光谱建模如PCR、PLS等。但是，光谱中的某些波长不仅对分析建模没有贡献，而且会提高模型的复杂度、降低其稳健性。常用的方法：采用将近红外全光谱分成若干个子区间，以区间为单位进行波长变量选择，如基于模拟退火算法的近红外光谱波长子区间选择办法（专利号：201010123945.4），或采用全局寻优算法来找出最佳波长变量，如一种蚁群优化算法的近红外光谱特征波长选择方法（专利号：201310269615.X）。但是，上述方法对于子区间个数的确定是个难点，并且需要不停的迭代计算，以确定最佳子区间个数，导致其存在计算时间偏高、运行效率偏低；同时划分子区间存在一定的主观性，导致模型稳健性不佳。

发明内容

为了克服现有技术的不足，本发明提出了一种基于连续投影算法的石油、农产品品质近红外光谱波长变量选择方法。利用权重值方法，将全谱分成三类：相关波数点集、无关波数点集、噪声波数点集，在“相关波数点集”、“无关波数点集”中选取波数点集，建立校正模型。该方法克服线性相关性、有效降低数据维数、最大限度提取解释信息，确保建立的校正模型校正具有较高的稳健性。

本发明的技术方案包含如下步骤：

（A）对近红外光谱进行预处理，消除数据采集过程中因仪器本身的信号漂移、环境变化引起的噪声；对校正集和验证集样本进行划分，从样本集中选择光谱代表性强的样本、浓度范围广的样本作为校正集；

（B）利用预处理后的校正集近红外的全谱建立校正模型，设权重值为W，将其作为阈值，计算全谱X的权重值W，其计算如公式（1）所示；

$W=\frac{1}{\sqrt{\frac{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{(y_{i,\mathrm{actual}}-y_{i,\mathrm{predicted}})}^2}{m-1}}}---\left(1\right)$

（C）以浓度作为衡量波数点权重的决定因素，建立浓度与波数点之间的数学关系即校正模型，具体方法如下：把校正集谱阵X等分为Num个子区间{I₁,I₂,…,I_Num}，对每个波数点I_i分别建立校正模型，计算各子区间的权重值得出权重值W_i，根据步骤（B）得到的阈值将全部波数点划分为三个集合：相关波数集S₁、无关波数集S₂、噪声波数集S₃，其中相关波数集，即能有效提高模型预测精度和稳健性的波数点，如与浓度性质相关的基团所在的NIR区间内的波数点，该类信息对于校正模型的建立具有十分重要意义；无关波数集，即与模型的预测精度、稳健性无关，该类波数点在校正模型建立时可有可无；噪声波数集，即降低模型预测精度、稳健性，如电噪声等，在校正模型中要尽量除去该类波数点；波数点划分具体计算如公式（2）所示，其中：α为阈值浮动上限比例，β为阈值浮动下限比例，0＜β＜1＜α＜2；

$\begin{array}{c}{S}_1=S_1\&cap;I_i,W_i>\mathrm{\&alpha;W}\\ S_2=S_2\&cap;I_i,\mathrm{\&alpha;W}\&GreaterEqual;W_i\&GreaterEqual;\mathrm{\&beta;W}\\ S_3=S_3\&cap;I_i,W_i<\mathrm{\&beta;W}\end{array}---\left(2\right)$

（D）选择相关波数集里面的波数点作为初始点，第一次迭代(p＝1)，选取S₁集合中的波长点x_j，记为x_k(0)，即k(0)＝j,j∈1,…,|S₁|；

（E）把还没选入的相关波数点、无关波数点集合中列向量位置的集合记为S，其中 $S=\{j,1\&le;j\&le;m_1,j\&NotElement;\{k\left(0\right),\&CenterDot;\&CenterDot;\&CenterDot;k(p-1)\left\}\right\};$

（F）分别计算剩余列向量x_j(j∈s)与当前所选向量x_k(p-1)的投影，计算如公式（3）所示；

${\mathrm{Px}}_j=x_j-\left[x_j^T{x}_{\text{k}(p-1)}\right]x_{k(p-1)}{\left[{x_{k(p-1)}}^T{x}_{k(p-1)}\right]}^{-1},j\&Element;s---\left(3\right)$

（G）提取最大投影值的波长变量序号：k(p)＝arg[max(||Px_j||)],j∈s；

（H）令x_j＝Px_j,j∈s，p＝p+1，如果p＜h，返回第（F）步；

（I）将投影向量最大的波长引入到波长组合，最终选取的波长变量为{k(p),p＝0,…,h-1}，每循环一个进行交互验证分析，每个新选入的波长，都与前一个线性关系最小，最小SEP对应的k(p)为最终选择的波长组合，最后根据最优波数点集建立校正集模型。

本发明的有益效果是：

1)通过权重值解决了连续投影算法随机选取波数点为初始点所带来的不足，使得初始点的选取更加科学、合理；

2)采用正交投影来判断新选入的波长变量的重要性，既能有效降低维数，又能最大限度提取有效信息；

3)农产品、油品近红外光谱经过连续投影算法优选波长变量后，能有效降低模型复杂度，提高模型的精确度。

附图说明

图1是本发明的算法流程图；

图2是80组玉米样本的原始光谱数据；

图3是OSC处理后玉米光谱数据；

图4是不同阈值上限比例α对定量分析结果的影响；

图5是不同阈值下限比例β对定量分析结果的影响；

图6是不同波长数对定量分析结果的影响。

具体实施方式

下面结合附图对本发明的具体实施方式进行详细说明。

先对近红外光谱进行预处理，消除数据采集过程中因仪器本身的信号漂移、环境变化引起的噪声，常用的光谱预处理方法有SNV(标准正交变换)、OSC(多元散射校正)、小波变换等；同时，对校正集和预测集样本进行划分，可如采用基于欧式距离的K-S算法、考虑性质变量的SPXY算法等。

实现本发明的流程图如图1所示，设置如下参数：

X(n×m):校正集光谱谱阵，

α：阈值浮动上限比例，β：阈值浮动下限比例，0＜β＜1＜α＜2，

h:波长变量个数，

Num:子区间个数，

W：权重值，

S₁：有效波数点集，

S₂：无关波数点集，

S₃：无效波数点集。

在上述参数的基础上，采用连续投影算法对近红外波长变量进行选择的步骤如下：

1.利用公式（1）计算全谱X的权重值W，

2.把校正集谱阵X等分为Num个子区间{I₁,I₂,…,I_Num}，分别建立校正模型，计算各子区间的权重值

3.依据全谱权值、各子区间权重值、α和β值，利用公式（2），将各子区间划分到S₁,S₂,S₃中，S₄＝S₁∩S₂,m₁＝|S₄|，

4.第一次迭代(p＝1)，选取S₁集合中的波长点x_j，记为x_k(0)，即k(0)＝j,j∈1,…,|S₁|，

5.把还没选入的S₄集合中列向量位置的集合记为S，其中 $S=\{j,1\&le;j\&le;m_1,j\&NotElement;\{k\left(0\right),\&CenterDot;\&CenterDot;\&CenterDot;k(p-1)\left\}\right\};$

6.分别计算剩余列向量x_j(j∈s)与当前所选向量x_k(p-1)的投影，

${\mathrm{Px}}_j=x_j-\left[x_j^T{x}_{\text{k}(p-1)}\right]x_{k(p-1)}{\left[{x_{k(p-1)}}^T{x}_{k(p-1)}\right]}^{-1},j\&Element;s$

7.提取最大投影值的波长变量序号：k(p)＝arg[max(||Px_j||)],j∈s，

8.令x_j＝Px_j,j∈s，

9.p＝p+1，如果p＜h，返回第6步，

最终选取的波长变量为{k(p),p＝0,…,h-1}。每循环一个进行交互验证分析，最小SEP对应的k(p)为最终选择的波长组合。

下面以玉米为例，采用上述方法选择玉米的近红外波长变量，并根据选择的波长分析玉米的出油率。

1.光谱预处理

采用OSC算法对玉米光谱数据预处理，处理前后的结果如图2、3所示；采用SPXY算法将80个样本分为两部分：60个训练样本，20个验证样本。

2.波长选择

2.1确定α、β的值

通过公式（1）计算出全谱的权重值即阈值为9.8；根据相关波数点、无关波数点和噪声波数点的定义，权重值大于阈值1.3倍的波数点建立校正模型时，模型精确度显著增加；权重值小于阈值0.75倍的波数点建立校正模型时，模型精确度显著降低，通过图4、5得出α＝1.3,β＝0.75，根据公式（2），得出各波数点的权重范围，所有波数分为三类：相关波数点集、无关波数点集、噪声波数点集，其分类结果如表1所示。

表1光谱波数点分类表

2.2确定h的值

图6为不同波长数对定量分析结果的影响，观察图6，可见不同波长数h对应的不同定量分析效果。为了降低模型的复杂度，所选取的波数点应尽可能的少。当h＝10，SEP值较小，波数点个数最少，定量分析效果佳。

随机选取相关波数点集中的2280nm波数点作为初始点，根据确定了阈值上限比例、阈值下限比例、波长个数的值，从相关波数点集和无关波数点集中采用WSPA算法选取9个波数点，即1838nm、2280nm、2282nm、2284nm、2288nm、2290nm、2292nm、2294nm、2296nm，采用PLS算法建立校正模型，其中主成分个数为4，相关系数R＝0.94，定量分析结果如表2所示。

表2玉米出油率的真实值与预测值

真实值	预测值	真实值	预测值
				3.496	3.505	3.404	3.345
3.504	3.593	3.415	3.404
				3.748	3.764	3.316	3.334
3.619	3.586	3.595	3.616
				3.46	3.488	3.557	3.522
3.541	3.666	3.163	3.210
				3.479	3.530	3.686	3.756
3.212	3.178	3.55	3.526
				3.212	3.231	3.251	3.309
3.519	3.526	3.328	3.423

Claims (1)

1.基于连续投影算法的近红外波长变量选择方法，其特征在于：包括如下步骤：

（A）对近红外光谱进行预处理，对校正集和验证集样本进行划分；

（B）利用预处理后的校正集近红外的全谱建立校正模型，设权重值为W，将其作为阈值，计算全谱X的权重值W，其计算如公式（1）所示；

$W=\frac{1}{\sqrt{\frac{\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}{(y_{i,\mathrm{actual}}-y_{i,\mathrm{predicted}})}^2}{m-1}}}---\left(1\right)$

（C）把校正集谱阵X等分为Num个子区间{I₁,I₂,…,I_Num}，对每个波数点I_i分别建立校正模型，计算各子区间的权重值得出权重值W_i，根据阈值大小，将全部波数点划分为三个集合：相关波数集S₁、无关波数集S₂、噪声波数集S₃，计算如公式（2）所示，其中：α为阈值浮动上限比例，β为阈值浮动下限比例，0＜β＜1＜α＜2；

$\begin{array}{c}{S}_1=S_1\&cap;I_i,W_i>\mathrm{\&alpha;W}\\ S_2=S_2\&cap;I_i,\mathrm{\&alpha;W}\&GreaterEqual;W_i\&GreaterEqual;\mathrm{\&beta;W}\\ S_3=S_3\&cap;I_i,W_i<\mathrm{\&beta;W}\end{array}---\left(2\right)$

（D）选择相关波数集里面的波数点作为初始点，第一次迭代(p＝1)，选取S₁集合中的波长点x_j，记为x_k(0)，即k(0)＝j,j∈1,…,|S₁|；

（E）把还没选入的相关波数点、无关波数点集合中列向量位置的集合记为S，其中 $S=\{j,1\&le;j\&le;m_1,j\&NotElement;\{k\left(0\right),\&CenterDot;\&CenterDot;\&CenterDot;k(p-1)\left\}\right\};$

（F）根据公式（3）分别计算剩余列向量x_j(j∈s)与当前所选向量x_k(p-1)的投影；

${\mathrm{Px}}_j=x_j-\left[x_j^T{x}_{\text{k}(p-1)}\right]x_{k(p-1)}{\left[{x_{k(p-1)}}^T{x}_{k(p-1)}\right]}^{-1},j\&Element;s---\left(3\right)$

（G）提取最大投影值的波长变量序号：k(p)＝arg[max(||Px_j||)],j∈s；

（H）令x_j＝Px_j,j∈s，p＝p+1，如果p＜h，返回第（F）步；

（I）将投影向量最大的波长引入到波长组合，最终选取的波长变量为{k(p),p＝0,…,h-1}，每循环一个进行交互验证分析，每个新选入的波长，都与前一个线性关系最小，最小SEP对应的k(p)为最终选择的波长组合，最后根据最优波数点集建立校正集模型。