CN106770007A - 一种针对最小二乘支持向量机模型的近红外光谱特征波长选择方法 - Google Patents

Abstract

一种针对最小二乘支持向量机模型的近红外光谱特征波长选择方法，波长选择过程以光谱信息原始样本映射到核函数空间的分布情况为指导，核心是通过波长选择使原始样本映射到核函数空间后具有较大的支持向量边界，较小的分布半径R及较大的样本空间距离，从而使原始样本经过核空间映射后具有较高的可识别度。该方法原理简单，易于实现，容易得到区分度较高的模型。此外，该方法波长选择基于结构风险最小化原则进行，并且选择过程只依据训练样本集进行，能够保证波长选择后模型的泛化能力。

Description

一种针对最小二乘支持向量机模型的近红外光谱特征波长选 择方法

技术领域

本发明涉及一种针对最小二乘支持向量机模型的近红外光谱特征波长选择方法，属于光谱分析技术领域。

背景技术

近红外光谱分析具有快速、成本低、无损等特点，已成为物性分析领域的重要工具。近红外光谱样本往往包含几百甚至上千个波长点，这些波长点包含很多冗余或噪声信息。若采用全谱建模，会增加建模的复杂性，且由于冗余或噪声信息的引入，易降低模型精度。为此，对近红外光谱的建模波长点进行优化，从中选择具有代表性的特征波长点是提高光谱模型鲁棒性和精度的重要手段。

最小二乘支持向量机(Least Squares Support Vector Machine，LSSVM)具有较强的非线性映射能力，其以结构风险最小化为目标构建模型，具有较好的泛化能力，同时，LSSVM的参数通过求解线性方程组获得，容易获得全局最优参数，所以，LSSVM在光谱建模领域得到了广泛的应用。目前，针对LSSVM的光谱波长选择方法主要可分为三类：一类是根据波长之间的相关性选择相关性最低的波长点组合进行建模，核心是消除波长点的冗余(如连续投影映射)，该方法只考虑波长之间的特征无关性，容易引入噪声波长；第二类是考虑光谱波长与被测信息的相关度，选择相关度较大的波长进行建模(如相关系数法)，该方法只考虑特征波长与被测信息的相关度，容易引入较多的冗余波长；另一类通过智能搜索算法(如遗传算法，粒子群算法等)选择波长，这些方法的搜索过程易受初始参数的影响，搜索过程易陷入局部极值，较难获得全局最优的波长组合。

发明内容

本发明的目的是提供一种针对最小二乘支持向量机模型的光谱特征波长选择方法，对光谱模型进行简化，提高模型的精度及泛化能力。

为解决上述问题，本发明采用的技术方案为一种针对最小二乘支持向量机模型的光谱特征波长选择方法，该方法包括以下步骤：

S1：对近红外光谱样本信息进行预处理，去除噪声因素的影响；

S2：对近红外光谱样本信息中所有的波长点进行顺序编号，令S＝{被选择波长点集合}，w_i(i＝1,…,N_S)为编号为i的波长点对应的权重系数，N_S为集合S中元素数；

S3：确定辅助参数C及标准差σ，被选择波长点集合S的初始值S₁设为包含所有波长点，同时将所有波长点的权重系数w_i(i＝1,…,N_S)初始值置为1；

S4：令性能指标J₁＝0，S₁＝S，S₂＝Φ，Φ为空集合；

S5：随机从集合S₁中选择一个波长点并记为i同时添加到集合S₂中，同时将波长点i从集合S₁中移除，利用S₂中波长点集合建立LSSVM模型，获得建模参数α及核函数矩阵K，其中，α通过求解方程组(1)获得，K通过(2)计算；x，y分别为近红外光谱的样本信息及相应的物性信息，n为样本个数。

S6：计算J₂＝‖ω‖²R/D，其中，R为原始样本映射到核空间后超球体的半径；D为核函数空间样本的平均距离；指标J₂综合考虑了支持向量边界及原始样本映射到核函数空间的分布半径及样本映射到核函数空间后的空间距离，若原始样本经过映射后具有支持向量边界M(较大的支持向量边界M或较小的‖ω‖)、分布半径R(R值较小)、样本间距D(D值较大)，则原始样本经过核空间映射后具有相应的可识别度。‖ω‖²、R、D分别采用下式计算：

(a)‖ω‖²＝α^TKα，其中，α为对应的拉格朗日乘子矩阵，K为核函数矩阵，α^T为拉格朗日乘子的转置矩阵；

(b)；R＝max{d_ij}，i，j＝1，…，n，n取正整数；

(c)；D＝1/n²∑d_ij，其中，d_ij＝2(1-K(x_i,x_j))；

S7：若J₂>J₁，则将S5中增加的波长点i对应的权重系数w_i减小δ，否则，若J₂<J₁，则将S5中增加的波长点i对应的权重系数w_i增加2δ；

S8：令J₁＝J₂；

S9：若S₁非空，转到S5添加下一个波长点，否则转S10；

S10：从集合S中删除w_i(i＝1,…,N_S)小于或等于0的波长点；

S11：若集合S中包含的波长点数量小于或等于预设的建模所需最小波长点数量N_min，则结束波长选择过程，否则判断波长权重系数w是否达到稳定状态，若达到稳定状态，则结束波长选择过程，否则，转到S4对集合S中的波长进一步筛选。

与现有技术相比较，本发明方法具有如下有益效果。

(1)上述波长选择过程以优化样本映射到核函数空间的分布为核心，通过波长筛选增强了样本映射到核空间后的差异性和可辨识性，容易得到区分度较高的模型，从而提高最小二乘支持向量机建模精度。

(2)上述波长点选择过程依据模型结构风险最小化思想进行，并且选择过程只依赖于训练集样本，能够保证波长选择后模型的泛化能力。

附图说明

图1为波长选择的具体过程图。

图2为按本发明方法选择的波长点。

图3为本发明选择波长后LSSVM预测结果。

图4为本方法实施流程图。

具体实施方式

以下以柴油十六烷值近红外光谱波长选择为例进行细述。

步骤1：对柴油十六烷值近红外光谱样本信息进行求导、归一化等预处理，弱化噪声因素影响；

步骤2：对所有波长点进行顺序编号，令S＝{被选择波长点集合}，w_i为编号为i的波长点对应的权重系数，N_S为集合S中元素数；

步骤3：确定参数C＝1000，δ＝0.1及σ＝20，S＝{全部波长点}，w_i＝1(i＝1,…,N_S)，由于柴油十六烷值近红外光谱中包含401个波长点，所以N_S初始值为401，令N_min＝30，N_Lmax＝50；

步骤4：令性能指标J₁＝0，S₁＝S，S₂＝Φ(Φ为空集合)；

步骤5：随机从集合S₁中选择一个波长点(记为i)添加到集合S₂中，同时将波长点i从集合S₁中移除；

步骤6：利用S₂中波长点集合建立LSSVM模型，获得建模参数α及核函数矩阵K，

步骤7：计算J₂＝‖ω‖²R/D；

步骤8：若J₂>J₁，则将步骤5中增加的波长点i对应的权重系数修正为w_i＝max{0,w_i-δ}，否则，若J₂<J₁，则将步骤5中增加的波长点对应的权重系数修正为w_i＝min{1,w_i+2δ}；

步骤9：令J₁＝J₂；

步骤10：若S₁≠Φ，转步骤5；

步骤11：从集合S中删除w_i小于等于0的波长点；

步骤12：N_t＝集合S中元素数量，若N_t≤N_min，转步骤16；

步骤13：若N_t≤N_S，，令N_S＝N_t，N_L＝0，转步骤15，否则，N_L＝N_L+1；

步骤14：若N_L<N_Lmax，转步骤15，否则转步骤16；

步骤15：转步骤4重新对S中剩余波长进行筛选；

步骤16：波长选择过程结束。

上述波长选择的具体过程如图1所示，按上述方法选择的波长点如图2所示，依据上述方法选择波长后LSSVM预测结果如图3所示。

Claims (1)

1.一种针对最小二乘支持向量机模型的光谱特征波长选择方法，其特征在于：该方法包括以下步骤：

S1：对近红外光谱样本信息进行预处理，去除噪声因素的影响；

S2：对近红外光谱样本信息中所有的波长点进行顺序编号，令S＝{被选择波长点集合}，w_i(i＝1,…,N_S)为编号为i的波长点对应的权重系数，N_S为集合S中元素数；

S3：确定辅助参数C及标准差σ，被选择波长点集合S的初始值S₁设为包含所有波长点，同时将所有波长点的权重系数w_i(i＝1,…,N_S)初始值置为1；

S4：令性能指标J₁＝0，S₁＝S，S₂＝Φ，Φ为空集合；

S5：随机从集合S₁中选择一个波长点并记为i同时添加到集合S₂中，同时将波长点i从集合S₁中移除，利用S₂中波长点集合建立LSSVM模型，获得建模参数α及核函数矩阵K，其中，α通过求解方程组(1)获得，K通过(2)计算；x，y分别为近红外光谱的样本信息及相应的物性信息，n为样本个数；

$\left[\begin{array}{c}{y}_1\\ \begin{array}{c}.\\ .\\ .\end{array}\\ y_n\\ 0\end{array}\right]=\left[\begin{array}{cccc}1& K(x_1,x_1)+1/C& ...& K(x_1,x_n)\\ \begin{array}{c}.\\ .\\ .\end{array}& \begin{array}{c}.\\ .\\ .\end{array}& \begin{array}{c}.\\ .\\ .\end{array}& \begin{array}{c}.\\ .\\ .\end{array}\\ 1& K(x_n,x_1)& ...& K(x_n,x_n)+1/C\\ 0& 1& ...& 1\end{array}\right]\left[\begin{array}{c}b\\ {\mathrm{\&alpha;}}_1\\ \begin{array}{c}.\\ .\\ .\end{array}\\ {\mathrm{\&alpha;}}_n\end{array}\right]---\left(1\right)$

$K=\left[\begin{array}{ccc}K(x_1,x_1)& ...& K(x_1,x_n)\\ \begin{array}{c}.\\ .\\ .\end{array}& \begin{array}{c}.\\ .\\ .\end{array}& \begin{array}{c}.\\ .\\ .\end{array}\\ K(x_n,x_1)& ...& K(x_n,x_n)\end{array}\right]---\left(2\right)$

$K(x_i,x_j)=e^{-\frac{\left|\right|x_i-x_j\left|\right|}{2{\mathrm{\&sigma;}}^2}},i,j=1,...,n---\left(3\right)$

S6：计算J₂＝‖ω‖²R/D，其中，R为原始样本映射到核空间后超球体的半径；D为核函数空间样本的平均距离；指标J₂综合考虑了支持向量边界及原始样本映射到核函数空间的分布半径及样本映射到核函数空间后的空间距离，若原始样本经过映射后具有支持向量边界M、分布半径R、样本间距D，则原始样本经过核空间映射后具有相应的可识别度；‖ω‖²、R、D分别采用下式计算：

(a)‖ω‖²＝α^TKα，其中，α为对应的拉格朗日乘子矩阵，K为核函数矩阵，α^T为拉格朗日乘子的转置矩阵；

(b)；R＝max{d_ij}，i，j＝1，…，n，n取正整数；

(c)；D＝1/n²∑d_ij，其中，d_ij＝2(1-K(x_i,x_j))；

S7：若J₂>J₁，则将S5中增加的波长点i对应的权重系数w_i减小δ，否则，若J₂<J₁，则将S5中增加的波长点i对应的权重系数w_i增加2δ；

S8：令J₁＝J₂；

S9：若S₁非空，转到S5添加下一个波长点，否则转S10；

S10：从集合S中删除w_i(i＝1,…,N_S)小于或等于0的波长点；

S11：若集合S中包含的波长点数量小于或等于预设的建模所需最小波长点数量N_min，则结束波长选择过程，否则判断波长权重系数w是否达到稳定状态，若达到稳定状态，则结束波长选择过程，否则，转到S4对集合S中的波长进一步筛选。