CN105067550A - 基于分块稀疏贝叶斯优化的红外光谱波长选择方法 - Google Patents

Abstract

本发明涉及红外光谱波长技术领域，更具体而言，涉及一种基于稀疏贝叶斯学习的新型红外光谱波长选择方法，是一种利用光谱结构先验知识和光谱间共线性相关先验知识的稀疏优化波长选择方法；本发明提出一种计算量小、可调参数少、鲁棒性强的一种基于分块稀疏贝叶斯优化的红外光谱波长选择方法；首先利用红外光谱结构先验知识和光谱间共线性先验知识，自适应确定光谱的分块稀疏结构；然后采用稀疏贝叶斯学习算法计算出稀疏优化问题的最优解，从而筛选出最优的波长点组合；本发明可广泛应用于固相、液相和气相的红外光谱波长选择领域中。

Description

基于分块稀疏贝叶斯优化的红外光谱波长选择方法

技术领域

本发明涉及红外光谱波长技术领域，更具体而言，涉及一种基于稀疏贝叶斯学习的新型红外光谱波长选择方法，是一种利用光谱结构先验知识和光谱间共线性相关先验知识的稀疏优化波长选择方法。

背景技术

红外光谱分析是一种新兴的分析技术，由于它具有快速、无损和无污染等优点，在农业、化工和环境监测等领域有着广泛的应用。但是，红外光谱通常具有波长点多、吸收峰重叠、波长点之间存在严重的共线性关系等特点，给后续的定性与定量分析造成困难。因此，研究波长选择方法，对于简化模型、提高模型的预测能力和鲁棒性具有重要的实际意义。

传统的波长选择方法包括前向选择法、群优化算法、区间偏最小二乘法、无信息变量消除法等。前向选择法通过逐步回归，每次选择一个相关程度最高的波长，但是没有考虑波长点间的共线性问题；群优化算法(遗传算法、蝙蝠算法等)，通过特定的优化策略对目标函数进行优化，从而实现波长的选择，但是普遍存在计算量大、鲁棒性弱等缺点；区间偏最小二乘法通过将整个波长范围划分成若干个子区间，然后选择泛化性能最好的若干个子区间，但是子区间的个数设置对结果的影响较大，且计算量较大；无信息变量消除法通过加入一些人工随机变量，剔除稳定性低于随机变量的波长点，从而达到波长选择的目的，但是选择出的波长点个数依然很多，模型复杂度较高。

此外，考虑到红外光谱通常具有稀疏结构的特点(仅有少部分波长点对于模型有贡献)，文献[基于稀疏优化的近红外光谱波长选择方法，仪器仪表学报.2011,32(5):1114-1118]将波长选择问题转化为一个稀疏优化问题，再根据优化结果对波长进行排序，然后选择前面的部分波长。然而，该方法并没有考虑红外光谱的分块稀疏特点及共波长点间的共线性问题，导致算法的鲁棒性较弱。

综上所述，有必要对现有技术进行改进。

发明内容

为了克服现有技术中红外光谱波长选择方法存在的计算量大、鲁棒性弱等不足，本发明提出一种计算量小、可调参数少、鲁棒性强的一种基于分块稀疏贝叶斯优化的红外光谱波长选择方法。

为了解决上述技术问题，本发明采用的技术方案为：

基于分块稀疏贝叶斯优化的红外光谱波长选择方法，首先利用红外光谱结构先验知识和光谱间共线性先验知识，自适应确定光谱的分块稀疏结构；然后采用稀疏贝叶斯学习算法计算出稀疏优化问题的最优解，从而筛选出最优的波长点组合。

首先利用二阶导数光谱自适应确定光谱的分块稀疏结构，所述光谱自适应的划分方法可以根据波长点的贡献大小自适应确定分块的大小，即贡献较大的光谱范围内每个分块包含的波长点较少；反之，贡献较小的光谱范围内每个分块包含的波长点较多；将光谱范围内划分为J个分块，第j个分块中包含的波长点个数为P_jj＝1,2,…,J，则满足然后采用分块稀疏贝叶斯学习算法求解以下稀疏优化问题：

$\hat{x}\mathrm{\η}=\arg \underset{x}{min}\left|\right|Y-\underset{j=1}{\overset{J}{\Σ}}{\mathrm{\Φ}}_j{x}_j|{|}^2+\mathrm{\η}\underset{j=1}{\overset{J}{\Σ}}|\left|x_j\right|{|}_{K_j}$

上式中，为待分析组分含量；为第j个分块波长点对应的回归系数；为第j个分块波长点对应的红外光谱信息；为第j个分块对应的对称正定矩阵；η为可调参数，控制优化解的稀疏度。

所述分块稀疏贝叶斯学习算法按照如下具体步骤进行：

(1)假设每个分块均满足高斯分布：

其中，γ_i为一个非负的参数，控制着x的稀疏度；当γ_i＝0时，表示第i个分块x_i为零；为一个正定矩阵，表征第i个分块的相关信息；

(2)假设各个分块间相互独立，则x的先验分布为

其中，Σ₀＝diagγ₁B₁,…,γ_JB_J；

(3)假设噪声也满足高斯分布：其中，v为实验过程中引入的噪声；λ为一个正标量；I为单位矩阵；

(4)由步骤(1)-(3)可得，x的后验分布可表示为；

其中， ${\mathrm{\μ}}_x={\mathrm{\Σ}}_0{\mathrm{\Φ}}^T\mathrm{\λ}I+{\mathrm{\Φ\Σ}}_0{{\mathrm{\Φ}}^T}^{-1}y;{\mathrm{\Σ}}_x={({\mathrm{\Σ}}_0^{-1}+\frac{1}{\mathrm{\λ}}{\mathrm{\Φ}}^T\mathrm{\Φ})}^{-1};$

(5)所有的参数被估计出来后，x的最大后验估计直接通过x的后验分布的均值计算出来，即： $\hat{x}\←{\mathrm{\Σ}}_0{\mathrm{\Φ}}^T\mathrm{\λ}I+{\mathrm{\Φ\Σ}}_0{{\mathrm{\Φ}}^T}^{-1}y;$

(6)参数由第二类最大似然估计获得，即等效于计算以下损失函数的最小值：

其中，表示所有的待估计参数；

(7)采用期望最大化算法对步骤(6)进行求解，可以得到参数γ_i、λ和B_i的学习规则：

${\mathrm{\γ}}_i\←\frac{1}{d_i}Tr\[{\begin{array}{ccc}{B}_i^{-1}& {\mathrm{\Σ}}_x^i+{\mathrm{\μ}}_x^i& {\mathrm{\μ}}_x^i\end{array}}^T\]$

$\mathrm{\λ}\←\frac{\left|\right|y-{\mathrm{\Φ\μ}}_x|{|}_2^2+{\mathrm{Tr\Σ}}_x{\mathrm{\Φ}}^T\mathrm{\Φ}}{M}$

$B_i\←\frac{1}{J}\underset{i=1}{\overset{J}{\Σ}}\frac{{\begin{array}{cc}{\mathrm{\Σ}}_x^i+{\mathrm{\μ}}_x^i& {\mathrm{\μ}}_x^i\end{array}}^T}{{\mathrm{\γ}}_i}$

其中，为μ_x的第i个分块；为Σ_x的第i个主对角阵分块。

与现有技术相比本发明所具有的有益效果为：

本发明首先利用二阶导数方法将光谱自适应划分为若干个子区间(分块)，然后在充分利用各个分块的红外光谱的共线性先验知识的基础上采用稀疏贝叶斯优化算法计算出稀疏解，从而筛选出最优的波长点组合；与现有方法相比，该方法具备计算量小、可调参数少、鲁棒性强等优点，从而可以有效降低模型的复杂度，提升模型的泛化性能，可以广泛应用于固相、液相和气相的红外光谱波长选择领域中。

附图说明

下面通过附图对本发明的具体实施方式作进一步详细的说明。

图1为60个汽油样品的近红外光谱图；

图2为60个汽油样品平均光谱的二阶导数光谱；

图3为基于稀疏贝叶斯优化的红外光谱波长选择结果。

具体实施方式

下面实施例结合附图对本发明作进一步的描述。

以下结合图1和图2对本发明进行详细阐述。

如图1所示，假设有N个样品，利用光谱仪扫描出的红外光谱信号为对应的待分析组分含量为其中，P为红外光谱的波长点数，一般情况下N＜＜P。

由化学计量学原理可得，待分析组分的含量预测模型可以表示为

Y＝Φx+v(1)

其中，为待拟合的回归系数；为噪声误差。

为了实现波长选择，利用凸优化理论，可以将问题转化为以下l₁范数稀疏优化问题：

$\hat{x}\mathrm{\η}=\arg \underset{x}{min}\left|\right|Y-\mathrm{\Φ}x|{|}^2+\mathrm{\η}|\left|x\right|{|}_1---\left(2\right)$

从如图2所示的二阶导数光谱中可以看出，仅有少部分波长点对模型的贡献较大，且存在分块稀疏结构，即贡献较大的波长点大多集中分布在少数几个分块中。假设整个光谱范围可以分为J个分块，第j个分块中包含的波长点个数为P_jj＝1,2,…,J，则满足

那么，上述稀疏优化问题可以转化为以下分块稀疏优化问题：

$\hat{x}\mathrm{\η}=\arg \underset{x}{min}\left|\right|Y-\underset{j=1}{\overset{J}{\Σ}}{\mathrm{\Φ}}_j{x}_j|{|}^2+\mathrm{\η}\underset{j=1}{\overset{J}{\Σ}}|\left|x_j\right|{|}_{K_j}---\left(3\right)$

其中，为待分析组分含量；为第j个分块波长点对应的回归系数；为第j个分块波长点对应的红外光谱信息；为第j个分块对应的对称正定矩阵；η为可调参数，控制优化解的稀疏度。

从以上分析可以看出，当时，即整个光谱范围分为N个分块，亦即每个波长点为一个分块，上述分块稀疏优化问题(3)即退化为l₁范数稀疏优化问题(2)。

为了将整个光谱范围划分为若干个分块，可以采用多种划分方法，如均匀划分。然而，若采用均匀划分策略，则意味着所有波长点的贡献相同，在稀疏优化时可能会将贡献较大的波长点剔除。因此，本发明基于二阶导数光谱提出了自适应划分方法，可以根据波长点的贡献大小自适应确定分块的大小，即贡献较大的光谱范围内每个分块包含的波长点较少，反之，贡献较小的光谱范围内每个分块包含的波长点较多。即如图2所示，选择一个合适的阈值η，当二阶导数光谱的绝对值大于阈值时，每个分块内包含较少的波长点；当二阶导数光谱的绝对值小于阈值时，每个分块内包含较多的波长点。

为了求解上述分块稀疏优化问题，本发明采用稀疏贝叶斯优化算法，详细求解步骤如下：

(1)假设每个分块均满足高斯分布：

其中，γ_i为一个非负的参数，控制着x的稀疏度。当γ_i＝0时，表示第i个分块x_i为零；为一个正定矩阵，表征第i个分块的相关信息；

(2)假设各个分块间相互独立，则x的先验分布为其中，Σ₀＝diagγ₁B₁,…,γ_JB_J；

(3)假设噪声也满足高斯分布：其中，v为实验过程中引入的噪声；λ为一个正标量；I为单位矩阵；

(4)由步骤(1)-(3)可得，x的后验分布可表示为；其中， ${\mathrm{\μ}}_x={\mathrm{\Σ}}_0{\mathrm{\Φ}}^T\mathrm{\λ}I+{\mathrm{\Φ\Σ}}_0{{\mathrm{\Φ}}^T}^{-1}y;{\mathrm{\Σ}}_x={({\mathrm{\Σ}}_0^{-1}+\frac{1}{\mathrm{\λ}}{\mathrm{\Φ}}^T\mathrm{\Φ})}^{-1};$

(5)所有的参数被估计出来后，x的最大后验估计直接通过x的后验分布的均值计算出来，即： $\hat{x}\←{\mathrm{\Σ}}_0{\mathrm{\Φ}}^T\mathrm{\λ}I+{\mathrm{\Φ\Σ}}_0{{\mathrm{\Φ}}^T}^{-1}y;$

(6)参数由第二类最大似然估计获得，即等效于计算以下损失函数的最小值：

其中，表示所有的待估计参数；

(7)本发明采用期望最大化(ExpectationMaximization,EM)算法对步骤(6)进行

求解，可以得到参数γ_i、λ和B_i的学习规则：

${\mathrm{\γ}}_i\←\frac{1}{d_i}Tr\[{\begin{array}{ccc}{B}_i^{-1}& {\mathrm{\Σ}}_x^i+{\mathrm{\μ}}_x^i& {\mathrm{\μ}}_x^i\end{array}}^T\]$

$\mathrm{\λ}\←\frac{\left|\right|y-{\mathrm{\Φ\μ}}_x|{|}_2^2+{\mathrm{Tr\Σ}}_x{\mathrm{\Φ}}^T\mathrm{\Φ}}{M}$

$B_i\←\frac{1}{J}\underset{i=1}{\overset{g}{\Σ}}\frac{{\begin{array}{cc}{\mathrm{\Σ}}_x^i+{\mathrm{\μ}}_x^i& {\mathrm{\μ}}_x^i\end{array}}^T}{{\mathrm{\γ}}_i}$

其中，为μ_x的第i个分块；为Σ_x的第i个主对角阵分块。

以下结合附图1、图2和图3对本发明进行具体实施方式进行分析。

图1为60个汽油样品的近红外光谱图，其光谱扫描范围为900-1700nm，每隔2nm扫描一个波长点。因此，扫描出的光谱信息矩阵为对应的待分析组分为汽油样品内所包含的辛烷值，即

首先，利用二阶导数光谱自适应确定光谱的分块稀疏结构。如图2所示，选择一个阈值η＝0.002，当二阶导数光谱的绝对值大于阈值时，每个分块内仅包含两个波长点；当二阶导数光谱的绝对值小于阈值时，每个分块内包含8个波长点。最终将整个光谱范围划分成98个块，其中63个分块仅包含两个波长点，1个分块包含3个波长点，剩余34个分块均包含8个波长点。

其次，利用分块稀疏贝叶斯学习算法进行求解，其中涉及到的参数设置如下：最大迭代次数maxIter＝20，γ_i的裁剪阈值prune_gamma＝0.5。

计算出的稀疏解如图3所示。从图中可以看出，在64个贡献较大的分块中，共筛选出了32个波长点，且均分布在强吸收峰附近(1150nm、1190nm、1400nm、1700nm)；在34个贡献较少的分块中，共筛选出了18个分块，共144个波长点。

申请人于2015年5月28日提出了申请号为201510279002.3、名称为一种基于自适应GroupLasso的红外光谱波长选择方法，本发明为一种基于分块稀疏贝叶斯优化的红外光谱波长选择方法，本发明比上次申报的专利有两点改进之处，具体如下：

1、在上次申报的专利中，利用Lasso算法求解稀疏优化问题时，参数λ对结果的影响较大。若需要寻找到一个最佳的λ，通常可以采用交叉验证法(CrossValidation,CV)，导致计算量变大，复杂度增加。而本专利基于稀疏贝叶斯学习理论框架，通过参数γ_i来控制解的稀疏度，其作用与对比文件中的参数λ相同。当γ_i＝0时，表示第i个分块x_i为零，该分块对应的光谱波长不被选择。参数γ_i的取值无需通过交叉验证等方法人工确定，可以通过期望最大化(ExpectationMaximization,EM)算法自动计算出。

2、上次申请专利的算法，在经过GroupLasso算法得出稀疏解后，仍需要对稀疏解进行Belsley共线性检验，从而剔除其中贡献较小的波长点。这是因为上次的算法仅利用了光谱的稀疏结构先验知识，而没有利用光谱间的共线性相关先验知识，导致GroupLasso算法得出解稀疏度仍然较高。本专利所提出的算法中，通过矩阵来控制第i个分块内的各个光谱波长点间的相关信息，即可以在优化计算的同时综合考虑光谱波长点间的共线性问题，因此，可以一步计算出稀疏度较低的最优稀疏解。

Claims (3)

1.基于分块稀疏贝叶斯优化的红外光谱波长选择方法，其特征在于：首先利用红外光谱结构先验知识和光谱间共线性先验知识，自适应确定光谱的分块稀疏结构；然后采用稀疏贝叶斯学习算法计算出稀疏优化问题的最优解，从而筛选出最优的波长点组合。

2.根据权利要求1所述的一种基于分块稀疏贝叶斯优化的红外光谱波长选择方法，其特征在于：首先利用二阶导数光谱自适应确定光谱的分块稀疏结构，所述光谱自适应的划分方法可以根据波长点的贡献大小自适应确定分块的大小，即贡献较大的光谱范围内每个分块包含的波长点较少；反之，贡献较小的光谱范围内每个分块包含的波长点较多；将光谱范围内划分为J个分块，第j个分块中包含的波长点个数为P_jj＝1,2,…，J，则满足然后采用分块稀疏贝叶斯学习算法求解以下稀疏优化问题：

上式中，为待分析组分含量；为第j个分块波长点对应的回归系数；为第j个分块波长点对应的红外光谱信息； 为第j个分块对应的对称正定矩阵；η为可调参数，控制优化解的稀疏度。

3.根据权利要求2所述的一种基于分块稀疏贝叶斯优化的红外光谱波长选择方法，其特征在于，所述分块稀疏贝叶斯学习算法按照如下具体步骤进行：

(1)假设每个分块均满足高斯分布：

其中，γ_i为一个非负的参数，控制着x的稀疏度；当γ_i＝0时，表示第i个分块x_i为零；为一个正定矩阵，表征第i个分块的相关信息；

(2)假设各个分块间相互独立，则x的先验分布为

其中，Σ₀＝diagγ₁B₁,…，_JB_J；

(3)假设噪声也满足高斯分布：其中，v为实验过程中引入的噪声；λ为一个正标量；I为单位矩阵；

(4)由步骤(1)-(3)可得，x的后验分布可表示为；

其中，μ_x＝Σ₀Φ^TλI+ΦΣ₀Φ^T-1y；

(5)所有的参数被估计出来后，x的最大后验估计直接通过x的后验分布的均值计算出来，即：

(6)参数由第二类最大似然估计获得，即等效于计算以下损失函数的最小值：

其中，表示所有的待估计参数；

(7)采用期望最大化算法对步骤(6)进行求解，可以得到参数γ_i、λ和B_i的学习规则：

其中，为μ_x的第i个分块；为Σ_x的第i个主对角阵分块。