CN104990895A - 一种基于局部区域的近红外光谱信号标准正态校正方法 - Google Patents

Abstract

本发明涉及一种基于局部区域的近红外光谱信号标准正态校正方法，步骤如下：1）利用近红外光谱仪采集待测样品的近红外光谱数据；2）采用等分的方式对全谱区域进行分隔，将全谱分为N等分，根据N数值的不同进行多次划分；3）对每一次划分，计算每个子波段的校正参数，并利用算得的参数对该谱段进行校正：4）对每一次划分，对校正后的全谱进行PLS建模，并计算模型的交叉验证根均方误差；5）确定最优的分隔数N_opt；6）确定最优的训练集模型；7）对测试集光谱进行N_opt等分，对每个子波段进行校正，带入步骤6）中的模型进行感兴趣成分含量的预测。本发明可以有效的抑制近红外光谱中的散射等干扰因素，提高了模型的预测精度。

Description

一种基于局部区域的近红外光谱信号标准正态校正方法

技术领域

本发明涉及近红外光谱定量分析领域中一种光谱信号预处理方法，更具体的说就是一种基于局部区域的近红外光谱信号标准正态校正方法。

背景技术

近红外光谱能够表征待测物中多种含氢基团信息，具有采样方便、无损伤、无污染、能够在线检测等优点，非常适合用于各种复杂混合物的检测。近红外光谱检测技术目前已广泛应用于制药、烟草、石油化工及农业等领域。近年来，近红外光谱技术结合多元校正技术如偏最小二乘算法（Partial Least Squares,PLS）等进行定量分析越来越普遍。然而，在实际应用中，光谱信号的采集经常会受到制样不均的干扰，例如颗粒的不均匀，样本的厚度不均匀等。由此带来的光谱散射效应以及光程变化等会破坏光谱信号与待测物含量间的线性关系，使得模型的解释性降低，同时带来预测精度的下降。因此，在建模前，通常使用光谱预处理的方式来降低甚至消除这些干扰因素。

常用的近红外光谱预处理技术主要有多元散射校正和标准正态变量校正。两种方法都假设光谱干扰项可由一常数项a和一乘性项b组成，通过对两种干扰项进行消除来达到校正目的，其公式为                                                。其中，和分别代表原始光谱和校正后光谱。MSC方法通过指定一条‘参考光谱’（通常为所有光谱的平均谱），计算每个样本光谱到参考谱的回归系数作为校正参数，并根据求解的回归系数对光谱进行校正。SNV方法并不需指定或计算一条参考谱，而是计算光谱的均值和标准差作为常数项和乘性项，由于SNV方法不涉及‘参考光谱’的选择，计算简便，效果较好，是目前国际上常用的光谱预处理方法。

现有的预处理方法均在全谱上统一估计校正参数，统一校正。然而，近红外光谱涵盖范围广泛，数据维数高，光谱的不同区域体现出不同的特点，单一的全谱估计全谱校正方法难以精确校正光谱所有波段的干扰，更为严重的，在某些波段，可能由于校正参数选择的不准确导致校正效果的不理想和建模失败。现有的预处理方法存在校正参数的估计不准确，从而致使光谱预处理效果和建模效果不理想。

发明内容

为了解决上述的技术问题，本发明的目的是提供一种基于局部区域的近红外光谱信号标准正态校正方法，通过局部估计局部校正的方法，降低光谱信号中的干扰因素，提高后续近红外光谱定量分析中的模型精度。

为了实现上述的目的，本发明采用了以下的技术方案：

一种基于局部区域的近红外光谱信号标准正态校正方法，该方法包括以下的步骤：

1）利用近红外光谱仪采集待测样品的近红外光谱数据，同时利用其它方法测得待测样品感兴趣成分的含量；

2）采用等分的方式对全谱区域进行分隔，将全谱分为N等分，根据N数值的不同进行多次划分；

3）对每一次划分，计算每个子波段的校正参数，并利用算得的参数对该谱段进行校正：

4）对每一次划分，对校正后的全谱进行PLS建模，并计算模型的交叉验证根均方误差；

5）确定最优的分隔数N _opt ，其定义为最小RMSECV所对应的分隔数；

6）确定最优的训练集模型，其定义为最小RMSECV所对应的PLS模型；

7）对测试集光谱进行N _opt 等分，对每个子波段进行校正，带入步骤6）中的模型进行感兴趣成分含量的预测。

作为优选，所述的步骤1）中的待测样品感兴趣成分含量由国际国内标准或其他成熟的化学方法测量得到。

作为优选，所述的步骤2）中用到的N的最大值视光谱所含变量的数目确定。

作为再优选，所述的步骤2）中N的最大值为10，即步骤2）中将全谱分别等分为2-10个子波段。

作为优选，所述的步骤3）中的每个子波段的校正系数分别由该波段的均值和标准差确定；其中m_ij为第i个样本光谱X_i在j子段的均值， S _ij 为第i个样本光谱X_i在j子段的标准差；步骤3）中的校正公式为。

作为优选，所述的步骤4）中的PLS算法为非线性迭代偏最小二乘算法。

作为优选，所述的步骤4）中的RMSECV的计算方法为5折交叉验证。

本发明的优点是：本发明公开方法相比传统的近红外光谱预处理方法，采用了局部的参数估计及相应的校正方法。在子波段的划分中，以偏最小二乘模型的最小交叉验证误差来选择最优的划分方法。该方法可以有效的抑制近红外光谱中的散射等干扰因素，提高了模型的预测精度。

附图说明

图1为本发明公开方法的近红外光谱信号校正及建模流程图。

图2全谱校正参数与局部校正参数的对比图。上图：全谱校正参数，长线代表光谱均值（加项校正参数），断线代表光谱标准差（乘项校正参数）；下图：局部校正参数，光谱被划分为若干个子段，每个子段分别求取相应的校正参数。

图3不同方法得到的近红外光谱。上图：未经预处理的原始光谱；中图：SNV校正后的光谱；下图：本发明提出的局部校正的光谱。

图 4 不同预处理方法在相同建模算法下的模型精度。

具体实施方式

如图1所示，本发明提出一种基于局部区域的近红外光谱信号标准正态校正方法的优化实施例，具体实施过程如下所述：

1）利用近红外光谱仪采集待测样品的近红外光谱数据，同时利用其它方法测得待测样品感兴趣成分的含量。本发明中近红外光谱数据以2维矩阵形式存储，其矩阵的行列分别代表样品数目及光谱的维数。

2）对步骤1中的获取的光谱，使其所含变量的数目确定最细的划分数K，例如在变量数为700的情况下，最细划分数为K=10。

3）对步骤2中的划分执行2至K次。在每次等分后，剩余的若干波数点并入最后一个子波段。

4）对步骤3中每次划分的各个子段计算相应的校正参数，利用公式校正公式为对该子段进行校正，其中为原始光谱中第i次划分中的第j个子段，为经过校正后的光谱，为第i个样本光谱在j子段的均值，为第i个样本光谱在j子段的标准差。

5）对步骤4中获得的不同划分参数下的校正光谱进行PLS建模，并计算每个模型的RMSECV。

6）对步骤5中获得的各模型RMSECV进行比较，以RMSECV最小值对应的划分参数作为最优划分参数。其相应的PLS模型为最终确定的训练集模型。

7）对预测集光谱进行等分。按步骤4中的方法进行全谱的校正。将校正后的光谱带入步骤6中的训练集模型，实现对测试集样本目标化学值的预测。

本发明技术与现有技术的实验比较及结果如下：

本节通过本发明技术与现有技术（未经预处理 No processing, 标准正态校正 SNV）对比，通过校正参数估计和校正后数据的建模结果来说明本发明的有效性。

图2展示了由全谱估计校正参数和由局部波段分别估计校正参数的差异。在全谱估计中（图2上图），加性项参数由全谱的均值得到，乘性项由全谱的标准差得到。然而，从局部看，全谱参数并不能很好的符合光谱局部波段的特征，其校正也失去了原有的意义。而本发明所提出的局部校正方法，同时估计多个光谱子波段的校正参数，其参数随波段的不同而变化，可以很好的表征光谱的各局部波段的特点。

图3展示了不同方法处理后的光谱数据形态。上图为未经任何预处理的原始光谱，从图中可以看出，光谱收到了很严重的散射干扰，不同样本间的吸收变化剧烈；中图为SNV校正后的光谱，相比原始谱而言，散射干扰得到了一定的抑制。然而，观察光谱的后端（波数1000-1050），会发现这段原本在原始谱中形态较相似的光谱在经过SNV后反而差异变大，这是由于全谱估计参数与该波段的不匹配造成的；下图为本发明提出了局部校正方法，通过流程选出的子波段最优划分数为5，在每一子段分别估计校正参数。由图中可以看出，在光谱变化剧烈的子段，校正后仍体现出光谱的变化，而对形态较为一致的子段，校正后更好的体现其一致性。因此，相比于全谱的参数估计，局部估计方法可以更灵活更细致的反映光谱的局部信息，对干扰因素的消除也更明显。

图4列出了原始光谱，SNV校正及本发明校正光谱的模型表现。在本实验中选取了一个公开数据集Tecator验证（可以在http://lib.stat.cmu.edu/datasets/tecator下载）。Tecator为肉类的近红外透射光谱数据，由Tecator Infratec food and feed analyzer采集得到。该数据集含有215个样本，波长范围为850-1050 nm，采样间隔为2 nm。在采集光谱的同时，采用标准的分析化学手段测定样本中的水分（39.3-76.6%）含量。本实验中将数据等分为4组，每次用其中三组训练，一组测试，实验结果由四次建模的结果平均得到。

Claims (7)

1.一种基于局部区域的近红外光谱信号标准正态校正方法，其特征在于该方法包括以下的步骤：

1）利用近红外光谱仪采集待测样品的近红外光谱数据，同时利用其它方法测得待测样品感兴趣成分的含量；

2）采用等分的方式对全谱区域进行分隔，将全谱分为N等分，根据N数值的不同进行多次划分；

3）对每一次划分，计算每个子波段的校正参数，并利用算得的参数对该谱段进行校正：

4）对每一次划分，对校正后的全谱进行PLS建模，并计算模型的交叉验证根均方误差；

5）确定最优的分隔数N _opt ，其定义为最小RMSECV所对应的分隔数；

6）确定最优的训练集模型，其定义为最小RMSECV所对应的PLS模型；

7）对测试集光谱进行N _opt 等分，对每个子波段进行校正，带入步骤6）中的模型进行感兴趣成分含量的预测。

2.根据权利要求1所述的一种基于局部区域的近红外光谱信号标准正态校正方法，其特征在于步骤1）中的待测样品感兴趣成分含量由国际国内标准或其他成熟的化学方法测量得到。

3.根据权利要求1所述的一种基于局部区域的近红外光谱信号标准正态校正方法，其特征在于步骤2）中用到的N的最大值视光谱所含变量的数目确定。

4.根据权利要求3所述的一种基于局部区域的近红外光谱信号标准正态校正方法，其特征在于步骤2）中N的最大值为10，即步骤2）中将全谱分别等分为2-10个子波段。

5.根据权利要求1所述的一种基于局部区域的近红外光谱信号标准正态校正方法，其特征在于步骤3）中的每个子波段的校正系数分别由该波段的均值和标准差确定；其中m_ij为第i个样本光谱X_i在j子段的均值， S _ij 为第i个样本光谱X_i在j子段的标准差；步骤3）中的校正公式为                                                。

6.根据权利要求1所述的一种基于局部区域的近红外光谱信号标准正态校正方法，其特征在于步骤4）中的PLS算法为非线性迭代偏最小二乘算法。

7.根据权利要求1所述的一种基于局部区域的近红外光谱信号标准正态校正方法，其特征在于步骤4）中的RMSECV的计算方法为5折交叉验证。