CN105067558A - 近红外定性鉴别特征提取方法 - Google Patents

Abstract

一种近红外定性鉴别特征提取方法，包括如下步骤：步骤1：使用近红外光谱仪采集建模样本的近红外光谱数据；步骤2：添加同种物质样本的历史近红外光谱数据；步骤3：对建模样本的近红外光谱数据及历史近红外光谱数据样本数据进行预处理；步骤4：对预处理后的所有样本数据进行偏最小二乘特征提取，并得到偏最小二乘空间；步骤5：将预处理后的建模样本的近红外光谱数据向构建的偏最小二乘空间进行投影；步骤6：将投影后的建模样本的近红外光谱数据进行正交线性判别分析特征提取，完成提取的方法。本发明可简单可以提高近红外定性分析模型的稳健性。

Description

近红外定性鉴别特征提取方法

技术领域

本发明涉及近红外的定性分析领域，特别是一种近红外定性鉴别特征提取方法。

背景技术

近红外光谱(NearInfraredSpectrum，NIR)是介于可见光(Vis)和中红外(MIR)之间的电磁辐射波，美国材料检测协会(ASTM)将近红外光谱区定义为780～2526nm的区域，是人们在吸收光谱中发现的第一个非可见光区。近红外光谱区与有机分子中含氢基团(O-H、N-H、C-H)振动的合频和各级倍频的吸收区一致，通过扫描样品的近红外光谱，可以得到样品中有机分子含氢基团的特征信息，而且利用近红外光谱技术分析样品具有方便、快速、高效、准确和成本较低，不破坏样品，不消耗化学试剂，不污染环境等优点，因此该技术受到越来越多人的青睐。

在定性分析中，建立模型的性能决定最终的识别结果。模型性能的评价主要包括模型的稳健性和模型的适应性两个方面。模型的稳健性即所建模型的识别效果随时间推移的变化趋势，可以反映模型的适用期限。模式适应性是指模型对不同仪器数据集的识别能力，可以通过模型传递方法解决此类问题。

用仪器测得的近红外光谱实际上是样品的表观光谱，表观光谱既包含确定信息，也包含不确定信息，确定信息就是样品的真实光谱特征，不确定信息是样品光谱上叠加的各种背景信息。表观光谱不仅承载了样品的化学和物理信息，还包含了测量光谱的仪器参数、样品松紧度等参数以及温度、湿度等环境参数多方面的背景信息。提高定性分析模型稳健性的主要任务就是消除这些不确定因素的影响，提高建模数据对不确定信息变动的“包容性”。

在以往的定性分析中，只用一段时间内，同一台仪器所测试的近红外光谱数据建模时，存在以下两个问题：(1)测试不同日期的样本时，达到最优识别效果时所对应的特征提取环节的PLS维数会发生变化，即同一个模型识别不同天的测试样本时，最优识别率所对应的特征提取维数不固定；(2)需要给新品种建模时，原有品种的最优识别率所对应的维数也会发生变化。而在种子企业实际应用近红外光谱仪进行品种鉴别或真伪鉴别时，往往需要对许多新品种进行建模，由于这种情况导致原有品种的识别效果发生变化，不利于模型的实际应用和推广。

因此，为了解决上述问题，本方法提供了一种近红外定性鉴别特征提取方法，以提高近红外定性分析模型的稳健性。

发明内容

本发明的主要目的是提供近红外定性鉴别特征提取方法，该方法可简单可以提高近红外定性分析模型的稳健性。

为达到上述目的，本发明提供一种近红外定性鉴别特征提取方法，包括如下步骤：

步骤1：使用近红外光谱仪采集建模样本的近红外光谱数据；

步骤2：添加同种物质样本的历史近红外光谱数据；

步骤3：对建模样本的近红外光谱数据及历史近红外光谱数据样本数据进行预处理；

步骤4：对预处理后的所有样本数据进行偏最小二乘特征提取，并得到偏最小二乘空间；

步骤5：将预处理后的建模样本的近红外光谱数据向构建的偏最小二乘空间进行投影；

步骤6：将投影后的建模样本的近红外光谱数据进行正交线性判别分析特征提取，完成提取的方法。

从上述技术方案中可以看出，本发明具有以下有益效果：

本发明采用近红外光谱数据来进行定性鉴别，使用添加同种物质样本的历史近红外光谱来构建偏最小二乘空间，所建定性分析模型具有更好的容变性。对测试样本的测量时间和环境的变化具有更好的鲁棒性，使用添加历史同种物质样本的近红外光谱来构建PLS空间的方法，使得最优识别率所对应的PLS维数比较固定，也可以降低模型维护的难度，利于近红外定性分析技术的推广，使用本发明所提供的方法不仅能够应用在食品安全领域，同时在石油化工、医药、矿物学和化妆品等领域中得到广泛的应用。

附图说明

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明，其中：

图1是本发明提供的近红外定性鉴别特征提取方法流程图。

图2是进行偏最小二乘特征提取的方法流程图；

图3是正交线性判别分析特征提取的方法流程图；

图4是依照本发明实施例中实验一中未使用同种物质历史光谱数据参与构建PLS空间，不同PLS维数下，建模品种数增加时的识别效果变化曲线。

图5是依照本发明实施例中实验二中使用同种物质历史光谱数据参与构建PLS空间，不同PLS维数下，建模品种数增加时的识别效果变化曲线。

具体实施方式

请参阅图1所示，本发明提供一种近红外定性鉴别特征提取方法，包括如下步骤：

步骤1：使用近红外光谱仪采集建模样本的近红外光谱数据，所述近红外光谱仪是测试单粒样本的微型光谱仪，或者是测试整杯样本的普通光谱仪，采集方式包括漫反射或透射；所述采集建模样本的近红外光谱数据，是用同一台近红外光谱仪在同一外部环境、不同时间采集样本的近红外光谱数据；

步骤2：添加同种物质样本的历史近红外光谱数据；所述历史近红外光谱数据与建模样本的近红外光谱数据采集自同种物质样本，所述的同种物质样本的历史近红外光谱数据，是在过去的实验中采集的近红外光谱，该历史光谱与建模样本的光谱，使用的近红外光谱仪为同一型号，采集环境不同，

步骤3：对建模样本数据及历史近红外光谱数据样本数据进行预处理，所述的预处理，是去除或降低不确定的背景信息对光谱数据的噪声干扰，采用的预处理方法包括数据归一化处理、导数法处理、平滑处理、中心化和标准化处理，所述不确定的背景信息是指受近红外光谱仪仪器状态、测定条件与环境影响的信息；所述不确定的背景信息是指受近红外光谱仪仪器状态、测定条件与环境影响的信息。

步骤4：对预处理后的所有样本数据进行偏最小二乘特征提取，并得到偏最小二乘空间，所述的进行偏最小二乘特征提取，是对所有样本数据进行偏最小二乘特征提取，得到偏最小二乘特征矩阵，以利用该矩阵将建模数据变换到偏最小二乘空间，所述进行偏最小二乘特征提取，得到偏最小二乘特征矩阵(参阅图2)，具体包括：

步骤41：对样本数据进行标准化处理，即令样本的各个变量的均值为0，方差为1；令总样本矩阵为XO，类别信息矩阵为Y₀，X₀₁为步骤1中的建模样本矩阵，X₀₂为同种物质历史样本矩阵；其中，X₀定义为n条光谱p个数据点的原始光谱矩阵，Y₀为对应的类别属性矩阵为：

$X_0=\left[\begin{array}{c}{X}_{01}\\ X_{02}\end{array}\right],$

其中

Y₀中，y_ij＝1表示第i条光谱属于第j类，y_ij＝0表示第i条光谱不属于第j类；

步骤42：求矩阵X′₀Y₀的协方差矩阵C＝X′₀Y₀Y′₀X₀，协方差矩阵常数舍弃；

步骤43：求得协方差矩阵C的特征值以及对应的特征向量，并将特征向量按照特征值的大小排列，取最大的n维特征值对应的特征向量组成投影矩阵W_PLS，构建偏最小二乘空间；

步骤5：将预处理后的建模样本数据向构建的偏最小二乘空间进行投影，所述将建模样本数据向偏最小二乘空间进行投影，即将X₀₁为待建模样本矩阵与投影矩阵W_PLS相乘，得到新的特征向量为：x′_i＝x_iW′_PLS；所述向构建的偏最小二乘空间进行投影可以进一步消除变量之间的相关性，剔除多重相关信息和无解释有意义信息的干扰，突出不同类数据之间的类间差异，从而提高模型的稳健性。

步骤6：将投影后的建模数据进行正交线性判别分析特征提取，所述的正交线性判别分析特征提取方法，与传统的线性判别分析相比，能够解决后者在现实应用中遇到的小样本问题。所述对建模样本数据进行正交线性判别分析特征提取(参阅图3)，具体包括：

步骤61：对经过偏最小二乘特征提取之后的建模集数据进行正交线性鉴别分析特征提取，得到正交线性鉴别分析特征矩阵；所述进行正交线性鉴别分析特征提取，得到正交线性鉴别分析特征矩阵，具体包括：

步骤611：假设有C类样本，总样本数为N，N_i为第i类样本数，则定义类内散布矩阵S_W、类间散布矩阵S_B如下：

$S_W=\underset{i=1}{\overset{c}{\Σ}}\underset{J=1}{\overset{N_i}{\Σ}}(x_{ij}-m_i){(x_{ij}-\stackrel{\‾}{m_i})}^{\′}$

$S_B=\underset{i=1}{\overset{N}{\Σ}}(m_i-\stackrel{\‾}{m}){(m_i-\stackrel{\‾}{m})}^{\′}$

其中， $m_i=\frac{1}{N_i}\underset{j=1}{\overset{N_i}{\Σ}}{x}_{ij}$ 为第i类模式的均值， $\stackrel{\‾}{m}=\frac{1}{N}\underset{i=1}{\overset{c}{\Σ}}\underset{j=1}{\overset{N_i}{\Σ}}{x}_{ij}$ 为总样本均值；

步骤612：将正交线性鉴别分析的优化问题转换为求解下式的优化问题：

$W_{OLDA-opt}=\underset{W^{T}W=1}{\arg \max }\frac{W^T{S}_{B}W}{W^T{S}_{W}W}$

其中，w_i(i＝1，2，...，)对应为下式特征值降序排列前n个值对应的特征向量，且要满足W^TW＝I：

S_Bw＝λS_Ww

步骤613：得到W_OLDA-opt后，取最大的n维特征值对应的特征向量组成投影矩阵W_OLDA，即可进行数据转换Y′＝YW′_OLDA。

步骤62：利用得到的正交线性鉴别分析特征矩阵，将经过偏最小二乘特征提取之后的建模集数据变换到正交线性鉴别分析空间中，完成提取的方法。

实施例

本实验以玉米品种鉴别为例，用本发明提供的方法建立品种鉴别模型的实验，并给出实验测试结果，以验证本发明所建模型的效果。

本实施例中的实验仪器采用杭州聚光科技公司(FPI)的SupNIR-2700系列的近红外光谱仪，仪器参数如下：仪器适用的样品状态为颗粒或粉末状等固体，光源为卤钨灯，波长范围为1000～1800nm，有效光程为0.2～5mm，波长准确性为0.2nm，测定形式是非接触漫反射。

实验所用的建模集玉米品种有农华032、农大108、京玉16、洛单248、屯玉2106、玉朱2107、玉朱2110、屯玉2109共8个品种足够多的籽粒，且均分为有包衣和无包衣的两种籽粒；

分别用9月15日、9月16日、10月21日上午每个品种的30条有包衣的光谱数据作为测试集，即每个测试集共计240条光谱，三个日期的测试集分别记作T1、T2、T3。

同种物质历史近红外光谱即过去实验采集的玉米数据有：屯玉绿源2012、屯玉绿源2014、屯玉绿源2015、农华035、农大106、农华海南101、农华海南2010、浚单武威2011、甘肃临泽2009、浚单武威2010共计10个品种，每个品种光谱30条，30条分为三天，每天各10条，分别采于2013年6月27日、2013年7月9日、2013年7月17日，这些数据记作历史近红外光谱数据H。

(一)采集样本的建模近红外光谱数据

采集8个品种的近红外光谱数据。在采集时采用交替采集的方法，

按照农华032一杯——农大108一杯——京玉16—杯——洛单248一杯——屯玉2106——玉朱2107——玉朱2110——屯玉2109……的方式采集光谱，中间无校验。

按这种方式为每—品种的有包衣和无包衣的种子各自采集30条光谱，8个品种一共采集到8*2*30＝480条光谱。

采集时间为2014年9月15日、9月16日、10月21日共3天，每天采集480条光谱，最终得到1440条光谱。

用9月15日上午农华032、农大108、京玉16、洛单248每个品种的30条无包衣光谱数据作为初始建模集，在此初始建模集中按顺序增加屯玉2106、玉朱2107、玉朱2110、屯玉2109四个品种，每次增加一种，对应的建模集中玉米品种数量分别是4、5、6、7、8共5种情况，构成建模集BM1、BM2、BM3、BM4、BM5。

(二)是否添加同种物质样本的历史近红外光谱数据；

为验证本发明所提出的方法在是否添加同种物质样本的历史近红外光谱数据时该方法的鉴别效果，以及本方法对不同时间采集的有包衣玉米籽粒的鉴别效果，实施例设计了两个实验，分别如下：

(1)实验一：对上一步的建模集不添加同种物质样本的历史近红外光谱数据H；

(2)实验二：对上一步的建模集添加同种物质样本的历史近红外光谱数据H。

(三)将采集得到的建模近红外光谱与历史近红外光谱进行预处理；

对两个实验的建模集采用相同的预处理方法，所采用的预处理方法为：平滑(参数为9)、一阶导(参数为9)和归一化。

(四)对样本数据进行偏最小二乘特征提取；

(1)在实验一中，依次将预处理后的建模集BM1、BM2、BM3、BM4、BM5；分别进行偏最小二乘特征提取，构建偏最小二乘空间。

(2)在实验二中，依次将预处理后的建模集BM1、BM2、BM3、BM4、BM5分别添加预处理后的同种物质样本的历史近红外光谱数据H一起进行偏最小二乘特征提取，构建偏最小二乘空间。

(五)将建模样本数据向偏最小二乘空间进行投影；

(1)在实验一中，依次将预处理后的建模集BM1、BM2、BM3、BM4、BM5向其自身构建偏最小二乘特征空间投影。

(2)在实验二中，依次将预处理后的建模集BM1、BM2、BM3、BM4、BM5向其与历史近红外光谱数据H联合构建的偏最小二乘特征空间投影。

(六)对建模样本数据进行正交线性判别分析特征提取；

由于建模集包含至少4个品种，首先确定OLDA特征提取的维数为4。对上一步中投影得到的数据进行正交线性判别分析特征提取。

(七)用仿生模式识别方法建立定性分析模型进行定性鉴别；

使用仿生模式识别方法依次建立4、5、6、7、8个品种的品种鉴别模型。实验一和实验二分别对添加历史样本光谱及未添加历史样本光谱时增加建模集品种数目情况下最优识别率对应的PLS维数进行了统计。

(1)在实验一中，当OLDA的特征维数为4时，未添加历史光谱数据集H分别与各建模集一起构建PLS空间，最优识别率对应的PLS维数如表1所示；

表1

(2)在实验二中，当OLDA的特征维数为4时，添加历史光谱数据集H分别与各建模集一起构建PLS空间，最优识别率对应的PLS维数如表2所示；

表2

从表1可以看出，未添加同种物质历史近红外光谱构建PLS空间方法时，当建模集数量由4种增加到8种时，最优识别率所对应的PLS维数在6维到15维之间变化，当测试集为不同日期时，最优识别率所对应的PLS维数也发生变化。而表2中，添加历史样本光谱时联合构建PLS空间方法以后，建模集由4种增加到8种时，最优识别率所对应的PLS维数变化范围主要在6维到8维之间，且主要稳定在6维。

图4是未添加同种物质历史近红外光谱构建PLS空间方法，PLS维数等于6时，随建模集品种从4种增加至8种，9月15日、9月16日、10月21日三个测试集测试所得的最优识别率变化曲线。

从图2可以看出，对于同一个测试集，虽然在PLS＝6时，当建模集品种从4种增加到8种过程中，最优识别率都会在某一个点高于90％，但是不稳定，而且对于不同天次的测试集，识别效果也不一致，缺乏实际应用价值。

图5是添加同种物质历史近红外光谱构建PLS空间方法后，PLS维数等于6时，随建模集品种从4种增加到8种，9月15日、9月16日、10月21日三个测试集测试所得的最优识别率变化曲线。

从图3可以看出，对于同一个测试集，当PLS＝6时，当建模集品种从4种增加到8种过程中，最优识别率都高于90％，且对于不同天次的测试集，识别效果波动不大，因此在实际应用时就可以在品种鉴别软件中固定设置PLS＝6，免除了农作物种子企业在增加建模集品种时为了保证最优识别效果重新选定最优PLS参数的麻烦。

本发明在近红外定性鉴别分析中，采集建模集光谱，然后将同种物质历史样本光谱加入建模集光谱，对所有光谱数据进行了预处理，使光谱数据能够消除噪声等的干扰，将建模集光谱向建模集光谱与同种物质历史近红外光谱联合构建的PLS空间进行投影，对投影后得到的数据进行OLDA特征提取。一方面在建模集品种数增加时，使最优识别率所对应的PLS维数稳定在某一固定值；另一方面可以使用本发明所提出的特征提取方法后的数据所建模型对不同天次的测试样本识别率均能达到90％以上，即具有较好的稳健性，使得该方法能够在实际中具有一定的实用价值。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种近红外定性鉴别特征提取方法，包括如下步骤：

步骤1：使用近红外光谱仪采集建模样本的近红外光谱数据；

步骤2：添加同种物质样本的历史近红外光谱数据；

步骤3：对建模样本的近红外光谱数据及历史近红外光谱数据样本数据进行预处理；

步骤4：对预处理后的所有样本数据进行偏最小二乘特征提取，并得到偏最小二乘空间；

步骤5：将预处理后的建模样本的近红外光谱数据向构建的偏最小二乘空间进行投影；

步骤6：将投影后的建模样本的近红外光谱数据进行正交线性判别分析特征提取，完成提取的方法。

2.根据权利要求1所述的近红外定性鉴别特征提取方法，其中所述近红外光谱仪是测试单粒样本的微型光谱仪，或者是测试整杯样本的普通光谱仪，采集方式包括漫反射或透射。

3.根据权利要求1所述的近红外定性鉴别特征提取方法，其中建模近红外光谱数据与历史近红外光谱数据采集自同种物质样本。

4.根据权利要求3所述的近红外定性鉴别特征提取方法，其中所述的同种物质样本的历史近红外光谱数据，是在过去的实验中采集的近红外光谱，该历史光谱与建模样本的光谱，使用的近红外光谱仪为同一型号，采集环境不同。

5.根据权利要求1所述的近红外定性鉴别特征提取方法，其中所述的预处理，是去除或降低不确定的背景信息对光谱数据的噪声干扰，采用的预处理方法包括数据归一化处理、导数法处理、平滑处理、中心化和标准化处理。

6.根据权利要求5所述的近红外定性鉴别特征提取方法，其中所述不确定的背景信息是指受近红外光谱仪仪器状态、测定条件与环境影响的信息。

7.根据权利要求1所述的近红外定性鉴别特征提取方法，其中所述的进行偏最小二乘特征提取，是对所有样本数据进行偏最小二乘特征提取，得到偏最小二乘特征矩阵，以利用该矩阵将建模数据变换到偏最小二乘空间。

8.根据权利要求7所述的近红外定性鉴别特征提取方法，其中所述进行偏最小二乘特征提取，得到偏最小二乘特征矩阵，具体包括：

步骤41：对样本数据进行标准化处理，即令样本的各个变量的均值为0，方差为1；令总样本矩阵为X0，类别信息矩阵为Y0，X01为步骤1中的建模样本矩阵，X02为同种物质历史样本矩阵；其中，X0定义为n条光谱p个数据点的原始光谱矩阵，Y0为对应的类别属性矩阵为：

其中

Y0中，yij＝1表示第i条光谱属于第j类，yij＝0表示第i条光谱不属于第j类；

步骤42：求矩阵X′₀Y₀的协方差矩阵C＝X′₀Y₀Y₀′X₀，协方差矩阵常数舍弃；

步骤43：求得协方差矩阵C的特征值以及对应的特征向量，并将特征向量按照特征值的大小排列，取最大的n维特征值对应的特征向量组成投影矩阵W_PLS，构建偏最小二乘空间。

9.根据权利要求1所述的近红外定性鉴别特征提取方法，其中所述将建模样本数据向偏最小二乘空间进行投影，即将X₀₁为待建模样本矩阵与投影矩阵W_PLS相乘，得到新的特征向量为：x′_i＝x_iW′_PLS。

10.根据权利要求1所述的近红外定性鉴别特征提取方法，其中所述对建模样本数据进行正交线性判别分析特征提取，具体包括：

步骤61：对经过偏最小二乘特征提取之后的建模集数据进行正交线性鉴别分析特征提取，得到正交线性鉴别分析特征矩阵；

步骤62：利用得到的正交线性鉴别分析特征矩阵，将经过偏最小二乘特征提取之后的建模集数据变换到正交线性鉴别分析空间中。