CN104374738A - 一种基于近红外提高鉴别结果的定性分析方法 - Google Patents

Abstract

本发明公开了一种基于近红外提高鉴别结果的定性分析方法，该方法包括：步骤1：采集样本的近红外光谱数据，并确定建模集和测试集；步骤2：对建模集和测试集依次进行预处理、偏最小二乘特征提取和正交线性鉴别特征提取；步骤3：采用直接模型传递方法计算建模集和测试集之间的光谱变换矩阵，并校正剩余测试集；步骤4：建立定性分析模型；步骤5：利用建立的定性分析模型对剩余测试集进行定性鉴别。本发明建立在近红外定性分析基础上，在特征提取步骤中使用了在多分类和二分类问题中都能使用的正交线性鉴别方法；除此之外，通过直接模型传递方法能够校正测试集，从而能够解决同一台仪器长时间的光谱偏移带来的模型适用性问题，提高定性鉴别的结果。

Description

一种基于近红外提高鉴别结果的定性分析方法

技术领域

本发明涉及近红外定性鉴别领域，特别是一种基于近红外提高鉴别结果的定性分析方法。 

背景技术

近红外光谱(Near Infrared Spectrum，NIR)是介于可见光(Vis)和中红外(MIR)之间的电磁辐射波，美国材料检测协会(ASTM)将近红外光谱区定义为780～2526nm的区域，是人们在吸收光谱中发现的第一个非可见光区。近红外光谱区与有机分子中含氢基团(O-H、N-H、C-H)振动的合频和各级倍频的吸收区一致，通过扫描样品的近红外光谱，可以得到样品中有机分子含氢基团的特征信息，而且利用近红外光谱技术分析样品具有方便、快速、高效、准确和成本较低，不破坏样品，不消耗化学试剂，不污染环境等优点，因此该技术受到越来越多人的青睐。 

随着分析技术的快速发展，基于近红外光谱的各类检测技术虽然得到了广泛的应用，但是基本都是在定量分析中的应用，在定性分析应用中较少。而目前较为需求的则是近红外光谱的定性分析鉴别技术，例如在食品安全领域，要鉴别作物种子的品种真实性，以保障农民的生产利益；检测奶粉中是否含有某些特殊物质以确保食用安全；在药品安全领域中，检测药物中是否含有某一种成分，以确保用药安全等。可见近红外光谱定性分析技术，会在更多的领域得到发展，同时也会在更多领域发挥越来越重要的作用。 

在实际应用近红外定性分析过程中，以往的实验结果都是在采集条件较为理想的数据集上得到的，而在实际应用中，采集的实验数据往往会包含很多不确定信息，这些不确定信息可能影响整个定性分析模型的性能，从而影响定性鉴别分析的结果准确性。 

针对该问题，有人提出了模型传递的思想，它是用于解决多台相同型 号仪器之间的模型共用问题。除了不同仪器之间的差别，同一台仪器长时间的光谱偏移同样面临着模型适用性的问题，由于相同物质不同品种间成分相差较小，光谱相互交叠，因此这种差异对定性分析的影响甚至比定量分析更为严重，严重时甚至完全不能正确识别。 

实际应用近红外光谱进行定性分析时，很多方法在特征提取时都用到了线性鉴别分析(LDA)，由于LDA方法提取的数据维数必须比类别数小1，因此如果在定性分析中使用LDA算法，当类别数较少的时候，则限定了LDA提取数据的维数，很可能导致有用信息的丢失，甚至算法完全失效。小样本问题是是线性鉴别分析最大的问题。因此本发明使用了正交线性鉴别分析(OLDA)方法，使本发明所提出来的定性鉴别分析不仅能用于多分类问题，还能用于二分类问题。 

针对目前近红外定性分析和模型适用性等的现状与诸多不足，本发明提出一种基于近红外提高鉴别结果的定性分析方法。 

发明内容

(一)要解决的技术问题 

有鉴于此，本发明的主要目的是为了提供一种简单可行、快速高效，并且能提高定性分析鉴别结果的一种基于近红外提高鉴别结果的定性分析方法。 

(二)技术方案 

为达到上述目的，本发明提供了一种基于近红外提高鉴别结果的定性分析方法，该方法包括： 

步骤1：采集样本的近红外光谱数据，并确定建模集和测试集； 

步骤2：对建模集和测试集依次进行预处理、偏最小二乘特征提取和正交线性鉴别特征提取； 

步骤3：采用直接模型传递方法计算建模集和测试集之间的光谱变换矩阵，并校正剩余测试集； 

步骤4：建立定性分析模型； 

步骤5：利用建立的定性分析模型对剩余测试集进行定性鉴别。 

上述方案中，步骤1中所述采集样本的近红外光谱数据，是采用近红外光谱仪在不同时间采集样本的近红外光谱数据。所述确定建模集和测试集，是将在同一天采集的光谱数据作为建模集，建模集是用来建立定性分析模型的原始建模数据；将不同采集日期采集的近红外光谱数据作为不同的测试集，测试集是用来鉴别种子品种真实性的原始测试数据。 

上述方案中，步骤2中所述对建模集和测试集依次进行预处理、偏最小二乘特征提取和正交线性鉴别特征提取，具体包括： 

步骤21：对建模集和测试集的原始数据用相同的预处理方法及相同的参数进行预处理； 

步骤22：对经过预处理之后的建模集数据进行偏最小二乘特征提取，得到偏最小二乘特征矩阵，以利用该矩阵将数据变换到偏最小二乘空间； 

步骤23：利用得到的偏最小二乘特征矩阵，将经过预处理之后的建模集和测试集数据变换到偏最小二乘空间中； 

步骤24：对经过偏最小二乘特征提取之后的建模集数据进行正交线性鉴别分析特征提取，得到正交线性鉴别分析特征矩阵； 

步骤25：利用得到的正交线性鉴别分析特征矩阵，将经过偏最小二乘特征提取之后的建模集和测试集数据变换到正交线性鉴别分析空间中； 

步骤26：利用变换到正交线性鉴别分析空间中的建模集数据进行建模，用变换到线性鉴别分析空间中的测试集数据进行鉴别。 

上述方案中，步骤2中所述的预处理、偏最小二乘特征提取和正交线性鉴别分析特征提取，在对建模集和测试集处理时采用相同的参数。 

上述方案中，步骤22中进行偏最小二乘特征提取，得到偏最小二乘特征矩阵，具体包括： 

步骤221：对样本数据进行标准化处理，即令样本的各个变量的均值为0，方差为1；令样本矩阵为X₀，类别信息矩阵为Y₀；其中，X₀定义为n条光谱p个数据点的原始光谱矩阵，Y₀为对应的类别属性矩阵： 

$X_0=\left[\begin{array}{cccc}{x}_{11}& x_{12}& ...& x_{1p}\\ x_{21}& x_{22}& ...& x_{2p}\\ .& .& .& .\\ .& .& .& .\\ .& .& .& .\\ x_{n1}& x_{n2}& ...& x_{\mathrm{np}}\end{array}\right],Y_0=\left[\begin{array}{ccccc}1& 0& 0& ...& 0\\ 1& 0& 0& ...& 0\\ 0& 1& 0& ...& 0\\ 0& 1& 0& ...& 0\\ 0& 0& 1& ...& 0\\ .& .& .& .& \\ .& .& .& .& 1\\ .& .& .& .& \\ 0& 0& 0& ...& 1\end{array}\right]$

Y₀中，y_ij＝1表示第i条光谱属于第j类，y_ij＝0表示第i条光谱不属于第j类； 

步骤222：求矩阵X′₀Y₀的协方差矩阵C＝X′₀Y₀Y₀X₀，协方差矩阵常数舍弃； 

步骤223：求得协方差矩阵C的特征值以及对应的特征向量，并将特征向量按照特征值的大小排列，取最大的n维特征值对应的特征向量组成投影矩阵W_PLS； 

步骤224：得到新的特征向量为x′_i＝x_iW′_PLS。 

上述方案中，步骤24中所述的进行正交线性鉴别分析特征提取，得到正交线性鉴别分析特征矩阵，具体包括： 

步骤241：假设有C类样本，总样本数为N，N_i为第i类样本数，则定义类内散布矩阵S_W、类间散布矩阵S_B如下： 

$S_W=\underset{i=1}{\overset{c}{\mathrm{\Σ}}}\underset{j=1}{\overset{N_i}{\mathrm{\Σ}}}(x_{\mathrm{ij}}-m_i){(x_{\mathrm{ij}}-\stackrel{\‾}{m_i})}^{\′}$

$S_B=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}(m_i-\stackrel{\‾}{m}){(m_i-\stackrel{\‾}{m})}^{\′}$

其中， $m_i=\frac{1}{N_i}\underset{j=1}{\overset{N_i}{\mathrm{\Σ}}}{x}_{\mathrm{ij}}$ 为第i类模式的均值， $\stackrel{\‾}{m}=\frac{1}{N}\underset{i=1}{\overset{c}{\mathrm{\Σ}}}\underset{j=1}{\overset{N_i}{\mathrm{\Σ}}}{x}_{\mathrm{ij}}$ 为总样本均值； 

步骤242：将正交线性鉴别分析的优化问题转换为求解下式的优化问题： 

$W_{\mathrm{OLDA}-\mathrm{opt}}=\underset{W^{T}W=I}{\arg \max }\frac{W^T{S}_{B}W}{W^T{S}_{W}W}$

其中，w_i(i＝1，2，...，)对应为下式特征值降序排列前n个值对应的特征向量，且要满足W^TW＝I： 

S_Bw＝λS_Ww； 

步骤243：得到W_OLDA-opt后，取最大的n维特征值对应的特征向量组成投影矩阵W_OLDA，即可进行数据转换Y′＝YW′_OLDA。 

上述方案中，步骤24中所述的正交线性鉴别分析特征矩阵，与线性鉴别分析特征矩阵相比，正交线性鉴别分析特征矩阵在求解变换矩阵的过程中，特征向量之间是两两正交的，即满足W^TW＝I。 

上述方案中，步骤3中所述采用直接模型传递方法计算建模集和测试集之间的光谱变换矩阵，具体包括：首先从建模集和测试集中各自挑选出用于光谱校正的光谱数据；然后用直接模型传递方法计算变换矩阵。 

上述方案中，所述挑选光谱校正数据，是从建模集和测试集中各自挑选出用于光谱校正的光谱数据，所用方法包括Kennard/Stone算法，采用Kennard/Stone算法挑选光谱校正数据的过程具体包括： 

步骤31：设置需要选取的校正样品个数k； 

步骤32：计算所有建模集样本两两之间的距离，将距离最远的两个样本选为校正集的第一、二个样本； 

步骤33：对于剩余样本，计算其与已选样本之间的距离并取其最小值，然后选择这些距离中最大值对应的样本为本次选择样本； 

步骤34：重复步骤33，直至选够k个样本组成建模集的校正集； 

步骤35：在测试集中选择建模集中所选出的对应编号的样本作为测试集的校正集。 

上述方案中，步骤3中所述的建模集和测试集，是指经过预处理、偏最小二乘和正交线性鉴别分析特征提取之后的光谱数据集；所述的光谱变换矩阵，是测试集与建模集之间的光谱变换矩阵，不同的测试集对应不同的变换矩阵。 

上述方案中，步骤3中所述的校正剩余测试集，是利用计算所得到的 光谱变换矩阵，得到建模集和测试集之间的校正关系，并将这种校正关系应用在剩余测试集中，消除时间推移带来的测试集光谱与建模集光谱之间的偏移现象，从而解决光谱偏移所带来的模型不适用的问题。 

上述方案中，步骤3中所述的剩余测试集，是指从测试集中挑选出光谱校正集之后剩余的测试数据集。 

上述方案中，步骤4中所述建立定性分析模型，采用的建模方法根据模型的适用范围及分析目标的不同采用不同的建模方法，包括基于高维形象几何分析的仿生模式识别方法、支持向量机或最近欧氏距离方法。 

上述方案中，步骤4中所述建立定性分析模型采用仿生模式识别方法，则步骤5中所述用所建模型对剩余测试集进行定性鉴别，采用仿生模式识别方法，该方法具体包括： 

步骤51：计算超香肠神经元；首先对建模集中的每一类样本进行模糊聚类，在每一个聚类簇上建立超香肠神经元，最终建立的超香肠神经元数目为类别数目C×每类的聚类数K，超香肠神经元输出采用简单的点到超香肠距离的倒数，分母上加1的目的是为确保分母不为零： 

$k(x,\mathrm{\τ})=\frac{1}{d+1}$

其中x表示输入样本向量，τ表示超香肠神经元的核； 

步骤52：计算感知器神经元；感知器数目等于类别数目C，对于建模样本集X，行表示样本，列表示变量，对每一类定义一个感知器的期望输出列向量q_i，其值由0或1组成，1表示训练样本属于第i类，0表示训练样本不属于第i类；对于未知样本x，其第i个感知器输出标量为： 

q_i＝xw_i，其中w_i＝(X′X)^-1X′q_i

步骤53：超香肠神经元和感知器联合输出为： 

o_j＝p_j*q_i

其中，p_j为第j个超香肠神经元的输出，第j个超香肠神经元属于类别i，q_i为该类别的感知器输出； 

步骤54：采用最小二乘法直接求解得出线性神经元的权值，用O表示超香肠神经元和感知器联合输出矩阵，其中o_ij表示第i个样本在第j个超香肠神经元和感知器的联合输出，定义y为训练集期望输出列向量，则对应的线性神经元权值为： 

w＝(O′O)^-1O′y 

步骤55：对得到的估计值选取合适的阈值，便可以进行分类。 

上述方案中，步骤5中所述剩余测试集，是指进行了光谱校正之后的剩余测试集。 

(三)有益效果 

从上述技术方案中可以看出，本发明具有以下有益效果： 

(1)本发明提供的基于近红外提高鉴别结果的定性分析方法，采用近红外光谱数据来进行定性鉴别分析，快速高效、无害无污染，对样本无破坏，且操作简单，无须专业人士即可实现。 

(2)本发明提供的基于近红外提高鉴别结果的定性分析方法，由于计算了建模集和测试集之间的光谱变换关系，并利用该变换关系应用于测试集中，实现测试集的校正，从而解决了同一台仪器长时间的光谱偏移问题，提高了定性分析鉴别的准确性。 

(3)本发明提供的基于近红外提高鉴别结果的定性分析方法，在选取校正集时是在特征提取之后进行的，此时光谱数据的维数较低，在求取变换矩阵时能够快速实现，在提高模型稳定性的同时节省了时间，降低了计算复杂度。 

(4)本发明提供的基于近红外提高鉴别结果的定性分析方法，在特征提取方法中使用了正交线性鉴别分析(OLDA)，因此可以使本发明提供的方法不仅可以用在多分类的定性分析中，还可用于二分类的定性鉴别分析中。 

附图说明

图1是本发明提供的基于近红外提高鉴别结果的定性分析方法的流程图。 

图2是依照本发明实施例未进行校正的光谱变换前两维特征分布图。 

图3是依照本发明实施例进行校正后的光谱变换前两维特征分布图。 

图4是依照本发明实施例的测试集3的校正集样品个数对识别效果的影响。 

图5是依照本发明实施例的测试集3的校正位置不同对识别效果的影响。 

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。 

需要说明的是，本发明提出的实验方法和操作并非表示此方法只局限于农业领域，在石油化工、医药制药、生物分析研究、食品安全等方面均有利用价值。实施例使用的各步骤算法并非用来限制本发明。 

如图1所示，图1是本发明提供的基于近红外提高鉴别结果的定性分析方法的流程图，该方法包括： 

步骤1：采集样本的近红外光谱数据，并确定建模集和测试集； 

在本步骤中，所述采集样本的近红外光谱数据，是采用近红外光谱仪在不同时间采集样本的近红外光谱数据。所述确定建模集和测试集，是将在同一天采集的光谱数据作为建模集，建模集是用来建立定性分析模型的原始建模数据；将不同采集日期采集的近红外光谱数据作为不同的测试集，测试集是用来鉴别种子品种真实性的原始测试数据。 

步骤2：对建模集和测试集依次进行预处理、偏最小二乘特征提取和正交线性鉴别特征提取； 

在本步骤中，所述对建模集和测试集依次进行预处理、偏最小二乘特征提取和正交线性鉴别特征提取，具体包括： 

步骤21：对建模集和测试集的原始数据用相同的预处理方法及相同的参数进行预处理； 

步骤22：对经过预处理之后的建模集数据进行偏最小二乘特征提取，得到偏最小二乘特征矩阵，以利用该矩阵将数据变换到偏最小二乘空间；其中，所述进行偏最小二乘特征提取，得到偏最小二乘特征矩阵，具体包括： 

步骤221：对样本数据进行标准化处理，即令样本的各个变量的均值为0，方差为1；令样本矩阵为X₀，类别信息矩阵为Y₀；其中，X₀定义为n条光谱p个数据点的原始光谱矩阵，Y₀为对应的类别属性矩阵： 

$X_0=\left[\begin{array}{cccc}{x}_{11}& x_{12}& ...& x_{1p}\\ x_{21}& x_{22}& ...& x_{2p}\\ .& .& .& .\\ .& .& .& .\\ .& .& .& .\\ x_{n1}& x_{n2}& ...& x_{\mathrm{np}}\end{array}\right],Y_0=\left[\begin{array}{ccccc}1& 0& 0& ...& 0\\ 1& 0& 0& ...& 0\\ 0& 1& 0& ...& 0\\ 0& 1& 0& ...& 0\\ 0& 0& 1& ...& 0\\ .& .& .& .& \\ .& .& .& .& 1\\ .& .& .& .& \\ 0& 0& 0& ...& 1\end{array}\right]$

Y₀中，y_ij＝1表示第i条光谱属于第j类，y_ij＝0表示第i条光谱不属于第j类； 

步骤222：求矩阵X′₀Y₀的协方差矩阵C＝X′₀Y₀Y₀X₀，协方差矩阵常数舍弃； 

步骤223：求得协方差矩阵C的特征值以及对应的特征向量，并将特征向量按照特征值的大小排列，取最大的n维特征值对应的特征向量组成投影矩阵W_PLS； 

步骤224：得到新的特征向量为x′_i＝x_iW′_PLS。 

步骤23：利用步骤22中所得到的偏最小二乘特征矩阵，将经过预处理之后的建模集和测试集数据变换到偏最小二乘空间中； 

步骤24：对经过偏最小二乘特征提取之后的建模集数据进行正交线性鉴别分析特征提取，得到正交线性鉴别分析特征矩阵，该正交线性鉴别分析特征矩阵，与线性鉴别分析特征矩阵相比，正交线性鉴别分析特征矩阵在求解变换矩阵的过程中，特征向量之间是两两正交的，即满足W^TW＝I；其中，所述进行正交线性鉴别分析特征提取，得到正交线性鉴别分析特征矩阵，具体包括： 

步骤241：假设有C类样本，总样本数为N，N_i为第i类样本数，则定义类内散布矩阵S_W、类间散布矩阵S_B如下： 

$S_W=\underset{i=1}{\overset{c}{\mathrm{\Σ}}}\underset{j=1}{\overset{N_i}{\mathrm{\Σ}}}(x_{\mathrm{ij}}-m_i){(x_{\mathrm{ij}}-\stackrel{\‾}{m_i})}^{\′}$

$S_B=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}(m_i-\stackrel{\‾}{m}){(m_i-\stackrel{\‾}{m})}^{\′}$

其中， $m_i=\frac{1}{N_i}\underset{j=1}{\overset{N_i}{\mathrm{\Σ}}}{x}_{\mathrm{ij}}$ 为第i类模式的均值， $\stackrel{\‾}{m}=\frac{1}{N}\underset{i=1}{\overset{c}{\mathrm{\Σ}}}\underset{j=1}{\overset{N_i}{\mathrm{\Σ}}}{x}_{\mathrm{ij}}$ 为总样本均值； 

步骤242：将正交线性鉴别分析的优化问题转换为求解下式的优化问题： 

$W_{\mathrm{OLDA}-\mathrm{opt}}=\underset{W^{T}W=I}{\arg \max }\frac{W^T{S}_{B}W}{W^T{S}_{W}W}$

其中，w_i(i＝1，2，...，)对应为下式特征值降序排列前n个值对应的特征向量，且要满足W^TW＝I： 

S_Bw＝λS_Ww 

步骤243：得到W_OLDA-opt后，取最大的n维特征值对应的特征向量组成投影矩阵W_OLDA，即可进行数据转换Y′＝YW′_OLDA。 

步骤25：利用得到的正交线性鉴别分析特征矩阵，将经过偏最小二乘特征提取之后的建模集和测试集数据变换到正交线性鉴别分析空间中； 

步骤26：利用变换到正交线性鉴别分析空间中的建模集数据进行建模，用变换到线性鉴别分析空间中的测试集数据进行鉴别。 

另外，在本步骤中，所述的预处理、偏最小二乘特征提取和正交线性鉴别分析特征提取，在对建模集和测试集处理时采用相同的参数。 

步骤3：采用直接模型传递方法计算建模集和测试集之间的光谱变换矩阵，并校正剩余测试集； 

在本步骤中，所述的建模集和测试集，是指经过预处理、偏最小二乘和正交线性鉴别分析特征提取之后的光谱数据集；所述的光谱变换矩阵，是测试集与建模集之间的光谱变换矩阵，不同的测试集对应不同的变换矩阵。所述的校正剩余测试集，是利用计算所得到的光谱变换矩阵，得到建模集和测试集之间的校正关系，并将这种校正关系应用在剩余测试集中，消除时间推移带来的测试集光谱与建模集光谱之间的偏移现象，从而解决光谱偏移所带来的模型不适用的问题。所述的剩余测试集，是指从测试集中挑选出光谱校正集之后剩余的测试数据集。 

所述采用直接模型传递方法计算建模集和测试集之间的光谱变换矩阵，具体包括：首先从建模集和测试集中各自挑选出用于光谱校正的光谱数据；然后用直接模型传递方法计算变换矩阵。其中，所述挑选光谱校正数据，是从建模集和测试集中各自挑选出用于光谱校正的光谱数据，所用方法可以采用Kennard/Stone算法，此处以Kennard/Stone算法为例，采用Kennard/Stone算法挑选光谱校正数据的过程具体包括： 

步骤31：设置需要选取的校正样品个数k； 

步骤32：计算所有建模集样本两两之间的距离，将距离最远的两个样本选为校正集的第一、二个样本； 

步骤33：对于剩余样本，计算其与已选样本之间的距离并取其最小值，然后选择这些距离中最大值对应的样本为本次选择样本； 

步骤34：重复步骤33，直至选够k个样本组成建模集的校正集； 

步骤35：在测试集中选择建模集中所选出的对应编号的样本作为测试集的校正集。 

步骤4：建立定性分析模型； 

在本步骤中，所述建立定性分析模型，采用的建模方法根据模型的适用范围及分析目标的不同采用不同的建模方法，包括基于高维形象几何分析的仿生模式识别方法、支持向量机或最近欧氏距离方法等。 

步骤5：利用建立的定性分析模型对剩余测试集进行定性鉴别； 

在本步骤中，所述剩余测试集，是指进行了光谱校正之后的剩余测试集。 

作为一个具体的示例，如果步骤4中所述建立定性分析模型采用仿生模式识别方法，则步骤5中所述用所建模型对剩余测试集进行定性鉴别，也采用仿生模式识别方法，该方法具体包括： 

步骤51：计算超香肠神经元；首先对建模集中的每一类样本进行模糊聚类，在每一个聚类簇上建立超香肠神经元，最终建立的超香肠神经元数目为类别数目C×每类的聚类数K，超香肠神经元输出采用简单的点到超香肠距离的倒数，分母上加1的目的是为确保分母不为零： 

$k(x,\mathrm{\τ})=\frac{1}{d+1}$

其中x表示输入样本向量，τ表示超香肠神经元的核； 

步骤52：计算感知器神经元；感知器数目等于类别数目C，对于建模样本集X，行表示样本，列表示变量，对每一类定义一个感知器的期望输出列向量q_i，其值由0或1组成，1表示训练样本属于第i类，0表示训练样本不属于第i类；对于未知样本x，其第i个感知器输出标量为： 

q_i＝xw_i，其中w_i＝(X′X)^-1X′q_i

步骤53：超香肠神经元和感知器联合输出为： 

o_j＝p_j*q_i

其中，p_j为第j个超香肠神经元的输出，第j个超香肠神经元属于类别i，q_i为该类别的感知器输出； 

步骤54：采用最小二乘法直接求解得出线性神经元的权值，用O表示超香肠神经元和感知器联合输出矩阵，其中o_ij表示第i个样本在第j个超香肠神经元和感知器的联合输出，定义y为训练集期望输出列向量，则对应的线性神经元权值为： 

w＝(O′O)^-1O′y 

步骤55：对得到的估计值选取合适的阈值，便可以进行分类。 

实施例 

本实施例以鉴别玉米种子的品种为例来对本发明做进一步详细说明。 

实验用13个玉米品种样品为种子公司提供，均为已经通过品种审定的品种，分别为：H484-248，京玉16，农华101，屯玉24号，屯玉绿源2102，屯玉绿源2104，屯玉绿源2105，屯玉绿源2106，屯玉绿源2107，屯玉绿源2109，屯玉绿源2110，浚单20，郑单958。所用仪器为德国BRUKER公司的VECTOR22/N型傅里叶变换漫反射近红外光谱仪。根据光谱仪器设置每条原始光谱长度为1114维，谱区范围为3900～12500cm^-1。 

(一)采集样本的近红外光谱数据，并确定建模集和测试集 

采用近红外光谱仪在不同时间采集样本的近红外光谱数据，样本均为完整籽粒状，采用整杯采样法。在两个月内重复采集了四次实验数据，采集时间分别为：2011.12.13，2011.12.27，2012.01.06，2012.01.14。每次实验每个品种重复装样30次，13个品种一次实验得到13×30＝390条样品光谱。 

以数据组1作为建模集，其余三组数据作为测试集并分别编号为1～3。 

(二)光谱数据预处理与特征提取 

数据预处理采用平滑(Smoothing)、一阶导(FD)、矢量归一化(VN)三种方法相结合。特征提取采用最小二乘特征提取(PLS)和正交线性鉴别分析(OLDA)。PLS方法中确定最佳主成分数为50，OLDA方法的最佳主成分数为10。 

(三)计算变换矩阵，校正剩余测试集 

校正集样品采用Kennard/Stone算法在建模集中选取，选取测试集中对应编号的样品，其余的数据用作测试集。Kennard/Stone算法选择空间中距离较远的样本，距离值一般采用欧式距离衡量，这样选择出来的样品在整个样品集中张成的空间足够大，对样本空间有足够的代表能力。 

设需要选取的校正样品个数为k，Kennard/Stone算法计算步骤如下： 

(1)计算所有样本两两之间的距离，将距离最远的两个样本选为校正集的第一、二个样本； 

(2)对于剩余样本，计算其与已选样本之间的距离并取其最小值，然后选择这些距离中最大值对应的样本为本次选择样本。 

(3)重复步骤(2)，直至选够k个样本组成校正集。 

本实施例采用直接模型传递(Direct Standardization)算法在不同时间测量的建模集光谱和测试集光谱间寻求变换关系。DS算法的基本思想是通过校正集求取两个光谱间的变换矩阵，在建模集和测试集间建立校正模型。对测试集的数据，采用校正模型进行光谱变换，使其可用于已建立的识别模型。 

具体算法步骤如下： 

(1)设建模集光谱校正集矩阵为S₁，测试集光谱校正集矩阵为S₂，行列分别表示样品数和数据点数。由S₁和S₂可求得变换矩阵和背景校正矩阵(其中，和为中心化后的光谱矩阵，是的广义逆；s_1n和s_2n分别为S₁和S₂每列元素平均值组成的行向量)； 

(2)对测试集光谱中的测试集数据X₂，计算其变换后的矩阵 (其中，F和b_s为第一步中求得的变换关系，l为全1的列向量，长度为样本数)； 

(3)变换后的数据矩阵X′₂即可用已建模型进行鉴别。 

(四)建立定性分析模型 

采用仿生模式识别(BPR)方法来建立定性分析模型。 

(五)对剩余测试集进行定性鉴别 

用BPR方法来对经过变换之后的剩余测试集进行分类鉴别，并给出定性鉴别结果。 

正确识别率(CAR)为本类样本被正确识别的概率，正确拒识率(CRR)为非本类样本被正确识别为非本类样本的概率，鉴别准确率(CDR)为正确识别率与正确拒识率的平均。 

实验一： 

模型校正过程中，用于计算不同时间采集的数据集间变换矩阵的校正集样品数的选择，对校正的效果及最终的识别结果有重要影响。为使选择的校正集对原数据具有最好的代表性、张成的空间足够大，实验一从训练集的全部13个品种390个样本中分别选取200，150，100，50，30，20个样品组成校正样品集，对原始光谱进行模型传递，通过校正后的识别效果来评价校正效果。利用测试集3进行实验，结果如图4所示。 

由图4可见，DS算法可有效解决同一仪器由于采集时间不同带来的光谱偏移现象。未对样品进行校正处理时，一天数据建立的模型，用于鉴别其余时间采集的数据时，识别效果非常不好，13个品种的平均正确识别率仅有20％左右，几乎完全不能正确识别。采用DS算法校正之后，无论是正确识别率还是正确拒识率均有较大提高，特别是正确识别率。当校正集样品数较多时，校正后识别效果较好，随着校正集样品数k的减少，鉴别率也随之下降，模型的传递效果越来越差。但是，校正集选择较大，无论求取传递参数，还是对测试光谱进行校正阶段，都会带来较高的计算复杂度和存储数据量，不符合实时性要求。因此，一般在满足鉴别要求的基础上选取尽量少的校正集样品数，后续实验中选取k值为30。 

实验二： 

在进行光谱校正时，除了可以对原始光谱进行校正外，也可对处理后的光谱数据进行传递校正，实验二分别对原始光谱、预处理后光谱数据、特征提取后主成分进行模型校正，比较模型校正位置不同时对校正效果的 影响。实验统一取校正集样品数k为30。图5是模型校正位置不同的情况下，建模集对测试集3的识别效果。 

由图5的结果可见，对不同处理程度的数据进行模型校正，变换后数据的识别效果也不同。将光谱进行预处理，然后采用PLS+OLDA特征提取，提取后的低维主特征计算变换矩阵并进行数据变换，变换后的数据采用原识别模型鉴别时，其效果较前两种有较大提高，对于三个测试集，其正确鉴别率均能达到95％左右。可见，当模型校正位于特征提取后分类器之前时，校正后的识别效果最优。 

实验三： 

将建模集和测试集2的光谱经PLS+OLDA特征提取后前两维特征分布如图2所示，为使界面清晰，在图像中仅显示四个品种的分布情况。从图可以看出，主特征提取后相同品种不同时间所测数据分布区域有明显的偏移现象，偏移后不同时间种内的距离甚至超过了种间距离，使得模型基本不能正确识别，所有品种有相似的偏移规律。取校正集样品数k为30，对测试集2特征提取后的主成分进行光谱校正，校正后前两维特征分布如图3所示。从图中可以看出，经DS算法校正后建模集和测试集数据同一品种的样品已基本能落到相同的分布区域，分布偏移现象已有较好改善。 

本发明在建立近红外分析模型的步骤中，从“校正”的角度，提出了光谱校正的方法，使分析模型的性能得到明显改善，在实际应用中具有一定的实用价值。除此之外，在特征提取步骤中使用了OLDA方法，使本发明提出的方法不仅能用于多分类问题，还可以解决二分类问题。 

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。 

Claims (16)

1.一种基于近红外提高鉴别结果的定性分析方法，其特征在于，该方法包括：

步骤1：采集样本的近红外光谱数据，并确定建模集和测试集；

步骤2：对建模集和测试集依次进行预处理、偏最小二乘特征提取和正交线性鉴别特征提取；

步骤3：采用直接模型传递方法计算建模集和测试集之间的光谱变换矩阵，并校正剩余测试集；

步骤4：建立定性分析模型；

步骤5：利用建立的定性分析模型对剩余测试集进行定性鉴别。

2.根据权利要求1所述的基于近红外提高鉴别结果的定性分析方法，其特征在于，步骤1中所述采集样本的近红外光谱数据，是采用近红外光谱仪在不同时间采集样本的近红外光谱数据。

3.根据权利要求1所述的基于近红外提高鉴别结果的定性分析方法，其特征在于，步骤1中所述确定建模集和测试集，是将在同一天采集的光谱数据作为建模集，建模集是用来建立定性分析模型的原始建模数据；将不同采集日期采集的近红外光谱数据作为不同的测试集，测试集是用来鉴别种子品种真实性的原始测试数据。

4.根据权利要求1所述的基于近红外提高鉴别结果的定性分析方法，其特征在于，步骤2中所述对建模集和测试集依次进行预处理、偏最小二乘特征提取和正交线性鉴别特征提取，具体包括：

步骤21：对建模集和测试集的原始数据用相同的预处理方法及相同的参数进行预处理；

步骤22：对经过预处理之后的建模集数据进行偏最小二乘特征提取，得到偏最小二乘特征矩阵，以利用该矩阵将数据变换到偏最小二乘空间；

步骤23：利用得到的偏最小二乘特征矩阵，将经过预处理之后的建模集和测试集数据变换到偏最小二乘空间中；

步骤24：对经过偏最小二乘特征提取之后的建模集数据进行正交线性鉴别分析特征提取，得到正交线性鉴别分析特征矩阵；

步骤25：利用得到的正交线性鉴别分析特征矩阵，将经过偏最小二乘特征提取之后的建模集和测试集数据变换到正交线性鉴别分析空间中；

步骤26：利用变换到正交线性鉴别分析空间中的建模集数据进行建模，用变换到线性鉴别分析空间中的测试集数据进行鉴别。

5.根据权利要求4所述的基于近红外提高鉴别结果的定性分析方法，其特征在于，步骤2中所述的预处理、偏最小二乘特征提取和正交线性鉴别分析特征提取，在对建模集和测试集处理时采用相同的参数。

6.根据权利要求4所述的基于近红外提高鉴别结果的定性分析方法，其特征在于，步骤22中进行偏最小二乘特征提取，得到偏最小二乘特征矩阵，具体包括：

步骤221：对样本数据进行标准化处理，即令样本的各个变量的均值为0，方差为1；令样本矩阵为X₀，类别信息矩阵为Y₀；其中，X₀定义为n条光谱p个数据点的原始光谱矩阵，Y₀为对应的类别属性矩阵：

$X_0=\left[\begin{array}{cccc}{x}_{11}& x_{12}& \·\·\·& x_{1p}\\ x_{21}& x_{22}& \·\·\·& x_{2p}\\ \·& \·& \·& \·\\ \·& \·& \·& \·\\ \·& \·& \·& \·\\ x_{n1}& x_{n2}& \·\·\·& x_{\mathrm{np}}\end{array}\right],$ $Y_0=\left[\begin{array}{ccccc}1& 0& 0& \·\·\·& 0\\ 1& 0& 0& \·\·\·& 0\\ 0& 1& 0& \·\·\·& 0\\ 0& 1& 0& \·\·\·& 0\\ 0& 0& 1& \·\·\·& 0\\ \·& \·& \·& \·& \\ \·& \·& \·& \·& 1\\ \·& \·& \·& \·& \\ 0& 0& 0& \·\·\·& 1\end{array}\right]$

Y₀中，y_ij＝1表示第i条光谱属于第j类，y_ij＝0表示第i条光谱不属于第j类；

步骤222：求矩阵X′₀Y₀的协方差矩阵C＝X′₀Y₀Y′₀X₀，协方差矩阵常数舍弃；

步骤223：求得协方差矩阵C的特征值以及对应的特征向量，并将特征向量按照特征值的大小排列，取最大的n维特征值对应的特征向量组成投影矩阵W_PLS；

步骤224：得到新的特征向量为x′_i＝x_iW′_PLS。

7.根据权利要求1所述的基于近红外提高鉴别结果的定性分析方法，其特征在于，步骤24中所述的进行正交线性鉴别分析特征提取，得到正交线性鉴别分析特征矩阵，具体包括：

步骤241：假设有C类样本，总样本数为N，N_i为第i类样本数，则定义类内散布矩阵S_W、类间散布矩阵S_B如下：

$S_W=\underset{i=1}{\overset{c}{\mathrm{\Σ}}}\underset{j=1}{\overset{N_i}{\mathrm{\Σ}}}(x_{\mathrm{ij}}-m_i){(x_{\mathrm{ij}}-\stackrel{\‾}{m_i})}^{\′}$

$S_B=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}(m_i-\stackrel{\‾}{m}){(m_i-\stackrel{\‾}{m})}^{\′}$

其中，为第i类模式的均值，为总样本均值；

步骤242：将正交线性鉴别分析的优化问题转换为求解下式的优化问题：

$W_{\mathrm{OLDA}-\mathrm{opt}}=\underset{W^T}{\arg }\underset{W=I}{\max }\frac{W^T{S}_{B}W}{W^T{S}_{W}W}$

其中，w_i(i＝1，2，...，)对应为下式特征值降序排列前n个值对应的特征向量，且要满足W^TW＝I：

S_Bw＝λS_Ww；

步骤243：得到W_OLDA-opt后，取最大的n维特征值对应的特征向量组成投影矩阵W_OLDA，即可进行数据转换Y′＝YW′_OLDA。

8.根据权利要求1所述的基于近红外提高鉴别结果的定性分析方法，其特征在于，步骤24中所述的正交线性鉴别分析特征矩阵，与线性鉴别分析特征矩阵相比，正交线性鉴别分析特征矩阵在求解变换矩阵的过程中，特征向量之间是两两正交的，即满足W^TW＝I。

9.根据权利要求1所述的基于近红外提高鉴别结果的定性分析方法，其特征在于，步骤3中所述采用直接模型传递方法计算建模集和测试集之间的光谱变换矩阵，具体包括：

首先从建模集和测试集中各自挑选出用于光谱校正的光谱数据；然后用直接模型传递方法计算变换矩阵。

10.根据权利要求9所述的基于近红外提高鉴别结果的定性分析方法，其特征在于，所述挑选光谱校正数据，是从建模集和测试集中各自挑选出用于光谱校正的光谱数据，所用方法包括Kennard/Stone算法，采用Kennard/Stone算法挑选光谱校正数据的过程具体包括：

步骤31：设置需要选取的校正样品个数k；

步骤32：计算所有建模集样本两两之间的距离，将距离最远的两个样本选为校正集的第一、二个样本；

步骤33：对于剩余样本，计算其与已选样本之间的距离并取其最小值，然后选择这些距离中最大值对应的样本为本次选择样本；

步骤34：重复步骤33，直至选够k个样本组成建模集的校正集；

步骤35：在测试集中选择建模集中所选出的对应编号的样本作为测试集的校正集。

11.根据权利要求9所述的基于近红外提高鉴别结果的定性分析方法，其特征在于，步骤3中所述的建模集和测试集，是指经过预处理、偏最小二乘和正交线性鉴别分析特征提取之后的光谱数据集；所述的光谱变换矩阵，是测试集与建模集之间的光谱变换矩阵，不同的测试集对应不同的变换矩阵。

12.根据权利要求1所述的基于近红外提高鉴别结果的定性分析方法，其特征在于，步骤3中所述的校正剩余测试集，是利用计算所得到的光谱变换矩阵，得到建模集和测试集之间的校正关系，并将这种校正关系应用在剩余测试集中，消除时间推移带来的测试集光谱与建模集光谱之间的偏移现象，从而解决光谱偏移所带来的模型不适用的问题。

13.根据权利要求12所述的基于近红外提高鉴别结果的定性分析方法，其特征在于，步骤3中所述的剩余测试集，是指从测试集中挑选出光谱校正集之后剩余的测试数据集。

14.根据权利要求1所述的基于近红外提高鉴别结果的定性分析方法，其特征在于，步骤4中所述建立定性分析模型，采用的建模方法根据模型的适用范围及分析目标的不同采用不同的建模方法，包括基于高维形象几何分析的仿生模式识别方法、支持向量机或最近欧氏距离方法。

15.根据权利要求14所述的基于近红外提高鉴别结果的定性分析方法，其特征在于，步骤4中所述建立定性分析模型采用仿生模式识别方法，则步骤5中所述用所建模型对剩余测试集进行定性鉴别，采用仿生模式识别方法，该方法具体包括：

步骤51：计算超香肠神经元；首先对建模集中的每一类样本进行模糊聚类，在每一个聚类簇上建立超香肠神经元，最终建立的超香肠神经元数目为类别数目C×每类的聚类数K，超香肠神经元输出采用简单的点到超香肠距离的倒数，分母上加1的目的是为确保分母不为零：

$k(x,\mathrm{\τ})=\frac{1}{d+1}$

其中x表示输入样本向量，τ表示超香肠神经元的核；

步骤52：计算感知器神经元；感知器数目等于类别数目C，对于建模样本集X，行表示样本，列表示变量，对每一类定义一个感知器的期望输出列向量q_i，其值由0或1组成，1表示训练样本属于第i类，0表示训练样本不属于第i类；对于未知样本x，其第i个感知器输出标量为：

q_i＝xw_i，其中w_i＝(X′X)^-1X′q_i

步骤53：超香肠神经元和感知器联合输出为：

o_j＝p_j*q_i

其中，p_j为第j个超香肠神经元的输出，第j个超香肠神经元属于类别i，q_i为该类别的感知器输出；

步骤54：采用最小二乘法直接求解得出线性神经元的权值，用O表示超香肠神经元和感知器联合输出矩阵，其中o_ij表示第i个样本在第j个超香肠神经元和感知器的联合输出，定义y为训练集期望输出列向量，则对应的线性神经元权值为：

w＝(O′O)^-1O′y

步骤55：对得到的估计值选取合适的阈值，便可以进行分类。

16.根据权利要求15所述的基于近红外提高鉴别结果的定性分析方法，其特征在于，步骤5中所述剩余测试集，是指进行了光谱校正之后的剩余测试集。