CN105334185A - 基于光谱投影判别的近红外模型维护方法 - Google Patents

Abstract

本发明提供基于光谱投影判别的近红外模型维护方法，其特征在于，包括以下步骤：步骤一、近红外光谱模型构建完成后，对模型内的校正光谱做近红外光谱的主成分分析，利用主成分光谱来计算每个样本的马氏距离，步骤二、计算所有样本的平均马氏距离；步骤三、计算样本集的平均马氏距离，设定建模集里马氏距离的阈值；步骤四、计算预测样本与模型内样本的相似度；步骤五、根据相似度的值，判断近红外模型是否需要维护。本发明的基于光谱投影判别的近红外模型维护方法，避免了频繁的更新维护模型；使得近红外模型的更新管理更具科学性。

Description

基于光谱投影判别的近红外模型维护方法

技术领域

本发明涉及一种基于光谱投影判别的近红外模型维护方法，属于烟近红外模型分析评价领域。

背景技术

烟草近红外谱图中包含大量的烟叶常规化学值信息，物理信息，以及外观信息，因此近红外在常规化学值检测中，烟叶稳定性评价，以及烟叶质量评价领域发挥着很大的作用，对于在线近红外模型而言，近红外仪器所处的背景比较复杂，涉及到近红外谱图的温湿度变化，仪器震动，光源的衰弱等影响因素，近红外目前为止已经发展成用于烟叶快速评价，过程控制，指导生产企业加工等应用，如果在线近红外模型不准确，就有可能给企业加工带来误导，带来相应半成品片烟存储，及后续卷烟配方设计带来误导，影响产品配方质量，为卷烟企业带来不必要的损失；因此如何快速的判别近红外模型的对待检测产品是否适应就显得尤为重要。

对于常规的近红外模型维护判别方法一般有如下的方法：(1)根据近红外建模集里的标签与待测样本的标签属性进行对比，在近红外模型建立好后，对于待测样本，如果待测样本的标签属性与建模集里的标签属性不一致，则认为不适应检测样本，反之，则认为属于适应检测样本，样本的标签属性主要包括，产地，等级，品牌，品种，以及工艺，这种方法比较直观，操作简便易于执行，但同时也比较粗放，因为全国烟叶的标签属性比较繁杂，这将会大大限制了近红外烟叶模型的适用范围，对于在线近红外造成大量的误判；(2)根据建模集里面的光谱，剔除异常点，进行预处理后，对建模集样本的光谱进行PCA投影，计算平均马氏距离(MD)，全局马氏距离，设定模型的阈值，对于待测样本，比对待测样本与建模集的马氏距离，然后与模型的阈值对比，大于模型阈值则判定为不适应近红外模型检测样本，小于模型阈值则判定为适应模型检测样本，反之不适应，但是，因为PCA本质上是属于一种线性的投影方法，PCA投影严重依赖于建模样本的量，当建模的样本量发生变化时，马氏距离的数值往往也会相应发生变化，另一方面，PCA投影仅仅依赖于样本对应光谱的最大变异方向进行的线性投影，其并不具备具体的烟叶待测物质的信息，时常会出现马氏距离过大，但是检测出来的值比较正常，马氏距离小也有可能检测出来的值比较异常，在实际的具体应用使用过程并不能满足在复杂背景体系下的快速红外检测；(3)定期抽样比对，由于在每次比对的过程中，首先样本要具有统计上的意义，这就要求比对样本一般比较多，而且还需要去做流动基础数据，比对的状况往往为，模型预测能力比较强时也进行比对，模型预测结果差时也进行比对，带来大量的模型持续维护更新工作。

发明内容

如何快捷并且准确的判定近红外模型对待测样本检测的适用性，确定并定位现场连续生产的过程中不能适应于近红外模型检测的样本，避免给打叶复烤企业以及卷烟企业带来误导，并迅速快速维护模型使之正常为本专利研究的内容。

本发明的目的在于提供一种快速判定近红外模型是否需要维护方法，这种方法在不误导加工生产的前提下，运用较少的样本，快速判定近红外模型的适用性，为近红外模型的维护更新，提供一定的快速判别依据。

本发明采用了如下技术方案：

一种基于光谱投影判别的近红外模型维护方法，其特征在于，包括以下步骤：

步骤一、近红外光谱模型构建完成后，对模型内的校正光谱做近红外光谱的主成分分析，利用主成分光谱来计算每个样本的马氏距离，

步骤二、计算所有样本的平均马氏距离；

步骤三、计算样本集的平均马氏距离，设定建模集里马氏距离的阈值；

步骤四、计算预测样本与模型内样本的相似度；

步骤五、根据相似度的值，判断近红外模型是否需要维护。

另外，本发明的基于光谱投影判别的近红外模型维护方法，还可以具有这样的特征：步骤一中，马氏距离的计算公式为，其中D_i为第i个样本的马氏距离，s_i为第i个样本的主成分得分矩阵，V为主成分得分矩阵的协方差。

另外，本发明的基于光谱投影判别的近红外模型维护方法，还可以具有这样的特征：步骤二中，平均马氏距离的计算公式为，

${D_i}^2=(n-1)(h_i-\frac{1}{n}).$

另外，本发明的基于光谱投影判别的近红外模型维护方法，还可以具有这样的特征：步骤三中，设定建模集里马氏距离阈值的方法为，根据建模集里面的光谱，分别计算建模集每条光谱的马氏距离；求出其均值按照三倍的原则，即三倍AD设定为阈值。

另外，本发明的基于光谱投影判别的近红外模型维护方法，还可以具有这样的特征：步骤四中，相似度的计算公式为 $\left(S\right)=\sqrt{(1-R^2)}*(H_1+H_2).$

发明的有益效果

根据本发明的基于光谱投影判别的近红外模型维护方法，以近红外信息中包含不同的样本的物理信息，化学信息，产地信息，以及烟叶部位信息为基础，以寻找计算近红外校正样本与预测样本的红外光谱的差异性与相似性为出发点，计算预测集与近红外建模集(校正集)建模样本的差异度与相似度，找出近红外常规化学成分模型维护的必要条件，为近红外模型快速应用于指导生产，避免近红外模型维护误导生产数据提出必要的充分条件。

对于在线近红外模型，因为其大都实行了高度自动化样本光谱，全体样本空间可以从近红外实时光谱中很容易获得；近红外模型固定后，其模型内的光谱因为已经固定，因此对于现场的实时光谱作为指导生产用的过程数据，对于预测光谱与模型的适用性的判断可以及时给出预测光谱是否适用于近红外模型的判断，避免了近红外数据误导生产。

按照本发明的分析方法，实时判断现场生产模型的适用性，在不超过模型阈值的前提下进行现场取样与基础流动数据进行对比，避免了频繁的更新维护模型；使得近红外模型的更新管理更具科学性。

附图说明

图1是样本与模型的相似度值的计算结果曲线；

图2是外部预测模型对比图。

具体实施方式

以下结合附图来说明本发明的具体实施方式。

近红外在建模完成后，根据预测样本光谱，计算模型需要维护的阈值，并直接计算预测光谱与建模校正光谱的差异性与相似性度量，判别近红外模型是否需要维护。

步骤一、对于近红外光谱模型构建完成后，对模型内的校正光谱做近红外光谱的主成分分析，利用主成分光谱来计算每个样本的马氏距离，根据马氏距离的大小来判断样本的异常情况；具体的做法为：首先计算马氏距离，其中D_i为第i个样本的马氏距离，s_i为第i个样本的主成分得分矩阵，V为主成分得分矩阵的协方差；

${D_i}^2={(s_i-\stackrel{-}{s_i})}^T{V}^{-1}(s_i-\stackrel{-}{s_i})---\left(1\right)$

步骤二、然后计算所有样本的平均马氏距离，根据3倍马氏距离原则，或者狄克松准则直接根据每个样本的马氏距离进行判别；当然也可以把每个样本的马氏距离转换成杠杆值，式2中hi代表杠杆值。

${D_i}^2=(n-1)(h_i-\frac{1}{n})---\left(2\right)$

步骤三、计算样本集的平均马氏距离，设定建模集里马氏距离的阈值；设定建模集里马氏距离阈值的方法为，根据建模集里面的光谱，分别计算建模集每条光谱的马氏距离；求出其均值按照三倍的原则，即三倍AD设定为其阈值。

步骤四、计算预测样本与模型内样本的相似度，相似度的公式按照如下的公式进行计算：相似度(S)＝相关系数+信息含量,的形式进行表征。

相关系数按照简单的相关系数进行计算

相关系数的计算公式为：

$R=\frac{\underset{i}{\mathrm{\Σ}}\left(x_i-\stackrel{\‾}{x}\right)\left(y_i-\stackrel{\‾}{y}\right)}{\sqrt{\underset{i}{\mathrm{\Σ}}{\left(x_i-\stackrel{\‾}{x}\right)}^2{\left(y_i-\stackrel{\‾}{y}\right)}^2}}---\left(3\right)$

信息含量按照：信息熵的方式进行计算，信息熵的计算公式为，

H(P1,…,Pn-1,Q1,Q2)＝H(P1,…,Pn-1)+P_nH(4)

则有下列唯一表达形

式：H(P1,…,Pn)-CH(P1,…,Pn)＝-CP(x_i)*log(x_i)；(5)

计算两条光谱(i，j光谱为光谱的序列号，k为近红外光谱的波长点)的相似度为；

c1(i,k)＝(x11(i,k))*log(x11(i,k)/x21(j,k))；(6)

c2(j,k)＝(x21(j,k))*log(x21(j,k)/x11(i,k))；(7)

定义H值为：H＝H(c1)+H(c2)；(8)

计算相似度公式为 $\left(S\right)=\sqrt{(1-R^2)}*(H_1+H_2)---\left(9\right)$

其中R为模型里面的第i条光谱与第m条光谱的相关系数；H1＝c1(i,m),H2＝c1(m,i)；

步骤五、根据相似度的值，判断近红外模型是否需要维护。当在线样本与模型的相似程度已经偏离与模型里面光谱相似程度的3倍之上时，说明模型需要维护。

在云南A厂在线选取458个烟叶样本，进行近红外光谱扫描，以流动数据去做基础流动数据尼古丁，458个烟叶样本中，前面346个烟叶样本用作建模，后面30个样本作为独立验证样本，再后面取得的82个样本利用本实施方式中的方法，验证是否需要对近红外模型进行维护，近红外建模方法为PLS(偏最小二乘法)，预处理方法为SG(一阶导平滑)一阶导，波长选择方法为UVE(消除无关信息变量法)。

模型内参数：

表1.在线近红外模型构建内部参数表

指标	R	SEC	成分数	绝对误差	相对误差
							0.85	0.25	8	0.22	8.54％

表2.独立验证样本30个外部验证表：

指标	R	SEC	成分数	绝对误差	相对误差
							0.78	0.29	8	0.28	9.19％

计算后续独立样本82个与模型的相似度值，见附图1和附图2，从相似度值熵可以看出，对于后续的验证样本，前30个，模型比较适应，30个之后的样本从相似指数上看出，模型并不适应，因为在线样本与模型的相似程度已经偏离与模型里面光谱相似程度的3倍之上。

表3.外部预测样本的外部验证误差表

指标	相似度指数	适应性判别	绝对误差	相对误差
					前30	2.79	适应	0.288	9.13％

后续样本

80.40

不适应

1.35

49％

因此在后续样本的取样过程中，本方法可以指导在线近红外模型的更新维护；用于快速更新模型。

Claims (5)

1.一种基于光谱投影判别的近红外模型维护方法，其特征在于，包括以下步骤：

步骤一、近红外光谱模型构建完成后，对模型内的校正光谱做近红外光谱的主成分分析，利用主成分光谱来计算每个样本的马氏距离，

步骤二、计算所有样本的平均马氏距离；

步骤三、计算样本集的平均马氏距离，设定建模集里马氏距离的阈值；

步骤四、计算预测样本与模型内样本的相似度；

步骤五、根据相似度的值，判断近红外模型是否需要维护。

2.根据权利要求1所述的基于光谱投影判别的近红外模型维护方法，其特征在于：

步骤一中，马氏距离的计算公式为，其中D_i为第i个样本的马氏距离，s_i为第i个样本的主成分得分矩阵，V为主成分得分矩阵的协方差。

3.根据权利要求1所述的基于光谱投影判别的近红外模型维护方法，其特征在于：

步骤二中，平均马氏距离的计算公式为，

${D_i}^2=(n-1)(h_i-\frac{1}{n}).$

4.根据权利要求1所述的基于光谱投影判别的近红外模型维护方法，其特征在于：

步骤三中，设定建模集里马氏距离阈值的方法为，根据建模集里面的光谱，分别计算建模集每条光谱的马氏距离；求出其均值按照三倍的原则，即三倍AD设定为阈值。

5.根据权利要求1所述的基于光谱投影判别的近红外模型维护方法，其特征在于：

步骤四中，相似度的计算公式为