CN105136736A - 在线近红外样本量确定方法 - Google Patents

Abstract

本发明提供一种在线近红外样本量确定方法，其特征在于，包括如下步骤：步骤一、仅采集全体样本的光谱信息；步骤二、对收集到的光谱信息所形成的矩阵进行PCA投影；步骤三、构造近红外光谱的统计量；步骤四、计算总体样本空间T值的标偏和每个样本近红外光谱的T值；对全体样本空间的T值以不同百分比进行抽样；在每个百分比下随机抽取k次,计算每个比例下样本T值的稳定性；步骤五：不同百分比抽样下的样本空间的T值标偏与总体的样本的T值标偏的差异小于预定值时所对应的抽样比例，即为所需在线近红外样本量的取样比例。本发明的在线近红外样本量确定方法能够准确的确定构建近红外模型所需的样本量。

Description

在线近红外样本量确定方法

技术领域

本发明涉及一种基于光谱投影的在线近红外样本量确定方法，属于烟草制品生产质量评价领域。

背景技术

烟草近红外谱图中包含大量的烟叶常规化学值信息，物理信息，以及外观信息，因此近红外在常规化学值检测中，烟叶稳定性评价，以及烟叶质量评价领域发挥着很大的作用，但是要建立好一个比较好的近红外模型，往往需要足够多的样本量，比较好的基础数据质量，来构建近红外模型检测，评价体系；模型里面的样本量的大小比较重要，而往往模型里面的样本量不能确定的化，要么导致模型的样本量过少，使得构建的烟叶近红外定性定量模型比较不稳定，要么会导致模型里面的样本量过多，使得建立的近红外模型包含丰富的待挖掘信息，但是也同时会导致构建的近红外模型体系非常复杂，维护起来非常繁琐，复杂，形成年度一维护，季度一维护，更有甚者一月，一周一维护，很大程度上制约了红外模型在烟叶领域的深度应用。

在实际烟叶领域近红外定性，定量模型构建的过程中，对于样本量的确定方法一般有如下几种方法(1)人为要求近红外模型里面的样本包含不同的品种，不同的产地，不同的部位，不同的等级，甚至不同工艺的加工方式；由于全国品种，等级，信息很多，这种要求一般在实际生产中很难满足；(2)人为取大量的基础光谱数据，利用PCA投影，剔除比较接近的样本，逐渐的扩大模型的样本容量，这种方法由于PCA空间随着样本容量的变化而变化，而且只能定性指导红外检测人员以及研究人员，并不能给研究人员一种明确的指导；近红外分析技术，其作为一种大样本统计分析方法对样本量有一定要求，目前的研究结果表明，追求样本量的绝对数量意义并不大。因为最低样本量的要求与多种因素相关：近红外信息的含量，信号的稳定性，基础数据的准确性，近红外指标模型复杂程度，数据分布形态，近红外应用的背景强度以及研究设计特点，所以没有任何一个最少样本量的推荐值同时考虑了上述诸因素。近红外样本容量是一个很值得研究的问题，在构建近红外复杂定性定量体系的过程中，如果样本量过少，构建出来的红外模型往往不能包含复杂的背景体系，稳健性不好，导致模型的外推预测能力变差，如果在构建近红外模型体系中样本量过多，这无疑会对模型的定性定量构建带来运算与计算上的复杂度，同时近红外的快速分析检测的优势就体现不出来，由于在近红外领域，基础数据的检测，往往有一定的难度与成本，这无疑会给企业带来大幅的成本上升，增加了维护的近红外模型的难度；

如何快捷并且准确的在近红外模型构建钱确定近红外模型所需要的样本容量，如何合理的根据实验目标以及前期所取得的基础数据信息，渐进评估模型的所需样本量，构建一个具备初步稳健性质的近红外复杂体系模型为本专利研究的内容。

发明内容

本发明的目的在于提供一种基于光谱投影的在线近红外样本量确定方法，以解决上述问题。本发明采用了如下技术方案：

一种在线近红外样本量确定方法，其特征在于，包括如下步骤：

步骤一、仅采集全体样本的光谱信息，而不进行具体成分的分析；

步骤二、对收集到的光谱信息所形成的矩阵进行PCA投影；

步骤三、构造近红外光谱的统计量：

$T_{hi}^2=\frac{t_{hi}^2}{(n-1)s_h^2}---\left(1\right)$

$T_i^2=\frac{1}{n-1}\underset{h=1}{\overset{m}{\Σ}}\frac{t_{hi}^2}{s_h^2}---\left(2\right)$

可以证明 $\frac{n^2(n-m)}{m(n^2-1)}{T}_i^2~F(m,n-m)---\left(3\right)$

其中T_hi表示的是第i个样本的累积贡献率，t_hi表示的是第i个样本的贡献率，s_hi表示的第m个主成分的标偏，n是指样本量；F表示的是F分布；

步骤四、计算总体样本空间T值的标偏，计算每个样本近红外光谱的T值；对全体样本空间的T值以不同百分比进行抽样；把近红外模型的准确性转换成近红外光谱的稳定性计算,在每个百分比下随机抽取k次,计算每个比例下样本T值的稳定性；

步骤五：比较不同百分比抽样下的样本空间的T值标偏与总体样本变化的T值标偏；样本空间的T值标偏与总体的样本的T值标偏的差异小于预定值时所对应的抽样比例，即为所需在线近红外样本量的取样比例。

进一步，本发明的在线近红外样本量确定方法，还可以具有这样的特征：其中，步骤一中在采集全体样本的光谱信息后，还包括对异常光谱进行剔除的步骤，剔除量不超过样本量的5％。

进一步，本发明的在线近红外样本量确定方法，还可以具有这样的特征：其中，在步骤四中，对全体样本空间的T值的抽样百分比是以5％为起点，直到最大值100％，中间间隔2％进行抽样。

进一步，本发明的在线近红外样本量确定方法，还可以具有这样的特征：其中，步骤四中所述稳定性用所抽取样本T值的标偏来衡量。

进一步，本发明的在线近红外样本量确定方法，还可以具有这样的特征：其中，步骤五中，所述预定值为10％。

发明的有益效果

1：对于在线近红外，因为其大都实行了高度自动化样本光谱采集，全体样本空间可以从近红外实时光谱中很容易获得；因此以实时光谱作为全体空间，来估计建模的样本量，减少了模型大量复杂维护的工作，为企业节省了大量做基础数据的成本，取得很高的经济价值。

2：按照本发明的分析方法，经过数据比对得出建模所需要的估计量，减少了模型的复杂度，利于后期对于近红外模型的维护；

3：对于一些定性分析，由于定性样本的获取来之不易，准确的定位样本的估计量，一方面可以为烟草企业带来可行性研究的科学性，另外一方面又不至于获得过多的样本的情况下对整个项目的可行性带来实证工作。

附图说明

图1是样本烟叶的原始光谱；

图2是烟叶原始样本T值分布图；

图3是不同样本量模型的稳定性曲线；

图4是不同样本量光谱空间变异程度曲线；

图5是外部验证中预测值和实际值的曲线图。

具体实施方式

以下结合具体实施方式来详细说明本发明的技术方案。

本发明中所述方法主要包含以下步骤：

1)在线近红外安装在检测位置后，仅收集样本的光谱信息，而不进行具体成分的分析，从而形成一个近红外光谱的样本空间；然后对异常光谱进行剔除，剔除量不超过样本量的5％；剔除后剩余的样本组成红外光谱信息矩阵X；样本烟叶的原始光谱如图1所示。

2)对所形成的红外光谱信息矩阵X进行PCA投影；

具体的算法为：(1)定义校正模型中第i个样本点对第h个成分的贡献率为t_i；m为提取的PCA(PLS)成分数；n为分析样本的个数；

3)构造近红外光谱的统计量：

$T_{hi}^2=\frac{t_{hi}^2}{(n-1)s_h^2}---\left(1\right)$

$T_i^2=\frac{1}{n-1}\underset{h=1}{\overset{m}{\Σ}}\frac{t_{hi}^2}{s_h^2}---\left(2\right)$

可以证明风险水平是0.05；(3)

其中T_hi表示的是第i个样本的累积贡献率，t_hi表示的是第i个样本的贡献率，s_hi表示的第m个主成分的标偏，n是指样本量；F表示的是F分布；

4)计算总体样本空间T值的标偏，计算每个样本近红外光谱的T值；对全体样本空间的T值以5％为起点,间隔2％:最大值100％进行抽样，在每个比例随机抽取k次；计算在每个比例下样本按照此比例抽样，样本T值的稳定性，稳定性用所抽取样本T值的标偏来衡量，多次抽样取标偏的均值；把近红外模型的准确性转换成近红外光谱的稳定性计算。

5)分别画出不同比例抽样下，样本空间的标偏与总体样本变化的标偏；截取样本空间光谱T值多次模拟取样标偏与总体样本空间比较一致的点所对应的抽样比例，即为估算比例；一般当样本空间的标偏与总体样本的标偏相差比较一致是指光谱的T值标偏与总体的样本的T值标偏的差异小于10％时，认为此样本量的标偏与总体样本空间的标偏比较一致；当严格不能光谱空间的统计量不变(接近于全体样本空间的统计量波动)的时候其模型的预测能力基本上也就不变，因此在做模型前可以利用定性分析进行采集光谱，去构造统计量，来研究抽取多少光谱，基本上可以代表整个光谱空间的变异程度。

在构建近红外模型时，根据样本容量的估算比例，直接取所需要的样本容量进行构建近红外模型检测，评价体系。

以下采用某工厂的实际案例来验证本方法的可靠性：

1)在A复烤厂获取700个在线近红外样本的光谱：以700个样本去做流动基础数据，用于验证该专利所述方法是否正确，以烟草化学成分尼古丁为研究目标，以PLS为基础建模方法；图1显示了样本烟叶的原始光谱。

2)选取4个PC因子计算样本的T值，得到如图2所示的烟叶原始样本T值分布图。

3)对全体样本空间的T值以5％为起点,间隔2％:最大值100％进行抽样，每个比例的抽样次数为500次；计算每个比例抽样的稳定性，如图3所示。

从图3中利用式(3)中的F统计值对比，可以看出250-300个样本与总体样本的T值变异程度基本一致；因此建模样本的统计量大概为250个左右；

4)对上述700个样本利用20，21.....700中样本进行全建模；选择80％的样本作为建模，20％的样本进行验证，进行选取主成分，另取独立验证集35个烟叶样本作为独立验证，以绝对相关系数/绝对误差作为评价依据，该值越大越好。不同样本量的空间变异程度如图4所示。

运用所抽取烟叶光谱样本建立的烟叶样本的化学值模型预测35个烟叶样本与实际化学值进行对比，结果如图5所示，从图5中可以看出，在250-300个样本构建模型的时候，其对独立样本的预测能力，确实与全样本比较一致；SE＝0.35；相对误差6％。

本发明仅通过扫描光谱，与全局光谱特征做比较，只要抽样比较的T值标偏与总体样本的T值标偏差异小就可以得到最佳的取样比例，进而确定建立近红外模型所需的样本量。而无需对每个样本的化学值进行具体分析，因此有效节省了客户进行样本化学值实测的成本。

Claims (5)

1.一种在线近红外样本量确定方法，其特征在于，包括如下步骤：

步骤一、仅采集全体样本的光谱信息，而不进行具体成分的分析；

步骤二、对收集到的光谱信息所形成的矩阵进行PCA投影；

步骤三、构造近红外光谱的统计量：

$T_{hi}^2=\frac{t_{hi}^2}{(n-1)s_h^2}---\left(1\right)$

$T_i^2=\frac{1}{n-1}\underset{h=1}{\overset{m}{\Σ}}\frac{t_{hi}^2}{s_h^2}---\left(2\right)$

可以证明 $\frac{n^2(n-m)}{m(n^2-1)}{T}_i^2~F(m,n-m)---\left(3\right)$

其中T_hi表示的是第i个样本的累积贡献率，t_hi表示的是第i个样本的贡献率，s_hi表示的第m个主成分的标偏，n是指样本量；F表示的是F分布；

步骤四、计算总体样本空间T值的标偏，计算每个样本近红外光谱的T值；对全体样本空间的T值以不同百分比进行抽样；把近红外模型的准确性转换成近红外光谱的稳定性计算,在每个百分比下随机抽取k次,计算每个比例下样本T值的稳定性；

步骤五：比较不同百分比抽样下的样本空间的T值标偏与总体样本变化的T值标偏；样本空间的T值标偏与总体的样本的T值标偏的差异小于预定值时所对应的抽样比例，即为所需在线近红外样本量的取样比例。

2.如权利要求1所述的在线近红外样本量确定方法，其特征在于：

其中，步骤一中在采集全体样本的光谱信息后，还包括对异常光谱进行剔除的步骤，剔除量不超过样本量的5％。

3.如权利要求1所述的在线近红外样本量确定方法，其特征在于：

其中，在步骤四中，对全体样本空间的T值的抽样百分比是以5％为起点，直到最大值100％，中间间隔2％进行抽样。

4.如权利要求1所述的在线近红外样本量确定方法，其特征在于：

其中，步骤四中所述稳定性用所抽取样本T值的标偏来衡量。

5.如权利要求1所述的在线近红外样本量确定方法，其特征在于：

其中，步骤五中，所述预定值为10％。