CN103729650A

CN103729650A - 近红外光谱建模样本的选择方法

Info

Publication number: CN103729650A
Application number: CN201410021094.0A
Authority: CN
Inventors: 钱锋; 程辉; 杜文莉
Original assignee: East China University of Science and Technology
Current assignee: East China University of Science and Technology
Priority date: 2014-01-17
Filing date: 2014-01-17
Publication date: 2014-04-16

Abstract

本发明涉及一种近红外光谱建模样本的选择方法，在调和过程中，当新的汽油样本的近红外光谱获取后，利用相似距离从已有汽油样本光谱库中选择若干相似样本建立初始训练集；利用主成分分析法对上述训练集降维并确定最佳主成分数，然后利用T2统计的方法剔除奇异点，最后确立训练样本集。训练样本集确定之后，就可以采用适当的建模方法建立近红外模型对汽油样本进行定量分析。由于该发明将Hotelling T2统计量引入了训练样本集的选择中，有效地减少了单纯由相似距离选择样本带来的奇异点，提高了近红外模型的精度与鲁棒性。此外，由于该发明可以实时选择样本建立训练集，给在线建模提供了依据，有利于改变汽油调和过程中近红外模型难以实时更新的现状。

Description

近红外光谱建模样本的选择方法

技术领域

本发明涉及在利用近红外光谱在线测定汽油属性过程中，近红外光谱建模样本的选择方法。具体地说，是一种利用统计学方法实时地从样本库中选择样本建立训练集的方法。

背景技术

汽车工业的发展以及节能和环境保护的紧迫性，推动着汽油产品更新换代。为满足新的汽油油品规格，提高产品质量并且减少能耗；各大炼厂广泛采用油品在线调和技术对传统的罐式调和进行升级改造。

汽油辛烷值是度量汽油性质的重要指标，其大小直接影响着车用汽油的品质。在汽油调和过程中以经济合理的方法增加汽油辛烷值将产生巨大的经济效益，人们从原料、催化剂、工艺等方面不断进行探索研究，试图找到提高汽油辛烷值的最佳途径。因此，研究汽油辛烷值的测量方法对汽油的生产和使用都将具有重要意义。

目前，辛烷值标准测定方法ASTM D采用ASTM-CFR辛烷值机台架测定方法，但是ASTM-CFR辛烷值机台架测定方法测试速度慢，不利于现场分析使用；操作和维护费用高，设备费用高，使用过程中需要不断维护；环保性差，测试的样品消耗大，约需500ml汽油样品，测量过程中存在着挥发损失与严重污染。

近红外光谱分析方法具有速度快，精密度高和费用低等优点，已广泛用于测定汽油的辛烷值，并由此产生了很好的社会效益和经济效益。由于近红外分析仪是二次测量仪表，不能够直接测量物质的属性，而是通过对已知样本的光谱与组成或性质的关联，用化学计量学中的多元校正方法建立校正模型，然后根据模型和待测样本的光谱预测待测样本的组成和性质。但是在建立近红外光谱模型的时候需要大量的采样化验，模型的维护成本很高；而且在模型的实际使用过程中由于工况的变化会使模型的性能变差从而需要大量的人力物力来维护模型。在汽油在线调和过程中，如果能够根据工况建立实时模型，就可以提高模型的维护周期，减少维护费用。由于实时模型的建立依赖于实时训练集的确定，如何根据工况实时地从样本库中选择样本组成训练集显得尤为重要。

发明内容

为了解决上述技术问题，本发明提供了一种近红外光谱建模样本的选择方法，该方法根据工业现场的采样光谱数据，利用相似距离从样本库中选择恰当的样本建立初始样本集，并利用采用主成分分析结合T2统计的方法剔除奇异点，确定最终的训练样本集，用以建立近红外模型预测待测汽油样本的属性。

本发明方法提供的近红外光谱建模样本的选择方法包括以下步骤：

步骤一：获取汽油样本的近红外光谱，采用一阶导数对光谱数据进行预处理。利用所获取的汽油样本建立样本库。其中，样本库用于训练样本集的选择。

步骤二：计算待测样本与样本库中所有光谱样本的相似距离（如，欧式距离），根据预设的相似性距离阈值从样本库中选择合适的样本建立初始训练集。

步骤三：采用主成分分析结合Hotelling T2统计的方法剔除步骤二中所得初始训练集中的奇异点，确定训练集。

本发明所述的方法，获取的汽油近红外光谱范围为1000-1600nm。

本发明所述的方法，可以采用在线或离线的方式从样本库中选择样本，组成训练集。

本发明所述的方法的有益效果在于：在汽油在线调和过程中，可以根据工况实时的选择训练集。在调和过程中，当新的汽油近红外光谱获取后，利用相似距离（如，欧式距离）从样本库中选择若干相似样本建立初始训练集；利用主成分分析法对上述训练集降维并确定最佳主成份数，然后利用T2统计的方法剔除奇异点，最后确立训练集样本。训练集样本确定之后，就可以采用适当的建模方法建立近红外模型对汽油样品进行定量分析。由于该发明将Hotelling T2统计量引入了近红外建模样本的选择中，有效的减少了单纯由相似距离选择样本带来的奇异点，提高了模型的精度与鲁棒性。此外，由于该发明可以实时的选择样本建立训练集，给实时建模提供了依据，有利于改变汽油调和过程中近红外模型难以实时更新的现状。

附图说明

图1-1、图1-2是预处理前后汽油近红外光谱谱图。

图2为所选出样本集的T2统计分布图。

图3近红外建模样本的选择方法流程图

具体实施方式

下面结合附图和实施例对本发明做进一步说明。

请参阅图3，为近红外建模样本的选择方法流程图，包括以下步骤：

根据比尔定律（A=εbC，A为吸光度，ε为待测组分的摩尔吸光系数，C为待测组分的浓度）对于确定的ε（对一定波长的光与物质）可以得到C-A的确定线性关系，因此可以建立汽油辛烷值光谱模型

Ron=a₁x₁+a₂x₂+...+a_nx_n（xi为每个波长对应的吸光度，a_i为回归系数，Ron为研究法辛烷值）

步骤一，本实施例的近红外光谱采用在线近红外分析仪获取，仪器的扫描范围为1000-1600nm，为了减少扫描范围首尾部分仪器不稳定对光谱造成的影响，本实施例使用的光谱范围为1100-1300nm。汽油研究法辛烷值（RON）属性采用ASTM-CFR辛烷值机测定；采用Savitzky-Golay一阶导数对光谱进行预处理。

步骤二，利用步骤一中的方法收集汽油样本，建立样本库。本实施例中样本库中共172组样本。

步骤三，计算待测样本的光谱与样本库中所有样本光谱的欧式距离。

{dis}_{n} = \sqrt{Σ_{i = 1}^{m} (x_{i} - {xq}_{i}) {(x_{i} - {xq}_{i})}^{T}}

dis_n：待测样本与样本库中第n个样本的欧式距离

x：为样本库样本的近红外光谱

x_q：为待测样本的近红外光谱

m:为变量个数

步骤四，根据设定的阈值，从样本库中选取汽油样本建立初始训练集。本实施例的相似距离设置为1.003。

步骤五，对步骤四中的初始训练集用主成分分析技术提取主成分，对数据降维，并计算所有样本的T2统计量。按照预设的T2阈值剔除奇异点，本实施例的T2阈值为0.35。

步骤六，剔除阈值范围之外的样本点确定训练集样本。

请参阅图1-1，图1-2为是汽油近红外光谱预处理前后的谱图，图1-1为原始近红外谱图，图1-2为一阶微分谱图。原始谱图的基线有着明显的漂移，经过一阶微分处理后谱图的基线漂移完全消除，可见，一阶微分可以较好的对汽油近红外光谱进行基线校正。请参阅图2，为近红外建模样本选择过程中，由相似距离选出的样本点T2统计分布图，由图可见：大部分样本在阈值范围之内，只有少数样本（圆圈标示）的T2统计量超过阈值，可见通过相似距离选择的样本仍然存在奇异点，采用本发明方法，能够有效弥补相似距离法的不足。

本实施例以分析汽油研究法辛烷值（RON）属性为例，但也可以用于汽油其他属性的分析，如：马达法辛烷值，抗爆指数，雷德蒸汽压，硫含量，密度，烯烃含量，芳烃含量，或/和苯含量。

综上所述仅为发明的较佳实施例而已，并非用来限定本发明的实施范围。即凡依本发明申请专利范围的内容所作的等效变化与修饰，都应为本发明的技术范畴。

Claims

1.一种近红外光谱建模样本的选择方法，其特征在于，包括以下步骤：

步骤一：获取汽油样品的近红外光谱，建立样本库；

步骤二：计算待测样本的近红外光谱与样本库中所有光谱样本的相似距离，根据预设的相似性距离阈值从样本库中选择样本建立初始训练集；

步骤三：采用主成分分析结合Hotelling T2统计的方法，计算初始训练集中每个样本的T2统计量，根据预设的T2统计量阈值，剔除步骤二中所得初始训练集中的奇异点，确定训练集。

2.根据权利要求1所述的选择方法，其特征在于，步骤一中的所述近红外光谱波长范围为1000-1600nm。

3.根据权利要求1所述的选择方法，其特征在于，步骤一中的所述近红外光谱采用Savitzky-Golay一阶导数对光谱进行预处理。

4.根据权利要求2所述的选择方法，其特征在于，步骤二中的所述相似距离为欧式距离。

5.根据权利要求1所述的选择方法，其特征在于，步骤三中所述的奇异点剔除方法采用主成分分析结合Hotelling T2统计的方法。