CN104155245B - 一种基于模式识别与谱图映射的油品多类性质的检测方法 - Google Patents

Abstract

本发明是一种基于模式识别与谱图映射的油品多类性质的检测方法包括：步骤S1：采集未知油品样本的近红外光谱，并按照主成份分析法将近红外光谱图映射投影到训练集样本确定的特征平面上；步骤S2：根据未知油品样本落在训练集样本的特征平面的区域位置，通过朴素贝叶斯分类器将未知油品样本点归到训练集样本的某类样本中；步骤S3：在未知油品样本点所在类样本点中，选择并在搜索半径范围内，搜索并找到未知油品样本点的邻近点；步骤S4：计算未知油品样本点的邻近点与该未知油品样本点的马氏距离，并将马氏距离归一化后作为权值，利用未知油品样本点邻近点的性质加权求和计算未知油品样本点的油品性质，从而得到未知油品样本点的多类性质。

Description

一种基于模式识别与谱图映射的油品多类性质的检测方法

技术领域

本发明属于石油石化领域，涉及一种基于模式识别与谱图映射的油品多类性质的检测方法。

背景技术

汽油、柴油、原油的近红外谱图包括了丰富的油品族组成信息，油品的性质如辛烷值、蒸汽压、十六烷值、凝点、冷滤点、闪点、馏程等是其族组成综合作用的结果，每个油品对应的谱图是唯一确定的。因此，传统方法一般把近红外谱图特征化后与油品各个性质直接关联，采用多元线性回归(MLR)、逐步回归(SMR)、主成分分析(PCA)、主成分回归(PCR)、偏最小二乘法(PLS)、人工神经网络(ANN)等方法建立油品性质的检测模型。其所建立的模型适应范围窄、误差较大，而且对各个性质单独建立模型，导致建立和维护模型工作量大，很难满足工业现场长期、稳定运行的要求。

发明内容

(一)要解决的技术问题

为了解决现有技术单独建立油品每个性质的模型适应范围窄、误差较大，而且导致建立和维护模型工作量大，很难满足工业现场长期，不能满足稳定运行的要求的石油石化众多先进控制实施的瓶颈问题，为此本发明的目的是提供一种油品性质准确、快速检测、基于模式识别与谱图映射的油品多类性质的检测方法。

(二)技术方案

本发明是一种基于模式识别与谱图映射的油品多类性质的检测方法，实现该方法的步骤包括：

步骤S1：采集某一未知油品样本的近红外光谱，并按照主成份分析法将近红外光谱图映射投影到训练集样本确定的特征平面上；

步骤S2：根据未知油品样本落在训练集样本的特征平面的区域位置，通过朴素贝叶斯分类器将未知油品样本点归到训练集样本的某类样本中；

步骤S3：在未知油品样本点所在类样本点中，选择并在搜索半径范围内，搜索并找到未知油品样本点的邻近点；

步骤S4：计算未知油品样本点的邻近点与该未知油品样本点的马氏距离，并将马氏距离归一化后作为权值，利用未知油品样本点邻近点的性质加权求和计算未知油品样本点的油品性质，从而得到未知油品样本点的多类性质。

(三)有益效果

本发明的方法只需建模一次，就能对模型包含的各类油品的所有性质同时检测，速度快。现有技术的油品性质检测的主流方法是偏最小二乘法，为保证一定的准确度，它需要对各个油品、各个性质单独建模，这带来了浩大的建模工作量与繁杂的模型维护工作量。另外，本发明是基于局部样本点对未知油品样本点进行检测，准确度也比传统偏最小二乘方法高很多。传统偏最小二乘方法没有考虑到模型的实时扩充，本发明在对未知油品样本进行检测时，针对界外点的情况进行了相应考虑和处理，便于对模型进行实时扩充，使得模型在应用中更进一步的完善，进一步提高模型的检测精度。

附图说明

图1示出本发明基于模式识别与谱图映射的油品多类性质的检测方法流程图。

图1a示出图1中步骤S2的具体实施例中。

图2示出了本发明中未知油品样本点落入特征平面上的情况。

图3示出对图2中界外点的处理情况。

图4a示出本发明中对落入某类中的未知油品样本点寻找邻近点，是直接在所在类中寻找邻近点的示意图。

图4b示出本发明中对落入某类中的未知油品样本点寻找邻近点，是先对未知油品样本所在的类进行致密化，然后再寻找邻近点的示意图；

图5示出本发明与传统偏最小二乘模型对凝点性质检测效果的比较。

具体实施方式

下面结合附图详细说明本发明技术方案中所涉及的各个细节问题。应指出的是，所描述的实施例仅旨在便于对本发明的理解，而对其不起任何限定作用。

油品性质准确、快速检测一直是石油石化众多先进控制实施的瓶颈，针对该问题本发明公开一种基于模式识别与谱图映射的油品各个性质检测方法包括谱图映射、判别分析、寻找未知油品样本点的邻近点、对未知油品样本性质进行检测过程，步骤如下：首先，对未知油品样本性质检测时，先对未知油品样本采集近红外光谱，并投影到训练集样本按主成份分析法、聚类法确定的特征平面上，然后根据未知油品样本在投影平面上所在的位置确定属于哪个类样本，并在所属类样本中找到邻近点，按照邻近点与未知油品样本点不同大小的马氏距离用邻近点的性质计算未知油品样本的性质。

图1示出基于模式识别与谱图映射的油品多类性质的检测方法流程图，实现该方法的步骤包括：

步骤S1：采集某一未知油品样本的近红外光谱，并按照主成份分析法将近红外光谱图映射投影到训练集样本确定的特征平面上；

训练集样本特征平面的确定用到了K-means聚类方法和评价聚类效果的统计量-轮廓系数值。具体实施确定所述特征平面的步骤如下：

步骤S11：首先，对训练集样本做主成分分析后，选择前5个载荷向量两两组合分别作为平面的X轴和Y轴，依次将训练集样本投影到每个平面上；步骤S12：依次在在每个平面上应用K-means方法对样本聚类。K-means聚类步骤如下：

1、根据样本在平面的分散情况随机选取q个样本点作为初始聚类重心m₁，m₂，...，m_q，q是样本点的种类数；

2、对每个样本点x_j，计算该样本点与各个重心的距离d(x_j，m_i)，找出最小距离，如果d(x_j，m_l)＝min(d(x_j，m_i))，i＝1，2，...，q，1≤l≤q，j＝1，2，...，n，则把样本点x_j归入第l类，n是训练集样本点个数，i是样本点，m_i是初始聚类重心，j是训练集样本点，l是样本点的类别；

3、重新计算每个聚类的重心；

4、重复步骤2，3，知道所有重心都不再变化。

步骤S13：依次对步骤S12训练集样本点聚类完成之后的样本，根据下边的公式(1)计算每个点的轮廓系数值s_j：

$s_j=\frac{b_j-a_j}{\max (b_j,a_j)},j=\mathrm{1,2},...,n,---\left(1\right)$

公式(1)中，a_j是样本点x_j与所在类中其他点的距离的平均值，b_j是x_j与其他类距离的最小值，x_j与某个非所属类的距离用x_j与该非所属类中所有的点的距离的平均值计算出。轮廓系数值在-1到1之间，值越大说明样本点的归属类选择的越合理。步骤S14：依次根据步骤S13计算出的每个点的轮廓系数值计算出每个聚类平面上所有样本集的平均轮廓系数值；步骤S15：选择平均轮廓系数值最大的平面作为训练集的特征平面。

图1a示出图1中步骤S2的实施例：根据未知油品样本落在训练集样本的特征平面的区域位置，通过朴素贝叶斯分类器将未知油品样本点归到训练集样本的某类样本中；具体的实施是将未知油品样本点归到训练集样本的某类样本包括如下步骤：步骤S21：如果未知油品样本点落入某类样本中，直接根据朴素贝叶斯分类器判断未知油品样本点的所属类别；如果未知油品样本点落在所有类样本之外，进入步骤S22；步骤S22：对未知油品样本点进行计算，得到未知油品样本的光谱残差，用光谱残差的F检验判断未知油品样本是异常点还是正常点，如果是异常点，则剔除异常点，如果是正常点，进入步骤S23；步骤S23：根据朴素贝叶斯分类器判断未知油品样本点的所属类别。

图2示出了未知油品样本点落入特征平面的情况，实心点代表训练集样本点，方框代表未知油品样本点。从图2中可以看出，大部分未知油品样本点落入某个类样本中，但也出现了几个界外点。其中有两个界外点距离特征平面上所有的类样本都比较“远”，另一个界外点离某个类样本更“近”一些。界外点的处理包括光谱残差的F检验和根据朴素贝叶斯分类器的判别分析两个过程，光谱残差的F检验用于判断未知油品样本点是正常点还是异常点，朴素贝叶斯分类器是把正常点判别到某类样本中，是对肉眼观察到的“近”的概念的量化。

首先说明一下光谱残差的F检验。光谱残差是表示实际光谱与重构光谱之间差值的一个统计量，未知油品样本在特征平面的投影是根据未知油品样本的光谱数据与训练集样本在特征平面的二维载荷向量计算出来的；另一方面，用未知油品样本的投影与这个二维载荷向量也可以计算出一个重构光谱。实际光谱与重构光谱有一个小的误差，正常采集的样本在测量条件相同的条件下得到的这个误差是近似的。一个油品的光谱残差Rs可以用公式(2)表示：

$\mathrm{Rs}=\underset{k=1}{\overset{p}{\mathrm{\Σ}}}{({\mathrm{Aorig}}_k-{\mathrm{Apred}}_k)}^2---\left(2\right)$

公式(2)中，p是光谱的波长(数据点)的数量，Aorig_k是实际的光谱在波长点k处的吸收度，Apred_k是重构光谱在波长点k处的吸收度。

比起训练集中其他样本，具有显著的更大的光谱残差的样本就是异常样本，光谱残差的F检验是用数学的方式来精确的确定一个样本相对于训练集其他样本的光谱残差的统计显著性。未知油品样本光谱残差的平方是一个服从自由度为1的卡方分布的独立变量，训练集样本光谱残差的平方是一个服从自由度为训练集样本的数量的卡方分布的独立变量，这两个独立的卡方分布先除以各自的自由度再做比值之后的比率是一个服从第一自由度为1，第二自由度为训练集样本的数量的F分布。

F检验包括F-Ratio(F比率)和F-Test(F测试)两部分，F-Ratio是一个符合F分布的统计量，需要知道分子、分母的自由度，将训练集模型或未知油品样本值代入该统计量公式，得出符合F分布的统计量F-Ratio的值；F-Test是根据分子、分母自由度和算出的F-Ratio计算F分布中大于该F-Ratio的概率，并将该概率与预先设定的置信水平比较，得出最终的判断结果，一般设定的置信水平是0.99，大于该值时可以判定为异常样本。光谱残差的符合F分布的统计量F-Ratio公式(3)如下：

$\mathrm{Fratio}=\frac{{\stackrel{\‾}{\mathrm{Rs}}}^2}{\left(\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{\mathrm{Rs}}_j^2\right)/n}=\frac{n*{\stackrel{\‾}{\mathrm{Rs}}}^2}{\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{\mathrm{Rs}}_j^2}---\left(3\right)$

公式(3)中，n是训练集样本的数量，是要测试的未未知油品样本的光谱残差的平方，是训练集中第j个样本的光谱残差的平方。

再说明一下朴素贝叶斯分类器。

贝叶斯分类器是一种对样本属性(本例中是光谱投影)和类别(本例中是油品类别)的概率关系建模的方法。用XS表示样本属性集，C表示类变量。如果类变量和属性之间的关系不确定，那么把XS和C看作随机变量，用P(C|XS)(C的后验概率，即已知某个样本属性，判断它属于某个类的概率，P(C)称为C的先验概率)捕捉二者之间的关系。

根据从训练集中收集的信息，对样本属性集XS和类变量C的每一种组合学习后验概率，通过找出使后验概率最大的类可以对未知油品样本进行分类。

准确估计类标号和属性的每一种可能组合的后验概率非常困难，所以根据贝叶斯定理，可以用类变量的先验概率P(C)，类条件概率P(XS|C)，属性的先验概率P(XS)来表示类变量的后验概率。P(C)是一个值，它表达了样本空间中某个类C的样本所占样本总量的比例，类条件概率P(XS|C)、属性的先验概率P(XS)都是以某种形式分布的概率密度函数，需要根据训练集中样本特征的分布情况进行估计。后验概率P(C|XS)如下公式(4)表示：

$P\left(C\right|\mathrm{XS})=\frac{P\left(\mathrm{XS}\right|C)P\left(C\right)}{P\left(\mathrm{XS}\right)}---\left(4\right)$

本发明中，假定各类油品组成的样本总体、各个类别的油品集都符合正态分布，即P(XS)、P(XS|C)都符合正态分布，各个分布的参数值用训练集样本估计。P(C|XS)是已知一个油品的投影XS，计算这个油品属于某类油品C的概率；P(C)是指某个油品类别C出现的概率，如0#柴油出现的概率；P(XS)是指给定一个油品的得分向量XS，根据样本整体分布计算出的这个油品出现的概率；P(XS|C)是指根据油品类别C中样本的分布，计算一个得分向量为XS的油品出现的概率。

在实际中，根据实际情况往往假设样本属性之间条件独立，这样对于给定的类别C，不必计算XS的每一个组合的类条件概率，只需计算每一个样本属性XS_i的条件概率，这样对于有m个属性的样本属性集XS，估计属于类C的公式(5)如下：

$P\left(\mathrm{XS}\right|C)=P({\mathrm{XS}}_1={\mathrm{xs}}_1,{\mathrm{XS}}_2={\mathrm{xs}}_{2,...,}{\mathrm{XS}}_m={\mathrm{xs}}_m|C)=\underset{i=1}{\overset{m}{\mathrm{\Π}}}P({\mathrm{XS}}_i={\mathrm{xs}}_i|C)---\left(5\right)$

这就是朴素贝叶斯分类器，它在估计条件概率时不需要很大的训练集就能获得较好的概率估计。

本发明中，样本的属性集是指油品在特征平面的投影，是二维的，m等于2，P(XS|C)可以写成P(XS|C)＝P((XS₁，XS₂)|C)，XS₁、XS₂分别是油品在特征平面第一主成分轴、第二主成分轴(X轴、Y轴)上的投影值，假设这两个变量是独立分布的，所以在某类油品C中，得分向量为(xs₁，xs₂)的油品出现的概率公式(6)表示为：

P(XS₁＝xs₁，XS₂＝xs₂)|C)＝P(XS₁＝xs₁|C)*P(XS₂＝xs₂|C)(6)

图3给出了对图2中界外点的处理情况，通过光谱残差的F检验，发现那两个距离所有油品类都“远”的离散的点是异常的，进行剔除；用朴素贝叶斯分类器把另一个正常界外点归入了图中最左边样本代表的类中。

通过将采样正常的界外点用下边算法检测出性质或条件允许得到其化验性质，并纳入模型中，能解决模型的实时扩充问题，进一步提高模型的适应范围和准确度。

图4a给出了对落入某类样本中的未知油品样本点寻找邻近点的情况，是直接在所在类中寻找邻近点的示意图，实心点是训练集样本，方框是未知油品样本，椭圆框中变成颜色加深的点是找到的未知油品样本的邻近点；图4b给出了对落入某类样本中的未知油品样本点寻找邻近点的情况，是先对未知油品样本所在的类进行致密化，然后再寻找邻近点的示意图，实心点表示的训练集中的样本点，三角是通过致密化算法添加的样本点，方框是未知油品样本点，椭圆框中颜色加深的点是找到的未知油品样本的邻近点。

寻找邻近点时要确定椭圆的长轴半径和短轴半径，最优半径的确定可以参照所属类的样本在特征平面上的分布情况和覆盖范围，按照覆盖范围的一定的比例确定，由上述步骤S3在未知油品样本点所在类样本点中，选择并在搜索半径范围内，搜索并找到未知油品样本点的邻近点；具体搜索并找到未知油品样本点的邻近点的步骤如下：步骤S31：如果未知油品样本点所在类样本点，具有多个类样本点，进入步骤S32，如果未知油品样本点所在类样本点，具有稀疏的类样本点，则对类样本点进行谱图致密化处理，再进入步骤S32；步骤S32：以未知油品样本点位置为中心，以一条长轴和一条短轴为半径确定一个椭圆，找到落入椭圆中的点作为未知油品样本点的邻近点。

对未知油品样本找到邻近点后，提出如下的模型检测算法：

PropertyX＝f(Prop[S₁，S₂...S_i])(7)

公式(7)中，X表示未知油品样本点，S₁，S₂...S_i表示未知油品样本点的i个邻近点，PropertyX是未知油品样本的性质，Prop[S₁，S₂...S_i]是未知油品样本点的邻近油品点的性质，f表示未知油品样本的性质与邻近点油品的性质之间的函数关系。f的选择有两种方法：一种是计算未知油品样本点与邻近点的马氏距离，通过归一化处理后，对邻近油品点的性质加权求和，即可得到未知油品样本的各性质。第二种方法是，通过邻近点对应的性质，应用偏最小二乘的方法，求得未知油品样本各个性质。本发明中采用第一种方法即步骤S4：计算未知油品样本点的邻近点与该未知油品样本点的马氏距离，并将马氏距离归一化后作为权值，利用未知油品样本点邻近点的性质加权求和计算未知油品样本点的油品性质，从而得到未知油品样本点的多类性质。

图5给出了本发明与传统偏最小二乘检测效果的比较。二者选择同样的数据作为训练集建立模型，选择相同的数据作为验证集进行测试。图5画出的是对验证集样本凝点性质的检测效果，检测点的分布越接近45度线，表明检测值与实际值越接近。可以看出，实心圆点表示的本发明比十字叉表示的偏最小二乘模型准确度高出很多。

以上所述，仅为本发明中的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或替换，都应涵盖在本发明的包含范围之内，因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (3)

1.一种基于模式识别与谱图映射的油品多类性质的检测方法，其特征在于：实现该方法的步骤包括：

步骤S1：采集某一未知油品样本的近红外光谱，并按照主成份分析法将近红外光谱图映射投影到训练集样本确定的特征平面上；

步骤S2：根据未知油品样本落在训练集样本的特征平面的区域位置，通过朴素贝叶斯分类器将未知油品样本点归到训练集样本的某类样本中；所述将未知油品样本点归到训练集样本的某类样本包括如下步骤：

步骤S21：如果未知油品样本点落入某类样本中，直接进入步骤S23，如果未知油品样本点落在所有类样本之外，进入步骤S22；

步骤S22：对未知油品样本点进行计算，得到未知油品样本的光谱残差，用光谱残差的F检验判断未知油品样本是异常点还是正常点，如果是异常点，则剔除异常点，如果是正常点，进入步骤S23；

步骤S23：根据朴素贝叶斯分类器判断未知油品样本点的所属类别；

步骤S3：在未知油品样本点所在类样本点中，选择并在搜索半径范围内，搜索并找到未知油品样本点的邻近点；

步骤S4：计算未知油品样本点的邻近点与该未知油品样本点的马氏距离，并将马氏距离归一化后作为权值，利用未知油品样本点邻近点的性质加权求和计算未知油品样本点的油品性质，从而得到未知油品样本点的多类性质。

2.根据权利要求1所述基于模式识别与谱图映射的油品多类性质的检测方法，其特征在于：所述确定训练集样本的特征平面包括如下步骤：

步骤S11：在主成分分析中，选择前5个载荷向量两两组合分别作为平面的X轴和Y轴，依次将训练集样本投影到每个平面上；

步骤S12：依次在步骤S11确定的每个平面上应用K-means聚类算法对样本聚类；

步骤S13:依次对步骤S12聚类后的样本计算每个点的轮廓系数值；

步骤S14:依次根据步骤S13计算出的每个点的轮廓系数值计算每个平面上所有样本集的平均轮廓系数值；

步骤S15：选择平均轮廓系数最大的平面作为训练集的特征平面。

3.根据权利要求1所述基于模式识别与谱图映射的油品多类性质的检测方法，其特征在于：所述搜索并找未知油品样本点的邻近点的步骤如下：

步骤S31：如果未知油品样本点所在类样本点，具有稀疏的类样本点，则对类样本点进行谱图致密化处理，再进入步骤S32；否则就直接进入步骤S32；

步骤S32：以未知油品样本点位置为中心，以一条长轴和一条短轴为半径确定一个椭圆，找到落入椭圆中的点作为未知油品样本点的邻近点。