CN105095689A - 一种基于韦恩预测的电子鼻数据挖掘方法 - Google Patents

Abstract

本发明公开了一种基于韦恩预测的电子鼻数据挖掘方法，具体步骤为：首先对原始数据进行特征提取生成特征空间数据集；然后建立韦恩预测算法框架，选择支持向量机和k平均聚类融合算法作为分类器进行模式识别；假设测试样本为某一类别y，测试样本和训练样本形成数据集，利用“除一法”对数据集中各个样本进行建模和预测；遍历所有y值，得出概率预测矩阵；最后给出所有预测样本的预测种类和预测正确的概率区间。本方案克服了传统的模式识别算法只对样本的种类进行预测的缺陷，在预测样本种类的同时给出预测正确的概率区间，为决策提供了更多的有效信息。本发明适用于所有电子鼻数据的处理。

Description

一种基于韦恩预测的电子鼻数据挖掘方法

技术领域

本发明涉及电子鼻数据处理，尤其是涉及一种基于韦恩预测的电子鼻数据挖掘方法。

背景技术

电子鼻是一种模拟生物嗅觉工作原理的新型仿生检测仪器。它利用若干非特异性的气敏传感器组成的传感器阵列对目标气体进行精确的检测和区分，具有快速识别、操作简便、客观性强、可靠性高以及成本低廉等优点。电子鼻已经广泛应用于环境监测、食品质量评估、医疗诊断以及其他方面的研究。

数据挖掘是电子鼻发展过程中的一个重要部分，传统的数据挖掘将更多注意力放在数据的预处理、特征提取、特征优化以及分类器的设计等方面。传统的分类器如线性判别分析(LDA)，支持向量机(SVM)等只给出预测结果，而对预测结果可信任程度并没有给出更多的信息。举例来说，在医学诊断中，通常给出一个疾病确诊的概率比只给出一个诊断结果要有用的多。

有许多方法能都能给出预测结果的概率分布，但这些方法是建立在对样本分布很强的假设上。因此，一旦假设的统计模型不正确，预测的结果也不会正确。

中华人民共和国国家知识产权局于2013年01月23日公开了名称为“基于有监督显式流形学习算法的电子鼻数据挖掘方法”的专利文献(公开号：CN102890718A)，其中显式流形学习算法对电子鼻数据进行数据挖掘的方法的步骤包括：气体样本的采集、气体样本的特征提取、确定特征值矩阵中各点的近邻、计算任意两特征值点的关系和显式流形算法的数据降维。有监督的显式流形学习算法对电子鼻数据进行数据挖掘包括上述全部步骤并在气体样本的特征提取后增加一步：考虑类别信息确定特征值矩阵中各点的近邻。此方案不能提供预测结果正确的概率区间，对后续决策来说缺少必要的信息。

发明内容

近年来，svm模型得到了广泛的研究和应用，取得了较好的结果。韦恩预测算法一种多概率预测算法(multi-probabilisticpredictor)。它是一种算法框架，任何一种分类算法都可以应用到韦恩预测算法中。韦恩预测算法不仅预测测试样本的种类，同时给出该预测正确的概率区间，为后续的决策提供更多的信息。

本发明主要是解决传统分类算法只能够预测测试样本种类的技术问题，提供一种不仅预测测试样本的种类，同时给出该预测正确的概率区间，从而为后续的决策提供更多信息的基于韦恩预测的电子鼻数据挖掘方法。

本发明针对上述技术问题主要是通过下述技术方案得以解决的：一种基于韦恩预测的电子鼻数据挖掘方法，包括以下步骤：

S01、获取m个传感器的n次实验数据，得到原始样本矩阵M，原始样本矩阵表示为：

$M=\left[\begin{array}{cccc}{x}_{11}& x_{12}& \mathrm{...}& x_{1m}\\ x_{21}& x_{22}& \mathrm{...}& x_{2m}\\ .& & & \\ .& & & \\ .& & & \\ x_{n1}& x_{n2}& \mathrm{...}& x_{nm}\end{array}\right]$

其中，(i＝1，2，…n，j＝1，2…，m)是一个向量，表示第i次实验第j个传感器随采样时间得到的采样点数据，采样点数目为s；

S02、提取原始样本矩阵M中每次实验每个传感器的s个采样点中的最大响应值，得到最大值特征矩阵X，最大值特征矩阵表示为：

$X=\left[\begin{array}{cccc}{x}_{11}^{\max }& x_{12}^{\max }& \mathrm{...}& x_{1m}^{\max }\\ x_{21}^{\max }& x_{22}^{\max }& \mathrm{...}& x_{2m}^{\max }\\ .& & & \\ .& & & \\ .& & & \\ x_{n1}^{\max }& x_{n2}^{\max }& \mathrm{...}& x_{nm}^{\max }\end{array}\right]$

其中，是一个标量，表示第i次实验第j个传感器s个采样点数据中的最大值；对n次实验的样本种类进行编号1,2…k，k代表原始样本的种类数,生成样本的标签Y；得到样本矩阵Z＝[XY]，z_i＝{x_i,y_i},i＝{1,2,…,n}；

S03、将样本矩阵Z分为训练集S_tr和测试集S_te，S_tr＝{z₁,z₂,…,z_r-1}；抽取测试集中某一样本z_t进行预测；

S04、假设y_t＝y，y∈{1,2,…k}。新的数据集Z_t＝[z₁,z₂,…,z_r-1,z_t]；

S05、对于Z_t中的每一个样本z_j，j＝{1,2,…r-1,t}，其他样本构成新的训练集进行建模，然后对z_j进行预测，得到它的预测种类b_j；

S06、预测类别为b_t的样本集合中包括z_t＝(x_t，y)；令p_y是这个集合中不同类别的经验概率分布，

$p_y\left(y^{\′}\right)=\frac{|(x^{*},y^{*})\∈b_t:y^{*}=y^{\′}|}{\left|b_t\right|}$

p_y是Y上的概率分布；(x^*,y^*)是预测类别为b_t的所有样本的集合，y’的取值是1到k；

S07、返回步骤S04，令y逐一等于1到k中的每一个值，重复步骤S05和S06，最终得到对于样本z_t的韦恩预测器P_t＝{p_y:y_t∈Y}；P_t是一个K*K的概率矩阵；定义P_t每一列的最小项为q，具有最大q值的列为j_best；z_t的预测种类是j_best，预测正确的概率区间是

S08、逐一对步骤S03中测试集的样本进行预测，得到相应的韦恩预测器P，预测种类j_best和预测正确的概率区间；最终求出模型的预测的准确率以及所有预测样本预测正确的概率区间的并集。

作为优选，建模和预测的过程如下：用新的训练集的数据，选择One-vs-One的方式进行SVM建模得到模型；数据集中可能的种类{1,2,…k},有k(k-1)/2个二分类的svm模型；对于每一个可能的种类，有k-1个相关的二分类svm的决策函数；对于新的训练集的每一个样本x，计算融合的决策函数D(x)，

$D\left(x\right)=\stackrel{\‾}{y}+\frac{1}{k-1}\underset{i=0,i\≠\stackrel{\‾}{y}}{\overset{k}{\Σ}}N\left(f_{\stackrel{\‾}{y}i}\right(x\left)\right)$

是在One-vs-One的SVM模型中，通过max-wins投票方式求得的预测种类；N(f)将f值归一化至[01]区间；对D(x)运用k平均聚类算法，找出k个中心点；对样本z_j，求出它的融合决策函数值D(x_j)，找到离它最近的中心点，求出它的预测种类b_j。

作为优选，步骤S03中训练集和测试集是按照10-folds交叉检验的方法进行划分，即对每种类别的样本划分为10份，每次取其中1份作为训练集，其他9份作为测试集，重复10次直到所有样本都作为测试样本1次。

作为优选，svm模型选择的核函数是RBF，其中参数gamma和C通过网格法进行优化。

作为优选，传感器的个数m取16，所属实验次数n取175。

作为优选，是二分类svm分类器的决策方程，如果大于i，则取反。

作为优选，步骤S05中k平均聚类算法的距离计算为欧氏距离，最大迭代次数为100次，初始中心点为[1.5,2.5,…,k+0.5]。作为优选，

本发明带来的实质性效果是，采用韦恩预测算法框架，采用svm和k平均聚类作为分类器，对样本进行建模和测试，不仅对测试样本的类别进行预测，同时给出每个预测正确的概率区间，为后续的决策提供更多信息。

附图说明

图1是本发明的一种流程图。

具体实施方式

下面通过实施例，并结合附图，对本发明的技术方案作进一步具体的说明。

实施例：本实施例中所使用的电子鼻数据采集自5种人参样本，分别是集安产中国红参、抚松产中国红参、集安产高丽参、集安产中国白参和抚松产中国白参。

数据采集：分别将5种人参粉碎至颗粒直径小于0.5mm的粉末。每次测试取样本5g放入100ml玻璃瓶，将玻璃瓶放入50℃恒温箱中30分钟后，取顶部空气5ml进行测试。每种人参测试35次，共获得175组数据。

如图1所示，本实施例采用以下技术方案对所采集的电子鼻信号进行处理，步骤如下：

步骤1：根据16个传感器采集的175组数据得到原始样本矩阵M表示为

$M=\left[\begin{array}{cccc}{x}_{11}& x_{12}& \mathrm{...}& x_{1m}\\ x_{21}& x_{22}& \mathrm{...}& x_{2m}\\ .& & & \\ .& & & \\ .& & & \\ x_{n1}& x_{n2}& \mathrm{...}& x_{nm}\end{array}\right]$

步骤2：提取原始样本矩阵M中每次实验每个传感器的s个采样点中的最大响应值，得到最大值特征矩阵X，表示为：

$X=\left[\begin{array}{cccc}{x}_{11}^{\max }& x_{12}^{\max }& \mathrm{...}& x_{1m}^{\max }\\ x_{21}^{\max }& x_{22}^{\max }& \mathrm{...}& x_{2m}^{\max }\\ .& & & \\ .& & & \\ .& & & \\ x_{n1}^{\max }& x_{n2}^{\max }& \mathrm{...}& x_{nm}^{\max }\end{array}\right]$

其中，是一个标量，表示第i次实验第j个传感器s个采样点数据中的最大值；对175次实验的样本种类进行编号1,2…k，k代表原始样本的种类数,k＝5，生成样本的标签Y。得到样本矩阵Z＝[XY]，z_i＝{x_i,y_i},i＝{1,2,…,n},n＝175；

步骤3：将样本矩阵Z分为训练集S_tr和测试集S_te，S_tr＝{z₁,z₂,…,z_r-1}。训练集和测试集是按照10-folds交叉检验的方法进行划分，即对每种类别的样本大致划分为10份，由于每种样本的样本数可能不能被10整除。每次取其中1份作为训练集，其他9份作为测试集，重复10次直到所有样本都作为测试样本1次。抽取测试集中某一样本z_t进行预测。

步骤4：首先假设y_t＝1，新的数据集Z_t＝[z₁,z₂,…,z_r-1,z_t]。

步骤5：对于Z_t中的每一个样本z_j，j＝{1,2,…r-1,t}，其他样本构成新的训练集进行建模，然后对z_j进行预测，得到它的预测种类b_j，建模和预测的过程如下：1.用新的训练集的数据，选择One-vs-One的方式进行SVM建模得到模型。svm模型选择的核函数是RBF，其中参数gamma和C通过网格法进行优化，gamma＝2^[6:3:15]，C＝2^[-1:3:8]。其中数据集中可能的种类{1,2,…k},有k(k-1)/2个二分类的svm模型,k＝5。对于每一个可能的种类，有4个相关的二分类svm的决策函数。对于新的训练集的每一个样本x，计算融合的决策函数D(x)，k＝5，

$D\left(x\right)=\stackrel{\‾}{y}+\frac{1}{k-1}\underset{i=0,i\≠\stackrel{\‾}{y}}{\overset{k}{\Σ}}N\left(f_{\stackrel{\‾}{y}i}\right(x\left)\right)$

是在One-vs-One的SVM模型中，通过max-wins投票方式求得的预测种类。N(f)将f值归一化至[01]区间。对D(x)运用k平均聚类算法，找出k个中心点。距离计算为欧氏距离，最大迭代次数为100次，初始中心点为[1.5,2.5,…,k+0.5]。对样本z_j，求出它的融合决策函数值D(x_j)，找到离它最近的中心点，求出它的预测种类b_j.

步骤6：预测类别为b_t的样本集合中包括z_t＝(x_t，y)。令p_y是这个集合中不同类别的经验概率分布。

$p_y\left(y^{\′}\right)=\frac{|(x^{*},y^{*})\∈b_t:y^{*}=y^{\′}|}{\left|b_t\right|}$

P_y是Y的概率分布。

步骤7：回到步骤4，令y_t分别等于2,3,4,5，重复步骤5,6，得到对于样本z_t的韦恩预测器P_t＝{p_y:y_t∈Y}。P_t是一个K*K的概率矩阵。定义P_t每一列的最小项为q，具有最大q值的列为j_best。因此，z_t的预测种类是j_best，预测正确的概率区间是

表1典型样本的预测结果

实验组别	样本类别	预测类别	预测正确的概率区间
				22	1	1	[0.71 0.74]
23	1	2	[0.74 0.88]
				57	2	2	[0.70 0.79]
58	2	1	[0.69 0.76]
				88	3	3	[0.91 1.00]
89	3	3	[0.97 1.00]
				106	4	4	[0.76 0.89]
107	4	4	[0.68 0.82]
				156	5	5	[0.69 0.71]
157	5	1	[0.66 0.79]

从表1中可以看出，本发明在对样本进行预测类别的同时，给出了分类正确的概率区间.如对实验组别22，我们预测它的类别是1，这个预测正确的概率区间为[0.710.74]；对实验组别89，我们预测它的类别是3，这个预测正确的概率区间为[0.971]，此时我们几乎可以完全信任我们这个预测。概率区间的信息为后续的决策提供了有效的信息。

步骤8：逐一对步骤3中测试集的样本进行预测，得到相应的韦恩预测器P，预测种类j_best和预测正确的概率区间。最终求出模型的预测的准确率以及所有预测样本预测正确的概率区间的并集。本方案在预测样本种类的同时，给出该预测正确的概率区间为，后续的决策提供更多的信息。

将采用本方案进行处理后的模式识别结果与几种传统处理方法的模式识别结果进行对比，如表2所示：

表2几种电子鼻模式识别算法比较

方法	识别率	预测正确的概率区间并集
			本方案	79.43％	[0.60 1.00]
支持向量机	79.43％	无
			线性判别分析	77.26％	无

从表2可以看出。本方案在识别率上和svm算法相同，高于LDA算法。本方案对每个预测样本都给出了预测正确的概率区间，为后续的决策提供更多的有效信息。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

尽管本文较多地使用了矩阵、训练集等术语，但并不排除使用其它术语的可能性。使用这些术语仅仅是为了更方便地描述和解释本发明的本质；把它们解释成任何一种附加的限制都是与本发明精神相违背的。

Claims (7)

1.一种基于韦恩预测的电子鼻数据挖掘方法，其特征在于，包括以下步骤：

S01、获取m个传感器的n次实验数据，得到原始样本矩阵M，原始样本矩阵表示为：

$M=\left[\begin{array}{cccc}{x}_{11}& x_{12}& ...& x_{1m}\\ x_{21}& x_{22}& ...& x_{2m}\\ .& & & \\ .& & & \\ .& & & \\ x_{n1}& x_{n2}& ...& x_{nm}\end{array}\right]$

其中，(i＝1，2，…n，j＝1，2…，m)是一个向量，表示第i次实验第j个传感器随采样时间得到的采样点数据，采样点数目为s；

S02、提取原始样本矩阵M中每次实验每个传感器的s个采样点中的最大响应值，得到最大值特征矩阵X，最大值特征矩阵表示为：

$X=\left[\begin{array}{cccc}{x}_{11}^{\max }& x_{12}^{\max }& ...& x_{1m}^{\max }\\ x_{21}^{\max }& x_{22}^{\max }& ...& x_{2m}^{\max }\\ .& & & \\ .& & & \\ .& & & \\ x_{n1}^{\max }& x_{n2}^{\max }& ...& x_{nm}^{\max }\end{array}\right]$

其中，是一个标量，表示第i次实验第j个传感器s个采样点数据中的最大值；对n次实验的样本种类进行编号1,2…k，k代表原始样本的种类数,生成样本的标签Y；得到样本矩阵Z＝[XY]，z_i＝{x_i,y_i},i＝{1,2,…,n}；

S03、将样本矩阵Z分为训练集S_tr和测试集S_te，S_tr＝{z₁,z₂,…,z_r-1}；抽取测试集中某一样本z_t进行预测；

S04、假设y_t＝y，y∈{1,2,…k}。新的数据集Z_t＝[z₁,z₂,…,z_r-1,z_t]；

S05、对于Z_t中的每一个样本z_j，j＝{1,2,…r-1,t}，其他样本构成新的训练集进行建模，然后对z_j进行预测，得到它的预测种类b_j；

S06、预测类别为b_t的样本集合中包括z_t＝(x_t，y)；令p_y是这个集合中不同类别的经验概率分布，

$p_y\left(y^{\′}\right)=\frac{|(x^{*},y^{*})\∈b_t:y^{*}=y^{\′}|}{\left|b_t\right|}$

p_y是Y上的概率分布；(x^*,y^*)是预测类别为b_t的所有样本的集合，y’的取值是1到k；

S07、返回步骤S04，令y逐一等于1到k中的每一个值，重复步骤S05和S06，最终得到对于样本z_t的韦恩预测器P_t＝{p_y:y_t∈Y}；P_t是一个K*K的概率矩阵；定义P_t每一列的最小项为q，具有最大q值的列为j_best；z_t的预测种类是j_best，预测正确的概率区间是 $\[\underset{i=1,...,k}{\min }{P}_{i,j_{best}},\underset{i=1,...,k}{\max }{P}_{i,j_{best}}\];$

S08、逐一对步骤S03中测试集的样本进行预测，得到相应的韦恩预测器P，预测种类j_best和预测正确的概率区间；最终求出模型的预测的准确率以及所有预测样本预测正确的概率区间的并集。

2.根据权利要求1所述的一种基于韦恩预测的电子鼻数据挖掘方法，其特征在于，建模和预测的过程如下：用新的训练集的数据，选择One-vs-One的方式进行SVM建模得到模型；数据集中可能的种类{1,2,…k},有k(k-1)/2个二分类的svm模型；对于每一个可能的种类，有k-1个相关的二分类svm的决策函数；对于新的训练集的每一个样本x，计算融合的决策函数D(x)，

$D\left(x\right)=\stackrel{\‾}{y}+\frac{1}{k-1}\underset{i=0,i\≠\stackrel{\‾}{y}}{\overset{k}{\Σ}}N\left(f_{\stackrel{\‾}{y}i}\right(x))$

是在One-vs-One的SVM模型中，通过max-wins投票方式求得的预测种类；N(f)将f值归一化至[01]区间；对D(x)运用k平均聚类算法，找出k个中心点；对样本z_j，求出它的融合决策函数值D(x_j)，找到离它最近的中心点，求出它的预测种类b_j。

3.根据权利要求1所述的一种基于韦恩预测的电子鼻数据挖掘方法，其特征在于，步骤S03中训练集和测试集是按照10-folds交叉检验的方法进行划分，即对每种类别的样本划分为10份，每次取其中1份作为训练集，其他9份作为测试集，重复10次直到所有样本都作为测试样本1次。

4.根据权利要求1或2所述的一种基于韦恩预测的电子鼻数据挖掘方法，其特征在于，svm模型选择的核函数是RBF，其中参数gamma和C通过网格法进行优化。

5.根据权利要求1或2所述的一种基于韦恩预测的电子鼻数据挖掘方法，其特征在于，传感器的个数m取16，所属实验次数n取175。

6.根据权利要求2所述的一种基于韦恩预测的电子鼻数据挖掘方法，其特征在于，是二分类svm分类器的决策方程，如果大于i，则取反。

7.根据权利要求1所述的一种基于韦恩预测的电子鼻数据挖掘方法，其特征在于，步骤S05中k平均聚类算法的距离计算为欧氏距离，最大迭代次数为100次，初始中心点为[1.5,2.5,…,k+0.5]。