CN105929113A - 一种带子空间投影的电子鼻信号误差自适应学习方法 - Google Patents

Abstract

本发明公开了一种带子空间投影的电子鼻信号误差自适应学习方法，1、数据白化预处理；2、计算源域X_S和目标域数据X_T的中心μ_S以及μ_T；3、初始化平衡参数λ和子空间维度d；4、对矩阵执行特征分解，并获得特征向量矩阵V和特征值对角矩阵U；5、获得子空间投影基矩阵P＝[v₁，…，v_d]；6、获得源域X_S和目标域X_T在新子空间中的投影X′_S和X′_T；7、在新子空间中利用(X′_S，y_S)训练分类器，获得分类器参数；8：利用X′_T测试上述获得的分类器，获得识别率。本发明的优点是：在不增加样本的条件下，找到一种映射使源域和目标域的子空间达到分布一致，实现了传感器漂移补偿，保持模式识别系统的性能。

Description

一种带子空间投影的电子鼻信号误差自适应学习方法

技术领域

本发明属于电子鼻的气体检测领域，具体涉及一种自适应学习电子鼻的误差补偿方法。

背景技术

电子鼻，又称人工嗅觉系统，其由传感器阵列和模式识别系统组成，能够检测未知气体及其浓度。理论上，电子鼻的传感器对同一气体的同一浓度在一样的环境下，其响应是相同的。但是，在实际应用中，传感器使用一段时间后，由于中毒、老化等原因会导致传感器发生缓慢地漂移。传感器漂移极大地降低了系统的模式识别性能，使得电子鼻使用一段时间后变得不可靠。在传感器和模式识别领域，漂移已成为一个非常棘手的问题。

近年来，传感器漂移补偿方法已有很多种，第一类为单变量方法，具体有频率分析，基线处理和差分检测等，用于分别对每个传感器的响应进行补偿；这类方法简单且计算复杂度低，但不能完全解决漂移问题，因为这类方法对采样率特别敏感。第二类为多变量方法，与单变量方法相比，多变量方法是对全部传感器响应进行补偿，这类方法最具代表性的是成分校正法，但这类方法最大的缺点是假设漂移方向是线性的，虽然核化后的成分校正似乎可行，如KPCA，能用于非线性的漂移方向，但是，这种方法需要一个参考气体用来估计漂移方向且假设其它气体的漂移方向与参考气体的漂移方向是一致的。第三类为机器学习方法，该类方法有很多，它们是使分类器根据漂移情况进行调整，并不是计算或者明确描述漂移。如：基于支持向量机的集成方法，这种方法的性能优于基于信号校正的方法。但是，这种方法需要大量的标签样本。

在机器学习领域，未漂移的数据集称为源域，漂移的数据集称为目标域，目标域的特征分布不同于源域的特征分布，这种处于不同域的电子鼻数据被称为异构数据。如图1所示，目标域的特征分布与源域的特征分布有明显的差异，另外，特征分布也可理解为特征子空间。导致源域和目标域特征子空间不一致的原因是传感器使用较长时间后，由于老化、中毒等原因，使得传感器发生漂移。传感器发生漂移后，即使将其放置在同样的环境(同样的温湿度、气体以及浓度)下，传感器的响应值与未漂移的响应值有着较大的差别，即电子鼻数据的异构特性；若此时仍用未漂移时的数据训练获得的模式识别系统进行分类，则模式识别系统的性能将会被大大地降低。

发明内容

针对现有技术中存在的技术问题，本发明所要解决的技术问题就是提供一种带子空间投影的电子鼻信号误差自适应学习方法，它能找到一种映射使源域和目标域的子空间达到分布一致，在不增加样本的条件下，从而实现传感器漂移补偿，保持模式识别系统的性能。

为了描述简便，本说明书中规定以下符号为：

用下角标“S”和“T”分别表示源域和目标域，

为源域样本，

为目标域样本，其中，D表示每个样本的维数，N_S和N_T分别表示源域和目标域的样本数量。

为把源域和目标域从原始空间映射到某d维子空间的一组变换基，其中变换基P＝[v₁，v₂，...，v_d]其中v_i＝[v_i1，v_i2，...，v_iD]^T，i＝1，...，d。

||·||_F表示一个矩阵的Frobenius范数。

表示的是源域的第i个样本，表示的是目标域的第j个样本。C是常数。

大写的粗黑体表示矩阵。小写的粗黑体表示向量，变量用斜体表示。

本发明所要解决的技术问题是通过这样的技术方案实现的，它包括以下步骤：

步骤1：数据白化预处理；由于原始数据有很多特征，且特征值差异较大，为了便于后面的模式识别算法，需要对数据进行预处理，即对数据进行归一化，并中心化，使处理后的数据中心为零矢量；

步骤2：计算源域X_S和目标域数据X_T的中心μ_S以及μ_T，其中 N_S和N_T分别表示源域和目标域的样本数量，表示的是源域的第i个样本，表示的是目标域的第j个样本；

步骤3：初始化平衡参数λ和子空间维度d；

步骤4：对矩阵执行特征分解，并获得特征向量矩阵V和特征值对角矩阵U；

步骤5：获得子空间投影基矩阵P＝[v₁，…，v_d],其中，v₁，…，v_d对应于前d个最大的特征值λ₁，…，λ_d；

步骤6：获得源域X_S和目标域X_T在新子空间中的投影X′_S和X′_T，其中，X′_S＝P^TX_S和X_T＝P^TX_T；

步骤7：在新子空间中利用(X′_S，y_S)训练分类器，获得分类器参数，其中y_S为样本的类别标签；

步骤8：用X′_T对步骤7得到的分类器进行验证，获取测试识别精度。

由于采用了上述技术方案，找到一种映射P，使源域和目标域的子空间达到分布一致。本发明具有如下的优点：在不增加样本的情况下，找到一种映射使源域和目标域的子空间达到分布一致，实现了传感器漂移补偿，保持模式识别系统的性能。

附图说明

本发明的附图说明如下：

图1为源域、目标域特征子空间和新构二维子空间的示意图；

图2为本方法发明的流程图；

图3为合成异构数据的三维图；

图4为应用本发明对图3处理后生成的新二维子空间图；

图5为电子鼻采集的第一、第二批数据的主成分分析散点图；

图6为电子鼻采集的第三、第四批数据的主成分分析散点图；

图7为电子鼻采集的第五、第六批数据的主成分分析散点图；

图8为电子鼻采集的第七、第八批数据的主成分分析散点图；

图9为电子鼻采集的第九、第十批数据的主成分分析散点图；

图10为经本发明处理后的第一批与第二批数据子空间的主成分分析散点图；

图11为经本发明处理后的第一批与第三批数据子空间的主成分分析散点图；

图12为经本发明处理后的第一批与第四批数据子空间的主成分分析散点图；

图13为经本发明处理后的第一批与第五批数据子空间的主成分分析散点图；

图14为经本发明处理后的第一批与第六批数据子空间的主成分分析散点图；

图15为经本发明处理后的第一批与第七批数据子空间的主成分分析散点图；

图16为经本发明处理后的第一批与第八批数据子空间的主成分分析散点图；

图17为经本发明处理后的第一批与第九批数据子空间的主成分分析散点图；

图18为经本发明处理后的第一批与第十批数据子空间的主成分分析散点图。

具体实施方式

下面结合附图和实施例对本发明作进一步说明。

本发明的技术构思是：图1所示的源域和目标域不属于同一分布，通过找到一种映射或者变换，使目标域样本的分布与源域的分布为同一分布，从而实现对目标域样本的漂移补偿，那么目标域样本能用由源域样本训练得到的模式识别系统进行识别且其性能不会降低。为此，要得到一组变换基P，使得源域和目标域的原始分布空间经P映射后得到的子空间里源域和目标域的特征分布趋于一致。

为了使得训练样本(源域样本和目标域样本)经P映射后不发生变形且能保留绝大部分原始信息，则有两个最优化问题：

$\underset{P}{max}{P}^T{X}_S{X}_S^{T}P---\left(1\right)$

$\underset{P}{max}{P}^T{X}_T{X}_T^{T}P---\left(2\right)$

实际上，P同时满足(1)、(2)式使其都达到最优化是不可能的；所以选用一个平衡参数λ，对二者取一个平衡，使得两项之和达到最大，得到以下式子：

$\underset{P,\mathrm{\λ}}{max}(P^T{X}_S{X}_S^{T}P+{\mathrm{\λP}}^T{X}_T{X}_T^{T}P)---\left(3\right)$

若能通过P使目标域样本的分布与源域的分布为同一分布，则理论上有经P映射后的源域和目标域的样本中心相近，那应满足下式：

$\underset{P}{\min }\left|\right|\frac{1}{N_S}\underset{i=1}{\overset{N_S}{\Σ}}{P}^T{x}_S^{\left(i\right)}-\frac{1}{N_T}\underset{j=1}{\overset{N_T}{\Σ}}{P}^T{x}_T^{\left(j\right)}|{|}_F^2---\left(4\right)$

结合(3)式和(4)式得到数学模型，需要对(3)式进行变形，因为(4)式得到是数值，而(3)式是一个矩阵。(3)式是最大化源域和目标域的协方差矩阵，而当协方差矩阵最大时，该矩阵的迹也是最大的；所以，(3)式可改写成下式：

$\underset{P,\mathrm{\λ}}{max}Tr(P^T{X}_S{X}_S^{T}P+{\mathrm{\λP}}^T{X}_T{X}_T^{T}P)---\left(5\right)$

联合(4)式和(5)式，可得最终的数学模型：

$\underset{P,\mathrm{\λ}}{max}\frac{Tr(P^T{X}_S{X}_S^{T}P+{\mathrm{\λP}}^T{X}_T{X}_T^{T}P)}{\left|\right|\frac{1}{N_S}{\Σ}_{i=1}^{N_S}{P}^T{x}_S^{\left(i\right)}-\frac{1}{N_T}{\Σ}_{j=1}^{N_T}{P}^T{x}_T^{\left(j\right)}|{|}_F^2}---\left(6\right)$

为了简明，令 N_T、N_S分别为源域和目标域的样本数量，则有：

对(7)式进行优化求解，(7)式是一个无约束式，需将其转化成约束问题，所以加一个约束项：

$\begin{array}{cc}s.t.& \left|\right|P^T({\mathrm{\μ}}_S-{\mathrm{\μ}}_T)|{|}_F^2=C\end{array}$

由拉格朗日乘子法可得：

式(8)中，λ₀表示拉格朗日乘子。

分别对P和λ₀求偏导并令其等于0，则有下式：

令并对A进行特征分解，取最大的d个特征值所对应的特征向量组成P，即P[v₁，v₂，...，v_d]，其中v₁，v₂，...，v_d便是A的最大的d个特征值所对应的特征向量。

如图2所示，本方法发明(简称域正则化子空间自适应算法(DRSA))的步骤包括：

步骤1：数据白化预处理。由于原始数据有很多特征，且特征值差异较大，为了便于后面的模式识别算法，需要对数据进行预处理，即对数据进行列归一化，并中心化，即使处理后的数据中心为零矢量；

步骤2：计算源域X_S和目标域数据X_T的中心μ_S以及μ_T，其中 N_S和N_T分别表示源域和目标域的样本数量，表示的是源域的第i个样本，表示的是目标域的第j个样本；

步骤3：初始化平衡参数λ和子空间维度d，如d＝2，d的可调范围为2～128，λ＝0，λ的可调范围较大，一般为0～10⁴；

步骤4：对矩阵执行特征分解，并获得特征向量矩阵V和特征值对角矩阵U。例：需对A进行特征分解，特征分解就是将一个矩阵分解成A＝VUV^-1,其中V是这个矩阵A的特征向量组成的矩阵，V＝[v₁，...，v_D]，U是一个对角阵，每个对角线上的元素就是一个特征值，分别是λ₁，...，λ_D。

步骤5：获得子空间投影基矩阵P＝[v₁，…，v_d]其中，v₁，…，v_d对应于前d个最大的特征值λ₁，…，λ_d；

步骤4和步骤5中，D是原空间的维度，d为新的子空间的维度，d<D；V是特征向量矩阵，而P是从V中提取的前d列特征向量组成的矩阵。

步骤6：获得源域X_S和目标域X_T在新子空间中的投影X′_S和X′_T，其中，X′_S＝P^TX_S和X′_T＝P^TX_T，即把X_S和X_T通过一组变换基P投影到P所在的空间；

步骤7：在新子空间中利用(X′_S，y_S)训练分类器，获得分类器参数，其中y_S为样本的类别标签。例：选用支持向量机(SVM)作为分类器，用(X′_S，y_S)训练SVM，最终获得支持向量机的参数。

步骤8：利用X′_T测试上述获得的分类器，获得识别率。将X′_T作为分类器的输入，则分类器会输出其预测值y_T′,通过对比预测值y_T′和真实值y_T，获取识别率，即预测值正确的比重。

根据识别率不断调整平衡参数λ和子空间维度d，使模式识别系统达到最优。

实施例1、合成异构数据

为了更好地理解本发明，使用了合成数据集对本发明的技术效果进行了验证。由随机产生的两组有着不同均值和协方差矩阵且服从高斯分布的三维数据集，每组数据集有两类，且每类数量为50，分别用来代表源域和目标域，如图3所示。由图3看出：1)源域和目标域中属于同类的样本分布明显不同，2)源域的分类器决策函数并不适合于目标域，即该决策函数能将源域的两类样本正确地分类，但不能把目标域的两类样本进行正确地分类。

用本方法发明得到一组映射基P，经映射后的源域和目标域样本在二维空间的分布如图4所示，源域和目标域的分布一致，源域和目标域样本可以同用分类器。

实施例2、电子鼻异构数据

本实施例中，使用计算机经上述8个步骤进行运算处理后再列出结果。

为了验证本发明的技术效果，发明人用了一个公布于UCI Machine LearningRepository耗时3年采集传感器漂移的数据集。该数据集共13910个样本，是由有16个传感器的电子鼻系统采集的6种气体样本组成的，6种气体分别是丙酮，乙醛，乙醇，乙烯，氨气以及甲苯。每个传感器提取8个特征，所以，每个样本有128维。根据采集样本的时间段把数据集分成了10批数据，有关数据集见表1。

表1、电子鼻异构数据集

批次	月份	丙酮	乙醛	酒精	乙烯	氨	甲苯	总数
									第一批	1,2	90	98	83	30	70	74	445
第二批	3～10	164	334	100	109	532	5	1244
									第三批	11,12,13	365	490	216	240	275	0	1586
第四批	14,15	64	43	12	30	12	0	161
									第五批	16	28	40	20	46	63	0	197
第六批	17,18,19,20	514	574	110	29	606	467	2300
									第七批	21	649	662	360	744	630	568	3613
第八批	22,23	30	30	40	33	143	18	294
									第九批	24,30	61	55	100	75	78	101	470
第十批	36	600	600	600	600	600	600	3600

对每批数据集进行主成分分析(PCA)处理，并将其投影到二维空间，结果如图5-图9所示。由图5-图9可知，1)每个批次样本的分布都不同于其他批次，2)清楚地展示了漂移的非线性特性。所以，从校正传感器响应角度以达到漂移补偿是很难实现的。

用第一批(源域)作为固定的训练集，第K批,K＝2,…,10(目标域)为测试集。运用本发明提出的DRSA方法，然后取训练样本经转换基P映射后的前二维，如图10-图18所示，图10-图18直观地展现了各个目标域(第K批，K＝2,…,10.)分别与源域(第一批)经DRSA后，源域与目标域的分布趋于一致。

选用了RBF核的SVM作为分类器，与其他误差补偿方法都做了对比。其他误差补偿方法有：主成分分析的成分校正(CC-PCA)、正交信号校正(OSC)、不同核的支持向量机(SVM)(如高斯径向基核(rbf)、测地流核(gfk)和联合核(comgfk))，高斯径向基核的流形正则(ML-rbf)，联合核的流行正则(ML-comgfk),隐含层函数为高斯径向基的极限学习机(ELM-rbf)，主成分分析法(PCA)以及线性判别分析(LDA)。

以上误差补偿方法的识别结果如表2所示。

表2、多种误差补偿方法的识别结果

批次	第二批	第三批	第四批	第五批	第六批	第七批	第八批	第九批	第十批	平均值
											CC-PCA	67.00	48.50	41.00	35.50	55.00	31.00	56.50	46.50	30.50	45.72
SVM-rbf	74.36	61.03	50.93	18.27	28.26	28.81	20.07	34.26	34.47	38.94
											SVM-gfk	72.75	70.08	60.75	75.08	73.82	54.53	55.44	69.62	41.78	63.76
SVM-comgfk	74.47	70.15	59.78	75.09	73.99	54.59	55.88	70.23	41.85	64.00
											ML-rbf	42.25	73.69	75.53	66.75	77.51	54.43	33.50	23.57	34.92	53.57
ML-comgfk	80.25	74.99	78.79	67.41	77.82	71.68	49.96	50.79	53.79	67.28
											ELM-rbf	70.63	66.44	66.83	63.45	69.73	51.23	49.76	49.83	33.50	57.93
OSC	88.10	66.71	54.66	53.81	65.13	63.71	36.05	40.21	40.08	56.50
											PCA	82.40	84.80	80.12	75.13	73.57	56.16	48.64	67.45	49.14	68.60
LDA	47.27	57.76	50.93	62.44	41.48	37.42	68.37	52.34	31.17	49.91
											本发明	89.15	92.69	87.58	95.94	86.52	60.25	62.24	72.34	52	77.63

从表2可以得出，本方法发明的识别精度除了第七批、第八批和第十批外都高于其他方法，且平均识别精度值高达77.63，较剩余其他方法最优的识别精度高9％；这说明了本方法发明在传感器漂移补偿方面有明显技术效果，也证明了从使源域和目标域的子空间一致的角度研究传感器漂移是有明显技术进步的。

Claims (2)

1.一种带子空间投影的电子鼻信号误差自适应学习方法，其特征是，包括以下步骤：

步骤1：数据白化预处理；

步骤2：计算源域X_S和目标域数据X_T的中心μ_S以及μ_T，其中 N_S和N_T分别表示源域和目标域的样本数量，表示的是源域的第i个样本，表示的是目标域的第j个样本；

步骤3：初始化平衡参数λ和子空间维度d；

步骤4：对矩阵执行特征分解，并获得特征向量矩阵V和特征值对角矩阵U；

步骤5：获得子空间投影基矩阵P＝[v₁，…，v_d],其中，v₁，…，v_d对应于前d个最大的特征值λ₁，…，λ_d；

步骤6：获得源域X_S和目标域X_T在新子空间中的投影X′_S和X′_T，其中，X′_S＝P^TX_S和X′_T＝P^TX_T；

步骤7：在新子空间中利用(X′_S，y_S)训练分类器，获得分类器参数，其中y_S为样本的类别标签。

步骤8：用X′_T对步骤7得到的分类器进行验证，获取测试识别精度。

2.根据权利要求1所述的带子空间投影的电子鼻信号误差自适应学习方法，其特征是，步骤3中，d的可调范围为2～128，λ的可调范围为0～10⁴。