CN102542126B - 基于半监督学习的软测量方法 - Google Patents

Abstract

一种基于半监督学习的软测量方法，首先，在工业过程数据和半监督学习基础上，利用图拉普拉斯对样本空间几何结构的信息进行估计构造高斯过程回归中的协方差矩阵；然后，引入未标记样本构建一个半监督核，并将其整合到高斯过程回归中，构造基于半监督的软仪表，软仪表中的关键参数可以由交叉验证方式确定；最后，基于滚动时间窗的方式，实现软仪表的在线更新。本发明所公开的软测量方法，解决常规的软仪表和软测量方法中存在的不足和缺陷，通过将半监督学习引入到在线过程回归中，建立一种基于半监督核的在线高斯过程回归方法，利用标记样本和未标记样本来建立软仪表，来达到更好的预测效果。

Description

基于半监督学习的软测量方法

技术领域

本发明涉及的是一种软测量仪表技术领域的方法，具体是一种基于半监督学习的软测量方法。

背景技术

软仪表是指在工业过程测量中某些变量测量十分困难，而利用其他由直接物理传感器实体得到的信息通过数学模型计算手段得到所需检测信息的一种功能仪表。软仪表技术对过程工业具有重要意义，在现代过程控制领域具有重要的地位。软测量技术已经是现代流程工业和过程控制领域非常关键和前沿的技术。目前存在的软仪表和软测量方法都是基于监督学习方法为基础和框架建立的。但是，这种技术只能利用有标记的工业数据和样本来构造软仪表，大量反映实际过程状况的无标记数据和样本无法得到利用，造成软仪表的性能上存在稳定性和抗干扰等等方面的问题。

半监督学习是研究如何利用未标记样本获得较好性能和推广能力的一种学习机器。近些年来，随着机器学习的不断发展以及未标记数据的日渐增加，半监督学习正逐渐成为一个研究热点。在许多实际问题中，由于获取人工标记样本的费用高、效率低，往往得到的是大量的未标记样本和少量的标记样本，如果只利用少量的标记样本，将不免造成大量未标记样本的浪费和学习机器的性能不好等问题。半监督学习方法就是解决这类问题的有效方法，它可以有效地利用未标记数据进行学习和建模，提高学习机器的性能。目前传统的软测量方法也存在无法利用未标记样本的问题，只能用少量的标记进行建模，这使得模型的准确性和可靠性受到较大的影响。因此半监督学习为工业过程的建模和提高模型的性能提供了新的思路。

经对现有技术的文献检索发现，Vikas Sindhwani等人在《In Proceedings of the International Joint Conference on                                                 Intelligence, 2007》上发表的“Semi-supervised gaussian process ”（“半监督高斯过程分类器”，《关于人工智能的国际联合会议论文集》，2007: 1059-1064）一文中，详细介绍了一种基于图的半监督高斯过程分类器，通过结合非参数的半监督核向分类器提供未标记数据信息。然而，大量工业过程的建模问题并非分类问题，属于回归范畴，故用半监督高斯过程分类器作为工业过程中的软测量模型并不合适。

发明内容

本发明针对现有技术存在的上述不足，提供一种基于半监督学习的软测量方法，解决常规的软仪表和软测量方法中存在的不足和缺陷，通过将半监督学习引入到在线过程回归中，建立一种基于半监督核的在线高斯过程回归方法，利用标记样本和未标记样本来建立软仪表，来达到更好的预测效果。

为达到上述目的，本发明所采用的技术方案如下：

一种基于半监督学习的软测量方法，首先，在工业过程数据和半监督学习基础上，利用图拉普拉斯对样本空间几何结构的信息进行估计，构造高斯过程回归中的协方差矩阵；然后引入未标记样本构建一个半监督核函数，并将其整合到高斯过程回归中，构造基于半监督回归的软仪表，软仪表中的关键参数可以由交叉验证方式确定；最后，基于滚动时间窗的方式，实现软仪表的在线更新。

因此，在选定高斯过程回归协方差方程和噪声之后就可以计算出训练集和测试集间的协方差矩阵。

所述的构建一个半监督核是指：在半监督学习中，基于大量的未标记数据能够表征样本空间的几何特征，可用半监督核的方法来解决半监督学习问题，即用未标记数据重构一个更能符合数据几何特征的再生核希尔伯特空间，该空间所对应的核函数为：

              

  

所述的构造基于半监督的软仪表是指：对称半正定函数既可以作为高斯过程的协方差函数，也可以作为再生核希尔伯特空间的核函数，高斯过程和希尔伯特核空间通过函数紧密联系在一起；基于半监督核的高斯过程回归建模方法即使用上述的半监督核函数作为高斯过程学习的协方差函数；

根据贝叶斯公式可推导基于半监督核的高斯过程回归预测方程为，

最后，重复进行上述过程。

与现有技术相比，本发明具有如下有益效果：

1. 将半监督学习方法引入到高斯过程回归中，充分利用工业过程中大量廉价的未标记样本来提高模型的精度。

2. 基于半监督核的高斯过程软测量方法不仅可以给出预测值的估算值，还可以由方差计算该预测值的可信度。这是相比较于一般的软测量方法的一个显著优点。

3. 根据实际过程中新的数据不断产生的特点，用基于滚动时间窗的方法在历史数据的基础上利用新的实时数据来更新软仪表，使得模型能实时跟踪实际的工况。

本发明在工业软测量建模方法领域有着广泛的应用前景。

附图说明

图1 是本发明原理和方法结构框图；

图2 是基于半监督核的在线高斯过程软仪表仿真结果图；

图3 在线软仪表更新仿真结果图。

具体实施方式

下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

输出：对实时数据点的高斯分布的均值和协方差进行在线预测和计算。

对某电厂的烟气含氧量软测量建模过程进行研究。在评价建模方法的性能时使用了三个技术指标：选用相对均方根误差（RMSE）、相对协方差跟踪指标（RVTP）和平均对数密度误差（LD）。

RMSE主要是评价软测量模型的精度，RMSE越小，表示精度越高；RVTP反映的是软测量模型输出的变化趋势是否能很好的跟踪实际值变化趋势，其计算公式中，为模型预测值与实际测量值之间误差的方差，为实际测量值的方差当RVTP越接近1时，说明趋势跟踪效果越好；LD是用来衡量模型精度与不确定度，值越小，表示在给定的置信概率下，模型的不确定度越小。

步骤一，确定模型的输入和输出变量。该模型的输出为烟气含氧量的预测值；输入选定与烟气含氧量相关的主蒸汽压力、主蒸汽温度等16个变量。

步骤二，模型相关参数选择；

本实施例选用高斯核函数，即并采用十阶交叉验证方式来选择核

十折交叉验证准则中，由表2可得，当软测量模型的参数选定最佳值时的性能指标。

表2表示的是两种软测量建模方法的性能指标比较结果，基于半监督核的高斯过程回归软测量模型的预测误差要小于高斯过程回归软测量模型的预测误差，相对协方差跟踪指标RVTP也显示基于半监督核的高斯过程回归软测量模型的结果更接近于1，表明基于半监督核的高斯过程回归软测量模型的协方差跟踪能力优于高斯过程回归软测量模型的协方差跟踪能力，相对平均密度LD表示基于半监督核的高斯过程回归软测量模型的不确定度要比高斯过程回归软测量模型的不确定度小得多。

同时，图2和图3中，也显示出基于半监督核的高斯过程回归软测量模型预测的拟合程度要优于高斯过程回归软测量模型的拟合程度,尤其在参数变化较大的时候，趋势跟踪方面表现出良好的性能。因此，基于半监督核的高斯过程回归软测量模型为烟气含氧量测量提供了一种有效可行的方法。

Claims (4)

1.一种基于半监督学习的软测量方法，其特征在于，首先在工业过程数据和半监督学习基础上，利用图拉普拉斯对样本空间几何结构的信息进行估计构造高斯过程回归中的协方差矩阵；然后引入未标记样本构建一个半监督核，并将其整合到高斯过程回归中，在此基础上设计半监督高斯回归方法和在线滚动算法，结合软测量模型，构造基于半监督的软仪表，软仪表中的关键参数可以由交叉验证方式确定；最后，基于滚动时间窗的方式，实现软仪表的在线更新，所述在线更新是指：设系统在任意时刻时状态由数据集X_l,X_u,x_t来描述，其中标记样本集X_l＝{(x₁,y₁),...,(x_l,y_l)}，未标记样本集X_u＝{x_l+1,...,x_l+u}，x_t是实时数据集的一个样本点，设置建模的数据区间长度L为L＝l+u+1，L保持不变，首先，用X_l,X_u计算高斯过程的协方差矩阵K(x,x')，并计算信息矩阵M；然后加入测试样本点x_t，更新数据集的核矩阵，用半监督核函数来计算不同数据集间的核矩阵；接着，判断x_t的类型，若x_t为标记样本则无需预测，直接更新X_l；若x_t为未标记，则进行半监督的高斯过程回归，对测试点x_t的函数值进行预测，然后更新X_U；重复进行上述在线更新过程。

2.根据权利要求1所述的基于半监督学习的软测量方法，其特征在于，所述的协方差矩阵通过以下方式得到：一个高斯过程由均值方程m(x)和协方差矩阵K(x,x')来唯一确定，高斯过程就表示为f(x)～GP(m(x),K(x,x＇))，其中：高斯过程模型的训练集为i表示第i个样本点，X_L＝{(x_i,y_i),i＝1,…,l}为标记样本集，f(xⁱ)表示自变量xⁱ到因变量yⁱ的潜在函数值；实际中，观测值y与潜在函数值f存在噪声误差ε，即y＝f(x)+ε；

噪声ε是服从ε～N(0,σ²)并独立于f(x)的随机变量；在此基础上，推导出带噪声的观测值也服从高斯过程：其中：X_T＝{x₁,…,x_t}为测试样本集，测试样本的预测估计值为f_T，推导测试样本集与标记样本集的联合概率分布仍然是一个高斯分布，

$\left[\begin{array}{c}y\\ f_T\end{array}\right]~N(0,\left[\begin{array}{cc}K(x,x)+{\mathrm{\σ}}^{2}I& K(x,x_T)\\ K(x_T,x)& K(x_T,x_T)\end{array}\right])$

因此，在选定高斯过程回归协方差方程和噪声之后就能够计算出训练集和测试集间的协方差矩阵。

3.根据权利要求2所述的基于半监督学习的软测量方法，其特征在于，所述的构建一个半监督核是指：在半监督学习中，基于大量的未标记数据能够表征样本空间的几何特征，用半监督核的方法来解决半监督学习问题，即用未标记数据X_U＝{x_l+1,…,x_l+u}和标记数据X_L＝{(x_i,y_i),i＝1,…,l}重构一个更能符合数据几何特征的再生核希尔伯特空间，该空间所对应的核函数为：

$K(\tilde{x},x)=K(x,x)-K_{\mathrm{Dx}}^T{(I+{\mathrm{MK}}_{\mathrm{DD}})}^{-1}{\mathrm{MK}}_{\mathrm{Dx}}---\left(1\right)$

其中K_Dx＝[K(x₁,x),...,K(x_l+u,x)]^T，K_DD是全部样本数据X_D＝{X_L,X_U}的核矩阵；M通常选择M＝L或者M＝γL^p，L为图拉普拉斯矩阵，计算公式为L＝D-W，其中D为对角权重矩阵，W为权重矩阵，D和W的各个元素如下式，其中近邻的计算方法选用k近邻方法；

$D_{i,j}=\left\{\begin{array}{cc}\underset{k}{\mathrm{\Σ}}{w}_{\mathrm{kj}}& \mathrm{ifi}=j\\ 0& \mathrm{otherwise}\end{array}\right.---\left(3\right).$

4.根据权利要求3所述的基于半监督学习的软测量方法，其特征在于，所述的构造基于半监督的软仪表是指：对称半正定函数K(·,·)既可以作为高斯过程的协方差函数，也可以作为再生核希尔伯特空间的核函数，高斯过程和希尔伯特核空间通过函数K(·,·)紧密联系在一起；基于半监督核的高斯过程回归建模方法即使用上述的半监督核函数作为高斯过程学习的协方差函数；

由高斯过程的定义可得，基于X_D和X_T的随机变量y_D和f_T服从联合高斯分布，并且表示成如下矩阵形式：

$f_{*}=\left[\begin{array}{c}y\\ f_T\end{array}\right]~N(0,\left[\begin{array}{cc}K(x,x)+{\mathrm{\σ}}^{2}I& K(x,x_T)\\ K(x_T,x)& K(x_T,x_T)\end{array}\right])$

设定G为由X_L和X_U确定的近邻图，能够证明，在条件G下f_*仍然服从高斯分布，表示成如下矩阵形式：

$f_{*}|G~N(0,\left[\begin{array}{cc}\tilde{K}(x,x)+{\mathrm{\σ}}^{2}I& \tilde{K}(x,x_T)\\ \tilde{K}(x_T,x)& \tilde{K}(x_T,x_T)\end{array}\right])$

根据贝叶斯公式可推导基于半监督核的高斯过程回归预测方程为，

$f_T|X,y,x_T,G~N({\stackrel{\‾}{f}}_T,\mathrm{cov}\left(f_T\right))---\left(4\right)$

式中,均值和协方差cov(f_T)由下列公式计算；

${\stackrel{\‾}{f}}_T=\tilde{K}(x_T,x)[\tilde{K}(x,x)+{\mathrm{\σ}}^{2}I{]}^{-1}y---\left(5\right)$

$\mathrm{cov}\left(f_T\right)=\tilde{K}(x_T,x_T)-\tilde{K}(x_T,x)[\tilde{K}(x,x)+{\mathrm{\σ}}^{2}I{]}^{-1}\tilde{K}(x,x_T)---\left(6\right).$