CN102708294B - 基于半监督局部线性回归的自适应参数软测量方法 - Google Patents

Abstract

本发明提供一种基于半监督局部线性回归的自适应参数软测量方法，首先以局部线性回归散点平滑方法为理论基础，通过将未标记样本引入其目标方程的方法将其改造为一种半监督的学习方法；然后利用一种计算标记样本集估计斜率的方法，自适应估计出一个当前标记样本集的最优高斯核宽参数；最后利用该自适应参数选择方法实现半监督局部线性回归学习方法的参数选择，并基于滚动时间窗的方式实现软测量模型的在线更新。本发明充分利用了未标记样本的价值。针对半监督局部线性回归的特点，可以有效地去除标记样本测量误差带来的影响，提高预测精度。运用滚动时间窗的方法实时更新软测量模型，使得模型能够更好地适应输入数据的变化。

Description

基于半监督局部线性回归的自适应参数软测量方法

技术领域

本发明涉及的是一种软测量仪表技术领域的方法，具体是一种基于半监督局部线性回归的自适应参数软测量方法。

背景技术

软测量仪表指的是一种利用计算机建模技术进行工业过程控制变量测量的方法，该方法与传统的传感器在线测量和人工离线测量的方法不同，具有投入成本低、维护简单、可靠性高的优点。目前存在的软测量方法一般都是基于监督学习方法建立的，监督学习方法仅仅使用标记样本进行模型的训练，因此大大浪费了那些在实际中能够大量轻易获得的，实际反映工业过程运行情况的未标记样本的价值。如果能够在软测量模型的建模中使用这些未标记样本，是应该可以提高软测量方法的测量精度的。

半监督学习是目前存在的一种较好地利用了标记样本和未标记样本的学习方法，它以标记样本作为基础，并在学习过程中辅以未标记样本，从而达到减少标记样本需求量，利用未标记样本改进学习效果的目的。随着数据采集和存储技术的飞速发展，在实际工业过程中，收集大量未标记样本已相当容易，而获取大量有标记的样本则相对较为困难，这是因为获得这些标记可能需要消耗大量的人力物力，所以在一般的以监督学习为基础的软测量建模中只能利用数量非常有限的标记样本，这有可能使模型出现不够准确的问题。因此，如果在软测量方法中引入半监督学习方法是应该可以有效提高测量精度和结果可靠度的。

软测量领域中的半监督学习问题是一类回归问题，所以在软测量方法中应当使用基于半监督回归的学习方法对模型进行训练，而如果要将软测量方法运用到实际生产中，就必须考虑软测量模型的更新问题，使得模型能够更好地匹配模型输入数据的变化，避免模型的过学习问题出现。

发明内容

本发明针对传统软测量方法中存在的未利用未标记样本和模型不能有效更新的问题，提供一种基于半监督局部线性回归算法的在线软测量方法，该方法以局部线性回归散点平滑方法为理论基础，通过将未标记样本引入其流形正则化函数，将其改变为一种半监督回归方法，利用该回归方法对标记样本和未标记样本进行软测量建模，进行控制变量的预测或测量。

本发明是通过以下技术方案实现的，本发明首先以局部线性回归散点平滑方法为理论基础，局部线性回归散点平滑方法是一种监督回归方法，它只能利用标记样本进行变量的预测，所以如果将未标记样本引入其流形正则化函数进行模型求解的话，就会使其变为一种能够同时利用标记样本和未标记样本的回归学习方法，称为半监督局部线性回归学习方法；此外，本发明还在其基础上提供了一种适用于半监督局部线性回归的自适应参数选择方法，使得模型能够更加有效地过滤掉标记样本中测量误差带来的影响；最后将自适应参数的半监督局部线性回归方法使用基于滚动时间窗的方式，实现软测量模型的在线更新。

半监督局部线性回归本质上是为了求得某数据点上的局部线性系数向量，该局部线性系数构成的线性方程可以满足该数据点附近的临近数据点，所以通过该局部线性系数可以预测该数据点附近的变量值。

所述的半监督局部线性回归学习方法是指：假设x_i∈X,i＝1,2,…,n为输入数据集X中的数据点，β_i∈B,i＝1,2,…,n分别为各数据点上的局部线性系数向量，其中n为总数据个数，B为所有局部线性系数向量组成的系数矩阵，则通过求解下式可以得到某输入数据点x_i的局部线性系数向量

${\mathrm{\β}}_i=[\underset{j=1}{\overset{l}{\mathrm{\Σ}}}{w}_{\mathrm{ij}}{x}_{\mathrm{ji}}{x}_{\mathrm{ji}}^T+\mathrm{\γ}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{w}_{\mathrm{ij}}(x_{\mathrm{ii}}{x}_{\mathrm{ii}}^T+x_{\mathrm{ji}}{x}_{\mathrm{ji}}^T){]}^{-1}(\underset{j=1}{\overset{l}{\mathrm{\Σ}}}{w}_{\mathrm{ij}}{x}_{\mathrm{ji}}{y}_j+\mathrm{\γ}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{w}_{\mathrm{ij}}(x_{\mathrm{ii}}{x}_{\mathrm{ij}}^T+x_{\mathrm{ji}}{x}_{\mathrm{jj}}^T){\mathrm{\β}}_j)$

其中l为标记数据个数，n为总数据个数；w_ij为某两个数据点x_i和x_j之间的相似度（距离），15这里w_ij由高斯核函数给出，即h为高斯核宽，可以调节相似数据点的范围；除此以外，β_i的计算公式中γ为半监督系数，该值越大代表未标记样本利用越多，越小代表未标记样本利用越少，当该值为0时，算法退化为监督算法。该方法是一个迭代的算法，迭代计算得到所有数据点上的局部线性系数后，则数据点的局部线性系数中的常数项一般为该点的预测值或测量值。

所述的适应于半监督局部线性回归的自适应参数选择方法是指：通过计算标记样本集中标记样本的估计斜率，来自适应得到一个半监督局部线性回归中高斯核函数的高斯核宽h，从而选取一个合适的高斯核宽使方法预测精度提高，具体步骤如下：首先对部分事先已经获得的输入数据进行离线实验，找出一个适应于这些数据的最优高斯核宽，记为h_o；再通过下式计算这些数据的估计斜率，

$k=\underset{i=1}{\overset{v}{\mathrm{\Σ}}}\left|\frac{y_i-y_{i-1}}{n_i-n_{i-1}}\right|\·\frac{n_i-n_{i-1}}{n_v-n_1}=\underset{i=1}{\overset{v}{\mathrm{\Σ}}}\frac{|y_i-y_{i-1}|}{n_v-n_1}$

记为k₀，其中y_i为标记样本集中某一标记样本的标记值，n_i为标记样本集中某一标记样本在全部数据集（包括标记样本和未标记样本）中的顺序编号（按获取时间排序），v为标记样本集中标记样本的个数。当标记样本集更新以后，按上式重新计算估计斜率k，则自适应的高斯核宽再利用该参数进行半监督局部线性回归的变量预测。

所述的在线更新是指：对标记数据集X_L，全部数据集X和预测集随着数据的读取，一边进行数据的处理和预测，同时更新这个三个数据集。基于滚动时间窗的方法是指按时间来对数据集进行更新，即如果获取一个数据点是标记样本，则将其加入到标记数据集中，并从标记数据集中去掉一个最早的数据以使标记数据集中的标记样本数目维持在一个定制，并不断通过对实时变化的标记数据集和全部数据进行软测量模型的建模和预测，实现模型的不断更新，更适应于新获取的数据，避免模型的过学习问题。具体过程是这样的：首先利用X_L和X进行基于半监督局部线性回归的软测量模型建立，并对数据点进行预测得到测量结果，更新接着读取新数据，更新X_L和X，重新进行基于半监督局部线性回归的软测量模型建立和结果预测，不断循环下去直到预测终止。

与现有技术相比，本发明具有如下有益效果：

1.通过半监督学习方法将未标记样本运用到软测量模型的建立中，充分利用了未标记样本的价值。

2.针对半监督局部线性回归的特点，提供的自适应参数方法可以有效地去除标记样本测量误差带来的影响，提高预测精度。

3.根据实际中数据是不断产生的特点，运用滚动时间窗的方法实时更新软测量模型，使得模型能够更好地适应输入数据的变化。

本发明在工业软测量建模方法领域有着广泛的应用前景。

附图说明

图1是本发明的方法流程图。

图2是基于局部线性回归的软测量仿真效果图。

图3是基于半监督局部线性回归的软测量仿真效果图。

图4是基于半监督局部线性回归的非自适应参数在线软测量仿真效果图。

图5是基于半监督局部线性回归的自适应参数在线软测量仿真效果图。

具体实施方式

下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

实施例

如图1所示，本实施例包括以下步骤：首先，初始化标记数据集X_L、全部数据集X，预测集初始化时间窗宽及半监督系数γ₀和高斯核宽h₀；接着读取输入数据，判断是否为标记样本，更新数据集，根据适用于半监督局部线性回归的自适应参数选择方法选取一个合适的高斯核宽h；最后利用h进行半监督局部线性回归软测量模型的建立和结果预测，更新预测集，以此循环下去直到算法中止。

输入：标记样本集X_L、全部数据集X。

①初始化系数矩阵B，预测集选定滚动窗大小，建立标记数据集X_L，全部数据集X，设定适当的h₀和γ₀。

②读取数据点。如果数据不是标记数据，转③。如果数据是标记数据，判断X_L是否已满，未满则将其加入到X_L末尾，在X_L中保存该数据点x、标记y和该数据在总数据中的序列数n。如果X_L已满，将X_L中的数据左移，丢掉先前的最早数据，将新数据点加到X_L末尾。

③计算当前标记数据集的平均斜率估计值

$k=\underset{i=1}{\overset{v}{\mathrm{\Σ}}}\left|\frac{y_i-y_{i-1}}{n_i-n_{i-1}}\right|\·\frac{n_i-n_{i-1}}{n_v-n_1}=\underset{i=1}{\overset{v}{\mathrm{\Σ}}}\frac{|y_i-y_{i-1}|}{n_v-n_1}$

根据k计算设定回归参数h=h′，γ=γ₀。

④假设当前总数据的个数为m，取出最新的n个数据点，令t＝X(m-n-1:m)，迭代循环计算n次。

W_u=diag(G(t_i-t,1/2h₀))

X_uij=[ones(n,1)(t_i-t)^T]^T

X_uii=[ones(n,1)zeros(n,1)]^T

X_uji=[ones(n,1)t^T-t_i]^T

W_l=diag(G(t_i-l,1/h))

X_lji=[ones(v,1)X_l ^T-t_i]^T

$B_i=[W_{\mathrm{lji}}{W}_l{X}_{\mathrm{lji}}^T+\mathrm{\γ}(X_{\mathrm{uii}}{W}_u{X}_{\mathrm{uii}}^T+X_{\mathrm{uji}}{W}_u{X}_{\mathrm{uji}}^T){]}^{-1}$

$(X_{\mathrm{lji}}{W}_{l}Y+\mathrm{\γ}(X_{\mathrm{uii}}{W}_u\mathrm{diag}\left(X_{\mathrm{uij}}^{T}B\right)+X_{\mathrm{uji}}{W}_u\mathrm{diag}\left(X_{\mathrm{uii}}^{T}B\right)))$

其中i为迭代次数，为高斯核函数。

⑤将B_m-n添加到利用中的预测值与标记数据集对参数h₀进行校正。

⑥重复②。

输出：预测集

利用Gong函数产生仿真数据对本发明提供的方法进行研究。Gong函数是一个经常被用于回归效果检验的仿真函数，它的原型如下式

$y=\frac{1}{x}\sin \frac{15}{x}$

其中x为软测量模型的输入数据，y为测量的真实值，这里仿真的输入数据x范围从0.5到1.5，共产生数据点800个，标记数据点为80个，标记数据点占总数据点的十分之一。为使仿真更真实，标记数据点集上加有方差为0.1的白噪声以模拟测量误差。

本实施例使用均方误差和MSE来对预测效果进行检验，MSE值越小，代表预测误差越小，预测效果越好，它的计算公式如下式

$\mathrm{MSE}=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{(y_i-\widehat{y_i})}^2$

其中y_i为变量真实值，为变量预测值。为体现半监督算法的优点和自适应参数选择方法的优点，本实施例分别做了在离线情况下的局部线性回归与半监督局部线性回归的对比实验、非自适应参数与自适应参数的对比实验。两组对比实验的实验结果分别如表1和表2所示。

表1局部线性回归与半监督局部线性回归对比实验结果

表2非自适应参数与自适应参数在线半监督局部线性回归对比实验结果

图2和图3分别为局部线性回归与半监督局部线性回归的预测效果图，从两张图上可以看出在局部线性算法中加入未标记数据变为半监督算法后，明显地改善了仿真效果，不仅整体误差变小，而且半监督算法在曲线的波峰和波谷段都拥有良好的预测效果，证明加入未标记数据后的半监督算法平滑效果提高非常明显，从表1的MSE上也可以看出半监督算法的效果更好一些。

图4和图5分别为非自适应参数半监督局部线性回归和自适应参数半监督局部线性回归的预测效果图，从图上可以看出来当半监督局部线性回归的高斯核宽自适应于仿真曲线的斜率变化时，可以得到一个更好的预测效果，该方法有效地过滤掉了标记样本上白噪声带来的影响。从表2的MSE上也可以看出自适应参数方法可以有效地提高在线半监督局部线性回归算法的预测精度。

这里需要注意的是，因为前一组对比实验是基于离线算法的，所谓离线算法是与在线算法相对的，它不对模型进行实时更新，而是利用全部的数据点仅仅建立一次模型来进行变量的预测，所以它与在线算法相比，可利用的数据点更多，在总数据点并不太多的情况下效果要比在线算法要好，这从表1和表2的对比上可以看出来，但是随着输入数据点的不断增多，它不能像在线算法一样对模型进行更新，容易产生模型过学习问题，造成预测效果降低。因为本实施例仿真数据比较少，所以产生表1和表2的情况。

Claims (4)

1.一种基于半监督局部线性回归的自适应参数软测量方法，其特征在于，首先将未标记样本引入局部线性回归的流形正则化函数进行模型求解，得到半监督局部线性回归的学习方法；接着采用适用于半监督局部线性回归的自适应参数选择方法，使得模型能够过滤掉标记样本中测量误差带来的影响；最后将自适应参数的半监督局部线性回归方法基于滚动时间窗的方式，实现软测量模型的在线更新；

所述的适用于半监督局部线性回归的自适应参数选择方法是指：通过计算标记样本集中标记样本的估计斜率，来自适应得到一个半监督局部线性回归中高斯核函数的高斯核宽h，从而选取一个合适的高斯核宽使方法预测精度提高；

所述的适用于半监督局部线性回归的自适应参数选择方法，具体步骤如下：首先对部分事先已经获得的输入数据进行离线实验，找出一个适应于这些数据的最优高斯核宽，记为h_o；再通过下式计算这些数据的估计斜率，

$k=\underset{i=1}{\overset{v}{\mathrm{\Σ}}}\left|\frac{y_i-y_{i-1}}{n_i-n_{i-1}}\right|\·\frac{n_i-n_{i-1}}{n_v-n_1}=\underset{i=1}{\overset{v}{\mathrm{\Σ}}}\frac{|y_i-y_{i-1}|}{n_v-n_1}$

记为k₀，其中y_i为标记样本集中某一标记样本的标记值，n_i为标记样本集中某一标记样本在全部数据集中的顺序编号，v为标记样本集中标记样本的个数；当标记样本集更新以后，按上式重新计算估计斜率k，则自适应的高斯核宽再利用自适应的高斯核宽进行半监督局部线性回归的变量预测，其中，所述全部数据集包括标记样本和未标记样本，所述顺序编号按获取时间排序。

2.根据权利要求1所述的基于半监督局部线性回归的自适应参数软测量方法，其特征在于，所述的在线更新是指：对标记数据集X_L，全部数据集X和预测集随着数据的读取，进行数据的处理和预测，同时更新这三个数据集。

3.根据权利要求1所述的基于半监督局部线性回归的自适应参数软测量方法，其特征在于，所述的基于滚动时间窗的方法是指按时间来对数据集进行更新，即如果获取一个数据点是标记样本，则将其加入到标记数据集中，并从标记数据集中去掉一个最早的数据以使标记数据集中的标记样本数目维持在一个定值，并不断通过对实时变化的标记数据集和全部数据进行软测量模型的建模和预测，实现模型的不断更新，更适应于新获取的数据，避免模型的过学习问题。

4.根据权利要求2或3所述的基于半监督局部线性回归的自适应参数软测量方法，其特征在于，所述的基于滚动时间窗的方法是指按时间来对数据集进行更新，具体过程是这样的：首先利用X_L和X进行基于半监督局部线性回归的软测量模型建立，并对数据点进行预测得到测量结果，更新接着读取新数据，更新X_L和X，重新进行基于半监督局部线性回归的软测量模型建立和结果预测，不断循环下去直到预测终止。