CN107463994A - 基于协同训练极限学习机模型的半监督软测量方法 - Google Patents

Abstract

本发明公开了一种基于协同训练极限学习机半监督软测量的方法，它是由协同训练算法和极限学习机模型组成；协同训练算法迭代调用极限学习机模型最终实现软测量模型的建立；本发明可以有效的解决有标签样本少、无标签样本多导致的软测量建模不准的问题，从而建立准确的半监督软测量模型。

Description

基于协同训练极限学习机模型的半监督软测量方法

技术领域

本发明属于工业过程预测与控制领域，涉及一种基于协同训练极限学习机模型(以下简称ELM)的半监督软测量方法。

背景技术

在实际的工业生产过程中，往往存在或多或少的关键过程变量无法实现在线检测，为了解决这个难题，通过采集过程中比较容易检测的变量，根据某种最优准侧，构造出一种以这些变量为输入，关键过程变量为输出的数学模型，实现对关键过程变量的在线估计，这便是工业过程中常用的软测量建模。

统计过程软测量建模的发展对于大规模的工业数据的需求极为显著。然而，软测量建模目前还存在很多问题。在工业过程中系统的复杂程度也是日益提高，过程数据中的非线性关系越来越突出，如果仍然利用传统的线性方法建立软测量模型，无疑不能胜任变量准确预测的任务，针对非线性过程特性，有神经网络核方法等模型，在众多模型中极限学习机模型由于它的计算速度快、建模效果准确，从而得到了越来越多的关注与应用。

与此同时，许多情况下机器学习问题中的有标签样本极为珍贵且非常稀少，无标签样本容易获得但人工标记过程又困难重重。如何充分提取无标签数据中的有用信息以达到提升模型性能，于是半监督领域越来越得到人们的关注和重视，协同训练算法作为半监督中的一种优秀的学习算法自提出以后就得到了广泛的关注。

发明内容

针对目前工业过程中有标签样本少、无标签样本多和过程非线性严重等问题，本发明提出了一种基于协同训练极限学习机模型的半监督软测量方法，该方法将协同训练算法和极限学习机模型相结合，实现了关键过程变量的精确在线估计。

本发明具体技术方案如下：

一种基于协同训练极限学习机模型的工业过程软测量建模方法，其中，

所述的极限学习机模型分为三层，第一层为输入层，第二层为隐藏层，第三层为输出层，输入层到隐藏层的权重和偏置分别为ω和b，隐藏层到输出层的权重为β，其输入变量为x，输出变量为y，预测值为

所述的极限学习机建模过程为：首先计算出隐藏层神经元的输出H，H＝σ(ωx+b)，ω和b都是随机赋值，σ表示非线性激活函数，这里采用sigmoid函数；再根据求出β，其中表示H的广义逆，从而完成极限学习机建模过程；

所述的软测量建模方法步骤如下：

步骤一：收集历史工业过程的数据组成建模用的训练数据集，所述的训练数据集既包括包含主导变量也包含辅助变量的有标签数据集L，L∈R^n×d，也包括仅包含辅助变量的无标签数据集U，U∈R^N×M，n表示有标签数据集的数据样本个数，d表示过程变量个数，R为实数集，N表示无标签数据集的数据样本个数，M表示无标签数据集的辅助变量的个数；

步骤二：将步骤一中收集到的训练数据集标准化，将过程变量化成均值为0，方差为1的新的数据集和

步骤三：建立数据集L₁和L₂，利用L₁数据集建立初始的极限学习机模型ELM1，利用L₂数据集建立初始极限学习机模型ELM2；

步骤四：利用协调训练算法更新模型的有标签数据集L₁和L₂；从标准化后的无标签数据集中按照一定比例随机挑选出部分数据集构成无标签数据集U'，不断迭代使用无标签数据集U'中的数据，利用协同训练算法更新两个极限学习机模型的有标签数据集L₁和L₂；当达到规定的迭代次数或是无法找出置信度最高的样本时，停止迭代，输出新的有标签样本L′₁和L′₂；

步骤五：利用L′₁和L′₂分别训练两个极限学习机模型ELM1和ELM2，得到最终模型的预测值最其中为极限学习机ELM1的预测值，为极限学习机ELM2的预测值；

步骤六：收集新的工业过程数据，重复步骤一至二；

步骤七：将处理后的新的过程数据代入训练好的极限学习机模型中，得到主导变量的预测值，从而实现过程的监测和控制。

附图说明

图1是本发明的极限学习机结构；

图2是脱丁烷塔过程结构；

图3是本发明方法和传统极限学习机方法在不同有标签样本比例下建模预测结果的RMSE对比图；

图4是在有标签样本比例为20％的情况下样本真实值和协同训练极限学习机算法预测值效果图；

图5是有标签样本比例为20％的情况下样本真实值和传统极限学习机预测值效果图。

具体实施方式

下面结合具体实施方式对本发明的基于协同训练极限学习机模型的半监督软测量方法作进一步的详述。

一种基于协同训练极限学习机模型的工业过程软测量建模方法，其中，

所述的极限学习机模型分为三层，第一层为输入层，第二层为隐藏层，第三层为输出层，输入层到隐藏层的权重和偏置分别为ω和b，隐藏层到输出层的权重为β，其输入变量为x，输出变量为y，预测值为

所述的极限学习机建模过程为：首先计算出隐藏层神经元的输出H，H＝σ(ωx+b)，ω和b都是随机赋值，σ表示非线性激活函数，这里采用sigmoid函数；再根据求出β，其中表示H的广义逆，从而完成极限学习机建模过程；

为了评价软测量模型的预测精度，按照传统的方式定义误差标准均方根误差(RMSE)，计算公式如下：

其中M为测试样本个数，y_j为主导变量的真实值，为主导变量的协同训练极限学习机模型预测值。

所述的软测量建模方法步骤如下：

步骤一：收集历史工业过程的数据组成建模用的训练数据集，所述的训练数据集既包括包含主导变量也包含辅助变量的有标签数据集L，L∈R^n×d，也包括仅包含辅助变量的无标签数据集U，U∈R^N×M，n表示有标签数据集的数据样本个数，d表示过程变量个数，R为实数集，N表示无标签数据集的数据样本个数，M表示无标签数据集的辅助变量的个数；

步骤二：将步骤一中收集到的训练数据集标准化，将过程变量化成均值为0，方差为1的新的数据集和

步骤三：建立数据集L₁和L₂，利用L₁数据集建立初始的极限学习机模型ELM1，利用L₂数据集建立初始极限学习机模型ELM2；

步骤四：利用协调训练算法更新模型的有标签数据集L₁和L₂；

(1)从标准化后的无标签数据集中按照一定比例随机挑选出部分数据集构成数据集U'，U'∈R^N'×d，其中随机选取出的无标签的样本个数为N'，d表示样本的辅助变量个数。

(2)计算极限学习机模型ELM1在训练数据集L₁上的均方差误差RMSE_orig：

其中y_i为主导变量的真实值，为主导变量通过极限学习机得到的预测值，n为训练数据集样本个数；

(3)将U'中的N'个样本逐个添加到极限学习机模型ELM1中去训练，每个样本点得到一个预测值其中表示第i个样本经过极限学习机模型ELM1的预测值，形成一组有标签数据然后逐个将这一组有标签数据添加到训练数据集L₁上，形成一个新的数据集L₁′，每次通过L₁′都可以训练得到一个新的ELM1模型，每个新的ELM1模型在原来的训练集L₁上都可以得到一个新的RMSE的值，分别记为：RMSE_i，(i＝1,2，...，N')。

(4)分别计算RMSE_orig和N'个RMSE_i的差值：

RMSE_diff,i＝RMSE_orig-RMSE_i,(i＝1,2...N')

(5)若所有RMSE_diff都小于0，那么认为就已经达到终止条件，停止迭代，否则将RMSE_diff按照从大到小的顺序排序，取出RMSE_diff排序前五的新添加标签样本作为置信度最高的样本集，分别为x_i(i＝1,2,3,4,5)，然后通过极限学习机模型ELM1分别计算它们对应的预测值然后将这些数据集作为有标签数据集，添加到极限学习机模型ELM2的训练数据集L₂上去，并从U'数据集中剔除掉这几个数据。

(6)将剔除数据后的U'中的(N'-5)个样本逐个添加到极限学习机模型ELM2中去训练，重复(3)-(5)，利用极限学习机模型ELM2对剩下的无标签数据继续添加标签，并将得到的置信度高的数据集添加到极限学习机模型ELM1的训练集L₁中；之后再重新训练极限学习机模型1选取置信度高的数据集加入极限学习机模型2的训练集中，如此反复迭代，直到达到规定的迭代次数或是无法找出置信度最高的样本时，停止迭代；输出新的有标签样本L′₁和L′₂；

步骤五：利用L′₁和L′₂分别训练两个极限学习机模型ELM1和ELM2，得到最终模型的预测值最 为极限学习机ELM1的预测值，为极限学习机ELM2的预测值；

步骤六：收集新的工业过程数据，重复步骤一至二；

步骤七：将处理后的新的过程数据代入训练好的极限学习机模型中，得到主导变量的预测值，从而实现过程的监测和控制。

为了更好的说明极限学习机的结构，假设输入变量为x，输入层神经元个数3，隐藏层神经元个数为4，输出层神经元个数为2，极限学习机结构图如图1所示。在实际应用过程中输入、输出神经元个数由数据集决定，隐层神经元个数经过经验调试得到。

以下结合一个具体的脱丁烷塔的例子来说明协同训练极限学习机的性能。脱丁烷塔是一个用于软测量建模算法验证的一个常用的标准工业过程平台。脱丁烷塔是精炼过程中的装置之一，结构图如图2所示，该装置的目的是为了去除石脑油气体中丙烷和丁烷的过程脱丁烷塔，塔底的丁烷含量是一个十分重要的关键指标，为了提高脱丁烷塔的控制质量需要对于塔底丁烷含量建立软测量模型。

表1给出了针对关键质量变量丁烷含量所选择的7个辅助变量，分别为塔顶温度、塔顶压力、回流流量、下一级流量、灵敏板的温度、塔底温度和塔底压力。

表1：输入变量说明

输入变量	变量描述
		X1	塔顶温度
X2	塔顶压力
		X3	回流量
X4	下一级流量
		X5	第六块塔板温度
X6	塔底温度1
		X7	塔底温度2

针对该过程，连续等时间间隔采集了2394个过程数据，其中1197个数据作为训练样本进行建模，并为其对应的丁烷含量值进行离线分析和标注。另外采集的1197个数据样本作为测试样本用来验证本发明的协同训练极限学习机模型的有效性。在选取训练集和测试集的过程中，采用了将每空两个相邻的样本点分别纳入训练集和测试集的间隔取样的方式。在训练集中随机选取一定比例的数据作为有标签样本，训练集除去有标签样本剩下的作为无标签样本。

通过图3可以看出针对不同的有标签样本比例，协同训练极限学习机模型的RMSE都要小于传统的极限学习机模型，所以本发明的协同训练极限学习机模型的预测精度要更高。

在图4-图5中，图4表示协同训练极限学习机的预测值和真实值的曲线，图5表示传统极限学习机的预测值和真实值的曲线；通过图3-图4，可以看出本发明的协同训练极限学习机模型的拟合效果比传统的极限学习机模型要好。

Claims (1)

1.一种基于协同训练极限学习机模型的工业过程软测量建模方法，其中，

所述的极限学习机模型分为三层，第一层为输入层，第二层为隐藏层，第三层为输出层，输入层到隐藏层的权重和偏置分别为ω和b，隐藏层到输出层的权重为β，其输入变量为x，输出变量为y，预测值为

所述的极限学习机建模过程为：首先计算出隐藏层神经元的输出H，H＝σ(ωx+b)，ω和b都是随机赋值，σ表示非线性激活函数，这里采用sigmoid函数；再根据求出β，其中表示H的广义逆，从而完成极限学习机建模过程。

所述的软测量建模方法步骤如下：

步骤一：收集历史工业过程的数据组成建模用的训练数据集，所述的训练数据集既包括包含主导变量也包含辅助变量的有标签数据集L，L∈R^n×d，也包括仅包含辅助变量的无标签数据集U，U∈R^N×M，n表示有标签数据集的数据样本个数，d表示过程变量个数，R为实数集，N表示无标签数据集的数据样本个数，M表示无标签数据集的辅助变量的个数；

步骤二：将步骤一中收集到的训练数据集标准化，将过程变量化成均值为0，方差为1的新的数据集和

步骤三：建立数据集L₁和L₂，利用L₁数据集建立初始的极限学习机模型ELM1，利用L₂数据集建立初始极限学习机模型ELM2；

步骤四：利用协调训练算法更新模型的有标签数据集L₁和L₂；

从标准化后的无标签数据集中按照一定比例随机挑选出部分数据集构成无标签数据集U'，不断迭代使用无标签数据集U'中的数据，利用协同训练算法更新两个极限学习机模型的有标签数据集L₁和L₂；当达到规定的迭代次数或是无法找出置信度最高的样本时，停止迭代，输出新的有标签样本L′₁和L′₂；

步骤五：利用L′₁和L′₂分别训练两个极限学习机模型ELM1和ELM2，得到最终模型的预测值最其中为极限学习机ELM1的预测值，为极限学习机ELM2的预测值；

步骤六：收集新的工业过程数据，重复步骤一至二；

步骤七：将处理后的新的过程数据代入训练好的极限学习机模型中，得到主导变量的预测值，从而实现过程的监测和控制。