CN108334943A - 基于主动学习神经网络模型的工业过程半监督软测量建模方法 - Google Patents

Abstract

本发明公开了一种基于主动学习神经网络模型的半监督软测量建模方法，它是由主动学习算法和神经网络模型组成；主动学习算法迭代调用神经网络模型，通过神经网络模型从大量的无标签样本中选择出有价值的样本，进行标定并添加到有标签样本集中，使得有标签数据集不断更新，直到建立的模型满足精度要求，最终实现软测量模型的建立。本发明可以有效地解决有标签样本少、无标签样本多导致的软测量建模不准的问题。

Description

基于主动学习神经网络模型的工业过程半监督软测量建模 方法

技术领域

本发明属于工业过程预测与控制领域，涉及一种基于主动学习神经网络模型的工业过程半监督软测量建模方法。

背景技术

在实际的工业生产过程中，往往存在或多或少的关键过程变量无法实现在线检测，为了解决这个难题，通过采集过程中比较容易检测的变量，根据某种最优准侧，构造出一种以这些变量为输入，关键过程变量为输出的数学模型，实现对关键过程变量的在线估计，这便是工业过程中常用的软测量建模。

统计过程软测量建模的发展对于大规模的工业数据的需求极为显著。然而，软测量建模目前还存在很多问题。在工业过程中系统的复杂程度也是日益提高，过程数据中的非线性关系越来越突出，如果仍然利用传统的线性方法建立软测量模型，无疑不能胜任变量准确预测的任务，针对非线性过程特性，有神经网络核方法等模型，在众多模型中极限学习机模型由于它的计算速度快、建模效果准确，从而得到了越来越多的关注与应用。

与此同时，许多情况下机器学习问题中的有标签样本极为珍贵且非常稀少，无标签样本容易获得但人工标记过程又困难重重。

发明内容

针对目前工业过程中有标签样本少、无标签样本多和过程非线性严重等问题，本发明提出了一种基于主动学习神经网络模型的半监督软测量建模方法，该方法将主动学习思想和神经网络模型相结合，实现了关键过程变量的精确在线估计。

本发明具体技术方案如下：

一种基于主动学习神经网络模型的工业过程半监督软测量建模方法，其中，

所述的神经网络模型分为三层，第一层为输入层，第二层为隐藏层，第三层为输出层，输入层到隐藏层的权重和偏置分别为ω₁和b₁，隐藏层到输出层的权重和偏置分别为ω₂和b₂，该模型对应数据的输入变量为x，输出变量为y，模型的输出，即预测值为

所述的半监督软测量建模方法步骤如下：

步骤一：收集历史工业过程的数据组成建模用的训练数据集，所述的训练数据集既包括包含主导变量也包含辅助变量的有标签数据集L，L∈R^n×d，也包括仅包含辅助变量的无标签数据集U，U∈R^N×M，n表示有标签数据集的数据样本个数，d表示过程变量个数，R为实数集，N表示无标签数据集的数据样本个数，M表示无标签数据集的辅助变量的个数；

步骤二：将步骤一中收集到的训练数据集标准化，即将过程变量化成均值为0、方差为1的新的数据集和

步骤三：运用主动学习算法不断更新有标签样本集

(1)利用标准化后的有标签样本集训练神经网络模型：

首先进行前向传播计算出隐藏层神经元的输出a，a＝σ(ω₁x+b₁)，σ表示非线性激活函数；同理可以计算输出层的神经元输出 其中权重和偏置是初始化时随机赋值的；完成前向传播之后，可以通过反向传播算法完成两层权重和偏置的梯度求解；最后通过梯度下降算法不断更新参数，从而使得模型不断更新，直到符合建模要求，完成神经网络建模过程，得到训练后的神经网络模型；

(2)利用训练后的神经网络模型按照距离准则，从标准化后的无标签样本集中挑选出与有标签样本集中所有样本距离之和最大的N个无标签样本，然后将这N个无标签样本打上标签，添加到有标签样本集中更新有标签样本集

(3)利用新的有标签样本集重复步骤(1)-(2)，直到满足停止迭代的要求为止；停止迭代之前训练的最新的神经网络模型就是建模得到的半监督软测量模型；

步骤四：收集新的工业过程数据，重复步骤一至二；

步骤五：将步骤四中处理后的新的过程数据代入步骤三中得到的半监督软测量模型中，得到主导变量的预测值，从而实现过程的监测和控制。

进一步地，所述的步骤三中利用训练后的神经网络模型按照距离准则，从标准化后的无标签样本集中挑选出与有标签样本集中所有样本距离之和最大的N个无标签样本的过程具体如下：

(1)将无标签数据集中的样本代入训练后的神经网络模型中，得到与之对应的隐藏层输出a_i，其中i表示第i个无标签样本，同理有标签样本也可以得到与之对应的隐藏层输出a_j，其中j表示第j个有标签样本；

(2)通过欧式距离相似度准则可以计算出第i个无标签样本到所有有标签样本的距离总和

(3)将d_i从大到小排序，挑选出前N个d_i对应的无标签样本，进行化验标定，得到相应的标签，然后添加到有标签样本集中，更新有标签样本集。

进一步地，所述的步骤五中的预测值的预测精度的计算公式如下：

其中，M为测试样本个数，y_j为主导变量的真实值，为主导变量的模型预测值。

进一步地，所述的步骤三中的非线性激活函数采用sigmoid函数。

进一步地，所述的N为10。

本发明的有益效果是，本发明可以充分利用目前工业过程中大量的无标签数据，在有标签数据比较少，难以准确建模的情况下能够建立精确的软测量建模，从而实现关键质量变量的预测和监控。

附图说明

图1是神经网络结构示意图；

图2是脱丁烷塔过程结构示意图；

图3是是本发明方法和随机采样神经网络建模方法在不同有标签样本比例下建模预测结果的RMSE对比图；

图4是在有标签样本比例为10％的情况下样本真实值和主动学习神经网络模型预测值效果图；

图5是有标签样本比例10％情况下样本真实值和随机采样神经网络模型预测值效果图。

具体实施方式

下面结合具体实施方式对本发明基于主动学习神经网络模型的半监督软测量建模方法作进一步的详述。

一种基于主动学习神经网络模型的工业过程半监督软测量建模方法，其中，

所述的神经网络模型分为三层，第一层为输入层，第二层为隐藏层，第三层为输出层，

输入层到隐藏层的权重和偏置分别为ω₁和b₁，隐藏层到输出层的权重和偏置分别为ω₂和b₂，该模型对应数据的输入变量为x，输出变量为y，模型的输出，即预测值为

所述的半监督软测量建模方法步骤如下：

步骤一：收集历史工业过程的数据组成建模用的训练数据集，所述的训练数据集既包括包含主导变量也包含辅助变量的有标签数据集L，L∈R^n×d，也包括仅包含辅助变量的无标签数据集U，U∈R^N×M，n表示有标签数据集的数据样本个数，d表示过程变量个数，R为实数集，N表示无标签数据集的数据样本个数，M表示无标签数据集的辅助变量的个数；

步骤二：将步骤一中收集到的训练数据集标准化，将过程变量化成均值为0，方差为1的新的数据集和

步骤三：运用主动学习算法思想不断更新有标签样本集

(1)利用标准化后的有标签样本集训练神经网络模型，得到神经网络模型之后，该模型的隐藏层神经元的输出a，可以看作是对于有标签样本集数据的特征，该特征a不但使用了有标签数据集中的输入变量，还结合了标签信息。因此本发明使用a进行数据相似度的衡量。

所述的神经网络模型的训练过程为：首先进行前向传播计算出隐藏层神经元的输出a，a＝σ(ω₁x+b₁)，σ表示非线性激活函数，这里采用sigmoid函数；同理可以计算输出层的神经元输出 其中权重和偏置是初始化时随机赋值的；完成前向传播之后，可以通过反向传播算法完成两层权重和偏置的梯度求解；最后通过梯度下降算法不断更新参数，从而使得模型不断更新，直到符合建模要求，完成神经网络训练过程，得到训练后的神经网络模型；

(2)将无标签数据集中的样本代入训练后的神经网络模型中就可以得到与之对应的隐藏层输出a_i，其中i表示第i个无标签样本，同理有标签样本也可以得到与之对应的隐藏层输出a_j，其中j表示第j个有标签样本；

(3)通过欧式距离相似度准则计算出每个无标签样本到所有有标签样本的距离总和

(4)将d_i按照从大到小排序，挑选出前十个距离总和最大的无标签样本，交由专家进行化验标定，得到相应的标签，然后添加到有标签样本集中，更新有标签样本集；

(5)利用更新之后的有标签样本集训练新的神经网络模型，再按照上述步骤挑选无标签样本，如此反复不断迭代，直到满足迭代条件停止。

步骤四：收集新的工业过程数据，重复步骤一至二；

步骤五：将处理后的新的过程数据代入训练好的神经网络模型中，得到主导变量的预测值，从而实现过程的监测和控制。

为了评价软测量模型的预测精度，按照传统的方式定义误差标准均方根误差(RMSE)，计算公式如下：

其中M为测试样本个数，y_j为主导变量的真实值，为主导变量的协同训练极限学习机模型预测值。

为了更好地说明神经网络的结构，假设输入变量为x，输入层神经元个数3，隐藏层神经元个数为4，输出层神经元个数为2，神经网络结构图如图1所示。在实际应用过程中输入、输出神经元个数由数据集决定，隐藏层神经元个数经过经验调试得到。

以下结合一个具体的脱丁烷塔的例子来说明主动学习神经网络模型的性能。脱丁烷塔是一个用于软测量建模算法验证的一个常用的标准工业过程平台。脱丁烷塔是精炼过程中的装置之一，结构图如图2所示，该装置的目的是为了去除石脑油气体中丙烷和丁烷的过程脱丁烷塔，塔底的丁烷含量是一个十分重要的关键指标，为了提高脱丁烷塔的控制质量需要对于塔底丁烷含量建立软测量模型。

表1给出了针对关键质量变量丁烷含量所选择的7个辅助变量，具体的输入变量说明如表1所示。

表1输入变量说明

输入变量	变量描述
		X1	塔顶温度
X2	塔顶压力
		X3	回流量
X4	下一级流量
		X5	第六块塔板温度
X6	塔底温度1
		X7	塔底温度2

针对该过程，连续等时间间隔采集了2394个过程数据，其中1197个数据作为训练样本进行建模，并为其对应的丁烷含量值进行离线分析和标注。另外采集的1197个数据样本作为测试样本用来验证本发明的主动学习神经网络模型的有效性。在选取训练集和测试集的过程中，采用了将每空两个相邻的样本点分别纳入训练集和测试集的间隔取样的方式。在训练集中随机选取一定比例的数据作为有标签样本，训练集除去有标签样本剩下的作为无标签样本。

通过图3可以看出针对不同的有标签样本比例，主动学习神经网络模型的RMSE都要小于随机采样神经网络模型，所以本发明的主动学习神经网络模型的预测精度要更高。

在图4-图5中，图4表示在有标签样本比例为10％的情况下样本真实值和主动学习神经网络模型预测值效果图，图5表示有标签样本比例为10％的情况下随机采样神经网络的预测值和真实值的曲线；通过图4-图5，可以看出本发明的主动学习神经网络模型的拟合效果比随机采样神经网络模型要好。

Claims (5)

1.一种基于主动学习神经网络模型的工业过程半监督软测量建模方法，其中，

所述的神经网络模型分为三层，第一层为输入层，第二层为隐藏层，第三层为输出层，输入层到隐藏层的权重和偏置分别为ω₁和b₁，隐藏层到输出层的权重和偏置分别为ω₂和b₂，该模型对应数据的输入变量为x，输出变量为y，模型的输出，即预测值为

所述的半监督软测量建模方法步骤如下：

步骤一：收集历史工业过程的数据组成建模用的训练数据集，所述的训练数据集既包括包含主导变量也包含辅助变量的有标签数据集L，L∈R^n×d，也包括仅包含辅助变量的无标签数据集U，U∈R^N×M，n表示有标签数据集的数据样本个数，d表示过程变量个数，R为实数集，N表示无标签数据集的数据样本个数，M表示无标签数据集的辅助变量的个数；

步骤二：将步骤一中收集到的训练数据集标准化，即将过程变量化成均值为0、方差为1的新的数据集和

步骤三：运用主动学习算法不断更新有标签样本集

(1)利用标准化后的有标签样本集训练神经网络模型：

首先进行前向传播计算出隐藏层神经元的输出a，a＝σ(ω₁x+b₁)，σ表示非线性激活函数；同理可以计算输出层的神经元输出 其中权重和偏置是初始化时随机赋值的；完成前向传播之后，可以通过反向传播算法完成两层权重和偏置的梯度求解；最后通过梯度下降算法不断更新参数，从而使得模型不断更新，直到符合建模要求，完成神经网络建模过程，得到训练后的神经网络模型；

(2)利用训练后的神经网络模型按照距离准则，从标准化后的无标签样本集中挑选出与有标签样本集中所有样本距离之和最大的N个无标签样本，然后将这N个无标签样本打上标签，添加到有标签样本集中更新有标签样本集

(3)利用新的有标签样本集重复步骤(1)-(2)，直到满足停止迭代的要求为止；停止迭代之前训练的最新的神经网络模型就是建模得到的半监督软测量模型；

步骤四：收集新的工业过程数据，重复步骤一至二；

步骤五：将步骤四中处理后的新的过程数据代入步骤三中得到的半监督软测量模型中，得到主导变量的预测值，从而实现过程的监测和控制。

2.根据权利要求1所述的基于主动学习神经网络模型的工业过程半监督软测量建模方法，所述的步骤三中利用训练后的神经网络模型按照距离准则，从标准化后的无标签样本集中挑选出与有标签样本集中所有样本距离之和最大的N个无标签样本的过程具体如下：

(1)将无标签数据集中的样本代入训练后的神经网络模型中，得到与之对应的隐藏层输出a_i，其中i表示第i个无标签样本，同理有标签样本也可以得到与之对应的隐藏层输出a_j，其中j表示第j个有标签样本；

(2)通过欧式距离相似度准则可以计算出第i个无标签样本到所有有标签样本的距离总和

(3)将d_i从大到小排序，挑选出前N个d_i对应的无标签样本，进行化验标定，得到相应的标签，然后添加到有标签样本集中，更新有标签样本集。

3.根据权利要求1所述的基于主动学习神经网络模型的工业过程半监督软测量建模方法，所述的步骤五中的预测值的预测精度的计算公式如下：

其中，M为测试样本个数，y_j为主导变量的真实值，为主导变量的模型预测值。

4.根据权利要求1和2所述的基于主动学习神经网络模型的工业过程半监督软测量建模方法，所述的步骤三中的非线性激活函数采用sigmoid函数。

5.根据权利要求2所述的基于主动学习神经网络模型的工业过程半监督软测量建模方法，所述的N为10。