CN108628164A - 一种基于循环神经网络模型的工业过程半监督软测量方法 - Google Patents

Abstract

本发明公开一种基于循环神经网络模型的半监督软测量建模方法，该方法通过设置采样率，将多个输入样本和一个输出样本分为一组，然后将多组数据组成建模用的数据集代入循环神经网络模型中进行训练。本发明的方法可以充分利用目前工业过程中大量的无标签数据，还考虑到了过程的非线性、动态性，实现了关键过程变量的精确在线估计，实现在有标签数据比较少，难以准确建模的情况下建立精确的软测量模型，并对关键质量变量准确预测和监控。

Description

一种基于循环神经网络模型的工业过程半监督软测量方法

技术领域

本发明属于工业过程预测与控制领域，涉及一种基于循环神经网络模型的工业过程半监督软测量方法。

背景技术

在实际的工业生产过程中，往往存在或多或少的关键过程变量无法实现在线检测，为了解决这个难题，通过采集过程中比较容易检测的变量，根据某种最优准侧，构造出一种以这些变量为输入，关键过程变量为输出的数学模型，实现对关键过程变量的在线估计，这便是工业过程中常用的软测量建模。

统计过程软测量建模的发展对于大规模的工业数据的需求极为显著。然而，软测量建模目前还存在很多问题。在工业过程中系统的复杂程度也是日益提高，过程数据中的非线性关系越来越突出，如果仍然利用传统的线性方法建立软测量模型，无疑不能胜任变量准确预测的任务，针对非线性过程特性，有神经网络核方法等模型，在众多模型中极限学习机模型由于它的计算速度快、建模效果准确，从而得到了越来越多的关注与应用，同时循环神经网络在考虑非线性的同时还考虑到了工业过程的动态特性，相比于普通的神经网络，循环神经网络的准确率更高。

与此同时，许多情况下机器学习问题中的有标签样本极为珍贵且非常稀少，无标签样本容易获得但人工标记过程又困难重重。如何充分提取无标签数据中的有用信息以达到提升模型性能，于是半监督领域越来越得到人们的关注和重视，协同训练算法作为半监督中的一种优秀的学习算法自提出以后就得到了广泛的关注。

发明内容

针对目前工业过程中有标签样本少、无标签样本多和过程非线性、动态性严重等问题，本发明提出了一种基于循环神经网络模型的工业过程半监督软测量建模方法，该方法利用循环神经网络模型在建模时不但利用了有标签数据还大量利用了无标签数据，同时还考虑到了过程的非线性和动态性，实现了关键过程变量的精确在线估计，具体技术方案如下：

一种基于循环神经网络模型的工业过程半监督软测量方法，其特征在于，该方法包括如下步骤：

步骤一：收集历史工业过程的数据，按照质量变量的采样率1/k采集建模的数据集L，L由辅助变量的输入数据集和质量变量的输出数据集组成，其中辅助变量的输入数据集为{x₁,x₂,x₃,...,x_i,...,x_n}，输入数据集中x_i表示i时刻的输入样本，x_i∈R^1×m，其中m表示过程中辅助变量个数，即输入样本的维度，R为实数集；对应的质量变量的输出数据集为{y_k,y_2k,y_3k,...,y_i,...,y_ceil(n/k)}，即，每k个输入样本对应一个输出样本,其中，ceil(n/k)表示对n/k下取整，y_i∈R^1×d，其中d表示质量变量的个数，即输出样本的维度，这样收集好模型的数据集L；

步骤二：将步骤一中收集到的数据集标准化，将过程变量化成均值为0，方差为1的新的数据集L；

步骤三：将数据集L按照采样率进行分组，即将k个输入样本和一个输出样本作为一组，按照这种方式将数据集分为ceil(n/k)组，此时输入数据集变形为ceil(n/k)×timestep×m的三维数据集，其中timestep表示循环神经网络的输入时间跨度，当采样率为1/k时，timestep为k，输出数据集变形为ceil(n/k)×d的数据集；

步骤四：所述的循环神经网络模型由输入层、隐藏层和输出层组成，U表示输入层到隐藏层的转换矩阵，ω表示前一个时刻隐藏层到该时刻隐藏层的转换矩阵，V表示隐藏层到输出层的转换矩阵，所述的循环神经网络模型的长度取决于所述的步骤三中的timestep；将ceil(n/k)×timestep×m的三维输入数据和ceil(n/k)×d两维输出数据输入到循环神经网络模型中进行训练，通过BPTT方法完成循环神经网络的更新，最终得到训练后的模型；所述的循环神经网络模型的建模过程为：首先进行前向传播计算出隐藏层神经元的输出s_i，s_i＝σ(U·x_i+ω·s_i-1)，σ表示非线性激活函数，下标i表示第i个时刻；同理可以计算输出层的神经元输出y_i，y_i＝V·s_i，其中转换矩阵是初始化时随机赋值的；完成前向传播之后，通过BPTT的梯度下降法完成转换矩阵U、V、ω的梯度更新，当预测值和真实值的误差小于设定的阈值或达到迭代次数时，即完成模型训练；

步骤五：在线收集新的过程输入样本，并进行标准化；

步骤六：首先收集timestep-1个处理后的输入样本，然后收集一个新的处理后的输入样本，设置一个窗口大小为timestep的滑动窗，将timestep个输入样本拿出，代入训练好的循环神经网络模型中，得到timestep个样本中最后一个输入样本对应的质量变量的预测值，对于后续的每个新的处理后的输入样本，将滑动窗往下滑动一个样本点，同理就可以得到每个新的输入样本对应的质量变量的预测值，从而实现过程的监测和控制。

优选地，当timestep>100时，所述的循环神经网络模型用LSTM代替。

优选地，所述的非线性激活函数为Sigmoid。

优选地，所述的非线性激活函数为Tanh。

优选地，所述的非线性激活函数为ReLU。

本发明的有益效果是，本发明可以充分利用目前工业过程中大量的无标签数据，还考虑到了过程的非线性、动态性，实现了关键过程变量的精确在线估计，实现在有标签数据比较少，难以准确建模的情况下建立精确的软测量模型，并对关键质量变量准确预测和监控。

附图说明

图1是本发明的循环神经网络模型采用的工业过程数据集示意图；

图2是循环神经网络模型的结构示意图；

图3是脱丁烷塔过程结构示意图；

图4是是本发明方法在关键质量变量采样率为25％情况下，模型预测值和过程质量变量真实值的拟合效果图。

具体实施方式

下面根据附图和优选实施例详细描述本发明，本发明的目的和效果将变得更加明白，以下结合附图和实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

工业过程中的过程质量变量的数据是在每时每刻变化的，由于受到技术等的限制，目前质量检测无法做到实时性，不能采集到过程中变量每时每刻的数据。因此在工业过程中采集到的数据中含有大量的无标签样本，同时一定频率的无标签数据样本之后会跟着一个有标签样本。

循环神经网络模型是专门用来处理序列数据的，即前一个输入和后一个输入是有关系的，在工业过程中由于过程的动态性，两个样本之间是存在相关性的。因此使用循环神经网络建模考虑到了模型的动态性，模型的准确性也会更高。循环神经网络是由输入层、隐藏层和输出层组成，循环神经网络与普通神经网络的不同是隐藏层之间的节点不再无连接而是有连接的，并且隐藏层的输入不仅包括输入层的输出还包括上一时刻隐藏层的输出。这样循环神经网络模型就可以对前面的信息进行记忆并应用于当前输出计算中。

一种基于循环神经网络模型的工业过程半监督软测量方法，该方法包括如下步骤：

步骤一：收集历史工业过程的数据，按照质量变量的采样率1/k采集建模的数据集L，L由辅助变量的输入数据集和质量变量的输出数据集组成，其中辅助变量的输入数据集为{x₁,x₂,x₃,...,x_i,...,x_n}，输入数据集中x_i表示i时刻的输入样本，x_i∈R^1×m，其中m表示过程中辅助变量个数，即输入样本的维度，R为实数集；对应的质量变量的输出数据集为{y_k,y_2k,y_3k,...,y_i,...,y_ceil(n/k)}，即，每k个输入样本对应一个输出样本,其中，ceil(n/k)表示对n/k下取整，y_i∈R^1×d，其中d表示质量变量的个数，即输出样本的维度，这样收集好模型的数据集L；

步骤二：将步骤一中收集到的数据集标准化，将过程变量化成均值为0，方差为1的新的数据集L；

步骤三：将数据集L按照采样率进行分组，即将k个输入样本和一个输出样本作为一组，按照这种方式将数据集分为ceil(n/k)组，此时输入数据集变形为ceil(n/k)×timestep×m的三维数据集，其中timestep表示循环神经网络的输入时间跨度，当采样率为1/k时，timestep为k，输出数据集变形为ceil(n/k)×d的数据集；

以25％的采样率为例，其中x₁～x₄表示软测量模型中的四个相邻时刻输入样本，下标1～4表示不同的四个时刻，该输入样本由工业过程中易于检测且与质量变量相关的辅助变量组成，y₄表示软测量模型中的关键质量变量，则该采样率下的第一组数据的结构如图1所示。

步骤四：所述的循环神经网络模型由输入层、隐藏层和输出层组成，U表示输入层到隐藏层的转换矩阵，ω表示前一个时刻隐藏层到该时刻隐藏层的转换矩阵，V表示隐藏层到输出层的转换矩阵，所述的循环神经网络模型的长度取决于所述的步骤三中的timestep，所述的循环神经网络模型的结构示意图如图2所示(timestep＝4)，将ceil(n/k)×timestep×m的三维输入数据和ceil(n/k)×d两维输出数据输入到循环神经网络模型中进行训练，通过BPTT方法完成循环神经网络的更新，最终得到训练后的模型；所述的循环神经网络模型的建模过程为：首先进行前向传播计算出隐藏层神经元的输出s_i，s_i＝σ(U·x_i+ω·s_i-1)，σ表示非线性激活函数，下标i表示第i个时刻；同理可以计算输出层的神经元输出y_i，y_i＝V·s_i，其中转换矩阵是初始化时随机赋值的；完成前向传播之后，通过BPTT的梯度下降法完成转换矩阵U、V、ω的梯度更新，当预测值和真实值的误差小于设定的阈值或达到迭代次数时，即完成模型训练；

步骤五：在线收集新的过程输入样本，并进行标准化；

步骤六：首先收集timestep-1个处理后的输入样本，然后收集一个新的处理后的输入样本，设置一个窗口大小为timestep的滑动窗，将timestep个输入样本拿出，代入训练好的循环神经网络模型中，得到timestep个样本中最后一个输入样本对应的质量变量的预测值，对于后续的每个新的处理后的输入样本，将滑动窗往下滑动一个样本点，同理就可以得到每个新的输入样本对应的质量变量的预测值，从而实现过程的监测和控制。

优选地，当timestep>100时，所述的循环神经网络模型用LSTM代替。

优选地，所述的非线性激活函数为Sigmoid、Tanh或ReLU。

为了评价软测量模型的预测精度，按照传统的方式定义误差标准均方根误差(RMSE)，计算公式如下：

其中M为测试样本个数，y_j为主导变量的真实值，为主导变量的循环神经网络模型预测值。

以下结合一个具体的脱丁烷塔的例子来说明循环神经网络模型的性能。脱丁烷塔是一个用于软测量建模算法验证的一个常用的标准工业过程平台。脱丁烷塔是精炼过程中的装置之一，结构图如图3所示，该装置的目的是为了去除石脑油气体中丙烷和丁烷的过程脱丁烷塔，塔底的丁烷含量是一个十分重要的关键指标，为了提高脱丁烷塔的控制质量需要对于塔底丁烷含量建立软测量模型。

表1给出了针对关键质量变量丁烷含量所选择的7个辅助变量，分别为塔顶温度、塔顶压力、回流流量、下一级流量、灵敏板的温度、塔底温度和塔底压力。

表1：输入变量说明

针对该过程，连续等时间间隔采集了30000个过程数据，其中15000个数据作为训练样本进行建模，并为其对应的丁烷含量值进行离线分析和标注。另外采集的15000个数据样本作为测试样本用来验证本发明的循环神经网络模型的有效性。在选取训练集和测试集的过程中，采用了将相邻的两个样本点分别纳入训练集和测试集的间隔取样的方式。

图4表示循环神经网络模型的预测值和真实值的曲线，其中，预测值和真实值的误差RMSE为0.0097，通过图4，可以看出本发明的循环神经网络模型的预测值已经基本接近过程质量变量的真实值，拟合效果好。

本领域普通技术人员可以理解，以上所述仅为发明的优选实例而已，并不用于限制发明，尽管参照前述实例对发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实例记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在发明的精神和原则之内，所做的修改、等同替换等均应包含在发明的保护范围之内。

Claims (5)

1.一种基于循环神经网络模型的工业过程半监督软测量方法，其特征在于，该方法包括如下步骤：

步骤一：收集历史工业过程的数据，按照质量变量的采样率1/k采集建模的数据集L，L由辅助变量的输入数据集和质量变量的输出数据集组成，其中辅助变量的输入数据集为{x₁,x₂,x₃,...,x_i,...,x_n}，输入数据集中x_i表示i时刻的输入样本，x_i∈R^1×m，其中m表示过程中辅助变量个数，即输入样本的维度，R为实数集；对应的质量变量的输出数据集为{y_k,y_2k,y_3k,...,y_i,...,y_ceil(n/k)}，即，每k个输入样本对应一个输出样本,其中，ceil(n/k)表示对n/k下取整，y_i∈R^1×d，其中d表示质量变量的个数，即输出样本的维度，这样收集好模型的数据集L；

步骤二：将步骤一中收集到的数据集标准化，将过程变量化成均值为0，方差为1的新的数据集

步骤三：将数据集按照采样率进行分组，即将k个输入样本和一个输出样本作为一组，按照这种方式将数据集分为ceil(n/k)组，此时输入数据集变形为ceil(n/k)×timestep×m的三维数据集，其中timestep表示循环神经网络的输入时间跨度，当采样率为1/k时，timestep为k，输出数据集变形为ceil(n/k)×d的数据集；

步骤四：所述的循环神经网络模型由输入层、隐藏层和输出层组成，U表示输入层到隐藏层的转换矩阵，ω表示前一个时刻隐藏层到该时刻隐藏层的转换矩阵，V表示隐藏层到输出层的转换矩阵，所述的循环神经网络模型的长度取决于所述的步骤三中的timestep；将ceil(n/k)×timestep×m的三维输入数据和ceil(n/k)×d两维输出数据输入到循环神经网络模型中进行训练，通过BPTT方法完成循环神经网络的更新，最终得到训练后的模型；所述的循环神经网络模型的建模过程为：首先进行前向传播计算出隐藏层神经元的输出s_i，s_i＝σ(U·x_i+ω·s_i-1)，σ表示非线性激活函数，下标i表示第i个时刻；同理可以计算输出层的神经元输出y_i，y_i＝V·s_i，其中转换矩阵是初始化时随机赋值的；完成前向传播之后，通过BPTT的梯度下降法完成转换矩阵U、V、ω的梯度更新，当预测值和真实值的误差小于设定的阈值或达到迭代次数时，即完成模型训练；

步骤五：在线收集新的过程输入样本，并进行标准化；

步骤六：首先收集timestep-1个处理后的输入样本，然后收集一个新的处理后的输入样本，设置一个窗口大小为timestep的滑动窗，将timestep个输入样本拿出，代入训练好的循环神经网络模型中，得到timestep个样本中最后一个输入样本对应的质量变量的预测值，对于后续的每个新的处理后的输入样本，将滑动窗往下滑动一个样本点，同理就可以得到每个新的输入样本对应的质量变量的预测值，从而实现过程的监测和控制。

2.根据权利要求1所述的基于循环神经网络模型的工业过程半监督软测量方法，其特征在于，当timestep>100时，所述的循环神经网络模型用LSTM代替。

3.根据权利要求1所述的基于循环神经网络模型的工业过程半监督软测量方法，其特征在于，所述的非线性激活函数为Sigmoid。

4.根据权利要求1所述的基于循环神经网络模型的工业过程半监督软测量方法，其特征在于，所述的非线性激活函数为Tanh。

5.根据权利要求1所述的基于循环神经网络模型的工业过程半监督软测量方法，其特征在于，所述的非线性激活函数为ReLU。