CN111160464B - 基于多隐层加权动态模型的工业高阶动态过程软测量方法 - Google Patents

Abstract

本发明公开了一种基于多隐层加权动态模型的工业高阶动态过程软测量方法。本方法引入滑动窗口，针对每一组在线样本，在每一个滑动窗口中建立多隐层动态模型，即充分考虑了数据在隐空间中的局部自相关性和隐变量在时序上的高阶动态关系，对于数据的描述能够更加精准；结合支持向量数据描述方法计算得到在线样本的全局权重，并建立多隐层加权动态模型。在得到模型的参数后，建立局部加权线性回归模型，从而得到在线样本的质量变量估计值。

Description

基于多隐层加权动态模型的工业高阶动态过程软测量方法

技术领域

本发明属于工业非平稳过程软测量建模和应用领域，特别涉及一种基于多隐层加权动态模型的工业高阶动态过程软测量建模和在线估计方法。

背景技术

工业生产过程十分复杂，难以做到实时测量得到整个生产过程中的实时数据，软测量是指通过建立质量变量与易于测量得到的过程变量之间的数学模型来估计质量变量的值。

而目前普遍的软测量模型有：偏最小二乘回归，决策树，神经网络等，但是模型较为简单，对于数据存在噪声，数据分布非高斯，缺少质量变量，过程具有动态性等特点难以解决，需要进一步建立更为复杂的数学模型。

在上述的问题中，过程具有动态特性通常难以处理，常见的动态模型如线性动态系统，能够建立观测得到的数据在时间上隐藏的动态特性，但是对于时间上隐藏的动态特性描述较为简单，没有很好的描述数据在时间上的高阶动态特性，当数据的隐藏动态特性与前好几个时刻的数据有关时，模型往往难以很好描述。因此，本发明在原有线性动态系统的基础上，将模型扩展为多隐层的高阶动态模型，该模型能够很好的描述数据的高阶动态关系，并通过加权方法建立隐变量与质量变量之间的数学模型来估计质量变量的值。该模型很好的描述了数据的高阶动态特性，提高了模型的预测精度。

发明内容

本发明的目的在于针对脱丁烷塔中丁烷含量实时检测的难点，提出一种基于多隐层加权动态模型的工业高阶动态过程软测量建模和在线估计方法。

一种基于多隐层加权动态模型的工业高阶动态过程软测量建模方法，其特征包括一下步骤：

步骤1：通过集散控制系统采集化工过程中的正常运行数据组成训练样本集X＝{x₁,x₂,...,x_T}∈R^M×T，其中M为过程变量个数，T为训练样本集的长度。并通过离线化验分析得到不同时刻下的训练样本的质量变量值Y＝{y₁,y₂,...,y_T}∈R^1×T。

步骤2：引入滑动窗口，将训练样本集划分为多个训练子集。若滑动窗的步长为P，滑动窗的窗口长度为K，则可以计算得到划分的窗口总个数为即训练子集个数为个。每个滑动窗口处于训练样本集中的不同位置，每个滑动窗所覆盖的训练样本为一个训练子集，每一个训练子集内所包含的训练样本的组数相同，但是各个训练子集内的训练样本的组成不完全相同，存在单组训练样本存在于多个窗口中，即存在单组训练样本被包含于多个训练子集的情况。

每个训练子集的归一化方法相同，均为减去均值，再除以标准差的归一化操作，具体如下：

其中，X_η为第η个窗口中的训练子集，η为训练子集的序号数，X’_η为第η个窗口中归一化后的训练子集；μ_η为X_η中过程变量的均值；σ_η为X_η中过程变量的标准差。

步骤3：对每一个X’_η建立多隐层动态模型，具体模型如下：

表示X’_η中第k组训练样本的多层隐变量值，L为隐变量层数，D为每层包含的隐变量个数；/>表示X’_η中第k组训练样本的单层隐变量值，k＝1,2,...,K，；

为X’_η中模型的转移概率矩阵。其中，A_η∈R^D×DL，I为单位矩阵；

为X’_η中模型的发射概率矩阵。其中，B_η∈R^M×D；

表示X’_η中第k组训练样本的转移噪声，/> 其中Q_η∈R^D×D；

表示X’_η中第k组训练样本的发射噪声，f^η～N(0,W_η)，其中W_η∈R^M×M。

通过EM算法反复迭代来得到模型参数。在E步中，通过卡尔曼滤波，卡尔曼平滑方法并结合当前模型的参数值估计隐变量后验概率的期望；在M步中，通过极大似然估计来更新模型参数，并在每一次更新模型参数后对模型参数做一次归一化处理。总共得到个模型。

步骤4：收集化工过程中的在线运行数据组成测试样本集。测试样本集仅包含过程变量。

步骤5：每组测试样本的处理方法相同，下面以测试样本集中的一组测试样本为例。首先计算该组测试样本与训练样本集在原始空间中的全局权重，具体如下：

其中，v为测试样本；x_t为X中第t组训练样本，t＝1,2,...,T；δ_t为v与x_t之间的相似度；u_t为v关于x_t在原始空间中的全局权重，a为权重控制参数。

接着计算v关于X在隐空间中的全局权重，具体步骤如下：

(1)计算测试样本在每一个窗口中的多层隐变量值，每个窗口中训练得到的模型参数不同，因此测试样本v在每个窗口中的隐变量值也不同，具体计算方法如下：

其中，为v经过投影后在第η个窗口中的隐变量值，/> W_η为步骤3中得到的模型参数。

(2)计算v在每一个窗口中的窗口置信度，采用支持向量数据描述方法(SVDD)计算：

其中，v^*为v的高维投影，c_η为X’_η经过(SVDD)方法得到的超球体的中心；r_η为X’_η经过(SVDD)方法得到的超球体的半径；φ_η为v与X’_η的窗口置信度。

(3)计算与每一个训练子集中每一组训练样本的多层隐变量之间的相似度：

其中， 为第η个窗口中/>与/>的相似度。由此可以计算得到该测试样本与每一个训练子集中每一组训练样本的多层隐变量之间的相似度。

(4)计算测试样本与训练样本集在隐空间中的全局权重：

其中，为/>经过指数变换的指数相似度；b为权重控制参数；

(5)由于训练样本集中的任意一组训练样本会存在于多个窗口中，且在窗口中的位置都不相同，因此需要将每一组训练样本在不同窗口中的相似度求和得到该组训练样本关于测试样本在隐空间中的全局权重，具体计算如下：

其中，为第t组训练样本的第j个指数相似度，具体是指在包含该训练样本的Γ个滑动窗口中，第j个滑动窗口通过(4)计算得到的指数相似度；t＝1,2,...T，j＝1,2,...Γ，Γ表示包含第t个训练样本的滑动窗口总个数；/>为v关于x_t在隐空间中的全局权重。

由此，通过上述(1)～(5)可以计算出一组测试样本关于训练样本集在隐空间中的全局权重

步骤6：对训练样本集做减去均值，除以方差的归一化处理，具体如下：

X'为归一化后的训练样本集；μ为X中过程变量的均值；σ为X中过程变量的标准差。

根据原始空间全局权重，隐空间全局权重建立多隐层加权动态模型。通过EM算法反复迭代来得到模型参数。在E步中，通过卡尔曼滤波，卡尔曼平滑方法并结合当前模型的参数值估计隐变量后验概率的期望；在M步中，通过极大似然估计来更新模型参数，并对更新后的模型参数做归一化处理。反复迭代直到似然函数收敛时记录下模型参数。

步骤7：建立局部加权线性回归模型，并对在线样本进行在线估计，具体方法如下：

(1)根据原始空间中的全局权重u计算训练样本集质量变量的加权平均值：

(2)训练加权线性回归模型，得到模型参数：

b＝(Ydiag(u)H^T)(Hdiag(u)H^T)^-1

其中，b∈R^1×D为模型参数；Y为训练样本集经过离线化验得到的质量变量；为步骤6中得到的多层隐变量/>提取第一层隐变量组成的矩阵；diag(u)为原始空间全局权重u的对角矩阵。

(3)通过投影计算出测试样本的隐变量值：

其中，W为步骤6中训练得到的模型参数。

(4)估计在线样本的质量变量值：

其中，为所要估计的在线样本的质量变量。

本发明引入滑动窗口，在每个滑动窗口中建立多隐层动态模型，并通过SVDD方法计算在线样本在原始空间及隐空间中的全局相似度，使计算得到的权重能更好的描述测试样本与训练样本集之间的权重关系。之后建立多隐层加权动态模型，并通过加权线性回归模型计算得到测试样本的质量变量值。

本发明与现有技术相比具有的有益效果有：

一般情况下，通过离线实验室分析丁烷含量值往往需要花费数小时时间，这就会导致脱丁烷塔的控制滞后，本发明通过对脱丁烷塔中的过程变量和丁烷含量之间的关系建立概率模型，通过容易测量的变量对难以测量的丁烷含量值进行在线软测量，预测时间花费较短，预测结果较为准确，实现了脱丁烷塔中硫丁烷含量的在线估计。同时，该模型可以很好的描述数据在时序上的高阶动态关系，提高了模型的预测精度。

附图说明

图1为基于多隐层加权动态模型的工业高阶动态过程软测量方法的脱丁烷塔软测量结果。

图2为基于局部加权线性动态系统模型的的脱丁烷塔软测量结果。

图3为基于多隐层加权动态模型的工业高阶动态过程软测量方法的数值例子软测量结果。

图4为基于局部加权线性动态系统模型的的数值例子软测量结果。

具体实施方式

下面结合附图和实施例对本发明作进一步说明。

本发明针对脱丁烷塔中的丁烷含量检测问题，通过容易测量的过程变量，利用多隐层加权动态模型，对该过程中丁烷含量进行在线软测量。

本发明实施例及其实施过程如下：

第一步：通过集散控制系统和实时数据库系统收集脱丁烷塔中过程变量的数据组成训练样本集X，将这些数据存入历史数据库，并选取部分数据作为建模用样本。

第二步：通过现场抽取和离线实验室分析获取历史数据库中用于建模的样本所对应的丁烷含量值作为软测量模型的输出Y，将这些数据存入历史数据库。

该步骤是为了获取软测量建模中的质量变量，即脱丁烷塔中的丁烷含量。一般情况下，通过离线实验室分析丁烷含量值往往需要花费数小时，这就会导致脱丁烷塔的控制滞后。

第三步：引入滑动窗口，将训练样本集划分为多个训练子集，对每一个训练子集做归一化处理。对每一个归一化后的训练子集建立多隐层动态模型，并记录下模型参数，多隐层动态模型具体如下：

表示X’_η中第k组训练样本的多层隐变量值，L为隐变量层数，D为每层所包含的隐变量个数；/>表示X’_η中第k组训练样本的单层隐变量值，k＝1,2,...,K，/>

为X’_η中模型的转移概率矩阵。其中，A_η∈R^D×DL，I为单位矩阵；

为X’_η中模型的发射概率矩阵。其中，B_η∈R^M×D；

为X’_η第k组训练样本的转移噪声，/>其中Q_η∈R^{D ×D}；

为X’_η中第k组训练样本的发射噪声，f^η～N(0,W_η)，其中W_η∈R^M×M。

下面以第η个窗口中的训练子集为例给出具体实施步骤，每个训练子集的训练方法一致：

(1)在E步中，通过卡尔曼滤波，卡尔曼平滑方法并结合当前模型的参数值估计隐变量后验概率的期望。卡尔曼滤波具体公式如下：

其中，为X’_η中对第k组训练样本的隐变量均值的估计；/>为X’_η中的第k组训练样本；/>为/>的卡尔曼增益矩阵；/>为X’_η中对第k组训练样本的隐变量方差的估计；

接下来需要进行卡尔曼平滑操作，具体如下：

其中，为X’_η中/>的多层隐变量的卡尔曼平滑矩阵；/>为当前模型参数下在X’_η中对第k组训练样本的多层隐变量均值的估计值/> 为当前模型参数下在X’_η中对第k组训练样本的多层隐变量方差的估计值。在之后的后验概率期望计算及M步更新模型参数中，均在平滑后的/>和/>上进行计算。

在经过卡尔曼滤波和卡尔曼平滑操作后，需要计算隐变量后验概率的期望，具体计算方法如下：

其中，为包含在/>中的矩阵：

另外，还需提取中的/>用于计算后验概率，的组成如下：

(2)在M步中，通过令似然函数导数为零来更新模型参数，并对更新后的模型参数做归一化处理。模型更新的公式如下：

在更新完模型参数后，还需对模型参数做归一化处理，防止模型参数因为不断叠加而上溢，具体方法如下：

首先对Q_η做特征值分解：

Q_η＝GΛG^T

其中，G为特征向量，Λ为特征值。令下面对更新后的模型参数做归一化处理：

由此，通过上述(1)～(2)的EM算法反复迭代直到模型参数不再变化时第η个窗口的模型训练完成，记录下模型参数。该步重复次，得到/>个模型。

第四步：收集化工过程中的在线运行数据组成测试样本集。测试样本集仅包含过程变量。

第五步：每组测试样本的处理方法相同，下面以一组测试样本为例。首先计算该组测试样本与训练样本集在原始空间中的全局权重，具体如下：

其中，v为测试样本；x_t为训练样本集中第t组训练样本，t＝1,2,...,Tδ_t为v与x_t之间的相似度；u_t为v关于x_t在原始空间中的全局权重，该权重通过指数变换得到；a为权重控制参数。

接着计算该组测试样本关于训练样本集在隐空间中的全局权重，具体步骤如下：

(1)计算测试样本在每一个窗口中的多层隐变量值，每个窗口中训练得到的模型参数不同，因此隐变量值也不同，具体计算方法如下：

其中，为经过投影后在线样本在第η个窗口中的隐变量值；/>W_η为第3步中得到的模型参数。

(2)计算测试样本在每一个窗口中的窗口置信度，采用支持向量数据描述方法(SVDD)计算：

其中，v^*为测试样本v在高维的投影，c_η为X’_η经过(SVDD)方法得到的超球体的中心；r_η为X’_η经过(SVDD)方法得到的超球体的半径；φ_η为测试样本与X’_η的窗口置信度。

(3)计算与每一个训练子集中每一组训练样本的多层隐变量之间的相似度：

其中， 为第η个窗口中/>与v的多层隐变量/>之间的相似度。由此可以计算得到v与每一个训练子集中每一组训练样本的多层隐变量之间的相似度。

(4)计算测试样本与训练样本集在隐空间中的全局权重：首先对相似度做指数变换，得到新的相似度

其中，为/>经过指数变换的指数相似度；b为权重控制参数；

(5)由于训练样本集中的一组训练样本会存在于多个窗口中，且在窗口中的位置都不相同，因此需要将每一组训练样本在不同窗口中的指数相似度求和得到该组训练样本关于测试样本在隐空间中的全局权重，具体计算如下：

其中，为第t组训练样本的第j个指数相似度，具体是指在包含该训练样本的Γ个滑动窗口中，第j个滑动窗口通过(4)计算得到的测试样本和该训练样本之间的指数相似度。t＝1,2,...T，j＝1,2,...Γ，Γ表示包含第t个训练样本的所有滑动窗口总个数；/>为该组测试样本关于第t组训练样本在隐空间中的全局权重。

由此，通过上述(1)～(5)可以计算出一组测试样本关于训练样本集在隐空间中的全局权重

第六步：对原始训练样本集做减去均值，除以方差的归一化处理，具体如下：

X'为归一化后的训练样本集；μ为X中过程变量的均值；σ为X中过程变量的标准差。

根据原始空间全局权重，隐空间全局权重建立多隐层加权动态模型，模型如下：

z_t＝[h_t ^T,h_t-1 ^T,...,h_t-L ^T]^T∈R^DL×1表示X'中第t组训练样本的多层隐变量值，L为隐变量层数，D为隐变量个数；h_t∈R^D×1表示第t组训练样本的单层隐变量值。

为X'中模型的转移概率矩阵。其中，A∈R^D×DL，I为单位矩阵。

为X'中模型的发射概率矩阵。其中，B∈R^M×D。

e_t，f_t为服从高斯分布的噪声矩阵，其中Q∈R^D×D；f～N(0,W)，其中W∈R^M×M。

(1)在E步中，通过卡尔曼滤波，卡尔曼平滑方法并结合当前模型的参数值估计隐变量后验概率的期望。卡尔曼滤波具体公式如下：

其中，x_t为X'中第t组训练样本；z_t|t为X'中x_t的多层隐变量的均值的估计；K_t为X'中x_t的卡尔曼增益矩阵；V_t|t为X'中x_t的多层隐变量方差的估计；

接下来需要进行卡尔曼平滑操作，具体如下：

其中，J_t为X'中x_t的多层隐变量的卡尔曼平滑矩阵；为X'中x_t的多层隐变量均值的估计值/> 为X'中x_t的多层隐变量方差的估计值。在之后的后验概率期望计算及M步更新模型参数中，均在平滑后的/>和/>上进行计算。

在经过卡尔曼滤波和卡尔曼平滑操作后，需要计算隐变量的后验概率，具体计算方法如下：

其中，为包含在/>中的矩阵：

另外，还需提取中的/> 的组成如下：

(2)在M步中，通过令似然函数导数为零来更新模型参数，并对更新后的模型参数做归一化处理。模型更新的公式如下：

在更新完模型参数后，还需对模型参数做归一化处理，防止模型参数因为不断叠加而上溢，具体方法如下：

首先对Q做特征值分解：

Q＝GΛG^T

其中，G为特征向量，Λ为特征值的对角矩阵。令Q^1/2＝GΛ^1/2G^T，Q^-1/2＝GΛ^-1/2G^T。下面对更新后的模型参数做归一化处理：

A＝Q^-1/2Adiag(Q^1/2,Q^1/2,...,Q^1/2)

B＝BQ^1/2

由此，通过上述步骤(1)～(2)反复迭代直到模型参数不再变化时模型训练完成，记录下模型参数。

第七步：建立局部加权线性回归模型，并对在线样本的质量变量值进行在线估计，具体方法如下：

(1)根据原始空间中的全局权重u计算训练样本集质量变量的加权平均值：

(2)训练加权线性回归模型，得到模型参数：

b＝(Ydiag(u)H^T)(Hdiag(u)H^T)^-1

其中，b∈R^1×D为训练得到的模型参数；Y为训练样本集经过离线化验得到的质量变量；为步骤6中得到的多层隐变量/>提取第一层隐变量组成的矩阵；diag(u)为全局权重u的对角矩阵。

(3)通过投影计算出在线样本的隐变量值：

其中，W为第六步中训练得到的模型参数。

(4)估计在线样本的质量变量值：

/>

其中，为所要估计的在线样本的质量变量。

为了能更好的突出该模型对数据高阶动态特性的解释特性，对相同的脱丁烷塔数据采用局部加权线性动态系统模型(LWLDS)和多隐层加权动态模型进行软测量结果对比。

本方法的脱丁烷塔软测量结果如图1所示，RMSE为0.0316.图中直线为经过离线实验室分析得到的托丁烷塔真实值，散点为本方法在线估计得到的托丁烷塔质量变量的估计值；局部加权线性动态系统模型(LWLDS)软测量结果如图2所示RMSE为0.0366，可见本方法的软测量效果要优于局部加权线性动态系统。

数值例子构造如下：

其中 H_y＝[1.84129.9460]。e～N(0,0.01×I)，f～N(0,0.01×I)，g～N(0,0.01×I)。

本方法的数值例子软测量结果如图3所示，RMSE为5.4523。局部加权线性动态系统模型(LWLDS)软测量结果如图4所示RMSE为6.2298。

可见本方法的软测量效果要优于局部加权线性动态系统。

Claims (6)

1.基于多隐层加权动态模型的工业高阶动态过程软测量方法，其特征在于，包括以下步骤：

步骤1：采集化工过程中的正常运行数据组成训练样本集，并通过离线化验分析得到不同时刻下训练样本的质量变量值；

步骤2：引入滑动窗口，采用步长固定、长度固定的滑动窗扫描训练样本集，得到多个滑动窗口，将每个滑动窗口内包含的训练子集进行归一化处理；

步骤3：对每一个归一化后的训练子集建立多隐层动态模型，并记录下模型参数；

步骤4：收集化工过程中的在线运行数据组成测试样本集；

步骤5：对于每一组测试样本，计算该组测试样本与训练样本集在原始空间中的相似度；结合支持向量数据描述方法(SVDD)计算该组测试样本与每一个训练子集在隐空间的相似度；计算出该组测试样本关于训练样本集在原始空间和隐空间的全局权重；具体处理方法如下：

测试样本集包含多组测试样本，每组测试样本的处理方法一致，下面以一组测试样本为例：计算该组测试样本与训练样本集中每一组训练样本之间的相似度，并通过计算得到该组测试样本关于训练样本集在原始空间中的全局权重；

通过投影方法计算出该组测试样本在每个滑动窗口下的隐变量，每个窗口训练得到的模型参数不同，总共得到组不同的隐变量；对于每一个滑动窗口，计算该窗口下测试样本的隐变量与该窗口下模型中训练子集的隐变量之间的相似度；通过支持向量数据描述方法计算测试样本与每一个滑动窗的窗口置信度；最后结合得到该组测试样本关于训练样本集在隐空间中的全局权重；

步骤6：根据全局权重建立多隐层加权动态模型，并记录下模型参数；

步骤7：建立局部加权线性回归模型，得到该组测试样本的质量变量值。

2.根据权利要求1所述的基于多隐层加权动态模型的工业高阶动态过程软测量方法，其特征在于：所述步骤1中处理方法具体是：

训练样本集通过集散控制系统采集得到；训练样本集包含多组训练样本，每组训练样本包含多个过程变量，由此组成原始训练样本集X＝{x₁,x₂,...,x_T}∈R^M×T，其中M为过程变量个数，T为训练样本集的长度；每组训练样本的质量变量通过离线化验得到，记为Y＝{y₁,y₂,...,y_T}∈R^1×T。

3.根据权利要求1所述的基于多隐层加权动态模型的工业高阶动态过程软测量方法，其特征在于：所述步骤2中处理方法具体是：

若滑动窗的步长为P，滑动窗的窗口长度为K，则可以计算得到划分的窗口总个数为即训练子集个数为/>个；每个窗口内训练子集不完全相同，每个训练子集的归一化方法相同，均为减去均值，再除以标准差的归一化操作。

4.根据权利要求1所述的基于多隐层加权动态模型的工业高阶动态过程软测量方法，其特征在于：所述步骤3中处理方法具体是：

步骤3中每个归一化的训练子集处理方法相同：对每一个归一化后的训练子集建立多隐层动态模型；通过EM算法反复迭代来得到模型参数；在E步中，通过卡尔曼滤波，卡尔曼平滑方法并结合当前模型的参数估计隐变量后验概率的期望；在M步中，通过极大化似然函数来更新模型参数，并在每一次更新模型参数后对模型参数做一次归一化处理，总共训练个模型。

5.根据权利要求1所述的基于多隐层加权动态模型的工业高阶动态过程软测量方法，其特征在于：所述步骤6具体处理方法如下：

对训练样本集做减去均值，除以标准差的归一化处理，并根据原始空间全局权重，隐空间全局权重建立多隐层加权动态模型；通过EM算法反复迭代来得到模型参数；在E步中，通过卡尔曼滤波，卡尔曼平滑方法并结合当前模型的参数值估计隐变量后验概率的期望；在M步中，通过令似然函数导数为零来更新模型参数，并对每一次更新后的模型参数做一次归一化处理；反复迭代直到似然函数收敛时记录下模型参数，该步骤总共训练得到一个多隐层加权动态模型。

6.根据权利要求1所述的基于多隐层加权动态模型的工业高阶动态过程软测量方法，其特征在于：所述步骤7具体处理方法如下：

根据步骤6中计算得到的模型参数，通过投影的方法计算出测试样本在隐空间中的变量值；训练局部加权线性回归模型，得到模型参数，估计出测试样本的质量变量值。