CN110083065A - 一种基于流式变分贝叶斯有监督因子分析的自适应软测量方法 - Google Patents

Abstract

本发明公开了一种基于流式变分贝叶斯有监督因子分析的自适应软测量方法，该方法在原始的有监督概率因子分析模型的基础上，引入流式变分推断方法，可根据实际数据流的变化而实时更新模型参数的后验分布，并为适应工业过程时变性，在更新过程中引入对称相对熵来决定先验分布的选取，从而实现模型的自适应更新；本发明能够有效面对实际工业过程中的时变特性，在一定程度上缓解了过拟合，并提高了模型更新效率，达到了针对关键质量变量时变的自适应软测量的目的。

Description

一种基于流式变分贝叶斯有监督因子分析的自适应软测量 方法

技术领域

本发明属于工业过程控制及软测量领域，涉及一种基于流式变分贝叶斯有监督因子分析 的自适应软测量方法。

背景技术

面对现代工业过程日趋复杂的现状，只有实现了安全、稳定的运行，才能获得最大的经 济效益，为了能够及时有效地监控系统运行状态、实现过程平稳控制、快速跟踪产品质量， 过程关键产品质量和参数的检测显得极为重要。

在大多数工业过程中，由于过程环境的改变、平台仪器设备的老化、原材料进料变化以 及催化剂活性退化等各种因素，过程物理化学特性处在不断的变化之中，因而其运行工况经 常发生变化。时变过程不同于以往研究的工业过程，其容易导致软测量模型精度的不断下降。 建模样本代表过程过去状态和工况信息，在过去建模样本上训练好的软测量模型与已经发生 了状态变化的当前过程无法匹配，从而不能精确地预测输出变量值。为了正确跟踪过程状态， 需要对软测量模型进行及时自适应更新和校正。而传统的因子分析方法建立的模型是固定的、 非时变的，用于实时过程的在线预测容易出现模型不匹配和误报现象，直接影响软测量的有 效性。针对工业过程的时变特性，因此有专家提出了递推方法、滑动窗方法和即时学习等有 效策略，但也存在着一定的局限。本发明针对时变过程，结合流式变分贝叶斯方法，缓解了 过拟合问题，并提高了模型更新效率。

发明内容

针对目前工业过程时变特性，本发明提出了一种基于流式变分贝叶斯有监督因子分析的 自适应软测量方法，该方法将流式变分推断和有监督因子分析结合，并引入了对称相对熵来 决定先验的选取，实现了工业过程的自适应软测量。

本发明是通过以下具体技术方案实现的：一种基于流式变分贝叶斯有监督因子分析的自 适应软测量方法，具体步骤如下：

(1)初始化先验超参数a，b，ρ，变分超参数λ和τ，并收集历史工业过程中的训练数据 F_nm＝[X，Y]^T，F∈R^N×M，X是过程变量，Y表示质量变量，N表示样本个数，M表示变量个 数，R表示实数集；

通过下式计算变分超参数λ和τ：

其中，表示隐变量t的均值，表示隐变量t的方差，τ_m表示噪声方差，<W_m>表示负载矩阵W_m的期望，<μ_m>表示均值μ_m的期望F_mn表示训练数据，I表示单位 矩阵。

其中，表示负载矩阵W_m的均值，表示负载矩阵W_m的方差，<t_n>表示隐变量t的 期望diag<α>表示α的对角矩阵，

其中，和表示α的参数，

其中，表示μ_m均值，表示μ_m方差。

其中，表示期望；

保持上述参数更新直到最大变分上界收敛或者迭代次数达到最大并得到后验分布 q(θ)，其中如下式所示：

其中，E_q(Θ)表示参数期望，lnp(F，Θ)表示联合概率分布的对数似然，lnq(Θ)变分参数 概率分布的对数似然；

(2)当新过程变量X_new流过来时，隐因子可由下式得到：

其中，λ_t表示隐因子的期望，τ_x表示x上噪声方差，<W_x>表示x上负载矩阵的期望，<μ_x> 表示x上均值的期望；

那么软测量预测结果为：

其中，<W_y>表示y上负载矩阵的期望，<μ_y>表示y上均值的期望；

(3)当质量变量Y_new的输出获得时得到新训练数据F_new＝(X_new，Y_new)，将步骤(1)中得到 的后验分布q(θ)作为此次的先验分布，并通过下式更新参数t，W，μ，τ，其中参数W，μ的更新 公式变更为：

这里，表示通过计算新训练数据F_new得到的后验分布，最终得到新旧分 布并不断更新参数直到更新模式下的最大变分上界收敛或者迭代次数达到最大，其中 为：

(4)通过下式计算步骤(3)新旧分布之间的对称相对熵KL(old，new)：

其中，μ_old和∑_old表示旧分布的均值和方差，μ_new表示∑_new表示新分布的均值和方差， 表示矩阵的迹，和表示矩阵的逆。

当结果小于设定的阈值SKL_ts时，通过步骤(3)更新参数t，W，μ，τ；否则，初始化参数变分超参数λ的先验；

(5)当有新训练集获得时，重复步骤(2)至步骤(4)，实现自适应软测量。

与现有技术相比，本发明具有的有益效果是：针对实际过程的时变特性，创新性地引入 流式变分贝叶斯方法，将传统的有监督因子分析扩展成自适应软测量模型；想较于其他的传 统自适应软测量模型本发明的优势主要体现在缓解了过拟合，降低了预测误差，并提高了模 型更新效率。

附图说明

图1是变分贝叶斯有监督因子分析的预测输出结果图；

图2是即时学习变分贝叶斯有监督因子分析的预测输出结果图；

图3是滑动窗变分贝叶斯有监督因子分析的预测输出结果图；

图4是流式变分贝叶斯有监督因子分析的预测输出结果图。

具体实施方式

下面结合具体实施方式对本发明基于流式变分贝叶斯有监督因子分析的自适应工业软测 量方法作进一步的详述。

一种基于流式变分贝叶斯有监督因子分析的自适应软测量方法，其中，所述的流式变分 贝叶斯有监督因子分析的自适应软测量方法步骤如下：

(1)初始化先验超参数a，b，ρ，变分超参数λ和τ，并收集历史工业过程中的训练数据F_nm＝[X，Y]^T，F∈R^N×M，X是过程变量，Y表示质量变量，N表示样本个数，M表示变量个 数，R表示实数集；

通过下式计算变分超参数λ和τ：

其中，表示隐变量t的均值，表示隐变量t的方差，τ_m表示噪声方差，<W_m>表示负载矩阵W_m的期望，<μ_m>表示均值μ_m的期望F_mn表示训练数据，I表示单位 矩阵。

其中，表示负载矩阵W_m的均值，表示负载矩阵W_m的方差，<t_n>表示隐变量t的 期望diag<α>表示α的对角矩阵，

其中，和表示α的参数，a和b表示α的先验参数，

其中，表示μ_m均值，表示μ_m方差。

其中，表示期望；

保持上述参数更新直到最大变分上界收敛或者迭代次数达到最大并得到后验分布 q(θ)，其中如下式所示：

其中，E_q(Θ)表示参数期望，lnp(F，Θ)表示联合概率分布的对数似然，lnq(Θ)变分参数 概率分布的对数似然；

(2)当新过程变量X_new流过来时，隐因子可由下式得到：

其中，λ_t表示隐因子的期望，τ_x表示x上噪声方差，<W_x>表示x上负载矩阵的期望，<μ_x> 表示x上均值的期望；

那么软测量预测结果为：

其中，<W_y>表示y上负载矩阵的期望，<μ_y>表示y上均值的期望；

(3)当质量变量Y_new的输出获得时得到新训练数据F_new＝(X_new，Y_new)，将步骤1中得到 的后验分布q(θ)作为此次的先验分布，并通过下式更新参数t，W，μ，τ，其中参数W，μ的更新 公式变更为：

这里，表示通过计算新训练数据F_new得到的后验分布，最终得到新旧分 布并不断更新参数直到更新模式下的最大变分上界收敛或者迭代次数达到最大，其中 为：

(4)通过下式计算步骤3新旧分布之间的对称相对熵KL(old，new)：

其中，μ_old和∑_old表示旧分布的均值和方差，μ_new表示∑_new表示新分布的均值和方差， 表示矩阵的迹，和表示矩阵的逆。

当结果小于设定的阈值SKL_ts时，我们认为新旧分布之间的差异不是很大，也就是说过程 状态并没有发生明显的变化，因此通过步骤3更新参数t，W，μ，τ；否则，我们认为过程状态 发生了明显的变化，故初始化参数变分超参数λ的先验；至此，上述模型拥有了自适应更新 能力。简而言之，针对实际过程的时变特性，我们创新性地引入流式变分贝叶斯方法，将传 统的有监督因子分析扩展成自适应软测量模型；想较于其他的传统自适应软测量模型本发明 的优势在一定程度上提高了模型更新效率，只需要更新模型参数而不需要重新建模。

(5)当有新训练集获得时，重复步骤2至步骤4，实现自适应软测量。

此外，均方根误差(RMSE)对预测性能进行定量评价，表达式如下所示：

其中，y_i是输出变量的真实值，是模型的预测输出，Nt表示在线测试样本的个数。

实施例

以下结合一个具体的合成氨生产过程中的甲烷化炉单元例子来说明流式变分贝叶斯因子 分析模型的性能。氢作为其中一种生产材料，是由过程中的甲烷脱碳装置产生的。然而，碳 元素仍然以一氧化碳和二氧化碳的形式存在于过程气体中。甲烷化炉单元的主要功能是将CO 和CO₂转化为甲烷，而甲烷将会被转移并回收利用。在这个单元中，我们的目标是在过程气 体中最大程度地减少CO和CO₂的含量。因此，首要也是最重要的程序是测量单元出口的剩 余CO和CO₂的含量，并将其作为一个关键质量变量。这里我们将10个过程变量作为软测量 建模的输入，其中包括流量、压力、温度和液位。

针对该过程，连续等时间间隔采集了95000个样本。最初的5000个样本组成了原始的训 练数据集，剩下的90000个样本作为测试样本。利用基本的变分贝叶斯因子分析方法建立基 于原始训练数据的软测量模型，然后用它来预测测试样本构成静态模型，结果如图1所示。 显然，可以看到，单一静态模型无法描述过程的变化特征。当过程状态发生变化时，原始模 型会随着预测性能的恶化而呈现退化，模型基本失效。为了跟踪状态的变化特性，验证本发 明的自适应软测量方法，对比了即时学习变分贝叶斯有监督因子分析和滑动窗变分贝叶斯有 监督因子分析方法，分别如图2、3、4所示。其中，对于即时学习，其局部建模的样本数量 与原始的训练数据集(5000个样本)相同；对于滑动窗，其窗口大小设置为5000，窗口步长 设置为100；对于本发明方法，每一个小批次X_new，大小为100。在图2中，虽然即时学习变分 贝叶斯有监督因子分析模型可以跟踪整个趋势，存在较大的偏差。此外，状态转移后的性能 不稳定，比滑动窗方法更差。从图3中可以看出，滑动窗变分贝叶斯有监督因子分析方法可 以较粗略地跟踪状态变化，但是在第二个状态切换后效果不是非常理想。一开始波动较大， 误差较大，但结果逐渐稳定，在后续预测中表现良好。相反，从图4中可以看出本发明方法 进一步提高了软测量模型的适应性，其输出更接近真实值。通过图1-图4可以看出本发明的 流式变分贝叶斯有监督因子分析的预测误差更小，跟踪效果要更好。表1给出了三种自适应 软测量模型的详细预测结果。可以看出，本发明方法比滑动窗和即时学习方法具有更小的 RMSE和更短的自适应更新时间。

表1三种自适应方法的预测效果和计算时间

Claims (1)

1.一种基于流式变分贝叶斯有监督因子分析的自适应软测量方法，其特征在于，所述自适应软测量方法包括以下步骤：

(1)初始化先验超参数a，b，ρ，变分超参数λ和τ，并收集历史工业过程中的训练数据F_nm＝[X，Y]^T，F∈R^N×M，X是过程变量，Y表示质量变量，N表示样本个数，M表示变量个数，R表示实数集；

通过下式计算变分超参数λ和τ：

其中，表示隐变量t的均值，表示隐变量t的方差，τ_m表示噪声方差，<W_m>表示负载矩阵W_m的期望，<μ_m>表示均值μ_m的期望F_mn表示训练数据，I表示单位矩阵。

其中，表示负载矩阵W_m的均值，表示负载矩阵W_m的方差，<t_n>表示隐变量t的期望diag<α>表示α的对角矩阵，

其中，和表示α的参数，

其中，表示μ_m均值，表示μ_m方差。

其中，表示期望；

保持上述参数更新直到最大变分上界收敛或者迭代次数达到最大并得到后验分布q(θ)，其中如下式所示：

其中，E_q(Θ)表示参数期望，ln p(F，Θ)表示联合概率分布的对数似然，ln q(Θ)变分参数概率分布的对数似然；

(2)当新过程变量X_new流过来时，隐因子可由下式得到：

其中，λ_t表示隐因子的期望，τ_x表示x上噪声方差，<W_x>表示x上负载矩阵的期望，<μ_x>表示x上均值的期望；

那么软测量预测结果为：

其中，<W_y>表示y上负载矩阵的期望，<μ_y>表示y上均值的期望；

(3)当质量变量Y_new的输出获得时得到新训练数据F_new＝(X_new，Y_new)，将步骤(1)中得到的后验分布q(θ)作为此次的先验分布，并通过下式更新参数t，W，μ，τ，其中参数W，μ的更新公式变更为：

这里，表示通过计算新训练数据F_new得到的后验分布，最终得到新旧分布并不断更新参数直到更新模式下的最大变分上界收敛或者迭代次数达到最大，其中为：

(4)通过下式计算步骤(3)新旧分布之间的对称相对熵KL(old，new)：

其中，μ_old和∑_old表示旧分布的均值和方差，μ_new表示∑_new表示新分布的均值和方差，表示矩阵的迹，和表示矩阵的逆。

当结果小于设定的阈值SKL_ts时，通过步骤(3)更新参数t，W，μ，τ；否则，初始化参数变分超参数λ的先验；

(5)当有新训练集获得时，重复步骤(2)至步骤(4)，实现自适应软测量。