CN110083065B - 一种基于流式变分贝叶斯有监督因子分析的自适应软测量方法 - Google Patents
一种基于流式变分贝叶斯有监督因子分析的自适应软测量方法 Download PDFInfo
- Publication number
- CN110083065B CN110083065B CN201910421467.6A CN201910421467A CN110083065B CN 110083065 B CN110083065 B CN 110083065B CN 201910421467 A CN201910421467 A CN 201910421467A CN 110083065 B CN110083065 B CN 110083065B
- Authority
- CN
- China
- Prior art keywords
- new
- representing
- expectation
- parameters
- matrix
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
- G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
- G05B13/04—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators
- G05B13/042—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators in which a parameter or coefficient is automatically adjusted to optimise the performance
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
- G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
- G05B13/04—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators
- G05B13/048—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators using a predictor
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Complex Calculations (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于流式变分贝叶斯有监督因子分析的自适应软测量方法,该方法在原始的有监督概率因子分析模型的基础上,引入流式变分推断方法,可根据实际数据流的变化而实时更新模型参数的后验分布,并为适应工业过程时变性,在更新过程中引入对称相对熵来决定先验分布的选取,从而实现模型的自适应更新;本发明能够有效面对实际工业过程中的时变特性,在一定程度上缓解了过拟合,并提高了模型更新效率,达到了针对关键质量变量时变的自适应软测量的目的。
Description
技术领域
本发明属于工业过程控制及软测量领域,涉及一种基于流式变分贝叶斯有监督因子分析 的自适应软测量方法。
背景技术
面对现代工业过程日趋复杂的现状,只有实现了安全、稳定的运行,才能获得最大的经 济效益,为了能够及时有效地监控系统运行状态、实现过程平稳控制、快速跟踪产品质量, 过程关键产品质量和参数的检测显得极为重要。
在大多数工业过程中,由于过程环境的改变、平台仪器设备的老化、原材料进料变化以 及催化剂活性退化等各种因素,过程物理化学特性处在不断的变化之中,因而其运行工况经 常发生变化。时变过程不同于以往研究的工业过程,其容易导致软测量模型精度的不断下降。 建模样本代表过程过去状态和工况信息,在过去建模样本上训练好的软测量模型与已经发生 了状态变化的当前过程无法匹配,从而不能精确地预测输出变量值。为了正确跟踪过程状态, 需要对软测量模型进行及时自适应更新和校正。而传统的因子分析方法建立的模型是固定的、 非时变的,用于实时过程的在线预测容易出现模型不匹配和误报现象,直接影响软测量的有 效性。针对工业过程的时变特性,因此有专家提出了递推方法、滑动窗方法和即时学习等有 效策略,但也存在着一定的局限。本发明针对时变过程,结合流式变分贝叶斯方法,缓解了 过拟合问题,并提高了模型更新效率。
发明内容
针对目前工业过程时变特性,本发明提出了一种基于流式变分贝叶斯有监督因子分析的 自适应软测量方法,该方法将流式变分推断和有监督因子分析结合,并引入了对称相对熵来 决定先验的选取,实现了工业过程的自适应软测量。
本发明是通过以下具体技术方案实现的:一种基于流式变分贝叶斯有监督因子分析的自 适应软测量方法,具体步骤如下:
(1)初始化先验超参数a,b,ρ,变分超参数λ和τ,并收集历史工业过程中的训练数据 Fnm=[X,Y]T,F∈RN×M,X是过程变量,Y表示质量变量,N表示样本个数,M表示变量个 数,R表示实数集;
通过下式计算变分超参数λ和τ:
其中,Eq(Θ)表示参数期望,lnp(F,Θ)表示联合概率分布的对数似然,lnq(Θ)变分参数 概率分布的对数似然;
其中,λt表示隐因子的期望,τx表示x上噪声方差,<Wx>表示x上负载矩阵的期望,<μx> 表示x上均值的期望;
其中,<Wy>表示y上负载矩阵的期望,<μy>表示y上均值的期望;
(3)当质量变量Ynew的输出获得时得到新训练数据Fnew=(Xnew,Ynew),将步骤(1)中得到 的后验分布q(θ)作为此次的先验分布,并通过下式更新参数t,W,μ,τ,其中参数W,μ的更新 公式变更为:
(4)通过下式计算步骤(3)新旧分布之间的对称相对熵KL(old,new):
当结果小于设定的阈值SKLts时,通过步骤(3)更新参数t,W,μ,τ;否则,初始化参数变分超参数λ的先验;
(5)当有新训练集获得时,重复步骤(2)至步骤(4),实现自适应软测量。
与现有技术相比,本发明具有的有益效果是:针对实际过程的时变特性,创新性地引入 流式变分贝叶斯方法,将传统的有监督因子分析扩展成自适应软测量模型;想较于其他的传 统自适应软测量模型本发明的优势主要体现在缓解了过拟合,降低了预测误差,并提高了模 型更新效率。
附图说明
图1是变分贝叶斯有监督因子分析的预测输出结果图;
图2是即时学习变分贝叶斯有监督因子分析的预测输出结果图;
图3是滑动窗变分贝叶斯有监督因子分析的预测输出结果图;
图4是流式变分贝叶斯有监督因子分析的预测输出结果图。
具体实施方式
下面结合具体实施方式对本发明基于流式变分贝叶斯有监督因子分析的自适应工业软测 量方法作进一步的详述。
一种基于流式变分贝叶斯有监督因子分析的自适应软测量方法,其中,所述的流式变分 贝叶斯有监督因子分析的自适应软测量方法步骤如下:
(1)初始化先验超参数a,b,ρ,变分超参数λ和τ,并收集历史工业过程中的训练数据Fnm=[X,Y]T,F∈RN×M,X是过程变量,Y表示质量变量,N表示样本个数,M表示变量个 数,R表示实数集;
通过下式计算变分超参数λ和τ:
其中,Eq(Θ)表示参数期望,lnp(F,Θ)表示联合概率分布的对数似然,lnq(Θ)变分参数 概率分布的对数似然;
其中,λt表示隐因子的期望,τx表示x上噪声方差,<Wx>表示x上负载矩阵的期望,<μx> 表示x上均值的期望;
其中,<Wy>表示y上负载矩阵的期望,<μy>表示y上均值的期望;
(3)当质量变量Ynew的输出获得时得到新训练数据Fnew=(Xnew,Ynew),将步骤1中得到 的后验分布q(θ)作为此次的先验分布,并通过下式更新参数t,W,μ,τ,其中参数W,μ的更新 公式变更为:
(4)通过下式计算步骤3新旧分布之间的对称相对熵KL(old,new):
当结果小于设定的阈值SKLts时,我们认为新旧分布之间的差异不是很大,也就是说过程 状态并没有发生明显的变化,因此通过步骤3更新参数t,W,μ,τ;否则,我们认为过程状态 发生了明显的变化,故初始化参数变分超参数λ的先验;至此,上述模型拥有了自适应更新 能力。简而言之,针对实际过程的时变特性,我们创新性地引入流式变分贝叶斯方法,将传 统的有监督因子分析扩展成自适应软测量模型;想较于其他的传统自适应软测量模型本发明 的优势在一定程度上提高了模型更新效率,只需要更新模型参数而不需要重新建模。
(5)当有新训练集获得时,重复步骤2至步骤4,实现自适应软测量。
此外,均方根误差(RMSE)对预测性能进行定量评价,表达式如下所示:
实施例
以下结合一个具体的合成氨生产过程中的甲烷化炉单元例子来说明流式变分贝叶斯因子 分析模型的性能。氢作为其中一种生产材料,是由过程中的甲烷脱碳装置产生的。然而,碳 元素仍然以一氧化碳和二氧化碳的形式存在于过程气体中。甲烷化炉单元的主要功能是将CO 和CO2转化为甲烷,而甲烷将会被转移并回收利用。在这个单元中,我们的目标是在过程气 体中最大程度地减少CO和CO2的含量。因此,首要也是最重要的程序是测量单元出口的剩 余CO和CO2的含量,并将其作为一个关键质量变量。这里我们将10个过程变量作为软测量 建模的输入,其中包括流量、压力、温度和液位。
针对该过程,连续等时间间隔采集了95000个样本。最初的5000个样本组成了原始的训 练数据集,剩下的90000个样本作为测试样本。利用基本的变分贝叶斯因子分析方法建立基 于原始训练数据的软测量模型,然后用它来预测测试样本构成静态模型,结果如图1所示。 显然,可以看到,单一静态模型无法描述过程的变化特征。当过程状态发生变化时,原始模 型会随着预测性能的恶化而呈现退化,模型基本失效。为了跟踪状态的变化特性,验证本发 明的自适应软测量方法,对比了即时学习变分贝叶斯有监督因子分析和滑动窗变分贝叶斯有 监督因子分析方法,分别如图2、3、4所示。其中,对于即时学习,其局部建模的样本数量 与原始的训练数据集(5000个样本)相同;对于滑动窗,其窗口大小设置为5000,窗口步长 设置为100;对于本发明方法,每一个小批次Xnew,大小为100。在图2中,虽然即时学习变分 贝叶斯有监督因子分析模型可以跟踪整个趋势,存在较大的偏差。此外,状态转移后的性能 不稳定,比滑动窗方法更差。从图3中可以看出,滑动窗变分贝叶斯有监督因子分析方法可 以较粗略地跟踪状态变化,但是在第二个状态切换后效果不是非常理想。一开始波动较大, 误差较大,但结果逐渐稳定,在后续预测中表现良好。相反,从图4中可以看出本发明方法 进一步提高了软测量模型的适应性,其输出更接近真实值。通过图1-图4可以看出本发明的 流式变分贝叶斯有监督因子分析的预测误差更小,跟踪效果要更好。表1给出了三种自适应 软测量模型的详细预测结果。可以看出,本发明方法比滑动窗和即时学习方法具有更小的 RMSE和更短的自适应更新时间。
表1三种自适应方法的预测效果和计算时间
Claims (1)
1.一种基于流式变分贝叶斯有监督因子分析的自适应软测量方法,其特征在于,所述自适应软测量方法包括以下步骤:
(1)初始化先验超参数a,b,ρ,变分超参数λ和τ,并收集历史工业过程中的训练数据Fnm=[X,Y]T,F∈RN×M,X是过程变量,Y表示质量变量,N表示样本个数,M表示变量个数,R表示实数集;
通过下式计算变分超参数λ和τ:
其中,Eq(Θ)表示参数期望,lnp(F,Θ)表示联合概率分布的对数似然,lnq(Θ)变分参数概率分布的对数似然;
其中,λt表示隐因子的期望,τx表示x上噪声方差,<Wx>表示x上负载矩阵的期望,<μx>表示x上均值的期望;
其中,<Wy>表示y上负载矩阵的期望,<μy>表示y上均值的期望;
(3)当质量变量Ynew的输出获得时得到新训练数据Fnew=(Xnew,Ynew),将步骤(1)中得到的后验分布q(θ)作为此次的先验分布,并通过下式更新参数t,W,μ,τ,其中参数W,μ的更新公式变更为:
(4)通过下式计算步骤(3)新旧分布之间的对称相对熵KL(old,new):
当结果小于设定的阈值SKLts时,通过步骤(3)更新参数t,W,μ,τ;否则,初始化参数变分超参数λ的先验;
(5)当有新训练集获得时,重复步骤(2)至步骤(4),实现自适应软测量。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910421467.6A CN110083065B (zh) | 2019-05-21 | 2019-05-21 | 一种基于流式变分贝叶斯有监督因子分析的自适应软测量方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910421467.6A CN110083065B (zh) | 2019-05-21 | 2019-05-21 | 一种基于流式变分贝叶斯有监督因子分析的自适应软测量方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110083065A CN110083065A (zh) | 2019-08-02 |
CN110083065B true CN110083065B (zh) | 2020-07-10 |
Family
ID=67421043
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910421467.6A Active CN110083065B (zh) | 2019-05-21 | 2019-05-21 | 一种基于流式变分贝叶斯有监督因子分析的自适应软测量方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110083065B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110766069B (zh) * | 2019-10-22 | 2022-03-18 | 中国人民解放军国防科技大学 | 基于最优值迭代的多任务学习模型训练以及预测方法 |
CN111650894A (zh) * | 2020-04-02 | 2020-09-11 | 中国计量大学 | 一种基于隐变量的贝叶斯网络复杂工业过程软测量方法 |
CN112541558A (zh) * | 2020-09-18 | 2021-03-23 | 江苏师范大学 | 一种基于不完整数据的贝叶斯半监督鲁棒ppls软测量方法 |
CN113570070B (zh) * | 2021-09-23 | 2022-01-07 | 深圳市信润富联数字科技有限公司 | 流式数据采样与模型更新方法、装置、系统与存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102708294A (zh) * | 2012-05-11 | 2012-10-03 | 上海交通大学 | 基于半监督局部线性回归的自适应参数软测量方法 |
CN108628164A (zh) * | 2018-03-30 | 2018-10-09 | 浙江大学 | 一种基于循环神经网络模型的工业过程半监督软测量方法 |
CN108664706A (zh) * | 2018-04-16 | 2018-10-16 | 浙江大学 | 一种基于半监督贝叶斯高斯混合模型的合成氨过程一段炉氧气含量在线估计方法 |
CN108804784A (zh) * | 2018-05-25 | 2018-11-13 | 江南大学 | 一种基于贝叶斯高斯混合模型的即时学习软测量建模方法 |
-
2019
- 2019-05-21 CN CN201910421467.6A patent/CN110083065B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102708294A (zh) * | 2012-05-11 | 2012-10-03 | 上海交通大学 | 基于半监督局部线性回归的自适应参数软测量方法 |
CN108628164A (zh) * | 2018-03-30 | 2018-10-09 | 浙江大学 | 一种基于循环神经网络模型的工业过程半监督软测量方法 |
CN108664706A (zh) * | 2018-04-16 | 2018-10-16 | 浙江大学 | 一种基于半监督贝叶斯高斯混合模型的合成氨过程一段炉氧气含量在线估计方法 |
CN108804784A (zh) * | 2018-05-25 | 2018-11-13 | 江南大学 | 一种基于贝叶斯高斯混合模型的即时学习软测量建模方法 |
Non-Patent Citations (2)
Title |
---|
Locally weighted prediction methods for latent;Le Yao等;《IEEE TRANSACTIONS ON AUTOMATION SCIENCE AND ENGINEERING》;20170131;第394-410页 * |
Quality variable prediction for chemical;Weiming Shao等;《Chemical Engineering Science》;20180920;第126-138页 * |
Also Published As
Publication number | Publication date |
---|---|
CN110083065A (zh) | 2019-08-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110083065B (zh) | 一种基于流式变分贝叶斯有监督因子分析的自适应软测量方法 | |
CN110705692B (zh) | 一种时空注意力网络的非线性动态工业过程产品预测方法 | |
CN116757534B (zh) | 一种基于神经训练网络的智能冰箱可靠性分析方法 | |
Liu et al. | Operating optimality assessment and nonoptimal cause identification for non-Gaussian multimode processes with transitions | |
CN112085254B (zh) | 基于多重分形协同度量门控循环单元的预测方法及模型 | |
CN111652310B (zh) | 基于Bagging框架SVM继电器贮存寿命预测方法 | |
CN112650063B (zh) | 一种基于半监督增量高斯混合回归的自适应软测量方法 | |
CN107895224A (zh) | 一种基于扩展核熵负载矩阵的mkeca发酵过程故障监测方法 | |
CN104462850A (zh) | 基于模糊高斯混合模型的多阶段间歇过程软测量方法 | |
CN111723527A (zh) | 基于鸡尾酒长短期记忆神经网络的齿轮剩余寿命的预测方法 | |
CN113012766A (zh) | 一种基于在线选择性集成的自适应软测量建模方法 | |
CN113409072A (zh) | 一种经验模态分解和分布式gru神经网络及价格预测方法 | |
CN115422687A (zh) | 一种滚动轴承的寿命预测方法 | |
CN113011102B (zh) | 基于多元时间序列的Attention-LSTM的青霉素发酵过程故障预测方法 | |
CN113159395A (zh) | 一种基于深度学习的污水处理厂进水流量预测方法及系统 | |
CN116662925A (zh) | 一种基于加权稀疏神经网络工业过程软测量方法 | |
CN114692738A (zh) | 一种轻量级实时时间序列异常检测方法 | |
CN110197022B (zh) | 面向流式大数据的并行概率变分软测量建模方法 | |
CN113126489A (zh) | 一种基于cnn-gru-binn的重型燃气轮机控制系统智能bit设计方法 | |
CN111650894A (zh) | 一种基于隐变量的贝叶斯网络复杂工业过程软测量方法 | |
CN111797574A (zh) | 聚合物分子量分布的集成高斯过程回归模型方法 | |
Li et al. | A novel incremental gaussian mixture regression and its application for time-varying multimodal process quality prediction | |
Kumar et al. | Analysis of Invoice Management System using Regression techniques with improved loss functions | |
Dai et al. | Incremental Gaussian mixture model for time-varying process monitoring | |
Yinghua et al. | Research of Quality Prediction Based on Extreme Learning Machine |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |