CN109902378B - 基于多模型迁移和bma理论的复杂工业过程低成本建模方法 - Google Patents
基于多模型迁移和bma理论的复杂工业过程低成本建模方法 Download PDFInfo
- Publication number
- CN109902378B CN109902378B CN201910138294.7A CN201910138294A CN109902378B CN 109902378 B CN109902378 B CN 109902378B CN 201910138294 A CN201910138294 A CN 201910138294A CN 109902378 B CN109902378 B CN 109902378B
- Authority
- CN
- China
- Prior art keywords
- industrial process
- model
- old
- data
- migration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- General Factory Administration (AREA)
Abstract
本发明公开了一种基于多模型迁移和BMA理论的复杂工业过程低成本建模方法,属于工业生产过程构建性能预测模型技术领域。本发明利用拉丁超立方采集新工业过程建模的初始数据集;然后确定相似旧工业过程模型,利用贝叶斯模型平均理论评估旧工业过程模型对新工业过程建模的权重,得到旧工业过程的融合输出;最后通过多模型迁移策略迁移旧工业过程的有用信息并结合少量新工业过程数据完成新工业过程建模。同时设计了基于嵌套拉丁超立方设计的序贯实验采集新工业过程的最小建模数据集。本发明有效解决了复杂工业过程建模成本高、建模周期长的问题,降低了建模成本,加快了建模速度,提高了建模精度。
Description
技术领域
本发明提出一种基于多模型迁移和贝叶斯模型平均理论的复杂工业过程低成本建模方法,属于工业生产过程构建性能预测模型技术领域。
背景技术
随着市场竞争的日益激烈,以低成本快速准确地建立工业过程的性能预测模型已经是工业生产领域中的一种趋势。然而由于工业过程运行数据不足,传统的建模方法在有限的预算和时间难以快速准确的建立过程性能预测模型,而设计实验采集数据耗时费力,又增加过程建模成本。为了解决此问题,基于多模型方法建立新工业过程预测模型的方法应运而生。Cheng Lin等人对电动车电池建立了Thevenin模型,双极化模型,3阶RC模型评估其充电状态;Nandola等人对非线性混合模型分别建立多个线性子模型对其进行优化控制。
然而这两种方式实质上都只关注于一个过程而不是多个相似的过程,因此忽略了多个相似工业过程之间有用的信息。
发明内容
为了实现上述目的,本发明提供了一种基于多模型迁移和BMA理论的复杂工业过程低成本建模方法,此处BMA理论指贝叶斯模型平均理论(Bayesian Model Averaging)。工业生产中存在大量相似的过程并且它们之间是相互关联的,尽管它们在尺寸、结构等方面存在差异,但是它们的内在机理是相似的,它们包含的信息可以指导新工业过程的建模。本发明在对新工业过程进行建模时,充分利用相似工业过程的有用信息,减少新工业过程建模阶段中对其运行数据的依赖,有效解决了新工业过程建模成本高、建模周期长的问题,从而加快新工业过程的建模速度,同时将新工业过程建模所需要的数据量尽可能降至最低。
本发明是通过如下技术方案实现的:一种基于多模型迁移和BMA理论的复杂工业过程低成本建模方法,其具体步骤如下:
A、选取已有相似旧工业过程模型Mi(x),i=1,…,N;
B、利用拉丁超立方采样方法,采集新工业过程建模初始数据集,同时映射新工业过程数据至旧工业过程模型的可行区间;
D、多模型迁移策略,训练新工业过程模型。将旧工业过程模型融合输出y1和新工业过程输入数据X作为多模型迁移策略的输入数据,利用取最小二乘支持向量机(LeastSquares Support Vector Machine,LSSVM)算法训练新工业过程模型,获得新工业过程模型输出y2,完成新工业过程建模;
E、模型验证,若步骤D所得模型满足实验停止条件,则模型迁移训练结束,否则,利用嵌套拉丁超立方设计来采集新工业过程样本,继续训练新工业过程模型,直至满足实验停止条件;
所述步骤A包含:根据“25%规则”(G.E.Box,J.S.Hunter and W.G.Hunter,Statistics for experimenters:design,innovation,and discovery,vol.2,New York,NY,USA:Wiley,2005.)确定初始数据集大小n0,即n0≤0.25*T,T为实验预算;利用拉丁超立方采样方法采集n0组新工业过程数据,并将新工业过程数据映射到旧工业过程模型所对应的区间内,公式如下:
其中xo和xn分别对应旧工业过程和新工业过程的输入,xo,min和xo,max是旧工业过程运行区间下限和上限,xn,min和xn,max是新工业过程运行区间的下限和上限。
所述步骤C包含:对于选定的N个相似旧工业过程模型M1,M2,...,MN和训练数据集D={(Y1,x1),(Y2,x2),…,(Yn,xn)},输出值Y的概率分布函数可以被描述为:
其中pi(Y|Mi,D)是在给定第i个旧工业过程模型Mi和训练数据集D下Y的后验分布,p(Mi|D)是旧工业过程模型Mi的权重,即wi=p(Mi|D)且从而根据贝叶斯模型平均理论得到预测输出Y的后验均值和方差是:
利用期望最大化(Expectation-Maximization,EM)算法估计wi的值,步骤如下:
1)设置t=0,计算初始值:
2)计算初始似然函数值:
其中gp(x)是高斯函数;
3)设置t=t+1,计算
4)计算权值:
更新似然函数值;
5)计算δ=l(w,σ)t-l(w,σ)t-1,如果δ≤δ0就结束算法。否则,返回第3)步。
4)运行n1次逐行相加A和C得到B;
所述步骤E中实验停止条件为:选取交叉验证误差(Mean Cross ValidationError,Mean_CVE)作为阈值来判断数据采集循环继续与否,具体过程如下:
1)通过LHD采集初始的n0个实验数据;
2)设置t=0;
3)使用nt个新工业过程数据训练迁移模型;
4)计算Mean_CVE,
其中Yi是新工业过程的真值,yi′是由数据点(xi,Yi)以外的数据建立的迁移模型的预测值;
所述步骤E中模型验证为:利用均方根误差(Root Mean Square Error,RMSE)和平均相对误差(Mean Relative Error,MRE)来评估迁移模型的有效性,公式如下:
其中,N是测试数据的数量,yi是预测模型的输出,Yi是新工业过程的真实输出。
本发明的有益效果是:
本发明通过采用了一种多模型融合迁移策略来为新工业过程建立性能预测模型,充分利用了工业中现有的相似旧工业过程的性能预测模型,利用贝叶斯模型平均理论得到最优的旧工业过程模型融合权值,并在尽可能少的运行数据支持下,利用最小二乘支持向量机对相似旧工业过程中的公共部分进行模型迁移训练,从而加快新工业过程的建模速度,降低了建模成本,获得符合精度要求的预测模型。同时该方法比单模型迁移和纯LSSVM建模方法需要的实验数据信息更少,预测精度更高,几乎接近实际输出,为复杂工业过程建模降低了大量成本。
附图说明
下面结合附图和具体实例对本发明做进一步描述:
图1是多模型迁移策略示意图;
图2是多模型迁移方法中旧压缩机B,C和D的融合权重;
图3是多模型迁移模型,单模型迁移模型和纯LSSVM模型的压力比的预测结果;
图4是多模型迁移模型,单模型迁移模型和纯LSSVM模型的压力比的RMSE。
具体实施方式
下面结合附图及具体实施例对本发明进行详细说明。
如图1所示,一种基于多模型迁移和BMA理论的复杂工业过程低成本建模方法,在对新工业过程进行建模时,充分利用了已有相似工业过程的有用信息,同时将新工业过程建模所需要的数据量降至最低,其具体步骤如下:
A、选取已有相似旧工业过程模型Mi(x),i=1,…,N;
B、利用拉丁超立方(Latin Hypercube Design,LHD)采样方法,采集新工业过程建模初始数据集,同时映射新工业过程数据至旧工业过程模型的可行区间;
D、多模型迁移策略,训练新工业过程模型。将旧工业过程模型融合输出y1和新工业过程输入数据X作为多模型迁移策略的输入数据,利用取最小二乘支持向量机(LeastSquares Support Vector Machine,LSSVM)算法训练新工业过程模型,获得新工业过程模型输出y2,完成新工业过程建模;
E、模型验证,若步骤D所得模型满足实验停止条件,则模型迁移训练结束,否则,利用嵌套拉丁超立方设计(Nested Latin Hypercube Design,NLHD)来采集新工业过程样本,继续训练新工业过程模型,直至满足实验停止条件。
所述步骤A包含:根据“25%规则”(G.E.Box,J.S.Hunter and W.G.Hunter,Statistics for experimenters:design,innovation,and discovery,vol.2,New York,NY,USA:Wiley,2005.)确定初始数据集大小n0,即n0≤0.25*T,T为实验预算;利用拉丁超立方采样方法采集n0组新工业过程数据,并将新工业过程数据映射到旧工业过程模型所对应的区间内,公式如下:
其中xo和xn分别对应旧工业过程和新工业过程的输入,xo,min和xo,max是旧工业过程运行区间下限和上限,xn,min和xn,max是新工业过程运行区间的下限和上限。具体实施例中的新旧压缩机稳定运行区间如表1所示(A是新压缩机,B、C、D是旧压缩机),
表1.新旧压缩机稳定运行区间
所述步骤C包含:对于选定的N个相似旧工业过程模型M1,M2,...,MN和训练数据集D={(Y1,x1),(Y2,x2),…,(Yn,xn)},输出值Y的概率分布函数可以被描述为:
其中pi(Y|Mi,D)是在给定第i个旧工业过程模型Mi和训练数据集D下Y的后验分布,p(Mi|D)是旧工业过程模型Mi的权重,即wi=p(Mi|D)且从而根据贝叶斯模型平均理论得到预测输出Y的后验均值和方差是:
利用期望最大化(Expectation-Maximization,EM)算法估计wi的值,步骤如下:
1)设置t=0,计算初始值:
2)计算初始似然函数值:
其中gp(x)是高斯函数;
3)设置t=t+1,计算
4)计算权值:
更新似然函数值;
5)计算δ=l(w,σ)t-l(w,σ)t-1,如果δ≤δ0就结束算法。否则,返回第3)步。
4)运行n1次逐行相加A和C得到B;
所述步骤E中实验停止条件为:选取交叉验证误差(Mean Cross ValidationError,Mean_CVE)作为阈值来判断数据采集循环继续与否,具体过程如下:
1)通过LHD采集初始的n0个实验数据;
2)设置t=0;
3)使用nt个新工业过程数据训练迁移模型;
4)计算Mean_CVE,
其中Yi是新工业过程的真值,yi′是由数据点(xi,Yi)以外的数据建立的迁移模型的预测值;
所述步骤E中模型验证为:利用均方根误差(Root Mean Square Error,RMSE)和平均相对误差(Mean Relative Error,MRE)来评估迁移模型的有效性,公式如下:
其中,N是测试数据的数量,yi是预测模型的输出,Yi是新工业过程的真实输出。
为了验证该方法的效果,利用所采集的实验数据样本分别建立基于多模型迁移的新压缩机性能预测模型、基于单模型迁移的新压缩机性能预测模型以及基于纯LSSVM方法的新压缩机性能预测模型,并将三个模型的预测压比与实际输出进行对比,结果如图3可见,基于多模型迁移的建模方法预测精度要比其他两种建模方法预测精度高很多,具体数值的Mean_CVE如表2可见:随着新压缩机运行数据点的增加,三种模型的Mean_CVE都在逐渐的减少,所提方法在运行次数为20时满足实验停止的条件,其Mean_CVE=0.041<0.05,而其他两种方法的Mean_CVE都达不到实验停止要求。
表2.纯LSSVM、单目标迁移和多目标迁移模型的输出值的Mean_CVE
表3列出了多模型迁移模型,单模型迁移模型和LSSVM模型的压力比的RMSE和MRE,图4为三种模型的压力比的RMSE曲线,从图表中可以看出,多模型方法的RMSE和MRE分别为0.0274和0.16%,均小于其他两种方法。
表3.三种建模方法预测的压力比的RMSE和MRE
由上述分析可知,本发明通过采用了一种多模型融合迁移策略来为新工业过程建立性能预测模型,充分利用了工业中现有的相似旧工业过程的性能预测模型,利用贝叶斯模型平均理论得到最优的旧工业过程模型融合权值,并在尽可能少的新压缩机运行数据支持下,利用最小二乘支持向量机对相似旧工业过程中的公共部分进行模型迁移训练,从而加快新工业过程的建模速度,降低了建模成本,获得符合精度要求的预测模型。同时该方法比单模型迁移和纯LSSVM建模方法需要的实验数据信息更少,预测精度更高,几乎接近实际输出,为工业过程建模降低了大量成本。
Claims (6)
1.一种基于多模型迁移和BMA理论的复杂工业过程低成本建模方法,其特征在于:采用多套相同的生产设备,各自的内部参数不同,进行多个相似的生产过程,其中有N个生产过程已知预测模型,认定其为旧工业过程,另有一生产过程未知预测模型,认定为新工业过程;旧工业过程运行时间长,数据多且预测模型准确,新工业过程是全新的生产过程,数据少;新工业过程输入数据为X,旧工业过程预测模型为Mi(x),i=1,…,N;具体建模方法如下:
A、选取已有相似旧工业过程模型Mi(x),i=1,…,N;
B、利用拉丁超立方采样方法,采集新工业过程建模初始数据集,同时映射新工业过程数据至旧工业过程模型的可行区间;
D、多模型迁移策略,训练新工业过程模型;将旧工业过程模型融合输出y1和新工业过程输入数据X作为多模型迁移策略的输入数据,利用取最小二乘支持向量机(Least SquaresSupport Vector Machine,LSSVM)算法训练新工业过程模型,获得新工业过程模型输出y2,完成新工业过程建模;
E、模型验证,若步骤D所得模型满足实验停止条件,则模型迁移训练结束,否则,利用嵌套拉丁超立方设计来采集新工业过程样本,继续训练新工业过程模型,直至满足实验停止条件。
3.根据权利要求1所述的基于多模型迁移和BMA理论的复杂工业过程低成本建模方法,其特征在于,所述步骤C包含:对于选定的N个相似旧工业过程模型M1,M2,...,MN和训练数据集D={(Y1,x1),(Y2,x2),…,(Yn,xn)},输出值Y的概率分布函数可以被描述为:
其中pi(Y|Mi,D)是在给定第i个旧工业过程模型Mi和训练数据集D下Y的后验分布,p(Mi|D)是旧工业过程模型Mi的权重,即wi=p(Mi|D)且从而根据贝叶斯模型平均理论得到预测输出Y的后验均值和方差是:
利用期望最大化(Expectation-Maximization,EM)算法估计wi的值,步骤如下:
1)设置t=0,计算初始值:
2)计算初始似然函数值:
其中gp(x)是高斯函数;
3)设置t=t+1,计算
4)计算权值:
更新似然函数值;
5)计算δ=l(w,σ)t-l(w,σ)t-1,如果δ≤δ0就结束算法;否则,返回第3)步;
5.根据权利要求1所述的基于多模型迁移和BMA理论的复杂工业过程低成本建模方法,其特征在于,所述步骤E中实验停止条件为:选取交叉验证误差(Mean Cross ValidationError,Mean_CVE)作为阈值来判断数据采集循环继续与否,具体过程如下:
1)通过LHD采集初始的n0个实验数据;
2)设置t=0;
3)使用nt个新工业过程数据训练迁移模型;
4)计算Mean_CVE,
其中Yi是新工业过程的真值,yi′是由数据点(xi,Yi)以外的数据建立的迁移模型的预测值;
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910138294.7A CN109902378B (zh) | 2019-02-25 | 2019-02-25 | 基于多模型迁移和bma理论的复杂工业过程低成本建模方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910138294.7A CN109902378B (zh) | 2019-02-25 | 2019-02-25 | 基于多模型迁移和bma理论的复杂工业过程低成本建模方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109902378A CN109902378A (zh) | 2019-06-18 |
CN109902378B true CN109902378B (zh) | 2023-05-30 |
Family
ID=66945457
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910138294.7A Active CN109902378B (zh) | 2019-02-25 | 2019-02-25 | 基于多模型迁移和bma理论的复杂工业过程低成本建模方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109902378B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114035529B (zh) * | 2021-11-25 | 2023-09-08 | 中国矿业大学 | 基于atl-bma的非线性工业过程低成本建模方法 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104657596A (zh) * | 2015-01-27 | 2015-05-27 | 中国矿业大学 | 一种基于模型迁移的大型新压缩机性能预测快速建模方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8457767B2 (en) * | 2010-12-31 | 2013-06-04 | Brad Radl | System and method for real-time industrial process modeling |
-
2019
- 2019-02-25 CN CN201910138294.7A patent/CN109902378B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104657596A (zh) * | 2015-01-27 | 2015-05-27 | 中国矿业大学 | 一种基于模型迁移的大型新压缩机性能预测快速建模方法 |
Also Published As
Publication number | Publication date |
---|---|
CN109902378A (zh) | 2019-06-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109931678B (zh) | 基于深度学习lstm的空调故障诊断方法 | |
CN104699894B (zh) | 基于实时学习的高斯过程回归多模型融合建模方法 | |
CN110888059B (zh) | 基于改进随机森林联合容积卡尔曼的荷电状态估计算法 | |
CN113917337A (zh) | 基于充电数据和lstm神经网络的电池健康状态估计方法 | |
CN113702843B (zh) | 一种基于郊狼优化算法的锂电池参数辨识与soc估计方法 | |
CN109840595B (zh) | 一种基于群体学习行为特征的知识追踪方法 | |
CN111768000A (zh) | 在线自适应微调深度学习的工业过程数据建模方法 | |
CN112001422B (zh) | 一种基于深度贝叶斯学习的图像标记估计方法 | |
CN113109717B (zh) | 一种基于特征曲线优化的锂电池荷电状态估算方法 | |
CN107832789B (zh) | 基于平均影响值数据变换的特征加权k近邻故障诊断方法 | |
CN112816874A (zh) | 一种基于rvm与pf算法融合的电池剩余使用寿命预测方法 | |
CN113505477B (zh) | 基于svae-wgan的过程工业软测量数据补充方法 | |
CN101477623A (zh) | 基于模糊推理的交互式多模型方法 | |
CN103838820A (zh) | 基于近邻传播的进化多目标优化社区检测方法 | |
CN103885867B (zh) | 一种模拟电路性能的在线评价方法 | |
CN113406503A (zh) | 基于深度神经网络的锂电池soh在线估算方法 | |
CN109902378B (zh) | 基于多模型迁移和bma理论的复杂工业过程低成本建模方法 | |
CN112686372A (zh) | 基于深度残差gru神经网络的产品性能预测方法 | |
CN111598435A (zh) | 一种基于自适应特征选择及改进思维进化算法的质量趋势预测方法 | |
CN116578870A (zh) | 一种基于波动互相关分析的配网电压异常数据填补方法 | |
CN114880806A (zh) | 基于粒子群优化的新能源汽车销量预测模型参数优化方法 | |
CN109633449A (zh) | 基于灰色向量机的矿用锂电池寿命预测方法及管理系统 | |
CN110223342B (zh) | 一种基于深度神经网络的空间目标尺寸估计方法 | |
CN113033104B (zh) | 一种基于图卷积的锂电池荷电状态估计方法 | |
CN111898628B (zh) | 一种新型t-s模糊模型辨识方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |