CN114861759A - 一种线性动态系统模型的分布式训练方法 - Google Patents
一种线性动态系统模型的分布式训练方法 Download PDFInfo
- Publication number
- CN114861759A CN114861759A CN202210355396.6A CN202210355396A CN114861759A CN 114861759 A CN114861759 A CN 114861759A CN 202210355396 A CN202210355396 A CN 202210355396A CN 114861759 A CN114861759 A CN 114861759A
- Authority
- CN
- China
- Prior art keywords
- variable
- variables
- data block
- sample
- auxiliary
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/29—Graphical models, e.g. Bayesian networks
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种线性动态系统模型的分布式训练方法,首先将大规模时间序列数据划分为若干个连续时间的数据块;然后,在参数服务器模式下通过期望最大化算法求解模型参数,实现高效的数据挖掘。应用本发明,可以明显降低线性动态系统模型的训练时长,并且能够充分挖掘不连续的时间序列数据,从而在计算效率、预测精度与模型可解释性方面较现有的集中式训练方法取得显著优势,为提高产品质量控制品质、降低成本、过程监控以及决策制定提供技术支持与保障。
Description
技术领域
本发明属于过程系统软测量建模与应用领域,具体涉及一种线性动态系统模型的分布式训练方法。
背景技术
软测量技术已被广泛应用于测量过程系统中难以测量的与质量相关的变量,例如各种成分变量、聚丙烯熔体指数、柴油和汽油质量指数等。软测量技术本质上是一种预测数学模型,将易于测量的辅助变量如温度、流量、压力和液位作为输入,并提供质量相关的关键变量的预测。因此,软测量对关键变量的在线估计可以与辅助变量的采样速率一样快,与离线实验室分析相比,基本没有测量延迟。此外,与光谱仪等现场测量分析仪相比,软测量具有巨大的经济优势。随着数据分析技术的发展,数据驱动的软测量模型近年来受到越来越多的关注,并被广泛应用于许多工业过程的各种任务中,包括质量变量的实时预测、与质量相关的过程监测、传感器校准、故障诊断,先进控制,总成本/利润优化。
由于原料的波动、工作条件的变化或内部的干扰,大多数工业过程表现出很强的动态特性,因此需要动态的软测量模型。动态软测量模型开发可以分为两类方法,在第一种方法中,软测量模型主要使用滑动平均模型结构开发,其基本思想是将当前变量连同其前若干个采样样本变量组合构建成带有时滞过程变量的增广矩阵。但这种方法存在显著的缺点,即数据的增广容易使模型的复杂性显著增加,并且每个辅助变量的时滞难以确定,导致过拟合和模型性能下降。另一种方法采用线性动态系统模型开发,在线性动态系统模型中,过程动态是通过首先引入马尔可夫链串联隐变量来捕获的,然后将观测变量与隐变量连接起来。隐变量的引入使线性动态系统模型能够对高维共线性数据进行建模,并且由于不需要数据增广,线性动态系统模型避免了第一种方法中出现的维数灾难和过拟合问题。此外,线性动态系统模型可以基于期望最大化算法的高效训练模型,并且能够通过一阶马尔可夫链防止模型复杂性的爆发。
尽管用于动态软测量的线性动态系统技术取得了长足的进步,但在实际应用中仍存在一些尚未解决的关键问题。首先,现在从工业工厂收集大量数据是不费力的,这使得线性动态系统能够充分提取过程的潜在动态特征。然而,这些大量的数据在训练线性动态系统模型时造成了显著的计算缺陷。前向滤波还是后向平滑,每个隐变量的条件分布都必须依次计算,而不是像训练静态模型那样,使用分布式计算设备并行计算。其次,线性动态系统要求数据在时间上是连续的,但由于数据通信系统或测量传感器故障,时间序列数据链可能是断裂的,产生不连续的时间序列数据。遗憾的是,目前可用的线性动态系统模型无法从不连续的时间序列数据中学习,只能利用所有样本连续的某些数据块,从而导致模型性能下降。因此,基于线性动态系统模型来研究和开发具有提高计算效率和充分利用所有样本信息的软测量模型,有助于提高模型的预测精度,助力生产企业实现节能环保、降本增效的目标,是十分必要和迫切的。
发明内容
针对现有技术的不足,本发明提供一种线性动态系统模型的分布式训练方法,以线性动态系统模型的形式建立辅助变量和关键变量的动态关系,有效解决工业引起的动态性、大规模数据训练以及时序数据链断裂的问题,并通过半监督学习同时挖掘有标签样本和无标签样本蕴含的信息,使得模型训练更可靠。具体技术方案如下:
一种线性动态系统模型的分布式训练方法,包括以下步骤:
(1)选择与关键变量y关联的辅助参数x∈Rv,其中v表示辅助变量个数;
(2)收集包含辅助变量与关键变量样本的数据集dt表示在t时刻获得的样本,T表示样本数量,其中,当时,dt=(xt,yt);当时,dt=xt;这里和分别表示有标签样本集和无标签样本集,xt和yt分别表示在采样时刻t辅助变量和关键变量的值;
(4)将步骤(3)处理后的大规模时间序列数据按时间顺序划分为M个数据块,将第m个数据块的数据集表示为1≤m≤M;其中,当时,当时,这里和分别表示第m个数据块中有标签样本集和无标签样本集和分别表示第m个数据块中第tm个样本的辅助变量和关键变量的值,Tm为第m个数据块的样本数量,1≤tm≤Tm;
(5)随机初始化线性动态系统模型的模型参数Θ={R,Sx,Sy,∑,Ωx,Ωy,μ0,P0},其中,μ0和P0是隐变量概率分布的初始均值向量和协方差矩阵,R为转移矩阵,Σ为转移条件分布的协方差,Sx和Sy为辅助变量和关键变量的发射矩阵,Ωx和Ωy分别是辅助变量和关键变量噪声分布的协方差矩阵;
(6)对每个样本赋予相应的隐变量,并将每个隐变量的条件分布设置为正态分布,将辅助变量与关键变量的条件分布也设置为正态分布;
(7)将步骤(4)处理后的M个数据块和步骤(5)的初始化参数输入线性动态系统模型中,基于期望最大化算法,进行分布式训练,获得模型参数Θ;
(8)采集仅包含辅助变量的未知样本,按步骤(3)进行无量纲处理,利用步骤(7)中通过分布式训练方法得到相应的模型参数集Θ,对关键变量进行预测。
进一步地,所述的步骤(6)中设定的每个数据块中每个样本对应的隐变量的条件分布具有如下形式
以及每个数据块中每个辅助变量与关键变量的条件分布具有如下形式
进一步地,所述的步骤(7)中参数学习的分布式训练方法包括期望阶段和最大化阶段,其中,在期望阶段,第m个数据块对应的条件分布为:
当tm>1时
当tm=1时,
当tm<Tm,
当tm=Tm时,
进一步地,所述的步骤(7)中参数学习的分布式训练方法包括期望阶段和最大化阶段,其中,在最大化阶段,根据期望阶段各个数据块的分布式计算结果,进行如下形式的参数更新:
进一步地,所述的步骤(8)具体为:
在线采集在t′时刻仅包含辅助变量的未知样本xt′,按步骤(3)进行无量纲处理,然后按前向递归计算未知样本对应隐变量ht′的后验概率分布:
其中,
Kt′=Pt′-1(St′)T(Ωt′+St′Pt′-1(St′)T)-1;
基于上述计算,xt′对应的关键变量yt′的条件概率分布计算如下:
与现有技术相比,本发明的有益效果如下:
1、通过半监督学习同时挖掘有标签样本和无标签样本蕴含的信息,使模型参数学习结果更准确、对关键参数的预测精度更高。
2、通过分布式训练的方法更新模型参数,极大提高了线性动态系统模型计算效率问题。
3、除解决模型计算效率问题之外,本发明的训练方法还可处理时序数据链断裂无法充分利用可用的样本信息的问题,来进一步提高模型的预测精度。
附图说明
图1为本发明实施例的方法的流程图。
图2为某石化企业合成氨工厂中低温变换单元的工艺原理图。
图3为归一化温度变量以及数据集的划分图。
图4为基于分布式训练方法的线性动态系统模型的CO浓度在线预测结果示意图。
具体实施方式
下面结合具体的实施例对本发明的一种线性动态系统模型的分布式训练方法作进一步的阐述。需要指出的是,所描述的实施例仅旨在加强对本发明的理解,并不对本发明起任何限定作用。
本发明的线性动态系统模型的分布式训练方法,如图1所示,具体包括如下步骤:
(1)选择与关键变量y关联的辅助变量x∈Rv,其中v表示辅助变量个数;
本实施例根据对某石化公司某石化企业合成氨工厂中低温变换单元(如图2所示)的机理分析,选择对CO浓度影响最大的7个变量作为辅助变量,分别为进口气体的流量(x1)、进气温度(x2)、反应器的顶层温度(x3)、反应器的中间层温度(x4)、反应器的底层温度(x5)、出口气体温度(x6)以及出口气体压力(x7),因此辅助变量x=[x1,x2,…,x7],即x∈Rv,v=7;
(2)收集包含辅助变量与关键变量样本的数据集dt表示在t时刻获得的样本,T表示样本数量,其中,当时,样本集为有标签的样本集,dt=(xt,yt);当时,样本集为无标签的样本集,dt=xt;xt和yt分别表示在采样时刻t辅助变量和关键变量的值。
本实施例从计算机分散控制系统数据库中收集同时包含440多个小时的数据,每次观测的采样间隔为1分钟,使用归一化温度变量,数据集如图3所示观察到由通信故障引起的不连续的时序样本,作为训练数据集,将整个数据集划分为训练集Dtrn、验证集Dval和测试集Dtst,如图3所示,Dval和Dtst分别由2000和3000个连续样本组成。
其中去量纲的方法为:
(4)将步骤(3)处理后的大规模时间序列数据按时间顺序划分为M个数据块,将第m个数据块的数据集表示为1≤m≤M;其中,当时,当时,这里和分别表示第m个数据块中有标签样本集和无标签样本集和分别表示第m个数据块中第tm个样本的辅助变量和关键变量的值,Tm为第m个数据块的样本数量,1≤tm≤Tm;
在该实施例中,通过图3所示的两个不连续的点,Dtrn被自然地划分为3个数据块,即数据块1、数据块2和数据块3,分别由9886、6778和4039个连续样本组成,传统的线性动态系统学习算法只能使用这三个数据集中的一个来训练模型。
(5)随机初始化模型参数ΘK=0={R,Sx,Sy,∑,Ωx,Ωy,μ0,P0},其中,μ0和P0是隐变量概率分布的初始均值和协方差,R称为转移矩阵,∑为转移条件分布的协方差,Sx和Sy为辅助变量和关键变量发射矩阵,Ωx和Ωy分别是辅助变量和关键变量测量噪声的随机向量;
(6)对每个样本赋予相应的隐变量,并将每个隐变量的条件分布设置为正态分布,将辅助变量与关键变量的条件分布也设置为正态分布;
每个数据块中每个样本对应的隐变量的条件分布具有如下形式:
每个数据块中每个辅助变量与关键变量的条件分布具有如下形式
(7)将步骤(4)处理后的有标签样本集、无标签样本集和步骤(4)中的初始模型参数输入线性动态系统模型中,在期望最大化算法的基础上,通过分布式训练方法学习模型参数ΘK;
由于工业过程中关键变量的采样率远低于辅助变量的采样率,本发明将线性动态系统模型考虑一个半监督的场景:
将观测变量的条件概率分布写成一个统一的形式:
其中,定义:
求和计算:对于1≤tm≤Tm,计算参数更新和收敛所需要的充分统计量的总和。
在所有从机完成计算任务后,将计算出的结果交付给主机,主机来实现期望最大化算法极大步来更新参数ΘK以及收敛判断,进而实现了线性动态系统模型的分布式训练;
为了在期望步中保持公式的简便,对于处理第m个DB的从机,首先定义一些符号来表示隐变量和观测变量上必要的条件概率分布:
当tm=1时,
后向递归计算从tm=Tm开始。也就是说,后向递归首先确定
可以得到:
在前向递归的基础上,对于tm<Tm,后向递归计算如下
相应的从机也完成了参数更新和收敛判断于每个数据块相关所需的累加计算,从而进一步加深了分布式计算的程度,减轻了通信负担。其中,第m个从机进行的求和计算为:
根据期望最大化算法对数似然函数会单调递增,收敛条件可设计为:
(8)采集仅包含辅助变量的未知样本xt′,按步骤(3)进行无量纲处理,利用步骤(7)中通过分布式训练方法得到相应的模型参数集ΘK,对关键变量进行预测,具体如下:
按前向递归计算未知样本对应隐变量ht′的后验概率分布:
基于上述计算,关键变量yt′的条件概率分布计算如下:
根据式(49),对关键变量yt′的预测值为:
为了验证本发明的有效性,从该石化公司计算机分散控制系统中收集额外的有标签样本组作为校验样本集,按照步骤(8),对CO浓度进行预测,预测结果如图4所示。同时,图4给出了三个数据块数据块1、数据块2和数据块3对CO浓度的预测结果。采用均方根误差(root mean squares error,RMSE)量化本发明的预测精度,定义如下
其中yt和分别代表第t个测试样本的化验值与预测值。本发明提供的方法与通过数据块数据块1、数据块2和数据块3训练的传统线性动态系统模型获得RMSE分别为0.0526、0.0546、0.0615和0.0579,模型训练时间分别为163.5s、741.7s、595.1s和294.7s。可见,本发明提出的分布式训练方法较传统的线性动态系统模型对CO浓度的预测精度有显著改善,以及显著提高模型计算效率。
上述实施例用来解释说明本发明,而不是对本发明进行限制,在本发明的精神和权利要求的保护范围内,对本发明做出的任何修改和改变,都落入本发明的保护范围。
Claims (5)
1.一种线性动态系统模型的分布式训练方法,其特征在于,包括以下步骤:
(1)选择与关键变量y关联的辅助变量x∈Rv,其中v表示辅助变量个数;
(2)收集包含辅助变量与关键变量样本的数据集dt表示在t时刻获得的样本,T表示样本数量,其中,当时,dt=(xt,yt);当时,dt=xt;这里和分别表示有标签样本集和无标签样本集,xt和yt分别表示在采样时刻t辅助变量和关键变量的值;
(4)将步骤(3)处理后的大规模时间序列数据按时间顺序划分为M个数据块,将第m个数据块的数据集表示为1≤m≤M;其中,当时,当时,这里和分别表示第m个数据块中有标签样本集和无标签样本集和分别表示第m个数据块中第tm个样本的辅助变量和关键变量的值,Tm为第m个数据块的样本数量,1≤tm≤Tm;
(5)随机初始化线性动态系统模型的模型参数Θ={R,Sx,Sy,∑,Ωx,Ωy,μ0,P0},其中,μ0和P0是隐变量概率分布的初始均值向量和协方差矩阵,R为转移矩阵,Σ为转移条件分布的协方差,Sx和Sy为辅助变量和关键变量的发射矩阵,Ωx和Ωy分别是辅助变量和关键变量噪声分布的协方差矩阵;
(6)对每个样本赋予相应的隐变量,并将每个隐变量的条件分布设置为正态分布,将辅助变量与关键变量的条件分布也设置为正态分布;
(7)将步骤(4)处理后的M个数据块和步骤(5)的初始化参数输入线性动态系统模型中,基于期望最大化算法,进行分布式训练,获得模型参数Θ;
(8)采集仅包含辅助变量的未知样本,按步骤(3)进行无量纲处理,利用步骤(7)中通过分布式训练方法得到相应的模型参数集Θ,对关键变量进行预测。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210355396.6A CN114861759A (zh) | 2022-04-06 | 2022-04-06 | 一种线性动态系统模型的分布式训练方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210355396.6A CN114861759A (zh) | 2022-04-06 | 2022-04-06 | 一种线性动态系统模型的分布式训练方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114861759A true CN114861759A (zh) | 2022-08-05 |
Family
ID=82630298
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210355396.6A Pending CN114861759A (zh) | 2022-04-06 | 2022-04-06 | 一种线性动态系统模型的分布式训练方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114861759A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116822999A (zh) * | 2023-08-31 | 2023-09-29 | 中国石油大学(华东) | 成品油管道混油界面后行油品监测密度预测方法及系统 |
-
2022
- 2022-04-06 CN CN202210355396.6A patent/CN114861759A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116822999A (zh) * | 2023-08-31 | 2023-09-29 | 中国石油大学(华东) | 成品油管道混油界面后行油品监测密度预测方法及系统 |
CN116822999B (zh) * | 2023-08-31 | 2023-12-05 | 中国石油大学(华东) | 成品油管道混油界面后行油品监测密度预测方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112101480B (zh) | 一种多变量聚类与融合的时间序列组合预测方法 | |
CN111079836B (zh) | 基于伪标签方法和弱监督学习的过程数据故障分类方法 | |
CN104914723B (zh) | 基于协同训练偏最小二乘模型的工业过程软测量建模方法 | |
Tang et al. | A deep belief network-based fault detection method for nonlinear processes | |
CN112904810B (zh) | 基于有效特征选择的流程工业非线性过程监测方法 | |
CN110046377B (zh) | 一种基于异构相似度的选择性集成即时学习软测量建模方法 | |
CN114218872B (zh) | 基于dbn-lstm半监督联合模型的剩余使用寿命预测方法 | |
CN112784920A (zh) | 云边端协同的旋转部件对抗域自适应故障诊断方法 | |
CN112364560A (zh) | 矿山凿岩装备作业工时智能预测方法 | |
CN113609766B (zh) | 一种基于深度概率潜隐模型的软测量方法 | |
Li et al. | GMM-HMM-based medium-and long-term multi-wind farm correlated power output time series generation method | |
CN114861759A (zh) | 一种线性动态系统模型的分布式训练方法 | |
Yang et al. | Teacher–Student Uncertainty Autoencoder for the Process-Relevant and Quality-Relevant Fault Detection in the Industrial Process | |
CN113203953B (zh) | 基于改进型极限学习机的锂电池剩余使用寿命预测方法 | |
CN116821695A (zh) | 一种半监督神经网络软测量建模方法 | |
CN116339275A (zh) | 基于全结构动态自回归隐变量模型的多尺度过程故障检测方法 | |
CN115035962A (zh) | 基于变分自编码器和生成对抗网络的虚拟样本生成及软测量建模方法 | |
CN115392102A (zh) | 能耗预测模型的建立方法及装置、能耗预测方法及系统 | |
CN111914471A (zh) | 一种基于快速核独立成分分析的精馏塔故障检测方法 | |
Yao et al. | Distributed temporal–spatial neighbourhood enhanced variational autoencoder for multiunit industrial plant‐wide process monitoring | |
CN115472233A (zh) | 基于热扩散标签传播的半监督集成工业过程软测量建模方法、系统 | |
Sanneh et al. | Water demand forecasting time series data | |
CN114742258B (zh) | 可迁移的居民家庭用电负荷场景预测方法 | |
CN114819743B (zh) | 一种化工企业能耗诊断分析方法 | |
CN115048868B (zh) | 基于时序神经网络的动态测量系统不确定度的评定方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |