CN114861759A - 一种线性动态系统模型的分布式训练方法 - Google Patents

一种线性动态系统模型的分布式训练方法 Download PDF

Info

Publication number
CN114861759A
CN114861759A CN202210355396.6A CN202210355396A CN114861759A CN 114861759 A CN114861759 A CN 114861759A CN 202210355396 A CN202210355396 A CN 202210355396A CN 114861759 A CN114861759 A CN 114861759A
Authority
CN
China
Prior art keywords
variable
variables
data block
sample
auxiliary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210355396.6A
Other languages
English (en)
Inventor
邵伟明
赵东亚
李友高
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Petroleum East China
Original Assignee
China University of Petroleum East China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Petroleum East China filed Critical China University of Petroleum East China
Priority to CN202210355396.6A priority Critical patent/CN114861759A/zh
Publication of CN114861759A publication Critical patent/CN114861759A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/29—Graphical models, e.g. Bayesian networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种线性动态系统模型的分布式训练方法，首先将大规模时间序列数据划分为若干个连续时间的数据块；然后，在参数服务器模式下通过期望最大化算法求解模型参数，实现高效的数据挖掘。应用本发明，可以明显降低线性动态系统模型的训练时长，并且能够充分挖掘不连续的时间序列数据，从而在计算效率、预测精度与模型可解释性方面较现有的集中式训练方法取得显著优势，为提高产品质量控制品质、降低成本、过程监控以及决策制定提供技术支持与保障。

Description

一种线性动态系统模型的分布式训练方法
技术领域
本发明属于过程系统软测量建模与应用领域，具体涉及一种线性动态系统模型的分布式训练方法。
背景技术
软测量技术已被广泛应用于测量过程系统中难以测量的与质量相关的变量，例如各种成分变量、聚丙烯熔体指数、柴油和汽油质量指数等。软测量技术本质上是一种预测数学模型，将易于测量的辅助变量如温度、流量、压力和液位作为输入，并提供质量相关的关键变量的预测。因此，软测量对关键变量的在线估计可以与辅助变量的采样速率一样快，与离线实验室分析相比，基本没有测量延迟。此外，与光谱仪等现场测量分析仪相比，软测量具有巨大的经济优势。随着数据分析技术的发展，数据驱动的软测量模型近年来受到越来越多的关注，并被广泛应用于许多工业过程的各种任务中，包括质量变量的实时预测、与质量相关的过程监测、传感器校准、故障诊断，先进控制，总成本/利润优化。
由于原料的波动、工作条件的变化或内部的干扰，大多数工业过程表现出很强的动态特性，因此需要动态的软测量模型。动态软测量模型开发可以分为两类方法，在第一种方法中，软测量模型主要使用滑动平均模型结构开发，其基本思想是将当前变量连同其前若干个采样样本变量组合构建成带有时滞过程变量的增广矩阵。但这种方法存在显著的缺点，即数据的增广容易使模型的复杂性显著增加，并且每个辅助变量的时滞难以确定，导致过拟合和模型性能下降。另一种方法采用线性动态系统模型开发，在线性动态系统模型中，过程动态是通过首先引入马尔可夫链串联隐变量来捕获的，然后将观测变量与隐变量连接起来。隐变量的引入使线性动态系统模型能够对高维共线性数据进行建模，并且由于不需要数据增广，线性动态系统模型避免了第一种方法中出现的维数灾难和过拟合问题。此外，线性动态系统模型可以基于期望最大化算法的高效训练模型，并且能够通过一阶马尔可夫链防止模型复杂性的爆发。
尽管用于动态软测量的线性动态系统技术取得了长足的进步，但在实际应用中仍存在一些尚未解决的关键问题。首先，现在从工业工厂收集大量数据是不费力的，这使得线性动态系统能够充分提取过程的潜在动态特征。然而，这些大量的数据在训练线性动态系统模型时造成了显著的计算缺陷。前向滤波还是后向平滑，每个隐变量的条件分布都必须依次计算，而不是像训练静态模型那样，使用分布式计算设备并行计算。其次，线性动态系统要求数据在时间上是连续的，但由于数据通信系统或测量传感器故障，时间序列数据链可能是断裂的，产生不连续的时间序列数据。遗憾的是，目前可用的线性动态系统模型无法从不连续的时间序列数据中学习，只能利用所有样本连续的某些数据块，从而导致模型性能下降。因此，基于线性动态系统模型来研究和开发具有提高计算效率和充分利用所有样本信息的软测量模型，有助于提高模型的预测精度，助力生产企业实现节能环保、降本增效的目标，是十分必要和迫切的。
发明内容
针对现有技术的不足，本发明提供一种线性动态系统模型的分布式训练方法，以线性动态系统模型的形式建立辅助变量和关键变量的动态关系，有效解决工业引起的动态性、大规模数据训练以及时序数据链断裂的问题，并通过半监督学习同时挖掘有标签样本和无标签样本蕴含的信息，使得模型训练更可靠。具体技术方案如下：
一种线性动态系统模型的分布式训练方法，包括以下步骤：
(1)选择与关键变量y关联的辅助参数x∈Rv，其中v表示辅助变量个数；
(2)收集包含辅助变量与关键变量样本的数据集
Figure BDA0003582305380000021
dt表示在t时刻获得的样本，T表示样本数量，其中，当
Figure BDA0003582305380000022
时，dt＝(xt,yt)；当
Figure BDA0003582305380000023
时，dt＝xt；这里
Figure BDA0003582305380000024
和
Figure BDA0003582305380000025
分别表示有标签样本集和无标签样本集，xt和yt分别表示在采样时刻t辅助变量和关键变量的值；
(3)对数据集
Figure BDA0003582305380000026
做无量纲化处理，将辅助变量样本与关键变量样本的样本方差转换为单位方差；
(4)将步骤(3)处理后的大规模时间序列数据按时间顺序划分为M个数据块，将第m个数据块的数据集表示为
Figure BDA0003582305380000027
1≤m≤M；其中，当
Figure BDA0003582305380000028
时，
Figure BDA0003582305380000029
当
Figure BDA00035823053800000210
时，
Figure BDA00035823053800000211
这里
Figure BDA00035823053800000212
和
Figure BDA00035823053800000213
分别表示第m个数据块中有标签样本集和无标签样本集
Figure BDA00035823053800000214
和
Figure BDA00035823053800000215
分别表示第m个数据块中第tm个样本的辅助变量和关键变量的值，Tm为第m个数据块的样本数量，1≤tm≤Tm；
(5)随机初始化线性动态系统模型的模型参数Θ＝{R,Sx,Sy,∑,Ωx,Ωy,μ0,P0}，其中，μ0和P0是隐变量概率分布的初始均值向量和协方差矩阵，R为转移矩阵，Σ为转移条件分布的协方差，Sx和Sy为辅助变量和关键变量的发射矩阵，Ωx和Ωy分别是辅助变量和关键变量噪声分布的协方差矩阵；
(6)对每个样本赋予相应的隐变量，并将每个隐变量的条件分布设置为正态分布，将辅助变量与关键变量的条件分布也设置为正态分布；
(7)将步骤(4)处理后的M个数据块和步骤(5)的初始化参数输入线性动态系统模型中，基于期望最大化算法，进行分布式训练，获得模型参数Θ；
(8)采集仅包含辅助变量的未知样本，按步骤(3)进行无量纲处理，利用步骤(7)中通过分布式训练方法得到相应的模型参数集Θ，对关键变量进行预测。
进一步地，所述的步骤(6)中设定的每个数据块中每个样本对应的隐变量的条件分布具有如下形式
Figure BDA0003582305380000031
Figure BDA0003582305380000032
其中，
Figure BDA0003582305380000033
表示第m个数据块中第tm个样本对应的隐变量，
Figure BDA0003582305380000034
表示随机变量
Figure BDA0003582305380000035
的概率密度函数，
Figure BDA0003582305380000036
表示给定
Figure BDA0003582305380000037
时，随机变量
Figure BDA0003582305380000038
的条件概率密度函数，
Figure BDA0003582305380000039
表示正态分布的概率密度函数，其中随机变量为
Figure BDA00035823053800000310
参数为均值向量μ、协方差矩阵为Λ；
以及每个数据块中每个辅助变量与关键变量的条件分布具有如下形式
Figure BDA00035823053800000311
Figure BDA00035823053800000312
进一步地，所述的步骤(7)中参数学习的分布式训练方法包括期望阶段和最大化阶段，其中，在期望阶段，第m个数据块对应的条件分布为：
Figure BDA00035823053800000313
Figure BDA00035823053800000314
Figure BDA00035823053800000315
其中，
Figure BDA00035823053800000316
和
Figure BDA00035823053800000317
分别为上述三个正态分布的均值，
Figure BDA00035823053800000318
和
Figure BDA00035823053800000319
分别为上述三个正态分布的协方差矩阵；
Figure BDA00035823053800000320
和
Figure BDA00035823053800000321
的更新采用如下形式的前向递推迭代方式：
当tm>1时
Figure BDA0003582305380000041
Figure BDA0003582305380000042
Figure BDA0003582305380000043
Figure BDA0003582305380000044
其中，
Figure BDA0003582305380000045
为卡尔曼增益矩阵和
Figure BDA0003582305380000046
为中间矩阵，其定义分别为
Figure BDA0003582305380000047
Figure BDA0003582305380000048
当tm＝1时，
Figure BDA0003582305380000049
Figure BDA00035823053800000410
Figure BDA00035823053800000411
Figure BDA00035823053800000412
其中，
Figure BDA00035823053800000413
为卡尔曼增益矩阵,其定义为
Figure BDA00035823053800000414
对于1≤tm≤Tm，若
Figure BDA00035823053800000415
若
Figure BDA00035823053800000416
完成前向更新后，
Figure BDA00035823053800000417
的更新采用如下形式的后向递推迭代方式：
当tm<Tm，
Figure BDA00035823053800000418
Figure BDA00035823053800000419
其中
Figure BDA00035823053800000420
为中间变量；
当tm＝Tm时，
Figure BDA0003582305380000051
进一步地，所述的步骤(7)中参数学习的分布式训练方法包括期望阶段和最大化阶段，其中，在最大化阶段，根据期望阶段各个数据块的分布式计算结果，进行如下形式的参数更新：
Figure BDA0003582305380000052
Figure BDA0003582305380000053
Figure BDA0003582305380000054
Figure BDA0003582305380000055
Figure BDA0003582305380000056
Figure BDA0003582305380000057
Figure BDA0003582305380000058
Figure BDA0003582305380000059
其中，
Figure BDA00035823053800000510
代表
Figure BDA00035823053800000511
的第m个数据块中标签样本的数量大小，
Figure BDA00035823053800000512
Figure BDA00035823053800000513
Figure BDA00035823053800000514
Figure BDA00035823053800000515
Figure BDA00035823053800000516
Figure BDA0003582305380000061
Figure BDA0003582305380000062
Figure BDA0003582305380000063
Figure BDA0003582305380000064
Figure BDA0003582305380000065
进一步地，所述的步骤(8)具体为：
在线采集在t′时刻仅包含辅助变量的未知样本xt′，按步骤(3)进行无量纲处理，然后按前向递归计算未知样本对应隐变量ht′的后验概率分布：
Figure BDA0003582305380000066
其中，
Figure BDA0003582305380000067
Figure BDA0003582305380000068
其中，
Figure BDA0003582305380000069
和
Figure BDA00035823053800000610
为所在正态分布的均值和协方差矩阵，
Figure BDA00035823053800000611
为上一时刻隐变量条件分布的均值，Kt′为定义的卡尔曼增益矩阵和Pt′-1为定义的中间矩阵，其定义为
Figure BDA00035823053800000612
Kt′＝Pt′-1(St′)T(Ωt′+St′Pt′-1(St′)T)-1；
基于上述计算，xt′对应的关键变量yt′的条件概率分布计算如下：
Figure BDA00035823053800000613
对关键变量yt′的预测值
Figure BDA00035823053800000614
的计算公式为：
Figure BDA00035823053800000615
与现有技术相比，本发明的有益效果如下：
1、通过半监督学习同时挖掘有标签样本和无标签样本蕴含的信息，使模型参数学习结果更准确、对关键参数的预测精度更高。
2、通过分布式训练的方法更新模型参数，极大提高了线性动态系统模型计算效率问题。
3、除解决模型计算效率问题之外，本发明的训练方法还可处理时序数据链断裂无法充分利用可用的样本信息的问题，来进一步提高模型的预测精度。
附图说明
图1为本发明实施例的方法的流程图。
图2为某石化企业合成氨工厂中低温变换单元的工艺原理图。
图3为归一化温度变量以及数据集的划分图。
图4为基于分布式训练方法的线性动态系统模型的CO浓度在线预测结果示意图。
具体实施方式
下面结合具体的实施例对本发明的一种线性动态系统模型的分布式训练方法作进一步的阐述。需要指出的是，所描述的实施例仅旨在加强对本发明的理解，并不对本发明起任何限定作用。
本发明的线性动态系统模型的分布式训练方法，如图1所示，具体包括如下步骤：
(1)选择与关键变量y关联的辅助变量x∈Rv，其中v表示辅助变量个数；
本实施例根据对某石化公司某石化企业合成氨工厂中低温变换单元(如图2所示)的机理分析，选择对CO浓度影响最大的7个变量作为辅助变量，分别为进口气体的流量(x1)、进气温度(x2)、反应器的顶层温度(x3)、反应器的中间层温度(x4)、反应器的底层温度(x5)、出口气体温度(x6)以及出口气体压力(x7)，因此辅助变量x＝[x1,x2,…,x7],即x∈Rv,v＝7；
(2)收集包含辅助变量与关键变量样本的数据集
Figure BDA0003582305380000071
dt表示在t时刻获得的样本，T表示样本数量，其中，当
Figure BDA0003582305380000072
时，样本集为有标签的样本集，dt＝(xt,yt)；当
Figure BDA0003582305380000073
时，样本集为无标签的样本集，dt＝xt；xt和yt分别表示在采样时刻t辅助变量和关键变量的值。
本实施例从计算机分散控制系统数据库中收集同时包含440多个小时的数据，每次观测的采样间隔为1分钟，使用归一化温度变量，数据集如图3所示观察到由通信故障引起的不连续的时序样本，作为训练数据集，将整个数据集划分为训练集Dtrn、验证集Dval和测试集Dtst，如图3所示，Dval和Dtst分别由2000和3000个连续样本组成。
(3)对
Figure BDA0003582305380000074
做无量纲化处理，将辅助变量样本与关键变量样本的样本方差转换为单位方差；
其中去量纲的方法为：
Figure BDA0003582305380000081
式中，
Figure BDA0003582305380000082
分别代表第l个辅助变量和关键变量的样本标准差，其中n1与n2分别代表有标签样本与无标签样本的数量，xn(l)表示第n个样本的第l个辅助变量的采样值。
(4)将步骤(3)处理后的大规模时间序列数据按时间顺序划分为M个数据块，将第m个数据块的数据集表示为
Figure BDA0003582305380000083
1≤m≤M；其中，当
Figure BDA0003582305380000084
时，
Figure BDA0003582305380000085
当
Figure BDA0003582305380000086
时，
Figure BDA0003582305380000087
这里
Figure BDA0003582305380000088
和
Figure BDA0003582305380000089
分别表示第m个数据块中有标签样本集和无标签样本集
Figure BDA00035823053800000810
和
Figure BDA00035823053800000811
分别表示第m个数据块中第tm个样本的辅助变量和关键变量的值，Tm为第m个数据块的样本数量，1≤tm≤Tm；
在该实施例中，通过图3所示的两个不连续的点，Dtrn被自然地划分为3个数据块，即数据块1、数据块2和数据块3，分别由9886、6778和4039个连续样本组成，传统的线性动态系统学习算法只能使用这三个数据集中的一个来训练模型。
(5)随机初始化模型参数ΘK＝0＝{R,Sx,Sy,∑,Ωx,Ωy,μ0,P0}，其中，μ0和P0是隐变量概率分布的初始均值和协方差，R称为转移矩阵，∑为转移条件分布的协方差，Sx和Sy为辅助变量和关键变量发射矩阵，Ωx和Ωy分别是辅助变量和关键变量测量噪声的随机向量；
(6)对每个样本赋予相应的隐变量，并将每个隐变量的条件分布设置为正态分布，将辅助变量与关键变量的条件分布也设置为正态分布；
每个数据块中每个样本对应的隐变量的条件分布具有如下形式：
Figure BDA00035823053800000812
Figure BDA00035823053800000813
其中，
Figure BDA00035823053800000814
表示第m个数据块中第tm个样本对应的隐变量，
Figure BDA00035823053800000815
表示随机变量
Figure BDA00035823053800000816
的概率密度函数，
Figure BDA0003582305380000091
表示给定
Figure BDA0003582305380000092
时，随机变量
Figure BDA0003582305380000093
的条件概率密度函数，
Figure BDA0003582305380000094
表示正态分布的概率密度函数，其中随机变量为
Figure BDA0003582305380000095
参数为均值向量μ、协方差矩阵为Λ；
每个数据块中每个辅助变量与关键变量的条件分布具有如下形式
Figure BDA0003582305380000096
Figure BDA0003582305380000097
(7)将步骤(4)处理后的有标签样本集、无标签样本集和步骤(4)中的初始模型参数输入线性动态系统模型中，在期望最大化算法的基础上，通过分布式训练方法学习模型参数ΘK；
由于工业过程中关键变量的采样率远低于辅助变量的采样率，本发明将线性动态系统模型考虑一个半监督的场景：
Figure BDA0003582305380000098
将观测变量的条件概率分布写成一个统一的形式：
Figure BDA0003582305380000099
其中，定义：
Figure BDA00035823053800000910
对于M个数据块需要计算隐变量
Figure BDA00035823053800000911
的后验概率分布，可以通过将期望最大化算法期望步训练的计算分配个M个从机完成，在每个从机需要完成每个数据块中所有样本的后验概率分布的计算，其中包括：
前向计算：对于1≤tm≤Tm，计算隐变量条件概率分布
Figure BDA00035823053800000912
以及观测变量条件概率分布
Figure BDA00035823053800000913
后向计算：对于1≤tm≤Tm，计算隐变量在第m块完整观测数据集上条件概率分布
Figure BDA00035823053800000914
求和计算:对于1≤tm≤Tm，计算参数更新和收敛所需要的充分统计量的总和。
在所有从机完成计算任务后，将计算出的结果交付给主机，主机来实现期望最大化算法极大步来更新参数ΘK以及收敛判断，进而实现了线性动态系统模型的分布式训练；
为了在期望步中保持公式的简便，对于处理第m个DB的从机，首先定义一些符号来表示隐变量和观测变量上必要的条件概率分布:
Figure BDA0003582305380000101
Figure BDA0003582305380000102
Figure BDA0003582305380000103
其中
Figure BDA0003582305380000104
和
Figure BDA0003582305380000105
是隐变量
Figure BDA0003582305380000106
后验条件概率分布的初始均值和协方差，
Figure BDA0003582305380000107
和
Figure BDA0003582305380000108
是隐变量
Figure BDA0003582305380000109
后验条件概率分布的初始均值和协方差，
Figure BDA00035823053800001010
和
Figure BDA00035823053800001011
是观测变量
Figure BDA00035823053800001012
条件概率分布的初始均值和协方差。
根据公式(9)和(11)，前向计算从计算
Figure BDA00035823053800001013
和
Figure BDA00035823053800001014
概率分布开始：
当tm＝1时，
Figure BDA00035823053800001015
Figure BDA00035823053800001016
其中，
Figure BDA00035823053800001017
为定义的卡尔曼增益矩阵：
Figure BDA00035823053800001018
当tm>1，
Figure BDA00035823053800001019
递归计算如下：
Figure BDA00035823053800001020
其中，
Figure BDA00035823053800001021
为定义的卡尔曼增益矩阵和
Figure BDA00035823053800001022
为定义的中间矩阵：
Figure BDA00035823053800001023
根据以上计算，给出了计算
Figure BDA00035823053800001024
公式如下：
Figure BDA00035823053800001025
后向递归计算从tm＝Tm开始。也就是说，后向递归首先确定
Figure BDA0003582305380000111
可以得到：
Figure BDA0003582305380000112
在前向递归的基础上，对于tm<Tm，后向递归计算如下
Figure BDA0003582305380000113
其中
Figure BDA0003582305380000114
定义如下：
Figure BDA0003582305380000115
基于后向计算获得隐变量的后验条件概率分布，可以得到期望最大化算法极大步所需的充分统计量
Figure BDA0003582305380000116
和
Figure BDA0003582305380000117
Figure BDA0003582305380000118
Figure BDA0003582305380000119
Figure BDA00035823053800001110
其中
Figure BDA00035823053800001111
代表取期望。
相应的从机也完成了参数更新和收敛判断于每个数据块相关所需的累加计算，从而进一步加深了分布式计算的程度，减轻了通信负担。其中，第m个从机进行的求和计算为:
Figure BDA00035823053800001112
Figure BDA00035823053800001113
Figure BDA00035823053800001114
Figure BDA00035823053800001115
Figure BDA00035823053800001116
Figure BDA00035823053800001117
Figure BDA0003582305380000121
Figure BDA0003582305380000122
Figure BDA0003582305380000123
Figure BDA0003582305380000124
其中
Figure BDA0003582305380000125
表示第m个数据块中标记样本的子集。
期望最大化极大步在完成期望步的操作后，根据每个数据块中隐变量的后验分布更新参数Φ，由主机通过整合从机收集到的计算来执行，具体地，将具有完整数据的对数似然函数的下界
Figure BDA0003582305380000126
为：
Figure BDA0003582305380000127
通过令对数似然函数对每个模型参数求偏导
Figure BDA0003582305380000128
来更新模型参数Φ，更新公式如下：
Figure BDA0003582305380000129
Figure BDA00035823053800001210
Figure BDA00035823053800001211
Figure BDA00035823053800001212
Figure BDA00035823053800001213
Figure BDA0003582305380000131
Figure BDA0003582305380000132
Figure BDA0003582305380000133
其中
Figure BDA0003582305380000134
代表
Figure BDA0003582305380000135
的第m个数据块中有标签样本的数量大小。
在期望最大化算法中，期望步和极大步是交替的，说明从机的计算和主机的计算需要进行迭代交互。对数似然函数
Figure BDA0003582305380000136
计算为：
Figure BDA0003582305380000137
根据期望最大化算法对数似然函数会单调递增，收敛条件可设计为：
Figure BDA0003582305380000138
其中
Figure BDA0003582305380000139
表示完成第k次迭代后的下界值，ε是定义的阈值。
(8)采集仅包含辅助变量的未知样本xt′，按步骤(3)进行无量纲处理，利用步骤(7)中通过分布式训练方法得到相应的模型参数集ΘK，对关键变量进行预测，具体如下：
按前向递归计算未知样本对应隐变量ht′的后验概率分布：
Figure BDA00035823053800001310
Figure BDA00035823053800001311
其中，
Figure BDA00035823053800001312
和
Figure BDA00035823053800001313
是未知样本对应隐变量ht′后验条件概率分布p(ht′|D,xt′)的初始均值和协方差，Kt′为定义的卡尔曼增益矩阵和Pt′-1为定义的中间矩阵：
Figure BDA00035823053800001314
基于上述计算，关键变量yt′的条件概率分布计算如下：
Figure BDA0003582305380000141
根据式(49)，对关键变量yt′的预测值为：
Figure BDA0003582305380000142
为了验证本发明的有效性，从该石化公司计算机分散控制系统中收集额外的有标签样本组作为校验样本集，按照步骤(8)，对CO浓度进行预测，预测结果如图4所示。同时，图4给出了三个数据块数据块1、数据块2和数据块3对CO浓度的预测结果。采用均方根误差(root mean squares error，RMSE)量化本发明的预测精度，定义如下
Figure BDA0003582305380000143
其中yt和
Figure BDA0003582305380000144
分别代表第t个测试样本的化验值与预测值。本发明提供的方法与通过数据块数据块1、数据块2和数据块3训练的传统线性动态系统模型获得RMSE分别为0.0526、0.0546、0.0615和0.0579，模型训练时间分别为163.5s、741.7s、595.1s和294.7s。可见，本发明提出的分布式训练方法较传统的线性动态系统模型对CO浓度的预测精度有显著改善，以及显著提高模型计算效率。
上述实施例用来解释说明本发明，而不是对本发明进行限制，在本发明的精神和权利要求的保护范围内，对本发明做出的任何修改和改变，都落入本发明的保护范围。

Claims (5)

1.一种线性动态系统模型的分布式训练方法，其特征在于，包括以下步骤：
(1)选择与关键变量y关联的辅助变量x∈Rv，其中v表示辅助变量个数；
(2)收集包含辅助变量与关键变量样本的数据集
Figure FDA0003582305370000011
dt表示在t时刻获得的样本，T表示样本数量，其中，当
Figure FDA0003582305370000012
时，dt＝(xt,yt)；当
Figure FDA0003582305370000013
时，dt＝xt；这里
Figure FDA0003582305370000014
和
Figure FDA0003582305370000015
分别表示有标签样本集和无标签样本集，xt和yt分别表示在采样时刻t辅助变量和关键变量的值；
(3)对数据集
Figure FDA0003582305370000016
做无量纲化处理，将辅助变量样本与关键变量样本的样本方差转换为单位方差；
(4)将步骤(3)处理后的大规模时间序列数据按时间顺序划分为M个数据块，将第m个数据块的数据集表示为
Figure FDA0003582305370000017
1≤m≤M；其中，当
Figure FDA0003582305370000018
时，
Figure FDA0003582305370000019
当
Figure FDA00035823053700000110
时，
Figure FDA00035823053700000111
这里
Figure FDA00035823053700000112
和
Figure FDA00035823053700000113
分别表示第m个数据块中有标签样本集和无标签样本集
Figure FDA00035823053700000114
和
Figure FDA00035823053700000115
分别表示第m个数据块中第tm个样本的辅助变量和关键变量的值，Tm为第m个数据块的样本数量，1≤tm≤Tm；
(5)随机初始化线性动态系统模型的模型参数Θ＝{R,Sx,Sy,∑,Ωx,Ωy,μ0,P0}，其中，μ0和P0是隐变量概率分布的初始均值向量和协方差矩阵，R为转移矩阵，Σ为转移条件分布的协方差，Sx和Sy为辅助变量和关键变量的发射矩阵，Ωx和Ωy分别是辅助变量和关键变量噪声分布的协方差矩阵；
(6)对每个样本赋予相应的隐变量，并将每个隐变量的条件分布设置为正态分布，将辅助变量与关键变量的条件分布也设置为正态分布；
(7)将步骤(4)处理后的M个数据块和步骤(5)的初始化参数输入线性动态系统模型中，基于期望最大化算法，进行分布式训练，获得模型参数Θ；
(8)采集仅包含辅助变量的未知样本，按步骤(3)进行无量纲处理，利用步骤(7)中通过分布式训练方法得到相应的模型参数集Θ，对关键变量进行预测。
2.根据权利要求1所述的线性动态系统模型的分布式训练方法，其特征在于，所述的步骤(6)中设定的每个数据块中每个样本对应的隐变量的条件分布具有如下形式
Figure FDA0003582305370000021
Figure FDA0003582305370000022
其中，
Figure FDA0003582305370000023
表示第m个数据块中第tm个样本对应的隐变量，
Figure FDA0003582305370000024
表示随机变量
Figure FDA0003582305370000025
的概率密度函数，
Figure FDA0003582305370000026
表示给定
Figure FDA0003582305370000027
时，随机变量
Figure FDA0003582305370000028
的条件概率密度函数，
Figure FDA0003582305370000029
表示正态分布的概率密度函数，其中随机变量为
Figure FDA00035823053700000210
参数为均值向量μ、协方差矩阵为Λ；
以及每个数据块中每个辅助变量与关键变量的条件分布具有如下形式
Figure FDA00035823053700000211
Figure FDA00035823053700000212
3.根据权利要求1所述的线性动态系统模型的分布式训练方法，其特征在于，所述的步骤(7)中参数学习的分布式训练方法包括期望阶段和最大化阶段，其中，在期望阶段，第m个数据块对应的条件分布为：
Figure FDA00035823053700000213
Figure FDA00035823053700000214
Figure FDA00035823053700000215
其中，
Figure FDA00035823053700000216
和
Figure FDA00035823053700000217
分别为上述三个正态分布的均值，
Figure FDA00035823053700000218
和
Figure FDA00035823053700000219
分别为上述三个正态分布的协方差矩阵；
Figure FDA00035823053700000220
和
Figure FDA00035823053700000221
的更新采用如下形式的前向递推迭代方式：
当tm>1时
Figure FDA00035823053700000222
Figure FDA00035823053700000223
Figure FDA00035823053700000224
Figure FDA00035823053700000225
其中，
Figure FDA00035823053700000226
为卡尔曼增益矩阵和
Figure FDA00035823053700000227
为中间矩阵，其定义分别为
Figure FDA0003582305370000031
当tm＝1时，
Figure FDA0003582305370000032
Figure FDA0003582305370000033
其中，
Figure FDA0003582305370000034
为卡尔曼增益矩阵,其定义为
Figure FDA0003582305370000035
对于1≤tm≤Tm，若
Figure FDA0003582305370000036
Figure FDA0003582305370000037
若
Figure FDA0003582305370000038
完成前向更新后，
Figure FDA0003582305370000039
的更新采用如下形式的后向递推迭代方式：
当tm<Tm，
Figure FDA00035823053700000310
Figure FDA00035823053700000311
其中
Figure FDA00035823053700000312
为中间变量；
当tm＝Tm时，
Figure FDA00035823053700000313
4.根据权利要求3所述的线性动态系统模型的分布式训练方法，其特征在于，所述的步骤(7)中参数学习的分布式训练方法包括期望阶段和最大化阶段，其中，在最大化阶段，根据期望阶段各个数据块的分布式计算结果，进行如下形式的参数更新：
Figure FDA00035823053700000314
Figure FDA00035823053700000315
Figure FDA0003582305370000041
Figure FDA0003582305370000042
Figure FDA0003582305370000043
Figure FDA0003582305370000044
Figure FDA0003582305370000045
Figure FDA0003582305370000046
其中，
Figure FDA0003582305370000047
Figure FDA0003582305370000048
代表
Figure FDA0003582305370000049
的第m个数据块中标签样本的数量大小，
Figure FDA00035823053700000410
Figure FDA00035823053700000411
Figure FDA00035823053700000412
Figure FDA00035823053700000413
Figure FDA00035823053700000414
Figure FDA00035823053700000415
Figure FDA00035823053700000416
Figure FDA00035823053700000417
Figure FDA00035823053700000418
Figure FDA0003582305370000051
5.根据权利要求1所述的线性动态系统模型的分布式训练方法，其特征在于，所述的步骤(8)具体为：
在线采集在t′时刻仅包含辅助变量的未知样本xt′，按步骤(3)进行无量纲处理，然后按前向递归计算未知样本对应隐变量ht′的后验概率分布：
Figure FDA0003582305370000052
其中，
Figure FDA0003582305370000053
Figure FDA0003582305370000054
其中，
Figure FDA0003582305370000055
和
Figure FDA0003582305370000056
为所在正态分布的均值和协方差矩阵，
Figure FDA0003582305370000057
为上一时刻隐变量条件分布的均值，Kt′为定义的卡尔曼增益矩阵和Pt′-1为定义的中间矩阵，其定义为
Figure FDA0003582305370000058
基于上述计算，xt′对应的关键变量yt′的条件概率分布计算如下：
Figure FDA0003582305370000059
对关键变量yt′的预测值
Figure FDA00035823053700000510
的计算公式为：
Figure FDA00035823053700000511
CN202210355396.6A 2022-04-06 2022-04-06 一种线性动态系统模型的分布式训练方法 Pending CN114861759A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210355396.6A CN114861759A (zh) 2022-04-06 2022-04-06 一种线性动态系统模型的分布式训练方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210355396.6A CN114861759A (zh) 2022-04-06 2022-04-06 一种线性动态系统模型的分布式训练方法

Publications (1)

Publication Number Publication Date
CN114861759A true CN114861759A (zh) 2022-08-05

Family

ID=82630298

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210355396.6A Pending CN114861759A (zh) 2022-04-06 2022-04-06 一种线性动态系统模型的分布式训练方法

Country Status (1)

Country Link
CN (1) CN114861759A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116822999A (zh) * 2023-08-31 2023-09-29 中国石油大学(华东) 成品油管道混油界面后行油品监测密度预测方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116822999A (zh) * 2023-08-31 2023-09-29 中国石油大学(华东) 成品油管道混油界面后行油品监测密度预测方法及系统
CN116822999B (zh) * 2023-08-31 2023-12-05 中国石油大学(华东) 成品油管道混油界面后行油品监测密度预测方法及系统

Similar Documents

Publication Publication Date Title
CN111830408B (zh) 一种基于边缘计算和深度学习的电机故障诊断系统及方法
CN112101480B (zh) 一种多变量聚类与融合的时间序列组合预测方法
CN108897286B (zh) 一种基于分散式非线性动态关系模型的故障检测方法
CN111079836B (zh) 基于伪标签方法和弱监督学习的过程数据故障分类方法
CN104914723B (zh) 基于协同训练偏最小二乘模型的工业过程软测量建模方法
Tang et al. A deep belief network-based fault detection method for nonlinear processes
CN112364560B (zh) 矿山凿岩装备作业工时智能预测方法
CN112904810B (zh) 基于有效特征选择的流程工业非线性过程监测方法
CN110046377B (zh) 一种基于异构相似度的选择性集成即时学习软测量建模方法
CN114218872B (zh) 基于dbn-lstm半监督联合模型的剩余使用寿命预测方法
CN112784920A (zh) 云边端协同的旋转部件对抗域自适应故障诊断方法
Li et al. GMM-HMM-based medium-and long-term multi-wind farm correlated power output time series generation method
CN114861759A (zh) 一种线性动态系统模型的分布式训练方法
Yang et al. Teacher-student uncertainty autoencoder for the process-relevant and quality-relevant fault detection in the industrial process
CN113203953B (zh) 基于改进型极限学习机的锂电池剩余使用寿命预测方法
CN116821695A (zh) 一种半监督神经网络软测量建模方法
CN111863153A (zh) 一种基于数据挖掘的废水中悬浮固体总量的预测方法
CN111914471A (zh) 一种基于快速核独立成分分析的精馏塔故障检测方法
CN116339275A (zh) 基于全结构动态自回归隐变量模型的多尺度过程故障检测方法
CN107341503B (zh) 一种切削过程中针对多源能效状态的识别方法
CN115035962A (zh) 基于变分自编码器和生成对抗网络的虚拟样本生成及软测量建模方法
CN115392102A (zh) 能耗预测模型的建立方法及装置、能耗预测方法及系统
CN115472233A (zh) 基于热扩散标签传播的半监督集成工业过程软测量建模方法、系统
Sanneh et al. Water demand forecasting time series data
CN114742258B (zh) 可迁移的居民家庭用电负荷场景预测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination