CN111079931A - 一种基于图神经网络的状态空间概率性多时间序列预测方法 - Google Patents

一种基于图神经网络的状态空间概率性多时间序列预测方法 Download PDF

Info

Publication number
CN111079931A
CN111079931A CN201911379600.2A CN201911379600A CN111079931A CN 111079931 A CN111079931 A CN 111079931A CN 201911379600 A CN201911379600 A CN 201911379600A CN 111079931 A CN111079931 A CN 111079931A
Authority
CN
China
Prior art keywords
distribution
neural network
hidden state
time
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911379600.2A
Other languages
English (en)
Inventor
陈岭
杨帆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN201911379600.2A priority Critical patent/CN111079931A/zh
Publication of CN111079931A publication Critical patent/CN111079931A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/041—Abduction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2474—Sequence data queries, e.g. querying versioned data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/901—Indexing; Data structures therefor; Storage structures
    • G06F16/9024—Graphs; Linked lists
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Fuzzy Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于图神经网络的状态空间概率性多时间序列预测方法，包括：(1)获取多时间序列并对时间序列进行预处理以构建训练集，同时构建图结构；(2)根据图神经网络和多层感知机构建用于生成隐状态的先验分布和时间序列的生成模型，根据基于图神经网络和循环神经网络构建用于生成隐状态的近似后验分布的推断网络；(3)根据隐状态的先验分布和近似后验分布构建损失函数，以最大化损失函数为目标，优化生成模型和推断网络的参数；(4)应用时，利用推断网络获得待预测序列的最新时刻的隐状态估计，然后利用生成模型根据最新时刻的隐状态估计计算获得隐状态的先验分布，再根据该隐状态的先验分布计算获得时间序列观测估计值。

Description

一种基于图神经网络的状态空间概率性多时间序列预测方法
技术领域
本发明涉及时间序列预测领域，具体涉及一种基于图神经网络的状态空间概率性多时间序列预测方法。
背景技术
时间序列数据广泛存在于商业、金融、智慧城市、医疗、环境科学等领域，时间序列预测技术在数据分析、智能决策和异常检测等应用中能发挥重要作用。在较多场景中，多条同质且相关的时间序列被同时观测和记录，如相关商品的销量、相关股票的价格、城市道路的流量、脑电图、相邻地区的空气质量等。
针对这样的多时间序列，一种简单的预测方法是使用以ARIMA为代表的经典统计模型对每条时间序列进行独立的建模和预测。这种方法虽然具备参数求解过程简单、有成熟软件工具库可供使用、可为预测提供不确定性估计等优点，但由于其对每条时间序列独立建模，无法捕获和利用多条时间序列间的交互影响关系。一种可建模多时间序列相关性的方法是将多条相关的时间序列联合视为一条多变量时间序列，使用以VAR为代表的经典多变量时间序列模型进行预测。然而，VAR仅能建模线性的、延迟较短的影响关系，但现实中多时间序列间的影响关系可能是非线性且长延迟的。
另一种可建模多时间序列相关性的方法是使用神经网络对多时间序列进行联合预测。这种方法将时间序列预测建模为一个有监督学习问题，将多变量时间序列处理为以历史观测为输入、以未来观测为输出的训练样本，基于卷积神经网络(CNN)、全连接神经网络(FCN)或递归神经网络(RNN)构建输入至输出的映射，采用随机梯度下降算法学习神经网络中的参数，使用训练后的模型进行预测。此方法的优点是可利用神经网络强有效的拟合能力建模多条时间序列间的非线性相关性，但缺点是其黑盒式地建模输入输出映射，容易学习到有助于提升预测精度的虚假统计相关性，致使泛化性能不佳，且难以为预测结果提供有意义的不确定性估计。
发明内容
本发明的目的是提供一种基于图神经网络的状态空间概率性多时间序列预测方法，利用图结构显式表示多时间序列间的关系，使用隐状态建模不确定性，以预测时间序列。
本发明的技术方案为：
一种基于图神经网络的状态空间概率性多时间序列预测方法，包括以下步骤：
(1)获取多时间序列并对时间序列进行预处理以构建训练集，同时构建图结构；
(2)根据图神经网络和多层感知机构建用于生成隐状态的先验分布和时间序列的生成模型，根据基于图神经网络和循环神经网络构建用于生成隐状态的近似后验分布的推断网络；
(3)根据隐状态的先验分布和近似后验分布构建损失函数，以最大化损失函数为目标，优化生成模型和推断网络的参数；
(4)应用时，利用推断网络获得待预测序列的最新时刻的隐状态估计，然后利用生成模型根据最新时刻的隐状态估计计算获得隐状态的先验分布，再根据该隐状态的先验分布计算获得时间序列观测估计值。
本发明显式地建模了多时间序列产生过程中的交互影响和不确定性，可对协同演化的多时间序列进行联合预测，支持为预测结果提供不确定性估计。与现有的方法相比，其优点在于：
1)使用图结构显式表示多条时间序列间的潜在影响关系，利用图神经网络在状态空间建模各时间序列之间的交互影响，便于向模型中注入有无关系、关系强弱、关系类型等先验知识，避免了全黑盒式模型的完全相关假设，有助于提升模型的泛化能力和降低模型所需的训练数据量。
2)使用隐状态建模时间序列演化过程的不确定性，支持建模状态转移有随机性的时间序列；多条时间序列的隐状态通过图神经网络共同演化，有助于捕获噪声在时间序列间的传播；以从模型中采样的方式输出对未来的联合预测，显式地考虑了预测结果的不确定性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动前提下，还可以根据这些附图获得其他附图。
图1是实施例提供的基于图神经网络的状态空间概率性多时间序列预测方法的总流程图；
图2是实施例提供的基于图神经网络的状态空间概率性多时间序列预测方法的总体框架；
图3是实施例提供的生成模型的结构示意图；
图4是实施例提供的推断网络的结构示意图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。
图1是实施例提供的基于图神经网络的状态空间概率性多时间序列预测方法的总流程图。图2是实施例提供的基于图神经网络的状态空间概率性多时间序列预测方法的总体框架。图2中，图中Zt表示各节点在时刻t的隐状态，Xt表示各节点在时刻t的观测值，实线箭头表示生成模型的计算，虚线箭头表示推断网络的计算。参见图1和图2，实施例提供的概率性多时间序列预测方法包括以下步骤：
步骤1，对于给定的n条同质且相关的时间序列，以每条时间序列为节点，构建图结构
Figure BDA0002341921900000041
以表示时间序列潜在交互影响关系。
每条时间序列对应一个节点，将其编号为1,…,n。图结构可用一个二元组表示
Figure BDA0002341921900000042
其中V＝{1,…,n}是节点的集合，E是边的集合，(i,j)∈E表示节点i和节点j之间有边，即对应的时间序列可能会相互影响。这样的图结构可根据多时间序列背后的动态系统内部结构来构建，对于不同的场景可能方式不一。例如，对于商品销量时间序列，可根据两种商品是否经常被一起购买来确定是否将它们在图中连接；对于路网流量时间序列，可根据两条道路的距离是否低于特定阈值来确定是否将它们在图中连接。给定图结构后进一步计算与之对应的邻接矩阵A，当且仅当(i,j)∈E或i＝j时Ai,j＝1，否则Ai,j＝0；计算度数矩阵D，其是一个对角矩阵，对角元素
Figure BDA0002341921900000043
即节点i的度数。
步骤2，对时间序列进行缺失值补全和归一化处理，使用长度为T的滑动时间窗口将其切分为子序列作为训练样本，得到共包含N个样本的训练数据集
Figure BDA0002341921900000051
i表示样本的索引，取值为1到N，1:T表示时间从1到T。
当时间序列中存在缺失值时，使用时间序列中前一非缺失时刻的值填补缺失值。对时间序列中所有值进行min-max归一化处理，使处理后每一个数值都归一化到[-1，1]的范围内，转换公式如下：
Figure BDA0002341921900000052
其中，Xold为原始时间序列中的数值，Xmin为时间序列中的最小值，Xmax为时间序列中的最大值，Xnew为归一化之后的数值。
步骤3，根据图神经网络和多层感知机构建用于生成时间序列的生成模型，其中，图神经网络用于构建参数化的状态转移分布pθ(Zt|Zt-1)，多层感知机用于构建参数化的状态观测分布pθ(Xt|Zt)，θ表示生成模型的参数集合；
状态转移分布pθ(Zt|Zt-1)被指定为参数化的多元独立正态分布(即协方差矩阵为对角矩阵)，其均值
Figure BDA0002341921900000053
和方差(即协方差矩阵的对角元素)
Figure BDA0002341921900000054
由以Zt-1为输入的图神经网络(GNN)的输出，即
Figure BDA0002341921900000055
其中
Figure BDA0002341921900000056
图神经网络的实现方式如下：
GNN(Z)：＝tanh(D-1AZW) (2)
其中符号：＝表示定义为，W为可学习的参数，tanh(·)是一种非线性激活函数。
类似地，pθ(Xt|Zt)也被指定为参数化的多元独立正态分布，其均值
Figure BDA0002341921900000057
和方差
Figure BDA0002341921900000058
由以Zt为输入的多层感知机(MLP)的输出，即
Figure BDA0002341921900000059
其中
Figure BDA00023419219000000510
两层的MLP实现如下：
Figure BDA0002341921900000061
其中{W1,W2,b1,b2}是可学习的参数；符号
Figure BDA0002341921900000062
表示广播加运算，其将左边的向量加至右边矩阵的每一行。生成模型的参数集合θ包含GNN和MLP中的全部参数。
步骤4，基于图神经网络和循环神经网络构建推断网络，该推断网络用于构建参数化的近似后验分布qφ(Zt|Zt-1,Xt)，其中φ表示推断网络的参数集合。
以上一时刻隐状态Zt-1和当前时刻观测Xt为输入，推断网络输出的近似后验分布qφ(Zt|Zt-1,Xt)被指定为参数化的多元独立正态分布(即协方差矩阵为对角矩阵)，其均值
Figure BDA0002341921900000063
和方差(即协方差矩阵的对角元素)
Figure BDA0002341921900000064
由循环神经网络(RNN)和图神经网络输出，即
Figure BDA0002341921900000065
其中：
Figure BDA0002341921900000066
Ht＝RNNφ(Ht-1,Xt) (5)
推断网络的参数集合φ包括GNN和RNN的参数，RNN使用GRU单元实现。
步骤5，从训练数据集中随机选取M个样本，作为一个训练批次。对于该批次中的每一个训练样本X1:T，并行执行步骤6-10。
根据经验设置一个训练批次内的样本数M，通常令M＝32。
步骤6，设置
Figure BDA0002341921900000067
其中d为图神经网络的各节点隐状态的维数。对于时刻t＝1,…,T，迭代地执行步骤7。
步骤7，以图结构
Figure BDA0002341921900000068
上一时刻的隐状态估计
Figure BDA0002341921900000069
和当前时刻的观测Xt作为输入，运行推断网络，得到当前时刻隐状态Zt的近似后验分布
Figure BDA00023419219000000610
从中采样得到对当前时刻的隐状态估计
Figure BDA00023419219000000611
具体地，将
Figure BDA00023419219000000612
和Xt代入至推断网络中的RNN和GNN计算中，得到参数化近似后验分布
Figure BDA0002341921900000071
的均值
Figure BDA0002341921900000072
和方差
Figure BDA0002341921900000073
从近似后验分布
Figure BDA0002341921900000074
中采样得到对当前时刻的隐状态估计
Figure BDA0002341921900000075
的具体过程为：先从多元标准正态分布
Figure BDA0002341921900000076
中采样得到白噪声∈，然后令
Figure BDA0002341921900000077
其中⊙表示逐元素乘法。
步骤8，对于时刻t＝1,…,T，迭代地执行步骤9。
步骤9，计算时刻t的隐状态估计
Figure BDA0002341921900000078
在状态转移分布中的概率密度
Figure BDA0002341921900000079
和在近似后验分布中的概率密度
Figure BDA00023419219000000710
以及时刻t的观测Xt在状态观测分布中的概率密度
Figure BDA00023419219000000711
具体地，将隐状态估计
Figure BDA00023419219000000712
输入至生成模型的图神经网络中，经计算得到状态转移分布
Figure BDA00023419219000000713
的具体形式
Figure BDA00023419219000000714
然后计算获得的隐状态估计
Figure BDA00023419219000000715
在状态转移分布中的概率密度
Figure BDA00023419219000000716
将隐状态估计
Figure BDA00023419219000000717
输入至推断网络中，经计算得到近似后验分布
Figure BDA00023419219000000718
的具体形式
Figure BDA00023419219000000719
然后计算获得的隐状态估计
Figure BDA00023419219000000720
在近似后验分布中的概率密度
Figure BDA00023419219000000721
将隐状态估计
Figure BDA00023419219000000722
输入至生成模型的多层感知机中，经计算得到隐状态估计
Figure BDA00023419219000000723
的多元正态分布
Figure BDA00023419219000000724
然后计算该多元正态分布
Figure BDA00023419219000000725
的概率密度，以获得的隐状态估计
Figure BDA00023419219000000726
在状态观测分布
Figure BDA00023419219000000727
中的概率密度
Figure BDA00023419219000000728
步骤10，根据状态转移分布中的概率密度
Figure BDA00023419219000000729
近似后验分布中的概率密度
Figure BDA00023419219000000730
以及状态观测分布中的概率密度
Figure BDA00023419219000000731
计算整个观测序列X1:T的对数似然logpθ(X1:T)的下界
Figure BDA00023419219000000732
具体地，对数似然下界定义为：
Figure BDA0002341921900000081
步骤11，对该批次中M个训练样本的似然度下界求平均，得到整批次的平均似然度下界
Figure BDA0002341921900000082
作为损失函数，使用基于梯度的优化器更新生成模型的参数θ和推断网络的参数φ。
整批次的目标函数如下：
Figure BDA0002341921900000083
其中
Figure BDA0002341921900000084
是该批次中第m个样本的对数似然下界。给定学习速率η，使用如下的梯度上升算法向着最大化
Figure BDA0002341921900000085
的方向更新一次模型的参数集合θ和φ：
Figure BDA0002341921900000086
Figure BDA0002341921900000087
其中j表示训练的迭代次数，初始参数θ1和φ1通过随机初始化获得。
步骤12，重复执行步骤5-11直至达到指定迭代次数，保存模型参数。
可根据经验预先指定迭代次数，或监控训练目标至其收敛时结束迭代。
步骤13，给定待预测序列X1:T、预测步长L、采样数量K，对于k＝1,…,K，执行步骤14-16。
步骤14，执行步骤6-7，得到对最新时刻隐状态的估计
Figure BDA0002341921900000088
即运行步骤6-7，将待预测序列输入至推断网络中，得到参数化近似后验分布，从近似后验分布中采样得到对隐状态的估计，即从时刻1至时刻T顺序采样得到隐状态序列
Figure BDA0002341921900000089
保留的最终的隐状态估计
Figure BDA00023419219000000810
步骤15，对于l＝1,…,L，执行步骤16。
步骤16，根据隐状态序列
Figure BDA0002341921900000091
利用生成模型获得的隐状态序列
Figure BDA0002341921900000092
的状态观测分布
Figure BDA0002341921900000093
并从该状态观测分布
Figure BDA0002341921900000094
中采样获得观测的估计
Figure BDA0002341921900000095
具体地，将隐状态序列
Figure BDA0002341921900000096
输入至生成模型的图神经网络中，经计算获得状态转移分布
Figure BDA0002341921900000097
的具体形式
Figure BDA0002341921900000098
从中采样得到对下一时刻隐状态的估计
Figure BDA0002341921900000099
将下一时刻隐状态的估计
Figure BDA00023419219000000910
输入至生成模型的多层感知机中，获得状态观测分布
Figure BDA00023419219000000911
的具体形式
Figure BDA00023419219000000912
并从中采样获得对观测的估计
Figure BDA00023419219000000913
其中，采样获得的下一时刻隐状态的估计
Figure BDA00023419219000000914
和对观测的估计
Figure BDA00023419219000000915
局的过程为：
先从多元标准正态分布
Figure BDA00023419219000000916
中采样得到白噪声∈1，然后令
Figure BDA00023419219000000917
再从多元标准正态分布
Figure BDA00023419219000000918
中采样得到白噪声∈2，然后另
Figure BDA00023419219000000919
步骤17，将K份蒙特卡罗预测
Figure BDA00023419219000000920
作为概率性预测输出。
对于每个k，步骤14至16采样出一份对未来L步的蒙特卡罗预测
Figure BDA00023419219000000921
表示未来的一种可能；K份蒙特卡罗预测
Figure BDA00023419219000000922
表示未来的K种可能。
步骤18，如需更精简的输出，可计算K份蒙特卡罗预测的逐元素均值、5分位数和95分位数，分别作为预测、置信下界、置信上界输出。
预测均值计算如下：
Figure BDA0002341921900000101
不失一般性地设K是100的倍数，即K＝100c，逐元素5分位数置信下界
Figure BDA0002341921900000102
和95分位数置信上界
Figure BDA0002341921900000103
可通过排序计算：
Figure BDA0002341921900000104
Figure BDA0002341921900000105
Figure BDA0002341921900000106
其中sort函数对输入进行升序排序。
上述概率性多时间序列预测方法通过图神经网络和状态空间建模方法的融合显式地建模了多时间序列产生过程中的交互影响关系和不确定性，可对协同演化的多时间序列进行联合预测，支持为预测结果提供不确定性估计，在智慧城市、体育分析、金融、环境科学等领域都具有广阔的应用前景。
以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于图神经网络的状态空间概率性多时间序列预测方法，包括以下步骤：
(1)获取多时间序列并对时间序列进行预处理以构建训练集，同时构建图结构；
(2)根据图神经网络和多层感知机构建用于生成隐状态先验分布和时间序列观测的生成模型，根据基于图神经网络和循环神经网络构建用于生成隐状态近似后验分布的推断网络；
(3)根据隐状态的先验分布和近似后验分布构建损失函数，以最大化损失函数为目标，优化生成模型和推断网络的参数；
(4)应用时，利用推断网络获得待预测序列的最新时刻的隐状态估计，然后利用生成模型根据最新时刻的隐状态估计计算获得未来时刻隐状态的先验分布，再采样获得对未来时刻时间序列观测的估计值。
2.如权利要求1所述的基于图神经网络的状态空间概率性多时间序列预测方法，其特征在于，步骤(1)中，当时间序列中存在缺失值时，使用时间序列中前一非缺失时刻的值填补缺失值；
对时间序列中所有值进行min-max归一化处理，使处理后每一个数值都归一化到[-1，1]的范围内，转换公式如下：
Figure RE-FDA0002402099240000011
其中，Xold为原始时间序列中的数值，Xmin为时间序列中的最小值，Xmax为时间序列中的最大值，Xnew为归一化之后的数值。
3.如权利要求1所述的基于图神经网络的状态空间概率性多时间序列预测方法，其特征在于，步骤(1)中，对于给定的n条同质且相关的时间序列，以每条时间序列为节点，构建图结构
Figure RE-FDA0002402099240000021
以表示时间序列潜在交互影响关系，图结构用一个二元组表示
Figure RE-FDA0002402099240000022
其中V＝{1,…,n}是节点的集合，E是边的集合，(i,j)∈E表示节点i和节点j之间有边，即对应的时间序列可能会相互影响；
给定图结构后进一步计算与之对应的邻接矩阵A，当且仅当(i,j)∈E或i＝j时Ai,j＝1，否则Ai,j＝0；计算度数矩阵D，其是一个对角矩阵，对角元素
Figure RE-FDA0002402099240000023
即节点i的度数。
4.如权利要求1所述的基于图神经网络的状态空间概率性多时间序列预测方法，其特征在于，生成模型中，图神经网络用于构建参数化的状态转移分布pθ(Zt|Zt-1)，多层感知机用于构建参数化的状态观测分布pθ(Xt|Zt)，θ表示生成模型的参数集合；
状态转移分布pθ(Zt|Zt-1)被指定为参数化的多元正态分布，其均值
Figure RE-FDA0002402099240000024
和协方差矩阵
Figure RE-FDA0002402099240000025
由以Zt-1为输入的图神经网络的输出，即
Figure RE-FDA0002402099240000026
Figure RE-FDA0002402099240000027
其中
Figure RE-FDA0002402099240000028
图神经网络的实现方式如下：
GNN(Z)：＝tanh(D-1AZW) (2)
其中符号：＝表示定义为，W为可学习的参数，tanh(·)是一种逐元素非线性激活函数；
pθ(Xt|Zt)也被指定为参数化的多元正态分布，其均值
Figure RE-FDA0002402099240000029
和协方差矩阵
Figure RE-FDA00024020992400000210
由以Zt为输入的多层感知机的输出，即
Figure RE-FDA00024020992400000211
其中
Figure RE-FDA00024020992400000212
两层的MLP实现如下：
Figure RE-FDA00024020992400000213
其中{W1,W2,b1,b2}是可学习的参数；符号
Figure RE-FDA00024020992400000214
表示广播加运算，其将左边的向量加至右边矩阵的每一行；生成模型的参数集合θ包含图神经网络和多层感知机中的全部参数。
5.如权利要求1所述的基于图神经网络的状态空间概率性多时间序列预测方法，其特征在于，推断网络用于构建参数化的近似后验分布qφ(Zt|Zt-1,Xt)，其中φ表示推断网络的参数集合；
以上一时刻隐状态Zt-1和当前时刻观测Xt为输入，推断网络输出的近似后验分布qφ(Zt|Zt-1,Xt)被指定为参数化的多元独立正态分布，即协方差矩阵为对角矩阵，其均值
Figure RE-FDA0002402099240000031
和方差(即协方差矩阵的对角元素)
Figure RE-FDA0002402099240000032
由循环神经网络(RNN)和图神经网络输出，即
Figure RE-FDA0002402099240000033
其中：
Figure RE-FDA0002402099240000034
Ht＝RNNφ(Ht-1,Xt) (5)
推断网络的参数集合φ包括GNN和RNN的参数。
6.如权利要求1所述的基于图神经网络的状态空间概率性多时间序列预测方法，其特征在于，步骤(3)中，根据状态转移分布中的概率密度
Figure RE-FDA0002402099240000035
近似后验分布中的概率密度
Figure RE-FDA0002402099240000036
以及状态观测分布中的概率密度
Figure RE-FDA0002402099240000037
计算整个观测序列X1:T的对数似然logpθ(X1:T)的下界
Figure RE-FDA0002402099240000038
Figure RE-FDA0002402099240000039
对批次中M个训练样本的似然度下界求平均，得到整批次的平均似然度下界
Figure RE-FDA00024020992400000310
作为损失函数，使用基于梯度的优化器更新生成模型的参数θ和推断网络的参数φ。
7.如权利要求1所述的基于图神经网络的状态空间概率性多时间序列预测方法，其特征在于，步骤(4)中将待预测序列输入至推断网络中，得到参数化近似后验分布，从近似后验分布中采样得到对隐状态的估计，即从时刻1至时刻T顺序采样得到隐状态序列
Figure RE-FDA00024020992400000311
保留的最终的隐状态估计
Figure RE-FDA0002402099240000041
根据隐状态序列
Figure RE-FDA0002402099240000042
利用生成模型获得的隐状态序列
Figure RE-FDA0002402099240000043
的状态观测分布
Figure RE-FDA0002402099240000044
并从该状态观测分布
Figure RE-FDA0002402099240000045
中采样获得观测估计
Figure RE-FDA0002402099240000046
CN201911379600.2A 2019-12-27 2019-12-27 一种基于图神经网络的状态空间概率性多时间序列预测方法 Pending CN111079931A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911379600.2A CN111079931A (zh) 2019-12-27 2019-12-27 一种基于图神经网络的状态空间概率性多时间序列预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911379600.2A CN111079931A (zh) 2019-12-27 2019-12-27 一种基于图神经网络的状态空间概率性多时间序列预测方法

Publications (1)

Publication Number Publication Date
CN111079931A true CN111079931A (zh) 2020-04-28

Family

ID=70318843

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911379600.2A Pending CN111079931A (zh) 2019-12-27 2019-12-27 一种基于图神经网络的状态空间概率性多时间序列预测方法

Country Status (1)

Country Link
CN (1) CN111079931A (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112085866A (zh) * 2020-08-14 2020-12-15 陕西千山航空电子有限责任公司 一种基于飞参数据的飞机异常状态识别方法
CN112150013A (zh) * 2020-09-27 2020-12-29 平安资产管理有限责任公司 一种企业风险预警方法、装置、设备及可读存储介质
CN112269931A (zh) * 2020-10-28 2021-01-26 中山大学 数据驱动的群体智能交互关系推断与演化计算方法
CN112330079A (zh) * 2021-01-07 2021-02-05 四川大汇大数据服务有限公司 地表信息预测方法及装置
CN112465054A (zh) * 2020-12-07 2021-03-09 深圳市检验检疫科学研究院 一种基于fcn的多变量时间序列数据分类方法
CN112783940A (zh) * 2020-12-31 2021-05-11 广州大学 基于图神经网络的多源时序数据故障诊断方法和介质
CN112966193A (zh) * 2021-03-05 2021-06-15 北京百度网讯科技有限公司 出行意图推断方法、模型训练方法、相关装置及电子设备
CN113159409A (zh) * 2021-04-14 2021-07-23 浙江大学 一种基于组感知图神经网络的全国城市空气质量预测方法
CN113379156A (zh) * 2021-06-30 2021-09-10 南方科技大学 速度预测方法、装置、设备及存储介质
US20220129790A1 (en) * 2020-10-28 2022-04-28 Verizon Media Inc. System and method for deep enriched neural networks for time series forecasting
CN114519405A (zh) * 2022-04-21 2022-05-20 科大天工智能装备技术（天津）有限公司 一种流程工业多传感器数据协同分析方法和系统
WO2022165602A1 (en) * 2021-02-04 2022-08-11 Huawei Technologies Co., Ltd. Method, system and computer readable medium for probabilistic spatiotemporal forecasting
CN114915444A (zh) * 2022-03-23 2022-08-16 中国科学院信息工程研究所 基于图神经网络的DDoS攻击检测方法及装置
CN115510597A (zh) * 2022-09-22 2022-12-23 中国人民解放军海军航空大学 Gnn框架下基于广义s维分配的多传感器数据互联方法
CN115640337A (zh) * 2022-12-22 2023-01-24 粤港澳大湾区数字经济研究院(福田) 针对符号图网络的异常数据预测方法、系统及相关设备

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112085866A (zh) * 2020-08-14 2020-12-15 陕西千山航空电子有限责任公司 一种基于飞参数据的飞机异常状态识别方法
CN112150013A (zh) * 2020-09-27 2020-12-29 平安资产管理有限责任公司 一种企业风险预警方法、装置、设备及可读存储介质
US20220129790A1 (en) * 2020-10-28 2022-04-28 Verizon Media Inc. System and method for deep enriched neural networks for time series forecasting
CN112269931A (zh) * 2020-10-28 2021-01-26 中山大学 数据驱动的群体智能交互关系推断与演化计算方法
CN112269931B (zh) * 2020-10-28 2023-10-31 中山大学 数据驱动的群体智能交互关系推断与演化计算方法
CN112465054A (zh) * 2020-12-07 2021-03-09 深圳市检验检疫科学研究院 一种基于fcn的多变量时间序列数据分类方法
CN112783940A (zh) * 2020-12-31 2021-05-11 广州大学 基于图神经网络的多源时序数据故障诊断方法和介质
CN112783940B (zh) * 2020-12-31 2023-06-09 广州大学 基于图神经网络的多源时序数据故障诊断方法和介质
CN112330079A (zh) * 2021-01-07 2021-02-05 四川大汇大数据服务有限公司 地表信息预测方法及装置
WO2022165602A1 (en) * 2021-02-04 2022-08-11 Huawei Technologies Co., Ltd. Method, system and computer readable medium for probabilistic spatiotemporal forecasting
CN112966193B (zh) * 2021-03-05 2023-07-25 北京百度网讯科技有限公司 出行意图推断方法、模型训练方法、相关装置及电子设备
CN112966193A (zh) * 2021-03-05 2021-06-15 北京百度网讯科技有限公司 出行意图推断方法、模型训练方法、相关装置及电子设备
CN113159409A (zh) * 2021-04-14 2021-07-23 浙江大学 一种基于组感知图神经网络的全国城市空气质量预测方法
CN113379156A (zh) * 2021-06-30 2021-09-10 南方科技大学 速度预测方法、装置、设备及存储介质
CN114915444B (zh) * 2022-03-23 2023-03-10 中国科学院信息工程研究所 基于图神经网络的DDoS攻击检测方法及装置
CN114915444A (zh) * 2022-03-23 2022-08-16 中国科学院信息工程研究所 基于图神经网络的DDoS攻击检测方法及装置
CN114519405A (zh) * 2022-04-21 2022-05-20 科大天工智能装备技术（天津）有限公司 一种流程工业多传感器数据协同分析方法和系统
CN114519405B (zh) * 2022-04-21 2022-07-12 科大天工智能装备技术（天津）有限公司 一种流程工业多传感器数据协同分析方法和系统
CN115510597A (zh) * 2022-09-22 2022-12-23 中国人民解放军海军航空大学 Gnn框架下基于广义s维分配的多传感器数据互联方法
CN115510597B (zh) * 2022-09-22 2024-02-02 中国人民解放军海军航空大学 Gnn框架下基于广义s维分配的多传感器数据互联方法
CN115640337A (zh) * 2022-12-22 2023-01-24 粤港澳大湾区数字经济研究院(福田) 针对符号图网络的异常数据预测方法、系统及相关设备

Similar Documents

Publication Publication Date Title
CN111079931A (zh) 一种基于图神经网络的状态空间概率性多时间序列预测方法
Zhang et al. AS-NAS: Adaptive scalable neural architecture search with reinforced evolutionary algorithm for deep learning
Shukla Neuro-genetic prediction of software development effort
CN113905391B (zh) 集成学习网络流量预测方法、系统、设备、终端、介质
CN111582610A (zh) 基于卷积神经网络对家庭能量分解的预测方法
CN112765896A (zh) 一种基于lstm的水处理时序数据异常检测方法
CN109344992B (zh) 一种融合时空因素的智能家居用户操控行为习惯建模方法
Gan et al. A global–local optimization approach to parameter estimation of RBF-type models
Liu et al. A survey on computationally efficient neural architecture search
CN114639483A (zh) 一种基于图神经网络的电子病历检索方法及装置
CN113988464A (zh) 基于图神经网络的网络链路属性关系预测方法及设备
CN115018193A (zh) 基于lstm-ga模型的时间序列风能数据预测方法
CN116346639A (zh) 一种网络流量预测方法、系统、介质、设备及终端
Wang et al. Graph active learning for GCN-based zero-shot classification
CN116340726A (zh) 一种能源经济大数据清洗方法、系统、设备及存储介质
Zhou et al. Online recommendation based on incremental-input self-organizing map
Zhang et al. Granger causal inference for interpretable traffic prediction
CN115081609A (zh) 一种智能决策中的加速方法、终端设备及存储介质
CN114092269A (zh) 基于改进广义网络向量模型的时序数据预测方法及装置
CN115080795A (zh) 一种多充电站协同负荷预测方法及装置
CN113704570A (zh) 基于自监督学习式进化的大规模复杂网络社区检测方法
CN111382391A (zh) 一种用于多目标回归的目标相关特征构建方法
Shen et al. Long-term multivariate time series forecasting in data centers based on multi-factor separation evolutionary spatial–temporal graph neural networks
Prudêncio et al. Design of neural networks for time series prediction using case-initialized genetic algorithms
CN115359654B (zh) 流量预测系统的更新方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination