CN113672865A - 一种基于深度图高斯过程的交通流量预测方法 - Google Patents

一种基于深度图高斯过程的交通流量预测方法 Download PDF

Info

Publication number
CN113672865A
CN113672865A CN202110849393.3A CN202110849393A CN113672865A CN 113672865 A CN113672865 A CN 113672865A CN 202110849393 A CN202110849393 A CN 202110849393A CN 113672865 A CN113672865 A CN 113672865A
Authority
CN
China
Prior art keywords
gaussian process
depth map
gaussian
function
convolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110849393.3A
Other languages
English (en)
Inventor
蒋云良
范金斌
张雄涛
申情
刘勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huzhou University
Original Assignee
Huzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huzhou University filed Critical Huzhou University
Priority to CN202110849393.3A priority Critical patent/CN113672865A/zh
Publication of CN113672865A publication Critical patent/CN113672865A/zh
Priority to US17/873,190 priority patent/US20230058520A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/11—Complex mathematical operations for solving equations, e.g. nonlinear equations, general mathematical optimization problems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/15—Correlation function computation including computation of convolution operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/15—Correlation function computation including computation of convolution operations
    • G06F17/153—Multidimensional correlation or convolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G08G1/0129—Traffic data processing for creating historical data or processing based on historical data
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0137—Measuring and analyzing of parameters relative to traffic conditions for specific applications
    • G08G1/0141—Measuring and analyzing of parameters relative to traffic conditions for specific applications for traffic information dissemination

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Mathematical Analysis (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Computational Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Business, Economics & Management (AREA)
  • Databases & Information Systems (AREA)
  • Algebra (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Operations Research (AREA)
  • Economics (AREA)
  • Tourism & Hospitality (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Development Economics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Primary Health Care (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Educational Administration (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)

Abstract

本发明提出了一种基于深度图高斯过程的交通流量预测方法，包括以下步骤：S1.针对空间依赖中所存在的动态性，采用注意力核函数刻画拓扑图上各结点间的动态依赖，并用作聚合高斯过程中的协方差函数，以提取动态空间特征；S2.由不同时刻下的权重、服从高斯过程的卷积函数得到时序卷积高斯过程，并结合聚合高斯过程，获取交通数据中的时序特征；S3.由聚合高斯过程、时序卷积高斯过程以及具有线性核函数的高斯过程，构建融合高斯过程及深度结构的深度图高斯过程方法，将待预测的数据样本输入至深度图高斯过程方法中，得到的预测结果。该方法实现了在少量样本下获取复杂特征、预测交通流量、量化不确定性。

Description

一种基于深度图高斯过程的交通流量预测方法
【技术领域】
本发明涉及交通流量预测的技术领域，特别是一种基于深度图高斯过程的交通流量预测方法。
【背景技术】
交通问题已经成为全球性的城市通病，严重影响着城市的运转效率和经济发展，而交通拥堵作为城市交通病症的主要表现，给人们的生活和工作造成了巨大的影响。交通拥堵所造成的经济、安全和环境等方面的重大损失早已引起社会的广泛关注，对城市交通系统拥堵现象和规律的相关科学问题研究已经成为交通领域的热点之一。基于此背景，各种城市道路交通流量预测方法应运而生。
现有技术中，在数据资源丰富地区提出了多特征时空卷积网络模型，用于解决多数据特征提取及融合的问题，但是提供丰富的数据资源依赖于成熟的数据平台。当前，在经济落后地区上展开数据采集、收集、管理工作依然困难，同时现有深度时空模型在少量样本上学习不尽人意。
针对数据资源匮乏地区内的少量且存在特殊值的交通流量数据，为解决如何提取复杂时空特征、如何量化时空不确定性、如何在少量样本上构建深度时空模型三个问题，现提出一种基于深度图高斯过程的交通流量预测方法。
【发明内容】
本发明的目的就是解决现有技术中的问题，提出一种基于深度图高斯过程的交通流量预测方法，能够实现在少量样本下获取复杂特征、预测交通流量、量化不确定性。
为实现上述目的，本发明提出了一种基于深度图高斯过程的交通流量预测方法，包括以下步骤：
S1.针对空间依赖中所存在的动态性，采用注意力核函数刻画拓扑图上各结点间的动态依赖，并用作聚合高斯过程中的协方差函数，以提取动态空间特征；
S2.由不同时刻下的权重、服从高斯过程的卷积函数得到时序卷积高斯过程，并结合聚合高斯过程，获取交通数据中的时序特征；
S3.由聚合高斯过程、时序卷积高斯过程以及具有线性核函数的高斯过程，构建融合高斯过程及深度结构的深度图高斯过程方法，将待预测的数据样本输入至深度图高斯过程方法中，由步骤S1中的聚合操作提取空间依赖，然后步骤S2中的卷积运算获取其中的时空特征，将获取的时空特征输入至具有线性核函数的高斯过程中得到的预测结果。
作为优选，步骤S1具体包括以下步骤：
S11.采用核函数KE(·，·)以刻画空间上的动态相关性，则图结点间的联系表示为
W＝(I+A)KE(x，x′) (1)
其中，W表示拓扑图上各边的权重，KE(x，x′)用于度量各个结点间的动态相关性，单位阵I用于表示拓扑图上存在自环，以表达当前图结点特征在不同时刻下对自身的影响；
S12.基于式(1)，某时刻下的空间特征则采用如下方式提取
Figure BDA0003181808020000021
式(2)中的对角度矩阵中对角元素为Dii＝Wii+∑j∈Ne(i)Wij以及Ne(i)＝{j：j∈{1，…，N}，Aij＝1}代表该时刻拓扑图上第i个结点周围的邻居结点；
S13.由式(2)所示的聚合高斯过程，令结点映射函数f(·)服从具有均值函数为
Figure BDA0003181808020000022
协方差函数为
Figure BDA0003181808020000023
的高斯过程，即
Figure BDA0003181808020000024
并简写为
Figure BDA0003181808020000025
Figure BDA0003181808020000026
结合并整理式(2)，可得到能够获取结点间动态依赖的聚合高斯过程，即如下表达形式，
Figure BDA0003181808020000027
其中P＝D-1W以及KN，ij＝KN(xi，xj)，由此，在C个时刻下的空间特征
Figure BDA0003181808020000028
Figure BDA0003181808020000029
可表示为多次独立采样后的结果，并且服从概率分布
Figure BDA00031818080200000210
作为优选，高斯过程中的协方差函数选择具有正定性的核函数KN(·，·)，协方差函数重写为特征映射间的内积形式，即KN(xi，xj)＝φ(xi)φ(xj)T，存在
Figure BDA0003181808020000031
式(3)所表示的聚合高斯过程包含了一个刻画动态图结构的注意力核函数
Figure BDA0003181808020000032
其中ΦA＝PΦN；所述聚合高斯过程在采用注意力核函数下表示为
Figure BDA0003181808020000033
作为优选，聚合高斯过程的变分形式实现的方法如下：
假设一组支撑随机变量
Figure BDA0003181808020000034
且该变量服从均值为
Figure BDA0003181808020000035
以及协方差为
Figure BDA0003181808020000036
的多维高斯分布；其中，所假设的支撑点集合
Figure BDA0003181808020000037
与聚合高斯过程的输入x属于同一数据分布，但是支撑点集合中的数据点间不分配拓扑联系，即支撑点集合内各个数据点及支撑点集合与输入集合的数据点间不存在连边；支撑点集合内的数据点与输入集合内的数据点之间的相关性计算方法为
Figure BDA0003181808020000038
支撑点集合内的相关性计算方式则为
Figure BDA0003181808020000039
基于上述假设，则在C个时刻下有如下变分概率表示形式为
Figure BDA00031818080200000310
基于上述假设的支撑点集合以及变分概率分布
Figure BDA00031818080200000311
聚合高斯过程的变分联合分布表达为如下形式，
Figure BDA00031818080200000312
其中，Z为由C个时刻的支撑点集合组成，并假设与各时刻下的输入属于同一分布；上式中的支撑变量采用贝叶斯公式进行运算，并得到支撑变量边缘化处理之后的聚合高斯过程变分分布，则由式(5)可得
Figure BDA00031818080200000313
作为优选，步骤S2具体包括以下步骤：
S21.采用如下方式获取第i个结点上的包含空间特征的时序特征，即
Figure BDA00031818080200000314
在式(6)中每个时刻上的图结点信息
Figure BDA00031818080200000315
先执行卷积操作g(·)，而后再结合不同时刻上的联系，可以获得第i个结点上的时空特征hi；
S22.采用对映射函数f(·)的操作，令卷积运算方法g(·)服从具有均值函数为
Figure BDA00031818080200000316
以及协方差函数为
Figure BDA0003181808020000041
的高斯过程，即
Figure BDA0003181808020000042
并简写为
Figure BDA0003181808020000043
由式(6)可得到具有权重卷积核函数的时序卷积高斯过程，
Figure BDA0003181808020000044
S23.权重wc采用向量化处理，从而得到w＝[w1，w2，…，wC]∈RC，在第i个结点上保持C个时刻不变和特征长度
Figure BDA0003181808020000045
不变的情况下，
Figure BDA0003181808020000046
所对应的矩阵形状调整为
Figure BDA0003181808020000047
时序卷积高斯过程简化为如下形式，
Figure BDA0003181808020000048
其中的
Figure BDA0003181808020000049
表示在第c个时刻上的特征与在第c′个时刻上的特征间的相似性，时空特征
Figure BDA00031818080200000410
满足如下概率分布形式
Figure BDA00031818080200000411
作为优选，时序卷积高斯过程的变分形式实现的方法如下：
引入与
Figure BDA00031818080200000412
同分布的支撑点集合
Figure BDA00031818080200000413
并由卷积运算g(·)对支撑点集合计算得到支撑随机变量
Figure BDA00031818080200000414
令支撑随机变量服从具有均值为
Figure BDA00031818080200000415
以及协方差为
Figure BDA00031818080200000416
的多维高斯分布q(u)；
在计算变分联合分布时，协方差的计算同样需要结合时序相关性，即
Figure BDA00031818080200000417
以及
Figure BDA00031818080200000418
基于此，构造时序卷积高斯过程的变分联合表达式，
Figure BDA00031818080200000419
其中的
Figure BDA00031818080200000420
对上式中的支撑变量做边缘化处理之后，得到时序卷积高斯过程的变分概率
Figure BDA00031818080200000421
作为优选，步骤S3具体包括以下步骤：
S31.通过堆叠可提取空间依赖关系的聚合高斯过程及提取时序特征的时序卷积高斯过程，可得到获取时空特征H∈RN×F×C的单元，所提出深度图高斯过程模型中第一层的输入为时空数据H0＝X；同样作为输入的邻接矩阵A转化为权重矩阵W已包含于聚合高斯过程之中；其次，作为第l层(1≤l≤L)输入的时空特征Hl-1，先采用聚合操作提取其中的空间依赖，然后执行卷积运算获取其中的时空特征；最后，HL输入至具有线性核函数的高斯过程中得到的预测结果；
S32.令每层中的映射函数fl(·)及时序卷积函数gl(·)分别服从高斯过程；对于映射函数fl(·)所服从的高斯过程具有均值函数
Figure BDA0003181808020000051
以及协方差函数
Figure BDA0003181808020000052
而时序卷积函数gl(·)则服从具有均值函数
Figure BDA0003181808020000053
以及协方差函数
Figure BDA0003181808020000054
的高斯过程；最后的输出层o(·)服从于定义有线性协方差函数
Figure BDA0003181808020000055
及均值函数
Figure BDA0003181808020000056
的高斯过程；基于上述概率表达形式，深度图高斯过程的联合分布形式如下：
Figure BDA0003181808020000057
其中的
Figure BDA0003181808020000058
表示深度图高斯过程方法所给出的预测结果。
作为优选，深度图高斯过程的变分形式实现的方法为：
每层的聚合高斯过程以及时序卷积高斯过程，分别引入支撑变量
Figure BDA0003181808020000059
Ul，同时假设其概率分布为
Figure BDA00031818080200000510
采用聚合高斯过程中支撑集合的构造方式，得到支撑点集合构成的Zo，以及输出层处的支撑变量分布
Figure BDA00031818080200000511
深度图高斯过程的变分联合形式可有如下形式
Figure BDA00031818080200000512
基于上述边缘化处理，深度图高斯过程的变分形式表示为
Figure BDA00031818080200000513
作为优选，基于深度图高斯过程的变分形式的学习方法如下：
对式(12)中的Hl以及
Figure BDA00031818080200000514
的变分分布计算边缘概率之后，变分深度图高斯过程的后验概率可采用如下表示
Figure BDA00031818080200000515
其中，
Figure BDA00031818080200000516
是对时空特征相互独立的第i个结点上交通流量的预测结果；
基于上述深度图高斯过程变分形式及其变分后验形式的推导，深度图高斯过程的经验最小下界有如下形式
Figure BDA0003181808020000061
此外，再结合式(10)、式(11)以及式(13)，式(14)整理后可得，
Figure BDA0003181808020000062
本发明的有益效果：本发明借助所提出的聚合高斯过程方法解决了无法获取动态空间依赖的问题。通过组合聚合高斯过程以及时序卷积高斯过程实现了复杂时空特征的提取。所提出深度图高斯过程，结合了高斯过程及深度结构优势，从而实现了在少量样本下获取复杂特征、预测交通流量、量化不确定性。
本发明的特征及优点将通过实施例结合附图进行详细说明。
【附图说明】
图1是本发明深度图高斯过程方法的示意图，其中a图为深度图高斯过程的框图，b图为a图中提取时空特征的单元，c图为a图中的输出单元；
图2是本发明中聚合高斯过程的示意图；
图3是本发明中时序卷积高斯过程的示意图；
图4为在不同聚合方式下的对比图；
图5为HHY上真实交通流量与预测值的对比图；
图6为HHY上评价结果热力图；
图7为PeMS03上真实交通流量与预测值的对比图；
图8为PeMS03上评价结果热力图；
图9为PeMS07上真实交通流量与预测值的对比图；
图10为PeMS07上的评价结果热力图。
【具体实施方式】
本发明所提出的深度图高斯过程方法如图1所示，分别采用了首次提出的聚合高斯过程(Aggregation Gaussian Process，AGP)、时序卷积高斯过程(TemporalConvolutional GaussianProcess，TCGP)以及具有线性核函数的高斯过程。具体地，聚合高斯过程包含了可刻画动态空间依赖的注意力核函数，从而获取空间特征，特别是现有高斯过程及其深度结构无法提取的动态空间特征；时序卷积高斯过程则用于获取交通数据中的时序特征。又如图1的b图中的某一时空特征提取单元由聚合高斯过程和时序卷积高斯过程组合而成，该组合方法可更好地获取复杂时空特征。在所提出的方法中，具有线性核函数的高斯过程方法将所提取的复杂时空特征作为输入，并预测交通流量以及量化时空不确定性。由于所提出的方法采用高斯过程以及深度结构而成，因此深度图高斯过程可从少量数据中获取最具代表性的特征，并给出交通流量预测数值和时空不确定性量化结果。
1.聚合高斯过程及其变分形式
S1.聚合高斯过程实现的步骤如下：
S11.首先，如图2所示，在交通场景下的空间存在明显的动态相关性，比如交通流量在相邻的结点流动。为解决现有高斯过程及深度高斯过程无法获取图结点间动态依赖的不足，采用核函数KE(·，·)以刻画空间上的动态相关性，则图结点间的联系为
W＝(I+A)KE(x，x′)(1)
其中W表示拓扑图上各边的权重，KE(x，x′)用于度量各个结点间的动态相关性。而单位阵I则用于表示拓扑图上存在自环，以表达当前图结点特征在不同时刻下对自身的影响，此外，A为图结点的邻接矩阵。
S12.基于式(1)，某时刻下的空间特征则可采用如下方式提取
Figure BDA0003181808020000071
上式中的对角度矩阵中对角元素为Dii＝Wii+∑j∈Ne(i)Wij以及Ne(i)＝{j：j∈{1，…，N}，Aij＝1}代表该时刻拓扑图上第i个结点周围的邻居结点。
S13.由式(2)所示的聚合高斯过程，令结点映射函数f(·)服从具有均值函数为
Figure BDA0003181808020000072
协方差函数为
Figure BDA0003181808020000073
的高斯过程，即
Figure BDA0003181808020000074
并简写为
Figure BDA0003181808020000075
Figure BDA0003181808020000076
结合并整理式(2)，可得到能够获取结点间动态依赖的聚合高斯过程，即如下表达形式，
Figure BDA0003181808020000081
其中P＝D-1W以及KN，ij＝KN(xi，xj)。由此，在C个时刻下的空间特征
Figure BDA0003181808020000082
Figure BDA0003181808020000083
可表示为多次独立采样后的结果，并且服从概率分布
Figure BDA0003181808020000084
此外，因为高斯过程中的协方差函数选择具有正定性的核函数KN(·，·)，所以协方差函数可重写为特征映射间的内积形式，即KN(xi，xj)＝φ(xi)φ(xj)T，也就是存在
Figure BDA0003181808020000085
基于此，本文首次提出的获取结点间动态依赖的过程，可有准确的数学解释，即式(3)所表示的聚合高斯过程包含了一个刻画动态图结构的注意力核函数
Figure BDA0003181808020000086
其中ΦA＝PΦN。因此，聚合高斯过程在采用注意力核函数下又可以表示为
Figure BDA0003181808020000087
此外，为便于描述深度图高斯过程的学习过程，本发明引出聚合高斯过程的变分形式。
聚合高斯过程的变分形式实现的步骤如下：
首先，假设一组支撑随机变量
Figure BDA0003181808020000088
且该变量服从均值为
Figure BDA0003181808020000089
Figure BDA00031818080200000810
以及协方差为
Figure BDA00031818080200000811
的多维高斯分布。
其次，其中所假设的支撑点集合
Figure BDA00031818080200000812
与聚合高斯过程的输入x属于同一数据分布，但是支撑点集合中的数据点间不分配拓扑联系，也就是支撑点集合内各个数据点及支撑点集合与输入集合的数据点间不存在连边。因此，支撑点集合内的数据点与输入集合内的数据点之间的相关性计算方法为
Figure BDA00031818080200000813
支撑点集合内的相关性计算方式则为
Figure BDA00031818080200000814
基于上述假设，则在C个时刻下有如下变分概率表示形式为，
Figure BDA00031818080200000815
基于上述假设的支撑点集合以及变分概率分布
Figure BDA00031818080200000816
聚合高斯过程的变分联合分布可表达为如下形式，
Figure BDA00031818080200000817
其中的Z为由C个时刻的支撑点集合组成，并假设与各时刻下的输入属于同一分布。上式中的支撑变量采用贝叶斯公式进行运算，并得到支撑变量边缘化处理之后的聚合高斯过程变分分布，则由式(5)可得
Figure BDA00031818080200000818
2.时序卷积高斯过程及其变分形式
在获取拓扑图中所蕴含的空间依赖
Figure BDA00031818080200000819
之后，为解决交通场景下时序特征获取问题，采用如图3所示的时序卷积高斯过程获取在融合空间后的时序特征。
S2.时序卷积高斯过程实现的步骤如下：
S21.由于各个结点在一段时间内可具有不同的时间特征，为此采用如下方式获取第i个结点上的包含空间特征的时序特征，即
Figure BDA0003181808020000091
在上式中每个时刻上的图结点信息
Figure BDA0003181808020000092
光执行卷积操作g(·)，而后再结合不同时刻上的联系，可以获得第i个结点上的时空特征hi。
S22.类似地，采用对映射函数f(·)的操作，令卷积运算方法g(·)服从具有均值函数为
Figure BDA0003181808020000093
以及协方差函数为
Figure BDA0003181808020000094
的高斯过程，即
Figure BDA0003181808020000095
Figure BDA0003181808020000096
并简写为
Figure BDA0003181808020000097
由式(6)可得到具有权重卷积核函数的时序卷积高斯过程，
Figure BDA0003181808020000098
S23.上述形式下的时序卷积高斯过程表示并不简洁，同时在计算机中编码后的时序卷积运算效率低下。因此，所需的权重wc采用向量化处理，从而得到w＝[w1，w2，…，wC]∈RC。同样地，在第i个结点上保持C个时刻不变和特征长度
Figure BDA0003181808020000099
不变的情况下，
Figure BDA00031818080200000910
所对应的矩阵形状调整为
Figure BDA00031818080200000911
基于此，本节所介绍的时序卷积高斯过程可简化为如下形式，
Figure BDA00031818080200000912
其中的
Figure BDA00031818080200000913
表示在第c个时刻上的特征与在第c′个时刻上的特征间的相似性。又因为交通场景下具有区域性特点，所以各点间的时空特征可视为相互独立，基于此时空特征
Figure BDA00031818080200000914
满足如下概率分布形式
Figure BDA00031818080200000915
同样地，在此部分给出时序卷积高斯过程的变分形式，以便后续引出深度图高斯过程的变分形式。
时序卷积高斯过程的变分形式实现的步骤如下：
与聚合高斯过程的变分分布的推导过程相似，引入与
Figure BDA00031818080200000916
同分布的支撑点集合
Figure BDA00031818080200000917
并由卷积运算g(·)对支撑点集合计算得到支撑随机变量
Figure BDA00031818080200000918
同样地，令支撑随机变量服从具有均值为
Figure BDA00031818080200000919
以及协方差为
Figure BDA00031818080200000920
的多维高斯分布q(u)。
在计算变分联合分布时，协方差的计算同样需要结合时序相关性，即
Figure BDA0003181808020000101
以及
Figure BDA0003181808020000102
基于此，可构造时序卷积高斯过程的变分联合表达式，具体地，
Figure BDA0003181808020000103
其中的
Figure BDA0003181808020000104
以及
Figure BDA0003181808020000105
采用步骤S13相同的构造方式由该层的
Figure BDA0003181808020000106
得到。对上式中的支撑变量做边缘化处理之后，可以得到时序卷积高斯过程的变分概率
Figure BDA0003181808020000107
3.深度图高斯过程描述及其学习过程
S3.深度图高斯过程实现的步骤如下：
S31.如图1所示，通过堆叠可提取空间依赖关系的聚合高斯过程及提取时序特征的时序卷积高斯过程，可得到获取时空特征H∈RN×F×C的单元，从而组合高斯过程及深度结构优点。所提出模型中第一层的输入为时空数据H0＝X。同样作为输入的邻接矩阵A转化为权重矩阵W已包含于聚合高斯过程之中。其次，作为第l层(1≤l≤L)输入的时空特征Hl-1，先采用聚合操作提取其中的空间依赖，然后执行卷积运算获取其中的时空特征。最后，HL输入至具有线性核函数的高斯过程中得到的预测结果。
S32.令每层中的映射函数fl(·)及时序卷积函数gl(·)分别服从高斯过程。特别地，对于映射函数fl(·)所服从的高斯过程具有均值函数
Figure BDA0003181808020000108
以及协方差函数
Figure BDA0003181808020000109
Figure BDA00031818080200001010
而时序卷积函数gl(·)则服从具有均值函数
Figure BDA00031818080200001011
以及协方差函数
Figure BDA00031818080200001012
Figure BDA00031818080200001013
的高斯过程。最后的输出层o(·)服从于定义有线性协方差函数
Figure BDA00031818080200001014
及均值函数
Figure BDA00031818080200001015
的高斯过程。基于上述概率表达形式，则图1中所示的深度图高斯过程，可有如下联合分布形式，
Figure BDA00031818080200001016
其中的
Figure BDA00031818080200001017
表示深度图高斯过程方法所给出的预测结果。
类似地，每层的聚合高斯过程以及时序卷积高斯过程，分别引入支撑变量
Figure BDA00031818080200001018
Ul，同时假设其概率分布为
Figure BDA00031818080200001019
采用聚合高斯过程中支撑集合的构造方式，得到支撑点集合构成的Zo，以及输出层处的支撑变量分布
Figure BDA00031818080200001020
Figure BDA00031818080200001021
基于此，深度图高斯过程的变分联合形式可有如下形式，
Figure BDA00031818080200001022
Figure BDA0003181808020000111
结合贝叶斯公式、式(5)、式(9)可得到
Figure BDA0003181808020000112
以及
Figure BDA0003181808020000113
从而基于上述边缘化处理，深度图高斯过程的变分形式可表示为，
Figure BDA0003181808020000114
基于变分形式的学习方法如下：
因为在数据样本增多的情况下，推断深度图高斯过程方法中参数的过程需要花费较大的计算代价，所以在DSVI算法的基础上进行了扩展，以便高效推断本文首次提出的深度图高斯过程方法。
首先，对式(12)中的Hl以及
Figure BDA0003181808020000115
的变分分布计算边缘概率之后，变分深度图高斯过程的后验概率可采用如下表示
Figure BDA0003181808020000116
其中的
Figure BDA0003181808020000117
是对时空特征相互独立的第i个结点上交通流量的预测结果。
最后，基于上述深度图高斯过程变分形式及其变分后验形式的推导，深度图高斯过程的经验最小下界有如下形式，
Figure BDA0003181808020000118
此外，再结合式(10)、式(11)以及式(13)，式(14)整理后可得，
Figure BDA0003181808020000119
采用式(15)，所提出的深度图高斯过程可基于改进的DSVI算法进行训练以达到经验最小下界的最大化。
4.实验
4.1实验数据集
为验证所提出深度图高斯过程方法在少量样本上可提取复杂时空特征并给出准确预测与量化不确定性，采用了三个真实的交通流量数据集，即HHY、PeMS03以及PeMS07，分别收集于浙江交通投资集团以及美国加州的Caltrans Performance Measurement System(PeMS)。关于三个数据集的细节介绍见于下文。
由浙江交通投资集团提供的HHY数据集，包含有从2019年9月1日至2019年9月15日期间的沪杭甬高速交通流量数据。为处理该数据集内丢失的交通流量数据，采用插值方式进行处理。在处理丢失数据之后，HHY数据集先被处理为包含5分钟内交通流量的数据集，再将前60％的高速交通流量数据作为训练集、其后10％的高速交通流量数据作为验证集，而处理后的数据集中剩余的部分划分为测试集。
PeMS03数据集则收集于加州第三区的交通路网之上，其中包括555个监测点，涵盖了从2018年1月1日至2018年1月31日整个时段。同样地，为模拟仅能收集少量样本的情况，选取了两天的交通流量作为训练集，在时序连续的情况下选择10％的交通流量作为验证集，并将剩余的所有交通流量数据作为测试集使用。此类数据划分的情况，能够保证训练数据样本量远低于正常深度模型训练所需。
PeMS07数据集包括了在加州第7区的四个月交通流量数据，即从2017年5月1日至2017年8月31日。该数据集的处理方式与PeMS03上所做操作相同。最后，根据以上的交通流量均采用Z-Score方法进行归一化。同时，采用图结构描述方法，以上三个数据集可被构造为图结构的时空数据。
4.2实验设置
本发明所提出的深度图高斯过程方法可在Windows 10操作系统下，以及搭载有AMD Ryzen73700X CPU、8GB RAM、GeForce GTX 1660GPU的硬件条件下完成构建并完成相应的训练和测试。所编写的深度图高斯过程模型由Python3.6计算机语言编写、高斯过程框架GPflow、深度学习框架TensorFlow完成搭建，并采用了以0.0005为学习率的Adam优化器最大化经验最小下界。
基于上述软硬件条件及所构建的模型，所提出方法中的超参数有如下选择。深度图高斯过程中的基础核函数，即KN(·，·)、KC(·，·)、KE(·，·)，分别选择为径向基函数、径向基函数以及余弦函数作为核函数，以用于构建聚合高斯过程和时序卷积高斯过程中的协方差函数。又由于交通流量预测问题属于回归问题，因此在选择所提出方法中的似然函数时选用GPflow框架中的高斯似然。此外，在选择6个时刻的交通流量作为输入的情况下，输入样本可缩减以模拟少量样本的场景，同时保留所需的历史信息。在权衡过拟合与欠拟合风险后，模型中时空特征的特征长度
Figure BDA0003181808020000131
设定为4，F设定为8，同时在HHY、PeMS03以及PeMS07三个数据集上，模型中各层上的Cl-1(1≤l≤L)分别取值为[6，2]、[6，2，2]、[6，2，2]。除此之外，所提出的深度图高斯过程需基于DSVI算法进行推断，因此在考虑推断效率及问题实际情况后，本章分别将输入层处的支撑点集合大小设定为3、并将剩余层处的支撑集和大小设定为16。
为全面而准确地评估所提出的深度高斯过程(Deep Graph Gaussian Processes，DGGPs)，该实验部分采用平均百分比误差(MeanAbsolute Percentage Error，MAPE)、平均绝对误差(Mean Absolute Error，MAE)、均方根误差(Root Mean Square Error，RMSE)。在上述设定下，选择如下对比方法，分别是平均历史数据方法(HistoricalAverage，HA)、支持向量回归(Support Vector Regression，SVR)、差分整合平移自回归(Auto RegressionIntegratedMovingAverage，ARIMA)、门控循环单元(Gated Recurrent Unit，GRU)、时序图卷积网络(Temporal Graph Convolutional Networks，T-GCN)、时空图卷积网络(Spatiotemporal GraphConvolutional Networks，STGCN)、图波动网络(Graph WaveNetworks，GWNet)、以及扩散卷积循环网络(Diffusion Convolutional Recurrent NeuralNetworks，DCRNN)。
上述的平均历史数据方法(Historical Average，HA)是一个基准方法。该方法的具体操作是将6个时刻上的数据的平均值作为预测值。支持向量回归是一个基于时序处理的模型，该模型的主要特点是构建历史交通流量预计未来交通流量间的关系，以便在给定历史交通流量后给出流量预测值。差分整合移动平均自回归模型同样是一个时间序列模型。该模型主要通过拟合历史交通流量以给出未来的预测结果。门控循环单元是一种基于循环卷积网络结构而改进的时序深度学习模型。
除了上述的时序模型之外，还选择了多个深度时空模型。时序图卷积网络是一种基于多种神经网络组合而成的模型，其中包括了图卷积网络以及门控循环单元用以预测交通流量。时空图卷积网络是另一种深度学习模型。该模型通过提取路网上时空特征以准确预测交通流量。图波动网络则是对同名深度时空图网络模型的改进版本。其原始版本发布于顶级会议IJCAI-19之上。最后，扩散卷积循环网络同样是一个深度网络模型。该模型分别借助扩散卷积网络和序列的学习框架用以提取空间依赖及时序特征，进而给出交通流量的预测。
4.3实验分析
首先，先对所提出的深度图高斯过程设计了消融实验，并得出不同聚合方式下会影响所训练模型的收敛速度，以及在不同深度设置下模型所给出的预测结果也有明显的差异。
其次，在三个真实的数据集上，所提出的深度时空模型与多个经典模型以及最优模型进行对比。本节验证了在少量数据的情况下，由所提出方法构建的模型不仅在多个评价指标上超越了最优模型，而且所提出的模型可提供可靠的不确定性度量。
4.3.1消融实验
在消融实验部分，在控制其他条件不变的情况下，先对模型采用了不同的聚合方式，即拉普拉斯矩阵式聚合以及本发明所提出的注意力机制式聚合，并得到如图4所示的实验结果。在HHY数据集上，借助注意力机制所构造的聚合方式相较于拉普拉斯矩阵式的聚合方式，在验证集上模型收敛速度明显更快。此外，在PeMS03数据集上，在选用平均绝对误差作为评价指标的情况下，注意力机制下的聚合方式所占据的优势并不明显；但是在选用平均百分比误差的情况下，注意力机制下的聚合方式则略胜一筹。该实验结果的一种解释是，深度图高斯过程方法在采用注意力机制获取路网上的动态空间相关性时，受到了交通流量数据特性的影响，例如PeMS03数据集具有较强的无规律性。总而言之，采用注意力机制的聚合方法不仅提取了动态空间依赖，而且有助于减少训练所需时长，但是针对聚合方式的设计仍有较大的研究价值。
表1不同深度L下的评测结果
Figure BDA0003181808020000141
Figure BDA0003181808020000151
表2不同深度L下的训练耗时
Figure BDA0003181808020000152
在消融实验中，不仅对不同聚合方式下的深度图高斯过程方法进行了对比，而且对不同深度下的模型进行了性能对比，实验结果如表1所示。明显地，当深度图高斯过程具有三层结构时，能在PeMS03数据集上有最好的预测结果。该实验结果再一次证实了通过堆叠多层高斯过程有利于获取数据中最具代表性的数据特征。但是又如表2所示，在上述相同实验条件下，模型训练所需的时长会随着模型深度的增加而增加。因此，运用所提出模型时，需要权衡好训练时长与预测精度之间的影响。
4.3.2对比实验
在完成消融实验之后，分别采用三个真实数据集对所提出的深度图高斯过程方法进行验证及测试。在三个所用的数据集上，所有模型均采用少量样本作为训练集，并在测试集上给出预测结果，以验证所提出方法在仅有少量样本下可借助所提取复杂时空特征并准确预测交通流量。下文将分别从HHY数据集、PeMS03数据集、PeMS07数据集介绍所提出模型的性能。
表3HHY上的评价结果
Figure BDA0003181808020000153
首先，在HHY数据集上，本发明所提出的深度图高斯过程与所选用的对比方法进行对比，得到如表3所示的结果。相较于其他对比方法，深度图高斯过程在所有评价指标上均达了最低水平，也进一步说明了本章所构造的深度时空模型可从少量样本中获取数据特征并给出准确的交通流量预测。从实验结果中可得，在少量训练样本的情况下，经典的时序模型，如SVR、ARIMA，能取得较好的预测结果。与传统深度学习模型GRU相比，STGCN、GWNet、DCRNN此类能够提取时空特征的深度学习模型能给出更为准确的交通流量预测结果。而深度学习模型T-GCN则在少量样本上无法获取有效的特征用于预测交通流量。
除此之外，为更直观地了解所提出模型的预测结果以及时空不确定性量化程度，此处在上下行车道上随机选择了第1号监测点、第3号监测点、第6号监测点以及第8号监测点，并在图5上绘制了预测值曲线、关于预测值95％的置信区间以及真实的交通流量曲线。由于缺失值的处理方式是采用插值方法，因此在图5上呈现出一个不自然的“V”字形曲线。由图5可知，除了“V”字形部分，所提出的深度图高斯过程方法所给出的预测结果几乎与真实的交通流量一致。同样地，为更直观地了解深度图高斯过程的预测结果与真实交通流量的偏差情况，本章将所有监测点上所计算的平均绝对误差以及平均百分比误差绘制为如图6所示的热力图。相似地，除了由插值所得的“V”字形部分，图6再一次证明了深度图高斯过程方法通过在少量样本上提取复杂的时空特征，预测几乎真实的交通流量。
之所以本发明所提出的深度图高斯过程方法能够在少量样本训练后获得以上准确的预测结果，是由于该方法下所编写的模型与高斯过程类似，即在少量样本下具有较好的泛化性。同时，深度图高斯过程模型也通过深度结构从少量样本中获取了最具代表性的数据特征，因此相比于经典模型及当前最优模型有更准确的预测。该实验结果不仅对所提出方法有了更深的认识，而且也对传统方法以及另外的深度时空模型也有了新的认识。比如，SVR以及ARIMA模型无法同时预测多个监测点上的交通流量；T-GCN模型所需的训练周期极长，而HA方法则过于朴素。基于此，在针对监测点较多的实验部分，上述模型将从对比模型中移除。
表4PeMS03上的评价结果
Figure BDA0003181808020000161
其次，在PeMS03数据集上的实验结果如表4所示。与现有最优的深度学习模型相比，所提出的深度图高斯过程借助高斯过程及深度结构的优势，从少量样本上获取复杂时空特征，可准确地预测交通流量。另外，相较于在HHY数据集上，所采用的对比模型的预测结果与该数据集的真实流量存在较大误差，其原因之一是所训练的数据样本骤减。特别是，深度图高斯过程相对于GWNet模型有绝对优势。此外，又如图7可知，PeMS03数据集上的交通流量不确定性较大，因此在时序上交通流量表现出较明显的震荡。由此可见，GWNet模型对于数据有较大敏感性。此外，从平均百分比误差来看，仅能提取时间特征的GRU模型并没有处理车辆通行的特殊情况，即当车流量较少，甚至为零的场景。
同样地，对该数据集也随机选取了四个监测点，并绘制了24小时内真实的交通流量曲线、预测曲线及其置信区间。正如图7所示，所提出的深度图高斯过程不仅给出了准确的交通流量预测，而且采用置信区间提供了时序上的不确定性度量。时序上的交通流量在时序上出现无规律波动时，所给出的置信区间能有效量化其不确定性。同时，即使在没有车辆经过的特殊情况下，所提出的深度图高斯过程仍然给出了可靠的预测结果。又如图8所示，在所有监测点上计算所得的平均绝对误差以及平均百分比误差均被可视化展示。结合图7，图8中的子图a)表明除了在少量监测点处及交通流量波动较大时段内，深度图高斯过程总体性能良好。除此之外，图8中的子图b)说明深度图高斯过程能够给出准确的预测结果，即使是交通流量为零的情况。
表5PeMS07上的评价结果
Figure BDA0003181808020000171
最后，在PeMS07数据集上，深度图高斯过程及相关对比模型的对比结果如表5所示。在该相对平稳的数据集之上，尽管各类方法最终所给出的预测结果与真实交通流量均较为接近，但是本发明所提出的深度图高斯过程方法仍然具有优势。不仅如此，相对于一般深度时空模型，所提出方法采用聚合高斯过程、时序卷积高斯过程获取复杂特征，从而仅依赖少量样本就给出了准确的交通流量预测结果。也正因如此，所提出的深度图高斯过程方法在平均百分比误差这个指标上表现得最好。又因为PeMS07数据集上仍有时序上的波动，所以GWNet以及DCRNN两个模型在所有指标上表现得不尽如人意。明显地，GRU在所有模型中表现得最差，其原因是该模型也不善于同时预测多个地点上的交通流量数值。
由图9所知，所提出的深度图高斯过程可以准确预测未来的交通流量，同时所给出的置信区间也可为交通流量提供不确定性度量，进而降低了时序上的不确定性。此外，图10同样展示了关于所有监测点的评价结果。无论是在平均绝对误差还是平均百分比误差上，所提出的方法几乎在所有时段上有较小的误差，也就是给出了接近真实交通流量的预测结果。同时，实验结果也表明采用多层高斯过程推叠而成的深度图高斯过程方法能够有效获取不同监测点上的时空特征并基于所提取的特征给出准确地预测结果。
结合上述所展示的实验结果，在实验部分的最后有如下总结，分别包括深度图高斯过程的结构、不同数据集上深度图高斯过程的性能。首先，从实验结果来看，采用注意力机制的注意力核函数可获取动态空间特征，进而加快了训练时模型的收敛速度。同时，深度结构通过获取最具代表性的数据特征有助于提高预测精度也得到了证实。其次，在多个数据集上，本章提出的深度图高斯过程方法在数据资源匮乏地区有明显优势，同时通过数据资源丰富地区划分少量数据作为训练样本也可以达到最优深度模型的预测结果。最后，经过实验证明了所提出的方法借助置信区间可有效降低不确定性以及能够处理真实交通情况下无车辆经过的特殊情况。此外，所提出的方法通过学习算法选择了合适的模型参数，从而有效从少量交通数据中提取复杂时空特征，并给出准确的交通流量预测及不确定性量化。
上述实施例是对本发明的说明，不是对本发明的限定，任何对本发明简单变换后的方案均属于本发明的保护范围。

Claims (9)

1.一种基于深度图高斯过程的交通流量预测方法，其特征在于：包括以下步骤：
S1.针对空间依赖中所存在的动态性，采用注意力核函数刻画拓扑图上各结点间的动态依赖，并用作聚合高斯过程中的协方差函数，以提取动态空间特征；
S2.由不同时刻下的权重、服从高斯过程的卷积函数得到时序卷积高斯过程，并结合聚合高斯过程，获取交通数据中的时序特征；
S3.由聚合高斯过程、时序卷积高斯过程以及具有线性核函数的高斯过程，构建融合高斯过程及深度结构的深度图高斯过程方法，将待预测的数据样本输入至深度图高斯过程方法中，由步骤S1中的聚合操作提取空间依赖，然后步骤S2中的卷积运算获取其中的时空特征，将获取的时空特征输入至具有线性核函数的高斯过程中得到的预测结果。
2.如权利要求1所述的一种基于深度图高斯过程的交通流量预测方法，其特征在于：步骤
S1具体包括以下步骤：
S11.采用核函数KE(·,·)以刻画空间上的动态相关性，则图结点间的联系表示为
W＝(I+A)KE(x,x′) (1)
其中，W表示拓扑图上各边的权重，KE(x,x')用于度量各个结点间的动态相关性，单位阵I用于表示拓扑图上存在自环，以表达当前图结点特征在不同时刻下对自身的影响；
S12.基于式(1)，某时刻下的空间特征则采用如下方式提取
Figure FDA0003181808010000011
式(2)中的对角度矩阵中对角元素为Dii＝Wii+∑j∈Ne(i)Wij以及Ne(i)＝{j:j∈{1,…,N},Aij＝1}代表该时刻拓扑图上第i个结点周围的邻居结点；
S13.由式(2)所示的聚合高斯过程，令结点映射函数f(·)服从具有均值函数为
Figure FDA0003181808010000012
协方差函数为
Figure FDA0003181808010000013
的高斯过程，即
Figure FDA0003181808010000014
并简写为
Figure FDA0003181808010000015
Figure FDA0003181808010000016
结合并整理式(2)，可得到能够获取结点间动态依赖的聚合高斯过程，即如下表达形式，
Figure FDA0003181808010000021
其中P＝D-1W以及KN,ij＝KN(xi,xj)，由此，在C个时刻下的空间特征
Figure FDA0003181808010000022
Figure FDA0003181808010000023
可表示为多次独立采样后的结果，并且服从概率分布
Figure FDA0003181808010000024
3.如权利要求2所述的一种基于深度图高斯过程的交通流量预测方法，其特征在于：高斯过程中的协方差函数选择具有正定性的核函数KN(·,·)，协方差函数重写为特征映射间的内积形式，即
Figure FDA0003181808010000025
存在
Figure FDA0003181808010000026
式(3)所表示的聚合高斯过程包含了一个刻画动态图结构的注意力核函数
Figure FDA0003181808010000027
其中ΦA＝PΦN；所述聚合高斯过程在采用注意力核函数下表示为
Figure FDA0003181808010000028
4.如权利要求3所述的一种基于深度图高斯过程的交通流量预测方法，其特征在于：聚合高斯过程的变分形式实现的方法如下：
假设一组支撑随机变量
Figure FDA0003181808010000029
且该变量服从均值为
Figure FDA00031818080100000210
以及协方差为
Figure FDA00031818080100000211
的多维高斯分布；其中，所假设的支撑点集合
Figure FDA00031818080100000212
与聚合高斯过程的输入x属于同一数据分布，但是支撑点集合中的数据点间不分配拓扑联系，即支撑点集合内各个数据点及支撑点集合与输入集合的数据点间不存在连边；支撑点集合内的数据点与输入集合内的数据点之间的相关性计算方法为
Figure FDA00031818080100000213
支撑点集合内的相关性计算方式则为
Figure FDA00031818080100000214
基于上述假设，则在C个时刻下有如下变分概率表示形式为
Figure FDA00031818080100000215
基于上述假设的支撑点集合以及变分概率分布
Figure FDA00031818080100000216
聚合高斯过程的变分联合分布表达为如下形式，
Figure FDA00031818080100000217
其中，Z为由C个时刻的支撑点集合组成，并假设与各时刻下的输入属于同一分布；上式中的支撑变量采用贝叶斯公式进行运算，并得到支撑变量边缘化处理之后的聚合高斯过程变分分布，则由式(5)可得
Figure FDA00031818080100000218
5.如权利要求1或4所述的一种基于深度图高斯过程的交通流量预测方法，其特征在于：步骤S2具体包括以下步骤：
S21.采用如下方式获取第i个结点上的包含空间特征的时序特征，即
Figure FDA0003181808010000031
在式(6)中每个时刻上的图结点信息
Figure FDA0003181808010000032
先执行卷积操作g(·)，而后再结合不同时刻上的联系，可以获得第i个结点上的时空特征hi；
S22.采用对映射函数f(·)的操作，令卷积运算方法g(·)服从具有均值函数为
Figure FDA0003181808010000033
以及协方差函数为
Figure FDA0003181808010000034
的高斯过程，即
Figure FDA0003181808010000035
并简写为
Figure FDA0003181808010000036
由式(6)可得到具有权重卷积核函数的时序卷积高斯过程，
Figure FDA0003181808010000037
S23.权重wc采用向量化处理，从而得到w＝[w1,w2,…,wC]∈RC，在第i个结点上保持C个时刻不变和特征长度
Figure FDA0003181808010000038
不变的情况下，
Figure FDA0003181808010000039
所对应的矩阵形状调整为
Figure FDA00031818080100000310
时序卷积高斯过程简化为如下形式，
Figure FDA00031818080100000311
其中的
Figure FDA00031818080100000312
表示在第c个时刻上的特征与在第c'个时刻上的特征间的相似性，时空特征
Figure FDA00031818080100000313
满足如下概率分布形式
Figure FDA00031818080100000314
6.如权利要求5所述的一种基于深度图高斯过程的交通流量预测方法，其特征在于：时序卷积高斯过程的变分形式实现的方法如下：
引入与
Figure FDA00031818080100000315
同分布的支撑点集合
Figure FDA00031818080100000316
并由卷积运算g(·)对支撑点集合计算得到支撑随机变量
Figure FDA00031818080100000317
令支撑随机变量服从具有均值为
Figure FDA00031818080100000318
以及协方差为
Figure FDA00031818080100000319
的多维高斯分布q(u)；
在计算变分联合分布时，协方差的计算同样需要结合时序相关性，即
Figure FDA00031818080100000320
以及
Figure FDA00031818080100000321
基于此，构造时序卷积高斯过程的变分联合表达式，
Figure FDA00031818080100000322
其中的
Figure FDA0003181808010000041
对上式中的支撑变量做边缘化处理之后，得到时序卷积高斯过程的变分概率
Figure FDA0003181808010000042
7.如权利要求6所述的一种基于深度图高斯过程的交通流量预测方法，其特征在于：步骤
S3具体包括以下步骤：
S31.通过堆叠可提取空间依赖关系的聚合高斯过程及提取时序特征的时序卷积高斯过程，可得到获取时空特征H∈RN×F×C的单元，所提出深度图高斯过程模型中第一层的输入为时空数据H0＝X；同样作为输入的邻接矩阵A转化为权重矩阵W已包含于聚合高斯过程之中；其次，作为第l层(1≤l≤L)输入的时空特征Hl-1，先采用聚合操作提取其中的空间依赖，然后执行卷积运算获取其中的时空特征；最后，HL输入至具有线性核函数的高斯过程中得到的预测结果；
S32.令每层中的映射函数fl(·)及时序卷积函数gl(·)分别服从高斯过程；对于映射函数fl(·)所服从的高斯过程具有均值函数
Figure FDA0003181808010000043
以及协方差函数
Figure FDA0003181808010000044
而时序卷积函数gl(·)则服从具有均值函数
Figure FDA0003181808010000045
以及协方差函数
Figure FDA0003181808010000046
的高斯过程；最后的输出层o(·)服从于定义有线性协方差函数
Figure FDA0003181808010000047
及均值函数
Figure FDA0003181808010000048
的高斯过程；基于上述概率表达形式，深度图高斯过程的联合分布形式如下：
Figure FDA0003181808010000049
其中的
Figure FDA00031818080100000410
表示深度图高斯过程方法所给出的预测结果。
8.如权利要求7所述的一种基于深度图高斯过程的交通流量预测方法，其特征在于：深度图高斯过程的变分形式实现的方法为：
每层的聚合高斯过程以及时序卷积高斯过程，分别引入支撑变量
Figure FDA00031818080100000411
Ul，同时假设其概率分布为
Figure FDA00031818080100000412
采用聚合高斯过程中支撑集合的构造方式，得到支撑点集合构成的Zo，以及输出层处的支撑变量分布
Figure FDA00031818080100000413
深度图高斯过程的变分联合形式可有如下形式
Figure FDA00031818080100000414
Figure FDA0003181808010000051
基于上述边缘化处理，深度图高斯过程的变分形式表示为
Figure FDA0003181808010000052
9.如权利要求1所述的一种基于深度图高斯过程的交通流量预测方法，其特征在于：基于深度图高斯过程的变分形式的学习方法如下：
对式(12)中的Hl以及
Figure FDA0003181808010000053
的变分分布计算边缘概率之后，变分深度图高斯过程的后验概率可采用如下表示
Figure FDA0003181808010000054
其中，
Figure FDA0003181808010000055
是对时空特征相互独立的第i个结点上交通流量的预测结果；
基于上述深度图高斯过程变分形式及其变分后验形式的推导，深度图高斯过程的经验最小下界有如下形式
Figure FDA0003181808010000056
此外，再结合式(10)、式(11)以及式(13)，式(14)整理后可得，
Figure FDA0003181808010000057
CN202110849393.3A 2021-07-27 2021-07-27 一种基于深度图高斯过程的交通流量预测方法 Pending CN113672865A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110849393.3A CN113672865A (zh) 2021-07-27 2021-07-27 一种基于深度图高斯过程的交通流量预测方法
US17/873,190 US20230058520A1 (en) 2021-07-27 2022-07-26 Traffic flow forecasting method based on deep graph gaussian processes

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110849393.3A CN113672865A (zh) 2021-07-27 2021-07-27 一种基于深度图高斯过程的交通流量预测方法

Publications (1)

Publication Number Publication Date
CN113672865A true CN113672865A (zh) 2021-11-19

Family

ID=78540295

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110849393.3A Pending CN113672865A (zh) 2021-07-27 2021-07-27 一种基于深度图高斯过程的交通流量预测方法

Country Status (2)

Country Link
US (1) US20230058520A1 (zh)
CN (1) CN113672865A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115631639A (zh) * 2022-12-20 2023-01-20 银江技术股份有限公司 基于改进nema相位结构的混行交叉口信号配时方法与系统
CN115907181A (zh) * 2022-12-01 2023-04-04 郑州铁路职业技术学院 一种城市轨道交通乘客流量预测方法及系统

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116052435B (zh) * 2023-03-06 2023-07-14 广州市交通规划研究院有限公司 一种城市道路拥堵影响范围界定与道路影响力计算方法
CN116504060B (zh) * 2023-05-01 2024-05-14 兰州理工大学 基于Transformer的扩散图注意力网络交通流预测方法
CN116205383B (zh) * 2023-05-05 2023-07-18 杭州半云科技有限公司 一种基于元学习的静态动态协同图卷积交通预测方法
CN116884222B (zh) * 2023-08-09 2024-03-26 重庆邮电大学 一种卡口节点的短时交通流预测方法
CN117423238A (zh) * 2023-12-19 2024-01-19 北京华录高诚科技有限公司 基于卷积交换网络的交通流量一体式预测装置及预测方法
CN117874712A (zh) * 2024-03-11 2024-04-12 四川省光为通信有限公司 基于高斯过程回归的单模非气密光模块性能预测方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115907181A (zh) * 2022-12-01 2023-04-04 郑州铁路职业技术学院 一种城市轨道交通乘客流量预测方法及系统
CN115631639A (zh) * 2022-12-20 2023-01-20 银江技术股份有限公司 基于改进nema相位结构的混行交叉口信号配时方法与系统

Also Published As

Publication number Publication date
US20230058520A1 (en) 2023-02-23

Similar Documents

Publication Publication Date Title
CN113672865A (zh) 一种基于深度图高斯过程的交通流量预测方法
CN110647900B (zh) 基于深度神经网络的安全态势智能预测方法、装置及系统
CN109508360B (zh) 一种基于元胞自动机的地理多元流数据时空自相关分析方法
CN111523706B (zh) 一种基于深度学习组合模型的断面车道级短时交通流预测方法
CN108009674A (zh) 基于cnn和lstm融合神经网络的空气pm2.5浓度预测方法
WO2022217839A1 (zh) 一种基于深度时空相似性的空气质量预测方法
CN112289034A (zh) 基于多模态时空数据的深度神经网络鲁棒交通预测方法
CN112910711B (zh) 一种基于自注意力卷积网络的无线业务流量预测方法、设备及介质
CN110969290A (zh) 一种基于深度学习的径流概率预测方法及系统
CN110570035B (zh) 同时建模时空依赖性和每日流量相关性的人流量预测系统
CN111343650B (zh) 一种基于跨域数据和对抗损失的城市尺度无线业务流量预测方法
CN109471982B (zh) 一种基于用户和服务聚类QoS感知的Web服务推荐方法
CN105760649A (zh) 一种面向大数据的可信度量方法
CN112733997A (zh) 基于woa-lstm-mc的水文时间序列预测优化方法
CN115374995A (zh) 一种分布式光伏、小风电场站功率预测方法
CN115755219A (zh) 基于stgcn的洪水预报误差实时校正方法及系统
CN115376317A (zh) 一种基于动态图卷积和时序卷积网络的交通流预测方法
CN117076922A (zh) 城际出行od需求量预测模型训练方法、预测方法及系统
CN116205383B (zh) 一种基于元学习的静态动态协同图卷积交通预测方法
Sun et al. Ada-STNet: A Dynamic AdaBoost Spatio-Temporal Network for Traffic Flow Prediction
CN116486611A (zh) 一种城市道路车辆速度预测方法
CN116187561A (zh) 一种基于空间时域卷积网络的pm10浓度精细化预测方法
CN113783715B (zh) 一种采用因果卷积神经网络的机会网络拓扑预测方法
Shin et al. Missing value imputation model based on adversarial autoencoder using spatiotemporal feature extraction
CN116740949B (zh) 基于持续学习的时空因果预测的城市交通数据预测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination