CN112241814B - 一种基于强化时空图神经网络的交通预测方法 - Google Patents

一种基于强化时空图神经网络的交通预测方法 Download PDF

Info

Publication number
CN112241814B
CN112241814B CN202011127925.4A CN202011127925A CN112241814B CN 112241814 B CN112241814 B CN 112241814B CN 202011127925 A CN202011127925 A CN 202011127925A CN 112241814 B CN112241814 B CN 112241814B
Authority
CN
China
Prior art keywords
time
road network
model
neural network
traffic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011127925.4A
Other languages
English (en)
Other versions
CN112241814A (zh
Inventor
周毅
胡姝婷
周丹阳
李伟
张延宇
杜晓玉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Henan University
Original Assignee
Henan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Henan University filed Critical Henan University
Priority to CN202011127925.4A priority Critical patent/CN112241814B/zh
Publication of CN112241814A publication Critical patent/CN112241814A/zh
Application granted granted Critical
Publication of CN112241814B publication Critical patent/CN112241814B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/40—Business processes related to the transportation industry
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G08G1/0129—Traffic data processing for creating historical data or processing based on historical data
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0137—Measuring and analyzing of parameters relative to traffic conditions for specific applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Strategic Management (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Marketing (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Game Theory and Decision Science (AREA)
  • Probability & Statistics with Applications (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Development Economics (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Primary Health Care (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明提供一种基于强化时空图神经网络的交通预测方法，基于序列到序列模型的交通预测框架，对道路网络的时间相关性、空间相关性进行建模，根据道路网络上下游关系将整个路网构建成一个有向加权图，通过扩散图卷积网络来捕获路网的空间相关性，提取路网的空间相关性特征，将带有空间相关性特征的时间序列输入到递归神经网络中捕获路网的时间相关性，然后通过强化学习中的actor‑critic算法在解码的过程中对预测结果进行优化，将每个时间片捕获的路网关系拓扑图看作智能体中的actor，将递归神经网络看作actor选择下一个动作的随机策略，并用critic对它选择的动作进行评判，并反馈一个优势函数，actor根据反馈的优势函数来更新策略参数，相比传统方法大大提高了预测精度。

Description

一种基于强化时空图神经网络的交通预测方法
技术领域
本发明属于交通预测技术领域，具体涉及一种基于强化时空图神经网络的交通预测方法。
背景技术
现有随着智能交通系统的迅速发展，交通预测越来越受到人们的关注，它是交通管理系统的重要组成部分，是实现交通规划、交通管理和交通控制的重要组成部分。交通预测不仅可以为交通管理者提前感知交通拥堵、限制车辆提供科学依据，还可以帮助出行者选择合适的出行路线，从而提高出行效率。然而道路网络中复杂的时空相关性使交通预测变得复杂。
现有的交通预测方法有很多，所用到的道路上的传感器包括环形线圈车辆检测器、视频车辆检测器、红外传感器等，经典的自回归综合移动平均模型、卡尔曼滤波模型、支持向量机模型等方法繎取得了一定的效果，但它们都只考虑了交通状况随时间的动态变化，而忽略了路网中的空间相关性，使预测的交通状况不受路网拓扑结构的影响。为了在预测过程中加入空间特征的影响，研究人员开始引入卷积神经网络来对空间相关性进行建模。然而卷积神经网络通常用于图像、规则网格等欧式数据，无法捕获复杂的路网拓扑结构，因此在本质上无法描述空间相关性。随着图神经网络的发展，时空图建模也引起了研究人员的关注。交通数据由路网中固定位置的传感器记录下来，将这些传感器构建成一个图网络，边缘由两个节点之间的距离确定，同一节点不同时间的交通数据不仅受到其历史数据的影响，还受邻近节点的影响。因此有效提取数据的时空相关性是解决这一问题的关键。
虽然现有的基于深度模型的交通预测模型已经取得了较高的预测精度，但仍存在一些待解决的问题。大多数现有的方法依赖于经典的序列到序列架构(Seq2Seq)，将历史时间序列输入至编码器并使用其最终状态初始化解码器来进行预测。然而经典的Seq2Seq模型在训练过程中的训练损失由传感器采集的真实样本来监督，然而在测试时没有真实样本，解码器完全依赖模型自身的生成的输出来预测下一个输出，这会导致模型在训练和测试过程中产生的下一个动作存在差异，而在这个过程中产生的误差会不断累积，这种差异又称为曝光误差(Exposure Bias)。虽然也出现了计划采样、对抗生成网络等方法用于避免曝光误差，但这些方法都存在一些弊端，因此有效地避免曝光误差对提高预测精度来说是十分必要的。
发明内容
本发明的目的是提供一种基于强化时空图神经网络的交通预测方法，提高预测精度。
本发明解决其技术问题的技术方案为：一种基于强化时空图神经网络的交通预测方法，包括以下步骤，
S1：对某一时间段内传感器采集到的原始交通数据进行预处理；
S2：将预处理后的数据集分为用于训练模型的训练集、用于验证模型的训练结果的验证集、用于对训练完成的模型进行测试的测试集；
S3：根据传感器之间的邻接关系构建有向加权道路网络结构拓扑图G＝(V,E,A)，其中V为所有传感器节点的集合，E为边的集合，即相邻传感器节点之间的连接关系，A为路网拓扑图的邻接矩阵，将预处理后的数据集中的交通信息(即交通速度信息)作为节点的属性特征，用X表示G中节点的特征矩阵；
S4：通过路网拓扑图的邻接矩阵A和有向加权道路网络结构拓扑图G中节点的特征矩阵X构建序列到序列的图神经网络模型，通过序列到序列的图神经网络模型：
S4.1：通过路网拓扑图的邻接矩阵A和有向加权道路网络结构拓扑图G中节点的特征矩阵X建立K阶扩散图卷积DGC，在路网上用K阶扩散图卷积DGC来建模路网的空间相关性，通过随机游走捕获路网中各传感器节点上下游交通状况对该传感器节点的影响，也即路网的空间相关性；
S4.2：通过嵌入扩散图卷积和门控递归单元GRU构建时空数据编码器，将带有空间特征的时间序列输入到门控递归单元GRU来提取交通数据之间的时间相关性，从而得到路网的时空相关性；
S4.3：计算编码器内各历史时间步长的时空隐藏状态，然后将编码器的最后一个隐藏状态作为解码器的输入；
S4.4：在编码器中加入注意力机制，计算编码器的上下文向量c；
S4.5：在解码器中使用actor-critic算法对模型的策略参数进行优化；
S5:训练模型，用平均相对误差MRE作为损失函数；并在验证集和测试集中对模型进行验证、测试。
S6：在测试集中，将特征矩阵X及路网拓扑图输入到训练好的模型中来预测未来的交通状况，并评估图神经网络模型的性能。
所述步骤S1中预处理的过程为以5分钟为间隔通过道路周围的传感器来采集交通数据，提取交通数据样本的特征，通过滤波、归一化对原始数据进行处理，剔除无效的数据，得到时间序列数据；获得传感器的位置信息(经度、纬度)，并对所有传感器节点进行编号，通过传感器的位置信息计算相邻传感器节点之间的距离。
所述步骤S2中训练集中的数据占总数据的70％，验证集中的数据占总数据的10％，测试集中的数据占总数据的20％。
所述步骤S2中的邻接矩阵A∈RN×N，其中Aij为邻接矩阵A中第i行，第j列的元素，若传感器节点i与传感器节点j相邻，则Aij＝1，否则Aij＝0；
G中节点的特征矩阵X∈RN×P，P表示节点属性特征的数量，N表示传感器节点的个数。
所述的步骤S4.1中的K阶扩散图卷积为：
Figure BDA0002733350500000031
其中Do-1A，DI -1AT分别表示转移矩阵及其逆矩阵，θ∈RK×2为滤波器的参数，x为X中的一个元素，是单个时间片对应的特征矩阵，根据扩散图卷积构建扩散卷积层来捕获空间相关性。
所述的步骤S4.4中在序列到序列模型中加入注意力机制，注意力机制的具体计算过程为：计算第i个输入对第j个输出的影响权重，即注意力分值：eij＝tanh(hi-1,hj)，为了便于比较不同输入对同一输出的权重系数，通过softmax函数对所有输入的注意力分值进行归一化；
所述的步骤S4.5中将整个预测过程看作一个连续的马尔可夫决策过程MDP，一个智能体在离散时间步长T'时与环境进行交互，令M＝(S,A,P,R,so,γ,T)，将所有传感器组成的路网拓扑结构作为智能体，门控递归单元GRU作为智能体选择下一个动作(输出)的随机策略，则S为解码器隐藏状态的集合，A为智能体选择的动作集合，P为状态转移概率矩阵，R为奖励函数，so为初始状态，γ为折扣因子，T为时间步；
所述的智能体与环境交互的目标是最大化优势函数，即
Figure BDA0002733350500000041
所述的优势函数Aπ(st,yt)＝Qπ(st,yt)-Vπ(st)≈rt+γVπ(st+1)-Vπ(st)，其中Qπ(st,yt)为t时刻策略π下的状态-动作对对应的奖励函数，值函数Vπ(st)为t时刻策略π下选择状态s的奖励值，rt为奖励函数R中的元素，表示t时刻的奖励函数；
所述的值函数Vπ(st)，通过拟合一个参数为ψ的神经网络来估计值函数Vψ(st)，采用均方根误差对Vψ(st)进行训练，即损失函数
Figure BDA0002733350500000042
其中
Figure BDA0002733350500000043
代表t时刻的真实奖励值。
所述的步骤S4.5中优化策略参数是预测过程中，在t+1时刻，actor通过策略π生成预测结果
Figure BDA0002733350500000044
critic通过计算优势函数来判别预测结果的准确性并将其反馈给actor，actor根据critic反馈的优势函数来更新策略π的参数θ以达到更准确的预测结果：
Figure BDA0002733350500000045
Figure BDA0002733350500000046
表示t时刻的预测结果，
Figure BDA0002733350500000047
表示t-1时刻的预测结果，st表示t时刻的隐藏状态，ct-1表示t-1时刻的上下文向量，Lθ表示参数θ的损失函数，πθ表示智能体选择下一个动作的随机策略。
所述步骤S5具体为在训练阶段，通过得到模型的预测输出和传感器节点采用的真实样本，采用梯度下降法对模型进行训练,用平均相对误差(MRE)作为损失函数：
Figure BDA0002733350500000048
并在验证集上验证模型的训练结果。迭代以上步骤，待训练次数达到预设值时停止训练，用训练好的模型在测试集上进行测试。
所述步骤S6用平均绝对误差(MAE)、均方根误差(RMSE)、平均绝对百分比误差(MAPE)函数来评估模型的测试结果：
Figure BDA0002733350500000051
Figure BDA0002733350500000052
Figure BDA0002733350500000053
其中y表示t时刻传感器监测到的真实数据，
Figure BDA0002733350500000054
表示t时刻通过模型预测得到的交通数据，yi代表t时刻节点i的真实值，
Figure BDA0002733350500000055
代表t时刻节点i的预测值。
本发明的有益效果为：本发明基于序列到序列模型的交通预测框架，它可以对道路网络的时间相关性、空间相关性进行建模，根据道路网络上下游关系将整个路网构建成一个有向加权图，通过扩散图卷积网络来捕获路网的空间相关性，提取路网的空间相关性特征，再将带有空间相关性特征的时间序列输入到递归神经网络中捕获路网的时间相关性。然后通过强化学习中的actor-critic算法在解码的过程中对预测结果进行优化。将每个时间片捕获的路网关系拓扑图看作智能体中的actor，将递归神经网络看作actor选择下一个动作(输出)的随机策略，并用critic对它选择的动作进行评判，并反馈一个优势函数，actor根据反馈的优势函数来更新策略参数，相比传统方法大大提高了预测精度。
附图说明
图1是本发明的流程图。
图2为本发明的模型结构示意图。
图3是本发明的扩散卷积门控递归网络的结构示意图。
图4是本发明的actor-critic算法的模型结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明包括以下步骤，
S1：对某一时间段内传感器采集到的原始交通数据进行预处理；
所述步骤S1中预处理的过程为以5分钟为间隔通过道路周围的传感器来采集交通数据，提取交通数据样本的特征，通过滤波、归一化对原始数据进行处理，剔除无效的数据，得到时间序列数据；获得传感器的位置信息(经度、纬度)，并对所有传感器节点进行编号，通过传感器的位置信息计算相邻传感器节点之间的距离。
S2：将预处理后的数据集分为用于训练模型的训练集、用于验证模型的训练结果的验证集、用于对训练完成的模型进行测试的测试集；
所述步骤S2中训练集中的数据占总数据的70％，验证集中的数据占总数据的10％，测试集中的数据占总数据的20％。
所述步骤S2中的邻接矩阵A∈RN×N，其中Aij为邻接矩阵A中第i行，第j列的元素，若传感器节点i与传感器节点j相邻，则Aij＝1，否则Aij＝0；
G中节点的特征矩阵X∈RN×P，P表示节点属性特征的数量，N表示传感器节点的个数。
S3：根据传感器之间的邻接关系构建有向加权道路网络结构拓扑图G＝(V,E,A)，其中V为所有传感器节点的集合，E为边的集合，即相邻传感器节点之间的连接关系，A为路网拓扑图的邻接矩阵，将预处理后的数据集中的交通信息(即交通速度信息)作为节点的属性特征，用X表示G中节点的特征矩阵；
S4：通过路网拓扑图的邻接矩阵A和有向加权道路网络结构拓扑图G中节点的特征矩阵X构建序列到序列的图神经网络模型，通过序列到序列的图神经网络模型：
S4.1：通过路网拓扑图的邻接矩阵A和有向加权道路网络结构拓扑图G中节点的特征矩阵X建立K阶扩散图卷积DGC，在路网上用K阶扩散图卷积DGC来建模路网的空间相关性，通过随机游走捕获路网中各传感器节点上下游交通状况对该传感器节点的影响，也即路网的空间相关性；
所述的步骤S4.1中的K阶扩散图卷积为：
Figure BDA0002733350500000071
其中Do-1A，DI -1AT分别表示转移矩阵及其逆矩阵，θ∈RK×2为滤波器的参数，x为X中的一个元素，是单个时间片对应的特征矩阵，根据扩散图卷积构建扩散卷积层来捕获空间相关性。
S4.2：通过嵌入扩散图卷积和门控递归单元GRU构建时空数据编码器，将带有空间特征的时间序列输入到门控递归单元GRU来提取交通数据之间的时间相关性，从而得到路网的时空相关性；
S4.3：计算编码器内各历史时间步长的时空隐藏状态，然后将编码器的最后一个隐藏状态作为解码器的输入；
S4.4：在编码器中加入注意力机制，计算编码器的上下文向量c；
所述的步骤S4.4中在序列到序列模型中加入注意力机制，注意力机制的具体计算过程为：计算第i个输入对第j个输出的影响权重，即注意力分值：eij＝tanh(hi-1,hj)，为了便于比较不同输入对同一输出的权重系数，通过softmax函数对所有输入的注意力分值进行归一化；
S4.5：在解码器中使用actor-critic算法对模型的策略参数进行优化；
所述的步骤S4.5中将整个预测过程看作一个连续的马尔可夫决策过程MDP，一个智能体在离散时间步长T'时与环境进行交互，令M＝(S,A,P,R,so,γ,T)，将所有传感器组成的路网拓扑结构作为智能体，门控递归单元GRU作为智能体选择下一个动作(输出)的随机策略，则S为解码器隐藏状态的集合，A为智能体选择的动作集合，P为状态转移概率矩阵，R为奖励函数，so为初始状态，γ为折扣因子，T为时间步；
所述的智能体与环境交互的目标是最大化优势函数，即
Figure BDA0002733350500000072
所述的优势函数Aπ(st,yt)＝Qπ(st,yt)-Vπ(st)≈rt+γVπ(st+1)-Vπ(st)，其中Qπ(st,yt)为t时刻策略π下的状态-动作对对应的奖励函数，值函数Vπ(st)为t时刻策略π下选择状态s的奖励值，rt为奖励函数R中的元素，表示t时刻的奖励函数；
所述的值函数Vπ(st)，通过拟合一个参数为ψ的神经网络来估计值函数Vψ(st)，采用均方根误差对Vψ(st)进行训练，即损失函数
Figure BDA0002733350500000081
其中
Figure BDA0002733350500000082
代表t时刻的真实奖励值。
所述的步骤S4.5中优化策略参数是预测过程中，在t+1时刻，actor通过策略π生成预测结果
Figure BDA0002733350500000083
critic通过计算优势函数来判别预测结果的准确性并将其反馈给actor，actor根据critic反馈的优势函数来更新策略π的参数θ以达到更准确的预测结果：
Figure BDA0002733350500000084
Figure BDA0002733350500000085
表示t时刻的预测结果，
Figure BDA0002733350500000086
表示t-1时刻的预测结果，st表示t时刻的隐藏状态，ct-1表示t-1时刻的上下文向量，Lθ表示参数θ的损失函数，πθ表示智能体选择下一个动作的随机策略。
S5:训练模型，用平均相对误差MRE作为损失函数；并在验证集和测试集中对模型进行验证、测试。
所述步骤S5具体为在训练阶段，通过得到模型的预测输出和传感器节点采用的真实样本，采用梯度下降法对模型进行训练,用平均相对误差(MRE)作为损失函数：
Figure BDA0002733350500000087
并在验证集上验证模型的训练结果。迭代以上步骤，待训练次数达到预设值时停止训练，用训练好的模型在测试集上进行测试。
S6：在测试集中，将特征矩阵X及路网拓扑图输入到训练好的模型中来预测未来的交通状况，并评估图神经网络模型的性能。
所述步骤S6用平均绝对误差(MAE)、均方根误差(RMSE)、平均绝对百分比误差(MAPE)函数来评估模型的测试结果：
Figure BDA0002733350500000088
Figure BDA0002733350500000089
Figure BDA00027333505000000810
其中y表示t时刻传感器监测到的真实数据，
Figure BDA0002733350500000091
表示t时刻通过模型预测得到的交通数据，yi代表t时刻节点i的真实值，
Figure BDA0002733350500000092
代表t时刻节点i的预测值。
交通预测问题的本质是学习一个映射函数f(·)通过给定的道路结构和历史T个时间步长的交通状态映射出未来T'个时间步长的交通状态，即[XT+1,…,XT+T']＝f([X1,…,XT],G)；
如图2所示为本发明的模型结构示意图，所述的步骤S4.1中的K阶扩散图卷积，即图2中的DGC为：
Figure BDA0002733350500000093
其中Do-1A，DI -1AT分别表示转移矩阵及转移逆矩阵，θ∈RK×2为滤波器的参数。构建扩散卷积层为：
Figure BDA0002733350500000094
其中
Figure BDA0002733350500000095
为相关的卷积核函数，FO为输出特性的数量。
将历史时间序列即历史T个时间片对应特征矩阵X1,…,XT输入编码器中的扩散卷积层，通过双向扩散卷积在图G上的随机游走过程从而捕获到路网上下游交通状况对该传感器节点的影响；
如图3所示为本发明的模型中的扩散图卷积门控递归单元，可以看出历史时间序列通过DGC中的扩散卷积运算得到路网的空间相关性，然后将带有空间特征的时间序列输入到GRU来提取路网的时空相关性。GRU包括两个门结构：更新门和重置门，其中更新门zt用来控制在t时刻输入t-1时刻的交通状态信息的程度，重置门rt用来控制在t时刻忽略t-1时刻的交通状态信息的程度。通过GRU的内部运算得到编码器的隐藏状态h1,…,hT，输出隐藏状态的计算过程为：
zt＝σ(Wz·[ht-1,Xt]+bz)
rt＝σ(Wr·[ht-1,Xt]+br)
Ct＝tanh(WC·[(rt*ht-1),Xt]+bC)
ht＝zt*ht-1+(1-zt)*Ct
其中ht-1为t-1时刻交通信息的隐藏状态，Xt表示t时刻输入的交通信息，Wz、Wr、WC和bz、br、bC分别表示更新门、重置门、和记忆单元在训练过程中的权重和偏差，σ(·)、tanh表示激活函数。
所述的步骤S4.4中在序列到序列模型中加入注意力机制，注意力机制的具体计算过程为：计算第i个输入对第j个输出的影响权重，即注意力分值：eij＝tanh(hi-1,hj)，为了便于比较不同输入对同一输出的权重系数，通过softmax函数对所有输入的注意力分值进行归一化：
Figure BDA0002733350500000101
其中softmax为激活函数，用来对相关隐藏特征进行非线性变换，然后通过注意力分值和编码器的隐藏状态的加权求和得到编码器中的上下文向量：
Figure BDA0002733350500000102
将编码器中的最后一个隐藏状态hT＝GRU(XT,hT-1)来初始化解码器，解码器将当前时刻t的特征矩阵和编码器中的上下文向量cT作为输入，在给定隐藏状态hT(hT是编码器的最后一个隐藏状态，也就是在T时刻的隐藏状态)的条件下预测出下一个时间步即t+1时刻的输出
Figure BDA0002733350500000103
在解码器中，将t+1时刻的预测结果
Figure BDA0002733350500000104
作为t+2时刻的输入，让模型可以依据自身的预测结果来对下一个时间步进行预测；
如图4所示为本发明中采用的强化学习中actor-critic算法的模型架构示意图，actor将生成的预测结果
Figure BDA0002733350500000105
及状态st'传递给critic，critic对其生成的结果进行评价(这里由于是代入真实数据，所以用这里是用t'代替t+t')，并反馈给actor一个优势函数
Figure BDA0002733350500000106
所述的智能体与环境交互的目标是最大化优势函数，即
Figure BDA0002733350500000107
所述的优势函数Aπ(st',yt')＝Qπ(st',yt')-Vπ(st')≈rt'+γVπ(st'+1)-Vπ(st')，其中Qπ(st',yt')为t'时刻策略π下的状态-动作对对应的奖励函数，值函数Vπ(st')为t'时刻策略π下选择状态s对应的奖励值。
所述的值函数Vπ(st')，通过拟合一个参数为ψ的神经网络作为函数逼近器来估计值函数Vψ(st')，采用均方根误差对Vψ(st')进行训练：
Figure BDA0002733350500000111
其中
Figure BDA0002733350500000112
为t'时刻的真实奖励值。
解码器在预测过程中，在t+1时刻，actor通过策略π生成预测结果
Figure BDA0002733350500000113
critic通过计算优势函数来判别预测结果的准确性并将其反馈给actor，actor根据critic反馈的优势函数来更新策略π的参数θ以达到更准确的预测结果：
Figure BDA0002733350500000114
本发明基于序列到序列模型的交通预测框架，它可以对道路网络的时间相关性、空间相关性进行建模，根据道路网络上下游关系将整个路网构建成一个有向加权图，通过扩散图卷积网络来捕获路网的空间相关性，提取路网的空间相关性特征，再将带有空间相关性特征的时间序列输入到递归神经网络中捕获路网的时间相关性。然后通过强化学习中的actor-critic算法在解码的过程中对预测结果进行优化。将每个时间片捕获的路网关系拓扑图看作智能体中的actor，将递归神经网络看作actor选择下一个动作(输出)的随机策略，并用critic对它选择的动作进行评判，并反馈一个优势函数，actor根据反馈的优势函数来更新策略参数，相比传统方法大大提高了预测精度。

Claims (9)

1.一种基于强化时空图神经网络的交通预测方法，其特征在于：包括以下步骤，
S1：对某一时间段内传感器采集到的原始交通数据进行预处理；
S2：将预处理后的数据集分为用于训练模型的训练集、用于验证模型的训练结果的验证集、用于对训练完成的模型进行测试的测试集；
S3：根据传感器之间的邻接关系构建有向加权道路网络结构拓扑图G＝(V,E,A)，其中V为所有传感器节点的集合，E为边的集合，即相邻传感器节点之间的连接关系，A为路网拓扑图的邻接矩阵，将预处理后的数据集中的交通信息作为节点的属性特征，用X表示G中节点的特征矩阵；
S4：通过路网拓扑图的邻接矩阵A和有向加权道路网络结构拓扑图G中节点的特征矩阵X构建序列到序列的图神经网络模型，通过序列到序列的图神经网络模型：
S4.1：通过路网拓扑图的邻接矩阵A和有向加权道路网络结构拓扑图G中节点的特征矩阵X建立K阶扩散图卷积DGC，在路网上用K阶扩散图卷积DGC来建模路网的空间相关性，通过随机游走捕获路网中各传感器节点上下游交通状况对该传感器节点的影响，也即路网的空间相关性；
S4.2：通过嵌入扩散图卷积和门控递归单元GRU构建时空数据编码器，将带有空间特征的时间序列输入到门控递归单元GRU来提取交通数据之间的时间相关性，从而得到路网的时空相关性；
S4.3：计算编码器内各历史时间步长的时空隐藏状态，然后将编码器的最后一个隐藏状态作为解码器的输入；
S4.4：在编码器中加入注意力机制，计算编码器的上下文向量c；
S4.5：在解码器中使用actor-critic算法对模型的策略参数进行优化；所述的步骤S4.5中将整个预测过程看作一个连续的马尔可夫决策过程MDP，一个智能体在离散时间步长T'时与环境进行交互，令M＝(S,A,P,R,so,γ,T)，将所有传感器组成的路网拓扑结构作为智能体，门控递归单元GRU作为智能体选择下一个动作的随机策略，则S为解码器隐藏状态的集合，A为智能体选择的动作集合，P为状态转移概率矩阵，R为奖励函数，so为初始状态，γ为折扣因子，T为时间步；
所述的智能体与环境交互的目标是最大化优势函数，即
Figure FDA0003882360480000021
所述的优势函数Aπ(st,yt)＝Qπ(st,yt)-Vπ(st)≈rt+γVπ(st+1)-Vπ(st)，其中Qπ(st,yt)为t时刻策略π下的状态-动作对对应的奖励函数，值函数Vπ(st)为t时刻策略π下选择状态s的奖励值，rt为奖励函数R中的元素，表示t时刻的奖励函数；
所述的值函数Vπ(st)，通过拟合一个参数为ψ的神经网络来估计值函数Vψ(st)，采用均方根误差对Vψ(st)进行训练，即损失函数
Figure FDA0003882360480000022
其中
Figure FDA0003882360480000023
代表t时刻的真实奖励值；
S5:训练模型，用平均相对误差MRE作为损失函数；并在验证集和测试集中对模型进行验证、测试；
S6：在测试集中，将特征矩阵X及路网拓扑图输入到训练好的模型中来预测未来的交通状况，并评估图神经网络模型的性能。
2.根据权利要求1所述的一种基于强化时空图神经网络的交通预测方法，其特征在于：所述步骤S1中预处理的过程为以5分钟为间隔通过道路周围的传感器来采集交通数据，提取交通数据样本的特征，通过滤波、归一化对原始数据进行处理，剔除无效的数据，得到时间序列数据；获得传感器的位置信息，并对所有传感器节点进行编号，通过传感器的位置信息计算相邻传感器节点之间的距离。
3.根据权利要求2所述的一种基于强化时空图神经网络的交通预测方法，其特征在于：所述步骤S2中训练集中的数据占总数据的70％，验证集中的数据占总数据的10％，测试集中的数据占总数据的20％。
4.根据权利要求3所述的一种基于强化时空图神经网络的交通预测方法，其特征在于：所述的步骤S2中的邻接矩阵A∈RN×N，其中Aij为邻接矩阵A中第i行，第j列的元素，若传感器节点i与传感器节点j相邻，则Aij＝1，否则Aij＝0；
G中节点的特征矩阵X∈RN×P，P表示节点属性特征的数量，N表示传感器节点的个数。
5.根据权利要求4所述的一种基于强化时空图神经网络的交通预测方法，其特征在于：所述的步骤S4.1中的K阶扩散图卷积为：
Figure FDA0003882360480000031
其中Do-1A，DI -1AT分别表示转移矩阵及其逆矩阵，θ∈RK×2为滤波器的参数，x为X中的一个元素，是单个时间片对应的特征矩阵，根据扩散图卷积构建扩散卷积层来捕获空间相关性。
6.根据权利要求5所述的一种基于强化时空图神经网络的交通预测方法，其特征在于：所述的步骤S4.4中在序列到序列模型中加入注意力机制，注意力机制的具体计算过程为：计算第i个输入对第j个输出的影响权重，即注意力分值：eij＝tanh(hi-1,hj)，通过softmax函数对所有输入的注意力分值进行归一化。
7.根据权利要求6所述的一种基于强化时空图神经网络的交通预测方法，其特征在于：所述的步骤S4.5中优化策略参数是预测过程中，在t+1时刻，actor通过策略π生成预测结果
Figure FDA0003882360480000032
critic通过计算优势函数来判别预测结果的准确性并将其反馈给actor，actor根据critic反馈的优势函数来更新策略π的参数θ以达到更准确的预测结果：
Figure FDA0003882360480000033
Figure FDA0003882360480000034
表示t时刻的预测结果，
Figure FDA0003882360480000035
表示t-1时刻的预测结果，st表示t时刻的隐藏状态，ct-1表示t-1时刻的上下文向量，Lθ表示参数θ的损失函数，πθ表示智能体选择下一个动作的随机策略。
8.根据权利要求7所述的一种基于强化时空图神经网络的交通预测方法，其特征在于：所述步骤S5具体为在训练阶段，通过得到模型的预测输出和传感器节点采用的真实样本，采用梯度下降法对模型进行训练,用平均相对误差(MRE)作为损失函数：
Figure FDA0003882360480000036
并在验证集上验证模型的训练结果；迭代以上步骤，待训练次数达到预设值时停止训练，用训练好的模型在测试集上进行测试。
9.根据权利要求8所述的一种基于强化时空图神经网络的交通预测方法，其特征在于：用平均绝对误差(MAE)、均方根误差(RMSE)、平均绝对百分比误差(MAPE)函数来评估模型的测试结果：
Figure FDA0003882360480000041
Figure FDA0003882360480000042
Figure FDA0003882360480000043
其中y表示传感器监测到的真实数据，
Figure FDA0003882360480000044
表示通过模型预测得到的交通数据。
CN202011127925.4A 2020-10-20 2020-10-20 一种基于强化时空图神经网络的交通预测方法 Active CN112241814B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011127925.4A CN112241814B (zh) 2020-10-20 2020-10-20 一种基于强化时空图神经网络的交通预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011127925.4A CN112241814B (zh) 2020-10-20 2020-10-20 一种基于强化时空图神经网络的交通预测方法

Publications (2)

Publication Number Publication Date
CN112241814A CN112241814A (zh) 2021-01-19
CN112241814B true CN112241814B (zh) 2022-12-02

Family

ID=74169517

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011127925.4A Active CN112241814B (zh) 2020-10-20 2020-10-20 一种基于强化时空图神经网络的交通预测方法

Country Status (1)

Country Link
CN (1) CN112241814B (zh)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112784121B (zh) * 2021-01-28 2022-06-17 浙江工业大学 一种基于时空图表示学习的交通事故预测方法
CN113158543B (zh) * 2021-02-02 2023-10-24 浙江工商大学 一种软件定义网络性能智能预测方法
CN112988723A (zh) * 2021-02-09 2021-06-18 北京工业大学 一种基于空间自注意力图卷积循环神经网络的交通数据修复方法
CN113053115B (zh) * 2021-03-17 2022-04-22 中国科学院地理科学与资源研究所 一种基于多尺度图卷积网络模型的交通预测方法
CN113053122B (zh) * 2021-03-23 2022-02-18 成都信息工程大学 基于wmgirl算法的可变交通管控方案中区域流量分布预测方法
CN113112793A (zh) * 2021-03-29 2021-07-13 华南理工大学 一种基于动态时空相关性的交通流预测方法
CN112989539B (zh) * 2021-04-07 2022-08-09 上海交通大学 一种基于交叉路口转移计算的交通预测方法
CN113159414B (zh) * 2021-04-19 2022-05-24 华南理工大学 一种基于时序图神经网络的交通速度预测方法
CN113112004B (zh) * 2021-04-21 2022-12-06 上海电力大学 一种基于霍克斯过程与图神经网络的时空预测方法
CN113505536A (zh) * 2021-07-09 2021-10-15 兰州理工大学 一种优化的基于时空图卷积网络的交通流预测模型
CN113570859B (zh) * 2021-07-23 2022-07-22 江南大学 一种基于异步时空膨胀图卷积网络的交通流量预测方法
CN113673749B (zh) * 2021-07-28 2023-11-21 广东省科学院智能制造研究所 车辆行人地图轨迹预测方法及装置
CN113705880A (zh) * 2021-08-25 2021-11-26 杭州远眺科技有限公司 基于时空注意力图卷积网络的交通速度预测方法和装置
US20230104448A1 (en) * 2021-10-06 2023-04-06 International Business Machines Corporation Attenuation weight tracking in graph neural networks
CN114170789B (zh) * 2021-10-20 2023-06-20 南京理工大学 基于时空图神经网络的智能网联车换道决策建模方法
CN113971496A (zh) * 2021-11-03 2022-01-25 北京航空航天大学 活动影响下的城市交通路网状态演化趋势预测方法及系统
CN114090651B (zh) * 2021-11-10 2023-04-18 哈尔滨工业大学（深圳） 基于双通道图神经网络自编码器的交通流异常数据判断方法
CN113838289A (zh) * 2021-11-30 2021-12-24 上海闪马智能科技有限公司 一种状态确定方法、装置、存储介质及电子装置
CN114519932B (zh) * 2022-01-10 2023-06-20 中国科学院深圳先进技术研究院 一种基于时空关系抽取的区域交通状况集成预测方法
CN114492886B (zh) * 2022-01-25 2022-09-13 四川大学 一种考虑出发地和目的地的网约车需求预测方法及系统
CN114495500B (zh) * 2022-01-26 2023-04-18 北京工业大学 一种基于对偶动态时空图卷积的交通预测方法
CN114626169A (zh) * 2022-03-03 2022-06-14 北京百度网讯科技有限公司 交通路网优化方法、装置、设备、可读存储介质及产品
CN114944053B (zh) * 2022-03-16 2023-05-23 浙江工业大学 一种基于时空超图神经网络的交通流预测方法
CN114743374B (zh) * 2022-04-01 2023-04-07 清华大学深圳国际研究生院 基于图网络的多元交通流预测方法
CN114662792B (zh) * 2022-04-22 2023-01-20 广西财经学院 基于动态扩散图卷积的循环神经网络的交通流量预测方法
CN114900441B (zh) * 2022-04-29 2024-04-26 华为技术有限公司 网络性能预测方法，性能预测模型训练方法及相关装置
CN115056829A (zh) * 2022-05-16 2022-09-16 北京理工大学 多车型连续学习的列车运动状态估计方法
CN115482656B (zh) * 2022-05-23 2023-09-26 汕头大学 一种使用空间动态图卷积网络进行交通流预测方法
CN115311846B (zh) * 2022-06-24 2023-08-11 华东师范大学 一种结合货车任务状态的厂区道路拥堵预测方法及预测系统
CN116311979A (zh) * 2023-03-13 2023-06-23 南京信息工程大学 一种基于深度强化学习的自适应交通灯控制方法
CN116473514B (zh) * 2023-03-29 2024-02-23 西安电子科技大学广州研究院 基于足底压力的自适应有向时空图神经网络的帕金森疾病检测方法
CN116994427A (zh) * 2023-07-04 2023-11-03 重庆邮电大学 一种基于大数据的道路路况预测方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015100993A1 (zh) * 2013-12-30 2015-07-09 复旦大学 一种基于时空关联数据挖掘的交通流预测方法
CN109285346A (zh) * 2018-09-07 2019-01-29 北京航空航天大学 一种基于关键路段的城市路网交通状态预测方法
CN109754605A (zh) * 2019-02-27 2019-05-14 中南大学 一种基于注意力时态图卷积网络的交通预测方法
CN111161535A (zh) * 2019-12-23 2020-05-15 山东大学 基于注意力机制的图神经网络交通流量预测方法及系统
CN111260919A (zh) * 2020-01-15 2020-06-09 厦门大学 交通流量预测方法
CN111785045A (zh) * 2020-06-17 2020-10-16 南京理工大学 基于演员-评论家算法的分布式交通信号灯联合控制方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103490413B (zh) * 2013-09-27 2015-09-02 华南理工大学 一种基于智能体均衡算法的智能发电控制方法
CN109635917B (zh) * 2018-10-17 2020-08-25 北京大学 一种多智能体合作决策及训练方法
CN110827544B (zh) * 2019-11-11 2022-09-02 重庆邮电大学 一种基于图卷积循环神经网络的短时交通流控制方法
CN111612243B (zh) * 2020-05-18 2023-11-10 湖南大学 交通速度预测方法、系统及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015100993A1 (zh) * 2013-12-30 2015-07-09 复旦大学 一种基于时空关联数据挖掘的交通流预测方法
CN109285346A (zh) * 2018-09-07 2019-01-29 北京航空航天大学 一种基于关键路段的城市路网交通状态预测方法
CN109754605A (zh) * 2019-02-27 2019-05-14 中南大学 一种基于注意力时态图卷积网络的交通预测方法
CN111161535A (zh) * 2019-12-23 2020-05-15 山东大学 基于注意力机制的图神经网络交通流量预测方法及系统
CN111260919A (zh) * 2020-01-15 2020-06-09 厦门大学 交通流量预测方法
CN111785045A (zh) * 2020-06-17 2020-10-16 南京理工大学 基于演员-评论家算法的分布式交通信号灯联合控制方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Reinforced Spatiotemporal Attentive Graph Neural Networks for Traffic Forecasting;Fan Zhou等;《IEEE》;20200219;全文 *
一种基于序列到序列时空注意力学习的交通流预测模型;杜圣东等;《计算机研究与发展》;20200806(第08期);全文 *
基于图卷积神经网络的交通流量预测;朱凯利等;《智能计算机与应用》;20191231(第06期);全文 *
基于多特征时空图卷积网络的水运通航密度预测;董伟等;《物联网学报》;20200930(第03期);全文 *

Also Published As

Publication number Publication date
CN112241814A (zh) 2021-01-19

Similar Documents

Publication Publication Date Title
CN112241814B (zh) 一种基于强化时空图神经网络的交通预测方法
CN111223301B (zh) 一种基于图注意力卷积网络的交通流量预测方法
CN109492830B (zh) 一种基于时空深度学习的移动污染源排放浓度预测方法
CN109492822B (zh) 空气污染物浓度时空域关联预测方法
CN111612243B (zh) 交通速度预测方法、系统及存储介质
CN113313947B (zh) 短期交通预测图卷积网络的路况评估方法
Wang et al. Modeling inter-station relationships with attentive temporal graph convolutional network for air quality prediction
CN112116080A (zh) 一种融合了注意力机制的cnn-gru水质预测方法
CN110047291B (zh) 一种考虑扩散过程的短时交通流预测方法
CN114299723B (zh) 一种交通流量预测方法
CN114802296A (zh) 一种基于动态交互图卷积的车辆轨迹预测方法
CN112949828A (zh) 一种基于图学习的图卷积神经网络交通预测方法及系统
Ou et al. Learn, assign, and search: real-time estimation of dynamic origin-destination flows using machine learning algorithms
CN113554466B (zh) 一种短期用电量预测模型构建方法、预测方法和装置
CN109918995B (zh) 一种基于深度学习的人群异常检测方法
CN111860787A (zh) 一种含有缺失数据的耦合有向图结构流量数据的短期预测方法及装置
CN113516304A (zh) 基于时空图网络的区域污染物时空联合预测方法及装置
CN114565187A (zh) 一种基于图时空自编码网络的交通路网数据预测方法
CN114495507A (zh) 融合时空注意力神经网络和交通模型的交通流预测方法
CN110991776A (zh) 一种基于gru网络实现水位预测的方法及系统
CN113947182A (zh) 基于双阶段堆叠图卷积网络的交通流预测模型构建方法
CN115629160A (zh) 一种基于时空图的空气污染物浓度预测方法及系统
CN115935796A (zh) 一种基于时空异质的和同步的图卷积网络交通流预测方法
CN115206092A (zh) 一种基于注意力机制的BiLSTM和LightGBM模型的交通预测方法
CN115936069A (zh) 一种基于时空注意力网络的交通流预测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant