CN113298319B - 一种基于跳跃图注意力门控循环网络的交通速度预测方法 - Google Patents

一种基于跳跃图注意力门控循环网络的交通速度预测方法 Download PDF

Info

Publication number
CN113298319B
CN113298319B CN202110691544.7A CN202110691544A CN113298319B CN 113298319 B CN113298319 B CN 113298319B CN 202110691544 A CN202110691544 A CN 202110691544A CN 113298319 B CN113298319 B CN 113298319B
Authority
CN
China
Prior art keywords
network
attention
neural network
traffic
traffic speed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110691544.7A
Other languages
English (en)
Other versions
CN113298319A (zh
Inventor
郭戈
刘金沅
高振宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northeastern University Qinhuangdao Branch
Original Assignee
Northeastern University Qinhuangdao Branch
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northeastern University Qinhuangdao Branch filed Critical Northeastern University Qinhuangdao Branch
Priority to CN202110691544.7A priority Critical patent/CN113298319B/zh
Publication of CN113298319A publication Critical patent/CN113298319A/zh
Application granted granted Critical
Publication of CN113298319B publication Critical patent/CN113298319B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • General Physics & Mathematics (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • Marketing (AREA)
  • General Health & Medical Sciences (AREA)
  • Development Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Educational Administration (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Primary Health Care (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Game Theory and Decision Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明提供一种基于跳跃图注意力门控循环网络的交通速度预测方法，涉及大数据挖掘技术领域。本发明采用数据驱动的方式，设计跳跃图注意力门控循环网络，能够自适应调节模型空间路网高阶邻域路段的特征提取范围，融合图注意力神经网络和门控循环神经网络捕捉交通路网时空特征，提升目标路段交通速度预测精度。对交通路网中路段的精确的速度预测有利于减少交通拥堵情况，提升城市交通运行效率，降低交通管理部门管理成本，同时极大改善人们出行体验。

Description

一种基于跳跃图注意力门控循环网络的交通速度预测方法
技术领域
本发明涉及大数据挖掘技术领域，尤其涉及一种基于跳跃图注意力门控循环网络的交通速度预测方法。
背景技术
交通预测方法主要采用传统统计学方法和深度学习方法。传统统计学方法基于数学模型来捕获交通速度的动态特征，主要采用历史平均模型，差分整合移动平均自回归模型。但是，使用标准数学或统计方法很难对复杂系统(例如交通网络)的动态行为进行准确建模。深度学习的方式可以通过研究大量数据而无需依赖任何标准和固定的统计关系来了解几个影响因素之间的复杂功能关系。Y.Tian等和X.Ma等采用长短期记忆神经网络的方式对交通路网速度值进行预测。R.Fu等采用门控循环神经网络捕捉交通速度的时间信息。Y.Liu等和Y.Wu等用卷积神经网络捕捉交通速度空间信息，并与长短期记忆神经网络进行融合同时捕捉交通速度的时间空间信息特征。B.Yu等结合图卷积神经网络捕捉目标路段的临界路段信息，并结合门控循环神经网络，提升预测精度。
X.Ma等构建深度注意力神经网络预测短期交通流速度，但难以准确捕捉时域中交通信息。Y.Liu等提出了注意力长短期记忆网络用于同时捕获交通速度的时空特征预测道路交通速度，但是这种模型只能提取网格型的交通数据。但是传感器网络依托于路网并非标准网格结构，因此这种预测模型性能不佳。B.Yu等采用的图卷积神经网络对应路段只能选取固定阶数的领域路段范围，因此无法很好应对需要获取不同阶数领域特征的情况。在实际的交通预测场景中，由于数据量巨大，交通路网十分复杂，交通速度在时间空间上的动态变化规律难以捕捉，导致现有的交通速度预测性能不佳。
在实际的交通预测场景中，数据量巨大，交通路网十分复杂，模型训练缓慢以及交通状况在时间空间上的动态变化规律难以捕捉，导致交通速度预测性能不佳的问题。
发明内容
针对现有技术存在的问题，本发明提供一种基于跳跃图注意力门控循环网络的交通速度预测方法，采用数据驱动的方式，设计跳跃图注意力门控循环网络，能够自适应调节模型空间路网高阶邻域路段的特征提取范围，融合图注意力神经网络和门控循环神经网络捕捉交通路网时空特征，提升目标路段交通速度预测精度。
为了解决上述技术问题，本发明采用以下的技术方案：
一种基于跳跃图注意力门控循环网络的交通速度预测方法，包括以下步骤：
步骤1：获取交通数据源数据，制作交通速度数据集和传感器网络邻接矩阵数据；
步骤1.1：由安装在交通路网道路上的交通速度传感器获取交通速度数据，将所有的交通速度数据划分为训练数据集以及验证数据集；
步骤1.2：根据交通速度传感器在交通路网中的连接关系构建传感器网络的邻接矩阵；
所述邻接矩阵的表示如下：
Figure BDA0003126355610000021
若Wij＝1，表示第i个传感器和第j个传感器在路网上是连接的，Wij＝0表示第i个传感器和第j个传感器在路网上无连接关系；
步骤2：选取图注意力神经网络和门控循环神经网络分别捕获交通速度数据的空间和时间特征；
步骤2.1：使用图注意力神经网络获取交通速度数据的交通路网空间特征，图注意力神经网络获取非欧几里得空间中相邻点的空间结构，传感器之间的注意力相关性系数公式如下：
Figure BDA0003126355610000031
其中W是线性变换操作；eij是乘法注意力机制获得一对传感器之间的相关性系数，ATTENTION()是注意力机制，
Figure BDA0003126355610000032
和
Figure BDA0003126355610000033
为t时刻第i个传感器和第j个传感器的交通速度数据；
将路网所有传感器与第i个传感器注意力相关性系数通过softmax函数进行归一化处理，传感器之间归一化之后的相关性系数公式如下：
Figure BDA0003126355610000034
其中
Figure BDA0003126355610000035
是在所有传感器之间归一化之后的相关性系数，softmax为归一化指数函数，exp(·)为以自然常数e为底的指数函数，N为传感器数量；
采用多头注意力机制计算聚合后的交通速度数据，多头注意力函数如下所示:
Figure BDA0003126355610000036
Fi′t为通过多头注意力机制聚合后的t时刻第i个传感器的交通速度数据,k为多头注意力头数，Wk为多头注意力每个头的线性变换。将多头注意力函数表示为GA(·)；
步骤2.2：使用门控循环神经网络获取交通速度数据的时间特征，下式为门控循环神经网络内部结构公式：
rt＝σ(Wirxt+Whrh(t-1)+br)
zt＝σ(Wizxt+Whzh(t-1)+bz)
nt＝tanh(Winxt+Whn(rt*h(t-1))+bn)
ht＝(1-zt)*nt+zt*h(t-1)
其中，xt为交通速度输入量，h(t-1)为上一时刻隐藏状态，ht为此时刻的隐藏状态，σ为sigmoid激活函数，tanh为tanh激活函数。rt为门控循环神经网络重置门输出量，zt为门控循环神经网络更新门输出量更新门输出量，nt为隐藏状态候选集。Wir为重置门输入线性变换，Whr为重置门上一时刻隐藏状态线性变换，br为重置门偏置量。Wiz为更新门输入线性变换，Whz为更新门上一时刻隐藏状态线性变换，bz为更新门偏置量。Win为隐藏状态候选集输入线性变换，Whn为隐藏状态候选集上一时刻隐藏状态线性变换，bn为隐藏状态候选集偏置量。
步骤3：设计图注意门控循环网络，融合图注意力神经网络和门控循环神经网络生成交通速度数据的时空特征，单层的图注意力门控循环网络层捕获一阶邻居传感器的时空关系，若干个堆叠的图注意力门控循环网络层提取高阶邻居传感器之间的时空关系；
融合图注意力神经网络和门控循环神经网络为图注意力门控循环神经网络层，同时捕捉交通路网上的交通速度信息的时间和空间特征；下式为图注意力门控循环神经网络内部结构公式：
rt＝σ(WirGA(xt)+WhrGA(h(t-1))+br)
zt＝σ(WizGA(xt)+WhzGA(h(t-1))+bz)
nt＝tanh(WinGA(xt)+Whn(GA(rt*h(t-1)))+bn)
ht＝(1-zt)*nt+zt*h(t-1)
其中，GA(·)为多头图注意力函数，xt为交通速度输入量，h(t-1)为上一时刻隐藏状态，ht为此时刻的隐藏状态。σ为sigmoid激活函数，tanh为tanh激活函数。rt为门控循环神经网络重置门输出量，zt为门控循环神经网络更新门输出量更新门输出量，nt为隐藏状态候选集。Wir为重置门输入线性变换，Whr为重置门上一时刻隐藏状态线性变换，br为重置门偏置量。Wiz为更新门输入线性变换，Whz为更新门上一时刻隐藏状态线性变换，bz为更新门偏置量。Win为隐藏状态候选集输入线性变换，Whn为隐藏状态候选集上一时刻隐藏状态线性变换，bn为隐藏状态候选集偏置量。
步骤4：聚合各图注意力神经网络层的隐藏层信息，将聚合的隐藏层信息输入到跳跃网络层，自适应的调节图注意神经网络的高阶邻居传感器聚合邻域特征的提取范围；
步骤4.1：采用基于注意力机制的双向门控卷积循环神经网络构建跳跃网络层，聚合各图注意力神经网络层的隐藏层信息；
所述基于注意力机制的聚合信息公式如下所示：
Figure BDA0003126355610000051
其中Sum为各图注意力神经网络层聚合后的信息，k为图注意力门控循环神经网络层的层数，
Figure BDA0003126355610000052
为各个隐藏层输出信息注意力系数，softmax为归一化指数函数，
Figure BDA0003126355610000053
为图注意力门控循环神经网络前向和后向传递的隐藏层信息；
步骤4.2：将聚合的信息输入到跳跃网络层，所述跳跃网络层采用基于注意力机制的门控循环网络；
步骤5：设计序列到序列神经网络结构，结合图注意力门控循环网络层合和跳跃网络层设计编码解码过程，解码过程的输出作为交通速度预测结果；
步骤5.1：采用序列到序列的结构，将由图注意力门控循环神经网络和跳跃层整合为编码过程；
步骤5.2：编码过程的隐藏层信息保存于承上启下隐藏层；所述承上启下隐藏层是固定长度的向量表达，承上启下隐藏层输出信息用于解码过程；
步骤5.3：采用图注意力门控循环神经网络和全连接神经网络构建解码过程，输出层的输出作为整个深度学习框架的交通速度预测结果；
步骤6：将训练集数据输入跳跃图注意力门控循环网络，计算损失函数，并采用Adam优化器对跳跃图注意力门控循环网络进行优化；
所述损失函数如下：
Figure BDA0003126355610000054
其中y表示标签值，
Figure BDA0003126355610000055
表示训练过程中网络输出的预测值，T表示整个验证数据集样本总和。yi表示第i个样本；
步骤7：利用验证数据集对神经网络性能指标进行测试，将验证数据集数据输入到已经通过训练集数据训练的跳跃图注意力门控循环网络中，根据预测结果的误差指标判断网络性能指标，误差值越低，网络性能越好，输出交通速度预测结果。
本发明所产生的有益效果在于：
本发明提出一种基于跳跃图注意力门控循环网络的交通速度预测方法，结合交通路网结构与跳跃图注意力门控循环神经网络构建复杂交通路网交通速度预测方法。在当今社会中，许多大型城市将交通拥塞视为急需解决的问题之一。交通拥塞会浪费大量时间，同时车辆拥堵期间排放尾气会造成空气污染。因此，在智能交通系统中，对交通路网中路段的精确的速度预测有利于减少交通拥堵情况，提升城市交通运行效率，降低交通管理部门管理成本，同时极大改善人们出行体验。
附图说明
图1为本发明的交通速度预测方法流程图；
图2为本发明设计方法门控循环神经网络结构示意图；
图3为本发明设计方法图注意力门控循环神经网络结构示意图；
图4为本发明对一传感器实际的交通速度预测结果图；
图5为本发明捕获到的传感器之间相关性关系图。
具体实施方式
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
一种基于跳跃图注意力门控循环网络的交通速度预测方法，如图1所示，包括以下步骤：
步骤1：获取交通数据源数据，制作交通速度数据集和传感器网络邻接矩阵数据；
步骤1.1：由安装在交通路网道路上的交通速度传感器获取交通速度数据，将所有的交通速度数据划分为训练数据集以及验证数据集；本实施例中选取地点为某交通部门提供的该地区2017年1月到5月的交通数据集。在本实例中训练集的样本数目为36481，验证数据集的数目为15634；
将训练数据集中交通速度数据用于进行深度学习模型训练，验证数据集测试深度学习模型的训练效果；
步骤1.2：本实施例中根据325个交通速度传感器在交通路网中的连接关系构建传感器网络的邻接矩阵；
所述邻接矩阵的表示如下：
Figure BDA0003126355610000071
1≤i≤325，1≤j≤325
若Wij＝1，表示第i个传感器和第j个传感器在路网上是连接的，Wij＝0表示第i个传感器和第j个传感器在路网上无连接关系；
步骤2：选取图注意力神经网络和门控循环神经网络分别捕获交通速度数据的空间和时间特征；
步骤2.1：使用图注意力神经网络获取交通速度数据的交通路网空间特征，图注意力神经网络获取非欧几里得空间中相邻点的空间结构，传感器之间的注意力相关性系数公式如下：
Figure BDA0003126355610000072
其中W是线性变换操作；eij是乘法注意力机制获得一对传感器之间的相关性系数，ATTENTION()是注意力机制，
Figure BDA0003126355610000073
和
Figure BDA0003126355610000074
为t时刻第i个传感器和第j个传感器的交通速度数据；
将路网所有传感器与第i个传感器注意力相关性系数通过softmax函数进行归一化处理，传感器之间归一化之后的相关性系数公式如下：
Figure BDA0003126355610000081
其中
Figure BDA0003126355610000082
是在所有传感器之间归一化之后的相关性系数，softmax为归一化指数函数，exp(·)为以自然常数e为底的指数函数，N为传感器数量；
采用多头注意力机制计算聚合后的交通速度数据，多头注意力函数如下所示:
Figure BDA0003126355610000083
Fi′t为通过多头注意力机制聚合后的t时刻第i个传感器的交通速度数据,k为多头注意力头数，Wk为多头注意力每个头的线性变换。将多头注意力函数表示为GA(·)；
本实施例中为了解决每天动态变化传感器节点之间的相关性，嵌入多头注意力，多头注意力的数目选择为4；
步骤2.2：使用门控循环神经网络获取交通速度数据的时间特征，如图2所示，下式为门控循环神经网络内部结构公式：
rt＝σ(Wirxt+Whrh(t-1)+br)
zt＝σ(Wizxt+Whzh(t-1)+bz)
nt＝tanh(Winxt+Whn(rt*h(t-1))+bn)
ht＝(1-zt)*nt+zt*h(t-1)
其中，xt为交通速度输入量，h(t-1)为上一时刻隐藏状态，ht为此时刻的隐藏状态，σ为sigmoid激活函数，tanh为tanh激活函数。rt为门控循环神经网络重置门输出量，zt为门控循环神经网络更新门输出量更新门输出量，nt为隐藏状态候选集。Wir为重置门输入线性变换，Whr为重置门上一时刻隐藏状态线性变换，br为重置门偏置量。Wiz为更新门输入线性变换，Whz为更新门上一时刻隐藏状态线性变换，bz为更新门偏置量。Win为隐藏状态候选集输入线性变换，Whn为隐藏状态候选集上一时刻隐藏状态线性变换，bn为隐藏状态候选集偏置量。
步骤3：设计图注意门控循环网络，融合图注意力神经网络和门控循环神经网络生成交通速度数据的时空特征，单层的图注意力门控循环网络层捕获一阶邻居传感器的时空关系，若干个堆叠的图注意力门控循环网络层提取高阶邻居传感器之间的时空关系；
融合图注意力神经网络和门控循环神经网络为图注意力门控循环神经网络层，同时捕捉交通路网上的交通速度信息的时间和空间特征；如图3所示，下式为图注意力门控循环神经网络内部结构公式：
rt＝σ(WirGA(xt)+WhrGA(h(t-1))+br)
zt＝σ(WizGA(xt)+WhzGA(h(t-1))+bz)
nt＝tanh(WinGA(xt)+Whn(GA(rt*h(t-1)))+bn)
ht＝(1-zt)*nt+zt*h(t-1)
其中，GA(·)为多头图注意力函数，xt为交通速度输入量，h(t-1)为上一时刻隐藏状态，ht为此时刻的隐藏状态。σ为sigmoid激活函数，tanh为tanh激活函数。rt为门控循环神经网络重置门输出量，zt为门控循环神经网络更新门输出量更新门输出量，nt为隐藏状态候选集。Wir为重置门输入线性变换，Whr为重置门上一时刻隐藏状态线性变换，br为重置门偏置量。Wiz为更新门输入线性变换，Whz为更新门上一时刻隐藏状态线性变换，bz为更新门偏置量。Win为隐藏状态候选集输入线性变换，Whn为隐藏状态候选集上一时刻隐藏状态线性变换，bn为隐藏状态候选集偏置量。
步骤4：聚合各图注意力神经网络层的隐藏层信息，将聚合的隐藏层信息输入到跳跃网络层，自适应的调节图注意神经网络的高阶邻居传感器聚合邻域特征的提取范围；
步骤4.1：采用基于注意力机制的双向门控卷积循环神经网络构建跳跃网络层，聚合各图注意力神经网络层的隐藏层信息；
所述基于注意力机制的聚合信息公式如下所示：
Figure BDA0003126355610000091
其中Sum为各图注意力神经网络层聚合后的信息，k为图注意力门控循环神经网络层的层数，
Figure BDA0003126355610000101
为各个隐藏层输出信息注意力系数，softmax为归一化指数函数，
Figure BDA0003126355610000102
为图注意力门控循环神经网络前向和后向传递的隐藏层信息；
步骤4.2：将聚合的信息输入到跳跃网络层，所述跳跃网络层采用基于注意力机制的门控循环网络；
步骤5：设计序列到序列神经网络结构，结合图注意力门控循环网络层合和跳跃网络层设计编码解码过程，解码过程的输出作为交通速度预测结果；
步骤5.1：采用序列到序列的结构，将由图注意力门控循环神经网络和跳跃层整合为编码过程；
步骤5.2：编码过程的隐藏层信息保存于承上启下隐藏层；所述承上启下隐藏层是固定长度的向量表达，承上启下隐藏层输出信息用于解码过程；
步骤5.3：采用图注意力门控循环神经网络和全连接神经网络构建解码过程，输出层的输出作为整个深度学习框架的交通速度预测结果；
步骤6：将训练集数据输入跳跃图注意力门控循环网络，计算损失函数，并采用Adam优化器对跳跃图注意力门控循环网络进行优化；
所述损失函数如下：
Figure BDA0003126355610000103
其中y表示标签值，
Figure BDA0003126355610000104
表示训练过程中网络输出的预测值，T表示整个验证数据集样本总和。yi表示第i个样本；
步骤7：利用验证数据集对神经网络性能指标进行测试，将验证数据集数据输入到已经通过训练集数据训练的跳跃图注意力门控循环网络中，根据预测结果的误差指标判断网络性能指标，误差值越低，网络性能越好，输出交通速度预测结果。
本实施例中选取预测时间为15分钟，利用验证数据集测试网络误差性能指标，并与其他基准交通速度预测网络做性能对比，性能对比结果见表1；
表1：性能指标对比
模型 MAE MAPE(％) RMSE
ARIMA 5.55 12.92 9.00
全连接-长短期记忆网络 3.57 8.60 6.02
跳跃图注意力门控循环网络 3.41 5.26 5.04
MAE为平均绝对误差，MAPE为平均百分比误差，RMSE为均方根误差；
其中误差指标公式定义如下：
Figure BDA0003126355610000111
Figure BDA0003126355610000112
Figure BDA0003126355610000113
本实施例对一传感器节点实际的交通速度预测结果进行展示，如图4，图5所示。交通速度(TravelSpeed)单位为km/h,时间戳(TimeStamp)单位为min，每个时间戳间隔5min。从实验性能对比结果可以看出，本发明提出的基于跳跃图注意力门控循环网络的交通速度预测方法能够降低交通速度预测误差，提升了交通速度预测精度。表明本发明能够很好的捕捉交通路网上的复杂时空速度信息，能够达到更好的预测效果，具有一定的优越性。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明权利要求所限定的范围。

Claims (4)

1.一种基于跳跃图注意力门控循环网络的交通速度预测方法，其特征在于，包括：
步骤1：获取交通数据源数据，制作交通速度数据集和传感器网络邻接矩阵数据；
步骤2：选取图注意力神经网络和门控循环神经网络分别捕获交通速度数据的空间和时间特征；
步骤3：设计图注意门控循环网络，融合图注意力神经网络和门控循环神经网络生成交通速度数据的时空特征，单层的图注意力门控循环网络层捕获一阶邻居传感器的时空关系，若干个堆叠的图注意力门控循环网络层提取高阶邻居传感器之间的时空关系；
融合图注意力神经网络和门控循环神经网络为图注意力门控循环神经网络层，同时捕捉交通路网上的交通速度信息的时间和空间特征；下式为图注意力门控循环神经网络内部结构公式：
rt＝σ(WirGA(xt)+WhrGA(h(t-1))+br)
zt＝σ(WizGA(xt)+WhzGA(h(t-1))+bz)
nt＝tanh(WinGA(xt)+Whn(GA(rt*h(t-1)))+bn)
ht＝(1-zt)*nt+zt*h(t-1)
其中，GA(·)为多头图注意力函数，xt为交通速度输入量，h(t-1)为上一时刻隐藏状态，ht为此时刻的隐藏状态；σ为sigmoid激活函数，tanh为tanh激活函数；rt为门控循环神经网络重置门输出量，zt为门控循环神经网络更新门输出量更新门输出量，nt为隐藏状态候选集；Wir为重置门输入线性变换，Whr为重置门上一时刻隐藏状态线性变换，br为重置门偏置量；Wiz为更新门输入线性变换，Whz为更新门上一时刻隐藏状态线性变换，bz为更新门偏置量；Win为隐藏状态候选集输入线性变换，Whn为隐藏状态候选集上一时刻隐藏状态线性变换，bn为隐藏状态候选集偏置量；
步骤4：聚合各图注意力神经网络层的隐藏层信息，将聚合的隐藏层信息输入到跳跃网络层，自适应的调节图注意神经网络的高阶邻居传感器聚合邻域特征的提取范围；
步骤5：设计序列到序列神经网络结构，结合图注意力门控循环网络层和跳跃网络层设计编码解码过程，解码过程的输出作为交通速度预测结果；
步骤6：将训练集数据输入跳跃图注意力门控循环网络，计算损失函数，并采用Adam优化器对跳跃图注意力门控循环网络进行优化；
步骤7：利用验证数据集对神经网络性能指标进行测试，将验证数据集数据输入到已经通过训练集数据训练的跳跃图注意力门控循环网络中，根据预测结果的误差指标判断网络性能指标，误差值越低，网络性能越好，输出交通速度预测结果；
所述步骤4具体包括以下步骤：
步骤4.1：采用基于注意力机制的双向门控卷积循环神经网络构建跳跃网络层，聚合各图注意力神经网络层的隐藏层信息；
所述基于注意力机制的聚合信息公式如下所示：
Figure FDA0003493682570000021
其中Sum为各图注意力神经网络层聚合后的信息，k为图注意力门控循环神经网络层的层数，s(l)为各个隐藏层输出信息注意力系数，softmax为归一化指数函数，
Figure FDA0003493682570000022
为图注意力门控循环神经网络前向和后向传递的隐藏层信息；
步骤4.2：将聚合的信息输入到跳跃网络层，所述跳跃网络层采用基于注意力机制的门控循环网络；
所述步骤5具体包括以下步骤：
步骤5.1：采用序列到序列的结构，将由图注意力门控循环神经网络和跳跃层整合为编码过程；
步骤5.2：编码过程的隐藏层信息保存于承上启下隐藏层；所述承上启下隐藏层是固定长度的向量表达，承上启下隐藏层输出信息用于解码过程；
步骤5.3：采用图注意力门控循环神经网络和全连接神经网络构建解码过程，输出层的输出作为整个深度学习框架的交通速度预测结果。
2.根据权利要求1所述的一种基于跳跃图注意力门控循环网络的交通速度预测方法，其特征在于，所述步骤1具体包括以下步骤：
步骤1.1：由安装在交通路网道路上的交通速度传感器获取交通速度数据，将所有的交通速度数据划分为训练数据集以及验证数据集；
步骤1.2：根据交通速度传感器在交通路网中的连接关系构建传感器网络的邻接矩阵；
所述邻接矩阵的表示如下：
Figure FDA0003493682570000031
若Wij＝1，表示第i个传感器和第j个传感器在路网上是连接的，Wij＝0表示第i个传感器和第j个传感器在路网上无连接关系。
3.根据权利要求1所述的一种基于跳跃图注意力门控循环网络的交通速度预测方法，其特征在于，所述步骤2具体包括以下步骤：
步骤2.1：使用图注意力神经网络获取交通速度数据的交通路网空间特征，图注意力神经网络获取非欧几里得空间中相邻点的空间结构，传感器之间的注意力相关性系数公式如下：
Figure FDA0003493682570000032
其中W是线性变换操作；eij是乘法注意力机制获得一对传感器之间的相关性系数，ATTENTION()是注意力机制，Fi t和
Figure FDA0003493682570000033
为t时刻第i个传感器和第j个传感器的交通速度数据；
将路网所有传感器与第i个传感器注意力相关性系数通过softmax函数进行归一化处理，传感器之间归一化之后的相关性系数公式如下：
Figure FDA0003493682570000034
其中
Figure FDA0003493682570000035
是在所有传感器之间归一化之后的相关性系数，softmax为归一化指数函数，exp(·)为以自然常数e为底的指数函数，N为传感器数量；
采用多头注意力机制计算聚合后的交通速度数据，多头注意力函数如下所示:
Figure FDA0003493682570000036
Fi′t为通过多头注意力机制聚合后的t时刻第i个传感器的交通速度数据,k为多头注意力头数，Wk为多头注意力每个头的线性变换；将多头注意力函数表示为GA(·)；
步骤2.2：使用门控循环神经网络获取交通速度数据的时间特征，下式为门控循环神经网络内部结构公式：
rt＝σ(Wirxt+Whrh(t-1)+br)
zt＝σ(Wizxt+Whzh(t-1)+bz)
nt＝tanh(Winxt+Whn(rt*h(t-1))+bn)
ht＝(1-zt)*nt+zt*h(t-1)
其中，xt为交通速度输入量，h(t-1)为上一时刻隐藏状态，ht为此时刻的隐藏状态，σ为sigmoid激活函数，tanh为tanh激活函数；rt为门控循环神经网络重置门输出量，zt为门控循环神经网络更新门输出量更新门输出量，nt为隐藏状态候选集；Wir为重置门输入线性变换，Whr为重置门上一时刻隐藏状态线性变换，br为重置门偏置量；Wiz为更新门输入线性变换，Whz为更新门上一时刻隐藏状态线性变换，bz为更新门偏置量；Win为隐藏状态候选集输入线性变换，Whn为隐藏状态候选集上一时刻隐藏状态线性变换，bn为隐藏状态候选集偏置量。
4.根据权利要求1所述的一种基于跳跃图注意力门控循环网络的交通速度预测方法，其特征在于，步骤6中所述损失函数如下：
Figure FDA0003493682570000041
其中y表示标签值，
Figure FDA0003493682570000042
表示训练过程中网络输出的预测值，T表示整个验证数据集样本总和，yi表示第i个样本。
CN202110691544.7A 2021-06-22 2021-06-22 一种基于跳跃图注意力门控循环网络的交通速度预测方法 Active CN113298319B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110691544.7A CN113298319B (zh) 2021-06-22 2021-06-22 一种基于跳跃图注意力门控循环网络的交通速度预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110691544.7A CN113298319B (zh) 2021-06-22 2021-06-22 一种基于跳跃图注意力门控循环网络的交通速度预测方法

Publications (2)

Publication Number Publication Date
CN113298319A CN113298319A (zh) 2021-08-24
CN113298319B true CN113298319B (zh) 2022-03-08

Family

ID=77329160

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110691544.7A Active CN113298319B (zh) 2021-06-22 2021-06-22 一种基于跳跃图注意力门控循环网络的交通速度预测方法

Country Status (1)

Country Link
CN (1) CN113298319B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114495507B (zh) * 2022-02-25 2023-06-16 南京工业大学 融合时空注意力神经网络和交通模型的交通流预测方法
CN114973678B (zh) * 2022-06-08 2024-04-09 广州航海学院 一种基于图注意力神经网络和时空大数据的交通预测方法
CN115373374B (zh) * 2022-10-26 2023-01-31 山东省计算中心（国家超级计算济南中心） 基于图神经和门控循环网络的工控异常检测方法及系统
CN117555049B (zh) * 2024-01-09 2024-03-29 成都师范学院 基于时空注意力门控融合网络的闪电临近预报方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112950924A (zh) * 2019-12-10 2021-06-11 东北大学秦皇岛分校 一种基于深度学习的复杂交通路网交通速度预测方法
CN112989842A (zh) * 2021-02-25 2021-06-18 电子科技大学 多语义异质图的通用嵌入框架的构建方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112950924A (zh) * 2019-12-10 2021-06-11 东北大学秦皇岛分校 一种基于深度学习的复杂交通路网交通速度预测方法
CN112989842A (zh) * 2021-02-25 2021-06-18 电子科技大学 多语义异质图的通用嵌入框架的构建方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"Short-term traffic speed forecasting based on graph attention temporal convolutional networks";Ge Guo 等;《Neurocomputing》;20201231;第1-8页 *
"基于 图注意力网络的路网短时交通流预测";王鑫;《中国优秀博硕士学位论文全文数据库 工程科技II辑》;20210515(第05期);全文 *

Also Published As

Publication number Publication date
CN113298319A (zh) 2021-08-24

Similar Documents

Publication Publication Date Title
CN113298319B (zh) 一种基于跳跃图注意力门控循环网络的交通速度预测方法
CN113053115B (zh) 一种基于多尺度图卷积网络模型的交通预测方法
CN113111581B (zh) 结合时空因素和基于图神经网络的lstm轨迹预测方法
CN115240425B (zh) 一种基于多尺度时空融合图网络的交通预测方法
CN110991713A (zh) 基于多图卷积和gru的不规则区域流量预测方法
CN112418547A (zh) 一种基于gcn-lstm组合模型的公交车站点客流量预测方法
CN111242292B (zh) 基于深度时空网络的od数据预测方法及系统
CN113591380B (zh) 基于图高斯过程的交通流预测方法、介质及设备
CN108986453A (zh) 一种基于情境信息的交通状况预测方法、系统及装置
CN111242395B (zh) 用于od数据的预测模型构建方法及装置
CN112489426A (zh) 一种基于图卷积神经网络的城市交通流量时空预测方案
CN103731916A (zh) 一种基于无线网络的用户位置预测系统和方法
CN113554466A (zh) 一种短期用电量预测模型构建方法、预测方法和装置
CN111915081A (zh) 一种基于深度学习的峰值敏感型出行需求预测方法
CN112488185A (zh) 包含时空特性的车辆运行参数预测方法，系统，电子设备及可读存储介质
CN113516304A (zh) 基于时空图网络的区域污染物时空联合预测方法及装置
CN113205223A (zh) 一种电量预测系统及其预测方法
Ouyang et al. Spatial-temporal dynamic graph convolution neural network for air quality prediction
CN116092294A (zh) 一种基于Transformer与图注意力网络的高速公路交通流量预测方法
CN116307152A (zh) 时空交互式动态图注意力网络的交通预测方法
CN116311939A (zh) 基于动态时空相关性的od需求预测方法及系统
CN115376317A (zh) 一种基于动态图卷积和时序卷积网络的交通流预测方法
CN116844041A (zh) 一种基于双向卷积时间自注意力机制的耕地提取方法
Lin et al. Denselight: Efficient control for large-scale traffic signals with dense feedback
CN117271899A (zh) 一种基于时空感知的兴趣点推荐方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant