CN114582128B - 基于图离散注意力网络的交通流预测方法、介质及设备 - Google Patents
基于图离散注意力网络的交通流预测方法、介质及设备 Download PDFInfo
- Publication number
- CN114582128B CN114582128B CN202210234138.2A CN202210234138A CN114582128B CN 114582128 B CN114582128 B CN 114582128B CN 202210234138 A CN202210234138 A CN 202210234138A CN 114582128 B CN114582128 B CN 114582128B
- Authority
- CN
- China
- Prior art keywords
- attention
- discrete
- representing
- graph
- traffic flow
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 71
- 238000012549 training Methods 0.000 claims abstract description 21
- 230000007246 mechanism Effects 0.000 claims abstract description 13
- 238000012544 monitoring process Methods 0.000 claims abstract description 11
- 239000011159 matrix material Substances 0.000 claims description 69
- 238000004364 calculation method Methods 0.000 claims description 36
- 230000009466 transformation Effects 0.000 claims description 34
- 230000006870 function Effects 0.000 claims description 14
- 230000003068 static effect Effects 0.000 claims description 14
- 238000012546 transfer Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 10
- 230000004913 activation Effects 0.000 claims description 6
- 239000006185 dispersion Substances 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 238000003860 storage Methods 0.000 claims description 4
- YTAHJIFKAKIKAV-XNMGPUDCSA-N [(1R)-3-morpholin-4-yl-1-phenylpropyl] N-[(3S)-2-oxo-5-phenyl-1,3-dihydro-1,4-benzodiazepin-3-yl]carbamate Chemical compound O=C1[C@H](N=C(C2=C(N1)C=CC=C2)C1=CC=CC=C1)NC(O[C@H](CCN1CCOCC1)C1=CC=CC=C1)=O YTAHJIFKAKIKAV-XNMGPUDCSA-N 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 2
- 238000010606 normalization Methods 0.000 claims description 2
- 238000004422 calculation algorithm Methods 0.000 abstract description 12
- 230000008859 change Effects 0.000 abstract description 7
- 230000000875 corresponding effect Effects 0.000 description 10
- 238000013528 artificial neural network Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 230000000306 recurrent effect Effects 0.000 description 4
- 230000001537 neural effect Effects 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 125000004122 cyclic group Chemical group 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000006698 induction Effects 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 241000512668 Eunectes Species 0.000 description 1
- 101001095088 Homo sapiens Melanoma antigen preferentially expressed in tumors Proteins 0.000 description 1
- 102100037020 Melanoma antigen preferentially expressed in tumors Human genes 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000002431 foraging effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
- G08G1/0125—Traffic data processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明公开了一种基于图离散注意力网络的交通流预测方法、介质及设备，其通过对交通大数据进行流量统计，并根据设计的算法模型对未来交通流进行短时预测。本发明方法综合考虑交通流的时间和空间特征，通过图离散注意力机制表征空间特征，使用多层编码器序列对多层解码器序列的架构表征时间序列特征，从而构建完整的交通流模型，通过训练算法模型即可得到道路交通流量预测模型。结果表明本发明所构建模型能精确预测交通监测点的未来交通流数据，并能表征交通监测点之间流量的动态变化。
Description
技术领域
本发明属于数字化智慧交通领域，具体涉及一种基于图离散注意力网络的交通流预测方法、介质及设备。
背景技术
在过去数十年中，我国的汽车保有量连年增长，预计在2022年，该数字将达到3亿辆以上。与此同时，交通需求也与日俱增，使得当前道路交通的负荷日益增加，带来了拥堵、事故等一系列问题。尽管交管部门一定程度上采取措施来缓解交通拥堵，如道路建设，车辆限号等，但交通拥堵状态仍未得到良好改善。
交通流预测与控制，是解决交通效率的核心问题，根据预测结果提前做出合理的决策，能够有效的提高交通效率，防止交通拥堵和事故的发生。然而交通流数据既有时间序列特征，又有空间相关特征，对这一类时空耦合数据进行建模具有相当大的挑战性。更进一步的，部份地区因条件有限，布设感知设备困难，因而交通数据的采集相对稀疏匮乏，这更进一步的增加了高效预测算法的设计难度。
传统的交通流预测算法将交通流数据视作时间序列数据，并使用相关模型进行拟合。比如，使用Auto-Regressive Integrated Moving Average(ARIMA)模型、以及卡尔曼滤波算法进行交通流量预测，取得了一定的效果，但其预测精度不能让人满意。近年来随着深度学习技术的发展，基于深度学习技术的交通流预测算法解决方案异彩纷呈，诸如基于深度置信网络、自动编码器、深度卷积神经网络、循环神经网络等方案的交通流预测解决方案都取得了不错的效果，但其空间耦合特性仍然没有得到有效的关注和利用。
图结构对于空间结构的有效表达性，启发人们设计图神经网络对时空耦合数据进行建模。基于时空图模型的研究成果在交通流建模预测方面取得了突破进展，其中以文献Yu B,Yin H,Zhu Z.Spatio-Temporal Graph Convolutional Networks:A Deep LearningFramework for Traffic Forecasting[C]//IJCAI.2018所提出的时空图卷积网络方法、文献Li Y,Yu R,Shahabi C,et al.Diffusion Convolutional Recurrent Neural Network:Data-Driven Traffic Forecasting[C]//International Conference on LearningRepresentations.2018.所提出的DCRNN方法、文献Wu Z,Pan S,Long G,et al.GraphWaveNet for Deep Spatial-Temporal Graph Modeling[C]//IJCAI.2019所提出的GraphWaveNet方法以及文献Zhang Q,Chang J,Meng G,et al.Spatio-temporal graphstructure learning for traffic forecasting[C]//Proceedings of the AAAIConference on Artificial Intelligence.2020,34(01):1177-1185所提出的SLCNN方法最为典型，其结合图结构、散播过程、卷积神经网络、循环神经网络等方法提取时空特征，在交通流预测问题上取得了相对更好的效果。相近的，授权公告号为CN 110264709 B，名称为“基于图卷积网络的道路的交通流量的预测方法”的发明专利，通过利用GCN网络和LSTM网络综合道路的交通流量数据的空间特征和时间特征得到下一时间段的道路的交通流量数据的预测值。授权公告号为CN 110503826 B，名称为“一种基于高速流量监测及预测的智能诱导”的发明专利，将道路交通流视为时间序列，通过利用ACTI_ARMA算法进行拟合，从而实现交通流预测，并结合道路相关设计及管理方案，按照高速诱导信息发布流程进行发布。授权公告号为CN 111540199 B，名称为“基于多模态融合和图注意力机制的高速交通流预测方法”的发明专利，构建时序卷积注意力网络和图注意力机制网络，从而实现对高速公路交通流的预测。然而，这些现存先进交通流预测模型对于图结构的利用都是静态的、预定义的，文献Bai,Lei,et al."Adaptive graph convolutional recurrent network fortraffic forecasting."Advances in Neural Information Processing Systems 33(2020):17804-17815.尝试将图结构变成一个动态更新的参数，其在预测精度上有所提升，但使得图结构信息的稳定性有所下降。如何同时结合静态图结构信息和动态图结构信息，对交通流进行高精度预测，需要得到研究。
发明内容
本发明的目的在于解决现有技术中存在的问题，并提供一种基于图离散注意力网络的交通流预测方法、介质及设备，该方法同时结合图网络的静态结构信息和动态结构信息，预测精度高，为高精度交通流预测提供一定的现实参考。
第一方面，本发明提供了一种基于图离散注意力网络的道路交通流预测方法，其包括以下步骤：
S1、获取待预测的道路上不同位置传感器采集的与车辆流量相关的结构化交通流数据，并将其按照设定间隔步长进行分组，每一组数据中包含该分组对应的间隔时段内经过各传感器的车辆信息，最终得到按时间排序的流量统计数据；
S2、针对待预测的道路构建道路图网络结构，以每个传感器部署的点位作为图网络结构的节点，各节点之间通过边相互连接，将节点之间在道路上的实际距离做归一化处理后作为图中节点之间连边的静态权重；
S3、基于图离散注意力网络对道路的交通流数据进行建模，建模时首先使用图离散注意力模块构建区域路网的空间特征关系，然后基于编码器序列对解码器序列模型构建时间序列特征关系，最终形成图离散注意力网络模型；
S4、利用S1中得到的流量统计数据对所述的图离散注意力网络模型进行训练，得到交通监测点及路网的流量预测模型，用于进行实际的交通流预测。
作为优选，所述S1中，传感器采集的结构化交通流数据包括传感器的位置信息、车辆经过时间、车牌号和车辆驾驶方向。
作为优选，所述S1中，传感器采集的结构化交通流数据通过linux shell脚本及python科学计算工具软件进行统计处理。
作为优选，所述S1中，若结构化交通流数据存在多个车辆驾驶方向的数据，则先以车辆驾驶方向为维度对数据进行提取，然后将每一种车辆驾驶方向的数据分别进行分组和排序形成的流量统计数据，每一种车辆驾驶方向对应形成的流量统计数据仅用于训练该车辆驾驶方向的图离散注意力网络模型。
作为优选，所述S3中，图离散注意力网络模型的骨架结构包含一个编码器序列和一个解码器序列，编码器序列由L-1层编码器构成，解码器序列由L’-1层解码器构成，第L-1层编码器和每一层解码器之间有关联链接；每一层编码器由一个单独的图离散注意力模块构成，且图离散注意力模块包含离散注意力、图注意力和求和正则化操作；历史交通流数据和静态的邻接矩阵通过输入全连接层接入第一层编码器；解码器的最后一层通过输出全连接层产生交通流预测结果；
在图离散注意力网络模型中，交通流数据的空间特征被构建为一个图网络其中表示图网络中所有N个节点的集合，每个节点代表一个捕获道路交通流信息的传感器，ε表示节点之间连边的集合，表示不同传感器之间欧几里得距离归一化处理后构建的静态邻接矩阵；具有M个维度的T′步时长的历史交通流数据表示为其中X{t-T′+1，…，t}＝{Xt-T′+1，…，Xt}，Xt表示第t时间步的交通流数据；具有M个维度的T步时长的待预测交通流数据表示为模型训练的目标是学习一个映射函数以历史交通流数据X{t-T′+1，…，t}和图网络为输入，预测未来T步时长的交通流数据，即：
其中ψ代表可学习的参数。
作为优选，所述图离散注意力网络模型包含输入全连接层、L-1层编码器，L’-1层解码器和输出全连接层；
所述输入全连接层将X{t-T′+1，…，t}和转换为首层编码器特征矩阵和邻接传递矩阵首层编码器特征矩阵和邻接传递矩阵
其中和分别表示编码器对应的全连接层的权重矩阵和偏移量，和分别表示解码器对应的全连接层的权重矩阵和偏移量，是的度矩阵，度矩阵中第m行第m列的元素 表示静态邻接矩阵第m行第n列的元素；
所述L-1层编码器中，对于任意第l层编码器，l∈[1，L-1]，其输入均为和输出为和其中运算方式如下：
其中ReLU表示激活函数，表示残差连接，表示权重矩阵，表示线性变换矩阵，表示多头离散注意力，其计算方式如下：
其中||表示拼接操作，H表示注意力总头数，表示第h头离散注意力；对于任意一头离散注意力其计算方式如下所示：
式中k表示离散步，K表示总离散幅，θk表示离散权重系数，其计算方式为：
其中表示自注意力机制的“值”(Value)变换矩阵，view是一个矩阵变换操作，用于将变换前维度为N行N列矩阵变换为维度为N2行1列的变换后矩阵；即为自注意力机制的输入序列，eij表示离散步i和离散步j之间相容度，即注意力分值，计算方法如下所示，
其中和分别表示自注意力的“索引”(Query)变换矩阵和“键”(Key)变换矩阵，qs表示“索引”块大小；
所述邻接传递矩阵的计算方式如下：
其中表示第l层的动态更新，其第a行b列的元素由以下多头图注意力算式求得：
其中m∈[1，M]表示图注意力头数的序列号，M表示图注意力的总头数；Ne(a)表示节点a的邻居节点集合，和均表示第m头图注意力的注意力分值，的计算方式如下：
其中am(·)表示第m头注意力的权重向量，和分别表示特征矩阵的第a行和第c行，leakyRELU(·)是激活函数；
所述L’-1层解码器中，对于任意第l层解码器，l∈[1，L′-1]，其输入均为和以及和输出为和 计算方式如下：
其中和分别表示权重矩阵和线性变换矩阵；表示关联最后一层编码器模块输出和的多头离散注意力；对于任意一头离散注意力其计算方式为：
其中离散参数计算为其注意力分值的计算方式为：
式中：分别表示“索引”、“键”和“值”的变换矩阵；
表示图离散注意力模块生成的特征矩阵，其计算方式如下：
其中表示图离散注意力模块的多头离散注意力；对于任意一头离散注意力其计算方式为其中离散参数计算为其注意力分值的计算方式为 分别表示“索引”、“键”和“值”的变换矩阵；和分别表示权重矩阵和线性变换矩阵；
所述的计算方式如下，
其中表示动态更新部分，其第a行b列的元素算式为 其中表示第m头图注意力的注意力分值，计算方式如下：
其中和分别表示特征矩阵的第a行和第b行，表示相应的第m头注意力权重向量；
所述输出全连接层输出的预测结果为：
其中和分别表示所述输出全连接层的变换矩阵和偏移。
作为优选，所述S4中，利用S1中得到的流量统计数据作为训练数据，以最小化目标函数为优化目标，对所述的图离散注意力网络模型进行参数更新，最终训练得到道路流量预测模型。
作为优选，所述目标函数为均值绝对误差(MAE)函数。
第二方面，本发明提供了一种计算机可读存储介质，所述存储介质上存储有计算机程序，当所述计算机程序被处理器执行时，能实现如第一方面任一方案所述的基于图离散注意力网络的交通流预测方法。
第三方面，本发明提供了一种基于图离散注意力网络的道路交通流预测设备，其包括存储器和处理器；
所述存储器，用于存储计算机程序；
所述处理器，用于当执行所述计算机程序时，实现如第一方面任一方案所述的基于图离散注意力网络的交通流预测方法。
相对于现有技术而言，本发明的有益效果包括以下几方面：
1)本发明结合图网络、离散过程和注意力机制设计了图离散注意力机制，充分把握了静态图结构信息和动态图结构信息，区别于以往的算法只能反馈交通监测点的流量变化，本发明能够反馈交通监测点之间连边的流量变化，并能够可视化这些连边的流量变化；
2)本发明结合所涉及的图离散注意力机制和序列对序列架构设计了图离散注意力网络，能够对道路交通流进行精确预测。
附图说明
图1为基于图离散注意力网络的道路交通流预测方法流程图；
图2为图离散注意力网络模型的骨架结构示意图；
图3为编码器层的结构示意图；
图4为解码器层的结构示意图；
图5为邻接传递矩阵动态变化可视化结果图；
图6为本方法预测效果可视化结果图。
具体实施方式
下面结合附图和具体实施例对本发明做进一步阐述和说明。
在本发明的一个较佳实施例中，提供了一种基于图离散注意力网络的交通流预测方法，其包括以下步骤：
S1、获取待预测的道路上不同位置传感器采集的与车辆流量相关的结构化交通流数据，并将其按照设定间隔步长进行分组，每一组数据中包含该分组对应的间隔时段内经过各传感器的车辆信息，最终得到按时间排序的流量统计数据。
在该步骤中，传感器可以是道路上任意能够感知车辆的传感器，例如龙门架卡口、ETC收费站门架、毫米波雷达、地埋线圈或者监控摄像机，为了能够实现交通流预测，传感器采集的结构化交通流数据应当包括传感器的位置信息、车辆经过时间、车牌号和车辆驾驶方向。这些信息的具体来源需要根据传感器数据特点而定，例如传感器的位置信息可以是桩号、经纬度坐标、ID等，车辆经过时间在ETC门架中可以通过交易时间确定。若存在多源数据，那么道路的龙门架卡口流量数据、收费站流量数据、路侧杆件的毫米波雷达流量数据、地埋线圈感知到的流量数据等多源、多时空粒度的数据可以先进行融合，再作为本发明中的流量统计数据。
该步骤最终得到的按时间排序的流量统计数据可以作为后续预测模型的训练数据，因此需要通过上述分组使其构建为相应的样本数据。在本实施例中，结构化采集数据(包括桩号、经纬度坐标、ID、车辆经过时间、车牌号、车辆驾驶方向等)可使用统计处理工具进行分组处理，将结构化交通流数据按间隔步长分为多组流量数据，得到流量统计数据文件，具体过程可参照以下步骤实现：
S11.使用Linux shell脚本及python科学计算软件工具导入结构化交通流数据文件；
S12.若结构化交通流数据存在多个车辆驾驶方向的数据，则先以车辆驾驶方向为维度对数据进行提取，然后将每一种车辆驾驶方向的数据分别进行分组和排序，若仅有1个车辆驾驶方向则直接进行分组和排序。分组和排序的做法如下：将数据以预设的间隔步长由数组转换为列表，重新构造索引，使得其无重复，并按照提取日期，对数据进行排序形成列表；根据每辆车被传感器感应到的车辆经过时间对数据进行分组，每一组数据记录该分组对应的间隔时段内经过各传感器的车辆信息，并将列表重新拼接为一个完整的数据文件，最终形成时间段左开右闭的流量统计数据。
每一个车辆驾驶方向维度形成的流量统计数据，在后续仅用于训练该车辆驾驶方向的图离散注意力网络过程模型。
S2、针对待预测的道路构建道路图网络结构，以每个传感器部署的点位作为图网络结构的节点，各节点之间通过边相互连接，将节点之间在道路上的实际距离做归一化处理后作为图中节点之间连接的边的静态权重。图网络中所有边的权重构成了邻接矩阵。
S3、基于图离散注意力网络对道路的交通流数据进行建模，建模时首先使用图离散注意力模块构建区域路网的空间特征关系，然后基于编码器序列对解码器序列模型构建时间序列特征关系，最终形成图离散注意力网络模型。
如图2所示，图离散注意力网络模型的骨架结构包含一个编码器序列和一个解码器序列，编码器序列由L-1层编码器构成，解码器序列由L’-1层解码器构成，第L-1层编码器和每一层解码器之间有关联链接；每一层编码器由一个单独的图离散注意力模块构成，且图离散注意力模块包含离散注意力、图注意力和求和正则化操作；历史交通流数据和静态的邻接矩阵通过输入全连接层接入第一层编码器；解码器的最后一层通过输出全连接层产生交通流预测结果。
所述图离散注意力网络模型包含输入全连接层、L-1层编码器，L’-1层解码器和输出全连接层；
所述输入全连接层将X{t-T′+1,…,t}和转换为首层编码器特征矩阵和邻接传递矩阵首层编码器特征矩阵和邻接传递矩阵
其中和分别表示编码器对应的全连接层的权重矩阵和偏移量，和分别表示解码器对应的全连接层的权重矩阵和偏移量，是的度矩阵，度矩阵中第m行第m列的元素 表示静态邻接矩阵第m行第n列的元素；
如图3所示，所述L-1层编码器中，对于任意第l层编码器，l∈[1，L-1]，其输入均为和输出为和其中运算方式如下：
其中ReLU表示激活函数，表示残差连接，表示权重矩阵，表示线性变换矩阵，表示多头离散注意力，其计算方式如下：
其中||表示拼接操作，H表示注意力总头数，表示第h头离散注意力；对于任意一头离散注意力其计算方式如下所示：
式中k表示离散步，K表示总离散幅，θk表示离散权重系数，其计算方式为：
其中表示自注意力机制的“值”(Value)变换矩阵，view是一个矩阵变换操作，用于将变换前维度为N行N列矩阵变换为维度为N2行1列的变换后矩阵；即为自注意力机制的输入序列，eij表示离散步i和离散步j之间相容度，即注意力分值，计算方法如下所示，
其中和分别表示自注意力的“索引”(Query)变换矩阵和“键”(Key)变换矩阵，qs表示“索引”块大小；
所述邻接传递矩阵的计算方式如下：
其中表示第l层的动态更新，其第a行b列的元素由以下多头图注意力算式求得：
其中m∈[1，M]表示图注意力头数的序列号，M表示图注意力的总头数；Ne(a)表示节点a的邻居节点集合，和均表示第m头图注意力的注意力分值，的计算方式如下：
其中am(·)表示第m头注意力的权重向量，和分别表示特征矩阵的第a行和第c行，leakyRELU(·)是激活函数；
如图4所示，所述L’-1层解码器中，对于任意第l层解码器，l∈[1，L′-1]，其输入均为和以及和输出为和 计算方式如下：
其中和分别表示权重矩阵和线性变换矩阵；表示关联最后一层编码器模块输出和的多头离散注意力；对于任意一头离散注意力其计算方式为：
其中离散参数计算为其注意力分值的计算方式为：
式中：分别表示“索引”、“键”和“值”的变换矩阵；
表示图离散注意力模块生成的特征矩阵，其计算方式如下：
其中表示图离散注意力模块的多头离散注意力；对于任意一头离散注意力其计算方式为其中离散参数计算为其注意力分值的计算方式为 分别表示“索引”、“键”和“值”的变换矩阵；和分别表示权重矩阵和线性变换矩阵；
所述的计算方式如下，
其中表示动态更新部分，其第a行b列的元素算式为 其中表示第m头图注意力的注意力分值，计算方式如下：
其中和分别表示特征矩阵的第a行和第b行，表示相应的第m头注意力权重向量；
所述输出全连接层输出的预测结果为：
其中和分别表示所述输出全连接层的变换矩阵和偏移。
S4、利用S1中得到的流量统计数据对所述的图离散注意力网络模型进行训练，得到交通监测点及路网的流量预测模型，用于进行实际的交通流预测。
在训练过程中，前述S3中的目标函数即可作为模型训练的损失函数，将S1中得到的流量统计数据作为训练数据输入图离散注意力网络模型中，以最小化目标函数为优化目标，通过梯度下降算法对图离散注意力网络模型进行参数更新，最终训练得到道路流量预测模型。优选的使用均值绝对误差(Mean Absolute Error，MAE)作为训练目标函数，其表达式为，
其中表示数据量，xi和分别表示数据真值和预测值。
下面基于上述S1～S4所示的基于图离散注意力网络模型的交通流预测方法，将其应用于具体实例中对其具体实现过程和技术效果进行展示，以便本领域技术人员更好地理解本发明的实质。
实施例
数据集准备：本实例为某高速公路收集的555个监测点位的交通流数据，采集起止时间为2018年1月1日至2018年1月31日。原始数据除了包含采集点位置信息以外，还有到达车辆的时间、车牌号、行驶方向区分标识。以5分钟为间隔步长对数据进行分组处理，实现同一地点的到达时间在5分钟时间间隔内的车流量统计。
本实例将数据集按照60％：30％：10％的比例划分为训练集、测试集、验证集，用来进行模型效果验证。
实验环境的硬件配置为：一台服务器，CPU为英特尔i9-10900K，内存为DDR4～16GB，并行计算资源包含一张NVIDIA GeForce RTX 3080TI显卡，显存为12GB。
实验环境的软件配置为：操作系统为Ubuntu 20.04LTS，部署了cuda 11.1，cudnn8.2.1。使用anaconda进行环境管理，所部署python版本为3.8.5。所建立conda环境为Pytorch 1.10。
模型训练配置为：Epoch数量设置为20，采用Adam作为训练优化算法，其学习率设置为0.0005。
本实例的性能评价指标包含平均绝对百分比误差(Maximum AbsolutePercentage Error,MAPE)、平均绝对误差(Maximum Absolute Error,MAE)和均方根误差(Root Mean Square Error,RMSE)的预测方法的性能：
其中，yi与分别表示真实交通流量值和预测值。
最终预测误差指标对比如表1所示：
表1算法误差性能对比表，表示最佳结果
其中SVR为支持向量机回归算法，GRU是门控循环单元算法，都是经典时间序列方法，STGCN、DCRNN和AGCRN分别来自于以下参考文献：
(1).STGCN来自于Yu B,Yin H,Zhu Z.Spatio-Temporal Graph ConvolutionalNetworks:A Deep Learning Framework for Traffic Forecasting[C]//IJCAI.2018所述方法；
(2).DCRNN来自于Li Y,Yu R,Shahabi C,et al.Diffusion ConvolutionalRecurrent Neural Network:Data-Driven Traffic Forecasting[C]//InternationalConference on Learning Representations.2018.所述方法；
(3).AGCRN来自于Bai,Lei,et al."Adaptive graph convolutional recurrentnetwork for traffic forecasting."Advances in Neural Information ProcessingSystems 33(2020):17804-17815.所述方法；
GDF表示本发明所述方法，可见本发明在性能指标上已经领先其他方法。更进一步的，本发明可以量化观测编码器邻接传递矩阵和解码器邻接传递矩阵的动态变化，进而挖掘交通监测节点之间的流量变化信息，图5展示了在0时刻和1时刻的编码器和解码器的动态传递矩阵的局部数值信息，可以观察到其变化幅度细微，符合被观测路段流量变化缓慢的实际情况。本发明可以精确预测交通流数据，图6可视化方式展示了数据集的第443号监测点从第667时刻开始和第539号监测点从第1594时刻开始的300个时间戳的交通流预测结果与真实交通流数据的对比，图例GDF所表示的线代表本发明所述方法的预测结果，Ground Truth所表示的线代表真实的交通流数据，可以发现本发明所述方法追踪效果相当精确；
另外，在其他实施例中，还可以提供一种基于图离散注意力网络的道路交通流预测装置，其包括存储器和处理器；
所述存储器，用于存储计算机程序；
所述处理器，用于当执行所述计算机程序时，实现如上述S1～S4所述的基于图离散注意力网络的交通流预测方法。
另外，在其他实施例中，还可以提供一种计算机可读存储介质，所述存储介质上存储有计算机程序，当所述计算机程序被处理器执行时，能实现如上述S1～S4所述的基于图离散注意力网络的交通流预测方法。
需要注意的是，上述的存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、神经网络处理器(Neural Processor Unit，NPU)等；还可以是数字信号处理器(DigitalSignal Processing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。当然，还装置中还应当具有实现程序运行的必要组件，例如电源、通信总线等等。
以上所述的实施例只是本发明的一种较佳的方案，然其并非用以限制本发明。有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型。因此凡采取等同替换或等效变换的方式所获得的技术方案，均落在本发明的保护范围内。
Claims (8)
1.一种基于图离散注意力网络的交通流预测方法，其特征在于，包括以下步骤：
S1、获取待预测的道路上不同位置传感器采集的与车辆流量相关的结构化交通流数据，并将其按照设定间隔步长进行分组，每一组数据中包含该分组对应的间隔时段内经过各传感器的车辆信息，最终得到按时间排序的流量统计数据；
S2、针对待预测的道路构建道路图网络结构，以每个传感器部署的点位作为图网络结构的节点，各节点之间通过边相互连接，将节点之间在道路上的实际距离做归一化处理后作为图中节点之间连边的静态权重；
S3、基于图离散注意力网络对道路的交通流数据进行建模，建模时首先使用图离散注意力模块构建区域路网的空间特征关系，然后基于编码器序列对解码器序列模型构建时间序列特征关系，最终形成图离散注意力网络模型；
所述图离散注意力网络模型的骨架结构包含一个编码器序列和一个解码器序列，编码器序列由L-1层编码器构成，解码器序列由L’-1层解码器构成，第L-1层编码器和每一层解码器之间有关联链接；每一层编码器由一个单独的图离散注意力模块构成，且图离散注意力模块包含离散注意力、图注意力和求和正则化操作；历史交通流数据和静态的邻接矩阵通过输入全连接层接入第一层编码器；解码器的最后一层通过输出全连接层产生交通流预测结果；
在图离散注意力网络模型中，交通流数据的空间特征被构建为一个图网络其中表示图网络中所有N个节点的集合，每个节点代表一个捕获道路交通流信息的传感器，ε表示节点之间连边的集合，表示不同传感器之间欧几里得距离归一化处理后构建的静态邻接矩阵；具有M个维度的T′步时长的历史交通流数据表示为其中X{t-T′+1,…,t}＝{Xt-T′+1,…,Xt}，Xt表示第t时间步的交通流数据；具有M个维度的T步时长的待预测交通流数据表示为模型训练的目标是学习一个映射函数以历史交通流数据X{t-T′+1,…,t}和图网络为输入，预测未来T步时长的交通流数据，即：
其中ψ代表可学习的参数；
所述图离散注意力网络模型包含输入全连接层、L-1层编码器，L’-1层解码器和输出全连接层；
所述输入全连接层将X{t-T′+1,…,t}和转换为首层编码器特征矩阵和邻接传递矩阵首层编码器特征矩阵和邻接传递矩阵
其中和分别表示编码器对应的全连接层的权重矩阵和偏移量，和分别表示解码器对应的全连接层的权重矩阵和偏移量，是的度矩阵，度矩阵中第m行第m列的元素 表示静态邻接矩阵第m行第n列的元素；
所述L-1层编码器中，对于任意第l层编码器，l∈[1,L-1]，其输入均为和输出为和其中运算方式如下：
其中ReLU表示激活函数，表示残差连接，表示权重矩阵，表示线性变换矩阵，表示多头离散注意力，其计算方式如下：
其中||表示拼接操作，H表示注意力总头数，表示第h头离散注意力；对于任意一头离散注意力其计算方式如下所示：
式中k表示离散步，K表示总离散幅，θk表示离散权重系数，其计算方式为：
其中表示自注意力机制的“值”变换矩阵，view是一个矩阵变换操作，用于将变换前维度为N行N列矩阵变换为维度为N2行1列的变换后矩阵；即为自注意力机制的输入序列，eij表示离散步i和离散步j之间相容度，即注意力分值，计算方法如下所示，
其中和分别表示自注意力的“索引”变换矩阵和“键”变换矩阵，qs表示“索引”块大小；
所述邻接传递矩阵的计算方式如下：
其中表示第l层的动态更新，其第a行b列的元素由以下多头图注意力算式求得：
其中m∈[1,M]表示图注意力头数的序列号，M表示图注意力的总头数；Ne(a)表示节点a的邻居节点集合，和均表示第m头图注意力的注意力分值，的计算方式如下：
其中am(·)表示第m头注意力的权重向量，和分别表示特征矩阵的第a行和第c行，leakyRELU(·是激活函数；
所述L’-1层解码器中，对于任意第l层解码器，l∈[1,L′-1]，其输入均为和以及和输出为和 计算方式如下：
其中和分别表示权重矩阵和线性变换矩阵；表示关联最后一层编码器模块输出和的多头离散注意力；对于任意一头离散注意力其计算方式为：
其中离散参数计算为其注意力分值的计算方式为：
式中：分别表示“索引”、“键”和“值”的变换矩阵；
表示图离散注意力模块生成的特征矩阵，其计算方式如下：
其中表示图离散注意力模块的多头离散注意力；对于任意一头离散注意力其计算方式为其中离散参数计算为其注意力分值的计算方式为 分别表示“索引”、“键”和“值”的变换矩阵；和分别表示权重矩阵和线性变换矩阵；
所述的计算方式如下，
其中表示动态更新部分，其第a行b列的元素算式为 其中表示第m头图注意力的注意力分值，计算方式如下：
其中和分别表示特征矩阵的第a行和第b行,表示相应的第m头注意力权重向量；
所述输出全连接层输出的预测结果为：
其中和分别表示所述输出全连接层的变换矩阵和偏移；
S4、利用S1中得到的流量统计数据对所述的图离散注意力网络模型进行训练，得到交通监测点及路网的流量预测模型，用于进行实际的交通流预测。
2.如权利要求1所述的基于图离散注意力网络的交通流预测方法，其特征在于，所述S1中，传感器采集的结构化交通流数据包括传感器的位置信息、车辆经过时间、车牌号和车辆驾驶方向。
3.如权利要求1所述的基于图离散注意力网络的交通流预测方法，其特征在于，所述S1中，传感器采集的结构化交通流数据通过linux shell脚本及python科学计算工具软件进行统计处理。
4.如权利要求2所述的基于图离散注意力网络的交通流预测方法，其特征在于，所述S1中，若结构化交通流数据存在多个车辆驾驶方向的数据，则先以车辆驾驶方向为维度对数据进行提取，然后将每一种车辆驾驶方向的数据分别进行分组和排序形成的流量统计数据，每一种车辆驾驶方向对应形成的流量统计数据仅用于训练该车辆驾驶方向的图离散注意力网络模型。
5.如权利要求1所述的基于图离散注意力网络的交通流预测方法，其特征在于，所述S4中，利用S1中得到的流量统计数据作为训练数据，以最小化目标函数为优化目标，对所述的图离散注意力网络模型进行参数更新，最终训练得到道路流量预测模型。
6.如权利要求5所述的基于图离散注意力网络的交通流预测方法，其特征在于，所述目标函数为均值绝对误差函数。
7.一种计算机可读存储介质，其特征在于，所述存储介质上存储有计算机程序，当所述计算机程序被处理器执行时，能实现如权利要求1～6任一所述的基于图离散注意力网络的交通流预测方法。
8.一种基于图离散注意力网络的道路交通流预测设备，其特征在于，包括存储器和处理器；
所述存储器，用于存储计算机程序；
所述处理器，用于当执行所述计算机程序时，实现如权利要求1～6任一所述的基于图离散注意力网络的交通流预测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210234138.2A CN114582128B (zh) | 2022-03-10 | 2022-03-10 | 基于图离散注意力网络的交通流预测方法、介质及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210234138.2A CN114582128B (zh) | 2022-03-10 | 2022-03-10 | 基于图离散注意力网络的交通流预测方法、介质及设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114582128A CN114582128A (zh) | 2022-06-03 |
| CN114582128B true CN114582128B (zh) | 2023-08-04 |
Family
ID=81780156
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210234138.2A Active CN114582128B (zh) | 2022-03-10 | 2022-03-10 | 基于图离散注意力网络的交通流预测方法、介质及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114582128B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114973678B (zh) * | 2022-06-08 | 2024-04-09 | 广州航海学院 | 一种基于图注意力神经网络和时空大数据的交通预测方法 |
| CN115620512B (zh) * | 2022-09-20 | 2024-07-02 | 鹏城实验室 | 基于知识图谱的交通量预测方法、装置、终端及存储介质 |
| CN118280113B (zh) * | 2024-04-10 | 2024-09-17 | 青岛大学 | 面向高速公路车流量预测的离散数据处理方法及系统 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112071062A (zh) * | 2020-09-14 | 2020-12-11 | 山东理工大学 | 一种基于图卷积网络和图注意力网络的行车时间估计方法 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110751261B (zh) * | 2018-07-23 | 2024-05-28 | 第四范式（北京）技术有限公司 | 神经网络模型的训练方法和系统以及预测方法和系统 |
| US10940863B2 (en) * | 2018-11-01 | 2021-03-09 | GM Global Technology Operations LLC | Spatial and temporal attention-based deep reinforcement learning of hierarchical lane-change policies for controlling an autonomous vehicle |
| CN111899510B (zh) * | 2020-07-28 | 2021-08-20 | 南京工程学院 | 基于发散卷积和gat的智能交通系统流量短期预测方法及系统 |
| CN112216101B (zh) * | 2020-09-08 | 2021-08-24 | 吉林大学 | 一种基于弹性学习框架的交通预测方法及系统 |
| CN113487088B (zh) * | 2021-07-06 | 2024-09-13 | 哈尔滨工业大学（深圳） | 基于动态时空图卷积注意力模型的交通预测方法及装置 |
| CN113591380B (zh) * | 2021-07-28 | 2022-03-22 | 浙江大学 | 基于图高斯过程的交通流预测方法、介质及设备 |
| CN113762338B (zh) * | 2021-07-30 | 2023-08-25 | 湖南大学 | 一种基于多重图注意力机制的交通流预测方法、设备及介质 |
| CN113673769B (zh) * | 2021-08-24 | 2024-02-02 | 北京航空航天大学 | 基于多元时间序列插补的图神经网络交通流预测方法 |
| CN114091772B (zh) * | 2021-11-26 | 2024-08-23 | 东北大学 | 基于编码器解码器的多角度融合道路交通流量预测方法 |
| CN114038200B (zh) * | 2021-11-29 | 2022-09-20 | 东北大学 | 基于注意力机制的时空同步图卷积网络交通流量预测方法 |
-
2022
- 2022-03-10 CN CN202210234138.2A patent/CN114582128B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112071062A (zh) * | 2020-09-14 | 2020-12-11 | 山东理工大学 | 一种基于图卷积网络和图注意力网络的行车时间估计方法 |
Non-Patent Citations (1)
| Title |
|---|
| 一种基于序列到序列时空注意力学习的交通流预测模型;杜圣东;李天瑞;杨燕;王浩;谢鹏;洪西进;;计算机研究与发展(第08期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114582128A (zh) | 2022-06-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114582128B (zh) | 基于图离散注意力网络的交通流预测方法、介质及设备 | |
| CN111161535B (zh) | 基于注意力机制的图神经网络交通流量预测方法及系统 | |
| CN113591380B (zh) | 基于图高斯过程的交通流预测方法、介质及设备 | |
| CN110570651A (zh) | 一种基于深度学习的路网交通态势预测方法及系统 | |
| CN113034913A (zh) | 交通拥堵预测方法、装置、设备及存储介质 | |
| CN105354273A (zh) | 一种快速检索高速公路逃费车辆高相似度图像的方法 | |
| CN108986453A (zh) | 一种基于情境信息的交通状况预测方法、系统及装置 | |
| US20230140289A1 (en) | Traffic accident prediction systems and methods | |
| CN113222316A (zh) | 一种基于flus模型和生物多样性模型的变化情景模拟方法 | |
| CN116504060B (zh) | 基于Transformer的扩散图注意力网络交通流预测方法 | |
| CN116011684A (zh) | 一种基于时空图卷积网络的交通流量预测方法 | |
| CN111815075B (zh) | 一种重大公共卫生事件下交通出行需求的预测方法 | |
| CN114565187A (zh) | 一种基于图时空自编码网络的交通路网数据预测方法 | |
| CN115713174A (zh) | 一种无人机城市巡检系统及方法 | |
| Wei et al. | Typhoon quantitative rainfall prediction from big data analytics by using the Apache hadoop spark parallel computing framework | |
| CN106781457A (zh) | 一种基于多源融合数据的高速公路交通流参数修正方法 | |
| CN112201036B (zh) | 一种基于Inception-CNN的城市快速路行程速度短时预测方法 | |
| Shen et al. | Study on Traffic Accident Forecast of Urban Excess Tunnel Considering Missing Data Filling | |
| CN111985731B (zh) | 城市公共交通站点人数的预测方法及系统 | |
| CN113408663A (zh) | 融合模型构建方法、融合模型使用方法、装置和电子设备 | |
| Kantavat et al. | Transportation mobility factor extraction using image recognition techniques | |
| Lee et al. | Real-time vehicle license plate recognition based on 1-d discrete periodic wavelet transform | |
| CN115909717A (zh) | 一种基于深度学习的高速公路短时交通流预测方法 | |
| CN109063735A (zh) | 一种基于昆虫生物学参数的昆虫分类方案设计方法 | |
| CN114519402A (zh) | 一种基于神经网络模型的柑橘病虫害检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |