CN113345236A - 一种基于Transformer网络的时空交通状态预测方法 - Google Patents
一种基于Transformer网络的时空交通状态预测方法 Download PDFInfo
- Publication number
- CN113345236A CN113345236A CN202110654675.8A CN202110654675A CN113345236A CN 113345236 A CN113345236 A CN 113345236A CN 202110654675 A CN202110654675 A CN 202110654675A CN 113345236 A CN113345236 A CN 113345236A
- Authority
- CN
- China
- Prior art keywords
- traffic
- data
- global
- local
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 76
- 238000000605 extraction Methods 0.000 claims abstract description 24
- 230000004927 fusion Effects 0.000 claims abstract description 18
- 238000013528 artificial neural network Methods 0.000 claims description 38
- 239000011159 matrix material Substances 0.000 claims description 18
- 238000012545 processing Methods 0.000 claims description 17
- 230000006870 function Effects 0.000 claims description 16
- 238000004364 calculation method Methods 0.000 claims description 8
- 230000007246 mechanism Effects 0.000 claims description 3
- 230000015654 memory Effects 0.000 claims description 3
- 230000004913 activation Effects 0.000 claims description 2
- 230000008859 change Effects 0.000 claims description 2
- RXKJFZQQPQGTFL-UHFFFAOYSA-N dihydroxyacetone Chemical compound OCC(=O)CO RXKJFZQQPQGTFL-UHFFFAOYSA-N 0.000 claims description 2
- 238000013507 mapping Methods 0.000 claims description 2
- 238000003062 neural network model Methods 0.000 claims description 2
- 230000008569 process Effects 0.000 claims description 2
- 239000000126 substance Substances 0.000 claims description 2
- 230000000873 masking effect Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 9
- 238000012549 training Methods 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000007787 long-term memory Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 230000029305 taxis Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
- G08G1/0125—Traffic data processing
- G08G1/0129—Traffic data processing for creating historical data or processing based on historical data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
- G08G1/0125—Traffic data processing
- G08G1/0133—Traffic data processing for classifying traffic situation
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Analytical Chemistry (AREA)
- Theoretical Computer Science (AREA)
- Chemical & Material Sciences (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明公开了一种基于Transformer网络的时空交通状态预测方法，包括数据编码嵌入、全局空间特征提取、局部空间特征信息提取、全局‑局部特征融合以及单步交通状态预测。该方法充分考虑到了交通状态在空间上依赖关系的动态性，并层次化的进行分步的特征提取与建模，使得该方法的预测更精确；该方法提取的动态交通空间依赖关系能够显式表达，具有可解释性，可以为交通规划提供参考；且该方法能够纯数据驱动地提取和构建交通网络的全局空间特征，在缺少交通网络空间特征数据的情况下依然得到较好的预测结果，具有可靠性。因此，该方法对交通状态预测更精确、更可靠，具有可解释性，对数据的要求更低，更适合推广应用。
Description
技术领域
本发明涉及公共交通信息处理技术领域，更具体的说是涉及一种基于Transformer网络的时空交通状态预测方法。
背景技术
目前，随着经济的不断发展以及城镇化的不断推进，城市内的汽车保有量进一步提升，使得原有城市道路上的车流量超出了预先设计的道路交通量，从而导致交通拥堵现象越来越严重，使得城市内部的交通运输效率下降，服务水平下降。时空交通状态预测，能够为相关部门提前进行拥堵现象的管理和控制提供依据；并且时空交通状态预测还能够揭示和反应交通网络设计中的关键点与不足，为交通规划提供参考；此外，时空交通状态预测还是多个智能交通系统(ITS)应用的基石。因此，准确、可靠的时空交通状态预测对于交通管理、交通规划以及智能交通系统都是不可或缺的一个关键环节。
然而，现有的时空交通状态预测方法存在着以下不足：(1)利用栅格化技术转化交通状态的方法，丢失了大量的信息，在同一栅格内的交通状态完全无法分析；(2)基于图神经网络的方法，太过依赖邻接矩阵，从而忽视了交通状态空间关系的动态性和层次性，且必须依赖邻接矩阵，使得这类方法必须费时费力的构建邻接矩阵。由于以上不足，使得这些预测方法不够准确和可靠。
因此，如何提供一种准确、可靠的时空交通态势预测方法是本领域技术人员亟需解决的问题。
发明内容
有鉴于此，本发明提供了一种基于Transformer网络的时空交通状态预测方法，该方法通过对数据进行编码嵌入，分别进行全局空间特征提取与局部空间特征信息提取，并进行全局-局部的特征融合，最终实现单步的时空交通状态预测。解决了现有的交通状态预测方法准确度、可靠度不高的问题，并具有解释性，能够揭示现有交通系统的空间关系，为城市交通分析与规划提供依据。
为了实现上述目的，本发明采用如下技术方案：
一方面，本发明提供了一种基于Transformer网络的时空交通状态预测方法，该方法包括：
数据编码嵌入：获取交通网络的状态数据，并对所述交通网络状态数据进行处理，编码和嵌入后得到向量化数据；
全局空间特征提取：根据所述的向量化交通网络状态数据，提取交通网络中不同空间位置之间的全局关联关系特征；
局部空间特征信息提取：根据所述的向量化交通网络状态数据，结合已有的邻接矩阵信息，提取交通网络中限定范围的空间位置之间的局部关联关系特征；
全局-局部特征融合：根据所述的全局空间特征和局部空间特征，融合两部分提取到的特征，实现全局-局部特征的加权融合；
单步交通状态预测：根据所述的全局-局部特征，单步地一次预测多个未来时刻的时空交通网络状态。
进一步地，所述数据编码嵌入的步骤中，对所述交通网络状态数据进行编码嵌入的过程，具体包括：
步骤1：将交通网络的状态数据处理为时空交通状态预测问题的定义的形式。时空交通状态可以自然的被表示为时空图的形式，网络层面的时空交通网络状态预测可以看作通过靠前的若干个时间的时空图状态，预测靠后的若干个时间的时空图状态。
所述时空图可以表示为：
其中，
代表了N个节点组成的集合，这些节点通常表示了交通系统中提前设置的检测器；ε代表了连通这些节点的边所组成的集合，且AN×N表示了这些边所构成的邻接矩阵；在T个间隔为Δt的离散时间步内的交通状态的变化可由特征张量X表示；时间步t时节点i的特征向量表示为
其中
代表实数域，C代表了C个不同的交通状态特征，例如速度、流量和密度。
所述通过靠前的若干个时间的时空图状态，预测靠后的若干个时间的时空图状态可以表示为：
其中，Xm×N×C代表了时空图
中，靠前的m个时间步的特征张量，代表了模型的输入；Xn×N×C，代表了时空图
中，靠后的n个时间步的特征张量，代表了模型的输出。
步骤2：将所述交通网络状态数据按照时间维度提取特征，进行时间维度上的嵌入；
该步骤通过循环神经网络的方式，具体而言是长短期记忆神经网络，将交通网络状态数据视为按照时间轴排布的序列进行处理，得到交通网络状态数据的时间维度数据嵌入；
所述长短期记忆神经网络可表示为：
ft＝σ(Wf(ht-1，xt)+bf)
it＝σ(Wi(ht-1，xt)+bi)
ot＝σ(Wo(ht-1，xt)+bo)
ht＝ot*tanh(Ct)
其中，ft代表了长短期记忆神经网络的遗忘门；it、
表示了输入门；Ct表示了细胞状态；ot表示了输出门；ht表示了隐藏状态；以上符号中，t代表了对应的第t步顺序编号；σ为Sigmoid激活函数；W和b分别表示了对应层的权重参数和偏置。每一个时间步骤的输入都会被嵌入到一个隐藏状态{h1，h2，...，ht-1，ht}中，仅最后一个隐藏状态ht会被选择使用。
步骤3：将所述进行时间维度嵌入后的数据，重新按照空间维度排布为按照固定顺序排列的序列，进行位置上的编码和嵌入；
该步骤可分为以下两个部分：(1)位置编码；(2)位置嵌入。
其中，位置编码表示为函数PE(pos，2i)和PE(pos，2i+1)：
其中，pos代表了序列中的位置；i代表了向量的维度；dmodel代表了向量总的维度数。
其中，位置嵌入可表示为：
其中，N代表了序列的总长度；
代表了可学习的参数矩阵。
进一步地，所述全局空间特征提取步骤，具体包括：
步骤1：基于所述编码嵌入后的数据，通过多头注意力方法，数据驱动地获取空间维度上，两两节点之间的空间特征，并进行加权平均；
所述多头注意力方法可以表示为：
MultiHead(Q，K，V)＝Concat(head1，...，headh)WO
其中，X代表了输入的特征张量，Wq，Wk，Wv各自代表了不同的可学习的前馈神经网络的参数矩阵；dk代表了张量K的维度；
各自代表了不同的可学习的参数；softmax表示了softmax函数；Concat表示了张量的拼接操作。此外，为了维持梯度稳定，多头注意力方法还应用了残差链接和层正则化操作；
所述残差链接可以表示为函数Res(x；f(x))：
Res(x；f(x))＝f(x)+x
其中，f(x)表示任意映射关系，x代表了输入张量。
所述层正则化可以表示为函数LayerNorm(x)：
其中，E[x]和Var[x]分别表示x的数学期望与方差；γ、β分表表示了可学习的参数；∈表示了预先设置的一个较小的参数，用于避免分母为零，x代表了输入张量。
步骤2：对所述多头注意力机制的输出，使用全连接神经网络进一步处理，进一步提升神经网络模型对于非线性关系的拟合能力；
所述全连接神经网络可以表示为函数FFN(x)：
FFN(x)＝ReLU(xW1)W2
其中，W1，W2代表了可学习的参数矩阵；ReLU代表了线性整流(ReLuctant)函数，x代表了输入张量。
该全局空间特征提取步骤中，输入的向量化交通网络状态数据首先由多头注意力进行处理；经多头注意力处理后的数据与向量化交通网络状态数据进行加和，以实现上述残差链接操作；之后，残差连接操作后的输出作为所述层正则化操作的输入，计算得到步骤1的最终输出。步骤2中，步骤1的最终输出作为步骤2的输入，输入数据首先由全连接神经网络进行处理；经全连接神经网络处理后的数据与步骤2的输入数据进行加和，以实现上述残差链接操作；之后，残差连接操作后的输出作为所述层正则化操作的输入，计算得到步骤2的最终输出，即所述全局空间特征提取步骤的最终输出。
进一步地，所述局部空间特征信息提取步骤，具体包括：
基于所述编码嵌入后的数据，通过带蒙版的多头注意力方法，数据驱动地获取局部的空间维度上，两两节点之间的空间特征，并进行加权平均；
所述的带蒙版的多头注意力方法可以表示为：
其中，A表示预先定义的邻接矩阵；则M代表了K跳邻接矩阵；其余部分与所述全局空间特征提取步骤中多头注意力方法相同，即：该局部空间特征信息提取步骤中，输入的向量化交通网络状态数据首先由带蒙版的多头注意力进行处理；经带蒙版的多头注意力处理后的数据与原始输入的向量化交通网络状态数据进行加和，以实现上述残差链接操作；之后，残差连接操作后的输出作为所述层正则化操作的输入，计算得到所述局部空间特征信息提取步骤的最终输出。
进一步地，所述全局-局部特征融合步骤，具体包括：
步骤1：基于所述全局空间特征信息和局部空间特征信息，通过多头注意力方法，将全局与局部空间特征信息进行加权平均；
所述多头注意力方法可以表示为：
MultiHead(Qlocal，Kglobal，Vglobal)＝Concat(head1，...，headh)WO
其中Qlocal代表了所述局部空间特征信息；Kglobal，Vglobal代表了所述全局空间特征信息；其余部分与上文所述全局空间特征提取步骤中多头注意力方法相同。
步骤2：对所述多头注意力机制的输出，使用全连接神经网络进一步处理；与所述全局空间特征提取步骤中所述全连接神经网络保持一致，即：该全局-局部特征融合步骤中，输入数据包括了局部空间特征信息、全局空间特征信息。两者输入数据首先按步骤1所述多头注意力方法进行处理；经多头注意力处理后的数据与原始输入数据中局部空间特征信息进行加和，以实现上述残差链接操作；之后，残差连接操作后的输出作为所述层正则化操作的输入，计算得到步骤1的最终输出。步骤2中，步骤1的最终输出作为步骤2的输入，输入数据首先由全连接神经网络进行处理；经全连接神经网络处理后的数据与步骤2输入数据进行加和，以实现上述残差链接操作；之后，残差连接操作后的输出作为所述层正则化操作的输入，计算得到步骤2的最终输出，即所述全局-局部特征融合步骤的最终输出。
进一步地，所述单步交通状态预测步骤，具体包括：
根据上文所述全局-局部融合特征，通过线性全连接神经网络，一次预测多个未来时间的交通状态。
所述线性全连接神经网络可以表示为函数LFFN(x)：
LFFN(x)＝xW1
其中，W1表示可学习的线性全连接神经网络参数，x代表输入张量。
经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种基于Transformer网络的时空交通状态预测方法，该方法充分考虑到了交通状态在空间上依赖关系的动态性，并层次化的进行分步的特征提取与建模，使得该方法的预测更精确；该方法提取的动态交通空间依赖关系能够显式表达，具有可解释性，可以为交通规划提供参考；且该方法能够纯数据驱动地提取和构建交通网络的全局空间特征，在缺少交通网络空间特征数据的情况下依然得到较好的预测结果，具有可靠性。因此，该方法对交通状态预测更精确、更可靠，具有可解释性，对数据的要求更低，更适合推广应用。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明提供的一种基于Transformer网络的时空交通状态预测方法的流程示意图；
图2为本发明实施例中基于Transformer网络的时空交通状态预测方法具体实现流程示意图；
图3为本发明实施例中基于Transformer网络的时空交通状态预测方法中交通网络的示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
一方面，参见附图1，本发明实施例公开了一种基于Transformer网络的时空交通状态预测方法，包括：
S1：数据编码嵌入：获取交通网络的状态数据，并对交通网络状态数据进行处理，编码和嵌入后得到向量化交通网络状态数据；
S2：全局空间特征提取：根据向量化交通网络状态数据，提取交通网络中不同空间位置之间的全局关联关系特征；
S3：局部空间特征信息提取：根据向量化交通网络状态数据，结合已有的邻接矩阵信息，提取交通网络中限定范围的空间位置之间的局部关联关系特征；
S4：全局-局部特征融合：根据全局空间特征和局部空间特征，融合两部分提取到的特征，实现全局-局部特征的加权融合；
S5：单步交通状态预测：根据全局-局部特征，单步地一次预测多个未来时刻的时空交通网络状态。
下面以北京市作为预测范围，通过具体的实例并结合附图2，对上述方法进行具体说明。
本实施例提取2015年6月1日到2015年8月31日，基于北京市约10000辆匿名出租车的移动定位，数据处理后得到的北京市路网速度数据作为范例。
时空交通网络状态预测主要包括以下几步：
1、数据预处理
数据预处理主要分为以下两个部分：(1)划定研究范围并筛选数据；(2)将数据转化为时空图定义形式。第一部分主要目的是从原先过于庞大的整体数据中拆分出感兴趣的研究范围内的数据。本实例选择研究北京市二环的时空交通状态，因此，对于与北京市二环道路直线距离大于50m的数据点的数据不在研究范围内，均予以去除。第二部分将数据转化为时空图定义形式，主要目的是将原始数据转化为定义的张量形式用于神经网络的训练，本实施例中将时间片大小设置为5分钟，输入的时间范围为60分钟，即12个时间片；输出的时间范围同样为60分钟，即12个时间片。并根据地理位置上的上下游关系与距离生成邻接矩阵A。最终，数据转化为时空图标准定义形式：
其中，236是因为本实施例中选取的二环范围共包含了236个不同的节点。
2.搭建神经网络并进行训练。
本实施例通过神经网络的方法，实现图1中S1～S5步骤。更具体的神经网络的结构如图2所示。其中，具体的参数设置如下：
此外，预处理后的数据按照时间顺序进行排序，前70％的数据用于训练神经网络；70％～80％的数据用于验证神经网络训练有效性；后20％的数据用于测试最终神经网络的性能。
本实施例采用三种评价指标，评估时空交通状态预测的效果好坏：(1)均绝对误差(MAE)；(2)均绝对百分比误差(MAPE)；(3)均标准误差(RMSE)均绝对误差、均绝对百分比误差、均标准误差可分别表示为：
其中，vt，k、
分别代表了时间步t时节点k的速度真实值和预测值。
选取短期(15分钟)、中期(30分钟)、长期(60分钟)的预测结果分别计算三种评价指标，可以得到结果：
可以看出，本方法的预测在多个评价指标、多个维度的预测都表现出了准确、可靠的特点。
综上所述，本发明实施例公开的上述基于Transformer网络的时空交通状态预测方法中，方法功能核心是通过Transformer网络，实现全局空间特征提取、局部空间特征提取以及全局-局部特征融合。对此首先要获取交通网络的状态数据，并对所述交通网络状态数据进行处理，编码和嵌入后得到向量化数据。本实施例通过Transformer网络结构及其多头注意力方法，分别提取了全局空间特征提取、局部空间特征提取，并进行了全局与局部特征融合。最终通过线性神经网络单步预测结果。
本发明实施例提供的基于Transformer网络的时空交通状态预测方法，与现有技术相比，具有如下的优点：
1、该方法充分考虑到了交通状态在空间上依赖关系的动态性，并层次化的进行分步的特征提取与建模，使得该方法的预测更精确，具有准确性；
2、该方法提取的动态交通空间依赖关系能够显式表达，可以为交通规划提供参考，具有可解释性；
3、该方法能够纯数据驱动地提取和构建交通网络的全局空间特征，在缺少交通网络空间特征数据的情况下依然得到较好的预测结果，具有可靠性；
4、该方法对于不同的时空交通状态特征(如速度、流量)，以及不同的交通网络系统(如道路网、轨道网)均可以适用，具有可推广性；
5、该方法的神经网络框架具有框架性和模块化的特点，可以根据实际情况增减模块，以及与其他应用连接，具有可拓展性。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种基于Transformer网络的时空交通状态预测方法，其特征在于，包括：
数据编码嵌入：获取交通网络的状态数据，并对交通网络状态数据进行处理，编码和嵌入后得到向量化交通网络状态数据；
全局空间特征提取：根据所述的向量化交通网络状态数据，提取交通网络中不同空间位置之间的全局关联关系特征；
局部空间特征信息提取：根据所述的向量化交通网络状态数据，结合已有的邻接矩阵信息，提取交通网络中限定范围的空间位置之间的局部关联关系特征；
全局-局部特征融合：根据所述的全局空间特征和局部空间特征，融合两部分提取到的特征，实现全局-局部特征的加权融合；
单步交通状态预测：根据所述的全局-局部特征，单步地一次预测多个未来时刻的时空交通网络状态。
2.根据权利要求1所述的一种基于Transformer网络的时空交通状态预测方法，其特征在于，所述数据编码嵌入的步骤中，对所述交通网络状态数据进行处理的过程，具体包括：
将交通网络状态数据处理为时空交通状态预测问题的定义形式；
将交通网络状态数据按照时间维度提取特征，进行时间维度嵌入；
进行时间维度嵌入后的数据，重新按照空间维度排布为按照固定顺序排列的序列，进行位置上的编码嵌入。
3.根据权利要求2所述的一种基于Transformer网络的时空交通状态预测方法，其特征在于，所述时空交通状态预测问题的定义为张量形式的时空图：
其中，
代表N个节点组成的集合，这些节点表示交通系统中提前设置的检测器；ε代表连通节点的边所组成的集合，且AN×N表示边所构成的邻接矩阵；在T个间隔为Δt的离散时间步内的交通状态的变化由特征张量X表示；时间步t时节点i的特征向量表示为
其中
代表实数域；C代表C个不同的交通状态特征，包括速度、流量和密度。
4.根据权利要求2所述的一种基于Transformer网络的时空交通状态预测方法，其特征在于，所述时间维度嵌入方法可表示为：
ft＝σ(Wf(ht-1，xt)+bf)
it＝σ(Wi(ht-1，xt)+bi)
ot＝σ(Wo(ht-1，xt)+bo)
ht＝ot*tanh(Ct)
其中，ft代表长短期记忆神经网络的遗忘门；it、
表示输入门；Ct表示细胞状态；ot表示输出门；ht表示隐藏状态；以上符号中，t代表了对应的第t步顺序编号，σ为Sigmoid激活函数；W和b分别表示对应层的权重参数和偏置；每一个时间步骤的输入都会被嵌入到一个隐藏状态{h1，h2，...，ht-1，ht}中，仅最后一个隐藏状态ht会被选择使用。
5.根据权利要求2所述的一种基于Transformer网络的时空交通状态预测方法，其特征在于，所述位置上的编码嵌入包括位置编码和位置嵌入。
其中，位置编码表示为函数PE(pos，2i)和PE(pos，2i+1)：
其中，pos代表序列中的位置；i代表向量的维度；dmodel代表向量总的维度数；
其中，位置嵌入表示为：
其中，N代表序列的总长度；
代表可学习的参数矩阵。
6.根据权利要求1所述的一种基于Transformer网络的时空交通状态预测方法，其特征在于，所述全局空间特征提取的步骤中，具体包括：
基于所述的向量化交通网络状态数据，通过多头注意力方法，数据驱动地获取全局空间维度上，两两节点之间的空间特征，并进行加权平均；
所述多头注意力方法公式为：
MultiHead(Q，K，V)＝Concat(head1，...，headh)WO
其中，X代表输入的特征张量，Wq，Wk，Wv各自代表不同的可学习的前馈神经网络的参数矩阵；dk代表张量K的维度；
各自代表不同的可学习的参数；softmax表示softmax函数；Concat表示张量的拼接操作；
多头注意力方法应用了残差链接和层正则化操作；
所述残差链接表示为函数Res(x；f(x))：
Res(x；f(x))＝f(x)+x
其中，f(x)表示任意映射关系，x代表输入张量；
所述层正则化表示为函数LayerNorm(x)：
其中，E[x]和Var[x]分别表示x的数学期望与方差；γ、β分别表示可学习的参数；∈表示预先设置的一个较小的参数，用于避免分母为零；x代表输入张量。
所述多头注意力机制的输出，利用全连接神经网络进一步处理，进一步提升神经网络模型对于非线性关系的拟合能力；
全局空间特征提取步骤具体流程为：输入的所述向量化交通网络状态数据首先由多头注意力进行处理；经多头注意力处理后的数据与所述向量化交通网络状态数据进行加和，以实现上述残差链接操作；残差连接操作后的输出作为所述层正则化操作的输入，计算得到正则化后的输出；正则化的输出作为输入，输入数据首先由全连接神经网络进行处理；经全连接神经网络处理后的数据与上述正则化输出数据进行加和，以实现上述残差链接操作；残差连接操作后的输出作为该层正则化操作的输入，计算得到所述全局空间特征提取步骤的最终输出。
7.根据权利要求6所述的一种基于Transformer网络的时空交通状态预测方法，其特征在于，所述全连接神经网络公式为函数FFN(x)：
FFN(x)＝ReLU(xW1)W2
其中，W1，W2代表可学习的参数矩阵；ReLU代表线性整流(ReLuctant)函数，x代表输入张量。
8.根据权利要求1所述的一种基于Transformer网络的时空交通状态预测方法，其特征在于，所述局部空间特征提取的步骤中，具体包括：
基于所述编码嵌入后的数据，通过带蒙版的多头注意力方法，数据驱动地获取局部空间维度上，两两节点之间的空间特征，并进行加权平均；
所述带蒙版的多头注意力方法公式为：
其中，A表示预先定义的邻接矩阵；则M代表K跳邻接矩阵；
局部空间特征信息提取具体步骤为：输入的所述向量化交通网络状态数据首先由带蒙版的多头注意力进行处理；经带蒙版的多头注意力处理后的数据与输入的所述向量化交通网络状态数据进行加和，以实现上述残差链接操作；之后，残差连接操作后的输出作为所述层正则化操作的输入，计算得到所述局部空间特征信息提取步骤的最终输出。
9.根据权利要求7所述的一种基于Transformer网络的时空交通状态预测方法，其特征在于，所述全局-局部特征融合的步骤中，具体包括：
基于所述全局空间特征信息和局部空间特征信息，通过多头注意力方法，将全局与局部空间特征信息进行加权平均：
MultiHead(Qlocal，Kglobal，Vglobal)＝Concat(head1，...，headh)WO
其中Qlocal代表所述局部空间特征信息；Kglobal，Vglobal代表所述全局空间特征信息；
该全局-局部特征融合步骤具体步骤为：输入数据包括了局部空间特征信息、全局空间特征信息，两者输入数据首先按所述多头注意力方法进行处理；经多头注意力处理后的数据与原始输入数据中的局部空间特征信息进行加和，以实现上述残差链接操作；残差连接操作后的输出作为层正则化操作的输入，计算得到正则化后的输出；正则化的输出作为输入，输入数据首先由所述全连接神经网络进行处理；经全连接神经网络处理后的数据与上述正则化的输出数据进行加和，以实现上述残差链接操作；残差连接操作后的输出作为层正则化操作的输入，计算得到所述全局-局部特征融合步骤的最终输出。
10.根据权利要求1所述的一种基于Transformer网络的时空交通状态预测方法，其特征在于，所述单步交通状态预测的步骤中，具体包括：
根据全局-局部融合特征，通过线性全连接神经网络，一次预测多个未来时间的交通状态，
所述线性全连接神经网络公式表示为函数LFFN(x)：
LFFN(x)＝xW1
其中，W1表示可学习的线性全连接神经网络参数，x代表输入张量。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110654675.8A CN113345236A (zh) | 2021-06-11 | 2021-06-11 | 一种基于Transformer网络的时空交通状态预测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110654675.8A CN113345236A (zh) | 2021-06-11 | 2021-06-11 | 一种基于Transformer网络的时空交通状态预测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113345236A true CN113345236A (zh) | 2021-09-03 |
Family
ID=77477082
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110654675.8A Pending CN113345236A (zh) | 2021-06-11 | 2021-06-11 | 一种基于Transformer网络的时空交通状态预测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113345236A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114004428A (zh) * | 2022-01-04 | 2022-02-01 | 中科曙光南京研究院有限公司 | 一种基于蜂窝网格集成机制与时空Transformer的渔情预测方法及系统 |
| CN115240424A (zh) * | 2022-07-26 | 2022-10-25 | 石河子大学 | 基于数据驱动的多视图流量预测方法及系统 |
| CN116824868A (zh) * | 2023-08-30 | 2023-09-29 | 国交空间信息技术（北京）有限公司 | 车辆非法停驻点识别及拥堵预测方法、装置、设备及介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111160650A (zh) * | 2019-12-31 | 2020-05-15 | 杭州电子科技大学 | 一种基于Adaboost算法的交通流特性分析与预测方法 |
| CN111161535A (zh) * | 2019-12-23 | 2020-05-15 | 山东大学 | 基于注意力机制的图神经网络交通流量预测方法及系统 |
| CN111243269A (zh) * | 2019-12-10 | 2020-06-05 | 福州市联创智云信息科技有限公司 | 基于融合时空特征的深度网络的交通流预测方法 |
| CN111639787A (zh) * | 2020-04-28 | 2020-09-08 | 北京工商大学 | 一种基于图卷积网络的时空数据预测方法 |
| CN112071065A (zh) * | 2020-09-16 | 2020-12-11 | 山东理工大学 | 一种基于全局扩散卷积残差网络的交通流预测方法 |
| CN112801404A (zh) * | 2021-02-14 | 2021-05-14 | 北京工业大学 | 一种基于自适应空间自注意力图卷积的交通预测方法 |
-
2021
- 2021-06-11 CN CN202110654675.8A patent/CN113345236A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111243269A (zh) * | 2019-12-10 | 2020-06-05 | 福州市联创智云信息科技有限公司 | 基于融合时空特征的深度网络的交通流预测方法 |
| CN111161535A (zh) * | 2019-12-23 | 2020-05-15 | 山东大学 | 基于注意力机制的图神经网络交通流量预测方法及系统 |
| CN111160650A (zh) * | 2019-12-31 | 2020-05-15 | 杭州电子科技大学 | 一种基于Adaboost算法的交通流特性分析与预测方法 |
| CN111639787A (zh) * | 2020-04-28 | 2020-09-08 | 北京工商大学 | 一种基于图卷积网络的时空数据预测方法 |
| CN112071065A (zh) * | 2020-09-16 | 2020-12-11 | 山东理工大学 | 一种基于全局扩散卷积残差网络的交通流预测方法 |
| CN112801404A (zh) * | 2021-02-14 | 2021-05-14 | 北京工业大学 | 一种基于自适应空间自注意力图卷积的交通预测方法 |
Non-Patent Citations (1)
| Title |
|---|
| HAOYANG YAN 等: "Learning Dynamic and Hierarchical Traffic Spatiotemporal Features with Transformer", 《HTTPS://ARXIV.ORG/》 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114004428A (zh) * | 2022-01-04 | 2022-02-01 | 中科曙光南京研究院有限公司 | 一种基于蜂窝网格集成机制与时空Transformer的渔情预测方法及系统 |
| CN115240424A (zh) * | 2022-07-26 | 2022-10-25 | 石河子大学 | 基于数据驱动的多视图流量预测方法及系统 |
| CN116824868A (zh) * | 2023-08-30 | 2023-09-29 | 国交空间信息技术（北京）有限公司 | 车辆非法停驻点识别及拥堵预测方法、装置、设备及介质 |
| CN116824868B (zh) * | 2023-08-30 | 2023-11-24 | 国交空间信息技术（北京）有限公司 | 车辆非法停驻点识别及拥堵预测方法、装置、设备及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109658695B (zh) | 一种多因素的短时交通流预测方法 | |
| Zheng et al. | Gman: A graph multi-attention network for traffic prediction | |
| CN113487066B (zh) | 基于多属性增强图卷积-Informer模型的长时序货运量预测方法 | |
| CN109887282B (zh) | 一种基于层级时序图卷积网络的路网交通流预测方法 | |
| CN111798051B (zh) | 基于长短期记忆神经网络的空气质量时空预测方法 | |
| CN113345236A (zh) | 一种基于Transformer网络的时空交通状态预测方法 | |
| CN109063908B (zh) | 一种基于深度多任务学习的城市aqi预测与空间细粒度aqi等级估计方法 | |
| Li et al. | Spatiotemporal attention-based graph convolution network for segment-level traffic prediction | |
| CN113516304B (zh) | 基于时空图网络的区域污染物时空联合预测方法及装置 | |
| CN113610286B (zh) | 顾及时空相关性和气象因素的pm2.5浓度预测方法及装置 | |
| CN116721537A (zh) | 基于gcn-ipso-lstm组合模型的城市短时交通流预测方法 | |
| CN112232543A (zh) | 一种基于图卷积网络的多站点预测方法 | |
| CN114692984A (zh) | 基于多步耦合图卷积网络的交通预测方法 | |
| Ai et al. | A deep learning approach to predict the spatial and temporal distribution of flight delay in network | |
| CN114973678B (zh) | 一种基于图注意力神经网络和时空大数据的交通预测方法 | |
| CN116092294A (zh) | 一种基于Transformer与图注意力网络的高速公路交通流量预测方法 | |
| CN116612645A (zh) | 一种高速公路服务区车流量预测方法 | |
| CN115204477A (zh) | 一种上下文感知图递归网络的自行车流量预测方法 | |
| CN117494034A (zh) | 基于交通拥堵指数和多源数据融合的空气质量预测方法 | |
| Ge et al. | Traffic speed prediction with missing data based on TGCN | |
| CN115829158A (zh) | 一种基于深度学习的城市快捷货运量预测方法 | |
| CN115063972A (zh) | 基于图卷积和门控循环单元的交通速度预测方法和系统 | |
| Bonet et al. | Conditional variational graph autoencoder for air quality forecasting | |
| CN117218868B (zh) | 一种基于几何散射图网络的交通流预测方法 | |
| CN114973653B (zh) | 一种基于时空图卷积网络的交通流预测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210903 |