CN110889546A - 一种基于注意力机制的交通流量模型训练方法 - Google Patents
一种基于注意力机制的交通流量模型训练方法 Download PDFInfo
- Publication number
- CN110889546A CN110889546A CN201911141780.0A CN201911141780A CN110889546A CN 110889546 A CN110889546 A CN 110889546A CN 201911141780 A CN201911141780 A CN 201911141780A CN 110889546 A CN110889546 A CN 110889546A
- Authority
- CN
- China
- Prior art keywords
- vector
- nodes
- traffic
- node
- speed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000012549 training Methods 0.000 title claims abstract description 32
- 230000007246 mechanism Effects 0.000 title claims abstract description 12
- 230000008569 process Effects 0.000 claims abstract description 12
- 239000013598 vector Substances 0.000 claims description 52
- 238000005516 engineering process Methods 0.000 claims description 9
- 238000004422 calculation algorithm Methods 0.000 claims description 8
- 238000013528 artificial neural network Methods 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 5
- 238000005295 random walk Methods 0.000 claims description 5
- 238000005070 sampling Methods 0.000 claims description 5
- 230000002159 abnormal effect Effects 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 239000000523 sample Substances 0.000 claims description 4
- 230000007774 longterm Effects 0.000 claims description 3
- 238000005259 measurement Methods 0.000 claims description 3
- 230000006403 short-term memory Effects 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 2
- 230000004927 fusion Effects 0.000 abstract description 4
- 238000002474 experimental method Methods 0.000 abstract description 3
- 230000000873 masking effect Effects 0.000 abstract description 3
- 230000002123 temporal effect Effects 0.000 abstract 1
- 239000011159 matrix material Substances 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 6
- 230000015654 memory Effects 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000009440 infrastructure construction Methods 0.000 description 1
- YHXISWVBGDMDLQ-UHFFFAOYSA-N moclobemide Chemical compound C1=CC(Cl)=CC=C1C(=O)NCCN1CCOCC1 YHXISWVBGDMDLQ-UHFFFAOYSA-N 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000001373 regressive effect Effects 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/067—Enterprise or organisation modelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Strategic Management (AREA)
- Human Resources & Organizations (AREA)
- General Physics & Mathematics (AREA)
- Economics (AREA)
- Tourism & Hospitality (AREA)
- Entrepreneurship & Innovation (AREA)
- General Health & Medical Sciences (AREA)
- Development Economics (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Educational Administration (AREA)
- Software Systems (AREA)
- Game Theory and Decision Science (AREA)
- Biomedical Technology (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Primary Health Care (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明公开了一种基于注意力机制的交通流量模型训练方法，将预训练和融合模型应用为深度架构模型的构建块，以测量用于预测的交通数据，提出了一个具有多个融合层架构的预训练站模型，该模型考虑了交通网络结构和各个站点的交通状态，以预测网络范围的交通速度。本发明利用多个融合层从历史数据中捕获空间特征和时间依赖性，所提出的模型可以通过使用掩蔽机制来处理输入数据中的缺失值。在真实数据集中建立实验，与其他经典和最先进的模型进行比较，结果表明，本发明模型在准确性和鲁棒性方面都优于其他模型。
Description
技术领域
本发明属于数据分析技术领域，具体涉及一种基于注意力机制的交通流量模型训练方法。
背景技术
过去十年来经济飞速发展，机动车保有量也急速增长，截止2017年底，全国机动车保有量已超过2亿辆，预计在2020年，机动车保有量将达3亿辆，数量庞大的机动车和通行需求带来了交通拥堵和停车困难等一系列问题。目前道路和交通管理部门主要采取如下几种办法来解决交通拥堵问题：(1)加强道路基础设施建设，如加宽道路、修建新道路等；(2)开发智慧交通系统实施智慧化管理。
智慧交通系统是将先进的信息技术、通讯技术、传感技术、控制技术、人工智能和大数据技术等有效率地集成运用于整个交通运输管理体系，而创建起的一种在大范围内及全方位发挥作用的，短时延、高精准度及高效率的综合的运输和管理系统。智能交通系统的科技应用及其广泛，从基本的管理系统，例如汽车导航系统、交通信号控制系统、自动车牌识别技术，到监控系统如安全监控系统，到更高级的创建在集成现有数据和其他信息来源的反馈基础上的应用，如停车诱导系统、公路气象信息系统、道路除冰系统；此外预测科技的发展将使得在历史基准数据的基础上的先进的建模和比对成为可能。
交通流量预测是智能交通系统最重要的任务之一；一般情况下，长时交通流量的预测指的就是在某一个地点通过监测一个月或者一年的时间来计算该段时间内的交通流量值。但是由于交通具有时变性的特点，使得对预测这么长时间的交通流，在实际生活应用中并不突出，而对预测较短时间内的交通流量有非常重要的价值，所以本发明旨在提高短时交通流量的预测可靠性。
虽然交通速度预测具有数十年的历史，但基于统计模型或传统特征回归模型的传统预测方法(例如auto regressive integrated moving average，ARIMA和supportvectorregression，SVR)，由于缺乏计算能力或数据量，流量的高维和非线性特征而无法准确预测。近年来，基于深度学习的模型在图像识别和自然语言等许多领域取得了巨大成功，因此通过深度学习模型进行预测是一种新趋势。长短期记忆神经网络(longshort-term memory，LSTM)应用在交通速度预测中，一种基于聚类方法的进化模糊神经网络(evolving fuzzy neural network，EFNN)被提出了来预测前进多步的行进速度，流量图卷积长短期记忆神经网络(Traffic Graph Convolutional Long Short-TermMemoryNeural Network，TGC-LSTM)基于物理网络拓扑创建流量图卷积，并与LSTM结合以提高预测性能。
尽管在交通预测问题中存在各种可用的深度学习解决方案，但现有方法仍然存在先前方法的一些缺陷，之前的方法只是针对时间序列的数据建立模型，而不考虑这些空间关系；另一方面先前的预测方法对交通流的特征的选取界限难以决断，导致信息量不足或存在误导，显著制约了交通流预测的精准度。一些方法基于历史数据来预测速度，但历史数据仅关注段本身，这些方法根据时间序列值预测交通速度，忽略了该段的特征以及附近的段对其的影响。
发明内容
鉴于上述，本发明提供了一种基于注意力机制的交通流量模型训练方法(即Station-Fusionbased Deep Forecasting，SFDF)，通过附近的段和相似的段来呈现段特征，然后将段矢量融合到时间序列值中，它既考虑历史交通状态，又考虑真实的交通结构网络。本发明设计了两种选择策略来建立所有段之间的联系，包括基于位置的选择和序列相似的选择，这些选择涉及物理交通和历史交通特征，基于上述策略的所有段都在预测过程中进行预训练和融合。
一种基于注意力机制的交通流量模型训练方法，包括如下步骤：
(1)在高速公路上布置多个测点，采集一定时长内通过测点断面所有车辆的速度信息，通过数据预处理建立各测点的速度序列；
(2)根据物理位置关系以及流量趋势关系建立测点的网络拓扑异构图；
(3)利用graph2vec模型对异构图中的每个节点进行编码，得到每个节点的特征向量；
(4)通过BERT(Bidirectional Encoder Representations from Transformers)预训练模型改善每个节点的特征向量；
(5)将节点的速度序列归一化后与改善后的特征向量拼接组合作为输入向量，进而通过训练LSTM(Long Short-Term Memory，长短期记忆网络)以预测节点下一时间片段的车速指标并转换成车流量指标。
进一步地，所述步骤(1)中的每个测点设置有地磁测速系统，即利用地磁探头和图像处理技术实现对车辆的速度检测。
进一步地，所述步骤(1)中数据预处理的具体实现过程为：对于任一测点，采集完成一定时长内通过该测点断面所有车辆的速度信息，将整个时长分成多个时间片段；对于任一时间片段，将该片段内通过该测点断面所有车辆的速度过滤掉过异常值后从小到大排序并取中位数作为该片段的车速指标，进而将所有片段的车速值依次排列并打上时间标签，从而得到测点的速度序列。
进一步地，所述网络拓扑异构图中的节点即对应各个测点，具有相邻位置关系以及相似流量趋势的节点存在有连接关系。
进一步地，遍历所有两两节点组合：对于任一对组合，利用DTW(Dynamic TimeWarping，动态时间规整)算法计算该组合两个节点之间速度序列的相似度，若相似度高于阈值，则判定这两个节点具有相似流量趋势。
进一步地，所述步骤(3)的具体实现方法为：采用Graph Embedding(图嵌入)方法中的DeepWalk(是一种用来学习图(网络)中顶点的潜在表示的一种基于简单神经网络的算法,其主要思想类似word2vec)根据异构图中节点之间的共现关系来学习节点的特征向量表示；图中节点之间的共现关系通过Random Walk(随机游走)的方式在图中进行节点采样，即给定当前访问起始节点，从其邻居中随机采样节点作为下一个访问节点，重复此过程，直到访问序列长度满足预设条件；当获取足够数量的节点访问序列后，使用skip-gram model进行向量学习，使得向量中包含节点的地理和交通趋势特征。
进一步地，所述步骤(4)的具体实现方法为：将节点的速度序列归一化后与特征向量连接起来得到输入向量，遍历异构图中所有相连的节点组合；对于任一组合，若该组合由m个节点依次连接，则屏蔽其中若干节点输入向量中的特征部分，利用其余节点的输入向量数据通过BERT预训练方法来预测屏蔽部分的向量数据，并用预测得到的向量数据替换节点原有的特征向量数据。
本发明考虑不同站点在日常交通趋势变化中的特征并建立潜在的相关性，并基于邻近度和时间序列的维度生成各种片段之间的异构图，实现了graph2vec模型来编码图中的每个站，将异构图中的每一个站点转换为一个个向量，其中包含每个点的地理和交通趋势特征。此外，本发明利用BERT对数据进行进行预训练，得到预训练后的向量，与站点速度向量相关联，作为长期短期记忆神经网络的输入来预测下一个点的速度。
本发明利用多个融合层从历史数据中捕获空间特征和时间依赖性，所提出的模型可以通过使用掩蔽机制来处理输入数据中的缺失值，在真实数据集中建立实验，并与其他经典和最先进的模型进行比较；结果表明，本发明模型在准确性和鲁棒性方面都优于其他模型。
附图说明
图1为本发明利用现实交通网络和站点的交通流量特征建立的站点异构图。
图2为本发明基于注意力机制的预训练流程图。
具体实施方式
为了更为具体地描述本发明，下面结合附图及具体实施方式对本发明的技术方案进行详细说明。
本发明基于注意力机制的交通流量模型训练方法，包括如下步骤：
(1)在高速公路上布置多个测点，采集一定时长内通过测点断面所有车辆的速度信息，通过数据预处理建立各测点的速度序列。
在高速公路上布置多个监测点(地磁线圈)采集一定时间段内通过测点断面所有车辆的速度，固定点地磁测速系统是一种利用地磁探头和图象处理技术实现对交通目标检测和识别的计算机处理系统，通过对道路交通状况信息与交通目标的各种行为(如违法超速，停车，超车等等)的实时检测，实现自动统计交通路段上行驶的机动车的数量、计算行驶车辆的速度以及识别划分行驶车辆的类别等各种有关交通参数，达到监测道路交通状况信息的作用；同时，将检测和识别到的交通信息存储起来，为分析和交通管理提供依据。
得到的速度数据上限与下限差距很大，从一般性出发，我们选择过滤掉过大和过小的速度值，将速度从小到大排列取中位数，并打上时间标签，结果如图1右上表格第二列所示，代表着不同时间片上的站点流量信息。
(2)根据物理位置关系以及流量趋势关系建立测点的网络拓扑异构图。
本发明提出了两种策略来建立交通网络图中车站之间的连接：第一个是交通网络中的真实相邻站，通过获取测点的邻居节点信息，根据物理位置关系构建节点拓扑，将站点直接连接，因为物理上的相邻意味着它们自身的时间特征与空间特征对彼此具有很强的影响力；第二个是交通相似站，我们发现每个站具有独特的流量变化特性，利用此特性可以帮助我们找到一些物理上并不直接相连但时间与空间特征相似的站。
本发明选择动态时间规整(dynamic time warping，DTW)方法来评估两个站点的相似性，DTW是一种用于测量两个时间序列之间相似性的算法，给定两个序列X＝(x1,x2,…,xN)和Y＝(y1,y2,…,yM)，序列中的每个点的值为时间序列中每一个时间片的流量特征值，例如序列X共有N个时间片，第i个时间片的特征值就是是xi；如果N＝M，直接计算两个序列的距离就好了，但如果N不等于M我们就需要对齐这两个序列。我们需要构造一个N×M的矩阵P，矩阵元素(i,j)表示xi和yj两个点的距离d(xi,yj)(也就是序列X的每一个点和Y的每一个点之间的相似度，距离越小则相似度越高)，一般采用欧式距离d(xi,yj)＝(xi-yj)2，最终得到DTW(X,Y)＝min{d(X,Y),p∈PN*M}。
本发明设定了一个阈值，DTW计算出的相似性高于阈值我们就认为这两个站的时间特征与空间特征相似，属于交通相似站，将这两个站也在图上连接起来，这就得到了基于邻近度和时间序列维度上的异构图。
在以下算法中给出了构建异构站点图的详细过程：
(3)利用graph2vec模型对异构图中的每个节点进行编码，得到每个节点的特征向量。
本发明采用的graph embedding方法是著名的的DeepWalk，它的主要思想类似word2vec，使用图中节点与节点的共现关系来学习节点的向量表示。那么关键的问题就是如何来描述节点与节点的共现关系，DeepWalk给出的方法是使用随机游走(RandomWalk)的方式在图中进行节点采样。
RandomWalk是一种可重复访问已访问节点的深度优先遍历算法，即给定当前访问起始节点，从其邻居中随机采样节点作为下一个访问节点，重复此过程，直到访问序列长度满足预设条件；获取足够数量的节点访问序列后，使用skip-gram model进行向量学习。
Deep Walk算法核心代码如下：
(4)通过BERT预训练模型改善每个节点的特征向量。
BERT实质上就是利用基于self-attention的Transformer结构构造了一个预训练模型，图2中的AttentionbasedModel就是Transformer的架构，Transformer总体上由Encoder和Decoder组成：
Encoder由6个相同的layers组成，每一层包含两个sub-layers，第一个sub-layer就是多头注意力层(multi-head attention layer)然后是一个简单的全连接层，其中每个sub-layer都加了残差连接(residual connection)和归一化(normalisation)。
Attention机制采用的是Scaled dot-product attention，其输入由维度为d的查询(Q)和键(K)以及维度为d的值(V)组成，所有键计算查询的点积，并应用softmax函数获得值的权重，具体的操作有三个步骤：
①每个query-key会做出一个点乘的运算过程，同时为了防止值过大除以维度的常数；
②使用softmax把他们归一化；
③最后会乘以V用来当做attentionvector。
公式如下：
Decoder由6个相同的Layer组成，但这里的layer和encoder不一样，这里的layer包含了三个sub-layers，其中有一个self-attention layer，encoder-decoder attentionlayer最后是一个全连接层，前两个sub-layer都是基于multi-head attention layer。这里有个特别点就是masking，masking的作用就是防止在训练的时候使用未来的输出的单词。
图2中S表示Graph Embedding后的向量，T表示站点的交通流量特征。我们选择站m的k长度部分作为输入向量Tm，因此矩阵[T1，T2，…，Tm]示出了实际网络中站1到m的速度特征值。然后，我们将速度矩阵与graph embedding得到的矩阵矩阵[S1，S2，…，Sm]相连接得到最终的输入矩阵。对于训练中的每次迭代，我们屏蔽(MASK)输入向量中的一部分，并通过数据的其余部分预测被屏蔽的值；在训练过程之后，可以获得相关的站向量作为输出。
本发明设置一个参数δ来决定该站是否需要屏蔽；对于每个时间序列，如果生成随机值大于δ，我们用[MASK]标记替换第i个标记；给出对齐序列{e1，…，em}到令牌序列{w1，…，wn}，我们选择相关的站点并将向量集成到交通速度序列中。为了反映数学概念与数学问题中重复实体之间的相关性，我们同时用[MASK]掩盖这些实体，并通过相应的隐藏向量预测这些被掩盖的单词。
在训练过程中，令牌替换的策略与BERT模型相同，按照以下规则替换所选择的站：80％的时间是令牌[MASK]，10％的时间是随机实体；然后预测具有交叉熵损失的原始速度或站。
(5)将节点的速度序列归一化后与改善后的特征向量拼接组合作为输入向量，进而通过训练LSTM模型以预测节点下一时间片段的车速指标并转换成车流量指标。
LSTM模型是循环神经网络(Recurrent Neural Network，RNN)的一种，具体是由t时刻的输入词Xt、细胞状态Ct、临时细胞状态
隐藏层状态ht、遗忘门ft、记忆门it、输出门ot组成。LSTM的计算过程可以概括为：通过对细胞状态中信息遗忘和记忆新的信息使得对后续时刻计算有用的信息得以传递，而无用的信息被丢弃，并在每个时间步都会输出隐层状态，其中遗忘、记忆与输出由通过上个时刻的隐层状态和当前输入计算出来的遗忘门、记忆门、输出门来控制。
首先，我们将t时刻的输入Xt和隐藏层的输出ht-1复制四份，并为它们随机初始化不同的权重，计算出遗忘门、输入门和输出门以及通过变换后的新信息，它们的计算公式如下所示，其中W是输入层到隐藏层的参数矩阵，U是隐藏层到隐藏层的自循环参数矩阵，b为偏置参数矩阵，σ为sigmoid函数，使得三个门的输出保持0～1之间。
ft＝σ(WfXt+Ufht-1+bf)
it＝σ(WiXt+Uiht-1+bi)
ot＝σ(WoXt+Uoht-1+bo)
然后，我们使用遗忘门ft、记忆门it来控制忘记多少历史信息Ct-1和保存多少新信息
从而更新内部记忆细胞状态Ct，其计算公式如下所示：
最后，我们使用输出门ot来控制输出多少内部记忆单元Ct的信息到隐状态ht，其计算公式如下所示：
ht＝ot⊙tanh(Ct)
本发明使用平均绝对误差(Mean Absolute Error，MAE)作为训练模型时的损失函数，定义如下：
其中：yi是真实值，y′i是预测值。
模型的比较结果如表1所示，本发明模型SFDF在MAE上的值最小，模型预测准确性最高。
表1
上述对实施例的描述是为便于本技术领域的普通技术人员能理解和应用本发明。熟悉本领域技术的人员显然可以容易地对上述实施例做出各种修改，并把在此说明的一般原理应用到其他实施例中而不必经过创造性的劳动。因此，本发明不限于上述实施例，本领域技术人员根据本发明的揭示，对于本发明做出的改进和修改都应该在本发明的保护范围之内。
Claims (8)
1.一种基于注意力机制的交通流量模型训练方法，包括如下步骤：
(1)在高速公路上布置多个测点，采集一定时长内通过测点断面所有车辆的速度信息，通过数据预处理建立各测点的速度序列；
(2)根据物理位置关系以及流量趋势关系建立测点的网络拓扑异构图；
(3)利用graph2vec模型对异构图中的每个节点进行编码，得到每个节点的特征向量；
(4)通过BERT预训练模型改善每个节点的特征向量；
(5)将节点的速度序列归一化后与改善后的特征向量拼接组合作为输入向量，进而通过训练LSTM模型以预测节点下一时间片段的车速指标并转换成车流量指标。
2.根据权利要求1所述的交通流量模型训练方法，其特征在于：所述步骤(1)中的每个测点设置有地磁测速系统，即利用地磁探头和图像处理技术实现对车辆的速度检测。
3.根据权利要求1所述的交通流量模型训练方法，其特征在于：所述步骤(1)中数据预处理的具体实现过程为：对于任一测点，采集完成一定时长内通过该测点断面所有车辆的速度信息，将整个时长分成多个时间片段；对于任一时间片段，将该片段内通过该测点断面所有车辆的速度过滤掉过异常值后从小到大排序并取中位数作为该片段的车速指标，进而将所有片段的车速值依次排列并打上时间标签，从而得到测点的速度序列。
4.根据权利要求1所述的交通流量模型训练方法，其特征在于：所述网络拓扑异构图中的节点即对应各个测点，具有相邻位置关系以及相似流量趋势的节点存在有连接关系。
5.根据权利要求4所述的交通流量模型训练方法，其特征在于：遍历所有两两节点组合：对于任一对组合，利用DTW算法计算该组合两个节点之间速度序列的相似度，若相似度高于阈值，则判定这两个节点具有相似流量趋势。
6.根据权利要求1所述的交通流量模型训练方法，其特征在于：所述步骤(3)的具体实现方法为：采用Graph Embedding方法中的DeepWalk根据异构图中节点之间的共现关系来学习节点的特征向量表示；图中节点之间的共现关系通过RandomWalk的方式在图中进行节点采样，即给定当前访问起始节点，从其邻居中随机采样节点作为下一个访问节点，重复此过程，直到访问序列长度满足预设条件；当获取足够数量的节点访问序列后，使用skip-gram model进行向量学习，使得向量中包含节点的地理和交通趋势特征。
7.根据权利要求1所述的交通流量模型训练方法，其特征在于：所述步骤(4)的具体实现方法为：将节点的速度序列归一化后与特征向量连接起来得到输入向量，遍历异构图中所有相连的节点组合；对于任一组合，若该组合由m个节点依次连接，则屏蔽其中若干节点输入向量中的特征部分，利用其余节点的输入向量数据通过BERT预训练方法来预测屏蔽部分的向量数据，并用预测得到的向量数据替换节点原有的特征向量数据。
8.根据权利要求1所述的交通流量模型训练方法，其特征在于：该方法考虑不同站点在日常交通趋势变化中的特征并建立潜在的相关性，并基于邻近度和时间序列的维度生成各种片段之间的异构图，实现了graph2vec模型来编码图中的每个站，将异构图中的每一个站点转换为一个个向量，其中包含每个点的地理和交通趋势特征；此外，该方法利用BERT对数据进行进行预训练，得到预训练后的向量，与站点速度向量相关联，作为长期短期记忆神经网络的输入来预测下一个点的速度。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911141780.0A CN110889546B (zh) | 2019-11-20 | 2019-11-20 | 一种基于注意力机制的交通流量模型训练方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911141780.0A CN110889546B (zh) | 2019-11-20 | 2019-11-20 | 一种基于注意力机制的交通流量模型训练方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110889546A true CN110889546A (zh) | 2020-03-17 |
| CN110889546B CN110889546B (zh) | 2020-08-18 |
Family
ID=69748098
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911141780.0A Active CN110889546B (zh) | 2019-11-20 | 2019-11-20 | 一种基于注意力机制的交通流量模型训练方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110889546B (zh) |
Cited By (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111259877A (zh) * | 2020-05-06 | 2020-06-09 | 杭州智诚惠通科技有限公司 | 一种交通异常场景的判断方法、装置、设备及存储介质 |
| CN111540199A (zh) * | 2020-04-21 | 2020-08-14 | 浙江省交通规划设计研究院有限公司 | 一种基于多模态融合和图注意力机制的高速交通流预测方法 |
| CN111599170A (zh) * | 2020-04-13 | 2020-08-28 | 浙江工业大学 | 一种基于时序交通网络图的交通运行状态分类方法 |
| CN111613054A (zh) * | 2020-05-07 | 2020-09-01 | 浙江大学 | 一种协同考虑时空相关性及贡献差异的多步交通速度预测方法 |
| CN111726243A (zh) * | 2020-05-14 | 2020-09-29 | 华为技术有限公司 | 预测节点状态的方法和装置 |
| CN111815046A (zh) * | 2020-07-06 | 2020-10-23 | 北京交通大学 | 基于深度学习的交通流量预测方法 |
| CN112101482A (zh) * | 2020-10-26 | 2020-12-18 | 西安交通大学 | 一种对有缺失卫星数据进行参数异常模式检测的方法 |
| CN112101132A (zh) * | 2020-08-24 | 2020-12-18 | 西北工业大学 | 一种基于图嵌入模型和度量学习的交通状况预测方法 |
| CN112257918A (zh) * | 2020-10-19 | 2021-01-22 | 中国科学院自动化研究所 | 基于内嵌注意力机制的循环神经网络的交通流量预测方法 |
| CN112529294A (zh) * | 2020-12-09 | 2021-03-19 | 中国科学院深圳先进技术研究院 | 个体随机出行目的地预测模型的训练方法、介质和设备 |
| CN112614336A (zh) * | 2020-11-19 | 2021-04-06 | 南京师范大学 | 一种基于量子随机游走的交通流模态拟合方法 |
| CN112686428A (zh) * | 2020-12-15 | 2021-04-20 | 广州新科佳都科技有限公司 | 基于地铁线网站点相似性的地铁客流预测方法及装置 |
| CN112785848A (zh) * | 2021-01-04 | 2021-05-11 | 清华大学 | 一种交通数据预测方法以及系统 |
| CN112884222A (zh) * | 2021-02-10 | 2021-06-01 | 武汉大学 | 一种面向时间段的lstm交通流密度预测方法 |
| CN113470365A (zh) * | 2021-09-01 | 2021-10-01 | 北京航空航天大学杭州创新研究院 | 一种面向有缺失数据的公交车到站时间预测方法 |
| CN113487061A (zh) * | 2021-05-28 | 2021-10-08 | 山西云时代智慧城市技术发展有限公司 | 一种基于图卷积-Informer模型的长时序交通流量预测方法 |
| CN113870565A (zh) * | 2021-10-26 | 2021-12-31 | 邢吉平 | 基于迁移学习模型的城市路网未知流量估计方法及系统 |
| CN114124565A (zh) * | 2021-12-04 | 2022-03-01 | 东南大学 | 一种基于图嵌入的网络入侵检测方法 |
| CN114124734A (zh) * | 2021-11-20 | 2022-03-01 | 四川大学 | 一种基于GCN-Transformer集成模型的网络流量预测方法 |
| CN114234995A (zh) * | 2021-12-21 | 2022-03-25 | 浙江数智交院科技股份有限公司 | 一种导航方法、装置、电子设备及存储介质 |
| CN114267170A (zh) * | 2021-09-28 | 2022-04-01 | 浙江工业大学 | 基于考虑人类流动性的图时空Transformer模型的交通流预测方法 |
| CN115359654A (zh) * | 2022-08-02 | 2022-11-18 | 支付宝(杭州)信息技术有限公司 | 流量预测系统的更新方法及装置 |
| CN115601960A (zh) * | 2022-09-15 | 2023-01-13 | 哈尔滨工业大学（深圳）（哈尔滨工业大学深圳科技创新研究院）（Cn） | 一种基于图对比学习的多模态交通流量预测方法及系统 |
| CN115619052A (zh) * | 2022-12-20 | 2023-01-17 | 安徽农业大学 | 一种城市交通流量预测方法 |
| CN116681176A (zh) * | 2023-06-12 | 2023-09-01 | 济南大学 | 一种基于聚类和异构图神经网络的交通流预测方法 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110322695A (zh) * | 2019-07-23 | 2019-10-11 | 内蒙古工业大学 | 一种基于深度学习的短时交通流预测方法 |
-
2019
- 2019-11-20 CN CN201911141780.0A patent/CN110889546B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110322695A (zh) * | 2019-07-23 | 2019-10-11 | 内蒙古工业大学 | 一种基于深度学习的短时交通流预测方法 |
Non-Patent Citations (5)
| Title |
|---|
| ANNAMALAI NARAYANAN等: ""graph2vec: Learning Distributed Representations of Graphs"", 《ARXIV:1707.05005V1》 * |
| HUAXIU YAO等: ""Deep Multi-View Spatial-Temporal Network for Taxi Demand Prediction"", 《ARVIX:1802.08714V2》 * |
| JACOB DEVLIN等: ""BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding"", 《ARXIV:1810.04805V2》 * |
| SHENGDONG DU等: ""An LSTM based Encoder-Decoder Model for Multistep Traffic Flow Prediction"", 《IJCNN 2019. INTERNATIONAL JOINT CONFERENCE ON NEURAL NETWORKS》 * |
| 冯宁 等: ""面向交通流量预测的多组件时空图卷积网络"", 《软件学报》 * |
Cited By (35)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111599170B (zh) * | 2020-04-13 | 2021-12-17 | 浙江工业大学 | 一种基于时序交通网络图的交通运行状态分类方法 |
| CN111599170A (zh) * | 2020-04-13 | 2020-08-28 | 浙江工业大学 | 一种基于时序交通网络图的交通运行状态分类方法 |
| CN111540199A (zh) * | 2020-04-21 | 2020-08-14 | 浙江省交通规划设计研究院有限公司 | 一种基于多模态融合和图注意力机制的高速交通流预测方法 |
| CN111259877A (zh) * | 2020-05-06 | 2020-06-09 | 杭州智诚惠通科技有限公司 | 一种交通异常场景的判断方法、装置、设备及存储介质 |
| CN111613054A (zh) * | 2020-05-07 | 2020-09-01 | 浙江大学 | 一种协同考虑时空相关性及贡献差异的多步交通速度预测方法 |
| CN111726243A (zh) * | 2020-05-14 | 2020-09-29 | 华为技术有限公司 | 预测节点状态的方法和装置 |
| CN111815046A (zh) * | 2020-07-06 | 2020-10-23 | 北京交通大学 | 基于深度学习的交通流量预测方法 |
| CN111815046B (zh) * | 2020-07-06 | 2024-03-22 | 北京交通大学 | 基于深度学习的交通流量预测方法 |
| CN112101132A (zh) * | 2020-08-24 | 2020-12-18 | 西北工业大学 | 一种基于图嵌入模型和度量学习的交通状况预测方法 |
| CN112257918A (zh) * | 2020-10-19 | 2021-01-22 | 中国科学院自动化研究所 | 基于内嵌注意力机制的循环神经网络的交通流量预测方法 |
| CN112101482A (zh) * | 2020-10-26 | 2020-12-18 | 西安交通大学 | 一种对有缺失卫星数据进行参数异常模式检测的方法 |
| CN112101482B (zh) * | 2020-10-26 | 2022-05-06 | 西安交通大学 | 一种对有缺失卫星数据进行参数异常模式检测的方法 |
| CN112614336A (zh) * | 2020-11-19 | 2021-04-06 | 南京师范大学 | 一种基于量子随机游走的交通流模态拟合方法 |
| CN112529294A (zh) * | 2020-12-09 | 2021-03-19 | 中国科学院深圳先进技术研究院 | 个体随机出行目的地预测模型的训练方法、介质和设备 |
| CN112686428B (zh) * | 2020-12-15 | 2022-07-19 | 广州新科佳都科技有限公司 | 基于地铁线网站点相似性的地铁客流预测方法及装置 |
| CN112686428A (zh) * | 2020-12-15 | 2021-04-20 | 广州新科佳都科技有限公司 | 基于地铁线网站点相似性的地铁客流预测方法及装置 |
| CN112785848A (zh) * | 2021-01-04 | 2021-05-11 | 清华大学 | 一种交通数据预测方法以及系统 |
| CN112785848B (zh) * | 2021-01-04 | 2022-06-17 | 清华大学 | 一种交通数据预测方法以及系统 |
| CN112884222A (zh) * | 2021-02-10 | 2021-06-01 | 武汉大学 | 一种面向时间段的lstm交通流密度预测方法 |
| CN112884222B (zh) * | 2021-02-10 | 2022-06-14 | 武汉大学 | 一种面向时间段的lstm交通流密度预测方法 |
| CN113487061A (zh) * | 2021-05-28 | 2021-10-08 | 山西云时代智慧城市技术发展有限公司 | 一种基于图卷积-Informer模型的长时序交通流量预测方法 |
| CN113470365A (zh) * | 2021-09-01 | 2021-10-01 | 北京航空航天大学杭州创新研究院 | 一种面向有缺失数据的公交车到站时间预测方法 |
| CN114267170A (zh) * | 2021-09-28 | 2022-04-01 | 浙江工业大学 | 基于考虑人类流动性的图时空Transformer模型的交通流预测方法 |
| CN113870565A (zh) * | 2021-10-26 | 2021-12-31 | 邢吉平 | 基于迁移学习模型的城市路网未知流量估计方法及系统 |
| CN113870565B (zh) * | 2021-10-26 | 2022-12-23 | 邢吉平 | 基于迁移学习模型的城市路网未知流量估计方法及系统 |
| CN114124734A (zh) * | 2021-11-20 | 2022-03-01 | 四川大学 | 一种基于GCN-Transformer集成模型的网络流量预测方法 |
| CN114124565A (zh) * | 2021-12-04 | 2022-03-01 | 东南大学 | 一种基于图嵌入的网络入侵检测方法 |
| CN114124565B (zh) * | 2021-12-04 | 2024-04-05 | 东南大学 | 一种基于图嵌入的网络入侵检测方法 |
| CN114234995A (zh) * | 2021-12-21 | 2022-03-25 | 浙江数智交院科技股份有限公司 | 一种导航方法、装置、电子设备及存储介质 |
| CN115359654A (zh) * | 2022-08-02 | 2022-11-18 | 支付宝(杭州)信息技术有限公司 | 流量预测系统的更新方法及装置 |
| CN115359654B (zh) * | 2022-08-02 | 2023-09-08 | 支付宝(杭州)信息技术有限公司 | 流量预测系统的更新方法及装置 |
| CN115601960A (zh) * | 2022-09-15 | 2023-01-13 | 哈尔滨工业大学（深圳）（哈尔滨工业大学深圳科技创新研究院）（Cn） | 一种基于图对比学习的多模态交通流量预测方法及系统 |
| CN115619052A (zh) * | 2022-12-20 | 2023-01-17 | 安徽农业大学 | 一种城市交通流量预测方法 |
| CN116681176A (zh) * | 2023-06-12 | 2023-09-01 | 济南大学 | 一种基于聚类和异构图神经网络的交通流预测方法 |
| CN116681176B (zh) * | 2023-06-12 | 2024-05-03 | 济南大学 | 一种基于聚类和异构图神经网络的交通流预测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110889546B (zh) | 2020-08-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110889546B (zh) | 一种基于注意力机制的交通流量模型训练方法 | |
| Tekouabou et al. | Improving parking availability prediction in smart cities with IoT and ensemble-based model | |
| Wang et al. | Long-term traffic prediction based on lstm encoder-decoder architecture | |
| CN111400620B (zh) | 基于时空嵌入Self-Attention的用户轨迹位置预测方法 | |
| CN108629978B (zh) | 一种基于高维路网和循环神经网络的交通轨迹预测方法 | |
| CN109034448B (zh) | 基于车辆轨迹语义分析和深度信念网络的轨迹预测方法 | |
| Yan et al. | Spatial-temporal chebyshev graph neural network for traffic flow prediction in iot-based its | |
| CN113487061A (zh) | 一种基于图卷积-Informer模型的长时序交通流量预测方法 | |
| CN111832814A (zh) | 一种基于图注意力机制的空气污染物浓度预测方法 | |
| CN114330868A (zh) | 基于自注意力的个性化增强图卷积网络的客流预测方法 | |
| CN114664091A (zh) | 一种基于节假日流量预测算法的预警方法及系统 | |
| CN115148019A (zh) | 一种基于节假日拥堵预测算法的预警方法及系统 | |
| CN116168548A (zh) | 一种基于多特征融合的时空注意图卷积网络的交通流预测方法 | |
| Liu et al. | Explanatory prediction of traffic congestion propagation mode: A self-attention based approach | |
| CN113159403A (zh) | 路口行人轨迹预测的方法及装置 | |
| Haputhanthri et al. | Short-term traffic forecasting using LSTM-based deep learning models | |
| Hu et al. | Driver identification using 1D convolutional neural networks with vehicular CAN signals | |
| CN115688019A (zh) | 基于异构数据关联挖掘与度量学习的智能体轨迹预测方法 | |
| CN114973665A (zh) | 一种结合数据分解和深度学习的短时交通流预测方法 | |
| Hu et al. | Vehicle travel destination prediction method based on multi-source data | |
| CN115063972A (zh) | 基于图卷积和门控循环单元的交通速度预测方法和系统 | |
| Liao et al. | Traj2Traj: A road network constrained spatiotemporal interpolation model for traffic trajectory restoration | |
| CN117593878A (zh) | 一种突发事件下的城市轨道交通短时od需求预测方法 | |
| CN117271899A (zh) | 一种基于时空感知的兴趣点推荐方法 | |
| CN112927507A (zh) | 一种基于LSTM-Attention的交通流量预测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address |
Address after: No. 928, yuhangtang Road, Xihu District, Hangzhou City, Zhejiang Province 310011 Patentee after: Zhejiang shuzhijiaoyuan Technology Co.,Ltd. Address before: 310006 No. 89 West Ring Road, Zhejiang, Hangzhou Patentee before: ZHEJIANG PROVINCIAL INSTITUTE OF COMMUNICATIONS PLANNING DESIGN & RESEARCH Co.,Ltd. |
|
| CP03 | Change of name, title or address |