CN111161535B - 基于注意力机制的图神经网络交通流量预测方法及系统 - Google Patents

基于注意力机制的图神经网络交通流量预测方法及系统 Download PDF

Info

Publication number
CN111161535B
CN111161535B CN201911339022.XA CN201911339022A CN111161535B CN 111161535 B CN111161535 B CN 111161535B CN 201911339022 A CN201911339022 A CN 201911339022A CN 111161535 B CN111161535 B CN 111161535B
Authority
CN
China
Prior art keywords
attention
traffic flow
layer
graph
function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911339022.XA
Other languages
English (en)
Other versions
CN111161535A (zh
Inventor
于龙飞
彭朝晖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University
Original Assignee
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University filed Critical Shandong University
Priority to CN201911339022.XA priority Critical patent/CN111161535B/zh
Publication of CN111161535A publication Critical patent/CN111161535A/zh
Application granted granted Critical
Publication of CN111161535B publication Critical patent/CN111161535B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing

Landscapes

  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了基于注意力机制的图神经网络交通流量预测方法及系统，获取待预测的城市交通流量数据；根据道路连接关系构建路网图；对待预测的城市交通流量数据进行预处理；将路网图和预处理后的结果，输入到预训练的基于注意力机制的神经网络中，最后输出城市交通流量的预测结果。根据路网信息对道路和卡口进行编码，并根据道路上下游关系建立路网图结构，统计卡口不同时间维度下的过车数据，汇总形成路网车流量数据表；构建有多层注意力模块堆叠组成的图神经网络，使用时序注意力机制和图注意力网络对整个路网中车流量进行建模，预测指定卡口未来的车流量情况。

Description

基于注意力机制的图神经网络交通流量预测方法及系统
技术领域
本公开涉及智能交通技术领域，特别是涉及基于注意力机制的图神经网络交通流量预测方法及系统。
背景技术
本部分的陈述仅仅是提到了与本公开相关的背景技术，并不必然构成现有技术。
随着网络信息技术等快速发展，人、车、路以及环境等各类与交通系统有关的动静态数据被大量的收集，这些海量的异构数据为交通领域的研究提供了新的手段和数据支撑。交通领域，尤其是智能交通领域已成为当前人工智能技术应用最具典型、最活跃的领域之一，结合人工智能技术和大数据，新一代智能交通系统将以更加高效的方式实现人和物的快速流动，结合物联网和互联网技术的普及，不久的将来，信息实体与客观世界实体都可以全球快速分发，智慧交通将搭建起人类命运共同体的高速交汇通道。
在智能交通领域，交通流量预测始终是一个研究热点，根据交通流量的变化趋势判断未来，始终是学术界和工业界研究的热点。目前相关的研究工作可以大致分为两大类，一类是以统计学为根基，通过交通流量自身历史相关和统计特性进行分析研究，主要的代表性模型是ARIMA自回归移动平均模型；另一类是以时序数据递归计算为核心，以神经网络如RNN，LSTM为基础的模型。
在实现本公开的过程中，发明人发现现有技术中存在以下技术问题：
1.基于统计学原理的模型无法捕捉交通流量变化中地理位置信息之间的空间关联性和位置局部特征；
2.基于递归计算的循环神经网络RNN或者LSTM计算效率较低，其模型的结构特征必须要求当前模型的输入是前一个时间点的输出，在大规模区域的流量预测任务上无法并行训练；
3.统计学模型和传统神经网络模型都没有关注到路网图结构对交通流量的影响。
发明内容
为了解决现有技术的不足，本公开提供了基于注意力机制的图神经网络交通流量预测方法及系统；
第一方面，本公开提供了基于注意力机制的图神经网络交通流量预测方法；
基于注意力机制的图神经网络交通流量预测方法，包括：
获取待预测的城市交通流量数据；根据道路连接关系构建路网图；
对待预测的城市交通流量数据进行预处理；
将路网图和预处理后的结果，输入到预训练的基于注意力机制的神经网络中，最后输出城市交通流量的预测结果。
第二方面，本公开还提供了基于注意力机制的图神经网络交通流量预测系统；
基于注意力机制的图神经网络交通流量预测系统，包括：
获取模块，其被配置为：获取待预测的城市交通流量数据；根据道路连接关系构建路网图；
预处理模块，其被配置为：对待预测的城市交通流量数据进行预处理；
预测模块，其被配置为：将路网图和预处理后的结果，输入到预训练的基于注意力机制的神经网络中，最后输出城市交通流量的预测结果。
第三方面，本公开还提供了一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成第一方面所述方法的步骤。
第四方面，本公开还提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成第一方面所述方法的步骤。
与现有技术相比，本公开的有益效果是：
根据路网信息对道路和卡口进行编码，并根据道路上下游关系建立路网图结构，统计卡口不同时间维度下的过车数据，汇总形成路网车流量数据表；构建有多层注意力模块堆叠组成的图神经网络，使用时序注意力机制和图注意力网络对整个路网中车流量进行建模，预测指定卡口未来的车流量情况。
本公开使用了基于时序和图注意力机制的神经网络对道路交通流量进行建模预测，通过时序注意力和图注意力机制分别在时间维度和图结构维度获取交通流量变化和相关性特征，利用深度网络拟合城市市区内指定范围内道路路网的车流量模型，并预测指定道路卡口未来的交通流量数据。模型通过归纳学习交通网络中一般的交通流量变化规律，从而实现对路网未知路口节点交通量的预测。
附图说明
构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。
图1为第一个实施例的方法流程图；
图2为第一个实施例的模型框架图；
图3为第一个实施例的时序注意力层结构示意图；
图4为第一个实施例的Temporal Convolution层提取feature map示意图；
图5为第一个实施例的图注意力层结构示意图。
具体实施方式
应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
实施例一，本实施例提供了基于注意力机制的图神经网络交通流量预测方法；
如图1所示，基于注意力机制的图神经网络交通流量预测方法，包括：
S1：获取待预测的城市交通流量数据；根据道路连接关系构建路网图；
S2：对待预测的城市交通流量数据进行预处理；
S3：将路网图和预处理后的结果，输入到预训练的基于注意力机制的神经网络中，最后输出城市交通流量的预测结果。
作为一个或多个实施例，S1中，获取待预测的城市交通流量数据；具体步骤包括：交通卡口历史数据表、路网信息表和交通卡口名称表；通过交通卡口历史数据表获取每个时间点待预测卡口的车流量。
进一步地，所述交通卡口历史数据表，包括：过车方向、车道ID、交通卡口ID、车牌ID和车辆经过卡口的时间戳；
进一步地，所述路网信息表，包括：上游交通卡口ID和下游交通卡口ID；
进一步地，所述交通卡口名称表，包括：交通卡口ID和交通卡口中文名称；
表1原始数据表情况
Figure BDA0002331746630000051
作为一个或多个实施例，S1中，根据道路连接关系构建路网图；具体步骤包括：通过路网信息和交通卡口名称，构建路网图。
应理解的，图结构是一种数据结构，由节点和边构成，根据边是否有方向性还可以分为有向图和无向图。
进一步地，根据道路和卡口之间的连接关系建立的图，叫做路网图，G＝(V,E)，道路卡口被看做是路网图的节点Vi，而卡口之间的道路就是路网图的边Ej。
进一步地，根据路网信息中道路上下游交通卡口ID，建立路网有向图，节点的名称是交通卡口ID，节点总数为Nv个。
进一步地，交通卡口名称表列明了所有交通卡口的名称，所有表格内的卡口都是由两条路名命名，如“A路与B路卡口”。
进一步地，利用字符串处理函数将交通卡口名称表中每个交通卡口中文名称进行分割，提取到所有道路名称的列表，道路共Ne条；
由于每一条道路可能与多条其他道路交叉，为了能够独立的表示不同交叉口，同时又能够通过交叉口的表示方法体现出不同道路的交叉关系，使用One Hot独热编码对道路进行编码，每条道路对应于一个长度为Ne的向量，每个向量只有1位是“1”，其他位都是“0”，由于每个交通卡口是由两条道路交叉而成，所以交通卡口编码设定为道路编码按位求和，也就是说，交通卡口编码也是一个长度为Ne的向量，其中只有代表这个交叉口的交叉关系对应的道路One Hot编码所在的位是“1”，其他位都是“0”，交通卡口编码直接体现了道路的交叉关系；交叉口编码作为特征数据经处理后直接作为模型的输入，可以使模型更好的学习交叉口和道路之间的连接关系。
用邻接矩阵表示路网图节点之间的连接关系，图的邻接矩阵
Figure BDA0002331746630000063
节点集合
Figure BDA0002331746630000061
边集合
Figure BDA0002331746630000062
作为一个或多个实施例，S2中，对待预测的城市交通流量数据进行预处理；具体步骤包括：
S201：根据每个时间点待预测卡口的车流量，按照设定时间间隔进行统计；将t时刻之后的Δt时间段内的车流量作为t时刻的车流量，进而得到以时间为索引的车流量统计表；以卡口ID区分同一时间段内通过不同卡口的车流量数据，得到以卡口为索引的车流量统计表；
S202：异常值处理：设定滑动窗口，以滑动窗口内的平均值分别作为以时间为索引的车流量统计表和以卡口为索引的车流量统计表的缺失数据的填充值；
S203：特征标准化处理：对异常值处理后的以时间为索引的车流量统计表和以卡口为索引的车流量统计表，分别进行时间标准化处理和车流量标准化处理。
应理解的，所述S201中，根据每个时间点待预测卡口的车流量，按照设定时间间隔进行统计；具体步骤包括：
将交通卡口历史数据表中过车数据按照5分钟的时间间隔进行统计：
例如，7:00:00-7:04:59之间的过车数对应于时间7:00的车流量数据，7:05:00-7:09:59之间的过车数对应于时间7:05的车流量数据，以此类推。
同时，以卡口ID区分同一时间段内通过不同卡口的车流量数据，所以最终得到了以卡口ID和时间作为双重索引的车流量统计表。
应理解的，所述S202中，异常值处理；设定滑动窗口，以滑动窗口内的平均值作为缺失数据的填充值；具体步骤包括：
设定窗口宽度为w(w为奇数，本实施例中w＝7)，然后顺序检查车流量表中的数据，当出现缺失值即空值或0时，以缺失值为中心向前后两个方向分别获取
Figure BDA0002331746630000071
个数据值，将此窗口内w个值的平均值填充到缺失值的位置；
如果缺失值前后方向的数据不足
Figure BDA0002331746630000072
个，如窗口边界到达表格结尾，那么以当前窗口内已有的数据的平均值作为填充值；
应理解的，所述S202的有益效果是：通过这样的缺失值填充可以更好的平滑在一个时间段内的缺失数据，更加有利于特征的提取。
进一步地，所述时间标准化处理，包括：
Figure BDA0002331746630000073
其中，ti表示时间在某个计量单位下的取值，Ti表示当前计量单位的周期，||表示向量的拼接；DTem表示被标准化处理后的时间。
所述车流量标准化处理，包括：使用最大最小标准化将车流量等比例缩放到[0,1]区间内。
应理解的，所述时间标准化处理，是指：对于时间点t，其分量按照时间长短排序，分为年、季度、月、周、日、时、分、秒8个计量单位，除了年之外，其他单位都按照设定周期与其上一个单位产生关联，如1分钟等于60秒。将时间的使用一个向量表示，
Figure BDA0002331746630000081
其中ti表示时间在某个计量单位下的取值，Ti表示当前计量单位的周期，||表示向量的拼接，如2019年11月18日11时28分46秒，经计算可以表示为：
Figure BDA0002331746630000082
共16维向量，任意的时间戳都能够被这个向量唯一表示，并且向量中不同分量直接体现不同维度的周期性。
应理解的，通过时间编码，将时间的周期性引入到传统的处理时序数据的方法中，可以帮助模型更好的提取待预测数据关于时间各个单位下周期特征。
车流量标准化，设定车流量上限为当前统计量最大值的1.2倍，以此为界使用最大最小标准化将车流量等比例缩放到[0,1]区间内。车流量标准化便于模型的非线性函数更好的学习。
作为一个或多个实施例，S3中，基于注意力机制的神经网络；如图2所示，包括：
依次连接的输入层、时序节点嵌入层、N个串联叠加的注意力机制模块、和逆卷积变换线性输出层，本例中，N为2；
所述注意力机制模块，包括：依次连接的时序注意力层、第一标准化层、图注意力层、和残差叠加标准化层；
所述时序注意力层的输入端与时序节点嵌入层的输出端连接；
所述残差叠加标准化层的输出端与逆卷积变换线性输出层连接；
所述注意力机制模块，还包括：残差连接子模块，所述残差连接子模块的输入端与时序节点嵌入层的输出端连接，所述残差连接子模块的输出端与残差叠加标准化层的输入端连接。
进一步地，所述时序节点嵌入层，包括：映射函数：o＝a(i*kernel)+b，其中，a是激活函数，kernel是当前层创建的权值矩阵，b是当前层创建的偏置向量，i是当前层的输入，o是当前层的输出。在本实施例中，a是线性激活函数，b为0。
进一步地，所述时序节点嵌入层，用于：对输入数据进行线性映射，输入的数据为车流量数据、时间编码、交叉口节点编码等数据流组成的tensor张量，嵌入后的数据同时携带时间长短周期变化特征和图结构关联特征，并转换为固定大小的张量。
进一步地，所述逆卷积变换线性输出层，包括彼此连接的逆卷积变换层和线性输出层，所述逆卷积变换层的输入端与注意力机制模块的输出端连接。
进一步地，逆卷积变换层包含卷积层，卷积层包括若干个逆卷积核。
进一步地，逆卷积变换层，用于对卷积操作得到的特征结果向相反的方向进行运算，保持特征在变换尺度上的一致性。
进一步地，线性输出层包括与时序节点嵌入层相同的结构。
进一步地，所述线性输出层，用于对经逆卷积变换层输出的高维特征线性映射到车流量数据序列。
进一步地，所述时序注意力层，如图3所示，包括：
依次连接的输入层、时序卷积层、第一reshape函数、第一张量乘法函数、softmax函数、第二张量乘法函数、第一张量拼接函数和输出层；
所述时序注意力层，还包括：第二reshape函数、第三reshape函数和残差单元；
所述第二reshape函数层的输入端与输入层的输出端连接；
所述第二reshape函数层的输出端与第二张量乘法函数的输入端连接；
所述第三reshape函数层的输入端与输入层的输出端连接；
所述第三reshape函数层的输出端与第一张量乘法函数的输入端连接；
所述残差单元的输入端与输入层的输出端连接；
所述残差单元的输出端与第一张量拼接函数的输入端连接；
进一步地，所述时序卷积层的内部结构是：由多个二维卷积层和池化层顺序堆叠而成。
进一步地，所述第一reshape函数的功能是对输入的张量形状进行重塑，以便于进行下一步的计算。
进一步地，所述第二reshape函数、第三reshape函数的内部结构与第一reshape函数的内部结构相同。
进一步地，所述残差单元的内部结构是：由一层reshape函数构成，用于将输入张量形状重塑之后直接传递到输出，避免模型训练过程梯度消失和梯度爆炸问题。
进一步地，所述时序注意力层，用于提取数据在时间维度的相关特征，并将该特征用张量表示并传递给下一个层。
进一步地，所述第一标准化层，包括：一个批标准化层。
进一步地，所述第一标准化层，用于对训练过程中一批训练数据进行标准化处理，使用一个线性变换函数将输入标准化层的张量指定分量按照均值为0，方差为1的分布进行线性映射。
进一步地，所述图注意力层，如图5所示，包括多个注意力头部，每个注意力头部关注不同层面的注意力，每个注意力头部内部结构相同，包括：
输入层，用于将输入数据区分为特征张量和邻接矩阵，分别输入到网络中不同位置。
特征张量单元，携带节点的时序信息和图节点编码信息的多维数组。
邻接矩阵单元，携带图节点之间相关性信息的二维矩阵。
特征权重核，是用于被训练的参数矩阵，用于将特征张量的某一维度映射为一个固定长度向量的矩阵。
第三张量乘法函数，用于将特征张量与特征权重核进行矩阵相乘，将特征维度映射到一个固定长度，称为hiddenfeature隐特征。
注意力权重核，是用于被训练的参数矩阵，用于将隐特征映射到注意力隐特征。
第四张量乘法函数，用于将隐特征与注意力权重核进行矩阵相乘，将隐特征映射到自注意力隐特征和邻接注意力隐特征。
自注意力单元，即为自注意力隐特征。
邻接注意力单元，即为邻接注意力隐特征。
转置函数单元，用于将邻接注意力隐特征进行转置操作，便于下一步运算。
第一加法函数，用于将自注意力和邻接注意力相加，得到总的注意力特征。
LeakyRelu激活函数，用于对总的注意力特征的每一个元素进行非线性变换。
邻接矩阵单元，邻接矩阵首先经过mask掩码处理，公式为：
Amask＝-109*(1-)
其中A是邻接矩阵，Amask是经过mask掩码后的邻接矩阵，经掩码后，邻接矩阵中原来为1的元素映射为0，原来为0的元素映射为-109。
第二加法函数，用于将经过非线性变换之后的总的注意力与Amask相加。
softmax函数，用于将总注意力与Amask的和进行计算，得出注意力相关性矩阵。
第一dropout函数，用于按照设定概率和比例将部分注意力相关性矩阵的参数置为0，避免模型过拟合。
第二dropout函数，用于按照设定概率和比例将隐特征的参数置为0，避免模型过拟合。
第五张量乘法函数，用于对经过dropout处理的注意力相关性矩阵和隐特征进行矩阵乘法，得到经相关性加权的隐特征。
激活层，用于对经相关性加权的隐特征进行非线性变换。
进一步地，所述图注意力层，用于将输入数据中关于图结构节点与自身和邻居之间的注意力特征进行提取和处理，并区分注意力头部得到不同的注意力隐特征，并输出传递给模型的下一层。
进一步地，残差连接子模块，包括：一个reshape函数。
进一步地，残差连接子模块，用于将注意力模块整体的输入数据经形状重塑之后直接传递给残差叠加标准化层，避免模型训练过程梯度消失和梯度爆炸问题。
进一步地，残差叠加标准化层，包括：叠加的一个张量加法函数和一个批标准化层。
进一步地，残差叠加标准化层，用于将来自图注意力层和残差连接子模块的数据进行张量加法之后再进行批标准化操作，使用一个线性变换函数将输入批标准化层的张量指定分量按照均值为0，方差为1的分布进行线性映射。
应理解的，在一般的时序预测任务中，数据体现在按照一定时间单位统计而得的一系列数据向量，数据向量一般是描述客观实体的多维特征，数据向量整体上关于时间呈现出自相关性或周期规律性。传统的序列模型注意力关注输入数据在不同时间点之间的相关性，比如自然语言处理领域的Transformer，其中就包含大量序列注意力结构。
本公开提出的时序注意力关注的是各个数据特征在时间维度内“横向”变化相关性，而不是传统注意力关注“纵向”相关性。输入数据通过时序卷积层提取各个维度特征在时间上的局部相关性，形成一个提取了各个时间维度变化特征的feature map，如图4所示。
进一步地，所述时序注意力层的工作原理是：
假设Dt-w～Dt-1为按照时间序列采样的数据向量，数据向量一共有m个维度，每个维度都是关于时间的数据特征，对每一行的数据特征沿着时间方向进行卷积，提取该数据特征在时间上的pattern样式，通过Relu激活函数和Pooling池化层后再经过一次时间卷积，最后得到由k个卷积核和m维特征为尺寸的feature map特征图，本例中使用了n＝2层卷积神经网络，卷积核大小为1×3；
输入数据和feature map通过reshape函数进行形状重塑之后进行逐个元素乘积得到一个m×m相关性矩阵；
将张量通过softmax函数之后得到每个时间维度的注意力系数；
将每个时间维度的注意力系数，与输入相乘即得到在时序维度注意力之下的输出；
进一步地，所述图注意力层的工作原理是：
图注意力层使用了多头注意力机制，输入数据包含节点特征和路网图的邻接矩阵，节点特征通过线性变换与自身相乘得到隐特征，隐特征对自身和邻居计算注意力，将二者的注意力相加得到总的注意力，通过LeakyRelu激活函数非线性变换之后与邻接矩阵生成的mask掩码相加，通过softmax函数计算出相关性矩阵，相关性矩阵经过Dropout标准化之后与输入的隐变量相乘得到最终输出。多头注意力机制可以确保不同的头关注隐变量空间的不同状态信息，增加模型表征能力，最后对多头的输出结果进行拼接之后就可以得到总输出。
进一步地，在时序注意力和图注意力层之后需要对输出数据送入第二标准化层，确保不同的注意力层之间数据分布的一致性；残差连接子模块在注意力模块内部连接，避免深度网络梯度消失问题；逆卷积变换使用了卷积操作的逆运算，将特征映射回时序空间，线性输出层主要用于最后输出序列预测数据。
作为一个或多个实施例，S3中，预训练的基于注意力机制的神经网络的训练步骤包括：
S301：构建训练集和测试集；
S302：将训练集输入到基于注意力机制的神经网络中，对基于注意力机制的神经网络进行训练；
S303：将测试集输入到训练后的基于注意力机制的神经网络中，进行测试，将测试结果达标的基于注意力机制的神经网络作为训练好的基于注意力机制的神经网络。
进一步地，所述构建训练集和测试集；具体步骤包括：
S3011：获取训练用的城市交通流量数据；根据道路连接关系构建路网图；
S3012：对训练用的城市交通流量数据进行预处理；
S3013：对预处理后的训练用的城市交通流量数据，按照比例划分为训练集和测试集。
应理解的，所述S3011的具体步骤与S1的步骤相同；
应理解的，所述S3012的具体步骤与S2的步骤相同。
进一步地，所述S302中，将训练集输入到基于注意力机制的神经网络中，对基于注意力机制的神经网络进行训练；具体步骤包括：
使用基于节点掩码的训练机制：
待预测卡口数量为nf，训练集中卡口总数为Nv，nf<Nv，
Figure BDA0002331746630000151
每一轮训练使用
Figure BDA0002331746630000152
的概率随机生成节点掩码，即以
Figure BDA0002331746630000153
的概率随机选择节点作为验证集，剩余数据作为训练集；
通过多轮训练迭代，基于注意力机制的神经网络就学习到训练数据中全部图结构特征。
经过预处理的数据以batch批为单位送入模型，batch的尺寸为32，数据集中所有数据都经过一次模型计算称为一个轮次，每10个轮次会重新计算节点掩码并重新组织训练和验证数据，模型训练轮次设置为大于10000的整数。
模型通过GPU进行训练，所有模型配置均通过配置文件设定，模型的损失函数为最小均方误差，使用Adam优化算法对训练过程进行优化，初始学习率为0.0005，训练轮次数大于10000。训练完毕之后的模型保存为由学习到的参数和模型结构组成的特殊数据结构，可以被重复使用并直接用来预测指定交通卡口未来的交通流量。
经过训练的模型可以对在训练集中没有数据的未知卡口进行流量预测，如要预测kp卡口在时间tp～tp+δ内的车流量，只需要将卡口编码和时间段编码拼接之后输入模型，模型即可推理计算出预测结果。
实施例二，本实施例还提供了基于注意力机制的图神经网络交通流量预测系统；
基于注意力机制的图神经网络交通流量预测系统，包括：
获取模块，其被配置为：获取待预测的城市交通流量数据；根据道路连接关系构建路网图；
预处理模块，其被配置为：对待预测的城市交通流量数据进行预处理；
预测模块，其被配置为：将路网图和预处理后的结果，输入到预训练的基于注意力机制的神经网络中，最后输出城市交通流量的预测结果。
实施例三，本实施例还提供了一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成实施例一所述方法的步骤。
实施例四，本实施例还提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成实施例一所述方法的步骤。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (8)

1.基于注意力机制的图神经网络交通流量预测方法，其特征是，基于时序和图注意力机制的神经网络对道路交通流量进行建模预测，通过时序注意力和图注意力机制分别在时间维度和图结构维度获取交通流量变化和相关性特征，利用深度网络拟合城市市区内指定范围内道路路网的车流量模型，并预测指定道路卡口未来的交通流量数据，包括：
获取待预测的城市交通流量数据；根据道路连接关系构建路网图；
对待预测的城市交通流量数据进行预处理；
将路网图和预处理后的结果，输入到预训练的基于注意力机制的神经网络中，最后输出城市交通流量的预测结果；
所述基于注意力机制的神经网络，包括：
依次连接的输入层、时序节点嵌入层、N个串联叠加的注意力机制模块、和逆卷积变换线性输出层；
所述注意力机制模块，包括：依次连接的时序注意力层、第一标准化层、图注意力层、和残差叠加标准化层；
所述时序注意力层的输入端与时序节点嵌入层的输出端连接；
所述残差叠加标准化层的输出端与逆卷积变换线性输出层连接；
所述注意力机制模块，还包括：残差连接子模块，所述残差连接子模块的输入端与时序节点嵌入层的输出端连接，所述残差连接子模块的输出端与残差叠加标准化层的输入端连接；
所述图注意力层，包括多个注意力头部，每个注意力头部关注不同层面的注意力，每个注意力头部内部结构相同，包括：
输入层，用于将输入数据区分为特征张量和邻接矩阵，分别输入到网络中不同位置；
特征张量单元，携带节点的时序信息和图节点编码信息的多维数组；
邻接矩阵单元，携带图节点之间相关性信息的二维矩阵；
特征权重核，是用于被训练的参数矩阵，用于将特征张量的某一维度映射为一个固定长度向量的矩阵；
第三张量乘法函数，用于将特征张量与特征权重核进行矩阵相乘，将特征维度映射到一个固定长度，称为hiddenfeature隐特征；
注意力权重核，是用于被训练的参数矩阵，用于将隐特征映射到注意力隐特征；
第四张量乘法函数，用于将隐特征与注意力权重核进行矩阵相乘，将隐特征映射到自注意力隐特征和邻接注意力隐特征；
自注意力单元，即为自注意力隐特征；
邻接注意力单元，即为邻接注意力隐特征；
转置函数单元，用于将邻接注意力隐特征进行转置操作，便于下一步运算；
第一加法函数，用于将自注意力和邻接注意力相加，得到总的注意力特征；
LeakyRelu激活函数，用于对总的注意力特征的每一个元素进行非线性变换；
邻接矩阵单元，邻接矩阵经过mask掩码处理；
第二加法函数，用于将经过非线性变换之后的总的注意力与Amask相加；
softmax函数，用于将总注意力与Amask的和进行计算，得出注意力相关性矩阵；
第一dropout函数，用于按照设定概率和比例将部分注意力相关性矩阵的参数置为0，避免模型过拟合；
第二dropout函数，用于按照设定概率和比例将隐特征的参数置为0，避免模型过拟合；
第五张量乘法函数，用于对经过dropout处理的注意力相关性矩阵和隐特征进行矩阵乘法，得到经相关性加权的隐特征；
激活层，用于对经相关性加权的隐特征进行非线性变换；
所述图注意力层，用于将输入数据中关于图结构节点与自身和邻居之间的注意力特征进行提取和处理，并区分注意力头部得到不同的注意力隐特征，并输出传递给模型的下一层；
用邻接矩阵表示路网图节点之间的连接关系，图的邻接矩阵
Figure FDA0002900165250000031
节点集合
Figure FDA0002900165250000032
边集合
Figure FDA0002900165250000033
所述邻接矩阵单元，邻接矩阵首先经过mask掩码处理，公式为：
Amask＝-109*(1-A)
其中A是邻接矩阵，Amask是经过mask掩码后的邻接矩阵，经掩码后，邻接矩阵中原来为1的元素映射为0，原来为0的元素映射为-109；
经过训练的模型可以对在训练集中没有数据的未知卡口进行流量预测，如要预测kp卡口在时间tp～tp+δ内的车流量，只需要将卡口编码和时间段编码拼接之后输入模型，模型即可推理计算出预测结果。
2.如权利要求1所述的方法，其特征是，对待预测的城市交通流量数据进行预处理；具体步骤包括：
S201：根据每个时间点待预测卡口的车流量，按照设定时间间隔进行统计；将t时刻之后的Δt时间段内的车流量作为t时刻的车流量，进而得到以时间为索引的车流量统计表；以卡口ID区分同一时间段内通过不同卡口的车流量数据，得到以卡口为索引的车流量统计表；
S202：异常值处理：设定滑动窗口，以滑动窗口内的平均值分别作为以时间为索引的车流量统计表和以卡口为索引的车流量统计表的缺失数据的填充值；
S203：特征标准化处理：对异常值处理后的以时间为索引的车流量统计表和以卡口为索引的车流量统计表，分别进行时间标准化处理和车流量标准化处理。
3.如权利要求1所述的方法，其特征是，所述时序节点嵌入层，用于：对输入数据进行线性映射，输入的数据为车流量数据、时间编码、交叉口节点编码数据流组成的tensor张量，嵌入后的数据同时携带时间长短周期变化特征和图结构关联特征，并转换为固定大小的张量。
4.如权利要求1所述的方法，其特征是，所述时序注意力层，包括：
依次连接的输入层、时序卷积层、第一reshape函数、第一张量乘法函数、softmax函数、第二张量乘法函数、第一张量拼接函数和输出层；
所述时序注意力层，还包括：第二reshape函数、第三reshape函数和残差单元；
所述第二reshape函数层的输入端与输入层的输出端连接；
所述第二reshape函数层的输出端与第二张量乘法函数的输入端连接；
所述第三reshape函数层的输入端与输入层的输出端连接；
所述第三reshape函数层的输出端与第一张量乘法函数的输入端连接；
所述残差单元的输入端与输入层的输出端连接；
所述残差单元的输出端与第一张量拼接函数的输入端连接。
5.如权利要求1所述的方法，其特征是，
残差连接子模块，用于将注意力模块整体的输入数据经形状重塑之后直接传递给残差叠加标准化层，避免模型训练过程梯度消失和梯度爆炸问题；
残差叠加标准化层，用于将来自图注意力层和残差连接子模块的数据进行张量加法之后再进行批标准化操作，使用一个线性变换函数将输入批标准化层的张量指定分量按照均值为0，方差为1的分布进行线性映射。
6.基于注意力机制的图神经网络交通流量预测系统，采用了权利要求1-5中任一项所述的基于注意力机制的图神经网络交通流量预测方法，其特征是，基于时序和图注意力机制的神经网络对道路交通流量进行建模预测，通过时序注意力和图注意力机制分别在时间维度和图结构维度获取交通流量变化和相关性特征，利用深度网络拟合城市市区内指定范围内道路路网的车流量模型，并预测指定道路卡口未来的交通流量数据，包括：
获取模块，其被配置为：获取待预测的城市交通流量数据；根据道路连接关系构建路网图；
预处理模块，其被配置为：对待预测的城市交通流量数据进行预处理；
预测模块，其被配置为：将路网图和预处理后的结果，输入到预训练的基于注意力机制的神经网络中，最后输出城市交通流量的预测结果。
7.一种电子设备，其特征是，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成权利要求1-5任一项方法所述的步骤。
8.一种计算机可读存储介质，其特征是，用于存储计算机指令，所述计算机指令被处理器执行时，完成权利要求1-5任一项方法所述的步骤。
CN201911339022.XA 2019-12-23 2019-12-23 基于注意力机制的图神经网络交通流量预测方法及系统 Active CN111161535B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911339022.XA CN111161535B (zh) 2019-12-23 2019-12-23 基于注意力机制的图神经网络交通流量预测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911339022.XA CN111161535B (zh) 2019-12-23 2019-12-23 基于注意力机制的图神经网络交通流量预测方法及系统

Publications (2)

Publication Number Publication Date
CN111161535A CN111161535A (zh) 2020-05-15
CN111161535B true CN111161535B (zh) 2021-03-02

Family

ID=70557830

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911339022.XA Active CN111161535B (zh) 2019-12-23 2019-12-23 基于注意力机制的图神经网络交通流量预测方法及系统

Country Status (1)

Country Link
CN (1) CN111161535B (zh)

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111667158B (zh) * 2020-05-26 2022-06-10 南开大学 一种基于多图神经网络联合学习的工作技能预测方法
CN111710008B (zh) * 2020-05-29 2023-07-11 北京百度网讯科技有限公司 人流密度的生成方法、装置、电子设备以及存储介质
CN111783262B (zh) * 2020-06-17 2022-10-18 北京航空航天大学 一种基于层次化图神经网络的路网表征的学习方法
CN111696355A (zh) * 2020-06-29 2020-09-22 中南大学 动态图卷积交通速度预测方法
CN111882878B (zh) * 2020-09-02 2021-07-02 烟台大学 一种基于交通流预测的最大化关键道路通行能力的方法
CN112116155B (zh) * 2020-09-18 2023-07-25 平安科技（深圳）有限公司 基于智能决策的人口流动预测方法、装置及计算机设备
CN112364975B (zh) * 2020-10-14 2023-06-02 山东大学 基于图神经网络的终端运行状态预测方法及系统
CN112289045B (zh) * 2020-10-19 2021-12-21 智邮开源通信研究院(北京)有限公司 交通信号控制方法、装置、电子设备及可读存储介质
CN112241814B (zh) * 2020-10-20 2022-12-02 河南大学 一种基于强化时空图神经网络的交通预测方法
CN112101482B (zh) * 2020-10-26 2022-05-06 西安交通大学 一种对有缺失卫星数据进行参数异常模式检测的方法
CN112288156B (zh) * 2020-10-26 2023-03-31 哈尔滨工程大学 基于元学习和图注意力时空神经网络的空气质量预测方法
CN112437022B (zh) * 2020-11-11 2023-05-19 中国科学技术大学先进技术研究院 网络流量识别方法、设备及计算机存储介质
CN112489420B (zh) * 2020-11-17 2022-06-21 中国科学院深圳先进技术研究院 一种公路交通状态预测方法、系统、终端以及存储介质
CN112529254B (zh) * 2020-11-19 2022-11-25 歌尔股份有限公司 一种路径规划方法、装置和电子设备
CN112419729B (zh) * 2020-11-23 2022-04-15 北京嘀嘀无限科技发展有限公司 一种根据预测车流量确定决策策略的方法和系统
CN112765229B (zh) * 2020-12-25 2022-08-16 哈尔滨工程大学 一种基于多层注意力机制的空气质量推断方法
CN112766597B (zh) * 2021-01-29 2023-06-27 中国科学院自动化研究所 公交客流预测方法及系统
CN112927507B (zh) * 2021-02-04 2022-12-23 南京航空航天大学 一种基于LSTM-Attention的交通流量预测方法
CN113034913A (zh) * 2021-03-22 2021-06-25 平安国际智慧城市科技股份有限公司 交通拥堵预测方法、装置、设备及存储介质
CN113178073A (zh) * 2021-04-25 2021-07-27 南京工业大学 一种基于时间卷积网络的车流量短期预测优化应用方法
CN113283986A (zh) * 2021-04-28 2021-08-20 南京大学 算法交易系统及基于该系统的算法交易模型的训练方法
CN113345236A (zh) * 2021-06-11 2021-09-03 北京航空航天大学 一种基于Transformer网络的时空交通状态预测方法
CN113505536A (zh) * 2021-07-09 2021-10-15 兰州理工大学 一种优化的基于时空图卷积网络的交通流预测模型
CN113806534B (zh) * 2021-09-03 2023-04-18 电子科技大学 一种面向社交网络的热点事件预测方法
CN113971496A (zh) * 2021-11-03 2022-01-25 北京航空航天大学 活动影响下的城市交通路网状态演化趋势预测方法及系统
CN114066081B (zh) * 2021-11-23 2022-04-26 北京恒通慧源大数据技术有限公司 基于图注意力网络的企业风险预测方法、装置和电子设备
CN113935555B (zh) * 2021-12-15 2022-03-18 华录易云科技有限公司 一种基于路网结构的状况自适应交通预测方法及其系统
CN114299728B (zh) * 2021-12-29 2023-04-21 杭州电子科技大学 结合注意力机制与动态时空卷积模型的车辆流量预测方法
CN114519610A (zh) * 2022-02-16 2022-05-20 支付宝(杭州)信息技术有限公司 信息预测方法以及装置
CN114897161B (zh) * 2022-05-17 2023-02-07 中国信息通信研究院 一种基于掩码的图分类后门攻击防御方法、系统、电子设备及存储介质
CN114925836B (zh) * 2022-07-20 2022-11-29 中国海洋大学 基于动态多视图图神经网络的城市交通车流量推理方法
CN115018021B (zh) * 2022-08-08 2023-01-20 广东电网有限责任公司肇庆供电局 基于图结构与异常注意力机制的机房异常检测方法及装置
CN115620510B (zh) * 2022-08-25 2023-12-05 重庆邮电大学 一种基于自适应窗口注意力提取时空依赖的交通流预测方法
CN115271833B (zh) * 2022-09-28 2023-08-25 湖北省楚天云有限公司 一种共享单车需求量预测方法及预测系统
CN115619052B (zh) * 2022-12-20 2023-03-17 安徽农业大学 一种城市交通流量预测方法
CN115830875A (zh) * 2023-02-14 2023-03-21 清华大学 交通流量预测方法、装置及电子设备
CN116205383B (zh) * 2023-05-05 2023-07-18 杭州半云科技有限公司 一种基于元学习的静态动态协同图卷积交通预测方法
CN116994427A (zh) * 2023-07-04 2023-11-03 重庆邮电大学 一种基于大数据的道路路况预测方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9633560B1 (en) * 2016-03-30 2017-04-25 Jason Hao Gao Traffic prediction and control system for vehicle traffic flows at traffic intersections
US10929674B2 (en) * 2016-08-29 2021-02-23 Nec Corporation Dual stage attention based recurrent neural network for time series prediction
CN109166309B (zh) * 2018-08-06 2021-03-19 重庆邮电大学 一种面向复杂城市交通网络的缺失流量数据恢复方法
CN109446187B (zh) * 2018-10-16 2021-01-15 浙江大学 基于注意力机制与神经网络的复杂装备健康状态监测方法
CN109767622B (zh) * 2019-02-14 2021-12-17 重庆邮电大学 面向卡口相似性划分和循环神经网络的交通流量预测方法
CN109887282B (zh) * 2019-03-05 2022-01-21 中南大学 一种基于层级时序图卷积网络的路网交通流预测方法
CN110570651B (zh) * 2019-07-15 2020-10-30 浙江工业大学 一种基于深度学习的路网交通态势预测方法及系统
CN110415521B (zh) * 2019-07-31 2021-03-05 京东城市(北京)数字科技有限公司 交通数据的预测方法、装置和计算机可读存储介质

Also Published As

Publication number Publication date
CN111161535A (zh) 2020-05-15

Similar Documents

Publication Publication Date Title
CN111161535B (zh) 基于注意力机制的图神经网络交通流量预测方法及系统
CN109492822B (zh) 空气污染物浓度时空域关联预测方法
CN109887282B (zh) 一种基于层级时序图卷积网络的路网交通流预测方法
CN111210633B (zh) 一种基于深度学习的短时交通流预测方法
CN107529651B (zh) 一种基于深度学习的城市交通客流预测方法和设备
CN109508360B (zh) 一种基于元胞自动机的地理多元流数据时空自相关分析方法
CN110570651B (zh) 一种基于深度学习的路网交通态势预测方法及系统
CN115240425B (zh) 一种基于多尺度时空融合图网络的交通预测方法
CN114626512B (zh) 一种基于有向图神经网络的高温灾害预报方法
CN113053115A (zh) 一种基于多尺度图卷积网络模型的交通预测方法
CN110942637B (zh) 基于空域图卷积神经网络的scats系统道路交通流预测方法
CN111915081B (zh) 一种基于深度学习的峰值敏感型出行需求预测方法
CN114944053B (zh) 一种基于时空超图神经网络的交通流预测方法
Sun et al. Dual dynamic spatial-temporal graph convolution network for traffic prediction
CN115273464A (zh) 一种基于改进的时空Transformer的交通流量预测方法
CN113762338B (zh) 一种基于多重图注意力机制的交通流预测方法、设备及介质
Massaoudi et al. Performance evaluation of deep recurrent neural networks architectures: Application to PV power forecasting
CN111341109B (zh) 一种基于时空相似性的城市级信号推荐系统
CN114120637A (zh) 一种基于连续监测器的智慧高速交通流量预测方法
CN115206092A (zh) 一种基于注意力机制的BiLSTM和LightGBM模型的交通预测方法
CN116011684A (zh) 一种基于时空图卷积网络的交通流量预测方法
Chen et al. A short-term traffic flow prediction model based on AutoEncoder and GRU
CN115935796A (zh) 一种基于时空异质的和同步的图卷积网络交通流预测方法
CN116844041A (zh) 一种基于双向卷积时间自注意力机制的耕地提取方法
CN112528557A (zh) 基于深度学习的洪水流量预测系统和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant