CN114330868A - 基于自注意力的个性化增强图卷积网络的客流预测方法 - Google Patents

基于自注意力的个性化增强图卷积网络的客流预测方法 Download PDF

Info

Publication number
CN114330868A
CN114330868A CN202111614461.4A CN202111614461A CN114330868A CN 114330868 A CN114330868 A CN 114330868A CN 202111614461 A CN202111614461 A CN 202111614461A CN 114330868 A CN114330868 A CN 114330868A
Authority
CN
China
Prior art keywords
passenger flow
matrix
network
flow data
attention
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111614461.4A
Other languages
English (en)
Inventor
高超
刘浩
王震
李向华
朱培灿
李学龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwestern Polytechnical University
Original Assignee
Northwestern Polytechnical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwestern Polytechnical University filed Critical Northwestern Polytechnical University
Priority to CN202111614461.4A priority Critical patent/CN114330868A/zh
Publication of CN114330868A publication Critical patent/CN114330868A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开基于自注意力的个性化增强图卷积网络的客流预测方法,包括采集地铁网络的历史客流量数据,构建不同时刻地铁网络邻接矩阵;将地铁网络邻接矩阵和每个地铁站点的历史客流量数据输入个性化增强图卷积神经网络P‑GCN,提取客流数据集中的空间特征,其中图卷积神经网络P‑GCN中定义可训练的对角矩阵;构建位置编码,将位置编码和客流数据集中的空间特征输入多头自注意力网络,计算查询矩阵、键矩阵和值矩阵;利用查询矩阵、键矩阵和值矩阵V,计算每个地铁站点的新客流数据;对新客流数据进行标准化处理,优化自注意力的个性化增强图卷积网络,输出客流预测结果。本发明显著提高了客流预测准确性,有效预测未来一段时间内的客流量。

Description

基于自注意力的个性化增强图卷积网络的客流预测方法
技术领域
本发明涉及深度学习与智能交通领域,特别是涉及基于自注意力的个性化增强图卷积网络的客流预测方法。
背景技术
现今,人工智能技术飞速发展,同时随着廉价交通传感器技术的大量应用,爆炸式增长的交通数据,人类开始进入交通大数据和智能交通时代。智能交通系统旨在建立一套完整的交通信息服务和交通管理控制系统,该系统可以缓解交通拥堵问题,比如智能交通系统对轨道交通站点客流预测可以对站点压力进行测试,并且根据预测客流数据合理规划线路时刻表,从而有效缓解站点拥堵的问题。智能交通系统还可以对道路交通进行实时监控和预测,并对道路网络的交通状态进行合理规划,进而提高车辆的通行效率、减少交通事故的发生。
随着经济的快速发展、城市现代化建设的步伐加快和人口的稳定增长,城市交通拥堵问题越来越严重。地铁作为城市轨道交通的重要组成部分,在缓解交通拥堵方面发挥了巨大的作用。然而,在轨道交通快速发展的今天,乘客的急剧增加使得许多城市的地铁系统超负荷运行,构成了巨大的安全隐患,威胁着乘客的生命安全。同时,随着城市中地铁线路的增多,地铁线路结构越来越复杂,地铁运营的效率同样面临着严峻的挑战。显然,准确预测地铁客流是应对这些挑战的重要手段。根据预测的客流峰值数据,可以判断出新建地铁站的基本规模,站台长度,站台疏散人群的能力等,从根源消除地铁站的危险因素,避免地铁站的各种安全问题,同时还可以为出行者规划最优出行路线,有效避免高峰人流,提高出行效率,保障出行安全。准确的客流预测可以帮助管理者制定合理的运营计划,进行合理的车辆调度有效的提高地铁运营效率,同时还可以为未来地铁建设提供参考信息。
传统的交通流预测的方法主要分为两大类:基于统计学的方法和基于传统的机器学习的方法。1.基于统计学的方法由ARIMA及其变体、VAR、卡尔曼滤波(Kalmanfiltering),这些方法都有数学基础,具有较强的可解释性。然而,交通数据的高度非线性和动态性,使得这些方法不符合线性和平稳性的假设,所以在实际应用中性能较差。2.基于传统的机器学习的方法有支持向量机(Support Vector Machine),K近邻(K-NearestNeighbors)等方法,这些方法可以对非线性关系进行建模,并且提取交通数据中的复杂关系。但在大数据的时代背景下,这些方法需要对数据中的特征进行人工提取,当数据集比较庞大时,会耗费大量人力,并且不能保证准确性。
近年来,随着深度学习技术在计算机视觉、自然语言处理等诸多领域的迅速发展,该技术也逐应用在智能交通领域中,因为深度学习可以对原始交通数据进行端到端学习,自动提取特征并捕获交通数据的相关性。交通数据是一种典型的时间序列数据,在交通预测任务中,从交通数据中获取时间特征是必不可少的。受RNN对序列数据相关性建模能力的启发,RNN作为交通流预测模型的重要组成部分被广泛应用。然而,由于其存在消失梯度和爆炸梯度问题,RNN处理长序列数据往往是一个难题,针对这些问题提出了几种不同的RNN变体。例如,LSTM,它通过门控机制中的遗忘门,缓解了RNN模型中消失梯度和爆炸梯度的问题;GRU在基本原理上与LSTM相似,但以结构简单、参数少、训练时间短而著称。然而以上方法没有考虑交通数据的空间相关性,交通流预测不受路网结构的约束。因此,它们往往不能在整个路网上达到最佳效果。为了解决上述问题,一些研究将交通数据作为规则图像,利用CNN和城市区域、路段等地理属性来描述空间相关性。这些方法都需要将交通网络转化为规则的网格网络。究其原因,CNN本质上适用于图像和规则网格等欧几里得空间,而交通数据是分布在交通网络中的时间序列数据,属于非欧几里得数据。因此,CNN对于拓扑结构复杂的交通网络有一定的局限性,不能完全捕捉交通数据的空间相关性。考虑到这一局限性的影响,许多研究人员将深度学习模型扩展到图数据,并利用GCN来表示不规则交通数据之间的关系。然而,原始的GCN存在预测值偏平滑的问题,即预测数值的峰值不明显。其原因是GCN模型在傅里叶域中定义了一个平滑滤波器,并通过不断移动滤波器来捕获空间特征。这一过程将导致整体预测结果发生较小的变化,使客流数据的峰值更加平滑。
发明内容
本发明的目的是提供基于自注意力的个性化增强图卷积网络的客流预测方法,以解决上述现有技术存在的问题。能够预测出每个地铁站的客流峰值,根据预测的客流峰值数据,判断出新建地铁站的基本规模,站台长度,站台疏散人群的能力等,从根源消除地铁站的危险因素,避免地铁站的各种安全问题,同时还为出行者规划最优出行路线,有效避免高峰人流,提高出行效率,保障出行安全。
为实现上述目的,本发明提供了如下方案:本发明提供基于自注意力的个性化增强图卷积网络的客流预测方法,包括以下步骤:
采集地铁网络的历史客流量数据,构建不同时刻的地铁网络邻接矩阵,其中,所述地铁网络包括若干地铁站点;
将所述地铁网络邻接矩阵和每个地铁站点的所述历史客流量数据输入个性化增强图卷积神经网络P-GCN,提取客流数据集中的空间特征,其中所述个性化图卷积神经网络P-GCN中定义可训练的对角矩阵;
构建位置编码,将所述位置编码和所述客流数据集中的空间特征输入多头自注意力网络,计算查询矩阵、键矩阵和值矩阵;
利用所述查询矩阵、键矩阵和值矩阵V,计算每个所述地铁站点的新客流数据;
对所述新客流数据进行标准化处理,优化自注意力的个性化增强图卷积网络,输出客流预测结果。
可选地,所述地铁网络为:
Figure BDA0003436051520000041
其中,
Figure BDA0003436051520000042
为地铁网络,v表示地铁站点的集合,v={vi|i∈[1,N]},N表示站点的数量;E表示站点之间的物理连边,E={eij=(vi,vj)/i,j∈[1,N],i≠j},如果vi和vj之间存在一条边,则eij∈E的值为1;每个vi在t时刻的特征定义为
Figure BDA0003436051520000043
其中C表示特征的个数。
可选地,将所述地铁网络邻接矩阵和每个地铁站点的所述历史客流量数据输入个性化增强图卷积神经网络P-GCN,提取客流数据集中的空间特征包括:
将所述邻接矩阵输入个性化增强图卷积神经网络P-GCN计算拉普拉斯矩阵;
在所述个性化增强图卷积神经网络P-GCN中设置对角矩阵,将所述对角矩阵与所述拉普拉斯矩阵相加,通过所述个性化增强图卷积神经网络P-GCN,聚合相邻站点的客流信息,提取客流数据集中的空间特征,其中,所述对角矩阵为可学习的对角矩阵,所述客流数据集中的空间特征为具有空间特征的时间序列数据。
可选地,所述拉普拉斯矩阵为:
Figure BDA0003436051520000051
其中,
Figure BDA0003436051520000052
表示邻接矩阵A加上单位矩阵IN
Figure BDA0003436051520000053
表示
Figure BDA0003436051520000054
的度矩阵,度矩阵为对角矩阵,对角线上的元素值表示各顶点的度。
可选地,所述客流数据集中的空间特征如式(2)所示:
Figure BDA0003436051520000055
其中,Hl表示图神经网络第l层的输出;Wl表示第l层可学习参数;σ(·)表示非线性激活函数;
Figure BDA0003436051520000056
表示邻接矩阵A加上单位矩阵IN
Figure BDA0003436051520000057
表示
Figure BDA0003436051520000058
的度矩阵;H(l+1)表示第l+1层的输出。
可选地,构建位置编码,将所述位置编码和所述客流数据集中的空间特征输入多头自注意力网络,计算查询矩阵、键矩阵和值矩阵包括:
计算位置编码,所述位置编码如式(4):
Figure BDA0003436051520000061
其中,
Figure BDA0003436051520000062
为位置编码,p为数据在客流数据序列中的位置,i表示客流数据的维度,dmodel为位置嵌入维度;
将所述客流数据集中的空间特征与所述位置编码相加,获得得到所述客流数据集中的空间特征的向量表示;
设置三个参数矩阵,分别为WQ,WK,WV使用这三个参数矩阵与所述客流数据集中的空间特征的向量表示分别做线性变换得到查询矩阵Q,键矩阵K,值矩阵V,如式(5)所示:
Figure BDA0003436051520000063
其中,三个参数矩阵WQ
Figure BDA0003436051520000064
Figure BDA0003436051520000065
是客流数据集中的空间特征的特征维度,dk是输入的维度,Q,K,V为学习到的所有的数据节点共享的映射矩阵,χ′为向量表示。
可选地,优化图的多头自注意力时空图卷积网络的过程中采用不同的损失函数。
可选地,优化图的多头自注意力时空图卷积网络包括:
构建两个基于图的多头自注意力时空图卷积网络PEM-GCN结构的客流预测模型,获取两个不同的中间结果;
利用损失函数最小化两个所述中间结果之间的双向Kullback-Leibler发散度,如式(8)所示:
Figure BDA0003436051520000071
其中,
Figure BDA0003436051520000072
Figure BDA0003436051520000073
分别为两个中间结果,
Figure BDA0003436051520000074
Figure BDA0003436051520000075
为两个通道输出的分布,DKL()是Kullback-Leibler散度函数;
利用平均绝对损失函数,分别计算两个所述客流预测模型的预测结果与标签之间的损失,如式(9)所示:
Figure BDA0003436051520000076
其中,
Figure BDA0003436051520000077
Figure BDA0003436051520000078
分别为两个客流预测模型的中间结果,Y为标签值;
对得到的两个损失值进行整合,如式(10)所示:
Figure BDA0003436051520000079
其中,
Figure BDA00034360515200000710
Figure BDA00034360515200000711
分别为两个客流预测模型的中间结果,
Figure BDA00034360515200000713
Figure BDA00034360515200000712
分别为公式(8)和公式(9)的结果,a为控制双向KL散度的系数;
分别保存两个所述客流预测模型的最优参数,对所述最优参数进行验证,取最优解作为所述客流预测模型的最终参数。
可选地,输出客流预测结果包括:改变双通道结构,只使用一个通道,加载所述最终参数,对客流数据进行预测,并输出最终预测结果。
本发明公开了以下技术效果:
本发明提供的基于自注意力的个性化增强图卷积网络的客流预测方法,(1)通过构建一个新颖的基于自注意力的个性化增强图卷积网络PEM-GCN模型用于地铁客流预测,在该模型中设计了个性化增强图卷积神经网络(P-GCN)来抵消平滑滤波器的影响,增强换乘节点自身的权重占比,提高模型对客流峰值数据的预测能力;
(2)将P-GCN与多头自注意力网络相结合,考虑客流数据的全局时间依赖性和邻近节点间丰富的局部上下文信息,不仅能够获得客流数据的全局时间依赖性还能获取到相邻节点之间的局部上下文信息;
(3)将对比学习融入到图的多头自注意力时空图卷积网络中,最大限度地提高了从两个通道中学习到的两个客流数据特征之间的相似性,从而提高了模型的鲁棒性和准确率;
(4)本发明适用于地铁站点客流量的预测问题,显著提高了客流预测的准确性,能够有效预测未来一段时间内的客流量。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例中于图的多头自注意力时空图卷积网络的客流预测方法流程示意图;
图2为本发明实施例中图的多头自注意力时空图卷积网络数据处理过程详细图解;
图3为本发明实施例中使用的对比学习过程图解;
图4为本发明实施例中在上海数据集上的消融实验结果图,其中,图(a)为不同模型变体在MAE指标上的性能;图(b)为不同模型变体在RMSE指标上的性能;图(c)为不同模型变体在MAPE指标上的性能。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
本发明提供一种基于自注意力的个性化增强图卷积网络的客流预测方法。本实施例所采集到的地铁网络数据的各项数据如表1所示,其中上海地铁站点数量共285个站点,历史客流数据的时间跨度为2015年4月6日-2015年4月26日,共计20天,每一条数据间隔时间为15min。其中重庆地铁站点数量共89个站点,历史客流数据的时间跨度为2015年7月7日-2015年8月29日,共计53天,每一条数据间隔时间为15min。本发明使用数据的80%作为训练集,另外20%的数据作为测试集验证模型的性能。
表1
数据集 站点数 数据日期 天数(天) 时间(min/条)
ShangHai 285 2015/4.6-2015/4.26 20 15
ChongQing 89 2015/7.7-2015/8.29 53 15
如图1-3所示,包括以下步骤:
S1:输入地铁网络
Figure BDA0003436051520000101
的邻接矩阵A。如图2(a)所示。v={vi|i∈[1,N]},其中v表示地铁站点的集合,N表示站点的数量;E={eij=(vi,vj)/i,j∈[1,N],i≠j},其中E表示站点之间的物理连边,如果vi和vj之间存在一条边,则eij∈E的值为1;每个vi在t时刻的特征定义为
Figure BDA0003436051520000102
其中C表示特征的个数。节点在t时刻的所有特征值可以定义为
Figure BDA0003436051520000103
因此输入每个站点的历史客流量数据
Figure BDA00034360515200001013
其中
Figure BDA00034360515200001012
为历史序列的长度,C为节点属性特征个数,N为站点个数。
S2:通过S1的输入计算拉普拉斯矩阵
Figure BDA0003436051520000104
其中
Figure BDA0003436051520000105
表示邻接矩阵A加上单位矩阵IN
Figure BDA0003436051520000106
表示
Figure BDA0003436051520000107
的度矩阵,度矩阵为对角矩阵,对角线上的元素值表示各顶点的度。
S3:设置一个可学习的对角矩阵,基于聚合信息差异个性化的方法,在拉普拉斯矩阵归一化后,通过与可学习对角矩阵相加的方式个性化增强节点在信息聚合过程中所占的权重比例,可以表示为如式(1)所示:
Figure BDA0003436051520000108
其中Λ为可学习对角矩阵,
Figure BDA0003436051520000109
表示邻接矩阵A加上单位矩阵IN
Figure BDA00034360515200001010
表示
Figure BDA00034360515200001011
的度矩阵,度矩阵为对角矩阵,对角线上的元素值表示各顶点的度。关于可学习对角矩阵,会随着模型的更新而更新,该矩阵中每一个元素值的大小是对应节点增强权重的幅度,因此能够实现个性化增强节点在聚合信息过程中的权重值。该方法解决了图卷积神经网络的平滑滤波器在数据方差较大情况下,会使聚合的信息平均化,无法准确预测客流峰值的问题。
S4:根据S1输入的每个站点的历史客流量数据以及S2和S3分别对邻接矩阵进行预处理和增加一个可学习的对角矩阵来个性化增强节点的权重值,如图2(b)所示。通过图卷积神经网络的卷积操作,聚合相邻站点的客流信息,提取数据集中的空间特征。可以表示为如式(2)所示:
Figure BDA0003436051520000111
其中Hl表示图神经网络第l层的输出,当l=0时,Hl=X;;Wl表示第l层可学习参数;σ(·)表示非线性激活函数;
Figure BDA0003436051520000112
表示邻接矩阵A加上单位矩阵IN
Figure BDA0003436051520000113
表示
Figure BDA0003436051520000114
的度矩阵。H(l+1)表示第l+1层的输出,并且该值会作为下一层的输入。两层的图神经网络可以表示为:
Figure BDA0003436051520000115
其中,
Figure BDA0003436051520000116
表示邻接矩阵A加上单位矩阵IN
Figure BDA0003436051520000117
表示
Figure BDA0003436051520000118
的度矩阵,Λ表示可学习对角矩阵;X表示S1步骤输入的每个站点的历史客流量数据矩阵;W(0)是第一层神经网络的学习参数矩阵;W(l)是第二层神经网络的学习参数矩阵。X’是两层图神经网络模型输出的具有空间特征的时间序列数据。
基于个性化增强自节点权重的图卷积神经网络模型,充分考虑换乘站点对客流预测结果的影响,解决了传统图卷积神经网络无法准确预测峰值数据的问题。通过个性化增强图卷积神经网络P-GCN模型得到的结果是具有空间特征的时间序列数据。
S5:计算位置编码。因为多头自注意力网络没有循环神经网络的迭代操作,所以需要提供数据的位置信息给多头自注意力网络。公式化表示为:
Figure BDA0003436051520000121
其中p为数据在客流数据序列中的位置,i表示客流数据的维度,dmodel为位置嵌入维度。将S4得到的带有空间特征的时间序列数据X’与位置编码
Figure BDA0003436051520000122
相加得到该数据的向量表示x′用于后面的计算。
S6:计算查询矩阵Q,键矩阵K,值矩阵V。首先需要定义三个参数矩阵,分别为WQ,WK,WV使用这三个参数矩阵与x′分别做线性变换得到查询矩阵Q,键矩阵K,值矩阵V。其公式化表示为:
Figure BDA0003436051520000123
其中三个参数矩阵
Figure BDA0003436051520000124
是x′的特征维度,dk是输入的维度。Q,K,V为学习到的所有的数据节点共享的映射矩阵。
S7:通过S6计算得出的查询矩阵、键矩阵和值矩阵计算每个数据节点的得分和最终计算出一个新的客流数据
Figure BDA0003436051520000136
其公式化表示为如式(6)所示:
Figure BDA0003436051520000131
其中Q,K,V为S6过程计算得出,dk是输入的维度,softmax(·)为激活函数。
S8:对S7的结果进行残差连接和层归一化操作。其中残差连接可以解决,当网络层数扩大时出现的网络退化问题;层归一化处理的作用时对数据进行标准化处理,可以使后续的激活函数更好的发挥作用。其公式化表示为如式(7)所示:
Figure BDA0003436051520000137
其中,LayerNormal()为层归一化函数,χ′为S5位置编码后的结果,
Figure BDA0003436051520000138
为S7经过自注意力层的结果。
S9:通过普通卷积层输出预测结果
Figure BDA0003436051520000132
即利用
Figure BDA0003436051520000135
个时间步的历史客流数据预测未来
Figure BDA0003436051520000133
个时间步的客流数据。其中N为站点格式,
Figure BDA0003436051520000134
为预测时间步。
S10:利用对比学习的思想增强模型的性能和鲁棒性。本实施例采用双通道结构,如图3所示,图的两侧分支分别代表两个通道,两个通道的相同点是:通道采用相同的网络结构,即都是利用PEM-GCN模型得到输出结果。不同点是:每个通道使用的PEM-GCN模型的初始化参数是不同的。这样,将同样的输入数据放入左右两侧的通道,最终可以得到两个不同的结果,即这两个结果具有一定的差异性。出现这样结果的原因是模型的初始化参数不同。理论上来说,通过两个通道得到的输出结果无限接近时,能够证明该模型是优越的,而差异越大表明模型的性能以及鲁棒性不够好。因此,为了消除这种差异,增强模型的鲁棒性,对这两个中间结果进行对比学习。设计了一个损失函数最小化每个通道的两个中间结果之间的双向Kullback-Leibler(KL)发散度,其公式化表示为如式(8)所示:
Figure BDA0003436051520000141
其中,
Figure BDA0003436051520000142
Figure BDA0003436051520000143
分别为两个中间结果,
Figure BDA0003436051520000144
Figure BDA0003436051520000145
为两个通道输出的分布,DKL()是Kullback-Leibler散度函数,用于计算上述两种输出分布之间的相似性。相似度越高,KL散度越小。理论上,这两种输出分布的相似度越高,模型的泛化能力越高,模型的预测精度越好。此外,利用平均绝对损失函数,分别计算两个通道的预测结果与标签之间的损失
Figure BDA0003436051520000146
其公式化表示为如式(9)所示:
Figure BDA0003436051520000147
其中,
Figure BDA0003436051520000148
Figure BDA0003436051520000149
分别为两个通道的中间结果,Y为标签值。最终,本实施例对得到的两个损失值进行整合,其公式化表示为如式(10)所示:
Figure BDA00034360515200001410
其中,
Figure BDA00034360515200001411
Figure BDA00034360515200001412
分别为两个通道的中间结果,
Figure BDA00034360515200001413
Figure BDA00034360515200001414
分别为公式(8)和公式(9)的结果,α为控制双向KL散度的系数。α的取值范围为[0,9],本发明实例经过参数实验分析得出结论:在α=5时,最终预测结果最佳。
S11:在训练过程中分别保存两个通道模型的最优参数,利用测试集对其进行验证,取最优解作为模型最终的参数集合Θ。
S12:改变双通道结构,如图2所示,即只利用图3中一侧的通道,去掉对比学习的过程。更具体地说,在客流预测阶段不再需要通过对比学习优化模型参数,因此,本实施例中去掉了图3中对比学习的过程,直接采用PEM-GCN模型对客流进行预测。将测试数据输入到PEM-GCN模型中,加载S11中的获得的该模型的最优参数集合Θ,对客流数据进行预测,并且得到最终的预测结果
Figure BDA0003436051520000151
即利用
Figure BDA0003436051520000154
个时间步的历史客流数据预测未来
Figure BDA0003436051520000152
个时间步的客流数据。其中N为站点格式,
Figure BDA0003436051520000153
为预测时间步。
表2展示了多种对比方法和本发明提出的方法(PEM-GCN)在多个真实网络上的客流预测效果对比。并通过平均绝对误差(MAE),均方根误差(RMSE),平均绝对百分比误差(MAPE)对客流预测的效果进行评估。每行中加粗的项表示该方法在对应行的数据集上效果最好。由此看出,本发明提出的PEM-GCN方法在客流预测上的效果优于其它方法。
表2
Figure BDA0003436051520000161
Figure BDA0003436051520000171
表3进一步探究双向Kullback-Leibler散度α系数对实验结果的影响,本发明设计了一个比较实验,比较不同系数值下评价指标的变化。为了便于展示,本实施例计算了不同时间粒度的评价指标的平均值。该实验分析以上海数据集为例。表3显示的结果表明,当α从1增加到5时,度量值不断减少。但当α值达到7时,RMSE、MAE和MAPE值增加,这意味着α值越高并不代表性能越好。当α值达到9时,虽然MAE值略有下降,但随着RMSE和MAPE值的增加,整体性能下降。实验表明,PEM-GCN模型有一个最优值,可以达到最佳性能。通过对比实验分析,当α为5时,模型的预测性能达到最佳。
表3
Figure BDA0003436051520000172
图4展示了本发明在上海数据集上的消融实验的结果,能够得出结论,两个关键组件在改善模型性能方面起着重要作用。这两个组件分别是个性化增强节点权重矩阵和对比学习。对于个性化增强节点权重矩阵,如图4所示,PEM-GCN的性能在所有指标上都优于没有增强矩阵模型的PEM-GCN_L。具体而言,PEM-GCN在MAE、RMSE和MAPE上的表现分别比PEM-GCN_L高出22.32%、19.17%和24.45%。这说明了在客流预测任务中提高节点权重的有效性和必要性。由于中转站经常是拥挤的,而普通站通常客流正常,因此,需要扩大中转站的权重值,以突出实际的峰值数据。对于对比学习组件,从图4可以看出,在所有的评价指标中,PEM-GCN的表现都明显优于PEM-GCN_C。其中,PEM-GCN在MAE、RMSE和MAPE指标上分别比PEM-GCN_C高出19.29%、17.43%和42.37%。结果表明,通过引入对比学习方法,可以引导神经网络进行深度训练,学习更多的特征,获得更好的预测结果。总之,这些实验结果证实了对比学习模块的优越性。
本发明提出一种新的个性化增强图卷积神经网络(P-GCN),该网络定义了一个可训练的对角矩阵对每一个站点的权重进行个性化的增强,以减轻平滑滤波器的影响。然后,融合Transformer模型中的多头自注意力机制来获取全局的客流时间特征信息,并且与P-GCN继承了GCN捕捉图中连接节点之间局部上下文信息的能力优势互补,既获得了客流数据的全局时间依赖性,又获得了相邻节点之间的局部上下文信息。最后,为了提高模型的鲁棒性和准确性,将监督学习和非监督学习中的对比学习结合。具体来说,在无监督学习中,采用两个通道进行对比学习,使两个通道所学习的中间结果之间的相对熵最小,从而相互获取新的信息,提高模型的性能。此外,在有监督学习过程中,使用标签来指导模型训练。
此外,基于自注意力时空图卷积网络(PEM-GCN)的客流预测方法,不仅可以用于地铁站点客流量的预测,还可以应用在道路车流预测中。准确的交通流预测对于交通设施的规划、设计、管理和控制具有重要参考价值。比如说,通过预测道路交通的车流量信息,管理者可以通过控制信号灯或者增派交通警察等方式有效缓解高峰路段的拥堵程度;并且为未来规划道路设计提供参考信息,比如道路应该设计成几个车道,哪一部分的道路可以减少车道数,哪一部分需要增加车道数,哪些道路是单行道等等,从而最大可能保证新规划的道路能够有效缓解甚至解决道路拥堵问题。
本发明提出了自注意力时空图卷积网络的客流预测方法,提出了一种基于聚合信息差分个性化方法的个性化增强图卷积网络(P-GCN)。与大多数基于GCN的预测模型不同,该模型采用可学习对角矩阵来缓解平滑滤波器的负面影响,通过提高节点权值来提高峰值数据的预测能力。同时,为了更好的捕获客流数据的时间特征,本发明并没有利用RNN以及变体获取时间特征,而是融合Transformer中的多头注意力机制获取,因为该模型不仅能够同时捕获局部和全局的时间特征。此外,本发明利用对比学习的辅助机制,对潜在空间中的客流数据进行挖掘,可以使模型获得更多的隐藏特征信息。本发明提出的PEM-GCN模型使用对比学习的思想来限制两个子模型输出的相似性,从而挖掘潜在的空间数据信息。本发明能够预测出每个地铁站的客流峰值,根据预测的客流峰值数据,可以判断出新建地铁站的基本规模,站台长度,站台疏散人群的能力等,从根源消除地铁站的危险因素,避免地铁站的各种安全问题,同时还可以为出行者规划最优出行路线,有效避免高峰人流,提高出行效率,保障出行安全。
最后应说明的是:以上所述实施例,仅为本发明的具体实施方式,用以说明本发明的技术方案,而非对其限制,本发明的保护范围并不局限于此,尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应所述以权利要求的保护范围为准。

Claims (9)

1.基于自注意力的个性化增强图卷积网络的客流预测方法,其特征在于:包括以下步骤:
采集地铁网络的历史客流量数据,构建不同时刻的地铁网络邻接矩阵,其中,所述地铁网络包括若干地铁站点;
将所述地铁网络邻接矩阵和每个地铁站点的所述历史客流量数据输入个性化增强图卷积神经网络P-GCN,提取客流数据集中的空间特征,其中所述个性化图卷积神经网络P-GCN中定义可训练的对角矩阵;
构建位置编码,将所述位置编码和所述客流数据集中的空间特征输入多头自注意力网络,计算查询矩阵、键矩阵和值矩阵;
利用所述查询矩阵、键矩阵和值矩阵V,计算每个所述地铁站点的新客流数据;
对所述新客流数据进行标准化处理,优化自注意力的个性化增强图卷积网络,输出客流预测结果。
2.根据权利要求1所述的基于自注意力的个性化增强图卷积网络的客流预测方法,其特征在于,所述地铁网络为:
Figure FDA0003436051510000011
其中,
Figure FDA0003436051510000012
为地铁网络,
Figure FDA0003436051510000014
表示地铁站点的集合,
Figure FDA0003436051510000015
N表示站点的数量;E表示站点之间的物理连边,E={eij=(vi,vj)/i,j∈[1,N],i≠j},如果vi和vj之间存在一条边,则eij∈E的值为1;每个Vi在t时刻的特征定义为
Figure FDA0003436051510000013
其中C表示特征的个数。
3.根据权利要求1所述的基于自注意力的个性化增强图卷积网络的客流预测方法,其特征在于,将所述地铁网络邻接矩阵和每个地铁站点的所述历史客流量数据输入个性化增强图卷积神经网络P-GCN,提取客流数据集中的空间特征包括:
将所述邻接矩阵输入个性化增强图卷积神经网络P-GCN计算拉普拉斯矩阵;
在所述个性化增强图卷积神经网络P-GCN中设置对角矩阵,将所述对角矩阵与所述拉普拉斯矩阵相加,通过所述个性化增强图卷积神经网络P-GCN,聚合相邻站点的客流信息,提取客流数据集中的空间特征,其中,所述对角矩阵为可学习的对角矩阵,所述客流数据集中的空间特征为具有空间特征的时间序列数据。
4.根据权利要求3所述的基于自注意力的个性化增强图卷积网络的客流预测方法,其特征在于,所述拉普拉斯矩阵为:
Figure FDA0003436051510000021
其中,
Figure FDA0003436051510000022
Figure FDA0003436051510000023
表示邻接矩阵A加上单位矩阵IN
Figure FDA0003436051510000024
表示
Figure FDA0003436051510000025
的度矩阵,度矩阵为对角矩阵,对角线上的元素值表示各顶点的度。
5.根据权利要求3所述的基于自注意力的个性化增强图卷积网络的客流预测方法,其特征在于,所述客流数据集中的空间特征如式(2)所示:
Figure FDA0003436051510000026
其中,Hl表示图神经网络第l层的输出;Wl表示第l层可学习参数;σ(·)表示非线性激活函数;
Figure FDA0003436051510000027
表示邻接矩阵A加上单位矩阵IN
Figure FDA0003436051510000031
表示
Figure FDA0003436051510000032
的度矩阵;H(l+1)表示第l+1层的输出。
6.根据权利要求3所述的基于自注意力的个性化增强图卷积网络的客流预测方法,其特征在于,构建位置编码,将所述位置编码和所述客流数据集中的空间特征输入多头自注意力网络,计算查询矩阵、键矩阵和值矩阵包括:
计算位置编码,所述位置编码如式(4):
Figure FDA0003436051510000033
其中,
Figure FDA0003436051510000034
为位置编码,p为数据在客流数据序列中的位置,i表示客流数据的维度,dmodel为位置嵌入维度;
将所述客流数据集中的空间特征与所述位置编码相加,获得得到所述客流数据集中的空间特征的向量表示;
设置三个参数矩阵,分别为WQ,WK,WV使用这三个参数矩阵与所述客流数据集中的空间特征的向量表示分别做线性变换得到查询矩阵Q,键矩阵K,值矩阵V,如式(5)所示:
Figure FDA0003436051510000035
其中,三个参数矩阵
Figure FDA0003436051510000036
Figure FDA0003436051510000037
是客流数据集中的空间特征的特征维度,dk是输入的维度,Q,K,V为学习到的所有的数据节点共享的映射矩阵,x′为向量表示。
7.根据权利要求1所述的基于自注意力的个性化增强图卷积网络的客流预测方法,其特征在于,优化图的多头自注意力时空图卷积网络的过程中采用不同的损失函数。
8.根据权利要求7所述的基于自注意力的个性化增强图卷积网络的客流预测方法,其特征在于,优化图的多头自注意力时空图卷积网络包括:
构建两个基于图的多头自注意力时空图卷积网络PEM-GCN结构的客流预测模型,获取两个不同的中间结果;
利用损失函数
Figure FDA0003436051510000041
最小化两个所述中间结果之间的双向Kullback-Leibler发散度,如式(8)所示:
Figure FDA0003436051510000042
其中,
Figure FDA0003436051510000043
Figure FDA0003436051510000044
分别为两个中间结果,
Figure FDA0003436051510000045
Figure FDA0003436051510000046
为两个通道输出的分布,DKL()是Kullback-Leibler散度函数;
利用平均绝对损失函数,分别计算两个所述客流预测模型的预测结果与标签之间的损失,如式(9)所示:
Figure FDA0003436051510000047
其中,
Figure FDA0003436051510000048
Figure FDA0003436051510000049
分别为两个客流预测模型的中间结果,Y为标签值;
对得到的两个损失值进行整合,如式(10)所示:
Figure FDA00034360515100000410
其中,
Figure FDA00034360515100000411
Figure FDA00034360515100000412
分别为两个客流预测模型的中间结果,
Figure FDA00034360515100000413
Figure FDA00034360515100000414
分别为公式(8)和公式(9)的结果,a为控制双向KL散度的系数;
分别保存两个所述客流预测模型的最优参数,对所述最优参数进行验证,取最优解作为所述客流预测模型的最终参数。
9.根据权利要求8所述的基于自注意力的个性化增强图卷积网络的客流预测方法,其特征在于,输出客流预测结果包括:改变双通道结构,只使用一个通道,加载所述最终参数,对客流数据进行预测,并输出最终预测结果。
CN202111614461.4A 2021-12-27 2021-12-27 基于自注意力的个性化增强图卷积网络的客流预测方法 Pending CN114330868A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111614461.4A CN114330868A (zh) 2021-12-27 2021-12-27 基于自注意力的个性化增强图卷积网络的客流预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111614461.4A CN114330868A (zh) 2021-12-27 2021-12-27 基于自注意力的个性化增强图卷积网络的客流预测方法

Publications (1)

Publication Number Publication Date
CN114330868A true CN114330868A (zh) 2022-04-12

Family

ID=81013823

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111614461.4A Pending CN114330868A (zh) 2021-12-27 2021-12-27 基于自注意力的个性化增强图卷积网络的客流预测方法

Country Status (1)

Country Link
CN (1) CN114330868A (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114973653A (zh) * 2022-04-27 2022-08-30 中国计量大学 一种基于时空图卷积网络的交通流预测方法
CN115034496A (zh) * 2022-06-27 2022-09-09 北京交通大学 基于GCN-Transformer的城市轨道交通节假日短时客流预测方法
CN115081717A (zh) * 2022-06-27 2022-09-20 北京建筑大学 融合注意力机制和图神经网络的轨道交通客流预测方法
CN115146844A (zh) * 2022-06-27 2022-10-04 北京交通大学 一种基于多任务学习的多模式交通短时客流协同预测方法
CN115271833A (zh) * 2022-09-28 2022-11-01 湖北省楚天云有限公司 一种共享单车需求量预测方法及预测系统
CN115620525A (zh) * 2022-12-16 2023-01-17 中国民用航空总局第二研究所 基于时变动态贝叶斯网络的短时交通客运需求预测方法
CN115762199A (zh) * 2022-09-20 2023-03-07 东南大学 一种基于深度强化学习和逆强化学习的交通灯控制方法
CN116110588A (zh) * 2022-05-10 2023-05-12 北京理工大学 基于动态邻接矩阵和时空注意力的医学时间序列预测方法
CN116128122A (zh) * 2023-01-03 2023-05-16 北京交通大学 一种考虑突发因素的城市轨道交通短时客流预测方法
CN116187210A (zh) * 2023-05-04 2023-05-30 生态环境部华南环境科学研究所(生态环境部生态环境应急研究所) 一种lstm耦合机理模型的时空多源近岸海域水质时序预测方法
CN116432868A (zh) * 2023-06-12 2023-07-14 深圳大学 基于节点查询集的地铁客流量预测方法、装置及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113487066A (zh) * 2021-06-18 2021-10-08 山西云时代智慧城市技术发展有限公司 基于多属性增强图卷积-Informer模型的长时序货运量预测方法
CN113537626A (zh) * 2021-08-03 2021-10-22 西北工业大学 一种聚合信息差异的神经网络结合时间序列预测的方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113487066A (zh) * 2021-06-18 2021-10-08 山西云时代智慧城市技术发展有限公司 基于多属性增强图卷积-Informer模型的长时序货运量预测方法
CN113537626A (zh) * 2021-08-03 2021-10-22 西北工业大学 一种聚合信息差异的神经网络结合时间序列预测的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SHENGNAN GUO等: "《Attention Based Spatial-Temporal Graph Convolutional Networks for Traffic Flow Forecasting》" *

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114973653A (zh) * 2022-04-27 2022-08-30 中国计量大学 一种基于时空图卷积网络的交通流预测方法
CN114973653B (zh) * 2022-04-27 2023-12-19 中国计量大学 一种基于时空图卷积网络的交通流预测方法
CN116110588A (zh) * 2022-05-10 2023-05-12 北京理工大学 基于动态邻接矩阵和时空注意力的医学时间序列预测方法
CN116110588B (zh) * 2022-05-10 2024-04-26 北京理工大学 基于动态邻接矩阵和时空注意力的医学时间序列预测方法
CN115034496A (zh) * 2022-06-27 2022-09-09 北京交通大学 基于GCN-Transformer的城市轨道交通节假日短时客流预测方法
CN115081717A (zh) * 2022-06-27 2022-09-20 北京建筑大学 融合注意力机制和图神经网络的轨道交通客流预测方法
CN115146844A (zh) * 2022-06-27 2022-10-04 北京交通大学 一种基于多任务学习的多模式交通短时客流协同预测方法
CN115762199B (zh) * 2022-09-20 2023-09-29 东南大学 一种基于深度强化学习和逆强化学习的交通灯控制方法
CN115762199A (zh) * 2022-09-20 2023-03-07 东南大学 一种基于深度强化学习和逆强化学习的交通灯控制方法
CN115271833A (zh) * 2022-09-28 2022-11-01 湖北省楚天云有限公司 一种共享单车需求量预测方法及预测系统
CN115271833B (zh) * 2022-09-28 2023-08-25 湖北省楚天云有限公司 一种共享单车需求量预测方法及预测系统
CN115620525A (zh) * 2022-12-16 2023-01-17 中国民用航空总局第二研究所 基于时变动态贝叶斯网络的短时交通客运需求预测方法
CN116128122A (zh) * 2023-01-03 2023-05-16 北京交通大学 一种考虑突发因素的城市轨道交通短时客流预测方法
CN116128122B (zh) * 2023-01-03 2023-09-12 北京交通大学 一种考虑突发因素的城市轨道交通短时客流预测方法
CN116187210A (zh) * 2023-05-04 2023-05-30 生态环境部华南环境科学研究所(生态环境部生态环境应急研究所) 一种lstm耦合机理模型的时空多源近岸海域水质时序预测方法
CN116432868B (zh) * 2023-06-12 2023-09-19 深圳大学 基于节点查询集的地铁客流量预测方法、装置及存储介质
CN116432868A (zh) * 2023-06-12 2023-07-14 深圳大学 基于节点查询集的地铁客流量预测方法、装置及存储介质

Similar Documents

Publication Publication Date Title
CN114330868A (zh) 基于自注意力的个性化增强图卷积网络的客流预测方法
CN109887282B (zh) 一种基于层级时序图卷积网络的路网交通流预测方法
CN111161535B (zh) 基于注意力机制的图神经网络交通流量预测方法及系统
CN112216108B (zh) 一种基于属性增强的时空图卷积模型的交通预测方法
CN107529651B (zh) 一种基于深度学习的城市交通客流预测方法和设备
Yang et al. MF-CNN: traffic flow prediction using convolutional neural network and multi-features fusion
CN111832814A (zh) 一种基于图注意力机制的空气污染物浓度预测方法
CN114692984B (zh) 基于多步耦合图卷积网络的交通预测方法
CN110766942A (zh) 一种基于卷积长短期记忆网络的交通路网拥堵预测方法
Li et al. Graph CNNs for urban traffic passenger flows prediction
CN111582559B (zh) 一种到达时间的预估方法及装置
Wang et al. An effective dynamic spatiotemporal framework with external features information for traffic prediction
CN111815046B (zh) 基于深度学习的交通流量预测方法
CN113762338B (zh) 一种基于多重图注意力机制的交通流预测方法、设备及介质
CN115440032A (zh) 一种长短期公共交通流量预测方法
CN113537626B (zh) 一种聚合信息差异的神经网络结合时间序列预测的方法
CN112966871A (zh) 基于卷积长短期记忆神经网络的交通拥堵预测方法及系统
CN113256980A (zh) 一种路网状态的确定方法、装置、设备及存储介质
CN114944053A (zh) 一种基于时空超图神经网络的交通流预测方法
CN111341109B (zh) 一种基于时空相似性的城市级信号推荐系统
CN113159403A (zh) 路口行人轨迹预测的方法及装置
CN114565187A (zh) 一种基于图时空自编码网络的交通路网数据预测方法
CN114021809A (zh) 一种无人驾驶用交通流量预测的图层级卷积神经网络模型
Dai et al. Attention based simplified deep residual network for citywide crowd flows prediction
Hsueh et al. A short-term traffic speed prediction model based on LSTM networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination