CN115862319A - 一种面向时空图自编码器的交通流量预测方法 - Google Patents

一种面向时空图自编码器的交通流量预测方法 Download PDF

Info

Publication number
CN115862319A
CN115862319A CN202211390606.1A CN202211390606A CN115862319A CN 115862319 A CN115862319 A CN 115862319A CN 202211390606 A CN202211390606 A CN 202211390606A CN 115862319 A CN115862319 A CN 115862319A
Authority
CN
China
Prior art keywords
traffic flow
time
layer
space
convolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202211390606.1A
Other languages
English (en)
Inventor
夏大文
白德伟
李华青
黄丹
张文勇
申冰琪
霍雨佳
耿建
徐海龙
吴菁
冯夫健
蔡静
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guizhou Minzu University
Original Assignee
Guizhou Minzu University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guizhou Minzu University filed Critical Guizhou Minzu University
Priority to CN202211390606.1A priority Critical patent/CN115862319A/zh
Publication of CN115862319A publication Critical patent/CN115862319A/zh
Withdrawn legal-status Critical Current

Links

Images

Abstract

本发明涉及交通流量预测技术领域,具体地涉及一种面向时空图自编码器的交通流量预测方法。包括:步骤1:使用改进的HA‑RTS算法平滑处理给定的交通流样本数据;步骤2:由Encode层对步骤1处理的交通流样本数据进行编码,编码是指各模块通过参数学习将输入数据输出为包含了预测信息的隐藏特征;步骤3:由多层注意力网络模块、记忆门控卷积模块和全连接层构建的Decode层对步骤2的Encode层中得到的隐藏特征解码为预测值,由此得到交通流量预测结果。本发明集成了多层注意力神经网络和门控记忆卷积神经网络,并去除了模型训练中所受观测噪声影响。有效地提高交通流量预测的准确性和鲁棒性,解决了交通流时空依赖性建模复杂困难的问题。

Description

一种面向时空图自编码器的交通流量预测方法
技术领域
本发明涉及交通流量预测技术领域,具体地涉及一种面向时空图自编码器的交通流量预测方法。
背景技术
交通流量预测是智能交通系统(ITSs)和先进交通管理系统(ATMSs)的重要组成部分。获取及时准确的交通流量信息是实现交通控制和制定交通管理的关键,通过预测未来的交通状况,进而设计有效的交通组织策略以缓解交通拥堵,提高城市交通系统的服务水平和管理效率。
然而,当前大多数方法都是假设先验的、静态的、无定向的交通拓扑图,与交通流节点之间的实际动态交互属性不相匹配。因此,探索交通流动态交互的建模方法和捕捉时空依赖性的方法是关键技术问题。对于具有非欧几里得结构的图数据,卷积神经网络等深度学习模型无法直接利用。基于图神经力网络模型的交通流预测方法可以解决该问题,这些模型的空间关系是通过将相邻节点的信息聚合到目标节点来发现。目前,基于GCN的模型依赖于图的先验信息,要求每个输入都有相同的图结构,因此它们不能在模型迁移过程时从新的拓扑结构中学习空间特征。基于注意力机制的模型被广泛应用于深度学习任务,它可以从所有输入中选择对当前任务相对关键的信息。
但是,现有基于图注意力网络的方法仅考虑了交通流的单层空间动态依赖性,而忽略了复杂的交通转换规律性具有多层性质的事实,从而导致交通流量预测精度低的技术问题。
发明内容
本发明所要解决的技术问题是针对上述现有技术的不足,提供一种面向时空图自编码器的交通流量预测方法,提高交通流量预测的准确性和鲁棒性,该方法考虑了交通流的时空相关性的影响权重,提升了捕捉交通流量非线性特征的能力,有效提高了交通流量预测的准确性和鲁棒性,解决了交通流时空依赖性建模复杂且困难的问题。
本发明解决上述技术问题的技术方案如下:
一种面向时空图自编码器的交通流量预测方法,包括:
步骤1:使用改进的HA-RTS算法平滑处理给定的交通流样本数据;
步骤2:由Encode层对步骤1处理的交通流样本数据进行编码,编码是指各模块通过参数学习将输入数据输出为包含了预测信息的隐藏特征,其中,Encode层是由稀疏特征的全连接层、捕捉时间依赖性的记忆门控卷积模块GMCNN和建模多层次空间依赖性的多层注意力网络模块MGAN所构建;
步骤3:由多层注意力网络模块、记忆门控卷积模块和全连接层构建的Decode层对步骤2的Encode层中得到的隐藏特征解码为预测值,解码是指各模块通过参数学习将隐藏特征映射为预测目标,由此得到交通流量预测结果。
优选的,所述的步骤1的HA-RTS(·)具体处理步骤如下:
步骤1.1:城市交通系统中交通流的状态随时间演变的过程用公式(1)表示为一阶马尔可夫链,用公式(2)表示交通流状态的观测过程:
Zk=ak(Zk-1)=Φk,k-1Zk-1+Wk (1)
Xk=bk(Zk)=ΓkZk+Vk (2)
其中,ak(·)是交通流状态的演变函数,Zk表示当前第k步的交通流状态值,Zk-1表示上一步状态值,Φk,k-1表示一步转移矩阵,Wk表示交通流演变系统的噪声,bk(·)表示交通流状态的观测函数,Xk表示当前交通流状态观测值,Γk表示观测矩阵,Vk表示观测噪声;
步骤1.2:设
Figure BDA0003931768910000031
为第h天第k时刻的交通流状态观测值,则得到一天中第k时刻的交通流状态均值/>
Figure BDA0003931768910000032
其中H为历史数据中第k时刻的交通流状态数据统计个数,由此对第k时刻的缺失或异常的数值进行填充,公式如下:
Figure BDA0003931768910000033
步骤1.3:建立表征预测性能的协方差矩阵和系统状态模型,实现对系统状态及系统噪声随时间演变的估计:
Figure BDA0003931768910000034
Figure BDA0003931768910000035
其中,
Figure BDA0003931768910000036
为一步预测协方差矩阵,/>
Figure BDA0003931768910000037
表示一步预测值,/>
Figure BDA0003931768910000038
表示一步转移矩阵,Wk-1为系统噪声矩阵,上标f表示滤波过程,k=0,1,…,N;
步骤1.4:计算卡尔曼滤波增益矩阵,基于系统量测信息进行状态修正,给出表征滤波性能的协方差阵:
Figure BDA0003931768910000041
Figure BDA0003931768910000042
Figure BDA0003931768910000043
其中,
Figure BDA0003931768910000044
为滤波增益矩阵,Γk为观测矩阵,Vk为观测噪声矩阵,Xk为观测值,/>
Figure BDA0003931768910000045
为状态变量Z的滤波值,/>
Figure BDA0003931768910000046
为滤波协方差矩阵;
步骤1.5:基于前向卡尔曼滤波的结算数据的后向平滑解算,还原在卡尔曼模型下的交通流真实状态值,即最优平滑估计值:
Figure BDA0003931768910000047
Figure BDA0003931768910000048
/>
Figure BDA0003931768910000049
Figure BDA00039317689100000410
其中,
Figure BDA00039317689100000411
为系统k时刻状态的最优平滑估计,/>
Figure BDA00039317689100000412
为平滑增益真,/>
Figure BDA00039317689100000413
为平滑协方阵,上标s表示后向平滑过程,k=N,N-1,…,0。
优选的,所述步骤2具体为:
步骤2.1:将步骤1的输出结果输入到所述稀疏特征的全连接层Linear(·),输出隐藏时空特征;
步骤2.2:将步骤2.1得到的隐藏时空特征xin输入门控记忆卷积神经网络,经过处理后输出Gout
步骤2.3:将步骤2.2的Gout输入多层注意力网络模块MGAN(·),经过处理后得到隐藏空间特征。
优选的,所述步骤2.1具体为:
将步骤1的输出结果
Figure BDA00039317689100000414
输入到所述稀疏特征的全连接层Linear(·):
Figure BDA0003931768910000051
其中,xin为输出的隐藏时空特征,
Figure BDA0003931768910000052
为步骤1的输出结果,即最优平滑估计;W与b为网络的学习参数。
优选的,所述步骤2.2具体为:
步骤2.2.1:将步骤2.1得到的隐藏时空特征xin输入门控记忆卷积神经网络,经过因果卷积得到Gin,再输入到门控单元,由于特征xin的时间长度经过卷积层后会变短,需对其进行裁切以得到残差xResidual,计算公式如下:
Gin=convcausal(xin), (14)
xResidual=Crop[Align(xin)], (15)
其中convcausal(·)为因果卷积函数,Align(·)为维度变换函数;
步骤2.2.2:将步骤2.1.1得到的xResidual与Gin拼接并使用1×1卷积核进行因果卷积变换,再经过sigmoid激活,得到遗忘门R和记忆门Z的门值,R和Z的计算公式如下:
Figure BDA0003931768910000053
Figure BDA0003931768910000054
其中
Figure BDA0003931768910000055
是卷积核为1×1的2维卷积函数,d表示维数;
步骤2.2.3:时空特征Gin通过步骤2.2.2得到的遗忘门R选择性保留后与xResidual相加,再经过1×1卷积核卷积变换和全连接层Linear(·)激活后,得到新的时空特征
Figure BDA0003931768910000056
计算公式如下:
Figure BDA0003931768910000057
/>
步骤2.2.4:记忆门Z作用在步骤2.2.3的
Figure BDA0003931768910000058
而1-Z作用在Gin上,随后将两者与残差xResidual相加,经过pRelu激活,得到隐含状态输出Gout,计算公式如下:
Figure BDA0003931768910000061
优选的,所述步骤2.3具体如下:
步骤2.3.1:在时间区间τ=(t-τ+1,t-τ+2,...,t)内,将多层空间图表示为Gτ=(V,Aτ),其中V={vI|i=1,2,3,...,n}是图Gτ中交通流检测节点vi的集合,Aτ=(At-τ+1,At-τ+2,...,At)表示时间区间τ内的权重连接张量,At为t时刻权重连接矩阵,
Figure BDA0003931768910000062
表示t时刻节点vi到节点vj的权重信息,因为使用多头注意力机制,所以/>
Figure BDA0003931768910000063
其中M为多头注意力机制的头数;
步骤2.3.2:根据步骤2.3.1构建的多层空间图Gτ=(V,Aτ),拆分t时刻节点vi的输入
Figure BDA0003931768910000064
与节点vj的输入/>
Figure BDA0003931768910000065
得到输入张量/>
Figure BDA0003931768910000066
其中输入张量/>
Figure BDA0003931768910000067
是步骤2.2的输出,m=1,2,...M,输入张量的通道数为dm
步骤2.3.3:步骤2.3.2的
Figure BDA0003931768910000068
经过全连接神经网络linearQ与linearK后分别生成查询向量与键值向量,再经过缩放点积,得到节点vi与vj的注意力得分/>
Figure BDA0003931768910000069
Figure BDA00039317689100000610
计算公式如下:
Figure BDA00039317689100000611
步骤2.3.4:通过Softmax函数对注意力得分
Figure BDA00039317689100000612
进行归一化,得到t时刻两点的权重值/>
Figure BDA00039317689100000613
表明节点j的交通流与节点i的交通流的空间相关性大小,/>
Figure BDA00039317689100000614
计算公式如下:
Figure BDA0003931768910000071
步骤2.3.5:将权重值
Figure BDA0003931768910000072
加入dropout神经元随机丢弃机制,模拟城市交通中的突发事件对交通流节点之间相关性的影响,经卷积计算后得到隐藏空间特征/>
Figure BDA0003931768910000073
计算公式如下:
Figure BDA0003931768910000074
其中,
Figure BDA0003931768910000075
为MGAN层的输出,Wt,m为可学习的参数矩阵,M为多头注意力的头数,/>
Figure BDA0003931768910000076
为MGAN层的输入,σ(·)为sigmoid激活函数。
优选的,所述步骤3的Decode层为包括依次设置的多层注意力网络模块MGAN(·)、记忆门控卷积模块GMCNN(·)和稀疏特征的全连接层Linear(·),且MGAN(·)、GMCNN(·)和Linear(·)的操作步骤与步骤2相同。
优选的,由Encode层和Decode层构建时空图自编解码网络STGAE(·),并输出流通流量的预测数据,具体为:
Figure BDA0003931768910000077
其中,Xτ为交通流样本数据,
Figure BDA0003931768910000078
为STGAE网络得到的交通流预测数据,Encode(·)为步骤2中的Encode层,Decode(·)为步骤3中的Decode层,LayerNorm(·)表示在通道维度中进行规一化。
优选的,对预测数据
Figure BDA0003931768910000079
所对应的真实值YT同样进行平滑处理,以消除网络在训练过程中的噪声,由此得到网络STGAE训练过程中的损失函数为:
Figure BDA0003931768910000081
与现有技术相比,本发明的有益效果是:
本发明集成了自适应生成多层注意力矩阵建模多层次动态空间依赖关系的多层注意力神经网络(MGAN),以及为序列化的隐藏特征提供并行计算和非线性处理能力的门控记忆卷积神经网络(GMCNN),并采取平滑网络训练法(NST)去除模型训练中所受观测噪声影响。有效地提高交通流量预测的准确性和鲁棒性,解决了交通流时空依赖性建模复杂且困难的问题。
附图说明
附图用以提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实施例一并用于解释本发明,并不构成对本发明的限制。
在附图中:
图1面向时空图自编解码网络STGAE的交通流预测框架;
图2多层注意力神经网络MGAN;
图3门控记忆卷积神经网络GMCNN;
图4网络平滑训练法NST流程;
图5HA-RTS算法框架;
图6本发明的方法流程图。
本发明中名词解释如表1所示:
表1
Figure BDA0003931768910000091
/>
Figure BDA0003931768910000101
具体实施方式
以下结合附图对本发明的优选实施例进行说明,应当理解,此处所描述的优选实施例仅用于说明和解释本发明,并不用于限定本发明。
实施例:
参照附图1-6所示,在面向时空图自编码器的交通流量预测方法中采取端对端框架,集成了自适应生成多层注意力矩阵建模多层次动态空间依赖关系的多层注意力神经网络(MGAN)(通过扩展多层自注意力机制来建模多层动态空间依赖,自适应地生成多层注意矩阵),以及为序列化的隐藏特征提供并行计算和非线性处理能力的门控记忆卷积神经网络(GMCNN)(在卷积神经网络中引入了遗忘门和记忆门,可以为序列化隐藏特征提供并行计算和非线性处理,以提高执行效率和非线性逼近能力),并采取平滑网络训练法(NST)(平滑输入数据和目标数据的噪声,以提高系统鲁棒性)去除模型训练中所受观测噪声影响。有效地提高交通流量预测的准确性和鲁棒性,解决了交通流时空依赖性建模复杂且困难的问题。
一种面向时空图自编码器的交通流量预测方法,包括:
步骤1:使用改进的HA-RTS算法平滑处理给定的交通流样本数据。从而忽略输入数据中的噪声,并从数据中得到更多有价值的信息。具体如下:
步骤1.1:城市交通系统中交通流的状态随时间演变的过程用公式(1)表示为一阶马尔可夫链,用公式(2)表示交通流状态的观测过程:
Zk=ak(Zk-1)=Φk,k-1Zk-1+Wk (1)
Xk=bk(Zk)=ΓkZk+Vk (2)
其中,ak(·)是交通流状态的演变函数,Zk表示当前第k步的交通流状态值,Zk-1表示上一步状态值,Φk,k-1表示一步转移矩阵,Wk表示交通流演变系统的噪声,bk(·)表示交通流状态的观测函数,Xk表示当前交通流状态观测值,Γk表示观测矩阵,Vk表示观测噪声;
步骤1.2:设
Figure BDA0003931768910000111
为第h天第k时刻的交通流状态观测值,则得到一天中第k时刻的交通流状态均值/>
Figure BDA0003931768910000112
其中H为历史数据中第k时刻的交通流状态数据统计个数,由此对第k时刻的缺失或异常的数值进行填充,公式如下:
Figure BDA0003931768910000113
步骤1.3:建立表征预测性能的协方差矩阵和系统状态模型,实现对系统状态及系统噪声随时间演变的估计:
Figure BDA0003931768910000121
Figure BDA0003931768910000122
其中,
Figure BDA0003931768910000123
为一步预测协方差矩阵,/>
Figure BDA0003931768910000124
表示一步预测值,/>
Figure BDA0003931768910000125
表示一步转移矩阵,Wk-1为系统噪声矩阵,上标f表示滤波过程,k=0,1,…,N;
步骤1.4:计算卡尔曼滤波增益矩阵,基于系统量测信息进行状态修正,给出表征滤波性能的协方差阵:
Figure BDA0003931768910000126
Figure BDA0003931768910000127
Figure BDA0003931768910000128
其中,
Figure BDA0003931768910000129
为滤波增益矩阵,Γk为观测矩阵,Vk为观测噪声矩阵,Xk为观测值,/>
Figure BDA00039317689100001210
为状态变量Z的滤波值,/>
Figure BDA00039317689100001211
为滤波协方差矩阵;
步骤1.5:基于前向卡尔曼滤波的结算数据的后向平滑解算,还原在卡尔曼模型下的交通流真实状态值,即最优平滑估计值:
Figure BDA00039317689100001212
Figure BDA00039317689100001213
Figure BDA00039317689100001214
Figure BDA00039317689100001215
其中,
Figure BDA00039317689100001216
为系统k时刻状态的最优平滑估计,/>
Figure BDA00039317689100001217
为平滑增益真,/>
Figure BDA00039317689100001218
为平滑协方阵,上标s表示后向平滑过程,k=N,N-1,…,0。
步骤2:由Encode层对步骤1处理的交通流样本数据进行编码,编码是指各模块通过参数学习将输入数据输出为包含了预测信息的隐藏特征,其中,Encode层由稀疏特征的全连接层、捕捉时间依赖性的记忆门控卷积模块GMCNN和建模多层次空间依赖性的多层注意力网络模块MGAN所构建。
步骤2.1:将步骤1的输出结果输入到所述稀疏特征的全连接层Linear(·),输出隐藏时空特征。具体为:将步骤1的输出结果
Figure BDA0003931768910000131
输入到所述稀疏特征的全连接层Linear(·):
Figure BDA0003931768910000132
其中,xin为输出的隐藏时空特征,
Figure BDA0003931768910000133
为步骤1的输出结果,即最优平滑估计;W与b为网络的学习参数。
步骤2.2:结合CNN的并行计算、梯度稳定性和结构简单的优点以及GRU网络中的门控机制,使得GMCNN模块在捕获长距离序列时避免耗时的迭代传播和梯度消失/爆炸的问题。特别地,GMCNN模块中的门控存储器单元可以挥发冗余的时空特征并增强长期的时间特征,以提高预测精度。将步骤2.1得到的隐藏时空特征xin输入GMCNN模块,经过处理后输出Gout;具体为:
步骤2.2.1:将步骤2.1得到的隐藏时空特征xin输入门控记忆卷积神经网络,经过因果卷积得到Gin,再输入到门控单元,由于特征xin的时间长度经过卷积层后会变短,需对其进行裁切以得到残差xResidual,计算公式如下:
Gin=convcausal(xin), (14)
xResidual=Crop[Align(xin)], (15)
其中convcausal(·)为因果卷积函数,Align(·)为维度变换函数;
步骤2.2.2:将步骤2.1.1得到的xResidual与Gin拼接并使用1×1卷积核进行因果卷积变换,再经过sigmoid激活,得到遗忘门R和记忆门Z的门值,R和Z的计算公式如下:
Figure BDA0003931768910000141
Figure BDA0003931768910000142
其中
Figure BDA0003931768910000143
是卷积核为1×1的2维卷积函数,d表示维数;
步骤2.2.3:时空特征Gin通过步骤2.2.2得到的遗忘门R选择性保留后与xResidual相加,再经过1×1卷积核卷积变换和全连接层Linear(·)激活后,得到新的时空特征
Figure BDA0003931768910000144
计算公式如下:
Figure BDA0003931768910000145
步骤2.2.4:记忆门Z作用在步骤2.2.3的
Figure BDA0003931768910000146
而1-Z作用在Gin上,随后将两者与残差xResidual相加,经过pRelu激活,得到隐含状态输出Gout,计算公式如下:
Figure BDA0003931768910000147
步骤2.3:根据节点交通流状态的相似性来确定节点之间的权重,并以此刻画节点间相互影响的关系。在此基础上构建表征交通流节点之间结构关系的空间图,用于描述交通流节点之间的结构关系,并从时间维度引入了多层空间图。针对交通流节点的多层次动态交互特性,基于多层注意力神经网络(MGAN),将多层时间信号映射到共同的潜在表征中,以实现对交通流扩散过程的模拟,由此提高模型的预测精度。将步骤2.2的Gout输入多层注意力网络模块MGAN(·),经过处理后得到隐藏空间特征。具体如下:
步骤2.3.1:在时间区间τ=(t-τ+1,t-τ+2,...,t)内,将多层空间图表示为Gτ=(V,Aτ),其中V={vI|i=1,2,3,...,n}是图Gτ中交通流检测节点vi的集合,Aτ=(At-τ+1,At-τ+2,...,At)表示时间区间τ内的权重连接张量,At为t时刻权重连接矩阵,
Figure BDA0003931768910000151
表示t时刻节点vi到节点vj的权重信息,因为使用多头注意力机制,所以/>
Figure BDA0003931768910000152
其中M为多头注意力机制的头数;
步骤2.3.2:根据步骤2.3.1构建的多层空间图Gτ=(V,Aτ),拆分t时刻节点vi的输入
Figure BDA0003931768910000153
与节点vj的输入/>
Figure BDA0003931768910000154
得到输入张量/>
Figure BDA0003931768910000155
其中输入张量/>
Figure BDA0003931768910000156
是步骤2.2的输出,m=1,2,...M,输入张量的通道数为dm
步骤2.3.3:步骤2.3.2的
Figure BDA0003931768910000157
经过全连接神经网络linearQ与linearK后分别生成查询向量与键值向量,再经过缩放点积,得到节点vi与vj的注意力得分/>
Figure BDA0003931768910000158
Figure BDA0003931768910000159
计算公式如下:
Figure BDA00039317689100001510
步骤2.3.4:通过Softmax函数对注意力得分
Figure BDA00039317689100001511
进行归一化,得到t时刻两点的权重值/>
Figure BDA00039317689100001512
表明节点j的交通流与节点i的交通流的空间相关性大小,/>
Figure BDA00039317689100001513
计算公式如下:
Figure BDA00039317689100001514
步骤2.3.5:将权重值
Figure BDA00039317689100001515
加入dropout神经元随机丢弃机制,模拟城市交通中的突发事件对交通流节点之间相关性的影响,经卷积计算后得到隐藏空间特征/>
Figure BDA00039317689100001516
计算公式如下:
Figure BDA0003931768910000161
其中,
Figure BDA0003931768910000162
为MGAN层的输出,Wt,m为可学习的参数矩阵,M为多头注意力的头数,/>
Figure BDA0003931768910000163
为MGAN层的输入,σ(·)为sigmoid激活函数。
步骤3:由多层注意力网络模块、记忆门控卷积模块和全连接层构建的Decode层对步骤2的Encode层中得到的隐藏特征解码为预测值,解码是指各模块通过参数学习将隐藏特征映射为预测目标,由此得到交通流量预测结果。所述Decode层为包括依次设置的多层注意力网络模块MGAN(·)、记忆门控卷积模块GMCNN(·)和稀疏特征的全连接层Linear(·),且MGAN(·)、GMCNN(·)和Linear(·)的操作步骤与步骤2相同。具体为:
步骤3.1:多层注意力网络模块MGAN(·),具体如下:
步骤3.1.1:在时间区间τ=(t-τ+1,t-τ+2,...,t)内,将多层空间图表示为Gτ=(V,Aτ),其中V={vI|i=1,2,3,...,n}是图Gτ中交通流检测节点vi的集合,Aτ=(At-τ+1,At-τ+2,...,At)表示时间区间τ内的权重连接张量,At为t时刻权重连接矩阵,
Figure BDA0003931768910000164
表示t时刻节点vi到节点vj的权重信息,因为使用多头注意力机制,所以/>
Figure BDA0003931768910000165
其中M为多头注意力机制的头数;
步骤3.1.2:根据步骤2.1构建的多层空间图Gτ=(V,Aτ),拆分t时刻节点vi的输入
Figure BDA0003931768910000166
与节点vj的输入/>
Figure BDA0003931768910000167
得到输入张量/>
Figure BDA0003931768910000168
输入张量的通道数为dm
步骤3.1.3:步骤2.2的
Figure BDA0003931768910000169
经过全连接神经网络linearQ与linearK后分别生成查询向量与键值向量,再经过缩放点积,得到节点vi与vj的注意力得分/>
Figure BDA0003931768910000171
Figure BDA0003931768910000172
计算公式如下:
Figure BDA0003931768910000173
步骤3.1.4:通过Softmax函数对注意力得分
Figure BDA0003931768910000174
进行归一化,得到t时刻时两点的权重值/>
Figure BDA0003931768910000175
表明节点j的交通流与节点i的交通流的空间相关性大小。/>
Figure BDA0003931768910000176
计算公式如下:
Figure BDA0003931768910000177
步骤3.1.5:将权重值
Figure BDA0003931768910000178
加入dropout神经元随机丢弃机制,模拟城市交通中的突发事件对交通流节点之间相关性的影响,经卷积计算后得到隐藏空间特征/>
Figure BDA0003931768910000179
计算公式如下:
Figure BDA00039317689100001710
其中,Wt,m为可学习的参数矩阵,M为多头注意力的头数,
Figure BDA00039317689100001711
为MGAN层的输入,/>
Figure BDA00039317689100001712
为MGAN层的输出,σ(·)为sigmoid激活函数。
步骤3.2:记忆门控卷积模块GMCNN(·),具体如下:
步骤3.2.1:将隐藏时空特征xin输入门控记忆卷积神经网络,经过因果卷积得到Gin,再输入到门控单元,由于特征xin的时间长度经过卷积层后会变短,所以需要对其进行裁切以得到残差xResidual,其计算公式如下:
Gin=convcausal(xin), (26)
xResidual=Crop[Align(xin)], (27)
其中convcausal(·)为因果卷积函数,Align(·)为维度变换函数,
步骤3.2.2:将xResidual与Gin拼接并使用1×1卷积核进行卷积变换,再经过sigmoid激活,得到遗忘门R和记忆门Z的门值,R和Z的计算公式如下:
Figure BDA0003931768910000181
Figure BDA0003931768910000182
步骤3.2.3:时空特征Gin通过遗忘门R选择性保留后与xResidual相加,再经过1×1卷积核卷积变换和全连接层激活后,得到新的时空特征
Figure BDA0003931768910000183
计算公式如下:
Figure BDA0003931768910000184
步骤3.2.4:记忆门Z作用在
Figure BDA0003931768910000185
而1-Z作用在Gin上,随后将两者与残差xResidual相加,经过pRelu激活,得到隐含状态输出Gout,计算公式如下:
Figure BDA0003931768910000186
步骤3.3:稀疏特征的全连接层Linear(·),具体如下:
Linear(·)=WX+b, (32)
其中,X为输入,W与b为可学习参数。
由Encode层和Decode层构建时空图自编解码网络STGAE(·),并输出流通流量的预测数据,具体为:
Figure BDA0003931768910000191
其中,Xτ为交通流样本数据,
Figure BDA0003931768910000192
为STGAE网络得到的交通流预测数据,Encode(·)为步骤2中的Encode层,Decode(·)为步骤3中的Decode层,LayerNorm(·)表示在通道维度中进行规一化。
对预测数据
Figure BDA0003931768910000193
所对应的真实值YT同样进行平滑处理,以消除网络在训练过程中的噪声,从而使得模型能够最大化学习过程中所忽略的噪声,并从数据中学习更多有价值的信息。由此得到网络STGAE训练过程中的损失函数为:
Figure BDA0003931768910000194
/>
集成了自适应生成多层注意力矩阵建模多层次动态空间依赖关系的多层注意力神经网络(MGAN),以及为序列化的隐藏特征提供并行计算和非线性处理能力的门控记忆卷积神经网络(GMCNN),并采取平滑网络训练法(NST)去除模型训练中所受观测噪声影响。有效地提高交通流量预测的准确性和鲁棒性,解决了交通流时空依赖性建模复杂且困难的问题。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解,本发明不受上述实施例的限制,上述实施例和说明书中描述的只是说明本发明的原理,在不脱离本发明精神和范围的前提下,本发明还会有各种变化和改进,这些变化和改进都纳入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (9)

1.一种面向时空图自编码器的交通流量预测方法,其特征在于:包括:
步骤1:使用改进的HA-RTS算法平滑处理给定的交通流样本数据;
步骤2:由Encode层对步骤1处理的交通流样本数据进行编码,编码是指各模块通过参数学习将输入数据输出为包含了预测信息的隐藏特征,其中,Encode层是由稀疏特征的全连接层、捕捉时间依赖性的记忆门控卷积模块GMCNN和建模多层次空间依赖性的多层注意力网络模块MGAN所构建;
步骤3:由多层注意力网络模块、记忆门控卷积模块和全连接层构建的Decode层对步骤2的Encode层中得到的隐藏特征解码为预测值,解码是指各模块通过参数学习将隐藏特征映射为预测目标,由此得到交通流量预测结果。
2.根据权利要求1所述的一种面向时空图自编码器的交通流量预测方法,其特征在于:所述的步骤1的HA-RTS(·)具体处理步骤如下:
步骤1.1:城市交通系统中交通流的状态随时间演变的过程用公式(1)表示为一阶马尔可夫链,用公式(2)表示交通流状态的观测过程:
Zk=ak(Zk-1)=Φk,k-1Zk-1+Wk (1)
Xk=bk(Zk)=ΓkZk+Vk (2)
其中,ak(·)是交通流状态的演变函数,Zk表示当前第k步的交通流状态值,Zk-1表示上一步状态值,Φk,k-1表示一步转移矩阵,Wk表示交通流演变系统的噪声,bk(·)表示交通流状态的观测函数,Xk表示当前交通流状态观测值,Γk表示观测矩阵,Vk表示观测噪声;
步骤1.2:设
Figure FDA0003931768900000021
为第h天第k时刻的交通流状态观测值,则得到一天中第k时刻的交通流状态均值/>
Figure FDA0003931768900000022
其中H为历史数据中第k时刻的交通流状态数据统计个数,由此对第k时刻的缺失或异常的数值进行填充,公式如下:
Figure FDA0003931768900000023
步骤1.3:建立表征预测性能的协方差矩阵和系统状态模型,实现对系统状态及系统噪声随时间演变的估计:
Figure FDA0003931768900000024
Figure FDA0003931768900000025
其中,
Figure FDA0003931768900000026
为一步预测协方差矩阵,/>
Figure FDA0003931768900000027
表示一步预测值,/>
Figure FDA0003931768900000028
表示一步转移矩阵,Wk-1为系统噪声矩阵,上标f表示滤波过程,k=0,1,…,N;
步骤1.4:计算卡尔曼滤波增益矩阵,基于系统量测信息进行状态修正,给出表征滤波性能的协方差阵:
Figure FDA0003931768900000029
Figure FDA00039317689000000210
/>
Figure FDA00039317689000000211
其中,
Figure FDA00039317689000000212
为滤波增益矩阵,Γk为观测矩阵,Vk为观测噪声矩阵,Xk为观测值,/>
Figure FDA00039317689000000213
为状态变量Z的滤波值,/>
Figure FDA00039317689000000214
为滤波协方差矩阵;
步骤1.5:基于前向卡尔曼滤波的结算数据的后向平滑解算,还原在卡尔曼模型下的交通流真实状态值,即最优平滑估计值:
Figure FDA0003931768900000031
Figure FDA0003931768900000032
Figure FDA0003931768900000033
Figure FDA0003931768900000034
其中,
Figure FDA0003931768900000035
为系统k时刻状态的最优平滑估计,/>
Figure FDA0003931768900000036
为平滑增益值,/>
Figure FDA0003931768900000037
为平滑协方阵,上标s表示后向平滑过程,k=N,N-1,…,0。
3.根据权利要求2所述的一种基于时空图自编解码网络的交通流预测方法,其特征在于:所述步骤2具体为:
步骤2.1:将步骤1的输出结果输入到所述稀疏特征的全连接层Linear(·),输出隐藏时空特征;
步骤2.2:将步骤2.1得到的隐藏时空特征xin输入门控记忆卷积神经网络,经过处理后输出Gout
步骤2.3:将步骤2.2的Gout输入多层注意力网络模块MGAN(·),经过处理后得到隐藏空间特征。
4.根据权利要求3所述的一种基于时空图自编解码网络的交通流预测方法,其特征在于:所述步骤2.1具体为:
将步骤1的输出结果
Figure FDA0003931768900000038
输入到所述稀疏特征的全连接层Linear(·):
Figure FDA0003931768900000039
其中,xin为输出的隐藏时空特征,
Figure FDA00039317689000000310
为步骤1的输出结果,即最优平滑估计;W与b为网络的学习参数。
5.根据权利要求4所述的一种基于时空图自编解码网络的交通流预测方法,其特征在于:所述步骤2.2具体为:
步骤2.2.1:将步骤2.1得到的隐藏时空特征xin输入门控记忆卷积神经网络,经过因果卷积得到Gin,再输入到门控单元,由于特征xin的时间长度经过卷积层后会变短,需对其进行裁切以得到残差xResidual,计算公式如下:
Gin=convcausal(xin), (14)
xResidual=Crop[Align(xin)], (15)
其中convcausal(·)为因果卷积函数,Align(·)为维度变换函数;
步骤2.2.2:将步骤2.1.1得到的xResidual与Gin拼接并使用1×1卷积核进行因果卷积变换,再经过sigmoid激活,得到遗忘门R和记忆门Z的门值,R和Z的计算公式如下:
Figure FDA0003931768900000041
Figure FDA0003931768900000042
其中
Figure FDA0003931768900000043
是卷积核为1×1的2维卷积函数,d表示维数;
步骤2.2.3:时空特征Gin通过步骤2.2.2得到的遗忘门R选择性保留后与xResidual相加,再经过1×1卷积核卷积变换和全连接层Linear(·)激活后,得到新的时空特征
Figure FDA0003931768900000044
计算公式如下:
Figure FDA0003931768900000045
步骤2.2.4:记忆门Z作用在步骤2.2.3的
Figure FDA0003931768900000046
而1-Z作用在Gin上,随后将两者与残差xResidual相加,经过pRelu激活,得到隐含状态输出Gout,计算公式如下:
Figure FDA0003931768900000047
6.根据权利要求5所述的一种基于时空图自编解码网络的交通流预测方法,其特征在于:所述步骤2.3具体如下:
步骤2.3.1:在时间区间τ=(t-τ+1,t-τ+2,...,t)内,将多层空间图表示为Gτ=(V,Aτ),其中V={vI|i=1,2,3,...,n}是图Gτ中交通流检测节点vi的集合,Aτ=(At-τ+1,At-τ+2,...,At)表示时间区间τ内的权重连接张量,At为t时刻时权重连接矩阵,
Figure FDA0003931768900000051
表示t时刻时节点vi到节点vj的权重信息,因为使用多头注意力机制,所以/>
Figure FDA0003931768900000052
其中M为多头注意力机制的头数;
步骤2.3.2:根据步骤2.3.1构建的多层空间图Gτ=(V,Aτ),拆分t时刻节点vi的输入
Figure FDA0003931768900000053
与节点vj的输入/>
Figure FDA0003931768900000054
得到输入张量/>
Figure FDA0003931768900000055
其中输入张量/>
Figure FDA0003931768900000056
是步骤2.2的输出,m=1,2,...M,输入张量的通道数为dm
步骤2.3.3:步骤2.3.2的
Figure FDA0003931768900000057
经过全连接神经网络linearQ与linearK后分别生成查询向量与键值向量,再经过缩放点积,得到节点vi与vj的注意力得分/>
Figure FDA0003931768900000058
Figure FDA0003931768900000059
计算公式如下:
Figure FDA00039317689000000510
步骤2.3.4:通过Softmax函数对注意力得分
Figure FDA00039317689000000511
进行归一化,得到t时刻两点的权重值
Figure FDA00039317689000000512
表明节点j的交通流与节点i的交通流的空间相关性大小,/>
Figure FDA00039317689000000513
计算公式如下:/>
Figure FDA00039317689000000514
步骤2.3.5:将权重值
Figure FDA00039317689000000515
加入dropout神经元随机丢弃机制,模拟城市交通中的突发事件对交通流节点之间相关性的影响,经卷积计算后得到隐藏空间特征/>
Figure FDA0003931768900000061
计算公式如下:
Figure FDA0003931768900000062
其中,
Figure FDA0003931768900000063
为MGAN层的输出,Wt,m为可学习的参数矩阵,M为多头注意力的头数,/>
Figure FDA0003931768900000064
为MGAN层的输入,σ(·)为sigmoid激活函数。
7.根据权利要求6所述的一种基于时空图自编解码网络的交通流预测方法,其特征在于:所述步骤3的Decode层为包括依次设置的多层注意力网络模块MGAN(·)、记忆门控卷积模块GMCNN(·)和稀疏特征的全连接层Linear(·),且MGAN(·)、GMCNN(·)和Linear(·)的操作步骤与步骤2相同。
8.根据权利要求7所述的一种基于时空图自编解码网络的交通流预测方法,其特征在于:由Encode层和Decode层构建时空图自编解码网络STGAE(·),并输出流通流量的预测数据,具体为:
Figure FDA0003931768900000065
其中,Xτ为交通流样本数据,
Figure FDA0003931768900000066
为STGAE网络得到的交通流预测数据,Encode(·)为步骤2中的Encode层,Decode(·)为步骤3中的Decode层,LayerNorm(·)表示在通道维度中进行规一化。
9.根据权利要求8所述的一种基于时空图自编解码网络的交通流预测方法,其特征在于:对预测数据
Figure FDA0003931768900000067
所对应的真实值YT同样进行平滑处理,以消除网络在训练过程中的噪声,由此得到网络STGAE在训练过程中的损失函数为:
Figure FDA0003931768900000071
/>
CN202211390606.1A 2022-11-08 2022-11-08 一种面向时空图自编码器的交通流量预测方法 Withdrawn CN115862319A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211390606.1A CN115862319A (zh) 2022-11-08 2022-11-08 一种面向时空图自编码器的交通流量预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211390606.1A CN115862319A (zh) 2022-11-08 2022-11-08 一种面向时空图自编码器的交通流量预测方法

Publications (1)

Publication Number Publication Date
CN115862319A true CN115862319A (zh) 2023-03-28

Family

ID=85662724

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211390606.1A Withdrawn CN115862319A (zh) 2022-11-08 2022-11-08 一种面向时空图自编码器的交通流量预测方法

Country Status (1)

Country Link
CN (1) CN115862319A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116307283A (zh) * 2023-05-19 2023-06-23 青岛科技大学 基于mim模型和时空交互记忆的降水预测系统及方法
CN116363878A (zh) * 2023-05-26 2023-06-30 云南大学 基于连续动态常微分方程的交通流量预测系统及方法
CN117133116A (zh) * 2023-08-07 2023-11-28 南京邮电大学 一种基于时空关联网络的交通流预测方法及系统

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116307283A (zh) * 2023-05-19 2023-06-23 青岛科技大学 基于mim模型和时空交互记忆的降水预测系统及方法
CN116307283B (zh) * 2023-05-19 2023-08-18 青岛科技大学 基于mim模型和时空交互记忆的降水预测系统及方法
CN116363878A (zh) * 2023-05-26 2023-06-30 云南大学 基于连续动态常微分方程的交通流量预测系统及方法
CN116363878B (zh) * 2023-05-26 2023-08-11 云南大学 基于连续动态常微分方程的交通流量预测系统及方法
CN117133116A (zh) * 2023-08-07 2023-11-28 南京邮电大学 一种基于时空关联网络的交通流预测方法及系统
CN117133116B (zh) * 2023-08-07 2024-04-19 南京邮电大学 一种基于时空关联网络的交通流预测方法及系统

Similar Documents

Publication Publication Date Title
CN115862319A (zh) 一种面向时空图自编码器的交通流量预测方法
CN113313947B (zh) 短期交通预测图卷积网络的路况评估方法
CN114330671A (zh) 一种基于Transformer时空图卷积网络的交通流预测方法
CN111079931A (zh) 一种基于图神经网络的状态空间概率性多时间序列预测方法
CN112381211B (zh) 基于异构平台执行深度神经网络的系统及方法
CN111815033A (zh) 一种基于rcnn和气象时序特征的海上风电功率预测方法
CN110570035B (zh) 同时建模时空依赖性和每日流量相关性的人流量预测系统
CN115240425A (zh) 一种基于多尺度时空融合图网络的交通预测方法
CN113537580B (zh) 一种基于自适应图学习的公共交通客流预测方法及系统
CN109583588B (zh) 一种短期风速预测方法及系统
CN114565124A (zh) 一种基于改进图卷积神经网络的船舶交通流预测方法
CN115168443A (zh) 一种基于gcn-lstm和注意力机制的异常检测方法及系统
CN114819143A (zh) 一种适用于通信网现场维护的模型压缩方法
CN113935489A (zh) 基于量子神经网络的变分量子模型tfq-vqa及其两级优化方法
CN116307152A (zh) 时空交互式动态图注意力网络的交通预测方法
CN114780739A (zh) 基于时间图卷积网络的时序知识图谱补全方法及系统
Rao et al. Spatio-temporal functional neural networks
CN114821218A (zh) 基于改进的通道注意力机制的目标检测模型搜索方法
CN115761654B (zh) 一种车辆重识别方法
Peter et al. Resource-efficient dnns for keyword spotting using neural architecture search and quantization
CN115907000A (zh) 一种用于电力系统最优潮流预测的小样本学习方法
CN115080795A (zh) 一种多充电站协同负荷预测方法及装置
CN115081609A (zh) 一种智能决策中的加速方法、终端设备及存储介质
CN110188219B (zh) 面向图像检索的深度强化去冗余哈希方法
CN113282821A (zh) 基于高维会话数据融合的智能应用预测方法、装置及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20230328

WW01 Invention patent application withdrawn after publication