CN115700599A - 一种面向交通流量预测任务的连续编码器-解码器方法 - Google Patents

一种面向交通流量预测任务的连续编码器-解码器方法 Download PDF

Info

Publication number
CN115700599A
CN115700599A CN202211342703.3A CN202211342703A CN115700599A CN 115700599 A CN115700599 A CN 115700599A CN 202211342703 A CN202211342703 A CN 202211342703A CN 115700599 A CN115700599 A CN 115700599A
Authority
CN
China
Prior art keywords
decoder
time
encoder
prediction
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211342703.3A
Other languages
English (en)
Inventor
申彦明
刘磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian University of Technology
Original Assignee
Dalian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian University of Technology filed Critical Dalian University of Technology
Priority to CN202211342703.3A priority Critical patent/CN115700599A/zh
Publication of CN115700599A publication Critical patent/CN115700599A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供一种面向交通流量预测任务的连续编码器‑解码器方法，属于时空数据挖掘技术领域。本发明基于NCDEs设计了一种时空连续编码器‑解码器总体架构，突破了现有交通流量预测方法中通过堆叠离散模块来提升模型预测效果的建模方式枷锁，并且更加遵循交通网络时空演化规律。与此同时，本发明基于FWPs和GNNs重构了NCDEs的内核，通过将其嵌入到时空连续编码器‑解码器架构中，使得本发明能够克服传统NCDEs历史遗忘的局限性，进而有效捕获长范围时空相关性。本发明不仅能够大幅提高交通流量预测的准确度，而且具有高参数效率以及高缺失率容忍度等优点。

Description

一种面向交通流量预测任务的连续编码器-解码器方法
技术领域
本发明属于时空数据挖掘技术领域，具体涉及一种基于深度学习进行时空数据挖掘以面向交通流量预测任务的方法。
背景技术
交通流量预测作为智慧交通理念的重要组成部分，能够有效帮助驾驶员合理规划出行路线，从而缓解城市交通压力。然而，由于交通数据高度复杂性和非线性等特点，如何从交通数据中准确地分析挖掘出道路节点间的时空相关性是实现交通流量准确预测关键，也是本发明的发明动机。接下来详细介绍这一领域中相关的背景技术。
(一)交通流量预测
定义交通网络图为G＝(V,E)，其中V∈RN表示道路节点集，N表示道路节点数；E∈RM表示交通网络中用于表示道路节点间连接边的集合，M为连接边的数量。设
Figure BDA0003916966450000011
表示第i个节点在t时刻的观测值，其中F表示特征数，则
Figure BDA0003916966450000012
表示整个交通网络在t时刻的观测值，{X1,X2,…,XL}∈RL×N×F表示交通网络中L个邻近时段历史观测值，{X1,X2,…,XP}∈RP×N×F表示P个周期时段历史观测值；
Figure BDA0003916966450000013
表示未来P个时段的预测值，{Y1,Y2,…,YP}∈RP×N×F表示未来P个时段的标签值。基于深度学习实现交通流量预测旨在寻找一个映射函数f，使得以邻近历史观测值和周期历史观测值作为输入获得的未来时段的预测值更为接近其真实流量值。交通流量预测公式化定义如下所示：
Figure BDA0003916966450000014
Figure BDA0003916966450000015
根据道路节点间的消息传递机制，现有的基于深度学习的交通流量预测方法大致可分为三类：基于CNN的方法、基于RNN的方法以及基于注意力的方法。然而现有方法普遍具有以下局限性：(1)这些方法属于离散神经架构，需要通过堆叠离散模块的方式来捕捉周期性以进一步提高预测精度。2022年，Ming Jin等人表明，利用离散神经架构编码丰富的时空模式会生成不连续的隐藏状态轨迹，从而导致较高的预数值误差。此外，离散的神经架构还会造成参数冗余以及模型复杂化等问题，从而造成较高的计算成本和内存开销。(2)这些方法的时间消息传递过程和空间消息传递过程是相互独立的，而交通网络的时空消息传递过程是同时进行的，因此现有方法不能很好地遵循交通网络的消息传递规律。
(二)神经受控微分方程(NCDEs)
受神经微分方程启发的深度学习是近年来的研究热点，能够有效克服离散神经架构的局限性。2020年，Patrick Kidger等人提出的神经受控微分方程(NCDEs)就是这类方法的典型代表。与离散神经架构不同的是，NCDEs不再参数化隐藏状态，而是参数化隐藏状态的导数，从而实现隐藏状态连续化。这样一来，NCDEs具有高内存效率、高参数效率、自适应计算以及高缺失率容忍度等优点。与此同时，作为RNNs的连续化形式，NCDEs具有根据受控信号不断调整隐藏状态轨迹的机制。NCDEs的公式化定义如下所示：
Figure BDA0003916966450000021
其中，X表示由输入数据通过插值函数生成的连续路径，z(t)表示时刻t处的隐藏状态且受受控信号X′(t)控制，θf表示可学习参数。
相比于其它神经微分方程(NDEs)，NCDEs更适用于时间序列预测任务。然而，作为RNNs的连续化形式，NCDEs在捕获依赖关系时同样会随意忘记历史知识，这极大地限制其捕获长范围依赖关系的能力。
(三)Fast Weight Programmers(FWPs)
1992年，JurgenSchmidhuber等人提出的FWPs属于键-值关联记忆模型，其中写入是基于求和操作，检索是基于矩阵-向量乘法操作。FWPs公式化定义如下所示：
a(t),b(t)＝WaX(t),WbX(t)
Figure BDA0003916966450000022
y(t)＝W(t)X(t)
其中X(t)表示在t时刻的输入，W(t)表示位于t时刻的可训练快速权重矩阵，用于提供短期记忆，Wa和Wb表示可训练慢速权重矩阵，用于持续改变快速权重矩阵使其能够持续捕获有价值的文本信息。
2021年，ImanolSchlag等人指出Linear Transformers就是FWPs并基于LinearTransformers和delta学习规则来改进FWPs以克服其记忆容量限制。改进的FWPs公式化定义如下所示：
q(t),k(t),v(t)＝WqX(t),WkX(t),WvX(t)
Figure BDA0003916966450000031
Figure BDA0003916966450000032
Figure BDA0003916966450000033
Figure BDA0003916966450000034
其中β(t)表示新值替代旧值的比例，
Figure BDA0003916966450000035
表示即将写入到W(t)中的知识，
Figure BDA0003916966450000036
表示即将从W(t)中移除的知识。通过这种方式改进FWPs，可以使其能够更加有效地捕获长范围依赖。
理论上，每个RNNs都有其对应的连续化形式。2020年，AngelosKatharopoulos等人表明带有因果掩码的Transformers等价于RNNs，因此FWPs同样具有其连续化形式。通过利用FWPs来重构NCDEs，能够克服其无法捕获长范围依赖的局限性。2022年，KazukiIrie等人首次基于FWPs和delta学习规则重构了NCDEs的核心，并且在时间序列分类任务中表现出比传统NCDEs更优势的性能。基于FWPs和delta学习规则来重构NCDEs内核的公式化定义如下所示：
Figure BDA0003916966450000037
Figure BDA0003916966450000038
Figure BDA0003916966450000039
然而，现有的研究既不能有效地捕捉交通网络的长期时空依赖关系，也不能很好地遵循交通网络的消息传递规则，因此不能很好地解决交通流量预测任务。
发明内容
为了突破现有的交通流量预测方法中通过堆叠离散模块来提升模型预测效果的建模方式枷锁以及克服现有的交通流量预测方法不遵循交通网络时空演化规律的局限性，本发明基于NCDEs设计了一种时空连续编码器-解码器总体架构，该架构既能促进时空信息实时传递，又能在不堆叠离散模块的前提下捕获周期性。与此同时，本发明基于FWPs和GNNs重构了NCDEs的内核，通过将其嵌入到所设计的架构中从而使其能够有效捕获长范围时空相关性。
本发明的技术方案：
一种面向交通流量预测任务的连续编码器-解码器方法，步骤如下：
第一步：对交通流量数据进行预处理
(1)数据清洗：对于原始数据，需要清洗其中的异常值及错误记录等。由于本发明对数据缺失有较好的容忍度，无需进行缺失值处理，避免了由于缺失值填充方式不合理而影响模型预测效果的问题。
(2)时间粒度划分：根据具体预测任务需求，将交通流量按合适的窗口大小进行合并处理。
(3)数据归一化：对清洗后的数据进行归一化处理，以消除异常数据导致的不良影响并提高梯度下降求解最优解的速度。
第二步：制作模型训练集、验证集及测试集
(1)利用滑动窗口生成三元组集合S1：根据预测任务需求，确定邻近历史时段窗口尺寸L和未来预测时段窗口尺寸P，而周期历史时段窗口尺寸则等于未来预测时段窗口尺寸。对数据归一化后的交通流量数据进行处理，生成由邻近历史数据、周期历史数据以及预测时段标签三元组组成的集合S1：{Xnear,Xperiod,Ylabel}，其中邻近历史数据Xnear＝{X1,X2,…,Xt,…,XL}∈RL×N×F，周期历史数据Xperiod＝{X1,X2,…,XP}∈RP×N×F，预测时段标签Ylabel＝{Y1,Y2,…,Yt,…,YP}∈RP×N×F；N为传感器数量，F为输入特征数，L为邻近历史时段数，P为未来预测时段数，Xt表示交通网络在历史t时刻的观测值，Yt表示交通网络在未来t时刻的标签值。
(2)三次样条插值：对邻近历史数据和周期历史数据进行拼接生成{X1,…,XL-1,XL,XL+1,…,XL+P}∈R(L+P)×N×F；然后利用三次样条插值方法生成连续且可导的路径X，其中X(t)∈RN×F和X′(t)∈RN×F分别表示路径X在t时刻的值和导数，且t为区间[0,P+L]内的任意实数；最后将路径X与预测时段标签组合成新集合S2：{X,Ylabel}。
(3)数据集划分：对集合S2按比例划分为训练集、验证集和测试集，分别用于模型的训练、验证和测试。
第三步：构建时空连续编码器-解码器模型，该模型由时间处理编码器-解码器、空间处理编码器-解码器以及生成器三部分构成。
(1)时间处理编码器-解码器
受KazukiIrie等人的启发，本发明利用FWPs和delta学习规则来重构时间处理编码器-解码器内核。利用X′(t)生成查询q(t)∈RN×H×D和键k(t)∈RN×H×D，并用X(t)生成值v(t)∈RN×H×D：
q(t),k(t),v(t)∈WqX′(t),WkX′(t),WvX(t)
其中，H为自注意力头数，D为自注意力头的特征维度；Wq表示用于生成查询q(t)的慢速权重矩阵，Wk表示用于生成键k(t)的慢速权重矩阵，Wv表示用于生成值v(t)的慢速权重矩阵。
由于交通流量具有相对稳定的周期性，即各时段的交通流量具有相似的数量级和趋势，这意味着相邻两周的同一时段拥有相似的X(t)与X′(t)。因此，可以利用邻近历史数据和周期历史数据作为时间处理编码器-解码器的受控信号。时间处理编码器-解码器公式化定义如下所示：
Figure BDA0003916966450000051
Figure BDA0003916966450000061
其中，X′(t)与X(t)都作为时间处理编码器-解码器的受控信号用以持续调整其隐藏状态轨迹；W(t)∈RN×H×D×D表示在t时刻的时间处理编码器-解码器隐藏状态，且隐藏状态初始值W(0)是由MLPs生成的；f(W(t),X(t),X′(t)；θf)∈RN×H×D×D表示时间处理CDE函数；θf表示可学习参数。
此外，为了遵循交通网络的时间消息传递规则并提高模型的参数效率，时间处理编码器和解码器共享网络参数。通过这种方式，模型可以在避免离散模块堆叠和引入额外网络参数的前提下捕获数据的周期性。因此，时间处理编码器-解码器可以表示为：
Figure BDA0003916966450000062
(2)空间处理编码器-解码器
为了使模型拥有良好的泛化能力并能够捕获丰富的空间依赖，本发明基于LeiBai等人提出的DAGG对空间处理编码器-解码器的内核进行重构以捕获丰富的空间依赖关系，基于DAGG的CDE函数公式化定义如下所示：
Figure BDA0003916966450000063
其中，IN∈RN×N表示单位矩阵；EA∈RN×C表示可训练节点嵌入矩阵，C表示节点嵌入维度；
Figure BDA0003916966450000064
对应于传统GCN中的
Figure BDA0003916966450000065
B∈RN×N表示度矩阵；σ表示ReLU激活函数；Θ表示可训练权重变换矩阵；b∈RH×D×D表示偏置；Z(t)∈RN×H×D×D表示t时刻空间处理编码器-解码器的隐藏状态。
本发明利用时间处理编码器-解码器隐藏状态W(t)的导数W′(t)作为空间处理编码器-解码器的受控信号。与时间处理编码器-解码器相似，空间处理编码器-解码器的公式化定义如下所示：
Figure BDA0003916966450000071
时间处理编码器-解码器与空间处理编码器-解码器通过组合即得到时空处理编码器-解码器；时空处理编码器-解码器公式化定义如下：
Figure BDA0003916966450000072
其中，f(W(t),X(t),X′(t)；θf)基于FWPs和delta重构内核可以有效捕获长范围时空相关性，g(Z(t)；t)以DAGG作为内核并以W′(t)作为受控信号从而能够捕获丰富的空间依赖。因此，Z(t)也可称为时空处理编码器-解码器的隐藏状态。通过这种方式，时空处理编码器-解码器隐藏状态Z(t)中包含了区间[0,t]内丰富的时空特征。
(3)生成器
由于存储在时空处理编码器-解码器隐藏状态Z(t)中的特征并不一定都有益于t时刻结果的预测，因此需要进一步对特征进行过滤。为了解决上述问题，可以利用q(t)来获取时空处理编码器-解码器隐藏状态Z(t)中对于t时刻有用的特征。该过程公式化定义如下所示：
Figure BDA0003916966450000073
其中，t∈R且0＜t≤P，F(t)∈RN×H×D表示利用q(t)提取到的对于时刻t预测有用的特征。
为了获得未来P个时间步的预测结果
Figure BDA0003916966450000074
生成器需要根据上述公式获得特征集F＝{F(1),F(2),…,F(P)}∈RP×N×H×D作为输入。在本发明中，利用带有残差连接的MLPs作为生成器，其公式化定义如下所示：
Figure BDA0003916966450000075
H2＝σ(FCH×D→H×D(H1)+F)
Figure BDA0003916966450000081
其中，
Figure BDA0003916966450000082
表示层归一化操作，σ表示ReLU激活函数。
Jeongwhan Choi等人使用MLPs以编码器最终状态Z(L)生成预测结果，但该方法导致连续的时空消息传递只发生在历史时段。与之相比，本发明中连续的时空消息传递可发生在历史时段和未来时段，因此本发明可以更好的遵循交通网络中时空消息传递规则。
第四步：模型训练与性能评估
(1)模型训练：将批量连续路径X作为输入数据输入到时空连续编码器-解码器模型当中后获得模型预测结果，选择合适的损失函数并根据模型预测结果与标签值计算损失值，选择合适的优化算法计算模型参数的最优解。在模型训练期间，可根据验证集拟合情况调整模型超参数。
(2)性能评估：确定评价指标，用于衡量测试集中模型预测结果与标签值的拟合情况，进而评估模型整体预测效果。
本发明的有益效果：
(1)由于本发明是基于NCDEs设计的交通流量预测模型，因此完全继承了NCDEs的所有优势，例如：内存效率高、参数效率高、能够自适应计算以及对不规则数据具有高容忍度等优点，而现有的交通流量预测方法往往不具备这些优势。
(2)本发明突破了现有的交通流量预测方法中通过堆叠离散模块来提升模型预测效果的建模方式枷锁，利用邻近历史数据和周期历史数据作为受控信号而持续调整隐藏状态的变化轨迹，从而既能够在不堆叠离散模块的前提下捕获数据的周期性，又能够更加遵循交通网络的时空演化规律，进而有效降低模型预测的数值误差。
(3)本发明基于FWPs和GNNs分别重构了时间处理编码器-解码器和空间处理编码器-解码器内核，克服了传统NCDEs历史知识遗忘的局限性，从而能够有效捕获长范围时空相关性。
附图说明
图1为时空连续编码器-解码器总体框架，其主要由时间处理编码器-解码器、空间处理编码器-解码器以及生成器三个组件构成。
图2为基于FWPs和GNNs对NCDEs重构的内核结构图。
图3为时空连续编码器-解码器模型与基线模型预测表现对比图。
图4为时空连续编码器-解码器在一天时间内的预测结果与其真实值对比图。
具体实施方式
下面将结合技术方案、附图以及具体实例对本发明的具体实施方式做详细说明。
一种用于交通流量预测的时空连续编码器-解码器方法，步骤如下：
第一步：将交通流量数据进行预处理
(1)数据集：使用由加州运输公司(PeMS)提供的PEMS04数据集对本发明内容做进一步说明，该数据集在现有的交通流量预测研究中被广泛使用。PEMS04数据集是由在加州高速公路上的307个传感器每30秒实时收集一次获得的数据集。由于该数据集为标准数据集且已经将数据聚合为窗口大小为5分钟，因此无需对该数据集进行数据清洗和时间粒度划分。
(2)数据归一化：为了消除异常数据导致的不良影响并提高梯度下降求解最优解的速度，采用Z-score标准化方法对数据进行归一化，公式如下：
Figure BDA0003916966450000091
其中，x表示样本原始值，mean表示样本均值，std表示样本标准差，x*表示Z-score标准化后的样本值且位于区间[-1,1]中。
第二步：制作模型训练集、验证集及测试集
(1)在本实例中，将利用本发明进行短时交通流量预测，即利用一个小时邻近时段流量数据和一个小时周期时段流量数据来预测未来一个小时交通流量。举例来说，假设要预测10月14日15：00-16：00的交通流量，则邻近时段流量数据取自10月14日14：00-15：00的交通流量，而周期时段流量则取自10月7日15：00-16：00的交通流量。
(2)利用滑动窗口生成三元组集合S1：根据(1)中确定的任务需求，确定邻近历史时段窗口尺寸L＝12和未来预测时段窗口尺寸P＝12，因此周期历史时段窗口尺寸同样为12。对数据归一化后的交通流量数据进行处理，生成由邻近历史数据、周期历史数据以及预测时段标签三元组组成的集合S1：{Xnear,Xperiod,Ylabel}，其中邻近历史数据Xnear＝{X1,X2,…,XL}∈RL×N×F，周期历史数据Xperiod＝{X1,X2,…,XP}∈RP×N×F，预测时段标签Ylabel＝{Y1,Y2,…,YP}∈RP×N×F，N＝307为传感器数量，F＝1为输入特征数。
(3)三次样条插值：对邻近历史数据和周期历史数据进行拼接生成{X1,…,XL-1,XL,XL+1,…,XL+P}∈R(L+P)×N×F；然后利用三次样条插值生成连续且可导的路径X，其中X(t)∈RN×F和X′(t)∈RN×F分别表示路径X在t时刻的值和导数，且t为区间[0,P+L]内的任意实数；最后将路径与预测时段标签组合成集合S2：{X,Ylabel}。
(4)数据集划分：对数据以8:1:1的比例划分为训练集、验证集和测试集。
第三步：时空连续编码器-解码器模型运行流程
由图1可以看出时空连续编码器-解码器模型由时间处理编码器-解码器、空间处理编码器解码器以及生成器三个组件构成。
(1)时间处理编码器-解码器
时间处理编码器-解码器采用由三次样条插值生成的连续路径X及其导数X′作为受控信号。利用X′(t)生成查询q(t)∈RN×H×D和键k(t)∈RN×H×D，并用X(t)生成值v(t)∈RN×H×D，
q(t),k(t),v(t)∈WqX′(t),WkX′(t),WvX(t)
其中，H＝4为自注意力头数，D＝8为自注意力头的特征维度。
时间处理编码器-解码器使用FWPs和delta学习规则重构其NCDEs内核，经如下神经受控微分方程生成时间处理编码器-解码器隐藏状态W(t)：
Figure BDA0003916966450000111
(2)空间处理编码器-解码器
空间处理编码器-解码器使用DAGG重构其NCDEs内核：
Figure BDA0003916966450000112
其中，超参数节点嵌入维度设为C＝10。
空间处理编码器-解码器采用时间处理编码器-解码器隐藏状态W(t)的导数W′(t)作为受控信号，经如下神经受控微分方程生成空间处理编码器-解码器隐藏状态Z(t)：
Figure BDA0003916966450000113
(3)生成器
利用查询q(t)来对空间处理编码器-解码器隐藏状态Z(t)中的时空特征进行过滤：
Figure BDA0003916966450000114
为了获得未来P个时间步的预测结果，带有残差连接的MLP生成器需要根据上述公式获得特征集F＝{F(1),F(2),…,F(P)}∈RP×N×H×D作为输入获得预测值
Figure BDA0003916966450000121
Figure BDA0003916966450000122
H2＝σ(FCH×D→H×D(H1)+F)
Figure BDA0003916966450000123
第四步：模型训练与性能评估
(1)模型训练：将批量连续路径X作为输入数据输入到模型当中后获得模型预测结果，选择MAE作为损失函数并根据模型预测结果与标签值计算损失值，选择Adam优化算法计算模型参数的最优解。在模型训练期间，根据验证集拟合情况调整模型超参数。
(2)性能评估：确定交通流量预测的评价指标为平均绝对误差(MAE)与均方根误差(RMSE)。
MAE计算公式如下所示：
Figure BDA0003916966450000124
RMSE计算公式如下所示：
Figure BDA0003916966450000125

Claims (5)

1.一种面向交通流量预测任务的连续编码器-解码器方法，其特征在于，该方法包括以下步骤：
第一步：对交通流量数据进行预处理；
第二步：制作模型训练集、验证集及测试集
(1)利用滑动窗口生成三元组集合S1：根据预测任务需求，确定邻近历史时段窗口尺寸L和未来预测时段窗口尺寸P，而周期历史时段窗口尺寸则等于未来预测时段窗口尺寸；对数据归一化后的交通流量数据进行处理，生成由邻近历史数据、周期历史数据以及预测时段标签三元组组成的集合S1：{Xnear,Xperiod,Ylabel}，其中邻近历史数据Xnear＝{X1,X2,…,Xt,…,XL}∈RL×N×F，周期历史数据Xperiod＝{X1,X2,…,XP}∈RP×N×F，预测时段标签Ylabel＝{Y1,Y2,…,Yt,…,YP}∈RP×N×F；其中，N为传感器数量，F为输入特征数，L为邻近历史时段数，P为未来预测时段数，Xt表示交通网络在历史t时刻的观测值，Yt表示交通网络在未来t时刻的标签值；
(2)三次样条插值：对邻近历史数据和周期历史数据进行拼接生成{X1,…,XL-1,XL,XL +1,…,XL+P}∈R(L+P)×N×F；然后利用三次样条插值方法生成连续且可导的路径X，其中X(t)∈RN×F和X′(t)∈RN×F分别表示路径X在t时刻的值和导数，且t为区间[0,P+L]内的任意实数；最后将路径X与预测时段标签组合成新集合S2：{X,Ylabel}；
(3)数据集划分：对集合S2按比例划分为训练集、验证集和测试集，分别用于模型的训练、验证和测试；
第三步：构建时空连续编码器-解码器模型
所述时空连续编码器-解码器模型由时间处理编码器-解码器、空间处理编码器-解码器以及生成器三部分构成；
(1)时间处理编码器-解码器
利用X′(t)生成查询q(t)∈RN×H×D和键k(t)∈RN×H×D，并用X(t)生成值v(t)∈RN×H×D：
q(t),k(t),v(t)∈WqX′(t),WkX′(t),WvX(t)
其中，H为自注意力头数，D为自注意力头的特征维度；Wq表示用于生成查询q(t)的慢速权重矩阵，Wk表示用于生成键k(t)的慢速权重矩阵，Wv表示用于生成值v(t)的慢速权重矩阵；
利用FWPs和delta学习规则来重构时间处理编码器-解码器内核；经如下神经受控微分方程生成时间处理编码器-解码器隐藏状态W(t)：
Figure FDA0003916966440000021
其中，X′(t)与X(t)都作为时间处理编码器-解码器的受控信号用以持续调整其隐藏状态轨迹；W(t)∈RN×H×D×D表示在t时刻的时间处理编码器-解码器隐藏状态，且隐藏状态初始值W(0)是由MLPs生成的；f(W(t),X(t),X′(t)；θf)∈RN×H×D×D表示时间处理CDE函数；θf表示可学习参数；
(2)空间处理编码器-解码器
空间处理编码器-解码器使用DAGG重构其NCDEs内核：
Figure FDA0003916966440000022
其中，IN∈RN×N表示单位矩阵；EA∈RN×C表示可训练节点嵌入矩阵，C表示节点嵌入维度；
Figure FDA0003916966440000023
对应于传统GCN中的
Figure FDA0003916966440000024
B∈RN×N表示度矩阵；σ表示ReLU激活函数；Θ表示可训练权重变换矩阵；b∈RH×D×D表示偏置；Z(t)∈RN×H×D×D表示t时刻空间处理编码器-解码器的隐藏状态；
空间处理编码器-解码器采用时间处理编码器-解码器隐藏状态W(t)的导数W′(t)作为空间处理编码器-解码器的受控信号；空间处理编码器-解码器的公式化定义如下所示：
Figure FDA0003916966440000031
时间处理编码器-解码器与空间处理编码器-解码器通过组合即得到时空处理编码器-解码器；时空处理编码器-解码器公式化定义如下：
Figure FDA0003916966440000032
其中，f(W(t),X(t),X′(t)；θf)基于FWPs和delta重构内核可以有效捕获长范围时空相关性，g(Z(t)；t)以DAGG作为内核并以W′(t)作为受控信号从而能够捕获丰富的空间依赖；因此，Z(t)也称为时空处理编码器-解码器的隐藏状态；通过这种方式，时空处理编码器-解码器隐藏状态Z(t)中包含了区间[0,t]内丰富的时空特征；
(3)生成器
利用查询q(t)来获取时空处理编码器-解码器隐藏状态Z(t)中对于t时刻有用的特征，该过程公式化定义如下所示：
Figure FDA0003916966440000033
其中，t∈R且0＜t≤P，F(t)∈RN×H×D表示利用q(t)提取到的对于时刻t预测有用的特征；
带有残差连接的MLPs生成器根据上述公式获得特征集F＝{F(1),F(2),…,F(P)}∈RP ×N×H×D作为输入获得未来P个时间步的预测值
Figure FDA0003916966440000034
Figure FDA0003916966440000035
H2＝σ(FCH×D→H×D(H1)+F)
Figure FDA0003916966440000036
其中，
Figure FDA0003916966440000037
表示层归一化操作，σ表示ReLU激活函数；
第四步：模型训练与性能评估
(1)模型训练：将批量连续路径X作为输入数据输入到时空连续编码器-解码器模型当中后获得模型预测结果，选择损失函数并根据模型预测结果与标签值计算损失值，选择优化算法计算模型参数的最优解；在模型训练期间，根据验证集拟合情况调整模型超参数；
(2)性能评估：确定评价指标，用于衡量测试集中模型预测结果与标签值的拟合情况，进而评估模型整体预测效果。
2.根据权利要求1所述的方法，其特征在于，所述第一步包括：
(1)数据清洗：对于原始数据，需要清洗其中的异常值及错误记录；
(2)时间粒度划分：根据具体预测任务需求，将交通流量按合适的窗口大小进行合并处理；
(3)数据归一化：对清洗后的数据进行归一化处理。
3.根据权利要求1或2所述的方法，其特征在于，所述第四步的模型训练过程中，选择MAE作为损失函数并根据模型预测结果与标签值计算损失值，选择Adam优化算法计算模型参数的最优解。
4.根据权利要求1或2所述的方法，其特征在于，所述第四步的性能评估过程中，确定交通流量预测的评价指标为平均绝对误差MAE与均方根误差RMSE；其中，
MAE计算公式如下所示：
Figure FDA0003916966440000041
RMSE计算公式如下所示：
Figure FDA0003916966440000042
5.根据权利要求3所述的方法，其特征在于，所述第四步的性能评估过程中，确定交通流量预测的评价指标为平均绝对误差MAE与均方根误差RMSE；其中，
MAE计算公式如下所示：
Figure FDA0003916966440000051
RMSE计算公式如下所示：
Figure FDA0003916966440000052
CN202211342703.3A 2022-10-31 2022-10-31 一种面向交通流量预测任务的连续编码器-解码器方法 Pending CN115700599A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211342703.3A CN115700599A (zh) 2022-10-31 2022-10-31 一种面向交通流量预测任务的连续编码器-解码器方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211342703.3A CN115700599A (zh) 2022-10-31 2022-10-31 一种面向交通流量预测任务的连续编码器-解码器方法

Publications (1)

Publication Number Publication Date
CN115700599A true CN115700599A (zh) 2023-02-07

Family

ID=85120962

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211342703.3A Pending CN115700599A (zh) 2022-10-31 2022-10-31 一种面向交通流量预测任务的连续编码器-解码器方法

Country Status (1)

Country Link
CN (1) CN115700599A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117437776A (zh) * 2023-10-18 2024-01-23 南昌大学 一种智能交通系统中交通流预测方法及其系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117437776A (zh) * 2023-10-18 2024-01-23 南昌大学 一种智能交通系统中交通流预测方法及其系统

Similar Documents

Publication Publication Date Title
Zang et al. Long-term traffic speed prediction based on multiscale spatio-temporal feature learning network
CN111612243B (zh) 交通速度预测方法、系统及存储介质
Wang et al. Modeling inter-station relationships with attentive temporal graph convolutional network for air quality prediction
Ren et al. TBSM: A traffic burst-sensitive model for short-term prediction under special events
CN114944053B (zh) 一种基于时空超图神经网络的交通流预测方法
Zhu et al. Dimensionality reduce-based for remaining useful life prediction of machining tools with multisensor fusion
CN116504060B (zh) 基于Transformer的扩散图注意力网络交通流预测方法
Liu et al. Pristi: A conditional diffusion framework for spatiotemporal imputation
Lu et al. Graph sequence neural network with an attention mechanism for traffic speed prediction
CN115700599A (zh) 一种面向交通流量预测任务的连续编码器-解码器方法
Zhang et al. Sageformer: Series-aware graph-enhanced transformers for multivariate time series forecasting
Zhu et al. A coupled model for dam foundation seepage behavior monitoring and forecasting based on variational mode decomposition and improved temporal convolutional network
Tian et al. A novel transfer ensemble learning framework for remaining useful life prediction under multiple working conditions
Shi et al. Multilayer-graph-embedded extreme learning machine for performance degradation prognosis of bearing
Xie et al. Anomaly detection for multivariate times series through the multi-scale convolutional recurrent variational autoencoder
CN117349769A (zh) 面向服装物流管理的时空数据异常检测方法及系统
Liu et al. Spatial-temporal graph convolution network model with traffic fundamental diagram information informed for network traffic flow prediction
CN115700628A (zh) 一种含缺失数据的交通流预测方法和系统
Nie et al. Spatiotemporal Implicit Neural Representation as a Generalized Traffic Data Learner
Duan et al. Multi-view spatial-temporal adaptive graph convolutional networks for traffic forecasting
Deng et al. Multi-feature Fusion Strategy for Missing Values Filling in Traffic Prediction
Chang et al. Vehicle traffic flow forecasting on caltrans pems dataset using machine learning algorithms and lstm networks
Boudabous et al. Dynamic Graph Convolutional LSTM application for traffic flow estimation from error-prone measurements: results and transferability analysis
Zhang et al. Spatio-temporal pre-training enhanced fast pure tansformer network for traffic flow forecasting
Ma et al. Data Model of Key Indicators of Urban Architectural Design Based on Long‐and Short‐Term Convolutional Memory Network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination