CN114065996A - 基于变分自编码学习的交通流预测方法 - Google Patents

Abstract

本发明公开了基于变分自编码学习的交通流预测方法，其步骤有：数据预处理、构造训练集、模型初始化、变分自编码器学习和模型迭代。该方法利用编码器解码器结构，基于双向GRU并扩展编码器解码器的变分时间注意力学习机制，以自动学习多变量交通流相关序列数据中的隐含表示和非线性相关深度特征，相比传统方法预测结果更准确；同时，在编码器解码器输出重构过程中，引入了多变量交通流序列数据的注意力机制，结合变分自编码学习，使其能更准确地捕获交通流相关数据中的深层次特征，使得多变量交通序列数据非线性相关影响条件下的交通流预测更为准确。

Description

基于变分自编码学习的交通流预测方法

技术领域

本发明具体涉及一种基于变分自编码学习的交通流预测方法。

背景技术

随着智慧城市和物联网技术的快速发展，以及全球定位系统(GPS)和 地理信息(GIS)系统等的普及应用，交通流数据的采集越来越方便，交通大 数据呈爆炸式增长，而且交通流相关数据还呈现出复杂的非线性相关特点，如 交通流量、通行速度和通行时间、天气情况等交通流相关多变量数据等，存在 复杂的相互影响。如何有效地分析和建模这些交通流相关多变量序列数据集， 并构建有效的交通流预测模型已经成为智能交通研究的热点和重要发展方向。 总之，基于历史交通流数据建模来预测未来交通流的演化是一个重大且具有挑 战性的问，。研究学者针对这一关键问题提出了很多的研究模型与方法，包括 统计方法和机器学习方法等，但由于交通序列数据具有的高维性、非线性和相 互关联性等问题，如何有效地构建更准确的交通流预测模型仍然是智能交通面 临的共性关键技术问题之一，而深度学习技术的兴起使其成为一种重要的应用 参考。

传统的交通流预测方法可以分为两大类，一类为参数方法，另一类为非参 数方法。这些传统的方法通常基于浅层模型或核函数进行交通序列数据建模， 本质是多变量时间序列预测分析，但传统方法难以捕获交通流相关序列数据中 的相互关联特征。

(1)参数方法：这类方法通过预先定义好模型结构，而模型参数数值需 要在计算过程中获得。参数法主要基于经典的时间序列分析技术，时间序列数 据反映了某个(单变量时间序列)或者某些随机变量(多变量时间序列)随时 间不断变化的趋势,时间序列预测分析就是要获得这种趋势规律以预测未来的 序列值，经典的时间序列分析技术包括自回归滑动平均(ARMA)模型，差分自 回归滑动平均(ARIMA)模型和时空差分自回归滑动平均(STARIMA)模型。ARIMA 是最经典的一种单变量时间序列预测方法，主要通过滑动平均、自回归计算来 预测未来时间步的值，并没有考虑多变量序列之间的相互影响，时空关联特征更是无法直接处理。ARIMA的参数模型可以表示为ARIMA(p,d,q)，计算过程如 下：

上式左边的y(t)表示差分序列，右侧的预测变量包括延迟值和延迟误差值 两部分，参数p,d,q分别代表自回归模型阶数、差分阶数和移动平均模型阶数， φ_i表示时间延迟自回归系数，θ_j表示时间延迟移动平均参数。

由于ARIMA只能对单变量时间序列进行建模，无法处理时空序列数据，针 对这一问题，研究人员提出了STARIMA这种基于ARIMA的时空扩展模型， STARIMA模型强调了地理位置的空间关系对序列未来预测值的影响，因为很多 时空序列预测问题，在特定位置的未来预测值不仅取决于该位置上观察到的历 史测量值，而且还与其相邻关系位置的观测值有关系。STARIMA模型的计算过 程如下所示：

上式中的x_t定义为t时间步的时空序列向量，d为差分次数，p为自回归时 间延迟，q表示为移动平均时间延迟，λ_k表示第k个自回归项的空间间隔，m_k表 示第k个移动平均项的空间间隔，W^(l)表示l阶空间权重矩阵，φ_kl表示时间延 迟为k空间间隔为l时的自回归参数；θ_kl表示时间延迟为k空间间隔为l时的 移动平均参数；∈_t表示零均值的N维白噪声时间序列。

(2)非参数方法：非参数方法是指模型结构及参数需要在训练过程中确 定，也可以用于处理非线性相关的交通流序列数据，主流的机器学习模型属于 此类方法，比如人工神经网络(ANN)，随机森林(RF)和支持向量回归机(SVR) 等。最具代表性的非参数交通流预测方法当属支持向量回归模型，最早由 Vapnik等人在1996年提出，支持向量回归模型主要通过核函数映射把数据转 换到高维空间，希望寻找一条回归直线或回归超平面来最小化损失(使得所有 数据到这个超平面的距离最小)，该模型的目标函数计算如下所示：

上述公式中的C为正则化常数，ε定义为虚线内区域的数据点的残差为0， 而虚线区域外的数据点(称为支持向量)到虚线的边界的距离为残差ξ_i(称为 松弛变量)，SVR训练模型希望这些残差最小，从而找到一个最佳的条状区域 (2^ε)，以支持对区域外的点进行回归计算，SVR同样使用核函数(kernel function)把数据映射到高维特征空间再进行回归分析。

通过上述两大类传统交通流预测方法分析表明，STARIMA模型虽然在一定 程度上考虑了交通流序列中的多变量相互关系影响，但仍然存在局限性， STARIMA本质是一个线性模型，该模型假定交通序列数据中只包含线性自相关 结构，但在真实的交通流预测应用中往往要考虑多种影响因素，而且这些因素 是非线性相关的，要求模型能够处理非线性相关交通流数据，在这方面STARIMA 模型还存在较大瓶颈，难以有效获得非线性相关特征。综上所述，现有的交通 流预测方法效果还有待提升。

深度学习由于其多层非线性映射原理的深度特征抽取学习能力，如在图像处理、语音识别和自然语言处理等多个领域取得突破性进展。由于不同交通时序数据 之间通常存在复杂的非线性相关关系，传统方法模型难以挖掘与交通流量相关 的各类序列数据之间的深层关系，而深度学习方法对于交通流预测任务来讲是 一个很好的选择。针对上述关键问题，设计了一种基于变分自编码学习的交通 流预测深度模型。

发明内容

本发明的目的在于针对现有技术的不足，提供一种基于变分自编码学习的 交通流预测方法，该基于变分自编码学习的交通流预测方法可以很好地解决上 述问题。

为达到上述要求，本发明采取的技术方案是：提供一种基于变分自编码学 习的交通流预测方法，该基于变分自编码学习的交通流预测方法包括如下步骤：

进行数据预处理的步骤；

进行构建训练集的步骤；

进行模型初始化的步骤；

进行变分自编码学习的步骤；

进行模型迭代的步骤。

该基于变分自编码学习的交通流预测方法具有的优点如下：

该方法利用编码器解码器结构，基于双向GRU并扩展编码器解码器的变分 时间注意力学习模块，以自动学习多变量交通流相关序列数据中的隐含特征表 示和非线性相关性深度特征，相比传统经典方法预测结果更准确。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分， 在这些附图中使用相同的参考标号来表示相同或相似的部分，本申请的示意性 实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1示意性地示出了根据本申请一个实施例的基于变分自编码学习的交通 流预测方法的设计原理图。

图2为在Highway England数据集对比实验中，不同方法于一个工作日内的 交通流预测值与真实值曲线对比图。

图3为在Metro Interstate Traffic数据集对比实验中，不同方法在两周内的交通流预测值与真实值曲线对比图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，以下结合附图及具体实施 例，对本申请作进一步地详细说明。

在以下描述中，对“一个实施例”、“实施例”、“一个示例”、“示例”等等 的引用表明如此描述的实施例或示例可以包括特定特征、结构、特性、性质、 元素或限度，但并非每个实施例或示例都必然包括特定特征、结构、特性、性 质、元素或限度。另外，重复使用短语“根据本申请的一个实施例”虽然有可 能是指代相同实施例，但并非必然指代相同的实施例。

为简单起见，以下描述中省略了本领域技术人员公知的某些技术特征。

根据本申请的一个实施例，提供一种基于变分自编码学习的交通流预测方 法具体实现方式如下：

A、数据预处理

对交通流相关数据进行预处理，构建交通流相关的多变量序列数据集: X＝{x_i,j|i＝1,2…,n；j＝t-l,…,t-1},输入历史窗口大小为:l；前向预测步数为:p； 交通流相关变量(除了交通流量数据本身，本方法考虑了通行速度、密度、通 行时长等变量)数目为:i；预处理后的数据集TF表示如下：

B、构建训练集

处理好的交通流多变量数据集X＝{x_i,j|i＝1,2…,n；j＝t-l,...,t-1}，进一步进行标准 化计算并作用于数值列，计算公式为：X′＝(x-mean)/σ，其中mean为平均值， σ为标准差。初始

取X的前80％为训练集，剩余数据为测试集，构建训 练集测试集D_train＝(X,Y)；

C、模型初始化

对模型(方法设计原理如图1)中的网络层权重进行初始化，采用Xavier初 始化技术，默认初始权重计算公式为

并设定迭代次数Epochs与训练误差阈值Err初始值；

D、变分自编码学习

D1、依次从训练集D_train中选择批处理样本D_b，首先基于双向GRU网络 层，接受每个时间窗口的交通流时序数据输入以及上一个时间步的隐藏状态，h_t是第t个时间步的双向GRU状态输出向量，h_z为双向GRU的前向最终状态和 后向最终状态的级联表示：

由双向GRU编码器输出的隐藏状态求加权平均值获得时间注意力向量， 计算公式如下：

其中每个编码器的隐藏状态相对应的权重计算公式和注意力得分函数公 式分别为：

D2、通过线性计算出潜变量h_z和时间注意力向量h_a的均值μ和标准差σ， 如下所示：

μ_z＝W_μh_z+b_μ,σ_z＝W_σh_z+b_σ

μ_a＝W_μh_a+b_μ,σ_a＝W_σh_a+b_σ

分别从潜变量空间Z和注意力向量空间A中进行高斯采样，并将其用作 GRU解码网络的输入并进行预测输出：

D3、模型训练目标为解码预测值重构编码输入值的损失和KL散度损失 相加最小，以获得最优参数空间θ，训练损失函数为：

L_rec(rθ，φ；x)+KL(q_φ ^(z)(z|x)||p(z))+KL(q_φ ^(a)(a|x)||p(a))

E、模型迭代

重复D1、D2、D3步骤，直到训练条件终止(超过模型迭代次数或超过损 失误差阈值)，生成训练好的model，可用于预测未来多步交通流值(f_t到f_t+p)。

仿真实验：

为了验证基于变分自编码学习的交通流预测方法的有效性，进行了两个真实 数据集的交通流预测对比实验。基于Tensorflow为Backend的开源深度学习库 Keras，来构建深度学习模型，采用Scikit-learn机器学习库用于构建浅层学习模 型。另外将本方法与以下基准方法进行比较：

·VAR，向量自回归模型可以对多变量时间序列数据之间的隐含关系进行建 模，可以把VAR模型看做是集合多元线性回归的优点(可以加入多个因子)以 及时间序列模型的优点(可以分析滞后项的影响)的综合模型。

·ARIMA，自回归综合移动平均值法是一种广泛用于时间序列分析的模型， 它结合了移动平均值和自回归方法。

·SVR，支持向量回归(SVR)是支持向量机机器学习模型的一种变体方法， 经常用于时间序列预测，本实验中我们使用了三种不同核函数(RBF，POLY和 LINEAR)的SVR模型。

·RNN，这是用于处理序列任务的最为传统的深度学习方法，LSTM和GRU (门控循环单位)，是两种最流行的基于RNN变体的深度学习模型。

·Seq2Seq，一种可用于交通流预测的经典序列到序列深度学习模型，该模型 选择LSTM作为编码器和解码器组件。

·ConvLSTM，经典的卷积LSTM网络，也采用其作为交通流预测实验的基 准模型。

将RMSE和MAE作为模型误差分析指标，用于评估各种方法的交通流预 测性能，误差指标计算公式如下：

其中

代表预测的交通流量值，y_i代表真实的交通流量值，n是测试数据集 样本数量。表3为实验对比模型的参数设置情况。

实验一：

第一个交通流数据集来源于英国政府开发数据平台，简称为Highway EnglandDataset([Online].Available:https://data.gov.uk/dataset/dft-eng-srn-routes-journey-times/)，该 平台发布有关英格兰的两类主要公路网的交通流数据信息，所有主干战略高速 公路网络和本地化的公路网。Highway England交通流数据集是一个典型的多变 量时间序列，该数据集采集了每间隔15分钟的平均通行时间，通行速度和交通 流量等信息，实验所用的数据集时间跨度为2013年1月1日至2014年2月31 日。

实验二：

第二个实验数据简称Metro Interstate Traffic Dataset，来源于UCI网站下载(Available online:http://archive.ics.uci.edu/ml/datasets/Metro+Interstate+Traffic+Volume)，该数据集包含了每小 时间隔采集的地铁交通人流量数据，同时还包括了天气特征、假期特征以及其 它相关交通信息。本实验所采用的该数据集时间跨度为2012年2月10日至2018 年9月30日。与一般公路网交通流不同，地铁交通通勤人流量值一般较大，该 数据集流量值大于4000，为了更好地测试模型误差，模型输入时将该流量的数 据转换到0与100之间。

实验结果评估：

图2是在Highway England数据集对比实验中，不同方法(SVR-RBF,RNN, 本发明)在一个工作日(2013.11.18)内的交通流预测值与真实值曲线对比图， 其中由下至上依次为图2(a)、图2(b)、图2(c)；图2(a)为SVR-RBF模型；图2(b) 为RNN模型；图2(c)为本方法模型。其中x坐标表示观测时间步长，y坐标表 示每间隔15分钟内的交通流量值。从对比图可以看到，本方法的预测性能都要 优于以SVR-RBF为代表的浅层模型和以RNN为代表的深度学习模型，特别是 在交通流波峰和波谷时间范围内的预测情况，本方法的预测性能都能保持最优。

图3是在Metro Interstate Traffic数据集对比实验中，不同方法在两周内(2017.11.02至2017.11.15)的交通流预测值与真实值曲线对比图，图中的误差 为预测值与真实值相减后的绝对误差。其中第一行左侧为图3(a)、第一行右侧 为图3(b)、第二行左侧为图3(c)、第二行右侧为图3(d)、第三行左侧为图3(e)、 第三行右侧为图3(f)；图3(a)SVR-RBF单步预测；图3(b)SVR-RBF未来第6 个时间步预测；图3(c)RNN单步预测；图3(d)RNN未来第6个时间步预测；图 3(e)本发明的单步预测；图3(f)本发明在未来第6个时间步预测。其中水平轴x 表示观测的时间步长，每个间隔为1小时，垂直轴y代表交通流量，分别比较 了不同模型在单步预测(t+1)和多步预测条件下(t+6)的交通流预测误差情况。 从图中我们可以看到，本发明方法在不同时间步长情况下都能保持最优的预测 性能，预测值曲线与真实值曲线能够很好的匹配。本方法的预测性能不管是在 平时工作日情况还是周末情况下，都要优于以SVR-RBF为代表的浅层模型和 RNN为代表的所有基准对比模型，从图中的交通流波峰和波谷时间段范围内， 各模型的预测对比情况更为明显。另外，随着预测时间步长的增加，SVR-RBF 模型和RNN模型的预测性能在急剧下降，但本发明方法的预测性能下降趋势要 比SVR和RNN更为缓慢，可以保持更优的交通流预测准确性。

表2为不同对比方法在Metro Interstate Traffic数据集上的交通流预测误差指标对比。给出了本方法与基准模型的多步(从t+1到t+12的未来12小时内) 交通流预测误差(RMSE和MAE)结果。从图中数据可以看到，无论预测时间 步长是多少，本方法的预测性能都比其他基准模型要好，即使对于未来12个小 时后的长时间步预测，本方法预测性能也能保持最优，预测误差值保持最低。

综上，通过在两个真实交通流数据集上进行的实验评估分析，本方法相比 基准方法具有更好的预测性能，RMSE与MAE预测误差最小，不管是在单步 预测还是在长时多步预测条件下，本方法的交通流预测值都可以与真实值保持 较好的匹配。

表1

表2

以上所述实施例仅表示本发明的几种实施方式，其描述较为具体和详细， 但并不能理解为对本发明范围的限制。应当指出的是，对于本领域的普通技术 人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些 都属于本发明保护范围。因此本发明的保护范围应该以所述权利要求为准。

Claims (6)

1.一种基于变分自编码学习的交通流预测方法，其特征在于，包括如下步骤：

进行数据预处理的步骤；

进行构建训练集的步骤；

进行模型初始化的步骤；

进行变分自编码学习的步骤；

进行模型迭代的步骤。

2.根据权利要求1所述的基于变分自编码学习的交通流预测方法，其特征在于，进行数据预处理的步骤具体如下：

对交通流数据进行预处理，构建交通流相关的多变量序列数据集:X＝{x_i,j|i＝1,2...,n；j＝t-l,...,t-1},输入历史窗口大小为l；前向预测步数为:p；交通流相关变量数目为i；预处理后的数据集TF表示如下：

3.根据权利要求2所述的基于变分自编码学习的交通流预测方法，其特征在于，进行构建训练集的步骤具体如下：

处理好的交通流多变量数据集X＝{x_i,j|i＝1,2...,n；j＝t-l,...,t-1}，进一步进行标准化计算并作用于数值列，计算公式为：X′＝(x-mean)/σ；

其中mean为平均值，σ为标准差；

初始

取X的前80％为训练集，剩余数据为测试集，构建训练集测试集D_train＝(X,Y)。

4.根据权利要求3所述的基于变分自编码学习的交通流预测方法，其特征在于，进行模型初始化的步骤具体如下：

对模型中的网络层权重进行初始化，采用Xavier初始化技术，默认初始权重计算公式为

并设定迭代次数Epochs与训练误差阈值Err初始值。

5.根据权利要求4所述的基于变分自编码学习的交通流预测方法，其特征在于，进行变分自编码学习的步骤具体如下：

依次从训练集D_train中选择批处理样本D_b，首先基于双向GRU网络层，接受每个时间窗口的交通流时序数据输入以及上一个时间步的隐藏状态，h_t是第t个时间步的双向GRU状态输出向量，h_z为双向GRU的前向最终状态和后向最终状态的级联表示：

由双向GRU编码器输出的隐藏状态求加权平均值获得时间注意力向量，计算公式如下：

其中每个编码器的隐藏状态相对应的权重计算公式和注意力得分函数公式分别为：

通过线性计算出潜变量h_z和时间注意力向量h_a的均值μ和标准差σ，如下所示：

μ_z＝W_μh_z+b_μ,σ_z＝W_σh_z+b_σ

μ_a＝W_μh_a+b_μ，σ_a＝W_σh_a+b_σ

分别从潜变量空间Z和注意力向量空间A中进行高斯采样，并将其用作GRU解码网络的输入并进行预测输出：

模型训练目标为解码预测值重构编码输入值的损失和KL散度损失相加最小，以获得最优参数空间θ，训练损失函数为：

L_rec(rθ，φ；x)+KL(q_φ ^(z)(z|x)|p(z))+KL(q_φ ^(a)(a|x)|p(a))。

6.根据权利要求5所述的基于变分自编码学习的交通流预测方法，其特征在于，进行模型迭代的步骤具体如下：

重复进行变分自编码学习的步骤，至超过模型迭代次数或超过损失误差阈值，生成训练好的model，可用于预测未来多步交通流值。

Images