CN109903557A - 基于改进独立循环神经网络的高速公路交通流预测方法 - Google Patents

Abstract

本发明揭示了一种基于改进独立循环神经网络的高速公路交通流预测方法，以高速公路交通流数据为预测基础，改进并重构独立循环神经网络；将DenseBlock作为隐藏特征提取器对交通流数据提取特征图，然后对提取的特征图信息进行全局平均池化，再将池化后的结果置于由IndRNNCells组成的预测头中，学习时序信息，进行前向预测。应用本发明该预测技术方案，基于改进IndRNN的神经网络结构能够自动学习流量数据几种流量之间隐藏的特征关系，有效克服了传统网络不能考虑交通流数据潜在趋势的不足，并且达到了较高模型精度的效果。

Description

基于改进独立循环神经网络的高速公路交通流预测方法

技术领域

本发明涉及一种高速公路交通流预测方法，具体涉及一种基于改进独立循环神经网络的的高速公路交通流预测方法。

背景技术

基于实时路况的交通流监控数据，对高速公路交通流进行预测，对推进交通信息化进程具有重要推动作用。其目的是通过视频摄像机、雷达等传感终端，实时准确的采集交通流数据；根据实际交通运行状况，提前干预，削弱各种因素对交通流的影响，防止因车辆故障和交通事故等原因造成高速公路拥堵。保证行车安全和道路通畅，实现人车路和谐运行。

随着交通基础设施和运输网络的逐步完善，高速公路监控系统越来越受重视。然而，现有高速公路监控系统的发展相对迟缓，仍然存在许多问题，与发达国家相比还存在不小的差距，比如交通流预测能力偏弱。如何在原有监控数据基础上，高效地运用现有交通资源，提前预测并诱导交通流，提高路网运行效率，是目前高速公路监控方面亟待解决的关键问题。在此过程中，交通流预测研究具有重要作用。

大量人工智能技术已经应用到了交通流量预测上。包括滑动平均模型，ｋ近邻模型，自回归模型，周期性的ARIMA模型和神经网络模型等。预测交通流量很大程度上依赖于历史和实时的交通数据，这些数据可从各种传感器，例如线圈，雷达，GPS 以及多媒体数据中获取。深度学习技术的发展正如火如荼，深度学习模型在交通问题上的应用吸引了大量科研工作人员的注意。深度学习模型己经大量应用在了分类、自然语言处理目标检测等方面。其对交通流量预测也有过早期的尝试，比如使用栈式自动编码机(SAE)和深度置信网络(DBN)。这两种方式都是对原有的输入进行特征学习再将结果作为预测输入进行交通流量预测的。

Hinton等提出了基于深度信念网络的快速学习算法，并应用于数字图形识别；此外，Kuremoto等应用了基于限制波尔兹曼机的深度信念网络模型的时间序列预测。国内，谭娟等人将深度学习应用到交通拥堵预测研究中，以及其他学者将深度学习应用到语音识别、行人检测。目前应用深度学习来进行交通预测的相关研究成果还比较少，Huang等应用了基于深度信念网络模型结构和多任务回归的交通预测方法，对单输出和多任务输出的流量进行了预测；Lv等针对大路网下的交通流，提出了自编码的深度网络模型预测方法，这两种方法采用的顶层预测模型均为对数回归模型，未考虑交通数据潜在的趋势项对预测结果的影响，且没有对整个路网流量进行预测。Zhang等针对轨道交通流数据，应用了残差网络模型结构，对交通流进行分析研究；Zhang等针对市区人流量数据，提出ST-ResNet网络，对人群的入流量和出流量进行有效预测，但对高速公路交通流的预测尚不完善，预测精度较差。

发明内容

鉴于上述现有技术的现状，本发明的目的旨在提出一种基于改进独立循环神经网络的高速公路交通流预测方法。

为了实现上述目的，本发明的技术解决方案为：基于改进独立循环神经网络的高速公路交通流预测方法，其特征在于：以高速公路交通流数据为预测基础，改进并重构独立循环神经网络；将DenseBlock作为隐藏特征提取器对交通流数据提取特征图，然后对提取的特征图信息进行全局平均池化，再将池化后的结果置于由IndRNNCells组成的预测头中，学习时序信息，进行前向预测。

优选的，上述基于改进独立循环神经网络的高速公路交通流预测方法，包括步骤：

S1、输入交通流数据，根据时间区分周末和非周末数据，分场景构建训练集和测试集；

S2、数据预处理，将训练集中的一维时间序列扩增为四维张量X[m,n,1,1]，并对训练数据进行归一化处理，其中m为样本个数，n为一个样本中观察的之前时刻交通流量数，前一个1表示默认序列的宽度，后一个1表示默认通道数；

S3、构建网络，根据深层二维卷积网络中密集连接提取特征的方式堆叠DenseBlock，然后对特所提取的征图信息进行全局平均池化，再堆叠IndRNNCells构建预测头，组成全局网络；

S4、训练网络，将步骤S2预处理好的四维张量输入到步骤S3所得的全局网络中，通过前向预测结果以及将误差反向传播更新网络参数的方式进行循环迭代，得到网络模型；

S5、测试网络，利用完成训练的网络模型对测试集进行交通流预测。

优选的，上述基于改进独立循环神经网络的高速公路交通流预测方法，其中对训练数据局进行归一化处理的公式为：，其中X为默认的归一化后的数据，X_S为训练样本，X_min和X_max分别为交通流量数据的最小值和最大值。

优选的，上述基于改进独立循环神经网络的高速公路交通流预测方法，其中改进并重构的所述独立循环神经网络主体由DenseBlocks、全局平均池化及IndRNNCells三部分构成，其中DenseBlocks由12个convblock构成，每个convblock的输入包含所有较早层的featuremaps，且输出被传递至每个后续层，所有featuremaps通过深度级联在一起；全局平均池化面向DenseBlocks所得特征图计算每张特征图的平均值作为代表信息输入后面预测图，并通过网络训练自动学习每张特征图的隐藏时间信息；IndRNNCells结合ReLU激活函数堆叠网络，搭建更深网络的预测头。

更优选的，上述基于改进独立循环神经网络的高速公路交通流预测方法，其中所述convblock由卷积层、激活函数层以及BN层构成，其中卷积层采用16个卷积核，大小为3*1，卷积步长为1，padding为1，对输入大小为nx1的数据进行卷积，生成16个大小仍旧为nx1的特征图，BN层对每次训练输入到网络中的数据进行计算均值、方差标准化处理。

优选的，上述基于改进独立循环神经网络的高速公路交通流预测方法，其步骤S4训练网络中，进行循环迭代得到网络模型的迭代次数上限为网络模型呈收敛状，计算损失函数为均方误差函数：，表示真实值大小，表示预测值大小。

与现有技术相比，本发明具有突出的实质性特点和显著的进步性，该预测方法能够自动学习流量数据几种流量之间隐藏的特征关系，有效克服了传统网络不能考虑交通流数据潜在趋势的不足，并且达到了较高模型精度的效果。

附图说明

图1是本发明检测方法的实施流程示意图。

图2是本发明应用本发明预测方法的训练结果曲线图。

具体实施方式

针对性研究现有技术对交通流量预测，尤是利用各类深度信念网络进行高速公路流量预测方面的不足，本发明提出了基于改进的独立循环神经网络的高速公路交通流预测方法，从而优化网络模型的预测精度。

依赖于计算机系统的网络处理技术，本发明基于改进独立循环神经网络的高速公路交通流预测方法的概述特征：以高速公路交通流数据为预测基础，改进并重构独立循环神经网络；将DenseBlock作为隐藏特征提取器对交通流数据提取特征图，然后对提取的特征图信息进行全局平均池化，再将池化后的结果置于由IndRNNCells组成的预测头中，学习时序信息，进行前向预测。

为更具象化理解，如图1所示，本发明预测方法的的具体实施步骤详述如下。

S1、输入交通流数据X

根据时间关系，将交通流数据X分为周末数据X1以及非周末数据X2，分场景构建训练集和测试集。定义X作为训练数据，Y为训练数据对应的标签即真实值。X的读取维度为（m，n），Y的维度为（m，1），其中，m表示根据原始数据构造的样本个数，n表示一个样本中观察的之前时刻交通流量的数目，Y中每一行表示下一时刻的交通流的真实值。

S2、数据预处理

为了加快模型训练的收敛速度，对训练数据进行归一化处理，公式为：，其中在步骤S1训练数据的基础上，X为默认的归一化后的数据，X_S为训练样本，X_min和X_max分别为交通流量数据的最小值和最大值。

针对卷积神经网络模型的训练，将一维时间序列扩增为四维张量X[m,n,1,1]，并对训练数据进行归一化处理，其中m为样本个数，n为一个样本中观察的之前时刻交通流量数，前一个1表示默认序列的宽度，后一个1表示默认通道数。

S3、构造网络模型

本卷积神经网络模型DenseNet主体由DenseBlocks、全局平均池化及IndRNNCells三部分构成。

第一个模块为DenseBlocks，即堆叠DenseBlock。一个DenseBlock由12个convblock构成。每一个convblock的输入都包含了所有较早层的featuremaps，而且它的输出被传递至每个后续层，这些featuremaps通过深度级联在一起。为了防止级联时出现featuremaps大小不统一的问题，同一个denseblock内卷积层卷积通过padding使卷积之后的维度大小都保持不变。

更具体地，convblock由卷积层、激活函数层以及BN层构成。卷积层采用16个卷积核，其大小为3*1，卷积步长为1，padding为1，对输入的大小为nx1的流量数据进行卷积，将生成16个大小仍旧为nx1的特征图。

卷积过程为：，其中n表示输入的一维数据的长度，k表示卷积核的大小，p表示padding的数目，s表示卷积步长，r表示卷积后得到的特征图的大小，[]及其内容信息表示向下取整。由于对数据进行了padding为1的填充，所以卷积后的特征图大小保持不变。

ReLU激活函数层，即，能够有效加强网络的非线性表达能力，并且一定程度上抑制网络训练过程中梯度爆炸、梯度弥散的风险。

BN层对每次训练输入到网络中的数据进行标准化处理，加快网络的训练。处理过程分别为：、

、

、

。

其中，表示当前传入到网络中的一定批次的数据，、分别是这批训练数据的均值和方差，是标准化后的数据，是对做一定尺度缩放及移位后的结果，是网络需要学习的参数，BN层能有效解决训练过程中的internalcovariate shift问题，降低梯度爆炸、梯度弥散等风险，加快模型的收敛速度。

从堆叠过程来看，，其中，为第L个convblock的输出，本发明中L设为12，即第12个convblock的输入来自于前面11个convblock的输出，输出的featuremaps通过深度级联在一起，加强了feature的传递以及复用。

因为DenseBlocks强大的特征提取能力，将其作为交通流预测的隐藏特征提取器，将有效特征传递给后面的全局平均池化及预测头。

第二个模块为全局平均池化（英文简称GAP），通过堆叠DenseBlock会得到多个输出特征图，每个特征图代表一个维度的特征信息，通过全局平均池化计算每张特征图的平均值作为代表信息输入后面预测图，并且通过网络训练自动学习每张特征图的隐藏时间信息。

第三个模块为IndRNNCells，IndRNN相对于传统RNN能够更好的处理梯度消失爆炸等问题，并且结合relu激活函数，堆叠多层网络，搭建更深的网络。

为了缓解梯度弥散爆炸等问题，IndRNN使用ReLU替代sigmod、tanh等激活函数，并保证层内的神经元独立提取时空特征。

循环输入公式为：，其中U是一个向量，表示矩阵点乘，即对应位置元素相乘。t时刻每个隐藏层神经元只以当前时刻的输入以及t-1时刻自身的状态作为输入，与其它同层神经元无关。则第n个神经元可以表示为：,

其中，W_n表示W矩阵的第n行，U_n同W_n类似，表示U矩阵的第n行。

假设在时刻T，目标优化函数为Jn，当误差梯度反传到第t时刻时，计算结果如下：

，

从公式中可知，梯度帆船结果只与u以及激活函数的导数有关，大部分激活函数的导数都在0到1之间，所以调整的只能是u，将的值调整到适当的范围控制梯度反向传播的尺度变化。

为了使得梯度传递到时刻t时不会弥散，控制最小有效梯度大于，定义U矩阵，使得：；同理，为了防止梯度爆炸，设置U矩阵，使得：

。根据这种方式，定义了梯度反传的极小值和极大值。

同一层内神经元相互独立，各自学习时空特征，但是缺少了之间的联系，对网络易产生误导。所以为了在神经元之间建立适当的联系，建议至少堆叠两层网络。虽然IndRNN中的神经元是相互独立的，但是多层IndRNN之间跨层信息可以得到很好的解释。

鉴于IndRNNCells优秀的序列特征提取能力，将IndRNNCells作为重要的预测头，结合前期DenseBlock的强大特征提取能力，作为交通流预测的主体结构。

S4、训练网络模型

将预处理好的交通流数据输入到构建好的网络中，进行前向传播，输出当前预测值，然后与真实值相比较，得到本次迭代的损失，再将损失反向传播，更新网络参数，反复迭代，达到指定训练轮数，即网络模型呈收敛状终止训练。

交通流预测为一维时间序列预测问题，故计算损失函数为均方误差函数：，表示真实值大小，表示预测值大小。

S5、测试网络模型

将测试集输入至训练好的网络模型中进行预测，最后将预测值与真实值进行比较，绘制成图，如图2所示。由此可见，该方案的预测效果能较好地跟踪真实值的变化趋势，预测精度提升显著。

本发明所提出的该基于改进独立循环神经网络的高速公路交通流预测方法，较之于传统同类方法具有突出的实质性特点和显著的进步性。其能够自动学习流量数据几种流量之间隐藏的特征关系，有效克服了传统网络不能考虑交通流数据潜在趋势的不足，并且达到了较高模型精度的效果。

Claims (6)

1.基于改进独立循环神经网络的高速公路交通流预测方法，其特征在于：以高速公路交通流数据为预测基础，改进并重构独立循环神经网络；将DenseBlock作为隐藏特征提取器对交通流数据提取特征图，然后对提取的特征图信息进行全局平均池化，再将池化后的结果置于由IndRNNCells组成的预测头中，学习时序信息，进行前向预测。

2.根据权利要求1所述基于改进独立循环神经网络的高速公路交通流预测方法，其特征在于包括步骤：

S1、输入交通流数据，根据时间区分周末和非周末数据，分场景构建训练集和测试集；

S2、数据预处理，将训练集中的一维时间序列扩增为四维张量X[m,n,1,1]，并对训练数据进行归一化处理，其中m为样本个数，n为一个样本中观察的之前时刻交通流量数，前一个1表示默认序列的宽度，后一个1表示默认通道数；

S3、构建网络，根据深层二维卷积网络中密集连接提取特征的方式堆叠DenseBlock，然后对特所提取的征图信息进行全局平均池化，再堆叠IndRNNCells构建预测头，组成全局网络；

S4、训练网络，将步骤S2预处理好的四维张量输入到步骤S3所得的全局网络中，通过前向预测结果以及将误差反向传播更新网络参数的方式进行循环迭代，得到网络模型；

S5、测试网络，利用完成训练的网络模型对测试集进行交通流预测。

3.根据权利要求1所述基于改进独立循环神经网络的高速公路交通流预测方法，其特征在于：对训练数据局进行归一化处理的公式为：，其中X为默认的归一化后的数据，X_S为训练样本，X_min和X_max分别为交通流量数据的最小值和最大值。

4.根据权利要求1所述基于改进独立循环神经网络的高速公路交通流预测方法，其特征在于：改进并重构的所述独立循环神经网络主体由DenseBlocks、全局平均池化及IndRNNCells三部分构成，其中DenseBlocks由12个convblock构成，每个convblock的输入包含所有较早层的featuremaps，且输出被传递至每个后续层，所有featuremaps通过深度级联在一起；全局平均池化面向DenseBlocks所得特征图计算每张特征图的平均值作为代表信息输入后面预测图，并通过网络训练自动学习每张特征图的隐藏时间信息；IndRNNCells结合ReLU激活函数堆叠网络，搭建更深网络的预测头。

5.根据权利要求4所述基于改进独立循环神经网络的高速公路交通流预测方法，其特征在于：所述convblock由卷积层、激活函数层以及BN层构成，其中卷积层采用16个卷积核，大小为3*1，卷积步长为1，padding为1，对输入大小为nx1的数据进行卷积，生成16个大小仍旧为nx1的特征图，BN层对每次训练输入到网络中的数据进行计算均值、方差标准化处理。

6.根据权利要求1所述基于改进独立循环神经网络的高速公路交通流预测方法，其特征在于：步骤S4训练网络中，进行循环迭代得到网络模型的迭代次数上限为网络模型呈收敛状，计算损失函数为均方误差函数：，表示真实值大小，表示预测值大小。