CN111291924A - 面向长时交通速度预测的几何代数深度神经网络模型方法 - Google Patents
面向长时交通速度预测的几何代数深度神经网络模型方法 Download PDFInfo
- Publication number
- CN111291924A CN111291924A CN202010051123.3A CN202010051123A CN111291924A CN 111291924 A CN111291924 A CN 111291924A CN 202010051123 A CN202010051123 A CN 202010051123A CN 111291924 A CN111291924 A CN 111291924A
- Authority
- CN
- China
- Prior art keywords
- speed
- geometric
- space
- layer
- prediction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 230000007774 longterm Effects 0.000 title claims abstract description 24
- 238000003062 neural network model Methods 0.000 title claims abstract description 19
- 239000011159 matrix material Substances 0.000 claims abstract description 53
- 239000013598 vector Substances 0.000 claims abstract description 45
- 238000013528 artificial neural network Methods 0.000 claims abstract description 37
- 238000012549 training Methods 0.000 claims abstract description 23
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 12
- 238000012360 testing method Methods 0.000 claims abstract description 11
- 238000009412 basement excavation Methods 0.000 claims abstract description 8
- 238000007781 pre-processing Methods 0.000 claims abstract description 8
- 238000000605 extraction Methods 0.000 claims abstract description 6
- 230000002159 abnormal effect Effects 0.000 claims abstract description 5
- 230000006698 induction Effects 0.000 claims abstract description 5
- 210000002569 neuron Anatomy 0.000 claims description 30
- 230000006870 function Effects 0.000 claims description 26
- 238000011176 pooling Methods 0.000 claims description 21
- 230000004913 activation Effects 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000005457 optimization Methods 0.000 claims description 7
- 238000005065 mining Methods 0.000 claims description 5
- 210000002364 input neuron Anatomy 0.000 claims description 4
- 210000004205 output neuron Anatomy 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 4
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 2
- 230000005540 biological transmission Effects 0.000 claims description 2
- 230000008859 change Effects 0.000 description 7
- 238000013135 deep learning Methods 0.000 description 7
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 238000013136 deep learning model Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000013179 statistical model Methods 0.000 description 3
- 238000012800 visualization Methods 0.000 description 3
- 238000007405 data analysis Methods 0.000 description 2
- 230000003111 delayed effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000013329 compounding Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 230000001932 seasonal effect Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G06Q50/40—
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Abstract
一种长时交通速度预测的几何代数深度神经网络模型方法，具体方法包括如下步骤：原始数据采集及数据预处理，使用速度数据，由道路上的感应线圈检测器按时间间隔采集得到，采集得到数据后，对原始速度数据进行预处理以去除异常元素；(2)生成交通速度时空矩阵，将融合了历史速度时空矩阵用几何代数编码生成多重向量时空矩阵作为几何代数深度神经网络模型的输入；(3)构建几何代数深度神经网络模型，通过几何代数深度神经网络对历史速度参数进行多维度的深入挖掘以及时空特征的提取，实现对交通速度的长时预测；(4)通过反向传播算法对网络进行预测任务的训练优化以及测试，最后得到预测结果。提高对未来全天交通速度预测的准确性。
Description
技术领域
本发明涉及智能交通系统在交通速度预测的应用。
背景技术
交通拥堵预测分级的实质是对表征拥堵的各交通参数进行预测，通过对大量历史交通参数的特征学习，揭示其变化规律并对未来时段的参数值进行滚动预测并且对未来的拥堵状态进行分级。车速是判断交通拥堵状态的重要指标，因此，根据历史交通速度数据所反映出的拥堵状态变化规律对未来交通速度信息进行预测是实现拥堵预测的重要手段。
交通速度预测是指基于历史的交通速度数据对未来的交通速度信息进行预测，根据预测时间的长短，可大致分为短时(5-30min)、和长时(通常取1天)预测。由于随着预测间隔的增加，速度数据之间的相关性减小，随机性增大，因而现有研究方法主要集中于短时预测，预测方法主要分为3类：传统的统计学方法、基于机器学习的方法和基于深度学习的方法。在最初的统计学模型中，大多数方法都采用传统的统计时间序列方法，如自回归滑动平均模型(ARIMA)和季节自回归滑动平均模型(SARIMA)等，然而，这些基于参数型的统计学模型受线性估计模型限制，无法适应交通数据的非线性变化，故无法对非线性交通速度数据进行分析。后来，一些机器学习方法也被提出来用于解决交通速度预测问题，诸如支持向量机(SVM)、k近邻(KNN)和支持向量回归(SVR)、贝叶斯网络等，这些机器学习方法在交通速度预测方面一定程度上取得了较好的效果，但是它们都属于浅型模型，在有限的样本和计算单元的条件下，对复杂函数的表达能力，泛化能力等都存在局限性。近年来，深度学习受到越来越多研究者的关注，因此也涌现了许多深度学习方法应用于短时交通速度预测，如栈式自编码神经网络(SAE)、深度置信网(DBN)、循环神经网络(RNN)、长短期记忆网络(LSTM)，以及卷积神经网络(CNN)等。相对于传统的统计型模型或者机器学习模型，基于深度学习的模型可以对大规模的交通数据进行分析，具有更强大的特征学习和特征表达能力，在预测上更高效准确。
然而，现有的深度学习方法虽然在对交通速度的短时预测上取得了一定进展，但对于长时预测的问题仍未得到很好的解决。并且，这些模型大多采用经典的深度学习模型对数据进行分析，模型结构较为单一、简单，缺少针对具体问题的模型设计，可扩展性差，预测精度也有待提高。除此之外，现有的深度学习模型只包含具有标量值的神经元，虽然能提取不同模式的特征，但是不能对复杂的交通数据在空间上进行多维的表示，无法准确反映不同模式之间的相对空间位置关系，在海量高维相关的交通数据的挖掘和分析方面具有局限性。
发明内容
本发明目的在于克服现有技术的不足，公开一种基于几何代数深度神经网络模型的长时交通速度预测方法。针对如何提高对未来全天交通速度预测的准确性问题，本发明提出了一种几何代数深度神经网络，并基于此网络提出了长时交通速度预测方法。
方法原理：采用具有多重向量值的时空矩阵来统一表征多个历史天的交通速度信息作为模型的输入，通过构建几何代数深度神经网络，对表征拥堵的速度参数进行多维度的深入挖掘，从而对历史速度信息的时空特征进行联合学习，揭示其变化规律并实现对未来一天交通速度的长时预测。
本发明技术方案为：
一种长时交通速度预测的几何代数深度神经网络模型方法，具体方法包括如下步骤：
(2)原始数据采集及数据预处理
使用速度数据，由道路上的感应线圈检测器按时间间隔采集得到，采集得到数据后，对原始速度数据进行预处理以去除异常元素。
(2)生成交通速度时空矩阵，将融合了历史(实施例为历史3天的速度)速度时空矩阵用几何代数编码生成多重向量时空矩阵作为几何代数深度神经网络模型的输入；
将原始的交通速度数据转化为一个空间-时间矩阵，该矩阵可以看作是融合了一天的速度信息时空信息的矩阵图像，然后利用几何代数对融合了历史(实施例为3天的速度)速度时空矩阵进行编码生成多重向量时空矩阵作为模型输入。
(3)构建几何代数深度神经网络模型，通过几何代数深度神经网络对历史速度参数进行多维度的深入挖掘以及时空特征的提取，实现对交通速度的长时预测；构建的几何代数深度神经网络一共有9层，包括了一系列的几何卷积层、池化层、全连接层以及输出层。
通过从不同角度来感知、处理速度参数，对高维非线性的速度数据进行多维度的深入挖掘，从而捕捉不同历史天速度数据模式之间的相对空间位置关系，反映不同历史天速度数据之间的时序相关性，最后通过一个全连接层解码出预测的第二天的交通速度值。
(4)通过反向传播算法对网络进行预测任务的训练优化以及测试，最后得到预测结果；
为了预测交通速度，需要对网络参数进行训练，因此需要定义一个损失函数来描述模型的预测精度，然后通过反向传播算法计算损失函数对每一个参数的梯度，再根据梯度和学习率使用优化算法找到合适的网络参数值，使得损失函数最小化，从而得到更准确的预测速度值。完成网络模型的训练后，最后对网络模型进行测试，得到预测的速度值。
附图说明
图1长时交通速度预测的几何代数深度神经网络方法的系统流程图。
图2长时速度预测的几何代数深度神经网络模型结构图。
图3几何卷积层中几何乘积的实现过程图例。
图4几何代数深度神经网络中池化层的实现过程图例。
图5实例延安高架预测值与真值的拟合曲线图。
图6实例内环高架预测值与真值的拟合曲线图。
图7实例延安高架速度矩阵可视化热图。
图8实例内环高架速度矩阵可视化热图。
具体实施方式
随着智能交通系统技术的不断成熟和发展，对未来交通速度进行准确而有效的预测，作为智能交通系统的研究重点，对提高交通控制和管理效率、缓解交通拥堵也具有十分重要的现实意义。然而，对于海量的、复杂多变的交通速度数据，基于传统的统计学和机器学习方法难以准确捕捉其中蕴含的复杂特征和变化规律，预测的准确率较低。基于深度学习的模型可以对大规模的交通数据进行更有效的分析，具有更强大的特征学习和特征表达能力，然而，现有方法通常只采用经典的深度神经网络对数据进行分析，模型结构较为单一、简单，缺少针对具体拥堵问题的模型设计、可扩展性差，预测精度也有待提高。更重要的是，现有的深度神经网络只包含具有标量值的神经元，虽然能提取不同模式的特征，但是不能对复杂的交通数据在空间上进行多维的表示，故无法准确反映不同模式之间的相对空间位置关系，在海量高维相关的交通数据的挖掘和分析方面具有局限性，因此，实现更准确的交通速度预测，仅仅基于传统深度神经网络的特征学习是远远不够的。
针对以上问题，本发明在几何代数(Geometric Algebra，GA)的框架下对传统深度神经网络进行拓展，将几何代数与卷积神经网络结合起来，首次提出了一种几何代数深度神经网络，并基于此网络提出了交通速度预测方法，将具有时序相关性的车速信息用几何代数编码生成具有多重向量值的时空矩阵作为网络模型的输入，通过对交通速度数据进行多维度的深入挖掘，实现了对交通速度的长时预测，从而提高对交通速度预测的准确性和鲁棒性。
以下结合附图和实施例对本发明技术方案做一步介绍。
实施例
具体实施过程如图1所示，包括如下3个方面：
①原始数据采集及数据预处理
②生成交通速度时空矩阵，将融合了历史3天的速度时空矩阵用几何代数编码生成多重向量时空矩阵作为模型输入；
③构建几何代数深度神经网络模型，通过几何代数深度神经网络对历史速度参数进行多维度的深入挖掘以及时空特征的提取，实现对交通速度的长时预测；
④通过反向传播算法对网络进行预测任务的训练优化以及测试，最后得到预测结果；
各个步骤详述如下：
一、原始数据采集及数据预处理
作为实施例，本发明所使用的速度数据是由2011全年部署在延安高架和内环高架道路上的感应线圈检测器按5分钟的时间间隔采集得到，其中延安高架由于缺失了3月20日至3月23日的数据，故实际可用于实验的只有361天的数据，内环高架有365天的数据。部署在每条高架道路上的各检测器之间有着400米的位置间隔，且延安高架与内环高架的检测器数量分别为35和72个；采集得到数据后，对原始速度数据进行预处理以去除异常元素，首先将最高车速设定为每小时100公里，以包括超速的情况，且最低速度设定为0。此外，对于数据中的缺失点我们用其相邻值的平均值来代替。
二、生成交通速度时空矩阵，将融合了历史3天的速度时空矩阵用几何代数编码生成多重向量时空矩阵作为模型的输入
将具有时间和空间变化的交通速度数据通过一个二维时空矩阵转化为描述速度值与时间和空间关系的图像，即让矩阵的x和y轴分别表示时间维度和空间维度，因此，具有时空特性的速度时空矩阵的数学形式可以表示为公式(1)：
生成的矩阵V可以被看作是图像的一个通道，代表了一天的速度信息，其中n是时间序列的长度，m是道路路段的长度，m和n定义了矩阵V的维度，矩阵V中的每个元素变量vij(i∈[1，m]，j∈[1，n])表示在位置i，时间点j的交通速度值，单位是千米每小时(km/h)。
几何代数(Geometric Algebra，GA)是以统一模式生成的协变量代数框架，是向量代数的拓展，它为复杂空间高维运算提供了完备的规则，能以统一简洁的形式实现对高维信息的编码和计算。几何代数通过以多重向量的形式编码高维数据以扩展空间维度，并且通过多重向量间的运算实现空间度量，具有空间自定义和维数可计算的特点。在三维欧氏空间R3中定义的几何代数R3由8个基元素组成，即如公式(2)所示：
R3＝span{1,e1,e2,e3,e23,e31,e12,e123＝I3}#(2)
其中，基元素1是三维欧氏空间中的标量，e1，e2，e3对应了三维欧氏空间中的3个正交基向量(vector)，e23，e31，e12为3个表征平面的双向量(bivector)，双向量由两个正交基向量进行外积运算获得，e23，e31，e12的运算分别由公式(3)、公式(4)、公式(5)给出：
e23＝e2∧e3#(3)
e31＝e3∧e1#(4)
e12＝e1∧e2#(5)
e123是三向量(trivector)，为3个正交基的外积，表征了三维空间。e123定义如公式(6)：
e123＝e1∧e2∧e3#(6)
高维信息可基于此8个基元素编码，以多重向量(multivector)形式可表示为公式(7)：
X＝a+be1+ce2+de3+ee23+fe31+ge12+he123#(7)
多重向量通过“+”号连接不同维度对象，实现几何代数空间多维对象共存，从而实现对复杂对象的表征。
几何代数的核心运算为几何乘积，任意两个多重向量X和Y的几何乘积可表示为公式(8)：
几何乘积是内积和外积的和，内积运算类似于向量代数的点积，其运算对象为不同维度的高维对象，用于空间度量、拓扑计算以及降维运算；外积运算与内积相反，在几何代数中为升维运算，用于几何对象的高维扩充及构建；将内积和外积通过“+”号连接起来，形成几何乘积运算，类似于复数的实部与虚部，实现空间构造与空间度量的并行运算。三维欧氏空间中几何代数基元素之间满足一定的运算关系，表1描述了三维欧氏空间中几何代数基元素之间的几何乘积关系。
表1三维欧氏空间中几何代数基元素之间的几何乘积关系
根据几何代数基元素之间的几何乘积关系即可计算任意两个多重向量间的几何乘积。
本发明中的长时交通速度预测是指利用不同历史3天的速度数据预测未来一天的速度值，为了预测第(T+1)天的速度，需要第T天、第(T-6)天和(T-13)天的历史速度信息，因为这3天的历史数据具有明显的周期性和时间相关性。通过利用几何代数对这历史3天的速度时空矩阵进行编码生成多重向量时空矩阵作为模型输入，使得输入神经网络神经元不再只是仅能表示一个历史天信息的标量，而是可以表示多个历史天信息的矢量。编码后的多重向量可表示成公式(9)：
X＝Xr+XTe12+XT-6e23+XT-13e31#(9)
Xr和XTe12+XT-6e23+XT-13e31分别表示输入多重向量的实部和虚部，实部Xr设为0，虚部包含的3个元素XT，XT-6，XT-13。Xr，XT，XT-6，XT-13分别表示第T天、第(T-6)天以及(T-13)天的速度信息时空矩阵，e12，e23，e31是三个不同的双向量(bivector)，也是虚单位，对于e12、e23、e31本身的几何意义可以理解为一种旋转。输入向量的维度之间存在很强的内部依赖关系，通过几何代数对输入信息的统一编码和表达，使得神经网络的输入神经元不再只是仅能表示历史一天速度信息的标量，而是可以表示历史3天速度信息的矢量，充分考虑了高维数据的相关性，从而可以从不同角度来感知、处理速度参数，对速度数据进行多维度的深入挖掘，捕捉交通速度数据的高维非线性特征。
三、构建几何代数深度神经网络模型，通过几何代数深度神经网络对历史速度参数进行多维度的深入挖掘以及时空特征的提取，实现对交通速度的长时预测。
图2展示了长时交通速度预测的几何代数深度神经网络模型结构，本发明用以预测交通速度的几何代数深度神经网络结构类似于普通的卷积神经网络，主要包含9层：几何卷积层G1、池化层P1、几何卷积层G2、池化层P2、几何卷积层G3、池化层P3、和全连接层FC1、FC2以及输出层FC3，其网络模型的超参数如表2所示。
在实值卷积中，只是将卷积核的每个通道与相应图像的通道相乘，这样会忽略了通道之间的相互关系，造成信息丢失。几何代数神经网络中的卷积计算是基于几何代数的，几何代数卷积与传统的卷积操作类似，不同的是对几何代数向量和几何代数卷积核进行卷积。假设卷积层的输入多重向量被表示成公式(10)：
X＝Xr+X1e12+X2e23+X3e31#(10)
同时，我们构建的具有多重向量值的权重矩阵定义如公式(11)：
W＝wr+w1e12+w2e23+w3e31#(11)
根据几何代数基元素之间的几何乘积关系以及分配律，两个多重向量X和W的几何乘积定义如公式(13)：
图3展示了一个几何卷积层中几何乘积的实现过程，在几何乘积中，我们是将多重向量值神经元根据维度数量映射为多个标量神经元，得到的结果矩阵的实部和虚部分别都由4个普通卷积的结果相加和相减得到，故几何乘积运算类似于通过对若干分离的标准卷积结果的复合从而学习复合特性。
几何卷积层主要根据几何代数中几何乘积运算
来实现多重向量神经元间的信息传递，神经元间采用局部连接，权值共享，每层包含多个具有多重向量值的权值矩阵。因此，当第L层的第j个神经元与上层某局域内n个神经元相连，其对应的输出可表示成公式(13)。
其中符号
·、∧分别表示几何乘积，内积和外积运算，几何乘积统一表征了多重向量编码的多维度信息幅值和空间位置计算，多重向量
分别表示第L层的第j个输出神经元、第L-1层的第i个输出神经元、L-1层第i个神经元和L层第j个神经元间的连接权值、以及第L层第j个神经元的偏置参数，f是ReLU激活函数，定义如公式(14)。
f(x)＝max(0,x)#(14)
公式(14)中，x表示激活函数ReLU的输入，max(0,x)表示取输入x和0中的最大值。
在几何卷积层中，我们对几何乘积的结果进行分组得到一个实部和三个独立虚部，然后各自加上偏置以及激活函数，得到4个项的结果作为下一层的输入特征图。
池化层的作用是保留重要信息并减少参数数量，获得特征的不变性，在几何代数深度神经网络中我们采用最大池化技术(max-pooling)，分别对几何卷积层输出的4个项的结果做最大池化，得到池化后的4个项的结果，如图4展示了在几何代数深度神经网络中某一池化层的操作过程。
在经过一系列几何卷积层以及池化层之后，高层抽象信息被传至几何代数深度神经网络的全连接层，我们首先对最后一个池化层P3获得的4个项的特征图进行融合，然后拉成一维向量，再连接到全连接层中。假设输入神经元节点数为N，则第j个神经元节点的输出Fj可表示为公式(15)：
由于速度预测模型的输出和输入矩阵维度大小一致，因此输出层神经元的个数等于输入矩阵的行和列数之乘积。
表2长时交通速度预测的几何代数深度神经网络模型参数配置
四、通过反向传播算法对网络进行预测任务的训练优化以及测试，最后得到预测结果。
为了对交通速度进行预测，需要用训练样本对参数进行训练，还需要定义一个损失函数(loss)来度量模型的预测精度，损失函数越小，代表模型的预测结果与真实值的偏差越小，也就是说模型越精确。训练的目的是通过优化算法找到合适的权重和偏置值，使得损失函数最小化，由于交通速度预测属于回归任务，因此在反向传播过程中，选择平均平方误差(Mean Squared Error,MSE)作为损失函数，其定义由公式(17)给出，并且选择Adam优化器对其进行优化。
其中N是训练样本总数，F′j和Fj分别表示真实速度值以及预测速度值。
作为实施例：由于延安高架缺失4天的数据，故两条高架生成的速度矩阵的数量分别是361和365，又由于需要使用到前两周的历史数据作为输入，故实际的样本数分别为347和351。为了提高样本的利用率，防止对某一样本结构的学习过拟合，因此，在进行网络训练之前，需要对训练样本进行数据增强。由上述第二步所述，生成了两条高架道路2011年全年的速度时空矩阵作为网络模型的输入样本，这里在对网络进行训练之前，首先分别从延安高架和内环高架的样本中随机选取95和97个样本作为测试集，然后采用加入随机值(噪声)的方法对剩下的样本进行增强后作为训练集，这里加入的随机值服从均匀分布，如公式(18)：
V′＝V+N#(18)
V′表示增强后的样本，V代表原始样本，V′和V都是一个速度时空矩阵，N是大小和V相同的噪声矩阵，矩阵N中的每一个变量nij∈N(对于延安高架：i∈[1,35]且j∈[1,180]；对于内环高架：i∈[1,72]且j∈[1,180])均服从区间[-a,a]上的均匀分布，即nij～U(-a,a)，这里a取值为10。通过数据增强，使得训练样本的数量增加到基样本集的3倍，同时保证增强后的数据不会改变原始数据的分布特征，这样，延安高架以及内环高架分别拥有756，762个训练样本。
接下来将每条高架的训练样本输入到几何代数深度神经网络中，然后通过反向传播算法计算损失函数对每一个参数的梯度，使用优化器更新每一个参数实现对模型的优化训练。作为实施例，采用Anaconda 4.4搭配python 3.6.3，以及深度学习框架tensorflow1.4.1作为实验平台，并采用显卡NVIDIA GeForce GTX 1080GPU进行训练加速。完成网络模型的训练后，最后对网络模型进行测试，即分别将每条高架的测试样本输入到同样的几何代数深度神经网络得到测试的结果。
如图5和图6分别是从上海延安高架以及内环高架上随机选取的2个检测线圈在某一天数得到的真实值和预测值的拟合曲线图，图中纵轴表示速度值，横轴表示时间序列，由于晚上22点到24点以及0点到凌晨6点的车辆比较稀少，交通模式比较单一，因此这里的时间段选择从早上7点到晚上22点，图中虚线表示模型的预测速度值，实线表示对应的真实速度值，从图中可以看出，本发明模型的预测值与真实值非常接近，对应的变化趋势非常吻合，说明模型对于速度数据各个时段的预测都是比较准确的。
上述实例，图7展示了延安高架的可视化热图，在图7中，子图(a)，子图(b)，子图(c)分别展示了某个线圈在第(T-14)天、第(T-7)天以及在第T天的速度值的可视化热图，子图(d)展示了在第(T+1)天真实速度时空矩阵的可视化热图，而子图(e)对应了在第(T+1)天预测速度值的可视化热图。图8展示了内环高架的可视化热图，在图8中，子图(a)，子图(b)，子图(c)分别展示了某个线圈在第(T-14)天、第(T-7)天以及在第T天的速度值的可视化热图，子图(d)展示了在第(T+1)天真实速度时空矩阵的可视化热图，而子图(e)对应了在第(T+1)天预测速度值的可视化热图。
可视化热图由速度数据的时空矩阵转化而成，同样地，热图的横轴表示时间，纵轴表示线圈数量(位置)，图中颜色越深表示速度值越小，交通状况越拥堵，反之速度值越大，交通状况越通畅，故而热图可以明显地反映出一天交通的拥堵情况，从图中可以看到，在一天中，一般会有一至两个交通挤塞的高峰期，图中颜色较深的三角形或者梯形的区域表示拥堵事件，真实热图和预测热图虽有差异但在颜色的深浅和纹理方面都具有一定的相似性，说明我们模型的预测情况和真实情况是很吻合的，从中也可以反应模型能够成功的预测出绝大多数的拥堵事件。
创新点
提出了一种几何代数深度神经网络，突破了现有方法对高维数据对象表达、多维空间关系计算和交通数据分析上的局限性，并且，基于此网络提出了长时交通速度预测模型方法，提高了长时交通速度预测的准确性，同时提升了模型的可靠性和鲁棒性。针对交通拥堵预测不理想的问题，以及现有深度神经网络在高维数据对象表达、多维空间关系计算和交通数据分析上的局限性，本发明将几何代数与深度神经网络结合起来，对传统深度神经网络做了进一步拓展，实现了对高维信息的编码的运算。在本发明中，首先利用几何代数对具有时空相关性和周期相关性的历史速度数据进行多维的编码和统一的表达，然后通过建立几何代数深度神经网络对表征拥堵的速度参数进行多维度的深入挖掘，并对历史速度信息的时空特征进行联合学习，从而充分挖掘高维速度数据的时序相关性，揭示其变化规律，实现对城市高架道路车速的长时预测。实验结果表明，运用本发明模型进行交通拥堵预测取得了良好的效果，且在不同的数据集上也具有良好的泛化性，本发明方法的实现能有效服务于交通状态监控、交通控制、交通规划及管理决策，其预测结果对发布交通拥堵预警，引导车辆合理选择行驶路线及时段，缓解交通拥堵具有一定的现实意义。
Claims (2)
1.一种长时交通速度预测的几何代数深度神经网络模型方法，具体方法包括如下步骤：
(1)原始数据采集及数据预处理
使用速度数据，由道路上的感应线圈检测器按时间间隔采集得到，采集得到数据后，对原始速度数据进行预处理以去除异常元素；
(2)生成交通速度时空矩阵，将融合了历史速度时空矩阵用几何代数编码生成多重向量时空矩阵作为几何代数深度神经网络模型的输入；
(3)构建几何代数深度神经网络模型，通过几何代数深度神经网络对历史速度参数进行多维度的深入挖掘以及时空特征的提取，实现对交通速度的长时预测；构建的几何代数深度神经网络一共有9层，包括了一系列的几何卷积层、池化层、全连接层以及输出层；
(4)通过反向传播算法对网络进行预测任务的训练优化以及测试，最后得到预测结果；
定义一个损失函数来描述模型的预测精度，然后通过反向传播算法计算损失函数对每一个参数的梯度，再根据梯度和学习率使用优化算法找到合适的网络参数值，使得损失函数最小化，从而得到更准确的预测速度值；完成网络模型的训练后，最后对网络模型进行测试，得到预测的速度值。
2.如权利要求1所述的方法，其特征在于，具体方法为：
一、生成交通速度时空使用速度数据，由道路上的感应线圈检测器按时间间隔采集得到，采集得到数据后，对原始速度数据进行预处理以去除异常元素；
二、生成交通速度时空矩阵，将融合了历史3天的速度时空矩阵用几何代数编码生成多重向量时空矩阵作为模型的输入
将具有时间和空间变化的交通速度数据通过一个二维时空矩阵转化为描述速度值与时间和空间关系的图像，即让矩阵的x和y轴分别表示时间维度和空间维度，因此，具有时空特性的速度时空矩阵的数学形式可以表示为公式(1)：
生成的矩阵V可以被看作是图像的一个通道，代表了一天的速度信息，其中n是时间序列的长度，m是道路路段的长度，m和n定义了矩阵V的维度，矩阵V中的每个元素变量vij(i∈[1，m]，j∈[1，n])表示在位置i，时间点j的交通速度值，单位是千米每小时(km/h)；
本发明中的长时交通速度预测是指利用不同历史3天的速度数据预测未来一天的速度值，为了预测第(T+1)天的速度，需要第T天、第(T-6)天和(T-13)天的历史速度信息，因为这3天的历史数据具有明显的周期性和时间相关性；通过利用几何代数对这历史3天的速度时空矩阵进行编码生成多重向量时空矩阵作为模型输入，使得输入神经网络神经元不再只是仅能表示一个历史天信息的标量，而是可以表示多个历史天信息的矢量；编码后的多重向量可表示成公式(9)：
X＝Xr+XTe12+XT-6e23+XT-13e31#(9)
Xr和XTe12+XT-6e23+XT-13e31分别表示输入多重向量的实部和虚部，实部Xr设为0，虚部包含的3个元素XT，XT-6，XT-13。Xr，XT，XT-6，XT-13分别表示第T天、第(T-6)天以及(T-13)天的速度信息时空矩阵，e12，e23，e31是三个不同的双向量(bivector)，也是虚单位，对于e12、e23、e31本身的几何意义可以理解为一种旋转；输入向量的维度之间存在很强的内部依赖关系，通过几何代数对输入信息的统一编码和表达，使得神经网络的输入神经元不再只是仅能表示历史一天速度信息的标量，而是可以表示历史3天速度信息的矢量，对速度数据进行多维度的深入挖掘，捕捉交通速度数据的高维非线性特征；
三、构建几何代数深度神经网络模型，通过几何代数深度神经网络对历史速度参数进行多维度的深入挖掘以及时空特征的提取，实现对交通速度的长时预测；
长时交通速度预测的几何代数深度神经网络模型结构，包含9层：几何卷积层G1、池化层P1、几何卷积层G2、池化层P2、几何卷积层G3、池化层P3、和全连接层FC1、FC2以及输出层FC3，其网络模型的超参数如表2所示；
几何卷积层根据几何代数中几何乘积运算
来实现多重向量神经元间的信息传递，神经元间采用局部连接，权值共享，每层包含多个具有多重向量值的权值矩阵,因此，当第L层的第j个神经元与上层某局域内n个神经元相连，其对应的输出可表示成公式(13),
其中符号
·、∧分别表示几何乘积，内积和外积运算，几何乘积统一表征了多重向量编码的多维度信息幅值和空间位置计算，多重向量
分别表示第L层的第j个输出神经元、第L-1层的第i个输出神经元、L-1层第i个神经元和L层第j个神经元间的连接权值、以及第L层第j个神经元的偏置参数，f是ReLU激活函数，定义如公式(14),
f(x)＝max(0,x)#(14)
在几何卷积层中，对几何乘积的结果进行分组得到一个实部和三个独立虚部，然后各自加上偏置以及激活函数，得到4个项的结果作为下一层的输入特征图；
池化层对几何卷积层输出的4个项的结果做最大池化，得到池化后的4个项的结果；
在经过一系列几何卷积层以及池化层之后，高层抽象信息被传至几何代数深度神经网络的全连接层，首先对最后一个池化层P3获得的4个项的特征图进行融合，然后拉成一维向量，再连接到全连接层中；假设输入神经元节点数为N，则第j个神经元节点的输出Fj可表示为公式(15)：
由于速度预测模型的输出和输入矩阵维度大小一致，因此输出层神经元的个数等于输入矩阵的行和列数之乘积；
四、通过反向传播算法对网络进行预测任务的训练优化以及测试，最后得到预测结果；
定义一个损失函数(loss)来度量模型的预测精度,训练的目的是通过优化器找到合适的权重和偏置值，使得损失函数最小化，由于交通速度预测属于回归任务，在反向传播过程中，选择平均平方误差(Mean Squared Error,MSE)作为损失函数，其定义由公式(17)给出，选择Adam优化器对其进行优化，
其中N是训练样本总数，F′j和Fj分别表示真实速度值以及预测速度值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010051123.3A CN111291924B (zh) | 2020-01-17 | 2020-01-17 | 面向长时交通速度预测的几何代数深度神经网络模型方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010051123.3A CN111291924B (zh) | 2020-01-17 | 2020-01-17 | 面向长时交通速度预测的几何代数深度神经网络模型方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111291924A true CN111291924A (zh) | 2020-06-16 |
| CN111291924B CN111291924B (zh) | 2023-06-06 |
Family
ID=71023106
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010051123.3A Active CN111291924B (zh) | 2020-01-17 | 2020-01-17 | 面向长时交通速度预测的几何代数深度神经网络模型方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111291924B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112201036A (zh) * | 2020-09-25 | 2021-01-08 | 同济大学 | 一种基于Inception-CNN的城市快速路行程速度短时预测方法 |
| CN113343791A (zh) * | 2021-05-21 | 2021-09-03 | 浙江邦业科技股份有限公司 | 基于卷积神经网络的窑头看火视频亮度识别方法及装置 |
| CN113971885A (zh) * | 2020-07-06 | 2022-01-25 | 华为技术有限公司 | 车速预测的方法、装置及系统 |
| CN117325875A (zh) * | 2023-12-01 | 2024-01-02 | 北京航空航天大学 | 一种基于个性驾驶特征的车辆长时速度预测方法 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105788249A (zh) * | 2014-12-16 | 2016-07-20 | 高德软件有限公司 | 一种交通流量预测方法、预测模型生成方法及装置 |
| CN107180530A (zh) * | 2017-05-22 | 2017-09-19 | 北京航空航天大学 | 一种基于深度时空卷积循环网络的路网状态预测方法 |
| CN108510741A (zh) * | 2018-05-24 | 2018-09-07 | 浙江工业大学 | 一种基于Conv1D-LSTM神经网络结构的交通流预测方法 |
| CN108647834A (zh) * | 2018-05-24 | 2018-10-12 | 浙江工业大学 | 一种基于卷积神经网络结构的交通流预测方法 |
| CN108875161A (zh) * | 2018-05-31 | 2018-11-23 | 长江勘测规划设计研究有限责任公司 | 基于卷积神经网络深度学习的流量等级预测方法 |
| CN109118014A (zh) * | 2018-08-30 | 2019-01-01 | 浙江工业大学 | 一种基于时间递归神经网络的交通流速度预测方法 |
| CN109215349A (zh) * | 2018-10-26 | 2019-01-15 | 同济大学 | 基于深度学习的长时交通流量预测方法 |
| CN109285346A (zh) * | 2018-09-07 | 2019-01-29 | 北京航空航天大学 | 一种基于关键路段的城市路网交通状态预测方法 |
| CN110070713A (zh) * | 2019-04-15 | 2019-07-30 | 浙江工业大学 | 一种基于双向嵌套lstm神经网络的交通流预测方法 |
| CN110287995A (zh) * | 2019-05-27 | 2019-09-27 | 同济大学 | 全天高架交通拥堵情况分级的多特征学习网络模型方法 |
-
2020
- 2020-01-17 CN CN202010051123.3A patent/CN111291924B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105788249A (zh) * | 2014-12-16 | 2016-07-20 | 高德软件有限公司 | 一种交通流量预测方法、预测模型生成方法及装置 |
| CN107180530A (zh) * | 2017-05-22 | 2017-09-19 | 北京航空航天大学 | 一种基于深度时空卷积循环网络的路网状态预测方法 |
| CN108510741A (zh) * | 2018-05-24 | 2018-09-07 | 浙江工业大学 | 一种基于Conv1D-LSTM神经网络结构的交通流预测方法 |
| CN108647834A (zh) * | 2018-05-24 | 2018-10-12 | 浙江工业大学 | 一种基于卷积神经网络结构的交通流预测方法 |
| CN108875161A (zh) * | 2018-05-31 | 2018-11-23 | 长江勘测规划设计研究有限责任公司 | 基于卷积神经网络深度学习的流量等级预测方法 |
| CN109118014A (zh) * | 2018-08-30 | 2019-01-01 | 浙江工业大学 | 一种基于时间递归神经网络的交通流速度预测方法 |
| CN109285346A (zh) * | 2018-09-07 | 2019-01-29 | 北京航空航天大学 | 一种基于关键路段的城市路网交通状态预测方法 |
| CN109215349A (zh) * | 2018-10-26 | 2019-01-15 | 同济大学 | 基于深度学习的长时交通流量预测方法 |
| CN110070713A (zh) * | 2019-04-15 | 2019-07-30 | 浙江工业大学 | 一种基于双向嵌套lstm神经网络的交通流预测方法 |
| CN110287995A (zh) * | 2019-05-27 | 2019-09-27 | 同济大学 | 全天高架交通拥堵情况分级的多特征学习网络模型方法 |
Non-Patent Citations (1)
| Title |
|---|
| DI ZANG: "Long-Term Traffic Speed Prediction Based on Multiscale Spatio-Temporal Feature Learning Network" * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113971885A (zh) * | 2020-07-06 | 2022-01-25 | 华为技术有限公司 | 车速预测的方法、装置及系统 |
| CN112201036A (zh) * | 2020-09-25 | 2021-01-08 | 同济大学 | 一种基于Inception-CNN的城市快速路行程速度短时预测方法 |
| CN112201036B (zh) * | 2020-09-25 | 2022-06-24 | 同济大学 | 一种基于Inception-CNN的城市快速路行程速度短时预测方法 |
| CN113343791A (zh) * | 2021-05-21 | 2021-09-03 | 浙江邦业科技股份有限公司 | 基于卷积神经网络的窑头看火视频亮度识别方法及装置 |
| CN117325875A (zh) * | 2023-12-01 | 2024-01-02 | 北京航空航天大学 | 一种基于个性驾驶特征的车辆长时速度预测方法 |
| CN117325875B (zh) * | 2023-12-01 | 2024-02-02 | 北京航空航天大学 | 一种基于个性驾驶特征的车辆长时速度预测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111291924B (zh) | 2023-06-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111291924B (zh) | 面向长时交通速度预测的几何代数深度神经网络模型方法 | |
| CN111161535B (zh) | 基于注意力机制的图神经网络交通流量预测方法及系统 | |
| Zhao et al. | Deep temporal convolutional networks for short-term traffic flow forecasting | |
| Ke et al. | Hexagon-based convolutional neural network for supply-demand forecasting of ride-sourcing services | |
| CN111210633A (zh) | 一种基于深度学习的短时交通流预测方法 | |
| CN109754126A (zh) | 基于时空相关性和卷积神经网络的短时交通流预测方法 | |
| CN110162744B (zh) | 一种基于张量的车联网数据缺失多重估计新方法 | |
| CN114299728B (zh) | 结合注意力机制与动态时空卷积模型的车辆流量预测方法 | |
| CN112905379B (zh) | 基于自我注意力机制的图自编码器的交通大数据修复方法 | |
| CN115688035A (zh) | 一种基于自监督学习的时序电力数据异常检测方法 | |
| Liu et al. | Explanatory prediction of traffic congestion propagation mode: A self-attention based approach | |
| CN114120637A (zh) | 一种基于连续监测器的智慧高速交通流量预测方法 | |
| CN116307152A (zh) | 时空交互式动态图注意力网络的交通预测方法 | |
| CN115456044A (zh) | 一种基于知识图谱多集池化的装备健康状态评估方法 | |
| Liu et al. | Hourly traffic flow forecasting using a new hybrid modelling method | |
| CN116525135B (zh) | 基于气象因素的时空模型对疫情发展态势进行预测的方法 | |
| CN112580798A (zh) | 基于多输入多输出ResNet的设备智能预警方法 | |
| Song et al. | Lstm-based flow prediction | |
| Yu et al. | Time series cross-correlation network for wind power prediction | |
| CN114676887A (zh) | 一种基于图卷积stg-lstm的河流水质预测方法 | |
| Wang et al. | Time series prediction with incomplete dataset based on deep bidirectional echo state network | |
| CN114915563A (zh) | 一种网络流量预测方法和系统 | |
| Rahman et al. | Uncertainty-Aware Traffic Prediction using Attention-based Deep Hybrid Network with Bayesian Inference | |
| Meng et al. | Application of EEMD+ BI_GRU hybrid model for intelligent service area traffic flow forecasting. | |
| Rani et al. | Gridlock Prediction using a Gated Recurrent Neural Network for Smart Transport Systems |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |