CN113554060A - 一种融合dtw的lstm神经网络轨迹预测方法 - Google Patents

一种融合dtw的lstm神经网络轨迹预测方法 Download PDF

Info

Publication number
CN113554060A
CN113554060A CN202110702599.3A CN202110702599A CN113554060A CN 113554060 A CN113554060 A CN 113554060A CN 202110702599 A CN202110702599 A CN 202110702599A CN 113554060 A CN113554060 A CN 113554060A
Authority
CN
China
Prior art keywords
matrix
track
neural network
dtw
lstm neural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110702599.3A
Other languages
English (en)
Other versions
CN113554060B (zh
Inventor
王兴
罗映淞
李鑫欣
曾睿昊
雷澳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujian Normal University
Original Assignee
Fujian Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujian Normal University filed Critical Fujian Normal University
Priority to CN202110702599.3A priority Critical patent/CN113554060B/zh
Publication of CN113554060A publication Critical patent/CN113554060A/zh
Application granted granted Critical
Publication of CN113554060B publication Critical patent/CN113554060B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/253Fusion techniques of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/044Recurrent networks, e.g. Hopfield networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/048Activation functions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及一种融合DTW的LSTM神经网络轨迹预测方法。包括数据清洗、地图匹配;滑动窗口轨迹信息提取、模式提取;利用DTW轨迹匹配得到同时段最近道路的行驶模式、利用两个LSTM网络,融合近、远历史轨迹特征进行训练;最终保存LSTM参数,利用近、远历史轨迹信息,预测轨迹的下一个位置。基于本发明方法得到的结果能够高效准确地预测车辆所行驶的方向,为无人驾驶汽车或LBS相关软件提供对应的支持,进而提升决策的可靠性。

Description

一种融合DTW的LSTM神经网络轨迹预测方法
技术领域
本发明属于信息技术领域,具体涉及一种融合DTW的LSTM神经网络轨迹预测方法。
背景技术
轨迹预测是智能交通中最重要的研究课题之一,针对轨迹预测,一类是基于序列分析、模式匹配的预测方法,一类是基于统计模型的预测方法(如马尔科夫模型和隐马尔科夫模型),还有一类是基于机器学习的预测方法。
基于模式的轨迹预测方法,通过对频繁轨迹模式进行挖掘,进行预测。如MORZY M论文所述,分别通过Apriori算法,PrefixSpan算法,在大量轨迹中提取满足最小支持度和最小可信度的规则,利用这些已生成规则去进行预测当前的移动轨迹。JEUNG H等人提出使用动机函数与轨迹模式结合,对预测的地点不仅参考了基于地理位置信息的轨迹模式挖掘,同时引入动机函数对预测信息进行修正,相比传统模式匹配算法在准确率得到提升。MONREALE A等人训练出了基于T模式的决策树去寻找最为匹配的路径。然而,仅仅使用地理模式匹配的方法并不能充分挖掘轨迹信息,YING J C等人在此基础上引入情感语义模式匹配,提出一种基于用户情感的轨迹预测方法,有效提高了模型的准确率。
基于统计的轨迹预测方法,主要通过统计模型及相关聚类方法或者网格化处理建立基于矩阵的预测模型。TAO Y等人使用隐马尔可夫模型对每个轨迹单独进行建模,解决了传统模型只能预测线性的移动的问题,而在预测过程当中使用一些粗略级别的树状索引算法进行加速,使得预测速度相较于传统算法有较大的提升。MATHEW W M B等人根据历史轨迹的特征进行聚类,对每一聚类训练一个隐马尔科夫模型。ZHOU J等人提出了一种半慵懒的轨迹预测算法,基于隐马尔可夫的模型,通过动态选择轨迹数据的方式去建立,在预测过程中设置概率阈值并仅预测大于概率阈值的情况确保预测的准确性,而对于产生偏差的结果能利用输入数据不断地进行自我修正,解决了动态环境下传统模型可能利用到一些无意义的行为和模式导致模型质量下降的问题。QIAO S等人通过自适应参数选择提升了HMM模型的预测能力。WANG X等人在隐马尔科夫模型的基础上,设计了Spark平台下的二阶HMM轨迹预测框架,取得更好的精度和效率。
基于机器学习的轨迹预测方法,通过神经网络算法对轨迹位置信息进行训练和预测。XU T等人为了解决复杂情况下的轨迹预测问题,提出了一种基于反向传播三层全连接神经网络的船舶运动轨迹预测模型,模型将先前行驶的N时刻轨迹进行输入,训练模型并预测N+1时刻所出现的位置,方法利用神经网络良好的学习能力,适用于常规方法无法处理的复杂问题,且避免了常规建模过程,特别适用于运动规律不确定或未知的情况。ALTCHE F等人使用LSTM模型进行传播路径预测,该神经网络能够准确预测车辆在高速公路上的未来纵向和横向轨迹。与传统的BP网络相比,基于RNN改进的LSTM模型能够对数据有时序的概念且能解决RNN网络中出现的梯度爆炸和消失问题。SALEH K等人提出一种以CNN和LSTM相结合的模型,利用视频帧作为输入进行预测,预测精度比单一模型更高。ZENG W等人提出了一种深度编码和深度解码的SS-DLSTM网络用于轨迹预测,提高了预测的准确性和鲁棒性。
综上,相关的工作也存在一些问题,基于模式的方法和基于统计的模型离不开聚类或网格的划分,通常看来,在长时间,海量的环境下,较难满足高精度需求,且此类模型不能充分挖掘数据背后所隐藏的信息,往往只能解决一些特定情况下的问题。
发明内容
本发明的目的在于提高当前行车轨迹相关的研究存在的利用信息维度不足,难以利用更深层次的信息,使得预测精度不高,提供一种融合DTW的LSTM神经网络轨迹预测方法,
为实现上述目的,本发明的技术方案是:一种融合DTW的LSTM神经网络轨迹预测方法,包括如下步骤:
步骤S1、对车辆的GPS定位数据进行预处理,得到匹配的数据;
步骤S2、将匹配的数据利用DTW算法进行近历史的匹配;
步骤S3、利用近、远历史轨迹信息作为输入,对双层LSTM神经网络进行训练;
步骤S4、输入实时数据进行对轨迹行为进行预测,进而将预测结果提供给LBS相关服务提供决策。
在本发明一实施例中,所述步骤S1具体实现如下:
步骤S11、数据清洗;
步骤S12、使用滑动窗口算法进一步提取近历史轨迹矩阵;
步骤S13、将GPS定位数据匹配至地图上,进一步的提升数据的质量;
步骤S14、将数据进行归一化,使得经纬度在同一个量纲上。
在本发明一实施例中,所述近历史轨迹矩阵公式如下:
Figure BDA0003130864950000021
在上述矩阵中,n表示前n个时刻行驶轨迹,m表示不同条轨迹的数量,每一元素代表一个二元组,里面包含经度和纬度,为方便模型训练,将神经网络batch size设置为m,该近历史轨迹矩阵作为双层LSTM神经网络的一个输入。
在本发明一实施例中,所述步骤S2具体实现如下:
步骤S21、选取候选轨迹中的一条;
步骤S22、建立与先前行驶轨迹的距离矩阵;
步骤S23、通过距离矩阵计算累计矩阵;
步骤S24、将累计矩阵最终转化为两条轨迹的相似度;
步骤S25、不断迭代步骤S21-S23,计算所有候选轨迹的相似度,选取相似度最高的矩阵作为远历史轨迹矩阵,并作为神经网络输入。
在本发明一实施例中,所述距离矩阵公式构建方式如下:
对于给定两轨迹A={a1,a2,...,an}、B={b1,b2,...,bm},构建一个m×n的距离矩阵Ms;矩阵中的元素(ai,bj)代表着点ai到点bj的距离,其采用欧式距离表示如下:
Figure BDA0003130864950000031
在本发明一实施例中,所述累计矩阵公式运用动态规划的思想方法,需要在满足边界性,连续性以及单调性的条件下计算一条最小的累加值,化为数学公式即为
Figure BDA0003130864950000032
其中A,B为两条相邻轨迹路径,K为累计矩阵所得的连续路径长度,wK为累计矩阵中的权值,通过动态规划算法所得的最小值即为两者相似度。
为了使得值最小,利用动态规划的思想,累计矩阵建立公式如下:
Figure BDA0003130864950000033
在本发明一实施例中,所述远历史轨迹矩阵构建方式为:通过距离矩阵Ms在远历史范围中计算附近同时间段下相似度最大的行车轨迹,将匹配到的轨迹作为矩阵的一行,由于近历史轨迹矩阵Ns下有m条不同的矩阵,因此远历史轨迹矩阵可表示为:
Figure BDA0003130864950000034
其中,n表示前n个时刻行驶轨迹,m表示不同条轨迹的数量,将神经网络batchsize设置为m,该远历史轨迹矩阵作为双层LSTM神经网络的一个输入。
在本发明一实施例中,所述步骤S3具体实现如下:
步骤S31、引入随机参数建立双层LSTM神经网络;
步骤S32、将近历史数据和远历史数据作为输入,下一个行驶的点作为输出,不断调整网络参数使得输出不断接近真实;
步骤S33、当输出收敛时,保存双层LSTM神经网络参数,得到训练好参数的预测模型。
在本发明一实施例中,所述步骤S32中,不断调整网络参数使得输出不断接近真实的方式如下:
首先,建立预测矩阵公式如下:
To=[Tp1 Tp2 … tpm]
矩阵Tp维度为1 x m,其中Tpi代表着第i条输入轨迹模型预测在n+1时刻其可能出现的位置,其中每个元素为一个二维元组,包含预测的经度和纬度;
其次,建立真实矩阵公式如下:
Tr=[Tr1 Tr2 … Trm]
矩阵Tr是轨迹真实的第m+1个行驶路线,为1 x m的矩阵,其中Tri代表着第i条输入轨迹在n+1时刻出现的位置,每个元素为一个二维元组,包含经度和纬度;
模型训练过程中,计算矩阵Tr与Tp的损失值,对各个网络参数不断进行调优。
相较于现有技术,本发明具有以下有益效果:本发明能够高效准确地预测车辆所行驶的位置,为LBS相关应用提供技术支持,进而提升决策的可靠性。
附图说明
图1为本发明的基于LSTM-DTW的轨迹预测方法的总流程图;
图2为本发明中LSTM单元结构图;
图3为本发明中LSTM-DTW神经网络结构图;
图4为不同网络表面网络的层数结构数对预测精度影响。
图5为不同网络表面学习率对网络的影响。
图6为不同网络表面采取适当的drop out策略对模型的影响。
图7为不同网络对预测结果的影响。
具体实施方式
下面结合附图,对本发明的技术方案进行具体说明。
本发明一种融合DTW的LSTM神经网络轨迹预测方法,包括如下步骤:
步骤S1、对车辆的GPS定位数据进行预处理,得到匹配的数据;
步骤S2、将匹配的数据利用DTW算法进行近历史的匹配;
步骤S3、利用近、远历史信息作为输入,对双层LSTM神经网络进行训练;
步骤S4、输入实时数据进行对轨迹行为进行预测,进而将预测结果提供给LBS相关服务提供决策。
以下为本发明具体实现过程。
为了方便详细阐述本发明,首先统一说明相关基本概念。
定义1(匹配距离矩阵Ms)其计算过程是对于给定两轨迹A={a1,a2,...,an},B={b1,b2,...,bm}构建一个m×n的距离矩阵Ms。矩阵中的元素(ai,bj)代表着点ai到点bj的距离,在本申请中距离采用欧氏距离
Figure BDA0003130864950000051
来表示。
定义2(累计矩阵W)累计矩阵运用了动态规划的思想方法,需要在满足边界性,连续性以及单调性的条件下计算一条最小的累加值。化为数学公式即为:
Figure BDA0003130864950000052
其中A,B为两条相邻轨迹路径,K为累计矩阵所得的连续路径长度,wK为累计矩阵中的权值,通过动态规划算法所得的最小值即为两者相似度。
为了使得值最小,利用动态规划的思想,累计矩阵建立公式如下:
Figure BDA0003130864950000053
定义3(近历史轨迹矩阵Ns)前n个时刻的行驶轨迹数据按照时间顺序作为输入。通常情况可以表示为:
Figure BDA0003130864950000054
在上述矩阵当中,n表示前n个时刻的行驶轨迹,m表示不同轨迹的数量,每个元素是一个二元组,包含经度和纬度。为了方便模型训练我们通常将神经网络batch size设置为m。该矩阵作为模型的训练和预测的输入。
定义4(远历史轨迹矩阵Ls)通过匹配距离矩阵Ms在远历史范围中计算附近同时间段下相似度最大的行车轨迹,将匹配到的轨迹作为矩阵的一行。由于Ns矩阵下有m条不同的矩阵,因此矩阵可以表示为:
Figure BDA0003130864950000061
定义5(预测矩阵Tp)矩阵Tp即模型最终产生预测结果。其维度为1 x m,其中TPi代表第i条输入轨迹模型预测在n+1时刻其可能出现的位置。其中每个元素为一个二维元组,包含预测的经度和纬度,矩阵表示为:
Tp=[Tp1 Tp2 … Tpm]
定义6(真实矩阵Tr)矩阵Tr是轨迹真实的第n+1个行驶路线。表示为1 x m的矩阵,其中tri代表着第i条输入轨迹模型在n+1时刻出现的位置,其中每个元素为一个二维元组,包含经度和纬度。其主要功能是在模型的训练过程中计算矩阵与tp的损失值进而在训练过程对各个参数不断进行调优。
将原始出租车轨迹进行降噪,路网匹配过后即可获得Ns矩阵和Tr矩阵。之后根据DTW算法,将每段轨迹与同时段周边轨迹建立距离矩阵Ms和累积矩阵W,即可计算得到相似度,提取同时段相似度最高的行驶轨迹,转化成矩阵可得远历史矩阵Ls,之后分别将Tr以及Ls矩阵进行训练,通过一层一层全连接层进行特征融合得到最终的预测矩阵Tp。在训练过程中不断利用真实矩阵Tr的数据计算损失值,通过梯度下降的方式不断进行优化网络,进而提高准确率。
根据以上定义,轨迹预测方法分三个部分,如图1所示,主要包括数据预处理、轨迹相似度计算及DTW-LSTM轨迹预测模型。
(1)数据预处理
数据预处理部分主要针对本发明中需要使用的数据进行针对性处理。我们针对设备异常、人为操作不当等原因造成的数据异常制定了几项数据清洗原则。首先去除轨迹在设定区域内最大、最小经纬度之外的点;其次针对在同一轨迹中的同一时间出现多个点,只保留第一次出现的点;清除超速点,当速度大于90千米/小时,认为其速度异常并去除;清除距离过长的点,当两个相邻采样点的距离超过2千米时,认为其异常并去除;清除时间间隔过长的点,当两个采样点的时间间隔超过10分钟,认为采样异常并将其去除;清除停驻点,当车辆在30分钟内的运动轨迹小于50米,判定其为无效轨迹并去除;清除等乘客点,根据车辆的载客情况去除非正常行进中的点。
将处理过后的点进行滑动使用的滑动窗口对轨迹行为进行提取,滑动窗口中每个窗口都设置了特定的长度,对较长的轨迹路径截取多条子路径。
实际应用中,我们需要将轨迹点与路网进行地图匹配,逐一匹配时间复杂度高达O(n*m),引入KD树索引,加快搜索速度,降低时间复杂度,提高数据处理的效率。
另外,由于经度和纬度存在量纲不一致的现象,影响算法预测精度,故引入数据归一化方法,将样本数据特征缩放到某一个指定的范围,使得特征数据处于同一数量级,可以避免一些特征量级较大导致模型在相似度匹配上和训练过程中问题,提升模型的精准度及模型迭代收敛的速度。本模型使用min-max标准化,即将原始数据进行线性变化,结果映射到0-1区间。公式如下:
Figure BDA0003130864950000071
至此,本发明的数据处理部分基本完成。
(2)DTW相似度计算
DTW广泛应用于时间序列匹配,对两条轨迹序列进行距离测量,可以有效地解决轨迹序列中局部位置偏移问题。在本模型中,采用DTW算法计算同路段同时段最相似路径,将匹配结果作为模型的一个输入,增强模型对远历史同时段数据的感知能力。
匹配过程分两步进行:第一步,求出匹配距离矩阵Ms。第二步,寻找最佳路径W。其中距离矩阵的求解基于动态规划的思想,根据公式在可知路径选择需要满足以下条件:
1、边界条件
任何轨迹可能会有一些变化,但是各个部分轨迹具有特征的次序不可能会有较大改变。因此按照距离匹配矩阵Ms必然是从左下角开始,右上角位置为结束点,即右上角累计矩阵值为总体相似度。
2、连续性
对于路径上的任意一点每次只能沿着矩阵相邻的位置移动。例如当前点的索引为(a,b),下一个点索引为(a′,b′),此时应满足(a-a′)≤1且(b-b′)≤1,即点只能按照指定方向且不能跨越某个点,只能与相邻的点进行匹配,从而可以保证每个点都得到匹配。
3、单调性
对于路径上的任意一点每次只能沿着时间轴单向移动。例如当前点的索引为(a,b),下一个点索引为(a′,b′),此时应满足(a-a′)>0或(b-b′)>0,即点在矩阵中只能以右上方的方向移动。
在以上条件情况下,具体步骤如下:
步骤1:输入近历史矩阵Ns,其他轨迹数据。
步骤2:选取Ns矩阵中的一行,与其他轨迹计算距离矩阵Ms。
步骤3:先计算矩阵中任意两点的距离,当距离小于阈值时再计算距离矩阵,阈值由当前的所得到最小相似度。此步骤可以尽早的过滤一些相距较远轨迹从而加速了匹配速度,极大的提升了匹配速度。
步骤4:取得距离矩阵之后,在以上三个条件的限制下,找到一个累计距离最小的扭曲曲线,该曲线的累计距离为两者的相似度,即累积矩阵W中最后一行最后一列的值。
步骤5:循环步骤2-4,选择相似度最小的轨迹加入到矩阵Ns中。
(3)DTW-LSTM轨迹预测模型
LSTM模型(图2)弥补了传统RNN的不足,输入层和输出层与传统RNN相同,但中间隐藏层的神经元得到了进化。图3增加了门路“输入门”,“遗忘门”和“输出门”,通过“门”结构能让信息有选择性地影响循环神经网络中不同时间步的状态,实现时间记忆功能,“遗忘门”让循环神经网络能够“忘记”之前的无用信息,“输入门”补充新的记忆,“输出门”产生当前时刻的输出。在单元中具体公式如下:
it=σ(Wxi·Xt+Whi·ht-1+bi)
ot=σ(Wxo·Xt+Who·ht-1+bo)
Figure BDA0003130864950000081
Figure BDA0003130864950000082
其中X={longitude,latitude}为输入的近历史点集,it,ft和ot是输入门,遗忘门和输出门;Ct和Ht分别是先前记忆和各自的隐藏层,
Figure BDA0003130864950000083
为Hadamard积,σ()是sigmoid函数,不同于传统RNN模型的共享参数W和偏置b,在LSTM中不同的内部单元参数是相互独立关系,各自进行独立训练。根据等式可以推导出支配LSTM每个门的功能的主要操作是将sigmoid为激活函数的神经网络层和逐个元素乘法操作之间的组合,使用加法通路保证梯度不会因为累乘而消失,通过sigmoid函数导数小于1的特性保证梯度不会爆炸。使得模型能够存在优化空间,而各个门依靠Sigmoid隐藏层将其输入数据压缩成介于1和0之间的值。0将阻止任何信息通过它,而1反之,在训练阶段模型相关的门实现控制信息在网络直接的流动最终实现精准预测。
由此可见LSTM网络,将是解决行车轨迹预测的最佳选择,如何提升模型的准确率是我们所需要追求的一个目标。因此我们提出了一种基于LSTM的神经网络,网络结合DTW轨迹相似度匹配算法,通过匹配同时段同路段相似轨迹间接利用了时间维度的信息,相比传统的仅使用近历史信息LSTM的模型有着较大的提升。
模型结构主要成分由两个双层LSTM网络堆叠而成,左部的LSTM网络的输入为近历史数据矩阵Ns,矩阵中包含了车辆距离预测前t次记录的时间。右部的LSTM网络的输入为远历史数据矩阵Ls,矩阵中数据储存着相似度匹配取得的轨迹。两个LSTM模型的输入矩阵都首先被送到网络第一层,之后再传递到二层LSTM。这个体系的优势在于分层堆叠可以方便模型学习输入轨迹的时序依赖性从而能够综合利用城市交通的时空关联性,在时间上考虑短时相关性和周期性实现更为精准的预测。两个LSTM网络输出的数据传递到一个全连接网络完成两个特征融合。最终得到输出,即TP矩阵。通过Tr矩阵我们可以使用MSE函数来计算模型预测的误差。通过反向传播算法不断调整模型内部每个参数,不断迭代模型取得更高精准度。
以福州市数据为例,选择2020年5月的数据集验证参数的选择对实验结果的影响。其中评估函数MSE公式:
Figure BDA0003130864950000091
距离误差的公式:
Figure BDA0003130864950000092
haversin(θ)=sin2(θ/2)=(1-cos(θ))/2
可以发现不同激活函数表现出不同的效果,网络对比了常用的两种激活函数对于网络的影响,在500轮的训练下,网络取得的结果如表1:
表1
激活函数 训练时间 MSE 距离误差
ReLU 15.11 0.000167 244.6
tanh 14.40 0.000091 170.6
可以看出ReLU激活函数在训练中各个指标超过tanh,这是由于ReLU梯度计算时间复杂度低,梯度不会饱和,解决了梯度消失问题,在训练过程中梯度能够更快速且稳定的下降,取得良好的模型预测效果。
如图4,表面网络的层数结构数对预测精度有很大影响,若节点数目设置得太少,则神经网不能很好地拟合网络中,训练过程即使增加训练次数也不能有很好的效果,造成欠拟合网络精度低。反之,若节点数目过多,则会导致训练时间增加,还有可能会诱发过拟合,从而在测试集上效果欠佳。
如图5,表面学习率对网络存在较大的影响,虽然adam优化器无需设置过多参数,然而仍然需要设置合适学习率控制模型的训练。学习率设置过大会使得模型跳过最优解从而无法得到有效收敛,而学习率设置过小又会使得模型收敛速度过慢进而影响最终准确率。
如图6,表面采取适当的drop out策略能够提升模型的效果,drop out的训练策略,即在训练过程中随机屏蔽部分神经元参与其中,其主要借鉴了集成学习的思想,通过训练多个小型分类器,使得模型的泛化性更强,减少过拟合的问题,使得准确率得到相应的提升。
为了进一步评价本发明的先进性和准确性,我们进行了一组对比实验。对于三种不同的网络结构,我们选取了相同参数,即drop out=0.2,learning rate=0.001的双层LSTM网络,使用早停法训练网络,效果如图7所示。
图7的结果表明,DTW-LSTM模型可以利用到更多维度的信息,因而有较好的准确性,相比传统模型而言,结果有很大的提高。因此所提出的方法对实验结果有明显的影响。
根据比较结果,我们能够得出以下结论:
(1)目前,在现有的轨迹预测方法中,本发明的方法能够将远历史轨迹模式纳入特征融合与传统的轨迹预测模型区分开来。在检测精度上,由于利用了更多维度的特征并对算法进行优化,将检测精度提高到更高的水平。
(2)基于RNN的轨迹预测方法,由于模型单元过于简单,参数过于稀少,在网络的训练过程中容易导致梯度爆炸和梯度消失的问题,使得网络无法利用较早的输入信息进行预测,进而在检测精度上略逊于提出的方法。
(3)选取适当的参数可以使得网络在准确和效率上有着更好的表现。
综上所述,本发明的方法在检测精度和时间效率上都有良好的表现。更重要的是,它能有效的利用多维度信息,增强了该方法的实际意义。
以上是本发明的较佳实施例,凡依本发明技术方案所作的改变,所产生的功能作用未超出本发明技术方案的范围时,均属于本发明的保护范围。

Claims (9)

1.一种融合DTW的LSTM神经网络轨迹预测方法,其特征在于,包括如下步骤:
步骤S1、对车辆的GPS定位数据进行预处理,得到匹配的数据;
步骤S2、将匹配的数据利用DTW算法进行近历史的匹配;
步骤S3、利用近、远历史信息作为输入,对双层LSTM神经网络进行训练;
步骤S4、输入实时数据进行对轨迹行为进行预测,进而将预测结果提供给LBS相关服务提供决策。
2.根据权利要求1所述的一种融合DTW的LSTM神经网络轨迹预测方法,其特征在于,所述步骤S1具体实现如下:
步骤S11、数据清洗;
步骤S12、使用滑动窗口算法进一步提取近历史轨迹矩阵;
步骤S13、将GPS定位数据匹配至地图上,进一步的提升数据的质量;
步骤S14、将数据进行归一化,使得经纬度在同一个量纲上。
3.根据权利要求2所述的一种融合DTW的LSTM神经网络轨迹预测方法,其特征在于,所述近历史轨迹矩阵公式如下:
Figure FDA0003130864940000011
在上述矩阵当中,n表示前n个时刻行驶轨迹,m表示不同轨迹的数量,每一元素代表一个二元组,包含经度和纬度;为方便模型训练,将神经网络batch size设置为m,该近历史轨迹矩阵作为双层LSTM神经网络的一个输入。
4.根据权利要求1所述的一种融合DTW的LSTM神经网络轨迹预测方法,其特征在于,所述步骤S2具体实现如下:
步骤S21、选取候选轨迹中的一条;
步骤S22、建立与先前行驶轨迹的距离矩阵;
步骤S23、通过距离矩阵计算累计矩阵;
步骤S24、将累计矩阵最终转化为两条轨迹的相似度;
步骤S25、不断迭代步骤S21-S23,计算所有候选轨迹的相似度,选取相似度最高的矩阵作为远历史轨迹矩阵,并作为神经网络输入。
5.根据权利要求4所述的一种融合DTW的LSTM神经网络轨迹预测方法,其特征在于,所述距离矩阵公式构建方式如下:
对于给定两轨迹A={a1,a2,...,an}、B={b1,b2,...,bm},构建一个m×n的距离矩阵Ms;矩阵中的元素(ai,bj)代表着点ai到点bj的距离,其采用欧式距离表示如下:
Figure FDA0003130864940000021
6.根据权利要求5所述的一种融合DTW的LSTM神经网络轨迹预测方法,其特征在于,所述累计矩阵公式运用动态规划的思想方法,需要在满足边界性,连续性以及单调性的条件计算一条最小的累加值,即为:
Figure FDA0003130864940000022
其中A,B为两条相邻轨迹路径,K为累计矩阵所得的连续路径长度,wK为累计矩阵中的权值,通过动态规划算法所得的最小值即为两者相似度;
为了使得值最小,利用动态规划的思想,累计矩阵建立公式如下:
Figure FDA0003130864940000023
7.根据权利要求6所述的一种融合DTW的LSTM神经网络轨迹预测方法,其特征在于,所述远历史轨迹矩阵构建方式为:通过距离矩阵Ms在远历史范围中计算附近同时间段下相似度最大的行车轨迹,将匹配到的轨迹作为矩阵的一行,由于近历史轨迹矩阵Ns下有m条不同的矩阵,因此远历史轨迹矩阵可以表示为:
Figure FDA0003130864940000024
其中,n表示前n个时刻行驶轨迹,m表示不同轨迹的数量,将神经网络batch size设置为m,该远历史轨迹矩阵作为双层LSTM神经网络的一个输入。
8.根据权利要求1所述的一种融合DTW的LSTM神经网络轨迹预测方法,其特征在于,所述步骤S3具体实现如下:
步骤S31、引入随机参数建立双层LSTM神经网络;
步骤S32、将近历史数据和远历史数据作为输入,下一个行驶的位置点作为输出,不断调整网络参数使得输出不断接近真实;
步骤S33、当输出收敛时,保存双层LSTM神经网络参数,利用参数即可得到预测结果。
9.根据权利要求8所述的一种融合DTW的LSTM神经网络轨迹预测方法,其特征在于,所述步骤S32中,不断调整网络参数使得输出不断接近真实的方式如下:
首先,建立预测矩阵公式如下:
Tp=[Tp1 Tp2…Tpm]
Tp矩阵维度为1 x m,其中Tpi代表着第i条输入轨迹模型预测在n+1时刻其可能出现的位置,其中每个元素都为一个二维元组,包含预测的经度和纬度;
其次,建立真实矩阵公式如下:
Tr=[Tr1 Tr2…Trm]
矩阵Tr是轨迹真实的第m+1个行驶路线,其结构同预测矩阵Tp一样为1 x m的矩阵,其中Tri代表着第i条输入轨迹在n+1时刻出现的位置,每个元素都为一个二维元组,包含经度和纬度;
模型的训练过程中计算矩阵Tr与Tp的损失值进而在训练过程对各个网络参数不断进行调优。
CN202110702599.3A 2021-06-24 2021-06-24 一种融合dtw的lstm神经网络轨迹预测方法 Active CN113554060B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110702599.3A CN113554060B (zh) 2021-06-24 2021-06-24 一种融合dtw的lstm神经网络轨迹预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110702599.3A CN113554060B (zh) 2021-06-24 2021-06-24 一种融合dtw的lstm神经网络轨迹预测方法

Publications (2)

Publication Number Publication Date
CN113554060A true CN113554060A (zh) 2021-10-26
CN113554060B CN113554060B (zh) 2023-06-20

Family

ID=78102314

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110702599.3A Active CN113554060B (zh) 2021-06-24 2021-06-24 一种融合dtw的lstm神经网络轨迹预测方法

Country Status (1)

Country Link
CN (1) CN113554060B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116484309A (zh) * 2023-03-09 2023-07-25 重庆市规划和自然资源信息中心 户籍人口数据与不动产登记数据融合方法
US20230332899A1 (en) * 2021-11-18 2023-10-19 Southeast University Contour line matching method based on sliding window data backtracking

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108803617A (zh) * 2018-07-10 2018-11-13 深圳大学 轨迹预测方法及装置
US20200089246A1 (en) * 2018-09-15 2020-03-19 Toyota Research Institute, Inc. Systems and methods for controlling the operation of a vehicle
CN111488984A (zh) * 2020-04-03 2020-08-04 中国科学院计算技术研究所 一种用于训练轨迹预测模型的方法和轨迹预测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108803617A (zh) * 2018-07-10 2018-11-13 深圳大学 轨迹预测方法及装置
US20200089246A1 (en) * 2018-09-15 2020-03-19 Toyota Research Institute, Inc. Systems and methods for controlling the operation of a vehicle
CN111488984A (zh) * 2020-04-03 2020-08-04 中国科学院计算技术研究所 一种用于训练轨迹预测模型的方法和轨迹预测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
孙影;王铁;: "基于时间序列的目标车辆轨迹预测算法", 汽车实用技术, no. 06 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230332899A1 (en) * 2021-11-18 2023-10-19 Southeast University Contour line matching method based on sliding window data backtracking
US11835344B2 (en) * 2021-11-18 2023-12-05 Southeast University Contour line matching method based on sliding window data backtracking
CN116484309A (zh) * 2023-03-09 2023-07-25 重庆市规划和自然资源信息中心 户籍人口数据与不动产登记数据融合方法
CN116484309B (zh) * 2023-03-09 2023-09-29 重庆市规划和自然资源信息中心 户籍人口数据与不动产登记数据融合方法

Also Published As

Publication number Publication date
CN113554060B (zh) 2023-06-20

Similar Documents

Publication Publication Date Title
Chen et al. Traffic flow prediction based on deep learning in internet of vehicles
Zhang et al. Short-term prediction of passenger demand in multi-zone level: Temporal convolutional neural network with multi-task learning
Messaoud et al. Non-local social pooling for vehicle trajectory prediction
Zhao et al. Deep temporal convolutional networks for short-term traffic flow forecasting
CN109697852B (zh) 基于时序交通事件的城市道路拥堵程度预测方法
CN111612243B (zh) 交通速度预测方法、系统及存储介质
CN111400620B (zh) 基于时空嵌入Self-Attention的用户轨迹位置预测方法
Shang et al. A hybrid method for traffic incident duration prediction using BOA‐optimized random Forest combined with neighborhood components analysis
CN111695299B (zh) 一种中尺度涡轨迹预测方法
CN113554060B (zh) 一种融合dtw的lstm神经网络轨迹预测方法
CN113780665B (zh) 一种基于增强循环神经网络的私家车停留位置预测方法和系统
CN113993172B (zh) 一种基于用户移动行为预测的超密集网络切换方法
Ran et al. Short-term travel time prediction: a spatiotemporal deep learning approach
CN112785077A (zh) 基于时空数据的出行需求预测方法及系统
CN114202120A (zh) 一种针对多源异构数据的城市交通行程时间预测方法
Zou et al. Short-term traffic flow prediction based on PCC-BiLSTM
Haputhanthri et al. Short-term traffic forecasting using LSTM-based deep learning models
CN107688556B (zh) 一种基于函数型主成分分析的实时行程时间计算方法
CN115496257A (zh) 基于时空融合的短时车速预测
Gao et al. An Improved CEEMDAN‐FE‐TCN Model for Highway Traffic Flow Prediction
CN115071762A (zh) 面向城市场景下行人轨迹预测方法、模型及存储介质
Zhu et al. Early identification of recurrent congestion in heterogeneous urban traffic
Tian et al. Enhancing feedback steering controllers for autonomous vehicles with deep monte carlo tree search
CN116579423A (zh) 一种基于知识蒸馏的轨迹目标点预测方法
CN114116692B (zh) 一种基于mask和双向模型的缺失POI轨迹补全方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant