CN111461426A - 一种基于深度学习的高精度行程时长预测方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的高精度行程时长预测方法，包括如下步骤：从原始的轨迹数据中通过特征工程提取用于学习的特征，可分为三类，分别是时间信息特征、空间信息特征和额外信息特征；从经过特征工程的轨迹数据中随机取样，得到轨迹样本数据，此时该轨迹样本数据是一个大小为(N,L,n)三维张量；将轨迹样本数据根据数值是否离散的特性分别进行处理，离散值和连续值分别经过词嵌入和归一化之后再次合并，输入至已经训练好的深度学习网络模型中进行分析，对样本数据的序列特征和时序特征进行学习，得到最终的行程时间预测值；所述深度学习网络模型以处理过后的轨迹样本数据作为输入，以预测值为输出，具有较强的普适性。

Description

一种基于深度学习的高精度行程时长预测方法

技术领域

本发明涉及行程时长预测方法，具体涉及一种在大数据环境下基于深度学习的高精度行程时长预测方法。

背景技术

近年来我国乃至全球范围内，智慧城市规划建设进程正在大力推进，便捷的智慧交通服务作为智慧城市建设的重要组成部分，广受人们的期待。行程时间作为重要的交通参数，被广泛应用于智慧交通的各个层面，比如导航、路径规划和交通监控。几乎所有电子地图和在线乘车服务都在其应用程序中提供旅行时间预测，例如Google Map，Uber和DiDi。高精度的城市道路行程时间预测不仅仅有助于向城市智慧交通建设提供规划和决策方案，对于市民来说更是能享受高质量服务，有效优化出行体验。

城市道路行程时间预测问题解决起来并不简单。传统的方法建立于交通理论之上，往往是基于道路的解决方案。给定路线的行程时间预测问题被划分为数个子问题，总行程时间是通过每个路段和每个路口延迟时间的总和。这些早期的传统方法最大的缺点在于很少考虑路段之间的相互作用和相关性，或是专注于单个路段，容易导致误差的积累，有害于整体行程时间的预测。近年来越来越多的行程时间预测方法将视野投到深度学习领域中来。深度学习所具备的自我学习能力能充分发挥海量数据的优势，深度挖掘时空交通数据的潜在特征，经过反复的训练学习，取得较为精确的行程时长预测结果。

传统的行程时长预测方法建模基于交通理论，将路径划分为段或子路径，然后对相应的子时间进行汇总。这种方法往往是基于真实情况的简化，在仿真中难以避免缺漏的存在，容易导致误差堆积的严重问题。

发明内容

发明目的：为了解决现有技术存在的问题，本发明的目的是提供一种基于深度学习的高精度行程时长预测方法。

技术方案：一种基于深度学习的高精度行程时长预测方法，包括如下步骤：

步骤1：从原始的轨迹数据中通过特征工程提取用于学习的特征，分为三类：时间信息特征、空间信息特征和额外信息特征；

步骤2：从经过特征工程的轨迹数据中随机采样，得到轨迹样本数据，该轨迹样本数据是一个大小为(N,L,n)三维张量；

步骤3：将轨迹样本数据根据数值是否离散的特性分别进行处理，离散值和连续值分别经过词嵌入和归一化之后再次合并，输入至已经训练好的深度学习网络模型中进行分析，对样本数据的序列特征和时序特征进行学习，得到最终的行程时间预测值；所述深度学习网络模型以处理过后的轨迹样本数据作为输入，以预测值为输出，具有较强的普适性。

进一步的，步骤1中，所述特征工程提取时间、空间和额外信息特征三类特征的具体方法为：

将GPS数据p_i定义为一个5维元组：

p_i＝(id_i,y_n_i,lon_i,lat_i,t_i)

其中，id_i表示出租车编号，y_n_i表示出租车是否载客，lon_i和lat_i表示GPS数据的经度和纬度，t_i表示GPS数据的时间戳。

根据GPS数据p_i中的时间戳t_i提取了周几和一天中的时间点(以分钟为单位)作为时间信息特征；提取了一天中的时间点(以秒钟为单位)计算行程时间，用于作为训练模型的输出；提取轨迹样本中每个GPS数据p_i与其后一个p_i+1的行程段距离和该轨迹行程总距离作为空间信息特征；将轨迹数据集中的出租车编号id_i和是否载客标签y_n_i作为个性化特征，也就是额外信息特征。

进一步的，步骤2中，所述随机采样的具体方法为：

将轨迹T定义为一个连续的GPS数据的集合：

T＝{p₁,…,p_i}

随机选取一个轨迹T，从T中选择连续的GPS数据p_m,p_m+1,…,p_n(n-m≤L-1)作为一个轨迹样本。其中当两个连续的GPS数据p_i+1与p_i的坐标不改变同时时间间隔Δt＝t_i+1-t_i大于5分钟时将其判定为异常停留点，提前终止采样。所以实际上轨迹样本长度是可变的，而当组成轨迹样本的GPS数据少于L时用0值填充。重复上述采样过程直到一共得到了N条轨迹样本，形成轨迹样本数据。

该轨迹样本数据是一个大小为(N,L,n)三维张量，表示N条轨迹样本，每个轨迹样本包含L个连续的GPS数据，每个GPS数据拥有n维特征。

进一步的，步骤3中，根据数值是否离散的特性分别进行处理的具体方法为：

对于都是离散值的时间和额外信息特征，利用词嵌入技术解决数据维度过高的问题，将高维的特征转换为低纬的向量，向量空间的维度根据特征取值数量确定；对于都是连续值的空间信息特征，将其最大最小归一化，将原始的取值范围线性转换到[0,1]范围内，公式如式(3):

进一步的，所述步骤3中所述深度学习网络模型分别利用序列特征组件(由双向长短期记忆网络BiLSTM和残差全连接块组成)和局部特征组件(由包含多个大小不同卷积核的一维卷积网络组成)捕捉轨迹样本的序列特征和局部特征。

序列特征组件中BiLSTM由一个前向LSTM和一个后向LSTM组成，在LSTM前向传播的每个步骤中，遗忘门，输入门，输出门，单元状态的更新方式如下式所示：

f_t＝σ(W_f[x_t；h_t-1]+b_f) (4)

i_t＝σ(W_i[x_t；h_t-1]+b_i) (5)

o_t＝σ(W_o[x_t；h_t-1]+b_o) (6)

其中f_t，i_t，o_t，C_t和h_t分别表示遗忘门、输入门、输出门、单元状态和隐藏状态，σ(·)表示Sigmoid激活函数。BiLSTM用于额外捕捉潜在的逆向时序特征。之后送入一个残差全连接块中整合输出，其中多层全连接层由残差网络的“shortcuts”连接，使用Leaky ReLU激活函数如式(10)所示:

f(x)＝max(0.3x，x) (10)

局部特征组件由包含多个大小不同卷积核的一维卷积网络组成，一个长为L的轨迹样本数据送入一维卷积网络。卷积运算涉及滤波器，滤波器的高度表示为h。滤波器在长为L的轨迹样本数据上滑动，卷积后输出的数据长度为L-h+1。卷积后输出的数据经过一个maxpooling层，为每个特征图捕获价值最高的特征m_i:

m_i＝max({Y₁,Y₂...,Y_L-h+！}) (11)

局部特征组件使用了窗口大小各异的多个过滤器来获取尽可能丰富的局部特征，输出与序列特征组件输出拼接，送入最后一层全连接层，输出相应行程时长预测。

本发明采用以上技术方案与现有技术相比，具有以下显著优点：

1、标准化的特征提取方式具有较强可扩展性：本发明特征工程过程中仅提取时间、空间和额外信息特征三类特征，轨迹数据被我们标准化为一个大小为(N,L,n)的轨迹样本数据，而在数据更加全面的情况下可以按照同样的方式处理继续扩展特征维度n，例如天气信息和路网信息对模型学习影响较大的因素加入训练，有利于提高预测精度。

2、行程时长预测精度较高，使用深度学习模型来进行行程时长预测的学习，经过多次训练，模型损失平均绝对误差下降到了117.961秒，较同类先进的深度学习方法平均绝对误差145.132秒性能提升了18.72％。

附图说明

图1是本发明特征工程和随机取样将原始数据标准化；

图2是本发明深度学习模型整体框架；

图3是本发明双向长短时记忆网络结构；

图4是本发明多尺寸卷积核一维卷积过程；

图5是本发明训练集和测试集学习过程损失下降。

具体实施方式

下面结合附图和具体实施例，详细描述本发明的技术方案。

本实施示例的主要思想为：从原始的GPS数据集中梳理出轨迹数据集，从轨迹数据中通过特征工程提取用于学习的特征——时间信息特征、空间信息特征和额外信息特征；从经过特征工程的轨迹数据中随机取样，得到轨迹样本数据，并且该轨迹样本数据是一个大小为(N,L,n)三维张量；将轨迹样本数据根据数值是否离散的特性分别进行处理，离散值和连续值分别经过词嵌入和归一化之后再次合并，输入至已经训练好的深度学习网络模型中进行分析，对样本数据的序列特征和时序特征进行学习，得到最终的行程时间预测值。

步骤1：特征工程提取用于学习的特征，具体操作如下：

将GPS数据p_i定义为一个5维元组：

p_i＝(id_i,y_n_i,lon_i,lat_i,t_i) (1)

其中id_i表示出租车编号，y_n_i表示出租车是否载客，lon_i和lat_i表示GPS数据的经度和纬度，t_i表示GPS数据的时间戳。

将原始的GPS数据依次按照id_i和t_i排序，得到轨迹数据。可以根据GPS数据p_i中的时间戳t_i提取了周几和一天中的时间点(以分钟为单位)作为时间信息特征；提取了一天中的时间点(以秒钟为单位)计算行程时间，用于作为训练模型的输出；提取轨迹样本中每个GPS数据p_i与其后一个p_i+1的行程段距离和该轨迹行程总距离作为空间信息特征；将轨迹数据集中的出租车编号id_i和是否载客标签y_n_i作为个性化特征，也就是额外信息特征。

步骤2：轨迹数据采样标准化，具体操作如下：

定义轨迹T为一个连续的GPS数据的集合：

T＝{p₁,…,p_i} (2)

随机选取一个轨迹T，从T中选择连续的GPS数据p_m,p_m+1,…,p_n(n-m≤L-1)作为一个轨迹样本。其中当两个连续的GPS数据p_i+1与p_i的坐标不改变同时时间间隔Δt＝t_i+1-t_i大于5分钟时将其判定为异常停留点，提前终止采样。所以实际上轨迹样本长度是可变的，而当组成轨迹样本的GPS数据少于L时用0值填充。重复上述采样过程直到一共得到了N条轨迹样本。

如图1所示，该轨迹样本数据是一个大小为(N,L,n)三维张量，表示N条轨迹样本，每个轨迹样本包含L个连续的GPS数据，每个GPS数据拥有n维特征。在本例中选取N＝100,000，L＝50，n＝8，一共有10万条轨迹样本，选取其中2万条作为深度学习模型的测试集，其余8万条作为训练集。

步骤3：轨迹样本的各项特质根据离散与否进一步处理，具体操作如下：

对于都是离散值的时间和额外信息特征，利用词嵌入技术解决数据维度过高的问题，将高维的特征转换为低纬的向量，向量空间的维度根据特征取值数量确定；对于都是连续值的空间信息特征，将其最大最小归一化，将原始的取值范围线性转换到[0,1]范围内，公式如式(3):

步骤4：将轨迹样本输入深度学习网络模型中进行学习，模型细节如下：

深度学习网络模型分别利用序列特征组件(由双向长短期记忆网络BiLSTM和残差全连接块组成)和局部特征组件(由包含多个大小不同卷积核的一维卷积网络组成)捕捉轨迹样本的序列特征和局部特征，结构如图2所示。

如前所述轨迹样本长度是可变的，当组成轨迹样本的GPS数据少于50时用0值填充(padding)。补齐的0值在送入序列特征组件训练之前会经过masking层的过滤忽略补齐部分，以避免补齐值对模型训练预测造成影响。而补齐的0值在送入局部特征组件训练之后经过maxpooling层也能起到同样的效果，使得变长的轨迹样本之后也能得到定长的输出。

序列特征组件中由两个堆叠的BiLSTM和残差全连接块组成，BiLSTM由一个前向LSTM和一个后向LSTM组成，结构如图3所示。在LSTM前向传播的每个步骤中，遗忘门，输入门，输出门，单元状态的更新方式如下式所示：

f_t＝σ(W_f[x_t；h_t-1]+b_f) (4)

i_t＝σ(W_i[x_t；h_t-1]+b_i) (5)

o_t＝σ(W_o[x_t；h_t-1]+b_o) (6)

其中f_t，i_t，o_t，C_t和h_t分别表示遗忘门、输入门、输出门、单元状态和隐藏状态，σ(·)表示Sigmoid激活函数。BiLSTM用于额外捕捉潜在的逆向时序特征。之后送入一个残差全连接块中整合输出，其中4层全连接层由残差网络的“shortcuts”连接，使用Leaky ReLU激活函数如式(10)所示:

f(x)＝max(0.3x，x) (10)

局部特征组件由包含多个大小不同卷积核的一维卷积网络组成，卷积过程如图4所示，一个长为L的轨迹样本数据送入一维卷积网络。卷积运算涉及滤波器，滤波器的高度表示为h。滤波器在长为L的轨迹样本数据上滑动，卷积后输出的数据长度为L-h+1。卷积后输出的数据经过一个maxpooling层，为每个特征图捕获价值最高的特征m_i:

m_i＝max({Y₁,Y₂...,Y_L-h+！}) (11)

上述为一个卷积核对于一条轨迹样本的卷积过程，局部特征组件使用了宽度大小分别为2、3、4、5、6的各100个卷积核来获取尽可能丰富的局部特征，之后输出与序列特征组件输出拼接，送入最后一层全连接层，输出相应行程时长预测。

本实施例采用8万条轨迹样本数据作为训练样本数据，使用梯度下降策略训练模型。对于给定的迭代次数，首先基于在整个数据集上求出的罚函数loss(W)对输入的参数向量W计算梯度向量。然后对参数w进行更新：对参数w减去梯度值乘学习率的值，也就是在反梯度方向，更新参数。其中，

为参数梯度下降方向，即loss(W)的偏导数，η为学习率。其中y_i表示样本的真实值，p_i为预测为第i类的概率。当完成迭代时，实现W的更新与模型的建立。

将本发明提出的算法与目前较为先进的同类深度学习模型STTM进行比较。所用指标为平均绝对误差MAE，均方根误差RMSE与可决系数R²。

平均绝对误差(Mean Absolute Error,MAE)：

均方根误差(Root Mean Square Error,RMSE)：

可决系数(Coefficient of determination)：

模型学习过程如图5所示，训练集、验证集的损失函数值随训练epoch轮数增加变化如图5所示，训练集和测试集损失函数慢慢下降并趋于稳定。最终成绩平均绝对误差MAE下降到117.961秒，均方根误差RSME下降到356.796秒，可决系数达到0.715，均优于同类深度学习模型STTM。

Claims (5)

1.一种基于深度学习的高精度行程时长预测方法，其特征在于，包括如下步骤：

步骤1：从原始的轨迹数据中通过特征工程提取用于学习的特征，包括时间信息特征、空间信息特征和额外信息特征；

步骤2：从经过特征工程的轨迹数据中进行随机采样，得到轨迹样本数据；

步骤3：根据数值是否离散的特性对轨迹样本数据进行处理，输入至已经训练好的深度学习网络模型中进行分析；对样本数据的序列特征和时序特征进行学习，得到最终的行程时间预测值；所述深度学习网络模型以处理过后的轨迹样本数据作为输入，以预测值为输出。

2.根据权利要求1所述的基于深度学习的高精度行程时长预测方法，其特征在于，步骤1中，采用如下方法提取所述时间信息特征、空间信息特征和额外信息特征：

将GPS数据p定义为一个5维元组：

p＝(id，y_n，lon，lat，t)

其中，id表示出租车编号，y_n表示出租车是否载客，lon表示GPS数据的经度，lat表示GPS数据的纬度，t表示GPS数据的时间戳；

根据GPS数据p中的时间戳t提取一天中以分钟为单位的时间点和周几作为时间信息特征；提取轨迹样本中个相邻两个连续的GPS数据的行程段距离以及该轨迹行程总距离作为空间信息特征；将出租车编号id和是否载客标签y_n作为额外信息特征；提取一天中以秒为单位的时间点计算行程时间，用于作为训练模型的输出。

3.根据权利要求1所述基于深度学习的高精度行程时长预测方法，其特征在于，步骤2中，所述随机采样的具体方法为：

将轨迹T定义为一组连续的GPS数据p₁，...，p_i的集合：

T＝{p₁，...，p_i}

随机选取一个轨迹T_j，从T_j中随机选取一个点开始，选择不超过L个连续的GPS数据p_m，p_m+1，...，p_n，n-m≤L-1，作为一个轨迹样本；其中，当两个连续的GPS数据p_i+1与p_i的坐标不改变，同时时间间隔Δt＝t_i+1-t_i大于5分钟时将其判定为异常停留点，提前终止采样；所述轨迹样本的长度是可变的，当组成轨迹样本的GPS数据少于L时，不足L的部分用0值填充；重复上述采样过程，共得到N条轨迹样本，形成轨迹样本数据；

所述轨迹样本数据是一个大小为(N，L，n)三维张量，N表示轨迹样本的数量，每个轨迹样本包含L个连续的GPS数据，每个GPS数据拥有n维特征。

4.根据权利要求1所述基于深度学习的高精度行程时长预测方法，其特征在于，步骤3中，将轨迹样本数据根据数值是否离散的特性分别进行处理的具体方法为：

对于都是离散值的时间信息特征和额外信息特征，采用词嵌入技术进行降维处理，向量空间的维度根据特征取值的数量确定；对于都是连续值的空间信息特征，将其最大最小归一化，将原始的取值范围线性转换到[0，1]范围内；离散值和连续值分别经过词嵌入和归一化之后再次合并。

5.根据权利要求1所述基于深度学习的高精度行程时长预测方法，其特征在于，步骤3中，所述深度学习网络模型分别利用序列特征组件和局部特征组件捕捉轨迹样本的序列特征和局部特征；

所述序列特征组件由双向长短期记忆网络BiLSTM和残差全连接块组成，BiLSTM由一个前向LSTM和一个后向LSTM组成，在LSTM前向传播的每个步骤中，遗忘门、输入门、输出门以及单元状态的更新方式如下式所示：

f_t＝σ(W_f[x_t；h_t-1]+b_f)

i_t＝σ(W_i[x_t；h_t-1]+b_i)

o_t＝σ(W_o[x_t；h_t-1]+b_o)

其中，f_t，i_t，o_t，C_t和h_t分别表示遗忘门、输入门、输出门、单元状态和隐藏状态，x_t和h_t-1表示当前单元的输入和上一个单元的隐藏状态，W和b表示权重和偏置，σ(.)表示Sigmoid激活函数；BiLSTM用于额外捕捉潜在的逆向时序特征；之后送入一个残差全连接块中整合输出，其中多层全连接层由残差网络的“shortcuts”连接，使用Leaky ReLU激活函数；

所述序列特征组件所述局部特征组件由包含多个卷积核的一维卷积网络组成；一个长为L的轨迹样本数据送入一维卷积网络；卷积运算中，滤波器的高度为h；滤波器在长为L的轨迹样本数据上滑动，卷积后输出的数据长度为L-h+1；卷积后输出的数据经过一个maxpooling层，为每个特征图捕获价值最高的特征m_i：

m_i＝max({Y₁，Y₂...，Y_L-h+!})

其中Y_i为滤波器每一步的输出，Y_i的集合为滤波器输出的特征图；

所述局部特征组件使用多个滤波器获取局部特征，输出与序列特征组件输出拼接，经过最后一层全连接层，得到预测输出。

Images