CN108629503B - 一种基于深度学习的出租车上车需求量的预测方法 - Google Patents

Abstract

本发明的基于深度学习的出租车上车需求量的预测方法，包括：步骤1）对出租车原始数据进行预处理,并分析出租车的基本运营指标；步骤2）构建时间横纵分析模型：从时间的横向和纵向两个角度分析不同区域和时间差异对上车客流量趋势的影响，利用Spark并行计算通过深度神经网络DNN对时间横纵分析模型进行训练，拟合出各区域上车需求量的趋势曲线；构建特征相关性分析模型：通过长短期记忆网络LSTM对特征相关性分析模型进行训练。有益效果：两种模型均可实现上车量的预测，对于管理者而言，两种模型协同操作，使得预测拟合更精准，与传统的交通信息系统不同之处在于系统内部集成了两种预测模型，模型可扩展、可训练、可预测，真正将深度学习应用到了实际案例中。

Description

一种基于深度学习的出租车上车需求量的预测方法

技术领域

本发明涉及人工智能领域，尤其涉及一种基于深度学习的出租车上车需求量的预测方法。

背景技术

出租车作为城市客运交通的重要组成部分，已经成为影响城市道路交通规划与管理的重要因素之一。目前，国内外很多学者对出租车GPS数据的应用都进行了研究，主要集中在交通状态估计、交通行为分析、出行OD预测、出租车运营水平评价等方面，较少涉及对出租车时空变化差异以及出租车运力相关影响因素的分析，而该部分内容却是交通规划和交通管理部门需要的信息。

发明内容

本发明目的在于克服上述现有技术的不足，提供了一种基于深度学习的出租车上车需求量的预测方法，具体由以下技术方案实现：

所述基于深度学习的出租车上车需求量的预测方法，包括如下步骤：

步骤1)对出租车原始数据进行预处理，所述预处理包括坐标转换、区域划分以及数据清洗，并分析出租车的基本运营指标，所述基本运营指标包括运营出租车的数量、载客量、空驶率；

步骤2)构建时间横纵分析模型：从时间的横向和纵向两个角度分析不同区域和时间差异对上车客流量趋势的影响，利用Spark并行计算通过深度神经网络DNN对时间横纵分析模型进行训练，拟合出各区域上车需求量的趋势曲线；构建特征相关性分析模型：从时间和空间角度，分别对各个区域的运力属性以及下车量进行特征相关性分析，预测上车客流量，通过长短期记忆网络LSTM对特征相关性分析模型进行训练。

所述基于深度学习的出租车上车需求量的预测方法的进一步设计在于，所述步骤1)中采用的原始数据为出租车定位数据，包括车辆ID、坐标数据、车牌号码、速度、方向、时间以及是表示否空车的参数。

所述基于深度学习的出租车上车需求量的预测方法的进一步设计在于，所述步骤1)通过数据接口获取的历史和实时交通数据，以Spark并行计算框架和弹性分布式数据集RDD进行数据的并行处理，同时架设多线程操作，同步生成多种数据处理的结果，并存入分布式文件系统HDFS。

所述基于深度学习的出租车上车需求量的预测方法的进一步设计在于，步骤2)中利用Spark并行计算通过深度神经网络DNN对时间横纵分析模型进行训练包括如下步骤：

2-1)将经过预处理的原始数据转换为第一专用格式的数据，根据第一专用格式的数据的特征维度和结果，设定DNN输入层和输出层的神经元的个数；

2-2)预设隐藏层层数和神经元个数，同时初始化DNN的权重和偏差；

2-3)将第一专用格式的数据中的各项参数逐一地输入至模型输入层，对输出层的预测结果与真实值的上车量数值进行对比，计算损失值；

2-4)利用梯度下降算法进行模型迭代，降低损失值并更新DNN的参数；

2-5)迭代训练结束后，输入需要预测的特征信息，输出层输出预测值，作为预测的上车客流量。

所述基于深度学习的出租车上车需求量的预测方法的进一步设计在于，步骤2)中时间横纵分析模型中将原始数据的格式转换为第一专用格式，所述第一专用格式中的参数包括日期、星期、时间段、当天前三个时间段的上车量、当天前两个时间段的上车量、当天上个时间段内的上车量、前三天该时间段内的上车量、前两天该时间段内的上车量、昨天该时间段内的上车量以及此时该时间段内的上车量。

所述基于深度学习的出租车上车需求量的预测方法的进一步设计在于，所述步骤2-3)中对输出层的预测结果与真实值的上车量数值进行对比采用的是常见的损失函数，定义如下：

其中，C₀表示二次损失函数值，y(x)表示真实值，a表示对应输入x得到的输出值，n表示训练总数；

为了更好的减小误差，在损失函数中加入了L2正则项，其定义如下：

其中ω表示权重，λ表示权衡二次损失函数和权重这两项的相对重要程度。

所述基于深度学习的出租车上车需求量的预测方法的进一步设计在于，所述步骤2-4)中根据式(3)、式(4)通过对所述损失函数求相对于权重ω和偏量b的偏导，以更新权重和偏量，

所述基于深度学习的出租车上车需求量的预测方法的进一步设计在于，步骤2)中构建特征相关性分析模型的过程为：首先将经过预处理的原始数据转换为第二专用格式，将第二专用格式的各项参数逐一地输入模型，再对输出层的预测结果与真实值的上车客流量数值进行对比，计算损失值，接着通过梯度下降算法降低损失值，最终输出预测值。

所述基于深度学习的出租车上车需求量的预测方法的进一步设计在于，所述第二专用格式中的参数包括日期、区域、星期、时间段、流入、流出、留存、空载、下车量以及下一时刻的上车量。

所述基于深度学习的出租车上车需求量的预测方法的进一步设计在于，所述步骤2)中通过长短期记忆网络LSTM对特征相关性分析模型进行训练包括如下步骤：

2-a)确定丢弃的信息，通过读取上一次的输出h_t-1和这一次的输入x_t，输出一个0至1之间的数值给LSTM的状态值C_t-1，C_t-1为1表示完全保留，C_t-1为0表示完全舍弃，如式(5)：

f_t＝σ(W_f·[h_t-1,x_t]+b_f) (5)

其中，W_f和b_f分别是遗忘门的权重和偏差，σ表示激活函数Sigmoid，f_t表示丢弃的信息；

2-b)确定被保存在LSTM的状态值中的信息，以更新状态值，如式(6)、式(7)以及式(8)：

i_t＝σ(W_i·[h_t-1,x_t]+b_i) (6)

其中W_i和b_i分别是输入门的权重和偏差，W_C和b_C分别是tanh层创建的新的候选值的权重和偏差，

表示候选值，C_t表示更新的状态值，

2-c)根据式(9)确定输出的值，

o_t＝σ(W_o·[h_t-1,x_t]+b_o) (9)

h_t＝o_t*tanh(C_t) (10)

其中，W_o和b_o分别是输出门的权重和偏差，o_t为Sigmoid层的输出，h_t为最终输出。

本发明的优点如下：

基于LSTM的上车量预测方法，首次提出以特征相关性得到的运力特征作为预测上车量的一系列指标，包括流入、流出、留存和空载等信息。

经结果表明，两种模型均可实现上车量的预测，对于管理者而言，两种模型协同操作，使得预测拟合更精准，与传统的交通信息系统不同之处在于系统内部集成了两种预测模型，模型可扩展、可训练、可预测，真正将深度学习应用到了实际案例中。

基于出租车GPS定位系统采集的数据，本发明深入挖掘和分析了出租车基本运营特征和时空分布规律。其中，通过对出租车基本运营特征的挖掘，可以为交通管理者提供包括空驶率等运营数据，有助于管理者了解出租车市场的运营状况，为出租车运营与管理提供决策支持，同时也为出租车时空分布特性分析提供基础；通过对出租车数据进行时空分布挖掘，可以动态的感知不同区域内出租车的时空运动规律，分析出租车时空分布与不同区域之间的关系，可对城市交通与土地规划的管理决策者提供直观可靠的数据支持。

附图说明

图1为数据处理流程图。

图2为DNN模型预测流程图。

图3为LSTM模型预测流程图。

图4为上车量预测3D效果图。

图5为模型拟合度对比图。

具体实施方式

以下结合附图，对本发明的技术方案进行详细说明。

如图1,本实施例的基于深度学习的出租车上车需求量的预测方法，包括如下步骤：

步骤1)对出租车原始数据进行预处理，预处理包括坐标转换、区域划分以及数据清洗，并分析出租车的基本运营指标，基本运营指标包括运营出租车的数量、载客量、空驶率。

步骤2)构建时间横纵分析模型：从时间的横向和纵向两个角度分析不同区域和时间差异对上车客流量趋势的影响，利用Spark并行计算通过深度神经网络DNN对时间横纵分析模型进行训练，拟合出各区域上车需求量的趋势曲线；构建特征相关性分析模型：从时间和空间角度，分别对各个区域的运力属性以及下车量进行特征相关性分析，预测上车客流量，通过长短期记忆网络LSTM对特征相关性分析模型进行训练。

步骤1)中采用的原始数据为出租车定位数据，包括车辆ID、坐标数据、车牌号码、速度、方向、时间以及是表示否空车的参数，参见表1。

表1

属性	类型	说明(样例)
			ID	VARchar2	0E6F62487754AD21E0505EDA72803865
车牌号码	VARchar2	苏FB5055
			经度	NUMBER	120.891816(120.75～121.05)
纬度	NUMBER	31.96401(31.8～32.2)
			速度	NUMBER	7(km/h)
方向	NUMBER	与正北方向的顺时针夹角(0°～359°)
			GPS时间	DATE	07-2月-15 11.56.44.000000000下午
是否空车	NUMBER	0表示空车，1表示重车(或存在空重车)

步骤1)通过数据接口获取的历史和实时交通数据，以CDH5.7版本下Hadoop平台的并行计算框架Spark和弹性分布式数据集RDD进行数据的并行处理，同时架设多线程操作，同步生成多种数据处理的结果，并存入分布式文件系统HDFS。

步骤2)中通过深度神经网络DNN对时间横纵分析模型进行训练本质上就是最小化误差的过程，该过程包括如下步骤：

2-1)将经过预处理的原始数据转换为第一专用格式的数据，根据第一专用格式的数据的特征维度和结果，设定DNN输入层和输出层的神经元的个数。

2-2)预设隐藏层层数和神经元个数，同时初始化DNN的权重和偏差。

2-3)将第一专用格式的数据中的各项参数逐一地输入至模型输入层，对输出层的预测结果与真实值的上车量数值进行对比，计算损失值。

2-4)利用梯度下降算法进行模型迭代，降低损失值并更新DNN的参数。

2-5)迭代训练结束后，输入需要预测的特征信息，输出层输出预测值，作为预测的上车客流量。

步骤2)中时间横纵分析模型中将原始数据的格式转换为第一专用格式，第一专用格式中的参数包括日期、星期、时间段、当天前三个时间段的上车量、当天前两个时间段的上车量、当天上个时间段内的上车量、前三天该时间段内的上车量、前两天该时间段内的上车量、昨天该时间段内的上车量以及此时该时间段内的上车量，参见表2。

表2

步骤2-3)中对输出层的预测结果与真实值的上车量数值进行对比采用的是常见的损失函数，定义如下：

其中，C₀表示二次损失函数值，y(x)表示真实值，a表示对应输入x得到的输出值，n表示训练总数。

为了更好的减小误差，在损失函数中加入了L2正则项，其定义如下：

其中ω表示权重，λ表示权衡二次损失函数和权重这两项的相对重要程度。

步骤2-4)中根据式(3)、式(4)通过对损失函数求相对于权重ω和偏量b的偏导，以更新权重和偏量，

步骤2)中构建特征相关性分析模型的过程为：首先将经过预处理的原始数据转换为第二专用格式，将第二专用格式的各项参数逐一地输入模型，再对输出层的预测结果与真实值的上车客流量数值进行对比，计算损失值，接着通过梯度下降算法降低损失值，最终输出预测值。与上文中的DNN模型的不同之处在于，LSTM能长期有效的记忆对最终结果有影响的数据特征且该特征与结果没有关系，参见图3。

本实施例中，第二专用格式中的参数包括日期、区域、星期、时间段、流入、流出、留存、空载、下车量以及下一时刻的上车量，参见表3。

表3

步骤2)中通过长短期记忆网络LSTM对特征相关性分析模型进行训练的核心是Cell的构建，Cell包括遗忘门、输入门和输出门。训练的过程包括如下步骤：

2-a)确定丢弃的信息，通过读取上一次的输出h_t-1和这一次的输入x_t，输出一个0至1之间的数值给LSTM的状态值C_t-1，C_t-1为1表示完全保留，C_t-1为0表示完全舍弃，如式(5)。

f_t＝σ(W_f·[h_t-1,x_t]+b_f) (5)

其中，W_f和b_f分别是遗忘门的权重和偏差，σ表示激活函数Sigmoid，f_t表示丢弃的信息。

2-b)确定被保存在LSTM的状态值中的信息，以更新状态值，如式(6)、式(7)以及式(8)。

i_t＝σ(W_i·[h_t-1,x_t]+b_i) (6)

其中W_i和b_i分别是输入门的权重和偏差，W_C和b_C分别是tanh层创建的新的候选值的权重和偏差，

表示候选值，C_t表示更新的状态值。

2-c)根据式(9)确定输出的值，

o_t＝σ(W_o·[h_t-1,x_t]+b_o) (9)

h_t＝o_t*tanh(C_t) (10)

其中，W_o和b_o分别是输出门的权重和偏差，o_t为Sigmoid层的输出，h_t为最终输出。

本实施例将两类模型集成到系统中，预测效果及拟合度比较，参见图4、图5。

以上，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (10)

1.一种基于深度学习的出租车上车需求量的预测方法，其特征在于包括如下步骤：

步骤1)对出租车原始数据进行预处理，所述预处理包括坐标转换、区域划分以及数据清洗，并分析出租车的基本运营指标，所述基本运营指标包括运营出租车的数量、载客量、空驶率；

步骤2)构建时间横纵分析模型：从时间的横向和纵向两个角度分析不同区域和时间差异对上车客流量趋势的影响，利用Spark并行计算通过深度神经网络DNN对时间横纵分析模型进行训练，拟合出各区域上车需求量的趋势曲线；构建特征相关性分析模型：从时间和空间角度，分别对各个区域的运力属性以及下车量进行特征相关性分析，预测上车客流量，通过长短期记忆网络LSTM对特征相关性分析模型进行训练。

2.根据权利要求1所述的基于深度学习的出租车上车需求量的预测方法，其特征在于所述步骤1)中采用的原始数据为出租车定位数据，包括车辆ID、坐标数据、车牌号码、速度、方向、时间以及是表示否空车的参数。

3.根据权利要求1所述的基于深度学习的出租车上车需求量的预测方法，其特征在于所述步骤1)通过数据接口获取的历史和实时交通数据，以Spark并行计算框架和弹性分布式数据集RDD进行数据的并行处理，同时架设多线程操作，同步生成多种数据处理的结果，并存入分布式文件系统HDFS。

4.根据权利要求1所述的基于深度学习的出租车上车需求量的预测方法，其特征在于步骤2)中利用Spark并行计算通过深度神经网络DNN对时间横纵分析模型进行训练包括如下步骤：

2-1)将经过预处理的原始数据转换为第一专用格式的数据，根据第一专用格式的数据的特征维度和结果，设定DNN输入层和输出层的神经元的个数；

2-2)预设隐藏层层数和神经元个数，同时初始化DNN的权重和偏差；

2-3)将第一专用格式的数据中的各项参数逐一地输入至模型输入层，对输出层的预测结果与真实值的上车量数值进行对比，计算损失值；

2-4)利用梯度下降算法进行模型迭代，降低损失值并更新DNN的参数；

2-5)迭代训练结束后，输入需要预测的特征信息，输出层输出预测值，作为预测的上车客流量。

5.根据权利要求4所述的基于深度学习的出租车上车需求量的预测方法，其特征在于步骤2)中时间横纵分析模型中将原始数据的格式转换为第一专用格式，所述第一专用格式中的参数包括日期、星期、时间段、当天前三个时间段的上车量、当天前两个时间段的上车量、当天上个时间段内的上车量、前三天该时间段内的上车量、前两天该时间段内的上车量、昨天该时间段内的上车量以及此时该时间段内的上车量。

6.根据权利要求4所述的基于深度学习的出租车上车需求量的预测方法，其特征在于所述步骤2-3)中对输出层的预测结果与真实值的上车量数值进行对比采用的是常见的损失函数，定义如下：

其中，C₀表示二次损失函数值，y(x)表示真实值，a表示对应输入x得到的输出值，n表示训练总数；

为了更好的减小误差，在损失函数中加入了L2正则项，其定义如下：

其中ω表示权重，λ表示权衡二次损失函数和权重这两项的相对重要程度。

7.根据权利要求6所述的基于深度学习的出租车上车需求量的预测方法，其特征在于所述步骤2-4)中根据式(3)、式(4)通过对所述损失函数求相对于权重ω和偏量b的偏导，以更新权重和偏量，

8.根据权利要求4所述的基于深度学习的出租车上车需求量的预测方法，其特征在于步骤2)中构建特征相关性分析模型的过程为：首先将经过预处理的原始数据转换为第二专用格式，将第二专用格式的各项参数逐一地输入模型，再对输出层的预测结果与真实值的上车客流量数值进行对比，计算损失值，接着通过梯度下降算法降低损失值，最终输出预测值。

9.根据权利要求8所述的基于深度学习的出租车上车需求量的预测方法，其特征在于所述第二专用格式中的参数包括日期、区域、星期、时间段、流入、流出、留存、空载、下车量以及下一时刻的上车量。

10.根据权利要求8所述的基于深度学习的出租车上车需求量的预测方法，其特征在于所述步骤2)中通过长短期记忆网络LSTM对特征相关性分析模型进行训练包括如下步骤：

2-a)确定丢弃的信息，通过读取上一次的输出h_t-1和这一次的输入x_t，输出一个0至1之间的数值给LSTM的状态值C_t-1，C_t-1为1表示完全保留，C_t-1为0表示完全舍弃，如式(5)：

f_t＝σ(W_f·[h_t-1，x_t]+b_f) (5)

其中，W_f和b_f分别是遗忘门的权重和偏差，σ表示激活函数Sigmoid，f_t表示丢弃的信息；

2-b)确定被保存在LSTM的状态值中的信息，根据式(6)、式(7)以及式(8)更新状态值：

i_t＝σ(W_i·[h_t-1，x_t]+b_i) (6)

其中W_i和b_i分别是输入门的权重和偏差，W_C和b_C分别是tanh层创建的新的候选值的权重和偏差，

表示候选值，C_t表示更新的状态值，

2-c)根据式(9)确定输出的值，

o_t＝σ(W_o·[h_t-1，x_t]+b_o) (9)

h_t＝o_t*tanh(C_t) (10)

其中，W_o和b_o分别是输出门的权重和偏差，o_t为Sigmoid层的输出，h_t为最终输出。

Images