CN109670703A - 一种基于马尔科夫决策过程的乘客等出租车优化方法 - Google Patents

Abstract

本发明公开了一种基于马尔科夫决策过程的乘客等出租车优化方法，属于数据挖掘和出租车用户推荐领域，首先推荐乘客去附近的一个路段上等车，并给出在该位置建议等待的时间；若乘客在第一个路段上在给出的等待时间内没有等到空出租车，就推荐乘客走到与该路段相连的路口去等待，并给出建议等待的时间；若乘客在路口没有等到出租车，则继续推荐他走到相邻的路口上继续等待，如此循环，直至乘客在某个路口等到空出租车，结束推荐，获取乘客在一个路段或者路口等到空出租车的概率，得到乘客按照推荐路线可以等到出租车的总概率。本发明可使得乘客有更大的概率等到出租车；推荐的是一个等待路线，克服现有方法只推荐一个位置的缺点。

Description

一种基于马尔科夫决策过程的乘客等出租车优化方法

技术领域

本发明属于数据挖掘和出租车用户推荐领域，具体涉及一种基于马尔科夫决策过程的乘客等出租车优化方法。

背景技术

现在的出租车都配置了GPS定位装置，可以每时每刻记录出租车的信息，包括位置、时间、乘客上下车情况、里程距离、订单金额，等等。因此，每天都有大量的出租车数据产生，所以我们可以利用现有的数据挖掘的方法对出租车数据进行挖掘，进而来改善出租车的用户体验，尤其是站在乘客的角度考虑，即如何使得乘客有更大的概率可以等到车，有规划的等车，而不是随机去某个地方一直等。

目前关于这方面的研究还是比较少的，基本上可以分为两类：依据等待时间为乘客进行推荐和依据距离为乘客进行推荐。第一类方法首先计算乘客在某一个时间段内，在每个路段上等到一辆空出租车的时间，即为等待时间，然后从乘客附近的所有路段中选择一个等待时间最短的路段推荐给乘客，让乘客去那里等出租车。第二类方法是直接推荐距离乘客最近的路段给乘客，让乘客去那里等出租车，或者是推荐距离乘客最近的热点区域给乘客，让乘客去那里等出租车。这两种方法分别考虑了乘客在等车过程中比较关心因素，即时间和距离，因为乘客都希望在最短的时间内，不需要走很远就能等到车，并且与乘客随机去某个地方等车相比，按照它们的推荐，乘客会有更大的概率等到出租车，因为这是根据历史数据统计分析得出，具有一定的规律性。

但是，这两类方法都有一个相同缺陷，即它们都是只推荐一个地方给乘客，而没有考虑到乘客在那个地方一直等不到出租车时该怎么办，因为这种推荐都是带有概率性的，乘客不是一定可以等到出租车，所以乘客在它们推荐的地方可能等很久都等不到出租车，这也会大大减低用户的体验。

发明内容

针对现有技术的不足，本发明的目的在于提供一种基于马尔科夫决策过程的乘客等出租车优化方法，该方法可以大大增加乘客等到出租车的概率。

本发明提供一种基于马尔科夫决策过程的乘客等出租车优化方法，包括以下步骤：

S1.推荐乘客去附近的一个路段(r_i)上等车，并给出在该位置建议等待的时间

S2.若乘客在第一个路段上在给出的等待时间内没有等到空出租车，就推荐乘客走到与该路段相连的路口(c₁)去等待，并给出建议等待的时间

S3.若乘客在步骤S2所述的路口(c₁)没有等到出租车，则继续推荐他走到相邻的路口(c₂)上继续等待，如此循环，直至乘客在某个路口(c_end)等到空出租车，结束推荐，获取乘客在一个路段或者路口等到空出租车的概率，得到乘客按照推荐路线可以等到出租车的总概率：

推荐给乘客的等车路线为：π＝{r_i→c₁→c₂→c₃→…→c_end}。

在一个具体实施方式中，通过设定行走距离阈值(ΔD)和等待时间阈值(ΔT)作为推荐算法的终止条件。

在一个具体实施方式中，所述行走距离阈值(ΔD)由以下方式得到：

推荐乘客到附近的一个路段上等车，之后就推荐乘客去相邻的路口上等车，假设乘客在路段的中间等车，行走距离阈值(ΔD)为路段长度的一半，以保证至少可以推荐一个路口给乘客。

在一个具体实施方式中，所述等待时间阈值(ΔT)由以下方式得到：

不同时间段的等待时间是不同的，选择累积概率到达50％处的时间点作为该时间段内统计的等待时间阈值(ΔT₁)，这样就保证在50％的路口上的等待时间会小于这个阈值；

同时，乘客在行走的过程中也可能遇到出租车，乘客所行走的时间(ΔT₀)也看作是等待时间的一部分，因此，在统计的等待时间阈值里面减去乘客行走所用的时间；

ΔT＝ΔT₁-ΔT₀＝ΔT₁-ΔD/V₀ (1)

其中，V₀为乘客的行走速度，单位为m/s。

在一个具体实施方式中，步骤S1中，路段上的等待时间由以下方式得到：

采用非齐次泊松过程(NHPP)来模拟出租车到达的行为，取NHPP的参数为λ_(t)＝tP，t表示某个时间段，P为对应时间段的空车到达率，它是随不同的时间段而变化的，可以得到事件发生次数的NHPP分布律为：

N_(t)表示t时间段内到达的空车数量，k表示t时间段内有k辆空车到达；

空出租车的等待时间T在t范围内的概率为：

P{T<＝t}＝1-P{T>t}

＝1-P{N_(t)＝0}(因为T>t，所以N_(t)＝0)

＝1-e^-(tP)

＝F(t)(即为T的概率分布函数)

求导可以得到概率密度函数：f(t)＝F′(t)＝Pe^-(tP)

所以可以求出t的均值：

因此，在t时间段内，在路段上的等待时间为：

在一个具体实施方式中，步骤S2中，在路口的等待时间：

在一个具体实施方式中，步骤S3中，所述乘客等到空出租车的概率，即空车到达率，空车到达率在不同时间段内是不同的，对应到马尔科夫决策过程模型中，也就是乘客转移到该位置的回报值，空车到达率从数学角度就是单位时间内一个路段或者路口上的空出租车的数量；

路段上的空车到达率的公式为：

路口上的空车到达率的公式为：

其中，|t|是时间段的长度，在本发明中，取经验值为60min，表示t时间段内在一个路段到达的空车数量，表示t时间段内路口到达的空车数量。

在一个具体实施方式中，步骤S3中，所述乘客按照推荐路线可以等到出租车的总概率，由以下方式得到：

通过求解值函数来选择最优的推荐路线，第一个值函数是V_c(c)，它计算以路口(c)为开始路口的路口序列的总回报值，即在该路口序列上乘客可以等到空出租车的总概率；第二个值函数是V_r(r)，它计算以路段(r)为开始状态的推荐路线的总回报值，即在该等待路线上乘客可以等到空出租车的总概率；乘客附近可能有若干个路段，因此就会产生若干个推荐路线，本申请最终推给乘客的就是使得V_r(r)最大的推荐路线，因为起始点是路段，接下来介绍如何计算这两个值函数：

当一名乘客在路口(c)等待一辆空出租车时，会有两种情况发生：

1)他可以立即等到空车，没有后续的路口序列，因此，

2)否则，推荐他到某个相邻的路口(c_i)等待，但我们考虑的不仅仅只有c_i一个路口，而是以c_i为开始的路口序列，因此，

由以上分析可知，(其中，c_next是路口c的某个相邻路口)；

同理，(c是路段r的某个相邻路口)。

马尔科夫决策过程(MDP)，是一个随机决策过程，该模型会给活动着推荐一系列的行动，活动者依次执行这些行动，直至到达结束状态，最后活动者会得到一个最大的回报值。在本发明中，乘客就是活动者，为乘客推荐一个等待路线，其中包含若干个等车位置，乘客按照推荐的等待路线依次去每个位置处等待出租车，最后可以得到乘客按照这个等待路线可以等到出租车的概率，即回报值，以及每个地方的等待时间，这样就解决了乘客在某一个地方很久等不到车的问题，即如果乘客在某个位置很久没有等到车，他可以继续去下一个位置等车，这样会大大增加乘客等到出租车的概率。

相对于现有技术，本发明具有以下有益技术效果：

本发明提供一种基于马尔科夫决策过程的乘客等出租车优化方法，首先推荐乘客去附近的一个路段上等车，并给出在该位置建议等待的时间；若乘客在第一个路段上在给出的等待时间内没有等到空出租车，就推荐乘客走到与该路段相连的路口去等待，并给出建议等待的时间；若乘客在路口没有等到出租车，则继续推荐他走到相邻的路口上继续等待，如此循环，直至乘客在某个路口等到空出租车，结束推荐，获取乘客在一个路段或者路口等到空出租车的概率，得到乘客按照推荐路线可以等到出租车的总概率(即回报值)，本发明方法可以使得乘客有更大的概率等到出租车；其次我们推荐的是一个等待路线，克服现有方法只推荐一个位置的缺点，并去所花费的总时间也会更短一些；最后我们考虑到了多乘客竞争等待的情况，更加符合实际情况。

附图说明

图1为本发明方法的流程图。

图2为本发明方法中路段长度的频率分布图。

图3为本发明方法中10-11.am内路口等待时间的频率分布图。

图4为本发明方法的推荐示例图。

具体实施方式

下面将对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提供一种基于马尔科夫决策过程的乘客等出租车优化方法，图1为本发明方法的流程图，包括以下步骤：

S1.推荐乘客去附近的一个路段(r_i)上等车，并给出在该位置建议等待的时间

S2.若乘客在第一个路段上在给出的等待时间内没有等到空出租车，就推荐乘客走到与该路段相连的路口(c₁)去等待，并给出建议等待的时间

S3.若乘客在步骤S2所述的路口(c₁)没有等到出租车，则继续推荐他走到相邻的路口(c₂)上继续等待，如此循环，直至乘客在某个路口(c_end)等到空出租车，结束推荐，获取乘客在一个路段或者路口等到空出租车的概率，得到乘客按照推荐路线可以等到出租车的总概率，即总回报值：

推荐给乘客的等车路线为：π＝{r_i→c₁→c₂→c₃→…→c_end}。

整个推荐过程会到达某一个状态就停止，即推荐的等待路线长度是有限的，乘客也不可能一直变换等车位置，本发明设定行走距离阈值(ΔD)和等待时间阈值(ΔT)作为推荐算法的终止条件。

在本发明实施例中，行走距离阈值(ΔD)由以下方式得到：

推荐乘客到附近的一个路段上等车，之后就推荐乘客去相邻的路口上等车，假设乘客在路段的中间等车，行走距离阈值(ΔD)为路段长度的一半，以保证至少可以推荐一个路口给乘客。经过统计可知，95％路段的长度都小于1500米，如图2所示，所以这个行走距离阈值就设为750米。

在本发明实施例中，等待时间阈值(ΔT)由以下方式得到：

不同时间段的等待时间是不同的，选择累积概率到达50％处的时间点作为该时间段内统计的等待时间阈值(ΔT₁)，这样就保证在50％的路口上的等待时间会小于这个阈值。

经过统计可知，在不同时间段内，乘客在所有路口上的等待时间的分布，如图3所示，然后选择累积概率到达50％处的时间点作为该时间段内的等待时间阈值，这样就保证在50％的路口上的等待时间会小于这个阈值，从图3可知，10-11.am内的等待时间阈值为18分钟。

同时，乘客在行走的过程中也可能遇到出租车，乘客所行走的时间(ΔT₀)也看作是等待时间的一部分，因此，在统计的等待时间阈值里面减去乘客行走所用的时间；

ΔT＝ΔT₁-ΔT₀＝ΔT₁-ΔD/V₀ (1)

其中，V₀为乘客的行走速度，单位为m/s。

行走距离阈值为750米，人类的行走速度大约为1.5m/s，所以，最终的等待时间阈值还要在统计值的基础上减去8分钟，得到最终每个时间段内的等待时间阈值如表1所示。

表1各个时间段内的等待时间阈值

在本发明实施例中，步骤S1中，路段上的等待时间由以下方式得到：

本发明不仅要告诉乘客去哪里等车，还要告诉他们在那个位置应该等多久才能转移到下一个位置，不能让乘客到某个位置后立即转移去下一个位置。

采用非齐次泊松过程(NHPP)来模拟出租车到达的行为，取NHPP的参数为λ_(t)＝tP，t表示某个时间段，P为对应时间段的空车到达率，它是随不同的时间段而变化的，可以得到事件发生次数的NHPP分布律为：

N_(t)表示t时间段内到达的空车数量，k表示t时间段内有k辆空车到达；

空出租车的等待时间T在t范围内的概率为：

P{T<＝t}＝1-P{T>t}

＝1-P{N_(t)＝0}(因为T>t，所以N_(t)＝0)

＝1-e^-(tP)

＝F(t)(即为T的概率分布函数)

求导可以得到概率密度函数：f(t)＝F′(t)＝Pe^-(tP)

所以可以求出t的均值：

因此，在t时间段内，在路段上的等待时间为：

在本发明实施例中，步骤S2中，在路口的等待时间：

在本发明实施例中，步骤S3中，乘客等到空出租车的概率，即空车到达率，空车到达率在不同时间段内是不同的，对应到马尔科夫决策过程模型中，也就是乘客转移到该位置的回报值，空车到达率从数学角度就是单位时间内一个路段或者路口上的空出租车的数量；

空车到达率从数学角度就是单位时间内一个路段或者路口上的空出租车的数量，因此，空车到达率在不同时间段内是不同的，例如，处于8-9内的空出租车数量与同一路段的处于15-16内出租车数量是不同，因为前者是早高峰时期有更多的出租车；

路段上的空车到达率的公式为：

路口上的空车到达率的公式为：

其中，|t|是时间段的长度，在本发明中，取经验值为60min，表示t时间段内在一个路段到达的空车数量，表示t时间段内路口到达的空车数量。

在本发明实施例中，步骤S3中，所述乘客按照推荐路线可以等到出租车的总概率，即总回报值，由以下方式得到：

MDP是一个求最优解的模型，它会推荐一个总回报值最大的行动序列给活动者，它就是利用值函数来得到这个行动序列，值函数会得到某个行动序列的总回报值，这个总回报值是由每一个活动产生的单个回报值之间的线性组合得到的。

通过求解值函数来选择最优的推荐路线，第一个值函数是V_c(c)，它计算以路口(c)为开始路口的路口序列的总回报值，即在该路口序列上乘客可以等到空出租车的总概率；第二个值函数是V_r(r)，它计算以路段(r)为开始状态的推荐路线的总回报值，即在该等待路线上乘客可以等到空出租车的总概率；乘客附近可能有若干个路段，因此就会产生若干个推荐路线，本申请最终推给乘客的就是使得V_r(r)最大的推荐路线，因为起始点是路段，接下来介绍如何计算这两个值函数：

当一名乘客在路口(c)等待一辆空出租车时，会有两种情况发生：

1)他可以立即等到空车，没有后续的路口序列，因此，

2)否则，推荐他到某个相邻的路口(c_i)等待，但我们考虑的不仅仅只有c_i一个路口，而是以c_i为开始的路口序列，因此，

由以上分析可知，(其中，c_next是路口c的某个相邻路口)；

同理，(c是路段r的某个相邻路口)。

由此可见，我们的值函数是递归定义的，这也是我们算法要实现的核心功能。

下面结合具体实施例和附图对本发明进行进一步说明：

例如图4所示，假设乘客在L处发出打车请求，我们首先推荐他去5号路段上去等出租车，并告诉他等多久，如果超过这个时间他还是没有等到车，那么就推荐他继续到相邻的2号路口处等车，同时也告诉他等待的时间，如果在这个时间内，他还是没有等到出租车，那么推荐他继续去3号路口处等待，同时也告诉他应该等待的时间。那么，有可能他就在3号路口等一会就等到一辆空出租车了，这整个过程会比随机等待还有已存在的方法有更大概率等到车，总时间也会更少。

本发明专利得到湖南省重点研发计划(编号：2017GK2272)；国家自然科学基金(编号：61672221)和湖南省自然科学基金(编号：2018JJ3259)的经费资助。

Claims (8)

1.一种基于马尔科夫决策过程的乘客等出租车优化方法，其特征在于，包括以下步骤：

S1.推荐乘客去附近的一个路段(r_i)上等车，并给出在该位置建议等待的时间

S2.若乘客在第一个路段上在给出的等待时间内没有等到空出租车，就推荐乘客走到与该路段相连的路口(c₁)去等待，并给出建议等待的时间

S3.若乘客在步骤S2所述的路口(c₁)没有等到出租车，则继续推荐他走到相邻的路口(c₂)上继续等待，如此循环，直至乘客在某个路口(c_end)等到空出租车，结束推荐，计算乘客在一个路段或者路口等到空出租车的概率，得到乘客按照推荐路线可以等到出租车的总概率：

推荐给乘客的等车路线为：π＝{r_i→c₁→c₂→c₃→…→c_end}。

2.根据权利要求1所述的基于马尔科夫决策过程的乘客等出租车优化方法，其特征在于，通过设定行走距离阈值(ΔD)和等待时间阈值(ΔT)作为推荐算法的终止条件。

3.根据权利要求2所述的基于马尔科夫决策过程的乘客等出租车优化方法，其特征在于，所述行走距离阈值(ΔD)由以下方式得到：

推荐乘客到附近的一个路段上等车，之后就推荐乘客去相邻的路口上等车，假设乘客在路段的中间等车，行走距离阈值(ΔD)为路段长度的一半，以保证至少可以推荐一个路口给乘客。

4.根据权利要求2所述的基于马尔科夫决策过程的乘客等出租车优化方法，其特征在于，所述等待时间阈值(ΔT)由以下方式得到：

不同时间段的等待时间是不同的，选择累积概率到达50％处的时间点作为该时间段内统计的等待时间阈值(ΔT₁)，这样就保证在50％的路口上的等待时间会小于这个阈值；

同时，乘客在行走的过程中也可能遇到出租车，乘客所行走的时间(ΔT₀)也看作是等待时间的一部分，因此，在统计的等待时间阈值里面减去乘客行走所用的时间；

ΔT＝ΔT₁-ΔT₀＝ΔT₁-ΔD/V₀ (1)

其中，V₀为乘客的行走速度，单位为m/s。

5.根据权利要求1所述的基于马尔科夫决策过程的乘客等出租车优化方法，其特征在于，步骤S1中，路段上的等待时间由以下方式得到：

采用非齐次泊松过程(NHPP)来模拟出租车到达的行为，取NHPP的参数为λ_(t)＝tP，t表示某个时间段，P为对应时间段的空车到达率，它是随不同的时间段而变化的，可以得到事件发生次数的NHPP分布律为：

N_(t)表示t时间段内到达的空车数量，k表示t时间段内有k辆空车到达；

空出租车的等待时间T在t范围内的概率为：

P{T<＝t}＝1-P{T>t}

＝1-P{N_(t)＝0}(因为T>t，所以N_(t)＝0)

＝1-e^-(tP)

＝F(t)(即为T的概率分布函数)

求导可以得到概率密度函数：

所以可以求出t的均值：

因此，在t时间段内，在路段上的等待时间为：

6.根据权利要求1所述的基于马尔科夫决策过程的乘客等出租车优化方法，其特征在于，步骤S2中，在路口的等待时间：

7.根据权利要求1所述的基于马尔科夫决策过程的乘客等出租车优化方法，其特征在于，步骤S3中，所述乘客等到空出租车的概率，即空车到达率，空车到达率在不同时间段内是不同的，对应到马尔科夫决策过程模型中，也就是乘客转移到该位置的回报值，空车到达率从数学角度就是单位时间内一个路段或者路口上的空出租车的数量；

路段上的空车到达率的公式为：

路口上的空车到达率的公式为：

其中，|t|是时间段的长度，在本发明中，取经验值为60min，表示t时间段内在一个路段到达的空车数量，表示t时间段内路口到达的空车数量。

8.根据权利要求1所述的基于马尔科夫决策过程的乘客等出租车优化方法，其特征在于，步骤S3中，所述乘客按照推荐路线可以等到出租车的总概率，由以下方式得到：

通过求解值函数来选择最优的推荐路线，第一个值函数是V_c(c)，它计算以路口(c)为开始路口的路口序列的总回报值，即在该路口序列上乘客可以等到空出租车的总概率；第二个值函数是V_r(r)，它计算以路段(r)为开始状态的推荐路线的总回报值，即在该等待路线上乘客可以等到空出租车的总概率；乘客附近可能有若干个路段，因此就会产生若干个推荐路线，本申请最终推给乘客的就是使得V_r(r)最大的推荐路线，因为起始点是路段，接下来介绍如何计算这两个值函数：

当一名乘客在路口(c)等待一辆空出租车时，会有两种情况发生：

1)他可以立即等到空车，没有后续的路口序列，因此，

2)否则，推荐他到某个相邻的路口(c_i)等待，但我们考虑的不仅仅只有c_i一个路口，而是以c_i为开始的路口序列，因此，

由以上分析可知，(其中，c_next是路口c的某个相邻路口)；

同理，(c是路段r的某个相邻路口)。