CN114119159B - 一种网约车实时订单匹配和空闲车辆调度方法及系统 - Google Patents
一种网约车实时订单匹配和空闲车辆调度方法及系统 Download PDFInfo
- Publication number
- CN114119159B CN114119159B CN202111433060.9A CN202111433060A CN114119159B CN 114119159 B CN114119159 B CN 114119159B CN 202111433060 A CN202111433060 A CN 202111433060A CN 114119159 B CN114119159 B CN 114119159B
- Authority
- CN
- China
- Prior art keywords
- vehicle
- order
- state
- value
- matching
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 230000008901 benefit Effects 0.000 claims abstract description 37
- 230000009471 action Effects 0.000 claims description 56
- 230000007704 transition Effects 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 5
- 230000001186 cumulative effect Effects 0.000 claims description 5
- SLXKOJJOQWFEFD-UHFFFAOYSA-N 6-aminohexanoic acid Chemical compound NCCCCCC(O)=O SLXKOJJOQWFEFD-UHFFFAOYSA-N 0.000 claims description 4
- 230000003068 static effect Effects 0.000 claims description 4
- 230000007774 longterm Effects 0.000 abstract description 12
- 230000009286 beneficial effect Effects 0.000 abstract 1
- 238000011161 development Methods 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
- G06Q30/0633—Lists, e.g. purchase orders, compilation or processing
- G06Q30/0635—Processing of requisition or of purchase orders
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0645—Rental transactions; Leasing transactions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/40—Business processes related to the transportation industry
Landscapes
- Business, Economics & Management (AREA)
- Engineering & Computer Science (AREA)
- Strategic Management (AREA)
- Accounting & Taxation (AREA)
- Human Resources & Organizations (AREA)
- Economics (AREA)
- Marketing (AREA)
- Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Finance (AREA)
- Development Economics (AREA)
- Tourism & Hospitality (AREA)
- Entrepreneurship & Innovation (AREA)
- Game Theory and Decision Science (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Educational Administration (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种网约车实时订单匹配和空闲车辆调度方法及系统,首先将网约车实时订单匹配和空闲车辆调度建模成马尔可夫决策过程,使用基于动态规划的值迭代算法进行车辆价值函数评估,然后基于价值函数进行实时订单匹配与空闲车辆调度,最后通知获得匹配的车辆完成相应的订单以及未获得匹配的空闲车辆行驶到相应的区域。本发明不仅考虑了当前的订单和车辆状态,还考虑了车辆和订单完成匹配后的状态价值变化,从而最大化长期的社会福利。同时,本发明实现了对空闲车辆的有效利用,提高了平台的服务率,有利于网约车平台长期稳定运营。
Description
技术领域
本发明属于网约车对象匹配及调度技术领域,涉及一种网约车实时订单匹配和空闲车辆调度的方法及系统,具体涉及一种基于价值函数进行网约车实时订单匹配和空闲车辆调度的方法及系统。
技术背景
随着互联网经济以及移动智能设备的不断发展,人们生活水平的提高,各种网约车平台纷纷涌现,网约车已成为大众出行的主要选择方式。网约车平台通过使用移动互联网技术将潜在的出行需求与司机联系起来,从而可以更有效地利用空闲的车辆,满足人们不断增长的出行需求。网约车提供的出行服务显著降低了车辆搜索乘客的时间和乘客的等待时间。
典型的网约车打车服务通常遵循以下过程:乘客在任意时间任意地点发起乘车订单请求,其中包含起始点、终点等信息。网约车平台收集乘客订单请求的信息,决定如何将订单与附近的空闲车辆进行匹配,同时决定乘客应该支付的金额。乘客接受平台制定的价格,则完成叫车过程,等待车辆后续的接送服务。订单匹配旨在找到车辆和订单之间的最佳匹配,这对于网约车打车服务至关重要。但是,现如今网约车打车服务中的订单匹配问题的研究没有考虑到平台和乘客的长期整体收益,即长期社会福利,同时,在当前轮次没有获得匹配的车辆在路网上长期的随机行驶不利于也后续的订单匹配,从而影响网约车平台的长期稳定运营和乘客是否愿意继续选择平台提供的出行服务。
发明内容
为了解决上述技术问题,本发明提供了一种能最大化长期社会福利的,基于价值函数进行网约车实时订单匹配和空闲车辆调度的方法及系统。
本发明的方法所采用的技术方案是:一种网约车实时订单匹配和空闲车辆调度方法,包括以下步骤:
步骤1:收集乘客提交的网约车实时订单和网约车司机的相关信息;
步骤2:基于历史的订单数据获取车辆的在不同时空状态下的价值;
具体包括以下子步骤:
步骤2.1:将实时订单匹配和空闲车辆调度过程建模为马尔可夫决策过程MDP,每一个轮次的决策对应为匹配订单、静止和车辆调度;
每台车辆视作独立的智能体,对状态S、动作A及奖励值r属性进行定义:
每台车辆的状态S定义为一个三元组,s=(t,g,c)∈S,其中t∈T为时间序号,g∈G为车辆所在的区域序号,c为车辆单位行驶成本,体现车辆类型的差异,其中S表示所有车辆的状态集合,T表示所有的时间序号集合,G表示所有车辆的区域序号集合;
动作a∈A={a1,a2,a3},实时订单匹配和空闲车辆调度中主要包含三种类型的动作;第一种类型的动作a1是给车辆分配一个订单,在这种情况下车辆将会前往乘客发起订单的起始点接乘客,然后将乘客送到终点;第二种类型的动作a2是静止,在这种情况下车辆将在一个区域静止一段时间;第三种类型的动作a3是调度空闲车辆去临近区域;
使用奖励值r表示乘客和平台整体的收益之和,即社会福利;车辆的动作为静止时奖励为0,车辆的动作为调度时奖励为负;奖励值r计算公式如下:
r=po-CΘ(o);
其中po表示订单o的支付金额,CΘ(o)表示车辆Θ(o)完成订单o所需要的成本;持续T个轮次的订单o,能提供R的社会福利,累计奖励值Rγ计算公式如下:
其中γ为折扣因子,用来控制MDP对未来的展望程度;rt表示第t个轮次的奖励值;
步骤2.2:收集历史出行数据构建历史状态转移元组;
历史状态转移元组D={(si,ai,ri,si′)},表示智能体在si状态下执行动作ai获得即时奖励值ri并转移到下一个状态si′;
步骤2.3:初始化车辆状态价值函数V(s),对于每个车辆状态价值,将其赋值为0;
车辆状态价值函数显示了车辆在当前时空状态下未来可能产生的潜在社会福利;
步骤2.4:使用基于动态规划的值迭代算法反向递推计算每个状态下的价值V(si),从而更新得到最终的状态价值函数V(s);
步骤3:根据待匹配的订单集合车辆集合/>和步骤2中得到的车辆状态价值函数进行实时订单匹配和空闲车辆调度;
步骤4:通知获得匹配的车辆完成相应的订单;
步骤5:通知未获得匹配的空闲车辆行驶到相应的区域。
本发明的系统所采用的技术方案是:一种网约车实时订单匹配和空闲车辆调度系统,包括以下模块:
模块1,用于收集乘客提交的网约车实时订单和网约车司机的相关信息;
模块2,用于基于历史的订单数据获取车辆的在不同时空状态下的价值;
具体包括以下子模块:
模块2.1,用于将实时订单匹配和空闲车辆调度过程建模为马尔可夫决策过程MDP,每一个轮次的决策对应为匹配订单、静止和车辆调度;
每台车辆视作独立的智能体,对状态S、动作A及奖励值r属性进行定义:
每台车辆的状态S定义为一个三元组,s=(t,g,c)∈S,其中t∈T为时间序号,g∈G为车辆所在的区域序号,c为车辆单位行驶成本,体现车辆类型的差异,其中S表示所有车辆的状态集合,T表示所有的时间序号集合,G表示所有车辆的区域序号集合;
动作a∈A={a1,a2,a3},实时订单匹配和空闲车辆调度中主要包含三种类型的动作;第一种类型的动作a1是给车辆分配一个订单,在这种情况下车辆将会前往乘客发起订单的起始点接乘客,然后将乘客送到终点;第二种类型的动作a2是静止,在这种情况下车辆将在一个区域静止一段时间;第三种类型的动作a3是调度空闲车辆去临近区域;
使用奖励值r表示乘客和平台整体的收益之和,即社会福利;车辆的动作为静止时奖励为0,车辆的动作为调度时奖励为负;奖励值r计算公式如下:
r=po-CΘ(o);
其中po表示订单o的支付金额,CΘ(o)表示车辆Θ(o)完成订单o所需要的成本;持续T个轮次的订单o,能提供R的社会福利,累计奖励值Rγ计算公式如下:
其中γ为折扣因子,用来控制MDP对未来的展望程度;rt表示第t个轮次的奖励值;
模块2.2,用于收集历史出行数据构建历史状态转移元组;
历史状态转移元组D={(si,ai,ri,si′)},表示智能体在si状态下执行动作ai获得即时奖励值ri并转移到下一个状态si′;
模块2.3,用于初始化车辆状态价值函数V(s),对于每个车辆状态价值,将其赋值为0;
车辆状态价值函数显示了车辆在当前时空状态下未来可能产生的潜在社会福利;
模块2.4,用于使用基于动态规划的值迭代算法反向递推计算每个状态下的价值V(si),从而更新得到最终的状态价值函数V(s);
模块3,用于根据待匹配的订单集合车辆集合/>和模块2中得到的车辆状态价值函数进行实时订单匹配和空闲车辆调度;
模块4:用于通知获得匹配的车辆完成相应的订单;
模块5:用于通知未获得匹配的空闲车辆行驶到相应的区域。
本发明定义车辆价值函数,基于此设计实时订单匹配和空闲车辆调度方法,针对网约车司机和乘客提交的实时订单实现了一对一匹配,同时考虑到未被匹配到订单的网约车司机在路网上随机行驶可能会对后续决策产生影响,给未被匹配到订单的网约车司机也安排了合理的路线。
在过去的网约车订单匹配方法中,或是使用基于轮次的订单匹配算法将车辆和订单进行匹配,虽然能最大化每个轮次平台的期望收益,但是忽略了网约车平台与乘客的整体收益和长期社会福利;或对于本轮次未匹配到订单的网约车采用随机行驶的策略,忽略了对后续订单匹配等问题的影响。而本发明使用基于车辆价值函数进行实时订单匹配和空闲车辆调度,实现了对空闲车辆的有效利用,提高了平台的服务率,并且在保证了乘客长期收益的同时,也给平台带来了较高的收益,实现长期社会福利最大化。
附图说明
图1为本发明实施例的方法流程图;
图2为本发明实施例的订单匹配和空闲车辆调度流程图。
具体实施方式
为了便于本领域普通技术人员理解和实施本发明,下面结合附图及实施例对本发明作进一步的详细描述,应当理解,此处所描述的实施示例仅用于说明和解释本发明,并不用于限定本发明。
本发明的主要目的在于提供一种基于价值函数的网约车实时订单匹配方法和空闲车辆调度策略,实现对空闲车辆的有效利用,提高平台的服务率,同时保证平台的长期稳定运营,实现长期社会福利最大化。
请见图1,本发明提供的一种基于价值函数进行网约车实时订单匹配和空闲车辆调度方法,其特征在于,包括以下步骤:
步骤1:收集乘客提交的网约车实时订单和网约车司机的相关信息;
步骤2:基于历史的订单数据获取车辆的在不同时空状态下的价值;
具体实现包含以下子步骤:
步骤2.1:将实时订单匹配和空闲车辆调度过程建模为马尔可夫决策过程(MarkovDecision Process,MDP),每一个轮次的决策对应为匹配订单、静止和车辆调度;
步骤2.2:收集历史出行数据构建历史状态转移元组;
步骤2.3:初始化车辆状态价值函数V(s),对于每个车辆状态价值,将其赋值为0;
车辆状态价值函数显示了车辆在当前时空状态下未来可能产生的潜在社会福利
步骤2.4:使用基于动态规划的值迭代算法反向递推计算每个状态下的价值V(si),从而更新得到最终的状态价值函数V(s);
本发明将每个车辆视作独立的智能体,下面对MDP中的属性进行详细的定义。
状态(State):每一个车辆的状态定义为一个三元组,s=(t,g,c)∈S,其中为时间序号,g∈G为车辆所在的区域序号,c为车辆单位行驶成本,体现了车辆类型的差异,其中S表示所有车辆的状态集合,T表示所有的时间序号集合,G表示所有车辆的区域序号集合。
动作(Action):本发明探讨的实时订单匹配和空闲车辆调度问题中主要包含三种类型的动作A={a1,a2,a3}。第一种类型的动作是给车辆分配一个订单。在这种情况下车辆将会前往乘客发起订单的起始点接乘客,然后将乘客送到终点。第二种类型的动作是静止。在这种情况下车辆将在一个区域静止一段时间。第三种类型的动作是调度空闲车辆去临近区域。平台会调度空闲车辆去往邻近区域,使得空闲车辆能够尽快获取订单。值得注意的是,车辆调度的动作被视作虚假的订单。
奖励(Reward):本发明定义奖励值r为乘客和平台整体的收益之和,即社会福利。值得注意的是,车辆的动作为静止时奖励为0,车辆的动作为调度时奖励为负(车辆的行驶成本)。奖励值r计算公式如下:
r=po-CΘ(o) (1)
其中po表示订单o的支付金额,CΘ(o)表示车辆Θ(o)完成订单o所需要的成本。进一步可以得出一个持续T个轮次的订单o,能提供R的社会福利,累计奖励值Rγ计算公式如下:
其中γ为折扣因子,用来控制MDP对未来的展望程度;rt表示第t个轮次的奖励值;
通过一个例子来进一步解释上述累计奖励值计算公式。假设一个司机在A地获得一个订单o,订单的起始点为B地,终点为C地。订单o的支付po=16,预计需要3分钟完成整个行程。假设每个轮次之间的时间间隔为1分钟,折扣因子γ=0.9。假设车辆的初始状态s=(0,A,1),完成A→B→C整个行程里程为4个单位长度,则完成整个行程后车辆的状态s′=(3,C,1)。根据公式(2)得出累计奖励值
平台收集历史出行数据构建历史状态转移元组D={(si,ai,ri,si′)},表示智能体在si状态下执行动作ai获得即时奖励值ri并转移到下一个状态si′。
当智能体执行的动作是匹配订单时,智能体获得即时奖励Rγ并进行状态转移,TD更新规则为:
V(s)=V(s)+α[Rγ+γV(s′)-V(s)] (3)
其中s=(t,g,c)表示当前时刻车辆的状态,表示完成匹配订单后车辆的状态,/>表示订单的目的地,Δt1表示从t时刻出发接到乘客并送达乘客到目的地/>需要的时间。V(s)表示当前时刻车辆的状态价值,α表示对价值估计更新的步长,γ表示折扣因子,V(s′)代表完成匹配订单后车辆的状态价值;
当智能体执行动作为静止时,智能体的即时奖励为0,TD(时序差分算法,Temporal-Difference)更新规则为:
V(s)=V(s)+α[0+γV(s″)-V(s)] (4)
由于智能体执行了静止动作,智能体的位置没有发生改变,即s″=(t+1,g,c);
当智能体执行的动作为空闲车辆调度时,构造一个虚拟的订单,订单的支付为0,订单的起始点为g,订单的目的地为g的某一个邻近区域。TD更新规则为:
V(s)=V(s)+α[Rγ′+γV(s″′)-V(s)] (5)
其中Rγ′表示累计收益,用公式(2)进行计算,对应订单的支付为0。s″′=(t+Δt2,g′,c)表示车辆完成调度后的状态,g′∈gnear表示g的一个邻近区域。
步骤3:根据待匹配的订单集合车辆集合/>和步骤2中得到的车辆状态价值函数进行实时订单匹配和空闲车辆调度;
具体地,将订单匹配和空闲车辆调度问题转化为一个二部图最大权匹配问题,在每一个轮次t,订单集合Ot和车辆集合Vt为二部图的两个不相交顶点集合,采用匈牙利算法求解此二部图最大权匹配问题得到订单集合与车辆集合的最优匹配即为所述订单匹配原则;对于每个空闲的车辆v,平台虚构了若干个从车辆v当前位置去往其邻近区域g∈gnear的订单o′,同订单匹配问题一样,它也被插入到二部图中,所述的空闲车辆调度原则也包括在求解二部图最大权匹配问题得到的最优匹配中。
本实施例的输入信息包括订单集合,车辆集合和车辆状态价值函数。
请见图2,具体实现包含以下子步骤:
步骤3.1:获得匹配的订单集合OW,匹配结果Θ,社会福利SW和获得匹配订单的支付价格P,令订单集合OW,匹配结果Θ,支付价格P都为空集,令社会福利SW为0;
步骤3.2:初始化每一轮次的订单集合和车辆集合/>订单集合/>中插入当前轮次乘客提交的订单和之前轮次未匹配且还未被取消的订单,车辆集合/>中插入当前轮次没有正在服务订单的车辆,即空闲车辆;
步骤3.3:根据订单集合、车辆集合和车辆价值函数初始化二部图,在每一个轮次t,订单集合Ot和车辆集合Vt为二部图的两个不相交顶点集合。每条边<o,v>表示车辆v能够在订单o的最大等待时间内接到订单o对应的乘客,每条边的权值被初始化为0;(本实施例将订单匹配与空闲车辆调度问题建模成二部图最大权匹配问题,最后要求解此二部图得到订单匹配原则和空闲车辆调度原则);
步骤3.4:对于每个订单车辆对<o,v>计算车辆v完成订单o造成的车辆状态价值的差值ΔV,并将其作为二部图的边的权重;
本实施例中,每条边<o,v>上的权重为车辆v完成订单o之后状态价值的差值ΔV,计算公式如下:
其中s表示车辆v和订单o匹配时的状态,s′表示车辆v将订单o对应乘客送到目的地时的状态,Δto,v表示车辆v完成这趟行程需要的时间,Rγ为累计奖励值;订单集合Ot包含当前轮次乘客提交的订单和之前轮次未匹配且还未被取消的订单,乘客在提交订单o后若没有在最大等待时间之前被车辆接到,乘客会取消订单;车辆集合Vt包括当前轮次没有正在服务订单的车辆,即空闲车辆。
步骤3.5:若差值大于零,将订单车辆对被插入二部图中;
本实施例中,对于每个空闲的车辆v,虚构了若干个从车辆v当前位置去往其邻近区域g∈gnear的订单o′,同订单匹配时一样计算其对应状态价值的差值ΔV′,并插入到二部图中。
步骤3.6:对二部图进行求解得到订单集合和车辆集合的最优匹配结果,即得到订单匹配原则和空闲车辆调度原则;
步骤3.7:计算当前轮次的社会福利;
步骤3.8:记录当前轮次的结果;
步骤3.9:更新获得订单车辆的行程,并从订单集合剔除已获得匹配的订单集合。
由于每一个轮次的订单匹配和空闲车辆调度都是“一对一”的形式,本实施例将订单匹配和空闲车辆调度问题转化为一个二部图最大权匹配问题。在每一个轮次t,订单集合Ot和车辆集合Vt为二部图的两个不相交顶点集合。每条边<o,v>表示车辆v能够在订单o的最大等待时间内接到订单o对应的乘客。每条边<o,v>上的权重为车辆v完成订单o之后状态价值的差值ΔV,计算公式如下:
其中s表示车辆v和订单o匹配时的状态,s′表示车辆v将订单o对应乘客送到目的地时的状态,Δto,v表示车辆v完成这趟行程需要的时间,Rγ为累计奖励。订单集合Ot包含当前轮次乘客提交的订单和之前轮次未匹配且还未被取消的订单(假设乘客在提交订单o后若没有在最大等待时间之前被车辆接到,乘客会取消订单)。车辆集合Vt包括当前轮次没有正在服务订单的车辆,即空闲车辆。
构建二部图时,首先根据订单集合和车辆集合初始化二部图,对于每个订单车辆对<o,v>计算车辆v完成订单o造成的车辆状态价值的差值ΔV,并将其作为二部图的边的权重。值得注意的是,只有ΔV>0的订单车辆对<o,v>被插入二部图中,同时如果车辆v不能在订单o的最大等待时间之内接到订单o对应的乘客,那么其对应ΔV=0。对于每个空闲的车辆v,本发明虚构了若干个从车辆v当前位置去往其邻近区域g∈gnear的订单o′。同订单匹配时一样计算其对应状态价值的差值ΔV′,并插入到二部图中,并使用匈牙利算法对二部图进行求解。
步骤4:通知获得匹配的车辆完成相应的订单;
步骤5:通知未获得匹配的空闲车辆行驶到相应的区域。
应当理解的是,本说明书未详细阐述的部分均属于现有技术。
应当理解的是,上述针对较佳实施例的描述较为详细,并不能因此而认为是对本发明专利保护范围的限制,本领域的普通技术人员在本发明的启示下,在不脱离本发明权利要求所保护的范围情况下,还可以做出替换或变形,均落入本发明的保护范围之内,本发明的请求保护范围应以所附权利要求为准。
Claims (5)
1.一种网约车实时订单匹配和空闲车辆调度方法,其特征在于,包括以下步骤:
步骤1:收集乘客提交的网约车实时订单和网约车司机的相关信息;
步骤2:基于历史的订单数据获取车辆的在不同时空状态下的价值;
具体包括以下子步骤:
步骤2.1:将实时订单匹配和空闲车辆调度过程建模为马尔可夫决策过程MDP,每一个轮次的决策对应为匹配订单、静止和车辆调度;
每台车辆视作独立的智能体,对状态S、动作A及奖励值r属性进行定义:
每台车辆的状态S定义为一个三元组,s=(t,g,c)∈S,其中t∈T为时间序号,g∈G为车辆所在的区域序号,c为车辆单位行驶成本,体现车辆类型的差异,其中S表示所有车辆的状态集合,T表示所有的时间序号集合,G表示所有车辆的区域序号集合;
动作a∈A={a1,a2,a3},实时订单匹配和空闲车辆调度中主要包含三种类型的动作;第一种类型的动作a1是给车辆分配一个订单,在这种情况下车辆将会前往乘客发起订单的起始点接乘客,然后将乘客送到终点;第二种类型的动作a2是静止,在这种情况下车辆将在一个区域静止一段时间;第三种类型的动作a3是调度空闲车辆去临近区域;
使用奖励值r表示乘客和平台整体的收益之和,即社会福利;车辆的动作为静止时奖励为0,车辆的动作为调度时奖励为负;奖励值r计算公式如下:
r=po-CΘ(o);
其中po表示订单o的支付金额,CΘ(o)表示车辆Θ(o)完成订单o所需要的成本;持续T个轮次的订单o,能提供R的社会福利,累计奖励值Rγ计算公式如下:
其中γ为折扣因子,用来控制MDP对未来的展望程度;rt表示第t个轮次的奖励值;
步骤2.2:收集历史出行数据构建历史状态转移元组;
历史状态转移元组D={(si,ai,ri,si′)},表示智能体在si状态下执行动作ai获得即时奖励值ri并转移到下一个状态si′;
步骤2.3:初始化车辆状态价值函数V(s),对于每个车辆状态价值,将其赋值为0;
车辆状态价值函数显示了车辆在当前时空状态下未来可能产生的潜在社会福利;
步骤2.4:使用基于动态规划的值迭代算法反向递推计算每个状态下的价值V(si),从而更新得到最终的状态价值函数V(s);
其中,当智能体执行的动作是匹配订单时,智能体获得即时奖励值Rγ并进行状态转移,TD更新规则为:
V(s)=V(s)+α[Rγ+γV(s′)-V(s)];
其中,s=(t,g,c)表示当前时刻车辆的状态,表示完成匹配订单后车辆的状态,/>表示订单的目的地,Δt1表示从t时刻出发接到乘客并送达乘客到目的地需要的时间;V(s)表示当前时刻车辆的状态价值,α表示对价值估计更新的步长,γ表示折扣因子,V(s′)表示完成匹配订单后车辆的状态价值;
当智能体执行动作为静止时,智能体的即时奖励值为0,TD更新规则为:
V(s)=V(s)+α[0+γV(s″)-V(s)];
由于智能体执行了静止动作,智能体的位置没有发生改变,即s″=(t+1,g,c);
当智能体执行的动作为空闲车辆调度时,会构造一个虚拟的订单,订单的支付为0,订单的起始点为g,订单的目的地为g的某一个邻近区域;TD更新规则为:
V(s)=V(s)+α[Rγ′+γV(s″′)-V(s)];
其中Rγ′表示累计奖励值,对应订单的支付为0;s″′=(t+Δt2,g′,c)表示车辆完成调度后的状态,g′∈gnear表示g的一个邻近区域;
步骤3:根据待匹配的订单集合车辆集合/>和步骤2中得到的车辆状态价值函数进行实时订单匹配和空闲车辆调度;
步骤4:通知获得匹配的车辆完成相应的订单;
步骤5:通知未获得匹配的空闲车辆行驶到相应的区域。
2.根据权利要求1所述的网约车实时订单匹配和空闲车辆调度方法,其特征在于,步骤3的具体实现包括以下子步骤:
步骤3.1:初始化获得匹配的订单集合OW,匹配结果Θ,社会福利SW和获得匹配订单的支付价格P,令订单集合OW,匹配结果Θ,支付价格P都为空集,令社会福利SW为0;
步骤3.2:初始化每一轮次的订单集合和车辆集合/>订单集合/>中插入当前轮次乘客提交的订单和之前轮次未匹配且还未被取消的订单,车辆集合/>中插入当前轮次没有正在服务订单的车辆,即空闲车辆;
步骤3.3:根据订单集合、车辆集合和车辆价值函数初始化二部图,在每一个轮次t,订单集合Ot和车辆集合Vt为二部图的两个不相交顶点集合;每条边<o,v>表示车辆v能够在订单o的最大等待时间内接到订单o对应的乘客,每条边的权值被初始化为0;
步骤3.4:对于每个订单车辆对<o,v>计算车辆v完成订单o造成的车辆状态价值的差值ΔV,并将其作为二部图的边的权重;
步骤3.5:若差值大于零,将订单车辆对插入二部图中;
步骤3.6:利用匈牙利算法对构建好的二部图进行求解,得到订单集合和车辆集合的最优匹配结果,即得到订单匹配原则和空闲车辆调度原则;
步骤3.7:计算当前轮次的社会福利;
步骤3.8:记录当前轮次的结果;
步骤3.9:更新获得订单车辆的行程,并从订单集合剔除已获得匹配的订单集合。
3.根据权利要求2所述的网约车实时订单匹配和空闲车辆调度方法,其特征在于,步骤3.4中,每条边<o,v>上的权重为车辆v完成订单o之后状态价值的差值ΔV,计算公式如下:
其中s表示车辆v和订单o匹配时的状态,s′表示车辆v将订单o对应乘客送到目的地时的状态,Δto,v表示车辆v完成这趟行程需要的时间,Rγ为累计奖励值;订单集合Ot包含当前轮次乘客提交的订单和之前轮次未匹配且还未被取消的订单,乘客在提交订单o后若没有在最大等待时间之前被车辆接到,乘客会取消订单;车辆集合Vt包括当前轮次没有正在服务订单的车辆,即空闲车辆。
4.根据权利要求2所述的网约车实时订单匹配和空闲车辆调度方法,其特征在于,步骤3.5中,对于每个空闲的车辆v,虚构了若干个从车辆v当前位置去往其邻近区域g∈gnear的订单o′,同订单匹配时一样计算其对应状态价值的差值ΔV′,并插入到二部图中。
5.一种网约车实时订单匹配和空闲车辆调度系统,其特征在于,包括以下模块:
模块1,用于收集乘客提交的网约车实时订单和网约车司机的相关信息;
模块2,用于基于历史的订单数据获取车辆的在不同时空状态下的价值;
具体包括以下子模块:
模块2.1,用于将实时订单匹配和空闲车辆调度过程建模为马尔可夫决策过程MDP,每一个轮次的决策对应为匹配订单、静止和车辆调度;
每台车辆视作独立的智能体,对状态S、动作A及奖励值r属性进行定义:
每台车辆的状态S定义为一个三元组,s=(t,g,c)∈S,其中t∈T为时间序号,g∈G为车辆所在的区域序号,c为车辆单位行驶成本,体现车辆类型的差异,其中S表示所有车辆的状态集合,T表示所有的时间序号集合,G表示所有车辆的区域序号集合;
动作a∈A={a1,a2,a3},实时订单匹配和空闲车辆调度中主要包含三种类型的动作;第一种类型的动作a1是给车辆分配一个订单,在这种情况下车辆将会前往乘客发起订单的起始点接乘客,然后将乘客送到终点;第二种类型的动作a2是静止,在这种情况下车辆将在一个区域静止一段时间;第三种类型的动作a3是调度空闲车辆去临近区域;
使用奖励值r表示乘客和平台整体的收益之和,即社会福利;车辆的动作为静止时奖励为0,车辆的动作为调度时奖励为负;奖励值r计算公式如下:
r=po-CΘ(o);
其中po表示订单o的支付金额,CΘ(o)表示车辆Θ(o)完成订单o所需要的成本;持续T个轮次的订单o,能提供R的社会福利,累计奖励值Rγ计算公式如下:
其中γ为折扣因子,用来控制MDP对未来的展望程度;rt表示第t个轮次的奖励值;
模块2.2,用于收集历史出行数据构建历史状态转移元组;
历史状态转移元组D={(si,ai,ri,si′)},表示智能体在si状态下执行动作ai获得即时奖励值ri并转移到下一个状态si′;
模块2.3,用于初始化车辆状态价值函数V(s),对于每个车辆状态价值,将其赋值为0;
车辆状态价值函数显示了车辆在当前时空状态下未来可能产生的潜在社会福利;
模块2.4,用于使用基于动态规划的值迭代算法反向递推计算每个状态下的价值V(si),从而更新得到最终的状态价值函数V(s);
其中,当智能体执行的动作是匹配订单时,智能体获得即时奖励值Rγ并进行状态转移,TD更新规则为:
V(s)=V(s)+α[Rγ+γV(s′)-V(s)];
其中,s=(t,g,c)表示当前时刻车辆的状态,表示完成匹配订单后车辆的状态,/>表示订单的目的地,Δt1表示从t时刻出发接到乘客并送达乘客到目的地需要的时间;V(s)表示当前时刻车辆的状态价值,α表示对价值估计更新的步长,γ表示折扣因子,V(s′)表示完成匹配订单后车辆的状态价值;
当智能体执行动作为静止时,智能体的即时奖励值为0,TD更新规则为:
V(s)=V(s)+α[0+γV(s″)-V(s)];
由于智能体执行了静止动作,智能体的位置没有发生改变,即s″=(t+1,g,c);
当智能体执行的动作为空闲车辆调度时,会构造一个虚拟的订单,订单的支付为0,订单的起始点为g,订单的目的地为g的某一个邻近区域;TD更新规则为:
V(s)=V(s)+α[Rγ′+γV(s″′)-V(s)];
其中Rγ′表示累计奖励值,对应订单的支付为0;s″′=(t+Δt2,g′,c)表示车辆完成调度后的状态,g′∈gnear表示g的一个邻近区域;
模块3,用于根据待匹配的订单集合车辆集合/>和模块2中得到的车辆状态价值函数进行实时订单匹配和空闲车辆调度;
模块4:用于通知获得匹配的车辆完成相应的订单;
模块5:用于通知未获得匹配的空闲车辆行驶到相应的区域。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111433060.9A CN114119159B (zh) | 2021-11-29 | 2021-11-29 | 一种网约车实时订单匹配和空闲车辆调度方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111433060.9A CN114119159B (zh) | 2021-11-29 | 2021-11-29 | 一种网约车实时订单匹配和空闲车辆调度方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114119159A CN114119159A (zh) | 2022-03-01 |
CN114119159B true CN114119159B (zh) | 2024-05-28 |
Family
ID=80371351
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111433060.9A Active CN114119159B (zh) | 2021-11-29 | 2021-11-29 | 一种网约车实时订单匹配和空闲车辆调度方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114119159B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114331645B (zh) * | 2022-03-14 | 2022-08-05 | 广州宸祺出行科技有限公司 | 一种提升网约车的运力利用率的方法及系统 |
CN114613710B (zh) * | 2022-05-11 | 2022-07-26 | 弥费实业(上海)有限公司 | 基于完工时间的提前派车方法、系统及计算机设备 |
CN115222251B (zh) * | 2022-07-19 | 2023-06-02 | 华东交通大学 | 一种基于混合分层强化学习的网约车调度方法 |
CN115841344A (zh) * | 2023-01-28 | 2023-03-24 | 北京白龙马云行科技有限公司 | 打车热点区域引导网约车方法、系统、设备和存储介质 |
CN116453323B (zh) * | 2023-04-11 | 2024-05-28 | 湖南大学 | 基于多车型和空车再平衡的出租车调度方法及调度系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107590722A (zh) * | 2017-09-15 | 2018-01-16 | 中国科学技术大学苏州研究院 | 基于反向拍卖的移动打车服务系统的订单分配方法 |
WO2021016989A1 (en) * | 2019-08-01 | 2021-02-04 | Beijing Didi Infinity Technology And Development Co., Ltd. | Hierarchical coarse-coded spatiotemporal embedding for value function evaluation in online multidriver order dispatching |
CN112396238A (zh) * | 2020-11-24 | 2021-02-23 | 华中科技大学 | 一种热电联合系统实时优化调度方法 |
WO2021031637A1 (zh) * | 2019-08-20 | 2021-02-25 | 南京领行科技股份有限公司 | 一种基于空闲行程车辆的预约出行订单的派单方法和装置 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11514543B2 (en) * | 2018-06-05 | 2022-11-29 | Beijing Didi Infinity Technology And Development Co., Ltd. | System and method for ride order dispatching |
US11455578B2 (en) * | 2018-09-04 | 2022-09-27 | Beijing Didi Infinity Technology And Development Co., Ltd. | System and method for ride order dispatching and vehicle repositioning |
US11138888B2 (en) * | 2018-12-13 | 2021-10-05 | Beijing Didi Infinity Technology And Development Co., Ltd. | System and method for ride order dispatching |
US11631333B2 (en) * | 2019-02-26 | 2023-04-18 | Beijing Didi Infinity Technology And Development Co., Ltd. | Multi-agent reinforcement learning for order-dispatching via order-vehicle distribution matching |
-
2021
- 2021-11-29 CN CN202111433060.9A patent/CN114119159B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107590722A (zh) * | 2017-09-15 | 2018-01-16 | 中国科学技术大学苏州研究院 | 基于反向拍卖的移动打车服务系统的订单分配方法 |
WO2021016989A1 (en) * | 2019-08-01 | 2021-02-04 | Beijing Didi Infinity Technology And Development Co., Ltd. | Hierarchical coarse-coded spatiotemporal embedding for value function evaluation in online multidriver order dispatching |
WO2021031637A1 (zh) * | 2019-08-20 | 2021-02-25 | 南京领行科技股份有限公司 | 一种基于空闲行程车辆的预约出行订单的派单方法和装置 |
CN112396238A (zh) * | 2020-11-24 | 2021-02-23 | 华中科技大学 | 一种热电联合系统实时优化调度方法 |
Non-Patent Citations (1)
Title |
---|
网约车订单匹配和定价策略研究;罗逸恺;工程科技Ⅱ辑;20230228(第02期);C034-1700 * |
Also Published As
Publication number | Publication date |
---|---|
CN114119159A (zh) | 2022-03-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114119159B (zh) | 一种网约车实时订单匹配和空闲车辆调度方法及系统 | |
CN110110871B (zh) | 一种订单分配的方法和系统 | |
CN109074622B (zh) | 确定运输服务路线的系统及方法 | |
CN107564269B (zh) | 一种基于支付意愿的半灵活公交调度方法 | |
US20080249667A1 (en) | Learning and reasoning to enhance energy efficiency in transportation systems | |
JP2022106777A (ja) | ライドシェアリング(相乗り)を管理するためのシステムと方法 | |
DE102016107091A1 (de) | Fahrtbeteiligung-Gemeinschaftsmietgruppen | |
CN109308574A (zh) | 一种实时响应的互联网半灵活公交调度方法 | |
CN111861620A (zh) | 一种订单处理方法和系统 | |
Wu et al. | Joint optimization of timetabling, vehicle scheduling, and ride-matching in a flexible multi-type shuttle bus system | |
KR101586974B1 (ko) | 공유형 자율주행자동차의 편도서비스 제공 방법 | |
Hao et al. | Analysis on supply and demand of shared autonomous vehicles considering household vehicle ownership and shared use | |
CN112507506B (zh) | 基于遗传算法的共享汽车定价规划模型的多目标优化方法 | |
Pei et al. | Real-time optimal scheduling model for transit system with flexible bus line length | |
Zhang et al. | An improved adaptive equivalent consumption minimization strategy for parallel plug-in hybrid electric vehicle | |
CN114117883A (zh) | 一种基于强化学习的自适应轨道交通调度方法、系统、终端 | |
CN116324838A (zh) | 用于通过叫车平台调度共享乘车的系统和方法 | |
CN110751541A (zh) | 无人驾驶共享汽车管理方法及设备 | |
Haliem et al. | A distributed model-free ride-sharing algorithm with pricing using deep reinforcement learning | |
CN111340984A (zh) | 基于数字钥匙的约车方法、装置及电子设备 | |
CN113344336A (zh) | 一种车辆调度方法、装置及存储介质 | |
CN116822898A (zh) | 一种基于深度强化学习的电动汽车车队调度方法和系统 | |
CN111861279A (zh) | 一种考虑换乘的多目标高速收费站班车调度方法 | |
CN115049272A (zh) | 一种基于电池交换进行中间站充电的电动公交调度方法 | |
CN112562380A (zh) | 一种灵活票价柔性公交调度方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |