CN107704980B - 一种面向处理新增快递取件需求的多智能体自主决策方法 - Google Patents

Abstract

针对现有调度方法对新增客户的取件需求响应不及时，重新调派车辆会增加配送成本的问题。本发明提供一种面向处理新增快递取件需求的多智能体自主决策方法，属于车辆调度技术领域。该方法为智能体接收到配送中心传来的新增客户需求，运用路径优化算法得到新的取件计划以及新取件计划与原取件计划目标评价函数的差值Δf，根据差值Δf构建延时函数，设计优先级的大小。Δf越小，优先级越高，给配送中心发送服务请求延迟的时间也就越短；Δf越大，优先级越低，给配送中心发送服务请求延迟的时间也就越长。使得当有多个智能体符合处理新增客户需求时，决策出最适合的智能体去处理这一需求，实现智能体的自决策过程。

Description

一种面向处理新增快递取件需求的多智能体自主决策方法

技术领域

本发明属于车辆调度技术领域，涉及一种面向处理新增快递取件需求的多智能体自主决策方法。

背景技术

近年来，国内电子商务行业得到突飞猛进的发展，越来越多的人习惯于网上购物。很多网购投诉都是快递问题，用户希望快递公司能够提供更快更优的配送服务。城市快件取送作为快递服务的最后环节，是快递物流的“最后一公里”，对提升企业服务水平起着关键的决定性作用。由于快递配送直接面向于终端客户，其服务水平的高低直接影响着客户满意度和企业形象，同时也反过来间接影响企业的竞争力和市场份额的占比。由于电子商务环境下的客户比较分散、客户数量比较多、配送的多是小件货物，所以导致车辆空载率较高。一般，在配送前已由配送中心规划好配送方案，但在快件取送过程中，会有动态新增客户有上门取件的需求(退货或寄件)，客户也可能会拒收或变更收件信息(变更收件时间或地址)，此时，派送员需要根据客户需求实时调整预定的配送方案。当前，主要由配送人员进行人为决策，这种方式不能科学准确地规划出新的配送方案，会浪费配送资源、降低对客户需求的响应速度。

物流配送是连结生产者和消费者的一个重要环节，在整个供应链中发挥着重要的作用。通过优化物流配送系统，可以达成资源节约、环境友好、客户满意、物流活动最优的目标。其中，配送车辆调度的准确性和运输线路的合理性是影响物流配送效率的关键因素。这是一项复杂的多约束、多目标的组合优化问题；制定恰当的配送方案，可以加快对客户需求的响应速度，提高配送效率和客户的满意度，降低服务商运作成本。

在现有的物流配送中基于智能体模块的应用主要集中于集中控制，配送中心作为一个物流配送系统的核心部分，负责全局的控制，以及对车辆的调度，而每辆车的终端只是作为一个接收配送中心传来的调度信息和发送车辆的实时信息。配送中心接收新增客户发出的取件需求，根据当前车辆发送来的实时信息进行决策。这就很容易导致信息在传送过程中的失真和决策的延迟。约束因素过多，限制了物流配送的准确性和实时性，且整个系统的调度都有配送中心进行计算，随着物流的发展，订单需求量的快速增长，对配送中心的硬件和软件要求很高，且单独的配送中心进行决策，所带来的风险也比较大，不适应物流行业的快速发展。

在现有的决策模块中，在多个备选配送车之间进行决策时，需分别计算每一个配送车对订单需求评价函数的大小，通过信息的传递到配送中心经过比较后选择出最优的配送车去进行服务。多辆配送车间信息的传递，以及评价函数大小的比较，都可能导致对新增客户取件需求不能实时响应，影响客户满意度。

针对现有调度方法对新增客户的取件需求响应不及时，重新调派车辆会增加配送成本的问题。本发明提供一种面向处理新增快递取件需求的多智能体自主决策方法，属于车辆调度技术领域。该方法为智能体接收到配送中心传来的新增客户需求，运用路径优化算法得到新的取件计划以及新取件计划与原取件计划目标评价函数的差值△f，根据差值△f构建延时函数，设计不同的优先级大小。△f越小，优先级越高，给配送中心发送服务请求延迟的时间也就越短；△f越大，优先级越低，给配送中心发送服务请求延迟的时间也就越长，省去了多个智能体之间信息的协商与比较过程，使得当有多个智能体符合处理新增客户需求时，决策出最适合的智能体去处理这一需求，实现智能体的自决策过程，最大程度满足客户需求。

发明内容

有鉴于此，本发明的目的在于提供一种面向处理新增快递取件需求的多智能体自主决策方法。将现有的配送中心集中控制调度的模式变为多智能体分散调度的新模式。在系统调度过程中，智能体首先接收到的新增客户取件需求，根据插入算法和启发式算法生成新的取件计划，然后采用本发明提供的自主决策新方法，选出最优接单智能体，实现自主决策响应新增客户取件服务过程。

为了达到以上目的，本发明提供了以下技术方案：

一种面向处理新增快递取件需求的多智能体自主决策方法，包括以下步骤：

步骤1：构建面向动态客户需求的多智能体分散控制调度的模型：

该模型描述如下:有一个配送中心，负责一片区域内包括该区域内的全部智能体，该智能体的最大载重量为Q，最大容积为V，假设：当有新增客户有取件需求时，该智能体还剩N个客户需要服务，每个客户需求的货物重量为m_i，容积为v_i，客户i接受服务的时间窗为[a_i,b_i]，l为智能体延迟到达时单位时间客户不满意度。每个智能体从配送中心出发，完成任务后返回配送中心，每个客户都必须被服务到，且只能由该智能体服务。具体模型如下所示：

符号说明：

C:智能体单位行驶距离的费用。

d_i,j:客户i到客户j的距离。

t_i,j:从客户i到客户j的道路行驶单位距离所需的时间。

p_j:第j个客户单位质量卸货或装货的费用。

m_i:客户i的需求货物重量。

v_i:客户i的需求货物体积。

t_i:智能体到达客户i的时间。

a_i:客户i规定的最早到达时间。

b_i:客户i规定的最晚到达时间。

wt_j:提前到达客户点j的时间长短。

lt_j:延后到达客户点j的时间长短。

Q:智能体的最大载重质量。

V:智能体的最大载重体积。

f_i:客户i的服务时间。

T:一个很大的整数。

若已知到达客户点i的时间t_i，则可得到从客户i到达客户j的时间t_j为：

t_j＝t_i+wt_i+f_i+t_i,j·d_i,j

提前到达客户点j的时间长短为：wt_j＝max[(a_j-t_j),0]

延后到达客户点j的时间长短为：lt_j＝max[(t_j-b_j),0]

目标函数一：配送成本minA。

目标函数二：客户满意度min B。

目标函数三：配送效率min C。配送效率为平均服务单位客户所需时间的长短。配送效率不仅受行驶距离、服务时间、等待时间等的影响，还要受到不同道路交通状况的影响。

S.T:

目标函数(1)表示智能体的取件成本，取件成本主要由运输成本和装货成本组成；目标函数(2)表示实际服务时间迟于规定时间造成的客户满意度；目标函数(3)表示平均服务单位客户所需要时间的长短，取件效率不仅受行驶距离、服务时间、等待时间等的影响，还要受到不同道路交通状况的影响。约束条件(4)表示当前N个客户点由一个智能体去服务；约束条件(5)表示每一个客户点都必须进行服务；约束条件(6)表示智能体从配送中心出发并最终返回配送中心；约束条件(7)表示智能体所运送的货物不能超过车辆的重量限制；约束条件(8)表示智能体所运送的货物不能超过车辆的体积限制；约束条件(9)表示总共还需进行服务的客户数为N。

评价函数通常只有一个，因此，首要工作就是将多目标评价函数转化为单目标评价函数。由于第一个目标函数的单位为货币单位，第二个和第三个目标函数的单位为时间单位，所以必须要先进行处理，将这三个目标函数化为无量纲的目标函数后，再运用线性相加的办法转化为单目标评价函数，就可以发挥多目标评价函数的优点。

做如下变换：

上式中A^*、B^*、C^*分别为无量纲化后的目标函数,maxA^*、maxB^*、maxC^*的取值范围都是[0,1]，其值越大表示该取件计划越优。A_max、B_max、C_max分别表示配送中心事先约定好的最大配送成本，最低客户满意度以及最低配送效率。根据每项目标函数的重要程度，分别赋予各目标函数不同的权重值α、β、γ，且α+β+γ＝1(α,β,γ∈[0,1])。

则以上三个评价函数可以转化为一个评价函数：

f(A,B,C)＝α·A^*+β·B^*+γ·C^*

步骤2：智能决策出新的取件计划。

首先，判断智能体是否满足为该新增客户提供服务的约束条件，若满足则可以通过路径优化算法对原取件线路进行实时调整，该算法分为两个阶段：第一阶段，采用插入法生成初始取件计划；第二阶段，引入启发式搜索算法对全局进行优化。

针对选定的每个智能体做如下算法操作：

Step 1:判断选定的智能体对新增客户提供服务后，所有客户的需求质量和体积是否符合该智能体的承载范围。若满足该约束条件则进行Step 2，若不满足则结束该算法操作。

Step 2:计算出还未服务的静态客户的评价函数值f(A,B,C)。即每个智能体当前线路中客户的评价函数。

Step 3:重新进行编码，将智能体当前位置编码为0，将智能体中还未服务的N个静态客户分别编码为1,2,3…N，将新增客户编码为N+1。

Step 4:插入算法操作，产生初始最优解。

Step 5:自学习算法操作，产生更优的解。

Step 6:计算出将新增客户插入后优化得到的评价函数值f'(A,B,C)，则可得出插入前后的评价函数差值△f：

△f＝f(A,B,C)-f'(A,B,C)

Step 7:若△f>M∈[0,1]，则认为让该智能体服务于新增客户的处理新增客户需求成本太高，放弃让该智能体去处理取件需求。

若△f≤M∈[0,1]，则让该智能体依据优先级的大小去对新增客户取件需求做出响应。

M为预先设定的常量，当

时，由调度中心重新调派智能体服务该新增客户。

当

时，由智能体服务该新增客户。

步骤3：根据目标评价函数的差值△f，设置不同的接单优先级。

根据新取件计划与原取件计划目标评价函数的差值△f设置不同的接单优先级。△f越小，优先级越高，给配送中心发送服务请求延迟的时间也就越短，优先级最高的智能体接收到配送中心的回复；△f越大，优先级越低，给配送中心发送服务请求延迟的时间也就越长，接收不到配送中心对其请求的回复。

优先级设置方法如下：

步骤3-1：多个智能体接收配送中心传来的新增客户取件需求，各智能体生成新的取件计划以及得到新取件计划与旧取件计划目标评价函数的差值△f。

当新增客户区域内的多个智能体同时满足新增客户取件需求时，就需要根据设定的目标评价函数来决策最优取件计划。根据以上多智能体调度算法中，将新增客户插入后优化得到新的评价函数值f'(A,B,C)与原取件计划目标评价函数f(A,B,C)的差值△f,以及新取件计划。

步骤3-2：各智能体根据新取件计划与原取件计划目标评价函数的差值Δf，构建正相关的延时函数：

T_i＝k·△f_i(k>0,i＝1,2,3...)

T_i：第i个智能体配送车给配送中心发送对新增客户取件请求的延时时间

△f_i:第i个智能体接收新增客户取件请求新取件计划对原取件计划的目标评价函数的差值。

k：k值大小根据实时通信环境而设定，使得相比较于构建的延迟函数T＝k·△f得到的延迟时间的大小，智能体给配送中心发送服务请求和接收配送中心回复时通信延迟时间的大小可以忽略不计，但也不能过大，使得延迟时间控制在一个可以接受的范围。实现最早给配送中心发送服务请求的智能体能够最早接收到配送中心回复的过程。

根据接入前后评价函数△f的大小来设定智能体给配送中心发送对新增客户取件服务请求的时间，建立延时函数T_i，即智能体i接收到新需求后，根据内部计算模块，算出智能体i的接入前后评价函数差值△f的大小，由此得出智能体发送给配送中心对新增客户取件服务请求的延时时间，即智能体i等待时间T_i后再给配送中心发送对新增客户取件服务的请求。

步骤3-3:各智能体根据各自延时函数得到的延时时间T，等待T时长后，向配送中心发送对新增客户取件服务的请求。

由步骤3-2的延时函数，各智能体根据各自延时函数得到的延时时间T，T越小，优先级越高；T越大，优先级越低。每个智能体根据各自不同的延时时间，等待时间T后，向配送中心发送对动态客户取件服务的请求，优先级高的智能体，则优先向配送中心发送对新增客户取件服务的请求。

步骤3-4：配送中心对最早接收到对于一个新增客户取件服务请求的智能体自动进行回复。

由于在配送中心存在一个默认协议：对于智能体发来的对于任意一个新增客户取件服务的请求，配送中心只会对第一个发送请求的智能体自动进行回复。因此，各智能体根据各自等待延时时间T后，向配送中心发送对新增客户取件服务的请求，配送中心根据默认协议，只对最早接收到的请求的一辆智能体自动进行回复。

步骤3-5：收到配送中心回复的智能体执行新的取件计划，该新增客户取件需求完成。

由于智能体给配送中心发送对于新增客户取件服务请求后，必须得到配送中心的回复后才能采用新的取件计划，否则继续原有的不包括新增客户取件需求的取件计划。因此最早发送请求的智能体接收到回复后，代表该智能体的新配送方案形成，执行新的取件计划，该新增客户的取件需求完成。没有接收到配送中心的回复的智能体，则该智能体新的取件计划不成立，继续原有的取件计划。最后，优先级最高的智能体处理新增客户的取件需求。

附图说明

为了使本发明的目的、技术方案和有益效果更加清楚，本发明提供如下附图进行说明：

图1为本发明方法流程图

图2为实例方法的配送中心工作示意图；

图3为实例方法的智能体工作示意图；

图4为本发明所述实例方法的流程示意图；

图5为新增客户取件请求产生时，两个智能体静态路线图，右边为第1智能体，左边为第2智能体。

图6为根据插入算法和自学习优化算法后的智能体线路图，同上，右边为第1智能体，左边为第2智能体。

具体实施方式

下面将结合附图,对本发明的优选实施例进行详细的描述：

图1为本发明方法所述的方法流程图，对本发明的技术方案进行清楚、完整地描述。整个系统包括11-配送中心，12-新增客户，13,14-智能体。

11-配送中心：区别一般的集中控制的配送中心，在本发明的配送中心，其作用仅限于接收新增客户的需求，并把它发送给由配送中心出发的全部智能体上，主要起到一个信息的转达及对智能体发出的请求自动回复的作用，并不像现有的配送中心那样，对收集的需求信息集中控制与调度，处理信息的要求集中于配送中心一体。

12-随时产生的新增客户取件请求，特点为随时，随地，动态性。信息包括，货物尺寸，重量，类型，客户的地理位置，以及时间窗要求。

①：过程为新增客户给配送中心发出取件需求。

②，③：过程为配送中心把新增客户的取件需求信息，包括延迟到达时单位时间客户不满意度；提前到达时单位时间客户不满意度；客户要求的时间窗，货物的尺寸；货物的重量等同时发送给该区域内的两个智能体。

13,14：为该区域内的两个智能体，接收配送中心传来的新增客户的取件需求。根据智能体内的计算模块和优先级机制对新增客户自主决策出最优智能体的处理其取件需求方案，并实施调度方法，对新增客户取件需求进行处理。

图2为智能体内部模块，主要包括两个部分：计算模块和优先级机制。

211：计算模块，根据收到配送中心传来的新增客户新的需求信息，结合自己当前静态客户线路，采用插入算法和自学习算法得到当前该智能体的最佳线路并产生新的取件计划。

212：优先级机制，为一套智能体内置的算法，它无需在两个同时满足新增客户取件请求的智能体之间，根据内部优先级算法，根据插入新增客户前后的评价函数值设置一个延时函数，在两个智能体间，把评价函数差值转化为可以表达出来的延时函数：

T_i＝k·△f_i(k>0,i＝1,2,3...)

两个智能体根据各自不同的延时时间，各自等待时间T后，向配送中心发送对新增客户取件服务的请求。配送中心对最早接收到对于一个新增客户取件服务请求的智能体自动进行回复。最早接收到配送中心回复的智能体新的取件计划成立；一旦一个新增客户取件需求被配送中心回复后，另一个智能体等待延时时间后对该新增客户发出的服务请求就无法得到任何回复，接受动态客户取件请求失败。在两个智能体之间实现了最优智能体的自决策过程。

④，⑥：为第1,2两个智能体通过优先级机制，按照各自优先级高低，等待各自的延时时间后，给配送中心发送对该新增客户取件服务的请求。

⑤：表示两个智能体中，优先级最高的也就是延时时间最短的一个智能体得到配送中心的自动回复过程。

主要步骤为：(1)面向新增客户需求的多智能体分散控制调度模型建立；(2)智能决策出新的配送方案；(3)根据目标评价函数的差值△f，设置不同的接单优先级。

实例中，以一片物流配送区域内初始的两个智能体为研究对象，两个智能体的相关参数如表4-1所示所示。假设在取件过程中，该区域出现一个新增客户取件需求的客户，此时，两个智能体均还剩5个静态客户点未进行服务，将智能体的当前位置编号为0，将5个还未服务的静态客户点按已经规划好的配送顺序依次编号为1-5，将新增客户标识为newclient，两智能体与客户间的距离如表4-2所示；不同道路下行驶单位距离所需时间如表4-3所示；各静态客户点和新增客户的相关参数如表4-4所示；其他相关参数如表4-5所示；着个实施例的流程图如图4所示：

表4-1智能体相关参数

表4-2客户间距离

第1智能体

第2智能体

表4-3不同道路下行驶单位距离所需时间t_i，j

第一智能体

第二智能体

表4-4客户相关参数

第1智能体

第2智能体

表4-5其他相关参数

N	l	α	β	γ	M	T	K
								5	3	0.4	0.4	0.2	0.2	1000000	50

如图2所示，左边为第1智能体，右边为第2智能体，center为配送中心的位置，0为新增客户出现时智能体所在的位置，1-5分别为还未进行服务的静态客户点的位置，新增客户的位置如图中所示，智能体出发前已经规划好的行驶线路为0-1-2-3-4-5。经计算得新增客户插入前的评价函数值为：

f₁(A,B,C)＝0.49

f₂(A,B,C)＝0.46

当两智能体在各自客户编号为0时，产生新的动态new client,位置如图5所示，两智能体同时接收到配送中心传来的new client取件请求,具体要求如下表4-6所示：

表4-6 new client具体要求

由于每个配送车都作为一个单独的智能体，进行分散控制，自行根据自己当前的静态的客户路线，进行决策，采用插入算法和自学习算法产生最优解，如图6所示。从而可以得到经过插入算法和自学习算法操作后，得到新的取件计划。评价函数的差值△f：

△f₁＝f₁(A,B,C)-f'₁(A,B,C)＝0.07

△f₂＝f₂(A,B,C)-f₂'(A,B,C)＝0.03

可以判断得出，△f₁和△f₂<M,所以对于新增客户new client,两个智能体均符合要求。当两个智能体均符合动态客户取件需求后，根据智能体优先级机制，得出的内置标准优先级协议进行决策：

T_i＝k·△f_i(k>0,i＝1,2,3...)

两个智能体分别根据插入前后评价函数的差值△f，和智能体设计标准优先级协议，以延时函数的方式来表现出优先级的方法：

T₁＝k·△f₁＝0.07k(k>0,i＝1,2,3...)

T₂＝k·△f₂＝0.03k(k>0,i＝1,2,3...)

T₂<T₁

T₁＝3.5min；T₂＝1.5min最后得出T₁>T₂；

根据延时函数的大小关系，两个智能体各自等待时间3.5min，1.5min；

由于第2智能体对新增客户取件请求的延迟时间要小于第1智能体，所以第2智能体的接单优先级高于第1智能体，优先给配送中心发送对该新增客户取件服务的请求并得到配送中心的自动回复，表示由第2智能体处理该新增客户取件需求。

而第1智能体等待延迟时间结束后，给配送中发送对于该新增客户取件服务的请求时，由于配送中心已经自动对第2智能体进行了回复，一个新增客户只能回复一次，导致配送中心停止对第1智能体进行回复，第1智能体处理新增客户取件需求失败。

至此，在面向新增客户取件需求时，实现自决策出最优智能体处理动态客户取件需求的全过程。无需配送中心的集中控制和处理，大大减少了信息的传递和失真，提高了处理效率和响应时间，进而也很大程度上提高了客户满意度，符合物流配送未来发展的新方向和新趋势。

Claims (4)

1.一种面向处理新增快递取件需求的多智能体自主决策方法，其特征在于：包括以下步骤：

步骤1：多个智能体接收配送中心传来的新增客户取件需求，各智能体生成新的配送方案以及得到新配送方案与旧配送方案目标评价函数的差值△f；

步骤2：各智能体根据新配送方案与旧配送方案目标评价函数的差值△f，构建正相关的延时函数：

T_i＝k·△f_i(k >0,i＝1,2,3...)

其中，k值大小根据实时通信环境而设定，使得相比较于构建的延迟函数得到的延迟时间，智能体给配送中心发送服务请求和接收配送中心回复的通信延迟时间可以忽略不计；

步骤3:各智能体根据自身延时函数得到延时时间T，等待T时长后，向配送中心发送对动态客户取件服务的请求；

步骤4：配送中心对最早接收到对于一个动态客户取件服务请求的智能体自动进行回复；

步骤5：收到配送中心回复的智能体执行新的配送方案，该新增的动态客户取件需求完成。

2.根据权利要求1所述的一种面向处理新增快递取件需求的多智能体自主决策方法，其特征在于：所述步骤1中目标评价函数的差值△f为：

△f＝f(A,B,C)-f'(A,B,C)

f(A,B,C)：原配送方案目标评价函数值；

f'(A,B,C)：新配送方案目标评价函数值；

A:配送成本；B:客户满意度；C:配送效率；

根据每项目标函数的重要程度，分别赋予各目标函数不同的权重值α、β、γ，且α+β+γ＝1(α,β,γ∈[0,1])

f(A,B,C)＝α·A^*+β·B^*+γ·C^*

A_max 、 B_max、C_max分别表示配送中心事先约定好的最大配送成本，最低客户满意度以及最低配送效率。

3.根据权利要求1所述的一种面向处理新增快递取件需求的多智能体自主决策方法，其特征在于：所述的步骤1中智能体是指一种能够实现车辆路径智能优化调度与自主决策功能的配送车；

该智能体主要包括计算模块和优先级机制：计算模块根据路径优化算法生成新的配送方案；

优先级机制自主决策出对于某一动态客户取件请求的最优智能体。

4.根据权利要求1所述的一种面向处理新增快递取件需求的多智能体自主决策方法，其特征在于：所述的步骤4，其特征在于：在配送中心设置一个默认协议：对于智能体发来的对于任意一个动态客户取件服务的请求，配送中心只会对第一个接收到请求的智能体自动进行回复；

智能体给配送中心发送对于动态客户取件服务请求后，必须得到配送中心的回复后才能采用新的配送方案，否则继续原有的不包括动态客户取件需求的配送方案。

Images