CN115796415A - 一种仓配一体化模式下的智能调度优化方法 - Google Patents

Abstract

一种仓配一体化模式下的智能调度优化方法属于订单拣选与配送集成调度领域。该方法有效实现了仓配一体化模式下订单分批、分配、排序以及路径优化的联合决策。在每次迭代时多起点迭代局部搜索算法都要从一个解集合中选择一个优化方案作为初始解。为了提高算法的智能性，构建了基于强化学习的初始解选择机制。该机制通过揭示算法的内在机制，在每次迭代时自适应地选择初始解以提高求解质量。通过数值实验对算法进行验证与分析，实验结果表明，相较目前最先进的求解算法与传统元启发式算法，所提算法在提升订单履行效率和客户满意度提高方面均具有更优的表现。本发明可以帮助企业节省仓储成本和运输成本，提高存货周转率，改善客户体验。

Description

一种仓配一体化模式下的智能调度优化方法

技术领域

本发明涉及仓配一体化模式下的订单拣选与配送集成调度领域，具体为一种仓配一体化模式下的智能调度优化方法。

背景技术

我国的零售业基于线下销售的传统零售模式遭受冲击，线上线下结合的新零售模式被推到了风口浪尖。2020年全年网上零售额117601亿元，按可比口径计算，较上年增加11277亿元，同比增长10.61％；2021年全年网上零售额130884亿元，按可比口径计算，较上年增加13283亿元，同比增长11.29％。可见线上订购商品，线下即时配送的服务已经融入了消费者的日常生活。

订单拣选与配送集成调度相较于两阶段单独调度一般能够优化目标值5％～20％。为了进一步满足消费者的线下即时配送需求，仓配一体化模式应运而生。作为一种多终端、少环节的高效配送模式，仓配一体化模式受到如盒马生鲜、叮咚买菜等电商的青睐。该模式下骑手需在0.5～1个小时内送货上门，这要求仓库管理系统可以快速响应客户订单，并为骑手规划最优配送路线。但由于仓库存储容量有限，客户众多、位置分散，且每单需求量小、品类差异性大，而配送过程中城市交通状况瞬息万变等特征，使得订单拣选和配送难度和成本大幅增加。因此，如何在承诺的时间内以最低成本完成订单的拣选与配送是当前电商面临的一个严峻挑战。

仓配一体化模式下的订单拣选与配送集成调度问题是一个NP难问题，精确算法难以在合理的时间内得到高质量的调度方案；启发式规则虽然计算复杂度低，但由于缺乏全局信息而难以获得高质量的可行解；元启发式算法不依赖于问题特性，可以较好地应用于组合优化问题的求解，但存在易陷入局部最优的问题。

综上所述，为最大限度地节省仓储和配送成本，提高存货周转率，改善客户体验，针对仓配一体化模式下的订单拣选与配送集成调度问题设计高效的调度优化方法十分必要。

发明内容

本发明的目的在于设计一个高效的智能调度优化方法，解决仓配一体化模式下的订单拣选与配送集成调度问题。本发明将帮助商家提高订单拣选与配送效率，以满足客户订单快速交付的需求。

具体技术方案如下：

本发明提出的一种仓配一体化模式下的智能调度优化方法具有计算代价低、优化效果好等特点，能够有效地求解订单拣选与配送集成调度问题，该方法的具体应用步骤如下：

准备工作：①订单拣选与配送集成调度有动态调度和静态调度之分。本发明研究的是静态调度，也即在开始调度之前所有的订单信息均已知，拣选设备和配送车辆均可用。②n个来自不同地理位置的客户订单，且每个订单含有数量不等的商品。订单分批即将一组订单划分为多个批次，一个批次包含多个订单。③仓储中包含z个拣选区域，每个区域1个拣选人员。每个分区右下角设有一个订单处理台，用于订单拣选准备。④为了避免繁琐的订单分拣环节，本问题中采用分区串行拣选策略以及边拣边分策略进行订单拣选。⑤由于每个配送车辆有固定的出发时间，故分配到相应配送车辆的订单对应一个拣选到期时间，当订单在该到期时间前拣选完成则订单拣选拖期为0，若订单在该拣选到期时间后的某个时间拣选完成，则超过该到期时间的时长即为订单拣选拖期。⑥配送车辆无限制且类型相同。车辆有容量限制，所以在每次拣选行程中可收集的商品数要小于等于该容量，车辆一次只能配送一个批次内的订单。⑦每个订单对应一个配送到期时间，当订单在该到期时间前配送完成则订单配送拖期为0，若订单在该拣选到期时间后的某个时间配送完成，则超过该到期时间的时长即为订单配送拖期。订单产生的拣选拖期和配送拖期均会产生惩罚。

问题描述：在某一时刻，需要配送仓店三公里范围内的n个订单。信息系统需要完成订单分批、分配、排序和配送路径优化以保证订单顺利完成。分配在不同区域内的订单由各个区域内的拣货员依次拣选。完成一个区域的拣选后订单被传送到下一个区域进行拣选，直到该批次内的订单全部拣选完成，然后传入后仓进行分装打包以备配送，配送员按照规划好的配送路线在承诺的送达期限内完成配送。

针对上述问题背景，设计一种仓配一体化模式下的智能调度优化方法，实施过程包括初始解生成、局部搜索、接受准则与扰动四个过程，包含以下步骤：

步骤1：生成初始优化方案。该过程进一步包括相关参数初始化和初始解决方案生成：

步骤1.1.1：初始化。初始化算法的最大迭代次数N_max和目标函数值可重复最大迭代次数ζ_max，以及Q-learning算法中折扣因子γ、学习速率β、状态矩阵S、动作集合A，以及Q值矩阵；

步骤1.1.2：初始解决方案的生成。设一定时间内到达的所有订单的集合为Ω，采用最短配送路径规则将该集合内的订单划分为m个批次。在仓储内按批次拣选订单，并根据拣选好的批次订单分配到车辆配送。设置随机的p个初始解决方案，也即p个解，组成一个解集。每次迭代均基于强化学习从该集合中选择一个作为初始优化方案，也即初始解。

步骤2：局部搜索阶段为了增加多样性，提高了局部搜索的质量，设计了多种邻域动作，包括：订单转移，即将一个批次中的订单转移到另外一个批次；订单交换，即交换两个来自不同批次的两个订单；批次交换，即交换两个待拣选批次的拣选顺序；

步骤3：接受准则。如果当前迭代得到的优化方案优于历史最优方案，则接受当前优化方案作为解集中的第1个解；否则，当前优化方案优于第2个解时，则接受当前优化方案作为解集中的第2个解；否则，保持第1和2个解不变，将第3个解赋予第4个解，第4个解赋予第5个解。。。第p-1个解赋予第p个解，然后接受当前优化方案作为解集中的第3个解。

步骤4：扰动阶段的两个扰动动作分别为：随机订单转移，即在满足批次容量约束的前提下将一个批次中随机数量的订单转移到另外一个批次；随机订单交换，即在满足批次容量约束的前提下交换两个来自不同批次的随机数量的订单。

每次迭代需要进行扰动时，扰动强度大小由下式得到：

σ＝min{10,t+1} (1)

公式(1)中t是当前迭代次数。

迭代局部搜索算法是基于个体的元启发式算法，上述求解过程中为了增加优化方案的多样性，初始解从一个解集合中选择得到。该集合中包含p个解决方案，每次迭代都从其中选择不同的解决方案。然而以固定概率从中选择方案人为因素过强，算法智能性差，因此设计了基于强化学习的初始解选择机制，以帮助算法更智能地探索解空间。

Q-learning算法通过Q值矩阵记录在某个状态s采取某个的动作a的好坏，进而决定采取能够获得最大收益的决策，Q值矩阵的更新公式如下：

公式(2)中r(s,a)是采取动作a得到的奖励值，Q(s,a)是在当前状态s下时采取动作a之后，可以获得的奖励的期望值，Q(s,a)越大表示在状态s时采取动作a效果越好，s'表示下一时刻状态，a'表示下一时刻动作，Q(s',a')表示在下一时刻状态s′下时采取动作a'之后获得的奖励的期望值，

表示取状态s′对应的所有动作中的最大值，此外，γ是折扣因子，γ∈(0,1]，β是学习速率，β∈(0,1]，A是包含υ个动作的动作集合，S是包含α个状态的集合，则Q值矩阵可初始化为一个α×υ的零矩阵。

所设计的基于强化学习的初始解选择机制包括三个主要部分，分别为：状态描述、动作构建、奖励函数定义；定义如下：

状态描述：状态向量用于描述第t次搜索得到优化方案的特征，由算法进化速率、解的多样性以及迭代次数信息描述；

其中，采用如下公式定义算法进化速率：

公式(3)中p为初始解的个数；f_b ^t和f_b ^t-1分别是第t次和t-1次迭代后得到的最佳个体的目标函数值；f_i ^t和f_i ^t-1分别是第t次和t-1次迭代后得到的第i个解的目标函数值。

所述第t次迭代得到的解的多样性由如下公式定义：

公式(4)中

表示不同于f_i ^t的解的数量。

综上所述第t次迭代时描述当前优化方案特征的状态向量s构建如下：

公式(5)中

为迭代次数信息。

动作构建：为了确定在每次迭代应选择的初始解，需构建动作集合；假设有p个初始解可供选择，可得到动作集合为Ψ＝{a₁,a₂,…,a_p}，按照ε-greedy策略选取动作a，其公式如下：

公式(6)中，φ是一个随机生成的小数，φ∈(0，1)，ε是给定的一个极小数，ε∈(0，1)，在状态s下，如果

则在Q值矩阵里面选择对应最大Q值的动作；否则，从集合Ψ中随机选择一个动作；

奖励函数定义：在状态s下执行动作a后对应得到一个奖励函数值，以判断采取该动作是否能够获得最大收益，所述最大收益即采取动作a对应的目标函数值是否更小，本发明中奖励函数定义如下：

公式(7)中f_b表示得到的目前为止最好目标函数值，f(t,a)表示第t次执行动作a后得到的目标函数值。当f(t,a)比f_b更小时，以目标函数值的变化百分比大小作为奖励值，否则，奖励函数值为0。

离线训练上述基于强化学习的初始解选择机制，并在应用时进行实时更新。重复上述过程，直到达到目标函数值可重复最大迭代次数

或者满足最大迭代次数N_max时算法终止。

所述的一种仓配一体化模式下的智能调度优化方法，可以高效求解订单拣选与配送集成调度问题。相比其他算法，本发明的方法通过强化学习揭示了初始解对算法效果影响的内在机制，得到更高质量的调度方案。

附图说明

构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。

图1为仓配一体化问题示意图；

图2为订单拣选与配送集成调度问题过程示意图；

图3为基于强化学习初始解选择机制的智能优化调度算法流程图；

图4为以固定概率选择初始解的算法与改进后的算法在公开数据集上的收敛示意图；

图5为本发明算法与其他算法在求解公开数据集中的问题时配送路线对比；

图6为本发明算法与其他算法在求解公开数据集中的问题的目标函数值。

具体实施方式

以下结合附图和具体实施例对本发明作详细描述。注意，以下结合附图和具体实施例描述的诸方面仅是示例性的，而不应被理解为对本发明的保护范围进行任何限制。

一种仓配一体化模式下的智能调度优化方法中仓配一体化模式说明如图1所示。客户下单商品后，数据中心根据订单信息对订单拣选与配送方案进行优化。仓库拣货员根据优化后的方案进行拣选，配送员根据规划的拣选路线将订单配送到客户。

订单拣选与配送集成调度问题需要优化的过程如图2所示，主要涉及订单分批、拣选设备分配、批次排序、拣选路径和配送路径优化几个过程。其中拣选路径本发明采用S型路由策略，也即遍历每一条包含有待拣选订单的通道。

实验参数设置：仓储布局如图2中所示，为4个区块的仓储布局，共1200个SKU存储单元。每个拣选区域5个拣选通道，每个拣选通道60个商品，且通道长度为15米，两个相邻通道宽为2米。每个区域仅有1个拣选人员，拣选人员拣选速度为80米/分钟；拣选速率为15个商品/分钟；相邻区域传送订单用时需0.8分钟；每个商品所需打包时间需0.05分钟；拣选整定时间为0.15分钟；订单拣选成本为1.5元/米；订单拣选时间限制设置为20分钟；订单拣选超期惩罚：2元/分钟。在配送阶段每个批次/货车容量是12个商品；配送员速度为500米/分钟；配送成本是5元/千米；车辆启动固定花费需3元/辆；配送超期惩罚为8元/分钟；配送时间限制设置为30分钟。

算法参数设置：最大迭代次数为100，目标函数值可重复最大迭代次数设为20，强化学习算法中折扣因子γ＝0.5、学习速率β＝0.05、状态集合S＝{[1,4,7；10,13,16]；[2,5,8；11,14,17]；[3,6,8；12,15,18]}和动作集合A＝{1,2,3,4,5,6}。Q值矩阵初始化为一个18*6的零矩阵，此外ε-greedy策略中ε＝0.1。

步骤2：一种仓配一体化模式下的智能调度优化方法包括初始解生成、局部搜索、接受准则与扰动四个过程，如图3所示，主要实施步骤如下。

步骤2.1：初始解生成。根据最短路径配送规则得到6个初始解决方案，也即6个解，组成一个解集。每次迭代均基于强化学习从该集合中选择一个作为初始优化方案，也即初始解。

步骤2.2：根据构建的状态向量，动作集合以及定义的奖励函数确定最佳初始解。状态向量s，动作a以及奖励函数r(s,a)计算如下；

其中f_b ^t和f_b ^t-1分别是第t次和t-1次迭代后得到的最佳个体的目标函数值；f_i ^t和f_i ^t-1分别是第t次和t-1次迭代后得到的第i个解的目标函数值；δ_i ^t表示不同于f_i ^t的解的数量；f_b表示得到的目前为止最好目标函数值，f(t,a)表示第t次执行动作a后得到的目标函数值；φ是一个随机生成的0～1之间的小数。

步骤2.3：根据公式(17)中的状态向量s在集合S中选取当前优化方案对应的一个状态值；具体地采用了如下方法选取状态值：

首先通过

的值选取S中的三个矩阵之一：

时选取S中的第1个矩阵，

时选取S中的第2个矩阵，否则选取第3个矩阵；

然后通过E^t选取该矩阵的行号：如果E^t小于3，则选取该矩阵的第1行；否则选取该矩阵的第2行；

其次，通过H^t选取该矩阵的列：如果H^t小于5，则选取该矩阵的第1列；如果H^t大于5且小于200，则选取该矩阵的第2列；否则选取该矩阵的第3列；

最后，根据选取的矩阵及其行列，确定对应的状态值。将状态值代入公式(10)中得到该状态值下选择的动作，计算得到一个奖励函数值，判断选择的初始解是否能够获得更小的目标函数值。

步骤2.4：接受准则。如果当前迭代得到的优化方案优于历史最优方案，则接受当前优化方案作为解集中的第1个解；否则，当前优化方案优于第2个解时，则接受当前优化方案作为解集中的第2个解；否则，保持第1和2个解不变，将第3个解赋予第4个解，将第4个解赋予第5个解，将第5个解赋予第6个解，并接受当前优化方案作为解集中的第3个解。

步骤2.5：当连续执行多次而得到的解均无变化时，采用扰动动作对当前优化方案进行随机调整，生成一个新的优化方案，帮助算法跳出局部最优。自适应扰动机制确定扰动强度大小为：

σ＝min{10,t+1} (11)

步骤3：重复上述过程，直到满足算法终止条件。

本发明所设计的算法以及来源与其他文章的算法在相同数据集上独立运行10次取平均值，结果见图4-图6。

测试了改进前以固定概率选择初始解的算法与改进后基于强化学习的算法在公开数据集上收敛效果示意图。可以看到，所提出当以固定概率选择初始解的算法随着迭代次数的增加收敛平稳时，改进后的算法仍然在探索更好的解。这说明改进后的算法有更强的探索能力。

对比与遗传算法(GA)、布谷鸟算法(CS)、差分进化算法(DE)、粒子群算法(PSO)算法规划的配送路径，可以发现提出的算法所规划的配送路径更简短明了，可以有效提高订单的履行能力。

进一步测试了本发明算法与GA、CS、DE、PSO、TIS、H-2以及求解器Gurobi在多种规模的数据上的效果，得到的实验结果对比如图6所示，可以看到，本算法相比其他算法能获得更优调度方案。

为了使得本方法的解释更简单化，将上述的图文描述为一系列步骤，但是应该理解并理会，这些方法不受操作的次序所限制，因为按照一个或多个步骤进行实施，一些动作可按不同的顺序发生，但本领域技术人员可以理解其动作发生的原理。

尽管上文已对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员能够进行领会，但是本发明不仅限于具体实施方式的范围，本领域技术人员可以在权利要求的范围内做出各种变形或修改，只要各种变化只要在所附的权利要求限定和确定的本发明精神和范围内。

Claims (1)

1.一种仓配一体化模式下的智能调度优化方法，其特征在于，包括初始化和初始解生成、局部搜索、接受准则与扰动四个过程；首先，生成多个初始解；然后，根据强化学习算法构建初始解选择机制，该机制在每次迭代时均基于强化学习从解集合中选择一个作为初始优化方案；其次，每次迭代局部搜索均可得到一个局部最优方案，采用接受准则确定当前优化方案；接下来，如果连续多次迭代后优化方案无改进，则施加扰动动作，为下一次迭代提供一个新的搜索起点；最后，达到迭代结束条件时，所得订单拣选与配送结果即为其近似最优化方案；

具体如下：

其中，初始化算法的最大迭代次数N_max和目标函数值可重复最大迭代次数

以及Q-learning算法中折扣因子γ、学习速率β、状态矩阵S、动作集合A，以及Q值矩阵；

初始解生成包括：设一定时间内到达的所有订单的集合为Ω，采用最短配送路径规则将该集合内的订单划分为m个批次；在仓储内按批次拣选订单，并根据拣选好的批次订单分配到车辆配送；设置随机的p个初始解决方案，也即p个解，组成一个解集；每次迭代均基于强化学习从该集合中选择一个作为初始优化方案，也即初始解；

Q-learning算法通过Q值矩阵记录在某个状态s采取某个的动作a的好坏，进而决定采取能够获得最大收益的决策，Q值矩阵的更新公式如下：

公式(1)中r(s,a)是采取动作a得到的奖励值，Q(s,a)是在当前状态s下时采取动作a之后，可以获得的奖励的期望值，Q(s,a)越大表示在状态s时采取动作a效果越好，s'表示下一时刻状态，a'表示下一时刻动作，Q(s',a')表示在下一时刻状态s′下时采取动作a'之后获得的奖励的期望值，

表示取状态s′对应的所有动作中的最大值，此外，γ是折扣因子，γ∈(0,1]，β是学习速率，β∈(0,1]，A是包含υ个动作的动作集合，S是包含α个状态的集合，则Q值矩阵可初始化为一个υ×α的零矩阵；

局部搜索阶段包括：订单转移，即将一个批次中的订单转移到另外一个批次；订单交换，即交换两个来自不同批次的两个订单；批次交换，即交换两个待拣选批次的拣选顺序；

接受准则；如果当前迭代得到的优化方案优于历史最优方案，则接受当前优化方案作为解集中的第1个解；否则，当前优化方案优于第2个解时，则接受当前优化方案作为解集中的第2个解；否则，保持第1和2个解不变，将第3个解赋予第4个解，第4个解赋予第5个解；第p-1个解赋予第p个解，然后接受当前优化方案作为解集中的第3个解；

扰动；扰动阶段的两个扰动动作分别为：随机订单转移，即在满足批次容量约束的前提下将一个批次中随机数量的订单转移到另外一个批次；随机订单交换，即在满足批次容量约束的前提下交换两个来自不同批次的随机数量的订单；每次迭代需要进行扰动时，扰动强度大小由下式得到：

σ＝min{10,t+1} (2)

公式(2)中t是当前迭代次数；

所述的基于强化学习的初始解选择机制包括三个部分，分别为：状态描述、构建动作、定义奖励函数；

步骤1：状态描述：状态向量用于描述第t次搜索得到优化方案的特征，由算法进化速率、解的多样性以及迭代次数信息描述；

其中，采用如下公式定义算法进化速率：

公式(3)中p为初始解的个数；f_b ^t和f_b ^t-1分别是第t次和t-1次迭代后得到的最佳个体的目标函数值；f_i ^t和f_i ^t-1分别是第t次和t-1次迭代后得到的第i个解的目标函数值；

所述第t次迭代得到的解的多样性由如下公式定义：

公式(4)中

表示不同于f_i ^t的解的数量；

综上所述第t次迭代时描述当前优化方案特征的状态向量s构建如下：

公式(5)中

为迭代次数信息；

步骤2：为了确定在每次迭代应选择的初始解，需构建动作集合；假设有p个初始解可供选择，可得到动作集合为Ψ＝{a₁,a₂,…,a_p}，按照ε-greedy策略选取动作a，其公式如下：

公式(6)中，φ是一个随机生成的小数，φ∈(0，1)，ε是给定的一个极小数，ε∈(0，1)，在状态s下，如果

则在Q值矩阵里面选择对应最大Q值的动作；否则，从集合Ψ中随机选择一个动作；

步骤3：在状态s下执行动作a后对应得到一个奖励函数值，以判断采取该动作是否能够获得最大收益，所述最大收益即采取动作a对应的目标函数值是否更小，奖励函数定义如下：

公式(7)中f_b表示得到的目前为止最好目标函数值，f(t,a)表示第t次执行动作a后得到的目标函数值；当f(t,a)比f_b更小时，以目标函数值的变化百分比大小作为奖励值，否则，奖励函数值为0；

步骤4：离线训练上述基于强化学习的初始解选择机制，并在应用时进行实时更新，重复上述过程，直到达到目标函数值可重复最大迭代次数

或者满足最大迭代次数N_max时算法终止。

Images