CN110956311B - 一种基于强化学习的超启发算法的车辆路径优化方法 - Google Patents

Abstract

一种基于强化学习的超启发算法的车辆路径优化方法，包括以下步骤：步骤1车辆路径问题分析；步骤2初始化；步骤3经验池、序列池存储；步骤4解的接受保留；步骤5判断经验池容量，容量足够则进入步骤8学习，未满，则进入步骤6；步骤6选择Action；步骤7保留最优解；步骤8选择学习样本，并初始化神经网络；步骤9神经网络学习更新；步骤10更新目标值网络；步骤11判断学习结束情况，学习未结束，则进入步骤8继续学习更新；反之，则进入步骤6选择Action，返回主循环；步骤12程序结束，输出车辆路径距离最优值及最优值路径序列。本发明提供了一种高层选择策略为强化学习的超启发算法的车辆路径优化方法。

Description

一种基于强化学习的超启发算法的车辆路径优化方法

技术领域

本发明涉及一种物流配送、电子商务、智能优化、计算机应用领域，尤其涉及的是一种车辆路径优化方法。

背景技术

车辆路径问题是一个NP-Hard问题，求解最优解相对困难。现有的车辆路径优化方法，包括精确算法，传统启发式算法和智能算法。精确算法，例如：分支定界法，最小化K-trees，动态规划算法等，能求得全局最优解，但是当客户点规模扩大时，求解时间呈指数增长。传统启发式算法，例如节约法，两阶段法等，相较于精确算法，能够更加有效地找寻最优解，但同样在大规模问题上，效率不佳。智能算法，例如蚁群算法，遗传算法，禁忌搜索算法等，因其既能得到优解，又能保证效率的优点，得到许多研究者青睐。但对传统智能算法的设计，设计者往往需要同时具备计算机算法设计基础以及所需解决问题领域的专业知识，缺乏通用性。近年来，超启发算法因其高效性和通用性的特点，被提出来用于解决跨领域的组合优化问题。同时，人工智能的发展，也使强化学习算法越来越受人关注，其在多种领域的表现尤为亮眼。

发明内容

为了保证算法在求解VRP问题上具有通用性的要求，同时达到利用强化学习算法根据结果优化超启发算法的选择策略，提升算法性能的目的，本发明提出了一种高层策略可移植的基于强化学习的超启发式算法的车辆路径优化方法。

本发明解决其技术问题所采用的技术方案是：

一种基于强化学习的超启发算法的车辆路径优化方法，所述方法包括以下步骤：

步骤1车辆路径问题分析，采用Augerat’s instances数据集，车辆路径问题的成本矩阵的元素是欧几里得距离；

假定配送中心设为i＝0，客户点设为L(i＝1,2,3,…,L)，最多车辆数设为K(k＝1,2,3,…K)，每辆车具有相同载重量为q，每个客户点需求量设为d_i(i＝1,2,3,…,L)，客户i到客户j的距离设为c_ij，优化的目标是行驶距离最短，一个完整的解包含了全部路径的集合；

步骤2初始化，先生成Npop组个体的种群，得到最小路径k，利用聚类思想划分，k块区域，得KC块，由KC块随机挑选生成可行解组P(p_i＝p₁,p₂,p₃,…,p_NP)，计算种群适应度f(f_i＝f₁,f₂,f₃,…,f_NP)；随机挑选一组可行解p_i以及对应适应度值f_i，设P_B为最优解个体，F_B为最优适应度值，设LLH算子数量为N^A，Action取值为(1,2,3,…,N^A)整数，初始化P_B＝p_i，F_B＝f_i，State＝0，Action＝random(N^A)，随机挑选一个范围N^A中的数；

步骤3经验池、序列池存储，操作上步Action后，产生的个体为Ind，适应度值fit，根据适应度值，判断立即回报值Reward，此时状态即为“下一个状态”，判断该State和State^t所属状态，利用式(1)计算State^t值：

State＝-(fit-fit')/fit'+Ck (1)

设由EP代表经验池，将上述值存入，则EP_nE＝[State,Action,Reward,State^t]，nE代表经验池中数据组数；当达到设定次数后，判断此时State值所属状态，如果为15≤State≤25，则此时Action为路径内算子，对此时的序列进行筛选，质量优则存入SP，SP代表序列池，反之，则更新序列；SP设常量Q_sp为容量，且每次对比SP中序列，若此时序列在SP中有对应序列集，则SP中该序列计数一次，当SP容量已满，则刷新对比次数最少的序列；

步骤4解的接受保留，判断，如果fit<fit’，则说明此时解的适应度值更好，则保存解及解的适应度值，令State＝State^t，fit’＝fit；如果fit≥fit’，则采用模拟退火判别，若概率p>随机值，则同样保留好解，同时更新状态，反之，则舍去该解，此时State^t＝State，fit’＝fit’；

步骤5判断经验池容量，判断经验池内组数nE，n≥N^E，则进入步骤8学习环节，否则，进入步骤6选择Action步骤；

步骤6选择Action，设置epsilon值，若随机值>epsilon，将State值，输入估值网络，输出Q_e值，取max(Q_e)所对应的Action，若随机值<epsilon，则根据此时State值，令Action＝random(N^A)，此时N^A为对应State值的算子序号；

步骤7保留最优解，若fit<＝F_B，F_B＝fit，P_B＝Ind，反之则舍弃；

步骤8选择学习样本，并初始化神经网络，从EP中随机挑选N^S组，作为学习样本，记为ESP，初始化估值网络和目标网络的阈值和权值ω_e、b_e、ω_t和b_t；

步骤9神经网络学习更新，估值网络中输入

为ESP样本中第nS个样本中的State值，计算后取

目标值网络中输入

计算后取max(Q_t)，利用式(2)，计算损失值Loss，更新估值网络ω_e和b_e；

Loss＝((Reward+γ·max(Q_t))-Q_e(Action))² (2)

步骤10更新目标值网络，判断学习代数Ln≥LN，则令ω_t、b_t替代ω_e、b_e的值；

步骤11判断学习结束情况，若学习代数Ln≤(3/4)*N^S，则进入步骤8继续学习更新，反之，则进入步骤6选择Action，返回主循环；

步骤12程序结束，输出车辆路径距离最优值及最优值路径序列。

2、如权利要求1所述的一种基于强化学习的超启发算法的车辆路径优化方法，其特征在于，所述步骤2中，生成初始种群组的过程如下：

2.1)对于第k条路径，先设配送中心点为i＝0，即该路径两端点都为i＝0；随机挑选客户点L(i＝1,2,3,…,L)，加入首尾点中间，判断该车辆现载重量情况；

2.2)从剩下的客户点中继续随机挑选，依次加入路线，直到超出标准载重量，则产生第k+1条路径；将超超出标准载重量的点，加入新路线中；重复循环，当所有客户点都被选取，则一个初始种群个体生成；

2.3)多次进行上述操作，生成设定数量个体的种群，数量为Npop，对Npop个个体进行路径判断，选出具有最短路径数的个体，记最短路径数为k，将k作为划分块的数量；

2.4)计算所有客户点与仓库点的距离c_i-0(i＝1,2,3,…,L)，为了节省聚类分类的时间，将c_i-0升序排列，只取前k个点作为聚类中心点，设为L^KC(KC＝1,2,3,…,k)，KC代表聚类块，以除聚类中心点外的其他客户点，与各聚类中心的距离最短为原则，进行聚类；

2.5)随机排列KC块，按车辆载重量分配，依KC块排列顺序，随机挑选客户，若KC块中客户点未能满足k车辆载重，则向KC+1块中随机抽取客户点，直至满足，反之则向后延用至k+1辆车，共组成k条路径，由此产生一个初始解个体。

本发明的有益效果主要表现在：求解标准算例set A,set E和set P的CVRP问题时，能取得较好的效果及求解稳定性。在优化过程中，高层基于强化学习算法的选择策略设计，引导算法在不同时刻，使用不同底层算子，加强全局搜索的能力；高层接受准则的运用，有助于控制算法收敛速度；序列池的设计，优化算法的搜索过程。此外，针对不同的问题，设计新的底层算子可以将算法高层策略应用到新的问题领域。

附图说明

图1是一种基于强化学习的超启发算法的车辆路径优化方法的流程图。

具体实施方式

下面结合附图对本发明作进一步描述。

参照图1，一种基于强化学习的超启发算法的车辆路径优化方法，包括以下步骤：

步骤1车辆路径问题分析，采用Augerat’s instances数据集，车辆路径问题的成本矩阵的元素是欧几里得距离；

假定配送中心设为i＝0，客户点设为L(i＝1,2,3,…,L)，最多车辆数设为K(k＝1,2,3,…K)，每辆车具有相同载重量为q，每个客户点需求量设为d_i(i＝1,2,3,…,L)，客户i到客户j的距离设为c_ij，优化的目标是行驶距离最短，一个完整的解包含了全部路径的集合，它包含了所有的客户点，每个客户点只出现一次，并且划分为k条路径由k辆车同时配送，每条路径包含一定数量的客户点，路径的起始点都是配送中心；可行解的要求：能够包含所有客户，且每个客户点只出现一次；在满足车辆标准载重量的条件下，确定由k辆车运输；每条路径起始点、终点皆为配送中心；

实际实验中使用的参数有Q值函数中折扣率γ＝0.8，epsilon初始值＝0.5，迭代最大代数G_max＝10^6，经验池N^E＝800，学习挑选样本N^S＝600，种群数Npop＝10。

步骤2初始化，第G＝0代，先生成Npop组个体的种群，得到最小路径k，随机挑选生成可行解组P(p_i＝p₁,p₂,p₃,…,p_NP)，计算种群适应度f(f_i＝f₁,f₂,f₃,…,f_NP)，随机挑选一组可行解p_i以及对应适应度值f_i，设P_B为最优解个体，F_B为最优适应度值，设LLH算子数量为N^A，Action取值为(1,2,3,…,N^A)整数，初始化P_B＝p_i，F_B＝f_i，State＝0，Action＝random(N^A)，随机挑选一个范围N^A中的数；

生成初始种群组步骤：

步骤2.1对于第k条路径，先设配送中心点为i＝0，即该路径两端点都为i＝0；随机挑选客户点L(i＝1,2,3,…,L)，加入首尾点中间，判断该车辆现载重量情况；

步骤2.2从剩下的客户点中继续随机挑选，依次加入路线，直到超出标准载重量，则产生第k+1条路径；将超超出标准载重量的点，加入新路线中；重复循环，当所有客户点都被选取，则一个初始种群个体生成；

步骤2.3多次进行上述操作，生成一定数量个体的种群，数量为Npop。对Npop个个体进行路径判断，选出具有最短路径数的个体，记最短路径数为k，将k作为划分块的数量；

步骤2.4计算所有客户点与仓库点的距离c_i-0(i＝1,2,3,…,L)。为了节省聚类分类的时间，将c_i-0升序排列，只取前k个点作为聚类中心点，设为L^KC(KC＝1,2,3,…,k)，KC代表聚类块，以除聚类中心点外的其他客户点，与各聚类中心的距离最短为原则，进行聚类；

步骤2.5随机排列KC块，按车辆载重量分配，依KC块排列顺序，随机挑选客户，若KC块中客户点未能满足k车辆载重，则向KC+1块中随机抽取客户点，直至满足，反之则向后延用至k+1辆车，共组成k条路径，由此产生一个初始解个体；

步骤3经验池、序列池存储，操作上步初始化的Action后，产生的个体为Ind，适应度值fit，根据适应度值，判断立即回报值Reward，若当前解的质量比上代解的质量提升，则Reward＝1；未提升则Reward＝0；质量下降，则Reward＝-1。此时状态即为“下一个状态”，判断该State和State^t所属状态，利用上述时(1)计算State^t值，设由EP代表经验池，将上述值存入，则EP_nE＝[State,Action,Reward,State^t]，nE代表经验池中数据组数，当达到设定次数后，判断此时State值所属状态，如果为15≤State≤25，则此时Action为路径内算子，对此时的序列进行筛选，质量优则存入SP，SP代表序列池，反之，则更新序列。SP设常量Q_sp为容量，且每次对比SP中序列，若此时序列在SP中有对应序列集，则SP中该序列计数一次，当SP容量已满，则刷新对比次数最少的序列；

步骤4解的接受保留，判断，如果fit<fit’，则说明此时解的适应度值更好，则保存解及解的适应度值，令State＝State^t，fit’＝fit；如果fit≥fit’，则采用模拟退火判别，若概率p>随机值，则同样保留好解，同时更新状态，反之，则舍去该解，此时State^t＝State，fit’＝fit’；

步骤5判断经验池容量，判断经验池内组数nE，n≥N^E，则进入步骤8学习环节，否则，进入步骤6选择Action步骤；

步骤6选择Action，设置epsilon值，若随机值>epsilon，将State值，输入估值网络，输出Q_e值，取max(Q_e)所对应的Action，若随机值<epsilon，则根据此时State值，令Action＝random(N^A)，此时N^A为对应State值的算子序号；其中，Action有具体为以下三大类算子：局部优化算子、变异算子和破坏与重构算子，将变异算子与破坏重构算子合为一类，如表1，表1为底层算子表：

表1

局部优化算子，主要是通过点或者部分交换以及重定位的方式，对路径进行优化，作用后能够绝对判别作用效果(Reward值大，则效果好，反之效果差)，变异算子，主要起到扰动作用，作用后作用效果并非可以绝对判别，1)—3)是路径内局部优化算子；4)—6)是路径间局部优化算子；7)—11)为变异算子。

步骤7保留最优解，若fit<＝F_B，F_B＝fit，P_B＝Ind，反之则舍弃；

步骤8选择学习样本，并初始化神经网络，从EP中随机挑选N^S组，作为学习样本，记为ESP。初始化估值网络和目标网络的阈值和权值ω_e、b_e、ω_t和b_t。

步骤9神经网络学习更新，估值网络中输入

为ESP样本中第nS个样本中的State值，计算后取

目标值网络中输入

计算后取max(Q_t)，利用式(2)，计算损失值Loss，更新估值网络ω_e和b_e；

步骤10更新目标值网络，判断学习代数Ln≥LN，则令ω_t、b_t替代ω_e、b_e的值；

步骤11判断学习结束情况，若学习代数Ln≤(3/4)*N^S，则进入步骤8继续学习更新。反之，则进入步骤6选择Action，返回主循环；

步骤12程序结束，输出车辆路径距离最优值及最优值路径序列。

本发明在CVRP车辆路径上算法具有较强的搜索能力和稳定性，除了可以用于求解车辆路径问题，还可以通过改变底层算子的设计应用于其他的组合优化问题。补充说明，以上实施例仅用于说明本发明的技术方案，并非对其限制。本领域的技术人员应当理解本发明的技术特征，可对前述技术方案进行修改，或者等同替换其中的部分技术特征，但不能使其技术方案的本质脱离本发明的实施例技术方案的精神和范围。

Claims (2)

1.一种基于强化学习的超启发算法的车辆路径优化方法，其特征在于，所述方法包括以下步骤：

步骤1车辆路径问题分析，采用Augerat’s instances数据集，车辆路径问题的成本矩阵的元素是欧几里得距离；假定配送中心设为P＝0，客户点设为i，客户点总数设为L，i∈L，最多车辆数设为K，每辆车具有相同载重量为q，每个客户点需求量设为d_i，客户点i到客户点j的距离设为c_ij，优化的目标是行驶距离最短，一个完整的解包含了全部路径的集合；

步骤2初始化，先生成Npop组个体的种群，得到最小路径，利用聚类思想划分，h块区域，得KC块，由KC块随机挑选生成可行解组p，可行解组p的元素p_i＝p₁,p₂,p₃,…,p_NP，计算种群适应度f，种群适应度f的元素f_i＝f₁,f₂,f₃,…,f_NP；随机挑选一组可行解p_i以及对应适应度值f_i，设p_b为最优解个体，f_b为最优适应度值，设LLH算子数量为N^A，初始化p_b＝p_i，f_b＝f_i，State＝0，Action＝random(N^A)，其中Action取值为1至N^A中的任何一个整数，表示从范围1至N^A随机挑选一个整数作为Action的值；

步骤3经验池、序列池存储，操作上步Action＝random(N^A)后，产生的个体为Ind，适应度值为fit，根据适应度值，判断立即回报值Reward，此时状态即为“下一个状态”，判断该State和State^t所属状态，利用式(1)计算State^t值：

State^t＝-(fit-fit')/fit'+Ck (1)

设由EP代表经验池，将上述值存入，则EP_nE＝[State,Action,Reward,State^t]，nE代表经验池中数据组数；当达到设定次数后，判断此时State值所属状态，如果为15≤State≤25，则此时Action为路径内算子，对此时的序列进行筛选，质量优则存入SP，SP代表序列池，反之，则更新序列；SP设常量Q_sp为容量，且每次对比SP中序列，若此时序列在SP中有对应序列集，则SP中序列计数一次，当SP容量已满，则刷新对比次数最少的序列；

步骤4解的接受保留，判断，如果fit<fit′，则说明此时解的适应度值更好，则保存解及解的适应度值，令State＝State^t，fit′＝fit；如果fit≥fit′，则采用模拟退火判别，随机产生一个值，若退火概率p>随机值，则同样保留好解，同时更新状态，反之，则舍去该解，此时State^t＝State，fit′＝fit′；

步骤5判断经验池容量，判断经验池内组数nE，nE≥N^E，则进入步骤8学习环节，否则，进入步骤6选择Action步骤；

步骤6选择Action，设置epsilon值，若随机值>epsilon，将State值输入估值网络，输出Q_e值，取max(Q_e)所对应的Action，若随机值<epsilon，则根据此时State值，令Action＝random(N^A)，此时N^A为对应State值的算子序号；

步骤7保留最优解，若fit≤f_b，f_b＝fit，p_b＝Ind，反之则舍弃；

步骤8选择学习样本，并初始化神经网络，从EP中随机挑选N^S组，作为学习样本，记为ESP，初始化估值网络和目标值网络的阈值ω_e、ω_t与估值网络和目标值网络的权值b_e、b_t；

步骤9神经网络学习更新，估值网络中输入

为ESP样本中第nS个样本中的State值，计算后取

目标值网络中输入

利用式(2)，计算损失值Loss，更新估值网络的阈值ω_e和权值b_e；

γ是折扣率；

步骤10更新目标值网络，判断学习代数Ln≥LN，则令ω_t、b_t替代ω_e、b_e的值；

步骤11判断学习结束情况，若学习代数Ln≤(3/4)*N^S，则进入步骤8继续学习更新，反之，则进入步骤6选择Action，返回主循环；

步骤12程序结束，输出车辆路径距离最优值及最优值路径序列。

2.如权利要求1所述的一种基于强化学习的超启发算法的车辆路径优化方法，其特征在于，所述步骤2中，生成初始种群组的过程如下：

2.1)对于其中任意一条路径，先设配送中心点为P＝0，即该路径两端点都记为0；随机从L个客户点中挑选部分客户点，加入该路径的首尾两端点中间，判断该车辆现载重量情况；

2.2)从剩下的客户点中继续随机挑选，依次加入路线，直到超出标准载重量，则产生第二条路径；将超出标准载重量的点，加入新路线中；重复循环，当所有客户点都被选取，则一个初始种群个体生成；

2.3)多次进行上述操作，生成设定数量个体的种群，数量为Npop，对Npop个个体进行路径判断，选出具有最短路径数的个体，记最短路径数为n，将n作为划分块的数量；

2.4)计算所有客户点与仓库点的距离c_i0，为了节省聚类分类的时间，将c_i0升序排列，只取前m个点作为聚类中心点，设聚类中心点为L^KC，KC＝1,2,3,…,m，KC代表聚类块，以除聚类中心点外的其他客户点，与各聚类中心的距离最短为原则，进行聚类；

2.5)随机排列KC块，按车辆载重量分配，依KC块排列顺序，随机挑选客户，若KC块中客户点未能满足第k车辆载重，则向KC+1块中随机抽取客户点，直至达到第k辆车载重要求，反之则向后延用至k+1辆车，共组成n条路径，由此产生一个初始解个体。

Images