CN113919772A

CN113919772A - 一种含时间窗的时变车辆路径规划方法及系统

Info

Publication number: CN113919772A
Application number: CN202111130874.5A
Authority: CN
Inventors: 亓瑞; 李俊青
Original assignee: Shandong Normal University
Current assignee: Shandong Normal University
Priority date: 2021-09-26
Filing date: 2021-09-26
Publication date: 2022-01-11

Abstract

本发明公开了一种含时间窗的时变车辆路径规划方法及系统，该方法包括：获取基础数据，根据基础数据和含软时间窗的时变绿色车辆路径规划多目标优化模型，得到最优规划路径；其中，所述含软时间窗的时变绿色车辆路径规划多目标优化模型的构建过程包括：将含软时间窗的时变绿色车辆路径规划多目标优化模型定义为一个完整的完全有向图，所述完全有向图由顶点集和边集合组成，所述顶点集包括顾客集合和车辆集合，每个顾客都与服务时间、商品需求和时间窗口相关联，每条边表示相应的车辆路径；同时将多目标优化模型定义为三维目标最小化问题，结合完全有向图和三维目标最小化问题得到最优规划路径。

Description

一种含时间窗的时变车辆路径规划方法及系统

技术领域

本发明属于车辆路径优化技术领域，尤其涉及一种含时间窗的时变车辆路径规划方法及系统。

背景技术

本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。

在现代交通运输业，由Dantzig和Ramser引入的车辆路径问题(vehicle routingproblem，VRP)已经被Lenstra和Kan证明这是一个NP难问题。VRP已被广泛应用和研究，比如易腐产品运输、冷链运输，快递运输等。同时，在环境污染和全球变暖的压力下，以提高能源效率和减少碳排放为目标的绿色车辆路径问题(green vehicle routing problem,GVRP)已经成为世界范围内的研究热点。传统的绿色车辆路径问题并未综合考虑现实情况，现实情况较为复杂，需要同时考虑经济效益、环境效益和社会效益等相互冲突的目标。

在车辆路径问题研究中，顾客之间运输时间的衡量被认为是一个关键问题。大多数技术都将运输时间简化为一个常量，现有技术研究了以新能源为动力的带容量约束的绿色车辆路径问题(capacitated green vehicle routing problem,CGVRP)，并采用带竞争的模因算法进行求解，还有专注于危险品运输，道路上风险固定为路径上的权重，利用一种有效的基于扰动的局部搜索算法来解决自然灾害发生时救灾物资的运输问题。Ghannadpour和Zandiyeh采用自适应多目标遗传算法解决了贵重商品配送问题。上述技术方案均忽略了运输时间对实际问题的影响。值得注意的是，在实际应用中，运输时间应该需要得到更加明确的处理。现有技术很少考虑这一具有挑战性的约束。

如使用一般函数形式来代替三角模糊数作为行程时间，或提出一天中的时间差异将影响运输时间，通过进一步分析证明，交通拥堵引起的车速变化是影响车辆运输时间变化的主要原因。最近，现有技术利用一种结合遗传算法(genetic algorithm,GA)和变邻域搜索(variable neighborhood search,VNS)的混合算法解决了时间依赖的多仓库GVRP问题，或研究了以最小化总路线持续时间为目标的时间依赖且带时间窗的车辆调度问题(time-dependentvehicleroutingproblemwithtimewindows，TDVRPTW)，以及以最小化所有行程的行程距离为目标的多行程TDVRPTW。然而，研究仍然局限于单目标 TDVRPTW概念。

此外，许多类型的多目标进化算法(multi-objective evolutionaryalgorithms,MOEAs)已经发展并应用于求解连续和离散优化问题。与单目标算法相比，多目标优化算法具有可以很好的平衡冲突目标的能力，因此越来越受到研究者的关注。MOEAs是一种群智能算法，它通过个体之间的交互来传递信息并且遵循适者生存的原则。基于支配的 MOEA可以将多个目标置于同一优先级，利用支配关系来决定当前的解决方案是否应该保留。这样，决策者可以得到更合理的方案，然后根据实际情况进行选择。通常来说， MOEAs的进化过程主要包括交配、重组和环境选择三个步骤。然而，对于VRP而言，通过变异和交叉产生的扰动非常大，在指定的时间或迭代次数下很难收敛到帕累托最优。因此，引入局部搜索策略，充分利用已有解，加快收敛速度。在以往的研究中，多数文献采用等概率方法选择局部搜索策略，但这种方法忽略了进化过程中产生的知识。

发明内容

为克服上述现有技术的不足，本发明提供了一种含时间窗的时变车辆路径规划方法及系统，本发明通过建立考虑客户满意度、总持续时间和能耗的多目标TDGVRPTW模型，基于多目标模型提出混合初始化策略求解初始解，同时提出了两种交叉策略进一步引导和加速算法的收敛，将基于Q-learning的自适应局部搜索方法嵌入增强局部搜索能力，最后通过设计一种奖励更新方法来平衡多目标。

为实现上述目的，本发明的一个或多个实施例提供了如下技术方案：

一种含时间窗的时变车辆路径规划方法，包括如下步骤：

获取基础数据，所述基础数据包括顾客信息和车辆信息；

根据当前基础数据和含软时间窗的时变绿色车辆路径规划多目标优化模型，得到最优规划路径；

其中，所述含软时间窗的时变绿色车辆路径规划多目标优化模型的构建过程包括：

将含软时间窗的时变绿色车辆路径规划多目标优化模型定义为一个完整的完全有向图，所述完全有向图由顶点集和边集合组成，所述顶点集包括顾客集合和车辆集合，每个顾客都与服务时间、商品需求和时间窗口相关联，每条边表示相应的车辆路径；同时将多目标优化模型定义为三维目标最小化问题，结合完全有向图和三维目标最小化问题得到最优规划路径。

一个或多个实施例所述对每个可行解进行编码和解码具体包括：

将每个可行解都可以被编码成一个二维向量，所述二维向量包括客户服务序列向量和每个车辆的调度序列，所述每个车辆的调度序列与客户服务序列向量相同，表示客户和车辆的对应关系，将编码的可行解进行解码，根据每个车辆的调度顺序，分别计算每个目标得到从节点i到节点j的运输时间。

一个或多个实施例所述混合初始策略包括四种特定问题的启发式方法：随机方法、 k-最近邻启发式、改进的前推插入启发式和最早优先时间启发式。

一个或多个实施例基于帕累托前沿的交叉策略探索搜索空间具体包括：

所述交叉策略包括相似客户顺序交叉、客户块顺序交叉、最佳成本-最佳路径交叉以及改进的PTL。

一个或多个实施例所述通过Q-learning算法具体包括：

感知当前环境的状态，根据Q表选择预测动作；

行动在当前环境中执行并获得奖励价值；更新Q表；

设计了考虑目标间相对缩减的奖励计算新方法，如果奖励为负值，则贡献度小，Q值下降，否则，Q值上升。

一个或多个实施例所述得到最优规划路径之前，对每个可行解进行编码和解码，采用混合初始策略得到初始解；在初始解的基础上基于帕累托前沿的交叉策略探索搜索空间和通过基于Q-learning的自适应局部搜索方法嵌入增强局部搜索能力以及奖励更新方法来平衡多目标得到三维目标最小化问题的最优解。

一个或多个实施例所述三维目标最小化问题包括旅行时间最小、能耗最低及顾客满意度得分最高。

一个或多个实施例所述多目标优化模型包括约束条件，所述约束条件包括返回时间约束、车辆容量约束、单次访问约束、软时间窗假设、车辆类型假设以及出发时间假设。

一个或多个实施例提供了一种含时间窗的时变车辆路径规划系统，包括：

数据获取模块，其被配置为：获取基础数据，所述基础数据包括顾客信息和车辆信息；

最优规划路径模块，其被配置为：包括如下步骤：

一个或多个实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述所述任意一种含时间窗的时变车辆路径规划方法的步骤。

一个或多个实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述所述任意一种含时间窗的时变车辆路径规划方法的步骤。

以上一个或多个技术方案存在以下有益效果：

本发明建立考虑客户满意度、总持续时间和能耗的多目标TDGVRPTW模型，基于多目标模型提出混合初始化策略求解初始解，同时提出了两种交叉策略进一步引导和加速算法的收敛，将基于Q-learning的自适应局部搜索方法嵌入增强局部搜索能力，最后通过设计一种奖励更新方法来平衡多目标。

附图说明

构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

图1为本发明实施例中本发明实施例中含时间窗的时变绿色车辆路径规划整体方法流程图；

图2为本发明实施例中速度时间关系图；

图3(a)为本发明实施例中在时区z_r内行驶的距离；

图3(b)为本发明实施例中节点i到j的距离。

图4为本发明实施例中弧(i，j)在任意出发时间t处的运输时间函数；

图5为本发明实施例中顾客满意度函数；

图6(a)-图6(c)为本发明实施例中可行解的例子；

图7(a)-图7(b)为本发明实施例中客户顺序交叉流程；

图8为本发明实施例中客户块顺序交叉流程；

图9为本发明实施例中IPTL流程；

图10(a)-图10(d)为本发明实施例中BCBRC流程；

图11(a)-图11(d)为本发明实施例中四种突变策略；

图12为本发明实施例中Reward计算过程；

图13(a)-图13(j)为本发明实施例中5个局部搜索算子邻域函数；

图14(a)-图14(b)为本发明实施例中C101_100和R101_100的最终PF；

图15(a)-图15(b)为本发明实施例中95％置信区间下cr和LSr的HV变化趋势图；

图16为本发明实施例中RV的均值图；

图17为本发明实施例中通过不同算法获取的C102_100的初始PF；

图18(a)-图18(b)为本发明实施例中QMOEA-SC和QMOEA-SC的ANOVA分析；

图19(a)-图19(f)为本发明实施例中五种不同算法，在不同顾客组下IGD和HV的箱图；

图20(a)-图20(b)为本发明实施例中C102最优解的生成过程；

图21(a)-图21(d)为本发明实施例中算例的顾客分布和最优解。

具体实施方式

应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/ 或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

实施例一

如图1所示，本实施例公开了一种含时间窗的时变车辆路径规划方法，包括如下步骤：

S101：获取基础数据，所述基础数据包括顾客信息、车辆信和仓库信息；

具体的，所述顾客信息包括：1)顾客需要的货物量；

2)顾客的地理位置，也就是坐标；

3)顾客的设置的最优送达时间段和可接受时间段，两个时间段是包含关系，即最优送达时间在可接受时间段之内；

所述车辆信息包括车辆的最大容量等信息；

所述仓库信息包括仓库工作的开始时间和结束时间。

S102：将当前基础数据输入至含软时间窗的时变绿色车辆路径规划多目标优化模型，得到最优规划路径；

作为一个或多个实施例，所述多目标优化模型定义为一个完整的完全有向图G(C′，E)，其中，C′＝C∪{c₀}是一个顶点集，其中C＝{c₁，c₂，...，c_n}是包含n个顾客的集合，c₀表示车辆的起始顶点和结束顶点。每个顾客i∈C都与服务时间s_i、商品需求q_i和时间窗口[ee_i，ll_i]相关联，每辆车的最大容量为Q。

路径R表示为从仓库出发，访问客户序列，然后返回仓库的节点序列， E＝{e(i，j)|i，j∈C，i≠j}是边的集合，每条边都有一个斜率w_ij和类别η，即快、中、慢速路段，t_ij定义为节点i与节点j之间的持续时间，如图2所示其值与距离d_ij与时区p内的速度s_p有关。

模型的约束条件包括：

(1)返回时间约束C₁：车辆必须在仓库关闭之前，返回仓库；

(2)车辆容量约束C₂：不能超过车辆容量；

(3)单次访问约束C₃：每个客户只被服务一次；

(4)软时间窗假设S₁：客户c_i允许车辆提前到达(＜ee_i)和延迟到达(＞ll_i)，这会影响顾客满意度；

(5)车辆类型假设S₂：使用同质车队；

(6)出发时间假设S₃：对于仓库，车辆的出发时间为零。

本实施例中，将多目标优化函数定义为三维目标最小化问题，具体包括：随时间变化的旅行时间函数f₁(x)、能耗函数f₂(x)以及顾客满意度函数f₃(x)；表示为：

MinimizeF(x)＝{f₁(x)，f₂(x)，f₃(x)} (1)

其中，x是搜索空间Ω中的决策向量。

作为一种或多种实施例，所述旅行时间函数f₁(x)的构建过程如下：

工作日T被划分为p个时区，即T＝{z₁，z₂，...，z_r，...，z_p}。

如图2所示，所述旅行时间函数Γ(·)为分段线性函数，对于给定的边e(i，j)，旅行时间t_ij可能需要跨越多个时区，距离d_ij的构成如图3(b)所示；若车辆k在时区z_r＝[tt_r-1，tt_r] 内从节点i出发到节点j的开始时间记为

则最大行驶时间为：

令连续变量

分别表示最大行驶距离、实际行驶距离和剩余行驶距离。图3(a)示出了这三种距离之间的关系，即

根据现有技术可知，如果速度时间函数为阶梯形函数，则对于任意的e(i，j)，

j∈ C′，i≠j，运输时间函数τ(·)为图4所示的分段线性函数。

将旅行时间函数τ(·)可建模为分段线性函数：

假设每个e(i，j)最多跨越两个时区。如图4所示，z_r时区由

和

两部分组成。其中

是断点。当车辆在

内离开节点i时，车辆只需要一个时间段，因此行驶时间是一个固定值。相反，当车辆在

范围内出发时，由于车辆跨越多个时间段，行驶时间会发生变化。因此，在时间段

内，函数斜率

及其与y轴的交点

被表示如下：

由上可知，如果出发时间

发生在z_r内，则运输时间计算方式如下：

如果车辆k在z_r时区内从节点i出发到节点j，

为1；否则，设置为0。因此，e(i，j)的运输时间可由式(5)计算：

车辆总运输时间f₁(x)可被表示为：

作为一种或多种实施例，所述能耗函数f₂(x)的构建过程如下：

车辆k在e(i，j)中的碳排放量为：

式中e，G_ij，

分别为空载环境、行车速度v和坡度为零时下的碳排放量，坡度修正系数，负荷修正系数。

e＝(110+0.000375·v³+8702/v) (8)

其中，w_ij是e(i，j)的斜率，

为车辆k在e(i，j)上的载重与能力之比；

ω和v分别为单位燃料消耗成本和碳排放成本。

车辆k对e(i，j)的油耗率为：

因此，能耗f₂(x)表示为：

式中，ω和θ分别为单位燃料消耗成本和碳排放成本。

作为一种或多种实施例，所述客户满意度函数f₃(x)的构建过程如下：

在现实的物流系统中，顾客满意度是衡量物流配送效率的最重要的指标之一。为了更准确地测量客户满意度，如图5所示，采用评价方法将客户满意度建模为分段函数；

将时间窗口分为两部分，包括首选时间窗口[e_i，l_i]和允许时间窗[ee_i，ll_i]；

同时，将客户满意度得分为五个层次，所述五个层次客户满意度得分依次递增，即第一层次客户满意度得分小于第二层次的客户满意度得分，第二层次的客户满意度得分小于第三层次的客户满意度，以此类推，第五层次的客户满意度得分最高。如果顾客在要求的时间得到服务，客户满意度得分为满分；反之，客户满意度得分随着车辆到达时间与期望时间差值的增大而逐渐降低。

当车辆在t时刻到达顾客i，这里有四种情况，顾客满意度cs_i(t)表示为：

其中，

并且ξ∈{1，2，3}。

进一步地，客户满意度可以表示为：

S104：基于多目标优化函数，采用基于Q-leaming的多目标进化算法求解得到初始解；

具体包括：

(1)将现有技术的初始策略替换为混合初始策略，所述混合初始策略包括四种特定的启发式，生成高质量和多样化的初始解；

(2)基于Pareto-front的交叉策略，从近似Pareto-front中学习知识，激素收敛过程，得到搜索空间；

(3)基于Q-learning的自适应局部搜索方法，提高局部搜索能力；

具体实现如下：

(1)个体评估总数目设置为终止条件；(2)Ps、Cr、LSr分别为种群规模、交叉率和局部搜索率；(3)交叉和变异阶段采用随机方法进行策略选择；(4)近似PF的生成和更新采用非支配策略。

S105：将每个可行解都可以被编码成一个二维向量，所述二位向量包括客户服务序列向量L₁和每个车辆的调度序列L₂，所述每个车辆的调度序列L₂与第一个向量长度相同，表示客户和车辆的对应关系；

客户服务序列向量L₁，包含N个整数，其中N为客户数量。需要注意的是，向量L₁是用车辆容量约束和仓库的关闭时间来划分的。

为了加速交叉和变异操作，车辆的访问序列中没有添加起始和终止节点。

将编码的可行解进行解码，根据每个车辆的调度顺序，分别计算每个目标得到从节点i到j的运输时间t_ij；

图6(a)-图6(c)为一个解决方案示例，其中有9个顾客和3辆车。三条路径分别被构造为r₁＝{3，5，9}，r₂＝{7，1，6}和r₃＝{8，2，4}。

具体的运算时间的计算过程如下：

为了生成性能更好的初始解，嵌入混合初始解策略，所述混合初始策略包括四种特定于问题的启发式方法：随机方法、k-最近邻启发式(k-NNH)、改进的前推插入启发式(IPFIH)和最早优先时间启发式(EPH)。

假设假设m表示初始种群规模，具体嵌入过程如下：

1)用随机方法生成m/4可行解；

2)用k-NNH生成m/4个可行解；

考虑到客户聚类的情况，采用了k-NNH算法。当车辆k服务客户i时，从当前客户i的k近邻中随机选择下一个客户，运行K-NNH多次，将得到几个不同的初始解。显然，k 的值决定了多样性的程度。

优选地，将k设为顾客数的1/5。

3)通过IPFIH生成m/4个可行解；

所述IPFIH生成m/4个可行解的为：

选择第一个客户i，其中d_0i表示客户i与仓库的距离，ll_i为客户i的可接受的最大的允许时间窗，p_i为客户i在仓库的极坐标角。

需要注意的是，h_i的值越大，客户被选中的概率就越大。

受k-NNH的启发，从式(15)中得到k个最大的h中随机选取下一个需要服务的顾客，其中p₁为第一个顾客的极坐标角。多次运行此过程将得到不同的初始解决方案。

所述IPFIH的实现过程包括：

4)用EPH生成m/4个可行解。

针对时间窗较窄的客户，设计了EPH。具体内容如下：

首先，生成一个包含所有客户的随机序列F；然后，将F中的客户i依次插入到当前车辆v中，其中，当前车辆v中的客户集合Π按照优先时间窗的最早开始时间进行非升序排序。至少重复一次，直到F中所有的客户都拜访完毕。EPH的过程在算法具体为：

作为一个或多个实施例，基于Pareto-front的交叉策略，从近似Pareto-front中学习知识，激素收敛过程，得到搜索空间具体包括：

所述交叉策略包括相似客户顺序交叉(SCOX)和客户块顺序交叉(CBOX)两种交叉算法，在充分利用非支配解集信息的基础上，增强了算法的能力。此外，还采用了最佳成本-最佳路径交叉(BCBRC)和改进的PTL(IPTL)来探索解空间，防止算法陷入局部最优。

四种交叉方法的过程如下：

SCOX：首先从PS中选取在每条路线的每个位置出现次数最多的顾客构建一条临时路线，然后从种群中随机抽取两个父代，将每个父母在每条路线上的顾客位置与临时路线进行比较。如果它们是相同的，客户就被放在其后代的同一个位点上。最后，后代的空位置按照另一父代的客户顺序进行填补。

SCOX的整个过程如图7(a)-图7(b)所示。

下面用一个例子来说明SCOX的过程。假设PS中有三个非支配解，记为π_i，i＝1，2，3，每个解包含9个客户。解决方案如下：

π₁＝{[9，6，7]，[2，4]，[3，5，1，8]}

π₂={[3，1，7]，[5，8，2]，[6，4，9]}

π₃＝{[1，4，2，7]，[3，6，5，8]，[9]}

步骤1：计算PS中，最大路径的长度作为临时路径的大小。此时，临时路由的长度为4。

步骤2：找到每个位置k(k＝1，2，...，4)出现次数最大的客户。例如，每个客户 i(i＝1，2，...，9)出现在位置1的次数分别为1，1，3，0，1，1，0，0和2。同理，每个客户i在位置2、3、4出现的次数如下：

Position 2：1，0，0，3，1，2，0，1 and 0

Position 3：1，2，0，0，1，0，2，0 and 1

Position 4:0，0，0，0，0，0，1，2 and 0

然后在每个地点选择频率最高的顾客，形成一条临时路线(3，4，2，8)。

随后，从种群中随机选择两个父代，例如p₁＝{[3，1，9，8]，[2，4，7]，[5，6]}和 p₂＝{[5，1，2]，[3，6]，[8，4，7，9]}。然后将父代中的每条路线与临时路线进行比较，找到同一地点的顾客并保留他们。因此，父代1中顾客3、4、8的位置留给后代1。同样，父代2中的客户位置，即3、4和2，保留给后代2。

最后，使用在后代1中不存在的并且按照父代2的客户顺序来填充空白位置。因此，顾客(5、1、2、6、7、9)按顺序放置到了后代1中。同样，后代2(1、9、2、3、8、7、4、 5、6)被产生。

CBOX:首先，由PS中出现次数最多的顾客对构建临时集。然后，从种群中随机抽取两个亲本，将亲本与临时集比较，保留相同的顾客对给后代。最后，空白位置使用不重复的顾客进行填充。整个过程如图8所示。

下面我们用同样的例子π_i，i∈{1，2，3}来解释CBOX的过程。

第一步:建立一个临时集。首先，计算PS中各个路径中客户对出现的次数，如客户1在其他客户之前被服务的次数分别为0，0，0，1，0，0，1，1和0。因此，(1，4)是临时集合中的第一个客户对。同样，客户2-9在其他顾客之前服务的次数能够被统计:

Customer 2:0，0，0，1，0，0，1，0 and 0

Customer 3:1，0，0，0，1，1，0，0 and 0

Customer 4:0，1，0，0，0，0，0，0 and 1

Customer 5:1，0，0，0，0，0，0，2 and 0

Customer 6:0，0，0，1，1，0，0，0 and 0

Customer 7:0，0，0，0，0，0，0，0 and 0

Customer 8:0，1，0，0，0，0，0，0 and 0

Customer 9:0，0，0，0，0，1，0，0 and 0

最后，临时集合{(1，4)，(2，7)，(3，1)，(4，2)，(5，8)，(6，5)，(8，2)，(9， 6)}。

步骤2:随机选择两个父代，例如，P₁＝{[3，1，9，6]，[2，4，7]，[5，8]}和 P₂＝{[5，6，4]，[3，1]，[8，2，7，9]}。和临时集合进行比较，如果在父代中发现了相同的客户对，将其保存进后代。因此，亲本P1中的顾客对(3，1)和(5，8)在后代1中保留。同样，父代P2中的顾客对(3，1)和(8，2)在后代2中保留。然后，使用与SCOX相同的方式，将剩余的客户填补到后代的空缺位置。

IPTL:IPTL方法保留部分父信息。首先，子代1和子代2分别具有父代1和父代2 的所有序列。接下来，从亲本1和亲本2中随机选取两个点，然后截取这两个点的一部分，复制到后代的前面。最后，删除重复客户，保持客户的唯一性。图9显示了IPTL 的整个过程。

BCBRC:BCBRC可以同时减少总持续时间和车辆数量。每个父代的具有最小运行时间的路径分别被保留为C₁和C₂。然后，从另一个父节点删除保留的客户。如图10(a)- 图10(d)所示，P₂去掉客户C₁＝{2，4，7}。最后，将被移除的客户插入获取最短时间的位置。

为了进一步避免过早收敛，我们采用了四种基本的变异算子来产生随机变化，分别是reverse，relocate，swap，and exchange，如图11所示：

图11(a)中，Reverse:随机选择两个位置，翻转其中客户的顺序。

图11(b)中，Exchange:从每条路线中随机选择2个位置进行交换。

图11(c)中，Relocate:随机选择一个客户并将其分配到随机的位置。

图11(d)中，Swap:随机交换当前路由中的两个位置。

基于Q-learning的自适应局部搜索方法，具体包括：

首先，算法感知当前环境的状态，根据n·n的Q表选择以下预测动作。然后，行动在当前环境中执行并获得奖励价值。最后，根据式(16)更新Q表：

Q(s_t,a_t)＝(1-α)·Q(s_t,a_t)+α·[r_t+1+γ·max Q(s_t+1,a_t+1)](16)

式中，t，α，γ，r，s，a分别为当前时间，学习率，折现因子，奖励，状态，动作。

此外，设计了一种考虑目标间相对缩减的奖励计算新方法，具体描述如下:

其中p_i和o_i分别为父代和子代的第i个目标值。奖励值越大，选择的策略就越好。这样，在同一优先级下同时考虑多个目标。

如果奖励为负值，则贡献度较小，Q值下降；否则，Q值会上升，这意味着下次策略被选中的概率会增加。

如图12所示，对于三个目标的最小化问题，P＝(6，8，4)和O＝(4，5，8)分别为父代和子代的目标值集。然后，奖励由式(17)计算，奖励＝0.21。

此外，在动作选择中还使用了ε-greedy策略，以提供一定的随机性，防止陷入局部最优，如算法5所示。该方法有ε概率随机选择一个动作，有1-ε概率采用Q表得到当前状态下的最佳动作。而且随着迭代次数的增加，ε以decayrate递减。

将q学习、多目标奖励和ε-贪心方法结合在一起，称之为基于q学习的自适应局部搜索。详细说明如下:(1)Q表初始化为0～0.25之间的一个随机数。(2)Q-learning用于从四个邻域算子中选取一个。(3)每个个体都要被提高，直到不能得到进一步的改进为止。(4)考虑约束条件(C₁-C₂)，采用式(17)判断当前解是否被采用。

为了探索解空间和加速收敛，采用局部搜索算子，

Internal2-opt是为了解决由于车辆路径交叉导致的车辆行驶距离变长的问题。如图13(a)和图13(b)所示，r＝[0,2,5,4,9,0]为车辆行驶路线。然后，边(2,5)和(4,9)被边(2,4)和(5,9)替换。则r′＝[0,2,5,4,9,0]被获取。

Internal or-opt通过改变三条边的连接来得到最优解。如图13(c)和图13(d)所示，将(2，8)，(3，4)，(5，9)替换为(2，4)，(5，8)，(3，9)得到r₁′＝[0，2，4，5，8，3，9，0]。值得注意的是，客户3和客户8的服务顺序都是一样的。

External exchange致力于在不同的路线中交换客户的位置。如图13(e)和图13(f)所示，随机选择一个解中的两条路线，如r₁＝[0，2，6，7，0]和r₂＝[0，9，4，5，0]，顾客4和顾客6 进行替换，得到r₁′＝[0，2，4，7，0]和r₂′＝[0，9，6，5，0]。

External 2-opt＊是Internal 2-opt的延申，目的是为了修改不同路径中的两条边。如图13(g)和图13(h)所示，将不同路径的边(2，5)和(9，4)替换为(2，4)和(9，5)。r₁′＝[0，2，4，0]和 r₂′＝[0，9，5，0]分别被获取。

External relocate选择客户，然后将其从一条路径移动到另一条路径。如图13(i)和图13(j)所示，r₁＝[0,2,6,7,0]和r₂＝[0,9,5,0]是两条随机选取的路线。顾客6从r₁移动到r₂，得到r′₁＝[0,2,7,0]和r′₂＝[0,9,6,5,0]。

为了验证所提出的算法，标准基准实例和特定问题实例分别被介绍。随后，为了进一步提高算法的性能，我们对算法进行参数优化。接下来，设计了一系列相关的实验来验证所提出的策略的有效性。同时，将该算法与其他多目标进化算法进行了比较。最后，在VRPTW实例上对算法进行了测试。

所有算法实现依托PlatEMO平台，所有测试都在Intel(R)Core(TM)i5-6300HQ CPU@2.30GHz、8GB RAM的笔记本电脑上执行。

Solomon根据客户分布情况将56个实例分为三类，C，R和RC分别表示客户聚类分布，客户随机分布，C和R的组合分布。每一类又按照顾客时间窗的大小分为短调度期和长调度期，记为1和2。

实验算例：

TDGVRPTW实例基于Solomon实例和Dabia数据集生成。每个算例能命名为t_k_s，其中，t为三类分布t∈{C，R，RC}，k为时间窗口类型k∈{1，2}，s为客户数量 s∈{25，50，100}。总共有168个实例。每个类别的客户数量、仓库开放时间、车辆容量和服务时间均为已知量，由表1可见。表2显示了每个时区的速度水平。时间范围l₀划分为5个时区。此外，按照道路不同的特点，将速度划分为三级，即快，中，慢速。道路坡度值由0-1均匀分布产生。碳排放和燃料消耗模型的系数ω和θ分别设置为7.5和0.06。在公式(16)中α，γ，ε和decayrate分别设为0.1、0.9、0.05和0.999。

表1算例信息

表2每个时间段的速度信息

评价指标

所有算法都独立运行10次，每个实例的最大计算次数设置为20000次。然后，合并所有算法的近似PF，得到每个实例的最终PF。图14(a)和图14(b)展示了C101_100和 R101_100的最终PF。

采用的性能指标如下:

超体积(HV，Hypervolume)作为评价算法性能的指标，该指标是在参考点[3.1，3.1， 3.1]下，所有目标值经过归一化计算得到的。因此，以参考点和PF围成的边界区域作为衡量解的收敛性和多样性的依据，HV值越高，解的质量越好。

反转世代距离(IGD，Inverted generational distance)指标用来测量近似PF与最终 PF之间的距离，IGD值越小，表明近似最优解越接近最终PF。

相对增长(RPI，Relative percentage increase)也用于分析在同一实例中比较算法的所有数据。RPI值由式(18)计算：

其中，D_c为比较算法得到的1-HV或IGD的值，D_b为1-HV或IGD的最佳值。与 HV一样，RPI值越低，近似最优解的质量越好。

为了研究关键参数(交叉率Cr和局部搜索率LSr)对QMOEA的影响，采用实验设计方法(DOE)对QMOEA参数进行校准，最大评价次数设置为3000次。例如，对于顾客数目为25，50和100的算例种群大小PS分别设置为30，50和100。表3列出了这两个参数的参数水平。

表3 Cr和LSr的水平设置

一种全因素分析方法被使用，两种因素共有6×6＝36种不同的组合形式。从每个C1， C2，R1，R2，RC1和RC2中各随机选择6个算例。使用这36个实例，每个算例独立运行5次，来校准所提出的QMOEA。参数Cr和LSr HV值的95％置信区间，见图15。

从图15(a)可以看出，Cr＝0.15时HV值更好。这一点之后，算法的性能随着Cr的增加而逐渐下降。同样，对于图15(b)所示的局部搜索水平，当LSr＝0.5时，算法的稳定性或HV值均可获得最优值。由此得到最优参数组合，即Cr＝0.15，LSr＝0.5。

为了证明初始策略的有效性，我们设计了两种算法，即QMOEA-R只采用随机策略，QMOEA-H采用混合策略。QMOEA-R和QMOEA-H分别在所有算例中独立运行30次且只获取第一代种群的非支配解集。我们将各个算例每次运行得到的HV记为RV (Response Variable)。RV的均值图见图16。为了更加清晰，根据客户数量s∈{25，50，100}，图16被分为三个部分。

从图16可以看出，QMOEA-H远远优于QMOEA-R。在168个算例中有147个(87.5％)QMOEA-H的HV显著优于随机策略，表明混合初始策略可以提供高质量且多样性高的初始种群。而且，随着客户数量的增加，QMOEA-H和QMOEA-R的差异更加显著，混合策略的有效性也将更加明显。出现这种现象的主要原因是，随着客户数量的增加，解决方案的收敛性和多样性冲突变得更加明显。

图17展示了初始化阶段QMOEA-H和QMOEA-R获取到的C102_100的近似PF。我们可以清楚地看到，QMOEA-H在分布和收敛上都明显优于QMOEA-R。

表4 QMOEA-SC和QMOEA-NSC的实验结果

为了验证SCOX和CBOX的有效性，设计了两种不同类型的QMOEA算法，即不带SCOX和SBOX的QMOEA-NSC算法和带SCOX和SBOX的QMOEA-SC算法。HV 和IGD的计算结果，总结在表4中。“A”表示一组算例的平均值。例如，AC1_25是包含25个客户的C1的所有算例的平均值，即C101_25、C102_25、C103_25、C104_25、 C105_25、C106_25、C107_25、C108_25、C109_25。最好的IGD和HV值用粗体标出。表4报告了QMOEA-SC解决了18个问题中的13个(72.2％)最优性。对于IGD值，很明显QMOEA-NSC比QMOEA-SC更有效，特别是当客户数量增加时。

此外，对于所有实例的IGD和1-HV，对QMOEA-SC和QMOEA-NSC进行了无因素方差分析。方差分析结果分别如图18(a)和(b)所示。可以清楚地看到，相关指数p<0.05，说明在95％LSD(least-significant difference)区间内，SCOX和SBOX是显著有效的。

为了验证所提出的基于Q-learning的自适应局部搜索方法的性能，设计了随机选择邻域的QMOEA-NQ和带有自适应局部搜索的QMOEA-Q。两种算法对HV和IGD的计算结果如表5所示。第一列给出了18个随机选择的实例。每个实例分别由QMOEA-NQ 和QMOEA-Q运行5次，获得平均HV和IGD值。两种算法的HV对比分别在第2列和第3列给出。第4列和第5列分别提供IGD的结果。

由表5可以看出：(1)对于HV值，QMOEA-Q得到了12个最优的值，这意味着算法在收敛性和多样性上都优于QMOEA-NQ。(2)对于IGD值，QMOEA-Q获得了10个较好的值，进一步验证了自适应局部搜索方法的有效性。

表5 QMOEA-NQ和QMOEA的实验结果

求解MO-TDGVRPTW时，扩展了MOEA/D(2007)，MaOEA-CSS(2017)， RPDNSGAII(2018)，hpaEA(2019)五种算法来求解该问题。为了进行公平的比较，每个比较算法设置相同的最大评估数目，对168个实例重复10次执行。每个算例的HV和 IGD值被获取。

使用RPI对168个算例的所有数据进行分析，根据客户数量s＝{25，50，100}分为三组。图19(a)-图19(f)展示了IGD和1-HV的箱图。第一列是顾客数目分类。第 2列和第3列分别提供了五种不同算法HV和IGD的RPI。对于HV值，QMOEA算法达到了最小RPI值，在很大程度上优于所有的比较算法。而对于IGD值，QMOEA， MaOEA-CSS，RPDNSGAII，RPDNSGAII无显著差异。以上分析表明，QMOEA在解决方案的多样性方面可以获得更好的性能。50个顾客的所有算例的HV和IGD值的比较结果如表6所示。

表6对于顾客数为50算例的HV和IGD值

在不考虑坡度、车速变化和客户满意度下，在Solomon算例上进一步测试了QMOEA。基准实例已经得到了全面的研究，最优解可以直接从文献中得到。采用多目标优化算法求解该问题时，TD和NV设置为相同的优先级。同时，Tan等发现C1和C2目标之间具有正相关性，即C1和C2具有唯一解。因此，我们利用C1和C2的特性来验证算法的可靠性。

对于C1和C2，本文算法使用的参数如表7所示，计算结果如表8所示。图20(a)和(b)展示了算例C102迭代产生解的过程以及最终解。因此，实验再次验证了Tan的发现。由表8可知，QMOEA可以解决17个问题中的14个(82.4％)最优。剩下的问题与最优解决方案的差值小于1.06％。因此，该算法是有效的。

表7 QMOEA的参数

另外，图21(a)和(c)显示了C1和C2类算例的顾客位置分布，其中(40，50)处代表车场，每辆车从这里出发最终返回这里，其他点代表客顾客位置。C102和C205的最优路径分别如图21(b)和(d)所示，其中不同线条代表不同的车辆路线。

表8 C1和C2类算例的最优解

本实施例对三个目标版本的TDGVRPTW进行了研究，提出了一种基于Q-Learning的多目标优化算法，在该问题中车辆总行驶时间、能耗和客户满意度三个目标被同时考虑。首先，包含四种不同的初始方法的混合初始法被使用，以此来提高解的质量。其次，设计了两种基于帕累托前沿的交叉策略探索搜索空间，加速收敛过程。随后，通过 Q-learning算法确定局部搜索算子的序列，提高挖掘能力。最后，通过实例验证了该算法的有效性。

在未来的工作中，TDGVRPTW模型需要进一步发展，考虑更现实的约束条件，如异质车辆运输、开放式车辆运输、仓库容量限制等。此外，为了获得更好的性能，应该提取和利用各种现实工业环境中特定问题的知识。此外，还应研究深度强化学习网络和其他最先进策略的强化学习。同时，应设计更好的启发式策略，以加速解的收敛过程。

实施例二

本实施例提供了基于双通道和自注意力机制的图像语义分割系统，包括：

图像获取模块，其被配置为：获取待分割图片；

双通道特征图提取模块，其被配置为：将待分割图片分别进行两个通道的特征图提取；其中，第一个通道提取出多尺度上下文信息特征图；第二个通道出提取出像素级特征图；

特征融合模块，其被配置为：将多尺度上下文信息特征图和像素级特征图通过矩阵运算和自注意力机制学习得到每一个像素与它对应的上下文区域有关系的特征图；

语义分割模块，其被配置为：将每一个像素与它对应的上下文区域有关系的特征图输入到训练后的分类器中，输出图片语义分割结果。

实施例三

本说明书实施方式提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现实施例一中的基于双通道和自注意力机制的图像语义分割方法的步骤。

实施例四

本说明书实施方式提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现实施例一中的基于双通道和自注意力机制的图像语义分割方法的步骤。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims

1.一种含时间窗的时变车辆路径规划方法，其特征在于，包括如下步骤：

获取基础数据，所述基础数据包括顾客信息、车辆信息和仓库信息；

根据顾客信息、车辆信息和仓库信息以及含软时间窗的时变绿色车辆路径规划多目标优化模型，得到最优规划路径；

2.如权利要求1所述的一种含时间窗的时变车辆路径规划方法，其特征在于，所述得到最优规划路径之前，对每个可行解进行编码和解码，采用混合初始策略得到初始解；在初始解的基础上基于帕累托前沿的交叉策略探索搜索空间和通过基于Q-learning的自适应局部搜索方法嵌入增强局部搜索能力以及奖励更新方法来平衡多目标得到三维目标最小化问题的最优解。

3.如权利要求2所述的一种含时间窗的时变车辆路径规划方法，其特征在于，所述对每个可行解进行编码和解码具体包括：

4.如权利要求2所述的一种含时间窗的时变车辆路径规划方法，其特征在于，所述混合初始策略包括四种特定问题的启发式方法：随机方法、k-最近邻启发式、改进的前推插入启发式和最早优先时间启发式。

5.如权利要求2所述的一种含时间窗的时变车辆路径规划方法，其特征在于，基于Q-learning的自适应局部搜索方法嵌入增强局部搜索能力具体包括：

感知当前环境的状态，根据Q表选择预测动作；

行动在当前环境中执行并获得奖励价值；

更新Q表；

6.如权利要求1所述的一种含时间窗的时变车辆路径规划方法，其特征在于，所述三维目标最小化问题包括旅行时间最小、能耗最低及顾客满意度得分最高。

7.如权利要求1所述的一种含时间窗的时变车辆路径规划方法，其特征在于，所述多目标优化模型包括约束条件，所述约束条件包括返回时间约束、车辆容量约束、单次访问约束、软时间窗假设、车辆类型假设以及出发时间假设。

8.一种含时间窗的时变车辆路径规划系统，其特征在于，包括：

数据获取模块，其被配置为：获取基础数据，所述基础数据包括顾客信息、车辆信息和仓库信息；

最优规划路径模块，其被配置为：包括如下步骤：

9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1-7任一所述的含时间窗的时变绿色车辆路径规划方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-7任一所述的含时间窗的时变绿色车辆路径规划方法的步骤。