CN109272151B - 一种基于Spark的车辆路径规划算法优化方法 - Google Patents

Abstract

本发明公开了一种基于Spark的车辆路径规划算法优化方法。首先，单机模式下车辆路径规划算法可以在数据量小的情况下可以很好的运行。但是，当面对企业级的GB甚至TB级的业务量需求时，单机模式下会出现耗时过长，无法满足企业实时性的业务需求。本发明正是基于单机模式下的车辆路径规划算法在分布式平台Spark上进行算法的适应和优化，在适应部分着重考虑了单机模式下的算法的分布式并行和数据的同步：解集合的维护、毁灭重建策略的分布式并行化、毁灭重建比重参数的维护、迭代新解的同步更新等；在优化部分着重考虑了：工作节点之内的毁灭重建内循环和工作节点之间的迭代同步新解的外循环的调优、共享数据读写优化等。

Description

一种基于Spark的车辆路径规划算法优化方法

技术领域

本发明涉及计算机科学领域的路径规划问题，特别涉及一种基于Spark的车辆路径规划算法优化方法。

背景技术

伴随着“互联网+”的兴起，实体经济与互联网之间的结合变得越来越密切。物流行业，地图导航等实体服务都用到了路径规划。然而由于路径规划是一个NP-hard问题，当数据量小的时候，一台主机可以在段时间内规划出比较好的结果，但当数据量表的比较庞大时如GB甚至TB的数据量时，单凭一台主机很难在短时间内得到整体较优的结果。

目前比较流行的并行计算框架有Hadoop和Spark，Hadoop作为近年来大数据处理的首选技术，尽管适用大多数批处理工作，但是仍旧有许多不足之处，如缺少对迭代计算的支持，且数据的抽取运算都是基于磁盘，中间结果也存储在磁盘，因此迭代过程产生大量的额外开销。Spark提供一套DAG图分布式并行计算框架，很好的减少了中间读写步骤带来的额外开销。但是车辆路径规划所采用的大规模邻域搜索算法本身是单机模式下运行的算法框架，这种框架并不能直接应用到上述的并行计算框架的这种分布式平台，同时对于解集合的维护，因为要达到各个工作节点对解集合的共享，需要将解集合维护到主控节点上。因为每个工作节点进行毁灭与重建的算法的客户坐标点都是相同的，怎样共享这一部分数据，也是困难所在，如果也放在主控节点进行传输由主控节点到工作节点，那将会耗费大量的网络传输，影响整体效率。另外，各个工作节点的毁灭重建策略的参数设定协调，以及怎样根据生成的结果数据来调整不同的策略组合的比重，在单机模式下可以直接在内存中进行调整，但是分布式情况下无法采用这种调整方式。

发明内容

为了解决在单一主机上无法解决数据量较大情况下的车辆路径规划，本发明提供一种基于Spark的车辆路径规划算法优化方法。

为了实现上述技术目的，本发明的技术方案是，

一种基于Spark的车辆路径规划算法优化方法，根据门店因货物运输所产生的车辆需求，通过自适应大规模领域搜索算法并基于Spark的分布式处理来规划一组满足各个门店车辆需求和对应车辆形成的路径：

首先采用贪婪插入法生成车辆路径规划的可行解，将门店信息和车辆信息存储至分布式文件系统上来实现共享，以供主控节点和工作节点进行读取，Spark集群的主控节点从分布式文件系统中读取相应的门店信息和相应的车辆信息，然后根据贪婪插入法基于门店车辆弹性分布式数据集来生成可行的路径可行解方案；

然后采用毁灭与重建策略对可行解进行部分路径的毁灭与重建生成新的解，主控节点将生成的可行解分发给各个集群中的工作节点进行毁灭与重建，各工作节点读取分布式文件系统上的门店信息和车辆信息，并同步运行不同的毁灭与重建策略对可行解进行毁灭与重建以生成新解；

接下来各工作节点分别利用基于模拟退火的接受准则来判断是否接收新生成的解，主控节点收集各个工作节点上接收的新解，将不同工作节点上生成的新解更新到保存在主控节点中的解集合中；

重复迭代执行毁灭与重建策略以及更新解，直至达到预设的迭代次数，或新解与原解总路径的差值小于预设阈值后，结束整个优化方法。

所述的方法，所述的贪婪插入法生成车辆路径规划的可行解包括以下步骤：

分配空载车辆；然后逐一计算门店插入车辆所对应配送路线的插入代价，选择代价最低的路线进行插入，若插入后违反车辆最大转载容量约束，则新增一辆车；不停迭代执行直到所有门店都被插入路线为止。

所述的方法，所述的违反车辆最大转载容量约束，是指达到车辆的最大容量限制或达到车辆的最远行驶距离。

所述的方法，所述的插入代价是通过插入代价计算公式进行计算：

其中，u为需要插入的门店，

表示在该路线上门店i和门店j之间进行插入，路线对应的车型为k；

的值包括u插入i、j的开销值，和新增一辆车服务u的开销值；

为车辆由门店i到门店u的开销，由两门店之间的距离乘以k车型每公里油耗得到；通过控制因子γ在插入当前路线或新增一辆车取得平衡，γ随机取值{0.00,0.05,0.10,K,1.65,1.70}。

所述的方法，所述的毁灭与重建策略中，毁灭策略为移除初始配送方案中的门店进行破坏的策略，重建策略为将移除的门店重新插入并重新进行配送路线计算的策略。

所述的方法，所述的毁灭策略包括随机选择门店进行移除的随机移除、计算当前配送方案移除的开销值并按照从大到小的顺序进行移除的最坏移除和随机对任一配送路线进行密度聚类得到簇集合后移除任一簇的聚类移除；重建策略包括在每次迭代中为在毁灭策略中被移除的一个门店寻找插入代价最低的配送路线进行插入的最佳插入法和选择门店插入最优路线的代价和次优路线的代价差值较小的门店进行插入的次优插入法。

所述的方法，所述的主控节点将生成的可行解分发给各个集群中的工作节点进行毁灭与重建，是通过Spark的MR计算模型即Map和Reduce操作，来基于工作节点数量对解弹性分布式数据集即RDD进行分区，然后Map映射RDD形成不同RDD之间的依赖，Reduce解RDD到不同的工作节点，工作节点根据毁灭与重建策略的参数来进行毁灭与重建生成新解，其中可行解的形式是以规划的路径上所依次经过的各个门店的门店Id组成的Id链形式储存于弹性分布式数据集中，在工作节点通过门店的Id来在距离矩阵的基础之上算出车辆行驶路径的长度；毁灭与重建策略的参数用于控制每个工作节点的迭代次数，参数数值越大对应的工作节点的毁灭重建策略的迭代次数越多，参数数值越小对应的工作节点的毁灭重建策略的迭代次数越少，将可行解和毁灭与重建的策略组合比重参数通过弹性分布式数据集的Map到各个工作节点进行分布式的计算；然后对比每组毁灭重建策略生成的解与其他毁灭重建策略之间的解的质量，将质量较好的解对应的毁灭重建策略参数数值调高，较差的调低，其中对比的过程在主控节点的解集合上进行，而调整后的参数更新到工作节点则使用广播变量的方式进行参数的调整。其中提到解的质量是指生成的解中，路径总长度越小或用到的车辆越少就认为解的质量越优。

所述的方法，所述的将不同工作节点上生成的新解更新到保存在主控节点中的解集合中，包括在工作节点进行毁灭与重建当到一定迭代次数后，再根据接受准则判断是否接收新解来更新主控节点中的解集合；或者在工作节点毁灭与重建迭代到一定的次数后生成一个新解，再根据接受准则判断是否去更新主控节点上的解集合，并在更新主控上的解集合后，从解集合里选择出一个或几个新解分发到不同的工作节点进行再次的毁灭与重建迭代生成新解。

所述的方法，门店信息和车辆信息的共享，是将包括门店Id、门店之间距离矩阵和门店货物需求量的门店信息，和包括车辆载重量信息和车辆最长可行驶距离的车辆信息存储到分布式文件系统上来实现共享。

所述的方法，在执行毁灭与重建策略时，以工作节点上循环执行毁灭与重建策略得到新解作为内循环，以工作节点上执行毁灭与重建策略后将新解更新至主控节点上作为外循环，在两层循环中使用Outer参数来控制外层循环的次数，使用Inner参数来控制内层循环的次数，并通过调整Outer和Inner参数来使生成解的时间较短，且解的质量较好；在主控节点上将毁灭与重建策略组合采用循环的分配方式和各个工作节点相匹配；然后通过ZIP操作将可行解和毁灭与重建策略工作节点组合进行组合，通过MAP操作将毁灭与重建策略还有可行解分发到对应的工作节点上，然后在内循环循环迭代Inner次毁灭与重建策略之后生成新解，工作节点迭代生成新解之后，主控节点将数据通过Collect的方式将各个工作节点上的数据同步到主控节点，然后将同步到主控节点上的新解进行对比，根据新解的质量来调整不同工作节点上的毁灭与重建策略的参数。

本发明的技术效果在于，利用Spark平台来进行分布式的运行路径规划算法，达到了节省时间开销的目的。而在路径规划算法部分又进行了算法拆分，分为：生成可行解算法部分，路径规划解的毁灭重建算法部分，解的接收判断部分。在综合分析了整个算法框架之后，将毁灭重建部分进行分布式并行化，使算法可以在Spark的作业调度下充分利用集群中的资源来达到更快的得到优的路径规划方案的目的。

附图说明

图1为算法弹性分布式数据集(RDD)之间的转化操作示意图。

图2为算法在Spark平台运行的流程示意图

具体实施方式

根据门店的订货需求量，利用自适应大规模领域搜索算法来规划一组满足各个门店货物需求量的车辆和对应车辆形成的路径。首先采用贪婪插入法生成车辆路径规划的可行解，然后采用毁灭与重建策略对可行解进行部分路径的毁灭与重建生成新的解，接下来利用接受准则判断是否接收新生成的解，来更新解集。

算法可以很好的在集群的机器上运行达到快速得到优选的结果集，并从优选的结果集中选出最优的一个结果作为最终路径规划的方案。

贪婪插入法构建初始的车辆路径方案：

使用插入代价计算公式：

其中，u代表需要插入的门，

表示在该路线上门店i和门店j之间进行插入，路线对应的车型为k；

的值由两部分开销组成，分别是u插入i和j的开销，以及新增一辆车服务u的开销；

为车辆由门店i到门店u的开销，由两门店之间的距离乘以k车型每公里油耗得到；通过控制因子γ在插入当前路线或新增一辆车取得平衡，随机取值{0.00,0.05,0.10,K,1.65,1.70}；

首先，初始化M辆车为空，然后逐一计算门店插入车辆所对应配送路线的插入代价，选择代价最低的路线进行插入，若插入后违反车辆最大转载容量约束，则再启用一辆车；不停迭代执行直到所有客户都被插入路线为止。

毁灭与重建：

采用移除初始配送方案中的门店的毁灭移除法来进行破坏的步骤，是通过随机选择门店进行移除的随机移除，计算门店从当前配送方案移除的开销值并按照从大到小的顺序进行移除的最坏移除，或随机对任一配送路线使用密度聚类技术进行聚类得到簇集合后移除任一簇的聚类移除中的一种移除方式进行移除。

接受准则：

算法会维护一个大小为K的解集合。在迭代过程中，如果当前解集合元素小于K个，则直接接受新的解决方案并更新解集合。否则将新的解决方案与迭代方案对象进行对比，优胜劣汰原则更新解集合。首要目标是车辆数最少，次要目标是运输成本最低。新的解决方案的车辆数若少于迭代方案对象的车辆数，则接受并替换迭代方案对象更新解集合；新的解决方案的车辆数若多于迭代方案对象，则不予接受；新的解决方案的车辆数若等于迭代方案对象，则采用模拟退火算法作为接受准则来判断是否接受新的解决方案的依据。

可行解生成部分如下：

SparkContext从分布式文件系统即HDFS中读取相应的客户点即门店信息和相应的车辆规格信息生成相应的弹性分布式数据集(RDD)，贪婪插入法利用得到的客户点信息和相应的车辆规格信息生成可行的可行解方案弹性分布式数据集(RDD)。这部分的执行在Spark集群的主控节点进行。然后主控节点将生成的可行解分发给各个集群中的工作节点进行毁灭与重建。

算法的分布式实现是在毁灭与重建部分，因为可行解分发到工作节点上，每个节点可以同步的进行毁灭与重建，两个工作节点由可行解毁灭与重建之后生成的新解之间不会相互影响，所以本发明选择将毁灭与重建部分进行分布式处理，不同的工作节点同步运行不同的毁灭与重建策略对可行解进行毁灭与重建。通过Spark的MR计算模型，对解弹性分布式数据集(RDD)进行分区，然后Map映射弹性分布式数据集(RDD)形成不同弹性分布式数据集(RDD)之间的依赖，Reduce解弹性分布式数据集(RDD)到不同的工作节点进行毁灭与重建生成新解，通过Collect操作将不同工作节点上生成的新解更新到解集合里面。算法弹性分布式数据集(RDD)之间的转化操作如图附图1。其中可行解的形式是以规划的路径上所依次经过的各个门店的门店Id组成的Id链形式储存于弹性分布式数据集中，在工作节点通过门店的Id来在距离矩阵的基础之上算出车辆行驶路径的长度；毁灭与重建策略的参数用于控制每个工作节点的迭代次数，参数数值越大对应的工作节点的毁灭重建策略的迭代次数越多，参数数值越小对应的工作节点的毁灭重建策略的迭代次数越少，将可行解和毁灭与重建的策略组合比重参数通过弹性分布式数据集的Map到各个工作节点进行分布式的计算；然后对比每组毁灭重建策略生成的解与其他毁灭重建策略之间的解的质量，将质量较好的解对应的毁灭重建策略参数数值调高，较差的调低，其中对比的过程在主控节点的解集合上进行，而调整后的参数更新到工作节点则使用广播变量的方式进行参数的调整。其中提到解的质量是指生成的解中，路径总长度越小或用到的车辆越少就认为解的质量越优。

算法的迭代执行：

由于每次在工作节点毁灭重建的都是路径中部分路径中的部分客户点。为了达到全局最优需要不断的毁灭与重建迭代，达到整体路径最优的结果。本发明采用两种思路：一种是在工作节点不断的毁灭与重建当达到一定迭代次数后再根据接受准备判断是否接收新解来更新回主控节点中的解集合；另一种思路是在工作节点毁灭与重建迭代到一定的次数后生成一个新解，然后也会根据接受准则判断是否去更新主控上的解集合，不同的是在更新回主控上的解集合后，从解集合里选择出一个或几个新解分发到不同的工作节点进行再次的毁灭与重建迭代生成新解。

工作节点运行的毁灭与重建策略如下：

毁灭策略：基于密度聚类的毁灭移除算法，随机移除算法，最坏移除算法，相关移除算法。

基于密度聚类的毁灭移除算法：基于密度聚类的毁灭移除算法基本思想是随机从当前配送路线集合中选择一条路线，对该路线进行密度聚类得到簇集合，然后随机选择一个簇集合进行移除，直到移除了q个门店。

随机移除算法：算法基本思想是随机产生q个下标，从集合s中移除下标对应的门店。

最坏移除算法：算法每次寻找一个开销值较大的门店进行移除。为保证随机性，算法将门店开销值从大到小进行排序，通过控制因子选择移除的门店。一般设为正整数，使得门店开销值越小，被移除的概率越高。

相关移除算法：相关移除算法定义了门店i和门店j的相关度函数，相关度的依据可以为两个门店的位置、服务时间窗、订货体积等。算法初始状态寻找所有门店中相关度最低的门店进行移除。

重建策略：最佳插入法，次优插入法

最佳插入法：是在每次迭代中为一个门店寻找插入代价最低的配送路线进行插入。

次优插入法：选择门店插入最优路线的代价和次优路线的代价差值较小的门店进行插入。

接受准则：模拟退火接受准则

为了避免局部最优，达到全局最优。模拟退火算法作为接受准则可以很好的满足这一需求。模拟退火算法会接受比当前解优的新解，同时也会以一定的概率接受比当前解差的新解。

主控节点和工作节点的分工协作：

主控节点读取HDFS中的客户信息，通过贪婪插入法生成可行解路径，然后主控通过弹性分布式数据集(RDD)分区将毁灭重建策略对应的参数和可行解包装成键值对的形式分发到每个工作节点上，每个工作节点在收到的解的基础上进行毁灭和重建，每台工作节点运行不同的毁灭重建策略组合，因为不同的毁灭与重建策略适用于不同的数据集，为了达到合适的数据集可以在对应的毁灭重建策略下进行，本发明在初始阶段分发毁灭重建策略比重参数到每台工作节点的时候设定各个策略组合为相等，本发明给出了四种毁灭策略和两种重建策略是，可以形成八种毁灭重建策略组合，这样初始阶段，,然后迭代根据生成的新解方案来调整参数的大小，使不同的数据集可以以更大的概率在适合的毁灭重建策略上运行。在执行毁灭与重建策略时，以工作节点上循环执行毁灭与重建策略得到新解作为内循环，以工作节点上执行毁灭与重建策略后将新解更新至主控节点上作为外循环，在两层循环中使用Outer参数来控制外层循环的次数，使用Inner参数来控制内层循环的次数，并通过调整Outer和Inner参数来使生成解的时间较短，且解的质量较好；在主控节点上将毁灭与重建策略组合采用循环的分配方式和各个工作节点相匹配；然后通过ZIP操作将可行解和毁灭与重建策略工作节点组合进行组合，通过MAP操作将毁灭与重建策略还有可行解分发到对应的工作节点上，然后在内循环循环迭代Inner次毁灭与重建策略之后生成新解，工作节点迭代生成新解之后，主控节点将数据通过Collect的方式将各个工作节点上的数据同步到主控节点，然后将同步到主控节点上的新解进行对比，根据新解的质量来调整不同工作节点上的毁灭与重建策略的参数。

Claims (9)

1.一种基于Spark的车辆路径规划算法优化方法，其特征在于，根据门店因货物运输所产生的车辆需求，通过自适应大规模领域搜索算法并基于Spark的分布式处理来规划一组满足各个门店车辆需求和对应车辆形成的路径：

首先采用贪婪插入法生成车辆路径规划的可行解，将门店信息和车辆信息存储至分布式文件系统上来实现共享，以供主控节点和工作节点进行读取，Spark集群的主控节点从分布式文件系统中读取相应的门店信息和相应的车辆信息，然后根据贪婪插入法基于门店车辆弹性分布式数据集来生成可行的路径可行解方案；

然后采用毁灭与重建策略对可行解进行部分路径的毁灭与重建生成新的解，主控节点将生成的可行解分发给各个集群中的工作节点进行毁灭与重建，各工作节点读取分布式文件系统上的门店信息和车辆信息，并同步运行不同的毁灭与重建策略对可行解进行毁灭与重建以生成新解；

接下来各工作节点分别利用基于模拟退火的接受准则来判断是否接收新生成的解，主控节点收集各个工作节点上接收的新解，将不同工作节点上生成的新解更新到保存在主控节点中的解集合中；

重复迭代执行毁灭与重建策略以及更新解，直至达到预设的迭代次数，或新解与原解总路径的差值小于预设阈值后，结束整个优化方法；

所述的主控节点将生成的可行解分发给各个集群中的工作节点进行毁灭与重建，是通过Spark的MR计算模型即Map和Reduce操作，来基于工作节点数量对解弹性分布式数据集即RDD进行分区，然后Map映射RDD形成不同RDD之间的依赖，Reduce解RDD到不同的工作节点，工作节点根据毁灭与重建策略的参数来进行毁灭与重建生成新解，其中可行解的形式是以规划的路径上所依次经过的各个门店的门店Id组成的Id链形式储存于弹性分布式数据集中，在工作节点通过门店的Id来在距离矩阵的基础之上算出车辆行驶路径的长度；毁灭与重建策略的参数用于控制每个工作节点的迭代次数，参数数值越大对应的工作节点的毁灭重建策略的迭代次数越多，参数数值越小对应的工作节点的毁灭重建策略的迭代次数越少，将可行解和毁灭与重建的策略组合比重参数通过弹性分布式数据集的Map到各个工作节点进行分布式的计算；然后对比每组毁灭重建策略生成的解与其他毁灭重建策略之间的解的质量，将质量较好的解对应的毁灭重建策略参数数值调高，较差的调低，其中对比的过程在主控节点的解集合上进行，而调整后的参数更新到工作节点则使用广播变量的方式进行参数的调整。

2.根据权利要求1所述的方法，其特征在于，所述的贪婪插入法生成车辆路径规划的可行解包括以下步骤：

分配空载车辆；然后逐一计算门店插入车辆所对应配送路线的插入代价，选择代价最低的路线进行插入，若插入后违反车辆最大转载容量约束，则新增一辆车；不停迭代执行直到所有门店都被插入路线为止。

3.根据权利要求2所述的方法，其特征在于，所述的违反车辆最大转载容量约束，是指达到车辆的最大容量限制或达到车辆的最远行驶距离。

4.根据权利要求2所述的方法，其特征在于，所述的插入代价是通过插入代价计算公式进行计算：

其中，u为需要插入的门店，

表示在该路线上门店i和门店j之间进行插入，路线对应的车型为k；

的值包括u插入i、j的开销值，和新增一辆车为u服务的开销值；

为车辆由门店i到门店u的开销，由两门店之间的距离乘以k车型每公里油耗得到；通过控制因子γ在插入当前路线或新增一辆车取得平衡，γ随机取值{0.00,0.05,0.10,...,1.65,1.70}。

5.根据权利要求1所述的方法，其特征在于，所述的毁灭与重建策略中，毁灭策略为移除初始配送方案中的门店进行破坏的策略，重建策略为将移除的门店重新插入并重新进行配送路线计算的策略。

6.根据权利要求5所述的方法，其特征在于，所述的毁灭策略包括随机选择门店进行移除的随机移除、计算当前配送方案移除的开销值并按照从大到小的顺序进行移除的最坏移除和随机对任一配送路线进行密度聚类得到簇集合后移除任一簇的聚类移除；重建策略包括在每次迭代中为在毁灭策略中被移除的一个门店寻找插入代价最低的配送路线进行插入的最佳插入法和选择门店插入最优路线的代价和次优路线的代价差值较小的门店进行插入的次优插入法。

7.根据权利要求1所述的方法，其特征在于，所述的将不同工作节点上生成的新解更新到保存在主控节点中的解集合中，包括在工作节点进行毁灭与重建当到一定迭代次数后，再根据接受准则判断是否接收新解来更新主控节点中的解集合；或者在工作节点毁灭与重建迭代到一定的次数后生成一个新解，再根据接受准则判断是否去更新主控节点上的解集合，并在更新主控上的解集合后，从解集合里选择出一个或几个新解分发到不同的工作节点进行再次的毁灭与重建迭代生成新解。

8.根据权利要求1所述的方法，其特征在于，门店信息和车辆信息的共享，是将包括门店Id、门店之间距离矩阵和门店货物需求量的门店信息，和包括车辆载重量信息和车辆最长可行驶距离的车辆信息存储到分布式文件系统上来实现共享。

9.根据权利要求1所述的方法，其特征在于，在执行毁灭与重建策略时，以工作节点上循环执行毁灭与重建策略得到新解作为内循环，以工作节点上执行毁灭与重建策略后将新解更新至主控节点上作为外循环，在两层循环中使用Outer参数来控制外层循环的次数，使用Inner参数来控制内层循环的次数，并通过调整Outer和Inner参数来使生成解的时间较短，且解的质量较好；在主控节点上将毁灭与重建策略组合采用循环的分配方式和各个工作节点相匹配；然后通过ZIP操作将可行解和毁灭与重建策略工作节点组合进行组合，通过MAP操作将毁灭与重建策略还有可行解分发到对应的工作节点上，然后在内循环循环迭代Inner次毁灭与重建策略之后生成新解，工作节点迭代生成新解之后，主控节点将数据通过Collect的方式将各个工作节点上的数据同步到主控节点，然后将同步到主控节点上的新解进行对比，根据新解的质量来调整不同工作节点上的毁灭与重建策略的参数。

Images