CN103226762A - 一种基于云计算平台的物流配送方法 - Google Patents

Abstract

本发明公开了一种基于云计算平台的物流配送方法，将蚁群优化算法应用于物流配送的路径规划中，并基于hadoop云计算平台实现蚁群优化算法的并行化处理，实现大规模的物流配送。本发明利用hadoop平台的HDFS（Hadoop Distributed File System）分布式文件系统和MapReduce并行编程框架实现蚁群优化算法，通过MapReduce将蚁群优化算法并行化，加速每轮迭代时间，并利用HDFS分布式文件系统来存储参数和中间文件，利用HDFS的高效率、高可靠性来提高蚁群优化算法的参数读取更新速度，加速路径搜索进程。

Description

一种基于云计算平台的物流配送方法

技术领域

本发明涉及物流配送领域，尤其涉及一种基于云计算平台的物流配送方法。

背景技术

物流配送是物流活动中直接与消费者相连的环节，在物流各项成本中，配送成本占了相当高的比例。配送线路安排是否合理，对配送速度、成本、效益影响很大，在配送用户量大、配送节点多的情况下配送路线的确定更为复杂。采用科学合理的方法对配送路径进行规划安排是物流配送的一个重要环节。当前物流配送的路径规划主要采用常规的最短路径计算方法，如迪杰斯特拉算法(Dijkstra)、弗洛伊德算法(Floyed)、SPFA算法(Shortest Path Faster Algorithm)等，以上算法都只应用于路径节点较少、路径简单的应用中，当路径节点数量增多、路径复杂的情况，算法的计算路径的速度缓慢，甚至无法接受。随着物流行业的迅猛发展，传统地物流路径计算方式已经不能适应当前大规模的物流分发配送的需求，针对这种情况，目前主要采用分级、分组配送的方式来减少路径节点的数量，将路径规划出主干线和支干线来减少路径计算的时间，但因引入主干线上和各物流分发中心负载不堪重负，运营成本大幅提高，而支干线上又因配送分散人力物力资源无法动态协调，造成人力物力资源的极大浪费。

在现有技术中，CN102278996公开了一种使用蚁群优化算法进行路径规划的方法，然而，蚁群优化算法作为一种群体智能算法，收敛速度较慢，相当耗时。随着物流配送规模的发展，配送的节点越来越多，路径规划的难度越来越大，传统的运行于单机的优化算法已不能满足目前的需求，高效、快速地物流配送方法成为一个亟待解决的难题。

发明内容

为了解决上述技术问题，本发明将蚁群优化算法应用于物流配送的路径规划中，并基于hadoop云计算平台实现蚁群优化算法的并行化处理，实现大规模的物流配送。本发明利用hadoop平台的HDFS（Hadoop Distributed File System）分布式文件系统和MapReduce并行编程框架实现蚁群优化算法，通过MapReduce将蚁群优化算法并行化，加速每轮迭代时间，并利用HDFS分布式文件系统来存储参数和中间文件，利用HDFS的高效率、高可靠性来提高蚁群优化算法的参数读取更新速度，加速路径搜索进程。

具体地，为解决其技术问题，本发明所采用的技术方案为：

一种基于云计算平台的物流配送方法，其步骤包括：

5）获取每个配送节点的坐标信息；

6）从HDFS读取参数并初始化蚁群算法，并构建节点距离矩阵和路径转移概率矩阵;

7）通过所述基本参数、节点距离矩阵、路径转移概率矩阵来进行启发式的路径搜索，将基本的蚁群优化算法并行化改写MapReduce的结构；

8）输出蚁群优化算法搜索到的最短路径信息，并根据所述最短路径信息进行物流配送。

其中，步骤2）中数据参数存储于HDFS分布式文件系统，通过map任务将参数数据读取，利用MapReduce的默认输入格式读取参数。

步骤3）中路径搜索为每一只蚂蚁建立一个map任务，并开始路径搜索，搜索的结果经过combiner合并化简输出结果并输出到HDFS临时空间，然后再经过partition重新分区将数据映射到reduce，reduce对map所找到的最短路径进行信息素更新。

附图说明

图1为基于云计算平台Hadoop的蚁群优化算法流程图；

图2为hadoop集群上运行蚁群优化算法的示意图；

图3为参数处理的map流程图；

图4为reduce任务处理示意图；

图5为mapReduce迭代过程示意图；

图6为mapReduce过程以及各map/reduce对应蚁群的基本行为示意图；

图7为输出的最短路径的结果示意图。

具体实施方式

本发明利用云计算平台实现大规模的路径规划，实现快速、高效的物流配送。物流配送问题就是在给定的n个待配送的节点集合C（1,2,…,n）中找出每个节点只经过一次且最后回到起点的最短路径的封闭回路。该最短路径的目标函数可定义为：

$\mathrm{MinA}=\underset{i=1}{\overset{n-1}{\mathrm{\Σ}}}d(i,i+1)+d(n,i)$

其中d(i,i+1)表示第i和第i+1个节点之间的距离，d(n,1)表示第n个节点和第1个节点的距离，其中第1个节点为起点。

如图1所示，是基于云计算平台Hadoop的蚁群优化算法流程图。在获取n个配送节点的坐标信息之后，随机生成m条配送路径，并分配给m只蚂蚁，其中n为配送节点的数目，m为蚁群优化算法中蚂蚁的初始数目。其中蚁群算法的运行参数存放到HDFS（Hadoop Distributed File System），主要参数包括启发因子、期望因子、信息素蒸发速率、蚂蚁数量、迭代次数、每次迭代的信息素总和以及每个配送节点的坐标数据。配送节点的数目决定了当前路径规划的规模，是影响最终物流配送的重要因素。当配送节点较多时，节点的坐标数据是一个非常大的输入参数，按照传统的输入方式会出现读取参数非常慢的情况且内存占用率极高，甚至无法求出最优的配送路径。本发明利用分布式文件系统来存储节点坐标数据，可以很好的利用分布式文件系统的大容量、高效率储存等性能，可避免算法的瓶颈出现在数据IO上，让算法更专注于路径搜索上。

通过图1可以看出hadoop集群下蚁群优化算法的运行过程和数据流向，MapReduce在程序运行中主要分两个阶段，一个是参数读取阶段，一个是路径搜索和信息素更新阶段，如图2所示，下面针对这两个阶段进行详细讲解。

蚁群优化算法的基本参数和中间参数都存放在HDFS文件系统上，为充分利用分布式存储和分布式运算的优势，本发明将蚁群参数的读取处理采用MapReduce的分布式结构来处理。蚁群优化算法的map操作主要是将程序分解然后运行于分布式机群，reduce操作是针对map任务的输出结果进行化简，最终求出最优路径，以此来提高程序运行效率。

第一阶段从HDFS读取参数并初始化蚁群算法，并构建节点距离矩阵和路径转移概率矩阵。节点距离距阵是节点与节点之间的距离信息的一个二维数组，路径转移概率矩阵是指当前节点转移到其它一个节点的概率组成的一个矩阵。路径转移概率是通过当前节点到另外一个节点的启发因子和路径上的信息素加权计算之后在所有未经过的节点中的一个比例计算而来，所有未经过的节点的转移概率之和为1，其它已经经过的节点转移概率为0。

基本参数格式：

第一行：启发因子(ALPHA1.0)

第二行：期望因子(BETA2.0)

第三行：信息素蒸发速率(ROU0.5)

第四行：蚂蚁数量(N_ANT_COUNT50)

第五行：迭代次数(N_IT_COUNT1000)

第六行：信息素总量(DBQ100.0)

节点输入数据：

第一行：节点数量(N_CITY_COUNT1000)

第二行：第0个节点索引和坐标信息(02343)

第三行：第1个节点索引和坐标信息(14235)

...

数据参数是文件的方式存储于HDFS分布式文件系统，通过map任务将参数数据读取，利用mapReduce的默认输入格式读取参数，map输入key为参数存在文件中的行数，输入value是参数字符串（如BETA=2.0）,通过内部map解析，输出key值为参数名（如BETA），输出参数value值为参数值（如2.0）。

首先建立一个工作任务配置

JobConf conf=new JobConf(getConf(),getClass())

Job job=new Job(conf,“mraco”)

设置任务的输入参数路径，以及输入输出格式

FileInputFormat.addInputPath(conf,new Path(“/user/hadoop/input”)

FileOutputFormat.setOutputPath(conf,new Path(“/user/hadoop/output”)

设置输入输出格式

job.setOutputKeyClass(IntWritable.class)

job.setOutputValue(Text.class)

分别设置任务的Map、Combiner、Reduce的类

job.setMapperClass(AcoMapper.class)

job.setCombinerClass(AcoReducer.class)

job.setReducerClass(AcoReducer.class)

任务一旦设置完成就进入运行阶段，多个map任务从HDFS分布式文件系统中读取数据，经过内部解析，输出到第一阶段的reduce任务进行处理。参数处理的map流程图如图3所示。

在第一阶段参数处理的map任务阶段完成后，map输出的结果存放在HDFS分布式文件系统临时空间上，作为第一阶段参数处理的reduce任务的输入，经reduce任务的处理后蚁群优化算法的基本参数输入内存，为第二阶段的MapReduce的任务做准备，reduce任务处理流程如图4所示。第一阶段reduce任务通过读取map输出的中间结果，对参数数据进行分析然后存入全局数据区，供第二阶段所有的map任务使用。由于每个map输出的key值是唯一的，为了避免reduce任务的利用率太低，这里采用Partition欺骗的方式优化中间结果传送的方式，通过重构Partition函数对map输出的数据重新分区，构建一个虚假的映射关系将大量分散的数据集中映射到reduce任务上统一处理，这里采用hash函数重构映射关系。

完成第一阶段的MapReduce之后，为每只蚂蚁构建一个map任务，进入每只蚂蚁各至的独立搜索过程。通过第一阶段获得的启发因子等基本参数、节点路径矩阵、转移概率矩阵来进行启发式的路径搜索，将基本的蚁群优化算法并行化改写MapReduce的结构运行于分布式集群中来提高蚁群算法的效率。图5为每一次蚁群优化算法迭代的MapReduce迭代过程。

路径搜索为每一只蚂蚁建立一个map任务，并开始路径搜索，搜索的结果经过combiner合并化简输出结果并输出到HDFS临时空间，然后再经过partition重新分区将数据映射到reduce，reduce对map所找到的最短路径进行信息素更新。然后进入下一次迭代周期，直到达到指定的迭代次数或找到理论上的最优解。

（1）路径搜索的map任务

InKey：蚂蚁编号或索引值，蚂蚁数量取自第一阶段的参数

InValue：起始节点，可以随机产生也可以预定义

OutKey：最短路径所包含的一条分支，由两个节点组成

OutValue：当前分支在全路径中所占比例，后续按比例更新信息

Map任务是蚁群优化算法的重点，每只蚂蚁分别建立一个map任务进行路径搜索，完成路径搜索之后，输出一条最优路径。为蚂蚁定义类CAnt，分别包含ChooseNextCity、Move、Search、CalPathLenth、Init方法用来定义蚂蚁的行为。

Init：每只蚂蚁在计算路径之前需要做的初始化工作，包括起始节点、初始化路径表等。

Search：开始路径搜索，找到最短路径，本方法由ChooseNextCity和Move两个方法组成。

ChooseNextCity：在未走过的节点中选择一个当前最优节点，利用基本蚁群算法的转移概率计算公式，计算出下一个将要选择的节点。基本转移概率计算公式如下

其中P_k(i,j)表示第k只蚂蚁在第i个节点选择下一个节点j的概率，τ(i,j)为节点i和j之间路径上所保留的信息素含量，η(i,j)为节点i和j路径上的启发因子，启发因子通常取两个节点之间路径距离d_ij的倒数

$\mathrm{\η}(i,j)=\frac{1}{d_{\mathrm{ij}}}$

α、β分别表示信息素因子和启发因子在本次引导搜索中所占的权重。

Move：移动蚂蚁到下一个节点，标记当前节点并把上一个节点放入路径表中，不再出现在下轮搜索范围中。

（2）路径搜索的reduce任务

InKey：map任务中最优路径的一条分支，可能有多个蚂蚁走过同一条路径

InValue：当前最优路径分支所占全路径的比例，可能一个数值列表

Outkey：最优路径中的一条分支，由于Partition作用这里可能输出多个key/value

OutValue：key值对应路径上的信息素含量，所有蚂蚁走过这条路径的一个更新

Reduce任务负责把map找到的最优路径产生的信息素更新到各自的路径上去，reduce任务在接收数据之前会经过combiner和partition的处理，接收到的key值对应的value不是唯一的，可能是多只蚂蚁在这条路径上产生的一个信息素列表，列表值是一个每只蚂蚁在这条路径上的留下信息素的一个比例，通过这个比例和信息素总和以及信息素蒸发率来更新这条路径上的信息素。这里定义一个CTsp类，分别包含InitData、UpdateTrial、Search定义路径搜索相关问题。

InitData：初始化各城市节点以和各边上的信息素以及其实初始化条件

UpdateTrial：通过搜索到的最优路径进行信息素更新

Search：开始执行局路径搜索，输出最优路径

（3）Combiner化简

InKey：map任务中最优路径的一条分支

InValue：当前最优路径分支所占全路径的比例

Outkey：最优路径中的一条分支

OutValue：key值对应路径上的信息素含量

根据hadoop框架结构清晰的知道使用Mapper将数据处理成一个<key,value>键值对，再在网络节点中对数据进行整理(shuffle)，然后使用Reduce处理输出结果。但如果出现10亿个数据的键值对，那就需要10亿个reduce去处理数据，这将会对reduce任务产生压倒倾斜，大大降低程序性能，这显然是不合理的。本发明通过Combiner来实现数据化简，先将重复的数据合并然后再将数据发送到reduce进行处理。这里combiner的操作和reduce的操作可以通过重复使用reduce类来进行化简处理。

Partition重构分区

Map结果会先进行combiner处理，然后通过partition分发到reduce上去处理，这里主要是对partition内的hash函数进行重构，将所有路径边上的跨越同一个节点的边分发到同一个节点去，由于同一条边占两个节点，所以在内部处理的时候value的值除以2。通过这个处理之后，原本每条路径分发到一个reduce任务上去，现在可以改为每个节点分发到一个reduce任务上去，大大减少了需要reduce任务的数量，如1万个城市节点，如果以路径分发，最坏情况下可能分发要分以一亿个reduce任务，如果以路径分发，最坏情况也只会分发到1万个reduce任务。

原partition内的hash函数采用默认hash函数，不做任务处理，唯一的键值对应唯一的hash值：

Hash(路径边)=reduce任务id

路径边是由两个节点确定的，任务id是根据当前总共的id数确定这条边应该分发的哪个id上去；

重构后的partition内的hash函数，采用新的算法，将键值的路径两个节点拆分出来，然后调用默认的hash函数，作为两个值分发到两个reduce任务上去：

Hash(节点)=reduce任务id

图6为第二阶段路径搜索的MapReduce过程以及各map/reduce对应蚁群的基本行为示意图。

经过n次迭代之后，蚂蚁完成了n个节点之间的路径构建，路径表上的节点都已填满，然后计算每只蚂蚁所经过路径的长度，在所有路径中选择一个最短路径作为本次迭代的最短路径，然后对本次迭代的最短路径进行信息素更新。

τ_ij(t+η)=(1-ρ)·τ_ij(t)+Δτ_ij(t)

$\mathrm{\&Delta;}{\mathrm{\&tau;}}_{\mathrm{ij}}\left(t\right)=\underset{k=1}{\overset{m}{\mathrm{\&Sigma;}}}\mathrm{\&Delta;}{\mathrm{\&tau;}}_{\mathrm{ij}}^k\left(t\right)$

其中

(t)为所有参于路径搜索的蚂蚁在节点i和j之间所积累的信息素，ρ代表信息素的蒸发速度。

(t)计算模型如下

其中Q一个信息素常量，为每只蚂蚁每次找到最佳路径之后将这个信息素均匀的分布到路径上。

经过NC次迭代过程后，从所有蚂蚁的最短路径中选择一条距离最短的路径作为最终的最短路径，如图7所示，进而根据该最终的最短路径进行物流配送。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换或改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种基于云计算平台的物流配送方法，其步骤包括： 

1）获取每个配送节点的坐标信息； 

2）从HDFS读取参数并初始化蚁群算法，并构建节点距离矩阵和路径转移概率矩阵; 

3）通过所述基本参数、节点距离矩阵、路径转移概率矩阵来进行启发式的路径搜索，将基本的蚁群优化算法并行化改写MapReduce的结构； 

4）输出蚁群优化算法搜索到的最短路径信息，并根据所述最短路径信息进行物流配送。 

2.根据权利要求1所述的基于云计算平台的物流配送方法，其特征在于，步骤2）中数据参数存储于HDFS分布式文件系统，通过map任务将参数数据读取，利用MapReduce的默认输入格式读取参数。 

3.根据权利要求1所述的基于云计算平台的物流配送方法，其特征在于，步骤3）中路径搜索为每一只蚂蚁建立一个map任务，并开始路径搜索，搜索的结果经过combiner合并化简输出结果并输出到HDFS临时空间，然后再经过partition重新分区将数据映射到reduce，reduce对map所找到的最短路径进行信息素更新。 

Images