CN111552844B

CN111552844B - 一种求解大规模多段图最短路径的分布式方法

Info

Publication number: CN111552844B
Application number: CN202010329809.4A
Authority: CN
Inventors: 崔焕庆; 刘瑞雪; 许少华; 张峰; 魏永山; 徐强
Original assignee: Shandong University of Science and Technology
Current assignee: Shandong University of Science and Technology
Priority date: 2020-04-24
Filing date: 2020-04-24
Publication date: 2023-07-04
Anticipated expiration: 2040-04-24
Also published as: CN111552844A

Abstract

本发明公开了一种求解大规模多段图最短路径的分布式方法，属于计算机技术领域。包括如下步骤：多段图划分；各部分子图求部分最短路径；各计算节点通信求多段图最短路径。本发明相较于单机求解算法，能够使用分布式系统处理更大规模的多段图数据；相较于已有的分布式求解算法，满足负载均衡的要求并最小化通信开销。

Description

一种求解大规模多段图最短路径的分布式方法

技术领域

本发明属于计算机技术领域，具体涉及一种求解大规模多段图最短路径的分布式方法。

背景技术

最短路径问题是图论中的一个经典问题，旨在寻找图中一对顶点之间的最短路径。多段图是一类特殊的加权有向图，图中的顶点分为至少两个不相交的集合(称为阶段)，其中第一个和最后一个阶段有且仅有1个顶点，分别称为源点和汇点，图中边只能从前一阶段的顶点指向后一阶段的顶点。很多工程应用中的实际问题都可以建模为多段图，所以其应用十分广泛。

随着多段图规模的不断增大，单机算法既无法存储所有的多段图数据，也无法实现最短路径的求解。此时，分布式算法成为必选。

分布式算法是将图数据尽量均衡地分配到计算机集群的计算节点上，然后各个计算节点并行计算本机上结果，再汇总各个部分结果得到最终结果。目前，已经提出了并行Dijkstra算法、并行Floyd算法、基于ball string模型的并行算法、Δ-Stepping并行算法等，这些方法虽然也适用于于多段图，但是没有充分利用多段图的特点，通信量过大，计算效率低。

发明内容

针对现有技术中存在的上述技术问题，本发明提出了一种求解大规模多段图最短路径的分布式方法，设计合理，克服了现有技术的不足，具有良好的效果。

为了实现上述目的，本发明采用如下技术方案：

一种求解大规模多段图最短路径的分布式方法，用|A|表示集合A中元素的个数；用

表示不大于a的最大整数，多段图是一个加权有向图G＝(V,E,W)，其中：

(1)

是顶点集合，满足/>

其中V_i是第i个阶段的顶点集合，m为阶段个数；

(2)V_i＝{v_i,j|j＝1,2,…,n_i}，其中n_i＝|V_i|表示第i个阶段的顶点个数；

(3)E＝{〈v_i,j,v_i+1,k>|i＝1,2,…,m-1；j＝1,2,…,n_i；k＝1,2,…,n_i+1}是边集合；

(4)W＝{w_i,j,i+1,k|i＝1,2,…,m-1；j＝1,2,…,n_i；k＝1,2,…,n_i+1}是权重集合，w_i,j,i+1,k是〈v_i,j,v_i+1,k〉的权重；

(5)V₁＝{v_1,1}，V_m＝{v_m,1}，v_1,1和v_m,1分别称为源点和汇点；

以

表示每个计算节点能够存储的边的最大数量；

具体步骤如下：

步骤1：执行如下步骤，对多段图进行划分：

步骤1.1：取当前计算节点编号p＝1，当前边的总数量Sum＝0，循环变量i＝1，第p个计算节点CN_p存储的第一个阶段编号s_p＝i；

步骤1.2：取阶段i至阶段(i+1)的边集合E_i＝{<v_i，j，v_i+1，k>|j＝1,2，…，n_i；k＝1,2，…，n_i+1}；

步骤1.3：取Sum＝Sum+|E_i|，若

则将E_i中所有边分配到计算节点CN_p中，取CN_p存储的最后一个阶段e_p＝i+1，并继续下一步，否则转步骤1.5；

步骤1.4：取i＝i+1；若i≤m-1，转步骤1.2，否则转步骤2；

步骤1.5：取Sum＝0，p＝p+1，s_p＝i，转步骤1.3；

步骤2：第l个计算节点CN_l(l＝1，2，…，p)执行如下步骤求各部分子图的部分最短路径，即所有计算节点并行执行如下步骤：

步骤2.1：对CN_l中存储的每个顶点v_i，j(i＝s_l，s_l+1，…，e_l，j＝1，2，…，n_i)，用

表示顶点/>

到顶点v_i，j的最短路径距离，用/>

表示顶点/>

到顶点v_i，j的最短路径上，v_i，j的前驱顶点在第(i-1)个阶段的序号；

步骤2.2：对CN_l中存储的第一个阶段的每个顶点

置/>

步骤2.3：取循环变量i＝s_l；

步骤2.4：置i＝i+1，若i≤e_l，即CN_l中存储的最后一个阶段的编号，转下一步，否则转步骤2.11；

步骤2.5：取循环变量j＝0；

步骤2.6：置j＝j+1，若j≤n_i，即不大于V_i中最后一个顶点的编号，转下一步，否则转步骤2.4；

步骤2.7：取循环变量k＝0；

步骤2.8：置k＝k+1，若

即不大于/>

中最后一个顶点的编号，转下一步，否则转步骤2.6；

步骤2.9：取

步骤2.10：取

其中v_i-1，q是/>

所对应的顶点，转步骤2.8；

步骤2.11：用

表示顶点/>

到顶点/>

的最短路径。取循环变量i＝0；

步骤2.12：置i＝i+1，若

即不大于/>

中最后一个顶点的编号，转下一步，否则转步骤2.18；

步骤2.13：取循环变量j＝0；

步骤2.14：置j＝j+1，若

即不大于/>

中最后一个顶点的编号，转下一步，否则转步骤2.12；

步骤2.15：取循环变量k＝i，循环变量h＝e_l，

步骤2.16：若h≠s_l，转下一步，否则转步骤2.14；

步骤2.17：取

h＝h-1，/>

转步骤2.16；

步骤2.18：CN_l中存储的第e_l阶段的每个顶点

产生一个最短路径信息列表/>

其中Len_j和Path_j分别表示/>

到/>

的最短路径的长度和路径；

步骤3：执行如下步骤，通过各计算节点通信来求多段图最短路径：

步骤3.1：参与通信的计算节点编号集合R＝{1，2，…，p}；

步骤3.2：若|R|＞1，转下一步，否则转步骤3.6；

步骤3.3：每个计算节点

将/>

发送给计算节点/>

步骤3.4：每个计算节点

执行如下步骤：

步骤3.4.1：取循环变量k＝0；

步骤3.4.2：置k＝k+1，若

即不大于/>

中最后一个顶点的编号；置临时变量/>

即空集，转下一步，否则转步骤3.5；

步骤3.4.3：取循环变量j＝0；

步骤3.4.4：置j＝j+1，若

即不大于/>

中最后一个顶点的编号，转下一步，否则转步骤3.4.10；

步骤3.4.5：取循环变量g＝0；

步骤3.4.6：置g＝g+1，若

转下一步，否则转步骤3.4.4；

步骤3.4.7：取循环变量h＝0；

步骤3.4.8：置h＝h+1，若

转下一步，否则转步骤3.4.6；

步骤3.4.9：若

的最后一个顶点与/>

的第一个顶点相同，置/>

转步骤3.4.8；

步骤3.4.10：置

取循环变量g＝0；

步骤3.4.11：置g＝g+1，若

即不大于/>

中最后一个顶点的编号，转下一步，否则转步骤3.4.2；

步骤3.4.12：

其中/>

且为以/>

为起点、以/>

为终点的所有路径的最短路径，转步骤3.4.11；

步骤3.5：所有计算节点完成步骤3.4后，置

转步骤3.2；

步骤3.6：计算节点CN_p的顶点v_m，1中所存储的SPL_m，1即为结果，其中SPL_m,1.Len是最短路径长度，SPL_m,1.Path是最短路径。

本发明所带来的有益技术效果：

(1)相较于单机求解算法，此算法能够使用分布式系统处理更大规模的多段图数据。

(2)相较于已有的分布式求解算法，满足负载均衡的要求并最小化通信开销。

附图说明

图1为本发明方法的流程图。

图2为多段图划分阶段子流程图。

图3为求多段图部分最短路子流程图。

图4为各计算节点通信子流程图。

图5为多段图实例图。

图6为多段图划分结果示意图。

具体实施方式

下面结合附图以及具体实施方式对本发明作进一步详细说明：

本方法涉及到多个符号表示，我们按出现顺序概述了符号所代表的含义，如表1所示：

表1

具体实施步骤将结合图5给出的多段图实例进行详细展开。

首先，根据步骤1对多段图进行划分。根据步骤1.1和1.2，初始化p＝1，Sum＝0，i＝1，s₁＝1，取多段图第1阶段所有边。

根据步骤1.3，第1阶段所有边数量之和|E₁|＝3，则Sum＝3。设每个计算节点的最大负载

为15条边，则Sum≤C，将第1阶段的边全部分配到计算节点CN₁上，取e₁＝2。

根据步骤1.4，多段图共9个阶段，则m＝9，取i＝2，因i≤8，则取第2阶段所有边，即|E₂|＝7，Sum值更新为10，即第1阶段3条边加第二阶段7条边，因10＜15，将第2阶段的出边全部分配到计算节点CN₁上，更新e₁＝3。再取i＝3，满足i≤8，取第3阶段所有边，即|E₃|＝7，Sum＝17，因17＞15，则转步骤1.5。

根据步骤1.5，重置Sum＝0，取p＝2，s₂＝3，转步骤1.3更新Sum值为7，因7＜15，将第3阶段的所有边分配到计算节点CN₂上，取e₂＝4。转步骤1.4取i＝4，满足i≤8，取第4阶段所有边，即|E₄|＝5，更新Sum值为12，因12＜15，将第4阶段的所有边分配到计算节点CN₂上，更新e₂＝5。按此一直循环得到第5阶段和第6阶段的12条边全部分配到计算节点CN₃上，s₃＝5，e₃＝7；第7阶段和第8阶段的8条边全部分配到计算节点CN₄上，s₄＝7，e₃＝9。最后分配结果如图6所示。

然后，根据步骤2，每个计算节点计算各个子图的部分最短路径。根据步骤2.1到2.8，4个计算节点并行执行，计算节点CN₁上置i＝2，j＝1，k＝1，计算节点CN₂上置i＝4，j＝1，k＝1，计算节点CN₃上置i＝6，j＝1，k＝1，计算节点CN₄上置i＝8，j＝1，k＝1。

根据步骤2.9和2.10，各个计算节点上取

即计算节点CN₁上/>

转步骤2.8后计算节点CN₁上取k＝2，因n₁＝1，不满足k≤n₁，转步骤2.6循环两次，得到/>

因j＝4，n₂＝3，不满足j≤n₂，转步骤2.4循环四次，得到/>

其他三个计算节点与计算节点CN₁同理得到/>

和/>

四个计算节点结果如下：

CN₁计算结果

CN₂计算结果

CN₃计算结果

CN₄计算结果

根据步骤2.11到2.15，4个计算节点并行执行，计算节点CN₁上取k＝1，h＝3，

计算节点CN₂上取k＝1，h＝5，/>

计算节点CN₃上取k＝1，h＝7，/>

计算节点CN₄上取k＝1，h＝9，/>

根据步骤2.16到2.17，因计算节点CN₁满足h≠s₁，则取

h＝2，

转步骤2.16后仍满足h≠s₁，取/>

h＝1，/>

再转步骤2.16后不满足h≠s₁，则转步骤2.14取j＝2，不满足/>

则转步骤2.12后再同上循环3次，得到/>

同理求得其他3个计算节点上各自sp。

根据步骤2.18求得4个计算节点上最大阶段各个点最短路径信息列表，计算节点CN₁上得到：

SPL_3，1＝{(8，{v_1，1，v_2，2，v_3，1})}

SPL_3,2＝{(9，{v_1,1，v_2,2，v_3，2})}

SPL_3,3＝{(7，{v_1,1，v_2，3，v_3，3})}

SPL_3，4＝{(7，{v_1，1，v_2，2，v_3，4})}

计算节点CN₂上得到：

SPL_5,1＝{(9，{v_3，1，v_4，2，v_5，1})，(8，{v_3，2，v_4，2，v_5,1})，(8，{v_3,3，v_4,2，v_5,1})}

SPL_5,2＝{(8，{v_3，1，v_4，1，v_5,2})，(5，{v_3,2，v_4,1，v_5,2})，(11，{v_3,4，v_4，3，v_5，2})}

SPL_5，3＝{(15，{v_3，1，v_4,2，v_5,3})，(11，{v_3,2，v_4,3，v_5,3})，(14，{v_3,3，v_4,2，v_5,3})，(12，{v_3,4，v_4,3，v_5，3})}

计算节点CN₃上得到：

SPL_7，1＝{(10，{v_5，1，v_6，1，v_7,1})，(11，{v_5，2，v_6，1，v_7，1})，(6，{v_5，3，v_6,1，v_7,1})}

SPL_7,2＝{(9，{v_5,1，v_6，2，v_7,2})，(11，{v_5,2，v_6，2，v_7，2})，(9，{v_5，3，v_6，1，v_7，2})}

SPL_7,3＝{(8，{v_5,1，v_6,2，v_7,3})，(10，{v_5,2，v_6,1，v_7,3})，(5，{v_5,3，v_6,2，v_7,3})}

SPL_7，4＝{(5，{v_5,1，v_6,2，v_7,4})，(8，{v_5，2，v_6，2，v_7，4})，(10，{v_5，3，v_6，2，v_7，4})}

计算节点CN₄上得到：

SPL_9，1＝{(12，{v_7，1，v_8，1，v_9，1})，(11，{v_7，2，v_8，2，v_9，1})，(12，{v_7，3，v_8，1，v_9，1})，(12，{v_7，4，v_8，1，v_9，1})}

最后，根据步骤3计算最终结果。根据步骤3.1和3.2，置R＝{1，2，3，4}，因|R|＝4，满足|R|＞1，则转步骤3.3，计算节点CN₁将SPL_3，1，SPL_3，2，SPL_3，3，SPL_3，4发送给计算节点CN₂，同时计算节点CN₃将SPL_7，1，SPL_7，2，SPL_7，3，SPL_7，4发送给计算节点CN₄。

根据步骤3.4.1至3.4.8，计算节点CN₂和CN₄分别置

取k＝j＝g＝h＝1。

根据步骤3.4.9到3.4.12，SPL_3，1.Path₁的终点v_3，1与SPL_5，1.Path₁的起点v_3，1相同，所以置SPL′_5，1＝{(17，{v_1，1，v_2，2，v_3，1，v_4，2，v_5，1})}，步骤3.4.9再循环3次无匹配，转步骤3.4.6后取g＝2，因|SPL_3，1|＝1，不满足g≤|SPL_3，1|，则转步骤3.4.4取j＝2，当循环到h＝2时，SPL_3，2.Path₁的终点v_3，2与SPL_5,1.Path₂的起点v_3，2相同，所以置SPL′_5，1＝{{(17，{v_1，1，v_2，2，v_3，1，v_4，2，v_5,1})，(17，{v_1，1，v_2，2，v_3，2，v_4，2，v_5,1})}；

步骤3.4.4同理再循环2次得到SPL′_5，1＝

{(17，{v_1，1，v_2，2，v_3，1，v_4，2，v_5，1})，(17，{v_1，1，v_2，2，v_3，2，v_4，2，v_5，1})，(15，{v_1，1，v_2，3，v_3，3，v_4，2，v_5，1})}，当j＝5，n3＝4，不满足j≤n₄，则转步骤3.4.10至3.4.12，置

g＝1，在SPL′_5，1中选取以v_1，1为起点、以v_5，1为终点的所有路径的最短路径，更新SPL_5,1＝{(15，{v_1，1，v_2，3，v_3，3，v_4，2，v_5，1})}，转步骤3.4.11后不满足g≤n₁，则转步骤3.4.2后再按上述步骤原理循环2次，得到SPL_5，2＝{(14，{v_1，1，v_2，2，v_3，2，v_4，1，v_5，2})}，SPL_5，3＝{(19，{v_1，1，v_2，2，v_3，4，v_4，3，v_5，3})}。

同理计算节点CN₃与CN₄进行通信后得SPL_9,1＝

{(17，{v_5,1，v_6,2，v_7,4，v_8,1，v_9,1})，(20，{v_5,2，v_6，2，v_7，4，v_8，1，v_9,1})，(17，{v_5,3，v_6,2，v_7,3，v_8,1，v_9,1})}。

根据步骤3.5，置R＝{2，4}，转步骤3.2后与第一次通信同理。最后根据步骤3.6得到SPL_9，1＝{(32，{v_1，1，v_2，3，v_3，3，v_4，2，v_5，1，v_6，2，v_7，4，v_8，1，v_9，1})}，表示最短路径长度为32，最短路径为{v_1，1，v_2，3，v_3，3，v_4，2，v_5，1，v_6，2，v_7，4，v_8，1，v_9，1}。

当然，上述说明并非是对本发明的限制，本发明也并不仅限于上述举例，本技术领域的技术人员在本发明的实质范围内所做出的变化、改型、添加或替换，也应属于本发明的保护范围。

Claims

1.一种求解大规模多段图最短路径的分布式方法，其特征在于：用|A|表示集合A中元素的个数；用

表示不大于a的最大整数，多段图是一个加权有向图G＝(V，E，W)，其中：

(1)

是顶点集合，满足/>

其中V_i是第i个阶段的顶点集合，m为阶段个数；

(2)V_i＝{v_i，j|j＝1，2，…，n_i}，其中n_i＝|V_i|，表示第i个阶段的顶点个数；

(3)E＝{<v_i，j，v_i+1，k>|i＝1，2，…，m-1；j＝1，2，…，n_i；k＝1,2，…，n_i+1}是边集合；

(4)W＝{w_{i，j，i+1，k}|i＝1,2，…，m-1；j＝1，2，…，n_i；k＝1，2，…，n_i+1}是权重集合，w_{i，j，i+1，k}是<v_i，j，v_i+1，k>的权重；

(5)V₁＝{v_1，1}，V_m＝{v_m,1}，v_1，1和v_m,1分别称为源点和汇点；

以c表示每个计算节点能够存储的边的最大数量；

具体步骤如下：

步骤1：执行如下步骤，对多段图进行划分：

步骤1.2：取阶段i至阶段(i+1)的边集合E_i＝{<v_i，j，v_i+1，k>|j＝1,2，…，n_i；k＝1，2，…，n_i+1}；

步骤1.3：取Sum＝Sum+|E_i|，若Sum＜c，则将E_i中所有边分配到计算节点CN_p中，取CN_p存储的最后一个阶段编号e_p＝i+1，并继续下一步，否则转步骤1.5；

步骤1.4：取i＝i+1；若i≤m-1，转步骤1.2，否则转步骤2；

步骤1.5：取Sum＝0，p＝p+1，s_p＝i，转步骤1.3；

步骤2：所有计算节点并行执行如下步骤求所存储子图的部分最短路径，对第l个计算节点CN_l(l＝1，2，…，p)，步骤如下：

步骤2.1：对CN_l中存储的每个顶点v_i,j(i＝s_l，s_l+1，…，e_l，j＝1,2，…，n_i)，用

表示顶点/>

到顶点v_i,j的最短路径长度，用/>

表示顶点/>

到顶点v_i，j的最短路径上，v_i，j的前驱顶点在第(i-1)个阶段的编号；

步骤2.2：对CN_l中存储的第一个阶段的每个顶点

置/>

步骤2.3：取循环变量i＝s_l；

步骤2.4：置i＝i+1，若i≤e_l，即不大于CN_l中存储的最后一个阶段的编号，转下一步，否则转步骤2.11；

步骤2.5：取循环变量j＝0；

步骤2.7：取循环变量k＝0；

步骤2.8：置k＝k+1，若

即不大于/>

中最后一个顶点的编号，转下一步，否则转步骤2.6；

步骤2.9：取

步骤2.10：取

其中v_i-1，q是/>

所对应的顶点，转步骤2.8；

步骤2.11：用

表示顶点/>

到顶点/>

的最短路径,取循环变量i＝0；

步骤2.12：置i＝i+1，若

即不大于/>

中最后一个顶点的编号，转下一步，否则转步骤2.18；

步骤2.13：取循环变量j＝0；

步骤2.14：置j＝j+1，若

即不大于/>

中最后一个顶点的编号，转下一步，否则转步骤2.12；

步骤2.15：取循环变量k＝i，循环变量h＝e_l，

步骤2.16：若h≠s_l，转下一步，否则转步骤2.14；

步骤2.17：取

h＝h-1，/>

转步骤2.16；

步骤2.18：CN_l中存储的第e_l阶段的每个顶点

产生一个最短路径信息列表/>

其中Len_j和Path_j分别表示/>

到/>

的最短路径的长度和路径；

步骤3.1：参与通信的计算节点编号集合R＝{1，2，…，p}；

步骤3.2：若|R|＞1，转下一步，否则转步骤3.6；

步骤3.3：每个计算节点

将/>

发送给计算节点/>

步骤3.4：每个计算节点

执行如下步骤：

步骤3.4.1：取循环变量k＝0；

步骤3.4.2：置k＝k+1，若

即不大于/>

中最后一个顶点的编号；置临时变量

即空集，转下一步，否则转步骤3.5；

步骤3.4.3：取循环变量j＝0；

步骤3.4.4：置j＝j+1，若

即不大于/>

中最后一个顶点的编号，转下一步，否则转步骤3.4.10；

步骤3.4.5：取循环变量g＝0；

步骤3.4.6：置g＝g+1，若

转下一步，否则转步骤3.4.4；

步骤3.4.7：取循环变量h＝0；

步骤3.4.8：置h＝h+1，若

转下一步，否则转步骤3.4.6；

步骤3.4.9：若

的最后一个顶点与/>

的第一个顶点相同，置/>

转步骤3.4.8；

步骤3.4.10：置

取循环变量g＝0；

步骤3.4.11：置g＝g+1，若

即不大于/>

中最后一个顶点的编号，转下一步，否则转步骤3.4.2；

步骤3.4.12：

其中/>

目为以/>

为起点、以/>

为终点的所有路径的最短路径，转步骤3.4.11；

步骤3.5：所有计算节点完成步骤3.4后，置

转步骤3.2；

步骤3.6：计算节点CN_p的顶点v_m,1中所存储的SPL_m，1即为结果，其中SPL_m,1.Len是最短路径长度，SPL_m,1.Path是最短路径。