CN110058945A - 基于割点分割机制的大规模图并行计算最大流的加速算法 - Google Patents

Abstract

本发明涉及基于割点分割机制的大规模图并行计算最大流的加速方法。关键步骤包括：1）构建大规模图的覆盖图；2）确定从源点到汇点在覆盖图上对应的唯一路径；3）将该路径上的顶点对应的子图全部提交到GraphChi平台进行并行最大流计算并整合子图最大流。本发明保证了每个子图最大流计算的独立性，减少了通讯次数，通过并行计算最大流再将结果整合，保证了其计算效率及正确性，能解决大规模图的最大流问题，显著提升求解最大流的计算速度。实验结果表明该方法能够充分利用问题本身特征，应对大规模图计算最大流的场景，相比经典算法能有效加速最大流的计算速度。

Description

基于割点分割机制的大规模图并行计算最大流的加速算法

技术领域

本发明涉及一种大规模图最大流计算的加速方法，是一种结合割点分割算法在并行图计算框架GraphChi上实现快速计算最大流的方法。

背景技术

随着科技的不断发展，交通、信息服务、电信等领域产生的数据都在以爆炸式的速度增长，通常这些数据都是以大规模图的形式呈现出来，城市交通最大车流量、双十一用户的交易信息传输承载能力、地区同时通话人数负载量等很多实际问题都可以转化为最大流问题，大规模图中的最大流问题已经成为图论体系中重要的研究方向。现有的网络最大流问题，经过人们多年来的努力，建立的理论已逐步趋于完善，但是大规模图的求解最大流的效率较低，依然无法满足目前很多应用场景的需求。

在当前的大数据分析领域，需要处理的图数据量往往高达数十亿以上，图数据结构复杂多变、耦合性强，所以，这类计算通常需要海量的内存，并且出现在高性能的计算集群上，这样在很大程度上增加了开发成本，而且计算的速度依然无法达到最优。相同的，采用分布式图计算系统各个程序之间需要及时的消息通讯，在大规模图计算中大量的数据需要更加频繁的通讯，这样的耗时操作也无法高效率的进行多子图的并行计算，较高的网络基础设施成本以及信息丢失等问题也限制了其应用。而基于磁盘的单机图计算系统GraphChi很好的解决了这个问题。GraphChi利用了个人计算机上的硬盘，将图谱存储在硬盘上。而且，GraphChi使用parallel sliding window减少了磁盘的随机读写，从而大大缩短了处理过程中的磁盘访问时间。利用GraphChi平台可以并行计算出子图的最大流，使得整个计算过程的速度大大提高。

发明内容

(一)解决的技术方案

本发明的主要目的在于解决现有求解大规模图最大流方法效率低下的问题，提出基于割点分割机制在并行框架GraphChi上进行大规模图计算的最大流加速方法，以提高计算效率。该方法主要利用GraphChi框架的并行性，及GraphChi框架对硬盘的高效使用，以显著提高对大规模图求解最大流的计算速度，降低计算复杂度。

(二)技术方案

为了能更清楚的对本发明进行阐述，本文涉及到的相关术语解释如下：

大规模图顶点：包含大规模图中的源点、汇点以及每条边的起始点和末尾点。

大规模图边：连接两个相邻顶点的路径，从起始点指向末尾点的边称为起始点的出边或者末尾点的入边。

边容量：该边从起始点流向末尾点的最大流量。

子图最大流：确定源点、汇点后，从该子图的源点流向汇点的最大流量。

割点：从源点流向汇点流量必须经过的顶点，删去这些点后，源点流出流量将无法到达汇点。

覆盖图：对原始图的根节点进行DFS遍历，遍历到叶子结点后回溯到割点，把找到的割点及割点之间的节点映射为覆盖图中一个顶点，覆盖图中的每一个顶点代表原始图中的一个子图，覆盖图是一个无向无环图。

覆盖图唯一路径：确定大规模图的源点、汇点之后，找到从源点到汇点所经过的子图，这些子图在覆盖图上对应的顶点连接成唯一的一条路径。

覆盖图相邻顶点：大规模图中有公共割点的两个子图i和i+1在覆盖图上的一对相邻顶点。

顶点出边集合：确定一个顶点，以该顶点作为起始点，起始点所有流向孩子节点的边的集合。包含源点到孩子节点的边及某节点到它孩子节点的边。

顶点入边集合：确定一个顶点，以该顶点作为末尾点，父节点所有流向该末端节点的该边的集合。包含汇点父节点到汇点的边及某节点父节点到该节点的边。

本发明设计了一个基于割点分割机制(如图1)的大规模图并行计算最大流的加速算法(如图2)，主要包括以下几个步骤：

第一步利用原始图构造覆盖图以及子图，详细算法过程如下：

算法从原始图的根节点进行DFS遍历，遍历到叶子结点后回溯到割点，把找到的割点映射到覆盖图中，找到全部的割点后根据原图中割点之间的关系在覆盖图中建立相应的联系。

在算法的开始，遍历当前顶点x的每一个邻居顶点z，若邻居顶点未被访问，则depth值加1，将当前顶点与邻居顶点入栈(第7～11行)。

设置low值为INF，随着顶点的不断遍历，low值更新为通过非父亲顶点能够追溯到depth值最小的顶点(第12～20行)。

若邻居顶点z已被访问且low_z≥depth_x，则x为割点并将x映射到覆盖图中顶点X(第21～25行)。

遍历到叶子结点后向上回溯，若栈顶元素不是当前正在访问的顶点或邻居顶点，则栈顶元素出栈并把栈顶元素顶点对中不是x的顶点加入到覆盖图X顶点映射的子图中，若栈顶元素为源点将当前覆盖图X顶点设置为覆盖图的源点，若栈顶元素为汇点则将当前覆盖图X顶点设置为覆盖图的汇点(第28～31行)。

若栈顶元素中有割点，则将该割点映射到覆盖图中，根据原图中割点之间的关系在覆盖图顶点之间建立相应的联系，若栈顶元素为源点将当前覆盖图U(Q)顶点设置为覆盖图的源点，若栈顶元素为汇点则将当前覆盖图U(Q)顶点设置为覆盖图的汇点(第36～43行)。

第二步给定的源点、汇点在找出在覆盖图上的唯一路径，具体实现方法如下：

对于已经给出的源点，首先确定它所在的子图，并将该子图在覆盖图上对应的顶点标记为覆盖图的源点，同样的把汇点在覆盖图上对应的顶点标记为覆盖图的汇点。

确定覆盖图上源点和汇点之后，从源点开始遍历所有路径直到到达汇点，因为通过割点分割机制构造的覆盖图是一个无向无环图，所以，从源点到汇点的路径只有唯一的一条。

将覆盖图上这条从源点到汇点的路径上的所有顶点记录下来，根据这条唯一路径的方向，找出覆盖图的这条路径上的每个节点对应子图的源点、汇点。

第三步对这条路径上的顶点对应的子图并行进行最大流计算。具体实现过程如下：

把这条从源点到汇点路径上的顶点所对应的子图全部提交到并行框架GraphChi，利用并行框架GraphChi对每个子图进行最大流计算。

目标是对于每个子图在给定源点和汇点后，在GraphChi平台上计算子图的最大流，其公式如下:

该公式所代表的含义是：每个子图的最大流等于源点s_i到各出边点v∈δ⁺(s_i)流量的最大值之和。

限制条件为：

δ^-(v_i)＝{w_i∈V_i|(w_i,v_i)∈E}，δ+(v_i)＝{w_i∈V_i|(v_i,w_i)∈E}

为了能更清楚的对本公式进行阐述，本最大流公式涉及到的相关术语解释如下：

是唯一路径上顶点所对应的子图的集合。

i是第N_i个子图。

s_i是第N_i个子图的源点。

t_i是第N_i个子图的汇点。

c_e表示每条边上容量。

f_e表示每条边上流量

f(v_i,w_i)是从顶点v_i到顶点w_i的流量。

f(w_i,v_i)是从顶w_i点到顶点v_i的流量。

f(s_i,v_i)是从顶点s_i到顶点v_i的流量。

δ⁺(s_i)表示i子图顶点s_i出边的孩子节点集合。

δ^-(s_i)表示i子图顶点s_i入边的孩子节点集合。

E_i表示i子图中所有边的集合。

与顶点v_i之间的边属于边集合E_i。

δ⁺(v_i)＝{w_i∈V_i|(v_i,w_i)∈E_i}表示i子图顶点v_i所有出边点集合。集合里的每一个顶点w_i都属于顶点集V_i，且顶点w_i与顶点v_i之间的边属于边集合E_i。

限制条件(a)(b)(c)的含义分别是：

(a)表示i子图源点s_i到各出边顶点v_i∈δ⁺(s_i)的流量最大值之和等于汇点的各入边点v_i∈δ^-(t_i)到汇点t_i的流量最大值之和。

(b)表示i子图每一条边e的流量f_e满足非负且小于该边上的容量。

(c)表示i子图顶点v_i到所有出边点流量之和等于所有入边点到顶点v_i的流量之和。

上述公式求得的是覆盖图路径上第i子图的最大流，问题的解是并行求解覆盖图路径上各个子图的最大流，该路径上所有子图最大流的最小值对应原大规模图的最大流值，即：

为了能更清楚的对本公式进行阐述，本最大流公式涉及到的相关术语解释如下：

{N₁,N₂,N₃,.....N_k}表示覆盖图唯一路径上顶点的集合

i表示覆盖图路径上的一个点，该点是原大规模图的一个子图

s_i表示i子图里面的源点

t_i表示i子图里面的汇点

该公式的含义：公式①表示对唯一路径上所有的子图求最大流，并且取其中子图最大流的最小值，这个值就是整个覆盖图的最大流，也即是原大规模图的最大流。

其中，

(d)表示求N₁→N₂→N₃→.....→N_k路径上各子图最大流，并取最小的值。该最小值等价于原大规模图各支路流量和的最大值。设子图i∈{N₁,N₂,N₃,.....N_k}最大流是所有最大流中最小的，此时目标公式中的(d)表示为第i子图是该路径上最大流的最小值。

原问题的解是求取整个大规模图的最大流的值，而割点分割机制的问题目标是利用GraphChi平台并行计算出给定路径上所有子图的最大流值，找到此路径上的最大流，也就是各子图的最大流的最小值(d)即得到原大规模的最大流值。

覆盖图上最大流求解算法，详细算法过程如下：

有益效果：

1、利用本发明，能够充分的发挥GraphChi平台的并行计算的能力，解决了分布式计算算法复杂度高、维护困难以及传统串行算法计算效率低下、计算资源无法充分利用等瓶颈问题。

2、本发明利用割点分割机制构造原大规模图覆盖图，确定从源点到汇点在覆盖图上对应的唯一路径之后，将该路径上的顶点对应的子图全部提交到GraphChi平台进行并行最大流计算，保证了每个子图最大流计算的独立性，减少了通讯次数，通过并行计算最大流再将结果整合，保证了其计算效率及正确性，可满足快速求解大规模图最大流的算法开发需求。

附图说明

图1利用割点分割机制构造原始图的覆盖图

图2对覆盖图唯一路径上的顶点所对应的子图基于GraphChi框架并行求解最大流

图3相同数据下串行程序与并行程序执行速度加速对比图。

具体实施方式

实施例一：

以图1、图2和图3(其中，图1左侧图中的实心圆圈表示顶点，字母表示顶点标号，虚线表示两点之间的边，阴影顶点s表示汇点，阴影顶点t表示汇点，图1右侧图中虚线圆圈表示覆盖图的顶点，大写字母表示顶点标号，实线表示两个覆盖图顶点之间的边；图2阴影顶点组成覆盖图源点到汇点的唯一路径，每个顶点旁边的图是该顶点对应的子图；图3矩形点表示并行时间-节点规模关系图，图3实心圆点表示串行行时间-节点规模关系图)为例，详细说明本发明的实现过程，其具体实施方式如下：

先利用割点分割机制构造原始图(图1左)的覆盖图(图1右)，并利用原始图源点和汇点在覆盖图上找到唯一的一条路径，根据这条路径的方向，把这条路径上的顶点所对应子图的源点、汇点找到并进行标记。

把(图2)唯一路径上的顶点所对应的子图提交给GraphChi平台并行进行最大流计算，然后，找到该路径上的最大流值。

图3显示了本发明与常规串行算法在不同数据集上计算最大流执行时间的差异。其中，数据来自TIGER/Line中New York City的数据，图中横坐标表示选取原大规模图的顶点数，纵坐标表示程序执行时间。随着数据集从顶点数为321270的数据开始逐渐递增，GraphChi框架上并行计算最大流算法的执行时间缓慢增长，而传统串行算法的执行时间呈急剧增长。这是因为在不同规模数据集上的覆盖图和子图只生成一次，且并行计算必要的子图，因此在大规模数据集上进行最大流计算时可显著缩短最大流的执行时间。说明数据规模越大本发明的加速效果越明显。

我们通过比较传统串行算法和基于割点分割机制利用GraphChi框架对子图并行求解最大流的算法，根据两个算法在相同数据上执行时间的比较，得出割点分割机制并行计算子图最大流算法的加速效果。在相同的计算环境中，数据集越大、子图节点数分布越均匀，采用割点分割机制在GraphChi平台上并行计算子图最大流的加速算法的执行时间就越短，算法的加速效果也就越好。

Claims (4)

1.基于割点分割机制的大规模图并行计算最大流的加速算法，其特征在于：

可在单机上处理大规模图，将对大规模图求解最大流的问题转化为了多个子图并行求解最大流的问题，提供了基于割点分割机制构建覆盖图，覆盖图唯一路径上的顶点所对应的子图在并行GraphChi框架下快速求解方法。

2.根据权利1要求的多个子图并行求解最大流的问题，其特征在于：

原大规模图构建覆盖图主要包括如下步骤：

1)在算法的开始，遍历当前顶点x的每一个邻居顶点z，若邻居顶点未被访问，则depth值加1，将当前顶点与邻居顶点入栈；

2)设置low值为INF，随着顶点的不断遍历，low值更新为通过非父亲顶点能够追溯到depth值最小的顶点；

3)若邻居顶点z已被访问且low_z≥depth_x，则x为割点并将x映射到覆盖图中顶点X；

4)遍历到叶子结点后向上回溯，若栈顶元素不是当前正在访问的顶点或邻居顶点，则栈顶元素出栈并把栈顶元素顶点对中不是x的顶点加入到覆盖图X顶点映射的子图中，若栈顶元素为源点将当前覆盖图X顶点设置为覆盖图的源点，若栈顶元素为汇点则将当前覆盖图X顶点设置为覆盖图的汇点；

5)若栈顶元素中有割点，则将该割点映射到覆盖图中，根据原图中割点之间的关系在覆盖图中顶点之间建立相应的联系，若栈顶元素为源点将当前覆盖图U(Q)顶点设置为覆盖图的源点，若栈顶元素为汇点则将当前覆盖图U(Q)顶点设置为覆盖图的汇点。

3.根据权利2要求的原大规模图构建覆盖图问题可转化为求覆盖图唯一路径问题，其特征在于，主要包括以下步骤：

给定的源点、汇点在找出在覆盖图上的唯一路径，具体实现方法如下：

a)对于已经给出的源点，首先确定它所在的子图，并将该子图在覆盖图上对应的顶点标记为覆盖图的源点，同样的把汇点在覆盖图上对应的顶点标记为覆盖图的汇点；

b)确定覆盖图上源点和汇点之后，从源点开始遍历所有路径直到到达汇点，因为通过割点分割机制构造的覆盖图是一个无向无环图，所以，从源点到汇点的路径只有唯一的一条；

c)将覆盖图上这条从源点到汇点的路径上的所有顶点记录下来，根据这条唯一路径的方向，找出覆盖图上的这条路径的每个节点对应子图的源点、汇点。

4.根据权利3要求的覆盖图唯一路径问题可转化为多子图并行求最大流问题，其特征在于，主要包括以下步骤：

a.所述问题的目标公式表示为：

该公式所代表的含义是：每个子图的最大流等于源点到各出边点流量的最大值之和；

限制条件为：

其中，

δ^-(v_i)＝{w_i∈V_i|(w_i,v_i)∈E}，δ⁺(v_i)＝{w_i∈V_i|(v_i,w_i)∈E}

是唯一路径上顶点所对应的子图的集合

i是第N_i个子图

s_i是第N_i个子图的源点

t_i是第N_i个子图的汇点

c_e表示每条边上容量

f_e表示每条边上流量

f(v_i,w_i)是从顶点v_i到顶点w_i的流量

f(w_i,v_i)是从顶w_i点到顶点v_i的流量

f(s_i,v_i)是从顶点s_i到顶点v_i的流量

δ⁺(s_i)表示i子图顶点s_i出边的孩子节点集合

δ^-(s_i)表示i子图顶点s_i入边的孩子节点集合

E_i表示i子图中所有边的集合

表示i子图的顶点v_i的取值是除源点s_i、汇点t_i之外的所有点的集合V_i

δ^-(v_i)＝{w_i∈V_i|(w_i,v_i)∈E_i}表示i子图顶点v_i所有入边的集合，集合里的每一个顶点w_i都属于顶点集V_i，且顶点w_i与顶点v_i之间的边属于边集合E_i

δ⁺(v_i)＝{w_i∈V_i|(v_i,w_i)∈E_i}表示i子图顶点v_i所有出边点集合，集合里的每一个顶点w_i都属于顶点集V_i，且顶点w_i与顶点v_i之间的边属于边集合E_i

b.上述公式求得的是覆盖图路径上第i子图的最大流，问题的解是并行求解覆盖图路径上各个子图的最大流，该路径上所有子图最大流的最小值对应原大规模图的最大流值，即：

其中，

{N₁,N₂,N₃,.....N_k}表示覆盖图唯一路径上顶点的集合

i表示覆盖图路径上的一个点，该点是原大规模图的一个子图

s_i表示i子图里面的源点

t_i表示i子图里面的汇点

c.公式②的含义是对唯一路径上所有的子图求最大流，并且取其中子图最大流的最小值，这个值就是整个覆盖图的最大流，也即是原大规模图的最大流。