CN105590321A - 一种基于块的子图构建及分布式图处理方法 - Google Patents

Abstract

本发明公开了一种基于块的子图构建及分布式图处理方法，其子图构建方法，包括图分割、对子图中的顶点重新贴标签、将区间与数据片关联、分块和构建子图的步骤；采用启发式的、轻量级的SGP方法进行图分割，采用用户定义的启发式函数把顶点按顺序指派到P个子图，具有性能高，边的切割率较低的特点，并且可以兼顾子图工作负载平衡问题；其分布式图处理系统，块分割之后，子图之间以整个内存块为单位进行通信；与现有技术的细粒度通讯方式相比，本发明的基于内存块的数据交换，可以充分利用网络带宽，提高网络的利用率，降低通讯时间。

Description

一种基于块的子图构建及分布式图处理方法

技术领域

本发明属于计算机大数据处理技术领域，更具体地，涉及一种基于块的子图构建及分布式图处理方法。

背景技术

在当前大数据背景下，呈现出越来越多的对大规模图数据进行分析、处理、挖掘的应用需求。近年来，研究人员提出了一些分布式图处理框架，例如Google公司的Pregel、卡内基梅隆大学的DistributedGraphLab和PowerGraph、斯坦福大学的GPS；这些分布式图处理框架大多采用随机分割的方法把顶点分布到集群的各计算节点上；在计算过程中，顶点通过消息传递的方式或直接访问分布式共享内存的方式实现交互。这种细粒度的交互方式带来了巨大的系统通讯开销；例如，GPS在执行PageRank图算法时，其通讯时间占到整个运行时间的95％。导致高通讯开销的主要原因是这种细粒度的通讯方式不能充分利用网络带宽。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种基于块的子图构建及分布式图处理方法，其目的在于降低分布式图处理的通讯开销。

为实现上述目的，按照本发明的一个方面，提供了一种基于块的子图构建方法，具体包括以下步骤：

(1)图分割：采用SGP(StreamingGraphPartition)方法，用启发式函数将顶点按顺序指派到P个子图；具体的，采用以下的启发函数把顶点u分配到子图i：其中，P>1；

$\underset{i=\{1,...,k\}}{\mathrm{argmax}}|P_i^t\∩N\left(u\right)|(1-\frac{\left|P_i^t\right|}{C_i})$

其中，C_i是计算结点i的最大容量，K是子图的个数，是子图i在t时间的顶点集合，N(u)是顶点u的邻居集合；用于降低边的切割率，用于平衡子图间的工作负载；其中，容量是指能存放边的条数，0≤i≤P-1，u∈V，V为顶点的集合；

(2)对子图中的顶点重新贴标签：依次对P个子图的顶点贴标签，使之形成P个连续但不相交的区间(Interval)；这种连续但不相交的区间带来有益效果是：对于给定的顶点，可以很直观地判断它属于哪个子图；

(3)将区间与数据片关联：每个区间关联一个数据片(shard)；并将shard从0到(P-1)按顺序贴上标签；每个shard保存所有目标顶点在该区间范围内的边，边按其源顶点的顺序存放；

(4)分块：根据shard中边的源顶点所属的区间把一个shard分解成P个连续块；将块按顺序从0到(P-1)贴标签；每个块用B(x,y)来标识，x是块标签号，y是shard标签号；0≤x≤P-1，0≤y≤P-1；

(5)构建子图：由一个局部边块(LB)、(P-1)个远程入边块(RIB)和(P-1)个远程出边块(ROB)构建成一个子图；

子图s的(P-1)个远程入边块表示为B(i，s)；(P-1)个远程出边块表示为B(p，j)，0≤i≤P-1，s≠i，0≤j≤P-1；

每个远程出边块包含目标顶点在其它子图所有的边；每个远程入边块包含源顶点在其它子图所有的边；局部边块B(p，p)是一个特殊的块，该块所有边的源顶点和目标顶点都在区间p内；图分割时，边的切割率越低，局部边块B(p，p)越大，而其它(P-1)个出边块越小；

各子图间存在数据块的依赖关系；子图s的远程出边块B_data(s，t)是子图t的远程入边块B_data(s，t)的副本，0≤t≤(P-1)，且t≠s，0≤s≤P-1，0≤t≤P-1；

为实现本发明目的，按照本发明的另一个方面，提供了一种基于上述子图构建方法的分布式图处理方法，具体包括以下步骤：

(6)块分割：将上述每个块B(x，y)分割为一个B_adj(x，y)块和一个B_data(x，y)块；

其中，B_adj(x，y)块用于保存图拓扑结构信息，B_data(x，y)块用于保存边的值；由此，当两个子图进行信息交换时，只需要在网络上传输B_data(x，y)块；

各子图间存在数据块的依赖关系，子图p的远程出边块B_data(p,t)是子图t的远程入边块B_data(p,t)的副本；

(7)执行步骤：将前一个超步的输出作为下一个超步的输入，进行超步迭代，直到所有顶点达到收敛条件。

优选地，上述步骤(7)中的超步包括计算和通信，具体如下：

(7.1)各顶点并行地通过指针直接读或写边的值；

(7.2)各计算节点发送(P-1)个远程出边块到其它(P-1)个计算节点；计算节点用接收到的远程出边块替换接收到出边块对应的副本；

(7.3)重复步骤(7.1)～(7.2)，直到所有的顶点达到收敛条件；其中，收敛条件由用户预设。

与传统基于消息传递(messagepassing)通讯模式的图处理方法相比，本发明提供的图处理方法，以边块为单位构建子图，以边块为单位进行通信；在通信步骤中，每个计算节点只需向其它(P-1)个计算结节各发送一个出边数据块，可大幅提高系统的通信效率，从而提高系统的总体性能。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：

(1)本发明提供的基于块的子图构建方法，采用启发式的、轻量级的SGP方法进行图分割，采用用户定义的启发式函数把顶点按顺序指派到P个子图，具有性能高，边的切割率较低的特点，并且可以兼顾子图工作负载平衡问题；

(2)本发明提供的分布式图处理系统，子图之间以整个内存块为单位进行通信；而现有技术的分布式图处理系统采用细粒度的通讯方式，图的顶点数量巨大，造成群集机器间的通讯次数多，在通讯总量一定的情况下，该方式的网络利用率低，不能充分利用网络带宽，增加了系统通信开销；与现有技术的这种细粒度通讯方式相比，本发明的基于内存块的数据交换，可以充分利用网络带宽，提高网络的利用率，降低通讯时间；

(3)本发明提供的基于块的子图构建及分布式图处理方法中，边的数据以块为单位驻留内存中，Update(v)函数通过指针直接读/写边的值，当子图间进行相关数据交换时，集群中的一台机器直接把整个相关数据块通过网络复制到另一台机器的内存中，另一台机器收到该数据块后，Update(v)函数可以直接使用该数据块中边的值，避免了合并、转换、解析等步骤带来的额外开销；而现有技术中，采用合并消息的方法来提高通讯效率：合并多个顶点的消息，组合转换为一个数据包，发送给集群的另一个计算节点，另一个计算节点收到消息后解析该数据包，并把消息发送相应的顶点；与现有技术相比，本发明提供的方法，消除了合并，转换，解析带来的时延。

附图说明

图1为本发明提供的子图构建方法与处理流程图；

图2为实施例1中图分割、重新贴标签的示意图；

图3为实施例1中图G的4个shard；

图4为实施例1中图G的4个子图；

图5为实施例2的计算步骤与通信步骤的数据处理示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

本发明提供的基于块的子图构建及分布式图处理方法，其流程如图1所示意的，包括子图构建的数据预处理步骤和执行步骤；

其中，数据预处理步骤包括图分割、重新贴标签、生成数据片、分块和生成子图的步骤；执行步骤包括计算和通信；

图2是对实施例的有向图图G进行图分割、重新贴标签的示意图；采用启发式函数进行图分割，将图2(a)中的顶点按顺序指派到4个子图，如图2(b)所示；对分布在4个子图中的顶点重新贴标签，使之形成4个连续但不相交的区间(Interval)，包括interval0(顶点1～4)，interval1(顶点5～8)，interval2(顶点9～12)，interval3(顶点13～16)；

将数据片(shard)从0到3按顺序贴上标签，shard内的边按其源顶点的顺序存放；图3则是将上述4个区间与4个shard关联的示意图；图G的4个shard分别标记为：shard0，shard1，shard2，shard3；

如图3中所示意的，根据shard中边的源顶点所属的子图把每个shard分解成连续的块(block)；将块按顺序贴标签；实施例中，每个shard被分为四个块，即block0，block1，block2，block3；每个块用B(x,y)来标识；其中，x是块标签号，y是shard标签号，0≤x≤P-1,0≤y≤P-1，P是计算节点的数量；

图4则示意了由上述块所构建成的4个子图，图4(a)所示是子图0，图4(b)所示是子图1，图4(c)所示是子图2，图4(d)所示是子图3；每个子图一个局部边块、3个远程入边块和3个远程出边块构建而成。

本实施案例中，在每轮迭代的通讯步骤中，每个计算节点只需要发送2个边块；与传统的基于细粒度小消息通信模式的图处理方法相比，本发明的基于边块的通信方法具有更高的通信效率，大大减小每个消息的平均通信开销，从而大提高系统的性能。

图5为本发明实施例2中超步里计算与通信的示意图；在该实施例中，一个有向图在预处理步骤被分割构建成三个子图，每个子图由一个计算节点管理；每个子图包含一个局部边数据块、两个远程出边数据块和两个远程入边数据块；执行步骤包括一系列超步，每个超步包括一个计算步骤和一个通讯步骤；

本实施例里，每个超步中，各顶点独立地调用一个用户定义的Update(v)函数，直接读或写边的值；本实施例中，采用的是计算网页排名的函数Update(v):PageRank，该函数计算顶点v的网页排名的值(pagerank)；图5(b)表示顶点i(在计算节点0中)的计算步骤，具体如下：

(a)根据入边的值获取顶点i的网页排名，即pagerank值；

(b)将顶点i的值更新成新的pagerank的值；

(c)基于顶点i的新的pagerank的值，更新顶点i出边的值；顶点i入边的值在前一个超步中被该入边的源顶点更新，顶点i出边的值在下一个超步中被该出边的目标顶点使用。

实施例中，在每个超步的通讯步骤中，每个计算节点向其它的两个计算节点分别发送一个远程出边数据块；每个远程出边数据块是其它计算节点的远程入边数据块的副本；计算节点接收到一个远程出边数据块后，直接用其更新相应的远程入边数据块；

如图5所示，在实施例中，计算节点0发送块①给计算节点1，发送块④给计算节点2；同时，每个计算节点接收到两个数据块；在实施例中，计算节点0从计算节点1接收到块②，从计算节点2接收到块③。

超步迭代，直到所有的顶点达到收敛条件；实施例中，采用计算网页排名的函数时，收敛条件设定为相连两个超步之间顶点的网页排名值增量的绝对值小于预先设定的阈值。

上述实施例中在每个超步的通信步骤中，一个计算节点只需要向另一个计算节点发送一个边块；与传统的基于细粒度通信模型的图处理方法相比，本发明提供的分布式图处理方法的通信步骤能充分利用网络带宽，降低消息的平均通信开销，从而很大程度地提高通信效率；另一方面，计算节点接收到边块后，边值可以直接被使用，消除了接收端的额外通信开销。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种基于块的子图构建方法，其特征在于，具体包括以下步骤：

(1)采用启发式函数将顶点按顺序指派到P个子图；P>1；

(2)依次对P个子图的顶点贴标签，使之形成P个连续但不相交的区间；

(3)将区间与数据片关联，并将数据片从0到(P-1)按顺序贴上标签；每个数据片存放其目标顶点在该区间的边；

(4)根据数据片中边的源顶点所属的区间把一个数据片分解成P个连续块；将块按顺序从0到(P-1)贴标签；每个块用B(x,y)来标识，x是块标签号，y是是数据片标签号；0≤x≤P-1，0≤y≤P-1；

(5)由一个局部边块、(P-1)个远程入边块和(P-1)个远程出边块构建成一个子图。

2.如权利要求1所述的子图构建方法，其特征在于，采用如下启发函数把顶点u分配到子图i：

$\underset{i\∈\{1,...,k\}}{\arg max}|P_i^t\∩N\left(u\right)|(1-\frac{\left|P_i^t\right|}{C_i})$

其中，C_i是计算结点i的最大容量，K是子图的个数，是子图i在t时间的顶点集合，N(u)是顶点u的邻居集合；用于降低边的切割率，用于平衡子图间的工作负载。

3.一种基于权利要求1或2所述的子图构建方法的分布式图处理方法，其特征在于，在步骤(5)之后还包括以下步骤：

(6)将每个所述块B(x，y)分割为一个B_adj(x，y)块和一个B_data(x，y)块；

所述B_adj(x，y)块用于保存图拓扑结构信息，B_data(x，y)块用于保存边的值；各子图间存在数据块的依赖关系，子图p的远程出边块B_data(p,t)是子图t的远程入边块B_data(p,t)的副本；

(7)将前一个超步的输出作为下一个超步的输入，进行超步迭代，直到所有顶点达到收敛条件。

4.如权利要求3所述的分布式图处理方法，其特征在于，所述步骤(7)中的超步包括计算和通信，具体如下：

(7.1)各顶点并行地通过指针直接读或写边的值；

(7.2)各计算节点发送(P-1)个远程出边块到其它(P-1)个计算节点；计算节点用接收到的远程出边块替换接收到出边块对应的副本；

(7.3)重复步骤(7.1)～(7.2)，直到所有的顶点达到收敛条件。