CN103699606A - 一种基于顶点切割与社区聚集的大规模图划分方法 - Google Patents

Abstract

本发明公开了一种基于顶点切割（vertex cut）和社区聚集（community detection）的多层k路（k-way）图划分的方法，包括：根据统计分析特性考虑自然图本身的分布，提出相应的顶点切割算法将影响任务完成时间较大的一些顶点进行切割，然后利用基于标签传播的社区聚集算法迭代地将切割之后的图进行标签传播，将图的各个顶点的标签确定，即得到该顶点所在社区，最后用传统的多层k-way图划分算法进行划分，巩固效率。本发明对于大规模迭代图处理中的大部分应用，能够使得分布式计算节点满足负载均衡的同时，极大地减少相邻迭代处理步骤之间各个处理原节点由于迭代依赖必要而产生的额外通信量，大大地提高图处理框架的任务运行效率，增大任务的吞吐量。

Description

一种基于顶点切割与社区聚集的大规模图划分方法

技术领域

本发明属于计算机科学技术领域，更具体地，涉及一种基于顶点切割与社区聚集的大规模图划分方法。

背景技术

随着计算机技术的发展，Web2.0的广泛应用，互联网中的数据量正在变得越来越庞大，对这些数据的处理的挑战也越来越多，其中一个就是海量图数据的处理（图计算），比如对海量网页数据进行PageRank计算，社交网络中的社交关系分析，网络文献关系分析等等，由于图计算的主要特点是需要多次迭代，计算单元之间需要相互通信，因此传统的全量式计算框架MapReduce并不适合做图计算，于是出现一批专用的大规模图计算框架如CMU的GraphLab，UC Berkeley的Spark，Google的Pregel，Apache的Hama，微软的Trinity等。

在分布式环境下，图计算处理框架中的图划分算法直接影响框架的处理效率，现有的框架均采用简单的Hash算法，虽然简单快捷但是只能满足负载均衡，而传统的MGP（Multilevel Graph Partition）划分方案对自然图的处理性能不足，因为它无法顾及自然图的Power-Law分布特性，因此划分效率也不高，在迭代时节点的通信量上往往产生瓶颈，很大程度上影响任务的完成时间，进而影响到整体平台的计算性能和服务质量。

当然，随着研究的深入，也有一些新兴的方案涌现，比如基于流式的解决方案，将图的加载抽象成增量的流式数据，利用一些简单的启发式划分算法，充分考虑图划分中的最小边割和顶点均衡实现不同的算法，但是无法解决Power-Law图划分。也有将图划分结果的生成当做二叉树的生成，并将处理顶点任务分配与图划分共同结合起来，提出一种在云环境下分布式M/S结构的图划分方案，也无法解决Power-Law图划分。还有基于社区聚类中的标签传播来指导图划分，迭代地对各个计算顶点进行标签计算直到标签值不再变化，然后再按传统的MGP算法进行划分，亦无法解决Power-Law图划分。还有一种基于顶点切割的方式解决自然图划分中的通信开销问题，它通过图的概率密度分布函数确定顶点切割最大期望值，然后用其做指导，提出相应的贪心启发式划分算法，但是由于需要Power-Law的分布函数做指导，而该分布函数的参数确定本身就是一个难题。

发明内容

针对现有技术的缺陷，本发明的目的在于提供一种基于顶点切割与社区聚集的大规模图划分方法，其能够应用于包括网页数据和网络文献关系在内的大规模迭代图计算，从自然图本身的统计特性出发进行分析，结合社交网络领域的均衡化标签传播算法与经典的KL/FM划分算法，使得对于大规模迭代图计算应用，满足计算负载均衡的同时，极大地减少迭代时计算节点之间的通信量。

为实现上述目的，本发明提供了一种基于顶点切割与社区聚集的大规模图划分方法，应用于包括网页数据和网络文献关系在内的大规模迭代图计算，包括以下步骤：

（1）初始化划分集群，包括设定集群软硬件的参数，启动集群，划分算法代码部署；

（2）定时检测划分节点，利用定时间隔的心跳检测，查看各个计算节点是否在线，确保集群运行正常，并将待划分图发送到集群中；

（3）统计待划分图的顶点度数分布，得到该待划分图的分布特性，即其Power-Law分布参数，根据该分布参数得到具体的顶点切割方案；

（4）根据切割方案进行顶点切割，得到切割图；

（5）获取切割完成后的图；

（6）对切割之后的图迭代地进行标签传播处理；

（7）获取标签传播图，并进行MGP划分，以巩固顶点切割以及社区聚类的效率；

（8）重复步骤（3）至步骤（7）直到迭代次数达到预定次数。

与现有技术相比，本发明具有以下的有益效果：

（1）高效性：代替传统的边切割方案，通过顶点切割即镜像的方式进行分配，应用于大规模迭代图应用时，各个迭代步之间如果要获取顶点的值，只需要跟镜像通信即可，如果要修改顶点的值，则可通过修改顶点的值，然后传递到镜像即可，总而言之，通过顶点切割方式，无需像传统边切割方案那样在各个节点之间进行通信，大大地减少了网络通信量，而网络通信量是影响迭代计算任务吞吐率的最大因素，因而顶点切割方式能够很大程度上提高迭代图计算的任务吞吐率。同时，因为结合图本身的社区特性，通过标签传播的方式寻找到各个社区，然后进行巩固，能够从图本身特性上也即全局特性上进行考虑，从整体结构上把握划分，进一步地降低网络通信量。通过这三步，本发明很好地解决了迭代图计算应用之前图划分的效率问题。

（2）高速性：步骤（6）通常在4-5步之后会收敛，最好情况是2步，最差情况是7步。而且，对于本发明所做的工作对于大规模迭代图应用而言属于前置工作，而且是一次运行，多次有效的，更明白地解释是，多个迭代图应用可以共用本发明的处理结果。

附图说明

图1是本发明基于顶点切割与社区聚集的大规模图划分方法的流程图；

图2是本发明步骤（4）的细化流程图；

图3是本发明步骤（6）的细化流程图；

图4是本发明步骤（7）的细化流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1所示，本发明基于顶点切割与社区聚集的大规模图划分方法包括以下步骤：

（1）初始化划分集群，包括设定集群软硬件的参数，启动集群，划分算法代码部署。

其中，所述集群软硬件参数包括计算节点的磁盘大小、内存大小、IP地址和镜像目录等；所述代码部署包括运行脚本的部署和算法核心代码的部署。因为算法是分布式运行，其中算法核心代码的部署需要进行相关打包压缩，并为之建立相应的输入输出目录。

（2）定时检测划分节点，利用定时间隔的心跳检测，查看各个计算节点是否在线，确保集群运行正常，并将待划分图发送到集群中。

（3）统计待划分图的顶点度数分布，得到该待划分图的分布特性，即其Power-Law分布参数，根据该分布参数得到具体的顶点切割方案。顶点切割的具体过程参见步骤（4）。

（4）根据切割方案进行顶点切割，得到切割图，具体步骤如下：

（4-1）初始化参数，包括要切割的顶点集V，顶点之间的关联，即边集E，已经分配的边集E′，切割的顶点集合标号，也即集群的节点集合K＝{1,2,…,k},对顶点为u，v的任意边，即(u,v)←e，初始化

将顶点u已经被放置的所有的节点的集合初始化为空集，且

意义同u理。

（4-2）读取所述顶点为u，v的边，对其两顶点的已分配集合即A(u)，A(v)做出如下决策：若两者均非空且无交集，则选择两者并集中负载最小的一个节点作为顶点分割后将要分配到的节点；若两者中有一个为空，则选择不为空集合中负载最小的节点；若两者均不为空且有交集时，则选择交集中负载最小的节点。

（4-3）根据上一步骤的决策进行顶点切割，也即将顶点切割出一个镜像，连同该边连着的另一个顶点，一同分配到步骤（4-2）中决策所选择的计算节点中，这样完成了一个顶点的切割。在本实施例中，切割指的是将顶点复制出一个镜像，作为顶点的复件连同相连顶点共同完成分配。

（4-4）动态更新顶点的已分配集合A(u)，A(v)，作为下一次分配的输入参数。

（4-5）重复执行步骤（4-2）至（4-4），直到所有的顶点完成切割及所在的边完成分配，即可获得切割完成之后的分布式图。

（4-6）整理切割完毕之后的图，作为标签传播的输入。

其中，所述整理包括统一输出文件中图的表达方式，标定已切割顶点以便传播时区别对待等。

（5）获取切割完成后的图。

（6）对切割之后的图迭代地进行标签传播处理，具体步骤如下：

（6-1）将得到的图进行初始标签化处理，即将每个顶点的标签初始化为其对应的id值，作为最初的社区标记。

（6-2）根据图的结构进行标签扩散，扩散规则为，将标签值P_u根据顶点的出度d进行分发，更具体点，对于顶点的标签P_u，将其对相邻顶点的影响力置为重复执行步骤（6-2）直至所有的顶点都已经处理完成。

（6-3）将顶点u的标签P_u更新为对其影响力最大的标签值，其中，所述影响力为标签所指顶点出度的倒数。

具体包括：获取该顶点所有入度顶点的标签以及该标签对该顶点的影响力，然后对各个顶点根据其所有相邻顶点标签对其影响力，按标签值为key进行分类求和，排序得到P_max，则P_u＝P_max。

（6-4）重复执行（6-2）至（6-3）直到所有的顶点的标签值不再变化为止，表示标签传播算法已经收敛完成，即可得到标签传播图。

（7）获取标签传播图，并进行MGP划分，以巩固顶点切割以及社区聚类的效率，具体步骤如下：

（7-1）根据标签传播结果，对结果图做初始化处理，即将标签值相同的顶点做聚集。在本实施例中，这里的聚集可以是指将其缩合成一个顶点，但是要保持所需内容，得到一个缩合图。

（7-2）对缩合图进行迭代粗化，直到结果图的大小适用于KL/FM算法。这次的粗化方案不再是标签值相同的顶点进行缩合，而是采用经典的缩合方案，例如零边匹配，重边匹配等。在本实施例中，可以直接用零边匹配，也即这一步是一个迭代处理的过程，直到结果图达到划分要求。

（7-3）利用KL/FM算法进行划分。

（7-4）根据各顶点保存的内容迭代地进行反粗化，得到已经被划分的原始图。

其中，该反粗化过程是粗化过程的一个逆过程，即将在保留划分信息的同时，将缩合的顶点进行还原。

（7-5）得到MGP划分图。

（8）重复步骤（3）至步骤（7）直到迭代次数达到预定次数。

其中，步骤（4）的理论基础在于以下公式：

$E\left[\frac{1}{\left|V\right|}\underset{v\∈V}{\mathrm{\Σ}}\right|A\left(v\right)\left|\right]=\frac{k}{\left|V\right|}\underset{v\∈V}{\mathrm{\Σ}}(1-\frac{1}{{\mathrm{\Σ}}_{d=1}^{\left|V\right|-1}{d}^{-\mathrm{\α}}}\underset{d=1}{\overset{\left|V\right|-1}{\mathrm{\Σ}}}{(1-\frac{1}{k})}^d{d}^{-\mathrm{\α}})$

更加具体地讲，以上公式从理论上给出了顶点切割时的顶点复制期望，其中|V|表示顶点集，d表示顶点度数，α表示Power-Law分布参数，k表示划分子域个数

步骤（6-2）和（6-3）具体是采用以下公式：

max_X∑_i,jf_ij(x_ij)  s.t.

$S_i-\left|V_i\right|\≤{\mathrm{\Σ}}_{j\≠i}(x_{\mathrm{ij}}-x_{\mathrm{ji}})\≤T_i-\left|V_i\right|,\∀i$

$0\≤x_{\mathrm{ij}}\≤P_{\mathrm{ij}},\∀i,j$

其中S_i表示社区约束的下限，而T_i表示社区约束的上限，|V_i|表示划分子域的顶点集，x_ij表示从子域i移动到子域j的顶点数，表示相关顶点从一个分区移动到另外一个分区时的收益，从标签传播上来说即标签更新之后的收益。u_ij(k)表示标签排序第k的顶点从子域i移动到子域j的信息传递收益，即能够减小的网络通信量，P_ij表示要进行标签更新的顶点。

在实现时，采用一个估值模型，该模型的每一个迭代步采用贪心策略，更加清楚地描述是，在满足负载均衡限制的前提下，尽量地修改顶点的标签值，使得目标函数收益最大。

实验结果表明，基于顶点切割与社区聚集的大规模图划分方法，与已有的简单hash划分方法相比，同样用于大规模迭代图计算时，运行效率提升70%-80%，而划分算法本身运行速率达到原方法的50%以上。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于顶点切割与社区聚集的大规模图划分方法，应用于包括网页数据和网络文献关系在内的大规模迭代图，包括以下步骤：

（1）初始化划分集群，包括设定集群软硬件的参数，启动集群，划分算法代码部署；

（2）定时检测划分节点，利用定时间隔的心跳检测，查看各个计算节点是否在线，确保集群运行正常，并将待划分图发送到集群中；

（3）统计待划分图的顶点度数分布，得到该待划分图的分布特性，即其Power-Law分布参数，根据该分布参数得到具体的顶点切割方案；

（4）根据切割方案进行顶点切割，得到切割图；

（5）获取切割完成后的图；

（6）对切割之后的图迭代地进行标签传播处理；

（7）获取标签传播图，并进行MGP划分，以巩固顶点切割以及社区聚类的效率；

（8）重复步骤（3）至步骤（7）直到迭代次数达到预定次数。

2.根据权利要求1所述的划分方法，步骤（1）中，所述集群软硬件参数包括计算节点的磁盘大小、内存大小、IP地址和镜像目录。

3.根据权利要求1所述的划分方法，所述步骤（4）具体包括：

（4-1）初始化参数，包括要切割的顶点集V、顶点之间的关联，即边集E、已经分配的边集E′和切割的顶点集合标号，也即集群的节点集合K＝{1,2,…,k},对顶点为u，v的任意边，即(u,v)←e，初始化

将顶点u已经被放置的所有的节点的集合初始化为空集，且

（4-2）读取所述顶点为u，v的边，对其两顶点的已分配集合即A(u)，A(v)做出如下决策：若两者均非空且无交集，则选择两者并集中负载最小的一个节点作为顶点分割后将要分配到的节点；若两者中有一个为空，则选择不为空集合中负载最小的节点；若两者均不为空且有交集时，则选择交集中负载最小的节点；

（4-3）根据上一步骤的决策进行顶点切割，也即将顶点切割出一个镜像，连同该边连着的另一个顶点，一同分配到步骤（4-2）中决策所选择的计算节点中；

（4-4）动态更新顶点的已分配集合A(u)，A(v)，作为下一次分配的输入参数；

（4-5）重复执行步骤（4-2）至（4-4），直到所有的顶点完成切割及所在的边完成分配，即可获得切割完成之后的分布式图；

（4-6）整理切割完毕之后的图，作为标签传播的输入。

4.根据权利要求3所述的划分方法，其中，所述整理包括统一输出文件中图的表达方式，标定已切割顶点。

5.根据权利要求1所述的划分方法，所述步骤（6）具体包括：

（6-1）将得到的图进行初始标签化处理，即将每个顶点的标签初始化为其对应的id值，作为最初的社区标记；

（6-2）根据图的结构进行标签扩散，直至所有的顶点都已经处理完成；

（6-3）将顶点u的标签P_u更新为对其影响力最大的标签值，其中，所述影响力为标签所指顶点出度的倒数；

（6-4）重复执行（6-2）至（6-3）直到所有的顶点的标签值不再变化为止，得到标签传播图。

6.根据权利要求5所述的划分方法，其中，所述标签扩散的扩散规则为：对于顶点的标签P_u，将其对相邻顶点的影响力置为

7.根据权利要求5所述的划分方法，其中，所述步骤（6-3）具体包括：获取该顶点所有入度顶点的标签以及该标签对该顶点的影响力，然后对各个顶点根据其所有相邻顶点标签对其影响力，按标签值为key进行分类求和，排序得到P_max，则P_u＝P_max。

8.根据权利要求1所述的划分方法，所述步骤（7）具体包括：

（7-1）根据标签传播结果，对结果图做初始化处理，即将标签值相同的顶点做聚集，得到一个缩合图；

（7-2）对缩合图进行迭代粗化，直到结果图的大小适用于KL/FM算法；

（7-3）利用KL/FM算法进行划分；

（7-4）根据各顶点保存的内容迭代地进行反粗化，得到已经被划分的原始图；

（7-5）得到MGP划分图。

9.根据权利要求8所述的划分方法，所述步骤（7-2）中，采用零边匹配方法进行迭代粗化。

Images