CN107992572A - 一种基于Pregel的分布式图着色算法 - Google Patents

Abstract

本发明公开了一种基于Pregel的分布式图着色算法，包括以下步骤：对于图G中的所有点，分别分配一个随机数作为权值；对于度数为0的顶点，即与其他顶点没有边相连的顶点，给其分配颜色值1；初始化当前颜色值为1；应用Pregel模型寻找独立集S，包括三种方案；对于独立集中的任一顶点v，给其分配当前颜色值；将已着色顶点从图G中删除，将颜色值增加1；重复步骤4)到步骤6)，直到图G中的所有点都被着色。本发明利用Pregel模型适合大规模图计算的特点提高并行图着色算法的效率。能够基于寻找最大独立集的思想，对于大规模图数据进行图着色处理，并且通过引入的优化策略，以达到减少图着色算法的时间和着色所需颜色数量的目的。

Description

一种基于Pregel的分布式图着色算法

技术领域

本发明涉及面向大规模图数据的图着色算法领域，具体为基于Pregel的分布式图着色算法。

背景技术

近来，由于以RDF为代表的图数据量日益增加，图数据管理开始受到越来越多的关注。如何有效地对RDF图数据进行加载、存储和查询成为现在研究的一个热点问题。目前，已经有很多工作对如何有效管理RDF图数据进行了研究，并提出了很多有效的解决方案。其中DB2RDF是一种将RDF图存储到关系数据库的有效方法，但由于RDF图数据规模的不断增长，单机版本的DB2RDF的数据加载和存储方案的性能受到限制，因此需要一种分布式的加载和存储方案来提高已有方案的性能。同时，DB2RDF需要使用图着色算法进行RDF图存储模式的构建，因此使用相对应的分布式图着色算法来获得可伸展的RDF图数据装载性能成为需要解决的问题。

图着色问题是最著名的NP-完全问题之一，其的最简单形式是顶点着色问题，即为图中的每个顶点分配一个颜色，以保证任何相邻的顶点不具有相同的颜色。图着色算法可以应用于很多实际问题中，包括频道分配问题、任务调度问题、安全装箱问题等。

由于图着色问题是NP-完全问题，目前没有在多项式时间内解决这个问题的确定算法。但很多启发式的单机或者分布式算法已经被提出，其中使用了贪心策略的启发式算法是解决图着色问题的最基本和经典的算法。由于现在需要处理的数据量越来越大，单机图着色算法的性能渐渐不能满足用户的需要，因此，很多的并行图着色算法被提出，这些算法通过分布式计算使得图着色算法的效率进一步提高。然而，目前大多数分布式图着色算法是基于传统的共享内存模型，如MPI，OpenMP等。根据我们的调查，目前尚缺少相关研究工作对现有的分布式图着色算法加以改进调整，适配到Pregel模型下进行算法研究与实验比较。Pregel模型具有“以顶点为中心”计算的特点，因此更适合并行图计算，使用Pregel消息传递模型来进行并行图计算可以进一步提高图计算效率。

目前已有的单机图着色算法包括如下：

目前使用贪心策略的启发式算法是解决图着色问题最经典和有效的算法基于贪心策略的图着色算法首先按照一定的顺序寻找图中的所有顶点，当寻找到某一顶点，为其分配可用的最小的颜色，即这个颜色不能与当前着色点的邻居点的颜色相同。First Fit(FF)算法是一种简单的贪心着色算法，它每次从一个随机的顶点顺序中得到下一个需要着色的顶点。Largest-Degree-First-Ordering(LFO)算法在寻找下一个着色顶点时总是选择剩余顶点中度最大的点。Incidence-Degree-Ordering(IDO)算法则以邻居中已着色的顶点的数量作为是否选择的依据。Saturation-Degree-Ordering(SDO)算法选择下一顶点时的依据则是其邻居中颜色的数量。这些算法由于只适用于单机的情况，不能满足大规模图数据处理的要求，但它们仍然可以为设计图着色并行算法版本提供借鉴和参考。

目前已有的并行图着色算法包括如下：

并行启发式图着色算法都基于寻找独立集的思想。其中，Lucy提出了一个并行构造独立集的Maximal-Independent-Set(MIS)算法，其给每个顶点分配一个权重，这个权重来自一个从1到n的排序(n为顶点数量)，如果一个顶点具有本地最大的权重，即它的权重大于它的所有的邻居顶点的权重，就把这个顶点加入到独立集中，然后对独立集中的顶点分配当前可用最小颜色。

Jones和Plassmann所提出的并行图着色算法与MIS算法的不同是，给每个顶点分配一个不重复的随机数作为权重和对每个独立集中的顶点分配可用的最小颜色。Largest-Degree-First(LDF)算法将度最大的顶点首先放入独立集，顶点的权值在相邻点具有相同的度时用来解决冲突。Smallest-Degree-Last(SDL)算法分为两个阶段，第一阶段根据顶点的度分配权重，第二阶段通过所得的权重来寻找独立集并着色。此外，Allwright等人对以上方法在SIMD和MIMD架构下进行了实验对比。但这些方法都基于传统的共享内存模型，而不能直接应用于Pregel消息传递模型。

Salihoglu等基于类Pregel模型对很多图算法进行了优化，提出了几种优化技术来提高类Pregel系统上图计算的效率，并且其实验显示Pregel模型可以减少大规模图数据并行计算的时间，Pregel模型以顶点计算为中心，计算由消息驱动，适用于分布式图计算。

发明内容

本发明的目的是为了克服现有技术中的不足，提供一种基于Pregel的分布式图着色算法，本发明基于Pregel消息传递模型进行图着色问题的研究，利用Pregel模型适合大规模图计算的特点提高并行图着色算法的效率。能够基于寻找最大独立集的思想，对于大规模图数据进行图着色处理，并且通过引入的优化策略，以达到减少图着色算法的时间和着色所需颜色数量的目的。

本发明的目的是通过以下技术方案实现的：

一种基于Pregel的分布式图着色算法，包括以下步骤：

1)对于图G中的所有点，分别分配一个随机数作为权值；

2)对于度数为0的顶点，即与其他顶点没有边相连的顶点，给其分配颜色值1；

3)初始化当前颜色值为1；

4)应用Pregel模型寻找独立集S，包括三种方案；

5)对于独立集中的任一顶点v，给其分配当前颜色值；

6)将已着色顶点从图G中删除，将颜色值增加1；

7)重复步骤4)到步骤6)，直到图G中的所有点都被着色。

进一步的，步骤4)中第一种方案为寻找最大独立集后以便着色；首先比较预分配的权值，其次将本地最大的权值的顶点加入最大独立集中并将其所有邻居顶点加入到非独立集合中，重复此过程，直到所有顶点均被放入最大独立集或非独立集中，具体分为发送消息阶段、合并消息阶段和本地计算阶段。

所述的发送消息阶段、合并消息阶段和本地计算阶段具体如下：

1)发送消息阶段下包括三种情况：第一种情况即接受消息的点既没有被着色，也没有被加入到最大独立集或者非独立集中，该情况下，满足条件的点将向其所有邻居顶点发送自己的权值；第二种情况即当发送消息的顶点已被加入到最大独立集合中，该情况下发送消息的顶点将把自己在最大独立集中的状态告知它的所有邻居顶点，接收到此消息的顶点将被加入到非独立集中；最后一种情况是当接收消息的顶点已经被加入到最大独立集或者非独立集中，该情况下将不发送消息；

2)合并消息阶段下，前一阶段顶点收到的消息将会被合并，每个顶点将比较自己收到的消息中的权值的大小，并保留最大的权值；

3)本地计算阶段下，每个顶点将根据收到的信息以及自身的属性完成自己的计算任务；首先该顶点会比较自身具有的权值是否大于其消息中的邻居点最大权值：若该顶点的权值大于其邻居点最大权值，则将该点加入到最大独立集中；若其权值小于其邻居点最大权值，则暂时不对该顶点做计算；同时，若当前点被告知其邻居点已经被加入到最大独立集中，则将当前顶点加入至非独立集中；重复执行上述三个阶段，直至所有顶点或被加入到最大独立集合中，或被加入到非独立集合中。

进一步的，步骤4)中第二种方案为寻找一个不确定为最大的独立集，后分别对独立集中的顶点分配最小的可用颜色，具体过程分为以下三个阶段：

1)发送消息阶段，该阶段下每个顶点将自己在图初始化时得到的随机权值以及自己现有的颜色值发送给它的所有邻居顶点；

2)合并消息阶段，每个顶点将找到其收到的所有的邻居顶点发送的权值中的最大值，并且将所有邻居现有的颜色值均放入一个集合中；

3)局部计算的阶段，每个顶点将比较自己具有的权值是否大于其所有邻居顶点的权值的最大值，即该顶点的权值是否是本地最大的，若当前顶点具有本地最大的权值，则对其着色，将不在其邻居颜色集合中的最小颜色值分配给该顶点。

进一步的，步骤4)中第三种方案为在计算独立集时优先考虑每个顶点的度是否为本地最大，其目的是减少所需的颜色数量，具体过程分为以下三个阶段：

1)发送消息阶段，每个顶点向其所有邻居顶点发送消息，若相邻的两个顶点具有相同的度，则发送的消息中包含顶点的度、权值和其现有颜色，若相邻的两个顶点具有的度不同，则发送的消息仅包含顶点的度和颜色值，不发送它的权值；

2)合并消息阶段，每个顶点将从收到的消息中得到其邻居顶点具有的最大度，与其具有相同度的邻居顶点的最大权值，以及所有邻居的现有颜色值所构成的集合；

3)局部计算阶段，每个顶点通过比较检查自己的度是否为本地最大，当度相同时则比较权值，若顶点具有本地最大度，则加入顶点到独立集，并对其分配当前可用的最小颜色。

与现有技术相比，本发明的技术方案所带来的有益效果是：

本发明针对大规模图数据，通过以传递消息的方式寻找最大独立集，以达到进行分布式图着色的目的，从而提高了图着色算法的性能，使图着色算法可以应用于更大规模的数据，并且能够减少着色所需颜色数量。

附图说明

图1是本发明算法的整体流程图。

图2是本发明算法步骤4)中第一种方案的流程图。

图3是本发明算法步骤4)中第二种方案的流程图。

图4是本发明算法步骤4)中第三种方案的流程图。

图5是本发明中三种方案在合成数据集LUBM上进行图着色的着色时间结果。

图6是本发明中三种方案在真实数据集DBpedia上进行图着色的着色时间结果。

图7是本发明中三种方案在真实数据集DBpedia上进行图着色的着色所需颜色数量的结果。

具体实施方式

下面结合附图对本发明作进一步的描述，为使描述简洁直观，本实施例中的算法描述以算法语句体现。

见图1，本发明中基于Pregel的分布式图着色算法的基本算法即MIS-Pregel算法如下：

算法1.MIS-Pregel算法。

输入：RDF图T；

输出：已着色的干涉图G_c

参见图2，本发明第一种方案中，应用Pregel模型寻找最大独立集的算法如下：

算法2，基于Pregel模型寻找最大独立集算法。

输入：带有权值的干涉图G′＝(V′,E′)；

输出：输入干涉图的最大独立集S.

参见图3，本发明的第二种方案中涉及的算法即JP-Pregel算法如下：算法3.JP-Pregel改进算法.

输入：带有权值的干涉图G′＝(V′,E′)；

输出：已全部着色的干涉图G_c.

参见图4，本发明的第三种方案中涉及的算法即LDF-Pregel算法如下：算法4.LDF-Pregel改进算法.

输入：带有权值和度的干涉图G′＝(V′,E′)；

输出：已全部着色的干涉图G_c.

简要介绍图5、图6和图7中的实验环境。本实施例中涉及的实验平台使用的集群包括7个节点，其中的3个节点使用的是主频为3.40GHz的Intel Core i7-6700四核处理器，其内存大小为16G，硬盘大小为2T。剩余4个节点使用2.66GHz的Intel Core2 Quad Q8400四核处理器，其内存大小为8G，硬盘大小为0.5T。节点间通信使用1000Mbps以太网。实验平台所用集群的所有节点均使用Ubuntu 16.04.2LTS的64位操作系统，其使用的Hadoop版本号为2.7.3，使用的Spark版本号为2.1.0。

参见图5，本发明在四个LUBM数据集LUBM1，LUBM10，LUBM50，LUBM100上进行了图着色处理实验。由图可以看出，算法1、算法3和算法4的图着色时间都随着数据集规模的增大而增大，且两种改进算法由于采用了优化策略，从而相对于MIS-Pregel算法，其在相同规模的数据集上需要更少的着色时间。

参见图6、图7，本发明在真实数据集DBpdedia上进行了图着色处理实验。从图中实验结果可知，不论对于哪种算法，其图着色所需要的时间都随着谓语数量的增加而增加，也就是说，图着色时间受到数据集中谓语数量的影响，并且随着谓语数量的增加，MIS-Pregel算法所用时间增加上升趋势快，而JP-Pregel算法和LDF-Pregel算法所用时间增加趋势比较平缓。此外，根据实验结果，两种优化算法的着色时间少于MIS-Pregel算法，从而说明优化策略的有效性。且在谓语数量增加后，可以发现LDF-Pregel优化算法需要使用的颜色数量少于其他算法，这说明LDF-Pregel优化算法对于颜色数量的优化是有效的。

本发明并不限于上文描述的实施方式。以上对具体实施方式的描述旨在描述和说明本发明的技术方案，上述的具体实施方式仅仅是示意性的，并不是限制性的。在不脱离本发明宗旨和权利要求所保护的范围情况下，本领域的普通技术人员在本发明的启示下还可做出很多形式的具体变换，这些均属于本发明的保护范围之内。

Claims (5)

1.一种基于Pregel的分布式图着色算法，其特征在于，包括以下步骤：

1)对于图G中的所有点，分别分配一个随机数作为权值；

2)对于度数为0的顶点，即与其他顶点没有边相连的顶点，给其分配颜色值1；

3)初始化当前颜色值为1；

4)应用Pregel模型寻找独立集S，包括三种方案；

5)对于独立集中的任一顶点v，给其分配当前颜色值；

6)将已着色顶点从图G中删除，将颜色值增加1；

7)重复步骤4)到步骤6)，直到图G中的所有点都被着色。

2.根据权利要求1所述基于Pregel的分布式图着色算法，其特征在于，步骤4)中第一种方案为寻找最大独立集后以便着色；首先比较预分配的权值，其次将本地最大的权值的顶点加入最大独立集中并将其所有邻居顶点加入到非独立集合中，重复此过程，直到所有顶点均被放入最大独立集或非独立集中，具体分为发送消息阶段、合并消息阶段和本地计算阶段。

3.根据权利要求2所述基于Pregel的分布式图着色算法，其特征在于，所述的发送消息阶段、合并消息阶段和本地计算阶段具体如下：

1)发送消息阶段下包括三种情况：第一种情况即接受消息的点既没有被着色，也没有被加入到最大独立集或者非独立集中，该情况下，满足条件的点将向其所有邻居顶点发送自己的权值；第二种情况即当发送消息的顶点已被加入到最大独立集合中，该情况下发送消息的顶点将把自己在最大独立集中的状态告知它的所有邻居顶点，接收到此消息的顶点将被加入到非独立集中；最后一种情况是当接收消息的顶点已经被加入到最大独立集或者非独立集中，该情况下将不发送消息；

2)合并消息阶段下，前一阶段顶点收到的消息将会被合并，每个顶点将比较自己收到的消息中的权值的大小，并保留最大的权值；

3)本地计算阶段下，每个顶点将根据收到的信息以及自身的属性完成自己的计算任务；首先该顶点会比较自身具有的权值是否大于其消息中的邻居点最大权值：若该顶点的权值大于其邻居点最大权值，则将该点加入到最大独立集中；若其权值小于其邻居点最大权值，则暂时不对该顶点做计算；同时，若当前点被告知其邻居点已经被加入到最大独立集中，则将当前顶点加入至非独立集中；

重复执行上述三个阶段，直至所有顶点或被加入到最大独立集合中，或被加入到非独立集合中。

4.根据权利要求1所述基于Pregel的分布式图着色算法，其特征在于，步骤4)中第二种方案为寻找一个不确定为最大的独立集，后分别对独立集中的顶点分配最小的可用颜色，具体过程分为以下三个阶段：

1)发送消息阶段，该阶段下每个顶点将自己在图初始化时得到的随机权值以及自己现有的颜色值发送给它的所有邻居顶点；

2)合并消息阶段，每个顶点将找到其收到的所有的邻居顶点发送的权值中的最大值，并且将所有邻居现有的颜色值均放入一个集合中；

3)局部计算的阶段，每个顶点将比较自己具有的权值是否大于其所有邻居顶点的权值的最大值，即该顶点的权值是否是本地最大的，若当前顶点具有本地最大的权值，则对其着色，将不在其邻居颜色集合中的最小颜色值分配给该顶点。

5.根据权利要求1所述基于Pregel的分布式图着色算法，其特征在于，步骤4)中第三种方案为在计算独立集时优先考虑每个顶点的度是否为本地最大，以减少所需的颜色数量，具体过程分为以下三个阶段：

1)发送消息阶段，每个顶点向其所有邻居顶点发送消息，若相邻的两个顶点具有相同的度，则发送的消息中包含顶点的度、权值和其现有颜色，若相邻的两个顶点具有的度不同，则发送的消息仅包含顶点的度和颜色值，不发送它的权值；

2)合并消息阶段，每个顶点将从收到的消息中得到其邻居顶点具有的最大度，与其具有相同度的邻居顶点的最大权值，以及所有邻居的现有颜色值所构成的集合；

3)局部计算阶段，每个顶点通过比较检查自己的度是否为本地最大，当度相同时则比较权值，若顶点具有本地最大度，则加入顶点到独立集，并对其分配当前可用的最小颜色。