CN101866355A

CN101866355A - 基于云计算的社会网络划分方法及系统

Info

Publication number: CN101866355A
Application number: CN201010198332A
Authority: CN
Inventors: 吴斌; 杨娟; 王柏; 杨胜琦; 李凯平; 周春燕
Original assignee: Beijing University of Posts and Telecommunications
Current assignee: Beijing University of Posts and Telecommunications
Priority date: 2010-06-11
Filing date: 2010-06-11
Publication date: 2010-10-20

Abstract

本发明提供一种基于云计算的社会网络划分方法及系统，该方法包括：求出社会网络中的极大团；根据极大团之间共有点所占相应极大团的比重，将所述极大团进行归并；将所述极大团归并得到的社区作为新的点后，用边连接相邻点，得到新的社会网络。根据极大团对社会网络进行划分，将归并后的极大团作为新的点得到新的社会网络，新的社会网络可以准确的反映分析需求，提高社会网络的利用效率；同时，采用云计算的方式求出极大团，可以提高社会网络的划分效率。

Description

基于云计算的社会网络划分方法及系统

技术领域

本发明涉及一种基于云计算的社会网络划分方法及系统。

背景技术

目前数据挖掘任务处理的对象主要是单独的数据实例，这些数据实例往往可以用一个包含多个属性值的向量来表示，同时这些数据实例之间假设是统计上独立的。例如，要训练一个疾病诊断系统，它的任务是诊断一个被试者是否患有某种传染病，通常的做法是用一个向量来表示一个被试者，同时假设各被试者之间的患病情况是相互独立的，即知道一个确诊病人对于诊断其他被试者是否患病不能提供任何帮助。直观经验告诉我们这种假设是不合理的，一个人的亲戚、朋友患有此传染病，则他相对其他人有更大的可能性患病。在社会里，人与人不是简单的统计上独立的采样点，他们之间必然存在着联系和影响，忽视了这种联系会对整个诊断系统的性能带来很大的影响。为了解决这个问题，必须将数据实例之间的关系同时考虑进来，从而提出了社会网络的概念，可以用图结构来刻画社会结构。

社会网络包括很多节点和连接这些节点的一种或多种特定的链接。其中，节点往往表示了个人、团体、人、文章和/或服务器等物理存在的实体；链接则表示节点之间存在的各种关系，如朋友关系、亲属关系、贸易关系、引用关系等。社会网络除了图结构表示之外，还有其他社会学形式和代数形式的表示方式。

社会网络数据中蕴涵了大量的信息，可以对于整个社会网络进行挖掘，找出社会网络所呈现出的一些性质，或者对于整个网络是否具有某种性质做出判断。例如，发现一个人最多通过六个人的中转可以联系到世界上其他的任何一个人；还有，对多个不同团体的社会网络如何准确地做出分类，例如从正常的公司的社会网络关系中发现恐怖组织所具有的模式对于打击恐怖组织很有帮助。在许多对社会网络挖掘的方法中，如何对社会网络进行快速高效的划分是影响挖掘效率的一个关键点。

发明内容

因此，本发明的目的在于提供一种基于云计算的社会网络划分方法及系统，提高社会网络的划分效率。

为实现本发明的上述目的，提供基于云计算的社会网络划分方法，包括：

求出社会网络中的极大团；

根据极大团之间共有点所占相应极大团的比重，将所述极大团进行归并；

将所述极大团归并得到的社区作为新的点后，用边连接相邻点，得到新的社会网络。

优选地，其中，所述求出社会网络中的极大团包括：

将所述社会网络分为若干部分；

并行读取各部分社会网络的信息；

根据读取的内容计算极大团。

优选地，其中，所述读取各部分社会网络的信息包括：

根据相关度读取一个点相关的所有点和边的信息。

优选地，其中，所述根据相关度读取一个点相关的所有点和边的信息包括：

读取一个点的所有一跳的点和二跳的点，以及所有一跳的点的全部边和二跳的点与一跳的点相连的边。

优选地，其中，所述根据读取的内容计算极大团包括：

深度优先遍历生成一个点的子极大团；

将该点的邻接点带入下一层迭代；

在下一层迭代中，求其中一点的相邻点，得到的点集进入下一层求子极大团，直至进入最底层；

将得到的子极大团的点组合成一个极大团。

优选地，其中，所述根据读取的内容计算极大团还包括：

组合成一个极大团后，返回上一层继续极大团的生成。

优选地，其中，所述根据读取的内容计算极大团还包括：

将出现在深度遍历路径上的点进行标识。

优选地，其中，所述根据极大团之间共有点所占相应极大团的比重，将所述极大团进行归并包括：

当两个极大团之间共有点的点数大于等于点数少的极大团的点数减N时，将该两个极大团归并，其中，N为大于0小于点数少的极大团点数的整数。

优选地，其中，所述N为1。

本发明还提供基于云计算的社会网络划分系统，该系统包括：

计算单元，用于求出社会网络中的极大团；

归并单元，用于根据极大团之间共有点所占相应极大团的比重，将所述极大团进行归并；

划分单元，用于将所述极大团归并得到的社区作为新的点后，用边连接相邻点，得到新的社会网络。

优选地，所述计算单元包括：

分部子单元，用于将所述社会网络分为若干部分；

读取子单元，用于并行读取各部分社会网络的信息；

计算子单元，用于根据读取的内容计算极大团。

优选地，所述读取子单元还用于根据相关度读取一个点相关的所有点和边的信息。

优选地，所述读取子单元还用于读取一个点的所有一跳的点和二跳的点，以及所有一跳的点的全部边和二跳的点与一跳的点相连的边。

优选地，所述计算单元包括：

迭代子单元，用于深度优先遍历生成一个点的子极大团；将该点的邻接点带入下一层迭代；在下一层迭代中，求其中一点的相邻点，得到的点集进入下一层求子极大团；直至进入最底层；

组合子单元，用于将得到的子极大团的点组合成一个极大团。

优选地，所述计算单元还包括：

标识子单元，用于将出现在深度遍历路径上的点进行标识。

优选地，所述归并单元包括：当两个极大团之间共有点的点数大于等于点数少的极大团的点数减N时，将该两个极大团归并，其中，N为大于0小于点数少的极大团点数的整数。

本发明的有益效果是：

根据极大团对社会网络进行划分，将归并后的极大团作为新的点得到新的社会网络，新的社会网络可以准确的反映分析需求，提高社会网络的利用效率；同时，采用云计算的方式求出极大团，可以提高社会网络的划分效率。

进一步的，采用将社会网络分为若干部分，并行同时处理各部分社会网络的分布式模式。一方面，避免了单机处理容量有限的缺陷，将大容量的运算拆分为多个较小容量运算同时进行的方式，在低内存处理的基础上，提高了时间效率；并且降低了单机的存储和运算负荷。另一方面，单个处理出现故障时，如果重新运行所需的运算量小；如果转交给其他处理点所需的传输量和运算量也小，从而可以提高社会网络划分的稳定性。

附图说明

图1示出本发明实施例中基于云计算的社会网络划分方法的流程示意图；

图2示出本发明实施例中点阵转换成邻接表的流程示意图；

图3示出本发明实施例中分布式环境中生成极大团的流程示意图；

图4示出本发明实施例中分布式环境中社区生成的流程示意图；

图5示出本发明实施例中基于云计算的社会网络划分系统的结构示意图。

具体实施方式

本发明的技术方案可以用于数据处理和社团分析，目前用于数据处理和社团分析主要基于单机节点运行，存在着以下不足：1)输入的数据量就会受到内存容量的限制；2)适用于单机的程序并不能满足更多图形挖掘任务的需求，例如时间性能要求；3)稳定性不高，当节点出现问题时，需要重新运行；运行大数据量时更容易出现问题。本发明的技术方案主要提供：单机上运行图中极大团(其中，极大团是指社会网络中两两之间都有联系的点组成的集合)的搜索方法，然后将搜索出的极大团进行归并，成为社区划分，最后以社区为一点，将相邻的社区用边连接，可以包括图的极大团生成、极大团生成社区和添加社区连接。

其中，图的极大团具体实现可以包括：对图中的每一点进行极大团的生成，深度优先遍历生成该点的子极大团，将该点的邻接点带入下一轮迭代。在下一层迭代中，求其中一点的相邻点，得到的点集进入下一层求子极大团。直到进入最底层，没有用于生成子极大团的点了，则生成一个极大团。然后返回到上一层，对上一层的剩余点继续进行极大团的生成。为了避免生成重复的极大团，需要将出现在深度遍历路径上的点进行标识，使得上一层已生成子极大团的节点不会进入到该层循环中下一节点的深度遍历过程。为了提高效率，引入一个定理，即生成一个点v的极大团需要进行的相邻点的循环个数为CAND-Γ(u)，其中u使得|CAND∩Γ(u)|的值最大，Γ(u)为u的邻接点集，CAND为进入深度遍历中用到的v的邻接点集，u为CAND中的一个点。这样，原来生成子极大图要|CAND|个数的循环，现在用了CAND-Γ(u)个数的循环。

其中，极大团生成社区的具体实现可以包括：

A、对每个极大团一个社区编号，然后进行两两极大团的归并，将可归并的极大团的社区号设成相同的；

B、归并：如果两个极大团共有的点数＞＝点数少的极大团的点数-1，则进行归并。

其中，添加社区连接的具体实现可以包括：

A、得到所有社区和原始图；

B、如果两两社区中的点在原始图中存在边，那么就输出两个社区id，说明这两个社区相连。

采用本发明的技术方案，可以完成生成极大团所需信息的分布式表示和同时生成多个极大团，在分布式环境中，生成极大团所需要的信息分配及存储满足在单一运算节点上生成极大团所需的所有信息，进而生成所有的极大团；分布式环境中，极大团去重，即在分布式环境中，同时进行多个极大团的归并，高效地生成多个社区的边。

以下结合附图详细说明本发明的基于云计算的社会网络划分方法及系统。

请参见图1，基于云计算的社会网络划分方法，包括：

101、求出社会网络中的极大团。

102、根据极大团之间共有点所占相应极大团的比重，将所述极大团进行归并；比重可以根据不同的社会网络分析需求而定，当相关度要求较高时，比重可以相应的设置较大，当相关度要求较低时，比重可以相应的设置较小。

103、将所述极大团归并得到的社区作为新的点后，用边连接相邻点，得到新的社会网络。

优选地，其中，所述求出社会网络中的极大团包括：

将所述社会网络分为若干部分；

并行读取各部分社会网络的信息；

根据读取的内容计算极大团。

优选地，其中，所述读取各部分社会网络的信息包括：

根据相关度读取一个点相关的所有点和边的信息。

优选地，其中，所述根据读取的内容计算极大团包括：

深度优先遍历生成一个点的子极大团；

将该点的邻接点带入下一层迭代；

将得到的子极大团的点组合成一个极大团。

优选地，其中，所述根据读取的内容计算极大团还包括：

组合成一个极大团后，返回上一层继续极大团的生成。

优选地，其中，所述根据读取的内容计算极大团还包括：

将出现在深度遍历路径上的点进行标识，使得上一层已生成子极大团的节点不会进入到该层循环中下一节点的深度遍历过程。

优选地，其中，所述N为1。

采用本实施例的技术方案，可以根据极大团对社会网络进行划分，将归并后的极大团作为新的点得到新的社会网络，新的社会网络可以准确的反映分析需求，提高社会网络的利用效率；同时，采用云计算的方式求出极大团，可以提高社会网络的划分效率。

下面，举例说明本发明基于云计算的社会网络划分方法的应用，该应用包括：分布式中含有N个节点的极大图生成、分布式中极大团归并成社区以及分布式中社区连接。在本应用中，M表示map函数；R表示reduce函数。

其中，分布式中含有多个节点的极大图生成包括：

请参阅图2，将表示图的点阵转换成邻接表。在map函数中将输入的图文件识别成<key，value>对，key为一点，value为相邻的一点，然后输出。

所有key值相同的对会被一个reduce函数接收，即在同一个分布式节点上，并将key值相同的对的value值集合成Iterator。对应一个key，输出所有的邻接点，从而得到分布式环境中生成的邻接表。

其中，分布式环境中生成极大团包括：

请参阅图3，如果已知Γ(v)和Γ(Γ(v))，其中v为一个节点，Γ(v)为与v节点相邻的节点，从而得到v节点所在的所有极大团。将一个点的一个一跳邻接点和该一跳邻接点的所有邻接点在map函数中输出。

在一个reduce函数中对属性值相同的点进行收集，得到该点所有的一跳邻接点和所有的两跳邻接点，生成该k点属性值的所有极大团；生成过程与单机运行生成极大团的过程类似，但由于分布式的影响，为了保证各个节点输出不重复的极大团，只输出极大团中k点属性值为最大的极大团。

多个reduce函数在不同的节点上同时运行，可同时生成不同k值的极大团，这样就得到了所有的极大团31、32、、、3p(p为正整数)。

其中，分布式中极大团归并成社区包括：

请参阅图4，在map函数中对每个极大团和它的最大值的点进行输出。

在reduce函数中对具有相同最大属性值点的极大团进行归并。如果两个极大团共有的点数＞＝点数少的极大团的点数-N，则进行归并。N是任意大于0小于极大团点数的取值，针对极大团最少点数为3的社会网络，N优选为1

在本应用中，极大团1与极大团11，极大团3于极大团10，极大团2与极大团8，极大团4与极大团5满足归并条件，即有共同的最大点与相交点的个数＞＝点数少的极大团的点数-N。

多个处理机节点同时运行，各个节点处理节点间不同的最大属性值点的极大团，进行极大团归并，并行生成多个社区。

其中，分布式中社区连接包括：

在map函数中对每一个社区先输出全部社区数的个数，即功能类似复制n份相同社区(n为社区数)。

在一个reduce函数中得到所有的社区和图，用社区id判定用哪个社区与其余社区进行连接，然后将此社区和其余社区进行连接关系认定，输出有连接关系的社区id对，即一条边。

多个reducer同时运行，运行n个reduce函数，可同时输出多个不同社区的边。

本实施例通过采用并行处理的模式，增强了对大数据量的处理能力，即分布式环境使得大数据量的数据可并行处理，内存消耗要小于单机运行；提高了运算效率，即分布式运算突破了单机运算的瓶颈，并发运行提高了时间效率，并且降低了单机的存储和运算负荷；同时提高了处理的稳定性，即当分布式环境中一个数据节点(非名字节点)出现故障时，该数据节点的任务会被转交给另一个数据节点完成，不需整个任务重新运行。

请参阅图5，本发明还提供基于云计算的社会网络划分系统，该系统包括：

计算单元501，用于求出社会网络中的极大团；

归并单元502，用于根据极大团之间共有点所占相应极大团的比重，将所述极大团进行归并；

划分单元503，用于将所述极大团归并得到的社区作为新的点后，用边连接相邻点，得到新的社会网络。

进一步地，所述计算单元可以包括：

分部子单元，用于将所述社会网络分为若干部分；

读取子单元，用于并行读取各部分社会网络的信息；

计算子单元，用于根据读取的内容计算极大团。

进一步地，所述读取子单元还用于根据相关度读取一个点相关的所有点和边的信息。

进一步地，所述读取子单元还用于读取一个点的所有一跳的点和二跳的点，以及所有一跳的点的全部边和二跳的点与一跳的点相连的边。

进一步地，所述计算单元可以包括：

进一步地，所述计算单元还包括：

标识子单元，用于将出现在深度遍历路径上的点进行标识。

进一步地，所述归并单元包括：当两个极大团之间共有点的点数大于等于点数少的极大团的点数减N时，将该两个极大团归并，其中，N为大于0小于点数少的极大团点数的整数。

尽管以上参照具体实施方式详细描述了本发明，但是对于本领域技术人员而言，在本文的教示下可以对本发明作出各种修改和变形，而不脱离本发明的实质和范围。

Claims

1.基于云计算的社会网络划分方法，包括：

求出社会网络中的极大团；

2.根据权利要求1所述的方法，其中，所述求出社会网络中的极大团包括：

将所述社会网络分为若干部分；

并行读取各部分社会网络的信息；

根据读取的内容计算极大团。

3.根据权利要求2所述的方法，其中，所述读取各部分社会网络的信息包括：

根据相关度读取一个点相关的所有点和边的信息。

4.根据权利要求3所述的方法，其中，所述根据相关度读取一个点相关的所有点和边的信息包括：

5.根据权利要求3或4所述的方法，其中，所述根据读取的内容计算极大团包括：

深度优先遍历生成一个点的子极大团；

将该点的邻接点带入下一层迭代；

将得到的子极大团的点组合成一个极大团。

6.根据权利要求5所述的方法，其中，所述根据读取的内容计算极大团还包括：

组合成一个极大团后，返回上一层继续极大团的生成。

7.根据权利要求6所述的方法，其中，所述根据读取的内容计算极大团还包括：

将出现在深度遍历路径上的点进行标识。

8.根据权利要求6所述的方法，其中，所述根据极大团之间共有点所占相应极大团的比重，将所述极大团进行归并包括：

9.根据权利要求8所述的方法，其中，所述N为1。

10.基于云计算的社会网络划分系统，其特征在于，该系统包括：

计算单元，用于求出社会网络中的极大团；

11.根据权利要求10所述的系统，其特征在于，所述计算单元包括：

分部子单元，用于将所述社会网络分为若干部分；

读取子单元，用于并行读取各部分社会网络的信息；

计算子单元，用于根据读取的内容计算极大团。

12.根据权利要求11所述的系统，其特征在于，所述读取子单元还用于根据相关度读取一个点相关的所有点和边的信息。

13.根据权利要求12所述的系统，其特征在于，所述读取子单元还用于读取一个点的所有一跳的点和二跳的点，以及所有一跳的点的全部边和二跳的点与一跳的点相连的边。

14.根据权利要求12或13所述的系统，其特征在于，所述计算单元包括：

15.根据权利要求14所述的系统，其特征在于，所述计算单元还包括：

标识子单元，用于将出现在深度遍历路径上的点进行标识。

16.根据权利要求15所述的系统，其特征在于，所述归并单元包括：当两个极大团之间共有点的点数大于等于点数少的极大团的点数减N时，将该两个极大团归并，其中，N为大于0小于点数少的极大团点数的整数。