CN108614932B - 基于边图的线性流重叠社区发现方法、系统及存储介质 - Google Patents

Abstract

本发明涉及大数据挖掘技术领域，公开了一种基于边图的线性流重叠社区发现方法、系统及存储介质，以提高效率并取得更好的社区划分结果。本发明方法包括：S1、将原始网络转换为边图网络；S2、将得到的边图网络中的边打乱顺序进行随机的选取处理，对每条边处理时，还原边图网络到原始网络，由原始网络中边聚类系数与当前更新后的节点度计算得到当前边的权重和所关联两节点各自的权重；S3、将当前边的权重与第一阈值进行比较，如果当前边的权重大于第一阈值，将当前边所对应的权重小的节点加入到权重大的节点所在的社区；否则，不对当前边进行社区划分；S4、重复上述S2及S3，依次对边图网络各边处理后得到整个网络的第一重叠社区划分图。

Description

基于边图的线性流重叠社区发现方法、系统及存储介质

技术领域

本发明涉及大数据挖掘技术领域，尤其涉及一种基于边图的线性流重叠社区发现方法、系统及存储介质。

背景技术

复杂网络的社区发现是指对网络中社区结构的挖掘，社区结构是网络中节点在聚集上的特征，在具有社区结构的网络中，同一社区内的节点连接紧密而不同社区之间节点连接稀疏。社区发现对于认识网络的结构与功能，理解网络的动力学及演化机制具有重要的理论意义，并且还有很好的实际应用价值。如在各类视频，购物，搜索引擎网络中，通过社区发现将类型或者主题相近的内容聚类在一起，从而改进相应的推送效果与搜索准确性；在社交网络中，通过社区发现可以找到消费行为或兴趣上相似度较高的用户，从而改进推荐系统，增加商业机会，改善服务效果等等。

目前复杂网络的社区发现算法主要分为两类：

(1)非重叠社区发现算法。这类算法一般都对网络进行硬划分，将网络分为不同的社区，社区之间不存在有交集。这类算法有基于图划分的方法，如K-L算法通过节点交换将网络划分为两个社团，社团之间存在连接最少；基于层次聚类的算法，通过相似度计算构建网络的树形层次结构图，每一层次对应网络的一种分割方式，如GN，FN算法等，其它还有基于模块度优化的算法SA，CNM算法，基于动力学的方法LPA，Infomap算法等。

(2)重叠社区发现算法。这类算法得到的社区存在有交叉与联系，节点可以隶属于多个社区。这类算法有基于节点的方法，如CPM(可参照：Palla G,Derényi I,Farkas I,etal.Uncovering the overlapping community structure of complex networks innature and society[J].Nature,2005,435(7043):814-818.)算法通过发现网络中存在全连接的小的全耦合网络进一步构建出更大的社区；基于边的方法，如Link(可参照：Evans TS,Lambiotte R.Line graphs,link partitions,and overlapping communities[J].Physical Review E,2009,80(1):016105.)，L-Attractor等；基于动力学的方法，如SLPA，COPRA(可参照：Xie J,Szymanski B K.Towards linear time overlapping communitydetection in social networks[M].Advances in Knowledge Discovery and DataMining.Springer Berlin Heidelberg,2012:25-36.)等。

当前存在的复杂网络社区发现主要有三个难题：(1)大规模网络下的社区发现。近些年随着计算机中大数据等各种技术的发展，网络的规模正逐渐变的越来越大，在大规模网络下有效的发现网络中的社区也越来越困难(2)重叠社区发现算法的时间效率。如上介绍的算法中，由于需要通过不断的迭代或转换网络的过程，使得这些算法的时间效率普遍较低(3)分辨率限制。由于网络结构的复杂性，如表1所示的6个真实世界的网络以及表2所示6个LFR人工网络，使得这些算法普遍只能适用于某些网络，存在有分辨率限制的问题。

表1：

表2：

其中，真实网络是现实世界中存在的网络，如社交网络，食物链网络等等，研究网络的目的也就是对现实的生产生活提供指导意义。

人工网络是Lancichinetti等人提出的一种人工合成网络生成策略，通过它生成的LFR标准网络是当前社区发现研究中最为常用的模拟数据集。它有两个方面的优点，一是：生成的网络中节点度与社区大小均符合幂律分布，这样就模拟了真实网络中无标度性质，无标度性质指网络中大量节点的度较低而少量的节点的度较高，现实世界大多数网络都存在这个性质。二是：可以生成各种规模不同的网络并模拟不同的网络结构分布。

发明内容

本发明目的在于公开一种基于边图的线性流重叠社区发现方法、系统及存储介质，以提高效率并取得更好的社区划分结果。

为实现上述目的，本发明公开了一种基于边图的线性流重叠社区发现方法，包括：

步骤S1、将原始网络转换为边图网络；

步骤S2、将得到的边图网络中的边打乱顺序进行随机的选取处理，对每条边处理时，还原边图网络到原始网络，由原始网络中边聚类系数与当前更新后的节点度计算得到当前边的权重和所关联两节点各自的权重；

步骤S3、将当前边的权重与第一阈值进行比较，如果当前边的权重大于第一阈值，将当前边所对应的权重小的节点加入到权重大的节点所在的社区；否则，不对当前边进行社区划分；

步骤S4、重复上述步骤S2及S3，依次对边图网络各边处理后得到整个网络的第一重叠社区划分图。

优选地，上述第一阈值为边图网络中所有节点初始权重的平均值除以所有节点的平均度。进一步地，本发明还包括：

根据第一重叠社区划分图的节点数目确定大社区和小社区的划分标准；以及

将网络中的各个重叠小社区分别划分到相似度最大的大社区中进行社区合并，得到第二重叠社区划分图。可选的，本发明重叠小社区C_i与任一大社区C_j的相似度可为：

社区C_i与C_j中公共的节点数占社区C_i与C_j中所有节点数的比例。

与上述方法相对应的，本发明还公开一种基于边图的线性流重叠社区发现系统，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述方法的步骤。

同理，本发明还公开一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现上述方法中的步骤。

本发明具有以下有益效果：

一、本发明基于复杂网络的边图网络进行划分，可以发现网络中的重叠社区结构。

二、本发明只用对边图网络中所有的边进行依次处理即可得到第一重叠社区划分图，或进一步将得到的重叠小社区进行相似度合并就可得到第二重叠社区划分图，具有接近线性的时间复杂度，相比其他算法能够更短的时间得到重叠社区划分，在大规模网络下具有明显的时间优势。

三、通过社区相似度合并了基于边图网络划分时得到的重叠小社区，提高了算法得到的社区质量，且不同规模的数据集中都取得最好的社区划分效果。

下面将参照附图，对本发明作进一步详细的说明。

附图说明

构成本申请的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为重叠小社区示意图；

图2为不同N取值下的社区划分效果示意图；

图3为真实网络的社区划分效果示意图；

图4为LFR人工网络的社区划分效果示意图。

具体实施方式

以下结合附图对本发明的实施例进行详细说明，但是本发明可以由权利要求限定和覆盖的多种不同方式实施。

实施例1

本实施例公开一种基于边图的线性流重叠社区发现方法。

本实施例中，根据社区的定义网络中社区内比社区外存在更多的连接，则当随机的在网络中选择一条边时，这条边更可能出现在社区的内部。给定网络G＝(V，E)，其中V表示节点的集合，E表示边的集合，有u，v两个节点连接的边e表示为e＝(u，v)。给定A，B为V的两个子集，由此给出以下定义：

e(A)＝{(u,v)∈E:u∈A or v∈A} (1)

e(A,B)＝{(u,v)∈E:u∈A and v∈B} (2)

当

为要发现的社区时，定义Intra_k(C)为最先选取e(C)的k个边属于e(C,C)的事件，则这个概率表示为定义(4)，对于所有的l＝0,1,…,k-1，当l取值较小时，φ_l(C)更接近

在e(C)中出现的概率，根据社区的性质来讲，l取值较小，则φ_l(C)的结果较小，那么最先选取的k条边更可能的会出现在社区的内部。如果C所属的网络具有良好的社区性质，那么当l取值较小时，则P[Intra_k(C)]较大。

本实施例中，基于边图的线性流重叠社区发现方法，包括以下步骤：

步骤S1、将原始网络转换为边图网络。

在该步骤中，所谓“边图转换”，即：

在网络中，节点因为不同的边与社区联系在一起，因此可以用边来代表节点所从属的社区。以边为中心进行社区发现，由于原网络的每个节点都在边图网络中属于多条边，每条边都属于不同的社区，这个节点也就属于多个社区，原网络中的重叠社区结构就可以自然的被发现。对于无向无权重的网络图G，在不用考虑到边的权重信息时，原网络图到边图的整个转换过程主要通过两步完成：先将原网络的边转换为边图网络中的节点，再将原网络中的每条相邻的边在边图网络中所对应的节点连接起来。对原网络中所有边处理完后，就可得到转换后整个边图网络的信息。

步骤S2、将得到的边图网络中的边打乱顺序进行随机的选取处理，对每条边处理时，还原边图网络到原始网络，由原始网络中边聚类系数与当前更新后的节点度计算得到当前边的权重和所关联两节点各自的权重。

通常，在该步骤之前，还进行相关的预处理，例如：包括但不限于：

在网络中，对于原始网络中边e＝(u,v)，给出转换后在边图上节点i的初始权重定义：

W_i0＝CC_i (6)

其中CC_i代表原网络中边e的边聚类系数，用公式(7)来表示，Z_uv代表了在原网络中边e形成的封闭三角形的个数，d_u、d_v分别为节点u，v在原始网络中的度。边聚类系数代表了网络中以该边为中心并与周围边所共同形成的局部结构的紧密程度，边聚类系数越大，代表这种局部结构的社区结构越显著。转换为边图网络后，代表了以该节点为中心的局部结构的聚集程度。边聚类系数的计算可以在边图网络的转换过程中同时得到，并不增加算法的时间复杂度。

步骤S3、将当前边的权重与第一阈值进行比较，如果当前边的权重大于第一阈值，将当前边所对应的权重小的节点加入到权重大的节点所在的社区；否则，不对当前边进行社区划分。

步骤S4、重复上述步骤S2及S3，依次对边图网络各边处理后得到整个网络的第一重叠社区划分图。

为便于描述：上述步骤S2至步骤S4可定义为本发明首创的线性流方式处理(LBSA，Link-based streaming overlapping community detection algorithm)过程。可选的一种具体实施方式详述如下：

对构造的边图网络中的边进行随机的依次处理，根据基本原理，在这一过程中，如果一条边(u,v)先被处理，算法会将节点u，v放在同一个社区，否则就将其放在不同的社区。定义当前边上节点i的权重w_i表示为：

其中，W_i0为边图中节点i的初始权重，d_i表示节点i当前的度(初始为0，随关联边被处理数量的减少而递增)。该定义表示随着对网络的边依次处理后，节点i的度d_i的增加，节点i与周围节点的紧密程度逐渐降低，权重W_i降低。定义当前边的权重为W_uv为：

W_uv＝W_u+W_v (9)

边(u,v)的权重由当前节点u，v的权重共同决定，W_uv较低，则说明以节点u或v上的连边在之前已经多次被选取到了，边(u,v)就是在后面被处理的，此时就认为边(u,v)为社区间的边。

定义边图LG打乱后的边列表LG＝{e₁,e₂,…,e_m}，网络每一个节点i的初始社区C_i＝i，对于每一条边e＝(u,v)进行处理时，算法会选择下面3种情况来处理：

1)、u加入到v的社区；

2)、v加入到u的社区；

3)、不做任何的处理。

这一步的选择取决于更新后的关于节点u，v的权重W_u与W_v。这里的权重W是由节点在原始网络中所代表的边聚类系数与节点的度共同决定的，其表示了与周围节点的紧密程度，权重的大的节点更容易将其相邻的权重小的节点聚集起来，而随着更多的边的加入进来，则这种聚集的能力逐渐变弱，直到其不能够在对周围的节点产生聚集的影响。也就是如果W_uv比给定的阈值D小，则边是后到来的，此时不做任何处理，否则的话，权重小的节点加入到权重更大的节点的社区。在这里，定义：

其中

为所有节点初始权重的平均值，

为转换后边图的所有节点的平均度。计算出的D代表了整个网络的权重阈值。

上述线性流方式处理过程的程序实现如下：

输入：边图网络LG＝(LV,LE)，阈值D，节点权重集W＝{W_i}

输出：社区集合C＝{C_i}

进一步地，本实施例方法还包括：

步骤S5、根据第一重叠社区划分图的节点数目确定大社区和小社区的划分标准；以及将网络中的各个重叠小社区分别划分到相似度最大的大社区中进行社区合并，得到第二重叠社区划分图。

可选的，该步骤具体可为：

基于边图的划分往往会使得到的社区结果中出现较多的重叠小社区，如图1所示，{4,9,13}这一小型社区中大部分节点都出现另一个社区{2,5,6,7,8,9,13}中，这是由于基于边来划分时，由于网络中节点往往都存在较多的边，使得节点产生了过多的划分，影响社区发现效果。针对这种情况，可以将网络中重叠小社区与其他大社区进行合并，对于最终的社区的划分结果C＝{C₁,C₂,…,C_i}，其中C_i＝{v₁,v₂,…,v_i}，定义重叠小社区C_i与其他较大社区C_j的相似度为：

表示社区C_i与C_j中公共的节点数占社区C_i与C_j中所有节点数的比例。定义节点个数小于N的社区为重叠小社区，对于重叠小社区C_i依次计算其与社区节点个数大于N的大社区C_j相似度，找到相似度最大的社区C_j，将社区C_i与C_j进行合并。N的取值取决于整个网络的节点数目，不同N的取值对最终社区划分的效果会产生影响，如图2所示。

综上，本实施例算法所有过程的时间复杂度为O(2|E|+|LE|+|N|)，其中E为原网络的边数目，LE为边图网络中的边数目，N为重叠小社区的数目。

藉此，本实施例是一种基于边图的线性流重叠社区发现算法，有如下优点：

本发明基于复杂网络的边图网络进行划分，可以发现网络中的重叠社区结构。

本发明只用对边图网络中所有的边进行依次处理以及得到的重叠小社区进行相似度合并就可得到网络的重叠社区结构，具有接近线性的时间复杂度，相比其他算法能够更短的时间得到重叠社区划分，如表3与表4可以看出算法在大规模网络下具有明显的时间优势。

表3：

表4：

通过社区相似度合并了基于边图网络划分时得到的重叠小社区，提高了算法得到的社区质量，如图3与图4所示(其中，图示的EQ为扩展的模块度，英文全称为：ExtensionModularity；ENMI为扩展的标准化互信息，英文全称为：Extension Normalized Mutualinformation)，算法在6个不同规模的数据集中都取得最好的社区划分效果。

实施例2

与上述实施例1类似，本实施例针对具体场景进一步详述如下：

数据获取：UCI机器学习资源库(http://snap.stanford.edu/data/)与theKoblenz Network Collection(http://konect.uni-koblenz.de/)中可以获得真实世界中收集到的不同领域的网络数据，如社交网络，蛋白质网络等；通过Lancichinetti等人提出的扩展的LFR网络生成算法可以获得不同规模不同结构的模拟真实网络的人工复杂网络。获得的网络一般为txt格式，其中每行代表网络的一条边，每行的两个数字代表该边的两个节点。

边图构造与预处理：将上述txt格式中的网络格式G＝(V,E)转换为边图网络LG＝(LV,LE)，同时在转换的同时获得边图网络节点的初始权重，算法过程如下述算法2。

算法2：

输入：网络G的格式数据

输出：边图网络LG，边图中节点权重集合W＝{W_i}

线性流方式处理：利用上述算法2得到了边图网络LG以及节点初始权重集合W＝{W_i}，将其做为上述实施例1中算法1的输入数据，经过算法1处理后可以得到网络初始社区结构集合C＝{C_i}。

重叠小社区合并：将算法1中得到的网络初始社区结构集合C＝{C_i}，计算其中重叠小社区与其他大社区的相似度，并与相似度最大的社区进行合并，算法过程如下述算法3。

算法3：

输入：社区集合C＝{C_i}

输出：社区集合C＝{C_i}

实施例3

与上述方法实施例相对应的，本实施例公开一种基于边图的线性流重叠社区发现系统，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现上述方法的步骤。

实施例4

同理，本发明还公开一种计算机可读存储介质，其上存储有计算机程序，其中，所述程序被处理器执行时实现上述方法中的步骤。

综上，本发明上述各实施例分别公开的基于边图的线性流重叠社区发现方法、系统及存储介质，具有以下有益效果：

一、本发明基于复杂网络的边图网络进行划分，可以发现网络中的重叠社区结构。

二、本发明只用对边图网络中所有的边进行依次处理即可得到第一重叠社区划分图，或进一步将得到的重叠小社区进行相似度合并就可得到第二重叠社区划分图，具有接近线性的时间复杂度，相比其他算法能够更短的时间得到重叠社区划分，在大规模网络下具有明显的时间优势。

三、通过社区相似度合并了基于边图网络划分时得到的重叠小社区，提高了算法得到的社区质量，且不同规模的数据集中都取得最好的社区划分效果。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于边图的线性流重叠社区发现方法，其特征在于，包括：

步骤S1、将原始网络转换为边图网络；

步骤S2、将得到的边图网络中的边打乱顺序进行随机的选取处理，对每条边处理时，还原边图网络到原始网络，由原始网络中边聚类系数与当前转换后的节点度计算得到当前边的权重和所关联两节点各自的权重；

在步骤S2之前，还进行相关的预处理，包括：在网络中，对于原始网络中边e＝(u,v)，u，v分别为边所关联的两个节点，在边图网络的初始权重为原始网络中对应的边聚类系数，其中，边e所对应的边聚类系数CC_e的计算公式为：

其中，Z_uv代表了在原始网络中边e形成的封闭三角形的个数，d_u、d_v分别为节点u，v在原始网络中的度；

在这一过程中，如果一条边(u,v)先被处理，将节点u，v放在同一个社区，否则就将其放在不同的社区；定义当前边上节点i的权重w_i表示为：

其中，W_i0为边图中节点i的初始权重，等于原网络中所在边的边聚类系数；d_i表示节点i当前的度；

当前边的权重为W_uv为：

W_uv＝W_u+W_v (9)

边(u,v)的权重由当前节点u，v的权重W_u与W_v共同决定；

步骤S3、将当前边的权重与第一阈值进行比较，如果当前边的权重大于第一阈值，将当前边所对应的权重小的节点加入到权重大的节点所在的社区；否则，不对当前边进行社区划分；所述第一阈值为边图网络中所有节点初始权重的平均值除以所有节点的平均度；

步骤S4、重复上述步骤S2及S3，依次对边图网络各边处理后得到整个网络的第一重叠社区划分图。

2.根据权利要求1所述的基于边图的线性流重叠社区发现方法，其特征在于，还包括：

根据第一重叠社区划分图的节点数目确定大社区和小社区的划分标准；以及

将网络中的各个重叠小社区分别划分到相似度最大的大社区中进行社区合并，得到第二重叠社区划分图。

3.根据权利要求2所述的基于边图的线性流重叠社区发现方法，其特征在于，重叠小社区C_i与任一大社区C_j的相似度为：

社区C_i与C_j中公共的节点数占社区C_i与C_j中所有节点数的比例。

4.根据权利要求1至3任一所述的基于边图的线性流重叠社区发现方法，其特征在于，在步骤S2中，边的权重为关联的两节点的权重和。

5.根据权利要求1至3任一所述的基于边图的线性流重叠社区发现方法，其特征在于，所述第一阈值为原始网络中所有节点初始权重的平均值除以边图网络中所有节点的平均度。

6.一种基于边图的线性流重叠社区发现系统，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述权利要求1至5任一所述方法的步骤。

7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现上述权利要求1至5任一所述方法中的步骤。

Images