CN103327092A - 一种信息网络上的社区发现方法和系统 - Google Patents

Abstract

本发明提供一种信息网络上的社区发现方法和系统，所述方法包括：随机生成网络中所有节点的更新顺序；按照生成的更新顺序对待更新节点计算其邻居节点标签的标签影响力，将标签影响力最大且在所有邻居节点标签的标签影响力总和中比重超过预定阈值的标签加入更新候选标签集合，根据所述更新候选标签集合对所述待更新节点进行处理。所述方法还包括：如果更新了标签的节点数目不小于预定数目则重新随机生成更新顺序，并且重新按照新生成的更新顺序对节点进行处理。本发明考虑了邻居节点中标签的标签影响力，在一定程度上提高了社区发现结果的稳定性。

Description

一种信息网络上的社区发现方法和系统

技术领域

本发明涉及复杂网络分析和数据挖掘领域，特别涉及一种信息网络上的社区发现方法和系统。

背景技术

在信息网络上进行社区发现不仅可以帮助人们对网络的社会性和知识性做出评估，也可以研究对某个方面感兴趣的用户的组成形式。该领域已经吸引了来自社会学、物理学以及计算机科学等各个不同学科领域的科研工作者。最近一些年来，已有大量关于社区发现方法的文献，然而鉴于稳定性的问题，其中仅仅一小部分算法适用于大规模的超过百万、上亿节点的现实网络上的社区发现。

一个重要的进步是Raghavan等人于2007年提出的通过简单的标签传播算法（LPA）挖掘大规模网络中的社区结构，Tibely和Kertesz等人证明了标签传播算法等价于zero-temperature kinetic Potts model并证明了标签传播算法在社区发现上的有效性。Lovro Subel等人通过社区扩展和社区防御方法进一步提高了标签传播算法的准确率，并且在实际网络上验证了该算法的时间复杂度是接近线性的，其平均复杂度为O(m1.19)，其中m是网络的边数；以及，通过设定节点的更新顺序提高了算法的稳定性和效率。在应用上，Yang Yang等人将标签传播算法用于新浪微博上的网络社区结构分析。

标签传播算法通过多次循环（迭代）来进行社区发现，基本步骤可描述如下：

1)、初始化节点的标签，例如可将用户的编号当作节点的初始标签值（本文中标签值有时简称做标签）；

2)、为网络中的所有节点指定一个随机的处理顺序，按照该顺序取相应的节点进行处理；

3)、对于节点n，将其在第t轮循环的新标签表示为C_n(t)，其中C_n(t)返回节点n的邻居节点标签中出现频率最高的标签，作为节点n在该轮循环中的新的标签。可以通过下式来表示C_n(t)：

$C_n\left(t\right)=\underset{l}{\arg \max }\left|N^l\left(n\right)\right|---\left(1\right)$

其中，N^l(n)表示节点n的邻居节点中标签为l的节点集合。

如果出现频率最高的标签的数量不止一个，则随机选择其中一个标签作为节点n的标签的更新值；

4)、当所有节点或者大部分节点的标签与上次迭代结果相比不再变化，则算法结束，具有相同标签的节点会被划入到同一个社区；否则进入第t+1轮循环，重新执行步骤2）。

标签传播算法已被证明是大规模复杂网络上社区发现的有效方法，尽管已有很对多针对原始标签传播算法的改进版本，如考虑了节点度的标签传播算法（LPAA）等，但是该算法的鲁棒性问题一直未被解决，节点标签的随机更新策略以及存在多个候选标签时的随机选择策略影响了该算法的鲁棒性，即社区发现结果具有不稳定性，从而导致结果差异性比较大。因此，如何提高社区发现结果的稳定性，已成为当前亟待解决的问题。

发明内容

根据本发明的一个实施例，提供一种信息网络上的社区发现方法，包括：

步骤1）、随机生成网络中所有节点的更新顺序；

步骤2）、按照步骤1）生成的更新顺序对待更新节点计算其邻居节点标签的标签影响力，将标签影响力最大且在所有邻居节点标签的标签影响力总和中比重超过预定阈值的标签加入更新候选标签集合，根据所述更新候选标签集合对所述待更新节点进行处理；其中，待更新节点的邻居节点包括所述待更新节点，标签影响力体现具有该标签的邻居节点影响力以及具有该标签的邻居节点与所述待更新节点之间的边的权值；

步骤3）、如果在步骤2）中更新了标签的节点数目小于预定数目，则执行步骤4）；否则重新执行步骤1）随机生成更新顺序，并且重新执行步骤2）按照新生成的更新顺序对节点进行处理；

步骤4）、将具有相同标签的节点划分在同一社区。

在一个实施例中，步骤2）包括按照步骤1）生成的更新顺序对待更新节点执行：

步骤21）、根据下式得到更新候选标签集合：

其中，N(n)表示待更新节点n的邻居节点集合，n∈N(n)，N^l(n)表示待更新节点n的邻居节点中标签为l的节点集合，P_m表示节点m影响力，w_nm表示节点n与m之间边的权值，δ表示预定阈值；

步骤22）、如果所述更新候选标签集合为空，则不更新所述待更新节点的标签；

如果所述更新候选标签集合中有一个更新候选标签，则用该更新候选标签来更新所述待更新节点的标签；

如果所述更新候选标签集合中有多个更新候选标签。则随机选择其中一个更新候选标签来更新所述待更新节点的标签。

在一个实施例中，所述节点影响力为该节点的度。

在一个实施例中，步骤1）之前还包括：

步骤0）、初始化网络中所有节点的标签。

在一个实施例中，步骤21）之前还包括：

步骤20）、将所述待更新节点的邻居节点导入到内存中。

在另一个实施例中，步骤0）之前还包括：

将整个网络导入到内存中。

在一个实施例中，步骤4）之后还包括：

对内部不连通的社区划分最大连通图，将每个最大连通图作为一个单独社区。

在另一个实施例中，步骤3）之后步骤4）之前还包括：

如果标签相同的节点构成的子网络不连通，将该子网络划分最大连通图，将每个最大联通图内的节点的标签设置为不同于所有其他节点的标签。

根据本发明的一个实施例，还提供一种信息网络上的社区发现系统，包括随机顺序生成器、节点标签处理模块，和社区划分模块。

随机顺序生成器用于随机生成网络中所有节点的更新顺序。

节点标签处理模块用于按照所述随机顺序生成器生成的更新顺序对待更新节点计算其邻居节点标签的标签影响力，将标签影响力最大且在所有邻居节点标签的标签影响力总和中比重超过预定阈值的标签加入更新候选标签集合，根据所述更新候选标签集合对所述待更新节点进行处理；如果更新了标签的节点数目小于预定数目则由社区划分模块进行处理，否则重新由所述随机顺序生成器随机生成更新顺序并且重新由所述节点标签处理模块按照新生成的更新顺序对节点进行处理。其中，待更新节点的邻居节点包括所述待更新节点，标签影响力体现具有该标签的邻居节点影响力以及具有该标签的邻居节点与所述待更新节点之间的边的权值。

社区划分模块用于将具有相同标签的节点划分在同一社区。

本发明的有益效果如下：

1、与现有的设定了节点更新顺序的社区发现方法相比，保持了节点随机更新的策略，减少排序等过程对社区发现带来的额外开销；

2、保持了标签传播算法无需知道网络社区规模和社区分布的特性，适合在大规模网络上的社区发现；

3、考虑邻居节点的标签影响力，在一定程度上减少了节点随机更新顺序给社区发现方法带来的鲁棒性问题，以及结果的稳定性问题。

附图说明

图1是根据本发明一个实施例的信息网络上的社区发现方法的流程图；

图2是针对真实网络数据采用本发明提供的信息网络上的社区发现方法和现有方法进行社区发现所获得结果的稳定性示意图。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

为便于描述，首先进行一些定义：将信息网络定义为简单的无向图G(N,E)，其中N表示该网络中的节点集合，E表示该网络中边的集合。定义w_nm为网络中节点n和m之间的边的权重，本发明中，边的权重可以表示其所连接的两个节点之间的关系紧密程度或者交互的频繁程度等。N(n)表示节点n的邻居节点集合，N^l(n)表示节点n的邻居节点中标签为l的邻居节点集合。

根据本发明一个实施例，提供一种信息网络上的社区发现方法（简称为RLPA方法）。如图1所示，该方法包括以下步骤：

第一步、初始化过程

为了描述的完整性，在一个实施例中，可在一开始就将整个网络导入到内存中。而在实际计算中，如果网络的规模巨大，可以不再一次性地将网络导入到内存中，而是在更新节点的标签之前将该待更新节点的邻居节点的属性状态导入到内存中。

此外，初始化过程还可以包括初始化节点的标签，在一个实施例中，可以将节点的编号作为该节点初始的标签，且初始时每个节点都是一个社区。

第二步、通过多次迭代节点的标签更新过程，使得网络中不再有节点更新或者更新的节点数目少于某一预设数目。

根据本发明的一个实施例，每一次迭代中的节点的标签更新过程包括如下几个子步骤：

A）、随机地生成信息网络中所有节点的更新顺序，该随机更新顺序用于下一步中对所有节点的处理。

B）、根据随机更新顺序，依次对信息网络中的每个节点执行以下三步操作：

B1）、计算当前待更新节点n的邻居节点N(n)的标签中，每个标签的影响力。

其中，邻居节点包括待更新节点自身，即n∈N(n)。如上文所述，在原始的标签传播算法中，待更新节点由邻居节点中标签数目最大的标签取代，忽视了待更新节点自身标签的作用，从而可能导致社区生成结果不够准确。

本发明中，标签的影响力（或称标签影响力）考虑了具有该标签的邻居节点的影响力以及该邻居节点与待更新节点之间的边的权值。在一个实施例中，节点的影响力包括该节点的节点度。在其他实施例中，节点的影响力还可能包括节点的介数，即经过该节点的最短路径数目；或者包括该节点的PageRank，即网页的排名。如上文所述，边的权值可以是通过该边相连的两个节点之间的关系紧密程度或交互频繁程度。这样，节点与节点之间的关系不仅仅是存在与不存在的关系，还包括关系的紧密程度。

B2）、选择当前待更新节点n的邻居节点N(n)的标签中，标签影响力最大且该标签影响力在邻居节点的标签影响力总和中比重超过预定阈值的标签，作为待更新节点的更新候选标签。

在一个实施例中，可采用下式来表示当前待更新节点n的更新候选标签集合：

公式（2）中，N^l(n)表示节点n的邻居节点中，标签为l的节点集合；P_m表示节点m的影响力，在一个实施例中，节点影响力P_m为节点m的度；w_nm表示节点n与m之间边的权值，其中待更新节点n与自己之间的边也具有权值，以保证周围标签“势均力敌”的情况下，自身标签起到作用。从公式（2）可知，当标签l的标签影响力最大，且标签l的标签影响力与集合N(n)中所有标签影响力总和的比重大于预定阈值δ时，标签l可以作为更新候选标签。

如上文所述，在原始的标签更新策略中，当邻居节点中最大数目的标签存在多个时，通过随机选择的方法获得用于更新当前节点的标签。因此，度比较大的节点很容易形成超大规模的社区(即网络大部分节点都被划分到一个社区中)，从而导致社区生成结果与实际情况相差较大。

而防止超大规模社区形成的方法之一是防止在前几次迭代中过快地形成大社区。如公式（2）所示，本发明通过如下设置来控制社区划分的粒度：只有某个标签的影响力在邻居节点（包括待更新节点自身）的标签影响力总和中比重超过一定阈值时，才将该标签作为更新侯选标签。从而可以通过控制阈值来防止在前几次迭代中过快地形成大规模社区。

B3）、对当前待更新节点进行处理

如果从步骤B2）得到多个更新候选标签（即集合Φ中包含多个标签），则从中随机选择一个来更新待更新节点的标签；

如果从步骤B2）仅得到一个更新候选标签，则用该标签对待更新节点的标签进行更新；

如果没有满足公式（2）的更新候选标签，则不更新待更新节点的标签。

对当前待更新节点的处理结束。

C）、处理完信息网络中的每个节点后，如果处理后所有节点的标签与处理前没有发生变化；或者在进一步的实施例中，标签发生变化的节点数小于一个阈值，则不再进行下一次迭代（节点的标签值更新过程）。否则回到步骤A）重新生成节点的更新顺序且按该顺序重新处理每个节点（参见步骤B）所述）。

第三步、后处理过程

由于第二步产生的结果中可能会出现标签相同的节点构成的子网络不是连通图的情况，因此需要对该结果作进一步的处理。在一个实施例中，将节点标签相同且不连通的网络（社区）划分最大联通图，重新设置每个最大连通图内节点的标签值，使得最大连通图内部的节点标签相同，而最大连通图彼此之间的节点标签不同。

第四步，将具有相同标签的节点划分为一个社区，从而得到信息网络中的社区划分。

应理解，上述第三步也可以在第四步之后执行。

根据上述四个步骤，可将本发明提供的一种信息网络上的社区发现方法用以下算法进行描述：

根据本发明一个实施例，还提供一种信息网络上的社区发现系统，包括随机顺序生成器、节点标签处理模块和社区划分模块。

其中随机顺序生成器用于随机生成网络中所有节点的更新顺序。

节点标签处理模块用于按照所述随机顺序生成器生成的更新顺序对每个待更新节点计算其邻居节点的标签影响力，将标签影响力最大且在所有邻居节点的标签影响力总和中比重超过预定阈值的标签加入更新候选标签集合，根据更新候选标签集合对所述待更新节点进行处理；处理后，如果更新了标签的节点数目小于预定数目则由社区划分模块进行处理，否则重新由所述随机顺序生成器随机生成更新顺序并且重新由所述节点标签处理模块按照新生成的更新顺序对节点进行处理。

社区划分模块用于将具有相同标签的节点划分在同一社区。

其中，待更新节点的邻居节点包括所述待更新节点，标签影响力体现具有该标签的邻居节点影响力和该邻居节点与所述待更新节点之间的边的权值。

为验证本发明提供的社区发现方法的稳定性，发明人使用Karate club数据集以及从新浪微博收集的数据分别对原始标签传播算法（LPA）、其改进版本（LPAA）以及本发明提供的社区发现方法（RLPA）分别进行了实验。其中，Karate club数据集是社会网络领域中的经典数据集，是社会学家Zachary在20世纪70年代初期根据美国一所大学中空手道俱乐部34名成员间的社会关系以及与外部的交往情况所构建的社会关系网。该网络包含34个节点，节点之间的边表示相应两个成员之间至少是交往频繁的朋友关系。此外，发明人通过新浪微博的搜索功能收集了310000条与“两会”有关的微博数据，该微博数据表明，在2011年3月5日至14日期间，每个微博用户平均发布1.5条与两会有关的微博。

发明人借鉴文献“Robust network community detection usingbalanced propagation”（欧洲物理期刊B，卷81，第三版，第353-362页）中提供的方法来度量社区发现结果的稳定性，如公式（3）-（5）所示。其中，标准化交互信息熵（NMI）用于度量两次划分结果之间的差异性，其取值在0-1之间，值越高，表示两个结果越相似。

$\mathrm{NMI}(X,Y)=2\frac{I(X;Y)}{H\left(X\right)+H\left(Y\right)}---\left(3\right)$

$I(X;Y)=\underset{y\∈Y}{\mathrm{\Σ}}\underset{x\∈X}{\mathrm{\Σ}}p(x,y)\log \left(\frac{p(x,y)}{p\left(x\right)p\left(y\right)}\right)---\left(4\right)$

$H\left(X\right)=-\underset{i=1}{\overset{n}{\mathrm{\Σ}}}p\left(x_i\right){\log }_{b}p\left(x_i\right)---\left(5\right)$

发明人采用多次实验结果两两比较再取平均值的方式来获取算法的稳定性指标，取值范围在0-1之间，其中1表示每次实验结果都是一致的，稳定性最好，值越低，稳定性越差。图2示出了分别使用LPA、LPAA和本发明提供的社区发现方法（RLPA）所得结果的稳定性指标。如图2所示，针对Karate数据集和两会数据，RLPA得到的结果的稳定性分别为0.955和0.959。可见，无论网络规模大小如何，采用本发明提供的社区发现方法所得的结果稳定性都好于原始标签传播算法及LPAA算法（分别为0.626、0.083；和0.622、0.835）。

最后所应说明的是，以上实施例仅用以说明本发明的技术方案而非限制。尽管参照实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，对本发明的技术方案进行修改或者等同替换，都不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (9)

1.一种信息网络上的社区发现方法，包括：

步骤1）、随机生成网络中所有节点的更新顺序；

步骤2）、按照步骤1）生成的更新顺序对待更新节点计算其邻居节点标签的标签影响力，将标签影响力最大且在所有邻居节点标签的标签影响力总和中比重超过预定阈值的标签加入更新候选标签集合，根据所述更新候选标签集合对所述待更新节点进行处理；其中，待更新节点的邻居节点包括所述待更新节点，标签影响力体现具有该标签的邻居节点影响力以及具有该标签的邻居节点与所述待更新节点之间的边的权值；

步骤3）、如果在步骤2）中更新了标签的节点数目小于预定数目，则执行步骤4）；否则重新执行步骤1）随机生成更新顺序，并且重新执行步骤2）按照新生成的更新顺序对节点进行处理；

步骤4）、将具有相同标签的节点划分在同一社区。

2.根据权利要求1所述的方法，其中，步骤2）包括按照步骤1）生成的更新顺序对待更新节点执行：

步骤21）、根据下式得到更新候选标签集合：

其中，N(n)表示待更新节点n的邻居节点集合，n∈N(n)，N^l(n)表示待更新节点n的邻居节点中标签为l的节点集合，P_m表示节点m影响力，w_nm表示节点n与m之间边的权值，δ表示预定阈值；

步骤22）、如果所述更新候选标签集合为空，则不更新所述待更新节点的标签；

如果所述更新候选标签集合中有一个更新候选标签，则用该更新候选标签来更新所述待更新节点的标签；

如果所述更新候选标签集合中有多个更新候选标签。则随机选择其中一个更新候选标签来更新所述待更新节点的标签。

3.根据权利要求1或2所述的方法，其中，所述节点影响力为该节点的度。

4.根据权利要求1或2所述的方法，其中，步骤1）之前还包括：

步骤0）、初始化网络中所有节点的标签。

5.根据权利要求2所述的方法，其中，步骤21）之前还包括：

步骤20）、将所述待更新节点的邻居节点导入到内存中。

6.根据权利要求4所述的方法，其中，步骤0）之前还包括：

将整个网络导入到内存中。

7.根据权利要求1或2所述的方法，其中，步骤4）之后还包括：

对内部不连通的社区划分最大连通图，将每个最大连通图作为一个单独社区。

8.根据权利要求1或2所述的方法，其中，步骤3）之后步骤4）之前还包括：

如果标签相同的节点构成的子网络不连通，将该子网络划分最大连通图，将每个最大联通图内的节点的标签设置为不同于所有其他节点的标签。

9.一种信息网络上的社区发现系统，包括：

随机顺序生成器，用于随机生成网络中所有节点的更新顺序；

节点标签处理模块：用于按照所述随机顺序生成器生成的更新顺序对待更新节点计算其邻居节点标签的标签影响力，将标签影响力最大且在所有邻居节点标签的标签影响力总和中比重超过预定阈值的标签加入更新候选标签集合，根据所述更新候选标签集合对所述待更新节点进行处理；如果更新了标签的节点数目小于预定数目则由社区划分模块进行处理，否则重新由所述随机顺序生成器随机生成更新顺序并且重新由所述节点标签处理模块按照新生成的更新顺序对节点进行处理；

社区划分模块：用于将具有相同标签的节点划分在同一社区；

其中，待更新节点的邻居节点包括所述待更新节点，标签影响力体现具有该标签的邻居节点影响力以及具有该标签的邻居节点与所述待更新节点之间的边的权值。

Images