CN102779142A - 基于社区紧密度的快速社区发现方法 - Google Patents

Abstract

本发明公开了一种复杂网络中发现社区结构的技术——基于社区紧密度的快速社区发现方法，其包括计算紧密度矩阵、合并社区和更新紧密度矩阵三部分内容。其中紧密度矩阵中的元素记录的是任意两个社区之间的紧密度值，并且紧密度矩阵能更好的显示网络中节点之间的关系。本发明的特征在于其解决了现有社区发现方法的“大计算量，高复杂度而导致的难以应用在大型社会网络中”的问题。本发明中提出的方法不仅能够有效地发现社区，而且其时间开销也很低——接近线性。本发明还公开了所述的基于社区紧密度的快速发现方法的具体部署和实现方法。采用本发明所提供的技术方案，可以很好地应用于大型社会网络中。

Description

基于社区紧密度的快速社区发现方法

技术领域

本发明涉及复杂网络领域，尤其涉及一种复杂网络中社区结构的发现技术及其实现方法。

背景技术

社区发现技术即发现网络中的社区结构是复杂网络中的一个基础研究，也是近年来复杂网络中的一个研究热点。

关于网络社区结构的研究，它不仅与计算机科学中的图形分割(GP：graph partition)技术密切相关，还与社会学中的层次聚类(HC：hierarchicalclustering)技术也有着不容忽视的关系。

基于图分割的著名算法主要有K-L算法、谱平分法、派系过滤算法和W-H快速谱分割法等。其中，K-L算法在稀疏图中的时间复杂度O(n³)。并且其最大缺陷是必须为算法预先指定两个社区的大小，否则算法会得到错误的划分结果，这就使该算法的应用非常的有限，在大多数的真实网络中根本无法得到应用。此外，即便克服了K-L算法的这一缺点，我们仍然不能解决K-L算法作为图分割方法的先天性不足。至于谱平分法，人们在使用这类方法时，预先不能确定究竟将图分成多少个子图才合适，因为该方法只能将图分成2个子图即偶数个子图，且不知何时停止。

而层次聚类算法可分为两大类算法：凝聚算法和分裂算法。凝聚算法的典型代表是Newman快速算法，该算法可以用于分析含有高达100万节点的复杂网络。此后，Clauset、Newman和Moore等人又提出了一种新的贪婪算法。该算法是基于Newman快速算法，并采用了数据结构“堆”来对网络的模块化度进行计算和更新，其复杂度只有O(nlog²n)。在很多不同的现实网络中，凝聚算法的确已经得到了广泛应用，但这并不能掩饰这类算法所存在的问题。首先，在一些应用中，即使已经知道了社区数目，却并没有得到正确的社区结构。其次，凝聚算法倾向于找到社区的核心，而忽略社区的周边。

而GN算法属于层次聚类中的分裂算法。尽管该算法弥补了一些传统算法的不足，但是仍然存在一个缺陷：不能直接根据网络的拓扑结构来判断它所求的社区是否有意义。另外，GN算法在对社区数目不清楚的情况下，也不知道算法该在哪一次迭代后结束。

由以上描述可以看出，现有的社区发现技术性能虽然优越，也可以较为准确地发现复杂网络中的社区结构，但是它们的计算量却依然十分庞大，严重限制了它们在大型复杂网络中的应用。

发明内容

有鉴于此，本发明的主要目的在于提供一种新的社区发现技术——基于社区紧密度的快速社区发现方法，在不影响社区发现性能的情况下，降低方法所需的时间复杂度，使其可以更好地应用在大型的复杂网络中。

为了达到上述目的，本发明引入了边稠密度、相邻社区的概念，并设计了一种紧密度矩阵。

其中边稠密度的定义如下：给定一个含有n个顶点，m条边的图G，该图的边稠密度是边数目与顶点数目的比率，数学描述为λ_G＝m/n。

其中相邻社区的定义如下：给定一个当前具有k个社区的图G和相应的紧密度矩阵M，我们称满足如下条件的社区i和社区j是相邻的，它们互为相邻社区：m_ij≥[λ_G/2]，i∈[1，k]，j∈[1，k]。

其中我们设计的紧密度矩阵如下：给定一个含有n个节点、m条边的图G，该紧密度矩阵的公式描述为M＝(m_ij)_k×k，其中M代表紧密度矩阵，m_ij代表社区i和社区j之间的紧密度值，k是当前网络中的社区个数，其值小于等于n。

其中紧密度矩阵中的元素记录的是任意两个社区之间的紧密度值。并且紧密度矩阵M在初始化时，其每个元素的紧密度值均置为0，这紧密度值会随着算法的运行逐渐增大。

实现本发明所提供的社区发现技术包含三部分的工作：

A、计算紧密度矩阵；

B、合并社区；

C、更新紧密度矩阵。

其中步骤A是我们最先需要完成的工作，即我们需要首先计算出网络中的紧密度矩阵。然后才能开始步骤B合并社区的工作，步骤B完成后，需要对步骤A中计算出的紧密度矩阵按照步骤B的结果进行更新，然后再进行下一轮的迭代。

其中步骤A的工作包括两种情况：

A1、计算无权网中的紧密度矩阵；

A2、计算加权网中的紧密度矩阵。

其中步骤B，紧密度矩阵M的维数k初始值等于所研究的图中顶点的个数(初始时，每个顶点形成该图中的一个独立社区，即此时每个社区内只有一个节点)。并且步骤B中，合并社区的工作有两种特殊情况：

B1、对于某个社区i，它有多个与之最紧密的相邻社区；

B2、对于某个社区i，它没有相邻社区

针对情况B1，我们可以在这多个最紧密的相邻社区中，任意选一个与社区i进行合并。

针对情况B2，社区i将不会与任意一个当前的其他社区合并。

此外，在步骤B中，我们引入了合格社区的概念。我们称拥有相邻社区的社区为合格社区，并且只有所述的合格社区才能与其最紧密的社区进行合并。

其中步骤B完成后会得到一个新的社区集，步骤C根据这个新的社区集，将进行以下几方面的工作：

C1、初始化一个k′×k′的矩阵M′；

C2、计算出该新的社区集中任意两个社区间的紧密度值；

C3、归一化C2中计算出的紧密度值。

其中，步骤C1里，k′表示步骤B完成后得到的新的社区集中社区的个数。

其中，步骤C2中，在更新的紧密度矩阵中的m′_ij时，如果i＝j(此时m′_ij表示社区i与其自身的紧密度值)，则将m′_ij置为0，这样可以保证在合并时，不会将一个社区同这个社区本身进行合并。

其中步骤C3是通过除以社区的大小(即该社区内的节点数)来归一化算法中的紧密度值，这可以减少社区大小不一时带来的偏差。

为了达到上述目的，本发明还提供了基于社区紧密度的快速社区发现方法的具体实现，包含以下步骤：

a、根据邻接矩阵A，计算M矩阵；

b、根据当前的M矩阵，对于每个当前社区i，获得与其最紧密的相邻社区j，并保存它们之间的紧密度值，同时还要记录下社区i与其所有的相邻社区间紧密度值的最大值和最小值，即记录mc_max和mc_min；

c、如果mc_max≥[λ_G]*mc_min，转步骤d，否则转步骤e；

d、只合并那些紧密度值大于或等于[λ_G]*mc_min的社区；

e、对于拥有最紧密相邻社区的那些社区，将这些社区与它们对应的最紧密相邻社区分别进行合并；

f、如果满足以下情况，转步骤h，否则更新当前的M矩阵，继续步骤g：

f1、发现的社区结构不再变化；

g、重复步骤b到步骤f；

h、保存当前所发现的社区到Comm并返回。

其中步骤a中的A代表待处理网络相应的邻接矩阵。

其中步骤b中，首先搜索社区i的相邻社区，如果与其相关的相邻社区中，社区j与社区i之间的紧密度值mij是最大的，并且其值大于等于[λ_G/2]，则将m_ij记作mc(i)。mc_max和mc_min分别是所记录下的mc(i)值中的最大值和最小值。

其中步骤c中的λ_G指当前图中的边稠密度，[λ_G]表示对λ_G取整。

其中步骤d中，当社区间的紧密度值小于[λ_G]*mc_min时，不进行社区合并。

其中步骤h中的Comm代表最终划分出的社区集合。

在本发明所提供的技术方案中，通过采用一种紧密度矩阵来描述社区间的关系，更加有效地给出了节点间的紧密程度。基于该紧密度矩阵来对网络进行社区划分时，不仅能够有效地发现社区，而且其时间开销也很低(接近线性)，使得本发明可以很好地应用于大型社会网络中。

附图说明

图1(a)是本发明中所验证的真实社会网络Zachary’s Karate俱乐部网络的紧密度矩阵M的变化图

图1(b)是本发明中所验证的真实社会网络Zachary’s Karate俱乐部网络的划分结果图；

图2是本发明中所验证的真实社会网络Bottlenose海豚网的划分结果图；

图3是本发明中所验证的真实社会网络美国大学足球联盟网络的划分结果图；

图4是本发明中所验证的真实社会网络科学家协作网络的所得社区大小的累积分布函数关系图。

具体实施方式

本发明的核心思想是：首先，初始化网络中的各个节点间的紧密度值为节点间的权值。如果两个节点i和j是邻居节点，并且拥有公共的邻居节点k，则i和j之间的紧密度就增加。这个增量跟i和j，i和k，以及j和k之间的权值有关。当i和j有多个公共的邻居节点时，对于每个公共的邻居节点，增加一次i和j之间的紧密度值。最终得到一个紧密度矩阵M。初始状态下，假定每个节点自己形成一个社区。然后根据得到的紧密度矩阵M，对每个现有的社区，将其与自己紧密度值较高的社区进行合并。当每个现有的社区均已与自己紧密度值高的社区合并，则完成一次合并。此时，根据同样的原理，将每个新社区当作一个节点，重新计算各个节点间的紧密度值，并用这些值来更新紧密度矩阵M以备下一次的合并。

合并过程中，程序停止条件有以下两种情况：1)得到的社区结构不再变化；或2)只剩下一个社区。该方法的复杂度仅为

其中m是网络中的边数，

是网络中节点的平均度数，t是迭代的次数(根据实验结果，合并的次数远低于网络节点数，尤其对于大型网络，迭代次数比节点数低好几个数量级)。

为使本发明的目的、技术方案和优点更加清楚，下面分别讲述发明内容部分的计算紧密度矩阵、合并社区和更新紧密度矩阵这三部分工作的具体实施细节。

(1)计算紧密度矩阵

给定一个无向图G，有n个顶点和m条边。它的邻接矩阵A是一个n×n矩阵。其元素a_ij代表节点i和j直接的关系。特别地，在无权图中，如果i和j相邻(即有边连接)则a_ij值为1，否则值为0。如果是加权图，则指a_ij的值为i和j之间的权值。M对角线上的元素值是未定义的，为了方便，这里设为0。

针对情况A1，即当无向图G是无权网时，给定图中节点i和节点j，如果它们是邻接点(有边相连的两个点)，则它们之间的紧密度值增加a_ij，即1。当i和j之间有一个共同的邻接点k(称为公共邻接点)，i和j之间的紧密度会再次增加1；而当i和j之间有多个公共邻接点，i和j之间的紧密度值则增加相应次。最终的数学表达式如下：

$m_{\mathrm{ij}}=m_{\mathrm{ij}}^0+1+1*|\mathrm{\τ}\left(i\right)\∩\mathrm{\τ}\left(j\right)|=1+|\mathrm{\τ}\left(i\right)\∩\mathrm{\τ}\left(j\right)|$

其中，m_ij是M中元素经计算后的值，

是矩阵M在初始时的元素值。τ(i)是顶点i的邻接点的集合。|x|是集合x中的元素个数。

针对情况A2，即当无向图G是加权网时，同样地，给定图中节点i和j，它们是邻接点，此时它们之间的紧密度值依然增加a_ij。但是，当i和j有公共邻接点k时，i和j之间的紧密度值将增加而不是a_ij；当i和j之间公共邻接点有多个时，i和j之间的紧密度值增加的值则为

最终的数学表达式如下：

$m_{\mathrm{ij}}=m_{\mathrm{ij}}^0+a_{\mathrm{ij}}+\underset{k\∈\mathrm{\τ}\left(i\right)\∩\mathrm{\τ}\left(j\right)}{\mathrm{\Σ}}(a_{\mathrm{ij}}*\sqrt{a_{\mathrm{ik}}*a_{\mathrm{jk}}})$

$=a_{\mathrm{ij}}(1+\underset{k\∈\mathrm{\τ}\left(i\right)\∩\mathrm{\τ}\left(j\right)}{\mathrm{\Σ}}\sqrt{a_{\mathrm{ik}}*a_{\mathrm{jk}}})$

通过上面计算得出的紧密度矩阵能更好的显示最初社区(一个节点形成一个社区)之间的关系。并且，矩阵内的元素值越大说明相关节点间的关系越紧密。

(2)合并社区

根据(1)中内容，我们可以通过计算得到紧密度矩阵M。然后，对于每个当前的社区，我们根据条件将其合并到与其关系最紧密的社区里，从而获得一个新的社区划分。尽管一些较大的社区会生成，不过这并不一定就是最终我们想要的结果。因此，我们通过累加即将合并的社区之间的紧密度值来更新M矩阵，并且使用新的M矩阵来重复这个合并过程。具体的更新过程将在下节进行描述。值得提出的是当迭代后社区个数以及社区内的成员不再变化时，这个迭代的过程就会终止。此外，如果最后只剩下一个社区时，迭代也会停止。

假设当前M矩阵的维数是k×k，即当前有k个社区。对于每个当前的社区i，我们首先搜索社区i的相邻社区，如果与其相关的相邻社区中，社区j与社区i之间的紧密度值m_ij是最大的，并且其值大于等于[λ_G/2]，则将m_ij记作mc(i)。其数学表达式如下：

$\mathrm{mc}\left(i\right)=m_{\mathrm{ij}}=\underset{s\∈[1,k]}{\max }\left\{m_{\mathrm{is}}\right|m_{\mathrm{is}}\≥[{\mathrm{\λ}}_G/2]\},i,j\∈[1,k]$

根据得到的mc(i)值，存在两种情况：第一种情况是对于某个社区，有多个与之最紧密的相邻社区，此时在这多个最紧密的相邻社区中，任意选一个进行合并。第二种情况是，对于某个社区i，如果它没有相邻社区，那么社区i不会与任意一个当前的其他社区合并。

(3)更新紧密度矩阵

假定在社区合并之前有k个社区，其相应的紧密度矩阵为M_k×k。并且本次合并后的社区个数为k′。正如我们前面所说，紧密度矩阵M记录的是任意两个当前社区间的紧密度值，此时，这些值将被更新。M的维数将被更新为k′×k′。为了方便，我们引入两个向量C_last和C_current来分别表示合并前和合并后的社区集合。C_last的数学表达式为C_last＝{c_i|i＝1，2，...，k}，其中c_i是合并前社区集合C_last中的第i个社区。

考虑如下情况，合并后得到的社区集合C_current中的社区i，它含有x个C_last中的社区，即C_current中的社区i是由x个C_last中的社区构成，数学描述为C_current(i)＝{c_ip|c_ip∈C_last，p＝1，2，...，x}，其中C_current(i)指合并后社区集合C_current中的社区i，那么此时集合C_current中社区i和j间的紧密度值将按如下公式被更新：

$m_{\mathrm{ij}}^{\′}=\underset{c_{\mathrm{jq}}\∈C_{\mathrm{current}}\left(j\right)}{\underset{c_{\mathrm{ip}}\∈C_{\mathrm{current}}\left(i\right),}{\mathrm{\Σ}}}{m}_{c_{\mathrm{ip}},c_{\mathrm{jq}}}$

其中m′_ij是更新后的紧密度值，即合并后社区集合C_current内社区i和社区j间紧密度值，而m_ij是合并前社区集合C_last内社区i和社区j间的紧密度值。注意，如果i＝j，则将m′_ij置为0，这样可以保证在合并时，不会将一个社区同这个社区本身进行合并。

再就是归一化紧密度值，并记入M′；最后得到的M′也就是M被更新后的矩阵。

附图1(a)是本发明提供的技术方案在真实网络——Zachary’s Karate俱乐部网络(该俱乐部成员网络中的节点代表俱乐部成员，边代表成员之间的社会交往，它共包含有34个成员和78条边，边代表俱乐部成员之间的关系)中进行应用时，在获得网络社区结构的过程中，相应紧密度矩阵的变化图。M₀是根据网络的邻接矩阵A在本发明提供的技术方案运行的初始阶段通过计算得出的。矩阵M₁到M₄是在本发明提供的技术方案运行过程中每次迭代后的结果。不同的灰度表明了不同的元素值。颜色越深，值越大，如黑色表示值偏大，白色表示值偏小。从图中不难看出矩阵M的位维数在不断递减。

附图1(b)是本发明提供的技术方案应用于附图1(a)中所述的Zachary’sKarate俱乐部网络时得到的社区结构图。该技术方案将该网络划分成了2个社区，分别以圆圈和方块表示。这与现实中俱乐部被分裂成了两个小俱乐部的事实完全吻合。

附图2是本发明提供的技术方案应用于真实网络——Bottlenose海豚网(由62个节点和159条边组成)时得到的社区结构图。本技术方案在划分该网络时经历了5次的合并迭代。图3中不同的节点形状表示不同的社区

附图3是本发明提供的技术方案应用于真实网络——美国大学足球联盟网络(包含115个节点和613条边)时得到的社区结构图。不同的形状和不同灰度的节点代表了其属于不同的社区。本技术方案在这个过程中发现了12个社区。注意本技术方案经过5次迭代后发现的社区就不再发生变化。

附图4是本发明提供的技术方案应用于真实网络——科学家协作网络(该网络最初是在BibTeX文献目录中得到的；网络中的顶点代表作者；如果两个作者之间至少合作了一篇论文或著作，则他们之间有边连接，边的值代表一起合作论文或著作的数目；简化后的网络图中有7343个顶点和11898条边)时得到的关于社区大小的累积分布函数关系图。该分布呈现3阶幂率分布形式。

总之，以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种复杂网络中的社区结构发现技术，其特征在于，该技术基于一种紧密度矩阵，并且实现的复杂度接近线性。

2.根据权利要求1所述的社区结构发现技术，其特征在于，所述的紧密度矩阵中的元素记录的是当前网络结构下任意两个社区之间的紧密度值。

3.根据权利要求1所述的社区结构发现技术，其特征在于，所述的技术实现的复杂度在最坏情况下为 

其中m为网络中的总边数， 

是划分出的社区的平均节点度，t代表该技术在实现过程中迭代的次数。

4.根据权利要求1中所述的社区结构发现技术，其特征在于，该技术包含三方面的工作，分别为计算紧密度矩阵，合并社区以及更新紧密度矩阵。

5.根据权利要求4中所述的计算紧密度矩阵，其特征在于，在计算过程中对于如下两种情况，计算的方法是不同的

A、当前网络是无权网

B、当前网络是加权网。

6.根据权利要求5中所述的计算紧密度矩阵，其特征在于，在情况A下计算紧密度矩阵时，包括如下情况

A1、当节点i和节点j之间有一个共同的邻接点k(称为公共邻接点)时，则节点i和节点j之间的紧密度会增加1

A2、当节点i和节点j之间有多个公共邻接点时，则节点i和节点j之间的紧密度值则增加相应次。

7.根据权利要求5中所述的计算紧密度矩阵，其特征在于，在情况B下计算紧密度矩阵时，包括如下情况

B1、当节点i和节点j有公共邻接点k时，则节点i和节点j之间的紧密度值将增加 其中a_ij是当前网络的邻接矩阵中的元素

B2、当节点i和节点j之间公共邻接点有多个时，节点i和节点j之间的紧 密度值增加的值则为 其中a_ij是当前网络的邻接矩阵中的元素，τ(i)是顶点i的邻接点的集合，k指节点i和节点j之间的公共邻接点。

8.根据权利要求4中所述的合并社区，其特征在于，该工作通过累加即将合并的社区之间的紧密度值来更新紧密度矩阵M，并且使用新的M矩阵来重复这个合并过程。

9.根据权利要求4中所述的更新紧密度矩阵，其特征在于，假定在社区合并之前有k个社区，其相应的紧密度矩阵为k×k维的矩阵M_k×k，而合并后的社区个数为k′，则该工作包含以下步骤

a、首先，初始化一个k′×k′的矩阵M′

b、然后计算合并前的社区集合中任意两个社区间的紧密度值；

c、再就是归一化紧密度值，并记入M′。

10.根据权利要求9中所述步骤，最后得到的M′就是M被更新后的矩阵。 

Images