CN102456064A - 在社会网络中实现社区发现的方法 - Google Patents

Abstract

本发明提供一种在社会网络中实现社区发现的方法，包括：对一社会网络中的任一节点，计算所述社会网络中的其他节点对该节点的依赖性，找出依赖性最大的k个节点作为该任一节点的k近邻；从所述社会网络中选取一个未经处理的节点，然后执行下一步，直到所述社会网络中的节点都已经被处理；判断所述未经处理的节点的k个最依赖的节点是否满足k社区要求，如果满足，输出该社区后重新执行前一步骤，如果不满足，从所述未经处理的节点的k个最依赖的节点所组成的集合中选取一个子集，对该子集继续做是否满足k社区要求的判断，直到找出满足k社区要求的社区或者所有子集都已经被尝试过，然后重新执行前一步骤。

Description

在社会网络中实现社区发现的方法

技术领域

本发明涉及数据挖掘领域，特别涉及在社会网络中实现社区发现的方法。

背景技术

社会网络(Social Networking，简称SN)是一种用来表示社会中各个个体之间相互联系的关系网络。近年来，社会网络在研究上获得了广泛的关注，度分布分析、个体排名、社区发现、模式发现等都是对社会网络的典型应用。在过去的许多研究中，许多学者关注于挖掘和分析社会网络个体的重要性和影响力。例如，搜索引擎分析Web的链接结构，并计算网页的重要性，期望为用户提供最符合需要的搜索结果；在学术合作网络中，人们期望通过对合作结构和主题进行层次分析，从而发现合作模式和重要学者；在在线社交网站中，广告商期望针对讨论话题对个体进行重要程度和个人兴趣进行分类，从而进行精准的商业推广。

在社会网络中，个体的重要性和影响力往往与个体在网络中所处的位置有密切的联系，如在在线交友网站中，对于拥有较多的社会关系的个体(表现为网络中心及桥梁节点)，往往可以比普通人受到更多的关注，其重要性和影响力显然更高。对个体在网络中所处位置的研究实质上是对网络中个体与个体间依赖关系的研究，因此，对社会网络中节点间依赖关系的挖掘和分析对研究个体在社会网络中的重要性和影响力起着十分重要的作用。

目前专门针对社会网络中节点间依赖关系的挖掘和分析的研究工作还不多见，已知的一种受到广泛关注的方法是分析网络结构，从而对个体的重要性进行指标衡量。此类方法中最为著名的例子之一要数上世纪末提出的随机游走模型和PageRank模型(请参见参考文献1“L.Page et al.Thepagerank citation ranking：Bringing order to the web.Technical report，Stanford University，1998”)。此类模型的主要思想是将用户浏览网页的行为模型化为在网页链接结构中根据链接方向进行随机前进，并具有一定的概率随机跳转到其他页面。由于网络的链接疏密程度和复杂网络中呈现的小世界模型，每个页面在随机游走模型下获得访问的概率也不尽相同，这种概率也被称为PageRank。PageRank将链接关系的结构提炼，把这种结构带来的信息传递效应转化为节点的重要性指标，与之类似的方法还有康奈尔大学的Jon Kleinberg等提出的HITS模型等(请参见参考文献2“J.M.Kleinberg.Authoritative sources in a hyperlinked environment.In SODA′98”)。PageRank根据其所在网络特点和分析目标的不同，也产生了一些变种，例如，判断节点间距离的RWRS以及结合话题主题的随机游走等。上述方法主要根据节点受访的概率对节点的重要性进行衡量，在社会网络中越容易被遍历到的节点，其重要程度就越高。但由随机游走模型和PageRank模型计算出的节点的重要性并不全面，例如，它不能反映节点在社会网络中的“不可或缺性”。一些节点在社会网络中可能很容易被访问到，但如果这些结点被删除，可能对社会网络中其它节点的影响有限，这类节点的不可或缺性就较低。相反的，另一些节点在社会网络中被访问的概率较低，但一旦被删除，对社会网络中其它节点的影响严重，这类节点的不可或缺性就较高。现有技术中就缺少对所述“不可或缺性”进行衡量与计算的相关方法。

发明内容

本发明的目的是克服现有技术中缺乏对节点的不可或缺性进行衡量与计算的方法，从而提供一种能够对节点的不可或缺性加以衡量与计算的方法。

为了实现上述目的，本发明提供了一种在社会网络中实现社区发现的方法，包括：

步骤1)、对一社会网络中的任一节点，计算所述社会网络中的其他节点对该节点的依赖性，找出依赖性最大的k个节点作为该任一节点的k近邻；

步骤2)、从所述社会网络中选取一个未经处理的节点，然后执行下一步，直到所述社会网络中的节点都已经被处理；

步骤3)、判断所述未经处理的节点的k个最依赖的节点是否满足k社区要求，如果满足，输出该社区后重新执行步骤2)，如果不满足，从所述未经处理的节点的k个最依赖的节点所组成的集合中选取一个子集，对该子集继续做是否满足k社区要求的判断，直到找出满足k社区要求的社区或者所有子集都已经被尝试过，然后重新执行步骤2)。

上述技术方案中，在所述的步骤1)中，所述的计算所述社会网络中的其他节点对该节点的依赖性包括：

步骤1-1)、对于每个节点v∈V(G)，计算

；其中，G表示图，

表示节点v在网络G下的重要性取值；

步骤1-2)、断开节点u的链接生成G_u，并计算

；

步骤1-3)、计算节点v对节点u的依赖函数dep(v→u)；

上述技术方案中，所述的计算所述社会网络中的其他节点对该节点的依赖性还包括：

步骤1-4)、计算节点支持力，根据所述节点支持力的大小判断其他节点对该节点的依赖性；节点u的所述节点支持力的定义如下：

${\mathrm{supp}}_k\left(u\right)=\underset{\mathrm{\ν}\∈\mathrm{RkNN}\left(u\right)}{\mathrm{\Σ}}\frac{k}{\left|\mathrm{kNN}\left(\mathrm{\ν}\right)\right|}$

其中，v表示节点u的反向最近邻集合RkNN(u)中的节点，kNN(v)表示节点v的最近邻集合。

上述技术方案中，所述的k社区要求包括将所述未经处理的节点的k个最依赖的节点依次判断是否为所述未经处理的节点的k近邻，当所有k个最依赖的节点都是k近邻时，即被认为是k社区。

本发明的优点在于：

本发明的方法通过节点依赖性来衡量某一节点在社会网络中的重要性，进而提供了一种能够很好反映社会网络实际情况的社区发现方法。

附图说明

图1(a)为实施例中一个由8个节点组成的社会网络G；

图1(b)为在图1(a)所示的社会网络G中删除节点h后的示意图；

图2为一个实例中节点度分布的情况示意图；

图3为在一个实例中10名数据库领域知名作者支持力排名的变化；

图4为所有节点在不同k值约束下的支持力分布示意图；

图5为在一个实例中使用依赖模型进行社区发现的情况示意图；

图6为本发明的社区发现方法的流程图。

具体实施方式

下面结合附图和具体实施方式对本发明做进一步说明。

本发明中所涉及的社会网络有多种类型，如生活中常见的在线交友网站、学术合作网络、通信网络、生物蛋白质相互作用网络等，这些社会网络在数学上都可以用一个三元组

表示；其中，v∈V表示个体和个体集，个体间的关系由无向边e＝<u，v>∈E表示，E代表边(链接)集，

是V上的节点重要性度量函数，表示节点v∈G(V)的重要性函数取值。值得注意的是，本发明中提到的节点重要性度量函数是一个抽象函数，它可以是任何社会网络上结构相关的节点重要性取值函数，如PageRank等都可以作为

的实现。在本发明的下列实施例中，将以PageRank作为节点重要性度量函数。

本发明为了度量上述社会网络中的各个节点的“不可或缺性”，提出了依赖性函数以及建立在依赖性函数上的节点支持力(supportiveness)，由所述的节点支持力来衡量节点的“不可或缺性”。下面对依赖性函数与节点支持力分别加以说明。

依赖性函数

在背景技术中已经提到，节点的重要性取值通过对链接结构的分析计算得到，因此链接结构的改变必然会造成节点权威性的变化。在本发明中将这种由于结构的变化导致个体重要性变化的现象称为节点对结构的依赖。节点对结构的依赖可以具体归结到该节点对其所在社会网络中其它某个或某些节点的依赖，所述的其它某个或某些节点可以与该节点有直接的连接关系，也可以与该节点不存在连接关系。

要分析一个节点A对另一个节点B的依赖性，需要在它们所在的社会网络中将节点B删除。以图1为例，在图1(a)中给出了一个由8个节点组成的社会网络G，图1(b)示出了在图1(a)所示的社会网络G中删除节点h后的示意图。

在下面表1中则进一步给出了图1中的各个节点的PageRank计算取值。在该表中，PR(e，G)表示节点e在图G中的PageRank取值，类似的，PR(e，G_h)表示节点e在图G_h中的PageRank取值，其中G_h表示社会网络G中的节点h被断开后所得到的新的社会网络。从表1可以看出，对于节点e，当社会网络G分别断开节点f、g或h时，PR(e)发生了超过50％的变化，然而断开节点a，、b、c或d时，PR(e)却没有明显改变。其他的节点也有类似的情况。这就说明，当网络的结构发生变化时，即使发生变化的部分不与给定节点v(v代表社会网络中的任意节点)直接相连，也可能会对v的重要性产生影响。本发明中将这种结构对个体重要性的影响归纳为节点对结构的依赖。

表1

由节点对结构的依赖，给出如下定义。

定义1：对于一个图

和个体u、v∈G(V)，将v对u的依赖函数dep(v→u)定义为：

公式(1)

dep(v→u)表示了图G去掉u后，v重要性产生的变化占原有得分的比重。其中，G_u表示在图G中去掉节点u之后的导出子图，

表示个体v在网络G下的重要性取值。

直观的理解，对于一个个体v，如果去掉网络中的一个子部分会使v重要性受到较大的变化，则可以认为ν对这个子部分具有较大程度的依赖，这种依赖程度可以被理解为衡量节点间亲疏关系的一种标准。依赖越大，表示节点间关系越紧密；依赖越小，表示节点间关系越疏远。值得注意的是，根据

的具体实现函数的不同，dep()的取值范围也会有不同，在某些重要性函数中，特别是以访问概率为基础的函数，例如PageRank，节点总数的改变会对节点权威性的平均值产生影响。例如，去掉一个孤立节点，会使其他节点的平均受访概率增大。为了公平起见，本发明在计算

时，并不真的将u从G中删除，而是断开其与其他节点的连接，将其置于孤立位置，从而确保节点总数不变。

在定义节点对结构的依赖性后，就可以实现依赖性计算。计算依赖性方式是对于每个v∈V(G)首先计算，之后通过断开节点i的链接生成G_i，并计算

从而获得dep(v→i)。

节点支持力

在定义上述依赖度函数的基础上，本发明可以将对社会网络的图的定义演化为二元组

表示，其中是“节点对”<u，v>上的依赖度函数，即dep(u→v)。有了依赖性函数，就可以描述用于说明节点“不可或缺性”的节点支持力。节点支持力的提出基于k近邻关系，因此在对支持力的定义进行描述前，首先对其中所涉及的k近邻关系做如下定义。

定义2：在图

中，节点u∈V的最近邻集合可以形式化表示为

公式(2)

节点u∈V的反向最近邻集合可以表示为

RNN(u)＝{v∈V|u∈NN(v)}              公式(3)

k近邻是一种使用非常广泛的关系；例如，在在线交友的网站中，网站一般会根据用户的要求，同时返回最合乎用户理想的多个候选人供用户挑选。最近邻NN(u)表示u最依赖的节点(通常每个节点只有一个最近邻，当出现依赖程度相同时，才会同时出现多个最近邻的情况)。即在NN(u)之外，不存在u依赖更多的节点。RNN(u)表示依赖u最多的个体集合。如果一个节点的RNN集合数量越大，则说明其受到越多的个体依赖。

与NN(u)定义类似，kNN(u)代表u的k近邻集合，即对于自然数k≥1，v∈kNN(u)表示无法找到k个v′∈V使v′满足

其意义代表kNN(u)是节点u在网络G中最近的k个节点。值得注意的是，如果u∈kNN(v)，则u∈(k+1)NN(v)；反之不然。

在对k近邻关系做了定义以后，就可以对支持力进行定义。本发明中将一个个体v受其他节点依赖的程度称为v的支持力，其值作为衡量这个节点对其他节点支持程度的大小。

定义3：在图

中，节点u∈V的支持力定义为

$\mathrm{supp}\left(u\right)={\mathrm{\&Sigma;}}_{\mathrm{\&nu;}\&Element;\mathrm{RNN}\left(u\right)}\frac{1}{\left|\mathrm{NN}\left(\mathrm{\&nu;}\right)\right|}$ 公式(4)

类似的，节点u∈V的k支持力定义为，

${\mathrm{supp}}_k\left(u\right)={\mathrm{\&Sigma;}}_{\mathrm{\&nu;}\&Element;\mathrm{RkNN}\left(u\right)}\frac{k}{\left|\mathrm{kNN}\left(\mathrm{\&nu;}\right)\right|}$ 公式(5)

计算supp(u)的过程可以想象成为一个投票的过程，每个节点一张票，且都投给其最依赖的节点。|NN(v)|表示节点v的最近邻集合，一般值为1。当一个节点有大于一个最依赖的节点，则为了公平起见，其选票将被分割给所有他最依赖的人，表示的意义就是如此，类似的，在k支持性的计算中

表示每个个体可以投票k次，如果存在并列第k的情况，他需要将其k张票平均分给所有符合kNN中的个体。

以上是对依赖性函数以及节点支持力的概念及计算方法的说明，计算出节点支持力后，就能够很好地衡量各个节点在社会网络中的不可或缺性。在下面的一个实施例中，给出了一个简单的应用，即在社会网络中挖掘节点支持力最大的top-n个节点。

给定一个用于表示社会网络的图

和一个参数k，计算使支持力函数supp_k(u)取值最大的n个节点。在本发明的一个实施例中的实现方法为：对于每个节点u∈V，首先计算kNN(u)；然后给每个v∈kNN(u)投票

次；最后统计每个节点的得票数量，并输出top-n。在下文中给出了实现该方法的伪代码：

--------------------------------------------------------------------

输入：图G＝<V，D>，参数n和k

输出：使支持力函数supp_k(u)取值最大的top-n节点

  for each vertex u∈V do

      扫描节点列表并生成kNN(u)；

      for each v∈kNN(u)，投票

次；

  end for

  for each vertex u∈V do

    计算收到的投票总和；

  end for

输出top-n

--------------------------------------------------------------------

节点支持力在社区发现中也有广泛的应用。所谓的社区是指社会网络中那些具有紧密联系的个体的集合，社会发现就是要在社会网络中找出那些在某一个或某些属性上与其他社区差别较大的社区。下面对利用节点支持力进行社区发现的过程进行说明。

下面对本发明中所涉及的社区发现方法进行说明。

在一个社会网络中，无论边密度如何，前述的k近邻查询都返回其最紧密的邻居。而且k近邻是优先查询，即无论一个人的社会关系多么复杂，规模多么庞大，节点都始终投票给其关系中最紧密的依赖的k个其他个体；通过k近邻关系定义社区，其紧密度是可以控制和度量的。

定义4：在图中，对于一个自然数k≥1，如果节点集

满足：对于任意u、v∈S，如果u∈kNN(v)，v∈kNN(u)，则S是一个k社区。即在这个社区中，任意两个节点都满足最近邻关系。k社区是kNN关系的完全图。

根据定义可以看出，一个k社区的大小不会超过k+1(注：距离是连续变量，且一个个体与其邻居间无绝对相等的距离，即不存在并列排第k的情况)。根据k社区的定义，S实际上是一个V(G)的子集，其每对节点都满足互为kNN约束。

参考图6，下面对社区发现过程做详细说明。

步骤1)、用户设定k近邻查询中的k值；

步骤2)、对于一个社会网络中的每个节点都计算其相互依赖性；在本步骤中，所述依赖性的计算可参考前述公式(1)-公式(5)中的计算公式。

步骤3)、根据步骤2)的计算结果，对于节点v，记录其最依赖的k个节点；

步骤4)、将节点v的k个最依赖的节点分别记为v₁、...、v_k；根据k社区的定义，如果v、v₁、...、v_k满足k社区要求(即从v、v₁、...、v_k中挑选一个节点，看其是否是节点v的k近邻，以此类推，如果所有的k个节点都满足则认为是k社区)则输出该社区，然后执行下面的步骤5)；如果不满足，则在v、v₁、...、v_k的子集(所述子集的生成方法为：任意挑选一个小于k的组合，直到所有组合都尝试过)中继续判断，直到全部尝试过；

步骤5)、从所述社会网络中选取一个未经处理的节点，然后跳转到步骤3)，直到所述社会网络中不存在未经处理的节点。

实验数据

本申请人在一个真实的学术合作网络数据集上验证了本发明的模型和算法。在相关实验中挑选了数据库相关的9个国际会议(SIGMOD、VLDB、PODS、ICDE、ICDT、DOOD、EDBT、SSD和CIKM)从2000年1月到2008年8月的论文作为基本素材。这个数据集包含10307个作者和10372篇论文。数据可以在DBLP(http://dblp.uni-trier.de/xml/)下载。在该数据集中，每个节点代表文章的一个作者，如果两个作者之间合作过论文，那么他们之间就会存在一条边。

基于本申请的方法所实现的程序使用Java实现，整个网络结构通过邻接表的形式存储在内存中。具体软件和硬件环境如下面的表2所示：

表2

在该实验中，首先对数据集的数据分布进行分析，图2描述了节点度(相邻节点的数量)分布的情况。从图中可以看出，在本文实验中采用的数据集体现了一种长尾分布的特点，即大部分节点拥有的社会关系较少，而少部分节点拥有的社会关系较多。

根据前述方法，首先进行了依赖函数和支持度的计算，图3(a)-图3(j)给出了10名数据库领域知名作者支持力排名的变化。

从图中可以看出，当k＜3时，可以看出，其排名次序并不确定；当4≤k≤8时，排名相对稳定；当k＞9的时候，部分作者的排名发生了较大的变化。这个结果也侧面印证了一个现象，即学术界许多知名作者通常联系的合作方基本保持在4人以上，大部分在6人左右。因此，当允许每人投票4～8次的时候，可以获得清晰的排名结果。当每人允许投票8次以上的时候，部分个体的支持力排名开始下降，证明其紧密依赖的伙伴数量并不很多；而有的作者则依然保持稳定，一方面说明这些作者对网络的支持力较大，另外一方面说明有较多的其他节点对其的依赖大，即其科学研究惠及的范围更广。

图4表示了所有节点在不同k值约束下的支持力分布。支持力的定义是一种基于依赖度的反向k近邻的定义，从图可以看出，虽然在计算支持力时并没有要求节点直接连接，但是节点支持力的分布却和图的度分布依然类似，表现出了一种幂律分布的特征。

图5展示了本申请中使用依赖模型进行社区发现的情况。图中选取了100个相互依赖程度最高的社区进行展示，横坐标是社区相互依赖程度(每对节点依赖度的均值)的排序，纵坐标代表其平衡性指标。图5(a)是K为5时社区平衡程度的示意图，图5(b)是K为10时社区平衡程度的示意图，图5(c)是K为15时社区平衡程度的示意图，图5(d)是K为20时社区平衡程度的示意图。从图中可以看出，当每个节点允许投票5次的时候(K＝5)，即在5NN关系中发现社区，社区的平衡程度较高。这表明了在该实验中的实验对象并不能形成很大的社区，且社会网络中的孤岛占据了大部分发现的最终结果。因此，随着节点可投票数量的增加，社区的规模逐渐变大，其平衡程度也随之降低。

从上述实验结果数据中，充分反映了本发明的方法在实现社区发现时所具有的良好效果，能够很好地反映社会网络的实际情况。

最后所应说明的是，以上实施例仅用以说明本发明的技术方案而非限制。尽管参照实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，对本发明的技术方案进行修改或者等同替换，都不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (4)

1.一种在社会网络中实现社区发现的方法，包括：

步骤1)、对一社会网络中的任一节点，计算所述社会网络中的其他节点对该节点的依赖性，找出依赖性最大的k个节点作为该任一节点的k近邻；

步骤2)、从所述社会网络中选取一个未经处理的节点，然后执行下一步，直到所述社会网络中的节点都已经被处理；

步骤3)、判断所述未经处理的节点的k个最依赖的节点是否满足k社区要求，如果满足，输出该社区后重新执行步骤2)，如果不满足，从所述未经处理的节点的k个最依赖的节点所组成的集合中选取一个子集，对该子集继续做是否满足k社区要求的判断，直到找出满足k社区要求的社区或者所有子集都已经被尝试过，然后重新执行步骤2)。

2.根据权利要求1所述的在社会网络中实现社区发现的方法，其特征在于，在所述的步骤1)中，所述的计算所述社会网络中的其他节点对该节点的依赖性包括：

步骤1-1)、对于每个节点v∈V(G)，计算

；其中，G表示图，

表示节点v在网络G下的重要性取值；

步骤1-2)、断开节点u的链接生成G_u，并计算

；

步骤1-3)、计算节点v对节点u的依赖函数dep(v→u)；

3.根据权利要求2所述的在社会网络中实现社区发现的方法，其特征在于，所述的计算所述社会网络中的其他节点对该节点的依赖性还包括：

步骤1-4)、计算节点支持力，根据所述节点支持力的大小判断其他节点对该节点的依赖性；节点u的所述节点支持力的定义如下：

${\mathrm{supp}}_k\left(u\right)=\underset{\mathrm{\&nu;}\&Element;\mathrm{RkNN}\left(u\right)}{\mathrm{\&Sigma;}}\frac{k}{\left|\mathrm{kNN}\left(\mathrm{\&nu;}\right)\right|}$

其中，v表示节点u的反向最近邻集合RkNN(u)中的节点，kNN(v)表示节点v的最近邻集合。

4.根据权利要求1所述的在社会网络中实现社区发现的方法，其特征在于，所述的k社区要求包括将所述未经处理的节点的k个最依赖的节点依次判断是否为所述未经处理的节点的k近邻，当所有k个最依赖的节点都是k近邻时，即被认为是k社区。

Images