CN101916256A - 综合行动者兴趣与网络拓扑的社区发现方法 - Google Patents

Abstract

本发明提出了一种综合社会行动者兴趣和社会网络拓扑结构的社区发现方法，属于社会网络技术领域。对于一个包含了社会行动者兴趣信息的社会网络数据集，首先对行动者个人兴趣进行聚类，得到基于兴趣的行动者社区，然后使用行动者社会网络拓扑结构信息，对兴趣社区进行扩展，使之更符合社区形成和发展的规律，从而达到更好的社区发现效果。本发明文提出的方法比单纯基于兴趣聚类的方法在有效性上有较大的提高。本发明应用于社会网络、资源共享平台，可以为信息检索系统、个性化推荐系统等服务，挖掘社区结构，利用社区特性，改进个性化服务质量。

Description

综合行动者兴趣与网络拓扑的社区发现方法

技术领域

本发明涉及一种Web2.0下资源共享平台中的社区挖掘，尤其是一种综合行动者兴趣与网络拓扑的社区发现方法，属于社会网络技术领域。

背景技术

社区广泛存在于人类社会中，它们有多种多样的结构形式和组织形式，如家庭、同事圈子、朋友圈子、小区、城市、甚至国家。一般来讲，一个社区(或者称作群组)是由一系列节点组成，社区内节点的相互联系相对紧密，社区间节点联系则相对稀松。近年来，随着Web2.0技术的迅猛发展，Web上出现了各种虚拟群组、在线社区等应用系统。在线社会网络系统的发展，使得大规模社会网络数据的获取成为了可能性。如何在大规模社会网络中挖掘出社区信息，成为了一个热门的研究方向，吸引了众多研究者的参与。

社区的主要功能是为具有相同兴趣的人们提供一个交流和共享的平台。一般来说，有两类社区发现的方法，第一类方法基于行动者的个人兴趣，将社区发现的问题映射为计算行动者的兴趣相似度的问题，进而将兴趣划分到不同的群组，从而得到以兴趣为中心的社区结构。例如，使用最广泛的划分聚类方法----k-means聚类法。第二类方法直接基于行动者间的联系，根据社区的定义，将社会网络划分为各个社区，形成以行动者为中心的社区结构。例如，Grivan和Newman提出了的分裂式社区发现算法，该算法通过依次移除边介(betweenness)数大的边，发现图中的社区结构。不论是基于兴趣的社区发现方法，还是基于社会联系的社区发现方法均只考虑了社区特性的一个方面。实际上，兴趣和社会联系对于社区的共享和交流功能来说都具有重要的作用。例如，社区的两个成员可能因为共同兴趣而成为朋友，成员也有可能推荐其有类似兴趣的朋友加入社区。社区和行动者社会网络是相互作用、共同发展的。

发明内容

本发明的目的在于综合社会行动者兴趣和社会网络拓扑结构，从而实现一种新的社区发现方法，该方法比起传统的社区发现算法，更加接近于真实社区的发展过程。

本发明提出的方法分为两个部分：

第一部分，基于兴趣的社区发现。首先利用聚类算法，提取行动者兴趣特征，聚类成兴趣社区。然后将根据行动者-兴趣关联信息，将行动者划分到相应的社区中，形成以兴趣为中心的社区C_I。

第二部分，基于社会网络的社区扩展。首先利用行动者社会网络和行动者的兴趣，计算社会网络中边的权值。然后在这个带权社会网络中，使用带重启机制的随机游走算法，计算行动者之间的相关度。接着根据行动者间相关度和方法第一部分发现的社区，计算行动者到社区的相关度，从而将行动者加入到相关度最高的k个社区中，形成第三种结构的社区C_IU。

方法的流程如图1所示，具体包括如下步骤：

A.把用户按照标注过的资源表示成标签向量(即兴趣向量)的形式；

B.对上一步产生的向量进行k-medoids聚类，产生基于兴趣的用户社区；

C.按照用户之间建立的朋友关系，计算用户社会网络边的权重，生成带权社会网络图；

D.在社会网络图上用随机游走算法，计算两个用户之间的相关度；

E.根据用户相关度和步骤B中产生的基于兴趣的社区，计算用户与社区的相关度。

本发明的有益效果：本发明提出方法逻辑比起传统的社区发现算法，更加接近于真实社区的发展过程，在有效性上有较大的提高。本发明应用于社会网络、资源共享平台，可以为信息检索系统、个性化推荐系统等服务，挖掘社区结构，利用社区特性，改进个性化服务质量。

附图说明

图1为根据本发明的综合行动者兴趣与网络拓扑的社区发现方法的总流程图；

图2为以兴趣为中心的社区结构；

图3为以行动者为中心的社区结构；

图4为本发明提出的综合社区结构；

图5为扩展社区数k对纯度的影响示意图；

图6为扩展社区数k对熵的影响示意图；

图7为随机游走重启概率a对纯度的影响示意图；

图8为随机游走重启概率a对熵的影响示意图。

具体实施方式

下面通过实例对本发明做进一步说明。需要注意的是，公布实施例的目的在于帮助进一步理解本发明，但是本领域的技术人员可以理解：在不脱离本发明及所附权利要求的精神和范围内，各种替换和修改都是可能的。因此，本发明不应局限于实施例所公开的内容，本发明要求保护的范围以权利要求书界定的范围为准。

实例1

以下结合一个照片共享网站的例子，详细描述本发明的具体实施方式。

在一个照片共享平台中，用户能够对每一张照片进行标签、收藏等行为。同时，用户之间形成社区，用户可以根据自身兴趣参加到不同社区。用户与用户之间可以显示申明朋友关系。

综合行动者兴趣与网络拓扑的社区发现方法一共有以下几个步骤。

步骤1：对原始数据进行预处理，把用户按照标注过的资源表示成标签向量的形式。

步骤2：对上一步产生的向量进行k-medoids聚类，产生基于兴趣的用户社区。k-medoids聚类方法流程如下：

1)随机挑选k个点作为质心；

2)对每个点计算该点到每个社区中心的距离，把该点加入与它距离最近的社区；

3)重新计算每个社区的中心，中心向量定义为社区内所有点的向量平均值；

4)重新计算每个点到所属中心的距离，选离中心最近的点作为社区中心；

5)重复2)、3)、4)三个步骤，直到每个社区内的点不再变化。

步骤3：按照用户之间建立的朋友关系，计算用户社会网络边的权重，生成带权社会网络图。

社会网络中边的权重代表了用户之间熟悉程度。然而真实社会网络权值信息往往很难获取，因此本发明考虑行动者之间的显式联系和共同拥有的资源数作为量化社会网络权重的方法。只要社会行动者之间声明了社会联系，那么这条边的权值基数就为0.5，使用共同资源计算出的权重作为权重的另一部分，与权重基数叠加形成最终的权重，权重的具体计算方法如下：

设行动者u_i拥有的资源集合为R_i，行动者u_j拥有的资源集合为R_j，同时u_i到u_j存在边e_ij，那么边e_ij的权值w_ij由公式(1)计算出：

$w_{\mathrm{ij}}=0.5+\frac{1}{2}\frac{|R_i\∩R_j|}{\left|R_i\right|}---\left(1\right)$

步骤4：在社会网络图上用随机游走算法，计算两个用户之间的相关度。

得到了带权的社会网络，并将每个社会行动者的关联边权重进行归一化后，可以使用带重启机制的随机游走算法，计算一个行动者到其他所有行动者的相关度。

带重启机制的随机游走(Random Walk with Restarts(RWR))可以用于计算图中任意两点之间的相关度。从点u出发，每一步RWR随机地沿图中的边由一个结点到达另一个结点，同时，每一步都以a的概率从点u重新出发(restart)。

RWR的基本思想可以表示为：

p^(t+1)＝(1-a)Sp^(t)+aq        (2)

p^(t)和q为列向量，其中p_i ^(t)表示第t步时到达点i的概率，p_i ⁽⁰⁾表示从目标行动者出发。q表示初始状态，元素q_i表示初始时在结点i的概率，本发明将起始点在q中的初始概率设为1，其它点的概率设置为0。S是转移概率矩阵，S_ij是当前在点i，下一步达到结点j的概率。对于一个非周期不可约的图，在有限步迭代之后，到达图中任意点的概率达到平稳分布的状态，再次迭代也不改变图中的概率分布。

对社会网络中每一个结点，从该结点出发，进行RWR计算，直至算法收敛，从而得到了目标结点到网络中其它结点的相关度s。这里的结点间的相关度是有序的，即一般来说，对于u₁≠u₂，有s(u₁，u₂)≠s(u₂，u₁)。

步骤5：根据用户相关度和步骤2中产生的基于兴趣的社区，计算用户与社区的相关度。其中用户社区的相关度定义为用户与该社区所有成员相关度的平均值。

对于一个用户u_i，和一个社区C_k，用户到社区的相关度s(u_i，C_k)由以下公式定义：

$s(u_i,C_k)=\frac{\underset{u_j\∈C_k}{\mathrm{\Σ}}s(u_i,u_j)}{\left|C_k\right|}---\left(3\right)$

对用户u_i，根据公式(3)，计算该用户到所有社区的相关度；根据用户与社区的相关度，把用户加入相关度最高的前k个社区。

性能评测：

本发明的实验以Flickr社会网络数据集中真实社区集合为标准集，通过纯度(Purity)和熵(Entropy)两种评价方法，将基于兴趣聚类的社区发现方法和综合方法得到的社区集合与标准社区集进行对比，从而评价算法的效果。

1)纯度(Purity)

假设Flickr数据集中的真实社区集合为G＝{G₁，G₂，...G_s}，称作标准社区集合。算法生成的社区集合为C＝{C₁，C₂....C_k}，称作测试社区集合，那么测试社区C_i的纯度定义为：

$\mathrm{Purity}\left(C_i\right)=\frac{1}{\left|C_i\right|}{\mathrm{Max}}_j|C_i\∩G_j|---\left(4\right)$

由于每个算法生成的测试社区可能包含属于不同标准社区的样本，纯度定义了测试社区C_i与其主导的标准社区交集的样本个数与C_i样本数的比值。算法社区纯度值越高，说明这个测试社区作为主导标准社区的一个子集纯度越高。

根据测试社区的纯度定义，我们还可以定义测试社区集合C的纯度：

$\mathrm{Purity}\left(C\right)=\frac{1}{k}\underset{i=1}{\overset{k}{\mathrm{\Σ}}}\mathrm{Purity}\left(C_i\right)---\left(5\right)$

测试社区集合的值纯度越高，说明越接近标准社区集合，其对应算法效果也就更好。

2)熵(Entropy)

假设标准社区集合为G＝{G₁，G₂，...G_s}，测试社区集合为C＝{C₁，C₂....C_k}，那么测试社区C_i的熵定义为：

$\mathrm{Entropy}\left(C_i\right)=-\frac{1}{\log \left(s\right)}\underset{j=1}{\overset{s}{\mathrm{\Σ}}}\frac{|C_i\∩G_j|}{\left|C_i\right|}\log \left(\frac{C_i\∩G_j}{\left|C_i\right|}\right)---\left(6\right)$

公式中的熵值归一化到0和1之间，0表示测试社区Ci由一个标准社区Gj完整的包含了，1表示社区均匀地包括了所有的标准社区，是一个很差的结果。熵不仅可以单独评价一个测试社区，也可以利用测试社区大小进行加权平均对整个社区发现算法结果进行评价。测试社区集合C的熵定义为：

$\mathrm{Entropy}\left(C\right)=\underset{i=1}{\overset{k}{\mathrm{\Σ}}}\frac{\left|C_i\right|\×\mathrm{Entropy}\left(C_j\right)}{N}---\left(7\right)$

其中N为测试社区集合中的对象数(可重复，即，一个行动者可以属于多个社区，他属于多少个社区就被记数多少次)。熵值越小，说明社区发现算法的效果越好。

本发明采用基于兴趣的社区发现方法作为基线方法。

对于基于兴趣聚类的社区发现，采用不添加社会网络信息的兴趣聚类方法，在Flickr数据集上得到了20个社区，社区集合记为C_I。

在基于行动者兴趣聚类发现的社区集合的基础上，本发明利用Flickr社会网络拓扑结构，对社区进行了扩展。由于Flickr数据集上共同收藏的图片数比较少，使用共同收藏图片计算出的权值极小，对总权值影响不大，所以Flickr数据集上只使用共同tag的权值计算方法，最终得到的结果社区集合记为G_H。

在综合方法的社区扩展过程中，算法将用户划入最相关的前k个社区。k的取值会对社区发现的结果产生影响。同样，和不同的重启机制随机游走重启概率参数a也会对算法结果产生影响。本发明分别取k＝1，2，3，4，5和a＝0.2，0.4，0.5，0.6，0.8对综合方法进行实验，以确定参数k和a对算法的影响。

从表1中可以看出，综合方法普遍比兴趣聚类方法发现的社区效果更好。在综合方法中，当设置k＝3，a＝0.2时，发现的社区纯度最高(比兴趣聚类的纯度提高了57％)，而熵值最小(比兴趣聚类的熵降低了11.8％，比最大团聚性的熵降低了4％)，所以效果最好。

表1实验结果

固定随机游走重启概率a，设置不同的k值，可以观察k值变化对算法效果产生的影响。图5和图6分别展示了取不同的a值，纯度和熵随k值的变化的曲线。

由图5知，随着k的增大，纯度基本上呈先增长再降低的趋势。由图6知，特别是取k＞3后，熵呈随k增大而增大的趋势。这说明k取较小的值，即将行动者根据网络拓扑结构，划入最相关的一个社区更加接近真实情况。

固定随机游走相关社区扩展数k，设置不同的随机游走重启概率a值，可以观察a值变化对算法效果产生的影响。图7和图8分别展示了取不同的k值，纯度和熵随a值的变化的曲线。

由图7和图8知，随着a的增大，除去少量的特殊点(如图8中k＝2，a＝0.5)，纯度基本上呈下降趋势，而熵则呈上升趋势。也就是说a越大，综合算法效果越差。这说明频繁重启随机游走，行动者邻居获得更大的相关性在综合方法中效果不明显，反而使用普通的随机游走策略，得到与初始结点无关的平稳分布，更有利于提高社区发现的效果。

可以看出，提出的方法确实比单纯基于兴趣聚类的方法和基于社会网络拓扑结构的方法在有效性上有较大的提高。

Claims (6)

1.一种Web社区发现方法，应用于社会网络和资源共享平台，其特征在于，所述方法综合了社会行动者兴趣和社会网络拓扑结构，包括以下步骤：

A.把用户按照标注过的资源表示成标签向量的形式；

B.对上一步产生的向量进行k-medoids聚类，产生基于兴趣的用户社区；

C.按照用户之间建立的朋友关系，计算用户社会网络边的权重，生成带权社会网络图；

D.在社会网络图上用随机游走算法，计算两个用户之间的相关度；

E.根据用户相关度和步骤B中产生的基于兴趣的社区，计算用户与社区的相关度。

2.如权利要求1所述的方法，其特征在于，所述步骤B中的k-medoids聚类方法流程如下：

1)随机挑选k个点作为质心；

2)对每个点计算该点到每个社区中心的距离，把该点加入与它距离最近的社区；

3)重新计算每个社区的中心，中心向量定义为社区内所有点的向量平均值；

4)重新计算每个点到所属中心的距离，选离中心最近的点作为社区中心；

5)重复2)、3)、4)三个步骤，直到每个社区内的点不再变化。

3.如权利要求2所述的方法，其特征在于，所述步骤C中计算用户社会网络边的权重的方法如下：

设行动者u_i拥有的资源集合为R_i，行动者u_j拥有的资源集合为R_j，同时u_i到u_j存在边e_ij，那么边e_ij的权值为：

$w_{\mathrm{ij}}=0.5+\frac{1}{2}\frac{|R_i\∩R_j|}{\left|R_i\right|}.$

4.如权利要求3所述的方法，其特征在于，所述步骤D中的随机游走算法采用公式p^(t+1)＝(1-a)Sp(t)+aq，其中p^(t)和q为列向量，p_i ^(t)表示第t步时到达点i的概率，p_i ⁽⁰⁾表示从目标行动者出发，q表示初始状态，元素q_i表示初始时在结点i的概率，S是转移概率矩阵，S_ij是当前在点i，下一步达到结点j的概率；起始点在q中的初始概率设为1，其它点的概率设置为0。

5.如权利要求4所述的方法，其特征在于，所述步骤D的实现方法为：

对社会网络中每一个结点，从该结点出发，使用带重启机制的随机游走算法进行计算，直至算法收敛，从而得到目标结点到网络中其它结点的相关度。

6.如权利要求5所述的方法，其特征在于，所述步骤E中计算用户与社区相关度的方法为：

对于一个用户u_i，和一个社区C_k，用户到社区的相关度按如下公式计算：

$s(u_i,C_k)=\frac{\underset{u_j\∈C_k}{\mathrm{\Σ}}s(u_i,u_j)}{\left|C_k\right|}.$

Images