CN106960390A - 基于节点聚合度的重叠社区划分方法 - Google Patents

Abstract

本发明涉及一种基于节点聚合度的重叠社区划分方法。本方法操作步骤为：第一步计算节点之间的聚合度，第二步利用节点聚合度，构建特征向量矩阵，第三步进行重叠节点的社区划分。本方法综合网络拓扑结构和节点属性的，设计了基于节点聚合度的重叠社区划分算法。在此基础上结合谱聚类进行重叠社区划分。试验结果表明本发明提出的方法表现出较好的性能和划分效果。

Description

基于节点聚合度的重叠社区划分方法

技术领域

本发明涉及一种社交网络重叠社区划分方法，特别是一种基于节点聚合度的重叠社区划分方法。

背景技术

随着网络技术和互联网的快速发展，许多在线的社交网络越来越流行比如Facebook、Twitter、微信等。分析社交网络节点，节点之间的关系，网络结构受到很多领域的关注。社区发现起源于图分割问题，图像分割是将图分割为K个互不相连的子图，但是社区划分可以划分出任意的个数。研究人员发现现实网络中都存在社区结构，发现网络中的社区对于了解网络结构与分析网络特性具有重要的意义。社区发现技术已经被广泛的应用:比如犯罪网络的挖掘，蛋白质网络分析，web网页搜索，在线网络的商品推荐。

现在许多社区划分算法大部分都是基于网络的拓扑结构。例如图划分，层级结构聚类。图划分通过对网络加边或者删边的方式来划分社区。层次结构聚类是通过基于节点间的链接相似度将相似的节点划分到同一个社区。这些算法得到的社区内部节点链接密度较高，但是节点间属性相似度不高。在现实网络中网络的拓扑结构和节点的属性都重要。例如在社交网络中节点属性描述了一个人的信息，而拓扑结构代表了节点和和其他成员的关系。现在考虑节点属性的社区划分算法以及被提出来,比如SA-cluster定义了一个结合结构和属性相似的距离测量方法，然后通过K-means方法对图聚类。然而这个方法只能将网络中的节点划分到一个社区，不能进行重叠节点的划分。本专利充分考虑个体的结构维度和属性维度来进行重叠社区的划分。

发明内容

本发明的目的在于针对已有技术存在的缺陷，提供一种基于节点聚合度的重叠社区划分方法，以获得社交网络重叠社区较佳的划分效果。

为达到上述目的，本发明的构思是：

设计并计算节点之间的聚合度。首先，根据网络拓扑结构计算节点的全局影响力，利用节点的局部邻居，计算节点之间结构相关度。然后抽取节点的属性信息，计算节点之间的属性相关度。最后将节点的结构相关度和属性相关度进行融合，利用参数调节二者权重，作为节点的聚合度。利用设计的节点聚合度，构造节点的相似度矩阵和对角矩阵，通过相似度矩阵和对角矩阵构造对应的拉普拉斯矩阵，计算拉普拉斯矩阵前K个特征值与特征向量，构建特征向量矩阵。最后，使用模糊聚类算法对特征向量矩阵的行向量进行聚类，根据行向量的隶属度，完成重叠节点的社区划分。

根据上述发明构思，本发明采用下述技术方案：

一种基于节点聚合度的重叠社区划分方法，其特征在于综合网络拓扑结构和节点属性，提出了节点聚合度技术，设计了基于节点聚合度的重叠社区划分算法。

所述节点聚合度构建方法和基于节点聚合度的重叠社区划分模型。

本发明与现有技术的比较，具有如下显而易见的突出实质性特点和显著技术进步：

本发明使用的数据集是Political Blogs DataSet和DBLP Dataset。与已有的重叠社区划分的方法COPRA和LFM进行比较。

本发明三种评价指标来衡量重叠社区划分方法的优劣为了对比反映出本发明提出方法的有效性，本发明利用模块度、链接密度、熵来进行度量对比。

1)模块度Q是一种典型的测量社区划分质量的标准。Q＝社区内部边的比例-社区内部边比例的期望。取值范围为[0,1],值越接近1，社区结构划分越明显。基于重叠社区划分的模块度度EQ公式[15]如下：

其中O_i表示节点i所属的社区个数，EQ的时间复杂度为O(n2),由公式可以看出当节点属于越多的社区，对模块度的影响越大。

2)链接密度D用来表示社区内的边数占总变数的比例，用来衡量算法划分的效率:

其中M_l表示社区L内的边数，K是社区个数，M表示的网络中的边数.D值越大表示社区内的边链接越紧密。

3)熵社区中节点的属性熵反应了不同社区中节点属性的分布:

其中n_l表示社区L内的节点个数，n表示网络中节点个数。p_ic表示社区C中节点拥有属性i的概率。E值越低表示社区节点的属性越相似。

本发明综合网络拓扑结构和节点属性，设计了基于节点聚合度的重叠社区划分算法，在此基础上结合谱聚类进行重叠社区划分。试验结果表明本发明提出的方法表现出较好的性能和划分效果

附图说明

图1通过隶属度矩阵划分网络

具体实施方式

本发明的优选实施例结合附图说明如下：

实施例一：本基于节点聚合度的重叠社区划分方法，其操作方法步骤如下：

第一步，计算节点之间的聚合度。首先，基于网络拓扑结构计算节点的全局影响力，利用节点的局部邻居，计算节点之间结构相关度。然后抽取节点的属性信息，计算节点之间的属性相关度。最后将节点的结构相关度和属性相关度结合，利用参数调节二者权重，作为节点的聚合度。

第二步，利用节点聚合度，构造节点的相似度矩阵和对角矩阵，通过相似度矩阵和对角矩阵构造对应的拉普拉斯矩阵，计算拉普拉斯矩阵前K个特征值与特征向量，构建特征向量矩阵。

第三步，使用模糊聚类算法对特征向量矩阵的行向量进行聚类，根据行向量的隶属度，进行重叠节点的社区划分。

实施例二：本实施例与实施例一基本相同，特别之处如下：所述第一步中的节点聚合度构建方法如下：

1)基于网络拓扑结构的节点链接强度

在网络中计算节点之间的相似度，大多是基于节点的局部信息，如果两个节点有着相同或者相近的邻居节点，那么被认为是相似的。但是没有考虑到节点在网络中的全局重要性。本文在计算节点链接强度时结合了全局重要性。本文使用了改进的PageRank[16]算法计算节点在网络中重要性，提出节点影响力的概念，如果节点的影响力越大，在网络中的全局重要性越高。

定义1：节点的影响力：在G＝<V,E>中一个节点Vi的影响力可以用下面的公式计算

其中N是图中节点的个数，c∈(0,1)是常数,adj(Vi)是节点Vj的邻居节点，degree(Vj)表示节点Vj的度。C可以控制PageRank算法的收敛速度，一般设定为0.85.对于节点的影响力的计算时改进PageRank算法[16],使它在无向图中可以使用。

定义2：Vi和Vj的结构聚合性Sim_strut(Vi，Vj):V_i和V_j的结构相似度表示为V_i和V_j共同邻居节点的影响力之和与V_i和V_j所有邻居节点影响力之和的商

Ni表示节点V_i的邻居集合，N_j表示节点V_j的邻居集合。N_i∩N_j，表示V_i和V_j共同邻居节点集合，N_i∪N_j表示V_i和V_j所有邻居节点集合；

2)基于节点属性的聚合性

含有属性图G＝(V,E,X),V是网络的节点集合，E是边的集合，X＝X1,X2,..Xn的是节点的属性集合，每个节点都有属性向量(x1,….xi)，节点的属性有不同的类型，整数的，为了标准化，不同的数据类性需要不同的操作，一个作者的写作产量为{高产,中产,低产}可以对应为{0,0.5,1},对于节点的属性向量相似性，使用欧式距离计算如

定义3：节点聚合度：节点聚合度是将节点的结构聚合性和属性聚合性的综合定义如下：

Sim(Vi,Vj)＝α*Sim_struct(Vi,Vj)+(1-α)*Sim_attri(Vi,Vj)

节点聚合度是通过加权求和的方法将基于结构的节点链接强度和节点之间的属性信息结合。根据α来调节权重，α值根据实际情况调整。

所述第三步中的基于节点聚合度的重叠社区划分模型如下：

计算得到节点之间的相似度，构造节点的相似度矩阵S,基于标准矩阵的N＝K^-1S,其中K是一个对角矩阵，其对角线上的元素对应为S矩阵每行之和，计算N矩阵的所有特征值和对应的特征向量。选取前K个特征值对应的特征向量，用于聚类；

k-means聚类将节点划分到不同的类别，为了实现对于节点的重叠划分，使用模糊k-means聚类对于节点进行划分，模糊聚类使节点同时属于不同的聚类。模糊聚类不是将某个节点属于某个类别以属于和不属于来区分，而是给出节点属于聚类的一个概率，称这个概率值为隶属度，用u表示。假定一个数据集x,如果把这个数据划分成k类，那么对应的k个类中心为C,那么定义目标函数和约束条件如下：

上式中目标函数中u_ij表示为x_i对于聚类c_i隶属度,目标函数表示为聚类中的所有数据和聚类中心的距离和相应的隶属度相乘的和；对于约束条件表示x_i属于所有的聚类的隶属度和为1.模糊聚类就是通过不断的更新c_j和u_ij使得目标函数J取得局部极小值，通过u_ij得到数据集对应的划分；

按照图1的隶属度矩阵，我们按照隶属度最大值将节点进行划分，形成非重叠社区,网络 被划分为3个社区分别是c1＝{1，2，3，4}，c2＝{5，6，7，8，9}，c3＝{10，11，12，13}，在 隶属度矩阵中如果节点对于某个聚类的隶属度小于0.1，本文认为该节点属于这个聚类的概率 很小，不会进行考虑，然后遍历每个节点V，计算隶属度大于0.1的聚类的个数Comm(v)和节点 v的邻居数N(v).定义平均隶属度为

如果节点v在某个社区的边的个数大于平均隶属度，则将这个节点加入这个社区，从上面隶属度矩阵看节点5和节点9的隶属度大于0.1的个数都大于1，所以是重叠节点同时Comm(5)＝3,AveDegree(5)＝2，节点5与c1的边的个数为3大于AveDegree(5)，所以将节点5加入社区c1,节点5与c3没有边，所以不属于c3，同理可以得出节点9同时属于c3，不属于c2.于是得到重叠节点的划分c1＝{1，2，3，4，5}，c2＝{5，6，7，8，9}，c3＝{9，10，11，12，13}。

具体算法描述如下：

本基于节点聚合度的重叠社区划分的试验数据为Political Blogs DataSet，即政治博客网络数据，包含1490网页博客和19090个链接，每个博客一个政治倾向的属性自由或者保守。设置节点聚合度参数α＝0.5，实验结果如表1所示。

表1.在polblogs数据集上

对于社区个数k值可以多次设定，选取模块度对应最大一次作为社区个数。在表1数据集，本发明的方法得出的模块度的值比LFM高比COPRA稍微小一些，由于本方法中考虑了节点的属性信息Entropy值比LFM值低，本发明方法从表1看取得比较好结果。

实施例三：

本实施例与实施例二基本相同，特别之处如下所述：

为了能够证明基于节点聚合度的重叠社区划分方法确实能够在重叠社区划分上有较好的效果，本专利又在DBLP数据集上进行了试验。DBLP数据集是科研文献合作网络上的数据集包含5000个作者，分别从DBLP科研文献4个研究领域抽取的：dataBase(DB),datamining(DM),information retrieval(IR)and artificial intelligence(AI)。每个作者都有两个属性：发表量和主要主题

表2中，本发明的算法模块度值比COPRA高，比LFM小。但是得到Entropy值比其他算法都要小，同时COPARA算法在不同的数据集上出现值出现了很大的波动，表明这个算法不稳定。本方法在不同的数据集上都取得比较好结果，同时Entropy比其他的算法都要小。

表2.在DBLP数据集上

Claims (3)

1.一种基于节点聚合度的重叠社区划分方法，其特征在于：综合网络拓扑结构和节点属性，提出了节点聚合度技术，设计了基于节点聚合度的重叠社区划分算法，具体操作步聚如下：

第一步，计算节点之间的聚合度；首先，基于网络拓扑结构计算节点的全局影响力，利用节点的局部邻居，计算节点之间结构相关度；然后抽取节点的属性信息，计算节点之间的属性相关度；最后将节点的结构相关度和属性相关度结合，利用参数调节二者权重，作为节点的聚合度‘’

第二步，利用节点聚合度，构造节点的相似度矩阵和对角矩阵，通过相似度矩阵和对角矩阵构造对应的拉普拉斯矩阵，计算拉普拉斯矩阵前K个特征值与特征向量，构建特征向量矩阵；

第三步，使用模糊聚类算法对特征向量矩阵的行向量进行聚类，根据行向量的隶属度，进行重叠节点的社区划分。

2.根据权利要求1撰述的基于节点聚合度的重叠社区划分方法其特征在于：所述第一步的节点聚合度构建方法如下：

1)基于网络拓扑结构的节点链接强度

在网络中计算节点之间的相似度，大多是基于节点的局部信息，如果两个节点有着相同或者相近的邻居节点，那么被认为是相似的；但是没有考虑到节点在网络中的全局重要性，在计算节点链接强度时结合了全局重要性,使用改进的PageRank算法计算节点在网络中重要性，提出节点影响力的概念，如果节点的影响力越大，在网络中的全局重要性越高；

定义1：节点的影响力：在G＝<V,E>中一个节点Vi的影响力用下面的公式计算

其中N是图中节点的个数，c∈(0,1)是常数,adj(Vi)是节点Vj的邻居节点，degree(Vj)表示节点V_j的度，C控制PageRank算法的收敛速度，设定为0.85.对于节点的影响力的计算时改进PageRank算法[16],使它在无向图中能够使用；

定义2：Vi和Vj的结构聚合性Sim_strut(Vi，Vj):V_i和V_j的结构相似度表示为V_i和V_j共同邻居节点的影响力之和与V_i和V_j所有邻居节点影响力之和的商

Ni表示节点V_i的邻居集合，N_j表示节点V_j的邻居集合；N_i∩N_j，表示V_i和V_j共同邻居节点集合，N_i∪N_j表示V_i和V_j所有邻居节点集合；

2)基于节点属性的聚合性

含有属性图G＝(V,E,X),V是网络的节点集合，E是边的集合，X＝X1,X2,..Xn的是节点的属性集合，每个节点都有属性向量(x1,….xi)，节点的属性有不同的类型，整数的，文本的等，为了标准化，不同的数据类性需要不同的操作，比如一个作者的写作产量为{高产,中产,低产}对应为{0,0.5,1},对于节点的属性向量相似性，本文使用欧式距离计算如

定义3：节点聚合度：节点聚合度是将节点的结构聚合性和属性聚合性的综合定义如下：

Sim(Vi,Vj)＝α*Sim_struct(Vi,Vj)+(1-α)*Sim_attri(Vi,Vj)

节点聚合度是通过加权求和的方法将基于结构的节点链接强度和节点之间的属性信息结合；根据α来调节权重，α值根据实际情况调整。

3.根据权利要求1撰述的基于节点聚合度的重叠社区划分方法其特征在于：所述的基于节点聚合度的重叠社区划分模型，模型如下：

计算得到节点之间的相似度，构造节点的相似度矩阵S,基于标准矩阵的N＝K^-1S,其中K是一个对角矩阵，其对角线上的元素对应为S矩阵每行之和，计算N矩阵的所有特征值和对应的特征向量；选取前K个特征值对应的特征向量，用于聚类；

k-means聚类将节点划分到不同的类别，为了实现对于节点的重叠划分，我们使用模糊k-means聚类对于节点进行划分，模糊聚类使节点同时属于不同的聚类；模糊聚类不是将某个节点属于某个类别以属于和不属于来区分，而是给出节点属于聚类的一个概率，称这个概率值为隶属度，一般用u表示；假定一个数据集x,如果把这个数据划分成k类，那么对应的k个类中心为C,那么定义目标函数和约束条件如下：

上式中目标函数中u_ij表示为x_i对于聚类c_i隶属度；目标函数表示为聚类中的所有数据和聚类中心的距离和相应的隶属度相乘的和；对于约束条件表示x_i属于所有的聚类的隶属度和为1.模糊聚类就是通过不断的更新c_j和u_ij使得目标函数J取得局部极小值，通过u_ij得到数据集对应的划分；

图1给出了如何根据隶属度矩阵，进行重叠节点的划分

按照通过隶属度矩阵划分网络图的隶属度矩阵，按照隶属度最大值将节点进行划分，形成非重叠社区,网络被划分为3个社区分别是c1＝{1，2，3，4}，c2＝{5，6，7，8，9}，c3＝{10，11，12，13}，在隶属度矩阵中如果节点对于某个聚类的隶属度小于0.1，本文认为该节点属于这个聚类的概率很小，不会进行考虑，然后遍历每个节点V，计算隶属度大于0.1的聚类的个数Comm(v)和节点v的邻居数N(v).定义平均隶属度为

如果节点v在某个社区的边的个数大于平均隶属度，则将这个节点加入这个社区，从上面隶属度矩阵看节点5和节点9的隶属度大于0.1的个数都大于1，所以是重叠节点同时Comm(5)＝3,AveDegree(5)＝2，节点5与c1的边的个数为3大于AveDegree(5)，所以将节点5加入社区c1,节点5与c3没有边，所以不属于c3，同理得出节点9同时属于c3，不属于c2.于是得到重叠节点的划分c1＝{1，2，3，4，5}，c2＝{5，6，7，8，9}，c3＝{9，10，11，12，13}；

具体算法描述如下：