CN108920678A - 一种基于谱聚类与模糊集的重叠社区发现方法 - Google Patents

Abstract

本发明涉及一种基于谱聚类与模糊集的重叠社区发现方法。包括：1、读取社交网络的数据集，生成网络结构图并获取网络中节点的属性信息等；2、结合网络中节点的Jaccard系数和属性信息，计算网络中节点之间的相似度值；3、基于节点间的相似度值，构建相似度矩阵，从而构建归一化后的拉普拉斯矩阵；4、计算每个节点的特征向量和特征值，利用迭代和压缩的方法生成新的特征向量；5、将新的特征向量正交化，计算归属度，对存在多个社区归属度值较大的节点，进行重叠社区的划分；6、根据每次划分后的模块度，选出满足模块度要求最高的社区划分；7、输出最终的社区划分结果。本发明方法可以高效、准确地发现复杂网络中的重叠结构进行划分。

Description

一种基于谱聚类与模糊集的重叠社区发现方法

技术领域

本发明涉及复杂网络上的重叠社区发现技术领域，特别是一种基于谱聚类与模糊集的重叠社区发现方法。

背景技术

随着互联网信息交互的迅速发展，出现了各种各样复杂的网络结构，例如社交网络、科学家合作网络、食物链网络、新陈代谢网络等。在社交网络中，每个节点代表网络中的个体，而边代表个体间的联系，边的属性值则代表个体间更为具体的联系。社交网络中的社区结构通常表现为社区内部的节点连接紧密，而社区间的节点连接稀疏。社区发现是研究复杂网络结构的关键技术之一。目前，社区发现的研究成果可以被应用于社会学、个性化兴趣推荐系统、心理学、蛋白质功能预测等诸多领域。

为了高效准确的挖掘出复杂网络中重要的社区结构，近些年已有大量研究员和学者对其展开深入研究。传统的社区发现算法包括基于划分的方法、层次聚类算法、图分割的方法、基于团的方法、基于密度的方法、基于表征学习的方法、基于自动编码器的方法、标签传播等。这些算法虽然可以较好的发现网络社区结构，但只能发现凸球形的样本空间中的网络社区结构，不能发现各种形状的社区结构，同时容易陷于局部最优解的困境，所以有研究员将图论中的谱聚类应用到社区发现，提出基于谱聚类的社区发现算法。

目前已有很多学者对基于谱聚类的社区发现进行研究，也取得了一些成果，但仍然存在以下几个问题：首先算法的时间与空间复杂度相对其他种类的算法较高，在处理大规模网络时存在不足；其次，算法不能发现重叠社区结构；最后，在社区划分的过程中对参数的选择不具有稳定性，导致社区发现的精度不高。

发明内容

本发明的目的在于提供一种基于谱聚类与模糊集的重叠社区发现方法，该方法可以高效、准确地对复杂网络的重叠结构进行划分。

为实现上述目的，本发明的技术方案是：一种基于谱聚类与模糊集的重叠社区发现方法，包括如下步骤：

步骤S1：读取社交网络的数据集，生成网络结构图并获取网络中节点的属性信息和拓扑结构；

步骤S2：结合网络中相邻节点之间的Jaccard系数和节点的属性信息，计算网络中节点之间的相似度值；

步骤S3：基于节点间的相似度值，构建相似度矩阵，从而构建归一化后的拉普拉斯矩阵；

步骤S4：计算每个节点的特征向量和特征值，利用迭代和压缩的方法生成新的特征向量；

步骤S5：将新的特征向量正交化，计算每个节点针对每个社区的归属度，进行社区的划分，对存在多个社区归属度值较大的节点，进行重叠社区的划分；

步骤S6：根据每次划分后的模块度，选出满足模块度要求最高的社区划分；

步骤S7：输出最终的社区划分结果。

在本发明一实施例中，在步骤S1中，读取社交网络的数据集，生成用于社区结构划分的网络结构图G＝(V,E,F)，其中V表示节点集，E表示边集，F表示特征属性集，同时获取网络节点的拓扑结构：

其中，A_ij表示邻接矩阵，e_ij表示节点i和节点j之间的边。

在本发明一实施例中，在步骤S2中，计算网络中节点之间的相似度值的具体步骤如下：

步骤S21：表示出网络中每个节点的邻居集：

Γ(v)＝{u:u∈V,(v,u)∈E} (2)

其中，Γ(u)表示节点u的邻居集合，节点v表示为节点u的邻居节点；

步骤S22：计算任意两个节点之间的Jaccard系数：

J_uv计算出来的值表示为节点u与节点v的Jaccard系数，J_uv用于衡量节点之间的相似程度，J_uv值越大表示两个节点之间越相似，反之则表示两个节点越不相似；

步骤S23：根据节点的属性信息，计算每两个节点之间的属性相似度：

SD(u,v)＝haming(u,v) (4)

SD(u,v)计算出来的值表示节点u与节点v的属性系数，用来衡量节点之间在属性上相似程度，SD(u,v)值越大表示两个节点之间越相似，反之亦然；

步骤S24：根据Jaccard系数和节点的属性系数，计算每个节点的总相似度S(u,v)：

S(u,v)＝J_uv+SD(u,v) (5)

其中，J_uv两节点之间的Jaccard系数，SD(u,v)表示两节点间的属性系数；S(u,v)越大，表示节点u和v在网络中越相似，极有可能划分到同一个社区。

在本发明一实施例中，所述步骤S3的具体实现步骤如下：

步骤S31：统计节点u与节点v的相似度值，构建出相似度矩阵S；

步骤S32：利用相似度矩阵S计算出度矩阵D的值；

步骤S33：利用度矩阵D和原始的相似度矩阵S，进行归一化操作，计算出归一化后的拉普拉斯矩阵W：

W＝D^-1S (6)

其中，D表示度矩阵中元素的值，S表示为相似度矩阵中元素的值，W为归一化后的拉普拉斯矩阵中元素的值。

在本发明一实施例中，所述步骤S4的具体实现步骤如下：

步骤S41：初始化一个向量V₀，迭代的计算出新的V的值，设定一个阈值ε，当accleration小于阈值时，停止迭代：

v^t+1＝(Wv^t)/||Wv^t||₁ (7)

σ^t+1＝|v^t+1-v^t| (8)

accleration＝||σ^t+1-σ^t|| (9)

其中，计算新的向量V^t+1，并计算新的向量V^t+1和前一次计算出的向量V¹之间的accleration，当值小于阈值时，结束计算；

步骤S42：假设有k个社区，将向量V计算k次，得到k个特征向量V和k个特征矩阵W：

其中，W_l表示第l个特征矩阵，v_l表示第l个特征向量，计算到社区数时结束迭代。

在本发明一实施例中，所述步骤S5的具体实现步骤如下：

步骤S51：将所有的特征向量进行正交化操作，对于每个节点，计算出该节点和每个社区之间的归属程度：

步骤S52：计算归属度的同时，同时计算出社区的簇中心：

步骤S53：将所有在某社区归属度较大的节点划分到该社区，出现某个节点出现对于多个社区的归属度较大时，将节点划分到多个社区。

在本发明一实施例中，所述步骤S6的具体实现步骤如下：

步骤S61：分别计算每次社区划分后的模块度Q，模块度Q的计算公式如下：

其中，m为社交网络中边的总数；c为划分得到的社区的数目；Oi为节点i所属的社区个数；ki为节点i的度；Aij用于判断节点i和节点j之间是否存在连接，若存在连接则Aij为1，否则为0，即Aij相当于算法中的邻接矩阵中的值，就如公式(1)定义。

在本发明一实施例中，所述步骤S7的具体实现步骤如下：

步骤S71：将重叠社区集合中每个社区C_i中的节点v_i,j写成行向量形式R_i＝(v_i,j)；

步骤S72：输出向量集{R_i}，0<i<k，k为社区个数，每行代表一个社区；社区重叠的部分由行向量中包含的重复节点来表示。

相较于现有技术，本发明具有以下有益效果：本发明方法首先获取节点的Jaccard系数和属性信息，对所有节点进行相似度的计算，大大增强了社区内节点间的紧密程度；然后将谱聚类方法、和幂迭代方法相结合，通过计算出节点的特征向量和特征值，有效的去除冗余或者没有意义的特征；然后利用计算出来的特征向量，计算出每个节点对于每个社区的归属程度，判断出节点应该划分的社区，同时划分出重叠的社区；本发明应用于较大规模网络的社区发现，从而能够有效地得到网络中重叠社区结构划分，并为网络聚类在重叠社区发现方向的发展提供有益补充。

附图说明

图1为本发明实施例的实现流程图。

具体实施方式

下面结合附图，对本发明的技术方案进行具体说明。

本发明基于谱聚类与模糊集的重叠社区发现方法，如图1所示，包括以下步骤：

步骤1：读取社交网络的数据集，生成网络结构图并获取网络中节点的属性信息和拓扑结构。具体包括以下步骤：

读取社交网络的数据集，生成用于社区结构划分的网络结构图G＝(V,E,F)，其中V表示节点集，E表示边集，F表示特征属性集，同时获取网络节点的拓扑结构：

其中，A_ij表示邻接矩阵，e_ij表示节点i和节点j之间的边。

步骤2：结合网络中相邻节点之间的Jaccard系数和节点的属性信息，计算网络中节点之间的相似度值。具体包括以下步骤：

步骤2.1：表示出每个节点的邻居集：

Γ(v)＝{u:u∈V,(v,u)∈E} (2)

其中，Γ(u)表示节点u的邻居集合，节点v表示为节点u的邻居节点；

步骤2.2：计算任意两个节点之间的Jaccard系数：

J_uv计算出来的值表示为节点u与节点v的Jaccard系数，J_uv用于衡量节点之间的相似程度，J_uv值越大表示两个节点之间越相似，反之则表示两个节点越不相似；

步骤2.3：根据节点的属性信息，计算每两个节点之间的属性相似度：

SD(u,v)＝haming(u,v) (4)

SD(u,v)计算出来的值表示节点u与节点v的属性系数，用来衡量节点之间在属性上相似程度，SD(u,v)值越大表示两个节点之间越相似，反之亦然；

步骤2.4：根据Jaccard系数和节点的属性系数，计算每个节点的总相似度S(u,v)：

S(u,v)＝J_uv+SD(u,v) (5)

其中，J_uv两节点之间的Jaccard系数，SD(u,v)表示两节点间的属性系数；S(u,v)越大，表示节点u和v在网络中越相似，极有可能划分到同一个社区。

步骤3：基于节点间的相似度值，构建相似度矩阵，从而构建归一化后的拉普拉斯矩阵。具体包括以下步骤：

步骤3.1：统计节点u与节点v的相似度值，构建出相似度矩阵S；

步骤3.2：利用相似度矩阵S计算出度矩阵D的值；

步骤3.3：利用度矩阵D和原始的相似度矩阵S，进行归一化操作，计算出归一化后的拉普拉斯矩阵W：

W＝D^-1S (6)

其中，D表示度矩阵中元素的值，S表示为相似度矩阵中元素的值，W为归一化后的拉普拉斯矩阵中元素的值。

步骤4：计算每个节点的特征向量和特征值，利用迭代和压缩的方法生成新的特征向量。具体包括以下步骤：

步骤4.1：初始化一个向量V₀，迭代的计算出新的V的值，设定一个阈值ε，当accleration小于阈值时，停止迭代：

v^t+1＝(Wv^t)/||Wv^t||₁ (7)

σ^t+1＝|v^t+1-v^t| (8)

accleration＝||σ^t+1-σ^t|| (9)

其中，计算新的向量V^t+1，并计算新的向量V^t+1和前一次计算出的向量V¹之间的accleration，当值小于阈值时，结束计算；

步骤4.2：假设有k个社区，将向量V计算k次，得到k个特征向量V和k个特征矩阵W：

其中，W_l表示第l个特征矩阵，v_l表示第l个特征向量，计算到社区数时结束迭代。

步骤5：将新的特征向量正交化，计算每个节点针对每个社区的归属度，进行社区的划分，对存在多个社区归属度值较大的节点，进行重叠社区的划分。具体包括以下步骤：

步骤5.1：将所有的特征向量进行正交化操作，对于每个节点，计算出该节点和每个社区之间的归属程度：

步骤5.2：计算归属度的同时，同时计算出社区的簇中心：

步骤5.3：将所有在某社区归属度较大的节点划分到该社区，出现某个节点出现对于多个社区的归属度较大时，将节点划分到多个社区。

步骤6：根据每次划分后的模块度，选出满足模块度要求最高的社区划分。具体包括以下步骤：

步骤6.1：分别计算每次社区划分后的模块度Q，模块度Q的计算公式如下：

其中，m为社交网络中边的总数；c为划分得到的社区的数目；Oi为节点i所属的社区个数；ki为节点i的度；Aij用于判断节点i和节点j之间是否存在连接，若存在连接则Aij为1，否则为0，即Aij相当于算法中的邻接矩阵中的值，就如公式(1)定义。

步骤7：输出最终的社区划分结果。具体方法如下：

步骤7.1：将重叠社区集合中每个社区C_i中的节点v_i,j写成行向量形式R_i＝(v_i,j)；

步骤7.2：输出向量集{R_i}，0<i<k，k为社区个数，每行代表一个社区；社区重叠的部分由行向量中包含的重复节点来表示。

以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。

Claims (8)

1.一种基于谱聚类与模糊集的重叠社区发现方法，其特征在于，包括如下步骤：

步骤S1：读取社交网络的数据集，生成网络结构图并获取网络中节点的属性信息和拓扑结构；

步骤S2：结合网络中相邻节点之间的Jaccard系数和节点的属性信息，计算网络中节点之间的相似度值；

步骤S3：基于节点间的相似度值，构建相似度矩阵，从而构建归一化后的拉普拉斯矩阵；

步骤S4：计算每个节点的特征向量和特征值，利用迭代和压缩的方法生成新的特征向量；

步骤S5：将新的特征向量正交化，计算每个节点针对每个社区的归属度，进行社区的划分，对存在多个社区归属度值较大的节点，进行重叠社区的划分；

步骤S6：根据每次划分后的模块度，选出满足模块度要求最高的社区划分；

步骤S7：输出最终的社区划分结果。

2.根据权利要求1所述的一种基于谱聚类与模糊集的重叠社区发现方法，其特征在于，在步骤S1中，读取社交网络的数据集，生成用于社区结构划分的网络结构图G＝(V,E,F)，其中V表示节点集，E表示边集，F表示特征属性集，同时获取网络节点的拓扑结构：

其中，A_ij表示邻接矩阵，e_ij表示节点i和节点j之间的边。

3.根据权利要求2所述的一种基于谱聚类与模糊集的重叠社区发现方法，其特征在于，在步骤S2中，计算网络中节点之间的相似度值的具体步骤如下：

步骤S21：表示出网络中每个节点的邻居集：

Γ(v)＝{u:u∈V,(v,u)∈E} (2)

其中，Γ(u)表示节点u的邻居集合，节点v表示为节点u的邻居节点；

步骤S22：计算任意两个节点之间的Jaccard系数：

J_uv计算出来的值表示为节点u与节点v的Jaccard系数，J_uv用于衡量节点之间的相似程度，J_uv值越大表示两个节点之间越相似，反之则表示两个节点越不相似；

步骤S23：根据节点的属性信息，计算每两个节点之间的属性相似度：

SD(u,v)＝haming(u,v) (4)

SD(u,v)计算出来的值表示节点u与节点v的属性系数，用来衡量节点之间在属性上相似程度，SD(u,v)值越大表示两个节点之间越相似，反之亦然；

步骤S24：根据Jaccard系数和节点的属性系数，计算每个节点的总相似度S(u,v)：

S(u,v)＝J_uv+SD(u,v) (5)

其中，J_uv两节点之间的Jaccard系数，SD(u,v)表示两节点间的属性系数；S(u,v)越大，表示节点u和v在网络中越相似，极有可能划分到同一个社区。

4.根据权利要求3所述的一种基于谱聚类与模糊集的重叠社区发现方法，其特征在于，所述步骤S3的具体实现步骤如下：

步骤S31：统计节点u与节点v的相似度值，构建出相似度矩阵S；

步骤S32：利用相似度矩阵S计算出度矩阵D的值；

步骤S33：利用度矩阵D和原始的相似度矩阵S，进行归一化操作，计算出归一化后的拉普拉斯矩阵W：

W＝D^-1S (6)

其中，D表示度矩阵中元素的值，S表示为相似度矩阵中元素的值，W为归一化后的拉普拉斯矩阵中元素的值。

5.根据权利要求4所述的一种基于谱聚类与模糊集的重叠社区发现方法，其特征在于，所述步骤S4的具体实现步骤如下：

步骤S41：初始化一个向量V₀，迭代的计算出新的V的值，设定一个阈值ε，当accleration小于阈值时，停止迭代：

v^t+1＝(Wv^t)/||Wv^t||₁ (7)

σ^t+1＝|v^t+1-v^t| (8)

accleration＝||σ^t+1-σ^t|| (9)

其中，计算新的向量V^t+1，并计算新的向量V^t+1和前一次计算出的向量V¹之间的accleration，当值小于阈值时，结束计算；

步骤S42：假设有k个社区，将向量V计算k次，得到k个特征向量V和k个特征矩阵W：

其中，W_l表示第l个特征矩阵，v_l表示第l个特征向量，计算到社区数时结束迭代。

6.根据权利要求5所述的一种基于谱聚类与模糊集的重叠社区发现方法，其特征在于，所述步骤S5的具体实现步骤如下：

步骤S51：将所有的特征向量进行正交化操作，对于每个节点，计算出该节点和每个社区之间的归属程度：

步骤S52：计算归属度的同时，同时计算出社区的簇中心：

步骤S53：将所有在某社区归属度较大的节点划分到该社区，出现某个节点出现对于多个社区的归属度较大时，将节点划分到多个社区。

7.根据权利要求6所述的一种基于谱聚类与模糊集的重叠社区发现方法，其特征在于，所述步骤S6的具体实现步骤如下：

步骤S61：分别计算每次社区划分后的模块度Q，模块度Q的计算公式如下：

其中，m为社交网络中边的总数；c为划分得到的社区的数目；Oi为节点i所属的社区个数；ki为节点i的度；Aij用于判断节点i和节点j之间是否存在连接，若存在连接则Aij为1，否则为0，即Aij相当于算法中的邻接矩阵中的值，就如公式(1)定义。

8.根据权利要求6所述的一种基于谱聚类与模糊集的重叠社区发现方法，其特征在于，所述步骤S7的具体实现步骤如下：

步骤S71：将重叠社区集合中每个社区C_i中的节点v_i,j写成行向量形式R_i＝(v_i,j)；

步骤S72：输出向量集{R_i}，0<i<k，k为社区个数，每行代表一个社区；社区重叠的部分由行向量中包含的重复节点来表示。