CN109039716A

CN109039716A - 一种复杂网络社区数量的估计方法

Info

Publication number: CN109039716A
Application number: CN201810794522.1A
Authority: CN
Inventors: 杜航原
Original assignee: Shanxi University
Current assignee: Shanxi University
Priority date: 2018-07-19
Filing date: 2018-07-19
Publication date: 2018-12-18

Abstract

本发明涉及复杂网络挖掘领域，特别涉及一种复杂网络社区数量的估计方法。一种复杂网络社区数量估计方法，该复杂网络表示为图的形式，记作网络G(V,E)，网络G(V,E)中包含个m网络节点，记作V＝(v₁,v₂,…,v_m)，其中第i个网络节点(1≤i≤m)记作v_i；网络节点之间共形成了n个连接，表现为n条连边，记作E＝(e₁,e₂,…,e_n)，其中第l条边(1≤l≤n)记作e_l；确定网络G(V,E)中所含社区数量及各社区中心节点。无需任何先验信息，能够充分反映网络社区内部稠密和外部稀疏的本质结构特征，对于网络中社区数量的估计精度较高，有利于提高网络社区发现算法的估计性能，对于现实网络数据分析具有较高实用价值。

Description

一种复杂网络社区数量的估计方法

技术领域

本发明涉及复杂网络挖掘领域，特别涉及一种复杂网络社区数量的估计方法。

背景技术

复杂网络一般指节点数目众多、连接关系复杂的网络。飞速发展的互联网技术和信息爆炸式增长，使人类社会步入了网络时代，我们的大量生产实践活动都处于各类复杂网络环境中，例如，社会网络、蛋白质网络、疾病传播网络、Internet网络等。这些复杂网络中链路分布的不均匀性暗示了网络中社区结构的存在，大量研究也表明网络通常由一些结构明显的社区构成。社区内部节点间连接相对紧密，而社区间连接比较稀疏。网络中的社区是现实世界社会关系的一种映射，社区发现的研究工作具有很多现实意义，人们通过挖掘和识别社区结构可以了解网络中蕴含的丰富内容，理解网络社团组织结构的发展规律以及它们之间拓扑结构的相互关系等。近年来，针对网络社区发现问题已经形成了大量具有代表性的算法，大致可分为几类：基于层次聚类的社区发现方法，基于优化模型的社区发现方法，基于图分割的社区发现方法以及启发式方法等。

公开号为CN106453096A的专利《一种动态网络社区发现方法及装置》提供一种动态网络社区发现方法及装置。该发明实施例通过获得的初始网络结构，获取初始网络结构中每条边对应的两个节点的相似度，然后基于相似度结果，获得两个节点属于同一个社区的第二概率，最后将相似度大于第二概率的边所连接的两个节点划分到同一个社区。当初始网络结构发生动态变化后,重新获得变化后的网络结构，将变化后的网络结构与初始网络结构进行对比得到变化节点集合，对变化节点集合中的每个点，重新计算变化节点集合中的每个点与相连的邻居网络节点相似度，依据重新计算的相似度和第一概率，将相似度大于第一概率的两个节点划分到同一个社区。更新社区划分的结果，从而发现动态网络社区。公开号为 CN103778192A的专利《一种复杂网络局部社区发现方法》公开了一种复杂网络局部社区发现方法，从包含源节点的初始社区出发通过逐渐扩展找到源节点所隶属的网络局部社区。其步骤为：S1初始化核心路径，将源节点添加到该路径；S2对于以核心路径中最后一个节点为中心的邻域内的每个节点，计算其与最后一个节点的连通强度值，找到使得连通强度最大的节点z；S3判断节点z是否在核心路径中，如果没包含则将节点z加入核心路径，返回步骤 S2；否则对核心路径中可能存在的多余节点进行过滤；S4将核心路径中的节点确定为初始社区。公开号为CN103747033A的专利《一种社区发现的方法》公开了一种社区发现的方法，包括以下步骤：1)利用MapReduce模型实现并行计算；2)在Map阶段，将计算任务分为N 份，每份计算任务包括随机游走过程和数据处理过程，其中通过随机游走获得复杂网络的一个遍历节点序列，通过对遍历节点序列进行数据分析，获得两个节点之间的连接的紧密程度； 3)在Reduce阶段，对并行计算的结果进行整合得到节点之间的连接紧密程度，根据节点之间连接的紧密程度来进行社区发现；4)对处于社区重叠部分的节点进行分析，以概率形式对节点归属于哪个社区做出描述。

综上所述，网络社区发现已经成为一个热门研究方向，并且取得了大量理论成果和应用技术。但是，现有的社区发现方法存在一个重要的问题：它们通过各种方法将网络划分为K 个社区，即依赖于一个前提——网络中社区数量是已知的。然而在实际任务中，社区数量这一先验信息通常是难以获得的，这将导致社区发现算法失效或有效性大大降低。因此，如何在缺乏先验知识的情况下获得网络社区数量的有效估计，是确保社区发现方结果准确性的基本前提。

发明内容

本发明所要解决的技术问题是：如何为复杂网络社区提供一种有效的社区数量估计方法。

本发明认为每个社区结构中都存在一个社区中心节点，对其所在社区具有最强的影响力和中心性。网络社区的本质结构特征是内部稠密、外部稀疏。因此，社区中心节点是社区中最能体现这一特征的节点。基于这一思想，本发明提出了一种网络社区数量的估计方法，定义了网络节点中心度描述网络节点对于社区结构本质特性的表达能力，通过3σ法则选择中心度异常高的网络节点作为社区中心节点，进而确定网络中包含的社区数目。

本发明所采用的技术方案是：一种复杂网络社区数量估计方法，该复杂网络表示为图的形式，记作网络G(V,E)，网络G(V,E)中包含m个网络节点，记作V＝(v₁,v₂,…,v_m)，其中第i 个网络节点(1≤i≤m)记作v_i；网络节点之间共形成了n个连接，表现为n条连边，记作 E＝(e₁,e₂,…,e_n)，其中第l条边(1≤l≤n)记作e_l；确定网络G(V,E)中所含社区数量及各社区中心节点的过程，包括以下步骤：

S10、计算网络G(V,E)中的任一网络节点v_i的内聚度，用于表达该网络节点对其所属社区中其它网络节点的最大聚合性，即网络社区内部连接的稠密性；

S20、计算网络G(V,E)中的任一网络节点v_i的分离度，用于表达该网络节点与其所属社区之外网络节点间的相关性，即社区外部连接的稀疏性：

S30、对于网络G(V,E)中的任一网络节点v_i，依据其内聚度和分离度计算网络节点的中心度，用于描述每个网络节点对其所属社区的影响力，中心度越高，则该网络节点越可能成为社区中心；

S40、计算各网络节点中心度的Z分数：

S50、利用3σ法则对网络节点中心度的Z分数进行筛选，生成候选社区中心节点集合；

S60、从候选社区中心节点集合中选择内聚度和分离度都较大的网络节点，作为社区中心节点，进行结果输出。

作为一种优选方式，所述步骤S10中对于网络G(V,E)中的任一网络节点v_i，令 NG_i＝{v_j|<v_i,v_j>∈E}表示v_i的邻居网络节点构成的集合，将网络节点v_i的连接度表示为 d_i＝|NG_i|，所述网络G(V,E)任一网络节点v_i的内聚度的计算包含以下步骤：

S11、计算网络节点v_i与其各邻居网络节点间的相似度，两网络节点间的相似度为这两个网络节点的公共邻居网络节点数，网络节点v_i与其某一邻居网络节点v_j的相似度sim_i,j计算方法如式(1)：

sim_i,j＝|NG_i∩NG_j| (1)

S12、利用式(2)计算网络节点v_i的内聚度：

其中I_i为网络节点v_i的内聚度，表示该网络节点的度及其与邻居网络节点的最大相似度。

作为一种优选方式，所述步骤S20中网络G(V,E)任一网络节点v_i的分离度计算方法如式 (3)所示：

其中，P_i表示网络节点v_i的分离度，表示网络G(V,E)中内聚度比v_i高的网络节点与v_i间的最大相似度。

作为一种优选方式，所述步骤S30中网络G(V,E)中任一网络节点v_i的中心度定义为其内聚度与分离度的乘积，计算方法如式(4)所示：

R_i＝I_i·P_i (4)

作为一种优选方式，所述步骤S40中各网络节点中心度的Z分数计算方法如式(5)所示：

其中，表示网络节点v_i的中心度对应的Z分数，μ_R和σ_R分别表示网络G(V,E)中网络节点中心度总体分布的期望和标准差

Z分数以标准差为单位度量各网络节点中心度与总体中心度平均值间的距离，其取值近似服从正态分布N(0,1)。

作为一种优选方式，所述步骤S50的具体过程为：从网络节点中心度的Z分数落入3σ置信区间之外的网络节点中选取中心度异常大的节点构成候选社区中心节点集合，即其中，Λ表示网络中候选社区中心节点集合，v_o表示中心度Z分数大于3的网络节点，即候选社区中心节点，表示网络节点v_o的中心度Z分数。

作为一种优选方式，所述步骤S60包括：

S61、对于候选社区中心节点集合，依照式(8)的方法计算其中各候选社区中心节点内聚度的Z分数：

其中，表示候选社区中心节点v_o的内聚度对应的Z分数，I_o表示候选社区中心节点v_o的内聚度，μ_I和σ_I分别表示网络G(V,E)中网络节点内聚度总体分布的期望和标准差

S62、对于候选社区中心节点集合，依照式(11)的方法计算其中各候选社区中心节点内聚度的Z分数：

其中，表示候选社区中心节点vo的分离度对应的Z分数，Po表示候选社区中心节点vo的分离度，μ_P和σ_P分别表示网络G(V,E)中网络节点分离度总体分布的期望和标准差

S63、从候选社区中心节点集合Λ中选择满足且的网络节点vc作为社区中心节点，其中v_c为选定的网络社区中心节点，和分别表示v_c的内聚度和分离度对应的 Z分数；

S64、输出网络社区中心节点集合社区数量K＝|C|。

本发明针对社区数量未知情况下的复杂网络社区发现问题，提出了一种社区数量估计方法，通过网络节点的内聚度表达社区内部连接稠密性，通过网络节点的分离度表达社区之间连接的稀疏性，在此基础上计算各网络节点的中心度反映节点对社区结构的影响力，然后通过3σ法则生成社区中心节点的候选集合，并从中筛选内聚度和分离度都较大的网络节点作为社区中心，最终进行结果输出。本发明的主要参数包括：网络节点连接度、网络节点间相似度、网络节点内聚度及其Z分数、网络节点分离度及其Z分数、网络节点中心度及其Z分数、网络社区数量，其中网络节点度描述节点连接的变数量，网络节点间相似度对两个网络节点间的相似程度进行度量，网络节点内聚度和分离度分别用于表达网络社区的内部稠密性和外部稀疏性，网络节点中心度用于表达节点对社区结构的影响力，网络节点内聚度、分离度及中心度的Z分数是以这些参数的标准差为单位度量各网络节点与网络总体平均值间的距离，网络社区数量是本发明的最终输出结果。

本发明的有益效果：是本发明中提供的方法区别于现有方法的显著特征在于：设计了网络节点内聚度和分离度分别表达网络社区内部稠密和外部稀疏的本质结构特征，并在此基础上计算网络节点的中心度用于描述节点对所属社区结构的影响力，利用3σ法则筛选中心度异常大的网络节点作为社区中心候选节点，并从中选择内聚度和分离度都较大的网络节点作为社区中心进行结果输出。该方法无需任何先验信息，能够充分反映网络社区内部稠密和外部稀疏的本质结构特征，对于网络中社区数量的估计精度较高，有利于提高网络社区发现算法的估计性能，对于现实网络数据分析具有较高实用价值。

具体实施方式

本发明所述的复杂网络社区数量估计方法通过计算机程序实施。下面将按照流程详述本发明提出的技术方案的具体实施方式。给定一个网络，表示为图的形式，记作G(V,E)，网络 G(V,E)中包含m个网络节点，记作V＝(v₁,v₂,…,v_m)，其中第i个网络节点(1≤i≤m)记作v_i；网络节点之间存在n个相互连接，表现为n条连边，记作E＝(e₁,e₂,…,e_n)，其中第l条边 (1≤l≤n)记作e_l。本发明所述内容即确定网络中社区数量及各社区中心节点的过程，其实施方式主要包含以下关键内容：

步骤1、对于网络G(V,E)中的任一网络节点v_i，令NG_i＝{v_j|<v_i,v_j>∈E}表示v_i的邻居网络节点构成的集合，则网络节点v_i的连接度可表示为d_i＝|NG_i|；计算每个网络节点的内聚度，网络节点内聚度越高，该网络节点对于社区内其他网络节点的聚合能力越强，这反映了社区结构内部连接的稠密性。网络节点v_i的内聚度计算方法包含以下步骤：

步骤1-1、计算网络节点v_i与其各邻居网络节点间的相似度，两网络节点间的相似度为这两个网络节点的公共邻居网络节点数，例如，网络节点v_i与其某一邻居网络节点v_j的相似度 sim_i,j计算方法如式(1)：

sim_i,j＝|NG_i∩NG_j| (1)

步骤1-2、利用式(2)计算网络节点v_i的内聚度：

其中I_i为网络节点vi的内聚度，表示该网络节点的度及其与邻居网络节点的最大相似度；

步骤2、计算每个网络节点的分离度，用于反映社区结构外部连接的稀疏性。网络节点v_i的分离度计算方法如式(3)所示：

其中，P_i表示网络节点v_i的分离度，其取值越大表明v_i与内聚度更大的网络节点之间的相似性越低，表示网络G(V,E)中内聚度比v_i高的网络节点与v_j间的最大相似度；

步骤3、依据网络节点的内聚度和分离度计算每个网络节点的中心度，网络中节点v_i的中心度是该网络节点内聚度与分离度的乘积，网络节点v_i的中心度计算方法如式(4)所示：

R_i＝I_i·P_i (4)

式中R_i为网络节点v_i的中心度，描述了网络节点对所属社区结构的影响力，中心度越高，则该网络节点越可能成为社区中心；

利用上述步骤1～步骤3遍历网络中的每个网络节点，可求得各网络节点的内聚度、分离度以及中心度，若已知网络中社区数量，则可选取网络上中心度最大的相应数量的网络节点作为社区中心。然而在许多真实网络中，无法获得网络社区分布情况的先验真值，即社区数量是未知的，在这种情况下，本发明通过以下步骤选取社区中心节点：

步骤4、计算各网络节点中心度的Z分数，网络节点v_i中心度的Z分数计算方法如式(5) 所示：

Z分数以标准差为单位度量各网络节点中心度与总体中心度平均值间的距离，其取值近似服从正态分布N(0,1)；

步骤5、利用3σ法则对网络节点中心度的Z分数进行筛选，落入3σ置信区间之外的网络节点包含两个部分：中心度异常小的网络节点，以及中心度异常大的网络节点，本发明选取中心度异常大的网络节点构成社区中心节点的候选集合其中，Λ表示网络中候选社区中心节点的集合，v_o表示中心度Z分数大于3的网络节点，即候选社区中心节点，表示网络节点v_o的中心度Z分数；

步骤6、从候选社区中心节点集合中选择内聚度和分离度都较大的网络节点，作为社区中心节点，进行结果输出，具体包含如下步骤：

步骤6-1、对于候选社区中心节点集合中的网络节点v_o，依照式(8)的方法计算各候选社区中心节点内聚度的Z分数：

步骤6-2、对于候选社区中心节点集合中的网络节点，依照式(11)的方法计算各候选社区中心节点内聚度的Z分数：

其中，表示候选社区中心节点v_o的分离度对应的Z分数值，P_o表示候选社区中心节点v_o的分离度，μ_P和σ_P分别表示网络G(V,E)中网络节点分离度总体分布的期望和标准差

步骤6-3、从候选社区中心节点集合Λ中选择满足且的网络节点v_c作为社区中心节点，其中v_c为选定的网络社区中心节点，和分别表示v_c的内聚度和分离度的 Z分数；

步骤6-4、输出网络社区中心节点集合社区数量K＝|C|。

Claims

1.一种复杂网络社区数量估计方法，其特征在于：该复杂网络表示为图的形式，记作网络G(V,E)，网络G(V,E)中包含m个网络节点，记作V＝(v₁,v₂,…,v_m)，其中第i个网络节点(1≤i≤m)记作v_i；网络节点之间共形成了n个连接，表现为n条连边，记作E＝(e₁,e₂,…,e_n)，其中第l条边(1≤l≤n)记作e_l；确定网络G(V,E)中所含社区数量及各社区中心节点的过程，包括以下步骤：

S40、计算各网络节点中心度的Z分数：

2.根据权利要求1所述一种复杂网络社区数量估计方法，其特征在于：所述步骤S10中对于网络G(V,E)中的任一网络节点v_i，令NG_i＝{v_j|<v_i,v_j>∈E}表示v_i的邻居网络节点构成的集合，将网络节点v_i的连接度表示为d_i＝|NG_i|，所述网络G(V,E)任一网络节点v_i的内聚度的计算包含以下步骤：

sim_i,j＝|NG_i∩NG_j| (1)

S12、利用式(2)计算网络节点v_i的内聚度：

3.根据权利要求1所述一种复杂网络社区数量估计方法，其特征在于：所述步骤S20中网络G(V,E)任一网络节点v_i的分离度计算方法如式(3)所示：

4.根据权利要求1所述一种复杂网络社区数量估计方法，其特征在于：所述步骤S30中网络G(V,E)中任一网络节点v_i的中心度定义为其内聚度与分离度的乘积，计算方法如式(4)所示：

R_i＝I_i·P_i (4)。

5.根据权利要求1所述一种复杂网络社区数量估计方法，其特征在于：所述步骤S40中各网络节点中心度的Z分数计算方法如式(5)所示：

6.根据权利要求1所述一种复杂网络社区数量估计方法，其特征在于：所述步骤S50的具体过程为：从网络节点中心度的Z分数落入3σ置信区间之外的网络节点中选取中心度异常大的节点构成候选社区中心节点集合，即其中，Λ表示网络中候选社区中心节点集合，v_o表示中心度Z分数大于3的网络节点，即候选社区中心节点，表示网络节点v_o的中心度Z分数。

7.根据权利要求1所述一种复杂网络社区数量估计方法，其特征在于：所述步骤S60包括：

其中，表示候选社区中心节点v_o的分离度对应的Z分数，P_o表示候选社区中心节点v_o的分离度，μ_P和σ_P分别表示网络G(V,E)中网络节点分离度总体分布的期望和标准差

S63、从候选社区中心节点集合Λ中选择满足且的网络节点v_c作为社区中心节点，其中v_c为选定的网络社区中心节点，和分别表示v_c的内聚度和分离度对应的Z分数；

S64、输出网络社区中心节点集合社区数量K＝|C|。