CN102571954A - 基于节点核心影响力的复杂网络聚类方法 - Google Patents

Abstract

本发明公开了一种基于节点核心影响力的复杂网络聚类方法，将复杂网络中的节点按照度的大小排序，初始各节点均未确定所属社区，将当前未确定所属社区的度最大的节点作为一个社区的核心节点，开始构建该社区，确定核心节点的相邻节点的社区归属，在构建完一个社区后，再将当前未确定所属社区的度最大的节点作为一个社区的核心节点，开始构建社区，反复构建社区的过程，直到网络中的所有节点都确定了所属社区，得到最终的网络簇结构。本发明方法在复杂网络中的聚类精度要优于FN聚类方法，对细粒度地揭示复杂网络真实簇结构起到了积极的作用。

Description

基于节点核心影响力的复杂网络聚类方法

技术领域

本发明属于社区网络的数据挖掘领域，涉及一种聚类方法，具体属于一种基于节点影响力的复杂网络聚类方法。

背景技术

21世纪，人类已进入全球化时代，全球信息化网络程度不断加深，随着真实世界网络中小世界效应及无标度特性的发现，带来了对复杂网络的研究热潮。复杂网络(complex network)涉及图论、统计物理学、计算机网络研究、生态学、社会学以及经济学等领域，具有较强的跨学科特征。研究所涉及的复杂网络主要有：生命科学领域的各种网络(如细胞网络、蛋白质网络)、Internet/WWW网络、技术网络(如电力网、电子电路网络)、社会网络(如社交网络、疾病传播网络、人类关系网络、语言学网络)等。

现实世界中的众多复杂网络系统均表现出了异构性的特征。在复杂网络中，一个最重要的特征就是网络所呈现出的簇结构，大量事实研究表明，许多网络都有自己的簇结构，而不是一大批性质完全的节点随机的联系在一起。复杂网络的异构性具体体现在，具有相似类型的节点有较多的连接，而不同类型的节点连接很少。这些具有相似类型的节点和这些节点构成的边所组成的子图被称作簇。

聚类方法对研究复杂网络的簇结构起到至关重要的作用。其对分析复杂网络的拓扑结构、理解复杂网络的功能、揭示复杂网络中的隐藏规律及预测复杂网络的行为不仅有重要的理论意义，而且有广泛的应用前景。聚类方法已被应用于社区网络分析、生物网络分析、搜索引擎、空间数据聚类和图像分割等众多领域。

按照分析策略，复杂网络聚类方法主要分为基于优化的方法和启发式方法两类。早期的复杂网络聚类方法主要包括谱方法和Kernighan-Lin算法(KL算法)，它们都属于基于优化的复杂网络聚类方法。谱方法早期用于解决图分割(graph partition)问题，近年来被应用到复杂网络聚类领域。谱方法采用二次型优化技术最小化预定义的“截函数”。具有最小“截”(即网间连接密度)的划分被认为是最优的网络划分。谱方法具有严密的数学理论，被广泛应用于图分割和空间点聚类等领域。但由于其对先验知识的依赖度过高及其采用的递归二分策略问题，在多网络簇复杂的网络环境下具有明显不足，不能准确地反映真实网络簇结构。

KL算法同样基于图分割思想，优化目标是极小化簇间连接与簇内连接数目之差，通过不断调整节点所属簇结构，选择并接受可以使目标函数极小化的候选解。KL算法对初始解非常敏感，在应用中同样对先验知识的依赖程度较高，在寻找最优解的过程中，往往只能得到局部最优的结果，也不能准确地反映真实复杂网络的簇结构。

2002年，格万和纽曼(M.Girvan和M.E.J.Newman)提出了基于反复识别和删除簇间连接策略的复杂网络启发式聚类算法GN算法。GN的最大缺点是计算速度慢，边介数计算的开销过大O(m×n)，并且GN具有较高的时间复杂性O(m^2n)，在规模较大的网络中难以发挥作用。同年，Flake等人基于最大流-最小截定理提出了启发式聚类算法Maximum FlowCommunity(MFC算法)。MFC算法通过计算最小截集，识别造成网络“瓶颈”的簇间连接，通过删除簇间连接，逐渐将网络分割成为以簇为单位的单元化结构。但该算法基于连接进行聚类，不适用于节点异构的网络。

2004年，纽曼(M.E.J.Newman)提出了基于局部搜索的快速复杂网络聚类算法FN算法。FN算法属于基于优化的算法，其优化目标是极大化纽曼与格万于同年提出的网络模块性评价函数(Q函数)。Q函数定义为簇内的实际连接数目与随机连接下簇内的期望连接数目之差，用来展现网络簇结构的优劣。Q值越大则网络簇结构越好。

2005年，吉莫热与阿麦拉尔(R.Guimera和L.A.N.Amaral)采用与FN算法相同的优化目标函数，提出了基于模拟退火算法(SA)的复杂网络聚类算法GA算法。该算法通过计算候选解对应的Q函数值来评价其优劣，GA算法具有找到全局最优解的能力，因此具有很好的聚类性能。

但是，基于Q函数的优化算法依然存在以下缺点：第一，基于优化思想的聚类算法所识别出的网络簇结构质量的好坏取决于优化的目标函数的选取，这就导致“有偏”的目标函数会计算出“有偏”的解。Q函数本身是有偏的目标函数，聚类精度在Q函数达到全局最大值时并非最高，此时的聚类结果并不能完全准确地刻画真实的网络划分结构；第二，随着复杂网络数据规模的激增，优化算法中目标函数计算和迭代的过程需要耗费巨大的时间和空间资源，处理数据的时间复杂度和空间复杂度不断提高，导致聚类运算消耗的时间和资源越来越多。

发明内容

本发明针对现有聚类方法不能准确地刻画真实的网络簇结构，并且随着复杂网络规模的不断扩大，聚类运算消耗的时间和资源越来越多的问题，提出了一种基于节点影响力的复杂网络聚类方法(Improved Fast-Newman Algorithm in Complex Networks Based on CoreInfluence)。本发明基于节点核心影响力，围绕核心影响力进行聚类，在构建以簇核心结构为主体的簇划分架构后，细粒度地对簇成员进行甄选，该过程能够更加准确的反映真实网络簇结构中的节点成员的聚类过程。

本发明提供了一种基于节点核心影响力的复杂网络聚类方法，具体包括如下步骤：

步骤1：首先设置两个集合cmty_non和cmty_confir，集合cmty_non中放置的是当前未确认归属社区的节点，集合cmty_confir中放置的是当前已确认归属社区的节点，然后统计整个网络中所有节点的总度数total_degree，按照节点度的大小降序排列所有节点，并将排列好的节点加入到集合cmty_non中；

步骤2：选取当前排序后度最大的节点i_max，将其标记为第一个社区的核心节点，设置第一个社区的编号为0，将节点i_max从集合cmty_non中删除，并加入到集合cmty_confir中；

步骤3：设置社区总数cmty_total，当前社区编号为cmty_total的社区就是当前所要构建的社区，cmty_total的初始值为0；

步骤4：确定与当前所要构建的社区的核心节点相邻的节点；

步骤5：读取一个未确认归属社区的相邻节点i，判断该节点i是否已经加入到集合cmty_confir中，若否，执行步骤6，如是，执行步骤7；

步骤6：对节点i进行如下操作：(1)设置节点i的所属的社区编号为cmty_total，(2)从集合cmty_non中删除节点i，(3)将节点i加入至集合cmty_confir中；

步骤7：判断节点i是否被标记为核心节点，若是，则不作处理，执行步骤8；若否，则修改节点i的社区编号为cmty_total，然后执行步骤8；

步骤8：判断所有与当前所构建社区的核心节点相邻的节点是否都确认了归属社区，若是，执行步骤9，若否，转步骤5执行；

步骤9：更新社区总数cmty_total：cmty_total＝cmty_total+1；

步骤10：判断集合cmty_non中是否还存在未确认归属社区的节点，若存在，则取当前集合cmty_non中度最大的节点i_next；若不存在，则当前网络中所有的节点都已经确认了归属社区，结束本方法；

步骤11：将节点i_next标记为社区编号为cmty_total的社区的核心节点，将节点i_next从集合cmty_non中删除，并加入到集合cmty_confir中；将编号为cmty_total的社区作为当前所要构建的社区，转步骤4执行。

本发明提出的基于节点影响力的复杂网络聚类方法，通过引入节点核心影响力的思想，围绕核心影响力展开聚类，在构建以簇核心为主体的簇划分架构后，对簇成员进行细粒度的甄选，该过程较之传统的聚类方法能够更加准确的反映真实网络簇结构中的节点成员的聚类过程。本发明的优点和积极效果在于：

(1)在对网络的实证研究中，核心影响力的指标考量与网络实际应用是密切相关的，很多真实网络中只用节点度和度分布来统计网络的性质，却没有考虑实际应用的需求，如目前较为流行的人际关系网络中，个体的大量连接可以凝聚较强的影响力，于是那些与影响力大的个体建立连接的人，因此也提升了自身的影响力。“节点核心影响力”思想的引入更有助于全面透彻的分析复杂网络的社会关系。

(2)“簇核心结构”概念使划分出的复杂网络结构更趋近于真实世界的结构拓扑。实证研究表明，大量真实网络都具备有以某一节点或节点群组成的中心位置向四周扩散的结构特点，包括Internet、WWW以及新陈代谢网络等都能通过聚类在局部以及整体发现网络中的核心结构。

(3)研究表明，节点影响力聚类方法应用于复杂网络中，特别是真实世界中的社交关系网络具有良好的准确度和潜在关系挖掘能力，在发现核心成员或核心团体结构方面性能优良。

附图说明

图1为本发明的复杂网络聚类方法的整体步骤流程图；

图2为本发明的聚类方法与FN聚类方法在数据集“Political Blogs”中的聚类效果比较示意图；(a)为使用Conductance函数评价的对比图；(b)为使用Expansion函数评价的对比图。

具体实施方式

下面将结合附图和仿真试验对本发明作进一步的详细说明。

本发明方法适用于社会关系网络中某一时间内的静态事件关系网络情况，描述的是将发生在网络中成员个体上的同一类事件为出发点，分析描述成员之间依赖关系的应用场景，通过统计社会关系网络中就同一类事件中各个成员个体之间的依赖关系，以较高的统计划分精度为目标，能够真实完整准确地反映社会关系网络中以某一事件为线索的网络拓扑结构，以期为用户提供最佳的用户体验。应用场景中的统计数据(包括成员个体和事件)所依赖的社会关系的场景应用，可用节点及节点间的连边关系表示出来，然后将实际应用场景中统计和划分网络结构拓扑，增强网络结构准确性的问题转换为如何根据节点间的连边关系将网络中各节点进行分簇，以得到近似最优解的过程。

本发明提出的一种基于节点影响力的复杂网络聚类方法，基于节点核心影响力的思想，围绕核心影响力展开聚类，在构建以簇核心结构为主体的簇划分架构后，细粒度的对簇成员进行甄选，该过程能够更加准确的反映真实网络簇结构中的节点成员的聚类过程，并能够得到较为理想的分簇结果。所涉及到的概念机理论基础如下：

根据复杂网络中的中心度概念对节点的核心影响力进行定义。中心度指采用定量方法对每个节点处于网络中心地位的程度进行刻画，其作用在于描述并判别整个网络是否存在核心节点，存在多少核心，存在什么样的核心。为能够准确体现核心节点在复杂网络信息、物质和能量传输过程中的重要作用，对节点中心度将使用介数(经过此点的测地线的条数)进行定义，进而定义节点核心影响力。测地线又称大地线或短程线，定义为两个节点之间变数最少的一条路径。节点x的介数中心度定义如下：

$C_A\left(x\right)=\frac{2\underset{i<j}{\mathrm{\&Sigma;}}{g}_{\mathrm{ij}}\left(x\right)}{(n-1)(n-2)g_{\mathrm{ij}}}$

其中，g_ij表示节点i和j之间的测地线的总条数(介数)，g_ij(x)表示节点i和j之间经过节点x的测地线的条数(节点x的介数)，(n-1)(n-2)/2表示节点介数的最大值(任意其他两节点测地线都经过节点x)。节点的核心影响力即为介数中心度，影响力越高的节点在复杂网络中对信息传播的贡献度越高，信息传播过程中的负载也最重。

根据复杂网络中的结构特点，对簇核心结构进行定义。在复杂网络中，簇的核心结构通常并非为简单的具有极高核心影响力的单个节点，而是由多个高影响力的核心活跃节点以一定的结构组成的。本发明使用K函数作为核心结构的判定函数，确定组成簇核心结构的具有高影响力的节点数量和结构。所述的簇核心结构，其判定函数K，K(i)函数值越小，说明节点i成为独立簇结构核心的几率越高；K(i)值越大，说明节点在当前簇结构中的核心价值越高。使用的K函数的定义如下：

$K\left(i\right)=\frac{m_i}{\frac{d_i}{d}*\frac{d_q-d_i}{d-d_i}*m}$

其中，m_i为节点i与簇内其他节点的实际连边数；m为全网连边总数；d_i为节点i的度数之和；d_q为节点i所在簇的簇内节点度数之和；d为全网度数之和。

本发明针对复杂网络的聚类方法的理论基础是：聚类过程首先对剩余节点进行中心化操作，根据节点的核心影响力的大小对网络进行由内向外的重排列，获得一个“中心化”的网络，然后使用“中心化程度”作为优化目标函数，函数定义如下：

$C_A^g=\frac{\underset{x\&Element;W}{\mathrm{\&Sigma;}}(C_A^{*}-C_A\left(x\right))}{(n-1)\max (C_A^{*}-C_A\left(x\right))}$

其中，W表示复杂网络，n表示复杂网络中存在的节点总数，

表示核心影响力最大的节点所对应的介数中心度值。通过目标函数可知：若各节点的中心度相同，网络簇结构无核心，则

若一个节点核心影响力为1，其余节点为0，则

因此，簇结构的中心化程度越高，判定函数的数值越大。

下面具体说明本发明基于上述的理论基础所实现的复杂网络的聚类方法。

首先，本发明的具体实施例中，针对该聚类方法，建立的数据结构见表1。

表1本发明基于节点影响力的复杂网络聚类方法的数据结构

如图1所示，本发明基于节点影响力的复杂网络聚类方法的具体步骤如下：

步骤1：首先设置两个集合：集合cmty_non和集合cmty_confir，集合cmty_non用于放置当前未确认归属社区的节点，集合cmty_confir用于放置当前已确认归属社区的节点。统计整个网络net中各个节点的总度数total_degree，按照节点度的大小降序排列所有节点，并将排列好的节点加入到集合cmty_non中。

步骤2：从集合cmty_non中选取当前排序后度最大的节点i_max，标记该节点i_max所属的社区编号为0，即第一个社区，将当前度最大的节点i_max作为社区0的核心节点。cmty_total初始值为0。在本发明实施例中采用映射表node_map来记录各节点到其所在社区id的映射，针对排序后度最大的节点i_max，在映射表node_map中记录该节点所属社区编号为0。

本发明实施例中的社区编号依次从0到n，n为自然数。

从集合cmty_non中删除当前度最大的节点i_max，并将该节点i_max加入至集合cmty_confir中。

步骤3：设置社区总数cmty_total，当前社区编号为cmty_total的社区就是当前所要构建的社区，cmty_total的初始值为0。在开始构建第一个社区时，cmty_total的值为初始值0。

步骤4：在网络中找出所有与当前所要构建的社区的核心节点相邻的节点。

在构建第一个社区时，找到所有与网络中度最大的节点i_max相邻的节点，所述的相邻的节点是指两个节点之间有连接边。

步骤5：读取一个相邻节点i，判断该节点i是否已经加入到集合cmty_confir中，若否，执行步骤6，如是，执行步骤7。

步骤6：对节点i进行如下操作：(1)设置节点i的所属的社区编号为cmty_total，(2)从集合cmty_non中删除节点i，(3)将节点i加入至集合cmty_confir中。

例如，在构建第一个社区时，对每个与网络中度最大的节点i_max相邻的节点i都进行如下操作：

1)将节点i所属的社区编号设置为0。本发明实施例中在映射表node_map中把每个节点i所在社区标记为0；

2)从集合cmty_non集合中删除节点i；

3)将节点i加入至集合cmty_confir。

当构建第二个社区时，第二个社区的核心节点i_next所属社区的编号为1，与核心节点i_next相邻的节点i在cmty_non中，不在集合cmty_confir中时，将节点i加入至集合cmty_confir中，并从cmty_non中删除，在node_map中标记节点i为1，与当前cmty_total的值相同，即与i_next在同一社区中。

步骤7：判断节点i是否被标记为核心节点，若否，修改节点i的社区编号为cmty_total，若节点i被标记为核心节点，则对节点i的社区编号不作处理。

例如，在构建第二个社区时，对于与节点i_next相邻的节点i，当节点i在集合cmty_confir中，并且节点i未被标记为核心节点时，将节点i重新划分社区归属，在node_map中标记节点i的社区标号为当前的cmty_total值，即与节点i_next在同一社区中。

步骤8：判断所有与当前所构建社区的核心节点相邻的节点是否都确认了归属社区，若是，执行步骤9，若否，转步骤5执行。

步骤9：更新社区总数cmty_total：cmty_total＝cmty_total+1。

步骤10：判断集合cmty_non中是否还存在未确认归属社区的节点，若存在，则取当前集合cmty_non中度最大的节点i_next；若不存在，则当前网络中所有的节点都已经确认了归属社区，结束本方法。

步骤11：将节点i_next标记为社区编号为cmty_total的社区的核心节点，将节点i_next从集合cmty_non中删除，并加入到集合cmty_confir中；将编号为cmty_total的社区作为当前所要构建的社区，转步骤4执行。

例如，在构建完第一个社区以后，当前集合cmty_non中度最大的节点i_next设置为下一社区即第二个社区的核心节点，第二个社区的编号为1，在node_map中记录所在社区编号为1。当前所有构建的社区的编号与当前社区总数cmty_total的值相同。

本发明在仿真实验中表现出了良好的聚类性能：

图2显示了在数据集“Political Blogs”中，使用本发明聚类方法及FN聚类方法进行聚类的效果对比图，使用Conductance和Expansion函数对聚类效果进行评价的结果。Conductance和Expansion的定义如下：

Conductance：

Expansion：

其中，c_S表示簇S内节点与簇S外节点连边的总数；m_S表示簇S内的连边总数；n_S表示簇S内的节点总数。两个评价函数的函数值越低，说明聚类精度越高、效果越好。

“Political Blogs”数据集属于社会系统中的政治博客复杂网络，节点和边具有社会意义。“Political Blogs”数据集规模大，节点数量与连边数据量大，节点间连接关系紧密复杂，其基本参数如表2所示。

表2Political Blogs数据集属性

属性	描述	数值
			Number of nodes	网络中节点总数量	1222
Average clustering coefficient	平均聚类效率	0.3203
			Number of edges	网络中总边数	16717
Diameter	网络直径	8
			Number of triangles	网络中节点呈三角形连边关系的总数目	101043
Average shortest path length	平均最短路径	2.7375

图2中的(a)和(b)中的横坐标标识聚类规模，纵坐标分别表示对应聚类规模下的Conductance值和Expansion值。

通过图2的(a)统计出的数据可计算出，本发明聚类方法的Conductance平均值为0.649960，而FN聚类方法的Conductance平均值为0.802279。虽然当社区规模比较小的时候，采用FN聚类方法效果要好，但是可以看出随着社区规模的增大，采用本发明聚类方法进行聚类的效果逐渐好于采用FN聚类方法聚类的效果。本发明聚类方法的Conductance值在82.57％的情况下比FN聚类方法低。

通过图2的(b)统计出的数据可计算出，本发明聚类方法的Expansion平均值为9.466124，而FN聚类方法的Expansion平均值为16.379612。本发明聚类方法的Expansion值在85.61％的情况下比FN聚类方法低。通过该图可以发现，随着网络社区规模的增大，本发明聚类方法较FN聚类方法可以给出更好的分簇效果，能够更加真实的反映网络中簇的结构。

Claims (2)

1.一种基于节点核心影响力的复杂网络聚类方法，其特征在于，该方法包括如下步骤：

步骤1：首先设置两个集合cmty_non和cmty_confir，集合cmty_non中放置的是当前未确认归属社区的节点，集合cmty_confir中放置的是当前已确认归属社区的节点，然后统计整个网络中所有节点的总度数total_degree，按照节点度的大小降序排列所有节点，并将排列好的节点加入到集合cmtT_non中；

步骤2：选取当前排序后度最大的节点i_max，将其标记为第一个社区的核心节点，设置第一个社区的编号为0，将节点i_max从集合cmty_non中删除，并加入到集合cmty_confir中；

步骤3：设置社区总数cmty_total，当前社区编号为cmty_total的社区就是当前所要构建的社区，cmty_total的初始值为0；

步骤4：确定与当前所要构建的社区的核心节点相邻的节点；

步骤5：读取一个未确认归属社区的相邻节点i，判断该节点i是否已经加入到集合cmty_confir中，若否，执行步骤6，如是，执行步骤7；

步骤6：对节点i进行如下操作：(1)设置节点i的所属的社区编号为cmty_total，(2)从集合cmty_non中删除节点i，(3)将节点i加入至集合cmty_confir中；

步骤7：判断节点i是否被标记为核心节点，若是，则不作处理，执行步骤8；若否，则修改节点i的社区编号为cmty_total，然后执行步骤8；

步骤8：判断所有与当前所构建社区的核心节点相邻的节点是否都确认了归属社区，若是，执行步骤9，若否，转步骤5执行；

步骤9：更新社区总数cmty_total：cmty_total＝cmty_total+1；

步骤10：判断集合cmty_non中是否还存在未确认归属社区的节点，若存在，则取当前集合cmty_non中度最大的节点i_next；若不存在，则当前网络中所有的节点都已经确认了归属社区，结束本方法；

步骤11：将节点i_next标记为社区编号为cmty_total的社区的核心节点，将节点i_next从集合cmty_non中删除，并加入到集合cmty_confir中；将编号为cmty_total的社区作为当前所要构建的社区，转步骤4执行。

2.根据权利要求1所述的一种基于节点核心影响力的复杂网络聚类方法，其特征在于，所述的步骤2中设置有映射表node_map用于记录各节点到其所在社区编号的映射。

Images