CN103164533B

CN103164533B - 基于信息理论的复杂网络社团检测方法

Info

Publication number: CN103164533B
Application number: CN201310120905.8A
Authority: CN
Inventors: 李永立; 吴冲; 王子政; 郑宇宁
Original assignee: Harbin Institute of Technology
Current assignee: Optical Valley Technology Co.,Ltd.
Priority date: 2013-04-09
Filing date: 2013-04-09
Publication date: 2016-07-06
Anticipated expiration: 2033-04-09
Also published as: CN103164533A

Abstract

基于信息理论的复杂网络社团检测方法，涉及一种基于信息理论发现复杂网络中社团结构的方法。本发明的检测方法包括如下步骤：步骤A、对网络节点进行编号，根据网络的结构和权重信息，制作该网络的概率矩阵；B、根据信息理论的方法得到合并两点为一个社团时的信息损失；C、找到信息损失最小的两个节点进行合并，并更新原有网络的社团结构；D、计算更新结构后网络的模块度系数；E、重复B、C和D的过程，直到社团个数为1；F、找出最大的模块度系数对应的社团数及相应的社团结构。本方法的有益效果是结果客观、稳定，可用于含有权重的网络结构，有严格的社团数选取标准，计算耗时少，适用于大规模网络。

Description

基于信息理论的复杂网络社团检测方法

技术领域

本发明属于数据处理和复杂网络技术领域，涉及一种基于信息理论发现复杂网络中社团结构的方法。

背景技术

当今时代，以互联网为代表的信息技术的迅猛发展使人类社会迅速步入了网络时代。在计算机世界中复杂网络无处不在，同样在现实世界中，也到处可以看到复杂网络（complexnetwork）的身影，从城市公路网络到航空航线网络，从超大规模集成电路到大型电力网络，无一不是复杂网络的具体表现。复杂网络还可以用来描述人与人之间的社会关系，论文之间的引用关系等等。复杂网络已经成为当前最重要的多学科交叉领域之一。Boccara对复杂网络给出了一个明确的定义：如果某些网络的组成部分的表现行为已经被了解，但是由于缺乏足够的科学知识而无法预测这些网络的整体行为，则称这些网络为复杂网络。科学家们通过统计的方法发现，复杂网络具有社团属性的现象。

许多实际网络中都有社团结构的存在，即整个网络包含若干个“社团（community）”。虽然对网络的社团还没有一个形式化的定义，但是社团的一个比较直观的表现是：社团是网络中的结点以及由这些结点之间所连接的边组成的结构，网络社团结构具有相同社团结点互相连接紧密，不同社团节点之间连接稀疏的特点。复杂网络社团的检测方法旨在揭示出复杂网络中真实存在的社团结构。

现有技术提出了复杂网络社团结构的探测方法，例如201010613184.0、201010165418.X和201210154812.2，这些方法基本都是从网络节点的度出发讨论社团结构的检测问题，但是，这些方法存在一些不足，其一是算法的复杂度往往过高，难以满足大规模网络的运算需要；其二，对于最优的社团数目，并没有特别明确的指标予以判别；其三，所得到的结果可能是不稳定的，即对于原有的网络，一些微小连接的改变可能导致结果发生巨大的变化。这些不足将可能限制其在工程应用中功能的发挥，需要新的技术方案予以弥补。

发明内容

为了更好地处理网络的社团检测问题，使得其对于有权重的网络也是适用的，本发明旨在提出一种基于信息理论的网络社团划分方法，使之可以处理一大类含有权重的网络社团检测问题，并具有较好的社团结构检测效果，是一种新的和高效的处理关联数据的技术，以期更好地为生产和生活实践服务。

为达到以上的目的和实践需要，本发明“基于信息理论的网络社团检测方法”采用如下的技术方案实现，共分为六个步骤：

A、根据网络的结构和权重信息，对其节点编号，得到该网络的概率矩阵：

该概率矩阵具体的制作方法为：

设定一个网络中有n个节点，对其进行1到n的编号，得到一个n×n的概率矩阵，第i行和第j列上的元素p(i,j)为：；当时，w_ij表示节点i和节点j之间的权重，当时，w_ij表示表示节点i的度。

B、在以上处理技术的基础上，根据信息理论的方法得到合并两点为一个社团时的信息损失：

假设u和v为网络中的两个节点，且，，合并第u和第v个节点后造成的信息损失为：

，

其中，是合并后的条件概率，计算为：

。

C、在以上计算结果的基础上，找到信息损失最小的两个节点进行合并，并更新原有网络的节点集：

该方案的具体过程如下：

比较两两节点间的信息损失，找到最小的两个节点进行合并，形成一个新的节点，从原有的节点集中删除这两个节点，加入这两个节点合并后形成的新的节点，更新原有网络的节点集。

D、根据更新后的节点集，计算网络的模块度系数，计算方法为：

，

其中，是第k个社团内部连接的权重和，是第k个社团所有包含的节点的权重和，是网络中全部节点的权重和，而是现有网络中的社团个数。

E、重复B、C和D的过程，直到社团个数为1。

F、比较以上计算出的Q值，最大的那个Q值对应的社团数及相应的社团结构即为该数据处理技术检测到的最优社团结构。

本发明的基于信息理论的复杂网络社团检测技术将信息理论的原理引入网络社团检测的方法之中，并使用模块度最为选择最优社团数的标准，使得社团发现有着较为客观的标准可以依据，这是现有的网络社团检测方法所不具备的特征；同时，该方法相比于现有的社团检测方法，可以用于有权重的网络结构，过程简单，具有较低的算法复杂度，在计算机中的运算过程更快，可以适用于大规模的网络社团检测问题。与现有技术相比较，具有如下有益效果：

（1）运用了信息理论的相关方法，将社团检测过程视为一个信号传输的过程，从信息损失的角度设计了社团检测的技术，这是现有的相关专利（如：201010613184.0，201010165418.X和201210154812.2）以及复杂网络社团检测方法所不具备的；从这一角度设计的社团检测技术结果更加客观，并且有着严格的最优社团数的选取标准，优于现有的相关技术；

（2）本发明设计的网络社团检测技术所检测出的社团较为稳定，这一点源自于信息理论信息传输的相关技术原理；

（3）基于本技术的数据处理过程运算量较小，可以适用于大规模数据的处理，是适用较为广泛的一种处理关联数据的技术。

附图说明

图1是具体实施方式二中具有6个节点的含有权重的网络结构图。

具体实施方式

下面将结合附图对本发明作进一步的说明，但并不局限如此，凡是对本发明技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，均应涵盖在本发明的保护范围中。

具体实施方式一：本实施方式“基于信息理论的网络社团检测方法”采用如下的技术方案实现，共分为六个步骤：

该概率矩阵具体的制作方法为：

设定一个网络中有n个节点，对其进行1到n的编号，当时，w_ij表示节点i和节点j之间的权重，当时，w_ij表示节点i的度，注意到当网络给定时，这个权重是确定的；由此可以得到一个n×n的概率矩阵，第i行和第j列上的元素p(i,j)为：

，

明显这个矩阵是对称矩阵，有。

以合并第u和第v个节点为例(，)，其合并后造成的信息损失为：

，

其中，是合并后的条件概率，可计算为：

。

该方案的具体过程如下：

首先，比较两两节点间的信息损失，找到最小的两个节点进行合并。比如节点u和v合并为{u,v}，从原有的节点集中删除节点u和v，加入新的节点（或称为社团）{u,v}。注意到一个节点也可以称为社团，这时社团由一个节点构成。

，

E、重复B、C和D的过程，直到社团个数为1。

F、比较以上计算出的n个Q值，最大的那个Q值对应的社团数及相应的社团结构即为该数据处理技术检测到的最优社团结构。

具体实施方式二：本实施方式与具体实施方式一不同的是，按照本发明的基于信息理论的复杂网络社团检测方法，在如图1所示的具有6个节点并含有权重的网络中，逐一执行本检测方法的步骤，得到如下的结果：

A、根据网络的结构和权重信息，对其节点编号，在执行完节点编号的任务后（具体编号情况见图1），按照发明内容中的A步骤，制作得到的概率矩阵如下：

。

B、根据信息理论的方法得到合并两点为一个社团时的信息损失，则6个节点两两之间合并的信息损失矩阵如表1所示：

表1节点两两之间合并的信息损失矩阵

节点对	信息损失	节点对	信息损失	节点对	信息损失
						(1,2)	0.01153	(2,3)	0.04127	(3,5)	0.28918
(1,3)	0.05153	(2,4)	0.28305	(3,6)	0.30427
						(1,4)	0.26556	(2,5)	0.35000	(4,5)	0.06107
(1,5)	0.32361	(2,6)	0.37380	(4,6)	0.04976
						(1,6)	0.34483	(3,4)	0.19646	(5,6)	0.00993

C、由表1可知，节点5和6合并的信息损失最小，对这两个节点进行合并，得到社团{5,6}，将节点5和6从原有网络中删除，加入新的点（社团）{5,6}。

D、计算这时网络的模块度系数为0.01125。

E、重复B、C和D的过程，得到每步的社团结构及模块度系数如下：

第二次合并发生前信息损失最小的社团是：｛1｝和｛2｝，其信息损失为：0.01153，因此对其进行合并。合并后的社团网络结构分布情况为：｛1，2｝｛3｝｛4｝｛5，6｝。此时m=4，Q=0.15875。

第三次合并发生前信息损失最小的社团是：｛1，2｝和｛3｝，其信息损失为：0.04127，因此对其进行合并。合并后的社团网络结构分布情况为：｛1，2，3｝｛4｝｛5，6｝。此时m=3，Q=0.31125。

第四次合并发生前信息损失最小的社团是：｛4｝和｛5，6｝，其信息损失为：0.04976，因此对其进行合并。合并后的社团网络结构分布情况是｛1，2，3｝，｛4，5，6｝。此时m=2，Q=0.44875。

第五次合并发生前信息损失最小的社团是：｛1，2，3｝和｛4，5，6｝，其信息损失为0.30427，因此对其进行合并。合并后的社团网络结构分布情况是｛1，2，3，4，5，6｝。此时m=1，Q=0。

合并过程结束。

F、比较发现，以上第四次合并时的模块度系数最大，所以检测发现的社团结构为｛1，2，3｝，｛4，5，6｝；最优的社团数为2。

Claims

1.基于信息理论的复杂网络社团检测方法，其特征在于所述复杂网络社团检测方法包括如下步骤：

A、根据网络的结构和权重信息，对其节点编号，得到该网络的概率矩阵，所述概率矩阵具体的制作方法为：

设定一个网络中有n个节点，对其进行1到n的编号，得到一个n×n的概率矩阵，第i行和第j列上的元素p(i，j)为：当i≠j时，w_ij表示节点i和节点j之间的权重，当i＝j时，w_ij表示表示节点i的度；

B、根据信息理论的方法得到合并两点为一个社团时的信息损失，具体步骤为：

假设u和v为网络中的两个节点，且1≤u，v≤n，u≠v，合并第u和第v个节点后造成的信息损失ΔI(u，v)为：

Δ I (u, v) = p (u) Σ_{j = 1}^{n} p (j | u) \cdot \log \frac{p (j | u)}{p (j | {u, v})} + p (v) Σ_{j = 1}^{n} p (j | v) \cdot \log \frac{p (j | v)}{p (j | {u, v})},

其中，p(j|{u，v})是合并后的条件概率，计算为：

p (j | {u, v}) = \frac{p (u)}{p (u) + p (v)} p (j | u) + \frac{p (v)}{p (u) + p (v)} p (j | v);

C、找到信息损失最小的两个节点进行合并，并更新原有网络的节点集；

Q = Σ_{k = 1}^{m} [\frac{L_{k k}}{L} - {(\frac{D_{k}}{2 L})}^{2}],

其中，L_kk是第k个社团内部连接的权重和，D_k是第k个社团所有包含的节点的权重和，L是网络中全部节点的权重和，m是现有网络中的社团个数；

E、重复B、C和D的过程，直到社团个数为1；

F、比较以上计算出的Q值，最大的那个Q值对应的社团数及相应的社团结构即为检测到的最优社团结构。

2.根据权利要求1所述的基于信息理论的复杂网络社团检测方法，其特征在于所述步骤C的具体步骤如下：比较两两节点间的信息损失，找到最小的两个节点进行合并，形成一个新的节点，从原有的节点集中删除这两个节点，加入这两个节点合并后形成的新的节点，更新原有网络的节点集。