CN101344940A - 一种基于全局划分和局部扩展的网络重叠社团检测方法 - Google Patents

Abstract

本发明提出了一种基于全局划分和局部扩展的网络重叠社团结构检测方法，具体属Web和数据库技术领域。该方法引入了用种子结点来发现社团且允许不同的社团内有重复的结点，并利用全局信息来寻找种子结点，并从局部最优角度用随机行进方法来进行社团扩展。在随机行进中并不考虑当前要扩展的结点是否已经属于其它社团，得到的不同社团允许有重复的结点，有效预防了重要信息的丢失。

Description

一种基于全局划分和局部扩展的网络重叠社团检测方法

技术领域

本发明属Web和数据库技术领域，具体涉及一种基于全局划分和局部扩展的网络重叠社团结构检测方法。

背景技术

许多网络系统都表现了社团结构的特征，如社会网络和生物群落等，简要地说，社团是整个网络中那些联系相对紧密的结点的集合。近年来，社团结构识别技术引起了物理、应用数学和计算机科学等领域的广泛关注。

已经提出的方法大都关注地是网络的划分，应用最小割边划分原则把网络结构划分成几个不相交的子网络。许多方法的检测规则是网络中的每个结点最多只能划分到一个社团，基于这样的规则，就无法找到有重叠结点的社团。这样的划分有时是不合理的，因为在现实生活中的很多情况下重叠结点是很有必要的，比如在社会网络中，一个人因为代表不同的利益因而可以在不同的社团中充当不同的角色，如果我们要对社会网络进行划分，这个人在不同的社团中都应该存在。所以针对这种情形，应该提出新的方法来进行社团发现。

发明内容

本发明的目的在于提出了一种基于全局划分和局部扩展的网络重叠社团结构检测方法，该方法引入了用种子结点来发现社团且允许不同的社团内有重复的结点。

一种基于全局划分和局部扩展的网络重叠社团检测方法DOCS，它是这样实现的：

该方法引入了用种子结点来发现社团且允许不同的社团内有重复的结点，

具体步骤为：

第一步，我们应用谱划分方法生成种子集合，并用这些种子来产生重叠社团结构，这个经典方法从网路结构的全局角度和社团结构的全局属性来产生最优种子；

第二步，根据产生的种子，从局部最优角度对社团进行扩展。我们利用模块函数Q来衡量社团每一步要扩展的结点，对每一个扫描到的结点，我们计算此结点加入后对模块Q的贡献和模块间的重叠率，比较这两个衡量标准，我们给出一个定理来决定要加入和删除的结点；

第三步是社团扩展终止条件。当扫描的结点的规范化概率低于特定阈值时或社团间的重叠率超过用户的容许值时算法停止。

本发明利用全局信息来寻找种子结点，并从局部最优角度用随机行进方法来进行社团扩展，在随机行进中我们并不考虑当前要扩展的结点是否已经属于其它社团，所以我们得到的不同社团中允许有重复的结点，这样就可以预防重要信息的丢失。

附图说明

图1为描述一个新的结点被加入到候选社团的过程。

具体实施方式

1.与本发明有关的一些概念和定义。

【1】网络模型：

本发明中，网络可以建模成图G＝(V，E)，其中V是图中结点集合，E是图中边的集合。我们用A＝(A_ij)_n×n来表示网络关联矩阵，其中

我们用D＝(D_ij)_n×n来表示对角矩阵，其中D_ij＝∑_k A_ik，如果i＝j，其它情况下D_ij＝0。

矩阵A和D是基础矩阵，其它矩阵如拉普拉斯矩阵L和转换矩阵P都可由这两个矩阵得到，其中L＝D-A，P＝D^-1 A。

【2】边缘边(割)：

一个社团S的边缘边B(S)是这样的边，其中边的一个端点在S中，另一个端点在其它社团中，形式化定义如下：

$B\left(S\right)=\left\{\right\{u,v\left\}\right|\{u,v\}\∈E,u\∈S,v\∉S\},$

且|B(S)|表示社团S的割的大小。

【3】模块度：

如果网络被划分成P_k，其中k是划分的社团的个数，则模块度函数Q形式化定义如下：

$Q\left(P_k\right)=\underset{c=1}{\overset{k}{\mathrm{\Σ}}}[\frac{A(V_c,V_c)}{A(V,V)}-{\left(\frac{A(V_c,V)}{A(V,V)}\right)}^2],$

其中A(V′，V″)＝∑_{u∈V′，v∈V″}w(u，v)，w(u，v)是连接结点u，v的边的权重。定义中测量边在同一个社团c的概率，测量一个点至少在社团c中的边的概率。

【4】社团重叠率：

给定网络中的一个社团集合(C_i，…，C_j)，这个集合与社团C_i有重叠，则社团C_i的社团重叠率形式化定义如下：

$\mathrm{COR}\left(C_i\right)=\frac{|C_i\∩C_m|\∪\·\·\·\∪|C_i\∩C_j|}{\left|C_i\right|},$

其中COR是社团重叠率(Community Overlapping Rate)的缩写，|C_i|表示社团C_i中边的个数，|C_i⌒C_j|表示社团C_i和社团C_j中相同的边的个数。

针对本发明具体内容的说明：

【1】检测重叠社团结构的算法DOCS(Detecting Overlapping CommunityStructures)：

DOCS算法基于全局信息对社团进行划分并利用局部策略对社团进行扩展，算法分为三步。第一步，我们应用图的谱划分方法生成种子集合，并用这些种子来产生重叠社团结构的基础。第二步，根据产生的种子，从局部最优角度对社团进行扩展。我们利用模块度函数Q来衡量社团每一步要扩展的结点。对每一个扫描到的结点，我们计算此结点加入后对模块Q的贡献值和模块间的重叠率，比较这两个衡量标准，我们给出一个定理来决定要加入和删除的结点。第三步是社团扩展终止条件。当扫描的结点的概率低于特定阈值时或社团间的重叠率超过用户的容许值时算法就停止。DOCS算法利用全局划分的结果集作为产生社团结构的种子，大大减少了社团向关联不紧密结点扩展的概率，使我们能有效的发现重叠社团结构。当产生的社团中的总边数小于3时，我们去除这个种子，因为这样的社团种子无法显示目标社团的整体结构。

【2】DOCS算法社团扩展过程：

根据产生的种子结点，我们利用懒散的随机行走技术来进行社团扩展。扩展过程用时间t来度量。在每一步，我们对扫描到的结点按其规范化的概率降序排列，如果加入此结点能对候选社团的模块函数Q带来好的变化，则把此结点加入社团。图1给出了一个新的结点被加入到候选社团的过程。

连接种子内部结点的边成为内部种子连接，这些边的个数记为|IL|，种子团连向外部的边称为外部种子连接，这些边的个数记为|OL|。当要决定是否在社团中加入某结点时，这两种边影响模块函数Q的值。我们利用模块函数公式来计算模块度Q的值和相应的变化。

初始种子记为S，种子大小为|S|，割的大小为|B(S)|，则初始模块度Q的值为：

$Q_0=\frac{\left|S\right|}{\left|E\right|}-{\left(\frac{\left|S\right|+|B\left(S\right)}{\left|E\right|}\right)}^2,$

当加入一个新的邻居结点后，模块度为：

$Q^{\′}=\frac{\left|S\right|+\left|\mathrm{IL}\right|}{\left|E\right|}-{\left(\frac{\left|S\right|+|B\left(S\right)+|\mathrm{OL}\left|\right|}{\left|E\right|}\right)}^2,$

则模块度Q的改变值为：

$Q^{\′}-Q_0=\frac{\left|\mathrm{IL}\right|}{\left|E\right|}-\frac{2\left(\right|S|+|B\left(S\right)\left|\right)\×\left|\mathrm{OL}\right|+|{\mathrm{OL}|}^2}{{\left|E\right|}^2}.$

如果此改变值大于0，则此结点为由贡献结点，否则此结点为无贡献结点。局部最优扩展过程要选择有贡献的结点加入到社团中。当社团扩展到一定步数就到了随机行走的收敛时间。如果此时图是连通的，择结点度的概率收敛成统一静态分布Ψ_v，且结点度和Ψ_v的差值我们可以通过计算得到，通过这个差值，我们可以停止社团扩展过程并且可以安全去除一些具有低概率的结点。

以上是对本发明的描述而非限定，基于本发明思想的其它实施方式，均在本发明的保护范围之中。

Claims (3)

1、一种基于全局划分和局部扩展的网络重叠社团检测方法DOCS，该方法引入了用种子结点来发现社团且允许不同的社团内有重复的结点，

具体步骤为：

第一步，我们应用谱划分方法生成种子集合，并用这些种子来产生重叠社团结构，这个经典方法从网路结构的全局角度和社团结构的全局属性来产生最优种子；

第二步，根据产生的种子，从局部最优角度对社团进行扩展。我们利用模块函数Q来衡量社团每一步要扩展的结点，对每一个扫描到的结点，我们计算此结点加入后对模块Q的贡献和模块间的重叠率，比较这两个衡量标准，我们给出一个定理来决定要加入和删除的结点；

第三步是社团扩展终止条件。当扫描的结点的规范化概率低于特定阈值时或社团间的重叠率超过用户的容许值时算法停止。

2、根据权利要求1所述的DOCS算法，其特征在于：利用全局信息来寻找种子结点，并从局部最优角度用随机行走方法来进行社团扩展，在随机行进中我们并不考虑当前要扩展的结点是否已经属于其它社团，所以我们得到的不同社团中允许有重复的结点，这样就可以预防重要结构信息的丢失，

利用全局划分结果集作为产生社团结构的种子，大大减少了社团向关联不紧密结点扩展的概率，使我们能有效的发现重叠社团结构，

当产生的社团中的总边数小于3时，我们去除这个种子，因为这样的社团无法显示目标社团的整体结构。

3、根据权利要求1所述的DOCS算法，其特征在于：利用懒散随机行走技术来进行社团扩展，扩展过程用时间t来衡量，

在每一步，我们对扫描到的结点按其规范化的概率降序排列，如果加入此结点能对候选社团的模块函数Q带来好的变化，则把此结点加入社团，

局部最优扩展过程选择有贡献的结点加入到社团中，当社团扩展到一定步数就到了随机行走的收敛时间。如果此时图是连通的，择结点度的概率收敛成统一静态分布Ψ_v，且结点度和Ψ_v的差值我们可以通过计算得到，通过这个差值，我们可以停止社团扩展过程并且可以安全删除一些具有低概率的结点。

Images