CN104537126B - 一种基于边图随机游走的重叠社区发现方法 - Google Patents

Abstract

本发明提供一种基于边图随机游走的重叠社区发现方法，主要包括以下步骤：1)根据网络中成员的关系，构建一个相互连接的无向图G，由图G的关联矩阵B可得到有权边图LG的权值矩阵H，有权边图LG中的节点为初始无向图G中的边。2)在有权边图LG上进行长度为T的随机游走，初始转移概率矩阵P根据权值矩阵H得到，无向图G中边之间的相似度为T步内转移概率之和，再将相似度转化为距离，聚类产生边社区。3)定义节点受到边社区的吸引度，找出边社区之间的边缘节点，根据吸引度的阈值δ可对边缘节点划分，最后检测到允许节点重叠的社区。本发明方法简单易行，并且通过调整阈值δ能发现不同重叠程度的社区。

Description

一种基于边图随机游走的重叠社区发现方法

技术领域

本发明属于复杂网络领域，具体涉及一种基于边图随机游走的重叠社区发现方法。

背景技术

在网络理论的研究中，复杂网络是由数量巨大的节点和节点之间错综复杂的关系共同构成的网络结构。用数学的语言来说，就是一个有着足够复杂的拓扑结构特征的图。现实世界中包含着各种类型的复杂网络，如社会网络(朋友关系网络及合作网络等)、技术网络(万维网以及电力网等)、生物网络(神经网络、食物链网络以及新陈代谢网络等)。人以群分，物以类聚，社区是社会网络一个非常重要的特征。社区是从一个中观的角度来研究网络，它分析的不是每一个节点的特性，而是网络中的某一部分的特性。往往社区内部成员之间会存在大量的信息和行为的交互，而社区之间的交互就会比较少。

传统的社区发现算法，大多是将网络的节点划分到某一个社区里，它认为每个成员在社区中地位或作用是平等的。然而，真实的网络中某些节点可能同时属于多个社区，这些重叠节点在社区之间的交互中起着一定的连接作用。例如，一个人同时属于几个社区：其中一个是工作中的同事圈，一个是关于家庭的亲人圈，还有同一兴趣爱好的朋友圈等等。节点的多尺度特性决定了节点属于的社区数，因而发现这些重叠的节点对于研究整个网络的结构有重要意义。于是，这种重叠社区发现方法就很好的突破传统方法的局限性，可以更有效地展示出网络潜在的社区结构。

但目前的重叠社区发现或聚类方法，存在以下问题：(1)目前基于距离的聚类方法都只考虑了当前状态下的网络结构状态，没有考虑时间的变化；(2)大多数的方法仅仅考虑节点的属性，忽略了边对社区的影响。

发明内容

本发明的目的在于提供一种基于边图随机游走的重叠社区发现方法，可以发现无向网络中的重叠社区。

为实现上述目的，本发明所述的重叠社区发现方法包括以下三大步骤：

步骤1)，计算有权边图LG的权值矩阵H，具体步骤如下：

步骤1-1)根据复杂网络中成员与成员之间的关系构建一个相互连接的无向图G＝(V，E)，V代表成员节点的集合，E代表成员间的边集合。假定网络图中总的节点数为N,边数为M。A＝[a_ij]为无向图G的邻接矩阵，若节点i与节点j 相连，则a_ij＝1，反之a_ij＝0；W＝[w_ij]则为无向图G的权值矩阵，其中w_ij表示无向边(i，j)的权值。节点i的强度si等于与节点i相连的所有边的权值之和，即 s_i＝∑_jw_ij。若网络为无向无权图，则W＝A，每条边权值为1。

步骤1-2)对无向图G中的边进行编号，并记录连接关系及权值，建立图G 的关联矩阵B。关联矩阵B＝[b_iα]是一个N×M的矩阵，元素b_iα计算公式为：

步骤1-3)构建有权边图LG，计算其权值矩阵H。有权边图LG中M个节点代表初始无向图G的M条边,两点之间的边表示无向图G中相应的两条边有公共顶点。其权值矩阵H＝[h_αβ]是一个M×M的矩阵，可以通过关联矩阵B计算得到，计算公式为：

其中，节点的强度s_i＝∑_jw_ij＝∑_αb_iα。权值矩阵H是一个对称矩阵且含有自环，表明随机游走者不仅仅可以进行边到边的游走，还可以在一条边的两个端点间游走，更符合实际情况。

步骤2)，在有权边图LG上进行随机游走，计算LG中节点之间的距离D，聚类获得边社区C_L，具体步骤如下：

步骤2-1)在有权边图LG上进行长度为T的随机游走，计算并记录每一步t (1≤t≤T)的转移概率。其中，一步转移概率矩阵P＝[p_αβ]由权值矩阵H计算而得，计算公式为：

步骤2-2)对T步内的转移概率进行累加,得到无向图G中任意两边的相似度σ_αβ，

其中，[P^t]_αβ表示从边α出发经过t步到达边β的转移概率。

步骤2-3)对相似度进行归一化处理，得到无向图G中任意两边的距离d_αβ，

步骤2-4)根据average-linkage聚类方法对距离进行处理，生成一个有层次的树状图。设定社区数目为q，则可将网络的边划分成q个子集，即边社区 C_L＝{P₁，…，P_q}。

随机游走的长度T是一个经验值，当取T＝1时，则边图LG中只有相邻节点对之间的相似度非零；当T增大时，节点之间的相似度发生相应的变化。不同的 T值会产生不同的聚类树，可以利用最大化共表型相关系数C来得到合适的T，C 的定义如下，

其中，d_ij为D中i到j的距离，z_ij为链接聚类产生的i到j的cophenetic距离，分别为它们的平均值。

步骤3)，将边社区转化为节点社区。

C_L＝{P₁，…，P_q}表示网络的边被划分成的q个边社区，我们可以定义网络中的节点u受到来自边社区P_c(1≤c≤q)的吸引度为：

其中，(u，v)表示初始图的一条边，u，v是该边的两个端点，s_u＝∑_vw_uv为节点u的强度，表示边社区P_c内含有端点u的边的权值之和。吸引度表示边社区P_c内含有端点u的边的权值之和占节点u的强度的比例，若吸引度越大，则表示节点u被边社区P_c吸引的程度越强烈。根据定义可知当时代表u与P_c没有吸引，即u与_Pc之间不存在连接；当时代表u完全被P_c吸引，即u在P_c内部。所以，我们只要考虑处于边社区之间的边缘节点受到的吸引度，就可以把边社区转化成节点社区，方法如下：

步骤3-1)找出边社区之间的边缘节点，边缘节点(edge node)的表达式如下：

edge_node＝{u|{(u，v)，(u，w)}∈E，(u，v)∈Pc，(u，ω)∈Pd，1≤c＜d≤q}

其中，(u，v)和(u，w)分别代表属于不同边社区的边，u，v，w代表不同的节点；

步骤3-2)边缘节点可以是重叠节点，为了避免重叠节点数目过多，我们利用边缘节点受到的吸引度来调节重叠节点的数目。

若边缘节点u受到的最大吸引度I_max来自于边社区P_m(1≤m≤q)，它满足条件：

且P_m唯一，

则将边缘节点u纳入边社区P_m，反之，边缘节点u仍为重叠节点。

阈值δ的范围为[0，1]，δ越小，条件越容易满足，重叠节点数目减少的越多；相反δ越大，条件越难满足，重叠节点数目减少的越少。通常取δ＝1/2，即边缘节点受到的唯一最大吸引度大于0.5，则边缘节点可纳入对应的社区。若为无向无权图，则表示与边缘节点u相连的边有一半都在这个边社区里。

大部分节点都被纳入边社区C_L，小部分不能纳入的成为重叠节点，最终发现的社区是允许节点重叠的。

所述的步骤2-2)中，无向图G中边之间的相似度是通过计算基于边图随机游走T步的转移概率并累加得到的。

所述的步骤步骤3-2)中，通过调整吸引度的阈值δ，获得重叠程度不同的社区。

本发明具有以下有益效果：

本发明所述的社区发现方法适用于无向网络，并且可以是有权的无向网。本发明方法首先将初始无向图G转化成有权边图LG，然后在边图LG上进行T步随机游走，统计每一步的转移概率并进行累加得到初始无向图中任意两边的相似度。将相似度进一步转化成距离，根据距离聚类得到边社区C_L。最后，根据边缘节点受到边社区的 吸引度对其进行划分，通过控制吸引度的阈值δ可以得到不同重叠程度的节点社区。本发明方法重点考虑了边对网络划分的影响，利用随机游走考虑了网络的时间变化，并定义了边社区对节点的吸引度，可以发现不同重叠程度的社区，适应性强。

附图说明

图1为本发明实例获取社区结构的简单过程示意图，A为一简单无向无权图， B为由A得到的有权边图，C为对边图中的节点进行聚类得到的两个边社区示意图，D为根据边图中的边社区映射到无向无权图的节点社区示意图；

图2为本发明在社会网络Zachary’s karate club应用结果；

图3为本发明在社会网络Dolphins应用结果；

图4为本发明与三种相关的重叠社区方法的比较结果示意图。

具体实施方式

下面结合附图对本发明作进一步描述。

为实现上述目的，本发明所述的重叠社区算法包括以下三大步骤：

步骤1)，计算有权边图LG的权值矩阵H，具体步骤如下：

1-1)根据复杂网络中成员与成员之间的关系构建一个相互连接的无向图 G＝(V，E)，V代表成员节点的集合，E代表成员间的边集合。假定网络图中总的节点数为N,边数为M。A＝[a_ij]为无向图G的邻接矩阵，若节点i与节点j相连，则a_ij＝1，反之a_ij＝0；W＝[w_ij]则为无向图G的权值矩阵，其中w_ij表示无向边(i，j)的权值。节点i的强度si等于与节点i相连的所有边的权值之和，即 s_i＝∑_jw_ij。若网络为无向无权图，则W＝A，每条边权值为1。

步骤1-2)对无向图G中的边进行编号，并记录连接关系及权值，建立图G的关联矩阵B。关联矩阵B＝[b_iα]是一个N×M的矩阵，元素b_iα表示边α占节点i强度的大小，计算公式为：

步骤1-3)构建有权边图LG，计算其权值矩阵H。有权边图LG中M个节点代表初始无向图G的M条边,两点之间的边表示无向图G中相应的两条边有公共顶点。其权值矩阵H＝[h_αβ]是一个M×M的矩阵，通过关联矩阵B计算得到，计算公式为：

其中，节点的强度s_i＝∑_jw_ij＝∑_αb_iα。权值矩阵H是一个对称矩阵且含有自环，表明随机游走者不仅仅可以进行边到边的游走，还可以在一条边的两个端点间游走，更符合实际情况。

步骤2)，在有权边图LG上进行随机游走，计算LG中节点之间的距离D，聚类获得边社区C_L，具体步骤如下：

步骤2-1)在有权边图LG上进行长度为T的随机游走，计算并记录每一步t (1≤t≤T)的转移概率。其中，一步转移概率矩阵P＝[p_αβ]由权值矩阵H计算而得，计算公式为：

步骤2-2)对T步内的转移概率进行累加,得到无向图G中任意两边的相似度σ_αβ，

其中，[P^t]_αβ表示从边α出发经过t步到达边β的转移概率。

步骤2-3)对相似度进行归一化处理，得到无向图G中任意两边的距离d_αβ，

其中，max σ_αβ，min σ_αβ分别表示最大和最小的距离。

步骤2-4)根据average-linkage聚类方法对距离进行处理，可生成一个有层次的树状图。设定社区数目为q，则可将网络的边划分成q个子集，即边社区 C_L＝{P₁，…，P_q}。

随机游走的长度T是一个经验值，当取T＝1时，则边图LG中只有相邻节点对之间的相似度非零；当T增大时，节点之间的相似度发生相应的变化。不同的 T值会产生不同的聚类树，可以利用最大化共表型相关系数c来得到合适的T， c的定义如下，

其中，d_ij为D中i到j的距离，z_ij为聚类方法产生的i到j的cophenetic距离，分别为它们的平均值。

步骤3)，将边社区转化为节点社区。

C_L＝{P₁，…，P_q}表示网络的边被划分成的q个边社区，我们可以定义网络中的节点u受到来自边社区P_c(1≤c≤q)的吸引度为：

其中，(u，v)表示初始图的一条边，u，v是该边的两个端点，s_u＝∑_vw_uv为节点u的强度，表示边社区P_c内含有端点u的边的权值之和。吸引度表示边社区P_c内含有端点u的边的权值之和占节点u的强度的比例，若吸引度越大，则表示节点u被边社区P_c吸引的程度越强烈。根据定义可知当时代表u与P_c没有吸引，即u与P_c之间不存在连接；当时代表u完全被P_c吸引，即u在P_c内部。所以，我们只要考虑处于边社区之间的边缘节点受到的吸引度，就可以把边社区转化成节点社区，方法如下：

步骤3-1)找出边社区之间的边缘节点，边缘节点(edge node)的表达式如下：

edge_node＝{u|{(u，v)，(u，w)}∈E，(u，v)∈P_c，(uw)∈P_d，1≤c＜d≤q}

其中，(u，v)和(u，w)分别代表属于不同边社区的边，u，v，w代表不同的节点。

步骤3-2)边缘节点可以是重叠节点，为了避免重叠节点数目过多，我们利用边缘节点受到的吸引度来调节重叠节点的数目。

若边缘节点u受到的最大吸引度I_max来自于边社区P_m(1≤m≤q)，它满足条件：且P_m唯一，

则将边缘节点u纳入边社区P_m，反之，边缘节点u仍为重叠节点。阈值δ的范围为[0，1]，δ越小，条件越容易满足，重叠节点数目减少的越多；相反δ越大，条件越难满足，重叠节点数目减少的越少。通常取δ＝1/2，即边缘节点受到的唯一最大吸引度大于0.5，则边缘节点可纳入对应的社区。若为无向无权图，则表示与边缘节点u相连的边有一半都在这个边社区里。

大部分节点都被纳入边社区C_L，小部分不能纳入的成为重叠节点，最终发现的社区是允许节点重叠的。

实施例1

参考图1为本发明方法一个简单应用实例的基本过程示意图。图1A为一个有5个节点，6条边的无向无权图；图1B是由图1A转化成的有权边图，三角形节点代表无向无权图中的边，权值由公式2计算得到，图中节点含有自环，表明游走者可在三角形节点停留，即无向无权图中一条边的两个端点间游走；图1C 为在有权边图进行一步随机游走，聚类后得到的两个边社区，三角形节点1,2,3 是一个边社区，4,5,6是另一个边社区；图1D为由边社区映射到初始无向无权图的节点社区，此时节点3受到来自两个边社区的吸引度均为1/2，所以节点 1,2,3是一个社区，3,4,5是另一个社区，节点3为两个社区的重叠节点。

实施例2

参考图2为本发明方法对Zachary’s karate club网络的处理结果。设定随机游走的长度T＝1，图中两种灰度的边表示所划分的边社区，方块和圆表示所划分的两个节点社区，六边形则表示重叠部分。图2A为δ＝1时，边缘节点 1,2,3,34都是重叠节点；图2B是设定δ＝1/2后，边缘节点1,2,34被纳入了对各自吸引度最大的边社区，只剩下节点3为重叠节点。实验结果与真实情况比较，除重叠节点外的其他节点均划分正确。

实施例3

参考图3为本发明方法对Dolphins网络的处理结果。设定随机游走的长度 T＝2，图中两种灰度的边表示所划分的边社区，用黑色和白色圆圈表示划分的两个节点社区，灰色的六边形节点为重叠部分。图3A为δ＝1时，边缘节点

2,31,41,58都是重叠节点；图3B是设定δ＝1/2后，所有的边缘节点都被纳入到相应的最大吸引度的边社区。实验结果显示，最后的节点划分与真实的分裂情况完全一致。

实施例4

参考图4为本发明方法与其他几种相关方法进行比较的结果。首先，重叠模块度Q_ov的定义如下：

其中，m为网络的总边数，C_l表示所划分的社区，O_i(Oj)表示节点i(j)所属社区的数目，a_ij为网络邻接矩阵的元素，k_i(k_j)表示节点i(j)的度。Q_ov是模块度 Q的一个扩展，当任意一个节点i都满足O_i＝1时，Q_ov等于Q。

实验比较了四种算法：MCLC(本发明方法)、CPM、Link、CNM_IC，共使用了五个真实网络数据集，分别是karate、Dolphins、Polbooks、Football、 Email网络。进行多次实验，取最大的重叠模块度进行比较。结果显示本发明的方法(MCLC)在五个网络中的表现都比较好，尤其是在Dolphins、Football、 Email网络中，重叠模块度Q_ov是四个算法里最高的。

Claims (3)

1.一种基于边图随机游走的重叠社区发现方法，其特征在于包括以下步骤：

步骤1)，计算有权边图LG的权值矩阵H，具体步骤如下：

步骤1-1)根据复杂网络中成员与成员之间的关系构建一个相互连接的无向图G＝(V，E)，V代表成员节点的集合，E代表成员间的边集合；假定网络图中总的节点数为N,边数为M，A＝[a_ij]为无向图G的邻接矩阵，若节点i与节点j相连，则a_ij＝1，反之a_ij＝0；W＝[w_ij]则为无向图G的权值矩阵，其中w_ij表示无向边(i，j)的权值；节点i的强度s_i等于与节点i相连的所有边的权值之和，即s_i＝∑_jw_ij；若网络为无向无权图，则W＝A，每条边的权值为1；

步骤1-2)对无向图G中的边进行编号，并记录连接关系及权值，建立无向图G的关联矩阵B；关联矩阵B＝[b_iα]是一个N×M的矩阵，元素b_iα表示边α占节点i强度的大小，计算公式为：

步骤1-3)构建有权边图LG，计算其权值矩阵H：有权边图LG中M个节点代表无向图G的M条边,两点之间的边表示无向图G中相应的两条边有公共顶点；其权值矩阵H＝[h_αβ]是一个M×M的矩阵，通过关联矩阵B计算得到，计算公式为：

其中，节点的强度s_i＝∑_jw_ij＝∑_αb_iα；权值矩阵H是一个对称矩阵且含有自环，表明随机游走者不仅仅可以进行边到边的游走，还可以在一条边的两个端点间游走，更符合实际情况；

步骤2)，在有权边图LG上进行随机游走，计算有权边图LG中节点之间的距离D，聚类获得边社区C_L，具体步骤如下：

步骤2-1)在有权边图LG上进行长度为T的随机游走，计算并记录每一步t的转移概率，1≤t≤T；其中，一步转移概率矩阵P＝[p_αβ]由权值矩阵H计算而得，计算公式为：

步骤2-2)对T步内的转移概率进行累加,得到无向图G中任意两边的相似度σ_αβ，

其中，[P^t]_αβ表示从边α出发经过t步到达边β的转移概率；

步骤2-3)对相似度进行归一化处理，得到无向图G中任意两边的距离d_αβ，

其中，maxσ_αβ，minσ_αβ分别表示最大和最小的距离；

步骤2-4)根据average-linkage聚类方法对距离进行处理，生成一个有层次的树状图；设定社区数目为q，将网络的边划分成q个子集，即边社区C_L＝{P₁，...，P_q}；

随机游走的长度T是一个经验值，当取T＝1时，则边图LG中只有相邻节点对之间的相似度非零；当T增大时，节点之间的相似度发生相应的变化；不同的T值会产生不同的聚类树，利用最大化共表型相关系数来得到合适的T，的定义如下，

其中，d_ij为D中i到j的距离，z_ij为聚类方法产生的i到j的cophenetic距离，分别为它们的平均值；

步骤3)，将边社区转化为节点社区；

C_L＝{P₁，...，P_q}表示网络的边被划分成的q个边社区，定义网络中的节点u受到来自边社区P_C的吸引度为：

其中，(u，v)表示初始无向图G的一条边，u，v是该边的两个端点，s_u＝∑_vw_uv为节点u的强度，表示边社区P_c内含有端点u的边的权值之和；吸引度表示边社区P_c内含有端点u的边的权值之和占节点u的强度的比例，若吸引度越大，则表示节点u被边社区P_c吸引的程度越强烈；根据定义可知当时代表u与P_c没有吸引，即u与P_c之间不存在连接；当时代表u完全被P_c吸引，即u在P_c内部；只要考虑处于边社区之间的边缘节点受到的吸引度，就能将边社区转化成节点社区，方法如下：

步骤3-1)找出边社区之间的边缘节点，边缘节点的表达式如下：

edge-node＝{u|(u，v)∈P_c，(u，w)∈P_d，l≤c＜d≤q}

其中，(u，v)和(u，w)分别代表属于不同边社区的边，u，v，w代表不同的节点；

步骤3-2)为了避免重叠节点数目过多，利用边缘节点受到的吸引度来调节重叠节点的数目；

若边缘节点u受到的最大吸引度I_max来自于边社区P_m，1≤m≤q，它满足条件

且P_m唯一，

则将边缘节点u纳入边社区P_m，反之，边缘节点u仍为重叠节点；

阈值δ的范围为[0，1]，δ越小，条件越容易满足，重叠节点数目减少的越多；相反δ越大，条件越难满足，重叠节点数目减少的越少；通常取δ＝1/2，即边缘节点受到的唯一最大吸引度大于0.5，则边缘节点可纳入对应的社区；若为无向无权图，则表示与边缘节点u相连的边有一半都在这个边社区里；

大部分节点都被纳入边社区C_L，小部分不能纳入的成为重叠节点，最终发现的社区是允许节点重叠的。

2.根据权利要求1所述的基于边图随机游走的重叠社区发现方法，其特征在于：所述的步骤2-2)中，无向图G中边之间的相似度是通过计算基于边图随机游走T步内的转移概率并累加得到的。

3.根据权利要求1所述的基于边图随机游走的重叠社区发现方法，其特征在于：所述的步骤3-2)中，通过调整吸引度的阈值δ，获得重叠程度不同的社区。