CN104391889A - 一种面向有向-加权网络的社区结构发现方法 - Google Patents

Abstract

本发明提供了一种面向有向-加权网络的社区结构发现方法，包括以下步骤：基于节点间社会关系权值和方向构造有向-加权网络；将有向-加权网络转换为无向-加权网络；对网络拓扑结构进行初始化，构造权重矩阵；矩阵归一化，计算社区发现决策因子，具体包括：节点活跃度、社区关系强度、社区密度和社区耦合度；基于社区发现决策因子，划分网络社区；本发明方法可以在移动、异构、动态环境下快速发现和构造网络社区，为用户提供可信服务链路，实现移动感知服务的可信交互，进而提高移动感知服务效率，并最终为用户提供高质量、多样性、可定制的群智感知服务。

Description

一种面向有向-加权网络的社区结构发现方法

【技术领域】

本发明属于群智感知服务领域，特别涉及一种面向有向-加权网络的社区结构发现方法。

【背景技术】

社交网络的出现拓宽了网络的边界，使其与真实生活更加紧密地融合在一起，同时也赋予虚拟网络更多和真实社交环境极为相近的特性与特征，社区结构的存在就是比较典型的一个例子。在真实社交网络中，我们每个人都有自己的社会属性，比如职业、居住地或与他人亲缘关系等等，具有相同社会属性的人会建立更为紧密的社交关系。我们称这种群体内成员之间的社会关系值远大于群体内成员与群体外成员之间社会关系值的现象为存在社区结构，符合这样特性的群体则被称为社区。

相似地，社交网络中也有类似的现象，也存在社区结构。社区结构的意义在于能够帮助我们更加清晰的认识到人与人社交的本质。通过深入挖掘社交网络的社区结构，我们能够提供更为精准有效的移动感知服务。

目前已有很多关于社交网络中社区发现算法的研究。有针对全局整体的算法，如经典的GN算法和利用堆结构的贪婪算法，分析整个网络得到划分但是社交网络庞大带来巨大开销而且通常情况下其实只需要划分局部；也有针对局部的划分方式，如BB算法，时间空间复杂度都有降低但是因此也具有一定局限性。此外还有基于时序的算法，将互联网数据和时序数据相结合，进行区间模糊处理，基于边链接系数进行划分等等。但是大部分的算法都是基于无向无权图或者无向加权图的社会关系网进行研究的，而通过终端感知实际获取到的感知信息绘制成的网络是有向加权图，这方面成熟的算法还比较少。

【发明内容】

本发明的目的在于提出了一种面向有向-加权网络的社区结构发现方法，融合凝聚和搜索的思想，通过将有向图转换为无向图进行处理和分析。

为了实现上述目的，本发明采用入下技术方案：

一种面向有向-加权网络的社区结构发现方法，包括以下步骤：

步骤一：根据已知社会网络中节点集合N和不同节点边的方向权重w，构造有向-加权网络图G；

步骤二：将有向-加权网络图G转换为无向-加权网络图G'；

步骤三：对无向-加权网络图G'进行初始化：使用权重矩阵的形式存储无向-加权网络图G'中邻居节点及与邻居节点边的权重，得到权重矩阵A；

步骤四：对权重矩阵A进行归一化处理；

步骤五：计算社区发现决策因子：基于归一化后权重矩阵A，计算社区发现决策因子，包括节点活跃度，记为：H_i；社区关系强度，记为：I(S_k)；社区关系密度，记为：D(S_k)；社区耦合度，记为：F(S_k)；

步骤六：社区发现：从活跃度最大的节点开始作为初始社区的起点，依次计算加入社区外某节点后社区的耦合度F'，若存在节点j使得F'>F或F-F'<ε，则选择使F'-F最大或F-F'最小的节点加入该社区，并更新节点j的社区标号以及该社区的耦合度；

步骤七：社区发现终止条件判断：当社区加入任何节点都会使耦合度出现下降时，停止扩展该社区，认定该社区已稳定；选择活跃度次之的节点作为新社区的起点，重复步骤六，直到所有节点均判决完毕；

步骤八：孤立节点处理：寻找与孤立节点j在原始加权-有向图G中存在关联的节点集，从关联节点集中选择与孤立节点边权重差最小的节点作为其有效关联节点，并将该孤立节点加入该有效关联节点所属社区。

优选的，步骤二具体包括：节点i指向节点j的有向边的权值记为w_ij，节点j指向节点i的有向边的权值记为w_ji，简化后加权图中节点i和节点j之间无向边权值记为w_ij'或w_ji'；对于有向-加权网络图G中任意两个节点i和j，若去掉节点i和节点j之间的两条有向边；若则将两条有向边变为无向边，令其中，i、j表示社会网络中的节点，其中，i∈N，j∈N；S_k表示网络中的不同社区，其中k∈C，C为网络中社区数集合；w为节点间边的权重，节点i指向节点j的有向边的权值记为w_ij，节点j指向节点i的有向边的权值记为w_ji。

优选的，步骤三中使用权重矩阵的形式存储无向-加权网络图G'中邻居节点及与邻居节点边的权重，如下表示形式：A＝(a_ij)，其中a_ij＝a_ji＝w_ij'；

优选的，步骤四具体包括以下步骤：将矩权重阵A中的最大值即图中边的最大权值记为w_max，令A＝A÷w_max，对边权值进行归一化处理。

优选的，活跃度H_i的计算公式如下：

$H_i=\underset{j=1}{\overset{d_i}{\mathrm{\&Sigma;}}}{w}_{\mathrm{ij}}\&times;\underset{k=1}{\overset{d_j}{\mathrm{\&Sigma;}}}{w}_{\mathrm{jk}}$           公式(1)

其中：j，k表示网络中的节点，i,j∈N,i≠j；d_i表示节点i的度，d_j表示节点j的度；社区关系强度I(S_k)的计算公式如下：

$I\left(S_k\right)=\frac{{\mathrm{\&Sigma;}}_{i,j\&Element;S_k}{w}_{i,j}}{M\left(S_k\right)\&times;w_{\max }}$                公式(2)

其中：S_k表示网络中的一个社区；i，j表示社区S_k内的节点；M(S_k)表示社区S_k内的边数；w_max表示网络中最大的边的权值；

社区关系密度D(S_k)的计算公式如下：

$D\left(S_k\right)=\frac{2M\left(S_k\right)}{\mathrm{num}\left(S_k\right)\&times;[\mathrm{num}\left(S_k\right)-1]}$               公式(3)

其中：num(S_k)表示社区S_k内节点数；

社区耦合度F(S_k)的计算公式如下：

$\begin{array}{c}F\left(S_k\right)=I\left(S_k\right)\&times;D\left(S_k\right)=\frac{{\mathrm{\&Sigma;}}_{\mathrm{ij}\&Element;S_k}{w}_{\mathrm{ij}}}{M\left(S_k\right)\&times;w_{\max }}\&times;\frac{2M\left(S_k\right)}{\mathrm{num}\left(S_k\right)\&times;[\mathrm{num}\left(S_k\right)-1]}\\ =\frac{2{\mathrm{\&Sigma;}}_{\mathrm{ij}\&Element;S_k}{w}_{\mathrm{ij}}}{\mathrm{num}\left(S_k\right)\&times;[\mathrm{num}\left(S_k\right)-1]}\end{array}$     公式(4)。

优选的，步骤六中F为初始耦合度，初始值为0；ε代表社区判决阈值，取值范围[0,1]。

相对于现有技术，本发明具有以下有益效果：本发明方法融合凝聚和搜索的思想，通过将有向图转换为无向图进行处理和分析。通过实验测试，本发明提出的方法能够较好地发现有向-加权网络中存在的社区结构，同时也解决了重叠社区的发现问题，而这些社区之间存在的交叉节点将对于社会关系网络中的路由链路选择奠定基础。此外，在实验中可以发现，本方法针对于有向-加权网络提出的各种决策因子可以较为准确的评价估计网络中社区结构的合理性，使得本方法可以取得较好的社区划分结果。本发明方法可以在移动、异构、动态环境下快速发现和构造网络社区，为用户提供可信服务链路，实现移动感知服务的可信交互，进而提高移动感知服务效率，并最终为用户提供高质量、多样性、可定制的群智感知服务。

【附图说明】

图1为一个模拟有向-加权网络示意图；

图2为简化的后无向-加权网络示意图；

图3为ε＝0.5时的社区结构图；

图4为ε＝1.0时的社区结构图；

图5为本发明方法的流程图。

【具体实施方式】

下面结合附图说明和具体实施方式对本发明做进一步详细说明。

本发明提出了一种面向有向-加权网络的社区结构发现方法，在社会网络中，设i表示网络中的节点，其中，i∈N，N为节点集。S_k表示网络中的不同社区，其中k∈C，C为网络中社区数集合。w为节点间边的权重，节点i指向节点j的有向边的权值记为w_ij，节点j指向节点i的有向边的权值记为w_ji。本发明方法的目的是在已知网络节点集合N和不同节点边的权重w的情况下，实现对有向-加权网络社区结构C的发现。具体包括下列步骤：

步骤一：构造有向-加权网络。根据节点集合N和不同节点边的方向权重w，构造有向-加权网络图G；

步骤二：将有向-加权网络图G转换为无向-加权网络G'。

通过观察，在实际社交网络应用中，节点之间两个方向的有向边权值大多是相近的，这符合我们在真实社交中的情况，两个朋友之间联系彼此的频率和紧密程度大体相同；少数的节点之间存在两个方向的权值相差较大，其本质是一种“虚假”、“不坚固”的社会关系。因此，我们可以忽略后者双向权值相差较大的情况，去掉这些虚假关系的边来简化问题。近一步的，因为剩余的双向边的权值相差不大，所以方向这一概念不再被需要，因此我们将这类有向边变为无向边，用原来两条有向边权值的平均值作为新的无向边的权值。具体计算方法如下：

节点i指向节点j的有向边的权值记为w_ij，节点j指向节点i的有向边的权值记为w_ji，简化后加权图中节点i和节点j之间无向边权值记为w_ij'或w_ji'。对于图G中任意两个相邻节点i和j，若去掉节点i和节点j之间的两条有向边；若 $|w_{\mathrm{ij}}-w_{\mathrm{ji}}|>\frac{1}{2}\max (w_{\mathrm{ij}},w_{\mathrm{ji}}),$ 则将两条有向边变为无向边，令 ${w_{\mathrm{ij}}}^{\&prime;}={w_{\mathrm{ji}}}^{\&prime;}=\frac{1}{2}(w_{\mathrm{ij}}+w_{\mathrm{ji}}).$

步骤三：对无向图G'进行初始化。

使用权重矩阵的形式存储图G'中邻居节点及与邻居节点边的权重，如下表示形式：A＝(a_ij)，其中a_ij＝a_ji＝w_ij'；

步骤四：权重矩阵A的归一化计算。

将矩权重阵A中的最大值即图中边的最大权值记为w_max，令A＝A÷w_max，对边权值进行归一化处理；

步骤五：计算社区发现决策因子。

基于归一化后权重矩阵A，计算社区发现决策因子，包括节点活跃度，记为：H_i；社区关系强度，记为：I(S_k)；社区关系密度，记为：D(S_k)；社区耦合度，记为：F(S_k)；

节点活跃度是用于反映节点在社交网络中的活跃程度，在凝聚的思想下从顶点出发向外延伸进行社区发现时，从节点活跃度高的节点开始考虑。与之有社会关系的节点越多(即两个节点之间存在边；原始的有向加权图中任何两个节点之间都有边，经过简化为无向有向图之后有些节点之间不再存在边)，与之有社会关系的节点与外界联系越紧密，与有社会关系的节点之间社会关系值越大，则节点活跃度越高。活跃度H_i的定义如下：

$H_i=\underset{j=1}{\overset{d_i}{\mathrm{\&Sigma;}}}{w}_{\mathrm{ij}}\&times;\underset{k=1}{\overset{d_j}{\mathrm{\&Sigma;}}}{w}_{\mathrm{jk}}$                公式(1)

其中：j，k表示网络中的节点，i,j∈N,i≠j；di表示节点i的度，d_j表示节点j的度。

评价一个已发现的社区结构，可以通过社区内节点之间的权值大小实现。考虑边的因素，本发明方法使用社区内边的权值之和除以社区内边数(即平均每条边权值大小)来衡量社区内的关系强度，同时通过除以整个网络中最大的边权值来实现归一化处理，方便后续的运算和比较。社区关系强度I(S_k)具体定义如下：

$I\left(S_k\right)=\frac{{\mathrm{\&Sigma;}}_{i,j\&Element;S_k}{w}_{i,j}}{M\left(S_k\right)\&times;w_{\max }}$                  公式(2)

其中：S_k表示网络中的一个社区；i，j表示社区S_k内的节点；M(S_k)表示社区S_k内的边数；w_max表示整个网络中最大的边的权值。

评价一个已发现的社区结构，除了从权值的角度考虑，还可以从边的角度进行评价。通过社区内边数除以社区内节点两两相连所得到完全图的边数来衡量社区内关系的密度D(S_k)，具体定义如下：

$D\left(S_k\right)=\frac{2M\left(S_k\right)}{\mathrm{num}\left(S_k\right)\&times;[\mathrm{num}\left(S_k\right)-1]}$            公式(3)

其中：S_k表示网络中的一个社区；M(S_k)表示社区S_k内的边数；num(S_k)表示社区S_k内节点数。

社区耦合度是综合关系强度I(S_k)和关系密度D(S_k)进已发现社区结构进行综合评价，记为：F(S_k)，具体定义如下：

$\begin{array}{c}F\left(S_k\right)=I\left(S_k\right)\&times;D\left(S_k\right)=\frac{{\mathrm{\&Sigma;}}_{\mathrm{ij}\&Element;S_k}{w}_{\mathrm{ij}}}{M\left(S_k\right)\&times;w_{\max }}\&times;\frac{2M\left(S_k\right)}{\mathrm{num}\left(S_k\right)\&times;[\mathrm{num}\left(S_k\right)-1]}\\ =\frac{2{\mathrm{\&Sigma;}}_{\mathrm{ij}\&Element;S_k}{w}_{\mathrm{ij}}}{\mathrm{num}\left(S_k\right)\&times;[\mathrm{num}\left(S_k\right)-1]}\end{array}$      公式(4)

步骤六：社区发现。

对于无向-加权图，通过设置社区搜索条件和终止条件来完成社区结构的发现过程。具体来说，通过节点与其他节点连接紧密度来定义节点的活跃度，活跃度越大的节点在搜索过程中享有越高的优先权。使用社区关系强度和关系紧密度来共同定义社区耦合度来评判给定社区的成员紧密度，从而作为搜索过程的优化条件以及社区划分的终止条件。社区发现的具体过程如下：

从活跃度最大的节点开始作为初始社区的起点，利用公式4依次计算加入社区外某节点后社区的耦合度F'，若存在节点使得F'>F或F-F'<ε，则选择使F'-F最大或F-F'最小的节点j加入该社区，并更新节点j的社区标号以及该社区的耦合度。重复此步骤直到不再存在满足要求的节点。其中F为初始耦合度，初始值为0；ε代表社区判决阈值，取值范围[0,1]。

步骤七：社区发现终止条件判断。

当社区加入任何节点都会使耦合度F'出现下降时，停止扩展该社区，认定该社区已稳定。选择活跃度次之的节点作为新社区的起点，重复步骤六，直到所有节点均判决完毕。

步骤八：孤立节点处理。

经过上述步骤，原有的社交网络中已经形成了若干个社区。有的节点可能同时出现在两个社区内，同时也有可能存在孤立节点独立于任何社区。对于这些剩余的孤立节点，首先寻找与孤立节点j在原始加权-有向图G中存在关联的节点集；其次，从关联节点集中选择与孤立节点边权重差最小的节点作为其有效关联节点，并将该孤立节点加入该有效关联节点所属社区；最后，直到网络中所有孤立节点都已搜索完成，则孤立节点处理完毕。

步骤九：结束；

为了更加形象描述本发明方法的实现过程，通过以下举例说明。

请参阅图1至图5所示，本发明一种面向有向-加权网络的社区结构发现方法，包括以下步骤：

步骤一：根据已知社会网络中节点集合N和不同节点边的方向权重w，构造有向-加权网络图G；如图1为一个初始有向-加权网络图G；

步骤二：将有向-加权网络图G转换为无向-加权网络图G'；

步骤三：对无向-加权网络图G'进行初始化，图2为经过步骤二处理完成的无向-加权图。节点3和节点5、节点3和节点6、节点9和节点6、节点9和节点10、节点11和节点9以及节点11和节点10之间权值不满足步骤二中的条件，因此忽略这些边。其他节点间两条有向边权值相差不大，变为无向边，权值取原来两条有向边权值的平均值。

步骤四：对权重矩阵A进行归一化处理；

步骤五：计算社区发现决策因子：根据公式1初始化计算每个节点的活跃度，如节点1的活跃为8×(8+9+11+8)+11×(10+11+11)+7×(7+10+5)＝794，算得结果如表1所示。

表1 各节点的活跃度

1	2	3	4	5	6	7	8	9	10	11
											794	1010	902	632	553	438	1074	874	918	518	0

步骤六：社区发现：取ε＝1，从活跃度最大的节点7开始计算，社区标号为1，初始耦合度记F＝0。根据公式4计算加入其他节点的社区耦合度F'，比如加入节点9后F'＝15。结果如表2所示，取使F增长最大的节点9加入社区1。

表2 结果二

1	2	3	4	5	6	7	8	9	10	11
											0	8	0	0	0	0	-	13	15	0	0

继续计算将节点加入社区1得到的新的耦合度，比如加入节点8则得到F'＝14。结果如表3所示，所以选择节点8加入。

表3 结果三

1	2	3	4	5	6	7	8	9	10	11
											0	7.6	0	0	0	0	-	14	-	0	0

重复上述步骤，直到不存在满足要求的节点，形成包括节点7、节点8和节点9的社区1。

步骤七：选择活跃度次大的节点2开始，重复过程(3)-(5)。得到节点2、节点3、节点1和节点4组成的社区2。重复步骤七：，最终得到三个社区和一个孤立点节点11。

步骤八：根据之前的有向边，将其归入节点10所在社区，最终得到如图4所示社区结构。

步骤九：结束。

为了进一步验证本发明方法在实际运行过程中的表现，通过设计不同类型实验，分析和对比实验结果，对发明方法的相关性能进行了测试和评估。在实验设计过程中，首先对MIT提供的标准数据集进行分析，根据对节点间的社会关系进行量化，最终形成共有64个节点和237条社会关系，它们构造了一个有向加权的社会网络。实验将本发明方法与传统的Louvain方法和GN方法进行比较，验证不同算法的有效性和准确性。在测试过程中，本发明发明方法将网络中的节点划分为5个不同社区，这与MIT数据集中记录的社区关系相比，准确率达到了94.2％。本方法能够有效发现的处于不同社区的重叠节点。通过使用经典的Louvain方法对MIT数据集进行社区挖掘，其准确率为83.3％，由于该方法的局限性，网络中的重叠节点也并未发现。同理，实验采用GN算法的准确率为74.1％，同时也没有发现重叠节点的存在。

Claims (6)

1.一种面向有向-加权网络的社区结构发现方法，其特征在于，包括以下步骤：

步骤一：根据已知社会网络中节点集合N和不同节点边的方向权重w，构造有向-加权网络图G；

步骤二：将有向-加权网络图G转换为无向-加权网络图G'；

步骤三：对无向-加权网络图G'进行初始化：使用权重矩阵的形式存储无向-加权网络图G'中邻居节点及与邻居节点边的权重，得到权重矩阵A；

步骤四：对权重矩阵A进行归一化处理；

步骤五：计算社区发现决策因子：基于归一化后权重矩阵A，计算社区发现决策因子，包括节点活跃度，记为：H_i；社区关系强度，记为：I(S_k)；社区关系密度，记为：D(S_k)；社区耦合度，记为：F(S_k)；

步骤六：社区发现：从活跃度最大的节点开始作为初始社区的起点，依次计算加入社区外某节点后社区的耦合度F'，若存在节点j使得F'>F或F-F'<ε，则选择使F'-F最大或F-F'最小的节点加入该社区，并更新节点j的社区标号以及该社区的耦合度；

步骤七：社区发现终止条件判断：当社区加入任何节点都会使耦合度出现下降时，停止扩展该社区，认定该社区已稳定；选择活跃度次之的节点作为新社区的起点，重复步骤六，直到所有节点均判决完毕；

步骤八：孤立节点处理：寻找与孤立节点j在原始加权-有向图G中存在关联的节点集，从关联节点集中选择与孤立节点边权重差最小的节点作为其有效关联节点，并将该孤立节点加入该有效关联节点所属社区。

2.根据权利要求1所述的一种面向有向-加权网络的社区结构发现方法，其特征在于，步骤二具体包括：节点i指向节点j的有向边的权值记为wi_j，节点j指向节点i的有向边的权值记为w_ji，简化后加权图中节点i和节点j之间无向边权值记为w_ij'或w_ji'；对于有向-加权网络图G中任意两个节点i和j，若去掉节点i和节点j之间的两条有向边；若 $|w_{\mathrm{ij}}-w_{\mathrm{ji}}|>\frac{1}{2}\max (w_{\mathrm{ij}},w_{\mathrm{ji}}),$ 则将两条有向边变为无向边，令 ${w_{\mathrm{ji}}}^{\&prime;}=\frac{1}{2}(w_{\mathrm{ij}}+w_{\mathrm{ji}});$ 其中，i、j表示社会网络中的节点，其中，i∈N，j∈N；S_k表示网络中的不同社区，其中k∈C，C为网络中社区数集合；w为节点间边的权重，节点i指向节点j的有向边的权值记为w_ij，节点j指向节点i的有向边的权值记为w_ji。

3.根据权利要求1所述的一种面向有向-加权网络的社区结构发现方法，其特征在于，步骤三中使用权重矩阵的形式存储无向-加权网络图G'中邻居节点及与邻居节点边的权重，如下表示形式：A＝(a_ij)，其中a_ij＝a_ji＝w_ij'；

4.根据权利要求1所述的一种面向有向-加权网络的社区结构发现方法，其特征在于，步骤四具体包括以下步骤：将矩权重阵A中的最大值即图中边的最大权值记为w_max，令A＝A÷w_max，对边权值进行归一化处理。

5.根据权利要求1所述的一种面向有向-加权网络的社区结构发现方法，其特征在于，活跃度H_i的计算公式如下：

$H_i=\underset{j=1}{\overset{d_i}{\mathrm{\&Sigma;}}}{w}_{\mathrm{ij}}\&times;\underset{k=1}{\overset{d_j}{\mathrm{\&Sigma;}}}{w}_{\mathrm{jk}}$        公式(1)

其中：j，k表示网络中的节点，i,j∈N,i≠j；di表示节点i的度，d_j表示节点j的度；社区关系强度I(S_k)的计算公式如下：

$I\left(S_k\right)=\frac{{\mathrm{\&Sigma;}}_{i,j\&Element;S_k}{w}_{i,j}}{M\left(S_k\right)\&times;w_{\max }}$        公式(2)

其中：S_k表示网络中的一个社区；i，j表示社区S_k内的节点；M(S_k)表示社区S_k内的边数；w_max表示网络中最大的边的权值；

社区关系密度D(S_k)的计算公式如下：

$D\left(S_k\right)=\frac{2M\left(S_k\right)}{\mathrm{num}\left(S_k\right)\&times;[\mathrm{num}\left(S_k\right)-1]}$        公式(3)

其中：num(S_k)表示社区S_k内节点数；

社区耦合度F(S_k)的计算公式如下：

$\begin{array}{c}F\left(S_k\right)=I\left(S_k\right)\&times;D\left(S_k\right)=\frac{{\mathrm{\&Sigma;}}_{\mathrm{ij}\&Element;S_k}{w}_{\mathrm{ij}}}{M\left(S_k\right)\&times;w_{\max }}\&times;\frac{2M\left(S_k\right)}{\mathrm{num}\left(S_k\right)\&times;[\mathrm{num}\left(S_k\right)-1]}\\ =\frac{2{\mathrm{\&Sigma;}}_{\mathrm{ij}\&Element;S_k}{w}_{\mathrm{ij}}}{\mathrm{num}\left(S_k\right)\&times;[\mathrm{num}\left(S_k\right)-1]}\end{array}$     公式(4)。

6.根据权利要求1所述的一种面向有向-加权网络的社区结构发现方法，其特征在于，步骤六中F为初始耦合度，初始值为0；ε代表社区判决阈值，取值范围[0,1]。