CN109255722B - 一种基于邻居拓扑的复杂网络层次分析系统及方法 - Google Patents

Abstract

本发明公开一种基于邻居拓扑的复杂网络层次分析方法，针对现有复杂网络结构分析技术存在的问题，本发明的方法通过将不利于处理的实际网络转化为便于计算机存储和运算的邻接表，尤其对于大规模稀疏网络，减小了运算过程中的空间占用；并设计了一种新的节点间链接性质的评估机制；根据链接评估的结果，反复移除较可能处于社团间的链接，以极小代价重新评估少数链接，以连通分支的形式呈现网络的社团结构。

Description

一种基于邻居拓扑的复杂网络层次分析系统及方法

技术领域

本发明属于复杂网络结构分析技术领域，特别涉及一种全光纤分布式声波传感技术。

背景技术

复杂网络(complex network)是描述现实世界复杂系统的抽象模型，例如社会中的经贸网络、社交网络，自然界中的食物链网、生物种群网，生物体中的神经网络、代谢网络。网络的社团结构(community structure)是倾向内聚的网络所具有的拓扑结构。复杂网络的层次分析(hierarchical analysis)是采用分层聚类技术，以不同的粒度挖掘网络中的社团。它不仅能够给出网络可能的社团结构，还能够层次地分析网络结构，揭示网络的多级结构，有利于识别社交网络顶级传播者，通信网络故障恢复等底层任务。复杂网络层次分析系统设计通常包括两个部分：(1)系统输入；(2)系统建模分析。

由于复杂网络的复杂性，社团定义包括从基于强度的定义，基于全局或局部的定义，基于相似性的定义等。尽管目前没有广泛认可的定量或定性定义，但大多数网络分析系统都是基于社团强度的定义分析网络的结构。在基于强度的定义下，社团结构表现为网络中同一社团间连接紧密，而不同社团间连接稀疏。

复杂网络的社团结构分析是指以网络拓扑结构、连接信息为主，辅以可能的节点特性或成对关系等额外信息，分析、挖掘网络中社团结构，将大规模网络划分为多个连接相对紧密的子网络。社团中的节点通常功能相近或性质相似，通过层次分析网络的社团结构可以从宏观上把握网络的功能模块，还可以从微观上把握网络局部的结构。对不同层次挖掘出的社团结构，统一采用模块度进行评价，模块度越大，表明网络在这一层次下表现出的社团结构越明显。

目前，大部分复杂网络分析的研究存在以下缺点：(1)局限于理论和方法模型的建立，不存在系统化的设计；(2)局限于单一粒度的社团结构，没有多层次地分析网络；(3)网络拓扑结构信息利用不够充分，局限于节点与邻居的连接关系；(4)已有的层次分析网络社团结构的方法无法同时保证分析性能和计算速度。

综上所述，现有的复杂网络层次分析的研究及实现存在缺乏系统化、分析粒度单一、信息利用不充分、不能平衡分析性能和计算速度等问题。

发明内容

为了解决上述技术问题，本发明提供一种基于邻居拓扑的复杂网络层次分析系统及方法，充分利用网络的结构信息，评估链接的性质；基于自适应地迭代移除部分链接，自动以连通分支的方式呈现网络的社团结构；基于链接评估方式的对称性，快速评估每次迭代过程中少部分发生改变的链接。

本发明采用的技术方案为：一种基于邻居拓扑的复杂网络层次分析系统及方法，通过将不利于处理的实际网络转化为便于计算机存储和运算的邻接表，尤其对于大规模稀疏网络，减小了运算过程中的空间占用；并设计了一种新的节点间链接性质的评估机制；根据链接评估的结果，反复移除较可能处于社团间的链接，以极小代价重新评估少数链接，以连通分支的形式呈现网络的社团结构；具体包括以下技术：

1、基于邻接表的网络建模；

首先，系统的输入包括以下几个部分：

(1)网络节点总数：N；网络链接总数：M；

(2)网络节点集合Nodes＝{n₁,n₂,...,n_k,…}，n_i表示第i个节点的标签；

(3)网络链接集合Edges＝{(n_a,n_b),(n_c,n_d),…}，(n_a,n_b)表示第a个节点与第b个节点之间存在链接；

(4)初始模块度：modularity＝0，表示整个网络作为唯一社团对应的划分的模块度值；

(5)目标模块度：TargetModularity，人为设置的模块度目标值，当前分析层次下，网络呈现出良好的社团结构，达到预期的模块度指标，系统不再继续迭代，而是分析各层次的结果以及可视化输出；

(6)最大社团数：MaxCluNum，在网络自身不具有明显社团结构的情况下，根据参数估计得到社团数的后验概率分布情况，设置社团数上限能够避免无意义的过度分簇：在模块度没有达到TargetModularity的情况下，当已有社团数没有达到MaxCluNum时，系统继续进行迭代处理；在模块度没有达到TargetModularity的情况下，当已有社团数达到MaxCluNum时，系统退出迭代过程；

2、基于邻接关系的链接评估；

将网络转成邻接表，统计各节点的度，通过各节点的Self向量反映网络拓扑信息，包括以下几个部分：

(1)NeighbList＝{{n_a,n_b,n_c,…}，{n_d,n_e,n_f…},…}，{n_a,n_b,n_c,…}表示与第1个节点相连的节点的集合，{n_d,n_e,n_f…}表示与第2个节点相连的节点的集合，以此类推；

(2)degree＝{d₁,d₂,...,d_k,…}，d_i表示与第i个节点相连的节点数量；

(3)

节点k的Self向量n_k表示邻接关系，例如n_k的第i位是1，表示节点k与节点i相连，第i位是0，表示节点k与节点i不相连；

以节点a为例，步骤如下：

(1)节点a自身及邻居的拓扑信息SN_a通过公式(1)表示：

(2)节点a相对于它的邻居节点b的亲密程度

通过向量间的余弦距离表示，如公式(2)所示：

(3)链接(a,b)的评估值Score_(a,b)取决于节点a相对于节点b的亲密程度，以及节点b相对于节点a的亲密程度，如公式(3)所示：

3、基于局部更新策略和关键改变原则的迭代移除。

首先，由于链接的评估值越低表示节点之间越亲密，在完成所有链接的评估之后，移除评估值最高的一条链接，迭代次数加1。相比于上一次迭代，如果社团数增加，按公式(4)计算得到新的模块度，否则模块度值不变：

其中，

和

分别是社团c中节点的总内度和总外度，M是网络链接总数。

其次，判断当前模块度是否达到设置的目标模块度；如果达到TargetModularity，则分析各层次的结果以及可视化输出；如果没有达到，则判断社团数是否超过MaxCluNum，如果超过，则进行结果分析以及可视化输出；否则重新评估链接；

重新评估连接具体为：由于边的移除导致网络结构发生变化，重新评估链接能够提高系统分析的精确度。不同于以往重新评估所有链接的方法，网络结构的变化发生在局部，系统仅重新评估局部链接，假设上一轮迭代中，删除了链接(d,f)，存在链接(d,a)，局部更新策略如下：

(1)将节点d的Self向量n_d的第f位改为0，节点f的Self向量n_f的第d位改为0，表示两点间链接的移除；

(2)Self向量n_d的模长变化如公式(5)所示：

(3)由于新向量n_d的f位为0，新向量SN_a与新向量n_d的点积等于原先点积减去原SN_a向量的f位，如公式(6)所示：

(4)n_d向量的f位减1导致SN_a向量的f位也减1，因此新SN_a向量与原SN_a向量长度的差值存在如下关系：

因此，向量SN_a长度的可以如下快速重新计算：

(5)根据Self向量点积的物理意义——n_a·n_d表示节点a和d的共同邻居数量，得到表示点积对称性的关键更新原则：

综上，本发明的方法流程为：

S1、执行网络层次分析系统的输入；包括：网络节点总数、网络节点集合、网络链接集合、初始模块度、目标模块度以及最大社团数。

S2、建立层次分析模型；具体包括以下分步骤：

S21、邻接表建模，将网络转成邻接表，统计各节点的度，通过各节点的Self向量反映网络拓扑信息；

S22、提取邻居拓扑信息，评估链接性质；

S23、模块度评估，移除处于社团间的链接；具体包括以下分步骤：

S231、在完成所有链接的评估之后，移除评估值最高的一条链接，迭代次数加1；若与上一次迭代相比，社团数增加，则计算新模块度，否则模块度值不变；

S232、进行第一个判断：

当前模块度是否达到设定的目标模块度，如果达到，则分析各层次的结果以及可视化输出；否则执行步骤S25；

S233、进行第二个判断：

社团数是否超过设定的最大社团数，若是，则进行结果分析以及可视化输出；否则执行步骤S234；

S234、重新评估链接；对于发生变化的局部，利用局部更新策略重新评估局部链接。

S3、分析各层次的结果以及可视化输出：在特定层次下，处于同一社团的节点颜色相同；查看社团内部的小群体，获取更高粒度下的社团结构。

本发明的有益效果：本发明的一种基于邻居拓扑的复杂网络层次分析系统及方法，通过将不利于处理的实际网络转化为便于计算机存储和运算的邻接表，尤其对于大规模稀疏网络，减小了运算过程中的空间占用；并设计了一种新的节点间链接性质的评估机制；根据链接评估的结果，反复移除较可能处于社团间的链接，以极小代价重新评估少数链接，以连通分支的形式呈现网络的社团结构。

附图说明

图1为本发明的复杂网络层次分析系统设计及方法框图；

图2为本发明的系统工作流图；

图3为本发明的所述系统的执行流程图。

具体实施方式

为便于本领域技术人员理解本发明的技术内容，下面结合附图对本发明内容进一步阐释。

如图1所示，本发明的一种基于邻居拓扑的复杂网络层次分析系统，包括三个模块：输入模块、层次分析模型模块以及可视化输出模块；

所述输入模块用于输入网络节点总数、网络节点集合、网络链接集合、初始模块度、目标模块度以及最大社团数。

所述层次分析模块包括：邻接表建模单元、邻居拓扑信息提取单元以及模块度评估单元；所述邻接表建模单元，用于将网络转成邻接表，并统计各节点的度，通过各节点的Self向量反映网络拓扑信息；所述邻居拓扑信息提取单元用于评估链接性质；所述模块度评估单元用于移除处于社团间的链接。

所述可视化输出模块用于获取高粒度的社团结构。

本发明的一种基于邻居拓扑的复杂网络层次分析方法，基于邻居拓扑信息的归一化处理，充分利用网络的结构信息，评估链接的性质；基于自适应地迭代移除部分链接，自动以连通分支的方式呈现网络的社团结构；基于链接评估方式的对称性，快速评估每次迭代过程中少部分发生改变的链接。包括以下步骤：

S1、执行网络层次分析系统的输入；包括：网络节点总数、网络节点集合、网络链接集合、初始模块度、目标模块度以及最大社团数。

其中，

网络节点总数：N；网络链接总数：M；

网络节点集合Nodes＝{n₁,n₂,...,n_k,…}，n_i表示第i个节点的标签；

网络链接集合Edges＝{(n_a,n_b),(n_c,n_d),…}，(n_a,n_b)表示第a个节点与第b个节点之间存在链接；

初始模块度：modularity＝0，表示整个网络作为唯一社团对应的划分的模块度值；

目标模块度：TargetModularity，人为设置的模块度目标值，当前分析层次下，网络呈现出良好的社团结构，达到预期的模块度指标，系统不再继续迭代，而是分析各层次的结果以及可视化输出；

最大社团数：MaxCluNum，在网络自身不具有明显社团结构的情况下，根据参数估计得到社团数的后验概率分布情况，设置社团数上限能够避免无意义的过度分簇：在模块度没有达到TargetModularity(模块度典型值0.3～0.7，本实施例中目标模块度上限为0.8)的情况下，当已有社团数没有达到MaxCluNum(根据网络结构参数，采用贝叶斯估计的最大社团数)时，系统继续进行迭代处理；在模块度没有达到TargetModularity的情况下，当已有社团数达到MaxCluNum时，系统退出迭代过程；

S2、建立层次分析模型；具体包括以下分步骤：

S21、邻接表建模，将网络转成邻接表，统计各节点的度，通过各节点的Self向量反映网络拓扑信息；包括以下几个部分：

(1)NeighbList＝{{n_a,n_b,n_c,…}，{n_d,n_e,n_f…},…}，{n_a,n_b,n_c,…}表示与第1个节点相连的节点的集合，{n_d,n_e,n_f…}表示与第2个节点相连的节点的集合，以此类推；

(2)degree＝{d₁,d₂,...,d_k,…}，d_i表示与第i个节点相连的节点数量；

(3)

节点k的Self向量n_k表示邻接关系，例如n_k的第i位是1，表示节点k与节点i相连，第i位是0，表示节点k与节点i不相连；

S22、提取邻居拓扑信息，评估链接性质；以节点a为例，过程如下：

(1)节点a自身及邻居的拓扑信息SN_a通过公式(1)表示：

(2)节点a相对于它的邻居节点b的亲密程度

通过向量间的余弦距离表示，如公式(2)所示：

(3)链接(a,b)的评估值Score_(a,b)取决于节点a相对于节点b的亲密程度，以及节点b相对于节点a的亲密程度，如公式(3)所示：

S23、模块度评估，移除处于社团间的链接；具体包括以下分步骤：

S231、由于链接的评估值越低表示节点之间越亲密，在完成所有链接的评估之后，移除评估值最高的一条链接，迭代次数加1；若与上一次迭代相比，如果社团数增加，按公式(4)计算得到新的模块度，否则模块度值不变：

其中，

和

分别是社团c中节点的总内度和总外度，M是网络链接总数。

S232、进行第一个判断：

当前模块度是否达到设定的目标模块度，如果达到，则分析各层次的结果以及可视化输出；否则执行步骤S25；

S233、进行第二个判断：

社团数是否超过设定的最大社团数，若是，则进行结果分析以及可视化输出；否则执行步骤S234；

S234、重新评估链接；对于发生变化的局部，利用局部更新策略重新评估局部链接。

由于边的移除导致网络结构发生变化，重新评估链接能够提高系统分析的精确度。不同于以往重新评估所有链接的方法，网络结构的变化发生在局部，系统仅重新评估局部链接，假设存在链接(d,a)，上一轮迭代中删除了链接(d,f)，修改节点d,f各自的Self向量；更新涉及d,f节点的SN向量。此时，局部更新策略如下：

(1)将节点d的Self向量n_d的第f位改为0，节点f的Self向量n_f的第d位改为0，表示两点间链接的移除；

(2)Self向量n_d的模长变化如公式(5)所示：

(3)由于新向量n_d的f位为0，新向量SN_a与新向量n_d的点积等于原先点积减去原SN_a向量的f位，如公式(6)所示：

(4)n_d向量的f位减1导致SN_a向量的f位也减1，因此新SN_a向量与原SN_a向量长度的差值存在如下关系：

因此，向量SN_a长度的可以如下快速重新计算：

(5)根据Self向量点积的物理意义——n_a·n_d表示节点a和d的共同邻居数量，得到表示点积对称性的关键更新原则：

S3、分析各层次的结果以及可视化输出：在特定层次下，处于同一社团的节点颜色相同；查看社团内部的小群体，获取更高粒度下的社团结构。

本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的权利要求范围之内。

Claims (5)

1.一种基于邻居拓扑的复杂网络层次分析方法，其特征在于，包括：

S1、执行网络层次分析系统的输入；所述输入包括：网络节点总数、网络节点集合、网络链接集合、初始模块度、目标模块度以及最大社团数；

S2、建立层次分析模型；步骤S2具体包括以下分步骤：

S21、邻接表建模，将网络转成邻接表，统计各节点的度，通过各节点的Self向量反映网络拓扑信息；

S22、提取邻居拓扑信息，评估链接性质；步骤S22具体包括以下分步骤：

S221、计算节点及其邻居的拓扑信息；

S222、根据步骤S221确定的拓扑信息，计算节点相对于其邻居节点的亲密度；

S223、根据节点相对于其邻居节点的亲密度计算链接评估值；

S23、模块度评估，移除处于社团间的链接；步骤S23具体包括以下分步骤：

S231、在完成所有链接的评估之后，移除评估值最高的一条链接，迭代次数加1；若与上一次迭代相比，社团数增加，则计算新模块度，否则模块度值不变；

S232、进行第一个判断：

当前模块度是否达到设定的目标模块度，如果达到，则分析各层次的结果以及可视化输出；否则执行步骤S223；

S233、进行第二个判断：

社团数是否超过设定的最大社团数，若是，则进行结果分析以及可视化输出；否则执行步骤S234；

S234、重新评估链接；对于发生变化的局部，利用局部更新策略重新评估局部链接；

S3、分析各层次的结果以及可视化输出：在特定层次下，处于同一社团的节点颜色相同；查看社团内部的小群体，获取更高粒度下的社团结构。

2.根据权利要求1所述的一种基于邻居拓扑的复杂网络层次分析方法，其特征在于，步骤S234重新评估局部链接，具体包括以下分步骤：

A1、将移除的评估值最高的一条链接的两端节点各自的Self向量的对应位置置零；

A2、更新该两端节点的Self向量的模长；

A3、更新该两端节点及其邻居的拓扑信息；

A4、根据A2更新的该两端节点的Self向量的模长与A3更新的该两端节点及其邻居的拓扑信息，计算该两端节点与各自邻居节点链接评估值。

3.根据权利要求1或2所述的一种基于邻居拓扑的复杂网络层次分析方法，其特征在于，链接评估值计算表达式为：

其中，

表示节点a相对于节点b的亲密程度，

表示节点b相对于节点a的亲密程度，SN_a表示节点a自身及邻居的拓扑信息，SN_b表示节点b自身及邻居的拓扑信息，n_a表示节点a的Self向量，n_b表示节点b的Self向量，¬表示求模长。

4.一种基于权利要求1所述方法的邻居拓扑的复杂网络层次分析系统，其特征在于，包括：输入模块、层次分析模型模块以及可视化输出模块；

所述输入模块用于输入网络节点总数、网络节点集合、网络链接集合、初始模块度、目标模块度以及最大社团数；

所述层次分析模型模块包括：邻接表建模单元、邻居拓扑信息提取单元以及模块度评估单元；所述邻接表建模单元，用于将网络转成邻接表，并统计各节点的度，通过各节点的Self向量反映网络拓扑信息；所述邻居拓扑信息提取单元用于评估链接性质；所述模块度评估单元用于移除处于社团间的链接；

所述可视化输出模块用于获取高粒度的社团结构。

5.根据权利要求4所述的一种基于邻居拓扑的复杂网络层次分析系统，其特征在于，模块度评估单元的工作过程为：

在完成所有链接的评估之后，移除评估值最高的一条链接，迭代次数加1；若与上一次迭代相比，社团数增加，则计算新模块度，否则模块度值不变；

进行第一个判断：

当前模块度是否达到设定的目标模块度，如果达到，则分析各层次的结果以及可视化输出；否则执行第二个判断；

进行第二个判断：

社团数是否超过设定的最大社团数，若是，则进行结果分析以及可视化输出；否则重新评估链接；

重新评估链接；对于发生变化的局部，利用局部更新策略重新评估局部链接。

Images