CN109697467A - 一种复杂网络图的概要方法 - Google Patents

Abstract

本发明涉及一种复杂网络图的概要方法，将复杂网络图记为G＝(V，E)，V为节点的集合，E为边的集合，包括：步骤1、在复杂网络图中挑选出子图H＝(V′,E′)，对于子图中任意两节点组成的边满足条件：sup(e(u,v)，H)≥k‑2，将这些子图标记为稠密子图；步骤2、将每个稠密子图中的所有节点压缩成一个节点，将该节点标记为超点，将与所有超点相关联的边，标记为超边；步骤3、将所有超点和除超点外的其他节点组成新的节点集合，将超边和除超边外的其他边组成新的边集合，将新的节点集合和新的边集合形成概要图。能有效减小数据规模，降低网络布局中节点和关联边密集的现象，近似保持原始图的幂率性和聚类系数；且能清晰地显示数据整体结构。

Description

一种复杂网络图的概要方法

技术领域

本发明涉及数据处理领域，特别涉及一种复杂网络图的概要方法。

背景技术

现代社会存在大量的复杂网络，如计算机网络、物联网、通信网、交通网络、以及社会关系网络等，对网络进行有效的分析成为重要的科学问题。复杂网络可以用数据结构中的图进行描述，图的节点表示网络中的实体，边表示实体间的联系。随着网络规模的增大，需要占用更多的存储空间。超大规模的复杂网络给算法分析和可视化带来了挑战，复杂网络节点和边关联数量众多，难以从原始网络图中进行有效信息提取并分析；其结构的复杂且出现噪声边影响原始图的可视化，人们无法准确观察到网络的拓扑结构。

大规模图数据中隐藏了大量有用的信息，需要进行有效的提取。近年来科研人员开始研究如何将大规模图的节点聚集成若干组，构造一个能反映原始图结构和图属性的小规模图，称为概要图，概要图在复杂网络的存储分析和可视化中扮演重要角色。采用图概要技术将大规模的图转化为相对较小的图，保持原始图的结构和性质。一般将结构或者属性值相近的节点进行概要化生成概要图，代替原始图来进行相应图分析算法，有效压缩图数据的规模、减少存储空间压力、减少图数据中冗余噪声边的影响和增强可视化的展示效果，在一定程度上解决了复杂网络所面对的问题。但目前概要算法在度量相似结构中大多从网络社区结构考虑，例如：基于团或者基于度的性质考虑，没有考虑到对复杂网络的小世界特性和无标度特性的研究。复杂网络是呈现高度复杂性的网络，复杂网络的小世界特性与网络的平均聚类系数有关，无标度特性与网络的幂率性有关。因此，针对大规模的复杂网络，构建保持复杂网络图特性的概要图并进行进一步分析逐渐成为近几年的研究热点。

目前复杂网络的图概要算法主要分为三大类：

(1)基于节点聚类的方法，从局部寻找稠密子图进行压缩使得存储空间大大减小：其中，有基于团的概要方法，团内内部任意两个节点之间存在一条边，但是团的计算存在N-P难的问题；基于度的概要方法，即k个节点的子图中每个节点的度大于g(k-1)，该方法的子图内部连接紧密，但是存在重叠且度的分布不均匀的问题；基于K-core的概要算法中，每个节点的度至少与其他k个节点之间存在边，存在无法度量内部节点之间的紧密程度的问题；

(2)基于连接强度分组的方法：基于最小描述长度(Minimum Description,MDL)算法的图概要算法中，在一定误差范围使得一个组中的每个节点在另一个组中具有相同的邻居节点；基于条件熵的概要算法，结合概括图的质量评估的概率模型使得概要后一个分组中的每个节点在另一个组中具有相同数量的相邻节点；

(3)基于图稀疏的方法：将图稀疏的思想引入复杂网络压缩，在保持原始图性质和一定精度的稀疏图上实现高效算法分析；图稀疏算法是一种保留节点进行边稀疏的采样方法，包括生成图稀疏、边连通稀疏、聚类图稀疏和边传播性图稀疏算法，但是该方法的网络中节点的数目不变，通过去掉一些冗余边来减少复杂网络规模，会随着网络中节点数目膨胀，因此节点全保留的方法已经不适应。

发明内容

本发明所要解决的技术问题是针对现有技术的现状，提供一种复杂网络图的概要方法，该方法能有效减少复杂网络规模且能保持原网络的性质，且能保持原网络的幂率性和平均聚类系数。

本发明解决上述技术问题所采用的技术方案为：一种复杂网络图的概要方法，将复杂网络图记为G＝(V，E)，其中，V为复杂网络图中节点的集合，E为复杂网络图中边的集合，其特征在于：包括以下步骤：

步骤1、在复杂网络图中挑选出满足如下条件的子图H＝(V′,E′)，对于子图中任意两节点u和v组成的边，u∈V′，v∈V′，满足条件：sup(e(u,v)，H)≥k-2，其中，sup(e(u,v)，H)＝|{Δ_uvw:w∈V′}|，Δ_uvw为任意节点u、v和w构成的三角形数目，将这些子图标记为稠密子图；其中，k为大于等于3的预设值；

步骤2、将每个稠密子图中的所有节点压缩成一个节点，将该节点标记为超点，将与所有超点相关联的边，标记为超边；

步骤3、将步骤2中的所有超点和复杂网络图中除超点外的其他节点组成新的节点集合，将超边和除超边外的其他边组成新的边集合，将新的节点集合和新的边集合形成所述复杂网络图的概要图。

作为改进，所述步骤1中采用并行化方法计算任意节点u和v组成的边构成的三角形数目，具体步骤为：

步骤1-1、将复杂网络图G＝(V，E)按照网络图(V1，(V2))形式存储，其中，V1是V中的任意一个节点，V2为与V1相关联的所有节点；

步骤1-2、复制步骤1-1中的网络图(V1，(V2))，对这两个相同的网络图进行笛卡尔乘积计算，将得到的结果按照((V3，n1)，(V4，n2))的形式存储；

步骤1-3、将步骤1-2中计算得到的结果中过滤掉节点相同的结果，即过滤掉V3＝V4的情况，得到不同节点的网络图；

步骤1-4、将步骤1-3中得到的网络图中求取n1和n2中节点相同的个数，将该个数作为节点V3和节点V4组成的边构成的三角形数目，即得到任意一条边构成的三角形数目。

具体的，所述步骤1中k值设定的具体方法为：通过计算不同k值对应的模块度，将模块度最大值时对应的k值作为预设值。

作为优选，所述步骤1中k值的取值范围为3～10。

作为改进，所述步骤3中得到的概要图分层进行存储，概要图分为外层存储和内层存储，以超点和复杂网络图中除超点外的其他节点为单元以及其关联边构建原始图关联信息的外层存储，以每个超点内部节点及其关联边构建超点内关联信息的内层存储。

作为优选，所述概要图采用链接表的方式对每个超点和复杂网络图中除超点外的其他节点以及其关联边信息进行外层存储。

作为优选，所述概要图采用矩阵的方式对每个超点内部节点以及其关联边信息进行内层存储。

作为改进，所述步骤3中的概要图存储时还保存有概要图中所有边的权值，其中，概要图中边的权值设定的计算公式为：

其中，E_ij为节点i和j之间边的数目，|V_i|为超点i内部的节点数目；|V_j|为超点j内部的节点数目。

与现有技术相比，本发明的优点在于：通过任意两顶点组成的边构成的三角形数目来表示顶点的相似度和紧密度，并通过模块度最大化进行k值的设定，依据k值划分稠密子图，将子图中相似的节点归并为超点，因此最大程度的对复杂网络图内的数据进行压缩；并对概要图进行分层存储，能直观展示外层的超点和其他节点之间的原始图关联信息，且通过内层显示超点内部节点之间的联系关系，因此该概要方法能对大规模复杂网络进图行有效压缩，且能够保持原网络的拓扑结构，提高了压缩率，保持了原网络图的幂率性和平均聚类系数。

附图说明

图1为本发明实施例中复杂网络概要方法的流程图；

图2为本发明实施例中复杂网络概要外部存储的示意图。

具体实施方式

以下结合附图实施例对本发明作进一步详细描述。

如图1所示，一种复杂网络图的概要方法，将复杂网络图记为G＝(V，E)，其中，V为复杂网络图中节点的集合，E为复杂网络图中边的集合，包括以下步骤：

步骤1、在复杂网络图中挑选出满足如下条件的子图H＝(V′,E′)，对于子图中任意两节点u和v组成的边，u∈V′，v∈V′，满足条件：sup(e(u,v)，H)≥k-2，其中，sup(e(u,v)，H)＝|{Δ_uvw:w∈V′}|，Δ_uvw为任意节点u、v和w构成的三角形数目，将这些子图标记为稠密子图；其中，k为大于等于3的预设值；

其中，采用并行化方法计算任意两节点u和v组成的边构成的三角形数目，本实施例中，采用Spark框架计算任意两节点组成的边构成的三角形数目，利用分布式平台能提高效率，Spark启用了内存分布数据集，除了能够提供交互式查询外，它还可以优化迭代工作负载，尤其是运行迭代式的算法。Spark是一个大数据分布式编程框架，不仅实现了MapReduce的算子map函数和reduce函数，还提供了丰富的算子，例如groupByKey、combine、join等。对于现如今大量数据的计算，分布式计算提供了有效的技术支持，完成了单机不能完成的任务，并行化计算三角形，减少平均计算时间；

具体步骤为：

步骤1-1、将复杂网络图G＝(V，E)按照网络图(V1，(V2))形式存储，其中，V1是V中的任意一个节点，V2为与V1相关联的所有节点；

步骤1-2、复制步骤1-1中的网络图(V1，(V2))，对这两个相同的网络图进行笛卡尔乘积计算，将得到的结果按照((V3，n1)，(V4，n2))的形式存储；

步骤1-3、将步骤1-2中计算得到的结果中过滤掉节点相同的结果，即过滤掉V3＝V4的情况，得到不同节点的网络图；

步骤1-4、将步骤1-3中得到的网络图中求取n1和n2中节点相同的个数，将该个数作为节点V3和节点V4组成的边构成的三角形数目，即得到任意一条边构成的三角形数目。

且k值设定的具体方法为：通过计算不同k值对应的模块度，将模块度最大值时对应的k值作为预设值；k值的取值范围为3～10；

通过将稠密子图的节点划分到各个超点内,使模块度达到最大，初始时每个节点独立为一类，根据模块度增益最大化将相似的点归为一类，优化目标是整个社区的模块度。

模块度用来评价超点内部紧密程度的度量，其中，模块度增益的计算公式为：

其中，m为整个网络图的度，∑in为社区内的所有边的数目，K_i,in为增加节点i进入社区后的关联边的数目，K_i就是所有与节点i相连接的边的数目，∑tot表示与社区内的节点相连接的边的数目。

步骤2、将每个稠密子图中的所有节点压缩成一个节点，将该节点标记为超点，将与所有超点相关联的边，标记为超边；

步骤3、将步骤2中的所有超点和复杂网络图中除超点外的其他节点组成新的节点集合，将超边和除超边外的其他边组成新的边集合，将新的节点集合和新的边集合形成所述复杂网络图的概要图。

通过将概要图分层进行存储，概要图分为外层存储和内层存储，以超点和复杂网络图中除超点外的其他节点为单元以及其关联边构建原始图关联信息的外层存储，以每个超点内部节点及其关联边构建超点内关联信息的内层存储。本实施例中，采用链接表的方式对每个超点和复杂网络图中除超点外的其他节点以及其关联边信息进行外层存储；矩阵的方式对每个超点内部节点以及其关联边信息进行内层存储。

通过外层和内层的存储方式保证了网络图存储的合理性，有利于可视化展现原始图的分层结构。如图2所示，是概要图外层存储的结构，将左边的子图压缩成超点7，将中间的子图压缩成超点8，将右边的子图压缩成超点9；由于外部的连接数目稀疏所以使用链接表存储；由于超点的内部联系紧密且超点相对于原始图是局部范围内的小图，所以采用矩阵的形式，通过矩阵记录超点内部的关联信息，当网络图为无向无属性图时，矩阵为邻接矩阵，对角线元素为0；当网络图为属性图时，对角线元素可以为每个节点属性值，通过对角线元素值能验证该方法的合理性。

概要图存储时还保存有概要图中所有边的权值，其中，概要图中边的权值设定的计算公式为：

其中，E_ij为节点i和j之间边的数目，|V_i|为超点i内部的节点数目；|V_j|为超点j内部的节点数目。

通过概要图中边的权值来表示节点间的联系程度，在边的权值设定公式中，权值W_(i,j)在[0,1]之间变化，权值越大，表示两节点间连接越紧密；权值越小，表示两节点间连接越松散；权值W_(i,j)为1时视作强连接，为0则表示无连接。

依据上述的存储结构，复杂网络可以分层可视化。对概要图进行分层展示，将概要图分成外层展示和内层展示，以超点和复杂网络图中除超点外的其他节点为单元及其关联边构建原始图关联信息的外层展示，以每个超点内部节点及其关联边构建超点内关联信息的内层展示。通过外层构成的抽象网络，通过内层展现超点内部链接。本实施例中，超点和普通点按照颜色和大小区分，对于复杂网络，通过外层展示和内层展示能清楚地展示原始图的拓扑结构以及超点内的关联信息，同时层次化有助于研究网络的内在特征，给大规模网络的研究带来了可行性。

社会网络中常出现的关系是三角形，三角形能表示出网络图中顶点的网络聚集系数，即某个范围内三角形数目多，则表示该范围内的顶点之间的联系紧密且顶点之间的性质相似，因此本方法用顶点组成的边构建的三角形数目来表示网络中节点的相似度和紧密度，并依据k值刻画不同粒度层次的稠密子图，划分筛选出的数据，使得划分后的数据达到模块度值最大化，从而形成超点，并结合边的关联信息构建概要图，因此概要图能有效减小数据规模，降低网络布局中节点和关联边密集的现象，同时概要图近似保持原始图的幂率性和聚类系数；且分层存储的方法能清晰地显示数据整体结构。

Claims (8)

1.一种复杂网络图的概要方法，将复杂网络图记为G＝(V，E)，其中，V为复杂网络图中节点的集合，E为复杂网络图中边的集合，其特征在于：包括以下步骤：

步骤1、在复杂网络图中挑选出满足如下条件的子图H＝(V′,E′)，对于子图中任意两节点u和v组成的边，u∈V′，v∈V′，满足条件：sup(e(u,v)，H)≥k-2，其中，sup(e(u,v)，H)＝|{Δ_uvw:w∈V′}|，Δ_uvw为任意节点u、v和w构成的三角形数目，将这些子图标记为稠密子图；其中，k为大于等于3的预设值；

步骤2、将每个稠密子图中的所有节点压缩成一个节点，将该节点标记为超点，将与所有超点相关联的边，标记为超边；

步骤3、将步骤2中的所有超点和复杂网络图中除超点外的其他节点组成新的节点集合，将超边和除超边外的其他边组成新的边集合，将新的节点集合和新的边集合形成所述复杂网络图的概要图。

2.根据权利要求1所述的复杂网络图的概要方法，其特征在于：所述步骤1中采用并行化方法计算任意节点u和v组成的边构成的三角形数目，具体步骤为：

步骤1-1、将复杂网络图G＝(V，E)按照网络图(V1，(V2))形式存储，其中，V1是V中的任意一个节点，V2为与V1相关联的所有节点；

步骤1-2、复制步骤1-1中的网络图(V1，(V2))，对这两个相同的网络图进行笛卡尔乘积计算，将得到的结果按照((V3，n1)，(V4，n2))的形式存储；

步骤1-3、将步骤1-2中计算得到的结果中过滤掉节点相同的结果，即过滤掉V3＝V4的情况，得到不同节点的网络图；

步骤1-4、将步骤1-3中得到的网络图中求取n1和n2中节点相同的个数，将该个数作为节点V3和节点V4组成的边构成的三角形数目，即得到任意一条边构成的三角形数目。

3.根据权利要求1所述的复杂网络图的概要方法，其特征在于：所述步骤1中k值设定的具体方法为：通过计算不同k值对应的模块度，将模块度最大值时对应的k值作为预设值。

4.根据权利要求3所述的复杂网络图的概要方法，其特征在于：所述步骤1中k值的取值范围为3～10。

5.根据权利要求1所述的复杂网络图的概要方法，其特征在于：所述步骤3中得到的概要图分层进行存储，概要图分为外层存储和内层存储，以超点和复杂网络图中除超点外的其他节点为单元以及其关联边构建原始图关联信息的外层存储，以每个超点内部节点及其关联边构建超点内关联信息的内层存储。

6.根据权利要求5所述的复杂网络图的概要方法，其特征在于：所述概要图采用链接表的方式对每个超点和复杂网络图中除超点外的其他节点以及其关联边信息进行外层存储。

7.根据权利要求5所述的复杂网络图的概要方法，其特征在于：所述概要图采用矩阵的方式对每个超点内部节点以及其关联边信息进行内层存储。

8.根据权利要求6或7所述的复杂网络图的概要方法，其特征在于：所述步骤3中的概要图存储时还保存有概要图中所有边的权值，其中，概要图中边的权值设定的计算公式为：

其中，E_ij为节点i和j之间边的数目，|V_i|为超点i内部的节点数目；|V_j|为超点j内部的节点数目。