CN110889001B - 一种基于图表征学习的大图采样可视化方法 - Google Patents

Abstract

本发明公开基于图表征学习的大图采样可视化方法，属于图可视化及图采样领域。所述方法利用node2vec算法，将原始网络中的节点转化为高维向量，进而利用降维算法将节点的高维向量投影至低维空间，投影点之间的距离能够有效表达对应节点在网络空间中的语义结构相似性。然后，设计自适应蓝噪声采样的多目标采样模型，有效地保持原始网络的拓扑结构；提出基于网络属性特征的度量指标，对不同采样算法进行量化评估，得到图采样结果评估，利用可视化方法呈现图采样结果评估。所述方法在表征空间中对节点进行采样，很好地简化保留原始网络的上下文结构，降低节点规模的同时有效保持网络的拓扑结构。

Description

一种基于图表征学习的大图采样可视化方法

技术领域

本发明属于图可视化及图采样领域，具体地涉及一种基于图表征学习的大图采样可视化方法。

背景技术

图可视化技术可以为网络图提供全方位、多角度的描述，允许用户探索式的分析网络结构，感知网络中的隐含特征。然而，面对大规模网络数据时，网络的视觉探索和分析能力往往受到其庞大规模的严重影响，例如，在有限的屏幕空间中数百万个节点和边相互重叠，用户很难找到感兴趣的网络关联模式。

图采样技术旨在从原始大规模网络数据集中提取具有代表性的样本图，是约简数据规模，提高用户分析效率与能力的常用方法。学者们对图采样技术进行了大量的研究，设计了多种采样方案以尽可能的保持原始网络的拓扑性质。例如，基于节点或边的随机采样方案，能够较为均匀地捕捉原始网络的聚集特性，但没有考虑网络的语义结构关联，使得采样结果很难保持联通，原始网络的结构信息可能会损失严重；而基于遍历的随机采样方案则进一步考虑了节点间的关联性质，其采样结果能较好的保持网络的连通性，但也容易陷入局部陷井，不能很好地保持原始网络的全局结构特征，具有较强的不确定性。而一些基于拓扑结构的采样算法由于节点间的强耦合关系，不可避免的产生了高复杂度运算的问题，难以处理和分析大规模网络图。因此，如何在采样方案中充分考虑网络的语义结构信息，使得采样结果尽可能保持感兴趣的网络结构仍然是一项困难的任务。

图表征学习则被认为是一种有效的网络语义结构编码方法，可以构造一个向量几何分布能够反映原始图结构信息的向量化空间。学者们对其进行了大量的研究以获得更高质量的网络向量化表示。例如，DeepWalk利用节点在网络上的随机游走路径来模仿文本生成的过程，得到具有结构信息的节点序列，从而基于Word2Vec模型进行分布式训练，有效提高学习效率；Struc2vec则从空间结构相似性的角度出发，通过节点对之间的度序列构建语料库，有效捕捉节点的结构角色相似性。然而，如何基于图表征算法所获得的网络向量化表示，在保留语义结构特征的同时有效实现网络数据的规模约简，仍然是一个急需解决的问题。

发明内容

针对现有技术存在的不足，本发明提供了一种基于图表征学习的大图采样可视化方法。

为实现上述目的，本发明所采取的技术方案是：一种基于图表征学习的大图采样可视化方法，具体包括如下步骤：

(1)利用图表征领域中的node2vec算法，将原始网络中的节点转化为高维向量；利用降维算法t-SNE将所述节点的高维向量投影至低维空间，获得反映节点语义结构相似性的表征投影空间；

(2)建立自适应蓝噪声采样的多目标采样模型，在步骤1所述表征投影空间中对原始网络进行自适应蓝噪声采样的随机采样，得到在表征投影空间中的采样结果，并根据两个期望目标对所述采样结果进行优化，得到优化后的采样结果；所述期望目标为中介中心性和图的连通性。

(3)利用节点链接图和散点图的可视化方法分别呈现步骤1中的原始网络和表征投影空间，利用社区直方图对原始网络和基于自适应蓝噪声采样的多目标采样模型的采样结果中社区个数和每个社区中的节点个数进行展示，借助Sankey图展示原始网络与基于自适应蓝噪声采样的多目标采样模型的采样结果之间的社区变化；然后通过基于紧密中心性、特征向量中心性、中介中心性、网络连通性、社区数量相似性和社区结构稳定性的量化指标，对步骤2所述的基于自适应蓝噪声采样的多目标采样模型与随机节点采样算法、归纳边缘采样算法、随机游走算法、归纳子图随机游走算法和森林火灾算法的采样结果进行量化评估，获得评估结果，利用可视化方法雷达图呈现评估结果。

进一步地，步骤2包括以下子步骤：

(2.1)在所述表征投影空间中进行基于自适应蓝噪声采样的随机采样：利用Poisson盘对原始网络进行局部区域划分，采用高斯核的核密度估计模型计算局部区域中节点的密度分布，根据所述密度分布自适应地确定每个Poisson盘的半径，获得Poisson盘的分布；在每个Poisson盘中随机选择一个采样点，集合每个Poisson盘的采样点，得到在表征投影空间中的采样结果；

(2.2)利用节点的中介中心性更新所述基于节点的密度分布自适应确定每个Poisson盘的半径的方法，优化了所述Poisson盘的分布结果；利用图的连通性逐一遍历相邻的Poisson盘，在每个Poisson盘中选取具有连通性的一个采样点，集合每个Poisson盘的采样点，得到所述表征投影空间中优化后的采样结果。

与现有技术相比，本发明的有益效果是：在保留语义结构特征的同时有效实现网络数据的规模约简；在表征空间中对节点进行采样，降低节点规模的同时有效保持网络结构特征；利用图表征领域中的node2vec算法，将原始网络中的节点转化为高维向量，得到节点的高维向量，进而利用降维算法t-SNE将节点的高维向量投影至低维空间，获得能够反映节点语义结构相似性的表征投影空间；建立一种基于自适应蓝噪声采样的多目标采样模型，在所述表征投影空间中对原始网络进行自适应蓝噪声采样的随机采样，得到在表征投影空间中的采样结果，并根据中介中心性和图的连通性期望目标对所述采样结果进行优化，保持所述表征投影空间中的采样结果的连通性；提出基于紧密中心性、特征向量中心性、中介中心性、网络连通性、社区数量相似性和社区结构稳定性的量化指标，对所述的基于自适应蓝噪声采样的多目标采样模型与随机节点采样算法、归纳边缘采样算法、随机游走算法、归纳子图随机游走算法和森林火灾算法的采样结果进行量化评估，得到评估结果，利用可视化方法呈现评估结果，使得评估结果不但能够很好地简化保留原始网络的上下文结构，而且能够保留网络的拓扑结构，有利于可视化专家分析和评价采样网络对网络属性的保持情况。与传统的采样方法相比，本发明很大程度上在降低节点规模的同时有效保持网络的拓扑结构，具有较强的实用性。

附图说明

图1是本发明大图采样可视化方法流程图；

图2是基于图表征领域的node2vec算法对block2000t数据的原始网络和节点高维向量可视化图：图2a表示block2000t数据的原始网络图，2b表示block2000t数据的节点高维向量图；

图3是在Oregonf数据集和10％采样率下基于自适应蓝噪声采样的多目标采样模型、随机游走算法和归纳边缘采样算法的采样结果的网络图和采样结果的表征投影空间图的比较分析图：3a表示原始网络的节点链接图，3b表示原始网络的表征投影空间图，3c表示本发明的基于基于自适应蓝噪声采样的多目标采样模型的采样结果的网络图，3d表示本发明的基于基于自适应蓝噪声采样的多目标采样模型的采样结果的表征投影空间图，3e表示基于随机游走算法的采样结果的网络图，3f表示基于随机游走算法的采样结果的表征投影空间图，3g表示基于归纳边缘采样算法的采样结果的网络图，3h表示基于归纳边缘采样算法的采样结果的表征投影空间图。

图4是在Oregonf数据集和10％采样率下基于自适应蓝噪声采样的多目标采样模型、随机游走和归纳边缘采样算法的社区特征比较分析图：4a表示原始网络和基于自适应蓝噪声采样的多目标采样模型的采样结果中社区个数和每个社区中的节点个数的社区直方图，4b表示原始网络与基于自适应蓝噪声采样的多目标采样模型的采样结果之间的社区变化的Sankey图，4c表示原始网络和基于随机游走算法的采样结果中社区个数和每个社区中的节点个数的社区直方图，4d表示原始网络与基于随机游走算法的采样结果之间的社区变化的Sankey图，4e表示原始网络和基于归纳边缘采样算法的采样结果中社区个数和每个社区中的节点个数的社区直方图，4f表示原始网络与基于归纳边缘采样算法的采样结果之间的社区变化的Sankey图。

具体实施方式

下面结合附图，对本发明作进一步阐述。

如图1为本发明大图采样可视化方法流程图，具体包括如下步骤：

步骤1)：构建语料库，首先，从给定的源节点u模拟出固定长度L的随机游走序列，w_i表示序列中的第i个节点，w_i-1表示序列中的第i-1个节点。从w_i＝u开始，节点w_i生成如公式(1)所示：

即若网络图E存在边(v,x),则以概率

选择下一节点x。其中，π_vx是节点v到x的非正则化转移概率，Z是正则化常数。

然后，基于2nd-order random walks思想，令π_vx＝α_pq(t,x)，如公式(2)所示：

其中，d_tx表示节点t和节点x之间最短路径的距离。当前一节点t和下一节点x与当前节点v距离相等时，α＝1；当从节点v跳转回t时，

其余情况为

其中，参数p控制了重新访问节点的可能性，而参数q用以确定下一个节点的遍历行为，当q>1时，进行广度优先搜索的遍历，q<1时，进行深度优先搜索的遍历。根据以上操作收集具有结构信息的游走序列，进而构建大规模语料库。

利用图表征领域中经典的node2vec算法来训练网络，将原始网络中的节点转化为高维向量，得到节点的高维向量，如公式(3)所示：

N_S(u)表示通过2nd-order random walks得到的节点u网络邻域，f(u)是将节点u映射为嵌入式向量的映射函数。此外，node2vec提出了两个独立性假设以简化计算，简化后，目标函数可以简化如下公式(4)所示：

其中，归一化因子Z_u同样通过负采样方法来近似得到，n_i∈N_S(u)表示n_i在N_S(u)中,f(n_i)是将节点n_i映射为嵌入式向量的映射函数。综上，通过node2vec算法，可以利用丰富的语义结构信息生成节点的高维向量。

利用降维算法t-SNE将节点的高维向量投影至低维空间，获得反映节点语义结构相似性的表征投影空间，如图2所示，2a表示block2000t数据的原始网络图，2b表示block2000t数据的节点高维向量图，通过图表征领域的node2vec算法对block2000t数据的原始网络和节点高维向量可视化图；

步骤2.1)：在步骤1所述表征投影空间中对原始网络进行自适应蓝噪声采样的随机采样，利用Poisson盘对原始网络进行局部区域划分，每个Poisson盘只有一个点会被随机选择为采样点。采用高斯核的核密度估计模型计算局部区域中节点的密度分布，根据所得到的节点的密度分布自适应地确定每个Poisson盘的半径，得到Poisson盘的分布，采用基于高斯核的核密度估计模型来量化估计局部区域节点的密度分布，如公式(5)所示：

其中，f(p)是点p的密度估计值，K_h带宽为h的高斯核函数，m是局部区域的点的总数。然后，我们定义Poisson盘的半径为

r_a是由用户交互式自定义的参数，用以控制采样率。

在每个Poisson盘中随机选择一个节点为采样点，集合每个Poisson盘的采样点，得到表征投影空间的采样结果。如果局部区域中的点分布密集，则相应的Poisson盘半径较小，如果局部区域中的点分布稀疏，则相应的Poisson盘半径变大。

步骤2.2)利用节点的中介中心性更新所述基于节点的密度分布自适应确定每个Poisson盘的半径的方法，优化了所述Poisson盘的分布结果；利用图的连通性逐一遍历相邻的Poisson盘，在每个Poisson盘中选取具有连通性的一个采样点，集合每个Poisson盘的采样点，得到所述表征投影空间中优化后的采样结果。

a)中介中心性是基于最短路径的网络属性指标，能够有效度量节点在图结构中的中心性，定义了一个假设，即中介度高的节点比中介度低的节点更重要。因此，利用节点的中介中心性更新所述基于节点的密度分布自适应确定每个Poisson盘的半径的方法，优化了所述Poisson盘的分布结果，如公式(6)所示：

其中，f(p_i)仍然是点p_i的密度估计，而b_i是点p_i的中介度。α表示节点密度的影响系数，β表示中介度的影响系数，可根据用户需求进行设置，r_a是由用户交互式自定义的参数，用以控制采样率。可以看出，当点的密度或中介度较大时，上述Poisson盘的半径较小，这在很大程度上优化了上述Poisson盘的分布，增加了重要点被选为代表点的概率。

b)利用图的连通性逐一遍历相邻的Poisson盘，在每个Poisson盘中选取具有连通性的节点作为采样点，集合每个Poisson盘的采样点，得到所述表征投影空间中优化后的采样结果，以保持所述表征投影空间中的采样结果的连通性。

具体的的优化选择过程如下：首先，在Poisson盘P₁中随机选择节点n₁作为源节点。当n₁被添加到节点采样集S中时，其邻域中的节点将被添加到采样候选集C中。然后，从采样候选集C中随机选择节点n_i作为下一个可能的采样点，通过判断函数决定是否将n_i添加到采样集S中，判断函数如公式(7)所示：

其中，d_i(n_s,n_i)表示投影空间中两个节点n_S和n_i之间的距离，n_S指代所有当前已确定的采样点，r_ns表示n_s所在Poisson盘的半径，r_ni表示n_i所在Poisson盘的半径。如果节点n_i所属Poisson盘p_i涵盖了n_s，舍去n_i，并返回到采样候选集C重新选择节点。如果P_i中不存在任意一个已确定的采样点，将采样P_i中中介值最大的节点。然后，循环以上过程，直到候选集为空，得到符合期望的采样集。

步骤3)：利用节点链接图和散点图的可视化方法分别呈现步骤1中的原始网络和表征投影空间，如图3所示，图3是在Oregonf数据集和10％采样率下基于自适应蓝噪声采样的多目标采样模型、随机游走算法和归纳边缘采样算法的采样结果的网络图和采样结果的表征投影空间图的比较分析图：3a表示原始网络的节点链接图，3b表示原始网络的表征投影空间图，3c表示本发明的基于基于自适应蓝噪声采样的多目标采样模型的采样结果的网络图，3d表示本发明的基于基于自适应蓝噪声采样的多目标采样模型的采样结果的表征投影空间图，3e表示基于随机游走算法的采样结果的网络图，3f表示基于随机游走算法的采样结果的表征投影空间图，3g表示基于归纳边缘采样算法的采样结果的网络图，3h表示基于归纳边缘采样算法的采样结果的表征投影空间图。从图3中可以发现本发明的基于自适应蓝噪声采样的多目标采样模型在表征投影空间中的投影仍然聚集在一起，而基于随机游走算法和归纳边缘采样算法在表征投影空间中的投影没有很好地聚集，说明本发明的基于基于自适应蓝噪声采样的多目标采样模型在表征投影空间中能够很大程度上保留原始网络的上下文结构，而随机游走算法和归纳边缘采样算法没有很好地保留原始网络的上下文结构。

利用社区直方图对原始网络和基于自适应蓝噪声采样的多目标采样模型的采样结果中社区个数和每个社区中的节点个数进行展示，借助Sankey图展示原始网络与基于自适应蓝噪声采样的多目标采样模型的采样结果之间的社区变化；如图4所示，是在Oregonf数据集和10％采样率下基于自适应蓝噪声采样的多目标采样模型、随机游走算法和归纳边缘采样算法的社区特征比较分析图：4a表示原始网络和基于自适应蓝噪声采样的多目标采样模型的采样结果中社区个数和每个社区中的节点个数的社区直方图，4b表示原始网络与基于自适应蓝噪声采样的多目标采样模型的采样结果之间的社区变化的Sankey图，4c表示原始网络和基于随机游走算法的采样结果中社区个数和每个社区中的节点个数的社区直方图，4d表示原始网络与基于随机游走算法的采样结果之间的社区变化的Sankey图，4e表示原始网络和基于归纳边缘采样算法的采样结果中社区个数和每个社区中的节点个数的社区直方图，4f表示原始网络与基于归纳边缘采样算法的采样结果之间的社区变化的Sankey图。从4a中可以发现本发明的基于自适应蓝噪声采样的多目标采样模型的采样结果的社区直方图的分布基本吻合原始网络的社区直方图的分布，从4b中可以发现本发明的基于自适应蓝噪声采样的多目标采样模型能够有效保留原始网络的社区结构；而从4c中发现基于随机游走算法的采样结果的社区直方图的分布波动较大，从4d中看出基于随机游走算法在保留原始网络的社区结构表现的很差；从4e中发现基于归纳边缘采样算法的采样结果的社区直方图的分布基本吻合原始网络的社区直方图的分布，但是在4f中基于归纳边缘采样算法在保留原始网络的社区结构上还是略差于本发明的基于自适应蓝噪声采样的多目标采样模型。综上所述，本发明的基于自适应蓝噪声采样的多目标采样模型在很好地保持社区的结构上，比随机游走算法和归纳边缘采样算法表现得更好。

然后通过基于紧密中心性、特征向量中心性、中介中心性、网络连通性、社区数量相似性和社区结构稳定性的量化指标，对步骤2所述的基于自适应蓝噪声采样的多目标采样模型与随机节点采样算法、归纳边缘采样算法、随机游走算法、归纳子图随机游走算法和森林火灾算法的采样结果进行量化评估，获得评估结果，利用可视化方法雷达图呈现评估结果。从评估结果中可以发现本发明的基于自适应蓝噪声采样的多目标采样模型在紧密度中心度和中介中心性上的保留效果都明显高于所述其它采样算法，说明本发明的基于自适应蓝噪声采样的多目标采样模型可以更好的保留原始网络中具有较高紧密性中心性和中间中心性的节点；本发明的基于自适应蓝噪声采样的多目标采样模型在社区的数量稳定性、社区结构稳定性和图的连通性指标上均有出色的表现，在采样过程中对原始网络的社区结构进行了合理的保留，随机节点采样算法在社区的数量稳定性指标上具有很好的表现，但是随机节点采样算法在社区结构稳定性指标上表现不佳，而归纳边缘采样算法、随机游走算法、归纳子图随机游走算法和森林火灾算法在社区的数量稳定性和社区结构稳定性指标上均表现得不好，说明本发明的基于自适应蓝噪声采样的多目标采样模型在采样过程中有效地保留了原始网络的拓扑结构。综上所述，本发明的基于自适应蓝噪声采样的多目标采样模型比所述其他采样算法可以更好地保留原始网络拓扑结构。

使用本发明方法后，降低节点规模的同时有效保持原始网络拓扑结构，而且对大规模网络数据进行简化保留原始网络的上下文结构。相比于传统的采样方法，本发明很大程度上保留原始网络的拓扑结构，简化保留原始网络的上下文结构，具有较强的实用性。

Claims (2)

1.一种基于图表征学习的大图采样可视化方法，其特征在于，具体包括如下步骤：

(1)利用图表征领域中的node2vec算法，将原始网络中的节点转化为高维向量；利用降维算法t-SNE将所述节点的高维向量投影至低维空间，获得反映节点语义结构相似性的表征投影空间；

(2)建立自适应蓝噪声采样的多目标采样模型，在步骤(1)所述表征投影空间中对原始网络进行自适应蓝噪声采样的随机采样，得到在表征投影空间中的采样结果，并根据两个期望目标对所述采样结果进行优化，得到优化后的采样结果；所述期望目标为中介中心性和图的连通性；

(3)利用节点链接图和散点图的可视化方法分别呈现步骤(1)中的原始网络和表征投影空间，利用社区直方图对原始网络和基于自适应蓝噪声采样的多目标采样模型的采样结果中社区个数和每个社区中的节点个数进行展示，借助Sankey图展示原始网络与基于自适应蓝噪声采样的多目标采样模型的采样结果之间的社区变化；然后通过基于紧密中心性、特征向量中心性、中介中心性、网络连通性、社区数量相似性和社区结构稳定性的量化指标，对步骤(2)所述的基于自适应蓝噪声采样的多目标采样模型与随机节点采样算法、归纳边缘采样算法、随机游走算法、归纳子图随机游走算法和森林火灾算法的采样结果进行量化评估，获得评估结果，利用可视化方法雷达图呈现评估结果。

2.根据权利要求1所述的基于图表征学习的大图采样可视化方法，其特征在于，步骤(2)包括以下子步骤：

(2.1)在所述表征投影空间中进行基于自适应蓝噪声采样的随机采样：利用Poisson盘对原始网络进行局部区域划分，采用高斯核的核密度估计模型计算局部区域中节点的密度分布，根据所述密度分布自适应地确定每个Poisson盘的半径，获得Poisson盘的分布；在每个Poisson盘中随机选择一个采样点，集合每个Poisson盘的采样点，得到在表征投影空间中的采样结果；

(2.2)利用节点的中介中心性更新所述基于节点的密度分布自适应确定每个Poisson盘的半径的方法，优化了所述Poisson盘的分布结果；利用图的连通性逐一遍历相邻的Poisson盘，在每个Poisson盘中选取具有连通性的一个采样点，集合每个Poisson盘的采样点，得到所述表征投影空间中优化后的采样结果。

Images