CN111597665A - 一种基于网络分区的层次网络嵌入方法 - Google Patents

Abstract

本发明公开了一种基于网络分区的层次网络嵌入方法，包括：基于模块度增益判断网络原图中节点的归属社区，确定网络分区数；将网络分区数设定为最小规模抽象图的规模阈值，基于混合坍缩方法对网络原图进行图抽象，输出规模逐渐缩小的抽象图，直至最粗抽象图等于最小规模抽象图的规模；根据基线算法对最粗抽象图进行表示学习，得到最粗抽象图的表示；通过嵌入传播方法由最粗抽象图的表示逐层传播和细化，得到原始图表示。本发明提高了基线方法的网络表示效果，减少阈值设定的人为干预问题，进一步提高网络表示的准确度，可广泛用于链路预测、多标签节点分类、社区发现、推荐系统领域。

Description

一种基于网络分区的层次网络嵌入方法

技术领域

本发明涉及智能信息处理技术领域，更具体的说是涉及一种基于网络分区的层次网络嵌入方法。

背景技术

真实世界中许多复杂网络都具有数据稀疏的特点，例如我们所熟悉的科研合作网络、社交网络等。这些具有核心节点的网络所呈现的分布形式是长尾分布，造成了网络的稀疏性。网络嵌入又称网络表示学习，其核心思想是为了将网络数据映射为网络中每个节点的低维向量表示，之后这些表示能够作为特征应用到网络应用任务，例如：链路预测、节点分类、社区发现和推荐系统。网络嵌入不仅可以提升网络分析的计算效率，还可以缓解数据稀疏的问题，从而得到更准确的节点表示。

基于矩阵特征向量计算的算法，是较早用于网络表示学习的方法，在一定程度上扩大了对维数约简的认识。例如，Zhang等人提出一种针对非线性数据的无监督降维方法，它在保持原始数据性质不变的情况下，将高维空间映射到低维空间上，实现特征值的二次提取。Mikolov等人基于局部的角度去构建节点之间关系的方法，它假设邻居节点的降维表示相近，该假设可以类似地转化为Laplace矩阵的特征向量进行计算。上述基于矩阵特征向量计算方法最主要的缺点在于复杂度高，即针对于高维矩阵的特征向量计算比较消耗计算时间和空间。Perozzi等人是第一个将深度学习中的技术应用到网络表示学习领域的算法，使用随机游走序列建模而不是邻接矩阵，降低了邻接矩阵带来的较高的计算时间和空间消耗问题。Tang等人提出一种适用于大规模有向带权图算法，首次提出了使用第一级相似度和第二级相似度对节点对进行概率建模。然而，上述算法的策略在带来效率的同时，会忽视网络中更深层的信息，如社区信息。Chen等人提出一种网络的多层级表示学习方法，基于混合坍缩方法保留网络的结构，但人工设定的层级阈值在一定程度上影响了网络表示的效果。

综上所述，现有的网络嵌入方法可以有效进行网络表示，但基于局部结构的思想忽略了网络的全局结构，这将造成所学习的表示会丢失网络隐含的结构信息。此外，网络嵌入方法中的目标函数几乎都是非凸问题，非凸优化问题的求解会在很大程度上影响算法的性能。

因此，如何提供一种新型的基于网络分区的层次网络嵌入方法是本领域技术人员亟需解决的问题。

发明内容

有鉴于此，本发明提供了一种基于网络分区的层次网络嵌入方法，提高了基线方法的网络表示效果，减少阈值设定的人为干预问题，进一步提高网络表示的准确度，可广泛用于链路预测、多标签节点分类、社区发现、推荐系统领域。

为了实现上述目的，本发明采用如下技术方案：

一种基于网络分区的层次网络嵌入方法，包括：

步骤1：基于模块度增益判断网络原图中节点的归属社区，确定网络分区数；

步骤2：将网络分区数设定为最小规模抽象图的规模阈值，基于混合坍缩方法对网络原图进行图抽象，输出规模逐渐缩小的抽象图，直至最粗抽象图等于最小规模抽象图的规模；

步骤3：根据基线算法对最粗抽象图进行表示学习，得到最粗抽象图的表示；

步骤4：通过嵌入传播方法由最粗抽象图的表示逐层传播和细化，得到原始图表示。

进一步，步骤1包括：

步骤11：输入网络原图G＝(V,E)，其中，V表示网络原图G的节点集，E 表示网络原图G的边集；

步骤12：根据模块度增益ΔQ将网络原图中的节点重新划分归属社区，从而确定出网络分区数n_c；

ΔQ表示模块度增益，其值反应了节点i由当前社区并入到其邻居社区的模块度增益，|E|表示网络原图中边数目，c_a表示节点i发生社区变化前的邻居社区，c_b表示节点i发生社区变化前的当前社区，

表示节点i发生社区变化前社区c_a中所有节点的度之和，

表示节点i发生社区变化前社区c_b中所有节点的度之和，k_i表示节点i的度，

表示节点i与并入后社区c_a中节点的连接边数，

表示节点i与并入前社区c_b中节点的连接边数。

进一步，步骤2具体包括：

在图抽象的过程中，每层图的划分结果需要满足以下条件：

其中,C_i、C_j分别表示网络原图中第i、j个社区；|C_i|表示网络原图中的分区数目，v_j表示网络原图分区C_i的节点集，V表示网络原图的节点集，G表示网络原图；

通过图抽象输出规模逐渐缩小的抽象图：

G_ai＝(V_ai,E_ai),i＝1,2,...,L (3)

其中，|V_ai|＜＜|V|,|E_ai|＜＜|E|，|V|表示网络原图的节点数目，|E|表示网络原图的边数目，V_ai表示抽象图G_ai的节点集，E_ai表示抽象图G_ai的边集，|V_ai|表示抽象图G_ai的节点数目，|E_ai|表示抽象图G_ai的边数目，i表示第i层抽象图，即抽象图所在的层级数。

进一步，混合坍缩方法具体坍缩过程需要满足双射函数和满射函数：

双射函数f:

使得

有

其中C表示网络原图的社区，v_a表示抽象图的节点，V_a表示抽象图节点集，C_i表示网络原图的各个社区，

表示抽象图节点集的各个节点；

满射函数g:

使得

有

其中G表示网络原图，V表示网络原图节点集，G_a表示抽象图，V_a表示抽象图节点集，v_i表示网络原图节点集V的各个节点，

表示抽象图节点集V_a的各个节点。

进一步，步骤3具体为：

通过基线算法Embed()应用于(G_aL,0)进行学习，得到最粗抽象图的表示

G_aL表示最粗抽象图，0表示零矩阵，作为最粗抽象图的初始参照。

进一步，步骤4具体为：

将最粗抽象图的表示

作为最粗抽象图的上一层抽象图G_aL-1的参照嵌入，将传播算法Propagation()应用于

将基线算法Embed()应用于

得到最粗抽象图的上一层抽象图的表示

重复以上步骤，直到嵌入传播得到首层抽象图G_a0的表示

进一步，嵌入传播过程需要满足嵌入函数和传播函数：

传播函数p:

其中G_aL-1表示最粗抽象图的上一层抽象图，G_aL表示最粗抽象图，

表示最粗抽象图的表示，

表示最粗抽象图的上一层抽象图的参照嵌入；

嵌入函数e:

其中G_aL-1表示最粗抽象图的上一层抽象图，

表示最粗抽象图的上一层抽象图的参照嵌入，G_aL-1表示最粗抽象图的上一层抽象图的表示。

经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种基于网络分区的层次网络嵌入方法，本发明方法作为一个嵌套型算法，可嵌套在现有的网络嵌入模型中，从而提高基线方法的网络表示效果。此外，本方法可以减少阈值设定的人为干预问题，进一步提高网络表示的准确度，可广泛用于链路预测、多标签节点分类、社区发现、推荐系统领域。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明方法流程图。

图2为本发明方法的模型图。

图3为本发明方法的网络嵌入应用流程图。

图4为本发明方法在CiteSeer数据集上分别基于DeepWalk、LINE、 Node2Vec的Macro-F1得分实验结果对比图。

图5为本发明方法在BlogCatalog数据集上分别基于DeepWalk、LINE、 Node2Vec的Macro-F1得分实验结果对比图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例公开了一种基于网络分区的层次网络嵌入方法，步骤一，基于模块度增益ΔQ的分区策略来预先确定网络的划分，目的是获得网络的分区情况，将网络的各区抽象为节点从而获得网络的最粗抽象图规模；步骤二，基于混合坍缩方法由原始网络构造出一系列规模逐渐缩小的抽象图，抽象缩小规模直至规模等于分区策略所得的最粗抽象图规模，其中图的节点数代表图的规模；步骤三，基于现有的基线算法学习最粗抽象图的表示；步骤四，通过嵌入传播方法由最粗抽象图的表示逐层传播和细化到原始图表示。基于网络的局部结构和全局结构进行网络嵌入，从而提高网络表示的准确度。

具体的，步骤一：输入网络原图G＝(V,E)，其中，V表示网络原图G的节点集，E表示网络原图G的边集，基于模块度增益判断网络原图中节点的归属社区。

模块度计算公式

用来衡量网络分区的稳定性。由此公式可知，将节点i由当前社区c_b并入到其邻居社区c_a，并入前后的模块度分别为：

并入后的模块度减去并入前的模块度可得模块度增益：

其中，ΔQ表示模块度增益，其值反应了节点i由当前社区并入到其邻居社区的模块度增益，E表示网络原图的边集，|E|表示网络原图中边数目，

表示网络原图中社区c_a的边集，即发生社区变化前社区c_a的边集，

表示网络原图中社区c_b的边集，即发生社区变化前社区c_b的边集，|E_c|表示社区c的边数目，

表示发生社区变化前社区c_a的边数目，

表示发生社区变化前社区c_b的边数目，n_c表示网络原图中的社区数目，

表示节点i发生社区变化前社区c_a中所有节点的度之和，

表示节点i发生社区变化前社区c_b中所有节点的度之和，k_i表示节点i的度，

是节点i与并入后社区c_a中节点的连接边数，同理

是节点i与并入前社区c_b中节点的连接边数。

采取ΔQ值判断节点的社区归属，其思想是依次计算节点i归并到其各个邻居节点所在社区后模块度的增益值，将节点归属到模块度增益最大的社区，如果最大模块度增益是非正，则保持原社区不变，重复进行归并计算，直至模块度不再增加为止。基于模块度增益ΔQ的分区策略来预先确定网络的划分，将网络分区数作为后续网络抽象的最粗抽象图规模的阈值。

步骤二：将步骤一中预确定的网络分区数设定为最小规模抽象图的阈值，最粗抽象图也称最小规模抽象图。基于混合坍缩方法构造出原图G＝(V,E)的一系列规模逐渐缩小的抽象图：

G_ai＝(V_ai,E_ai),i＝1,2,...,L (4)

抽象缩小规模直至规模等于最粗抽象图规模的阈值。抽象输出一系列规模逐级缩小的抽象图这一过程称为图抽象。其中，|V_ai|＜＜|V|,|E_ai|＜＜|E|，即这一系列抽象图规模均远小于原图规模。上述公式中，|V|表示网络原图G的节点数目，|E|表示网络原图G的边数目，V_ai表示抽象图G_ai的节点集，E_ai表示抽象图G_ai的边集，|V_ai|表示抽象图G_ai的节点数目，|E_ai|表示抽象图G_ai的边数目，i表示第i层抽象图，即抽象图所在的层级数。

混合坍缩方法包含两种坍缩方式，即边坍缩和星型坍缩，分别基于一级相似度和二级相似度的思想构建。边坍缩考虑的是节点与其邻居节点的相似度，星型坍缩考虑的是公共邻域中节点的相似度。在图抽象的过程中，每层图的划分结果均满足以下两个条件：

其中C_i、C_j分别表示网络原图中第i、j个社区，此条件表示任意两个社区之间的交集为空集，即任意两个社区之间没有重合的节点。

其中C_i表示图G中的第i个社区，|C_i|表示图G的分区数目，v_j表示分区C_i的节点集，V表示图G的节点集，此条件表示图中所有社区的节点集的并集等于图的节点集。

坍缩过程满足一个双射函数和一个满射函数：

双射函数f:

使得

有

其中C表示网络原图的社区，v_a表示抽象图的节点，C_i表示网络原图的社区，

表示抽象图节点集V_a的各个节点，此双射函数表示抽象图中的节点与原图的社区一一映射。

满射函数g:

使得

有

其中G表示网络原图，V表示网络原图节点集，G_a表示抽象图，V_a表示抽象图节点集，v_i表示网络原图节点集V的各个节点，

表示抽象图节点集V_a的各个节点，此满射函数表示抽象图中的节点至少有一个原图的节点与其对应。

在步骤一中通过对网络原图G的划分，得到图G的分区{C₁,C₂,···,C_n}，将此结果中的各区抽象为节点形成下一层抽象图，在下一层抽象图上基于混合坍缩策略进行划分抽象成再下一层抽象图，以此类推直至达到最粗图规模获得最粗抽象图。

步骤三：利用步骤二中获得的最粗抽象图，基于DeepWalk、LINE、 Node2Vec三种基线算法Embed()应用于(G_aL,0)来学习得到最粗抽象图G_aL的表示

其中Embed()表示现有的网络嵌入方法，(G_aL,0)中G_aL表示最粗抽象图，0表示零矩阵作为最粗抽象图的初始参照嵌入，

表示最粗抽象图的表示，经步骤三获得最粗抽象图G_aL的表示

步骤四：基于步骤三中所得的最粗抽象图的表示，将传播算法 Propagation()和基线算法Embed()由最粗抽象图表示传播延长至首层抽象图。嵌入传播这一过程的目的是逐层细化获得原图G的精确表示Φ_G。这一过程满足传播函数和嵌入函数：

传播函数p:

其中G_aL-1表示最粗抽象图的上一层抽象图，G_aL表示最粗抽象图，

表示最粗抽象图表示，

表示最粗抽象图的上一层抽象图的参照嵌入。此传播函数表示将G_aL的表示

传播延长作为其上一层抽象图G_aL-1的参照嵌入

即通过结合最粗抽象图和上一层抽象图以及最粗抽象图表示获得上一层抽象图的参照表示。

嵌入函数e:

其中G_aL-1表示最粗抽象图的上一层抽象图，

表示最粗抽象图的上一层抽象图的参照嵌入，G_aL-1表示最粗抽象图的上一层抽象图的精确表示。此嵌入函数表示通过结合抽象图和该抽象图的参照嵌入表示获得该抽象图的精确表示。

通过多层抽象图G_ai的嵌入传播细化要比直接基于原图G嵌入的效果更优，这里有两个原因：第一，抽象图G_ai中的节点对应为其上一层抽象图G_ai-1中的社区，也就是说抽象图G_ai包含了原图G的网络结构特征；第二，在嵌入传播的过程中，经过逐级嵌入能够产生更平滑的目标函数。

实施例1：基于网络分区的层次网络嵌入方法，包括以下步骤：

步骤A：输入图G＝(V,E)。

步骤B：按照ΔQ值判断节点的社区归属，将节点归属到其模块度增益最大的社区，基于模块度增益ΔQ的分区策略来预先确定网络的分区数n_c，以此限制抽象的层数L。

步骤C：首层抽象图G_a0初始化为网络原图G。

步骤D：对抽象图基于边坍缩和星型坍缩的混合坍缩方法进行图抽象，形成下一层抽象图。

步骤E：划分过程满足各区之间没有重合的节点，即

网络G 中所有社区的节点集的并集等于G的节点集，即

步骤F：重复步骤D-E，直到最粗抽象图中的节点数|V_aL|等于n_c，输出一系列规模逐渐缩小的抽象图G_a0,G_a1,...,G_aL。

步骤G：通过基线算法Embed()学习得到最粗抽象图G_aL的表示

其中最粗抽象图的参照嵌入初始化为零矩阵。

步骤H：将传播算法Propagation()应用于

将G_aL的表示

传播延长作为其上一层抽象图G_aL-1的参照嵌入

步骤I：将基线算法Embed()应用于

得到精准的表示

通过结合抽象图G_aL-1和该抽象图的参照嵌入表示

获得该抽象图的精确表示

步骤J：重复步骤H-I，直到嵌入传播得到首层抽象图G_a0的表示

即得到原图G的精确表示。

实验验证：

利用本发明方法在CiteSeer数据集上不同标签率对应的Macro-F1得分增益对比，如表1所示：

表1：CiteSeer数据集的标签率

本发明方法在BlogCatalog数据集上不同标签率对应的Macro-F1得分增益对比，如表2所示：

表2：BlogCatalog数据集的标签率

通过表1、表2数据可知，嵌套了NPHNE算法的三种基线算法同原基线算法相比在各标签率下均有得分增益。其中，在1％标签率的CiteSeer数据集下，嵌套了NPHNE算法的LINE算法同原LINE基线算法的得分增益高达 29.1％；在10％标签率的BlogCatalog数据集下，嵌套了NPHNE算法的 Node2Vec算法的得分增益是嵌套了HARP算法的Node2Vec算法的得分增益的近6倍。表中数据说明，NPHNE作为可嵌套算法可有效的提高原基线算法的网络表示效果。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (7)

1.一种基于网络分区的层次网络嵌入方法，其特征在于，包括：

步骤1：基于模块度增益判断网络原图中节点的归属社区，确定网络分区数；

步骤2：将网络分区数设定为最小规模抽象图的规模阈值，基于混合坍缩方法对网络原图进行图抽象，输出规模逐渐缩小的抽象图，直至最粗抽象图等于最小规模抽象图的规模；

步骤3：根据基线算法对最粗抽象图进行表示学习，得到最粗抽象图的表示；

步骤4：通过嵌入传播方法由最粗抽象图的表示逐层传播和细化，得到原始图表示。

2.根据权利要求1所述的一种基于网络分区的层次网络嵌入方法，其特征在于，步骤1包括：

步骤11：输入网络原图G＝(V,E)，其中，V表示网络原图G的节点集，E表示网络原图G的边集；

步骤12：根据模块度增益ΔQ将网络原图中的节点重新划分归属社区，从而确定出网络分区数n_c；

ΔQ表示模块度增益，其值反应了节点i由当前社区并入到其邻居社区的模块度增益，|E|表示网络原图中边数目，c_a表示节点i发生社区变化前的邻居社区，c_b表示节点i发生社区变化前的当前社区，

表示节点i发生社区变化前社区c_a中所有节点的度之和，

表示节点i发生社区变化前社区c_b中所有节点的度之和，k_i表示节点i的度，

表示节点i与并入后社区c_a中节点的连接边数，

表示节点i与并入前社区c_b中节点的连接边数。

3.根据权利要求2所述的一种基于网络分区的层次网络嵌入方法，其特征在于，步骤2具体包括：

在图抽象的过程中，每层图的划分结果需要满足以下条件：

其中,C_i、C_j分别表示网络原图中第i、j个社区；|C_i|表示网络原图中的分区数目，v_j表示网络原图分区C_i的节点集，V表示网络原图的节点集，G表示网络原图；

通过图抽象输出规模逐渐缩小的抽象图：

G_ai＝(V_ai,E_ai),i＝1,2,...,L (3)

其中，|V_ai|＜＜|V|,|E_ai|＜＜|E|，|V|表示网络原图的节点数目，|E|表示网络原图的边数目，V_ai表示抽象图G_ai的节点集，E_ai表示抽象图G_ai的边集，|V_ai|表示抽象图G_ai的节点数目，|E_ai|表示抽象图G_ai的边数目，i表示第i层抽象图。

4.根据权利要求3所述的一种基于网络分区的层次网络嵌入方法，其特征在于，混合坍缩方法具体坍缩过程需要满足双射函数和满射函数：

双射函数f:

使得

有

其中C表示网络原图的社区，v_a表示抽象图的节点，V_a表示抽象图节点集，C_i表示网络原图的各个社区，

表示抽象图节点集的各个节点；

满射函数g:

使得

有

其中G表示网络原图，V表示网络原图节点集，G_a表示抽象图，V_a表示抽象图节点集，v_i表示网络原图节点集V的各个节点，

表示抽象图节点集V_a的各个节点。

5.根据权利要求4所述的一种基于网络分区的层次网络嵌入方法，其特征在于，步骤3具体为：

通过基线算法Embed()应用于(G_aL,0)进行学习，得到最粗抽象图的表示

G_aL表示最粗抽象图，0表示零矩阵，作为最粗抽象图的初始参照。

6.根据权利要求5所述的一种基于网络分区的层次网络嵌入方法，其特征在于，步骤4具体为：

将最粗抽象图的表示

作为最粗抽象图的上一层抽象图G_aL-1的参照嵌入，将传播算法Propagation()应用于

将基线算法Embed()应用于

得到最粗抽象图的上一层抽象图的表示

重复以上步骤，直到嵌入传播得到首层抽象图G_a0的表示

7.根据权利要求6所述的一种基于网络分区的层次网络嵌入方法，其特征在于，嵌入传播过程需要满足嵌入函数和传播函数：

传播函数p:

其中G_aL-1表示最粗抽象图的上一层抽象图，G_aL表示最粗抽象图，

表示最粗抽象图的表示，

表示最粗抽象图的上一层抽象图的参照嵌入；

嵌入函数e:

其中G_aL-1表示最粗抽象图的上一层抽象图，

表示最粗抽象图的上一层抽象图的参照嵌入，G_aL-1表示最粗抽象图的上一层抽象图的表示。

Images