CN112417219A - 基于超图卷积的超边链接预测方法 - Google Patents

Abstract

本发明公开了一种基于超图卷积的超边链接预测方法，旨在通过采用超边建模网络数据中的多元关联关系，实现潜在超边链接关系的预测，从而克服基于成对关系的网络数据进行研究的传统方法所带来的局限。该模型的步骤为：1.通过特征提取构建特征矩阵，将原始网络邻接矩阵转换为超图关联矩阵；2.融合超图卷积实现超图卷积自动编码器，将超图网络数据转换成一种低维空间表示；3.加入节点近邻度函数，最大程度的保留其结构信息；4.通过迭代优化获得鲁棒的隐层向量表示从而预测潜在的超边关联关系。

Description

基于超图卷积的超边链接预测方法

技术领域

本发明涉及一种基于超图卷积的超边预测方法，更具体地说，本发明涉及一 种异质信息网络超边预测方法。

背景技术

网络是表达实体间联系的一种重要形式，真实世界的数据通常被组织成图结 构的方式。图数据分析在数据挖掘任务中起着重要的作用，如链接预测。链接 预测作为网络分析任务的重要问题之一，其目的在于预测网络中缺失的边，或 者可能出现的边。这些任务适用于各种图数据，包括蛋白质-蛋白质相互作用网 络、社交媒体和引文网络。然而，由于图数据分析具有较高的计算代价和较低 的并行性，因此，处理图数据是一项具有挑战性的任务。

目前，基于网络表示学习实现链接预测任务主要有两类方法：基于同质信息 网络的研究方法和基于异质信息网络的研究方法。在同质信息网络中，可以通 过表示学习获得节点的低维向量表示，并以此来预测网络中是否存在链接。Perozzi等人提出的DeepWalk模型通过流式随机游走方法，利用通用的语言模 型探究图结构。Grover等人在此基础上改进了随机游走过程，通过引入广度优 先搜索策略和深度优先搜索策略，同时考虑了节点的局部和全局邻接特征，获 得节点表示。这些方法直接学习节点的低维表示，但在获取丰富的邻域信息方 面存在局限性。随着神经网络技术的普及，基于深度神经网络探索网络结构引起了学者们的关注。图神经网络(GNNs)利用深度神经网络对相邻节点的特征信 息进行增强，提升了节点聚合嵌入的能力。Bruna等人将图卷积通过傅里叶变换 拓展到图的频域中。Thomas等人在此基础上做了改进，使用谱图卷积(Spectral Graph Convolution)的局部一阶近似确定卷积结构，可以学习图上局部结构的特 征，并进行编码。Velickovic等人在表示学习过程中引入了注意力机制，通过自 注意力来衡量不同邻居的影响。然而，基于同质信息网络的表示学习方法在学 习过程中，忽略了节点和边的类型。因此，基于同质信息网络表示的链接预测 方法效果并不是很理想。在异质信息网络中，可以利用更多类型的节点信息， 学习到更丰富的向量表示，并以此预测节点间是否存在链接。Wang等人提出 SHINE模型解决异质信息网络中的情感链接预测问题，该模型利用多个深度自 编码器学习节点的向量表示，并将其融合到同一空间用于情感链接预测。Fu等 人提出Hin2vec模型基于随机游走同时学习节点和边的向量表示，并将学到的节 点向量用于链接预测任务。Shang等人提出考虑多条路径信息学习节点的表示， 该方法在面对具体问题时，无法学习到最优的权重组合。Wang等人提出HAN 模型将注意力机制引入异质信息网络学习过程中，通过节点级别注意力区分一 个节点在元路径上邻居节点的不同的重要性，语义级别注意力基于元路径将多 种语义信息结合到一起，学习每条语义的权重，从而能够更好地学习到节点的表示用于链接预测任务。

另一方面，以上方法都假定对象之间的关系是成对的。它意味着每条边只连 接两个节点。然而，在现实生活中对象实体之间的关系往往是较为复杂的单对 多或者多对多的多元关联关系，例如，在社交网络中，用户对电影进行评价， 将用户、电影和标签作为节点，用户的评价看作一个事件作为图的边，每条边 可以连接两个以上的节点。在这种情况下，其关系不再是二元的(成对的)，而是 三元、四元或更多元的。在解决该类问题时，如果简单的把多元关系强制转换 为二元关联关系，那么将会丢失很多有用的信息。由此引出超图的概念，利用 超边同时连接多个节点的特殊图网络。如Facebook和新浪微博等构成的社交网络，用户之间的关系复杂多样，可能包含多个实体，如果仅将其建模为两两节 点之间的链接关系，那么将会忽略很多复杂关联关系的信息，因此，通过超边 定义三个或三个以上实体构成的关系，形成超图，从而预测节点间存在的超边 链接关系十分重要。

近年来，超图的表示学习引起了研究人员的关注。虽然，图神经网络在学习 简单图上的特征方面取得了重要进展，但超图的深度学习研究仍处于初级的阶 段。仍然存在一些不足，主要体现在：

1.侧重直接连接关系

目前的链接预测方法大多集中于成对网络关系的研究，从而忽略了网络中存 在的高阶关联关系。

2.大规模网络应用精度不高

目前，尽管针对直接相连关系的链接预测精准度较高，但就整体而言，基于 超边的预测精准度却不高。

发明内容

本发明所要解决的技术问题是克服了现有技术存在的侧重直接连接关系及 在大规模网络应用精度不高等问题，为了将由此引出本发明所研究的主要问题： 如何充分捕捉超图中的高阶信息，实现超图上的超边链接预测问题。本发明提 出的基于超图卷积的超边链接预测方法包括三个主要模块：

1.数据预处理模块；

2.超图卷积自动编码器模块；

3.节点近邻度函数模块；

4.超边链接预测模块；

相关定义解释：

1)异质信息网络.异质信息网络可定义为G＝(V,E)，其中V是所有节点的 集合，E为所有边的集合。一个异质图通过节点类型映射函数Φ：V→A和边类 型映射函数ψ:E→Ρ相关联，A和Ρ表示一组预定义的节点类型和边类 型,|A|+|Ρ|＞2。

2)超图.超图(Hypergraph)是一种广义上的图，其边可以和任意数量的节点 连接。对于给定的超图网络，采用图(Graph)对其建模，超图与普通图的主要区 别在于图中边上节点的个数不同，在普通图中，一条边包含两个节点，在超图 中，边被称为超边(Hyper-edge)，一条超边包含多个节点。给定一个超图网络， 将其建模为超图

其中，

是超图网络的有限节点集， Ε＝{Ε₁,Ε₂,...,Ε_i}为超边集合，对于任意一条超边Ε_i∈Ε是节点集

的一个子集。 如果一个超图中，所有的超边最多只包含两个节点，那么超图就会退化为普通 图。

3)超图关联矩阵.超图关联矩阵用

表示，定义了节点和超边的关系。 对于给定的超图

若节点v_i∈Ε_j，则f(v_i,Ε_j)＝1，否则为0。

4)超图网络的一阶近邻性.超图网络的一阶近邻性度量了节点之间的n元近 邻度。对于任意n个节点v₁,v₂,...,v_n，如果这n个节点之间存在超边，则这n个 节点的一阶近邻性被定义为1，但这意味着这n个节点的任何子集都没有一阶近 邻性。一阶近邻是指现实世界中若干实体的不可分解的近邻性。例如<u₁,m₁,t₂>、 <u₁,m₂,t₁>、<u₂,m₂,t₁>、<u₂,m₁,t₂>为4条超边，不同超边的内部节点具有一阶近 邻性。例如，(u₁,m₁,t₂)在一条超边内，因此，u₁,m₁,t₂具有一阶近邻性。

5)超图网络的二阶近邻性.超图网络的二阶近邻性是指两个节点相对于其邻 域结构的邻近性。即两个节点具有共同的邻域集合则说明这两个节点具有二阶 近邻性。例如，u₁的邻域集合为{(m₂,t₁),(m₁,t₂)}，u₂的邻域集合为 {(m₂,t₁),(m₁,t₂)}，它们有共同的邻域集合，因此，u₁和u₂具有二阶近邻性。

采用如下技术方案实现：

1.首先，将异质信息网络组织成超图网络，并将超图邻接矩阵及特征矩阵作 为输入；

2.其次，融合超图卷积实现超图卷积自动编码器，聚集其近邻特征，保留其 二阶近邻性，同时加入节点近邻度函数，学习节点的一阶近邻性；

3.最后，将学习到的隐层表示向量应用于超边链接预测任务，挖掘其潜在的 超边链接关系。

技术方案中所述的将异质信息网络组织成超图网络，并将超图邻接矩阵及特 征矩阵作为输入步骤如下：

(1)对于给定的异质信息网络，通过三元组将异质信息网络抽成超边，超边 连接形成超图网络。以Movielens数据集为例，其包括三种类型的节点 <user,movie,tag>，u表示用户，m表示电影，t表示用户在某个时间为某个电影 标记的标签，在真实世界的的网络中，用户经常给电影进行标签标记，很显然， 这种关系是不可分割的。然而，针对只研究成对关系的网络表示学习模型在处 理该类问题时，往往不能完全地学习到这种潜在的高阶关联关系。因此，充分 考虑了这种不可分割的多元关联关系，将其采用超边表示并建模为一个三元组 表示。如用户u₁将电影m₁标记为t₂，将该事件定义为一条不可分割的超边 <u₁,m₁,t₂>。

(2)本发明从超图角度出发，对于给定的超图网络

经过数据预处 理之后，得到超图网络的邻接矩阵M，进一步引入节点特征矩阵X^|N|*|D|和随机隐 层变量Z_i∈Z^|N|*|F|，其中，N为节点数，D为节点的特征维度，F为隐层表示变 量的维度，将超图网络邻接矩阵M和特征矩阵X作为超图卷积自动编码器的输 入。

技术方案中所描述的融合超图卷积实现超图卷积自动编码器，聚集其近邻特 征，保留其二阶近邻性，同时加入节点近邻度函数，学习节点的一阶近邻性其 步骤如下：

(1)图自动编码器模型

图自动编码器(Autoencoder)模型是超图卷积自动编码器的基础，由编码器(Encoder)和解码器(Decoder)两部分组成。编码器采用2层GCN实现，解码器由 隐层变量的內积实现。解码器输出由Z^t＝q(Z^t-1|X^t,M^t)给出：

其中，t为节点类型，M^t表示t类型节点的邻接矩阵，Z^t表示t类型节点的 隐层表示向量，W为参数。

经过编码器得到的隐层表示将会作为解码器的输入，进而重建邻接矩阵， 具体公式表述为：

为重建后的邻接矩阵，对于原始矩阵M和重构矩阵

采用损失函数l进行 训练，其定义如下：

l＝E_q(Z|X,M)[logp(M|Z)]

(2)超图卷积

本发明通过重新定义超图卷积(HGCN)函数将图自动编码器中的编码器部分 进行改进提出超图自动编码器。超图自动编码器的编码部分设计为两层超图卷 积网络HGCN(Hypergraph Convolutional Network)，通过利用神经网络将图结构 直接嵌入到低维空间中。对于给定的超图H＝(M,X)，其中，M是邻接矩阵，X 是特征矩阵，超图上的卷积网络实际上是一个谱图卷积运算，用函数 f(Z^tl,M^t|W^l)表示：H＝(M,X)

其中，

是t类型节点经过l^th卷积后对应的节点的输出特征，W^l是l^th的参数。

传统的图卷积网络通过图的拉普拉斯矩阵的特征值和特征向量来研究图的 性质，对于一个有N个节点的图G而言，其经过对称归一化的拉普拉斯矩阵Λ 定义为：

其中，D是G的度矩阵，A是维度为N×N的邻接矩阵。而在超图上的拉普拉斯 矩阵定义为：

其中，D是超图的度矩阵，I为单位矩阵。

基于上述操作，可以定义任意深度网络。然而，在上述公式中存在部分节点 未参与传播过程，并且其信息也不会被邻居节点更新的情况。为了克服这一问 题，令

表示加入自环的原始异质信息网络，因此，重新定义了超图卷 积函数：

其中，σ是激活函数，Θ作为卷积核其值在训练过程中不断被更新。

(3)超图卷积自动编码器

超图卷积自动编码器是在第(1)节的基础上的拓展，其最大的特点是首先做了 一个预设，即编码的结果不是某个确定的值，而是一个范围。在这里使用的是 平均值和方差，即多个节点编码结果值，平均分布在均值两侧的方差范围内。 超图卷积自动编码器由两部分组成：推理(Inference model)模型和生成模型 (Generative model)。与图自动编码器相比，其变分过程主要体现在推理模型中。

推理模型：通过进行推理，得到隐层变量Z。主要是通过一个函数f得到均 值向量μ和方差σ²，在这里函数f被定义为两层HGCN(3.2.3)，推理模型可用 公式表述为：

μ^t＝HGCN_μ(X^t,M^t)

σ^t＝HGCN_σ(X^t,M^t)

对于每一个输入i:

其中，

p(·)表示为一个概率值，符合高斯分布。

生成模型：在得到隐层变量Z之后，将通过生成模型来重构邻接矩阵

对 于这部分，本发明使用内积来重构矩阵中的每个元素得到重构邻接矩阵

其中，

在这里生成模型的概率分布q(·)是由内积给出的，σ表示为sigmoid函数。

学习过程：将学习过程中的损失函数分为两部分：构造损失和隐层变量约束 损失。构造损失是看构造的邻接矩阵是否与输入矩阵相似；另一个损失是利用 KL散度来衡量隐层变量的分布与正态分布的相似程度。为了训练超图卷积自动 编码器，本发明优化了变分下界目标函数l_R定义如下：

其中，KL(q(·)||p(·))定义了KL散度，进一步取高斯先验分 p(Z)＝Π_ip(Z_i)＝Π_iN(Z|0,I)。

超图卷积自动编码器的目标是最小化输入和输出之间的重新测量误差，重建 过程将使具有相似邻域的节点具有相似的隐层表示，从而保留二阶邻近性。由 于输入特征是超图网络的邻接矩阵，而邻接矩阵通常是非常稀疏的。为了加速 模型，提出只重构邻接矩阵中的非零元素。重构误差如下所示：

其中，sign是符号函数，

表示Hadamard积。

此外，在超图网络中，节点往往具有多种类型，形成了异构的超图网络。 考虑到不同类型节点的特殊性，需要学习不同类型节点的唯一隐层空间。在本 模型中，每个异构类型的实体都有对应的低维表示。那么对于所有类型的节点， 损失函数定义为:

同一超边内的节点具有高度的一阶近邻性，可以学习到节点的局部邻域特 征，生成更鲁棒的表示。因此，采用多层感知机实现节点近邻度函数的建模， 采用两个全连接层实现。以a、b、c三种类型的节点为例，将3个节点(v_i,v_j,v_k) 的嵌入

串联起来作为多层感知机的输入。最终将其映射到概率空间 中，得到近邻度:

其中，σ为sigmoid函数。最终，优化目标函数如下：

l₂＝-(Ρ_ijklogΣ_ijk+(1-Ρ_ijk)log(1-Σ_ijk))

为了保持超图网络的一阶邻近性和二阶邻近性，本发明联合最小化模型的目 标函数表示为：

l_t＝l₁+αl₂+l_R

技术方案中所描述的将学习到的隐层表示向量应用于超边链接预测任务，挖 掘其潜在的超边链接关系其评价指标如下：

链接预测的准确率主要体现为预测正例负例概率值，在本发明中采用常见的 模型评估指标AUC和AP用于作为链接预测的评价指标，其主要基于混淆矩阵 计算真正率和假正率，然后通过ROC面积来衡量链接预测的准确率。

测试集上每个模型的ROC曲线下的面积(AUC)和平均精度(AP)分数，其公式 如下：

其中，E是超边集合，N_E为正样本数目，

为负样本的数目；rank_e为通过预测 得分来表示的超边的排名。

其中，Precision表示正确预测的超边数/总超边数。

与现有技术相比本发明的有益效果是：

1.采用超边建模网络数据中的多元关联关系，在学习过程中同时兼顾节点类 型及多元关联关系，打破了传统方法只研究成对网络关系的局限，同时提出了 将传统网络抽象为超图网络的现实解决方案，构建了超图关联矩阵，为超图表 示学习的研究奠定了基础。同时，加入节点特征矩阵作为输入，从特征属性维 度对不同类型的节点进行学习，提升了学习节点表示能力。

2.引入超图卷积将变分图自动编码器拓展到超图学习领域，还在此基础上添 加了节点近邻度函数，判断节点是否在一条超边内，从而捕获超图网络中节点 的一阶近邻性最大程度地保留超图网络全局和局部信息，使其能合理地表示异 质网络中节点的特征信息。

3.通过联合优化学习，提高了超边链接预测的精度，尤其是在大规模信息网 络中。基于超图卷积的超边链接预测方法在收敛速度上远远优于传统的链接预 测方法；节点近邻度函数采用多层感知机实现，其中，多层感知机的层数对优 化结果具有一定的影响，可以达到较优的学习效果。

综上所述，本发明是针对不可分割的语义事件多维性和多元性，在数据结构 和算法级别上重新设计基于超图的超边链接预测方法，而不是在现有基于成对 关系网络展开研究的传统方法的数据结构基础上进行增补和改进，是从基础上 解决了基于超图的超边预测问题。

附图说明

图1是实施本发明所述的基于超图卷积的超边链接预测方法的计算机程序的 各组成模块的功能、连接关系示意图。

图2是本发明所述的基于超图卷积的超边链接预测方法流程框图。

图3是本发明所述的数据预处理模块的流程框图。

图4是本发明所述的超图卷积自动编码器模块的流程框图。

图5是本发明所述的节点近邻度函数模块的流程框图。

图6是本发明所述的超边链接预测模块的流程框图。

具体实施方式

下面结合附图对本发明做详细的阐述：

本发明所要解决的技术问题是克服了现有技术存在的侧重直接连接关系及 在大规模网络应用精度不高等问题，为了将由此引出本发明所研究的主要问题： 如何充分捕捉超图中的高阶信息，实现超图上的超边链接预测问题。

参阅图1，为实现用超图网络的超边预测问题自行编制了计算机程序，其包 括有四个功能模块，即包括数据预处理模块、超图卷积自动编码器模块、节点 近邻度函数模块、超边链接预测模块，各个模块功能如下：

1.数据预处理模块

数据预处理模块主要是将爬虫获取到的网络数据进行提取，其中包括超边提 取和特征提取两部分。其中特征包括节点的类型特征、属性特征等，超边提取 根据不同的类型的节点特征进行特定三元组提取。通过三元组将信息网络抽成 超边，超边连接形成超图网络。最终，得到超图关联矩阵及特征矩阵作为整个 方法的输入。

(1)超边提取

对于现实网络数据中存在的不可分割的语义事件，将其根据节点类型构建三 元组对其进行抽取，每条超边代表一个不可分割的事件，在这里，我们把此事 件建模为一条超边，最终得到具有特定事件的超边集合，通过将超边矩阵与其 转置进行处理，得到超边关联矩阵，即不同类型节点是否在同一条超边内。

(2)特征提取

对于不同的任务，其需要量化的特征往往存在较大的差别，因此，在数据预 处理阶段，将各类型节点特征处理成特征矩阵，从不同维度进行量化，如初始 数据不存在特征，则通过特征构建对其特征进行完善，在本发明中，对于没有 初始特征的数据，我们采用对角矩阵与全1矩阵的组合量化对其进行完善。

2.超图卷积自动编码器模块

超图卷积自动编码器是在图自动编码器的基础上的拓展，其最大的特点是首 先做了一个预设，即编码的结果不是某个确定的值，而是一个范围。在这里使 用的是平均值和方差，即多个节点编码结果值，平均分布在均值两侧的方差范 围内。超图卷积自动编码器由两部分组成：推理(Inference model)模型和生成模 型(Generative model)。与图自动编码器相比，其变分过程主要体现在推理模型中。 推理模型即编码器采用双层超图卷积网络实现，生成模型即解码器采用隐层向 量表示的内积实现，最终获得重构的超图关联矩阵，通过最小化原始关联矩阵 和重构后的关联矩阵之间的差异进行优化。同时，超图卷积以聚合邻域特征的 方式保留了二阶近邻性。

3.节点邻近度函数模块

为了保留网络节点的一阶近邻性，在超图卷积的基础上，添加了节点近邻度 函数进行联合优化。同一超边内的节点具有高度的一阶近邻性，可以学习到节 点的局部邻域特征，生成更鲁棒的表示。因此，采用多层感知机实现节点近邻 度函数的建模，采用两个全连接层实现。

4.超边链接预测模块

通过步骤(2)(3)联合优化获得最具鲁棒的表示向量，将其用于链接预测任务， 旨在通过在训练集上学习其各层网络参数，然后通过验证集进行验证。在本发 明中采用常见的模型评估指标AUC和AP用于作为链接预测的评价指标，其主 要基于混淆矩阵计算真正率和假正率，然后通过ROC面积来衡量链接预测的准 确率。

实施例

参阅图2，本发明所述的基于超图卷积的超边预测方法的步骤如下：

(1)参阅图3，首先，将信息网络组织成超图网络，并将超图邻接矩阵及特征 矩阵作为输入；

1)以https://movie.douban.com/豆瓣电影网页为例，通过网络爬虫技术进行网络数据提取，然后将其组织成异质信息网络形式，对于给定的异质信息网络， 通过三元组将异质信息网络抽成超边，超边连接形成超图网络Movielens数据 集，其包括三种类型的节点<user,movie,tag>，u表示用户，m表示电影，t表示 用户在某个时间为某个电影标记的标签，在真实世界的的网络中，用户经常给 电影进行标签标记很显然，这种关系是不可分割的；然而，针对只研究成对关 系的网络表示学习模型在处理该类问题时，往往不能完全地学习到这种潜在的 高阶关联关系，因此，充分考虑了这种不可分割的多元关联关系，将其采用超 边表示并建模为一个三元组表示；用户u₁将电影m₁标记为t₂，将该事件定义为 一条不可分割的超边<u₁,m₁,t₂>；

2)本发明从超图角度出发，将超图网络定义为

经过数据预处理之 后，得到超图网络的邻接矩阵M，进一步引入节点特征矩阵X^|N|*|D|和随机隐层变 量Z_i∈Z^|N|*|F|，其中，N为节点数，D为节点的特征维度，F为隐层表示变量的 维度，将超图网络邻接矩阵M和特征矩阵X作为超图卷积自编码器的输入；其 特征矩阵表示形式为{用户名，性别，年龄，职业，电影名称，电影类别，上映 时间、评分}，其向量表示形式为{1,0,23,5,6,8,4,0,5}；

(2)参阅图4，融合超图卷积实现超图卷积自动编码器，聚集其近邻特征，保 留其二阶近邻性，同时加入节点近邻度函数，学习节点的一阶近邻性；

1)超图卷积

本发明通过重新定义超图卷积(HGCN)函数将图自动编码器中的编码器部分 进行改进提出超图自动编码器，超图自动编码器的编码部分设计为两层超图卷 积网络HGCN(Hypergraph Convolutional Network)，通过利用神经网络将图结构 直接嵌入到低维空间中，对于给定的超图H＝(M,X)，其中，M是邻接矩阵，X 是特征矩阵，超图上的卷积网络实际上是一个谱图卷积运算，用函数 f(Z^tl,M^t|W^l)表示：H＝(M,X)

其中，

是t类型节点经过l^th卷积后对应的节点的输出特征，W^l是l^th的参数；

传统的图卷积网络通过图的拉普拉斯矩阵的特征值和特征向量来研究图的 性质，对于一个有N个节点的图G而言，其经过对称归一化的拉普拉斯矩阵Λ 定义为：

其中，D是G的度矩阵，A是维度为N×N的邻接矩阵，而在超图上的拉普拉斯 矩阵定义为：

其中，D是超图的度矩阵，I为单位矩阵；

基于上述操作，可以定义任意深度网络，然而，在上述公式中存在部分节点 未参与传播过程，并且其信息也不会被邻居节点更新的情况，为了克服这一问 题，令

表示加入自环的原始异质信息网络，I表示为单位矩阵

A为对角矩阵实现

因此，重新定义了超图卷积函数：

其中，σ是激活函数，Θ作为卷积核其值在训练过程中不断被更新；

2)超图卷积自动编码器

超图卷积自动编码器是在图自动编码器的基础上的拓展，其最大的特点是首 先做了一个预设，即编码的结果不是某个确定的值，而是一个范围，在这里使 用的是平均值和方差，即多个节点编码结果值，平均分布在均值两侧的方差范 围内，超图卷积自动编码器由两部分组成：推理(Inference model)模型和生成模 型(Generative model)，与图自动编码器相比，其变分过程主要体现在推理模型中；

推理模型：通过进行推理，得到隐层变量Z，主要是通过一个函数f得到均 值向量μ和方差σ²，在这里函数f被定义为两层HGCN(3.2.3)，推理模型可用 公式表述为：

μ^t＝HGCN_μ(X^t,M^t)

σ^t＝HGCN_σ(X^t,M^t)

对于每一个输入i:

其中，

p(·)表示为一个概率值，符合高斯分布；

生成模型：在得到隐层变量Z之后，将通过生成模型来重构邻接矩阵

对 于这部分，本发明使用内积来重构矩阵中的每个元素得到重构邻接矩阵

其中，

在这里生成模型的概率分布q(·)是由内积给出的，σ表示为sigmoid函数；

学习过程：将学习过程中的损失函数分为两部分：构造损失和隐层变量约束 损失，构造损失是看构造的邻接矩阵是否与输入矩阵相似；另一个损失是利用 KL散度来衡量隐层变量的分布与正态分布的相似程度，为了训练超图卷积自动 编码器，本发明优化了变分下界目标函数l_R定义如下：

其中，KL(q(·)||p(·))定义了KL散度，进一步取高斯先验分 p(Z)＝Π_ip(Z_i)＝Π_iN(Z|0,I)；

超图卷积自动编码器的目标是最小化输入和输出之间的重新测量误差，重建 过程将使具有相似邻域的节点具有相似的隐层表示，从而保留二阶邻近性，由 于输入特征是超图网络的邻接矩阵，而邻接矩阵通常是非常稀疏的，为了加速 模型，提出只重构邻接矩阵中的非零元素，重构误差如下所示:

其中，sign是符号函数，

表示Hadamard积；

此外，在超图网络中，节点往往具有多种类型，形成了异构的超图网络， 考虑到不同类型节点的特殊性，需要学习不同类型节点的唯一隐层空间，在本 模型中，每个异构类型的实体都有对应的低维表示，那么对于所有类型的节点， 损失函数定义为:

参阅图5，同一超边内的节点具有高度的一阶近邻性，可以学习到节点的局 部邻域特征，生成更鲁棒的表示，因此，采用多层感知机实现节点近邻度函数 的建模，采用两个全连接层实现，用a、b、c三种类型的节点分别表示 <user,movie,tag>，将3个节点(v_i,v_j,v_k)的嵌入

串联起来作为多层感知 机的输入，最终将其映射到概率空间中，得到近邻度0.82，其计算公司如下:

其中，σ为sigmoid函数，最终，优化目标函数如下：

l₂＝-(Ρ_ijklogΣ_ijk+(1-Ρ_ijk)log(1-Σ_ijk))

该方法均在一个不完整的版本的数据集上进行训练，即其中部分引用链接(边)被删除，而所有的节点特征被保留。本文从先前删除的边和相同数量的随机抽 样的未连接节点对(非边)中形成验证和测试集。根据模型对超边和非超边的正确 分类能力来比较。验证集和测试集分别包含5％和10％的链接。验证集用于超参 数的优化。对于初始化权重，使用Adam优化器进行1000次迭代训练，学习率 为0.01，中间隐层大小分别设置为32和16。为了保持超图网络的一阶邻近性 和二阶邻近性，在行1000个epoch上进行试验并记录其收敛速度，当达到100 个epoch时，模型达到收敛，本发明联合最小化模型的目标函数表示为：

l_t＝l₁+αl₂+l_R

(3)参阅图6，通过步骤(2)将学习到的隐层表示向量应用于超边链接预测任 务，挖掘其潜在的超边链接关系，其评价指标如下：

链接预测的准确率主要体现为预测正例负例概率值，在本发明中采用常见的 模型评估指标AUC和AP用于作为链接预测的评价指标，其主要基于混淆矩阵 计算真正率和假正率，然后通过ROC面积来衡量链接预测的准确率；在测试集 上计算ROC曲线下的面积(AUC)和平均精度(AP)分数分别为0.9114,0.9206，其 计算公式如下：

其中，E是超边集合，N_E为正样本数目，

为负样本的数目；rank_e为通过预测 得分来表示的超边的排名；

其中，Precision表示正确预测的超边数/总超边数。

Claims (1)

1.一种基于超图卷积的超边链接预测方法，包括四个主要模块：数据预处理模块、超图卷积自动编码器模块、节点邻近度函数模块；超边链接预测模块，实现步骤如下：

(1)首先，将异质信息网络组织成超图网络，并将超图邻接矩阵及特征矩阵作为输入；

1)对于给定的异质信息网络，通过三元组将异质信息网络抽成超边，超边连接形成超图网络；以Movielens数据集为例，其包括三种类型的节点<user,movie,tag>，u表示用户，m表示电影，t表示用户在某个时间为某个电影标记的标签，在真实世界的的网络中，用户经常给电影进行标签标记很显然，这种关系是不可分割的；然而，针对只研究成对关系的网络表示学习模型在处理该类问题时，往往不能完全地学习到这种潜在的高阶关联关系，因此，充分考虑了这种不可分割的多元关联关系，将其采用超边表示并建模为一个三元组表示；用户u₁将电影m₁标记为t₂，将该事件定义为一条不可分割的超边<u₁,m₁,t₂>；

2)本发明从超图角度出发，对于给定的超图网络

经过数据预处理之后，得到超图网络的邻接矩阵M，进一步引入节点特征矩阵X^|N|*|D|和随机隐层变量Z_i∈Z^|N|*|F|，其中，N为节点数，D为节点的特征维度，F为隐层表示变量的维度，将超图网络邻接矩阵M和特征矩阵X作为超图卷积自编码器的输入；

(2)其次，融合超图卷积实现超图卷积自动编码器，聚集其近邻特征，保留其二阶近邻性，同时加入节点近邻度函数，学习节点的一阶近邻性；

1)图自动编码器模型

图自动编码器(Autoencoder)模型是超图卷积自动编码器的基础，由编码器(Encoder)和解码器(Decoder)两部分组成，编码器采用2层GCN实现，解码器由隐层变量的內积实现，解码器输出由Z^t＝q(Z^t-1|X^t,M^t)给出：

其中，t为节点类型，M^t表示t类型节点的邻接矩阵，Z^t表示t类型节点的隐层表示向量，W为参数；

经过编码器得到的隐层表示将会作为解码器的输入，进而重建邻接矩阵，具体公式表述为：

为重建后的邻接矩阵，对于原始矩阵M和重构矩阵

采用损失函数

进行训练，其定义如下：

2)超图卷积

本发明通过重新定义超图卷积(HGCN)函数将图自动编码器中的编码器部分进行改进提出超图自动编码器，超图自动编码器的编码部分设计为两层超图卷积网络HGCN(Hypergraph Convolutional Network)，通过利用神经网络将图结构直接嵌入到低维空间中，对于给定的超图H＝(M,X)，其中，M是邻接矩阵，X是特征矩阵，超图上的卷积网络实际上是一个谱图卷积运算，用函数

表示：H＝(M,X)

其中，

是t类型节点经过l^th卷积后对应的节点的输出特征，W^l是l^th的参数；

传统的图卷积网络通过图的拉普拉斯矩阵的特征值和特征向量来研究图的性质，对于一个有N个节点的图G而言，其经过对称归一化的拉普拉斯矩阵Λ定义为：

其中，D是G的度矩阵，A是维度为N×N的邻接矩阵，而在超图上的拉普拉斯矩阵定义为：

其中，D是超图的度矩阵，I为单位矩阵；

基于上述操作，可以定义任意深度网络，然而，在上述公式中存在部分节点未参与传播过程，并且其信息也不会被邻居节点更新的情况，为了克服这一问题，令

表示加入自环的原始异质信息网络，因此，重新定义了超图卷积函数：

其中，σ是激活函数，Θ作为卷积核其值在训练过程中不断被更新；

3)超图卷积自动编码器

超图卷积自动编码器是在第(1)节的基础上的拓展，其最大的特点是首先做了一个预设，即编码的结果不是某个确定的值，而是一个范围，在这里使用的是平均值和方差，即多个节点编码结果值，平均分布在均值两侧的方差范围内，超图卷积自动编码器由两部分组成：推理(Inference model)模型和生成模型(Generative model)，与图自动编码器相比，其变分过程主要体现在推理模型中；

推理模型：通过进行推理，得到隐层变量Z，主要是通过一个函数f得到均值向量μ和方差σ²，在这里函数f被定义为两层HGCN(3.2.3)，推理模型可用公式表述为：

μ^t＝HGCN_μ(X^t,M^t)

σ^t＝HGCN_σ(X^t,M^t)

对于每一个输入i:

其中，

p(·)表示为一个概率值，符合高斯分布；

生成模型：在得到隐层变量Z之后，将通过生成模型来重构邻接矩阵

对于这部分，本发明使用内积来重构矩阵中的每个元素得到重构邻接矩阵

其中，

在这里生成模型的概率分布q(·)是由内积给出的，σ表示为sigmoid函数；

学习过程：将学习过程中的损失函数分为两部分：构造损失和隐层变量约束损失，构造损失是看构造的邻接矩阵是否与输入矩阵相似；另一个损失是利用KL散度来衡量隐层变量的分布与正态分布的相似程度，为了训练超图卷积自动编码器，本发明优化了变分下界目标函数

定义如下：

其中，KL(q(·)||p(·))定义了KL散度，进一步取高斯先验分p(Z)＝Π_ip(Z_i)＝Π_iN(Z|0,I)；

超图卷积自动编码器的目标是最小化输入和输出之间的重新测量误差，重建过程将使具有相似邻域的节点具有相似的隐层表示，从而保留二阶邻近性，由于输入特征是超图网络的邻接矩阵，而邻接矩阵通常是非常稀疏的，为了加速模型，提出只重构邻接矩阵中的非零元素，重构误差如下所示:

其中，sign是符号函数，

表示Hadamard积；

此外，在超图网络中，节点往往具有多种类型，形成了异构的超图网络，考虑到不同类型节点的特殊性，需要学习不同类型节点的唯一隐层空间，在本模型中，每个异构类型的实体都有对应的低维表示，那么对于所有类型的节点，损失函数定义为:

同一超边内的节点具有高度的一阶近邻性，可以学习到节点的局部邻域特征，生成更鲁棒的表示，因此，采用多层感知机实现节点近邻度函数的建模，采用两个全连接层实现，以a、b、c三种类型的节点为例，将3个节点(v_i,v_j,v_k)的嵌入

串联起来作为多层感知机的输入，最终将其映射到概率空间中，得到近邻度:

其中，σ为sigmoid函数，最终，优化目标函数如下：

为了保持超图网络的一阶邻近性和二阶邻近性，本发明联合最小化模型的目标函数表示为：

(3)最后，将学习到的隐层表示向量应用于超边链接预测任务，挖掘其潜在的超边链接关系，其评价指标如下：

链接预测的准确率主要体现为预测正例负例概率值，在本发明中采用常见的模型评估指标AUC和AP用于作为链接预测的评价指标，其主要基于混淆矩阵计算真正率和假正率，然后通过ROC面积来衡量链接预测的准确率；

测试集上每个模型的ROC曲线下的面积(AUC)和平均精度(AP)分数，其公式如下：

其中，E是超边集合，N_E为正样本数目，

为负样本的数目；rank_e为通过预测得分来表示的超边的排名；

其中，Precision表示正确预测的超边数/总超边数。

Images