CN115906946B - 一种多视图双曲-双曲图表示学习方法 - Google Patents

Abstract

本发明公开了一种多视图双曲‑双曲图表示学习方法，所述方法基于节点的拓扑关系和节点属性构建两个视图，将邻接矩阵和生成的两个视图输入双曲‑双曲图神经网络，得到三个视图下的节点表示；将三个视图的节点表示通过双曲‑双曲卷积和池化得到不同视图的图嵌入表示，将图嵌入表示拼接输入Lorentz MLP得到视图的注意力分数，利用双曲‑双曲的加权表示得到基于多视图的节点嵌入表示。本发明将现有的双曲图神经网络结构和多视图进行了结合，通过将图结构数据嵌入到双曲空间，利用多视图间的一致性信息，得到更准确的节点表示。

Description

一种多视图双曲-双曲图表示学习方法

技术领域

本发明属于深度学习、图神经网络领域的应用，具体涉及一种多视图双曲-双曲图表示学习方法。

背景技术

图神经网络是一类利用深度学习处理图数据的方法，广泛应用于自然语言处理、推荐系统、生物医疗等众多领域。现有研究图神经网络的工作已经取得了较好的成果，但大多数工作仅利用单一视图信息学习图信息。对于给定的下游任务，底层图的拓扑事先是未知的，仅使用单视图对节点之间的关系进行描述不可避免地导致一定程度的信息丢失，如何利用多视图信息来学习节点的有效表示成了待研究的问题。

现有多视图图表示学习的研究局限于欧氏空间。已有双曲图神经网络过度依赖切空间进行邻域聚合操作。然而，切空间只是双曲空间点的局部近似，并不严格遵循双曲几何的数学意义，因此不能很好地保持双曲空间中图结构和性质。许多现实世界的图，如蛋白质相互作用网络和社交网络，往往表现出无标度或层次结构。在欧氏空间嵌入此类图时导致很大程度的失真，难以表达网络的层级信息。相比之下，双曲几何对于捕获这种层级结构具有天然的优势。因此提出在多视图结构下构建图卷积神经网络。

发明内容

鉴于上述问题，本发明提出一种多视图双曲-双曲图表示学习方法，解决了一般欧氏空间导致的高失真问题，同时学习多个视图信息。本发明主要目的是利用多视图结构充分探索不同视图下的图信息，学习更准确的节点表示；利用双曲结构的特性，使用双曲-双曲的图神经网络将图的基本运算完全建立在双曲空间上，以低失真的形式进行信息的传递，以得到更好的节点表示用于节点分类和链接预测任务。

本发明采用如下技术方案予以实施：

一种多视图双曲-双曲图表示学习方法，包括：

步骤一：从图拓扑结构和节点特征构建多视图：

利用图拓扑结构构建视图，具体为：

利用图邻接矩阵和personal pagerank算法的极限闭式解构造全局拓扑矩阵S^PPR：

公式中D为图的图矩阵，A为图的邻接矩阵，α为参数，I_n为n阶单位阵。

利用图节点特征基于余弦相似度构建视图，具体为：

利用节点特征矩阵X计算节点i和节点j的相似度s_i,j，其中大于阈值θ的在视图为节点i和节点j构建连边：

公式中x_i和x_j分别为节点i和节点j的特征向量

步骤二：利用多视图结构和节点特征通过双曲-双曲图卷积模块得到不同视图下的双曲节点表示：

将节点特征从欧氏空间通过指数映射映射到双曲Lorentz模型上：

公式中表示Lorentz模型，E表示欧氏空间，/>为节点欧氏特征，为节点的双曲特征。

将节点特征输入双曲-双曲线性变换层，使用正交子矩阵作为线性变换的可学习参数，实现节点特征从双曲到双曲的映射，同时提取节点特征：

公式中W是一个可学习的变换矩阵，是一个正交子矩阵，I是一个单位阵，/>是节点i在l层的双曲嵌入表示。

在所述构造的三个视图下利用不同结构信息对节点邻居进行线性聚合，利用双曲空间Klein模型下定义的Einstein中点法对Klein模型下的节点嵌入表示计算双曲平均，首先将Lorentz模型下的双曲节点嵌入投影到Klein模型，具体公式如下：

公式中为klein模型，/>和/>为Lorentz模型和Klein模型间的恒等变换，为邻居聚合后Lorentz模型下节点i的双曲嵌入；

将所述邻居聚合后的双曲嵌入投影到Poincare模型，利用Poincare模型下的保流形激活对节点嵌入表示进行激活后投影回Lorentz模型，所述公式如下：

公式中和/>为Lorentz模型和Poincare模型间的恒等变换。

步骤三：通过双曲-双曲注意力融合模块将三个视图下的双曲节点嵌入映射为统一的双曲节点嵌入；

通过如下公式对每个视图的双曲节点嵌入进行池化操作，得到每个视图的双曲图嵌入：

公式中为第k个视图的图嵌入表示，/>为节点重要性分数，d_i为节点i的度数，/>为节点i的第k个视图的节点表示。

通过如下公式将上一步的每个视图的双曲图嵌入拼接起来用于计算每个视图的注意力分数：

公式中cat表示拼接操作，v表示视图编号，表示视图下的双曲图表示

将拼接表示通过指数映射重新映射回双曲空间，利用MLP层得到每个视图表示的注意力权重，所述MLP包括两层线性层和激活层，最后经过一层softmax得到注意力权重，公式如下：

s＝softmax(σ(f₂(σ(f₁(exp_o(p))))))

公式中s表示经过Lorentz MLP层得到的注意力分数向量，f₁、f₂表示两个线性层。

嵌入融合层利用上述视图注意力层得到的视图重要性分数对每个视图的双曲节点嵌入进行加权求和得到统一的双曲节点嵌入，所述融合层公式如下：

公式中s_k为视图k的注意力分数，为视图k的双曲节点嵌入，/>为注意力加权后的双曲节点嵌入。

本发明与现有方法相比的有益效果为：

本发明提出的方法是一个多视图双曲-双曲图卷积神经网络模型。本发明利用多视图学习，使节点表示更加准确，解决了单视图网络与目标邻接矩阵的信息差异导致的表示能力限制的问题。同时通过利用双曲几何的几何特点，在满足图操作全部在双曲空间进行的条件下，实现了对节点的低失真嵌入，解决了现有双曲模型操作依赖于切空间导致的偏差问题。本发明对于下游任务的应用也十分广泛，适用于多种网络结构和场景，可以用于社区网络、引文网络、推荐网络等的链接预测任务，也可以用于蛋白质结构图、分子图等的节点分类和图分类任务，从而进行数据分析和信息挖掘，对于图机器学习和实际业务具有重要意义。

附图说明

图1为多视图双曲-双曲图表示学习方法流程图；

图2为一种多视图双曲-双曲图表示学习方法架构图。

具体实施方式

下面将结合附图对本发明的一种多视图双曲-双曲图表示学习方法进一步详细描述：

如图1所示，本发明提出的方法是一个多视图双曲-双曲图卷积神经网络模型，多视图构造模块，双曲-双曲图卷积模块，双曲-双曲注意力融合模块

多视图双曲-双曲图卷积神经网络模型具体包含以下步骤：

多视图的构造模块(步骤102)：图数据会包含图中的拓扑信息和节点特征信息，而相对于网络底层的理想结构可能存在一定偏差，而通过多个不同视角的拓扑结构可以自然地降低这种偏差，学习到更准确的节点表示。因此我们在邻接矩阵的基础上分别基于拓扑结构和节点特征构建视图。对于拓扑结构，采用基于邻接矩阵扩散的方法构造其扩散矩阵，反映网络的全局结构；对于节点特征，采用余弦相似度的方法在其特征相似性上衡量两节点的连边概率，基于一定的阈值为两节点构建连边。

节点特征映射模块(步骤103)：对于具有无标度性质的图结构数据，欧氏空间的表达能力十分有限，在嵌入此类图时会产生很高的失真，而双曲几何空间中表达能力随半径指数级增长，十分适用于此类网络的嵌入。因此采用双曲图卷积网络对图数据进行建模。根据双曲几何的性质，利用指数映射将节点特征映射到双曲空间上，我们使用双曲模型中的Lorentz模型：

其中为节点欧氏特征，/>为节点的双曲特征。

双曲-双曲图卷积模块(步骤104)：现有双曲图操作往往在切空间处进行，而切空间只是双曲空间的局部近似，为了使图信息在神经网络传播过程中的偏差尽量小，将节点表示始终嵌入在双曲模型上，定义了双曲-双曲图卷积模块。该模块主要分为三个部分：

1)双曲-双曲线性层：将映射到双曲空间的节点特征输入到双曲-双曲图卷积模块，为满足在线性变换后的节点嵌入仍保持在Lorentz模型，需要满足Lorentz的内积要求：我们使用了具有正交性的子矩阵作为线性变换矩阵：

其中W是一个可学习的变换矩阵，是一个正交子矩阵，I是一个单位阵，/>是节点i在l层的双曲表示。

2)双曲邻居聚合层：在每个视图下对节点的邻居信息进行聚合，我们使用了双曲空间中Klein模型下的Einstein中点法作为我们聚合邻居信息的方法，这里首先将线性变换后的Lorentz模型下的双曲节点嵌入利用模型间的恒等映射映射到Klein模型，计算Einstein中点作为聚合后的双曲节点嵌入，然后利用恒等映射映射回Klein模型，具体计算方式如下：

其中为klein模型，/>和/>为Lorentz模型和Klein模型间的恒等映射，为邻居聚合后Lorentz模型下节点i的双曲嵌入

3)双曲激活层：常用的非线性激活函数应用于Lorentz模型会打破流形的约束，而Poincare模型上的非线性激活函数是保流形的，我们使用Poincare模型上的非线性激活。将邻居聚合后的Lorentz模型下的节点嵌入利用恒等映射映射到Poincare模型，应用非线性激活，再恒等映射回Lorentz模型，具体计算方式如下：

其中和/>为Lorentz模型和Poincare模型间的恒等变换，σ为激活函数Relu。

双曲注意力融合模块：三个视图和节点特征经过多层双曲-双曲图卷积层，分别得到了不同视图下的双曲节点嵌入，为了更好地融合不同视图下的一致性信息，我们定义了双曲注意力融合模块。该模块主要分为个部分：

1)将每个视图的双曲节点嵌入输入双曲-双曲池化层得到每个视图的双曲图嵌入我们使用如下公式进行池化操作(步骤105)：

其中为第k个视图的图嵌入表示，/>为节点重要性分数，d_i为节点i的度数，/>为节点i的第k个视图的节点表示。

2)使用如下公式将每个视图的双曲图嵌入拼接起来：

其中cat表示拼接操作，v表示视图编号，表示视图下的双曲图表示。

3)将拼接表示利用指数映射重新映射回双曲空间并输入到Lorentz MLP模块(步骤106)，该MLP模块包括两层线性层和sigmoid激活层，最后一层神经元的数量必须与视图的数量相匹配，最后加入softmax层得到所述视图注意力分数，具体公式为：

s＝softmax(σ(f₂(σ(f₁(exp_o(p))))))

其中s表示经过Lorentz MLP层得到的注意力分数向量，f₁、f₂表示两个线性层和激活层。

4)利用上述多个视图的注意力分数可以得到融合后的双曲节点嵌入表示(步骤107)，将不同视图下得到的信息通过注意力分数实现融合，嵌入融合层与图池化思路一致，其公式为：

其中s_k为视图k的注意力分数，视图k的双曲节点嵌入，/>为注意力加权后的双曲节点嵌入表示。

Claims (8)

1.一种多视图双曲-双曲图表示学习方法，其特征在于，所述方法还用于蛋白质结构图或分子图的节点分类以及图分类任务；所述方法包括：

根据网络拓扑和特征构造两个视图，将节点特征从欧氏空间映射到双曲空间，将双曲节点嵌入表示和三个视图分别输入双曲-双曲图卷积模块；其中，所述双曲-双曲图卷积模块包括：线性变换、邻居聚合和激活层；

通过双曲注意力融合模块将三个视图下的双曲节点嵌入映射为统一的双曲节点嵌入，用于下游任务；其中，所述双曲注意力融合模块包括：视图注意力层和嵌入融合层；所述视图注意力层，通过将每个视图的双曲节点嵌入输入池化层得到每个视图的双曲图嵌入，将所述每个视图的双曲图嵌入拼接起来，通过指数映射映射到双曲空间后输入MLP层，得到每个视图的注意力分数；通过所述嵌入融合层，利用上述每个视图的注意力分数将三个视图的双曲节点嵌入加权融合为统一的双曲节点表示；

所述多视图分别从拓扑结构和特征信息两个角度进行构造，包括：

根据图拓扑结构，利用personal pagerank方法的闭式解构造视图，公式为：

其中D为图的度矩阵，A为图的邻接矩阵，α为参数，I_n为n阶单位阵；

根据节点特征，利用余弦相似度计算节点间的相似性，大于阈值θ的两节点间构建边，公式为：

其中x_i和x_j分别为节点i和节点j的特征向量。

2.根据权利要求1所述的方法，其特征在于，将节点特征从欧氏空间映射到双曲空间，包括：

利用指数映射将节点特征映射到Lorentz模型上，其中公式为：

其中为节点欧氏特征，/>为节点的双曲特征。

3.根据权利要求1所述的方法，其特征在于，所述双曲-双曲图卷积模块对节点邻居信息进行聚合，包括：双曲-双曲线性变换层，双曲邻居聚合层和双曲激活层；

通过所述双曲-双曲线性变换层，使双曲节点嵌入在经过线性变换后仍保持在双曲空间；

通过所述双曲邻居聚合层，将节点邻居信息聚合到中心节点上；

通过所述双曲激活层，将聚合后的双曲节点嵌入作非线性映射，提升网络表达能力。

4.根据权利要求3所述的方法，其特征在于，所述双曲-双曲线性变换层，包括：

所述双曲-双曲线性变换层，对双曲节点嵌入进行特征提取，为保证提取后的节点嵌入仍在双曲上需满足Lorentz模型的定义： 由此得到双曲-双曲线性变换层公式为：

其中W^l是一个可学习的变换矩阵，是一个正交子矩阵，I是一个单位阵，/>是节点i在l层的双曲表示。

5.根据权利要求3所述的方法，其特征在于，所述双曲邻居聚合层，包括：

针对线性变换后的双曲节点嵌入，利用双曲空间下定义的Einstein中点法计算双曲平均，首先将Lorentz模型下的双曲节点嵌入投影到Klein模型，利用Einstein中点法计算双曲平均后投影回Lorentz模型，公式如下：

其中为Klein模型，/>和/>为Lorentz模型和Klein模型间的恒等变换，/>为邻居聚合后Lorentz模型下节点i的双曲嵌入。

6.根据权利要求3所述的方法，其特征在于，所述双曲激活层，包括：

将双曲邻居聚合后的双曲嵌入投影到Poincare模型，将Poincare模型下的保流形激活后的节点嵌入投影回Lorentz模型，公式如下：

其中和/>为Lorentz模型和Poincare模型间的恒等变换，σ为激活函数Relu。

7.根据权利要求1所述的方法，其特征在于，所述视图注意力层，包括：

将视图的多个节点嵌入表示经过双曲-双曲池化层得到双曲图嵌入表示，池化层公式为：

其中为第k个视图的图嵌入表示，/>为节点重要性分数，d_i为节点i的度数，为节点i的第k个视图的节点表示；

将所述双曲图嵌入表示拼接，拼接公式为：

其中cat表示拼接操作，v表示视图编号，表示视图v下的双曲图表示；

将拼接表示利用指数映射重新映射回双曲空间并经过Lorentz MLP层得到视图的注意力分数，公式为：

s＝softmax(σ(f₂(σ(f₁(exp_o(p))))))

其中s表示经过MLP层得到的注意力分数向量，f₁、f₂表示两个线性层,σ为激活层。

8.根据权利要求1所述的方法，其特征在于，所述嵌入融合层：

将多视图的双曲节点嵌入表示利用视图注意力分数进行加权求和，得到融合后的双曲节点嵌入表示，嵌入融合层公式为：

其中s_k和分别表示视图k的注意力分数和双曲节点嵌入，/>为加权后的双曲节点嵌入表示。