CN112381179B - 一种基于双层注意力机制的异质图分类方法 - Google Patents

Abstract

本发明公开了一种基于双层注意力机制的异质图分类方法，包括步骤：S11.对不同类型节点的特征向量进行映射操作，得到目标节点和与目标节点相对应的邻域节点在同一实体空间的特征向量；S12.根据得到的特征向量，并基于双层注意力中的类型级注意力和节点级注意力，从类型级注意力到节点级注意力自顶向下地学习不同类型邻居和不同相邻节点间的权重；S13.根据得到的权重构建异质图，得到分类模型；S14.将测试数据输入至得到的分类模型中，输出最终分类结果。

Description

一种基于双层注意力机制的异质图分类方法

技术领域

本发明涉及目标客户分类技术领域，尤其涉及一种基于双层注意力机制的异质图分类方法。

背景技术

在商业中，企业会采取一些营销手段来推广自己的产品，由于不同类型产品面向的客户不同，通常会针对不同类型产品的目标客户进行分类，根据客户所属类别制定相应的营销方案，有利于挖掘潜在的客户群，实现精准营销，提高收益。传统的方法中，要实现对目标客户的分类，需要耗费大量的时间和人力。随着互联网技术的不断发展，可以将深度学习技术应用到上述商业场景中，大大降低了成本。

现实世界的数据大多以图的形式存在，如社交网络、引文网络等，这些图网络中通常包含多种实体类型，这些实体通过不同的实体关系互相关联形成了错综复杂的异质信息网络，也叫异质图，可用于许多特征描述问题的建模和分析方法中。可以将上述商业场景建模为一个异质图，图中的节点有产品和客户，产品和产品之间的连接边表示产品属于同一类型，产品和客户之间的连接边表示产品面向的目标客户，通过异质图嵌入技术对该类异质图进行特征提取，可以实现对目标客户的分类。

异质图嵌入技术已经从不同角度进行了广泛的研究，并且大多数异质图嵌入技术通常依赖于元路径结构，通过元路径抽取出同质子图，再使用同质图的表示学习算法。元路径是连接两个对象复合关系的节点序列，是一种广泛使用的语义捕获的结构。流行的异质图嵌入方法有metapath2vec、HERec、HAN和HetSANN。metapath2vec基于元路径进行随机游走，通过skip-gram模型学习节点的潜在表示；受metapath2vec启发，HERec使用了一些对称的元路径，通过一种类型限制策略过滤节点序列来捕获异质图的语义信息；HAN将图神经网络应用于异质图中，利用语义级注意力和节点级注意力来同时学习元路径与节点邻居的重要性。上述这些框架仅适用于具有元路径的异质图，由于元路径需要人工制定，并且异质图中的语义信息很难通过多个元路径穷尽，在寻找目标节点的邻域节点时会忽略一些链接边类型或节点属性，不可避免地带来信息损失。因此如何在不损失异质信息的前提下对异质图进行表示学习具有一定的挑战性。HetSANN直接利用异质图的结构信息进行表示学习，抛弃了传统方法中的元路径，但它在邻域聚合过程中只考虑了不同节点影响力的差异性，未考虑节点的类型信息。

异质图中节点和连接的复杂性和异质性使得分类方法变得困难，无法直接使用同质图的分类方法查找图中的目标节点并进行分类，否则会造成图中一些信息的损失。并且传统方法中的元路径也不可避免的带来信息损失。注意力机制能够处理可变大小的数据，使模型更关注数据中重要的部分，并且已经在一些深度神经网络框架中证明了该机制的有效性。因此，不使用元路径，如何同时考虑和分析不同类型的节点和连接，利用注意力机制建立更准确的异质图是研究的难点。

发明内容

本发明的目的是针对现有技术的缺陷，提供了一种基于双层注意力机制的异质图分类方法。

为了实现以上目的，本发明采用以下技术方案：

一种基于双层注意力机制的异质图分类方法，包括步骤：

S1.对不同类型节点的特征向量进行映射操作，得到目标节点和与目标节点相对应的邻域节点在同一实体空间的特征向量；

S2.根据得到的特征向量，并基于双层注意力中的类型级注意力和节点级注意力，从类型级注意力到节点级注意力自顶向下地学习不同类型邻居和不同相邻节点间的权重；

S3.根据得到的权重构建异质图，得到分类模型；

S4.将测试数据输入至得到的分类模型中，输出最终分类结果。

进一步的，所述步骤S1中对不同类型节点的特征向量进行映射操作，表示为：

h′_i＝M_φ(i)h_i

其中h_i∈R^F和h′_i∈R^F′分别表示节点i的原始特征向量和映射后的特征向量；M_φ(i)∈R^F′×F表示类型转换矩阵；F表示原始节点的特征维数；F′表示映射后节点特征的维数。

进一步的，所述步骤S2中从类型级注意力到节点级注意力自顶向下地学习不同类型邻居和不同相邻节点间的权重包括类型级注意力学习不同类型邻居的权重，表示为：

a_τ＝σ(v_τ ^T[h′_i||h′_τ])

其中，h′_τ∈R^F′表示邻域节点特征向量h′_j∈R^F′的和，j∈N_i ^τ表示类型为τ的邻域节点；且/>是/>的子矩阵；/>表示归一化后的邻接矩阵，A′＝A+I表示在邻接矩阵A上添加了自连接；σ表示激活函数；||表示级联操作；v_τ∈R^2F′表示针对关系类型为τ的注意力向量。

进一步的，所述类型级注意力学习不同类型邻居的权重中还包括采用softmax函数对a_τ进行归一化处理，得到最终的类型级注意力权重a_τ，表示为：

其中，T表示所有节点类型的集合；a_τ′表示类型为τ′的节点的类型级注意力权重；τ′表示某种节点类型。

进一步的，所述步骤S2中从类型级注意力到节点级注意力自顶向下地学习不同类型邻居和不同相邻节点间的权重包括节点级注意力用来学习不同相邻节点间的权重，表示为：

b_ij＝σ(μ^T·α_τ[h′_i||h′_j])

其中，h′_τ∈R^F′表示节点i的特征向量h′_i∈R^F′和邻域节点j的特征向量h′_j∈R^F′；α_τ表示类型级注意力权重；b_ij表示邻居节点j对节点i的重要性；μ∈R^2F′表示相同节点类型τ共享的节点级注意力向量。

进一步的，所述节点级注意力用来学习不同相邻节点间的权重中还包括通过softmax函数对b_ij进行归一化处理，得到最终的节点级注意力权重，表示为：

其中，β_ij表示节点级注意力权重。

进一步的，所述步骤S3中根据得到的权重构建异质图，具体为：

定义异质图G＝(V,E)，V和E分别表示节点集和边集，构造异质图卷积，表示为：

其中，表示/>的子矩阵，子矩阵的行表示所有节点，列表示类型为τ的所有邻居节点；/>表示节点类型为τ的特定层的可训练变换矩阵；H_τ ^(l)表示类型为τ的节点在第l层的嵌入表示；

将得到的最终节点级注意力权重替换表示为：

其中，表示注意力矩阵；B_τ中第i行第j列的值为β_ij。

进一步的，所述步骤S3中得到分类结果具体为：利用softmax分类器对异质图中的目标节点进行分类，并利用最小化交叉熵损失函数优化构建的异质图，得到训练后的分类模型。

进一步的，所述利用softmax分类器对异质图中的目标节点进行分类，表示为：

Z＝soft max(H^(L))

其中，Z表示节点的预测值。

进一步的，所述利用最小化交叉熵损失函数优化构建的异质图，表示为：

其中，C表示分类数；D_train表示用于训练的节点索引值的集合。

与现有技术相比，本发明利用双层注意力机制，将类型级注意力和节点级注意力进行级联，使得该网络可以从类型级注意力到节点级注意力自顶向下地学习不同类型邻居的权重和不同相邻节点间的权重，一定程度上，在学习节点嵌入时能获得异质图中更全面的语义信息，减少信息的损失，提高最终分类结果的准确性。

附图说明

图1是实施例一提供的一种基于双层注意力机制的异质图分类方法流程图；

图2是实施例一提供的节点特征空间转换操作示例示意图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

本发明的目的是针对现有技术的缺陷，提供了一种基于双层注意力机制的异质图分类方法。

实施例一

本实施例提供一种基于双层注意力机制的异质图分类方法，如图1所示，包括步骤：

S11.对不同类型节点的特征向量进行映射操作，得到目标节点和与目标节点相对应的邻域节点在同一实体空间的特征向量；

S12.根据得到的特征向量，并基于双层注意力中的类型级注意力和节点级注意力，从类型级注意力到节点级注意力自顶向下地学习不同类型邻居和不同相邻节点间的权重；

S13.根据得到的权重构建异质图，得到分类模型；

S14.将测试数据输入至得到的分类模型中，输出最终分类结果。

本实施例的具体思路：本发明利用双层注意力机制，将类型级注意力和节点级注意力进行级联，使得该网络可以从类型级注意力到节点级注意力自顶向下地学习不同类型邻居的权重和不同相邻节点间的权重，一定程度上，在学习节点嵌入时能获得异质图中更全面的语义信息，减少信息的损失，提高最终分类结果的准确性。

在步骤S11中，对不同类型节点的特征向量进行映射操作，得到目标节点和与目标节点相对应的邻域节点在同一实体空间的特征向量。

输入节点的特征向量，由于不同类型节点的特征向量属于不同的实体空间，首先通过空间转换操作将不同节点的特征向量映射到同一实体空间，使得节点级注意力和类型级注意力可以处理任意类型的节点。

如图2所示，对不同类型节点的特征向量进行映射操作，得到目标节点和其邻域节点在同一实体空间的特征向量。设定原始节点的特征维数为F，映射后节点特征的维数为F′。对于类型为φ(i)的节点i∈V，其转换过程如下：

h′_i＝M_φ(i)h_i (1)

其中h_i∈R^F和h′_i∈R^F′分别为节点i的原始特征向量和映射后的特征向量。M_φ(i)∈R^F′×F是类型转换矩阵，在实验中利用一个线性函数对输入节点的特征向量做变换，通过固定输出节点特征向量的维数F′的值来确定M_φ(i)。同样可以将邻域节点j的特征向量映射到与节点i相同的实体空间中。

在步骤S12中，根据得到的特征向量，并基于双层注意力中的类型级注意力和节点级注意力，从类型级注意力到节点级注意力自顶向下地学习不同类型邻居和不同相邻节点间的权重。

类型级注意力用来学习不同类型邻居的权重。首先，给定节点i，节点i在τ类型邻域节点下的嵌入采用GCN的聚合方式，表示为并且h′_τ∈R^F′可看作邻域节点特征向量h′_j∈R^F′的和，其中j∈N_i ^τ是类型为τ的邻域节点，且/>是/>的子矩阵，只考虑与i连接的类型为τ的节点，是一个一维矩阵。/>是归一化后的邻接矩阵，A′＝A+I在邻接矩阵A上添加了自连接。给出当前节点i的特征向量h′_i∈R^F′和i在τ类型邻域节点下学习得到的特征向量h′_τ∈R^F′，则节点的类型级注意力权重可通过下式计算：

a_τ＝σ(v_τ ^T[h′_i||h′_τ]) (2)

其中σ是激活函数，可以通过LeakyReLU(·)来实现，||是级联操作。v_τ∈R^2F′是针对关系类型为τ的注意力向量，然后用softmax函数对a_τ进行归一化，得到类型级注意力权重α_τ：

其中，T是所有节点类型的集合；a_τ′表示类型为τ′的节点的类型级注意力权重；τ′表示某种节点类型。

节点级注意力用来学习不同相邻节点间的权重。给定节点i的特征向量h′_i∈R^F′和邻域节点j的特征向量h′_j∈R^F′，以及类型级注意力权重α_τ，计算节点级注意力权重：

b_ij＝σ(μ^T·α_τ[h′_i||h′_j]) (4)

其中，b_ij表示邻居节点j对节点i的重要性。注意到b_ij是非对称的，节点i对节点j的重要性和节点j对节点i的重要性可能有很大差异。μ∈R^2F′是相同节点类型τ共享的节点级注意力向量。

在得到某种类型下不同节点对的重要性之后，如下式所示，通过softmax函数对b_ij进行归一化：

其中，β_ij节点级注意力权重。

在步骤S13中，根据得到的权重构建异质图，得到分类模型。

基于双层注意力机制进行异质图卷积。

定义异质图G＝(V,E)，V和E分别为节点集和边集，X∈R^|V|×q是输入的特征矩阵，任意节点v∈V的特征向量可表示为x_v∈R^q。是输入类型为τ的节点的特征矩阵，|V|是节点数，|V_τ|是输入的τ类型的节点数，q是输入节点特征的维数。H_τ ^(l)是类型为τ的节点在第l层的嵌入表示，初始化H_τ ⁽⁰⁾＝X_τ。由于异质图节点类型的多样性，GCN无法直接用于异质图中，因此构造异质图卷积，表示为：

其中是/>的子矩阵，它的行表示所有节点，列表示类型为τ的所有邻居节点。/>是用于节点类型为τ的特定层的可训练变换矩阵。

将公式(5)得到的节点级注意力权重替换公式(6)中的得到：

其中，是注意力矩阵，B_τ中第i行第j列的值为β_ij。

步骤S13中还包括：构造交叉熵损失的表述公式。在模型训练过程中，利用损失函数不断优化网络，使得网络中的双层注意力机制在学习节点特征表示时更关注邻域节点的重要信息，有效提高分类结果的准确性。

假设该分类网络共L层，为了优化对目标任务的表示，将最后一层目标节点的嵌入表示送入softmax层进行分类，q^(L)为输出目标节点特征的维数，得到：

Z＝softmax(H^(L)) (8)

在模型训练过程中，通过最小化交叉熵损失函数优化目标任务：

其中C是分类数，D_train是用于训练的节点索引值的集合。Y是节点的标签值，Z是节点的预测值。

在步骤S14中，将测试数据输入至得到的分类模型中，输出最终分类结果。

输入节点的特征向量，首先通过空间转换操作将不同节点的特征向量映射到同一实体空间，得到节点在同一实体空间的特征向量；接着通过双层注意力机制从类型级注意力到节点级注意力自顶向下地学习不同类型邻居的权重和不同相邻节点间的权重；然后，基于双层注意力机制进行异质图卷积，得到目标节点的最终表示；最后利用softmax分类器对目标节点进行分类。

搭建完分类网络的整体框架后，初始化训练参数，整个数据集被划分为3部分，将含有标签的节点的特征向量作为训练集，其余没有打标签的节点作为验证集和测试集。将训练集送入网络进行迭代的训练，利用softmax分类器对异质图中的目标节点进行分类，得到训练后的模型，然后将验证集输入训练后的模型，选择最佳的模型，将测试集输入该模型中，得到最终的分类结果。

本实施例提出了一种基于双层注意力机制的异质图分类网络，并且利用该网络进行节点特征的提取以及实现目标节点分类的过程。其中，空间转换操作将节点特征向量映射到同一实体空间，使得类型级注意力和节点级注意力可以处理任意类型的节点。并且对于网络中的节点来说，不同类型的邻居节点可能会对其产生不同的影响。例如，同类型的邻居节点的权重更大。此外，同类型下各相邻节点也可能具有不同的权重。因此提出了一种双层注意力机制，将类型级注意力和节点级注意力进行级联，使得该网络可以从类型级注意力到节点级注意力自顶向下地学习不同类型邻居的权重和不同相邻节点间的权重。最后，考虑到不同类型节点的差异性，基于双层注意力机制进行异质图卷积，得到目标节点最终的嵌入表示，然后将其送入softmax分类器进行分类，构造交叉熵损失函数，整体网络在训练过程中不断优化，提高分类的精度。

与现有技术相比，本发明利用双层注意力机制，将类型级注意力和节点级注意力进行级联，使得该网络可以从类型级注意力到节点级注意力自顶向下地学习不同类型邻居的权重和不同相邻节点间的权重，一定程度上，在学习节点嵌入时能获得异质图中更全面的语义信息，减少信息的损失，提高最终分类结果的准确性。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (9)

1.一种基于双层注意力机制的异质图分类方法，其特征在于，包括步骤：

S1.对不同类型节点的特征向量进行映射操作，得到目标节点和与目标节点相对应的邻域节点在同一实体空间的特征向量；

S2.根据得到的特征向量，并基于双层注意力中的类型级注意力和节点级注意力，从类型级注意力到节点级注意力自顶向下地学习不同类型邻居和不同相邻节点间的权重；

S3.根据得到的权重构建异质图，得到分类模型；

S4.将测试数据输入至得到的分类模型中，输出最终分类结果；

步骤S3中根据得到的权重构建异质图，具体为：

定义异质图G＝(V,E)，V和E分别表示节点集和边集，构造异质图卷积，表示为：

其中，表示/>的子矩阵，子矩阵的行表示所有节点，列表示类型为τ的所有邻居节点；/>表示节点类型为τ的特定层的可训练变换矩阵；H_τ ^(l)表示类型为τ的节点在第l层的嵌入表示；

将得到的最终节点级注意力权重替换表示为：

其中，表示注意力矩阵；B_τ中第i行第j列的值为β_ij。

2.根据权利要求1所述的一种基于双层注意力机制的异质图分类方法，其特征在于，步骤S1中对不同类型节点的特征向量进行映射操作，表示为：

h′_i＝M_φ(i)h_i

其中h_i∈R^F和h′_i∈R^F′分别表示节点i的原始特征向量和映射后的特征向量；M_φ(i)∈R^{F ′×F}表示类型转换矩阵；F表示原始节点的特征维数；F′表示映射后节点特征的维数。

3.根据权利要求2所述的一种基于双层注意力机制的异质图分类方法，其特征在于，步骤S2中从类型级注意力到节点级注意力自顶向下地学习不同类型邻居和不同相邻节点间的权重包括类型级注意力学习不同类型邻居的权重，表示为：

a_τ＝σ(v_τ ^T[h′_i||h′_τ])

其中，h′_τ∈R^F′表示邻域节点特征向量h′_j∈R^F′的和，j∈N_i ^τ表示类型为τ的邻域节点；且/>是/>的子矩阵；/>表示归一化后的邻接矩阵，A′＝A+I表示在邻接矩阵A上添加了自连接；σ表示激活函数；||表示级联操作；v_τ∈R^2F′表示针对关系类型为τ的注意力向量。

4.根据权利要求3所述的一种基于双层注意力机制的异质图分类方法，其特征在于，所述类型级注意力学习不同类型邻居的权重中还包括采用softmax函数对a_τ进行归一化处理，得到最终的类型级注意力权重a_τ，表示为：

其中，T表示所有节点类型的集合；a_τ′表示类型为τ′的节点的类型级注意力权重；τ′表示某种节点类型。

5.根据权利要求4所述的一种基于双层注意力机制的异质图分类方法，其特征在于，步骤S2中从类型级注意力到节点级注意力自顶向下地学习不同类型邻居和不同相邻节点间的权重包括节点级注意力用来学习不同相邻节点间的权重，表示为：

b_ij＝σ(μ^T·α_τ[h′_i||h′_j])

其中，α_τ表示类型级注意力权重；b_ij表示邻居节点j对节点i的重要性；μ∈R^2F′表示相同节点类型τ共享的节点级注意力向量。

6.根据权利要求5所述的一种基于双层注意力机制的异质图分类方法，其特征在于，所述节点级注意力用来学习不同相邻节点间的权重中还包括通过softmax函数对b_ij进行归一化处理，得到最终的节点级注意力权重，表示为：

其中，β_ij表示节点级注意力权重。

7.根据权利要求1所述的一种基于双层注意力机制的异质图分类方法，其特征在于，步骤S3中得到分类结果具体为：利用softmax分类器对异质图中的目标节点进行分类，并利用最小化交叉熵损失函数优化构建的异质图，得到训练后的分类模型。

8.根据权利要求7所述的一种基于双层注意力机制的异质图分类方法，其特征在于，所述利用softmax分类器对异质图中的目标节点进行分类，表示为：

Z＝softmax(H^(L))

其中，Z表示节点的预测值。

9.根据权利要求8所述的一种基于双层注意力机制的异质图分类方法，其特征在于，所述利用最小化交叉熵损失函数优化构建的异质图，表示为：

其中，C表示分类数；D_train表示用于训练的节点索引值的集合。