CN112380427A - 基于迭代图注意力网络的用户兴趣预测方法及电子装置 - Google Patents

Abstract

本发明公开了一种基于迭代图注意力网络的用户兴趣预测方法及电子装置，通过未知兴趣标签分布与兴趣标签联合依赖概率，将用户特征学习的图注意力网络GAT_θ与兴趣潜在关系建模的图注意力网络

相结合，并引入标签传播机制捕捉兴趣标签的局部依赖关系，对用户网络中的各用户兴趣进行预测。本发明，弥补了目前主流的用户兴趣预测方法对兴趣潜在关系建模的空缺，充分利用用户社交关系数据，预测准确率更高，并且高效快捷。

Description

基于迭代图注意力网络的用户兴趣预测方法及电子装置

技术领域

本发明属于社交媒体-用户画像-自然语言处理领域，尤其涉及一种基于迭代图注意力网络的用户兴趣预测方法及电子装置。

背景技术

社交网络用户兴趣的自动预测在基于用户建模的应用如推荐系统中起着重要的作用。例如，在了解用户的兴趣后，推荐系统可以为用户提供潜在好友推荐、个性化广告等精准服务。近年来，用户兴趣预测得到了广泛的研究。现有的用户兴趣预测技术主要可以分为四大方案：

一类是基于协同过滤的方法(A.Ahmed，B.Kanagal，S.Pandey，V.Josifovski，L.G.Pueyo，and J.Yuan，“Latent factor models with additive and hierarchically-smoothed user preferences，”2013，pp.385-394.)，使用用户与商品之间的交互信息来发现用户相同兴趣爱好的用户、或有相似属性的商品，进而来推断用户的兴趣。这种方法主要分为基于用户的协同过滤和基于商品的协同过滤。基于用户的方法通过构建用户-商品矩阵，分别统计每个用户正反馈过的商品来获得用户向量，再通过计算两个用户间的皮尔森系数或余弦相似度来返回相似用户，将用户没有交互的商品记为潜在兴趣。基于商品的协同过滤方法则去计算商品之间的相似度，将与用户交互过的商品接近的商品记为潜在兴趣；

第二类是基于主题建模的方法(J.He，H.Liu，Y.Zheng，S.Tang，W.He，and X.Du，“Bi-Labeled LDA：Inferring Interest Tags for Non-famous Users in SocialNetwork，”Data Science and Engineering，vol.5，no.1，pp.27-47，/，2020.)，通过对用户生成的文本数据进行主题建模来挖掘用户感兴趣的话题类别。这种方法一般基于LDA主题模型，使用Dirichlet分布生成K个主题的词语分布以及用户文本关于主题的分布，当用户的主题分布确定后，以主题作为特征维度来得到用户的特征表示，最后使用VSM对用户建模来预测用户的兴趣。

第三种是基于图模型的方法，该方法通过将数据不断在用户网络中迭代来达到使关系紧密的用户兴趣趋于一致的结果。其中比较典型的是MLP方法(L.Wei，W.Zhou，J.Wen，M.Lin，J.Han，and S.Hu，“MLP-IA：Multi-label User Profile Based on ImplicitAssociation Labels，”2019，pp.548-561.)，首先通过统计兴趣标签的共现关系定义了兴趣关联矩阵P，再通过用户好友关系来计算用户相似度得到概率转移矩阵T。模型初始化了兴趣标签矩阵F，在每轮的标签迭代中，用户标签将被邻居节点的标签和隐式关联的标签更新，兴趣标签矩阵F得到修正以便进行下一次传播。

第四类是基于神经网络的方法，这种方法关注于用户信息的表示，使用神经网络来学习用户文本、图像信息的深层次特征来表示用户自身特征，最后使用分类器根据用户特征进行兴趣分类。目前越来越多的用户兴趣预测方法开始使用基于神经网络的方法。最新提出的异构图注意力网络模型(W.Chen，Y.Gu，Z.Ren，X.He，H.Xie，T.Guo，D.Yin，andY.Zhang，“Semi-supervised User Profiling with Heterogeneous Graph AttentionNetworks，”2019，pp.2116-2122.)，通过将物品属性、物品本身、用户三者根据依赖关系构造出异构网络，在其基础上应用图注意力网络。该模型首先使用FastText方式(P.Bojanowski，E.Grave，A.Joulin，and T.Mikolov，“Enriching Word Vectors withSubword Information，”Trans.Assoc.Comput.Linguistics，vol.5，pp.135-146，/，2017.)编码物品属性，使用注意力机制来学习物品本身的特征表达，再根据用户之间的交互关系以及用户共同交互过的产品再次使用注意力机制学习用户最终的特征表达，进而进行兴趣预测。

目前多数模型在对于用户生成数据(如文本、图片等)和用户交互信息的处理较为孤立。不仅如此，兴趣标签之间的潜在关联没有被充分学习到。对于一个兴趣未知的用户，可以参考与他的好友兴趣潜在相关的领域作为该用户的兴趣标签，而不同用户网络中，兴趣标签的潜在关联会不同，因此目前需要一种方法来自动地建模这种联系。

发明内容

为解决上述问题，本申请提出一种基于迭代图注意力网络的用户兴趣预测方法及电子装置，将用户特征学习与兴趣潜在关系建模相结合，并同时考虑用户网络结构，用来精准地预测社交网络中用户的兴趣标签。

本发明技术解决方案包括：

一种基于迭代图注意力网络的用户兴趣预测方法，适用于由一个或多个已知标签用户与一个或多个未知标签用户组成的用户网络，应用一个由图注意力网络GAT_θ与图注意力网络

组成的迭代图注意网络，其步骤包括：

1)通过预训练的语言模型，得到各用户的用户特征u_j，其中1≤j≤N，N为用户数量；

2)将用户特征u_j输入图注意力网络

通过固定兴趣标签联合依赖概率

近似未知标签用户分布

对图注意力网络

的参数θ^(t-1)进行更新，得到图注意力网络

的参数θ^(t)，其中t为迭代次数，t≥1，兴趣标签联合依赖概率

未知标签用户分布

通过用户网络得到，I_L为已知标签，I_un为未知标签，U_V为用户特征u_j的集合；

3)将用户特征u_j输入图注意力网络

各未知标签用户通过学习用户网络中已知标签用户的用户特征，得到用户特征

4)依据用户网络，对用户特征

进行标签传播，得到用户标签

5)将用户标签

输入图注意力网络

并通过固定未知标签用户分布

近似兴趣标签联合依赖概率

对图注意力网络

的参数

进行更新，得到图注意力网络

的参数

6)将用户标签

输入图注意力网络

依据各用户标签依赖关系，得到用户标签表示

7)根据用户标签表示

得到未知标签用户分布布

与兴趣标签联合依赖概率

8)当迭代图注意网络收敛后，依据用户特征

得到各用户兴趣标签。

进一步地，预训练的语言模型包括BERT模型。

进一步地，通过以下步骤得到各用户的标签表示

1)通过用户特征u_j与邻居用户特征u_jk，计算注意力系数

其中k为用户j的邻居用户编号；

2)对各注意力系数

进行归一化，得到注意力系数

3)依据邻居用户特征u_jk与注意力系数

通过多头注意力机制，得到各用户的标签表示

其中多头注意力机制中聚合函数Concat(*)在最后一层会被替换为Average(*)。

进一步地，通过以下步骤得到注意力系数

1)用户特征u_j由共享的权重W_u∈R^{F′×F}经一次线性变换从F维转换为F’维，得到用户特征u′_j；

2)将用户特征u′_j与邻居用户特征u_jk进行横向拼接；

3)将拼接结果经过权重向量α^T∈R^2F参数化后，共同送入一个单层的前馈网络并进行非线性的LeakyReLU操作，得到注意力系数

进一步地，通过以下步骤用户标签

1)依据通过one-hot编码的用户向量，得到一概率转移矩阵P；

2)计算转化矩阵

其中D是用户网络的度矩阵；

3)通过公式

对标签传播过程进行迭代直至收敛，得到用户标签矩阵I^(t)，其中用户特征矩阵H^(t)是由用户特征

构成，用户标签矩阵I^(t)是由用户标签

构成，t′为标签传播过程的迭代次数，t′≥1，λ为超参。

进一步地，通过以下步骤得到用户标签表示

1)通过注意力机制捕获用户标签

与第K-阶邻居用户标签

间的依赖关系

2)依据用户标签

与依赖关系

通过头注意力机制，得到各用户的标签表示

进一步地，所述迭代图注意网络的最大似然估计

其中I_V为全部标签集合。

进一步地，通过已知标签用户的交叉误差函数，判断所述迭代图注意网络是否收敛。

一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述所述的方法。

一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机以执行上述所述的方法。

与现有技术相比，本发明具有如下优点：

1.提出一个能够将用户特征表示与兴趣领域潜在联系建模相结合的模型，弥补了目前主流的用户兴趣预测方法对兴趣潜在关系建模的空缺；

2.通过引入标签传播机制进一步利用用户社交关系数据，充分捕捉兴趣标签的局部依赖关系；

3.与现有的图注意力网络模型相比，本发明使用了两个图神经网络内核进行迭代学习，并且创新地将用户兴趣标签的潜在联系进行建模，预测准确率更高，并且高效快捷。

附图说明

图1为本发明的迭代图神经网络框架示意图。

具体实施方式

为使本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合说明书附图作详细说明如下。

本发明使用一个基于迭代图注意网络(IGAT)的兴趣预测模型，该模型不仅通过网络结构来学习用户特征，而且对兴趣标签的依赖性进行建模，挖掘了兴趣标签的潜在关联。IGAT由两个模块组成：用户特征学习模块和兴趣依赖建模模块。用户特征学习模块在整个社交网络中捕捉用户信息，并通过加权从他们的邻居获得的信息来学习用户表示；兴趣依赖建模模块负责挖掘兴趣标签内部的潜在依赖关系，而后反馈给用户特征学习模块来进行最终的兴趣预测工作。整体来看，IGAT利用从用户特征学习模块中学习到的用户标签表示和兴趣依赖建模模块挖掘的兴趣间潜在关联共同预测用户的兴趣属性。特别指出，本发明用EM算法(最大期望算法)对IGAT进行迭代训练。在E步中，使用一个GAT内核来学习不同邻域内不同权重的用户特征表示。在M步中，另一个GAT内核通过将周围的用户标签作为特征来建模兴趣标签的联合依赖关系。此外，在迭代训练过程中应用标签传播操作，捕捉兴趣的局部依赖，捕捉用户的聚集特征。本发明利用带有兴趣标签的用户和他们的朋友构造用户网络图，在现实中，由于大部分用户标签无法获取，因此，本发明以半监督的方式预测用户的兴趣，即通过标签已知的用户以及其各自大量的标签未知的用户共同训练出一个用户兴趣预测模型。

本发明的迭代图神经网络框架，如图1所示，可分为两个部分：1)用户特征学习模块；2)兴趣依赖建模模块。

具体来说，本发明可以拆解为三个主要操作：用户兴趣学习、兴趣依赖建模、标签传播。

1.用户兴趣学习

首先使用一个图注意网络(P.Velickovic，G.Cucurull，A.Casanova，A.Romero，P.Liò，and Y.Bengio，“Graph Attention Networks，”2018.)内核GAT_θ来学习用户的特征表达。GAT_θ使用由BERT(J.Devlin，M.-W.Chang，K.Lee，and K.Toutanova，“BERT：Pre-training of Deep Bidirectional Transformers for Language Understanding，”2019，pp.4171-4186.)编码的用户特征嵌入U＝{u₁，u₂，...u_N}，u_i∈R^F作为输入，其中N表示输入用户的数量，R为维度表示符号，F为用户特征维度。为了捕获用户邻居节点的特征，本发明在整个用户网络上应用一个自注意力操作：对于每个用户j，他与邻居k的注意力系数定义如下：

e_jk＝LeakyReLU(α^T[W_u·u_j||W_u·u_k])

其中，为了获得更好的表达能力，用户特征u_j由共享的权重W_u∈R^{F′×F}经一次线性变换从F维转换为F’维，然后与他的邻居节点特征向量u_k进行横向拼接，经过权重向量α^T∈R^2F′参数化后共同送入一个单层的前馈网络并进行非线性的LeakyReLU操作。在这之后，注意力系数e_jk会被归一化，得到注意力系数：

其中Neighbor_j表示用户j的邻居用户集合。

接下来，本发明引入多头注意力机制(A.Vaswani，N.Shazeer，N.Parmar，J.Uszkoreit，L.Jones，A.N.Gomez，L.Kaiser，and I.Polosukhin，“Attention is All youNeed，”2017，pp.5998-6008.)来提高特征的表达能力。在这里M个独立的注意力头用来提升特征的表达。在此操作下，用户的特征u_j最终可以表示为h_j：

h_j＝Concat(head₁，head₂，...，head_M)

其中

为第i个注意力机制下的注意力系数，σ(*)为非线性激活函数，聚合函数Concat(*)在最后一层会被替换为Average(*)，Average操作会将用户的每个注意力机制下的输出做平均，最终用户向量的输出维度是总的标签数量C。

2.兴趣依赖建模

在这一模块，本发明的目标是去建模兴趣标签间的潜在依赖关系。上一模块中得到的用户特征矩阵{h₁，h₂，...，h_N}在这里记为I∈R^{N×C}，其中N表示用户数量，C表示标签数量(用户特征向量最终的输出维度为标签类别总数)。每一个行向量i∈I都可以被视为用户兴趣标签的特征表示。为了建模这些兴趣标签的依赖关系，本发明在每一层注意力运算时都使用用户兴趣标签的一阶邻居来捕获标签之间的依赖关系。这样一来在K-层注意力运算后，用户u_j的兴趣i_j与第K-阶邻居u_k∈K的兴趣i_k间的依赖关系dep_jk就可以被学习到。这一步也使用图注意力机制来进行：

其中W_i∈R^{C×C}是一个权值矩阵用来学习标签的特征表示，β是一个权重向量帮助进行前馈操作。这里同样引入M-头注意力机制来获得更丰富的特征表示，注意力头定义如下：

以上这部分称为

即另一个GAT内核。通过结合用户兴趣标签的特征表示与整个用户网络结构，

可以很好地学习到兴趣标签的依赖关系，进而得出新的标签表示矩阵I’＝{i′₁，i′₂，…，i′_N}。

3.标签传播

直觉上，拥有相同朋友的用户他们的相似度会更高。依据标签传播算法LPA(Zhu，X.，Ghanramani，Z.：Learning from labeled and unlabeled data with labelpropagation.CMU-CALD-02-107(2002))的思路，本发明在以上两个主要模块间加入了一个标签传播过程，目的是进一步来捕获标签之间的局部依赖。为此根据用户间的相似性定义了一个概率转移矩阵P：

在这里用户向量u′使用的是one-hot编码，每一维是用户的粉丝。

为了使整个传播更好地收敛，转移矩阵P进行了转化：

其中D是用户网络的度矩阵。在这之后使用以下公式对传播过程进行迭代直至收敛：

公式中的超参λ用来控制初始化时的影响。在每轮传播过程迭代t中，用户的标签会被邻居节点的标签信息更新。

4.迭代训练：

在训练过程中，将用户-兴趣图看作一个条件随机场，其中用户的特征表示为观测序列，而待预测的标签视作标注序列。于是待解决的问题转化为去建模在用户特征条件下的兴趣标签联合依赖概率

(后文简写为

)，其中I_L表示已知的兴趣标签，I_un指未知标签，I_V＝{I_L，I_un}为全部标签集合，U_V为全部用户特征集合。根据EM算法可推导出含隐变量的最大似然估计为：

其中q_θ(I_un|U_V)为未知标签I_un的分布，后文简写为q_θ。E为期望表示。于是，IGAT将会在E步和M步间进行迭代优化。

在E步中，目标是去更新q_θ来近似

的后验分布：

这里首先使用GAT_θ来近似q_θ分布来预测每个标签的概率，通过神经网络更新方法来对于模型参数θ进行更新，方法如下：

q_θ(I_n|U_V)＝GAT_θ(U＝{u₁，u₂，...u_N}；θ)

对于

由于它的后验分布十分复杂，这里将它转化为每个标签I_n在其邻居标签

状态下的预测概率

(推导方法参考伪似然方法(Besag，J.Statistical analysis of non-lattice data.The statistician，pp.179-195，1975.))，其中若其邻居标签已知，则使用邻居真实的标签，若未知则使用该邻居在上一步预测出的标签：

在M步中，本发明目标是建模每个标签的条件分布

和E步相同，本发明使用图注意内核

来简化这个分布：

在训练中q_θ将会被固定以更新参数

M步的输出结果I’将被作为下一轮E步的近似目标。最终，通过E步和M步交替地训练，IGAT可以在迭代训练过程中很好地被优化。由于本模型采用半监督学习的方法，模型的损失函数定义为所有标签已知用户的交叉误差：

其中U_L是所有已知标签用户的集合，C为标签类别，Y_uc表示用户u在标签c下的概率(真实值)，I_uc表示用户在标签c下的预测概率(预测值)。

5.积极效果

在实验步骤中，为了能够更好地运用用户数据，申请人手工构建了一个数据集。该数据集内容全部为国内社交平台真实数据。其中包括4368名待预测主用户以及这些用户的关注/粉丝用户13104名，用户社交关系32241条，以及待预测用户的个人简介信息。数据集含兴趣标签46类，申请人将为4368名主用户预测他们各自的兴趣。为了更好地验证用户社交数据的有效性，分别在只有主用户的数据集、以及同时包含主用户和其关注/粉丝用户的数据集上进行实验。

本技术的评估指标分别为精确率accuracy、准确率precision以及F1-macro。将本发明中的模型方法与主流方法进行了比较，其中最后一行是本发明提出的模型，具体结果如表1所示。可以看到本发明提出的模型超过了许多主流模型的性能，证明了本发明提出方法的有效性：

表1：主要模型的性能结果对比

提供以上实施例仅仅是为了描述本发明的目的，而并非要限制本发明的范围。本发明的范围由所附权利要求限定。不脱离本发明的精神和原理而做出的各种等同替换和修改，均应涵盖在本发明的范围之内。

Claims (10)

1.一种基于迭代图注意力网络的用户兴趣预测方法，适用于由一个或多个已知标签用户与一个或多个未知标签用户组成的用户网络，应用一个由图注意力网络GAT_θ与图注意力网络

组成的迭代图注意网络，其步骤包括：

1)通过预训练的语言模型，得到各用户的用户特征u_j，其中1≤j≤N，N为用户数量；

2)将用户特征u_j输入图注意力网络

通过固定兴趣标签联合依赖概率

近似未知标签用户分布

对图注意力网络

的参数θ^(t-1)进行更新，得到图注意力网络

的参数θ^(t)，其中t为迭代次数，t≥1，兴趣标签联合依赖概率

未知标签用户分布

通过用户网络得到，I_L为已知标签，I_un为未知标签，U_V为用户特征u_j的集合；

3)将用户特征u_j输入图注意力网络

各未知标签用户通过学习用户网络中已知标签用户的用户特征，得到用户特征

4)依据用户网络，对用户特征

进行标签传播，得到用户标签

5)将用户标签

输入图注意力网络

并通过固定未知标签用户分布

近似兴趣标签联合依赖概率

对图注意力网络

的参数

进行更新，得到图注意力网络

的参数

6)将用户标签

输入图注意力网络

依据各用户标签依赖关系，得到用户标签表示

7)根据用户标签表示

得到未知标签用户分布布

与兴趣标签联合依赖概率

8)当迭代图注意网络收敛后，依据用户特征

得到各用户兴趣标签。

2.如权利要求1所述的方法，其特征在于，预训练的语言模型包括BERT模型。

3.如权利要求1所述的方法，其特征在于，通过以下步骤得到各用户的标签表示

1)通过用户特征u_j与邻居用户特征u_jk，计算注意力系数

其中k为用户j的邻居用户编号；

2)对各注意力系数

进行归一化，得到注意力系数

3)依据邻居用户特征u_jk与注意力系数

通过多头注意力机制，得到各用户的标签表示

其中多头注意力机制中聚合函数Concat(*)在最后一层会被替换为Average(*)。

4.如权利要求3所述的方法，其特征在于，通过以下步骤得到注意力系数

1)用户特征u_j由共享的权重W_u∈R^{F′×F}经一次线性变换从F维转换为F’维，得到用户特征u′_j；

2)将用户特征u′_j与邻居用户特征u_jk进行横向拼接；

3)将拼接结果经过权重向量α^T∈R^2F′参数化后，共同送入一个单层的前馈网络并进行非线性的LeakyReLU操作，得到注意力系数

5.如权利要求1所述的方法，其特征在于，通过以下步骤用户标签

1)依据通过one-hot编码的用户向量，得到一概率转移矩阵P；

2)计算转化矩阵

其中D是用户网络的度矩阵；

3)通过公式

对标签传播过程进行迭代直至收敛，得到用户标签矩阵I^(t)，其中用户特征矩阵H^(t)是由用户特征

构成，用户标签矩阵I^(t)是由用户标签

构成，t′为标签传播过程的迭代次数，t′≥1，λ为超参。

6.如权利要求1所述的方法，其特征在于，通过以下步骤得到用户标签表示

1)通过注意力机制捕获用户标签

与第K-阶邻居用户标签

间的依赖关系

2)依据用户标签

与依赖关系

通过头注意力机制，得到各用户的标签表示

7.如权利要求1所述的方法，其特征在于，所述迭代图注意网络的最大似然估计

其中I_V为全部标签集合。

8.如权利要求1所述的方法，其特征在于，通过已知标签用户的交叉误差函数，判断所述迭代图注意网络是否收敛。

9.一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行权利要求1-8中任一所述方法。

10.一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行如权利要求1-8中任一所述方法。

Images