CN116485501B - 一种基于图嵌入与注意力机制的图神经网络会话推荐方法 - Google Patents

Abstract

本发明提供一种基于图嵌入与注意力机制的图神经网络会话推荐方法，首先将数据集中的会话序列转化为会话图结构；将会话图结构作为门控图神经网络的输入，进行物品特征提取，得到物品特征向量；结合注意力机制和LSTM，对用户的兴趣进行建模，得到用户对于每个物品的兴趣；最后结合用户兴趣和物品特征向量计算每个项目的得分，生成最终的预测结果。本发明通过构建全局图提取了单一会话图不能提供的额外信息辅助物品特征向量的构建，并创新性的提出使用LSTM解决传统会话图构建过程中的问题，优化用户兴趣建模过程。相比之前的会话推荐算法，在没有增加很多训练时间成本的前提下，大大提高了推荐准确率。

Description

一种基于图嵌入与注意力机制的图神经网络会话推荐方法

技术领域

本发明属于神经网络领域，具体涉及一种基于图嵌入与注意力机制的图神经网络会话推荐方法。

背景技术

基于深度学习的推荐系统主要利用深度神经网络的强大功能，对用户的历史行为数据之间的复杂依赖性进行建模。但是很多推荐方法通常依赖于用户资料的可用性和长期的历史交互，很多用户属性被作为隐私保护起来，能够供给推荐系统学习优化的信息较少。在很多实际场景中，系统往往无法识别用户并关联其相关历史行为，这就导致推荐系统在许多现实世界场景中可能表现不佳。例如，用户可能在不登录账号的情况下，以“游客方式”访问电商平台，此时用户的信息对于平台的推荐算法来说就是不可见的。在这种情况下，推荐系统需要从相对较短的用户历史行为中准确捕捉用户的意图和偏好，并在有限的信息下生成推荐结果。为此，亟需一种准确的神经网络会话推荐方法。

发明内容

本发明提供一种基于图嵌入与注意力机制的图神经网络会话推荐方法，S1首先将数据集中的会话序列转化为会话图结构；

S2将会话图结构作为门控图神经网络的输入，进行物品特征提取，得到物品特征向量；

S3结合注意力机制和LSTM，对用户的兴趣进行建模，得到用户对于每个物品的兴趣；

S4最后结合用户兴趣和物品特征向量计算每个项目的得分，生成最终的预测结果。

进一步的，所述会话图结构包括单一会话图结构和全局会话图结构。

进一步的，所述S2具体为：

将所述单一会话图结构输入到门控图神经网络中得到物体的局部特征向量；

将所述全局会话图结构输入到门控图神经网络中得到物体的全局特征向量；

最后将所述局部特征向量和全局特征向量聚合得到最终的物品特征向量。

进一步的，所述S3具体过程为：

利用物品特征向量得到嵌入矩阵，将所述嵌入矩阵作为输入放进LSTM结构中，获取对应的输出h_lstm，

取LSTM的最后一个隐状态h_lstm，l，所述隐状态h_lstm，l表示作为用户的近期兴趣。

进一步的，所述S4具体为：

通过将s_h与每个候选项目v_i∈V相乘来计算每个项目的得分，计算公式如下：

然后应用softmax函数来得到模型的输出向量

其中表示所有候选项目的推荐分数，/>表示节点出现在会话s中的下一次点击的概率。

本发明还提供一种电子设备，包括存储器及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行根据所述的基于图嵌入与注意力机制的图神经网络会话推荐方法。

本发明还提供一种计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时实现所述的基于图嵌入与注意力机制的图神经网络会话推荐方法。

本发明的技术效果：

本发明通过构建全局图提取了单一会话图不能提供的额外信息辅助物品特征向量的构建，并创新性的提出使用LSTM解决传统会话图构建过程中的问题，优化用户兴趣建模过程。相比之前的会话推荐算法，在没有增加很多训练时间成本的前提下，大大提高了推荐准确率。

附图说明

附图大体上通过举例而不是限制的方式示出各种实施例，并且与说明书以及权利要求书一起用于对所发明的实施例进行说明。在适当的时候，在所有附图中使用相同的附图标记指代同一或相似的部分。这样的实施例是例证性的，而并非旨在作为本装置或方法的穷尽或排他实施例。

图1示出了本发明的模型结构示意图；

图2示出了本发明的全局图结构示意图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

本实施例提出了一种基于图嵌入与注意力机制的图神经网络会话推荐方法，实现准确率的提升以及训练效率的提高。

主要有三个关键点：(1)首先，我们将使用全局的会话序列，构造除了单一会话图之外全局会话图结构，在考虑当前会话序列中的物品转换的同时，考虑其他会话中有用的物品转换关系，辅助当前的预测；(2)本文在对用户兴趣进行表示的时候引入LSTM，可以严格区分传统邻接矩阵导致的不同会话序列产生相同会话图的问题。(3)LSTM最后一个隐状态代替直接取当前用户的会话序列最后一个交互物品表示作为用户的近期兴趣，通过LSTM捕捉用户基于时间演变的用户兴趣。

局部图神经网络

前人的实验已经证明了门控图神经网络非常适合会话推荐，这里继续沿用其结构。因为它可以在考虑丰富节点连接的情况下自动提取会话图的特征。我们首先演示了会话图中节点向量的学习过程。形式上，对于图G_S的节点v_s，i，更新函数如下：

其中H∈R^d×2d控制权重，Z_s，i和r_s，i分别是复位门和更新门，是会话s中的节点向量列表，σ(·)是sigmoid函数，并且是元素乘法算子。h_i∈R^d表示节点v_s，i的潜在向量。邻接矩阵A_s∈R^n×2n决定了图中节点如何相互通信，而A_s，i：∈R^1×2n是A_s中与节点v_s，i对应的两列块。

最终，我们获得节点v_s，i的局部向量表示

全局图神经网络

全局图旨在捕获全局级别的物品交互信息，这些信息将用于学习所有会话中的物品嵌入。具体来说，全局图是基于所有会话中的ε-邻居项集构建的。全局图定义如下，令G_g＝(V_g，E_g)为全局图，其中V_g表示包含V中所有物品的图节点集，而表示边的集合，每条边对应于来自所有会话的两个成对物品。图2展示了以ε取值为2构建的全局图示例。此外，对于每个节点v_i，我们为其邻居生成权重以区分他们重要性，如下所示：对于每条边/>使用其全部邻居作为计算其相应边缘权重依据；出于效率考虑，我们只保留图G_g上每个物品v_i权重最高的top-N边。请注意，图G_g上物品v的邻居(即/>)的定义与N_ε(v)相同。

因此，G_g是一个无向加权图，因为ε-邻居集是无向的，如图2所示。

接下来介绍如何在全局图上编码来自其他会话的物品转换信息以达到传播特征，提高推荐效果的目标。

我们的全局图是基于图卷积网络的架构构建的，利用图注意力网络的思想，根据每个连接的重要性生成注意力权重。在这里，我们首先描述一个单层，它由两个组件组成：信息传播和信息聚合，然后展示如何将其推广到多个层。

信息传播对于一个物品v_i来说，由于他的每个邻居所反映的用户兴趣偏好并不相同，因此需要对v_i的ε-邻居集中的物品进行注意力计算，以区分ε-邻居集中每个物品的重要程度。

因此，N_ε(v)中的每个物品根据计算得到注意力评分进行加权求和，

其中e(v_i，v_j)表示的是v_i与邻居v_j的关联程度，我们认为，一个物品越接近当前会话的偏好，那么这个物品对当前推荐的重要性就越大。

因此我们实现e(v_i，v_j)如下：

这里我们选择LeakyRelu作为激活函数，⊙表示哈达马乘积，||表示串联操作，w_ij∈R¹是全局图中边(v_i，v_j)的权重，W₁∈R^(d+1)×(d+1)和q₁∈R^d+1是可训练的参数，s可以看作是当前会话的特征，通过计算当前会话中物品表示的平均值得到。

至此，通过计算得到的注意力系数，我们能够更加精确的判断应该更加关注ε-邻居集中的哪些物品。

信息聚合最后一步是聚合物品表示h_v及其邻居表示我们实现聚合函数agg如下，

其中我们选择relu作为激活函数，W₂∈R^d×2d是变换权重。

通过单个聚合器层，物品的表示依赖于其自身及其直接邻居。我们可以通过将聚合器从一层扩展到多层来探索高阶连接信息，这种做法能将与当前会话相关的更多信息合并到当前表示中。我们将第k步骤中物品的表示公式化为：

是物品v的表示，它是从先前的信息传播中生成的，/>在初始传播迭代时设置为h_v。通过这种方式，一个物品的k顺序表示是它的初始表示和它的邻居信息的混合，直到k阶邻居，这使得能够将更有效的消息合并到当前会话的表示中。

同时，为了进一步避免由于汇聚全图信息带来的噪声，除了前面使用的注意力机制之外，我们也使用了dropout机制，

至此，我们通过GGNN得到了物品的局部特征，通过构建全局图，得到了物品的全局特征。最终的物品特征向量表示由两部分聚合得到。

用户兴趣建模

LSTM作为循环神经网络的典型代表，在处理序列数据方面具有得天独厚的优势。在本模型中我们主要是用LSTM提取会话级别的用户特征信息。LSTM关键方程如下所示，

i_t＝σ(W_xix_t+W_hih_t-1+W_ci⊙c_t-1+b_i)，#(15)

f_t＝σ(W_xfx_t+W_hfh_t-1+W_cf⊙c_t-1+b_f)，#(16)

c_t＝f_t⊙c_t-1+i_t⊙tanh(w_xcx_t+W_hch_t-1+b_c)#(17)

o_t＝σ(w_xox_t+W_hoh_t-1+W_co⊙c_t+b_o)，#(18)

h_t＝o_t⊙tanh(c_t)，#(19)

方便起见，我们将上述公式简化为：

f＝LSTM(x)，#(20)

其中，x为输入的序列化数据。

在本论文中，对于一条会话s＝{v_s，1，v_s，2，…，v_s，l}，我们使用上游提取的物品特征向量h_v，并利用整个会话中物品的索引取得对应的嵌入序列构成一个嵌入矩阵h_s，将这个矩阵h_s作为输入放进LSTM结构中，获取对应的输出h_lstm，方便起见，将上述公式简化为，

h_lstm＝LSTM(h_s)，#(21)

我们取LSTM的最后一个隐状态h_lstm，l，通过聚合当前会话所有节点向量来考虑会话图G_s的局部嵌入s_t。考虑到这些嵌入中的信息可能有不同的优先级，我们进一步采用soft-attention机制来更好地表示会话偏好：

其中，q₂∈R^d并且W₃，W₄∈R^d×d，用于控制物品表示的权重，这里的σ(·)使用的是sigmoid激活函数。

通过LSTM结构提取的局部用户兴趣表示，要比直接提取最后一个物品更合理，也更能够代表用户当前的兴趣，从而提高会话的表示能力。

预测结果

最终，我们通过嵌入向量s_l到最终的混合嵌入s_h：

s_h＝s_l，#(24)

在通过上述方式得到每个会话的混合嵌入以后，我们通过将s_h与每个候选项目v_i∈V相乘来计算每个项目的得分，计算公式如下：

然后我们应用一个softmax函数来得到模型的输出向量

其中表示所有候选项目的推荐分数，/>表示节点出现在会话s中的下一次点击的概率。

对于每个会话图，损失函数被定义为预测和基本事实的交叉熵。公式如下：

其中y表示真实点击的one-hot编码向量。

最后，我们使用反向传播(BP)算法来训练所提出的SGE-GNN模型。

此外，本实施例还提供一种具体的应用环境：Pytorch：1.7.1，CUDA：11.0，GPU：NVIDIA GeForce RTX 3090，24G。在该环境下进行训练。

缩略语和关键术语定义表

以上所述，仅为本发明优选的具体实施方式，但本发明的保护范围不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (4)

1.一种基于图嵌入与注意力机制的图神经网络会话推荐方法，其特征在于，

S1首先将数据集中的会话序列转化为会话图结构；

S2将会话图结构作为门控图神经网络的输入，进行物品特征提取，得到物品特征向量；

S3结合注意力机制和LSTM，对用户的兴趣进行建模，得到用户对于每个物品的兴趣；

S4最后结合用户兴趣和物品特征向量计算每个项目的得分，生成最终的预测结果；

所述会话图结构包括单一会话图结构和全局会话图结构；

所述S2具体为：

将所述单一会话图结构输入到门控图神经网络中得到物体的局部特征向量；

将所述全局会话图结构输入到门控图神经网络中得到物体的全局特征向量；

最后将所述局部特征向量和全局特征向量聚合得到最终的物品特征向量；

所述S4具体为：

通过将s_h与每个候选项目v_i∈V的特征向量相乘来计算每个项目的得分，计算公式如下：

h_i为每个候选项目v_i的特征向量，s_h为用户当前兴趣；

然后应用softmax函数来得到模型的输出向量

其中表示所有候选项目的推荐分数，/>表示节点出现在会话s中的下一次点击的概率，R^m是对向量或矩阵维度的描述，表示该向量属于一个一维向量，向量长度为m。

2.根据权利要求1所述的方法，其特征在于，所述S3具体过程为：

利用物品特征向量得到嵌入矩阵，将所述嵌入矩阵作为输入放进LSTM结构中，获取对应的输出h_lstm，

取LSTM的最后一个隐状态h_lstm,l，所述隐状态h_lstm,l表示作为用户的近期兴趣。

3.一种电子设备，其特征在于，包括存储器及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行根据权利要求1-2中任一项所述的基于图嵌入与注意力机制的图神经网络会话推荐方法。

4.一种计算机可读存储介质，其特征在于，其存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-2中任一项所述的基于图嵌入与注意力机制的图神经网络会话推荐方法。