CN112396492A - 基于图注意力网络和双向长短期记忆网络的会话推荐方法 - Google Patents

Abstract

本发明公开了一种基于图注意力网络和双向长短期记忆网络的会话推荐方法，首先，根据用户此次会话过程中的商品序列建模为无向图，使用图神经网络和注意力机制的方法，为商品生成准确的表征；之后使用基于注意力机制的双向长短期记忆网络建模得到用户的全局兴趣，并且结合用户的当前兴趣，生成最终的用户表征；最后使用用户表征和待推荐商品的表征，计算得到每个商品的初始推荐分数，初始推荐分数经过softmax激活函数进行归一化处理得到最终的推荐分数，按照推荐分数由高到低对商品进行排序，将排序在前的商品推荐给用户。与现有技术相比，本发明在基于会话的商品推荐任务中取得了良好的效果。

Description

基于图注意力网络和双向长短期记忆网络的会话推荐方法

技术领域

本发明涉及推荐系统领域，特别涉及一种基于会话的推荐方法。

背景技术

本发明涉及的现有技术包括基于会话的推荐系统(Session BasedRecommendation)、 双向长短期记忆网络(Bi-directional Long short-term memory，BLSTM)、图神经网络 (Graph Neural Networks)、注意力机制(Attention mechanism)。

相关现有技术存在以下缺点：1)基于图神经网络的会话推荐系统(SR_GNN)将 会话中的商品序列建模为图结构的时候，使用有向图的建模方式，但是在实际购物过程 中，用户在选择商品时，并不存在严格的先后顺序关系。有向图的建模方式有可能在一 定程度上忽略商品之间的转移关系。2)会话的商品序列中可能存在噪声商品，用户在 购物过程中，由于误触或者其他原因，导致此次会话的商品序列中出现不相关的商品， 这些不相关的商品会对商品表征的准确性产生影响基于图神经网络的会话推荐系统， (SR_GNN)模型在建模商品之间的转移关系时没有考虑到噪声商品的问题。(3)基于 图神经网络的会话推荐系统(SR_GNN)模型在得到用户的全局兴趣时，计算其他商品 相对于最后一次点击商品的重要性程度，基于的假设是最后一次点击的商品对于推荐的 参考价值更高。但是最后一次点击的商品有可能就是噪声商品，因此这样的方式计算得 到的全局兴趣存在问题。4)同一件商品在不同的购物语境中，其含义不同，因此在建 模用户的全局兴趣时，应该考虑商品所处的上下文语境，而SR_GNN模型没有考虑商 品所处的上下文语境。

在基于会话的推荐系统中，当前用户的个人信息(年龄，性别，地区等)和历史浏览记录均无法获取，仅能根据用户此次会话过程中点击的商品为用户进行推荐，可以利 用的信息较为有限，而且用户的兴趣在会话过程中会发生转移，因此基于会话的推荐系 统是一个更具挑战性的推荐场景。常见的做法是基于用户已经点击的商品，对用户进行 建模，得到用户的表征，之后结合用户表征和待推荐商品的表征为每个商品计算得到一 个推荐分数，按照推荐分数将商品由高到低进行排序，将排在前面的商品推荐给用户。 其中，商品的表征生成和用户建模是基于会话的推荐系统中关键的两个环节。

在基于会话的推荐系统中，仅根据此次会话过程用户浏览的商品为用户进行个性化 推荐是本发明亟待解决的主要问题。

发明内容

为了解决在基于会话的推荐系统中，无法获取用户的配置信息和历史浏览记录，仅 根据此次会话过程中用户浏览的商品为用户进行个性化推荐的问题，本发明提出一种基 于图注意力网络和双向长短期记忆网络的会话推荐方法，结合图神经网络、注意力机制和双向长短期记忆网络的方法对用户进行建模，得到准确的用户表征，利用得到的用户 表征，为用户生成个性化的推荐。

本发明的一种基于图注意力网络和双向长短期记忆网络的会话推荐方法，该方法具 体包括以下步骤：

步骤1、根据用户此次会话过程中的商品序列，将其建模为无向图；

步骤2、以无向图为输入，使用图神经网络和注意力机制的方法生成商品的表征；

步骤2-1、计算相邻商品的注意力系数，对相邻商品的特征信息进行加权聚合：

每个商品生成初始化的表征x_i如公式(1)所示：

x_i＝Embedding(v_i) (1)

每个商品v_i的相邻商品的注意力系数α_ij如公式(2)所示：

其中，W_α是权重矩阵；[x_i，x_k]表示向量x_i和向量x_k进行拼接，[x_i，x_j]表示向量x_i和向 量x_j进行拼接；N_i表示商品v_i的邻居商品集合；LeakyReLU是激活函数；

根据计算得到的注意力系数，对相邻商品的特征信息进行加权聚合，得到每个聚合 邻居商品信息之后的表征

如公式(3)所示。

其中，N_i表示商品v_i的相邻商品集合；

步骤2-2、基于门控图神经网络中的门控机制进行商品表征的更新：

计算得到更新门控信号z_i和重置门控信号r_i，如公式(4)(5)所示；

利用计算得到的门控信号，对来自v_i邻居商品的特征信息

和商品v_i自身的特征信 息x_i进行有选择地遗忘和记忆，得到商品v_i最终的表征x′_i，如公式(6)(7)所示：

步骤3、结合所生成的商品表征，使用基于注意力机制的双向长短期记忆网络建模得到用户的全局兴趣，并且结合用户的当前兴趣，生成最终的用户表征；计算过程如 下：

输入初始的商品表征序列H，经过双向长短期记忆网络处理之后，得到包含有上下文语境信息的商品表征序列H′，如公式(8)所示：

H′＝BLSTM(H) (8)

对H′中的每个商品计算得到一个注意力分数，如公式(9)所示：

α＝softmax(W_bH′) (9)

其中，W_b是需要学习的参数；

最后根据计算得到的注意力分数，对商品序列进行加权聚合得到用户的全局兴趣S_g， 如公式(10)所示：

S_g＝αH′ (10)

结合用户的当前兴趣，生成最终的用户表征；计算过程如下：

使用最后一次点击的商品的表征来建模，如公式(11)所示

S_l＝x_t (11)

其中，S_l是用户的当前兴趣；

结合用户的全局兴趣和当前兴趣，经过线性转换之后，得到最终的用户表征S_u，如公式(12)所示：

S_u＝W_u[S_g，S_l] (12)

步骤4、使用用户表征和待推荐商品的表征，计算得到每个商品的初始推荐分数，使用最终的用户表征和待推荐商品的表征进行内积计算，之后对计算结果使用softmax 激活函数进行归一化处理；具体计算过程如下：

通过内积为每个待推荐商品计算得到一个初始的推荐分数，如公式(13)所示：

其中，X是待推荐商品的表征，

是最终的用户表征的转置；

初始推荐分数经过softmax激活函数进行归一化处理，得到每个商品的最终推荐分 数，如公式(14)所示：

按照推荐分数由高到低对商品进行排序，将排序在前的商品推荐给用户。

与现有技术相比，本发明在基于会话的商品推荐任务中取得了良好的效果。

附图说明

图1为本发明的基于图注意力网络和双向长短期记忆网络的会话推荐方法流程图；

图2为本发明的基于图注意力网络和双向长短期记忆网络的会话推荐方法实施例图；

图3为无向图构建及其邻接矩阵模型示意图；

图4为基于注意力机制的双向长短期记忆网络结构示意图。

具体实施方式

下面结合附图和实施例对本发明的技术方案进一步说明。

基于上述考虑，本发明提出一种无向图的建模方式来对会话中的商品序列进行建模， 并且在更新商品表征的时候使用基于注意力机制的方法来过滤掉噪声商品的影响。此外 在建模用户的全局兴趣时，使用基于注意力机制的双向长短期记忆网络方法，考虑商品所处的上下文语境，并且使用注意力机制来定位此次会话中的重要商品，以此建模用户 的全局兴趣。通过上述在商品表征生成和用户全局兴趣建模两方面的改进，可以提高推 荐的准确性。

如图1所示，为本发明的基于图注意力网络和双向长短期记忆网络的会话推荐方法 实施例图。

本发明主要解决在基于会话的推荐系统中为用户进行个性化推荐的问题，分为三个 主要的模块，商品表征生成模块、用户建模模块和推荐模块。

在商品表征生成模块中，将单次会话中的购物序列建模为无向图；使用图神经网络 和注意力机制，对图中邻居结点的特征信息进行聚合；结合结点初始特征信息和邻居结点特征信息，使用门控图神经网络生成最终的商品表征；

在用户建模模块中，使用基于注意力机制的双向长短期记忆网络，对会话中的购物 序列进行处理，得到用户的全局兴趣；使用购物序列中最后一次点击的商品作为用户当前兴趣的表征，结合全局兴趣与当前兴趣，生成最终的用户表征；

在推荐模块中，基于上面得到的用户表征，和待推荐商品的表征进行内积计算，为每个待推荐商品计算得到一个推荐分数；按照推荐分数对待推荐商品进行排序，将排序 在前的商品推荐给用户。

该实施例的具体流程描述如下：

步骤1、构建用户会话过程中的商品序列无向图：

将用户点击的商品序列为s＝[v₁，v₃，v₇，v₁，v₅，v₂]，S是商品序列，商品系列中的商品按照时间顺序进行排序，即用户依次浏览了v₁,v₃,v₇,v₁,v₅,v₂(此处为举例)。

则无向图建模为G_s＝(V_s，ε_s)，其中：

V_s＝{v₁，v₂，v₃，v₅，v₇}

ε_s＝{(v₁，v₃)，(v₃，v₁)，(v₃，v₇)，(v₇，v₃)，(v₇，v₁)，(v₁，v₇)，(v₁，v₅)，(v₅，v₁)，(v₅，v₂)，(v₂，v₅)}

即图中结点为此次会话过程中的商品集合，图中的边表示在商品序列中，两个商品的相 邻关系。因为用户的购物行为中商品之间并不存在严格的先后顺序关系，因此这里将其 建模为无向图。

根据上述建模方式，得到该无向图的结构和邻接矩阵如图2所示的无向图构建及其 邻接矩阵模型示意图。在邻接矩阵中，0表示结点之间没有边相连，1表示结点之间有 边相连。

步骤2、商品表征生成：

根据前面构建的无向图，使用基于图神经网络和注意力机制的方法，为商品生成准 确的表征。因为商品之间存在转移关系，例如用户在购买西装之后，接下来很大概率会购买皮鞋，使用图神经网络的方法，通过对相邻商品的特征信息进行聚合，可以捕获商 品之间存在的转移关系，为商品生成准确的表征。同时，考虑到商品序列中，由于用户 误触等原因，会存在噪声商品，所以使用注意力机制的方法过滤噪声商品的影响。

生成商品表征的计算过程如下

步骤2-1、计算相邻商品的注意力系数，对相邻商品的特征信息进行加权聚合(以商品v_i为例)：

首先，为每个商品生成初始化的表征x_i，如公式(1)所示：

x_i＝Embedding(v_i) (1)

然后，计算商品v_i的每个相邻商品的注意力系数α_ij，如公式(2)所示：

根据计算得到的注意力系数，对相邻商品的特征信息进行加权聚合，得到每个聚合邻 居商品信息之后的表征

如公式(3)所示。

其中N_i表示商品v_i的相邻商品集合；

步骤2-1、使用门控图神经网络，进行商品表征的更新(以商品v_i为例)：

首先基于门控图神经网络中的门控机制，计算得到更新门控信号z_i和重置门控信号r_i， 如公式(4)(5)所示；

利用计算得到的门控信号，对来自v_i邻居商品的特征信息

和商品v_i自身的特征信 息x_i进行有选择地遗忘和记忆，得到商品v_i最终的表征x′_i，如公式(6)(7)所示：

步骤3、使用基于注意力机制的双向长短期记忆网络对用户的全局兴趣进行建模，并结合用户的当前兴趣，生成最终的用户表征；

在商品序列中，商品所处的上下文语境对于建模商品十分重要，因此这里使用双向 长短期记忆网络来对商品序列进行处理。另外，在建模用户的全局兴趣时，需要对商品序列中重要商品进行定位，因此使用注意力机制来提取重要的商品。如图3所示，为基 于注意力机制的双向长短期记忆网络结构示意图。在输入层，输入的是商品表征序列； 之后商品表征序列在双向长短期记忆网络层进行处理，输出包含有上下文语境的商品表 征；之后在注意力机制层，根据包含有上下文语境的商品表征进行重要商品的定位(即 为每个商品生成一个注意力系数)，之后加权聚合得到用户的全局兴趣s_g。具体的计算 过程如下：

首先输入初始的商品表征序列H，经过双向长短期记忆网络处理之后，得到包含有上下文语境信息的商品表征序列H′，如公式(8)所示：

H′＝BLSTM(H) (8)

对H′中的每个商品计算得到一个注意力分数，如公式(9)所示：

α＝softmax(W_bH′) (9)

其中，W_b是需要学习的参数；

最后根据计算得到的注意力分数，对商品序列进行加权聚合得到用户的全局兴趣S_g， 如公式(10)所示：

S_g＝αH′ (10)

得到用户的全局兴趣之后，结合用户的当前兴趣，生成最终的用户表征，其中用户的当 前兴趣使用序列中最后一次点击的商品来表示，计算过程如下：

使用最后一次点击的商品的表征来建模，如公式(11)所示

S_l＝x_t (11)

其中，S_l是用户的当前兴趣；

结合用户的全局兴趣和当前兴趣，经过线性转换之后，得到最终的用户表征S_u，如公式(12)所示：

S_u＝W_u[S_g，S_l] (12)

步骤4、基于上面得到的最终用户表征，为每个待推荐商品计算得到一个推荐分数， 按照推荐分数对待推荐商品进行排序，将排序在前的商品推荐给用户；

计算每个待推荐商品的推荐分数时，使用最终的用户表征和待推荐商品的表征进行 内积计算，之后对计算结果使用softmax激活函数进行归一化处理。计算过程如下：

通过内积为每个待推荐商品计算得到一个初始的推荐分数，如公式(13)所示

其中，X是待推荐商品的表征，

是最终的用户表征的转置；

之后初始的推荐分数经过归一化处理，得到每个商品的最终推荐分数，如公式(14) 所示：

在推荐过程中，按照最终的推荐分数将待推荐商品由高到低进行排序，之后将排序在前 的商品推荐给用户。

步骤5、将损失函数设计为预测值和真实值的交叉熵，定义如下：

其中，

是预测值，y_i是真实值，m是训练样本的个数；

通过最小化上述损失函数，来训练算法中需要学习的参数，从而优化算法中需要学 习的参数。

本发明针对基于会话的推荐系统提出了新的推荐算法，有效解决了之前技术方案中 存在的弊端，推荐的准确性有了较大提升，并且在真实的数据集Yoochoose上面进行了验证，具体的评价指标数据验证结果如表1所示。

表1

	Precision@20	MRR@20
			SR_GNN	70.57	30.94
本发明	70.94	31.25

Yoochoose数据集是来自在线购物网站的用户点击商品记录；Precision@20评价指标 是指：算法推荐排序前20的商品，在这20件商品中，存在用户真正点击的商品的比例；MRR@20评价指标是指：在20件商品中，真正点击的商品的排列位置；Precision@20和 MRR@20两个指标的值越大，表示推荐越准确。由上述实验结果可以得知，本发明提出 的方法，在推荐准确性方面相比于之前的技术方案有较大提升。

Claims (1)

1.一种基于图注意力网络和双向长短期记忆网络的会话推荐方法，其特征在于，该方法具体包括以下步骤：

步骤1、根据用户此次会话过程中的商品序列，将其建模为无向图；

步骤2、以无向图为输入，使用图神经网络和注意力机制的方法生成商品的表征；

步骤2-1、计算相邻商品的注意力系数，对相邻商品的特征信息进行加权聚合：

每个商品生成初始化的表征xi如公式(1)所示：

x_i＝Embedding(v_i) (1)

每个商品v_i的相邻商品的注意力系数α_ij如公式(2)所示：

其中，W_a是权重矩阵；[x_i，x_k]表示向量x_i和向量x_k进行拼接，[x_i，x_j]表示向量x_i和向量x_j进行拼接；N_i表示商品v_i的邻居商品集合；LeakyReLU是激活函数；

根据计算得到的注意力系数，对相邻商品的特征信息进行加权聚合，得到每个聚合邻居商品信息之后的表征

如公式(3)所示。

其中，N_i表示商品v_i的相邻商品集合；

步骤2-2、基于门控图神经网络中的门控机制进行商品表征的更新：

计算得到更新门控信号z_i和重置门控信号r_i，如公式(4)(5)所示；

利用计算得到的门控信号，对来自v_i邻居商品的特征信息

和商品v_i自身的特征信息x_i进行有选择地遗忘和记忆，得到商品v_i最终的表征x′_i，如公式(6)(7)所示：

步骤3、结合所生成的商品表征，使用基于注意力机制的双向长短期记忆网络建模得到用户的全局兴趣，并且结合用户的当前兴趣，生成最终的用户表征；计算过程如下：

输入初始的商品表征序列H，经过双向长短期记忆网络处理之后，得到包含有上下文语境信息的商品表征序列H′，如公式(8)所示：

H′＝BLSTM(H) (8)

对H′中的每个商品计算得到一个注意力分数，如公式(9)所示：

α＝softmax(W_bH′) (9)

其中，W_b是需要学习的参数；

最后根据计算得到的注意力分数，对商品序列进行加权聚合得到用户的全局兴趣S_g，如公式(10)所示：

S_g＝αH′ (10)

结合用户的当前兴趣，生成最终的用户表征；计算过程如下：

使用最后一次点击的商品的表征来建模，如公式(11)所示

S_l＝x_t (11)

其中，S_l是用户的当前兴趣；

结合用户的全局兴趣和当前兴趣，经过线性转换之后，得到最终的用户表征S_u，如公式(12)所示：

S_u＝W_u[S_g，S_l] (12)

步骤4、使用用户表征和待推荐商品的表征，计算得到每个商品的初始推荐分数，使用最终的用户表征和待推荐商品的表征进行内积计算，之后对计算结果使用softmax激活函数进行归一化处理；具体计算过程如下：

通过内积为每个待推荐商品计算得到一个初始的推荐分数，如公式(13)所示：

其中，X是待推荐商品的表征，

是最终的用户表征的转置；

初始推荐分数经过softmax激活函数进行归一化处理，得到每个商品的最终推荐分数，如公式(14)所示：

按照推荐分数由高到低对商品进行排序，将排序在前的商品推荐给用户。

Images