CN110796313B

CN110796313B - 一种基于带权图卷积和项目吸引力模型的会话推荐方法

Info

Publication number: CN110796313B
Application number: CN201911058773.4A
Authority: CN
Inventors: 施重阳; 冯超群; 姜欣雨; 郝戍峰; 张奇
Original assignee: Beijing Institute of Technology BIT
Current assignee: Beijing Institute of Technology BIT
Priority date: 2019-11-01
Filing date: 2019-11-01
Publication date: 2022-05-31
Anticipated expiration: 2039-11-01
Also published as: CN110796313A

Abstract

本发明涉及一种带权图卷积和项目吸引力模型的会话推荐方法，属于推荐系统技术领域。将用户会话转换为与局部作用域和全局作用域对应的局部图和全局图；基于这两类图，从每个会话的个体结构和所有会话的整体结构中获取项目的信息分布；将这两类图用于观察项目之间的邻接关系，找到符合用户会话内部结构的项目邻域，得到邻域项目影响的不同程度；再基于获取项目的信息分布及领域项目影响的不同程度进行会话推荐。所述方法从结构上深层次地捕获会话内部和会话整体的信息分布，使捕获到的信息分布更加精确和有效，同时提高了邻域影响力计算的准确性，进而提高了对会话下一个项目预测的全面性和准确性。

Description

一种基于带权图卷积和项目吸引力模型的会话推荐方法

技术领域

本发明涉及一种带权图卷积和项目吸引力模型的会话推荐方法，属于推荐系统技术领域。

背景技术

会话推荐已经成为推荐领域的一个重要组成部分，并在现代商业系统中得到了广泛且成功地应用。会话推荐利用用户交互会话中的现有项目来预测用户的下一个交互项目。然而，无论是在单个会话中还是在所有会话构成的整体中，项目信息的分布通常是不均匀的，这将导致每个项目对同一会话或不同会话中的其他项目的影响是不平衡的，而且对当前会话的下一个用户交互项目的影响也是不平衡的。

基于模式/规则的方法通过挖掘频繁模式或关联规则来过滤项目信息。然而，这类方法很容易丢失不常见项目的信息。因此，一些研究者引入马尔可夫链来建模用户会话，并计算项目之间的转移概率。这些方法包含所有的项目信息，减少了信息丢失量。最近的研究将神经网络应用于用户会话推荐。这些方法主要通过增加注意力机制来捕捉用户会话内的项目信息分布，并根据会话的上下文信息选择对当前用户会话重要的项目。

现有方法虽然能一定程度上解决项目信息的非均匀分布问题，但仍存在一定的局限性。首先，单个会话内和所有会话所构成的整体中的项目信息分布是不同且互补的。为了明确这两种信息分布的作用域，将每个会话视为本地作用域，而将所有会话构成的整体视为全局作用域。大多数现有方法只考虑本地作用域内的项目信息分布，而忽略全局作用域内的项目信息分布，这是不够全面的。第二，每个项目经常受到其他项目的不同程度的影响，形成该项目的邻域，现有方法没有过多关注邻域项目的不同影响程度。然而，区分邻域项目的不同影响的程度可以提高邻域影响和信息聚合的有效性和准确性。

本发明针对上述存在的问题，致力于提高会话推荐的准确度。

发明内容

本发明的目的是针对会话推荐领域存在的项目信息分布不均匀且不同作用域内的项目信息分布不同的问题，提出一种基于带权图卷积和项目吸引力模型的会话推荐方法。

本发明的核心思想如下：将用户会话转换为与局部作用域和全局作用域对应的局部图和全局图；基于这两类图，从每个会话的个体结构和所有会话的整体结构中获取项目的信息分布；此外，将这两类图用于观察项目之间的邻接关系，找到符合用户会话内部结构的项目邻域，得到邻域项目影响的不同程度；再基于获取项目的信息分布及领域项目影响的不同程度进行会话推荐。

本发明是基于以下技术方案实现的。

所述基于带权图卷积和项目吸引力模型的会话推荐方法，包括如下步骤：

步骤1：计算项目的局部吸引力，具体包括如下子步骤：

步骤1.1：将每个用户会话转换为一个无向图，称为局部图；

其中，局部图中的顶点对应该用户会话中的项目；局部图中的每条边表示用户交互转移，即，若两个项目在该用户会话中相邻，则两个项目在局部图中对应的两个节点之间存在一条边，两个项目在该用户会话中相邻几次，对应的节点间就存在几条边；局部图的个数与用户会话数目相等；

步骤1.2：计算局部图中的每个节点的度，记为局部度；然后计算每个节点对应项目的局部吸引力，项目的局部吸引力为该项目对应节点的局部度除以局部图中所有节点的局部度的和；

步骤2：计算项目的全局吸引力，具体包括如下子步骤：

步骤2.1：将所有用户会话转换为一个无向图，称为全局图；

其中，全局图中的顶点对应所有的用户会话中的项目，每条边表示用户交互转移，即，若两个项目在某一个用户会话中相邻，则两个项目在全局图中对应的两个节点之间存在一条边，两个项目在所有的用户会话中相邻几次，对应的节点间就存在几条边；

步骤2.2：计算全局图中每个节点的度，记为全局度；然后计算每个节点对应项目的全局吸引力，项目的全局吸引力为该项目对应节点的全局度除以全局图中所有节点的全局度的和；

至此，步骤1和步骤2分别得到项目的局部吸引力和全局吸引力，即完成了分别从每个会话的个体结构和所有会话的整体结构中获取项目的信息分布；

步骤3：利用局部图获取项目邻域，计算邻域项目影响的不同程度：

步骤3.1：将所有会话中的项目构成一个项目集合，将该项目集合嵌入到一个向量空间中，得到所有项目的潜在向量表示；

将所有项目对应的类别构成一个类别集合，将该类别集合嵌入到另一个向量空间中得到每个类别的向量表示；

步骤3.2：局部图中每个节点的向量表示初始化为该节点对应的项目的向量表示，将节点向量与项目对应的类别向量相加，得到节点的类别化向量表示；

步骤3.3：对于局部图中的每个节点，把与该节点在局部图中直接相连的节点作为该节点的邻域；然后统计该节点与邻域中每个节点在局部图中的边数，将边数除以该节点的局部度，得到邻域中每个节点的权重，权重表示邻域节点对该节点的影响程度；

至此，步骤3得到了符合用户会话内部结构的项目邻域和邻域项目影响的不同程度；

步骤4：利用带权图卷积聚合邻域影响和信息，计算项目在用户会话中的向量表示，具体为：

步骤4.1：对于局部图中每个节点，将其邻域中的每个节点由步骤3.2得到的类别化节点向量输入到一个前馈神经网络中，得到邻域节点的向量表示；

步骤4.2：对于局部图中的每个节点，采用加权和作为聚合函数来得到其邻域的向量表示，具体为：将邻域中每个节点由步骤3.2得到的向量表示乘以步骤3.3得到的权重，然后将邻域中所有节点的向量表示和权重的相乘结果进行相加，得到邻域的向量表示；

步骤4.3：对于局部图中的每个节点，拼接其由步骤3.2得到的类别化向量表示和由步骤4.2得到的邻域向量表示，并把拼接结果传入一个前馈神经网络，得到该节点的最终向量表示；

步骤4.4：将由步骤4.3得到的节点向量作为该节点对应的项目在当前用户会话中的向量表示；

步骤5：计算项目吸引力模型对用户会话的综合影响，具体包括如下子步骤：

步骤5.1：将用户会话中的每个项目由步骤4得到的向量表示乘以该项目由步骤1得到的项目的局部吸引力，并把所有项目的乘法结果相加；将加和结果传入一个前馈神经网络来得到项目的局部吸引力对当前用户会话的影响；

步骤5.2：将用户会话中的每个项目由步骤4得到的向量表示乘以该项目由步骤2得到的项目的全局吸引力，并把所有项目的乘法结果相加；将加和结果传入一个前馈神经网络来得到项目的全局吸引力对当前用户会话的影响；

步骤5.3：将步骤5.1的结果和步骤5.2的结果进行拼接，并传入一个前馈神经网络来计算项目吸引力对用户会话的综合影响；

步骤6：计算用户长期和短期的兴趣偏好；

步骤6.1：使用GRU层来建模用户的序列行为；为了捕捉每个用户会话中用户的主要意图，在GRU层之前添加一个自注意力机制，计算每个用户会话中每个项目的注意力权重，即，将该用户会话中的每个项目的向量表示与自身进行点积操作，然后将该用户会话中所有项目的点积结果进行相加，得到点积和，再将每个项目的点积结果除以点积和得到每个项目在该用户会话中的注意力权重；

其中，GRU层是使用带有Gated Recurrent Unit的递归神经网络；

步骤6.2：对于每个用户会话，将该用户会话中的每个项目的向量表示乘以该项目的注意力权重，得到带有注意力的项目向量表示；

步骤6.3：对于每个用户会话，将由步骤6.2得到的带有注意力的项目向量表示输入GRU层进行用户偏好学习，选择GRU层的最终隐藏状态作为用户的长期兴趣；

步骤6.4：对于每个用户会话，将其中的最后一个项目作为用户的短期兴趣；

步骤7：对于每个用户会话，将用户的长期兴趣、用户的短期兴趣和项目吸引力模型对该用户会话的综合影响相加，得到该用户会话的向量表示；

步骤8：将步骤3.1得到的所有项目的潜在向量组成项目的潜在向量矩阵，将该矩阵与每个用户会话的向量表示相乘，再经过一个softmax函数，得到所有项目的预测概率分布；

其中，概率分布的每一项表示对应的项目成为当前用户会话的下一项的概率，取概率值最大的前K个项目作为当前用户会话的推荐项目，K可自行设定；

步骤9：使用真实的概率分布与步骤7得到的预测概率分布之间的交叉熵作为损失函数；

至此，经过步骤1至步骤9完成了基于带权图卷积和项目吸引力模型的会话推荐。

有益效果

一种基于带权图卷积和项目吸引力模型的会话推荐方法，与现有会话推荐方法相比，具有以下有益效果：

1.本方法分别挖掘局部作用域内和全局作用域内的信息分布，能够多角度地分析项目所包含的信息，提高了对会话的下一个项目的预测的全面性；

2.本方法将会话转换为局部图和全局图，使局部作用域和全局作用域具体化，并建立项目吸引力模型，通过对项目吸引力的计算，充分挖掘和利用了项目本身的特性，利用吸引力反映项目的重要性和影响力，从结构上深层次地捕获会话内部和会话整体的信息分布，使捕获到的信息分布更加精确和有效，提高了预测的准确性；

3.本方法利用建立的局部图和全局图，能够直观地观察到项目间的邻接关系和转换关系，从而找到符合会话内部结构的项目邻域和区分邻域影响的不同程度，并通过带权图卷积聚合邻域的影响，提高了邻域影响力计算的准确性。

附图说明

图1为本发明一种基于带权图卷积和项目吸引力模型的会话推荐方法的流程图；

整个结构图分为四部分，分别表示项目吸引力模型、带权图卷积计算、用户偏好挖掘和推荐项目预测；

图2为本发明一种基于带权图卷积和项目吸引力模型的会话推荐方法的局部图建立示例图；

图3为本发明一种基于带权图卷积和项目吸引力模型的会话推荐方法的全局图建立示例图。

具体实施方式

根据上述技术方案，下面通过具体实施例对本发明一种基于带权图卷积和项目吸引力模型的会话推荐方法进行详细说明。

实施例1

本实例将本发明提出的方法应用于会话推荐业务场景中，利用本发明提出的方法处理用户交互会话数据，根据本发明方法得到的结果，预测用户在会话中的下一个交互项，实现会话推荐。

以Yoochoose和MovieLens-10M两个数据集为例进行说明，两个数据集网址分别是http://2015.recsyschallenge.com/challege.html和http://files.grouplens.org/datasets/movielens/；其中，Yoochoose数据集为RecSys2015年挑战赛官方提供的数据集之一，该数据集包含某个电子商务网站的所有用户在6个月内的点击会话，每个会话由一个用户在一段时间内点击过的商品组成；MovieLens-10M数据集来自MovieLens网站，该数据集包含1000万条用户对电影的评分数据，每条数据由用户ID、电影ID、电影类别、评分和时间戳组成；

对于Yoochoose数据集，会话推荐的任务是根据会话中已知的商品信息，预测用户在该会话中要点击的下一个商品；对于MovieLens数据集，首先将每个用户的评分数据以十分钟为间隔切分成多个会话，然后根据会话中已知的电影信息，预测用户在该会话中要评分的下一个电影；

图1为本方法的流程图及本实施例的流程图；所述基于带权图卷积和项目吸引力模型的会话推荐方法，具体实施时，包括如下步骤：

步骤A：对两个数据集进行预处理。将MovieLens-10M数据集中每个用户在十分钟内的交互历史切分为一个用户会话。然后对于两个数据集，分别过滤掉其中出现次数小于5的项目和长度小于2的会话，再把两个数据集分别切分为训练集和测试集；

输入的会话数据中所有出现过的项目构成集合V＝{v₁,v₂,…,v_N}，N为项目总数；所有项目对应的类别构成类别集合C＝{c₁,c₂,…,c_M}，M为类别总数；s＝{v_s,1,v_s,2,…,v_s,t}表示一个用户会话，其中，v_s,i∈V表示用户在时间i交互的项目；

步骤B：将每条用户会话转换为局部图，如图2所示；G_l,s＝(V_s,E_s)表示由用户会话s构成的局部图，

表示构成局部图G_l,s的所有节点，每个节点对应用户会话s中的一个项目；E_s表示构成局部图G_l,s的所有边，表示用户交互转移，例如边(v_s,i-1,v_s,i)∈E_s表示用户交互从项目v_s,i-1转移到项目v_s,i或从项目v_s,i转移到项目v_s,i-1；

然后计算局部图中每个节点的度，由公式(1)得到每个项目的局部吸引力：

其中，

表示项目v_s,i的局部吸引力，local_degree(v_s,i)为局部度，表示项目v_s,i在局部图G_l,s中对应的节点的度；

以Yoochoose数据集中的一条用户会话举例，会话的ID为11446016，该会话中的项目ID依次为{214595855，214836819，214595855，214596435，214595855，214587952，214596435}，该会话中项目对应的局部吸引力为{0.296714336，0.014772536，0.296714336，0.040155917，0.296714336，0.014772536，0.040155917}；

步骤C：将所有的用户会话转换为全局图，如图3所示；用G_g＝(V,E_g)表示全局图，其中，全局图G_g中每个节点对应的项目集合V中的项目，E_g表示构成全局图的所有边，每条边表示用户交互转移；

然后计算全局图中每个节点的度，由公式(2)得到每个项目的全局吸引力：

其中，

表示项目v_s,i的全局吸引力，global_degree(v_s,i)为全局度，表示项目v_s,i在全局图G_g中对应的节点的度；

ID为11446016的会话中的项目对应的全局吸引力为{0.305716336，0.000102556，0.305716336，0.041374207，0.305716336，3.44038E-08，0.041374207}；

步骤D：将项目集合V嵌入到一个向量空间

中，得到项目v_i∈V的潜在向量表示

d表示向量维度，d＝100；局部图G_l,s中每个节点的向量表示x_s,i初始化为该节点对应的项目v_i的向量表示x_i；

将类别集合C嵌入到另一个向量空间

中得到每个类别的向量表示，

表示项目v_i对应类别c_i的向量表示，d表示向量维度，d＝100；

然后将节点向量与项目对应的类别向量相加，得到节点的类别化的向量表示

如公式(3)所示：

步骤E：对于局部图G_l,s中的每个节点v_s,i，取与该节点在局部图中直接相连的节点作为该节点的邻域

然后根据公式(4)计算每个邻域节点

的权重

其中，|v_s,i,v_s,j|表示在局部图G_l,s中，v_s,i和v_s,j之间的边数；

在会话ID为11446016的会话中，以项目ID为214595855的项目举例，该项目的邻域

每个邻域项目对应的权重分别为0.4、0.4和0.2；

步骤F：把每个邻域项目

的类别化向量表示

都输入到一个前馈神经网络中，得到邻域节点v_s,j的向量表示n_s,j，如公式(5)所示：

其中，使用ReLU作为神经网络的激活函数，

为神经网络权重参数，

均为神经网络偏置参数；

步骤G：将步骤E得到的邻域项目权重

与步骤F得到的邻域项目最终的向量表示n_s,j进行对应相乘，并把所有的邻域项目的相乘结果进行相加，即根据公式(6)得到整个邻域的综合向量表示n_s,i：

步骤H：把节点的类别化表示

和其邻域的综合向量表示n_s,i进行拼接，再把拼接结果传入另一个前馈神经网络，即根据公式(7)，得到最终的节点向量：

其中，

为神经网络权重参数，

为神经网络偏置参数；

将该节点的最终向量表示v_s,i作为该节点对应的项目v_s,i在用户会话s中的向量表示；

步骤I：把用户会话s中的每个项目由步骤H得到的向量表示v_s,i表示乘以该项目由步骤B得到的局部吸引力

并把所有项目的乘法结果相加，再传入一个前馈神经网络，即根据公式(8)得到项目的局部吸引力对用户会话s的影响

其中，

为神经网络权重参数，

为神经网络偏置参数，神经网络的激活函数采用sigmoid函数，用σ表示；

步骤J：把用户会话s中的每个项目由步骤H得到的向量表示v_s,i乘以该项目由步骤C得到的全局吸引力

并把所有项目的乘法结果相加，再传入一个前馈神经网络，即根据公式(9)得到项目的全局吸引力对用户会话s的影响

其中，

为神经网络权重参数，

步骤K：将

和

进行拼接并传入一个前馈神经网络，即根据公式(10)得到项目吸引力模型对用户会话的综合影响：

其中，

为项目吸引力模型对用户会话的s的综合影响，

为神经网络权重参数，

为神经网络偏置参数，神经网络激活函数采用sigmoid函数，用σ表示；

步骤L：把用户会话s中的每个项目的向量表示v_s,i代入自注意力机制公式，即公式(11)，得到每个项目在该用户会话s中的自注意力权重β_s,i：

根据公式(12)更新GRU层i时刻的输入o_s,i，其中，GRU层的隐藏单元数设置为100：

o_s,i＝β_s,iv_s,i (12)

通过Gated Recurrent Unit的更新公式(13)到(16)，GRU层的输出被不断更新：

z_t＝σ(W_zo_s,t+U_zh_t-1), (13)

r_t＝σ(W_ro_s,t+U_rh_t-1), (14)

选择最终的隐藏状态

作为用户的长期兴趣，用户的长期兴趣由

表示，如公式(17)所示：

再根据公式(18)取用户会话s的最后一个项目作为用户的短期兴趣偏好

步骤M：由公式(19)，将用户的长期兴趣

用户的短期兴趣

和项目吸引力模型对会话s的综合影响s_a相加，得到会话s的向量表示s：

步骤N：将集合V中的所有项目由步骤D得到的向量表示组成一个N行100列的矩阵，将该矩阵与用户会话s的向量表示s相乘，再经过一个softmax函数，即根据公式(20)得到所有项目成为用户会话s的下一个项目的概率分布：

其中，

表示项目的潜在向量矩阵，x_i表示由步骤D得到的项目v_i的潜在向量表示，

为项目v_i成为会话s的下一项的概率；

取概率值最大的前20个项目作为当前会话的候选推荐项目，即K＝20；

步骤O：使用交叉熵作为损失函数，如公式(21)所示：

其中，y是真实的概率分布；

从均值为0、标准差为0.1的高斯分布中初始化所有参数，然后利用Adam优化器来最小化公式(21)定义的损失函数，其中初始学习率设置为0.001，学习率衰减率设置为0.1，学习率衰减步长设置为3。此外，为防止过拟合，加入L2正则化，正则化系数设置为10^-5；

根据以上步骤的操作过程，即可实现会话推荐，为每个用户会话预测其可能的下一个项目。

经过上述步骤的操作，采用本发明提出的方法(基于带权图卷积和项目吸引力模型的会话推荐方法)得到的推荐结果的准确率(Precision)和平均倒数排名(MRR)如表1中最后一行所示。

为说明本发明的推荐效果，在同等条件下，以相同的实验数据集分别采用POP、S-POP、Item-KNN、BPR-MF、FPMC、GRU4Rec、NARM、STAMP和SR-GNN方法进行比较，得到的分类结果的准确率和平均倒数排名在表1中的第3行到第11行显示。

通过表1能够得到以下结论：基于带权图卷积和项目吸引力模型的会话推荐方法实现了比现有会话推荐方法更高的准确率和平均倒数排名，验证了本发明的有效性。

表1：10种会话推荐方式效果比较

需要强调的是，对于本领域技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进，这些也应视为属于本发明的保护范围。

Claims

1.一种基于带权图卷积和项目吸引力模型的会话推荐方法，其特征在于：包括如下步骤：

步骤1：计算项目的局部吸引力，具体包括如下子步骤：

步骤1.1：将每个用户会话转换为一个无向图，称为局部图；

其中，局部图中的顶点对应该用户会话中的项目；局部图中的每条边表示用户交互转移，即，若两个项目在该用户会话中相邻，则两个项目在局部图中对应的两个节点之间存在一条边，两个项目在该用户会话中相邻几次，对应的节点间就存在几条边；

步骤2：计算项目的全局吸引力，具体包括如下子步骤：

步骤2.1：将所有用户会话转换为一个无向图，称为全局图；

步骤3.2：局部图中每个节点的向量表示初始化为该节点对应的项目的向量表示，将节点向量与项目对应的类别向量相加，得到类别化节点向量；

步骤4.2：对于局部图中的每个节点，采用加权和作为聚合函数来得到其邻域的向量表示；

步骤4.3：对于局部图中的每个节点，拼接其由步骤3.2得到的类别化节点向量表示和由步骤4.2得到的邻域的向量表示，并把拼接结果传入一个前馈神经网络，得到该节点的最终向量表示；

步骤6：计算用户长期和短期的兴趣偏好；

步骤9：使用真实的概率分布与步骤8得到的预测概率分布之间的交叉熵作为损失函数。

2.根据权利要求1所述的一种基于带权图卷积和项目吸引力模型的会话推荐方法，其特征在于：步骤1.1中，局部图的个数与用户会话数目相等。

3.根据权利要求1所述的一种基于带权图卷积和项目吸引力模型的会话推荐方法，其特征在于：步骤4.2，具体为：将邻域中每个节点由步骤3.2得到的向量表示乘以步骤3.3得到的权重，然后将邻域中所有节点的向量表示和权重的相乘结果进行相加，得到邻域的向量表示。

4.根据权利要求1所述的一种基于带权图卷积和项目吸引力模型的会话推荐方法，其特征在于：步骤6.1中，GRU层是使用带有Gated Recurrent Unit的递归神经网络。

5.根据权利要求1所述的一种基于带权图卷积和项目吸引力模型的会话推荐方法，其特征在于：步骤8中，概率分布的每一项表示对应的项目成为当前用户会话的下一项的概率，取概率值最大的前K个项目作为当前用户会话的推荐项目，K自行设定。