CN114282077A

CN114282077A - 一种基于会话数据的会话推荐方法及系统

Info

Publication number: CN114282077A
Application number: CN202111673142.0A
Authority: CN
Inventors: 张瀚瑜; 张春慨
Original assignee: Shenzhen Yitong Technology Co ltd
Current assignee: Shenzhen Yitong Technology Co ltd
Priority date: 2021-12-31
Filing date: 2021-12-31
Publication date: 2022-04-05

Abstract

本发明公开了一种基于会话数据的会话推荐方法及系统，该方法包括将当前用户的历史会话序和当前会话序列建模成会话图，建模会话图时考虑到当前会话的重要性进行加权，使用图神经网络进行训练得到会话图中每个节点的表示向量，利用跳跃连接的扩张循环神经网络对用户的历史偏好进行建模；将用户历史偏好的表示向量与会话图中节点的表示向量通过一个注意力层进行融合，再经过一个软注意力层进行信息汇聚得到最终的用户行为表示向量；将最终的用户行为表示向量输入预测模块得到用户行为预测结果，使用交叉熵损失函数对系统进行训练。本发明将历史会话信息和短期的当前会话信息融合起来更准确地表示用户意图，达到会话推荐目的。

Description

一种基于会话数据的会话推荐方法及系统

技术领域

本申请涉及会话推荐领域，特别是涉及一种基于会话数据的会话推荐方法及系统。

背景技术

近些年来，计算机科技与互联网应用的发展日新月异，我们可以通过网络进行购物、阅读、看电影、听音乐，极大地丰富和便利了人们的生活。不过在方便大众的同时却也带来了一些麻烦，即用户无法在繁多的选择中找到适合自己的部分，迷失在信息的海洋中，反而降低了时间的使用效率。对于商家和企业来说，面临的问题是如何从纷繁复杂的信息海洋中提取出用户所需要的部分。从而尽快促使交易完成，提高服务质量。庞杂的信息降低了人们对于信息的使用效率，这个问题被称为“信息过载”。如何从大量的数据之中计算出用户最可能感兴趣的部分是如今大数据时代的一大难题。

推荐算法正是被提出用以解决数据过载问题的重要方法。其主要内容是通过对用户行为信息进行分析，结合用户的性别、年龄等固有属性，对用户的意图和偏好进行建模，从而在大量的待选内容中筛选出用户最可能感兴趣的部分。个性化的推荐算法既可以帮助用户筛选信息，又有助于商家和企业更好更快地提供服务，实现互惠共赢，这正是科技服务人类的具体体现之一。推荐算法不但在网络购物领域可以帮助提高效率，而且在社交网络、新闻推送、音乐推荐等领域都得到了成功的应用。

关于推荐算法的研究由来已久，最初的时候多用于电子商务网站推荐商品，以及评分电影评分网站预测用户对未观看电影的评分等用途。通常这些问题都被看作是一个矩阵补全问题，最具代表性的方法是是矩阵分解推荐算法。横轴为评分，纵轴为用户，组成一个稀疏矩阵然后通过矩阵分解得到缺失处的预测值，这也是一种基于模型的协同过滤算法。同样用到用户和商品交互信息的推荐方法还有基于用户的协同过滤和基于物品的协同过滤。当然这些都默认用户是非匿名的，且具有和系统之间显式的反馈(即具体评分)。但如今已是移动互联网时代，很多时候我们浏览新闻、音乐、视频的流媒体网站及初次使用的电商平台时，用户常常是匿名的，且仅存在隐式的反馈(即点击流信息)。如何利用这些匿名的隐式反馈信息进行推荐，是推荐算法领域的新问题。此外，传统推荐算法忽视了用户行为发生的时序关系，而这些信息反映了用户兴趣变化的趋势，有助于得到更准确的用户兴趣。如何有效利用点击流信息进行推荐，便是基于会话的序列推荐算法的研究内容。

会话推荐也被称为基于会话数据的推荐(Session-based Recommendation)或下一项推荐(Next Item Recommendation)。用户交互行为产生的会话序列中的每一项可被称为交互项。会话本质是一个序列，因此会话推荐也可被认为是一种序列推荐。这种推荐方法在信息的使用方式上不同于传统推荐算法，传统推荐系统往往要用到用户个人信息以及用户的具体行为信息，但基于会话的序列推荐系统仅使用用户的点击流信息，就可以对用户的行为模式进行建模，对下一项点击进行预测，是当前推荐系统领域研究的重要方向。这一技术可以很好地利用上下文信息，捕捉用户个人兴趣的变化，同时可利用深度学习等方法对交互项进行更准确的建模，对于各种可能会影响用户进行选择的因素，通过不同的序列建模方式进行建模，最后组合得到更为强大的模型，从而进行更准确的推荐。不同的方法之间可借鉴性强，当有了更多的特征数据时，也可对模型进行扩展，更有效地使用数据，为用户提供服务。

在会话推荐领域，一般认为用户的行为受两种因素影响：一种是用户的长期偏好，这是用户的一般性兴趣，是比较稳定的，在一定时期内不会发生变化；另一种是用户的短期偏好，代表用户当时的兴趣，动态性比较强，随时间会有较大的波动。上述两种长短期偏好都是相对的概念，在不同的情境，不同的数据下会有不同的具体表现。在仅基于用户单个会话序列进行推荐时，长期偏好表现为用户当前点击序列表现的较为稳定的兴趣，可称为静态意图；而短期偏好的是用户最近一次点击时的意图，可称为动态意图。若某个用户有多个历史会话序列可用于建模，则可将用户多条历史会话记录中提取出的信息称为用户的长期偏好，而用户当前会话序列中得到的信息则可称为用户的短期偏好。

发明内容

本发明针对上述问题，提供了一种基于会话数据的会话推荐方法及系统，通过将历史会话信息和短期的当前会话信息融合起来更准确地表示用户意图，达到会话推荐目的。

本发明的第一方面，一种基于会话数据的会话推荐方法，包括以下步骤：

将用户的历史会话序列和当前会话序列建模成会话图，建模会话图过程中根据当前会话和历史会话的重要性进行加权；

将会话图输入图神经网络中进行训练，得到会话图中每个节点的表示向量；

利用跳跃连接的扩张循环神经网络对用户的历史偏好进行建模，得到用户历史偏好的表示向量；

将用户历史偏好的表示向量与会话图中节点的表示向量通过一个注意力层进行融合，再经过一个软注意力层进行信息汇聚得到最终的用户行为表示向量；

将最终的用户行为表示向量输入预测模块得到用户行为预测结果。

进一步的，所述方法还包括利用预测结果，使用交叉熵损失函数对会话推荐方法建立的系统进行训练。

进一步的，将会话图输入图神经网络中进行训练，得到会话图中每个节点的表示向量，具体步骤包括：

对于某一时刻的被点击节点，根据被点击节点在有向图和无向图中的表示得到经过信息传播的会话图中各节点的表示向量；

将某一时刻被点击节点的传播信息和某一时刻之前的节点表示向量输入图神经网络层，更新每个节点的表示向量。

进一步的，利用跳跃连接的扩张循环神经网络对用户的历史偏好进行建模，得到用户历史偏好的表示向量，具体步骤包括：

建立一个多层循环神经网络，具体表达式为：

其中，

表示历史会话第t个元素在多层循环神经网络中第l层的表示，

表示历史会话第t个元素输入多层循环神经网络的初始值，

是RNN网络模型，

是在第l层往前d^(l)个项的隐藏状态，d^(l)是跳跃连接的跳跃长度，具体表达式为：

d^(l)＝M^l-1，l＝1，2，...，L.

其中，M，L均是超参数。

进一步的，将最终的用户行为表示向量输入预测模块得到用户行为预测结果，具体步骤包括：

预测模块用一个结果向量

来代表每一个候选项v_i∈V的分值，通过计算向量

得到最后得到的预测结果，计算过程包括：

其中s_t表示最终的用户行为表示向量，V表示节点集合，

表示最后得到的预测结果。

进一步的，交叉熵损失函数具体表达式为：

其中，

表示最后得到的预测结果，θ表示预测模块参数，λ为正则化项系数，m表示项目总数，y_i是真实数据中用户的行为。

本发明的第二方面，提供了一种基于会话数据的会话推荐系统，包括：

会话图建模模块：用于将用户的历史会话序列和当前会话序列建模成会话图，建模会话图过程中根据当前会话和历史会话的重要性进行加权；

图神经网络模块，用于将会话图输入图神经网络中进行训练，得到会话图中每个节点的表示向量；

扩张循环神经网络模块，用于利用跳跃连接的扩张循环神经网络对用户的历史偏好进行建模，得到用户历史偏好的表示向量；

信息融合模块，用于将用户历史偏好的表示向量与会话图中节点的表示向量通过一个注意力层进行融合，再经过一个软注意力层进行信息汇聚得到最终的用户行为表示向量；

预测模块，用于利用最终的用户行为表示向量得到用户行为预测结果。

进一步的，所述系统还包括：训练模块，用于利用用户行为预测结果，使用交叉熵损失函数对会话推荐系统进行训练。

本发明的第三方面，提供了一种基于会话数据的会话推荐系统，包括：处理器；以及存储器，其中，所述存储器中存储有计算机可执行程序，当由所述处理器执行所述计算机可执行程序时，执行上述基于会话数据的会话推荐方法。

本发明的第四方面，提供了一种计算机可读存储介质，其上存储有指令，所述指令在被处理器执行时，使得所述处理器执行上述基于会话数据的会话推荐方法。

本发明提供的一种基于会话数据的会话推荐方法及系统，通过对历史会话建模的方法，提供一种个性化历史上下文感知网络会话推荐算法(PHCN)，会话推荐方法先对某用户所有会话序列建立一个会话图并通过图神经网络来得到项目初始的向量表示。然后对于较长的历史会话，引入了多层次和跳跃连接的思想，建立了一个扩张的循环神经网络对历史会话进行建模。这样做可以有效地捕获项目间的长中段期依赖，并且序列中不连续的和周期性的依赖关系也可以被有效捕获。最后用一个自注意力机制将长期的历史会话信息和短期的当前会话信息融合起来就可以更准确地表示用户意图，达到会话推荐目的，具有很大的实用价值。

附图说明

图1是本发明实施例中基于会话数据的会话推荐方法流程图；

图2是本发明实施例中会话图构建方法示意图；

图3是本发明实施例中基于会话数据的会话推荐系统结构示意图；

图4是本发明实施例中的计算机设备的架构图。

具体实施方式

为进一步对本发明的技术方案作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的步骤。

本发明实施例针对一种基于会话数据的会话推荐方法及系统，提供了如下实施例：

基于本发明的实施例1

如图1所示，为本发明实施例1的基于会话数据的会话推荐方法流程图，具体步骤为：

S1、将用户的历史会话序列和当前会话序列建模成会话图，建模会话图过程中根据当前会话和历史会话的重要性进行加权；

具体实施过程中，如图2所示，针对多个历史会话来构造图，在构造的时候，需要考虑项目与项目之间联系的频率问题，因为在一个用户的多个会话中，有些项目之间的交互可能频繁出现。这些交互在图中的表现就是边，所以不同的边，应根据其出现频率的不同给予不同的权值。除此之外，本发明还做出了两点改进，一是历史会话和当前会话在构图时加给多历史会话图的权值不同，当前会话形成的边权值为2，普通历史会话形成的边权值为1；二是构图时不止将相邻的两个项连接，而是将当前交互项与之前两个交互项都连接。这是因为假设某次交互与之前的两次交互都有一定相关关系。在图神经网络中的信息汇聚步骤加入了对用户的表示信息。经过信息汇聚之后的向量a_t具体表达式为：

a_t＝A_t[[v₁；u]，...，[v_n；u]，[v₁；u]，...，[v_n；u]]^TW^d+b^d，

其中

是参数矩阵，

是偏置向量，A_t是节点v_t信息数据，在会话图的第t行，

是会话s中所有节点向量组成的矩阵。

是经过信息汇聚之后的向量，t表示时间，v_t表示在t时刻被点击的节点，u是用户表示向量。

S2、将会话图输入图神经网络中进行训练，得到会话图中每个节点的表示向量；

进一步的，对于某一时刻的被点击节点，根据被点击节点在有向图和无向图中的表示得到经过信息传播的会话图中各节点的表示向量；

将某一时刻被点击节点的传播信息和某一时刻之前的节点表示向量输入图神经网络层，更新每个节点的表示向量；

具体实施过程中，在会话图的构造之后，需要使用图神经网络得到会话图中每一个节点的表示向量。用一个d维向量

来表示每一个节点。对于一个在t时刻被点击的节点v_t，节点v_t的有向图和无向图邻接矩阵分别是

和

节点v_t的传播信息在有向图中的表示为

在无向图中的表示为

具体表达式为：

其中

是参数矩阵，

是偏置参数向量。因此，可以得到经过t时刻信息传播的会话图各个节点的表示向量

和

将t时刻被点击节点v_t的传播信息a_t和t时刻之前的节点表示向量

输入图神经网络层，更新每个节点的表示向量，具体的计算过程如下：

z_t＝σ(W_za_t+P_zv_t-1)

r_t=σ(W_ra_t+P_rv_t-1)

其中

是参数矩阵；⊙代表点击哈达姆积(逐项相乘)，σ(·)为sigmoid函数，

分别是更新门和重置门，h_t表示节点v_t经图神经网络更新后的表示向量，

为中间变量，进一步的，将整个图神经网络层做如下定义：

H＝GNN(A)

H^(k)＝GNN(H^(k-1))

为了使信息在图中节点间更充分地传播，本发明使用了k层的图神经网络，

是

计算得到的节点表示向量a_t，

是经过了k层图神经网络后的结果。最后得到了两组都是d维的表示向量

和

二者分别表示有向图和无向图中节点的表示向量，

表示有向图中节点v₁……v_n的表示向量，

表示无向图中节点v₁……v_n的表示向量。

S3、利用跳跃连接的扩张循环神经网络对用户的历史偏好进行建模，得到用户历史偏好的表示向量；

具体实施过程中，历史的会话记录比较长，需要解决建模长序列的问题。时序的分层依赖是一种普遍性的先验知识，长期的依赖由长时间尺度的变量表示。这个原理适用于包含时延和多尺度的递归网络。本发明提出一种跳跃连接的扩张循环神经网络用于对历史会话进行建模，扩张循环神经网络主要由扩张的循环跳跃连接和指数级扩张两部分组成。

使用

指代第t个元素在第l层的表示，

表示历史会话第t个元素输入模块的初始值，发明人构建了一个多层的循环神经网络，其具体计算过程如下：

其中

是RNN网络模型，优选的

是原始RNN、LSTM、GRU中的一个，

是在当前层往前d^(l)个项的隐藏状态。其中d^(l)是跳跃连接的跳跃长度，这个数值是指数级变化的，计算过程如下：

d^(l)＝M^l-1，l＝1，2，...，L.d(l)是随着层数l指数级增长的，M，L都是超参数，代表指数式的底数和层数，优选实施例中M，L可分别被设置为2和3。

S4、将用户历史偏好的表示向量与会话图中节点的表示向量通过一个注意力层进行融合，再经过一个软注意力层进行信息汇聚得到最终的用户行为表示向量；

具体实施过程中，用户历史偏好的表示向量组成的矩阵S＝[s₁，s₂，...，s_n]以及用户当前会话的多个项目的表示

通过一个信息汇聚注意力层对上述两种信息进行融合，计算过程如下：

Q＝Relu(HW^Q)，

K＝Relu(SW^K)，

V＝Relu(SW^V)，

Relu()为激活函数，上述注意力是自注意力机制的一种变体，当前会话信息作为“Query”，为参数矩阵W^Q，历史会话信息作为“Key”和“Value”，为参数矩阵W^K、W^V，

即为融合后的结果。

因为历史会话信息不一定会对当前会话的下一项预测有正向影响，本发明最后再经过一个软注意力层进行信息汇聚得到最终的用户行为表示向量，具体为：对经过注意力层处理后的项目表示向量做一个残差连接，若历史会话信息无助于预测也可降低其负面影响：

s_t＝W₃[h_t；u]

其中，α_i是软注意力层的系数，q表示软注意力层的参数向量，W₁、W₂、W₃表示参数矩阵，h_i′是经过注意力层处理后的项目表示向量，

是经过注意力层处理后的项目表示向量中的最后一个，c是偏置向量，h_t是软注意力层的输出，u是用户表示向量，s_t表示软注意力层处理后的会话表示向量，即最终的用户行为表示向量。通过上述计算，可以将历史会话信息和当前会话信息进行聚合。

S5、将最终的用户行为表示向量输入预测模块得到预测结果。

具体实施过程中，将最终的用户行为表示向量s_t输入预测模块，预测模块用一个结果向量

来代表每一个候选项v_i∈V的分值，向量

具体计算过程是先计算会话表示向量和项目表示向量的内积，对得到的分值向量进行softmax处理。计算过程如下：

其中

代表m维的结果表示向量，即最后得到的预测结果。

基于本发明的实施例2

本实施例用于在实施例1的基础上执行S6、使用交叉熵损失函数对整个方法建立的模型进行训练。

具体实施过程中，通过使用真实场景下点击地one-hot向量和计算结果求交叉熵作为损失函数：

损失函数为Loss函数，整体为交叉熵形式，θ表示预测模块参数，使用其二范数作正则化，λ为正则化项的系数，m表示项目总数，y_i是真实数据中用户的行为。

基于本发明的实施例3

以下，参照图3来描述根据本公开实施例1、实施例2的与图1、图2所示的方法对应的系统，一种基于会话数据的会话推荐系统，所述系统100包括会话图建模模块101、图神经网络模块102、扩张循环神经网络模块103、信息融合模块104、预测模块105，其中，会话图建模模块101用于将用户的历史会话序列和当前会话序列建模成会话图，建模会话图过程中根据当前会话和历史会话的重要性进行加权；图神经网络模块102用于将会话图输入图神经网络中进行训练，得到会话图中每个节点的表示向量；扩张循环神经网络模块103用于利用跳跃连接的扩张循环神经网络对用户的历史偏好进行建模，得到用户历史偏好的表示向量；信息融合模块104用于将用户历史偏好的表示向量与会话图中节点的表示向量通过一个注意力层进行融合，再经过一个软注意力层进行信息汇聚得到最终的用户行为表示向量；预测模块105用于利用最终的用户行为表示向量得到用户行为预测结果。除了上述5个模块以外，系统100还包括训练模块106，用于利用用户行为预测结果，使用交叉熵损失函数对会话推荐系统进行训练。

一种基于会话数据的会话推荐系统100的具体工作过程参照上述基于会话数据的会话推荐方法实施例1、实施例2的描述，不再赘述。

基于本发明的实施例4

根据本发明实施例的装置也可以借助于图4所示的计算设备的架构来实现。图4示出了该计算设备的架构。如图4所示，计算机系统201、系统总线203、一个或多个CPU 204、输入/输出202、存储器205等。存储器205可以存储计算机处理和/或通信使用的各种数据或文件以及CPU所执行包括实施例1-实施2方法的程序指令。图4所示的架构只是示例性的，在实现不同的设备时，根据实际需要调整图4中的一个或多个组件。

基于本发明的实施例5

本发明实施例也可以被实现为计算机可读存储介质。根据实施例5的计算机可读存储介质上存储有计算机可读指令。当所述计算机可读指令由处理器运行时，可以执行参照以上附图描述的根据本发明实施例1和实施2的基于会话数据的会话推荐方法。

综合上述各实施例提供的基于会话数据的会话推荐方法及系统，通过对历史会话建模的方法，提供一种个性化历史上下文感知网络会话推荐算法(PHCN)，会话推荐方法先对某用户所有会话序列建立一个会话图并通过图神经网络来得到项目初始的向量表示。然后对于较长的历史会话，引入了多层次和跳跃连接的思想，建立了一个扩张的循环神经网络对历史会话进行建模。这样做可以有效地捕获项目间的长中段期依赖，并且序列中不连续的和周期性的依赖关系也可以被有效捕获。最后用一个自注意力机制将长期的历史会话信息和短期的当前会话信息融合起来就可以更准确地表示用户意图，达到会话推荐目的，具有很大的实用价值。

在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的步骤、方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种步骤、方法所固有的要素。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。