CN111460331B - 一种基于时空图的会话推荐方法 - Google Patents

Abstract

本发明公开了一种基于时空图的会话推荐方法。该方法基于给定目标用户的交互数据，找出目标用户最可能交互的下一个物品。本方法首先根据用户当前会话以及物品的有向图网络构建时空图，通过平行循环神经网络结构对时空图进行建模，得到用户的短期兴趣。然后用长短记忆网络对用户的最近会话进行向量表征，并采用注意力机制学习用户最近会话中对当前短期兴趣影响较大的长期兴趣。最后，结合用户的短期兴趣和长期兴趣进行物品的推荐。

Description

一种基于时空图的会话推荐方法

技术领域

本发明属于互联网服务技术领域，具体涉及一种基于时空图的会话推荐方法。

背景技术

随着网络信息时代的发展，推荐系统被广泛地应用于工业界。推荐系统可以基于用户的历史交互行为，预测用户下一步最有可能消费的物品。传统的推荐方法，包括基于内容的推荐方法和协同过滤推荐方法，采用基于计算物品的相似度的思路，来推荐用户感兴趣的物品。但是这些方法忽视了用户兴趣的动态变化性。例如，在电商推荐场景中，用户的兴趣多样且多变，在每个会话中用户往往有一个或多个固定的兴趣。因此，基于当前会话的推荐方法，可以更为准确地捕捉到用户当前兴趣。

通过考虑用户最近会话中的交互行为，基于会话的推荐方法可以更加有效地进行推荐。其中，会话是一个时间段内用户的交互行为。近几年，基于会话的推荐方法主要采用循环神经网络(RNN)或者基于循环神经网络(RNN)的优化方法，来学习会话中的物品序列信息以及物品对用户当前兴趣的影响程度。这种方法只考虑到当前会话中物品的转移信息，却忽略了更复杂的物品空间结构信息。为了优化循环神经网络方法，研究者提出采用图网络(GNN)来学习物品向量表征，并作为循环神经网络方法的输入。但是该方法将物品的空间结构和当前会话中物品的序列结构分割开，当成独立的两部分，忽略了两者的联系。

为了解决这些问题，本发明采用时空图(spatial-temporal graph)来构建物品之间的关系。近几年，时空图被应用在打车需求预测、以及人类行为识别等领域。本发明第一个将时空图应用在会话预测领域，将物品的空间结构和时间序列结构组合构建为一个时空图整体，并从中提取出用户兴趣，进行物品推荐。

发明内容

基于上述，本发明提供了一种基于时空图的会话推荐方法。根据目标用户当前会话构建时空图，对用户短期兴趣进行建模。再采用注意力机制对用户长期兴趣进行建模。最后结合用户短期和长期兴趣，进行物品推荐。

一种基于时空图的会话推荐方法，包括如下步骤：

基于所有用户会话序列，构建不同时间下的物品图网络G＝{G¹,G²,G³,...,G^t}，并离线存储所有时间t下每个节点在图网络G^t中的邻居节点B^t(j)，令有向图G^t为：

G^t＝(V^t,E^t)

其中，V^t表示平台中在时间t之前物品的集合，E^t表示在时间t之前物品和物品之间的转移关系。

根据用户当前会话，构建时空图G_3T，令：

其中，

为目标用户u_i在当前时间t的会话列表，

为时间(temporal)序列信息，节点

在当前物品图G^t的邻域是空间(spatial)结构信息，邻域的深度由搜索深度参数k来控制。将时间序列信息和空间信息结合起来，共同构成时空图G_3T。

根据用户当前会话的时空图，建立用户短期兴趣

i_t＝σ(W_ix_t+U_ih_t-1+b_i)

f_t＝σ(W_fx_t+U_fh_t-1+b_f)

o_t＝σ(W_ox_t+U_oh_t-1+b_o)

c_t＝i_ttanh(W_cx_t+U_ch_t-1+b_c)+f_tc_t-1

其中，最后一层隐藏状态h_t的输出就是用户的短期兴趣

该结构采用了平行的循环神经网络结构，x_t是当前层的节点输入，W_i、U_i、W_f、U_f、W_o和U_o分别是控制输入门i_t、遗忘门f_t和输出门o_t的参数。同理

和

分别是控制平行的输入门

遗忘门

和输出门

的参数。σ为sigmoid函数。所有这些参数和输入：隐层状态h_t-1、当前输入x_t以及节点x_t的的空间信息g_t共同参与计算，来输出结果h_t。空间信息g_t的计算方法采用采样-聚合策略(sampling-aggregation strategy)：

其中，W^k是图参数，σ为sigmoid函数。k代表在图网络G中的搜索深度，

代表节点v_j在k层的向量表征，最后一层的节点向量表征也就是空间信息g。B(j)为空间图网络G中当前时间下物品v_j的邻居集合。AGGREGATE_k函数采用的是最大池化(max-pooling)方法：

其中，max代表元素级别的max操作，可以有效捕捉邻居的各个方面属性。

根据会话中物品序列，获得用户会话表征。目标用户u_i的某一会话

的向量表征

为：

其中，Q是物品的向量矩阵，由模型学习而得，Q(:,s_i)代表出现在会话s_i中所有的物品向量。长短期记忆网络LSTM是一种循环神经网络方法。

根据用户最近会话表征序列，建立用户长期兴趣

令:

其中，函数f代表一个非线性转化，

为从时空图得到的用户短期兴趣，S(i)为用户u_i最近的会话列表。函数f使用注意力机制来实现，具体为：

其中，

为目标用户u_i的当前兴趣表征，

为目标用户u_i的第j个会话

表征，参数

和参数W₁,

控制每个会话向量的权重，d代表会话向量的维度。

合并用户短期和长期兴趣，获得用户u_i最终兴趣g_i：

其中，

和

分别为用户u_i的短期和长期兴趣，

为向量拼接操作，W是线性转化矩阵。

根据用户最终兴趣和物品向量表征，推荐物品。将物品v_j的向量q_j乘以用户兴趣向量，再应用softmax函数计算出物品v_j的分数：

其中，g代表用户的兴趣向量，

代表物品v_j成为下一个交互物品的可能性。同时根据

的对数似然函数值，计算损失函数：

其中，y_j代表v_j的one-hot编码，

函数用梯度下降法来最优化。

在本发明的技术方案中，同时考虑到用户的短期兴趣和长期兴趣，并将两种兴趣联系起来。本发明的有益技术效果如下：

(1)本发明第一个将用户会话序列构建成时空图，有效地将用户的物品交互序列和物品空间结构结合起来，更加准确地捕捉用户当前兴趣。

(2)本发明采用平行的循环神经网络结构对时空图进行图表征，高效地同时对时间和空间信息进行表征。

(3)本发明同时根据用户当前兴趣和用户最近会话列表，采用注意力机制对用户的长期兴趣进行建模，极大地提高了会话推荐的准确度。

附图说明

图1为本发明方法的流程示意图；

图2为本发明方法的模型框架图；

图3为本发明方法的用户兴趣示意图。

具体实施方式

为了更为具体地描述本发明，下面结合附图及具体实施方式对本发明的技术方案进行详细说明。

首先，需要对用到的变量和公式给出相关定义。统一采用i表示用户，j表示物品。

定义1.U：用户的集合，且U＝{u₁,u₂,…,u_n}。

定义2.V：物品集合，且V＝{v₁,v₂,…,v_m}。

定义3.

用户u_i在时间t的会话，会话是一个时间段里的物品集合

定义4.S(i)：用户u_i的最近会话集合，

定义5.B^t(j)：物品图网络中物品v_j的在时间t的邻居集合。

定义6.G_3T：基于用户u_i的当前会话，构造出的时空图。

定义7.q_j：物品v_j的向量表征。

定义8.

用户u_i的短期兴趣向量表征。

定义9.

用户u_i的长期兴趣向量表征。

定义10.g_i：用户u_i的总的兴趣向量表征，通过综合考虑

和

得到。

结合以上变量定义，将最终的问题定义为：给定用户u_i当前会话

和用户最近会话集合S(i)，会话推荐方法对用户的当前短期兴趣和用户长期兴趣进行建模，来推荐用户u_i在下一步最可能感兴趣的物品，物品是集合V的子集。

为此，本发明提出了一种新颖的基于时空图的会话推荐方法。模型如图2所示，模型主要由三个模块组成。第一个模块是根据目标用户当前会话序列构建时空图，从而对用户的短期兴趣进行建模。第二个模块是对用户的长期兴趣进行建模，长期兴趣模块通过注意力机制来学习用户最近会话中和当前会话接近的兴趣。最后一个模块中，本发明结合用户的长期兴趣和短期兴趣对目标用户进行物品推荐。

如图1所示，本发明的一个实施例包括如下步骤：

S100，基于所有用户会话序列，构建不同时间下的物品图网络G＝{G¹,G²,G³,...,G^t}，令：

s＝{v₁,v₂,…,v_m}

G^t＝(V^t,E^t)

其中，v表示会话中的物品，m表示某一会话序列中物品的数量，V^t表示平台中在时间t之前物品的集合，E^t表示在时间t之前物品和物品之间的转移关系，G^t是有向图。

为了捕捉到物品和物品之间的复杂转移关系，本实施例采用一种新颖的方式来从所有会话序列中构建物品图网络G^t。给定一个会话s＝{v₁,v₂,…,v_m}，物品v_j为图G^t的节点，(v_j-1,v_j)为图网络G^t的边，表示一个用户消费物品v_j-1之后消费物品v_j。且图的边数值属性为边(v_j-1,v_j)出现的次数。为了降低在线计算复杂度，本发明使用采样-聚合的图算法。在更新节点v_j向量时，不需要将整个图考虑进去，而是融合和节点v_j最相关的邻居集合B(j)。其中，B(j)的个数设定为固定值k，保留出现次数最多的边。因此只需要离线存储所有时间t下每个节点在图网络G^t中的邻居节点B^t(j)。相比只针对当前会话构建会话图(sessiongraph)的方法，本实施例可以考虑到更复杂的节点空间转移关系。

S200，根据用户当前会话，构建时空图G_3T，令：

其中，

为目标用户u_i在当前时间t的会话列表，

为时间(temporal)序列信息，任一节点

在当前物品图G^t的邻域是空间(spatial)结构信息，邻域的深度由搜索深度参数k来控制。将时间序列信息和空间信息结合起来，共同构成时空图G_3T。如图2中的时空图模块(spatial-temporal graph)，目标用户u_i当前会话为{v₃,v₁,...,v₂}，且当前时间下节点v₃搜索深度为1的邻域是{v₅,v₂,v₇}，表示用户消费物品v₅或v₂或v₇后，有较大可能消费v₃。时空图G_3T是本发明的创新之处，本发明第一个将时空图应用到会话推荐中。将物品的空间结构关系和会话时间序列关系当成一个整体来计算，可以更有效地表示用户兴趣和更新物品表征。

S300，根据用户当前会话的时空图，建立用户短期兴趣

i_t＝σ(W_ix_t+U_ih_t-1+b_i)

f_t＝σ(W_fx_t+U_fh_t-1+b_f)

o_t＝σ(W_ox_t+U_oh_t-1+b_o)

c_t＝i_ttanh(W_cx_t+U_ch_t-1+b_c)+f_tc_t-1

其中，最后一层隐藏状态h_t的输出就是用户的短期兴趣

该结构采用了平行的循环神经网络结构，x_t是当前层的节点输入，W_i、U_i、W_f、U_f、W_o和U_o分别是控制输入门i_t、遗忘门f_t和输出门o_t的参数。同理，

和

分别是控制平行的输入门

遗忘门

和输出门

的参数。σ为sigmoid函数。所有这些参数和输入：隐层状态h_t-1、当前输入x_t以及节点x_t的的空间信息g_t共同参与计算，来输出h_t。空间信息g_t的计算方法采用采样-聚合策略(sampling-aggregation strategy)：

其中，w^k是图参数，σ为sigmoid函数。k代表在图网络G中的搜索深度，

代表节点v_j在k层的向量表征，最后一层的节点向量表征也就是空间信息g，本实施例中k设置为1。B(j)为空间图网络G中当前时间下物品v_j的邻居集合。AGGREGATE_k函数采用的是最大池化(max-pooling)方法：

其中，max代表元素级别的max操作，可以有效捕捉邻居的各个方面属性。

S400，根据会话中物品序列，获得用户会话表征。目标用户u_i的某一会话

的向量表征

为：

其中，Q是物品的向量矩阵，由模型学习而得，Q(:,s_i)代表出现在会话s_i中所有的物品向量。长短期记忆网络LSTM是一种循环神经网络方法(RNN)，是标准的序列建模工具。长短期记忆网络LSTM可以按序地输入会话s_i，并输出当前序列向量表征。

S500，根据用户最近会话表征序列，建立用户长期兴趣

本发明采用注意力机制学习用户的长期兴趣对当前会话的影响，令:

其中，函数f代表一个非线性转化，

为从时空图得到的用户短期兴趣，S(i)为用户u_i最近的会话列表。函数f使用注意力机制来实现，具体为：

其中，

为目标用户u_i的当前兴趣表征，

为目标用户u_i的第j个会话

表征，参数

和参数W₁,

控制每个会话向量的权重，d代表会话向量的维度。

如图3，用户的兴趣是多样且多变的。在会话s_t下，用户A当前的兴趣是音乐，最近会话中最应该关注会话s_t-2。而对于用户B，本实施例更关注用户最近会话s_t-3和s_t-1。同理，对于用户C，本实施例更关注用户长期兴趣中的食物兴趣。注意力机制可以更专注于最近会话中和当前短期兴趣最相近的兴趣。

S600，合并用户短期和长期兴趣，获得用户u_i最终兴趣g_i。单单采用用户当前的会话来表示用户的兴趣的方法非常不可靠，因为用户偶尔会点击一个错误的商品。所以我们同时考虑用户的短期兴趣和用户的长期兴趣，长期兴趣综合考虑了用户的最近会话列表，可以对错误行为造成的误差进行修正，并降低数据稀疏性。

其中，

和

分别为用户u_i的短期和长期兴趣，

为向量拼接操作，W是线性转化矩阵。

S700，根据用户最终兴趣和物品向量表征，推荐物品。将物品v_j的向量q_j乘以用户兴趣向量，再应用softmax函数计算出物品v_j的分数：

其中，g代表用户的兴趣向量，

代表物品v_j成为下一个交互物品的可能性。同时根据

的对数似然函数值，计算损失函数：

其中，y_j代表v_j的one-hot编码，

函数用梯度下降法来最优化。

上述对实施例的描述是为方便于本技术领域的普通技术人员能理解和应用本发明。熟悉本领域技术的人员显然可以容易地对上述实施例做出各种修改，并把在此说明的一般原理应用到其他实施例中而不必经过创造性的劳动。因此，本发明不限于上述实施例，本领域技术人员根据本发明的揭示，对于本发明做出的改进和修改都应该在本发明的保护范围之内。

Claims (3)

1.一种基于时空图的会话推荐方法，其特征在于：

基于所有用户会话序列，构建不同时间下的物品图网络G＝{G¹,G²,G³,...,G^t}，并离线存储所有时间t下在图网络G^t中每个节点的邻居节点B^t(j)，令：

G^t＝(V^t,E^t)

其中，V^t表示平台中在时间t之前物品的集合，E^t表示在时间t之前物品和物品之间的转移关系，G^t是有向图；

根据用户当前会话，构建时空图G_ST，令：

其中，

为目标用户u_i在当前时间t的会话列表，

为时间序列信息，节点

在当前物品图G^t的邻域是空间结构信息，将时间序列信息和空间信息结合起来，共同构成时空图G_ST；

根据用户当前会话的时空图，建立用户短期兴趣

i_t＝σ(W_ix_t+U_ih_t-1+b_i)

f_t＝σ(W_fx_t+U_fh_t-1+b_f)

o_t＝σ(W_ox_t+U_oh_t-1+b_o)

c_t＝i_ttanh(W_cx_t+U_ch_t-1+b_c)+f_tc_t-1

其中，最后一层隐藏状态h_t的输出就是用户的短期兴趣

该结构采用了平行的循环神经网络结构，x_t是当前层的节点输入，W_i、U_i、W_f、U_f、W_o和U_o分别是控制输入门i_t、遗忘门f_t和输出门o_t的参数；同理，W_i ^*、

和

分别是控制平行的输入门

遗忘门

和输出门

的参数；σ为sigmoid函数；所有这些参数和输入：隐层状态h_t-1、当前输入x_t以及节点x_t的空间信息g_t共同参与计算，来输出结果h_t；根据会话中物品序列，获得用户会话表征；目标用户u_i的某一会话

的向量表征

为：

其中，Q是物品的向量矩阵，由模型学习而得，Q(:,s_i)代表出现在会话s_i中所有的物品向量；长短期记忆网络LSTM是一种循环神经网络方法；

根据用户最近会话表征序列，建立用户长期兴趣

令:

其中，函数f代表一个非线性转化，

为从时空图得到的用户短期兴趣，S(i)为用户u_i最近的会话列表；函数f使用注意力机制来实现，具体为：

其中，

为目标用户u_i的短期兴趣表征，

为目标用户u_i的第j个会话

表征，参数

和参数

控制每个会话向量的权重，d代表会话向量的维度；

合并用户短期和长期兴趣，获得用户u_i最终兴趣g_i：

其中，

和

分别为用户u_i的短期和长期兴趣，

为向量拼接操作，W是线性转化矩阵；

根据用户最终兴趣和物品向量表征，推荐物品；将物品v_j的向量q_j乘以用户兴趣向量，再应用softmax函数计算出物品v_j的分数：

其中，g代表用户的兴趣向量，

代表物品v_j成为下一个交互物品的可能性；同时根据

的对数似然函数值，计算损失函数：

其中，y_j代表v_j的one-hot编码，

函数用梯度下降法来最优化。

2.根据权利要求1所述的一种基于时空图的会话推荐方法，其中，所述空间信息g_t的计算方法为：

其中，W^k是图参数，σ为sigmoid函数；k代表在图网络G中的搜索深度，

代表节点v_j在k层的向量表征，最后一层的向量表征也就是空间信息g；B(j)为物品图网络G中当前时间下物品v_j的邻居集合。

3.根据权利要求2所述的一种基于时空图的会话推荐方法，其中，所述AGGREGATE_k函数采用的是最大池化(max-pooling)方法：

其中，σ为sigmoid函数，max代表元素级别的max操作，可以有效捕捉邻居的各个维度属性；B(j)为物品图网络G中当前时间下物品v_j的邻居集合，模型参数W_pool和b分别控制邻居节点的权重和偏置。

Images