CN112905887B - 一种基于多兴趣短期优先模型的会话推荐方法 - Google Patents

Abstract

本发明公开了一种基于多兴趣短期优先模型的会话推荐方法，抽取当前会话中多兴趣空间下的用户短期兴趣和用户长期兴趣，并预测用户下一个交互的物品。本发明的向前传播部分主要由三个部分组成。第一部分是根据用户会话序列，得到用户多兴趣表征。第二部分是抽取不同兴趣空间下，最后一个点击的物品。第三部分是根据用户多兴趣表征和不同兴趣空间下最后一个点击物品，推荐用户下一个点击的物品。本方法的关键之处在于会话中不同兴趣空间下的短期兴趣如何确定。

Description

一种基于多兴趣短期优先模型的会话推荐方法

技术领域

本发明属于互联网服务技术领域，尤其是涉及一种基于多兴趣短期优先模型的会话推荐方法。

背景技术

随着在线服务的发展和流行，在线平台记录着大量的用户行为数据。从海量数据中找出用户最感兴趣的物品并推荐给用户，可以极大地提升用户的满意度和公司的收益。此时，推荐系统显得非常重要。推荐系统可以从海量物品中挖掘出用户最喜欢的物品。

会话(session)指一段时间内用户交互的物品序列，一般通过用户行为之间的时间间隔进行划分。比如，超过三十分钟的间隔就认为是当前会话结束，下一个会话开始。会话推荐方法(session-based recommendation)是指基于当前会话中的物品序列，推荐用户下一个感兴趣的物品，会话推荐方法可以有效地捕捉用户动态变化的兴趣。用户在一个会话中会有特定的一些目的，而传统的会话推荐方法认为用户在一个会话内只有一个目的或者兴趣。这样的假设和实际情况不符，用户往往在一个时间段内会有多个兴趣，比如，在某店铺中同时浏览了羽绒服和裤子。此时，用一个向量来表示用户的兴趣就不够准确。所以，本方法从用户会话中的物品序列中抽取出用户多兴趣表征，本方法是一种基于多兴趣的会话推荐方法。

Liu等人在2018年提出短期注意优先模型(STAMP)。在该篇论文中，作者认为用户短期/当前兴趣和用户长期兴趣同样重要。这里，当前兴趣采用用户最后点击的物品(last-click)表征来表示。而用户的长期兴趣即当前会话表征，该方法采用基于最后点击物品的注意力机制(short-term attention)来从会话中抽取用户长期兴趣。最后，作者结合用户的短期兴趣和用户的长期兴趣来进行物品推荐。实验证明，最后点击的物品(last-click)对推荐准确度的提升效果明显。但是该方法没有考虑到用户在一个会话中会存在多个兴趣，直接用最后一个点击的物品来表示用户的短期兴趣，使得用户的短期兴趣和长期兴趣主要表示一种兴趣，和事实场景不符，极大地降低了推荐的准确度。在单兴趣推荐场景中，用户最后点击物品(last-click)可以直接用序列最后一个物品表示，那么在多兴趣场景中，会话中不同兴趣的最后点击物品应该如何得到，这是本方法的重点和创新点。

发明内容

本方法的问题定义为基于当前会话中的物品序列，预测用户在当前会话中下一个感兴趣的物品。用户的当前会话可以表示为S_T＝{x₁,x₂,…,x_τ,…,x_t}，其中，x_τ代表用户交互的第τ个物品。此时，推荐下一个感兴趣物品的概率为P(x_t11∣S_T)。且S_T的向量表征为{x₁,x₂,…,x_τ,…,x_t}，其中

d是物品向量表征的长度。另外，会话序列中的物品具有时间先后性，物品的时间属性特征为st＝{1，2，…，τ，…,t}。

用户在一个会话中会有特定的一些目的，而传统的会话推荐方法认为用户在一个会话内只有一个目的或者兴趣。这样的假设和实际情况不符，用户往往在一个时间段内会有多个兴趣，比如，在某店铺中同时浏览了羽绒服和裤子。此时，用一个向量来表示用户的兴趣就不够准确。所以，本方法从用户会话中的物品序列中抽取出用户多兴趣表征。Liu等人在2018年提出短期注意优先模型(STAMP)。在该篇论文中，作者认为用户短期/当前兴趣和用户长期兴趣同样重要。这里，当前兴趣采用用户最后点击的物品(last-click)表征来表示。而用户的长期兴趣即当前会话表征，该方法采用基于最后点击物品的注意力机制(short-term attention)来从会话中抽取用户长期兴趣。最后，作者结合用户的短期兴趣和用户的长期兴趣来进行物品推荐。实验证明，最后点击的物品(last-click)对推荐准确度的提升效果明显。但是该方法没有考虑到用户在一个会话中会存在多个兴趣，直接用最后一个点击的物品来表示用户的短期兴趣，使得用户的短期兴趣和长期兴趣主要表示一种兴趣，和事实场景不符，极大地降低了推荐的准确度。在单兴趣推荐场景中，用户最后点击物品(last-click)可以直接用序列最后一个物品表示，那么在多兴趣场景中，会话中不同兴趣的最后点击物品应该如何得到。为此，本发明采用以下技术方案：

一种基于多兴趣短期优先模型的会话推荐方法，包括以下步骤：

根据用户会话序列，得到用户多兴趣表征。用户当前交互的会话可以表示为S_T＝{x₁,x₂，…，x_τ,…，x_t}，其中，x_τ代表用户交互的第τ个物品，T表示当前会话的时间段下标，且S_T的向量表征为{x₁，x₂,…，x_τ，…，x_t}，其中

d是物品向量表征的长度。采用胶囊网络从物品序列中抽取出用户多兴趣，伪代码为：

其中，

为会话中第i个物品向量表征，

是第j个兴趣的映射矩阵。用户兴趣的个数参数为M。通过兴趣相关的映射向量(interest-specific projection)，可以从物品向量x_i中抽取出不同兴趣空间下的向量表征

方法是胶囊网络中的动态路由部分，输入参数

是第i个物品向量表征x_i映射到第j个兴趣空间的向量表征，输入参数r是动态路由算法的迭代次数。

方法的输出参数v_j代表用户多兴趣向量表征。b_ij是第i个物品向量表征到第j个兴趣的连接系数，c_ij是参数b_ij归一化后的连接系数，表示第i个物品是第j个兴趣的可能性，且对于一个物品x_i，不同兴趣的可能性和为1，也就是∑_jc_ij＝1。squash是胶囊网络中常用的squash向量激活函数，公式为

抽取不同兴趣空间下，最后一个点击的物品。会话中的物品为S_T＝{x₁,x₂,…,x₊,…,x_t}，且物品的时间属性特征为st＝{1,2,…,τ,…,t}。对于任一个兴趣空间下，用户最后点击物品(last-click)的下标为：idx＝argmax_i(δ(c_i≥∈)·st_i)

其中，不同兴趣空间下的计算公式相同，所以省略了兴趣下标j。c_i表示胶囊网络的连接系数。δ(c_i≥∈)表示如果c_i≥∈，那么δ＝1，否则δ＝0。∈是一个阈值参数，为了过滤掉和该兴趣不太相关的物品。st_i表示第i个物品的时间，越早发生的交互行为，时间特征属性st_i越小。argmax_i()函数是获得值δ(c_i≥∈)·st_i最大的物品的下标。从公式中可以看出，δ(c_i≥∈)的作用是得到和当前兴趣兴趣相关的物品候选集，st_i是从候选集中找出最近交互的物品，也就是最后点击物品。因此，该方法巧妙地得到了任一兴趣空间下，用户最后点击物品的下标idx，也就得到最后一个点击的物品向量表征h＝x_idx。

根据用户多兴趣表征和不同兴趣空间下最后一个点击物品，推荐用户下一个点击的物品。将候选物品集合中的任一物品x_τ的向量表征x_τ映射到多空间下，然后和不同空间的用户长期兴趣v_j和短期兴趣h_j进行匹配，计算点击概率

u_j|τ＝W_jx_τ

其中，

是第j个兴趣的映射矩阵，和胶囊网络中的兴趣映射矩阵参数为同一个参数。σ是sigmoid函数。

代表物品x_τ成为下一个交互物品的可能性。符号<>表示三个向量相乘，也就是

且

同时根据

的对数似然函数值，计算损失函数：

其中，y_τ代表x_τ的one-hot编码，

函数用梯度下降法来最优化。|V|表示物品候选集V的大小。

本发明的有益技术效果如下：

(1)本发明考虑到用户兴趣的动态变化性，基于用户当前会话抽取用户的短期/当前兴趣和用户的长期兴趣。

(2)本发明考虑到用户兴趣的多样性，基于当前会话抽取用户的多兴趣表征。并设计多兴趣空间下的最后点击抽取模块(last-click extractor)，抽取多兴趣空间下的最后点击物品作为用户短期兴趣。

附图说明

图1为本发明一种基于多兴趣短期优先模型的会话推荐方法的流程示意图；

图2为本发明一种基于多兴趣短期优先模型的会话推荐方法的模型框架图。

具体实施方式

为了进一步理解本发明，下面结合具体实施方式对本发明提供的一种基于多兴趣短期优先模型的会话推荐方法进行具体描述，但本发明并不限于此，该领域技术人员在本发明核心指导思想下做出的非本质改进和调整，仍然属于本发明的保护范围。

会话(session)指一段时间内用户交互的物品序列，一般通过用户行为之间的时间间隔进行划分。比如，超过三十分钟的间隔就认为是当前会话结束，下一个会话开始。会话推荐方法(session-based recommendation)是指基于当前会话中的物品序列，推荐用户下一个感兴趣的物品，会话推荐方法可以有效地捕捉用户动态变化的兴趣。用户在一个会话中会有特定的一些目的，而传统的会话推荐方法认为用户在一个会话内只有一个目的或者兴趣。这样的假设和实际情况不符，用户往往在一个时间段内会有多个兴趣，比如，在某店铺中同时浏览了羽绒服和裤子。此时，用一个向量来表示用户的兴趣就不够准确。所以，本方法从用户会话中的物品序列中抽取出用户多兴趣表征，本方法是一种基于多兴趣的会话推荐方法。

Liu等人在2018年提出短期注意优先模型(STAMP)。在该篇论文中，作者认为用户短期/当前兴趣和用户长期兴趣同样重要。这里，当前兴趣采用用户最后点击的物品(last-click)表征来表示。而用户的长期兴趣即当前会话表征，该方法采用基于最后点击物品的注意力机制(short-term attention)来从会话中抽取用户长期兴趣。最后，作者结合用户的短期兴趣和用户的长期兴趣来进行物品推荐。实验证明，最后点击的物品(last-click)对推荐准确度的提升效果明显。但是该方法没有考虑到用户在一个会话中会存在多个兴趣，直接用最后一个点击的物品来表示用户的短期兴趣，使得用户的短期兴趣和长期兴趣主要表示一种兴趣，和事实场景不符，极大地降低了推荐的准确度。在单兴趣推荐场景中，用户最后点击物品(last-click)可以直接用序列最后一个物品表示，那么在多兴趣场景中，会话中不同兴趣的最后点击物品应该如何得到，这是本方法的重点和创新点。

本方法的问题定义为基于当前会话中的物品序列，预测用户在当前会话中下一个感兴趣的物品。用户的当前会话可以表示为S_T＝{x₁,x₂,…,x_τ,…,x_t}，其中，x_τ代表用户交互的第τ个物品。此时，推荐下一个感兴趣物品的概率为P(x_t11∣S_T)。且S_T的向量表征为{x₁,x₂,…,x_τ,…,x_t}，其中

d是物品向量表征的长度。另外，会话序列中的物品具有时间先后性，物品的时间属性特征为st＝{1,2,…，τ，…,t}。一种基于多兴趣短期优先模型的会话推荐方法的向前传播(forward propagation)部分主要由三个部分组成，如图2所示。第一部分是根据用户会话序列，得到用户多兴趣表征。第二部分是抽取不同兴趣空间下，最后一个点击的物品。第三部分是根据用户多兴趣表征和不同兴趣空间下最后一个点击物品，推荐用户下一个点击的物品。

如图1所示，按照本发明的一个实施例，本方法包括如下步骤：

S100，根据用户会话序列，得到用户多兴趣表征。用户当前交互的会话可以表示为S_T＝{x₁,x₂,…,x_τ,…,x_t}，其中，x_τ代表用户交互的第τ个物品，T表示当前会话的时间段下标，且S_T的向量表征为{x₁,x₂,…,x_τ,…,x_t}，其中

d是物品向量表征的长度。采用胶囊网络从物品序列中抽取出用户多兴趣，伪代码为：

其中，

为会话中第i个物品向量表征，

是第j个兴趣的映射矩阵。用户兴趣的个数参数为M，本方法中M取值为3。通过兴趣相关的映射向量(interest-specific projection)，可以从物品向量x_i中抽取出不同兴趣空间下的向量表征

方法是胶囊网络中的动态路由部分，输入参数

是第i个物品向量表征x_i映射到第j个兴趣空间的向量表征，输入参数r是动态路由算法的迭代次数，本实验中迭代次数r设置为3。

方法的输出参数v_j代表用户多兴趣向量表征。b_ij是第i个物品向量表征到第j个兴趣的连接系数，c_ij是参数b_ij归一化后的连接参数，表示第i个物品是第j个兴趣的可能性，且对于一个物品x_i，不同兴趣的可能性和为1，也就是∑_jc_ij＝1。squash是胶囊网络中常用的squash向量激活函数，公式为

S200，抽取不同兴趣空间下，最后一个点击的物品。会话中的物品为S_T＝{x₁,x₂,…,x_τ,…,x_t}，且物品的时间属性特征为st＝{1,2,…,τ,…,t}。对于任一个兴趣空间下，用户最后点击物品(last-click)的下标为：

idx＝argmax_i(δ(c_i≥∈)·st_i)

其中，不同兴趣空间下的计算公式相同，所以省略了兴趣下标j。δ(c_i≥∈)表示如果c_i≥∈，那么δ＝1，否则δ＝0。∈是一个阈值参数，为了过滤掉和该兴趣不太相关的物品，本实验中设置∈＝0.2。st_i表示第i个物品的时间，越早发生的交互行为，时间特征st_i越小。argmax_i()函数是获得值δ(c_i≥∈)·st_i最大的物品的下标。从公式中可以看出，δ(c_i≥∈)的作用是得到和当前兴趣兴趣相关的物品候选集，st_i是从候选集中找出最近发生的物品，也就是最后点击物品。因此，该方法巧妙地得到了任一兴趣空间下，用户最后点击物品的下标idx，也就得到最后一个点击的物品向量表征h＝x_idx。

S300，根据用户多兴趣表征和不同兴趣空间下最后一个点击物品，推荐用户下一个点击的物品。将候选物品集合中的任一物品x_τ的向量表征x_τ映射到多空间下，然后和不同空间的用户长期兴趣v_j和短信兴趣h_j进行匹配，计算点击概率

u_j|τ＝W_jx_τ

其中，

是第j个兴趣的映射矩阵，和胶囊网络中的兴趣映射矩阵参数为同一个参数。σ是sigmoid函数。

代表物品x_τ成为下一个交互物品的可能性。符号<>表示三个向量相乘，也就是

且

同时根据

的对数似然函数值，计算损失函数：

其中，y_τ代表x_τ的one-hot编码，

函数用梯度下降法来最优化。|V|表示物品候选集V的大小。

上述对实施例的描述是为方便于本技术领域的普通技术人员能理解和应用本发明。熟悉本领域技术的人员显然可以容易地对上述实施例做出各种修改，并把在此说明的一般原理应用到其他实施例中而不必经过创造性的劳动。因此，本发明不限于上述实施例，本领域技术人员根据本发明的揭示，对于本发明做出的改进和修改都应该在本发明的保护范围之内。

Claims (1)

1.一种基于多兴趣短期优先模型的会话推荐方法，其特征在于：

根据用户会话序列，得到用户多兴趣表征；用户当前交互的会话可以表示为S_T＝{x₁，x₂，…，x_τ，…，x_t}，其中，x_τ代表用户交互的第τ个物品，T表示当前会话的时间段下标，且S_T的向量表征为{x₁，x₂，…，x_τ，…，x_t}，其中

d是物品向量表征的长度；将传统应用在图像上的胶囊网络应用在用户会话序列中，从中抽取出用户多兴趣v_j，胶囊网络需要迭代多次来更新用户多兴趣v_j，用户多兴趣v_j第一次迭代具体计算过程如下：

b_ij＝0

c_ij＝exp(b_ij)/∑_jexp(b_ij)

v_j＝squash(s_j)

其中，

为会话中第i个物品向量表征，

是第j个兴趣的映射矩阵；用户兴趣的个数参数为M；通过兴趣相关的映射向量(interest-specific projection)，可以从物品向量x_i中抽取出不同兴趣空间下的向量表征

b_ij是第i个物品向量表征到第j个兴趣的连接系数，在第一次迭代时，b_ij初始化为0，c_ij是参数b_ij归一化后的连接系数，表示第i个物品是第j个兴趣的可能性，且对于一个物品x_i，不同兴趣的可能性和为1，也就是∑_jc_ij＝1；用连接系数c_ij将向量表征

汇聚成用户的兴趣s_j，并用squash函数对s_j进行归一化，得到最终的用户多兴趣向量表征v_j；squash是胶囊网络中常用的squash向量激活函数，公式为

继续对用户多兴趣v_j进行多次的迭代，迭代总次数由迭代次数参数r决定，也就是继续采用以下公式对用户多兴趣v_j重复更新r-1次：

c_ij＝exp(b_ij)/∑_jexp(b_ij)

v_j＝squash(s_j)

其中，系数b_ij、c_ij以及向量

v_j、s_j和第一次迭代公式中出现的b_ij、c_ij以及向量

v_j、s_j相同；这一次迭代先采用公式

对连接系数b_ij进行更新，再更新用户多兴趣v_j；对v_j重复更新r-1次，得到最终的用户多兴趣v_j；

抽取不同兴趣空间下，最后一个点击的物品；会话中的物品为S_T＝{x₁，x₂，…，x_τ，…，x_t}，且物品的时间属性特征为st＝{1，2，…，τ，…，t}；对于任一个兴趣空间下，用户最后点击物品(1ast-click)的下标idx取决于胶囊网络迭代完之后的连接系数c_ij和物品时间属性特征；具体计算公式为：

idx＝argmax_i(δ(c_i≥∈)·st_i)

其中，不同兴趣空间下的计算公式相同，所以省略了兴趣下标j；ci表示胶囊网络的连接系数；δ(c_i≥∈)表示如果c_i≥∈，那么δ＝1，否则δ＝0；∈是一个阈值参数，为了过滤掉和该兴趣不太相关的物品；st_i表示第i个物品的时间，越早发生的交互行为，时间特征属性st_i越小；argmax_i()函数是获得值δ(ci≥∈)·st_i最大的物品的下标；从公式中可以看出，δ(c_i≥∈)的作用是得到和当前兴趣兴趣相关的物品候选集，st_i的作用是从候选集中找出最近交互的物品，也就是最后点击物品；得到用户最后点击物品的下标idx，也就得到最后一个点击的物品向量表征h＝x_idx，即为用户短期兴趣；

根据用户多兴趣表征和不同兴趣空间下最后一个点击物品，推荐用户下一个点击的物品；将候选物品集合中的任一物品x_τ的向量表征x_τ映射到多空间下，然后和不同空间的用户长期兴趣v_j和短期兴趣h_j进行匹配，计算点击概率

u_j|τ＝W_jx_τ

其中，

是第j个兴趣的映射矩阵，和胶囊网络中的兴趣映射矩阵参数为同一个参数；σ是sigmoid函数；

代表物品x_τ成为下一个交互物品的可能性；符号<>表示三个向量相乘，也就是

且

同时根据

的对数似然函数值，计算损失函数：

其中，y_τ代表x_τ的one-hot编码，

函数用梯度下降法来最优化；|V|表示物品候选集V的大小。

Images