CN112381615B - 基于用户重复行为模式挖掘的短序列推荐方法 - Google Patents

Abstract

本发明公开了一种基于用户重复行为模式挖掘的短序列推荐方法，包括以下步骤：1)对于给定的用户行为序列S，进行物品表示学习，获得物品的特征表示；2)将用户的行为序列转换成重复行为模式序列，进行重复行为的物品选择概率预测：根据重复行为模式序列预测序列中每个物品在下一次被重新点击的概率；3)进行探索行为的物品选择概率预测：预测没有在用户的行为序列中出现过的每个物品在下一次行为中被点击的概率；4)计算用户进行重复行为和探索行为的概率分布；5)根据步骤2)至步骤4)的结果，获得每个物品在下一次被点击的概率。本发明通过对用户的重复行为进行建模，并捕捉序列中的长距离依赖关系，可有效提高对用户推荐物品的准确度。

Description

基于用户重复行为模式挖掘的短序列推荐方法

技术领域

本发明涉及数据挖掘技术领域，尤其涉及一种基于用户重复行为模式挖掘的短序列推荐方法。

背景技术

传统的短序列推荐方法通常基于序列模式挖掘或一阶马尔科夫链，但前者通常只关注那些出现频率高的物品，后者只建模短期的依赖关系而忽略长期的依赖关系，难以获取准确的预测结果。随着深度学习的进步，许多基于深度神经网络的模型致力于增强短序列推荐任务的效果，其中大多数研究工作主要基于循环神经网络(Recurrent NeuralNetwork)和自注意力机制(Self-Attention)构建架构，尽管这些模型在短序列推荐任务上展现出一定的提升，但循环神经网络难以关注上下文之间的依赖关系，自注意力机制忽略了对物品时间顺序的建模，仍然具有明显的缺点。此外当前工作忽视了对用户行为模式的挖掘，从而难以对用户的重复行为进行建模，因此具有很大的局限性。

发明内容

本发明要解决的技术问题在于针对现有技术中的缺陷，提供一种基于用户重复行为模式挖掘的短序列推荐方法。

本发明解决其技术问题所采用的技术方案是：一种基于用户重复行为模式挖掘的短序列推荐方法，包括以下步骤：

1)对于给定的用户行为序列

进行物品表示学习，获得物品的特征表示；序列中的每一项代表一个物品，按照用户与物品交互行为的时间顺序排列；

为行为序列s中第i个交互的物品；

2)将用户的行为序列转换成重复行为模式序列，进行重复行为的物品选择概率预测：根据重复行为模式序列预测序列中每个物品在下一次被重新点击的概率；

3)进行探索行为的物品选择概率预测：预测没有在用户的行为序列中出现过的每个物品在下一次行为中被点击的概率；

4)计算用户进行重复行为和探索行为的概率分布；

5)根据步骤2)至步骤4)的结果，获得每个物品在下一次被点击的概率，依据概率进行推荐；

P(v_i|S)＝P(r|S)P(v_i|r,S)+P(e|S)P(v_i|e,S)

其中，Pr(r|S)和Pr(e|S)分别代表用户进行重复行为的概率和用户进行探索行为的概率，Pr(v|r,S)和Pr(v|e,S)分别代表着在重复行为中推荐物品v的概率和在探索行为中推荐物品v的概率。

按上述方案，所述步骤1)中进行物品表示学习，获得物品的特征表示，具体如下：

1.1)使用嵌入层将每个物品v_i映射到一个低维隐空间中，物品向量h_i代表物品v_i对应的d维向量；

1.2)对于给定的序列

让G_s＝(V_s,E_s)代表对应的有向序列图，其中，v_i∈V_s和e_ij∈E_s代表序列图G_s中的每一个点和边，序列图中的点对应着序列中不同的物品，序列图中的边由物品相似度确定，所构造的序列图G_s是一张有向图，在这里用

和

代表v_i的入邻居(在序列中出现在v_i之前)和出邻居(在序列中出现在v_i之后)；

1.3)根据所构造的序列图G_s，首先通过平均池化层处理两种类型的邻居并得到其特征表示，

通过图神经网络来将每个物品的特征与其邻居的特征结合，并在网络中添加残差连接，从而获取这些物品的新的特征表示，

其中，||代表向量的拼接操作，h′_i代表物品v_i的新的特征表示，W_s，W_N和b_N是训练的参数，tanh代表双曲正切激活函数。

按上述方案，所述步骤1.2)中物品相似度采用余弦相似度计算。

按上述方案，所述步骤2)中重复行为模式序列R(S)通过如下方式获取：

给定一个序列

则

其中，

代表着

首次出现在序列S中时，序列中不同物品的数目，

按上述方案，所述步骤2)中根据重复行为模式序列预测序列中每个物品在下一次被重新点击的概率，具体如下：

2.1)在将序列S转换成重复行为模式R(S)之后，这里首先将每个不同的R(S)编码成对应的独热(one-hot)编码u_R(S)，然后利用嵌入层将u_R(S)映射成低维向量u^R(S)。

2.2)训练一个位置特征矩阵P＝{p₁,p₂,…,p_n},来将每个位置编码成向量编码，此处位置特征采用正向位置或反向位置；

通过神经网络学习重复行为模式对于不同位置上的物品的影响，

m_i＝tanh(W_m[p_n-i+1||u^R(S)]+b_m)

其中，W_m和b_m是训练的参数，将学习到的向量和每个物品自身的特征相结合，并通过全连接网络给每个物品进行打分，通过softmax函数对分数进行归一化得到最终的概率值，

其中，W_r,U_r,q_r和b_r都是训练的参数。

按上述方案，所述步骤3)中预测没有在用户的行为序列中出现过的每个物品在下一次行为中被点击的概率，具体如下：

3.1)使用注意力机制来学习每个物品的重要性权重；

其中，W_e,U_e,q_e和b_e都是训练的参数，

3.2)使用softmax来对重要性权重进行归一化，序列的特征表示通过对每个物品的特征表示进行加权求和得到，

α_i＝softmax(α_i)

s′_e＝tanh(W_ss_e+b_s)+s_e

基于所学习到的序列特征表示s′_e，每个物品的分数通过自身特征和序列特征s′_e进行内积所获取，

3.3)通过softmax函数对分数进行归一化得到概率。

按上述方案，所述步骤5)中，损失函数被定义为关于目标结果的交叉熵，

其中，y_i代表目标物品v_i的独热编码。

本发明产生的有益效果是：本发明通过对用户的重复行为进行建模，并捕捉序列中的长距离依赖关系，可有效提高在线平台(电商平台，短视频平台和音乐平台等)对用户推荐物品的准确度。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是本发明实施例的方法原理示意图；

图2是本发明实施例的重复行为模式转换示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

如图1所示，一种基于用户重复行为模式挖掘的短序列推荐方法，包括以下步骤：

短序列推荐问题的目标是预测用户的下一个行为，对于一个给定的短序列S，用户的下一个行为的概率可以被定义成如下的形式：

其中r和e分别代表重复模块和探索模块。Pr(r|S)和Pr(e|S)分别代表采用重复模块的概率和采用探索模块的概率。Pr(v|r,S)和Pr(v|e,S)分别代表着在重复模块中推荐物品v的概率和在探索模块中推荐物品v的概率。

物品表示学习

在这里本发明使用一种基于相似度的序列图来捕捉物品的长期依赖关系。首先，本发明使用嵌入层将每个物品v_i映射到一个低维隐空间中，物品向量h_i代表物品v_i对应的d维向量。

对于给定的序列

让G_s＝(V_s,E_s)代表对应的有向序列图，其中v_i∈V_s和e_ij∈E_s代表序列图G_s中的每一个点和边。序列图中的点对应着序列中不同的物品，序列图中的边由物品相似度确定，本发明采用余弦相似度来计算物品之间的相似度，

为了减少不相关的物品带来的噪音，在这里我们只保留满足条件e_ij>η的边，其中η是一个超参数。所构造的序列图G_s是一张有向图，在这里用

和

代表v_i的入邻居(在序列中出现在v_i之前)和出邻居(在序列中出现在v_i之后)。根据所构造的序列图G_s，首先通过平均池化层处理两种类型的邻居并得到其特征表示，

然后通过图神经网络来将每个物品的特征与其邻居的特征结合，并在网络中添加残差连接，从而获取这些物品的新的特征表示，

其中，||代表向量的拼接操作，h′_i代表物品v_i的新的特征表示。

重复点击预测

预测序列中每个物品在下一次被重新点击的概率，这其中，物品的频次信息是一个非常重要的信号，高频次的物品更有可能在成为下一次被点击的物品。如图2，首先我们先将序列转换成重复行为模式序列，给定一个序列

重复行为模式序列可以通过如下方式获取，

其中，

代表着

首次出现在序列S中时，序列中不同物品的数目，

在将序列S转换成重复行为模式R(S)之后，这里首先将每个不同的R(S)编码成对应的独热(one-hot)编码u_R(S)，然后利用嵌入层将u_R(S)映射成低维向量u^R(S)。

然后训练一个位置特征矩阵P＝{p₁,p₂,…,p_n},来将每个位置编码成向量编码，此处可以采用正向位置和反向位置，本实施例中用反向位置来实现，p₁是第一个位置的向量编码但对应着序列中的最后一项。在这里通过神经网络学习重复行为模式对于不同位置上的物品的影响，

m_i＝tanh(W_m[p_n-i+1||u^R(S)]+b_m)

然后本发明将学习到的向量和每个物品自身的特征相结合，并通过全连接网络给每个物品进行打分，通过softmax函数对分数进行归一化得到最终的概率值，

其中的W_r,U_r,q_r和b_r都是可训练的参数。

探索预测

预测那些没有在当前序列中出现过的每个物品在下一次行为中被点击的可能性。在探索预测中，首先对用户的主要偏好进行建模从而学习一个序列级别的特征表示，在这里我们使用注意力机制来学习每个物品的重要性，

然后本发明使用softmax来对重要性权重进行归一化，序列的特征表示通过对每个物品的特征进行加权求和得到，

α_i＝softmax(α_i)

s′_e＝tanh(W_ss_e+b_s)+s_e

基于所学习到的序列特征表示s′_e，每个物品的分数通过自身特征和序列特征s′_e进行内积所获取，然后通过softmax函数用来对分数进行归一化得到概率，

预测判别

计算执行重复预测和探索预测的可能性，这里通过引入重复行为模式信息来增强模型挖掘用户习惯的能力。首先利用自注意力来学习每个物品的重要性并获取一个固定长度的向量表示，

然后使用一个L层的多层感知机来抽取从物品特征和行为模式信息中抽取潜在的特征，

z＝[u^R(s)||s_d]

z_L＝M(M(…M(z)))＝M^L(z)

最终的概率分布通过softmax函数来计算，

[P(r|S),P(e|S)]＝softmax(W_pz_L)

预测结果并优化

最终每个物品在下一次被点击的概率在模型中通过如下方式进行计算，

P(v_i|S)＝P(r|S)P(v_i|r,S)+P(e|S)P(v_i|e,S)

未能能够使目标物品的预测概率最大化，损失函数被定义为关于目标结果的交叉熵，

其中y代表目标物品的独热编码。

本发明首先将用户的行为序列转换成重复行为模式序列，然后通过注意力网络来判断当前行为模式下每个物品的重要性，并利用多层神经网络来从行为模式中挖掘用户的行为习惯。针对序列中的长期依赖关系，本发明通过计算物品间的余弦相似度来确定序列图中的边，并通过图神经网络实现物品特征的抽取。

经实验表明，相比已有主流方法，本发明的短序列推荐方法取得了更好的效果。实验采用三个基准短序列推荐数据集进行评估，即Diginetica数据集,Yoochoose1/64数据集和Yoochoose1/4数据集。数据集的详细信息如表1所示。

表1语料库信息

实验部分旨在评估本发明所提出的短序列推荐模型在不同数据集上的有效性。具体来说，我们以模型在三个数据集上的P@20和MRR@20结果作为模型的评价指标，实验对比结果在表2中给出。

表2短序列推荐对比实验结果

值得注意的是，从上表中可以观察到，本发明提出的方法在不同的指标中始终优于所有这些基准模型。因为这些模型忽略了对用户行为模式的挖掘，并难以捕捉长距离的依赖关系。本发明首次提出对用户的重复行为模式进行挖掘，基于用户当前的重复行为模式预测用户进行重购行为的可能性和每个物品被重购的可能性。此外，本次发明首次提出基于余弦相似度构建序列图，从而可以捕捉序列中的长期依赖关系。基于用户行为模式和序列图，本发明提出的方法能够更加有效地对用户的重复习惯进行建模，同时捕捉长距离的依赖关系，从而提高短序列预测的准确性。

应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (4)

1.一种基于用户重复行为模式挖掘的短序列推荐方法，其特征在于，包括以下步骤：

1)对于给定的用户行为序列

进行物品表示学习，获得物品的特征表示；序列中的每一项代表一个物品，按照用户与物品交互行为的时间顺序排列；

为行为序列s中第i个交互的物品；

2)将用户的行为序列转换成重复行为模式序列，进行重复行为的物品选择概率预测：根据重复行为模式序列预测序列中每个物品在下一次被重新点击的概率；

其中，重复行为模式序列R(S)通过如下方式获取：

给定一个序列

则

其中，

代表着

首次出现在序列S中时，序列中不同物品的数目，

具体如下：

2.1)在将序列S转换成重复行为模式R(S)之后，这里首先将每个不同的R(S)编码成对应的独热编码u_R(S)，然后利用嵌入层将u_R(S)映射成低维向量u^R(S)；

2.2)训练一个位置特征矩阵P＝{p₁,p₂,…,p_n}来将每个位置编码成向量编码，此处位置特征采用正向位置或反向位置；

通过神经网络学习重复行为模式对于不同位置上的物品的影响，

m_i＝tanh(W_m[p_n-i+1||u^R(S)]+b_m)

其中，W_m和b_m是训练的参数；将学习到的向量和每个物品自身的特征相结合，并通过全连接网络给每个物品进行打分，通过softmax函数对分数进行归一化得到最终的概率值，

其中，W_r,U_r,q_r和b_r都是训练的参数；

3)进行探索行为的物品选择概率预测：预测没有在用户的行为序列中出现过的每个物品在下一次行为中被点击的概率；

具体如下：

3.1)使用注意力机制来学习每个物品的重要性权重；

其中，W_e,U_e,q_e和b_e都是训练的参数；

3.2)使用softmax来对重要性权重进行归一化，序列的特征表示通过对每个物品的特征表示进行加权求和得到，

α_i＝softmax(α_i)

s′_e＝tanh(W_ss_e+b_s)+s_e

其中，W_s和b_s是训练的参数，基于所学习到的序列特征表示s′_e，每个物品的分数通过自身特征和序列特征s′_e进行内积所获取，

3.3)通过softmax函数对分数进行归一化得到概率；

4)计算用户进行重复行为和探索行为的概率分布；

5)根据步骤2)至步骤4)的结果，获得每个物品在下一次被点击的概率；

P(v_i|S)＝P(r|S)P(v_i|r,S)+P(e|S)P(v_i|e,S)

其中，Pr(r|S)和Pr(e|S)分别代表用户进行重复行为的概率和用户进行探索行为的概率，Pr(v|r,S)和Pr(v|e,S)分别代表着在重复行为中推荐物品v的概率和在探索行为中推荐物品v的概率。

2.根据权利要求1所述的基于用户重复行为模式挖掘的短序列推荐方法，其特征在于，所述步骤1)中进行物品表示学习，获得物品的特征表示，具体如下：

1.1)使用嵌入层将每个物品v_i映射到一个低维隐空间中，物品向量h_i代表物品v_i对应的d维向量；

1.2)对于给定的序列

让G_s＝(V_s,E_s)代表对应的有向序列图，其中，v_i∈V_s和e_ij∈E_s代表序列图G_s中的每一个点和边，序列图中的点对应着序列中不同的物品，序列图中的边由物品相似度确定，所构造的序列图G_s是一张有向图，在这里用

和

代表v_i的入邻居和出邻居；

1.3)根据所构造的序列图G_s，首先通过平均池化层处理两种类型的邻居并得到其特征表示，

通过图神经网络来将每个物品的特征与其邻居的特征结合，并在网络中添加残差连接，从而获取这些物品的新的特征表示，

其中，||代表向量的拼接操作，h′_i代表物品v_i的新的特征表示，W_s，W_N和b_N是训练的参数，tanh代表双曲正切激活函数。

3.根据权利要求2所述的基于用户重复行为模式挖掘的短序列推荐方法，其特征在于，所述步骤1.2)中物品相似度采用余弦相似度计算。

4.根据权利要求1所述的基于用户重复行为模式挖掘的短序列推荐方法，所述步骤5)中，损失函数被定义为关于目标结果的交叉熵，

其中，y_i代表目标物品v_i的独热编码。

Images