CN114791983B - 基于时序物品相似度的序列推荐方法 - Google Patents

Abstract

本发明属于序列推荐技术领域，具体公开了一种基于时序物品相似度的序列推荐方法,包括建立神经网络模型，构建基于时间信息的嵌入向量；包括与绝对时间相关的嵌入向量以及相对时间相关的嵌入向量；自注意力机制学习模块，结合相对嵌入向量获得局部特征X；全局偏好学习模块获得全局特征Y；按当前候选物品和最近交互物品的相似度，对局部特征X与全局特征Y进行加权求和得到特征表示z_l，并以此为依据进行序列中的下一物品的推荐。本发明引入更多的经过设计的时间嵌入向量，提高时间信息利用的有效程度，进而提高序列推荐的正确性。

Description

基于时序物品相似度的序列推荐方法

技术领域

本发明属于序列推荐技术领域，具体涉及一种基于时序物品相似度的序列推荐方法。

背景技术

推荐系统是一种解决信息过载问题的强大工具，它能够让用户根据自己的喜好轻松过滤掉海量的物品，为用户推荐喜欢的物品。推荐系统可以分为传统的推荐系统和基于序列的推荐系统。像基于物品的推荐系统和协同过滤推荐系统等，它们属于传统的推荐系统。它们更倾向于将用户的历史行为看作是静止的，这些行为之间是没有相互的关联的，都是同等重要的。序列推荐系统旨在从用户的历史交互行为中捕获用户的动态偏好。因此，序列推荐是更符合真实世界的情况，并且能够考虑到更多的信息，得到更加准确的推荐结果。因此，它也更加流行。

随着时代的进步，序列推荐算法的实现形式也随之进步。传统的序列推荐方法主要运用的是机器学习方法(例如k-means,马尔科夫链和矩阵分解)来捕获各种各样的序列数据。矩阵分解能够利用各种各样的序列，从而捕获用户的长期偏好。在目前的基于深度学习的序列推荐方法中，通过利用卷积神经网络(CNN)，循环神经网络(RNN)等等，能够挖掘更多的特征信息，从而让推荐的效果得到大幅度的提升。这主要是因为基于深度学习的模型能够利用了更长的序列，这更有利于从整个序列中学习语义信息。除此之外，基于深度学习的模型在稀疏的数据上也取得了更好的效果，对于不同长度的输入数据的处理也是更加灵活。

尽管通过使用深度学习方法，序列推荐的推荐效果取得了较大的进步，但是仍然有一些问题待解决，其中之一是用户的意图容易被候选物品所干扰，另一个是忽视了时间戳的重要性，通过利用各种各样的时间戳，不同的模式和信息能够被提取出来。尽管最近J.Li,Y.Wang,和J.McAuley,在"Time Interval Aware Self-Attention for SequentialRecommendation,"中提出了TiSASRec模型，成功整合了时间信息，但是单独的时间嵌入向量限制了时间信息的有效利用。

发明内容

本发明意在提供一种基于时序物品相似度的序列推荐方法，引入更多的经过设计的时间嵌入向量，提高时间信息利用的有效程度，进而提高序列推荐的正确性。

本发明中的方法包括：

步骤一、根据以下描述建立神经网络模型：

1.1)以长度为L的用户历史序列中，用户点击各物品的时间信息t_i组成的时间序列T＝{t₁；t₂；…；t_L}作为输入，构建基于时间信息的嵌入向量；

1.2)包含与绝对时间相关的嵌入向量E^Day和E^Pos中的至少一个，如果仅仅构建一个嵌入向量，则以该向量作为绝对嵌入向量E^Abs；如果构建两个嵌入向量，则以E^Day和E^Pos结合生成绝对嵌入向量E^Abs；

所述嵌入向量E^Day，通过以下方式获得：

1.2.1)定义可以学习的嵌入向量M^D∈R^|D|×d，其中|D|是以天作为测量单元的时间间隔，其值为用户序列中最早点击的物品的点击时间到最晚点击的物品的点击时间之间的时间间隔加上一天，有：

M^D＝{day⁰,day¹,…,dayⁱ,…,day^|D|-2,day^|D|-1}，

其中，dayⁱ表示距离最早点击物品的点击时间为i天的天数时间嵌入向量，维度为d；

1.2.2)从时间序列

中提取以天作为测量单元的时间信息映射到M^D∈R^|D|×d中，到

所述E^Pos∈R^|L|×d，为基于历史序列中每个物品的索引信息的嵌入向量；

1.3)包含与相对时间相关的嵌入向量E^Exp、E^Log、E^Sin中的至少一个，如果仅仅构建一个嵌入向量，则以该向量作为相对嵌入向量E^Rel，；如果构建两个嵌入向量,则以该两个嵌入向量结合生成相对嵌入向量E^Rel；如果构建三个嵌入向量，则先以任意两个嵌入向量进行结合，得到的结果再与第三个嵌入向量结合，得到最后的相对嵌入向量E^Rel；

所述嵌入向量E^Exp、E^log及E^Sin的构建方式如下：

1.3.1)定义时间差矩阵

其中的每个元素被定义为

其中τ是一个可供调节的时间差；

1.3.2)在嵌入向量E^Sin中，时间差d_ab被转化为向量

转换的方法如下:

其中

是向量

的第c个值，d表示嵌入向量的维度，freq是一个设置的超参数；

1.3.3)在嵌入向量E^Exp中，d_ab被转化为

转换的方法如下：

其中

是向量

的第c个值，d表示嵌入向量的维度，freq是一个设置的超参数；

1.3.4)在嵌入向量E^Log中，d_ab被转化为

转换的方法如下：

其中

是向量

的第c个值，d表示嵌入向量的维度，freq是一个设置的超参数；

1.4)以用户历史序列中的物品生成物品嵌入向量

将E与E^Abs相加得到的结果X⁽⁰⁾输入自注意力机制学习模块，结合相对嵌入向量E^Rel获得当前历史序列的局部特征X；

1.5)以各用户历史序列共同输入全局偏好学习模块，获得所有历史序列的全局特征Y；

1.6)依据当前候选物品和最近交互物品的相似度计算结果，对局部特征X与全局特征Y进行加权求和，得到用于预测的特征表示z_l，并以此为依据进行序列中的下一物品的推荐；

步骤二、对建立的神经网络模型实施训练；

步骤三、利用训练好的神经网络模型进行物品序列推荐。

进一步的，以嵌入向量E^Day和E^Pos结合生成绝对嵌入向量

的方式如下：

α＝σ([E^Day,E^POS]W_{day_pos}+b_{bay_pos})，

其中，[.,.]表示外部的连接操作，W_{day_pos}为可学习的权重向量,b_{day_pos}为该部分的偏置，为sigmoid激活函数σ(z)＝1/(1+e^-z)，

表示元素积，α_s为向量α中的元素,

为嵌入向量E^Abs中的元素，

为嵌入向量E^Day中的元素，

为嵌入向量E^Pos中的元素。

进一步的，结合嵌入向量E^Exp、E^Log、E^Sin得到相对嵌入向量E^Rel的过程如下：

首先按照以下方式将嵌入向量E^Exp和嵌入向量E^Log结合为嵌入向量E^Exp_Log：

β＝σ([E^Exp,E^Log]W_{exp_log}+b_{exp_log}),

其中

为该部分的可学习的权重向量,

为该部分的偏置，

表示元素积，β_s为向量β中的元素,

为嵌入向量E^Exp_Log中的元素，

为嵌入向量E^Exp中的元素，

为嵌入向量E^Log中的元素；

再将嵌入向量E^Exp_Log与E^Sin按照以下方式结合为嵌入向量E^Rel：

γ＝σ([E^Exp_Log,E^Sin]W_{sin_log_exp}+b_{sin_log_exp}

其中，

为该部分的可学习的权重向量,

为该部分的偏置，

表示元素积,γ_s为向量γ中的元素，

为相对嵌入向量E^Rel中的元素，

为嵌入向量E^Sin中的元素，

为嵌入向量E^Exp_Log中的元素。

进一步的，所述自注意力机制学习模块包括依次连接的多个自注意力块SAB，第b个自注意力块的输出如下：

X^(b)＝SAB^(b)(X^(b-1))，b∈{1,2,…,B}

SAB(X)＝FFL(SAL(X))

FFL(X')＝ReLU(X'W₁+1^Tb₁)W₂+1^Tb₂

其中，每个自注意力块SAB皆对应一自注意力层SAL，Q＝XW_Q，K＝XW_K，V＝XW_V，

和

为不同的可学习的权重矩阵，

为前馈神经网络层FFL中的两个卷积层的可学习的权重矩阵，

则是这两个卷积层的偏置，

表示单位向量，

为一个被用作掩码的低维度矩阵；

以最后一个自注意力块SAB^(B)的输出向量X^(B)作为局部特征X。

进一步的，在自注意力机制学习模块加入标准化层对输入数据进行标准化，以及使用Dropout机制和残差连接；

所述标准化层、Dropout机制和残差连接的用法表达如下：

g(x)＝x+Dropout(g(LayerNorm(x)))，

其中，LayerNorm(x)表示归一化层，g(x)表示自注意力层SAL或者前馈网络层FFL。

进一步的，全局偏好学习模块中利用注意力层LBA(·)计算全局特征Y，过程如下：

y＝LBA(E)＝softmax(q^S(EW'_K)^T)EW'_V,

其中，

是输入的物品嵌入向量，

为可学习的权重矩阵，

为可学习的询问向量，

为表示全局的偏好全局特征向量；

全局特征Y由全局特征向量y堆叠而成的，即矩阵Y的每一行都相同。

进一步的，在全局偏好学习模块引入Dropout机制如下：

y_l＝Dropout(y),l∈{1,2,…,L}。

进一步的，所述局部特征X与全局特征Y按照以下方式加权求和得到用于预测的特征表示z_l：

θ＝σ([m_sl,y,m_i]W_G+b_G)，

其中，x_l为局部特征X中的元素，

是最近交互的物品嵌入向量，

是候选物品嵌入向量，m_sl,m_i都为物品嵌入向量E中的元素，

和

分别表示此处的可学习的权重矩阵和偏置。

进一步的，计算物品i成为序列中的第(l+1)个物品的可能性计算值r_l+1,i如下：

r_l+1,i＝z_l(m_i)^T，

取r_l+1,i最大的物品i作为推荐结果。

进一步，使用Adam优化器进行训练，其损失函数L表示如下：

其中，

是负样本成为序列中(l+1)^th个物品的可能性，对于并且

有：

如果

是填充物品，则

是0，否则是1。

相较于现有技术，本发明提出的模型中设计了多元时间嵌入向量，对序列中的用户-物品交互位置进行编码，得到交互位置的绝对时间戳和相对时间戳，同时这个多元核能够充分利用相对时间戳和绝对时间戳来建立一个独一无二的嵌入矩阵，提高时间信息利用的有效程度，提高了预测结果准确性。

本发明提出的模型中提出了全局特征学习子模块，其目的就是为了有效地捕获用户的全局偏好，考虑到用户的群体性因素，为预测过程增加了一个宏观的维度，进一步的提高预测结果的准确性。

在本发明的一些实施例中，还通过计算候选物品和最近交互物品的相似度来考虑候选物品对最终结果的影响。

本发明在五个公开数据集上进行实验，并与现有的先进模型进行对比。大量的实验结果证明，提出的模型比大多数序列推荐模型更加高效，这证明了本发明提出的预测方法的有效性和可行性。

附图说明

图1为本发明实施例中的TisseRec神经网络模型的逻辑框图。

图2a为本发明实施例中的绝对嵌入向量的计算过程示意图。

图2b为本发明实施例中的相对嵌入向量的计算过程示意图。

图3为本发明实施例模拟的SASRec模型与TisseRec模型在五个不同数据集上关于HR@10性能的对比图。

图4为本发明实施例模拟的SASRec模型和TisseRec模型在五个不同数据集上关于NDCG@10性能的对比图。

图5为本发明实施例模拟的TisseRec模型在五个不同数据集下关于HR@10和NDCG@10性能的柱状对比示意图。

图6为本发明实施例模拟的TisseRec模型消融对比实验在五个不同数据集下关于NDCG@10性能的曲线对比图。

图7为本发明实施例模拟的TisseRec模型消融对比实验在五个不同数据集下关于HR@10性能的曲线对比图。

具体实施方式

下面将结合本发明实施例的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本实施例中，首先构建了如图1所示的TisseRec神经网络模型框架，简称TisseRec模型。

从图1可以看出,TisseRec模型主要包含多时间戳嵌入向量学习模块(Multil-temporal Embeddings learning)、局部特征学习模块(Local RepresentationLearning)、全局特征学习模块(Global Representation Learning)和表示模块(Gating)，各模块的构架及相互作用具体如下：

多时间戳嵌入向量学习模块

为了更加充分利用时间信息，本实施例的多时间戳嵌入向量学习模块依照如下方法运行：

首先，构建基于时间信息的嵌入向量：E^Exp、E^Log、E^Sin、E^Day和E^Pos。

在用户的历史序列中，每一个物品都是用户在特定时间点击的，于是输入的一个长度为L的历史序列,对应有一个长度同样为L的,由用户点击各物品的时间信息t_i组成的时间序列T＝{t₁；t₂；…；t_L}。

本实施例一方面将时间序列

转化为嵌入向量

和

其中d表示嵌入向量的维度，E^Pos包含了历史序列中每个物品的索引信息，即每个物品在序列中的绝对位置信息，E^Day则包含了历史序列中每个物品的以一天作为时间间隔的时间信息，即精确到日的绝对时间信息。通过将一天作为时间间隔，E^Day能够节省更多的存储空间，同时E^Day还是能够充分利用用户历史序列中的时间信息，所以，相较于以真实点击时间点为时间信息的嵌入向量E^Timestamp，E^Day更加合理；此外，本实施例保持了一个可以学习的嵌入向量M^D∈R^|D|×d，其中|D|是以天作为测量单元的时间间隔，|D|的值为用户序列中最早点击的物品的点击时间到最晚点击的物品的点击时间之间的时间间隔加上一天；M^D＝{day⁰,day¹,…,dayⁱ,…,day^|D|-2,day^|D|-1}，dayⁱ表示距离最早点击物品的点击时间为i天的天数时间嵌入向量，维度为d，如果用户最早点击物品的时间为t^e，那么时间序列T与时间t^e的差为

可以将时间差的单位用天数来表示，那么就可以在M^D∈R^|D|×d中找到对应天数的时间嵌入向量，而具体值通过神经网络训练得来。

另一方面，还将时间序列

转化为嵌入向量

和

这三种嵌入方式提供了不同类型时间数据的表达，例如，Sin函数方便捕捉周期性的数据，对于时间间隔比较大的数据序列，可以利用Exp函数将其迅速衰减为零，或者利用Log函数将时间间隔逐步缩小。

本实施例使用这些嵌入向量来较大程度地利用不同的时间信息。具体的，本实施例定义了一个时间差矩阵

其中的每个元素被定义为

其中τ是一个可供调节的时间差。在嵌入向量E^Sin中，时间差d_ab被转化为向量

转换的方法如等式(1):

其中

是向量

的第c个值。在上述的等式中，d表示嵌入向量的维度，freq是一个可以自己设置的超参数，在本实施例中取5，主要是对时间差d_ab做线性变换。类似的，在嵌入向量E^Exp和E^Log中，d_ab被转化为

和

转换的方法等式(2)：

其次，通过结合E^Day和E^Pos来构建绝对嵌入向量。

绝对嵌入向量和相对嵌入向量的计算过程基本如图2a所示：

这里，本实施例不是简单地将E^Day和E^Pos进行相加得到绝对嵌入向量。而是通过计算嵌入向量E^Day和嵌入向量E^Pos的权重，然后将它们按照权重进行相加，图2a中权重α在物品形似度门控ISG(Item Similarity Gating)模块中计算，具体的计算过程被如下：

α＝σ([E^Day,E^Pos]W_{day_pos}+b_{day_pos})， (3)

此处及后续部分中，[.,.]表示外部的连接操作，

为该部分的可学习的权重向量,

为该部分的偏置。为了将在α的每一个元素限制在0到1之间，本实施例中利用了sigmoid激活函数σ(z)＝1/(1+e^-z)。然后将加权后的嵌入向量E^Day和嵌入向量E^Pos相加，得到了嵌入向量E^Abs，计算的过程可以用等式(4)描述:

其中，

表示绝对嵌入向量，

表示序列中位置为

的位置嵌入向量，

表示序列中位置为

的时间嵌入向量。

表示元素积。

是绝对嵌入向量E^Abs中的一个元素，

是嵌入向量E^Pos中的一个元素，

是嵌入向量E^Day中的一个元素。

于是可以得到绝对嵌入向量

同时，通过结合E^Exp,E^log和E^Sin来构建相对嵌入向量。

相对嵌入向量的计算过程基本如图2b所示：

同样的，通过引入权重β来平衡嵌入向量E^Exp和嵌入向量E^Log，β的计算的过程可以用等式(5)来描述：

β＝σ({E^Exp,E^log]W_{exp_log}+b_{exp_log}), (5)

其中

为该部分的可学习的权重向量,

为该部分的偏置。

而后，本发明将嵌入向量E^Log和嵌入向量E^Exp按照权重β加权相加，得到了相对嵌入向量E^Exp_^Log，计算公式如下：

其中，

表示元素积，

是嵌入向量E^{Exp _Log}中的一个元素，

是嵌入向量E^Exp中的一个元素，

是嵌入向量E^Log中的一个元素，其在序列中的位置都为

然后再一次的，引入权重γ来平衡相对嵌入向量E^Exp_Log和嵌入向量E^Sin，权重γ的计算如下：

γ＝σ([E^Exp_Log,E^Sin]W_{sin_log_exp}+b_{sin_log_exp})， (7)

其中

为该部分的可学习的权重向量,

为该部分的偏置。

最终，本发明将嵌入向量E^Sin_kig和嵌入向量E^Exp按照权重γ加权相加得到相对嵌入向量

其中，

表示元素积,

是相对嵌入向量E^Rel中的一个元素，

是相对时间嵌入向量E^Sin中的一个元素，

是相对时间嵌入向量E^Exp_Log中的一个元素,在序列中的位置为

局部特征学习模块

在局部特征学习模块中，本实施例使用与文献“W.-C.Kang and J.McAuley,"Self-Attentive Sequential Recommendation,"presented at the 2018 IEEEInternational Conference on Data Mining(ICDM),2018.”中的SASRec模型相同的方法，即自注意力块最后一个SAB^(b)的输出向量X^(b)，被作为用户在一个序列中的动态偏好，即用户的局部特征。由于序列中用户物品交互的绝对位置的重要性，本发明将绝对嵌入向量E^Abs和物品嵌入向量

相加，能够得到输入向量

具体的过程能够用如下的等式表示：

其中，

表示物品嵌入向量

中的元素，

表示绝对位置嵌入向量E^Abs中的元素，

表示其在序列中的位置。

然后，本发明将输入矩阵X⁽⁰⁾输入次序连接的多个自注意力块SAB中，第b个自注意力块的输出如等式(10)所示：

X^(b)＝SAB^(b)(X^(b-1))b∈{1,2,…,B}， (10)

其中每一个自注意力块SAB(·)能够被视作先将输入向量X送入自注意力层SAL(·)，然后将得到的结果被送入前馈神经网络层FFL(·)，具体的计算过程如等式(11-14)：

SAB(X)＝FFL(SAL(X)) (11)

FFL(X')＝ReLU(X'W₁+1^Tb₁)W₂+1^Tb₂ (13)

其中，X为包含绝对位置信息的输入矩阵，包含了其在序列中的位置信息和序列中的绝对时间戳信息(来自绝对嵌入向量)，Q＝XW_Q，K＝XW_K，V＝XW_V，其中W_Q，W_K和W_V代表了不同的可学习的权重矩阵。为了考虑序列中的每对交互的影响，此处使用了相对嵌入向量E^Rel；此外还引入权重

来平衡绝对嵌入向量和相对嵌入向量对结果的影响。在等式(14)中，

为该部分的可学习的权重矩阵，

为该部分的偏置。通过使用这一方法，相对嵌入向量对结果的影响能够得到控制。

为了提高模型的灵活性和准确性，

是前馈神经网络层中两个卷积层的可学习的权重矩阵，

则是这两个卷积层的偏置。在上述式子中，

表示单位向量，并且

是一个被用作掩码的低维度矩阵，目的是为了只保存上一步的转变。同时，此处引入了标准化层来对输入数据进行标准化，将输入数据调节到一个正常的范围，具有提高模型的稳定性加快模型收敛速度的效果，还使用了Dropout机制来避免过拟合，同时使用了残差连接解决梯度消失问题以及保留底层学习到的优良的特征。其中标准化层、随即丢弃机制(Dropout)和残差连接的用法与SASRec模型中的相同，用法如下：

g(x)＝x+Dropout(g(LayerNorm(x))), (15)

其中，LayerNorm(x)表示归一化层，g(x)表示自注意力层或者前馈网络层，在自注意力块的每一层都对输入使用了归一化层，然后将其送入神经网络，并将输入和输出相加一起作为下一层的输入，这就是残差连接，这种方法避免了梯度消失问题，有效地保存了之前学习到的优良特征。Dropout机制是训练网络的过程中，让一些神经元不训练，这有效的避免了过拟合。

全局偏好学习模块；

本实施例的该模块中，引入了基于位置的注意力层LBA(·)，该注意力层在文献“X.He et al.,"Nais:Neural attentive item similarity model forrecommendation,"vol.30,no.12,pp.2354-2366,2018”有着详细的描述；利用该注意力层，并以各用户的物品嵌入矩阵

为输入，可以学习得到所有用户的全局学习偏好。值得注意的是，用户u对于交互物品s的偏好可以看作是由(l+1)步的其它交互物品特征的归一化累加而成的，所以预测的评分能够被考虑作为用户u的历史物品和候选物品s之间的相似度，计算的过程如等式(16)：

其中，S^u表示物品集，

表示候选物品集，m_i'表示物品的嵌入向量。

此处，为了计算序列中所有物品的最具有代表性的特征，引入了一个可学习向量

作为询问向量，进而计算所有用户的全局偏好，序列中的全局偏好用等式(17)来计算:

y＝LBA(E)＝softmax(q^S(EW'_K)^T)EW'_V, (17)

其中

是最初的输入矩阵，

是可学习的权重矩阵，类似于等式(14)中的W_Q,W_K,W_V。最终得到的

表示全局的偏好。

在训练的过程中，Dropout机制能够避免过拟合，同时能够综合所有训练过程中得到的全局特征，最终可以得到所有用户的全局偏好矩阵

计算过程如等式(18)：

y_l＝Dropout(y),l∈{1,2,…,L}。 (18)

其中y_l,l∈{1,2,…,L}都是相等的，矩阵Y是全局特征向量y堆叠而成的，即矩阵Y的每一行都相同。引入Y是为了便于矩阵的整体计算。

物品相似度门控模块

设计物品相似度门控模块有两个主要的原因，首先，虽然全局特征和局部特征对于最终的推荐都是重要的，但有必要辨别全局特征学习和局部特征学习哪一个更加重要；其次，在用户看到候选物品集时，用户意图被候选物品集干扰的现象普遍存在。

本实施例中，设计了一个新的相似度门控模块，这对于判定特定用户的局部偏好和所有用户的全局偏好两者的重要性是至关重要的，同时，这个模块通过计算候选物品和最近交互物品的相似度来考虑候选物品对最终结果的影响，相似度计算值θ的计算等式如下：

θ＝σ([m_sl,y,m_i]W_G+b_G)， (19)

其中

表示全局特征向量，

是最近交互的物品嵌入向量，

是候选物品嵌入向量，m_sl,m_i都为物品嵌入向量E中的元素。

和

分别表示此处的可学习的权重矩阵和偏置，同样的，此处使用了sigmoid函数作为激活函数，最终计算得到向量

在序列中的前l个物品中，最终学习到的特征表示向量

相关的局部学习特征向量

为自注意力块最后一层的输出向量X^(B)中的一个元素和全局学习特征向量

的权重和，如等式(19)所示：

其中

是tensorflow中的广播操作，物品i成为序列中的第(l+1)个物品的可能性计算值r_1+1,i可以用下面的等式展示：

r_l+1,i＝z_i(m_i)^T。 (21)

本实施例中，使用Adam优化器进行训练，其损失函数L如等式(21)：

其中

是负样本成为序列中(l+1)^th个物品的可能性，并且

被用作消除填充物品的影响，如果

是填充物品，

是0，否则是1。

实验例1

本实验在操作系统为Windows10,处理器为Intel-CPU i7-10700,其主频为2.9GHz,内存为32GiB的电脑上完成。本实验的Python的配置环境为：python3.7+tensorflow1.14，并利用PyCharm集成开发环境运行代码，构建本实验例中的各神经网络模型以完成实验。数据集按照8:2的比例拆分成训练集和测试集,并通过训练集训练模型，测试集来测试各模型。在用户的历史序列中，用户历史序列中的最后一个物品被用于测试，其它物品被用于训练。在训练的过程中，通过使用两个常见的评估方法来评估模型。本实验例在五个真实的数据集上进行实验,包括：

Beauty(Amazonreviewdata(ucsd.edu)),

Games(https://cseweb.ucsd.edu/～jmcauley/datasets.html#steam_data)，

Steam(https://cseweb.ucsd.edu/～jmcauley/datasets.html#steam_data),

Foursquare(UMN/SarwatFoursquareDataset:FreeDownload,Borrow, andStreaming:InternetArchive)，

Tmall(https://tianchi.aliyun.com/dataset/)，

数据集的具体的统计信息如下表所示：

表1：处理过的数据集的统计信息

数据集	用户数量	物品数量	交互次数	平均序列长度	密度
						Games	29341	23464	280945	9.58	0.04％
Beauty	40226	54542	353962	8.8	0.02％
						Foursquare	22748	11146	145106	6.38	0.06％
Tmall	201139	97636	1936790	9.63	0.01％
						Steam	281428	13044	3488899	12.4	0.10％

本实验例使用点击率来评估推荐物品是用户交互物品的百分比。其计算的方法如等式(23)：

其中，

表示推荐给用户的物品，T_u表示用户交互的物品。

上述等式中，当

时，δ(·)为1。

本实验例中还利用了归一化折损累积增益(NDCG@10)来进行评估，因为它考虑到了正确推荐物品在推荐列表中的位置，它用等式(24)来计算：

其中，

代表了推荐给用户u的第k个物品，k表示物品在推荐列表中的位置。Z是归一化常数，它是NDCG@10的最大值。

通过大量的实验，九个参数的理想值被展示到表格2中：

表2：参数的表述和理想值

参数名称	描述	理想值
			num_epochs	迭代次数	450
batch_size	每次训练的批数	128
			Lr	学习率	0.001
L	用户序列的长度	50
			d	嵌入向量的维度	50
B	注意力的块的数量	2
			num_heads	注意力的头部数量超参数	1
dropout_rate	Dropout机制下的未训练神经元占比	0.5
			l2_reg	损失函数的惩罚系数	0

下面的模型被用于与本实施例中构建的TisseRec模型进行比较。

BPRMF模型出自文献“S.Rendle,C.Freudenthaler,Z.Gantner,andL.J.a.p.a.Schmidt-Thieme,"BPR:Bayesian personalizedrankingfromimplicitfeedback,"2012.”.基于MF设计的一种推荐模型，利用了成对损失作为损失函数。

FISM模型出自文献“S.Kabbur,X.Ning,and G.Karypis,"Fism:factoreditemsimilaritymodels fortop-nrecommendersystems,"inProceedings ofthe19thACMSIGKDD internationalconference onKnowledgediscoveryand datamining,2013,pp.659-667.”.通过学习物品之间的相似度矩阵用来进行推荐，这让它成为一种流行的模型。

GRU4Rec模型出自文献“B.Hidasi,A.Karatzoglou,L.Baltrunas,andD.J.a.p.a.Tikk,"Session-based recommendationswithrecurrentneuralnetworks,"2015.”.是最早基于深度学习改进的模型之一，使用了额外的采样策略和列表损失函数进行序列推荐。

前述的SASRec模型，因其使用了自注意力网络，成为了一个比较流行的推荐模型。

表3：不同模型的HR@10和NDCG@10的比较

数据集	Metric	BPRMF	FISM	GRU4Rec	SASRec	TisseRec	TisseRecvs.SASRec
								Tmall	HR@10	0.1744	0.2149	0.3526	0.3844	0.4382	14.00％
	NDCG@10	0.0825	0.1043	0.2072	0.2123	0.2462	15.97％
								Steam	HR@10	0.1023	0.3183	0.3177	0.3424	0.4489	31.10％
	NDCG@10	0.0468	0.1703	0.1707	0.1789	0.255	42.54％
								Games	HR@10	0.3454	0.4791	0.4825	0.5769	0.6662	15.49％
	NDCG@10	0.1981	0.2631	0.2906	0.3507	0.4134	17.88％
								Beauty	HR@10	0.2498	0.3533	0.2729	0.3433	0.4311	25.58％
	NDCG@10	0.1148	0.1942	0.1683	0.2119	0.2658	25.41％
								Foursquare	HR@10	0.2659	0.3977	0.4324	0.4767	0.5095	6.88％
	NDCG@10	0.1287	0.2025	0.2375	0.2611	0.2818	7.93％

从表格3可以看出，本是实施例中的TisseRec模型在HR@10和NDCG@10与基准模型相比都达到了较好的结果。TisseRec模型和SASRec模型实验比较结果被展示在图3和图4中。

从图3和图4可以看出，TisseRec在五个数据集上的表现比SAS更好。在Foursquare数据集上，之后SAS的表现比TisseRec的表现更好，这可能是因为随着训练时间变长TisseRec过拟合造成的。

实验例2

为了更好了验证本发明中使用不同的嵌入向量所带来的性能，本实验例还包括了消融对比实验。

正如表格4展示的那样，Model-1是本发明提出的模型，其它的模型相对与TisseRec模型有着不同的设置，包括用于产生绝对嵌入向量的嵌入向量(AbsoluteEmbeddings)，产生绝对嵌入向量的嵌入向量(Relative Embeddings)和以及产生绝对/相对嵌入向量的计算方法(Calculating approaches)。模型的不同的设置被展示如下：

表4：TisseRec模型的不同设置

Model ID	绝对嵌入向量	相对嵌入向量	计算方法
				Model-1	EDay,EPos	ELog,ESin,EExp	乘积,加权相加
Model-2	EPos	EExp	乘积
				Model-3	EPos	ESin	乘积
Model-4	EPos	EExp,ELog	乘积,前向神经网络

在Model-2中，直接定义E^Pos作为绝对嵌入向量，E^Exp作为相对嵌入向量。因为Model-2中绝对/相对嵌入向量的产生均只涉及一个嵌入向量，所以有E^Abs等于E^Pos，并且E^Rel等于E^Exp。换一句话说，这绝对嵌入向量计算模块和这相对嵌入向量计算模块是没有用的。因此，等式(12)可以被下面的等式替换：

相比于等式(12),这里没有参数

这就意味着Model-2没有考虑相对嵌入向量的负影响。Model-3类似于Model-2,与Model-2的唯一不同就是E^Exp被E^Sin替换。

在Model-4中，本发明使用E^Pos作为绝对时间信息，使用E^Exp和E^Log作为相对时间信息，其中E^Abs等同于E^Pos。相对嵌入向量的计算则不同于本实施例先前提出的模型，首先，需要将E^Sin和E^Log拼接到一起得到E^Rel。然后本发明将E^Rel放入前馈神经网络得到最终的E^Rel。Model-4同样没有考虑相对嵌入向量的负影响，计算的过程如等式(25)：

E^Rel＝FFL([E^Sin,E^Log])。 (26)

模型的不同的设置的表现结果可以在表5展示：

表5：不同模型设置的表现结果

为了更加突出表现结果的对比，本实施例将结果用柱状图图5画出，图中，同一簇柱形中各柱形从左至右依次对应,Model-1、Model-2、Model-3和Model-4；

从比较中可以看，到在训练的过程中，Model-1的表现比Model-2和Model-3在大多数的数据集的表现要好。原因是Model-1仅仅使用E^Exp作为相对嵌入向量并且Model-2仅仅使用E^log作为相对嵌入向量，但是提出的模型使用E^Exp,E^Log和E^Sin作为相对嵌入向量。所以这提出的模型使用了更多的信息相对于Model-2和Model-3。

在不同的数据集中，Model-2和Model-3的表现是不同的，主要是因为E^Exp和E^Sin捕获了不同的时间信息。如果本发明使用E^Exp作为相对嵌入向量，教大的时间差能够快速的缩小到零。但是如果本发明使用E^Sin作为相对时间戳，这个相对时间戳仅仅捕获了时间周期性对结果的影响。在不同的数据集中时间信息是不同的，因此模型在不同数据集中的表现也是不同的。

相比于Model-2和Model-3，Model-4的表现比Model-2和Model-3更差。尽管Model-4比Model-2和Model-3使用了更多的信息，但是通过前馈神经网络结合E^Exp和E^Log造成了过拟合。

从表格5中可以看出Model-2,Model-3和Model-4在Foursquare数据集上的表现都比Model-1差，在这些模型中，没有考虑相对嵌入向量的负影响。

另外可以看出，尽管不如Model-1，但Model-2和Model-3，Model-4的表现在除了Foursquare数据集以外的数据集上皆好于SASRec模型，特别是Model-3和Model-4，仅仅是在Foursquare数据集上的NDCG@10表现方面落后于SASRec模型，而HR@10方面的表现仍旧优于SASRec模型。

以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (8)

1.基于时序物品相似度的序列推荐方法，其特征在于，包括以下步骤：

步骤一、根据以下描述建立神经网络模型：

1.1)以长度为L的用户历史序列中，用户点击各物品的时间信息t_i组成的时间序列T＝{t₁；t₂；...；t_L}作为输入，构建基于时间信息的嵌入向量；

1.2)包含与绝对时间相关的嵌入向量E^Day和E^Pos中的至少一个，如果仅仅构建一个嵌入向量，则以该向量作为绝对嵌入向量E^Abs；如果构建两个嵌入向量，则以E^Day和E^Pos结合生成绝对嵌入向量E^Abs；

所述嵌入向量E^Day，通过以下方式获得：

1.2.1)定义可以学习的嵌入向量M^D∈R^|D|×d，其中|D|是以天作为测量单元的时间间隔，其值为用户序列中最早点击的物品的点击时间到最晚点击的物品的点击时间之间的时间间隔加上一天，有：

M^D＝{day⁰，dat¹，...，dayⁱ，...，day^|D|-2，day^|D|-1}，

其中，dayⁱ表示距离最早点击物品的点击时间为i天的天数时间嵌入向量，维度为d；

1.2.2)从时间序列

中提取以天作为测量单元的时间信息映射到M^D∈R^|D|×d中，得到

所述嵌入向量E^Pos∈R^|L|×d，为基于历史序列中每个物品的索引信息的嵌入向量；

1.3)包含与相对时间相关的嵌入向量E^Exp、E^Log、E^Sin中的至少一个，如果仅仅构建一个嵌入向量，则以该向量作为相对嵌入向量E^Rel；如果构建两个嵌入向量，则以该两个嵌入向量结合生成相对嵌入向量E^Rel；如果构建三个嵌入向量，则先以任意两个嵌入向量进行结合，得到的结果再与第三个嵌入向量结合，得到最后的相对嵌入向量E^Rel；

所述嵌入向量E^Exp、E^Log及E^Sin的构建方式如下：

1.3.1)定义时间差矩阵

其中的每个元素被定义为

其中τ是一个可供调节的时间差；

1.3.2)在嵌入向量E^Sin中，时间差d_ab被转化为向量

转换的方法如下：

其中

是向量

的第c个值，d表示嵌入向量的维度，freq是一个设置的超参数；

1.3.3)在嵌入向量E^Exp中，时间差d_ab被转化为

转换的方法如下：

其中

是向量

的第c个值，d表示嵌入向量的维度，freq是一个设置的超参数；

1.3.4)在嵌入向量E^Log中，时间差da_b被转化为

转换的方法如下：

其中

是向量

的第c个值，d表示嵌入向量的维度，freq是一个设置的超参数；

1.4)以用户历史序列中的物品生成物品嵌入向量

将E与E^Abs相加得到的结果X⁽⁰⁾输入自注意力机制学习模块，结合相对嵌入向量E^Rel获得当前历史序列的局部特征X；

1.5)以各用户历史序列共同输入全局偏好学习模块，获得所有历史序列的全局特征Y；

1.6)依据当前候选物品和最近交互物品的相似度计算结果，对局部特征X与全局特征Y进行加权求和，得到用于预测的特征表示z_l，并以此为依据进行序列中的下一物品的推荐；

步骤二、对建立的神经网络模型实施训练；

步骤三、利用训练好的神经网络模型进行物品序列推荐。

2.根据权利要求1所述的方法，其特征在于，以嵌入向量E^Day和E^Pos结合生成绝对嵌入向量

的方式如下：

α＝σ([E^Day，E^Pos]W_{day_pos}+b_{day_pos})，

其中，[.，.]表示外部的连接操作，W_{day_pos}为可学习的权重向量，b_{day_pos}为该部分的偏置，为sigmoid激活函数σ(z)＝1/(1+e^-z)，

表示元素积，α_s为向量α中的元素，a_sl为嵌入向量E^Abs中的元素，p_sl为嵌入向量E^Day中的元素，d_sl为嵌入向量E^Pos中的元素。

3.根据权利要求1所述的方法，其特征在于，结合嵌入向量E^Exp、E^Log、E^Sin得到相对嵌入向量E^Rel的过程如下：

首先按照以下方式将嵌入向量E^Exp和嵌入向量E^Log结合为嵌入向量E^Exp_Log：

β＝σ([E^Exp，E^Log]W_{exp_log}+b_{exp_log})，

其中

为该部分的可学习的权重向量，

为该部分的偏置，

表示元素积，β_s为向量β中的元素，e_l_sl为嵌入向量E^Exp_Log中的元素，e_sl为嵌入向量E^Exp中的元素，l_sl为嵌入向量E^Log中的元素；

再将嵌入向量E^Exp_Log与E^Sin按照以下方式结合为嵌入向量E^Rel：

γ＝σ([E^Exp_Log，E^Sin]W_{sin_log_exp}+b_{sin_log_exp})

其中，

为该部分可学习的权重向量，

为该部分的偏置，

表示元素积，γ_s为向量γ中的元素，r_sl为相对嵌入向量E^Rel中的元素，s_sl为嵌入向量E^Sin中的元素，e_l_sl为嵌入向量E^Exp_Log中的元素。

4.根据权利要求1所述的方法，其特征在于，所述自注意力机制学习模块包括依次连接的多个自注意力块SAB，第b个自注意力块的输出如下：

X^(b)＝SAB^(b)(X^(b-1)，b∈{1，2，...，B}

SAB(X)＝FFL(SAL(X))

FFL(X′)＝ReL U(X′W₁+1^Tb₁)W₂+1^Tb₂

其中，每个自注意力块SAB皆对应一自注意力层SAL，Q＝XW_Q，K＝XW_K，V＝XW_V，

和

为不同的可学习的权重矩阵，

为前馈神经网络层FFL中的两个卷积层的可学习的权重矩阵，

则是这两个卷积层的偏置，

表示单位向量，

为一个被用作掩码的低维度矩阵；

以最后一个自注意力块SAB^(B)的输出向量X^(B)作为局部特征X。

5.根据权利要求4所述的方法，其特征在于，在自注意力机制学习模块加入标准化层对输入数据进行标准化，以及使用Dropout机制和残差连接；

所述标准化层、Dropout机制和残差连接的用法表达如下：

g(x)＝x+Dropout(g(LayerNorm(x)))，

其中，LayerNorm(x)表示归一化层，g(x)表示自注意力层SAL或者前馈网络层FFL。

6.根据权利要求1所述的方法，其特征在于，全局偏好学习模块中利用注意力层LBA(·)计算全局特征Y，过程如下：

y＝LBA(E)＝softmax(q^S(EW′_K)^T)EW′_V，

其中，

是输入的物品嵌入向量，

为可学习的权重矩阵，

为可学习的询问向量，

为表示全局的偏好全局特征向量；

全局特征

由全局特征向量y堆叠而成的，即矩阵Y的每一行都相同。

7.根据权利要求1所述的方法，其特征在于，所述局部特征X与全局特征Y按照以下方式加权求和得到用于预测的特征表示z_l：

θ＝σ([m_sl，y，m_i]W_G+b_G)，

其中，x_l为局部特征X中的元素，

是最近交互的物品嵌入向量，

是候选物品嵌入向量，m_sl，m_i都为物品嵌入向量E中的元素，

和

分别表示此处的可学习的权重矩阵和偏置。

8.根据权利要求1所述的方法，其特征在于，计算物品i成为序列中的第(l+1)个物品的可能性计算值r_1+1，i如下：

r_l+1，i＝z_l(m_i)^T，

取r_1+1，i最大的物品i作为推荐结果。

Images