CN111127165B - 基于自注意力自编码器的序列推荐方法 - Google Patents

Abstract

本发明提供的基于自注意力自编码器的序列推荐方法，包括：获取用户商品序列和评分矩阵，并对商品序列进行预处理；使用自注意力模型对商品序列进行训练，预测用户与商品的关联性得分；使用自编码器对评分矩阵重建，计算用户喜爱度指数；结合用户与商品的关联性得分和用户喜爱度指数，得到高得分的商品为用户优先推荐。本发明提供的基于自注意力自编码器的序列推荐方法，利用词嵌入的方法将用户的物品浏览序列转化为低维稠密向量，结合位置编码输入自注意力模型中，再利用自编码器对评分矩阵的拟合和重建，计算用户喜爱度指数，最后得到最终的预测得分，为用户做出推荐，该方法同时考虑用户长、短期偏好等因素，有效地提升了推荐精度。

Description

基于自注意力自编码器的序列推荐方法

技术领域

本发明涉及序列推荐技术领域，更具体的，涉及一种基于自注意力自编码器的序列推荐方法。

背景技术

推荐系统是一种典型的主动帮助用户找到他们需要的信息的解决方式。一般的推荐系统主要根据用户的个人基本信息、历史交互数据，甚至是利用所有用户的这部分数据，将其相结合，对用户的兴趣进行建模，帮助用户在海量的数据中找到他们可能感兴趣的信息或者商品。但在实际的用户场景中，所有用户的全部信息是一个很难获得的数据，在加上用户的需求是动态变化的，其历史数据信息反映的是用户的长期偏好，而用户的短期偏好通过历史记录的数据是很难反馈的。而基于序列的推荐系统可以在没有过多的历史记录的条件下，只利用用户浏览物品的序列信息，对用户下一个浏览的物品做出预测，推荐出用户可能感兴趣的物品对象。

现有的序列推荐算法主要包括两种方法：一是从一阶马尔科夫链的角度出发进行分析；二是将序列推荐看成是一个经典的seq2seq问题。例如，分解个性化马尔科夫链模型(FPMC)结合马尔科夫链和矩阵分解以实现个性化推荐。而GRU4Rec模型使用了基于GRU的seq2seq框架来处理序列推荐问题。但是，马尔科夫链方法只能捕获用户的短期兴趣；而一般的循环神经网络模型则可能捕获过于复杂的依赖关系，因此现有的序列推荐算法并无法同时考虑用户长、短期偏好，推荐的精确度低。

发明内容

本发明为克服现有的序列推荐算法存在无法同时考虑用户长、短期偏好，推荐的精确度低的技术缺陷，提供一种基于自注意力自编码器的序列推荐方法。

为解决上述技术问题，本发明的技术方案如下：

基于自注意力自编码器的序列推荐方法，包括以下步骤：

S1：获取用户商品序列和评分矩阵，并对商品序列进行预处理；

S2：使用自注意力模型对商品序列进行训练，预测用户与商品的关联性得分；

S3：使用自编码器对评分矩阵重建，计算用户喜爱度指数；

S4：结合用户与商品的关联性得分和用户喜爱度指数，得到高得分的商品为用户优先推荐。

其中，在所述步骤S1中，对商品序列进行预处理预处理的过程具体为：

将用户u浏览的商品序列S^u拆成输入序列(S₁,S₂,...,S_|su-1|)和输出序列(S₂,S₃,...,S_|su|)，其中，输入序列作为自注意力模型编码部分的输入，输出序列作为自注意力模型解码部分的输入；

设定超参数为n的商品序列最长长度，若用户商品序列超过最长长度，则对其进行截断，保留前n个商品序列；若用户原始商品序列小于最长长度，则对其左侧进行填补，最后得到长度为n的商品序列(S₁,S₂,...,S_n)，完成商品序列的预处理。

其中，所述步骤S2具体包括以下步骤：

S21：利用网络嵌入方法训练商品序列，将用户浏览的商品序列转化为低维稠密向量，结合位置编码方式得到模型的输入向量；

S22：采用多头自注意力机制对商品序列的输入向量进行建模，构建自注意力模型；

S23：将自注意力模型加上一个两层的前馈神经网络进行数据拟合，对用户与商品的关联性得分进行预测。

其中，所述步骤S21具体为：

利用网络嵌入方法对商品进行词向量学习，得到商品序列的嵌入矩阵M∈R^|I|*d，其中|I|为商品的总数，d为嵌入向量的维度，M的每一行表示一个商品对应的向量；

使用位置编码方式，记录商品序列相对位置信息，具体计算公式为：

PE_(pos,2i)＝sin(pos/10000^2i/d)

PE_(pos,2i+1)＝cos(pos/10000^2i/d)

其中，pos表示商品序列第几个商品，d表示嵌入向量的维度，2i和2i+1表示pos为偶数或奇数对应的公式；通过三角函数的方式得到商品序列的位置向量P∈R^n*d；将商品序列的嵌入矩阵和位置向量行拼接，得到输入向量具体为：

其中：M_si和P_si(i＝1,...,n)分别表示商品S_i的词向量和位置向量。

其中，所述步骤S22具体为：

首先，单个自注意力机制将得到的输入向量进行权重线性转化，同时对线性转化得到的values进行加权求和，并归一化到0至1之间，具体计算公式为：

其中，Q表示查询queries，K表示键keys，V表示值values，W^Q、W^K、W^V∈R^d*d分别代表Q、K、V对应的随机初始化的权重，d表示模型的维度；然后，初始化h组不同的Q、K、V，得到h组单个自注意力机制，拼接为h头自注意力机制，具体计算公式为：

MultiHead(Q,K,V)＝Concat(head₁,...,head_h)W^O

其中，W^O∈R^hd*d；接着，对多头自注意力机制的结果与输入向量进行拼接并标准化，构建自注意力模型，具体公式为：

其中，参数L表示利用残差连接的思想得到的多头自注意力层的输出结果。

其中，所述步骤S23具体为：

将自注意力模型加上一个两层的前馈神经网络进行数据拟合，具体计算公式为：

F_i＝FFN(S_i)＝ReLU(S_iW⁽¹⁾+b⁽¹⁾)W⁽²⁾+b⁽²⁾

其中，W⁽¹⁾和W⁽²⁾均为d*d维矩阵，b⁽¹⁾和b⁽²⁾均为d维向量；接着，将一个多头自注意力机制和一个前馈神经网络构成一个自注意力模块，使用多个自注意力模块进行深度学习，具体计算公式为：

L^b＝MultiHead(F^(b-1))

其中，第一个自注意力模块L⁽¹⁾＝L和F⁽¹⁾＝F；根据自注意力模块的深度学习堆叠得到的特征F_t ^(b)对用户与商品的关联性得分进行预测，具体计算公式为：

其中，r_i,t表示给定前t个商品时，商品i的预测得分；M∈R^|I|*d表示商品的嵌入矩阵。

上述方案中，在模块堆叠过程中，为了缓解梯度消失和过拟合等问题，自注意力模型吸收了残差连接、层标准化和Dropout等多方面的内容，得到如下公式：

g(x)＝x+Dropout(g(LayerNorm(x)))

其中，g(x)表示自注意力层或前馈神经网络。

其中，步骤S2中所述的自注意力模型在训练过程中使用二元交叉熵作为损失函数，具体计算公式为：

其中，<pad>表示补0的项；r_ot,t表示给定前t个商品时，商品o_t的预测得分；r_j,t表示给定前t个商品时，商品j的预测得分。

其中，所述步骤S3具体为：

自编码器通过神经网络以及激活函数对输入的评分矩阵R进行重建，对重建后的评分矩阵h(r；θ)归一化，得到用户喜爱度指数α_i，具体计算公式为：

h(r；θ)＝f(W·g(VR+μ)+b)

α_i＝softmax(h(r；h))

其中，g(·)表示激活函数，此处使用sigmoid函数；f(·)表示恒等函数；r∈R^d为输入向量，θ表示参数，即θ＝{W,V,μ,b}；W∈R^d×k,V∈R^k×d为权重矩阵，μ∈R^k,b∈R^d为偏移量；R∈R^m×n为评分矩阵；d为输入向量维度，k为隐藏层维度；n为物品数，m为用户数。

其中，在所述步骤S3中，自编码器在训练过程中使用均分误差作为损失函数，具体计算公式为：

其中，表示只考虑具有观测值的样本范数；λ表示正则化系数。

其中，所述步骤S4中，结合用户与商品的关联性得分和用户喜爱度指数具体包括A、B两个过程：

A：若用户ID不存在，则直接使用自注意力模型的结果预测得分r_i对用户作最后的商品推荐；

B：若用户ID存在，则自注意力模型给出的结果预测得分r_i与自编码器的用户喜爱度指数α_i进行点乘，加权得到每个用户对所有商品的最终预测得分，具体计算公式为：

score_i＝∑α_ir_i

然后对score_i进行降序排序，得到高得分的商品为用户优先推荐。

上述方案中，所述的自注意力模型包含三个部分的注意力机制，其注意力机制公式在细节上有所不同，具体为：

Encoder间的Attention:

Decoder间的Attention:

mask＝(1,1,...,0,0)

Encoder和Decoder间的Attention:

其中，Q_E、K_E和V_E表示来自encoder的queries、keys和values；Q_D、K_D和V_D表示来自decoder的queries、keys和values；mask表示屏蔽机制，当预测t时刻的状态时，前t个状态均为1，t时刻以后的状态为0。

与现有技术相比，本发明技术方案的有益效果是：

本发明提供的基于自注意力自编码器的序列推荐方法，利用词嵌入的方法将用户的物品浏览序列转化为低维稠密向量，并结合位置编码输入到自注意力模型中，得到下一个物品的预测得分；再利用自编码器对评分矩阵的拟合和重建，将重建后的评分矩阵归一化为计算用户喜爱度指数；最后结合自编码器指数与自注意力的得分得到最终的预测得分，根据该得分降序排列为用户做出推荐，该方法同时考虑用户长、短期偏好等因素，有效地提升了推荐精度。

附图说明

图1为本发明所述方法的流程示意图；

图2为本发明所述方法的整体框架图；

图3为本发明嵌入层词向量学习神经网络图；

图4为本发明的单头自注意力机制结构图和并行运行多个单自注意力机制的多头自注意力机制结构图；

图5为本发明的自编码器网络示意图；

图6为本发明是实例中不同数据集下参数对模型效果影响示意图。

具体实施方式

附图仅用于示例性说明，不能理解为对本专利的限制；

为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；

对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。

下面结合附图和实施例对本发明的技术方案做进一步的说明。

实施例1

如图1所示，基于自注意力自编码器的序列推荐方法，包括以下步骤：

S1：获取用户商品序列和评分矩阵，并对商品序列进行预处理；

S2：使用自注意力模型对商品序列进行训练，预测用户与商品的关联性得分；

S3：使用自编码器对评分矩阵重建，计算用户喜爱度指数；

S4：结合用户与商品的关联性得分和用户喜爱度指数，得到高得分的商品为用户优先推荐。

更具体的，在所述步骤S1中，对商品序列进行预处理预处理的过程具体为：

将用户u浏览的商品序列S^u拆成输入序列(S₁,S₂,...,S_|su-1|)和输出序列(S₂,S₃,...,S_|su|)，其中，输入序列作为自注意力模型编码部分的输入，输出序列作为自注意力模型解码部分的输入；

设定超参数为n的商品序列最长长度，若用户商品序列超过最长长度，则对其进行截断，保留前n个商品序列；若用户原始商品序列小于最长长度，则对其左侧进行填补，最后得到长度为n的商品序列(S₁,S₂,...,S_n)，完成商品序列的预处理。

更具体的，所述步骤S2具体包括以下步骤：

S21：利用网络嵌入方法训练商品序列，将用户浏览的商品序列转化为低维稠密向量，结合位置编码方式得到模型的输入向量；

S22：采用多头自注意力机制对商品序列的输入向量进行建模，构建自注意力模型；

S23：将自注意力模型加上一个两层的前馈神经网络进行数据拟合，对用户与商品的关联性得分进行预测。

更具体的，所述步骤S21具体为：

利用网络嵌入方法对商品进行词向量学习，得到商品序列的嵌入矩阵M∈R^|I|*d，其中|I|为商品的总数，d为嵌入向量的维度，M的每一行表示一个商品对应的向量；

使用位置编码方式，记录商品序列相对位置信息，具体计算公式为：

PE_(pos,2i)＝sin(pos/10000^2i/d)

PE_(pos,2i+1)＝cos(pos/10000^2i/d)

其中，pos表示商品序列第几个商品，d表示嵌入向量的维度，2i和2i+1表示pos为偶数或奇数对应的公式；通过三角函数的方式得到商品序列的位置向量P∈R^n*d；将商品序列的嵌入矩阵和位置向量行拼接，得到输入向量具体为：

其中：M_si和P_si(i＝1,...,n)分别表示商品S_i的词向量和位置向量。

更具体的，所述步骤S22具体为：

首先，单个自注意力机制将得到的输入向量进行权重线性转化，同时对线性转化得到的values进行加权求和，并归一化到0至1之间，具体计算公式为：

其中，Q表示查询queries，K表示键keys，V表示值values，W^Q、W^K、W^V∈R^d*d分别代表Q、K、V对应的随机初始化的权重，d表示模型的维度；然后，初始化h组不同的Q、K、V，得到h组单个自注意力机制，拼接为h头自注意力机制，具体计算公式为：

MultiHead(Q,K,V)＝Concat(head₁,...,head_h)W^O

其中，W^O∈R^hd*d；接着，对多头自注意力机制的结果与输入向量进行拼接并标准化，构建自注意力模型，具体公式为：

其中，参数L表示利用残差连接的思想得到的多头自注意力层的输出结果。

更具体的，所述步骤S23具体为：

将自注意力模型加上一个两层的前馈神经网络进行数据拟合，具体计算公式为：

F_i＝FFN(S_i)＝ReLU(S_iW⁽¹⁾+b⁽¹⁾)W⁽²⁾+b⁽²⁾

其中，W⁽¹⁾和W⁽²⁾均为d*d维矩阵，b⁽¹⁾和b⁽²⁾均为d维向量；接着，将一个多头自注意力机制和一个前馈神经网络构成一个自注意力模块，使用多个自注意力模块进行深度学习，具体计算公式为：

L^b＝MultiHead(F^(b-1))

其中，第一个自注意力模块L⁽¹⁾＝L和F⁽¹⁾＝F；根据自注意力模块的深度学习堆叠得到的特征F_t ^(b)对用户与商品的关联性得分进行预测，具体计算公式为：

其中，r_i,t表示给定前t个商品时，商品i的预测得分；M∈R^|I|*d表示商品的嵌入矩阵。

在具体实施过程中，在模块堆叠过程中，为了缓解梯度消失和过拟合等问题，自注意力模型吸收了残差连接、层标准化和Dropout等多方面的内容，得到如下公式：

g(x)＝x+Dropout(g(LayerNorm(x)))

其中，g(x)表示自注意力层或前馈神经网络。

更具体的，步骤S2中所述的自注意力模型在训练过程中使用二元交叉熵作为损失函数，具体计算公式为：

其中，<pad>表示补0的项；r_ot,t表示给定前t个商品时，商品o_t的预测得分；r_j,t表示给定前t个商品时，商品j的预测得分。

更具体的，所述步骤S3具体为：

自编码器通过神经网络以及激活函数对输入的评分矩阵R进行重建，对重建后的评分矩阵h(r；θ)归一化，得到用户喜爱度指数α_i，具体计算公式为：

h(r；θ)＝f(W·g(VR+μ)+b)

α_i＝softmax(h(r；h))

其中，g(·)表示激活函数，此处使用sigmoid函数；f(·)表示恒等函数；r∈R^d为输入向量，θ表示参数，即θ＝{W,V,μ,b}；W∈R^d×k,V∈R^k×d为权重矩阵，μ∈R^k,b∈R^d为偏移量；R∈R^m×n为评分矩阵；d为输入向量维度，k为隐藏层维度；n为物品数，m为用户数。

更具体的，在所述步骤S3中，自编码器在训练过程中使用均分误差作为损失函数，具体计算公式为：

其中，表示只考虑具有观测值的样本范数；λ表示正则化系数。

更具体的，所述步骤S4中，结合用户与商品的关联性得分和用户喜爱度指数具体包括A、B两个过程：

A：若用户ID不存在，则直接使用自注意力模型的结果预测得分r_i对用户作最后的商品推荐；

B：若用户ID存在，则自注意力模型给出的结果预测得分r_i与自编码器的用户喜爱度指数α_i进行点乘，加权得到每个用户对所有商品的最终预测得分，具体计算公式为：

score_i＝∑α_ir_i

然后对score_i进行降序排序，得到高得分的商品为用户优先推荐。

在具体实施过程中，所述的自注意力模型包含三个部分的注意力机制，其注意力机制公式在细节上有所不同，具体为：

Encoder间的Attention:

Decoder间的Attention:

mask＝(1,1,...,0,0)

Encoder和Decoder间的Attention:

其中，Q_E、K_E和V_E表示来自encoder的queries、keys和values；Q_D、K_D和V_D表示来自decoder的queries、keys和values；mask表示屏蔽机制，当预测t时刻的状态时，前t个状态均为1，t时刻以后的状态为0。

在具体实施过程中，本发明提供的基于自注意力自编码器的序列推荐方法，利用词嵌入的方法将用户的物品浏览序列转化为低维稠密向量，并结合位置编码输入到自注意力模型中，得到下一个物品的预测得分；再利用自编码器对评分矩阵的拟合和重建，将重建后的评分矩阵归一化为计算用户喜爱度指数；最后结合自编码器指数与自注意力的得分得到最终的预测得分，根据该得分降序排列为用户做出推荐，该方法同时考虑用户长、短期偏好等因素，有效地提升了推荐精度。

实施例2

更具体的，本发明提出了一种基于自注意力自编码器的序列推荐方法，采用一个自注意力机制对用户长、短偏好之间的交互进行建模，同时加入了一个自编码器对用户的评分矩阵进行重建，然后对这两个模块的信息进行融合，从而实现对用户的个性化智能推荐。如图2所示，本发明算法的整体框架图，主要包含了自注意力模型、自编码器模型两个部分。

在具体实施过程中，如图3所示的自注意力模型嵌入层的词向量学习神经网络结构，该神经网络工作的思路是基于分布式假设的，即两个相同的商品，若其所处的上下文类似，那么这两个商品也可能是同质商品。该神经网络结构通过对预处理后的商品序列的one-hot编码进行建模，得到商品的嵌入矩阵M∈R^|I|*d，其中|I|表示商品的总数，d表示嵌向量的维度。M的每一行表示每一个商品对应的向量。

此外，利用网络嵌入方法对商品进行词向量学习，得到商品序列的嵌入矩阵M∈R^|I|*d，其中|I|为商品的总数，d为嵌入向量的维度，M的每一行表示一个商品对应的向量；

使用位置编码方式，记录商品序列相对位置信息，具体计算公式为：

PE_(pos,2i)＝sin(pos/10000^2i/d)

PE_(pos,2i+1)＝cos(pos/10000^2i/d)

其中，pos表示商品序列第几个商品，d表示嵌入向量的维度，2i和2i+1表示pos为偶数或奇数对应的公式；通过三角函数的方式得到商品序列的位置向量P∈R^n*d；将商品序列的嵌入矩阵和位置向量行拼接，得到输入向量具体为：

其中：M_si和P_si(i＝1,...,n)分别表示商品S_i的词向量和位置向量。

在具体实施过程中，如图4所示，左边为单头的自注意力机制，它是多头自注意力机制的基本单元，其核心公式如下所示：

其中，Q表示查询queries，K表示键keys，V表示值values，W^Q、W^K、W^V∈R^d*d分别代表Q、K、V对应的随机初始化的权重，d表示模型的维度；由于自注意力模型包含三个部分的注意力机制(可参见图1)，其自注意力机制公式在细节上有所不同，具体如下：

Encoder间的Attention:

Decoder间的Attention:

mask＝(1,1,...,0,0)

Encoder和Decoder间的Attention:

其中，QE、KE和VE表示来自encoder的queries、keys和values；QD、KD和VD表示来自decoder的queries、keys和values。mask表示屏蔽机制，当预测t时刻的状态时，前t个状态均为1，t时刻以后的状态为0。

在具体实施过程中，如图4所示，右边为并行运行多个单自注意力机制的多头自注意力机制，它是自注意力模型的核心部分。当随机生成多组不同的Q，K，V时，相当于将原始的输入矩阵映射到多个不同的空间中，他们能够学习到不同表示空间中的特征，从而增加模型的准确率。多头自注意力机制的公式如下：

MultiHead(Q,K,V)＝Concat(head₁,...,head_h)W^O

其中，W^O∈R^hd*d。

进一步的，对多头自注意力机制的结果与原始输入进行拼接并标准化，输出给下一层，具体公式如下：

由于多头自注意力机制本质上只是线性的加权求和，其对复杂数据的拟合能力欠佳。因此，自注意力模型在多头自注意力机制之后加上了一个两层的前馈神经网络以实现对复杂数据的拟合，具体公式如下：

F_i＝FFN(S_i)＝ReLU(S_iW⁽¹⁾+b⁽¹⁾)W⁽²⁾+b⁽²⁾

其中，W⁽¹⁾和W⁽²⁾均为d*d维矩阵，b⁽¹⁾和b⁽²⁾均为d维向量。

此外，为了进一步学习到更复杂、更深入的特征，自注意力模型使用了模块堆叠的思想，将一个多头自注意力机制和一个前馈神经网络构成一个自注意力模块，然后使用多个模块，具体公式如下：

L^b＝MultiHead(F^(b-1))

其中，第一个自注意力模块L⁽¹⁾＝L和F⁽¹⁾＝F；根据自注意力模块的深度学习堆叠得到的特征F_t ^(b)对用户与商品的关联性得分进行预测，具体计算公式为：

其中，r_i,t表示给定前t个商品时，商品i的预测得分；M∈R^|I|*d表示商品的嵌入矩阵。然后根据r_i,t得分，对用户优先推荐高分的商品。

在具体实施过程中，如图5所示的自编码器网络示意图，自编码器可以分为编码和解码两个过程。解码层使用全连接层对评分矩阵R进行建模，并引入激活函数g(·)加入足够的非线性。然后再进行一次线性或非线性变换，得到重建后的评分矩阵h(r；θ)，对其归一化，得到用户喜爱度指数α，具体计算公式为：

h(r；θ)＝f(W·g(VR+μ)+b)

α_i＝softmax(h(r；h))

其中，g(·)表示激活函数，此处使用sigmoid函数；f(·)表示恒等函数；r∈R^d为输入向量，θ表示参数，即θ＝{W,V,μ,b}；W∈R^d×k,V∈R^k×d为权重矩阵，μ∈R^k,b∈R^d为偏移量；R∈R^m×n为评分矩阵；d为输入向量维度，k为隐藏层维度；n为物品数，m为用户数。自编码器在训练过程中使用均分误差作为损失函数，具体计算公式为：

其中，表示只考虑具有观测值的样本范数；λ表示正则化系数。

在具体实施过程中，通过自注意力模型和自编码器的结合推荐方法，实现对用户的个性化智能推荐。具体包括以下两个过程：

(1)若用户ID不存在，则直接使用自注意力模型的结果预测得分ri对用户作最后的商品推荐。

(2)若用户ID存在，则自注意力模型给出的结果预测得分r与自编码器的用户喜爱度指数α进行点乘，加权得到每个用户对所有商品的最终预测得分，具体公式如下：

score_i＝∑α_ir_i

最后，对score进行降序排序，使用高分优先推荐方法，对用户进行商品推荐。

实施例3

更具体的，选用了亚马逊数据源中的美妆(Beauty)数据集和视频游戏(Videogame)数据集，以及MovieLens数据源中的MovueLens1M数据集这三个数据集对本发明所述方法进行评估，数据集的具体信息如表1所示：

表1

本实验使用了两套评价指标。对于自编码器，采用均方误差作为评价指标；对于自注意力模型以及本发明的整个模型，选择两个最常见的Top k评价指标，分别为命中率(Hitrate@k)和标准化折扣累积增益(NDCG@k)。

本实验在三个数据集上的参数设置略有不同。在几个重要的参数选择中，通过对比不同值上模型的表现效果来选择最终模型参数值，具体可参见图6。图6为本发明优选实例中不同数据集下参数对模型效果影响示意图，从上到下依次是自编码器隐藏层的神经元个数对实验效果的影响、商品序列最长长度对实验效果的影响、嵌入层神经网络的维度对实验效果的影响、自注意力模块堆叠个数对实验效果的影响和自注意力机制的头数对实验效果的影响。本实验三个数据集参数配置如表2所示：

表2

其中，hidden_units表示自编码器隐藏层的神经元个数；max_length表示商品序列最长长度；embedding_dim表示嵌入层神经网络的维度；blocks表示自注意力模块堆叠个数；num_heads表示自注意力机制的头数。

在具体实施过程中，本实验选择了8个基准模型作为比较对象，其包括了马尔科夫方法以及深度学习方法：BPR是一类经典的运用了矩阵分解思想的推荐算法；FCM是基于马尔科夫决策过程对序列进行建模；FPMC则结合了FCM和矩阵分解两种方法，提升了推荐的效果；TransRec从嵌入空间的角度入手，将物品和不同的用户嵌入到同一空间中，进而实现物品的推荐；GRU4Rec是基于GRU的seq2seq框架的序列推荐方法；GRU4Rec+在GRU4Rec的基础上引入了四种优化方法，如dropout机制和数据增强等；Caser基于卷积神经网络的角度，提出了卷积序列嵌入的推荐方法；SASRec利用了自注意力机制对序列进行建模，在多个公共数据集上取得了目前最佳的效果。

这几个基准模型和本发明提出的自注意力自编码器序列推荐算法的总体效果如表3所示。

表3

/>

从表3中可以看出，在三个不同大小的数据集上，无论是HR@10或者是NDCG@10，相对于目前已有的传统推荐方法或深度学习方法，本发明提出的算法整体表现都比较好，提升效果也越来越明显。在数据集Amazon-Beauty上，HR@10提升了0.38％，但NDCG@10略有下降。而在数据集Amazon-Video games上，两个指标都有不同程度的上升，HR@10和NDCG@10分别提升了0.45％和0.56％。而在数据集MovieLens-1M上，两个指标提升程度最好，HR@10提升了1.07％，NDCG@10提升了1.13％，均有1％以上的明显提升。

综上，本发明提出的基于自注意力自编码器的序列推荐方法通过结合自注意力模型和自编码器两个方法，融合了用户长期和短期的兴趣偏好，实现了对用户的个性化智能推荐。同时，本发明在三个大小不同的数据集上进行测试，结果表明，本发明的方法比现有的效果要好。在Amazon-Beauty数据集上，HR@10提升了0.38％；在Amazon-Video games数据集上，HR@10提升了0.45％，NDCG@10提升了0.56％；在MovieLens-1M数据集上，HR@10提升了1.07％，NDCG@10提升了1.13％。

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (8)

1.基于自注意力自编码器的序列推荐方法，其特征在于，包括以下步骤：

S1：获取用户商品序列和评分矩阵，并对商品序列进行预处理；

S2：使用自注意力模型对商品序列进行训练，预测用户与商品的关联性得分；

具体包括以下步骤：

S21：利用网络嵌入方法训练商品序列，将用户浏览的商品序列转化为低维稠密向量，结合位置编码方式得到模型的输入向量；

S22：采用多头自注意力机制对商品序列的输入向量进行建模，构建自注意力模型；

S23：将自注意力模型加上一个两层的前馈神经网络进行数据拟合，对用户与商品的关联性得分进行预测；

S3：使用自编码器对评分矩阵重建，计算用户喜爱度指数；

具体为：

自编码器通过神经网络以及激活函数对输入的评分矩阵R进行重建，对重建后的评分矩阵h(r；θ)归一化，得到用户喜爱度指数α_i，具体计算公式为：

h(r；θ)＝f(W·g(VR+μ)+b)

α_i＝softmax(h(r；h))

其中，g(·)表示激活函数，此处使用sigmoid函数；f(·)表示恒等函数；r∈R^d为输入向量，θ表示参数，即θ＝{W,V,μ,b}；W∈R^d×k,V∈R^k×d为权重矩阵，μ∈R^k,b∈R^d为偏移量；R∈R^{m ×n}为评分矩阵；d为输入向量维度，k为隐藏层维度；n为物品数，m为用户数；

S4：结合用户与商品的关联性得分和用户喜爱度指数，得到高得分的商品为用户优先推荐。

2.根据权利要求1所述的基于自注意力自编码器的序列推荐方法，其特征在于，在所述步骤S1中，对商品序列进行预处理的过程具体为：

将用户u浏览的商品序列S^u拆成输入序列(S₁,S₂,...,S_|su-1|)和输出序列(S₂,S₃,...,S_|su|)，其中，输入序列作为自注意力模型编码部分的输入，输出序列作为自注意力模型解码部分的输入；

设定超参数为n的商品序列最长长度，若用户商品序列超过最长长度，则对其进行截断，保留前n个商品序列；若用户原始商品序列小于最长长度，则对其左侧进行填补，最后得到长度为n的商品序列(S₁,S₂,...,S_n)，完成商品序列的预处理。

3.根据权利要求1所述的基于自注意力自编码器的序列推荐方法，其特征在于，所述步骤S21具体为：

利用网络嵌入方法对商品进行词向量学习，得到商品序列的嵌入矩阵M∈R^|I|*d，其中|I|为商品的总数，d为嵌入向量的维度，M的每一行表示一个商品对应的向量；

使用位置编码方式，记录商品序列相对位置信息，具体计算公式为：

PE_(pos,2i)＝sin(pos/10000^2i/d)

PE_(pos,2i+1)＝cos(pos/10000^2i/d)

其中，pos表示商品序列第几个商品，d表示嵌入向量的维度，2i和2i+1表示pos为偶数或奇数对应的公式；通过三角函数的方式得到商品序列的位置向量P∈R^n*d；将商品序列的嵌入矩阵和位置向量行拼接，得到输入向量具体为：

其中：M_si和P_si(i＝1,...,n)分别表示商品S_i的词向量和位置向量。

4.根据权利要求3所述的基于自注意力自编码器的序列推荐方法，其特征在于，所述步骤S22具体为：

首先，单个自注意力机制将得到的输入向量进行权重线性转化，同时对线性转化得到的values进行加权求和，并归一化到0至1之间，具体计算公式为：

其中，Q表示查询queries，K表示键keys，V表示值values，W^Q、W^K、W^V∈R^d*d分别代表Q、K、V对应的随机初始化的权重，d表示模型的维度；然后，初始化h组不同的Q、K、V，得到h组单个自注意力机制，拼接为h头自注意力机制，具体计算公式为：

MultiHead(Q,K,V)＝Concat(head₁,...,head_h)W^O

其中，W^O∈R^hd*d；接着，对多头自注意力机制的结果与输入向量进行拼接并标准化，构建自注意力模型，具体公式为：

其中，参数L表示利用残差连接的思想得到的多头自注意力层的输出结果。

5.根据权利要求4所述的基于自注意力自编码器的序列推荐方法，其特征在于，所述步骤S23具体为：

将自注意力模型加上一个两层的前馈神经网络进行数据拟合，具体计算公式为：

F_i＝FFN(S_i)＝ReLU(S_iW⁽¹⁾+b⁽¹⁾)W⁽²⁾+b⁽²⁾

其中，W⁽¹⁾和W⁽²⁾均为d*d维矩阵，b⁽¹⁾和b⁽²⁾均为d维向量；接着，将一个多头自注意力机制和一个前馈神经网络构成一个自注意力模块，使用多个自注意力模块进行深度学习，具体计算公式为：

L^b＝MultiHead(F^(b-1))

其中，第一个自注意力模块L⁽¹⁾＝L和F⁽¹⁾＝F；根据自注意力模块的深度学习堆叠得到的特征F_t ^(b)对用户与商品的关联性得分进行预测，具体计算公式为：

其中，r_i,t表示给定前t个商品时，商品i的预测得分；M∈R^|I|*d表示商品的嵌入矩阵。

6.根据权利要求5所述的基于自注意力自编码器的序列推荐方法，其特征在于，步骤S2中所述的自注意力模型在训练过程中使用二元交叉熵作为损失函数，具体计算公式为：

其中，<pad>表示补0的项；表示给定前t个商品时，商品o_t的预测得分；r_j,t表示给定前t个商品时，商品j的预测得分。

7.根据权利要求1所述的基于自注意力自编码器的序列推荐方法，其特征在于，在所述步骤S3中，自编码器在训练过程中使用均分误差作为损失函数，具体计算公式为：

其中，表示只考虑具有观测值的样本范数；λ表示正则化系数。

8.根据权利要求7所述的基于自注意力自编码器的序列推荐方法，其特征在于，所述步骤S4中，结合用户与商品的关联性得分和用户喜爱度指数具体包括A、B两个过程：

A：若用户ID不存在，则直接使用自注意力模型的结果预测得分r_i对用户作最后的商品推荐；

B：若用户ID存在，则自注意力模型给出的结果预测得分r_i与自编码器的用户喜爱度指数α_i进行点乘，加权得到每个用户对所有商品的最终预测得分，具体计算公式为：

score_i＝Σα_ir_i

然后对score_i进行降序排序，得到高得分的商品为用户优先推荐。