CN109087130A - 一种基于注意力机制的推荐系统及推荐方法 - Google Patents

Abstract

本发明提供的基于注意力机制的推荐系统及推荐方法，通过特征嵌入层将用户历史记录中的商品及将待预测的商品映射成商品的特征向量，通过注意力层根据自注意力机制来学习用户的表达得到用户的特征向量，通过融合输出层根据所述商品的特征向量及用户的特征向量输出用户对商品的预测值，本发明提供的基于注意力机制的推荐系统，由于采用基于神经注意力机制可以对用户历史记录中的每个商品自动分配权重，可解释性增强；且采用基于神经注意力机制可以对用户的行为进行更合理的模拟，得到更细粒度的权重从而获取得到更好的推荐效果。

Description

一种基于注意力机制的推荐系统及推荐方法

技术领域

本发明涉及大数据技术领域，尤其涉及一种基于注意力机制的推荐系统集推荐方法。

背景技术

随着互联网用户的增加及在互联网上信息的累积，根据用户历史记录自动的为用户推荐可能感兴趣的产品成为一个计算机领域的热门课题。对于如何在海量信息中为用户推荐其真正需要的商品，现有的方法存在可解释性差的问题。

例如，基于商品的协同过滤方法通过计算商品的余弦相似度或皮尔逊相似度，来对推荐结果进行解释。但这种解释往往千篇一律，比如：“此商品和您以前购买的某商品很像”。由于基于浅层的特征学习，不能获取到复杂的、高阶的商品特征，造成推荐系统无法对用户的兴趣进行很好的刻画，仅凭个体商品间的相似度进行解释，严重限制了推荐系统的可解释性。

发明内容

有鉴如此，有必要针对现有技术存在的缺陷，提供一种能够刻画用户整体兴趣且可解释性强的基于注意力机制的推荐系统。

为实现上述目的，本发明采用下述技术方案：

本发明目的之一，提供了一种基于注意力机制的推荐系统，包括前向传输模块，所述前向传输模块包括：

特征嵌入层，用于将用户历史记录中的商品及将待预测的商品映射成商品的特征向量；

注意力层，用于根据自注意力机制来学习用户的表达得到用户的特征向量；

融合输出层，用于根据所述商品的特征向量及用户的特征向量输出用户对商品的预测值。

在一些较佳实施例中，所述特征嵌入层包括：：

独热向量单元，用于将商品定义为独热向量，并记为x，所述R代表实数集；

特征向量映射单元，用于将所述独热向量输入到特征嵌入层，经所述特征嵌入层后商品的特征向量表示为：p＝W^Tx；

其中，商品的总数量为N,随机初始化两个N*K的矩阵，分别记为P和Q，K是特征向量的维度，矩阵P表示为在映射用户历史记录的商品特征向量时查询与历史记录商品id对应的行，作为该商品的特征向量，矩阵Q表示为在映射待预测商品特征向量时查询与待预测商品id对应的行，作为待预测商品的特征向量，W为矩阵P或者Q，x为独热向量。

在一些较佳实施例中，所述独热向量的维度是N,在所述独热向量中只有商品编号对应的位置值为1,其他位置全为0。

在一些较佳实施例中，在所述注意力层用于根据自注意力机制来学习用户的表达得到用户的特征向量中，

所述用户的特征向量为其中：

U为用户，j为商品，α_uj为注意力层根据用户历史记录中的商品计算出来的权重，

e_uj＝V^T tanh(W^(1)TP+b)

V,W⁽¹⁾是要学习的参数，向量b是一个偏置向量。

在一些较佳实施例中，所述β∈[0,1)。

在一些较佳实施例中，在所述融合输出层用于根据所述商品的特征向量及用户的特征向量输出用户对商品的预测值中，所述预测值表示为：

所述q为待预测商品的向量。

在一些较佳实施例中，还包括反向传输模块，所述反向传输模块通过损失函数对所述前向传输模块中各层的参数进行调节，所述损失函数为：

其中，N为训练集的样本的个数，λ为L2正则化的系数，θ为神经网络的参数，θ＝[W,V,W⁽¹⁾,b]，为用户最后选了的商品，为用户最后没选的商品，为预测值，L为损失值，所述σ的定义如下：

本发明目的之二，在于提供一种基于注意力机制的推荐方法，包括下述步骤：

将用户历史记录中的商品及将待预测的商品映射成商品的特征向量；

根据自注意力机制来学习用户的表达得到用户的特征向量；

根据所述商品的特征向量及用户的特征向量输出用户对商品的预测值。

本发明采用上述技术方案的优点是：

本发明提供的基于注意力机制的推荐系统及推荐方法，通过特征嵌入层将用户历史记录中的商品及将待预测的商品映射成商品的特征向量，通过注意力层根据自注意力机制来学习用户的表达得到用户的特征向量，通过融合输出层根据所述商品的特征向量及用户的特征向量输出用户对商品的预测值，本发明提供的基于注意力机制的推荐系统，由于采用基于神经注意力机制可以对用户历史记录中的每个商品自动分配权重，可解释性增强；且采用基于神经注意力机制可以对用户的行为进行更合理的模拟，得到更细粒度的权重从而获取得到更好的推荐效果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1为本发明实施例提供的基于注意力机制的推荐系统的结构示意图。

图2为本发明实施例提供的基于注意力机制的推荐系统的特征嵌入层111的结构示意图。

图3为本发明实施例提供的基于注意力机制的推荐方法的步骤流程图。

图4为基于注意力机制的可解释性推荐系统与MF-BPR,MF-eALS,MLP,FISM的推荐效果比较示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

请参阅图1，为本发明实施例提供的基于注意力机制的推荐系统10的结构示意图，包括前向传输模块110，其中：

所述前向传输模块110包括：特征嵌入层111、注意力层112及融合输出层113。以下详细说明每一层的技术方案。

特征嵌入层111用于将用户历史记录中的商品及将待预测的商品映射成商品的特征向量。

请参阅图2，所述特征嵌入层111包括独热向量单元11及特征向量映射单元12。

独热向量单元11用于将商品定义为独热向量，并记为x，所述R代表实数集。

具体地，所述独热向量的维度是N,在所述独热向量中只有商品编号对应的位置值为1,其他位置全为0。

例如，假设商品的总数量为N，某商品的编号为3，则该商品的独热向量(one-hot)形式为:(0，0，1,0…0),也就是独热向量的维度是N,在独热向量里只有商品编号对应的位置值为1,其他位置全为0；比如有5个商品，第二件商品的one-hot vector就是[0,1,0,0,0]。

特征向量映射单元12用于将所述独热向量输入到特征嵌入层，经所述特征嵌入层后商品的特征向量表示为：p＝W^Tx；

其中，商品的总数量为N,随机初始化两个N*K的矩阵，分别记为P和Q，K是特征向量的维度，矩阵P表示为在映射用户历史记录的商品特征向量时查询与历史记录商品id对应的行，作为该商品的特征向量，矩阵Q表示为在映射待预测商品特征向量时查询与待预测商品id对应的行，作为待预测商品的特征向量，W为矩阵P或者Q，x为独热向量。

可以理解，矩阵W的每一行是一个随机初始化的向量，如与上面的向量[0,1,0,0,0]相乘后得到矩阵的第二行，用于代表第二件商品。

注意力层112用于根据自注意力机制来学习用户的表达得到用户的特征向量。

在本实施例中，通过自注意力机制(self-attention machinism)来学习用户u的表达。

假设用户u对商品j的权重为α_uj,α_uj越大则商品j对用户的表达u的影响越大，用户的特征向量计算如下：

其中，α_uj为注意力层根据用户历史记录中的商品计算出来的权重，α_uj的公式如下

e_uj＝V^T tanh(W^(1)TP+b)

V,W⁽¹⁾是要学习的参数，向量b是一个偏置向量。

可以理解，由于在推荐系统中，用户的历史记录长度相差太大，有的用户的历史记录可以达到几千，而有的用户历史记录只有几个。这种情况下，对于那些历史记录多的用户，商品的注意力权重会被惩罚的很严重，导致商品的注意力权重过小。因此对注意力权重计算公式的分母进行了惩罚，这使得那些历史记录较多的用户的注意力权重处于一个正常的范围内。

因此，和传统的神经注意力机制不同，在计算权重公式上，对分母进行了惩罚，即β是一个超参数，当将β设为1时，整个推荐的推荐效果发生了大幅度的下降。当β∈[0,1)，我们的推荐系统取得了很好的效果。

可以理解，由于采用基于神经注意力机制可以对用户历史记录中的每个商品自动分配权重，可解释性增强；且采用基于神经注意力机制可以对用户的行为进行更合理的模拟，得到更细粒度的权重从而获取得到更好的推荐效果。

融合输出层113用于根据所述商品的特征向量及用户的特征向量输出用户对商品的预测值。

具体地，融合输出层113通过下述公式获取用户对商品的预测值：

所述q为待预测商品的向量。

由于q为待预测商品的向量，从矩阵Q中取得，例如第三号商品q＝W_q ^T×x，即矩阵Q中的第三行。

可以理解，给定一个用户和商品，我们可以通过输入对应的p_j与q_i得到商品预测值

请再参阅图1，本发明提供的基于注意力机制的推荐系统，还可以包括反向传输模块120。

所述反向传输模块120通过损失函数对所述前向传输模块中各层的参数进行调节，所述损失函数为：

其中，N为训练集的样本的个数，λ为L2正则化的系数，θ为神经网络的参数，θ＝[W,V,W⁽¹⁾,b]，为用户最后选了的商品，为用户最后没选的商品，为预测值，L为损失值，所述σ为神经网络中的激活函数，定义如下：

可以理解，x可以代入任何数，如在L中就是对于用户选了的商品，推荐系统给出的预测值越大，整个损失值L越小，对于用户没选的商品，推荐系统给出的预测值越小，损失值L越小，我们通过损失函数调整推荐系统的参数，让损失值尽可能的小，训练过程可以用梯度下降或者RMSprop等。

本发明上述实施例提供的基于注意力机制的推荐系统，通过特征嵌入层111将用户历史记录中的商品及将待预测的商品映射成商品的特征向量，通过注意力层112根据自注意力机制来学习用户的表达得到用户的特征向量，通过融合输出层113根据所述商品的特征向量及用户的特征向量输出用户对商品的预测值，由于采用基于神经注意力机制，可以增强推荐模型的可解释性，并得到更好的推荐效果。

请参阅图3，本发明还提供了一种基于注意力机制的推荐方法20，包括下述步骤：

步骤S210：将用户历史记录中的商品及将待预测的商品映射成商品的特征向量；

步骤S220：根据自注意力机制来学习用户的表达得到用户的特征向量；

步骤S230：根据所述商品的特征向量及用户的特征向量输出用户对商品的预测值。

可以理解，本发明提供的一种基于注意力机制的推荐方法，还可以包括下述步骤：

步骤S140：通过损失函数对上述步骤中的参数进行调节，所述损失函数为：

其中，N为训练集的样本的个数，λ为L2正则化的系数，θ为神经网络的参数，θ＝[W,V,W⁽¹⁾,b]，为用户最后选了的商品，为用户最后没选的商品，为预测值，L为损失值，所述σ的定义如下：

上述各个步骤详细的工作方式，在推荐系统中进行了详细说明，这里不再赘述。

可以理解，本发明提供的基于注意力机制的推荐方法，由于采用基于神经注意力机制可以对用户历史记录中的每个商品自动分配权重，可解释性增强；且采用基于神经注意力机制可以对用户的行为进行更合理的模拟，得到更细粒度的权重从而获取得到更好的推荐效果。

以下结合具体实施例对本发明提供的技术方案进行进一步说明。

图4中(a)、(b)、(c)及(d)分别为基于注意力机制的可解释性推荐系统与MF-BPR,MF-Eals,MLP,FISM的推荐效果比较。其中：图4中(a)、(b)、(c)及(d)中，线条1，2，3，4，5分别为方法MF-BPR[1],MF-Eals[2],MLP[3],FISM[4]和我们提出的方法的结果。

通过图4可以看出，图4中(a)，(b)为在Embedding Size(嵌入维度)改变时不同方法在MovenLens数据集上hit ratio(HR)和Normalized Discounted Cumulative Gain(NDCG)的变化；图4中(c),(d)为在嵌入维度改变时不同方法在Pinterest数据集上HR和NDCG的变化,线条5是使用我们提出的方法的推荐效果，可以看出，我们推荐的系统的效果优于所有参与比较的推荐方法。

当然本发明的基于注意力机制的推荐系统还可具有多种变换及改型，并不局限于上述实施方式的具体结构。总之，本发明的保护范围应包括那些对于本领域普通技术人员来说显而易见的变换或替代以及改型。

Claims (8)

1.一种基于注意力机制的推荐系统，其特征在于，包括前向传输模块，所述前向传输模块包括：

特征嵌入层，用于将用户历史记录中的商品及将待预测的商品映射成商品的特征向量；

注意力层，用于根据自注意力机制来学习用户的表达得到用户的特征向量；

融合输出层，用于根据所述商品的特征向量及用户的特征向量输出用户对商品的预测值。

2.如权利要求1所述的基于注意力机制的推荐系统，其特征在于，所述特征嵌入层包括：：

独热向量单元，用于将商品定义为独热向量，并记为x，所述R代表实数集；

特征向量映射单元，用于将所述独热向量输入到特征嵌入层，经所述特征嵌入层后商品的特征向量表示为：p＝W^Tx；

其中，商品的总数量为N,随机初始化两个N*K的矩阵，分别记为P和Q，K是特征向量的维度，矩阵P表示为在映射用户历史记录的商品特征向量时查询与历史记录商品id对应的行，作为该商品的特征向量，矩阵Q表示为在映射待预测商品特征向量时查询与待预测商品id对应的行，作为待预测商品的特征向量，W为矩阵P或者Q，x为独热向量。

3.如权利要求2所述的基于注意力机制的推荐系统，其特征在于，所述独热向量的维度是N,在所述独热向量中只有商品编号对应的位置值为1,其他位置全为0。

4.如权利要求2所述的基于注意力机制的推荐系统，其特征在于，在所述注意力层用于根据自注意力机制来学习用户的表达得到用户的特征向量中，

所述用户的特征向量为其中：

U为用户，j为商品，α_uj为注意力层根据用户历史记录中的商品计算出来的权重，

e_uj＝V^T tanh(W^(1)TP+b)

V,W⁽¹⁾是要学习的参数，向量b是一个偏置向量。

5.如权利要求4所述的基于注意力机制的推荐系统，其特征在于，所述β∈[0,1)。

6.如权利要求4所述的基于注意力机制的推荐系统，其特征在于，在所述融合输出层用于根据所述商品的特征向量及用户的特征向量输出用户对商品的预测值中，所述预测值表示为：

所述q为待预测商品的向量。

7.如权利要求6所述的基于注意力机制的推荐系统，其特征在于，还包括反向传输模块，所述反向传输模块通过损失函数对所述前向传输模块中各层的参数进行调节，所述损失函数为：

其中，N为训练集的样本的个数，λ为L2正则化的系数，θ为神经网络的参数，θ＝[W,V,W⁽¹⁾,b]，为用户最后选了的商品，为用户最后没选的商品，为预测值，L为损失值，所述σ的定义如下：

8.一种基于注意力机制的推荐方法，其特征在于，包括下述步骤：

将用户历史记录中的商品及将待预测的商品映射成商品的特征向量；

根据自注意力机制来学习用户的表达得到用户的特征向量；

根据所述商品的特征向量及用户的特征向量输出用户对商品的预测值。