CN109598586B - 一种基于注意力模型的推荐方法 - Google Patents

Abstract

本发明属于计算机技术领域中的推荐系统领域，具体涉及一种基于注意力模型的推荐方法。本发明首先将用户对商品的评分表示成用户商品评分矩阵；然后,将用户评论中的词语映射成词向量，作为双向循环神经网络的输入，并在双向循环神经网络的隐层之后加入注意力模型，用于提取重要情感词语的特征；接着，通过注意力模型为每条评论生成情感评分；最后，将用户对商品的真实评分与情感评分进行加权，更新用户评分矩阵，使用传统的协同过滤推荐方法为用户进行推荐。本发明可以有效的改善传统的推荐方法中对输入信息的稀释问题，同时考虑用户的情感因素对评论结果的影响，能够更准确地更正用户的评分行为，进而提高了推荐的准确率。

Description

一种基于注意力模型的推荐方法

技术领域

本发明属于计算机技术领域中的推荐系统领域，具体涉及一种基于注意力模型的推荐方法。

背景技术

随着大数据时代的到来，越来越多的信息充斥着人们的生活。如何从大量的信息中迅速检索出人们需要的内容成为研究者关注的重点，推荐系统应运而生。在电子商务领域，推荐系统应用广泛。人们在选择商品时，往往无法确切的描述自己所需要物品的信息，推荐系统可以主动向用户推荐其感兴趣的商品，使商家获得了更多的利益，也让用户有了更好的使用体验。

目前，常见的推荐方法包括基于协同过滤的推荐方法和基于内容的推荐方法。这两种方法根据用户的评分及消费历史来获得推测用户的喜好，来寻找具有相似喜好的用户，从而对其进行选择的商品相互推荐。但是，这种评分方式不能准确地代表用户的喜爱程度，因为每个人评价的标准不同，用户的评级行为存在差异。

发明内容

本发明的目的在于利用循环神经网络分析用户的评论信息，在循环神经网络模型中引入注意力机制，解决传统推荐方法中没有考虑用户评价标准不同的问题，更加准确的将用户选择的产品进行相互推荐，本发明提出了一种基于注意力模型的推荐方法。实验数据表明，本发明方法所推荐出的结果比传统的推荐方法具有更高的精度。

本发明的目的是这样实现的：

一种基于注意力模型的推荐方法，包括如下步骤：

(1)建立用户评分矩阵，把m个用户对n个商品的评分形成一个m*n的评分矩阵R，矩阵中的项R_ij表示用户u_i对商品i_j的评分；

(2)去除评论语句中的停用词，并将评论的词语映射成词向量；

(3)建立基于注意力模型的Encoder-Decoder模型，得到输出单元y_i；

(4)计算情感评分Score(emotion)；

(5)根据用户的真实评分和情感的分进行加权，得到用户的最终得分来更新用户评分矩阵，然后计算用户评分之间的相似性，把与用户U最相似的前N个用户的近期消费商品推荐给用户U，完成推荐操作。

所述步骤(1)中的用户评分矩阵是这样建立的：m名用户构成用户集合U＝{u₁，u₂，…，u_m}，n件商品构成项目集合I＝{i₁，i₂，…，i_n}，用户评分矩阵R表示为：

其中，用户u_i对商品i_j的评分即为R_ij。

所述步骤(4)中情感评分Score(emotion)计算公式如下：

α_i是注意力权重，其表达式为：

β_i是i时刻状态y_i的注意力得分，其表达式为：β_i＝V_αtan(y_iW_α+b_α)，其中，V_α和W_α是已知的权重参数，b_α是偏置单元。

所述步骤(5)中对用户的真实评分和情感评分进行加权，得到用户的最终得分来更新用户评分矩阵，表达式如下：R_ij＝α·Score(emotion)+(1-α)·R’_ij，α代表情感得分的权重分配，其值的大小在0到1之间；R’_ij是用户的真实评分，通过二者的计算，为用户生成更能代表其本意的最终得分；利用更新的R_ij计算用户之间的相似性，表达式为：

式中_，d(u_i+u_j)是n维空间上的欧式距离，即：

进一步地，将所有用户按照与被推荐用户U的相似度进行排序，把与用户U最相似的前N个用户的近期消费商品推荐给用户U，完成推荐操作。

本发明的有益效果在于：

本发明可以有效的改善传统的推荐方法中对输入信息的稀释问题，同时考虑用户的情感因素对评论结果的影响，可以更加准确的在户之间进行喜爱商品的推荐。

附图说明

图1是基于注意力模型的推荐方法的基本流程图；

图2是Encoder-decoder模型的基本原理；

图3是基于注意力模型的Encoder-decoder模型；

图4是双向循环神经网络模型。

具体实施方式

下面结合附图对本发明进一步详细说明。

一种基于注意力模型的推荐方法，包括如下步骤：

(1)建立用户评分矩阵，把m个用户对n个商品的评分形成一个m*n的评分矩阵R，矩阵中的项R_ij表示用户u_i对商品i_j的评分。

(2)去除评论语句中的停用词，并将评论的词语映射成词向量，使用Word2vec工具实现将词语转换成词向量；Word2vec工具中的Skip-Gram模型利用深度学习方法，训练出有维度的词向量，这些词向量的相似度就代表了词语的相似度。

(3)建立基于注意力模型的Encoder-Decoder模型；Encoder-Decoder模型是自然语言处理中的一种成熟的序列化模型，其基本原理如附图2所示。每个词语都是一个输入状态，通过Encoder模块生成语义编码C，再通过Decoder模块对C进行解码，得到输出序列。在解码的过程中，保证了每个单词对输出状态的影响是相同的。

传统的Encoder-Decoder模型中，编码和解码之间的联系只有一个固定长度的语义向量C，编码器将整个序列的信息压缩到一个固定长度的向量中，使一些信息会被稀释掉，输入的序列越长，这种现象越严重，降低了解码的准确度。因此，在Encoder-Decoder模型中引入注意力机制。可以提取重要词语的特征，特别是情感词对于情感得分的计算。而且，注意力模型使每个输出元素y_i都有对应语义编码C_i，输出结果更加全面的反应了输入的信息。基于注意力模型的Encoder-Decoder模型如附图3所示。

(4)情感评分计算。带有注意力模型的双向神经网络为每条评论生成一个情感评分。注意力模型使情感词所在的隐藏状态具有更高的权重，使得每个时刻的隐藏状态被区别对待。相比于用户自己的评级操作，情感评分能够更加真实的表现出用户的情感喜好。

(5)更新用户评分矩阵，实现推荐。根据用户的真实评分和情感的分进行加权，来更新用户评分矩阵。然后计算用户评分之间的相似性，实现推荐。

一种基于注意力模型的推荐方法的基本步骤如下：

(1)建立用户评分矩阵：m名用户构成了用户集合U＝{u₁，u₂，…，u_m}，n件商品构成了项目结合I＝{i₁，i₂，…，i_n}，用户评分矩阵R可以表示为：

其中，用户u_i对商品i_j的评分即为R_ij。

(2)去除评论语句中的停用词，并将评论的词语映射成词向量。使用Word2Vec工具将词语转换成词向量。

(3)建立基于注意力模型的Encoder-Decoder模型。每个输出单元y_i都有对应语义编码C_i，C_i是由编码时的隐藏向量序列(S₁，…，S_t)按权重相加得到的，即：

其中，α_i是注意力权重，其表达式为：

β_i是i时刻状态y_i的注意力得分，其表达式为：β_i＝V_αtan(y_iW_α+b_α)。其中，V_α和W_α是已知的权重参数，b_α是偏置单元。

(4)情感评分计算。带有注意力模型的双向神经网络为每条评论生成一个情感评分，基本原理如附图4所示。通过注意力模型，情感词所在的隐藏状态具有更高的权重，使得每个时刻的隐藏状态被区别对待。最终可以计算出用户的情感评分，为：

(5)更新用户评分矩阵，实现推荐。对用户的真实评分和情感评分进行加权，得到用户的最终得分，更新用户评分矩阵，表达式如下：

R_ij＝α·Score(emotion)+(1-α)·R’_ij，α代表情感得分的权重分配，其值的大小在0到1之间。R’_ij是用户的真实评分。通过二者的计算，为用户生成更能代表其本意的得分。

利用更新的R_ij计算用户之间的相似性，表达式为：

式中，d(u_i+u_j)是n维空间上的欧式距离，即：

进一步地，将所有用户按照与被推荐用户U的相似度进行排序，把与用户U最相似的前N个用户的近期消费商品推荐给用户U，完成推荐操作。

Claims (1)

1.一种基于注意力模型的推荐方法，其特征在于，包括如下步骤：

步骤1：建立用户评分矩阵，把m个用户对n个商品的评分形成一个m*n的评分矩阵R，矩阵中的项R_ij表示用户u_i对商品i_j的评分；

m名用户构成了用户集合U＝{u₁,u₂,…,u_m}，n件商品构成了项目结合I＝{i₁,i₂,...,i_n}，用户评分矩阵R表示为：

其中，用户u_i对商品i_j的评分即为R_ij；

步骤2：去除评论语句中的停用词，并将评论的词语映射成词向量；

步骤3：建立基于注意力模型的Encoder-Decoder模型，得到输出单元y_i；

建立基于注意力模型的Encoder-Decoder模型，每个输出单元y_i都有对应语义编码C_i，C_i是由编码时的隐藏向量序列(S₁,...,S_t)按权重相加得到的，

α_i是注意力权重，

β_i是i时刻状态y_i的注意力得分，β_i＝V_αtan(y_iW_α+b_α)；V_α和W_α是已知的权重参数，b_α是偏置单元；

步骤4：计算情感评分Score(emotion)；

步骤5：根据用户的真实评分和情感评分进行加权，得到用户的最终得分来更新用户评分矩阵，然后计算用户评分之间的相似性，把与用户U最相似的前N个用户的近期消费商品推荐给用户U，完成推荐操作

对用户的真实评分和情感评分进行加权，得到用户的最终得分，更新用户评分矩阵，表达式如下：

R_ij＝α·Score(emotion)+(1-α)·R’_ij

其中，α代表情感得分的权重分配，其值的大小在0到1之间；R’_ij是用户的真实评分，通过二者的计算，为用户生成更能代表其本意的得分；

利用更新的R_ij计算用户评分 之间的相似性，表达式为：

其中，d(u_i,u_j)是n维空间上的欧式距离，

进一步地，将所有用户按照与被推荐用户U的相似度进行排序，把与用户U最相似的前N个用户的近期消费商品推荐给用户U，完成推荐操作。

Images