CN110334759A - 一种评论驱动的深度序列推荐方法 - Google Patents

Abstract

本发明公开了一种评论驱动的深度序列推荐方法，包括以下步骤：对用户评论文本建立词汇表，每个单词赋予随机初始化的词向量；为每篇文档构建文档词向量表达矩阵；得到方面感知的文档表达张量和多个特征图；计算用户的长期偏好向量和商品的向量表示；计算联合层面和个体层面的用户短期偏好向量；对两个层面进行加权相加得到最终的用户短期偏好向量；将用户短期偏好向量乘以折减系数和用户长期偏好向量相加，得到用户的向量表示，进而计算用户对商品的偏好分数；训练得到RNS模型；将训练的RNS模型用于线上的序列推荐情景。本发明很好地解决了评论驱动的序列推荐问题，具有训练较快、测试时间较短的优点，说明本发明具有广泛的实际意义和商业价值。

Description

一种评论驱动的深度序列推荐方法

技术领域

本发明涉及计算机技术领域，尤其涉及一种评论驱动的深度序列推荐方法。

背景技术

随着互联网的快速兴起，我们逐步进入大数据时代。大数据时代的信息繁杂，几乎每个人每天面对的信息都是过载的，这就是智能推荐系统的用武之地，它已经在诸如新闻浏览软件，短视频平台，问答社区发挥了巨大作用，精准推荐帮助用户缓解信息爆炸带来的忧虑。

传统的推荐系统技术，例如以矩阵分解为代表的协同过滤框架，都是在一个静态思维下考虑用户的兴趣偏好，即每个用户对应一个不变的向量，然而这是不符合实际情况的，现实中用户的兴趣在不断地发生着变化，推荐算法应该能够对这些变化进行建模，才能够完成更精准的推荐。这就是序列化推荐的问题，序列化推荐是一种动态推荐，它考虑用户最近购买过的L个商品进行短期偏好建模，并同时能够综合用户的长期偏好，能够更精确地刻画用户兴趣所在。

目前现有技术中，还没有人提出用户评论文本驱动的序列化动态精准推荐的方法。

发明内容

本发明要解决的技术问题在于针对现有技术中的缺陷，提供一种评论驱动的深度序列推荐方法。

本发明解决其技术问题所采用的技术方案是：

本发明提供一种评论驱动的深度序列推荐方法，该方法包括以下步骤：

步骤1、获取用户/商品文档，根据其中所有用户购买的商品和评论文本信息，对所有用户评论文本建立一个词汇表，词汇表中的每个单词赋予一个随机初始化的词向量；

步骤2、根据每个单词的词向量，为每篇文档构建文档词向量表达矩阵；

步骤3、利用方面特定的词向量转换矩阵对文档表达矩阵进行矩阵相乘，得到方面感知的文档表达张量；

步骤4、对文档表达张量，将方面维度看做类似图像的通道，在文档长度维度进行1.5维的卷积操作，得到多个特征图；

步骤5、通过一个最大池化层，对特征图提取特征，得到用户的长期偏好向量和商品的向量表示；

步骤6、对于目标商品和用户最近购买的L个商品，通过第一个注意力网络连接步骤5得到的这L+1个商品的表达向量，得到购买过的L个商品的权重，对这L个商品向量进行加权相加得到联合层面的用户短期偏好向量；

步骤7、通过一个argmax层，得到L个商品的权重中的权重最大的商品向量，作为个体层面的用户短期偏好向量；

步骤8、通过第二个注意力网络，以目标商品向量为引导，计算个体层面和联合层面的偏好向量的权重，对两个层面进行加权相加得到最终的用户短期偏好向量；

步骤9、将最终的用户短期偏好向量乘以折减系数后与用户长期偏好向量相加，得到用户的向量表示；

步骤10、将用户向量表示和商品向量表示进行交互，得到用户对商品的偏好分数，通过偏好分数判断是否将目标商品推荐给用户；

步骤11、通过以上步骤训练得到RNS模型；

步骤12、将训练好的RNS模型用于线上的序列推荐情景。

进一步地，本发明的步骤1的具体方法为：

步骤1.1、对所有用户评论文本进行聚合，经过文本预处理后，得到所有评论文本的词汇表；

步骤1.2、将词汇表中的每个单词w映射为向量e_w∈R^d，其中d表示词向量的空间大小，向量e_w是随机初始化的，随模型训练。

进一步地，本发明的步骤2的具体方法为：

步骤2.1、给定用户u，将其所有对购买过的商品评论聚合，构成评论文档D_u；所有商品的评论文档处理方式一致；

步骤2.2、将评论文档D_u中的每个单词，根据词向量映射到词向量空间，得到文档词向量矩阵M_u∈R^l×d，其中1表示文档长度，d表示词向量的空间大小。

进一步地，本发明的步骤3的具体方法为：

步骤3.1、引入方面a特定的词向量转换矩阵T_a∈R^d×d，将原始词向量转化到方面a特定的语义向量空间；

步骤3.2、对于用户评论文档D_u，将它的词向量矩阵与方面a特定的词向量转换矩阵相乘，得到该评论文档对应的方面a特定的语义向量空间的词向量矩阵，公式如下：

其中，为该评论文档对应的方面a的语义向量空间的词向量矩阵；

步骤3.3、设定共有K个方面，对于每个方面，用户评论文档都通过步骤3.2得到对应的方面特定的语义向量空间的词向量矩阵，这样的矩阵共有K个，将这K个矩阵拼接，即得到用户评论文档表达张量这样的张量是方面感知的。

进一步地，本发明的步骤4的具体方法为：

对用户评论文档表达张量将方面维度看做类似图像的通道，在文档长度维度进行1.5维卷积；设定卷积核共有n个，第k个卷积核的形状为F^k∈R^h×d×K，其中，1≤k≤n，h为卷积核的高度；第k个卷积核提取特征的公式为：

其中，1≤i≤1-h+1为卷积核的滑动窗口起始点，⊙代表卷积操作，ReLU代表激活函数，z^k即是第k个卷积核得到的特征图。

进一步地，本发明的步骤5的具体方法为：

步骤5.1：n个卷积核就可以得到n个特征图，为了得到最显著的特征，将得到的n个特征图通过一个最大池化层，再将输出值拼接起来，公式如下：

得到的向量即是用户长期偏好向量表示，同理，每个商品i也可以通过如上的步骤1-5对其评论文档进行方面级的卷积建模，得到其向量表示：q_i。

进一步地，本发明的步骤6的具体方法为：

步骤6.1、给定目标商品j，其向量表示为q_j，用户u最近购买的L个商品，其向量表示分别为，q₁，q₂，.......q_L，以向量q_j为引导，通过softmax函数计算L个商品的权重如下公式：

其中，q_i表示每个商品i对其评论文档进行方面级的卷积建模得到的向量表示；

步骤6.2、利用得到的权重，对最近购买的L个商品向量进行加权相加，如下公式：

其中，得到的即为联合层面的用户短期偏好向量。

进一步地，本发明的步骤7的具体方法为：

步骤7.1、为了刻画个体层面上用户购买记录对其未来购买行为的影响，利用一个argmax函数得到在步骤6.1中计算的权重最大的商品向量，公式如下：

其中，得到的即为个体层面的用户短期偏好向量。

进一步地，本发明的步骤8的具体方法为：

步骤8.1、为了进一步判断联合层面和个体层面对于用户未来购买行为的影响，同样利用一个注意力层，即softmax函数，计算两个层面的权重这里同样以目标商品向量q_j为引导，公式如下：

步骤8.2、利用得到的权重，对两个层面的用户短期偏好向量进行加权相加，如下公式：

其中，得到的即为最终的用户短期偏好向量。

进一步地，本发明的步骤9的具体方法为：

步骤9.1：通过步骤5和步骤8分别得到用户长期偏好和短期偏好向量，为了综合表示用户的兴趣偏好，对短期偏好向量偏好乘以一个折减系数α，与长期偏好向量相加，公式如下：

得到的p_u即为用户最终的综合偏好向量。

进一步地，本发明的步骤10的具体方法为：

给定用户u和目标商品j，利用用户综合偏好向量和目标商品向量计算得到偏好分数为：

其中，σ()表示sigmoid激活函数，最终得到的偏好分数s_uj是一个0到1之间的值，能表示概率；p_u即为用户最终的综合偏好向量，q_j为目标商品向量。

进一步地，本发明的步骤11的具体方法为：

训练时采用交叉熵作为损失函数，正则项为L2正则，具体的损失函数形式如下：

其中，C^u表示用户u的所有训练样例，N(j)表示采样的负样本，λ表示正则项的权重系数，θ表示所有模型参数，模型在训练时运用反向传播以及随机梯度下降算法进行优化，模型训练若干轮数后训练完成。

本发明产生的有益效果是：本发明的评论驱动的深度序列推荐方法，通过利用了隐藏在用户评论文本里的语义信息，通过方面级卷积神经网络、层次注意力机制等前沿技术有效地解决了序列化动态推荐任务。根据本发明所提供的模型结果，我们发明的模型可以很好的应用在序列化动态推荐任务上，实验同时表明我们发明的模型比其他推荐算法效果要提高很多。与此同时，我们的发明模型具有训练时间短、测试时间快速等优点，可以很好的应用到各种场景之中，具有广泛的实际意义和商业价值。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是本发明实施例的方法原理示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

本发明实施例的用户评论文本驱动的深度序列化动态精准推荐方法，通过方面级的卷积神经网络对用户评论文本进行建模来完成序列化推荐任务。本模型动态考虑了用户的兴趣偏好变化，符合现实中的用户兴趣的实际情况。首先通过建模用户评论文本，特征提取得到用户的长期偏好向量，及商品的向量表示；然后考虑用户最近购买的L个商品，以预测目标商品为引导，利用第一个注意力网络分别考虑联合层面和个体层面的用户短期兴趣偏好，然后利用第二个注意力网络考虑两个层面短期兴趣偏好的权重，得到最终的用户短期偏好向量；最后综合考虑用户长期偏好向量和短期偏好向量，预测得到对目标商品的偏好分数，即购买概率。

如图1所示，本发明实施例的用户评论文本驱动的深度序列化动态精准推荐方法，包括以下步骤：

步骤1：对所有用户评论文本建立一个词汇表，每个单词赋予一个随机初始化的词向量；

步骤1.1：对所有用户评论文本进行聚合，经过文本预处理后，得到所有评论文本的词汇表；

步骤1.2：将词汇表中的每个单词w映射为向量e_w∈R^d(其中d代表词向量的空间大小)，向量e_w是随机初始化的，随模型训练。

步骤2：根据用户/商品文档里每个单词的词向量，为每篇文档构建文档词向量表达矩阵；

步骤2.1：给定用户u，将她的所有对购买过的商品评论聚合，构成评论文档D_u；商品的评论文档处理方式一致，不再赘述，下同；

步骤2.2：将评论文档D_u中的每个单词根据步骤1.2得到的词向量映射到词向量空间，得到文档词向量矩阵M_u∈R^l×d，其中1表示文档长度。

步骤3：利用方面特定的词向量转换矩阵对步骤2得到的文档表达矩阵进行矩阵相乘，得到方面感知的文档表达张量；

步骤3.1：引入方面a特定的词向量转换矩阵T_a∈R^d×d，可以将原始词向量转化到方面a特定的语义向量空间；

步骤3.2：对于用户评论文档D_u，将它的词向量矩阵与方面a特定的词向量转换矩阵相乘，得到该评论文档对应的方面a特定的语义向量空间的词向量矩阵，公式如下：

其中为该评论文档对应的方面a的语义向量空间的词向量矩阵；

步骤3.3：设定共有K个方面，对于每个方面，用户评论文档都通过步骤3.2得到对应的方面特定的语义向量空间的词向量矩阵这样的矩阵共有K个，将这K个矩阵拼接，即得到用户评论文档表达张量这样的张量是方面感知的。

步骤4：对步骤3得到的文档表达张量，将方面维度看做类似图像的通道，在文档长度维度进行1.5维的卷积操作，得到多个特征图；

步骤4.1：对于步骤3.3得到的用户评论文档表达张量将方面维度看做类似图像的通道，在文档长度维度进行1.5维卷积。设定卷积核共有n个，第k个卷积核的形状为F^k∈R^h×d×K，其中，1≤k≤n，h为卷积核的高度。第k个卷积核提取特征的公式为：

其中1≤i≤1-h+1为卷积核的滑动窗口起始点，⊙代表卷积操作，ReLU代表激活函数，z^k即是第k个卷积核得到的特征图。

步骤5：通过一个最大池化层，对步骤4得到的特征图提取最重要的特征，得到用户的长期偏好向量和商品的向量表示；

步骤5.1：n个卷积核就可以得到n个特征图，为了得到最显著的特征，将得到的n个特征图通过一个最大池化层，再将输出值拼接起来，公式如下：

得到的向量即是用户长期偏好向量表示，同理，每个商品i也可以通过如上的步骤1-5对其评论文档进行方面级的卷积建模，得到其向量表示：q_i。

步骤6：对于目标商品和用户最近购买的L个商品，通过第一个注意力网络连接步骤5得到的这L+1个商品的表达向量，得到购买过的L个商品的权重，对这L个商品向量进行加权相加得到联合层面的用户短期偏好向量；

步骤6.1：给定目标商品j，其向量表示为q_i，用户u最近购买的L个商品，其向量表示分别为，q₁，q₂，.......q_L，以向量q_j为引导，通过softmax函数计算L个商品的权重，如下公式：

步骤6.2：利用步骤6.1得到的权重，对最近购买的L个商品向量进行加权相加，如下公式：

得到的即为联合层面的用户短期偏好向量。

步骤7：通过一个argmax层，得到步骤6中的权重最大的商品向量，作为个体层面的用户短期偏好向量；

步骤7.1：为了刻画个体层面上用户购买记录对其未来购买行为的影响，利用一个argmax函数得到在步骤6.1中计算的权重最大的商品向量，公式如下：

得到的即为个体层面的用户短期偏好向量。

步骤8：通过第二个注意力网络，以目标商品向量为引导，计算步骤6和步骤7得到的两个层面(个体层面和联合层面)的偏好向量的权重，对两个层面进行加权相加得到最终的用户短期偏好向量；

步骤8.1：为了进一步判断联合层面和个体层面对于用户未来购买行为的影响，同样利用一个注意力层，即softmax函数，计算两个层面的权重，这里同样以目标商品向量q_j为引导，公式如下：

步骤8.2：利用步骤8.1得到的权重，对两个层面的用户短期偏好向量进行加权相加，如下公式：

得到的即为最终的用户短期偏好向量。

步骤9：将步骤8中得到的用户短期偏好向量乘以折减系数和用户长期偏好向量相加，得到用户的向量表示；

步骤9.1：通过步骤5和步骤8分别得到用户长期偏好和短期偏好向量，为了综合表示用户的兴趣偏好，对短期偏好向量偏好乘以一个折减系数α，与长期偏好向量相加，公式如下：

得到的p_u即为用户最终的综合偏好向量。

步骤10：将步骤9中得到的用户向量表示和步骤5得到的商品向量表示进行交互，得到用户对商品的偏好分数；

步骤10.1：给定用户u和目标商品j，利用用户综合偏好向量和目标商品向量计算得到偏好分数为：

其中σ()表示sigmoid激活函数，最终得到的偏好分数s_uj是一个0到1之间的值，可以表示概率。

步骤11：训练该模型；

步骤11.1：训练时采用交叉熵作为损失函数，正则项为L2正则，具体的损失函数形式如下：

其中C^u表示用户u的所有训练样例，N(j)表示采样的负样本，λ表示正则项的权重系数，θ表示所有模型参数。模型在训练时运用反向传播以及随机梯度下降算法进行优化，模型训练若干轮数后训练完成。

步骤12：将训练好的模型用于线上的序列推荐情景。

步骤12.1：给定用户u和目标商品j，将训练好的模型执行步骤1-10即可用于线上序列推荐场景。

应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (12)

1.一种评论驱动的深度序列推荐方法，其特征在于，该方法包括以下步骤：

步骤1、获取用户/商品文档，根据其中所有用户购买的商品和评论文本信息，对所有用户评论文本建立一个词汇表，词汇表中的每个单词赋予一个随机初始化的词向量；

步骤2、根据每个单词的词向量，为每篇文档构建文档词向量表达矩阵；

步骤3、利用方面特定的词向量转换矩阵对文档表达矩阵进行矩阵相乘，得到方面感知的文档表达张量；

步骤4、对文档表达张量，将方面维度看做类似图像的通道，在文档长度维度进行1.5维的卷积操作，得到多个特征图；

步骤5、通过一个最大池化层，对特征图提取特征，得到用户的长期偏好向量和商品的向量表示；

步骤6、对于目标商品和用户最近购买的L个商品，通过第一个注意力网络连接步骤5得到的这L+1个商品的表达向量，得到购买过的L个商品的权重，对这L个商品向量进行加权相加得到联合层面的用户短期偏好向量；

步骤7、通过一个argmax层，得到L个商品的权重中的权重最大的商品向量，作为个体层面的用户短期偏好向量；

步骤8、通过第二个注意力网络，以目标商品向量为引导，计算个体层面和联合层面的偏好向量的权重，对两个层面进行加权相加得到最终的用户短期偏好向量；

步骤9、将最终的用户短期偏好向量乘以折减系数后与用户长期偏好向量相加，得到用户的向量表示；

步骤10、将用户向量表示和商品向量表示进行交互，得到用户对商品的偏好分数，通过偏好分数判断是否将目标商品推荐给用户；

步骤11、通过以上步骤训练得到RNS模型；

步骤12、将训练好的RNS模型用于线上的序列推荐情景。

2.根据权利要求1所述的评论驱动的深度序列推荐方法，其特征在于，步骤1的具体方法为：

步骤1.1、对所有用户评论文本进行聚合，经过文本预处理后，得到所有评论文本的词汇表；

步骤1.2、将词汇表中的每个单词w映射为向量e_w∈R^d，其中d表示词向量的空间大小，向量e_w是随机初始化的，随模型训练。

3.根据权利要求1所述的评论驱动的深度序列推荐方法，其特征在于，步骤2的具体方法为：

步骤2.1、给定用户u，将其所有对购买过的商品评论聚合，构成评论文档D_u；所有商品的评论文档处理方式一致；

步骤2.2、将评论文档D_u中的每个单词，根据词向量映射到词向量空间，得到文档词向量矩阵M_u∈R^l×d，其中l表示文档长度，d表示词向量的空间大小。

4.根据权利要求1所述的评论驱动的深度序列推荐方法，其特征在于，步骤3的具体方法为：

步骤3.1、引入方面a特定的词向量转换矩阵T_a∈R^d×d，将原始词向量转化到方面a特定的语义向量空间；

步骤3.2、对于用户评论文档D_u，将它的词向量矩阵与方面a特定的词向量转换矩阵相乘，得到该评论文档对应的方面a特定的语义向量空间的词向量矩阵，公式如下：

其中，为该评论文档对应的方面a的语义向量空间的词向量矩阵；

步骤3.3、设定共有K个方面，对于每个方面，用户评论文档都通过步骤3.2得到对应的方面特定的语义向量空间的词向量矩阵，这样的矩阵共有K个，将这K个矩阵拼接，即得到用户评论文档表达张量这样的张量是方面感知的。

5.根据权利要求1所述的评论驱动的深度序列推荐方法，其特征在于，步骤4的具体方法为：

对用户评论文档表达张量将方面维度看做类似图像的通道，在文档长度维度进行1.5维卷积；设定卷积核共有n个，第k个卷积核的形状为F^k∈R^h×d×K，其中，1≤k≤n，h为卷积核的高度；第k个卷积核提取特征的公式为：

其中，1≤i≤1-h+1为卷积核的滑动窗口起始点，⊙代表卷积操作，ReLU代表激活函数，z^k即是第k个卷积核得到的特征图。

6.根据权利要求1所述的评论驱动的深度序列推荐方法，其特征在于，步骤5的具体方法为：

n个卷积核就得到n个特征图，为了得到最显著的特征，将得到的n个特征图通过一个最大池化层，再将输出值拼接起来，公式如下：

得到的向量即是用户长期偏好向量表示，同理，每个商品i也对其评论文档进行方面级的卷积建模，得到其向量表示：q_i。

7.根据权利要求1所述的评论驱动的深度序列推荐方法，其特征在于，步骤6的具体方法为：

步骤6.1、给定目标商品j，其向量表示为q_j，用户u最近购买的L个商品，其向量表示分别为，q₁，q₂，.......q_L，以向量q_j为引导，通过softmax函数计算L个商品的权重如下公式：

其中，q_i表示每个商品i对其评论文档进行方面级的卷积建模得到的向量表示；

步骤6.2、利用得到的权重，对最近购买的L个商品向量进行加权相加，如下公式：

其中，得到的即为联合层面的用户短期偏好向量。

8.根据权利要求1所述的评论驱动的深度序列推荐方法，其特征在于，步骤7的具体方法为：

步骤7.1、为了刻画个体层面上用户购买记录对其未来购买行为的影响，利用一个argmax函数得到在步骤6.1中计算的权重最大的商品向量，公式如下：

其中，得到的即为个体层面的用户短期偏好向量。

9.根据权利要求1所述的评论驱动的深度序列推荐方法，其特征在于，步骤8的具体方法为：

步骤8.1、为了进一步判断联合层面和个体层面对于用户未来购买行为的影响，同样利用一个注意力层，即softmax函数，计算两个层面的权重这里同样以目标商品向量q_j为引导，公式如下：

步骤8.2、利用得到的权重，对两个层面的用户短期偏好向量进行加权相加，如下公式：

其中，得到的即为最终的用户短期偏好向量。

10.根据权利要求1所述的评论驱动的深度序列推荐方法，其特征在于，步骤9的具体方法为：

根据得到用户长期偏好和短期偏好向量，为了综合表示用户的兴趣偏好，对短期偏好向量偏好乘以一个折减系数α，与长期偏好向量相加，公式如下：

得到的p_u即为用户最终的综合偏好向量。

11.根据权利要求1所述的评论驱动的深度序列推荐方法，其特征在于，步骤10的具体方法为：

给定用户u和目标商品j，利用用户综合偏好向量和目标商品向量计算得到偏好分数为：

其中，σ()表示sigmoid激活函数，最终得到的偏好分数s_uj是一个0到1之间的值，能表示概率；p_u即为用户最终的综合偏好向量，q_j为目标商品向量。

12.根据权利要求1所述的评论驱动的深度序列推荐方法，其特征在于，步骤11的具体方法为：

训练时采用交叉熵作为损失函数，正则项为L2正则，具体的损失函数形式如下：

其中，C^u表示用户u的所有训练样例，N(j)表示采样的负样本，λ表示正则项的权重系数，θ表示所有模型参数，模型在训练时运用反向传播以及随机梯度下降算法进行优化，模型训练若干轮数后训练完成。