CN112528141A - 一种基于多任务学习的个性化评论文本推荐方法 - Google Patents

Abstract

本发明提供一种基于多任务学习的个性化评论文本推荐方法，该方法利用了评论的文本信息，大大的缓解了只依靠交互信息的方法所需要的数据量。其次，本专利考虑了用户对评论在不同物品下的偏好。属于个性化的方法，能够更加有效的针对不同的用户提供不同的评论推荐。最后，本工作首次在个性化评论推荐当中使用评论文本的深度语义信息。在拥有丰富语义的情况下，更好的建模用户对评论的偏好。

Description

一种基于多任务学习的个性化评论文本推荐方法

技术领域

本发明涉及互联网用户偏好推荐算法领域，更具体地，涉及一种基于多任务学习的个性化评论文本推荐方法。

背景技术

现今，很多网络服务提供商如亚马逊，淘宝，Taptap手机游戏商城等都提供了评论服务。在评论的功能中，用户通过撰写评论与他人分享物品的使用体验。与此同时，用户通过浏览其他人的评论，也能获取到更多物品相关的主观信息，而不仅仅是物品描述所提供的客观信息。利用这些信息，用户能够更好的获取物品相关的信息，更快做出购买判断。但是，随着用户社区的越来越活跃，一些热门商品的评论出现爆炸性增长，用户很难在海量的评论中寻找到自己感兴趣的评论。因此，一个能够筛选出符合用户偏好的评论的算法亟待开发。

目前网站主要使用基于用户反馈的方式对评论进行初步的排序，大部分网络服务一般都会提供由用户点赞数，用户提供的评论有用性(Helpfulness)评分进行排序。这些排序更多的是针对大众化偏好排序，缺乏个性化。而在学术领域，更多的研究主要针对于如何利用评论的文本来对评论的有用性进行预测，又或者选取一个最能表示物品各方面特性的评论的集合。在个性化的评论推荐方面，相关的工作则少很多。主要集中在利用协同过滤的方法，通过寻找相似的用户来进行相关的评论推荐，而缺乏利用评论本身的文本信息来进行推荐。

发明内容

本发明提供一种基于多任务学习的个性化评论文本推荐方法，该算法能够大大提高用户的决策效率。

为了达到上述技术效果，本发明的技术方案如下：

一种基于多任务学习的个性化评论文本推荐方法，包括以下步骤：

S1：构建用户评论个性化变换器；

S2：利用步骤S1得到的个性化变换器获取用户历史评论和待排评论的表示；

S3：利用步骤S1得到的个性化变换器对待排序评论进行语义信息的提取，利用语义向量获取对评论本身的质量的预测；

S4：利用步骤S1得到的个性化变换器将用户和物品表示为稠密的向量，并利用用户和物品之间的交互行为对用户和物品向量进行建模。

进一步地，所述个性化变换器包括个性化嵌入层、多层叠加的变换器块和输出层；所述变换器块包括多头自注意模块、Dropout模块、加权以及归一化模块和前向传播模块

进一步地，所述个性化嵌入层个性化变换器的输入层，将评论文本通过词嵌入的方式表示为稠密的向量t，为了加入个性化的信息，把用户的特征表示u′作为第一个单词加入到文本序列当中；

用户的特征表示首先由用户的独热ID编码通过嵌入层得到，为了和词嵌入的维度一致，将该用户的表示通过线性变换，得到最后加入到个性化嵌入层的用户表示；

为了让个性化变换器能够感知到物品，将物品的表示v′加入到每个词的表示当中，物品的表示和用户的表示一样，首先使用嵌入矩阵将物品的独热编码转换为稠密编码，然后使用线性变换得到与词嵌入相同维度的表示v′，最后，因为输入的词是有次序性特征的，在个性化的编码当中加入位置编码；输入编码可以表示为

其中，h_i表示第i个输入。

进一步地，所述步骤S2的具体过程是：

利用个性化变换器得到用户历史评论和待排评论的表示：

o_u＝PT(H_u,u,V_H)

o_r＝PT(r_c,u,v_c)

其中，H_u是用户u的历史评论集，V_H＝{v|v＝φ(r)∧r∈H_u}是历史评论集对应的物品，r_c∈R是待排序的评论，v_c是待排序评论对应的物品，用户u对评论r_c的偏好度评分通过如下给出：

其中，·是点乘计算。

进一步地，所述步骤S3的具体过程是：

利用个性化变换器以及多层感知机来通过评论的文本来预测评论本身的质量，因为物品-评论任务中，并不存在用户；在原本用户-评论任务当中所使用的用户输入将代替为一个特殊的词[CLS]，将这个词替代原本的用户表示，输入到个性化变换器中，评论的评分由下给出：

其中t_[CLS]是词[CLS]的词向量嵌入表示，为了该任务中的参数，计算和最小化损失

利用均方误差来计算损失：

其中，N_vr是物品-评论任务的样本数。

进一步地，所述步骤S4的具体过程是：

用户在相似的物品上，他们对评论的偏好更为相似，将用户所交互过的评论所对应的物品也视为所交互过的物品，即，只要用户交互过该物品下的任意一条评论，都认为该用户交互过该物品，利用矩阵分解的方法对用户与物品的交互进行建模：

其中，u是用户的独热编码通过嵌入矩阵得到的稠密向量表示，v是物品的独热编码通过嵌入矩阵得到的稠密向量表示，这个任务使用交叉熵来优化用户与物品的之间的嵌入表示：

进一步地，在通过用户-评论任务得到用户对待排评论的估计以及物品-评论任务得到待排评论的质量分数时，使用一个超参数α来平衡这两边的预测的分数，而一个待排序评论的最终分数由如下公式给出：

对于模型的训练，利用配对损失函数进行训练，具体表示如下：

其中，

表示用户u更偏向于正向喜欢，

表示用户u更偏向于负向情感，λ控制归一化的力度，Θ代表所有需要训练的参数。

与现有技术相比，本发明技术方案的有益效果是：

本发明利用了评论的文本信息，大大的缓解了只依靠交互信息的方法所需要的数据量。其次，本专利考虑了用户对评论在不同物品下的偏好。属于个性化的方法，能够更加有效的针对不同的用户提供不同的评论推荐。最后，本工作首次在个性化评论推荐当中使用评论文本的深度语义信息。在拥有丰富语义的情况下，更好的建模用户对评论的偏好。

附图说明

图1为本发明方法逻辑框图；

图2(a)为个性化变换器的整体结构；

图2(b)为变换器块的具体结构；

图2(c)为个性化嵌入层在用户-评论任务中的输入表示；

图2(d)为物品-评论任务中的表示。

具体实施方式

附图仅用于示例性说明，不能理解为对本专利的限制；

为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；

对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。

下面结合附图和实施例对本发明的技术方案做进一步的说明。

如图1所示，一种分基于多任务学习的个性化评论文本推荐方法，为三个任务：用户对于评论的偏好预测主任务，评论质量预测辅助任务以及用户与物品关系建模任务，在接下来的叙述中，三个任务将简写成用户-评论任务，物品-评论任务，以及用户-物品任务。

用户-评论任务主要目的是要在给定的物品下，计算用户对待排序评论的偏好度。这个任务主要将用户的历史，待排序评论作为输入。其中，用户的历史是用户之前所交互过的评论。这些评论文本以及用户/物品的表示分别输入到个性化变换器(Transformer)中，提取他们的语义信息。分别得到用户的表示输出以及评论的表示输出。这两个输出最后做点积得到用户对评论的偏好度预测。物品-评论任务则主要利用个性化变换器对待排序评论进行语义信息的提取，将得到的语义向量输入进多层感知机中，最后得到对评论本身的质量的预测。用户-物品任务则主要利用嵌入层将用户和物品表示为稠密的向量，并利用用户和物品之间的交互行为对用户和物品向量进行建模。接下来，首先介绍个性化变换器，其次，在分别详细介绍每个任务。

1.个性化变换器

如图2所示，在本节主要介绍个性化变换器，个性化变换器的整体结构如图2(a)所示，其中包括个性化嵌入层，多层叠加的变换器块，以及最后的输出层。其中，变换器块的具体结构如图2(b)所示，具体包括多头自注意模块，Dropout模块，加权以及归一化模块，前向传播模块等。

1.1个性化嵌入层

个性化嵌入层是个性化变换器的输入层，这层主要的结构是如图2(c)(d)所展示，图2(c)是个性化嵌入层在用户-评论任务中的输入表示，图2(d)是物品-评论任务中的表示，二者差别十分细微，因此，只介绍图2(c)。

如图2(c)所示，首先将一系列文本通过词嵌入的方式表示为稠密的向量t，为了加入个性化的信息，把用户的特征表示u′作为第一个单词加入到文本序列当中。用户的特征表示首先由用户的独热ID编码通过嵌入层得到。为了和词嵌入的维度一致，再将该用户的表示通过线性变换，得到最后加入到个性化嵌入层的用户表示。知道，每一个评论都有对应的物品，为了让个性化变换器能够感知到物品，将物品的表示v′加入到每个词的表示当中。物品的表示和用户的表示一样，首先使用嵌入矩阵将物品的独热编码转换为稠密编码。然后使用线性变换得到与词嵌入相同维度的表示v′。最后，因为输入的词是有次序性特征的，在个性化的编码当中加入位置编码。最后，的输入编码可以表示为：

其中，h_i表示第i个输入。

1.2变换器块以及输出

构建完的变换器块，使用多头自注意等机制加强词向量的表示。最后，取第一个词在最后一层的变换器块中的输出作为个性化变换器的输出。并把这个输出通过一个多层感知机得到这个个性化变换器的最终输出o

2.用户-评论任务

利用个性化变换器得到用户历史评论和待排评论的表示：

o_u＝PT(H_u,u,V_H)

o_r＝PT(r_c,u,v_c)

其中，H_u是用户u的历史评论集，V_H＝{v|v＝φ(r)∧r∈H_u}是历史评论集对应的物品。r_c∈R是待排序的评论。v_c是待排序评论对应的物品。最后，用户u对评论r_c的偏好度评分通过如下给出：

其中，·是点乘计算。

3.物品-评论任务

利用个性化变换器以及多层感知机来通过评论的文本来预测评论本身的质量。因为物品-评论任务中，并不存在用户。所以，在原本用户-评论任务当中所使用的用户输入将代替为一个特殊的词[CLS]，将这个词替代原本的用户表示，输入到个性化变换器中，具体的输入如图2(d)所示。最后，评论的评分由下给出：

其中t_[CLS]是词[CLS]的词向量嵌入表示。为了该任务中的参数，计算和最小化损失

利用均方误差来计算损失：

其中，N_vr是物品-评论任务的样本数。

4.用户-物品任务

知道，用户在相似的物品上，他们对评论的偏好更为相似，例如都是衣服类的物品，他们对这些物品的偏好也会比较相似。这里，将用户所交互过的评论所对应的物品也视为所交互过的物品。即，只要用户交互过该物品下的任意一条评论，都认为该用户交互过该物品。利用矩阵分解的方法对用户与物品的交互进行建模

其中，u是用户的独热编码通过嵌入矩阵得到的稠密向量表示，v是物品的独热编码通过嵌入矩阵得到的稠密向量表示。这个任务使用交叉熵来优化用户与物品的之间的嵌入表示：

5.偏好估计与参数优化

在通过用户-评论任务得到用户对待排评论的估计以及物品-评论任务得到待排评论的质量分数时，使用一个超参数α来平衡这两边的预测的分数。而一个待排序评论的最终分数由如下公式给出：

对于模型的训练，利用配对损失函数进行训练，具体表示如下：

其中，

表示用户u更偏向于正向喜欢，

表示用户u更偏向于负向情感。λ控制归一化的力度。Θ代表所有需要训练的参数。

相同或相似的标号对应相同或相似的部件；

附图中描述位置关系的用于仅用于示例性说明，不能理解为对本专利的限制；

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (8)

1.一种基于多任务学习的个性化评论文本推荐方法，其特征在于，包括以下步骤：

S1：构建用户评论个性化变换器；

S2：利用步骤S1得到的个性化变换器获取用户历史评论和待排评论的表示；

S3：利用步骤S1得到的个性化变换器对待排序评论进行语义信息的提取，利用语义向量获取对评论本身的质量的预测；

S4：利用步骤S1得到的个性化变换器将用户和物品表示为稠密的向量，并利用用户和物品之间的交互行为对用户和物品向量进行建模。

2.根据权利要求1所述的基于多任务学习的个性化评论文本推荐方法，其特征在于，所述个性化变换器包括个性化嵌入层、多层叠加的变换器块和输出层。

3.根据权利要求2所述的基于多任务学习的个性化评论文本推荐方法，其特征在于，所述变换器块包括多头自注意模块、Dropout模块、加权以及归一化模块和前向传播模块。

4.根据权利要求3所述的基于多任务学习的个性化评论文本推荐方法，其特征在于，所述个性化嵌入层个性化变换器的输入层，将评论文本通过词嵌入的方式表示为稠密的向量t，为了加入个性化的信息，把用户的特征表示u′作为第一个单词加入到文本序列当中；

用户的特征表示首先由用户的独热ID编码通过嵌入层得到，为了和词嵌入的维度一致，将该用户的表示通过线性变换，得到最后加入到个性化嵌入层的用户表示；

为了让个性化变换器能够感知到物品，将物品的表示v′加入到每个词的表示当中，物品的表示和用户的表示一样，首先使用嵌入矩阵将物品的独热编码转换为稠密编码，然后使用线性变换得到与词嵌入相同维度的表示v′，最后，因为输入的词是有次序性特征的，在个性化的编码当中加入位置编码；输入编码可以表示为

其中，h_i表示第i个输入。

5.根据权利要求4所述的基于多任务学习的个性化评论文本推荐方法，其特征在于，所述步骤S2的具体过程是：

利用个性化变换器得到用户历史评论和待排评论的表示：

o_u＝PT(H_u，u，V_H)

o_r＝PT(r_c，u，v_c)

其中，H_u是用户u的历史评论集，V_H＝{v|v＝φ(r)∧r∈H_u}是历史评论集对应的物品，r_c∈R是待排序的评论，v_c是待排序评论对应的物品，用户u对评论r_c的偏好度评分通过如下给出：

其中，·是点乘计算。

6.根据权利要求5所述的基于多任务学习的个性化评论文本推荐方法，其特征在于，所述步骤S3的具体过程是：

利用个性化变换器以及多层感知机来通过评论的文本来预测评论本身的质量，因为物品-评论任务中，并不存在用户；在原本用户-评论任务当中所使用的用户输入将代替为一个特殊的词[CLS]，将这个词替代原本的用户表示，输入到个性化变换器中，评论的评分由下给出：

其中t_[CLS]是词[CLS]的词向量嵌入表示，为了该任务中的参数，计算和最小化损失

利用均方误差来计算损失：

其中，N_vr是物品-评论任务的样本数。

7.根据权利要求6所述的基于多任务学习的个性化评论文本推荐方法，其特征在于，所述步骤S4的具体过程是：

用户在相似的物品上，他们对评论的偏好更为相似，将用户所交互过的评论所对应的物品也视为所交互过的物品，即，只要用户交互过该物品下的任意一条评论，都认为该用户交互过该物品，利用矩阵分解的方法对用户与物品的交互进行建模：

其中，u是用户的独热编码通过嵌入矩阵得到的稠密向量表示，v是物品的独热编码通过嵌入矩阵得到的稠密向量表示，这个任务使用交叉熵来优化用户与物品的之间的嵌入表示：

8.根据权利要求7所述的基于多任务学习的个性化评论文本推荐方法，其特征在于，在通过用户-评论任务得到用户对待排评论的估计以及物品-评论任务得到待排评论的质量分数时，使用一个超参数α来平衡这两边的预测的分数，而一个待排序评论的最终分数由如下公式给出：

对于模型的训练，利用配对损失函数进行训练，具体表示如下：

其中，

表示用户u更偏向于正向喜欢，

表示用户u更偏向于负向情感，λ控制归一化的力度，Θ代表所有需要训练的参数。

Images