CN111680151B - 一种基于层次化transformer的个性化商品评论摘要生成方法 - Google Patents

Abstract

本发明公开了一种基于层次化transformer的个性化商品评论摘要生成方法，商品评论摘要是文本摘要的一种特殊形式，其任务是对在线的商品评论生成一条简短的摘要。与传统的文本摘要所不同的是，商品评论摘要涉及了特定的商品信息，不同的评论关注了商品的不同方面，且不同的用户有不同的写作风格，因此在商品评论摘要任务中引入用户和商品的信息是十分必要的。本发明方法其核心在于引入商品表示、用户长期表示以及用户短期表示，利用层次化的transformer对其建模从而生成个性化的商品评论摘要。

Description

一种基于层次化transformer的个性化商品评论摘要生成 方法

技术领域

本发明涉及计算机科学技术领域，具体涉及是一种基于层次化transformer的个性化商品评论摘要生成方法。

背景技术

文本摘要一直是自然语言处理领域的一个热点问题。商品评论摘要是文本摘要的一种特殊形式，其任务是对在线的商品评论生成一条简短的摘要。传统的文本摘要方法通常只考虑文本本身，而对于商品评论来说，其包含了特定的商品信息，不同的评论可能关注了商品的不同方面，因此在摘要生成过程中引入商品的信息是十分重要的。除此之外，不同的用户有不同的写作风格，因而不同用户所书写的摘要也是因人而异的，在考虑用户信息时，不仅要考虑用户长期稳定的信息，还应该考虑用户近期的写作风格、状态等对于生成的摘要的影响。

发明内容

本发明首次创新提供了一种基于层次化transformer的个性化商品评论摘要生成方法，其核心在于引入商品表示、用户长期表示以及用户短期表示，利用层次化的transformer对其建模从而生成个性化的商品评论摘要。

本发明采用层次化的transformer对用户表示、商品表示及商品评论进行建模，考虑了不同层级的用户表示，能够有效地生成个性化的商品评论摘要。

本发明提出的基于transformer的个性化商品评论摘要生成方法，包括以下步骤：

步骤一：选取数据集，对数据进行预处理后切分数据为训练集、验证集和测试集；

步骤二：学习商品评论中每个单词的向量表示和位置表示，将这两者相加后作为商品评论中每个单词的表示，然后将这些表示拼接得到商品评论表示，同理可以得到商品摘要表示、商品历史摘要表示以及用户历史摘要表示，区别在于，用户历史摘要表示中还包含了时序表示；

步骤三：根据用户ID得到用户表示，同理，根据商品ID得到商品表示；

步骤四：利用transformer的编码器对商品摘要表示、商品历史摘要表示以及用户历史摘要表示进行建模，并针对用户历史摘要表示使用用户表示指导的注意力机制来获得用户的短期表示，同理，针对商品历史摘要表示使用商品表示指导的注意力机制获得商品的历史表示，然后利用另一个transformer编码器来建模用户表示、用户短期表示、商品表示、商品历史表示以及评论表示之间的相互作用，最后利用transformer解码器解码生成摘要；

步骤五：利用训练数据学习模型的参数并利用验证集进行参数调优；

步骤六：利用基于transformer的网络模型对测试数据生成相应的商品评论摘要。

本发明中，所述的用户历史摘要是书写当前评论的用户最近所写的评论对应的摘要，所述的商品历史摘要是当前评论所对应的商品的历史评论中与当前评论最相似的评论所对应的摘要。

本发明中，所述的数据集为Amazon评论数据集，是为本领域普遍采用的公开数据集。

所述步骤一中，所述的对数据进行预处理包括以下步骤：

a1.对其中用户和商品出现次数少于20次的数据进行过滤操作；

a2.对用户按照时间戳选取与当前评论所对应的时间间隔最短的k条历史评论所对应的摘要；对商品选取与当前评论的向量表示的余弦相似度分数最高的k条历史评论所对应的摘要；

所述的步骤一中，切分数据为训练集，验证集和测试集为：对预处理得到的数据按照8：1：1的比例划分为训练集、验证集和测试集。

所述的步骤二中，所述得到用户历史摘要表示包括以下步骤：

b1.生成词嵌入：利用嵌入矩阵得到每条摘要中的单词的词嵌入；

b2.生成位置嵌入：利用正弦和余弦函数来表示单词的位置信息，得到其位置嵌入；

b3.生成时序嵌入：将每条摘要的发布时间与当前评论发布时间的时间差离散化之后得到时序嵌入；

b4.对于每条摘要中的每个单词，将上述嵌入相加得到其表示，然后将单词表示拼接得到历史用户摘要表示U。

所述的步骤二中，所述得到商品评论表示R、商品摘要表示S和商品历史摘要表示P只包含词嵌入和位置嵌入。

所述的步骤三中，通过构造用户嵌入矩阵以及商品嵌入矩阵，根据用户ID和商品ID可分别得到用户表示u和商品表示p。

所述的步骤四中，利用transformer编码器对商品摘要表示、商品历史摘要表示以及用户历史摘要表示进行编码，以用户历史摘要表示U为例，其具体计算过程包括以下步骤：

c1.多头注意力机制：

MH(U)＝MLP([H₁(U)；···；H_M(U)]^T)

c2.相加&层归一化：

U′＝LN(U+MH(U))

c3.前馈神经网络：

FFN(U′)＝ReLu(U′W₁+b₁)W₂+b₂

c4.相加&层归一化：

U₁＝LN(U+FFN(U′))

其中，M是多头的个数，m∈{1,...,M}，MLP表示的是多层感知机，LN表示层归一化，

W₁,W₂,b₁,b₂都是模型可学习的参数。将transformer编码器堆叠L次之后可以得到用户历史摘要表示U_L，同理可以得到商品评论表示R_L、商品摘要表示S_L和商品历史摘要表示P_L。

所述的步骤四中，针对用户历史摘要表示使用用户表示指导的注意力机制来获得用户的短期表示以及针对商品历史摘要表示使用商品表示指导的注意力机制获得商品的历史表示，以用户指导的注意力机制为例，其计算过程如下：

其中，n是用户历史摘要的长度，

是矩阵参数，ω,b是向量参数。同理可以得到商品的历史表示p^H。

所述的步骤四中，利用另一个transformer编码器来建模用户表示、用户短期表示、商品表示、商品历史表示以及评论表示之间的相互作用，包括以下步骤：

d1.将上述5种表示进行拼接：

E＝[u；u^H；p；p^H；R_L]

其中，[；]表示向量拼接。

d2.按照c1-c4的步骤进行计算得到E₁，将transformer编码器堆叠L次之后得到E_L。

所述的步骤四中，利用transformer解码器解码生成摘要，以时间步t为例，包括以下步骤：

f1.掩蔽的多头注意力机制，其与c1的不同之处在于隐藏掉了未来的信息：

MH(S_t)＝MLP([H₁(S_t)；···；H_M(S_t)]^Τ)

f2.相加&层归一化：

S_t＝LN(S_t+MH(S_t))

f3.编码-解码注意力机制，其以编码器的输出作为K和V，以解码器输出作为Q：

MH(S_t)＝MLP([H₁(S_t)；···；H_M(S_t)]^Τ)

f4.相加&层归一化：

S′_t＝LN(S_t+MH(S_t))

f5.前馈神经网络：

FFN(S′_t)＝ReLu(S′_tW₁+b₁)W₂+b₂

f6.相加&层归一化：

S_t＝LN(S_t+FFN(S′_t))

f7.词汇概率分布：

P_voc＝soft max(W_tS_t+b_t)

其中，

W₁,W₂,W_t,b₁,b₂,b_t均为模型可学习的参数。

所述的步骤五中，训练过程的目标函数是：

其中z表示生成的摘要的长度，y₁,...,y_t-1表示在当前时间步之前生成的单词。

本发明提供了一种基于层次化transformer的个性化商品评论摘要生成方法，同时考虑了用户长期表示、用户短期表示以及商品表示对于摘要生成的影响，与现有技术相比，本发明具有有益效果包括：

(1)引入了用户ID以及用户近期所书写的评论的摘要，充分考虑了与用户相关的信息，有利于生成保持用户风格的摘要；

(2)引入了商品ID以及商品历史评论所对应的摘要，使得摘要生成的过程中充分关注了商品的不同方面，有助于生成更贴近商品的摘要。

附图说明

图1是本发明个性化商品评论摘要生成的流程示意图。

图2是本发明一实施例中整个网络模型的框架图。

具体实施方式

结合以下具体实施例和附图，对本发明作进一步的详细说明。实施本发明的过程、条件、实验方法等，除以下专门提及的内容之外，均为本领域的普遍知识和公知常识，本发明没有特别限制内容。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。

商品评论摘要是文本摘要的一种特殊形式，其任务是对在线的商品评论生成一条简短的摘要。与传统的文本摘要所不同的是，商品评论摘要涉及了特定的商品信息，不同的评论关注了商品的不同方面，且不同的用户有不同的写作风格，因此在商品评论摘要任务中引入用户和商品的信息是十分必要的。因此本发明提出了一种基于层次化transformer的个性化商品评论摘要生成方法，以便于生成更适合用户的商品评论摘要。方法流程图如图1所示，该方法包括以下步骤：

步骤一：选取数据集，对数据进行预处理后切分数据为训练集、验证集和测试集；

步骤二：学习商品评论中每个单词的向量表示和位置表示，将这两者相加后作为商品评论中每个单词的表示，然后将这些表示拼接得到商品评论表示，同理可以得到商品摘要表示、商品历史摘要表示以及用户历史摘要表示，区别在于，历史用户摘要表示中还包含了时序表示；

步骤三：根据用户ID得到用户表示，同理，根据商品ID得到商品表示；

步骤四：利用transformer的编码器对商品摘要表示、商品历史摘要表示以及用户历史摘要表示进行建模，并针对用户历史摘要表示使用用户表示指导的注意力机制来获得用户的短期表示，同理，针对商品历史摘要表示使用商品表示指导的注意力机制获得商品的历史表示，然后利用另一个transformer编码器来建模用户表示、用户短期表示、商品表示、商品历史表示以及评论表示之间的相互作用，最后利用transformer解码器解码生成摘要；

步骤五：利用训练数据学习模型的参数并利用验证集进行参数调优；

步骤六：利用基于transformer的网络模型对测试数据生成相应的商品评论摘要。

更细致的，首先，选取数据集，以Amazon评论数据集为例，利用Python按如下步骤进行处理：

a1.对其中不频繁的数据进行过滤操作，删除发布的评论数目少于20次的用户的数据，删除评论数目少于20次的商品的数据；

a2.对每条评论的用户按照时间戳选取与当前评论的时间间隔最小的10条历史评论所对应的摘要，作为用户相关信息进行存储，对每条评论的商品选取与当前评论的向量表示的余弦相似度最高的10条历史评论对应的摘要，作为商品相关信息进行存储；

a3.对预处理得到的数据按照8：1：1的比例划分为训练集、验证集和测试集。

通过调用Pytorch和Python中的一些包，完成模型的输入的处理，以用户历史摘要表示为例，包括以下步骤：

b1.生成词嵌入：利用嵌入矩阵得到每条摘要中的单词的词嵌入；

b2.生成位置嵌入：利用正弦和余弦函数来表示单词的位置信息，得到其位置嵌入；

b3.生成时序嵌入：将每条摘要的发布时间与当前评论发布时间的时间差离散化之后得到时序嵌入；

b4.对于每条摘要中的每个单词，将上述嵌入相加得到其表示，然后将单词表示拼接得到用户历史摘要表示U。

同理，可以得到商品评论表示R、商品摘要表示S和商品历史摘要表示P，需注意的是，这三种表示不包含时序嵌入。

然后，通过构造用户嵌入矩阵以及商品嵌入矩阵，根据用户ID和商品ID可分别得到用户表示u和商品表示p。

接下来，利用Pytorch，完成对层次化transformer的构建，包括以下步骤：

c1.构造短期用户编码器：

c11.输入用户历史摘要表示，记为U，

c12.经过短期用户编码器进行编码，得到U_L；

c2.用户表示指导的注意力机制：

c21.通过用户表示u与U_L计算

得到注意力权重α，

c22.通过注意力权重计算

得到用户短期表示u^H；

c3.构造商品编码器：

c31.输入商品历史摘要表示，记为P，

c32.经过商品编码器进行编码，得到P_L；

c4.商品表示指导的注意力机制：

c41.通过商品表示p与P_L计算

得到注意力权重β，

c42.通过注意力权重计算

得到商品表示p^H；

c5.构造商品评论编码器：

c51.输入商品评论表示，记为R，

c52.经过商品评论编码器进行编码，得到R_L；

c6.构造融合表示编码器：

c61.将之前得到的表示进行拼接E＝[u；u^H；p；p^H；R_L]，记为E，

c62.经过融合表示编码器进行编码，得到融合表示E_L；

c7.构造transformer解码器，输入用户摘要表示S以及融合表示E_L，生成时间步t的解码表示S_t。

利用Pytorch构建生成器部分，即采用一个线性层和一个softmax层得到词汇表的生成概率P_voc＝softmax(W_tS_t+b_t)

通过调用Pytorch中的反向传播等优化函数，根据目标函数

训练网络模型的参数，直到损失收敛。

利用预训练好的参数，通过集束搜索等方式，对测试集生成商品评论摘要。

在实践中，在模型层之间，还可以选择性的包括以下步骤：在模型训练期间，采用dropout网络和参数的二范数正则对参数进行限制，防止产生过拟合的情况。

本发明一实施例中整个网络模型的框架图，如图2所示：

d1.商品评论编码器：对商品评论进行编码；

d2.短期用户编码器：对用户历史摘要表示进行编码；

d3.商品编码器：对商品历史摘要表示进行编码；

d4.用户表示指导的注意力机制：利用用户表示计算短期用户编码器得到的表示的权重，根据该权重对短期用户编码器得到的表示进行加权求和，得到用户的短期表示；

d5.商品表示指导的注意力机制：利用商品计算商品编码器得到的表示的权重，根据该权重对商品编码器得到的表示进行加权求和，得到商品的历史表示；

d6.融合编码器：对前面得到的5种表示进行编码融合，得到融合表示；

d7.解码器：根据商品摘要表示和融合表示得到时间步t的输出表示；

d8.生成器：根据输出表示生成摘要。

本发明上述实施例中的参数是根据实验结果确定的，即测试不同的参数组合，选取在验证集上评价指标较优的一组参数，在测试集上评价得到结果。在实际的测试中，可根据需求对上述参数进行适当调整也可实现本发明的目的。

本发明的保护内容不局限于以上实施例。在不背离本发明构思的精神和范围下，本领域技术人员能够想到的变化和优点都被包括在本发明中，并且以所附的权利要求书为保护范围。

Claims (11)

1.一种基于层次化transformer的个性化商品评论摘要生成方法，其特征在于，所述方法包括如下步骤：

步骤一：选取数据集，对数据进行预处理后切分数据为训练集、验证集和测试集；

步骤二：学习商品评论中每个单词的向量表示和位置表示，将这两者相加后作为商品评论中每个单词的表示，然后将这些表示拼接得到商品评论表示；基于相同方法得到商品摘要表示、商品历史摘要表示以及用户历史摘要表示；所述用户历史摘要表示中还包含时序表示；

步骤三：根据用户ID得到用户表示；根据商品ID得到商品表示；

步骤四：利用transformer的编码器对商品摘要表示、商品历史摘要表示以及用户历史摘要表示分别进行建模，并针对用户历史摘要表示使用用户表示指导的注意力机制来获得用户的短期表示；针对商品历史摘要表示使用商品表示指导的注意力机制获得商品的历史表示，将用户表示u、用户短期表示u^H、商品表示p、商品历史表示p^H以及评论表示R_L进行拼接，利用另一个transformer编码器来建模这五种表示之间的相互作用，最后利用transformer解码器解码生成摘要；

所述步骤四中，利用transformer编码器对商品摘要表示、商品历史摘要表示以及用户历史摘要分别表示进行编码；用户历史摘要表示U的具体计算过程包括以下步骤：

c1.多头注意力机制：

MH(U)＝MLP([H₁(U)；…；H_M(U)]^T)

c2.相加&层归一化：

U′＝LN(U+MH(U))

c3.前馈神经网络：

FFN(U′)＝ReLU(U′W₁+b₁)W₂+b₂

c4.相加&层归一化：

U₁＝LN(U+FFN(U′))

其中，M是多头的个数，m∈{1,...,M}，MLP表示的是多层感知机，LN表示层归一化，

都是模型可学习的参数；将transformer编码器堆叠L次之后可以得到用户历史摘要表示U_L，同理可以得到商品评论表示R_L、商品摘要表示S_L和商品历史摘要表示P_L；

所述步骤四中，将用户表示u、用户短期表示u^H、商品表示p、商品历史表示p^H以及评论表示R_L进行拼接，利用另一个transformer编码器来建模这五种表示之间的相互作用，包括以下步骤：

d1.将上述5种表示进行拼接：

E＝[u；u^H；p；p^H；R_L]

其中，[；]表示向量拼接；

d2.对拼接后的表示E按照c1-c4的步骤进行计算得到E₁，将transformer编码器堆叠L次之后得到E_L；

步骤五：利用训练集学习模型的参数并利用验证集进行参数调优；

步骤六：利用基于层次化transformer的网络模型对测试集生成相应的商品评论摘要。

2.根据权利要求1所述的基于层次化transformer的个性化商品评论摘要生成方法，其特征在于，所述用户历史摘要是书写当前评论的用户近期所写的评论对应的摘要，即按照时间顺序由近及远选取的与当前时间间隔最短的k条评论所对应的摘要；所述商品历史摘要是当前评论所对应的商品的历史评论中与当前评论最相似的评论所对应的摘要，即依据当前评论所对应的商品的历史评论的向量表示选取与当前评论的向量表示的余弦相似度分数最高的k条评论所对应的摘要。

3.根据权利要求1所述的基于层次化transformer的个性化商品评论摘要生成方法，其特征在于，所述步骤一中，所述数据集采用的公开数据集；所述公开数据集为Amazon评论数据集。

4.根据权利要求1所述的基于层次化transformer的个性化商品评论摘要生成方法，其特征在于，所述步骤一中，所述对数据进行预处理包括以下步骤：

a1.对其中用户和商品出现次数少于20次的数据进行过滤操作；

a2.对用户按照时间戳选取与当前评论所对应的时间间隔最短的k条历史评论所对应的摘要；对商品选取与当前评论的向量表示的余弦相似度分数最高的k条历史评论所对应的摘要。

5.根据权利要求1所述的基于层次化transformer的个性化商品评论摘要生成方法，其特征在于，所述步骤一中，切分数据为训练集，验证集和测试集为：对预处理得到的数据按照8：1：1的比例划分为训练集、验证集和测试集。

6.根据权利要求1所述的基于层次化transformer的个性化商品评论摘要生成方法，其特征在于，所述步骤二中，所述得到用户历史摘要表示包括以下步骤：

b1.生成词嵌入：利用嵌入矩阵得到每条摘要中的单词的词嵌入；

b2.生成位置嵌入：利用正弦和余弦函数来表示单词的位置信息，得到其位置嵌入；

b3.生成时序嵌入：将每条摘要的发布时间与当前评论发布时间的时间差离散化之后得到时序嵌入；

b4.对于每条摘要中的每个单词，将上述b1-b3生成的嵌入相加得到其表示，然后将单词表示拼接得到用户历史摘要表示U。

7.根据权利要求1所述的基于层次化transformer的个性化商品评论摘要生成方法，其特征在于，所述步骤二中，所述得到商品评论表示R、商品摘要表示S和商品历史摘要表示P只包含词嵌入和位置嵌入。

8.根据权利要求1所述的基于层次化transformer的个性化商品评论摘要生成方法，其特征在于，所述步骤三中，通过构造用户嵌入矩阵以及商品嵌入矩阵，根据用户ID和商品ID可分别得到用户表示u和商品表示p。

9.根据权利要求1所述的基于层次化transformer的个性化商品评论摘要生成方法，其特征在于，所述步骤四中，针对用户历史摘要表示使用用户表示指导的注意力机制来获得用户的短期表示以及针对商品历史摘要表示使用商品表示指导的注意力机制获得商品的历史表示；用户指导的注意力机制的计算过程如下：

其中，n是用户历史摘要的长度，

是矩阵参数，ω,b是向量参数；同理可以得到商品的历史表示p^H。

10.根据权利要求1所述的基于层次化transformer的个性化商品评论摘要生成方法，其特征在于，所述步骤四中，利用transformer解码器解码生成摘要，利用参数t表示时间步来进行计算，包括以下步骤：

f1.掩蔽的多头注意力机制，其与c1的不同之处在于隐藏掉了未来的信息：

MH(S_t)＝MLP([H₁(S_t)；…；H_M(S_t)]^T)

f2.相加&层归一化：

S_t＝LN(S_t+MH(S_t))

f3.编码-解码注意力机制，其以编码器的输出作为K和V，以解码器输出作为Q：

MH(S_t)＝MLP([H₁(S_t)；…；H_M(S_t)]^T)

f4.相加&层归一化：

S′_t＝LN(S_t+MH(S_t))

f5.前馈神经网络：

FFN(S′_t)＝ReLU(S′_tW₁+b₁)W₂+b₂

f6.相加&层归一化：

S_t＝LN(S_t+FFN(S′_t))

f7.词汇概率分布：

P_voc＝softmax(W_tS_t+b_t)

其中，

W₁,W₂,W_t,b₁,b₂,b_t均为模型可学习的参数。

11.根据权利要求1所述的基于层次化transformer的个性化商品评论摘要生成方法，其特征在于，所述步骤五中，训练过程的目标函数是：

其中，z表示生成的摘要的长度，y₁,...,y_t-1表示在当前时间步之前生成的单词。

Images