CN111325571B - 一种多任务学习的商品评论标签自动生成方法、装置及系统 - Google Patents

Abstract

一种多任务学习的商品评论标签自动生成方法、装置与系统，包括：步骤一：构建训练数据集合与数据预处理；步骤二：实现基于Transformer encoder的评论源文本特征编码器；步骤三：提取代表评论源文本整体内容的[cls]标签对于的隐状态向量用于情感分类任务；步骤四：基于Transformer decoder实现多任务的评论摘要生成器模型；步骤五：训练数据并根据联合loss函数进行训练调优，并实现模型封装与装置的接口实现；本发明避免采用抽取式的方式去生成评论标签，即不需要依赖句法结构的人工的规则集不能适合多个领域场景的缺点，又能保证标签生成的高效性，即只需要输入源文本，本发明装置能够自动产生标签。

Description

一种多任务学习的商品评论标签自动生成方法、装置及系统

技术领域

本发明涉及人工智能领域，尤其涉及一种多任务学习的商品评论标签自动生成方法、装置及系统。

背景技术

随着互联网迈入WEB2.0时代，人们不只是网络信息的消费者，更是网络信息的生产者。现如今人们在互联网上发表自己对商品、服务、时事的评价等观点信息变得越来越容易。在这种趋势下，对于网络评论的挖掘成为当前研究热点。在线评论是消费者做出购买决策的最主要因素，此外，在线评论作为反馈数据也能帮助企业提升产品以及了解用户需求。然而，评论数据量的飞速增长，加上评论数据本身具有不规范性、冗余性的特征，使得有用数据评论信息难以获取。因此，迫切需要一种能够高效准确地提取评论数据中有效信息的技术。

以往的商品标签生成的当时一般是基于商品方面及其情感的抽取式方式，即抽取出商品的某一个方面，比如华为手机在分辨率、价格、续航等方面，并识别出商品方面的情感。最后组织成商品标签如：分辨率高，价格便宜、续航持久。目前普遍使用的用户评论的观点提取和聚类的方法主要是基于规则的提取和K-means、LDA等传统方法。在基于规则的观点提取方法中，用户的评论中观点陈述句具有固定的句式结构，通过句法分析工具以及规则可以简单有效地抽取到用户评论中的观点。但是这种抽取观点的方法只对部分观点有效，因为依赖人工总结出来的规则不能涵盖所有用户评论中的表述方式。同时，这种方法仅对陈述句有效，中文会有很多种表达方式，因而这种方法无法直接适用。对于文本常用的聚类方法主要是以LDA为代表的主题模型和以K-means为代表的传统聚类方法。这些传统方法的好处在于模型简单，当样本较多时能够在较短的时间内收敛。但这些方法都是初值敏感的，即聚类的尺度无法控制，同一个类别下的共性可能不是语义上的相似性。同时，对于不同类别不同极性的商品评论观点用同一个标签并不适用。因此，无论是观点抽取，还是对观点进行聚合都有可以提升的空间，在观点抽取部分可提升召回率，在观点聚合部分可提升准确率，从而生成更加合理准确的商品评论标签。

综上，目前普遍的方式存在一定的缺点，首先命名实体识别并不适用于商品方面的词的识别，基于规则的方式并不适合于领域扩展比如在手机商品的评论对象抽取的pattern不试用于在家具商品上的对象抽取。一些基于神经网络模型建模的方法多采取基于商品的方面于情感的联合抽取方式，存在错误累积问题。

发明内容

由于抽取式文本摘要具备相对于生成式文本摘要更加优越的性能，特别是针对长文本摘要的应用场景，抽取式文本摘要研究仍然备受瞩目，也更能够直接应用于现实场景的开发实现，而目前已有的工作并没有从语义理解这个角度进行抽取式文本摘要的建模，造成抽取出的摘要存在偏离源文核心语义的现象。本发明正是针对深度语义理解表征的抽取式问文本摘要进行深入研究，提高抽取式文本摘要方法在语义理解上的壁垒，提升摘要性能。

为达到上述目的，本发明采用了下列技术方案：

一种多任务学习的商品评论标签自动生成方法，包括：

步骤一：构建训练数据集合与数据预处理；

步骤二：实现基于Transformer encoder的评论源文本特征编码器；

步骤三：提取代表评论源文本整体内容的[cls]标签对于的隐状态向量用于情感分类任务；

步骤四：基于Transformer decoder实现评论摘要生成器模型；

步骤五：训练数据并根据联合loss函数进行训练调优，并实现模型封装与装置的接口实现；

进一步，所述步骤一包括：

输入源文本；

进行训练语料预处理，所述预处理包括：

(1)在每一个源文本的句子前后分别加上代表内容开始和结束的前部与后部标签[cls]和 [eos]；

(2)对源文本进行分词处理，将每一个分词的后的标记用词向量序列表示，结合所述标签形成source源数据；

(3)在对源文本进行数据处理同时，对以评论标签为生成目标的标签数据也进行处理，得到target评论标签数据，source源数据与target评论标签数据形成最初的训练语料。

进一步，所述步骤二包括：

首先，对于要输入的源文本和评论标签的训练语料，建立一个生成模型进行评论标签数据生成的模型建模，具体步骤为：

(1)采用xavier函数随机初始化词编码向量，获取评论内容向量表示，得到源文本句子特征编码向量；

(2)评论源文本中的词通过Transformer encoder进行对应的隐状态向量表示学习；

(3)提取代表句子的所述隐状态向量特征表示代表句子的整体特征即[cls]标签对于的隐状态向量，用以多任务学习的情感分类任务；

(4)代表句子整体特征的[cls]隐状态向量表示喂入情感分类函数中进行情感标签的概率分布计算；

其次，实现基于Transformer的评论摘要生成器模型，具体步骤为：

(1)对评论标签文本，采用xavier函数随机初始化词编码向量，获取评论内容向量表示；

(2)将所述评论标签文本的特征编码的输出和评论源文本的编码隐状态向量输入到Transformer decoder摘要生成器中生成摘要，得到生成词的隐状态向量表示；

(3)作为计算预测的所述当前词，需要在得到生成词的所述隐状态向量表示后，从词典中计算分布，找出概率最高的词作为最后生成的词。

进一步，所述步骤三包括：

训练数据并根据交叉验证调优，并实现模型封装与装置的接口实现，具体实现步骤为：

(1)设置针对两个任务的loss函数，分别是针对摘要任务的cross entropy loss函数与针对情感分类的cross entropy loss函数；

(2)参数调优后，将训练好的模型实现接口封装，用于装置对于真实数

据的评论标签生成。

本发明还提供了一种新的技术方案，该技术方案为：

一种多任务学习的商品评论标签自动生成装置，包括：

信息输入模块，用于将商品评论的源文本进行导入；

抽取式文档摘要自动生成模块，应用所述多任务学习的商品评论标签自动生成方法，对输入源文本进行摘要生成；

信息输出模块，将自动生成的摘要通过接口程序输出。

本发明还提供了一种新的技术方案，该技术方案为：

一种多任务学习的商品评论标签自动生成系统，包括至少一台服务器，以及与服务器连接的上述的多任务学习的商品评论标签自动生成装置，所述服务器执行生成评论标签过程时，通过所述多任务学习的商品评论标签自动生成装置执行上述的多任务学习的商品评论标签自动生成方法。

本发明相对于现有技术的优点在于：

1)本发明首先考虑评论标签生成建模的序列到序列模型，采用对文本序列编码能力更具优势的Transformer模型，通过Transformer的 encoder(编码)结构对评论源文本的特征建模，这些特征表示向量输入到解码器进行标签生成。在解码器端同时采用Transformer的decoder(解码)结构对评论标签文本编码并生成相应的标签内容。

2)本发明考虑对商品的打分值，进行商品评论进行情感极性的分类，为了使得商品打分值能够正面影响对应分值的商品标签生成，本发明采取多任务学习方式，模型的底层是统一的文本编码结构，在上层利用编码的向量进行情感分类和商品评论标签两个任务建模，使得两个任务相互学习，相互影响。3)本发明避免采用抽取式的方式去生成评论标签，即不需要依赖句法结构的人工的规则集不能适合多个领域场景的缺点，又能保证标签生成的高效性，即只需要输入源文本，本发明装置能够自动产生标签。

附图说明

图1基于Transformer序列生成的多任务学习模型图。

具体实施方式

为了能够更加详尽地了解本发明实施例的特点与技术内容，下面结合附图对本发明实施例的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本发明实施例。

为清楚地说明本发明的设计思想，下面结合实施例对本发明进行说明。

本实施例中一种多任务学习的商品评论标签自动生成方法主要包括四个步骤：(1)构建训练数据集合与数据预处理；(2)实现基于Transformer encoder 的评论源文本特征编码器；(3)基于Transformer decoder实现多任务的评论摘要生成器模型。(4)训练数据并根据联合loss函数进行训练调优，并实现模型封装与装置的接口实现。

步骤一：构建训练数据与数据预处理

以手机评论为例，输入评论源文本如“摄像功能很棒，拍照很清晰！上手十分钟，感叹国货当自强，期待5G网络的到来！华为加油？！”。其对应的评论标签为“手机清晰度很高”。其数据预处理的步骤包括：

(1)输入源文本数据预处理，得到源文本内容后，在每一个源文本内容前后分别加上[cls]与[eos]标签，其中[cls]标签主要是用于句子建模过程中学习对句子的编码信息，可以代表整个源文本内容的语义，而[eos]主要用于学习源文本结束的语义。

(2)对源文本进行分词处理，将每一个分词的后的token用序列 {[x₁]，[x₂]，...，[x_n]}。其中x表示词向量。结合上诉步骤一的两个标签，整个源文本的句子表示的结构为{[cls₁]，[x₁]，[x₂]，...，[eos]}的Source数据。

(3)构建训练数据，本发明的目的是实现一个评论标签的生成技术，建模过程需要大量的真实样本，通过在电商平台采集大量的真实评论标签与对应的源文本后，构建训练数据集包括：源文本与评论标签，源文本为模型编码的内容，评论标签为解码器生成的内容。在对源文本进行数据处理构建后，需要对以评论标签为生成目标的数据，即源文本对应的商品标签target数据也进行处理同时灌入模型中进行训练。。评论标签数据的结构为{[senten]，[t]，[eos]}。获得最初的训练语料。其中，[senten]表示评论标签的起实标签，[t]表示评论标签的内容，为[t₁，t₂，...，t_l]，l表示训练数据中评论标签的长度。

步骤二：实现基于Transformer序列生成的多任务学习模型

首先，进行源文本和评论的语义编码后，需要建立一个生成模型进行评论标签数据生成的模型建模。本发明借鉴Transformer模型的序列到序列的特征编码能力，在序列到序列模型的编码器，本发明采用Transformer Encoder特征编码，这部分对原文的编码向量将作为原文上下文信息辅助序列模型的解码器端的Transformer解码器来实现评论生成。具体步骤包括：

(1)如模型图1所示，基于本发明采用xavier函数随机初始化词的向量表示进行编码，获取评论内容向量表示。得到源文本句子特征编码向量。

source_embedding＝Xavier(content)

(2)评论源文本中的词通过Transformer进行对应的隐状态向量表示学习。隐状态向量为T_l＝[T_x1，T_x2，...，T_xn]，n表示原文档中句子的长度。

T_l＝Transformer(source_embedding)

(3)提取代表句子的隐状态向量特征表示T_cls，T_cls可以代表句子的整体特征，而这部分特征用以多任务学习的情感分类任务。该步骤即提取句子[cls_i]标签对应的Embedding。

T_cls＝GetCls(source_embedding)

(4)基于句子的隐状态向量表示喂入情感分类函数中进行情感标签的概率分布计算，其中概率计算公式为：

P(y_x|T_cls)＝softmax(W_cT_cls+b_c)

其中，W_c与b_c表示情感分类的概率计算中需要模型学习的参数。

其次，实现基于Transformer的评论摘要生成器模型

评论摘要生成器基于Transformer Decoder构造，输入有两部分：评论源文本token的表示向量和当前生成的评论标签数据，输出为预测的语义单元内容。在生成模型中Source数据是前述中基于Transformer encoder生成评论内容特征编码，生成的评论标签是由评论文本进行Transformer decoder解码生成获得。步骤为：

(1)对评论标签文本使用Transformer进行编码。

target_embedding＝Xavier(opinion)

(2)将前述中特征编码的输出和评论的编码输入到Transformer摘要生成器中生成摘要。当前生成的词的表示v为：

v＝Decoder(target_embedding，T_l)

其中，T_l表示作为输入到decoder模型中原文的隐状态向量表示。

(3)作为计算预测的当前词，需要在得到生成词的隐状态向量表示后，从词典中计算分布，找出概率最高的词作为最后生成的词。其概率函数为：

P(y_x|x)＝softmax(W_gv+b_g)

其中，W_g与b_g表示生成内容的概率计算中需要模型学习的参数。得到概率后，选择概率分布中概率最高的词作为生成的对象。

综上，本发明设计了一种基于Transformer序列生成的多任务学习模型，包括Transformer encoder的源文本特征编码，用T_cls标签代表整个原文句子的语义学习情感分类，Transformer decoder的生成评论标签。

步骤三：训练数据并根据交叉验证调优，并实现模型封装与装置的接口实现。

(1)多任务学习的loss函数设置：因为本发明实现一种多任务学习的评论情感分类与评论标签生成，在这里，本发明设置针对两个任务的loss 函数。分别是针对摘要任务的cross entropy loss函数与针对情感分类的cross entropy loss函数。针对摘要任务的cross entropy loss函数为：

其中，y_t表示模型训练过程中需要生成的真实的文本。P(y_t|x)表示生成词的概率分布，由(3)中的概率函数求得。针对情感分类的cross entropy loss函数为：

L_c＝-LlogP(l|x)

其中，L为真实的情感标签，P(l|x)为情感标签的预测值。

本发明采用Adam优化器联合最小化两个损失函数去进行模型训练：

L＝L_s+λL_c

其中，λ表示超参数去平衡两个loss函数。在这里设置为0.5。

(2)参数调优后，将训练好的模型实现接口封装，用于装置对于真实数据的评论标签生成。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。

Claims (5)

1.一种多任务学习的商品评论标签自动生成方法，其特征在于：包括：

步骤一：构建训练数据集与数据预处理，包括通过输入源文本，进行训练语料预处理的过程；

步骤二：实现基于Transformer encoder的评论源文本特征编码器，包括：首先，对于要输入的源文本和评论标签的训练语料，建立一个分类模型进行评论标签数据分类的模型建模，其次，实现基于Transformer decoder的评论摘要生成器模型的过程；

步骤三：基于Transformer实现多任务的评论摘要生成器模型；

步骤四：训练数据并根据多任务的联合loss函数进行训练调优，并实现模型封装与装置的接口实现；

所述进行训练语料预处理过程包括：

(1)在每一个源文本的句子前后分别加上代表内容开始和结束的前部与后部标签[cls]和[eos]；

(2)对源文本进行分词处理，将每一个分词后的标记用词向量序列表示，结合所述标签，整个源文本的句子表示的结构为{[cls₁]，[x₁]，[x₂]，...，[eos]}，source源数据；

(3)在对源文本进行数据处理同时，对以评论标签为生成目标的标签数据也进行处理,得到target评论标签数据，评论标签数据的结构为{[senten]，[t]，[eos]}，[senten]表示评论标签的起实标签，[t]表示评论标签的内容，为[t₁，t₂，...，t_l]，l表示训练数据中评论标签的长度，source源数据与target评论标签数据形成最初的训练语料；

所述对于要输入的源文本和评论标签的训练语料，建立一个分类模型进行评论标签数据分类的模型建模过程，具体步骤为：

(1)采用xavier函数随机初始化词编码向量，获取评论内容向量表示，得到源文本句子特征编码向量

source_embedding＝Xavier(content)；

(2)评论源文本中的词通过Transformer encoder进行对应的隐状态向量表示学习，隐状态向量为T_l＝[T_x1，T_x2，...，T_xn],n表示原文档中句子的长度，T_l＝Transformer(source_embedding)；

(3)提取代表句子的所述隐状态向量特征，表示代表句子的整体特征，即[cls]标签对于的隐状态向量，用以多任务学习的情感分类任务，T_cls＝GetCls(source_embedding)；

(4)代表句子整体特征的[cls]隐状态向量表示喂入情感分类函数中进行情感标签的概率分布计算；

P(y_x|T_cls)＝softmax(W_cT_cls+b_c)

其中，W_c与b_c表示情感分类的概率计算中需要模型学习的参数；

所述实现基于Transformer decoder的评论摘要生成器模型过程，具体步骤为：

(1)对评论标签文本,采用xavier函数随机初始化词编码向量，获取评论内容向量表示

target_embedding＝Xavier(opinion)；

(2)将所述评论标签文本的特征编码的输出和评论源文本的编码隐状态向量输入到Transformer decoder摘要生成器中生成摘要，得到生成词的隐状态向量表示

v＝Decoder(target_embedding，T_l)；

(3)作为计算预测的所述当前词，需要在得到生成词的所述隐状态向量表示后，从词典中计算分布，找出概率最高的词作为最后生成的词

P(y_x|x)＝softmax(W_gv+b_g)；

其中，w_g与b_g表示词典选词的概率计算中需要模型学习的参数。

2.根据权利要求1所述的一种多任务学习的商品评论标签自动生成方法，其特征在于：所述基于Transformer实现多任务的评论摘要生成器模型步骤包括：训练数据并根据交叉验证调优，并实现模型封装与装置的接口实现，具体实现步骤为：

(1)设置针对两个任务的loss函数，分别是针对摘要任务的cross entropy loss函数

与针对情感分类的cross entropy loss函数

L_c＝-LolgP(l|x)；

(2)采用Adam优化器联合最小化两个损失函数去进行模型训练：

L＝L_s+λL_c

其中，λ表示超参数，用于平衡两个loss函数，参数调优后，将训练好的模型实现接口封装,用于装置对于真实数据的评论标签生成。

3.根据权利要求2所述的一种多任务学习的商品评论标签自动生成方法，其特征在于：λ设置为0.5。

4.一种多任务学习的商品评论标签自动生成装置，其特征在于：包括：

信息输入模块，用于将商品评论的源文本进行导入；

抽取式文档摘要自动生成模块，应用权利要求1-3中任一所述多任务学习的商品评论标签自动生成方法，对输入源文本进行摘要生成；

信息输出模块，将自动生成的摘要通过接口程序输出。

5.一种多任务学习的商品评论标签自动生成系统，其特征在于：

所述系统包括至少一台服务器，以及与服务器连接的如权利要求4所述的多任务学习的商品评论标签自动生成装置，所述服务器执行生成评论标签过程时，通过所述多任务学习的商品评论标签自动生成装置执行权利要求1-3中任一所述的多任务学习的商品评论标签自动生成方法。