CN110083702A - 一种基于多任务学习的方面级别文本情感转换方法 - Google Patents

Abstract

本发明提供一种基于多任务学习的方面级别文本情感转换方法。该方法包括：对于包含多个方面情感表述的文本，构建方面级别的文本转换学习任务并构建方面级别的情感分类学习任务；以所述方面级别的文本转换学习任务作为主任务，以所述方面级别的情感分类学习任务作为辅助任务，通过联合训练所述主任务和所述辅助任务实现方面级别的文本情感转换。本发明的方法能够有效地实现方面级别的文本情感转换并改善了内容保存效果。

Description

一种基于多任务学习的方面级别文本情感转换方法

技术领域

本发明涉及自然语言处理技术领域，尤其涉及一种基于多任务学习的方面级别文本情感转换方法。

背景技术

文本情感转换是指将整个文本的情感转换为相反的情感，例如，将积极的情感转换为消极的情感，同时保持情感无关部分不改变。文本情感转换具有十分广泛的应用场景，例如新闻重写、评论态度转变等。

在实际情况中，一段文本往往拥有多个方面表述，对每个方面表述的情感都不尽相同，因此进行方面级别文本情感转换显得尤为重要。然而，现有技术通常仅有例如文档级别的情感转换、还无法做到有效地进行方面级别文本情感转换，此外，现有的文本情感转换方法仅关注情感转换成功率，而在内容保存上效果还很不理想。

因此，需要对现有技术进行改进，以实现方面级别的情感转换，在提高文本转换率的同时改善内容保存的效果。

发明内容

本发明的目的在于克服上述现有技术的缺陷，提供一种基于多任务学习的方面级别文本情感转换方法。

根据本发明的一个方面，提供了一种基于多任务学习的方面级别文本情感转换方法包括以下步骤：

对于包含多个方面情感表述的文本，构建方面级别的文本转换学习任务并构建方面级别的情感分类学习任务；

以所述方面级别的文本转换学习任务作为主任务，以所述方面级别的情感分类学习任务作为辅助任务，通过联合训练所述主任务和所述辅助任务实现方面级别的文本情感转换。

在一个实施例中，对于文本的一个句子，所述联合训练包括：

将该句子和该句子的给定方面表述用词嵌入表示；

将该句子的词嵌入表示和所述给定方面表述的词嵌入表示输入到由长短期记忆网络和注意力层构成的模型进行学习，获得注意力权重分布，其中所述注意力权重分布反映不同词在所述方面级别的文本情感分类学习任务中的重要性；

在所述辅助任务中，将基于所述注意力权重分布得到的文档建模后的句子，利用分类器获得给定方面的情感分类标签；

在所述主任务中，基于所述注意力权重分布实现方面级别的文本情感转换。

在一个实施例中，所述主任务执行以下子步骤：

基于所述注意力权重分布检测给定方面的情感词并且对于所检测出的情感词执行掩码操作，获得转换后的句子；

以所述转换后的句子作为输入，利用序列到序列模型实现方面级别的文本情感转换。

在一个实施例中，对于一个词i，所述掩码操作包括：

计算该词被掩掉的概率p_i，表示为：

其中是所述注意力权重分布的平均值，μ是控制sigmoid输出结果的超参数；

通过线性变换计算修改后的句子的词嵌入表示e′(x_i)：

e′(x_i)＝(1-p_i)e(x_i)+p_ie(S)

其中，e(S)是句子X中基于给定方面表述的情感标签S的词嵌入表示。

在一个实施例中，所述序列到序列模型包括编码器、上下文注意力模块、情感注意力模块、情感记忆模块、门控模块和解码器，其中：

所述编码器用于对修改后的句子的词嵌入表示进行编码；

所述上下文注意力模块用于计算修改的句子的内容向量，获得上下表示；

所述情感注意力模块用于从所述情感记忆模块抽取上下文相关的情感信息，获得情感表示；

所述门控模块用于基于所述上下文表示和所述情感表示，预测下一词时动态选择内容信息和情感信息，并且所述门控模块的输出向量用于生成预测词并更新所述解码器在下一时间步的隐层状态向量。

在一个实施例中，所述编码器和解码器是长短时记忆网络。

在一个实施例中，在所述联合训练中，优化目标是最小化所述主任务和所述辅助任务的总交叉熵：

L＝λ₁L₁+λ₂L₂

其中，L₁是辅助任务的交叉熵，L₂是主任务的交叉熵，λ₁和λ₂是超参数。

在一个实施例中，所述注意力权重分布表示为：

其中，L表示长短期记忆网络的层数，{u₁,u₂,...,u_L}是可学习的参数。

与现有技术相比，本发明的优点在于：提出了基于多任务学习框架的方面级别的文本情感转换方法，以方面级别文本情感转换作为主任务，方面级别文本情感分类作为辅助任务，通过端到端的联合训练这两个任务，能够高效准确地实现方面级别文本情感转换，并同时改善了内容保存的效果。

附图说明

以下附图仅对本发明作示意性的说明和解释，并不用于限定本发明的范围，其中：

图1示出了根据本发明一个实施例的基于多任务学习的方面级别文本情感转换模型的框架图；

图2示出了根据本发明一个实施例的基于多任务学习的方面级别文本情感转换方法的流程图；

图3示出了根据本发明一个实施例的电子设备的示意图。

具体实施方式

为了使本发明的目的、技术方案、设计方法及优点更加清楚明了，以下结合附图通过具体实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用于解释本发明，并不用于限定本发明。

在本文示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。

本发明实施例提供方面级别的文本情感转换方法，针对有多个方面表述的句子，将其中给定的某个或某些方面表述的情感进行转换，而保持其他内容部分不变，其中，文本情感转换基于多任务学习模型框架实现，将方面级别文本情感转换作为主任务，方面级别文本情感分类作为辅助任务，通过端到端的联合训练这两个任务，最终实现方面级别的文本情感转换任务。

在本文中，方面级别情感是指以表达一个方面为粒度分析其包含的情感，例如评论产品的某一组成部分或者某一性质时体现的情感(如手机的屏幕、价格或性能等)。

图1示出了根据本发明一个实施例的基于多任务学习的方面级别文本情感转换模型的框架图，从整体上看，该模型包含两个过程，即方面级别文本情感分类和方面级别文本情感转换，其中，方面级别情感分类过程用于获得情感分类，例如，获得正/负(positive/negative)二分类、正面/负面/中立三分类，或乐观/悲伤/惊讶/愤怒等多元分类；方面级别文本情感转换用于基于获得给定方面的情感分类完成文本情感转换任务。图1示意的具体模块或单元将在下文结合文本情感转换方法进行具体介绍。

图2示出了根据本发明一个实施例的基于多任务学习的方面级别文本情感转换方法的流程图，包括以下步骤：

步骤S210，用词嵌入表示句子和方面级别情感表述。

本发明实施例的目的是，针对有多个方面表述的句子，在每个方面表述的情感都不尽相同的情况下，将某个给定方面表述的情感进行转换，同时保持其他内容部分不变。

例如，形式化定义方面级别文本情感转换任务，给定一个句子X＝{x₁,x₂,...,x_n}，一个方面表述A＝{a₁,a₂,...,a_k}以及基于这个方面表述的情感标签S，方面级别文本情感转换的目标是生成一个新句子Y＝{y₁,y₂,...,y_m}，其中对于给定方面表述A的情感部分进行转换，同时保持其他内容部分不变，n、k和m分别表示原句子X、方面表述A和生成的新句子Y的长度。

结合图1所示，在此步骤S210中，将原句子X和给定方面表述A用词嵌入表示。例如，利用通用的预训练词向量Glove模型分别对原句子X和给定方面表述A进行词嵌入表示，e(x_i)和e(a_i)分别表示原句子中的词x_i(i取值为1，2，…，n)和给定方面表述A中的词a_i(i取值1，2，…，k)的词嵌入表示。

步骤S220，通过LSTM和注意力层，获得注意力权重和文本建模表示。

将句子表示X和方面级别情感表述A的词嵌入表示通过长短期记忆网络(LSTM)和注意力层，得到注意力权重和文本建模表示。在此实施例中，使用多层注意力机制构建方面级别文本情感分类器。

具体地，首先用原句子X和给定方面表述A的词嵌入表示作为LSTM第0层的输入表示，分别为以及上标表示LSTM的层索引。

接下来，利用长短期记忆网络(LSTM)来计算原句子X以及给定方面表述A的第l层表示，分别为：

然后，利用第l层的平均方面表述与句子中的第i个词计算第l层的注意力权重表示为：

其中W_l是一个可学习的参数。

基于一系列可学习的参数{u₁,u₂,...,u_L}来控制LSTM不同层的权重，通过加权求和来获得总体权重分布表示为：

其中，L表示LSTM的层数。

经过上述处理，可获得注意力权重分布和基于注意力权重分布的文本建模表示，其中，总体权重分布反映不同词在方面级别文本情感分类任务中的重要性。

步骤S230，将文本建模后的句子进行分类，获得方面级别的情感分类。

在本发明实施例中，联合训练主任务(方面级别文本情感转换任务)及辅助任务(方面级别文本情感分类任务)，在方面级别文本情感分类任务中，将文本建模后的句子表示通过一个softmax分类器，以完成方面级别文本情感分类。

具体地，利用获得的注意力权重，对句子的词嵌入表示进行加权求和，得到句子表示

将句子表示输入到一个softmax分类器用于预测句子X中对给定方面表述A的情感标签，表示为：

其中，W_s和b_s是要学习的参数。

在一个实施例中，通过最小化交叉熵L₁来优化方面级别文本情感分类器：

其中N为训练集中的样本实例数量。

步骤S240，利用注意力权重检测情感词将其用情感掩码掩掉，获得修改后的句子。

在联合训练中，对于方面级别文本情感转换任务，利用学习到的注意力权重来检测给定方面表述的情感词，然后将检测出的情感词用相应的情感掩码替换，产生修改后的句子，最后使用一种带情感记忆模块以及门控机制的序列到序列(Seq2Seq)模型，以修改后的句子为输入解码得到情感转换后的句子，从而完成方面级别情感转换任务。

具体地，为了完成方面级别文本情感转换任务，首先需要检测出给定方面表述的情感词。例如，使用权重分布来检测给定方面表述的情感词，由于权重分布可以反映不同词在方面级别文本情感分类任务中的重要性，如果某个词的权重大于权重平均值，则可以认定该词为给定方面表述的情感词。

检测出给定方面表述的所有情感词之后，用特殊的情感掩码，例如<positive>和<negative>，来掩掉这些情感词，而保持句子其它部分不变，从而得到一个修改后的句子。由于这一操作是不可微分的，为了使模型可以端到端训练，在又一个实施例中，用一种近似的方式来进行掩词操作。

具体地，首先，计算某个词被掩掉的概率p_i：

其中是注意力权重分布的平均值，μ是一个控制sigmoid输出结果的超参数，使输出结果尽可能接近0或1。

然后，通过一个线性变换计算修改后的句子的词嵌入表示e′(x_i)：

e′(x_i)＝(1-p_i)e(x_i)+p_ie(S) (8)

其中e(S)是句子X中基于给定方面表述的情感标签S的词嵌入表示，p_i根据公式(7)计算获得。

步骤S250，对修改后的句子进行文本转换。

在图1的实施例中，方面级别文本情感转换过程是一个序列到序列(Seq2Seq)模型，包括编码器、解码器、上下文注意力模块、情感注意力模块、情感记忆模块、门控等模块。

在一个实施例中，编码器可以是一个长短期记忆网络(LSTM)，以修改后的句子的词嵌入表示为输入，用于编码修改后的句子，生成隐层状态向量。在时间步i，隐层状态向量h_i可以由先前时间步i-1的隐层状态向量h_i-1以及当前输入e′(x_i)得到，表示为：

h_i＝LSTM(h_i-1,e′(x_i)) (9)

因此，可以获得修改后的句子对应的隐层状态向量H＝[h₁,h₂,...,h_n]。

在一个实施例中，解码器也是长短期记忆网络(LSTM)，并通过情感记忆模块和门控机制的辅助以实现解码，其中情感记忆模块表示为M∈R^C×γ×d，用于存储情感信息，C是情感类别数目，γ是情感记忆模块大小，d是隐层状态向量的维度。

具体地，在解码的每一个时间步t，首先通过上下文注意力机制计算一个内容向量c_t：

其中W_c是一个可学习的参数，s_t是解码器在时间步t的隐层状态向量。

然后，通过情感注意力机制从情感记忆模块抽取上下文相关的情感信息z_t：

其中W_z是一个可学习的参数，a是给定方面表述的表示，M_S,i表示情感记忆模块中的情感相关信息，即在训练过程中学习到的情感相关信息。

例如，情感记忆模块包括两个情感矩阵，一个positive的，一个negative的，这些矩阵是在训练过程中学习获得，此处，下标S表示是哪个情感记忆矩阵，positive的还是negative的，i表示情感矩阵中的某一个具体组成。

在该实施例中，在解码时还设计了一种门控机制，用于在预测下一个词时动态选择内容信息和情感信息。

g_t＝sigmoid(W_g[c_t；z_t；s_t])

o_t＝W_o[s_t；(1-g_t)c_t+g_tz_t] (12)

其中W_g和W_o是可学习的参数，输出向量o_t用于在时间步t时生成预测词，以及更新解码器在下一时间步的隐层状态向量s_t+1：

s_t+1＝LSTM(s_t,[e(y_t)；o_t])

P(y_t|Y_＜t；X,A，S)＝softmax(W_po_t+b_p) (13)

其中，W_p和b_p是可学习的参数。

因为没有成对的数据可用于方面级别文本情感转换任务，通过重建回原来的句子来训练这个模型，在一个实施例中，通过最小化交叉熵来优化方面级别文本情感转换模型：

其中y_i,j表示训练集中第i个句子的第j个词。

为了促进共享文本建模模块的学习，同时训练这两个任务，基于多任务学习的文本情感转换模型的总交叉熵表示为：

L＝λ₁L₁+λ₂L₂ (15)

其中λ₁和λ₂是超参数，优选地，当λ₁＝0.1以及λ₂＝0.9时能获得最佳效果。

上述步骤S230、S240和S250是联合训练过程，通过训练可优化模型中的可学习参数。

在测试阶段，检测出的给定方面表述情感词被相反情感的掩码替换，从和原来情感相反的情感记忆模块中抽取情感信息，用于生成方面级别文本情感转换后的句子。

需要说明的是，在不违背本发明精神和范围的前提下，本领域的技术人员可对上述实施例进行适当的变型，例如，将softmax分类器替换为Logistic分类器，将LSTM替换为GRU(Gated Recurrent Unit)等。此外，根据本发明实施例获得联合训练后的模型之后(即优化了可学习参数)，训练后的模型可用于新文本的情感转换。

为了进一步验证本发明的有效性和先进性，利用提出的基于多任务学习的方面级别文本情感转换方法，对SemEval ABSA任务中的Restaurant和Laptop这两个广泛使用的现实评论数据集进行了大量实验。实验结果表明，本发明实施例能够得到方面级别文本情感转换的最好结果，在考虑情感转换成功率的同时兼顾内容保存效果，展现出巨大优越性，具有十分广阔的应用前景。

综上所述，本发明提出的基于多任务学习的方面级别文本情感转换方法，有效地解决了针对方面级别的文本情感转换任务，具有十分重要的现实意义。本发明提出的多任务学习框架，以方面级别文本情感转换作为主任务，以方面级别文本情感分类作为辅助任务，两个任务相互协调，相辅相成，通过端到端的联合训练这两个任务，高效准确地实现方面级别文本情感转换。此外，在方面级别文本情感转换任务利用情感记忆模块和门控机制来解码时动态选择内容信息以及情感信息，保证了较高的情感转换成功率以及较好的内容保存效果。

图3是根据本发明一个实施例的电子设备300，包括存储器310、处理器320及存储在存储器310上并可在处理器320上运行的计算机程序311，处理器320执行计算机程序311时实现本发明实施例的基于多任务的方面级别的文本情感转换方法，例如包括：对于包含多个方面情感表述的文本，构建方面级别的文本转换学习任务并构建方面级别的情感分类学习任务；以所述方面级别的文本转换学习任务作为主任务，以所述方面级别的情感分类学习任务作为辅助任务，通过联合训练所述主任务和所述辅助任务实现方面级别的文本情感转换。

由于本发明描述的电子设备是实施本发明实施例中一种基于多任务的方面级别的文本情感转换方法所采用的设备，故而基于本发明实施例中所介绍的方法，本领域所属技术人员能够了解本实施例的电子设备的具体实施方式以及其各种变化形式，所以在此对于该电子设备如何实现本发明实施例中的方法不再详细介绍，只要本领域所属技术人员实施本发明实施例中的方法所采用的设备，都属于本发明所欲保护的范围。

需要说明的是，虽然上文按照特定顺序描述了各个步骤，但是并不意味着必须按照上述特定顺序来执行各个步骤，实际上，这些步骤中的一些可以并发执行，甚至改变顺序，只要能够实现所需要的功能即可。

本发明可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。

计算机可读存储介质可以是保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以包括但不限于电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。

以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (10)

1.一种基于多任务学习的方面级别文本情感转换方法，包括以下步骤：

对于包含多个方面情感表述的文本，构建方面级别的文本转换学习任务并构建方面级别的情感分类学习任务；

以所述方面级别的文本转换学习任务作为主任务，以所述方面级别的情感分类学习任务作为辅助任务，通过联合训练所述主任务和所述辅助任务实现方面级别的文本情感转换。

2.根据权利要求1所述的方法，其特征在于，对于文本的一个句子，所述联合训练包括：

将该句子和该句子的给定方面表述用词嵌入表示；

将该句子的词嵌入表示和所述给定方面表述的词嵌入表示输入到由长短期记忆网络和注意力层构成的模型进行学习，获得注意力权重分布，其中所述注意力权重分布反映不同词在所述方面级别的文本情感分类学习任务中的重要性；

在所述辅助任务中，将基于所述注意力权重分布得到的文档建模后的句子，利用分类器获得给定方面的情感分类标签；

在所述主任务中，基于所述注意力权重分布实现方面级别的文本情感转换。

3.根据权利要求2所述的方法，其特征在于，所述主任务执行以下子步骤：

基于所述注意力权重分布检测给定方面的情感词并且对于所检测出的情感词执行掩码操作，获得转换后的句子；

以所述转换后的句子作为输入，利用序列到序列模型实现方面级别的文本情感转换。

4.根据权利要求3所述的方法，其特征在于，对于一个词i，所述掩码操作包括：

计算该词被掩掉的概率p_i，表示为：

其中是所述注意力权重分布的平均值，μ是控制sigmoid输出结果的超参数；

通过线性变换计算修改后的句子的词嵌入表示e′(x_i)：

e′(x_i)＝(1-p_i)e(x_i)+p_ie(S)

其中，e(S)是句子X中基于给定方面表述的情感标签S的词嵌入表示。

5.根据权利要求3所述的方法，其特征在于，所述序列到序列模型包括编码器、上下文注意力模块、情感注意力模块、情感记忆模块、门控模块和解码器，其中：

所述编码器用于对修改后的句子的词嵌入表示进行编码；

所述上下文注意力模块用于计算修改的句子的内容向量，获得上下表示；

所述情感注意力模块用于从所述情感记忆模块抽取上下文相关的情感信息，获得情感表示；

所述门控模块用于基于所述上下文表示和所述情感表示，预测下一词时动态选择内容信息和情感信息，并且所述门控模块的输出向量用于生成预测词并更新所述解码器在下一时间步的隐层状态向量。

6.根据权利要求5所述的方法，其特征在于，所述编码器和解码器是长短时记忆网络。

7.根据权利要求1所述的方法，其特征在于，在所述联合训练中，优化目标是最小化所述主任务和所述辅助任务的总交叉熵：

L＝λ₁L₁+λ₂L₂

其中，L₁是辅助任务的交叉熵，L₂是主任务的交叉熵，λ₁和λ₂是超参数。

8.根据权利要求2所述的方法，其中，所述注意力权重分布表示为：

其中，L表示长短期记忆网络的层数，{u₁,u₂,...,u_L}是可学习的参数。

9.一种计算机可读存储介质，其上存储有计算机程序，其中，该程序被处理器执行时实现根据权利要求1至8中任一项所述方法的步骤。

10.一种电子设备，包括存储器和处理器，在所述存储器上存储有能够在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至8中任一项所述的方法的步骤。