CN113221551A - 一种基于序列生成的细粒度情感分析方法 - Google Patents

Abstract

本发明提供一种基于序列生成的细粒度情感分析方法，包括：步骤1，将主观性商品评价或服务评价作为输入序列输入编码器进行编码，得到隐变量H^e；步骤2，采用索引词汇转换器模块将过去时刻的已输出索引序列Y_＜t转换为已输出文本序列

步骤3，将隐变量H^e以及已输出文本序列

输入解码器进行解码，得到当前时刻t的输出分布P_t；步骤4，将输出分布P_t输入索引生成器，生成当前时刻输出索引，并采用束搜索方法自回归生成输出序列。本发明将整体细粒度情感分析任务统一定义为索引序列生成任务。基于统一的任务类型，利用序列到序列的生成式框架，使得各种差异导致的问题在统一的框架内得到解决，为完成整体细粒度情感分析提供了全新的系统性解决方法。

Description

一种基于序列生成的细粒度情感分析方法

技术领域

本发明属于自然语言处理领域，具体涉及一种基于序列生成的细粒度情感分析方法。

背景技术

细粒度情感分析是自然语言处理的一项基本任务，主要借助情感词对具体的方面词进行更细粒度的情感分类。过去的研究者先后提出了七个细粒度情感分析子任务。完成整体细粒度情感分析任务要求能够解决全部子任务。然而，这些子任务在输入端、输出端与任务类型上有着根本差异。其中，输入端存在单纯句子输入与给定方面词输入的差异，输出端存在单一输出与复合输出的差异，任务类型上存在抽取与分类任务类型的差异。差异的复杂组合导致过去的研究更聚焦于解决一个或几个细粒度情感分析子任务，难以覆盖并解决整体细粒度情感分析任务。

近年来，一些研究者试图解决整体细粒度情感分析任务，该整体细粒度情感分析任务包含七个子任务，分别是：方面词抽取(AE)，情感词抽取(OE)，方面词抽取联合情感分类(AESC)，给定方面词的情感分类(ALSC),给定方面词的情感词抽取(AOE),方面词抽取联合情感词抽取(Pair Extration)，方面词抽取联合情感词抽取联合情感分类(TripletExtration)。上述子任务覆盖两种任务类型，分别是抽取任务，以及分类任务。现有的大部分研究者采用模型组合的方法，通过pipeline流水线将针对几个子任务的子模型组合形成整体模型，以解决整体细粒度情感分析任务。然而，这导致了模型无法做到端到端实现。也有一部分研究在信息抽取的框架内，尝试拓展序列标注标签同时达到保持端到端。然而，信息抽取的框架无法适合所有的子任务，这导致在实现个别的子任务时模型需要进行复杂的结构调整。

过往的方法表明，解决多个子任务在输入端，输出端以及任务类型上的差异是解决整体细粒度情感分析任务的关键。因此，需要一种能够解决上述问题的方法。

发明内容

本发明是为了解决上述问题而进行的，目的在于提供一种基于序列生成的细粒度情感分析方法。

本发明提供了一种基于序列生成的细粒度情感分析方法，用于进行整体细粒度情感分析，具有这样的特征，包括如下步骤：步骤1，将主观性商品评价或服务评价作为输入序列输入编码器进行编码，得到隐变量H^e；步骤2，采用索引词汇转换器模块将过去时刻的已输出索引序列Y_＜t转换为已输出文本序列

步骤3，将隐变量H^e以及已输出文本序列

输入解码器进行解码，得到当前时刻t的输出分布P_t；步骤4，将输出分布P_t输入索引生成器，生成当前时刻输出索引，并采用beam search方法自回归生成输出序列。

在本发明提供的基于序列生成的细粒度情感分析方法中，还可以具有这样的特征：其中，步骤1中，隐变量H^e的计算公式为：

H^e＝BARTEncoder([x₁，...，x_n])

式中，BARTEncoder为生成式预训练模型BART的编码器，x₁，...，x_n表示长度为n的输入序列，H^e表示编码后隐变量。

在本发明提供的基于序列生成的细粒度情感分析方法中，还可以具有这样的特征：其中，步骤2中，索引词汇转换器模块的计算公式如下：

式中，y_t为t时刻的输出索引，X为长度为n的输入文本序列，C＝[c₁，...，c_l]是分类标签列表。

在本发明提供的基于序列生成的细粒度情感分析方法中，还可以具有这样的特征：其中，步骤2中，索引词汇转换器模块对已输出索引序列Y_＜t中的每个元素作如下操作：

当元素为内容索引时，则转换为输入序列中对应索引的文本，当元素是分类标签索引时，则转化为分类标签列表中对应索引的分类标签。

在本发明提供的基于序列生成的细粒度情感分析方法中，还可以具有这样的特征：其中，步骤3具体包括如下子步骤：

步骤3-1，解码器接收编码器隐变量H^e与过去时刻的已输出文本序列

后，通过运算得到t时刻的中间变量

步骤3-2，采用多层感知机MLP对编码器隐变量H^e进行处理，生成得到非线性编码器隐变量

步骤3-3，采用词汇表示模块输入对文本序列X进行处理，生成得到嵌入式输入序列E^e；

步骤3-4，将非线性编码器隐变量

与嵌入式输入序列E^e通过加权α与1-α，得到词汇的新表示

步骤3-5，采用词汇表示模块对分类标签列表C进行处理，得到分类标签C^d；

步骤3-6，将词汇的新表示

与分类标签C^d拼接后，再与t时刻的中间变量

进行点乘后运算Softmax函数，得到当前时刻t的输出分布P_t。

在本发明提供的基于序列生成的细粒度情感分析方法中，还可以具有这样的特征：其中，步骤3-1中，t时刻的中间变量

的计算公式为：

步骤3-2中，非线性编码器隐变量

的计算公式为：

步骤3-3中，嵌入式输入序列E^e的计算公式为：

E^e＝W^eX

步骤3-4中，词汇的新表示

的计算公式为：

步骤3-5中，分类标签C^d的计算公式为：

C^d＝W^eC

步骤3-6中，当前时刻t输出分布P_t的计算公式为：

上述公式中，BARTDecoder为生成式预训练模型BART的解码器，W^h为一权重矩阵，f为非线性函数，W^e为词向量矩阵。

在本发明提供的基于序列生成的细粒度情感分析方法中，还可以具有这样的特征：其中，步骤4中，经过步骤3得到当前时刻t的输出分布P_t，索引生成器会取出分布P_t中最大值所对应的索引，作为索引生成器的输出结果。

发明的作用与效果

本发明的基于序列生成的细粒度情感分析方法将抽取与分类两种任务类型统一转换为生成任务，具体地，本发明将抽取任务转换为内容索引序列生成，将分类任务转换为分类标签索引序列生成，此外，基于任务转换，使得整体细粒度情感分析任务的全部子任务都可以统一定义为索引序列生成任务。

进一步地，本发明的基于序列生成的细粒度情感分析方法相对比以往的细粒度情感分析方法，能够根据不同的子任务的不同输出目标，以一个统一的框架一次性融合解决所有的细粒度情感分析子任务。

综上，本发明的基于序列生成的细粒度情感分析方法将整体细粒度情感分析任务统一定义为索引序列生成任务，同时，基于统一的任务类型，利用序列到序列的生成式框架，使得各种差异导致的问题在统一的框架内得到解决，为完成整体细粒度情感分析提供了全新的系统性解决方法。

附图说明

图1是本发明的实施例中全部细粒度情感分析子任务在统一索引序列生成任务定义下的输出序列图；

图2是本发明的实施例中解决整体细粒度情感分析任务的生成式框架；

图3是本发明的实施例中方面词抽取联合情感词抽取联合情感分类子任务的解码示例。

具体实施方式

为了使本发明实现的技术手段与功效易于明白了解，以下结合实施例及附图对本发明作具体阐述。

本发明提供了一种基于序列生成的细粒度情感分析方法，接收用户给出的主观性商品评价或服务评价输入序列，按照不同的任务要求确定输出序列，输出序列将确定评价中主观性评价的描述对象、主观性评价的情感属性以及相关的情感描述词。此外，基于统一的索引序列生成任务定义，整体细粒度情感分析的目标表示如下：

其中，X为输入文本序列，Y为输入文本序列，Y_＜t表示t时刻的已生成输出序列，y_t为t时刻的输出值，P(y_t|X，Y_＜t)表示接收上述值后在t时刻的输出分布，

表示t从1到m时刻全体输出分。

图1是本发明的实施例中全部细粒度情感分析子任务在统一索引序列生成任务定义下的输出序列图。

进一步地，如图1所示，对待具体的子任务，需要将目标输出定义为对应的输出序列。根据不同的子任务要求，将返回由内容索引以及(或)分类标签(索引)的输出序列。

该基于序列生成的细粒度情感分析方法具体包括如下步骤：

步骤1，将主观性商品评价或服务评价作为输入序列输入编码器进行编码，得到隐变量H^e。

本实施例中，隐变量H^e的计算公式为：

H^e＝BARTEncoder([x₁，...，x_n])

式中，BARTEncoder为生成式预训练模型BART的编码器，x₁，...，x_n表示长度为n的输入序列，H^e表示编码后隐变量。

步骤2，采用索引词汇转换器模块即Index2Token模块将过去时刻的已输出索引序列Y_＜t转换为已输出文本序列

本发明中，Index2Token模块的计算公式如下：

式中，y_t为t时刻的输出索引，X为长度为n的输入文本序列，C＝[c₁，...，c_l]是分类标签列表，C＝[c₁，...，c_l]是分类标签列表。

此外，Index2Token模块对已输出索引序列Y_＜t中的每个元素作如下操作：

当元素为内容索引时，则转换为输入序列中对应索引的文本，当元素是分类标签索引时，则转化为分类标签列表中对应索引的分类标签。

图2是本发明的实施例中解决整体细粒度情感分析任务的生成式框架。

如图2示，步骤3，将隐变量H^e以及已输出文本序列

输入解码器进行解码，得到当前时刻t的输出分布P_t，其中，词汇表示模块使用词向量矩阵获取文本序列表示和标签序列的表示，具体子步骤如下：

步骤3-1，解码器接收编码器隐变量H^e与过去时刻的已输出文本序列

后，通过运算得到t时刻的中间变量

步骤3-2，采用多层感知机MLP对编码器隐变量H^e进行处理，生成得到非线性编码器隐变量

步骤3-3，采用词汇表示模块输入对文本序列X进行处理，生成得到嵌入式输入序列E^e；

步骤3-4，将非线性编码器隐变量

与嵌入式输入序列E^e通过加权α与1-α，得到词汇的新表示

步骤3-5，采用词汇表示模块对分类标签列表C进行处理，得到分类标签C^d；

步骤3-6，将词汇的新表示

与分类标签C^d拼接后，再与t时刻的中间变量

进行点乘后运算Softmax函数，得到当前时刻t的输出分布P_t。

本发明中，步骤3-1中，t时刻的中间变量

的计算公式为：

步骤3-2中，

的计算公式为：

步骤3-3中，嵌入式输入序列E^e的计算公式为：

E^e＝BARTTokenEmbed(X)＝W^eX

步骤3-4中，

的计算公式为：

步骤3-5中，…C^d的计算公式为：

C^d＝BARTTokenEmbed(C)＝W^eC

步骤3-6中，当前时刻t输出分布P_t的计算公式为：

上述公式中，BARTDecoder为生成式预训练模型BART的解码器，BARTTokenEmbed为词汇表示模块，MLP为多层感知机，W^h为一权重矩阵，f为非线性函数，W^e为词向量矩阵。

其中，解码器接收编码后隐变量与过去时刻的已输出索引序列后运算得到t时刻的中间变量

同时编码后隐变量经过多层感知机生成

输入文本序列经过词汇表示模块生成E^e，将

与E^e通过加权α与1-α得到

分类标签列表也经过词汇表示模块生成C^d。最后将

与C^d拼接后与

进行点乘后运算Softmax函数，最终得到当前时刻t的输出分布P_t。

步骤4，将输出分布P_t输入索引生成器，生成当前时刻输出索引，并采用束搜索方法即beam search方法自回归生成输出序列。

本发明中，在训练阶段，每一时刻的分布P_t会送入索引生成器，生成当前时刻的输出索引。在推断阶段，我们采用beam search的方法自回归生成输出序列，其中，解码输出序列会通过解码算法得到输出集合。

本发明中，步骤4中，经过步骤3得到当前时刻t的输出分布P_t，索引生成器会取出分布P_t中最大值所对应的索引，作为索引生成器的输出结果。

实施例：

当用户评论“这台笔记本屏幕很高清，但是性能不好”时。对于方面词抽取联合情感词抽取联合情感分类子任务，本实施将得到“5，6，8，9，POS，13，14，15，16，NEG”，表示“屏，幕，高，清，积极情感，性，能，不，好，消极情感”。也即本实施例能够端到端得到包含用户主观性内容文本的全部描述对象，对应的主观性评价的情感属性，以及相关的情感描述词。

图3是本发明的实施例中方面词抽取联合情感词抽取联合情感分类子任务的解码示例。

方面词抽取联合情感词抽取联合情感分类子任务的解码示例如图3所示，从该图中可以得知：经过本方法得到的输出序列，可以通过图3的解码算法转换为人类可以理解的自然语言。

然而，之前的细粒度情感分析的方法多数使用管道式建模法，管道式建模法首先通过子模型A得到“屏幕”，“性能”，然后使用模型B接收“屏幕”，“性能”，得到“高清”，“不好”，最后通过模型C接收“屏幕”，“性能”，“高清”，“不，好”得到“积极情感”与“消极情感”。不仅整个过程的数据流动是断开的，而且多个模型还需要更多的数据资源与计算资源，同时整体性能落后于本方法。

实施例的作用与效果

本实施例的基于序列生成的细粒度情感分析方法将抽取与分类两种任务类型统一转换为生成任务，具体地，本发明将抽取任务转换为内容索引序列生成，将分类任务转换为分类标签索引序列生成，此外，基于任务转换，使得整体细粒度情感分析任务的全部子任务都可以统一定义为索引序列生成任务。

进一步地，本实施例的基于序列生成的细粒度情感分析方法相对比以往的细粒度情感分析方法，能够根据不同的子任务的不同输出目标，以一个统一的框架一次性融合解决所有的细粒度情感分析子任务。

综上，本实施例的基于序列生成的细粒度情感分析方法将整体细粒度情感分析任务统一定义为索引序列生成任务，同时，基于统一的任务类型，利用序列到序列的生成式框架，使得各种差异导致的问题在统一的框架内得到解决，为完成整体细粒度情感分析提供了全新的系统性解决方法。

上述实施方式为本发明的优选案例，并不用来限制本发明的保护范围。

Claims (7)

1.一种基于序列生成的细粒度情感分析方法，其特征在于，包括如下步骤：

步骤1，将主观性商品评价或服务评价作为输入序列输入编码器进行编码，得到编码器隐变量H^e；

步骤2，采用索引词汇转换器模块将过去时刻的已输出索引序列Y＜t转换为已输出文本序列

步骤3，将编码器隐变量H^e以及所述已输出文本序列

输入解码器进行解码，得到当前时刻t的输出分布P_t；

步骤4，将所述输出分布P_t输入索引生成器，生成当前时刻输出索引，并采用束搜索方法自回归生成输出序列。

2.根据权利要求1所述的基于序列生成的细粒度情感分析方法，其特征在于：

其中，所述步骤1中，编码器隐变量H^e的计算公式为：

H^e＝BARTEncoder([x₁，...，x_n])

式中，BARTEncoder为生成式预训练模型BART的编码器，x₁，...，x_n表示长度为n的输入序列，H^e表示编码器隐变量。

3.根据权利要求1所述的基于序列生成的细粒度情感分析方法，其特征在于：

其中，所述步骤2中，索引词汇转换器模块的计算公式如下：

式中，y_t为t时刻的输出索引，X为长度为n的输入文本序列，C＝[c₁，...，c_l]是分类标签列表。

4.根据权利要求1所述的基于序列生成的细粒度情感分析方法，其特征在于：

其中，所述步骤2中，索引词汇转换器模块对已输出索引序列Y＜t中的每个元素作如下操作：

当所述元素为内容索引时，则转换为所述输入序列中对应索引的文本，当所述元素是分类标签索引时，则转化为分类标签列表中对应索引的分类标签。

5.根据权利要求1所述的基于序列生成的细粒度情感分析方法，其特征在于：

其中，所述步骤3具体包括如下子步骤：

步骤3-1，解码器接收编码器隐变量H^e与过去时刻的所述已输出文本序列

后，通过运算得到t时刻的中间变量

步骤3-2，采用多层感知机MLP对所述编码器隐变量H^e进行处理，生成得到非线性编码器隐变量

步骤3-3，采用词汇表示模块输入对文本序列X进行处理，生成得到嵌入式输入序列E^e；

步骤3-4，将非线性编码器隐变量

与所述嵌入式输入序列E^e通过加权α与1-α，得到词汇的新表示

步骤3-5，采用所述词汇表示模块对分类标签列表C进行处理，得到分类标签C^d；

步骤3-6，将词汇的新表示

与分类标签C^d拼接后，再与t时刻的所述中间变量

进行点乘后运算Softmax函数，得到当前时刻t的输出分布P_t。

6.根据权利要求5所述的基于序列生成的细粒度情感分析方法，其特征在于：

其中，所述步骤3-1中，t时刻的中间变量

的计算公式为：

所述步骤3-2中，非线性编码器隐变量

的计算公式为：

所述步骤3-3中，嵌入式输入序列E^e的计算公式为：

E^e＝W^eX

所述步骤3-4中，词汇的新表示

的计算公式为：

所述步骤3-5中，分类标签C^d的计算公式为：

C^d＝W^eC

所述步骤3-6中，当前时刻t输出分布P_t的计算公式为：

上述公式中，BARTDecoder为生成式预训练模型BART的解码器，W^h为一权重矩阵，f为非线性函数，W^e为词向量矩阵。

7.根据权利要求1所述的基于序列生成的细粒度情感分析方法，其特征在于：

其中，所述步骤4中，经过步骤3得到当前时刻t的输出分布P_t，索引生成器取出分布P_t中最大值所对应的索引，作为索引生成器的输出结果。

Images