CN114117041A - 一种基于特定属性词上下文建模的属性级情感分析方法 - Google Patents

Abstract

本发明涉及一种基于特定属性词上下文建模的属性级情感分析方法，属于自然语言处理技术领域。本方法综合了预训练语言模型、基于属性的情感分类技术，提出了对输入进行转换增强，并对预训练语言模型进一步微调的模型，以实现高效的特定属性上下文建模，包括特定属性的输入转换、上下文建模、属性特征归纳和微调分类四部分。本方法可以有效且准确地捕捉多属性评论句中的目标属性对应的观点词，并可以更加准确地判定目标属性的情感极性。

Description

一种基于特定属性词上下文建模的属性级情感分析方法

技术领域

本发明涉及一种属性级情感分析方法，具体涉及一种基于特定属性词上下文建模的属性级情感分析方法，属于自然语言处理中的细粒度情感分析及信息抽取技术领域。

背景技术

近年来，基于属性的情感分析引起了研究人员的广泛关注。它允许根据特定属性的上下文，从同一文本中提取关于情感信息的更细粒度的推断。

在基于属性的情感分析任务中，基于属性的情感分类和基于属性的观点提取是两个基本任务。这两个任务都预先给定了句子中的属性目标词。其中，基于属性的情感分类旨在预测给定属性的情感极性(如积极、中立或消极)，基于属性的观点提取旨在提取针对给定属性目标表达的相应观点词。这两个任务都有许多应用，例如，在电子商务中，可以利用来自评论的数据和见解为企业和客户创造价值。如图1所示，显示了基于属性的情感分类和基于属性的观点提取的示例，在句子“食物很好吃但服务很差”中，属性词“食物”和“服务”是两个给定的属性目标词，基于属性的观点提取需要提取单词“好吃”作为属性目标“食物”的观点词，基于属性的情感分类需要对“食物”给出一个积极的情感极性。基于属性的情感分类和基于属性的观点提取，均属于细粒度情感分析。

基于属性的情感分析任务，面临的第一个挑战是建模属性目标词与其上下文之间的语义关系，并准确地学习给定属性目标的表示。目前，现有技术大多采用十分复杂的方法来捕捉上下文词和目标属性词之间的语义相关性和复杂交互，包括各种记忆网络、卷积、注意力机制和基于句法的网络，这些方法依赖神经网络模型学习上下文结构信息，并对单个隐藏表示执行特征提取。这些方法归纳为通用的基于属性的情感分析特定属性的上下文建模解决方案，包括一个属性上下文建模层和一个属性特征归纳层，如图2所示。

基于属性的情感分析任务，面临的第二个挑战是训练数据短缺。这些复杂的模型并没有导致结果的显着改善。预训练语言模型可以利用大量未标记的数据来学习通用语言表示，这为上述问题提供了有效的解决方案。预训练语言模型的微调，如BERT、RoBERTa等，在基于属性的情感分类和基于属性的观点提取任务上表现出色，并实现了最佳的性能。但是，这些基于预训练语言模型的研究遵循规范的微调，即，使用预训练语言模型作为嵌入层，在预训练语言模型结构之后仅附加一个额外的输出层，它们只对全局上下文进行建模，却忽略了特定属性的特征，即特定属性特征归纳。这种微调方法生成的隐藏状态可能与属性无关，因为没有向模型引入属性信息来指导信息流，既忽略了中间层中包含的丰富语义知识，又忽略了捕获特定属性的目标特征。此外，它可能是噪声信息并且对观点跨度的捕获有害。

在实际应用中，经过训练的模型通常用于预测以前未见过的数据。同时，基于属性的情感分类模型缺乏鲁棒性，例如：

(1)域外场景：执行很好的训练数据，通常无法推广到另一个领域的测试数据；

(2)对抗场景：基于属性的情感分类模型很容易被小的对抗性扰动输入所愚弄。

发明内容

本发明的目的是为了克服现有技术的不足，为解决基于属性的情感分析任务存在的标准性能和鲁棒性的技术问题，创造性地提出一种基于特定属性上下文建模的属性级情感分析方法。本方法对输入进行转换增强，并对预训练语言模型进一步微调的模型，实现高效的特定属性上下文建模。本发明综合了预训练语言模型、基于属性的情感分类技术，基于属性的观点提取技术以及NLP鲁棒性技术。

本方法包括四个部分：特定属性的输入转换、上下文建模、特定属性特征归纳和微调与分类。其中，特定属性的输入转换包括属性对、属性提示和属性标记三种输入转换方法，以提升预训练语言模型更加关注句子中特定属性的上下文。然后，应用预训练语言模型得到特定属性的上下文表示。之后，对特定属性的第一个和最后一个分词的隐状态，使用平均池化来提取特定属性的特征。对于基于属性的属性分类任务，使用提取出的特定属性的特征作为情感分类的最终表示；对于基于属性的观点词提取任务，将特定属性的特征和每个分词的隐状态拼接起来，形成观点词特征的最终表示。

本发明采用的技术方式如下。

一种基于特定属性上下文建模的属性级情感分析方法，包括以下步骤：

步骤1：特定属性输入转换。

本方法提出了三种输入转换方法，来突出评论句子中的属性，包括属性对、属性提示和属性标记。利用这三种输入转换，能够促进预训练语言模型更加关注目标属性上下文，并帮助预训练语言模型实现有效的特定属性的上下文建模，丰富了输入表示。

具体地，三种输入转换方法，分别如下：

(1)将标准输入转换为属性对形式

属性对转换是将目标属性词作为辅助信息拼接到评论句子后面。

令

表示带有属性对的转换序列：

其中，[CLS]表示预训练语言模型在文本前插入的特殊符号，将该符号对应的输出向量作为整篇文本的语义表示；[SEP]表示预训练语言模型的句子分隔符；w₁表示评论句子的第一个token词，w_n表示评论句子的最后一个token词，a₁表示特定属性的第一个token词，a_m表示特定属性的最后一个token词。

带有属性对的序列，可以帮助预训练语言模型有效对句内依赖性进行建模，进一步增强全局上下文和属性词之间的句间依赖性。

(2)将标准输入转换为属性提示形式。

受提示学习的启发，使用自然语言提示可以使预训练语言模型以完形填空式完成下游任务。

属性提示形式，是在评论句子后附加一个面向目标属性词的提示句。

令

表示带有属性提示的修改序列：

带有属性提示形式的序列，可以提示预训练语言模型更加关注目标属性上下文。

(3)将标准输入转换为属性标记形式。

属性标记在句子中插入标记token词，以明确标记目标属性的边界。

具体地，将属性标记定义为两个保留的标记token词：<asp>和</asp>，将它们插入到目标属性之前和之后的输入句子中，以标记目标属性的开始和结束边界位置。其中，<asp>表示目标属性词的开始，</asp>表示目标属性词的结束。

令

表示插入属性标记的修改后的序列：

步骤2：上下文建模。

使用预训练语言模型，得到特定属性的全局上下文表征H(上下文隐藏状态表示向量)：

其中，h₁表示修改后序列第一个词的隐藏状态表示向量，

表示特定属性的第一个token词的隐藏状态表示向量，

表示特定属性的最后一个token词的隐藏状态表示向量，h_n表示修改后序列的最后一个token词的隐藏状态表示向量。

评论语句序列中的每个token词都被映射为一个编码向量。

步骤3：提取特定属性特征。

得到特定属性的全局上下文表征H后，对目标属性词的第一个和最后一个token词的隐藏状态编码向量做平均池化操作，得到特定属性的特征表示向量

其中，对于基于属性的情感分类任务，使用特定属性的特征表示向量

作为最终的特定属性情感分类的上下文表示向量，记为H_SC。

对于基于属性的观点词提取任务，将特定属性的特征表示向量

与特定属性的全局上下文表征H拼接起来，作为最终的特定属性观点提取的上下文表示向量，记为H_OE。

步骤4：微调和分类。

当获得特定属性特征，即，情感分类的上下文表示向量H_SC或特定属性观点提取的上下文表示向量H_OE之后，使用多层感知器(MLP)来微调预训练语言模型(比如BERT模型或RoBERTa模型，等)。其中，多层感知器MLP包含四层：全连接层、ReLU(线性整流函数)激活函数层、dropout层(随机丢弃层)和全连接层。最后，将经过全连接层的输出表示送至softmax层(软最大化标准化层)，以预测相应的标签。

步骤5：进行模型训练。

训练目标是通过

正则化最小化交叉熵损失，并使用批量随机梯度下降方法对目标函数

进行优化。

具体地，对训练集中的所有训练样本进行批量迭代训练，分别得到训练好的基于属性的情感分类模型和基于属性的观点词提取模型。

其中，y_i表示样本i的真实标签，

表示样本i的预测标签，λ表示正则化常数，θ表示优化参数，Θ表示优化参数集合，m表示训练样本总数。

至此，即完成了基于特定属性词上下文建模的属性级情感分析。

有益效果

本方法和现有技术相比，具有以下优点：

1.本方法对于基于属性的情感分类和基于属性的观点提取任务，是特定于上下文的，能够很好地建模特定属性的上下文，并对特定属性进行特征归纳，帮助预训练语言模型更准确地捕捉句子中的观点词。

2.本发明提出的具有属性标记机制模型，在基于属性的情感分类任务上的表现明显优于相应的基线模型。其它基线模型在领域外和对抗数据集上的性能急剧下降。相比之下，带有属性标记的预训练语言模型模型比其他基线模型更稳健。

3.本方法提出的具有属性标记机制的模型，在基于属性的观点提取任务上的表现明显优于基线模型。具有三种特定属性转换的预训练语言模型在基于属性的观点提取任务上取得了最新的最好效果。

4.本方法在基于属性的情感分类和基于属性的观点提取任务上优于大多数以前的模型。这些结果证明了特定属性的上下文建模可以进一步提高预训练语言模型的性能，尤其是在基于属性的观点提取任务上。另外，注入属性目标边界信息(尤其是属性标记)有助于更好地实现面向特定属性的上下文建模。

5.本方法改进了现有的细粒度情感分析的多属性性能鲁棒性的问题，可以很好地提高用户的使用体验。

附图说明

图1是基于属性的情感分类和基于属性的观点提取两个任务的示例图。

图2是基于属性的情感分析的整体架构图。

图3是基于特定属性上下文建模的情感分析的整体流程图。

图4是基于特定属性上下文建模的情感分类和观点提取的模型结构图。

图5是基于特定属性上下文建模的情感分析方法的实际应用图。

具体实施方式

下面结合附图和实施例对本发明进一步详细描述。

实施例

如图3、图4所示，一种基于特定属性上下文建模的属性级情感分析方法，包括以下步骤：

步骤1：加载评论语料集和预训练语言模型。

其中，预训练语言模型，可以是BERT模型，也可以是其他模型，例如RoBERTa模型。

步骤2：文本预处理。

步骤2.1：对每条评论语句抽取出其中的属性词、观点词及其位置信息。

步骤2.2：使用nltk分词器对评论语句预分词，将分好的token词用空格隔开。

步骤2.3：将非首token词前拼接一个‘’token词，并在评论语句分词token序列后增加两个特殊token词：[CLS]、[SEP]，构造成图4中属性通用输入形式：S＝{[CLS],w₁,…,a₁,…,a_m,…,w_n,[SEP]}，其中{a₁,…,a_m}是目标属性词。

步骤3：特定属性输入转换。

本方法使用三种特定属性的输入转换方法中的一种来丰富输入表示形式。

步骤3.1：将标准输入转换为如图4属性对形式。受BERT的句子对编码的启发，属性对转换将目标属性词作为辅助信息拼接到评论句子后面。如图4所示，

表示带有属性对的转换序列：

带有属性对的序列可以帮助预训练语言模型有效地对句内依赖性进行建模，并进一步增强全局上下文和属性词之间的句间依赖性。

步骤3.2：将标准输入转换为如图4属性提示形式。

受最近的提示学习的启发，使用一些自然语言提示可以使预训练语言模型以完形填空式完成下游任务，属性提示形式在评论句子后附加了一个面向目标属性词的提示句。

表示带有属性提示的修改序列：

带有属性提示形式的序列可以提示预训练语言模型更加关注目标属性上下文。

步骤3.3：将标准输入转换为如图4属性标记形式。属性标记在句子中插入标记token词以明确标记目标属性的边界。具体来说，将属性标记定义为两个保留的标记token：<asp>和</asp>。将它们插入到目标属性之前和之后的输入句子中，以标记目标属性的开始和结束边界位置。<asp>表示目标属性词的开始，</asp>表示目标属性词的结束。

表示插入了属性标记的修改后的序列：

步骤4：数据格式化

对每条评论语句token词序列做padding处理，使其长度均为128。并使用预训练语言模型的tokenizer对评论语句中的每个token词进行tokenize操作。将处理好的数据集分为训练集、验证集和测试集，并构造成批数据形式。

步骤5：上下文建模。

包括四部分组成：特定属性的输入转换层、上下文建模层、特定属性特征归纳层和分类层。对于特定属性的上下文建模，首先使用一种特定属性的输入转换方法中来丰富输入。接下来使用预训练语言模型来得到特定属性的上下文表示。然后对特定属性的第一个和最后一个token分词的隐状态向量使用平均池化来提取特定属性的特征。对于基于属性的属性分类任务，本方法使用提取出的特定属性的特征作为情感分类的最终表示。对于基于属性的观点词提取任务，本方法将特定属性的特征和每个分词的隐状态拼接起来，以形成观点词特征的最终表示。

具体地，使用预训练语言模型得到目标属性的上下文隐藏状态表示向量：

评论语句序列中的每个token词都会被映射为一个编码向量。图4中左边部分是目标属性的上文表示向量，中间部分是目标属性的隐状态表示向量，右边部分是目标属性的下文表示向量。

步骤6：提取特定属性特征。

如图4所示，得到特定属性的全局上下文表征H后，对目标属性词的第一个和最后一个token词的隐藏状态编码向量做平均池化操作，得到特定属性的特征表示向量

对于基于属性的情感分类任务，使用特定属性的特征表示向量

作为最终的特定属性情感分类的上下文表示向量，记为H_SC。

对于基于属性的观点词提取任务，将特定属性的特征表示向量

与特定属性的全局上下文表征H拼接起来，作为最终的特定属性观点提取的上下文表示向量，记为H_OE。

步骤7：微调和分类。

在获得特定方面的上下文表示

后，本方法使用多层感知器(MLP)来微调预训练语言模型。本方法中的多层感知器MLP包含四层：全连接层、ReLU(线性整流函数)激活函数层、dropout层(随机丢弃层)和全连接层。最后，将经过全连接层的输出表示送至softmax层(软最大化标准化层)以预测相应的标签。

步骤8：模型训练。

训练目标是通过

正则化最小化交叉熵损失，并使用批量随机梯度下降方法对如下目标函数进行优化。

对训练集中的所有训练样本进行批量迭代训练，分别得到训练好的基于属性的情感分类模型和基于属性的观点词提取模型。

其中，y_i表示样本i的真实标签，

表示样本i的预测标签，λ表示正则化常数，θ表示优化参数，Θ表示优化参数集合，m表示训练样本总数。

进一步地，可以对本方法进行评价。在训练集中完成训练后，在所使用的验证集中进行验证测试。使用的评价指标包括：

对于基于属性的情感分类，使用准确率和F1值作为评价指标；

对于基于属性的观点词提取任务，使用F1值作为评价指标。

对于每轮验证更新最优模型，并保存。

进一步地，可以对本方法进行测试。首先加载之前保存的最优模型参数和测试数据，然后将测试数据转换为所需格式输入到最优模型中进行测试。其中，评价指标与验证时使用的评价指标相同。

如图1中所示，评论句子“他家的炒菜很好吃，但是服务太差了！”，如果给定目标属性词时服务，本方法的基于属性的观点词提取需要抽取出“服务”的观点词“差”，基于属性的情感分析需要给出“服务”的情感极性为负向，并计算相应的预测准确率和F1值。

图5展示了采用本发明方法的评论示意图，上半部分的“口味赞”、“服务好”、“分量大”等包含了评论语句中的目标属性，例如“口味”、“服务”、“分量”等。对于给定B用户评论“他家的菜确实很好吃，分量也很大，但是服务太差了”，目标属性是菜、分量和服务，使用本方法，可以准确的提取出描述目标属性“菜”、“分量”、“服务”的观点词依次为“好吃”、“大”、“差”，并且可以准确的判定各个属性词的情感极性：菜—正向、分量—正向、服务—负向。进而可以帮助商家和企业进行针对性的分析与改进。

由于本发明对于基于属性的情感分类和基于属性的观点提取任务来说是特定于上下文的，能够很好的建模特定属性的上下文并对特定属性进行特征归纳，所以能够帮助预训练语言模型更准确的捕捉多属性评论句中的目标属性对应的观点词，并可以有效且准确的判定目标属性的情感极性。

以上所述为本发明的较佳实施例，本发明不应该局限于该实施例和附图所公开的内容。凡是不脱离本发明所公开的精神下完成的等效或修改，都落入本发明保护的范围。

Claims (5)

1.一种基于特定属性上下文建模的属性级情感分析方法，其特征在于，包括以下步骤：

步骤1：特定属性输入转换，突出评论句子中的属性；

步骤2：上下文建模；使用预训练语言模型，得到特定属性的全局上下文表征H：

其中，h₁表示修改后序列第一个词的隐藏状态表示向量，

表示特定属性的第一个标记token词的隐藏状态表示向量，

表示特定属性的最后一个标记token词的隐藏状态表示向量，h_n表示修改后序列的最后一个标记token词的隐藏状态表示向量；评论语句序列中的每个标记token词都被映射为一个编码向量；

步骤3：得到特定属性的全局上下文表征H后，对目标属性词的第一个和最后一个标记token词的隐藏状态编码向量做平均池化操作，得到特定属性的特征表示向量

其中，对于基于属性的情感分类任务，使用特定属性的特征表示向量

作为最终的特定属性情感分类的上下文表示向量，记为H_SC；

对于基于属性的观点词提取任务，将特定属性的特征表示向量

与特定属性的全局上下文表征H拼接起来，作为最终的特定属性观点提取的上下文表示向量，记为H_OE；

步骤4：微调和分类；

当获得特定属性特征，使用多层感知器来微调预训练语言模型；其中，多层感知器MLP包含四层：全连接层、ReLU激活函数层、随机丢弃层和全连接层；最后，将经过全连接层的输出表示送至软最大化标准化层，以预测相应的标签；

步骤5：进行模型训练；

通过

正则化最小化交叉熵损失，并使用批量随机梯度下降方法对目标函数

进行优化。

2.如权利要求1所述的一种基于特定属性上下文建模的属性级情感分析方法，其特征在于，步骤1采用属性对转换法，将标准输入转换为属性对形式，具体如下：

属性对转换是将目标属性词作为辅助信息拼接到评论句子后面，令

表示带有属性对的转换序列：

其中，[CLS]表示预训练语言模型在文本前插入的特殊符号，将该符号对应的输出向量作为整篇文本的语义表示；[SEP]表示预训练语言模型的句子分隔符；w₁表示评论句子的第一个token词，w_n表示评论句子的最后一个token词，a₁表示特定属性的第一个token词，a_m表示特定属性的最后一个token词。

3.如权利要求1所述的一种基于特定属性上下文建模的属性级情感分析方法，其特征在于，步骤1采用属性提示转化法，将标准输入转换为属性提示形式，具体如下：

属性提示形式，是在评论句子后附加一个面向目标属性词的提示句，令

表示带有属性提示的修改序列：

其中，[CLS]表示预训练语言模型在文本前插入的特殊符号，将该符号对应的输出向量作为整篇文本的语义表示；[SEP]表示预训练语言模型的句子分隔符；w₁表示评论句子的第一个token词，w_n表示评论句子的最后一个token词，a₁表示特定属性的第一个token词，a_m表示特定属性的最后一个token词。

4.如权利要求1所述的一种基于特定属性上下文建模的属性级情感分析方法，其特征在于，步骤1采用属性标记转化法，将标准输入转换为属性标记形式，具体如下：

属性标记在句子中插入标记token词，以明确标记目标属性的边界；

将属性标记定义为两个保留的标记token词：<asp>和</asp>，将它们插入到目标属性之前和之后的输入句子中，以标记目标属性的开始和结束边界位置；<asp>表示目标属性词的开始，</asp>表示目标属性词的结束；

令

表示插入属性标记的修改后的序列：

其中，[CLS]表示预训练语言模型在文本前插入的特殊符号，将该符号对应的输出向量作为整篇文本的语义表示；[SEP]表示预训练语言模型的句子分隔符；w₁表示评论句子的第一个token词，w_n表示评论句子的最后一个token词，a₁表示特定属性的第一个token词，a_m表示特定属性的最后一个token词。

5.如权利要求1所述的一种基于特定属性上下文建模的属性级情感分析方法，其特征在于，步骤5中，对训练集中的所有训练样本进行批量迭代训练，分别得到训练好的基于属性的情感分类模型和基于属性的观点词提取模型：

其中，y_i表示样本i的真实标签，

表示样本i的预测标签，λ表示正则化常数，θ表示优化参数，Θ表示优化参数集合，m表示训练样本总数。

Images