CN111858944B - 一种基于注意力机制的实体方面级情感分析方法 - Google Patents

Abstract

本发明涉及自然语言处理的情感分析领域，其公开了一种基于注意力机制的实体方面级情感分析方法，提高方面级情感分析的准确性。该方法包括以下步骤：S1、爬取分析对象的用户评论数据；S2、对爬取到的用户评论数据进行预处理；S3、采用基于历史感知注意力机制的属性词提取方法对评论数据进行属性词提取；S4、采用基于BERT和层次注意力机制的方面级情感分析方法获取属性词对应的方面类别及情感极性。

Description

一种基于注意力机制的实体方面级情感分析方法

技术领域

本发明涉及自然语言处理的情感分析领域，特别涉及一种基于注意力机制的实体方面级情感分析方法。

背景技术

随着社交网络的快速发展，大量用户针对各种事物发表了具有不同情感倾向的内容，将这些文本数据进行情感分析并统计，在社会和商业等领域都具有重要意义。情感分析是研究社交网络中人们对其事件、产品、服务、话题等的情感极性，极性最初包括积极、消极和中立三个类别，后续发展出了更多细粒度的分类。目前情感分析的一个研究重点是细粒度的方面级情感分析，实体方面级情感分析结合了属性词和方面对作为情感分析对象，即对于给定的属性词所属的方面一一进行情感分类。

早期情感分析研究使用基于词典和规则的方法和基于传统机器学习的方法，但其在处理更加细粒度的方面级情感分析问题中不尽人意。随着深度学习相关研究的发展，循环神经网络模型具有灵活的计算步骤，其输出依赖于之前的计算，这使得它能够捕获语言中的上下文依赖关系，并能够对各种文本长度建模。但传统的编解码器框架存在一个潜在的问题，编码器可能会对不相关的信息进行编码，特别是在输入信息非常丰富的情况下。

目前，深度学习的方法在自然语言处理领域特别是本文研究的方面级领域仍然处于起步阶段。在某些情况下，深度学习方法的性能并没有预期的那么有效，比如：

在属性词任务中，大多研究依赖于句法分析，对于非正式的文本的处理准确率不高；此外，没有深度挖掘并合理利用文本中单词的隐式关系，导致提取出的实体并非具有对应观点词的属性词，或者属性词提取不全面、不完整等问题。

在方面类别识别和情感分类任务中，可能出现：1、没有提取到更深层的上下文语义和结构特征，导致属性词提取不全面或不完整；2、在社交网络文本中包含多个属性词和多个方面时，属性词和方面与情感对应不准确，从而编码任务无关信息的问题；3、在属性词包含多个单词的情况下，没有考虑该属性词中哪些单词对观点词的关系密切，而仅通过求平均得到的属性词特征向量会引入噪声。

上述问题都会影响方面级情感分析的准确性。

发明内容

本发明所要解决的技术问题是：提出一种基于注意力机制的实体方面级情感分析方法，提高方面级情感分析的准确性。

本发明解决上述技术问题采用的技术方案是：

一种基于注意力机制的实体方面级情感分析方法，包括以下步骤：

S1、爬取分析对象的用户评论数据；

S2、对爬取到的用户评论数据进行预处理；

S3、采用基于历史感知注意力机制的属性词提取方法对评论数据进行属性词提取；

S4、采用基于BERT和层次注意力机制的方面级情感分析方法获取属性词对应的方面类别及情感极性。

作为进一步优化，步骤S1具体包括：

S11、利用scrapy爬虫框架爬取网页源码；

S12、构造正则表达式对采集到的源码进行解析获取数据；

S13、将爬取到的数据存入数据库。

作为进一步优化，步骤S2具体包括：

S21、进行数据清洗：拼写检查更正、去除非文本信息、大小写转化和丢弃无效数据；

S22、将经过清洗后的数据处理为下游模型要求的输入格式：对清洗后的数据中的每个单词进行BIO标记，最终将数据处理成BIO序列，作为下游模型的输入序列。

作为进一步优化，步骤S3具体包括：

S31、使用预训练的word2vec模型，生成输入序列的词向量；

S32、将词向量输入Bi-LSTM模型进行特征提取，获得词向量序列；

S33、将词向量序列输入CMLA(多层耦合注意力模型)中，计算得到针对输入序列的相关性特征向量；

S34、将相关性特征向量接入历史感知注意力，融合历史时间步生成的信息得到历史感知向量；

S35、根据历史感知向量计算注意力分数；

S36、基于注意力分数，通过softmax函数计算得到序列中每一个单词的属性词标签，从而得到序列中的属性词。

作为进一步优化，步骤S4具体包括：

S41、利用BERT模型提取输入序列的深层特征；

S42、对提取的属性词进行实体级注意力机制的处理，获得属性词向量；

S43、利用输入序列的深层特征和方面的初始词向量对方面向量进行细化；

S44、将属性词向量和细化的方面向量接入句子级注意力机制，得到属性词-方面对的特征向量；

S45、基于属性词-方面对的特征向量，通过softmax函数计算出情感极性。

本发明的有益效果是：

本发明所提出的属性词提取模型，在CMLA模型之上引入已有的历史感知注意力机制，进而建模属性词之间的隐式关系，提高属性词提取的准确率；在进行情感分析时，使用BERT模型作为嵌入层并引入细化方面向量注意力，从而准确的将属性词与方面对应起来，提高了方面级情感分析的准确率。

附图说明

图1为本发明中实体方面级情感分析方法流程图；

图2为本发明属性词提取部分的框架图；

图3为CMLA算法框架图；

图4为历史感知注意力机制的框架图；

图5为本发明情感分析部分的框架图。

具体实施方式

本发明旨在提出一种基于注意力机制的实体方面级情感分析方法，提高方面级情感分析的准确性。其核心思想包括：首先通过数据爬取，获得分析对象的线上用户评论数据，然后对爬取的数据进行清洗，并处理为后续模型输入需要的格式，我们提出基于注意力机制的属性词提取方法，提取经过数据预处理后的评论数据中的属性词；并提出基于BERT和层次注意力机制的实体方面级情感分析方法，得到先前提取出的评论数据中属性词对应的方面类别及情感极性。

在具体实现上，本发明中的基于注意力机制的实体方面级情感分析流程如图1所示，其包括数据爬取、数据预处理、属性词提取和情感分析几个大步骤，下面进行具体阐述：

一、数据爬取：

本步骤主要是爬取分析对象的用户评论数据作为情感分析的数据基础，比如分析对象为餐厅，则爬取的是餐厅的线上用户评论数据。具体步骤如下：

S11、数据采集：通过输入目标爬取餐厅的网址，并利用scrapy爬虫框架来爬取网页源码，所需数据都在源码里；

S12、数据解析：构造正则表达式对采集到的源码进行解析获取数据。相较于其他方法，正则表达式处理混乱的HTML页面能力更强大；

S13、存储数据：将爬取到的数据存入数据库以供后续使用。

二、数据预处理：

本步骤主要是对爬取到的用户评论数据进行预处理，数据预处理分为数据清洗和数据格式处理。数据清洗非常必要，且能直接影响后续模型处理的准确率，这是因为网页爬取的数据带有很多噪声，包含表情等非文本信息，拼写错误，恶意评论及无效评论等等。清洗后的数据需要整理为不同模型要求的格式才能被使用。具体步骤如下：

S21：数据清洗：包括拼写检查更正、去除非文本信息、大小写转化、丢弃无效数据。拼写更正是由于在网络中非正式文本未经过校验，若直接放进模型训练，则无法识别出原单词影响结果，因而进行拼写更正。而去除非文本信息是去除表情符号、图片等非文本信息。大小写转化是将英文全部转化为小写，能够便于单词的统计。丢弃无效数据是指丢弃只有打分没有文字描述的空白评论、符号或无意义数字和字母占比过大的非文字评论、同个用户当日评论次数超过3条的恶意评论等，减少干扰。

S22：数据格式处理：数据格式处理是要将得到的数据处理为下游模型要求的输入格式，本发明参考序列标注任务给予输入序列每个单词BIO(一种序列标注模式)标记，最终将数据由原始的xml格式处理成BIO序列。

三、属性词提取：

本步骤主要是针对已有模型不能挖掘更深层的单词间隐式关系，导致提取出错误实体，以及提取出的属性词存在不完整、不全面等问题，在已有模型CMLA之上，引入历史感知注意力机制，有效利用历史信息，进而建模属性词之间的隐式关系，提高属性词提取准确率。本发明中的属性词提取框架如图2所示：

S31：使用yelp(大众点评网站)上的餐厅评论语料训练word2vec，输入句子序列为W＝{w₁,…,w_n}，生成词向量；

S32：训练好的词向量放入Bi-LSTM(双向长短时记忆网络)进行特征提取，得到的句子表示为长度为n的词向量序列H＝{h₁,…,h_n}；

S33：将词向量序列放入CMLA(多层耦合注意力模型)，计算得到针对输入序列的相关性特征向量，CMLA模型的算法框架如图3所示；

随机初始化属性词和观点词原型向量u^m,m＝{a，p}，a和p分别表示属性词和观点词，利用非线性激活函数tanh计算各个单词与原型向量的相关性程度

然后将

放入Bi-LSTM计算得到相关性特征向量

其中D^m是一个拥有K个切片的三维张量，在上式中矩阵乘法建模了K种h_i和u^a复杂关系组合，且通过非线性激活函数tanh使得

编码了更多抽象深层次的相关性特征。[:]表示向量拼接，如果m＝a则

新的张量D^m通过联合注意力建模了h_i和原型向量

的关系。

S34：将相关性特征向量接入历史感知注意力，历史感知注意力机制的框架如图4所示；

由于接入了历史感知注意力THA，此时不是直接利用第一层迭代得到的相关性特征向量

进行公式计算得到注意力得分，而是将

输入THA得到新的特征向量。THA利用了最近N个时间步的隐藏状态。在当前时间步t，THA为每一个h_i(i∈[t-N,t-1])计算了标准化的重要性评分

其中

表示先前历史感知的属性词向量表示；V是训练中学习到的参数；W₁、W₂、W₃分别是与先前时间步向量表示，当前时间步向量表示和先前历史感知向量表示的相关参数。

为了从先前的训练过程中受益，本部分结合先前时间步隐层向量表示h_i和计算得出的历史向量

生成当前预测的历史感知特征向量。使用RELU激活函数计算得到时间步t的历史感知向量

其中

表示第l层CMLA得到的第i时间步的注意力向量表示，t则指当前时间步。得到的第l层第i个历史感知向量

再进行注意力分数计算，最后利用softmax得到最终的标签。

四、情感分析：

本步骤提出基于BERT和层次注意力机制的实体方面级情感分析方法。嵌入层使用了BERT语言模型，针对文本中存在多个属性词和方面，现有模型不能有效的将属性词与方面和情感正确对应，因此编码了无关信息，本发明基于已有BERT模型，引入细化方面向量注意力，从而准确的将属性词与方面对应起来，提高了方面级情感分析准确率。本发明情感分析部分的框架如图5所示：

S41：将待分析的句子作为输入序列放入BERT，提取出的第l层t时间步的特征向量表示

使用

表示包含m个单词的某一属性词在transformer第l层的输出，作为下游情感分析层的输入：

S42：对提取的属性词进行实体级注意力机制的处理，获得属性词向量；实体级注意力机制旨在针对某个属性词t将其包含单词对应的隐层输出H′进行实体级自注意力计算，得到该属性词注意力α，α能关注到属性词中重要的单词，再次利用该属性词t对应的隐层输出H^l′与α进行运算，经过累加计算得到属性词t新的向量表示

S43：利用

和方面最初的词向量对方面向量进行细化：

其中v_a表示某个方面的初始词向量，γ是控制方面单词和上下文之间的相互影响程度的参数。上式中的u′是一个稀松系数矩阵，表示上下文中不同单词的重要程度。

u＝f(H^T·W+b)

S44：将属性词向量和细化的方面向量接入句子级注意力机制，得到属性词-方面对的特征向量；句子级注意力机制首先利用序列通过BERT的所有隐层输出H和前面实体级注意力机制更新的属性词向量

计算得到该属性词t在属于方面a的情况下对于整个句子中单词的注意力程度β，其中使用了细化的方面向量

将β与H相乘后累加计算得到最终属于方面a的属性词t的向量表示

最后，利用softmax函数得到该属性词-方面对的情感极性Y。

Claims (3)

1.一种基于注意力机制的实体方面级情感分析方法，其特征在于，包括以下步骤：

S1、爬取分析对象的用户评论数据；

S2、对爬取到的用户评论数据进行预处理；

S3、采用基于历史感知注意力机制的属性词提取方法对评论数据进行属性词提取，包括步骤S31-S36：

S31、使用预训练的word2vec模型，生成输入序列的词向量；

S32、将词向量输入Bi-LSTM模型进行特征提取，获得词向量序列；

S33、将词向量序列输入CMLA中，计算得到针对输入序列的相关性特征向量；

S34、将相关性特征向量接入历史感知注意力，融合历史时间步生成的信息，得到历史感知向量；

S35、根据历史感知向量计算注意力分数；

S36、基于注意力分数，通过softmax函数计算得到序列中每一个单词的属性词标签，从而得到序列中的属性词；

S4、采用基于BERT和层次注意力机制的方面级情感分析方法获取属性词对应的方面类别及情感极性，包括步骤S41-S45:

S41、利用BERT模型提取输入序列的深层特征；

S42、对提取的属性词进行实体级注意力机制的处理，获得属性词向量；

S43、利用输入序列的深层特征和方面的初始词向量对方面向量进行细化；

S44、将属性词向量和细化的方面向量接入句子级注意力机制，得到属性词-方面对的特征向量；

S45、基于属性词-方面对的特征向量，通过softmax函数计算出情感极性。

2.如权利要求1所述的一种基于注意力机制的实体方面级情感分析方法，其特征在于，

步骤S1具体包括：

S11、利用scrapy爬虫框架爬取网页源码；

S12、构造正则表达式对采集到的源码进行解析获取数据；

S13、将爬取到的数据存入数据库。

3.如权利要求1所述的一种基于注意力机制的实体方面级情感分析方法，其特征在于，

步骤S2具体包括：

S21、进行数据清洗：拼写检查更正、去除非文本信息、大小写转化和丢弃无效数据；

S22、将经过清洗后的数据处理为下游模型要求的输入格式：对清洗后的数据中的每个单词进行BIO标记，最终将数据处理成BIO序列，作为下游模型的输入序列。

Images