CN111814450B - 一种基于残差注意力的方面级情感分析方法 - Google Patents

Abstract

本发明公开了一种基于残差注意力的方面级情感分析方法，方法包括以下步骤：对输入的语句和所有的方面目标信息进行编码，得到文本编码；对待预测的方面目标在文本中的位置信息进行编码，并与得到的文本编码进行融合；对待预测的方面目标信息和融入位置编码的文本编码进行处理；将得到的编码与融入位置信息的文本编码进行结合；提取其余方面目标中的信息，与得到的文本编码进行交互处理，然后从得到的文本编码中过滤；对过滤后的文本编码进行处理，得到最终结果。本发明提出了一种将残差网络引入到注意力机制的方法，能够显著的提高文本方面级别情感分析的准确率，并且模型具有较好的鲁棒性和通用性，分析的效率也有了一定的提升。

Description

一种基于残差注意力的方面级情感分析方法

技术领域

本发明涉及自然语言处理领域，尤其涉及一种基于残差注意力的方面级情感分析方法。

背景技术

随着互联网的飞速发展，网络已然成为生活中必不可少的一部分。根据中国互联网络信息中心于2019年8月发布的《中国互联网络发展状况统计报告》的数据显示，截至2019年6月，我国网民规模为8.54亿，互联网普及率达61.2％；我国手机网民规模达8.47亿，使用手机上网的比例达99.1％。网络用户也越来越习惯于在各类网站上发表自己的意见和观点，逐渐从过去单纯的信息获取者变成网络内容的主要制造者。互联网数据中心(IDC)在一份报告中预测道：截止到2020年，数据量将会增长至400亿TB(4*10²²字节)，即比2010年初增长了50倍；其中包含了大量来源于社交网络、新闻报道和电商平台等领域的文本数据，使得文本信息挖掘的相关研究颇受关注。作为文本挖掘中一个重要研究方向为情感分析，其在对发布者所表述的情感进行判别方面具有关键作用。

目前，方面级的情感分析方法大致有两类，一类是基于规则和情感词典的方法，另一类则是基于神经网络的方法。

其中，基于规则和情感词典的方法主要是利用人为构建的情感词典和语义规则来提取文本中各方面目标所对应的情感词，然后对情感词典中情感词对应的分值进行统计，得出方面情感的最终得分。例如专利CN111027322A公开了一种面向财经新闻数据的细粒度情感分析方法，利用现有的实体识别及提取方法，获取到该篇新闻的所有上市公司实体集合，然后利用情感词典对上市公司实体集合中的每个实体进行情感分析和计算，得到每篇文章中每个上市公司的情感极性；这种分析方法需要耗费大量的成本去构建准确且全面的情感词典，并且要定义复杂的语义语法规则，如否定词、程度副词等，并且这种方法只能面向特定的领域，如果要应用到其他的领域中，则需要构建不同的情感词典和规则，迁移能力差且情感分析效果并不明显。

而基于神经网络的方法主要使用各类改进的神经网络模型对文本进行分析建模，而后在语料库上训练模型，最后利用训练好的模型对待处理的文本进行分析。例如专利CN110046353A公开了一种基于多语言层次机制的方面级情感分析方法，首先将输入文本转化为向量表示，然后获取输入文本中各个句子之间的时序关系，同时获取方面词在单个句子中的局部特征和在整个句子中的长距离依赖关系，然后基于分类特征来判别输入文本中不同方面的情感极性，最后获得方面词的情感信息；这种方法没有很好的处理方面词在文中所处的位置信息以及其他方面词对待预测方面词产生的情感干扰。

因此，本领域亟待一种能够在方面级情感分析过程中过滤掉其他方面目标对应的情感信息的方面级情感分析方法。

发明内容

本发明的目的是提供一种在方面级情感分析过程中能够过滤掉其他方面目标对应的情感信息，可以很好的对文本中方面目标的情感进行建模，减少其他方面情感产生的干扰，从而高效且准确的对文本的方面级情感进行分析的基于残差注意力的方面级情感分析方法。

一种基于残差注意力的方面级情感分析方法，所述方面级情感分析方法包括以下步骤：

S1：对输入的文本和所有的方面目标信息进行编码，将文本和所有的方面目标信息转变成张量形式，得到文本编码；

S2：利用相对位置编码函数对待预测的方面目标在文本中的相对位置信息进行编码，并将得到的位置编码与S1中得到的文本编码进行融合；

S3：利用注意力机制对待预测的方面目标和步骤S2中融入位置编码的文本编码进行处理；

S4：利用残差机制将S3中处理后得到的编码与融入位置信息的文本编码进行结合，作为融合待预测方面目标信息的文本编码；

S5：利用卷积神经网络提取其余方面目标中的特征信息，与步骤S1中得到的文本编码进行交互处理，然后从步骤S4得到的文本编码中过滤，得到最终面向方面级情感分析的特征；

S6：利用最大池化层、全连接层和Softmax层对步骤S5过滤后的文本编码进行处理，得到最终结果。

本发明的原理为：

本发明克服了传统的情感分析方法中往往是对文本整体的情感倾向进行分析，不能有效判别各个方面所表述的情感的不足，在卷积神经网络和传统注意力机制的基础上将残差网络引入注意力机制，将原始信息和注意力机制处理得到的结果进行结合，还提出了一种其余方面目标处理机制，对文本中除待预测方面目标之外的其余方面目标的情感信息进行处理，并在文本编码信息中过滤掉此类信息，减少其余方面目标的情感信息对当前方面目标的情感预测产生干扰。

本发明的有益效果在于：

可以很好的解决传统注意力机制原始信息损失的问题，使得注意力机制处理后得到的信息更加丰富；对文本中含有多个方面目标的文本，尤其是方面目标对应的情感不同时，效果尤为明显。与现有的技术相比，本发明能够显著的提高文本方面级别情感分析的准确率，能够很好的对多方面文本的情感进行处理，并且具有较好的鲁棒性和通用性，分析的效率也有显著的提升。

附图说明

图1为本发明的一种情感分析模型结构示意图。

图2为本发明的一种残差注意力机制示意图。

具体实施方式

体现本发明特征与优点的典型实施方式将在以下的说明中详细叙述，应理解的是本发明能够在不同的实施方式上具有各种的变化，其皆不脱离本发明的范围，且其中的说明及图示在本质上是当作说明之用，而非用以限制本发明。

一种基于残差注意力的方面级情感分析方法，所述方面级情感分析方法包括以下步骤：

S1：对输入的文本和所有的方面目标信息进行编码，将文本和所有的方面目标信息转变成张量形式，得到文本编码；

S2：利用相对位置编码函数对待预测的方面目标在文本中的相对位置信息进行编码，并将得到的位置编码与S1中得到的文本编码进行融合；

S3：利用注意力机制对待预测的方面目标和步骤S2中融入位置编码的文本编码进行处理；

S4：利用残差机制将S3中处理后得到的编码与融入位置信息的文本编码进行结合，作为融合待预测方面目标信息的文本编码；

S5：利用卷积神经网络提取其余方面目标中的特征信息，与步骤S1中得到的文本编码进行交互处理，然后从步骤S4得到的文本编码中过滤，得到最终面向方面级情感分析的特征；

S6：利用最大池化层、全连接层和Softmax层对步骤S5过滤后的文本编码进行处理，得到最终结果。

如图1所示，本发明在卷积神经网络和传统注意力机制的基础上，提出了一种将残差网络引入到注意力机制的方法，将原始信息和注意力机制处理得到的结果进行结合，然后提出了一种其余方面目标处理机制，对文本中除待预测方面目标之外的其余方面目标的情感信息进行处理，并在文本编码信息中过滤掉此类信息，减少其余方面目标的情感信息对当前方面目标的情感预测产生干扰，对文本中含有多个方面目标的文本，尤其是方面目标对应的情感不同时，效果尤为明显。

进一步地，包括建立一种基于残差注意力的方面级情感分析模型，模型包括词向量编码模块、位置编码模块、残差注意力模块、其余方面目标处理模块和情感分类模块；

词向量编码模块：对输入的文本和所有的方面目标信息进行编码，将文本和所有的方面目标信息转变成张量形式，得到文本编码；

位置编码模块：对待预测的方面目标在文本中的位置信息进行编码，并与词向量编码模块得到的文本编码进行融合；

残差注意力模块：利用注意力机制对待预测的方面目标信息编码和融入位置信息的文本编码进行处理，再利用残差机制将融入位置信息的文本编码和注意力机制处理后得到的编码进行结合，作为融合了待预测方面信息的文本编码；

其余方面目标处理模块：用卷积神经网络提取其余方面目标中的信息，对词向量编码模块得到的文本编码进行交互处理，并从残差注意力模块处理得到的文本编码中过滤；

情感分类模块：利用最大池化层、全连接层和Softmax层对最后的文本编码进行处理。

具体地，词向量编码模块利用词嵌入算法对输入的语句和所有的方面目标信息进行编码，所有的方面目标信息包括待预测的方面目标信息和其余方面目标信息；位置编码模块能有效的在文本编码中融入位置信息；其余方面目标处理模块能够减少其他方面说对应的情感信息。

进一步地，步骤S1中设定输入的文本集合为包含n个单词，文本序列的向量表示为c'∈R^n×d；设定待预测的方面目标集合为/>包含m个单词，待预测方面目标的向量表示为a'∈R^m×d；设定其余方面目标集合为O＝{o₁,o₂,...,o_t}，共包含t个其余方面目标，/>代表其余方面目标集合中的第i个，包含l_i个单词，第i个其余方面目标的向量表示为/>其中d为词向量的维度。

进一步地，步骤S2中相对位置编码函数为：

将位置编码融入到文本编码中的得到融合了位置信息的文本编码函数为：

c_p＝c'Δexpand(p)

其中，i和j分别代表待预测方面目标首末单词在文中的位置,r和rl是以待预测方面为界，右半文本中离方面目标最近一个其余方面目标的首单词索引以及长度；p∈R^n×1是整个文本相对于待预测方面的位置编码，Δ代表张量的相对位置元素相乘，c_p∈R^n×d就是融合了位置信息的文本编码，expand(*)为维度扩展。

具体地，如果此其余方面目标不存在，那么r＝rl＝0,左半段文本的处理方式与右半段文本的处理方式类似。此外，将位置编码的1维扩展到文本编码的d维，Δ代表张量的相对位置元素相乘操作，此时c_p∈R^n×d就是融合了位置信息的文本编码。

进一步地，步骤S3中对待预测的方面目标的处理公式为：

h_a＝tan(Conv1d(a'|e,f,q,p,s))

h'_a＝MaxPool1d(h_a|s')

其中，e、f、q、p、s和s'分别是卷积和池化操作的参数，h_a、h'_a分别代表卷积操作后的输出以及最大池化层操作后的输出。

具体地，利用卷积操作和最大池化操作对待预测方面进行处理，提取其中的信息；然后利用k个不同卷积核得到在原维度上进行叠加得到h_e∈R^(k*f)可以更好的融入到后面的信息整合部分，在新的维度上进行组合得到h'_e∈R^k×f×1用于残差注意力机制，可以得到k个不同的注意力值，增强注意力机制的性能。

进一步地，步骤S3中对融入位置编码的文本编码进行处理的公式为：

h_i＝W_c·(c_p)^T+b_c

其中W_a∈R^f×f,b_a∈R^f×1,W_C∈R^f×d,b_c∈R^f×1是模型参数，S_a∈R^n×1是注意力机制得到的注意力矩阵，k为卷积核的数量值，为利用k个卷积核得到的输出，h_i代表文本序列加上加上权值参数后的输出，f_i代表k个卷积核得到的输出加上权值参数后的结果；

然后对注意力矩阵进行处理：

c”＝tan(c_pΔexpand(s_a))

c^r＝relu(c_p+c”)

其中，Δ代表张量的相对位置元素相乘，expand(*)为维度扩展，c”代表文本序列和注意力矩阵融合后的结果。

具体地，如图2所示，将h'_e中的元素分开处理，然后相加后取平均值；对注意力矩阵进行扩展处理，使得矩阵维度与原文本编码维度相同；对应位置元素相乘，保证了同一个单词的d维具有相同的注意力值，然后非线性处理后和原文本编码相加。

进一步地，步骤S5中提取其余方面目标信息中的特征信息表示为O'＝{o'₁,o'₂,...,o'_t)，对其进行处理，处理函数如下，

g'_o＝W_o*o_e+b_o

l_o＝sigmoid(conv(c')+g'_o)

其中，W_o和b_o为模型参数，l_o为其余方面目标提取到的信息特征，o_e代表多个其余目标方面提取到的特征信息均值化操作的结果，g'_o代表o_e加上权值参数后的结果。

具体地，其余方面目标的特征由提取待预测方面目标中信息的方式对其余方面目标进行处理而得到，并对其进行均值化处理，然后利用卷积操作对词向量编码后的文本向量进行处理，然后将二者进行叠加，最后利用sigmoid函数进行非线性处理。

进一步地，步骤S5中得到最终面向方面级情感分析的特征的处理公式为，

h_c＝tan(conv(c^r))

h'_c＝tan(conv(c^r)+g')-l_o

g'＝W_g*h_e+b_g

h_o＝maxpool(h_c×h'_c)

其中，其中，W_g和b_g为模型参数，h_e为利用k个不同卷积核得到并在原维度上进行叠加得到的h_e∈R^(k*f)，h_c代表对经过注意力机制处理后的文本序列进行卷积操作，g'代表待预测的方面信息加上权值参数后的输出，h_c'代表在提取到的文本信息和待预测的方面信息进行融合同时从其中过滤掉其余方面的信息，h_o代表将通过注意力机制提取到的文本信息和过滤后的文本信息进行融合，并使用最大池化层来提取特征信息。

具体地，对通过残差注意力机制得到的文本编码和待预测方面目标提取到的特征进行整合，然后过滤掉其余方面目标提取到的特征，使用最大池化层对特征进行降维，使用全连接层对最终的特征表示进行处理。

进一步地，步骤S6中得到最终结果的处理公式为，

h_m＝tan(W_m·h_o+b_m)

其中，W_m和b_m为模型参数，h_m代表模型最后一个分类层的输出。

具体地，提取符合任务输出需求的更高级特征，然后使用softmax函数对特征进行归一化处理，再利用argmax函数得到最终的情感分类结果。

Claims (1)

1.一种基于残差注意力的方面级情感分析方法，其特征在于，所述方面级情感分析方法包括以下步骤：

S1：对输入的文本和所有的方面目标信息进行编码，将文本和所有的方面目标信息转变成张量形式，得到文本编码；其中设定输入的文本集合为包含n个单词，文本序列的向量表示为c'∈R^n×d；设定待预测的方面目标集合为/>包含m个单词，待预测方面目标的向量表示为a'∈R^m×d；设定其余方面目标集合为O＝{o₁,o₂,...,o_t}，共包含t个其余方面目标，/>代表其余方面目标集合中的第i个，包含l_i个单词，第i个其余方面目标的向量表示为/>其中d为词向量的维度；

S2：利用相对位置编码函数对待预测的方面目标在文本中的相对位置信息进行编码，并将得到的位置编码与S1中得到的文本编码进行融合；相对位置编码函数为：

将位置编码融入到文本编码中的得到融合了位置信息的文本编码函数为：

c_p＝c'Δexpand(p)

其中，i和j分别代表待预测方面目标首末单词在文中的位置,r和rl是以待预测方面为界，右半文本中离方面目标最近一个其余方面目标的首单词索引以及长度；p∈R^n×1是整个文本相对于待预测方面的位置编码，Δ代表张量的相对位置元素相乘，c_p∈R^n×d就是融合了位置信息的文本编码，expand(*)为维度扩展；

S3：利用注意力机制对待预测的方面目标和步骤S2中融入位置编码的文本编码进行处理；

对待预测的方面目标的处理公式为：

h_a＝tan(Conv1d(a'|e,f,q,p,s))

h′_a＝MaxPool1d(h_a|s')

其中，e、f、q、p、s和s'分别是卷积和池化操作的参数，h_a、h′_a分别代表卷积操作后的输出以及最大池化层操作后的输出；

对融入位置编码的文本编码进行处理的公式为：

h_i＝W_c·(c_p)^T+b_c

其中W_a∈R^f×f,b_a∈R^f×1,W_C∈R^f×d,b_c∈R^f×1是模型参数，S_a∈R^n×1是注意力机制得到的注意力矩阵，k为卷积核的数量值，为利用k个卷积核得到的输出/>h_i代表文本序列加上加上权值参数后的输出，f_i代表k个卷积核得到的输出加上权值参数后的结果；

然后对注意力矩阵进行处理公式为：

c”＝tan(c_pΔexpand(s_a))

c^r＝relu(c_p+c”)

其中，Δ代表张量的相对位置元素相乘，expand(*)为维度扩展，c”代表文本序列和注意力矩阵融合后的结果；

S4：利用残差机制将S3中处理后得到的编码与融入位置信息的文本编码进行结合，作为融合待预测方面目标信息的文本编码；

S5：利用卷积神经网络提取其余方面目标中的特征信息，与步骤S1中得到的文本编码进行交互处理，然后从步骤S4得到的文本编码中过滤，得到最终面向方面级情感分析的特征；

提取其余方面目标信息中的特征信息表示为O'＝{o′₁,o′₂,...,o′_t}，对其进行处理，处理函数如下：

g′_o＝W_o*o_e+b_o

l_o＝sigmoid(conv(c')+g′_o)

其中，W_o和b_o为模型参数，l_o为其余方面目标提取到的信息特征，o_e代表多个其余目标方面提取到的特征信息均值化操作的结果，g′_o代表o_e加上权值参数后的结果；

得到最终面向方面级情感分析的特征的处理公式为：

h_c＝tan(conv(c^r))

h′_c＝tan(conv(c^r)+g')-l_o

g'＝W_g*h_e+b_g

h_o＝maxpool(h_c×h′_c)

其中，W_g和b_g为模型参数，h_e为利用k个不同卷积核得到并在原维度上进行叠加得到的h_e∈R^(k*f)，h_c代表对经过注意力机制处理后的文本序列进行卷积操作，g'代表待预测的方面信息加上权值参数后的输出，h′_c代表在提取到的文本信息和待预测的方面信息进行融合同时从其中过滤掉其余方面的信息，h_o代表将通过注意力机制提取到的文本信息和过滤后的文本信息进行融合，并使用最大池化层来提取特征信息；

S6：利用最大池化层、全连接层和Softmax层对步骤S5过滤后的文本编码进行处理，得到最终结果，得到最终结果的处理公式为：

h_m＝tan(W_m·h_o+b_m)

其中，W_m和b_m为模型参数。