CN113792541A - 一种引入互信息正则化器的方面级情感分析方法 - Google Patents

Abstract

本发明涉及一种引入互信息正则化器的方面级情感分析方法，包括以下步骤：步骤S1:获取待进行情感分析的句子及方面项，并预处理，步骤S2:构建深度学习情感分析模型；步骤S3:将预处理后的待进行情感分析的文本输入深度学习情感分析模型中，得到最终的情感极性分类结果。本发明能够提高对句子中的方面项情感分类的准确度。

Description

一种引入互信息正则化器的方面级情感分析方法

技术领域

本发明涉及涉及自然语言处理技术领域，特别是涉及一种引入互信息正则化器的方面级情感分析方法。

背景技术

随着互联网技术的发展，人们越来越倾向于在网络上发表自己的观点和看法。通过观点挖掘，获取到的有效信息能够为人们决策提供参考。情感分析旨在研究获取对人物、事件、产品和服务的观点信息，比如情感、态度、评估等。文本情感分析，是自然语言处理领域的热门研究方向，主要针对文本中包含的观点所带有的情感信息进行处理、归纳、分析和推理。按照分析粒度划分，现有的文本情感分析方法一般分为三种：篇章级情感分析、句子级情感分析和方面级情感分析。篇章级和句子级情感分析通过对整个篇章或句子进行分析，确定篇章或句子的整体情感极性。然而，在一段文本或者单一句子中，可能存在多个实体以及实体各自对应的情感观点。在实际应用中，篇章级和句子级因自身粒度局限性无法准确判定文本的情感极性。例如，“The food of this restaurant is delicious,whilethe service is bad”，文本中的“food”和“service”两个方面的情感极性是相反的。

方面级情感分析(Aspect-based Sentiment analysis)，旨在对文本中出现的“方面”进行情感分析，“方面”指的是实体或者实体的属性。方面级情感分析关注的观点范围更小，能够更加全面、准确地对文本观点进行情感分析。该方法的任务目标是找到评价的方面以及正确判断其情感极性。方面级情感分析分为四个子任务，分别是方面提取、方面类别提取、方面极性分类、方面类别极性分类。其中，方面极性分类是对已经提取出的方面进行情感极性的分类，分为正向、负向和中性。在上例中，方面级情感分析方法根据“food”对应的意见词“delicious”和“service”对应的意见词“bad”，自动判别“food”和“service”的情感极性为正向和负向。

发明内容

有鉴于此，本发明的目的在于提供一种引入互信息正则化器的方面级情感分析方法,能够提高对句子中的方面项情感分类的准确度。

为实现上述目的，本发明采用如下技术方案：

一种引入互信息正则化器的方面级情感分析方法，包括以下步骤：

步骤S1:获取待进行情感分析的句子及方面项，并预处理；

步骤S2:构建深度学习情感分析模型；

步骤S3:将预处理后的待进行情感分析的文本输入深度学习情感分析模型中，得到最终的情感极性分类结果。

进一步的，所述步骤S1具体为：

获取待进行方面情感分析的句子，以及该句子中待进行情感分析的方面项；

对所述待进行方面情感分析的句子以及方面词进行预处理，构建BERT的输入格式。

进一步的，所述BERT模型的输入为单个句子或者句子对；在构建文本输入序列时，在文本上添加两个特殊符号，分别是[CLS]和[SEP]；

其中，[CLS]全称为Classification Token，放在单句句首，如果输入为句子对，将其放在第一个句子的句首；该符号的最终表示可以用于下游分类任务；[SEP]全称为Special Token，放在每个句子句尾，用于标识句子的结尾；构建三种文本输入序列如下：

1)构建句子对输入文本序列为：

Inputs[0]：[CLS]+sentence+[SEP]+aspect+[SEP]；

2)构建句子输入文本序列为：

Inputs[1]：[CLS]+sentence+[SEP]；

3)方面项中至少含有一个方面词，可构建方面项输入文本序列为：

Inputs[2]：[CLS]+aspect+[SEP]。

进一步的，所述深度学习情感分析模型包括预训练语言模型BERT，全连接层，以及构造的互信息正则化器。

进一步的，所述步骤S2具体为：

步骤S21:将预处理过后的句子对输入文本序列、句子输入文本序列和方面项输入文本序列输入预训练语言模型BERT中，将每个文本序列转换为含有上下文情感特征信息的隐藏状态向量；

步骤S22:将BERT模型的句子对输出的第一个符号[CLS]隐藏状态向量输入全连接层，得到最终的情感极性分类结果；

步骤S23:利用BERT模型的句子隐藏状态向量和方面项隐藏向量构造互信息正则化器；

步骤S24:建立总体损失函数，优化模型参数。

进一步的，所述步骤S21具体为：

1)BERT模型将输入的文本序列转入三个特征预处理层进行处理，分别是TokenEmbedding层、Segment Embedding层和Position Embedding层；

Token Embedding层：根据WordPiece算法创建的词汇表，得到句子中每个词的id，特殊地，未在表中的字符标识为[UNK],与特殊符号[CLS]和[SEP]一同记id为0，生成句子的Token Embedding；

Segment Embedding层：区分每一个词是属于句子A还是属于句子B，属于句子A标记为0，属于句子B标记为1，特殊地，[CLS]符号和第一个句子的结尾[SEP]标记为0，第二个句子以及第二个句子的结尾[SEP]符号标记为1。在(句子，方面项)句子对中，句子标记为0，方面项标记为1；

Position Embedding层：BERT利用该层来保留每个词在文本中的位置编码信息，先随机初始化每个词的位置向量，再通过后续模型训练，得到包含每个词位置信息的位置向量；

最后，将这三层Embedding输出相加得到下一个Transformer层的初始向量H₀＝{h₁,h₂,…,h_n}，输入BERT模型的下一个Transformer层；

2)BERT模型中使用N个Transformer的Encoder层来提取与待进行情感分析的方面项相关的情感特征，第一个Encoder层的输入为特征预处理层的输出H₀＝{h₁,h₂,…,h_n}，接下来的每一个Encoder层的输入为上一个Encoder层输出的隐藏状态，最后一个Encoder层的输出H_l＝{h₁,h₂,…,h_n}即为最终用于分类的句子向量；所述Encoder层使用多头注意力机制来提取情感特征；

3)通过Transformer层后，转入BertPooler层，该层包括全连接层和激活函数，取出句子[CLS]符号的隐藏状态，进行全连接和激活，得到的最终隐藏状态r用于分类。

进一步的，所述利用BERT模型学习句子对输入文本序列的最终向量表示，取句首[CLS]隐藏状态向量r作为全连接层的输入，得到最终的情感极性结果，计算该隐藏状态向量，得到分类结果公式如下：

y＝softmax(W^r·r+b)

其中，W^r为可学习的矩阵参数，b为偏置向量。

进一步的，所述步骤S23具体包括以下步骤：

B1:基于对抗网络的思想，构建正负样本集，训练分类器估算互信息；

B2:从全局角度，计算方面项与整个句子中除方面项外其它文本词之间的互信息，构建全局互信息目标函数；

B3:从局部角度，计算方面项和与其最靠近的局部文本词之间的互信息，构建局部互信息目标函数。

进一步的，所述步骤B2，具体为：

1)取方面项中的方面词向量H^a求和，设一个方面项中共有M个方面词，求和函数如下：

其中，sigmoid函数为激活函数，把值映射到(0-1)范围内；

2)从句子正样本集中取一个非方面项词向量x和方面项正样本集的求和向量y匹配构建正样本对(x,y)；

2)同样地，从句子负样本集中取一个非方面项词向量

和方面项负样本集的求和向量

与正样本词向量x和y分别匹配构建负样本对

和

4)构建全局互信息的目标函数如下：

进一步的，所述步骤S24具体为：

1)BERT模型训练过程中使用交叉熵损失函数作为代价函数，计算公式如下：

其中，B代表处理批次大小，d_p代表情感分类类别数，

代表预测值，y为真实值；

2)结合全局和局部互信息目标函数，建立互信息正则化器损失函数如下：

其中，α和β为模型的超参数；

3)结合BERT模型和互信息正则化器，并引入L2正则化项，建立总体损失函数如下：

L_total＝L_s+λL_MIMax+λ′|||Θ||₂

其中，λ代表互信息正则化项权重系数，λ′代表L2正则化项权重系数，Θ代表所有可训练参数集合。

一种引入互信息正则化器的方面级情感分析系统，采用一种引入互信息正则化器的方面级情感分析方法，包括读取数据模块、数据预处理模块、情感分析模块，互信息正则化器模块，

读取数据模块：读取数据集中待进行情感分析的句子和对应的待进行情感分析的方面项。

数据预处理模块：将待进行情感分析的句子和方面项进行分词处理，并构建初始文本输入序列。再微调成BERT模型的输入序列格式，得到句子对输入向量序列、句子输入向量序列和方面项输入向量序列。所述输入向量序列为文本输入序列根据单词表构建的向量序列，能够表征文本的初始特征并被深度神经学习网络识别。

情感分析模块：将所述句子对输入向量序列通过BERT模型的训练学习，BERT模型输出[CLS]符号的向量表示，该向量表示可以作为表征句子对(句子，方面项)整体特征信息的输出向量序列用于分类任务。将所述[CLS]输出向量序列喂入全连接层，得到最终的情感极性分类结果。

互信息正则化器模块：构建正负样本集，通过全局和局部角度，分别计算并最大化所述待进行情感分析的句子中非方面项文本词和方面项中的方面词之间的互信息，加深方面词和意见词之间的关联，训练互信息正则化器，帮助模型正确识别待进行情感分析的方面项情感类别。所述情感类别包括：正向类、负向类、中性类。

本发明能够提高对句子中的方面项情感分类的准确度。

附图说明

图1是本发明方法流程图；

图2是本发明一实施例中的引入互信息正则化器的方面级情感分析模型框架图；

图3是本发明一实施例中的构建互信息正则化器中构建正负样本方法示意图。

具体实施方式

下面结合附图及实施例对本发明做进一步说明。

本发明提出了一种引入互信息正则化器的方面级情感分析方法，如图1和图2所示，包括以下步骤：

步骤S1、获取待进行方面情感分析的句子，以及该句子中待进行情感分析的方面项，进行预处理，得到处理后的文本序列格式；

步骤S2、建立深度学习情感分析模型；

步骤S3:将待进行情感分析的文本输入该模型中，得到最终的情感极性分类结果；

其中，该深度学习情感分析模型包括预训练语言模型BERT，全连接层，以及构造的互信息正则化器。首先利用BERT模型得到所述待进行情感分析的文本隐藏向量，输入全连接层中得到最终的情感极性分类结果。其次，利用BERT模型的输出构造互信息正则化器，用于约束模型，使模型能够正确匹配所述待进行情感分析的方面项及其对应的意见词，缓解信息丢失问题，提高模型鲁棒性。最后，建立整个模型的总体损失函数，优化模型参数，提升模型对所述待进行情感分析句子及方面项的情感分类效果。

优选的，在本实施例中，步骤S1具体包括以下步骤：

对所述待进行方面情感分析的句子以及方面词进行预处理，构建BERT的输入格式。BERT模型的输入可以为单个句子或者句子对(句子A+句子B)。在构建文本输入序列时，需要在文本上添加两个特殊符号，分别是[CLS]和[SEP]。其中，[CLS]全称为Classification Token，放在单句句首，如果输入为句子对，将其放在第一个句子的句首。该符号的最终表示可以用于下游分类任务。[SEP]全称为Special Token，放在每个句子句尾，用于标识句子的结尾。构建三种所需输入文本序列如下：

1)构建句子对(句子-方面项)输入文本序列为：

Inputs[0]：[CLS]+sentence+[SEP]+aspect+[SEP]。

2)构建句子输入文本序列为：

Inputs[1]：[CLS]+sentence+[SEP]。

3)方面项中至少含有一个方面词，可构建方面项输入文本序列为：

Inputs[2]：[CLS]+aspect+[SEP]。

优选的，在本实施例中，步骤S2具体包括以下步骤：

步骤A1、将预处理过后的所述句子对输入文本序列、句子输入文本序列和方面项输入文本序列输入预训练语言模型BERT中，将每个文本序列转换为含有上下文情感特征信息的隐藏状态向量。

步骤A2、将BERT模型的句子对输出的第一个符号[CLS]隐藏状态向量输入全连接层，得到最终的情感极性分类结果。

步骤A3、利用BERT模型的句子隐藏状态向量和方面项隐藏向量构造互信息正则化器。

步骤A4、建立总体损失函数，优化模型参数。

优选的，在本实施例中，步骤A1具体包括以下步骤：

1)BERT模型将输入的文本序列转入三个特征预处理层进行处理，分别是TokenEmbedding层、Segment Embedding层和Position Embedding层。

Token Embedding层：根据WordPiece算法创建的词汇表，得到句子中每个词的id，特殊地，未在表中的字符标识为[UNK],与特殊符号[CLS]和[SEP]一同记id为0，生成句子的Token Embedding。

Segment Embedding层：区分每一个词是属于句子A还是属于句子B，属于句子A标记为0，属于句子B标记为1，特殊地，[CLS]符号和第一个句子的结尾[SEP]标记为0，第二个句子以及第二个句子的结尾[SEP]符号标记为1。在(句子，方面项)句子对中，句子标记为0，方面项标记为1。

Position Embedding层：BERT利用该层来保留每个词在文本中的位置编码信息，先随机初始化每个词的位置向量，再通过后续模型训练，得到包含每个词位置信息的位置向量。

最后，将这三层Embedding输出相加得到下一个Transformer层的初始向量H₀＝{h₁,h₂,…,h_n}，输入BERT模型的下一个Transformer层。

2)BERT模型中使用多个Transformer的Encoder层(以下简称为Transformer层)来提取与待进行情感分析的方面项相关的情感特征。该模型总共包括12个Encoder层，第一个Encoder层的输入为特征预处理层的输出H₀＝{h₁,h₂,…,h_n}，接下来的每一个Encoder层的输入为上一个Encoder层输出的隐藏状态，最后一个Encoder层的输出H_l＝{h₁,h₂,…,h_n}即为最终用于分类的句子向量。Encoder层主要使用多头注意力机制来提取情感特征。

多头注意力机制(Multi-Head Attention)通过计算文本中每个词的注意力分数，关注到文本的重要特征信息。多头注意力机制将文本向量划分成h个维度(也称h个头)，每个维度空间学习不同的特征，最后再结合每个维度空间学习的结果。多头注意力机制基于自注意力(Self-Attention)机制，学习的特征信息更丰富。多头注意力机制的计算公式如下：

Multihead(Q,K,V)＝Concat(head₁,…,head_h)W^MH

head_i＝Attention(Q,K,V)

Q,K,V＝f(H_j)

其中，Q、K和V分别代表Query向量、Key向量和Value向量。W^q、W^k、W^v为待学习的矩阵参数，上一个Encoder层的输出H_j通过这三个矩阵转换成Q、K、V三个向量用于计算注意力分数。d_k为隐藏层的维度除以h的值。连接每个维度学习到的向量并通过矩阵W^MH转换成最终的注意力向量，再通过Encoder层中的Intermediate层和BertOutput层整理输出，将其输入下一个Encoder层继续计算。

3)通过Transformer层后，转入BertPooler层，该层包括全连接层和激活函数，取出句子[CLS]符号的隐藏状态，进行全连接和激活，得到的最终隐藏状态r用于下游分类任务。

优选的，在本实施例中，步骤A2具体包括以下步骤：

利用BERT模型学习句子对输入文本序列的最终向量表示，取句首[CLS]隐藏状态向量r作为全连接层的输入，得到最终的情感极性结果(正向为1，负向为-1，中性为0)。计算该隐藏状态向量，得到分类结果公式如下：

y＝softmax(W^r·r+b)

其中，W^r为可学习的矩阵参数，b为偏置向量。

优选的，在本实施例中，步骤A3具体包括以下步骤：

互信息能够衡量两个随机变量X和Y之间的关联程度，两个变量之间的互信息越大，说明它们的关联程度越高。设随机变量(X,Y)的联合分布为p(X,Y)，边缘分布分别为p(X)和p(Y)，互信息是两个随机变量的联合分布和边缘分布积的相对熵，计算公式如下：

MI(X,Y)＝D_KL(p(X,Y)||p(X)p(Y))

其中，D_KL是联合分布p(X,Y)和边缘分布之积p(X)p(Y)之间的Kullback-Leibler(KL)散度，即相对熵。

待进行情感分析的句子通常有多个不同方面项，不同方面项的情感极性可能是相反的。因此要正确判别所述待进行情感分析的方面项的情感极性，需要加强方面项及其对应的意见词之间的关联程度。其中，所述意见词指描述方面项相关情感特征信息的文本词。综上，可以引入互信息知识，用于衡量并加强方面项和意见词之间的关联程度。

在实际情况中，计算随机变量间的互信息难以得到准确的值，只可得到估算值。由于目的在于加强方面项和意见词的关联程度，因此无需得到准确值，只需将方面项和意见词之间的互信息最大化即可。估算互信息可以通过构建正负样本，再建立正负样本的互信息目标函数，训练一个能够正确识别正负样本的分类器。互信息目标函数如下：

g(x,y)为分类双线性函数，通过神经网络的学习输出一个值，公式如下：

g(x,y)＝x^TW^gy

其中，W^g为可学习的模型参数。

该分类器可以作为深度学习情感分析模型的互信息正则化器，帮助模型学习到更深层信息，正确匹配待进行情感分析的方面项及其对应意见词。根据互信息估算公式，如何有效构建正负样本是构建互信息正则化器的关键。因此，为了更全面地学习到深层信息，综合全局和局部角度，构建合适的正负样本，最大化方面项中的方面词和句子中的意见词之间的互信息。

优选的，在本实施例中，步骤A3包括以下步骤，如图3所示：

步骤B1、基于对抗网络的思想，构建正负样本集，训练分类器估算互信息。

步骤B2、从全局角度，计算方面项与整个句子中除方面项外其它文本词之间的互信息，构建全局互信息目标函数。

步骤B3、从局部角度，计算方面项和与其最靠近的局部文本词之间的互信息，构建局部互信息目标函数。通常，待进行情感分析的方面项周围的文本词，以及方面项本身的方面词所携带的情感特征信息与该方面项相关的概率更高。

优选的，在本实施例中，步骤B1具体包括以下步骤：

构建正负样本集时，待进行情感分析的句子X以及该句子中待进行情感分析的方面词Y作为句子正样本集和方面项正样本集。在同一批处理的句子中，除待进行情感分析的句子和方面项外，随机选取一条句子作为干扰样本。干扰样本句子

及其对应的方面项

作为句子负样本集和方面项负样本集。样本集中的元素为句子和方面项经过BERT模型训练后得到的词向量。利用BERT模型学习句子和方面项输入文本序列的最终隐藏状态向量如下：

句子隐藏状态向量：

方面项隐藏状态向量：

为了区分正负样本集，将所述待进行情感分析的句子X和对应的待进行情感分析的方面项Y隐藏向量标注为

句子长度为n，方面项长度为m。同样地，将干扰样本句子

和对应的方面项隐藏向量

标注为

句子长度为q，方面项长度为p。

所述步骤B2具体包括以下步骤：

1)取方面项中的方面词向量H^a求和，设一个方面项中共有M个方面词，求和函数如下：

其中，sigmoid函数为激活函数，把值映射到(0-1)范围内。

2)从句子正样本集中取一个非方面项词向量x和方面项正样本集的求和向量y匹配构建正样本对(x,y)。

3)同样地，从句子负样本集中取一个非方面项词向量

和方面项负样本集的求和向量

与正样本词向量x和y分别匹配构建负样本对

和

4)构建全局互信息的目标函数如下：

优选的，在本实施例中，步骤B3具体包括以下步骤：

1)从方面项正样本集中取一个方面词向量y，再从句子正样本集中取与该方面词对应的位置距离长度为C范围内的一个非方面项词向量x，匹配构建正样本对(x,y)。

2)同样地，从方面项负样本集中取一个方面词向量

再从句子负样本集中取与该方面词对应的位置距离长度为C范围内的一个非方面项词向量

与正样本词向量x和y分别匹配构建负样本对

和

3)构建局部互信息的目标函数如下：

优选的，在本实施例中，步骤B4具体包括以下步骤：

1)BERT模型训练过程中使用交叉熵损失函数作为代价函数，计算公式如下：

其中，B代表处理批次大小，d_p代表情感分类类别数(正向、负向、中性)。

代表预测值，y为真实值。

2)结合全局和局部互信息目标函数，建立互信息正则化器损失函数如下：

其中，α和β为模型的超参数，值设为1和0.5。

3)结合BERT模型和互信息正则化器，并引入L2正则化项，建立总体损失函数如下：

L_total＝L_s+λL_MIMax+λ′||Θ||₂

其中，λ代表互信息正则化项权重系数，λ′代表L2正则化项权重系数，Θ代表所有可训练参数集合。

一种引入互信息正则化器的方面级情感分析系统，包括：

读取数据模块：读取数据集中待进行情感分析的句子和对应的待进行情感分析的方面项。

数据预处理模块：将待进行情感分析的句子和方面项进行分词处理，并构建初始文本输入序列。再微调成BERT模型的输入序列格式，得到句子对输入向量序列、句子输入向量序列和方面项输入向量序列。所述输入向量序列为文本输入序列根据单词表构建的向量序列，能够表征文本的初始特征并被深度神经学习网络识别。

情感分析模块：将所述句子对输入向量序列通过BERT模型的训练学习，BERT模型输出[CLS]符号的向量表示，该向量表示可以作为表征句子对(句子，方面项)整体特征信息的输出向量序列用于分类任务。将所述[CLS]输出向量序列喂入全连接层，得到最终的情感极性分类结果。

互信息正则化器模块：构建正负样本集，通过全局和局部角度，分别计算并最大化所述待进行情感分析的句子中非方面项文本词和方面项中的方面词之间的互信息，加深方面项和意见词之间的关联，训练互信息正则化器，帮助模型正确识别待进行情感分析的方面项情感类别。所述情感类别包括：正向类、负向类、中性类。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述，仅是本发明的较佳实施例而已，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例。但是凡是未脱离本发明技术方案内容,依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。

Claims (10)

1.一种引入互信息正则化器的方面级情感分析方法，其特征在于，包括以下步骤：

步骤S1:获取待进行情感分析的句子及方面项，并预处理；

步骤S2:构建深度学习情感分析模型；

步骤S3:将预处理后的待进行情感分析的文本输入深度学习情感分析模型中，得到最终的情感极性分类结果。

2.根据权利要求1所述的一种引入互信息正则化器的方面级情感分析方法，其特征在于，所述步骤S1具体为：

获取待进行方面情感分析的句子，以及该句子中待进行情感分析的方面项；

对所述待进行方面情感分析的句子以及方面词进行预处理，构建BERT的输入格式。

3.根据权利要求2所述的一种引入互信息正则化器的方面级情感分析方法，其特征在于，所述BERT模型的输入为单个句子或者句子对；在构建文本输入序列时，在文本上添加两个特殊符号，分别是[CLS]和[SEP]；

其中，[CLS]全称为Classification Token，放在单句句首，如果输入为句子对，将其放在第一个句子的句首；该符号的最终表示可以用于下游分类任务；[SEP]全称为SpecialToken，放在每个句子句尾，用于标识句子的结尾；构建三种文本输入序列如下：

1)构建句子对输入文本序列为：

Inputs[0]：[CLS]+sentence+[SEP]+aspect+[SEP]；

2)构建句子输入文本序列为：

Inputs[1]：[CLS]+sentence+[SEP]；

3)方面项中至少含有一个方面词，可构建方面项输入文本序列为：

Inputs[2]：[CLS]+aspect+[SEP]。

4.根据权利要求1所述的一种引入互信息正则化器的方面级情感分析方法，其特征在于，所述深度学习情感分析模型包括预训练语言模型BERT，全连接层，以及构造的互信息正则化器。

5.根据权利要求4所述的一种引入互信息正则化器的方面级情感分析方法，其特征在于，所述步骤S2具体为：

步骤S21:将预处理过后的句子对输入文本序列、句子输入文本序列和方面项输入文本序列输入预训练语言模型BERT中，将每个文本序列转换为含有上下文情感特征信息的隐藏状态向量；

步骤S22:将BERT模型的句子对输出的第一个符号[CLS]隐藏状态向量输入全连接层，得到最终的情感极性分类结果；

步骤S23:利用BERT模型的句子隐藏状态向量和方面项隐藏向量构造互信息正则化器；

步骤S24:建立总体损失函数，优化模型参数。

6.根据权利要求5所述的一种引入互信息正则化器的方面级情感分析方法，其特征在于，所述步骤S21具体为：

1)BERT模型将输入的文本序列转入三个特征预处理层进行处理，分别是TokenEmbedding层、Segment Embedding层和Position Embedding层；

Token Embedding层：根据WordPiece算法创建的词汇表，得到句子中每个词的id，特殊地，未在表中的字符标识为[UNK],与特殊符号[CLS]和[SEP]一同记id为0，生成句子的Token Embedding；

Segment Embedding层：区分每一个词是属于句子A还是属于句子B，属于句子A标记为0，属于句子B标记为1，特殊地，[CLS]符号和第一个句子的结尾[SEP]标记为0，第二个句子以及第二个句子的结尾[SEP]符号标记为1。在(句子，方面项)句子对中，句子标记为0，方面项标记为1；

Position Embedding层：BERT利用该层来保留每个词在文本中的位置编码信息，先随机初始化每个词的位置向量，再通过后续模型训练，得到包含每个词位置信息的位置向量；

最后，将这三层Embedding输出相加得到下一个Transformer层的初始向量H₀＝{h₁,h₂,…,h_n}，输入BERT模型的下一个Transformer层；

2)BERT模型中使用N个Transformer的Encoder层来提取与待进行情感分析的方面项相关的情感特征，第一个Encoder层的输入为特征预处理层的输出H₀＝{h₁,h₂,…,h_n}，接下来的每一个Encoder层的输入为上一个Encoder层输出的隐藏状态，最后一个Encoder层的输出H_l＝{h₁,h₂,…,h_n}即为最终用于分类的句子向量；所述Encoder层使用多头注意力机制来提取情感特征；

3)通过Transformer层后，转入BertPooler层，该层包括全连接层和激活函数，取出句子[CLS]符号的隐藏状态，进行全连接和激活，得到的最终隐藏状态r用于分类。

7.根据权利要求6所述的一种引入互信息正则化器的方面级情感分析方法，其特征在于，所述利用BERT模型学习句子对输入文本序列的最终向量表示，取句首[CLS]隐藏状态向量r作为全连接层的输入，得到最终的情感极性结果，计算该隐藏状态向量，得到分类结果公式如下：

y＝softmax(W^r·r+b)

其中，W^r为可学习的矩阵参数，b为偏置向量。

8.根据权利要求6所述的一种引入互信息正则化器的方面级情感分析方法，其特征在于，所述步骤S23具体包括以下步骤：

B1:基于对抗网络的思想，构建正负样本集，训练分类器估算互信息；

B2:从全局角度，计算方面项与整个句子中除方面项外其它文本词之间的互信息，构建全局互信息目标函数；

B3:从局部角度，计算方面项和与其最靠近的局部文本词之间的互信息，构建局部互信息目标函数。

9.根据权利要求8所述的一种引入互信息正则化器的方面级情感分析方法，其特征在于，所述步骤B2，具体为：

1)取方面项中的方面词向量H^a求和，设一个方面项中共有M个方面词，求和函数如下：

其中，sigmoid函数为激活函数，把值映射到(0-1)范围内；

2)从句子正样本集中取一个非方面项词向量x和方面项正样本集的求和向量y匹配构建正样本对(x,y)；

3)同样地，从句子负样本集中取一个非方面项词向量

和方面项负样本集的求和向量

与正样本词向量x和y分别匹配构建负样本对

和

4)构建全局互信息的目标函数如下：

10.根据权利要求5所述的一种引入互信息正则化器的方面级情感分析方法，其特征在于，所述步骤S24具体为：

1)BERT模型训练过程中使用交叉熵损失函数作为代价函数，计算公式如下：

其中，B代表处理批次大小，d_p代表情感分类类别数，

代表预测值，y为真实值；

2)结合全局和局部互信息目标函数，建立互信息正则化器损失函数如下：

其中，α和β为模型的超参数；

3)结合BERT模型和互信息正则化器，并引入L2正则化项，建立总体损失函数如下：

L_total＝L_s+λL_MIMax+λ′||Θ||₂

其中，λ代表互信息正则化项权重系数，λ′代表L2正则化项权重系数，Θ代表所有可训练参数集合。

Images