CN115905527A - 一种基于先验知识的bert模型的方面级情感分析方法 - Google Patents

Abstract

本发明提供了一种基于先验知识的BERT模型的方面级情感分析方法。该方法包括：获得多个方面情感对；将待分析语句和不同的方面情感对组合构成不同的输入文本；将每个输入文本输入方面级情感分析模型，方面级情感分析模型输出每个输入文本的情感分析结果，情感分析结果包括输入文本中待分析语句是否与方面情感对匹配的判断结果；方面级情感分析模型包括：词向量编码模块、第一全连接层、先验知识获取模块和特征融合模块。在方面级情感分析模型中加入先验知识获取模块获得先验知识向量，利用简单但有效的先验知识向量与语义特征向量相结合，让模型学习到充分的少样本类别，提升待分析语句与方面情感对是否匹配的判断效果。

Description

一种基于先验知识的BERT模型的方面级情感分析方法

技术领域

本发明涉及自然语言处理及人工智能领域，特别是涉及一种基于先验知识的BERT模型的方面级情感分析方法。

背景技术

在机器学习与深度学习领域的交叉融合发展下，文本情感分析已经成为了自然语言处理领域的研究热点与难点。文本情感分析按粒度大小划分为三类，分别是文档级(Document-Level)、句子级(Sentence-Level)以及方面级(Aspect-Level)文本情感分析，其中情感极性可包括多种，一般包括三种，分别为积极(Positive)、消极(Negative)和中性(Neutral)。有大量的文本情感分析论文表明，文档级和句子级分析的粒度较大，而句子中的情感可能是复杂和多样的，所以这两类研究不能完整的反应句子中所表达的情感，从而导致情感分析任务的失败。因此，采用方面级情感分析(Aspect-Based SentimentAnalysis,ABSA)来挖掘和分析句子中每个实体及其对应各个方面的情感更具有应用价值，例如：“The food is great but the environment is bad！”这句话中包含方面FOOD#QUALITY和RESTAURANT#GENERAL两个方面，对应的目标分别为“food”和“environment”，所表示出的情感分别为“Positive”和“Negative”，可以观察到一个句子所涉及到的两个方面的情感完全是相反的，这也是ABSA任务的挑战所在。

近年来，ABSA任务受到了越来越多的研究者关注，其中国际语义评测大会(SemEval)连续多年都发布了ABSA相关的竞赛任务，其中SemEval-2015任务12和SemEval-2016任务5两个任务是最完整难度最大的ABSA任务，其目的是从句子中识别出所有的目标-方面-情感信息。其中目标(Target)由句子中的连续单词组成，方面(Aspect)来自预定义的词汇，情感(Sentiment)是方面-目标相对应的情感极性。主要的挑战是情感实际上取决于目标和方面的组合，而现有的大多数研究都没有处理过目标-方面的情感倾向的双重依赖。

目前方面级的情感分析方法大致有两类。第一类是基于规则和情感词典的方法，其主要是利用人为构建的情感词典和语义规则来提取文本中各方面目标所对应的情感词，然后对情感词典中情感词对应的分值进行统计，得出方面情感的最终得分。例如中国专利CN112860901A中公开了一种融合情感词典的情感分析方法及装置，利用现有的人为构建词典的方法，获取源领域的情感词典，然后利用情感词典中模糊后的句子输入到语言模型中获得词向量，得到情感特征的编码器。这种方法需要耗费大量的成本去构建准确且全面的情感词典，并且要定义复杂的语义语法规则，如否定词、程度副词等，同时这种方法只能面向特定的领域，如果要应用到其他的领域中，则需要构建不同的情感词典和规则，迁移能力差且情感分析效果并不明显。

另一类则是基于神经网络的方法。这种方法主要使用各类改进的神经网络模型对文本进行分析建模，而后在语料库上训练模型，最后利用训练好的模型对待处理的文本进行分析。专利CN113535904A公开了一种基于图神经网络的方面级情感分析方法，首先将输入文本输入BERT语言模型转化为向量表示，然后获取输入文本中各个句子之间的上下文关系，然后基于多跳注意力图神经网络来进行语义特征提取，最后通过最大池化和softmax函数获得最终的情感预测。然而此类方法大多数都只能检测基于方面术语或方面类别的情感分析，对于更细粒度的情感分析还缺少研究。

目前公开的方面级情感分析专利和文献中，并没有细粒度的目标-方面-情感三元组(即(Target,Aspect,Sentiment))提取任务。故此，本领域亟待一种解决此类问题的方面级情感分析方法。

发明内容

本发明旨在至少解决现有技术中存在的技术问题，特别创新地提出了基于先验知识的BERT模型的方面级情感分析方法。

为了实现本发明的上述目的，根据本发明的第一个方面，本发明提供了一种基于先验知识的BERT模型的方面级情感分析方法，包括：设置N个方面和M个情感，将方面分别与不同的情感组合获得多个方面情感对，所述N和M均为正整数；获取待分析语句，将所述待分析语句和不同的方面情感对组合构成不同的输入文本；将每个输入文本输入方面级情感分析模型，所述方面级情感分析模型输出每个输入文本的情感分析结果，所述情感分析结果包括输入文本中待分析语句是否与方面情感对匹配的判断结果；所述方面级情感分析模型包括：词向量编码模块，被配置为对输入文本进行词嵌入处理，对词嵌入处理结果进行编码处理获得所述输入文本的语义信息；第一全连接层，被配置为基于所述语义信息获得语义特征向量；先验知识获取模块，被配置为获取所有输入文本中待分析语句与方面情感对匹配的先验知识，基于所述先验知识获得先验知识向量；特征融合模块，被配置为结合语义特征向量和先验知识向量判断待分析语句是否与方面情感对匹配。

上述技术方案：通过构建多个方面情感对，利用方面级情感分析模型逐次判断每个方面情感对与待分析语句是否匹配，进而得到情感分析结果。现有技术中由于一个待分析语句中大多包括2个目标词语，因此在待分析语句与方面情感对组合生成的多个输入文本中，可能待分析语句最多与两个方面情感对匹配，这样在模型训练时会出现正、负样本数量不平衡问题，因此在方面级情感分析模型中加入先验知识获取模块获得先验知识向量，利用简单但有效的先验知识向量与语义特征向量相结合，预先获取不平衡样本类别之间的比例，让模型学习到充分的少样本类别，提升待分析语句与方面情感对是否匹配的判断效果。

在本发明的一种优选实施方式中，所述特征融合模块的具体执行过程为：融合语义特征向量和先验知识向量获得第一向量；将第一向量输入第一激活函数获得输入文本中待分析语句是否与方面情感对匹配的判断结果的概率分布向量。

上述技术方案：将先验知识向量与语义特征向量相结合，提升待分析语句与方面情感对是否匹配的判断效果。

在本发明的一种优选实施方式中，所述输入文本中待分析语句是否与方面情感对匹配的判断结果的概率分布向量g为：g＝softmax(P_[CLS]+τ·logP(y))∈R²；其中，R²表示二维实数向量集合；P_[CLS]表示语义特征向量；P(y)表示先验知识向量；τ表示预设的调节参数；第一激活函数为softmax函数。

上述技术方案：设置调节参数τ来灵活平衡语义特征向量和先验知识向量。

在本发明的一种优选实施方式中，所述情感分析结果还包括目标词语标注结果；所述词向量编码模块还被配置为对词嵌入处理结果进行编码处理获得输入文本中待分析语句所有单词的词向量；所述方面级情感分析模型还包括：第二全连接层，被配置为基于所述词向量获取单词特征向量；解码标注模块，被配置为执行：当特征融合模块输出的判断结果为待分析语句与方面情感对匹配时，则对待分析语句的所有单词特征向量进行解码获得解码序列，并在解码序列中标记出目标词语位置获得标记序列；当特征融合模块输出的判断结果为待分析语句与方面情感对不匹配时，输出匹配失败。

上述技术方案：通过解码标注模块对待分析语句中的目标词语进行检测并获得解码序列，基于解码序列和目标词语获得标记序列，实现了多任务输出，标记序列丰富了情感分析结果，使情感分析结果更为细致具体。

在本发明的一种优选实施方式中，所述情感分析结果还包括目标词语标注结果；所述词向量编码模块还被配置为对词嵌入处理结果进行编码处理获得输入文本中待分析语句所有单词的词向量；所述方面级情感分析模型还包括：第二全连接层，被配置为基于所述词向量获取单词特征向量；长短期记忆网络，被配置为获取表征第二全连接层输出的单词特征向量与输入文本中方面情感对关联程度的LSTM隐藏状态；第三全连接层，被配置为基于待分析语句单词的LSTM隐藏状态获取该单词的LSTM隐藏特征向量；解码标注模块，被配置为执行：当特征融合模块输出的判断结果为待分析语句与方面情感对匹配时，则对待分析语句所有单词的LSTM隐藏特征向量进行解码获得解码序列，并在解码序列中标记出目标词语位置获得标记序列；当特征融合模块输出的判断结果为待分析语句与方面情感对不匹配时，输出匹配失败。

上述技术方案：通过长短期记忆网络学习到目标词语与方面情感对关联程度的长期关联记忆，从而确保在待分析语句中具有多个目标词语能和相应的方面情感对关联，避免待分析语句为长句时目标词语与方面情感对信息缺失的问题，提升方面级文本情感分析效果，将长短期记忆网络输出结果输入解码标注模块获取标记序列和与方面情感对匹配的准确的目标词语，与特征融合模块结合实现了多任务联合方面级情感分析，能够显著提升方面级文本分析效果。

在本发明的一种优选实施方式中，当所述目标词语大于一个时，在解码序列中标记出与方面情感对关联程度最高的目标词语位置获得标记序列；或者，在解码序列中标记出与方面情感对关联程度大于关联阈值的目标词语位置获得标记序列。

上述技术方案：使得目标词语位置获取更准确，提升情感分析效果。

在本发明的一种优选实施方式中，待分析语句中第i个单词的LSTM隐藏特征向量为：Logit_i＝tanh(W₃h_i+b₃)，其中，tanh(·)表示第三全连接层的tanh激活函数，1≤i≤n，n表示待分析语句的单词总数，W₃表示第三全连接层的权重向量，b₃表示第三全连接层的偏置向量，h_i表示第i个单词的LSTM隐藏状态。

上述技术方案：将单词的LSTM隐藏状态引入情感分析，能够提升情感分析效果。

在本发明的一种优选实施方式中，当特征融合层输出的判断结果为待分析语句与方面情感对匹配时，所述情感分析结果还包括目标词语、方面、情感组成的三元组；其中，所述目标词语为待分析语句中位置与标记序列中标记的目标词语位置对应的单词。

上述技术方案：准确地提取目标词语、方面、情感三元组，能够很好地分析多方面文本的情感。

为了实现本发明的上述目的，根据本发明的第二个方面，本发明提供了一种方面级情感分析装置，包括：初始化模块，设置N个方面和M个情感，将方面分别与不同的情感组合获得多个方面情感对，所述N和M均为正整数；输入文本构建模块，获取待分析语句，将所述待分析语句和不同的方面情感对组合构成不同的输入文本；分析模块，将每个输入文本输入方面级情感分析模型，所述方面级情感分析模型输出每个输入文本的情感分析结果，所述情感分析结果包括输入文本中待分析语句是否与方面情感对匹配的判断结果；所述方面级情感分析模型包括：词向量编码模块，被配置为对输入文本进行词嵌入处理，对词嵌入处理结果进行编码处理获得所述输入文本的语义信息；第一全连接层，被配置为基于所述语义信息获得语义特征向量；先验知识获取模块，被配置为获取所有输入文本中待分析语句与方面情感对匹配的先验知识，基于所述先验知识获得先验知识向量；特征融合模块，被配置为结合语义特征向量和先验知识向量判断待分析语句是否与方面情感对匹配。

为了实现本发明的上述目的，根据本发明的第三个方面，本发明提供了一种存储有计算机指令的计算机可读存储介质，当所述计算机指令被一个或多个处理器执行时，致使所述一个或多个处理器执行本发明第一方面所述方法中的步骤。

附图说明

图1是本发明实施例1中流程示意图；

图2是本发明实施例3中的方面级情感分析模型的结构示意图；

图3是本发明实施例3中长句子中目标词语与方面情感对关联信息示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

在本发明的描述中，需要理解的是，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

在本发明的描述中，除非另有规定和限定，需要说明的是，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是机械连接或电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

实施例1

本实施例公开了一种基于先验知识的BERT模型的方面级情感分析方法，如图1所示，该方法包括：

步骤S1，设置N个方面和M个情感，将方面分别与不同的情感组合获得多个方面情感对,N和M均为正整数。方面是指用户自定义的多个目标的总称。可预先设定多个方面，方面可为总体环境(ambience general)、总体服务(service general)、食物质量(foodquality)、食物价格(food prices)等。每个方面包括多个目标，比如方面总体环境(ambience general)可包括地板、桌椅、声音、噪音、光线等目标，每个目标的实际词语可能有多种形式，比如地板的目标词语可为瓷砖、木地板、水泥地等。总体服务(servicegeneral)可包括服务员态度、优惠项目、上菜速度等目标。情感可包括多个分类，可根据细粒度要求越高设置分类数量越多，如情感包括三个分类时可以是positive(好)，negative(差)，neutral(中性)。方面情感对是指方面+情感的组合，比如总体环境好、总体服务好、食物质量差等。方面情感对为方面+情感，如为service general positive、food qualitynegative等。

步骤S2，获取待分析语句，将待分析语句和不同的方面情感对组合构成不同的输入文本。优选地，为减少运算量，可以将与待分析语句相关的方面情感对与其匹配构建输入文本。当待分析语句为“Nice atmosphere,the service was very pleasant and thedesert was good.”时,在该待分析语句后面缀上不同的方面情感对获得多个输入文本，如图2所示。

步骤S3，将每个输入文本输入方面级情感分析模型，方面级情感分析模型输出每个输入文本的情感分析结果，情感分析结果包括输入文本中待分析语句是否与方面情感对匹配的判断结果。如图2所示，在输入文本输入方面级情感分析模型之前，需要进行预处理，以匹配词向量编码模块的输入数据格式，如当词向量编码模块为Bert词嵌入模型时，如图2所示，将输入文本构造为：[CLS]+句子+[SEP]+方面情感对(Aspect，Sentiment)+[SEP]，其中[CLS]和[SEP]是BERT词嵌入模型中的一种特殊标签，[CLS]代表文本的整体语义表示，用于情感分类，[SEP]代表当输入为两个文本时，使用该符号将两段文本分开。待分析语句的句子长度被定义为单词的个数n，输入文本的长度为句子中单词的数量n加上长度为3的方面情感对，以及3个特殊的BERT标签，因此整个输入的长度为n+6。

在本实施例中，方面级情感分析模型包括：

词向量编码模块，被配置为对输入文本进行词嵌入处理，对词嵌入处理结果进行编码处理获得输入文本的语义信息。词向量编码模块优选但不限于为BERT词嵌入模块，对输入文本进行词嵌入处理，包括符号(Token)嵌入、片段(Segment)嵌入、位置(Position)嵌入，分别获得对应的单词矩阵、片段矩阵、位置矩阵。将构造好的输入文本输入词向量编码模块进行编码获得d维的语义信息E_[CLS]。

第一全连接层，被配置为基于语义信息获得语义特征向量。第一全连接层对语义信息E_[CLS]进行维度转换，获得语义特征向量P_[CLS]，P_[CLS]＝tanh(W₁E_[CLS]+b₁)，其中，第一全连接层的激活函数为tanh(·),W₁表示第一全连接层的权重向量，W₁∈R^d×2，即W₁的维度为d×2。b₁表示第一全连接层的偏置向量，b₁∈R²，b₁的维度为2。

先验知识获取模块，被配置为获取所有输入文本中待分析语句与方面情感对匹配的先验知识，基于先验知识获得先验知识向量。设置一个匹配标签，匹配标签包括“YES”和“NO”，分别代表匹配和不匹配。因为在对同一待分析语句构建多个输入样本时，扩充了数据，而实际中一个待分析语句里面的目标数量有限，如大多数为两个时，其实只有两个输入文本获得“YES”标签，余下的均为“NO”标签，这样导致输入样本中的“YES”和“NO”标签数量之比变得极端不平衡，即正、负样本不平衡。为了改善该不平衡问题，设置先验知识获取模块，提取多个输入文本中的“YES”和“NO”标签数量之比，将该比例作为先验知识向量P(y)，先验知识向量P(y)为二维的、分别表示“YES”和“NO”标签对应的输入文本的占比。先验知识向量P(y)可通过经验估计获得。

特征融合模块，被配置为结合语义特征向量和先验知识向量判断待分析语句是否与方面情感对匹配。

在本实施例中，优选地，特征融合模块的具体执行过程为：

步骤A，融合语义特征向量和先验知识向量获得第一向量，融合方式优选但不限于为向量相加。

步骤B，将第一向量输入第一激活函数获得输入文本中待分析语句是否与方面情感对匹配的判断结果的概率分布向量。第一激活函数优选但不限于为softmax或sigmoid函数。

在本实施例中，进一步优选地，输入文本中待分析语句是否与方面情感对匹配的判断结果的概率分布向量g为：

g＝softmax(P_[CLS]+τ·logP(y))∈R²；其中，R²表示二维实数向量集合；P_[CLS]表示语义特征向量；P(y)表示先验知识向量；τ表示预设的调节参数，τ的取值范围优选但不限于为0到3之间，为超参数，可根据模型训练获得；第一激活函数为softmax函数。概率分布向量g为二维向量，分别表示待分析语句与方面情感对匹配“YES”和不匹配“NO”的概率。若YES的概率大于NO的概率，则判断结果为YES，情感分析结果输出YES；若YES的概率小于等于NO的概率，则判断结果为NO，情感分析结果输出NO。

实施例2

本实施例也公开了一种基于先验知识的BERT模型的方面级情感分析方法，本实施例与实施例1相比具有一下区别点：情感分析结果还包括目标词语标注结果；词向量编码模块还被配置为对词嵌入处理结果进行编码处理获得输入文本中待分析语句所有单词的词向量；以及方面级情感分析模型还包括：第二全连接层，被配置为基于词向量获取单词特征向量；解码标注模块，被配置为执行：当特征融合模块输出的判断结果为待分析语句与方面情感对匹配时，则对待分析语句的所有单词特征向量进行解码获得解码序列，并在解码序列中标记出目标词语位置获得标记序列，如图2所示的序列；当特征融合模块输出的判断结果为待分析语句与方面情感对不匹配时，输出匹配失败，具体形式可为输出“NO”。

在本实施例中，解码标注模块优选但不限于为现有的条件随机(CRF)场解码器。为便于观察，解码标注模块可采用如下方式进行标记：将解码序列中目标词语位置处的元素赋值为第一数值，将解码序列中非目标词语位置处的元素赋值为第二数值，第一数值与第二数值不同。第一数值优选但不限于为字符，如字符B。第二数值优选但不限于为字符，如字符O。当特征融合层输出的判断结果为待分析语句与方面情感对匹配时,解码标注模块能够从待分析语句中识别到目标词语时，标记序列可为：O B O O O O O O O O O O O，B的位置为目标词语位置,情感识别结果可为：YES O B O O O O O O O O O O O；当解码标注模块不能够从待分析语句中识别到目标词语时，即这时为隐含目标场景，标记序列可为：O O OO O O O O O O O O O，情感识别结果可为：YES O O O O O O O O O O O O O。当特征融合层输出的判断结果为待分析语句不与方面情感对匹配时(即NO)，不对待分析语句的单词特征向量处理。

在本实施例中，词向量编码模块还输出待分析语句n个单词的词向量E₁,...,E_n，n个词向量输入第二全连接层，获得n个单词特征向量，设第i个单词特征向量为P_i：P_i＝tanh(W₂E_i+b₂)，E_i表示第i个词向量。W₂表示第二全连接层的权重向量，W₂∈R^d×n，即W₂的维度为d×n。b₂表示第一全连接层的偏置向量，b₂∈Rⁿ，b₂的维度为n。R表示实数。

实施例3

本实施例也公开了一种基于先验知识的BERT模型的方面级情感分析方法，本实施例与实施例1相比具有一下区别点：情感分析结果还包括目标词语标注结果；词向量编码模块还被配置为对词嵌入处理结果进行编码处理获得输入文本中待分析语句所有单词的词向量；如图2所示，方面级情感分析模型还包括：第二全连接层，被配置为基于词向量获取单词特征向量；长短期记忆网络，被配置为获取表征第二全连接层输出的单词特征向量与输入文本中方面情感对关联程度的LSTM隐藏状态；第三全连接层，被配置为基于待分析语句单词的LSTM隐藏状态获取该单词的LSTM隐藏特征向量；解码标注模块，被配置为执行：当特征融合模块输出的判断结果为待分析语句与方面情感对匹配时，则对待分析语句所有单词的LSTM隐藏特征向量进行解码获得解码序列，并在解码序列中标记出目标词语位置获得标记序列；当特征融合模块输出的判断结果为待分析语句与方面情感对不匹配时，输出匹配失败。

在本实施方式中，词向量编码模块获取待分析语句的词向量，第二全连接层基于词向量获取单词特征向量，以及解码标注模块的具体工作过程和原理已在实施例2中进行了详细说明，在此不再赘述。

在本实施例中，长短期记忆网络优选但不限于为多层的双向长短期记忆网络Bi-LSTM。考虑到句子过长可能会导致句子中的目标词语Target与方面情感对(Aspect，Sentiment)二元组失去关联，因此引入多层的双向长短期记忆网络(Bi-LSTM)来捕捉两者之间的长期语义关联，如图3所示，实际上，长短期记忆网络获取待分析语句中每个单词与方面情感对的关联程度，具体实施过程可参考现有技术中如网址https://blog.csdn.net/u013963380/article/details/108170686中公开的技术方案，在此不再赘述。

在本实施例中，在n个单词特征向量输入Bi-LSTM后，可以通过前向LSTM和后向LSTM获得隐层状态

和

其中，d_hid是LSTM的隐藏单元层数。通过连接前向和后向LSTM得到最终层的特征表示

优选地，得到待分析语句中第i个单词的LSTM隐藏特征向量为：Logit_i＝tanh(W₃h_i+b₃)，其中，tanh(·)表示第三全连接层的tanh激活函数，W₃表示第三全连接层的权重向量，1≤i≤n，n表示待分析语句的单词总数，b₃表示第三全连接层的偏置向量，h_i表示第i个单词的LSTM隐藏状态。

在本实施例中，基于第i个单词的LSTM隐藏状态h_i获取第i个单词与方面情感对的关联程度，关联程度数值可以为h_i数值，h_i越大认为关联程度越高。可设置一个关联阈值，当解码标注模块识别出待分析语句中存在目标词语时，在解码序列中标记出与方面情感对关联程度大于关联阈值的目标词语位置获得标记序列。当目标词语大于一个时，在解码序列中标记出与方面情感对关联程度最高的目标词语位置获得标记序列，这样能够实现精准的目标、方面、情感三元组输出。

在本实施例中，优选地，当特征融合层输出的判断结果为待分析语句与方面情感对匹配时，情感分析结果还包括目标词语、方面、情感组成的三元组；当标注序列中没有目标词语时，单元组中目标词语处可为空(NULL)。标词语为待分析语句中位置与标记序列中标记的目标词语位置对应的单词。其中，目标词语为待分析语句中位置与标记序列中标记的目标词语位置对应的单词。

在本实施例中，方面级情感分析模型的训练过程包括：

步骤1，构建训练样本集；获取每个训练文本中待分析语句是否与方面情感对匹配的判断结果，记为真实判断结果label，label为YES或No；获取每个训练文本中待分析语句对应的标记有目标词语位置的真实标记序列T。获取现有的数据集，该数据集中包括多个待分析的语句，将待分析的语句与方面情感组合构成训练样本，根据训练样本获得真实判断结果，当真实判断结果为两者匹配时，继续获得训练样本的真实标记序列，当真实判断结果为两者不匹配时，不获取训练样本的真实标记序列。真实判断结果和真实标记序列的获取优选但不限于通过专家设置的模式。因此，一个训练样本对应有一个真实判断结果，或者对应有一个真实判断结果和一个真实标记序列。

步骤B，利用训练样本对方面级情感分析模型的神经网络进行训练。将先验知识获取模块和特征融合模块的判断待分析语句是否与方面情感对匹配作为第一任务，将长短期记忆网络、解码标注模块获取标记序列作为第二任务。建立第一任务损失函数：

其中，g_i'为判断结果的概率分布向量g的第i'个元素，d(1)＝YES,d(2)＝No，I(·)为指示函数。

建立第二任务损失函数：

loss_t＝-log(p(TP))，其中，p(TP)为序列分布概率，T为真实标记序列，P为所有单词特征向量组合起来的向量。

获得模型多任务损失函数：

N'表示训练样本数量，j表示训练样本索引，

表示第j训练样本的第一任务损失，

表示第j训练样本的第二任务损失。

在训练过程中，使用Adam优化算法对上述两个子任务进行优化。

实施例4

本实施例公开了一种方面级情感分析装置，该装置与实施例1对应，包括：初始化模块，设置N个方面和M个情感，将方面分别与不同的情感组合获得多个方面情感对，N和M均为正整数；输入文本构建模块，获取待分析语句，将待分析语句和不同的方面情感对组合构成不同的输入文本；分析模块，将每个输入文本输入方面级情感分析模型，方面级情感分析模型输出每个输入文本的情感分析结果，情感分析结果包括输入文本中待分析语句是否与方面情感对匹配的判断结果；方面级情感分析模型包括：词向量编码模块，被配置为对输入文本进行词嵌入处理，对词嵌入处理结果进行编码处理获得输入文本的语义信息；第一全连接层，被配置为基于语义信息获得语义特征向量；先验知识获取模块，被配置为获取所有输入文本中待分析语句与方面情感对匹配的先验知识，基于先验知识获得先验知识向量；特征融合模块，被配置为结合语义特征向量和先验知识向量判断待分析语句是否与方面情感对匹配。

实施例5

本实施例公开了一种存储有计算机指令的计算机可读存储介质，当计算机指令被一个或多个处理器执行时，致使一个或多个处理器执行实施例1或实施例2或实施例3的方法中的步骤。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (10)

1.一种基于先验知识的BERT模型的方面级情感分析方法，其特征在于，包括：

设置N个方面和M个情感，将方面分别与不同的情感组合获得多个方面情感对，所述N和M均为正整数；

获取待分析语句，将所述待分析语句和不同的方面情感对组合构成不同的输入文本；

将每个输入文本输入方面级情感分析模型，所述方面级情感分析模型输出每个输入文本的情感分析结果，所述情感分析结果包括输入文本中待分析语句是否与方面情感对匹配的判断结果；

所述方面级情感分析模型包括：

词向量编码模块，被配置为对输入文本进行词嵌入处理，对词嵌入处理结果进行编码处理获得所述输入文本的语义信息；

第一全连接层，被配置为基于所述语义信息获得语义特征向量；

先验知识获取模块，被配置为获取所有输入文本中待分析语句与方面情感对匹配的先验知识，基于所述先验知识获得先验知识向量；

特征融合模块，被配置为结合语义特征向量和先验知识向量判断待分析语句是否与方面情感对匹配。

2.如权利要求1所述的基于先验知识的BERT模型的方面级情感分析方法，其特征在于，所述特征融合模块的具体执行过程为：

融合语义特征向量和先验知识向量获得第一向量；

将第一向量输入第一激活函数获得输入文本中待分析语句是否与方面情感对匹配的判断结果的概率分布向量。

3.如权利要求2所述的基于先验知识的BERT模型的方面级情感分析方法，其特征在于，所述输入文本中待分析语句是否与方面情感对匹配的判断结果的概率分布向量g为：

g＝softmax(P_[CLS]+τ·logP(y))∈R²；

其中，R²表示二维实数向量集合；P_[CLS]表示语义特征向量；P(y)表示先验知识向量；τ表示预设的调节参数；第一激活函数为softmax函数。

4.如权利要求1或2或3所述的基于先验知识的BERT模型的方面级情感分析方法，其特征在于，所述情感分析结果还包括目标词语标注结果；

所述词向量编码模块还被配置为对词嵌入处理结果进行编码处理获得输入文本中待分析语句所有单词的词向量；

所述方面级情感分析模型还包括：

第二全连接层，被配置为基于所述词向量获取单词特征向量；

解码标注模块，被配置为执行：当特征融合模块输出的判断结果为待分析语句与方面情感对匹配时，则对待分析语句的所有单词特征向量进行解码获得解码序列，并在解码序列中标记出目标词语位置获得标记序列；当特征融合模块输出的判断结果为待分析语句与方面情感对不匹配时，输出匹配失败。

5.如权利要求1或2或3所述的基于先验知识的BERT模型的方面级情感分析方法，其特征在于，所述情感分析结果还包括目标词语标注结果；

所述词向量编码模块还被配置为对词嵌入处理结果进行编码处理获得输入文本中待分析语句所有单词的词向量；

所述方面级情感分析模型还包括：

第二全连接层，被配置为基于所述词向量获取单词特征向量；

长短期记忆网络，被配置为获取表征第二全连接层输出的单词特征向量与输入文本中方面情感对关联程度的LSTM隐藏状态；

第三全连接层，被配置为基于待分析语句单词的LSTM隐藏状态获取该单词的LSTM隐藏特征向量；

解码标注模块，被配置为执行：当特征融合模块输出的判断结果为待分析语句与方面情感对匹配时，则对待分析语句所有单词的LSTM隐藏特征向量进行解码获得解码序列，并在解码序列中标记出目标词语位置获得标记序列；当特征融合模块输出的判断结果为待分析语句与方面情感对不匹配时，输出匹配失败。

6.如权利要求5所述的基于先验知识的BERT模型的方面级情感分析方法，其特征在于，当所述目标词语大于一个时，在解码序列中标记出与方面情感对关联程度最高的目标词语位置获得标记序列；

或者，在解码序列中标记出与方面情感对关联程度大于关联阈值的目标词语位置获得标记序列。

7.如权利要求5所述的基于先验知识的BERT模型的方面级情感分析方法，其特征在于，待分析语句中第i个单词的LSTM隐藏特征向量为：

Logit_i＝tanh(W₃h_i+b₃)，其中，tanh(·)表示第三全连接层的tanh激活函数，W₃表示第三全连接层的权重向量，1≤i≤n，n表示待分析语句的单词总数，b₃表示第三全连接层的偏置向量，h_i表示第i个单词的LSTM隐藏状态。

8.如权利要求5所述的基于先验知识的BERT模型的方面级情感分析方法，其特征在于，当特征融合层输出的判断结果为待分析语句与方面情感对匹配时，所述情感分析结果还包括目标词语、方面、情感组成的三元组；其中，所述目标词语为待分析语句中位置与标记序列中标记的目标词语位置对应的单词。

9.一种方面级情感分析装置，其特征在于，包括：

初始化模块，设置N个方面和M个情感，将方面分别与不同的情感组合获得多个方面情感对，所述N和M均为正整数；

输入文本构建模块，获取待分析语句，将所述待分析语句和不同的方面情感对组合构成不同的输入文本；

分析模块，将每个输入文本输入方面级情感分析模型，所述方面级情感分析模型输出每个输入文本的情感分析结果，所述情感分析结果包括输入文本中待分析语句是否与方面情感对匹配的判断结果；

所述方面级情感分析模型包括：

词向量编码模块，被配置为对输入文本进行词嵌入处理，对词嵌入处理结果进行编码处理获得所述输入文本的语义信息；

第一全连接层，被配置为基于所述语义信息获得语义特征向量；

先验知识获取模块，被配置为获取所有输入文本中待分析语句与方面情感对匹配的先验知识，基于所述先验知识获得先验知识向量；

特征融合模块，被配置为结合语义特征向量和先验知识向量判断待分析语句是否与方面情感对匹配。

10.一种存储有计算机指令的计算机可读存储介质，其特征在于，当所述计算机指令被一个或多个处理器执行时，致使所述一个或多个处理器执行权利要求1-8之一所述方法中的步骤。

Images