CN114357155A

CN114357155A - 面向自然语言的方面情感分析方法及系统

Info

Publication number: CN114357155A
Application number: CN202111436519.0A
Authority: CN
Inventors: 解福; 张永胜; 丁琦; 刘培玉; 朱振方
Original assignee: Shandong Normal University
Current assignee: Shandong Normal University
Priority date: 2021-11-29
Filing date: 2021-11-29
Publication date: 2022-04-15

Abstract

本发明公开了面向自然语言的方面情感分析方法及系统，获取待分析的自然语言；将待分析的自然语言，输入到训练后的方面情感提取模型中，得到提取的方面术语、意见术语和方面情感分类结果；其中，所述方面情感提取模型，工作原理包括：对自然语言进行编码处理得到每个单词的上下文隐藏向量；基于每个单词的上下文隐藏向量，提取面向方面的特征；基于面向方面的特征，得到方面术语的起始位置和结束位置预测值；基于每个单词的上下文隐藏向量，提取面向意见的特征；基于面向意见的特征，得到意见术语的起始位置和结束位置预测值；根据两个预测值，得到情感极性。本发明能够挖掘出评论中涉及的方面词、意见词和对应的情感极性，增强了模型的实用性。

Description

面向自然语言的方面情感分析方法及系统

技术领域

本发明涉及自然语言处理技术领域，特别是涉及面向自然语言的方面情感分析方法及系统。

背景技术

本部分的陈述仅仅是提到了与本发明相关的背景技术，并不必然构成现有技术。

基于方面的情感分析(Aspect-based Sentiment Analysis，ABSA)，也称为细粒度情感分析或意见挖掘，是自然语言处理(Natural Language Processing，NLP)领域的一项基本任务。它的目的是识别句子中的方面词和观点词，然后预测它们对应的情感极性。近年来，随着深度学习在方面级情感分析中的不断应用，该任务取得了突破性进展，受到了学术界和工业界的广泛关注。传统上，方面级情感分析由三个基本子任务组成，即方面术语提取(ATE)、观点术语提取(OTE)和方面级情感分类(ALSC)。以往的研究通常结合两个子任务来解决方面级情感分析，包括方面术语和观点术语联合提取任务、方面术语提取和情感分类任务、方面意见对提取任务。然而，上述研究都没有在一个统一的框架内解决ATE、OTE和ALSC子任务，从而很大程度上忽略了三个子任务之间的交互作用。

为了加强三个子任务之间的协作，研究人员提出了方面情感三元组提取(AspectSentiment Triplet Extraction，ASTE)任务，该任务旨在采用完整的解决方案提取方面术语和相应的观点术语并预测情感极性以识别更完整的三元组信息，例如：“Great food butthe service was dreadful！”中，(food，great，positive)和(service，dreadful，negative)是提取出的三元组信息。

由于方面情感三元组提取包含提取和分类两种任务类型，因此准确提取方面和观点并利用它们之间的关系来预测情感是非常有价值和挑战性的。先前的研究者采用管道方式将三个子任务分成两个阶段，然后将其组合形成整体模型，以解决方面情感三元组提取任务。然而，这种管道方法破坏了单词之间的交互且存在严重的误差传播问题。最近大部分研究采用端到端的方式去解决上述问题，提出了一种新的序列标注方案，将抽取任务化为统一的标注任务。但这些方法仍然忽视了三者之间的语义和句法关系。此外，在抽取和分类任务中使用序列标记方法还会导致模型搜索空间增大、多词实体情感不一致等问题。

发明内容

为了解决现有技术的不足，本发明提供了面向自然语言的方面情感分析方法及系统；在一个统一的框架内解决方面提取、观点提取和方面情感分析这三项子任务，进而对文本实现方面级别的情感分析。

第一方面，本发明提供了面向自然语言的方面情感分析方法；

面向自然语言的方面情感分析方法，包括：

获取待分析的自然语言；

将待分析的自然语言，输入到训练后的方面情感提取模型中，得到提取的方面术语、意见术语和方面情感分类结果；

其中，所述方面情感提取模型，工作原理包括：对自然语言进行编码处理得到每个单词的上下文隐藏向量；基于每个单词的上下文隐藏向量，提取面向方面的特征；基于面向方面的特征，得到方面术语的起始位置和结束位置预测值；基于每个单词的上下文隐藏向量，提取面向意见的特征；基于面向意见的特征，得到意见术语的起始位置和结束位置预测值；根据两个预测值，得到情感极性。

第二方面，本发明提供了面向自然语言的方面情感分析系统；

面向自然语言的方面情感分析系统，包括：

获取模块，其被配置为：获取待分析的自然语言；

情感分析模块，其被配置为：将待分析的自然语言，输入到训练后的方面情感提取模型中，得到提取的方面术语、意见术语和方面情感分类结果；

第三方面，本发明还提供了一种电子设备，包括：

存储器，用于非暂时性存储计算机可读指令；以及

处理器，用于运行所述计算机可读指令，

其中，所述计算机可读指令被所述处理器运行时，执行上述第一方面所述的方法。

第四方面，本发明还提供了一种存储介质，非暂时性地存储计算机可读指令，其中，当所述非暂时性计算机可读指令由计算机执行时，执行第一方面所述方法的指令。

第五方面，本发明还提供了一种计算机程序产品，包括计算机程序，所述计算机程序当在一个或多个处理器上运行的时候用于实现上述第一方面所述的方法。

与现有技术相比，本发明的有益效果是：

本发明提供的一种基于卷积神经网络和跨度边界预测的细粒度情感分析方法，使用一个统一的框架融合提取和分类两种任务，同时挖掘出评论中涉及的方面词、意见词和对应的情感极性，增强了模型的实用性；其次采用了CNN、BiLSTM、BERT、注意力机制、语义交互模块、跨度提取模块，使得提取和分类结果更加准确。高效的情感分析不光为用户提供更加精准的分析结果，还可以使得商家更加了解用户的喜好，进而及时根据反馈做出调整。在社会舆论方面，可以帮助政府部门掌握热点事件的舆论倾向，及时做出应对措施。因此，情感分析模型的研究能够对各个领域产生深远的影响。

附图说明

构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

图1是本发明实施例提供的基于卷积神经网络和跨度边界预测的细粒度情感分析模型E-AOSRA的基本框架；

图2是本公开实施例提供的E-AOSRA模型中CNN的内核K的影响对比图；

图3是本公开实施例提供的E-AOSRA模型中CNN的层数L的影响对比图。

具体实施方式

应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。

另外，为了便于清楚描述本发明实施例的技术方案，在本发明实施例中，采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。本领域技术人员可以理解“第一”、“第二”字样并不对数量和执行次序进行限定，并且“第一”、“第二”等字样也并不限定一定不同。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

本实施例所有数据的获取都在符合法律法规和用户同意的基础上，对数据的合法应用。

实施例一

本实施例提供了面向自然语言的方面情感分析方法；

如图1所示，面向自然语言的方面情感分析方法，包括：

S101：获取待分析的自然语言；

S102：将待分析的自然语言，输入到训练后的方面情感提取模型中，得到提取的方面术语、意见术语和方面情感分类结果；

进一步地，所述方面情感提取模型，包括：依次连接的嵌入与编码模块、语义交互与跨度提取模块和方面观点匹配与情感分类模块。

示例性地，所述方面情感提取模型，一个基于卷积神经网络和跨度边界预测的方面情感三元组提取模型E-AOSRA。

进一步地，所述嵌入与编码模块，采用Glove模型和BiLSTM相互结合的方式来实现。可替换地，所述嵌入与编码模块，采用BERT模型来实现。

进一步地，所述对自然语言进行编码处理得到每个单词的上下文隐藏向量；具体包括：

当采用Glove模型和BiLSTM相互结合的方式来实现，则首先使用Glove模型对句子中的每个单词进行词嵌入表示来获得词表示；然后，使用BiLSTM编码器对词表示进行编码操作，得到每个单词的上下文隐藏向量。

示例性地，本发明首先首先需要使用GloVe对句子X＝{w₁,w₂,…,w_n}中的每个单词进行词嵌入来获得词表示E＝{e₁,e₂,…,e_n}。然后使用BiLSTM编码器通过下列操作得到每个单词的上下文隐藏向量H＝{h₁,h₂,…,h_n}，公式如(1)所示：

其中

和

分别表示为前向LSTM、反向LSTM和二者之间隐藏向量的拼接。

当采用BERT模型来实现，则首先对输入BERT模型的自然语言进行标记，将标记后的句子序列构造成设定样式后，输入到BERT模型中，得到句子的标记嵌入、段落嵌入和位置嵌入三个向量，对三个向量进行加和操作得到最终的词表示，然后将最终的词表示输入到双向Transformers编码器中，得到每个单词的上下文隐藏向量。

示例性地，当使用BERT作编码器时，首先需要对输入进BERT的句子添加[CLS]和[SEP]标记，将句子序列构造成[CLS]w₁,w₂,…,w_n[SEP]样式输入到BERT编码器。通过对句子序列进行标记嵌入(token embedding)、段嵌入(segment embedding)和位置嵌入(position embedding)三个向量直接做加和得到最终的词表示E＝{e₁,e₂,…,e_n}。然后将其输入到一个堆叠的双向Transformers编码器中通过以下操作获得每个单词的上下文隐藏向量H＝{h₁,h₂,…h_n}，公式如(2)所示：

h_i＝BERT(e_i),i∈[1,n] (2)

其中，BERT(·)假设为BERT-base模型。

进一步地，所述语义交互与跨度提取模块，包括依次连接的卷积神经网络CNN、拼接层和全连接层；其中，卷积神经网络CNN的输出层还通过注意力机制模块与拼接层连接。

进一步地，所述基于每个单词的上下文隐藏向量，提取面向方面的特征；基于面向方面的特征，得到方面术语的起始位置和结束位置预测值；具体包括：

采用卷积神经网络CNN接收每个单词的上下文隐藏向量；

从每个单词的上下文隐藏向量中，提取面向方面的特征；其中，面向方面特征，是与方面术语有关的上下文隐藏向量特征；

基于面向方面的特征，采用注意力机制，定义方面术语与意见术语二者每个单词之间的语义关系；

对于在面向方面特征中的每个单词，通过面向意见特征中除了当前单词以外的所有单词进行语义关系加权求和，提取出从面向意见特征中提取出有用信息；

对从面向意见特征中提取出有用信息与面向方面的特征进行拼接，得到面向方面的最终特征，将面向方面的最终特征，输入到全连接层中，得到面向方面术语的起始位置预测得分和概率分布、面向方面术语的结束位置预测得分和概率分布。

方面术语也就是方面词。例如：“Great food but the service was dreadful！”这句话中，food和service就是方面术语；同样，great和dreadful就是意见术语。

示例性地，所述语义交互和跨度提取模块采用CNN接受编码器的输出隐藏向量，根据方面术语与意见术语之间是否存在原始词与相邻词表示等关键特征构造两个编码函数

来提取面向方面的特征M^A和面向意见的特征M^O，公式(3)所示:

其中，编码函数是卷积神经网络CNN中提取特征的一种工具。H表示整个的隐藏向量特征，→表示抽取其中一部分特征到M^A和M^O。

由于本发明的模型采用的对称结构来分别提取方面术语与意见术语，所以本发明可以从方面术语提取任务推理出意见术语提取任务，反之亦然。下面本发明将以方面提取任务为例，详细地讲解方面术语与意见术语之间的语义相关性；

首先，采用注意力机制计算方面和意见二者每个单词的注意力得分

然后归一化注意力权重

定义如下式(4)-(5):

其次，对于在面向方面特征中的每个单词w_i，本发明可以通过对面向意见的特征中除w_i以外的所有单词进行语义关系加权求和，提取出有用的语义关系信息

公式如(6)所示：

最后本发明将对从面向意见的特征中提取出来的有用的语义关系信息M^O2A与原始面向方面特征信息M^A进行拼接，作为方面提取的最终特征输入到一个全连接层分别得到起始位置的预测得分

和概率分布

结束位置的预测得分

和概率分布

公式如(7)-(8)所示:

其中

和

是可训练的权重向量。

进一步地，所述基于每个单词的上下文隐藏向量，提取面向意见的特征；基于面向意见的特征，得到意见术语的起始位置和结束位置预测值；具体包括：

采用卷积神经网络CNN接收每个单词的上下文隐藏向量；

从每个单词的上下文隐藏向量中，提取面向意见的特征；

基于面向意见的特征，采用注意力机制，定义方面术语与意见术语二者每个单词时间的语义关系；

对于在面向意见特征中的每个单词，通过面向方面特征中除了当前单词以外的所有单词进行语义关系加权求和，提取出从面向方面特征中提取出有用信息；

对从面向方面特征中提取出有用信息与面向意见的特征进行拼接，得到面向意见的最终特征，将面向意见的最终特征，输入到全连接层中，得到面向意见术语的起始位置预测得分和概率分布、面向意见术语的结束位置预测得分和概率分布。

对于意见术语提取任务，本发明只需计算公式(4)中

的转置矩阵，计算出相应的

由于本发明计算的是方面术语与意见术语每个词之间的语义关系，无论是从方面到意见或是意见到方面，其语义关系都是一致的。所以本发明可以用相似的方法去获得方面提取中的有用信息

进而得到意见术语的起始和结束位置的预测得分

概率分布

公式如(9)-(10)所示:

其中

和

是可训练的权重矩阵；

进一步地，所述方面观点匹配与情感分类模块，采用前馈神经网络Feedforwardneural network(FFNN)来实现。

进一步地，所述训练后的方面情感提取模型，训练步骤包括：

构建训练集；其中，所述训练集包括：已知方面术语、意见术语和情感极性的自然语言；

将训练集，输入到方面情感提取模型中；对模型进行训练，当模型的总损失函数不再降低时，停止训练，得到训练后的方面情感提取模型；

其中，总损失函数为第一损失函数、第二损失函数和第三损失函数的求和结果；

第一损失函数，为方面术语预测起始位置和结束位置概率与方面术语真实起始位置和结束位置的负对数概率之和；

第二损失函数，为意见术语预测起始位置和结束位置概率与意见术语真实起始位置和结束位置的负对数概率之和；

第三损失函数，为情感分类任务的交叉熵损失函数。

方面术语就是一个自然语言评论句子中的方面词，意见术语就是意见词，情感极性就是方面词通过意见词表达出的情感，有积极、中性和消极。例如：“Great food but theservice was dreadful！”中，(food，great，positive)和(service，dreadful，negative)food是方面术语，great是意见术语，positive就是表达的积极的情感极性。

示例性地，所述训练集选择主观性商品评价或服务评价作为待进行情感分析的数据集，给定一个句子X＝{w₁,w₂,…,w_n}作为输入，其中n表示句子的长度。本实施例使用四个数据集。第一个数据集14Lap来自SemEval2014的关于笔记本领域的评论，剩余三个数据集14Rest、15Rest和16Rest分别来自SemEval2014、SemEval2015和SemEval2016关于餐馆的评论。每个数据集的情感极性分为积极(positive)、消极(negative)和中性(neutral)。

表1数据集

数据集	Sentences	Positive	Neutral	Negative
					14Lap	1453	1350	225	774
14Rest	2068	2869	286	754
					15Rest	1075	1285	61	401
16Rest	1393	1674	90	483

我们将数据集中提前标记好方面术语的真实起始和结束放进列表A中，同理将意见术语的真实起始和结束放进列表O中。在训练过程中，能够在标记的跨度边界列表A得到一些向量

和

其中，

和

分别表示标记的真实开始和结束位置。同样的，也能在标记的跨度边界列表O中得到

和

然后，本发明将训练目标损失定义为预测起始和结束位置概率与真实起始和结束位置的负对数概率之和，公式如(11)-(12)所示：

其中，

表示第一损失函数，

表示第二损失函数；

分别指模型在提取方面术语和意见术语中的损失函数。在深度学习中,损失函数是用来衡量模型参数的质量的函数,衡量的方式是比较模型预测的输出和真实输出的差异。

所述方面观点匹配和情感分类模块，本发明在获得方面候选表示

和意见侯选表示

之后，需要将其进行匹配组合成方面意见对，联合预测情感极性。本发明分别从两个侯选池中选出方面表示向量和意见表示向量进行耦合生成所有可能的方面意见对。由于在一句话中可能包含多个方面术语和意见术语，所以本发明将跨度距离因素考虑在内，以此来获得准确的方面意见对。本发明通过下列公式(13)得到方面意见跨度对表示

其中，f_distance(m,n,p,q)是基于方面与意见跨度之间的距离生成的可训练特征嵌入。本发明采用跨度最短距离min(|n-p|,|m-q|)来判断方面意见跨度对之间的情感关系；

最后，本发明将方面意见跨度对输入到前馈神经网络(FFNN)中去预测方面和意见情感关系的概率p^r，公式如(14)所示:

对于情感分类任务，本发明使用交叉熵作为损失函数，公式如(15)所示：

其中，y^r是方面与意见对真实情感关系标签的独热码(one-hot)向量，k₁和k₂分别表示句子中的方面数量和意见数量，

表示第三损失函数。

通过联合训练损失函数对模型进行优化；

整个模型的损失目标有三部分组成，分别是方面属于提取，意见术语提取和情感分类，本发明将这三部分损失相加得到最小化最终联合训练损失，公式如(16)所示：

其中，α，β，γ∈[0,1]是控制目标贡献的超参数。

将待进行情感分析的数据集通过训练好的E-AOSRA模型，提取出包含方面术语、意见术语和情感极性的三元组，实现文本的细粒度情感分析。

本实施例中，在使用BERT作为编码器时，本发明采用BERT-base-uncased版本，其中包含12个注意头，12个隐藏层，隐藏层的大小为768，得到了110M的预训练参数。本发明采用AdamW作为优化器，设定变压器权重的最大学习率为2e-5，权重衰减为0.01。一次训练所选取的样本数为16。对于这四个数据集，将CNN的内核K和层数L分别设置为{3,3,5,5}和{3,4,4,4}，并在开发集上调整其他超参数。此外，本发明将耐心数设置为5，以便当验证集上没有进一步的性能改进时，本发明可以尽早停止学习过程。对于BiLSTM上下文编码器，本发明采用300维预训练的GloVe进行词的嵌入。隐藏层大小为300，其他超参数与BERT一致。使用查准率、查全率和F1值作为评价指标，来测试模型的性能。

本实施例将本发明的方面情感三元组提取模型与一些现有的方面情感三元组模型进行了比较。结果如表2所示。本发明的模型E-AOSRA的实验结果表明，无论是采用BiLSTM编码器还是BERT编码器，本发明的模型在F1度量上总是优于前人的工作。在所有的基线模型中，有两个强大的管道基线方法Li-unified-R和Two-stage在查全率方面具有很强的竞争力，但是由于模型的查准率较低，导致其总体性能要比本发明的模型E-AOSRA差很多。

与现有的端到端基线相比，本发明发现虽然性能最好的方法JET和S3E2在查准率方面具有强大的竞争力，但是由于模型的查全率不具备竞争力，也导致其总体性能较差。由于本发明设计模型参数时做到了同时兼顾二者，因此，本发明模型的总体性能更加出色，超过了所有基线模型，这也表明了本发明的模型是有效的。

表2实验结果

影响模型性能的一个重要的参数是CNN内核K和层数L的值。本实施例中，试验在四个数据集上进行。首先，本发明在四个数据集上固定L的值，将K的值以步长为2在[1，9]范围内调整。然后，固定K的值，将L的值以步长为1在[1，7]范围内调整。图2和图3给出了本发明模型BERT版本的ASTE-F1的结果。当K在四个数据集上达到{3，3，5，5}时，模型的F1值达到最大。当L在四个数据集上达到{3，4，4，4}时，模型的F1值达到最大。为了简单起见，本发明保持这个参数设置完成其余所有实验。

实施例二

本实施例提供了面向自然语言的方面情感分析系统；

面向自然语言的方面情感分析系统，包括：

获取模块，其被配置为：获取待分析的自然语言；

此处需要说明的是，上述获取模块和情感分析模块对应于实施例一中的步骤S101至S102，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例一所公开的内容。需要说明的是，上述模块作为系统的一部分可以在诸如一组计算机可执行指令的计算机系统中执行。

上述实施例中对各个实施例的描述各有侧重，某个实施例中没有详述的部分可以参见其他实施例的相关描述。

所提出的系统，可以通过其他的方式实现。例如以上所描述的系统实施例仅仅是示意性的，例如上述模块的划分，仅仅为一种逻辑功能划分，实际实现时，可以有另外的划分方式，例如多个模块可以结合或者可以集成到另外一个系统，或一些特征可以忽略，或不执行。

实施例三

本实施例还提供了一种电子设备，包括：一个或多个处理器、一个或多个存储器、以及一个或多个计算机程序；其中，处理器与存储器连接，上述一个或多个计算机程序被存储在存储器中，当电子设备运行时，该处理器执行该存储器存储的一个或多个计算机程序，以使电子设备执行上述实施例一所述的方法。

应理解，本实施例中，处理器可以是中央处理单元CPU，处理器还可以是其他通用处理器、数字信号处理器DSP、专用集成电路ASIC，现成可编程门阵列FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据、存储器的一部分还可以包括非易失性随机存储器。例如，存储器还可以存储设备类型的信息。

在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。

实施例一中的方法可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器、闪存、只读存储器、可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。为避免重复，这里不再详细描述。

本领域普通技术人员可以意识到，结合本实施例描述的各示例的单元及算法步骤，能够以电子硬件或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

实施例四

本实施例还提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成实施例一所述的方法。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.面向自然语言的方面情感分析方法，其特征是，包括：

获取待分析的自然语言；

2.如权利要求1所述的面向自然语言的方面情感分析方法，其特征是，

所述方面情感提取模型，包括：依次连接的嵌入与编码模块、语义交互与跨度提取模块和方面观点匹配与情感分类模块；

所述嵌入与编码模块，采用Glove模型和BiLSTM相互结合的方式来实现，或者，所述嵌入与编码模块，采用BERT模型来实现；

所述语义交互与跨度提取模块，包括依次连接的卷积神经网络CNN、拼接层和全连接层；其中，卷积神经网络CNN的输出层还通过注意力机制模块与拼接层连接；

所述方面观点匹配与情感分类模块，采用前馈神经网络来实现。

3.如权利要求1所述的面向自然语言的方面情感分析方法，其特征是，所述对自然语言进行编码处理得到每个单词的上下文隐藏向量；具体包括：

4.如权利要求1所述的面向自然语言的方面情感分析方法，其特征是，所述对自然语言进行编码处理得到每个单词的上下文隐藏向量；具体包括：

5.如权利要求1所述的面向自然语言的方面情感分析方法，其特征是，

所述基于每个单词的上下文隐藏向量，提取面向方面的特征；基于面向方面的特征，得到方面术语的起始位置和结束位置预测值；具体包括：

采用卷积神经网络CNN接收每个单词的上下文隐藏向量；

6.如权利要求1所述的面向自然语言的方面情感分析方法，其特征是，

所述基于每个单词的上下文隐藏向量，提取面向意见的特征；基于面向意见的特征，得到意见术语的起始位置和结束位置预测值；具体包括：

采用卷积神经网络CNN接收每个单词的上下文隐藏向量；

从每个单词的上下文隐藏向量中，提取面向意见的特征；

7.如权利要求1所述的面向自然语言的方面情感分析方法，其特征是，所述训练后的方面情感提取模型，训练步骤包括：

第三损失函数，为情感分类任务的交叉熵损失函数。

8.面向自然语言的方面情感分析系统，其特征是，包括：

获取模块，其被配置为：获取待分析的自然语言；

9.一种电子设备，其特征是，包括：

存储器，用于非暂时性存储计算机可读指令；以及

处理器，用于运行所述计算机可读指令，

其中，所述计算机可读指令被所述处理器运行时，执行上述权利要求1-7任一项所述的方法。

10.一种存储介质，其特征是，非暂时性地存储计算机可读指令，其中，当所述非暂时性计算机可读指令由计算机执行时，执行权利要求1-7任一项所述方法的指令。