CN113157920B - 一种基于机器阅读理解范式的方面级情感分析方法及系统 - Google Patents

Abstract

本发明公开了一种基于机器阅读理解范式的方面级情感分析方法及系统，从原始数据集中提取出本方法所需的方面级情感分析数据；对提取出的方面级情感分析数据构造具有段落、问题、选项和答案形式的多项选择问答对；构建一个机器阅读理解的深度神经网络模型；将构造的多项选择问答对作为深度神经网络模型的输入，模型的输出为方面类别对应各个情感极性的概率值。本发明方法通过借鉴机器阅读理解领域中先进的解决方案，将机器阅读理解领域中的多项选择范式跨领域的应用在方面级情感分析领域。能够充分的捕捉段落、方面类别和各个情感极性之间的信息，可更好的对方面类别进行情感极性的预测，以便更好的支撑方面级情感分析的应用研究。

Description

一种基于机器阅读理解范式的方面级情感分析方法及系统

技术领域

本发明属于英文文本情感分析技术领域，具体涉及一种基于机器阅读理解范式的方面级情感分析方法及系统。

背景技术

随着互联网的迅猛发展以及智能手机的全面普及，网络应用向各个领域渗透。使用互联网应用已经是人们生活中必不可少的一部分，尤其在以淘宝、京东、拼多多为代表的电子商务和微信、微博为代表的社交媒体领域，月活用户远远超过其它领域。越来越多的用户在互联网上表达自己的心情、思想以及爱好，大量的用户评论数据被发表在互联网平台上，通常这些评论数据夹带着用户个人对某件事持有的观点或者情感倾向。人们希望对互联网平台上用户发表的评论数据，利用技术手段对其进行分析和挖掘，从而获得评论数据蕴含的价值。如电子商务中的商家希望从用户对特定商品的评价中获得该商品的市场价值，政府官员希望从社交媒体用户发表对特定事件的评论中获得当前的舆论影响。

方面级情感分析(Aspect-based sentiment analysis，简称ABSA)是情感分析任务中更加细粒度的子任务。相较于文档级情感分析和句子级情感分析，它在实际生活中有着更加广泛的价值。方面级情感分析与其它两种情感分析任务有着很大的区别，因为方面级情感分析是以情感目标作为基本的情感载体，这里的目标不像前面两种情感分析任务中的文档或者句子的规模，而是情感表达的对象，通常是一个实体或者实体的某个方面。比如在饭店的评论“饭菜的口味很好，但是服务却很糟糕”中，“口味”和“服务”是该条评论中所包含的两个情感表达的目标，也就是方面，“很好”和“糟糕”是对应于方面的情感极性。

综合来看，方面级情感分析具有粒度更细、决策更准等优势，随着大数据时代的到来，日益复杂的舆论环境、更加多元化的需求使得方面级的情感分析成为了研究重点。

方面级情感分析的方法主要有传统的方面级情感分析方法和基于深度学习的方面级情感分析方法。在传统的方面级情感分析方法中又主要分为基于规则的方法和基于统计的方法两种，基于规则的方法通常利用构建好的情感词典，对句子中的形容词通过词典获取到它的情感极性，然后利用方面和情感词之间的规则获得方面的情感极性。基于统计的方法将方面级情感分析任务看成一个情感分类任务，通常可以利用机器学习等方法进行求解，比如用LDA模型获得不同情感极性的主题，方面的情感极性根据主题的类别获得。除此之外，还可利用SVM、CRF或最大熵模型进行情感分类。基于规则的方法通常需要语言学家进行大量的形容词极性标注工作以及规则的制定工作，因此分类的准确性和标注的结果、规则的制定都有非常紧密的联系。虽然基于统计的方法不再需要语言学家提前制定大量的规则，它依赖相关的语料库实现方面级的特征提取，然而基于统计的方法需要对数据进行人工特征筛选，也就是基于统计的方法中核心的工作仍然需要人工完成。

随着深度学习技术的快速崛起和大规模的应用，深度神经网络在方面级情感分析领域的应用也在逐渐增多。不同与传统的机器学习方法，深度学习技术不需要人工对输入的数据进行特征工程，而是通过深度的神经网络自己来提取有用的特征。在方面级情感分析任务中，深度学习技术通常是对所给定的段落和方面类别分别进行编码，然后利用注意力机制将段落和方面类别进行融合，再利用解码层进行方面类别的情感极性的分类，预测器的输出如果与正确的情感极性不同，那么进行误差的反向传播，更新预测器权重，循环此过程。

虽然深度学习技术大量的应用于方面级情感分析领域中，由于通常都是对所给定的段落和方面类别分别进行编码和融合，从而忽略了方面类别和每一种情感极性的联系，导致预测器无法充分的学习到所给定的方面类别与各个情感极性的潜在的关系。

发明内容

本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种基于机器阅读理解范式的方面级情感分析方法及系统，通过借鉴机器阅读理解领域中先进的想法，将机器阅读理解领域中的多项选择范式跨领域的应用在方面级情感分析领域；可以充分的捕捉段落、方面类别和各个情感极性之间的信息，更好的对方面类别进行情感极性的预测，以便支撑方面级情感分析的应用研究。

本发明采用以下技术方案：

一种基于机器阅读理解范式的方面级情感分析方法，包括以下步骤：

S1、对方面级情感分析的原始数据集进行数据预处理，从原始数据集中提取方面级情感分析数据；

S2、根据机器阅读理解领域中的多项选择范式，对步骤S1提取出的方面级情感分析数据构造成具有段落C、问题Q、选项O和答案A形式的多项选择问答对；

S3、构建机器阅读理解深度神经网络模型，机器阅读理解深度神经网络模型包括嵌入层、编码融合层、全连接解码层以及Softmax输出层；

S4、将步骤S2构造的多项选择问答对作为步骤S3建立的深度神经网络模型的输入，深度神经网络模型的输出为方面类别对应各个情感极性的概率值，将概率最大的情感极性作为对应方面类别的情感极性，实现情感极性判定。

具体的，步骤S1中，提取的方面级情感分析数据包括段落<text>、方面类别<category>和情感极性<polarity>。

具体的，步骤S2具体为：

S201、通过给定的数据训练一个预测器f，将段落C和问题Q作为输入，返回一个对应的答案A；

S202、采用多项选择式子任务，给定段落、问题、选项，通过模型的训练，选取包含正确答案的选项；多项选择式中有段落C、问题Q、选项O和答案A；

S203、对提取出的方面级情感分析数据进行MRC范式构造，分为两种构造方式，分别为对问题Q不进行扩展和对问题Q进行扩展。

进一步的，步骤S201中，段落

与段落相关的问题

问题Q对应的答案为A，m和n分别为段落C的长度和问题Q的长度，所有的w都属于预先定义的词典v。

进一步的，步骤S203中，在构造方式为对问题不进行扩展中，段落C为原数据集中的段落(text)，问题Q为原数据集中的方面类别(category)，选项O共包括ABCD四种情感极性类别，答案A为正确的情感极性；在构造方式为对问题Q进行扩展中，问题Q为In aspectof Category，what do you think of the experience？句式，Category为数据集中的方面类别。

具体的，步骤S3中，嵌入层使用预训练模型Bert。

具体的，步骤S3中，编码融合层使用多头注意力模型，多头注意力模型的注意力分数为

进一步的，多头注意力模型的总分数为：

MultiHead(Q,K,V)＝Concat(head₁,…,head_h)W^O

其中，Q,K,V在本方法中均为嵌入层的输出，Softmax函数为归一化指数函数，T为转置，d_K为K的维度，head_i为第i头注意力分数，Concat函数为将h头注意力分数进行拼接，W^O用于线性变换。

具体的，步骤S4中，多项选择问答输入到深度神经网络模型中的格式为：

[CLS]段落C[SEP]问题Q+选项O[SEP]

其中，[CLS]和[SEP]为预训练模型Bert固定的输入标签，输入到预训练模型Bert中的第一段文本用[CLS]标记，其余文本用[SEP]标记。

本发明的另一技术方案是，一种基于机器阅读理解范式的方面级情感分析系统，包括：

提取模块，对方面级情感分析的原始数据集进行数据预处理，从原始数据集中提取方面级情感分析数据；

构造模块，根据机器阅读理解领域中的多项选择范式，对提取模块提取出的方面级情感分析数据构造成具有段落C、问题Q、选项O和答案A形式的多项选择问答对；

网络模块，构建机器阅读理解深度神经网络模型，机器阅读理解深度神经网络模型包括Bert词嵌入层、多头注意力编码融合层、全连接解码层以及Softmax输出层；

判断模块，将构造模块构造的多项选择问答对作为网络模块建立的深度神经网络模型的输入，深度神经网络模型的输出为方面类别对应各个情感极性的概率值，将概率最大的情感极性作为对应方面类别的情感极性，实现情感极性判定。

与现有技术相比，本发明至少具有以下有益效果：

本发明一种基于机器阅读理解范式的方面级情感分析方法，将机器阅读理解领域中的多项选择范式跨领域的应用在方面级情感分析领域，可以充分的捕捉段落、方面类别和各个情感极性之间的信息，提高了机器阅读理解模型的推理能力，构建的机器阅读理解的深度神经网络模型中包括了多头注意力编码融合层，通过利用多头注意力机制，更加有效的提取段落、问题、选项之间的信息，可以提升最终的情感极性分类的性能。

进一步的，数据来源为国际语义评测大会SemEval-2014 Task4公开数据集，由于原始数据集格式为xml格式，不同性质的内容由不同的标签进行标识，本发明所需的三大内容分别由<text>、<category>和<polarity>三个标签进行标识，所以需要提取出三个标签中的文本内容，用于后续步骤的使用。

进一步的，采用的是机器阅读理解中的多项选择范式，该范式需要将原始数据集构造为段落、问题、选项等形式，从而可以跨领域的利用机器阅读理解模型解决方面级情感分析任务，机器阅读理解模型具有双句交互的独特特点，在模型的推理能力方面有较大的优势。

进一步的，形式化了段落C、问题Q，这有助于后续的机器阅读理解模型的运算，在编程实现阶段可以对段落和问题等文本进行精确维度的输入。

进一步的，描述了两种多项选择问答对的构造方式，分别是对问题进行扩展和不对问题进行扩展，这样做的目的是更加全面的利用文本信息，两种构造方式各有有点，对问题进行扩展可以得到更多的文本信息，不对问题进行扩展在运算速度和占用内存方面更具优势。

进一步的，描述了预训练模型Bert，该模型在机器阅读理解中通常用于词嵌入层，由于Bert自身具有Transformer结构，该结构有比其它类型词嵌入方式更能反映出一段文本中不同单词之间关联程度的优势。

进一步的，编码融合层使用的多头注意力模型，因为多头注意力模型使用了多个注意力机制，可以捕捉不同方面的注意力分数，比使用单个注意力机制有一定的优势。

进一步的，形式化了多头注意力模型的总分数，有助于在程序编码阶段更加精确的实现多头注意力模型。

进一步的，定义了多项选择问答对输入到机器阅读理解模型的格式，该格式结合了预训练模型Bert的特点，使用该格式可以充分利用Bert的预训练内容，从而有助于解决方面级情感分析任务。

综上所述，本发明方法通过借鉴机器阅读理解领域中先进的解决方案，将机器阅读理解领域中的多项选择范式跨领域的应用在方面级情感分析任务中，使得在解决方面级情感分析任务时模型可以充分捕捉段落、方面类别和各个情感极性之间的关联信息，从而更好地对方面类别进行情感极性的预测，也更好的支撑方面级情感分析的研究和应用。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

图1为本发明实现方法的流程图；

图2为从原始数据集中提取出的方面级情感分析数据示例图；

图3为构造方式是对问题不进行扩展的示例图；

图4为构造方式是对问题进行扩展的示例图；

图5为本发明方法构建的机器阅读理解深度神经网络模型架构。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

在附图中示出了根据本发明公开实施例的各种结构示意图。这些图并非是按比例绘制的，其中为了清楚表达的目的，放大了某些细节，并且可能省略了某些细节。图中所示出的各种区域、层的形状及它们之间的相对大小、位置关系仅是示例性的，实际中可能由于制造公差或技术限制而有所偏差，并且本领域技术人员根据实际所需可以另外设计具有不同形状、大小、相对位置的区域/层。

本发明提供了一种基于机器阅读理解范式的方面级情感分析方法，通过借鉴机器阅读理解领域中先进的解决方案，将机器阅读理解领域中的多项选择范式跨领域的应用在方面级情感分析领域。该方法可以充分的捕捉段落、方面类别和各个情感极性之间的信息，可更好的对方面类别进行情感极性的预测，以便更好的支撑方面级情感分析的应用研究。

请参阅图1，本发明一种基于机器阅读理解范式的方面级情感分析方法，包括以下步骤：

S1、对方面级情感分析的原始数据集进行数据预处理，从原始数据集中提取方面级情感分析数据；

S101、原始数据集为方面级情感分析领域权威的国际语义评测大会SemEval-2014Task4公开数据集(restaurants领域)；

S102、由于原始数据集为xml格式文件，不同性质的内容由不同的标签进行标识，所以本方法的数据处理指的是从原始数据集中提取出段落<text>、方面类别<category>和情感极性<polarity>三大内容。

S2、根据机器阅读理解领域中的多项选择范式，对步骤S1提取出的方面级情感分析数据构造具有段落C、问题Q、选项O和答案A形式的多项选择问答对；

S201、机器阅读理解(MRC)任务的形式化定义：

机器阅读理解任务形式化为一个有监督的学习问题，给出如下三元组形式的训练数据

代表段落，

代表与段落相关的问题，A代表问题对应的答案。

其中，m和n分别为段落C的长度和问题Q的长度，所有的w都属于预先定义的词典v。

通过给定的数据，训练出一个预测器f，能够将段落C和问题Q作为输入，返回一个对应的答案A。

f:(C,Q)→A

S202、机器阅读理解任务种类以及多项选择式子任务在本方法中的应用：

机器阅读理解任务包括完形填空式、多项选择式、抽取式、会话式等多种子任务，本方法采用多项选择式子任务，即给定段落、问题、选项，通过模型的训练，选取包含正确答案的选项。其中在多项选择式中，组成有段落C、问题Q、选项O和答案A；

S203、多项选择范式构造的具体方法：

对提取出的方面级情感分析数据进行MRC范式构造，分为两种构造方式，分别为对问题Q不进行扩展(MRC-NoneBuild)和对问题Q进行扩展(MRC-Build)。

在构造方式为对问题不进行扩展(MRC-NoneBuild)中，段落C为原数据集中的段落(text)、问题Q为原数据集中的方面类别(category)、选项共包括ABCD四种情感极性类别、答案A；为正确的情感极性；在构造方式为对问题Q进行扩展(MRC-Build)中，问题Q为“Inaspect of Category，what do you think of the experience？”(加粗的Category为数据集中的方面类别)句式，其余内容与MRC-NoneBuild构造方式相同。构造示例如图2、图3和图4所示。

S3、构建机器阅读理解深度神经网络模型，机器阅读理解深度神经网络模型包括Bert词嵌入层、多头注意力编码融合层、全连接解码层以及Softmax输出层；

S301、构建的机器阅读理解深度神经网络模型；

模型架构请参阅图5。构建的机器阅读理解深度神经网络模型，具有嵌入层、编码层、融合层和输出层等经典的4层机器阅读理解网络架构，

嵌入层使用的是预训练模型Bert，编码融合层使用的是多头注意力模型(Multi-Head Attention)，因为多头注意力模型可以有效地捕捉融合了问题信息的段落单词之间的联系以及融合了段落信息的问题单词之间的联系。其中注意力分数的计算为

多头注意力模型中每一头注意力分数为head_i，多头注意力模型的总分数如下：

MultiHead(Q,K,V)＝Concat(head₁,…,head_h)W^O

其中，Q,K,V在本方法中均为嵌入层的输出，Softmax函数为归一化指数函数，T为转置，d_K为K的维度，head_i为第i头注意力分数，Concat函数为将h头注意力分数进行拼接，W^O用于线性变换。

S302、输入到所构建的深度神经网络模型中的格式为：

[CLS]段落C[SEP]问题Q+选项O[SEP]

这里的[CLS]和[SEP]为预训练模型Bert固定的输入标签，输入到预训练模型Bert中的第一段文本用[CLS]标记，其余文本用[SEP]标记。

S4、将步骤S2构造的多项选择问答对作为步骤S3建立的深度神经网络模型的输入，深度神经网络模型的输出为方面类别对应各个情感极性的概率值，将概率高的情感极性作为对应方面类别的情感极性，实现情感极性判定。

方面级情感分析在电子商务、社交媒体、时事舆论等领域具有很多现实的意义，例如电子商务商家希望从商品评价中获得该商品的市场价值，政府官员系统从社交媒体评论中获得当前的舆论走向。

本发明再一个实施例中，提供一种基于机器阅读理解范式的方面级情感分析系统，该系统能够用于实现上述基于机器阅读理解范式的方面级情感分析方法，具体的，该基于机器阅读理解范式的方面级情感分析系统包括提取模块、构造模块、网络模块以及判断模块。

其中，提取模块，对方面级情感分析的原始数据集进行数据预处理，从原始数据集中提取方面级情感分析数据；

构造模块，根据机器阅读理解领域中的多项选择范式，对提取模块提取出的方面级情感分析数据构造成具有段落C、问题Q、选项O和答案A形式的多项选择问答对；

网络模块，构建机器阅读理解深度神经网络模型，机器阅读理解深度神经网络模型包括Bert词嵌入层、多头注意力编码融合层、全连接解码层以及Softmax输出层；

判断模块，将构造模块构造的多项选择问答对作为网络模块建立的深度神经网络模型的输入，深度神经网络模型的输出为方面类别对应各个情感极性的概率值，将概率最高的情感极性作为对应方面类别的情感极性，实现情感极性判定。

本发明再一个实施例中，提供了一种终端设备，该终端设备包括处理器以及存储器，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器用于执行所述计算机存储介质存储的程序指令。处理器可能是中央处理单元(Central ProcessingUnit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor、DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable GateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其是终端的计算核心以及控制核心，其适于实现一条或一条以上指令，具体适于加载并执行一条或一条以上指令从而实现相应方法流程或相应功能；本发明实施例所述的处理器可以用于基于机器阅读理解范式的方面级情感分析方法的操作，包括：

对方面级情感分析的原始数据集进行数据预处理，从原始数据集中提取方面级情感分析数据；根据机器阅读理解领域中的多项选择范式，对提取出的方面级情感分析数据构造成具有段落C、问题Q、选项O和答案A形式的多项选择问答对；构建机器阅读理解深度神经网络模型，机器阅读理解深度神经网络模型包括嵌入层、编码融合层、全连接解码层以及Softmax输出层；将构造的多项选择问答对作为建立的深度神经网络模型的输入，深度神经网络模型的输出为方面类别对应各个情感极性的概率值，将概率最大的情感极性作为对应方面类别的情感极性，实现情感极性判定。

本发明再一个实施例中，本发明还提供了一种存储介质，具体为计算机可读存储介质(Memory)，所述计算机可读存储介质是终端设备中的记忆设备，用于存放程序和数据。可以理解的是，此处的计算机可读存储介质既可以包括终端设备中的内置存储介质，当然也可以包括终端设备所支持的扩展存储介质。计算机可读存储介质提供存储空间，该存储空间存储了终端的操作系统。并且，在该存储空间中还存放了适于被处理器加载并执行的一条或一条以上的指令，这些指令可以是一个或一个以上的计算机程序(包括程序代码)。需要说明的是，此处的计算机可读存储介质可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。

可由处理器加载并执行计算机可读存储介质中存放的一条或一条以上指令，以实现上述实施例中有关基于机器阅读理解范式的方面级情感分析方法的相应步骤；计算机可读存储介质中的一条或一条以上指令由处理器加载并执行如下步骤：

对方面级情感分析的原始数据集进行数据预处理，从原始数据集中提取方面级情感分析数据；根据机器阅读理解领域中的多项选择范式，对提取出的方面级情感分析数据构造成具有段落C、问题Q、选项O和答案A形式的多项选择问答对；构建机器阅读理解深度神经网络模型，机器阅读理解深度神经网络模型包括嵌入层、编码融合层、全连接解码层以及Softmax输出层；将构造的多项选择问答对作为建立的深度神经网络模型的输入，深度神经网络模型的输出为方面类别对应各个情感极性的概率值，将概率最大的情感极性作为对应方面类别的情感极性，实现情感极性判定。

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中的描述和所示的本发明实施例的组件可以通过各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为了验证本发明提出的基于机器阅读理解范式的方面级情感分析方法的性能效果，使用在国际语义评测大会SemEval-2014 Task4公开数据集上进行评测。

实验平台配置如表1所示。

表1实验平台配置

实验参数如表2所示。

表2实验参数

最终的实验对比结果如表3所示。

表3实验结果

从实验结果来看，无论是在四分类、三分类还是二分类上，本发明提出的BertMRC-Build模型均有更好的效果。BertMRC-Build模型在四分类上提升超过1％，在三分类上提升接近4％，在二分类上提升超过3％。

对问题进行扩展的模型BertMRC-Build的实验性能无论是在四分类、三分类还是二分类上，均明显优于不对问题进行扩展的模型BertMRC-NoneBuild。推测是由于BertMRC-Build模型对问题进行扩展，模型在编码和交互过程中，可以额外获取方面类别较多的语义信息和依赖信息，同时充分利用了预训练模型Bert的特点，在最终的方面类别情感极性的预测时起到了支撑作用。

综上所述，本发明一种基于机器阅读理解范式的方面级情感分析方法及系统，通过对情感分析数据进行多项选择范式构造，进而输入到深度神经网络模型中进行预测，得到的预测结果要优于XRCE、NRC-Canada、LSTM、ATAE-LSTM等方法。该方法通过借鉴机器阅读理解领域中先进的想法，将机器阅读理解领域中的多项选择范式跨领域的应用在方面级情感分析领域。该方法可以充分的捕捉段落、方面类别和各个情感极性之间的信息，可更好的对方面类别进行情感极性的预测，以便更好的支撑方面级情感分析的应用研究。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。

Claims (6)

1.一种基于机器阅读理解范式的方面级情感分析方法，其特征在于，包括以下步骤：

S1、对方面级情感分析的原始数据集进行数据预处理，从原始数据集中提取方面级情感分析数据，原始数据集为xml格式文件，提取的方面级情感分析数据包括段落<text>、方面类别<category>和情感极性<polarity>；

S2、根据机器阅读理解领域中的多项选择范式，对步骤S1提取出的方面级情感分析数据构造成具有段落C、问题Q、选项O和答案A形式的多项选择问答对，具体为：

S201、通过给定的数据训练一个预测器f，将段落C和问题Q作为输入，返回一个对应的答案A，段落

与段落相关的问题

问题Q对应的答案为A，m和n分别为段落C的长度和问题Q的长度，所有的w都属于预先定义的词典v；

S202、采用多项选择式子任务，给定段落、问题、选项，通过模型的训练，选取包含正确答案的选项；多项选择式中有段落C、问题Q、选项O和答案A；

S203、对提取出的方面级情感分析数据进行MRC范式构造，分为两种构造方式，分别为对问题Q不进行扩展和对问题Q进行扩展，在构造方式为对问题不进行扩展中，段落C为原数据集中的段落text，问题Q为原数据集中的方面类别category，选项O共包括ABCD四种情感极性类别，答案A为正确的情感极性；在构造方式为对问题Q进行扩展中，问题Q为In aspectof Category，what do you think of the experience？句式，Category为数据集中的方面类别；

S3、构建机器阅读理解深度神经网络模型，机器阅读理解深度神经网络模型包括嵌入层、编码融合层、全连接解码层以及Softmax输出层；

S4、将步骤S2构造的多项选择问答对作为步骤S3建立的深度神经网络模型的输入，深度神经网络模型的输出为方面类别对应各个情感极性的概率值，将概率最大的情感极性作为对应方面类别的情感极性，实现情感极性判定。

2.根据权利要求1所述的方法，其特征在于，步骤S3中，嵌入层使用预训练模型Bert。

3.根据权利要求1所述的方法，其特征在于，步骤S3中，编码融合层使用多头注意力模型，多头注意力模型的注意力分数为

Q，K，V均为嵌入层的输出，T为转置，d_K为K的维度，函数为归一化指数函数。

4.根据权利要求3所述的方法，其特征在于，多头注意力模型的总分数为：

MultiHead(Q，K,V）＝Concat(head₁，…,head_h)W^O

其中，head_i为第i头注意力分数，Concat函数为将h头注意力分数进行拼接，W^O用于线性变换。

5.根据权利要求1所述的方法，其特征在于，步骤S4中，多项选择问答输入到深度神经网络模型中的格式为：

[CLS]段落C[SEP]问题Q+选项O[SEP]

其中，[CLS]和[SEP]为预训练模型Bert固定的输入标签，输入到预训练模型Bert中的第一段文本用[CLS]标记，其余文本用[SEP]标记。

6.一种基于机器阅读理解范式的方面级情感分析系统，其特征在于，包括：

提取模块，对方面级情感分析的原始数据集进行数据预处理，从原始数据集中提取方面级情感分析数据，原始数据集为xml格式文件，提取的方面级情感分析数据包括段落<text>、方面类别<category>和情感极性<polarity>；

构造模块，根据机器阅读理解领域中的多项选择范式，对提取模块提取出的方面级情感分析数据构造成具有段落C、问题Q、选项O和答案A形式的多项选择问答对，具体为：

通过给定的数据训练一个预测器f，将段落C和问题Q作为输入，返回一个对应的答案A，段落

与段落相关的问题

问题Q对应的答案为A，m和n分别为段落C的长度和问题Q的长度，所有的w都属于预先定义的词典v；采用多项选择式子任务，给定段落、问题、选项，通过模型的训练，选取包含正确答案的选项；多项选择式中有段落C、问题Q、选项O和答案A；对提取出的方面级情感分析数据进行MRC范式构造，分为两种构造方式，分别为对问题Q不进行扩展和对问题Q进行扩展，在构造方式为对问题不进行扩展中，段落C为原数据集中的段落text，问题Q为原数据集中的方面类别category，选项O共包括ABCD四种情感极性类别，答案A为正确的情感极性；在构造方式为对问题Q进行扩展中，问题Q为In aspect of Category，what do you think of the experience？句式，Category为数据集中的方面类别；

网络模块，构建机器阅读理解深度神经网络模型，机器阅读理解深度神经网络模型包括Bert词嵌入层、多头注意力编码融合层、全连接解码层以及Softmax输出层；

判断模块，将构造模块构造的多项选择问答对作为网络模块建立的深度神经网络模型的输入，深度神经网络模型的输出为方面类别对应各个情感极性的概率值，将概率最大的情感极性作为对应方面类别的情感极性，实现情感极性判定。

Images