CN117390140A - 基于机器阅读理解的中文方面级情感分析方法及系统 - Google Patents

基于机器阅读理解的中文方面级情感分析方法及系统 Download PDF

Info

Publication number
CN117390140A
CN117390140A CN202311639036.XA CN202311639036A CN117390140A CN 117390140 A CN117390140 A CN 117390140A CN 202311639036 A CN202311639036 A CN 202311639036A CN 117390140 A CN117390140 A CN 117390140A
Authority
CN
China
Prior art keywords
emotion
text
chinese
input text
opinion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311639036.XA
Other languages
English (en)
Other versions
CN117390140B (zh
Inventor
殷复莲
冯小丽
武岳巍
吴肇良
邢彤彤
付睿翎
余振宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Communication University of China
Original Assignee
Communication University of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Communication University of China filed Critical Communication University of China
Priority to CN202311639036.XA priority Critical patent/CN117390140B/zh
Publication of CN117390140A publication Critical patent/CN117390140A/zh
Application granted granted Critical
Publication of CN117390140B publication Critical patent/CN117390140B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/12—Use of codes for handling textual entities
    • G06F40/126—Character encoding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G06F40/169—Annotation, e.g. comment data or footnotes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/253—Grammatical analysis; Style critique
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Machine Translation (AREA)

Abstract

本发明提供一种基于机器阅读理解的中文方面级情感分析方法及系统，通过获取待分析的评论文本和查询文本；将所获取的所述评论文本和查询文本采用标记符号进行拼接，作为输入文本；对输入文本利用全词覆盖的中文预训练语言模型进行嵌入编码，获得输入文本的初始特征表示；对所述输入文本的初始特征表示进行语义特征提取，利用GCN神经网络对所述输入文本的编码表示进行语法特征提取；并获得输入文本的最终特征表示；将输入文本的最终特征表示输入中文方面级情感多任务分析模型进行方面级情感四元组为主的多任务预测；本发明达到了对用户评论文本中完整情感元素信息的有效预测的技术效果。

Description

基于机器阅读理解的中文方面级情感分析方法及系统
技术领域
本发明属于人工智能的情感分析技术领域，具体涉及一种基于机器阅读理解的中文方面级情感分析方法、系统、电子设备以及存储介质。
背景技术
文本情感分析技术作为自然语言处理领域的重要研究任务之一，为不少行业或组织机构有效挖掘用户意见、提升产品质量带来了巨大的便利和收益；比如电子商务、社交网络、影视、新闻以及医疗保健等不同领域。其中，方面级情感分析作为文本情感分析算法之一，旨在对评论文本中某一评价对象的特定方面的观点表达具体包括方面术语、意见术语、情感极性以及方面类别四个情感元素进行分析，从而更精细地为商家提供产品各个方面的用户反馈及情感倾向信息，成为了近年来的文本情感分析领域的研究热点。
然而，现有技术中的方面级文本情感分析存在的弊端如下：1）不适用于中文应用场景；2）对评论文本上下文和情感元素之间的语义和语法特征挖掘不够全面；3）对完整情感元素提取的多任务统一研究存在不足。
因此，亟需一种适用于中文场景的方面级情感分析方法。
发明内容
本发明提供一种基于机器阅读理解的中文方面级情感分析方法、系统、电子设备以及存储介质，用以克服上述现有技术中存在的至少一个技术问题。
为实现上述目的，本发明提供一种基于机器阅读理解的中文方面级情感分析方法，方法包括：
获取待分析的评论文本和所述评论文本对应的机器学习的查询文本；
将所述评论文本和所述查询文本采用标记符号进行拼接，作为输入文本；对所述输入文本利用预设的全词覆盖的中文预训练语言模型进行嵌入编码，获得所述输入文本的初始特征表示；
利用预设的Bi-LSTM神经网络对所述输入文本的初始特征表示进行语义特征提取，获得所述输入文本的编码表示；利用预设的GCN神经网络对所述输入文本的编码表示进行语法特征提取；并根据所提取的语义特征和语法特征获得输入文本的最终特征表示；
将所述最终特征表示输入预设的中文方面级情感多任务分析模型，进行方面级情感分析，并获得以方面级情感四元组为主，还包含方面情感三元组、方面情感二元组以及单一情感元素的多任务预测结果。
进一步，优选的，所述嵌入编码为将所述输入文本的每个字表示为标记嵌入、段落嵌入和位置嵌入的和；其中，所述标记嵌入用于将所述输入文本的每个字转换为一个设定维度的向量；所述段落嵌入用于区分所述输入文本中每个字所属的句子并根据句子对所述字进行赋值；所述位置嵌入用于对所述输入文本的序列顺序信息进行编码。
进一步，优选的，所述评论文本对应的机器学习的查询文本的获取方式包括，
对评论文本进行方面-意见双向提取查询，通过获取所述评论文本的从方面术语到意见术语方向的信息数据以及所述评论文本的从意见术语到方面术语方向的信息数据，确定所述评论文本中方面术语和意见术语在所在句子中的定位；
对已确定方面术语和意见术语在所在句子中的定位的评论文本，进行给定方面术语的条件下的限制性方面类别分类查询和给定意见术语的条件下的限制性情感极性分类查询，确定所述评论文本的方面所属的方面类别和意见所表达的情感极性；
将所述评论文本对应的方面-意见双向提取查询、限制性方面类别分类查询以及限制性情感极性分类查询的文本作为查询文本。
进一步，优选的，所述中文方面级情感多任务分析模型用于实现对方面情感四元组预测任务、方面情感三元提取任务、方面意见对提取任务、方面级情感共提取任务、方面级情感类别分类任务、方面术语提取任务和意见术语提取任务的联合预测。
进一步，优选的，所述中文方面级情感多任务分析模型通过以下损失函数训练获得，所述损失函数为：
其中，为从方面术语到意见术语方向的交叉熵损失函数，/>为从意见术语到方面术语方向的交叉熵损失函数，/>为方面类别分类的交叉熵损失函数，为情感极性分类的交叉熵损失函数；/>为超参数。
进一步，优选的，将输入文本的最终特征表示输入中文方面级情感多任务分析模型，进行方面级情感分析的步骤还包括，根据通过以下公式实现所述输入文本的最终特征表示，预测构成方面术语和意见术语的连续文本片段的答案的开始位置标记：
其中，表示归一化指数函数用于将预测值转换为概率，/>表示方面术语或意见术语的提取查询，/>为第i个标记的隐藏层特征表示，/>表示预测开始位置时模型的可训练权重，d为嵌入表示的维度。
进一步，优选的，通过以下公式实现，利用GCN神经网络对所述输入文本的编码表示进行语法特征提取：
，
其中，为各节点特征，/>为输出特征；/>表示激活函数，A为邻接矩阵，为A的度矩阵，/>；W sy 为GCN的权重矩阵。
为了解决上述问题，本发明还提供一种基于机器阅读理解的中文方面级情感分析系统，包括：
数据获取单元，用于获取待分析的评论文本和所述评论文本对应的机器学习的查询文本；将所述评论文本和所述查询文本采用标记符号进行拼接，作为输入文本；对所述输入文本利用预设的全词覆盖的中文预训练语言模型进行嵌入编码，获得所述输入文本的初始特征表示；
特征提取单元，用于利用预设的Bi-LSTM神经网络对所述输入文本的初始特征表示进行语义特征提取，获得所述输入文本的编码表示；利用预设的GCN神经网络对所述输入文本的编码表示进行语法特征提取；并根据所提取的语义特征和语法特征获得输入文本的最终特征表示；
分析单元，用于将所述最终特征表示输入预设的中文方面级情感多任务分析模型，进行方面级情感分析，并获得以方面级情感四元组为主，还包含方面情感三元组、方面情感二元组以及单一情感元素的多任务预测结果。
为了解决上述问题，本发明还提供一种电子设备，电子设备包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上述的基于机器阅读理解的中文方面级情感分析方法中的步骤。
为了解决上述问题，本发明还提供一种计算机可读存储介质，所述计算机程序被处理器执行时实现如上述的基于机器阅读理解的中文方面级情感分析方法。
本发明提供的基于机器阅读理解的中文方面级情感分析方法、系统、电子设备以及存储介质，通过基于中文语言表达的词级特点采用全词覆盖的中文预训练语言模型，并对评论文本和基于评论文本的查询文本进行了语义和语法的特征提取，然后通过基于机器阅读理解框架构建的查询机制和多任务预测的方法进行情感分析，实现了针对中文的对用户评论文本中完整情感元素信息的有效预测；达到了提高中文方面级情感分析的准确性，综合提升中文方面级情感分析模型的有效性和泛化性的技术效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一实施例提供的基于机器阅读理解的中文方面级情感分析方法的流程示意图；
图2为本发明一实施例提供的基于机器阅读理解的中文方面级情感分析方法的原理示意图；
图3为本发明一实施例提供的基于机器阅读理解的中文方面级情感分析系统的模块示意图；
图4为本发明一实施例提供的实现基于机器阅读理解的中文方面级情感分析方法的电子设备的内部结构示意图；
图5 为MRCC-ABSA模型对比实验结果表；
图6为消融实验结果表。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
随着机器阅读理解、深度学习以及多任务学习等技术的发展，这些新兴技术与方面级情感分析结合备受关注。故本发明提出基于机器阅读理解的中文方面级情感分析方法及系统，并探究不同特征提取算法对模型有效性的影响。算法核心在于基于预训练语言模型，通过Bi-LSTM和GCN等深度神经网络对评论文本上下文和情感元素之间的多元特征进行学习；另一方面从基于跨度的标记方法出发，采用端到端的统一的机器阅读理解框架构建针对中文的方面级情感分析多任务统一学习，最终实现对用户评论文本中完整情感元素信息的有效预测。
图1为本发明一实施例提供的基于机器阅读理解的中文方面级情感分析方法的流程示意图。该方法可以由一个系统执行，该系统可以由软件和/或硬件实现。
如图1所示，在本实施例中，基于机器阅读理解的中文方面级情感分析方法包括步骤S110~ S130。
S110、获取待分析的评论文本和所述评论文本对应的机器学习的查询文本；将所述评论文本和所述查询文本采用标记符号进行拼接，作为输入文本；对所述输入文本利用预设的全词覆盖的中文预训练语言模型进行嵌入编码，获得输入文本的初始特征表示。
需要说明的是，本发明的MRCC-ABSA（Machine Reading Comprehension forChinese multi-task Aspect-Based Sentiment Analysis）模型由三个主要模块组成：初始嵌入编码、特征提取和多任务预测。其中，初始嵌入编码考虑了中文语言表达的词级特点采用全词覆盖的中文预训练语言模型进行嵌入编码。特征提取整合了评论文本和查询文本的语义和语法特征。多任务预测采用基于机器阅读理解框架构建的查询机制和多任务学习中联合训练的方法实现在一个统一模型中同时预测以方面情感四元预测任务为主等七个方面级情感分析任务。
所述评论文本对应的机器学习的查询文本的获取方式包括，对评论文本进行方面-意见双向提取查询，通过获取所述评论文本的从方面术语到意见术语方向的信息数据以及所述评论文本的从意见术语到方面术语方向的信息数据，确定所述评论文本中方面术语和意见术语在所在句子中的定位；对已确定方面术语和意见术语在所在句子中的定位的评论文本，进行给定方面术语的条件下的限制性方面类别分类查询和给定意见术语的条件下的限制性情感极性分类查询，确定所述评论文本的方面所属的方面类别和意见所表达的情感极性；将所述评论文本对应的方面-意见双向提取查询、限制性方面类别分类查询以及限制性情感极性分类查询的文本作为查询文本。
对于初始嵌入编码而言，依据完备的情感元素标记信息构建机器阅读理解四元组查询，结合预训练语言模型获取适用于中文的初始语义嵌入表示。在初始嵌入编码中，本发明提出的MRCC-ABSA模型考虑到中文文本构成的语言特点为其基本单位是“词”而不是“字”，使用由哈工大联合讯飞实验室发布的全词覆盖的中文预训练语言模型BERT-wwm-Chinese进行嵌入编码。
具体地，首先将评论文本和MRC查询文本采用标记符号进行拼接作为输入文本即；其中，[CLS]为输入文本序列的开始标记，[SEP]为评论文本和查询文本之间的分隔标记。然后将输入文本中每个字表示为标记嵌入（Token Embedding）、段落嵌入（Segment Embedding）以及位置嵌入（Position Embedding）三种嵌入的相加和即/>；其中，标记嵌入用于将所述输入文本的每个字转换为一个设定维度的向量；段落嵌入用于区分输入文本中每个字所属的句子并根据句子对所述字进行赋值；即段落嵌入用于区分每个字属于整个输入文本的哪个句子，例如属于查询文本Q的字被赋值为A，而属于评论文本T的字被赋值为B；所述位置嵌入用于对输入文本的序列顺序信息进行编码。这三种嵌入表示的维度均为d维度，d的固定取值为768，故初始输入可用/>表示；将其输入到BERT-wwm-Chinese模型可以得到第l层的隐藏层表示H l 如下述公式所示：
其中，L表示Transformer的层数，取出最后一层的隐藏层表示作为输入文本序列进行编码嵌入后的特征表示。
通过上述方法实现了基于跨度的标记方法，获得了完备的情感元素标记数据；为构建基于中文环境的机器阅读理解四元组查询提供了基础。通过初始嵌入编码获得输入文本的初始特征表示，然后将基于上述输入文本的初始特征表示进行语义特征和语法特征的特征提取。
S120、利用预设的Bi-LSTM神经网络对所述输入文本的初始特征表示进行语义特征提取，获得所述输入文本的编码表示；利用预设的GCN神经网络对所述输入文本的编码表示进行语法特征提取；并根据所提取的语义特征和语法特征获得输入文本的最终特征表示。
具体地说，针对现有技术中，经预训练语言模型编码后得到的语义特征表示相对粗糙、方面术语和与其相关的意见表达之间的结构关系即语法依赖关系以及中文文本语法结构表达复杂；以及评论文本上下文和情感元素之间的语义和语法特征挖掘不充分等问题。本发明对初始嵌入编码部分获得的完备的情感元素标记数据作为初始特征表示，通过MRCC-ABSA模型融合了语义特征提取层和语法特征提取层实现最终的特征提取，从而改善特征提取不充分的问题，进而提高模型的分析预测能力。其中，语义特征提取层旨在采用Bi-LSTM神经网络基于初始嵌入编码表示学习蕴含在评论文本中的长距离依赖和深层的语义信息；语法特征提取层旨在采用GCN神经网络基于深层语义特征并结合依存句法树学习蕴含在评论文本中的上下文语法依赖信息。
首先，对于语义特征提取层而言，Bi-LSTM能够通过双向循环神经网络的结构来获取文本的上下文信息，从而更好地捕获文本的长距离依赖关系和语义特征。将由初始嵌入编码中预训练语言模型得到的初始特征表示H L 作为Bi-LSTM的输入
以捕获更深层次的上下文语义特征，输入表示E的通过以下方式获得：
其中，e t 表示t时刻的输入，是sigmoid激活函数，/>表示权重矩阵，b e 表示偏置。
经Bi-LSTM后获得最后一层的隐藏层输出，其中，/>；/>表示前向隐藏层输出，/>表示后向隐藏层输出。
以前向隐藏层输出为例，获得方法如下：
其中，表示从前一时刻h t-1 到当前时刻h t 的权重矩阵，b h 为当前时刻的偏置，/>。
需要说明的是，后向的通过上述前向/>的获取方式获得。
其次，对于语法特征提取层而言，本发明基于图卷积神经网络可以同时考虑节点自身的特征以及它们之间的拓扑结构，将图卷积神经网络用于文本情感分析任务中，可有效捕获输入文本之间蕴含的语法特征。具体地说，本发明基于Stanford大学自然语言处理组开发的CoreNLP工具包获取输入文本的句法依赖信息，并依此计算对应的邻接矩阵、度矩阵以作为图卷积神经网络的输入；其中，邻接矩阵表示各节点之间的依赖关系，度矩阵是基于邻接矩阵计算得到的，用来表示与每个节点相关联的节点的数量。
利用GCN神经网络对所述输入文本的编码表示进行语法特征提取，通过以下公式实现：
其中，为各节点特征，/>为输出特征；/>表示激活函数，A为邻接矩阵，为A的度矩阵，/>；W sy 为GCN的权重矩阵。
需要说明的是，为处理不同大小的依存图，本发明采用度矩阵的归一化方式来对邻接矩阵进行归一化，这种归一化方式被称为对称归一化即。可以看出，在对称归一化时，因度矩阵既考虑到了每个节点自身的度数，也考虑到了其邻居节点的度数，为更好地保持每个节点的特征信息，降低节点的度数对其特征向量的影响，故对度矩阵中的每个元素均取了负平方根的倒数即/>。
本发明融合了由Bi-LSTM神经网络得到的深层语义特征表示H se 和由GCN神经网络得到的语法特征表示H sy 以获得输入文本最终的特征表示H：
。
S130、将所述输入文本的最终特征表示输入预设的中文方面级情感多任务分析模型，进行方面级情感分析，并获得以方面级情感四元组为主，还包含方面情感三元组、方面情感二元组以及单一情感元素的多任务预测结果。
需要说明的是，考虑到现有技术中的方面级情感分析存在如下现实情况：1）对方面术语和意见术语之间存在的多对一、一对多甚至有重叠嵌入等复杂情况解决不充分问题，而从方面意见对的构成角度出发，其既有可能是由方面术语这一情感元素触发的，也可能是由意见术语触发的；2）情感极性这一情感元素主要由表达在方面目标上的意见术语决定，即情感极性通常更受意见术语的影响，而不是由方面意见对决定的；3）方面类别这一情感元素也更多的是依据于方面术语而体现的。
基于上述现状，本发明构建了基于MRC的四元组查询模块，主要包括方面意见双向提取查询、限制性方面类别分类查询以及限制性情感极性分类查询，以分别获取蕴含在评论文本中的方面意见对、方面类别以及情感极性四元组。
具体地说，所述中文方面级情感多任务分析模型用于实现对方面情感四元组预测任务、方面情感三元提取任务、方面意见对提取任务、方面级情感共提取任务、方面级情感类别分类任务、方面术语提取任务和意见术语提取任务的联合预测。即，在方面意见双向提取查询中分别设置了针对中文评论文本的从方面术语到意见术语方向（即A→O方向）的提取查询，及从意见术语到方面术语方向（即O→A方向）的提取查询，以获得包含在评论文本句子中构成方面术语和意见术语分别对应的连续文本跨度；在限制性方面类别分类查询中依据方面意见双向提取查询的结果，设置了在给定方面术语的条件下的限制性方面类别分类查询，以获得该方面所属的方面类别；在限制性情感极性分类查询中依据方面意见双向提取查询的结果，设置了在给定意见术语的条件下的限制性情感极性分类查询，以获得该意见所表达的情感极性。
图2示出了本发明的基于机器阅读理解的中文方面级情感分析方法的原理示意图；如图2所示，以评论文本“姜的味道不错！就是客服回复慢了些！总体说不错”为例，其包含两个方面情感四元组分别是[“味道”，“不错”，“POS”，“口感”]、[“客服”，“回复慢了些”，“NEG”，“售后”]。在方面意见双向提取查询的A→O方向，首先利用非限制性方面术语提取查询“有哪些方面？”获得输入评论文本中包含的方面术语即“味道”、“客服”，然后依据获得的方面术语分别设置限制性意见术语查询“给定方面味道的意见？”、“给定方面客服的意见？”对应获得“不错”、“回复慢了些”的答案；同理，在O→A方向中，通过设置非限制性意见术语提取查询“有哪些意见？”获得输入评论文本中包含的意见术语即“不错”、“回复慢了些”，然后依据获得的意见术语分别设置限制性方面术语查询“给定意见不错所描述的方面？”、“给定意见回复慢了些所描述的方面？”对应获得“味道”、“客服”的答案；最后通过整合两个方向获得的方面术语和意见术语回答结果确定最终的方面意见对。在限制性方面类别分类查询中，依据最终确定的方面意见对中的方面术语设置“给定方面味道所属的方面类别？”、“给定方面客服所属的方面类别？”两个分类查询，对应获得“口感”、“售后”的答案。在限制性情感极性分类查询中，同样依据最终确定的方面意见对中的意见术语设置“给定意见不错所表达的情感极性？”、“给定意见回复慢了些所表达的情感极性？”，以获得对应的情感极性“POS”、“NEG”。最终通过整合所有的方面意见对、方面类别、情感极性结果得到方面情感四元组。
将输入文本的最终特征表示输入中文方面级情感多任务分析模型，进行方面级情感分析的步骤还包括，根据通过以下公式实现所述输入文本的最终特征表示，预测构成方面术语和意见术语的连续文本片段的答案的开始位置标记：
其中，表示归一化指数函数用于将预测值转换为概率，/>表示方面术语或意见术语的提取查询，/>为第i个标记的隐藏层特征表示，/>表示预测开始位置时模型的可训练权重，d为嵌入表示的维度。
相似的，构成方面术语和意见术语的连续文本片段的答案的结束位置标记，通过以下方式实现：
其中，表示归一化指数函数用于将预测值转换为概率，/>表示方面术语或意见术语的提取查询，/>为第i个标记的隐藏层特征表示，/>表示预测结束位置时模型的可训练权重，d为嵌入表示的维度。
也就是说，在模型训练预测时，本发明融合输入文本的语义特征以及语法特征作为模型最终的特征表示，同时为从输入文本中获取构成方面术语和意见术语的连续文本片段的答案，设置了上述两个线性二元分类器以分别预测答案的开始位置标记和结束位置标记。
为了从输入文本中预测给定方面术语的方面类别，本发明设置了一个线性九元分类器，以基于[CLS]标记的隐藏层特征表示来预测限制性方面类别分类查询的答案，通过以下公式实现：
其中，Q c 表示方面类别的分类查询，h 0 表示[CLS]标记所对应的隐藏层特征表示，是预测方面所属类别时模型的可训练权重。
为了从输入文本中预测给定意见术语的情感极性，本发明设置了一个线性三元分类器，以基于[CLS]标记的隐藏层特征表示来预测限制性情感极性分类查询的答案，通过以下公式实现：
其中，Q S 表示情感极性的分类查询，是预测情感极性类别时模型的可训练权重。
所述中文方面级情感多任务分析模型通过以下损失函数训练获得，所述损失函数为：
其中，为从方面术语到意见术语方向的交叉熵损失函数，/>为从意见术语到方面术语方向的交叉熵损失函数，/>为方面类别分类的交叉熵损失函数，为情感极性分类的交叉熵损失函数；/>为超参数。
也就是说，同时在训练时采用多任务学习中联合学习的形式在统一框架中实现对方面情感四元组预测任务（ASQP，Aspect Sentiment Quad Prediction）、方面情感三元提取任务（ASTE，Aspect Sentiment Triplet Extraction）、方面意见对提取任务（AOPE，Aspect Opinion Pair Extraction）、方面级情感共提取任务（ASC，Aspect SentimentClassification）、方面级类别分类任务（ACC，Aspect Category Classification）、方面术语提取任务（AE，Aspect Extraction）、意见术语提取任务（OE，Opinion Extraction）的联合预测。即模型融合了方面意见双向提取查询、限制性方面类别分类查询以及限制性情感极性分类查询的损失函数作为模型整体的损失以进行多任务的联合训练。具体地，A→O方向的交叉熵损失，O→A方向的交叉熵损失/>，方面类别分类的交叉熵损失，情感极性分类的交叉熵损失/>。
具体地说，A→O方向的交叉熵损失通过以下公式获取：
其中，表示A→O方向的方面意见提取查询，/>表示真实分布，/>则表示的是由模型预测得到的分布。
具体地说，O→A方向的交叉熵损失通过以下公式获取：
其中，表示O→A方向的方面意见提取查询，/>表示真实分布，/>则表示的是由模型预测得到的分布。
方面类别分类的交叉熵损失，通过以下公式获取：
其中，Q C 表示方面类别分类查询，表示真实分布，/>则表示的是由模型预测得到的分布。
情感极性分类的交叉熵损失，通过以下公式获取：
其中，Q S 表示情感极性分类查询，表示真实分布，/>则表示的是由模型预测得到的分布。
综上，本发明针对现有的中文方面级情感分析模型多只关注于为特定任务构建一个专用模型，而无法同时解决多个任务的问题，提出了基于机器阅读理解的中文方面级情感分析模型，采用多任务学习实现在一个统一模型中解决多个方面级情感分析任务。
效果例1
在利用损失函数训练获取训练好的本发明的MRCC-ABSA模型之后，对本发明的基于机器阅读理解的中文方面级情感分析模型进行性能对比试验。
为了评估MRCC-ABSA模型对方面级情感多任务分析的有效性，本发明使用三个评价指标，分别是精确率P（Precision）、召回率R（Recall）以及平衡分数F1（balanced FScore）。对于这三个指标来说，均为数值越大时表示方面级情感分析的效果越好。且只有当各方面级情感分析任务中的每一个情感元素的预测结果和标准的标注结果一致时，才将该结果记为正确。
P作为一种准确性指标，常被用来评价分析结果的准确度。具体来说，P是通过计算在所有被分类为正例的样本中，真正例所占的比例，P的值越大，模型预测的准确性越高。
其中，TP（True Positive）表示真正例的个数，FP（False Positive）表示假正例的个数。
R是一种衡量模型分类器对正例的查全率指标，即主要衡量分类器能够正确识别出正例的能力，通过以下公式实现：
其中，TP和FP和P中的含义一致，FN（False Negative）表示假反例的个数。
F1分数是精确率P和召回率R的调和平均值，其综合考虑了这两者之间的关系，通常被用于评论分类器在不同类别上的平衡性能；通过以下公式实现：
其中，F1分数的取值范围为[0,1]，值越接近于1表示分类器在精确率和召回率之间取得了较好的平衡，模型具有更好的分析性能。
结果表明，本发明提出的MRCC-ABSA模型，在P、R、F1等指标上与现有的方面级情感分析方法相比均有明显提升。
本发明使用的实验数据是中国某电商平台农产品类别下的评论标注数据集，每一条评论至少由两个人进行确认标注，同时手动标注的情感元素标签遵循方面情感标注规则。数据集中包含有多个评价对象如土豆、玉米、莲藕、花生、棉花以及茶叶等，依据评价对象的各方面属性及特点，划分了“品质”、“口感”、“分量”、“其他”、“包装”、“售后”、“色泽”、“物流”及“价格”等九种方面类别。此外，标注采用在方面级情感分析中通用的情感极性分类，即“中性”情感“NEU”，“积极”情感“POS”，“消极”情感“NEG”三种类别。实验随机地将数据集划分为包含4842条评论的训练数据集，及包含1500条评论的测试数据集。
中文评论数据集中的每一条评论文本均对应一条标注结果列表，列表中的每一个元素表示这一条评论中所包含的一个方面情感四元组。其中，每一个四元组由构成方面术语的连续文本跨度的开始、结束位置索引，构成意见术语的连续文本跨度的开始、结束位置索引，情感极性，以及所属方面类别四部分组成。以评论文本“味道很好，但分量不够实惠为例”，其包含两个方面情感四元组分别为（“味道”，“很好”，‘POS’，‘口感’）、（“分量”，“不够实惠”，‘NEG’，‘分量’），分别对应标注结果（[0,1]，[2,3]，1，‘口感’）、（[6,7]，[8,11]，2，‘分量’）；具体地，在四元组（[0,1]，[2,3]，1，‘口感’）中，[0,1]表示方面术语“味道”在该评论中的连续文本跨度索引，[2,3]表示意见术语“很好”在该评论中连续文本跨度索引，1表示特定方面意见对“味道，很好”的情感极性为POS即“积极”，‘口感’表示方面术语“味道”所属的类别。在实验中，为适应模型计算处理，本发明分别用0、1、2表示NEU、POS、NEG三种情感类别。部分中文评论数据集情感元素标注信息数据示例如表1所示。
表1 部分中文评论数据集情感元素标注信息数据示例
需要说明的是，这些四元组的方面术语和意见术语之间可能存在一对多、多对一以及交叉覆盖的情况：以第二条评论文本“物流慢的很，茶叶稍微有点苦，但苦味后有点清香，客服不错”为例，其主要对“物流”、“茶叶”以及“客服”这三个方面进行了评价，其中“茶叶”这一方面术语分别对应两个评价意见即“有点苦”和“有点清香”即方面术语和意见术语之间存在着一对多的情况；以第三条评论文本“商品快递和包装这两点满意”为例，其对商品这一对象的“快递”和“包装”两个方面进行了评价，且评价意见均为“满意”即方面术语和意见术语之间存在着多对一的情况；最后以第四条评论文本“暂时没效果，很健康的颜色”为例，其评价方面“颜色”对应的意见表达为“很健康的颜色”即方面术语和意见术语之间存在着交叉覆盖的情况。
本实验中设置预训练语言模型的嵌入向量维度为768维，Bi-LSTM和GCN神经网络的嵌入向量维度均设置为256维，采用Adam优化器对模型进行优化，模型的学习率值设置为0.0001，当训练时batch size设置为4，模型预测时batch size设置为1。同时，还进行了参数探究实验，具体包括Dropout率、Bi-LSTM的隐藏层层数、GCN的隐藏层层数，以上参数的值分别设置为0.7，3，2。此外，设置Epochs的初始值为40，为防止模型过拟合以及epochs的值过大而导致模型训练时间过长，设置了早停算法以实现当出现连续5个epoch的F1指标值未提高时，模型即刻停止训练。
对比例1
本发明将MRCC-ABSA模型与方面级情感分析领域中广泛使用的且涉及到同时解决多个分析任务的模型如E2E-ABSA、RACL、Generative-ABSA，以及以解决方面情感四元预测任务为主的方面级情感分析模型如ASOC（Extract-Classify-ASOC）、ASQP-PG、AspectQuad（DLO、ILO）、MvP-ASTP进行了比较。具体的模型对比实验结果如图5所示。
在图5中，用“-”表示当前模型实验不包含该任务，同时对各模型性能最佳的指标结果进行加粗表示，次佳的指标结果进行下划线表示。此外，因Generative-ABSA模型包含两种范式，注释类范式的结果展示在该模型对应的第一行，提取类范式的结果展示在第二行；因AspectQuad模型包含两种模板选择策略，数据级顺序（DLO，Dataset-Level Order）的结果展示在该模型对应的第一行，实例级顺序（ILO，Instance-Level Order）的结果展示在第二行。
从图5中可以看出，本发明所提的MRCC-ABSA模型除实现基础的ASQP任务外，还可以同时实现以ASQP任务为主的多种方面级情感分析任务，而不需要改变模型的内部结构。具体地说，E2E-ABSA、RACL、Generative-ABSA模型、ASOC模型、ASQP-PG、AspectQuad和MvP-ASTP在各任务上的整体表现低于本发明的MRCC-ABSA。
本发明提出的MRCC-ABSA模型在ASTE、ASQP任务中准确率P、召回率R以及F1分数指标上的表现明显优于其他对比模型。这是因为MRCC-ABSA模型一方面基于span的方法并采用了机器阅读理解框架进行多任务方面级情感分析，这反映了基于该方法比采用基于序列标记并结合seq2seq的方法在情感元素提取和预测上有更大的优势，其原因可能是序列标记的方法中每一个字的预测结果相比于基于span的方法有更多种组合的可能性。另一方面，MRCC-ABSA模型考虑到中文自身的语言表达特点，利用全词覆盖的中文预训练语言模型进行嵌入编码，通过Bi-LSTM层学习蕴含在评论文本中的长距离依赖和深层语义特征，并通过GCN层学习语法特征，同时将其整合到最终输入文本的特征表示上，进一步提高了模型的性能。
对比例2
MRCC-ABSA模型上进行了消融实验，实验对象有以下3个：将中文语言表达特点全词覆盖的预训练语言模型BERT-wwm-Chinese、用于捕获长距离依赖和深层语义特征的双向长短期记忆网络层以及用于捕获隐含在输入文本中的语法特征的图卷积记忆网络层；分别将上述三个模型和网络层在实验中消去，在测试集上得到各方面级情感分析任务下的实验结果如图6所示。
其中，对图6中各变体模型性能最佳的指标结果进行加粗表示，次佳的结果进行下划线表示。观察图6可见，考虑中文语言表达特点全词覆盖的预训练语言模型BERT-wwm-Chinese比采用基本的BERT-base-Chinese预训练语言模型在OE、AOPE、ASC、ASTE以及ASQP任务上均有效提高了方面级情感分析的性能；添加双向长短期记忆网络Bi-LSTM层学习评论文本的深层语义特征在AE、ASC、ACC以及ASQP任务上的表现更突出，而添加图卷积网络GCN层学习评论文本的语法依赖特征在OE与AOPE任务上的表现更突出。这是因为方面术语一般是由输入评论文本中相对较短的连续文本片段构成的，采用Bi-LSTM层便可以有效地学习到这些连续文本片段中的各个词之间的序列相关性及长距离依赖关系，从而获得更丰富的语义特征表示；而意见术语通常是由多个连续的中文词构成的，采用GCN可以更好地学习到多个词上下文之间的语法依赖信息，以及方面术语和与其相关的意见术语之间的结构信息。总之，MRCC-ABSA模型通过融合Bi-LSTM层和GCN层充分挖掘了用户评论文本中的语义和语法特征，以及方面术语、意见术语及其之间的相互关系，并对语义和语法特征进行整合，最终得到用户评论的特征表示，在ASQP、ASTE以及ASC任务上均实现了最佳的中文方面级情感分析效果，且与采用基本的BERT-base-Chinese模型相比在F1分数指标上分别提高了0.91%、1.9%以及1.34%；同时，在OE和AOPE任务上也取得了次好的效果，在F1分数指标上分别提高了1.09%和0.78%；此外，从整体效果上可以反映出情感极性这一情感元素和意见术语提取的准确性更为相关，而方面类别和方面术语提取的准确性之间的相关性更高。
综上，本发明的基于机器阅读理解的中文方面级情感分析方法，基于跨度的标记方法获得了完备的情感元素标记数据；进而通过融合了语义特征提取层和语法特征提取层实现最终的特征提取，达到改善特征提取不充分的问题，进而提高模型的分析预测能力的效果；最后采用多任务学习实现在一个统一基于机器阅读理解框架中解决多个方面级情感分析任务；最终达到实现对用户评论文本中完整情感元素信息的有效预测的技术效果。
如图3所示，本发明提供一种基于机器阅读理解的中文方面级情感分析系统300，本发明可以安装于电子设备中。根据实现的功能，该基于机器阅读理解的中文方面级情感分析系统300可以包括数据获取单元310、特征提取单元320和分析单元330。本发明所述单元也可以称之为模块，是指一种能够被电子设备处理器所执行，并且能够完成固定功能的一系列计算机程序段，其存储在电子设备的存储器中。
在本实施例中，关于各模块/单元的功能如下：
数据获取单元310，用于获取待分析的评论文本和所述评论文本对应的机器学习的查询文本；将所述评论文本和所述查询文本采用标记符号进行拼接，作为输入文本；对所述输入文本利用预设的全词覆盖的中文预训练语言模型进行嵌入编码，获得输入文本的初始特征表示；
特征提取单元320，用于利用预设的Bi-LSTM神经网络对所述输入文本的初始特征表示进行语义特征提取，获得所述输入文本的编码表示；利用预设的GCN神经网络对所述输入文本的编码表示进行语法特征提取；并根据所提取的语义特征和语法特征获得输入文本的最终特征表示；
分析单元330，用于将所述最终特征表示输入预设的中文方面级情感多任务分析模型，进行方面级情感分析，并获得以方面级情感四元组为主，还包含方面情感三元组、方面情感二元组以及单一情感元素的多任务预测结果。
本发明的基于机器阅读理解的中文方面级情感分析系统300，通过获取待分析的评论文本和查询文本；将所获取的所述评论文本和查询文本采用标记符号进行拼接，作为输入文本；对输入文本利用全词覆盖的中文预训练语言模型进行嵌入编码，获得输入文本的初始特征表示；对所述输入文本的初始特征表示进行语义特征提取，利用GCN神经网络对所述输入文本的编码表示进行语法特征提取；并获得输入文本的最终特征表示；将输入文本的最终特征表示输入中文方面级情感多任务分析模型进行方面级情感四元组的预测结果；本发明达到了对用户评论文本中完整情感元素信息的有效预测的技术效果。
如图4所示，本发明提供一种基于机器阅读理解的中文方面级情感分析方法的电子设备4。
该电子设备4可以包括处理器40、存储器41和总线，还可以包括存储在存储器41中并可在所述处理器40上运行的计算机程序，如基于机器阅读理解的中文方面级情感分析程序42。存储器41还可以既包括基于机器阅读理解的中文方面级情感分析系统的内部存储单元也包括外部存储设备。存储器41不仅可以用于存储安装于应用软件及各类数据，例如基于机器阅读理解的中文方面级情感分析程序的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。
其中，所述存储器41至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器（例如：SD或DX存储器等）、磁性存储器、磁盘、光盘等。所述存储器41在一些实施例中可以是电子设备4的内部存储单元，例如该电子设备4的移动硬盘。所述存储器41在另一些实施例中也可以是电子设备4的外部存储设备，例如电子设备4上配备的插接式移动硬盘、智能存储卡（Smart Media Card，SMC）、安全数字（SecureDigital，SD）卡、闪存卡（Flash Card）等。进一步地，所述存储器41还可以既包括电子设备4的内部存储单元也包括外部存储设备。所述存储器41不仅可以用于存储安装于电子设备4的应用软件及各类数据，例如基于机器阅读理解的中文方面级情感分析程序的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。
所述处理器40在一些实施例中可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器（Central Processing Unit，CPU）、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述处理器40是所述电子设备的控制核心（Control Unit），利用各种接口和线路连接整个电子设备的各个部件，通过运行或执行存储在所述存储器41内的程序或者模块（例如基于机器阅读理解的中文方面级情感分析程序等），以及调用存储在所述存储器41内的数据，以执行电子设备4的各种功能和处理数据。
所述总线可以是外设部件互连标准（Peripheral Component Interconnect，PCI）总线或扩展工业标准结构（Extended Industry Standard Architecture，EISA）总线等。该总线可以分为地址总线、数据总线、控制总线等。所述总线被设置为实现所述存储器41以及至少一个处理器40等之间的连接通信。
图4仅示出了具有部件的电子设备，本领域技术人员可以理解的是，图4示出的结构并不构成对所述电子设备4的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
例如，尽管未示出，所述电子设备4还可以包括给各个部件供电的电源（比如电池），优选地，电源可以通过电源管理系统与所述至少一个处理器40逻辑相连，从而通过电源管理系统实现充电管理、放电管理、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述电子设备4还可以包括多种传感器、蓝牙模块、Wi-Fi模块等，在此不再赘述。
进一步地，所述电子设备4还可以包括网络接口，可选地，所述网络接口可以包括有线接口和/或无线接口（如Wi-Fi接口、蓝牙接口等），通常用于在该电子设备4与其他电子设备之间建立通信连接。
可选地，该电子设备4还可以包括用户接口，用户接口可以是显示器（Display）、输入单元（比如键盘（Keyboard）），可选地，用户接口还可以是标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED有机发光二极管（Organic Light-Emitting Diode）触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在电子设备4中处理的信息以及用于显示可视化的用户界面。
应该了解，所述实施例仅为说明之用，在专利申请范围上并不受此结构的限制。
所述电子设备4中的所述存储器41存储的基于机器阅读理解的中文方面级情感分析程序42是多个指令的组合，在所述处理器40中运行时，可以实现：获取待分析的评论文本和所述评论文本对应的机器学习的查询文本；将所述评论文本和查询文本采用标记符号进行拼接，作为输入文本；对所述输入文本利用预设的全词覆盖的中文预训练语言模型进行嵌入编码，获得输入文本的初始特征表示；利用预设的Bi-LSTM神经网络对所述输入文本的初始特征表示进行语义特征提取，获得所述输入文本的编码表示；利用预设的GCN神经网络对所述输入文本的编码表示进行语法特征提取；并根据所提取的语义特征和语法特征获得输入文本的最终特征表示；将输入文本的最终特征表示输入预设的中文方面级情感多任务分析模型，进行方面级情感分析，并获得以方面级情感四元组为主，还包含方面情感三元组、方面情感二元组以及单一情感元素的多任务预测结果。
具体地，所述处理器40对上述指令的具体实现方法可参考图1对应实施例中相关步骤的描述，在此不赘述。
进一步地，所述电子设备4集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或系统、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（ROM，Read-Only Memory）。
本发明实施例还提供一种计算机可读存储介质，所述存储介质可以是非易失性的，也可以是易失性的，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现：获取待分析的评论文本和所述评论文本对应的机器学习的查询文本；将所述评论文本和查询文本采用标记符号进行拼接，作为输入文本；对所述输入文本利用预设的全词覆盖的中文预训练语言模型进行嵌入编码，获得输入文本的初始特征表示；利用预设的Bi-LSTM神经网络对所述输入文本的初始特征表示进行语义特征提取，获得所述输入文本的编码表示；利用预设的GCN神经网络对所述输入文本的编码表示进行语法特征提取；并根据所提取的语义特征和语法特征获得输入文本的最终特征表示；将输入文本的最终特征表示输入预设的中文方面级情感多任务分析模型，进行方面级情感分析，并获得以方面级情感四元组为主，还包含方面情感三元组、方面情感二元组以及单一情感元素的多任务预测结果。
具体地，所述计算机程序被处理器执行时具体实现方法可参考实施例基于机器阅读理解的中文方面级情感分析方法中相关步骤的描述，在此不赘述。
在本发明所提供的几个实施例中，应该理解到，所揭露的设备，系统和方法，可以通过其它的方式实现。例如，以上所描述的系统实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。
因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。
此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。系统权利要求中陈述的多个单元或系统也可以由一个单元或系统通过软件或者硬件来实现。“第二”等词语用来表示名称，而并不表示任何特定的顺序。
最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。

Claims (10)

1.一种基于机器阅读理解的中文方面级情感分析方法，其特征在于，包括：
获取待分析的评论文本和所述评论文本对应的机器学习的查询文本；
将所述评论文本和所述查询文本采用标记符号进行拼接，作为输入文本；对所述输入文本利用预设的全词覆盖的中文预训练语言模型进行嵌入编码，获得所述输入文本的初始特征表示；
利用预设的Bi-LSTM神经网络对所述输入文本的初始特征表示进行语义特征提取，获得所述输入文本的编码表示；利用预设的GCN神经网络对所述输入文本的编码表示进行语法特征提取；并根据所提取的语义特征和语法特征获得输入文本的最终特征表示；
将所述最终特征表示输入预设的中文方面级情感多任务分析模型，进行方面级情感分析，并获得以方面级情感四元组为主，还包含方面情感三元组、方面情感二元组以及单一情感元素的多任务预测结果。
2.根据权利要求1所述的基于机器阅读理解的中文方面级情感分析方法，其特征在于，所述嵌入编码为将所述输入文本的每个字表示为标记嵌入、段落嵌入和位置嵌入的和；其中，所述标记嵌入用于将所述输入文本的每个字转换为一个设定维度的向量；所述段落嵌入用于区分所述输入文本中每个字所属的句子并根据句子对所述字进行赋值；所述位置嵌入用于对所述输入文本的序列顺序信息进行编码。
3.根据权利要求1所述的基于机器阅读理解的中文方面级情感分析方法，其特征在于，所述评论文本对应的机器学习的查询文本的获取方式包括，
对评论文本进行方面-意见双向提取查询，通过获取所述评论文本的从方面术语到意见术语方向的信息数据以及所述评论文本的从意见术语到方面术语方向的信息数据，确定所述评论文本中方面术语和意见术语在所在句子中的定位；
对已确定方面术语和意见术语在所在句子中的定位的评论文本，进行给定方面术语的条件下的限制性方面类别分类查询和给定意见术语的条件下的限制性情感极性分类查询，确定所述评论文本的方面所属的方面类别和意见所表达的情感极性；
将所述评论文本对应的方面-意见双向提取查询、限制性方面类别分类查询以及限制性情感极性分类查询的文本作为查询文本。
4.根据权利要求1所述的基于机器阅读理解的中文方面级情感分析方法，其特征在于，所述中文方面级情感多任务分析模型用于实现对方面情感四元组预测任务、方面情感三元提取任务、方面意见对提取任务、方面级情感共提取任务、方面级情感类别分类任务、方面术语提取任务和意见术语提取任务的联合预测。
5.根据权利要求4所述的基于机器阅读理解的中文方面级情感分析方法，其特征在于，所述中文方面级情感多任务分析模型通过以下损失函数训练获得，所述损失函数为：
，
其中，为从方面术语到意见术语方向的交叉熵损失函数，/>为从意见术语到方面术语方向的交叉熵损失函数，/>为方面类别分类的交叉熵损失函数，/>为情感极性分类的交叉熵损失函数；/>为超参数。
6.根据权利要求1所述的基于机器阅读理解的中文方面级情感分析方法，其特征在于，将输入文本的最终特征表示输入中文方面级情感多任务分析模型，进行方面级情感分析的步骤还包括，根据通过以下公式实现所述输入文本的最终特征表示，预测构成方面术语和意见术语的连续文本片段的答案的开始位置标记：
，
其中，表示归一化指数函数用于将预测值转换为概率，/>表示方面术语或意见术语的提取查询，/>为第i个标记的隐藏层特征表示，/>表示预测开始位置时模型的可训练权重，d为嵌入表示的维度。
7.根据权利要求1所述的基于机器阅读理解的中文方面级情感分析方法，其特征在于，通过以下公式实现，利用GCN神经网络对所述输入文本的编码表示进行语法特征提取：
，
其中，为各节点特征，/>为输出特征；/>表示激活函数，A为邻接矩阵，/>为A的度矩阵，/>；W sy 为GCN的权重矩阵。
8.一种基于机器阅读理解的中文方面级情感分析系统，其特征在于，包括：
数据获取单元，获取待分析的评论文本和所述评论文本对应的机器学习的查询文本；将所述评论文本和所述查询文本采用标记符号进行拼接，作为输入文本；对所述输入文本利用预设的全词覆盖的中文预训练语言模型进行嵌入编码，获得所述输入文本的初始特征表示；
特征提取单元，用于利用预设的Bi-LSTM神经网络对所述输入文本的初始特征表示进行语义特征提取，获得所述输入文本的编码表示；利用预设的GCN神经网络对所述输入文本的编码表示进行语法特征提取；并根据所提取的语义特征和语法特征获得输入文本的最终特征表示；
分析单元，用于将所述最终特征表示输入预设的中文方面级情感多任务分析模型，进行方面级情感分析，并获得以方面级情感四元组为主，还包含方面情感三元组、方面情感二元组以及单一情感元素的多任务预测结果。
9.一种电子设备，其特征在于，所述电子设备包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至7中任一项所述的基于机器阅读理解的中文方面级情感分析方法中的步骤。
10.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的基于机器阅读理解的中文方面级情感分析方法。
CN202311639036.XA 2023-12-04 2023-12-04 基于机器阅读理解的中文方面级情感分析方法及系统 Active CN117390140B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311639036.XA CN117390140B (zh) 2023-12-04 2023-12-04 基于机器阅读理解的中文方面级情感分析方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311639036.XA CN117390140B (zh) 2023-12-04 2023-12-04 基于机器阅读理解的中文方面级情感分析方法及系统

Publications (2)

Publication Number Publication Date
CN117390140A true CN117390140A (zh) 2024-01-12
CN117390140B CN117390140B (zh) 2024-03-15

Family

ID=89468616

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311639036.XA Active CN117390140B (zh) 2023-12-04 2023-12-04 基于机器阅读理解的中文方面级情感分析方法及系统

Country Status (1)

Country Link
CN (1) CN117390140B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200167419A1 (en) * 2018-11-27 2020-05-28 Sap Se Exploiting document knowledge for aspect-level sentiment classification
US20220092267A1 (en) * 2020-09-23 2022-03-24 Jingdong Digits Technology Holding Co., Ltd. Method and system for aspect-level sentiment classification by graph diffusion transformer
US20220318520A1 (en) * 2021-03-31 2022-10-06 Adobe Inc. Aspect-based sentiment analysis
CN116029305A (zh) * 2023-03-07 2023-04-28 西安电子科技大学 一种基于多任务学习的中文属性级情感分析方法、系统、设备及介质
CN116468030A (zh) * 2022-01-05 2023-07-21 重庆邮电大学 一种基于多任务神经网络的端到端方面级情感分析方法
CN116663567A (zh) * 2023-06-09 2023-08-29 南京师范大学 一种基于语义增强双编码器的方面级情感三元组抽取方法及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200167419A1 (en) * 2018-11-27 2020-05-28 Sap Se Exploiting document knowledge for aspect-level sentiment classification
US20220092267A1 (en) * 2020-09-23 2022-03-24 Jingdong Digits Technology Holding Co., Ltd. Method and system for aspect-level sentiment classification by graph diffusion transformer
US20220318520A1 (en) * 2021-03-31 2022-10-06 Adobe Inc. Aspect-based sentiment analysis
CN116468030A (zh) * 2022-01-05 2023-07-21 重庆邮电大学 一种基于多任务神经网络的端到端方面级情感分析方法
CN116029305A (zh) * 2023-03-07 2023-04-28 西安电子科技大学 一种基于多任务学习的中文属性级情感分析方法、系统、设备及介质
CN116663567A (zh) * 2023-06-09 2023-08-29 南京师范大学 一种基于语义增强双编码器的方面级情感三元组抽取方法及系统

Also Published As

Publication number Publication date
CN117390140B (zh) 2024-03-15

Similar Documents

Publication Publication Date Title
Logeswaran et al. Sentence ordering and coherence modeling using recurrent neural networks
WO2022141861A1 (zh) 情感分类方法、装置、电子设备及存储介质
CN107644011B (zh) 用于细粒度医疗实体提取的系统和方法
CN113641820B (zh) 基于图卷积神经网络的视角级文本情感分类方法及系统
WO2018028077A1 (zh) 一种基于深度学习的中文语义分析的方法及装置
CN113095415B (zh) 一种基于多模态注意力机制的跨模态哈希方法及系统
US11687716B2 (en) Machine-learning techniques for augmenting electronic documents with data-verification indicators
CN108984775B (zh) 一种基于商品评论的舆情监控方法及系统
CN109598517B (zh) 商品通关处理、对象的处理及其类别预测方法和装置
CN111680159A (zh) 数据处理方法、装置及电子设备
CN113378970B (zh) 语句相似性检测方法、装置、电子设备及存储介质
CN112667816B (zh) 一种基于深度学习的方面级情感分析方法及系统
CN114648392B (zh) 基于用户画像的产品推荐方法、装置、电子设备及介质
CN112257441A (zh) 一种基于反事实生成的命名实体识别增强方法
CN115983271A (zh) 命名实体的识别方法和命名实体识别模型的训练方法
CN114519397B (zh) 基于对比学习的实体链接模型的训练方法、装置、设备
CN115309864A (zh) 评论文本的情感智能分类方法、装置、电子设备及介质
CN113704459A (zh) 一种基于神经网络的在线文本情感分析方法
CN117150436B (zh) 多模态自适应融合的主题识别方法及系统
CN116450829A (zh) 医疗文本分类方法、装置、设备及介质
CN117390140B (zh) 基于机器阅读理解的中文方面级情感分析方法及系统
CN110889717A (zh) 文本中的广告内容过滤方法、装置、电子设备及存储介质
CN113705692B (zh) 基于人工智能的情感分类方法、装置、电子设备及介质
CN115186085A (zh) 回复内容处理方法以及媒体内容互动内容的交互方法
CN114911940A (zh) 文本情感识别方法及装置、电子设备、存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant