CN114579707A - 一种基于bert神经网络与多语义学习的方面级情感分析方法 - Google Patents

一种基于bert神经网络与多语义学习的方面级情感分析方法 Download PDF

Info

Publication number
CN114579707A
CN114579707A CN202210222416.2A CN202210222416A CN114579707A CN 114579707 A CN114579707 A CN 114579707A CN 202210222416 A CN202210222416 A CN 202210222416A CN 114579707 A CN114579707 A CN 114579707A
Authority
CN
China
Prior art keywords
semantic
sequence
semantics
global
bert
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210222416.2A
Other languages
English (en)
Other versions
CN114579707B (zh
Inventor
罗建华
朱宇翔
朱新华
陈意山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guilin Tourism University
Original Assignee
Guilin Tourism University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guilin Tourism University filed Critical Guilin Tourism University
Priority to CN202210222416.2A priority Critical patent/CN114579707B/zh
Publication of CN114579707A publication Critical patent/CN114579707A/zh
Application granted granted Critical
Publication of CN114579707B publication Critical patent/CN114579707B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3346—Query execution using probabilistic model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/216—Parsing using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Machine Translation (AREA)

Abstract

本发明公开了一种基于BERT神经网络与多语义学习的方面级情感分析方法，涉及人工智能中的自然语言识别处理领域。首先，充分利用BERT神经网络模型广泛的预训练和后训练，有效解决方面级情感分析中语料数量小的问题。其次，提出了一个基于BERT神经网络的多语义学习模型，该模型由左语义、右语义、方面目标语义和全局语义学习模块组成。进而，为捕获每个上下文词和方面目标之间的语义依赖性，提出了一种基于BERT神经网络和多头注意力机制的方面感知增强方法。最后，提出了一种基于线性变换和多头注意力的二级语义融合与互补方法，以更有效的方法解决自然语言识别处理中的方面级情感分析问题。

Description

一种基于BERT神经网络与多语义学习的方面级情感分析方法
技术领域
本发明涉及自然语言识别处理领域中的情感分析，具体是一种基于BERT(Bidirectional Encoder Representations from Transformers)神经网络与多语义学习的方面级情感分析方法。该方法以BERT语言模型为基础，提出了一种由多个语义学习模块组成、具有方面感知增强的方面级情感分析模型，产生强大的情感语义表征，以实现缓解方面级情感分析方法中普遍存在的细腻情感分析与其语料数量小之间的矛盾问题，可广泛应用于各个领域的方面级情感分析任务中。
背景技术
方面级情感分类的目的是预测方面词在句子或者文档中的极性，它是一项细粒度情感分析的任务，与传统的情感分析任务不同，它是在方面词上做情感极性分析(一般为积极、消极、中性三个分类)。方面级情感分类常用在评论人的评论句子中，如：商场购物评论、餐饮评论、电影评论等。方面级情感分类，通常在一个句子中有多个方面词及其相关的情感极性，例如句子“The environment is romantic,but the food is horrible，对于方面词“environment”它是积极的，但对于方面词“food”它是消极的。总的来说：传统的句子情感分类任务是判断一句话的情感，而方面级情感分类任务是基于方面词去判断方面词极性的情感分类任务。
随着人工神经网络技术的不断发展，各种神经网络如Long Short-Term Memory(LSTM)、 Deep Memory Network和Google AI Language提出的Bidirectional EncoderRepresentations from Transformers(BERT)语言模型被应用于方面极性分类，从而为其提供端到端的分类方法，而无需任何特征工程工作。然而，当句子中有多个目标时，方面极性分类任务需要区分不同方面的情绪。因此，与文档级情感分析中只有一个整体情感取向相比，方面极性分类任务更加复杂，面临更多挑战，主要体现在以下两个方面：首先，与文档级情感分析相比，方面极性分类任务需要更多的语义特征才能进行更精细的情感分析。为了实现这一目标，目前针对方面极性分类的深度学习方法提出了多种以方面为中心的情感语义学习方法，例如：基于注意力的语义学习、位置衰减、左右语义学习、方面连接与全局语义学习等，但每种方法都存在一些不足，需要进行多种语义的综合才能达到较好的效果。另一方面，方面极性分类的深度学习方法是完全监督的机器学习，需要足够数量的标记数据来训练准确的分类器。然而，基于实体目标的精细情感极性标记是一项复杂且耗时的任务，因而方面极性分类的语料库通常较小。因此，如何在小语料库上训练出稳定有效的模型是方面极性分类的深度学习方法面临的一大挑战。为了解决上述问题，本发明充分利用BERT语言模型广泛的预训练和后训练，有效解决方面级情感分析中语料数量小的问题；同时，梳理和改进当前方面极性分类的各种语义学习模型，并将它们与BERT语言模型相结合，提出了一种新的基于BERT与多语义学习的方面级情感分析方法。
发明内容
本发明公开了一种基于BERT神经网络与多语义学习的方面级情感分析方法，以BERT神经网络为基础，提出了一种由多个语义学习模块组成、具有方面感知增强的方面级情感分析模型，产生强大的情感语义表征，以更有效的方法解决方面级情感分析问题。
为实现上述目的，本发明的技术方案为：
一种基于BERT神经网络与多语义学习的方面级情感分析方法，其特征在于包括以下步骤：
S1.将待评测的评语句子分为左序列、右序列、全局序列和方面目标序列，并将左序列、右序列和全局序列分别输入到一个参数共享的BERT神经网络模型中进行处理，得到相应的左语义、右语义和全局语义的隐藏表示，以及将方面目标序列输入到一个参数独立的 BERT模型中进行处理，得到方面目标语义的隐藏表示；
S2.对方面目标语义的隐藏表示进行平均池化处理，得到平均方面语义向量，并将平均方面语义向量与左语义、右语义和全局语义中的每一个隐藏状态相连接，并分别在左语义、右语义和全局语义上通过线性变换和多头注意力合并处理，得到方面感知增强的左语义、右语义和全局语义表示；
S3.使用基于线性变换和多头注意力的二级语义融合，将方面感知增强的左语义、右语义和全局语义进行合并，得到最终的综合语义表示；
S4.对综合语义表示进行平均池化，得到评语句子的最终情感表示，并将评语的最终情感表示通过线性变换计算评语在所有情感极性上的预测得分和概率，根据概率的高低确定评语句子关于指定方面目标的情感极性；
所述BERT神经网络是指Google AI Language提出的Bidirectional EncoderRepresentations from Transformers(BERT)语言模型。
进一步的，所述步骤S1具体包括：
S1.1以方面目标词为中心将待评测的评语句子分为左序列、右序列、全局序列和方面目标序列，并以BERT的分类符[CLS]作为开始符号、以BERT的分离符[SEP]作为分隔符和结束符形成输入表示；
其中，全局序列sg的结构为：“[CLS]+评语句子+[SEP]+方面目标词+[SEP]”，且
Figure RE-GDA0003570365380000031
dw为BERT神经网络模型中字词编码的维度，n为全局序列的字词长度，所述“字词”是指文本经Bert的分词器Tokenzier分离出的语言片段；左序列sl为位于方面目标词左侧且包含方面目标词在内的评语字词子序列，并且根据全局序列的长度，在右侧补充多个结束符[SEP]，使得左序列的字词长度与全局序列的字词长度相等，即
Figure RE-GDA0003570365380000032
右序列sr为位于方面目标词右侧且包含方面目标词在内的评语字词子序列，并且根据评语句子的字词长度，在左侧补充多个分类符[CLS]，使得右序列的字词长度与评语句子的字词长度相等，然后再根据全局序列的长度，在右侧补充多个结束符[SEP]，使得右序列的字词长度与全局序列的字词长度相等，即
Figure RE-GDA0003570365380000033
方面目标序列st的结构为：“[CLS]+方面目标词+[SEP]”，且
Figure RE-GDA0003570365380000034
m为方面目标序列的字词长度；
S1.2将左序列sl、右序列sr、全局序列sg分别输入到一个参数共享的BERT模型进行学习和编码，得到左语义、右语义和全局语义的隐藏表示Hl、Hr和Hg，计算过程如下：
Figure RE-GDA0003570365380000035
Figure RE-GDA0003570365380000036
Figure RE-GDA0003570365380000037
其中，sharedBERT(·)表示一个参数共享的BERT模型，d是BERT模型中隐藏单元的数量；
S1.3将方面目标序列st输入到一个参数独立的BERT模型进行学习和编码，得到方面目标的隐藏表示Ht，计算过程如下；
Figure RE-GDA0003570365380000038
其中，indieBERT(·)表示一个参数独立的BERT模型。
进一步的，所述步骤S2具体包括：
S2.1对方面目标语义的隐藏表示Ht使用平均池化操作，生成平均方面语义向量
Figure RE-GDA0003570365380000039
计算过程如下：
Figure RE-GDA00035703653800000310
其中，avePooling(·)表示平均池化操作，
Figure RE-GDA00035703653800000311
表示
Figure RE-GDA00035703653800000312
中的第i个元素，计算过程如下：
Figure RE-GDA00035703653800000313
其中，Average(·)表示求平均值的函数，
Figure RE-GDA0003570365380000041
表示
Figure RE-GDA0003570365380000042
中第i行、第j列的元素；
S2.2计算方面感知增强的全局语义表示
Figure RE-GDA0003570365380000043
过程如下：
(1)将平均方面语义向量
Figure RE-GDA0003570365380000044
与全局语义的隐藏表示Hg中的每一个隐藏状态相连接，得到与方面目标相连的全局语义表示Hgt，计算过程如下：
Figure RE-GDA0003570365380000045
其中，[X1：X2]表示矩阵
Figure RE-GDA0003570365380000046
按行拼接，
Figure RE-GDA0003570365380000047
是一个有着n个1的向量，
Figure RE-GDA0003570365380000048
是一个将
Figure RE-GDA0003570365380000049
重复n次的线性变换，[；]表示连接操作；
(2)通过一个线性变换层，将与方面目标相连的全局语义表示Hgt进行浓缩，得到与方面目标相融的全局语义表示
Figure RE-GDA00035703653800000410
计算过程如下：
Figure RE-GDA00035703653800000411
其中，
Figure RE-GDA00035703653800000412
是线性变换层中的权重矩阵，
Figure RE-GDA00035703653800000413
是线性变换层中的偏置向量；
(3)使用一个多头注意力共同关注
Figure RE-GDA00035703653800000414
中不同位置的信息，得到方面感知增强的全局语义表示
Figure RE-GDA00035703653800000415
计算过程如下：
Figure RE-GDA00035703653800000416
其中，
Figure RE-GDA00035703653800000417
表示输入
Figure RE-GDA00035703653800000418
的多头注意力MHA(Q,K,V)，多头注意力MHA(Q,K,V)的计算过程如下：
MHA(Q,K,V)＝tanh([head1；head2；...；headh]wR) (10)
headi＝Attention(Qi,Ki,Vi)＝Attention(QwQ,KwK,VwV) (11)
Figure RE-GDA00035703653800000419
其中，
Figure RE-GDA00035703653800000420
是多头注意力的三个输入，headi表示多头注意力中的第i个头， tanh(·)表示双曲正切函数，
Figure RE-GDA00035703653800000421
是可学习的参数矩阵dK＝dV＝d÷h，h是多头注意力中头的数量，上标T表示矩阵的转置操作；
S2.3分别使用Hl和Hr代替Hg,重复步骤S2.2中的(1)、(2)、(3)步，得到方面感知增强的左语义表示
Figure RE-GDA0003570365380000051
和方面感知增强的左语义表示
Figure RE-GDA0003570365380000052
更进一步的，所述步骤S3具体包括：
S3.1组合左语义
Figure RE-GDA0003570365380000053
和右语义
Figure RE-GDA0003570365380000054
得到合并的局部语义
Figure RE-GDA0003570365380000055
计算过程如下：
Figure RE-GDA0003570365380000056
Figure RE-GDA0003570365380000057
Figure RE-GDA0003570365380000058
其中，公式(13)表示将
Figure RE-GDA0003570365380000059
和
Figure RE-GDA00035703653800000510
按行列拼接，公式(14)表示一个线性变换层的计算过程，公式(15)表示输入
Figure RE-GDA00035703653800000511
的多头注意力MHA(Q,K,V)的调用，
Figure RE-GDA00035703653800000512
是线性变换层中的权重矩阵，
Figure RE-GDA00035703653800000513
是线性变换层中的偏置向量，Hlrt是左语义
Figure RE-GDA00035703653800000514
和右语义
Figure RE-GDA00035703653800000515
的连接表示，
Figure RE-GDA00035703653800000516
是将Hlrt通过线性就换后的浓缩表示；
S3.2组合合并的局部语义
Figure RE-GDA00035703653800000517
和全局语义
Figure RE-GDA00035703653800000518
得到最终的综合语义表示
Figure RE-GDA00035703653800000519
计算过程如下:
Figure RE-GDA00035703653800000520
Figure RE-GDA00035703653800000521
Figure RE-GDA00035703653800000522
其中，公式(16)表示将
Figure RE-GDA00035703653800000523
和
Figure RE-GDA00035703653800000524
按行拼接，公式(17)表示一个线性变换层的计算过程，公式(18)表示输入
Figure RE-GDA00035703653800000525
的多头注意力MHA(Q,K,V)的调用，
Figure RE-GDA00035703653800000526
是线性变换层中的权重矩阵，
Figure RE-GDA00035703653800000527
是线性变换层中的偏置向量，Hlrgt是合并的局部语义
Figure RE-GDA00035703653800000528
和全局语义
Figure RE-GDA00035703653800000529
的连接表示，
Figure RE-GDA00035703653800000530
是将Hlrgt通过线性就换后的浓缩表示。
更进一步的，所述步骤S4具体包括：
S4.1对综合语义表示
Figure RE-GDA00035703653800000531
执行一个平均池化操作，得到评语句子的最终情感表示Z，计算过程如下：
Figure RE-GDA00035703653800000532
其中，zi表示Z中的第i个元素，计算过程如下:
Figure RE-GDA0003570365380000061
其中，
Figure RE-GDA0003570365380000062
表示
Figure RE-GDA0003570365380000063
中第i行、第j列的元素；
S4.2评语句子的最终情感表示Z被输入到一个执行softmax(·)的线性变换层，进行情感极性的概率计算，并得出最终的情感极性，计算过程如下:
o＝MZT+b (21)
Figure RE-GDA0003570365380000064
Figure RE-GDA0003570365380000065
其中，
Figure RE-GDA0003570365380000066
是情感极性的表示矩阵，ZT表示对Z进行转置，
Figure RE-GDA0003570365380000067
是一个偏置向量，dk是情感极性类别的个数，Y是情感极性类别的集合，y是一个情感极性，
Figure RE-GDA0003570365380000068
是表示所有情感极性置信分数的向量，p(y|Z,θ)表示给定评语句子的最终情感表示Z在情感极性y上的预测概率，y*为最终评定的情感极性，
Figure RE-GDA0003570365380000069
表示返回使得 P(y|Z,θ)为最大值的情感极性，θ是所有可学习的参数集合，exp(·)表示以e为底的指数函数。
进一步的，所述BERT神经网络的损失函数采用如下的交叉熵损失误差：
Figure RE-GDA00035703653800000610
其中，Ω是方面级情感分类任务的训练句子的集合，|Ω|表示集合Ω的大小，yi是Ω中第i个训练句子的情感极性标签，Zi是Ω中第i个训练句子的情感表示。
训练目标是按公式(24)最小化Ω中所有训练句子的交叉熵损失误差。
本发明具有以下优点：
(1)充分利用BERT模型广泛的预训练和后训练，为模型获取知识丰富的初始化参数，使模型只需在一个小的语料库上微调即可快速适应ABSA任务；
(2)提出了一个基于BERT的多语义学习框架，包括左语义学习、右语义学习、全局语义学习和方面目标语义学习，为生成强大的情感语义表征创造了条件；
(3)提出了一种基于BERT和多头注意力机制的方面感知增强方法，解决了捕获每个上下文词和方面目标之间语义依赖性的问题；
(4)模型遵循BERT中的Transformer结构，使用轻量级的多头自注意力和线性变换层进行编码，使模型更容易训练和成型。
附图说明
图1是本发明的方法流程示意图。
图2是本发明的语义融合模块结构示意图。
图3是具体实施例给出的一个全局序列示意图。
图4是具体实施例给出的一个左序列和一个右序列示意图。
图5是具体实施例给出的一个方面目标序列示意图。
具体实施方式
以下结合具体实施例对本发明作进一步说明，但本发明的保护范围不限于以下实施例。
对于评语句子S和S中的方面目标A，按照图1所示的本发明方法流程图，通过以下步骤分析S关于方面目标A的情感：
S1.将待评测的评语句子分为左序列、右序列、全局序列和方面目标序列，并将左序列、右序列和全局序列分别输入到一个参数共享的BERT神经网络模型中进行处理，得到相应的左语义、右语义和全局语义的隐藏表示，以及将方面目标序列输入到一个参数独立的BERT 模型中进行处理，得到方面目标语义的隐藏表示；
S2.对方面目标语义的隐藏表示进行平均池化处理，得到平均方面语义向量，并将平均方面语义向量与左语义、右语义和全局语义中的每一个隐藏状态相连接，并分别在左语义、右语义和全局语义上通过线性变换和多头注意力合并处理，得到方面感知增强的左语义、右语义和全局语义表示；
S3.使用基于线性变换和多头注意力的二级语义融合，每个语义融合模块结构如图2所示，将方面感知增强的左语义、右语义和全局语义进行合并，得到最终的综合语义表示；
S4.对综合语义表示进行平均池化，得到评语句子的最终情感表示，并将评语的最终情感表示通过线性变换计算评语在所有情感极性上的预测得分和概率，根据概率的高低确定评语句子关于指定方面目标的情感极性；
所述BERT神经网络是指Google AI Language提出的Bidirectional EncoderRepresentations from Transformers(BERT)语言模型。
进一步的，所述步骤S1具体包括：
S1.1以方面目标词为中心将待评测的评语句子分为左序列、右序列、全局序列和方面目标序列，并以BERT的分类符[CLS]作为开始符号、以BERT的分离符[SEP]作为分隔符和结束符形成输入表示；
其中，全局序列sg的结构为：“[CLS]+评语句子+[SEP]+方面目标词+[SEP]”，且
Figure RE-GDA0003570365380000081
dw为BERT神经网络模型中字词编码的维度，n为全局序列的字词长度，所述“字词”是指文本经Bert的分词器Tokenzier分离出的语言片段；左序列sl为位于方面目标词左侧且包含方面目标词在内的评语字词子序列，并且根据全局序列的长度，在右侧补充多个结束符[SEP]，使得左序列的字词长度与全局序列的字词长度相等，即
Figure RE-GDA0003570365380000082
右序列sr为位于方面目标词右侧且包含方面目标词在内的评语字词子序列，并且根据评语句子的字词长度，在左侧补充多个分类符[CLS]，使得右序列的字词长度与评语句子的字词长度相等，然后再根据全局序列的长度，在右侧补充多个结束符[SEP]，使得右序列的字词长度与全局序列的字词长度相等，即
Figure RE-GDA0003570365380000083
方面目标序列st的结构为：“[CLS]+方面目标词+[SEP]”，且
Figure RE-GDA0003570365380000084
m为方面目标序列的字词长度；
S1.2将左序列sl、右序列sr、全局序列sg分别输入到一个参数共享的BERT模型进行学习和编码，得到左语义、右语义和全局语义的隐藏表示Hl、Hr和Hg，计算过程如下：
Figure RE-GDA0003570365380000085
Figure RE-GDA0003570365380000086
Figure RE-GDA0003570365380000087
其中，sharedBERT(·)表示一个参数共享的BERT模型，d是BERT模型中隐藏单元的数量；
S1.3将方面目标序列st输入到一个参数独立的BERT模型进行学习和编码，得到方面目标的隐藏表示Ht，计算过程如下；
Figure RE-GDA0003570365380000088
其中，indieBERT(·)表示一个参数独立的BERT模型。
进一步的，所述步骤S2具体包括：
S2.1对方面目标语义的隐藏表示Ht使用平均池化操作，生成平均方面语义向量
Figure RE-GDA0003570365380000089
计算过程如下：
Figure RE-GDA00035703653800000810
其中，avePooling(·)表示平均池化操作，
Figure RE-GDA00035703653800000811
表示
Figure RE-GDA00035703653800000812
中的第i个元素，计算过程如下：
Figure RE-GDA0003570365380000091
其中，Average(·)表示求平均值的函数，
Figure RE-GDA0003570365380000092
表示
Figure RE-GDA0003570365380000093
中第i行、第j列的元素；
S2.2计算方面感知增强的全局语义表示
Figure RE-GDA0003570365380000094
过程如下：
(1)将平均方面语义向量
Figure RE-GDA0003570365380000095
与全局语义的隐藏表示Hg中的每一个隐藏状态相连接，得到与方面目标相连的全局语义表示Hgt，计算过程如下：
Figure RE-GDA0003570365380000096
其中，[X1：X2]表示矩阵
Figure RE-GDA0003570365380000097
按行拼接，
Figure RE-GDA0003570365380000098
是一个有着n个1的向量，
Figure RE-GDA0003570365380000099
是一个将
Figure RE-GDA00035703653800000910
重复n次的线性变换，[；]表示连接操作；
(2)通过一个线性变换层，将与方面目标相连的全局语义表示Hgt进行浓缩，得到与方面目标相融的全局语义表示
Figure RE-GDA00035703653800000911
计算过程如下：
Figure RE-GDA00035703653800000912
其中，
Figure RE-GDA00035703653800000913
是线性变换层中的权重矩阵，
Figure RE-GDA00035703653800000914
是线性变换层中的偏置向量；
(3)使用一个多头注意力共同关注
Figure RE-GDA00035703653800000915
中不同位置的信息，得到方面感知增强的全局语义表示
Figure RE-GDA00035703653800000916
计算过程如下：
Figure RE-GDA00035703653800000917
其中，
Figure RE-GDA00035703653800000918
表示输入
Figure RE-GDA00035703653800000919
的多头注意力MHA(Q,K,V)，多头注意力MHA(Q,K,V)的计算过程如下：
MHA(Q,K,V)＝tanh([head1；head2；...；headh]wR) (10)
headi＝Attention(Qi,Ki,Vi)＝Attention(QwQ,KwK,VwV) (11)
Figure RE-GDA00035703653800000920
其中，
Figure RE-GDA00035703653800000921
是多头注意力的三个输入，headi表示多头注意力中的第i个头， tanh(·)表示双曲正切函数，
Figure RE-GDA00035703653800000922
是可学习的参数矩阵dK＝dV＝d÷h，h是多头注意力中头的数量，上标T表示矩阵的转置操作；
S2.3分别使用Hl和Hr代替Hg,重复步骤S2.2中的(1)、(2)、(3)步，得到方面感知增强的左语义表示
Figure RE-GDA0003570365380000101
和方面感知增强的左语义表示
Figure RE-GDA0003570365380000102
更进一步的，所述步骤S3具体包括：
S3.1组合左语义
Figure RE-GDA0003570365380000103
和右语义
Figure RE-GDA0003570365380000104
得到合并的局部语义
Figure RE-GDA0003570365380000105
计算过程如下：
Figure RE-GDA0003570365380000106
Figure RE-GDA0003570365380000107
Figure RE-GDA0003570365380000108
其中，公式(13)表示将
Figure RE-GDA0003570365380000109
和
Figure RE-GDA00035703653800001010
按行列拼接，公式(14)表示一个线性变换层的计算过程，公式(15)表示输入
Figure RE-GDA00035703653800001011
的多头注意力MHA(Q,K,V)的调用，
Figure RE-GDA00035703653800001012
是线性变换层中的权重矩阵，
Figure RE-GDA00035703653800001013
是线性变换层中的偏置向量，Hlrt是左语义
Figure RE-GDA00035703653800001014
和右语义
Figure RE-GDA00035703653800001015
的连接表示，
Figure RE-GDA00035703653800001016
是将Hlrt通过线性就换后的浓缩表示；
S3.2组合合并的局部语义
Figure RE-GDA00035703653800001017
和全局语义
Figure RE-GDA00035703653800001018
得到最终的综合语义表示
Figure RE-GDA00035703653800001019
计算过程如下:
Figure RE-GDA00035703653800001020
Figure RE-GDA00035703653800001021
Figure RE-GDA00035703653800001022
其中，公式(16)表示将
Figure RE-GDA00035703653800001023
和
Figure RE-GDA00035703653800001024
按行拼接，公式(17)表示一个线性变换层的计算过程，公式(18)表示输入
Figure RE-GDA00035703653800001025
的多头注意力MHA(Q,K,V)的调用，
Figure RE-GDA00035703653800001026
是线性变换层中的权重矩阵，
Figure RE-GDA00035703653800001027
是线性变换层中的偏置向量，Hlrgt是合并的局部语义
Figure RE-GDA00035703653800001028
和全局语义
Figure RE-GDA00035703653800001029
的连接表示，
Figure RE-GDA00035703653800001030
是将Hlrgt通过线性就换后的浓缩表示。
更进一步的，所述步骤S4具体包括：
S4.1对综合语义表示
Figure RE-GDA00035703653800001031
执行一个平均池化操作，得到评语句子的最终情感表示Z，计算过程如下：
Figure RE-GDA00035703653800001032
其中，zi表示Z中的第i个元素，计算过程如下:
Figure RE-GDA0003570365380000111
其中，
Figure RE-GDA0003570365380000112
表示
Figure RE-GDA0003570365380000113
中第i行、第j列的元素；
S4.2评语句子的最终情感表示Z被输入到一个执行softmax(·)的线性变换层，进行情感极性的概率计算，并得出最终的情感极性，计算过程如下:
o＝MZT+b (21)
Figure RE-GDA0003570365380000114
Figure RE-GDA0003570365380000115
其中，
Figure RE-GDA0003570365380000116
是情感极性的表示矩阵，ZT表示对Z进行转置，
Figure RE-GDA0003570365380000117
是一个偏置向量，dk是情感极性类别的个数，Y是情感极性类别的集合，y是一个情感极性，
Figure RE-GDA0003570365380000118
是表示所有情感极性置信分数的向量，p(y|Z,θ)表示给定评语句子的最终情感表示Z在情感极性y上的预测概率，y*为最终评定的情感极性，
Figure RE-GDA0003570365380000119
表示返回使得 P(y|Z,θ)为最大值的情感极性，θ是所有可学习的参数集合，exp(·)表示以e为底的指数函数。
进一步的，所述BERT神经网络的损失函数采用如下的交叉熵损失误差：
Figure RE-GDA00035703653800001110
其中，Ω是方面级情感分类任务的训练句子的集合，|Ω|表示集合Ω的大小，yi是Ω中第i个训练句子的情感极性标签，Zi是Ω中第i个训练句子的情感表示。
训练目标是按公式(24)最小化Ω中所有训练句子的交叉熵损失误差。
应用实例
1.实例环境
本实例采用结合广泛预训练和后训练的BERT-PT模型。BERT-PT模型由文献“Xu H,Liu B,Shu L,Philip SY,(2019)BERT Post-Training for Review ReadingComprehension and Aspect-based Sentiment Analysis.In Proceedings NAACL HLT2019,pp 2324-2335”所提出，实例的超参数如表1所示。
表1实例的超参数
Figure RE-GDA0003570365380000121
2.数据集
本实例在四个基准数据集上评估本发明的模型，这四个数据集取自国际语义评估研讨会的三个连续任务，包括SemEval-2014任务4中的14Lap和14Rest、SemEval 2015任务12 中的15Rest和SemEval 2016任务5中的16Rest，如表2所示。
表2评测数据集
Figure RE-GDA0003570365380000122
3.对比方法
本实例将本发明的模型与8种方面级别情感分类方法进行比较，包括4种非BERT的方法和4种基于BERT的方法，如下所示：
(1)非BERT的方法
·MenNet[1]使用多层记忆网络结合注意力来捕获每个上下文词对方面极性分类的重要性
·IAN[2]使用两个LSTM网络分别提取特定方面和上下文的特征，然后交互生成它们的注意力向量，最后将这两个注意力向量连接起来进行方面极性分类
·TNet-LF[3]采用CNN层从基于双向LSTM层的转换的单词表示中提取显着特征，并提出基于相关性的组件来生成句子中单词的特定目标表示，该模型还采用了位置衰减技术
·MCRF-SA[4]提出了一种基于多个CRF的简洁有效的结构化注意力模型，该模型可以提取特定于方面的意见跨度，该模型还采用了位置衰减和方面连接技术
(2)基于BERT的方法
·BERT-BASE[5]是Google AI语言实验室开发的BERT-BASE版本，它使用单句输入方式：“[CLS]+评语句子+[SEP]”进行方面极性分类
·AEN-BERT[6]采用基于BERT的多头注意力来建模上下文和方面目标
·BERT-SPC[6]采用句子对分类(SPC)的输入结构：“[CLS]+评语句子+[SEP]+方面目标t+[SEP]”。
·LCF-APC[7]提出了一种基于BERT的位置衰减和动态掩码的局部上下文聚焦(LCF) 机制，并将局部上下文特征与基于BERT-SPC的全局上下文特征相结合，用于方面极性分类
参考文献：
[1]Tang D,Qin B,Liu T(2016)Aspect Level Sentiment Classification withDeep Memory Network.In:Empirical methods in natural language processing,pp214–224
[2]Ma D,Li S,Zhang X,Wang H(2017)Interactive attentions networks foraspect-level sentiment classification.In:Proceedings of the 26thInternational Joint Conference on Artificial Intelligence,Melbourne,Australia,19-25August 2017,pp 4068-4074
[3]Li X,Bing L,Lam W,Shi B(2018)Transformation Networks for Target-Oriented Sentiment Classification.In Proceedings of ACL,pp 946-956
[4]Xu L,Bing L,Lu W,Huang F(2020)Aspect Sentiment Classification withAspect-Specific Opinion Spans.In Proceedings of EMNLP 2020,pp 3561-3567
[5]Devlin J,Chang MW,Lee K,Toutanova K(2019)BERT:Pre-training of DeepBidirectional Transformers for Language Understanding.In:Proceedings of the2019 Conference of NAACL,pp 4171–4186
[6]Song Y,Wang J,Jiang T,Liu Z,Rao Y(2019)Attentional encoder networkfor targeted sentiment classification.In:arXiv preprint arXiv:1902.09314
[7]Yang H,Zeng B,Yang J,Song Y,Xu R(2021)A Multi-task Learning Modelfor Chinese- oriented Aspect Polarity Classification and AspectTermExtraction.Neurocomputing, 419:344-356
4.实例对比结果
表3实例对比结果
Figure RE-GDA0003570365380000131
Figure RE-GDA0003570365380000141
表3的结果表明，本实例所实现的本发明提出的模型在准确率与M-F1值两方面显著优于各种非BERT的方面级情感分类方法和基于BERT的方面级情感分类方法，这充分证明了本发明所提出的基于BERT与多语义学习的方面级情感分析方法是可行与优秀的。
5.示例
对于评语句子："Prices are higher to dine in and their chicken tikka marsala is quite good"，该评语关于方面目标"chicken tikka marsala"的全局序列如图3所示，左序列、右序列如图4 所示，方面目标序列如图5所示，经本实例模型分析后得到方面目标"chicken tikka marsala" 的情感极性为“正面”。

Claims (6)

1.一种基于BERT神经网络与多语义学习的方面级情感分析方法，其特征在于包括以下步骤：
S1.将待评测的评语句子分为左序列、右序列、全局序列和方面目标序列，并将左序列、右序列和全局序列分别输入到一个参数共享的BERT神经网络模型中进行处理，得到相应的左语义、右语义和全局语义的隐藏表示，以及将方面目标序列输入到一个参数独立的BERT模型中进行处理，得到方面目标语义的隐藏表示；
S2.对方面目标语义的隐藏表示进行平均池化处理，得到平均方面语义向量，并将平均方面语义向量与左语义、右语义和全局语义中的每一个隐藏状态相连接，并分别在左语义、右语义和全局语义上通过线性变换和多头注意力合并处理，得到方面感知增强的左语义、右语义和全局语义表示；
S3.使用基于线性变换和多头注意力的二级语义融合，将方面感知增强的左语义、右语义和全局语义进行合并，得到最终的综合语义表示；
S4.对综合语义表示进行平均池化，得到评语句子的最终情感表示，并将评语的最终情感表示通过线性变换计算评语在所有情感极性上的预测得分和概率，根据概率的高低确定评语句子关于指定方面目标的情感极性；
所述BERT神经网络是指Google AI Language提出的Bidirectional EncoderRepresentations from Transformers(BERT)语言模型。
2.根据权利要求1所述的一种基于BERT神经网络与多语义学习的方面级情感分析方法，其特征在于：
所述步骤S1具体包括：
S1.1以方面目标词为中心将待评测的评语句子分为左序列、右序列、全局序列和方面目标序列，并以BERT的分类符[CLS]作为开始符号、以BERT的分离符[SEP]作为分隔符和结束符形成输入表示；
其中，全局序列sg的结构为：“[CLS]+评语句子+[SEP]+方面目标词+[SEP]”，且
Figure RE-FDA0003570365370000011
dw为BERT神经网络模型中字词编码的维度，n为全局序列的字词长度，所述“字词”是指文本经Bert的分词器Tokenzier分离出的语言片段；左序列sl为位于方面目标词左侧且包含方面目标词在内的评语字词子序列，并且根据全局序列的长度，在右侧补充多个结束符[SEP]，使得左序列的字词长度与全局序列的字词长度相等，即
Figure RE-FDA0003570365370000012
右序列sr为位于方面目标词右侧且包含方面目标词在内的评语字词子序列，并且根据评语句子的字词长度，在左侧补充多个分类符[CLS]，使得右序列的字词长度与评语句子的字词长度相等，然后再根据全局序列的长度，在右侧补充多个结束符[SEP]，使得右序列的字词长度与全局序列的字词长度相等，即
Figure RE-FDA0003570365370000021
方面目标序列st的结构为：“[CLS]+方面目标词+[SEP]”，且
Figure RE-FDA0003570365370000022
m为方面目标序列的字词长度；
S1.2将左序列sl、右序列sr、全局序列sg分别输入到一个参数共享的BERT模型进行学习和编码，得到左语义、右语义和全局语义的隐藏表示Hl、Hr和Hg，计算过程如下：
Figure RE-FDA0003570365370000023
Figure RE-FDA0003570365370000024
Figure RE-FDA0003570365370000025
其中，sharedBERT(·)表示一个参数共享的BERT模型，d是BERT模型中隐藏单元的数量；
S1.3将方面目标序列st输入到一个参数独立的BERT模型进行学习和编码，得到方面目标的隐藏表示Ht，计算过程如下；
Figure RE-FDA0003570365370000026
其中，indieBERT(·)表示一个参数独立的BERT模型。
3.根据权利要求1所述的一种基于BERT神经网络与多语义学习的方面级情感分析方法，其特征在于：
所述步骤S2具体包括：
S2.1对方面目标语义的隐藏表示Ht使用平均池化操作，生成平均方面语义向量
Figure RE-FDA0003570365370000027
计算过程如下：
Figure RE-FDA0003570365370000028
其中，avePooling(·)表示平均池化操作，
Figure RE-FDA0003570365370000029
表示
Figure RE-FDA00035703653700000210
中的第i个元素，计算过程如下：
Figure RE-FDA00035703653700000211
其中，Average(·)表示求平均值的函数，
Figure RE-FDA0003570365370000031
表示
Figure RE-FDA0003570365370000032
中第i行、第j列的元素；
S2.2计算方面感知增强的全局语义表示
Figure RE-FDA0003570365370000033
过程如下：
(1)将平均方面语义向量
Figure RE-FDA0003570365370000034
与全局语义的隐藏表示Hg中的每一个隐藏状态相连接，得到与方面目标相连的全局语义表示Hgt，计算过程如下：
Figure RE-FDA0003570365370000035
其中，[X1：X2]表示矩阵X1，
Figure RE-FDA0003570365370000036
按行拼接，
Figure RE-FDA0003570365370000037
是一个有着n个1的向量，
Figure RE-FDA0003570365370000038
是一个将
Figure RE-FDA0003570365370000039
重复n次的线性变换，[；]表示连接操作；
(2)通过一个线性变换层，将与方面目标相连的全局语义表示Hgt进行浓缩，得到与方面目标相融的全局语义表示
Figure RE-FDA00035703653700000310
计算过程如下：
Figure RE-FDA00035703653700000311
其中，
Figure RE-FDA00035703653700000312
是线性变换层中的权重矩阵，
Figure RE-FDA00035703653700000313
是线性变换层中的偏置向量；
(3)使用一个多头注意力共同关注
Figure RE-FDA00035703653700000314
中不同位置的信息，得到方面感知增强的全局语义表示
Figure RE-FDA00035703653700000315
计算过程如下：
Figure RE-FDA00035703653700000316
其中，
Figure RE-FDA00035703653700000317
表示输入
Figure RE-FDA00035703653700000318
的多头注意力MHA(Q,K,V)，多头注意力MHA(Q,K,V)的计算过程如下：
MHA(Q,K,V)＝tanh([head1；head2；...；headh]wR) (10)
headi＝Attention(Qi,Ki,Vi)＝Attention(QwQ,KwK,VwV) (11)
Figure RE-FDA00035703653700000319
其中，
Figure RE-FDA0003570365370000041
是多头注意力的三个输入，headi表示多头注意力中的第i个头，tanh(·)表示双曲正切函数，
Figure RE-FDA0003570365370000042
是可学习的参数矩阵dK＝dV＝d÷h，h是多头注意力中头的数量，上标T表示矩阵的转置操作；
S2.3分别使用Hl和Hr代替Hg,重复步骤S2.2中的(1)、(2)、(3)步，得到方面感知增强的左语义表示
Figure RE-FDA0003570365370000043
和方面感知增强的左语义表示
Figure RE-FDA0003570365370000044
4.根据权利要求1所述的一种基于BERT神经网络与多语义学习的方面级情感分析方法，其特征在于：
所述步骤S3具体包括：
S3.1组合左语义
Figure RE-FDA0003570365370000045
和右语义
Figure RE-FDA0003570365370000046
得到合并的局部语义
Figure RE-FDA0003570365370000047
计算过程如下：
Figure RE-FDA0003570365370000048
Figure RE-FDA0003570365370000049
Figure RE-FDA00035703653700000410
其中，公式(13)表示将
Figure RE-FDA00035703653700000411
和
Figure RE-FDA00035703653700000412
按行列拼接，公式(14)表示一个线性变换层的计算过程，公式(15)表示输入
Figure RE-FDA00035703653700000413
的多头注意力MHA(Q,K,V)的调用，
Figure RE-FDA00035703653700000414
是线性变换层中的权重矩阵，
Figure RE-FDA00035703653700000415
是线性变换层中的偏置向量，Hlrt是左语义
Figure RE-FDA00035703653700000416
和右语义
Figure RE-FDA00035703653700000417
的连接表示，
Figure RE-FDA00035703653700000418
是将Hlrt通过线性就换后的浓缩表示；
S3.2组合合并的局部语义
Figure RE-FDA00035703653700000419
和全局语义
Figure RE-FDA00035703653700000420
得到最终的综合语义表示
Figure RE-FDA00035703653700000421
计算过程如下:
Figure RE-FDA00035703653700000422
Figure RE-FDA00035703653700000423
Figure RE-FDA00035703653700000424
其中，公式(16)表示将
Figure RE-FDA0003570365370000051
和
Figure RE-FDA0003570365370000052
按行拼接，公式(17)表示一个线性变换层的计算过程，公式(18)表示输入
Figure RE-FDA0003570365370000053
的多头注意力MHA(Q,K,V)的调用，
Figure RE-FDA0003570365370000054
是线性变换层中的权重矩阵，
Figure RE-FDA0003570365370000055
是线性变换层中的偏置向量，Hlrgt是合并的局部语义
Figure RE-FDA0003570365370000056
和全局语义
Figure RE-FDA0003570365370000057
的连接表示，
Figure RE-FDA0003570365370000058
是将Hlrgt通过线性就换后的浓缩表示。
5.根据权利要求1所述的一种基于BERT神经网络与多语义学习的方面级情感分析方法，其特征在于：
所述步骤S4具体包括：
S4.1对综合语义表示
Figure RE-FDA0003570365370000059
执行一个平均池化操作，得到评语句子的最终情感表示Z，计算过程如下：
Figure RE-FDA00035703653700000510
其中，zi表示Z中的第i个元素，计算过程如下:
Figure RE-FDA00035703653700000511
其中，
Figure RE-FDA00035703653700000512
表示
Figure RE-FDA00035703653700000513
中第i行、第j列的元素；
S4.2评语句子的最终情感表示Z被输入到一个执行softmax(·)的线性变换层，进行情感极性的概率计算，并得出最终的情感极性，计算过程如下:
o＝MZT+b (21)
Figure RE-FDA00035703653700000514
Figure RE-FDA00035703653700000515
其中，
Figure RE-FDA00035703653700000516
是情感极性的表示矩阵，ZT表示对Z进行转置，
Figure RE-FDA00035703653700000517
是一个偏置向量，dk是情感极性类别的个数，Y是情感极性类别的集合，y是一个情感极性，
Figure RE-FDA00035703653700000518
是表示所有情感极性置信分数的向量，p(y|Z,θ)表示给定评语句子的最终情感表示Z在情感极性y上的预测概率，y*为最终评定的情感极性，
Figure RE-FDA0003570365370000061
表示返回使得P(y|Z,θ)为最大值的情感极性，θ是所有可学习的参数集合，exp(·)表示以e为底的指数函数。
6.根据权利要求1所述的一种基于BERT神经网络与多语义学习的方面级情感分析方法，其特征在于：
所述BERT神经网络的损失函数采用如下的交叉熵损失误差：
Figure RE-FDA0003570365370000062
其中，Ω是方面级情感分类任务的训练句子的集合，|Ω|表示集合Ω的大小，yi是Ω中第i个训练句子的情感极性标签，Zi是Ω中第i个训练句子的情感表示。
训练目标是按公式(24)最小化Ω中所有训练句子的交叉熵损失误差。
CN202210222416.2A 2022-03-07 2022-03-07 一种基于bert神经网络与多语义学习的方面级情感分析方法 Active CN114579707B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210222416.2A CN114579707B (zh) 2022-03-07 2022-03-07 一种基于bert神经网络与多语义学习的方面级情感分析方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210222416.2A CN114579707B (zh) 2022-03-07 2022-03-07 一种基于bert神经网络与多语义学习的方面级情感分析方法

Publications (2)

Publication Number Publication Date
CN114579707A true CN114579707A (zh) 2022-06-03
CN114579707B CN114579707B (zh) 2023-07-28

Family

ID=81774349

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210222416.2A Active CN114579707B (zh) 2022-03-07 2022-03-07 一种基于bert神经网络与多语义学习的方面级情感分析方法

Country Status (1)

Country Link
CN (1) CN114579707B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116561592A (zh) * 2023-07-11 2023-08-08 航天宏康智能科技(北京)有限公司 文本情感识别模型的训练方法和文本情感识别方法及装置
CN117473083A (zh) * 2023-09-30 2024-01-30 齐齐哈尔大学 一种基于提示知识和混合神经网络的方面级情感分类模型

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109635109A (zh) * 2018-11-28 2019-04-16 华南理工大学 基于lstm并结合词性及多注意力机制的句子分类方法
CN110717334A (zh) * 2019-09-10 2020-01-21 上海理工大学 基于bert模型和双通道注意力的文本情感分析方法
CN111259142A (zh) * 2020-01-14 2020-06-09 华南师范大学 基于注意力编码和图卷积网络的特定目标情感分类方法
CN111881291A (zh) * 2020-06-19 2020-11-03 山东师范大学 一种文本情感分类方法及系统
US20210390261A1 (en) * 2020-06-11 2021-12-16 East China Jiaotong University Data processing method, electronic device, and storage medium
CN113935459A (zh) * 2021-09-23 2022-01-14 广西师范大学 一种基于bert的深度神经网络模型的自动评卷方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109635109A (zh) * 2018-11-28 2019-04-16 华南理工大学 基于lstm并结合词性及多注意力机制的句子分类方法
CN110717334A (zh) * 2019-09-10 2020-01-21 上海理工大学 基于bert模型和双通道注意力的文本情感分析方法
CN111259142A (zh) * 2020-01-14 2020-06-09 华南师范大学 基于注意力编码和图卷积网络的特定目标情感分类方法
US20210390261A1 (en) * 2020-06-11 2021-12-16 East China Jiaotong University Data processing method, electronic device, and storage medium
CN111881291A (zh) * 2020-06-19 2020-11-03 山东师范大学 一种文本情感分类方法及系统
CN113935459A (zh) * 2021-09-23 2022-01-14 广西师范大学 一种基于bert的深度神经网络模型的自动评卷方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HANNE HUYGELIER等: "The efficacy and feasibility of an immersive virtual reality game to train spatial attention orientation after stroke:a stage 1 pre-registered report", 《RESEACHGATE》, pages 1 - 36 *
袁勋等: "融合多层注意力的方面级情感分析模型", 《计算机工程与应用》, vol. 57, no. 22, pages 147 - 1522 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116561592A (zh) * 2023-07-11 2023-08-08 航天宏康智能科技(北京)有限公司 文本情感识别模型的训练方法和文本情感识别方法及装置
CN116561592B (zh) * 2023-07-11 2023-09-29 航天宏康智能科技(北京)有限公司 文本情感识别模型的训练方法和文本情感识别方法及装置
CN117473083A (zh) * 2023-09-30 2024-01-30 齐齐哈尔大学 一种基于提示知识和混合神经网络的方面级情感分类模型
CN117473083B (zh) * 2023-09-30 2024-05-28 齐齐哈尔大学 一种基于提示知识和混合神经网络的方面级情感分类模型

Also Published As

Publication number Publication date
CN114579707B (zh) 2023-07-28

Similar Documents

Publication Publication Date Title
Li et al. Context-aware group captioning via self-attention and contrastive features
Xiao et al. Convolutional hierarchical attention network for query-focused video summarization
CN114579707A (zh) 一种基于bert神经网络与多语义学习的方面级情感分析方法
Kollias Multi-label compound expression recognition: C-expr database & network
Dubey et al. Label-attention transformer with geometrically coherent objects for image captioning
Lopes et al. An AutoML-based approach to multimodal image sentiment analysis
CN113743119B (zh) 中文命名实体识别模块、方法、装置及电子设备
Cheng et al. Stack-VS: Stacked visual-semantic attention for image caption generation
Huang et al. Spatial–temporal context-aware online action detection and prediction
Wu et al. TDv2: a novel tree-structured decoder for offline mathematical expression recognition
Parvin et al. Transformer-based local-global guidance for image captioning
CN115129807A (zh) 基于自注意的社交媒体主题评论的细粒度分类方法及系统
Sun et al. Updatable Siamese tracker with two-stage one-shot learning
Boukdir et al. Character-level arabic text generation from sign language video using encoder–decoder model
Gao et al. Generalized pyramid co-attention with learnable aggregation net for video question answering
Ai et al. Der-gcn: Dialogue and event relation-aware graph convolutional neural network for multimodal dialogue emotion recognition
Jia et al. Semantic association enhancement transformer with relative position for image captioning
Liu et al. Computation and Parameter Efficient Multi-Modal Fusion Transformer for Cued Speech Recognition
CN117496388A (zh) 基于动态记忆网络的跨模态视频描述模型
CN114911906A (zh) 一种基于杂合神经网络的方面级情感分析方法
Khan et al. Pretrained natural language processing model for intent recognition (bert-ir)
Wang et al. Dual-Perspective Fusion Network for Aspect-based Multimodal Sentiment Analysis
Chen et al. EPCFormer: expression prompt collaboration transformer for universal referring video object segmentation
Postalcioglu et al. Comparison of Neural Network Models for Nostalgic Sentiment Analysis of YouTube Comments
Lin et al. Application of deep learning in handwritten mathematical expressions recognition

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant