CN114911906A - 一种基于杂合神经网络的方面级情感分析方法 - Google Patents

一种基于杂合神经网络的方面级情感分析方法 Download PDF

Info

Publication number
CN114911906A
CN114911906A CN202210520981.7A CN202210520981A CN114911906A CN 114911906 A CN114911906 A CN 114911906A CN 202210520981 A CN202210520981 A CN 202210520981A CN 114911906 A CN114911906 A CN 114911906A
Authority
CN
China
Prior art keywords
neural network
representation
comment sentence
comment
vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210520981.7A
Other languages
English (en)
Inventor
朱新华
旷中洁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangxi Normal University
Original Assignee
Guangxi Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangxi Normal University filed Critical Guangxi Normal University
Priority to CN202210520981.7A priority Critical patent/CN114911906A/zh
Publication of CN114911906A publication Critical patent/CN114911906A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Machine Translation (AREA)

Abstract

本发明公开了一种基于杂合神经网络的方面级情感分析方法，涉及人工智能中的自然语言识别处理领域。首先，充分利用BERT神经网络模型广泛的预训练所获得的通用知识，对评语句子和方面目标进行编码。其次，通过多头注意力神经网络，得到方面目标感知的评语句子表示；通过由多通道卷积神经网络组成的卷积细化层神经网络该模型，得到评语句子的细腻表示。最后，以方面目标在评语句子中的位置为分离点，将评语句子的细腻表示分为左子句的细腻表示和右子句的细腻表示，并通过一个门控组合神经网络测算它们的不同贡献，得到由多种细腻表示组成的评语句子的分类向量，以更有效的方法解决自然语言识别处理中的方面级情感分析问题。

Description

一种基于杂合神经网络的方面级情感分析方法
技术领域
本发明涉及自然语言识别处理领域中的情感分析，具体是一种基于杂合神经网络的方面级情感分析方法，可广泛应用于各个领域的方面级情感分析任务中。
背景技术
方面级情感分类的目的是预测方面目标词在句子或者本中的极性，它是一项细粒度情感分析的任务，与传统的对整个句子进行情感分析不同，它是在方面词上做情感极性分析(一般为积极、消极、中性三个分类)，通常在一个句子中有多个方面词及其相关的情感极性，例如句子“the food was well prepared,but the service was unsatisfactory”，对于方面词“food”它是积极的，但对于方面词“service”它是消极的。
随着人工神经网络技术的不断发展，各种神经网络如Long Short-Term Memory(LSTM)、Deep Memory Network和Google AI Language提出的Bidirectional EncoderRepresentations from Transformers(BERT)语言模型被应用于方面极性分类，从而为其提供端到端的分类方法，而无需任何特征工程工作。然而，当句子中有多个目标时，方面极性分类任务需要区分不同方面的情绪。因此，与文档级情感分析中只有一个整体情感取向相比，方面极性分类任务更加复杂，面临更多挑战，主要体现在以下两个方面：首先，与文档级情感分析相比，方面极性分类任务需要更多的语义特征才能进行更精细的情感分析。另一方面，基于实体目标的精细情感极性标记是一项复杂且耗时的任务，因而方面极性分类的语料库通常较小。因此，如何在小语料库上训练出稳定有效的模型是方面极性分类的深度学习方法面临的一大挑战。为了解决上述问题，充分利用BERT神经网络模型广泛的预训练所获得的通用知识，对评语句子和方面目标进行编码，有效解决方面级情感分析中语料数量小的问题；同时，利用多头注意力神经网络、多通道卷积神经网络、门控组合神经网络对评语句子和方面目标的编码进行交互、细化与组合，提出了一种新的基于杂合神经网络的方面级情感分析方法。
发明内容
本发明公开了本发明公开了一种基于杂合神经网络的方面级情感分析方法，以BERT神经网络模型为基础，提出了一种由BERT神经网络模型、多头注意力神经网络、多通道卷积神经网络、门控组合神经网络组成的杂合神经网络的方面级情感分析方法，以更有效的方法解决方面级情感分析问题。
为实现上述目的，本发明的技术方案为：
一种基于杂合神经网络的方面级情感分析方法，其特征在于包括以下步骤：
S1.将待评测的评语句子和方面目标，分别输入到两个参数独立的BERT神经网络模型中进行处理，得到评语句子编码和方面目标编码；
S2.在评语句子和方面目标的初级编码之上，通过一个评语句子到方面目标的多头注意力神经网络，得到基于方面目标的评语句子表示，并将其与评语句子编码进行残差连接，得到方面目标感知的评语句子表示；
S3.将方面目标感知的评语句子表示送入一个由多通道卷积神经网络组成的卷积细化层神经网络，进行语义细化，得到评语句子的细腻表示；
S4.以方面目标在评语句子中的位置为分离点，将评语句子的细腻表示分为左子句的细腻表示和右子句的细腻表示；
S5.分别对评语句子的细腻表示及其左子句的细腻表示、右子句的细腻表示进行平均池化，得到评语句子向量、左子句向量和右子句向量，然后通过一个门控组合神经网络测算它们的不同贡献，得到由多种细腻表示组成的评语句子的分类向量；
S6.将评语句子的分类向量通过线性变换计算评语句子在所有情感极性上的预测得分和概率，根据概率的高低确定评语句子关于指定方面目标的情感极性；
所述BERT神经网络模型是指Google AI Language提出的Bidirectional EncoderRepresentations from Transformers(BERT,基于Transformers的双向编码器表示)语言模型；
所述多通道卷积神经网络是指多个并行的卷积窗口尺寸为1的卷积神经网络。
进一步的，所述步骤S1具体包括：
S1.1将待评测的评语句子和方面目标，以BERT神经网络模型的分类符[CLS]作为开始符号、以BERT神经网络模型的分离符[SEP]作为结束符形成输入表示；
Figure BDA0003643353580000021
Figure BDA0003643353580000022
其中，S表示评语句子的输入，dw为BERT神经网络模型中字词编码的维度，n为全局序列的字词长度，所述“字词”是指文本经BERT神经网络模型的分词器Tokenzier分离出的语言片段；T表示方面目标的输入，m为方面目标的字词长度；
S1.2将评语句子的输入表示S、方面目标的输入表示T分别输入到两个参数共享的BERT神经网络模型进行学习和编码，得到评语句子编码Hs和方面目标编码Ht，计算过程如下：
Figure BDA0003643353580000031
Figure BDA0003643353580000032
其中，BERT1(·)表示用于编码评语句子的BERT神经网络模型，BERT2(·)表示用于编码方面目标的BERT神经网络模型，d是BERT神经网络模型中隐藏单元的数量。
进一步的，所述步骤S2具体包括：
S2.1在评语句子编码Hs和方面目标编码Ht之上，使用一个Hs到Ht的多头注意力神经网络，得到基于方面目标的评语句子表示
Figure BDA0003643353580000033
计算过程如下：
Figure BDA0003643353580000034
其中，MHA(HS,Ht,Ht)表示输入Q＝Hs、K＝V＝Ht的多头注意力神经网络MHA(Q,K,V)，多头注意力神经网络MHA(Q,K,V)的计算过程如下：
MHA(Q,K,V)＝tanh([head1；head2；...；headh]wR) (6)
headi＝Attention(Qi,Ki,Vi)＝Attention(QwQ,KwK,VwV) (7)
Figure BDA0003643353580000035
其中，
Figure BDA0003643353580000036
是多头注意力的三个输入，headi表示多头注意力神经网络中的第i个头，tanh(·)表示双曲正切函数，
Figure BDA0003643353580000037
Figure BDA0003643353580000038
是可学习的参数矩阵dK＝dV＝d÷h，h是多头注意力神经网络中头的数量，上标T表示矩阵的转置操作；
S2.2将基于方面目标的评语句子表示
Figure BDA0003643353580000039
与评语句子编码Hs进行残差连接，得到方面目标感知的评语句子表示Hst，过程如下：
Figure BDA00036433535800000310
其中，LayerNorm(·)表示层归一化处理。
进一步的，所述步骤S3具体包括：
S3.1将方面目标感知的评语句子表示Hst送入一个多通道卷积神经网络，得到评语句子的多特征表示
Figure BDA0003643353580000041
计算过程如下：
Figure BDA0003643353580000042
其中，MCC(·)表示由L个卷积窗口为1、卷积核数为d的卷积组成的多通道卷积神经网络，Re LU(·)表示ReLU激活函数,*表示多通道卷积操作，
Figure BDA0003643353580000043
表示多通道卷积神经网络的权重参数，
Figure BDA0003643353580000044
表示多通道卷积神经网络的偏置向量；
S3.2将评语句子的多特征表示
Figure BDA0003643353580000045
进行连接，得到评语句子的连接多特征表示
Figure BDA0003643353580000046
计算过程如下:
Figure BDA0003643353580000047
其中，
Figure BDA0003643353580000048
表示
Figure BDA0003643353580000049
在第j个卷积通道中的第i个隐藏状态，“；”表示连接运算；
S3.3将评语句子的连接多特征表示
Figure BDA00036433535800000410
送入一个压缩卷积神经网络，得到评语句子的细腻语义表示Hfine，计算过程如下：
Figure BDA00036433535800000411
其中，
Figure BDA00036433535800000412
为压缩卷积神经网络中的权重参数，
Figure BDA00036433535800000413
表示压缩卷积神经网络的偏置向量，CMC(·)表示由d个维度为1×Ld的滤波器组成的压缩卷积神经网络，
Figure BDA00036433535800000414
表示卷积操作，tanh(·)表示双曲正切激活函数。
进一步的，所述步骤S4具体包括：
S4.1以方面目标在评语句子中的位置为分离点，将评语句子的细腻语义表示Hfine的左边语义分离出来，包括方面目标对应的部分，得到左子句的细腻表示
Figure BDA00036433535800000415
计算过程如下所示：
Figure BDA00036433535800000416
其中，
Figure BDA00036433535800000417
表示评语句子的第i个字词在Hfine中所对应的元素，n1表示左子句的字词长度；
S4.2以方面目标在评语句子中的位置为分离点，将评语句子的细腻语义表示Hfine的右边语义分离出来，包括方面目标对应的部分，得到右子句的细腻表示
Figure BDA00036433535800000418
计算过程如下所示：
Figure BDA0003643353580000051
其中，
Figure BDA00036433535800000518
表示评语句子的第j个字词在Hfine中所对应的元素，n2表示右子句的字词长度。
更进一步的，所述步骤S5具体包括：
S5.1分别对评语句子的细腻表示Hfine、左子句的细腻表示
Figure BDA0003643353580000052
右子句的细腻表示
Figure BDA0003643353580000053
进行平均池化，得到评语句子向量vs、左子句向量v(1)和右子句向量v(2)，计算过程如下所示：
Figure BDA0003643353580000054
Figure BDA0003643353580000055
Figure BDA0003643353580000056
其中，avePooling(·)表示平均池化操作；
S5.2分别将评语句子向量vs、左子句向量v(1)和右子句向量v(2)送入一个门控组合神经网络测算它们的不同贡献，得到评语句子的门控向量
Figure BDA0003643353580000057
左子句的门控向量
Figure BDA0003643353580000058
和右子句的门控向量
Figure BDA0003643353580000059
计算过程如下所示：
Figure BDA00036433535800000510
Figure BDA00036433535800000511
Figure BDA00036433535800000512
其中，σ(·)表示sigmoid激活函数，
Figure BDA00036433535800000513
是门控组合神经网络的权重参数，bg是门控组合神经网络的偏置，e表示向量的逐元素相乘；
S5.3将评语句子的门控向量
Figure BDA00036433535800000514
左子句的门控向量
Figure BDA00036433535800000515
和右子句的门控向量
Figure BDA00036433535800000516
连接起来，得到评语句子的分类向量Z，计算过程如下所示：
Figure BDA00036433535800000517
更进一步的，所述步骤S6具体包括：
将评语句子的分类向量Z输入到一个执行softmax(·)的线性变换层，进行情感极性的概率计算，并得出最终的情感极性，计算过程如下:
o＝MZT+b (22)
Figure BDA0003643353580000061
Figure BDA0003643353580000062
其中，
Figure BDA0003643353580000063
是情感极性的表示矩阵，ZT表示对Z进行转置，
Figure BDA0003643353580000064
是一个偏置向量，dk是情感极性类别的个数，Y是情感极性类别的集合，y是一个情感极性，
Figure BDA0003643353580000065
是表示所有情感极性置信分数的向量，p(y|Z,θ)表示给定评语句子的最终情感表示Z在情感极性y上的预测概率，y*为最终评定的情感极性，
Figure BDA0003643353580000066
表示返回使得P(y|Z,θ)为最大值的情感极性，θ是所有可学习的参数集合，exp(·)表示以e为底的指数函数。
进一步的，所述的杂合神经网络的损失函数采用如下的交叉熵损失误差：
Figure BDA0003643353580000067
其中，Ω是方面级情感分类任务的训练句子的集合，|Ω|表示集合Ω的大小，yi是Ω中第i个训练句子的情感极性标签，Zi是Ω中第i个训练句子的情感表示；
训练目标是按公式(25)最小化Ω中所有训练句子的交叉熵损失误差。
本发明具有以下优点：
(1)充分利用BERT神经网络模型广泛的预训练所获得的通用知识，对评语句子和方面目标进行编码，可加速后续神经网络模型的收敛速度；
(2)利用多头注意力神经网络、多通道卷积神经网络、门控组合神经网络对评语句子和方面目标的编码进行交互、细化与组合，为生成强大的情感语义表征创造了条件；
(3)提出了一种评语句子到方面目标的多头注意力神经网络，解决了捕获上下文和方面目标之间语义依赖性的问题；
(4)提出了一个由多通道卷积神经网络组成的卷积细化层神经网络，为获得得到评语句子的细腻表示创造了条件。
附图说明
图1是本发明的方法流程示意图。
图2是本发明的BERT神经网络模型示意图。
图3是本发明的多头注意力神经网络示示意图。
图4是本发明的门控组合神经网络示意图。
具体实施方式
以下结合具体实施例对本发明作进一步说明，但本发明的保护范围不限于以下实施例。
对于评语句子S和S中的方面目标T，按照图1所示的本发明方法流程图，通过以下步骤分析S关于方面目标A的情感：
S1.将待评测的评语句子和方面目标，分别输入到两个参数独立的BERT神经网络模型中进行处理，得到评语句子编码和方面目标编码；
S2.在评语句子和方面目标的初级编码之上，通过一个评语句子到方面目标的多头注意力神经网络，得到基于方面目标的评语句子表示，并将其与评语句子编码进行残差连接，得到方面目标感知的评语句子表示；
S3.将方面目标感知的评语句子表示送入一个由多通道卷积神经网络组成的卷积细化层神经网络，进行语义细化，得到评语句子的细腻表示；
S4.以方面目标在评语句子中的位置为分离点，将评语句子的细腻表示分为左子句的细腻表示和右子句的细腻表示；
S5.分别对评语句子的细腻表示及其左子句的细腻表示、右子句的细腻表示进行平均池化，得到评语句子向量、左子句向量和右子句向量，然后通过一个门控组合神经网络测算它们的不同贡献，得到由多种细腻表示组成的评语句子的分类向量；
S6.将评语句子的分类向量通过线性变换计算评语句子在所有情感极性上的预测得分和概率，根据概率的高低确定评语句子关于指定方面目标的情感极性；
所述BERT神经网络模型是指Google AI Language提出的Bidirectional EncoderRepresentations from Transformers(BERT,基于Transformers的双向编码器表示)语言模型；
所述多通道卷积神经网络是指多个并行的卷积窗口尺寸为1的卷积神经网络。
进一步的，所述步骤S1具体包括：
S1.1将待评测的评语句子和方面目标，以BERT神经网络模型的分类符[CLS]作为开始符号、以BERT神经网络模型的分离符[SEP]作为结束符形成输入表示；
Figure BDA0003643353580000071
Figure BDA0003643353580000081
其中，S表示评语句子的输入，dw为BERT神经网络模型中字词编码的维度，n为全局序列的字词长度，所述“字词”是指文本经BERT神经网络模型的分词器Tokenzier分离出的语言片段；T表示方面目标的输入，m为方面目标的字词长度；
S1.2将评语句子的输入表示S、方面目标的输入表示T分别输入到两个参数共享的BERT神经网络模型进行学习和编码，得到评语句子编码Hs和方面目标编码Ht，计算过程如下：
Figure BDA0003643353580000082
Figure BDA0003643353580000083
其中，BERT1(·)表示用于编码评语句子的BERT神经网络模型，BERT2(·)表示用于编码方面目标的BERT神经网络模型，d是BERT神经网络模型中隐藏单元的数量。
进一步的，所述步骤S2具体包括：
S2.1在评语句子编码Hs和方面目标编码Ht之上，使用一个Hs到Ht的多头注意力神经网络，得到基于方面目标的评语句子表示
Figure BDA0003643353580000084
计算过程如下：
Figure BDA0003643353580000085
其中，MHA(HS,Ht,Ht)表示输入Q＝Hs、K＝V＝Ht的多头注意力神经网络MHA(Q,K,V)，多头注意力神经网络MHA(Q,K,V)的计算过程如下：
MHA(Q,K,V)＝tanh([head1；head2；...；headh]wR) (6)
headi＝Attention(Qi,Ki,Vi)＝Attention(QwQ,KwK,VwV) (7)
Figure BDA0003643353580000086
其中，
Figure BDA0003643353580000087
是多头注意力的三个输入，headi表示多头注意力神经网络中的第i个头，tanh(·)表示双曲正切函数，
Figure BDA0003643353580000088
Figure BDA0003643353580000089
是可学习的参数矩阵dK＝dV＝d÷h，h是多头注意力神经网络中头的数量，上标T表示矩阵的转置操作；
S2.2将基于方面目标的评语句子表示
Figure BDA0003643353580000091
与评语句子编码Hs进行残差连接，得到方面目标感知的评语句子表示Hst，过程如下：
Figure BDA0003643353580000092
其中，LayerNorm(·)表示层归一化处理。
进一步的，所述步骤S3具体包括：
S3.1将方面目标感知的评语句子表示Hst送入一个多通道卷积神经网络，得到评语句子的多特征表示
Figure BDA0003643353580000093
计算过程如下：
Figure BDA0003643353580000094
其中，MCC(·)表示由L个卷积窗口为1、卷积核数为d的卷积组成的多通道卷积神经网络，Re LU(·)表示ReLU激活函数,*表示多通道卷积操作，
Figure BDA0003643353580000095
表示多通道卷积神经网络的权重参数，
Figure BDA0003643353580000096
表示多通道卷积神经网络的偏置向量；
S3.2将评语句子的多特征表示
Figure BDA0003643353580000097
进行连接，得到评语句子的连接多特征表示
Figure BDA0003643353580000098
计算过程如下:
Figure BDA0003643353580000099
其中，
Figure BDA00036433535800000910
表示
Figure BDA00036433535800000911
在第j个卷积通道中的第i个隐藏状态，“；”表示连接运算；
S3.3将评语句子的连接多特征表示
Figure BDA00036433535800000912
送入一个压缩卷积神经网络，得到评语句子的细腻语义表示Hfine，计算过程如下：
Figure BDA00036433535800000913
其中，
Figure BDA00036433535800000914
为压缩卷积神经网络中的权重参数，
Figure BDA00036433535800000915
表示压缩卷积神经网络的偏置向量，CMC(·)表示由d个维度为1×Ld的滤波器组成的压缩卷积神经网络，
Figure BDA00036433535800000916
表示卷积操作，tanh(·)表示双曲正切激活函数。
进一步的，所述步骤S4具体包括：
S4.1以方面目标在评语句子中的位置为分离点，将评语句子的细腻语义表示Hfine的左边语义分离出来，包括方面目标对应的部分，得到左子句的细腻表示
Figure BDA00036433535800000917
计算过程如下所示：
Figure BDA0003643353580000101
其中，
Figure BDA0003643353580000102
表示评语句子的第i个字词在Hfine中所对应的元素，n1表示左子句的字词长度；
S4.2以方面目标在评语句子中的位置为分离点，将评语句子的细腻语义表示Hfine的右边语义分离出来，包括方面目标对应的部分，得到右子句的细腻表示
Figure BDA0003643353580000103
计算过程如下所示：
Figure BDA0003643353580000104
其中，
Figure BDA0003643353580000105
表示评语句子的第j个字词在Hfine中所对应的元素，n2表示右子句的字词长度。
更进一步的，所述步骤S5具体包括：
S5.1分别对评语句子的细腻表示Hfine、左子句的细腻表示
Figure BDA0003643353580000106
右子句的细腻表示
Figure BDA0003643353580000107
进行平均池化，得到评语句子向量vs、左子句向量v(1)和右子句向量v(2)，计算过程如下所示：
Figure BDA0003643353580000108
Figure BDA0003643353580000109
Figure BDA00036433535800001010
其中，avePooling(·)表示平均池化操作；
S5.2分别将评语句子向量vs、左子句向量v(1)和右子句向量v(2)送入一个门控组合神经网络测算它们的不同贡献，得到评语句子的门控向量
Figure BDA00036433535800001011
左子句的门控向量
Figure BDA00036433535800001012
和右子句的门控向量
Figure BDA00036433535800001013
计算过程如下所示：
Figure BDA00036433535800001014
Figure BDA00036433535800001015
Figure BDA00036433535800001016
其中，σ(·)表示sigmoid激活函数，
Figure BDA00036433535800001017
是门控组合神经网络的权重参数，bg是门控组合神经网络的偏置，e表示向量的逐元素相乘；
S5.3将评语句子的门控向量
Figure BDA00036433535800001018
左子句的门控向量
Figure BDA00036433535800001019
和右子句的门控向量
Figure BDA00036433535800001020
连接起来，得到评语句子的分类向量Z，计算过程如下所示：
Figure BDA0003643353580000111
更进一步的，所述步骤S6具体包括：
将评语句子的分类向量Z输入到一个执行softmax(·)的线性变换层，进行情感极性的概率计算，并得出最终的情感极性，计算过程如下:
o＝MZT+b (22)
Figure BDA0003643353580000112
Figure BDA0003643353580000113
其中，
Figure BDA0003643353580000114
是情感极性的表示矩阵，ZT表示对Z进行转置，
Figure BDA0003643353580000115
是一个偏置向量，dk是情感极性类别的个数，Y是情感极性类别的集合，y是一个情感极性，
Figure BDA0003643353580000119
是表示所有情感极性置信分数的向量，p(y|Z,θ)表示给定评语句子的最终情感表示Z在情感极性y上的预测概率，y*为最终评定的情感极性，
Figure BDA0003643353580000116
表示返回使得P(y|Z,θ)为最大值的情感极性，θ是所有可学习的参数集合，exp(·)表示以e为底的指数函数。
进一步的，所述的杂合神经网络的损失函数采用如下的交叉熵损失误差：
Figure BDA0003643353580000117
其中，Ω是方面级情感分类任务的训练句子的集合，|Ω|表示集合Ω的大小，yi是Ω中第i个训练句子的情感极性标签，Zi是Ω中第i个训练句子的情感表示；
训练目标是按公式(25)最小化Ω中所有训练句子的交叉熵损失误差。
应用实例
1.实例环境
实例的超参数如表1所示。
表1实例的超参数
Figure BDA0003643353580000118
Figure BDA0003643353580000121
2.数据集
本实例在四个基准数据集上评估本发明的模型，这四个数据集取自国际语义评估研讨会的三个连续任务，包括SemEval-2014任务4中的14Lap和14Rest、SemEval 2015任务12中的15Rest和SemEval 2016任务5中的16Rest，以及Tweet数据集，如表2所示。
表2评测数据集
Figure BDA0003643353580000122
3.对比方法
本实例将本发明的模型与8种方面级别情感分类方法进行比较，包括4种非BERT的方法和4种基于BERT的方法，如下所示：
(1)非BERT的方法
·MenNet[1]使用多层记忆网络结合注意力来捕获每个上下文词对方面极性分类的重要性
·IAN[2]使用两个LSTM网络分别提取特定方面和上下文的特征，然后交互生成它们的注意力向量，最后将这两个注意力向量连接起来进行方面极性分类
·TNet-LF[3]采用CNN层从基于双向LSTM层的转换的单词表示中提取显着特征，并提出基于相关性的组件来生成句子中单词的特定目标表示，该模型还采用了位置衰减技术
(2)基于BERT的方法
·BERT-BASE[4]是Google AI语言实验室开发的BERT-BASE版本，它使用单句输入方式：“[CLS]+评语句子+[SEP]”进行方面极性分类
·AEN-BERT[5]采用基于BERT的多头注意力来建模上下文和方面目标
·BERT-SPC[5]采用句子对分类(SPC)的输入结构：“[CLS]+评语句子+[SEP]+方面目标t+[SEP]”。
参考文献：
[1]Tang D,Qin B,Liu T(2016)Aspect Level Sentiment Classification withDeep Memory Network.In:Empirical methods in natural language processing,pp214–224
[2]Ma D,Li S,Zhang X,Wang H(2017)Interactive attentions networks foraspect-level sentiment classification.In:Proceedings of the 26thInternational Joint Conference on Artificial Intelligence,Melbourne,Australia,19-25August 2017,pp 4068-4074
[3]Li X,Bing L,Lam W,Shi B(2018)Transformation Networks for Target-Oriented Sentiment Classification.In Proceedings of ACL,pp 946-956
[4]Devlin J,Chang MW,Lee K,Toutanova K(2019)BERT:Pre-training of DeepBidirectional Transformers for Language Understanding.In:Proceedings of the2019 Conference of NAACL,pp 4171–4186
[5]Song Y,Wang J,Jiang T,Liu Z,Rao Y(2019)Attentional encoder networkfor targeted sentiment classification.In:arXiv preprint arXiv:1902.09314
4.实例对比结果
表3实例对比结果
Figure BDA0003643353580000131
表3的结果表明，本实例所实现的本发明提出的模型在准确率与M-F1值两方面显著优于各种非BERT的方面级情感分类方法和基于BERT的方面级情感分类方法，这充分证明了本发明所提出的基于杂合神经网络的方面级情感分析方法是可行与优秀的。

Claims (8)

1.一种基于杂合神经网络的方面级情感分析方法，其特征在于包括以下步骤：
S1.将待评测的评语句子和方面目标，分别输入到两个参数独立的BERT神经网络模型中进行处理，得到评语句子编码和方面目标编码；
S2.在评语句子和方面目标的初级编码之上，通过一个评语句子到方面目标的多头注意力神经网络，得到基于方面目标的评语句子表示，并将其与评语句子编码进行残差连接，得到方面目标感知的评语句子表示；
S3.将方面目标感知的评语句子表示送入一个由多通道卷积神经网络组成的卷积细化层神经网络，进行语义细化，得到评语句子的细腻表示；
S4.以方面目标在评语句子中的位置为分离点，将评语句子的细腻表示分为左子句的细腻表示和右子句的细腻表示；
S5.分别对评语句子的细腻表示及其左子句的细腻表示、右子句的细腻表示进行平均池化，得到评语句子向量、左子句向量和右子句向量，然后通过一个门控组合神经网络测算它们的不同贡献，得到由多种细腻表示组成的评语句子的分类向量；
S6.将评语句子的分类向量通过线性变换计算评语句子在所有情感极性上的预测得分和概率，根据概率的高低确定评语句子关于指定方面目标的情感极性；
所述BERT神经网络模型是指Google AI Language提出的Bidirectional EncoderRepresentations from Transformers(BERT,基于Transformers的双向编码器表示)语言模型；
所述多通道卷积神经网络是指多个并行的卷积窗口尺寸为1的卷积神经网络。
2.根据权利要求1所述的一种基于杂合神经网络的方面级情感分析方法，其特征在于：
所述步骤S1具体包括：
S1.1将待评测的评语句子和方面目标，以BERT神经网络模型的分类符[CLS]作为开始符号、以BERT神经网络模型的分离符[SEP]作为结束符形成输入表示；
Figure FDA0003643353570000011
Figure FDA0003643353570000012
其中，S表示评语句子的输入，dw为BERT神经网络模型中字词编码的维度，n为全局序列的字词长度，所述“字词”是指文本经BERT神经网络模型的分词器Tokenzier分离出的语言片段；T表示方面目标的输入，m为方面目标的字词长度；
S1.2将评语句子的输入表示S、方面目标的输入表示T分别输入到两个参数共享的BERT神经网络模型进行学习和编码，得到评语句子编码Hs和方面目标编码Ht，计算过程如下：
Figure FDA0003643353570000021
Figure FDA0003643353570000022
其中，BERT1(·)表示用于编码评语句子的BERT神经网络模型，BERT2(·)表示用于编码方面目标的BERT神经网络模型，d是BERT神经网络模型中隐藏单元的数量。
3.根据权利要求1所述的一种基于杂合神经网络的方面级情感分析方法，其特征在于：
所述步骤S2具体包括：
S2.1在评语句子编码Hs和方面目标编码Ht之上，使用一个Hs到Ht的多头注意力神经网络，得到基于方面目标的评语句子表示
Figure FDA0003643353570000023
计算过程如下：
Figure FDA0003643353570000024
其中，MHA(HS,Ht,Ht)表示输入Q＝Hs、K＝V＝Ht的多头注意力神经网络MHA(Q,K,V)，多头注意力神经网络MHA(Q,K,V)的计算过程如下：
MHA(Q,K,V)＝tanh([head1；head2；...；headh]wR) (6)
headi＝Attention(Qi,Ki,Vi)＝Attention(QwQ,KwK,VwV) (7)
Figure FDA0003643353570000025
其中，
Figure FDA0003643353570000026
是多头注意力的三个输入，headi表示多头注意力神经网络中的第i个头，tanh(·)表示双曲正切函数，
Figure FDA0003643353570000027
是可学习的参数矩阵dK＝dV＝d÷h，h是多头注意力神经网络中头的数量，上标T表示矩阵的转置操作；
S2.2将基于方面目标的评语句子表示
Figure FDA0003643353570000031
与评语句子编码Hs进行残差连接，得到方面目标感知的评语句子表示Hst，过程如下：
Figure FDA0003643353570000032
其中，LayerNorm(·)表示层归一化处理。
4.根据权利要求1所述的一种基于杂合神经网络的方面级情感分析方法，其特征在于：
所述步骤S3具体包括：
S3.1将方面目标感知的评语句子表示Hst送入一个多通道卷积神经网络，得到评语句子的多特征表示
Figure FDA0003643353570000033
计算过程如下：
Figure FDA0003643353570000034
其中，MCC(·)表示由L个卷积窗口为1、卷积核数为d的卷积组成的多通道卷积神经网络，Re LU(·)表示ReLU激活函数,*表示多通道卷积操作，
Figure FDA0003643353570000035
表示多通道卷积神经网络的权重参数，
Figure FDA0003643353570000036
表示多通道卷积神经网络的偏置向量；
S3.2将评语句子的多特征表示
Figure FDA0003643353570000037
进行连接，得到评语句子的连接多特征表示
Figure FDA0003643353570000038
计算过程如下:
Figure FDA0003643353570000039
其中，
Figure FDA00036433535700000310
表示
Figure FDA00036433535700000311
在第j个卷积通道中的第i个隐藏状态，“；”表示连接运算；
S3.3将评语句子的连接多特征表示
Figure FDA00036433535700000312
送入一个压缩卷积神经网络，得到评语句子的细腻语义表示Hfine，计算过程如下：
Figure FDA00036433535700000313
其中，
Figure FDA0003643353570000041
为压缩卷积神经网络中的权重参数，
Figure FDA0003643353570000042
表示压缩卷积神经网络的偏置向量，CMC(·)表示由d个维度为1×Ld的滤波器组成的压缩卷积神经网络，
Figure FDA0003643353570000043
表示卷积操作，tanh(·)表示双曲正切激活函数。
5.根据权利要求1所述的一种基于杂合神经网络的方面级情感分析方法，其特征在于：
所述步骤S4具体包括：
S4.1以方面目标在评语句子中的位置为分离点，将评语句子的细腻语义表示Hfine的左边语义分离出来，包括方面目标对应的部分，得到左子句的细腻表示
Figure FDA0003643353570000044
计算过程如下所示：
Figure FDA0003643353570000045
其中，
Figure FDA0003643353570000046
表示评语句子的第i个字词在Hfine中所对应的元素，n1表示左子句的字词长度；
S4.2以方面目标在评语句子中的位置为分离点，将评语句子的细腻语义表示Hfine的右边语义分离出来，包括方面目标对应的部分，得到右子句的细腻表示
Figure FDA0003643353570000047
计算过程如下所示：
Figure FDA0003643353570000048
其中，
Figure FDA0003643353570000049
表示评语句子的第j个字词在Hfine中所对应的元素，n2表示右子句的字词长度。
6.根据权利要求1所述的一种基于杂合神经网络的方面级情感分析方法，其特征在于：
所述步骤S5具体包括：
S5.1分别对评语句子的细腻表示Hfine、左子句的细腻表示
Figure FDA00036433535700000410
右子句的细腻表示
Figure FDA00036433535700000411
进行平均池化，得到评语句子向量vs、左子句向量v(1)和右子句向量v(2)，计算过程如下所示：
Figure FDA00036433535700000412
Figure FDA00036433535700000413
Figure FDA00036433535700000414
其中，avePooling(·)表示平均池化操作；
S5.2分别将评语句子向量vs、左子句向量v(1)和右子句向量v(2)送入一个门控组合神经网络测算它们的不同贡献，得到评语句子的门控向量
Figure FDA0003643353570000051
左子句的门控向量
Figure FDA0003643353570000052
和右子句的门控向量
Figure FDA0003643353570000053
计算过程如下所示：
Figure FDA0003643353570000054
Figure FDA0003643353570000055
Figure FDA0003643353570000056
其中，σ(·)表示sigmoid激活函数，
Figure FDA0003643353570000057
是门控组合神经网络的权重参数，bg是门控组合神经网络的偏置，e表示向量的逐元素相乘；
S5.3将评语句子的门控向量
Figure FDA0003643353570000058
左子句的门控向量
Figure FDA0003643353570000059
和右子句的门控向量
Figure FDA00036433535700000510
连接起来，得到评语句子的分类向量Z，计算过程如下所示：
Figure FDA00036433535700000511
7.根据权利要求1所述的一种基于杂合神经网络的方面级情感分析方法，其特征在于：
所述步骤S6具体包括：
将评语句子的分类向量Z输入到一个执行softmax(·)的线性变换层，进行情感极性的概率计算，并得出最终的情感极性，计算过程如下:
o＝MZT+b (22)
Figure FDA00036433535700000512
Figure FDA00036433535700000513
其中，
Figure FDA00036433535700000514
是情感极性的表示矩阵，ZT表示对Z进行转置，
Figure FDA00036433535700000515
是一个偏置向量，dk是情感极性类别的个数，Y是情感极性类别的集合，y是一个情感极性，
Figure FDA00036433535700000516
是表示所有情感极性置信分数的向量，p(y|Z,θ)表示给定评语句子的最终情感表示Z在情感极性y上的预测概率，y*为最终评定的情感极性，
Figure FDA00036433535700000517
表示返回使得P(y|Z,θ)为最大值的情感极性，θ是所有可学习的参数集合，exp(·)表示以e为底的指数函数。
8.根据权利要求1所述的一种基于杂合神经网络的方面级情感分析方法，其特征在于：
所述的杂合神经网络的损失函数采用如下的交叉熵损失误差：
Figure FDA0003643353570000061
其中，Ω是方面级情感分类任务的训练句子的集合，|Ω|表示集合Ω的大小，yi是Ω中第i个训练句子的情感极性标签，Zi是Ω中第i个训练句子的情感表示；
训练目标是按公式(25)最小化Ω中所有训练句子的交叉熵损失误差。
CN202210520981.7A 2022-05-13 2022-05-13 一种基于杂合神经网络的方面级情感分析方法 Pending CN114911906A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210520981.7A CN114911906A (zh) 2022-05-13 2022-05-13 一种基于杂合神经网络的方面级情感分析方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210520981.7A CN114911906A (zh) 2022-05-13 2022-05-13 一种基于杂合神经网络的方面级情感分析方法

Publications (1)

Publication Number Publication Date
CN114911906A true CN114911906A (zh) 2022-08-16

Family

ID=82767340

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210520981.7A Pending CN114911906A (zh) 2022-05-13 2022-05-13 一种基于杂合神经网络的方面级情感分析方法

Country Status (1)

Country Link
CN (1) CN114911906A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117473083A (zh) * 2023-09-30 2024-01-30 齐齐哈尔大学 一种基于提示知识和混合神经网络的方面级情感分类模型

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117473083A (zh) * 2023-09-30 2024-01-30 齐齐哈尔大学 一种基于提示知识和混合神经网络的方面级情感分类模型
CN117473083B (zh) * 2023-09-30 2024-05-28 齐齐哈尔大学 一种基于提示知识和混合神经网络的方面级情感分类模型

Similar Documents

Publication Publication Date Title
CN108984724B (zh) 利用高维表示提高特定属性情感分类准确率方法
CN111259127B (zh) 一种基于迁移学习句向量的长文本答案选择方法
Du et al. Convolution-based neural attention with applications to sentiment classification
Chen et al. Research on text sentiment analysis based on CNNs and SVM
CN109492227A (zh) 一种基于多头注意力机制和动态迭代的机器阅读理解方法
CN112667818B (zh) 融合gcn与多粒度注意力的用户评论情感分析方法及系统
CN110287323B (zh) 一种面向目标的情感分类方法
CN111274398A (zh) 一种方面级用户产品评论情感分析方法及系统
CN110362819A (zh) 基于卷积神经网络的文本情感分析方法
Shuang et al. A sentiment information Collector–Extractor architecture based neural network for sentiment analysis
Lopes et al. An AutoML-based approach to multimodal image sentiment analysis
CN112182154A (zh) 一种利用个人词向量消除关键词歧义的个性化搜索模型
CN113255366B (zh) 一种基于异构图神经网络的方面级文本情感分析方法
CN112925904A (zh) 一种基于Tucker分解的轻量级文本分类方法
CN114579707B (zh) 一种基于bert神经网络与多语义学习的方面级情感分析方法
Iosifova et al. Techniques comparison for natural language processing
Yang et al. Tweet stance detection: A two-stage DC-BILSTM model based on semantic attention
CN116010553A (zh) 一种基于双路编码和精确匹配信号的观点检索系统
CN115017912A (zh) 一种多任务学习的双目标实体情感分析方法
CN114911906A (zh) 一种基于杂合神经网络的方面级情感分析方法
Jiang et al. Hadamard product perceptron attention for image captioning
CN113177113A (zh) 任务型对话模型预训练方法、装置、设备及存储介质
CN112231476A (zh) 一种改进的图神经网络科技文献大数据分类方法
CN111552817A (zh) 一种电力科技成果知识图谱补全方法
CN114298052B (zh) 一种基于概率图的实体联合标注关系抽取方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination