CN114676687A - 基于增强语义句法信息的方面级情感分类方法 - Google Patents

基于增强语义句法信息的方面级情感分类方法 Download PDF

Info

Publication number
CN114676687A
CN114676687A CN202210398610.6A CN202210398610A CN114676687A CN 114676687 A CN114676687 A CN 114676687A CN 202210398610 A CN202210398610 A CN 202210398610A CN 114676687 A CN114676687 A CN 114676687A
Authority
CN
China
Prior art keywords
representation
information
representing
context
emotion classification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210398610.6A
Other languages
English (en)
Inventor
王勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University of Technology
Original Assignee
Chongqing University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Technology filed Critical Chongqing University of Technology
Priority to CN202210398610.6A priority Critical patent/CN114676687A/zh
Publication of CN114676687A publication Critical patent/CN114676687A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/237—Lexical tools
    • G06F40/247—Thesauruses; Synonyms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Machine Translation (AREA)

Abstract

本发明具体涉及基于增强语义句法信息的方面级情感分类方法，包括：获取待测文本并输入经过预先训练的情感分类模型中，输出对应的分类预测结果；情感分类模型首先通过BERT预训练模型调整待测文本的词向量表示生成初级上下文表示；然后通过图注意力层提取上下文句法信息生成次级上下文表示；进一步更新词向量生成初级词嵌入表示和次级词嵌入表示，并平均池化生成粗粒度表示；再将初级上下文表示和次级上下文表示中的方面词最大池化作为细粒度表示；进而融合粗粒度表示以及细粒度表示中相同的粒度信息生成多粒度融合信息；最后通过分类器基于多粒度融合信息进行情感分类，得到分类预测结果。本发明能够有效克服噪音影响并能够增强语义句法信息。

Description

基于增强语义句法信息的方面级情感分类方法
技术领域
本发明涉及互联网大数据技术领域，具体涉及基于增强语义句法信息的方面级情感分类方法。
背景技术
方面级情感分类(ABSA)是一种细粒度的情感分类，其主要是把上下文中的方面词分别分为三类：积极、消极、中立。以“The performance of this laptop is excellent,but the screen is terrible”为例，方面词laptop为积极，方面词screen为消极。因为一个句子可能包含多个方面词，所以判断每个方面词的情感极性变得至关重要。
现目前，基于依赖树的图神经网络(GNN)在方面级情感分类任务中已经取得了不错的效果。例如，公开号为CN112347248A的中国专利公开了《一种方面级文本情感分类方法及系统》，其包括：根据获取的句子文本的局部特征向量提取句子文本的长距离依赖特征，得到句子文本的上下文特征表示；根据句子文本的上下文特征表示构建句子文本中单词间的句法依赖关系，得到句子文本的方面级特征表示；构建基于依存树的图注意力神经网络，根据句子文本的方面级特征表示得到文本的方面级情感类别。
上述现有方案中的方面级文本情感分类方法采用卷积神经网络提取句子中的局部特征信息，利用双向长短时记忆网络学习卷积神经网络池化值后的特征，能够在一定程度上提高情感分类的性能。但是，句法依赖树不可避免的会包含与方面情感分类无关的噪音信息，而现有方案未考虑依赖树噪音信息带来的不稳定性影响，导致方面级情感分类的准确性偏低。同时，上述现有方案忽略了目标方面之间的语义信息，使得模型对句子信息和方面词信息的感知不足，进而导致方面级情感分类的全面性不好。因此，如何设计一种能够克服噪声影响并增强语义句法信息的情感分类方法，以提高方面级情感分类的准确性和全面性是亟需解决的技术问题。
发明内容
针对上述现有技术的不足，本发明所要解决的技术问题是：如何提供一种基于增强语义句法信息的方面级情感分类方法，以能够有效克服噪音影响并能够增强语义句法信息，从而能够提高方面级情感分类的准确性和全面性。
为了解决上述技术问题，本发明采用了如下的技术方案：
基于增强语义句法信息的方面级情感分类方法，包括以下步骤：
S1：获取待测文本；
S2：将待测文本输入经过预先训练的情感分类模型中，输出对应的分类预测结果；
其中，情感分类模型首先通过BERT预训练模型调整待测文本的词向量表示，生成初级上下文表示；然后通过图注意力层提取初始上下文表示中的上下文句法信息，生成次级上下文表示；进一步通过特定方面的注意力网络更新初级上下文表示和次级上下文表示中的词向量，生成初级词嵌入表示和次级词嵌入表示，并平均池化生成初级词嵌入表示和次级词嵌入表示的粗粒度表示；再将初级上下文表示和次级上下文表示中的方面词最大池化作为细粒度表示；进而融合初级词嵌入表示和次级词嵌入表示的粗粒度表示以及初级上下文表示和次级上下文表示方面词的细粒度表示中相同的粒度信息，生成多粒度融合信息；最后通过分类器基于多粒度融合信息进行情感分类，得到分类预测结果；
S3：将情感分类模型输出的分类预测结果作为待测文本的方面级情感分类结果。
优选的，步骤S2中，通过如下步骤生成初级上下文表示：
S201：将待测文本对应转换为上下文序列
Figure BDA0003598605900000021
和方面词表示
Figure BDA0003598605900000022
其中wa是wc的子序列；
S202：将上下文序列和方面词表示转换为如下w的形式，输入BERT预训练模型中；
Figure BDA0003598605900000023
S203：通过BERT预训练模型输出如下的初级上下文表示hse；
hse＝{hcls,h1,…,hn,hn+1,hn+2,…,hn+m+1,hn+m+2}；
式中：hcls表示BERT预训练模型通过池化值得到情感分类信息；h1,…,hn表示上下文的词向量表示。
优选的，步骤S2中，通过如下步骤生成次级上下文表示：
S211：通过多头自注意力网络聚合初级上下文表示中各个节点相邻节点的信息，得到具有句法信息的上下文表示；
Figure BDA0003598605900000024
Figure BDA0003598605900000025
Figure BDA0003598605900000026
式中：
Figure BDA0003598605900000027
表示多头自注意力网络中l+1层的i个词向量；
Figure BDA0003598605900000028
表示更新权重；
Figure BDA0003598605900000029
表示第l层K个头的学习参数；N(i)表示第i个节点的相邻节点域；
Figure BDA00035986059000000210
表示拼接多头自注意力网络K个头的信息；
Figure BDA00035986059000000211
表示第l层的上下文表示，如果l＝1则为BERT预训练模型最后一层的输出；
Figure BDA0003598605900000031
表示学习参数；
Figure BDA0003598605900000032
和
Figure BDA0003598605900000033
表示可学习转换矩阵；
Figure BDA0003598605900000034
分别表示l层第K个头第i和j个单词的词向量；d表示维度大小；
S212：通过逐点卷积变换对句法信息进行变换，生成次级上下文表示hsy；
Figure BDA0003598605900000035
式中：hl表示经过第l层图注意力层中图注意力计算的输出；σ表示RELU激活函数；*表示卷积操作；
Figure BDA0003598605900000036
和
Figure BDA0003598605900000037
表示卷积操作的学习参数；
Figure BDA0003598605900000038
和
Figure BDA0003598605900000039
表示残差参数。
优选的，步骤S2中，更新初级上下文表示和次级上下文表示时，通过Mask向量来屏蔽方面词的影响；
设A为方面词的索引集，生成如下的Mask向量；
Figure BDA00035986059000000310
优选的，步骤S2中，通过特定方面的注意力网络更新初级上下文表示hse时的公式如下；
Figure BDA00035986059000000311
Figure BDA00035986059000000312
Figure BDA00035986059000000313
式中：
Figure BDA00035986059000000314
表示通过特定方面的注意力网络更新后的初级词嵌入表示；
Figure BDA00035986059000000315
表示初级上下文表示
Figure BDA00035986059000000316
的方面词最大池化值；
Figure BDA00035986059000000317
表示注意力更新权重；Wse表示注意力学习矩阵。
优选的，步骤S2中，通过特定方面的注意力网络更新次级上下文表示
Figure BDA00035986059000000318
时的公式如下；
Figure BDA00035986059000000319
Figure BDA00035986059000000320
Figure BDA00035986059000000321
式中：
Figure BDA00035986059000000322
表示通过特定方面的注意力网络更新后的次级词嵌入表示；
Figure BDA00035986059000000323
表示更新权重；
Figure BDA00035986059000000324
表示次级上下文表示
Figure BDA00035986059000000325
的方面词最大池化值；Wsy表示注意力学习矩阵。
优选的，步骤S2中，分别计算初级上下文表示和次级上下文表示的方面词最大池化值
Figure BDA00035986059000000326
和
Figure BDA00035986059000000327
以及初级词嵌入表示和次级词嵌入表示的方面词平均池化值
Figure BDA00035986059000000328
和
Figure BDA00035986059000000329
然后通过多粒度门机制结合如下公式计算对应的多粒度融合信息hg；
Figure BDA00035986059000000330
Figure BDA00035986059000000331
g＝σ(Wg[x1；x2]+bg)；
式中：σ表示Sigmod激活函数，使其位于[0,1]来控制融合权重；Wg表示可学习参数；bg表示偏差项。
优选的，步骤S2中，通过如下公式将多粒度融合信息hg与初级上下文表示hse中的情感分类信息hcls融合，得到对应的最终文本表示hf，进而通过最终文本表示hf进行情感分类；
hf＝Wf[hg；hcls]+bf；
式中：Wf和bf表示学习参数。
优选的，步骤S2中，分类器通过如下公式进行情感分类；
y＝Softmax(hf)；
式中：y表示分类预测结果。
优选的，步骤S2中，通过如下训练损失函数训练情感分类模型；
Figure BDA0003598605900000041
式中：λ表示正则化超参数；Θ表示模型中所有训练的参数；yc表示预测样本；
Figure BDA0003598605900000042
表示真实样本；c表示情感分类类别。
本发明中的方面级情感分类方法与现有技术相比，具有如下有益效果：
本发明通过BERT预训练模型调整待测文本的词向量表示，使得能够利用BERT预训练模型的预训练知识弥补丢失的语义信息，并缓解依赖树对句法信息带来的噪声，即能够有效克服噪声的影响，从而能够提高方面级情感分类的准确性。
本发明通过图注意力层提取初始上下文表示中的上下文句法信息，进而能够结合BERT预训练模型来共同增强语义和句法信息，从而能够提高方面级情感分类的全面性。
本发明通过特定方面的注意力网络更新初级上下文表示和次级上下文表示中的词向量，进而融合初级词嵌入表示和次级词嵌入表示的粗粒度表示以及初级上下文表示和次级上下文表示方面词的细粒度表示中相同的粒度信息，一方面，特定方面的注意力网络能够利用每一个方面词的最大池化去与上下文交互计算注意力权重，进而能够增加目标方面词的权重以获得最佳权重；另一方面，通过融合相同的粒度信息，能够考虑多个粒度层面的信息，进而能够增加模型对句子信息和方面词信息感知，从而能够进一步提高方面级情感分类的准确性和全面性，以获取待测文本的情感倾向。
附图说明
为了使发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步的详细描述，其中：
图1为基于增强语义句法信息的方面级情感分类方法的逻辑框图；
图2为情感分类模型的运行逻辑图；
图3为图注意力层的运行逻辑图。
具体实施方式
下面通过具体实施方式进一步详细的说明：
实施例：
本实施例中公开了一种基于增强语义句法信息的方面级情感分类方法。
如图1所示，基于增强语义句法信息的方面级情感分类方法，包括以下步骤：
S1：获取待测文本；
S2：将待测文本输入经过预先训练的情感分类模型中，输出对应的分类预测结果；
如图2所示，情感分类模型首先通过BERT预训练模型调整待测文本的词向量表示，生成初级上下文表示；然后通过图注意力层提取初始上下文表示中的上下文句法信息，生成次级上下文表示；进一步通过特定方面的注意力网络更新初级上下文表示和次级上下文表示中的词向量，生成初级词嵌入表示和次级词嵌入表示，并平均池化生成初级词嵌入表示和次级词嵌入表示的粗粒度表示；再将初级上下文表示和次级上下文表示中的方面词最大池化作为细粒度表示；进而融合初级词嵌入表示和次级词嵌入表示的粗粒度表示以及初级上下文表示和次级上下文表示方面词的细粒度表示中相同的粒度信息，生成多粒度融合信息；最后通过分类器基于多粒度融合信息进行情感分类，得到分类预测结果；
S3：将情感分类模型输出的分类预测结果作为待测文本的方面级情感分类结果。
本发明通过BERT预训练模型调整待测文本的词向量表示，使得能够利用BERT预训练模型的预训练知识弥补丢失的语义信息，并缓解依赖树对句法信息带来的噪声，即能够有效克服噪声的影响，从而能够提高方面级情感分类的准确性。其次，本发明通过图注意力层提取初始上下文表示中的上下文句法信息，进而能够结合BERT预训练模型来共同增强语义和句法信息，从而能够提高方面级情感分类的全面性。最后，本发明通过特定方面的注意力网络更新初级上下文表示和次级上下文表示中的词向量，进而通过融合初级词嵌入表示和次级词嵌入表示的粗粒度表示以及初级上下文表示和次级上下文表示方面词的细粒度表示中相同的粒度信息，一方面，特定方面的注意力网络能够利用每一个方面词的最大池化去与上下文交互计算注意力权重，进而能够增加目标方面词的权重以获得最佳权重；另一方面，通过融合相同的粒度信息，能够考虑多个粒度层面的信息，进而能够增加模型对句子信息和方面词信息感知，从而能够进一步提高方面级情感分类的准确性和全面性，以获取待测文本的情感倾向。
具体实施过程中，通过如下步骤生成初级上下文表示：
S201：将待测文本对应转换为长度为n的上下文序列
Figure BDA0003598605900000061
和长度为m方面词表示
Figure BDA0003598605900000062
其中wa是wc的子序列；
S202：将上下文序列和方面词表示转换为如下w的形式，输入BERT预训练模型中；
Figure BDA0003598605900000063
其中，[CLS]+Context+[SEP]+Aspect+[SEP]是BERT预训练模型输入的条件。
S203：通过BERT预训练模型输出如下的初级上下文表示hse；
hse＝{hcls,h1,…,hn,hn+1,hn+2,…,hn+m+1,hn+m+2}；
式中：hcls表示BERT预训练模型通过池化值得到情感分类信息；h1,…,hn表示上下文的词向量表示。
需要说明的是，本发明采用的BERT预训练模型是一个现有模型，其全称为Bidirectional Encoder Representation from Transformers，是一个预训练的语言表征模型。本发明仅是利用了现有的BERT预训练模型，而未对其进行改进，因此，BERT预训练模型运转的具体过程这里不再赘述。
BERT预训练模型强调了不再像以往一样采用传统的单向语言模型或者把两个单向语言模型进行浅层拼接的方法进行预训练，而是采用新的masked language model(MLM)，以致能生成深度的双向语言表征。
本发明通过BERT预训练模型调整待测文本的词向量表示，使得能够利用BERT预训练模型的预训练知识弥补丢失的语义信息，并缓解依赖树对句法信息带来的噪声，从而能够有效克服噪声的影响。
具体实施过程中，结合图3所示，图注意力层(GAT)由图注意力计算和逐点卷积变换(PCT)组成。图注意力层用于提取具有上下文的句法信息的词向量表示，其是图神经网络的一种变体，根据句法依赖树的距离计算注意力权重。依赖树可以用N个节点的语法图来表示，每个词代表图中的一个节点，图中的边代表词之间的依赖关系。在图注意力层中，首先为依赖树上的每个输入句子生成一个普通的依赖图，例如，G(V，A)表示依赖关系图，其中V表示所有节点，A表示邻接矩阵。如果两个节点具有依赖关系Ai，j＝1，否则Ai，j＝0。
通过如下步骤生成次级上下文表示：
S211：通过多头自注意力网络聚合初级上下文表示中各个节点相邻节点的信息，得到具有句法信息的上下文表示；
Figure BDA0003598605900000071
Figure BDA0003598605900000072
Figure BDA0003598605900000073
式中：
Figure BDA0003598605900000074
表示多头自注意力网络中l+1层的i个词向量；
Figure BDA0003598605900000075
表示更新权重；
Figure BDA0003598605900000076
表示第l层K个头的学习参数；N(i)表示第i个节点的相邻节点域；
Figure BDA0003598605900000077
表示拼接多头自注意力网络K个头的信息；
Figure BDA0003598605900000078
表示第l层的上下文表示，如果l＝1则为BERT预训练模型最后一层的输出；
Figure BDA0003598605900000079
表示学习参数；
Figure BDA00035986059000000710
和
Figure BDA00035986059000000711
表示可学习转换矩阵；
Figure BDA00035986059000000712
分别表示l层第K个头第i和j个单词的词向量；d表示维度大小；
S212：通过逐点卷积变换对句法信息进行变换，生成次级上下文表示hsy；
Figure BDA00035986059000000713
式中：hl表示经过第l层图注意力层中图注意力计算的输出；σ表示RELU激活函数；*表示卷积操作；
Figure BDA00035986059000000714
和
Figure BDA00035986059000000715
表示卷积操作的学习参数；
Figure BDA00035986059000000716
和
Figure BDA00035986059000000717
表示残差参数。
本发明通过图注意力层提取初始上下文表示中的上下文句法信息，进而能够结合来共同增强语义和句法信息，从而能够提高方面级情感分类的全面性。
具体实施过程中，方面级情感分析最重要的方面是捕获目标方面的意见(即权重)。为了增加目标方面的权重，本发明使用每一个方面词的最大池化去与上下文交互计算注意力权重，以得到最佳权重。
更新初级上下文表示和次级上下文表示时，通过Mask向量来屏蔽方面词的影响，即为了忽略上下文中方面词本身的影响。
设A为方面词的索引集，其在方面词位置的值为1，其余位置为0；生成如下的Mask向量；
Figure BDA00035986059000000718
通过特定方面的注意力网络更新初级上下文表示hse时的公式如下；
Figure BDA00035986059000000719
Figure BDA00035986059000000720
Figure BDA00035986059000000721
式中：
Figure BDA00035986059000000722
表示通过特定方面的注意力网络更新后的初级词嵌入表示；
Figure BDA00035986059000000723
表示初级上下文表示
Figure BDA0003598605900000081
的方面词最大池化值；
Figure BDA0003598605900000082
表示注意力更新权重；Wse表示注意力学习矩阵。
通过特定方面的注意力网络更新次级上下文表示
Figure BDA0003598605900000083
时的公式如下；
Figure BDA0003598605900000084
Figure BDA0003598605900000085
Figure BDA0003598605900000086
式中：
Figure BDA0003598605900000087
表示通过特定方面的注意力网络更新后的次级词嵌入表示；
Figure BDA0003598605900000088
表示更新权重；
Figure BDA0003598605900000089
表示次级上下文表示
Figure BDA00035986059000000810
的方面词最大池化值；Wsy表示注意力学习矩阵。
本发明通过特定方面的注意力网络更新初级上下文表示和次级上下文表示中的词向量，能够利用每一个方面词的最大池化去与上下文交互计算注意力权重，进而能够增加目标方面词的权重以获得最佳权重。
具体实施过程中，分别计算初级上下文表示和次级上下文表示的方面词最大池化值
Figure BDA00035986059000000811
和
Figure BDA00035986059000000812
以及初级词嵌入表示和次级词嵌入表示的方面词平均池化值
Figure BDA00035986059000000813
和
Figure BDA00035986059000000814
然后通过多粒度门机制结合如下公式计算对应的多粒度融合信息hg；
Figure BDA00035986059000000815
Figure BDA00035986059000000816
g＝σ(Wg[x1；x2]+bg)；
式中：σ表示Sigmod激活函数，使其位于[0,1]来控制融合权重；Wg表示可学习参数；bg表示偏差项。
具体实施过程中，通过如下公式将多粒度融合信息hg与初级上下文表示hse中的情感分类信息hcls融合，得到对应的最终文本表示hf，进而通过最终文本表示hf进行情感分类；
hf＝Wf[hg；h0]+bf；
式中：Wf和bf表示学习参数。
本发明通过融合初级上下文表示、次级上下文表示、初级词嵌入表示和次级词嵌入表示中相同的粒度信息以及初级上下文表示中的文本理解，能够考虑多个粒度层面的信息，进而能够增加模型对句子信息和方面词信息感知，从而能够进一步提高方面级情感分类的准确性和全面性。
具体实施过程中，分类器通过如下公式进行情感分类；
y＝Softmax(hf)；
式中：y表示分类预测结果。
具体实施过程中，通过如下训练损失函数训练情感分类模型；
Figure BDA0003598605900000091
式中：λ表示正则化超参数；Θ表示模型中所有训练的参数；yc表示预测样本；
Figure BDA0003598605900000092
表示真实样本；c表示情感分类类别。
本发明通过上述训练损失函数，能够保证情感分类模型的训练效率和分类准确性，从而能够进一步提高方面级情感分类的准确性。
为了更好的说明本发明技术方案的优势，本实施例中公开了如下实验。
本实验在三个现有的基准数据集上进行，分别是SemEval2014的Laptop、Restaurant和Twitter数据集。数据集被标记为积极、消极和中性，表1列出了各个数据集的具体信息。
表1
Figure BDA0003598605900000093
本实验使用accuracy和F1来评判本发明的性能(其中，accuracy和F1值越高代表性能越好)，实验结果如表2所示。
结合表2可知，本发明的模型在Semeval2014任务的Restaurant和Laptop以及twitter数据集上取得了较好的性能。比较的模型主要分为三大类：基于注意力的模型、外部句法知识嵌入模型和BERT预训练模型。
外部依赖树和BERT都能有效地提高模型的性能，最简单的BERT-SPC模型优于不适用BERT的模型。这很好地说明了BERT在情感分析中的应用能力，将BERT和句法依赖相结合可以进一步提高模型的性能。然而，所有同时结合BERT和依赖树的模型都不能充分提取和利用BERT和句法信息。结果，它们丢失了一些语义和句法信息，导致性能低于本发明的情感分类模型。
注意模型(ATAE-LSTM、IAN、TNet、MGAN、AEN)相比缺乏句法信息的引入，不能准确捕捉意见词，因此本发明的情感分类模型有明显的领先优势。
此外，在Restaurant、laptop和twitter上，本发明的情感分类模型比具有外部句法信息的模型(ASGCN、GAT、TD-GAT、SAGAT、RGAT)具有更显著的领先优势。与上面的BERT预训练模型相比，本发明的情感分类模型在Restaurant和laptop数据集上领先于所有模型，但在Twitter上略低于RGAT-BERT。
表2
Figure BDA0003598605900000101
最后需要说明的是，以上实施例仅用以说明本发明的技术方案而非限制技术方案，本领域的普通技术人员应当理解，那些对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，均应涵盖在本发明的权利要求范围当中。

Claims (10)

1.基于增强语义句法信息的方面级情感分类方法，其特征在于，包括以下步骤：
S1：获取待测文本；
S2：将待测文本输入经过预先训练的情感分类模型中，输出对应的分类预测结果；
其中，情感分类模型首先通过BERT预训练模型调整待测文本的词向量表示，生成初级上下文表示；然后通过图注意力层提取初始上下文表示中的上下文句法信息，生成次级上下文表示；进一步通过特定方面的注意力网络更新初级上下文表示和次级上下文表示中的词向量，生成初级词嵌入表示和次级词嵌入表示，并平均池化生成初级词嵌入表示和次级词嵌入表示的粗粒度表示；再将初级上下文表示和次级上下文表示中的方面词最大池化作为细粒度表示；进而融合初级词嵌入表示和次级词嵌入表示的粗粒度表示以及初级上下文表示和次级上下文表示方面词的细粒度表示中相同的粒度信息，生成多粒度融合信息；最后通过分类器基于多粒度融合信息进行情感分类，得到分类预测结果；
S3：将情感分类模型输出的分类预测结果作为待测文本的方面级情感分类结果。
2.如权利要求1所述的基于增强语义句法信息的方面级情感分类方法，其特征在于：步骤S2中，通过如下步骤生成初级上下文表示：
S201：将待测文本对应转换为上下文序列
Figure FDA0003598605890000011
和方面词表示
Figure FDA0003598605890000012
其中wa是wc的子序列；
S202：将上下文序列和方面词表示转换为如下w的形式，输入BERT预训练模型中；
Figure FDA0003598605890000013
S203：通过BERT预训练模型输出如下的初级上下文表示hse；
hse＝{hcls，h1，…，hn，hn+1，hn+2，…，hn+m+1，hn+m+2}；
式中：hcls表示BERT预训练模型通过池化值得到情感分类信息；h1，…，hn表示上下文的词向量表示。
3.如权利要求1所述的基于增强语义句法信息的方面级情感分类方法，其特征在于：步骤S2中，通过如下步骤生成次级上下文表示：
S211：通过多头自注意力网络聚合初级上下文表示中各个节点相邻节点的信息，得到具有句法信息的上下文表示；
Figure FDA0003598605890000014
Figure FDA0003598605890000015
Figure FDA0003598605890000021
式中：
Figure FDA0003598605890000022
表示多头自注意力网络中l+1层的i个词向量；
Figure FDA0003598605890000023
表示更新权重；
Figure FDA0003598605890000024
表示第l层K个头的学习参数；N(i)表示第i个节点的相邻节点域；
Figure FDA0003598605890000025
表示拼接多头自注意力网络K个头的信息；
Figure FDA0003598605890000026
表示第l层的上下文表示，如果l＝1则为BERT预训练模型最后一层的输出；
Figure FDA0003598605890000027
表示学习参数；
Figure FDA0003598605890000028
和
Figure FDA0003598605890000029
表示可学习转换矩阵；
Figure FDA00035986058900000210
分别表示l层第K个头第i和j个单词的词向量；d表示维度大小；
S212：通过逐点卷积变换对句法信息进行变换，生成次级上下文表示hsy；
Figure FDA00035986058900000211
式中：h1表示经过第l层图注意力层中图注意力计算的输出；σ表示RELU激活函数；*表示卷积操作；
Figure FDA00035986058900000212
和
Figure FDA00035986058900000213
表示卷积操作的学习参数；
Figure FDA00035986058900000214
和
Figure FDA00035986058900000215
表示残差参数。
4.如权利要求1所述的基于增强语义句法信息的方面级情感分类方法，其特征在于：步骤S2中，更新初级上下文表示和次级上下文表示时，通过Mask向量来屏蔽方面词的影响；
设A为方面词的索引集，生成如下的Mask向量；
Figure FDA00035986058900000216
5.如权利要求4所述的基于增强语义句法信息的方面级情感分类方法，其特征在于：步骤S2中，通过特定方面的注意力网络更新初级上下文表示hse时的公式如下；
Figure FDA00035986058900000217
Figure FDA00035986058900000218
Figure FDA00035986058900000219
式中：
Figure FDA00035986058900000220
表示通过特定方面的注意力网络更新后的初级词嵌入表示；
Figure FDA00035986058900000221
表示初级上下文表示
Figure FDA00035986058900000222
的方面词最大池化值；
Figure FDA00035986058900000223
表示注意力更新权重；Wse表示注意力学习矩阵。
6.如权利要求1所述的基于增强语义句法信息的方面级情感分类方法，其特征在于：步骤S2中，通过特定方面的注意力网络更新次级上下文表示
Figure FDA00035986058900000224
时的公式如下；
Figure FDA00035986058900000225
Figure FDA00035986058900000226
Figure FDA00035986058900000227
式中：
Figure FDA0003598605890000031
表示通过特定方面的注意力网络更新后的次级词嵌入表示；
Figure FDA0003598605890000032
表示更新权重；
Figure FDA0003598605890000033
表示次级上下文表示
Figure FDA0003598605890000034
的方面词最大池化值；Wsy表示注意力学习矩阵。
7.如权利要求1所述的基于增强语义句法信息的方面级情感分类方法，其特征在于：步骤S2中，分别计算初级上下文表示和次级上下文表示的方面词最大池化值
Figure FDA0003598605890000035
和
Figure FDA0003598605890000036
以及初级词嵌入表示和次级词嵌入表示的方面词平均池化值
Figure FDA0003598605890000037
和
Figure FDA0003598605890000038
然后通过多粒度门机制结合如下公式计算对应的多粒度融合信息hg；
Figure FDA0003598605890000039
Figure FDA00035986058900000312
g＝σ(Wg[x1；x2]+bg)；
式中：σ表示Sigmod激活函数，使其位于[0，1]来控制融合权重；Wg表示可学习参数；bg表示偏差项。
8.如权利要求7所述的基于增强语义句法信息的方面级情感分类方法，其特征在于：步骤S2中，通过如下公式将多粒度融合信息hg与初级上下文表示hse中的情感分类信息hcls融合，得到对应的最终文本表示hf，进而通过最终文本表示hf进行情感分类；
hf＝Wf[hg；hcls]+bf；
式中：Wf和bf表示学习参数。
9.如权利要求8所述的基于增强语义句法信息的方面级情感分类方法，其特征在于：步骤S2中，分类器通过如下公式进行情感分类；
y＝Softmax(hf)；
式中：y表示分类预测结果。
10.如权利要求1所述的基于增强语义句法信息的方面级情感分类方法，其特征在于：步骤S2中，通过如下训练损失函数训练情感分类模型；
Figure FDA00035986058900000310
式中：λ表示正则化超参数；Θ表示模型中所有训练的参数；yc表示预测样本；
Figure FDA00035986058900000311
表示真实样本；c表示情感分类类别。
CN202210398610.6A 2022-04-15 2022-04-15 基于增强语义句法信息的方面级情感分类方法 Pending CN114676687A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210398610.6A CN114676687A (zh) 2022-04-15 2022-04-15 基于增强语义句法信息的方面级情感分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210398610.6A CN114676687A (zh) 2022-04-15 2022-04-15 基于增强语义句法信息的方面级情感分类方法

Publications (1)

Publication Number Publication Date
CN114676687A true CN114676687A (zh) 2022-06-28

Family

ID=82077748

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210398610.6A Pending CN114676687A (zh) 2022-04-15 2022-04-15 基于增强语义句法信息的方面级情感分类方法

Country Status (1)

Country Link
CN (1) CN114676687A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115204183A (zh) * 2022-09-19 2022-10-18 华南师范大学 基于知识增强的双通道情感分析方法、装置以及设备
CN115374281A (zh) * 2022-08-30 2022-11-22 重庆理工大学 基于多粒度融合和图卷积网络的会话情感分析方法
CN115659951A (zh) * 2022-12-26 2023-01-31 华南师范大学 基于标签嵌入的语句情感分析方法、装置以及设备
CN116108187A (zh) * 2023-04-14 2023-05-12 华东交通大学 一种集成多粒度信息的方面级情感分类方法
CN116205222A (zh) * 2023-05-06 2023-06-02 南京邮电大学 一种基于多通道注意力融合的方面级情感分析系统及方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115374281A (zh) * 2022-08-30 2022-11-22 重庆理工大学 基于多粒度融合和图卷积网络的会话情感分析方法
CN115374281B (zh) * 2022-08-30 2024-04-05 重庆理工大学 基于多粒度融合和图卷积网络的会话情感分析方法
CN115204183A (zh) * 2022-09-19 2022-10-18 华南师范大学 基于知识增强的双通道情感分析方法、装置以及设备
CN115659951A (zh) * 2022-12-26 2023-01-31 华南师范大学 基于标签嵌入的语句情感分析方法、装置以及设备
CN116108187A (zh) * 2023-04-14 2023-05-12 华东交通大学 一种集成多粒度信息的方面级情感分类方法
CN116205222A (zh) * 2023-05-06 2023-06-02 南京邮电大学 一种基于多通道注意力融合的方面级情感分析系统及方法

Similar Documents

Publication Publication Date Title
CN110377686B (zh) 一种基于深度神经网络模型的地址信息特征抽取方法
CN114676687A (zh) 基于增强语义句法信息的方面级情感分类方法
CN108399428B (zh) 一种基于迹比准则的三元组损失函数设计方法
CN108563653B (zh) 一种用于知识图谱中知识获取模型的构建方法及系统
CN111260740B (zh) 一种基于生成对抗网络的文本到图像生成方法
CN113326731B (zh) 一种基于动量网络指导的跨域行人重识别方法
US11928957B2 (en) Audiovisual secondary haptic signal reconstruction method based on cloud-edge collaboration
CN110390017B (zh) 基于注意力门控卷积网络的目标情感分析方法及系统
CN112560432A (zh) 基于图注意力网络的文本情感分析方法
Lin et al. Attribute-Aware Convolutional Neural Networks for Facial Beauty Prediction.
CN113239186A (zh) 一种基于多依存关系表示机制的图卷积网络关系抽取方法
CN113255822B (zh) 一种用于图像检索的双重知识蒸馏方法
CN115269847A (zh) 基于知识增强句法异构图的方面级情感分类方法
CN112926337B (zh) 一种结合重构句法信息的端到端方面级情感分析方法
CN114332519A (zh) 一种基于外部三元组和抽象关系的图像描述生成方法
CN106021402A (zh) 用于跨模态检索的多模态多类Boosting框架构建方法及装置
CN115374270A (zh) 一种基于图神经网络的法律文本摘要生成方法
CN115828143A (zh) 基于图卷积和自注意力机制实现异构图元路径聚合的节点分类方法
CN114579605B (zh) 表格问答数据处理方法、电子设备及计算机存储介质
CN115631504A (zh) 一种基于双模态图网络信息瓶颈的情感识别方法
CN114492458A (zh) 一种基于多头注意力和词共现的方面级情感分析方法
CN113792144A (zh) 基于半监督的图卷积神经网络的文本分类方法
CN114239565A (zh) 一种基于深度学习的情绪原因识别方法及系统
CN115936077B (zh) 基于依赖树的方面级情感分析交互卷积网络
Ji et al. A Dual Knowledge Aggregation Network for Cross-Domain Sentiment Analysis

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination