CN114429122A - 一种基于循环注意力的方面级情感分析系统和方法 - Google Patents

一种基于循环注意力的方面级情感分析系统和方法 Download PDF

Info

Publication number
CN114429122A
CN114429122A CN202210088035.XA CN202210088035A CN114429122A CN 114429122 A CN114429122 A CN 114429122A CN 202210088035 A CN202210088035 A CN 202210088035A CN 114429122 A CN114429122 A CN 114429122A
Authority
CN
China
Prior art keywords
attention
word
module
vector
representing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210088035.XA
Other languages
English (en)
Inventor
古平
李强
阳松
王江兴
张程
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University
Original Assignee
Chongqing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University filed Critical Chongqing University
Priority to CN202210088035.XA priority Critical patent/CN114429122A/zh
Publication of CN114429122A publication Critical patent/CN114429122A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Abstract

本发明公开一种基于循环注意力的方面级情感分析系统和方法，包括循环注意力模块、方面挖掘注意力模块和特征融合分类模块；其中，所述循环注意力模块，基于GRU的门控机制，对文本进行注意力操作，得到更新的依赖矩阵，以调整图卷积神经网络卷积过程中对不同依赖的关注度；所述方面挖掘注意力模块，用于将每一层图卷积神经网络对句子方面的编码分别作为Query，对文本做注意力操作，挖掘文本中关于方面情感的语义信息，输出语义特征；所述特征融合分类模块，使用全连接层对语义特征进行融合处理，再进行情感分类。

Description

一种基于循环注意力的方面级情感分析系统和方法
技术领域
本发明涉及语言处理技术领域，特别涉及一种基于循环注意力的方面级情感分析系统和方法。
背景技术
RAGCNs是一种用于文本方面级情感分析的系统，主要用于分析互联网(如博客、论坛以及社会服务网络)中用户对人物、事件、产品等目标对象生成的有价值的大量评论信息，从而为下游的分析和决策判断提供参考。
其中，方面级情感分析是一种细粒度的情感分析，旨在分析用户对目标对象所产生的情感极性、情绪、评价、态度等评论信息，目标对象包括但不限于商品、服务、组织、个人、事件等。随着社交网络、评论站点等用户发声渠道越来越多，方面级情感分析的价值与日俱增，人工进行海量信息的方面情感分析是不现实的，因此一般通过计算机辅助系统挖掘用户观点进行方面级情感分析。现有的计算机辅助系统包括以下几个：
1.基于机器学习的方面级情感分析系统；
该系统先将文本信息进行特征处理，然后对模型进行有监督学习训练，最后用训练好的模型预测文本的情感极性。但整个过程需要消耗大量的时间成本去进行特征工程，另外模型的性能对训练数据的标签非常敏感。
2.基于深度学习的方面级情感分析系统；
随着深度学习在图像处理领域不断发展创新，深度学习技术也开始涉及文本情感分析领域。一些常见的应用如词嵌入技术、卷积神经网络、循环神经网络、注意力机制等，这些应用避免了复杂的特征工程，同时分析准确度也进一步提高。具体而言，通常先对文本进行分词处理，并利用词嵌入技术(word2vec，glove等)，将词编码成能够被计算机识别的词向量，再将词向量输入到各种深度学习模型中，最后将模型学习到的特征传入一个softmax层，从而判断目标的情感极性。目前常用的深度学习模型包括CNN、LSTM、GRU等。但是这些深度学习模型不能够很好的关注到句子中针对目标方面的重要情感词。
因此在深度学习模型引入了注意力机制去加强对句子中情感词汇的关注，提高情感分析的准确度。但是，这些模型在情感分析过程中，没有充分利用句子中词语之间的依赖信息，可能会关注到错误的情感词，影响情感分析的准确性，有研究者通过应用图神经网络，改善了这个问题，但仍存在以下缺陷：
(1)图神经网络需要用到句子中词语的依赖信息，首先需要构建句法依赖矩阵，句法依赖分析工具如spacy，可能会解析出一些错误的依赖，图神经网络性能因此也会受到影响。
(2)常见的图神经网络有图卷积神经网络、图注意力神经网络。图卷积神经网络中，对句中解析得到的词依赖，权重通常都赋值为1，这样会造成卷积过程中不同句子中同样的词依赖以及同一个句子中不同的词依赖，对目标方面情感的影响强度完全一致，这不符合实际的情况，也可能会放大错误依赖的影响，致使情感分析的性能受限；对于图注意力神经网络，往往使用多层注意力去学习不同依赖对目标词的情感影响，但是在多层图注意力的注意力过程中，缺乏一个调控多层图注意力的感知机制，在图注意力层数增加后，注意力神经网络学不到新的特征甚至会关注到错误的依赖上，影响情感分析的性能。
发明内容
针对现有技术中文本情感分析精度较低问题，本发明提出一种基于循环注意力的方面级情感分析系统和方法，通过在图卷积神经网络中引入软连接矩阵和动态更新机制，对进行情感分析的句子进行注意力演化分析，获得目标方面的情感极性，从而提高文本情感分析的精度。
为了实现上述目的，本发明提供以下技术方案：
一种基于循环注意力的方面级情感分析系统，包括循环注意力模块、方面挖掘注意力模块和特征融合分类模块；其中，
所述循环注意力模块，用于对文本进行注意力操作，得到更新的依赖矩阵；
所述方面挖掘注意力模块，用于将每一层图卷积神经网络对句子方面的编码分别作为Query，对文本做注意力操作，挖掘文本中关于方面情感的语义信息，输出语义特征；
所述特征融合分类模块，使用全连接层对语义特征进行融合处理，再进行情感分类。
优选的，还包括数据预处理模块、词向量构建模块、上下文编码模块、卷积池化模块和图卷积模块；
所述数据预处理模块，用于对输入的文本进行分词、去噪，构建基于三元组<词序列，依赖矩阵，目标方面>的输入词序列；
所述词向量构建模块，用于使用预训练的GloVe向量将输入词序列转换成对应的词向量序列；
所述上下文编码模块，用于对输入的词向量序列进行重新编码，输出包含上下文关系的词语编码向量；
所述卷积池化模块，利用上下文中的情感特征激活循环注意力模块；
所述图卷积模块，用于利用循环注意力模块更新得到的依赖矩阵更新情感上下文。
优选的，还包括位置信息融合模块，用于对图卷积模块更新的情感上下文注入位置信息。
优选的，所述情感分类包括消极、中性、积极。
本发明还提供一种基于循环注意力的方面级情感分析方法，具体包括以下步骤：
S1：输入待进行情感分析的文本，并指定输入文本中的目标方面；
S2：对文本进行数据预处理，构建输入序列；
S3：对S2中的输入序列进行词向量构建得到词向量序列，再对词向量序列进行编码，得到具有上下文关系的词语编码向量集合HE；
S4：对词语编码向量集合HE进行卷积操作，获得包含情感特征的卷积结果集合HC，再对卷积向量集合HC进行最大池化，得到循环注意力模型的初始状态e0，用以激活循环注意力，从而输出et到图卷积模块；
S5：图卷积模块利用循环注意力模块的输出et作为查询，对每一个词向量的依赖词做注意力增强的图卷积，输出词向量
Figure BDA0003487914610000041
表示第L层图卷积网络在位置i的输出词向量；
S6：将图卷积模块中每一层图卷积神经网络对句子方面的编码分别作为查询，从而对词语编码向量集合HE进行注意力操作，输出语义特征；
S7：对语义特征进行融合处理，得到文本的情感分析类别。
优选的，所述S2中，词序列的构建方法为：对文本内容进行分词、去噪，解析获取句子的句法依赖树，利用句法依赖树构建n×n的依赖矩阵A，其中n代表句子中词语的数目，最后输入句子对应的词序列sentence、依赖矩阵A、目标方面aspect_indices，组合成三元组<sentence，A，aspect_indices>作为输入词序列。
优选的，所述S3包括：
S3-1：使用预训练的GloVe向量将输入词序列转换成对应的词向量序列X＝[x1,x2,…,xτ+1,…,xτ+m,…,xn]，其中n代表句子的数目，τ+1表示长度为m的方面词的开始位置，τ+m表示方面词的结束位置，xn表示第n个词向量；
S3-2：采用BI-LSTM编码器对词向量进行编码，编码过程如下：
Figure BDA0003487914610000051
公式(1)中，
Figure BDA0003487914610000052
是前向传播LSTM在位置i的输出，E表示当前向量是BI-LSTM编码器的输出结果，
Figure BDA0003487914610000053
是后向传播LSTM在位置i的输出，
Figure BDA0003487914610000054
表示前向传播LSTM在位置i的状态，
Figure BDA0003487914610000055
表示后向传播LSTM在位置i的状态，
Figure BDA0003487914610000056
表示向量的加操作，xi表示i位置上的词向量，
Figure BDA0003487914610000057
表示位置i上的具有上下文关系的词语编码向量；
将各个位置的词语编码向量进行集合得到具有上下文关系的词语编码向量集合
Figure BDA0003487914610000058
Figure BDA0003487914610000059
表示位置n上的具有上下文关系的词语编码向量。
优选的，所述S4包括：
S4-1：对S4中输出的包含上下文关系的词语编码向量进行卷积操作，获得卷积结果集合
Figure BDA00034879146100000510
Figure BDA00034879146100000511
表示位置n上的卷积结果，C表示当前向量是卷积输出结果；再对卷积结果集合HC进行最大池化，得到循环注意力模型的初始状态e0，用以激活循环注意力；
Figure BDA00034879146100000512
e0＝MAXPOOL(HC) (2)
公式(2)中，
Figure BDA00034879146100000513
表示位置i上的包含情感特征的卷积结果，HEi:i+k表示BI-LSTM编码器编码结果中第i到i+k的向量，Wc和bc代表卷积过程中的参数，MAXPOOL代表最大池化操作；
S4-2：循环注意力模块采用GRU架构，循环注意力模块的初始输入
Figure BDA0003487914610000061
是HE在位置τ+1至τ+m的词语编码向量的均值池化，之后的每一次输入
Figure BDA0003487914610000062
产生自图卷积神经模块的输出HL，图卷积模块和循环注意力模块交互循环更新，t时刻的状态输入是模型中t-1时刻的状态输出et-1：
Figure BDA0003487914610000063
公式(3)中，
Figure BDA0003487914610000064
表示HL在位置τ+1至τ+m的词语编码向量的均值池化；
Figure BDA0003487914610000065
表示位置i上的具有上下文关系的词语编码向量；r代表重置门；z代表更新门；
Figure BDA0003487914610000066
代表t时刻的情感依赖信息；Wr、Ur、Wz、Uz、Wx、Wg是训练参数，et-1表示t-1时刻循环注意力模型的状态输出，⊙表示乘积，et表示t时刻循环注意力模型的状态输出。
优选的，所述S5中，注意力增强的图卷积过程为：
Figure BDA0003487914610000067
公式(4)中，
Figure BDA0003487914610000071
表示第l层图卷积神经网络在位置j的注意力分数，
Figure BDA0003487914610000072
表示第l-1层的图卷积神经网络在位置j上的输出词向量，Aij表示词语i、j之间的依赖关系(若Aij＝1则表示词语i、j之间存在依赖，若Aij＝0则表示词语i、j之间不存在依赖)，
Figure BDA0003487914610000073
表示第l层图卷积神经网络中存在依赖的词语之间的注意力分数，
Figure BDA0003487914610000074
表示基于注意力结果的依赖权重，
Figure BDA0003487914610000075
表示输入句子中词语i的邻接词集合，k表示第k个邻接词，
Figure BDA0003487914610000076
表示图卷积模块的输出结果，
Figure BDA0003487914610000077
表示第L层图卷积网络在位置i的输出词向量，Wl和bl表示训练参数。
优选的，所述S6中，注意力操作公式如下：
Figure BDA0003487914610000078
公式(5)中，
Figure BDA0003487914610000079
表示位置t上的词在第L层图卷积网络输出结果指导下产生的注意力分数，
Figure BDA00034879146100000710
表示位置i上的词在第L层图卷积网络的注意力分数，
Figure BDA00034879146100000711
表示位置i上的具有上下文关系的词语编码向量，
Figure BDA00034879146100000712
表示归一化的注意力分数，rl表示第L层图卷积网络指导产生的注意力结果，
Figure BDA00034879146100000713
表示第L层图卷积网络在位置i的输出词向量，
Figure BDA00034879146100000714
是上下文编码模块在位置t的输出向量；
将每层图卷积网络输出的注意力结果拼接构成语义特征z＝[r1,…,rl]，rl表示第L层图卷积网络指导产生的注意力结果。
综上所述，由于采用了上述技术方案，与现有技术相比，本发明至少具有以下有益效果：
本发明通过在图卷积神经网络中使用注意力增强的依赖矩阵，替代词依赖矩阵中固定为1的依赖权值，从而区分不同句子中同样的词依赖以及同一个句子中不同的词依赖对目标方面情感的影响强度，提高分类精度。
同时基于循环注意力的演化机制，在多次注意力过程中动态调控模型的注意力，不断加强正确依赖信息的影响强度，减弱错误依赖信息的影响强度，使得图卷积过程中模型能关注到新的情感上下文，减少干扰信息的传播，提升情感分析的准确率。
附图说明：
图1为根据本发明示例性实施例的一种基于循环注意力的方面级情感分析系统示意图。
图2为根据本发明示例性实施例的一种基于循环注意力的方面级情感分析方法流程示意图。
具体实施方式
下面结合实施例及具体实施方式对本发明作进一步的详细描述。但不应将此理解为本发明上述主题的范围仅限于以下的实施例，凡基于本发明内容所实现的技术均属于本发明的范围。
在本发明的描述中，需要理解的是，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
如图1所示，本发明提供一种基于循环注意力的方面级情感分析系统，包括数据预处理模块、词向量构建模块、上下文编码模块、卷积池化模块、循环注意力模块、图卷积模块、位置信息融合模块、方面挖掘注意力模块和特征融合分类模块；
数据预处理模块的输出端与词向量构建模块的输入端连接，词向量构建模块的输出端与上下文编码模块的输入端连接，上下文编码模块的第一输出端与卷积池化模块的输入端连接，上下文编码模块的第二输出端与循环注意力模块的第一输入端连接、上下文编码模块的第三输出端与图卷积模块的第一输入端连接，卷积池化模块的输出端与循环注意力模块的第二输入端连接，循环注意力模块的输出端与图卷积模块的第二输入端连接，图卷积模块的第一输出端与位置信息融合模块的输入端连接，图卷积模块的第二输出端与循环注意力模块的第三输入端连接，位置信息融合模块的第一输出端与方面挖掘注意力模块的第一输入端连接，位置信息融合模块的第二输出端与图卷积模块的第三输入端连接，上下文编码模块的第四输出端与方面挖掘注意力模块的第二输入端连接，方面挖掘注意力模块的输出端与特征融合分类模块的输入端连接，特征融合分类模块输出分类结果。
数据预处理模块，用于对输入的文本进行分词、去噪，获取句子的句法依赖树，并构建依赖矩阵A，重构基于三元组<词序列，依赖矩阵，目标方面>的输入词序列。
词向量构建模块，用于使用预训练的GloVe向量将输入词序列转换成对应的词向量序列。
上下文编码模块，可采用BI-LSTM编码器，用于对输入的词向量序列进行重新编码，输出包含上下文关系的词语编码向量。
卷积池化模块，利用上下文中的情感特征(例如N-gram特征)激活循环注意力模块。
循环注意力模块，基于GRU的门控机制，将卷积池化模块输出的情感特征作为GRU初始的状态输入进行激活，对之后输入GRU的方面信息进行筛选，比如过滤错误依赖产生的方面信息，降低错误依赖信息对当前的GRU输出的影响；基于当前输出进行注意力操作，得到更新n×n的依赖矩阵A，调整图卷积过程中对不同依赖的关注度，其中n代表句子中词语的数目。Aij表示词语i跟词语j之间是否存在依赖关系，当词语i跟词语j之间存在依赖关系时，Aij等于1，否则Aij等于0。
图卷积模块，紧接上下文编码模块，利用循环注意力模块得到的依赖矩阵A更新情感上下文。
位置信息融合模块，用于对图卷积模块输出的情感上下文注入位置信息。
方面挖掘注意力模块，用于将每一层图卷积神经网络对句子方面的编码分别作为Query，对上下文编码模块输出的包含上下文关系的词语编码向量做注意力操作，重新挖掘句子中关于方面情感的语义信息，输出语义特征。
特征融合分类模块，用于使用全连接层对方面挖掘注意力模块输出的语义特征进行融合处理，再使用softmax进行三分类，即消极、中性、积极，作为情感分析的结果。
本发明利用上下文编码模块注入词语之间的上下文关系，重新编码上下文，再激活循环注意力，不同层的图卷积神经网络使用循环注意力动态调控图卷积过程，在图卷积过程中，使用注意力分数作为词依赖的权重，以区分不同的词依赖；在图卷积结束后注入位置信息，加强方面邻接词的重要性；通过利用循环注意力的演化分析机制，不断加强正确依赖信息的影响强度，减弱错误或者无用依赖信息的影响，便于下一层图卷积过程中模型能关注到更新的情感上下文；最终通过层次化的方式，抽取出每层图卷积结果中最具价值的信息，拼接并送入模型输出层，进一步提高了情感预测的准确性。
如图2所示，本发明还提供一种基于循环注意力的方面级情感分析方法，具体包括以下步骤：
S1：输入待进行情感分析的文本，并指定输入文本中的目标方面，目标方面限定为句子中出现的方面。
本实施例中，例如在句子“Theprice is reasonable althoughthe serviceispoor”中“price”和“service”是两个方面，“reasonable”和“poor”分别是方面“price”和“service”对应的情感极性词语。
S2：进行数据预处理，对文本内容进行分词、去噪，解析获取句子的句法依赖树，利用句法依赖树构建n×n的依赖矩阵A，其中n代表句子中词语的数目，当词语i跟词语j之间存在依赖关系时，Aij等于1，否则Aij等于0。最后将输入句子对应的词序列sentence、依赖矩阵A、目标方面aspect_indices，组合成三元组<sentence，A，aspect_indices>作为输入序列，输入后续模块。
S3：将S2中输入序列的sentence取出作为输入词序列，进行词向量构建得到词向量序列。
本实施例中，使用预训练的GloVe向量进行词向量化，将输入词序列转换成对应的词向量序列X＝[x1,x2,…,xτ+1,…,xτ+m,…,xn]，其中n代表句子的数目，τ+1(1≤τ≤n)表示长度为m的方面词的开始位置，τ+m表示长度为m的方面词的结束位置，xn表示第n个词向量，词向量不参与模型的训练。
S4：上下文编码模块采用BI-LSTM编码器对词向量序列进行编码，得到具有上下文关系的词语编码向量集合HE。
编码过程如下所示：
Figure BDA0003487914610000111
Figure BDA0003487914610000121
公式(1)中，
Figure BDA0003487914610000122
是前向传播LSTM在位置i的输出，E表示当前向量是BI-LSTM编码器的输出结果，
Figure BDA0003487914610000123
是后向传播LSTM在位置i的输出，
Figure BDA0003487914610000124
表示前向传播LSTM在位置i的状态，
Figure BDA0003487914610000125
表示后向传播LSTM在位置i的状态，
Figure BDA0003487914610000126
是向量的元素加操作，xi表示i位置上的词向量，
Figure BDA0003487914610000127
表示位置i上的具有上下文关系的词语编码向量。
将各个词语编码向量进行集合得到具有上下文关系的词语编码向量集合
Figure BDA0003487914610000128
Figure BDA0003487914610000129
表示位置n上的具有上下文关系的词语编码向量。
S5：对S4中输出的包含上下文关系的词语编码向量进行卷积操作，获得包含情感特征(N-gram特征)的卷积结果集合
Figure BDA00034879146100001210
其中n代表句子中词语的数目，
Figure BDA00034879146100001211
表示位置n上的卷积结果，C表示当前向量是卷积输出结果；再对卷积向量集合HC进行最大池化，得到循环注意力模型的初始状态e0，用以激活循环注意力；
Figure BDA00034879146100001212
e0＝MAXPOOL(HC) (2)
公式(2)中，
Figure BDA00034879146100001213
表示位置i上的包含情感特征的卷积结果，HEi:i+k表示BI-LSTM编码器编码结果中第i至i+k的向量，Wc和bc代表卷积过程中的参数，MAXPOOL代表最大池化操作。
S6：循环注意力模块的输入是具有上下文关系的词语编码向量
Figure BDA00034879146100001214
输出状态et作用于图卷积模块。
实施例中，循环注意力模块选择GRU架构，每一次输入
Figure BDA00034879146100001215
是位置τ+1至τ+m词语编码向量的均值池化，初始输入
Figure BDA00034879146100001216
是HE在位置τ+1至τ+m的词语编码向量的均值池化，之后的每一次输入
Figure BDA0003487914610000131
产生自图卷积神经模块的输出HL，图卷积和循环注意力模块交互循环更新，t时刻的状态输入是模型中t-1时刻的状态输出et-1。
具体过程如下所示：
Figure BDA0003487914610000132
公式(3)中，
Figure BDA0003487914610000133
是HL在位置τ+1至τ+m的词语编码向量的均值池化，L等于0时，HL等于HE；
Figure BDA0003487914610000134
表示位置i上的具有上下文关系的词语编码向量；r代表重置门；z代表更新门；
Figure BDA0003487914610000135
代表t时刻的情感依赖信息；Wr、Ur、Wz、Uz、Wx、Wg是训练参数，et-1表示t-1时刻循环注意力模型的状态输出，⊙表示乘积，et表示t时刻循环注意力模型的状态输出。
S7：图卷积模块的输入是上下文编码模块的输出结果HE、循环注意力模块的输出et以及依赖矩阵A。
本实施例中，图卷积模块利用上一次循环注意力模块的状态输出et作为查询，对每一个词向量的依赖词做注意力操作，注意力增强的图卷积过程如下所示：
Figure BDA0003487914610000136
Figure BDA0003487914610000141
公式(4)中，
Figure BDA0003487914610000142
表示第l层图卷积神经网络在位置j的注意力分数，
Figure BDA0003487914610000143
表示第l-1层的图卷积神经网络在位置j上的输出词向量，Aij表示词语i、j之间的依赖关系(若Aij＝1则表示词语i、j之间存在依赖，若Aij＝0则表示词语i、j之间不存在依赖)，
Figure BDA0003487914610000144
表示第l层图卷积神经网络中存在依赖的词语之间的注意力分数，
Figure BDA0003487914610000145
表示基于注意力结果的依赖权重，
Figure BDA0003487914610000146
表示输入句子中词语i的邻接词集合，k表示第k个邻接词，
Figure BDA0003487914610000147
表示图卷积模块的输出结果，使用ReLu函数激活
Figure BDA0003487914610000148
获得
Figure BDA0003487914610000149
表示第L层图卷积网络在位置i的输出词向量，当向量
Figure BDA00034879146100001410
的元素小于0，设置为0，向量
Figure BDA00034879146100001411
的元素大于等于0则保持不变，避免过拟合，Wl和bl表示训练参数。
S8：对于图卷积模块输出的结果
Figure BDA00034879146100001412
注入位置信息，即
Figure BDA00034879146100001413
是通过对
Figure BDA00034879146100001414
添加了位置权重获得的，过程如下：
Figure BDA00034879146100001415
Figure BDA00034879146100001416
公式(5)中，
Figure BDA00034879146100001417
是第i个词在输入句子中的位置权重，
Figure BDA00034879146100001418
和
Figure BDA00034879146100001419
表示包含位置信息的词向量。
则图卷积模块输出的编码词向量集合
Figure BDA00034879146100001420
Figure BDA00034879146100001421
表示第n个词在第L层图卷积网络输出的编码词向量。
S9：方面挖掘注意力模块使用多注意力机制，将图卷积模块中每一层图卷积神经网络对句子方面的编码分别作为查询，从而对上下文编码模块输出的具有上下文关系的词语编码向量集合HE进行注意力操作。
本实施例中，注意力操作公式如下：
Figure BDA0003487914610000151
公式(6)中，
Figure BDA0003487914610000152
表示位置t上的词在第L层图卷积网络输出结果指导下产生的注意力分数，
Figure BDA0003487914610000153
表示位置i上的具有上下文关系的词语编码向量，
Figure BDA0003487914610000154
表示归一化的注意力分数，rl表示第L层图卷积网络指导产生的注意力结果，
Figure BDA0003487914610000155
表示第L层图卷积网络在位置i的输出词向量，
Figure BDA0003487914610000156
是上下文编码模块在位置t的输出向量；
本实施例中，由于多层图卷积过程中，不同层可能会关注到不同的重要依赖，将若干注意力结果拼接构成方面挖掘注意力模块输出的语义特征z＝[r1,…,rl]，rl表示第L层图卷积网络指导产生的注意力结果。
S10：对方面挖掘注意力模块输出的语义特征进行融合处理，使用的是全连接层，使用三分类即消极、中性、积极进行情感分析，总的损失函数是交叉熵损失函数加上L2正则化项。
u＝softmax(Wu*z+bu)
Figure BDA0003487914610000157
公式(7)中，u表示三种分类结果的概率分布，即消极、中性、积极的联合概率分布，选择最大概率作为分类结果，η表示损失函数，Wu和bu是训练参数，J代表训练样本数目，ui是真实标签，
Figure BDA0003487914610000158
是预测标签，Θ代表所有的训练参数，‖Θ‖2表示L2正则化项，λ是L2正则化项的系数。
本领域的普通技术人员可以理解，上述各实施方式是实现本发明的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。

Claims (10)

1.一种基于循环注意力的方面级情感分析系统，其特征在于，包括循环注意力模块、方面挖掘注意力模块和特征融合分类模块；其中，
所述循环注意力模块，用于对文本进行注意力操作，得到更新的依赖矩阵；
所述方面挖掘注意力模块，用于将每一层图卷积神经网络对句子方面的编码分别作为Query，对文本做注意力操作，挖掘文本中关于方面情感的语义信息，输出语义特征；
所述特征融合分类模块，使用全连接层对语义特征进行融合处理，再进行情感分类。
2.如权利要求1所述的一种基于循环注意力的方面级情感分析系统，其特征在于，还包括数据预处理模块、词向量构建模块、上下文编码模块、卷积池化模块和图卷积模块；
所述数据预处理模块，用于对输入的文本进行分词、去噪，构建基于三元组<词序列，依赖矩阵，目标方面>的输入词序列；
所述词向量构建模块，用于使用预训练的GloVe向量将输入词序列转换成对应的词向量序列；
所述上下文编码模块，用于对输入的词向量序列进行重新编码，输出包含上下文关系的词语编码向量；
所述卷积池化模块，利用上下文中的情感特征激活循环注意力模块；
所述图卷积模块，用于利用循环注意力模块更新得到的依赖矩阵更新情感上下文。
3.如权利要求2所述的一种基于循环注意力的方面级情感分析系统，其特征在于，还包括位置信息融合模块，用于对图卷积模块更新的情感上下文注入位置信息。
4.如权利要求1所述的一种基于循环注意力的方面级情感分析系统，其特征在于，所述情感分类包括消极、中性、积极。
5.一种基于循环注意力的方面级情感分析方法，其特征在于，具体包括以下步骤：
S1：输入待进行情感分析的文本，并指定输入文本中的目标方面；
S2：对文本进行数据预处理，构建输入序列；
S3：对S2中的输入序列进行词向量构建得到词向量序列，再对词向量序列进行编码，得到具有上下文关系的词语编码向量集合HE；
S4：对词语编码向量集合HE进行卷积操作，获得包含情感特征的卷积结果集合HC，再对卷积向量集合HC进行最大池化，得到循环注意力模型的初始状态e0，用以激活循环注意力，从而输出et到图卷积模块；
S5：图卷积模块利用循环注意力模块的输出et作为查询，对每一个词向量的依赖词做注意力增强的图卷积，输出词向量
Figure FDA0003487914600000021
Figure FDA0003487914600000022
表示第L层图卷积网络在位置i的输出词向量；
S6：将图卷积模块中每一层图卷积神经网络对句子方面的编码分别作为查询，从而对词语编码向量集合HE进行注意力操作，输出语义特征；
S7：对语义特征进行融合处理，得到文本的情感分析类别。
6.如权利要求5所述的一种基于循环注意力的方面级情感分析方法，其特征在于，所述S2中，词序列的构建方法为：对文本内容进行分词、去噪，解析获取句子的句法依赖树，利用句法依赖树构建n×n的依赖矩阵A，其中n代表句子中词语的数目，最后输入句子对应的词序列sentence、依赖矩阵A、目标方面aspect_indices，组合成三元组<sentence，A，aspect_indices>作为输入词序列。
7.如权利要求5所述的一种基于循环注意力的方面级情感分析方法，其特征在于，所述S3包括：
S3-1：使用预训练的GloVe向量将输入词序列转换成对应的词向量序列X＝[x1,x2,…,xτ+1,…,xτ+m,…,xn]，其中n代表句子的数目，τ+1表示长度为m的方面词的开始位置，τ+m表示方面词的结束位置，xn表示第n个词向量；
S3-2：采用BI-LSTM编码器对词向量进行编码，编码过程如下：
Figure FDA0003487914600000031
公式(1)中，
Figure FDA0003487914600000032
是前向传播LSTM在位置i的输出，E表示当前向量是BI-LSTM编码器的输出结果，
Figure FDA0003487914600000033
是后向传播LSTM在位置i的输出，
Figure FDA0003487914600000034
表示前向传播LSTM在位置i的状态，
Figure FDA0003487914600000035
表示后向传播LSTM在位置i的状态，
Figure FDA0003487914600000036
表示向量的加操作，xi表示i位置上的词向量，
Figure FDA00034879146000000312
表示位置i上的具有上下文关系的词语编码向量；
将各个位置的词语编码向量进行集合得到具有上下文关系的词语编码向量集合
Figure FDA0003487914600000037
Figure FDA0003487914600000038
表示位置n上的具有上下文关系的词语编码向量。
8.如权利要求5所述的一种基于循环注意力的方面级情感分析方法，其特征在于，所述S4包括：
S4-1：对S4中输出的包含上下文关系的词语编码向量进行卷积操作，获得卷积结果集合
Figure FDA0003487914600000039
Figure FDA00034879146000000310
表示位置n上的卷积结果，C表示当前向量是卷积输出结果；再对卷积结果集合HC进行最大池化，得到循环注意力模型的初始状态e0，用以激活循环注意力；
Figure FDA00034879146000000311
e0＝MAXPOOL(HC) (2)
公式(2)中，
Figure FDA0003487914600000041
表示位置i上的包含情感特征的卷积结果，HEi:i+k表示BI-LSTM编码器编码结果中第i到i+k的向量，Wc和bc代表卷积过程中的参数，MAXPOOL代表最大池化操作；
S4-2：循环注意力模块采用GRU架构，循环注意力模块的初始输入
Figure FDA0003487914600000042
是HE在位置τ+1至τ+m的词语编码向量的均值池化，之后的每一次输入
Figure FDA0003487914600000043
产生自图卷积神经模块的输出HL，图卷积模块和循环注意力模块交互循环更新，t时刻的状态输入是模型中t-1时刻的状态输出et-1：
Figure FDA0003487914600000044
公式(3)中，
Figure FDA0003487914600000045
表示HL在位置τ+1至τ+m的词语编码向量的均值池化；
Figure FDA0003487914600000046
表示位置i上的具有上下文关系的词语编码向量；r代表重置门；z代表更新门；
Figure FDA0003487914600000047
代表t时刻的情感依赖信息；Wr、Ur、Wz、Uz、Wx、Wg是训练参数，et-1表示t-1时刻循环注意力模型的状态输出，⊙表示乘积，et表示t时刻循环注意力模型的状态输出。
9.如权利要求5所述的一种基于循环注意力的方面级情感分析方法，其特征在于，所述S5中，注意力增强的图卷积过程为：
Figure FDA0003487914600000048
Figure FDA0003487914600000049
Figure FDA0003487914600000051
Figure FDA0003487914600000052
Figure FDA0003487914600000053
公式(4)中，
Figure FDA0003487914600000054
表示第l层图卷积神经网络在位置j的注意力分数，
Figure FDA0003487914600000055
表示第l-1层的图卷积神经网络在位置j上的输出词向量，Aij表示词语i、j之间的依赖关系(若Aij＝1则表示词语i、j之间存在依赖，若Aij＝0则表示词语i、j之间不存在依赖)，
Figure FDA0003487914600000056
表示第l层图卷积神经网络中存在依赖的词语之间的注意力分数，
Figure FDA0003487914600000057
表示基于注意力结果的依赖权重，
Figure FDA0003487914600000058
表示输入句子中词语i的邻接词集合，k表示第k个邻接词，
Figure FDA0003487914600000059
表示图卷积模块的输出结果，
Figure FDA00034879146000000510
表示第L层图卷积网络在位置i的输出词向量，Wl和bl表示训练参数。
10.如权利要求5所述的一种基于循环注意力的方面级情感分析方法，其特征在于，所述S6中，注意力操作公式如下：
Figure FDA00034879146000000511
公式(5)中，
Figure FDA00034879146000000512
表示位置t上的词在第L层图卷积网络输出结果指导下产生的注意力分数，
Figure FDA00034879146000000513
表示位置i上的词在第L层图卷积网络的注意力分数，
Figure FDA00034879146000000514
表示位置i上的具有上下文关系的词语编码向量，
Figure FDA00034879146000000515
表示归一化的注意力分数，rl表示第L层图卷积网络指导产生的注意力结果，
Figure FDA00034879146000000516
表示第L层图卷积网络在位置i的输出词向量，
Figure FDA00034879146000000517
是上下文编码模块在位置t的输出向量；
将每层图卷积网络输出的注意力结果拼接构成语义特征z＝[r1,…,rl]，rl表示第L层图卷积网络指导产生的注意力结果。
CN202210088035.XA 2022-01-25 2022-01-25 一种基于循环注意力的方面级情感分析系统和方法 Pending CN114429122A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210088035.XA CN114429122A (zh) 2022-01-25 2022-01-25 一种基于循环注意力的方面级情感分析系统和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210088035.XA CN114429122A (zh) 2022-01-25 2022-01-25 一种基于循环注意力的方面级情感分析系统和方法

Publications (1)

Publication Number Publication Date
CN114429122A true CN114429122A (zh) 2022-05-03

Family

ID=81313669

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210088035.XA Pending CN114429122A (zh) 2022-01-25 2022-01-25 一种基于循环注意力的方面级情感分析系统和方法

Country Status (1)

Country Link
CN (1) CN114429122A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115858791A (zh) * 2023-02-17 2023-03-28 成都信息工程大学 短文本分类方法、装置、电子设备和存储介质
CN115936077A (zh) * 2022-12-30 2023-04-07 湖北工业大学 基于依赖树的方面级情感分析交互卷积网络
CN116308754A (zh) * 2023-03-22 2023-06-23 广州信瑞泰信息科技有限公司 一种银行信贷风险预警系统及其方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115936077A (zh) * 2022-12-30 2023-04-07 湖北工业大学 基于依赖树的方面级情感分析交互卷积网络
CN115936077B (zh) * 2022-12-30 2023-09-15 湖北工业大学 基于依赖树的方面级情感分析交互卷积网络
CN115858791A (zh) * 2023-02-17 2023-03-28 成都信息工程大学 短文本分类方法、装置、电子设备和存储介质
CN115858791B (zh) * 2023-02-17 2023-09-15 成都信息工程大学 短文本分类方法、装置、电子设备和存储介质
CN116308754A (zh) * 2023-03-22 2023-06-23 广州信瑞泰信息科技有限公司 一种银行信贷风险预警系统及其方法
CN116308754B (zh) * 2023-03-22 2024-02-13 广州信瑞泰信息科技有限公司 一种银行信贷风险预警系统及其方法

Similar Documents

Publication Publication Date Title
CN110348016B (zh) 基于句子关联注意力机制的文本摘要生成方法
CN109614471B (zh) 一种基于生成式对抗网络的开放式问题自动生成方法
CN114429122A (zh) 一种基于循环注意力的方面级情感分析系统和方法
CN108363690A (zh) 基于神经网络的对话语义意图预测方法及学习训练方法
CN109214006B (zh) 图像增强的层次化语义表示的自然语言推理方法
CN104598611B (zh) 对搜索条目进行排序的方法及系统
CN112667818B (zh) 融合gcn与多粒度注意力的用户评论情感分析方法及系统
CN112000772B (zh) 面向智能问答基于语义特征立方体的句子对语义匹配方法
CN111858944A (zh) 一种基于注意力机制的实体方面级情感分析方法
CN112579778A (zh) 基于多层次的特征注意力的方面级情感分类方法
CN115048447B (zh) 一种基于智能语义补全的数据库自然语言接口系统
CN112199504B (zh) 一种融合外部知识与交互注意力机制的视角级文本情感分类方法及系统
CN112926322A (zh) 融合自注意力机制和深度学习的文本分类方法及系统
CN112115687A (zh) 一种结合知识库中的三元组和实体类型的生成问题方法
CN114692602A (zh) 一种句法信息注意力引导的图卷积网络关系抽取方法
CN112527966A (zh) 基于Bi-GRU神经网络和自注意力机制的网络文本情感分析方法
CN114528398A (zh) 一种基于交互双重图卷积网络的情感预测方法及系统
CN114528898A (zh) 基于自然语言命令的场景图修改
CN111914556A (zh) 基于情感语义转移图谱的情感引导方法及系统
CN114692605A (zh) 一种融合句法结构信息的关键词生成方法及装置
CN111145914B (zh) 一种确定肺癌临床病种库文本实体的方法及装置
CN114168707A (zh) 一种面向推荐的情绪型对话方法
CN113920379A (zh) 一种基于知识辅助的零样本图像分类方法
CN114036934A (zh) 一种中文医学实体关系联合抽取方法和系统
CN113111190A (zh) 一种知识驱动的对话生成方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination