CN112861522A - 基于双重注意力机制的方面级情感分析方法、系统及模型 - Google Patents
基于双重注意力机制的方面级情感分析方法、系统及模型 Download PDFInfo
- Publication number
- CN112861522A CN112861522A CN202110137190.1A CN202110137190A CN112861522A CN 112861522 A CN112861522 A CN 112861522A CN 202110137190 A CN202110137190 A CN 202110137190A CN 112861522 A CN112861522 A CN 112861522A
- Authority
- CN
- China
- Prior art keywords
- vector
- attention weight
- text
- vectors
- hidden
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000007246 mechanism Effects 0.000 title claims abstract description 22
- 238000004458 analytical method Methods 0.000 title claims description 28
- 230000009977 dual effect Effects 0.000 title claims description 15
- 230000008451 emotion Effects 0.000 title abstract description 23
- 239000013598 vector Substances 0.000 claims abstract description 262
- 238000000034 method Methods 0.000 claims abstract description 47
- 238000013507 mapping Methods 0.000 claims abstract description 7
- 239000011159 matrix material Substances 0.000 claims description 12
- 238000011176 pooling Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 8
- 239000002131 composite material Substances 0.000 claims description 3
- 230000006870 function Effects 0.000 abstract description 14
- 238000003058 natural language processing Methods 0.000 abstract description 5
- 239000010410 layer Substances 0.000 description 44
- 238000013527 convolutional neural network Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 11
- 238000004590 computer program Methods 0.000 description 7
- 230000002996 emotional effect Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 230000007547 defect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000002301 combined effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/237—Lexical tools
- G06F40/247—Thesauruses; Synonyms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Databases & Information Systems (AREA)
- Machine Translation (AREA)
Abstract
本发明实施例提供一种基于双重注意力机制的方面级情感分析方法、系统及模型，属于自然语言处理技术领域。所述方法包括：获取待识别的文本；将文本映射成低维空间的连续词向量；获取前向隐藏向量和后向隐藏向量；拼接前向隐藏向量和后向隐藏向量以得到隐藏向量；获取隐藏向量的外部注意力权重；获取隐藏向量的内部注意力权重；根据外部注意力权重和内部注意力权重得到综合注意力权重；确定第一向量；从第一向量中选择综合注意力权重较大向量以得到第二向量；对第二向量执行卷积运算得到第三向量；从第三向量中选择值最大的向量以得到第四向量；采用softmax函数计算文本被分类至每个类别的概率；选择概率最大的类别作为文本的分类结果。
Description
技术领域
本发明涉及自然语言处理技术领域，具体地涉及一种基于双重注意力机制的方面级情感分析方法、系统及模型。
背景技术
情感分析是自然语言处理的一个子领域，在现实生活中有着非常广泛的应用场景。例如企业可以对淘宝商品评价、饿了么外卖评价等进行情感分析，判断其中蕴含的情感倾向，从而更好地洞悉用户需求，推动产品更新迭代。方面级别情感分析是一种细粒度的情感分析任务，旨在分析文本针对不同方面的情感极性。例如在“Staffs are not thatfriendly,but the taste covers all”这句评论中，对于方面词“service”，句子表现出消极的情感极性。而对于方面词“food”，句子表现出积极的情感极性。其中，“service”和“food”都是预定义的方面类别。通过方面级别情感分析，我们可以挖掘产品在各个维度的优劣，进一步明确如何改进产品。
方面级别情感分析本质上属于NLP领域的分类问题。传统的方法首先会定义情感词典、语法规则等一系列特征，然后采用SVM、朴素贝叶斯等机器学习算法进行分类。这种方法虽然在特定领域有良好的表现，但是往往需要耗费大量的人工成本。
近年来，深度学习的方法在该领域的应用日益广泛。这类方法首先通过词向量技术将句子转换成稠密的向量，在输入到LSTM、CNN等神经网络中进行分类。与传统的情感分析任务不同的是，方面级别情感分析任务不仅需要考虑句子上下文的信息，如何将方面词的信息融合到模型结构中也是人们研究的重点。ATAE-LSTM先将方面词向量和句子词向量组合作为LSTM的输入，再通过注意力机制给上下文单词赋予不同的权重，然后输入到softmax函数中分类，取得了不错的效果。Yi等人认为简单的拼接会增加模型的参数成本和训练难度，因此提出在LSTM层后接入方面词-文本融合层，首先对方面词和上下文之间的关系进行建模，然后使注意力层专注于学习经过融合后的上下文的相对重要性。CNN能有效提取句子局部特征，具有训练速度快和权值共享等优点。Xue等提出了一种基于CNN和门控机制的方面级别情感分析模型，设计了GTRU门控单元有选择地提取相关信息。
但现有的深度学习方法也有以下问题：
第一，现有的方法在特征表示上一般采用glove或word2vec对句子和方面词进行词向量编码，这种方式训练的词向量均为静态词向量，无法解决一词多义等问题。
第二，传统方法多考虑单一层面注意力信息，即只考虑句子内部之间单词的关系或方面词与句子之间的关系，不能挖掘深层的注意力信息。
第三，CNN类模型无法获取上下文信息而RNN类序列模型存在训练时间过长且单词间的依赖程度随着距离增加而逐渐减弱的特点。以往的方法并没有将两者的优势很好地结合起来。
发明内容
本发明实施例的目的是提供一种基于双重注意力机制的方面级情感分析方法、系统及模型，该方法、系统及模型能够克服现有技术中自然语言处理存在的缺陷。
为了实现上述目的，本发明实施例提供一种基于双重注意力机制的方面级情感分析方法，所述方法包括：
获取待识别的文本；
将所述文本中的每个单词映射成低维空间的连续词向量；
根据所述连续词向量获取前向隐藏向量和后向隐藏向量；
拼接所述前向隐藏向量和后向隐藏向量以得到隐藏向量；
获取所述隐藏向量的外部注意力权重；
获取所述隐藏向量的内部注意力权重；
根据所述外部注意力权重和所述内部注意力权重得到综合注意力权重；
根据所述综合注意力权重和所述隐藏向量确定第一向量；
按从大到小的原则从所述第一向量中选择所述综合注意力权重较大的前预定数量个向量以得到第二向量；
对所述第二向量执行卷积运算以得到第三向量；
从所述第三向量中选择值最大的向量以得到第四向量；
采用softmax函数根据所述第四向量计算所述文本被分类至每个类别的概率；
选择概率最大的类别作为所述文本的分类结果。
可选地，所述连续词向量包括上下文词向量和方面词向量；
将所述文本中的每个单词映射成低维空间的连续词向量具体包括：
确定文本分类的侧重点；
采用BERT模型处理所述文本和所述侧重点以得到所述上下文词向量和所述方面词向量；
根据所述连续词向量获取前向隐藏向量和后向隐藏向量具体包括：
采用Bi-GRU层处理所述上下文词向量以得到所述前向隐藏向量和所述后向隐藏向量。
可选地，获取所述隐藏向量的外部注意力权重具体包括：
根据公式(1)计算所述外部注意力权重，
其中，αout为所述外部注意力权重，hs T为所述隐藏向量的转置，V为所述方面词向量，dw为所述隐藏向量的词向量的维度。
可选地，获取所述隐藏向量的内部注意力权重具体包括：
根据公式(2)和公式(3)计算所述内部注意力权重，
u＝tanh(whs+b)， (2)
αin＝softmax(uTuw)， (3)
其中，αin为所述内部注意力权重，hs为所述隐藏向量，b为预设的偏置值，uT为参数矩阵u的转置，w、u、uw为参数矩阵。
可选地，根据所述外部注意力权重和所述内部注意力权重得到综合注意力权重具体包括：
根据公式(4)计算所述综合注意力权重，
α＝αout+αin， (4)
其中，α为所述综合注意力权重，αout为所述外部注意力权重，αin为所述内部注意力权重。
可选地，根据所述综合注意力权重和所述隐藏向量确定第一向量具体包括：
根据公式(5)确定所述第一向量，
s＝αhs， (5)
其中，s为所述第一向量，α为所述综合注意力权重，hs为所述隐藏向量。
可选地，采用softmax函数根据所述第四向量计算所述文本被分类至每个类别的概率包括：
根据公式(6)和公式(7)计算所述概率，
β＝w′r+b′， (6)
其中，r为所述第三向量，w′为参数矩阵，b′为偏置项，βi为向量β中的一个第i个行向量，C为向量β的行向量的数量。
另一方面，本发明还通过一种基于双重注意力机制的方面级情感分析模型，所述模型包括：
词嵌入层，用于：
获取待识别的文本；
将所述文本中的每个单词映射成低维空间的连续词向量；
Bi-GRU层，用于：
根据所述连续词向量获取前向隐藏向量和后向隐藏向量；
拼接所述前向隐藏向量和后向隐藏向量以得到隐藏向量；
双重注意力层，用于：
获取所述隐藏向量的外部注意力权重；
获取所述隐藏向量的内部注意力权重；
根据所述外部注意力权重和所述内部注意力权重得到综合注意力权重；
根据所述综合注意力权重和所述隐藏向量确定第一向量；
K-Max池化层，用于：
按从大到小的原则从所述第一向量中选择所述综合注意力权重较大的前预定数量个向量以得到第二向量；
CNN层，用于：
对所述第二向量执行卷积运算以得到第三向量；
从所述第二向量中选择值最大的向量以得到第三向量；
输出层，用于：
采用softmax函数根据所述第三向量计算所述文本被分类至每个类别的概率；
选择概率最大的类别作为所述文本的分类结果。
再一方面，本发明还提供一种基于双重注意力机制的方面级情感分析系统，所述系统包括处理器，所述处理器用于执行如上述任一所述的方法。
再一方面，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有指令，所述指令用于被机器读取以使得所述机器执行如上述任一所述的方法。
通过上述技术方案，本发明提供的基于双重注意力机制的方面级情感分析方法、系统及模型首先提取前向隐藏向量和后向隐藏向量以得到文本的全局特征，再采用双重注意力机制强化该全局特征，给重要程度不同的单词赋予不同的权重，然后提取文本的局部特征，最后基于得到的特征向量确定该文本对应的类别，从而实现文本信息的深层次抽取，克服了现有技术中注意力单一且特征提取忽略全局信息或局部信息的技术缺陷，提高了文本分类的准确率。
本发明实施例的其它特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明实施例，但并不构成对本发明实施例的限制。在附图中：
图1是根据本发明的一个实施方式的基于双重注意力机制的方面级情感分析方法的流程图；
图2是本发明的一个实施方式的基于双重注意力机制的方面级情感分析模型的工作示意图。
具体实施方式
以下结合附图对本发明实施例的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明实施例，并不用于限制本发明实施例。
如图1所示是根据本发明的一个实施方式的基于双重注意力机制的方面级情感分析方法的流程图。在图1中，该方法可以包括：
在步骤S10中，获取待识别的文本。由于文本在分类是需要确定分类的侧重点，即对应的类别。因此，在该步骤S10中，在获取待识别的文本时，也可以同时获取待分类的类别，即方面词。
在步骤S11中，将文本中的每个单词映射成低维空间的连续词向量。具体地，在该步骤S11中，可以是采用BERT模型来处理该文本。同时，由于在步骤S10中待识别的文本可以包括文本本身以及待分类的类别(方面词)，那么在经过BERT模型处理后，所得到的连续词向量也可以包括通过文本本身得到的上下文词向量
和通过方面词得到的方面词向量
其中，dw为单个词向量的维度。
在步骤S12中，根据连续词向量获取前向隐藏向量和后向隐藏向量。
在步骤S13中，拼接前向隐藏向量和后向隐藏向量以得到隐藏向量。
在该实施方式中，发明人考虑到要实现文本的精确分类，就必须综合考虑文本整体的语义，也就是必须结合文本中所有的单词。因此在步骤S12至步骤S13中，发明人首先分别按照连续词向量(上下文词向量)从前到后和从后到前的顺序分别得到对应的前向隐藏向量和后向隐藏向量，从而从不同的方向上实现文本语义的解析。然后，再执行步骤S13中拼接两者的操作，从而实现两个方向的隐藏向量的结合(隐藏向量)。具体地，则可以是采用Bi-GRU层处理上下文词向量以得到前向隐藏向量和后向隐藏向量。更具体的，可以是将上下文词向量E(矩阵)输入到Bi-GRU层中。Bi-GRU层的前向GRU单元按从前到后的顺序产生前向隐藏向量
而Bi-GRU层的前向GRU单元按从后到前的顺序产生后向隐藏向量
最后，将输出的前向隐藏向量
和后向隐藏向量
连接(拼接)起来，得到隐藏向量hs。在该实施方式中，上述过程也可以采用公式(1)至公式(3)来表示，
在步骤S14中，获取隐藏向量的外部注意力权重。
在该实施方式中，发明人考虑到在待识别的文本中，如果文本中存在两个或以上的相关特征，预设的方面词的不同则会导致待识别的文本中的各个单词的分类权重也会不同。以文本“Staffs are friendly,but the taste is bad”为例，“friendly”是用来形容“Staffs”的，而“bad”则是用来形容食物的“taste”的。在方面词为服务的优劣而言，前者“friendly”的权重很明显要大于后者“bad”；而在方面词为食物的口味优劣而言，前者“friendly”的权重很明显要小于后者“bad”。因此，需要设置外部注意力权重来给不同的单词设置不同的权重，从而针对方面词给出精准的分类。具体地，该外部注意力权重可以采用公式(4)来计算，
其中，αout为外部注意力权重，hs T为隐藏向量的转置，V为方面词向量，dw为隐藏向量的词向量的维度。
在步骤S15中，获取隐藏向量的内部注意力权重。
在该实施方式中，发明人考虑到要实现对文本语义的识别分类，最基础的是需要获取对文本语义影响最大的单词。以文本“The place is so cool”为例，在该文本中，“cool”最能直接表示情感倾向，需要给予较大的权重，而其余的单词由于不能直接表示情感倾向，则可以给予较小的权重。因此，在该步骤S15中，可以通过计算内部注意力权重，赋予文本中每个单词对应的权重，最终通过权重的比较来获取每个单词的语义表达的重要性。具体地，可以是首先将隐藏向量s输入到一个单层的感知机中，得到向量u作为s的隐层表示。再针对衡量每个单词的重要性，用向量u和一个随机初始化的上下文向量uw的相似度来计算，然后经过softmax函数操作获得归一化的内部注意力权重。在该实施方式中，该过程也可以采用公式(5)和公式(6)来表示，
u＝tanh(whs+b)， (5)
αin＝softmax(uTuw)， (6)
其中，αin为内部注意力权重，hs为隐藏向量，b为预设的偏置值，uT为参数矩阵u的转置，w、u、uw为参数矩阵。
在步骤S16中，根据外部注意力权重和内部注意力权重得到综合注意力权重。
在步骤S17中，根据综合注意力权重和隐藏向量确定第一向量。
具体地，在该实施方式中，步骤S16至步骤S17也可以采用公式(7)和公式(8)来表示，
α＝αout+αin， (7)
其中，α为综合注意力权重，αout为外部注意力权重，αin为内部注意力权重；
s＝αhs， (8)
其中，s为第一向量，α为综合注意力权重，hs为隐藏向量。
在步骤S18中，按从大到小的原则从第一向量中选择综合注意力权重较大的前预定数量个向量以得到第二向量。
在步骤S19中，对第二向量执行卷积运算以得到第三向量。
在步骤S20中，按从大到小的原则从第三向量中选择值最大的向量以得到第四向量。
在步骤S21中，采用softmax函数根据第四向量计算文本被分类至每个类别的概率。
在该实施方式中，卷积运算是在使用一个预定大小的滤波器在待计算的向量(矩阵)中滑动，选择当前计算的向量(子矩阵)并执行一次卷积运算。在选取完所有的子矩阵后，表示卷积运算完成。因此，待计算的向量的维度大小直接决定了卷积运算的复杂度。由于本发明最终要得到的是文本属于哪个类别，而决定文本属于哪个类别的因素是文本中权重较大的几个关键词，因此只需要对这些关键词进行计算就足以得到分类结果。对于其余的权重较小的关键词一方面可以不进行计算，另一方面如果进行计算，则会导致卷积运算以及后续相关的计算的复杂度和计算量大大增加。因此，在步骤S18中，在执行计算卷积运算前，先按从大到小的原则从第一向量中选择综合注意力权重较大的前预定数量个向量以得到第二向量，从而减少了待计算的向量的维度。同样地，在步骤S20中，为了减少softmax函数的运算量，也可以直接从第三向量中选择值最大的向量以得到第四向量。至于上述预定数量个的具体数值，则可以是本领域人员针对文本分类的精度来区分。在发明人多次的实验中，当该预定数量为8时，分类的精度和运算量的综合效果最佳。具体地，在步骤S18中，可以采用K-Max池化层来执行。而在步骤S19至步骤S21中，则可以采用包括输入层、卷积层和池化层的CNN层来执行。更具体地，在该CNN层中，输入层可以用于接收K-Max池化层的输出，卷积层可以执行相应的卷积运算，池化层则可以用于对卷积运算的结果作进一步的池化操作(步骤S21)。
在步骤S21中，softmax函数预置于全连接层，因此该步骤S21即为输入全连接层。具体地，该计算概率的过程可以采用公式(9)和公式(10)来计算，
β＝w′r+b′， (9)
其中，r为第三向量，w′为参数矩阵，b′为偏置项，βi为向量β中的一个第i个行向量，C为向量β的行向量的数量。
在步骤S22中，选择概率最大的类别作为文本的分类结果。
另一方面，本发明还通过一种基于双重注意力机制的方面级情感分析模型，如图2所示，该模型可以包括词嵌入层(Embedding layer)、Bi-GRU层(Bi-GRU layer)、K-Max层(K-Max Pooling layer)、CNN层(CNN layer)以及输出层(Outputlayer)。
具体地，词嵌入层可以用于获取待识别的文本，并将文本中的每个单词映射成低维空间的连续词向量(Sentence、Aspect)；Bi-GRU层可以用于根据连续词向量获取前向隐藏向量和后向隐藏向量，并拼接前向隐藏向量和后向隐藏向量以得到隐藏向量；双重注意力层可以用于获取隐藏向量的外部注意力权重(Attention)并获取隐藏向量的内部注意力权重(Self-Attention)，并根据外部注意力权重和内部注意力权重得到综合注意力权重；再根据综合注意力权重和隐藏向量确定第一向量；K-Max池化层可以用于按从大到小的原则从第一向量中选择综合注意力权重较大的前预定数量个向量以得到第二向量(Convolution)；CNN层可以用于对第二向量执行卷积运算以得到第三向量，并直接从第二向量中选择值最大的向量以得到第三向量；输出层可以用于采用softmax函数根据第三向量计算文本被分类至每个类别的概率，并选择概率最大的类别作为文本的分类结果(Sentiment)。至于各个层的具体工作方式，在前文所述的方法中已经详细解释，故此处不再赘述。
再一方面，本发明还提供一种基于双重注意力机制的方面级情感分析系统，所述系统包括处理器，所述处理器用于执行如上述任一所述的方法。
再一方面，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有指令，所述指令用于被机器读取以使得所述机器执行如上述任一所述的方法。
通过上述技术方案，本发明提供的基于双重注意力机制的方面级情感分析方法、系统及模型首先提取前向隐藏向量和后向隐藏向量以得到文本的全局特征，再采用双重注意力机制强化该全局特征，给重要程度不同的单词赋予不同的权重，然后提取文本的局部特征，最后基于得到的特征向量确定该文本对应的类别，从而实现文本信息的深层次抽取，克服了现有技术中注意力单一且特征提取忽略全局信息或局部信息的技术缺陷，提高了文本分类的准确率。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
为了进一步验证本发明提供的方法的技术效果，在本发明的一个实施例中，可以采用国际语义评测大赛SemEval 2014的restaurant数据集对现有技术中的五种方面情感分析模型以及本发明提供的方法的技术效果进行测试。
该数据集一共包含3518条评论，每条评论包含一系列方面词和对应情感类别。其中的评论例如“They are often crowded on the weekends but they are efficientand accurate with their service。”，对应的方面词为“service”和“ambience”。对于“service”来说，情感倾向为“positve”；对于“ambience”来说，情感倾向为“negative”。
现有技术中的方面情感分析模型包括：
1、Bi-LSTM：即双向循环神经网络，不考虑方面词信息，直接将前后两个隐藏向量拼接后作为句子表示，输入到softmax分类器中。
2、Bi-GRU：将Bi-LSTM中的LSTM单元换成了GRU。
3、AT-LSTM：由Wang等人提出，首先通过LSTM对文本上下文建模，然后将隐藏向量和方面词向量连接后输入到注意力网络中，再由注意力向量输入到softmax中进行分类。
4、ATAE-LSTM：在AT-LSTM基础之上将方面词向量和上下文词向量拼接后作为模型的输入，进一步加强方面词和上下文的交互。
5、AF-LSTM：相对于ATAE-LSTM模型，最大的不同就是增加了一个word-aspect融合层，代替了原来的直接拼接的操作。
采用上述五种方面情感分析模型以及本发明提供的方法(BG-DATT-CNN)对上述数据集进行分类，其分类结果的准确率如表1所示：
表1
从表1中可以看出，本申请提供的方法(BG-DATT-CNN)的准确率明显高于现有技术中的其他模型。
以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。
Claims (10)
1.一种基于双重注意力机制的方面级情感分析方法，其特征在于，所述方法包括：
获取待识别的文本；
将所述文本中的每个单词映射成低维空间的连续词向量；
根据所述连续词向量获取前向隐藏向量和后向隐藏向量；
拼接所述前向隐藏向量和后向隐藏向量以得到隐藏向量；
获取所述隐藏向量的外部注意力权重；
获取所述隐藏向量的内部注意力权重；
根据所述外部注意力权重和所述内部注意力权重得到综合注意力权重；
根据所述综合注意力权重和所述隐藏向量确定第一向量；
按从大到小的原则从所述第一向量中选择所述综合注意力权重较大的前预定数量个向量以得到第二向量；
对所述第二向量执行卷积运算以得到第三向量；
从所述第三向量中选择值最大的向量以得到第四向量；
采用softmax函数根据所述第四向量计算所述文本被分类至每个类别的概率；
选择概率最大的类别作为所述文本的分类结果。
2.根据权利要求1所述的方法，其特征在于，所述连续词向量包括上下文词向量和方面词向量；
将所述文本中的每个单词映射成低维空间的连续词向量具体包括：
确定文本分类的侧重点；
采用BERT模型处理所述文本和所述侧重点以得到所述上下文词向量和所述方面词向量；
根据所述连续词向量获取前向隐藏向量和后向隐藏向量具体包括：
采用Bi-GRU层处理所述上下文词向量以得到所述前向隐藏向量和所述后向隐藏向量。
3.根据权利要求1所述的方法，其特征在于，获取所述隐藏向量的外部注意力权重具体包括：
根据公式(1)计算所述外部注意力权重，
其中，αout为所述外部注意力权重，hs T为所述隐藏向量的转置，V为所述方面词向量，dw为所述隐藏向量的词向量的维度。
4.根据权利要求1所述的方法，其特征在于，获取所述隐藏向量的内部注意力权重具体包括：
根据公式(2)和公式(3)计算所述内部注意力权重，
u＝tanh(whs+b)， (2)
αin＝softmax(uTuw)， (3)
其中，αin为所述内部注意力权重，hs为所述隐藏向量，b为预设的偏置值，uT为参数矩阵u的转置，w、u、uw为参数矩阵。
5.根据权利要求1所述的方法，其特征在于，根据所述外部注意力权重和所述内部注意力权重得到综合注意力权重具体包括：
根据公式(4)计算所述综合注意力权重，
α＝αout+αin， (4)
其中，α为所述综合注意力权重，αout为所述外部注意力权重，αin为所述内部注意力权重。
6.根据权利要求1所述的方法，其特征在于，根据所述综合注意力权重和所述隐藏向量确定第一向量具体包括：
根据公式(5)确定所述第一向量，
s＝αhs， (5)
其中，s为所述第一向量，α为所述综合注意力权重，hs为所述隐藏向量。
7.根据权利要求1所述的方法，其特征在于，采用softmax函数根据所述第四向量计算所述文本被分类至每个类别的概率包括：
根据公式(6)和公式(7)计算所述概率，
β＝w′r+b′， (6)
其中，r为所述第三向量，w′为参数矩阵，b′为偏置项，βi为向量β中的一个第i个行向量，C为向量β的行向量的数量。
8.一种基于双重注意力机制的方面级情感分析模型，其特征在于，所述模型包括：
词嵌入层，用于：
获取待识别的文本；
将所述文本中的每个单词映射成低维空间的连续词向量；
Bi-GRU层，用于：
根据所述连续词向量获取前向隐藏向量和后向隐藏向量；
拼接所述前向隐藏向量和后向隐藏向量以得到隐藏向量；
双重注意力层，用于：
获取所述隐藏向量的外部注意力权重；
获取所述隐藏向量的内部注意力权重；
根据所述外部注意力权重和所述内部注意力权重得到综合注意力权重；
根据所述综合注意力权重和所述隐藏向量确定第一向量；
K-Max池化层，用于：
按从大到小的原则从所述第一向量中选择所述综合注意力权重较大的前预定数量个向量以得到第二向量；
CNN层，用于：
对所述第二向量执行卷积运算以得到第三向量；
从所述第三向量中选择值最大的向量以得到第四向量；
输出层，用于：
采用softmax函数根据所述第四向量计算所述文本被分类至每个类别的概率；
选择概率最大的类别作为所述文本的分类结果。
9.一种基于双重注意力机制的方面级情感分析系统，其特征在于，所述系统包括处理器，所述处理器用于执行如权利要求1至7任一所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有指令，所述指令用于被机器读取以使得所述机器执行如权利要求1至7任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110137190.1A CN112861522B (zh) | 2021-02-01 | 2021-02-01 | 基于双重注意力机制的方面级情感分析方法、系统及模型 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110137190.1A CN112861522B (zh) | 2021-02-01 | 2021-02-01 | 基于双重注意力机制的方面级情感分析方法、系统及模型 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112861522A true CN112861522A (zh) | 2021-05-28 |
| CN112861522B CN112861522B (zh) | 2023-12-29 |
Family
ID=75986986
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110137190.1A Active CN112861522B (zh) | 2021-02-01 | 2021-02-01 | 基于双重注意力机制的方面级情感分析方法、系统及模型 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112861522B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112527966A (zh) * | 2020-12-18 | 2021-03-19 | 重庆邮电大学 | 基于Bi-GRU神经网络和自注意力机制的网络文本情感分析方法 |
| CN113361617A (zh) * | 2021-06-15 | 2021-09-07 | 西南交通大学 | 基于多元注意力修正的方面级情感分析建模方法 |
| CN113378545A (zh) * | 2021-06-08 | 2021-09-10 | 北京邮电大学 | 一种方面级情感分析方法、装置、电子设备及存储介质 |
| CN113793187A (zh) * | 2021-09-24 | 2021-12-14 | 福州大学 | 基于实例权重平衡和双重注意力的点击率预测方法及系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108170681A (zh) * | 2018-01-15 | 2018-06-15 | 中南大学 | 文本情感分析方法、系统及计算机可读存储介质 |
| CN111680159A (zh) * | 2020-06-11 | 2020-09-18 | 华东交通大学 | 数据处理方法、装置及电子设备 |
| US20200356724A1 (en) * | 2019-05-06 | 2020-11-12 | University Of Electronic Science And Technology Of China | Multi-hop attention and depth model, method, storage medium and terminal for classification of target sentiments |
-
2021
- 2021-02-01 CN CN202110137190.1A patent/CN112861522B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108170681A (zh) * | 2018-01-15 | 2018-06-15 | 中南大学 | 文本情感分析方法、系统及计算机可读存储介质 |
| US20200356724A1 (en) * | 2019-05-06 | 2020-11-12 | University Of Electronic Science And Technology Of China | Multi-hop attention and depth model, method, storage medium and terminal for classification of target sentiments |
| CN111680159A (zh) * | 2020-06-11 | 2020-09-18 | 华东交通大学 | 数据处理方法、装置及电子设备 |
Non-Patent Citations (1)
| Title |
|---|
| 杨玉亭;冯林;代磊超;苏菡;: "面向上下文注意力联合学习网络的方面级情感分类模型", 模式识别与人工智能, no. 08 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112527966A (zh) * | 2020-12-18 | 2021-03-19 | 重庆邮电大学 | 基于Bi-GRU神经网络和自注意力机制的网络文本情感分析方法 |
| CN112527966B (zh) * | 2020-12-18 | 2022-09-20 | 重庆邮电大学 | 基于Bi-GRU神经网络和自注意力机制的网络文本情感分析方法 |
| CN113378545A (zh) * | 2021-06-08 | 2021-09-10 | 北京邮电大学 | 一种方面级情感分析方法、装置、电子设备及存储介质 |
| CN113378545B (zh) * | 2021-06-08 | 2022-02-11 | 北京邮电大学 | 一种方面级情感分析方法、装置、电子设备及存储介质 |
| CN113361617A (zh) * | 2021-06-15 | 2021-09-07 | 西南交通大学 | 基于多元注意力修正的方面级情感分析建模方法 |
| CN113793187A (zh) * | 2021-09-24 | 2021-12-14 | 福州大学 | 基于实例权重平衡和双重注意力的点击率预测方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112861522B (zh) | 2023-12-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107229610B (zh) | 一种情感数据的分析方法及装置 | |
| CN110826336B (zh) | 一种情感分类方法、系统、存储介质及设备 | |
| CN110619044B (zh) | 一种情感分析方法、系统、存储介质及设备 | |
| CN112861522A (zh) | 基于双重注意力机制的方面级情感分析方法、系统及模型 | |
| CN110209805B (zh) | 文本分类方法、装置、存储介质和计算机设备 | |
| CN112966074A (zh) | 一种情感分析方法、装置、电子设备以及存储介质 | |
| CN109766557B (zh) | 一种情感分析方法、装置、存储介质及终端设备 | |
| CN113254610B (zh) | 面向专利咨询的多轮对话生成方法 | |
| CN110232123B (zh) | 文本的情感分析方法及其装置、计算设备与可读介质 | |
| CN105930368A (zh) | 一种情感分类方法及系统 | |
| CN112749274B (zh) | 基于注意力机制和干扰词删除的中文文本分类方法 | |
| CN111461004A (zh) | 基于图注意力神经网络的事件检测方法、装置和电子设备 | |
| CN115269847A (zh) | 基于知识增强句法异构图的方面级情感分类方法 | |
| Christopoulou et al. | Distantly supervised relation extraction with sentence reconstruction and knowledge base priors | |
| CN115017916A (zh) | 方面级情感分析方法、装置、电子设备及存储介质 | |
| CN115860006A (zh) | 一种基于语义句法的方面级情感预测方法及装置 | |
| CN111611393A (zh) | 一种文本分类方法、装置及设备 | |
| CN108805260A (zh) | 一种图说生成方法及装置 | |
| CN116150367A (zh) | 一种基于方面的情感分析方法及系统 | |
| CN111259147A (zh) | 基于自适应注意力机制的句子级情感预测方法及系统 | |
| CN114676692A (zh) | 一种评论语句特定目标关键词情感分析方法及系统 | |
| Wakchaure et al. | A scheme of answer selection in community question answering using machine learning techniques | |
| CN116230146A (zh) | 数据处理方法、icd编码模型的训练方法及相关设备 | |
| CN115357711A (zh) | 一种方面级情感分析方法、装置、电子设备及存储介质 | |
| CN112256841B (zh) | 文本匹配和对抗文本识别方法、装置及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |