CN117077655A - 基于情感知识增强的方面级情感三元组提取方法及系统 - Google Patents
基于情感知识增强的方面级情感三元组提取方法及系统 Download PDFInfo
- Publication number
- CN117077655A CN117077655A CN202311099493.4A CN202311099493A CN117077655A CN 117077655 A CN117077655 A CN 117077655A CN 202311099493 A CN202311099493 A CN 202311099493A CN 117077655 A CN117077655 A CN 117077655A
- Authority
- CN
- China
- Prior art keywords
- emotion
- word
- dependency
- words
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 230000008451 emotion Effects 0.000 title claims abstract description 174
- 238000000034 method Methods 0.000 title claims description 54
- 238000000605 extraction Methods 0.000 claims abstract description 50
- 230000007246 mechanism Effects 0.000 claims abstract description 18
- 230000004927 fusion Effects 0.000 claims abstract description 14
- 238000004590 computer program Methods 0.000 claims description 14
- 239000011159 matrix material Substances 0.000 claims description 11
- 230000015654 memory Effects 0.000 claims description 10
- 238000003860 storage Methods 0.000 claims description 9
- 230000001419 dependent effect Effects 0.000 claims description 8
- 230000014509 gene expression Effects 0.000 claims description 6
- 108091026890 Coding region Proteins 0.000 claims description 5
- 238000013528 artificial neural network Methods 0.000 claims description 5
- 238000012512 characterization method Methods 0.000 claims description 5
- 230000002708 enhancing effect Effects 0.000 claims 1
- 230000010354 integration Effects 0.000 claims 1
- 238000002474 experimental method Methods 0.000 abstract description 13
- 238000004458 analytical method Methods 0.000 abstract description 8
- 230000000694 effects Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 238000002679 ablation Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000013459 approach Methods 0.000 description 4
- QQEHDZXXCDSAFE-JBSAMAPISA-N [(3s,8r,9s,10r,13s,14s,17r)-17-acetyl-6-chloro-3-hydroxy-10,13-dimethyl-1,2,3,8,9,11,12,14,15,16-decahydrocyclopenta[a]phenanthren-17-yl] acetate Chemical compound C1=C(Cl)C2=C[C@@H](O)CC[C@]2(C)[C@@H]2[C@@H]1[C@@H]1CC[C@@](C(C)=O)(OC(=O)C)[C@@]1(C)CC2 QQEHDZXXCDSAFE-JBSAMAPISA-N 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000002452 interceptive effect Effects 0.000 description 3
- 238000005065 mining Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000002996 emotional effect Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000007935 neutral effect Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 101100136092 Drosophila melanogaster peng gene Proteins 0.000 description 1
- 125000003275 alpha amino acid group Chemical group 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 208000022041 growing teratoma syndrome Diseases 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/205—Parsing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/12—Use of codes for handling textual entities
- G06F40/126—Character encoding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/284—Lexical analysis, e.g. tokenisation or collocates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
- G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Machine Translation (AREA)
Abstract
本发明属于情感分析领域，提供了一种基于情感知识增强的方面级情感三元组提取方法及系统，在编码层，利用POS编码和双编码获得每个单词的编码。在特征提取层，使用BiLSTM来捕获每个单词和上下文之间的关系，并使用基于情感常识知识的依赖图，获得方面词和上下文之间的情感依赖关系，提取每个单词所包含的特征。在特征融合层，使用了添加相对位置距离的注意力机制，使情感三元组中三个元素之间的句法和语义关系得到更充分地表达。在三元组提取层，使用了一个10标签的GTS来生成每条评论中针对每个方面项的情感三元组提取。将情感常识信息与LSTM模型的结合，通过实验证明了情感常识应用在情感分析上的有效性。
Description
技术领域
本发明属于情感分析领域，尤其涉及基于情感知识增强的方面级情感三元组提取方法及系统。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
为了能够更好地获得用户对于产品或服务的反馈，了解公众对于某件事物的看法，情感分析和意见挖掘已经成为自然语言处理领域中的一个热点研究领域。不同于之前预测一整句话情感极性的情感分析任务，基于方面的情感分析(Aspect Based SentimentAnalysis，ABSA)聚焦于评论中的每个方面，并分别预测它们的情感极性。方面级情感三元组提取(Aspect Sentiment Triplet Extraction，ATSE)是ABSA中的一个细粒度任务，每个情感三元组均由方面项、观点项和方面项的情感极性三部分组成。
目前情感三元组提取方法采用如下方法：
第一种方法为流水线方法，这种方法将ASTE任务拆分成不同的子任务。但这种方法导致了误差传播和信息流中断，所以在处理复杂关系时不能表现出良好的效果。
为了避免流水线方法的缺点，第二种方法，端到端方法被提出，例如采用标签的方法来挖掘不同三元组元素之间潜在的相互关系，采用多任务学习利用三种元素之间的交互作用，或利用区间处理多词实体以及方面术语和意见术语之间一对多、多对一的复杂关系。尽管这些方法取得了一定的效果，但它们并没有充分挖掘单词本身所包含的信息，以及单词之间存在的联系。
发明内容
为了解决上述背景技术中存在的至少一项技术问题，本发明提供基于情感知识增强的方面级情感三元组提取方法及系统，其应用了基于情感常识知识的依赖图，充分挖掘单词本身所包含的情感信息，提高了在情感极性预测方面的能力；应用了添加相对位置距离的注意力机制，使句子的上下文特征和依赖特征得到更加充分地学习。
为了实现上述目的，本发明采用如下技术方案：
本发明的第一方面提供基于情感知识增强的方面级情感三元组提取方法，包括如下步骤：
获取输入的评论序列，对其进行编码，得到文本的编码表示；
基于文本的编码表示对上下文信息进行编码，捕获每个单词和上下文之间的关系，并使用情感常识知识增强的依赖树，获得方面词和上下文之间的情感依赖关系，提取每个单词的上下文信息特征和情感依赖信息特征；
基于每个单词的上下文信息特征和情感依赖信息特征，在融合注意力层中，
添加相对位置距离的注意力机制，关注单词与其邻近单词之间的上下文信息和情感依赖信息，同时，在上下文信息特征和情感依赖信息特征进行融合时，将对应特征的权重和分别传递至彼此的表征中，得到融合后的特征；
将融合后的特征，采用统一标签的方法来对三元组进行提取，生成每条评论中针对每个方面项的情感三元组。
本发明的第二方面提供基于情感知识增强的方面级情感三元组提取系统，包括：
编码模块，其用于获取输入的评论序列，对其进行编码，得到文本的编码表示；
特征提取模块，其用于基于文本的编码表示对上下文信息进行编码，捕获每个单词和上下文之间的关系，并使用情感常识知识增强的依赖树，获得方面词和上下文之间的情感依赖关系，提取每个单词的上下文信息特征和情感依赖信息特征；
特征融合模块，其用于基于每个单词的上下文信息特征和情感依赖信息特征，在融合注意力层中，添加相对位置距离的注意力机制，关注单词与其邻近单词之间的上下文信息和情感依赖信息，同时，在上下文信息特征和情感依赖信息特征进行融合时，将对应特征的权重和分别传递至彼此的表征中，得到融合后的特征；
三元组提取模块，其用于将融合后的特征，采用统一标签的方法来对三元组进行提取，生成每条评论中针对每个方面项的情感三元组。
本发明的第三方面提供一种计算机可读存储介质。
一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面所述的基于情感知识增强的方面级情感三元组提取方法中的步骤。
本发明的第四个方面提供一种计算机设备。
一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面所述的基于情感知识增强的方面级情感三元组提取方法中的步骤。
与现有技术相比，本发明的有益效果是：
1、本发明通过挖掘单词本身的情感信息和单词间的句法依赖关系来提取更准确的方面情感三联体，采用了一种包含相对位置信息的注意机制，在提取情感三元组时，更关注到邻近的单词之间的上下文和情感依赖关系，提高了在情感极性预测方面的能力以及也使句子的句法和语义关系得到更充分的使用。
2、本发明利用十标签的网格标记方案取代六标签的网格标记方案，确保更精确地表示单词之间的关系。
本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1是本发明实施例提供的基于情感知识增强的方面级情感三元组提取方法整体框图；
图2是本发明实施例提供的六标签法和十标签法的对比。
具体实施方式
下面结合附图与实施例对本发明作进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
实施例一
如图1所示，本实施例提供了一种基于情感知识增强的方面级情感三元组提取方法，包括如下步骤:
步骤1：获取输入的评论序列，对其进行编码，得到文本的编码表示；
所述情感三元组提取模型包括编码层、特征提取层、特征融合层及三元组提取层四部分组成。
在编码层，利用POS编码和双编码获得每个单词的编码。
在特征提取层，使用BiLSTM(Grid Tagging Scheme)来捕获每个单词和上下文之间的关系，并使用基于情感常识知识的依赖图，获得方面词和上下文之间的情感依赖关系，提取每个单词所包含的特征。
在特征融合层，使用了添加相对位置距离的注意力机制，使情感三元组中三个元素之间的句法和语义关系得到更充分地表达。在三元组提取层，使用了一个10标签的GTS(Grid Tagging Scheme)，来生成每条评论中针对每个方面项的情感三元组提取。
编码层：
给定一条包含n个单词的评论序列R＝{w1,w2,…,wn}作为模型的输入，为了能够对充分利用每个单词的词义，包括不同单词的不同词义表示，和同一个单词在不同语境下的词义表示，使用了双词义的编码方式获得了单词编码序列其中dd代表的是双词义编码的维度。
本实施例中，POS编码会使用标签来表示单词在句子中语法类别，因此，在情感三元组提取模型中，使用了POS编码来获得所有单词的词性编码。
由于在情感分析的任务中，代词、连词、介词和感叹词，并不会对判断方面项的情感极性产生影响，所以在对POS进行分类时，将这个四种词性归为其他这一类。
将POS分为名词、动词、形容词、副词和其他五个部分，分别由pnoun，pverb，padj，padv和pothers来表示。得到的单词POS编码序列为dp代表的是POS编码的维度。
将单词的双词义编码和POS编码进行连接，获得了文本序列的编码表示E：
其中，并且d＝dp+dw。
特征提取层
在特征提取层中，首先要对上下文信息进行编码，获得上下文的单词表示。将词嵌入E输入到双向长短期记忆网络(BiLSTM)中，首先，长短期记忆网络(LSTM)学习前向隐藏状态以获得前向的上下文信息：
之后，通过学习E的后向隐藏状态获得后向的上下文信息：
最后，将对应位置的表示连接起来，获得了更高维的表示：
其中，dl代表着包含上下文信息的词嵌入的维度。
一个方面项的情感极性通常是由一个连续的短语而非一个单词决定的，卷积神经网络(CNN)在确定多个不相邻单词所表达的情绪中的表现并不好，而图卷积神经网络(GCN)具有多层结构，每层都会考虑邻近节点的特征，并融入更多的全局信息来更新节点的表示。依存树可以描述单词之间的依存关系，从而揭示了句子中单词之间的语法和语义关联。
在情感三元组提取模型中，把依赖树和图神经网络进行整合来表示学习，使上下文和依赖信息可以从观点项传递到方面项。
可以用一个n×n的邻接矩阵A来表示依赖树，其中Aij代表节点i是否和节点j之间是否存在依赖路径。如果Aij＝1，则表示节点i是否和节点j之间存在依赖路径，如果Aij＝0，则依赖路径不存在。
根据现有技术表明：使用无方向的依赖树的效果要好于有方向的依赖树的效果，因此，在本发明的情感三元组提取模型中，认为依赖路径是没有方向的，即Aij＝Aji。句子中的每个单词都被认为和它自己存在依赖关系，所以在邻接矩阵A中，对角线上的值都是1。
传统的情感三元组提取方法往往忽略了外部知识对于提高方面级情感三元组的优化作用，因此本发明使用情感知识库作为外部知识来丰富所提出的模型。情感常识知识的加入，可以将人工智能模型更好地与现实世界联系起来，让模型对人类语言有一个更加全面的理解。ConceptNet和SenticNet都是常用的用于理解和表示知识，尤其是与情感相关知识的情感常识库。SenticNet更专注于表示和分析词汇的情感表达，而ConceptNet则还包括一些通识知识。
SenticNet6在之前的SenticNet版本上，使用符号模型等方法进一步将知识库的大小扩展到了200000个单词和多词表达。所以，本实施例使用SenticNet6作为外部知识库，用来提高情感分类的准确性。表1对SenticNet6中的单词和这些单词的情感得分进行了一个简单的展示。
采用Sen_score(wi)来表示单词wi的情感分数，其中Sen_score(wi)∈[-1,1]，当SinticNet(wi)＝0时，代表该词并不在所使用的情感常识知识库中或者该词的情感极性为中性。
表1SenticNet中情感词及情感分数的展示
| 单词 | 情感得分 |
| celebrity | 0.993 |
| least | -0.84 |
| diss | -0.58 |
| lock | 0.076 |
采用两个单词的情感信息叠加作为这两个单词之间的情感信息表达，由此可以整合情感常识信息的邻接矩阵表达其中：
在式(1)中，同时包含了两个单词之间的依赖关系和情感信息。之后，将包含上下文信息的单词表示L和包含情感信息的邻接矩阵/>组成情感卷积图，并将该图输入到多层GCN模块中，经过多个图卷积层的堆叠，可以从不同距离的节点捕捉信息，进一步增强对上下文信息的理解。
第l层的节点更新如下所示：
在式(2)和式(3)中，Wl是一个可以在训练中更新的权重矩阵，表示的是从上一个GCN层演化而来的第j个节点的隐藏状态。di代表第i个节点的维度，bl是一个可以训练的偏移量，/>是当前GCN层的输出。/>是一个激活函数，本实施例中，使用ReLU作为激活函数。最终，我们获得包含情感依赖信息的单词表示：
特征融合层
本发明对传统的采用迭代方式的交互注意力机制进行改进，来对表征进行融合。在一个句子中，每个单词的先后顺序对于句子的语法和语义都有着一定的影响。
在自注意力机制中，要获得一个序列中每个词对序列中所有词的关注度，与绝对位置距离比较，相对位置距离可以对不同位置之间的距离关系进行利用。因此，本发明在自注意力机制中使用了相对位置距离，添加其他单词对于序列中某个词所在位置的距离信息。
在特征融合层的第k次迭代时，基于上下文和基于情感依赖关系的注意力分数分别表示为和/>计算过程如下：
其中，和/>的计算过程如下：
其中，dij代表的是两个不同的单词wi和wj之间的距离。
在注意力机制中，设置两个单词间的最大距离为rmax，当两个单词之间的距离超过rmax时，dij＝rmax。
此外，单词之间的距离是有方向的，根据单词之间的距离的值的正负性，得到两个单词之间的相对位置距离。
举例，对于一个句子序列{w1,w2,w3,w4,w5,…,wn}，w3与在其前方的单词w1和在其后方的单词w5之间均相聚两个单位长度，但我们认为d31为负向d35为正向，即d31≠d35。
此外，和/>分别代表在第k次迭代中，经过Bi-LSTM和GCN模块的表示。该注意力机制的初始输入为/>和/> 与/>融合，/>与/>融合，使得基于上下文的/>中包含了单词的情感依赖信息，基于情感依赖的/>中包含了单词的上下文信息。该过程表示如下：
最后，为了避免引入过多的噪声，我们将输出LS＝{ls1,ls2,…,lsn}作为本注意力机制的最终结果。
三元提取层
首先，将特征融合层获得的融合了每个单词上下文和情感依赖特征的编码放入一个注意力层，以使每个单词的特征表示得到增强。在该注意力层中，采用与特征融合层中同样的方法，添加了相对位置距离的信息。之后，应用GTS来对三元组进行提取。
GTS采用了一种统一标签的方法来对三元组进行提取，现有的方面级情感三元组提取方法证明了GTS的有效性。
但是原始的六标签GTS方法并不能有效地捕捉方面项和观点项的边界，所以采用了一种包含10个标签的GTS来取代之前的包含6个标签的方法。
新的十标签GTS在原有的{A,O,N,POS,NEU,NEG}中增加了{Ab,Ai,Ob,Oi}，Ab表示该单词是一个方面项的起始单词，Ai则表示对应的单词在方面项中。Ob和Oi分别表示该单词是一个意见项的开始或内部。
与原有的六标签GTS相同，十标签GTS使用标签N来表示两个单词之间没有任何关系。若两个单词属于同一个方面项，则使用符号A表示。若两个单词属于同一个观点项，使用符号O表示。情感标签{POS,NEU,NEG}一方面代表着对应的方面项的情感极性为积极、消极或中立，另一方面可以表示该位置所对应的方面项和观点项可以成功配对。在图2中，本发明展示了一个关于六标签和十标签GTS的对比。十标签GTS对terms的定义不是简简单单的只用A和O，用Ab代表方面项的开始，Ai代表方面项中的词，这个表示比之前的6标签更准确的。因此标签法对于六标签法能更准确地定义单词之间的关系。
实验验证
主要使用了由吴等人发布的可公开使用的数据集来验证本发明效果的实验，在表2中，对这个数据集的细节进行了详细的展示。
表2实验数据集
表2所示数据集是对SemEval ABSA Challenges的一个修正版本，其中包含着三个来自餐厅领域的数据和一个来自笔记本电脑领域的评论。
为了更有力地证明本发明所提出方法的有效性，同样在由许等人提出的ASTE-Data-V2数据集上进行了实验。采用了在ASTE任务中广泛使用的准确率(P)、召回率(R)和F1分数(F1)作为对于本发明模型优劣的评价指标，计算如下：
其中，proposedpairs代表的是模型预测的方面级情感三元组对的数量，correctpairs表示的是标记并预测为方面级情感三元组对的数量，annotatedpairs表示的是被标记为方面级情感三元组对的数量。
本发明将300维度的GloVe编码和100维度的fastText编码进行连接，组成双词义的编码作为初始的词嵌入。每个单词的POS编码由NLTK标记，POS的编码是100维。为了避免过拟合，两种初始嵌入的dropout都设为0.3。Bi-LSTM和GCN隐藏状态的维度均设置为300。
使用Adam优化器，并设置初始的学习率为0.001来训练本发明的模型，将特征融合层的注意力机制中的dropout设置为0.1。在模型中，使用SenticNet来辅助Spacy生成情感常识知识增强的依赖树。将批量大小设置为32，采用F1作为模型的主要评价标准。
为了评估本发明所提出的模型的性能，选取了一下几种基线模型与本模型的实验结果进行对比，并设计了相关实验对于本模型三个创新点的作用进行分析。这些基线模型主要分为流水线方法和端到端方法两种，以下是对于基线模型的简要介绍：
流水线方法：
CMLA+,RINANTE+,Li-unified-R:CMLA提出了一个多层注意力网络，采用多层的交互式学习，实现方面-观点项之间更精确的信息提取。RINANTE提出了一种基于依存关系和POS标记结果来实现自动挖掘的算法，用于进行方面项和观点项的提取。X.Li提出了一种统一标注的方法，联合提取方面项和它对应的情感极性。为了能够让这些模型适用于ASTE任务，彭等人将这些模型进行了改善并重新命名为CMLA+，RINANTE+和Li-unified-R。
Peng-two-stage:计了一个两阶段的框架，把方面项的提取与情感分类和观点项的提取两步耦合在一起。
Peng-two-stage+IOG:吴等人在Peng-two-stage的方法的基础上，添加了IOG的方法对情感三元组进行提取。
IMN+IOG:这种方法是将IMN与IOG的方法进行拼接，来完成ASTE的任务。
端到端方法：
OTE-MTL:提出了一种多任务的学习框架来联合提取方面项和观点项，并使用双仿射评分器辅助分析方面项和观点项之间记得情感依赖关系。
JET-BERT:提出了一种新颖的位置感知标注方案的端到端模型来联和提取情感三元组。
GTS:通过一个统一的网格标记任务，这种方法可以利用不同意见因素间可能存在的潜在关系，对情感三元组进行更准确地提取。
DGEIAN:提出了一个依赖图增强的交互式注意网络，该方法对与单词之间的句法语义关系进行了加强。
表3在许等人提出的数据集上的实验结果，基线模型的实验结果来源于已发表的论文
表4在吴等人提出的数据集上的实验结果，基线模型的实验结果来源于已发表的论文
通过表3和表4中分别展示了模型在许等人和吴等人所提出的数据集上的表现，可以看出，在F1的指标下，本发明的模型性能优于其他对比的模型。在表3中可以看出，作为性能最好的流水线方法，Peng-two-stage在F1的指标下，性能仍远远差于本发明的模型，这可能是因为流水线模型存在信息流的断裂和错误传递。在与其他的端到端方法的比较中，可以看出本发明的模型不仅在F1的指标下优于其他模型，与大部分其他模型的P、R指标相比，仍具有一定的优势，这证明了本发明所提出的模型处理ASTE任务时的有效性。
表4中的实验结果表明，本模型与其他端到端模型在四个数据集上的表现均强于流水线方法Peng-two-stage+IOG和IMN+IOG，体现了端到端模型在捕捉上下文语义关系方面的优越性。与DGEIAN模型的F1指标相比，本发明的模型在14res、14lap、15res、16res数据集上分别高了1.64％、1.66％、2.01％、2.56％，这证明了本发明利用单词的情感常识知识、使用更加精确的标签方法以及添加相对位置距离来捕捉更准确句法和语义关系对于模型的性能有很大的提升。
消融实验
本发明设计了一个消融实验来对比每个模块对于模型性能的提升效果，在表5中，对消融实验的结果进行了展示。
w/o RPD代表着在注意力机制中并没有添加相对位置距离信息，缺乏对位置关系的利用，减弱了模型对于句子句法和语义的理解，所以模型的效果变差。w/o GTS10则代表着在三元组提取的过程中使用了常规的包含六个标签的GTS，由于GTS并不能给方面项和观点项提供精确的边界信息，所以该实验的效果明显低于本发明的模型效果。
w/o SenticNet-DG表示在该实验中，在构建邻接矩阵时并没有将情感常识知识考虑进去。如表5所示，在吴等人提出的四个数据集上，缺少情感常识知识的模型在F1的指标下，分别降低了1.25％、1.62％、1.94％、2.12％。这证明了情感常识知识的加入，使上下文和方面项之间的情感依赖得到增强，有利于模型捕捉方面项的情感特征，从而提升了在情感预测方面的能力。
表5在吴等人提出的数据集上进行消融实验，F1指标下的实验结果
| 消融实验模型 | Res14 | Lap14 | Res15 | Res16 |
| w/o SenticNet-DG | 66.28 | 51.17 | 55.63 | 66.60 |
| w/o GTS10 | 66.50 | 51.51 | 55.87 | 66.75 |
| w/o RPD | 66.87 | 51.92 | 56.20 | 67.62 |
| All | 67.53 | 52.79 | 57.57 | 68.72 |
实施例二
本实施例提供了基于情感知识增强的方面级情感三元组提取系统，包括：
编码模块，其用于获取输入的评论序列，对其进行编码，得到文本的编码表示；
特征提取模块，其用于基于文本的编码表示对上下文信息进行编码，捕获每个单词和上下文之间的关系，并使用情感常识知识增强的依赖树和图神经网络，获得方面词和上下文之间的情感依赖关系，提取每个单词包含上下文信息的特征和包含情感依赖信息的特征；
特征融合模块，其用于基于每个单词的上下文信息特征和情感依赖信息特征，在融合注意力层中，添加相对位置距离的注意力机制，关注单词与其邻近单词之间的上下文信息和情感依赖信息，同时，在上下文信息特征和情感依赖信息特征进行融合时，将对应特征的权重和分别传递至彼此的表征中，得到融合后的特征；
三元组提取模块，其用于将融合后的特征，采用统一标签的方法来对三元组进行提取，生成每条评论中针对每个方面项的情感三元组。
实施例三
本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如实施例一所述的基于情感知识增强的方面级情感三元组提取方法中的步骤。
实施例四
本实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如实施例一所述的基于情感知识增强的方面级情感三元组提取方法中的步骤。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(RandomAccessMemory，RAM)等。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.基于情感知识增强的方面级情感三元组提取方法，其特征在于，包括如下步骤：
获取输入的评论序列，对其进行编码，得到文本的编码表示；
基于文本的编码表示对上下文信息进行编码，捕获每个单词和上下文之间的关系，并使用情感常识知识增强的依赖树，获得方面词和上下文之间的情感依赖关系，提取每个单词的上下文信息特征和情感依赖信息特征；
基于每个单词的上下文信息特征和情感依赖信息特征，在融合注意力层中，添加相对位置距离的注意力机制，关注单词与其邻近单词之间的上下文信息和情感依赖信息，同时，在上下文信息特征和情感依赖信息特征进行融合时，将对应特征的权重和分别传递至彼此的表征中，得到融合后的特征；
将融合后的特征，采用统一标签的方法来对三元组进行提取，生成每条评论中针对每个方面项的情感三元组。
2.如权利要求1所述的基于情感知识增强的方面级情感三元组提取方法，其特征在于，获取输入的评论序列，对其进行编码，得到文本的编码表示，具体包括：
基于包含n个单词的评论序列，采用双词义的编码方式，充分利用每个单词的词义，包括不同单词的不同词义表示，和同一个单词在不同语境下的词义表示，得到单词的双词义编码序列；
采用POS编码来获得评论序列中所有单词的词性编码得到其对应的词性类别编码序列；
将单词的双词义编码序列和词性类别编码序列连接，获得文本序列的编码表示。
3.如权利要求1所述的基于情感知识增强的方面级情感三元组提取方法，其特征在于，所述基于文本的编码表示对上下文信息进行编码，捕获每个单词和上下文之间的关系包括：
基于文本序列的编码表示通过长短期记忆网络学习前向隐藏状态表示，基于前向隐藏状态表示得到前向的上下文信息；通过学习文本序列的编码表示的后向隐藏状态表示，获得后向的上下文信息；将前向的上下文信息和后向的上下文信息对应位置的表示连起来，得到的高维表示为每个单词和上下文之间的关系。
4.如权利要求1所述的基于情感知识增强的方面级情感三元组提取方法，其特征在于，使用情感常识知识增强的依赖树，获得方面词和上下文之间的情感依赖关系时，融合了图神经网络进行整合来表示学习，具体包括：
采用外部知识库来表示单词的情感分数，基于存在依赖关系的两个单词之间的情感分数和邻接矩阵整合得到包含情感常识信息的邻接矩阵表达；
将包含情感常识信息的邻接矩阵表达所组成的情感卷积图输入到多层图神经网络层，经过多个图卷积层的堆叠，从不同距离的节点捕捉信息，进一步增强对上下文信息的理解。
5.如权利要求1所述的基于情感知识增强的方面级情感三元组提取方法，其特征在于，采用邻接矩阵A来表示依赖树，其中A中的元素Aij代表节点i是否和节点j之间是否存在依赖路径，如果Aij＝1，则表示节点i是否和节点j之间存在依赖路径，如果Aij＝0，则依赖路径不存在；在邻接矩阵A中，对角线上的值都是1。
6.如权利要求1所述的基于情感知识增强的方面级情感三元组提取方法，其特征在于，添加相对位置距离的注意力机制，关注单词与其邻近单词之间的上下文信息和情感依赖信息时，根据单词之间距离的正负值，得到两个单词之间的相对距离。
7.如权利要求1所述的基于情感知识增强的方面级情感三元组提取方法，其特征在于，将融合后的特征，采用统一标签的方法来对三元组进行提取，生成每条评论中针对每个方面项的情感三元组，具体包括：
采用一种包含10个标签的GTS来取代之前的包含6个标签的方法，新的十标签GTS中增加了{Ab,Ai,Ob,Oi}，这四种标签用于主对角线上来表示方面项和观点项；其中，下标b代表的是方面项A-或者观点项O-的起始单词，i代表的该单词包含在方面项或观点项中，与原有的六标签GTS相同，使用标签N来表示两个单词之间没有任何关系；若两个单词属于同一个方面项，则使用符号A表示，若两个单词属于同一个观点项，使用符号O表示。
8.基于情感知识增强的方面级情感三元组提取系统，其特征在于，包括：
编码模块，其用于获取输入的评论序列，对其进行编码，得到文本的编码表示；
特征提取模块，其用于基于文本的编码表示对上下文信息进行编码，捕获每个单词和上下文之间的关系，并使用情感常识知识增强的依赖树和图神经网络，获得方面词和上下文之间的情感依赖关系，提取每个单词包含上下文信息的特征和包含句法信息的特征；
特征融合模块，其用于基于每个单词的上下文信息特征和情感依赖信息特征，在融合注意力层中，添加相对位置距离的注意力机制，关注单词与其邻近单词之间的上下文信息和情感依赖信息，同时，在上下文信息特征和情感依赖信息特征进行融合时，将对应特征的权重和分别传递至彼此的表征中，得到融合后的特征；
三元组提取模块，其用于将融合后的特征，采用统一标签的方法来对三元组进行提取，生成每条评论中针对每个方面项的情感三元组。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一项所述的基于情感知识增强的方面级情感三元组提取方法中的步骤。
10.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7中任一项所述的基于情感知识增强的方面级情感三元组提取方法中的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311099493.4A CN117077655A (zh) | 2023-08-29 | 2023-08-29 | 基于情感知识增强的方面级情感三元组提取方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311099493.4A CN117077655A (zh) | 2023-08-29 | 2023-08-29 | 基于情感知识增强的方面级情感三元组提取方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117077655A true CN117077655A (zh) | 2023-11-17 |
Family
ID=88702086
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311099493.4A Withdrawn CN117077655A (zh) | 2023-08-29 | 2023-08-29 | 基于情感知识增强的方面级情感三元组提取方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117077655A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118012992A (zh) * | 2024-04-09 | 2024-05-10 | 华南理工大学 | 一种金融文本关系抽取方法、系统及存储介质 |
| CN118013045A (zh) * | 2024-04-02 | 2024-05-10 | 深圳市奥福德电子科技有限公司 | 基于人工智能的语句情感检测方法及装置 |
-
2023
- 2023-08-29 CN CN202311099493.4A patent/CN117077655A/zh not_active Withdrawn
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118013045A (zh) * | 2024-04-02 | 2024-05-10 | 深圳市奥福德电子科技有限公司 | 基于人工智能的语句情感检测方法及装置 |
| CN118013045B (zh) * | 2024-04-02 | 2024-06-18 | 深圳市奥福德电子科技有限公司 | 基于人工智能的语句情感检测方法及装置 |
| CN118012992A (zh) * | 2024-04-09 | 2024-05-10 | 华南理工大学 | 一种金融文本关系抽取方法、系统及存储介质 |
| CN118012992B (zh) * | 2024-04-09 | 2024-07-02 | 华南理工大学 | 一种金融文本关系抽取方法、系统及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109918489B (zh) | 一种多策略融合的知识问答方法和系统 | |
| CN108519890B (zh) | 一种基于自注意力机制的鲁棒性代码摘要生成方法 | |
| CN106202010B (zh) | 基于深度神经网络构建法律文本语法树的方法和装置 | |
| Kim et al. | Kernel approaches for genic interaction extraction | |
| Fader et al. | Identifying relations for open information extraction | |
| CN111651974B (zh) | 一种隐式篇章关系分析方法和系统 | |
| CN110532328B (zh) | 一种文本概念图构造方法 | |
| CN117077655A (zh) | 基于情感知识增强的方面级情感三元组提取方法及系统 | |
| CN109977220B (zh) | 一种基于关键句和关键字的反向生成摘要的方法 | |
| CN108536735B (zh) | 基于多通道自编码器的多模态词汇表示方法与系统 | |
| CN109918647A (zh) | 一种安全领域命名实体识别方法及神经网络模型 | |
| CN112364132A (zh) | 基于依存句法的相似度计算模型和系统及搭建系统的方法 | |
| CN117033423A (zh) | 一种注入最优模式项和历史交互信息的sql生成方法 | |
| CN114077673A (zh) | 一种基于btbc模型的知识图谱构建方法 | |
| Kasai et al. | End-to-end graph-based TAG parsing with neural networks | |
| CN114742016B (zh) | 一种基于多粒度实体异构图的篇章级事件抽取方法及装置 | |
| CN113407697A (zh) | 深度百科学习的中文医疗问句分类系统 | |
| CN115329088A (zh) | 图神经网络事件检测模型的鲁棒性分析方法 | |
| Hashemzadeh et al. | Improving keyword extraction in multilingual texts. | |
| CN110874408B (zh) | 模型训练方法、文本识别方法、装置及计算设备 | |
| CN110210033B (zh) | 基于主述位理论的汉语基本篇章单元识别方法 | |
| CN116663567A (zh) | 一种基于语义增强双编码器的方面级情感三元组抽取方法及系统 | |
| CN116611436A (zh) | 一种基于威胁情报的网络安全命名实体识别方法 | |
| Naik et al. | Context aware conversational understanding for intelligent agents with a screen | |
| CN111523302B (zh) | 一种句法分析方法、装置、存储介质及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20231117 |
|
| WW01 | Invention patent application withdrawn after publication |