CN113505583B - 基于语义决策图神经网络的情感原因子句对提取方法 - Google Patents

基于语义决策图神经网络的情感原因子句对提取方法 Download PDF

Info

Publication number
CN113505583B
CN113505583B CN202110584122.XA CN202110584122A CN113505583B CN 113505583 B CN113505583 B CN 113505583B CN 202110584122 A CN202110584122 A CN 202110584122A CN 113505583 B CN113505583 B CN 113505583B
Authority
CN
China
Prior art keywords
clause
emotion
cause
semantic
pair
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110584122.XA
Other languages
English (en)
Other versions
CN113505583A (zh
Inventor
朱振方
张殿元
卢强
武文擎
裴洪丽
亓江涛
张广渊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Jiaotong University
Original Assignee
Shandong Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Jiaotong University filed Critical Shandong Jiaotong University
Priority to CN202110584122.XA priority Critical patent/CN113505583B/zh
Publication of CN113505583A publication Critical patent/CN113505583A/zh
Application granted granted Critical
Publication of CN113505583B publication Critical patent/CN113505583B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/216—Parsing using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Machine Translation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本公开提供了一种基于语义决策图神经网络的情感原因子句对提取方法，获取包含多个字句的文本数据；根据获取的文本数据，得到文本特征序列；根据获取的文本特征序列，构造文本的图结构化数据，结合图神经网络，得到更新的子句表示；根据更新的子句表示和预设的语义决策单元，得到各个子句的包含深层语义分析的隐藏状态；根据各个子句的包含深层语义分析的隐藏状态，进行相对位置嵌入，得到子对矩阵；根据得到的子对矩阵，结合预设激活函数和预设情感词典，得到情感原因子句对；本公开通过端到端的一步式框架，实现了情感原因子句对的更准确提取。

Description

基于语义决策图神经网络的情感原因子句对提取方法
技术领域
本公开涉及文本数据处理技术领域，特别涉及一种基于语义决策图神经网络的情感原因子句对提取方法。
背景技术
本部分的陈述仅仅是提供了与本公开相关的背景技术，并不必然构成现有技术。
情感原因提取(ECE，Emotion-Cause Extraction)的目的是提取导致文本情感极性的潜在原因。ECE任务提出以来，它在自然语言处理领域受到广泛关注。有研究人员提出了基于语言结构的方法、基于情感词汇的方法以及基于常识性知识库的方法。然而，ECE需要大量的情感标签，而情感标签的标注是相当耗费人力和物力的，这一缺点限制了ECE在实践中的适用性。
为了解决ECE的这一局限性，研究人员提出了情感因对提取(ECPE，Emotion-CausePair Extraction)任务。ECPE是一项新的任务，它从未注释的情感文本中识别情感子句和相应的原因子句。这涉及两个主要的子任务：1)从未注释的情感文本中提取情感子句和原因子句；2)将情感子句与相应的原因子句匹配，并抹除不存在的因果关系。
发明人发现，现有技术中提出了一个两步框架，以执行ECPE任务。在第一步中，多任务长期短期记忆(LSTM，Long Short-Term Memory)网络分别提取情感子句和原因子句；在第二步中，使用二进制分类器从所有可能的对中筛选情感原因子句对，这种分步式的方法会在第二步中放大第一步的任何错误分类；有部分研究将ECPE任务转化为一个类似于分析有向图构造的过程，但是在捕获子句的隐藏状态时使用的LSTM，这种方法存在长距离依赖的缺点；现有技术的方案在文本中包含多个情感原因对的场景中也存在缺陷，由于缺乏对深度语义信息的理解，往往会忽略了子句的隐藏状态。
发明内容
为了解决现有技术的不足，本公开提供了一种基于语义决策图神经网络的情感原因子句对提取方法，实现了情感原因子句对的更准确提取。
为了实现上述目的，本公开采用如下技术方案：
本公开第一方面提供了一种基于语义决策图神经网络的情感原因子句对提取方法。
一种基于语义决策图神经网络的情感原因子句对提取方法，包括以下过程：
获取包含多个字句的文本数据；
采用SGCN网络进行情感原因子句对提取，所述SGCN网络，包括：
嵌入层，根据获取的文本数据，得到句子特征序列；
图隐藏层，根据获取的文本特征序列，构造文本的图结构化数据，结合图神经网络，得到更新的子句表示，根据更新的子句表示和预设的语义决策单元，得到各个子句的包含深层语义分析的隐藏状态；
语义决策层，用于捕捉深层语义信息；
位置嵌入层，根据各个子句的包含深层语义信息的隐藏状态，进行相对位置嵌入，得到子对矩阵；
情绪原因子句对预测层，根据得到的子对矩阵，结合预设激活函数和预设情感词典，得到情感原因子句对。
进一步的，根据获取的文本数据，得到文本特征序列，包括以下过程：
利用基于转换器的双向编码表征对单词嵌入进行预处理，得到子句特征序列；
对每个子句特征序列进行平均，得到文本的特征序列。
进一步的，根据获取的文本特征序列，采用K近邻算法构造文本的图结构化数据，包括以下过程：
使用K近邻算法计算任一个子句隐藏状态与语义空间中所有其他隐藏状态之间的关联程度，选出与当前子句连接最紧密的关联程度，结合当前的子句隐藏状态，得到当前子句的图结构化数据。
进一步的，结合注意力机制，通过图形卷积操作更新每个节点的隐藏状态，得到更新的子句表示。
进一步的，根据更新的子句表示和预设的语义决策单元，得到各个子句的包含深层语义分析的隐藏状态，包括以下过程：
根据更新的子句表示与子句级的隐藏状态的乘积再与更新的子句表示的加和，得到语义决策单元的输出；
将语义决策单元的输出输入到Relu中生成包含深层语义分析的隐藏状态。
进一步的，根据各个子句的包含深层语义分析的隐藏状态，进行相对位置嵌入，得到子对矩阵，包括以下过程：
当两个子句的相对位置小于或等于预设阈值，则作为候选情感原因对；
使用具备位置缓冲区的曲线函数，根据从句的绝对位置分配权重，得到子句对矩阵。
进一步的，根据得到的子对矩阵，结合预设激活函数和预设情感词典，得到情感原因子句对，包括以下过程：
使用预设激活函数来预测每一个子句对是情感原因子句对的可能性，从中选择最有可能的情感原因对，筛选出高概率子句对，用情感字典的方法来确定高概率子句对是否包含情感词语，进而得到文本中所有的情感原因子句对。
本公开第二方面提供了一种基于语义决策图神经网络的情感原因子句对提取系统。
一种基于语义决策图神经网络的情感原因子句对提取系统，包括：
数据获取模块，被配置为：获取包含多个字句的文本数据；
情感原因子句对提取模块，被配置为：采用SGCN网络进行情感原因子句对提取，所述SGCN网络，包括：
嵌入层，根据获取的文本数据，得到句子特征序列；
图隐藏层，根据获取的文本特征序列，构造文本的图结构化数据，结合图神经网络，得到更新的子句表示，根据更新的子句表示和预设的语义决策单元，得到各个子句的包含深层语义分析的隐藏状态；
语义决策层，用于捕捉深层语义信息；
位置嵌入层，根据各个子句的包含深层语义信息的隐藏状态，进行相对位置嵌入，得到子对矩阵；
情绪原因子句对预测层，根据得到的子对矩阵，结合预设激活函数和预设情感词典，得到情感原因子句对。
本公开第三方面提供了一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现如本公开第一方面所述的基于语义决策图神经网络的情感原因子句对提取方法中的步骤。
本公开第四方面提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如本公开第一方面所述的基于语义决策图神经网络的情感原因子句对提取方法中的步骤。
与现有技术相比，本公开的有益效果是：
1、本公开所述的方法、系统、介质或电子设备，针对分步式方法的错误传播的问题，提出端到端的一步式框架，用于情感原因子句对的更准确提取。
2、本公开所述的方法、系统、介质或电子设备，针对长距离依赖问题，采用图卷积网络来获取句子的隐藏状态，将每个子句视为图中的一个节点，并通过每对节点之间的信息传递来提取包含文本语义结构的隐藏状态。
3、本公开所述的方法、系统、介质或电子设备，针对多个情感原因对的场景中的深度语义信息理解问题，提出语义决策分析单元，给每个子句同等的地位，并将每个子句与之有最高程度相关性的子句结合起来，从而挖掘子句更深层次的语义信息来应对文本中包含多个情感原因对的场景。
附图说明
构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。
图1为本公开实施例1提供的基于语义决策图神经网络的情感原因子句对提取方法的模型结构示意图。
图2为本公开实施例1提供的语义决策单元示意图。
图3为本公开实施例1提供的位置嵌入层对情感原因对提取任务的影响示意图。
图4为本公开实施例1提供的情感原因对提取任务中的位置嵌入层实验示意图。
图5为本公开实施例1提供的注意力可视化权重示意图一。
图6为本公开实施例1提供的注意力可视化权重示意图二。
具体实施方式
下面结合附图与实施例对本公开作进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。
实施例1：
本公开实施例1提供了一种基于语义决策图神经网络的情感原因子句对提取方法，采用一个一步式的框架，即SGCN(Semantic Decision Graph ConvolutionalNetwork)，其总体结构如图1所示。
SGCN由五大部分组成：第一部分是嵌入层，用于获取子句特征序列；第二部分是图隐藏层，用于获取文本隐藏状态；第三部分是语义决策层，用于捕捉深层语义信息；第四部分为位置嵌入层，用于导入位置信息；第五部分是情绪原因子句对预测层，用于预测情绪因子句对。
具体的，包括以下内容：
S1：嵌入层
给定一个包含n个子句的文本序列T＝{c1,c2,…,cn,}，每一个子句包含有m个词。
利用BERT(Bidirectional Encoder Representation from Transformers)对单词嵌入进行预处理，得到子句特征序列ci和hi的长度相同，输入序列的转换过程如下所示：
然后对每个子句的特征序列进行平均，最后，得到了文本的特征序列这一过程的细节如下所示：
S2：图隐藏层
子句之间的交互关系对于提取情感因对是有用的，在获得文本中子句的特征后，充分利用了子句之间的交互关系，本实施例提出了使用K近邻(KNN，K-Nearest Neighbor)方法为文本构造图形结构，然后将图结构化数据作为图神经网络的输入从而捕获文本的隐藏状态。
首先使用嵌入层的输出作为图隐藏层的输入，然后使用KNN计算与语义空间中所有其他隐藏状态之间的关联程度，其计算过程如下：
从中取出与/>连接最紧密的/>和/>然后基于/>和/>构造图结构数据；对于隐藏序列hc包含n个Gi，将图结构数据定义为Gi＝{ui,uv1,uv2}，ui表示当前节点的特征，uv1和uv2表示图中连接到点ui的两个节点；最后，从原始特征序列hc中，得到了适合模型的图结构数据G。
在下一步中，将使用图卷积神经网络来获得隐藏状态，其中包含子句的相关性。通过图形卷积操作更新每个节点的隐藏状态如下：
其中，N是它的邻居节点的集合(在本例中包含文本中的两个节点)，表示图形神经网络的l层中的隐藏状态，ai,j是节点i和节点j的注意力得分，ai,j的计算过程如下：
在计算隐藏状态相似性使用注意力，这可以帮助模型增加关注度，第l个图神经网络层矩阵形式的描述如下所示：
当时，图神经网络第一层的输入/>就是嵌入层的输出，通过堆叠l层以建模子句间关系，最后一层的输出是更新的子句表示H()＝{h1,h2,…,hn}。
S3：语义决策层
语义决策层由多个相同的单一结构组成。每个单一结构都以从句隐藏状态为核心元素，对从句进行语义决策分析。单个结构按照相同的原则分为n个语义决策分析单元(SDA，Semantic Decision Analysis units)，n是文本中的子句数。多个SDA可以赋予每个子句相等的地位。然后，对于每个子句，选择与其关联度最深的子句。通过这种特殊的机制，给每个子句一个平等的机会，充分利用了文本的全局语义结构，SDA单元如图2所示。
首先将隐藏层的结果{h1,h2,…,hn}输入的语义决策分析单元。然后经过一系列的变换得到具体过程如下所示：
子句级的隐藏状态，函数F表示hi和hj之间的相关性。
然后将SDA的输出的结果输出到Relu中生成包含深层语义分析的隐藏状态z：
z＝Relu(wouthout+bout)
在获得更新的子句隐藏状态z后，将它输入预输出层，以预测该子句是否为原因子句，具体过程如下：
其中，wcau和bcau是可学习的参数，表示某一子句是原因子句的可能性。
S4：位置嵌入层
两个子句之间的相对位置是识别情感原因对的关键。因此，通过相对位置嵌入学习将相对位置信息注入到隐藏状态中。
假设如果两个子句在文本中的相对位置太大，它们形成子句对的概率就会很小，考虑每个子句对(zi,zj)，对于这两个子句的相对位置小于或等于阈值β则作为候选情感原因对。
使用可以提供位置缓冲区的曲线函数，根据从句的绝对位置分配权重(当子句位置更接近时，位置权重的变化率更小)。最后，得到n*n的子句对矩阵，具体的位置嵌入过程如下：
其中，rij表示子句的隐藏状态之间的绝对位置权重，γ的目的是将位置权重限制在(0，1)之间。只有当的rij值不是0时，才能执行下一步位置嵌入操作，具体的嵌入过程如下：
其中，wz和bz是可学习的参数，[,]表示向量之间的连接，表示子句对矩阵中的i行和j列。
S5：情感原因对预测层
该层使用激活函数来预测某一个子句对是情感原因子句对的可能性，其具体过程如下所示：
在测试阶段，从中选择最有可能的情感原因对，该子句对yij由子句ci和子句cj组成。然后从y中筛选出高概率子句对组合。
用情感字典的方法来确定ck是否包含情感词语(假设ck是高概率子句对的组成部分((ck,cl)))，如果包含情感词语，认为这个子句对是正确的情感原因子句对。通过这种方法，可以提取文本中的多个情感原因子句对。
实验验证：
(1)实验环境及条件
表1实验数据集
使用了由可公开使用的数据集来进行实验。该数据集由1945段来自新浪新闻的文本组成。在实验中，将数据分为10个部分(10倍交叉验证)。该数据集在表1中有详细的说明。对于模型性能比较，选择精度P，召回率R和F1值作为评价指标，计算如下：
其中，proposed pairs表示模型预测的情绪-原因子句对的数量，correct pairs表示标记并预测为情绪-原因子句对的数量。annotated pairs表示被标记的子句对的数量。
dropout为0.3，位置阈值为5。使用Adam优化器和0.001的学习率来训练SGCN，并将正则化系数设置为1e-5。预训练的BERT的嵌入维数是768，并且使用ANTUSD作为情感词的基础。
(2)对比模型
为了评估SGCN的性能，本实施例考虑了6个基线模型与SGCN的实验结果进行对比，并设计了相关实验来分析SGCN各个部分的作用，基线模型的简要介绍如下所示：
Indep用双向LSTM网络编码子句，Indep使用两个双向LSTM网络提取情感子句和原因子句从而最终完成情感原因子句提取任务。
Inter-CE在Indep的基础上提取出原因子句，然后利用提取的原因子句辅助模型提取情感子句，最终利用提取出的情感子句和原因子句完成情感原因子句提取任务。
Inter-EC在Indep的基础上提取出情感子句，然后利用提取的情感子句辅助模型提取原因子句，最终利用提取出的情感子句和原因子句完成情感原因子句提取任务。
ECPE-2D使用二维表示来表达情绪原因子句对，进一步提出了一个2Dtransformer模块来建模情感原因子句对的相互作用。
RANKCP使用一步式神经方法，强调跨区域建模来执行端到端提取。同时，它也将图神经网络应用于这项任务。
TransECPE使用了一个基于转换的模型，它将任务转换为一个类似于解析有向图构造的过程。
(3)主要分析
表2实验结果，基线模型的实验结果从已发表的论文中检索。
表2显示了基线模型和SGCN在ECPE任务中的表现，与所有基线模型相比，在三个任务的F1方面获得了最佳的结果，在其他指标方面获得了优异的结果。相比于于一步式模型，SGCN的性能在所有指标上显著优于Indep和Indep的变种模型Inter-CE、Inter-EC。SGCN的在情感原因提取任务F1评分分别比三种模型高出13.22％、7.94％和13.22％，在原因子句提取任务上F1评分分别比三种模型高出15.79％、16.33％和12.77％。这可能是因为误差跨阶段传播发生在一步式模型中，而这个问题在一步式SGCN模型中得到了解决。这也进一步说明一步式模型比两步式模型更适合于情感原因子句对提取任务。
与其他一步式模型相比，发现一步模型优于上面的两步模型。接下来，将SGCN与三个两步模型(ECPE-2D、RANKCP和TransECPE)进行比较。SGCN在情感原因子句对提取的3个指标上优于ECPE-2D，其中F1，P，R分别高于ECPE-2D1.58％，7.57％和7.31％，在原因子句提取任务上评分比三种模型高出4.48％、8.08％和4.19％。这是因为SGCN的图卷积神经网络的特征提取能力比2D transformer模块的特征提取能力更强。在捕获全局文本相关特征方面，图结构转换的神经网络的性能明显优于transformer模块。
总的来说，本实施例所述的方法模型优于RANKCP，与RANKCP相比，在情感原因子句对提取任务和原因子句提取任务上的2项指标均实现了突破。在情感原因子句提取任务F1和P分别高于RANKCP 0.9％和1.82％。由于这是由于语义决策层给每个子句提供了相同的机会，这有助于SGCN从深层语义的角度分析句子从而完成情感原因子句对提取任务。
本实施例的模型在该项任务上的所有指标都优于TransECPE。在情感原因子句提取任务上取得了0.76％，9.94％和8.21％的领先优势，在原因子句提取任务上取得了2.22％，12.71％和5.68％的领先优势。TransECPE通过分析有向图的方式来完成该任务。然而，由于使用LSTM捕获隐藏状态，TransECPE的远程依赖问题将导致模型丢失重要的子句信息，本实施例通过图结构化信息的传输来缓解这一问题。
(4)原因子句任务提取评估
由于SGCN是一个多任务学习框架，在原因子句提取任务上的性能对SGCN评估也很重要。通过将SGCN与现有的提取方法进行比较，方法如下：
RB是一个基于规则的系统，通过使用手动定义的语言规则来完成该项任务。
MULTI-KERNEL提出了一种基于多核支持向量机的事件驱动原因子句提取方法。
CANN将具有基于共享注意的双向长时记忆的子句编码为输入表示，进一步将其输入到卷积层中进行情感原因子句提取。
RTHN提出了一种联合情感原因提取框架，该框架由一个基于RNN的下词级编码器组成，用于对每个子句中的多个单词进行编码，以及一个基于Transformer的上子句级编码器来学习文档中多个子句之间的相关性。
ECJD考虑利用情绪检测作为先验知识的相对位置进行原因子句检测，提高模型效率。
表3原因子句提取任务的结果
表3显示了SGCN在情感原因提取任务上的性能优于现有的方法。基于规则的方法RB和传统的机器学习MULTI-KERNE方法分别比F1中的SGCN低25.41％和10.32％。在三个指标方面，SGCN在原因子句提取任务方面优于CANN和RTHN。CANN和RTHN在提取文本的隐藏状态时都使用了传统的序列化神经网络LSTM，而SGCN则使用图结构化数据来捕获隐藏状态。因此，假设这是由于图神经网络在提取不同子句的交互关系方面具有巨大的优势。SGCN在任务上的所有度量指标方面都优于ECJD，与SGCN相比，ECJD的F1值下降了5.56％，将其归因于SDA，给予每个子句相同的机会，这帮助SGCN为任务筛选有用的子句。在原因子句提取任务上，SGCN在两个指标方面优于FSS-GCN，这是由于语义决策分析单元的协同效应。上述方法大多使用已标注的情感子句作为模型输入，而SGCN需要已标注情绪子句作为模型输入。它仍然优于上述方法，这进一步说明了多任务框架SGCN在该项任务上仍然有着优异的表现。
(5)位置嵌入层的影响
为了探讨位置嵌入层对整体网络体系结构的影响，进行了两次相关的研究实验。首先将位置权重更改为线性相关权重进行实验，然后删除了位置权重并进行了相关实验。根据图3，具有位置信息的网络的性能显著优于没有位置信息的网络。这是因为文本通常表达连贯的语义内容，而可以形成子句对的子句之间的相对距离通常很短。总的来说，具有位置权重的SGCN优于另外两个实验样本。这是因为线性权重盲目地以一个固定比例降低了权重注意力，从而导致重要子句对的信息丢失。SGCN采用相对平滑的位置权重(权重缓冲区)，从而充分利用子句之间的位置信息。
此外，为了探索缓冲区对SGCN的影响，改变了阈值，并进行了相关的实验。实验结果见图4。如图4所示，当阈值小于5时，SGCN的整体性能呈上升趋势，当阈值等于5时得到最佳结果，这是因为数据集通常由具有完整语义信息的连贯文档组成；因此具有高相关性的重要子句信息的绝对位置通常是密切的。只能将阈值扩展到合适的值，SGCN可以在缓冲区提取包含重要语义信息的子句。然而，当阈值在5到10之间时，SGCN的整体性能随着阈值的增加而呈下降趋势。假设这是当阈值在5-10的范围内。虽然可以提取包含重要语义信息的子句，但一个太大的阈值会增加缓冲区中无关紧要的子句的数量，这会产生更多的噪声，并影响SGCN的整体性能。因此，在SGCN中选择最合适的阈值5。
(6)句子中包含多个情感原因子句对的情况研究
表4原因子句提取实验结果
在实验中，发现数据集中的一些文本包含有多个情感原因子句对，为了评估网络结构的鲁棒性，从原始数据集中分别提取包含多个情感原因子句对的文本和只有一个情感原因子句对的文本，形成两个新的数据集，并分别进行相关的比较实验。实验结果见表4。根据表4中的实验数据，SGCN的性能总体优于EC间和RANKCP，尤其是F1值和R值，取得了较大的领先，给每个子句平等机会匹配配对的方法在处理这一场景中发挥了重要作用。这进一步表明，SGCN在有效地提取子句的深层语义隐藏状态时，可以适应各种特殊情况。
(7)个例研究
表5提供了关于文本ID、子句编号情感原因对信息。这两个案例包括只有一个情感原因子句对的文本和有多个情感原因子句对的文本。为了更直观地评估SGCN，在图5和图6中可视化了这些文本的注意力。其中水平和垂直坐标表示句子索引。
表5可视化研究案例概况
文本编号 文本句子数量 情感子句编号 原因子句编号 情感原因子句对
66 20 C7 C6 [C7,C6]
243 13 C7,C13 C6,C12 [C7,C6],[C13,C12]
如图5所示，SGCN对子句对[C7，C6]给予了高度的关注度，同时减弱了对其他子句对的关注。这表明SIGCN能够捕获子句的深层语义信息，而忽略干扰信息。同样，可以在图6中验证相同的结果。具体来说，图6显示了具有两个情感原因对的文本的可视化情况。深色主要围绕着[C7、C6]和[C13、C12]。这进一步表明，SGCN可以适应多种情绪原因对的场景。
如图5所示，SGCN对子句对[C7，C6]给予了高度的关注度，同时减弱了对其他子句对的关注。这表明SIGCN能够捕获子句的深层语义信息，而忽略干扰信息。同样，可以在图6中验证相同的结果。具体来说，图6显示了具有两个情感原因对的文本的可视化情况。深色主要围绕着[C7、C6]和[C13、C12]。这进一步表明，SGCN可以适应多种情绪原因对的场景。
实施例2：
本公开实施例2提供了一种基于语义决策图神经网络的情感原因子句对提取系统，包括：
数据获取模块，被配置为：获取包含多个字句的文本数据；
情感原因子句对提取模块，被配置为：采用SGCN网络进行情感原因子句对提取，所述SGCN网络，包括：
嵌入层，根据获取的文本数据，得到句子特征序列；
图隐藏层，根据获取的文本特征序列，构造文本的图结构化数据，结合图神经网络，得到更新的子句表示，根据更新的子句表示和预设的语义决策单元，得到各个子句的包含深层语义分析的隐藏状态；
语义决策层，用于捕捉深层语义信息；
位置嵌入层，根据各个子句的包含深层语义信息的隐藏状态，进行相对位置嵌入，得到子对矩阵；
情绪原因子句对预测层，根据得到的子对矩阵，结合预设激活函数和预设情感词典，得到情感原因子句对。
所述系统的工作方法与实施例1提供的基于语义决策图神经网络的情感原因子句对提取方法相同，这里不再赘述。
实施例3：
本公开实施例3提供了一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现如本公开实施例1所述的基于语义决策图神经网络的情感原因子句对提取方法中的步骤。
实施例4：
本公开实施例4提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如本公开实施例1所述的基于语义决策图神经网络的情感原因子句对提取方法中的步骤。
本领域内的技术人员应明白，本公开的实施例可提供为方法、系统、或计算机程序产品。因此，本公开可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本公开是参照根据本公开实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(RandomAccessMemory，RAM)等。
以上所述仅为本公开的优选实施例而已，并不用于限制本公开，对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。

Claims (10)

1.一种基于语义决策图神经网络的情感原因子句对提取方法，其特征在于：包括以下过程：
获取包含多个字句的文本数据；
采用SGCN网络进行情感原因子句对提取，所述SGCN网络，包括：
嵌入层，根据获取的文本数据，得到句子特征序列；
图隐藏层，根据获取的文本特征序列，构造文本的图结构化数据，结合图神经网络，得到更新的子句表示，根据更新的子句表示和预设的语义决策单元，得到各个子句的包含深层语义分析的隐藏状态；
语义决策层，用于捕捉深层语义信息；
位置嵌入层，根据各个子句的包含深层语义信息的隐藏状态，进行相对位置嵌入，得到子对矩阵；
情绪原因子句对预测层，根据得到的子对矩阵，结合预设激活函数和预设情感词典，得到情感原因子句对。
2.如权利要求1所述的基于语义决策图神经网络的情感原因子句对提取方法，其特征在于：
根据获取的文本数据，得到文本特征序列，包括以下过程：
利用基于转换器的双向编码表征对单词嵌入进行预处理，得到子句特征序列；
对每个子句特征序列进行平均，得到文本的特征序列。
3.如权利要求1所述的基于语义决策图神经网络的情感原因子句对提取方法，其特征在于：
根据获取的文本特征序列，采用K近邻算法构造文本的图结构化数据，包括以下过程：
使用K近邻算法计算任一个子句隐藏状态与语义空间中所有其他隐藏状态之间的关联程度，选出与当前子句连接最紧密的关联程度，结合当前的子句隐藏状态，得到当前子句的图结构化数据。
4.如权利要求1所述的基于语义决策图神经网络的情感原因子句对提取方法，其特征在于：
结合注意力机制，通过图形卷积操作更新每个节点的隐藏状态，得到更新的子句表示。
5.如权利要求1所述的基于语义决策图神经网络的情感原因子句对提取方法，其特征在于：
根据更新的子句表示和预设的语义决策单元，得到各个子句的包含深层语义分析的隐藏状态，包括以下过程：
根据更新的子句表示与子句级的隐藏状态的乘积再与更新的子句表示的加和，得到语义决策单元的输出；
将语义决策单元的输出输入到Relu中生成包含深层语义分析的隐藏状态。
6.如权利要求1所述的基于语义决策图神经网络的情感原因子句对提取方法，其特征在于：
根据各个子句的包含深层语义分析的隐藏状态，进行相对位置嵌入，得到子对矩阵，包括以下过程：
当两个子句的相对位置小于或等于预设阈值，则作为候选情感原因对；
使用具备位置缓冲区的曲线函数，根据从句的绝对位置分配权重，得到子句对矩阵。
7.如权利要求1所述的基于语义决策图神经网络的情感原因子句对提取方法，其特征在于：
根据得到的子对矩阵，结合预设激活函数和预设情感词典，得到情感原因子句对，包括以下过程：
使用预设激活函数来预测每一个子句对是情感原因子句对的可能性，从中选择最有可能的情感原因对，筛选出高概率子句对，用情感字典的方法来确定高概率子句对是否包含情感词语，进而得到文本中所有的情感原因子句对。
8.一种基于语义决策图神经网络的情感原因子句对提取系统，其特征在于：包括：
数据获取模块，被配置为：获取包含多个字句的文本数据；
情感原因子句对提取模块，被配置为：采用SGCN网络进行情感原因子句对提取，所述SGCN网络，包括：
嵌入层，根据获取的文本数据，得到句子特征序列；
图隐藏层，根据获取的文本特征序列，构造文本的图结构化数据，结合图神经网络，得到更新的子句表示，根据更新的子句表示和预设的语义决策单元，得到各个子句的包含深层语义分析的隐藏状态；
语义决策层，用于捕捉深层语义信息；
位置嵌入层，根据各个子句的包含深层语义信息的隐藏状态，进行相对位置嵌入，得到子对矩阵；
情绪原因子句对预测层，根据得到的子对矩阵，结合预设激活函数和预设情感词典，得到情感原因子句对。
9.一种计算机可读存储介质，其上存储有程序，其特征在于，该程序被处理器执行时实现如权利要求1-7任一项所述的基于语义决策图神经网络的情感原因子句对提取方法中的步骤。
10.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7任一项所述的基于语义决策图神经网络的情感原因子句对提取方法中的步骤。
CN202110584122.XA 2021-05-27 2021-05-27 基于语义决策图神经网络的情感原因子句对提取方法 Active CN113505583B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110584122.XA CN113505583B (zh) 2021-05-27 2021-05-27 基于语义决策图神经网络的情感原因子句对提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110584122.XA CN113505583B (zh) 2021-05-27 2021-05-27 基于语义决策图神经网络的情感原因子句对提取方法

Publications (2)

Publication Number Publication Date
CN113505583A CN113505583A (zh) 2021-10-15
CN113505583B true CN113505583B (zh) 2023-07-18

Family

ID=78008712

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110584122.XA Active CN113505583B (zh) 2021-05-27 2021-05-27 基于语义决策图神经网络的情感原因子句对提取方法

Country Status (1)

Country Link
CN (1) CN113505583B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114817566B (zh) * 2022-04-29 2023-03-10 天津大学 基于情绪嵌入的情绪原因对抽取方法
CN115841119B (zh) * 2023-02-21 2023-06-16 中国科学技术大学 一种基于图结构的情绪原因提取方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110162636A (zh) * 2019-05-30 2019-08-23 中森云链(成都)科技有限责任公司 基于d-lstm的文本情绪原因识别方法
CN110717334A (zh) * 2019-09-10 2020-01-21 上海理工大学 基于bert模型和双通道注意力的文本情感分析方法
CN111090985A (zh) * 2019-11-28 2020-05-01 华中师范大学 一种基于siamese网络和多核心LEAM架构的中文文本难度评估方法
CN111259142A (zh) * 2020-01-14 2020-06-09 华南师范大学 基于注意力编码和图卷积网络的特定目标情感分类方法
CN111506732A (zh) * 2020-04-20 2020-08-07 北京中科凡语科技有限公司 一种文本多层次标签分类方法
CN111563164A (zh) * 2020-05-07 2020-08-21 成都信息工程大学 一种基于图神经网络的特定目标情感分类方法
CN112016303A (zh) * 2020-09-07 2020-12-01 平安科技（深圳）有限公司 基于图神经网络的文本纠错方法、装置、设备及存储介质
CN112231476A (zh) * 2020-10-14 2021-01-15 中国科学技术信息研究所 一种改进的图神经网络科技文献大数据分类方法
CN112380345A (zh) * 2020-11-20 2021-02-19 山东省计算中心（国家超级计算济南中心） 一种基于gnn的covid-19科学文献细粒度分类方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110162636A (zh) * 2019-05-30 2019-08-23 中森云链(成都)科技有限责任公司 基于d-lstm的文本情绪原因识别方法
CN110717334A (zh) * 2019-09-10 2020-01-21 上海理工大学 基于bert模型和双通道注意力的文本情感分析方法
CN111090985A (zh) * 2019-11-28 2020-05-01 华中师范大学 一种基于siamese网络和多核心LEAM架构的中文文本难度评估方法
CN111259142A (zh) * 2020-01-14 2020-06-09 华南师范大学 基于注意力编码和图卷积网络的特定目标情感分类方法
CN111506732A (zh) * 2020-04-20 2020-08-07 北京中科凡语科技有限公司 一种文本多层次标签分类方法
CN111563164A (zh) * 2020-05-07 2020-08-21 成都信息工程大学 一种基于图神经网络的特定目标情感分类方法
CN112016303A (zh) * 2020-09-07 2020-12-01 平安科技（深圳）有限公司 基于图神经网络的文本纠错方法、装置、设备及存储介质
CN112231476A (zh) * 2020-10-14 2021-01-15 中国科学技术信息研究所 一种改进的图神经网络科技文献大数据分类方法
CN112380345A (zh) * 2020-11-20 2021-02-19 山东省计算中心（国家超级计算济南中心） 一种基于gnn的covid-19科学文献细粒度分类方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
ECPE-2D: Emotion-Cause Pair Extraction based on Joint Two-Dimensional Representation, Interaction and Prediction;Zixiang Ding 等;《ACL2020》;3161-3170 *
K-BERT:Enabling Language Representation with Knowledge Graph;Weijie Liu 等;《arxiv》;1-8 *
k-Nearest Neighbor Learning with Graph Neural Networks;Seokho Kang;《MDPI》;1-12 *
Multiple Interactive Attention Networks for Aspect-Based Sentiment Classification;dianyuan zhang 等;《MDPI》;1-15 *
基于卷积神经网络和贝叶斯分类器的句子分类模型;李文宽 等;《计算机应用研究》;333-336+341 *

Also Published As

Publication number Publication date
CN113505583A (zh) 2021-10-15

Similar Documents

Publication Publication Date Title
CN112214995B (zh) 用于同义词预测的分层多任务术语嵌入学习
US10380236B1 (en) Machine learning system for annotating unstructured text
CN110348016B (zh) 基于句子关联注意力机制的文本摘要生成方法
CN114169330B (zh) 融合时序卷积与Transformer编码器的中文命名实体识别方法
CN111159223A (zh) 一种基于结构化嵌入的交互式代码搜索方法及装置
CN111858932A (zh) 基于Transformer的多重特征中英文情感分类方法及系统
CN112380319B (zh) 一种模型训练的方法及相关装置
CN113505583B (zh) 基于语义决策图神经网络的情感原因子句对提取方法
CN111985228B (zh) 文本关键词提取方法、装置、计算机设备和存储介质
CN112232087B (zh) 一种基于Transformer的多粒度注意力模型的特定方面情感分析方法
JP7417679B2 (ja) 情報抽出方法、装置、電子機器及び記憶媒体
CN108664512B (zh) 文本对象分类方法及装置
CN111651594B (zh) 基于键值记忆网络的案件案由分类方法及介质
CN114528398A (zh) 一种基于交互双重图卷积网络的情感预测方法及系统
CN115577678A (zh) 文档级事件因果关系识别方法、系统、介质、设备及终端
CN109635282B (zh) 用于多方对话的篇章解析方法、装置、介质及计算设备
CN111241843B (zh) 基于复合神经网络的语义关系推断系统和方法
CN110705279A (zh) 一种词汇表的选择方法、装置及计算机可读存储介质
CN116402166A (zh) 一种预测模型的训练方法、装置、电子设备及存储介质
CN116502648A (zh) 一种基于多跳推理的机器阅读理解语义推理方法
CN115952266A (zh) 问题生成方法、装置、计算机设备和存储介质
CN113392929B (zh) 一种基于词嵌入与自编码器融合的生物序列特征提取方法
CN114942977A (zh) 基于支持句预测的多任务文档级关系抽取方法及装置
CN110472243B (zh) 一种中文拼写检查方法
CN111090723B (zh) 一种基于知识图谱的电网安全生产内容推荐方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant