CN113505583A - 基于语义决策图神经网络的情感原因子句对提取方法 - Google Patents

基于语义决策图神经网络的情感原因子句对提取方法 Download PDF

Info

Publication number
CN113505583A
CN113505583A CN202110584122.XA CN202110584122A CN113505583A CN 113505583 A CN113505583 A CN 113505583A CN 202110584122 A CN202110584122 A CN 202110584122A CN 113505583 A CN113505583 A CN 113505583A
Authority
CN
China
Prior art keywords
clause
pair
reason
text
emotion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110584122.XA
Other languages
English (en)
Other versions
CN113505583B (zh
Inventor
朱振方
张殿元
卢强
武文擎
裴洪丽
亓江涛
张广渊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Jiaotong University
Original Assignee
Shandong Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Jiaotong University filed Critical Shandong Jiaotong University
Priority to CN202110584122.XA priority Critical patent/CN113505583B/zh
Publication of CN113505583A publication Critical patent/CN113505583A/zh
Application granted granted Critical
Publication of CN113505583B publication Critical patent/CN113505583B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/205Parsing
    • G06F40/211Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/205Parsing
    • G06F40/216Parsing using statistical methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/30Semantic analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Machine Translation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本公开提供了一种基于语义决策图神经网络的情感原因子句对提取方法,获取包含多个字句的文本数据;根据获取的文本数据,得到文本特征序列;根据获取的文本特征序列,构造文本的图结构化数据,结合图神经网络,得到更新的子句表示;根据更新的子句表示和预设的语义决策单元,得到各个子句的包含深层语义分析的隐藏状态;根据各个子句的包含深层语义分析的隐藏状态,进行相对位置嵌入,得到子对矩阵;根据得到的子对矩阵,结合预设激活函数和预设情感词典,得到情感原因子句对;本公开通过端到端的一步式框架,实现了情感原因子句对的更准确提取。

Description

基于语义决策图神经网络的情感原因子句对提取方法
技术领域
本公开涉及文本数据处理技术领域,特别涉及一种基于语义决策图神经网 络的情感原因子句对提取方法。
背景技术
本部分的陈述仅仅是提供了与本公开相关的背景技术,并不必然构成现有 技术。
情感原因提取(ECE,Emotion-Cause Extraction)的目的是提取导致文本情 感极性的潜在原因。ECE任务提出以来,它在自然语言处理领域受到广泛关注。 有研究人员提出了基于语言结构的方法、基于情感词汇的方法以及基于常识性 知识库的方法。然而,ECE需要大量的情感标签,而情感标签的标注是相当耗 费人力和物力的,这一缺点限制了ECE在实践中的适用性。
为了解决ECE的这一局限性,研究人员提出了情感因对提取(ECPE, Emotion-Cause Pair Extraction)任务。ECPE是一项新的任务,它从未注释的情 感文本中识别情感子句和相应的原因子句。这涉及两个主要的子任务:1)从未 注释的情感文本中提取情感子句和原因子句;2)将情感子句与相应的原因子句 匹配,并抹除不存在的因果关系。
发明人发现,现有技术中提出了一个两步框架,以执行ECPE任务。在第 一步中,多任务长期短期记忆(LSTM,Long Short-Term Memory)网络分别提 取情感子句和原因子句;在第二步中,使用二进制分类器从所有可能的对中筛 选情感原因子句对,这种分步式的方法会在第二步中放大第一步的任何错误分 类;有部分研究将ECPE任务转化为一个类似于分析有向图构造的过程,但是 在捕获子句的隐藏状态时使用的LSTM,这种方法存在长距离依赖的缺点;现有 技术的方案在文本中包含多个情感原因对的场景中也存在缺陷,由于缺乏对深 度语义信息的理解,往往会忽略了子句的隐藏状态。
发明内容
为了解决现有技术的不足,本公开提供了一种基于语义决策图神经网络的 情感原因子句对提取方法,实现了情感原因子句对的更准确提取。
为了实现上述目的,本公开采用如下技术方案:
本公开第一方面提供了一种基于语义决策图神经网络的情感原因子句对提 取方法。
一种基于语义决策图神经网络的情感原因子句对提取方法,包括以下过程:
获取包含多个字句的文本数据;
根据获取的文本数据,得到文本特征序列;
根据获取的文本特征序列,构造文本的图结构化数据,结合图神经网络, 得到更新的子句表示;
根据更新的子句表示和预设的语义决策单元,得到各个子句的包含深层语 义分析的隐藏状态;
根据各个子句的包含深层语义分析的隐藏状态,进行相对位置嵌入,得到 子对矩阵;
根据得到的子对矩阵,结合预设激活函数和预设情感词典,得到情感原因 子句对。
进一步的,根据获取的文本数据,得到文本特征序列,包括以下过程:
利用基于转换器的双向编码表征对单词嵌入进行预处理,得到子句特征序 列;
对每个子句特征序列进行平均,得到文本的特征序列。
进一步的,根据获取的文本特征序列,采用K近邻算法构造文本的图结构 化数据,包括以下过程:
使用K近邻算法计算任一个子句隐藏状态与语义空间中所有其他隐藏状态 之间的关联程度,选出与当前子句连接最紧密的关联程度,结合当前的子句隐 藏状态,得到当前子句的图结构化数据。
进一步的,结合注意力机制,通过图形卷积操作更新每个节点的隐藏状态, 得到更新的子句表示。
进一步的,根据更新的子句表示和预设的语义决策单元,得到各个子句的 包含深层语义分析的隐藏状态,包括以下过程:
根据更新的子句表示与子句级的隐藏状态的乘积再与更新的子句表示的加 和,得到语义决策单元的输出;
将语义决策单元的输出输入到Relu中生成包含深层语义分析的隐藏状态。
进一步的,根据各个子句的包含深层语义分析的隐藏状态,进行相对位置 嵌入,得到子对矩阵,包括以下过程:
当两个子句的相对位置小于或等于预设阈值,则作为候选情感原因对;
使用具备位置缓冲区的曲线函数,根据从句的绝对位置分配权重,得到子 句对矩阵。
进一步的,根据得到的子对矩阵,结合预设激活函数和预设情感词典,得 到情感原因子句对,包括以下过程:
使用预设激活函数来预测每一个子句对是情感原因子句对的可能性,从中 选择最有可能的情感原因对,筛选出高概率子句对,用情感字典的方法来确定 高概率子句对是否包含情感词语,进而得到文本中所有的情感原因子句对。
本公开第二方面提供了一种基于语义决策图神经网络的情感原因子句对提 取系统。
一种基于语义决策图神经网络的情感原因子句对提取系统,包括:
数据获取模块,被配置为:获取包含多个字句的文本数据;
文本特征提取模块,被配置为:根据获取的文本数据,得到文本特征序列;
图卷积处理模块,被配置为:根据获取的文本特征序列,构造文本的图结 构化数据,结合图神经网络,得到更新的子句表示;
语音决策模块,被配置为:根据更新的子句表示和预设的语义决策单元, 得到各个子句的包含深层语义分析的隐藏状态;
相对位置嵌入模块,被配置为:根据各个子句的包含深层语义分析的隐藏 状态,进行相对位置嵌入,得到子对矩阵;
情感原因子对获取模块,被配置为:根据得到的子对矩阵,结合预设激活 函数和预设情感词典,得到情感原因子句对。
本公开第三方面提供了一种计算机可读存储介质,其上存储有程序,该程 序被处理器执行时实现如本公开第一方面所述的基于语义决策图神经网络的情 感原因子句对提取方法中的步骤。
本公开第四方面提供了一种电子设备,包括存储器、处理器及存储在存储 器上并可在处理器上运行的程序,所述处理器执行所述程序时实现如本公开第 一方面所述的基于语义决策图神经网络的情感原因子句对提取方法中的步骤。
与现有技术相比,本公开的有益效果是:
1、本公开所述的方法、系统、介质或电子设备,针对分步式方法的错误传 播的问题,提出端到端的一步式框架,用于情感原因子句对的更准确提取。
2、本公开所述的方法、系统、介质或电子设备,针对长距离依赖问题,采 用图卷积网络来获取句子的隐藏状态,将每个子句视为图中的一个节点,并通 过每对节点之间的信息传递来提取包含文本语义结构的隐藏状态。
3、本公开所述的方法、系统、介质或电子设备,针对多个情感原因对的场 景中的深度语义信息理解问题,提出语义决策分析单元,给每个子句同等的地 位,并将每个子句与之有最高程度相关性的子句结合起来,从而挖掘子句更深 层次的语义信息来应对文本中包含多个情感原因对的场景。
附图说明
构成本公开的一部分的说明书附图用来提供对本公开的进一步理解,本公 开的示意性实施例及其说明用于解释本公开,并不构成对本公开的不当限定。
图1为本公开实施例1提供的基于语义决策图神经网络的情感原因子句对 提取方法的模型结构示意图。
图2为本公开实施例1提供的语义决策单元示意图。
图3为本公开实施例1提供的位置嵌入层对情感原因对提取任务的影响示 意图。
图4为本公开实施例1提供的情感原因对提取任务中的位置嵌入层实验示 意图。
图5为本公开实施例1提供的注意力可视化权重示意图一。
图6为本公开实施例1提供的注意力可视化权重示意图二。
具体实施方式
下面结合附图与实施例对本公开作进一步说明。
应该指出,以下详细说明都是例示性的,旨在对本公开提供进一步的说明。 除非另有指明,本文使用的所有技术和科学术语具有与本公开所属技术领域的 普通技术人员通常理解的相同含义。
需要注意的是,这里所使用的术语仅是为了描述具体实施方式,而非意图 限制根据本公开的示例性实施方式。如在这里所使用的,除非上下文另外明确 指出,否则单数形式也意图包括复数形式,此外,还应当理解的是,当在本说 明书中使用术语“包含”和/或“包括”时,其指明存在特征、步骤、操作、器 件、组件和/或它们的组合。
在不冲突的情况下,本公开中的实施例及实施例中的特征可以相互组合。
实施例1:
本公开实施例1提供了一种基于语义决策图神经网络的情感原因子句对提 取方法,采用一个一步式的框架,即SGCN(Semantic Decision Graph ConvolutionalNetwork),其总体结构如图1所示。
SGCN由五大部分组成:第一部分是嵌入层,用于获取子句特征序列;第二 部分是图隐藏层,用于获取文本隐藏状态;第三部分是语义决策层,用于捕捉 深层语义信息;第四部分为位置嵌入层,用于导入位置信息;第五部分是情绪 原因子句对预测层,用于预测情绪因子句对。
具体的,包括以下内容:
S1:嵌入层
给定一个包含n个子句的文本序列T={c1,c2,...,cn,},每一个子句
Figure BDA0003087481970000071
包含有m个词。
利用BERT(Bidirectional Encoder Representation from Transformers)对单词 嵌入进行预处理,得到子句特征序列
Figure BDA0003087481970000072
ci和hi的长度相同, 输入序列的转换过程如下所示:
Figure BDA0003087481970000073
然后对每个子句的特征序列进行平均,最后,得到了文本的特征序列
Figure BDA0003087481970000074
这一过程的细节如下所示:
Figure BDA0003087481970000075
Figure BDA0003087481970000076
S2:图隐藏层
子句之间的交互关系对于提取情感因对是有用的,在获得文本中子句的特 征后,充分利用了子句之间的交互关系,本实施例提出了使用K近邻(KNN, K-Nearest Neighbor)方法为文本构造图形结构,然后将图结构化数据作为图神 经网络的输入从而捕获文本的隐藏状态。
首先使用嵌入层的输出作为图隐藏层的输入,然后使用KNN计算
Figure BDA0003087481970000077
与语义 空间中所有其他隐藏状态之间的关联程度,其计算过程如下:
Figure BDA0003087481970000078
Figure BDA0003087481970000079
Figure BDA00030874819700000710
中取出与
Figure BDA00030874819700000711
连接最紧密的
Figure BDA00030874819700000712
Figure BDA00030874819700000713
然后基于
Figure BDA00030874819700000714
Figure BDA00030874819700000715
构造图 结构数据;对于隐藏序列hc包含n个Gi,将图结构数据定义为Gi={ui,uv1,uv2}, ui表示当前节点的特征,uv1和uv2表示图中连接到点ui的两个节点;最后,从原 始特征序列hc中,得到了适合模型的图结构数据G。
在下一步中,将使用图卷积神经网络来获得隐藏状态,其中包含子句的相 关性。通过图形卷积操作更新每个节点的隐藏状态如下:
Figure BDA0003087481970000081
其中,N是它的邻居节点的集合(在本例中包含文本中的两个节点),
Figure BDA0003087481970000082
表 示图形神经网络的l层中的隐藏状态,ai,j是节点i和节点j的注意力得分,ai,j的计 算过程如下:
Figure BDA0003087481970000083
Figure BDA0003087481970000084
在计算隐藏状态相似性
Figure BDA0003087481970000085
使用注意力,这可以帮助模型增加关注度,第1 个图神经网络层矩阵形式的描述如下所示:
Figure BDA0003087481970000086
Figure BDA0003087481970000087
时,图神经网络第一层的输入
Figure BDA0003087481970000088
就是嵌入层的输出,通过堆叠l层以建模子句间关系,最后一层的输出是更新的子句表示 H(l)={h1,h2,...,hn}。
S3:语义决策层
语义决策层由多个相同的单一结构组成。每个单一结构都以从句隐藏状态 为核心元素,对从句进行语义决策分析。单个结构按照相同的原则分为n个语义 决策分析单元(SDA,Semantic Decision Analysis units),n是文本中的子句数。 多个SDA可以赋予每个子句相等的地位。然后,对于每个子句,选择与其关联 度最深的子句。通过这种特殊的机制,给每个子句一个平等的机会,充分利用 了文本的全局语义结构,SDA单元如图2所示。
首先将隐藏层的结果{h1,h2,...,hn}输入的语义决策分析单元。然后经过一系 列的变换得到
Figure BDA0003087481970000091
具体过程如下所示:
Figure BDA0003087481970000092
Figure BDA0003087481970000093
Figure BDA0003087481970000094
子句级的隐藏状态,函数F表示hi和hj之间的相关性。
Figure BDA0003087481970000095
然后将SDA的输出的结果输出到Relu中生成包含深层语义分析的隐藏状态 Z:
Figure BDA0003087481970000096
在获得更新的子句隐藏状态z后,将它输入预输出层,以预测该子句是否为 原因子句,具体过程如下:
Figure BDA0003087481970000097
其中,wcau和bcau是可学习的参数,
Figure BDA0003087481970000098
表示某一子句是原因子句的可能性。
S4:位置嵌入层
两个子句之间的相对位置是识别情感原因对的关键。因此,通过相对位置 嵌入学习将相对位置信息注入到隐藏状态中。
假设如果两个子句在文本中的相对位置太大,它们形成子句对的概率就会 很小,考虑每个子句对(zi,zj),对于这两个子句的相对位置小于或等于阈值β则 作为候选情感原因对。
使用可以提供位置缓冲区的曲线函数,根据从句的绝对位置分配权重(当 子句位置更接近时,位置权重的变化率更小)。最后,得到n*n的子句对矩阵, 具体的位置嵌入过程如下:
Figure BDA0003087481970000101
其中,rij表示子句的隐藏状态之间的绝对位置权重,γ的目的是将位置权重 限制在(0,1)之间。只有当的rij值不是0时,才能执行下一步位置嵌入操作, 具体的嵌入过程如下:
Figure BDA0003087481970000102
Figure BDA0003087481970000103
其中,wz和bz是可学习的参数,[,]表示向量之间的连接,
Figure BDA0003087481970000104
表示子句对 矩阵中的i行和j列。
S5:情感原因对预测层
该层使用激活函数
Figure BDA0003087481970000105
来预测某一个子句对是情感原因子句对的可能性,其具 体过程如下所示:
Figure BDA0003087481970000106
在测试阶段,从中选择最有可能的情感原因对,该子句对yij由子句ci和子 句cj组成。然后从y中筛选出高概率子句对组合。
用情感字典的方法来确定ck是否包含情感词语(假设ck是高概率子句对的组 成部分((ck,cl))),如果包含情感词语,认为这个子句对是正确的情感原因子 句对。通过这种方法,可以提取文本中的多个情感原因子句对。
实验验证:
(1)实验环境及条件
表1实验数据集
分类 数量
文档中包含一对情感原因子句 1746
文档中包含两对情感原因子句 177
文档中包含多对情感原因子句 22
总计 1945
使用了由可公开使用的数据集来进行实验。该数据集由1945段来自新浪新 闻的文本组成。在实验中,将数据分为10个部分(10倍交叉验证)。该数据集 在表1中有详细的说明。对于模型性能比较,选择精度P,召回率R和F1值作为评 价指标,计算如下:
Figure BDA0003087481970000111
Figure BDA0003087481970000112
Figure BDA0003087481970000113
其中,proposed pairs表示模型预测的情绪-原因子句对的数量,correct pairs表示标记并预测为情绪-原因子句对的数量。annotated pairs表示被标记的子句对 的数量。
dropout为0.3,位置阈值为5。使用Adam优化器和0.001的学习率来训练 SGCN,并将正则化系数设置为1e-5。预训练的BERT的嵌入维数是768,并且使 用BERT作为情感词的基础。
(2)对比模型
为了评估SGCN的性能,本实施例考虑了6个基线模型与SGCN的实验结果进 行对比,并设计了相关实验来分析SGCN各个部分的作用,基线模型的简要介绍 如下所示:
Indep用双向LSTM网络编码子句,Indep使用两个双向LSTM网络提取情感子 句和原因子句从而最终完成情感原因子句提取任务。
Inter-CE在Indep的基础上提取出原因子句,然后利用提取的原因子句辅助模 型提取情感子句,最终利用提取出的情感子句和原因子句完成情感原因子句提 取任务。
Inter-EC在Indep的基础上提取出情感子句,然后利用提取的情感子句辅助模 型提取原因子句,最终利用提取出的情感子句和原因子句完成情感原因子句提 取任务。
ECPE-2D使用二维表示来表达情绪原因子句对,进一步提出了一个2Dtransformer模块来建模情感原因子句对的相互作用。
RANKCP使用一步式神经方法,强调跨区域建模来执行端到端提取。同时, 它也将图神经网络应用于这项任务。
TransECPE使用了一个基于转换的模型,它将任务转换为一个类似于解析有 向图构造的过程。
(3)主要分析
表2实验结果,基线模型的实验结果从已发表的论文中检索。
Figure BDA0003087481970000121
Figure BDA0003087481970000131
表2显示了基线模型和SGCN在ECPE任务中的表现,与所有基线模型相比, 在三个任务的F1方面获得了最佳的结果,在其他指标方面获得了优异的结果。 相比于于一步式模型,SGCN的性能在所有指标上显著优于Indep和Indep的变种 模型Inter-CE、Inter-EC。SGCN的在情感原因提取任务F1评分分别比三种模型高 出13.22%、7.94%和13.22%,在原因子句提取任务上F1评分分别比三种模型高出 15.79%、16.33%和12.77%。这可能是因为误差跨阶段传播发生在一步式模型中, 而这个问题在一步式SGCN模型中得到了解决。这也进一步说明一步式模型比两 步式模型更适合于情感原因子句对提取任务。
与其他一步式模型相比,发现一步模型优于上面的两步模型。接下来,将 SGCN与三个两步模型(ECPE-2D、RANKCP和TransECPE)进行比较。SGCN 在情感原因子句对提取的3个指标上优于ECPE-2D,其中F1,P,R分别高于 ECPE-2D 1.58%,7.57%和7.31%,在原因子句提取任务上评分比三种模型高出 4.48%、8.08%和4.19%。这是因为SGCN的图卷积神经网络的特征提取能力比2D transformer模块的特征提取能力更强。在捕获全局文本相关特征方面,图结构转 换的神经网络的性能明显优于transformer模块。
总的来说,本实施例所述的方法模型优于RANKCP,与RANKCP相比,在 情感原因子句对提取任务和原因子句提取任务上的2项指标均实现了突破。在情 感原因子句提取任务F1和P分别高于RANKCP 0.9%和1.82%。由于这是由于语义 决策层给每个子句提供了相同的机会,这有助于SGCN从深层语义的角度分析句 子从而完成情感原因子句对提取任务。
本实施例的模型在该项任务上的所有指标都优于TransECPE。在情感原因子 句提取任务上取得了0.76%,9.94%和8.21%的领先优势,在原因子句提取任务上 取得了2.22%,12.71%和5.68%的领先优势。TransECPE通过分析有向图的方式 来完成该任务。然而,由于使用LSTM捕获隐藏状态,TransECPE的远程依赖问 题将导致模型丢失重要的子句信息,本实施例通过图结构化信息的传输来缓解 这一问题。
(4)原因子句任务提取评估
由于SGCN是一个多任务学习框架,在原因子句提取任务上的性能对SGCN 评估也很重要。通过将SGCN与现有的提取方法进行比较,方法如下:
RB是一个基于规则的系统,通过使用手动定义的语言规则来完成该项任务。
MULTI-KERNEL提出了一种基于多核支持向量机的事件驱动原因子句提 取方法。
CANN将具有基于共享注意的双向长时记忆的子句编码为输入表示,进一步 将其输入到卷积层中进行情感原因子句提取。
RTHN提出了一种联合情感原因提取框架,该框架由一个基于RNN的下词级 编码器组成,用于对每个子句中的多个单词进行编码,以及一个基于Transformer 的上子句级编码器来学习文档中多个子句之间的相关性。
ECJD考虑利用情绪检测作为先验知识的相对位置进行原因子句检测,提高 模型效率。
表3原因子句提取任务的结果
Figure BDA0003087481970000151
表3显示了SGCN在情感原因提取任务上的性能优于现有的方法。基于规则 的方法RB和传统的机器学习MULTI-KERNE方法分别比F1中的SGCN低25.41% 和10.32%。在三个指标方面,SGCN在原因子句提取任务方面优于CANN和 RTHN。CANN和RTHN在提取文本的隐藏状态时都使用了传统的序列化神经网 络LSTM,而SGCN则使用图结构化数据来捕获隐藏状态。因此,假设这是由于 图神经网络在提取不同子句的交互关系方面具有巨大的优势。SGCN在任务上的 所有度量指标方面都优于ECJD,与SGCN相比,ECJD的F1值下降了5.56%,将 其归因于SDA,给予每个子句相同的机会,这帮助SGCN为任务筛选有用的子句。 在原因子句提取任务上,SGCN在两个指标方面优于FSS-GCN,这是由于语义决 策分析单元的协同效应。上述方法大多使用已标注的情感子句作为模型输入, 而SGCN需要已标注情绪子句作为模型输入。它仍然优于上述方法,这进一步说 明了多任务框架SGCN在该项任务上仍然有着优异的表现。
(5)位置嵌入层的影响
为了探讨位置嵌入层对整体网络体系结构的影响,进行了两次相关的研究 实验。首先将位置权重更改为线性相关权重进行实验,然后删除了位置权重并 进行了相关实验。根据图3,具有位置信息的网络的性能显著优于没有位置信息 的网络。这是因为文本通常表达连贯的语义内容,而可以形成子句对的子句之 间的相对距离通常很短。总的来说,具有位置权重的SGCN优于另外两个实验样 本。这是因为线性权重盲目地以一个固定比例降低了权重注意力,从而导致重 要子句对的信息丢失。SGCN采用相对平滑的位置权重(权重缓冲区),从而充 分利用子句之间的位置信息。
此外,为了探索缓冲区对SGCN的影响,改变了阈值,并进行了相关的实验。 实验结果见图4。如图4所示,当阈值小于5时,SGCN的整体性能呈上升趋势, 当阈值等于5时得到最佳结果,这是因为数据集通常由具有完整语义信息的连贯 文档组成;因此具有高相关性的重要子句信息的绝对位置通常是密切的。只能 将阈值扩展到合适的值,SGCN可以在缓冲区提取包含重要语义信息的子句。然 而,当阈值在5到10之间时,SGCN的整体性能随着阈值的增加而呈下降趋势。 假设这是当阈值在5-10的范围内。虽然可以提取包含重要语义信息的子句,但一 个太大的阈值会增加缓冲区中无关紧要的子句的数量,这会产生更多的噪声,并影响SGCN的整体性能。因此,在SGCN中选择最合适的阈值5。
(6)句子中包含多个情感原因子句对的情况研究
表4原因子句提取实验结果
Figure BDA0003087481970000161
Figure BDA0003087481970000171
在实验中,发现数据集中的一些文本包含有多个情感原因子句对,为了评 估网络结构的鲁棒性,从原始数据集中分别提取包含多个情感原因子句对的文 本和只有一个情感原因子句对的文本,形成两个新的数据集,并分别进行相关 的比较实验。实验结果见表4。根据表4中的实验数据,SGCN的性能总体优于EC 间和RANKCP,尤其是F1值和R值,取得了较大的领先,给每个子句平等机会匹 配配对的方法在处理这一场景中发挥了重要作用。这进一步表明,SGCN在有效 地提取子句的深层语义隐藏状态时,可以适应各种特殊情况。
(7)个例研究
表5提供了关于文本ID、子句编号情感原因对信息。这两个案例包括只有一 个情感原因子句对的文本和有多个情感原因子句对的文本。为了更直观地评估 SGCN,在图5和图6中可视化了这些文本的注意力。其中水平和垂直坐标表示句 子索引。
表5可视化研究案例概况
文本编号 文本句子数量 情感子句编号 原因子句编号 情感原因子句对
66 20 C7 C6 [C7,C6]
243 13 C7,C13 C6,C12 [C7,C6],[C13,C12]
如图5所示,SGCN对子句对[C7,C6]给予了高度的关注度,同时减弱了对 其他子句对的关注。这表明SIGCN能够捕获子句的深层语义信息,而忽略干扰 信息。同样,可以在图6中验证相同的结果。具体来说,图6显示了具有两个情 感原因对的文本的可视化情况。深色主要围绕着[C7、C6]和[C13、C12]。这进 一步表明,SGCN可以适应多种情绪原因对的场景。
如图5所示,SGCN对子句对[C7,C6]给予了高度的关注度,同时减弱了对 其他子句对的关注。这表明SIGCN能够捕获子句的深层语义信息,而忽略干扰 信息。同样,可以在图6中验证相同的结果。具体来说,图6显示了具有两个情 感原因对的文本的可视化情况。深色主要围绕着[C7、C6]和[C13、C12]。这进 一步表明,SGCN可以适应多种情绪原因对的场景。
实施例2:
本公开实施例2提供了一种基于语义决策图神经网络的情感原因子句对提 取系统,包括:
数据获取模块,被配置为:获取包含多个字句的文本数据;
文本特征提取模块,被配置为:根据获取的文本数据,得到文本特征序列;
图卷积处理模块,被配置为:根据获取的文本特征序列,构造文本的图结 构化数据,结合图神经网络,得到更新的子句表示;
语音决策模块,被配置为:根据更新的子句表示和预设的语义决策单元, 得到各个子句的包含深层语义分析的隐藏状态;
相对位置嵌入模块,被配置为:根据各个子句的包含深层语义分析的隐藏 状态,进行相对位置嵌入,得到子对矩阵;
情感原因子对获取模块,被配置为:根据得到的子对矩阵,结合预设激活 函数和预设情感词典,得到情感原因子句对。
所述系统的工作方法与实施例1提供的基于语义决策图神经网络的情感原 因子句对提取方法相同,这里不再赘述。
实施例3:
本公开实施例3提供了一种计算机可读存储介质,其上存储有程序,该程序 被处理器执行时实现如本公开实施例1所述的基于语义决策图神经网络的情感 原因子句对提取方法中的步骤。
实施例4:
本公开实施例4提供了一种电子设备,包括存储器、处理器及存储在存储器 上并可在处理器上运行的程序,所述处理器执行所述程序时实现如本公开实施 例1所述的基于语义决策图神经网络的情感原因子句对提取方法中的步骤。
本领域内的技术人员应明白,本公开的实施例可提供为方法、系统、或计 算机程序产品。因此,本公开可采用硬件实施例、软件实施例、或结合软件和 硬件方面的实施例的形式。而且,本公开可采用在一个或多个其中包含有计算 机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储 器等)上实施的计算机程序产品的形式。
本公开是参照根据本公开实施例的方法、设备(系统)、和计算机程序产 品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或 方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结 合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或 其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可 编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个 流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备 以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的 指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流 程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使 得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处 理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个 流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程, 是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算 机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。 其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory, ROM)或随机存储记忆体(RandomAccessMemory,RAM)等。
以上所述仅为本公开的优选实施例而已,并不用于限制本公开,对于本领 域的技术人员来说,本公开可以有各种更改和变化。凡在本公开的精神和原则 之内,所作的任何修改、等同替换、改进等,均应包含在本公开的保护范围之 内。

Claims (10)

1.一种基于语义决策图神经网络的情感原因子句对提取方法,其特征在于:包括以下过程:
获取包含多个字句的文本数据;
根据获取的文本数据,得到文本特征序列;
根据获取的文本特征序列,构造文本的图结构化数据,结合图神经网络,得到更新的子句表示;
根据更新的子句表示和预设的语义决策单元,得到各个子句的包含深层语义分析的隐藏状态;
根据各个子句的包含深层语义分析的隐藏状态,进行相对位置嵌入,得到子对矩阵;
根据得到的子对矩阵,结合预设激活函数和预设情感词典,得到情感原因子句对。
2.如权利要求1所述的基于语义决策图神经网络的情感原因子句对提取方法,其特征在于:
根据获取的文本数据,得到文本特征序列,包括以下过程:
利用基于转换器的双向编码表征对单词嵌入进行预处理,得到子句特征序列;
对每个子句特征序列进行平均,得到文本的特征序列。
3.如权利要求1所述的基于语义决策图神经网络的情感原因子句对提取方法,其特征在于:
根据获取的文本特征序列,采用K近邻算法构造文本的图结构化数据,包括以下过程:
使用K近邻算法计算任一个子句隐藏状态与语义空间中所有其他隐藏状态之间的关联程度,选出与当前子句连接最紧密的关联程度,结合当前的子句隐藏状态,得到当前子句的图结构化数据。
4.如权利要求1所述的基于语义决策图神经网络的情感原因子句对提取方法,其特征在于:
结合注意力机制,通过图形卷积操作更新每个节点的隐藏状态,得到更新的子句表示。
5.如权利要求1所述的基于语义决策图神经网络的情感原因子句对提取方法,其特征在于:
根据更新的子句表示和预设的语义决策单元,得到各个子句的包含深层语义分析的隐藏状态,包括以下过程:
根据更新的子句表示与子句级的隐藏状态的乘积再与更新的子句表示的加和,得到语义决策单元的输出;
将语义决策单元的输出输入到Relu中生成包含深层语义分析的隐藏状态。
6.如权利要求1所述的基于语义决策图神经网络的情感原因子句对提取方法,其特征在于:
根据各个子句的包含深层语义分析的隐藏状态,进行相对位置嵌入,得到子对矩阵,包括以下过程:
当两个子句的相对位置小于或等于预设阈值,则作为候选情感原因对;
使用具备位置缓冲区的曲线函数,根据从句的绝对位置分配权重,得到子句对矩阵。
7.如权利要求1所述的基于语义决策图神经网络的情感原因子句对提取方法,其特征在于:
根据得到的子对矩阵,结合预设激活函数和预设情感词典,得到情感原因子句对,包括以下过程:
使用预设激活函数来预测每一个子句对是情感原因子句对的可能性,从中选择最有可能的情感原因对,筛选出高概率子句对,用情感字典的方法来确定高概率子句对是否包含情感词语,进而得到文本中所有的情感原因子句对。
8.一种基于语义决策图神经网络的情感原因子句对提取系统,其特征在于:包括:
数据获取模块,被配置为:获取包含多个字句的文本数据;
文本特征提取模块,被配置为:根据获取的文本数据,得到文本特征序列;
图卷积处理模块,被配置为:根据获取的文本特征序列,构造文本的图结构化数据,结合图神经网络,得到更新的子句表示;
语音决策模块,被配置为:根据更新的子句表示和预设的语义决策单元,得到各个子句的包含深层语义分析的隐藏状态;
相对位置嵌入模块,被配置为:根据各个子句的包含深层语义分析的隐藏状态,进行相对位置嵌入,得到子对矩阵;
情感原因子对获取模块,被配置为:根据得到的子对矩阵,结合预设激活函数和预设情感词典,得到情感原因子句对。
9.一种计算机可读存储介质,其上存储有程序,其特征在于,该程序被处理器执行时实现如权利要求1-7任一项所述的基于语义决策图神经网络的情感原因子句对提取方法中的步骤。
10.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的程序,其特征在于,所述处理器执行所述程序时实现如权利要求1-7任一项所述的基于语义决策图神经网络的情感原因子句对提取方法中的步骤。
CN202110584122.XA 2021-05-27 2021-05-27 基于语义决策图神经网络的情感原因子句对提取方法 Active CN113505583B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110584122.XA CN113505583B (zh) 2021-05-27 2021-05-27 基于语义决策图神经网络的情感原因子句对提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110584122.XA CN113505583B (zh) 2021-05-27 2021-05-27 基于语义决策图神经网络的情感原因子句对提取方法

Publications (2)

Publication Number Publication Date
CN113505583A true CN113505583A (zh) 2021-10-15
CN113505583B CN113505583B (zh) 2023-07-18

Family

ID=78008712

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110584122.XA Active CN113505583B (zh) 2021-05-27 2021-05-27 基于语义决策图神经网络的情感原因子句对提取方法

Country Status (1)

Country Link
CN (1) CN113505583B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114817566A (zh) * 2022-04-29 2022-07-29 天津大学 基于情绪嵌入的情绪原因对抽取方法
CN115841119A (zh) * 2023-02-21 2023-03-24 中国科学技术大学 一种基于图结构的情绪原因提取方法
CN117787267A (zh) * 2023-12-29 2024-03-29 广东外语外贸大学 一种基于神经网络的情感原因对提取方法及系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110162636A (zh) * 2019-05-30 2019-08-23 中森云链(成都)科技有限责任公司 基于d-lstm的文本情绪原因识别方法
CN110717334A (zh) * 2019-09-10 2020-01-21 上海理工大学 基于bert模型和双通道注意力的文本情感分析方法
CN111090985A (zh) * 2019-11-28 2020-05-01 华中师范大学 一种基于siamese网络和多核心LEAM架构的中文文本难度评估方法
CN111259142A (zh) * 2020-01-14 2020-06-09 华南师范大学 基于注意力编码和图卷积网络的特定目标情感分类方法
CN111506732A (zh) * 2020-04-20 2020-08-07 北京中科凡语科技有限公司 一种文本多层次标签分类方法
CN111563164A (zh) * 2020-05-07 2020-08-21 成都信息工程大学 一种基于图神经网络的特定目标情感分类方法
CN112016303A (zh) * 2020-09-07 2020-12-01 平安科技(深圳)有限公司 基于图神经网络的文本纠错方法、装置、设备及存储介质
CN112231476A (zh) * 2020-10-14 2021-01-15 中国科学技术信息研究所 一种改进的图神经网络科技文献大数据分类方法
CN112380345A (zh) * 2020-11-20 2021-02-19 山东省计算中心(国家超级计算济南中心) 一种基于gnn的covid-19科学文献细粒度分类方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110162636A (zh) * 2019-05-30 2019-08-23 中森云链(成都)科技有限责任公司 基于d-lstm的文本情绪原因识别方法
CN110717334A (zh) * 2019-09-10 2020-01-21 上海理工大学 基于bert模型和双通道注意力的文本情感分析方法
CN111090985A (zh) * 2019-11-28 2020-05-01 华中师范大学 一种基于siamese网络和多核心LEAM架构的中文文本难度评估方法
CN111259142A (zh) * 2020-01-14 2020-06-09 华南师范大学 基于注意力编码和图卷积网络的特定目标情感分类方法
CN111506732A (zh) * 2020-04-20 2020-08-07 北京中科凡语科技有限公司 一种文本多层次标签分类方法
CN111563164A (zh) * 2020-05-07 2020-08-21 成都信息工程大学 一种基于图神经网络的特定目标情感分类方法
CN112016303A (zh) * 2020-09-07 2020-12-01 平安科技(深圳)有限公司 基于图神经网络的文本纠错方法、装置、设备及存储介质
CN112231476A (zh) * 2020-10-14 2021-01-15 中国科学技术信息研究所 一种改进的图神经网络科技文献大数据分类方法
CN112380345A (zh) * 2020-11-20 2021-02-19 山东省计算中心(国家超级计算济南中心) 一种基于gnn的covid-19科学文献细粒度分类方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
DIANYUAN ZHANG 等: "Multiple Interactive Attention Networks for Aspect-Based Sentiment Classification", 《MDPI》, pages 1 - 15 *
SEOKHO KANG: "k-Nearest Neighbor Learning with Graph Neural Networks", 《MDPI》, pages 1 - 12 *
WEIJIE LIU 等: "K-BERT:Enabling Language Representation with Knowledge Graph", 《ARXIV》, pages 1 - 8 *
ZIXIANG DING 等: "ECPE-2D: Emotion-Cause Pair Extraction based on Joint Two-Dimensional Representation, Interaction and Prediction", 《ACL2020》, pages 3161 - 3170 *
李文宽 等: "基于卷积神经网络和贝叶斯分类器的句子分类模型", 《计算机应用研究》, pages 333 - 336 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114817566A (zh) * 2022-04-29 2022-07-29 天津大学 基于情绪嵌入的情绪原因对抽取方法
CN114817566B (zh) * 2022-04-29 2023-03-10 天津大学 基于情绪嵌入的情绪原因对抽取方法
CN115841119A (zh) * 2023-02-21 2023-03-24 中国科学技术大学 一种基于图结构的情绪原因提取方法
CN115841119B (zh) * 2023-02-21 2023-06-16 中国科学技术大学 一种基于图结构的情绪原因提取方法
CN117787267A (zh) * 2023-12-29 2024-03-29 广东外语外贸大学 一种基于神经网络的情感原因对提取方法及系统
CN117787267B (zh) * 2023-12-29 2024-06-07 广东外语外贸大学 一种基于神经网络的情感原因对提取方法及系统

Also Published As

Publication number Publication date
CN113505583B (zh) 2023-07-18

Similar Documents

Publication Publication Date Title
CN112214995B (zh) 用于同义词预测的分层多任务术语嵌入学习
CN109840287B (zh) 一种基于神经网络的跨模态信息检索方法和装置
CN108363790B (zh) 用于对评论进行评估的方法、装置、设备和存储介质
CN106202010B (zh) 基于深度神经网络构建法律文本语法树的方法和装置
CN111444340A (zh) 文本分类和推荐方法、装置、设备及存储介质
CN111191002B (zh) 一种基于分层嵌入的神经代码搜索方法及装置
CN109543722A (zh) 一种基于情感分析模型的情感趋势预测方法
CN107273913B (zh) 一种基于多特征融合的短文本相似度计算方法
CN113505583A (zh) 基于语义决策图神经网络的情感原因子句对提取方法
JP7139626B2 (ja) フレーズ生成関係性推定モデル学習装置、フレーズ生成装置、方法、及びプログラム
CN111858932A (zh) 基于Transformer的多重特征中英文情感分类方法及系统
CN110569355B (zh) 一种基于词块的观点目标抽取和目标情感分类联合方法及系统
CN108108347B (zh) 对话模式分析系统及方法
CN110688489A (zh) 基于交互注意力的知识图谱推演方法、装置和存储介质
CN113392209A (zh) 一种基于人工智能的文本聚类方法、相关设备及存储介质
CN111400494A (zh) 一种基于GCN-Attention的情感分析方法
CN108536735A (zh) 基于多通道自编码器的多模态词汇表示方法与系统
CN114528398A (zh) 一种基于交互双重图卷积网络的情感预测方法及系统
CN115203507A (zh) 一种面向文书领域的基于预训练模型的事件抽取方法
CN111400492A (zh) 基于sfm-dcnn的层次特征文本分类方法和系统
CN111159405B (zh) 基于背景知识的讽刺检测方法
CN114254645A (zh) 一种人工智能辅助写作系统
CN114065769B (zh) 情感原因对抽取模型的训练方法、装置、设备及介质
CN110852066A (zh) 一种基于对抗训练机制的多语言实体关系抽取方法及系统
CN113780418B (zh) 一种数据的筛选方法、系统、设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant