CN112632230B - 一种基于多层级图网络的事件联合抽取方法及装置 - Google Patents

一种基于多层级图网络的事件联合抽取方法及装置 Download PDF

Info

Publication number
CN112632230B
CN112632230B CN202011642751.5A CN202011642751A CN112632230B CN 112632230 B CN112632230 B CN 112632230B CN 202011642751 A CN202011642751 A CN 202011642751A CN 112632230 B CN112632230 B CN 112632230B
Authority
CN
China
Prior art keywords
sentence
event
graph network
word
words
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011642751.5A
Other languages
English (en)
Other versions
CN112632230A (zh
Inventor
孙显
张泽群
李树超
李晓宇
金力
吕建伟
李磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aerospace Information Research Institute of CAS
Original Assignee
Aerospace Information Research Institute of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aerospace Information Research Institute of CAS filed Critical Aerospace Information Research Institute of CAS
Priority to CN202011642751.5A priority Critical patent/CN112632230B/zh
Publication of CN112632230A publication Critical patent/CN112632230A/zh
Application granted granted Critical
Publication of CN112632230B publication Critical patent/CN112632230B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/12—Use of codes for handling textual entities
    • G06F40/126—Character encoding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/12—Use of codes for handling textual entities
    • G06F40/14—Tree-structured documents
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Machine Translation (AREA)

Abstract

本发明提供一种基于多层级图网络的事件联合抽取方法及装置，方法包括：对输入的至少一个句子进行编码，基于编码后句子的依存句法树构建句子级的图网络，融入邻居节点代表的词的特征信息到当前词的特征信息中得到当前词新的特征信息，再根据不同句子之间的共现特征运算获取上下文句子的全局信息，将上下文句子的全局信息与当前词新的特征信息进行融合，基于融合了上下文句子的全局信息与当前词新的特征信息的词，识别事件触发词，根据触发词识别事件要素，对事件触发词和事件要素进行联合抽取。通过本发明的基于多层级图网络的事件联合抽取方法及装置，能够实现对触发词和事件要素的精准联合抽取。

Description

一种基于多层级图网络的事件联合抽取方法及装置
技术领域
本发明涉及深度学习和自然语言处理技术领域，尤其涉及一种基于多层级图网络的事件联合抽取方法及装置、电子设备、存储介质。
背景技术
信息抽取是自然语言处理的基础任务，事件抽取作为其中的一个分支，具有极大的应用潜能。事件抽取分为事件触发词识别和事件要素识别两个子任务，触发词识别是检测出句子中最能代表事件发生的词，事件要素识别是提取出句子中事件发生的时间、地点、参与者等要素。事件抽取是信息抽取的重要组成部分，从非结构化的文本中抽取出用户感兴趣的事件，然后用结构化或半结构化的形式描述出来，供用户浏览、查询或者进一步分析利用。事件抽取具有更实用的价值和落地的可能。
现有的事件抽取方法，包括基于管道方法以及基于端到端的深度学习的方法，其中以基于端到端的深度学习方法最为普遍。在基于深度学习的事件抽取中，Bi-LSTM+CRF的方法较为直观，并且已经取得了一定的精度，该方法使用双向循环神经网络进行上下文特征提取，CRF模型约束序列标签的预测。然而，该类方法仍然存在着一些不足：在特征嵌入层，使用预训练的词向量，不能很好的区分一词多义问题。没有考虑到句子内部词和词之间的依存关系。没有充分地利用文档级别的信息。
发明内容
(一)要解决的技术问题
针对于现有的技术问题，本发明提供一种基于多层级图网络的事件联合抽取方法及装置、电子设备、存储介质，用于至少部分解决以上技术问题。
(二)技术方案
本发明一方面提供一种基于多层级图网络的事件联合抽取方法，包括：基于预训练语言模型，对输入的至少一个句子进行编码；基于编码后句子的依存句法树构建句子级的图网络，其中，句子级的图网络中的每一节点表示一个词，节点为第一节点；针对于每一个词，基于句子级的图网络，将当前词对应的节点周围的邻居节点代表的词的特征信息融入当前词的特征信息中，得到当前词新的特征信息；以句子为第二节点，根据不同句子之间的共现特征运算获取上下文句子的全局信息；将上下文句子的全局信息与当前词新的特征信息进行融合；基于融合了上下文句子的全局信息与当前词新的特征信息的词，识别事件触发词，根据触发词识别事件要素，对事件触发词和事件要素进行联合抽取。
可选地，对输入的至少一个句子进行编码，包括：构建BERT预训练语言模型；将至少一个句子输入BERT预训练语言模型进行双向编码。
可选地，采用基于自然语言处理工具Stanfordnlp构建的依存句法树；采用邻接矩阵来计算第一节点的特征信息。
可选地，识别事件触发词，包括：使用至少两个全连接层及条件随机场作为分类器，对句子进行序列标注。
可选地，句子包括实体，根据触发词识别事件要素，包括：将实体的特征与触发词的特征进行首尾拼接，通过全连接层进行角色分类，进而识别事件要素。
可选地，共现特征包括句子中的实体和/或动词的共现特征。
可选地，将上下文句子的全局信息与当前词新的特征信息进行融合，包括：基于注意力机制将上下文句子的全局信息与当前词新的特征信息进行融合。
本发明另一方面提供一种基于多层级图网络的事件联合抽取装置，包括：编码模块，用于基于预训练语言模型，对输入的至少一个句子进行编码；图网络构建模块，用于构建句子级的图网络和文档级的图网络，其中：构建句子级的图网络，包括：以句子中的词为第一节点，基于句子的依存句法树构建句子级的图网络，将当前词对应的节点周围的邻居节点代表的词的特征信息融入当前词的特征信息中，得到当前词新的特征信息；构建文档级的图网络，包括：以句子为第二节点，根据不同句子之间的共现特征运算获取上下文句子的全局信息；融合模块，用于将上下文句子的全局信息与当前词新的特征信息进行融合；识别与抽取模块，用于基于融合了上下文句子的全局信息与当前词新的特征信息的词，识别事件触发词，根据触发词识别事件要素，对事件触发词和事件要素进行联合抽取。
本发明另一方面还提供一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现上述基于多层级图网络的事件联合抽取方法。
本发明另一方面还提供一种计算机可读存储介质，存储有计算机可执行指令，所述指令在被执行时用于实现上述基于多层级图网络的事件联合抽取方法。
(三)有益效果
本发明提供一种基于多层级图网络的事件联合抽取方法及装置、电子设备、存储介质，基于自然语言处理工具得到的表示句子语法结构的依存句法树，利用图卷积神经网络进行树节点的更新，可以将当前词对应的节点周围的邻居节点代表的词的特征信息融入当前词的特征信息中，丰富词的上下文语义表示。
对于事件抽取任务来说，通过获取上下文句子的全局信息，将上下文句子的全局信息与当前词新的特征信息进行融合，可以丰富词的全局信息，再通过全连接层和条件随机场对句子进行序列标注，识别事件触发词及事件要素，实现了对触发词和事件要素的精准联合抽取。
使用预训练语言模型BERT用于词的特征表征，可以很好地丰富词的语义信息。
附图说明
图1示意性示出了本发明实施例的基于多层级图网络的事件联合抽取方法流程图；
图2示意性示出了本发明实施例的句子J1的依存句法树结构图；
图3示意性示出了本发明实施例的句子J1的邻接矩阵图；
图4示意性示出了本发明实施例的句子J1的句子级的图网络结构图；
图5示意性的示出了本发明实施例的文档级的图网络结构图；
图6示意性示出了本发明实施例的文档级信息的融合过程图；
图7示意性示出了本发明实施例的基于多层级图网络的事件联合抽取装置结构图；
图8示意性示出了本发明实施例的电子设备的框图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。
需要说明的是，在附图或说明书描述中，相似或相同的部分都使用相同的图号。说明书中示例的各个实施例中的技术特征在无冲突的前提下可以进行自由组合形成新的方案，另外每个权利要求可以单独作为一个实施例或者各个权利要求中的技术特征可以进行组合作为新的实施例，且在附图中，实施例的形状或是厚度可扩大，并以简化或是方便标示。再者，附图中未绘示或描述的元件或实现方式，为所属技术领域中普通技术人员所知的形式。另外，虽然本文可提供包含特定值的参数的示范，但应了解，参数无需确切等于相应的值，而是可在可接受的误差容限或设计约束内近似于相应的值。
除非存在技术障碍或矛盾，本发明的上述各种实施方式可以自由组合以形成另外的实施例，这些另外的实施例均在本发明的保护范围中。
虽然结合附图对本发明进行了说明，但是附图中公开的实施例旨在对本发明优选实施方式进行示例性说明，而不能理解为对本发明的一种限制。附图中的尺寸比例仅仅是示意性的，并不能理解为对本发明的限制。
虽然本发明总体构思的一些实施例已被显示和说明，本领域普通技术人员将理解，在不背离本总体发明构思的原则和精神的情况下，可对这些实施例做出改变，本发明的范围以权利要求和它们的等同物限定。
图1示意性示出了本发明实施例的基于多层级图网络的事件联合抽取方法流程图，如图1所示，方法包括：
S101，基于预训练语言模型，对输入的至少一个句子进行编码。
根据本发明的实施例，构建BERT预训练语言模型，使用BERT(Transformers双向编码表示)作为词嵌入表示，将至少一个句子输入BERT预训练语言模型进行双向编码。作为一个词向量(Word2Vec)的替代者，其在自然语言处理(NLP)领域的11个方向大幅刷新了精度。BERT使用了Transformer作为算法的主要框架，Transformer能更彻底的捕捉语句中的词的上下文双向关系，Transformer采用的自注意力机制在对一个词进行编码时，会考虑这个词上下文中的所有词和这些词对最终编码的贡献，再根据得到的信息对当前词进行编码；同时BERT使用了遮盖语言模型(MLM)和预测下个句子(Next Sentence Prediction)的多任务训练目标。BERT的本质上是通过在海量的语料的基础上运行自监督学习方法为单词学习一个好的特征表示，在以后特定的自然语言处理(NLP)任务中，可以利用BERT强大的表示能力作为该任务的词嵌入特征。
根据本发明的实施例，例如可以对下述五个句子进行事件提取：
J1：超商(A1)凌晨(A2)遭到了歹徒(A3)持刀抢劫(E1)。
J2：拿着刀他靠近店员，当然他的目标就是收银机。
J3：这名歹徒(A3)在店(A4)里头搜刮了长达半个小时才离去(E2)。
J4：仔细看看收银机旁，他离开时把水果刀给留下。
J5：这么笨的歹徒(A3)也难怪不到10分钟(A5)就被警察(A6)在附近的草丛里给逮捕(E3)。
上述五个句子来源于同一篇文档。本实施例中，存在的事件如下表1：
表1
事件 触发词 A1 A2 A3 A4 A5 A6
E1(攻击) 抢劫 地点 时间 攻击者 - - -
E2(移动) 离去 - - 人物 地点 - -
E3(逮捕) 逮捕 - - 人物 - 时间 主语
S102，基于编码后句子的依存句法树构建句子级的图网络，其中，句子级的图网络中的每一节点表示一个词，节点为第一节点。针对于每一个词，基于句子级的图网络，将当前词对应的节点周围的邻居节点代表的词的特征信息融入当前词的特征信息中，得到当前词新的特征信息。
根据本发明的实施例，基于词和词之间的依赖关系，构建邻接矩阵，同时根据邻接矩阵构建句子级的图网络。每个结点代表一个单词，结点与结点之间的连线代表词与词之间的依赖关系。对每个结点，获取其周围邻居结点的特征信息。计算公式如下：
gu，v＝σ(hu VK(u，v)+dK(u，v)) (1)
hu，v＝f(∑u∈N(v)gu，v(WK(u，v)hu+bK(u，v)) (2)
其中：σ是sigmoid函数，VK(u，v)和dK(u，v)是门控机制的权重矩阵和偏置项，K(u，v)代表结点u和v之间存在依赖关系，gu，v代表结点u和v之间的关系程度，N(v)代表结点v的邻居结点，WK(u，v)和bK(u，v)代表权重矩阵和偏置项hu代表邻居结点的特征信息，hu，v代表融入了邻居结点的特征信息的当前节点的特征表示。通过多次图卷积运算，当前节点的特征表示融入了邻居结点的特征信息。
图2示意性示出了本发明实施例的句子J1的依存句法树的结构图。
根据本发明的实施例，以句子J1为例，如图2所示，采用基于自然语言处理工具Stanfordnlp构建句子J1的依存句法树，获得一个句子中的词和词之间的依赖关系。
图3示意性示出了本发明实施例的句子J1的邻接矩阵图，即词和词之间存在依赖关系的位置标1，否则标0。
根据本发明的实施例，如图3所示，可以通过句子J1的邻接矩阵计算得到句子J1中的各个词(包含标点符号)的特征信息。
图4示意性示出了本发明实施例的句子J1的句子级的图网络结构图，每个结点代表一个单词，结点之间的连线代表词之间存在依赖关系。
根据本发明的实施例，如图4所示，以“遭到”结点为例，代入上述公式(1)和公式(2)，通过加权求和邻居结点(“超商”，“持”，“了”，“凌晨”，“。”)的特征信息，获得更新后的“遭到”结点的特征。
S103，以句子为第二节点，根据不同句子之间的共现特征运算获取上下文句子的全局信息。
根据本发明的实施例，对于事件抽取任务来说，文档级别的全局信息对于触发词以及事件要素的分类具有重要的意义。为了获得文档级别的信息，我们设计构建了文档级的图网络来整合文档信息。具体地，如果两个句子中存在相同的动词，或者相同的实体(例如人名，地名，组织机构名等)，我们认为这两个句子具有较强的相关性。据此，我们构建文档级的图网络，文档级的图网络的结点代表句子，结点与结点之间的连线，代表两个句子之间存在相关性。与句子级的图网络类似，通过多次图卷积运算，获得上下文句子全局信息。
图5示意性的示出了本发明实施例的文档级的图网络结构图。每个结点代表一个句子，句子之间的连线代表句子之间存在依赖关系，句子之间依赖关系的判定以句子之间存在相同的实体或者动词为条件。
根据本发明的实施例，以句子J1为例，句子J1和句子J2存在相同的实体“刀”，与句子J3和J5存在相同的实体“歹徒”，因此，第二结点J1与J2，J3，J5之间有连线，句子J1与J4之间没有相同的实体或者动词，所以第二结点J1与J4没有连线。与句子级的图网络类似，基于上述公式，通过多次图卷积运算，获得上下文句子全局信息。
S104，将上下文句子的全局信息与当前词新的特征信息进行融合。
根据本发明的实施例，用注意力机制将上下文句子全局信息和当前句子信息，即当前词新的特征信息，进行融合，丰富词的全局语义信息。将S103获得的上下文句子的全局信息，通过注意力机制，为每个上下文句子特征分配不同的权重，并进行加权求和，融合成文档级信息，随后拼接在当前要分类的句子中每个单词的后面，丰富词的文档语义表示。计算公式如下：
zn＝tanh(hsWhn+b) (3)
Figure BDA0002871536120000071
Figure BDA0002871536120000072
hs是句子J1的特征向量，hn是上下文句子的特征向量，W和b是可训练参数，tanh是激活函数，通过归一化操作，可以得到hn相对于hs的权重分数αn，最终进行加权求和，得到文档级别特征hd。
图6示意性示出了本发明实施例的文档级信息的融合过程图。
S105，基于融合了上下文句子的全局信息与当前词新的特征信息的词，识别事件触发词，根据触发词识别事件要素，对事件触发词和事件要素进行联合抽取。
根据本发明的实施例，识别事件触发词，例如包括：使用至少两个全连接层及条件随机场作为分类器，对所述句子进行序列标注。句子中包括实体，根据触发词识别事件要素，例如包括：将实体的特征与触发词的特征进行首尾拼接，通过全连接层进行角色分类，进而识别事件要素。
根据本发明的实施例，通过注意力机制，为每个上下文句子特征分配不同的权重，将文档级特征hd拼接在句子J1每个词的特征之后，送入全连接层和条件随机场，进行事件触发词的识别分类，并根据事件触发词的识别结果，对事件论元进行角色分类，得到事件的要素，最终实现触发词和事件要素的联合抽取。
根据本发明的实施例，事件触发词识别阶段，全连接层的输出是每一个事件类型标签的预测分值，例如句子J1中的“抢劫”，对于所有的事件类型标签都有一个预测的概率分分值，将这些分值作为条件随机场的输入。条件随机场的作用在于为最后预测的标签添加一些约束来保证预测的标签是合法的。这些约束可以是：
1：句子中第一个词总是以标签“B-”或“O”开始，而不是“I”(序列标注任务中，B代表开始，I代表中间，O代表其他)。
2：标签“B-label1 I-label2 I-label3 I-…”，label1，label2，label3应该属于同一类。例如，“B-攻击I-攻击”是合法的序列，但是“B-攻击I-逮捕”是非法标签序列。
3：标签序列“O I-label”是非法的。首个标签应该是“B-”，而非“I-”，换句话说，有效的标签序列应该是“O B-label”。
有了这些约束，标签序列预测中非法序列出现的概率将会大大降低。
根据本发明的实施例，事件要素识别阶段，将识别出的事件触发词特征表示和实体特征标签进行拼接，送入全连接层，进行事件要素角色的分类。例如，句子J1中，为了分类“歹徒”所扮演的角色，将事件触发词“抢劫”和实体“歹徒”的特征拼接在一起，通过全连接层，判断“歹徒”属于“攻击者”角色。
综上所述，本发明实施例提出一种基于多层级图网络的事件联合抽取方法。通过对输入的至少一个句子进行编码，基于编码后句子的依存句法树构建句子级的图网络，融入邻居节点代表的词的特征信息到当前词的特征信息中得到当前词新的特征信息，再根据不同句子之间的共现特征运算获取上下文句子的全局信息，将上下文句子的全局信息与当前词新的特征信息进行融合，基于融合了上下文句子的全局信息与当前词新的特征信息的词，识别事件触发词，根据触发词识别事件要素，对事件触发词和事件要素进行联合抽取。通过这种方法，能够实现对触发词和事件要素的精准联合抽取。
图7示意性示出了本发明实施例的基于多层级图网络的事件联合抽取装置结构图。如图7所示，该事件联合抽取装置700，包括：
编码模块710，用于基于预训练语言模型，对输入的至少一个句子进行编码。
图网络构建模块720，用于构建句子级的图网络和文档级的图网络，其中：构建句子级的图网络，包括：以句子中的词为第一节点，基于句子的依存句法树构建句子级的图网络，将当前词对应的节点周围的邻居节点代表的词的特征信息融入当前词的特征信息中，得到当前词新的特征信息；
构建文档级的图网络，包括：以句子为第二节点，根据不同句子之间的共现特征运算获取上下文句子的全局信息。
融合模块730，用于将上下文句子的全局信息与当前词新的特征信息进行融合。
识别与抽取模块740，用于基于融合了上下文句子的全局信息与当前词新的特征信息的词，识别事件触发词，根据触发词识别事件要素，对事件触发词和事件要素进行联合抽取。
需要说明的是，装置部分的实施例方式与方法部分的实施例方式对应类似，并且所达到的技术效果也对应类似，在此不再赘述。
根据本发明的实施例的模块中的任意多个、或其中任意多个的至少部分功能可以在一个模块中实现。根据本发明实施例的模块中的任意一个或多个可以被拆分成多个模块来实现。根据本发明实施例的模块中的任意一个或多个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式的硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，根据本发明实施例的模块中的一个或多个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。
例如，编码模块710、图网络构建模块720、融合模块730及识别与抽取模块740中的任意多个可以合并在一个模块中实现，或者其中的任意一个模块可以被拆分成多个模块。或者，这些模块中的一个或多个模块的至少部分功能可以与其他模块编码模块710、图网络构建模块720、融合模块730及识别与抽取模块740中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，编码模块710、图网络构建模块720、融合模块730及识别与抽取模块740中的至少一个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。
图8示意性示出了本发明实施例的电子设备的框图。图8示出的电子设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图8所示，电子设备800包括处理器810、计算机可读存储介质820。该电子设备800可以执行根据本发明实施例的方法。
具体地，处理器810例如可以包括通用微处理器、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(ASIC))，等等。处理器810还可以包括用于缓存用途的板载存储器。处理器810可以是用于执行根据本发明实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。
计算机可读存储介质820，例如可以是非易失性的计算机可读存储介质，具体示例包括但不限于：磁存储装置，如磁带或硬盘(HDD)；光存储装置，如光盘(CD-ROM)；存储器，如随机存取存储器(RAM)或闪存；等等。
计算机可读存储介质820可以包括计算机程序821，该计算机程序821可以包括代码/计算机可执行指令，其在由处理器810执行时使得处理器810执行根据本发明实施例的方法或其任何变形。
计算机程序821可被配置为具有例如包括计算机程序模块的计算机程序代码。例如，在示例实施例中，计算机程序821中的代码可以包括一个或多个程序模块，例如包括821A、模块821B、……。应当注意，模块的划分方式和个数并不是固定的，本领域技术人员可以根据实际情况使用合适的程序模块或程序模块组合，当这些程序模块组合被处理器810执行时，使得处理器810可以执行根据本发明实施例的方法或其任何变形。
根据本发明的实施例，编码模块710、图网络构建模块720、融合模块730及识别与抽取模块740中的至少一个可以实现为参考图8描述的计算机程序模块，其在被处理器810执行时，可以实现上面描述的相应操作。
本发明还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的；也可以是单独存在，而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本发明实施例的方法。
附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于多层级图网络的事件联合抽取方法，其特征在于，包括：
基于预训练语言模型，采用自注意力机制对输入的至少一个句子进行编码；
基于编码后所述句子的依存句法树构建句子级的图网络，其中，所述句子级的图网络中的每一节点表示一个词，所述节点为第一节点；
针对于每一个词，基于所述句子级的图网络，将当前词对应的节点周围的邻居节点代表的词的特征信息融入当前词的特征信息中，得到当前词新的特征信息；
以所述句子为第二节点，根据不同句子之间的共现特征运算获取上下文句子的全局信息；
将所述上下文句子的全局信息与所述当前词新的特征信息进行融合；
基于融合了所述上下文句子的全局信息与所述当前词新的特征信息的所述词，识别事件触发词，根据所述触发词识别事件要素，对所述事件触发词和所述事件要素进行联合抽取。
2.根据权利要求1所述的基于多层级图网络的事件联合抽取方法，其特征在于，所述对输入的至少一个句子进行编码，包括：
构建BERT预训练语言模型；
将所述至少一个句子输入所述BERT预训练语言模型进行双向编码。
3.根据权利要求1所述的基于多层级图网络的事件联合抽取方法，其特征在于，采用基于自然语言处理工具Stanfordnlp构建的所述依存句法树；
采用邻接矩阵来计算所述第一节点的特征信息。
4.根据权利要求1所述的基于多层级图网络的事件联合抽取方法，其特征在于，所述识别事件触发词，包括：
使用至少两个全连接层及条件随机场作为分类器，对所述句子进行序列标注。
5.根据权利要求4所述的基于多层级图网络的事件联合抽取方法，其特征在于，所述句子包括实体，所述根据所述触发词识别事件要素，包括：
将所述实体的特征与所述触发词的特征进行首尾拼接，通过所述全连接层进行角色分类，进而识别所述事件要素。
6.根据权利要求1所述的基于多层级图网络的事件联合抽取方法，其特征在于，所述共现特征包括所述句子中的实体和/或动词的共现特征。
7.根据权利要求1所述的基于多层级图网络的事件联合抽取方法，其特征在于，所述将所述上下文句子的全局信息与所述当前词新的特征信息进行融合，包括：
基于注意力机制将所述上下文句子的全局信息与所述当前词新的特征信息进行融合。
8.一种基于多层级图网络的事件联合抽取装置，其特征在于，包括：
编码模块，用于基于预训练语言模型，对输入的至少一个句子进行编码；
图网络构建模块，用于构建句子级的图网络和文档级的图网络，其中：
构建所述句子级的图网络，包括：以所述句子中的词为第一节点，基于所述句子的依存句法树构建句子级的图网络，将当前词对应的节点周围的邻居节点代表的词的特征信息融入当前词的特征信息中，得到当前词新的特征信息；
构建所述文档级的图网络，包括：以所述句子为第二节点，根据不同句子之间的共现特征运算获取上下文句子的全局信息；
融合模块，用于将所述上下文句子的全局信息与所述当前词新的特征信息进行融合；
识别与抽取模块，用于基于融合了所述上下文句子的全局信息与所述当前词新的特征信息的所述词，识别事件触发词，根据所述触发词识别事件要素，对所述事件触发词和所述事件要素进行联合抽取。
9.一种电子设备，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序，
其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现权利要求1至7中任一项所述的基于多层级图网络的事件联合抽取方法。
10.一种计算机可读存储介质，存储有计算机可执行指令，所述指令在被执行时用于实现权利要求1至7中任一项所述的基于多层级图网络的事件联合抽取方法。
CN202011642751.5A 2020-12-30 2020-12-30 一种基于多层级图网络的事件联合抽取方法及装置 Active CN112632230B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011642751.5A CN112632230B (zh) 2020-12-30 2020-12-30 一种基于多层级图网络的事件联合抽取方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011642751.5A CN112632230B (zh) 2020-12-30 2020-12-30 一种基于多层级图网络的事件联合抽取方法及装置

Publications (2)

Publication Number Publication Date
CN112632230A CN112632230A (zh) 2021-04-09
CN112632230B true CN112632230B (zh) 2021-10-15

Family

ID=75290450

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011642751.5A Active CN112632230B (zh) 2020-12-30 2020-12-30 一种基于多层级图网络的事件联合抽取方法及装置

Country Status (1)

Country Link
CN (1) CN112632230B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113779310B (zh) * 2021-09-10 2023-06-02 电子科技大学 一种基于层级表征网络的视频理解文本生成方法
CN114841162B (zh) * 2022-05-20 2024-01-05 中国电信股份有限公司 文本处理方法、装置、设备及介质
CN115841105B (zh) * 2022-09-21 2024-02-27 中国人民解放军海军工程大学 一种基于事件类型层级关系的事件抽取方法、系统及介质
CN115757826B (zh) * 2022-11-18 2024-01-05 中国科学院空天信息创新研究院 事件图谱构建方法、装置、设备及介质
CN116049345B (zh) * 2023-03-31 2023-10-10 江西财经大学 基于双向事件完全图的文档级事件联合抽取方法及系统
CN117648980B (zh) * 2024-01-29 2024-04-12 数据空间研究院 基于矛盾纠纷数据的新型实体关系联合抽取方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110134720A (zh) * 2019-05-17 2019-08-16 苏州大学 融合局部特征与深度学习的事件联合抽取方法
CN111695341A (zh) * 2020-06-16 2020-09-22 北京理工大学 一种基于篇章结构图卷积的隐式篇章关系分析方法和系统
CN111897908A (zh) * 2020-05-12 2020-11-06 中国科学院计算技术研究所 融合依存信息和预训练语言模型的事件抽取方法及系统
CN112015890A (zh) * 2020-09-07 2020-12-01 广东工业大学 电影剧本摘要的生成方法和装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8051022B2 (en) * 2006-12-08 2011-11-01 Pandya Ashish A Embedded programmable intelligent search memory (PRISM) that simultaneously performs regular expression based search and signature pattern based search
US11755997B2 (en) * 2017-02-22 2023-09-12 Anduin Transactions, Inc. Compact presentation of automatically summarized information according to rule-based graphically represented information
CN111859935B (zh) * 2020-07-03 2022-09-20 大连理工大学 基于文献的癌症相关生物医学事件数据库构建方法
CN111966827B (zh) * 2020-07-24 2024-06-11 大连理工大学 基于异构二部图的对话情感分析方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110134720A (zh) * 2019-05-17 2019-08-16 苏州大学 融合局部特征与深度学习的事件联合抽取方法
CN111897908A (zh) * 2020-05-12 2020-11-06 中国科学院计算技术研究所 融合依存信息和预训练语言模型的事件抽取方法及系统
CN111695341A (zh) * 2020-06-16 2020-09-22 北京理工大学 一种基于篇章结构图卷积的隐式篇章关系分析方法和系统
CN112015890A (zh) * 2020-09-07 2020-12-01 广东工业大学 电影剧本摘要的生成方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Graph Convolutional Networks with Argument-Aware Pooling for Event Detection;Thien Huu Nguyen等;《Proceedings of the AAAI Conference on Artificial Intelligence》;20180426;第32卷(第1期);第5902-5904页 *

Also Published As

Publication number Publication date
CN112632230A (zh) 2021-04-09

Similar Documents

Publication Publication Date Title
CN112632230B (zh) 一种基于多层级图网络的事件联合抽取方法及装置
US11238339B2 (en) Predictive neural network with sentiment data
Nguyen et al. Distinguishing antonyms and synonyms in a pattern-based neural network
Abdullah et al. Fake news classification bimodal using convolutional neural network and long short-term memory
Srinivasa et al. Crime base: Towards building a knowledge base for crime entities and their relationships from online news papers
Nguyen et al. Toward mention detection robustness with recurrent neural networks
Jabreel et al. Target-dependent sentiment analysis of tweets using bidirectional gated recurrent neural networks
Cheng et al. Open-domain name error detection using a multi-task rnn
Liu et al. Visual question answering via attention-based syntactic structure tree-LSTM
Çetindağ et al. Named-entity recognition in Turkish legal texts
Zola et al. Social media cross-source and cross-domain sentiment classification
Wang et al. Weighted graph convolution over dependency trees for nontaxonomic relation extraction on public opinion information
Lydiri et al. A performant deep learning model for sentiment analysis of climate change
Nguyen et al. Nested named entity recognition using multilayer recurrent neural networks
CN115292568A (zh) 一种基于联合模型的廉政和民生新闻事件抽取方法
Nair et al. Fake news detection model for regional language
Ermatita et al. Sentiment Analysis of COVID-19 using Multimodal Fusion Neural Networks.
Im et al. Cross-active connection for image-text multimodal feature fusion
CN112328879A (zh) 新闻推荐方法、装置、终端设备及存储介质
Kwon et al. Detecting textual adversarial examples through text modification on text classification systems
Pham Thi et al. Document-level chemical-induced disease semantic relation extraction using bidirectional long short-term memory on dependency graph
Saha et al. Exploring deep learning architectures coupled with crf based prediction for slot-filling
Dang et al. Using Deep Learning for Obscene Language Detection in Vietnamese Social Media
Kim et al. Can a student outperform a teacher? deep learning-based named entity recognition using automatic labeling of the global terrorism database
Dahlan et al. Data Augmentations to Improve BERT-based Detection of Covid-19 Fake News on Twitter

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant