CN110134720B - 融合局部特征与深度学习的事件联合抽取方法 - Google Patents

融合局部特征与深度学习的事件联合抽取方法 Download PDF

Info

Publication number
CN110134720B
CN110134720B CN201910412962.0A CN201910412962A CN110134720B CN 110134720 B CN110134720 B CN 110134720B CN 201910412962 A CN201910412962 A CN 201910412962A CN 110134720 B CN110134720 B CN 110134720B
Authority
CN
China
Prior art keywords
event
vector
word
sentence
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910412962.0A
Other languages
English (en)
Other versions
CN110134720A (zh
Inventor
孔芳
张俊青
周国栋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou University
Original Assignee
Suzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou University filed Critical Suzhou University
Priority to CN201910412962.0A priority Critical patent/CN110134720B/zh
Publication of CN110134720A publication Critical patent/CN110134720A/zh
Application granted granted Critical
Publication of CN110134720B publication Critical patent/CN110134720B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2465—Query processing support for facilitating data mining operations in structured databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G06F16/285—Clustering or classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G06F16/288—Entity relationship models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Fuzzy Systems (AREA)
  • Machine Translation (AREA)

Abstract

本发明公开了一种融合局部特征与深度学习的事件联合抽取方法。本发明融合局部特征与深度学习的事件联合抽取方法，包括：抽取实体、词性与依存分析，利用PV‑DM模型训练文档向量；学习隐藏特征，进入GCN；再次，识别出事件元素与事件触发之间的记忆单元，帮助识别事件类型与事件论元；最后，使用CRF对最终的事件类型进行标注，全连接层中，用Softmax函数对事件元素进行识别。本发明的有益效果：借助文档向量学习文章中的主旨信息，其次利用图卷积网络挖掘事件之间的联系，最后利用记忆单元与局部特征学习事件类型与事件元素之间的信息，以此完成事件联合抽取，提高其识别性能。

Description

融合局部特征与深度学习的事件联合抽取方法
技术领域
本发明涉及事件抽取领域，具体涉及一种融合局部特征与深度学习的事件联合抽取方法。
背景技术
如何从互联网上海量的信息数据中快速、准确的抽取有价值的信息，已经成为人们面临的重大难题。在这背景下，信息抽取应运而生。信息抽取的任务包括实体识别与抽取、实体消解、关系抽取和事件抽取等。信息为特定的人、物在特定时间与特定地点相互作用的客观事实。事件抽取是从非结构化信息中抽取出用户感兴趣的事件，以结构化的方式存储在数据库中供用户查看。
事件抽取的研究历史要追溯到20世纪80年代末。在MUC(消息理解会议)、ACE(自动内容抽取会议)及TAC(文本分析会议)等的推动下，事件抽取技术的研究得到蓬勃发展。早起的研究方法主要是通过在特定领域表现良好的模式匹配进行事件抽取；由于基于模式匹配的事件抽取方法可移植性较差，众多学者把目光集中于机器学习。近年来，随着深度学习在自然语言处理任务表现出众，已成为事件抽取研究的主流方法。
目前深度学习技术在事件抽取任务上应用最为广泛。其中典型的工作是Mihaylov等人的基于双向LSTM的事件触发词与事件类型识别[1]、Ferguson等人的基于结构特征的事件元素识别[2]和Nguyen等人[3]于2016年提出的基于循环神经网络的事件联合抽取。
(1)基于双向LSTM的事件触发词与事件类型识别
Mihaylov等人的序列到序列模型主要分为三步骤：
词表示层：该层包含词向量、词性向量、依存词向量与依存类型向量作为输入向量X。
双向LSTM层：对词表示层进行编码，获得隐藏特征，得到h。
SoftMax层：隐藏特征进入该层，对事件类型进行预测。
(2)基于结构特征的事件元素识别
该模型结合Evento、NomEvent和NewsSpike三个模型，当识别结果出现不同时，以Evento识别结果为标准。
Evento模型：先使用马尔科夫随机场进行实体抽取，然后利用条件随机场进行触发词识别与事件元素识别，所用特征如表1、表2和表3所示。
表1Evento模型实体抽取所用特征
Figure BDA0002063415300000021
表2Evento和NomEvent触发词识别所用特征
Figure BDA0002063415300000022
表3Evento事件元素识别所用特征
Figure BDA0002063415300000031
NomEvent模型：先使用CRF对实体进行抽取，所用特征为词性、NER标签与词，然后用L2逻辑回归模型对事件类型进行分类，所用特征如表2所示。
NewsSpike模型：基于开源事件抽取规则利用非监督方法进行事件抽取。
(3)基于循环神经网络的事件联合抽取
该模型框架如图1所示，对于输入语句W＝w1w2...wn,n为句子长度，wi表示句子的第i个词；E＝e1e2...en表示在该句子中的实体，k表示句子中实体的数量。
该模型的主要思想是先对语句中词、实体等信息进行编码，然后通过双向循环神经网络学习词之间的隐藏信息，最后通过局部特征与记忆单元对触发词与事件元素进行预测，记忆单元记录预测结果中事件元素与触发词类型之间的信息，以便于反馈到下次对触发词与事件元素的预测。下面对图中的每一层进行简要阐述：
语句编码层：输入向量X＝(x1，x2，...，xn)由三部分连接而成：1)词wi向量。2)wi的实体类型向量。3)依存树中词之间的二元向量。
双向循环网络层：对于输入向量X,使用双向GRU作为表示层来获得xi对应的上下文表示hi。
局部特征：1)实体描述含有的词。2)触发词与事件子类型。3)实体类型与子类型、实体角色。4)实体描述头部。5)候选事件元素与触发词之间的词汇距离。6)事件元素与触发词之间的相对位置(前，后等)。7)是否为相同事件类型最近的候选事件元素。8)是否为语句中相同的实体类型。9)事件元素与触发词之间的依存路径。10)事件元素与触发词之间的成分分析树中的路径。11)事件元素与触发词在依存分析中之间的路径长度。12)根节点、根节点与候选事件元素的路径。13)事件元素与触发词是否出现在同一个语句中。
记忆单元：记忆单元主要分为三类：1)记忆事件触发词类型之间联系的单元，
Figure BDA0002063415300000041
在时刻i，当t＝ti和
Figure BDA0002063415300000042
时，
Figure BDA0002063415300000043
2)记忆事件元素角色之间联系的单元，
Figure BDA0002063415300000044
在时刻i,当ti≠other,a＝aij和
Figure BDA0002063415300000045
时，
Figure BDA0002063415300000046
3)记忆事件元素角色与触发词类型之间的单元，
Figure BDA0002063415300000047
在时刻i，当ti≠other，t＝ti和
Figure BDA0002063415300000048
时，
Figure BDA0002063415300000049
触发词预测：进入前馈网络softmax层的向量
Figure BDA00020634153000000410
由三部分拼接组成：1)双向GRU的输出向量hi。2)wi的上下文向量，
Figure BDA00020634153000000411
3)记忆单元，
Figure BDA00020634153000000412
通公式2.1得到最终触发词类型。
Figure BDA00020634153000000413
事件元素预测：进入前馈网络softmax层的向量
Figure BDA00020634153000000414
由四部分拼接组成：1)双向GRU的输出向量hi对于词wi，hij对于实体ej。2)词wi和实体ej的上下文向量
Figure BDA00020634153000000415
3)前馈网络对二元向量Vij编码的Bij,由公式2.2所得。4)记忆单元
Figure BDA00020634153000000416
与
Figure BDA00020634153000000417
对事件元素最终的预测通过公式2.3所得。
Bij＝Fbinary(Vij) (2.2)
Figure BDA00020634153000000418
损失函数：训练神经网络通过使事件触发词类型与实际元素联合损失函数C最小所得，如公式2.4所示。
Figure BDA0002063415300000051
[1]Mihaylov T,Frank A.AIPHES-HD system at TAC KBP 2016:Neural EventTrigger Span Detection and Event Type and Realis Disambiguation with WordEmbeddings[C]//TAC.2016.
[2]Ferguson J,Lockard C,Hawkins N,et al.University of Washington TAC-KBP 2016System Description[C]//TAC.2016.
[3]Nguyen T H,Cho K,Grishman R.Joint event extraction via recurrentneural networks[C]//Proceedings of the 2016Conference of the North AmericanChapter of the Association for Computational Linguistics:Human LanguageTechnologies.2016:300-309.
传统技术存在以下技术问题：
Mihaylov等人的基于双向LSTM的事件触发词与事件类型识别缺少文档级别信息；Ferguson等人的基于结构特征的事件元素识别在形成特征时，花费大量人力物力且无法挖掘词之间的隐藏特征，并且其管道模型存在错误传播问题；Nguyen等人的基于循环神经网络的事件联合抽取在针对多类型事件句时，无法有效识别所有事件。
发明内容
本发明要解决的技术问题是提供一种融合局部特征与深度学习的事件联合抽取方法，首先借助文档向量学习文章中的主旨信息，其次利用图卷积网络挖掘事件之间的联系，最后利用记忆单元与局部特征学习事件类型与事件元素之间的信息，以此完成事件联合抽取，提高其识别性能。
为了解决上述技术问题，本发明提供了一种融合局部特征与深度学习的事件联合抽取方法，包括：抽取实体、词性与依存分析，利用PV-DM模型训练文档向量；学习隐藏特征，进入GCN；再次，识别出事件元素与事件触发之间的记忆单元，帮助识别事件类型与事件论元；最后，使用CRF对最终的事件类型进行标注，全连接层中，用Softmax函数对事件元素进行识别；
给定语句，W＝w1w2...wn，语句中实体E＝e1e2...ek，在事件抽取中，对于语句中每个词wi，判断是否为触发词，若是，再对其分配相应的事件类型，并且对候选实体分配相应的语义角色；
表示层：输入向量X主要由四部分拼接组成：W中wi词向量、W中wi的词性向量、E中ej的实体向量和W的文档向量；文档向量由公式3.1所得。
Figure BDA0002063415300000061
Bi-LSTM层：对于输入向量X,经过双向LSTM模型编码得到隐藏向量h；
图卷积网络层：先利用StanfordCoreNLP获取事件间的依存联系，利用GCN(图卷积网络)处理依存数据；依存联系考察成图数据结构G＝(V，ε)，节点vi为每个词，边(vi，vj)∈ε，为了减少训练参数，定义边总共有三种类型：正向、反向、环；
h为GCN的第一层输入向量，则最终的输出向量最终的输出向量
Figure BDA0002063415300000062
由公式3.2、公式3.3、公式3.4和公式3.5得到。
Figure BDA0002063415300000063
Figure BDA0002063415300000064
Figure BDA0002063415300000065
Figure BDA0002063415300000066
其中，WH、bH、WT、bT、
Figure BDA0002063415300000067
和
Figure BDA0002063415300000068
为相应的权重与偏置，Θ为元素积，σ为Sigmoid函数,K(vi，vj)为边的类型；
记忆单元：采用的记忆单元为Gi，处理事件子类型与事件元素之间的联系；
事件类型预测：对于词wi，预测该词是否为某类事件类型的触发词，最终隐藏层特征表示有以下两部分向量组成：
·
Figure BDA0002063415300000071
GCN的输出向量。
·Gi-1[：][t]T：先前步骤中的记忆事件触发词与事件元素之间联系。
通过拼接步骤，得到特征表示
Figure BDA0002063415300000072
然后进入CRF层，得到其概率
Figure BDA0002063415300000073
最大化事件类型即为该事件类型，
Figure BDA0002063415300000074
由公式3.6所得。
Figure BDA0002063415300000075
其中，
Figure BDA0002063415300000076
by，by′为相应的权重与偏差。
事件元素预测：对于事件元素预测阶段，首先检查该语句是否为事件句，即触发词已被识别出来。如果，不为事件句，跳过，继续下一个语句的事件元素检测；否则，对于事件句中每个实体进行事件元素的预测。最终隐藏层表示有以下三部分组成：
·
Figure BDA0002063415300000077
GCN的输出向量。
·
Figure BDA0002063415300000078
事件元素相关局部特征，如表5所示。
·Gi[j]：先前步骤中的记忆事件元素与事件触发词之间联系。
通过拼接步骤，得到特征表示
Figure BDA0002063415300000079
事件元素的预测通过全连接层得到，如公式3.7，公式3.8所示。
Figure BDA00020634153000000710
Figure BDA0002063415300000081
其中，Wj、bj为相应的参数和偏置。
表5局部特征
Figure BDA0002063415300000082
在其中一个实施例中，利用SanfordCoreNLP工具抽取实体、词性与依存分析。
在其中一个实施例中，使用局部特征识别出事件元素与事件触发之间的记忆单元。
在其中一个实施例中，利用StanfordCoreNLP获取事件间的依存联系。
在其中一个实施例中，使用双向LSTM学习隐藏特征。
在其中一个实施例中，使用CRF对最终的事件类型进行标注。
在其中一个实施例中，假设(“died”，“fired”)＝along(正向)，则反向和自身环分布为(“fired”，“died”)＝opp(反向)，(“died”，“died”)＝loop(环)。
一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现任一项所述方法的步骤。
一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现任一项所述方法的步骤。
一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行任一项所述的方法。
本发明的有益效果：
借助文档向量学习文章中的主旨信息，其次利用图卷积网络挖掘事件之间的联系，最后利用记忆单元与局部特征学习事件类型与事件元素之间的信息，以此完成事件联合抽取，提高其识别性能。
附图说明
图1是本发明融合局部特征与深度学习的事件联合抽取方法背景技术中的Nguyen等的框架。
图2是本发明融合局部特征与深度学习的事件联合抽取方法的本发明框架示意图。
图3是本发明融合局部特征与深度学习的事件联合抽取方法的依存关系图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定。
本发明的事件联合抽取研究框架如图2所示。首先利用SanfordCoreNLP工具抽取实体、词性与依存分析，利用PV-DM模型训练文档向量；其次，使用双向LSTM学习隐藏特征，进入GCN；再次，使用局部特征识别出事件元素与事件触发之间的记忆单元，帮助识别事件类型与事件论元；最后，使用CRF对最终的事件类型进行标注，全连接层中，用Softmax函数对事件元素进行识别。
给定语句，W＝w1w2...wn，语句中实体E＝e1e2...ek，在事件抽取中，对于语句中每个词wi，判断是否为触发词，若是，再对其分配相应的事件类型，并且对候选实体分配相应的语义角色。
表示层：输入向量X主要由四部分拼接组成：W中wi词向量、W中wi的词性向量、E中ej的实体向量和W的文档向量。文档向量由公式3.1所得。
Figure BDA0002063415300000101
Bi-LSTM层：对于输入向量X,经过双向LSTM模型编码得到隐藏向量h。
图卷积网络层：先利用StanfordCoreNLP获取事件间的依存联系，利用GCN(图卷积网络)处理依存数据。依存联系考察成图数据结构G＝(V，ε)，节点vi为每个词，边(vi，vj)∈ε，为了减少训练参数，定义边总共有三种类型：正向、反向、环。假设(“died”，“fired”)＝along(正向)，则反向和自身环分布为(“fired”，“died”)＝opp(反向)，(“died”，“died”)＝loop(环)。
h为GCN的第一层输入向量，则最终的输出向量最终的输出向量
Figure BDA0002063415300000108
由公式3.2、公式3.3、公式3.4和公式3.5得到。
Figure BDA0002063415300000102
Figure BDA0002063415300000103
Figure BDA0002063415300000104
Figure BDA0002063415300000105
其中，WH、bH、WT、bT、
Figure BDA0002063415300000106
和
Figure BDA0002063415300000107
为相应的权重与偏置，Θ为元素积，σ为Sigmoid函数,K(vi，vj)为边的类型。
记忆单元：本发明采用的记忆单元为Gi，处理事件子类型与事件元素之间的联系，具体算法如表4所示。
表4 Gi生成算法
Figure BDA0002063415300000111
事件类型预测：对于词wi，预测该词是否为某类事件类型的触发词，最终隐藏层特征表示有以下两部分向量组成：
·
Figure BDA0002063415300000113
GCN的输出向量。
·Gi-1[：][t]T：先前步骤中的记忆事件触发词与事件元素之间联系。
通过拼接步骤，得到特征表示
Figure BDA0002063415300000114
然后进入CRF层，得到其概率
Figure BDA0002063415300000115
最大化事件类型即为该事件类型，
Figure BDA0002063415300000116
由公式3.6所得。
Figure BDA0002063415300000112
其中，
Figure BDA0002063415300000122
by，by′为相应的权重与偏差。
事件元素预测：对于事件元素预测阶段，首先检查该语句是否为事件句，即触发词已被识别出来。如果，不为事件句，跳过，继续下一个语句的事件元素检测；否则，对于事件句中每个实体进行事件元素的预测。最终隐藏层表示有以下三部分组成：
·
Figure BDA0002063415300000123
GCN的输出向量。
·
Figure BDA0002063415300000124
事件元素相关局部特征，如表5所示。
·Gi[j]：先前步骤中的记忆事件元素与事件触发词之间联系。
通过拼接步骤，得到特征表示
Figure BDA0002063415300000125
事件元素的预测通过全连接层得到，如公式3.7，公式3.8所示。
Figure BDA0002063415300000126
Figure BDA0002063415300000127
其中，Wj、bj为相应的参数和偏置。
表5局部特征
Figure BDA0002063415300000121
本发明实验在TAC KBP 2016测试集上进行验证，共进行七组实验，各组实验设置如表6所示，表7给出在事件识别上的实验结果，从结果可知本发明模型在触发词上提高了约3.36％，在事件类型上提高了约7.49％。表8给出了在事件元素识别上的结果，从中可知识别结果提高了约9.5％
表6各组实验设置
Figure BDA0002063415300000131
表7 TAC KBP 2016官方测评事件识别结果
Figure BDA0002063415300000132
表8 TAC KBP 2016官方测评事件元素识别结果
Figure BDA0002063415300000133
Figure BDA0002063415300000141
本发明以句子“In Baghdad,a cameraman died when an American tank firedon the Palestine hotel.”为例对输入的条件进行详细说明，其依存关系如图3所示：
Token:[“In”,“Baghdad”,“a”,“cameraman”,“died”,“when”,“an”,“American”,“tank”,“fired”,“on”,“the”,“Palestine”,“hotel”,“.”]
Pos:[“IN”,“NNP”,“DT”,“NN”,“”VBD”,“WRB”,“DT”,“JJ”,“NN”,“”VBD”,“IN”,“DT”,“NNP”,“NN”,“.”]
Colcc:[“case/gov＝1/dep＝0”,“nmod/gov＝5/dep＝1”,“punct/gov＝5/dep＝2”,“det/gov＝4/dep＝3”,“nsubj/gov＝5/dep＝4”,“advcl/gov＝5/dep＝10”,“advmod/gov＝10/dep＝6”,“det/gov＝9/dep＝7”,“amod/gov＝9/dep＝8”,“nsubj/gov＝10/dep＝9”,“nmod/gov＝10/dep＝14”,“case/gov＝14/dep＝11”,“det/gov＝14/dep＝12”,“compound/gov＝14/dep＝13”,“punct/gov＝10/dep＝15”]
Entity:[“Baghdad”,“a cameraman”,“an American tank”,“the Palsetinehotel”]
首先：对于该句的词性向量P,实体向量E,词向量W,文档向量D,拼接而成X＝[P:E:W:D]。
其次：X进入LSTM层，获得编码H。
再次：“died”和“fired”的依存联系为(“died”，“fired”)＝“along”，编码成向量M,H和M进入GCN得到表示R。
然后：根据R和记忆单元G，对事件类型进行识别成“Die”和“Attack”。
最后：根据R，局部特征与记忆单元，对相应的事件元素进行识别，并对记忆单元进行更新。
记忆单元更新如表9所示，以识别Baghdad该事件元素为例：其局部特征如表10所示。
表9 G更新流程
Figure BDA0002063415300000151
表10“Baghdad”的局部特征
Figure BDA0002063415300000152
以上所述实施例仅是为充分说明本发明而所举的较佳的实施例，本发明的保护范围不限于此。本技术领域的技术人员在本发明基础上所作的等同替代或变换，均在本发明的保护范围之内。本发明的保护范围以权利要求书为准。

Claims (1)

1.一种融合局部特征与深度学习的事件联合抽取方法，其特征在于，包括：抽取实体、词性与依存分析，利用PV-DM模型训练文档向量；学习隐藏特征，进入GCN；再次，识别出事件元素与事件触发之间的记忆单元，帮助识别事件类型与事件论元；最后，使用CRF对最终的事件类型进行标注，全连接层中，用Softmax函数对事件元素进行识别；
给定语句，W＝w1w2...wn，语句中实体E＝e1e2...ek，在事件抽取中，对于语句中每个词wi，判断是否为触发词，若是，再对其分配相应的事件类型，并且对候选实体分配相应的语义角色；
表示层：输入向量X主要由四部分拼接组成：W中wi词向量、W中wi的词性向量、E中ej的实体向量和W的文档向量；文档向量由公式3.1所得；
Figure FDA0002826375120000011
Bi-LSTM层：对于输入向量X，经过双向LSTM模型编码得到隐藏向量h；
图卷积网络层：先利用StanfordCoreNLP获取事件间的依存联系，利用图卷积网络处理依存数据；依存联系考察成图数据结构G＝(V，ε)，节点vi为每个词，边(vi，vj)∈ε，为了减少训练参数，定义边总共有三种类型：正向、反向、环；
h为GCN的第一层输入向量，则最终的输出向量
Figure FDA0002826375120000012
由公式3.2、公式3.3、公式3.4和公式3.5得到；
Figure FDA0002826375120000013
Figure FDA0002826375120000014
Figure FDA0002826375120000015
Figure FDA0002826375120000021
其中，WH、bH、WT、bT、
Figure FDA0002826375120000022
和
Figure FDA0002826375120000023
为相应的权重与偏置，Θ为元素积，σ为Sigmoid函数，K (vi，vj)为边的类型；
记忆单元：采用的记忆单元为Gi，处理事件子类型与事件元素之间的联系；
事件类型预测：对于词wi，预测该词是否为某类事件类型的触发词，最终隐藏层特征表示有以下两部分向量组成：
Figure FDA0002826375120000024
GCN的输出向量；
Gi-1[：][t]T：先前步骤中的记忆事件触发词与事件元素之间联系；
通过拼接步骤，得到特征表示
Figure FDA0002826375120000025
然后进入CRF层，得到其概率
Figure FDA0002826375120000026
最大化事件类型即为该事件类型，
Figure FDA0002826375120000027
由公式3.6所得；
Figure FDA0002826375120000028
其中，
Figure FDA0002826375120000029
by，by′为相应的权重与偏差；
事件元素预测：对于事件元素预测阶段，首先检查该语句是否为事件句，即触发词已被识别出来；如果不为事件句，跳过，继续下一个语句的事件元素检测；否则，对于事件句中每个实体进行事件元素的预测；最终隐藏层表示有以下三部分组成：
Figure FDA00028263751200000210
GCN的输出向量；
Figure FDA00028263751200000211
事件元素相关局部特征，所述事件元素相关局部特征包括：实体类型、事件子类型、句法分析树中事件元素所在的深度、触发词、触发词与事件元素在依存图中的长度和事件元素与触发词的相对位置；
Gi[j]：先前步骤中的记忆事件元素与事件触发词之间联系；
通过拼接步骤，得到特征表示
Figure FDA0002826375120000031
事件元素的预测通过全连接层得到，如公式3.7，公式3.8所示；
Figure FDA0002826375120000032
Figure FDA0002826375120000033
其中，Wj、bj为相应的参数和偏置。
CN201910412962.0A 2019-05-17 2019-05-17 融合局部特征与深度学习的事件联合抽取方法 Active CN110134720B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910412962.0A CN110134720B (zh) 2019-05-17 2019-05-17 融合局部特征与深度学习的事件联合抽取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910412962.0A CN110134720B (zh) 2019-05-17 2019-05-17 融合局部特征与深度学习的事件联合抽取方法

Publications (2)

Publication Number Publication Date
CN110134720A CN110134720A (zh) 2019-08-16
CN110134720B true CN110134720B (zh) 2021-02-09

Family

ID=67574989

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910412962.0A Active CN110134720B (zh) 2019-05-17 2019-05-17 融合局部特征与深度学习的事件联合抽取方法

Country Status (1)

Country Link
CN (1) CN110134720B (zh)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110648527B (zh) * 2019-08-20 2021-05-11 浙江工业大学 一种基于深度学习模型的交通速度预测方法
US11508480B2 (en) * 2019-08-28 2022-11-22 International Business Machines Corporation Online partially rewarded learning
CN110765265B (zh) * 2019-09-06 2023-04-11 平安科技（深圳）有限公司 信息分类抽取方法、装置、计算机设备和存储介质
CN110597994A (zh) * 2019-09-17 2019-12-20 北京百度网讯科技有限公司 事件元素识别方法和装置
CN111160008B (zh) * 2019-12-18 2022-03-25 华南理工大学 一种实体关系联合抽取方法及系统
CN111310461B (zh) * 2020-01-15 2023-03-21 腾讯云计算（北京）有限责任公司 事件元素提取方法、装置、设备及存储介质
CN111324747B (zh) * 2020-02-28 2023-06-06 北京百度网讯科技有限公司 三元组的生成方法、装置及电子设备
CN111428504B (zh) * 2020-03-17 2023-04-28 北京明略软件系统有限公司 一种事件抽取方法和装置
CN111382228B (zh) * 2020-03-17 2023-06-06 北京百度网讯科技有限公司 用于输出信息的方法和装置
CN111382575A (zh) * 2020-03-19 2020-07-07 电子科技大学 一种基于联合标注和实体语义信息的事件抽取方法
CN111597811B (zh) * 2020-05-09 2021-11-12 北京合众鼎成科技有限公司 一种基于图神经网络算法的金融篇章级多关联事件抽取方法
CN111897908B (zh) * 2020-05-12 2023-05-02 中国科学院计算技术研究所 融合依存信息和预训练语言模型的事件抽取方法及系统
CN111967268B (zh) * 2020-06-30 2024-03-19 北京百度网讯科技有限公司 文本中的事件抽取方法、装置、电子设备和存储介质
CN111783394B (zh) * 2020-08-11 2024-03-08 深圳市北科瑞声科技股份有限公司 事件抽取模型的训练方法、事件抽取方法和系统及设备
CN112163416B (zh) * 2020-10-09 2021-11-02 北京理工大学 一种融合句法和实体关系图卷积网络的事件联合抽取方法
CN112613305B (zh) * 2020-12-27 2024-04-09 北京工业大学 基于循环神经网络的中文事件抽取方法
CN112632230B (zh) * 2020-12-30 2021-10-15 中国科学院空天信息创新研究院 一种基于多层级图网络的事件联合抽取方法及装置
CN112749564A (zh) * 2021-01-31 2021-05-04 云知声智能科技股份有限公司 病历事件元素抽取方法、装置、电子设备和存储介质
US11715469B2 (en) * 2021-02-26 2023-08-01 Walmart Apollo, Llc Methods and apparatus for improving search retrieval using inter-utterance context
CN113190602B (zh) * 2021-04-09 2022-03-25 桂林电子科技大学 融合字词特征与深度学习的事件联合抽取方法
CN113239142B (zh) * 2021-04-26 2022-09-23 昆明理工大学 融合句法信息的无触发词事件检测方法
CN112883741B (zh) * 2021-04-29 2021-07-27 华南师范大学 基于双通道图神经网络的特定目标情感分类方法
CN114741516A (zh) * 2021-12-08 2022-07-12 商汤国际私人有限公司 一种事件抽取方法和装置、电子设备及存储介质
CN114282542A (zh) * 2021-12-28 2022-04-05 中国农业银行股份有限公司 网络舆情监控方法及设备
CN115081437B (zh) * 2022-07-20 2022-12-09 中国电子科技集团公司第三十研究所 基于语言学特征对比学习的机器生成文本检测方法及系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2850785C (en) * 2011-10-06 2022-12-13 Sequenom, Inc. Methods and processes for non-invasive assessment of genetic variations
CN105512209B (zh) * 2015-11-28 2018-06-19 大连理工大学 一种基于特征自动学习的生物医学事件触发词识别方法
CN105740349B (zh) * 2016-01-25 2019-03-08 重庆邮电大学 一种结合Doc2vec和卷积神经网络的情感分类方法
CN107239445A (zh) * 2017-05-27 2017-10-10 中国矿业大学 一种基于神经网络的新闻事件抽取的方法及系统
CN107845390A (zh) * 2017-09-21 2018-03-27 太原理工大学 一种基于pcnn语谱图特征融合的情感语音识别系统
CN109558880B (zh) * 2018-10-16 2021-06-04 杭州电子科技大学 一种基于视觉整体和局部特征融合的轮廓检测方法

Also Published As

Publication number Publication date
CN110134720A (zh) 2019-08-16

Similar Documents

Publication Publication Date Title
CN110134720B (zh) 融合局部特征与深度学习的事件联合抽取方法
Han et al. Neural knowledge acquisition via mutual attention between knowledge graph and text
He et al. Jointly predicting predicates and arguments in neural semantic role labeling
Hashimoto et al. A joint many-task model: Growing a neural network for multiple nlp tasks
Sachan et al. Do syntax trees help pre-trained transformers extract information?
Hanselowski et al. Ukp-athene: Multi-sentence textual entailment for claim verification
Zheng et al. Joint extraction of entities and relations based on a novel tagging scheme
CN109376222B (zh) 问答匹配度计算方法、问答自动匹配方法及装置
Yang et al. Neural reranking for named entity recognition
CN113591483A (zh) 一种基于序列标注的文档级事件论元抽取方法
CN112148832B (zh) 一种基于标签感知的双重自注意力网络的事件检测方法
CN112817561A (zh) 软件需求文档的事务类功能点结构化抽取方法及系统
CN113742733B (zh) 阅读理解漏洞事件触发词抽取和漏洞类型识别方法及装置
CN113157859A (zh) 一种基于上位概念信息的事件检测方法
Min et al. Dialogue state induction using neural latent variable models
CN112347269A (zh) 基于BERT和Att-BiLSTM的论点对识别方法
CN117094291B (zh) 基于智能写作的自动新闻生成系统
CN114329225A (zh) 基于搜索语句的搜索方法、装置、设备及存储介质
CN114610866B (zh) 基于全局事件类型的序列到序列联合事件抽取方法和系统
Ahmed et al. Named entity recognition by using maximum entropy
Monisha et al. Classification of bengali questions towards a factoid question answering system
CN117574898A (zh) 基于电网设备的领域知识图谱更新方法及系统
Gunaseelan et al. Automatic extraction of segments from resumes using machine learning
CN113516094A (zh) 一种用于为文档匹配评议专家的系统以及方法
Bhargava et al. Deep paraphrase detection in indian languages

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant