CN112163416B - 一种融合句法和实体关系图卷积网络的事件联合抽取方法 - Google Patents

一种融合句法和实体关系图卷积网络的事件联合抽取方法 Download PDF

Info

Publication number
CN112163416B
CN112163416B CN202011072586.4A CN202011072586A CN112163416B CN 112163416 B CN112163416 B CN 112163416B CN 202011072586 A CN202011072586 A CN 202011072586A CN 112163416 B CN112163416 B CN 112163416B
Authority
CN
China
Prior art keywords
candidate
syntactic
word
words
sentence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011072586.4A
Other languages
English (en)
Other versions
CN112163416A (zh
Inventor
汪安平
张春霞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Priority to CN202011072586.4A priority Critical patent/CN112163416B/zh
Publication of CN112163416A publication Critical patent/CN112163416A/zh
Application granted granted Critical
Publication of CN112163416B publication Critical patent/CN112163416B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G06F16/355—Class or cluster creation or modification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G06F40/295—Named entity recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Machine Translation (AREA)

Abstract

本发明公开了一种融合句法和实体关系图卷积网络的事件联合抽取方法，属于大数据挖掘和社会信息处理技术领域。包括：1)句子进行文本预处理；2)生成任意词语的词法特征向量并堆叠，构建句子词法矩阵；3)对句子词法矩阵进行语义编码，获取词语间的长短期依赖关系；4)生成词语的句法特征向量及句子的词法和句法矩阵；5)对候选触发词分类；6)获取实体结点的聚合特征向量及实体关系向量；7)提取句子中的候选论元，构建(候选触发词，候选论元)词对的特征向量；8)识别候选论元在候选触发词所属事件中承担的事件角色；9)训练候选触发词分类和候选论元分类模型，并提取测试集中句子的事件信息。该方法提高了事件信息抽取的识别性能。

Description

一种融合句法和实体关系图卷积网络的事件联合抽取方法
技术领域
本发明涉及一种融合句法和实体关系图卷积网络的事件联合抽取方法，属于大数据挖掘和社会信息处理技术领域。
背景技术
事件信息抽取是社会信息处理、自然语言处理，以及大数据挖掘等领域的重要研究课题。事件信息抽取任务包含两个子任务：候选触发词识别和分类、候选论元识别和分类。它旨在于面向非结构化文本，研制对事件的结构化信息的抽取方法。通过候选触发词识别和分类子任务抽取文本中包含的事件类型，通过候选论元识别和分类子任务抽取时间、地点、参与者和目标等论元或事件要素。事件信息抽取在问答系统、舆情监控、意见挖掘和突发事件检测等领域具有广泛的应用前景。
事件信息抽取方法包括基于模式匹配的方法、基于机器学习的方法，以及基于深度学习的方法。基于模式匹配的事件信息抽取方法是指首先构建不同事件类型的抽取模式或规则，然后根据文本所匹配的模式或规则抽取事件信息。基于机器学习的事件信息抽取方法是指将事件信息抽取任务转化为候选触发词分类问题和候选论元分类问题，然后通过训练的支持向量机、条件随机场或最大熵等分类器实现事件信息抽取。基于深度学习的方法主要包括基于双向长短时记忆网络、动态记忆网络、图卷积网络、生成式对抗网络等深度神经网络模型来抽取事件信息。另外，从候选触发词识别和分类与候选论元识别和分类两个子任务处理方式来看，事件信息抽取方法分为基于流水线模型和基于联合模型的方法。基于流水线模型的事件信息抽取方法是指首先进行候选触发词识别和分类，然后进行论元识别和分类。基于联合模型的事件信息抽取方法是指，对于候选触发词识别和分类子任务与候选论元识别和分类子任务，将这两个子任务集成在同一深度学习模型下训练，降低基于流水线模型的事件信息抽取方法产生的误差传播。
图神经网络(Graph Neural Network)是指面向图数据的深度学习或深度神经网络学习方法，广泛应用于语音识别、机器翻译、目标检测，以及自然语言处理等众多领域。图神经网络可以分为图卷积网络、图注意力网络、图自编码器、图生成网络，以及图时空网络。图卷积网络(Graph Convolutional Network，简称GCN)是通过将问题建模为图数据，在图数据上进行卷积运算的深度神经网络，其目的是学习目标结点的低维嵌入表示。
事件信息抽取是信息抽取领域的重要研究内容。目前，事件信息抽取面临的主要挑战包括文本语义复杂和模型泛化能力弱等问题。
发明内容
本发明的目的在于针对现有基于机器学习和深度学习的事件信息抽取方法存在误差传播和模型泛化能力弱的技术缺陷，提出了一种融合句法和实体关系图卷积网络的事件联合抽取方法，该方法提出了一种事件信息抽取的联合框架，挖掘“候选触发词识别和分类”子任务与“候选论元识别和分类”子任务之间信息的依赖关系；并基于两个子任务进行候选触发词分类和候选论元分类，建立联合模型，提取测试集中句子的事件信息。
其中，候选触发词识别和分类是识别出句子中的事件候选触发词，并对候选触发词所表示的事件类型进行分类，采用一种基于句法图卷积网络和位置自注意力机制；句法图卷积网络是指将句法关系引入到图卷积网络中，为句子中每个词语的分类特征引入句法依存关系；
候选论元识别和分类是在识别句子的事件类型的基础上，识别事件论元即事件要素，并对论元所承担的事件角色进行分类，事件角色包括时间、地点、攻击者和受害者等，基于实体关系图卷积网络，利用图卷积网络提取实体之间的关系作为论元分类的特征。
为达到上述的目的，本发明采取如下技术方案。
所述事件联合抽取方法依托的联合模型，包括文本预处理模块、词法特征向量生成模块、语义编码模块、句法特征向量生成模块、候选触发词分类模块、实体关系向量生成模块、候选触发词和候选论元词对特征融合模块、候选论元分类模块以及损失函数训练模块；
所述联合模型中各模块的连接关系如下：
文本预处理模块与词法特征向量生成模块相连，词法特征向量生成模块语义编码模块相连，语义编码模块与句法特征向量生成模块相连；句法特征向量生成模块与候选触发词分类模块相连；候选触发词分类模块与损失函数训练模块相连；
词法特征向量生成模块、句法特征向量生成模块与实体关系向量生成模块相连；实体关系向量生成模块与候选触发词和候选论元词对特征融合模块相连，候选触发词和候选论元词对特征融合模块与候选论元分类模块相连，候选论元分类模块与损失函数训练模块相连。
所述事件联合抽取方法，包括以下步骤：
步骤1：文本预处理模块对训练集中的句子进行文本预处理，获得预处理后的训练集；
其中，文本预处理包括：实体标注、词性标注以及获取句法依存关系树；
其中，实体标注的类型包括设施、人名、地名、机构名、地缘政治实体、工具和武器七大类；
其中，预处理训练集中包括若干句子，记为句子S＝w1 w2…wi…wj…wn，i和j的取值范围为1到n，n表示句子S中所有词语的个数；
步骤2：词法特征向量生成模块基于词向量模型对步骤1预处理后的训练集中的句子词语生成词语嵌入、词性标注嵌入、实体类型嵌入和位置嵌入，这四种嵌入拼接构建为词语的词法特征向量，再对句子中所有词语的词法特征向量进行堆叠，构建句子词法矩阵；
步骤3：语义编码模块利用双向长短时记忆网络LSTM对步骤2构建的句子词法矩阵进行语义编码，获取词语之间的长短期依赖关系，输出句子的隐藏状态；
其中，LSTM，即Long-short term memory network；
步骤4：句法特征向量生成模块根据句法依存关系树信息通过句法图卷积网络生成词语的句法特征向量，并与步骤2构建的词语的词法特征向量进行拼接；进一步句法特征向量生成模块对句子中所有词语的句法特征向量和词法特征向量进行堆叠，获得句子的词法和句法矩阵M；
为了对每层图卷积网络GCN传播之后的结点信息能够尽可能最大化保留上一层结点信息，分别对上一层结点的原始信息和非线性转换后信息的保留程度进行学习。
步骤5：识别步骤1文本预处理后的训练集中句子的候选触发词、计算重要性得分、生成上下文向量并堆叠，候选触发词分类模块再基于堆叠产生的上下文矩阵对候选触发词进行分类，具体为：
步骤5.1：将经过步骤1文本预处理得到的句子S的任意词语作为候选触发词，即，将w1,w2,…,wi,…,wj,…,wn识别为候选触发词；
步骤5.2：对于句子S＝w1 w2…wi…wj…wn及候选触发词wi，通过位置自注意机制，计算候选触发词wi的重要性得分scorei；
scorei＝softmax(Mi,M) (1)
其中，scorei＝(scorei1,scorei2,...,scoreij,...,scorein)，scoreij表示句子中其他词语wj对候选触发词wi的重要性得分，i不等于j；Mi表示词法和句法矩阵M中的第i列元素，即表示第i个词语的词法特征向量和句法特征向量，词法特征向量由步骤2获取得到，句法特征向量由步骤4获取得到，词法特征向量包含了词语的位置嵌入；位置自注意机制将位置嵌入引入到自注意机制中，通过公式(1)将位置嵌入引入到基于自注意力机制的候选触发词重要性得分的计算；Softmax是指归一化指数函数；
位置嵌入是候选触发词和其他词语之间相对距离的向量表征，具体为：候选触发词wi和词语wj的位置嵌入是指候选触发词wi和词语wj的之间的相对距离的嵌入表示或特征向量；
步骤5.3：对于候选触发词wi，根据句子中其他词语w1,w2,…,wn对wi的重要性得分，生成候选触发词wi的上下文向量vic：
Figure GDA0003248974190000041
其中，Mj表示句子S中第j个词语的词法特征向量和句法特征向量，n表示句子S中所有词语的个数；
进一步，对句子S中所有词语的上下文向量进行堆叠，构建为句子S的上下文矩阵表示Mc；
步骤5.4：将句子S的上下文矩阵Mc输入到全连接层和Softmax层，对候选触发词进行分类，识别句子S中的所有候选触发词及候选触发词所属的事件类型；
步骤6：实体关系向量生成模块构建实体关系图卷积网络，获取实体结点的聚合特征向量，生成实体关系向量，具体为：
步骤6.1：提取步骤1预处理后的训练集中所有句子的实体，由这些实体作为结点构建实体关系图卷积网络；
步骤6.2：设置实体关系图卷积网络的实体结点和关联边的初始特征向量；利用图卷积网络聚合函数AGGREGATE，对实体关系图卷积网络中每一个实体结点的所有邻居结点的特征进行聚合，生成该实体结点的聚合特征向量；
步骤6.3：将每一个实体结点的初始特征向量与聚合特征向量进行拼接，经过非线性函数转换生成实体关系向量；
步骤7：候选触发词和候选论元词对特征向量构建模块提取句子中的候选论元，构建(候选触发词，候选论元)词对的特征向量，具体为：
步骤7.1：将句子S中的所有实体，提取为候选论元；
步骤7.2：对于句子S中的每个候选触发词和每个候选轮元，构建(候选触发词，候选论元)词对的特征向量；
其中，候选触发词和候选论元两者不同；特征向量是对候选触发词的词法特征向量和句法特征向量，与候选论元的词法特征向量和句法特征向量进行拼接获取；
步骤8：候选论元分类模块对(候选触发词，候选论元)词对特征向量，以及候选论元的实体关系向量进行拼接，并将其输入到全连接层和Softmax层；将(候选触发词，候选论元)词对进行分类，识别候选论元在候选触发词所属的事件中承担的事件角色；
步骤9：损失函数训练模块训练候选触发词分类模型和候选论元分类模型，具体为：
对于候选触发词识别和分类阶段与候选论元识别和分类阶段，
步骤9.1采用交叉熵损失函数计算“候选触发词识别和分类”与“候选论元识别和分类”两个阶段的损失函数；
其中，“候选触发词识别和分类”阶段的损失函数为交叉熵损失函数，记为l1；“候选论元识别和分类”阶段的损失函数为交叉熵损失函数，记为l2；
步骤9.2根据重要性系数构造事件抽取联合框架损失函数l；
其中，事件抽取包含两个多分类任务：候选触发词识别和分类、候选论元识别和分类；
其中，损失函数l为交叉熵损失函数，具体体现在公式(3)：
l＝αl1+βl2 (3)
其中，l为事件抽取联合框架的损失函数，α为“候选触发词识别和分类”的重要性系数，β为“候选论元识别和分类”的重要性系数；
步骤10：提取测试集中句子的事件信息，具体为：
基于测试集依次进行：步骤1的文本预处理，步骤2生成句子词语的词法特征向量，步骤3基于长短时记忆网络对句子词法矩阵进行语义编码，步骤4生成句子词语的句法特征向量，步骤5的候选触发词分类，步骤6基于实体关系图卷积网络生成实体关系向量，步骤7构建(候选触发词，候选论元)词对的特征向量，步骤8的候选论元分类，利用步骤9训练的候选触发词分类模型和候选论元分类模型提取测试集句子的事件信息，完成事件触发词识别和分类与论元识别和分类。
有益效果
本发明一种融合句法和实体关系图卷积网络的事件联合抽取方法，与现有事件信息抽取方法：基于模式匹配的方法、基于机器学习的方法、基于深度学习的方法相比，具有如下有益效果：
1.所述事件联合抽取方法具有灵活性，一方面，不仅能够提供候选触发词识别和分类的独立功能与候选论元识别和分类的独立功能，而且能够提供候选触发词识别和分类、候选论元识别和分类的联合功能，另一方面，能够处理英语、汉语等多种自然语言文本的事件信息抽取；
2.所述事件联合抽取方法提高了候选触发词以及候选论元分类的性能，具体为：
2.a)融合句法图卷积网络和实体关系图卷积网络，句法图卷积网络利用图卷积网络对句法依存关系建模，获取句子中词语之间的句法关系，生成词语的句法依存特征；引入句法图卷积网络到候选触发词识别和分类子任务中，增强了候选触发词的分类特征，有助于解决文本语义信息复杂，难以获取词语的句法结构特征的问题；引入的位置自注意力机制区分了候选触发词和句子其他词语的关联程度，挖掘了多事件语句中候选触发词的关联关系，提高了候选触发词分类的性能；
2.b)实体关系图卷积网络是通过图卷积网络提取实体之间的关系作为候选论元分类的特征；在实体关系图卷积网络中，将每对实体视为一级邻居，提取候选论元和句子中所有其他实体之间的关联特征，挖掘实体关系作为论元分类特征，增强了论元的分类特征，提高了论元分类的性能；
3.所述事件联合抽取方法具有鲁棒性，具体为：通过设置联合损失函数使得候选触发词识别和分类、候选论元识别和分类两个子任务在神经网络的反向传播过程中获得训练来拟合模型，不仅提高了事件抽取的性能，而且能够提取一个句子中包含多个事件的事件类型和论元角色；
4.所述事件联合抽取方法能够提取结构化的事件信息，在舆情监控、突发事件检测、意见挖掘等领域具有广阔的应用前景。
附图说明
图1为本发明及实施例一种融合句法和实体关系图卷积网络的事件联合抽取方法的流程示意图。
具体实施方式
下面结合实施例对本发明的融合句法和实体关系图卷积网络的事件联合抽取方法的优选实施方式进行详细说明。
实施例1
基于本发明所述事件联合抽取方法的事件信息抽取系统以PyCharm为开发工具，Python为开发语言。
本实施例叙述了采用本发明所述的一种融合句法和实体关系图卷积网络的事件联合抽取方法的流程，如图1所示。
从图1可以看出，具体包括如下步骤：
步骤1：文本预处理模块对训练集中的句子进行文本预处理，获得预处理后的训练集；
其中，文本预处理包括：实体标注、词性标注以及获取句法依存关系树；
其中，实体标注的类型包括设施、人名、地名、机构名、地缘政治实体、工具和武器七大类；
其中，预处理训练集中包括若干句子，记为句子S＝w1 w2…wi…wj…wn，i的取值范围为1到n，n表示句子S中所有词语的个数；
例如，文本预处理工具为Stanford CoreNLP工具；
例如，对于句子“I used to work there.”，实体标注结果为：“[('I','PER'),('used','O'),('to','O'),('work','O'),('there','ORG'),('.','O')]”；词性标注结果为“[('I','PRP'),('used','VBD'),('to','TO'),('work','VB'),('there','RB'),('.','.')]”；句法依存关系树识别结果为“[('ROOT',0,2),('nsubj',2,1),('mark',4,3),('xcomp',2,4),('advmod',4,5),('punct',2,6)]”。
步骤2：词法特征向量生成模块基于词向量模型对步骤1预处理后的训练集中的句子词语构建词语嵌入、词性标注嵌入、实体类型嵌入和位置嵌入，拼接这四种嵌入构建为词语的词法特征向量，再对句子中所有词语的词法特征向量进行堆叠，构建句子词法矩阵；
例如，词向量模型为Glove。对于句子“I used to work there.”中的词语“work”，该词语的词语嵌入为(-0.1256,0.0136,0.1031,-0.1012,0.0981,0.1363,-0.1072,0.2370,0.3287,-1.6785])，词性标注嵌入为([0.1156,-0.1296,0.1270,-0.1310,0.0217,-0.1159,-0.1182,-0.1105,-0.0051,0.1477])，实体类型嵌入为([-0.1430,0.7867,0.5322,0.0754,-0.2166,0.4625,0.2722,0.5974,-0.5920,-0.9014])，位置嵌入为([0.0136,-0.1259,0.1227,0.1230,0.0968,0.0116,-0.1423,-0.1137,-0.0486,0.1252])。
步骤3：语义编码模块利用长短时记忆网络LSTM对步骤2构建的句子词法矩阵进行语义编码，获取词语之间的长短期依赖关系，输出句子的隐藏状态；
其中，LSTM，即Long-short term memory network；
步骤4：句法特征向量生成模块根据句法依存关系树信息通过句法图卷积网络构建词语的句法特征向量，并与步骤2构建的词语的词法特征向量进行拼接；进一步句法特征向量生成模块对句子中所有词语的句法特征向量和词法特征向量进行堆叠，获得句子的词法和句法矩阵M，具体为：
步骤4.1：将步骤3输出的句子隐藏状态输入到句法图卷积网络。基于句法图卷积网络，句法特征向量生成模块生成句子的任意词语的句法特征向量；
句法图卷积网络是指将句法依存关系引入到图卷积网络中。句法依存关系是表示句子中两个词语的句法依赖关系。例如，“dobj(left,airport)”表示词语left和airport之间的句法依存关系为dobj，即直接宾语关系。
句法图卷积网络中边的类型共有三种：正向边、反向边和自回路。在句法图卷积网络中，对于词语结点u1和u2，首先构建两条自回路e1和e2，e1＝(u1,u1)和e2＝(u2,u2)。若u1和u2存在句法关系r，则构建两条有向边e3和e4，e3＝(u1,u2)，e4＝(u2,u1)，其中e3为正向边，e4为反向边。基于这三种类型的句法关系边和图卷积网络，生成词语的句法特征向量。
例如，对于句子“I used to work there.”中的词语“work”，该词语的句法特征向量为([0.3503,1.0601,0.2506,0.4199,0.1480,0.8078,0.1819,1.3246,1.3067,0.4503])。
步骤4.2：将步骤4.1生成的词语的句法特征向量，与步骤2构建的词语的词法特征向量进行拼接；然后句法特征向量生成模块对句子中所有词语的句法特征向量和词法特征向量进行堆叠，获得句子的词法和句法矩阵M；
为了对每层图卷积网络GCN传播之后的结点信息能够尽可能最大化保留上一层结点信息，分别对上一层结点的原始信息和非线性转换后信息的保留程度进行学习。
步骤5：识别步骤1文本预处理后的训练集中句子的候选触发词、计算重要性得分、生成上下文向量并堆叠，候选触发词分类模块再基于堆叠产生的上下文矩阵对候选触发词进行分类，具体为：
步骤5.1：将经过步骤1文本预处理得到的句子S的任意词语作为候选触发词，即，将w1,w2,…,wi,…,wj,…,wn识别为候选触发词；
步骤5.2：对于句子S＝w1 w2…wi…wj…wn及候选触发词wi，通过位置自注意机制，计算候选触发词wi的重要性得分scorei；
scorei＝softmax(Mi,M) (1)
其中，scorei＝(scorei1,scorei2,...,scoreij,...,scorein)，scoreij表示句子中其他词语wj对候选触发词wi的重要性得分，i不等于j；Mi表示词法和句法矩阵M中的第i列元素，即表示第i个词语的词法特征向量和句法特征向量，词法特征向量由步骤2获取得到，句法特征向量由步骤4获取得到，词法特征向量包含了词语的位置嵌入；位置自注意机制将位置嵌入引入到自注意机制中，通过公式(1)将位置嵌入引入到基于自注意力机制的候选触发词重要性得分的计算；Softmax是指归一化指数函数；
位置嵌入是候选触发词和其他词语之间相对距离的向量表征，具体为：候选触发词wi和词语wj的位置嵌入是指候选触发词wi和词语wj的之间的相对距离的嵌入表示或特征向量；
步骤5.3：对于候选触发词wi，根据句子中其他词语w1,w2,…,wn对wi的重要性得分，生成候选触发词wi的上下文向量vic：
Figure GDA0003248974190000091
其中，Mj表示句子S中第j个词语的词法特征向量和句法特征向量，n表示句子S中所有词语的个数。
进一步，对句子S中所有词语的上下文向量进行堆叠，构建为句子S的上下文矩阵表示Mc。
步骤5.4：将句子S的上下文矩阵Mc输入到全连接层和Softmax层，对候选触发词进行分类。识别句子S中的所有候选触发词，以及候选触发词所属的事件类型；
例如，对于句子：“I used to work there”，其候选触发词分类结果：[‘O’,‘O’,‘O’,’Personnel:End-Positio’,’O’,’O’]。
步骤6：实体关系向量生成模块构建实体关系图卷积网络，获取候选论元之间的关系，生成实体关系向量；
其中，候选论元为句子中的任意实体；
步骤6.1：提取步骤1预处理后的训练集中所有句子的实体，由这些实体作为结点构建实体关系图卷积网络；
步骤6.2：设置实体关系图卷积网络的实体结点的初始特征向量和和关联边的初始值；
首先，初始时，假设任意一对实体之间都具有关联关系，也就是，图卷积网络是全连接图。任意一对实体之间的边权重初始值设为1。对于结点p，其初始向量
Figure GDA0003248974190000101
为结点p所表示实体e的词法特征向量和句法特征向量的拼接；
Figure GDA0003248974190000102
其中，vp1表示实体e的词法特征向量，vp2表示实体e的句法特征向量，CONCAT表示拼接操作。
然后，利用图卷积网络聚合函数AGGREGATE，对实体关系图卷积网络中每一个实体结点的所有邻居结点的特征进行聚合，生成该实体结点的聚合特征向量；
对于结点p，生成结点p的聚合特征向量
Figure GDA0003248974190000103
如公式(4)所示。
Figure GDA0003248974190000104
其中，N(p)表示结点p的邻居结点集合，q为结点p的邻居结点，
Figure GDA0003248974190000105
表示结点q的初始特征向量。
步骤6.3：将每一个实体结点的初始特征向量与聚合特征向量进行拼接，经过非线性函数转换生成实体关系向量；
对于结点p，对其初始特征向量
Figure GDA0003248974190000111
与其聚合特征向量
Figure GDA0003248974190000112
进行拼接，经过非线性函数f转换生成实体关系向量
Figure GDA0003248974190000113
如公式(5)所示。
Figure GDA0003248974190000114
其中，f为非线性函数，X为权重矩阵，CONCAT表示拼接操作。
步骤7：候选触发词和候选论元词对特征向量构建模块提取句子中候选论元，构建(候选触发词，候选论元)词对的特征向量，具体为：
步骤7.1：对于句子S中的所有实体，提取为候选论元；
步骤7.2：对于句子S中的每个候选触发词和每个候选论元，构建(候选触发词，候选论元)词对的特征向量；
其中，候选触发词和候选论元两者不同；特征向量是对候选触发词的词法特征向量和句法特征向量，与候选论元的词法特征向量和句法特征向量进行拼接获取；
例如，对于句子S中的候选触发词wt，候选论元wa，构建(候选触发词wt，候选论元wa)词对的特征向量u，u＝(Vt1,Vt2,Va1,Va2)，即u为特征向量Vt1,Vt2,Va1和Va2的拼接，其中，Vt1为候选触发词wt的词法特征向量，Vt2为候选触发词wt的句法特征向量，Va1为候选触发词wa的词法特征向量，Va2为候选触发词wa的句法特征向量。
步骤8：候选论元分类模块对(候选触发词，候选论元)词对特征向量，以及候选论元的实体关系向量进行拼接，并将其输入到全连接层和Softmax层；将(候选触发词，候选论元)词对进行分类，识别候选论元在候选触发词所属的事件中承担的事件角色；
例如，对于“I used to work there.”，其事件类型为:"Personnel:End-Position"，候选触发词为：{"text":"work","start":3,"end":4}，候选论元为：["I","there"]，论文角色为："arguments":[{"role":"Person","entity-type":"PER:Individual","text":"I","start":0,"end":1},{"role":"Entity","entity-type":"ORG:Media","text":"there","start":4,"end":5}]。
步骤9：损失函数训练模块训练候选触发词分类模型和候选论元分类模型，具体为：
对于候选触发词识别和分类阶段与候选论元识别和分类阶段，
步骤9.1采用交叉熵损失函数计算“候选触发词识别和分类”与“候选论元识别和分类”两个阶段的损失函数，
其中，“候选触发词识别和分类”阶段的损失函数为交叉熵损失函数，记为l1；“候选论元识别和分类”阶段的损失函数为交叉熵损失函数，记为l2；
步骤9.2根据重要性系数构造事件抽取联合框架损失函数l；
其中，事件抽取包含两个多分类任务：候选触发词识别和分类、候选论元识别和分类；
其中，损失函数l为交叉熵损失函数，具体体现在公式(6)：
l＝αl1+βl2 (6)
其中，l为事件抽取联合框架的损失函数，α为“候选触发词识别和分类”的重要性系数，β为“候选论元识别和分类”的重要性系数：
步骤10：提取测试集中句子的事件信息，具体为：
基于测试集依次进行：步骤1的文本预处理，步骤2生成句子词语的词法特征向量，步骤3基于长短时记忆网络对句子词法矩阵进行语义编码，步骤4生成句子词语的句法特征向量，步骤5的候选触发词分类，步骤6基于实体关系图卷积网络生成实体关系向量，步骤7构建(候选触发词，候选论元)词对的特征向量，步骤8的候选论元分类，利用步骤9训练的候选触发词分类模型和候选论元分类模型提取测试集句子的事件信息，完成事件触发词识别和分类与论元识别和分类。
为说明本发明的事件信息抽取效果，本实验是在同等条件下，以相同的训练集和测试集分别采用两种方法进行比较。第一种方法是基于双向循环神经网络的事件信息联合抽取方法，第二种是本发明的事件信息抽取方法。
事件信息抽取采用的评测指标为：准确率、召回率和F1值。事件信息抽取的结果为：对于已有技术的基于双向循环神经网络的事件信息联合抽取方法，其触发词分类的准确率约为66.0％，召回率约为73.0％，F1值约为69.3％；论元分类的准确率约为54.1％，召回率约为56.7％，F1值约为55.4％；采用本发明方法的触发词分类的准确率约为73.2％，召回率约为76.3％，F1值约为74.5％；论元分类的准确率约为66.5％，召回率约为55.8％，F1值约为60.9％。通过实验表明了本发明提出的一种融合句法和和实体关系图卷积网络的事件联合抽取方法的有效性。
以上所述为本发明的较佳实施例而已，本发明不应该局限于该实施例和附图所公开的内容。凡是不脱离本发明所公开的精神下完成的等效或修改，都落入本发明保护的范围。

Claims (4)

1.一种融合句法和实体关系图卷积网络的事件联合抽取方法，其特征在于：
所述事件联合抽取方法依托的联合模型，包括文本预处理模块、词法特征向量生成模块、语义编码模块、句法特征向量生成模块、候选触发词分类模块、实体关系向量生成模块、候选触发词和候选论元词对特征融合模块、候选论元分类模块以及损失函数训练模块；
所述联合模型中各模块的连接关系如下：
文本预处理模块与词法特征向量生成模块相连，词法特征向量生成模块与语义编码模块相连，语义编码模块与句法特征向量生成模块相连；句法特征向量生成模块与候选触发词分类模块相连；候选触发词分类模块与损失函数训练模块相连；
词法特征向量生成模块、句法特征向量生成模块与实体关系向量生成模块相连；实体关系向量生成模块与候选触发词和候选论元词对特征融合模块相连，候选触发词和候选论元词对特征融合模块与候选论元分类模块相连，候选论元分类模块与损失函数训练模块相连；
所述事件联合抽取方法，包括以下步骤：
步骤1：文本预处理模块对训练集中的句子进行文本预处理，获得预处理后的训练集；
其中，文本预处理包括：实体标注、词性标注以及获取句法依存关系树；
其中，实体标注的类型包括设施、人名、地名、机构名、地缘政治实体、工具和武器七大类；
其中，预处理训练集中包括若干句子，记为句子S＝w1 w2…wi…wj…wn，i和j的取值范围为1到n，n表示句子S中所有词语的个数；
步骤2：词法特征向量生成模块基于词向量模型对步骤1预处理后的训练集中的句子词语生成词语嵌入、词性标注嵌入、实体类型嵌入和位置嵌入，这四种嵌入拼接构建为词语的词法特征向量，再对句子中所有词语的词法特征向量进行堆叠，构建句子词法矩阵；
步骤3：语义编码模块利用长短时记忆网络LSTM对步骤2构建的句子词法矩阵进行编码，获取词语之间的长短期依赖关系，输出句子的隐藏状态；
其中，LSTM，即Long-short term memory network；
步骤4：句法特征向量生成模块根据句法依存关系树信息通过句法图卷积网络生成词语的句法特征向量，并与步骤2构建的词语的词法特征向量进行拼接；进一步句法特征向量生成模块对句子中所有词语的句法特征向量和词法特征向量进行堆叠，获得句子的词法和句法矩阵M；其中，句法图卷积网络中边的类型共有三种：正向边、反向边和自回路；
步骤4：句法特征向量生成模块根据句法依存关系树信息通过句法图卷积网络构建词语的句法特征向量，并与步骤2构建的词语的词法特征向量进行拼接；进一步句法特征向量生成模块对句子中所有词语的句法特征向量和词法特征向量进行堆叠，获得句子的词法和句法矩阵M，具体为：
步骤4.1：将步骤3输出的句子隐藏状态输入到句法图卷积网络； 基于句法图卷积网络，句法特征向量生成模块生成句子的任意词语的句法特征向量；
句法图卷积网络是指将句法依存关系引入到图卷积网络中；句法依存关系是表示句子中两个词语的句法依赖关系；
步骤4.2：将步骤4.1生成的词语的句法特征向量，与步骤2构建的词语的词法特征向量进行拼接；然后句法特征向量生成模块对句子中所有词语的句法特征向量和词法特征向量进行堆叠，获得句子的词法和句法矩阵M；
为了对每层句法图卷积网络GCN传播之后的结点信息能够最大化保留上一层结点信息，分别对上一层结点的原始信息和非线性转换后信息的保留程度进行学习；
步骤5：识别步骤1文本预处理后的训练集中句子的候选触发词、计算重要性得分、生成上下文向量并堆叠，候选触发词分类模块再基于堆叠产生的上下文矩阵对候选触发词进行分类，识别句子S中的所有候选触发词及候选触发词所属的事件类型；
步骤6：实体关系向量生成模块构建实体关系图卷积网络，获取实体结点的聚合特征向量，生成实体关系向量；
步骤7：候选触发词和候选论元词对特征向量构建模块提取句子中的候选论元，构建(候选触发词，候选论元)词对的特征向量；
步骤7.1：将句子S中的所有实体，提取为候选论元；
步骤7.2：对于句子S中的每个候选触发词和每个候选论元，构建(候选触发词，候选论元)词对的特征向量；
其中，候选触发词和候选论元两者不同；特征向量是对候选触发词的词法特征向量和句法特征向量，与候选论元的词法特征向量和句法特征向量进行拼接获取；
步骤8：候选论元分类模块对(候选触发词，候选论元)词对特征向量，以及候选论元的实体关系向量进行拼接，并将其输入到全连接层和Softmax层；将(候选触发词，候选论元)词对进行分类，识别候选论元在候选触发词所属的事件中承担的事件角色；
步骤9：损失函数训练模块训练候选触发词分类模型和候选论元分类模型，该训练包括候选触发词识别和分类阶段与候选论元识别和分类阶段；
步骤10：提取测试集中句子的事件信息，具体为：
基于测试集依次进行：步骤1的文本预处理，步骤2生成句子词语的词法特征向量，步骤3基于长短时记忆网络对句子词法矩阵进行语义编码，步骤4生成句子词语的句法特征向量，步骤5的候选触发词分类，步骤6基于实体关系图卷积网络生成实体关系向量，步骤7构建(候选触发词，候选论元)词对的特征向量，步骤8的候选论元分类，利用步骤9训练的候选触发词分类模型和候选论元分类模型提取测试集句子的事件信息，完成事件触发词识别和分类与论元识别和分类。
2.根据权利要求1所述的一种融合句法和实体关系图卷积网络的事件联合抽取方法，其特征在于：步骤5中，具体为：
步骤5.1：将经过步骤1文本预处理得到的句子S的任意词语作为候选触发词，即，将w1,w2,…,wi,…,wj,…,wn识别为候选触发词；
步骤5.2：对于句子S＝w1 w2…wi…wj…wn及候选触发词wi，通过位置自注意机制，计算候选触发词wi的重要性得分scorei；
scorei＝softmax(Mi,M) (1)
其中，scorei＝(scorei1,scorei2,...,scoreij,...,scorein)，scoreij表示句子中其他词语wj对候选触发词wi的重要性得分，i不等于j；Mi表示词法和句法矩阵M中的第i列元素，即表示第i个词语的词法特征向量和句法特征向量，词法特征向量由步骤2获取得到，句法特征向量由步骤4获取得到，词法特征向量包含了词语的位置嵌入；位置自注意机制将位置嵌入引入到自注意机制中，通过公式(1)将位置嵌入引入到基于自注意力机制的候选触发词重要性得分的计算；Softmax是指归一化指数函数；
位置嵌入是候选触发词和其他词语之间相对距离的向量表征，具体为：候选触发词wi和词语wj的位置嵌入是指候选触发词wi和词语wj的之间的相对距离的嵌入表示或特征向量；
步骤5.3：对于候选触发词wi，根据句子中其他词语w1,w2,…,wn对wi的重要性得分，生成候选触发词wi的上下文向量vic：
Figure FDA0003248974180000041
其中，Mj表示句子S中第j个词语的词法特征向量和句法特征向量，n表示句子S中所有词语的个数；
进一步，对句子S中所有词语的上下文向量进行堆叠，构建为句子S的上下文矩阵表示Mc；
步骤5.4：将句子S的上下文矩阵Mc输入到全连接层和Softmax层，对候选触发词进行分类，识别句子S中的所有候选触发词及候选触发词所属的事件类型。
3.根据权利要求1所述的一种融合句法和实体关系图卷积网络的事件联合抽取方法，其特征在于：步骤6，具体为：
步骤6.1：提取步骤1预处理后的训练集中所有句子的实体，由这些实体作为结点构建实体关系图卷积网络；
步骤6.2：设置实体关系图卷积网络的实体结点的初始特征向量和关联边的初始值；初始时，假设任意一对实体之间都具有关联关系，即实体关系图卷积网络是全连接图，任意一对实体之间的边权重初始值设为1；结点的初始特征向量为该结点所表示实体的词法特征向量和句法特征向量的拼接；利用实体关系图卷积网络聚合函数AGGREGATE，对实体关系图卷积网络中每一个实体结点的所有邻居结点的特征进行聚合，生成该实体结点的聚合特征向量；
步骤6.3：将每一个实体结点的初始特征向量与聚合特征向量进行拼接，经过非线性函数转换生成实体关系向量。
4.根据权利要求1所述的一种融合句法和实体关系图卷积网络的事件联合抽取方法，其特征在于：步骤9，具体为：对于候选触发词识别和分类阶段与候选论元识别和分类阶段，包括如下子步骤：
步骤9.1采用交叉熵损失函数计算“候选触发词识别和分类”与“候选论元识别和分类”两个阶段的损失函数，
其中，“候选触发词识别和分类”阶段的损失函数为交叉熵损失函数，记为l1；“候选论元识别和分类”阶段的损失函数为交叉熵损失函数，记为l2；
步骤9.2根据重要性系数构造事件抽取联合框架损失函数l；
其中，事件抽取包含两个多分类任务：候选触发词识别和分类、候选论元识别和分类；
其中，损失函数l为交叉熵损失函数，具体体现在公式(3)：
l＝αl1+βl2 (3)
其中，l为事件抽取联合框架的损失函数，α为“候选触发词识别和分类”的重要性系数，β为“候选论元识别和分类”的重要性系数。
CN202011072586.4A 2020-10-09 2020-10-09 一种融合句法和实体关系图卷积网络的事件联合抽取方法 Active CN112163416B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011072586.4A CN112163416B (zh) 2020-10-09 2020-10-09 一种融合句法和实体关系图卷积网络的事件联合抽取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011072586.4A CN112163416B (zh) 2020-10-09 2020-10-09 一种融合句法和实体关系图卷积网络的事件联合抽取方法

Publications (2)

Publication Number Publication Date
CN112163416A CN112163416A (zh) 2021-01-01
CN112163416B true CN112163416B (zh) 2021-11-02

Family

ID=73866360

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011072586.4A Active CN112163416B (zh) 2020-10-09 2020-10-09 一种融合句法和实体关系图卷积网络的事件联合抽取方法

Country Status (1)

Country Link
CN (1) CN112163416B (zh)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112765987A (zh) * 2021-01-26 2021-05-07 武汉大学 一种基于递归条件随机场解码器的事件识别方法及系统
CN112733866B (zh) * 2021-01-27 2023-09-26 湖南千里云医疗科技有限公司 一种提高可控图像文本描述正确性的网络构建方法
CN112817561B (zh) * 2021-02-02 2023-08-18 山东省计算中心（国家超级计算济南中心） 软件需求文档的事务类功能点结构化抽取方法及系统
CN113032567B (zh) * 2021-03-29 2022-03-29 广东众聚人工智能科技有限公司 位置嵌入解释方法、装置、计算机设备及存储介质
CN115146637A (zh) * 2021-03-31 2022-10-04 株式会社理光 医学检查文本实体和属性及其关系的联合抽取方法、装置
CN113158667B (zh) * 2021-04-09 2022-03-01 杭州电子科技大学 基于实体关系级别注意力机制的事件检测方法
CN113111184B (zh) * 2021-04-27 2022-03-08 清华大学深圳国际研究生院 基于显式事件结构知识增强的事件检测方法及终端设备
CN113222119B (zh) * 2021-05-28 2022-09-20 北京理工大学 利用拓扑依存关系多视角图编码器的论元抽取方法
CN113344060B (zh) * 2021-05-31 2022-07-08 哈尔滨工业大学 文本分类模型训练方法、诉讼状分类方法及装置
CN113239694B (zh) * 2021-06-04 2022-06-14 北京理工大学 一种基于论元短语的论元角色识别的方法
CN113535972B (zh) * 2021-06-07 2022-08-23 吉林大学 一种融合上下文语义的知识图谱链路预测模型方法及装置
CN113468884B (zh) * 2021-06-10 2023-06-16 北京信息科技大学 一种中文事件触发词抽取方法及装置
CN113255321B (zh) * 2021-06-10 2021-10-29 之江实验室 基于文章实体词依赖关系的金融领域篇章级事件抽取方法
CN113535949B (zh) * 2021-06-15 2022-09-13 杭州电子科技大学 基于图片和句子的多模态联合事件检测方法
CN114676705A (zh) * 2021-06-17 2022-06-28 腾讯云计算（北京）有限责任公司 一种对话关系处理方法、计算机及可读存储介质
CN113536795B (zh) * 2021-07-05 2022-02-15 杭州远传新业科技有限公司 实体关系抽取的方法、系统、电子装置和存储介质
CN113742733B (zh) * 2021-08-09 2023-05-26 扬州大学 阅读理解漏洞事件触发词抽取和漏洞类型识别方法及装置
CN114065702A (zh) * 2021-09-28 2022-02-18 南京邮电大学 一种融合实体关系和事件要素的事件检测方法
CN113887213A (zh) * 2021-09-30 2022-01-04 深圳市检验检疫科学研究院 一种基于多层图注意力网络的事件检测方法及装置
CN114036955B (zh) * 2021-10-30 2023-04-07 西南电子技术研究所（中国电子科技集团公司第十研究所） 中心词跨句事件论元检测方法
CN113887836B (zh) * 2021-11-04 2024-04-19 南开大学 一种融合事件环境信息的叙述性事件预测方法
CN114254107B (zh) * 2021-11-30 2023-03-24 重庆邮电大学 一种事件抽取系统及方法
CN114239566B (zh) * 2021-12-14 2024-04-23 公安部第三研究所 基于信息增强实现两步中文事件精准检测的方法、装置、处理器及其计算机可读存储介质
CN114492377B (zh) * 2021-12-30 2024-04-16 永中软件股份有限公司 一种事件角色的标注方法和计算机设备、计算机可读存储介质
CN114548115B (zh) * 2022-02-23 2023-01-06 北京三快在线科技有限公司 复合名词的解释方法、装置及电子设备
CN114757181B (zh) * 2022-03-25 2023-02-28 中科世通亨奇(北京)科技有限公司 基于先验知识端到端的事件抽取模型的训练、事件抽取方法及装置
CN114936563B (zh) * 2022-04-27 2023-07-25 苏州大学 一种事件抽取方法、装置及存储介质
CN114757189B (zh) * 2022-06-13 2022-10-18 粤港澳大湾区数字经济研究院(福田) 事件抽取方法、装置、智能终端及存储介质
CN114880491B (zh) * 2022-07-08 2022-09-23 云孚科技(北京)有限公司 一种事理图谱自动构建方法和系统
CN115130466B (zh) * 2022-09-02 2022-12-02 杭州火石数智科技有限公司 分类和实体识别联合抽取方法、计算机设备及存储介质
CN116579338A (zh) * 2023-07-13 2023-08-11 江西财经大学 基于集成联合学习的文档级事件抽取方法和系统
CN116882416B (zh) * 2023-09-08 2023-11-21 江西省精彩纵横采购咨询有限公司 一种招标文件的信息识别方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2618374C1 (ru) * 2015-11-05 2017-05-03 Общество с ограниченной ответственностью "Аби ИнфоПоиск" Выявление словосочетаний в текстах на естественном языке
CN107239445A (zh) * 2017-05-27 2017-10-10 中国矿业大学 一种基于神经网络的新闻事件抽取的方法及系统
CN110134720A (zh) * 2019-05-17 2019-08-16 苏州大学 融合局部特征与深度学习的事件联合抽取方法
CN110377738A (zh) * 2019-07-15 2019-10-25 昆明理工大学 融合依存句法信息和卷积神经网络的越南语新闻事件检测方法
CN111160008A (zh) * 2019-12-18 2020-05-15 华南理工大学 一种实体关系联合抽取方法及系统
CN111581954A (zh) * 2020-05-15 2020-08-25 中国人民解放军国防科技大学 一种基于语法依存信息的文本事件抽取方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10133728B2 (en) * 2015-03-20 2018-11-20 Microsoft Technology Licensing, Llc Semantic parsing for complex knowledge extraction

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2618374C1 (ru) * 2015-11-05 2017-05-03 Общество с ограниченной ответственностью "Аби ИнфоПоиск" Выявление словосочетаний в текстах на естественном языке
CN107239445A (zh) * 2017-05-27 2017-10-10 中国矿业大学 一种基于神经网络的新闻事件抽取的方法及系统
CN110134720A (zh) * 2019-05-17 2019-08-16 苏州大学 融合局部特征与深度学习的事件联合抽取方法
CN110377738A (zh) * 2019-07-15 2019-10-25 昆明理工大学 融合依存句法信息和卷积神经网络的越南语新闻事件检测方法
CN111160008A (zh) * 2019-12-18 2020-05-15 华南理工大学 一种实体关系联合抽取方法及系统
CN111581954A (zh) * 2020-05-15 2020-08-25 中国人民解放军国防科技大学 一种基于语法依存信息的文本事件抽取方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Joint Event Extraction via Recurrent Neural Networks;Thien Huu Nguyen et al.;《Proceedings of NAACL-HLT 2016》;20160617;第300-309页 *
神经网络事件抽取技术综述;秦彦霞 等;《智能计算机与应用》;20180630;第8卷(第3期);第1-5、10页 *

Also Published As

Publication number Publication date
CN112163416A (zh) 2021-01-01

Similar Documents

Publication Publication Date Title
CN112163416B (zh) 一种融合句法和实体关系图卷积网络的事件联合抽取方法
US11631007B2 (en) Method and device for text-enhanced knowledge graph joint representation learning
CN110321563B (zh) 基于混合监督模型的文本情感分析方法
CN113221567A (zh) 司法领域命名实体及关系联合抽取方法
CN113407660B (zh) 非结构化文本事件抽取方法
Gokul et al. Sentence similarity detection in Malayalam language using cosine similarity
Sangwan et al. I didn’t mean what I wrote! Exploring Multimodality for Sarcasm Detection
CN112148832A (zh) 一种基于标签感知的双重自注意力网络的事件检测方法
Mozafari et al. BAS: an answer selection method using BERT language model
CN113011161A (zh) 一种基于深度学习与模式匹配的人案物关联关系抽取方法
CN111191464A (zh) 基于组合距离的语义相似度计算方法
CN112966525A (zh) 一种基于预训练模型和卷积神经网络算法的法律领域事件抽取方法
El Desouki et al. Exploring the recent trends of paraphrase detection
CN112989830B (zh) 一种基于多元特征和机器学习的命名实体识别方法
CN113901813A (zh) 一种基于主题特征和隐式句子结构的事件抽取方法
Solomon et al. Crime linkage based on textual hebrew police reports utilizing behavioral patterns
Zhang et al. A named entity recognition method towards product reviews based on BiLSTM-attention-CRF
Nazarizadeh et al. Using Group Deep Learning and Data Augmentation in Persian Sentiment Analysis
CN115687939A (zh) 一种基于多任务学习的Mask文本匹配方法及介质
WO2023173554A1 (zh) 坐席违规话术识别方法、装置、电子设备、存储介质
CN113989811A (zh) 基于深度学习的贸易合同中项目公司、供应商的提取方法
CN114595324A (zh) 电网业务数据分域的方法、装置、终端和非暂时性存储介质
Li et al. Attention-based LSTM-CNNs for uncertainty identification on Chinese social media texts
Prajapati et al. Automatic Question Tagging using Machine Learning and Deep learning Algorithms
Xin et al. [Retracted] Recognition of Unknown Entities in Specific Financial Field Based on ERNIE‐Doc‐BiLSTM‐CRF

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant