CN113158667A - 基于实体关系级别注意力机制的事件检测方法 - Google Patents

基于实体关系级别注意力机制的事件检测方法 Download PDF

Info

Publication number
CN113158667A
CN113158667A CN202110381780.9A CN202110381780A CN113158667A CN 113158667 A CN113158667 A CN 113158667A CN 202110381780 A CN202110381780 A CN 202110381780A CN 113158667 A CN113158667 A CN 113158667A
Authority
CN
China
Prior art keywords
word
sentence
entity
level
entity relationship
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110381780.9A
Other languages
English (en)
Other versions
CN113158667B (zh
Inventor
汤景凡
曹祥彪
张旻
姜明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dianzi University
Original Assignee
Hangzhou Dianzi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dianzi University filed Critical Hangzhou Dianzi University
Priority to CN202110381780.9A priority Critical patent/CN113158667B/zh
Publication of CN113158667A publication Critical patent/CN113158667A/zh
Application granted granted Critical
Publication of CN113158667B publication Critical patent/CN113158667B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G06F16/288—Entity relationship models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/216—Parsing using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Machine Translation (AREA)

Abstract

本发明公开了一种基于实体关系级别注意力机制的事件检测方法。本发明步骤：首先利用依存Tree‑LSTM获取实体关系级别表示和双向LSTM获取词汇级别表示，然后利用实体关系级别注意力和词汇级别注意力捕获对于当前候选触发词有重要影响的实体关系信息和句子语义信息。再针对候选触发词，对语义信息、实体关系信息、根节点词汇级别表示以及候选触发词的词汇级别表示进行拼接，然后进行触发词识别和分类。本发明不仅可以捕获较重要的句子语义信息，而且可以减少无关的实体关系特征对当前触发词的影响，从而提高了事件检测模型的性能。

Description

基于实体关系级别注意力机制的事件检测方法
技术领域
本发明设计事件检测方法，具体来讲是一种基于实体关系级别注意力机制的事件检测方法，属于自然语言处理领域。
背景技术
随着海量文本信息的出现以及深度学习技术的快速发展，如何快速、准确的获取用户感兴趣的事件信息，逐渐成为信息抽取领域的最具挑战的难题，而事件检测是信息抽取任务的重要环节，主要是为了从文本中找出引发事件的触发词，并为其分配正确的事件类型。此外，事件检测技术已应用于新闻消息归类、社会舆情分析等。
发明内容
本发明主要针对于在触发词识别过程中，不能同时捕获重要的实体关系特征和词汇特征的问题提出的一种基于实体关系级别注意力机制的事件检测方法。
基于实体关系级别注意力机制的事件检测方法，按照如下步骤进行：
步骤1、对原始文本中的单词和实体关系进行编码，分别获取词汇级别向量序列和实体关系级别向量序列；
步骤2、将步骤1的词汇级别向量序列输入依存Tree-LSTM，获取句子的词汇级别表示；
步骤3、将步骤1的实体关系级别向量序列输入双向LSTM，获取实体关系级别表示；
步骤4、利用词汇级别注意力机制获取句中第i个单词对第t个候选触发词的影响权重
Figure BDA0003013279200000011
将句中的词汇级别表示加权平均，获取句子完整的语义信息
Figure BDA0003013279200000012
步骤5、利用实体关系级别注意力机制获取句中第j个实体关系对第t个候选触发词的影响权重
Figure BDA0003013279200000013
将句中每个实体关系级别表示加权平均，获取句中完整的实体关系信息
Figure BDA0003013279200000014
步骤6、针对第t个候选触发词，对语义信息
Figure BDA0003013279200000015
实体关系信息
Figure BDA0003013279200000016
根节点词汇级别表示
Figure BDA0003013279200000021
以及候选触发词的词汇级别表示
Figure BDA0003013279200000022
进行拼接，然后进行触发词识别和分类；
进一步的，步骤1具体实现如下：
1-1.从KBP 2017英文数据集标注文件中获取实体提及、实体类型、实体关系、事件触发词。KBP 2017英文数据集一共定义了19种事件类型和21种实体关系(其中都包含“空”类型)。利用Stanford CoreNLP工具对数据集中原始文本进行分句、分词以及获取单词的词性和每个句子的依存树结构。然后创建词性向量表、实体类型向量表、实体关系向量表以及触发词类型向量表，其中在每个向量表中定义”空”类型对应的向量。随机初始化这些向量，在训练的时候更新这些向量。
1-2.首先查询预训练的Glove词向量矩阵、词性向量表、实体类型向量表。分别获取句子中每个词的词向量wi、词性向量wpos、实体类型向量we。然后查询实体关系向量表，获取句子中出现的每个实体关系对应的向量r。
1-3.每个单词真值向量为xi＝{wi,wpos,we}，所以句子词汇级别向量序列W＝{x1,x2,...,xn-1,xn},实体关系级别向量序列R＝{r1,r2,...,rk-1,rk}。其中n是句子的长度、k为实体关系的个数(k有可能为0)。
进一步的，步骤2具体实现如下：
2-1.为了获取句子中每个单词的词汇级别表示，利用Stanford CoreNLP工具解析每个句子生成依存树结构，其中，每个单词对应依存树结构中的一个节点。在依存树结构基础上构建依存Tree-LSTM，将W＝{x1,x2,...,xn-1,xn}作为依存Tree-LSTM的输入，获取每个单词的词汇级别表示，例如，第i个单词的词汇级别表示为
Figure BDA0003013279200000023
以及包含整个句子信息的根节点的词汇级别表示为
Figure BDA0003013279200000024
因此，句子的词汇级别表示序列
Figure BDA0003013279200000025
其中i,root∈[1,n],n是句子的长度。
进一步的，步骤3具体实现如下：
3-1.为了获取句子中实体关系级别表示，将句中实体关系级别向量序列R＝{r1,r2,...,rk-1,rk}输入双向LSTM，获取每个实体关系对应的前向隐含状态向量和后向隐含状态向量，例如，
Figure BDA0003013279200000031
和
Figure BDA0003013279200000032
分别表示第j(j∈k)个实体关系对应的前向隐含状态向量和后向隐含状态向量。为了和步骤2中依存Tree-LSTM的每个单词的词汇级别表示维度一致，采用求平均的方式获取第j个实体关系级别表示
Figure BDA0003013279200000033
因此，句子的实体关系级别表示序列
Figure BDA0003013279200000034
其中，k是句子实体关系的个数。
进一步的，步骤4具体实现如下：
4-1.利用词汇级别注意力机制捕获重要的上下文信息，而候选触发词及其周围的单词应该获得更高的注意力权重。首先利用公式1计算候选触发词的词汇级别表示
Figure BDA0003013279200000035
和第i个单词的词汇级别表示
Figure BDA0003013279200000036
的相似度。
Figure BDA0003013279200000037
其中，Ww和bw分别是相似度计算公式的权重矩阵和偏置项。然后根据st,i，获取第i个单词对第t个候选触发词的影响权重
Figure BDA0003013279200000038
Figure BDA0003013279200000039
这里的st,m表示句中第m个单词的词汇级别表示
Figure BDA00030132792000000310
与候选触发词的词汇级别表示
Figure BDA00030132792000000311
的相似度，其中，1≤m≤n。
对于第t个候选触发词,将句中每个单词的词汇级别表示加权平均获取句中完整的语义信息
Figure BDA00030132792000000312
进一步的，步骤5具体实现如下：
5-1.句子中往往包含多对实体关系，不同的实体关系对第t个候选触发词的影响不同。首先利用公式3计算候选触发词的词汇级别表示
Figure BDA00030132792000000313
和第j个实体关系的实体关系级别表示
Figure BDA00030132792000000314
的相似度：
Figure BDA00030132792000000315
其中，Wr和br分别表示相似度计算公式的权重矩阵和偏置项。然后根据st,j，获取第j个实体关系对第t个候选触发词的影响权重：
Figure BDA0003013279200000041
这里的st,l表示句中第l个实体关系的实体关系级别表示
Figure BDA0003013279200000042
与候选触发词的词汇级别表示
Figure BDA0003013279200000043
的相似度，其中，1≤l≤k，而对于第t个候选触发词,将句中实体关系级别表示序列加权平均获取句中完整的实体关系信息
Figure BDA0003013279200000044
进一步的，步骤6具体实现如下：
6-1.触发词检测和识别是一个多分类的过程，针对第t个候选触发词，对步骤4的
Figure BDA0003013279200000045
步骤5的
Figure BDA0003013279200000046
根节点词汇级别表示
Figure BDA0003013279200000047
以及候选触发词的词汇级别表示
Figure BDA0003013279200000048
进行拼接，然后带入公式5进行触发词识别和分类：
Figure BDA0003013279200000049
ETt＝argmax(Pt) 公式6
其中，Wt和bt是触发词多分类的权重矩阵和偏置项，Pt表示第t个候选触发词触发事件类型的概率分布，而ETt则表示第t个候选触发词触发的事件类型。
本发明有益效果如下：
针对现有技术的不足，提出一种基于实体关系级别注意力机制的事件检测方法。首先利用依存Tree-LSTM获取实体关系级别表示和双向LSTM获取词汇级别表示，然后利用实体关系级别注意力和词汇级别注意力捕获对于当前候选触发词有重要影响的实体关系信息和句子语义信息。该模型不仅可以捕获较重要的句子语义信息，而且可以减少无关的实体关系特征对当前触发词的影响，从而提高了事件检测模型的性能。
附图说明
图1是本发明的整体实施流程图。
图2是本发明模型网络结构图。
具体实施方式
附图非限制性地公开了本发明所涉及优选实例的流程示意图；以下将结合附图详细地说明本发明的技术方案。
事件抽取是信息抽取研究的重要组成部分，是新闻热点抽取和社会舆情分析的常用技术基础。事件抽取就是从大量文本中找出事件提及，由事件触发词和事件论元组成。因此事件抽取主要包含事件检测和论元识别两个子任务。事件检测希望找出句子的所有触发词并为其分配正确的事件类型，事件检测结果的好坏直接影响论元识别和分类的性能。先前的工作直接将标注好的实体关系编码成词表示的一部分，结合词汇级别注意力获取重要的语义信息来提高事件检测模型的性能。但是，他们忽略了句子中往往有多对实体关系，和单词一样，不同的实体关系对候选触发词在识别过程中的影响不同。因此，为了同时获取重要的词汇级别特征和实体关系级别特征信息，我们提出了基于实体关系级别注意力机制的事件检测方法。
如图2所示，基于实体关系级别注意力机制的事件检测方法，按照如下步骤进行：
步骤1、对原始文本中的单词和实体关系进行编码，分别获取词汇级别向量序列和实体关系级别向量序列；
步骤2、将步骤1的词汇级别向量序列输入依存Tree-LSTM，获取句子的词汇级别表示；
步骤3、将步骤1的实体关系级别向量序列输入双向LSTM，获取实体关系级别表示；
步骤4、利用词汇级别注意力机制获取句中第i个单词对第t个候选触发词的影响权重
Figure BDA0003013279200000051
将句中的词汇级别表示加权平均，获取句子完整的语义信息
Figure BDA0003013279200000052
步骤5、利用实体关系级别注意力机制获取句中第j个实体关系对第t个候选触发词的影响权重
Figure BDA0003013279200000053
将句中每个实体关系级别表示加权平均，获取句中完整的实体关系信息
Figure BDA0003013279200000061
步骤6、针对第t个候选触发词，对语义信息
Figure BDA0003013279200000062
实体关系信息
Figure BDA0003013279200000063
根节点词汇级别表示
Figure BDA0003013279200000064
以及候选触发词的词汇级别表示
Figure BDA0003013279200000065
进行拼接，然后进行触发词识别和分类；
进一步的，步骤1具体实现如下：
1-1.从KBP 2017英文数据集标注文件中获取实体提及、实体类型、实体关系、事件触发词。KBP 2017英文数据集一共定义了19种事件类型和21种实体关系(其中都包含“空”类型)。利用Stanford CoreNLP工具对数据集中原始文本进行分句、分词以及获取单词的词性和每个句子的依存树结构。然后创建词性向量表、实体类型向量表、实体关系向量表以及触发词类型向量表，其中在每个向量表中定义”空”类型对应的向量。随机初始化这些向量，在训练的时候更新这些向量。
1-2.首先查询预训练的Glove词向量矩阵、词性向量表、实体类型向量表。分别获取句子中每个词的词向量wi、词性向量wpos、实体类型向量we。然后查询实体关系向量表，获取句子中出现的每个实体关系对应的向量r。
1-3.每个单词真值向量为xi＝{wi,wpos,we}，所以句子词汇级别向量序列W＝{x1,x2,...,xn-1,xn},实体关系级别向量序列R＝{r1,r2,...,rk-1,rk}。其中n是句子的长度、k为实体关系的个数(k有可能为0)。
进一步的，步骤2具体实现如下：
2-1.为了获取句子中每个单词的词汇级别表示，利用Stanford CoreNLP工具解析每个句子生成依存树结构，其中，每个单词对应依存树结构中的一个节点。在依存树结构基础上构建依存Tree-LSTM，将W＝{x1,x2,...,xn-1,xn}作为依存Tree-LSTM的输入，获取每个单词的词汇级别表示，例如，第i个单词的词汇级别表示为
Figure BDA0003013279200000066
以及包含整个句子信息的根节点的词汇级别表示为
Figure BDA0003013279200000067
因此，句子的词汇级别表示序列
Figure BDA0003013279200000068
其中i,root∈[1,n],n是句子的长度。
进一步的，步骤3具体实现如下：
3-1.为了获取句子中实体关系级别表示，将句中实体关系级别向量序列R＝{r1,r2,...,rk-1,rk}输入双向LSTM，获取每个实体关系对应的前向隐含状态向量和后向隐含状态向量，例如，
Figure BDA0003013279200000071
和
Figure BDA0003013279200000072
分别表示第j(j∈k)个实体关系对应的前向隐含状态向量和后向隐含状态向量。为了和步骤2中依存Tree-LSTM的每个单词的词汇级别表示维度一致，采用求平均的方式获取第j个实体关系级别表示
Figure BDA0003013279200000073
因此，句子的实体关系级别表示序列
Figure BDA0003013279200000074
其中，k是句子实体关系的个数。
进一步的，步骤4具体实现如下：
4-1.利用词汇级别注意力机制捕获重要的上下文信息，而候选触发词及其周围的单词应该获得更高的注意力权重。首先利用公式1计算候选触发词的词汇级别表示ht w和第i个单词的词汇级别表示hi w的相似度。
Figure BDA0003013279200000075
其中，Ww和bw分别是相似度计算公式的权重矩阵和偏置项。然后根据st,i，获取第i个单词对第t个候选触发词的影响权重
Figure BDA0003013279200000076
Figure BDA0003013279200000077
这里的st,m表示句中第m个单词的词汇级别表示
Figure BDA0003013279200000078
与候选触发词的词汇级别表示
Figure BDA0003013279200000079
的相似度，其中，1≤m≤n。
对于第t个候选触发词,将句中每个单词的词汇级别表示加权平均获取句中完整的语义信息
Figure BDA00030132792000000710
进一步的，步骤5具体实现如下：
5-1.句子中往往包含多对实体关系，不同的实体关系对第t个候选触发词的影响不同。首先利用公式3计算候选触发词的词汇级别表示
Figure BDA0003013279200000081
和第j个实体关系的实体关系级别表示
Figure BDA0003013279200000082
的相似度：
Figure BDA0003013279200000083
其中，Wr和br分别表示相似度计算公式的权重矩阵和偏置项。然后根据st,j，获取第j个实体关系对第t个候选触发词的影响权重：
Figure BDA0003013279200000084
这里的st,l表示句中第l个实体关系的实体关系级别表示
Figure BDA0003013279200000085
与候选触发词的词汇级别表示
Figure BDA0003013279200000086
的相似度，其中，1≤l≤k，而对于第t个候选触发词,将句中实体关系级别表示序列加权平均获取句中完整的实体关系信息
Figure BDA0003013279200000087
进一步的，步骤6具体实现如下：
6-1.触发词检测和识别是一个多分类的过程，针对第t个候选触发词，对步骤4的
Figure BDA0003013279200000088
步骤5的
Figure BDA0003013279200000089
根节点词汇级别表示
Figure BDA00030132792000000810
以及候选触发词的词汇级别表示
Figure BDA00030132792000000811
进行拼接，然后带入公式5进行触发词识别和分类：
Figure BDA00030132792000000812
ETt＝argmax(Pt) 公式6
其中，Wt和bt是触发词多分类的权重矩阵和偏置项，Pt表示第t个候选触发词触发事件类型的概率分布，而ETt则表示第t个候选触发词触发的事件类型。

Claims (7)

1.基于实体关系级别注意力机制的事件检测方法，其特征在于包括如下步骤：
步骤1、对原始文本中的单词和实体关系进行编码，分别获取词汇级别向量序列和实体关系级别向量序列；
步骤2、将步骤1的词汇级别向量序列输入依存Tree-LSTM，获取句子的词汇级别表示；
步骤3、将步骤1的实体关系级别向量序列输入双向LSTM，获取实体关系级别表示；
步骤4、利用词汇级别注意力机制获取句中第i个单词对第t个候选触发词的影响权重
Figure FDA0003013279190000011
将句中的词汇级别表示加权平均，获取句子完整的语义信息
Figure FDA0003013279190000012
步骤5、利用实体关系级别注意力机制获取句中第j个实体关系对第t个选触发词的影响权重
Figure FDA0003013279190000013
将句中每个实体关系级别表示加权平均，获取句中完整的实体关系信息
Figure FDA0003013279190000014
步骤6、针对第t个候选触发词，对语义信息
Figure FDA0003013279190000015
实体关系信息
Figure FDA0003013279190000016
根节点词汇级别表示
Figure FDA0003013279190000017
以及候选触发词的词汇级别表示
Figure FDA0003013279190000018
进行拼接，然后进行触发词识别和分类。
2.根据权利要求1所述的基于实体关系级别注意力机制的事件检测方法，其特征在于步骤1具体实现如下：
1-1.从KBP 2017英文数据集标注文件中获取实体提及、实体类型、实体关系、事件触发词；利用Stanford CoreNLP工具对数据集中原始文本进行分句、分词以及获取单词的词性和每个句子的依存树结构；然后创建词性向量表、实体类型向量表、实体关系向量表以及触发词类型向量表，其中在每个向量表中定义”空”类型对应的向量；随机初始化这些向量，在训练的时候更新这些向量；
1-2.首先查询预训练的Glove词向量矩阵、词性向量表、实体类型向量表；分别获取句子中每个词的词向量wi、词性向量wpos、实体类型向量we；然后查询实体关系向量表，获取句子中出现的每个实体关系对应的向量r；
1-3.每个单词真值向量为xi＝{wi,wpos,we}，所以句子词汇级别向量序列W＝{x1,x2,...,xn-1,xn},实体关系级别向量序列R＝{r1,r2,...,rk-1,rk}；其中n是句子的长度、k为实体关系的个数。
3.根据权利要求2所述的基于实体关系级别注意力机制的事件检测方法，其特征在于步骤2具体实现如下：
2-1.为了获取句子中每个单词的词汇级别表示，利用Stanford CoreNLP工具解析每个句子生成依存树结构，其中，每个单词对应依存树结构中的一个节点；在依存树结构基础上构建依存Tree-LSTM，将W＝{x1,x2,...,xn-1,xn}作为依存Tree-LSTM的输入，获取每个单词的词汇级别表示，例如，第i个单词的词汇级别表示为
Figure FDA0003013279190000021
以及包含整个句子信息的根节点的词汇级别表示为
Figure FDA0003013279190000022
因此，句子的词汇级别表示序列
Figure FDA0003013279190000023
其中i,root∈[1,n],n是句子的长度。
4.根据权利要求3所述的基于实体关系级别注意力机制的事件检测方法，其特征在于步骤3具体实现如下：
3-1.为了获取句子中实体关系级别表示，将句中实体关系级别向量序列R＝{r1,r2,...,rk-1,rk}输入双向LSTM，获取每个实体关系对应的前向隐含状态向量和后向隐含状态向量，
Figure FDA0003013279190000024
和
Figure FDA0003013279190000025
分别表示第j个实体关系对应的前向隐含状态向量和后向隐含状态向量，其中j∈k；为了和步骤2中依存Tree-LSTM的每个单词的词汇级别表示维度一致，采用求平均的方式获取第j个实体关系级别表示
Figure FDA0003013279190000026
因此，句子的实体关系级别表示序列
Figure FDA0003013279190000027
5.根据权利要求4所述的基于实体关系级别注意力机制的事件检测方法，其特征在于步骤4具体实现如下：
4-1.利用词汇级别注意力机制捕获重要的上下文信息，而候选触发词及其周围的单词应该获得更高的注意力权重；首先利用公式1计算候选触发词的词汇级别表示
Figure FDA0003013279190000028
和第i个单词的词汇级别表示
Figure DEST_PATH_IMAGE001
的相似度：
Figure FDA00030132791900000210
其中，Ww和bw分别是候选触发词相似度计算公式的权重矩阵和偏置项；然后根据st,i，获取第i个单词对第t个候选触发词的影响权重
Figure FDA0003013279190000031
Figure FDA0003013279190000032
这里的st,m表示句中第m个单词的词汇级别表示
Figure FDA0003013279190000033
与候选触发词的词汇级别表示
Figure FDA0003013279190000034
的相似度，其中，1≤m≤n；
对于第t个候选触发词,将句中每个单词的词汇级别表示加权平均获取句中完整的语义信息
Figure FDA0003013279190000035
6.根据权利要求5所述的基于实体关系级别注意力机制的事件检测方法，其特征在于步骤5具体实现如下：
5-1.句子中往往包含多对实体关系，不同的实体关系对第t个候选触发词的影响不同；首先利用公式3计算候选触发词的词汇级别表示
Figure FDA0003013279190000036
和第j个实体关系的实体关系级别表示
Figure DEST_PATH_IMAGE002
的相似度：
Figure FDA0003013279190000038
其中，Wr和br分别表示实体关系相似度计算公式的权重矩阵和偏置项；然后根据st,j，获取第j个实体关系对第t个候选触发词的影响权重：
Figure FDA0003013279190000039
这里的st,l表示句中第l个实体关系的实体关系级别表示
Figure FDA00030132791900000310
与候选触发词的词汇级别表示
Figure FDA00030132791900000311
的相似度，其中，1≤l≤k，而对于第t个候选触发词,将句中实体关系级别表示序列加权平均获取句中完整的实体关系信息
Figure FDA00030132791900000312
7.根据权利要求6所述的基于实体关系级别注意力机制的事件检测方法，其特征在于步骤6具体实现如下：
6-1.触发词检测和识别是一个多分类的过程，针对第t个候选触发词，对步骤4的
Figure FDA0003013279190000041
步骤5的
Figure FDA0003013279190000042
根节点词汇级别表示
Figure FDA0003013279190000043
以及候选触发词的词汇级别表示
Figure FDA0003013279190000045
进行拼接，然后带入公式5进行触发词识别和分类：
Figure FDA0003013279190000046
ETt＝argmax(Pt) 公式6
其中，Wt和bt是触发词多分类的权重矩阵和偏置项，Pt表示第t个候选触发词触发事件类型的概率分布，而ETt则表示第t个候选触发词触发的事件类型。
CN202110381780.9A 2021-04-09 2021-04-09 基于实体关系级别注意力机制的事件检测方法 Active CN113158667B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110381780.9A CN113158667B (zh) 2021-04-09 2021-04-09 基于实体关系级别注意力机制的事件检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110381780.9A CN113158667B (zh) 2021-04-09 2021-04-09 基于实体关系级别注意力机制的事件检测方法

Publications (2)

Publication Number Publication Date
CN113158667A true CN113158667A (zh) 2021-07-23
CN113158667B CN113158667B (zh) 2022-03-01

Family

ID=76889257

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110381780.9A Active CN113158667B (zh) 2021-04-09 2021-04-09 基于实体关系级别注意力机制的事件检测方法

Country Status (1)

Country Link
CN (1) CN113158667B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114548101A (zh) * 2022-04-25 2022-05-27 北京大学 基于可回溯序列生成方法的事件检测方法和系统
CN116958752A (zh) * 2023-09-20 2023-10-27 国网湖北省电力有限公司经济技术研究院 一种基于ipkcnn-svm的电网基建建筑归档方法、装置及设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109918671A (zh) * 2019-03-12 2019-06-21 西南交通大学 基于卷积循环神经网络的电子病历实体关系抽取方法
CN110196978A (zh) * 2019-06-04 2019-09-03 重庆大学 一种关注关联词的实体关系抽取方法
US20200117856A1 (en) * 2017-04-03 2020-04-16 Siemens Aktiengesellschaft A method and apparatus for performing hierarchiacal entity classification
CN111353306A (zh) * 2020-02-22 2020-06-30 杭州电子科技大学 基于实体关系和依存Tree-LSTM的联合事件抽取的方法
US20200356724A1 (en) * 2019-05-06 2020-11-12 University Of Electronic Science And Technology Of China Multi-hop attention and depth model, method, storage medium and terminal for classification of target sentiments
CN112163416A (zh) * 2020-10-09 2021-01-01 北京理工大学 一种融合句法和实体关系图卷积网络的事件联合抽取方法
CN112487109A (zh) * 2020-12-01 2021-03-12 朱胜青 实体关系抽取方法、终端和计算机可读存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200117856A1 (en) * 2017-04-03 2020-04-16 Siemens Aktiengesellschaft A method and apparatus for performing hierarchiacal entity classification
CN109918671A (zh) * 2019-03-12 2019-06-21 西南交通大学 基于卷积循环神经网络的电子病历实体关系抽取方法
US20200356724A1 (en) * 2019-05-06 2020-11-12 University Of Electronic Science And Technology Of China Multi-hop attention and depth model, method, storage medium and terminal for classification of target sentiments
CN110196978A (zh) * 2019-06-04 2019-09-03 重庆大学 一种关注关联词的实体关系抽取方法
CN111353306A (zh) * 2020-02-22 2020-06-30 杭州电子科技大学 基于实体关系和依存Tree-LSTM的联合事件抽取的方法
CN112163416A (zh) * 2020-10-09 2021-01-01 北京理工大学 一种融合句法和实体关系图卷积网络的事件联合抽取方法
CN112487109A (zh) * 2020-12-01 2021-03-12 朱胜青 实体关系抽取方法、终端和计算机可读存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
张翠等: "融合句法依存树注意力的关系抽取研究", 《广东通信技术》 *
陈佳丽等: "利用门控机制融合依存与语义信息的事件检测方法", 《中文信息学报》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114548101A (zh) * 2022-04-25 2022-05-27 北京大学 基于可回溯序列生成方法的事件检测方法和系统
CN116958752A (zh) * 2023-09-20 2023-10-27 国网湖北省电力有限公司经济技术研究院 一种基于ipkcnn-svm的电网基建建筑归档方法、装置及设备
CN116958752B (zh) * 2023-09-20 2023-12-15 国网湖北省电力有限公司经济技术研究院 一种基于ipkcnn-svm的电网基建建筑归档方法、装置及设备

Also Published As

Publication number Publication date
CN113158667B (zh) 2022-03-01

Similar Documents

Publication Publication Date Title
CN109635273B (zh) 文本关键词提取方法、装置、设备及存储介质
CN110532554B (zh) 一种中文摘要生成方法、系统及存储介质
Jin et al. A novel lexicalized HMM-based learning framework for web opinion mining
CN111353306B (zh) 基于实体关系和依存Tree-LSTM的联合事件抽取的方法
US20150095017A1 (en) System and method for learning word embeddings using neural language models
Fonseca et al. A two-step convolutional neural network approach for semantic role labeling
CN110879938A (zh) 文本情感分类方法、装置、设备和存储介质
CN112036168B (zh) 事件主体识别模型优化方法、装置、设备及可读存储介质
CN113704416B (zh) 词义消歧方法、装置、电子设备及计算机可读存储介质
CN107526721B (zh) 一种对电商产品评论词汇的歧义消除方法及装置
CN113821605B (zh) 一种事件抽取方法
CN113158667B (zh) 基于实体关系级别注意力机制的事件检测方法
CN114329225B (zh) 基于搜索语句的搜索方法、装置、设备及存储介质
CN112989208B (zh) 一种信息推荐方法、装置、电子设备及存储介质
CN111930792A (zh) 数据资源的标注方法、装置、存储介质及电子设备
CN114416979A (zh) 一种文本查询方法、设备和存储介质
CN112905736A (zh) 一种基于量子理论的无监督文本情感分析方法
CN111859940A (zh) 一种关键词提取方法、装置、电子设备及存储介质
CN112818121A (zh) 一种文本分类方法、装置、计算机设备及存储介质
CN114756675A (zh) 文本分类方法、相关设备及可读存储介质
CN113934848A (zh) 一种数据分类方法、装置和电子设备
CN113535949A (zh) 基于图片和句子的多模态联合事件检测方法
CN111159405B (zh) 基于背景知识的讽刺检测方法
ALQARALEH Turkish Sentiment Analysis System via Ensemble Learning
CN112528653A (zh) 短文本实体识别方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant