CN113158667B - 基于实体关系级别注意力机制的事件检测方法 - Google Patents

基于实体关系级别注意力机制的事件检测方法 Download PDF

Info

Publication number
CN113158667B
CN113158667B CN202110381780.9A CN202110381780A CN113158667B CN 113158667 B CN113158667 B CN 113158667B CN 202110381780 A CN202110381780 A CN 202110381780A CN 113158667 B CN113158667 B CN 113158667B
Authority
CN
China
Prior art keywords
entity
word
sentence
level
entity relationship
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110381780.9A
Other languages
English (en)
Other versions
CN113158667A (zh
Inventor
汤景凡
曹祥彪
张旻
姜明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dianzi University
Original Assignee
Hangzhou Dianzi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dianzi University filed Critical Hangzhou Dianzi University
Priority to CN202110381780.9A priority Critical patent/CN113158667B/zh
Publication of CN113158667A publication Critical patent/CN113158667A/zh
Application granted granted Critical
Publication of CN113158667B publication Critical patent/CN113158667B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G06F16/288—Entity relationship models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/216—Parsing using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Machine Translation (AREA)

Abstract

本发明公开了一种基于实体关系级别注意力机制的事件检测方法。本发明步骤：首先利用依存Tree‑LSTM获取实体关系级别表示和双向LSTM获取词汇级别表示，然后利用实体关系级别注意力和词汇级别注意力捕获对于当前候选触发词有重要影响的实体关系信息和句子语义信息。再针对候选触发词，对语义信息、实体关系信息、根节点词汇级别表示以及候选触发词的词汇级别表示进行拼接，然后进行触发词识别和分类。本发明不仅可以捕获较重要的句子语义信息，而且可以减少无关的实体关系特征对当前触发词的影响，从而提高了事件检测模型的性能。

Description

基于实体关系级别注意力机制的事件检测方法
技术领域
本发明涉及事件检测方法，具体来讲是一种基于实体关系级别注意力机制的事件检测方法，属于自然语言处理领域。
背景技术
随着海量文本信息的出现以及深度学习技术的快速发展，如何快速、准确的获取用户感兴趣的事件信息，逐渐成为信息抽取领域的最具挑战的难题，而事件检测是信息抽取任务的重要环节，主要是为了从文本中找出引发事件的触发词，并为其分配正确的事件类型。此外，事件检测技术已应用于新闻消息归类、社会舆情分析等。
发明内容
本发明主要针对于在触发词识别过程中，不能同时捕获重要的实体关系特征和词汇特征的问题提出的一种基于实体关系级别注意力机制的事件检测方法。
基于实体关系级别注意力机制的事件检测方法，按照如下步骤进行：
步骤1、对原始文本中的单词和实体关系进行编码，分别获取词汇级别向量序列和实体关系级别向量序列；
步骤2、将步骤1的词汇级别向量序列输入依存Tree-LSTM，获取句子的词汇级别表示；
步骤3、将步骤1的实体关系级别向量序列输入双向LSTM，获取实体关系级别表示；
步骤4、利用词汇级别注意力机制获取句中第i个单词对第t个候选触发词的影响权重
Figure GDA0003390966920000011
将句中的词汇级别表示加权平均，获取句子完整的语义信息
Figure GDA0003390966920000012
步骤5、利用实体关系级别注意力机制获取句中第j个实体关系对第t个候选触发词的影响权重
Figure GDA0003390966920000013
将句中每个实体关系级别表示加权平均，获取句中完整的实体关系信息
Figure GDA0003390966920000014
步骤6、针对第t个候选触发词，对语义信息
Figure GDA0003390966920000015
实体关系信息
Figure GDA0003390966920000016
根节点词汇级别表示
Figure GDA0003390966920000021
以及候选触发词的词汇级别表示
Figure GDA0003390966920000024
进行拼接，然后进行触发词识别和分类；
进一步的，步骤1具体实现如下：
1-1.从KBP 2017英文数据集标注文件中获取实体提及、实体类型、实体关系、事件触发词。KBP 2017英文数据集一共定义了19种事件类型和21种实体关系(其中都包含“空”类型)。利用Stanford CoreNLP工具对数据集中原始文本进行分句、分词以及获取单词的词性和每个句子的依存树结构。然后创建词性向量表、实体类型向量表、实体关系向量表以及触发词类型向量表，其中在每个向量表中定义”空”类型对应的向量。随机初始化这些向量，在训练的时候更新这些向量。
1-2.首先查询预训练的Glove词向量矩阵、词性向量表、实体类型向量表。分别获取句子中每个词的词向量wi、词性向量wpos、实体类型向量we。然后查询实体关系向量表，获取句子中出现的每个实体关系对应的向量r。
1-3.每个单词真值向量为xi＝{wi,wpos,we}，所以句子词汇级别向量序列W＝{x1,x2,...,xn-1,xn},实体关系级别向量序列R＝{r1,r2,...,rk-1,rk}。其中n是句子的长度、k为实体关系的个数(k有可能为0)。
进一步的，步骤2具体实现如下：
2-1.为了获取句子中每个单词的词汇级别表示，利用Stanford CoreNLP工具解析每个句子生成依存树结构，其中，每个单词对应依存树结构中的一个节点。在依存树结构基础上构建依存Tree-LSTM，将W＝{x1,x2,...,xn-1,xn}作为依存Tree-LSTM的输入，获取每个单词的词汇级别表示，例如，第i个单词的词汇级别表示为
Figure GDA0003390966920000025
以及包含整个句子信息的根节点的词汇级别表示为
Figure GDA0003390966920000022
因此，句子的词汇级别表示序列
Figure GDA0003390966920000023
其中i,root∈[1,n],n是句子的长度。
进一步的，步骤3具体实现如下：
3-1.为了获取句子中实体关系级别表示，将句中实体关系级别向量序列R＝{r1,r2,...,rk-1,rk}输入双向LSTM，获取每个实体关系对应的前向隐含状态向量和后向隐含状态向量，例如，
Figure GDA0003390966920000031
和
Figure GDA0003390966920000032
分别表示第j(j∈k)个实体关系对应的前向隐含状态向量和后向隐含状态向量。为了和步骤2中依存Tree-LSTM的每个单词的词汇级别表示维度一致，采用求平均的方式获取第j个实体关系级别表示
Figure GDA0003390966920000033
因此，句子的实体关系级别表示序列
Figure GDA0003390966920000034
其中，k是句子实体关系的个数。
进一步的，步骤4具体实现如下：
4-1.利用词汇级别注意力机制捕获重要的上下文信息，而候选触发词及其周围的单词应该获得更高的注意力权重。首先利用公式1计算候选触发词的词汇级别表示
Figure GDA00033909669200000311
和第i个单词的词汇级别表示
Figure GDA00033909669200000312
的相似度。
st,i＝tanh(ht wWw(hi w)T+bw) 公式1
其中，Ww和bw分别是相似度计算公式的权重矩阵和偏置项。然后根据st,i，获取第i个单词对第t个候选触发词的影响权重
Figure GDA0003390966920000035
Figure GDA0003390966920000036
这里的st,m表示句中第m个单词的词汇级别表示
Figure GDA0003390966920000037
与候选触发词的词汇级别表示
Figure GDA00033909669200000313
的相似度，其中，1≤m≤n。
对于第t个候选触发词,将句中每个单词的词汇级别表示加权平均获取句中完整的语义信息
Figure GDA0003390966920000038
进一步的，步骤5具体实现如下：
5-1.句子中往往包含多对实体关系，不同的实体关系对第t个候选触发词的影响不同。首先利用公式3计算候选触发词的词汇级别表示
Figure GDA00033909669200000314
和第j个实体关系的实体关系级别表示
Figure GDA0003390966920000039
的相似度：
Figure GDA00033909669200000310
其中，Wr和br分别表示相似度计算公式的权重矩阵和偏置项。然后根据st,j，获取第j个实体关系对第t个候选触发词的影响权重：
Figure GDA0003390966920000041
这里的st,l表示句中第l个实体关系的实体关系级别表示hl r与候选触发词的词汇级别表示
Figure GDA0003390966920000047
的相似度，其中，1≤l≤k，而对于第t个候选触发词,将句中实体关系级别表示序列加权平均获取句中完整的实体关系信息
Figure GDA0003390966920000042
进一步的，步骤6具体实现如下：
6-1.触发词检测和识别是一个多分类的过程，针对第t个候选触发词，对步骤4的
Figure GDA0003390966920000043
步骤5的
Figure GDA0003390966920000044
根节点词汇级别表示
Figure GDA0003390966920000045
以及候选触发词的词汇级别表示
Figure GDA0003390966920000048
进行拼接，然后带入公式5进行触发词识别和分类：
Figure GDA0003390966920000046
ETt＝argmax(Pt) 公式6
其中，Wt和bt是触发词多分类的权重矩阵和偏置项，Pt表示第t个候选触发词触发事件类型的概率分布，而ETt则表示第t个候选触发词触发的事件类型。
本发明有益效果如下：
针对现有技术的不足，提出一种基于实体关系级别注意力机制的事件检测方法。首先利用依存Tree-LSTM获取实体关系级别表示和双向LSTM获取词汇级别表示，然后利用实体关系级别注意力和词汇级别注意力捕获对于当前候选触发词有重要影响的实体关系信息和句子语义信息。该模型不仅可以捕获较重要的句子语义信息，而且可以减少无关的实体关系特征对当前触发词的影响，从而提高了事件检测模型的性能。
附图说明
图1是本发明的整体实施流程图。
图2是本发明模型网络结构图。
具体实施方式
附图非限制性地公开了本发明所涉及优选实例的流程示意图；以下将结合附图详细地说明本发明的技术方案。
事件抽取是信息抽取研究的重要组成部分，是新闻热点抽取和社会舆情分析的常用技术基础。事件抽取就是从大量文本中找出事件提及，由事件触发词和事件论元组成。因此事件抽取主要包含事件检测和论元识别两个子任务。事件检测希望找出句子的所有触发词并为其分配正确的事件类型，事件检测结果的好坏直接影响论元识别和分类的性能。先前的工作直接将标注好的实体关系编码成词表示的一部分，结合词汇级别注意力获取重要的语义信息来提高事件检测模型的性能。但是，他们忽略了句子中往往有多对实体关系，和单词一样，不同的实体关系对候选触发词在识别过程中的影响不同。因此，为了同时获取重要的词汇级别特征和实体关系级别特征信息，我们提出了基于实体关系级别注意力机制的事件检测方法。
如图2所示，基于实体关系级别注意力机制的事件检测方法，按照如下步骤进行：
步骤1、对原始文本中的单词和实体关系进行编码，分别获取词汇级别向量序列和实体关系级别向量序列；
步骤2、将步骤1的词汇级别向量序列输入依存Tree-LSTM，获取句子的词汇级别表示；
步骤3、将步骤1的实体关系级别向量序列输入双向LSTM，获取实体关系级别表示；
步骤4、利用词汇级别注意力机制获取句中第i个单词对第t个候选触发词的影响权重
Figure GDA0003390966920000051
将句中的词汇级别表示加权平均，获取句子完整的语义信息
Figure GDA0003390966920000052
步骤5、利用实体关系级别注意力机制获取句中第j个实体关系对第t个候选触发词的影响权重
Figure GDA0003390966920000053
将句中每个实体关系级别表示加权平均，获取句中完整的实体关系信息
Figure GDA0003390966920000061
步骤6、针对第t个候选触发词，对语义信息
Figure GDA0003390966920000062
实体关系信息
Figure GDA0003390966920000063
根节点词汇级别表示
Figure GDA0003390966920000064
以及候选触发词的词汇级别表示
Figure GDA0003390966920000067
进行拼接，然后进行触发词识别和分类；
进一步的，步骤1具体实现如下：
1-1.从KBP 2017英文数据集标注文件中获取实体提及、实体类型、实体关系、事件触发词。KBP 2017英文数据集一共定义了19种事件类型和21种实体关系(其中都包含“空”类型)。利用Stanford CoreNLP工具对数据集中原始文本进行分句、分词以及获取单词的词性和每个句子的依存树结构。然后创建词性向量表、实体类型向量表、实体关系向量表以及触发词类型向量表，其中在每个向量表中定义”空”类型对应的向量。随机初始化这些向量，在训练的时候更新这些向量。
1-2.首先查询预训练的Glove词向量矩阵、词性向量表、实体类型向量表。分别获取句子中每个词的词向量wi、词性向量wpos、实体类型向量we。然后查询实体关系向量表，获取句子中出现的每个实体关系对应的向量r。
1-3.每个单词真值向量为xi＝{wi,wpos,we}，所以句子词汇级别向量序列W＝{x1,x2,...,xn-1,xn},实体关系级别向量序列R＝{r1,r2,...,rk-1,rk}。其中n是句子的长度、k为实体关系的个数(k有可能为0)。
进一步的，步骤2具体实现如下：
2-1.为了获取句子中每个单词的词汇级别表示，利用Stanford CoreNLP工具解析每个句子生成依存树结构，其中，每个单词对应依存树结构中的一个节点。在依存树结构基础上构建依存Tree-LSTM，将W＝{x1,x2,...,xn-1,xn}作为依存Tree-LSTM的输入，获取每个单词的词汇级别表示，例如，第i个单词的词汇级别表示为
Figure GDA0003390966920000068
以及包含整个句子信息的根节点的词汇级别表示为
Figure GDA0003390966920000065
因此，句子的词汇级别表示序列
Figure GDA0003390966920000066
其中i,root∈[1,n],n是句子的长度。
进一步的，步骤3具体实现如下：
3-1.为了获取句子中实体关系级别表示，将句中实体关系级别向量序列R＝{r1,r2,...,rk-1,rk}输入双向LSTM，获取每个实体关系对应的前向隐含状态向量和后向隐含状态向量，例如，
Figure GDA0003390966920000071
和
Figure GDA0003390966920000072
分别表示第j(j∈k)个实体关系对应的前向隐含状态向量和后向隐含状态向量。为了和步骤2中依存Tree-LSTM的每个单词的词汇级别表示维度一致，采用求平均的方式获取第j个实体关系级别表示
Figure GDA0003390966920000073
因此，句子的实体关系级别表示序列
Figure GDA0003390966920000074
其中，k是句子实体关系的个数。
进一步的，步骤4具体实现如下：
4-1.利用词汇级别注意力机制捕获重要的上下文信息，而候选触发词及其周围的单词应该获得更高的注意力权重。首先利用公式1计算候选触发词的词汇级别表示
Figure GDA0003390966920000079
和第i个单词的词汇级别表示
Figure GDA00033909669200000711
的相似度。
st,i＝tanh(ht wWw(hi w)T+bw) 公式1
其中，Ww和bw分别是相似度计算公式的权重矩阵和偏置项。然后根据st,i，获取第i个单词对第t个候选触发词的影响权重
Figure GDA0003390966920000078
Figure GDA0003390966920000075
这里的st,m表示句中第m个单词的词汇级别表示
Figure GDA0003390966920000076
与候选触发词的词汇级别表示
Figure GDA00033909669200000710
的相似度，其中，1≤m≤n。
对于第t个候选触发词,将句中每个单词的词汇级别表示加权平均获取句中完整的语义信息
Figure GDA0003390966920000077
进一步的，步骤5具体实现如下：
5-1.句子中往往包含多对实体关系，不同的实体关系对第t个候选触发词的影响不同。首先利用公式3计算候选触发词的词汇级别表示
Figure GDA0003390966920000089
和第j个实体关系的实体关系级别表示
Figure GDA0003390966920000081
的相似度：
Figure GDA0003390966920000082
其中，Wr和br分别表示相似度计算公式的权重矩阵和偏置项。然后根据st,j，获取第j个实体关系对第t个候选触发词的影响权重：
Figure GDA0003390966920000083
这里的st,l表示句中第l个实体关系的实体关系级别表示hl r与候选触发词的词汇级别表示
Figure GDA00033909669200000810
的相似度，其中，1≤l≤k，而对于第t个候选触发词,将句中实体关系级别表示序列加权平均获取句中完整的实体关系信息
Figure GDA0003390966920000084
进一步的，步骤6具体实现如下：
6-1.触发词检测和识别是一个多分类的过程，针对第t个候选触发词，对步骤4的
Figure GDA0003390966920000085
步骤5的
Figure GDA0003390966920000086
根节点词汇级别表示
Figure GDA0003390966920000087
以及候选触发词的词汇级别表示
Figure GDA00033909669200000811
进行拼接，然后带入公式5进行触发词识别和分类：
Figure GDA0003390966920000088
ETt＝argmax(Pt) 公式6
其中，Wt和bt是触发词多分类的权重矩阵和偏置项，Pt表示第t个候选触发词触发事件类型的概率分布，而ETt则表示第t个候选触发词触发的事件类型。

Claims (7)

1.基于实体关系级别注意力机制的事件检测方法，其特征在于包括如下步骤：
步骤1、对原始文本中的单词和实体关系进行编码，分别获取词汇级别向量序列和实体关系级别向量序列；
步骤2、将步骤1的词汇级别向量序列输入依存Tree-LSTM，获取句子的词汇级别表示；
步骤3、将步骤1的实体关系级别向量序列输入双向LSTM，获取实体关系级别表示；
步骤4、利用词汇级别注意力机制获取句中第i个单词对第t个候选触发词的影响权重
Figure FDA0003390966910000011
将句中的词汇级别表示加权平均，获取句子完整的语义信息
Figure FDA0003390966910000012
步骤5、利用实体关系级别注意力机制获取句中第j个实体关系对第t个选触发词的影响权重
Figure FDA0003390966910000013
将句中每个实体关系级别表示加权平均，获取句中完整的实体关系信息
Figure FDA0003390966910000014
步骤6、针对第t个候选触发词，对语义信息
Figure FDA0003390966910000015
实体关系信息
Figure FDA0003390966910000016
根节点词汇级别表示
Figure FDA0003390966910000017
以及候选触发词的词汇级别表示
Figure FDA0003390966910000018
进行拼接，然后进行触发词识别和分类。
2.根据权利要求1所述的基于实体关系级别注意力机制的事件检测方法，其特征在于步骤1具体实现如下：
1-1.从KBP 2017英文数据集标注文件中获取实体提及、实体类型、实体关系、事件触发词；利用Stanford CoreNLP工具对数据集中原始文本进行分句、分词以及获取单词的词性和每个句子的依存树结构；然后创建词性向量表、实体类型向量表、实体关系向量表以及触发词类型向量表，其中在每个向量表中定义”空”类型对应的向量；随机初始化这些向量，在训练的时候更新这些向量；
1-2.首先查询预训练的Glove词向量矩阵、词性向量表、实体类型向量表；分别获取句子中每个词的词向量wi、词性向量wpos、实体类型向量we；然后查询实体关系向量表，获取句子中出现的每个实体关系对应的向量r；
1-3.每个单词真值向量为xi＝{wi,wpos,we}，所以句子词汇级别向量序列W＝{x1,x2,...,xn-1,xn},实体关系级别向量序列R＝{r1,r2,...,rk-1,rk}；其中n是句子的长度、k为实体关系的个数。
3.根据权利要求2所述的基于实体关系级别注意力机制的事件检测方法，其特征在于步骤2具体实现如下：
2-1.为了获取句子中每个单词的词汇级别表示，利用Stanford CoreNLP工具解析每个句子生成依存树结构，其中，每个单词对应依存树结构中的一个节点；在依存树结构基础上构建依存Tree-LSTM，将W＝{x1,x2,...,xn-1,xn}作为依存Tree-LSTM的输入，获取每个单词的词汇级别表示，第i个单词的词汇级别表示为
Figure FDA0003390966910000021
以及包含整个句子信息的根节点的词汇级别表示为
Figure FDA0003390966910000022
因此，句子的词汇级别表示序列
Figure FDA0003390966910000023
其中i,root∈[1,n],n是句子的长度。
4.根据权利要求3所述的基于实体关系级别注意力机制的事件检测方法，其特征在于步骤3具体实现如下：
3-1.为了获取句子中实体关系级别表示，将句中实体关系级别向量序列R＝{r1,r2,...,rk-1,rk}输入双向LSTM，获取每个实体关系对应的前向隐含状态向量和后向隐含状态向量，
Figure FDA0003390966910000024
和
Figure FDA0003390966910000025
分别表示第j个实体关系对应的前向隐含状态向量和后向隐含状态向量，其中j∈k；为了和步骤2中依存Tree-LSTM的每个单词的词汇级别表示维度一致，采用求平均的方式获取第j个实体关系级别表示
Figure FDA0003390966910000026
因此，句子的实体关系级别表示序列
Figure FDA0003390966910000027
5.根据权利要求4所述的基于实体关系级别注意力机制的事件检测方法，其特征在于步骤4具体实现如下：
4-1.利用词汇级别注意力机制捕获重要的上下文信息，而候选触发词及其周围的单词应该获得更高的注意力权重；首先利用公式1计算候选触发词的词汇级别表示
Figure FDA00033909669100000210
和第i个单词的词汇级别表示
Figure DEST_PATH_GDA00033909669200000711
的相似度：
Figure FDA0003390966910000029
其中，Ww和bw分别是候选触发词相似度计算公式的权重矩阵和偏置项；然后根据st,i，获取第i个单词对第t个候选触发词的影响权重
Figure FDA0003390966910000031
Figure FDA0003390966910000032
这里的st,m表示句中第m个单词的词汇级别表示
Figure FDA0003390966910000033
与候选触发词的词汇级别表示
Figure FDA0003390966910000034
的相似度，其中，1≤m≤n；
对于第t个候选触发词,将句中每个单词的词汇级别表示加权平均获取句中完整的语义信息
Figure FDA0003390966910000035
6.根据权利要求5所述的基于实体关系级别注意力机制的事件检测方法，其特征在于步骤5具体实现如下：
5-1.句子中包含多对实体关系，不同的实体关系对第t个候选触发词的影响不同；首先利用公式3计算候选触发词的词汇级别表示
Figure FDA0003390966910000036
和第j个实体关系的实体关系级别表示
Figure FDA0003390966910000037
的相似度：
Figure FDA0003390966910000038
其中，Wr和br分别表示实体关系相似度计算公式的权重矩阵和偏置项；然后根据st,j，获取第j个实体关系对第t个候选触发词的影响权重：
Figure FDA0003390966910000039
这里的st,l表示句中第l个实体关系的实体关系级别表示
Figure FDA00033909669100000310
与候选触发词的词汇级别表示
Figure FDA00033909669100000311
的相似度，其中，1≤l≤k，而对于第t个候选触发词,将句中实体关系级别表示序列加权平均获取句中完整的实体关系信息
Figure FDA00033909669100000312
7.根据权利要求6所述的基于实体关系级别注意力机制的事件检测方法，其特征在于步骤6具体实现如下：
6-1.触发词检测和识别是一个多分类的过程，针对第t个候选触发词，对步骤4的
Figure FDA0003390966910000041
步骤5的
Figure FDA0003390966910000042
根节点词汇级别表示
Figure FDA0003390966910000043
以及候选触发词的词汇级别表示
Figure FDA0003390966910000044
进行拼接，然后带入公式5进行触发词识别和分类：
Figure FDA0003390966910000045
ETt＝arg max(Pt) 公式6
其中，Wt和bt是触发词多分类的权重矩阵和偏置项，Pt表示第t个候选触发词触发事件类型的概率分布，而ETt则表示第t个候选触发词触发的事件类型。
CN202110381780.9A 2021-04-09 2021-04-09 基于实体关系级别注意力机制的事件检测方法 Active CN113158667B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110381780.9A CN113158667B (zh) 2021-04-09 2021-04-09 基于实体关系级别注意力机制的事件检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110381780.9A CN113158667B (zh) 2021-04-09 2021-04-09 基于实体关系级别注意力机制的事件检测方法

Publications (2)

Publication Number Publication Date
CN113158667A CN113158667A (zh) 2021-07-23
CN113158667B true CN113158667B (zh) 2022-03-01

Family

ID=76889257

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110381780.9A Active CN113158667B (zh) 2021-04-09 2021-04-09 基于实体关系级别注意力机制的事件检测方法

Country Status (1)

Country Link
CN (1) CN113158667B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114548101B (zh) * 2022-04-25 2022-08-02 北京大学 基于可回溯序列生成方法的事件检测方法和系统
CN116958752B (zh) * 2023-09-20 2023-12-15 国网湖北省电力有限公司经济技术研究院 一种基于ipkcnn-svm的电网基建建筑归档方法、装置及设备

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3385862A1 (en) * 2017-04-03 2018-10-10 Siemens Aktiengesellschaft A method and apparatus for performing hierarchical entity classification
CN109918671B (zh) * 2019-03-12 2022-12-20 西南交通大学 基于卷积循环神经网络的电子病历实体关系抽取方法
CN110083705B (zh) * 2019-05-06 2021-11-02 电子科技大学 一种用于目标情感分类的多跳注意力深度模型、方法、存储介质和终端
CN110196978A (zh) * 2019-06-04 2019-09-03 重庆大学 一种关注关联词的实体关系抽取方法
CN111353306B (zh) * 2020-02-22 2020-10-16 杭州电子科技大学 基于实体关系和依存Tree-LSTM的联合事件抽取的方法
CN112163416B (zh) * 2020-10-09 2021-11-02 北京理工大学 一种融合句法和实体关系图卷积网络的事件联合抽取方法
CN112487109A (zh) * 2020-12-01 2021-03-12 朱胜青 实体关系抽取方法、终端和计算机可读存储介质

Also Published As

Publication number Publication date
CN113158667A (zh) 2021-07-23

Similar Documents

Publication Publication Date Title
CN110532554B (zh) 一种中文摘要生成方法、系统及存储介质
CN108446271B (zh) 基于汉字部件特征的卷积神经网络的文本情感分析方法
Jin et al. A novel lexicalized HMM-based learning framework for web opinion mining
US20160140104A1 (en) Methods and systems related to information extraction
CN111353306B (zh) 基于实体关系和依存Tree-LSTM的联合事件抽取的方法
Fonseca et al. A two-step convolutional neural network approach for semantic role labeling
CN110362819B (zh) 基于卷积神经网络的文本情感分析方法
Ekbal et al. Named entity recognition in Bengali: A multi-engine approach
CN110390363A (zh) 一种图像描述方法
CN108170848B (zh) 一种面向中国移动智能客服的对话场景分类方法
CN113704416B (zh) 词义消歧方法、装置、电子设备及计算机可读存储介质
CN113821605B (zh) 一种事件抽取方法
CN112036168B (zh) 事件主体识别模型优化方法、装置、设备及可读存储介质
CN113158667B (zh) 基于实体关系级别注意力机制的事件检测方法
CN111930792A (zh) 数据资源的标注方法、装置、存储介质及电子设备
CN114416979A (zh) 一种文本查询方法、设备和存储介质
CN112818121A (zh) 一种文本分类方法、装置、计算机设备及存储介质
CN112905736A (zh) 一种基于量子理论的无监督文本情感分析方法
CN114756675A (zh) 文本分类方法、相关设备及可读存储介质
CN112528653A (zh) 短文本实体识别方法和系统
CN111444720A (zh) 一种英文文本的命名实体识别方法
WO2022085533A1 (ja) 回答特定用テキスト分類器及び背景知識表現ジェネレータ及びその訓練装置、並びにコンピュータプログラム
Alqaraleh Turkish Sentiment Analysis System via Ensemble Learning
CN112632272A (zh) 基于句法分析的微博情感分类方法和系统
Dang et al. Non-Standard Vietnamese Word Detection and Normalization for Text–to–Speech

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant