CN110134757A - 一种基于多头注意力机制的事件论元角色抽取方法 - Google Patents
一种基于多头注意力机制的事件论元角色抽取方法 Download PDFInfo
- Publication number
- CN110134757A CN110134757A CN201910315948.9A CN201910315948A CN110134757A CN 110134757 A CN110134757 A CN 110134757A CN 201910315948 A CN201910315948 A CN 201910315948A CN 110134757 A CN110134757 A CN 110134757A
- Authority
- CN
- China
- Prior art keywords
- word
- argument
- text
- attention
- event
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000007246 mechanism Effects 0.000 title claims abstract description 30
- 238000000034 method Methods 0.000 title claims abstract description 23
- 244000309464 bull Species 0.000 title abstract 4
- 238000012549 training Methods 0.000 claims abstract description 30
- 238000013528 artificial neural network Methods 0.000 claims abstract description 12
- 230000008569 process Effects 0.000 claims abstract description 9
- 239000013598 vector Substances 0.000 claims description 42
- 230000002457 bidirectional effect Effects 0.000 claims description 19
- 230000006870 function Effects 0.000 claims description 14
- 238000000605 extraction Methods 0.000 claims description 11
- 238000002372 labelling Methods 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 5
- 230000011218 segmentation Effects 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 3
- 238000012795 verification Methods 0.000 claims description 3
- 238000009825 accumulation Methods 0.000 claims description 2
- 230000004913 activation Effects 0.000 claims description 2
- 238000011478 gradient descent method Methods 0.000 claims description 2
- 238000003062 neural network model Methods 0.000 claims description 2
- 230000000306 recurrent effect Effects 0.000 claims description 2
- 230000004927 fusion Effects 0.000 abstract description 4
- 238000010801 machine learning Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/31—Indexing; Data structures therefor; Storage structures
- G06F16/313—Selection or weighting of terms for indexing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
- G06F16/353—Clustering; Classification into predefined classes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Machine Translation (AREA)
Abstract
本发明公开了一种基于多头注意力机制的事件论元角色抽取方法。本发明实现步骤如下：步骤(1)数据集文本预处理，输出预处理好的文本和对应的标签；步骤(2)训练融合多头监督注意力机制的双向GRU网络；步骤(3)对文本进行语义依存分析，输出触发词与候选论元之间的语义依存路径；步骤(4)将预处理好的文本输入步骤(2)中网络训练后输出每个词的编码，融合步骤(3)中的语义依存路径输出<触发词编码，候选论元编码，语义依存路径>论元分类结构；步骤(5)将论元分类结构输入分类网络训练并进行分类。本发明利用融合多头监督注意力机制的神经网络方法对文本进行分析，对事件句中存在多个事件情形具有良好的论元角色抽取能力。
Description
技术领域
本发明属于自然语言处理技术领域，涉及事件论元角色分类相关方法，提供一种基于多头注意力机制的事件论元角色抽取方法。具体用于非结构化文本中提取出事件相关论元，并确定论元在事件中的的角色。
背景技术
事件论元角色抽取是从非结构化信息中抽取出事件相关的信息元素，并以结构化形式完善事件。当前主要研究方法有模式匹配和机器学习两大类。模式匹配在特定领域能取得较高的性能，但移植性较差。相对于模式匹配，机器学习与领域无关，无需太多领域专家的指导，系统移植性较好。随着相关语料库的建设和互联网上各种文本资源的不断丰富，语料的获取不再是束缚机器学习的瓶颈。目前，机器学习已成为事件论元角色抽取的主流研究方法。
发明内容
本发明针对事件论元角色抽取中句子存在多个事件时论元角色抽取存在误差的问题，公开一种基于多头注意力机制的事件论元角色抽取方法。
为实现以上技术目的，本发明将采取以下的技术方案：
步骤(1)数据集文本预处理，输出预处理好的文本和对应的标签；
步骤(2)训练融合多头监督注意力机制的双向GRU网络；
步骤(3)对文本进行语义依存分析，输出触发词与候选论元之间的语义依存路径；
步骤(4)将预处理好的文本输入步骤(2)中网络训练后输出每个词的编码，融合步骤(3)中的语义依存路径输出<触发词编码，候选论元编码，语义依存路径>论元分类结构；
步骤(5)将论元分类结构输入分类网络训练并进行分类；
步骤(1)所述的预处理过程如下；
1-1.将数据集文本中的标注信息和文本内容分离；
1-2.将文本内容转换成词向量；
1-3.输出预处理好的文本和对应的标签；
进一步的，步骤1-1具体为：
将XML标注内容处理成每个单词对应的标注，具体操作为：原始XML标注文本通过字符偏移量标注了事件触发词的起始字符位置和偏移量。首先将事件文本通过分词工具进行分词，同时根据XML标注文本中的信息，将事件文本中的每一个词进行编码，即根据每个词是否是事件触发词分别进行1-38编码(预定义了38种事件类型)，根据标注文件中的论元角色信息为文中每个实体论元制定对应的论元角色编码。
步骤1-2具体为：
首先通过大量新闻类文本训练word2vec模型，使用训练好的word2vec模型，将步骤1-1中的文本内容转化为词向量，交给后续网络。
步骤(2)中所述的训练融合多头监督注意力机制的双向GRU网络，具体实现如下：
2-1.特征提取，将步骤(1)中预处理好的文本和对应的标签输入双向GRU网络提取特征，输出每个词编码；
2-2.训练多头监督注意力机制，将注意力机制输出的注意力向量与步骤2-1中的词编码做点乘运算输出最终融合注意力向量的词编码；
进一步的，步骤2-2具体为：
所述双向GRU神经网络模型中，将输入数据随机取70％作为训练数据，15％作为验证数据，剩余15％作为测试数据。选取GRU作为递归神经网络提取文本中每个词的篇章信息，即全局特征。
利用本步骤中双向GRU输出的隐藏层编码特征，输入注意力机制层，计算得出每个隐藏层向量的注意力向量。
第k个注意力头学习到的第j个词对于第i个词的注意力权重向量表示为：
其中，hi,hj是第i个词和第j个词在双向GRU中的输出，f(·)函数表示对hi,hj进行相关度计算，σ(·)函数为sigmoid激活函数，exp(·)为指数函数，j取值从0到n，n为句子长度。
将n个注意力头连接得到第j个词对第i个词的完整注意力向量αij：
将每个触发词与候选实体的注意力向量和候选论元词编码hk相乘累加后得到第i个候选实体的最终表示Ri为：
其中w为注意力机制范围为句子长度，hj表示第j个词双向GRU的输出，αij为第j个词对第i个词的注意力向量。
计算隐藏层向量和注意力向量的点乘结果得出最终每个词的向量，输出最终编码Ri。
步骤(3)中语义依存分析过程具体如下：
将文本信息通过Stanford CoreNLP工具进行语义依存分析得到语义依存分析树。将树结构信息构造成图结构，利用深度优先搜索遍历图得到触发词到每个词的路径信息。将文本路径信息进行one-hot编码输出语义依存路径编码P。
步骤(4)构造<触发词编码ht，候选论元编码Ri，语义依存路径编码P>论元分类结构具体如下：
针对每一个触发词，找到该句中的所有非触发词论元实体的编码，以及这些论元实体和触发词之间的语义依存路径编码。将触发词编码和上述两个编码连接输出<触发词编码ht，候选论元编码Ri，语义依存路径编码P>。
步骤(5)分类网络进行分类的计算和训练具体步骤如下：
分类主要通过一个softmax操作进行，具体通过计算候选论元实体在各类论元角色上的概率分布p(ai|ti,Ri,θ)：
其中，ai是论元角色类型，ti是事件类型，Ri是候选论元最终编码，m表示该论元角色在该类型事件是否允许，oi表示输出向量o的第i个维度结果，n表示ti类事件中的论元角色总数，i表示当前词的序号。
我们定义负对数似然损失函数(negative log-likelihood loss function)J(θ)。大致上可以表示成两部分，一部分是编码网络部分到最终分类网络的全局损失，另一部分表示注意力向量部分损失。
其中x(i)是ti,Ri的统称，为注意力对整体模型的影响系数，D(θ)是监督训练中注意力向量的损失函数。我们采用均方误差(square error)作为损失函数：
其中，为第j个词对第i个词的注意力向量期望值，为计算得到的第j个词对第i个词的真是注意力值。我们使用随机梯度下降法(SGD)和AdaDelta更新规则对分组的批数据进行训练。通过dropout实现正则化。
通过步骤1-2中训练好的词向量输入网络将识别出的各个事件对应的事件论元以及在各自事件中的论元角色类型。
本发明由于采用以上技术方案，具有如下优点：
本发明利用融合多头监督注意力机制的神经网络方法对文本进行分析。其中注意力部分通过多头注意力学习多个注意力表示，并通过监督学习方式对注意力向量进行更新。构造<触发词编码ht，候选论元编码Ri，语义依存路径编码P>论元分类结构进行事件论元角色分类。使用本方法对事件句中存在多个事件情形具有良好的论元角色抽取能力。
附图说明
图1是本发明的整体实施方案流程图；
图2是本发明的训练模型示意图；
图3是本发明工艺实施方案的具体流程图；
具体实施方式
附图非限制性的公开了本发明所涉及优选实施例的流程示意图；以下将结合附图详细的说明本发明的技术方案。
一种基于多头注意力机制的事件论元角色抽取方法，其基本步骤如下：
数据集文本预处理，输出预处理好的文本和对应的标签；
训练融合多头监督注意力机制的双向GRU网络；
对文本进行语义依存分析，输出触发词与候选论元之间的语义依存路径；
将预处理好的文本输入网络训练并输出每个词的编码，融合语义依存路径最后输出<触发词编码，候选论元编码，语义依存路径>论元分类结构；
将论元分类结构输入分类网络训练并进行分类；
其中分类网络的训练步骤如下：
根据XML标注内容将训练样本中的文本部分和标注对应进行分词处理，把每一个词对应的事件类型在单独的标注文件中进行标注(非事件触发词事件类型为0，预定义事件类型38类，即总共标注范围为0～38)。将分词后的文本利用word2vec模型转换成词向量，把训练数据分成3部分，随机取70％作为训练样本，15％作为验证样本，15％作为测试样本。
将训练样本输入双向GRU神经网络中，随机初始化神经网络参数，根据GRU部分和多头监督注意力机制部分内容自动调整权重，训练得到双向GRU网络模型。
本发明详细流程如图1和图3。其中具体发明的融合多头监督注意力机制的网络模型如图2。
实施例：
获取待提取事件文本，对文本进行分词处理。处理后通过训练好的word2vec模型将词转化成词向量。输入训练好的双向GRU神经网络得到提取出的事件触发词和对应的事件类型。
如图1，利用处理好的词向量和对应的标注输入融合多头监督注意力机制的网络，将得到的权值初始化神经网络参数，根据GRU部分和注意力机制部分运算，通过BP反向传播调整神经元的权重，得到训练好的协同上下文注意力的双向GRU神经网络。并用训练好的双向GRU模型对待提取的事件文本进行处理。具体步骤包括：
将预处理后的训练文本(词向量和对应的事件标注)输入双向GRU网络进行BP反向传播学习，实验迭代50次，选用网络的期望输出是文本中的每个词的事件类型。
通过学习深度神经网络系统模型，并利用所述深度神经网络系统进行事件提取。
如附图3，将新闻等类型文本进行预处理，输入训练好的深度神经网络，进行事件的提取。本实验中对新闻文本进行分段，将新闻段落输入网络，最后提取出每一段文本中发生事件的各个论元以及它们的角色类别。
Claims (5)
1.一种基于多头注意力机制的事件论元角色抽取方法，其特征在于包括如下步骤：
步骤(1)数据集文本预处理，输出预处理好的文本和对应的标签；
步骤(1)所述的预处理过程如下；
1-1.将数据集文本中的标注信息和文本内容分离；
1-2.将文本内容转换成词向量；
1-3.输出预处理好的文本和对应的标签；
步骤(2)训练融合多头监督注意力机制的双向GRU网络；
2-1.特征提取，将步骤(1)中预处理好的文本和对应的标签输入双向GRU网络提取特征，输出每个词编码；
2-2.训练多头监督注意力机制，将注意力机制输出的注意力向量与步骤2-1中的词编码做点乘运算输出最终融合注意力向量的词编码；
步骤(3)对文本进行语义依存分析，输出触发词与候选论元之间的语义依存路径；
步骤(4)将预处理好的文本输入步骤(2)中网络训练后输出每个词的编码，融合步骤(3)中的语义依存路径输出<触发词编码，候选论元编码，语义依存路径>论元分类结构；
步骤(5)将论元分类结构输入分类网络训练并进行分类；
所述的步骤1-1具体为：
将XML标注内容处理成每个单词对应的标注，具体操作为：原始XML标注文本通过字符偏移量标注了事件触发词的起始字符位置和偏移量；首先将事件文本通过分词工具进行分词，同时根据XML标注文本中的信息，将事件文本中的每一个词进行编码，即根据每个词是否是事件触发词分别进行1-38编码，预定义38种事件类型；根据标注文件中的论元角色信息为文中每个实体论元制定对应的论元角色编码；
步骤1-2具体为：
首先通过大量新闻类文本训练word2vec模型，使用训练好的word2vec模型，将步骤1-1中的文本内容转化为词向量，交给后续网络。
2.根据权利要求1所述的一种基于多头注意力机制的事件论元角色抽取方法，其特征在于步骤2-2具体实现如下：
所述双向GRU神经网络模型中，将输入数据随机取70％作为训练数据，15％作为验证数据，剩余15％作为测试数据；选取GRU作为递归神经网络提取文本中每个词的篇章信息，即全局特征；
利用双向GRU输出的隐藏层编码特征，输入注意力机制层，计算得出每个隐藏层向量的注意力向量；
第k个注意力头学习到的第j个词对于第i个词的注意力权重向量表示为：
其中，hi,hj是第i个词和第j个词在双向GRU中的输出，f(·)函数表示对hi,hj进行相关度计算，σ(·)函数为sigmoid激活函数，exp(·)为指数函数，j取值从0到n，n为句子长度；
将n个注意力头连接得到第j个词对第i个词的完整注意力向量αij：
将每个触发词与候选实体的注意力向量和候选论元词编码hk相乘累加后得到第i个候选实体的最终表示Ri为：
其中w为注意力机制范围为句子长度，hj表示第j个词双向GRU的输出，αij为第j个词对第i个词的注意力向量；
计算隐藏层向量和注意力向量的点乘结果得出最终每个词的向量，输出最终编码Ri。
3.根据权利要求2所述的一种基于多头注意力机制的事件论元角色抽取方法，其特征在于步骤(3)所述文本进行语义依存分析，具体过程如下：
将文本信息通过Stanford CoreNLP工具进行语义依存分析得到语义依存分析树；将树结构信息构造成图结构，利用深度优先搜索遍历图得到触发词到每个词的路径信息；将文本路径信息进行one-hot编码输出语义依存路径编码P。
4.根据权利要求3所述的一种基于多头注意力机制的事件论元角色抽取方法，其特征在于步骤(4)所述文本进行语义依存分析，具体过程如下：
针对每一个触发词，找到该句中的所有非触发词论元实体的编码，以及这些论元实体和触发词之间的语义依存路径编码；将触发词编码和上述两个编码连接输出<触发词编码ht，候选论元编码Ri，语义依存路径编码P>。
5.根据权利要求4所述的一种基于多头注意力机制的事件论元角色抽取方法，其特征在于步骤(5)所述论元分类结构输入分类网络训练并进行分类，具体过程如下：
分类主要通过一个softmax操作进行，具体通过计算候选论元实体在各类论元角色上的概率分布p(ai|ti,Ri,θ)：
其中，ai是论元角色类型，ti是事件类型，Ri是候选论元最终编码，m表示该论元角色在该类型事件是否允许，oi表示输出向量o的第i个维度结果，n表示ti类事件中的论元角色总数，i表示当前词的序号；
定义负对数似然损失函数J(θ)；并表示成两部分，一部分是编码网络部分到最终分类网络的全局损失，另一部分表示注意力向量部分损失；
其中x(i)是ti,Ri的统称，为注意力对整体模型的影响系数，D(θ)是监督训练中注意力向量的损失函数；采用均方误差作为损失函数：
其中，为第j个词对第i个词的注意力向量期望值，为计算得到的第j个词对第i个词的真是注意力值；使用随机梯度下降法和AdaDelta更新规则对分组的批数据进行训练；通过dropout实现正则化。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910315948.9A CN110134757B (zh) | 2019-04-19 | 2019-04-19 | 一种基于多头注意力机制的事件论元角色抽取方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910315948.9A CN110134757B (zh) | 2019-04-19 | 2019-04-19 | 一种基于多头注意力机制的事件论元角色抽取方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110134757A true CN110134757A (zh) | 2019-08-16 |
| CN110134757B CN110134757B (zh) | 2020-04-07 |
Family
ID=67570460
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910315948.9A Active CN110134757B (zh) | 2019-04-19 | 2019-04-19 | 一种基于多头注意力机制的事件论元角色抽取方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110134757B (zh) |
Cited By (52)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110674303A (zh) * | 2019-09-30 | 2020-01-10 | 北京明略软件系统有限公司 | 事件语句处理方法、装置、计算机设备和可读存储介质 |
| CN110704598A (zh) * | 2019-09-29 | 2020-01-17 | 北京明略软件系统有限公司 | 一种语句信息的抽取方法、抽取装置及可读存储介质 |
| CN110717343A (zh) * | 2019-09-27 | 2020-01-21 | 电子科技大学 | 一种基于transformer注意力机制输出的优化对齐方法 |
| CN110765966A (zh) * | 2019-10-30 | 2020-02-07 | 哈尔滨工业大学 | 一种面向手写文字的一阶段自动识别与翻译方法 |
| CN110781302A (zh) * | 2019-10-23 | 2020-02-11 | 清华大学 | 文本中事件角色的处理方法、装置、设备及存储介质 |
| CN110781680A (zh) * | 2019-10-17 | 2020-02-11 | 江南大学 | 基于孪生网络和多头注意力机制的语义相似度匹配方法 |
| CN111046907A (zh) * | 2019-11-02 | 2020-04-21 | 国网天津市电力公司 | 一种基于多头注意力机制的半监督卷积网络嵌入方法 |
| CN111061872A (zh) * | 2019-11-26 | 2020-04-24 | 北京中科汇联科技股份有限公司 | 一种文本分类系统及其训练方法 |
| CN111222344A (zh) * | 2020-01-03 | 2020-06-02 | 支付宝(杭州)信息技术有限公司 | 训练神经网络的方法、装置及电子设备 |
| CN111222305A (zh) * | 2019-12-17 | 2020-06-02 | 共道网络科技有限公司 | 一种信息结构化方法和装置 |
| CN111259851A (zh) * | 2020-01-23 | 2020-06-09 | 清华大学 | 一种多模态事件检测方法及装置 |
| CN111324738A (zh) * | 2020-05-15 | 2020-06-23 | 支付宝(杭州)信息技术有限公司 | 一种确定文本标签的方法和系统 |
| CN111325020A (zh) * | 2020-03-20 | 2020-06-23 | 北京百度网讯科技有限公司 | 一种事件论元抽取方法、装置以及电子设备 |
| CN111368551A (zh) * | 2020-02-14 | 2020-07-03 | 京东数字科技控股有限公司 | 一种确定事件主体的方法和装置 |
| CN111400431A (zh) * | 2020-03-20 | 2020-07-10 | 北京百度网讯科技有限公司 | 一种事件论元抽取方法、装置以及电子设备 |
| CN111414482A (zh) * | 2020-03-20 | 2020-07-14 | 北京百度网讯科技有限公司 | 一种事件论元抽取方法、装置以及电子设备 |
| CN111428504A (zh) * | 2020-03-17 | 2020-07-17 | 北京明略软件系统有限公司 | 一种事件抽取方法和装置 |
| CN111581954A (zh) * | 2020-05-15 | 2020-08-25 | 中国人民解放军国防科技大学 | 一种基于语法依存信息的文本事件抽取方法及装置 |
| CN111897908A (zh) * | 2020-05-12 | 2020-11-06 | 中国科学院计算技术研究所 | 融合依存信息和预训练语言模型的事件抽取方法及系统 |
| CN112069811A (zh) * | 2020-08-24 | 2020-12-11 | 武汉大学 | 多任务交互增强的电子文本事件抽取方法 |
| CN112116075A (zh) * | 2020-09-18 | 2020-12-22 | 厦门安胜网络科技有限公司 | 事件提取模型生成方法和装置、文本事件提取方法和装置 |
| CN112183030A (zh) * | 2020-10-10 | 2021-01-05 | 深圳壹账通智能科技有限公司 | 基于预设神经网络的事件抽取方法、装置、计算机设备及存储介质 |
| CN112307761A (zh) * | 2020-11-19 | 2021-02-02 | 新华智云科技有限公司 | 基于注意力机制的事件抽取方法及系统 |
| CN112528676A (zh) * | 2020-12-18 | 2021-03-19 | 南开大学 | 文档级别的事件论元抽取方法 |
| CN112559747A (zh) * | 2020-12-15 | 2021-03-26 | 北京百度网讯科技有限公司 | 事件分类处理方法、装置、电子设备和存储介质 |
| CN112579792A (zh) * | 2020-12-22 | 2021-03-30 | 东北大学 | 一种基于pgat和ftatt的远程监督关系抽取方法 |
| CN112765987A (zh) * | 2021-01-26 | 2021-05-07 | 武汉大学 | 一种基于递归条件随机场解码器的事件识别方法及系统 |
| CN112765980A (zh) * | 2021-02-01 | 2021-05-07 | 广州市刑事科学技术研究所 | 一种面向警情笔录的事件论元角色抽取方法和装置 |
| CN112800776A (zh) * | 2021-03-10 | 2021-05-14 | 湖北工业大学 | 双向gru关系抽取数据处理方法、系统、终端、介质 |
| CN113010634A (zh) * | 2020-07-17 | 2021-06-22 | 华东师范大学 | 一种基于层级多标签分类的金融事件检测方法、设备 |
| CN113032520A (zh) * | 2021-02-26 | 2021-06-25 | 北京金堤征信服务有限公司 | 信息分析方法及装置、电子设备和计算机可读存储介质 |
| CN113222119A (zh) * | 2021-05-28 | 2021-08-06 | 北京理工大学 | 利用拓扑依存关系多视角图编码器的论元抽取方法 |
| CN113239694A (zh) * | 2021-06-04 | 2021-08-10 | 北京理工大学 | 一种基于论元短语的论元角色识别的方法 |
| CN113312464A (zh) * | 2021-05-28 | 2021-08-27 | 北京航空航天大学 | 一种基于对话状态追踪技术的事件抽取方法 |
| CN113361615A (zh) * | 2021-06-16 | 2021-09-07 | 中国人民解放军军事科学院军事科学信息研究中心 | 基于语义相关性的文本分类方法 |
| CN113407720A (zh) * | 2021-06-25 | 2021-09-17 | 南开大学 | 基于预训练文本编码模型的分类体系扩展方法 |
| CN113468433A (zh) * | 2021-09-02 | 2021-10-01 | 中科雨辰科技有限公司 | 目标事件抽取数据处理系统 |
| CN113515624A (zh) * | 2021-04-28 | 2021-10-19 | 乐山师范学院 | 一种针对突发事件新闻的文本分类方法 |
| CN113704476A (zh) * | 2021-09-02 | 2021-11-26 | 中科雨辰科技有限公司 | 目标事件抽取数据处理系统 |
| CN113722461A (zh) * | 2021-09-02 | 2021-11-30 | 中科雨辰科技有限公司 | 目标事件抽取数据处理系统 |
| CN113761936A (zh) * | 2021-08-19 | 2021-12-07 | 哈尔滨工业大学（威海） | 一种基于多头自注意力机制的多任务篇章级事件抽取方法 |
| CN113779988A (zh) * | 2021-09-07 | 2021-12-10 | 科大国创云网科技有限公司 | 一种通信领域过程类知识事件抽取方法 |
| CN113901210A (zh) * | 2021-09-15 | 2022-01-07 | 昆明理工大学 | 利用局部多头注意力机制融合词-音节对的泰文和缅甸文词性标注方法 |
| CN114036955A (zh) * | 2021-10-30 | 2022-02-11 | 西南电子技术研究所（中国电子科技集团公司第十研究所） | 中心词跨句事件论元检测方法 |
| CN114254107A (zh) * | 2021-11-30 | 2022-03-29 | 重庆邮电大学 | 一种事件抽取系统及方法 |
| CN114741516A (zh) * | 2021-12-08 | 2022-07-12 | 商汤国际私人有限公司 | 一种事件抽取方法和装置、电子设备及存储介质 |
| CN116049446A (zh) * | 2023-03-07 | 2023-05-02 | 华侨大学 | 一种事件抽取方法、装置、设备及计算机可读存储介质 |
| CN116205220A (zh) * | 2023-04-23 | 2023-06-02 | 北京邮电大学 | 一种触发词和论元的抽取方法、系统、设备及介质 |
| WO2023123867A1 (zh) * | 2021-12-30 | 2023-07-06 | 永中软件股份有限公司 | 一种事件角色的标注方法和计算机设备、计算机可读存储介质 |
| CN116562299A (zh) * | 2023-02-08 | 2023-08-08 | 中国科学院自动化研究所 | 文本信息的论元抽取方法、装置、设备及存储介质 |
| CN116739000A (zh) * | 2023-06-08 | 2023-09-12 | 北京智源人工智能研究院 | 用于复杂语境的言论抽取模型训练方法、装置和电子设备 |
| US11928435B2 (en) | 2020-03-19 | 2024-03-12 | Beijing Baidu Netcom Science Technology Co., Ltd. | Event extraction method, event extraction device, and electronic device |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103530281A (zh) * | 2013-10-15 | 2014-01-22 | 苏州大学 | 一种论元抽取方法和系统 |
| CN104331480A (zh) * | 2014-11-07 | 2015-02-04 | 苏州大学 | 一种中文事件触发词的抽取系统及方法 |
| US20170127016A1 (en) * | 2015-10-29 | 2017-05-04 | Baidu Usa Llc | Systems and methods for video paragraph captioning using hierarchical recurrent neural networks |
| CN108595601A (zh) * | 2018-04-20 | 2018-09-28 | 福州大学 | 一种融入Attention机制的长文本情感分析方法 |
| CN108664632A (zh) * | 2018-05-15 | 2018-10-16 | 华南理工大学 | 一种基于卷积神经网络和注意力机制的文本情感分类算法 |
| CN109062907A (zh) * | 2018-07-17 | 2018-12-21 | 苏州大学 | 融入依存关系的神经机器翻译方法 |
| CN109508642A (zh) * | 2018-10-17 | 2019-03-22 | 杭州电子科技大学 | 基于双向gru和注意力机制的船舶监控视频关键帧提取方法 |
| CN109543039A (zh) * | 2018-11-23 | 2019-03-29 | 中山大学 | 一种基于深度网络的自然语言情感分析方法 |
-
2019
- 2019-04-19 CN CN201910315948.9A patent/CN110134757B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103530281A (zh) * | 2013-10-15 | 2014-01-22 | 苏州大学 | 一种论元抽取方法和系统 |
| CN104331480A (zh) * | 2014-11-07 | 2015-02-04 | 苏州大学 | 一种中文事件触发词的抽取系统及方法 |
| US20170127016A1 (en) * | 2015-10-29 | 2017-05-04 | Baidu Usa Llc | Systems and methods for video paragraph captioning using hierarchical recurrent neural networks |
| CN108595601A (zh) * | 2018-04-20 | 2018-09-28 | 福州大学 | 一种融入Attention机制的长文本情感分析方法 |
| CN108664632A (zh) * | 2018-05-15 | 2018-10-16 | 华南理工大学 | 一种基于卷积神经网络和注意力机制的文本情感分类算法 |
| CN109062907A (zh) * | 2018-07-17 | 2018-12-21 | 苏州大学 | 融入依存关系的神经机器翻译方法 |
| CN109508642A (zh) * | 2018-10-17 | 2019-03-22 | 杭州电子科技大学 | 基于双向gru和注意力机制的船舶监控视频关键帧提取方法 |
| CN109543039A (zh) * | 2018-11-23 | 2019-03-29 | 中山大学 | 一种基于深度网络的自然语言情感分析方法 |
Non-Patent Citations (1)
| Title |
|---|
| 张兰霞等: ""基于双向GＲU 神经网络和双层注意力机制的中文文本中人物关系抽取研究"", 《计算机应用与软件》 * |
Cited By (83)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110717343A (zh) * | 2019-09-27 | 2020-01-21 | 电子科技大学 | 一种基于transformer注意力机制输出的优化对齐方法 |
| CN110717343B (zh) * | 2019-09-27 | 2023-03-14 | 电子科技大学 | 一种基于transformer注意力机制输出的优化对齐方法 |
| CN110704598A (zh) * | 2019-09-29 | 2020-01-17 | 北京明略软件系统有限公司 | 一种语句信息的抽取方法、抽取装置及可读存储介质 |
| CN110704598B (zh) * | 2019-09-29 | 2023-01-17 | 北京明略软件系统有限公司 | 一种语句信息的抽取方法、抽取装置及可读存储介质 |
| CN110674303B (zh) * | 2019-09-30 | 2022-03-01 | 北京明略软件系统有限公司 | 事件语句处理方法、装置、计算机设备和可读存储介质 |
| CN110674303A (zh) * | 2019-09-30 | 2020-01-10 | 北京明略软件系统有限公司 | 事件语句处理方法、装置、计算机设备和可读存储介质 |
| CN110781680A (zh) * | 2019-10-17 | 2020-02-11 | 江南大学 | 基于孪生网络和多头注意力机制的语义相似度匹配方法 |
| CN110781680B (zh) * | 2019-10-17 | 2023-04-18 | 江南大学 | 基于孪生网络和多头注意力机制的语义相似度匹配方法 |
| CN110781302A (zh) * | 2019-10-23 | 2020-02-11 | 清华大学 | 文本中事件角色的处理方法、装置、设备及存储介质 |
| CN110765966A (zh) * | 2019-10-30 | 2020-02-07 | 哈尔滨工业大学 | 一种面向手写文字的一阶段自动识别与翻译方法 |
| CN110765966B (zh) * | 2019-10-30 | 2022-03-25 | 哈尔滨工业大学 | 一种面向手写文字的一阶段自动识别与翻译方法 |
| CN111046907A (zh) * | 2019-11-02 | 2020-04-21 | 国网天津市电力公司 | 一种基于多头注意力机制的半监督卷积网络嵌入方法 |
| CN111046907B (zh) * | 2019-11-02 | 2023-10-27 | 国网天津市电力公司 | 一种基于多头注意力机制的半监督卷积网络嵌入方法 |
| CN111061872A (zh) * | 2019-11-26 | 2020-04-24 | 北京中科汇联科技股份有限公司 | 一种文本分类系统及其训练方法 |
| CN111061872B (zh) * | 2019-11-26 | 2023-08-04 | 北京中科汇联科技股份有限公司 | 一种文本分类系统及其训练方法 |
| CN111222305A (zh) * | 2019-12-17 | 2020-06-02 | 共道网络科技有限公司 | 一种信息结构化方法和装置 |
| CN111222305B (zh) * | 2019-12-17 | 2024-03-22 | 共道网络科技有限公司 | 一种信息结构化方法和装置 |
| CN111222344A (zh) * | 2020-01-03 | 2020-06-02 | 支付宝(杭州)信息技术有限公司 | 训练神经网络的方法、装置及电子设备 |
| CN111222344B (zh) * | 2020-01-03 | 2023-07-18 | 支付宝(杭州)信息技术有限公司 | 训练神经网络的方法、装置及电子设备 |
| CN111259851A (zh) * | 2020-01-23 | 2020-06-09 | 清华大学 | 一种多模态事件检测方法及装置 |
| CN111368551B (zh) * | 2020-02-14 | 2023-12-05 | 京东科技控股股份有限公司 | 一种确定事件主体的方法和装置 |
| CN111368551A (zh) * | 2020-02-14 | 2020-07-03 | 京东数字科技控股有限公司 | 一种确定事件主体的方法和装置 |
| CN111428504A (zh) * | 2020-03-17 | 2020-07-17 | 北京明略软件系统有限公司 | 一种事件抽取方法和装置 |
| CN111428504B (zh) * | 2020-03-17 | 2023-04-28 | 北京明略软件系统有限公司 | 一种事件抽取方法和装置 |
| US11928435B2 (en) | 2020-03-19 | 2024-03-12 | Beijing Baidu Netcom Science Technology Co., Ltd. | Event extraction method, event extraction device, and electronic device |
| CN111325020A (zh) * | 2020-03-20 | 2020-06-23 | 北京百度网讯科技有限公司 | 一种事件论元抽取方法、装置以及电子设备 |
| US11880397B2 (en) | 2020-03-20 | 2024-01-23 | Beijing Baidu Netcom Science Technology Co., Ltd. | Event argument extraction method, event argument extraction apparatus and electronic device |
| CN111400431A (zh) * | 2020-03-20 | 2020-07-10 | 北京百度网讯科技有限公司 | 一种事件论元抽取方法、装置以及电子设备 |
| CN111414482B (zh) * | 2020-03-20 | 2024-02-20 | 北京百度网讯科技有限公司 | 一种事件论元抽取方法、装置以及电子设备 |
| CN111414482A (zh) * | 2020-03-20 | 2020-07-14 | 北京百度网讯科技有限公司 | 一种事件论元抽取方法、装置以及电子设备 |
| CN111325020B (zh) * | 2020-03-20 | 2023-03-31 | 北京百度网讯科技有限公司 | 一种事件论元抽取方法、装置以及电子设备 |
| CN111897908B (zh) * | 2020-05-12 | 2023-05-02 | 中国科学院计算技术研究所 | 融合依存信息和预训练语言模型的事件抽取方法及系统 |
| CN111897908A (zh) * | 2020-05-12 | 2020-11-06 | 中国科学院计算技术研究所 | 融合依存信息和预训练语言模型的事件抽取方法及系统 |
| CN111324738A (zh) * | 2020-05-15 | 2020-06-23 | 支付宝(杭州)信息技术有限公司 | 一种确定文本标签的方法和系统 |
| CN111581954A (zh) * | 2020-05-15 | 2020-08-25 | 中国人民解放军国防科技大学 | 一种基于语法依存信息的文本事件抽取方法及装置 |
| CN113010634A (zh) * | 2020-07-17 | 2021-06-22 | 华东师范大学 | 一种基于层级多标签分类的金融事件检测方法、设备 |
| CN112069811B (zh) * | 2020-08-24 | 2024-01-26 | 武汉大学 | 多任务交互增强的电子文本事件抽取方法 |
| CN112069811A (zh) * | 2020-08-24 | 2020-12-11 | 武汉大学 | 多任务交互增强的电子文本事件抽取方法 |
| CN112116075A (zh) * | 2020-09-18 | 2020-12-22 | 厦门安胜网络科技有限公司 | 事件提取模型生成方法和装置、文本事件提取方法和装置 |
| CN112116075B (zh) * | 2020-09-18 | 2023-11-24 | 厦门安胜网络科技有限公司 | 事件提取模型生成方法和装置、文本事件提取方法和装置 |
| CN112183030A (zh) * | 2020-10-10 | 2021-01-05 | 深圳壹账通智能科技有限公司 | 基于预设神经网络的事件抽取方法、装置、计算机设备及存储介质 |
| CN112307761A (zh) * | 2020-11-19 | 2021-02-02 | 新华智云科技有限公司 | 基于注意力机制的事件抽取方法及系统 |
| CN112559747B (zh) * | 2020-12-15 | 2024-05-28 | 北京百度网讯科技有限公司 | 事件分类处理方法、装置、电子设备和存储介质 |
| CN112559747A (zh) * | 2020-12-15 | 2021-03-26 | 北京百度网讯科技有限公司 | 事件分类处理方法、装置、电子设备和存储介质 |
| CN112528676B (zh) * | 2020-12-18 | 2022-07-08 | 南开大学 | 文档级别的事件论元抽取方法 |
| CN112528676A (zh) * | 2020-12-18 | 2021-03-19 | 南开大学 | 文档级别的事件论元抽取方法 |
| CN112579792A (zh) * | 2020-12-22 | 2021-03-30 | 东北大学 | 一种基于pgat和ftatt的远程监督关系抽取方法 |
| CN112579792B (zh) * | 2020-12-22 | 2023-08-04 | 东北大学 | 一种基于pgat和ftatt的远程监督关系抽取方法 |
| CN112765987A (zh) * | 2021-01-26 | 2021-05-07 | 武汉大学 | 一种基于递归条件随机场解码器的事件识别方法及系统 |
| CN112765980A (zh) * | 2021-02-01 | 2021-05-07 | 广州市刑事科学技术研究所 | 一种面向警情笔录的事件论元角色抽取方法和装置 |
| CN112765980B (zh) * | 2021-02-01 | 2023-05-12 | 广州市刑事科学技术研究所 | 一种面向警情笔录的事件论元角色抽取方法和装置 |
| CN113032520A (zh) * | 2021-02-26 | 2021-06-25 | 北京金堤征信服务有限公司 | 信息分析方法及装置、电子设备和计算机可读存储介质 |
| CN112800776A (zh) * | 2021-03-10 | 2021-05-14 | 湖北工业大学 | 双向gru关系抽取数据处理方法、系统、终端、介质 |
| CN113515624A (zh) * | 2021-04-28 | 2021-10-19 | 乐山师范学院 | 一种针对突发事件新闻的文本分类方法 |
| CN113515624B (zh) * | 2021-04-28 | 2023-07-21 | 乐山师范学院 | 一种针对突发事件新闻的文本分类方法 |
| CN113222119A (zh) * | 2021-05-28 | 2021-08-06 | 北京理工大学 | 利用拓扑依存关系多视角图编码器的论元抽取方法 |
| CN113222119B (zh) * | 2021-05-28 | 2022-09-20 | 北京理工大学 | 利用拓扑依存关系多视角图编码器的论元抽取方法 |
| CN113312464A (zh) * | 2021-05-28 | 2021-08-27 | 北京航空航天大学 | 一种基于对话状态追踪技术的事件抽取方法 |
| CN113312464B (zh) * | 2021-05-28 | 2022-05-31 | 北京航空航天大学 | 一种基于对话状态追踪技术的事件抽取方法 |
| CN113239694A (zh) * | 2021-06-04 | 2021-08-10 | 北京理工大学 | 一种基于论元短语的论元角色识别的方法 |
| CN113361615A (zh) * | 2021-06-16 | 2021-09-07 | 中国人民解放军军事科学院军事科学信息研究中心 | 基于语义相关性的文本分类方法 |
| CN113407720B (zh) * | 2021-06-25 | 2023-04-25 | 南开大学 | 基于预训练文本编码模型的分类体系扩展方法 |
| CN113407720A (zh) * | 2021-06-25 | 2021-09-17 | 南开大学 | 基于预训练文本编码模型的分类体系扩展方法 |
| CN113761936A (zh) * | 2021-08-19 | 2021-12-07 | 哈尔滨工业大学（威海） | 一种基于多头自注意力机制的多任务篇章级事件抽取方法 |
| CN113722461A (zh) * | 2021-09-02 | 2021-11-30 | 中科雨辰科技有限公司 | 目标事件抽取数据处理系统 |
| CN113704476A (zh) * | 2021-09-02 | 2021-11-26 | 中科雨辰科技有限公司 | 目标事件抽取数据处理系统 |
| CN113704476B (zh) * | 2021-09-02 | 2022-03-04 | 中科雨辰科技有限公司 | 目标事件抽取数据处理系统 |
| CN113468433A (zh) * | 2021-09-02 | 2021-10-01 | 中科雨辰科技有限公司 | 目标事件抽取数据处理系统 |
| CN113722461B (zh) * | 2021-09-02 | 2022-05-06 | 中科雨辰科技有限公司 | 目标事件抽取数据处理系统 |
| CN113779988A (zh) * | 2021-09-07 | 2021-12-10 | 科大国创云网科技有限公司 | 一种通信领域过程类知识事件抽取方法 |
| CN113901210A (zh) * | 2021-09-15 | 2022-01-07 | 昆明理工大学 | 利用局部多头注意力机制融合词-音节对的泰文和缅甸文词性标注方法 |
| CN114036955A (zh) * | 2021-10-30 | 2022-02-11 | 西南电子技术研究所（中国电子科技集团公司第十研究所） | 中心词跨句事件论元检测方法 |
| CN114036955B (zh) * | 2021-10-30 | 2023-04-07 | 西南电子技术研究所（中国电子科技集团公司第十研究所） | 中心词跨句事件论元检测方法 |
| CN114254107A (zh) * | 2021-11-30 | 2022-03-29 | 重庆邮电大学 | 一种事件抽取系统及方法 |
| CN114741516A (zh) * | 2021-12-08 | 2022-07-12 | 商汤国际私人有限公司 | 一种事件抽取方法和装置、电子设备及存储介质 |
| WO2023123867A1 (zh) * | 2021-12-30 | 2023-07-06 | 永中软件股份有限公司 | 一种事件角色的标注方法和计算机设备、计算机可读存储介质 |
| CN116562299A (zh) * | 2023-02-08 | 2023-08-08 | 中国科学院自动化研究所 | 文本信息的论元抽取方法、装置、设备及存储介质 |
| CN116562299B (zh) * | 2023-02-08 | 2023-11-14 | 中国科学院自动化研究所 | 文本信息的论元抽取方法、装置、设备及存储介质 |
| CN116049446A (zh) * | 2023-03-07 | 2023-05-02 | 华侨大学 | 一种事件抽取方法、装置、设备及计算机可读存储介质 |
| CN116049446B (zh) * | 2023-03-07 | 2023-06-06 | 华侨大学 | 一种事件抽取方法、装置、设备及计算机可读存储介质 |
| CN116205220B (zh) * | 2023-04-23 | 2024-02-06 | 北京邮电大学 | 一种触发词和论元的抽取方法、系统、设备及介质 |
| CN116205220A (zh) * | 2023-04-23 | 2023-06-02 | 北京邮电大学 | 一种触发词和论元的抽取方法、系统、设备及介质 |
| CN116739000A (zh) * | 2023-06-08 | 2023-09-12 | 北京智源人工智能研究院 | 用于复杂语境的言论抽取模型训练方法、装置和电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110134757B (zh) | 2020-04-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110134757B (zh) | 一种基于多头注意力机制的事件论元角色抽取方法 | |
| CN110298037B (zh) | 基于增强注意力机制的卷积神经网络匹配的文本识别方法 | |
| CN105868184B (zh) | 一种基于循环神经网络的中文人名识别方法 | |
| CN111985247B (zh) | 一种基于多粒度文本特征表示的微博用户兴趣识别方法和系统 | |
| CN109710919A (zh) | 一种融合注意力机制的神经网络事件抽取方法 | |
| CN112183064B (zh) | 基于多任务联合学习的文本情绪原因识别系统 | |
| CN111783394A (zh) | 事件抽取模型的训练方法、事件抽取方法和系统及设备 | |
| CN111506732B (zh) | 一种文本多层次标签分类方法 | |
| CN111597328B (zh) | 一种新事件主题提取方法 | |
| CN114896388A (zh) | 一种基于混合注意力的层级多标签文本分类方法 | |
| CN113515632A (zh) | 基于图路径知识萃取的文本分类方法 | |
| CN116661805B (zh) | 代码表示的生成方法和装置、存储介质及电子设备 | |
| CN114548099B (zh) | 基于多任务框架的方面词和方面类别联合抽取和检测方法 | |
| CN111581967A (zh) | 一种联合LW2V与Triplet网络的新闻主题事件检测方法 | |
| CN113094502A (zh) | 一种多粒度外卖用户评论情感分析方法 | |
| CN115952292B (zh) | 多标签分类方法、装置及计算机可读介质 | |
| CN115203338A (zh) | 一种标签及标签实例推荐方法 | |
| CN114741473B (zh) | 一种基于多任务学习的事件抽取方法 | |
| CN112417862A (zh) | 知识点预测方法、系统和可读存储介质 | |
| CN114722835A (zh) | 基于lda和bert融合改进模型的文本情感识别方法 | |
| CN111435375A (zh) | 一种基于FastText的威胁情报自动化标注方法 | |
| CN113886562A (zh) | 一种ai简历筛选方法、系统、设备和存储介质 | |
| CN109543036A (zh) | 基于语义相似度的文本聚类方法 | |
| CN112487237A (zh) | 基于自适应cnn和半监督自训练模型的音乐分类方法 | |
| CN115392254A (zh) | 一种基于目标任务可解释性认知预测与判别方法及其系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| EE01 | Entry into force of recordation of patent licensing contract | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20190816 Assignee: Wenzhou Kaichen Technology Co.,Ltd. Assignor: HANGZHOU DIANZI University Contract record no.: X2021330000778 Denomination of invention: An event argument role extraction method based on multi head attention mechanism Granted publication date: 20200407 License type: Common License Record date: 20211130 |
|
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20221125 Address after: 325036 Room 301, Floor 3, Building 10, Incubator of Wenzhou National University Science Park, No. 38, Dongfang South Road, Ouhai Economic Development Zone, Wenzhou City, Zhejiang Province Patentee after: Wenzhou Kaichen Technology Co.,Ltd. Address before: 310018 No. 2 street, Xiasha Higher Education Zone, Hangzhou, Zhejiang Patentee before: HANGZHOU DIANZI University |