CN115905458A - 一种基于机器阅读理解模型的事件抽取方法 - Google Patents

Abstract

本发明公开了一种基于机器阅读理解模型的事件抽取方法。该方法将事件抽取的两个子任务：事件检测和事件元素提取都建模成机器阅读理解任务，并采用多轮问答的方式来抽取出事件的完整信息。本发明通过使用BERT预训练模型来构建机器阅读理解框架。为了使模型能学习到句子中的实体信息，在输入句子中对句子中的实体进行显式地标记。此外还构建了历史会话信息编码模块，并采用注意力机制从历史会话中捕获重要信息以辅助当前轮次的问答。相比于现有方法，本发明方法能更好的利用先验知识来辅助进行事件抽取，在自动文摘、自动问答以及事理图谱构建等方面具有广阔应用前景。

Description

一种基于机器阅读理解模型的事件抽取方法

技术领域

本发明设计了一种基于机器阅读理解模型的事件抽取方法，属于自然语言处理技术领域。

背景技术

事件抽取是信息抽取一个重要研究方向，在自动文摘、自动问答以及信息检索等方面具有重要应用价值，同时也是构建事理图谱的关键技术。事件抽取是从给定的非结构化文本中抽取出事件结构化描述信息的过程，其通常分为事件检测和事件元素抽取两个子任务。其中，事件检测是指准确地检测出事件的触发词并分类到正确的事件类型。而事件元素提取是指准确地提取出事件的要素，并分配恰当的角色。

早期的工作中，事件抽取通常都被当作序列标注或者分类任务，其核心在于获得一个句子较好的语义特征表示。传统方法主要基于特征工程的方式获得句子的特征表示，依赖研究人员根据专业知识手工设计不同层次的特征。这类方法的性能受特征影响较严重，且手工设计的特征在不同场景中的迁移性较差。近年来，基于神经网络的方法被广泛应用于事件抽取。相比于基于特征工程的方法，神经网络方法采用逐层抽象表示学习的方式来获得句子的语义特征，其不依赖于特定的资源，并且能更好地保留句子的语义信息。因此，神经网络方法有效地推动了事件抽取的进展。然而，采用分类或者序列标注的方式来进行事件抽取时，需要有大量带标签的数据来训练模型，并且训练好的模型也只能用于抽取已知类型的事件。而事实上，由于事件的复杂性，进行事件标注是非常昂贵的，因此现有事件抽取数据集中所包含的实例数量以及所涵盖的事件类别都较为有限。因此，如何在低资源情景下训练一个具有迁移能力的事件抽取模型成了研究者的关注热点。

针对标注数据缺乏的问题，近年来研究者提了利用机器阅读理解模型来解决事件抽取的方法([1].Du X,Cardie C.Event Extraction by Answering(Almost)NaturalQuestions[C]//Proceedings of the 2020Conference on Empirical Methods inNatural Language Processing.2020:671-683；[2].Liu J,Chen Y,Liu K,et al.Eventextraction as machine reading comprehension[C]//Proceedings of the2020Conference on Empirical Methods in Natural Language Processing.2020:1641-1651；[3].Li F,Peng W,Chen Y,et al.Event extraction as multi-turn questionanswering[C]//Proceedings of the 2020Conference on Empirical Methods inNatural Language Processing:Findings.2020:829-838.)。这些方法通过将事件抽取转换为阅读理解任务，可以带来两方面的优势：(1)一方面可以通过在问题中编码先验信息，使得模型能够抽取出一些之前没有见过的事件角色信息；(2)另外一方面可以借助目前已有的大规模阅读理解数据来辅助训练模型，从而缓解标注数据匮乏的问题。虽然上述基于机器阅读理解模型的方法有效地促进了低资源情景下事件抽取的研究进展，但在抽取过程中，现有方法未对句子中的先验信息进行充分地利用，如句子中的实体信息。此外，针对事件每个元素的抽取都是进行独立问答的，事件元素信息之间的相关性以及多轮问答之间的交互性没有得到有效地利用。在事件抽取中，句子中的实体信息对事件抽取是有帮助的。一方面，事件元素都是实体，通过在输入句子中显式地标记实体，将有助于对事件元素边界的确定。另一方面，实体信息有助于事件类型的推断。例如在句子“The Iraqi unit(organization)in possession of those guns fired mortars(weapon)in thedirection of the 7th Cavalry(organization)”，如果知道“Iraqi unit”、“7thCavalry”的实体类型为组织(Organization)，“mortars”的实体类型为武器(Weapon)，那么将有助于模型推断“fired”表达的是攻击事件(Conflict.Attack)而非离职事件(Personnel.End-Position)。另外一方面，事件元素之间存在相关性，问答过程的交互对事件抽取是有益的。例如在句子“In the January attack,two Palestinian suicidebombers blew themselves up in central Tel Aviv,killing 23other people.”中，如果之前轮次的问答中已经知道“suicide”触发了攻击事件(Conflict.Attack)，将有助于推断后面由“killing”触发的死亡事件(Life.Die)。

针对以上问题，本发明提出了一种基于多轮问答模型的事件抽取方法，以迭代问答的方式进行事件信息抽取。首先，在输入数据层面，通过在输入句子中显式地增加实体标记符号，使得模型能够有效地学习到句子中的实体信息。然后，在模型层面，本章在机器阅读理解模型的基础上增加了历史会话信息编码模块，并采用注意力机制从历史会话中选择有用信息以辅助当前轮次的问答。接着，在答案解码端，设计了单片段和多片段两种答案解码算法，用于从段落中提取单个答案或者多个答案。

发明内容

本发明针对事件抽取任务，提出了一种基于机器阅读理解模型的事件抽取方法，其将事件检测和事件元素抽取统一建模成问答任务，并基于多轮问答的形式来实现。本发明基于BERT模型来构建阅读理解框架，并通过在输入段落中标注实体信息以及通过构建历史会话信息编码模块的方式来编码历史会话信息，使得模型能够更好的利用相关先验知识，以提高事件抽取任务的性能。

本发明通过以下技术方案来实现上述目的：

1.本发明所述的基于机器阅读理解模型的事件抽取流程如图1所示，其通过多轮问答的方式实现事件检测和事件元素提取。本发明所述的基于机器阅读理解模型的事件抽取方法，包括以下步骤：

步骤一：首先根据问题模板构造触发词抽取问题；

步骤二：对输入句子中的实体信息进行显式的标记；

步骤三：将步骤一中的生成的问题和步骤二得到的句子进行拼接后送入到机器阅读理解模型后抽取出触发词；

步骤四：针对步骤三中抽取的触发词，进一步根据问题模板构造事件类型抽取问题；

步骤五：将所有的事件类型以标识符“[EVENT_TYPE]”进行拼接到步骤二中得到的句子后形成新的输入段落，然后进一步将其拼接到步骤四中生成的问题后输入到机器阅读理解模型后抽取出相应的事件类型；

步骤六：根据触发词和事件的角色进一步构造事件角色元素抽取问题，然后将步骤二中得到的句子拼接到生成的问题后，输入到融合历史会话信息的阅读理解模型抽取出相应的事件角色元素；

步骤七：重复步骤三继续抽取新的事件信息，直到句子中所有的事件抽取完成。

作为步骤一中构造触发词抽取问题说明如下：

在构造问题时，一个问题由问题类型和问题内容两部分构成，其中问题类型表示应该使用什么类型的疑问代词，其中针对触发词的提问使用“Which”作为疑问代词。问题内容则表示所关注的主要内容，针对触发词抽取的问题内容构造的固定模板为：“Which isthe_①_trigger in this text？”,其中①表示抽取句子中的第几个触发词。例如针对第一个事件的触发词，空格①的内容为“first”，而第二个则是“second”，以此类推。

作为步骤二中对输入句子的实体信息进行显式标记说明如下：

将文本段落中的实体进行显式标记时，通过在实体词前后分别增加实体类型符后得到新的句子。例如针对句子“The Iraqi unit in possession of those guns firedmortars in the direction of the 7th Cavalry”，增加实体标记符后得到如下形式的句子“The<org>Iraqi unit</org>in possession of those<wea>guns</wea>fired<wea>mortars</wea>in the direction of the<org>7th Cavalry</org>.”，其中“<org>、<wea>”分别表示组织和武器。

作为步骤三中抽取触发词说明如下：

将步骤一中生成的问题和步骤二中生成的句子以标记符号“[SEP]”进行拼接后进一步在开始和结尾位置处分别添加“[CLS]”和“[SEP]”标志位后送入到BERT模型中进行编码后得到每个单词对应的隐藏层输出，计算形式如下：

c_cls,c_q1,...,c_qn，c_[sep],c_d1,...,c_dm,c_sep＝BERT([CLS]+Q'_k+[SEP]+P_e'_ntity+[SEP])  (1)

其中Q'_k为步骤一中生成的问题，P_e'_ntity为步骤二中生成的添加了实体标记信息的句子。在得到单词的隐藏层特征后，对每个单词的语境化词向量表示，分别经过两个不同的线性变换后送入Softmax函数计算得到该单词作为答案开始和结束的概率，计算过程如下：

P_s(i)＝Softmax(W_sc_di+b_s)                    (2)

P_s(i)＝Softmax(W_ec_di+b_e)                       (3)

其中

是模型的参数；

为相应的偏置。

由于触发词为输入句子中的一个片段(span)，因此使用单片段解码算法获得触发词所对应的边界。解码过程具体如下：首先对所有单词对应的两个概率按概率从大到小的顺序进行排序后得到两个概率列表；然后依次遍历两个列表，在遍历过程中，只从起始概率和结束概率大于[CLS]位置的片段中选择，并进一步根据过滤条件将不满足要求的Span去除(过滤条件包含两种：(1)Span的结束位置小于开始位置的情况；(2)Span长度超过答案最大长度的情况)，随后将剩下的Span依次加入到备选列表。最后将备选列表中的第一个Span输出作为事件触发词。

作为步骤五中抽取事件类型说明如下：

进行事件类型抽取时，由于之前已经抽取了触发词，因此需要将之前的历史会话信息编码到模型中。具体过程如下，首先，将以标识符“[EVENT_TYPE]”进行拼接后形成的段落拼接到步骤四中生成的问题后送入到阅读理解模型进行编码后得到每个单词的隐藏层特征向量输出，计算形式如下：

c_cls,c_q1,...,c_qn，c_[sep],c_d1,...,c_dm,c_sep＝BERT([CLS]+Q'_k+[SEP]+P′_entity+[SEP]) (4)

接着，将将历史问答对中的答案句子分别在开始和结尾处加上“[CLS]”和“[SEP]”标志位后送入到另外一个BERT模型进行编码得到相应的句子表示，计算形式如下：

上式中，A′_i表示第i轮次答案句子经过拆分后的序列，而

为则为编码后得到的句子特征向量表示。由于历史会话中包含了多个问答对，而每个问答对当前轮次的问答有着不同的贡献度。因此，本发明采用注意力机制从历史问答对中筛选出与当前轮次问答有重要相关度的信息。在注意力计算过程中，注意力权重系数的计算形式如下：

式中，

为映射矩阵，

为第i轮次问答对中的答案句子所对应的注意力权重。根据注意力权重，对所有轮次答对中的答案句子的特征向量表示进行加权求和后得到整个历史会话信息的特征表示c^h：

在获得历史会话信息的特征表示c^h后依次将其与阅读理解模型输出的每个单词的特征向量经过级联后得到融合后的特征向量：

最后将每个单词的特征向量分别经过两个不同的线性映射层后送入Softmax函数计算得到其作为答案开始和结束的概率，计算过程如下：

P_s(i)＝Softmax(W_sc'_pi+b_s)                                 (8)

P_s(i)＝Softmax(W_ec'_pi+b_e)                               (9)

式中，

是模型的参数，

为相应的偏置，h是BERT隐藏层特征维度；P_s(i)，P_e(i)分别表示第i个单词作为答案开始和结束的概率。在获得每个单词对应的开始和结束概率后，采用和步骤三相同的解码算法进行解码后得到事件类型。

作为步骤六中抽取出相应的事件角色元素说明如下：

针对不同的角色，使用不同的疑问代词。表1给出了不同疑问代词与事件角色的对应关系，从表中可知，问题类型主要分为三类：针对通用语义角色的提问、针对人物的问题和针对地点的提问。

表1事件角色与问题疑问代词的对应关系

针对事件角色元素的提取时，问题内容部分则采用以下固定的模板：“(Where/Which/What)is the_③_in the_④_event trigger by_②_？”进行构造。在该模板中，空格③处为事件角色类型，空格④处为事件类型，空格②为触发词。在完成问题构造后，将构造好问题和和步骤二中生成的句子进行拼接后输入到机器阅读理解模型后获得每个单词作为答案开始和结束的概率。在事件角色信息过程中，同样需要将历史会话信息编码到模型中，其采用和步骤五相同的编码方式。由于部分事件角色元素包含多个答案，因此使用多片段解码算法来进行答案解码。具体解码过程如下：首先对所有单词对应的开始和结束两个概率按概率从大到小的顺序进行排序后得到两个概率列表；然后依次遍历两个列表，在遍历过程中，只从起始概率和结束概率大于[CLS]位置的片段中选择，并进一步根据过滤条件将不满足要求的Span去除(过滤条件包含三种：(1)Span的结束位置小于开始位置的情况；(2)Span长度超过答案最大长度的情况；(3)Span中开始位置概率得分和结束位置概率得分之和小于阈值的情况)，并将剩下的Span依次加入到备选列表。最后将备选列表中的所有span输出作为答案。

附图说明

图1是本发明提出的基于多轮问答的事件抽取流程。

图2是本发明提出的融合历史会话信息的阅读理解模型框架结构。

具体实施方式

下面结合附图对本发明作进一步说明：

图1是本发明提出的基于多轮阅读理解框架的事件抽取流程。本发明将事件检测和事件元素抽取都建模为阅读理解任务。为了便于说明，以图1中的示例句子“Andrewluster,though arrived yesterday at los Angeles international airport on acommercial flight from Mexico.”为例对整个过程进行详细地说明。

第一个步骤为抽取句子的第一个触发词。该步骤的具体过程如下：首先将句子中的实体进行标记后，得到如下句子“The<org>Iraqi unit</org>in possession of those<wea>guns</wea>fired<wea>mortars</wea>in the direction of the<org>7th Cavalry</org>”；然后根据问题模板生成抽取第一个触发词的问题：“Which is the firsttrigger in this text？”；随后将该问题和句子以标识符“[SEP]”进行拼接，并在开始和结尾处加上“[CLS]”和“[SEP]”后送入到机器阅读理解模型得到答案。

第二个步骤为抽取触发词所对应的事件类型。该步骤的具体过程如下：首先根据模板生成触发词类型的抽取问题“Which is the event type of the trigger wordarrived？”；接着以标识符“[EVENT_TYPE]”将所有的事件类型进行拼接后进一步拼接到步骤1中得到的标记了实体的句子后得到新的输入段落；随后将该段落拼接到事件类型抽取问题后送入到机器阅读理解模型抽取出事件类型。

第三个步骤为抽取出事件的角色元素。该过程如下：首先根据事件类型确定事件所包含的角色；然后根据表1中描述的事件角色与问题疑问代词的对应关系确定相应角色的疑问代词；随后根据模板“(Where/Which/What)is the_③_in the_④_event triggerby_②_？”生成针对事件角色元素抽取的问题；随后将问题和触发词抽取步骤中生成的句子送入到机器阅读理解模型抽取出触发词。在抽取完成第一个事件后，继续构造触发词抽取问题从句子中抽取出新的事件信息。

图2为融合历史会话信息的阅读理解模型，该模型分为机器阅读理解模块和历史会话信息编码模块，其中机器阅读理解模块用于事件信息的抽取，而历史会话信息模块则用于对历史问答会话中的答案句子进行编码。两个模型均使用BERT模型来对输入句子进行编码。由于历史问答对中，只有部分问答句和当前轮次的历史会话信息有关，因此使用注意力机制从历史会话信息中筛选出与当前轮次问答最相关的重要信息。注意力计算过程如下：首先将问答理解模块的“[CLS]”标签位输出的特征向量与历史会话编码模块输出的每个历史会话对中的答案句子的特征向量进行点乘计算后，得到一个相似度得分，然后以该注意力得分作为权重对所有历史问答对中的答案句子的特征向量进行加权求和，得到历史会话信息的特征向量表示。接着，将该历史会话信息的特征向量依次与阅读理解模型得到的每个单词的特征向量进行级联后得到相应的特征输出，随后经过线性变换和Softmax函数后得到每个单词对应的作为答案开始和结束的概率。最后，采用答案解码算法中句子中选择一个或者多个Span作为答案。

表2是本发明在引入历史会话信息编码模块前后，模型在公开数据集ACE 2005上事件抽取性能的变化情况。从实验结果中可知，在引入历史会话信息编码后，模型的性能得到有效地提升。

表2在ACE 2005数据集上，本发明在引入历史会话信息前后模型的性能变化情况

表3是本发明提出的模型在公开数据集ACE 2005与现有方法的对比，通过实验表明，本发明提出的模型与现有模型相比，其综合评价指标F₁值取得最好的结果。

表3本发明网络模型在ACE 2005数据集上和其他现有模型的实验对比结果

上述实施例只是本发明的较佳实施例，并不是对本发明技术方案的限制，只要是不经过创造性劳动即可在上述实施例的基础上实现的技术方案，均应视为落入本发明专利的权利保护范围内。

Claims (4)

1.一种基于机器阅读理解模型的事件抽取方法，其特征在于包括以下步骤：

步骤一：首先根据问题模板构造触发词抽取问题；

步骤二：对输入句子中的实体信息进行显式的标记；

步骤三：将步骤一中的生成的问题和步骤二得到的句子进行拼接后送入到机器阅读理解模型后抽取出触发词；

步骤四：针对步骤三中抽取的触发词，进一步根据问题模板构造事件类型抽取问题；

步骤五：将所有的事件类型以标识符“[EVENT_TYPE]”进行拼接到步骤二中得到的句子后形成新的输入段落，然后进一步将其拼接到步骤四中生成的问题后输入到机器阅读理解模型后抽取出相应的事件类型；

步骤六：根据触发词和事件的角色进一步构造事件角色元素抽取问题，然后将步骤二中得到的句子拼接到生成的问题后，输入到融合历史会话信息的阅读理解模型抽取出相应的事件角色元素；

步骤七：重复步骤三继续抽取新的事件信息，直到句子中所有的事件抽取完成。

2.根据权利要求1所述的基于机器阅读理解模型的事件抽取方法，其特征在于：在对输入句子中的实体信息进行显式标注时的标注过程如下：通过在实体词前后分别增加实体类型符后得到新的句子；例如针对句子“The Iraqi unit in possession of those gunsfired mortars in the direction of the 7th Cavalry”，增加实体标记符后得到如下形式的句子“The<org>Iraqiunit</org>in possession of those<wea>guns</wea>fired<wea>mortars</wea>in the direction of the<org>7th Cavalry</org>.”，其中“<org>、<wea>”分别表示组织和武器。

3.根据权利要求1所述的基于机器阅读理解模型的事件抽取方法，其特征在于：在构造事件角色抽取的问题时，一个问题由问题类型和问题内容两部分构成，其中问题类型表示应该使用什么类型的疑问代词；事件角色与相应疑问代码的对应关系由说明书中的表1描述；而问题内容则根据模板来构造，其问题生成模板如下：“(Where/Which/What)is the_③_in the_④_event trigger by_②_？”，其中空格③处为事件角色类型，空格④处为事件类型，空格②为触发词。

4.根据权利要求1所述的基于机器阅读理解模型的事件抽取方法，其特征在于：融合历史会话信息的阅读理解模由机器阅读理解模块和历史会话信息编码模块两部分构成；其中机器阅读理解模块用于事件信息的抽取，而历史会话信息模块则用于对历史问答会话中的答案句子进行编码，在进行特征融合时，按如下步骤进行：

a)首先将历史问答对中的答案句子分别在开始和结尾处加上“[CLS]”和“[SEP]”标志位后送入到BERT模型进行编码得到相应的句子表示，计算形式如下：

上式中，A′_i表示第i轮次答案句子经过拆分后的序列，而

为则为编码后得到的句子特征向量表示；

b)随后，通过点乘注意力计算每个历史问答对中的答案句子与当前轮次问答的关联度得分，注意力权重系数的计算形式如下：

式中，

为映射矩阵，

为第i轮次问答对中的答案句子所对应的注意力权重；

c)接着，根据注意力权重，对所有轮次答对中的答案句子的特征向量表示进行加权求和后得到整个历史会话信息的特征表示c^h：

d)最后在获得历史会话信息的特征表示c^h后依次将其与阅读理解模型输出的每个单词的特征向量经过级联后得到融合后的特征向量：

上式中c_cls,c_q1,...,c_qn,c_[sep],c_d1,...,c_dm,c_sep即为融合了历史会话信息的单词特征向量表示。

Images