CN115169285A - 一种基于图解析的事件抽取方法及系统 - Google Patents

Abstract

本发明公开了一种基于图解析的事件抽取方法及系统，通过将输入句子中包含的多个事件视为整体，将多个事件链接起来构成事件图，实现将对输入句子的抽取事件问题转化为一个对输入句子分析生成事件图的图解析方法。该方法不再依赖于事件触发词，明确地对多个事件之间的关联性进行建模，解决论元共享现象，缓解长尾问题；同时，基于Transformer的生成模型设计了有效的解码算法，提高事件抽取的性能；此外，采用预训练的序列到序列模型，使得数据稀疏性问题得到改善；在基于事件图的生成模型中利用依存句法信息，使用图注意力神经网络对依存信息编码，将依存图编码层和句子编码层的双重注意力机制进行融合提升事件抽取的性能。

Description

一种基于图解析的事件抽取方法及系统

技术领域

本发明涉及自然语言处理中的信息抽取领域，尤其是一种基于图解析的事件抽取方法。

背景技术

在实际应用中，事件抽取已广泛应用于自动问答，信息检索，人机界面，趋势分析、金融社交等领域。现如今对于事件抽取技术的智能化应用的研究越来越多，比如百度知识图谱团队研发的写稿机器人，基于事件图谱自动生成一些大事件文章。事件抽取在商业、军事等领域的情报工作中应用非常广泛，同时在生活和社交也有许多实际的应用。我们能够从新闻中快速抽取重要事件，更加高效地获取到关键信息。大家面对该事件的心态和状态、以及政府的应对，我们都可以通过事件抽取技术去进行社交舆论的监测，这对于我们了解国内外疫情，以及政府科学防控与应急管理都具有重要意义。

一般来说，事件抽取任务可以分为两个子任务，即事件检测(识别指定的事件类型)和论元抽取(识别每个事件类型的论元并标记它们角色)。

现有的研究工作通常将事件抽取转化为触发词分类任务和论元分类任务两个子任务，并通过分类的方法来解决这两个任务，但是这类方法存在一些固有的缺点。首先现有的方法都严重依赖于触发词，一方面，触发词对于事件检测和事件抽取任务来说并不是必需的，另一方面，触发词在一定程度上制约了模型对事件的准确识别；其次，当前的模型并不能对一个句子中多个事件和充当不同角色的多个论元之间的关联性进行显式的建模，也并没有很好地解决论元共享问题；最后，现有的方法不能利用事件类型和论元角色的标签语义信息。

发明内容

发明目的：本发明的目的在于提供一种基于图解析的事件抽取方法，在不依赖触发词的基础上，解决长尾现象，同时将多个事件之间的相关性进行基于 Transformer的模型构建，解决论元共享现象；将给定输入文本的句子进行线性化处理，利用序列-序列的转换方式，解决数据稀疏性问题。

技术方案：本发明提供的一种基于图解析的事件抽取方法，包含以下步骤：

1)给定输入文本，判断给定输入文本的句子中是否包含事件类型，抽取给定输入文本的句子中任意一节点作为根节点，将事件类型节点附加在根节点后作为子节点，若包含事件类型，则该根节点取值为EVTS，将给定输入文本中的句子中所包含的事件连接构成事件图，若不包含事件类型，则该根节点取值为NA，抽取事件结束；

2)基于Seq2Seq序列-序列框架，将事件图进行线性化处理，得到事件图的线性化序列；

3)基于事件图的线性化序列，设计基于Transformer的生成模型及解码算法，该生成模型及解码算法具体方式为：

设定x＝＜x₁,...,x_n＞为给定输入文本的句子，其中x_i表示句子中的第i个单词，i＝1,2...n，同时，设定E＝＜e₁,..e_j..,e_n＞是句子中的实体提及，其中e_i表示句子中的第i个实体提及，i＝1,2..j..n，该实体提及总共包含k个实体提及，k为自然数，其中每个实体提及都包含头实体和实体类型，以此搭建基于 Transformer的生成模型；

基于Transformer的生成模型需要依次解码标记列表y＝＜y₁,...,y_m＞，其中y_i为标记列表的第i个标记，i＝1,2...m，标记y_i的取值为事件类型、事件论元即实体提及、论元角色、实体类型、特殊指针符号中的任意一项；

4)采用预先训练的语言模型BART将基于Transformer的生成模型转化为Encoder-Decoder架构，完成事件抽取结果学习。

进一步的，步骤2)中，线性化处理采用深度优先遍历及宽度优先遍历两种线性化处理方式，同时加入实体类型节点，设计调换节点和边的遍历顺序。

进一步的，步骤3)中，当生成模型在为特定的事件类型节点生成论元节点的时，生成模型将每个论元的头实体作为论元进行输出，设定Y为输出解的空间，生成模型的目标变成寻找给定输入文本的句子x的节点序列：

则采用基于Transformer的编码器进行编码，采用如下解码算法进行解码：

P(y_j|x,y_＜j)＝softmax(g(s_j))

其中，p、P均为概率，y_＜j为给定第j个位置之前的各节点值，h_i为上下文隐藏向量，Encoder为Transformer的编码器，s_j为通过解码器依次产生的 m个解码符号，Decoder为解码器，y_j为第j个标记。

进一步的，解码算法完成后，基于图解析的事件抽取方法，利用依存句法信息对基于Transformer的生成模型解码后结果进行进一步抽取；该依存句法信息采用图注意力神经网络对依存图进行编码，将依存图编码层及句子编码层的双重注意力机制进行融合，具体包含：

获取到上下文隐藏向量{h_i,h_i+1,...,h_i+m-1}和句法依存图隐向量 {h′_i,h′_i+1,...,h′_i+m-1}，应用平均池化函数，得到上下文表示h_con和依存图表示 h_syn；

h_con＝pool(h_i,h_i+1,...,h_i+m-1)

h_syn＝pool(h′_i,h′_i+1,...,h′_i+m-1)

其中，采用门控机制将上下文表示h_con和依存图表示h_syn进行两者特征融合，依存图表示h_syn被融合到上下文表示h_con中，如下公式所示：

其中

是乘积操作，函数g的具体计算方式如下公式所示：

g＝σ(W_g[h_syn；h_con]+b_g)

其中，[h_syn；h_con]是h_con和h_syn的拼接，W_g和b_g是生成模型的参数。

本发明对应提供一种基于图解析的事件抽取系统，包含判断模块、线性化模块、生成模型及解码模块、转换学习模块；

判断模块用以给定输入文本，判断给定输入文本的句子中是否包含事件类型，抽取给定输入文本的句子中任意一节点作为根节点，将事件类型节点附加在根节点后作为子节点，若包含事件类型，则该根节点取值为EVTS，将给定输入文本中的句子中所包含的事件连接构成事件图，若不包含事件类型，则该根节点取值为NA，抽取事件结束；

线性化模块用以基于Seq2Seq序列-序列框架，将事件图进行线性化处理，得到事件图的线性化序列；

生成模型及解码模块用以基于事件图的线性化序列，设计基于Transformer 的生成模型及解码算法，该生成模型及解码算法具体方式为：

设定x＝＜x₁,...,x_n＞为给定输入文本的句子，其中x_i表示句子中的第i个单词，i＝1,2...n，同时，设定E＝＜e₁,..e_j..,e_n＞是句子中的实体提及，其中e_i表示句子中的第i个实体提及，i＝1,2..j..n，该实体提及总共包含k个实体提及，k为自然数，其中每个实体提及都包含头实体和实体类型，以此搭建基于 Transformer的生成模型；

基于Transformer的生成模型需要依次解码标记列表y＝＜y₁,...,y_m＞，其中y_i为标记列表的第i个标记，i＝1,2...m，标记y_i的取值为事件类型、事件论元即实体提及、论元角色、实体类型、特殊指针符号中的任意一项；

转换学习模块用以采用预训练的语言模型BART将基于Transformer的生成模型转化为Encoder-Decoder架构，完成事件抽取结果学习。

进一步的，线性化模块中，线性化处理采用深度优先遍历及宽度优先遍历两种线性化处理方式，同时加入实体类型节点，设计调换节点和边的遍历顺序。

进一步的，生成模型及解码模块中，当生成模型在为特定的事件类型节点生成论元节点的时，生成模型将每个论元的头实体作为论元进行输出，设定Y为输出解的空间，生成模型的目标变成寻找给定输入文本的句子x的节点序列：

则采用基于Transformer的编码器进行编码，采用如下解码器进行解码：

P(y_j|x,y_＜j)＝softmax(g(s_j))

其中，p、P均为概率，y_＜j为给定第j个位置之前的各节点值，h_i为上下文隐藏向量，Encoder为Transformer的编码器，s_j为通过解码器依次产生的 m个解码符号，Decoder为解码器，y_j为第j个标记。

进一步的，解码算法完成后，基于图解析的事件抽取方法，利用依存句法信息对基于Transformer的生成模型解码后结果进行进一步抽取；该依存句法信息采用图注意力神经网络对依存图进行编码，将依存图编码层及句子编码层的双重注意力机制进行融合，具体包含：

获取到上下文隐藏向量{h_i,h_i+1,...,h_i+m-1}和句法依存图隐向量 {h′_i,h′_i+1,...,h′_i+m-1}，应用平均池化函数，得到上下文表示h_con和依存图表示 h_syn；

h_con＝pool(h_i,h_i+1,...,h_i+m-1)

h_syn＝pool(h′_i,h′_i+1,...,h′_i+m-1)

其中，pool为池化层，采用门控机制将上下文表示h_con和依存图表示 h_syn进行两者特征融合，依存图表示h_syn被融合到上下文表示h_con中，如下公式所示：

其中

是乘积操作，函数g的具体计算方式如下公式所示：

g＝σ(W_g[h_syn；h_con]+b_g)

其中，[h_syn；h_con]是h_con和h_syn的拼接，W_g和b_g是生成模型的参数。

有益效果：本发明与现有技术相比，其显著特点是将输入句子中包含的多个事件视为整体，将多个事件链接起来构成事件图，将输入句子抽取事件转化为对输入句子分析生成事件图的图解析方法，不再依赖于触发词，避免长尾现象，将输入句子进行序列-序列的线性化处理，使得数据稀疏性问题得到改善，同时，搭建基于Transformer的生成模型，通过解码算法，提高事件抽取的性能，明确地对多个事件之间的相关性进行建模，解决论元共享现象，基于事件图的生成模型中利用依存句法信息，使用图注意力神经网络来对依存信息进行编码，并将依存图编码层和句子编码层的双重注意力机制进行融合，进一步提升事件抽取的性能。

附图说明

图1是本发明的流程示意图；

图2是本发明中的事件图示意图。

具体实施方式

下面结合附图及具体实施方式对本发明做进一步的详细说明。

实施例1

请参阅图1所示，本发明提供的基于图解析的事件抽取方法，包含以下步骤：

1)给定输入文本，判断给定输入文本的句子中是否包含事件类型，抽取给定输入文本的句子中任意一节点作为根节点，将事件类型节点附加在根节点后作为子节点，若包含事件类型，则该根节点取值为EVTS，将给定输入文本中的句子中所包含的事件连接构成事件图，若不包含事件类型，则该根节点取值为NA，抽取事件结束。

对于给定的输入文本，事件抽取的目的是识别和预测出所包含的事件类型以及相应的论元和充当的角色，为了建模多事件之间的关联性，将给定输入文本中的句子中所包含的多个事件看作是一个整体，并且链接在一起成为一个事件图，如图2所示。

请参阅图2所示，对于给定输入文本的句子，其中句中标注的下划线标记是句中所有的实体提及，是作为模型的已知信息，将这句话中包含的事件元素作为一个整体链接成一张事件图。

具体来说，首先引入了一个特殊地节点作为根节点，将每个事件类型节点附加在根节点之后作为子节点；每个特定事件类型的多个论元被链接为事件类型的子节点，其中这些边被标记为论元在此事件中充当的论元角色。

其中值得注意的是，事件图的根节点并不是一个虚根，它有两个可能的取值：EVTS和NA，如果输入句中不包含任何事件类型，则根节点的取值为NA，抽取事件结束，若包含事件类型，根节点的取值为EVTS，对根节点值的预测是为了首先判断输入的句子中是否包含事件类型。

2)基于Seq2Seq序列-序列框架，将事件图进行线性化处理，得到事件图的线性化序列。

线性化处理采用深度优先遍历及宽度优先遍历两种线性化处理方式，同时在事件图中加入实体类型节点，设计调换节点和边的遍历顺序，使得论元角色这条边在论元这个节点之后出现，最终事件图的线性化序列如图2所示。

3)基于事件图的线性化序列，设计基于Transformer的生成模型及解码算法，该生成模型及解码算法具体方式为：

设定x＝＜x₁,...,x_n＞为给定输入文本的句子，其中x_i表示句子中的第i个单词，i＝1,2...n，同时，设定E＝＜e₁,..e_j..,e_n＞是句子中的实体提及，其中e_i表示句子中的第i个实体提及，i＝1,2..j..n，该实体提及总共包含k个实体提及，k为自然数，其中每个实体提及都包含头实体和实体类型，以此搭建基于 Transformer的生成模型；

基于Transformer的生成模型需要依次解码标记列表y＝＜y₁,...,y_m＞，其中y_i为标记列表的第i个标记，i＝1,2...m，标记y_i的取值为事件类型、事件论元即实体提及、论元角色、实体类型、特殊指针符号中的任意一项。

当生成模型在为特定的事件类型节点生成论元节点的时，生成模型将每个论元的头实体作为论元进行输出，设定Y为输出解的空间，生成模型的目标变成寻找给定输入文本的句子x的节点序列：

则采用基于Transformer的编码器进行编码，采用如下解码器进行解码：

P(y_j|x,y_＜j)＝softmax(g(s_j)) (4)

其中，h_i为上下文隐藏向量，Encoder为Transformer的编码器，s_j为通过解码器依次产生的m个解码符号，Decoder为解码器，y_j为第j个标记。

4)为了缓解数据的稀疏性，采用预训练好的语言模型BART将基于 Transformer的生成模型转化为Encoder-Decoder架构，利用预先训练的语言模型BART事先学习潜在知识如语义信息、语法关系等，进而完成事件抽取结果学习。

解码算法完成后，基于图解析的事件抽取方法，利用依存句法信息对基于Transformer的生成模型解码后结果进行进一步抽取，从而进一步提升本发明的性能，该依存句法信息采用图注意力神经网络对依存图进行编码，将依存图编码层及句子编码层的双重注意力机制进行融合，具体包含：

获取到上下文隐藏向量{h_i,h_i+1,...,h_i+m-1}和句法依存图隐向量 {h′_i,h′_i+1,...,h′_i+m-1}，应用平均池化函数，得到上下文表示h_con和依存图表示h_syn；

h_con＝pool(h_i,h_i+1,...,h_i+m-1) (5)

h_syn＝pool(h′_i,h′_i+1,...,h′_i+m-1) (6)

其中，pool为池化层，采用门控机制将上下文表示h_con和依存图表示 h_syn进行两者特征融合，依存图表示h_syn被融合到上下文表示h_con中，如下公式所示：

其中

是乘积操作，函数g的具体计算方式如下公式所示：

g＝σ(W_g[h_syn；h_con]+b_g) (8)

其中，[h_syn；h_con]是h_con和h_syn的拼接，W_g和b_g是生成模型的参数。

实施例2

对应实施例1的基于图解析的事件抽取方法，本实施例2提供一种基于图解析的事件抽取系统，包含判断模块、线性化模块、生成模型及解码模块、转换学习模块；

判断模块用以给定输入文本，判断给定输入文本的句子中是否包含事件类型，抽取给定输入文本的句子中任意一节点作为根节点，将事件类型节点附加在根节点后作为子节点，若包含事件类型，则该根节点取值为EVTS，将给定输入文本中的句子中所包含的事件连接构成事件图，若不包含事件类型，则该根节点取值为NA，抽取事件结束。

对于给定的输入文本，事件抽取的目的是识别和预测出所包含的事件类型以及相应的论元和充当的角色，为了建模多事件之间的关联性，将给定输入文本中的句子中所包含的多个事件看作是一个整体，并且链接在一起成为一个事件图，如图2所示。

请参阅图2所示，对于给定输入文本的句子，其中句中标注的下划线标记是句中所有的实体提及，是作为模型的已知信息，将这句话中包含的事件元素作为一个整体链接成一张事件图。

具体来说，首先引入了一个特殊地节点作为根节点，将每个事件类型节点附加在根节点之后作为子节点；每个特定事件类型的多个论元被链接为事件类型的子节点，其中这些边被标记为论元在此事件中充当的论元角色。

其中值得注意的是，事件图的根节点并不是一个虚根，它有两个可能的取值：EVTS和NA，如果输入句中不包含任何事件类型，则根节点的取值为NA，抽取事件结束，若包含事件类型，根节点的取值为EVTS，对根节点值的预测是为了首先判断输入的句子中是否包含事件类型。

线性化模块用以基于Seq2Seq序列-序列框架，将事件图进行线性化处理，得到事件图的线性化序列。

线性化处理采用深度优先遍历及宽度优先遍历两种线性化处理方式，同时在事件图中加入实体类型节点，设计调换节点和边的遍历顺序，使得论元角色这条边在论元这个节点之后出现，最终事件图的线性化序列如图2所示。

生成模型及解码模块用以基于事件图的线性化序列，设计基于Transformer 的生成模型及解码算法，该生成模型及解码算法具体方式为：

设定x＝＜x₁,...,x_n＞为给定输入文本的句子，其中x_i表示句子中的第i个单词，i＝1,2...n，同时，设定E＝＜e₁,..e_j..,e_n＞是句子中的实体提及，其中e_i表示句子中的第i个实体提及，i＝1,2..j..n，该实体提及总共包含k个实体提及，k为自然数，其中每个实体提及都包含头实体和实体类型，以此搭建基于 Transformer的生成模型；

基于Transformer的生成模型需要依次解码标记列表y＝＜y₁,...,y_m＞，其中y_i为标记列表的第i个标记，i＝1,2...m，标记y_i的取值为事件类型、事件论元即实体提及、论元角色、实体类型、特殊指针符号中的任意一项。

当生成模型在为特定的事件类型节点生成论元节点的时，生成模型将每个论元的头实体作为论元进行输出，设定Y为输出解的空间，生成模型的目标变成寻找给定输入文本的句子x的节点序列：

则采用基于Transformer的编码器进行编码，采用如下解码器进行解码：

P(y_j|x,y_＜j)＝softmax(g(s_j)) (4)

其中，p、P均为概率，y_＜j为给定第j个位置之前的各节点值，h_i为上下文隐藏向量，Encoder为Transformer的编码器，s_j为通过解码器依次产生的 m个解码符号，Decoder为解码器，y_j为第j个标记。

转换学习模块用以缓解数据的稀疏性，采用预训练好的语言模型BART将基于Transformer的生成模型转化为Encoder-Decoder架构，利用预先训练的语言模型BART事先学习潜在知识如语义信息、语法关系等，进而完成事件抽取结果学习。

解码算法完成后，基于图解析的事件抽取方法，利用依存句法信息对基于Transformer的生成模型解码后结果进行进一步抽取，从而进一步提升本发明的性能，该依存句法信息采用图注意力神经网络对依存图进行编码，将依存图编码层及句子编码层的双重注意力机制进行融合，具体包含：

获取到上下文隐藏向量{h_i,h_i+1,...,h_i+m-1}和句法依存图隐向量 {h′_i,h′_i+1,...,h′_i+m-1}，应用平均池化函数，得到上下文表示h_con和依存图表示 h_syn；

h_con＝pool(h_i,h_i+1,...,h_i+m-1) (5)

h_syn＝pool(h′_i,h′_i+1,...,h′_i+m-1) (6)

其中，pool为池化层，采用门控机制将上下文表示h_con和依存图表示h_syn进行两者特征融合，依存图表示h_syn被融合到上下文表示h_con中，如下公式所示：

其中

是乘积操作，函数g的具体计算方式如下公式所示：

g＝σ(W_g[h_syn；h_con]+b_g) (8)

其中，[h_syn；h_con]是h_con和h_syn的拼接，W_g和b_g是生成模型的参数。

Claims (8)

1.一种基于图解析的事件抽取方法，其特征在于，包含以下步骤：

1)给定输入文本，判断给定输入文本的句子中是否包含事件类型，抽取给定输入文本的句子中任意一节点作为根节点，将事件类型节点附加在根节点后作为子节点，若包含事件类型，则该根节点取值为EVTS，将给定输入文本中的句子中所包含的事件连接构成事件图，若不包含事件类型，则该根节点取值为NA，抽取事件结束；

2)基于Seq2Seq序列-序列框架，将事件图进行线性化处理，得到事件图的线性化序列；

3)基于事件图的线性化序列，设计基于Transformer的生成模型及解码算法，该生成模型及解码算法具体方式为：

设定x＝＜x₁,...,x_n＞为给定输入文本的句子，其中x_i表示句子中的第i个单词，i＝1,2...n，同时，设定E＝＜e₁,..e_j..,e_n＞是句子中的实体提及，其中e_i表示句子中的第i个实体提及，i＝1,2..j..n，该实体提及总共包含k个实体提及，k为自然数，其中每个实体提及都包含头实体和实体类型，以此搭建基于Transformer的生成模型；

基于Transformer的生成模型需要依次解码标记列表y＝＜y₁,...,y_m＞，其中y_i为标记列表的第i个标记，i＝1,2...m，标记y_i的取值为事件类型、事件论元即实体提及、论元角色、实体类型、特殊指针符号中的任意一项；

4)采用预训练的语言模型BART将基于Transformer的生成模型转化为Encoder-Decoder架构，完成事件抽取结果学习。

2.根据权利要求1所述的基于图解析的事件抽取方法，其特征在于，步骤2)中，线性化处理采用深度优先遍历及宽度优先遍历两种线性化处理方式，同时加入实体类型节点，设计调换节点和边的遍历顺序。

3.根据权利要求2所述的基于图解析的事件抽取方法，其特征在于，步骤3)中，当生成模型在为特定的事件类型节点生成论元节点的时，生成模型将每个论元的头实体作为论元进行输出，设定Y为输出解的空间，生成模型的目标变成寻找给定输入文本的句子x的节点序列：

则采用基于Transformer的编码器进行编码，采用如下解码器进行解码：

P(y_j|x,y_＜j)＝soft max(g(s_j))

其中，p、P均为概率，y_＜j为给定第j个位置之前的各节点值，h_i为上下文隐藏向量，Encoder为Transformer的编码器，s_j为通过解码器依次产生的m个解码符号，Decoder为解码器，y_j为第j个标记。

4.根据权利要求3所述的基于图解析的事件抽取方法，其特征在于，解码算法完成后，基于图解析的事件抽取方法，利用依存句法信息对基于Transformer的生成模型解码后结果进行进一步抽取；该依存句法信息采用图注意力神经网络对依存图进行编码，将依存图编码层及句子编码层的双重注意力机制进行融合，具体包含：

获取到上下文隐藏向量{h_i,h_i+1,...,h_i+m-1}和句法依存图隐向量{h′_i,h′_i+1,...,h′_i+m-1}，应用平均池化函数，得到上下文表示h_con和依存图表示h_syn；

h_con＝pool(h_i,h_i+1,...,h_i+m-1)

h_syn＝pool(h′_i,h′_i+1,...,h′_i+m-1)

其中，pool为池化层，采用门控机制将上下文表示h_con和依存图表示h_syn进行两者特征融合，依存图表示h_syn被融合到上下文表示h_con中，如下公式所示：

其中

是乘积操作，函数g的具体计算方式如下公式所示：

g＝σ(W_g[h_syn；h_con]+b_g)

其中，[h_syn；h_con]是h_con和h_syn的拼接，W_g和b_g是生成模型的参数。

5.一种基于图解析的事件抽取系统，其特征在于，包含判断模块、线性化模块、生成模型及解码模块、转换学习模块；

判断模块用以给定输入文本，判断给定输入文本的句子中是否包含事件类型，抽取给定输入文本的句子中任意一节点作为根节点，将事件类型节点附加在根节点后作为子节点，若包含事件类型，则该根节点取值为EVTS，将给定输入文本中的句子中所包含的事件连接构成事件图，若不包含事件类型，则该根节点取值为NA，抽取事件结束；

线性化模块用以基于Seq2Seq序列-序列框架，将事件图进行线性化处理，得到事件图的线性化序列；

生成模型及解码模块用以基于事件图的线性化序列，设计基于Transformer的生成模型及解码算法，该生成模型及解码算法具体方式为：

设定x＝＜x₁,...,x_n＞为给定输入文本的句子，其中x_i表示句子中的第i个单词，i＝1,2...n，同时，设定E＝＜e₁,..e_j..,e_n＞是句子中的实体提及，其中e_i表示句子中的第i个实体提及，i＝1,2..j..n，该实体提及总共包含k个实体提及，k为自然数，其中每个实体提及都包含头实体和实体类型，以此搭建基于Transformer的生成模型；

基于Transformer的生成模型需要依次解码标记列表y＝＜y₁,...,y_m＞，其中y_i为标记列表的第i个标记，i＝1,2...m，标记y_i的取值为事件类型、事件论元即实体提及、论元角色、实体类型、特殊指针符号中的任意一项；

转换学习模块用以采用预训练的语言模型BART将基于Transformer的生成模型转化为Encoder-Decoder架构，完成事件抽取结果学习。

6.根据权利要求5所述的基于图解析的事件抽取系统，其特征在于，线性化模块中，线性化处理采用深度优先遍历及宽度优先遍历两种线性化处理方式，同时加入实体类型节点，设计调换节点和边的遍历顺序。

7.根据权利要求6所述的基于图解析的事件抽取系统，其特征在于，生成模型及解码模块中，当生成模型在为特定的事件类型节点生成论元节点的时，生成模型将每个论元的头实体作为论元进行输出，设定Y为输出解的空间，生成模型的目标变成寻找给定输入文本的句子x的节点序列：

则采用基于Transformer的编码器进行编码，采用如下解码器进行解码：

P(y_j|x,y_＜j)＝soft max(g(s_j))

其中，p、P均为概率，y_＜j为给定第j个位置之前的各节点值，h_i为上下文隐藏向量，Encoder为Transformer的编码器，s_j为通过解码器依次产生的m个解码符号，Decoder为解码器，y_j为第j个标记。

8.根据权利要求7所述的基于图解析的事件抽取系统，其特征在于，解码算法完成后，基于图解析的事件抽取方法，利用依存句法信息对基于Transformer的生成模型解码后结果进行进一步抽取；该依存句法信息采用图注意力神经网络对依存图进行编码，将依存图编码层及句子编码层的双重注意力机制进行融合，具体包含：

获取到上下文隐藏向量{h_i,h_i+1,...,h_i+m-1}和句法依存图隐向量{h′_i,h′_i+1,...,h′_i+m-1}，应用平均池化函数，得到上下文表示h_con和依存图表示h_syn；

h_con＝pool(h_i,h_i+1,...,h_i+m-1)

h_syn＝pool(h′_i,h′_i+1,...,h′_i+m-1)

其中，pool为池化层，采用门控机制将上下文表示h_con和依存图表示h_syn进行两者特征融合，依存图表示h_syn被融合到上下文表示h_con中，如下公式所示：

其中

是乘积操作，函数g的具体计算方式如下公式所示：

g＝σ(W_g[h_syn；h_con]+b_g)

其中，[h_syn；h_con]是h_con和h_syn的拼接，W_g和b_g是生成模型的参数。

Images