CN114065702A - 一种融合实体关系和事件要素的事件检测方法 - Google Patents

Abstract

本发明公开了一种融合实体关系和事件要素的事件检测方法，包括：预定义实体关系类型和事件要素类型并进行预编码；构造实体关系图，运用预编码的实体关系类型向量修改对应的邻接矩阵，融合实体关系信息；将融合实体关系信息的图输入图卷积神经网络加强句子的特征表示，将融合实体关系的句子表示输入二分类器提取事件触发词；根据抽取的事件触发词构造触发词‑事件要素关系图，以相同的方式融入事件要素信息；将触发词‑事件要素关系图输入图卷积神经网络进行特征学习，将融合事件要素的句子表示输入多分类器识别事件类型；合并抽取的触发词和事件类型，得到最终的事件检测结果。本发明有效解决了事件检测过程中存在的一词多义等歧义性问题。

Description

一种融合实体关系和事件要素的事件检测方法

技术领域

本发明涉及深度学习及自然语言处理技术领域，具体而言涉及一种融合实体关系和事件要素的事件检测方法。

背景技术

事件作为一种信息的表现方式，涵盖了特定时间、特定场合下的一个或多个角色进行一系列动作的信息，而事件抽取作为自然语言处理中的一项基本任务，在信息提取领域中发挥了重要作用。事件抽取旨在在非结构化的自然语言文本中挖掘文本所要表达的主要事件并以结构化的形式呈现，ACE会议定义的事件抽取任务包括了事件检测和事件成员识别两个任务，事件检测又进一步划分为触发词抽取和事件类型识别两个子任务，而触发词又是句子中表示事件发生的核心词。因此，事件检测的性能在一定程度上直接影响着事件抽取的效果。

目前的事件检测任务主要被当作序列标注问题来解决，对输入文本进行分句、分词操作并辅以BIO序列标注的方法对数据进行预处理，接着运用长短期记忆网络等循环神经网络融合上下文的语义特征，最后接入CRF进行序列标签的预测来识别触发词和事件类型，例如，专利号为CN113157859A的发明中提及的一种基于上位概念信息的事件检测方法。这一方法在事件检测任务上取得了一定的效果，但仍然存在着一些问题，简单的融合上下文语义信息并不能有效地解决一词多义等歧义性问题。

例如对于句子“Mohamad fired Anwar,his former protégé,in 1998.”,句中的“fire”一词同时有着解雇和开火的多义性，事件检测系统可能会将该事件识别为“Attack”，而不是正确的“End-position”。针对这一问题，已有的一些研究通过融合依存句法特征来强化特征表示，从而在一定程度上缓解了歧义性问题。专利号为CN113111184A的发明中提及了基于显式事件结构知识增强的事件检测方法及终端设备，根据包括事件类型、事件触发词、事件论元角色和事件中的核心元素的事件结构构建事件背景知识图，实现对事件结构显式地构建事件检测模型；将事件背景知识图中的事件结构的知识与输入句子进行动态知识匹配，构建属于所述输入句子的包含高度相关的事件背景知识的子图；对所述子图进行过滤和编码，并通过图卷积计算得到包含事件结构的知识的信息的图表示；将所述包含事件结构的知识的信息的图表示输入事件检测分类器中，确定事件触发词的类别，从而确定所述输入句子对应的事件类型。该发明提升了歧义触发词和生僻触发词的检测准确率和召回率，从而提升事件触发词的检测效果。但是简单的依存句法特征无法捕获长距离的依赖关系，而且依存句法树的构造融入了一些对事件检测无关的依存关系，弱化了重要依存关系的比重。另外，除了依存句法信息外，在自然语言处理这一大框架任务中还会产生各种其他语义信息，包括实体关系、事件要素信息等等，目前的一些方法很少能够挖掘这些语义信息和事件检测之间的关联性。除此之外，融合语义信息的方式也很重要，目前大多数模型都通过简单的向量拼接进行语义信息的融合，未能充分利用不同神经网络模型的特点选择更恰当的特征融合方式。

发明内容

本发明针对现有技术中的不足，提供一种融合实体关系和事件要素的事件检测方法，在事件检测任务中融入了实体关系和事件要素信息，将事件检测任务与其他自然语言处理子任务联系起来，充分利用了其他子任务的有效成果，有效解决了事件检测过程中存在的一词多义等歧义性问题。

为实现上述目的，本发明采用以下技术方案：

本发明实施例提出了一种融合实体关系和事件要素的事件检测方法，所述事件检测方法包括以下步骤：

S1，对待检测语料进行分句、分词以及编码处理，同时对实体关系类型和事件要素类型进行编码；

S2，根据实体关系构造实体关系图，运用预编码的实体关系类型向量修改对应的邻接矩阵，融合实体关系信息；

S3，将句子表示、实体关系图和实体关系类型向量输入第一图卷积神经网络，得到融合了实体关系的句子表示；将融合实体关系的句子表示输入二分类器提取得到事件触发词；

S4，根据抽取的事件触发词构造触发词-事件要素关系图，运用事件要素类型向量值修改对应的邻接矩阵，融入事件要素信息；

S5，将句子表示、触发词-事件要素关系图和事件要素类型向量输入第二图卷积神经网络进行特征学习，得到融合了事件要素的句子表示；将融合事件要素的句子表示输入多分类器识别事件类型；

S6，合并抽取的触发词和事件类型，得到最终的事件检测结果。

进一步地，步骤S1中，所述对待检测语料进行分句、分词以及编码处理，同时对实体关系类型和事件要素类型进行编码的过程包括以下步骤：

步骤S101，针对待检测语料，运用分句、分词、命名实体识别工具对其进行预处理并获取给定句子的词向量、位置向量和片段向量，三者求和作为BERT模型的输入，对句子进行预编码，得到句子表示H＝[h₁,h₂,…,h_n]；

步骤S102，预先定义语料中所有的实体关系类型和事件要素类型，运用word2vec工具对其进行编码，得到对应的实体关系类型特征向量和事件要素类型特征向量。

进一步地，步骤S2中，所述根据实体关系构造实体关系图的过程包括以下步骤：

运用命名实体识别和实体关系抽取工具得到语料的实体关系信息，以一个句子中的每个词为节点v，在包含关系的两个实体间进行连接得到边e；针对每个节点构造自环边，构建句子级实体关系图g＝[v，e]。

进一步地，步骤S2中，所述融合实体关系信息的过程包括以下步骤：

根据实体关系图得到对应的邻接矩阵A；

根据句子中存在的实体关系类型向量arg，将邻接矩阵中对应处的数值改写为对应的实体关系类型的向量值得到实体关系矩阵M；实体关系类型向量arg∈R^m×1，表示为arg＝[r₁,r₂,…r_m]^T，r_i为实体关系类型的向量值，m为句子中存在的实体关系类型数。

进一步地，步骤S3中，将句子表示、实体关系图和实体关系类型向量输入第一图卷积神经网络，得到融合了实体关系的句子表示的过程包括以下步骤：

将句子表示、句子级实体关系图和实体关系类型向量输入图卷积神经网络，根据句子表示得到第一层输入H⁰＝X，X∈R^n×d；

运用多层图卷积神经网络通过以下公式进行编码，将实体间的关系以及实体关系类型信息融入各个节点之中，增强特征表示：

H^l+1＝σ(MH^lW^l)

其中，M为实体关系矩阵，H^l为上一层的输出，W^l为第l层的权重参数矩阵，σ()为非线性激活函数；

由初始句子向量H⁰和经过图卷积神经网络之后的句子向量H^l求和得到融合了实体关系的的句子向量H，即H＝H⁰+H^l。

进一步地，步骤S3中，将融合实体关系的句子表示输入二分类器提取得到事件触发词的过程包括以下步骤：

将经过特征表示的文本输入二分类器，对分类器的输出结果进行归一化计算，计算每个词被判定为是触发词和判定为非触发词的概率，抽取触发词，计算公式为：

其中，H_i为第i个词的输出，θ为模型中的参数，T表示类型总数，P(t|H_i)表示第i个词被划分为第t类的概率。

进一步地，步骤S4中，根据抽取的事件触发词构造触发词-事件要素关系图的过程包括以下步骤：

以抽取的触发词为基础，运用事件要素抽取工具得到事件要素信息，以步骤S3中的触发词为根节点V，将各个事件要素子节点与根节点想连得到边E；对每个节点构造自环边，构建触发词-事件要素关系图G＝[V，E]。

进一步地，步骤S4中，运用事件要素类型向量值修改对应的邻接矩阵，融入事件要素信息的过程包括以下步骤：

根据触发词-事件要素关系图得到邻接矩阵B，并且根据该句中存在的事件要素类别向量ARG，将邻接矩阵中对应处的数值改写为对应的事件要素类型向量值得到触发词-事件要素关系矩阵N；事件要素类型向量ARG∈R^n×1，表示为ARG＝[R₁,0,R₃,…，0，R_n]^T，R_i为句子表示中对应位置的事件要素向量值，0代表该词非事件要素，n为句子长度。

进一步地，步骤S5中，将句子表示、触发词-事件要素关系图和事件要素类型向量输入第二图卷积神经网络进行特征学习，得到融合了事件要素的句子表示的过程包括以下步骤：

将句子表示、触发词-事件要素关系图和事件要素类型向量输入图卷积神经网络，同样运用多层图卷积神经网络通过以下公式进行编码，得到融合了事件要素的文本表示：

H^l+1＝σ(NH^lW^l)

其中，N为事件要素矩阵，H^l为上一层的输出，W^l为第l层的权重参数矩阵，σ()为非线性激活函数。

进一步地，步骤S5中，将融合事件要素的句子表示输入多分类器识别事件类型的过程包括以下步骤：

将经过特征表示的文本输入多分类器，除了事件类型外，增加一个NA类表示非触发词类型，对分类器的输出结果进行归一化计算，计算每种类型的概率值，取概率值最大的事件类型作为事件类型检测的结果。

本发明的有益效果是：

(1)本发明在事件检测任务中融入了实体关系和事件要素信息，将事件检测任务与其他自然语言处理子任务联系起来，充分利用了其他子任务的有效成果。

(2)将触发词抽取任务得到的触发词输出到事件类型识别任务中构造触发词-事件要素关系图作为图卷积神经网络的输入，增强了触发词的特征表示。

(3)运用图卷积神经网络的特点进行语义信息融合，根据实体关系类型向量和事件要素类型向量修改邻接矩阵得到了实体关系矩阵和触发词-事件要素关系矩阵，从而用更适合图卷积神经网络的方式实现信息的融合。

附图说明

图1是本发明实施例的融合实体关系和事件要素的事件检测方法流程图。

图2为本发明实施例的事件检测方法的模型架构图。

图3为本发明实施例的事件检测方法的实体关系图构建过程示意图。

图4为本发明实施例的事件检测方法的融合实体关系信息过程示意图。

图5为本发明实施例的事件检测方法的触发词-事件要素关系图构建过程示意图。

图6为本发明实施例的事件检测方法的融合事件要素信息过程示意图。

具体实施方式

现在结合附图对本发明作进一步详细的说明。

需要注意的是，发明中所引用的如“上”、“下”、“左”、“右”、“前”、“后”等的用语，亦仅为便于叙述的明了，而非用以限定本发明可实施的范围，其相对关系的改变或调整，在无实质变更技术内容下，当亦视为本发明可实施的范畴。

图1是本发明实施例的融合实体关系和事件要素的事件检测方法流程图。参见图1和图2，该事件检测方法包括以下步骤：

S1，对待检测语料进行分句、分词以及编码处理，同时对实体关系类型和事件要素类型进行编码。

S2，根据实体关系构造实体关系图，运用预编码的实体关系类型向量修改对应的邻接矩阵，融合实体关系信息。

S3，将句子表示、实体关系图和实体关系类型向量输入第一图卷积神经网络，得到融合了实体关系的句子表示；将融合实体关系的句子表示输入二分类器提取得到事件触发词。

S4，根据抽取的事件触发词构造触发词-事件要素关系图，运用事件要素类型向量值修改对应的邻接矩阵，融入事件要素信息。

S5，将句子表示、触发词-事件要素关系图和事件要素类型向量输入第二图卷积神经网络进行特征学习，得到融合了事件要素的句子表示；将融合事件要素的句子表示输入多分类器识别事件类型。

S6，合并抽取的触发词和事件类型，得到最终的事件检测结果。

本实施例以ACE2005数据集作为实例对前述检测方法进行详细阐述。

一、对待检测语料进行预处理

待检测语料由两部分组成并依此将步骤S1划分为两个子步骤：

步骤S101、针对文档级文本数据，运用分句、分词、命名实体识别工具对其进行预处理并获取给定句子的词向量、位置向量和片段向量，三者求和作为BERT模型的输入。

步骤S102、预先定义语料中所有的实体关系类型和事件要素类型，运用word2vec工具对其进行编码，得到对应的实体关系类型特征向量和事件要素类型特征向量。

将步骤S101得到的句子的词向量、位置向量和片段向量求和并输入BERT预训练模型进行编码，得到句子表示H＝[h₁,h₂,…,h_n]。BERT模型通过堆叠Transformer子结构在大规模语料上进行双向的预训练从而充分融合了上下文动态语义信息。

二、融合实体关系信息

获取ACE2005数据集中标注的实体关系信息，以每个实体为节点v，连接具有实体关系的两个实体形成边v，特别的，为了保留节点自身的特征向量，对每个节点构造自环边，构建实体关系图g＝[v,e]。图3显示了例句及其对应的实体关系图。

根据实体关系图得到对应的邻接矩阵，并且根据该句中存在的实体关系类型向量arg＝[r₁,r₂,…]，将邻接矩阵中对应处的数值改写为对应的实体关系类型的向量值得到实体关系矩阵M，从而融入实体关系信息。实体关系类型向量arg∈R^m×1，表示为arg＝[r₁,r₂,…r_m]^T，r_i为实体关系类型的向量值，m为句子中存在的实体关系类型数。图4显示了融入实体关系信息的过程。

三、提取得到事件触发词

使用多层图卷积神经网络对融合实体关系的图进行编码：

H^l+1＝σ(MH^lW^l)

其中,M为实体关系矩阵,H^l为上一层的输出,W^l为第l层的权重参数矩阵,σ()为非线性激活函数。通过该公式能够将实体间的关系以及实体关系类型信息融入各个节点之中，增强特征表示。需要注意的是，最终的句子向量由初始句子向量和经过图卷积神经网络之后的句子向量求和得到，即H＝H⁰+H^l。

将经过特征融合的句子向量输入二分类器，对分类器的输出结果运用以下公式进行归一化计算，计算每个词被判定为是触发词和判定为非触发词的概率：

其中，H_i为第i个词的输出，θ为模型中的参数，T表示类型总数，P(t|H_i)表示第i个词被划分为第t类的概率。

四、融入事件要素信息

以ACE2005数据集标注的事件要素得到事件要素信息，以上一步骤抽取的触发词为根节点V，将各个事件要素子节点与根节点想连得到边E，特别的，为了保留节点自身的特征向量，对每个节点构造自环边，从而构建触发词-事件要素关系图G＝[V，E]。图5显示了触发词-事件要素关系图的构建过程。

根据触发词-事件要素关系图得到邻接矩阵A，并且根据该句中存在的事件要素类型向量ARG,将邻接矩阵中对应处的数值改写为对应的事件要素类型向量值得到触发词-事件要素关系矩阵N。事件要素类型向量ARG∈R^n×1，表示为ARG＝[R₁,0,R₃,…，0，R_n]^T，R_i为句子表示中对应位置的事件要素向量值，0代表该词非事件要素，n为句子长度。图6显示了融合事件要素信息的过程。

五、识别事件类型

使用多层图卷积神经网络对融合事件要素的图进行编码：

H^l+1＝σ(NH^lW^l)

其中，N为事件要素矩阵。通过该公式将事件要素、事件要素类型信息和触发词联系起来，增强触发词的特征表示。

将经过特征表示的文本输入多分类器，特别的，除了事件类型外，增加一个NA类表示非触发词类型，对分类器的输出结果运用以下公式进行归一化计算，计算每种类型的概率值：

取概率值最大的事件类型作为事件类型检测的结果。

六、合并抽取的触发词和事件类型

本实施例通过研究事件检测语料，发现文本数据中的实体关系和事件要素与触发词之间存在着紧密的联系，以“Mohamad fired Anwar,his former protégé,in 1998.”为例，该句中的两个实体“Mohamad”和“Anwar”之间存在“Lasting-Personal”关系，即“以前的人事关系”，同时，根据“his former protégé”可以得到其角色信息是“Position”的事件要素信息，在融入了这样两种实体关系和事件要素信息的事件检测系统中可以更好的抽取出触发词“fire”，并将其分类为“End-Position”，而不是“Attack”。基于此，本发明构建了句子级实体关系图和触发词-事件要素关系图作为图卷积神经网络的输入，并且对实体关系类型和事件要素类型进行编码，特别的，考虑到图卷积神经网络的特点，将这些编码结果以邻接矩阵的方式融入图卷积神经网络模型中，从而实现融合了实体关系和事件要素的事件检测方法。该发明中的句子编码通过BERT预训练模型实现来增强上下文语义联系。

以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。

Claims (10)

1.一种融合实体关系和事件要素的事件检测方法，其特征在于，所述事件检测方法包括以下步骤：

S1，对待检测语料进行分句、分词以及编码处理，同时对实体关系类型和事件要素类型进行编码；

S2，根据实体关系构造实体关系图，运用预编码的实体关系类型向量修改对应的邻接矩阵，融合实体关系信息；

S3，将句子表示、实体关系图和实体关系类型向量输入第一图卷积神经网络，得到融合了实体关系的句子表示；将融合实体关系的句子表示输入二分类器提取得到事件触发词；

S4，根据抽取的事件触发词构造触发词-事件要素关系图，运用事件要素类型向量值修改对应的邻接矩阵，融入事件要素信息；

S5，将句子表示、触发词-事件要素关系图和事件要素类型向量输入第二图卷积神经网络进行特征学习，得到融合了事件要素的句子表示；将融合事件要素的句子表示输入多分类器识别事件类型；

S6，合并抽取的触发词和事件类型，得到最终的事件检测结果。

2.根据权利要求1所述的融合实体关系和事件要素的事件检测方法，其特征在于，步骤S1中，所述对待检测语料进行分句、分词以及编码处理，同时对实体关系类型和事件要素类型进行编码的过程包括以下步骤：

步骤S101，针对待检测语料，运用分句、分词、命名实体识别工具对其进行预处理并获取给定句子的词向量、位置向量和片段向量，三者求和作为BERT模型的输入，对句子进行预编码，得到句子表示H＝[h₁,h₂,…,h_n]；

步骤S102，预先定义语料中所有的实体关系类型和事件要素类型，运用word2vec工具对其进行编码，得到对应的实体关系类型特征向量和事件要素类型特征向量。

3.根据权利要求1所述的融合实体关系和事件要素的事件检测方法，其特征在于，步骤S2中，所述根据实体关系构造实体关系图的过程包括以下步骤：

运用命名实体识别和实体关系抽取工具得到语料的实体关系信息，以一个句子中的每个词为节点v，在包含关系的两个实体间进行连接得到边e；针对每个节点构造自环边，构建句子级实体关系图g＝[v，e]。

4.根据权利要求3所述的融合实体关系和事件要素的事件检测方法，其特征在于，步骤S2中，所述融合实体关系信息的过程包括以下步骤：

根据实体关系图得到对应的邻接矩阵A；

根据句子中存在的实体关系类型向量arg，将邻接矩阵中对应处的数值改写为对应的实体关系类型的向量值得到实体关系矩阵M；实体关系类型向量arg∈R^m×1，表示为arg＝[r₁,r₂,…r_m]^T，r_i为实体关系类型的向量值，m为句子中存在的实体关系类型数。

5.根据权利要求1所述的融合实体关系和事件要素的事件检测方法，其特征在于，步骤S3中，将句子表示、实体关系图和实体关系类型向量输入第一图卷积神经网络，得到融合了实体关系的句子表示的过程包括以下步骤：

将句子表示、句子级实体关系图和实体关系类型向量输入图卷积神经网络，根据句子表示得到第一层输入H⁰＝X，X∈R^n×d；

运用多层图卷积神经网络通过以下公式进行编码，将实体间的关系以及实体关系类型信息融入各个节点之中，增强特征表示：

H^l+1＝σ(MH^lW^l)

其中，M为实体关系矩阵，H^l为上一层的输出，W^l为第l层的权重参数矩阵，σ()为非线性激活函数；

由初始句子向量H⁰和经过图卷积神经网络之后的句子向量H^l求和得到融合了实体关系的的句子向量H，即H＝H⁰+H^l。

6.根据权利要求5所述的融合实体关系和事件要素的事件检测方法，其特征在于，步骤S3中，将融合实体关系的句子表示输入二分类器提取得到事件触发词的过程包括以下步骤：

将经过特征表示的文本输入二分类器，对分类器的输出结果进行归一化计算，计算每个词被判定为是触发词和判定为非触发词的概率，抽取触发词，计算公式为：

其中，H_i为第i个词的输出，θ为模型中的参数，T表示类型总数，P(t|H_i)表示第i个词被划分为第t类的概率。

7.根据权利要求1所述的融合实体关系和事件要素的事件检测方法，其特征在于，步骤S4中，根据抽取的事件触发词构造触发词-事件要素关系图的过程包括以下步骤：

以抽取的触发词为基础，运用事件要素抽取工具得到事件要素信息，以步骤S3中的触发词为根节点V，将各个事件要素子节点与根节点想连得到边E；对每个节点构造自环边，构建触发词-事件要素关系图G＝[V，E]。

8.根据权利要求7所述的融合实体关系和事件要素的事件检测方法，其特征在于，步骤S4中，运用事件要素类型向量值修改对应的邻接矩阵，融入事件要素信息的过程包括以下步骤：

根据触发词-事件要素关系图得到邻接矩阵B，并且根据该句中存在的事件要素类别向量ARG，将邻接矩阵中对应处的数值改写为对应的事件要素类型向量值得到触发词-事件要素关系矩阵N；事件要素类型向量ARG∈R^n×1，表示为ARG＝[R₁,0,R₃,…，0，R_n]^T，R_i为句子表示中对应位置的事件要素向量值，0代表该词非事件要素，n为句子长度。

9.根据权利要求1所述的融合实体关系和事件要素的事件检测方法，其特征在于，步骤S5中，将句子表示、触发词-事件要素关系图和事件要素类型向量输入第二图卷积神经网络进行特征学习，得到融合了事件要素的句子表示的过程包括以下步骤：

将句子表示、触发词-事件要素关系图和事件要素类型向量输入图卷积神经网络，同样运用多层图卷积神经网络通过以下公式进行编码，得到融合了事件要素的文本表示：

H^l+1＝σ(NH^lW^l)

其中，N为事件要素矩阵，H^l为上一层的输出，W^l为第l层的权重参数矩阵，σ()为非线性激活函数。

10.根据权利要求1所述的融合实体关系和事件要素的事件检测方法，其特征在于，步骤S5中，将融合事件要素的句子表示输入多分类器识别事件类型的过程包括以下步骤：

将经过特征表示的文本输入多分类器，除了事件类型外，增加一个NA类表示非触发词类型，对分类器的输出结果进行归一化计算，计算每种类型的概率值，取概率值最大的事件类型作为事件类型检测的结果。

Images