CN112507077A - 基于关系图注意力神经网络的事件时序关系识别方法 - Google Patents

Abstract

本发明公开了一种基于关系图注意力神经网络的时序关系识别方法，该方法主要包括以下步骤：首先对事件句进行依存关系分析，获取相关的依存树；然后使用一种图递归构建策略将依存树转化为时序图；随后利用关系图注意力神经网络对时序图进行信息更新，获取时序图中每个节点的隐藏状态；最后从节点隐藏状态集合中提取出有关触发词的隐藏状态和句子表示向量，并将其放入到softmax函数中实现事件时序关系识别。本发明能够有效处理长距离非局部语义信息，捕获融合深层次的隐藏信息，显著提升了事件时序关系识别的准确度。

Description

基于关系图注意力神经网络的事件时序关系识别方法

技术领域

本发明涉及自然语言处理领域，具体涉及一种基于关系图注意力神经网络的事件时序关系识别方法。

背景技术

事件时序关系识别是当前颇具挑战的一个自然语言处理任务，它能够帮助我们细致分析一些错综复杂的数据信息，并推动了许多下游任务的发展，比如信息检索、关系预测等。事件时序关系识别任务旨在探究不同事件句中的不同事件间的时序关系，并采用触发词表示被提及的事件。触发词通常是事件句中的一个或者多个连续的动词。下面是取自TimeBank-Dense语料的一个示例，描述了事件时序关系“BEFORE”,即事件“invite”发生在事件“visit”之前。

事件句1：The main positive for Castro to invite the Pope isinternational,this government is not as closed,as intolerant,as totalitarianas some make it out to be。

事件句2：One of the scenarios widely advanced before the visit is thatthrough the Pope,Cuba,still led by Castro,can begin a more productiverelationship with the world。

较早的事件时序关系识别方法普遍采用机器学习的方法，通过人工标注的句法、词性等特征并结合SVM等模型进行时序关系分类。但是频繁的人工标注造成了时间成本骤增，不适合大规模系统的应用。一些知识库的构建降低了时间成本，但识别性能仍得不到本质的提升。

近几年，深度学习技术发展迅猛，CNN和RNN等模型均在不同任务中取得了不错的效果，一些研究者开始将其运用在事件时序关系识别任务中。通过对事件句进行语义依存分析，然后截取最短依存路径，并利用Bi-LSTM等模型进行表示学习，时序关系识别性能得到较高提升。但是当前的大多方法普遍基于顺序模型，不能有效处理长距离非局部语义信息，容易造成部分重要的深层次隐藏语义信息被丢失遗忘，导致事件时序关系整体识别性能的降低。

发明内容

本发明提供了基于关系图注意力神经网络的事件时序关系识别方法，旨在解决当前较多方法存在的难以有效处理长距离非局部语义信息并遗漏丢失部分重要的深层次隐藏语义信息的问题。

本发明的技术方案如下：

Step1：时序图构建。

首先对事件句对进行语义依存分析，获得两个依存树。针对每个依存树，查找触发词所处位置，并以触发词以起点，递归查找它的相邻节点，直到p跳的相邻节点为止，并保留该阶段内被查找的节点，其中p为递归次数。

为了加强事件句对间的语义联系和长距离分词间的语义表示，后期加入了一些人工构造的边。为了简化操作和提升运算能力，本方法放弃了具体定义的依存关系，使用抽象的关系类型表示分词间的联系，定义的关系类型如下：

Depend-Head类型边：通过依存分析工具获得的边。

Head-Depend类型边：新定义的边，与Depend-Head类型边方向相反。

Self-Loop类型边：新定义的边，该边指向分词本身。

Head-Head类型边：新定义的边，边的两端均为触发词。

根据上述的构建规则，可以得到一个时序图G＝(U，E)，其中，每个节点u_i∈U，每个边(u_i，u_j)∈E。

Step2：时序图学习。

传统的顺序模型不能有效处理图结构数据，本步骤引入关系图注意力神经网络RGAT进行处理，定义每个节点的初始隐藏状态为

每个节点的邻居集合为N(u_i)。对于时序图G中的每个节点u_i，它的第l层的隐藏状态

可以通过下述公式进行计算：

其中，N_r(u_i)表示节点u_i在关系类型r∈R下的邻居节点，

表示第l-1层的节点u_i与节点u_j在关系类型r∈R下的的相关度，

表示处理在关系r∈R下的第l-1层的邻居节点的权重矩阵，

表示第l-1层处理触发词的权重矩阵，R表示关系类型的集合，σ表示激活函数。

不同的邻居节点通常与中心节点存在不同的重要程度，如果对邻居节点按照同等权重进行处理，容易造成一些重要的语义信息被稀释丢失。因此，引入注意力机制对不同的邻居节点进行差异化处理。处于第l层的节点u_i与节点u_j在关系类型r∈R下的注意力系数

的计算方法如下：

其中，a表示一个共享的注意力权重矩阵。

然后，根据上述的注意力系数计算处于第l层的不同节点间的相关度

计算如下：

Step3：时序分类。

每个事件句中均存在对应的触发词，并且触发词通常包含最重要的关于事件的语义信息。因此，首先从隐藏状态集合中提取出触发词的隐藏状态

和

然后事件句s₁和事件句s₂中剩余的隐藏状态信息分别整合为句子表示向量

和

计算如下：

最后，利用前馈神经网络FFNN和softmax函数对上述向量进行计算，预测不同事件间的时序关系，计算如下：

本发明的有益效果是：本发明通过一种时序图构建策略将事件句转化为图结构，并利用关系图注意力神经网络对图结构进行语义学习。不同于传统的顺序模型，该方法能够有效捕获长距离非局部的语义信息，当图节点信息更新时，利用注意力机制对其邻居节点进行不同程度的融合操作，进一步获取深层次的隐藏信息。

附图说明

图1是本发明提出的基于关系图注意力神经网络的事件时序关系识别方法的流程图。

图2是本发明提出的基于关系图注意力神经网络的事件时序关系识别方法中的递归1次的时序图示例。

具体实施方式

为了使技术人员更好的理解本发明，下面将结合附图和具体示例对本发明做进一步的解释，具体详细内容如下：

本发明包括如下步骤：

Step1：时序图构建。

首先对事件句对进行语义依存分析，获得两个依存树。针对每个依存树，查找触发词所处位置，并以触发词以起点，递归查找它的相邻节点，直到p跳的相邻节点为止，并保留该阶段内被查找的节点，其中p为递归次数。

为了加强事件句对间的语义联系和长距离分词间的语义表示，后期加入了一些人工构造的边。为了简化操作和提升运算能力，本发明放弃了具体定义的依存关系，使用抽象的关系类型表示分词间的联系，定义的关系类型包括Depend-Head类型、Head-Depend类型、Self-Loop类型和Head-Head类型。上述示例递归1次的时序图如图2所示。对于触发词visit，它与分词advanced和分词before存在Head-Depend类型的边，与分词is存在Depend-Head类型的边，与触发词invite存在Head-Head类型的边，本身也存在一个Self-Loop类型的边。

Step2：时序图学习。

传统的顺序模型不能有效处理图结构数据，本步骤引入关系图注意力神经网络RGAT进行处理，定义每个节点的初始隐藏状态为

每个节点的邻居集合为N(u_i)。对于时序图G中的每个节点u_i，它的第l层的隐藏状态

可以通过下述公式进行计算：

其中，N_r(u_i)表示节点u_i在关系类型r∈R下的邻居节点，

表示第l-1层的节点u_i与节点u_j在关系类型r∈R下的相关度，

表示处理在关系类型r∈R下的第l-1层的邻居节点的权重矩阵，

表示处理第l-1层触发词t的权重矩阵，σ表示激活函数。

不同的邻居节点通常与中心节点存在不同的重要程度，如果对邻居节点按照同等权重进行处理，容易造成一些重要的语义信息被稀释丢失。因此，引入注意力机制对不同的邻居节点进行差异化处理。处于第l层的节点u_i与节点u_j在关系类型r∈R下的注意力系数

的计算如下：

其中，a表示一个共享的注意力权重矩阵。

然后，根据上述的注意力系数计算处于第l层的不同节点间的相关度

计算如下：

例如根据事件句1和事件句2产生的时序图G中，分词visit在第一层信息更新时，会融合邻居节点advanced、before、is和invite的语义信息，并利用注意力机制计算分词visit与不同邻居节点的相关度，分别为

和

最后根据邻居节点的语义信息和相关度更新中心节点visit的隐藏状态

Step3：时序分类。

每个事件句中均存在对应的触发词，并且触发词通常包含最重要的关于事件的语义信息。因此，首先从隐藏状态集合中提取出触发词的隐藏状态

和

然后将事件句s₁和事件句s₂中剩余的隐藏状态信息分别整合为句子表示向量

和

计算如下所示：

最后，利用前馈神经网络FFNN和softmax函数对上述向量进行计算，预测不同事件间的时序关系，计算如下所示：

例如上述的触发词隐藏状态

和

句子表示向量

和

被放入到softmax函数中预测时序关系，根据结果得知时序关系“BEFORE”的概率最大，所以预测事件“invite”和“visit”的时序关系为“BEFORE”。

实验使用Micro-F1值作为评测标准，并将Cheng(2017)、DBiLSTMs、Bi-LSTM-AM、DSNN等方法作为基准方法，与本发明提出的方法进行性能对比，探究其在TimeBank-Dense语料上的识别性能，实验结果如表1所示。

表1实验对比结果

根据表1的实验结果，本发明提出的方法的识别性能最优。Cheng(2017)、DBiLSTMs和Bi-LSTM-AM方法均对事件句的依存树进行裁剪处理，并利用顺序模型Bi-LSTM进行表示学习，取得了不错的效果。但是它们均不能有效处理长距离非局部语义信息，造成部分重要的深层次隐藏信息被丢失遗忘。DSNN方法额外新增了全局约束，纠正部分错误的信息，但也未能有效解决上述问题。本发明提出的方法通过构建图结构数据并引入关系图注意力神经网络进行表示学习，能够有效解决上述问题，时序关系识别性能得到有效提升。

本发明提出的方法将构建的时序图放入到关系图注意力神经网络RGAT中进行信息更新，不同的网络层数会影响方法的时序关系识别性能。因此，本发明设置了三种层数，探究不同层数对识别性能的影响，实验结果如表2所示。

表2网络层数的影响

根据表2的实验结果，不同的网络层数会影响方法的时序关系识别性能，当网络层数为2时，识别性能达到最优。当网络层数过低时，容易造成捕获范围过窄，导致部分重要的语义信息被丢失遗忘。当网络层数过高时，容易造成捕获范围过大，导致较多噪声信息被错误捕获，造成事件时序关系识别性能降低。

以上结合附图对本发明的具体实施方法进行了详细解释，但是本发明的具体实现方式并不限于此，其他技术人员在本发明基础所做的修改和替换，均在本发明的保护范围之内。

Claims (3)

1.基于关系图注意力神经网络的事件时序关系识别方法，该方法包含如下步骤：

Step1：时序图构建

首先对事件句对进行语义依存分析，获得两个依存树；针对每个依存树，查找触发词所处位置，并以触发词以起点，递归查找它的相邻节点，直到p跳的相邻节点为止，并保留该阶段内被查找的节点，其中p为递归次数；

使用抽象的关系类型表示分词间的联系，定义的关系类型如下：

Depend-Head类型边：通过依存分析工具获得的边；

Head-Depend类型边：与Depend-Head类型边方向相反；

Self-Loop类型边：该边指向分词本身；

Head-Head类型边：该边两端均为触发词；

由此得到一个时序图G＝(U,E)，其中每个节点u_i∈U，每个边(u_i,u_j)∈E；

Step2：时序图学习

定义每个节点的初始隐藏状态为

每个节点的邻居集合为N(u_i)；对于时序图G中的每个节点u_i，计算它的第l层的隐藏状态

利用注意力机制对不同的邻居节点进行差异化处理，以区别不同的邻居节点的权重；

根据注意力机制中的注意力系数计算处于第l层的不同节点间的相关度

Step3：时序分类

首先从隐藏状态集合中提取出触发词的隐藏状态

和

然后将事件句s₁和事件句s₂中剩余的隐藏状态信息分别整合为句子表示向量

和

最后，利用前馈神经网络FFNN和softmax函数对上述句子表示向量进行计算，预测不同事件间的时序关系。

2.根据权利要求1所述的基于关系图注意力神经网络的事件时序关系识别方法，其特征在于：Step2中时序图G中的每个节点u_i的第l层的隐藏状态

计算如下：

其中，N_r(u_i)表示节点u_i在关系类型r∈R下的邻居节点，

表示第l-1层的节点u_i与节点u_j在关系类型r∈R下的相关度，W_r ^l-1表示处理在关系类型r∈R下的第l-1层的邻居节点的权重矩阵，W_t ^l-1表示处理第l-1层触发词t的权重矩阵，R表示关系类型的集合，σ表示激活函数。

3.根据权利要求2所述的基于关系图注意力神经网络的事件时序关系识别方法，其特征在于：Step3中句子表示向量

和

计算如下：

Images