CN116719974B - 基于依存关系结构增强的事件检测方法及系统 - Google Patents

Abstract

本发明公开了一种基于依存关系结构增强的事件检测方法及系统，该方法包括：构建词语依存图，并基于词语依存图将其中的依存边视为新的依存关系结点，共享同一个词语结点的依存关系结点之间建立关联，获取词语结点嵌入表示和依存结点嵌入表示，构建依存关系图；借助依存关系类型，提高核心论元及其对应依存结点的层级，强化它们在图中的地位；利用二元图注意力网络，使词语依存图和依存关系图中结点嵌入表示进行迭代交互对词语结点嵌入表示和依存关系结点嵌入表示进行更新，能够更好地利用2个图中边的有向性语义，最后将所得结果用于事件检测，进而提高后续事件检测的准确性。

Description

基于依存关系结构增强的事件检测方法及系统

技术领域

本发明涉及信息抽取技术领域，尤其涉及一种基于依存关系结构增强的事件检测方法及系统。

背景技术

事件检测旨在识别输入语句中是否包含事件以及事件的类型。现有事件检测存在3点不足。第一，仅仅使用了词语依存结构和依存关系信息，未探讨依存关系之间的结构；第二，对于依存边的权重计算，要么不考虑依存边的类型或不考虑依存边的方向，要么只采用当前结点和其邻居结点的词语语义嵌入表示；最后，事件论元的层级未被显式利用。

发明内容

鉴于上述状况，本发明的主要目的是为提出了一种基于依存关系结构增强的事件检测方法及系统，以解决上述技术问题。

本发明提供一种基于依存关系结构增强的事件检测方法，包括以下步骤：

步骤1、构建词语依存图，基于词语依存图将其中的依存边视为新的依存关系结点，共享同一个词语结点的依存关系结点之间建立关联，构建依存关系图；

步骤2、采用预训练语言模型对语句的词语进行向量化，得到每个词对应的词向量；在词语依存图中，将虚拟的根结点删除，每个结点与其父结点之间的依存关系作为该结点的依存关系，从随机初始化生成的向量表中查找获取依存关系的向量表示；

步骤3、利用双向长短期记忆网络分别捕获语句中词和词语依存图中依存关系的向量表示的序列信息，以得到词语结点嵌入表示和依存结点嵌入表示；

步骤4、根据词语之间的关系类型，提高核心论元及其对应依存结点在词语依存图和依存关系图中的层级，强化核心论元在词语依存图和依存关系图中的地位；

步骤5、以词语结点嵌入表示和依存关系结点嵌入表示作为输入，利用二元图注意力网络，使词语依存图和依存关系图中结点嵌入表示进行迭代交互对词语结点嵌入表示和依存关系结点嵌入表示进行更新；

步骤6、将更新后的词语结点嵌入表示和依存关系结点嵌入表示进行拼接，得到每个词语的最终嵌入表示，利用最终嵌入表示进行事件检测。

本发明还提供一种基于依存关系结构增强的事件检测系统，所述系统包括：

编码层：用于采用预训练语言模型对语句的词语进行向量化，得到每个词对应的词向量；在词语依存图中，将虚拟的根结点删除，每个结点与其父结点之间的依存关系作为该结点的依存关系，从随机初始化生成的向量表中查找获取依存关系的向量表示；

Bi-LSTM层：用于利用双向长短期记忆网络分别捕获语句中词和词语依存图中依存关系的向量表示的序列信息，以得到词语结点嵌入表示和依存结点嵌入表示；

图结构构建模块：用于构建词语依存图，基于词语依存图将其中的依存边视为新的依存关系结点，共享同一个词语结点的依存关系结点之间建立关联，构建依存关系图；

核心论元调整模块：用于根据词语之间的关系类型，提高核心论元及其对应依存结点在词语依存图和依存关系图中的层级；

二元图注意力网络模块：用于以词语结点嵌入表示和依存关系结点嵌入表示作为输入，利用二元图注意力网络，使词语依存图和依存关系图中结点嵌入表示进行迭代交互对词语结点嵌入表示和依存关系结点嵌入表示进行更新，并将更新后的词语结点嵌入表示和依存关系结点嵌入表示进行拼接，得到每个词语的最终嵌入表示，利用最终嵌入表示进行事件检测。

与现有技术相比，本发明具备以下有益效果：

1. 本发明构建了依存关系图，使得依存关系可作为结点在图神经网络模型中更新其嵌入表示，捕获依存关系之间的结构信息。

2. 本发明强化了核心论元地位，显式发挥核心论元层级的作用。

3. 本发明设计了二元图注意力网络，使得2个图中结点嵌入表示可以迭代交互，且能够更好地利用2个图中边的有向性语义。

附图说明

图1为本发明提出的一种基于依存关系结构增强的事件检测方法的流程图；

图2为本发明提出的一种基于依存关系结构增强的事件检测系统的流程框架图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

参照下面的描述和附图，将清楚本发明的实施例的这些和其他方面。在这些描述和附图中，具体公开了本发明的实施例中的一些特定实施方式，来表示实施本发明的实施例的原理的一些方式，但是应当理解，本发明的实施例的范围不受此限制。

请参阅图1，本发明实施例提供了一种基于依存关系结构增强的事件检测方法，所述方法包括如下步骤：

步骤1、构建词语依存图，基于词语依存图将其中的依存边视为新的依存关系结点，共享同一个词语结点的依存关系结点之间建立关联，构建依存关系图；

进一步的，词语依存图和依存关系图的构建步骤包括：

步骤1.1、利用句法工具进行句法依存解析，得到词语依存树，将树中的边调整为双向，不同方向的依存边反映不同的含义，得到词语依存图。

步骤1.2、将词语依存图中的连边作为新的依存关系结点，共享同一个词语结点的依存关系结点之间建立关联，构建依存关系图。

步骤1.3、对于词语依存图中语句头结点(由解析工具解析的头结点)，其与根结点(ROOT)的依存关系也纳入构建范围，使得词语依存图中的结点数量与依存关系图中的相同。

步骤2、采用预训练语言模型对语句的词语进行向量化，得到每个词对应的词向量；在词语依存图中，将虚拟的根结点删除，每个结点与其父结点之间的依存关系作为该结点的依存关系，从随机初始化生成的向量表中查找获取依存关系的向量表示；

步骤3、利用双向长短期记忆网络分别捕获语句中词和词语依存图中依存关系的向量表示的序列信息，以得到词语结点嵌入表示和依存结点嵌入表示；

获得词语结点嵌入表示和依存结点嵌入表示的具体方法为：

对于每个词语的语义嵌入表，首先利用一个前向LSTM编码/>至/>的上下文信息，然后再采用一个后向LSTM编码/>至/>的上下文信息/>，具体如下：

；

；

最后，将和/>进行拼接作为词语/>经过Bi-LSTM后的语义嵌入表示，记为，/>表示词语结点嵌入表示。其中，/>表示拼接操作。同样，依存关系的初始向量也经过一个Bi-LSTM层，使得依存关系能够捕获一定的序列语义，/>输出的嵌入表示记为/>，/>表示依存结点嵌入表示。

步骤4、根据词语之间的关系类型，提高核心论元及其对应依存结点在词语依存图和依存关系图中的层级，强化核心论元在词语依存图和依存关系图中的地位；

进一步的，核心论元调整步骤包括：

步骤4.1、由于大部分影响事件类型判断的论元充当主语和宾语，根据充当主语和宾语的论元在影响事件类型判断的比例，将依存关系类型为主谓关系和动宾关系的论元定义为核心论元。

步骤4.2、将词语依存图中核心论元的层级提升至与其依存的父结点相同，同时依存关系图中的依存结点做相应调整。

步骤4.3、基于并列词语或语句具有相同地位，提升依存关系类型为并列关系的词语和从句的层级。

步骤5、以词语结点嵌入表示和依存关系结点嵌入表示作为输入，利用二元图注意力网络，使词语依存图和依存关系图中结点嵌入表示进行迭代交互对词语结点嵌入表示和依存关系结点嵌入表示进行更新;

进一步的，二元图注意力网络包括用于编码依存关系之间的结构信息的依存关系图注意力网络和编码词语之间的依存结构信息的词语依存图注意力网络。

优选的，利用二元图注意力网络，使词语依存图和依存关系图中结点嵌入表示进行迭代交互对依存关系结点嵌入表示进行更新存在如下关系式：

；

其中，表示基于原始图注意力方法，依存关系图注意力网络中添加结点层级后依存结点/>在/>层的嵌入表示，/>表示与/>结点直接相连的结点集合，/>表示注意力的头数，表示非线性函数，/>表示第/>层第/>头注意力时的权重矩阵，/>，/>为自然数，表示结点/>的层级，/>表示依存关系图中依存结点/>在/>层的最新嵌入表示，/>表示基于原始图注意力方法，依存关系图注意力网络中添加结点层级后第/>层第/>头的依存关系图注意力系数，第/>层的依存关系图注意力系数在如下关系式：

；

其中，LeakyReLU为激活函数，表示转置操作，/>表示权重矩阵，/>表示权重向量，/>表示词语依存图中词语结点/>在/>层输出的最新嵌入表示，/>表示词语依存图中词语结点/>在/>层输出的最新嵌入表示，/>表示依存关系图中依存结点/>在/>层的最新嵌入表示。

优选的，利用二元图注意力网络，使词语依存图和依存关系图中结点嵌入表示进行迭代交互对词语结点嵌入表示进行更新存在如下关系式：

；

其中，表示词语依存图中词语结点/>在/>层的嵌入表示，/>表示词语依存图中词语结点/>在/>层输出的最新嵌入表示，/>表示权重矩阵，/>表示词语依存图注意力网络中添加结点层级后第/>层的词语依存图注意力系数，第/>层的词语依存图注意力系数在如下关系式：

；

其中，表示依存关系图中依存结点/>在/>层的最新嵌入表示，/>表示依存关系图中依存结点/>在/>层的最新嵌入表示，/>表示词语依存图中词语结点/>在/>层输出的最新嵌入表示。

步骤6、将更新后的词语结点嵌入表示和依存关系结点嵌入表示进行拼接，得到每个词语的最终嵌入表示，利用最终嵌入表示进行事件检测。

优选的，将更新后的词语结点嵌入表示和依存关系结点嵌入表示进行拼接，得到每个词语的最终嵌入表示存在如下关系式：

；

其中，表示词语/>的最终嵌入表示，/>表示拼接操作/>表示词语/>的最终嵌入表示，/>表示词语依存图中词语结点/>经/>层最终输出的更新后的嵌入表示，/>表示依存关系图中依存结点/>经/>层最终输出的更新后的嵌入表示。

进一步的，二元图注意力网络模块：用于以词语结点嵌入表示和依存关系结点嵌入表示作为输入，利用二元图注意力网络，使词语依存图和依存关系图中结点嵌入表示进行迭代交互对词语结点嵌入表示和依存关系结点嵌入表示进行更新，并将更新后的词语结点嵌入表示和依存关系结点嵌入表示进行拼接，得到每个词语的最终嵌入表示，利用最终嵌入表示进行事件检测。

在执行上述步骤1至步骤6中，对应的训练方法包括如下训练步骤：

给定黄金标签；

词语的最终嵌入表示输入全连接网络；

采用softmax函数计算词语的最终嵌入表示在所有事件类型标签上的概率分布，概率分布表达式为：

；

其中，表示概率分布，/>表示权重矩阵，/>表示偏置项，/>表示词语/>在参数/>下的最终标签输出，/>表示词语/>的最终嵌入表示；

采用带权重的交叉熵损失函数作为目标函数计算黄金标签与最终的概率分布的损失值，通过最小化损失以提高输出最终的事件嵌入表示的准确性，目标函数表达式为：

；

其中，表示目标函数，/>为语句数量，/>为语句/>包含的词语数，/>为词语/>所属类别的权重。

本发明根据概率分布实现主题事件抽取，在抽取完成后还可以采用精确率、召回率、F1值作为评价指标，以评价文档级事件抽取的效果；

；

其中，Precision表示精确率，Recall表示召回率，TP表示被预测为正且真实值为正的样本数，FP表示被预测为正但真实值为负的样本数，FN为被预测为负但真实值为正的样本数。

请参阅图2，本发明还提出一种基于依存关系结构增强的事件检测系统，所述系统包括：

编码层：用于采用预训练语言模型对语句的词语进行向量化，得到每个词对应的词向量；在词语依存图中，将虚拟的根结点删除，每个结点与其父结点之间的依存关系作为该结点的依存关系，从随机初始化生成的向量表中查找获取依存关系的向量表示；

Bi-LSTM层：用于利用双向长短期记忆网络分别捕获语句中词和词语依存图中依存关系的向量表示的序列信息，以得到词语结点嵌入表示和依存结点嵌入表示；

图结构构建模块：用于构建词语依存图，基于词语依存图将其中的依存边视为新的依存关系结点，共享同一个词语结点的依存关系结点之间建立关联，构建依存关系图；

核心论元调整模块：用于根据词语之间的关系类型，提高核心论元及其对应依存结点在词语依存图和依存关系图中的层级。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、 “示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明的保护范围应以所附权利要求为准。

Claims (7)

1.一种基于依存关系结构增强的事件检测方法，其特征在于，包括以下步骤：

步骤1、构建词语依存图，基于词语依存图将其中的依存边视为新的依存关系结点，共享同一个词语结点的依存关系结点之间建立关联，构建依存关系图；

步骤2、采用预训练语言模型对语句的词语进行向量化，得到每个词对应的词向量；在词语依存图中，将虚拟的根结点删除，每个结点与其父结点之间的依存关系作为该结点的依存关系，从随机初始化生成的向量表中查找获取依存关系的向量表示；

步骤3、利用双向长短期记忆网络分别捕获语句中词和词语依存图中依存关系的向量表示的序列信息，以得到词语结点嵌入表示和依存结点嵌入表示；

步骤4、根据词语之间的关系类型，提高核心论元及其对应依存结点在词语依存图和依存关系图中的层级；

步骤5、以词语结点嵌入表示和依存关系结点嵌入表示作为输入，利用二元图注意力网络，使词语依存图和依存关系图中结点嵌入表示进行迭代交互对词语结点嵌入表示和依存关系结点嵌入表示进行更新;

步骤6、将更新后的词语结点嵌入表示和依存关系结点嵌入表示进行拼接，得到每个词语的最终嵌入表示，利用最终嵌入表示进行事件检测；

所述步骤4中，核心论元调整步骤包括：

步骤4.1、根据充当主语和宾语的论元在影响事件类型判断的比例，将依存关系类型为主谓关系和动宾关系的论元定义为核心论元；

步骤4.2、将词语依存图中核心论元的层级提升至与其依存的父结点相同，同时依存关系图中的依存结点做相应调整；

步骤4.3、基于并列词语或语句具有相同地位，提升依存关系类型为并列关系的词语和从句的层级；

所述步骤5中，二元图注意力网络包括用于编码依存关系之间的结构信息的依存关系图注意力网络和编码词语之间的依存结构信息的词语依存图注意力网络。

2.根据权利要求1所述的一种基于依存关系结构增强的事件检测方法，其特征在于，在执行上述步骤1至步骤6中，对应的训练方法包括如下训练步骤：

给定黄金标签；

词语的最终嵌入表示输入全连接网络；

采用softmax函数计算词语的最终嵌入表示在所有事件类型标签上的概率分布，概率分布表达式为：

；

其中，表示概率分布，/>表示权重矩阵，/>表示偏置项，/>表示词语/>在参数下的最终标签输出，/>表示词语/>的最终嵌入表示；

采用带权重的交叉熵损失函数作为目标函数计算黄金标签与最终的概率分布的损失值，通过最小化损失以提高输出最终的事件嵌入表示的准确性，目标函数表达式为：

；

其中，表示目标函数，/>表示语句数量，/>表示语句/>包含的词语数，/>表示词语所属类别的权重。

3.根据权利要求1所述的一种基于依存关系结构增强的事件检测方法，其特征在于，在所述步骤1中，词语依存图和依存关系图的构建步骤包括：

步骤1.1、利用句法工具进行句法依存解析，得到词语依存树，将树中的边调整为双向，不同方向的依存边反映不同的含义，得到词语依存图；

步骤1.2、将词语依存图中的连边作为新的依存关系结点，共享同一个词语结点的依存关系结点之间建立关联，构建依存关系图；

步骤1.3、将词语依存图中语句头结点与根结点的依存关系纳入构建范围，以使词语依存图中的结点数量与依存关系图中的相同。

4.根据权利要求1所述的一种基于依存关系结构增强的事件检测方法，其特征在于，所述步骤5中，利用二元图注意力网络，使词语依存图和依存关系图中结点嵌入表示进行迭代交互对依存关系结点嵌入表示进行更新存在如下关系式：

；

其中，表示基于原始图注意力方法，依存关系图注意力网络中添加结点层级后依存结点/>在/>层的嵌入表示，/>表示与/>结点直接相连的结点集合，/>表示注意力的头数，/>表示非线性函数，/>表示第/>层第/>头注意力时的权重矩阵，/>，/>为自然数，表示结点/>的层级，/>表示依存关系图中依存结点/>在/>层的最新嵌入表示，/>表示基于原始图注意力方法，依存关系图注意力网络中添加结点层级后第/>层第/>头的依存关系图注意力系数，第/>层的依存关系图注意力系数在如下关系式：

；

其中，LeakyReLU为激活函数，表示转置操作，/>表示权重矩阵，/>表示权重向量，表示词语依存图中词语结点/>在/>层输出的最新嵌入表示，/>表示词语依存图中词语结点/>在/>层输出的最新嵌入表示，/>表示依存关系图中依存结点/>在/>层的最新嵌入表示。

5.根据权利要求4所述的一种基于依存关系结构增强的事件检测方法，其特征在于，所述步骤5中，利用二元图注意力网络，使词语依存图和依存关系图中结点嵌入表示进行迭代交互对词语结点嵌入表示进行更新存在如下关系式：

；

其中，表示词语依存图中词语结点/>在/>层的嵌入表示，/>表示词语依存图中词语结点/>在/>层输出的最新嵌入表示，/>表示词语依存图注意力网络中添加结点层级后第/>层的词语依存图注意力系数，第/>层的词语依存图注意力系数在如下关系式：

；

其中，表示依存关系图中依存结点/>在/>层的最新嵌入表示，/>表示依存关系图中依存结点/>在/>层的最新嵌入表示，/>表示词语依存图中词语结点/>在/>层输出的最新嵌入表示。

6.根据权利要求5所述的一种基于依存关系结构增强的事件检测方法，其特征在于，在所述步骤6中，将更新后的词语结点嵌入表示和依存关系结点嵌入表示进行拼接，得到每个词语的最终嵌入表示存在如下关系式：

；

其中，表示词语/>的最终嵌入表示，/>表示拼接操作，/>表示词语依存图中词语结点/>经/>层最终输出的更新后的嵌入表示，/>表示依存关系图中依存结点/>经/>层最终输出的更新后的嵌入表示。

7.一种基于依存关系结构增强的事件检测系统，其特征在于，应用如上述权利要求1至6任一项所述的基于依存关系结构增强的事件检测方法，所述系统包括：

编码层：用于采用预训练语言模型对语句的词语进行向量化，得到每个词对应的词向量；在词语依存图中，将虚拟的根结点删除，每个结点与其父结点之间的依存关系作为该结点的依存关系，从随机初始化生成的向量表中查找获取依存关系的向量表示；

Bi-LSTM层：用于利用双向长短期记忆网络分别捕获语句中词和词语依存图中依存关系的向量表示的序列信息，以得到词语结点嵌入表示和依存结点嵌入表示；

图结构构建模块：用于构建词语依存图，基于词语依存图将其中的依存边视为新的依存关系结点，共享同一个词语结点的依存关系结点之间建立关联，构建依存关系图；

核心论元调整模块：用于根据词语之间的关系类型，提高核心论元及其对应依存结点在词语依存图和依存关系图中的层级；

二元图注意力网络模块：用于以词语结点嵌入表示和依存关系结点嵌入表示作为输入，利用二元图注意力网络，使词语依存图和依存关系图中结点嵌入表示进行迭代交互对词语结点嵌入表示和依存关系结点嵌入表示进行更新，并将更新后的词语结点嵌入表示和依存关系结点嵌入表示进行拼接，得到每个词语的最终嵌入表示，利用最终嵌入表示进行事件检测。