CN113010683B - 基于改进图注意力网络的实体关系识别方法及系统 - Google Patents

Abstract

本公开提供了一种基于改进图注意力网络的实体关系识别方法及系统，所述方法为：获取待识别的文本数据；根据获取的文本数据，得到文本数据中单词的向量表示；根据得到的单词的向量表示，进行实体序列识别；根据实体序列识别的结果进行节点化处理，根据节点化处理后的节点信息和改进的图注意力网络，得到文本数据中的实体类别与关系类别；根据实体类别与关系类别进行文本中实体和实体关系的识别；本公开通过改进图注意力网络有效的提高了实体以及实体间的关系信息识别的准确度和效率。

Description

基于改进图注意力网络的实体关系识别方法及系统

技术领域

本公开涉及文本处理技术领域，特别涉及一种基于改进图注意力网络的实体关系识别方法及系统。

背景技术

本部分的陈述仅仅是提供了与本公开相关的背景技术，并不必然构成现有技术。

移动互联网、智能手机以及社交网络的发展带来了海量文本数据，成为传词达意的主要媒介。从海量文本数据中抽取有用的知识是一项费时费力的任务，所以自动化实体和关系识别就显得尤为重要。传统的实体和关系识别采用人工提取的方法，效率不高，时间长。深度学习近年来在自然语言处理方面表现出了良好的性能，比如LSTM，GCN，RNN，CNN，BERT等。上述深度学习的神经网络模型都能成功地从文本中提取特征，优于人工设计的基于特征的方法，特别是在实体识别任务中。

本公开发明人发现，现有的实体关系识别方法，包括基于深度学习方法，没有有效的模块来捕捉关系信息，不能很好的处理实体间的复杂关系，尤其在复杂文本中执行关系识别任务时模型的性能不足，无法准确和快速的对文本中的实体以及实体关系进行识别。

发明内容

为了解决现有技术的不足，本公开提供了一种基于改进图注意力网络的实体关系识别方法及系统，通过改进的图注意力网络有效的提高了实体以及实体间的关系识别的准确度和效率。

为了实现上述目的，本公开采用如下技术方案：

本公开第一方面提供了一种基于改进图注意力网络的实体关系识别方法。

一种基于改进图注意力网络的实体关系识别方法，包括以下步骤：

获取待识别的文本数据；

根据获取的文本数据，得到文本数据中单词的向量表示；

根据得到的单词的向量表示，进行实体序列识别；

根据实体序列识别的结果进行节点化处理，根据节点化处理后的节点信息和改进的图注意力网络，得到文本数据中的实体类别与关系类别；

根据实体类别与关系类别进行文本中实体和实体关系的识别。

本公开第二方面提供了一种基于改进图注意力网络的实体关系识别系统。

一种基于改进图注意力网络的实体关系识别系统，包括：

数据获取模块，被配置为：获取待识别的文本数据；

单词向量表示模块，被配置为：根据获取的文本数据，得到文本数据中单词的向量表示；

实体序列识别模块，被配置为：根据得到的单词的向量表示，进行实体序列识别；

类别划分模块，被配置为：根据实体序列识别的结果进行节点化处理，根据节点化处理后的节点信息和改进的图注意力网络，得到文本数据中的实体类别与关系类别；

识别模块，被配置为：根据实体类别与关系类别进行文本中实体和实体关系的识别。

本公开第三方面提供了一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现如本公开第一方面所述的基于改进图注意力网络的实体关系识别方法中的步骤。

本公开第四方面提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如本公开第一方面所述的基于改进图注意力网络的实体关系识别方法中的步骤。

与现有技术相比，本公开的有益效果是：

1、本公开所述的方法、系统、介质及电子设备，通过改进的图注意力网络有效的提高了实体以及实体间的关系信息识别的效率和准确度。

2、本公开所述的方法、系统、介质及电子设备，设计了简单有效的多头注意力机制，缩减了参数规模，相比于现有的方式获得了更好的性能。

3、本公开所述的方法、系统、介质及电子设备，在训练过程中，结合了文本对抗训练，使得模型获得了更强的鲁棒性。

附图说明

构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。

图1为本公开实施例1提供的基于改进图注意力网络的实体关系识别方法的流程示意图。

图2为本公开实施例1提供的词向量嵌入模型图。

图3为本公开实施例1提供的实体序列识别结构图。

图4为本公开实施例1提供的实体和关系节点嵌入结构图。

图5为本公开实施例1提供的IGAT结构图。

具体实施方式

下面结合附图与实施例对本公开作进一步说明。

应该指出，以下详细说明都是例示性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。

实施例1：

本公开实施例1提供了一种基于改进图注意力网络的实体关系识别方法，包括以下步骤：

获取待识别的文本数据；

根据获取的文本数据，得到文本数据中单词的向量表示；

根据得到的单词的向量表示，进行实体序列识别；

根据实体序列识别的结果进行节点化处理，根据节点化处理后的节点信息和改进的图注意力网络，得到文本数据中的实体类别与关系类别；

根据实体类别与关系类别进行文本中实体和实体关系的识别。

详细的，包括以下内容：

如图1所示，整个方法的模型主要包括五个部分：词向量嵌入、实体序列识别、节点嵌入、IGAT抽取实体和关系信息、生成对抗样本。

数据首先经过词嵌入得到单词字符的向量表示；

然后送入BiLSTM抽取信息，之后用softmax函数进行实体序列识别，识别出实体序列后，会计算实体序列损失，并且将识别后的序列与BiLSTM处理后的信息一起送入节点嵌入层；

节点嵌入层将会利用实体序列信息与BiLSTM输出信息进行实体节点嵌入，并在实体的基础上引入上下文信息构造关系节点。

再将构造的关系节点用softmax函数进行二元关系预测，进而得到实体关系图的邻接矩阵。

将实体节点，关系节点与邻接矩阵一起送入改进的图注意力网络对实体节点与关系节点信息进行抽取，抽取完的信息与节点嵌入的输出进行拼接。

将得到的实体与关系信息分别用softmax函数进行激活，获取实体类别与关系类别，并分别计算实体类型损失与关系类型损失。

通过累加实体序列损失、实体类型损失、二元关系损失、关系类型损失来生成对抗样本。固定模型参数不进行更新，将对抗样本加入原来的单词嵌入。重复以上过程，计算扰动损失并累加全部损失值，最后更新模型参数。

本实施例中，所述文本数据可以是通过预设的爬虫程序在垂直网站上抓取的数据；具体可以是某一领域的文本数据，如旅游领域或者新闻领域或者技术领域等等。

具体实现过程如下：

(1)词嵌入

本实施例中的方法模型采用单词级别的嵌入和字符级别的嵌入来得到完整的单词嵌入表示。单词向量表示过程如图2所示。

设置w＝{w₁,...,w_n}为一条句子的单词序列，w_n句子中第n个单词。X＝{x₁,...,x_n}是经过词嵌入后的词向量序列，其中x_i表示单词w_i经过词嵌入后的向量表示。单词级别嵌入模块由预训练语言模型GloVe和词嵌入模型Word2Vec两部分组成，负责对每个单词进行单词级别嵌入。单词级别嵌入包含了单词语义信息以及上下文信息，是单词向量表示的主体部分。另外，为了捕捉单词的形态信息，采用CNN抽取单词的字符形态信息。综合考虑这两种嵌入方式并采用拼接的方式来最终获取每个单词的嵌入向量。

(2)实体序列识别

采用BIEOU格式来标记实体序列，使用BiLSTM抽取实体序列信息并用softmax函数对实体序列信息进行分类。模型结构图如图3所示。

BiLSTM函数为：

h_i＝BiLSTM(x_i；θ_seq) (1)

其中x_i为词向量，θ_seq表示参数矩阵，h_i表示BiLSTM的输出。用softmax函数来预测单词对应的实体序列标签：

其中，W_span参数矩阵，

为预测的标签。

可以得到实体序列识别的损失函数：

其中，t_i为真实的标签。

(3)节点嵌入

为了使用图卷积网络抽取实体与关系信息，本实施例要构建实体关系图，首先对实体进行嵌入，获取实体节点，然后基于实体和上下文信息构造关系节点，使用softmax函数对关系节点进行二元关系预测，进而获得邻接矩阵。

在初始化二元关系时，假设一条句子中的任意两个实体之间都存在潜在关系，与实体节点只考虑实体自身信息不同，为了捕捉上下文信息对关系的影响，在嵌入关系节点时，综合考虑实体信息与相关实体的上下文信息。模型结构如图4所示。

之后预测两个实体之间是否具有确定关系。定义

预测的二元关系标签，

的概率计算如下：

其中W_adj是权重参数。被优化的目标函数如下：

为了在实体关系图中建立节点

三者之间的联系，获取邻接矩阵A，采用如下方法：

1)如果

在实体关系图中设置节点

与

节点

与

之间具有连接，即邻接矩阵A中的对应位置元素为1.0。相反，如果

在实体关系图中设置节点

与

节点

与

节点

与

之间不具有连接，即邻接矩阵A中对应位置元素为0。

2)为了捕获更多信息，在实体关系图中加入自环，即邻接矩阵A的对角元素为1.0。

3)邻接矩阵A其余位置设置为0。

(4)改进后的图注意力网络(IGAT)

为了有区别的聚合邻居节点信息，缓解过平滑问题。本文借鉴多头注意力图卷积网络的思想，设计了一种简单高效的多头注意力机制，并将设计的图卷积网络用于实体和关系节点信息的抽取。抽取后的信息与节点化处理后的信息进行拼接，分别得到用于实体分类任务和关系分类任务的特征向量。最后，使用softmax函数对特征向量进行分类，分别得到预测实体标签和关系标签。IGAT结构如图5所示。

初始化注意力权重矩阵

d_node是节点的特征维度，l是目前图卷积网络的层数，c是注意力头数。

改进后的注意力函数如下：

其中，||·||₂是行二范数，

是节点

和它的1阶邻接点通过行拼接构成的矩阵。将节点

与其1阶邻接点注意力值赋值给邻接矩阵A中的相应位置，得到注意力邻接矩阵

引入度信息：

通过拉普拉斯分解得到最终用于卷积的注意力邻接矩阵

卷积函数如下：

其中，

通过共享注意力参数来构建卷积矩阵，

是映射矩阵，负责对注意力信息进行进一步抽取并映射至统一维度。σ是非线性激活函数。将IGAT输出的特征矩阵Z与输入IGAT的输入矩阵N_G进行拼接，得到用于分类任务的特征矩阵F，其中

表示实体e_j的特征向量，

表示关系r_jk的特征向量。定义实体和关系的目标标签分别为y_e和y_r，预测得到的实体和关系标签分别为

和

采用softmax函数进行激活，实体标签和关系标签的计算公式分别如下：

W_ent和W_rel分别为权重参数。

设置

为句子中的实体集合，可以得到的实体和关系目标优化函数分别如下：

(5)生成对抗样本

经过以上工作，模型完成了无对抗的前向传播过程。损失值为L_Joint(X；θ),其中θ是模型参数。为了增强模型鲁棒性，考虑引入对抗训练。本文使用在样本中加入微小扰动来的方法进行对抗训练。定义η_ad是要加入嵌入样本的扰动，

是目前模型中参数θ的复制，固定参数θ(即此次反向传播的误差L_Joint(X；θ)不对参数θ进行更新)。

扰动计算公式如下：

其中，

定义

其中α是人工设定的扰动参数(本文设置为0.002)，D_X是嵌入样本X的特征维度。将得到的对抗样本加入嵌入样本X中，得到有对抗样本的前向传播损失

综合考虑两次前向传播损失，得到用于最终损失值：

然后更新模型参数θ，完成一次参数调整过程。

实施例2：

本公开实施例2提供了一种基于改进图注意力网络的实体关系识别系统，包括：

数据获取模块，被配置为：获取待识别的文本数据；

单词向量表示模块，被配置为：根据获取的文本数据，得到文本数据中单词的向量表示；

实体序列识别模块，被配置为：根据得到的单词的向量表示，进行实体序列识别；

类别划分模块，被配置为：根据实体序列识别的结果进行节点化处理，根据节点化处理后的节点信息和改进的图注意力网络，得到文本数据中的实体类别与关系类别；

识别模块，被配置为：根据实体类别与关系类别进行文本中实体和实体关系的识别。

所述系统的工作方法与实施例1提供的基于改进图注意力网络的实体关系识别方法相同，这里不再赘述。

实施例3：

本公开实施例3提供了一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现如本公开实施例1所述的基于改进图注意力网络的实体关系识别方法中的步骤，所述步骤为：

获取待识别的文本数据；

根据获取的文本数据，得到文本数据中单词的向量表示；

根据得到的单词的向量表示，进行实体序列识别；

根据实体序列识别的结果进行节点化处理，根据节点化处理后的节点信息和改进的图注意力网络，得到文本数据中的实体类别与关系类别；

根据实体类别与关系类别进行文本中实体和实体关系的识别。

详细方法与实施例1提供的基于改进图注意力网络的实体关系识别方法相同，这里不再赘述。

实施例4：

本公开实施例4提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如本公开实施例1所述的基于改进图注意力网络的实体关系识别方法中的步骤，所述步骤为：

获取待识别的文本数据；

根据获取的文本数据，得到文本数据中单词的向量表示；

根据得到的单词的向量表示，进行实体序列识别；

根据实体序列识别的结果进行节点化处理，根据节点化处理后的节点信息和改进的图注意力网络，得到文本数据中的实体类别与关系类别；

根据实体类别与关系类别进行文本中实体和实体关系的识别。

详细方法与实施例1提供的基于改进图注意力网络的实体关系识别方法相同，这里不再赘述。

本领域内的技术人员应明白，本公开的实施例可提供为方法、系统、或计算机程序产品。因此，本公开可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本公开是参照根据本公开实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(RandomAccessMemory，RAM)等。

以上所述仅为本公开的优选实施例而已，并不用于限制本公开，对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。

Claims (9)

1.一种基于改进图注意力网络的实体关系识别方法，其特征在于，包括以下步骤：

获取待识别的文本数据；

根据获取的文本数据，得到文本数据中单词的向量表示；

根据得到的单词的向量表示，进行实体序列识别；

根据实体序列识别的结果进行节点化处理，根据节点化处理后的节点信息和改进的图注意力网络，得到文本数据中的实体类别与关系类别；

根据实体类别与关系类别进行文本中实体和实体关系的识别；

其中，所述改进图注意力网络中的多头注意力机制，具体为：

初始化注意力权重矩阵

d_node是节点的特征维度，l是目前图卷积网络的层数，c是注意力头数；

是当在注意力为c,卷积层数为l层的情况下的注意力特征维度；

改进后的注意力函数如下：

其中，||·||₂是行二范数，

是节点

和它的1阶邻接点通过行拼接构成的矩阵；将节点

与其1阶邻接点注意力值赋值给邻接矩阵A中的相应位置，得到注意力邻接矩阵

n_node为节点的数量；

引入度信息：

其中，i为特征矩阵的行标，j为特征矩阵的列标，通过拉普拉斯分解得到最终用于卷积的注意力邻接矩阵

卷积函数如下：

其中，

通过共享注意力参数来构建卷积矩阵，

是映射矩阵，负责对注意力信息进行进一步抽取并映射至统一维度；σ是非线性激活函数；将改进后的图注意力网络输出的特征矩阵Z与输入改进图注意力网络的输入矩阵N_G进行拼接，得到用于分类任务的特征矩阵F，其中

表示实体e_j的特征向量，

表示关系r_jk的特征向量；定义实体和关系的目标标签分别为y_e和y_r，预测得到的实体和关系标签分别为

和

设置w＝{w₁,...,w_n}为一条句子的单词序列，采用softmax函数进行激活，实体标签和关系标签的计算公式分别如下：

其中，W_ent和W_rel分别为权重参数；

设置

为句子中的实体集合，可以得到的实体和关系目标优化函数分别如下：

其中，#潜在关系r_jk表示实体间所有可能的关系数量。

2.如权利要求1所述的基于改进图注意力网络的实体关系识别方法，其特征在于，节点化处理，具体为：根据实体序列识别的结果进行节点化处理，得到实体节点和关系节点，预测二元关系，进而得到实体关系图的邻接矩阵。

3.如权利要求2所述的基于改进图注意力网络的实体关系识别方法，其特征在于，邻接矩阵的获取方法，具体为：

假设同一句子中任意两个实体节点之间有关系；

构建关系节点；

获取预测的二元关系标签的概率；

如果概率大于或等于预设值，在实体关系图中设置第一实体节点与关系节点之间以及第二实体节点与关系节点之间具有连接，邻接矩阵中的对应位置元素为1；

如果概率小于预设值，在实体关系图中设置两个实体节点以及实体节点与关系节点之间不具有连接，邻接矩阵中的对应位置元素为零；

在实体关系图中加入自环，邻接矩阵的对角元素为1，其余位置设置为零。

4.如权利要求2所述的基于改进图注意力网络的实体关系识别方法，其特征在于，将得到的关系节点用softmax函数进行二元关系预测，得到实体关系图的邻接矩阵。

5.如权利要求1所述的基于改进图注意力网络的实体关系识别方法，其特征在于，根据节点化处理后的节点信息和改进的图注意力网络，对实体节点与关系节点信息进行抽取，抽取的信息与节点化处理后的节点信息进行拼接；

分别得到用于实体分类任务和关系分类任务的特征向量，使用softmax函数对用于实体分类任务和关系分类任务的特征向量进行分类，分别得到预测实体标签和关系标签。

6.如权利要求1所述的基于改进图注意力网络的实体关系识别方法，其特征在于，通过预训练语言模型GloVe和词嵌入模型Word2Vec获取单词信息，通过CNN抽取单词的字符形态信息，根据单词信息和字符信息进行拼接后得到每个单词的向量表示；

或者，

采用BIEOU格式来标记实体序列，使用BiLSTM抽取实体序列信息并用softmax函数来预测单词对应的实体序列标签；

或者，

分别计算实体序列损失、实体类别损失、二元关系损失和关系类别损失，扰动损失；

将对抗样本与嵌入样本相加作为新的文本数据进行实体关系抽取步骤，计算扰动损失并累加全部损失值，进行参数更新。

7.一种基于改进图注意力网络的实体关系识别系统，其特征在于，包括：

数据获取模块，被配置为：获取待识别的文本数据；

单词向量表示模块，被配置为：根据获取的文本数据，得到文本数据中单词的向量表示；

实体序列识别模块，被配置为：根据得到的单词的向量表示，进行实体序列识别；

类别划分模块，被配置为：根据实体序列识别的结果进行节点化处理，根据节点化处理后的节点信息和改进的图注意力网络，得到文本数据中的实体类别与关系类别；

识别模块，被配置为：根据实体类别与关系类别进行文本中实体和实体关系的识别；

其中，所述改进图注意力网络中的多头注意力机制，具体为：

初始化注意力权重矩阵

d_node是节点的特征维度，l是目前图卷积网络的层数，c是注意力头数；

是当在注意力为c,卷积层数为l层的情况下的注意力特征维度；

改进后的注意力函数如下：

其中，||·||₂是行二范数，

是节点

和它的1阶邻接点通过行拼接构成的矩阵；将节点

与其1阶邻接点注意力值赋值给邻接矩阵A中的相应位置，得到注意力邻接矩阵

n_node为节点的数量；

引入度信息：

其中，i为特征矩阵的行标，j为特征矩阵的列标，通过拉普拉斯分解得到最终用于卷积的注意力邻接矩阵

卷积函数如下：

其中，

通过共享注意力参数来构建卷积矩阵，

是映射矩阵，负责对注意力信息进行进一步抽取并映射至统一维度；σ是非线性激活函数；将改进后的图注意力网络输出的特征矩阵Z与输入改进图注意力网络的输入矩阵N_G进行拼接，得到用于分类任务的特征矩阵F，其中

表示实体e_j的特征向量，

表示关系r_jk的特征向量；定义实体和关系的目标标签分别为y_e和y_r，预测得到的实体和关系标签分别为

和

设置w＝{w₁,...,w_n}为一条句子的单词序列，采用softmax函数进行激活，实体标签和关系标签的计算公式分别如下：

其中，W_ent和W_rel分别为权重参数；

设置

为句子中的实体集合，可以得到的实体和关系目标优化函数分别如下：

其中，#潜在关系r_jk表示实体间所有可能的关系数量。

8.一种计算机可读存储介质，其上存储有程序，其特征在于，该程序被处理器执行时实现如权利要求1-6任一项所述的基于改进图注意力网络的实体关系识别方法中的步骤。

9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-6任一项所述的基于改进图注意力网络的实体关系识别方法中的步骤。

Images