CN109902171A - 基于分层知识图谱注意力模型的文本关系抽取方法及系统 - Google Patents

Abstract

本发明提供了一种基于分层知识图谱注意力模型的文本关系抽取方法及系统，其方法包括：首先根据待处理文本选取训练文本集和知识图谱，并对训练文本集和知识图谱分别进行预处理；然后构建分层知识图谱注意力模型，并利用预处理后的训练文本及对该模型进行训练；最后将所述待处理文本中所有句子的头实体和尾实体进行标注，并将标注后的待处理文本输入所述训练后的分层知识图谱注意力模型，得到关系结果。本发明的有益效果是：本发明所提出的技术方案提出一种分层知识图谱注意力模型，利用知识图谱表示帮助模型分配句子和词的权重，提高了模型的关系预测的准确率和召回率，进而提高了文本关系的抽取准确度。

Description

基于分层知识图谱注意力模型的文本关系抽取方法及系统

技术领域

本发明涉及关系抽取领域，尤其涉及一种基于分层知识图谱注意力模型的文本关系抽取方法及系统。

背景技术

知识图谱(knowledge bases)为真实世界的事实提供了有效的结构化信息，被很多自然语言处理(NLP)任务(比如网页搜索和知识问答)用作关键资源。典型的知识图谱有Freebase、DBpedia和YAGO。由于真实世界中的事实可以说是无穷无尽的，并且每天都在不断增长，因此现存的知识图谱还远远不够完全。因此，信息抽取任务被越来越多的人重视。

信息抽取旨在从大规模非结构或半结构的自然语言文本中抽取结构化信息。关系抽取是其中的重要子任务之一，主要目的是从自然语言文本中的目标实体对之间抽取实体对之间存在的语义关系。它对于许多自然语言处理(NLP)任务有着很重要的作用，包括知识问答，网页搜索和知识图谱的构建等。

关系抽取的输出一般是一个三元组(头实体，关系，尾实体)，表示实体1和实体2之间存在特定类别的语义关系。例如，句子“中国的首都是北京”中可以抽取出关系(中国，首都，北京)这个三元组。

关系抽取最常用的方法是监督学习和深度学习，这两种方法都取得了很好的效果。然而，深度学习方法即为基于神经网络的方法，虽然在准确率和回归率方面都有着相当不错的表现，但它对于监督数据集(比如ACE-05和SemEval-2010 task 8)十分依赖。然而，这些监督数据都是依靠人工标注的，十分耗时耗力，因此深度学习方法很难扩展到更大的领域中。

远程监督(Distant Supervision)可以通过将语料库与外部知识图谱对齐来自动构建大量的训练标注数据，因而成为目前关系抽取任务最主流的方法。这类数据构造方法的具体实现步骤是：1.从知识图谱中抽取存在关系的实体对2.从非结构化文本中抽取含有实体对的句子作为训练样例。它把现有知识图谱中的三元组<e1,r,e2>作为种子，匹配同时含有e1和e2的文本，得到的文本用作关系r的标注数据。通过远程监督构建的大量标注数据可以训练出一个效果不错的关系抽取器，减少模型对人工标注数据的依赖，增强模型跨领域适应能力。

虽然现在的利用远程监督进行关系抽取方法已经取得了较好的结果，但是对齐过程中产生的错误标签的问题一直存在困扰。这是因为Distant Supervision的提出主要基于以下假设：两个实体如果在知识库中存在某种关系，则包含该两个实体的非结构化句子均能表示出这种关系。而对于某些句子，它仅仅包含了两个实体，但语义上并没有表示出它们之间的特定关系，这样的句子也被当作训练的实例的话，就是错误的标签，即噪声数据，对模型有着负面的影响。如图5所示，三元组<沃伦巴菲特，出生于，奥马哈>，可能对齐到『沃伦巴菲特1930年出生于奥马哈』，也可能对齐到『沃伦巴菲特对奥马哈有着很大的影响』。其中前一句是我们想要的标注数据，后一句则是噪音数据(并不表示“出生于”这种关系)。并且句子『李小龙在美国非常出名』会被标注为NA(即没有关系)，因为对应的知识图谱中缺少对应的三元组。如何去除这些噪音数据，是一个丞待解决的问题。

远程监督传统模型严重依赖特定知识领域的专家来手工设计特征，或利用词性标注、句法解析等自然语言处理(NLP)标注来提供分类特征，显然人工设计特征过于费时费力，而NLP工具也往往存在很多误差，比如命名实体识别(NER)，依赖解析等，越多的特征工程就会带来越多的误差，在整个任务的pipeline上会产生误差的传播和积累，最终影响后续关系抽取的精度。

本发明提出了一个把知识图谱应用到远程监督关系抽取的双层注意力机制的神经网络结构，针对远程监督关系抽取数据集中的标注不准确问题和为了筛选出句子内部的关键词，在神经网络关系抽取的框架上设计了一个分级的注意力机制，包含了句子级别和词级别，来分别提高对最后的关系预测有更大作用的句子和词的权重：首先，将包含同一个实体对的所有句子成为一个包，将每个包中的句子的词用word2vec转向量输入到我们的神经网络关系抽取模型BG2KGA中，并且把语料库对应的知识图谱用Translation的方法转向量，利用这个知识图谱表示帮助模型分配句子和词的权重，提高了关系抽取模型的关系预测的准确率和召回率。

发明内容

为了解决上述问题，本发明提供了一种基于分层知识图谱注意力模型的文本关系抽取方法及系统，一种基于分层知识图谱注意力模型的文本关系抽取方法，主要包括以下步骤：

S101：根据待处理文本从各开源数据库中获取训练文本集；其中，所述训练文本集中包含有所述待处理文本的所有头实体和尾实体；

S102：根据所述训练文本集从各开源数据库中获取知识图谱；所述训练文本集中的所有头实体和尾实体均包含于所述知识图谱中；

S103：将所述训练文本集划分为多个头实体和尾实体相同的句子组成的包；即每个包中包含多个句子，一个包中的所有句子的头实体和尾实体均相同，不同的包中的句子对应的头实体和尾实体不同；

S104：采用TransR模型将所述知识图谱进行转向量处理，得到转向量处理后的知识图谱；其中，所述TransR模型为利用所述知识图谱训练过后的TransR模型；

S105：构建分层知识图谱注意力模型；所述分层知识图谱注意力模型包括第一注意力层和第二注意力层；所述第一注意力层包括多个句子编码器；所述句子编码器依次包括：输入层、嵌入层、双向GRU层、知识图谱注意力层和输出层；

S106：采用所述多个头实体和尾实体相同的句子组成的包和所述转向量处理后的知识图谱对所述分层知识图谱注意力模型进行训练，得到训练后的分层知识图谱注意力模型；

S107：将所述待处理文本中所有句子的头实体和尾实体进行标注，并将标注后的待处理文本输入所述训练后的分层知识图谱注意力模型，得到所述待处理文本中所有句子的头实体和尾实体对应的关系。

进一步地，步骤S106中，采用多个头实体和尾实体相同的句子组成的包和转向量处理后的所述知识图谱对所述分层知识图谱注意力模型进行训练，得到训练后的分层知识图谱注意力模型；具体步骤包括：

S201：在所述多个头实体和尾实体相同的句子组成的包中随机选择一个未参加过训练的包作为第一包输入至所述第一注意力层，得到所述第一包中各个句子的特征向量y_j；其中，j＝1,2,…,n，n为所述第一包中句子的总个数；

S202：将所述特征向量作为所述第二注意力层的输入，得到所述第一包对应的关系向量r_s；

S203：根据所述关系向量r_s，采用softmax分类器，计算获得所述第一包的关系概率矩阵P(r_s|B_s，θ)；计算公式如公式(4)所示：

上式中，B_s为所述转向量处理后的知识图谱，θ为整个模型的参数；M为待训练的参数矩阵，包含于θ中，初始值采用随机获取方法赋值；

S204：根据所述关系概率矩阵P(r_s|B_s，θ)，采用如公式(5)所示的最大似然函数作为损失函数J_θ对所述分层知识图谱注意力模型进行优化：

上式中，λ为预设的超参数，取0.0001；θ表示整个模型的待训练参数；S_s为所述转向量处理后的知识图谱中对应的包；s＝1，2，...，t；t为包的总个数；

S205：采用随机梯度下降法SGD来最小化所述损失函数，同时对所有待训练参数进行调节；并将参数调节后的分层知识图谱注意力模型作为新的分层知识图谱注意力模型；

S206：判断循环次数是否达到设定的最大迭代次数或者J_θ的值稳定至预设范围？若是，则到步骤S207；否则返回步骤S201；

S207：将此时的分层知识图谱注意力模型作为训练后的分层知识图谱注意力模型。

进一步地，步骤S201中，在所述多个头实体和尾实体相同的句子组成的包中随机选择一个未参加过训练的包作为第一包输入至所述第一注意力层，得到所述第一包中各个句子的特征向量的方法为：

将所述第一包中各句子同时输入至所述第一注意力层；其中，每个句子对应一个所述第一注意力层的句子编码器；各句子编码器分别对输入的句子进行处理，得到所述第一包中各个句子的特征向量y_j；其中，j＝12，...，n，n为所述第一包中句子的总个数；具体的，任意某个句子编码器对输入该句子编码器中的单个句子进行处理的步骤包括：

S301：将所述单个句子中的各个词同时输入至输入层，以对所述句子做词嵌入处理，得到所述单个句子中每个词所对应的词嵌入向量；

S302：将所述词嵌入向量输入至嵌入层，以对所述单个句子中的每个词的位置做嵌入处理，得到所述单个句子中的每个词所对应的位置嵌入向量；

S303：将所述单个句子的每个词的词嵌入向量和位置嵌入向量进行收尾拼接，得到所述单个句子中每个词的最终表示向量；

S304：将每个词的所述最终表示向量同时输入至所述双向GRU层，得到所述单个句子中每个词对应的词表示向量h_i；将所述单个句子中所有的词对应的词表示向量h_i依次组合至一个向量中，得到所述句子的特征向量H；即H＝[h₁，h₂，...，h_m]；其中，i＝1，2，...，m；m为所述单个句子中词的总个数；

S305：将所述特征向量H输入至知识图谱注意力层，得到所述单个句子的特征向量y。

进一步地，步骤S301中，采用Word2vec工具对所述句子做词嵌入处理；所述Word2Vec工具为已利用skip-gram模型完成词向量训练的Word2Vec工具。

进一步地，步骤S302中，对所述单个句子中的每个词的位置做嵌入处理的方法为：把所述单个句子中的每个词相对于该句子的头实体和尾实体的两个相对位置放在同一个向量中，作为每个词的位置嵌入向量；所述相对位置，为一个词和目标实体间的距离。

进一步地，步骤S305中，将所述特征向量H输入至知识图谱注意力层，得到该句子的特征向量y，具体步骤包括：

S401：根据所述词的特征向量H，采用激活函数tanh()计算获得第一中间向量v，计算公式如公式(6)所示：

v＝tanh(W₁H+b) (6)

上式中，W₁和b分别为待训练的第一参数矩阵和待训练的偏置矩阵，初始值均采用随机获取方法赋值；

S402：获取所述单个句子的头实体和尾实体在所述转向量处理后的知识图谱中的三元组，并将获得的三元组经过TransR模型处理后，得到所述单个句子的头实体向量h和尾实体向量t；进而采用头实体向量h、尾实体向量t计算获得所述单个句子对应的第一关系向量r_ht，具体计算公式如公式(7)所示：

上式中，M_r为TransR模型训练后确定的内部权重矩阵；

S403：根据所述中间向量v和所述关系向量r_ht，采用公式(8)计算获得第一权重向量α：

α＝softmax([vW₂；r_ht]×W₃) (8)

上式中，W₂和W₃分别为待训练的第二参数矩阵和待训练的第三参数矩阵，初始值均采用随机获取方法赋值；

S404：根据权重向量α和所述特征向量H，采用公式(9)计算获得该句子的特征向量y：

y＝H×α^T (9)。

进一步地，步骤S202中，将所述特征向量作为所述第二注意力层的输入，得到所述第一包对应的关系向量r_s；具体包括：

S501：根据所述特征向量y_j，采用公式(10)计算获得第二中间向量e_j：

e_f＝tanh(W_sy_j+b_s) (10)

上式中，W_s和b_s分别为待训练的第四参数矩阵和待训练的第一偏置矩阵，初始值均采用随机获取方法赋值；其中，j＝1，2，。。。n，n为所述第一包中句子的总个数；

S502：获取所述第一包的头实体和尾实体在所述转向量处理后的知识图谱中的三元组，并将获得的三元组经过TransR模型处理后，得到所述第一包的头实体向量h和尾实体向量t；进而采用头实体向量h和尾实体向量t计算获得所述第一包对应的第二关系向量r_ht；由于所述第一包的头实体和尾实体所述句子的头实体和尾实体相同，所以所述第一关系向量和第二关系向量相同，均为r_ht；

S503：根据所述第二关系向量r_ht和所述第二中间向量e_j，采用公式(11)计算获得第二权重向量β_j：

β_j＝softmax(r_ht×e_j) (11)

S504：根据第二权重向量β_j，采用公式(12)计算获得关系向量r_s：

上式中，j＝1，2，。。。n，n为所述第一包中句子的总个数。

进一步地，一种基于分层知识图谱注意力模型的文本关系抽取系统，其特征在于：包括以下模块：

文本集选择模块，用于根据待处理文本选取训练文本集；其中，所述训练文本集中包含有所述待处理文本的所有头实体和尾实体；

知识图谱选择模块，用于根据所述训练文本集选取知识图谱；所述训练文本集中的所有头实体和尾实体均包含于所述知识图谱中；

句子分包模块，用于将所述训练文本集划分为多个头实体和尾实体相同的句子组成的包；即每个包中包含多个句子，一个包中的所有句子的头实体和尾实体均相同，且不同的包中的句子对应的头实体和尾实体不同；

转向量模块，用于采用TransR模型将所述知识图谱进行转向量处理，得到转向量处理后的知识图谱；其中，所述TransR模型为利用所述知识图谱训练过后的TransR模型；

模型构建模块，用于构建分层知识图谱注意力模型；所述分层知识图谱注意力模型包括第一注意力层和第二注意力层；所述第一注意力层包括多个句子编码器；所述句子编码器依次包括：输入层、嵌入层、双向GRU层、知识图谱注意力层和输出层；

模型训练模块，用于采用所述多个头实体和尾实体相同的句子组成的包和所述转向量处理后的知识图谱对所述分层知识图谱注意力模型进行训练，得到训练后的分层知识图谱注意力模型；

关系抽取模块，用于将所述待处理文本中所有句子的头实体和尾实体进行标注，并将标注后的待处理文本输入所述训练后的分层知识图谱注意力模型，得到所述待处理文本中所有句子的头实体和尾实体对应的关系。

进一步地，模型训练模块中，采用多个头实体和尾实体相同的句子组成的包和转向量处理后的所述知识图谱对所述分层知识图谱注意力模型进行训练，得到训练后的分层知识图谱注意力模型；具体步骤包括以下单元：

特征向量获取单元，用于在所述多个头实体和尾实体相同的句子组成的包中随机选择一个未参加过训练的包作为第一包输入至所述第一注意力层，得到所述第一包中各个句子的特征向量y_j；其中，j＝1，2，...，n，n为所述第一包中句子的总个数；

关系向量获取单元，用于将所述特征向量作为所述第二注意力层的输入，得到所述第一包对应的关系向量r_s；

概率矩阵获取单元，用于根据所述关系向量r_s，采用softmax分类器，计算获得所述第一包的关系概率矩阵P(r_s|B_s，θ)；计算公式如公式(4)所示：

上式中，B_s为所述转向量处理后的知识图谱，θ为整个模型的参数；M为待训练的参数矩阵，包含于θ中，初始值采用随机获取方法赋值；

损失函数计算单元，用于根据所述关系概率矩阵P(r_s|B_s，θ)，采用如公式(5)所示的最大似然函数作为损失函数J_θ对所述分层知识图谱注意力模型进行优化：

上式中，λ为预设的超参数，取0.0001；θ表示整个模型的待训练参数；S_s为所述转向量处理后的知识图谱中对应的包；s＝1，2，...，t；t为包的总个数；

参数调节单元，用于采用随机梯度下降法SGD来最小化所述损失函数，同时对所有待训练参数进行调节；并将参数调节后的分层知识图谱注意力模型作为新的分层知识图谱注意力模型；

判断单元，用于判断循环次数是否达到设定的最大迭代次数或者J_θ的值稳定至预设范围？若是，则到结束单元；否则返回特征向量获取单元；

结束单元，用于将此时的分层知识图谱注意力模型作为训练后的分层知识图谱注意力模型。

进一步地，特征向量获取单元中，在所述多个头实体和尾实体相同的句子组成的包中随机选择一个未参加过训练的包作为第一包输入至所述第一注意力层，得到所述第一包中各个句子的特征向量的方法为：

将所述第一包中各句子同时输入至所述第一注意力层；其中，每个句子对应一个所述第一注意力层的句子编码器；各句子编码器分别对各句子进行处理，得到所述第一包中各个句子的特征向量y_j；其中，j＝1，2，...，n，n为所述第一包中句子的总个数；具体的，任意某个句子编码器对输入该句子编码器中的单个句子进行处理的步骤包括如下单元：

词嵌入单元，用于将所述单个句子中的各个词同时输入至输入层，以对所述句子做词嵌入处理，得到所述单个句子中每个词所对应的词嵌入向量；

位置嵌入单元，用于将所述词嵌入向量输入至嵌入层，以对所述单个句子中的每个词的位置做嵌入处理，得到所述单个句子中的每个词所对应的位置嵌入向量；

拼接单元，用于将所述单个句子的每个词的词嵌入向量和位置嵌入向量进行收尾拼接，得到所述单个句子中每个词的最终表示向量；

特征向量获取单元，用于将每个词的所述最终表示向量同时输入至所述双向GRU层，得到所述单个句子中每个词对应的词表示向量h_i；将所述单个句子中所有的词对应的词表示向量h_i依次组合至一个向量中，得到所述单个句子的特征向量H；即H＝[h₁，h₂，...，h_m]；其中，i＝1，2，...，m；m为所述单个句子中词的总个数；

特征向量计算单元，用于将所述特征向量H输入至知识图谱注意力层，得到所述单个句子的特征向量y。

本发明提供的技术方案带来的有益效果是：本发明所提出的技术方案提出一种分层知识图谱注意力模型，利用知识图谱表示帮助模型分配句子和词的权重，提高了模型的关系预测的准确率和召回率，进而提高了文本关系的抽取准确度。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是本发明实施例中一种基于分层知识图谱注意力模型的文本关系抽取方法的流程图；

图2是本发明实施例中分层知识图谱注意力模型的结构示意图；

图3是本发明实施例中句子编码器的结构示意图；

图4是本发明实施例中一种基于分层知识图谱注意力模型的文本关系抽取系统的模块组成示意图；

图5是本发明实施例中远程监督标注的数据以及噪音的示意图。

具体实施方式

为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本发明的具体实施方式。

本发明的实施例提供了一种基于分层知识图谱注意力模型的文本关系抽取方法及系统。

请参考图1，图1是本发明实施例中一种基于分层知识图谱注意力模型的文本关系抽取方法的流程图，具体包括如下步骤：

S101：根据待处理文本选取训练文本集；其中，所述训练文本集中包含有所述待处理文本的所有头实体和尾实体；

在本发明实施例中，所述训练文本集选取New York Time 60k(NYT 60k)；

S102：根据所述训练文本集选取知识图谱；所述训练文本集中的所有头实体和尾实体均包含于所述知识图谱中；

在本发明实施例中，所述知识图谱选取Freebase 60k(FB60k)；

S103：将所述训练文本集划分为多个头实体和尾实体相同的句子组成的包；即每个包中包含多个句子，一个包中的所有句子的头实体和尾实体均相同，且不同的包中的句子对应的头实体和尾实体不同；

S104：采用TransR模型将所述知识图谱进行转向量处理，得到转向量处理后的知识图谱；

S105：构建分层知识图谱注意力模型BG2KGA；如图2所示，所述分层知识图谱注意力模型BG2KGA包括第一注意力层KATT1和第二注意力层KATT2；所述第一注意力层包括多个句子编码器BGWKA；如图3所示，所述句子编码器BGWKA依次包括：输入层、嵌入层、双向GRU层、知识图谱注意力层和输出层；

S106：采用所述多个头实体和尾实体相同的句子组成的包和所述转向量处理后的知识图谱对所述分层知识图谱注意力模型BG2KGA进行训练，得到训练后的分层知识图谱注意力模型BG2KGA；

S107：将所述待处理文本中所有句子的头实体和尾实体进行标注，并将标注后的待处理文本输入所述训练后的分层知识图谱注意力模型，得到所述待处理文本中所有句子的头实体和尾实体对应的关系。

步骤S104中，所述TransR模型为利用所述知识图谱训练过后的TransR模型；训练方法如下：

首先随机初始化TransR模型的内部参数矩阵M_r；并采用公式(1)求出头实体中间向量h_r和尾实体中间向量t_r：

上式中，h和t分别为输入至TransR模型中的三元组中的头实体向量和尾实体向量；

然后根据头实体中间向量h_r和尾实体中间向量t_r，采用得分函数计算获得最大得分f_r(h，t)；具体如公式(2)所示：

上式中，r为输入至TransR模型中的三元组的关系向量；

最后根据公式(3)调节参数矩阵M_r，并将参数调节后的TransR模型作为新的TransR模型；

h_r+r≈t_r (3)

重复以上步骤，直到达到预定的迭代次数或者最大得分f_r(h，t)稳定，并将此时的TransR模型作为训练后的TransR模型对所述知识图谱中的所有三元组进行转向量，并将最后的参数矩阵M_r做为TransR模型训练后确定的内部权重矩阵。(具体训练方法可参考文献：Yankai Lin，Zhiyuan Liu，Maosong Sun，Yang Liu，Xuan Zhu；Leaming Entity andRelation Embeddings for Knowledge Graph Completion；Proceedings of the Twenty-Ninth AAAI Conference on Artificial Intelligence；)

步骤S106中，采用多个头实体和尾实体相同的句子组成的包和转向量处理后的所述知识图谱对所述分层知识图谱注意力模型进行训练，得到训练后的分层知识图谱注意力模型；具体步骤包括：

S201：在所述多个头实体和尾实体相同的句子组成的包中随机选择一个未参加过训练的包作为第一包输入至所述第一注意力层，得到所述第一包中各个句子的特征向量y_j；其中，j＝1，2，...，n，n为所述第一包中句子的总个数；

S202：将所述特征向量作为所述第二注意力层的输入，得到所述第一包对应的关系向量r_s；

S203：根据所述关系向量r_s，采用softmax分类器，计算获得所述第一包的关系概率矩阵P(r_s|B_s，θ)；计算公式如公式(4)所示：

上式中，B_s为所述转向量处理后的知识图谱，θ为整个模型的参数；M为待训练的参数矩阵，包含于θ中，初始值采用随机获取方法赋值；

S204：根据所述关系概率矩阵P(r_s|B_s，θ)，采用如公式(5)所示的最大似然函数作为损失函数J_θ对所述分层知识图谱注意力模型进行优化：

上式中，λ为预设的超参数，取0.0001；θ表示整个模型的待训练参数；S_s为所述转向量处理后的知识图谱中对应的包；s＝1，2，...，t；t为包的总个数；

S205：采用随机梯度下降法SGD来最小化所述损失函数，同时对所有待训练参数进行调节；并将参数调节后的分层知识图谱注意力模型作为新的分层知识图谱注意力模型；

S206：判断循环次数是否达到设定的最大迭代次数或者J_θ的值稳定至预设范围？若是，则到步骤S207；否则返回步骤S201；

S207：将此时的分层知识图谱注意力模型作为训练后的分层知识图谱注意力模型。

步骤S201中，在所述多个头实体和尾实体相同的句子组成的包中随机选择一个未参加过训练的包作为第一包输入至所述第一注意力层，得到所述第一包中各个句子的特征向量的方法为：

将所述第一包中各句子同时输入至所述第一注意力层；其中，每个句子对应一个所述第一注意力层的句子编码器BGWKA；各句子编码器BGWKA分别对各句子进行处理，得到所述第一包中各个句子的特征向量y_j；其中，j＝1，2，...，n，n为所述第一包中句子的总个数；具体的，任意某个句子编码器对输入该句子编码器中的句子进行处理的步骤包括：

S301：将所述单个句子中的各个词同时输入至输入层，以对所述句子做词嵌入处理，得到所述单个句子中每个词所对应的词嵌入向量；采用Word2vec工具(Mikolov etal.2013a；2013b；Mikolov，Yih，and Zweig 2013)做词嵌入处理；所述Word2Vec工具为已利用skip-gram模型完成词向量训练的Word2Vec工具；

S302：将所述词嵌入向量输入至嵌入层，以对所述单个句子中的每个词的位置做嵌入处理，得到所述单个句子中的每个词所对应的位置嵌入向量；

具体的，对所述单个句子中的每个词的位置做嵌入处理的方法为：把所述单个句子中的每个词相对于该句子的头实体和尾实体的两个相对位置放在同一个向量中，作为这个词的位置嵌入向量；相对位置，即为一个词和目标实体间的距离，比如，给出一句话：“史蒂夫乔布斯是苹果的联合创建者和CEO”，那么对于词“联合创建者”，它与实体“史蒂夫乔布斯”和“苹果”的相对位置为4和2；

S303：将所述单个句子的每个词的词嵌入向量和位置嵌入向量进行收尾拼接，得到所述单个句子中每个词的最终表示向量；

S304：将每个词的所述最终表示向量同时输入至所述双向GRU层，得到所述句子中每个词对应的词表示向量h_i；将所述单个句子中所有的词对应的词表示向量h_i依次组合至一个向量中，得到所述单个句子的特征向量H；即H＝[h₁，h₂，...，h_m]；其中，i＝1，2，...，m；m为所述单个句子中词的总个数；

S305：将所述特征向量H输入至知识图谱注意力层，得到所述单个句子的特征向量y；

步骤S305中，将所述特征向量H输入至知识图谱注意力层，得到该句子的特征向量y，具体步骤包括：

S401：根据所述词的特征向量H，采用激活函数tanh()计算获得第一中间向量v，计算公式如公式(6)所示：

v＝tanh(W₁H+b) (6)

上式中，W₁和b分别为待训练的第一参数矩阵和待训练的偏置矩阵，初始值均采用随机获取方法赋值；

S402：获取所述单个句子的头实体和尾实体在所述转向量处理后的知识图谱中的三元组(h，r，t)，并将获得的三元组经过TransR模型处理后，得到所述单个句子的头实体向量h和尾实体向量t；进而采用头实体向量h、尾实体向量t计算获得所述单个句子对应的第一关系向量r_ht，具体计算公式如公式(7)所示：

上式中，M_r为TransR模型训练后确定的内部权重矩阵；

S403：根据所述中间向量v和所述关系向量r_ht，采用公式(8)计算获得第一权重向量α：

α＝softmax([vW₂；r_ht]×W₃) (8)

上式中，W₂和W₃分别为待训练的第二参数矩阵和待训练的第三参数矩阵，初始值均采用随机获取方法赋值；分号“；”表示向量拼接运算；

S404：根据权重向量α和所述特征向量H，采用公式(9)计算获得该句子的特征向量y：

y＝H×α^T (9)。

步骤S202中，将所述特征向量作为所述第二注意力层的输入，得到所述第一包对应的关系向量r_s；具体包括：

5501：根据所述特征向量y_j，采用公式(10)计算获得第二中间向量e_j：

e_j＝tanh(W_sy_j+b_s) (10)

上式中，W_s和b_s分别为待训练的第四参数矩阵和待训练的第一偏置矩阵，初始值均采用随机获取方法赋值；其中，j＝1，2，...，n，n为所述第一包中句子的总个数；

S502：获取所述第一包的头实体和尾实体在所述转向量处理后的知识图谱中的三元组(h，r，t)，并将获得的三元组经过TransR模型处理后，得到所述第一包的头实体向量h和尾实体向量t；进而采用头实体向量h、尾实体向量t计算获得所述第一包对应的第二关系向量r_ht；由于所述第一包的头实体和尾实体所述句子的头实体和尾实体相同，所以所述第一关系向量和第二关系向量相同，均为r_ht；

S503：根据所述第二关系向量r_ht和所述第二中间向量e_j，采用公式(11)计算获得第二权重向量β_j：

β_j＝softmax(r_ht×e_j) (11)

S504：根据第二权重向量β_j，采用公式(12)计算获得关系向量r_s：

上式中，j＝1，2，...，n，n为所述第一包中句子的总个数。

请参阅图4，图4是本发明实施例中一种基于分层知识图谱注意力模型的文本关系抽取系统的模块组成示意图，包括依次连接的：文本集选择模块11、知识图谱选择模块12、句子分包模块13、转向量模块14、模型构建模块15、模型训练模块16和关系抽取模块17；

文本集选择模块11，用于根据待处理文本选取训练文本集；其中，所述训练文本集中包含有所述待处理文本的所有头实体和尾实体；

知识图谱选择模块12，用于根据所述训练文本集选取知识图谱；所述训练文本集中的所有头实体和尾实体均包含于所述知识图谱中；

句子分包模块13，用于将所述训练文本集划分为多个头实体和尾实体相同的句子组成的包；即每个包中包含多个句子，一个包中的所有句子的头实体和尾实体均相同，且不同的包中的句子对应的头实体和尾实体不同；

转向量模块14，用于采用TransR模型将所述知识图谱进行转向量处理，得到转向量处理后的知识图谱；其中，所述TransR模型为利用所述知识图谱训练过后的TransR模型；

模型构建模块15，用于构建分层知识图谱注意力模型BG2KGA；所述分层知识图谱注意力模型BG2KGA包括第一注意力层KATT1和第二注意力层KATT2；所述第一注意力层包括多个句子编码器BGWKA；所述句子编码器BGWKA依次包括：输入层、嵌入层、双向GRU层、知识图谱注意力层和输出层；

模型训练模块16，用于采用所述多个头实体和尾实体相同的句子组成的包和所述转向量处理后的知识图谱对所述分层知识图谱注意力模型BG2KGA进行训练，得到训练后的分层知识图谱注意力模型BG2KGA；

关系抽取模块17，用于将所述待处理文本中所有句子的头实体和尾实体进行标注，并将标注后的待处理文本输入所述训练后的分层知识图谱注意力模型，得到所述待处理文本中所有句子的头实体和尾实体对应的关系。

进一步地，模型训练模块16中，采用多个头实体和尾实体相同的句子组成的包和转向量处理后的所述知识图谱对所述分层知识图谱注意力模型进行训练，得到训练后的分层知识图谱注意力模型；具体步骤包括以下单元：

特征向量获取单元，用于在所述多个头实体和尾实体相同的句子组成的包中随机选择一个未参加过训练的包作为第一包输入至所述第一注意力层，得到所述第一包中各个句子的特征向量y_j；其中，j＝1，2，...，n，n为所述第一包中句子的总个数；

关系向量获取单元，用于将所述特征向量作为所述第二注意力层的输入，得到所述第一包对应的关系向量r_s；

概率矩阵获取单元，用于根据所述关系向量r_s，采用softmax分类器，计算获得所述第一包的关系概率矩阵P(r_s|B_s，θ)；计算公式如公式(4)所示：

上式中，B_s为所述转向量处理后的知识图谱，θ为整个模型的参数；M为待训练的参数矩阵，包含于θ中，初始值采用随机获取方法赋值；

损失函数计算单元，用于根据所述关系概率矩阵P(r_s|B_s，θ)，采用如公式(5)所示的最大似然函数作为损失函数J_θ对所述分层知识图谱注意力模型进行优化：

上式中，λ为预设的超参数，取0.0001；θ表示整个模型的待训练参数；S_s为所述转向量处理后的知识图谱中对应的包；s＝1，2，...，t；t为包的总个数；

参数调节单元，用于采用随机梯度下降法SGD来最小化所述损失函数，同时对所有待训练参数进行调节；并将参数调节后的分层知识图谱注意力模型作为新的分层知识图谱注意力模型；

判断单元，用于判断循环次数是否达到设定的最大迭代次数或者J_θ的值稳定至预设范围？若是，则到结束单元；否则返回特征向量获取单元；

结束单元，用于将此时的分层知识图谱注意力模型作为训练后的分层知识图谱注意力模型。

进一步地，特征向量获取单元中，在所述多个头实体和尾实体相同的句子组成的包中随机选择一个未参加过训练的包作为第一包输入至所述第一注意力层，得到所述第一包中各个句子的特征向量的方法为：

将所述第一包中各句子同时输入至所述第一注意力层；其中，每个句子对应一个所述第一注意力层的句子编码器BGWKA；各句子编码器BGWKA分别对各句子进行处理，得到所述第一包中各个句子的特征向量y_j；其中，j＝1，2，...，n，n为所述第一包中句子的总个数；具体的，任意某个句子编码器对输入该句子编码器中的单个句子进行处理的步骤包括如下单元：

词嵌入单元，用于将所述单个句子中的各个词同时输入至输入层，以对所述单个句子做词嵌入处理，得到所述单个句子中每个词所对应的词嵌入向量；

位置嵌入单元，用于将所述词嵌入向量输入至嵌入层，以对所述单个句子中的每个词的位置做嵌入处理，得到所述单个句子中的每个词所对应的位置嵌入向量；

拼接单元，用于将所述单个句子的每个词的词嵌入向量和位置嵌入向量进行收尾拼接，得到所述单个句子中每个词的最终表示向量；

特征向量获取单元，用于将每个词的所述最终表示向量同时输入至所述双向GRU层，得到所述单个句子中每个词对应的词表示向量h_i；将所述单个句子中所有的词对应的词表示向量h_i依次组合至一个向量中，得到所述单个句子的特征向量H；即H＝[h₁，h₂，...，h_m]；其中，i＝1，2，...，m；m为所述单个句子中词的总个数；

特征向量计算单元，用于将所述特征向量H输入至知识图谱注意力层，得到所述单个句子的特征向量y。

本发明的有益效果是：本发明所提出的技术方案提出一种分层知识图谱注意力模型，利用知识图谱表示帮助模型分配句子和词的权重，提高了模型的关系预测的准确率和召回率，进而提高了文本关系的抽取准确度。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于分层知识图谱注意力模型的文本关系抽取方法，其特征在于：包括以下步骤：

S101：根据待处理文本从各开源数据库中获取训练文本集；其中，所述训练文本集中包含有所述待处理文本的所有头实体和尾实体；

S102：根据所述训练文本集从各开源数据库中获取知识图谱；所述训练文本集中的所有头实体和尾实体均包含于所述知识图谱中；

S103：将所述训练文本集划分为多个头实体和尾实体相同的句子组成的包；即每个包中包含多个句子，一个包中的所有句子的头实体和尾实体均相同，不同的包中的句子对应的头实体和尾实体不同；

S104：采用TransR模型将所述知识图谱进行转向量处理，得到转向量处理后的知识图谱；其中，所述TransR模型为利用所述知识图谱训练过后的TransR模型；

S105：构建分层知识图谱注意力模型；所述分层知识图谱注意力模型包括第一注意力层和第二注意力层；所述第一注意力层包括多个句子编码器；所述句子编码器依次包括：输入层、嵌入层、双向GRU层、知识图谱注意力层和输出层；

S106：采用所述多个头实体和尾实体相同的句子组成的包和所述转向量处理后的知识图谱对所述分层知识图谱注意力模型进行训练，得到训练后的分层知识图谱注意力模型；

S107：将所述待处理文本中所有句子的头实体和尾实体进行标注，并将标注后的待处理文本输入所述训练后的分层知识图谱注意力模型，得到所述待处理文本中所有句子的头实体和尾实体对应的关系。

2.如权利要求1所述的一种基于分层知识图谱注意力模型的文本关系抽取方法，其特征在于：步骤S106中，采用多个头实体和尾实体相同的句子组成的包和转向量处理后的所述知识图谱对所述分层知识图谱注意力模型进行训练，得到训练后的分层知识图谱注意力模型；具体步骤包括：

S201：在所述多个头实体和尾实体相同的句子组成的包中随机选择一个未参加过训练的包作为第一包输入至第一注意力层，得到所述第一包中各个句子的特征向量y_j；其中，j＝1,2,…,n，n为所述第一包中句子的总个数；

S202：将所述特征向量作为第二注意力层的输入，得到所述第一包对应的关系向量r_s；

S203：根据关系向量r_s，采用softmax分类器，计算获得所述第一包的关系概率矩阵P(r_s|B_s,θ)；计算公式如公式(4)所示：

上式中，B_s为所述转向量处理后的知识图谱，θ为整个模型的参数；M为待训练的参数矩阵，包含于θ中，初始值采用随机获取方法赋值；

S204：根据关系概率矩阵P(r_s|B_s,θ)，采用如公式(5)所示的最大似然函数作为损失函数J_θ对所述分层知识图谱注意力模型进行优化：

上式中，λ为预设的超参数，取0.0001；θ表示整个模型的待训练参数；S_s为所述转向量处理后的知识图谱中对应的包；s＝1,2,…,t；t为包的总个数；

S205：采用随机梯度下降法SGD来最小化所述损失函数，同时对所有待训练参数进行调节；并将参数调节后的分层知识图谱注意力模型作为新的分层知识图谱注意力模型；

S206：判断循环次数是否达到设定的最大迭代次数或者J_θ的值稳定至预设范围？若是，则到步骤S207；否则返回步骤S201；

S207：将此时的分层知识图谱注意力模型作为训练后的分层知识图谱注意力模型。

3.如权利要求2所述的一种基于分层知识图谱注意力模型的文本关系抽取方法，其特征在于：步骤S201中，在所述多个头实体和尾实体相同的句子组成的包中随机选择一个未参加过训练的包作为第一包输入至所述第一注意力层，得到所述第一包中各个句子的特征向量的方法为：

将所述第一包中各句子同时输入至所述第一注意力层；其中，每个句子对应一个所述第一注意力层的句子编码器；各句子编码器分别对输入的句子进行处理，得到所述第一包中各个句子的特征向量y_j；其中，j＝12,…,n，n为所述第一包中句子的总个数；具体的，任意某个句子编码器对输入该句子编码器中的单个句子进行处理的步骤包括：

S301：将所述单个句子中的各个词同时输入至输入层，以对所述句子做词嵌入处理，得到所述单个句子中每个词所对应的词嵌入向量；

S302：将所述词嵌入向量输入至嵌入层，以对所述单个句子中的每个词的位置做嵌入处理，得到所述单个句子中的每个词所对应的位置嵌入向量；

S303：将所述单个句子的每个词的词嵌入向量和位置嵌入向量进行收尾拼接，得到所述单个句子中每个词的最终表示向量；

S304：将每个词的所述最终表示向量同时输入至所述双向GRU层，得到所述单个句子中每个词对应的词表示向量h_i；将所述单个句子中所有的词对应的词表示向量h_i依次组合至一个向量中，得到所述句子的特征向量H；即H＝[h₁,h₂,…,h_m]；其中，i＝1,2,…,m；m为所述单个句子中词的总个数；

S305：将所述特征向量H输入至知识图谱注意力层，得到所述单个句子的特征向量y。

4.如权利要求3所述的一种基于分层知识图谱注意力模型的文本关系抽取方法，其特征在于：步骤S301中，采用Word2vec工具对所述句子做词嵌入处理；所述Word2Vec工具为已利用skip-gram模型完成词向量训练的Word2Vec工具。

5.如权利要求3所述的一种基于分层知识图谱注意力模型的文本关系抽取方法，其特征在于：步骤S302中，对所述单个句子中的每个词的位置做嵌入处理的方法为：把所述单个句子中的每个词相对于该句子的头实体和尾实体的两个相对位置放在同一个向量中，作为每个词的位置嵌入向量；所述相对位置，为一个词和目标实体间的距离。

6.如权利要求3所述的一种基于分层知识图谱注意力模型的文本关系抽取方法，其特征在于：步骤S305中，将所述特征向量H输入至知识图谱注意力层，得到该句子的特征向量y，具体步骤包括：

S401：根据所述词的特征向量H，采用激活函数tanh()计算获得第一中间向量v，计算公式如公式(6)所示：

v＝tanh(W₁H+b) (6)

上式中，W₁和b分别为待训练的第一参数矩阵和待训练的偏置矩阵，初始值均采用随机获取方法赋值；

S402：获取所述单个句子的头实体和尾实体在所述转向量处理后的知识图谱中的三元组，并将获得的三元组经过TransR模型处理后，得到所述单个句子的头实体向量h和尾实体向量t；进而采用头实体向量h、尾实体向量t计算获得所述单个句子对应的第一关系向量r_ht，具体计算公式如公式(7)所示：

上式中，M_r为TransR模型训练后确定的内部权重矩阵；

S403：根据所述中间向量v和所述关系向量r_ht，采用公式(8)计算获得第一权重向量α：

α＝softmax([vW₂；r_ht]×W₃) (8)

上式中，W₂和W₃分别为待训练的第二参数矩阵和待训练的第三参数矩阵，初始值均采用随机获取方法赋值；

S404：根据权重向量α和所述特征向量H，采用公式(9)计算获得该句子的特征向量y：

y＝H×α^T (9)。

7.如权利要求2所述的一种基于分层知识图谱注意力模型的文本关系抽取方法，其特征在于：步骤S202中，将所述特征向量作为所述第二注意力层的输入，得到所述第一包对应的关系向量r_s；具体包括：

S501：根据所述特征向量y_j，采用公式(10)计算获得第二中间向量e_j：

e_j＝tanh(W_sy_j+b_s) (10)

上式中，W_s和b_s分别为待训练的第四参数矩阵和待训练的第一偏置矩阵，初始值均采用随机获取方法赋值；其中，j＝1,2,…,n，n为所述第一包中句子的总个数；

S502：获取所述第一包的头实体和尾实体在所述转向量处理后的知识图谱中的三元组，并将获得的三元组经过TransR模型处理后，得到所述第一包的头实体向量h和尾实体向量t；进而采用头实体向量h和尾实体向量t计算获得所述第一包对应的第二关系向量r_ht；由于所述第一包的头实体和尾实体所述句子的头实体和尾实体相同，所以所述第一关系向量和第二关系向量相同，均为r_ht；

S503：根据所述第二关系向量r_ht和所述第二中间向量e_j，采用公式(11)计算获得第二权重向量β_j：

β_j＝softmax(r_ht×e_j) (11)

S504：根据第二权重向量β_j，采用公式(12)计算获得关系向量r_s：

上式中，j＝1,2,…,n，n为所述第一包中句子的总个数。

8.一种基于分层知识图谱注意力模型的文本关系抽取系统，其特征在于：包括以下模块：

文本集选择模块，用于根据待处理文本选取训练文本集；其中，所述训练文本集中包含有所述待处理文本的所有头实体和尾实体；

知识图谱选择模块，用于根据所述训练文本集选取知识图谱；所述训练文本集中的所有头实体和尾实体均包含于所述知识图谱中；

句子分包模块，用于将所述训练文本集划分为多个头实体和尾实体相同的句子组成的包；即每个包中包含多个句子，一个包中的所有句子的头实体和尾实体均相同，且不同的包中的句子对应的头实体和尾实体不同；

转向量模块，用于采用TransR模型将所述知识图谱进行转向量处理，得到转向量处理后的知识图谱；其中，所述TransR模型为利用所述知识图谱训练过后的TransR模型；

模型构建模块，用于构建分层知识图谱注意力模型；所述分层知识图谱注意力模型包括第一注意力层和第二注意力层；所述第一注意力层包括多个句子编码器；所述句子编码器依次包括：输入层、嵌入层、双向GRU层、知识图谱注意力层和输出层；

模型训练模块，用于采用所述多个头实体和尾实体相同的句子组成的包和所述转向量处理后的知识图谱对所述分层知识图谱注意力模型进行训练，得到训练后的分层知识图谱注意力模型；

关系抽取模块，用于将所述待处理文本中所有句子的头实体和尾实体进行标注，并将标注后的待处理文本输入所述训练后的分层知识图谱注意力模型，得到所述待处理文本中所有句子的头实体和尾实体对应的关系。

9.如权利要求8所述的一种基于分层知识图谱注意力模型的文本关系抽取系统，其特征在于：模型训练模块中，采用多个头实体和尾实体相同的句子组成的包和转向量处理后的所述知识图谱对所述分层知识图谱注意力模型进行训练，得到训练后的分层知识图谱注意力模型；具体步骤包括以下单元：

特征向量获取单元，用于在所述多个头实体和尾实体相同的句子组成的包中随机选择一个未参加过训练的包作为第一包输入至所述第一注意力层，得到所述第一包中各个句子的特征向量y_j；其中，j＝1,2,…,n，n为所述第一包中句子的总个数；

关系向量获取单元，用于将所述特征向量作为所述第二注意力层的输入，得到所述第一包对应的关系向量r_s；

概率矩阵获取单元，用于根据所述关系向量r_s，采用softmax分类器，计算获得所述第一包的关系概率矩阵P(r_s|B_s,θ)；计算公式如公式(4)所示：

上式中，B_s为所述转向量处理后的知识图谱，θ为整个模型的参数；M为待训练的参数矩阵，包含于θ中，初始值采用随机获取方法赋值；

损失函数计算单元，用于根据所述关系概率矩阵P(r_s|B_s,θ)，采用如公式(5)所示的最大似然函数作为损失函数J_θ对所述分层知识图谱注意力模型进行优化：

上式中，λ为预设的超参数，取0.0001；θ表示整个模型的待训练参数；S_s为所述转向量处理后的知识图谱中对应的包；s＝1,2,…,t；t为包的总个数；

参数调节单元，用于采用随机梯度下降法SGD来最小化所述损失函数，同时对所有待训练参数进行调节；并将参数调节后的分层知识图谱注意力模型作为新的分层知识图谱注意力模型；

判断单元，用于判断循环次数是否达到设定的最大迭代次数或者J_θ的值稳定至预设范围？若是，则到结束单元；否则返回特征向量获取单元；

结束单元，用于将此时的分层知识图谱注意力模型作为训练后的分层知识图谱注意力模型。

10.如权利要求9所述的一种基于分层知识图谱注意力模型的文本关系抽取系统，其特征在于：特征向量获取单元中，在所述多个头实体和尾实体相同的句子组成的包中随机选择一个未参加过训练的包作为第一包输入至所述第一注意力层，得到所述第一包中各个句子的特征向量的方法为：

将所述第一包中各句子同时输入至所述第一注意力层；其中，每个句子对应一个所述第一注意力层的句子编码器；各句子编码器分别对各句子进行处理，得到所述第一包中各个句子的特征向量y_j；其中，j＝1,2,…,n，n为所述第一包中句子的总个数；具体的，任意某个句子编码器对输入该句子编码器中的单个句子进行处理的步骤包括如下单元：

词嵌入单元，用于将所述单个句子中的各个词同时输入至输入层，以对所述句子做词嵌入处理，得到所述单个句子中每个词所对应的词嵌入向量；

位置嵌入单元，用于将所述词嵌入向量输入至嵌入层，以对所述单个句子中的每个词的位置做嵌入处理，得到所述单个句子中的每个词所对应的位置嵌入向量；

拼接单元，用于将所述单个句子的每个词的词嵌入向量和位置嵌入向量进行收尾拼接，得到所述单个句子中每个词的最终表示向量；

特征向量获取单元，用于将每个词的所述最终表示向量同时输入至所述双向GRU层，得到所述单个句子中每个词对应的词表示向量h_i；将所述单个句子中所有的词对应的词表示向量h_i依次组合至一个向量中，得到所述单个句子的特征向量H；即H＝[h₁,h₂,…,h_m]；其中，i＝1,2,…,m；m为所述单个句子中词的总个数；

特征向量计算单元，用于将所述特征向量H输入至知识图谱注意力层，得到所述单个句子的特征向量y。