CN108733792B - 一种实体关系抽取方法 - Google Patents

Abstract

一种实体关系抽取方法，由于将预处理的信息输入到词语序列神经网络和实体序列神经网络中，分别进行关系抽取，在通过双向知识蒸馏方式使得两个网络相互学习，并集成两个网络的关系预测结果作为最后预测结果输出。由于将预处理信息输入到两个不同的神经网络，两个神经网络同时训练，互相作为对方的老师进行神经网络参数的调整，最终将两个神经网络输出的抽取关系进行加权集成输出，使得两个神经网络以协同的方式去除训练样本中的噪声数据，同时集成了两个不同神经网络各自的优点，实现优化降噪的目的。

Description

一种实体关系抽取方法

技术领域

本发明涉及信息处理领域，具体涉及一种实体关系抽取方法。

背景技术

信息抽取(Information Extraction)是指从一段文本中抽取实体、事件、关系等类型的信息，形成结构化数据存入数据库中以供用户查询和使用的过程。关系抽取(Relation Extraction)是信息抽取的关键内容，旨在发现现实世界实体(Entity)间的语义关系。近些年来，该项技术被广泛应用在许多机器学习和自然语言处理任务中，包括知识图谱(Knowledge Graph，KG)的构建及补全、信息检索、问答系统等。

传统的关系抽取研究一般采用有监督的机器学习方法，该类方法将关系抽取看作分类问题，使用人工标注的训练数据，通过抽取的词法特征和句法特征训练关系分类器，能取得一定的分类效果。但是，由于需要代价高昂的人工标注数据，使得有监督的关系抽取方法能识别的关系类型局限于特定领域且不能适应海量网络文本的情况。

为了解决有监督的关系抽取方法人工标注数据不足的问题，研究人员提出了自动生成标注数据的方法—远程监督(Distant Supervision)，其假设如果两个实体之间有某种语义关系，则所有包含它们的句子都在一定程度上表达了这种关系。基于上述假设，远程监督利用知识库蕴含的大量关系三元组，通过与训练语料的文本对齐，可以生成大量的标注数据。远程监督解决了有监督的关系抽取方法标注数据不足的问题，但由于其假设并不总是正确，导致生成的标注数据中存在大量的错误标注数据(即噪声数据)，对关系抽取模型造成不利影响。具体为，若现有知识图谱中存在三元组(实体1，实体2，关系r)，则文本语料中所有包含实体1和实体2的句子都将被标注为关系r，在这样的假设下远程监督能大规模地构建训练数据，但是并不保障数据的标注质量，反而引入了大量的噪声标注，严重损害了该类方法的关系抽取性能。例如，“奥巴马是美国的总统”这个句子并没有表达“奥巴马”与“美国”两个实体之间除了“是……的总统”之外的关系。在信息爆炸的今天，传统的监督式关系抽取由于需要高昂的人力成本来标注训练样本，无法应对互联网中体量巨大且日益增长的实体和关系信息。如何从海量的知识数据中高效且准确地抽取关系成为了一个难题。

发明内容

本申请提供一种实体关系抽取方法，通过将预处理信息输入两个神经网络，将两个神经网络获得抽取关系以双向知识蒸馏神经网络的方式分别调整两个神经网络的网络参数，再将预处理信息输入到两个参数调整后的神经网络中获得新的抽取关系，最后将两个新的抽取关系加权集成作为最终的关系抽取结果输出。

根据第一方面，一种实施例中提供一种实体关系抽取方法，包括：

将预处理信息输入到词语序列神经网络抽取第一类的抽取关系；其中所述预处理信息包括若干个句子；

将所述预处理信息输入到实体序列神经网络抽取第二类的抽取关系；

根据所述第一类的抽取关系和第二类的抽取关系调整所述词语序列神经网络和所述实体序列神经网络的参数；

将所述预处理信息输入到参数调整后的所述词语序列神经网络抽取第三类的抽取关系；

将所述预处理信息输入到参数调整后的所述实体序列神经网络抽取第四类的抽取关系；

将所述第三类的抽取关系和所述第四类的抽取关系加权集成以获取最终的抽取关系。

依据上述实施例的一种实体关系抽取方法，由于将预处理信息输入到两个不同的神经网络，两个神经网络同时训练，互相作为对方的老师进行神经网络参数的调整，最终将两个神经网络输出的抽取关系进行加权集成输出，使得两个神经网络以协同的方式去除训练样本中的噪声数据，同时集成了两个不同神经网络各自的优点，实现优化降噪的目的。

附图说明

图1一种实体关系抽取方法流程图；

图2为另一种实施例的实体关系抽取方法流程图；

图3为另一种实施例的实体关系抽取方法结构示意图。

具体实施方式

下面通过具体实施方式结合附图对本发明作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中，很多细节描述是为了使得本申请能被更好的理解。然而，本领域技术人员可以毫不费力的认识到，其中部分特征在不同情况下是可以省略的，或者可以由其他元件、材料、方法所替代。在某些情况下，本申请相关的一些操作并没有在说明书中显示或者描述，这是为了避免本申请的核心部分被过多的描述所淹没，而对于本领域技术人员而言，详细描述这些相关操作并不是必要的，他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。

另外，说明书中所描述的特点、操作或者特征可以以任意适当的方式结合形成各种实施方式。同时，方法描述中的各步骤或者动作也可以按照本领域技术人员所能显而易见的方式进行顺序调换或调整。因此，说明书和附图中的各种顺序只是为了清楚描述某一个实施例，并不意味着是必须的顺序，除非另有说明其中某个顺序是必须遵循的。

本文中为部件所编序号本身，例如“第一”、“第二”等，仅用于区分所描述的对象，不具有任何顺序或技术含义。而本申请所说“连接”、“联接”，如无特别说明，均包括直接和间接连接(联接)。

下面先对本申请所涉及到的一些术语作一个说明。

自动编码器(Auto Encoder，AE)主要利用人工神经网络的特点，人工神经网络(ANN)本身就是具有层次结构的系统。如果给定一个神经网络，假设其输出与输入是相同的，然后训练调整其参数，得到每一层中的权重。自然地，就得到了输入I的几种不同表示(每一层代表一种表示)，这些表示就是特征。自动编码器就是一种尽可能复现输入信号的神经网络。为了实现这种复现，自动编码器就必须捕捉可以代表输入数据的最重要的因素。

深信度神经网络(Deep Belief Networks,DBNs),是一个概率生成模型，与传统的判别模型的神经网络相对，生成模型是建立一个观察数据和标签之间的联合分布，对P(Observation|Label)和P(Label|Observation)都做了评估。DBNs由多个限制玻尔兹曼机(Restricted Boltzmann Machines)层组成。这些网络被“限制”为一个可视层和一个隐层，层间存在连接，但层内的单元间不存在连接。隐含层单元被训练去捕捉在可视层表现出来的高阶数据的相关性。

卷积神经网络(Convolutional Neural Networks，CNN)，是人工神经网络的一种，已成为当前语音分析和图像识别领域的研究热点。它的权值共享网络结构使之更类似于生物神经网络，降低了网络模型的复杂度，减少了权值的数量。该优点在网络的输入是多维图像时表现的更为明显，使图像可以直接作为网络的输入，避免了传统识别算法中复杂的特征提取和数据重建过程。卷积网络是为识别二维形状而特殊设计的一个多层感知器，这种网络结构对平移、比例缩放、倾斜或者共他形式的变形具有高度不变性。

基于远程监督的关系抽取方法通过自动对齐知识图谱与文本语料来产生大规模标注好的训练数据，其有效性和光明的前景引起了大量关注。远程监督中大量的假阳性(false positive)、假阴性(false negative)样本严重损害了该类方法的关系抽取性能。为了减轻噪声带来的影响，早期的研究采用了多实例学习(multi-instance learning)范式、概率图模型(probabilistic graphical model)等方法在噪声环境下建模目标关系在文本语料中的模式，而随着深度学习近年的飞速发展，前沿方法开始在该任务中引入深度神经网络来向量化表达语料文本，自动学习其模式特征并引入注意力机制动态减弱噪声影响。

例如，一种实体序列神经网络(KG-Network)的关系抽取方法，其步骤是：

步骤101、对每个句子和其相关的一对实体，采用卷积神经网络构建一对实体的句子向量表示；具体为对句子的输入的单词进行表示，得到词向量。

将句子的所有单词输入卷积神经网络。首先将句子中的所有单词转化为连续的向量表示。这里，每一个输入的单词转化为一个词向量矩阵中的向量，并使用位置向量对两个实体的位置区分。这里，词向量用于标识每个单词的语法和语义信息，采用文本深度表示模型(word2vec)学习得到。位置向量用于表示实体的位置信息，定义为每个单词和头实体、尾实体之间的相互位置差的向量表示。最终的词向量定义为word2vec学习到的词义向量与位置向量的拼接信息。

通过卷积，池化和非线性操作将输入的单词表示转化为句子的向量表示。

卷积操作定义为将一个词向量序列w和卷积矩阵W之间的操作，卷积操作可以通过一个长度为l的滑动窗口对局部特征进行提取。

首先定义q_i为在第i个窗口内部的所有的词向量的拼接信息：

q_i＝w_i-l+1:i(1≤i≤m+l-1)

由于窗口滑动时可能会超过句子的边界，在句子的边界加入一些空白词，也就是说，将所有超出句子边界的词的词向量看成似乎零向量。

然后，卷积得到的第i维特征定义为：

p_i＝[Wq+b]_i

其中b为偏置向量，最终句子的表示的第i维通过池化定义为：

[x]_i＝max(p_i)

此外，在关系抽取任务中，考虑了两个实体的位置之后，池化可以进一步改进为分段池化，将卷积得到的每一维特征p_i从头实体和尾实体分为三段(p_i1,p_i2,p_i3)，然后分别对每一段进行池化：

[x]_ij＝max(p_ij)

然后[x]_i定义为[x]_ij的拼接。

最后，在对向量x进行如tanh函数的非线性化，得到最终的句子向量表示。

步骤102、采用设置的句子级别注意力机制选择其中的表达了所述一对实体间的关系的句子向量表示，得到所述一对实体的综合句子向量表示，具体为：

定义所有句子的综合向量表示，很直观地，假设所有句子的表示向量为x₁,x₂,…,x_n，将句子的综合向量表示定义为所有句子向量表示向量的加权和：

其中a_i定义为每一个句子向量x_i的权重。

采用设置的句子级别注意力机制定义每一个句子向量表示的权重，采用一个基于查询的函数来衡量每一个句子的向量表示x_i和最终要预测的所述对实体间的关系r之间的关联程度。这里采用选择双线性函数来定义：

e_i＝x_i Ar；

其中，A为对角的参数矩阵，r为查询的目标关系r的向量表示，可以通过选择注意力机制定义每一个句子向量表示的权重如下：

由于考虑了最终要预测的所述对实体间的关系r的信息，采用设置的句子级别注意力机制进行选择之后，每一个句子向量的权重可以有效的将噪音句子的最终权重降低。

步骤103、根据所述一对实体的综合句子向量表示进行所述一对实体间的关系预测，得到预测值定义最终预测的关系的概率；

将给定所有句子的集合和所述对实体，最终预测得到的每一种关系的概率定义为：

其中n_r为所有关系种类的个数，o为最终神经网络的输入，定义如下：

o＝Ms+d

其中d为偏置向量，M为所有关系向量表示矩阵。

在通过随机梯度下降，最小化评价函数，对所有参数进行学习与更新，具体地，通过最小化评价函数学习所有的参数。评价函数公式如下：

其中s为所有训练句子集合的个数，θ表示所有的模型参数，采用随机梯度下降算法进行参数优化。最后通过信号丢失防止训练过拟合，为了防止训练过拟合，采用了现有的信号丢失机制，最终的输出o进一步定义为：

其中h为每一维概率为p的伯努利分布的向量。在最终的预测里，将最终的所有句子表示向量乘以p，也就是：

其核心是采用设置的句子级别注意力机制选择其中的表达了对实体间的关系的句子向量表示后，将两者进行关联后，采用公式通过选择注意力机制定义每一个句子向量表示，得到最终的预测关系。

再例如，一种词语序列神经网络(Corpus-Network)的关系抽取方法，将待处理文本分词后，将由各个词的词信息向量依次排列成的矩阵，输入卷积神经网络中，由卷积神经网络进行特征抽取，进而完成对待处理文本中实体关系的判断；词信息向量由对应的词向量Vector1、词性向量Vector2、相对于待抽取关系第一实体的位置向量Vector3和相对于第二实体的位置向量Vector4拼接而成。将词性信息作为输入信息，输入到卷积神经网络中。其步骤是：

步骤201、对待处理文本进行分词，形成词语序列，并对词语序列中的各个词语进行对应的词性标注。

步骤202、建立各个词与向量之间的映射关系，建立各个词性与向量之间的映射关系。具体为：

首先构建一个语料库，对语料库中的文本进行分词，并进行对应词性标注。

在对分词后形成词的进行向量转化，同一个词对应一个向量。并将各个词性进行向量转化，同一词性对应一个向量。具体可采用Word Embedding来进行词和词性的向量转化，采用word2vec来实现词和词性的向量化。

步骤203、计算序列中各个词相对于第一实体的位置，生成第一位置向量Vector3。计算句子中各个词相对于第二实体的位置，生成第二位置向量Vector4。在将词语序列中，各个词的词向量Vector1、词性向量Vector2，第一位置向量Vector3和第二位置向量Vector4，拼接成词信息向量Vector5。由序列中各个词的词信息向量依次排列形成词信息矩阵。

步骤204、将词信息矩阵输入到卷积神经网络中，最后通过Softmax分类器中进行对实体关系的分类预测。

关系事实往往在不同的神经网络中表达也会不同，比如知识图谱三元组、半结构化的表格等。同时利用不同神经网络进行关系抽取，将有利于借助不同神经网络的多样性和互补性实现更好的抽取性能。比如说知识图谱中的实体和关系路径信息等有助于更准确地定位文本语料中关键实体词的位置；另外当不同神经网络的表达不一致时，提供了线索来调整单一信息源的关系抽取结果。

基于上述内容，在本申请实施例中，提出一种实体关系抽取方法,将预处理的信息输入到词语序列神经网络和实体序列神经网络中，分别进行关系抽取，并通过双向知识蒸馏方式使得两个网络相互学习，并集成两个网络的关系预测结果作为最后预测结果输出。

实施例一：

请参考图1，一种实体关系抽取方法流程图。本申请公开的实体关系抽取方法包括：

S301、将预处理信息输入到词语序列神经网络抽取第一类的抽取关系。预处理信息包括若干个句子，句子可以直接从文本信息或语音信息转化获得。抽取关系包括输出预处理信息所表示的各种关系及各自关系的概率。

基于知识图谱查询预处理信息中的每个词语所指代的实体，根据实体在预处理信息中的先后顺序，将预处理信息转化为实体序列；

对预处理信息进行分词，得到若干个词语；根据这些词语在预处理信息中的先后顺序，将预处理信息转化为词语序列；

将词语序列通过词的分布式表示方法训练得到词向量序列；

按照各个词与实体序列中每个实体的相对距离编码得到位置特征向量，将位置特征向量与词语分布式表示向量拼接到词语序列向量；

利用编码器对词语序列向量进行编码；

通过句子层面的注意力机制获得注意力加权后的各个句子的向量化表示；

利用Softmax分类器将向量化表示作为模型输入，输出预处理信息表示的各种关系及各自关系的概率，作为第一类的抽取关系。

S302、将预处理信息输入到实体序列神经网络抽取第二类的抽取关系。

基于知识图谱查询预处理信息中的每个词语所指代的实体，根据实体在所述预处理信息中的先后顺序，将预处理信息转化为实体序列；

对实体序列通过实体的分布表示方法训练得到实体序列向量；

按照各个实体间相对距离编码得到位置特征向量，将位置特征向量拼接到实体序列向量；

通过链指候选实体和实体层面的注意力机制获得句子的隐向量表示；

利用双向GRU组件将实体序列向量与隐向量表示进行向量加权并编码；通过句子层面的注意力机制获得注意力加权后的各个句子的向量化表示；

利用Softmax分类器将向量化表示作为模型输入，输出预处理信息表示的各种关系及各自关系的概率，作为第五类的抽取关系；

将第五类的抽取关系按后验概率正则化的方式映射到规则子空间，获得第二类的抽取关系；规则子空间是指基于概率软逻辑设计的关系类型规则。

S303、根据第一类的抽取关系和第二类的抽取关系调整词语序列神经网络和词语序列神经网络的参数，包括：

以远监督标签作为硬标签，将第一类的抽取关系作为实体序列神经网络的软标签，通过计算实体序列神经网络的交叉熵损失函数，调整实体序列神经网络的参数。

以远监督标签作为硬标签，将第二类的抽取关系作为词语序列神经网络的软标签，通过计算词语序列神经网络的交叉熵损失函数，调整词语序列神经网络的参数。

近一步，实体序列神经网络和词语序列神经网络调整的参数包括注意力机制的权重矩阵。

S304、将预处理信息输入到网络参数调整后的词语序列神经网络抽取第三类的抽取关系。

S305、将预处理信息输入到网络参数调整后的实体序列神经网络抽取第四类的抽取关系。

S306、将第四类的抽取关系和第五类的抽取关系加权集成以获取最终的抽取关系。

进一步，将第三类的抽取关系和第四类的抽取关系输入到实体序列神经网络，根据实体序列神经网络的可靠性变化，进行对第三类的抽取关系和第四类的抽取关系权重的调整。在将权重的调整后的第四类的抽取关系和第五类的抽取关系加权集成以获取最终的抽取关系。

基于上述实施例，本申请公开了一种实体关系抽取方法,将预处理的信息输入到词语序列神经网络和实体序列神经网络中，分别进行关系抽取，并通过双向知识蒸馏方式使得两个网络相互学习，并集成两个网络的关系预测结果作为最后预测结果输出。由于将预处理信息输入到两个不同的神经网络，两个神经网络同时训练，互相作为对方的老师进行神经网络参数的调整，最终将两个神经网络输出的抽取关系进行加权集成输出，使得两个神经网络以协同的方式去除训练样本中的噪声数据，同时集成了两个不同神经网络各自的优点，实现优化降噪的目的。

实施例二：

请参考图2和图3，图2为一种实体关系抽取方法流程图，图3为一种实体关系抽取方法结构示意图。本实施例的实体关系抽取方法包括：

S401、将预处理的信息转化为实体序列，具体包括：

通过n-gram(指连续出现的n个词语)文本匹配将预处理信息中实体出现的先后顺序链指到所用的知识图谱，同时保留每个实体的链指候选实体。其中，实体链指(EntityLinking)，或称实体链接，是指用于将出现在预处理信息中的名称链接到其所指代的实体上去。在自然语言当中，多个实体可能共有同一个名称，也就是，名称可能具有歧义。比如“华盛顿”这个名字既可以指代美国的第一任总统，也可以指代美国的华盛顿州、华盛顿特区，甚至是美国政府。一般情况下，一个名称出现在上下文当中，其指代的对象是明确的。保留每个实体的链指候选实体具体指，每个实体作为查询文档，查询文档中一定包含了人们感兴趣的实体名称，可称为查询名称和查询名称的上下文。

预处理信息中的每个实体需要从知识库中找到查询名称所指代的实体，此时将其称为目标实体。将目标实体按在预处理信息中的先后顺序，转化成实体序列。例如，句子“贝拉克·奥巴马是美国总统”，假设用1-gram和2-gram一起做链指，就是先分别一个词一个词的去查询知识图谱有没有这个实体，如“贝拉克”“奥巴马”，再用两个词连在一起去检索查询“贝拉克·奥巴马”，进而获取。本例子中，获得的实体序列就是{贝拉克·奥巴马美国总统}。

S402、将实体序列输入词语序列神经网络获取抽取关系。

先将预处理信息进行分词。分词后按在预处理信息中的先后顺序转化成词语序列。按序词语序列转化为预训练的词语分布式向量序列，通过词语序列编码器将词语序列和实体序列整合编码，接着通过句子层面注意力机制加权得到各句子包的向量表示，最终由Softmax分类器获取抽取关系。包括以下步骤：

获得词语序列编码器的输入表示。先将词语序列通过词的分布式表示方法(word2vec)训练得到词向量序列，同时按照各个词与实体序列的相对距离编码得到位置特征向量，将位置特征向量与词语分布式表示向量拼接得到词语序列向量，如图3所示的

将词语序列向量输入到词语序列神经网络。本实施中词语序列编码器采用双向GRU(Gated Recurrent Unit)组件进行编码。将词语序列向量通过词层面的注意力机制以及双向GRU组件编码得到词向量加权后的各句子的隐向量表示，通过句子层面的注意力机制得到注意力加权后的向量化表示，如图3所示的S^w。例如，从预处理信息中获取10个词，则输入词语序列神经网络是10个词(每个100维)的词语序列向量。通过双向GRU每个词组件编码后，分别得到x维的隐含中间向量(x是人为预设定的GRU的维度)。同时将这10个x维通过注意力机制，按权重加在一起，最终得到一个x维的句子向量表征该句子。其中注意力机制可以这样理解，比如“美国的总统奥巴马昨日访华。”这句话中每个词对于关系“是总统”来说权重是不一样的，词语“访华”、就没“总统”重要性高。

最后通过利用Softmax分类器将该任务作为预定义关系的关系预测任务，以各个句子的向量表示作为模型输入，输出句子表示的各种关系及各自关系的概率，如图3所示的第一类的抽取关系P₁(S^w)。

其中，GRU是LSTM网络的一个变种，能编码时序信息特征的一种神经网络。它包括重置门r，更新门z和一个记忆单元s，其计算方式如下列公式所示：

z＝σ(t_iU_z+s_i-1W_z+b_z)

r＝σ(t_iU_r+s_i-1W_r+b_r)

t_i是输入向量，其代表三元组t的表示向量，h是输出向量，z是更新门，r是重置门，σ是sigmoid函数，

是Hadamard积，是两个矩阵各个元素的乘积。

S403、将实体序列输入实体序列神经网络获取抽取关系。

将实体序列转化为预训练的实体分布式向量序列，在通过实体序列编码器根据链指候选实体层面和实体层面注意力机制将实体序列进行编码，接着通过句子层面注意力机制加权得到各句子包的向量表示，最终由Softmax分类器获取抽取关系。具体为：

获得实体序列编码器的输入表示。将实体序列通过实体的分布表示方法(具体可采用Deepwalk、TransE等)训练得到实体序列向量，同时按各实体与目标实体的相对距离编码得到位置特征向量，将位置特征向量与实体分布式表示向量拼接得到实体序列向量，如图3所示的

将实体序列向量输入到实体序列神经网络。本实施中实体序列编码器采用双向GRU(Gated Recurrent Unit)组件进行编码。将实体序列向量通过链指候选实体和实体层面的注意力机制以及双向GRU组件编码得到实体向量两次加权后各句子的隐向量表示，再通过句子层面的注意力机制得到各句子包加权后的向量化表示，如图3所示的S^e。

最后通过利用Softmax分类器将该任务作为预定义关系的关系预测任务，以实体序列每种关系的向量表示作为模型输入，输出句子每个关系及每个关系的概率，如图3所示的第三类的抽取关系P₃(S^e)。

进一步，将第三类的抽取关系P₃(S^e)按后验概率正则化的方式映射到规则子空间得到第二类的抽取关系P₂(S^e)。

正则化一般用于求解不适定问题的普遍方法，是用一族与原不适定问题相“邻近”的适定问题的解去逼近原问题的解。具体实施方式是应用如下公式：

公式中p(S^e)是Softmax分类器输出的关系预测结果，p'(S^e)是映射到规则子空间后的关系预测结果，Sr是规则得分因子，表示p(S^e)满足预定规则的程度。

在S_r的计算中，C是正则化参数，λ_i是第i项规则的置信度，r_i(S^e)表示p(S^e)满足第i个规则的程度。

本实施例中，规则子空间具体是考虑实体对的关系有一定的主客实体类型限制，如关系“出生于”的主客实体类型必须是“人”和“地点”，基于概率软逻辑设计关系类型规则。各关系的实体类型限制和各实体的类型信息可以抽取知识图谱的“type/instance”、“rdf-schema#domain”和“rdf-schema#range”域得到。

S404、将实体序列神经网络和词语序列神经网络采取双向知识蒸馏方式自适应模仿对方网络，调整各自的网络参数。具体指将实体序列神经网络和词语序列神经网络各自的输出第一类的抽取关系P₁(S^w)和第二类的抽取关系P₂(S^e)以互为“蒸馏”的方式输入到对方网络，调整实体序列神经网络和词语序列神经网络的参数。

具体是，以远监督标签作为硬标签，将第二预测关系作为词语序列神经网络的软标签，将第一预测关系作为实体序列神经网络的软标签，计算词语序列神经网络和实体序列神经网络的交叉熵损失函数，具体计算公式如下：

其中L_c是词语序列神经网络的损失函数；L_k是实体序列神经网络的损失函数。y_i是远监督得到的硬标签,

和

分别是词语序列网络和实体序列神经网络给出的第i个句子实例的关系预测概率值。π_c和π_k是词语序列神经网络和实体序列神经网络的模仿权重，

表示交叉熵损失函数。

交叉熵是在神经网络(机器学习)中的一种损失函数，比如用p表示真实标记的分布，q为训练后的模型的预测标记分布，交叉熵损失函数用于衡量p与q的相似性。计算损失函数的目的是通过训练来使神经网络损失函数值变小，以达到神经网络的预测值尽可能拟合训练值。

其中，远监督标签就是以知识库作为监督源，以远程监督方法自动标注出的标签，即若句子存在实体对(实体1，实体2)，且已有的知识库中存在三元组(实体1，关系a，实体2)，则这个句子被标注为关系a。所以传统远监督的好处就是能大规模自动标注得到训练语料，但会引入大量的噪声。比如知识库存在(奥巴马，总统，美国)。但是句子“奥巴马的妻子昨天离开了美国”并没有表达关系“是总统”，这就被错误标注了成了“是总统”。在这个例子中，假设预定义了三种关系，用一个维度为3的独热向量表示：(是总统，是夫妻，无关系)，则这句话的远监督标签就是(1,0,0)。

通过SGD(stochastic gradient descent)或Adam(Adaptive MomentEstimation)等优化算法最小化各自损失函数，同时更新两个网络的模型参数。模型在不同数据上计算的损失函数不同，这两个优化算法通过计算梯度，每次最小化损失函数，从而迭代修改模型参数。

其中，修改的模型参数包括：

1)编码器双向GRU组件中的U、W、b和权重；

2)注意力机制的权重矩阵；

3)Softmax分类器的权重矩阵和偏移向量。

S405、将预处理信息重新输入到词语序列神经网路和实体序列神经网络获取新的抽取关系。

将预处理信息再次输入词语序列神经网络获得新的抽取关系，如图3所示的第四类的抽取关系P₄(S^w)。

将预处理信息再次输入实体序列神经网络获得新的抽取关系，如图3所示的第五类的抽取关系P₅(S^e)。

进一步，可在将实体序列神经网络和词语序列神经网络“蒸馏”后的输出，输入到实体序列神经网络，根据实体序列神经网络的可靠性变化，进行对抽取关系P₄(S^w)和P₅(S^e)权重的调整。实体序列神经网络对于不同的输入，分类性能(可靠性)是有变化的。在本文中，我们认为实体序列神经网络的输出越满足规则限制(越不违背限制)，越可靠。比如实体序列神经网络把“奥巴马，美国”预测成了“夫妻关系”，不符合类型规则限制，我们就认为此次预测实体序列神经网络不可靠，在集成结果的时候，降低它的权重。

S406、将词语序列神经网路和实体序列神经网络各自获得的新抽取关系加权集成作为最终结果输出。

最后将两个网络输出的预测关系概率加权集成作为最终的关系预测结果输出。如图3中所示，最终的结果P通过P₄(S^w)的权重和P₅(S^e)的权重求和得到。例如，针对同一个实体对(或同一组句子)，实体神经网络给出从实体序列的角度给出预测关系，这个预测关系的概率向量是p1。词语序列神经网络给出从词语序列的角度给出预测关系，这个预测关系的概率向量是p2。通过这两个预测值(也就是软标签)，两个网络相互调整参数。将两个网络的关系概率加权集成，比如0.3p1+0.7p2作为最终结果输出。实体神经网络和词语序列神经网络的权重(重要性)分别是0.3和0.7。

进一步，在本实施例中模仿权重设置为反比于各自网络的硬标签损失函数值，即根据两个神经网络在不同样本实例上的分类性能自适应调整。实体序列神经网络和词语序列神经网络双向GRU需要学习的权重(模型参数)，包括权重矩阵和偏移矩阵。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。另外，如本领域技术人员所理解的，本文的原理可以反映在计算机可读存储介质上的计算机程序产品中，该可读存储介质预装有计算机可读程序代码。任何有形的、非暂时性的计算机可读存储介质皆可被使用，包括磁存储设备(硬盘、软盘等)、光学存储设备(CD-ROM、DVD、Blu Ray盘等)、闪存和/或诸如此类。这些计算机程序指令可被加载到通用计算机、专用计算机或其他可编程数据处理设备上以形成机器，使得这些在计算机上或其他可编程数据处理装置上执行的指令可以生成实现指定的功能的装置。这些计算机程序指令也可以存储在计算机可读存储器中，该计算机可读存储器可以指示计算机或其他可编程数据处理设备以特定的方式运行，这样存储在计算机可读存储器中的指令就可以形成一件制造品，包括实现指定功能的实现装置。计算机程序指令也可以加载到计算机或其他可编程数据处理设备上，从而在计算机或其他可编程设备上执行一系列操作步骤以产生一个计算机实现的进程，使得在计算机或其他可编程设备上执行的指令可以提供用于实现指定功能的步骤。

以上应用了具体个例对本发明进行阐述，只是用于帮助理解本发明，并不用以限制本发明。对于本发明所属技术领域的技术人员，依据本发明的思想，还可以做出若干简单推演、变形或替换。

Claims (10)

1.一种实体关系抽取方法,其特征在于，包括：

将预处理信息输入到词语序列神经网络抽取第一类的抽取关系；其中所述预处理信息包括若干个句子；

将所述预处理信息输入到实体序列神经网络抽取第二类的抽取关系；

根据所述第一类的抽取关系调整所述实体序列神经网络的参数，和根据所述第二类的抽取关系调整所述词语序列神经网络的参数；

将所述预处理信息输入到参数调整后的所述词语序列神经网络抽取第三类的抽取关系；

将所述预处理信息输入到参数调整后的所述实体序列神经网络抽取第四类的抽取关系；

将所述第三类的抽取关系和所述第四类的抽取关系加权集成以获取最终的抽取关系。

2.如权利要求1所述的方法，其特征在于，将所述预处理信息输入到所述词语序列神经网络抽取第一类的抽取关系，包括：

基于知识图谱查询所述预处理信息中的每个词语所指代的实体，根据所述实体在所述预处理信息中的先后顺序，将所述预处理信息转化为实体序列；

对所述预处理信息进行分词，得到若干个词语；根据这些词语在所述预处理信息中的先后顺序，将所述预处理信息转化为词语序列；

将所述词语序列通过词语的分布式表示方法训练得到词语序列向量；

按照各个词语与所述实体序列中每个实体的相对距离编码得到位置特征向量，将所述位置特征向量与词语分布式表示向量拼接到所述词语序列向量；

利用编码器对所述词语序列向量进行编码；

通过句子层面的注意力机制获得注意力加权后的各个句子的向量化表示；

利用Softmax分类器将所述向量化表示作为模型输入，输出所述预处理信息表示的各种关系及各自关系的概率，作为第一类的抽取关系。

3.如权利要求1所述的方法，其特征在于，将所述预处理信息输入到所述实体序列神经网络抽取第二类的抽取关系，包括：

基于知识图谱查询所述预处理信息中的每个词语所指代的实体，根据所述实体在所述预处理信息中的先后顺序，将所述预处理信息转化为实体序列；

对所述实体序列通过实体的分布表示方法训练得到实体序列向量；

按照各个实体间相对距离编码得到位置特征向量，将所述位置特征向量拼接到所述实体序列向量；

利用编码器对所述实体序列向量进行编码；

通过句子层面的注意力机制获得注意力加权后的各个句子的向量化表示；

利用Softmax分类器将所述向量化表示作为模型输入，输出所述预处理信息表示的各种关系及各自关系的概率，作为第五类的抽取关系；

根据所述第五类的抽取关系获取所述第二类的抽取关系。

4.如权利要求3所述的方法，其特征在于，所述利用编码器对所述实体序列向量进行编码，包括：

通过链指候选所述实体和实体层面的注意力机制获得句子的隐向量表示；

利用双向GRU组件将所述实体序列向量与所述隐向量表示进行向量加权并编码。

5.如权利要求3所述的方法，其特征在于，根据所述第五类的抽取关系获取所述第二类的抽取关系包括：

将所述第五类的抽取关系按后验概率正则化的方式映射到规则子空间，获得所述第二类的抽取关系；所述规则子空间是指基于概率软逻辑设计的关系类型规则。

6.如权利要求1所述的方法，其特征在于，根据所述第一类的抽取关系调整所述实体序列神经网络的参数，和根据所述第二类的抽取关系调整所述词语序列神经网络的参数，包括：

以远监督标签作为硬标签；

将所述第一类的抽取关系作为所述实体序列神经网络的软标签，调整所述实体序列神经网络的参数；

将所述第二类的抽取关系作为所述词语序列神经网络的软标签，调整所述词语序列神经网络的参数。

7.如权利要求1所述的方法，其特征在于，根据所述第一类的抽取关系调整所述实体序列神经网络的参数，和根据所述第二类的抽取关系调整所述词语序列神经网络的参数，包括：

以远监督标签作为硬标签；

将所述第一类的抽取关系作为所述实体序列神经网络的软标签，通过计算所述实体序列神经网络的交叉熵损失函数，调整所述实体序列神经网络的参数；

将所述第二类的抽取关系作为所述词语序列神经网络的软标签，通过计算所述词语序列神经网络的交叉熵损失函数，调整所述词语序列神经网络的参数。

8.如权利要求7所述的方法，其特征在于，所述实体序列神经网络和所述词语序列神经网络调整的参数包括注意力机制的权重矩阵。

9.如权利要求1所述的方法，其特征在于，将所述第三类的抽取关系和所述第四类的抽取关系加权集成作为最终关系抽取的结果输出，还包括：

将所述第三类的抽取关系和所述第四类的抽取关系输入到所述实体序列神经网络，根据所述实体序列神经网络的可靠性变化，对所述第三类的抽取关系和所述第四类的抽取关系的权重进行调整。

10.一种计算机可读存储介质，其特征在于，包括程序，所述程序能够被处理器执行以实现如权利要求1-9中任一项所述的方法。

Images