CN111008276B - 一种完整实体关系抽取方法及装置 - Google Patents

Abstract

本发明提供一种完整实体关系抽取方法，该方法包括：首先对词序列进行预处理，然后输入到神经网络，利用神经网络编码器部分对词序列信息进行编码，并将编码结果传递给神经网络的解码器部分进行解码，获得只包含实体开始字的关系三元组，与分类器获得的词序列的BIO标签综合获得包含完整实体的关系三元组。综合利用基于BIO标签和拷贝机制，对于实体关系存在重叠时，能够抽取完整实体关系，且能确保获得的实体关系比较准确。

Description

一种完整实体关系抽取方法及装置

技术领域

本发明涉及信息处理领域，具体涉及一种完整实体关系抽取方法及装置。

背景技术

现有的基于神经网络的在有实体重叠现象时的实体关系抽取方法主要由以下步骤构成：首先将词序列进行词的向量化预处理，然后将预处理后的词序列输入编码器，编码器将输入词序列进行编码并产生输入词序列的编码表示。接着解码器读入所述编码表示，然后拷贝单个词的实体直接生成各个关系三元组。

而现有的方法生成实体关系时利用了拷贝机制从输入词序列中只复制了一个词，但是很多情况下，一个实体可以包含多个词，比如实体北京稻香村包括了北京和稻香村两个词，此时在生成实体关系时每次只复制一个词作为实体，就会导致实体不准确，进而导致实体关系不准确；且这种每次只复制一个词作为一个实体，也会使得实体存在重叠关系，如实体“北京”与实体“北京稻香村”存在重叠关系，且在实体重叠情况下，现有的技术只能抽取部分实体关系，不能生成一个完整的实体关系。

发明内容

本发明提供一种完整实体关系抽取方法，用以解决实体关系抽取中出现实体重叠现象时将实体完整地抽取出来的问题。

本发明提供一种完整实体关系抽取方法，包括以下步骤：

步骤1，将预处理好的词序列信息输入神经网络，神经网络的编码器部分将所述词序列信息进行编码，得到输入词序列信息的编码表示，并对所述词序列信息进行标签预测，所述标签为BIO标签；

步骤2，将所述输入词序列信息的编码表示输入到神经网络的解码器部分进行解码；

步骤3，解码器生成的输出序列按顺序每三个元素构成一个只包含实体开始字的关系三元组，综合考虑只包含实体开始字的关系三元组和输入词序列中每个词的标签以获取包含完整实体的关系三元组，所述标签为BIO标签。

进一步地，所述步骤1将预处理好的词序列信息输入神经网络，神经网络的编码器部分将词序列信息进行编码，编码步骤，包括：

步骤S101：输入的词序列为x＝[x₁,x₂,...x_i,...x_n]，对所述输入的词序列进行词向量预处理，得到词向量矩阵，所述词向量矩阵为v＝[v₁,v₂,...v_i,...v_n]，其中，x为所述输入的词序列，v为所述词向量矩阵，n为所述词序列内词的总个数，i为所述词序列内词个数的变量，初始值为1，以1为单位递增，最大值为n，x_i表示所述词序列中第i个词，v_i表示所述词向量矩阵第i个词的向量；

步骤S102：每个词都经过神经网络的编码器计算单元进行处理，所述编码器的编码表示计算公式如下：

其中，E为编码(Encode)的缩写，

为第i个词的编码表示，

为所述输入词序列中前i个词的编码表示，

为所述输入词序列前i-1个词的编码表示，

为随机初始化且可学习的参数，f()为编码器计算单元；

步骤S103：利用分类器对所有词进行标签预测，所述分类器为softmax分类器，所述标签为BIO标签；

步骤S104：如果i≤n，重复步骤S102至步骤S103，否则转到步骤2。

进一步地，步骤S103所述利用分类器对所有词进行标签预测,所述分类器为softmax分类器，所述标签为BIO标签，包括：

对所有词进行BIO预测，即对每个词预测一个标签，对应子标签有三个，分别是B标签，I标签和O标签；

B标签，表示当前词是一个实体的开始字；

I标签，表示当前词是一个实体除开始字以外的字；

O标签，表示当前词不属于所述一个实体；

标签预测公式如下：

其中，p^BIO为预测BIO标签的概率分布，W^BIO和b^BIO均为随机初始化且可学习的参数，softmax为分类器，所述分类器为softmax分类器，所述标签为BIO标签。

进一步地，所述步骤2将输入词序列信息的编码表示输入到神经网络的解码器部分进行解码，解码步骤，包括：

步骤S201：所述解码器解码模型计算公式如下：

其中，t为当前解码时刻，D为解码(Decode)的缩写，

为解码器在t时刻的输出向量，

是解码器在t时刻的隐状态，

为第t-1个解码时刻的隐状态，

u₀均为随机初始化且可学习的参数，g()为解码器计算单元，u_t为第t个解码时刻解码器的输入；

步骤S202：如果t％3＝1，利用关系预测函数对所述词序列信息进行关系预测，使用分类器来获取所预测的关系；如果t％3≠1转到步骤S203；所述关系预测函数如下：

其中，p^l为所述关系的概率分布，w^l与b^l均为随机初始化且可学习的参数，所述分类器为softmax分类器；

步骤S203：如果t％3＝2，利用拷贝机制从输入词序列中选择一个词复制过来作为第一个实体的开始字，使用分类器来选择需要拷贝的实体；如果t％3≠2转到步骤S204，所述分类器来选择需要拷贝的实体计算公式如下：

其中，p^e为各个词拷贝的概率，w^e、b^e均为随机初始化且可学习的参数，所述分类器为softmax分类器；

步骤S204：如果t％3＝0，利用拷贝机制从输入词序列中选择一个词复制过来作为第二个实体的开始字，采用的公式为所述分类器来选择需要拷贝的实体计算公式；

步骤S205:如果t＜T，其中T为解码时刻的最大值，并且满足T＝3m，m为正整数，取值范围为m∈{1,2,3,...,m}，重复按序执行所述步骤S201至S204，否则转到步骤S206；

步骤S206:如果t＝T，结束解码过程。

进一步地，所述步骤3所述解码器生成的输出序列按顺序每三个元素构成一个只包含实体开始字的关系三元组，综合考虑只包含实体开始字的关系三元组和输入词序列中每个词的BIO标签以获取包含完整实体的关系三元组，完整关系三元组抽取步骤，包括：

步骤S301：给定一个只包含实体开始字的关系三元组以及输入词序列中每个词的标签，所述标签为BIO标签；

步骤S302：取出所述只包含实体开始字的关系三元组中的第一个实体的开始字，找到所述第一个实体在输入词序列中对应的BIO标签，如果所述第一个实体的开始字对应的标签是B标签，则将词序列中所述第一个实体的开始字后面连续标签为I标签的字取出，直到出现O标签时结束，取出B标签对应的字拼接在所述第一个实体的开始字后面，作为抽取得到的第一个完整实体；

例如：“北京稻香村”是一个完整实体，北对应的标签为B，京稻香村对应的标签分别为I，如果村后面跟了个其他字如它，则它对应的标签为O，表示它不属于完整“北京稻香村”，而属于其他实体。

步骤S303：取出所述只包含实体开始字的关系三元组中的第二个实体的开始字，找到所述第二个实体在输入词序列中对应的BIO标签，如果所述第二个实体的开始字对应的标签是B标签，则将词序列中所述第二个实体的开始字后面连续标签为I标签的字取出，直到出现O标签时结束，取出B标签对应的字拼接在所述第二个实体的开始字后面，作为抽取得到的第二个完整实体；

步骤S304：取出只包含实体开始字的关系三元组中的关系，与步骤S303和步骤S302中所述完整实体构成一个完整的关系三元组；

步骤S305：如果还有未处理的只包含实体开始字的关系三元组，则按序重复执行步骤S301、步骤S302、步骤S303；否则，则结束关系三元组抽取。

一种完整实体关系抽取装置，其特征在于，包括：

编码模块，将预处理好的词序列信息输入神经网络，神经网络的编码器部分将所述词序列信息进行编码，得到输入词序列信息的编码表示，并对所述词序列信息进行标签预测，所述标签为BIO标签；

解码模块，将所述输入词序列信息的编码表示输入到神经网络的解码器部分进行解码；

获取模块，解码器生成的输出序列按顺序每三个元素构成一个只包含所述实体开始字的关系三元组，综合考虑只包含实体开始字的关系三元组和输入词序列中每个词的标签以获取包含完整实体的关系三元组，所述标签为BIO标签。

进一步地，所述编码模块包括：

预处理子模块：输入的词序列为x＝[x₁,x₂,...x_i,...x_n]，对所述输入的词序列进行词向量预处理，得到词向量矩阵，所述词向量矩阵为v＝[v₁,v₂,...v_i,...v_n]，其中，x为所述输入的词序列，v为所述词向量矩阵，n为所述词序列内词的总个数，i为所述词序列内词个数的变量，初始值为1，以1为单位递增，最大值为n，x_i表示所述词序列中第i个词，v_i表示所述词向量矩阵第i个词的向量；

编码计算子模块：每个词都经过神经网络的编码器计算单元进行处理，所述编码器的编码表示计算公式如下：

其中，E为编码(Encode)的缩写，

为第i个词的编码表示，

为所述输入词序列中前i个词的编码表示，

为所述输入词序列前i-1个词的编码表示，

为随机初始化且可学习的参数，f()为编码器计算单元；

标签预测子模块：利用分类器对所有词进行标签预测，所述分类器为softmax分类器，所述标签为BIO标签；

循环解码子模块：如果i≤n，重复编码计算子模块至标签预测子模块，否则转到解码模块。

进一步地，所述标签预测子模块所述利用分类器对所有词进行标签预测,所述分类器为softmax分类器，所述标签为BIO标签，包括：

对所有词进行BIO预测，即对每个词预测一个标签，对应子标签有三个，分别是B标签，I标签和O标签；

B标签，表示当前词是一个实体的开始字；

I标签，表示当前词是一个实体除开始字以外的字；

O标签，表示当前词不属于所述一个实体；

标签预测公式如下：

其中，p^BIO为预测BIO标签的概率分布，W^BIO和b^BIO均为随机初始化且可学习的参数，softmax为分类器，所述分类器为softmax分类器，所述标签为BIO标签。

进一步地，所述解码模块将输入词序列信息的编码表示输入到神经网络的解码器部分进行解码，解码步骤，包括：

解码计算子模块：所述解码器解码模型计算公式如下：

其中，t为当前解码时刻，D为解码(Decode)的缩写，

为解码器在t时刻的输出向量，

是解码器在t时刻的隐状态，

为第t-1个解码时刻的隐状态，

u₀均为随机初始化且可学习的参数，g()为解码器计算单元，u_t为第t个解码时刻解码器的输入；

关系预测子模块：如果t％3＝1，利用关系预测函数对所述词序列信息进行关系预测，使用分类器来获取所预测的关系；如果t％3≠1第一实体拷贝子模块；所述关系预测函数如下：

其中，p^l为所述关系的概率分布，w^l与b^l均为随机初始化且可学习的参数，所述分类器为softmax分类器；

第一实体拷贝子模块：如果t％3＝2，利用拷贝机制从输入词序列中选择一个词复制过来作为第一个实体的开始字，使用分类器来选择需要拷贝的实体；如果t％3≠2转到第二实体拷贝子模块，所述分类器来选择需要拷贝的实体计算公式如下：

其中，p^e为各个词拷贝的概率，w^e、b^e均为随机初始化且可学习的参数，所述分类器为softmax分类器；

第二实体拷贝子模块：如果t％3＝0，利用拷贝机制从输入词序列中选择一个词复制过来作为第二个实体的开始字，采用的公式为所述分类器来选择需要拷贝的实体计算公式；

循环子模块:如果t＜T，其中T为解码时刻的最大值，并且满足T＝3m，m为正整数，取值范围为m∈{1,2,3,...,m}，重复按序执行所述解码计算子模块、关系预测子模块、第一实体拷贝子模块、第二实体拷贝子模块，否则转到结束判断子模块；

结束判断子模块:如果t＝T，结束解码过程。

进一步地，所述获取模块包括：

数据子模块：给定一个只包含实体开始字的关系三元组以及输入词序列中每个词的标签，所述标签为BIO标签；

第一完整实体子模块：取出所述只包含实体开始字的关系三元组中的第一个实体的开始字，找到所述第一个实体在输入词序列中对应的BIO标签，如果所述第一个实体的开始字对应的标签是B标签，则将词序列中所述第一个实体的开始字后面连续标签为I标签的字取出，直到出现O标签时结束，取出B标签对应的字拼接在所述第一个实体的开始字后面，作为抽取得到的第一个完整实体；

第二完整实体子模块：取出所述只包含实体开始字的关系三元组中的第二个实体的开始字，找到所述第二个实体在输入词序列中对应的BIO标签，如果所述第二个实体的开始字对应的标签是B标签，则将词序列中所述第二个实体的开始字后面连续标签为I标签的字取出，直到出现O标签时结束，取出B标签对应的字拼接在所述第二个实体的开始字后面，作为抽取得到的第二个完整实体；

完整关系三元组组成子模块：取出只包含实体开始字的关系三元组中的关系，与第一完整实体子模块和第二完整实体子模块中所述完整实体构成一个完整的关系三元组；

循环组合完整三元组子模块：如果还有未处理的只包含实体开始字的关系三元组，则按序重复执行数据子模块、第一完整实体子模块、第二完整实体子模块、完整关系三元组组成子模块；否则，则结束关系三元组抽取。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1为本发明实施例中一种完整实体关系抽取方法流程图；

图2为本发明实施例中一种完整实体关系抽取装置图。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

下面是对本申请所涉及到的一些术语作一个说明：

BIO标签包含三个标签B标签、I标签、O标签。B为开始(Begin)的缩写，I为内部(Inside)的缩写，O为其他(Other)的缩写，B标签，表示当前词是一个预设实体的开始字；I标签，表示当前词是一个预设实体(即任何一个实体)除开始字以外的词；O标签，当前词不属于该预设实体，即该当前词属于其他实体中的词。三个标签统称为BIO标签。

实体关系抽取是指从给定的词序列(通常是句子)中抽取出所有关系三元组。

关系三元组(简称三元组)包含了一个关系以及相关的两个实体，比如(国籍，姚明，中国)就是一个关系三元组，表示姚明的国籍是中国。实体重叠现象是指两个(或者多个)三元组之间会出现共享实体(共享一个或者两个)的情况。比如三元组(国籍，姚明，中国)与(职业，姚明，篮球运动员)就存在实体重叠，一个实体可以是一个词或者若干个词，如北京稻香村是一个完整的实体，但相关技术会将北京识别为一个实体，稻香村识别为另一个实体，还例如：姚明就是一个实体。

本发明实施例一种完整实体关系抽取方法，如图1所示，其步骤为：

步骤1：将预处理好的词序列信息输入神经网络，神经网络的编码器部分将词序列信息进行编码，得到输入词序列信息的编码表示。

上述技术方案的工作原理为：步骤S101：输入的词序列为x＝[x₁,x₂,...x_i,...x_n]，对所述输入的词序列进行词向量预处理，得到词向量矩阵，所述词向量矩阵为v＝[v₁,v₂,...v_i,...v_n]，其中，x为所述输入的词序列，v为所述词向量矩阵，n为所述词序列内词的总个数，i为所述词序列内词个数的变量，初始值为1，以1为单位递增，最大值为n，x_i表示所述词序列中第i个词，v_i表示所述词向量矩阵第i个词的向量；

步骤S102：每个词都经过神经网络的编码器计算单元进行处理，所述编码器的编码表示计算公式如下：

其中，E为编码(Encode)的缩写，

为第i个词的编码表示，

为所述输入词序列中前i个词的编码表示，

为所述输入词序列前i-1个词的编码表示，

为随机初始化且可学习的参数，f()为编码器计算单元；

步骤S103：利用分类器对所有词进行标签预测，所述分类器为softmax分类器，所述标签为BIO标签；

步骤S104：如果i≤n，重复步骤S102至步骤S103，否则转到步骤2。

上述技术方案的有益效果为：通过神经网络编码器与标签预测相结合的方式，提取出词序列中最具有代表性的信息，缩减输入的信息量，得到词序列数据的精髓，然后在把缩减过后的信息放入到神经网络中学习，有效降低学习复杂度，并获得词序列编码表示与词序列标签，为后续完整实体关系抽取方法做准备。

步骤2：将输入词序列信息的编码表示输入到神经网络的解码器部分进行解码。

上述技术方案的工作原理为：步骤S201：所述解码器解码模型计算公式如下：

其中，t为当前解码时刻，D为解码(Decode)的缩写，

为解码器在t时刻的输出向量，

是解码器在t时刻的隐状态，

为第t-1个解码时刻的隐状态，

u₀均为随机初始化且可学习的参数，g()为解码器计算单元，u_t为第t个解码时刻解码器的输入；

步骤S202：如果t％3＝1，利用关系预测函数对所述词序列信息进行关系预测，使用分类器来获取所预测的关系；如果t％3≠1转到步骤S203；所述关系预测函数如下：

其中，p^l为所述关系的概率分布，w^l与b^l均为随机初始化且可学习的参数，所述分类器为softmax分类器；

步骤S203：如果t％3＝2，利用拷贝机制从输入词序列中选择一个词复制过来作为第一个实体的开始字，使用分类器来选择需要拷贝的实体；如果t％3≠2转到步骤S204，所述分类器来选择需要拷贝的实体计算公式如下：

其中，p^e为各个词拷贝的概率，w^e、b^e均为随机初始化且可学习的参数，所述分类器为softmax分类器；

步骤S204：如果t％3＝0，利用拷贝机制从输入词序列中选择一个词复制过来作为第二个实体的开始字，采用的公式为所述分类器来选择需要拷贝的实体计算公式；

步骤S205:如果t＜T，其中T为解码时刻的最大值，并且满足T＝3m，m为正整数，取值范围为m∈{1,2,3,...,m}，重复按序执行所述步骤S201至S204，否则转到步骤S206；

步骤S206:如果t＝T，结束解码过程。

上述技术方案的有益效果为：解码器通过拷贝机制，选出的只包含实体开始字的关系三元组，可综合只包含实体开始字的关系三元组和输入词序列中每个词的标签，获取完整的关系三元组，以确保获得的实体关系比较准确，并有效地克服关系抽取中实体重叠的问题。

步骤3：解码器生成的输出序列按顺序每三个元素构成一个只包含实体开始字(如姚明这个实体的开始字就是姚，北京这个实体的开始字就是北)的关系三元组，综合考虑只包含实体开始字的关系三元组和输入词序列中每个词的标签以获取包含完整实体的关系三元组，所述标签为BIO标签；

上述技术方案的工作原理为：给定一个只包含实体开始字的关系三元组以及输入词序列中每个词的标签，所述标签为BIO标签；

取出所述只包含实体开始字的关系三元组中的第一个实体的开始字(即序列中第一标签为B的字)，找到所述关系三元组中的第一个实体的开始字在输入词序列中对应的BIO标签，具体地，所述关系三元组中的第一个实体的开始字对应的标签是B标签，则按序取出词序列中所述关系三元组中的第一个实体的开始字后面连续标签为I标签的词序列，直到所述关系三元组中的第一个实体在输入词序列中对应标签再次出现O标签时，将第一个实体中标签为B和标签为I的字组合在一起就是第一个完整实体；

取出所述只包含实体开始字的关系三元组中的第二个实体的开始字，找到所述第二个实体的开始字在输入词序列中对应的BIO标签，具体地，如果所述第二个实体的开始字对应的标签是B标签，则将该第二个实体的开始字后面连续标签为I的词序列取出，直到第二个实体在输入词序列中对应的标签变为O标签时，将第二个实体中标签为B和标签为I的字组合在一起就是第二个完整实体；

取出只包含实体开始字的关系三元组中的关系，与所述第一个完整实体、第二个完整实体构成一个完整的关系三元组；

如果还有未处理的只包含实体开始字的关系三元组，则按序重复执行上述流程，如果没有未处理的只包含实体开始字的关系三元组，则结束关系三元组抽取，得到所有包含完整实体的关系三元组。

上述技术方案的有益效果为：利用BIO标签预测技术获得第一个完整实体和第二个完整实体，综合只包含实体开始字的关系三元组中的关系、第一个完整实体和第二个完整实体三方面因素构成一个完整的关系三元组，就能够保持完整地抽取实体关系，循环查找关系三元组并进行完整关系抽取处理，能最大限度地抽取词序列内所有完整实体关系的三元组。

一种完整实体关系抽取装置10，其特征在于，包括：

编码模块101，将预处理好的词序列信息输入神经网络，神经网络的编码器部分将所述词序列信息进行编码，得到输入词序列信息的编码表示，并对所述词序列信息进行标签预测，所述标签为BIO标签；

解码模块102，将所述输入词序列信息的编码表示输入到神经网络的解码器部分进行解码；

获取模块103，解码器生成的输出序列按顺序每三个元素构成一个只包含所述实体开始字的关系三元组，综合考虑只包含实体开始字的关系三元组和输入词序列中每个词的标签以获取包含完整实体的关系三元组，所述标签为BIO标签。

在本发明实施例中，所述编码模块101包括：

预处理子模块：输入的词序列为x＝[x₁,x₂,...x_i,...x_n]，对所述输入的词序列进行词向量预处理，得到词向量矩阵，所述词向量矩阵为v＝[v₁,v₂,...v_i,...v_n]，其中，x为所述输入的词序列，v为所述词向量矩阵，n为所述词序列内词的总个数，i为所述词序列内词个数的变量，初始值为1，以1为单位递增，最大值为n，x_i表示所述词序列中第i个词，v_i表示所述词向量矩阵第i个词的向量；

编码计算子模块：每个词都经过神经网络的编码器计算单元进行处理，所述编码器的编码表示计算公式如下：

其中，E为编码(Encode)的缩写，

为第i个词的编码表示，

为所述输入词序列中前i个词的编码表示，

为所述输入词序列前i-1个词的编码表示，

为随机初始化且可学习的参数，f()为编码器计算单元；

标签预测子模块：利用分类器对所有词进行标签预测，所述分类器为softmax分类器，所述标签为BIO标签；

循环解码子模块：如果i≤n，重复编码计算子模块至标签预测子模块，否则转到解码模块。

进一步地，上述实施例中，所述标签预测子模块所述利用分类器对所有词进行标签预测,所述分类器为softmax分类器，所述标签为BIO标签，包括：

对所有词进行BIO预测，即对每个词预测一个标签，对应子标签有三个，分别是B标签，I标签和O标签；

B标签，表示当前词是一个实体的开始字；

I标签，表示当前词是一个实体除开始字以外的字；

O标签，表示当前词不属于所述一个实体；

标签预测公式如下：

其中，p^BIO为预测BIO标签的概率分布，W^BIO和b^BIO均为随机初始化且可学习的参数，softmax为分类器，所述分类器为softmax分类器，所述标签为BIO标签。

进一步地，上述实施例中，所述解码模块102将输入词序列信息的编码表示输入到神经网络的解码器部分进行解码，解码步骤，包括：

解码计算子模块：所述解码器解码模型计算公式如下：

其中，t为当前解码时刻，D为解码(Decode)的缩写，

为解码器在t时刻的输出向量，

是解码器在t时刻的隐状态，

为第t-1个解码时刻的隐状态，

u₀均为随机初始化且可学习的参数，g()为解码器计算单元，u_t为第t个解码时刻解码器的输入；

关系预测子模块：如果t％3＝1，利用关系预测函数对所述词序列信息进行关系预测，使用分类器来获取所预测的关系；如果t％3≠1第一实体拷贝子模块；所述关系预测函数如下：

其中，p^l为所述关系的概率分布，w^l与b^l均为随机初始化且可学习的参数，所述分类器为softmax分类器；

第一实体拷贝子模块：如果t％3＝2，利用拷贝机制从输入词序列中选择一个词复制过来作为第一个实体的开始字，使用分类器来选择需要拷贝的实体；如果t％3≠2转到第二实体拷贝子模块，所述分类器来选择需要拷贝的实体计算公式如下：

其中，p^e为各个词拷贝的概率，w^e、b^e均为随机初始化且可学习的参数，所述分类器为softmax分类器；

第二实体拷贝子模块：如果t％3＝0，利用拷贝机制从输入词序列中选择一个词复制过来作为第二个实体的开始字，采用的公式为所述分类器来选择需要拷贝的实体计算公式；

循环子模块:如果t＜T，其中T为解码时刻的最大值，并且满足T＝3m，m为正整数，取值范围为m∈{1,2,3,...,m}，重复按序执行所述解码计算子模块、关系预测子模块、第一实体拷贝子模块、第二实体拷贝子模块，否则转到结束判断子模块；

结束判断子模块:如果t＝T，结束解码过程。

进一步地，上述实施例中，所述获取模块103包括：

数据子模块：给定一个只包含实体开始字的关系三元组以及输入词序列中每个词的标签，所述标签为BIO标签；

第一完整实体子模块：取出所述只包含实体开始字的关系三元组中的第一个实体的开始字，找到所述第一个实体在输入词序列中对应的BIO标签，如果所述第一个实体的开始字对应的标签是B标签，则将词序列中所述第一个实体的开始字后面连续标签为I标签的字取出，直到出现O标签时结束，取出B标签对应的字拼接在所述第一个实体的开始字后面，作为抽取得到的第一个完整实体；

第二完整实体子模块：取出所述只包含实体开始字的关系三元组中的第二个实体的开始字，找到所述第二个实体在输入词序列中对应的BIO标签，如果所述第二个实体的开始字对应的标签是B标签，则将词序列中所述第二个实体的开始字后面连续标签为I标签的字取出，直到出现O标签时结束，取出B标签对应的字拼接在所述第二个实体的开始字后面，作为抽取得到的第二个完整实体；

完整关系三元组组成子模块：取出只包含实体开始字的关系三元组中的关系，与第一完整实体子模块和第二完整实体子模块中所述完整实体构成一个完整的关系三元组；

循环组合完整三元组子模块：如果还有未处理的只包含实体开始字的关系三元组，则按序重复执行数据子模块、第一完整实体子模块、第二完整实体子模块、完整关系三元组组成子模块；否则，则结束关系三元组抽取。

上述装置的技术方案与有益效果为：

编码模块通过神经网络编码器与标签预测相结合的方式，提取出词序列中最具有代表性的信息，缩减输入的信息量，得到词序列数据的精髓，然后在把缩减过后的信息放入到神经网络中学习，有效降低学习复杂度，并获得词序列编码表示与词序列标签，为后续完整实体关系抽取装置做准备；

解码模块通过拷贝机制，分别选出的第一实体开始字与第二个实体的开始字，可以有效地克服关系抽取中实体重叠的问题，满足条件循环抽取第一个实体的开始字、第二个实体的开始字，可以抽取到所有的第一个实体的开始字、第二个实体的开始字，最大程度地保留了词序列信息内的完整信息。

获取模块利用BIO标签预测技术获得第一个完整实体和第二个完整实体，综合只包含实体开始字的关系三元组中的关系、第一个完整实体和第二个完整实体三方面因素构成一个完整的关系三元组，就能够保持完整地抽取实体关系，循环查找关系三元组并进行完整关系抽取处理，能最大限度地抽取词序列内所有完整实体关系的三元组。

Claims (6)

1.一种完整实体关系抽取方法，其特征在于，包括：

步骤1，将预处理好的词序列信息输入神经网络，神经网络的编码器部分将所述词序列信息进行编码，得到输入词序列信息的编码表示，并对所述词序列信息进行标签预测，所述标签为BIO标签；

步骤2，将所述输入词序列信息的编码表示输入到神经网络的解码器部分进行解码；

步骤3，解码器生成的输出序列按顺序每三个元素构成一个只包含实体开始字的关系三元组，综合考虑只包含实体开始字的关系三元组和输入词序列中每个词的标签以获取包含完整实体的关系三元组，所述标签为BIO标签；

所述步骤1将预处理好的词序列信息输入神经网络，神经网络的编码器部分将词序列信息进行编码，编码步骤，包括：

步骤S101：输入的词序列为x＝[x₁,x₂,...x_i,...x_n]，对所述输入的词序列进行词向量预处理，得到词向量矩阵，所述词向量矩阵为v＝[v₁,v₂,...v_i,...v_n]，其中，x为所述输入的词序列，v为所述词向量矩阵，n为所述词序列内词的总个数，i为所述词序列内词个数的变量，初始值为1，以1为单位递增，最大值为n，x_i表示所述词序列中第i个词，v_i表示所述词向量矩阵第i个词的向量；

步骤S102：每个词都经过神经网络的编码器计算单元进行处理，所述编码器的编码表示计算公式如下：

其中，E为编码(Encode)的缩写，

为第i个词的编码表示，

为所述输入词序列中前i个词的编码表示，

为所述输入词序列前i-1个词的编码表示，

为随机初始化且可学习的参数，f()为编码器计算单元；

步骤S103：利用分类器对所有词进行标签预测，所述分类器为softmax分类器，所述标签为BIO标签；

步骤S104：如果i≤n，重复步骤S102至步骤S103，否则转到步骤2；

所述步骤3所述解码器生成的输出序列按顺序每三个元素构成一个只包含实体开始字的关系三元组，综合考虑只包含实体开始字的关系三元组和输入词序列中每个词的BIO标签以获取包含完整实体的关系三元组，完整关系三元组抽取步骤，包括：

步骤S301：给定一个只包含实体开始字的关系三元组以及输入词序列中每个词的标签，所述标签为BIO标签；

步骤S302：取出所述只包含实体开始字的关系三元组中的第一个实体的开始字，找到所述第一个实体在输入词序列中对应的BIO标签，如果所述第一个实体的开始字对应的标签是B标签，则将词序列中所述第一个实体的开始字后面连续标签为I标签的字取出，直到出现O标签时结束，取出B标签对应的字拼接在所述第一个实体的开始字后面，作为抽取得到的第一个完整实体；

步骤S303：取出所述只包含实体开始字的关系三元组中的第二个实体的开始字，找到所述第二个实体在输入词序列中对应的BIO标签，如果所述第二个实体的开始字对应的标签是B标签，则将词序列中所述第二个实体的开始字后面连续标签为I标签的字取出，直到出现O标签时结束，取出B标签对应的字拼接在所述第二个实体的开始字后面，作为抽取得到的第二个完整实体；

步骤S304：取出只包含实体开始字的关系三元组中的关系，与步骤S303和步骤S302中所述完整实体构成一个完整的关系三元组；

步骤S305：如果还有未处理的只包含实体开始字的关系三元组，则按序重复执行步骤S301、步骤S302、步骤S303、步骤S304；否则，则结束关系三元组抽取。

2.如权利要求1所述的编码步骤，其特征在于，步骤S103所述利用分类器对所有词进行标签预测,所述分类器为softmax分类器，所述标签为BIO标签，包括：

对所有词进行BIO预测，即对每个词预测一个标签，对应子标签有三个，分别是B标签，I标签和O标签；

B标签，表示当前词是一个实体的开始字；

I标签，表示当前词是一个实体除开始字以外的字；

O标签，表示当前词不属于所述一个实体；

标签预测公式如下：

其中，p^BIO为预测BIO标签的概率分布，W^BIO和b^BIO均为随机初始化且可学习的参数，softmax为分类器，所述分类器为softmax分类器，所述标签为BIO标签。

3.如权利要求1所述的方法，其特征在于，所述步骤2将输入词序列信息的编码表示输入到神经网络的解码器部分进行解码，解码步骤，包括：

步骤S201：所述解码器解码模型计算公式如下：

其中，t为当前解码时刻，D为解码(Decode)的缩写，

为解码器在t时刻的输出向量，

是解码器在t时刻的隐状态，

为第t-1个解码时刻的隐状态，

u₀均为随机初始化且可学习的参数，g()为解码器计算单元，u_t为第t个解码时刻解码器的输入；

步骤S202：如果t％3＝1，利用关系预测函数对所述词序列信息进行关系预测，使用分类器来获取所预测的关系；如果t％3≠1转到步骤S203；所述关系预测函数如下：

其中，p^l为所述关系的概率分布，w^l与b^l均为随机初始化且可学习的参数，所述分类器为softmax分类器；

步骤S203：如果t％3＝2，利用拷贝机制从输入词序列中选择一个词复制过来作为第一个实体的开始字，使用分类器来选择需要拷贝的实体；如果t％3≠2转到步骤S204，所述分类器来选择需要拷贝的实体计算公式如下：

其中，p^e为各个词拷贝的概率，w^e、b^e均为随机初始化且可学习的参数，所述分类器为softmax分类器；

步骤S204：如果t％3＝0，利用拷贝机制从输入词序列中选择一个词复制过来作为第二个实体的开始字，采用的公式为所述分类器来选择需要拷贝的实体计算公式；

步骤S205:如果t＜T，其中T为解码时刻的最大值，并且满足T＝3m，m为正整数，取值范围为m∈{1,2,3,...,m}，重复按序执行所述步骤S201至S204，否则转到步骤S206；

步骤S206:如果t＝T，结束解码过程。

4.一种完整实体关系抽取装置，其特征在于，包括：

编码模块，将预处理好的词序列信息输入神经网络，神经网络的编码器部分将所述词序列信息进行编码，得到输入词序列信息的编码表示，并对所述词序列信息进行标签预测，所述标签为BIO标签；

解码模块，将所述输入词序列信息的编码表示输入到神经网络的解码器部分进行解码；

获取模块，解码器生成的输出序列按顺序每三个元素构成一个只包含所述实体开始字的关系三元组，综合考虑只包含实体开始字的关系三元组和输入词序列中每个词的标签以获取包含完整实体的关系三元组，所述标签为BIO标签；

所述编码模块包括：

预处理子模块：输入的词序列为x＝[x₁,x₂,...x_i,...x_n]，对所述输入的词序列进行词向量预处理，得到词向量矩阵，所述词向量矩阵为v＝[v₁,v₂,...v_i,...v_n]，其中，x为所述输入的词序列，v为所述词向量矩阵，n为所述词序列内词的总个数，i为所述词序列内词个数的变量，初始值为1，以1为单位递增，最大值为n，x_i表示所述词序列中第i个词，v_i表示所述词向量矩阵第i个词的向量；

编码计算子模块：每个词都经过神经网络的编码器计算单元进行处理，所述编码器的编码表示计算公式如下：

其中，E为编码(Encode)的缩写，

为第i个词的编码表示，

为所述输入词序列中前i个词的编码表示，

为所述输入词序列前i-1个词的编码表示，

为随机初始化且可学习的参数，f()为编码器计算单元；

标签预测子模块：利用分类器对所有词进行标签预测，所述分类器为softmax分类器，所述标签为BIO标签；

循环解码子模块：如果i≤n，重复编码计算子模块至标签预测子模块，否则转到解码模块；

所述获取模块包括：

数据子模块：给定一个只包含实体开始字的关系三元组以及输入词序列中每个词的标签，所述标签为BIO标签；

第一完整实体子模块：取出所述只包含实体开始字的关系三元组中的第一个实体的开始字，找到所述第一个实体在输入词序列中对应的BIO标签，如果所述第一个实体的开始字对应的标签是B标签，则将词序列中所述第一个实体的开始字后面连续标签为I标签的字取出，直到出现O标签时结束，取出B标签对应的字拼接在所述第一个实体的开始字后面，作为抽取得到的第一个完整实体；

第二完整实体子模块：取出所述只包含实体开始字的关系三元组中的第二个实体的开始字，找到所述第二个实体在输入词序列中对应的BIO标签，如果所述第二个实体的开始字对应的标签是B标签，则将词序列中所述第二个实体的开始字后面连续标签为I标签的字取出，直到出现O标签时结束，取出B标签对应的字拼接在所述第二个实体的开始字后面，作为抽取得到的第二个完整实体；

完整关系三元组组成子模块：取出只包含实体开始字的关系三元组中的关系，与第一完整实体子模块和第二完整实体子模块中所述完整实体构成一个完整的关系三元组；

循环组合完整三元组子模块：如果还有未处理的只包含实体开始字的关系三元组，则按序重复执行数据子模块、第一完整实体子模块、第二完整实体子模块、完整关系三元组组成子模块；否则，则结束关系三元组抽取。

5.如权利要求4所述的装置，其特征在于，所述标签预测子模块所述利用分类器对所有词进行标签预测,所述分类器为softmax分类器，所述标签为BIO标签，包括：

对所有词进行BIO预测，即对每个词预测一个标签，对应子标签有三个，分别是B标签，I标签和O标签；

B标签，表示当前词是一个实体的开始字；

I标签，表示当前词是一个实体除开始字以外的字；

O标签，表示当前词不属于所述一个实体；

标签预测公式如下：

其中，p^BIO为预测BIO标签的概率分布，W^BIO和b^BIO均为随机初始化且可学习的参数，softmax为分类器，所述分类器为softmax分类器，所述标签为BIO标签。

6.如权利要求4所述的装置，其特征在于，所述解码模块将输入词序列信息的编码表示输入到神经网络的解码器部分进行解码，解码步骤，包括：

解码计算子模块：所述解码器解码模型计算公式如下：

其中，t为当前解码时刻，D为解码(Decode)的缩写，

为解码器在t时刻的输出向量，

是解码器在t时刻的隐状态，

为第t-1个解码时刻的隐状态，

u₀均为随机初始化且可学习的参数，g()为解码器计算单元，u_t为第t个解码时刻解码器的输入；

关系预测子模块：如果t％3＝1，利用关系预测函数对所述词序列信息进行关系预测，使用分类器来获取所预测的关系；如果t％3≠1第一实体拷贝子模块；所述关系预测函数如下：

其中，p^l为所述关系的概率分布，w^l与b^l均为随机初始化且可学习的参数，所述分类器为softmax分类器；

第一实体拷贝子模块：如果t％3＝2，利用拷贝机制从输入词序列中选择一个词复制过来作为第一个实体的开始字，使用分类器来选择需要拷贝的实体；如果t％3≠2转到第二实体拷贝子模块，所述分类器来选择需要拷贝的实体计算公式如下：

其中，p^e为各个词拷贝的概率，w^e、b^e均为随机初始化且可学习的参数，所述分类器为softmax分类器；

第二实体拷贝子模块：如果t％3＝0，利用拷贝机制从输入词序列中选择一个词复制过来作为第二个实体的开始字，采用的公式为所述分类器来选择需要拷贝的实体计算公式；

循环子模块:如果t＜T，其中T为解码时刻的最大值，并且满足T＝3m，m为正整数，取值范围为m∈{1,2,3,...,m}，重复按序执行所述解码计算子模块、关系预测子模块、第一实体拷贝子模块、第二实体拷贝子模块，否则转到结束判断子模块；

结束判断子模块:如果t＝T，结束解码过程。

Images