CN110275928A - 迭代式实体关系抽取方法 - Google Patents

Abstract

本发明涉及一种迭代式实体关系抽取方法，包括对迭代式实体关系抽取方法进行训练，以及使用训练好的模型对新的数据库中的实体关系进行抽取。本发明涉及到两个神经网络结构，一个是实体和关系抽取网络，另一个是异常实例发现网络，这两个网络结构是可以灵活改变的，在这网络中可以逐步添加一些新的数据特征，而不需要改变其他的结构。本发明人工确认非异常关系实例可以使用一种二分类分类器，这个过程不需要说明当前实例是否是某一种关系，只需要判断这个实例是否是一种关系就可以了，因此使用一个二分类的分类器可以避免人工干预。

Description

迭代式实体关系抽取方法

技术领域

本发明涉及知识库创建过程中的实体和关系抽取方法，具体涉及一种迭代式实体关系抽 取方法。

背景技术

在现有的技术中，主要采用神经网络中的监督学习算法或者远监督学习算法，在使用这 些算法的过程中就需要提取语料的特征，这些特征也是通过自然语言处理工具产生。然后将 这些特征输入到神经网络中。在训练数据有限的情况下，使用自然语言提取的特征也就不会 丰富，并且在使用自然语言处理工具提取特征还会出现错误传播的现象。使用远监督学习算 法也会出现错误的示例，而这些实例也就会加入到知识库中。

在很多关系抽取中，抽取过程往往都是一次性的，没有考虑到抽取的迭代过程，如果在 监督学习中加入迭代过程，这样就不会出现训练集稀少的问题。抽取过程中不可避免地会出 现一些错误的实体和关系加入到知识库中，所以需要一种异常数据检测，在完善知识库的过 程中不断地将知识库更加精确。

知识库的构建对生产和生活中的诸多领域都会产生深远的影响。其中实体和关系的抽取 是知识库创建过程中的最重要环节之一。在实体和关系抽取的过程中我们希望抽取的实体和 关系覆盖更多的领域，并且在使用的过程中尽可能地满足不同领域的用户需求，除此之外还 需要更加精确地满足要求。覆盖更多的领域就需要有大量的样本数据，并且不断地在日益增 加的数据中不断发现新的实体和关系。本方法实现的就是通过迭代的方式不断发现数据中的 实体和关系，并且逐步将知识库更加的细化和精确。

比如在自动问答系统中，提问的方式各种各样。有的提问的目标在最开始，有的是在末 尾，还有的是中间。所以构建一个比较精确的知识库可以适应各种问答场景，因为问答中始 终是围绕着一个中心实体或者实体对的关系展开的。并且知识库不能是一成不变的，还要处 于不断的更新和迭代中，这样才能将新的知识纳入到知识库中，使用旧的知识不断发现新的 知识，不断扩充知识库，这样才是一个比较完备和鲁棒的知识库系统。

发明内容

本发明的目的是提供一种迭代式实体关系抽取方法，用以解决目前存在的实体和关系抽 取方法不能实现迭代化的过程和异常关系和实体检测的问题。本发明旨在通过将远监督抽取 方法使用不断迭代的方式，在这个迭代的过程中不断发现语料中新的特征，不断地将新的特 征加入到训练语料，通过不断迭代的方式在语料库中发现更多的实体和关系的过程。

本发明提出的迭代式实体关系抽取方法，具体步骤如下：

(1)：对迭代式实体关系抽取方法进行训练

(1.1)：从实体关系库中按时间倒序方式，分批次取出固定数量的实体关系集和与其对应 的句子；将该句子编码为词向量的形式，将句子中的每个词语的词性、该词语与实体词之间 的距离编码后连接到单词的词向量中，将编码后的结果输入到实体关系抽取模型中；所述实 体关系抽取模型是一个可替换的神经网络模型，使用PCNN模型进行替代；在模型训练的过 程中，根据输入的词向量信息、位置信息和词性信息可以提取句子中的语法语义特征；

(1.2)：PCNN模型提取句子中语法语义特征、词性特征和距离特征，根据输入的语法语 义特征、词性特征和距离特征，利用神经网络模型的卷积神经网络输出一个包含以上特征的 特征向量，使用该特征向量用来表示当前句子；

(1.3)：实体和关系的抽取过程就是从句子中抽取出包含实体和两个实体间关系的三元组 信息，句子中包含的三元组信息可以表示为(实体1，关系，实体2)的形式；所有关系的 类别编码成一个矩阵；将步骤(1.2)得到的表示当前句子的特征向量与关系中的类别信息组 成的矩阵相乘输出一个向量，该向量就可以对当前句子中包含的实体间的关系的预测，预测 后得到的关系是一个准关系，即完成实体关系抽取模型训练阶段；在实体关系抽取模型训练 阶段，使用预测得到的关系和句子本身真实的关系对网络神经模型进行梯度下降优化；

(1.4)：在步骤(1.3)对实体关系抽取模型训练的时候，同时对异常关系检测模型进行 训练，取非实体关系库中的实例查找是否包含异常关系实例，采用人工方式确认这些异常关 系实例，如果是异常关系，不做任何处理，反之，剔除出异常数据集；将确认的异常关系实 例放入异常实例检测网络中训练，异常实例网络训练也是一个神经网络，这个神经网络使用 的双向LSTM后接全连接层和ReLu激活函数实现二分类，从而达到对异常关系检测模型的 训练；

(2)：使用步骤(1)训练好的模型对新的数据库中的实体关系进行抽取

(2.1)：待抽取的实体关系抽取模型中的句子同样使用词向量模型对输入的句子进行词向 量化，每个单词编码为词向量，同时将单词的词性特征编码为向量，每个词语与实体词之间 的距离作为距离特征也编码为向量，将每个单词的这三个特征向量连接，组成句子向量矩阵；

(2.2)：将步骤(2.1)得到的句子向量矩阵输入到实体关系抽取模型中，使用步骤(1) 训练好的实体关系抽取模型提取输入向量矩阵的特征信息，最终的结果输出一个可以表征待 抽取实体关系句子的向量；

(2.3)：使用步骤(2.2)得到的可以表征待抽取实体关系句子的向量与所有预定义关系 编码的矩阵相乘，得到待预测句子在预定义关系下的表示；

(2.4)：使用softmax输出待抽取关系的句子在所有预定义关系编码下的概率，取概率值 最大的关系作为抽取到的关系；

(2.5)：将步骤(2.4)中抽取到的关系作为异常关系检测模型中LSTM初始隐藏层的输 入，将步骤(2.1)中得到的向量矩阵作为LSTM的输入，将这两部分输入输入到异常关系检 测模型中对关系是否为合法的关系进行预测，在这个阶段得到的二分类的结果中两个分类结 果的值相差越大越好，使用这个二分类结果的差值决定抽取到的关系是否是一个真正的合法 的关系。

本发明中，图1是系统的结构图，系统进行训练的过程中如果有数据集输入，需要停止 训练，对当前的训练现场保存，之后加载之前训练好并保存的训练模型参数，对数据集进行 实体关系抽取，抽取完毕后继续加载之前保存的训练现场继续进行训练。

本发明涉及到两个神经网络结构，一个是实体和关系抽取网络，另一个是异常实例发现 网络，这两个网络结构是可以灵活改变的，在这网络中可以逐步添加一些新的数据特征，而 不需要改变其他的结构。

本发明中，人工确认异常关系实例可以使用一种二分类分类器，这个过程不需要说明当 前实例是否是某一种关系，只需要判断这个实例是否是一种关系就可以了，因此使用一个二 分类的分类器可以避免人工干预。

本发明中，在网络结构中使用卷积神经网络可以决定每次输出层的大小，这样无论 我们怎么增加特征，输出层的维度是一定的，只会将更多的特征加入到网络中提取出更有意 义的特征，或者在系统运行过程中逐步发现一些新的数据特征，就可以将这些特征加入到待 实体关系抽取的数据集中，卷积神经网络就可以获取到当前特征。

本发明的有益效果在于：

网络结构的可改变性使得在不改变框架整体结构的情况，只改变实体和关系抽取部分就 可以使得该迭代式实体关系抽取方法应用于不同的应用领域和场景，特别是对于领域的知识 库的构建非常有意义，有些领域人工标注的数据集本身很少，而且构建这样的人工标注的知 识库的成本比较大，所以使用这种迭代式实体关系抽取方法可以解决上面的问题。其次大部 分，甚至所有的实体关系抽取方法中都没有包含异常关系检测这样的过程，我们产生的实体 关系实例本身就有通过概率得到的，产生错误和误差是在所难免的，因此异常实例检测部分 就可以弥补这一部分的不足。不断地迭代检测产生的实体关系实例是否是真实的实体关系实 例，这样就逐步的得到一个更加精确、错误数据更少的知识库，这样就可以在知识库的基础 上做其他的一些应用。

附图说明

图1是本发明方法结构图；

图2是本发明实体关系抽取示例图：

图3是本发明实体关系模型添加特征图示。

具体实施方式

下面通过具体实施方式结合附图对本发明作进一步详细说明，首先对申请所涉及到的术 语作进一步简要说明：

词向量(Word Embedding)：为了将词转化为计算机适合处理的方式，我们需要将词向量 化。通过词袋模型等方式，可以将每个单词嵌入到一个固定维度的向量空间，并且保留了词 与词之间的相关性，以便于我们做进一步的工作。

卷积神经网络(Convolutional Neural Networks，CNN)：卷积神经网络是一种前馈神经网 络，具有局部连接、权重共享等特性。目前的卷积神经网络一般是由卷积层、汇聚层和全连 接层交叉堆叠而成，使用反向传播算法进行训练。卷积神经网络在图像处理中有着卓越的效 果，最近也在自然语言处理领域发挥了不错的作用。

多示例学习(Multi-instance Learning)：多实例学习与传统的监督、非监督学习不同，它 是以多示例包(bag)为训练单元的学习问题。多示例学习中，训练集由一组具有分类标签(label) 的多示例包(bag)组成，每个多示例包(bag)含有若干个没有分类标签的示例(instance)。如果多 示例包(bag)至少含有一个正示例(instance)，则该包被标记为正类多示例包(正包)。如果多示 例包的所有示例都是负示例，则该包被标记为负类多示例包(负包)。

实施例1：本发明的工作流程如下：

图1是整体的框架流程。需要有输入的数据集，实体关系库，非实体关系库，使用实体 关系库中的实例训练实体关系抽取模型，将数据集输入到这个模型中实现实体和关系抽取。 抽取结束后抽取到的实体和关系就作为准实体关系集。图1中有两个模型，一个是实体关系 抽取模型，一个是异常关系检测模型。实体关系抽取模型用实体关系库中的实体关系训练这 个模型，在没有新的数据集加入的情况下，从实体关系库中按时间倒序取出一部分实体关系 训练实体关系模型，每次的训练都是取一部分数据(一个batch的数据)进行训练模型，而 不是取出所有的数据训练。特别需要说明的是实体关系不仅要包含实体关系本身，还要包含 当前实体关系出处的上下文句子。训练过程不断地优化这个模型，并且对这个每次训练好的 模型进行保存。这个模型使用的PCNN+Attention机制来抽取语句中的关系的。模型的输入 是句子中的两个实体和句子，输出是这两个实体之间的一种预定义的关系。在每个需要抽取 关系的句子都被两个实体分割成三部分，对这三部分分别作卷积操作。句子中的每个单词用 词向量表示成定长维度的向量，同时在这个向量的后面还可以加入其他的特征，然后在后面 加入了位置信息，也就是每个单词距离两个实体之间的距离。这样卷积操作不但可以获取到 句子中单词之间的语法和语义特征，还可以学习到一些位置相关的信息，这是PCNN的部分。 在Attention部分对句子中的每个单词对最终的结果学习一个权重，这个权重表示句子的不同 部分对最终结果的贡献的大小，在训练过程中不断学习这个权重，这就是Attention的意义。

在训练过程中，当模型中的参数不再发生变化或者有新的数据集加入到这个模型中的时 候，模型暂停训练，并且保存当前的训练状态。而使用已保存的最新模型参数抽取新加入数 据集中的实体关系。当数据集抽取完毕后，重新加载之前保存的训练模型的状态，继续训练 模型。

在训练阶段，异常关系检测模型的输入是异常关系库中的实例，而在对新的数据集进行 实体关系抽取阶段，异常关系检测模型的输入是包含两部分，由上面步骤(2.1)和步骤(2.4) 的输出组成，这个模型也是一个神经网络模型，这个神经网络使用双向的LSTM后接一个全 连接层后使用ReLu激活函数。在训练阶段双向LSTM的输入是非实体关系库中抽取非实体 关系时的句子，将其表示的矩阵，而双向LSTM初始隐藏层的输入是从这个句子中抽取的关 系三元组表示的向量。而在异常关系检测时，初始隐藏层的输入是关系抽取模型输出的概率 最大的三元组表示的词向量，此时LSTM的输入是使用词向量、词性信息和位置信息所表示 的句子的矩阵。它的输出是当前关系是正类和负类的概率，使用这两个概率之间的差值来预 测这个关系是否是一个合法的实体关系。根据这个输出结果对其进行人工确认，确认是一个 实体关系，则将其放入到实体关系库中；若确认是一个非实体关系，那么就将其放入到非实 体关系库中。这样做可以使得异常检测模型更加的鲁棒，因为被检测的关系是实体关系抽取 模型中概率最大的关系，这个关系被认为是准关系的概率更大，但是这个关系却不是一个合 法的关系，所以将其放入非实体关系库中会对异常关系检测模型有很好的训练作用。

整个系统的运行包含两个过程，一个过程是模型的训练过程，在没有数据集加入时，系 统处于训练过程，同时训练实体关系训练模型和异常关系检测模型，这两个模型是联动训练 的，不同于对抗神经网络固定其中的一部分，训练另一部分。这个系统是同时训练两部分， 只有当两部分的训练都达到不再变化的状态时，模型的训练才会停止，并且当有新的数据加 入进来的时候，两个模型都暂停训练，保存当前的训练状态，当新数据集处理完毕后再次加 载保存的训练状态，继续训练。训练好的模型只有在一些数据集上经过测试后，并且测试结 果比之前的测试结果有所提高的情况下，才会用新的训练好的模型替换已有的模型。系统运 行的另一个过程是新数据集进入时，抽取新的实体关系，这个过程用已经训练好的实体关系 抽取模型去抽取实体关系，同时用实体关系抽取模型的输出作为输入来检测新抽取的实体关 系是否是一个真的实体关系。

将准实体关系集输入到异常关系检测模型中，由异常关系检测模型实现一个二分类问题， 是实体关系就将该实例放入到实体关系库中，如果是非实体关系，那么就放入到非实体关系 库中。更新了实体关系库和非实体关系库之后，就需要对实体关系抽取模型和二分类模型丑 行进行训练，使得这两个更加精确，更加符合应用要求。

接着具体说一下实体关系抽取模型，也就是图2中展示的。假设每个句子的长度为s，由 s个词{w₁，w₂...w_s}构成。然后我们将每个词进行词向量和位置向量的表示。

词向量可以用预先训练好的词向量列表进行转化，假设每个词向量维度为d_w。

每个词的位置信息由每个词相对于两个实体的距离构成。例如在已分词的句子“2010年， 奥巴马当时担任美国的总统职位。”，这里单词“当时”相对于实体1“奥巴马”的距离为1，相对于实体2“美国”的距离为-2，那么单词“当时”的位置信息为(1，-2)。 然后我们随机生成两个大小为(2s，d_p)的可训练矩阵PF₁和PF₂，对于位置2(值为-2)，我们 就可以查找到矩阵对应位置的长度为d_p的位置向量。

将每个词的词向量和两个位置向量拼接起来，就得到了每个词最终的向量表示，每个向 量的长度为d＝d_w+2*d_p。于是，对于每个句子我们就可以用一个大小为(s*d)的矩阵表示。

接下来是卷积部分：

假设用n_w个卷积核进行卷积操作。每个卷积核的长度为w，那么每个卷积核的大小为 m＝(w*d)。

对于句子S，由s个单词{q₁，q₂...q_s}构成，其中每个单词q_i是长度为d的向量。

然后，用卷积核W对句子S进行卷积操作，得到新的序列其中c_j＝ f(wq_j-w+1：j+b)。这里，运算f是一种非线性运算，b是偏置项向量。对于输入的向量q_i， 当i＜1，或者i＞s时，用等长的零向量代替。

然后对于序列进行进一步的卷积运算，称为Resnet部分。

初始化两个新的卷积核w_a和w_b，其大小为h*1。

这里，对于序列c{c₁，c₂...c_m}，m＝s+w-1,令 这里，运算f是一种非线性运算，b是偏置项向量。

然后令序列c＝c+c^b，得到了新的序列

对于此序列c，重新初始化两个新的卷积核w_a和w_b，其大小为h*1，经过运算得到新的序 列c，重复Resnet步骤多次，得到经过多次运算的新的序列c。

于是，对于第一次卷积时的n个卷积核{w₁，w₂...w_n}，我们可以如此得到n个序列

然后，按照实体1和实体2的所在位置进行池化。

根据实体1和实体2的位置，将每个序列c分成三个部分{p₁，p₂，p₃}，其中p₁为实体1之前 的部分，p₂为实体1和实体2之间的部分，p₃为实体2之后的部分，然后分别做池化： m_i＝max(p_i)，1≤i≤3。

接着，对于每个序列c对应的m_i，可以得到池化后的向量m＝(m₁，m₂，m₃)。

将每个序列c对应的池化向量m首尾拼接，就得到了长度为3n的向量p。再将向量p做非线 性运算，得到池化层的最终结果g＝f(p)，

然后，对池化层的最终结果g，进行计算：o＝w_s*g+b，这里w_s为新的卷积核，大小 为n₁*3n,b为偏置项，n₁为预定义的关系个数。

由此得到了最终的输出它的每个维度的值代表了对应关系的分数。

对于以上步骤，假设所有可训练的变量集合为θ。

接下来，进入多示例学习的步骤：

按关系进行分类，每一种关系的训练数据记作一个包(bag)；

假设一次训练共有T个包{M₁，M₂...M_T}，对于其中某个包M_i，共有q_i条训练记录

那么在变量集合为θ时，上述神经网络的最终输出o向量的第r个分量o_r代表了第r个关系 的分数。通过softmax计算，我们可以得到对于训练记录相应第r个关系的概率为:

然后，在包级别定义交叉熵损失函数为这里j的取值为

最后，根据上述的损失函数J(θ)，在每一个mini-batch上进行一次θ的优化，实现神经网 络对于关系抽取的学习。

至此，准实体关系就得到了。

异常关系检测的问题，在实体和关系抽取模型中每两个实体之间抽取到的是一种关系， 那么这两种实体和其他的关系就不会构成实体关系元组。因此每个实例，我们将得到概率最 大的作为一个实体关系三元组，而其他的都将其作为非实体关系三元组。

图3是实体关系抽取模型中的特征问题。实体和关系抽取模型独立于句子长度和特征数 量的。所以我们只需要在原有的特征基础上添加新的特征，并且将特征转化为向量表示，通 过增加特征来提高学习的准确性。

以上应用了具体个例对本发明进行阐述，只是用于帮助理解本发明，并不用以限制本发 明。对于本发明所属技术领域的技术人员，依据本发明的思想，还可以做出若干简单推演、 变形或替换。

Claims (2)

1.迭代式实体关系抽取方法，其特征在于具体步骤如下：

(1)：对迭代式实体关系抽取方法进行训练

(1.1)：从实体关系库中按时间倒序方式，分批次取出固定数量的实体关系集和与其对应的句子；将该句子编码为词向量的形式，将句子中的每个词语的词性、该词语与实体词之间的距离编码后连接到单词的词向量中，将编码后的结果输入到实体关系抽取模型中；所述实体关系抽取模型是一个可替换的神经网络模型，使用PCNN模型进行替代；在模型训练的过程中根据输入的词向量信息、位置信息和词性信息可以提取句子的语法和语义特征；

(1.2)：PCNN模型会提取句子中语法语义特征、词性特征和距离特征，根据输入的语法语义特征、词性特征和距离特征，利用神经网络模型的卷积神经网络输出一个包含以上特征的特征向量，使用该特征向量用来表示当前句子；

(1.3)：实体和关系的抽取过程就是从句子中抽取出包含实体和两个实体见关系的三元组信息，句子中包含的三元组信息可以表示为(实体1，关系，实体2)的形式；所有关系的类别编码成一个矩阵；将步骤(1.2)得到的表示当前句子的特征向量与关系中的类别信息组成的矩阵相乘输出一个向量，该向量就可以对当前句子中包含的实体间的关系的预测，预测后得到的关系是一个准关系，即完成实体关系抽取模型训练阶段；在实体关系抽取模型训练阶段，使用预测得到的关系和句子本身真实的关系对网络神经模型进行梯度下降优化；

(1.4)：在步骤(1.3)对实体关系抽取模型训练的时候，同时对异常关系检测模型进行训练，取非实体关系库中的实例查找是否包含异常关系实例，采用人工方式确认这些异常并系实例，如果是异常关系，不做任何处理，反之，剔除出异常数据集；将确认的异常关系实例放入异常实例检测网络中训练，异常实例网络训练也是一个神经网络，这个神经网络使用的双向LSTM后接全连接层和ReLu激活函数实现二分类，从而达到对异常关系检测模型的训练；

(2)：使用步骤(1)训练好的模型对新的数据库中的实体关系进行抽取

(2.1)：待抽取的实体关系抽取模型中的句子同样使用词向量模型对输入的句子进行词向量化，每个单词编码为词向量，同时将单词的词性特征编码为向量，每个词语与实体词之间的距离作为距离特征也编码为向量，将每个单词的这三个特征向量连接，组成句子的向量矩阵；

(2.2)：将步骤(2.1)得到的句子向量矩阵输入到实体关系抽取模型中，使用步骤(1)训练好的实体关系抽取模型提取输入向量矩阵的特征信息，最终的结果输出一个可以表征待抽取实体关系句子的向量；

(2.3)：使用步骤(2.2)得到的可以表征待抽取实体关系句子的向量与所有预定义关系编码的矩阵相乘，得到待预测句子在预定义关系下的表示；

(2.4)：使用softmax输出待抽取关系的句子在所有预定义关系编码下的概率，取概率值最大的关系作为抽取到的关系；

(2.5)：将步骤(2.4)中抽取到的关系作为异常关系检测模型中LSTM初始隐藏层的输入，将步骤(2.1)中得到的向量矩阵作为LSTM的输入，将这两部分输入输入到异常关系检测模型中对关系是否为合法的关系进行预测，在这个阶段得到的二分类的结果中两个分类结果的值相差越大越好，使用这个二分类结果的差值决定抽取到的关系是否是一个真正的合法的关系。

2.根据权利要求1所述的迭代式实体关系抽取方法，其特征在于在系统进行训练的过程中如果有数据集输入到系统中，需要停止训练，对当前的训练现场保存，之后加载之前训练好并保存的训练模型参数，对数据集进行实体关系抽取，抽取完毕后继续加载之前保存的训练现场继续进行训练。