CN109359297B - 一种关系抽取方法及系统 - Google Patents

Abstract

本发明实施例提供一种关系抽取方法及系统，该方法包括：获取包含实体对的句子，根据所述句子得到对应的实例特征向量；基于关系层次的注意力机制，根据所述实例特征向量，得到不同层的实体对潜在关系；根据所述不同层的实体对潜在关系，抽取所述实体对的关系。本发明实施例提供的关系抽取方法和系统，通过引入关系的层次结构信息构建了一套层级结构的注意力机制使得关系抽取模型能够考虑关系之间的内在关联，从而提高了关系抽取模型的稳定性，并在缺少训练数据的长尾关系上表现突出，实现关系抽取模型的性能也能够极大提升，具有良好的实用性。

Description

一种关系抽取方法及系统

技术领域

本发明涉及自然语言处理领域，尤其涉及一种关系抽取方法及系统。

背景技术

关系抽取旨在从互联网的非结构化文本中挖掘知识。手动标记训练数据是非常人力密集的行动且相当的耗时，因而传统的基于监督的关系抽取模型通常受限于缺乏大规模高质量训练数据的现实环境。

为了解决这样的数据缺乏问题，基于远距离监督的关系抽取模型被提出，将已有的知识图谱与非结构化文本进行对齐，在知识图谱的指引下从非结构化文本中自动标记训练数据。知识图谱通常以头实体、尾实体与实体之间关系这样的三元组形式存在，对于任意出现在知识图谱中的头尾实体对，如果它们同时出现在某一段文本句子之中，那么远距离监督会自动地将这个句子标注为头尾实体在知识图谱中对应的关系。通过远距离监督，关系抽取可以自动获得大规模的训练数据，从而能够在现实环境下的大规模语料库上适用。然而，这种自动标注机制不可避免地伴随着错误标注问题，因为并非所有包含两个实体的句子都能够在语义层面严格准确地表达他们的关系，因而远距离监督的噪音问题在当前依然是十分棘手的问题。

为了缓解错误标注带来的噪音问题，之前不少工作被提出来从噪声数据中识别出有效的训练样例，从而支持关系抽取模型在正确的轨道上进行训练，尤其是不少当下较为主流的基于注意力的神经关系抽取模型。然而，在现有的方法中，模型对于每个关系都是孤立开来进行处理的，对于每一个单一的关系，通常存在单独的处理模型来从带有噪音的数据中选择与关系最相关的训练实例。这些方法均忽略了关系之间丰富的语义相关性，尤其是蕴含在关系层次结构中的关系相关性信息，导致效果不够稳定，数据噪音带来的直接影响较大，关系抽取的效果不佳。

发明内容

本发明实施例为克服上述技术缺陷，提供一种关系抽取方法及系统。

第一方面，本发明实施例提供一种关系抽取方法，包括：

获取包含实体对的句子，根据所述句子得到对应的实例特征向量；

基于关系层次的注意力机制，根据所述实例特征向量，得到不同层的实体对潜在关系；

根据所述不同层的实体对潜在关系，抽取所述实体对的关系。

第二方面，本发明实施例提供一种关系抽取系统，包括：

句子编码器模块，用于获取包含实体对的句子，根据所述句子得到对应的实例特征向量；

层次化注意力模块，用于基于关系层次的注意力机制，根据所述实例特征向量，得到不同层的实体对潜在关系；

抽取模块，用于根据所述不同层的实体对潜在关系，抽取所述实体对的关系。

第三方面，本发明实施例提供一种电子设备，包括存储器和处理器，所述处理器和所述存储器通过总线完成相互间的通信；所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如第一方面所述的方法。

第四方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所述关系抽取方法。

本发明实施例提供的关系抽取方法和系统，通过引入关系的层次结构信息构建了一套层级结构的注意力机制使得关系抽取模型能够考虑关系之间的内在关联，从而提高了关系抽取模型的稳定性，并在缺少训练数据的长尾关系上表现突出，实现关系抽取模型的性能也能够极大提升，具有良好的实用性。

附图说明

图1为本发明实施例一种关系抽取方法的流程示意图；

图2为本发明实施例基于关系层次结构注意力机制的关系抽取示意图；

图3为本发明实施例一种关系抽取系统的结构示意图；

图4为本发明实施例基于关系层次结构注意力机制的关系抽取的装置结构图；

图5为本发明实施例一种电子设备的实体结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明实施例一种关系抽取方法的流程示意图，如图1所示，包括：

步骤11，获取包含实体对的句子，根据所述句子得到对应的实例特征向量；

步骤12，基于关系层次的注意力机制，根据所述实例特征向量，得到不同层的实体对潜在关系；

步骤13，根据所述不同层的实体对潜在关系，抽取所述实体对的关系。

关系抽取是信息抽取的重要子任务，其主要目的是将非结构化或半结构化描述的自然语言文本转化成结构化数据，从文本中识别出实体，抽取实体间的语义关系。现有主流关系抽取技术分为有监督关系抽取，无监督关系抽取，和半监督关系抽取三种方法，其中，有监督的学习方法是目前关系抽取中较为主流和表现较好的方法。

有监督的学习方法将关系抽取任务当做分类问题，根据训练数据设计有效的特征，从而学习各种分类模型，然后使用训练好的分类器预测关系，但其最大的缺点就是需要大量的人工标注语料，远程监督方法就由此孕育而生。远程监督方法，将已有的知识库对应到丰富的非结构化数据中，从而生成大量的训练数据，从而训练关系抽取器。但是远距离监督的噪音问题在当前是一个十分棘手的问题。

在现有的方法中，模型对于每个关系都是孤立开来进行处理的，对于每一个单一的关系，通常存在单独的处理模型来从带有噪音的数据中选择与关系最相关的训练实例。这些方法均忽略了关系之间丰富的语义相关性，尤其是蕴含在关系层次结构中的关系相关性信息，导致效果不够稳定，数据噪音带来的直接影响较大，关系抽取的效果不佳。为了利用关系之间丰富的相关性信息，我们从关系的层次结构出发，提出了一种新颖的基于关系层次的注意力机制方案。与过去的实用层次信息的模型不同，我们没有直接利用层次信息作为模型的输入特征，而是将层次信息有机地融入到模型之中来强化模型效果。与以往的基于注意力机制的关系抽取模型不同，我们的关系层次注意力机制会沿着关系的层级结构在每层上都对训练数据中的每一个实例进行评估与考量，并结合各层次的结果共同选择有效地训练实例。

本发明实施例中，首先输入包含两个实体的句子作为实例，两个实体其中一个为头实体，另一个为尾实体，头实体和尾实体组成一个实体对。关系抽取的目的就是得到头实体和尾实体的关系。句子是由若干单词组成的，给定一个句子，首先将句子中的所有单词转化为对应的输入词向量，再将得到的一系列输入词向量组合成其对应的实例特征向量。

得到实例特征向量后，对它们应用基于关系层次的注意力机制，来从中选择有信息量的成分，根据实例特征向量，得到对应的实体对潜在关系，根据关系数据集合和实体对潜在关系，构建对应的层次链条，根据层次链条，在关系层次的每一层执行注意力操作，得到整体框架部分里的不同层的实体对潜在关系。

得到不同层的实体对潜在关系后，结合关系表示矩阵得到实体对在各类关系上的概率分布，其中关系表示矩阵是用于进行关系评分计算的。根据实体对在各类关系上的概率分布，可以获得实体对可能的关系集合，并根据关系集合最终抽取实体对的关系。

图2为本发明实施例基于关系层次结构注意力机制的关系抽取示意图，如图2所示，头实体为Ernst Haefliger，尾实体为Davos，Ernst Haefliger和Davos的关系有三种可能，分别是：第一种-Ernst Haefliger died on Saturday in Davos；第二种-ErnstHaefliger was born in Davos on July 6,1919；第三种-Ernst Haefliger was born inDavos,Switzerland。Attention Scores部分分别得到了Ernst Haefliger和Davos在不同层次上的各类关系的概率分布，根据此概率分布可提取Ernst Haefliger和Davos的关系。

本发明实施例提供的关系抽取方法，通过引入关系的层次结构信息构建了一套层级结构的注意力机制使得关系抽取模型能够考虑关系之间的内在关联，从而提高了关系抽取模型的稳定性，并在缺少训练数据的长尾关系上表现突出，实现关系抽取模型的性能也能够极大提升，具有良好的实用性。

在上述实施例的基础上，所述根据所述句子得到对应的实例特征向量，具体包括：

将所述句子中的每个单词转化为对应的输入词向量；

基于卷积神经网络，根据所述输入词向量得到所述对应的实例特征向量。

所述将所述句子中的每个单词转化为对应的输入词向量，具体包括：

对于所述句子中的每个单词，采用Skip-Gram算法获取对应的文本词向量，根据每个单词到所述实体对的距离获取对应的位置向量；

将所述文本词向量和所述位置向量拼接，得到对应的输入词向量。

所述卷积神经网络包括基本卷积神经网络或分块卷积神经网络。

将一个知识图谱定义为G＝{E,R,F}，其中，E是实体集合，R是关系集合，F是知识图谱的知识三元组集合，F中任意的三元组(h,r,t)表明头实体h与尾实体t存在关系r。采用多样例学习机制，将整体的训练语料划分为若干个实体对包

每一个包

中都是大量的训练句子{s₁,s₂,...}，这些句子中均包含实体h_i与t_i。根据远距离监督的机制，这些包都会被标注为实体对在知识图谱中对应的关系。每一个包中的句子都可以被抽象为一个单词序列s＝{w₁,...,w_n}。

给定一个包含两个实体的实例s，其句子的组成单词序列为s＝{w₁,...,w_n}，在句子编码器模块中，应用不同的神经架构将这个实例编码为其对应的实例特征向量s。具体来看，主要包括以下两个部分：

首先将句子中的每个单词转化为对应的输入词向量。关系抽取模块的输入为句子的所有单词，给定一个含有若干单词的句子，将句子中的所有单词转化成对应的输入词向量。对于给定句子中任意一个单词，其输入向量由两个实向量构成，一个是它的文本词向量，另一个是它的位置向量。

这里，词向量用于刻画每个词的语法和语义信息。给定一个句子s＝{w₁,...,w_n}，采用Skip-Gram算法在大规模文本语料上提前训练，从而获得所有k_w维度的词向量嵌入{w₁,...,w_n}。

位置向量用于刻画实体的位置信息，定义为每个单词和头实体、尾实体之间的相互位置差的向量表示。位置向量将每个单词与两个标注实体的相对距离嵌入到两个k_p维度的向量中。通过将单词w_i到头尾实体的距离向量进行合并，得到一个统一的位置向量表示

为实数集合。最终的输入词向量定义为词向量与位置向量的拼接，

k_i＝k_w+k_p×2。

在上述基础上，本发明实施例采用卷积神经网络，通过卷积，池化和非线性操作将输入的词表示转化为句子的向量表示，其中，卷积神经网络包括基本卷积神经网络和分块卷积神经网络。

(1)基本卷积神经网络。这里，卷积操作定义为将一个词向量序列x和卷积矩阵W之间的操作。卷积操作可以通过一个长度为m的滑动窗口对局部特征进行提取，得到的第i维特征定义为：

h_i＝[Wx_i-m+1:i+b]_i；

其中x_i-m+1:i是在第i个窗口内部的所有的词向量的拼接，W为卷积核矩阵，b为偏置向量。进一步地，最终的实例特征向量的第j维通过池化和非线性化定义为:

[s]_j＝max(tanh([h_i]_j))；

这里[·]_j表示向量的第j位的数值。池化层的主要作用在于对全局的特征进行汇总。在卷积层中，卷积实际上是对局部的语义进行特征提取。但是一个句子的语义仅仅依靠于局部特征是不恰当的，语义的理解最后还是要落实到全局的。池化的作用就是在每个局部采样输出的每个维度上选取一个信号最强值，从而最后能够汇总得到全局的语义特征。

(2)分块卷积神经网络。除了基本的卷积神经网络外，本发明实施例也可采用一种拓展形式的卷积神经网络。具体来说，与上文的基本卷积神经网络相比，池化操作分为三部分进行，

这里[·]_j表示向量的第j位的数值，i₁与i₂是训练实例中标注的两个实体的位置。分块卷积神经网络的最终的实例特征向量是三部分池化结果向量的合并，s＝[s⁽¹⁾；s⁽²⁾；s⁽³⁾]。

本发明实施例提供的关系抽取方法，采用基于层级的注意力机制，能够在数据上进行不同粒度的训练实例筛选与强化。在关系层次底层的注意力机制可以捕获关系的具体特征，具有与传统注意机制相似的细粒度实例选择能力。而对于关系层次上层的注意力机制而言，可以捕获其下属相关子关系的共同特征，提供粗粒度的实例选择能力。效果相对稳定，能够减小远距离监督带来的数据噪音的影响，且可以在缺乏数据的长尾关系上利用关系的关联性来提供更多信息提高关系抽取的效果。

在上述实施例的基础上，所述基于关系层次的注意力机制，根据所述实例特征向量，得到不同层的实体对潜在关系，具体包括：

基于基础注意力机制，根据所述实例特征向量，得到对应的实体对潜在关系；

根据预设的关系数据集合和所述实体对潜在关系，构建对应的层次链条；

根据所述层次链条，在关系层次的每一层执行注意力操作，得到所述不同层的实体对潜在关系。

给定实体对(h,t)，以及对应的实例包S_h,t＝{s₁,s₂,...,s_m}，编码之后，包中的实例嵌入向量为{s₁,s₂,...,s_m}。之后，对它们应用基于关系层次的注意力机制，来从中选择有信息量的成分，并得到整体框架部分里的实体对潜在关系向量r_h,t。

(1)基础注意力机制。基础注意力机制要为每一个包中的每一个实例s_i计算权重α_i来评估实例有多大程度能够反映实体之间的关系。对于每种关系r∈R，设定了一个对应的注意力特征向量q_r来对包中的每一个实例进行计算，计算过程定义如下，

这里W_s是一个权重计算矩阵。注意得到的权重将被在总体学习框架中使用以获得实体对的潜在关系表示r_h,t，将这个过程简单表示为如下形式，

r_h,t＝ATT(q_r,{s₁,s₂,...,s_m})；

(2)基于关系层次的注意力机制。知识图谱中关系固有的层次结构使得我们能够建立基于关系层次的注意力机制。给定一个用来进行预测的关系数据集合R，从这个关系集合出发不断向更具有概括性的父关系延伸，最终会得到一个树形结构的关系层次结构。在具体操作上，我们从基层关系开始R⁰＝R，每次向上拓展一层父关系，并且拓展k-1次之后，最终形成了k层的关系层次结构{R⁰,R¹,...,R^k-1}。

对于一个需要预测的关系r＝r⁰∈R＝R⁰来说，可以在关系层次结构上构建其对应的层次链条，

(r⁰,...,r^k-1)∈R⁰×...×R^k-1，

其中r^i-1是rⁱ的子关系。根据层次链条，在关系层次的每一次都进行注意力操作，并在每一层都得到一个实体对的潜在关系向量

基于每一层的注意力结果，可以将不同层上的实体对潜在关系表示连接为一个整体表示，

此处计算的r_h,t将被最终用来在整体训练框架中计算关系的概率分布P(r|h,t,S_h,t)，从而进行关系抽取。

本发明实施例提供的关系抽取方法，采用基于层级的注意力机制，能够在数据上进行不同粒度的训练实例筛选与强化。在关系层次底层的注意力机制可以捕获关系的具体特征，具有与传统注意机制相似的细粒度实例选择能力。而对于关系层次上层的注意力机制而言，可以捕获其下属相关子关系的共同特征，提供粗粒度的实例选择能力。效果相对稳定，能够减小远距离监督带来的数据噪音的影响，且可以在缺乏数据的长尾关系上利用关系的关联性来提供更多信息提高关系抽取的效果。

在上述实施例的基础上，所述根据所述不同层的实体对潜在关系，抽取所述实体对的关系，具体包括：

根据所述不同层的实体对潜在关系和关系表示矩阵，得到实体对在各类关系上的概率分布；

根据所述概率分布得到所述实体对的关系集合；

根据所述关系集合抽取实体对的关系。

所述概率分布为：

其中，P(r|h,t,S_h,t)为所述概率分布，M为所述关系表示矩阵，r_h,t为所述不同层的实体对潜在关系，o_r为所述实体对在各类关系上的评分矩阵。

给定实体对(h,t)以及它们对应的实体对包S_h,t，采用模型来从包中的句子提取特征，并评估实体对之间存在某一种关系r∈R的概率。对于每个包中的实例s_i∈S_h,t，使用句子编码器将其语义信息表示为语义空间中对应的嵌入向量s_i。因为并非S_h,t中包含的所有训练实例都能够表示h与t之间的关系，所以我们应用注意力机制来计算每个训练实例s_i的权重α_i。用训练实例输出的嵌入向量的加权和来构建全局文本关系表示r_h,t，

这里α_i是第i个训练实例s_i的嵌入向量s_i的权重。将r_h,t作为实体对的潜在关系特征，我们可以定义实体对在各类关系上的概率分布P(r|h,t,S_h,t)，

这里o是实体对在各类关系上的评分矩阵，分数越高代表实体对存在对应位关系的概率越大，o被定义为

o_r＝Mr_h,t，

其中M是用来进行关系评分计算的关系表示矩阵。根据实体对的关系概率分布，我们可以获得实体对可能的关系集合，并最终抽取它们的关系。

本发明实施例提供的关系抽取方法，采用基于层级的注意力机制，能够在数据上进行不同粒度的训练实例筛选与强化。在关系层次底层的注意力机制可以捕获关系的具体特征，具有与传统注意机制相似的细粒度实例选择能力。而对于关系层次上层的注意力机制而言，可以捕获其下属相关子关系的共同特征，提供粗粒度的实例选择能力。效果相对稳定，能够减小远距离监督带来的数据噪音的影响，且可以在缺乏数据的长尾关系上利用关系的关联性来提供更多信息提高关系抽取的效果。

图3为本发明实施例一种关系抽取系统的结构示意图，如图3所示，包括句子编码器模块31、层次化注意力模块32和抽取模块33，其中：

句子编码器模块31，用于获取包含实体对的句子，根据所述句子得到对应的实例特征向量；

层次化注意力模块32，用于基于关系层次的注意力机制，根据所述实例特征向量，得到不同层的实体对潜在关系；

抽取模块33，用于根据所述不同层的实体对潜在关系，抽取所述实体对的关系。

句子编码器模块31，获取一个由大量句子构成的文本语料，语料中的每个句子均通过远距离监督算法标注了两个实体，我们应用多种深度神经架构将其编码到低维度连续空间之中，从而得到对应其语义的空间嵌入表示，这些嵌入表示将被用在整体学习框架中作为主要输入特征。

层次化注意力模块32，由于图谱本身的幂律分布特性以及文本语料因为远距离监督自动标注带来的诸多噪音，单独的关系抽取模型是较为乏力的。得益于关系的层次结构信息，我们构建了一套层次化注意力模块来缓解这些问题。具体来说，当我们得到了一对实体所有关联的句子的向量表示，我们在关系层次上的每一层进行计算，将其中精确表达了这两个实体的关系的句子选择出来，并最终通过结合各层的评估结果，获得一个综合表示用以在整体学习框架中预测实体之间的关系。

抽取模块33，能够进行关系抽取的通用框架设计，主要目的在于将文本信息嵌入到统一连续空间之中以支持特征获取以便最终进行关系抽取。

本发明实施例中，首先输入包含两个实体的句子作为实例，两个实体其中一个为头实体，另一个为尾实体，头实体和尾实体组成一个实体对。关系抽取的目的就是得到头实体和尾实体的关系。句子是由若干单词组成的，给定一个句子，句子编码器模块31首先将句子中的所有单词转化为对应的输入词向量，再将得到的一系列输入词向量组合成其对应的实例特征向量。

得到实例特征向量后，层次化注意力模块32对它们应用基于关系层次的注意力机制，来从中选择有信息量的成分，根据实例特征向量，得到对应的实体对潜在关系，根据关系数据集合和实体对潜在关系，构建对应的层次链条，根据层次链条，在关系层次的每一层执行注意力操作，得到整体框架部分里的不同层的实体对潜在关系。

得到不同层的实体对潜在关系后，抽取模块33结合关系表示矩阵得到实体对在各类关系上的概率分布，其中关系表示矩阵是用于进行关系评分计算的。根据实体对在各类关系上的概率分布，可以获得实体对可能的关系集合，并根据关系集合最终抽取实体对的关系。

图4为本发明实施例基于关系层次结构注意力机制的关系抽取的装置结构图，如图4所示，给定实体对(h,t)，以及对应的实例包S_h,t＝{s₁,s₂,...,s_m}，编码之后，包中的实例嵌入向量为{s₁,s₂,...,s_m}。之后，对它们应用基于关系层次的注意力机制，来从中选择有信息量的成分，并得到整体框架部分里的实体对潜在关系向量r_h,t。

(1)基础注意力机制。基础注意力机制要为每一个包中的每一个实例s_i计算权重α_i来评估实例有多大程度能够反映实体之间的关系。对于每种关系r∈R，设定了一个对应的注意力特征向量q_r来对包中的每一个实例进行计算，计算过程定义如下，

这里W_s是一个权重计算矩阵。注意得到的权重将被在总体学习框架中使用以获得实体对的潜在关系表示r_h,t，我们将这个过程简单表示为如下形式，

r_h,t＝ATT(q_r,{s₁,s₂,...,s_m})；

(2)基于关系层次的注意力机制。知识图谱中关系固有的层次结构使得我们能够建立基于关系层次的注意力机制。给定一个用来进行预测的关系数据集合R，从这个关系集合出发不断向更具有概括性的父关系延伸，最终会得到一个树形结构的关系层次结构。在具体操作上，我们从基层关系开始R⁰＝R，每次向上拓展一层父关系，并且拓展k-1次之后，最终形成了k层的关系层次结构{R⁰,R¹,...,R^k-1}。

对于一个需要预测的关系r＝r⁰∈R＝R⁰来说，可以在关系层次结构上构建其对应的层次链条，

(r⁰,...,r^k-1)∈R⁰×...×R^k-1，

其中r^i-1是rⁱ的子关系。根据层次链条，我们在关系层次的每一次都进行注意力操作，并在每一层都得到一个实体对的潜在关系向量

基于每一层的注意力结果，我们可以将不同层上的实体对潜在关系表示连接为一个整体表示，

此处计算的r_h,t将被最终用来在整体训练框架中计算关系的概率分布P(r|h,t,S_h,t)，从而进行关系抽取。

本发明实施例提供的系统是用于执行上述方法实施例的，具体的流程和详细介绍请参见上述各方法实施例，此处不再赘述。

本发明实施例提供的关系抽取系统，采用基于层级的注意力机制，能够在数据上进行不同粒度的训练实例筛选与强化。在关系层次底层的注意力机制可以捕获关系的具体特征，具有与传统注意机制相似的细粒度实例选择能力。而对于关系层次上层的注意力机制而言，可以捕获其下属相关子关系的共同特征，提供粗粒度的实例选择能力。效果相对稳定，能够减小远距离监督带来的数据噪音的影响，且可以在缺乏数据的长尾关系上利用关系的关联性来提供更多信息提高关系抽取的效果。

图5示例了一种电子设备的实体结构示意图，如图5所示，该电子设备可以包括：处理器(processor)510、通信接口(Communications Interface)520、存储器(memory)530和总线540，其中，处理器510，通信接口520，存储器530通过总线540完成相互间的通信。总线540可以用于电子设备与传感器之间的信息传输。处理器510可以调用存储器530中的逻辑指令，以执行如下方法：获取包含实体对的句子，根据所述句子得到对应的实例特征向量；基于关系层次的注意力机制，根据所述实例特征向量，得到不同层的实体对潜在关系；根据所述不同层的实体对潜在关系，抽取所述实体对的关系。

此外，上述的存储器530中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

本发明实施例提供一种非暂态计算机可读存储介质，该非暂态计算机可读存储介质存储计算机指令，该计算机指令使计算机执行上述实施例所提供的伪基站定位方法，例如包括：获取包含实体对的句子，根据所述句子得到对应的实例特征向量；基于关系层次的注意力机制，根据所述实例特征向量，得到不同层的实体对潜在关系；根据所述不同层的实体对潜在关系，抽取所述实体对的关系。

以上所述仅为本发明的优选实施例，并不用于限制本发明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充，但并不会偏离本发明的精神或者超越所附权利要求书定义的范围。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (9)

1.一种关系抽取方法，其特征在于，包括：

获取包含实体对的实例句子，根据所述句子得到对应的实例特征向量；

基于关系层次的注意力机制，根据所述实例特征向量，得到关系层次链条上不同层次上的实体对潜在关系；

根据所述关系层次链条上不同层次上的实体对潜在关系，抽取所述实体对的最终关系；

所述基于关系层次的注意力机制，根据所述实例特征向量，得到关系层次链条上不同层次上的实体对潜在关系，具体包括：

基于基础注意力机制，根据所述实例特征向量，得到对应的实体对潜在关系；

根据预设的关系数据集合和所述实体对潜在关系，构建对应的关系层次链条；

根据所述关系层次链条，在关系层次链条上的每一层执行注意力操作，得到所述不同层次上的实体对潜在关系。

2.根据权利要求1所述的方法，其特征在于，所述根据所述句子得到对应的实例特征向量，具体包括：

将所述句子中的每个单词转化为对应的输入词向量；

基于卷积神经网络，根据所述输入词向量得到所述对应的实例特征向量。

3.根据权利要求2所述的方法，其特征在于，所述将所述句子中的每个单词转化为对应的输入词向量，具体包括：

对于所述句子中的每个单词，采用Skip-Gram算法获取对应的文本词向量，根据每个单词到所述实体对的距离获取对应的位置向量；

将所述文本词向量和所述位置向量拼接，得到对应的输入词向量。

4.根据权利要求2所述的方法，其特征在于，所述卷积神经网络包括基本卷积神经网络或分块卷积神经网络。

5.根据权利要求1所述的方法，其特征在于，所述根据所述关系层次链条上不同层次上的实体对潜在关系，抽取所述实体对的关系，具体包括：

根据所述关系层次链条上不同层次上的实体对潜在关系和关系表示矩阵，得到实体对在各类关系上的概率分布；

根据所述概率分布得到所述实体对的关系集合；

根据所述关系集合抽取实体对的关系。

6.根据权利要求5所述的方法，其特征在于，所述概率分布为：

其中，P(r|h,t,S_h,t)为所述概率分布，M为所述关系表示矩阵，r_h,t为所述关系层次链条上不同层次上的实体对潜在关系，o_r为所述实体对在各类关系上的评分矩阵。

7.一种关系抽取系统，其特征在于，包括：

句子编码器模块，用于获取包含实体对的句子，根据所述句子得到对应的实例特征向量；

层次化注意力模块，用于基于关系层次的注意力机制，根据所述实例特征向量，得到关系层次链条上不同层次上的实体对潜在关系；

抽取模块，用于根据所述关系层次链条上不同层次上的实体对潜在关系，抽取所述实体对的最终关系；

所述层次化注意力模块具体用于：

基于基础注意力机制，根据所述实例特征向量，得到对应的实体对潜在关系；

根据预设的关系数据集合和所述实体对潜在关系，构建对应的关系层次链条；

根据所述关系层次链条，在关系层次链条上的每一层执行注意力操作，得到所述不同层次上的实体对潜在关系。

8.一种电子设备，其特征在于，包括存储器和处理器，所述处理器和所述存储器通过总线完成相互间的通信；所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如权利要求1至6任一所述的方法。

9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至6任一项所述关系抽取方法。

Images