CN111859912B - 基于pcnn模型的带有实体感知的远程监督关系抽取方法 - Google Patents

Abstract

本发明提供一种基于PCNN模型的带有实体感知的远程监督关系抽取方法，具体包括：首先，本发明使用多头自注意力机制将单词嵌入与头实体和尾实体嵌入以及相对位置嵌入相结合，以生成可感知实体的增强型单词语义表示，它能够捕获每个单词与实体对之间的语义依赖性；然后，本发明引入一个全局门，将输入句子中每个实体感知的增强词表示与它们的平均值相结合，以形成PCNN输入的最终词表示；此外，为了确定其中最重要的关系分类信息出现的关键句段。本发明的方法引入了另一种门机制，为每个句子段分配不同的权重，以突出PCNN中关键句段的效果。实验表明，本发明的远程监督关系抽取方法能提高对句子中远程监督关系的预测能力。

Description

基于PCNN模型的带有实体感知的远程监督关系抽取方法

技术领域

本发明涉及自然语言处理与信息处理中的关系抽取，具体是一种基于PCNN模型的带有实体感知的远程监督关系抽取方法，可广泛应用于各个领域的知识图谱自动生成任务中。

背景技术

关系抽取是信息抽取的关键技术之一，旨在识别出给定句子的实体对之间的语义关系，提取的语义关系可应用在知识库自动补全、问答系统等下游任务中。

传统的监督关系抽取方法需要大量精准标注的训练数据，然而要获取这些数据需要耗费大量的时间和精力。为了克服上述的问题，Mintz等人提出了一种远程监督方法，该方法将大规模知识图谱Freebase与纽约时报新闻文本(NYT)进行实体对齐，自动生成大规模的关系抽取训练数据。该方法基于一个这样的假设：如果两个实体在知识库中具有某种关系，则所有包含这两个实体的句子都会表达这种关系。然而，这种假设过于武断，因为同一实体对在不同句子中有不同的上下文，它们所表达的关系可能不同，因此该方法会产生一些错误的标注问题。Riedel等人提出多实例学习(multi-instance learning，MIL)将强假设放宽为至少一次表达的假设，并从一袋句子中提出关系而不是从一个单句中提取关系。随着深度学习在自然语言处理中的广泛应用，许多基于MIL的神经网络方法在远程监督关系提取中取得了显着的进步。其中，最为突出的是Zeng等人提出的通过分段卷积神经网络(Piecewise convolutional neural network，PCNN)来获取句子的语义特征，并在远程监督关系抽取中取得非常大的提升。但是，上述方法仍存在一些不足之处需要改进。例如，现有的方法没有考虑实体对和句子上下文对单词编码的影响，这可能会忽略一些重要的语义信息；此外，没有进一步探讨PCNN中三个分段对关系分类的不同贡献。

发明内容

本发明提供了一种基于PCNN模型的带有实体感知的远程监督关系抽取方法，充分考虑了实体对和句子上下文对单词编码的影响，提高了对远程监督关系的预测能力。

为实现上述目的，本发明的技术方案为：

一种基于PCNN模型的带有实体感知的远程监督关系抽取方法，包括以下步骤：

S1.对于给定句袋中的一个句子，输入层使用谷歌预训练的word2vec词向量将句子中每个词映射为一个低维词嵌入向量，得到一个输入序列；

S2.实体感知增强词表示层使用多头自注意力机制将单词嵌入与头实体和尾实体嵌入以及相对位置嵌入相融合，以生成可感知实体的增强型单词语义表示；

S3.将全局门结构和PCNN结合，集成句子的全局和局部信息；

S4.在PCNN的池化层后引入门控机制赋予三个句子段不同的权重，突出关键分段的作用；

S5.根据该句子与其预测关系的相关程度为句袋中的每个句子计算注意力权重，并计算句袋中句子的加权和作为句袋的关系预测表示，然后，将句袋在所有关系上的表示通过线性变换计算句袋在所有关系上的预测得分和概率，根据概率的高低进行关系抽取。

进一步的，所述步骤S1包括：所述步骤S1包括：对于给定袋中的一个序列长度为n的句子s＝{w₁,w₂,...,w_n}，输入层使用谷歌预训练的word2vec词向量将句子中每个词映射为一个低维词嵌入向量

从而得到一个输入序列

d_w表示词嵌入的维度。

进一步的，所述步骤S2包括以下子步骤：

S2.1实体嵌入：头实体e_f和尾实体e_t的嵌入向量，分别表示为它们在谷歌预训练word2vec中的词向量，记为x^(f)和x^(t)；

S2.2相对位置嵌入：计算句子中每个词w_i与头实体e_f和尾实体e_t的相对距离，对于第i个词，随机初始化的权重矩阵将相对位置特征映射为两个低维稠密向量

和

d_p为相对位置嵌入的维度；

S2.3使用多头自注意力对输入句子建模：使用缩放点乘注意力来作为注意力函数；对于给定queries Q、keys K、values V，其中，Q∈R^n×d，K∈R^n×d，V∈R^n×d，d是输入词嵌入的维度，即d＝d_W，n为输入序列词的个数；缩放点乘注意力由公式(1)计算：

其中，T表示矩阵的转置操作，softmax()为神经网络中的归一化指数函数；

多头自注意力从不同语义子空间捕获序列信息：首先，对于由h个头组成的多头自注意力结构，使用h个不同的线性变换将queries Q、keys K、values V分别转换为d/h维；其次，并行执行h个投影，实现按比例缩放点积注意力；然后将h个头的所有输出连接起来并线性投影到表示空间；具体将多头自注意力表达如下：

MultiHead(Q,K,V)＝[H₁；H₂；...；H_h]W^R (2)

H_i＝Attention(QW_i ^Q,KW_i ^K,VW_i ^V) (3)

其中，MultiHead()表示多头自注意力，H₁,H₂,...,H_h表示多头自注意力中的h个头，

是第i个线性变换的参数矩阵，

是缩放点乘注意力的拼接结果的参数矩阵，都是可学习的参数，[；]表示拼接运算，Attention()表示多头自注意力的注意力函数，由公式(1)计算；

S2.4基于多头自注意力的词嵌入与实体嵌入的相互融合：将输入句子的每一个词嵌入与头实体和尾实体嵌入拼接在一起构成输入序列

其中

[；]表示拼接运算；x_i表示使用谷歌预训练的word2vec词向量将句子中每个词映射为的一个低维词嵌入向量；将输入序列X^(e)喂入多头自注意力层，令Q＝K＝V＝X^(e)，获得词的实体感知嵌入表示序列

X^(we)＝Multihead(X^(e),X^(e),X^(e)) (4)

其中，MultiHead()由公式(2)计算。

S2.5基于多头自注意力的相对位置嵌入融合

将每个词的位置嵌入和与实体感知嵌入表示序列X^(we)拼接构成序列

其中

然后将X^(p)喂入多头自注意力层，充分融合实体嵌入和位置嵌入表示，得到词的实体位置感知表示X^(ep)：

X^(ep)＝Multihead(X^(p),X^(p),X^(p)) (5)

其中，实体位置感知表示

表示输入序列经过两个多头自注意力层后的能够凸显实体信息的嵌入表示。

所述步骤S3包括以下子步骤：

S3.1全局门层将门控结构应用到实体感知增强词表示层的实体位置感知表示X^(ep)中，全局信息门的计算如下：

其中

是实体位置感知表示

的第i列，

表示实体位置感知表示X^(ep)经过平均池化得到的全局信息上下文向量；σ表示sigmoid激活函数，⊙代表逐元素乘法运算，

是可学习参数，b是偏置，g_i是全局信息门

的第i列；

表示全局信息门的第i个输出；门控输出

将被输入到下一层的PCNN中；g_i表示当前词的

与全局信息

是否存在联系，通过乘法计算

可以将全局信息传递到当前词表示；

S3.2带门控机制的PCNN层将上一层全局门层的门控输出

作为输入，使用一个滤波矩阵

来产生局部特征，l表示滤波器的窗口大小，d_g是输入表示中每个词表示的维度；滤波器从输入序列的左边滑动到右边产生一个向量

n表示输入序列词的个数，并且C的第i个元素计算如下：

其中

代表卷积运算，b^c是偏置，

是指输入序列X^(g)中i到i+l-1词之间的连接；由于窗口在滑动到边界预设距离时可能会在句子边界之外，设置所有超出范围的输入向量

(i<1或i>n)视为零向量；为了提取句子的不同特征，在卷积层中使用了一组表示为

的多个滤波器，其中d_c是滤波器的数量；

S3.3根据头实体和尾实体的位置，分段最大池化将每个滤波器分成三个部分返回最大值；第i个滤波器的C_i被分为

C_i分段最大池化的输出定义为：

其中，

为C_i经过最大池化操作后的三个分段表示，maxpool()表示最大池化操作；

S3.4使用d_c个滤波器来抽取句子局部特征向量连接起来，产生输出句子的三个分段表示

其中

进一步的，所述步骤S4包括以下过程：

使用一个门机制来赋予PCNN输出q的三个分段不同的权重，突出关键分段的作用，通过门机制计算得到如下分段权重和句子表示：

s＝tanh([P⁽¹⁾；P⁽²⁾；P⁽³⁾]) (13)

其中σ表示sigmoid激活函数，

b^s是偏置，属于可学习参数。门向量

为分段输出qⁱ(i＝1,2,3)的权重，它与qⁱ进行逐元素相乘得到带权重的分段输出

然后将P⁽¹⁾、P⁽²⁾、P⁽³⁾拼接在一起再通过一个tanh激活函数得到句子最终表示

进一步的，所述步骤S5包括以下子步骤：

S5.1假设一个关于实体对的句袋{s₁,s₂,...,s_m}，当预测关系r时，基于注意力的句袋编码

表示如下：

其中，α_i,r表示句子s_i在预测关系r时的注意力权重，A是加权对角矩阵，

是关系r的嵌入向量，s_i、s_j分别表示句袋B中第i个和第j个句子的语义表示，分别由公式(13)计算得到；

S5.2将句袋在所有关系上的表示

通过线性变换计算句袋在所有关系上的预测得分o：

o＝MB+b^o (16)

其中，Φ表示预测的关系集合，d_r为预测的关系数，

是一个关系表示矩阵，

为偏置向量；

S5.3对于给定的句袋{s₁,s₂,...,s_m}和它所预测的关系r，计算B标注为关系r的概率p(r|B,θ)如下：

其中，o_r表示关系r的预测得分，o_k表示关系k的预测得分，θ是所有可学习的参数集合。

进一步的，使用交叉熵(cross-entropy)来定义本发明改进的PCNN模型训练过程的损失函数：

其中K表示训练集中句袋的数目，r_i表示在训练集中句袋所标注的关系，B_i表示训练集中第i个句袋在所有关系上的表示，θ表示模型中的所有可学习的参数集合，采用随机梯度下降来最小化目标函数，从训练集中随机选择一个预设数量的训练集进行迭代，直到收敛。

本发明采用了具有实体感知增强功能的新型门控分段卷积神经网络(gated PCNNwith entity-aware enhancement,EA-GPCNN)来进行远程监督关系的抽取。首先，与PCNN中仅将单词嵌入和实体对相对位置相结合的词表示法不同，本发明框架使用两个多头自注意力网络来集成实体嵌入和位置嵌入，生成可感知关系实体的增强词表示，旨在捕获每个词与关系实体对之间的语义依赖性。然后，为了实现基于句子上下文的单词编码，本发明在PCNN之前的单词表示中添加了一个全局信息集成层，即本发明引入了称为全局门的门结构以获得句子的全局信息，并将其集成到每个实体感知的增强词表示中，然后将其输入到PCNN。此外，本发明认为根据两个关系实体的位置划分的三个句子段在关系分类中具有不同的重要性。因此，本发明添加了一个段级门机制，将不同的权重分配给PCNN输出中的三个句子段，这可以突出重要段并削弱不相关段的效果。

本发明与现有技术相比，具有以下有益效果：

(1)本发明使用多头自注意力集成头/尾实体嵌入和相对位置嵌入，使得每个单词嵌入表示能够结合实体信息，从而捕获词与实体对的长期依赖关系。

(2)本发明将全局信息门结构和PCNN结合，更好地集成句子的全局和局部信息。

(3)本发明在PCNN的池化层后引入门控机制赋予三个句子段不同的权重，突出关键分段的作用，提高了本发明中PCNN模型对于远程监督关系预测的能力。

(4)本发明在广泛使用的基准数据集NYT上评估了本发明的模型，与最新的模型相比取得了实质性的改进。

附图说明

图1是本发明方法的流程示意图。

图2是多头自注意力的结构示意图。

图3是全局信息门结构的结构示意图。

图4是本发明模型和先进基准模型的精度-召回率曲线对比图。

具体实施方式

远程监督关系抽取任务可以简述为：在给定一个含有m个句子的袋B＝{s₁,s₂,...,s_m}，袋中的每个句子都含有相同的实体对(头实体e_f和尾实体e_t)，关系抽取的目的是预测两个实体之间的关系y。根据这一定义，本发明的远程监督关系的抽取，采用了一种具有实体感知增强功能的新型门控分段卷积神经网络EA-GPCNN，如图1所示。

具体可以概况为：

S1.对于给定句袋中的一个句子，输入层使用谷歌预训练的word2vec词向量将句子中每个词映射为一个低维词嵌入向量，得到一个输入序列；

S2.实体感知增强词表示层使用多头自注意力机制将单词嵌入与头实体和尾实体嵌入以及相对位置嵌入相融合，以生成可感知实体的增强型单词语义表示；

S3.将全局门结构和PCNN结合，集成句子的全局和局部信息；

S4.在PCNN的池化层后引入门控机制赋予三个句子段不同的权重，突出关键分段的作用；

S5.根据该句子与其预测关系的相关程度为句袋中的每个句子计算注意力权重，并计算句袋中句子的加权和作为句袋的关系预测表示，然后，将句袋在所有关系上的表示通过线性变换计算句袋在所有关系上的预测得分和概率，根据概率的高低进行关系抽取。

以下对每个步骤进行具体说明：

步骤S1为输入层的设定：

对于给定袋中的一个序列长度为n的句子s＝{w₁,w₂,...,w_n}，本发明输入层使用谷歌预训练的word2vec词向量将句子中每个词映射为一个低维词嵌入(Word embedding)向量

从而得到一个输入序列

d_w表示词嵌入的维度。

步骤S2为对实体感知增强词表示层的设定：具体包括以下子步骤：

S2.1实体嵌入(Entityembedding)

实体嵌入是指头实体e_f和尾实体e_t的嵌入向量，分别表示为它们在谷歌预训练word2vec中的词向量，记为x^(f)和x^(t)。所述头实体e_f是指句子中构成关系的第一个词语，所述尾实体e_t是指句子中构成关系的第二个词语。例如，在给定句子“[特朗普]e₁是美国第45任[总统]e₂”中，“特朗普”是President of关系的头实体e_f，“美国”是President of关系的尾实体e_t。

S2.2相对位置嵌入(Relative position embedding)

相对位置是关系抽取中关键特征之一，它们描述句子中每个词w_i与两个目标实体e_f和e_t的相对距离，例如：“

was the founder of

”，founder与实体e_f“Bill Gates”和实体e_t“Microsoft”的相对位置分别为-3和2。对于第i个词，随机初始化的权重矩阵将相对位置特征映射为两个低维稠密向量

和

d_p为相对位置嵌入的维度。

S2.3多头自注意力(Multi-head self-attention)

捕获词与实体对的长期依赖关系，使得句子序列能够根据上下文信息来捕获单词含义，本发明使用多头自注意力机制对输入句子建模。图2阐述了多头自注意力机制的结构。如2所示，本发明使用缩放点乘注意力来作为注意力函数。给定queries Q、keys K、values V，queries Q、keys K、values V是多头自注意力中的三个参数，其中Q∈R^n×d，K∈R^{n ×d}，V∈R^n×d，d是输入词嵌入的维度，即d＝d_W，n为输入序列词的个数。缩放点乘注意力由下面等式计算：

其中，T表示矩阵的转置操作，softmax()为神经网络中广泛使用的归一化指数函数。

多头自注意力从不同语义子空间捕获序列信息。首先，对于由h个头组成的多头自注意力结构，使用h个不同的线性变换将queries Q、keys K、values V分别转换为d/h维。其次，并行执行h个投影，实现按比例缩放点积注意力。然后将h个头的所有输出连接起来并线性投影到表示空间。具体而言，可以将多头自注意力表达如下：

MultiHead(Q,K,V)＝[H₁；H₂；...；H_h]W^R (2)

H_i＝Attention(QW_i ^Q,KW_i ^K,VW_i ^V) (3)

其中，MultiHead()表示多头自注意力，H₁,H₂,...,H_h表示多头自注意力中的h个头，，

是第i个线性变换的参数矩阵，

是缩放点乘注意力的拼接结果的参数矩阵，都是可学习的参数，[；]表示拼接运算，Attention()表示多头自注意力的注意力函数，由公式(1)计算。

S2.4基于多头自注意力的词嵌入与实体嵌入的相互融合

本发明将输入句子的每一个词嵌入与头实体和尾实体嵌入拼接在一起构成输入序列

其中

[；]表示拼接运算，x_i表示使用谷歌预训练的word2vec词向量将句子中每个词映射为的一个低维词嵌入向量；将输入序列X^(e)喂入多头自注意力层(Q＝K＝V＝X^(e))，获得词的实体感知嵌入表示序列

X^(we)＝Multihead(X^(e),X^(e),X^(e)) (4)

其中，MultiHead()由公式(2)计算。

S2.5基于多头自注意力的相对位置嵌入融合

与上述相似，本发明将每个词的位置嵌入和与实体感知嵌入表示序列X^(we)拼接构成序列

其中

数字3表示有三个词：待编码的词、头实体与尾实体，2表示有两个相对位置。然后将X^(p)喂入多头自注意力层，充分融合实体嵌入和位置嵌入表示，得到词的实体位置感知表示X^(ep)：

X^(ep)＝Multihead(X^(p),X^(p),X^(p)) (5)

其中，实体位置感知表示

表示输入序列经过两个多头自注意力层后的能够凸显实体信息的嵌入表示，它将为下游模块提供更多语义信息的输入表示。

步骤S3是对全局门层的设定：

因为卷积神经网络具有捕获局部n-gram特征的能力，并且结构简单、可以并行计算，所以先前工作主要使用分段卷积神经网络获取句子的上下文表示。但是CNN无法充分利用序列的全局信息，容易忽略句子中一些关键性的单词信息，因此本发明使用一个全局信息门(gate)来增强PCNN捕获全局特征的能力，其结构如图3所示。

S3.1本发明将门控结构应用到实体感知增强词表示层的实体位置感知表示X^(ep)中。全局信息门的计算如下：

其中

是实体位置感知表示

的第i列，

表示实体位置感知表示X^(ep)经过平均池化得到的全局信息上下文向量。σ表示sigmoid激活函数，⊙代表逐元素乘法运算，

是可学习参数，b是偏置。g_i是全局信息门

的第i列；

表示全局信息门的第i个输出；门控输出

将被输入到下一层的PCNN中。

由式(7)可知，g_i是通过上下文向量

计算而来，因此向量g_i包含

的信息。g_i表示当前词的

与

是否存在联系，通过乘法计算

可以将全局信息传递到当前词表示。

S3.2带门控机制的PCNN层

在这一层，本发明将上一层全局门层的门控输出

作为输入，使用一个滤波矩阵(filter matrix)

来产生局部特征，l表示滤波器filter的大小，d_g是输入表示中每个词表示的维度。滤波器从输入序列的左边滑动到右边产生一个向量

n表示输入序列词的个数，并且C的第i个元素计算如下：

其中

代表卷积运算，b^c是偏置，

是指输入序列X^(g)中i到i+l-1词之间的连接。由于窗口在滑动到边界预设距离时可能会在句子边界之外，因此本发明为句子设置了特殊的填充标记，即本发明将所有超出范围的输入向量

(i<1或i>n)视为零向量。为了提取句子的不同特征，本发明在卷积层中使用了一组表示为

的多个滤波器，其中d_c是滤波器的数量。

S3.3根据头实体和尾实体的位置，分段最大池化将每个滤波器分成三个部分返回最大值。第i个滤波器的C_i可以被分为

C_i分段最大池化的输出定义为：

其中，

为C_i经过最大池化操作后的三个分段表示，maxpool()表示最大池化操作。

S3.4本发明将使用d_c个滤波器来抽取句子局部特征向量连接起来，产生输出句子的三个分段表示

其中

为了进一步探究段级别的结构信息，本发明使用一个门机制来赋予PCNN输出q的三个分段不同的权重，突出关键分段的作用，减少无关分段的作用。即步骤S4，通过门机制计算得到如下句子表示：

s＝tanh([P⁽¹⁾；P⁽²⁾；P⁽³⁾]) (13)

其中σ表示sigmoid激活函数，

b^s是偏置，属于可学习参数。门向量

为分段输出qⁱ(i＝1,2,3)的权重，它与qⁱ进行逐元素相乘得到带权重的分段输出

然后将P⁽¹⁾、P⁽²⁾、P⁽³⁾拼接在一起再通过一个tanh激活函数得到句子最终表示

P＝P⁽¹⁾or P⁽²⁾or P⁽³⁾

步骤S5是选择注意力(Selective attention)的过程。

远程监督学习是建立在一个强假设之上，因此不可避免地遭遇噪声标签问题，即并非袋中的所有句子都可以表达针对目标实体对所标注的关系。为了解决这个问题，本发明利用一个句子级别的注意力来减轻噪声句子的影响。模型会根据该句子与其预测关系的相关程度为袋中的每个句子计算注意力权重，并计算袋中句子的加权和作为袋的关系预测表示。

S5.1假设一个关于实体对的句袋{s₁,s₂,...,s_m}，当预测关系r时，基于注意力的句袋编码

表示如下：

其中，α_i,r表示句子s_i在预测关系r时的注意力权重，A是加权对角矩阵，

是关系r的嵌入向量，s_i、s_j分别表示句袋B中第i个和第j个句子的语义表示，分别由公式(13)计算得到。

S5.2将句袋在所有关系上的表示

通过线性变换计算句袋在所有关系上的预测得分o：

o＝MB+b^o (16)

其中，Φ表示预测的关系集合，d_r为预测的关系数，

是一个关系表示矩阵，

为偏置向量。

S5.3对于给定的句袋{s₁,s₂,...,s_m}和它所预测的关系r，本发明计算B标注为关系r的概率p(r|B,θ)如下：

其中，o_r表示关系r的预测得分，o_k表示关系k的预测得分，θ是本发明中所有可学习的参数集合，概率高的关系r即为所要抽取的关系。

损失函数

本发明使用交叉熵(cross-entropy)来定义改进的PCNN模型训练过程的损失函数：

其中K表示训练集中句袋的数目，r_i表示在训练集中句袋所标注的关系，B_i表示训练集中第i个句袋在所有关系上的表示，θ表示模型中的所有参数。本发明采用随机梯度下降(SGD)来最小化目标函数，从训练集中随机选择一个预设数量的训练集进行迭代，直到收敛。通过损失函数可以不断的修正本发明的PCNN模型，提高本发明对远程监督关系的预测能力。

实验对比：

1、参数设置

本发明模型EA-GPCNN在实验中采用表1所示的超级参数：

表1模型的超级参数设置

2、对比模型

将本发明所提出的模型EA-GPCNN与如下先进的基准模型进行比较：

·Mintz[1]：传统的多类逻辑回归模型。

·MultiR[2]：用于解决重叠关系的多实例学习的概率图模型。

·MIMLRE[3]：提出了可以同时对多个实例和多个标签进行建模的图模型。

·PCNN[4]：基于CNN的模型，具有分段最大池化。

·PCNN+ATT[5]：在多个实例上采取选择注意力，以减轻错误标签的问题。

·PCNN+ATT+SL[6]：引入了标签级别的降噪方法，从而降低了噪音标签的影响。

·RESIDE[7]：采用图卷积神经网络编码句子的句法特征。

模型文献：

[1]M.Mintz,S.Bills,R.Snow,D.Jurafsky,Distant supervision for relationextraction without labeled data,in:Proceedings of the Joint Conference of the47th Annual Meeting of the ACL and the 4th International Joint Conference onNatural Language Processing of the AFNLP:Volume 2-Volume 2,Association forComputational Linguistics,2009,pp.1003–1011.

[2]R.

C.Zhang,X.Ling,L.Zettlemoyer,D.S.Weld,Knowledge-basedweak supervision for information extraction of overlapping relations,in:Proceedings of the 49th Annual Meeting of the Association for ComputationalLinguistics:Human Language Technologies-Volume 1,Association forComputational Linguistics,2011,pp.541–550.

[3]M.Surdeanu,J.Tibshirani,R.Nallapati,C.D.Manning,Multi-instancemulti-label learning for relation extraction,in:Proceedings of the 2012jointconference on empirical methods in natural language processing andcomputational natural language learning,Association for ComputationalLinguistics,2012,pp.455–465.

[4]D.Zeng,K.Liu,S.Lai,G.Zhou,J.Zhao,Relation classification viaconvolutional deep neural network,in:Proceedings of COLING 2014,the 25thInternational Conference on Computational Linguistics:Technical Papers,DublinCity University and Association for Computational Linguistics,Dublin,Ireland,2014,pp.2335–2344.

[5]Y.Lin,S.Shen,Z.Liu,H.Luan,M.Sun,Neural relation extraction withselective attention over instances,in:Proceedings of the 54th Annual Meetingof the Association for Computational Linguistics(Volume 1:Long Papers),2016,pp.2124–2133.

[6]T.Liu,K.Wang,B.Chang,Z.Sui,A soft-label method for noise-tolerantdistantly supervised relation extraction,in:Proceedings of the 2017Conferenceon Empirical Methods in Natural Language Processing,2017,pp.1790–1795.

[7]S.Vashishth,R.Joshi,S.S.Prayaga,C.Bhattacharyya,P.Talukdar,RESIDE:Improving distantly-supervised neural relation extraction using sideinformation,in:Proceedings of the 2018Conference on Empirical Methods inNatural Language Processing,Association for Computational Linguistics,Brussels,Belgium,2018,pp.1257–1266.doi:10.18653/v1/D18-1157.

3、实验结果

本发明模型EA-GPCNN和先进基准模型的精度-召回率曲线对比如图4所示，从图4中可以发现本发明模型EA-GPCNN在召回率大于有实际意义的0.02后，所有召回率的精度都高于对比的基准模型，表明本发明所提出的模型是先进的与可行的。

Claims (4)

1.一种基于PCNN模型的带有实体感知的远程监督关系抽取方法，其特征在于包括以下步骤：

S1.对于给定句袋中的一个句子，输入层使用谷歌预训练的word2vec词向量将句子中每个词映射为一个低维词嵌入向量，得到一个输入序列；

S2.实体感知增强词表示层使用多头自注意力机制将单词嵌入与头实体和尾实体嵌入以及相对位置嵌入相融合，以生成可感知实体的增强型单词语义表示；

S3.将全局门结构和PCNN结合，集成句子的全局和局部信息；

S4.在PCNN的池化层后引入门控机制赋予三个句子段不同的权重，突出关键分段的作用；

S5.根据该句子与其预测关系的相关程度为句袋中的每个句子计算注意力权重，并计算句袋中句子的加权和作为句袋的关系预测表示，然后，将句袋在所有关系上的表示通过线性变换计算句袋在所有关系上的预测得分和概率，根据概率的高低进行关系抽取；

所述步骤S2包括以下子步骤：

S2.1实体嵌入：头实体e_f和尾实体e_t的嵌入向量，分别表示为它们在谷歌预训练word2vec中的词向量，记为x^(f)和x^(t)；

S2.2相对位置嵌入：计算句子中每个词w_i与头实体e_f和尾实体e_t的相对距离，对于第i个词，随机初始化的权重矩阵将相对位置特征映射为两个低维稠密向量

和

d_p为相对位置嵌入的维度；

S2.3使用多头自注意力对输入句子建模：使用缩放点乘注意力来作为注意力函数；对于给定queries Q、keys K、values V，其中，Q∈R^n×d，K∈R^n×d，V∈R^n×d，d是输入词嵌入的维度，即d＝d_W，n为输入序列词的个数，d_w表示词嵌入的维度；缩放点乘注意力由公式(1)计算：

其中，T表示矩阵的转置操作，softmax()为神经网络中的归一化指数函数；

多头自注意力从不同语义子空间捕获序列信息：首先，对于由h个头组成的多头自注意力结构，使用h个不同的线性变换将queries Q、keys K、values V分别转换为d/h维；其次，并行执行h个投影，实现按比例缩放点积注意力；然后将h个头的所有输出连接起来并线性投影到表示空间；具体将多头自注意力表达如下：

MultiHead(Q,K,V)＝[H₁；H₂；...；H_h]W^R (2)

H_i＝Attention(QW_i ^Q,KW_i ^K,VW_i ^V) (3)

其中，MultiHead()表示多头自注意力，H₁,H₂,...,H_h表示多头自注意力中的h个头，

是第i个线性变换的参数矩阵，

是缩放点乘注意力的拼接结果的参数矩阵，都是可学习的参数，[；]表示拼接运算，Attention()表示多头自注意力的注意力函数，由公式(1)计算；

S2.4基于多头自注意力的词嵌入与实体嵌入的相互融合：将输入句子的每一个词嵌入与头实体和尾实体嵌入拼接在一起构成输入序列

其中

[；]表示拼接运算；x_i表示使用谷歌预训练的word2vec词向量将句子中每个词映射为的一个低维词嵌入向量；将输入序列X^(e)喂入多头自注意力层，令Q＝K＝V＝X^(e)，获得词的实体感知嵌入表示序列

X^(we)＝Multihead(X^(e),X^(e),X^(e)) (4)

其中，MultiHead()由公式(2)计算；

S2.5基于多头自注意力的相对位置嵌入融合

将每个词的位置嵌入和与实体感知嵌入表示序列X^(we)拼接构成序列

其中

然后将X^(p)喂入多头自注意力层，充分融合实体嵌入和位置嵌入表示，得到词的实体位置感知表示X^(ep)：

X^(ep)＝Multihead(X^(p),X^(p),X^(p)) (5)

其中，实体位置感知表示

表示输入序列经过两个多头自注意力层后的能够凸显实体信息的嵌入表示；

所述步骤S3包括以下子步骤：

S3.1全局门层将门控结构应用到实体感知增强词表示层的实体位置感知表示X^(ep)中，全局信息门的计算如下：

其中

是实体位置感知表示

的第i列，

表示实体位置感知表示X^(ep)经过平均池化得到的全局信息上下文向量；σ表示sigmoid激活函数，⊙代表逐元素乘法运算，

是可学习参数，b是偏置，g_i是全局信息门

的第i列；

表示全局信息门的第i个输出；门控输出

将被输入到下一层的PCNN中；g_i表示当前词的

与

是否存在联系，通过乘法计算

可以将全局信息传递到当前词表示；

S3.2带门控机制的PCNN层将上一层全局门层的门控输出

作为输入，使用一个滤波矩阵

来产生局部特征，l表示滤波器的窗口大小，d_g是输入表示中每个词表示的维度；滤波器从输入序列的左边滑动到右边产生一个向量

n表示输入序列词的个数，并且C的第i个元素计算如下：

其中

代表卷积运算，b^c是偏置，

是指X^(g)中i到i+l-1词之间的连接；由于窗口在滑动到边界预设距离时会在句子边界之外，设置所有超出范围的

视为零向量；为了提取句子的不同特征，在卷积层中使用了一组表示为

的多个滤波器，其中d_c是滤波器的数量；

S3.3根据头实体和尾实体的位置，分段最大池化将每个滤波器分成三个部分返回最大值；第i个滤波器的C_i被分为

C_i分段最大池化的输出定义为：

其中，

为C_i经过最大池化操作后的三个分段表示，maxpool()表示最大池化操作；

S3.4使用d_c个滤波器来抽取句子局部特征向量连接起来，产生输出句子的三个分段表示

其中q¹,q²,

所述步骤S4包括以下过程：

使用一个门机制来赋予PCNN输出q的三个分段不同的权重，突出关键分段的作用，通过门机制计算得到如下分段权重和句子表示：

s＝tanh([P⁽¹⁾；P⁽²⁾；P⁽³⁾]) (13)

其中σ表示sigmoid激活函数，

b^s是偏置，属于可学习参数；门向量

为分段输出qⁱ(i＝1,2,3)的权重，它与qⁱ进行逐元素相乘得到带权重的分段输出

然后将P⁽¹⁾、P⁽²⁾、P⁽³⁾拼接在一起再通过一个tanh激活函数得到句子最终表示

2.根据权利要求1所述的基于PCNN模型的带有实体感知的远程监督关系抽取方法，其特征在于：

所述步骤S1包括：对于给定袋中的一个序列长度为n的句子s＝{w₁,w₂,...,w_n}，输入层使用谷歌预训练的word2vec词向量将句子中每个词映射为一个低维词嵌入向量

从而得到一个输入序列

d_w表示词嵌入的维度。

3.根据权利要求1所述的基于PCNN模型的带有实体感知的远程监督关系抽取方法，其特征在于：

所述步骤S5包括以下子步骤：

S5.1假设一个关于实体对的句袋{s₁,s₂,...,s_m}，当预测关系r时，基于注意力的句袋编码

表示如下：

其中，α_i,r表示句子s_i在预测关系r时的注意力权重，A是加权对角矩阵，

是关系r的嵌入向量，s_i,s_j分别表示句袋{s₁,s₂,...,s_m}中第i个和第j个句子的语义表示，分别由公式(13)计算得到；

S5.2将句袋在所有关系上的表示

通过线性变换计算句袋在所有关系上的预测得分o：

o＝MB+b^o (16)

其中，Φ表示预测的关系集合，d_r为预测的关系数，

是一个关系表示矩阵，

为偏置向量；

S5.3对于给定的句袋{s₁,s₂,...,s_m}和它所预测的关系r，计算B标注为关系r的概率p(r|B,θ)如下：

其中，o_r表示关系r的预测得分，o_k表示关系k的预测得分，θ是所有可学习的参数集合。

4.根据权利要求3所述的基于PCNN模型的带有实体感知的远程监督关系抽取方法，其特征在于：

使用交叉熵(cross-entropy)来定义改进的PCNN模型训练过程的损失函数：

其中K表示训练集中句袋的数目，r_i表示在训练集中句袋所标注的关系，B_i表示训练集中第i个句袋在所有关系上的表示，θ表示模型中的所有可学习的参数集合，采用随机梯度下降来最小化目标函数，从训练集中随机选择一个预设数量的训练集进行迭代，直到收敛。

Images