CN111078895A - 基于去噪卷积神经网络的远程监督实体关系抽取方法 - Google Patents

Abstract

基于去噪卷积神经网络的远程监督实体关系抽取方法，属于自然语言处理、实体关系抽取领域。本发明提出了一种去噪卷积神经网络的模型来进行实体的关系进行抽取。使用特征缩放层对词向量在各语义空间进行有效缩放，同时通过对卷积网络中各卷积核进行注意力权重计算，使网络可以自己学习到不同卷积核的重要性，进而进一步降低噪声的影响，达到改善模型抽取能力的目的。

Description

基于去噪卷积神经网络的远程监督实体关系抽取方法

技术领域

本发明属于自然语言处理、实体关系抽取领域，提出一种去噪卷积神经网络模型，可以有效分析复杂文本中实体对之间的关系，从而能对实体之间的关系进行预测。

背景技术

随着互联网的高速发展，网络中包含大量信息，但是很多信息是非结构化信息，无法被有效利用。在构建知识图谱过程中，结构化信息是十分关键的信息，而如何从大量非结构化数据中抽取结构化数据是一大难题。实体关系抽取作为信息抽取的重要任务，是指在实体识别的基础上，从非结构化文本中抽取出预先定义的实体关系。实体对的关系可被形式化描述为关系三元组<e₁,r,e₂>,其中,e₁和e₂是实体,r属于目标关系集R{r₁,r₂,r₃,...,r_n}。关系抽取的任务是从自然语言文本中抽取出关系三元组<e₁,r,e₂>，从而提取文本信息。

基于深度学习的关系抽取依赖大量人工标注的数据集，然而人工标注耗时费力，Mintz首次提出不依赖人工标注的关系抽取，把远程监督应用到关系抽取上，从而实现利用知识库(Freebase)对数据进行自动对齐的一种标注方法。虽然这样节省了大量人工标注的时间，但是同时给远程监督的数据带来了大量噪声，如何降低相关噪声的影响成为解决该问题的主流方法。解决该问题的方法主要通过改进特征提取器和抑制错误标签。在特征提取器方面主要通过CNN或者RNN以及相关网络变体进行表示学习，由于RNN的自身特性导致其无法并行计算，同时在训练过程中容易出现梯度消失或者梯度爆炸，因而在远程监督关系抽取中一般使用CNN网络及其变体进行表示学习。PCNN(Piecewise Convolution NeuralNetwork)拥有良好的效果，但是由于其仅仅使用单层的卷积网络和单层的全连接网络，无法有效的对句子中无效信息进行滤除。由于深度学习中对文本进行表示是通过词向量的形式，而词向量是将文本信息映射到语义空间中进行表示的。获取词向量的方法是通过对大量文本数据进行无监督训练，从而实现对文本进行表示。这种方法虽然使得词向量有更丰富的表达，但是在类似关系抽取这种特定任务中，一些语义空间中的信息会成为噪声，进而影响模型的性能。

发明内容

针对上述存在问题，本发明提出了一种去噪卷积神经网络(DenoisingConvolution Neural Network)的模型来进行实体的关系进行抽取。使用特征缩放层对词向量在各语义空间进行有效缩放，同时通过对卷积网络中各卷积核进行注意力权重计算，使网络可以自己学习到不同卷积核的重要性，进而进一步降低噪声的影响，达到改善模型抽取能力的目的。

本发明的技术方案：

基于去噪卷积神经网络的远程监督实体关系抽取方法，步骤如下：

步骤一、远程监督构建数据集

首先对于原始非结构化数据使用NLP工具包对其进行命名实体标注，当一个句子中含有两个实体，且这两个实体在Freebase中是一个关系对时，那么将Freebase中的结构数据与非结构文本进行自动对齐，产生标注数据，进而构建完成远程监督数据集；

步骤二、词向量以及位置信息的输入

设句子表示为：X_input＝{w₁,w₂,...,w_i,...,w_m}，其中

d^a是词向量的维度，d^b是位置信息的维度；位置信息是直接拼接在原始词向量上，位置信息主要描述当前词与两个实体的相对位置信息，由当前词与实体的相对位置在d^b维度进行词嵌入获取。

步骤三、特征缩放及提取

(1)给输入句子矩阵X_input插入“学习”通道进行学习：

X_i＝W_iX_input+b_i (1)

其中，W_i表示第i个学习通道的权重，b_i表示第i个学习通道的偏置，在n维语义空间下的学习矩阵为：

H＝[X₁,X₂,...,X_i,...,X_n] (2)

训练时将学习矩阵H进行稀疏表示：

H_S＝H⊙S_n (3)

其中，S_n是维度为n，概率为0.5的伯努利随机变量的向量；

(2)对于n个卷积核的特征输入C＝{p₁,p₂,...,p_i,...,p_n}，

其中l是句子长度，d是词向量维度，首先获取通道特征，使用该通道的特征图的平均值作为通道特征：

C＝{Avg(p₁),Avg(p₂),...,Avg(p_n)} (4)

(3)训练过程中对通道特征进行稀疏表示：

C_s＝C⊙S_n (5)

其中S_n是维度为n，概率为0.5的伯努利随机变量的向量；

(4)对稀疏表示的通道特征进行压缩编码

(5)对编码后的信息使用激活函数GELU进行非线性变换后进行解码

encoder和decoder是互为可逆的网络操作，对通道特征经行sigmoid输出权重为0～1的注意力权重。

(6)由公式(3)得知H_S＝{X_s1,X_s2,...,X_si,...,X_sn}，其中X_si为X_i的稀疏表示，通过获取的注意力权重矩阵Attention，对由公式(3)获取的H_s的数据流进行控制，

其中，

是对H_s进行注意力缩放后的特征表示；

(7)将从n维语义空间学习到的特征值进行压缩，

其中，W_[1,2,...,n]是压缩层n个可学习权重，b是压缩层的可学习偏置，作用在于将n维的

通过网络学习压缩至原始维度，O为通过特征缩放后的输出；

对经过特征缩放的O使用k个卷积核进行卷积操作

O_c＝Conv(O) (11)

其中，conv表示卷积操作，

步骤四、计算权值Attention

通过公式(4)-(8)计算注意力权值Attention，随后对提取的特征使用Attention权重按其重要程度进行过滤或者缩放；

其中

是卷积后的特征输出，其中o_i是每个卷积核卷积后的特征表示，通过两个实体的位置将特征表示分为3个部分{o_i1,o_i2,o_i3}；

步骤五、通过分段最大值池化将每个句子提取出3个主要特征：

p_ij＝max(o_ij),1≤i≤k,1≤j≤3 (13)

其中max是最大值池化操作，获取一个3维向量p_i＝{p_i1,p_i2,p_i3}，然后将所有向量进行拼接得到p_1:k，进行非线性激活：

g＝tanh(P_1:k) (14)

其中tanh是非线性激活函数Tanh，P₁:_k是每个句子特征分段池化后的3个句子特征，

是最后的句子特征表示；

步骤六、接上全连接层，进行关系分类

v_i＝W_lg+b_l (15)

其中，W_l是全连接层的可学习权重，b_l是全连接层的可学习偏置，v_i是最后的特征表示；

设有|y|个类别，经过softmax预测输出：

最后目标函数优化

其中θ是网络中所有可学习参数，λ是L2正则化的超参数，y_i是标签，

是模型预测输出。

本发明的有益效果：提出了一种基于去噪卷积网络的远程监督关系抽取方法，旨在利用特征缩放层以及不同学习通道间的注意力来降低关系抽取任务中输入的噪音对模型关系抽取的影响。

附图说明

图1为本发明总体模型训练流程图；

图2为网络中特征缩放的结构示意图；

图3为注意力结构图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚,结合以上所给技术方案和附图，进一步说明本发明的具体使用方式，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。

如图1所示，是本发明提出的一种远程监督关系抽取方法的流程图

词向量表示，词向量利用无监督预训练的词向量，此外针对关系抽取加入了实体的位置信息，句子表示X_input＝{w₁,w₂,...,w_n}，其中

d^a是词向量的维度，d^b是位置信息的维度。将句子信息输入模型首先经过特征缩放层，

X_i＝W_iX_input+b_i (1)

在n维语义空间下的学习矩阵：

H＝[X₁,X₂,...,X_i,...,X_n] (2)

训练时将学习矩阵H进行稀疏表示：

H_S＝H⊙S_n (3)

其中S_n是维度为n，概率为0.5的伯努利随机变量的向量，接着对稀疏表示的学习矩阵H_s进行通道注意力计算，获取注意力权重矩阵Attention，由公式(3)可知H_S＝{X_s1,X_s2,...,X_sn}，其中X_si为X_i的稀疏表示，，首先获取通道特征

C＝{Avg(p₁),Avg(p₂),...,Avg(p_n)} (4)

训练过程中对通道特征进行稀疏表示，其中S_n是维度为n，概率为0.5的伯努利随机变量的向量。

C_s＝C⊙S_n (5)

对稀疏表示的通道特征进行压缩编码

接着对编码后的信息使用激活函数GELU(Gaussian Error Linear Units)进行非线性变换后进行解码

encoder和decoder是互为可逆的网络操作，本发明使用的是卷积网络进行编码和解码。当对通道特征进行稀疏表示及编码后，解码后的通道特征可以包含更丰富的模型注意力学习表示，接着对通道特征经行sigmoid输出权重为0～1的注意力权重。

通过获取的注意力权重矩阵Attention，对由公式(3)获取的H_s的数据流进行控制

是对H_s进行注意力缩放后的特征表示接着将从n维语义空间学习到的特征值进行压缩，

其中，W_[1,2,...,n]是压缩层n个可学习权重，b是压缩层的可学习偏置，作用在于将n维的

通过网络学习压缩至原始维度，O为通过特征缩放后的输出；

对经过特征缩放的O使用k个卷积核进行卷积操作

O_c＝Conv(O) (11)

其中，conv表示卷积操作，

步骤四、计算权值Attention

通过公式(4)-(8)计算注意力权值Attention，随后对提取的特征使用Attention权重按其重要程度进行过滤或者缩放；

是卷积后的特征输出，其中o_i是卷积后的特征表示，通过两个实体的位置将特征表示分为3个部分{o_i1,o_i2,o_i3}，通过分段最大值池化将每个句子提取出3个主要特征：

p_ij＝max(o_ij),1≤i≤n,1≤j≤3 (13)

其中max是最大值池化操作，然后将每个句子的3个特征进行拼接进行非线性激活

g＝tanh(P_1:k) (14)

其中tanh是非线性激活函数Tanh，P是每个句子特征分段池化后的3个句子特征，

是最后的句子特征表示，最后接上全连接层，进行关系分类

v_i＝W_lg+b_l (15)

W_i是全连接层的可学习权重，b_l是全连接层的可学习偏置，v_i是最后的特征表示，假设有|y|个类别，经过softmax预测输出

最后目标函数优化

其中θ是网络中所有可学习参数，λ是L2正则化的超参数，y_i是标签，

是模型预测输出。

本发明神经网络详细参数，特征缩放的“学习”通道数为32，特征提取采用230个窗口大小为3的卷积核，防止过拟合策略采用L2正则化0.00001,使用批量大小为40迭代训练200000次,使用小批量SGD算法对网络参数进行更新，初始学习速率0.1，每80000次学习衰减为原来的十分之一，通过广泛使用的多实例学习方法对模型输出结果进行预测。通过对比在相同策略下不同神经网络对抽取效果的影响，评价指标采用广泛使用的P@N以及AUC(Area Under Curve),结果显示去噪卷积神经网络对噪音滤除有较好的作用，AUC比较于CNN结构有了0.082的提高，对比使用广泛的PCNN结构有了0.022的提高，在平均精确度上分别有了10.8％和5.3％的提高。此外本发明的网络结构可以结合于其他远程监督关系抽取非网络结构部分的去噪方法，可以达到更好的效果。

使用本发明提出的关系抽取方法对网络收集的文本数据集进行预测，该数据集共收集了20000条文本数据，其中训练样本18000个，测试样本2000个。预测输出有27个类别。

以下是预测实例：

In January,[YouTube]’s co-founder,[Chad Hurley],said the companywould inthe coming months begin sharing advertisingrevenue with contributors.预测YouTube与Chad Hurley的关系是founders，预测结果表明基于去噪卷积神经网络实现的关系抽取方法相比于人工分类节约了80％的时间，尤其在大规模非结构化数据上可以节约非常可观的时间，并且预测的准确率也能达到预期要求。因此，本发明提出的方法可以有效对大规模非结构化数据进行结构化整理，并能大大减少人力与时间耗费，实现高效的智能化处理。

Claims (1)

1.基于去噪卷积神经网络的远程监督实体关系抽取方法，其特征在于，步骤如下：

步骤一、远程监督构建数据集

首先对于原始非结构化数据使用NLP工具包对其进行命名实体标注，当一个句子中含有两个实体，且这两个实体在Freebase中是一个关系对时，那么将Freebase中的结构数据与非结构文本进行自动对齐，产生标注数据，进而构建完成远程监督数据集；

步骤二、词向量以及位置信息的输入

设句子表示为：X_input＝{w₁,w₂,...,w_i,...,w_m}，其中

d^a是词向量的维度，d^b是位置信息的维度；位置信息是直接拼接在原始词向量上，位置信息主要描述当前词与两个实体的相对位置信息，由当前词与实体的相对位置在d^b维度进行词嵌入获取；

步骤三、特征缩放及提取

(1)给输入句子矩阵X_input插入学习通道进行学习：

X_i＝W_iX_input+b_i (1)

其中，W_i表示第i个学习通道的权重，b_i表示第i个学习通道的偏置，在n维语义空间下的学习矩阵为：

H＝[X₁,X₂,...,X_i,...,X_n] (2)

训练时将学习矩阵H进行稀疏表示：

H_S＝H⊙S_n (3)

其中，S_n是维度为n，概率为0.5的伯努利随机变量的向量；

(2)对于n个卷积核的特征输入C＝{p₁,p₂,...,p_i,...,p_n}，

其中l是句子长度，d是词向量维度，首先获取通道特征，使用该通道的特征图的平均值作为通道特征：

C＝{Avg(p₁),Avg(p₂),...,Avg(p_n)} (4)

(3)训练过程中对通道特征进行稀疏表示：

C_s＝C⊙S_n (5)

其中S_n是维度为n，概率为0.5的伯努利随机变量的向量；

(4)对稀疏表示的通道特征进行压缩编码

(5)对编码后的信息使用激活函数GELU进行非线性变换后进行解码

encoder和decoder是互为可逆的网络操作，对通道特征经行sigmoid输出权重为0～1的注意力权重；

(6)由公式(3)得知H_S＝{X_s1,X_s2,...,X_si,...,X_sn}，其中X_si为X_i的稀疏表示，通过获取的注意力权重矩阵Attention，对由公式(3)获取的H_s的数据流进行控制，

其中，

是对H_s进行注意力缩放后的特征表示；

(7)将从n维语义空间学习到的特征值进行压缩，

其中，W_[1,2,...,n]是压缩层n个可学习权重，b是压缩层的可学习偏置，作用在于将n维的

通过网络学习压缩至原始维度，O为通过特征缩放后的输出；

对经过特征缩放的O使用k个卷积核进行卷积操作

O_c＝Conv(O) (11)

其中，conv表示卷积操作，

步骤四、计算权值Attention

通过公式(4)-(8)计算注意力权值Attention，随后对提取的特征使用Attention权重按其重要程度进行过滤或者缩放；

其中

是卷积后的特征输出，其中o_i是每个卷积核卷积后的特征表示，通过两个实体的位置将特征表示分为3个部分{o_i1,o_i2,o_i3}；

步骤五、通过分段最大值池化将每个句子提取出3个主要特征：

p_ij＝max(o_ij),1≤i≤k,1≤j≤3 (13)

其中max是最大值池化操作，获取一个3维向量p_i＝{p_i1,p_i2,p_i3}，然后将所有向量进行拼接得到p_1:k，进行非线性激活：

g＝tanh(P_1:k) (14)

其中tanh是非线性激活函数Tanh，P_1:k是每个句子特征分段池化后的3个句子特征，

是最后的句子特征表示；

步骤六、接上全连接层，进行关系分类

v_i＝W_lg+b_l (15)

其中，W_l是全连接层的可学习权重，b_l是全连接层的可学习偏置，v_i是最后的特征表示；

设有|y|个类别，经过softmax预测输出：

最后目标函数优化

其中θ是网络中所有可学习参数，λ是L2正则化的超参数，y_i是标签，

是模型预测输出。

Images