CN110580340A - 一种基于多注意力机制的神经网络关系抽取方法 - Google Patents

Abstract

本发明公开了一种基于多注意力机制的神经网络关系抽取方法,包括，S1:对每个句子和其相关的一对实体，采用双向GRU神经网络构建一对实体的时间歩词向量表示；S2:采用设置的单词级别的自注意力机制选择句子中表述这对实体的关系的词向量表示，得到所述一个句子的句子向量表示；S3:采用设置的句子级别的注意力机制选择其中的表示了一对实体间关系的句子向量表示，得到所述一对实体的综合向量表示；S4:将一对实体的综合向量表示与所有关系进行内积运算生成实体对之间为任一关系的概率，取最大概率得到一对实体预测关系。本发明能够对实体对的句子进行处理，获取重要句子和句子中的丰富语义，提高关系抽取效果。

Description

一种基于多注意力机制的神经网络关系抽取方法

技术领域

本发明涉及计算机技术领域，尤其涉及一种基于多注意力机制的神经网络关系抽取方法。

背景技术

随着社会飞速发展，目前已经进入信息爆炸时代，每天都有海量新的数据产生。互联网作为目前最为便捷的信息获取平台，用户对有效信息筛选与归纳的需求日益迫切，如何从海量数据提取有效信息成为一个难题。为了解决这个难题，提出了知识图谱概念，知识图谱将所有的名词表示为实体，将实体之间的内在联系表示为关系，以此将海量数据中实体之间的关系表示为三元组(头实体，关系，尾实体)，例如(姚明，妻子，叶莉)。虽然现有的知识图谱中已经包含了大量的知识，但相比于无尽的数据，其仍然没有完善。为了完善知识图谱，采用了很多技术。其中就有关系抽取技术，该技术能够自动从无结构化的文本中提取结构化数据。

目前已发布的发明专利“一种神经网络关系抽取方法”，公开号为CN 106354710A，通过将同一实体对的多个句子向量进行融合以得到实体对的综合表示，该发明未考虑到句子内的单词的相互影响以及模型无法解决长距离依赖问题。本发明描述的“一种基于多注意力机制的神经网络关系抽取方法”利用自注意力机制充分考虑了句子中各个词之间的相互影响，利用注意力机制加大关键句子的权重并减小噪声数据的影响，并利用双向GRU(Gated Recurrent Unit)神经网络缓解了句子中的长距离依赖问题的影响。以此提高了关系抽取的准确性。

发明内容

有鉴于此，本发明的目的是提供一种基于多注意力的神经关系抽取方法，该方法能够对实体对的句子进行处理，获取重要句子和句子中的丰富语义，提高关系抽取效果。

本发明通过以下技术手段解决上述技术问题：

一种基于多注意力机制的神经网络关系抽取方法，包括：

S1:对每个句子和其相关的一对实体，采用双向GRU神经网络构建一对实体的时间歩词向量表示；

S2:采用设置的单词级别的自注意力机制选择句子中表述这对实体的关系的词向量表示，得到所述一个句子的句子向量表示；

S3:采用设置的句子级别的注意力机制选择其中的表示了一对实体间关系的句子向量表示，得到所述一对实体的综合向量表示；

S4:将一对实体的综合向量表示与所有关系进行内积运算生成实体对之间为任一关系的概率，取最大概率得到一对实体预测关系。

进一步，所述步骤S1具体包括：

S11:给定一个由n个单词组成的句子s＝{w₁,w₂,w₃,...,w_n},采用文本深度表示模型(word2vec)将每一个单词映射到一个低维实值向量空间中，得到w_i对应的词向量v_i；

S12:确定句子中每个词距离两个实体的距离为p1_i和p2_i，将p1_i和p2_i作为词的位置向量；

S13:将词的位置向量p1_i、p2_i经过低维嵌入后与词向量v_i拼接得到词向量k_i,即句子s的向量表示为V_s＝(k₁,k₂,k₃,...,k_n)；

S14:将词向量k_t当做双向GRU神经网络中每一时间步的输入，得到每一步的输出和为向前编码向量，为向后编码向量，相加后得到此时间歩的向量h_t，最后将所有时间歩的向量拼接得到句子向量H；其中，

进一步，所述步骤S2具体包括：

S21:将双向GRU的输出向量按序进行拼接得到H＝(h₁,h₂,h₃,...,h_n)；

S22:利用自注意力机制将句子向量H作为输入，并且输出一个权重向量a：

a＝softmax(w_s2tanh(W_s1H^T))

其中，W_s1为权重矩阵，w_s2为参数向量，tanh()为激活函数，softmax()函数确保了计算的权重和为1；

S23:将权重向量a与句子向量H即可得到句子在自注意力机制后的向量m＝aH；

S24:将参数向量w_s2扩展为参数矩阵W_s2,致使a变为A：

A＝softmax(W_s2tanh(W_s1H^T))

句子表示向量m变为矩阵M＝AH；

S25:将句子表示矩阵经过全连接后得到最终句子表示向量x_i。

进一步，所述步骤S3具体包括：

S31:给定一对实体＜e1,e2＞的所有句子集合S＝{s₁,s₂,s₃,...,s_n},由图3可得到其对应的表示向量V_s＝{x₁,x₂,x₃,...,x_n}；

S32:采用句子级别注意力机制，将句子的综合向量表示定义为所有句子向量便是的加权和：

其中α_i定义为每一个句子向量x_i的权重；定义一个句子向量x_i与关系向量r的函数：

scores(i)＝x_iAr

该函数描述了句子与预测关系r之间的匹配程度，其中A为对角的对角矩阵，r为查询的目标关系r的向量表示；

通过选择注意力机制定义每一个句子向量表示的权重如下：

综上，得到句子集合S的综合向量表示：

进一步，所述步骤S4具体包括：

S41:定义一个线性函数计算句子综合表示向量与每一个可能的关系r的得分：

y＝softmax(MS_v+b)

其中M为关系矩阵，b为偏置，softmax()确保y的和为1；

S42:句子的最终预测关系为句子与关系得分中最高的一项，定义函数为：p＝argmax(y)。

本发明的有益效果：

1、本发明采用双向GRU神经网络来提取文本特征，解决长距离依赖问题，同时获取了双向的更全面的信息。

2、本发明引入词级别的自注意力机制，关注句子中不同部分的词语，获取句子的丰富语句信息，缓解了注意力机制的单一性。

3、本发明引入句子级别的注意力机制，计算不同句子向量与关系间的相似度，得到不同句子向量的权重，从而减少噪音句子的权重，提升模型效果。

附图说明

图1是本发明实施例提供的关系抽取整体结构流程图；

图2是本发明实施例提供的双向GRU训练词向量示意图；

图3是本发明实施例提供的自注意力机制句子向量化示意图；

图4是本发明实施例提供的注意力机制实体对综合向量化示意图。

具体实施方式

以下将结合附图和具体实施例对本发明进行详细说明：

如图1所示，本发明的一种基于多注意力机制的神经网络关系抽取方法，包括：

S1:对每个句子和其相关的一对实体，采用双向GRU神经网络构建一对实体的时间歩词向量表示。

如图2所示，步骤S1具体包括：

S11:给定一个由n个单词组成的句子s＝{w₁,w₂,w₃,...,w_n},采用文本深度表示模型(word2vec)将每一个单词映射到一个低维实值向量空间中，得到w_i对应的词向量v_i；

S12:确定句子中每个词距离两个实体的距离为p1_i和p2_i，将p1_i和p2_i作为词的位置向量，如：“Beijing is the capital of China”,其中“is”到实体1“Beijing”和实体2“China”的距离为-1和4；

S13:将词的位置向量p1_i、p2_i经过低维嵌入后与词向量v_i拼接得到词向量k_i,即句子s的向量表示为V_s＝(k₁,k₂,k₃,...,k_n)；

S14:将词向量k_t当做双向GRU神经网络中每一时间步的输入，得到每一步的输出和为向前编码向量，为向后编码向量，相加后得到此时间歩的向量h_t，最后将所有时间歩的向量拼接得到句子向量H；其中，

S2:采用设置的单词级别的自注意力机制选择句子中表述这对实体的关系的词向量表示，得到所述一个句子的句子向量表示。

如图3所示，步骤S2具体包括：

S21:将双向GRU的输出向量按序进行拼接得到H＝(h₁,h₂,h₃,...,h_n)；

S22:利用自注意力机制将句子向量H作为输入，并且输出一个权重向量a：

a＝softmax(w_s2tanh(W_s1H^T))

其中，W_s1为权重矩阵，w_s2为参数向量，tanh()为激活函数，softmax()函数确保了计算的权重和为1；

S23:将权重向量a与句子向量H即可得到句子在自注意力机制后的向量m＝aH；

S24:将参数向量w_s2扩展为参数矩阵W_s2,致使a变为A：

A＝softmax(W_s2tanh(W_s1H^T))

句子表示向量m变为矩阵M＝AH；

S25:将句子表示矩阵经过全连接后得到最终句子表示向量x_i。

S3:采用设置的句子级别的注意力机制选择其中的表示了一对实体间关系的句子向量表示，得到所述一对实体的综合向量表示。

如图4所示，步骤S3具体包括：

S31:给定一对实体＜e1,e2＞的所有句子集合S＝{s₁,s₂,s₃,...,s_n},由图3可得到其对应的表示向量V_s＝{x₁,x₂,x₃,...,x_n}；

S32:采用句子级别注意力机制，将句子的综合向量表示定义为所有句子向量便是的加权和：

其中α_i定义为每一个句子向量x_i的权重；定义一个句子向量x_i与关系向量r的函数：

scores(i)＝x_iAr

该函数描述了句子与预测关系r之间的匹配程度，其中A为对角的对角矩阵，r为查询的目标关系r的向量表示；

通过选择注意力机制定义每一个句子向量表示的权重如下：

综上，得到句子集合S的综合向量表示：

S4:将一对实体的综合向量表示与所有关系进行内积运算生成实体对之间为任一关系的概率，取最大概率得到一对实体预测关系。

S41:定义一个线性函数计算句子综合表示向量与每一个可能的关系r的得分：

y＝softmax(MS_v+b)

其中M为关系矩阵，b为偏置，softmax()确保y的和为1；

S42:句子的最终预测关系为句子与关系得分中最高的一项，定义函数为：p＝argmax(y)。

以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。本发明未详细描述的技术、形状、构造部分均为公知技术。

Claims (5)

1.一种基于多注意力机制的神经网络关系抽取方法，其特征在于，包括：

S1:对每个句子和其相关的一对实体，采用双向GRU神经网络构建一对实体的时间歩词向量表示；

S2:采用设置的单词级别的自注意力机制选择句子中表述这对实体的关系的词向量表示，得到所述一个句子的句子向量表示；

S3:采用设置的句子级别的注意力机制选择其中的表示了一对实体间关系的句子向量表示，得到所述一对实体的综合向量表示；

S4:将一对实体的综合向量表示与所有关系进行内积运算生成实体对之间为任一关系的概率，取最大概率得到一对实体预测关系。

2.根据权利要求1所述的一种基于多注意力机制的神经网络关系抽取方法，其特征在于，所述步骤S1具体包括：

S11:给定一个由n个单词组成的句子s＝{w₁,w₂,w₃,...,w_n},采用文本深度表示模型(word2vec)将每一个单词映射到一个低维实值向量空间中，得到w_i对应的词向量v_i；

S12:确定句子中每个词距离两个实体的距离为p1_i和p2_i，将p1_i和p2_i作为词的位置向量；

S13:将词的位置向量p1_i、p2_i经过低维嵌入后与词向量v_i拼接得到词向量k_i,即句子s的向量表示为V_s＝(k₁,k₂,k₃,...,k_n)；

S14:将词向量k_t当做双向GRU神经网络中每一时间步的输入，得到每一步的输出和 为向前编码向量，为向后编码向量，相加后得到此时间歩的向量h_t，最后将所有时间歩的向量拼接得到句子向量H；其中，

3.根据权利要求2所述的一种基于多注意力机制的神经网络关系抽取方法，其特征在于，所述步骤S2具体包括：

S21:将双向GRU的输出向量按序进行拼接得到H＝(h₁,h₂,h₃,...,h_n)；

S22:利用自注意力机制将句子向量H作为输入，并且输出一个权重向量a：

a＝softmax(w_s2tanh(W_s1H^T))

其中，W_s1为权重矩阵，w_s2为参数向量，tanh()为激活函数，softmax()函数确保了计算的权重和为1；

S23:将权重向量a与句子向量H即可得到句子在自注意力机制后的向量m＝aH；

S24:将参数向量w_s2扩展为参数矩阵W_s2,致使a变为A：

A＝softmax(W_s2tanh(W_s1H^T))

句子表示向量m变为矩阵M＝AH；

S25:将句子表示矩阵经过全连接后得到最终句子表示向量x_i。

4.根据权利要求3所述的一种基于多注意力机制的神经网络关系抽取方法，其特征在于：所述步骤S3具体包括：

S31:给定一对实体＜e1,e2＞的所有句子集合S＝{s₁,s₂,s₃,...,s_n},由图3可得到其对应的表示向量V_s＝{x₁,x₂,x₃,...,x_n}；

S32:采用句子级别注意力机制，将句子的综合向量表示定义为所有句子向量便是的加权和：

其中α_i定义为每一个句子向量x_i的权重；定义一个句子向量x_i与关系向量r的函数：

scores(i)＝x_iAr

该函数描述了句子与预测关系r之间的匹配程度，其中A为对角的对角矩阵，r为查询的目标关系r的向量表示；

通过选择注意力机制定义每一个句子向量表示的权重如下：

综上，得到句子集合S的综合向量表示：

5.根据权利要求4所述的一种基于多注意力机制的神经网络关系抽取方法，其特征在于：所述步骤S4具体包括：

S41:定义一个线性函数计算句子综合表示向量与每一个可能的关系r的得分：

y＝softmax(MS_v+b)

其中M为关系矩阵，b为偏置，softmax()确保y的和为1；

S42:句子的最终预测关系为句子与关系得分中最高的一项，定义函数为：p＝argmax(y)。