CN112948505A - 一种实体关系分类的模型构建方法、设备及存储介质 - Google Patents

Abstract

本发明涉及数据处理领域，公开了一种实体关系分类的模型构建方法、设备及存储介质，包括获取网络文本数据；对文本句子作分词和依存句法分析并抽取若干个特征的预处理；训练单词向量词汇表

将若干个特征输入Embedding层进行训练，映射为低维向量表示；将句子的低维向量表示输入Bi‑GRU层进行训练；经Bi‑GRU层训练后的所有时刻输出向量利用Multi‑headattention层进行多次的self‑attention计算，获取不同表征子空间内的更多层面的特征，从而获取句子更多的上下文信息；通过胶囊网络层提取实体关系分类任务中关键词的文本信息和位置信息，通过胶囊向量的长度对实体关系进行分类。通过结合Multi‑headattention和胶囊网络提出的实体关系分类模型，可以更有效的利用实体和位置信息，提高关系分类效果，提升位置信息感。

Description

一种实体关系分类的模型构建方法、设备及存储介质

技术领域

本发明涉及数据处理领域，特别涉及一种实体关系分类的模型构建方法、设备及存储介质。

背景技术

关系分类是自然语言处理领域的一项重要任务，能够在构建知识图谱、问答系统和信息检索等方面上提供技术支持。以往的模型大多采用单层注意力机制，特征表达相对单一，特征表达能力较低，因此，为了解决特征表达单一的问题，本发明在已有的基础上进行进一步的研发，引入基于自主注意力机制的多头注意力机制，学习多个映射器，进而从不同维度，不同子空间获取更多层面的信息，以此来表达特征，提高特征表达能力。

发明内容

为了解决现有技术关系分类中特征表达相对单一、特征表达能力较低的问题，本发明提供了一种实体关系分类的模型构建方法、设备及存储介质。

本发明的技术方案如下：

一种实体关系分类的模型构建方法，包括以下步骤：

S1：获取网络文本数据；

S2：对文本句子作分词和依存句法分析并抽取若干个特征的预处理；

S3：训练单词向量词汇表

将所述若干个特征输入Embedding层进行训练，映射为低维向量表示，根据特征填充句子传递给Bi-GRU层；

S4：填充句子在Bi-GRU层进行训练，获得句子的顺序信息和基于上下文的单词语义的信息；

S5：再通过建设基于多次self-attention计算的Multi-head attention层，利用self-attention多次进行计算，获取不同表征子空间中的更多层面的特征，从而获取句子更多的上下文信息；

S6：最后通过胶囊网络层提取实体关系分类任务中关键词的文本信息和位置信息，通过胶囊向量的长度对实体关系进行分类。

进一步地，所述S2包括抽取相对位置特征、依存句法特征与相对核心谓词依赖特征。

进一步地，所述相对位置特征为句子中每个词到实体对之间的距离，所述依存句法特征包括获取每个词在句子中的依存句法属性值的及获取每个词所依赖的词在句子中的索引值的，所述相对核心谓词依赖特征为句子中每个词与核心谓词存在的依赖关系，所述相对核心谓词依赖特征分为核心谓词本身、核心谓词子节点与其他。

进一步地，所述S3包括将由n个单词组成的句子SK＝{w₁,w₂,...,w_n}，使用训练好的单词向量词汇表

其中|V|表示词汇表的大小，将单词

映射到X_i和

上，使用每个单词到实体对之间的距离作为位置特征PF，使用具有位置指标符PI的原始文本作为输入，填充句子

输入到Bi-GRU层。

进一步地，所述S5包括：

S51：通过单次self-attention计算得到单次attention输出特征值h，使用符号H表示一个矩阵，由Bi-GRU层所有时刻输出向量组成[h₁,h₂,...,h_r]，使用符号r表示该层最终输出值，根据以下计算公式得到单次attention输出特征值h：

h^*＝tan(r) 式(3)；

式(1)中，

d^h是隐藏层节点数，ω是一个参数向量，ω、

和r的维度分别是d^h,T,d^h；

S52：进行k次self-attention计算完成Multi-head attention计算，将计算结果拼接和线性映射，得到最终结果h^s：

式(4)中，向量ω_s的维度是k×d^h,

表示逐元素点乘，针对式(1)，在每次使用H时，先将H进行一次线性变换，即W_i ^hH,其中,

每次在进行单次self-attention计算时，H的维度会进行压缩，Multi-head attention为并行执行计算。

本发明提供了一种实体关系分类设备，所述实体关系分类设备包括：

存储器、处理器，通信总线以及存储在所述存储器上的实体关系分类程序，

所述通信总线用于实现处理器与存储器间的通信连接；

所述处理器用于执行所述实体关系分类程序，以实现如上述中任意一项所述的实体关系分类程序的模型构建方法的步骤。

一种计算机可读存储介质，存储有可执行指令，所述存储介质上存储有实体关系分类程序，所述实体关系分类程序被处理器执行时实现上述中任意一项所述的的实体关系分类程序的模型构建方法的步骤。

本发明至少包括以下有益效果：通过结合Multi-head attention和胶囊网络提出的实体关系分类模型，使用原文作为模型输入，利用双GRU捕获语句的顺序信息和基于上下文的语义信息后，通过Multi-head attention得到词与词之间的相关性，通过胶囊网络获取位置信息，可以更有效的利用实体和位置信息，提高关系分类效果，提升位置信息感。

附图说明

图1为本发明的实体关系分类模型应用于实施例中的结构示意图。

图2为本发明的实施例中的Multi-head attention层结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

结合图1-2所示，本发明提供了一种实体关系分类的模型构建方法，包括以下步骤：

S1：获取网络文本数据，该模型只使用原文作为输入，而不是以背景知识或句法特征作为辅助信息，首先获取句子“People have been moving back into downtown”；

S2：对文本句子作分词和依存句法分析并抽取若干个特征的预处理；

通常情况下，所获取到的数据相对复杂，因此需要进行预处理，首先对句子进行分词和依存句法分析，将获取的句子分成单个的单词，并抽取以下三个特征：

(I)相对位置特征PF，相对位置特征PF为句子中每个词到实体对之间的距离；

(II)依存句法特征DP，依存句法特征DP包括获取每个词在句子中的依存句法属性值的DP-NAME及获取每个词所依赖的词在句子中的索引值的DP-PAR；

(III)相对核心谓词依赖特征DEP，相对核心谓词依赖特征DEP为句子中每个词与核心谓词存在的依赖关系，所述相对核心谓词依赖特征DEP分为核心谓词本身DEP-S、核心谓词子节点DEP-C与其他DEP-O。

S3：训练单词向量词汇表

将所述若干个特征输入Embedding层进行训练，映射为低维向量表示，根据特征填充句子传递给Bi-GRU层；

对于由7个单词组成的句子SK＝{w₁，w₂，w₃，w₄，w₅，w₆，w₇}，使用训练好的单词向量词汇表

其中|V|表示词汇表的大小，将单词

映射到X_i和

上，使用每个单词到实体对之间的距离作为位置特征PF，使用具有位置指标符PI的原始文本作为输入，将得到的每个指标作为输入模型的位置特征，7个单词填充成句子

作为整个模型的输入传递到Bi-GRU层，其中L为填充句子的长度，一般等于训练和测试集中最长句子的长度。

S4：填充句子在Bi-GRU层进行训练，获得句子的顺序信息和基于上下文的单词语义的信息；

单词出现的顺序往往会影响句子的意义，GRU的目的是使每个递归单元自适应地捕获对不同时间分辨率的依赖，GRU采用了更简单的结构很更少的参数来加快计算和训练，同时在考虑到正向和反向语序的影响，采用了Bi-GRU模型来提取句子结构的语义信息。

S5：再通过建设基于多次self-attention计算的Multi-head attention层，利用self-attention多次进行计算，获取不同表征子空间中的更多层面的特征，从而获取句子更多的上下文信息；；

S51：通过单次self-attention计算得到单次attention输出特征值h，使用符号H表示一个矩阵，由Bi-GRU层所有时刻输出向量组成[h₁,h₂,...,h_r]，使用符号r表示该层最终输出值，根据以下计算公式得到单次attention输出特征值h：

h^*＝tan(r) 式(3)；

式(1)中，

d^h是隐藏层节点数，ω是一个参数向量，ω、

和r的维度分别是d^h,T,d^h，每次计算使用的ω均不相同；

S52：进行k次self-attention计算完成Multi-head attention计算，将计算结果拼接和线性映射，得到最终结果h^s：

式(4)中，向量ω_s的维度是k×d^h,

表示逐元素点乘，针对式(1)，在每次使用H时，先将H进行一次线性变换，即W_i ^hH,其中,

每次在进行单次self-attention计算时，H的维度会进行压缩，Multi-head attention为并行执行计算。

本发明使用乘法注意力机制，乘法注意力机制在实现上可以使用高度优化的矩形乘法，使整体计算成本和单次注意力机制的计算成本之间的差值缩小，同时提升模型的特征表达能力。

S6：最后通过胶囊网络层提取实体关系分类任务中关键词的文本信息和位置信息，通过胶囊向量的长度对实体关系进行分类。

胶囊网络层是将低到高级别的特征传递，既可以获取序列信息及基于上下文的语义信息，又能够提取局部特征，完成底层次特征与高层次特征的集成，采用胶囊网络层加强文本表示能力，从而提高关系分类的准确性。

本发明提供了一种实体关系分类设备，所述实体关系分类设备包括：

存储器、处理器，通信总线以及存储在所述存储器上的实体关系分类程序，所述通信总线用于实现处理器与存储器间的通信连接；所述处理器用于执行所述实体关系分类程序，以实现如上述中任意一项所述的实体关系分类程序的模型构建方法的步骤。

一种计算机可读存储介质，存储有可执行指令，所述存储介质上存储有实体关系分类程序，所述实体关系分类程序被处理器执行时实现上述中任意一项所述的的实体关系分类程序的模型构建方法的步骤。

本发明通过结合Multi-head attention和胶囊网络提出的实体关系分类模型，使用原文作为模型输入，利用双GRU捕获语句的顺序信息和基于上下文的语义信息后，通过Multi-head attention得到词与词之间的相关性，通过胶囊网络获取位置信息，可以更有效的利用实体和位置信息，提高关系分类效果，提升位置信息感。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (7)

1.一种实体关系分类的模型构建方法，其特征在于：

包括以下步骤：

S1：获取网络文本数据；

S2：对文本句子作分词和依存句法分析并抽取若干个特征的预处理；

S3：训练单词向量词汇表

将所述若干个特征输入Embedding层进行训练，映射为低维向量表示，根据特征填充句子传递给Bi-GRU层；

S4：填充句子在Bi-GRU层进行训练，获得句子的顺序信息和基于上下文的单词语义的信息；

S5：再通过建设基于多次self-attention计算的Multi-head attention层，利用self-attention多次进行计算，获取不同表征子空间中的更多层面的特征，从而获取句子更多的上下文信息；

S6：最后通过胶囊网络层提取实体关系分类任务中关键词的文本信息和位置信息，通过胶囊向量的长度对实体关系进行分类。

2.根据权利要求1所述的一种实体关系分类的模型构建方法，其特征在于：所述S2包括抽取相对位置特征、依存句法特征与相对核心谓词依赖特征。

3.根据权利要求2所述的一种实体关系分类的模型构建方法，其特征在于：所述相对位置特征为句子中每个词到实体对之间的距离，所述依存句法特征包括获取每个词在句子中的依存句法属性值的及获取每个词所依赖的词在句子中的索引值的，所述相对核心谓词依赖特征为句子中每个词与核心谓词存在的依赖关系，所述相对核心谓词依赖特征分为核心谓词本身、核心谓词子节点与其他。

4.根据权利要求1-3任意一项所述的一种实体关系分类的模型构建方法，其特征在于：所述S3包括将由n个单词组成的句子SK＝{w₁,w₂,...,w_n}，使用训练好的单词向量词汇表

其中|V|表示词汇表的大小，将单词

映射到X_i和

上，使用每个单词到实体对之间的距离作为位置特征PF，使用具有位置指标符PI的原始文本作为输入，填充句子

传输到Bi-GRU层。

5.根据权利要求1所述的一种实体关系分类的模型构建方法，其特征在于：所述S5包括：

S51：通过单次self-attention计算得到单次attention输出特征值h，使用符号H表示一个矩阵，由Bi-GRU层所有时刻输出向量组成[h₁,h₂,...,h_r]，使用符号r表示该层最终输出值，根据以下计算公式得到单次attention输出特征值h^*：

h^*＝tan(r) 式(3)；

式(1)中，

d^h是隐藏层节点数，ω是一个参数向量，ω、

和r的维度分别是d^h,T,d^h；

S52：进行k次self-attention计算完成Multi-head attention计算，将计算结果拼接和线性映射，得到最终结果h^s：

式(4)中，向量ω_s的维度是k×d^h,

表示逐元素点乘，针对式(1)，在每次使用H时，先将H进行一次线性变换，即W_i ^hH,其中,

每次在进行单次self-attention计算时，H的维度会进行压缩，Multi-head attention为并行执行计算。

6.本发明提供了一种实体关系分类设备，其特征在于：所述实体关系分类设备包括：

存储器、处理器，通信总线以及存储在所述存储器上的实体关系分类程序，

所述通信总线用于实现处理器与存储器间的通信连接；

所述处理器用于执行所述实体关系分类程序，以实现如上述权利要求1-5中任意一项所述的实体关系分类程序的模型构建方法的步骤。

7.一种计算机可读存储介质，存储有可执行指令，其特征在于：所述存储介质上存储有实体关系分类程序，所述实体关系分类程序被处理器执行时实现上述权利要求1-5中任意一项所述的的实体关系分类程序的模型构建方法的步骤。

Images