CN111552817A - 一种电力科技成果知识图谱补全方法 - Google Patents

Abstract

本发明涉及一种电力科技成果知识图谱补全方法，与现有技术相比解决了难以针对电力科技成果知识图谱进行补全的缺陷。本发明包括以下步骤：电力科技成果数据的获取；初始三元组向量化；设定Transformers模型；生成新的三元组数据；电力科技成果知识图谱补全结果的获得。本发明在应对数据稀疏问题时可以自动挖掘知识图谱中的隐含关系，弥补了大多数基于表示学习模型完成电力科技成果知识图谱补全任务耗时耗力的缺点，极大地提高了电力科技成果知识图谱补全的效率和质量。

Description

一种电力科技成果知识图谱补全方法

技术领域

本发明涉及电力科技知识图谱技术领域，具体来说是一种电力科技成果知识图谱补全方法。

背景技术

知识图谱的概念最早于2012年由Google公司提出，在该概念的技术支持上，搜索引擎实现了由“strings”向“things”转变，这使得机器能够更好地理解得出用户搜索词代表的真实含义。知识图谱这一技术目前已广泛应用于人工智能的多个领域，包括自动问答、信息抽取等，是人工智能研究领域的重要部分，也是当前各行各业实现更佳数据处理能力的重要手段。

然而在大规模的知识图谱中，其知识往往是不完备的，需要不断地补充其中的实体关系。知识图谱补全算法就是在解决知识图谱中的数据稀疏问题，从而使知识图谱更加完整。知识图谱补全方法中常见方法有学习知识嵌入的模型如距离模型、张量神经网络模型、Trans系列模型等。已成功应用于各种任务，如图片分类、神经机器翻译、文本分类等。特别是Trans系列模型结构简单，不需要依赖于其他的语法树、外部特征或者知识库，具有良好的泛化性。

电力科技成果知识图谱不同于其他领域的数据库内容，电力科技成果涉及的学科、专业范围过于庞杂，且随着科学技术的发展不断变化，不间断地出现新实体和新关系，是个复杂的知识系统工程。而大部分知识图谱补全方法存在共同的局限性，即只能在已知的知识图谱中的实体和关系基础之上进行补全，无法自动获取新的实体或关系。如果直接应用trans系列模型等方法，很显然将无法满足电力科技成果知识图谱的自动添加新实体及新关系的需求，限制了电力科技成果知识图谱的自动更新和扩展，造成电力科技成果知识图谱补全工作呈现低效率、高计算难度和复杂度的现象，致使电力科技成果知识图谱难以实用。

因此，如何有效实现电力科技成果知识图谱的有效补全已经成为急需解决的技术问题。

发明内容

本发明的目的是为了解决现有技术中难以针对电力科技成果知识图谱进行补全的缺陷，提供一种电力科技成果知识图谱补全方法来解决上述问题。

为了实现上述目的，本发明的技术方案如下：

一种电力科技成果知识图谱补全方法，包括以下步骤：

电力科技成果数据的获取：获取电力科技成果中文语料库并作预处理，利用现有抽取技术从中文语料库中抽取出初始三元组数据；

初始三元组向量化：将初始三元组数据向量化处理为transformer模型能够直接处理的文本词向量矩阵；

设定Transformers模型：对Transformers模型进行预设定；

生成新的三元组数据：基于已抽取的初始三元组使用Transformers模型进行建模，生成新的三元组；

电力科技成果知识图谱补全结果的获得：设定生成结果投影至Vocab层，整理生成的三元组，结合初始三元组与新三元组实现知识图谱的补全。

所述初始三元组向量化包括以下步骤：

设定电力科技成果中文语料库中三元组X是由n个单词组成，其表达式如下：

X＝[x⁰,…,xⁱ,…,xⁿ]，

其中，第i个词xⁱ被映射为一个连续且带语义信息的低维稠密实数向量，对于每个词有对应的文本词向量矩阵W，

其中V^*是词表大小，d是词向量的维度；

将文本词向量矩阵W中每个单词均转换成词向量的表示eⁱ，其表达式如下：

eⁱ＝Wxⁱ；

将电力科技成果中文语料库中三元组X转化为以下形式：

I＝[e⁰,…,eⁱ,…,eⁿ]，

h_t＝e_t+p_t， (1)

其中，e_t是经过t-1时刻转换模型得到的序列中的某个词向量，p_t表示t-1时刻转换模型的某个词向量的位置编码，h_t是transformerblock中t时刻的输入。

所述设定Transformers模型包括以下步骤：

设定输入层：设定预处理文本数据集将训练文本输送到文本词嵌入层，将句子转换成注意力层能够直接处理的文本词向量矩阵；

设定注意力层：设定注意力机制对输入文本信息的特征矩阵多次计算注意力，用以捕获句子的长距离依赖性、学习不同位置的不同语义空间的序列信息；

设定多层transformerblock计算次数；

设定线性层与softmax层，对模型的输出结果用线性层将其映射到vocab的维度，得到每个单词的可能性，最终经过softmax层输出单词。

所述生成新的三元组数据包括以下步骤：

将电力科技成果中文语料库中三元组向量集合

与前一个transformerblock输出向量

相加，得到三元组向量集合

输入至transformerblock中；

三元组向量集合

首先经过注意力层的注意力机制，并相继经过多层transformerblock计算分别得到向量g^l、

h^l，具体计算过程如下：

注意力机制的输入，具体为以下形式：

I＝[e⁰,…,eⁱ,…,eⁿ]

Q＝W^QI

K＝W^KI

V＝W^VI

其中，I是三元组X的向量表示；每个单词在注意力机制中的输入为Q、K、V,W^Q、W^K、W^V分别为Q、K、V的权重；

注意力机制的每个Head计算公式为：

公式(2)计算句子中其他单词对某个位置单词的得分，该分数决定了编码该单词时对句子中其他单词的注意程度；

softmax层计算公式为：

其中，d_k是输入向量的维数；

使得出的分数值均为正值且和为1，决定了每个单词对某位置单词的贡献；

多个transformerblock的计算过程：

将上一层transformerblock的输出作为Multi-Head Attention机制的输入，即

其中，对于Multi-HeadAttention机制的每个Head的计算输出向量为：

H_i＝ATTENTION(Q,K,V)

以每个Head的输出H_i为列向量，将多个Head输出向量联结为以下矩阵：

MultiH(Q,K,V)＝[H₁；…；H_b]W^O

其中，W^O是关注头的联结输出的输出投影；

transformerblock中存在以下变换：

经过以上计算，最终产生新的三元组

有益效果

本发明的一种电力科技成果知识图谱补全方法，与现有技术相比在应对数据稀疏问题时可以自动挖掘知识图谱中的隐含关系，弥补了大多数基于表示学习模型完成电力科技成果知识图谱补全任务耗时耗力的缺点，极大地提高了电力科技成果知识图谱补全的效率和质量。

本发明涉及的基于Transformers网络的知识图谱补全算法，与现有方法使用的神经网络如RNN相比，该网络不需要循环计算，而是直接进行并行处理序列中所有的单词，同时借助自注意力机制可以从距离较远的词中提取含义，使得模型运行速度快且生成三元组质量高。本发明可应用于除电力行业的其他行业的行业知识图谱补全，实现各行各业数据间的互联互通、高速反馈，提供更强有力、更具价值的技术支持。

附图说明

图1为本发明的方法顺序图。

具体实施方式

为使对本发明的结构特征及所达成的功效有更进一步的了解与认识，用以较佳的实施例及附图配合详细的说明，说明如下：

通常处理Seq2Seq序列问题的解决办法是基于RNN的算法，但是该算法存在序列依赖关系，下一个时间步的隐藏计算依赖于上一步的计算，限制了模型的并行能力，且其运算能力也不是很理想。基于LSTM模型不能很好地并行，造成训练的时间往往很长；基于CNN的算法也需要增加卷积层数来扩大视野，同样运算量过于庞大，无法应用到电力科技成果知识图谱。

如图1所示，本发明所述的一种电力科技成果知识图谱补全方法，包括以下步骤：

第一步，电力科技成果数据的获取：获取电力科技成果中文语料库并作预处理，利用现有抽取技术从中文语料库中抽取出初始三元组数据。

第二步，初始三元组向量化：将初始三元组数据向量化处理为Transformers模型能够直接处理的文本词向量矩阵。其包括以下步骤：

(1)设定电力科技成果中文语料库中三元组X是由n个单词组成，其表达式如下：

X＝[x⁰,…,xⁱ,…,xⁿ]，

其中，第i个词xⁱ被映射为一个连续且带语义信息的低维稠密实数向量，对于每个词有对应的文本词向量矩阵W，

其中V^*是词表大小，d是词向量的维度；

(2)将文本词向量矩阵W中每个单词均转换成词向量的表示eⁱ，其表达式如下：eⁱ＝Wxⁱ；

(3)将电力科技成果中文语料库中三元组X转化为以下形式：

I＝[e⁰,…,eⁱ,…,eⁿ]，

h_t＝e_t+p_t， (1)

其中，e_t是经过t-1时刻转换模型得到的序列中的某个词向量，p_t表示t-1时刻转换模型的某个词向量的位置编码，h_t是transformerblock中t时刻的输入。

第三步，设定Transformers模型：对Transformers模型进行预设定。该模型相较于其他模型而言，可在不依赖任何外部数据的情况下，利用其中多个transformerblock网络捕获上下文信息和结构信息，保留原始三元组的特征，并行处理序列中的所有单词，自动挖掘已有数据中的信息，学习能力更佳，处理速度更快；在模型结构设计上，可自主设计注意力机制的层数等参数，更灵活地应对不同的学习任务。其包括以下步骤：

(1)设定输入层：设定预处理文本数据集将训练文本输送到文本词嵌入层，将句子转换成注意力层能够直接处理的文本词向量矩阵；

(2)设定注意力层：设定注意力机制对输入文本信息的特征矩阵多次计算注意力，用以捕获句子的长距离依赖性、学习不同位置的不同语义空间的序列信息；

(3)设定多层transformerblock计算次数；

(4)设定线性层与softmax层，对模型的输出结果用线性层将其映射到vocab的维度，得到每个单词的可能性，最终经过softmax层输出单词。

第四步，生成新的三元组数据：基于已抽取的初始三元组使用Transformers模型进行建模，生成新的三元组。

目前电力科技成果领域数据丰富庞大，传统模型面对大规模的电力科技成果知识图谱构建任务，其需要计算大量参数，且需要根据初始语料库更新不断调整参数与模型结构，而其生成的新三元组准确率不高。

本发明针对电力科技成果语料的丰富性和庞大性，设计多层并行处理文本的网络模型，运行模型时参数大大减少，可灵活处理电力科技成果领域的庞大语料库。同时设计多层注意力机制将电力科技成果语料做上下文与长距离文本注意，做到自动挖掘初始数据中的隐含关系，生成有意义的正确三元组，实现电力科技成果知识图谱的补全。其具体步骤如下：

(1)将电力科技成果中文语料库中三元组向量集合

与前一个transformerblock输出向量

相加，得到三元组向量集合

输入至transformerblock中。

(2)三元组向量集合

首先经过注意力层的注意力机制，并相继经过多层transformerblock计算分别得到向量g¹、

h¹，具体计算过程如下：

A1)注意力机制的输入，具体为以下形式：

I＝[e⁰,…,eⁱ,…,eⁿ]

Q＝W^QI

K＝W^KI

V＝W^VI

其中，I是三元组X的向量表示；每个单词在注意力机制中的输入为Q、K、V,W^Q、W^K、W^V分别为Q、K、V的权重；

A2)注意力机制的每个Head计算公式为：

公式(2)计算句子中其他单词对某个位置单词的得分，该分数决定了编码该单词时对句子中其他单词的注意程度；

softmax层计算公式为：

其中，d_k是输入向量的维数；

A3)使得出的分数值均为正值且和为1，决定了每个单词对某位置单词的贡献；

A4)多个transformerblock的计算过程：

将上一层transformerblock的输出作为Multi-Head Attention机制的输入，即

其中，对于Multi-HeadAttention机制的每个Head的计算输出向量为：

H_i＝ATTENTION(Q,K,V)

以每个Head的输出H_i为列向量，将多个Head输出向量联结为以下矩阵：

MultiH(Q,K,V)＝[H₁；…；H_b]W^O

其中，W^O是关注头的联结输出的输出投影；

A5)transformerblock中存在以下变换：

经过以上计算，最终产生新的三元组

第五步，电力科技成果知识图谱补全结果的获得。设定生成结果投影至Vocab层，整理生成的三元组，结合初始三元组与新三元组实现知识图谱的补全。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是本发明的原理，在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明的范围内。本发明要求的保护范围由所附的权利要求书及其等同物界定。

Claims (4)

1.一种电力科技成果知识图谱补全方法，其特征在于，包括以下步骤：

11)电力科技成果数据的获取：获取电力科技成果中文语料库并作预处理，利用现有抽取技术从中文语料库中抽取出初始三元组数据；

12)初始三元组向量化：将初始三元组数据向量化处理为Transformers模型能够直接处理的文本词向量矩阵；

13)设定Transformers模型：对Transformers模型进行预设定；

14)生成新的三元组数据：基于已抽取的初始三元组使用Transformers模型进行建模，生成新的三元组；

15)电力科技成果知识图谱补全结果的获得：设定生成结果投影至Vocab层，整理生成的三元组，结合初始三元组与新三元组实现知识图谱的补全。

2.根据权利要求1所述的一种电力科技成果知识图谱补全方法，其特征在于，所述初始三元组向量化包括以下步骤：

21)设定电力科技成果中文语料库中三元组X是由n个单词组成，其表达式如下：

X＝[x⁰,…,xⁱ,…,xⁿ]，

其中，第i个词xⁱ被映射为一个连续且带语义信息的低维稠密实数向量，对于每个词有对应的文本词向量矩阵W，

其中V^*是词表大小，d是词向量的维度；

22)将文本词向量矩阵W中每个单词均转换成词向量的表示eⁱ，其表达式如下：eⁱ＝Wxⁱ；

23)将电力科技成果中文语料库中三元组X转化为以下形式：

I＝[e⁰,…,eⁱ,…,eⁿ]，

h_t＝e_t+p_t，(1)

其中，e_t是经过t-1时刻转换模型得到的序列中的某个词向量，p_t表示t-1时刻转换模型的某个词向量的位置编码，h_t是transformerblock中t时刻的输入。

3.根据权利要求1所述的一种电力科技成果知识图谱补全方法，其特征在于，所述设定Transformers模型包括以下步骤：

31)设定输入层：设定预处理文本数据集将训练文本输送到文本词嵌入层，将句子转换成注意力层能够直接处理的文本词向量矩阵；

32)设定注意力层：设定注意力机制对输入文本信息的特征矩阵多次计算注意力，用以捕获句子的长距离依赖性、学习不同位置的不同语义空间的序列信息；

33)设定多层transformerblock计算次数；

34)设定线性层与softmax层，对模型的输出结果用线性层将其映射到vocab的维度，得到每个单词的可能性，最终经过softmax层输出单词。

4.根据权利要求1所述的一种电力科技成果知识图谱补全方法，其特征在于，所述生成新的三元组数据包括以下步骤：

41)将电力科技成果中文语料库中三元组向量集合

与前一个transformerblock输出向量

相加，得到三元组向量集合

输入至transformerblock中；

42)三元组向量集合

首先经过注意力层的注意力机制，并相继经过多层transformerblock计算分别得到向量g¹、

h^l，具体计算过程如下：

421)注意力机制的输入，具体为以下形式：

I＝[e⁰,…,eⁱ,…,eⁿ]

Q＝W^QI

K＝W^KI

V＝W^VI

其中，I是三元组X的向量表示；每个单词在注意力机制中的输入为Q、K、V,W^Q、W^K、W^V分别为Q、K、V的权重；

422)注意力机制的每个Head计算公式为：

公式(2)计算句子中其他单词对某个位置单词的得分，该分数决定了编码该单词时对句子中其他单词的注意程度；

softmax层计算公式为：

其中，d_k是输入向量的维数；

423)使得出的分数值均为正值且和为1，决定了每个单词对某位置单词的贡献；

424)多个transformerblock的计算过程：

将上一层transformerblock的输出作为Multi-Head Attention机制的输入，即

其中，对于Multi-HeadAttention机制的每个Head的计算输出向量为：

H_i＝ATTENTION(Q,K,V)

以每个Head的输出H_i为列向量，将多个Head输出向量联结为以下矩阵：

MultiH(Q,K,V)＝[H₁；…；H_b]W^O

其中，W^O是关注头的联结输出的输出投影；

425)transformerblock中存在以下变换：

经过以上计算，最终产生新的三元组

Images