CN111046187B - 基于对抗式注意力机制的一样本知识图谱关系学习方法及系统 - Google Patents

Abstract

本发明公开了一种基于对抗式注意力机制的一样本知识图谱关系学习方法及系统，包括：获取目标知识图谱中关系三元组及其对应的自然文本描述；对目标知识图谱进行表示学习获得三元组的向量表示；对三元组相应的文本描行表示学习获得文本中词向量表示；构建带去噪注意力模块和混淆注意力模块的条件对抗式生成网络；对条件对抗式生成网络进行优化训练，基于训练好的条件对抗式生成网络，预测未见关系类型r_u的关系查询所对应的目标实体。本发明将传统的关系预测的关系类别从可见关系扩大到未见关系类别，增大了预测关系类别的范围。并将训练数据的规模从传统的大数据规模降低到只需少量样本甚至一个样本即可实现对未见关系的学习和预测。

Description

基于对抗式注意力机制的一样本知识图谱关系学习方法及系统

技术领域

本发明涉及面向知识图谱的关系抽取技术领域，尤其涉及一种基于对抗式注意力机制的一样本知识图谱关系学习方法及系统。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

大规模知识图谱将片段化的知识表示成实体间二进制关系，通常表示成三元组的形式：(主语，谓语，宾语)。这种结构化的知识对很多下游的应用，如，自动问答，推荐系统，语义网络搜索等任务都起到重要的支撑作用。然而，虽然目前的知识图谱规模都很宏大，但是这些知识图谱还远远不够完善，难以应对智能系统日益增长的需求。为了实现知识图谱的自动完善，大量的知识图谱领域的研究者致力于通过构建关系学习模型从现有的知识图谱中预测缺失的三元组，如给定关系三元组的一个实体，预测与其具有某种关系的另一实体。其中具有代表性的关系学习模型有基于表示学习的关系学习方法和基于少样本(或一样本)的关系学习方法。

基于表示学习的关系学习模型主要是通过对大量标注样本进行训练，采用深度神经网络通过对关系和实体的语义进行编码，从而实现从符号空间到向量空间的映射，基于关系和实体的向量表示最终实现对缺失关系的预测。然而，基于表示学习的缺点是该方法假设所有关系和实体都具有足够多的训练样本，难以处理只有少量训练样本的关系类型。同时，该方法无法实现对训练集中没有的关系类型(未见关系)的预测。

基于少样本(或一样本)的关系学习方法主要是在有限样本(或只有一个样本)的条件下，实现对未见关系的预测和分类。该类方法的关键是如何通过可见关系(训练集中包含的关系)和有限(或一个样本)的未见关系类别的训练样本，学习到一个能够实现可见和未见关系之间知识共享和归纳传递的中间语义表示。目前，基于少样本或零样本的方法大都集中在图像和模仿领域，应用到知识图谱的关系抽取领域的很少。同时，现有方法大都需要构建领域信息，并且很难真正实现自动的类别间的知识共享和归纳传递。

发明内容

为了解决上述问题，本发明提出了一种基于对抗式注意力机制的一样本知识图谱关系学习方法及系统，可以利用基于表示学习的关系学习方法的优势，并使用对抗式一样本的关系学习方法只采用一个训练样本即可获得对该关系的语义表示，从而实现从对该类关系的查询或预测。弥补了表示学习方法需要大量训练样本和难以处理未见关系类别的不足，实现对知识图谱中缺失关系的预测。

在一些实施方式中，采用如下技术方案：

一种基于对抗式注意力机制的一样本知识图谱关系学习方法，包括：

获取目标知识图谱中关系三元组及其对应的自然文本描述；

对目标知识图谱进行表示学习获得三元组的向量表示；

对三元组相应的文本描述进行表示学习获得文本中词向量表示；

构建带去噪注意力模块和混淆注意力模块的条件对抗式生成网络；

对条件对抗式生成网络进行优化训练，基于训练好的条件对抗式生成网络，预测未见关系类型r_u的关系查询(e_q，r_u，？)所对应的目标实体。

其中，？代表与实体e_q对应的、符合r_u关系的实体。

比如，在自动问答领域，给定一个未见关系：<A，配偶，？>，？代表与A满足配偶关系的实体，比如，与张三满足配偶关系的是谁。当然，未见关系是根据需要自行设定的。

在另一些实施方式中，采用如下技术方案：

一种终端设备，其包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行上述的基于对抗式注意力机制的一样本知识图谱关系学习方法。

在另一些实施方式中，采用如下技术方案：

一种计算机可读存储介质，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行上述的基于对抗式注意力机制的一样本知识图谱关系学习方法。

与现有技术相比，本发明的有益效果是：

本发明将传统的关系预测的关系类别从可见关系扩大到未见关系类别，增大了预测关系类别的范围。并将训练数据的规模从传统的大数据规模降低到只需少量样本甚至一个样本即可实现对未见关系的学习和预测，因此，具有较好的领域适应性。

本发明通过引入条件对抗式生成网络，可以实现从关系描述的自然文本到关系语义的映射，其采用的两层注意力机制，大大降低了条件生成对抗网络的条件输入(文本描述)噪声，同时增加了判别难度，保证了关系表示生成的语义方向。在对条件对抗生成网络进行训练的过程中，我们引入视觉枢轴正则化损失，从而增加了类间关系区分度，相比于传统的条件式对抗生成网络，能够生成更逼真的生成数据。

附图说明

图1为本发明实施例一中基于对抗式注意力机制的一样本知识图谱关系学习方法流程图；

图2为本发明实施例一中对未见关系预测过程的流程图。

具体实施方式

应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本发明使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

实施例一

在一个或多个实施例中，公开了一种基于对抗式注意力机制的一样本知识图谱关系学习方法，参照图1，包括：

第一步：获取目标知识图谱中关系三元组及其对应的自然文本描述。

第二步：对目标知识图谱进行表示学习获得三元组的向量表示。

采用基于表示学习的方法得到对知识图谱中每个实体的向量表示，对于可见关系r_s的一个三元组

得到该关系实体三元组的向量表示x_i，{i＝1，2，3…T}。

第三步：对三元组相应的文本描述进行表示学习获得文本中词向量表示。

采用词向量表示方法获得每个词的向量表示v_i，{i＝1，2，3…V}。

第四步：构建三元组和其相应文本描述的去噪注意力模块。

采用第二步中的三元组t_i作为文本描述的注意力向量(监督向量)，计算其与第三步中文本描述中每个词v_i之间的注意力权重，并将计算出来的注意力权重加权到每个单词上，通过一个全连接层，得到文本描述的向量表示t_i，{i＝1，2，3…S}。

第五步：构建文本描述为输入，输出为关系表示向量的生成器。

将第四步中获得的文本描述向量s_i和从高斯分布N(0，1)中随机采样的噪声向量进行拼接得到，并输入到两个级联的全连接层，输出即为关系表示向量

{i＝1，2，3…T}，生成器的全连接层的参数为θ。

第六步：构建三元组和关系表示向量之间的混淆注意力模块。

将第二步中的三元组向量v_i作为第五步得到的关系表示向量

的注意力向量(监督向量)，计算其与关系向量之间的注意力权重，并将注意力权重加权到关系表示向量上，通过一个全连接层，获得关系的新的表示

第七步：构建三元组向量和带注意力权重的关系表示向量的判别器。

第六步中获得的新的关系表示

和三元组x_i进行拼接，经过一层全连接层，之后再输入到两个并联的全连接层，两个全连接层分别输出对关系真假的判别c_i∈{fake，real}，和关系类别的预测l_i，{i＝1，2，3…N}，判别器的全连接层的参数为φ。

第八步：训练生成器和判别器构成的条件对抗式生成网络。

第九步：基于训练好的生成器，预测未见关系类型r_u的关系查询(e_q，r_u，？)所对应的目标实体。

本发明提出的方法，可以基于一个未见关系的唯一训练样本及其文本描述实现对该关系类型的关系实例查询。比如：可以应用于自动问答领域，实现面向图谱关系的自动问答。如，给定一个未见关系：配偶，其唯一训练样本三元组<A，配偶，B>及其文本描述：

“A的现任妻子为中国著名歌唱家B，两人于于1987年9月1日在厦门结婚，并育有一女C。”

基于本发明提出的方法可以实现对该类关系的实例查询，如(A，配偶，？)，即可以应用于自动问答系统中的实现对该类关系的自动答案抽取：

问：A的配偶是谁？

答：B。

其中，知识图谱中包含有通过维基百科数据或百度百科数据获得的大量的关系三元组。举例来说，针对配偶关系，<A,配偶，B>,<D，配偶，E>…等都是该关系的三元组；针对任职关系，<F，任职于，微软公司>，<G，任职于，淘宝公司>…等等。通过知识表示方法可以将知识图谱中所有三元组进行特征表示，每个三元组都被表示成一个向量。

上述实施例中，A、B、C、D、E、F、G均是代表人的名字。

下面对本发明方法进行具体说明。

1.关系三元组的表示学习

知识表示学习主要是面向知识图谱中的实体和关系进行表示学习，即使用建模方法将实体和向量表示在低维稠密向量空间中，然后再进行计算和推理。假设知识图谱中包含有L个关系，每个关系r_n包含描述该关系的L_n个关系三元组，则通过基于知识的表示学习的方法对知识图谱进行预训练，可以实现将每个关系r_n的任意一个三元组

中的实体和关系分别表示成向量的形式

和

这里直接采用实体向量的拼接作为该三元组的表示

本发明选取一种知识表示学习方法对知识三元组进行表示，得到T个三元组表示向量x_i{i＝1，2，...，T}。

2.文本的词向量表示

文本的词向量表示即，将自然语言文本通过训练的方式，编码其上下文的句法和语义信息，从而将文本中的词表示成一个低维稠密向量的方法。本部分我们可以选取一种词向量表示学习模型，该模型可以将训练语料中包含的|V|个词表示成一个d＝|V|的词向量字典W^e，其中d为词向量的维度，则对于一个包含M个词语的文本描述t＝{w₁，w₂，…，w_m}，其每一个词语w_i在整个词表中的one-hot表示为h_i∈{0，1}^|V|，则计算词向量词典和该词语对应的one-hot向量的乘积W^e×h_i，即为该词语的词向量表示v_i，本发明选取一种词向量表示学习方法对词向量进行表示，得到文本中各个词的表示v_i，{i＝1，2，3，…|V|}。

3.带去噪注意力模块和混淆注意力模块的条件对抗式生成网络(CGAN)

条件对抗生成网络主要是指对原始的对抗式生成网络附加了约束，在生成模型和判别模型中引入了条件变量y(Conditional variable y)，为模型引入了额外的信息，可指导性的生成数据。本发明采用三元组的文本描述作为条件输入，首先采用去噪注意力模块对文本描述进行去噪，只关注三元组描述的关系语义，将其输入到生成器中，监督生成器的特征生成。针对生成器的生成特征，采用混淆注意力模块，只选取生成特征中包含的三元组描述的关系语义，从而增加判别器的判别难度，最终通过对生成器和判别器的对抗训练，达到参数最优，完成条件生成网络的训练过程。

3.1.去噪注意力模块

由于三元组的描述文本中除了描述三元组的关系语义外还包含其他语义噪声，为了选取文本描述中的三元组关系语义，抑制其他语义，因此采用去噪注意力机制。该注意力机制通过将三元组向量作为注意力向量，只关注文本描述中包含的三元组关系语义。即通过该注意力机制，可以实现从文本描述中选取其三元组对应的关系语义。具体操作为：计算三元组表示向量x_i和文本描述中每个词向量v_i的余弦相似度<x_i，v_i>，得到其对应的关系注意力权重α_i。将文本描述中所有词向量乘以其相应权重进行求和

在通过一个全连接层即可得到文本描述的表示t_i，{i＝1，2，3…S}。

3.2混淆注意力模块

为了增加判别器的判别难度，本发明采用了混淆注意力模块。通过将三元组向量作为注意力(监督)向量，只关注生成器生成的向量表示中包含的三元组描述的关系语义，从而增加判别器对三元组向量和该向量进行判别时的判别难度。具体操作为：计算三元组表示向量x_i和生成向量

的余弦相似度

即可得到其对应的关系注意力权重β_i，将注意力权重乘到关系表示向量上，通过一个全连接层，获得生成向量的新的表示

3.3生成式对抗网络的训练

本发明对生成式对抗网络的判别器和生成器，采用条件对抗式生成网络的优化方法进行优化，具体的优化方法如下：

Step 1:随机选取一个可见关系类别子集

获取其对应的文本描述

以及从高斯噪声N(0，1)随机采样噪声z。

Step2：针对每一关系r_s，抽样其单位为m的批量三元组集合

获取其对应的文本描述

和采样噪声z。并通过生成器

计算其生成向量

Step3：从训练集中随机抽取实体，随机替换批量三元组集合

中的第二个实体，组成负样本集合

Step4：计算该批量真实样本和生成数据的瓦瑟斯坦损失(Wasserstein Loss)

分类损失L_cls(G_θ(T，z))，L_cls(x)和梯度惩罚损失L_GP，更新判别器的参数φ。

Step5：若迭代次数不到限定次数，则跳转至Step 1。

Step6：随机选取一个可见关系类别子集

获取其对应的文本描述

以及随机采样随机噪声z。

Step7：针对每一关系r，抽样其单位为m的批量三元组集合

并通过前馈计算的方法

计算其生成的关系表示

Step8：计算该批量样本的生成数据的生成器的损失函数

和分类损失函数L_cls(G_θ(T_r,z))以及视觉枢轴正则化损失

更新生成器的参数θ。

Step9:若迭代次数未达到限定次数，跳转至Step1。

参照图2，对未见关系的预测过程结合一具体实例进行阐述：

针对一个未见关系类别、其唯一训练样本(e₁，r_u，e₂)及其对应的文本描述T_u，如，给定一个未见关系：配偶，该关系对应的唯一训练样本：(A，配偶，B)，该三元组对应的文本描述：

“A的现任妻子为中国著名歌唱家B，两人于1987年9月1日在厦门结婚，两人育有一女C。”

Step1：获取该三元组的向量表示x_u以及对应文本的词向量集合

Step2：计算三元组向量和文本词向量之间的注意力权重

并乘以其对应的词向量，求和获得最终的文本描述t_u。

Step3:从高斯噪声N(0，1)采样n_d个噪声z_j，{j＝1，2，…n_d}，分别和文本描述t_u输入到已训练好的生成器中，根据训练好的参数的生成器可以得到生成向量

对生成的向量求平均得到关系表示向量

Step4：针对一个查询(query)

如(A，配偶)，计算其与知识图谱中所有候选实体

(如，B、C…等)组成的实体三元组向量x_k和

的余弦相似度，相似度最高的实体即为通过该系统预测的实体

从而通过计算得到B的余弦相似度更高，这里已经假设所有的实体已包含在知识图谱中并已在第二步知识图谱的向量表示中被向量表示了。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (7)

1.基于对抗式注意力机制的一样本知识图谱关系学习方法，其特征在于，包括：

获取目标知识图谱中关系三元组及其对应的自然文本描述；

对目标知识图谱进行表示学习获得三元组的向量表示；

对三元组相应的文本描述进行表示学习获得文本中词向量表示；

构建带去噪注意力模块和混淆注意力模块的条件对抗式生成网络；

对条件对抗式生成网络进行优化训练，基于训练好的条件对抗式生成网络，预测未见关系r_u的关系查询(e_g，r_u，？)所对应的目标实体；其中，？代表与实体e_q对应的、未见关系r_u的实体；

构建带去噪注意力模块和混淆注意力模块的条件对抗式生成网络，具体为：

构建以文本描述为输入，以关系表示向量为输出的生成器：采用三元组的文本描述作为条件输入，首先采用去噪注意力模块对文本描述进行去噪，只关注三元组描述的关系语义，将其输入到生成器中，监督生成器的特征生成；

构建三元组的向量表示与带注意力权重的关系表示向量的判别器：针对生成器的生成特征，采用混淆注意力模块增加判别器的判别难度，只选取生成特征中包含的三元组描述的关系语义；通过判别器输出判别结果；

基于上述构建的生成器和判别器，得到条件对抗式生成网络；

所述去噪注意力模块对文本描述进行去噪的过程具体为：

计算三元组表示向量x_i和文本描述中每个词向量v_i的余弦相似度<x_i，v_i>，得到其对应的关系注意力权重α_i；

将文本描述中所有词向量乘以其相应关系注意力权重进行求和；

再通过一个全连接层即可得到文本描述的表示t_i，{i＝1，2，3…S}；S为文本描述的个数；

所述采用混淆注意力模块增加判别器的判别难度的具体过程为：

计算三元组表示向量x_i和生成向量的余弦相似度即可得到其对应的关系注意力权重β_i，将注意力权重乘到关系表示向量上，通过一个全连接层，获得生成向量的新的表示T为向量的个数。

2.如权利要求1所述的基于对抗式注意力机制的一样本知识图谱关系学习方法，其特征在于，对目标知识图谱进行表示学习获得三元组的向量表示，具体为：

采用基于表示学习的方法得到对知识图谱中每个实体的向量表示，对于可见关系r_s的一个三元组得到该关系实体三元组的向量表示x_i，{i＝1，2，3…T}。

3.如权利要求1所述的基于对抗式注意力机制的一样本知识图谱关系学习方法，其特征在于，对三元组相应的文本描述进行表示学习获得文本中词向量表示，具体为：

选取词向量表示学习模型，所述模型将训练语料中包含的|V|个词表示成一个d×|V|的词向量字典W^e，其中d为词向量的维度；

对于一个包含M个词语的文本描述t＝{w₁，w₂，…，w_m}，其每一个词语w_i在整个词表中的独热编码表示为h_i∈{0，1}^|V|，则计算词向量词典和该词语对应的独热编码向量的乘积W^e×h_i，即为该词语的词向量表示v_i。

4.如权利要求1所述的基于对抗式注意力机制的一样本知识图谱关系学习方法，其特征在于，对条件对抗式生成网络进行优化训练，具体为：

Step1：随机选取一个可见关系类别子集获取其对应的文本描述以及随机采样随机噪声z；

Step2：针对每一关系r_s，抽样其单位为m的批量三元组集合获取其对应的文本描述和随机采样随机噪声z；并通过生成器计算其生成的关系表示

Step3：从训练集中随机抽取实体，随机替换批量三元组集合中的第二个实体，组成负样本集合

Step4：计算批量三元组集合和生成数据的瓦瑟斯坦损失分类损失L_cls(G_θ(T，z))，L_cls(x)和梯度惩罚损失L_GP，更新判别器的参数φ；

Step5：若迭代次数不到n次，则跳转至Step1；

Step6：随机选取一个可见关系类别子集获取其对应的文本描述以及随机采样随机噪声z；

Step7：针对每一关系r，抽样其单位为m的批量三元组集合并通过前馈计算生成器计算得到其生成的关系表示

Step8：计算批量三元组集合的生成数据的生成器的损失函数和分类损失函数L_cls(G_θ(T_r，z))以及视觉枢轴正则化损失更新生成器的参数θ；

Step9：若迭代次数未达到限定次数，跳转至Step1。

5.如权利要求1所述的基于对抗式注意力机制的一样本知识图谱关系学习方法，其特征在于，针对一个未见关系类别的唯一训练样本(e₁，r_u，e₂)及其对应的文本描述T；e₁和e₂为给定的具有关系r_u的两个实体；

Step1：获取三元组的向量表示x_u以及对应文本的词向量集合

Step2：计算三元组向量和文本词向量之间的注意力权重并乘以其对应的词向量，求和获得最终的文本描述t_u；

Step3：从高斯噪声N(0，1)采样n_d个噪声z_j，{j＝1，2，3…n_d}，分别和文本描述t_u输入到已训练好的生成器中，根据训练好的参数的生成器可以得到生成向量对生成的向量做平均得到关系表示向量

Step4：针对一个查询 表示给定的查询实体，计算其与知识图谱中所有候选实体组成的实体三元组向量x_k和的余弦相似度，相似度最高的实体即为预测的实体

6.一种终端设备，其包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，其特征在于，所述指令适于由处理器加载并执行权利要求1-5任一项所述的基于对抗式注意力机制的一样本知识图谱关系学习方法。

7.一种计算机可读存储介质，其中存储有多条指令，其特征在于，所述指令适于由终端设备的处理器加载并执行权利要求1-5任一项所述的基于对抗式注意力机制的一样本知识图谱关系学习方法。

Images