CN111046187A - 基于对抗式注意力机制的一样本知识图谱关系学习方法及系统 - Google Patents

基于对抗式注意力机制的一样本知识图谱关系学习方法及系统 Download PDF

Info

Publication number
CN111046187A
CN111046187A CN201911105384.2A CN201911105384A CN111046187A CN 111046187 A CN111046187 A CN 111046187A CN 201911105384 A CN201911105384 A CN 201911105384A CN 111046187 A CN111046187 A CN 111046187A
Authority
CN
China
Prior art keywords
vector
representation
relationship
learning
attention
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911105384.2A
Other languages
English (en)
Other versions
CN111046187B (zh
Inventor
张春云
崔超然
林培光
吕鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University of Finance and Economics
Original Assignee
Shandong University of Finance and Economics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University of Finance and Economics filed Critical Shandong University of Finance and Economics
Priority to CN201911105384.2A priority Critical patent/CN111046187B/zh
Publication of CN111046187A publication Critical patent/CN111046187A/zh
Application granted granted Critical
Publication of CN111046187B publication Critical patent/CN111046187B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367—Ontology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Animal Behavior & Ethology (AREA)
  • Machine Translation (AREA)

Abstract

本发明公开了一种基于对抗式注意力机制的一样本知识图谱关系学习方法及系统，包括：获取目标知识图谱中关系三元组及其对应的自然文本描述；对目标知识图谱进行表示学习获得三元组的向量表示；对三元组相应的文本描行表示学习获得文本中词向量表示；构建带去噪注意力模块和混淆注意力模块的条件对抗式生成网络；对条件对抗式生成网络进行优化训练，基于训练好的条件对抗式生成网络，预测未见关系类型ru的关系查询所对应的目标实体。本发明将传统的关系预测的关系类别从可见关系扩大到未见关系类别，增大了预测关系类别的范围。并将训练数据的规模从传统的大数据规模降低到只需少量样本甚至一个样本即可实现对未见关系的学习和预测。

Description

基于对抗式注意力机制的一样本知识图谱关系学习方法及 系统
技术领域
本发明涉及面向知识图谱的关系抽取技术领域，尤其涉及一种基于对抗式 注意力机制的一样本知识图谱关系学习方法及系统。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在 先技术。
大规模知识图谱将片段化的知识表示成实体间二进制关系，通常表示成三 元组的形式：(主语，谓语，宾语)。这种结构化的知识对很多下游的应用，如， 自动问答，推荐系统，语义网络搜索等任务都起到重要的支撑作用。然而，虽 然目前的知识图谱规模都很宏大，但是这些知识图谱还远远不够完善，难以应 对智能系统日益增长的需求。为了实现知识图谱的自动完善，大量的知识图谱 领域的研究者致力于通过构建关系学习模型从现有的知识图谱中预测缺失的三 元组，如给定关系三元组的一个实体，预测与其具有某种关系的另一实体。其 中具有代表性的关系学习模型有基于表示学习的关系学习方法和基于少样本 (或一样本)的关系学习方法。
基于表示学习的关系学习模型主要是通过对大量标注样本进行训练，采用 深度神经网络通过对关系和实体的语义进行编码，从而实现从符号空间到向量 空间的映射，基于关系和实体的向量表示最终实现对缺失关系的预测。然而， 基于表示学习的缺点是该方法假设所有关系和实体都具有足够多的训练样本， 难以处理只有少量训练样本的关系类型。同时，该方法无法实现对训练集中没 有的关系类型(未见关系)的预测。
基于少样本(或一样本)的关系学习方法主要是在有限样本(或只有一个 样本)的条件下，实现对未见关系的预测和分类。该类方法的关键是如何通过 可见关系(训练集中包含的关系)和有限(或一个样本)的未见关系类别的训 练样本，学习到一个能够实现可见和未见关系之间知识共享和归纳传递的中间 语义表示。目前，基于少样本或零样本的方法大都集中在图像和模仿领域，应 用到知识图谱的关系抽取领域的很少。同时，现有方法大都需要构建领域信息， 并且很难真正实现自动的类别间的知识共享和归纳传递。
发明内容
为了解决上述问题，本发明提出了一种基于对抗式注意力机制的一样本知 识图谱关系学习方法及系统，可以利用基于表示学习的关系学习方法的优势， 并使用对抗式一样本的关系学习方法只采用一个训练样本即可获得对该关系的 语义表示，从而实现从对该类关系的查询或预测。弥补了表示学习方法需要大 量训练样本和难以处理未见关系类别的不足，实现对知识图谱中缺失关系的预 测。
在一些实施方式中，采用如下技术方案：
一种基于对抗式注意力机制的一样本知识图谱关系学习方法，包括：
获取目标知识图谱中关系三元组及其对应的自然文本描述；
对目标知识图谱进行表示学习获得三元组的向量表示；
对三元组相应的文本描述进行表示学习获得文本中词向量表示；
构建带去噪注意力模块和混淆注意力模块的条件对抗式生成网络；
对条件对抗式生成网络进行优化训练，基于训练好的条件对抗式生成网络， 预测未见关系类型ru的关系查询(eq,ru,？)所对应的目标实体。
其中，？代表与实体eq对应的、符合ru关系的实体。
比如，在自动问答领域，给定一个未见关系：<A，配偶，？>，？代表 与A满足配偶关系的实体，比如，与张三满足配偶关系的是谁。当然，未见 关系是根据需要自行设定的。
在另一些实施方式中，采用如下技术方案：
一种终端设备，其包括处理器和计算机可读存储介质，处理器用于实现各 指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并 执行上述的基于对抗式注意力机制的一样本知识图谱关系学习方法。
在另一些实施方式中，采用如下技术方案：
一种计算机可读存储介质，其中存储有多条指令，所述指令适于由终端设 备的处理器加载并执行上述的基于对抗式注意力机制的一样本知识图谱关系学 习方法。
与现有技术相比，本发明的有益效果是：
本发明将传统的关系预测的关系类别从可见关系扩大到未见关系类别，增大 了预测关系类别的范围。并将训练数据的规模从传统的大数据规模降低到只需 少量样本甚至一个样本即可实现对未见关系的学习和预测，因此，具有较好的 领域适应性。
本发明通过引入条件对抗式生成网络，可以实现从关系描述的自然文本到关 系语义的映射，其采用的两层注意力机制，大大降低了条件生成对抗网络的条 件输入(文本描述)噪声，同时增加了判别难度，保证了关系表示生成的语义 方向。在对条件对抗生成网络进行训练的过程中，我们引入视觉枢轴正则化损 失，从而增加了类间关系区分度，相比于传统的条件式对抗生成网络，能够生 成更逼真的生成数据。
附图说明
图1为本发明实施例一中基于对抗式注意力机制的一样本知识图谱关系学 习方法流程图；
图2为本发明实施例一中对未见关系预测过程的流程图。
具体实施方式
应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。 除非另有指明，本发明使用的所有技术和科学术语具有与本申请所属技术领域 的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图 限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确 指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说 明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器 件、组件和/或它们的组合。
实施例一
在一个或多个实施例中，公开了一种基于对抗式注意力机制的一样本知识 图谱关系学习方法，参照图1，包括：
第一步：获取目标知识图谱中关系三元组及其对应的自然文本描述。
第二步：对目标知识图谱进行表示学习获得三元组的向量表示。
采用基于表示学习的方法得到对知识图谱中每个实体的向量表示，对于可 见关系rs的一个三元组
Figure BDA0002271132610000041
得到该关系实体三元组的向量表示xi,{i＝1,2,3…T}。
第三步：对三元组相应的文本描述进行表示学习获得文本中词向量表示。
采用词向量表示方法获得每个词的向量表示vi,{i＝1,2,3…V}。
第四步：构建三元组和其相应文本描述的去噪注意力模块。
采用第二步中的三元组ti作为文本描述的注意力向量(监督向量)，计算其 与第三步中文本描述中每个词vi之间的注意力权重，并将计算出来的注意力权重 加权到每个单词上，通过一个全连接层，得到文本描述的向量表示ti,{i＝ 1,2,3…S}。
第五步：构建文本描述为输入，输出为关系表示向量的生成器。
将第四步中获得的文本描述向量si和从高斯分布N(0,1)中随机采样的噪声 向量进行拼接得到，并输入到两个级联的全连接层，输出即为关系表示向量
Figure BDA0002271132610000051
生成器的全连接层的参数为θ。
第六步：构建三元组和关系表示向量之间的混淆注意力模块。
将第二步中的三元组向量vi作为第五步得到的关系表示向量
Figure BDA0002271132610000052
的注意力向 量(监督向量)，计算其与关系向量之间的注意力权重，并将注意力权重加权到 关系表示向量上，通过一个全连接层，获得关系的新的表示
Figure BDA0002271132610000053
第七步：构建三元组向量和带注意力权重的关系表示向量的判别器。
第六步中获得的新的关系表示
Figure BDA0002271132610000054
和三元组xi进行拼接，经过一层全连接层， 之后再输入到两个并联的全连接层，两个全连接层分别输出对关系真假的判别 ci∈{fake,real}，和关系类别的预测li{i＝1,2,3…N}，判别器的全连接层的参数 为φ。
第八步：训练生成器和判别器构成的条件对抗式生成网络。
第九步：基于训练好的生成器，预测未见关系类型ru的关系查询(eq,ru,？)所 对应的目标实体。
本发明提出的方法，可以基于一个未见关系的唯一训练样本及其文本描 述实现对该关系类型的关系实例查询。比如：可以应用于自动问答领域，实 现面向图谱关系的自动问答。如，给定一个未见关系：配偶，其唯一训练样 本三元组<A，配偶，B>及其文本描述：
“A的现任妻子为中国著名歌唱家B，两人于于1987年9月1日在厦门 结婚，并育有一女C。”
基于本发明提出的方法可以实现对该类关系的实例查询，如(A，配 偶，？)，即可以应用于自动问答系统中的实现对该类关系的自动答案抽取：
问：A的配偶是谁？
答：B。
其中，知识图谱中包含有通过维基百科数据或百度百科数据获得的大量 的关系三元组。举例来说，针对配偶关系，<A,配偶，B>,<D，配偶，E>…等 都是该关系的三元组；针对任职关系，<F，任职于，微软公司>，<G，任职 于，淘宝公司>…等等。通过知识表示方法可以将知识图谱中所有三元组进 行特征表示，每个三元组都被表示成一个向量。
上述实施例中，A、B、C、D、E、F、G均是代表人的名字。
下面对本发明方法进行具体说明。
1.关系三元组的表示学习
知识表示学习主要是面向知识图谱中的实体和关系进行表示学习，即使用 建模方法将实体和向量表示在低维稠密向量空间中，然后再进行计算和推理。 假设知识图谱中包含有L个关系，每个关系rn包含描述该关系的Ln个关系三元组， 则通过基于知识的表示学习的方法对知识图谱进行预训练，可以实现将每个关 系rn的任意一个三元组
Figure BDA0002271132610000071
中的实体和关系分别表示成向量的形式
Figure BDA0002271132610000072
和
Figure BDA0002271132610000073
这里直接采用实体向量的拼接作为该三元组的表示
Figure BDA0002271132610000074
本发明 选取一种知识表示学习方法对知识三元组进行表示，得到T个三元组表示向量 xi{i＝1,2,…,T}。
2.文本的词向量表示
文本的词向量表示即，将自然语言文本通过训练的方式，编码其上下文的 句法和语义信息，从而将文本中的词表示成一个低维稠密向量的方法。本部分 我们可以选取一种词向量表示学习模型，该模型可以将训练语料中包含的|V|个 词表示成一个d×|V|的词向量字典We，其中d为词向量的维度，则对于一个包 含M个词语的文本描述t＝{w1,w2,…,wm}，其每一个词语wi在整个词表中的 one-hot表示为hi∈{0,1}|V|，则计算词向量词典和该词语对应的one-hot向量的 乘积We×hi，即为该词语的词向量表示vi，本发明选取一种词向量表示学习方 法对词向量进行表示，得到文本中各个词的表示vi{i＝1,2,3,…|V|}。
3.带去噪注意力模块和混淆注意力模块的条件对抗式生成网络(CGAN)
条件对抗生成网络主要是指对原始的对抗式生成网络附加了约束，在生成 模型和判别模型中引入了条件变量y(Conditional variable y)，为模型引入 了额外的信息，可指导性的生成数据。本发明采用三元组的文本描述作为条件 输入，首先采用去噪注意力模块对文本描述进行去噪，只关注三元组描述的关 系语义，将其输入到生成器中，监督生成器的特征生成。针对生成器的生成特 征，采用混淆注意力模块，只选取生成特征中包含的三元组描述的关系语义， 从而增加判别器的判别难度，最终通过对生成器和判别器的对抗训练，达到参 数最优，完成条件生成网络的训练过程。
3.1.去噪注意力模块
由于三元组的描述文本中除了描述三元组的关系语义外还包含其他语义噪 声，为了选取文本描述中的三元组关系语义，抑制其他语义，因此采用去噪注 意力机制。该注意力机制通过将三元组向量作为注意力向量，只关注文本描述 中包含的三元组关系语义。即通过该注意力机制，可以实现从文本描述中选取 其三元组对应的关系语义。具体操作为：计算三元组表示向量xi和文本描述中每 个词向量vi的余弦相似度<xi,vi>，得到其对应的关系注意力权重αi。将文本描 述中所有词向量乘以其相应权重进行求和
Figure BDA0002271132610000081
在通过一个全连接层即可 得到文本描述的表示ti,{i＝1,2,3…S}。
3.2混淆注意力模块
为了增加判别器的判别难度，本发明采用了混淆注意力模块。通过将三元 组向量作为注意力(监督)向量，只关注生成器生成的向量表示中包含的三元 组描述的关系语义，从而增加判别器对三元组向量和该向量进行判别时的判别 难度。具体操作为：计算三元组表示向量xi和生成向量
Figure BDA0002271132610000082
的余弦相似度
Figure BDA0002271132610000083
即可得到其对应的关系注意力权重βi，将注意力权重乘到关系表示向量上，通过 一个全连接层，获得生成向量的新的表示
Figure BDA0002271132610000084
3.3生成式对抗网络的训练
本发明对生成式对抗网络的判别器和生成器，采用条件对抗式生成网络的 优化方法进行优化，具体的优化方法如下：
Step1:随机选取一个可见关系类别子集
Figure BDA0002271132610000091
获取其对应的文本描述
Figure BDA0002271132610000092
以 及从高斯噪声N(0,1)随机采样噪声z。
Step2：针对每一关系rs，抽样其单位为m的批量三元组集合
Figure BDA0002271132610000093
获取其对 应的文本描述
Figure BDA0002271132610000094
和采样噪声z。并通过生成器
Figure BDA0002271132610000095
计算其生成向量
Figure BDA0002271132610000096
Step3：从训练集中随机抽取实体，随机替换批量三元组集合
Figure BDA0002271132610000097
中的第二个 实体，组成负样本集合
Figure BDA0002271132610000098
Step4：计算该批量真实样本和生成数据的瓦瑟斯坦损失(Wasserstein Loss)
Figure BDA0002271132610000099
分类损失Lcls(Gθ(T,z))，Lcls(x)和梯度 惩罚损失LGP，更新判别器的参数φ。
Step5：若迭代次数不到限定次数，则跳转至Step 1。
Step6：随机选取一个可见关系类别子集
Figure BDA00022711326100000910
获取其对应的文本描述
Figure BDA00022711326100000911
以 及随机采样随机噪声z。
Step7：针对每一关系r，抽样其单位为m的批量三元组集合
Figure BDA00022711326100000912
并通过前 馈计算的方法
Figure BDA00022711326100000913
计算其生成的关系表示
Figure BDA00022711326100000914
Step8：计算该批量样本的生成数据的生成器的损失函数
Figure BDA00022711326100000915
和 分类损失函数Lcls(Gθ(Tr,z))以及视觉枢轴正则化损失
Figure BDA00022711326100000916
Figure BDA00022711326100000917
更新生成器的参数θ。
Step9:若迭代次数未达到限定次数，跳转至Step1。
参照图2，对未见关系的预测过程结合一具体实例进行阐述：
针对一个未见关系类别、其唯一训练样本(e1,ru,e2)及其对应的文本描述Tu， 如，给定一个未见关系：配偶，该关系对应的唯一训练样本：(A，配偶，B)， 该三元组对应的文本描述：
“A的现任妻子为中国著名歌唱家B，两人于1987年9月1日在厦门结婚， 两人育有一女C。”
Step1：获取该三元组的向量表示xu以及对应文本的词向量集合
Figure BDA0002271132610000101
Step2：计算三元组向量和文本词向量之间的注意力权重
Figure BDA0002271132610000102
并乘以其对应的词向量，求和获得最终的文本描述tu。
Step3:从高斯噪声N(0,1)采样nd个噪声zj{j＝1,2,3…nd}，分别和文本描述 tu输入到已训练好的生成器中，根据训练好的参数的生成器可以得到生成向量
Figure BDA0002271132610000103
对生成的向量求平均得到关系表示向量
Figure BDA0002271132610000104
Step4：针对一个查询(query)
Figure RE-GDA0002296557600000105
如(A，配偶)，计算其与知识 图谱中所有候选实体
Figure RE-GDA0002296557600000106
(如，B、C…等)组成的实体三元组 向量xk和
Figure RE-GDA0002296557600000107
的余弦相似度，相似度最高的实体即为通过该系统预测的实体
Figure RE-GDA0002296557600000108
从而通过计算得到B的余弦相似度更高，这里已经假设所有的实体已包含在 知识图谱中并已在第二步知识图谱的向量表示中被向量表示了。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明 保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上， 本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明 的保护范围以内。

Claims (10)

1.基于对抗式注意力机制的一样本知识图谱关系学习方法，其特征在于，包括：
获取目标知识图谱中关系三元组及其对应的自然文本描述；
对目标知识图谱进行表示学习获得三元组的向量表示；
对三元组相应的文本描述进行表示学习获得文本中词向量表示；
构建带去噪注意力模块和混淆注意力模块的条件对抗式生成网络；
对条件对抗式生成网络进行优化训练，基于训练好的条件对抗式生成网络，预测未见关系类型ru的关系查询(eq,ru,？)所对应的目标实体。
2.如权利要求1所述的基于对抗式注意力机制的一样本知识图谱关系学习方法，其特征在于，对目标知识图谱进行表示学习获得三元组的向量表示，具体为：
采用基于表示学习的方法得到对知识图谱中每个实体的向量表示，对于可见关系rs的一个三元组
Figure FDA0002271132600000011
得到该关系实体三元组的向量表示xi,{i＝1,2,3…T}。
3.如权利要求1所述的基于对抗式注意力机制的一样本知识图谱关系学习方法，其特征在于，对三元组相应的文本描述进行表示学习获得文本中词向量表示，具体为：
选取词向量表示学习模型，所述模型将训练语料中包含的|V|个词表示成一个d×|V|的词向量字典We，其中d为词向量的维度；
对于一个包含M个词语的文本描述t＝{w1,w2,…,wm}，其每一个词语wi在整个词表中的独热编码(one-hot)表示为hi∈{0,1}|V|，则计算词向量词典和该词语对应的one-hot向量的乘积We×hi，即为该词语的词向量表示vi。
4.如权利要求1所述的基于对抗式注意力机制的一样本知识图谱关系学习方法，其特征在于，构建带去噪注意力模块和混淆注意力模块的条件对抗式生成网络，具体为：
构建以文本描述为输入，以关系表示向量为输出的生成器：采用三元组的文本描述作为条件输入，首先采用去噪注意力模块对文本描述进行去噪，只关注三元组描述的关系语义，将其输入到生成器中，监督生成器的特征生成；
构建三元组的向量表示与带注意力权重的关系表示向量的判别器：针对生成器的生成特征，采用混淆注意力模块增加判别器的判别难度，只选取生成特征中包含的三元组描述的关系语义；通过判别器输出判别结果；
基于上述构建的生成器和判别器，得到条件对抗式生成网络。
5.如权利要求4所述的基于对抗式注意力机制的一样本知识图谱关系学习方法，其特征在于，所述去噪注意力模块对文本描述进行去噪的过程具体为：
计算三元组表示向量xi和文本描述中每个词向量vi的余弦相似度<xi,vi>，得到其对应的关系注意力权重αi；
将文本描述中所有词向量乘以其相应关系注意力权重进行求和；
再通过一个全连接层即可得到文本描述的表示ti,{i＝1,2,3…S}。
6.如权利要求4所述的基于对抗式注意力机制的一样本知识图谱关系学习方法，其特征在于，所述采用混淆注意力模块增加判别器的判别难度的具体过程为：
计算三元组表示向量xi和生成向量
Figure FDA0002271132600000021
的余弦相似度
Figure FDA0002271132600000022
即可得到其对应的关系注意力权重βi，将注意力权重乘到关系表示向量上，通过一个全连接层，获得生成向量的新的表示
Figure FDA0002271132600000023
7.如权利要求1所述的基于对抗式注意力机制的一样本知识图谱关系学习方法，其特征在于，对条件对抗式生成网络进行优化训练，具体为：
Step 1:随机选取一个可见关系类别子集
Figure FDA0002271132600000031
获取其对应的文本描述
Figure FDA0002271132600000032
以及随机采样随机噪声z；
Step2：针对每一关系rs，抽样其单位为m的批量三元组集合
Figure FDA0002271132600000033
获取其对应的文本描述
Figure FDA0002271132600000034
和随机采样随机噪声z；并通过生成器
Figure FDA0002271132600000035
计算其生成的关系表示
Figure FDA0002271132600000036
Step3：从训练集中随机抽取实体，随机替换批量三元组集合
Figure FDA0002271132600000037
中的第二个实体，组成负样本集合
Figure FDA0002271132600000038
Step4：计算该批量真实样本和生成数据的瓦瑟斯坦损失(Wasserstein Loss)，分类损失Lcls和梯度惩罚损失LGP，更新判别器的参数φ；
Step5：若迭代次数不到n次，则跳转至Step 1；
Step6：随机选取一个可见关系类别子集
Figure FDA0002271132600000039
获取其对应的文本描述
Figure FDA00022711326000000310
以及随机采样随机噪声z；
Step7：针对每一关系r，抽样其单位为m的批量三元组集合
Figure FDA00022711326000000311
并通过前馈计算的方法
Figure FDA00022711326000000312
计算其生成的关系表示
Figure FDA00022711326000000313
Step8：计算该批量样本的生成数据的生成器的损失函数
Figure FDA00022711326000000314
和分类损失函数Lcls(Gθ(Tr,z))以及视觉枢轴正则化损失LP，更新生成器的参数θ；
Step9:若迭代次数未达到限定次数，跳转至Step1。
8.如权利要求1所述的基于对抗式注意力机制的一样本知识图谱关系学习方法，其特征在于，针对一个未见关系类别的唯一训练样本(e1,ru,e2)及其对应的文本描述T；
Step1：获取三元组的向量表示xu以及对应文本的词向量集合
Figure FDA0002271132600000041
Figure FDA0002271132600000042
Step2：计算三元组向量和文本词向量之间的注意力权重
Figure FDA0002271132600000043
并乘以其对应的词向量，求和获得最终的文本描述tu；
Step3:从高斯噪声N(0,1)采样nd个噪声zj{j＝1,2,3…nd}，分别和文本描述tu输入到已训练好的生成器中，根据训练好的参数的生成器可以得到生成向量
Figure FDA0002271132600000044
对生成的向量做平均得到关系表示向量
Figure FDA0002271132600000045
Step4：针对一个查询(query)
Figure FDA0002271132600000046
计算其与知识图谱中所有候选实体
Figure FDA0002271132600000047
组成的实体三元组向量xk和
Figure FDA0002271132600000048
的余弦相似度，相似度最高的实体即为通过该系统预测的实体
Figure FDA0002271132600000049
9.一种终端设备，其包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，其特征在于，所述指令适于由处理器加载并执行上述的基于对抗式注意力机制的一样本知识图谱关系学习方法。
10.一种计算机可读存储介质，其中存储有多条指令，其特征在于，所述指令适于由终端设备的处理器加载并执行上述的基于对抗式注意力机制的一样本知识图谱关系学习方法。
CN201911105384.2A 2019-11-13 2019-11-13 基于对抗式注意力机制的一样本知识图谱关系学习方法及系统 Active CN111046187B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911105384.2A CN111046187B (zh) 2019-11-13 2019-11-13 基于对抗式注意力机制的一样本知识图谱关系学习方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911105384.2A CN111046187B (zh) 2019-11-13 2019-11-13 基于对抗式注意力机制的一样本知识图谱关系学习方法及系统

Publications (2)

Publication Number Publication Date
CN111046187A true CN111046187A (zh) 2020-04-21
CN111046187B CN111046187B (zh) 2023-04-18

Family

ID=70232655

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911105384.2A Active CN111046187B (zh) 2019-11-13 2019-11-13 基于对抗式注意力机制的一样本知识图谱关系学习方法及系统

Country Status (1)

Country Link
CN (1) CN111046187B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111651557A (zh) * 2020-05-09 2020-09-11 清华大学深圳国际研究生院 一种自动化文本生成方法、装置及计算机可读存储介质
CN112100392A (zh) * 2020-07-28 2020-12-18 浙江大学 一种基于强化学习和知识图谱的设备故障溯因方法
CN112906785A (zh) * 2021-02-09 2021-06-04 深圳大学 基于融合的零样本物体种类识别方法、装置及设备
CN113468077A (zh) * 2021-09-06 2021-10-01 北京无疆脑智科技有限公司 认知能力测试方法、装置、电子设备和存储介质
CN114238648A (zh) * 2021-11-17 2022-03-25 中国人民解放军军事科学院国防科技创新研究院 一种基于知识图谱的博弈对抗行为决策方法及装置
CN114225427A (zh) * 2021-11-17 2022-03-25 中国人民解放军军事科学院国防科技创新研究院 一种用于多实体对抗的对手关系识别方法及装置
CN114513337A (zh) * 2022-01-20 2022-05-17 电子科技大学 一种基于邮件数据的隐私保护链接预测方法及系统
CN114707005A (zh) * 2022-06-02 2022-07-05 浙江建木智能系统有限公司 一种舰船装备的知识图谱构建方法和系统
CN117010494A (zh) * 2023-09-27 2023-11-07 之江实验室 一种基于因果表示学习的医学数据生成方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108197290A (zh) * 2018-01-19 2018-06-22 桂林电子科技大学 一种融合实体和关系描述的知识图谱表示学习方法
CN109299284A (zh) * 2018-08-31 2019-02-01 中国地质大学（武汉） 一种基于结构信息与文本描述的知识图谱表示学习方法
US20190122111A1 (en) * 2017-10-24 2019-04-25 Nec Laboratories America, Inc. Adaptive Convolutional Neural Knowledge Graph Learning System Leveraging Entity Descriptions
CN109685116A (zh) * 2018-11-30 2019-04-26 腾讯科技（深圳）有限公司 图像描述信息生成方法和装置及电子装置
CN110334219A (zh) * 2019-07-12 2019-10-15 电子科技大学 基于注意力机制融入文本语义特征的知识图谱表示学习方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190122111A1 (en) * 2017-10-24 2019-04-25 Nec Laboratories America, Inc. Adaptive Convolutional Neural Knowledge Graph Learning System Leveraging Entity Descriptions
CN108197290A (zh) * 2018-01-19 2018-06-22 桂林电子科技大学 一种融合实体和关系描述的知识图谱表示学习方法
CN109299284A (zh) * 2018-08-31 2019-02-01 中国地质大学（武汉） 一种基于结构信息与文本描述的知识图谱表示学习方法
CN109685116A (zh) * 2018-11-30 2019-04-26 腾讯科技（深圳）有限公司 图像描述信息生成方法和装置及电子装置
CN110334219A (zh) * 2019-07-12 2019-10-15 电子科技大学 基于注意力机制融入文本语义特征的知识图谱表示学习方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ZHANG CHUNYUN ET AL.: "An Adaptive Sentence Representation Learning Model Based on Multi-gram CNN" *
张钊等: "用于知识表示学习的对抗式负样本生成" *

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111651557B (zh) * 2020-05-09 2023-03-31 清华大学深圳国际研究生院 一种自动化文本生成方法、装置及计算机可读存储介质
CN111651557A (zh) * 2020-05-09 2020-09-11 清华大学深圳国际研究生院 一种自动化文本生成方法、装置及计算机可读存储介质
CN112100392A (zh) * 2020-07-28 2020-12-18 浙江大学 一种基于强化学习和知识图谱的设备故障溯因方法
CN112100392B (zh) * 2020-07-28 2022-03-15 浙江大学 一种基于强化学习和知识图谱的设备故障溯因方法
CN112906785A (zh) * 2021-02-09 2021-06-04 深圳大学 基于融合的零样本物体种类识别方法、装置及设备
CN112906785B (zh) * 2021-02-09 2023-12-22 深圳大学 基于融合的零样本物体种类识别方法、装置及设备
CN113468077A (zh) * 2021-09-06 2021-10-01 北京无疆脑智科技有限公司 认知能力测试方法、装置、电子设备和存储介质
CN114225427A (zh) * 2021-11-17 2022-03-25 中国人民解放军军事科学院国防科技创新研究院 一种用于多实体对抗的对手关系识别方法及装置
CN114238648A (zh) * 2021-11-17 2022-03-25 中国人民解放军军事科学院国防科技创新研究院 一种基于知识图谱的博弈对抗行为决策方法及装置
CN114513337A (zh) * 2022-01-20 2022-05-17 电子科技大学 一种基于邮件数据的隐私保护链接预测方法及系统
CN114513337B (zh) * 2022-01-20 2023-04-07 电子科技大学 一种基于邮件数据的隐私保护链接预测方法及系统
CN114707005A (zh) * 2022-06-02 2022-07-05 浙江建木智能系统有限公司 一种舰船装备的知识图谱构建方法和系统
CN114707005B (zh) * 2022-06-02 2022-10-25 浙江建木智能系统有限公司 一种舰船装备的知识图谱构建方法和系统
CN117010494A (zh) * 2023-09-27 2023-11-07 之江实验室 一种基于因果表示学习的医学数据生成方法及系统
CN117010494B (zh) * 2023-09-27 2024-01-05 之江实验室 一种基于因果表示学习的医学数据生成方法及系统

Also Published As

Publication number Publication date
CN111046187B (zh) 2023-04-18

Similar Documents

Publication Publication Date Title
CN111046187B (zh) 基于对抗式注意力机制的一样本知识图谱关系学习方法及系统
CN112015868B (zh) 基于知识图谱补全的问答方法
CN112633010B (zh) 基于多头注意力和图卷积网络的方面级情感分析方法及系统
JP7247878B2 (ja) 回答学習装置、回答学習方法、回答生成装置、回答生成方法、及びプログラム
CN113535984A (zh) 一种基于注意力机制的知识图谱关系预测方法及装置
CN114186084A (zh) 在线多模态哈希检索方法、系统、存储介质及设备
CN111027292A (zh) 一种限定采样文本序列生成方法及其系统
CN113505583A (zh) 基于语义决策图神经网络的情感原因子句对提取方法
Binnig et al. Towards interactive curation & automatic tuning of ml pipelines
Upreti Convolutional neural network (cnn). a comprehensive overview
CN110502701B (zh) 引入注意力机制的好友推荐方法、系统和存储介质
CN113869005A (zh) 一种基于语句相似度的预训练模型方法和系统
JP2017174004A (ja) 文意味分類算出装置、モデル学習装置、方法、及びプログラム
CN114579605B (zh) 表格问答数据处理方法、电子设备及计算机存储介质
CN114579606B (zh) 预训练模型数据处理方法、电子设备及计算机存储介质
Wang et al. Color trend prediction method based on genetic algorithm and extreme learning machine
Zeng et al. RACMF: robust attention convolutional matrix factorization for rating prediction
CN114936901A (zh) 基于跨模态语义推理与融合的视觉感知推荐方法及系统
CN110633363B (zh) 一种基于nlp和模糊多准则决策的文本实体推荐方法
Zhang et al. Research on the construction and realization of data pipeline in machine learning regression prediction
CN113239219A (zh) 一种基于多模态查询的图像检索方法、系统、介质及设备
Li et al. Text-guided dual-branch attention network for visual question answering
CN113961667B (zh) 一种基于Bert的动态阈值调整的智能问答系统
Jing Neural network structure text processing method based on automatic machine learning
CN117827887A (zh) 复数域稠密通道的召回方法、系统、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant