CN112100404A - 基于结构化上下文信息的知识图谱预训练方法 - Google Patents
基于结构化上下文信息的知识图谱预训练方法 Download PDFInfo
- Publication number
- CN112100404A CN112100404A CN202010975552.XA CN202010975552A CN112100404A CN 112100404 A CN112100404 A CN 112100404A CN 202010975552 A CN202010975552 A CN 202010975552A CN 112100404 A CN112100404 A CN 112100404A
- Authority
- CN
- China
- Prior art keywords
- context
- triple
- vector
- seq
- triples
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012549 training Methods 0.000 title claims abstract description 43
- 238000000034 method Methods 0.000 title claims abstract description 33
- 239000013598 vector Substances 0.000 claims abstract description 82
- 230000010354 integration Effects 0.000 claims abstract description 36
- 239000013604 expression vector Substances 0.000 claims abstract description 7
- 238000010276 construction Methods 0.000 claims description 4
- 239000003550 marker Substances 0.000 claims description 4
- 239000000203 mixture Substances 0.000 claims description 3
- 230000000694 effects Effects 0.000 description 6
- 239000004576 sand Substances 0.000 description 4
- 238000007792 addition Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000003058 natural language processing Methods 0.000 description 3
- 230000002457 bidirectional effect Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002860 competitive effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
- G06F16/367—Ontology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/02—Knowledge representation; Symbolic representation
- G06N5/022—Knowledge engineering; Knowledge acquisition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Animal Behavior & Ethology (AREA)
- Databases & Information Systems (AREA)
- Machine Translation (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于结构化上下文信息的知识图谱预训练方法,包括:针对目标三元组,构建由上下文三元组组成的实例,采用三元组整合模块对实例的每个上下文三元组进行编码,得到整合向量;将针对实例的所有上下文三元组的整合向量组成上下文向量序列,采用结构化信息模块对上下文向量序列进行编码得到三元组的结构表示向量;采用通用任务模块对三元组的结构表示向量进行计算,得到三元组的标签预测值,基于三元组的标签预测值与标签真值的交叉熵损失来更新三元组的结构表示向量,直到训练结束为止,得到目标三元组的优化后结构表示向量。该方法获得的三元组的结构表示向量结合了上下文信息。
Description
技术领域
本发明属于数据存储与处理技术领域,具体涉及一种基于结构化上下文信息的知识图谱预训练方法。
背景技术
知识图谱(Knowledge Graph)可以看作是有向标记图,而图中的事实以(头实体、关系、尾实体)的形式表示为三元组,按照英文首字母简写为(h,r,t)。近年来,知识图谱在构建和应用方面都得到了迅速的发展,在语义搜索、信息抽取和问答等人工智能领域有着广泛的应用前景。
由于知识图谱中的图结构包含了大量有价值的信息,因此对于各种知识图谱任务,如实体类型化、链接预测、实体对齐等,提取深层的结构信息至关重要。表示学习方法将实体和关系嵌入到连续向量空间中,能自动提取结构特征,并通过代数运算推导出新的三元组,该方法由TransE模型首先提出,有效简化了知识图谱中的数学运算。之后,TransH模型提出一个实体在不同关系下有不同的表示,以克服多关系问题的局限性;TransR模型引入了关系专用空间来解决多关系问题。TransD模型将投影矩阵分解为两个向量的乘积,进一步提升了知识图谱各项任务的效果。
针对实体分类、实体对齐、链接预测和推荐等多种不同的知识图谱特定任务,之前的研究中提出了不同的表示学习方法,以适应不同的知识图谱训练任务。
在自然语言处理领域,Bert等预训练语言模型在多种自然语言处理下游任务中都取得了显著的改进。预训练语言模型与知识图谱表示学习模型的主要区别在于以下两点:一是语言表示为序列数据,以词上下文为关键信息检测词和句子的语义,而知识图谱表示为结构化图数据。二是预训练语言模型的下游任务的输入可以统一为两个句子,而知识图谱的输入是三元组。因此,适应不同任务的训练前知识图表示学习模型面临的主要挑战是:(1)无论具体的知识图谱下游任务如何,预训练模型都应该能够自动捕获给定三元组的深层结构上下文信息;(2)实体和关系的表示需要根据不同的下游任务,以及下游任务输入数据的不同结构特征进行不同方式的训练,以提高其鲁棒性。
知识图谱与预训练语言模型的结合越来越受到研究者的关注。K-Bert模型将知识图谱中的知识注入句子中,生成知识丰富的语言表示。KG-Bert模型使用预训练的语言模型来补全知识图谱,ERNIE模型将知识模块中的实体表示集成到语义模块中,以增强文本表示能力。KEPLER在实体的文本表示向量中,融入了知识图谱的结构信息。KnowBert模型提出了知识增强表示模方法,将句子中的实体和知识图谱中的实体对齐,融合两者的向量表示来提升预测任务的效果。
发明内容
本发明的目的就是提供一种基于结构化上下文信息的知识图谱预训练方法,该知识图谱预训练方法获得的三元组的结构表示向量结合了上下文信息,且只需要在预训练阶段训练一次,即可在微调阶段在多种知识图谱下游任务中,更快速地完成训练,并取得更好的实验效果。
为实现上述发明目的,本发明提供以下技术方案:
一种基于结构化上下文信息的知识图谱预训练方法,采用包含三元组整合模块、结构化信息模块以及通用任务模块的预训练模型对知识图谱中的三元组进行训练,具体训练过程包括:
针对目标三元组,构建由上下文三元组组成的实例,采用三元组整合模块对实例的每个上下文三元组进行编码,得到整合向量;
将针对实例的所有上下文三元组的整合向量组成上下文向量序列,采用结构化信息模块对上下文向量序列进行编码得到三元组的结构表示向量;
采用通用任务模块对三元组的结构表示向量进行计算,得到三元组的标签预测值,基于三元组的标签预测值与标签真值的交叉熵损失来更新三元组整合模块参数、结构化信息模块参数、通用任务模块参数以及三元组的结构表示向量,直到训练结束为止,得到目标三元组的优化后结构表示向量。
优选地,所述三元组整合模块采用Transformer模型,为上下文三元组分配一个三元组标记[TRI],三元组标记表示k[TRI]与上下文三元组的头实体表示h′、尾实体表示r′、关系表示t′组成表示序列<k[TRI],h′,r′,t′>作为三元组整合模块的输入,经三元组整合模块计算,将三元组标记k[TRI]对应的输出为整合向量。
优选地,所述结构化信息模块采用Transformer模型,上下文向量序列表示为<seqh,seqr,seqt>,其中,seqh,seqr,seqt分别是头实体h,关系r,尾实体t的上下文三元组的序列,具体形式为:
为seqh,seqr,seqt分配一个头实体标记[HEA]、关系标记[REL]、尾实体标记[TAI],该seqh,seqr,seqt与头实体标记向量k[HEA]、关系标记向量k[REL]、尾实体标记向量k[TAI]组成序列<k[HEA],seqh,k[REL],seqr,k[TAI],seqt>作为结构化信息模块的输入。
优选地,为每个上下文三元组的整合向量添加所属的段表示类型,即:
其中,sh表示头实体的段向量,类似地,sr表示关系的段向量,st表示尾实体的段向量;
则输入结构化信息模块的序列为:
优选地,所述通用任务模块包括至少1个全连接层和softmax层,利用全连接层对输入序列进行全连接结算,获得目标三元组的深层上下文信息,利用softmax层计算深层上下文信息的标签预测值。
其中,目标三元组的实例包括正实例和负实例,且保证正实例和负实例数量相同,构建方法为:基于目标三元组的上下文三元组序列构造正实例,通过替换目标三元组的头实体、关系或尾实体得到了新三元组,利用新三元组的上下文三元组序列构造负实例,目标三元组的标签真值为1,新三元组的标签真值为0。
优选地,限定目标三元组的实例大小固定为n,即每个实例包含n个上下文三元组,在构建时,若上下文三元组的数目大于n,则从上下文三元组中随机抽取n个上下文三元组组成实例,否则在所有上下文三元组后直接填充零以补足到n个。
当针对特定任务训练时,将三元组的优化后结构表示向量作为特定任务模块的输入,利用三元组的优化后结构表示向量对特定任务模块进行参数微调。
与现有技术相比,本发明具有的有益效果至少包括:
本发明能够利用结构上下文三元组对深度图结构进行自动编码,动态地获取实体和关系的结构信息;同时针对多种知识图谱下游任务都有较好的实验效果;再者经过一次预训练后,能够快速达到多种知识图谱下游任务较好的试验指标。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动前提下,还可以根据这些附图获得其他附图。
图1是实施例提供的预训练模型的结构示意图;
图2是实施例提供的三元组整合模块的结构示意图;
图3是实施例提供的结构化信息模块的结构示意图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例对本发明进行进一步的详细说明。应当理解,此处所描述的具体实施方式仅仅用以解释本发明,并不限定本发明的保护范围。
实施例提供的基于结构化上下文信息的知识图谱预训练采用包含三元组整合模块、结构化信息模块以及通用任务模块的预训练模型对知识图谱中的三元组进行训练,具体训练过程为:
步骤1,采用三元组整合模块对每个上下文三元组进行编码,得到整合向量。
由于预训练模型需要捕获整合知识图谱中的各种深层次结构化信息,因此模型的输入不仅包括目标三元组(h,r,t),而且还包括这些目标三元组的结构化上下文三元组序列,即h,r和t的邻居三元组序列,表示为C(h),C(r)和C(t)。
针对给定目标三元组τ=(h,r,t),三元组整合模块(Triple Module,T-Mod)首先将每个上下文三元组c=(h′,r′,t′)∈{C(h),C(h),C(h)}编码为向量c,因此有
c=T_Mod(<h′,r′,t′>)
其中<h′,r′,t′>表示向量h′,r′,t′的序列,T_Mod()表示三元组整合模块对输入的数据的编码结果,具体采用基于Transformer模型的三元组整合模块,由于其良好的性能和并行计算架构而得到了广泛的应用。
如图2所示,在将三元组<h′,r′,t′>输入到Transformer模型之前,需要在<h′,r′,t′>前面引入了一个用于整合三元组的三元组标记[TRI],整合后即为向量c。为这个三元组标记[TRI]分配了一个三元组标记向量,表示为因此,组合后的序列<k[TRI],h′,r′,t′>被输入到多层双向Transformer编码器中,经过多层双向Transformer编码器的编码,将三元组标记[TRI]对应的输出作为整合向量。
本实施例中,所有的上下文三元组都由统一的三元组整合模块编码并行计算得到整合向量。
步骤2,采用结构化信息模块对由所有上下文三元组的整合向量组成上下文向量序列进行编码得到三元组的结构表示向量。
如图3所示,结构化信息模块(Structure Module,S-Mod)以h,r,t的上下文三元组表示作为输入,对应的输出可以分别用hs,rs和ts表示,因此S-Mod的框架可以表示为:
hs,rs,ts=S_Mod(<seqh,seqr,seqt>)
其中seqh,seqr,seqt是h,r,t的上下文三元组的序列,具体形式如下:
为了增强目标三元组τ中用于训练的不同元素的独立性,在每个三元表示中添加一个所属的段表示类型,指示它是属于头实体h、关系r还是尾实体t,相应地分别表示为sh,sr和st,则添加有所属的段表示类型的整合向量表示为:
在添加段向量之后,为了进一步区分当前上下文三元组所属的元素,引入了三种类似于三元组整合模块的三元组标记[HEA]、[REL]和[TAI]。在第一个头实体上下文三元组前面添加[HEA],第一个关系上下文三元组前面添加[REL],第一个尾实体上下文三元组前面添加[TAI],那么它们对应的向量表示形为k[HEA]、k[REL]和k[TAI]。因此,输入序列的格式也可以表示为:
结构化信息模块使用不同于三元组整合模块设置的多层双向Transformer编码器,对输入序列i进行编码。从最后一层Transformer中,将位置[HEA]、[REL]和[TAI]相对应的输出hs,rs和ts分别表示为头实体h、关系r和尾实体t的结构表示向量,组成三元组的结构表示向量。
为了使模型具有动态地生成实体和关系的上下文表示的能力,模型中的结构化向量hs不仅依赖于其自身的结构上下文三元组,而且还依赖于r和t的上下文三元组。同理,结构化向量rs和ts也是如此。因此,即使对于输入时不同目标三元组中的同一实体或者同一关系,经过结构化信息模块之后,得到结构化向量也是是不同的。
步骤3,采用通用任务模块对三元组的结构表示向量进行计算,得到三元组的标签预测值。
将hs,rs和ts这三种结构表示向量输入到通用任务模块(tasK Module,K-Mod)中,并通过一个简单的全连接的神经网络来集成目标三元组τ=(h,r,t)的深层上下文信息vτ:
vτ=[hs;rs;ts]Wint+b
采用softmax层基于深层上下文信息vτ获得标签预测值sτ:
sτ=f(h,r,t)=softmax(vτWcls)
步骤4,基于三元组的标签预测值与标签真值的交叉熵损失来更新三元组整合模块参数、结构化信息模块参数、通用任务模块参数以及三元组的结构表示向量,直到训练结束为止,得到目标三元组的优化后结构表示向量。
在为每个目标三元组生成训练实例时,需要保持正实例和负实例的数量相同。基于当前目标三元组的上下文三元组序列可以构造正实例,而通过替换目标三元组的头实体、关系或尾实体得到了新三元组,利用这些新三元组的上下文三元组构造负实例。
本实施例中定义了以下规则来替换目标三元组的一个元素:对于头实体h或尾实体t,它们被替换为一个随机的实体e∈ε,类似地,关系r替换为一个随机关系或与h或t连接的关系r′,并设置替换这两种关系的概率相等。
以上基于结构化上下文信息的知识图谱预训练方法中,需要固定实例中上下文三元组序列的长度。基于头实体h、关系r或尾实体t的上下文三元组的数目有很大的差异,从零到数百。也就是说,有的实体邻居三元组非常丰富,而有的几乎没有相邻的邻居三元组。因此,在生成实体时,必须将序列长度与指定的大小n统一,以确保模型正常工作。为此,规则定义如下:如果上下文三元组的数目大于指定的大小n,从上下文三元组中随机抽取具有固定序列长度的上下文序列,否则上下文三元组后将直接填充零以满足上述要求。
以上基于结构化上下文信息的知识图谱预训练方法中,为了使上下文三元组尽可能全面地包含知识图谱的深层结构信息,应尽可能地设置上下文三元组的序列长度更长。然而,因为Transformer模型的训练时间和空间复杂度是序列的二次方,越长的序列训练起来越耗时,训练成本更高。
为了平衡二者之间的冲突,分析了实体和关系的上下文三元组长度的分布。具体来说,在WN18RR中,20个上下文三元组就能覆盖96.28%的实体和关系,而如果要覆盖99%,则需要115个上下文三元组,边际效益快速递减。因此,将为h、r或t的上下文三元组的长度设置为20即可,再加上考虑到额外的标记[HEA]、[REL]和[TAI],预训练模型的输入序列的长度设置为64。同理,在数据集FB15k-237中,选择128作为输入序列的长度。
为了简单起见,将Transformer模型中Self-Attention的层数和头数目分别表示为L和A,将表示向量的隐藏维数表示为H。在三元组整合模块(T-Mod)中,有以下配置:L=6,A=3和H=768,在结构化信息模块(S-Mod)中,L=12,A=12和H=768。我们将学习率设置为2e-4,Batch大小设置为64。
当针对特定任务训练时,在下游任务中,会针对不同的下游任务适当调整模型输入和中间处理过程。例如,针对实体对齐任务,只需输入两个实体及这两个实体的结构化三元组序列信息,利用实体对齐的数据集对各个模块的部分参数进行训练微调,最终得到适配于实体对齐任务的整套模型。使得模型在各个不同的下游任务上都有非常好的实验效果。
知识图谱的预训练模型主要着眼于知识图谱领域,借鉴了预训练语言模型的思想,只需要对完整的知识图谱训练一次并从中提取结构化上下文信息,就能够在微调阶段,提升包括链接预测、实体对齐等在内的多种知识图谱下游任务效果,还能够在部分结合自然语言处理数据集的下游任务中有更优异的表现,包括关系抽取、实体链接、知识问答等。除此以外,相比于其他特定的下游任务模型,能够在这些任务的训练时间和训练参数量等方面更有竞争力,也正是如此,整个知识图谱预训练模型具有更强的通用性、健壮性和泛化能力。
以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明,应理解的是以上所述仅为本发明的最优选实施例,并不用于限制本发明,凡在本发明的原则范围内所做的任何修改、补充和等同替换等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于结构化上下文信息的知识图谱预训练方法,其特征在于,采用包含三元组整合模块、结构化信息模块以及通用任务模块的预训练模型对知识图谱中的三元组进行训练,具体训练过程包括:
针对目标三元组,构建由上下文三元组组成的实例,采用三元组整合模块对实例的每个上下文三元组进行编码,得到整合向量;
将针对实例的所有上下文三元组的整合向量组成上下文向量序列,采用结构化信息模块对上下文向量序列进行编码得到三元组的结构表示向量;
采用通用任务模块对三元组的结构表示向量进行计算,得到三元组的标签预测值,基于三元组的标签预测值与标签真值的交叉熵损失来更新三元组整合模块参数、结构化信息模块参数、通用任务模块参数以及三元组的结构表示向量,直到训练结束为止,得到目标三元组的优化后结构表示向量。
2.如权利要求1所述的基于结构化上下文信息的知识图谱预训练方法,其特征在于,为上下文三元组分配一个三元组标记[TRI],三元组标记表示k[TRI]与上下文三元组的头实体表示h′、尾实体表示r′、关系表示t′组成表示序列<k[TRI],h′,r′,t′>作为三元组整合模块的输入,经三元组整合模块计算,将三元组标记k[TRI]对应的输出为整合向量。
3.如权利要求1或2所述的基于结构化上下文信息的知识图谱预训练方法,其特征在于,所述三元组整合模块采用Transformer模型。
4.如权利要求1所述的基于结构化上下文信息的知识图谱预训练方法,其特征在于,上下文向量序列表示为<seqh,seqr,seqt>,其中,seqh,seqr,seqt分别是头实体h,关系r,尾实体t的上下文三元组的序列,具体形式为:
为seqh,seqr,seqt分配一个头实体标记[HEA]、关系标记[REL]、尾实体标记[TAI],该seqh,seqr,seqt与头实体标记向量k[HEA]、关系标记向量k[REL]、尾实体标记向量k[TAI]组成序列<k[HEA],seqh,k[REL],seqr,k[TAI],seqt>作为结构化信息模块的输入。
6.如权利要求1或4或5所述的基于结构化上下文信息的知识图谱预训练方法,其特征在于,所述结构化信息模块采用Transformer模型。
7.如权利要求1所述的基于结构化上下文信息的知识图谱预训练方法,其特征在于,所述通用任务模块包括至少1个全连接层和softmax层,利用全连接层对输入序列进行全连接结算,获得目标三元组的深层上下文信息,利用softmax层计算深层上下文信息的标签预测值。
8.如权利要求1所述的基于结构化上下文信息的知识图谱预训练方法,其特征在于,目标三元组的实例包括正实例和负实例,且保证正实例和负实例数量相同,构建方法为:基于目标三元组的上下文三元组序列构造正实例,通过替换目标三元组的头实体、关系或尾实体得到了新三元组,利用新三元组的上下文三元组序列构造负实例,目标三元组的标签真值为1,新三元组的标签真值为0。
9.如权利要求1所述的基于结构化上下文信息的知识图谱预训练方法,其特征在于,限定目标三元组的实例大小固定为n,即每个实例包含n个上下文三元组,在构建时,若上下文三元组的数目大于n,则从上下文三元组中随机抽取n个上下文三元组组成实例,否则在所有上下文三元组后直接填充零以补足到n个。
10.如权利要求1所述的基于结构化上下文信息的知识图谱预训练方法,其特征在于,当针对特定任务训练时,将三元组的优化后结构表示向量作为特定任务模块的输入,利用三元组的优化后结构表示向量对特定任务模块进行参数微调。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010975552.XA CN112100404B (zh) | 2020-09-16 | 2020-09-16 | 基于结构化上下文信息的知识图谱预训练方法 |
PCT/CN2021/116769 WO2022057669A1 (zh) | 2020-09-16 | 2021-09-06 | 基于结构化上下文信息的知识图谱预训练方法 |
US17/791,897 US20240177047A1 (en) | 2020-09-16 | 2021-09-06 | Knowledge grap pre-training method based on structural context infor |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010975552.XA CN112100404B (zh) | 2020-09-16 | 2020-09-16 | 基于结构化上下文信息的知识图谱预训练方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112100404A true CN112100404A (zh) | 2020-12-18 |
CN112100404B CN112100404B (zh) | 2021-10-15 |
Family
ID=73760415
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010975552.XA Active CN112100404B (zh) | 2020-09-16 | 2020-09-16 | 基于结构化上下文信息的知识图谱预训练方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20240177047A1 (zh) |
CN (1) | CN112100404B (zh) |
WO (1) | WO2022057669A1 (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112507706A (zh) * | 2020-12-21 | 2021-03-16 | 北京百度网讯科技有限公司 | 知识预训练模型的训练方法、装置和电子设备 |
CN112632290A (zh) * | 2020-12-21 | 2021-04-09 | 浙江大学 | 一种融合图结构和文本信息的自适应知识图谱表示学习方法 |
CN113377968A (zh) * | 2021-08-16 | 2021-09-10 | 南昌航空大学 | 一种采用融合实体上下文的知识图谱链路预测方法 |
WO2022057669A1 (zh) * | 2020-09-16 | 2022-03-24 | 浙江大学 | 基于结构化上下文信息的知识图谱预训练方法 |
CN115051843A (zh) * | 2022-06-06 | 2022-09-13 | 华北电力大学 | 基于kge的区块链威胁情报知识图谱推理方法 |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114741537B (zh) * | 2022-04-29 | 2024-08-02 | 华中科技大学 | 一种基于干涉原理的知识图谱补全方法及系统 |
CN114724010B (zh) * | 2022-05-16 | 2022-09-02 | 中译语通科技股份有限公司 | 一种待训练样本的确定方法、装置、设备及可读存储介质 |
CN115062587B (zh) * | 2022-06-02 | 2024-05-31 | 北京航空航天大学 | 一种基于周围信息的知识图谱嵌入及回复生成方法 |
CN115098699B (zh) * | 2022-06-24 | 2024-09-06 | 中国人民解放军国防科技大学 | 一种基于知识图谱嵌入模型的链路预测方法 |
CN116340524B (zh) * | 2022-11-11 | 2024-03-08 | 华东师范大学 | 一种基于关系自适应网络的小样本时态知识图谱补全方法 |
CN115564049B (zh) * | 2022-12-06 | 2023-05-09 | 北京航空航天大学 | 一种双向编码的知识图谱嵌入方法 |
CN115936737B (zh) * | 2023-03-10 | 2023-06-23 | 云筑信息科技(成都)有限公司 | 一种确定建材真伪的方法和系统 |
CN116187446B (zh) * | 2023-05-04 | 2023-07-04 | 中国人民解放军国防科技大学 | 基于自适应注意力机制的知识图谱补全方法、装置和设备 |
CN116881471B (zh) * | 2023-07-07 | 2024-06-04 | 深圳智现未来工业软件有限公司 | 一种基于知识图谱的大语言模型微调方法及装置 |
CN116910272B (zh) * | 2023-08-09 | 2024-03-01 | 西安工程大学 | 基于预训练模型t5的学术知识图谱补全方法 |
CN117473102B (zh) * | 2023-11-17 | 2024-07-05 | 北京建筑大学 | 一种基于标签混淆学习的bim知识图谱构建方法和系统 |
CN117540035B (zh) * | 2024-01-09 | 2024-05-14 | 安徽思高智能科技有限公司 | 一种基于实体类型信息融合的rpa知识图谱构建方法 |
CN118379169A (zh) * | 2024-06-24 | 2024-07-23 | 北京市农林科学院 | 农业流媒体课件的智能出题方法、装置、设备和存储介质 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180082183A1 (en) * | 2011-02-22 | 2018-03-22 | Thomson Reuters Global Resources | Machine learning-based relationship association and related discovery and search engines |
CN109376864A (zh) * | 2018-09-06 | 2019-02-22 | 电子科技大学 | 一种基于堆叠神经网络的知识图谱关系推理算法 |
CN110297870A (zh) * | 2019-05-30 | 2019-10-01 | 南京邮电大学 | 一种金融领域中文新闻标题情感分类方法 |
CN111026875A (zh) * | 2019-11-26 | 2020-04-17 | 中国人民大学 | 一种基于实体描述和关系路径的知识图谱补全方法 |
CN111198950A (zh) * | 2019-12-24 | 2020-05-26 | 浙江工业大学 | 一种基于语义向量的知识图谱表示学习方法 |
CN111428055A (zh) * | 2020-04-20 | 2020-07-17 | 神思电子技术股份有限公司 | 一种面向行业的上下文省略问答方法 |
CN111444305A (zh) * | 2020-03-19 | 2020-07-24 | 浙江大学 | 一种基于知识图谱嵌入的多三元组联合抽取方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20200073996A1 (en) * | 2018-08-28 | 2020-03-05 | Stitched.IO Limited | Methods and Systems for Domain-Specific Disambiguation of Acronyms or Homonyms |
CN111444721B (zh) * | 2020-05-27 | 2022-09-23 | 南京大学 | 一种基于预训练语言模型的中文文本关键信息抽取方法 |
CN111626063B (zh) * | 2020-07-28 | 2020-12-08 | 浙江大学 | 一种基于投影梯度下降和标签平滑的文本意图识别方法及系统 |
CN112100404B (zh) * | 2020-09-16 | 2021-10-15 | 浙江大学 | 基于结构化上下文信息的知识图谱预训练方法 |
-
2020
- 2020-09-16 CN CN202010975552.XA patent/CN112100404B/zh active Active
-
2021
- 2021-09-06 US US17/791,897 patent/US20240177047A1/en active Pending
- 2021-09-06 WO PCT/CN2021/116769 patent/WO2022057669A1/zh active Application Filing
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180082183A1 (en) * | 2011-02-22 | 2018-03-22 | Thomson Reuters Global Resources | Machine learning-based relationship association and related discovery and search engines |
CN109376864A (zh) * | 2018-09-06 | 2019-02-22 | 电子科技大学 | 一种基于堆叠神经网络的知识图谱关系推理算法 |
CN110297870A (zh) * | 2019-05-30 | 2019-10-01 | 南京邮电大学 | 一种金融领域中文新闻标题情感分类方法 |
CN111026875A (zh) * | 2019-11-26 | 2020-04-17 | 中国人民大学 | 一种基于实体描述和关系路径的知识图谱补全方法 |
CN111198950A (zh) * | 2019-12-24 | 2020-05-26 | 浙江工业大学 | 一种基于语义向量的知识图谱表示学习方法 |
CN111444305A (zh) * | 2020-03-19 | 2020-07-24 | 浙江大学 | 一种基于知识图谱嵌入的多三元组联合抽取方法 |
CN111428055A (zh) * | 2020-04-20 | 2020-07-17 | 神思电子技术股份有限公司 | 一种面向行业的上下文省略问答方法 |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022057669A1 (zh) * | 2020-09-16 | 2022-03-24 | 浙江大学 | 基于结构化上下文信息的知识图谱预训练方法 |
CN112507706A (zh) * | 2020-12-21 | 2021-03-16 | 北京百度网讯科技有限公司 | 知识预训练模型的训练方法、装置和电子设备 |
CN112632290A (zh) * | 2020-12-21 | 2021-04-09 | 浙江大学 | 一种融合图结构和文本信息的自适应知识图谱表示学习方法 |
CN112632290B (zh) * | 2020-12-21 | 2021-11-09 | 浙江大学 | 一种融合图结构和文本信息的自适应知识图谱表示学习方法 |
WO2022135120A1 (zh) * | 2020-12-21 | 2022-06-30 | 浙江大学 | 一种融合图结构和文本信息的自适应知识图谱表示学习方法 |
CN113377968A (zh) * | 2021-08-16 | 2021-09-10 | 南昌航空大学 | 一种采用融合实体上下文的知识图谱链路预测方法 |
CN113377968B (zh) * | 2021-08-16 | 2021-10-29 | 南昌航空大学 | 一种采用融合实体上下文的知识图谱链路预测方法 |
CN115051843A (zh) * | 2022-06-06 | 2022-09-13 | 华北电力大学 | 基于kge的区块链威胁情报知识图谱推理方法 |
Also Published As
Publication number | Publication date |
---|---|
WO2022057669A1 (zh) | 2022-03-24 |
US20240177047A1 (en) | 2024-05-30 |
CN112100404B (zh) | 2021-10-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112100404B (zh) | 基于结构化上下文信息的知识图谱预训练方法 | |
CN110795556B (zh) | 一种基于细粒度插入式解码的摘要生成方法 | |
CN108416058B (zh) | 一种基于Bi-LSTM输入信息增强的关系抽取方法 | |
CN111985239B (zh) | 实体识别方法、装置、电子设备及存储介质 | |
CN108830287A (zh) | 基于残差连接的Inception网络结合多层GRU的中文图像语义描述方法 | |
CN113468888A (zh) | 基于神经网络的实体关系联合抽取方法与装置 | |
CN111753024A (zh) | 一种面向公共安全领域的多源异构数据实体对齐方法 | |
CN113190656B (zh) | 一种基于多标注框架与融合特征的中文命名实体抽取方法 | |
CN109522403A (zh) | 一种基于融合编码的摘要文本生成方法 | |
CN115438674B (zh) | 实体数据处理、实体链接方法、装置和计算机设备 | |
CN115879473B (zh) | 基于改进图注意力网络的中文医疗命名实体识别方法 | |
CN113312912B (zh) | 一种用于交通基础设施检测文本的机器阅读理解方法 | |
CN115310448A (zh) | 一种基于bert和字词向量结合的中文命名实体识别方法 | |
CN111145914A (zh) | 一种确定肺癌临床病种库文本实体的方法及装置 | |
CN112270184A (zh) | 自然语言处理方法、装置及存储介质 | |
CN115687638A (zh) | 基于三元组森林的实体关系联合抽取方法及系统 | |
CN111428518B (zh) | 一种低频词翻译方法及装置 | |
CN114691895B (zh) | 一种基于指针网络的刑事案情实体关系联合抽取方法 | |
CN113297385B (zh) | 基于改进GraphRNN的多标签文本分类系统及分类方法 | |
CN114648017A (zh) | 一种基于异质图注意力网络的文档级关系抽取方法 | |
CN115423105A (zh) | 一种预训练语言模型构建方法、系统及装置 | |
CN115408536A (zh) | 一种基于上下文信息融合的知识图谱补全方法 | |
CN114329005A (zh) | 信息处理方法、装置、计算机设备及存储介质 | |
CN115905458A (zh) | 一种基于机器阅读理解模型的事件抽取方法 | |
CN114595338A (zh) | 基于混合特征表示的实体关系联合抽取系统及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |