CN114153985A - 一种基于小样本学习的知识图谱实体链接预测方法 - Google Patents
一种基于小样本学习的知识图谱实体链接预测方法 Download PDFInfo
- Publication number
- CN114153985A CN114153985A CN202111424146.5A CN202111424146A CN114153985A CN 114153985 A CN114153985 A CN 114153985A CN 202111424146 A CN202111424146 A CN 202111424146A CN 114153985 A CN114153985 A CN 114153985A
- Authority
- CN
- China
- Prior art keywords
- vector
- entity
- learning
- triples
- entities
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
- G06F16/367—Ontology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Evolutionary Computation (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Databases & Information Systems (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Animal Behavior & Ethology (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明属于元学习与知识表示学习技术领域,具体涉及一种基于小样本学习的知识图谱实体链接预测方法。本发明利用元学习的方式在一个任务中只利用少数三元组信息完成关系信息的提取以及快速更新;考虑数据集中的三元组会存在复杂的头尾实体数量对应关系,通过预先统计出完整三元组中的头尾实体数量,根据头尾实体所占比例确定负样本的生成方式;通过知识表示学习的传统评分函数将实体向量和关系向量以共处同一平面的方式进行数学计算。本发明通过将更新后的关系信息向量映射到超平面,并将实体向量进行超平面投影分解,使得模型能够有效缓解训练过程中过度收敛的情况。
Description
技术领域
本发明属于元学习与知识表示学习技术领域,具体涉及一种基于小样本学习的知识图谱实体链接预测方法。
背景技术
现有多数的机器学习模型都依赖于大量的数据进行训练,然而针对特殊领域或者复杂的任务时,少量的样本数据限制了已有模型的能力,使得模型无法达到相应的效果。研究人员针对小样本的问题提出了众多解决办法,在计算机视觉领域、图像分类任务中已经形成了许多性能优异的模型,但是在知识图谱领域中发展较为缓慢。以三元组形式表示的知识图谱中普遍存在长尾现象,只有极少数的三元组关系拥有大量对应的头尾实体,在小样本数据的条件下进行知识图谱实体链接预测的任务亟待解决。
知识表示学习利用机器学习技术获取每个实体或者关系的向量化表达,能够将描述的文本对象表示为一个低维的实值向量,利用对象在空间的相对距离,反映它们之前的语义关系。由于内容被映射到向量空间中,相应的算法可以使用数值计算,并且基于向量的表示会更加适用于机器学习算法。
元学习的目的是让模型本身获得一种学习能力,这种能力能够保证模型自动学习到一些模型训练之外可以学习到的知识,包括模型的超参数、神经网络的初始参数、神经网络的结构和优化器等元知识。在小样本学习中,元学习从大量的先验任务中学习到元知识,利用以往的先验知识来指导模型在新任务中的更快的学习。在基于元学习的知识图谱补全的任务可理解为实体链接预测问题,通过训练集中真实的三元组数据训练元学习器,使得元学习器能够获得以下能力:从完整的三元组中抽取关系信息,转移到缺失的三元组中,并且可以仅仅通过少量实例来加速任务中的学习过程。
发明内容
本发明的目的在于解决知识图谱中常见的长尾现象带来的三元组数量不足以支撑现有模型训练从而难以推断出缺失三元组的问题,提供一种基于小样本学习的知识图谱实体链接预测方法。
一种基于小样本学习的知识图谱实体链接预测方法,包括以下步骤:
步骤1:在知识库中提取大量的由头实体、关系、尾实体构成的三元组,将这些三元组整理为后续模型训练所需的数据集;
步骤3:定义以向量方式表达的三元组为(h,r,t);其中,h,t分别表示头、尾实体向量;r表示关系向量;将步骤2中的MTrain和MTest根据实体的自身语义复杂度以动态向量维度的方式进行初始化;
步骤4:对于MTrain中具有相同关系r的三元组加入到任务Taskr中,定义T是所有关系任务的集合,Taskr∈T;
步骤5:根据步骤4中的T抽取任意一项任务Task′r,对于多数Task′r会包含多个三元组信息,将Task′r中的多个三元组划分出支持集Sr和查询集Qr;
步骤6:对步骤5中的支持集Sr中某个实体对使用基于元学习的机器学习方法进行关系信息提取;
步骤7:利用知识表示学习方法中的核心思想确定三元组评估函数以及损失函数,不断进行梯度更新,得到最终的关系信息向量;
步骤7.1:对步骤5中的Sr头尾实体数量对应关系分类,针对一对多、多对一等复杂情况以头尾实体所占比例为主要依据完成负样本的生成,加快模型训练的速度;
步骤10:将步骤9中的查询集Qr T中的实体向量带入三元组中缺失的部分,结合步骤7.2中的评分函数计算得分,通过MRR、HIT@K等评测方法确定最终补全的实体。
进一步地,所述步骤6具体包括:
本发明的有益效果在于:
本发明利用元学习的方式在一个任务中只利用少数三元组信息完成关系信息的提取以及快速更新;考虑数据集中的三元组会存在复杂的头尾实体数量对应关系,通过预先统计出完整三元组中的头尾实体数量,根据头尾实体所占比例确定负样本的生成方式;通过知识表示学习的传统评分函数将实体向量和关系向量以共处同一平面的方式进行数学计算。本发明通过将更新后的关系信息向量映射到超平面,并将实体向量进行超平面投影分解,使得模型能够有效缓解训练过程中过度收敛的情况。
附图说明
图1为本发明的一种基于小样本学习的知识图谱实体链接预测方法的流程图。
具体实施方式
下面结合附图对本发明做进一步描述。
本发明属于知识图谱补全领域中的实体链接预测方法,涉及元学习,知识表示学习等相关技术。本发明是为了解决知识图谱中常见的长尾现象带来的三元组数量不足以支撑现有模型训练从而难以推断出缺失三元组的问题。传统的知识图谱补全任务中,可根据模型学习现有的足够数量的三元组用以补全知识图谱,但针对只存在少量三元组的关系应用已有的模型进行知识图谱补全任务的效果无法达到令人满意的程度。本发明提出了一种结合元学习和知识嵌入表示学习的知识图谱实体链接预测技术,可以在小样本的条件下针对某种三元组关系完成缺失三元组的推理从而到达补全知识图谱的目的。
一种基于小样本学习的知识图谱实体链接预测方法,包括以下步骤:
步骤1:在权威知识库中提取大量的由头实体、关系、尾实体构成的三元组,将这些三元组整理为后续模型训练所需的数据集。
步骤3:定义以向量方式表达的三元组为(h,r,t),其中h,t分别表示头、尾实体向量,r表示关系向量,将步骤2中的MTrain和MTest根据实体的自身语义复杂度以动态向量维度的方式进行初始化。
步骤4:对于MTrain中具有相同关系r的三元组加入到任务Taskr中,定义T是所有关系任务的集合,其中Taskr∈T。
步骤5:根据步骤4中的T抽取任意一项任务Task′r,对于多数Task′r会包含多个三元组信息,将Task′r中的多个三元组划分出支持集Sr和查询集Qr。
步骤6:对步骤5中的支持集Sr中某个实体对使用基于元学习的机器学习方法进行关系信息提取。
步骤7:利用知识表示学习方法中的核心思想确定三元组评估函数以及损失函数,不断进行梯度更新,得到最终的关系信息向量。
步骤7.1:对步骤5中的Sr头尾实体数量对应关系分类,针对一对多、多对一等复杂情况以头尾实体所占比例为主要依据完成负样本的生成,加快模型训练的速度。
步骤10:将步骤9中的查询集Qr T中的实体向量带入三元组中缺失的部分,结合步骤7.2中的评分函数计算得分,通过MRR、HIT@K等评测方法确定最终补全的实体。
实施例1:
图1为本发明所述的一种基于小样本学习的知识图谱实体链接预测方法流程示意图。该方法的具体实施步骤包括:
步骤1:从Wiki等知识库中抽取完整的三元组信息以及实体信息,将整体的数据分为元训练集MTrain和元测试集MTest,根据元学习训练的特点,要求数据集中的训练集与测试集不允许有重复的三元组及实体信息即
步骤3:元训练集MTrain和元测试集MTest选出不同关系r对应的三元组构建元训练任务Ttrain以及元测试任务Ttest,Ttrain和Ttest分别包含各自的支持集和查询集,即Ttrain={Strain,Qtrain},Ttest={Stest,Qtest}。
步骤4:某个关系r的元训练任务Ttrain中的查询集中存在N个实体对,每个实体对(hi,ti)进行头尾实体的链接计算即得到全连接网络的预输入,通过多层全连接神经网络计算出实体对的关系信息对查询集中所有的实体对执行上述操作并求平均值得到最终的关系信息
步骤5:为保证实体在不同关系下有不同的表示方式并充分考虑到传统知识表示学习对于一对多、多对一、多对多等复杂实体数量对应关系的处理效果差的情况,首先进行以关系信息向量为基准信息的超平面wr构建,然后将查询集中的头尾实体进行投影计算hi⊥=hi-wr Thiwr、ti⊥=ti-wr Ttiwr,制定三元组真值评分函数 同时定义损失函数其中γ为边界超参数,C是约束整体损失的超参数,分别代表正样本与负样本的得分,负样本的生成以头尾实体所占总实体数的比例为参考值,头实体比例大则随机替换头实体,相反则随机替换尾实体。查询集中的实体对以及上述损失函数以梯度下降的方式对关系信息更新,梯度变化量以的规则进行更新,α为梯度下降的步长。利用支持集中更新好的关系信息在查询集中以上述相同的方式进行训练,当模型效果好时得到最终的实体链接预测模型。
步骤6:采用训练好的实体链接预测模型对元测试任务MTest进行预测,根据MRR和HIT@K等评测方法得出MTest中的查询集的有效分数,选取最高的候选实体作为预测的结果。
与现有的技术相比,本发明的有益效果是:数据初始化可根据头尾实体以及关系的语义复杂度调整向量初始化的自身维度,能够保证三元组中的关系信息表达更加完整;利用元学习的方式在一个任务中只利用少数三元组信息完成关系信息的提取以及快速更新;考虑数据集中的三元组会存在复杂的头尾实体数量对应关系,传统的负样本生成方式易导致正样本得分受到影响,需预先统计出完整三元组中的头尾实体数量,根据头尾实体所占比例确定负样本的生成方式;知识表示学习的传统评分函数将实体向量和关系向量以共处同一平面的方式进行数学计算,本发明通过将更新后的关系信息向量映射到超平面,并将实体向量进行超平面投影分解,使得模型能够有效缓解训练过程中过度收敛的情况。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (2)
1.一种基于小样本学习的知识图谱实体链接预测方法,其特征在于,包括以下步骤:
步骤1:在知识库中提取大量的由头实体、关系、尾实体构成的三元组,将这些三元组整理为后续模型训练所需的数据集;
步骤3:定义以向量方式表达的三元组为(h,r,t);其中,h,t分别表示头、尾实体向量;r表示关系向量;将步骤2中的MTrain和MTest根据实体的自身语义复杂度以动态向量维度的方式进行初始化;
步骤4:对于MTrain中具有相同关系r的三元组加入到任务Taskr中,定义T是所有关系任务的集合,Taskr∈T;
步骤5:根据步骤4中的T抽取任意一项任务Task′r,对于多数Task′r会包含多个三元组信息,将Task′r中的多个三元组划分出支持集Sr和查询集Qr;
步骤6:对步骤5中的支持集Sr中某个实体对使用基于元学习的机器学习方法进行关系信息提取;
步骤7:利用知识表示学习方法中的核心思想确定三元组评估函数以及损失函数,不断进行梯度更新,得到最终的关系信息向量;
步骤7.1:对步骤5中的Sr头尾实体数量对应关系分类,针对一对多、多对一等复杂情况以头尾实体所占比例为主要依据完成负样本的生成,加快模型训练的速度;
步骤10:将步骤9中的查询集Qr T中的实体向量带入三元组中缺失的部分,结合步骤7.2中的评分函数计算得分,通过MRR、HIT@K等评测方法确定最终补全的实体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111424146.5A CN114153985A (zh) | 2021-11-26 | 2021-11-26 | 一种基于小样本学习的知识图谱实体链接预测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111424146.5A CN114153985A (zh) | 2021-11-26 | 2021-11-26 | 一种基于小样本学习的知识图谱实体链接预测方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114153985A true CN114153985A (zh) | 2022-03-08 |
Family
ID=80458009
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111424146.5A Pending CN114153985A (zh) | 2021-11-26 | 2021-11-26 | 一种基于小样本学习的知识图谱实体链接预测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114153985A (zh) |
-
2021
- 2021-11-26 CN CN202111424146.5A patent/CN114153985A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111753101B (zh) | 一种融合实体描述及类型的知识图谱表示学习方法 | |
CN109389151B (zh) | 一种基于半监督嵌入表示模型的知识图谱处理方法和装置 | |
CN113496247A (zh) | 估计生成对抗网络的隐含似然 | |
Ting et al. | Genetic algorithm with a structure-based representation for genetic-fuzzy data mining | |
CN109800317A (zh) | 一种基于图像场景图谱对齐的图像查询回答方法 | |
CN107578101B (zh) | 一种数据流负载预测方法 | |
CN113987203A (zh) | 一种基于仿射变换与偏置建模的知识图谱推理方法与系统 | |
CN115051929A (zh) | 基于自监督目标感知神经网络的网络故障预测方法及装置 | |
CN114742564A (zh) | 一种融合复杂关系的虚假评论者群体检测方法 | |
CN114417095A (zh) | 一种数据集划分方法及装置 | |
CN107590538B (zh) | 一种基于在线序列学习机的危险源识别方法 | |
CN111353525A (zh) | 一种不均衡不完整数据集的建模及缺失值填补方法 | |
CN114153985A (zh) | 一种基于小样本学习的知识图谱实体链接预测方法 | |
CN113779287B (zh) | 基于多阶段分类器网络的跨域多视角目标检索方法及装置 | |
Rahman et al. | Denclust: A density based seed selection approach for k-means | |
Wang et al. | Parameters optimization of classifier and feature selection based on improved artificial bee colony algorithm | |
CN114254738A (zh) | 双层演化的动态图卷积神经网络模型构建方法及应用 | |
Tareq et al. | A new density-based method for clustering data stream using genetic algorithm | |
Li et al. | Neural network ensemble based on K-means clustering individual selection and application for software reliability prediction | |
Xue et al. | Optimizing neural network classification by using the Cuckoo algorithm | |
US11829735B2 (en) | Artificial intelligence (AI) framework to identify object-relational mapping issues in real-time | |
Zhou | Prediction of the impact of similar industrial structures based on the SVR model | |
Goyal et al. | Application of genetic algorithm based intuitionistic fuzzy k-mode for clustering categorical data | |
US20220245469A1 (en) | Decision Making Using Integrated Machine Learning Models and Knowledge Graphs | |
US20230018525A1 (en) | Artificial Intelligence (AI) Framework to Identify Object-Relational Mapping Issues in Real-Time |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |