CN111260064A - 基于元知识的知识图谱的知识推理方法、系统以及介质 - Google Patents
基于元知识的知识图谱的知识推理方法、系统以及介质 Download PDFInfo
- Publication number
- CN111260064A CN111260064A CN202010296084.3A CN202010296084A CN111260064A CN 111260064 A CN111260064 A CN 111260064A CN 202010296084 A CN202010296084 A CN 202010296084A CN 111260064 A CN111260064 A CN 111260064A
- Authority
- CN
- China
- Prior art keywords
- knowledge
- task
- model
- inference
- entities
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000012549 training Methods 0.000 claims abstract description 70
- 239000013598 vector Substances 0.000 claims abstract description 47
- 238000012958 reprocessing Methods 0.000 claims abstract description 41
- 238000010276 construction Methods 0.000 claims abstract description 5
- 238000012360 testing method Methods 0.000 claims description 29
- 238000012795 verification Methods 0.000 claims description 15
- 230000006870 function Effects 0.000 claims description 13
- 239000011159 matrix material Substances 0.000 claims description 12
- 238000003860 storage Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 6
- 239000000126 substance Substances 0.000 claims description 6
- 230000000694 effects Effects 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 3
- 238000013145 classification model Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 230000007246 mechanism Effects 0.000 description 6
- 238000004590 computer program Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 230000006872 improvement Effects 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/04—Inference or reasoning models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
- G06F16/367—Ontology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/02—Knowledge representation; Symbolic representation
- G06N5/022—Knowledge engineering; Knowledge acquisition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Databases & Information Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供了基于元知识的知识图谱的知识推理方法、系统以及介质,训练难度也不会随着知识图谱规模的增长而显著增长,推理准确性更有优势,包括以下步骤:步骤1数据集构建:建立由知识图谱三元组:头实体、关系、尾实体组成的数据集;步骤2数据再处理:将数据集中的实体的初始化嵌入向量分别通过数据再处理模型进行再学习,获取实体本身的语义,得到最终的实体的嵌入向量;步骤3模型训练:构建知识推理模型,将经数据再处理的数据集中的三元组输入知识推理模型进模型训练,得到训练好的知识推理模型;步骤4知识推理:通过训练好的知识推理模型,对知识图谱三元组中的备选尾实体进行评分,选取评分最高的尾实体作为知识推理模型的推理结果。
Description
技术领域
本发明涉及知识推理技术领域,具体涉及基于元知识的知识图谱的知识推理方法、系统以及介质。
背景技术
近些年,基于机器学习的知识推理技术发展迅猛,并且取得了十分显著的成果,实质上就是利用知识图谱中的三元组作为训练数据进行建模,利用统计学习的方法从中提取出一些逻辑规则,以此来对新的知识进行推理或判断。但基于该种方式进行的知识推理技术,由于受到机器学习模型的固有条件限制,普遍存在两个方面的问题,一是知识推理模型的训练需要大量的样本,模型训练复杂度较高;二是由于大规模稀疏知识图谱往往数据分布不均衡,现有的知识推理技术,在这种大规模稀疏知识图谱上进行推理,效果并不十分理想。
GMatching模型最先将元学习的思想应用于知识推理当中,解决了上述的两个方面的问题,但仍然有一定的提升空间,一是该模型的数据再处理部分对实体间关系语义的表达并不完全;二是该模型的推理部分,推理过程中对关系特征的提取缺少针对性。
发明内容
针对上述问题,本发明提供了基于元知识的知识图谱的知识推理方法、系统以及介质,其对对实体间关系语义的表达更加完整,对于推理过程中对关系特征的提取更具有针对性。
其技术方案是这样的:一种基于元知识的知识图谱的知识推理方法,其特征在于,包括以下步骤:
步骤1:数据集构建:建立由知识图谱三元组:头实体、关系、尾实体组成的数据集;
步骤2:数据再处理:将数据集中的实体的初始化嵌入向量分别通过数据再处理模型进行再学习,获取实体本身的语义,得到最终的实体的嵌入向量;
步骤3:模型训练:构建知识推理模型,将经数据再处理的数据集中的三元组输入知识推理模型进模型训练,得到训练好的知识推理模型;
步骤4:知识推理:通过训练好的知识推理模型,对知识图谱三元组中的备选尾实体进行评分,选取评分最高的尾实体作为知识推理模型的推理结果。
进一步的,在步骤1中,建立由知识图谱三元组:头实体、关系、尾实体组成的数据集,先对数据集进行预处理,然后将数据集分成训练任务数据集TrainD、测试任务数据集TestD以及验证任务数据集ValD,训练任务数据集TrainD、测试任务数据集TestD以及验证任务数据集ValD分别对应训练任务Train_task、测试任务Test_task以及验证任务Val_task设置。
进一步的,在步骤1中,训练任务数据集TrainD设置包括:
设定训练任务中,基于Few-Shot的知识推理技术将support集的样本个数设定为few,而query集的样本个数与训练batch中的数据个数相同,设定为b,则有,其中表示头实体,表示关系,表示尾实体;
测试任务Test_task与验证任务Val_task的设置方式同训练任务Train_task,训练任务Train_task、测试任务Test_task与验证任务Val_task中所有关系的集分别表示为、和,并且。
进一步的,在步骤2中,设定需要对实体的初始化嵌入向量通过数据再处理模型进行再学习,表示与直接相连的第k个实体,表示实体与之间的关系, ,其中,emb()表示实体以及关系的初始化嵌入方法,分别表示头实体,关系,尾实体的初始化嵌入向量,通过数据再处理模型进行再学习得到的最终的实体的嵌入向量,表示为
进一步的,在步骤3中,知识推理模型通过如下公式表示:
其中,,是由query集中所有头实体和尾实体分别经过数据再处理得到的两个矩阵拼接而成,,其中表示一个标准LSTM单元,x为输入,h,c分别表示LSTM单元当中的隐状态参数和单元状态参数,即此处表示第k个LSTM单元的隐状态输出参数,表示第k个LSTM单元的单元状态输出参数,,表示取矩阵的前2n列,将作为模型第k+1个LSTM单元的隐状态输入,作为模型第k+1个LSTM单元的单元状态输入参数,表示对向量进行首尾拼接,,,矩阵是由support集的所有头实体和尾实体分别经过数据再处理得到的两个矩阵拼接而成,,表示注意力权重,表示query集中的每个数据基于support集的语义表示向量。
进一步的,在步骤3中,在训练知识推理模型时,将通过数据再处理得到的support集的few对头、尾实体嵌入向量首尾拼接,作为知识推理模型的输入矩阵,其中,support集表示为;将通过数据再处理得到的query集的头、尾实体嵌入向量首尾拼接,得到query集的两个输入矩阵和 ,其中,query集表示为,b表示一个batch的数据个数,首先将和作为输入,得到知识推理模型打分结果,再将和作为输入,得到知识推理模型打分结果,利用与设计损失函数L(θ)来训练模型,损失函数L(θ)表示为:
其中,τ为一个正常数;当知识推理模型的损失函数值趋于稳定不再变化时表示模型趋于稳定,训练停止。
进一步的,在知识推理模型训练结束后,通过测试任务数据集TestD测试知识推理模型的推理是否有效;在训练分类模型的过程中,通过验证任务数据集ValD监控知识推理模型的训练效果。
进一步的,在步骤4中,通过步骤3得到的训练好的知识推理模型对备选尾实体打分,得分结果score进行排序,选取得分最高的尾实体作为知识推理模型的推理结果。
一种基于元知识的知识图谱的知识推理系统,其特征在于,包括存储器、处理器以及存储在存储器上并可在处理器上运行的程序,所述处理器执行所述程序时实现上述的基于元知识的知识图谱的知识推理方法。
一种计算机可读存储介质,其上存储有程序,其特征在于:所述程序被处理器执行时实现如上述的基于元知识的知识图谱的知识推理方法。
本发明的基于元知识的知识图谱的知识推理方法中采用的知识推理模型,与GMatching模型相比,在GMatching模型的基础上主要解决了两个问题,一是通过数据再处理模型进行再学习,获取实体本身的语义,使得对于实体间关系语义的表达更加完整;二是推理模型中对关系特征的提取由于加入了注意力机制更有针对性,通过采用本发明的基于元知识的知识图谱的知识推理方法,知识推理模型的训练不需要大量的样本,知识推理模型的训练难度也不会随着知识图谱规模的增长而显著增长;此外,针对稀疏知识图谱的知识推理,相比较其他模型而言,推理准确性更有优势。
附图说明
图1为本发明的基于元知识的知识图谱的知识推理方法的流程示意图;
图2为本发明的基于元知识的知识图谱的知识推理方法的步骤1中进行数据集构建的示意图;
图3为本发明的基于元知识的知识图谱的知识推理方法的步骤2中的数据再处理模型的示意图;
图4为本发明的基于元知识的知识图谱的知识推理方法的步骤3中的推理模型的示意图;
图5为本发明的基于元知识的知识图谱的知识推理方法的模型示意图。
具体实施方式
见图1至图5,本发明的一种基于元知识的知识图谱的知识推理方法,包括以下步骤:
步骤1:数据集构建:建立由知识图谱三元组:头实体、关系、尾实体组成的数据集;
步骤2:数据再处理:将数据集中的实体的初始化嵌入向量分别通过数据再处理模型进行再学习,用于增强每个实体局部连接的表示以及获取实体本身的语义,得到最终的实体的嵌入向量;
步骤3:模型训练:构建知识推理模型,将经数据再处理的数据集中的三元组输入知识推理模型进模型训练,得到训练好的知识推理模型;
步骤4:知识推理:通过训练好的知识推理模型,对知识图谱三元组中的备选尾实体进行评分,选取评分最高的尾实体作为知识推理模型的推理结果。
见图2,具体在在步骤1中,建立由知识图谱三元组:头实体、关系、尾实体组成的数据集,先是对数据集中的数据进行清洗和分配,然后将数据集分成训练任务数据集TrainD、测试任务数据集TestD以及验证任务数据集ValD,训练任务数据集TrainD、测试任务数据集TestD以及验证任务数据集ValD分别对应训练任务Train_task、测试任务Test_task以及验证任务Val_task设置,其中,训练任务数据集TrainD设置包括:
根据训练任务数据集TrainD中的关系数,来设定训练任务的个数,假设该训练任务数据集TrainD共有k种关系,则设置k个训练任务,将第m个关系所对应的任务集表示为,即,;在任务中,再将数据集分为support集和query集,即;
设定训练任务中,基于Few-Shot的知识推理技术将support集的样本个数设定为few,而query集的样本个数与训练batch中的数据个数相同,设定为b,则有,其中表示头实体,表示关系,表示尾实体;
测试任务Test_task与验证任务Val_task的设置方式同训练任务Train_task,训练任务Train_task、测试任务Test_task与验证任务Val_task中所有关系的集分别表示为、和,并且。
见图3,具体在步骤2中,考虑到步骤1中得到的实体、关系嵌入向量并没有考虑到知识图谱的结构特点,通过对实体嵌入向量进行再学习,使得最终得到的嵌入向量语义更加丰富,具体而言,设定需要对实体的初始化嵌入向量通过数据再处理模型进行再学习,表示与直接相连的第k个实体,表示实体与之间的关系, ,其中,emb()表示实体以及关系的初始化嵌入方法,分别表示头实体,关系,尾实体的初始化嵌入向量,通过数据再处理模型进行再学习得到的最终的实体的嵌入向量,表示为
在步骤2中,通过将实体本身的语义加入到最终的实体嵌入向量当中,使得语义信息更加丰富。
见图4,在步骤3中,知识推理模型通过如下公式表示:
其中,,是由query集中所有头实体和尾实体分别经过数据再处理得到的两个矩阵拼接而成,,其中表示一个标准LSTM单元,x为输入,h,c分别表示LSTM单元当中的隐状态参数和单元状态参数,即此处表示第k个LSTM单元的隐状态输出参数,表示第k个LSTM单元的单元状态输出参数,,表示取矩阵的前2n列,将作为模型第k+1个LSTM单元的隐状态输入,作为模型第k+1个LSTM单元的单元状态输入参数,表示对向量进行首尾拼接,,,矩阵是由support集的所有头实体和尾实体分别经过数据再处理得到的两个矩阵拼接而成,,表示注意力权重,表示query集中的每个数据基于support集的语义表示向量。
在步骤3中,是以数据再处理模型处理得到的实体、关系嵌入向量作为推理模型的输入,来对知识进行推理,输出所有备选尾实体的得分,以此作为尾实体推理的依据。
具体在本实施例中的知识推理模型,采用Few-Shot方法,并且加入了注意力机制,在步骤3中,在训练知识推理模型时,将通过数据再处理得到的support集的few对头、尾实体嵌入向量首尾拼接,作为知识推理模型的输入矩阵,其中,support集表示为;将通过数据再处理得到的query集的头、尾实体嵌入向量首尾拼接,得到query集的两个输入矩阵和 ,其中,query集表示为,b表示一个batch的数据个数,首先将和作为输入,得到知识推理模型打分结果,再将和作为输入,得到知识推理模型打分结果,利用与设计损失函数L(θ)来训练模型,损失函数L(θ)表示为:
其中,τ为一个正常数;当知识推理模型的损失函数值趋于稳定不再变化时表示模型趋于稳定,训练停止。
在本实施例中,在知识推理模型训练结束后,通过测试任务数据集TestD测试知识推理模型的推理是否有效;在训练分类模型的过程中,通过验证任务数据集ValD监控知识推理模型的训练效果。
在步骤4中,通过步骤3得到的训练好的知识推理模型对备选尾实体打分,得分结果score进行排序,选取得分最高的尾实体作为知识推理模型的推理结果。
为了便于理解本发明的技术方案以及知识图谱相关技术的内容,以下举例说明本发明的基于元知识的知识图谱的知识推理方法的改进:
在本发明的步骤2中数据再处理模型上的改进:
例如我们表示"西安"这个实体的嵌入向量,需要多个以西安为头实体的三元组,比如,<西安,属于,陕西>,<西安,是,古都>,<西安,是,省会>等,基于这些三元组,通过数据再处理模型对西安这个实体进行表示时,我们主要考虑通过与该头实体直接相连的关系和尾实体向量的提取得到该头实体的结构语义,比如通过将<属于,陕西>,<是,古都>,<是,省会>输入数据再处理模型,输出西安这个实体结构向量表示;数据再处理模型同时还考虑到了头实体本身初始化向量的语义,例如在对西安这个实体进行表示时,在原有模型的基础上,还加入了西安这个实体的初始化向量,通过这种改进,使得我们的数据再处理模型结构更完整,语义更丰富。
在本发明的步骤3中知识推理模型上的改进:
由于One-Shot思想的限制,GMatching推理模型中每个训练任务Train_task中的support集合,只有1个基于该训练任务对应关系的三元组组成,实际应用中,直接将该三元组的头尾实体对应的再处理向量进行拼接,作为模型中的support输入向量,事实上该向量对训练任务所对应的特定关系的语义表示并不完全,例如:若训练任务对应的训练关系是“属于”,考虑三元组<西安,属于,陕西>的头、尾实体<西安,陕西>, 该二元组对“属于”关系的语义表达并不完全,除了“属于”以外,头尾实体间还有可能是“位于”等关系,因此,该模型的support输入向量,并不能完全表示训练任务对应关系的语义。
为此,我们在GMatching推理模型的基础上提出了基于注意力机制,采用了Few-Shot机制的知识推理模型,该模型考虑到GMR模型中单个三元组对特定关系语义表达不完全的问题,将One-Shot思想改进为Few-Shot思想,对应步骤1中的数据集构建内容,同时,为了进一步提升推理模型的推理效果,我们加入了注意力机制。
本发明的基于元知识的知识图谱的知识推理方法中采用的知识推理模型,与GMatching模型相比,在GMatching模型的基础上主要解决了两个问题,一是通过数据再处理模型进行再学习,获取实体本身的语义,使得对于实体间关系语义的表达更加完整;二是推理模型中对关系特征的提取由于加入了注意力机制更有针对性,通过采用本发明的基于元知识的知识图谱的知识推理方法,知识推理模型的训练不需要大量的样本,知识推理模型的训练难度也不会随着知识图谱规模的增长而显著增长;此外,针对稀疏知识图谱的知识推理,相比较其他模型而言,推理准确性更有优势。
在本发明的实施例中,还给出了一种基于元知识的知识图谱的知识推理系统,包括存储器、处理器以及存储在存储器上并可在处理器上运行的程序,处理器执行程序时实现上述的基于元知识的知识推理的方法。
在上述基于元知识的知识图谱的知识推理系统的实现中,存储器和处理器之间直接或间接地电性连接,以实现数据的传输或交互。例如,这些元件相互之间可以通过一条或者多条通信总线或信号线实现电性连接,如可以通过总线连接。存储器中存储有实现数据访问控制方法的计算机执行指令,包括至少一个可以软件或固件的形式存储于存储器中的软件功能模块,处理器通过运行存储在存储器内的软件程序以及模块,从而执行各种功能应用以及数据处理。
存储器可以是,但不限于,随机存取存储器(Random Access Memory,简称:RAM),只读存储器(Read Only Memory,简称:ROM),可编程只读存储器(Programmable Read-OnlyMemory,简称:PROM),可擦除只读存储器(Erasable Programmable Read-Only Memory,简称:EPROM),电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory,简称:EEPROM)等。其中,存储器用于存储程序,处理器在接收到执行指令后,执行程序。
处理器可以是一种集成电路芯片,具有信号的处理能力。上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,简称:CPU)、网络处理器(NetworkProcessor,简称:NP)等。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
在本发明的实施例中,还给出了一种计算机可读存储介质,其上存储有程序,程序被处理器执行时实现如上述的基于元知识的知识图谱的知识推理方法。
本领域内的技术人员应明白,本发明实施例的实施例可提供为方法、系统、或计算机可读存储介质。因此,本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、系统、计算机可读存储介质的流程图和/或方框图来描述的。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上,使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图中指定的功能的步骤。
以上对本发明所提供的基于元知识的知识图谱的知识推理方法、基于元知识的知识图谱的知识推理系统、一种计算机可读存储介质的应用进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上,本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种基于元知识的知识图谱的知识推理方法,其特征在于,包括以下步骤:
步骤1:数据集构建:建立由知识图谱三元组:头实体、关系、尾实体组成的数据集;
步骤2:数据再处理:将数据集中的实体的初始化嵌入向量分别通过数据再处理模型进行再学习,获取实体本身的语义,得到最终的实体的嵌入向量;
步骤3:模型训练:构建知识推理模型,将经数据再处理的数据集中的三元组输入知识推理模型进模型训练,得到训练好的知识推理模型;
步骤4:知识推理:通过训练好的知识推理模型,对知识图谱三元组中的备选尾实体进行评分,选取评分最高的尾实体作为知识推理模型的推理结果。
2.根据权利要求1所述的一种基于元知识的知识图谱的知识推理方法,其特征在于:在步骤1中,建立由知识图谱三元组:头实体、关系、尾实体组成的数据集,先对数据集进行预处理,然后将数据集分成训练任务数据集TrainD、测试任务数据集TestD以及验证任务数据集ValD,训练任务数据集TrainD、测试任务数据集TestD以及验证任务数据集ValD分别对应训练任务Train_task、测试任务Test_task以及验证任务Val_task设置。
3.根据权利要求2所述的一种基于元知识的知识图谱的知识推理方法,其特征在于:在步骤1中,训练任务数据集TrainD设置包括:
设定训练任务中,基于Few-Shot的知识推理技术将support集的样本个数设定为few,而query集的样本个数与训练batch中的数据个数相同,设定为b,则有,其中表示头实体,表示关系,表示尾实体;
5.根据权利要求4所述的一种基于元知识的知识图谱的知识推理方法,其特征在于:在步骤3中,知识推理模型通过如下公式表示:
6.根据权利要求5所述的一种基于元知识的知识图谱的知识推理方法,其特征在于:在步骤3中,在训练知识推理模型时,将通过数据再处理得到的support集的few对头、尾实体嵌入向量首尾拼接,作为知识推理模型的输入矩阵,其中,support集表示为;将通过数据再处理得到的query集的头、尾实体嵌入向量首尾拼接,得到query集的两个输入矩阵和 ,其中,query集表示为,b表示一个batch的数据个数,首先将和作为输入,得到知识推理模型打分结果,再将和作为输入,得到知识推理模型打分结果,利用与设计损失函数L(θ)来训练模型,损失函数L(θ)表示为:
其中,τ为一个正常数;当知识推理模型的损失函数值趋于稳定不再变化时表示模型趋于稳定,训练停止。
7.根据权利要求6所述的一种基于元知识的知识图谱的知识推理方法,其特征在于:在知识推理模型训练结束后,通过测试任务数据集TestD测试知识推理模型的推理是否有效;在训练分类模型的过程中,通过验证任务数据集ValD监控知识推理模型的训练效果。
8.根据权利要求6所述的一种基于元知识的知识图谱的知识推理方法,其特征在于:在步骤4中,通过步骤3得到的训练好的知识推理模型对备选尾实体打分,得分结果score进行排序,选取得分最高的尾实体作为知识推理模型的推理结果。
9.一种基于元知识的知识图谱的知识推理系统,其特征在于,包括存储器、处理器以及存储在存储器上并可在处理器上运行的程序,所述处理器执行所述程序时实现权利要求1所述的基于元知识的知识图谱的知识推理方法。
10.一种计算机可读存储介质,其上存储有程序,其特征在于:所述程序被处理器执行时实现如权利要求1所述的基于元知识的知识图谱的知识推理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010296084.3A CN111260064A (zh) | 2020-04-15 | 2020-04-15 | 基于元知识的知识图谱的知识推理方法、系统以及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010296084.3A CN111260064A (zh) | 2020-04-15 | 2020-04-15 | 基于元知识的知识图谱的知识推理方法、系统以及介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111260064A true CN111260064A (zh) | 2020-06-09 |
Family
ID=70955194
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010296084.3A Pending CN111260064A (zh) | 2020-04-15 | 2020-04-15 | 基于元知识的知识图谱的知识推理方法、系统以及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111260064A (zh) |
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111931928A (zh) * | 2020-07-16 | 2020-11-13 | 成都井之丽科技有限公司 | 场景图的生成方法、装置和设备 |
CN112711667A (zh) * | 2021-03-29 | 2021-04-27 | 上海旻浦科技有限公司 | 一种基于多向语义的知识图谱复杂关系推理方法 |
CN112732940A (zh) * | 2021-01-15 | 2021-04-30 | 医渡云(北京)技术有限公司 | 基于模型的医学知识图谱的推理方法、装置、设备及介质 |
CN112765287A (zh) * | 2021-02-05 | 2021-05-07 | 中国人民解放军国防科技大学 | 基于知识图谱嵌入的挖掘人物关系的方法、装置以及介质 |
CN112819162A (zh) * | 2021-02-02 | 2021-05-18 | 东北大学 | 一种知识图谱三元组的质检方法 |
CN112860904A (zh) * | 2021-04-06 | 2021-05-28 | 哈尔滨工业大学 | 一种融入外部知识的生物医疗关系抽取方法 |
CN113051404A (zh) * | 2021-01-08 | 2021-06-29 | 中国科学院自动化研究所 | 一种基于张量分解的知识推理方法、装置、设备 |
CN113239131A (zh) * | 2021-06-18 | 2021-08-10 | 国网湖南省电力有限公司 | 基于元学习的少样本知识图谱补全方法 |
CN113780564A (zh) * | 2021-09-15 | 2021-12-10 | 西北工业大学 | 融合实体类型信息的知识图谱推理方法、装置、设备及存储介质 |
WO2022057510A1 (zh) * | 2020-09-21 | 2022-03-24 | 华为技术有限公司 | 协同推理方法及通信装置 |
WO2022135120A1 (zh) * | 2020-12-21 | 2022-06-30 | 浙江大学 | 一种融合图结构和文本信息的自适应知识图谱表示学习方法 |
CN114925190A (zh) * | 2022-05-30 | 2022-08-19 | 南瑞集团有限公司 | 一种基于规则推理与gru神经网络推理的混合推理方法 |
CN115712734A (zh) * | 2022-11-21 | 2023-02-24 | 之江实验室 | 一种基于元学习的稀疏知识图谱嵌入方法和装置 |
CN115858821A (zh) * | 2023-02-20 | 2023-03-28 | 中国科学技术大学 | 知识图谱处理方法、装置及知识图谱处理模型的训练方法 |
CN116340543A (zh) * | 2023-03-31 | 2023-06-27 | 湖北商贸学院 | 一种面向数学定理自适应推导的知识图谱构建方法及系统 |
CN117151227A (zh) * | 2023-08-28 | 2023-12-01 | 深圳智现未来工业软件有限公司 | 一种半导体检测结果的推理方法及装置 |
-
2020
- 2020-04-15 CN CN202010296084.3A patent/CN111260064A/zh active Pending
Non-Patent Citations (1)
Title |
---|
HAOCHENG XIE ET AL.: "Few-shot Knowledge Reasoning Method based on Attention Mechanism", 《ICCPR "19: PROCEEDINGS OF THE 2019 8TH INTERNATIONAL CONFERENCE ON COMPUTING AND PATTERN RECOGNITION》 * |
Cited By (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111931928B (zh) * | 2020-07-16 | 2022-12-27 | 成都井之丽科技有限公司 | 场景图的生成方法、装置和设备 |
CN111931928A (zh) * | 2020-07-16 | 2020-11-13 | 成都井之丽科技有限公司 | 场景图的生成方法、装置和设备 |
WO2022057510A1 (zh) * | 2020-09-21 | 2022-03-24 | 华为技术有限公司 | 协同推理方法及通信装置 |
WO2022135120A1 (zh) * | 2020-12-21 | 2022-06-30 | 浙江大学 | 一种融合图结构和文本信息的自适应知识图谱表示学习方法 |
CN113051404A (zh) * | 2021-01-08 | 2021-06-29 | 中国科学院自动化研究所 | 一种基于张量分解的知识推理方法、装置、设备 |
CN113051404B (zh) * | 2021-01-08 | 2024-02-06 | 中国科学院自动化研究所 | 一种基于张量分解的知识推理方法、装置、设备 |
WO2022151811A1 (zh) * | 2021-01-15 | 2022-07-21 | 医渡云(北京)技术有限公司 | 基于模型的医学知识图谱的推理方法、装置、设备及介质 |
CN112732940B (zh) * | 2021-01-15 | 2023-07-14 | 医渡云(北京)技术有限公司 | 基于模型的医学知识图谱的推理方法、装置、设备及介质 |
CN112732940A (zh) * | 2021-01-15 | 2021-04-30 | 医渡云(北京)技术有限公司 | 基于模型的医学知识图谱的推理方法、装置、设备及介质 |
CN112819162A (zh) * | 2021-02-02 | 2021-05-18 | 东北大学 | 一种知识图谱三元组的质检方法 |
CN112819162B (zh) * | 2021-02-02 | 2024-02-27 | 东北大学 | 一种知识图谱三元组的质检方法 |
CN112765287B (zh) * | 2021-02-05 | 2022-04-19 | 中国人民解放军国防科技大学 | 基于知识图谱嵌入的挖掘人物关系的方法、装置以及介质 |
CN112765287A (zh) * | 2021-02-05 | 2021-05-07 | 中国人民解放军国防科技大学 | 基于知识图谱嵌入的挖掘人物关系的方法、装置以及介质 |
CN112711667A (zh) * | 2021-03-29 | 2021-04-27 | 上海旻浦科技有限公司 | 一种基于多向语义的知识图谱复杂关系推理方法 |
CN112860904A (zh) * | 2021-04-06 | 2021-05-28 | 哈尔滨工业大学 | 一种融入外部知识的生物医疗关系抽取方法 |
CN113239131A (zh) * | 2021-06-18 | 2021-08-10 | 国网湖南省电力有限公司 | 基于元学习的少样本知识图谱补全方法 |
CN113780564B (zh) * | 2021-09-15 | 2024-01-12 | 西北工业大学 | 融合实体类型信息的知识图谱推理方法、装置、设备及存储介质 |
CN113780564A (zh) * | 2021-09-15 | 2021-12-10 | 西北工业大学 | 融合实体类型信息的知识图谱推理方法、装置、设备及存储介质 |
CN114925190A (zh) * | 2022-05-30 | 2022-08-19 | 南瑞集团有限公司 | 一种基于规则推理与gru神经网络推理的混合推理方法 |
CN114925190B (zh) * | 2022-05-30 | 2023-08-04 | 南瑞集团有限公司 | 一种基于规则推理与gru神经网络推理的混合推理方法 |
CN115712734A (zh) * | 2022-11-21 | 2023-02-24 | 之江实验室 | 一种基于元学习的稀疏知识图谱嵌入方法和装置 |
CN115712734B (zh) * | 2022-11-21 | 2023-10-03 | 之江实验室 | 一种基于元学习的稀疏知识图谱嵌入方法和装置 |
CN115858821B (zh) * | 2023-02-20 | 2023-06-16 | 中国科学技术大学 | 知识图谱处理方法、装置及知识图谱处理模型的训练方法 |
CN115858821A (zh) * | 2023-02-20 | 2023-03-28 | 中国科学技术大学 | 知识图谱处理方法、装置及知识图谱处理模型的训练方法 |
CN116340543A (zh) * | 2023-03-31 | 2023-06-27 | 湖北商贸学院 | 一种面向数学定理自适应推导的知识图谱构建方法及系统 |
CN117151227A (zh) * | 2023-08-28 | 2023-12-01 | 深圳智现未来工业软件有限公司 | 一种半导体检测结果的推理方法及装置 |
CN117151227B (zh) * | 2023-08-28 | 2024-05-17 | 深圳智现未来工业软件有限公司 | 一种半导体检测结果的推理方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111260064A (zh) | 基于元知识的知识图谱的知识推理方法、系统以及介质 | |
EP3227836B1 (en) | Active machine learning | |
US11074503B2 (en) | Execution of a genetic algorithm having variable epoch size with selective execution of a training algorithm | |
CN111737476A (zh) | 文本处理方法、装置、计算机可读存储介质及电子设备 | |
CN110288199A (zh) | 产品质量预测的方法 | |
CN112699247A (zh) | 一种基于多类交叉熵对比补全编码的知识表示学习框架 | |
WO2020232874A1 (zh) | 基于迁移学习的建模方法、装置、计算机设备和存储介质 | |
CN115170449B (zh) | 一种多模态融合场景图生成方法、系统、设备和介质 | |
CN111340179A (zh) | 一种卷积神经网络拓扑方法 | |
CN114511042A (zh) | 一种模型的训练方法、装置、存储介质及电子装置 | |
CN115809340A (zh) | 一种知识图谱的实体更新方法及系统 | |
CN113254645B (zh) | 一种文本分类方法、装置、计算机设备及可读存储介质 | |
CN112100509A (zh) | 信息推荐方法、装置、服务器和存储介质 | |
CN116701647A (zh) | 基于嵌入向量与迁移学习融合的知识图谱补全方法及装置 | |
CN116089812A (zh) | 基于半监督对抗域泛化智能模型的故障诊断方法 | |
CN111666985B (zh) | 一种基于dropout的深度学习对抗样本图像分类防御方法 | |
CN115130536A (zh) | 特征提取模型的训练方法、数据处理方法、装置及设备 | |
CN115438658A (zh) | 一种实体识别方法、识别模型的训练方法和相关装置 | |
CN114862404A (zh) | 基于聚类样本与极限梯度的信用卡欺诈检测方法及设备 | |
CN114462620A (zh) | 一种机器学习的均衡方法及相关装置 | |
CN114528906A (zh) | 一种旋转机械的故障诊断方法、装置、设备和介质 | |
CN113934813A (zh) | 一种样本数据划分的方法、系统、设备及可读存储介质 | |
CN117609870B (zh) | 结构识别模型训练、模型结构识别方法、设备及介质 | |
CN113378993B (zh) | 基于人工智能的分类方法、装置、设备及存储介质 | |
CN116527411B (zh) | 数据安全智能防护模型构建方法、装置及协作平台 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200609 |
|
RJ01 | Rejection of invention patent application after publication |