CN114860953B - 一种基于少样本关系预测模型的可解释方法 - Google Patents

一种基于少样本关系预测模型的可解释方法 Download PDF

Info

Publication number
CN114860953B
CN114860953B CN202210466414.8A CN202210466414A CN114860953B CN 114860953 B CN114860953 B CN 114860953B CN 202210466414 A CN202210466414 A CN 202210466414A CN 114860953 B CN114860953 B CN 114860953B
Authority
CN
China
Prior art keywords
model
sample
entity
neighbor
prediction model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210466414.8A
Other languages
English (en)
Other versions
CN114860953A (zh
Inventor
吴涛
马红玉
先兴平
刘宴兵
祝清意
张浩然
王树森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University of Post and Telecommunications
Original Assignee
Chongqing University of Post and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Post and Telecommunications filed Critical Chongqing University of Post and Telecommunications
Priority to CN202210466414.8A priority Critical patent/CN114860953B/zh
Publication of CN114860953A publication Critical patent/CN114860953A/zh
Application granted granted Critical
Publication of CN114860953B publication Critical patent/CN114860953B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367—Ontology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G06F40/295—Named entity recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明属于知识图谱领域，具体涉及一种基于少样本关系预测模型的可解释方法；该方法包括：对少样本关系预测模型的可解释性进行评估，得到可解释评估结果；根据可解释评估结果改进模型；获取来自用户的问题，将该问题输入改进好的少样本关系预测模型中，得到该问题的可信预测结果；本发明选取多种对比模型进行分析，通过改变少样本关系预测模型和对比模型的数据量和数据内容计算评价指标并分析不同数据量和不同数据内容对模型的影响；通过改变少样本关系预测模型中的卷积神经网络的超参数如激活函数、池化策略、正则化等计算评价指标并分析超参数对模型的影响；本发明提高了模型的关系预测结果的可信度，实用性高。

Description

一种基于少样本关系预测模型的可解释方法
技术领域
本发明属于知识图谱领域，具体涉及一种基于少样本关系预测模型的可解释方法。
背景技术
知识图谱，是通过将应用数学、图形学、信息可视化技术、信息科学等学科的理论与计量学引文分析、共现分析等方法结合，并利用可视化的图谱形象地展示学科的核心结构、发展历史、前沿领域以及整体知识架构达到多学科融合目的的现代理论。
可解释性是指具有足够的可以理解的信息，来解决某个问题。具体到人工智能领域，可解释的深度模型能够给出每一个预测结果的决策依据，比如搜索引擎根据一个问题给出相对应的答案，并给出相应的决策依据。
人工智能在许多领域已经投入使用，但是依然缺乏模型的可解释性研究，具备可解释性的人工智能应用很少，从而会导致模型的可信度和安全性降低。神经网络的发展为机器学习和人工智能领域带来了显著的突破。复杂的网络结构层出不穷，在计算机视觉和自然语言处理领域获得了极大的成功。除了模型的预测表现，透明度和可解释性也是机器学习模型是否值得信赖的重要考核标准。然而，大部分神经网络都是黑盒模型，其内部的决策过程很难被人们了解。如果没有充分的可解释性，这些模型在一些对安全性要求较高的领域的应用将受到很多限制。
在知识图谱领域，深度学习模型也被广泛应用，随着模型性能的提升，对模型解释性的需求也越来越大。例如，在涉及建模预测时，可能会为预测的错误而付出巨大的代价，因此高风险环境中使用的模型需要解释性。而具备可解释性的模型在面对要解决的问题的时候可以对异常产生的原因进行追踪和定位。而低风险环境中，模型拥有可解释性同样也是很有价值的。例如，在产品的研发和部署阶段之后，解释性可以为系统的调试和维护提供方向，有利于理解报错的原因。
综上所述，亟需一种基于针对少样本关系预测模型的可解释方法，对模型的可解释性进行评价，对判断模型是否可信和为提供模型改进调整方向具有重要意义。
发明内容
针对现有技术存在的不足，本发明提出了一种基于少样本关系预测模型的可解释方法，该方法包括：对少样本关系预测模型的可解释性进行评估，得到可解释评估结果；根据可解释评估结果改进模型；获取来自用户的问题，将该问题输入改进好的少样本关系预测模型中，得到该问题的可信预测结果；
对少样本关系预测模型的可解释性进行评估的过程包括：
S1：定义模型的评价指标，包括第一评价指标Hit@n和第二评价指标MRR；
S2：将不同数据量和不同数据内容的数据输入到训练好的少样本关系预测模型和对比模型中，得到关系预测结果；根据关系预测结果计算少样本关系预测模型和对比模型的评价指标；
S3：输入相同数据，改变少样本关系预测模型中的卷积神经网络的超参数，得到关系预测结果；根据关系预测结果计算少样本关系预测模型的评价指标；
S4：根据评价指标分析不同数据量、不同数据内容、不同超参数对少样本关系预测模型的影响，得到模型的可解释评估结果。
优选的，第一评价指标Hit@n的计算公式为：
其中，i表示正确尾实体的得分排序在前n位的查询三元组数量，|Q|表示查询集中三元组数量。
优选的，第二评价指标MRR的计算公式为：
其中，N表示查询三元组的正确尾实体个数，ki表示第i个查询三元组的正确尾实体的得分在候选实体列表中的排名。
优选的，对比模型包括GMatchin模型、MetaR模型和FAAN模型。
优选的，少样本关系预测模型为基于邻居聚合的少样本关系预测模型。
优选的，不同数据内容包括实体、邻居信息以及实体和邻居信息的混合数据。
优选的，卷积神经网络的超参数包括卷积核大小、卷积核数量、激活函数、池化策略和正则化。
本发明的有益效果为：本发明选取多种对比模型进行分析，通过改变少样本关系预测模型和对比模型的数据量和数据内容计算评价指标并分析不同数据量和不同数据内容对模型的影响；通过改变少样本关系预测模型中的卷积神经网络的超参数如激活函数、池化策略、正则化等计算评价指标并分析超参数对模型的影响；根据分析结果得到少样本关系预测模型的可解释结果，根据可解释结果改进少样本关系预测模型；本发明提高了模型的关系预测结果的可信度，实用性高，具有良好的应用前景。
附图说明
图1为本发明中基于少样本关系预测模型的可解释方法的流程图；
图2为本发明中MEEN模型的框架示意图；
图3为本发明中MEEN模型在不同卷积核数量下的评价结果图；
图4为本发明中MEEN模型在不同激活函数下的评价结果图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提出了一种基于少样本关系预测模型的可解释方法，如图1所示，所述方法包括：对少样本关系预测模型的可解释性进行评估，得到可解释评估结果；根据可解释评估结果改进模型；获取来自用户的问题，将该问题输入改进好的少样本关系预测模型中，得到该问题的可信预测结果；
在本发明的一些实施例中，少样本关系预测模型为基于邻居聚合的少样本关系预测模型(MEEN)。
如图2所示，邻居聚合的少样本关系预测模型进行关系预测包括获取原始数据；根据原始数据构建初始知识图谱和待预测三元组；采用训练好的邻居编码器对待预测三元组进行处理，得到关系正确的三元组；根据关系正确的三元组补全初始知识图谱，得到完整的知识图谱；其中，邻居编码器的训练过程包括：
获取正确的知识图谱；对知识图谱进行预处理，得到知识图谱的嵌入表示；
在知识图谱中随机抽取K个三元组并将K个三元组作为支持集，将剩下的三元组作为正样本查询集；其中，三元组是包含头实体、关系实体和尾实体的管理单元；
对正样本查询集中三元组的尾实体进行替换，得到负样本查询集；
对知识图谱中所有实体的邻居实体进行抽样，得到每个实体的所有邻居实体；
采用邻居编码器对每个实体的邻居实体进行特征提取，得到每个实体的邻居特征；具体的：采用不同尺寸的卷积核对邻居实体进行特征提取，得到不同尺度的特征映射；将不同尺度的特征映射进行最大池化操作，得到每种特征映射的最大池化结果；将每种特征映射的最大池化结果进行拼接，并将拼接后的最大池化结果输入到全连接层，得到邻居特征；
将每个实体的邻居特征和对应实体进行融合，得到更新后的实体；
将支持集与查询集中三元组的头实体和尾实体进行拼接，得到支持实体对和查询实体对；其中，查询集包括正样本查询集和负样本查询集；
根据支持实体对和查询实体对计算支持实体对与查询实体对的相似度；
根据支持实体对与正样本查询实体对的相似度和支持实体对与负样本查询实体对的相似度计算损失函数，根据损失函数调整邻居编码器参数，当损失函数最小时，得到训练好的邻居编码器。
对少样本关系预测模型的可解释性进行评估的过程包括以下内容：
S1：定义模型的评价指标，包括第一评价指标Hit@n和第二评价指标MRR；
知识图谱(Knowledge Graph)是人工智能的重要分支技术，是结构化的语义知识库，用于以符号形式描述物理世界中的概念及其相互关系，其基本组成单位是“实体—关系—实体”三元组，以及实体及其相关属性—值对，实体间通过关系相互联结，构成网状的知识结构。
在知识图谱中随机抽取K个三元组并将K个三元组作为支持集，将剩下的三元组作为查询集。
对每个查询三元组qi，如果它正确的尾实体的得分排序在前n位，则进行加一计数(i＝i+1)，计数与所有查询三元组数量的比值即为hit@n(假设查询集为Q)；第一评价指标Hit@n的计算公式为：
其中，i表示正确尾实体的得分排序在前n位的查询三元组数量，|Q|表示查询集中三元组数量。
对每个查询三元组qi，记它正确的尾实体的得分结果在候选实体列表中的排名为ki，则Reciprocal Rank(RR)得分计作1/ki，对所有查询三元组query的RR得分取平均；第二评价指标MRR的计算公式为：
其中，N表示查询三元组的正确尾实体个数。
S2：将不同数据量和不同数据内容的数据输入到训练好的少样本关系预测模型和对比模型中，得到关系预测结果；根据关系预测结果计算少样本关系预测模型和对比模型的评价指标。
在本发明的一些实施例中，对比模型为GMatchin模型、MetaR模型和FAAN模型。
GMatchin是第一个提出知识图谱领域的少样本学习问题并进行解决的基于嵌入的方法。其应用局部图结构生成邻居编码来加强实体对的嵌入表示，应用多步的匹配机制来进行相似度计算。
MetaR是基于模型优化的方法。其通过从参照实体对转移共享的知识到查询实体对(即关系)来实现知识图谱的少样本关系预测，模型应用梯度下降策略进行参数更新。
FAAN是基于嵌入的方法。它提出一种自适应的邻居编码和自适应的匹配机制，在编码过程中并不把所有的邻居视为同等重要，而是增加了注意力机制，根据参照三元组与当前任务的相关性来区分权重，动态的获取邻居编码。
将不同数据量输入到训练好的少样本关系预测模型和对比模型中，分析不同数据量对模型的影响；针对于训练是以任务为单位的情况，在划分训练数据的时候采用任务为单位划分，用任务个数来表示输入量。进行分析时通过比较在不同数据量下评价指标MRR和Hit@n，从而得出数据对MetaR、GMatching、FAAN、MEEN模型的影响情况；在一些实施例中，将NELL数据集和WiKi两个数据集以不同数据量输入到训练好的少样本关系预测模型和对比模型中，在输入的数据量时从最大规模往下有规律地调整，间隔不宜过大或者过小；不同少样本关系预测模型在不同数据量下的评价结果如表1所示：
表1不同少样本关系预测模型在不同数据量下的评价结果
将不同数据内容的数据输入到训练好的少样本关系预测模型和对比模型中，不同数据内容包括实体、邻居信息以及实体和邻居信息的混合数据；设计对比实验来分析不同数据内容对模型性能影响，用E-O(Entity-O)表示只有实体表示的数据，用N-O(Neighbor-O)表示只有邻居结构的数据，用ALL表示两种数据。通过将不同类型数据单独比较和将两种类型数据结合来比较得到不同数据内容下模型的评价结果，根据评价结果进行对于数据内容对于对比模型影响的分析；不同少样本关系预测模型在不同数据内容下的评价结果如表2所示：
表2不同少样本关系预测模型在不同数据内容下的评价结果
S3：输入相同数据，改变少样本关系预测模型中的卷积神经网络的超参数，得到关系预测结果；根据关系预测结果计算少样本关系预测模型的评价指标。
卷积神经网络的超参数包括卷积核大小、卷积核数量、激活函数、池化策略和正则化。
卷积核大小的影响：
卷积神经网络的核心是卷积操作，所以对于卷积操作中起到关键作用的卷积核进行大小和数量对模型的影响分析。本发明应用一维卷积，在考虑设置卷积核大小的时候与实体嵌入维度相同，分别在两个数据集上进行实验。分析两个数据集在不同卷积核大小下的MRR值，通过观察实验结果确定单一卷积核在两个数据集中的最佳尺寸。MFEN模型在不同卷积核大小下的评价结果如表3所示：
表3 MFEN模型在不同卷积核大小下的评价结果
基于数据集中最佳卷积核大小探讨这些数值附近的卷积核大小的MRR值与使用远离这些“最佳”数值的多个卷积核大小的MRR值进行比较，通过结果显示得出最佳卷积核大小；
MFEN模型在不同卷积核大小组合下的评价结果如表4所示：
表4 MFEN模型在不同卷积核大小组合下的评价结果
卷积核数量的影响
如图3所示，分析不同卷积核数量对模型的影响，优选的，卷积核数量分别取10、50、100、200、400和600进行实验，得到模型的评价结果。
激活函数的影响：
如图4所示，分析不同的激活函数对模型的影响，优选的，激活函数分别选取ReLU、tanh、Sigmoid、Cube、tanh cube和Iden进行实验，得到模型的评价结果。
池化策略的影响：
固定卷积核的大小和基线配置中的特征图的数量，只改变了池化策略。在基线配置中，对特征图进行全局性的1-max集合(图七)，为每个卷积核生成一个长度为1的特征向量。但是除了基本的最大池化还有一些其他的策略，例如k-max集合策略，即从整个特征图中提取最大的k个值，并保留这些值的相对顺序。接下来，进一步考虑使用平均池化，而不是最大池化，保持架构的其余部分不变；经过对实验结果的分析得出池化策略对于模型的影响。MFEN模型在不同池化策略下的评价结果如表5所示：
表5 MFEN模型在不同池化策略下的评价结果
正则化的影响：
采用CNN的常见的正则化策略dropout；实验从0.0到0.9的dropout率，其余设置与基线配置一样，此外还对即不执行正则化的情况下时取得的模型效果进行记录，用0.0表示。本发明所探讨的dropout率主要针对模型中使用的卷积神经网络，对模型的其他部分没有影响，经过对实验结果的分析得出正则化对于模型的影响；MFEN模型在不同的dropout率下的评价结果如表6所示：
表6 MFEN模型在不同的dropout率下的评价结果
S4：根据评价指标分析不同数据量、不同数据内容、不同超参数对少样本关系预测模型的影响，得到模型的可解释评估结果。
分析表一可知，在各个对比模型中，GMatching模型是受输入数据量影响最大的模型，MFEN模型是受输入数据量影响最小的模型。这说明MFEN模型具有更好的稳定性，无论输入数据量的大小，该模型的性能相对来说更加稳定，更加适用于输入数据量不确定的情况。而另一方面，FAAN的性能表现根据输入数据量的不同有很大起伏，说明该模型在任务数量较大的情况下更有优势，适用于输入数据量较大的情况。无论受数据量的影响大小，模型都有适用的情况。但对于现实应用来说，数据的规模往往都是不确定的，尤其是对于少样本任务来说，因此模型性能更加稳定的模型是更实用的。
分析表二可知，相较于实体和邻居相结合的方式，各模型在单独使用实体或者邻居信息的情况下性能都有不同程度的下降，这表明结合实体和邻居信息的方法对于少样本关系预测来说是一种有效提升效果的方法。单独比较只用实体表示和只用邻居结构两种情况，可以发现单独使用实体信息的整体效果更好，说明了在少样本关系预测中，实体本身的信息是不可或缺的。而将实体信息和邻居结合后，邻居结构可以通过多数个邻居提供更多的信息，提升模型决策的性能表现。
在三个对比模型中，MFEN模型在所有情况下的表现都比对比模型更好，说明MFEN模型充分地学习了实体和邻居信息。对于邻居信息，模型中的邻居编码器发挥主要作用，对邻居结构中与关系预测相关的部分进行保留，消除无关信息对决策的影响，进而提升了模型的准确性。对于实体本身，模型中的相似度计算器发挥作用，通过多角度的度量的结合得到更加准确合理的相似性分数。因此，实验结果证明，本发明提出的方法是有效的，并且对于少样本关系预测任务，实体本身的影响更大。
分析表三可知，每个数据集都有自己的最佳卷积核大小。通过实验结果可以发现，将几个尺寸大小接近最佳单一尺寸大小的卷积核组合在一起可以提高性能，但增加远离最佳范围的卷积核大小可能会损害性能。从表四可以看出，使用(3,4,5)，和(2,3,4)以及(2,3,4,5)接近最佳单一卷积核大小的集合产生了与最佳结果最接近的效果。与其他设置例如(5,6,7)相比，差异尤其明显。即使只使用一个效果好的卷积核大小(这里是3)，也比结合不同卷积核大小(5,6,7)的性能更好。因此，在某些情况下，使用多个不同的但接近最佳大小的卷积核，表现更好。由表三另一个在Wiki数据集上使用几种卷积核大小的实验结果可得出，从单一卷积核大小的表现来看，Wiki的最佳单一卷积核大小是7。基于此表4探讨了这些数值附近的卷积核大小，并与使用远离这些“最佳”数值的多个卷积核大小进行比较，这里可以看到(6,7,8)的表现比(2,3,4)和(3,4,5)好。因此，结果仍然显示，接近最佳单一卷积核大小的组合优于使用远离最佳单一卷积核大小的多个卷积核组合。
鉴于这些观察，可以知道最好首先对单一的卷积核大小进行粗线搜索，以找到所考虑的数据集的“最佳”大小，然后探索这个单一最佳大小附近的几个卷积核大小的组合，包括结合不同的卷积核大小和最佳大小。
分析图3，在实践中特征图的数量可以设置在100到600的范围内。当然，在某些情况下，超过600个特征图是有可能的，由图3可知，特征图数量为600时所需的训练时间非常长，可能不值得花费精力去探索。在实践过程中，应该考虑最佳实验结果是否在特征图数量的边界附近，如果最佳结果在边界产生，可能值得在该边界之外进行探索。
分析图4，实验结果表明在一些情况下，线性转换足以捕捉到实体对嵌入和关系之间的相关性。然而，如果有多个隐藏层，Iden可能不如非线性激活函数合适。因此，关于单层CNN中激活函数的选择，根据实验结果建议选择ReLU和tanh，某些情况下可以尝试Iden。
分析表5，实验结果表明，在用于实验的两个数据集上，平均池化的表现一致地比最大池化差。模型在平均池化下观察到性能大幅下降并且运行时间非常慢。通过实验对池化策略的分析表明，在少样本关系元预测任务中，1-max池化一直比其他策略表现得更好。这可能是因为预测性语境的位置并不重要，而且邻居结构中的某些n-grams本身的预测性可能比所有邻居共同考虑的预测性更强。
分析表六，实验结果表明，卷积层上的dropout对性能帮助不大，而大的dropout率则极大地损害了性能，MRR随着dropout率而减小。实验结果证明dropout对本发明提出的性能没有什么有利影响。可以将这一观察归因于一个事实，即单层CNN比多层深度学习模型的参数数量更少。另一个可能的解释是，使用词嵌入有助于防止过度拟合。然而，完全放弃正则化也是不可取的。在实际应用过程中建议将dropout率设置为一个小值(0.0-0.5)，同时增加特征图的数量，看看更多的特征是否会有帮助。当进一步增加特征图的数量似乎会降低性能时，可能值得增加dropout率。
本发明选取多种对比模型，通过改变少样本关系预测模型和对比模型的数据量和数据内容计算评价指标并分析不同数据量和不同数据内容对模型的影响；通过改变少样本关系预测模型中的卷积神经网络的超参数如激活函数、池化策略、正则化等计算评价指标并分析超参数对模型的影响；根据分析结果得到少样本关系预测模型的可解释结果，根据可解释结果改进少样本关系预测模型；本发明提高了模型的关系预测结果的可信度，实用性高，具有良好的应用前景。
以上所举实施例，对本发明的目的、技术方案和优点进行了进一步的详细说明，所应理解的是，以上所举实施例仅为本发明的优选实施方式而已，并不用以限制本发明，凡在本发明的精神和原则之内对本发明所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于少样本关系预测模型的可解释方法，其特征在于，包括：对少样本关系预测模型的可解释性进行评估，得到可解释评估结果；根据可解释评估结果改进模型；获取来自用户的问题，将该问题输入改进好的少样本关系预测模型中，得到该问题的可信预测结果；
对少样本关系预测模型的可解释性进行评估的过程包括：
S1：定义模型的评价指标，包括第一评价指标Hit@n和第二评价指标MRR；
S2：将不同数据量和不同数据内容的数据输入到训练好的少样本关系预测模型和对比模型中，得到关系预测结果；根据关系预测结果计算少样本关系预测模型和对比模型的评价指标；
S3：输入相同数据，改变少样本关系预测模型中的卷积神经网络的超参数，得到关系预测结果；根据关系预测结果计算少样本关系预测模型的评价指标；卷积神经网络的超参数包括卷积核大小、卷积核数量、激活函数、池化策略和正则化；
S4：根据评价指标分析不同数据量、不同数据内容、不同超参数对少样本关系预测模型的影响，得到模型的可解释评估结果。
2.根据权利要求1所述的一种基于少样本关系预测模型的可解释方法，其特征在于，第一评价指标Hit@n的计算公式为：
其中，i表示正确尾实体的得分排序在前n位的查询三元组数量，|Q|表示查询集中三元组数量。
3.根据权利要求1所述的一种基于少样本关系预测模型的可解释方法，其特征在于，第二评价指标MRR的计算公式为：
其中，N表示查询三元组的正确尾实体个数，ki表示第i个查询三元组的正确尾实体的得分在候选实体列表中的排名。
4.根据权利要求1所述的一种基于少样本关系预测模型的可解释方法，其特征在于，对比模型包括GMatchin模型、MetaR模型和FAAN模型。
5.根据权利要求1所述的一种基于少样本关系预测模型的可解释方法，其特征在于，少样本关系预测模型为基于邻居聚合的少样本关系预测模型；邻居聚合的少样本关系预测模型进行关系预测包括获取原始数据；根据原始数据构建初始知识图谱和待预测三元组；采用训练好的邻居编码器对待预测三元组进行处理，得到关系正确的三元组；根据关系正确的三元组补全初始知识图谱，得到完整的知识图谱；其中，邻居编码器的训练过程包括：
获取正确的知识图谱；对知识图谱进行预处理，得到知识图谱的嵌入表示；
在知识图谱中随机抽取K个三元组并将K个三元组作为支持集，将剩下的三元组作为正样本查询集；其中，三元组是包含头实体、关系实体和尾实体的管理单元；
对正样本查询集中三元组的尾实体进行替换，得到负样本查询集；
对知识图谱中所有实体的邻居实体进行抽样，得到每个实体的所有邻居实体；
采用邻居编码器对每个实体的邻居实体进行特征提取，得到每个实体的邻居特征；具体的：采用不同尺寸的卷积核对邻居实体进行特征提取，得到不同尺度的特征映射；将不同尺度的特征映射进行最大池化操作，得到每种特征映射的最大池化结果；将每种特征映射的最大池化结果进行拼接，并将拼接后的最大池化结果输入到全连接层，得到邻居特征；
将每个实体的邻居特征和对应实体进行融合，得到更新后的实体；
将支持集与查询集中三元组的头实体和尾实体进行拼接，得到支持实体对和查询实体对；其中，查询集包括正样本查询集和负样本查询集；
根据支持实体对和查询实体对计算支持实体对与查询实体对的相似度；
根据支持实体对与正样本查询实体对的相似度和支持实体对与负样本查询实体对的相似度计算损失函数，根据损失函数调整邻居编码器参数，当损失函数最小时，得到训练好的邻居编码器。
6.根据权利要求1所述的一种基于少样本关系预测模型的可解释方法，其特征在于，不同数据内容包括实体、邻居信息以及实体和邻居信息的混合数据。
CN202210466414.8A 2022-04-29 2022-04-29 一种基于少样本关系预测模型的可解释方法 Active CN114860953B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210466414.8A CN114860953B (zh) 2022-04-29 2022-04-29 一种基于少样本关系预测模型的可解释方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210466414.8A CN114860953B (zh) 2022-04-29 2022-04-29 一种基于少样本关系预测模型的可解释方法

Publications (2)

Publication Number Publication Date
CN114860953A CN114860953A (zh) 2022-08-05
CN114860953B true CN114860953B (zh) 2024-07-02

Family

ID=82635044

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210466414.8A Active CN114860953B (zh) 2022-04-29 2022-04-29 一种基于少样本关系预测模型的可解释方法

Country Status (1)

Country Link
CN (1) CN114860953B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116611546B (zh) * 2023-04-14 2023-11-10 中国科学院空天信息创新研究院 基于知识图谱的目标研究区域滑坡预测方法及系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108596415B (zh) * 2017-12-15 2023-11-24 创新先进技术有限公司 一种模型整合方法及装置
CN110458616A (zh) * 2019-08-02 2019-11-15 深圳索信达数据技术有限公司 一种基于GAMxNN模型的理财产品推荐方法
CN112612903A (zh) * 2020-12-24 2021-04-06 浙江大学 一种可解释的可生成规则的知识图谱嵌入表示学习方法
CN113326384A (zh) * 2021-06-22 2021-08-31 四川大学 一种基于知识图谱的可解释推荐模型的构建方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于少样本学习的知识图谱补全技术研究;马红玉;《CNKI重庆邮电大学硕士学位论文》;20240514;1-69 *

Also Published As

Publication number Publication date
CN114860953A (zh) 2022-08-05

Similar Documents

Publication Publication Date Title
Peng et al. Lime: Low-cost and incremental learning for dynamic heterogeneous information networks
CN108399201A (zh) 一种基于循环神经网络的Web用户访问路径预测方法
CN111222847B (zh) 基于深度学习与非监督聚类的开源社区开发者推荐方法
CN111243682A (zh) 药物的毒性预测方法及装置、介质和设备
CN108416373A (zh) 一种基于正则化Fisher阈值选择策略的不平衡数据分类系统
Ghadiri et al. BigFCM: Fast, precise and scalable FCM on hadoop
CN114860953B (zh) 一种基于少样本关系预测模型的可解释方法
CN117273134A (zh) 一种基于预训练语言模型的零样本知识图谱补全方法
CN111126758B (zh) 一种学术团队影响力传播预测方法、设备和存储介质
CN113837266B (zh) 一种基于特征提取和Stacking集成学习的软件缺陷预测方法
Zhang et al. A tree-structured multi-task model recommender
Bi et al. Judicial knowledge-enhanced magnitude-aware reasoning for numerical legal judgment prediction
Zhang et al. BiLSTM-TANet: an adaptive diverse scenes model with context embeddings for few-shot learning
Shi et al. Adaptive multi-layer contrastive graph neural networks
Rice Convolutional neural networks for detection and classification of maritime vessels in electro-optical satellite imagery
Feng et al. Web service QoS classification based on optimized convolutional neural network
CN114999566A (zh) 基于词向量表征和注意力机制的药物重定位方法及系统
Lin et al. A probabilistic contrastive framework for semi-supervised learning
CN113987704A (zh) 基于自动多微分学习深度网络的航空发动机寿命预测方法
CN113779287A (zh) 基于多阶段分类器网络的跨域多视角目标检索方法及装置
Hashemi et al. NSOFS: a non-dominated sorting-based online feature selection algorithm
Wang et al. A G2G similarity guided pedestrian Re-identification algorithm
CN110609961A (zh) 一种基于词嵌入的协同过滤推荐方法
Chen et al. Robust semi-supervised classification for imbalanced and incomplete data
CN117557666A (zh) 一种广义无偏差场景图生成方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant