CN116894097A - 一种基于超图建模的知识图谱标签预测方法 - Google Patents

一种基于超图建模的知识图谱标签预测方法 Download PDF

Info

Publication number
CN116894097A
CN116894097A CN202311126726.5A CN202311126726A CN116894097A CN 116894097 A CN116894097 A CN 116894097A CN 202311126726 A CN202311126726 A CN 202311126726A CN 116894097 A CN116894097 A CN 116894097A
Authority
CN
China
Prior art keywords
hypergraph
matrix
nodes
representing
node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311126726.5A
Other languages
English (en)
Other versions
CN116894097B (zh
Inventor
杨柳
李国辉
陈庭轩
龙军
黄金彩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Central South University
Original Assignee
Central South University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Central South University filed Critical Central South University
Priority to CN202311126726.5A priority Critical patent/CN116894097B/zh
Publication of CN116894097A publication Critical patent/CN116894097A/zh
Application granted granted Critical
Publication of CN116894097B publication Critical patent/CN116894097B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367—Ontology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/901—Indexing; Data structures therefor; Storage structures
    • G06F16/9024—Graphs; Linked lists
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Mathematical Optimization (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Animal Behavior & Ethology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Algebra (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供了一种基于超图建模的知识图谱标签预测方法，具体包括：选取知识图谱；将知识图谱的原有节点集按节点的度排序生成排序节点集；通过KNN算法和K‑Means算法聚类获得超边集合，生成超图；得到超边的特征嵌入矩阵后通过自注意力机制对超边的特征嵌入矩阵进行修正得到修正后的特征嵌入矩阵，获得超边所具有的超图模体以及对应的超图模体出现的频数，生成超边的超图模体嵌入矩阵；基于修正后的特征嵌入矩阵和超边的超图模体嵌入矩阵生成超边嵌入矩阵；基于超边嵌入矩阵计算标签的预测概率，准确预测出超边的标签信息。

Description

一种基于超图建模的知识图谱标签预测方法
技术领域
本发明涉及知识图谱技术领域，具体涉及一种基于超图建模的知识图谱标签预测方法。
背景技术
知识图谱中包含大量信息例如学者、论文、机构、期刊等相关学术实体的信息，挖掘其中隐藏的学术关系对学者了解科研发展动态，为学者科研提供学术服务起到重要作用，能积极推动国家科学技术的发展。如何从知识图谱海量的、高质量的科技大数据中挖掘出有效的信息，为相关的科技应用提供服务支撑是众多科研机构以及科研人员的研究热点。
传统的实体关系挖掘一般是针对实体对之间存在的关系进行，但现实世界中很多的关系是超越成对关系的，例如论文存在的互引关系、合作作者关系等，简单地用节点间的成对关系来描述复杂网络会造成标签预测的准确度低下，进而不适用于上游的推荐任务。同时现有知识图谱中节点之间存在着错综复杂的交互关系，目前的一些推荐算法大都基于节点本身的信息进行标签预测任务，而忽略了复杂网络中存在着的特定的连接结构对标签预测的影响，导致标签预测结果不准确。
综上所述，急需一种知识图谱标签预测方法以解决现有技术中存在的问题。
发明内容
本发明目的在于提供一种基于超图建模的知识图谱标签预测方法，技术方案如下：
一种基于超图建模的知识图谱标签预测方法，包括以下步骤：
步骤S1、生成知识图谱对应的超图，具体是：选取知识图谱；将知识图谱的原有节点集按节点的度排序生成排序节点集；通过KNN算法和K-Means算法聚类获得超边集合，生成超图；
步骤S2、生成超边嵌入矩阵，具体是：对超图中超边内部的节点所代表的特征向量做连接操作，得到当前超边的特征嵌入矩阵；通过自注意力机制对超边的特征嵌入矩阵进行修正得到修正后的特征嵌入矩阵；获得超边所具有的超图模体以及对应的超图模体出现的频数，生成超边的超图模体嵌入矩阵；基于修正后的特征嵌入矩阵和超边的超图模体嵌入矩阵生成超边嵌入矩阵；
步骤S3、基于超边嵌入矩阵计算标签的预测概率。
优选的，所述步骤S1具体包括如下步骤：
步骤S1-1、选取知识图谱，计算知识图谱中每个节点的出入度之和作为对应节点的度，再将节点按照节点的度降序排序，生成排序节点集，如下：
；
其中：表示排序节点集中的第/>个节点，/>表示排序节点集中节点的总数量；表示第/>个节点的度；
步骤S1-2、从排序节点集中按照节点的度从大到小依次选择节点，采用KNN算法获得每个节点的/>个邻居节点，生成超边直至超边数量达到设定阈值，如下：
；
其中，表示通过KNN算法获得的第/>个节点对应的超边；
步骤S1-3、通过K-Means算法对排序节点集的所有节点进行聚类，每一个簇构成一条新的超边；针对每个节点，欧式距离最近个簇作为该节点的相邻超边，汇总得到超边集合，如下：
；
其中：，/>表示通过K-Means算法对排序节点集/>所有节点进行聚类获得的簇，/>表示离第/>个节点第/>近的簇，/>，/>为第/>个节点所具有的簇的总数；/>表示包含第/>个节点的超边集合；
步骤S1-4、汇总步骤S1-3得到的所有节点的超边集合，生成超图。
优选的，步骤S2具体包括如下步骤：
步骤S2-1、对超图中超边内部的节点所代表的特征向量做连接操作，得到当前超边的特征嵌入矩阵，如下：
；
其中，表示超边中第/>个节点的嵌入向量，/>表示超边/>中节点的总数量；/>表示超边/>的特征嵌入矩阵；
步骤S2-2、采取自注意力机制对超边的特征嵌入矩阵进行修正得到修正后的特征嵌入矩阵/>，如下：
；
其中：表示查询矩阵，/>；/>表示关键词矩阵，/>表示关键词矩阵/>的转置矩阵，/>；/>表示价值矩阵，/>；/>表示掩码矩阵；/>分别表示第一参数矩阵、第二参数矩阵以及第三参数矩阵；
步骤S2-3、获得超边所具有的超图模体以及对应的超图模体出现的频数，生成超边的超图模体嵌入矩阵，具体包括：
①利用三条连接超边的连接结构形成超图模体；
②计算超边所包含的超图模体的出现次数/>，如下：
；
其中：，函数/>用于判断三条超边/>间的连接结构属于哪种超图模体，函数/>用于判断超边/>间的连接结构是否是超图模体/>；/>表示超图中存在的超边数量；
步骤S2-4、根据下式生成超边的超图模体嵌入矩阵/>：
；
其中：表示超边/>中编号为/>的超图模体出现的次数；/>表示超边/>中编号为/>的超图模体出现的次数；/>表示编号为/>的超图模体的嵌入表示；/>表示超边所具有的超图模体类别数；
步骤S2-5、基于修正后的特征嵌入矩阵和超边的超图模体嵌入矩阵生成超边所对应的超边嵌入矩阵/>如下：
；
其中：表示参数（是一个可学习的参数），取值范围为/>。
优选的，步骤S3基于线图卷积的输出计算超边所对应标签的预测概率，如下：
将超边视为超节点，采取连接操作捕获超节点的相关性，其表达式如下：
；
其中：表示连接所有超节点得到的初始嵌入表示；
利用线图卷积对超节点的初始嵌入表示进行/>次的消息传递过程优化所有超节点的嵌入表示得到/>，其表达式如下：
；
其中：表示第/>层的超节点嵌入表示；/>是参数矩阵（是一个可学习的参数矩阵）；/>，/>是线图的邻接矩阵，/>是一个单位矩阵；/>是线图的节点度矩阵，/>表示/>的逆矩阵；
对每层获得的嵌入表示进行平均，得到超节点的最终嵌入表示：
；
利用线图卷积的输出以及函数得到超边/>所对应标签的预测概率如下：
。
优选的，步骤S3中包括基于超图卷积的输出计算所有超边所对应标签的预测概率，具体是：获取超图的节点度矩阵和超边度矩阵；通过节点-超边-节点传递方式来聚合超图中存在的全局信息，得到包含超图结构信息的超图卷积某层排序节点的嵌入向量，在经过消息传递过程后获得排序节点最终的嵌入向量；基于排序节点最终的嵌入向量计算标签的预测概率。
优选的，步骤S3具体包括如下步骤：
步骤S3-1、通过以下表达式获取超图的节点度矩阵和超边度矩阵/>：
；
；
其中：和/>都是对角矩阵，/>表示超图中节点的数量，/>表示超图中存在的超边数量；如果超边/>包含节点/>，那么/>，否则/>；
步骤S3-2、采取连接操作捕获所有节点的相关性，其表达式如下：
；
其中：表示连接所有节点得到的初始嵌入表示；
通过节点-超边-节点传递方式来聚合超图中存在的全局信息，经过次的传递得到优化后的节点嵌入向量/>，如下：
；
其中：代表非线性的激活函数，/>表示第一参数，/>表示超边重要性的权重矩阵，/>表示超图的邻接矩阵，/>表示超图邻接矩阵的转置矩阵；
对每层获得的嵌入进行平均，得到所有节点的最终嵌入向量：
；
基于所有节点的最终嵌入向量将相应超边内的节点求平均处理得到所有超边的最终嵌入表示/>；
步骤S3-3、基于超图卷积的输出计算超边所对应标签的预测概率，如下：
；
其中：表示超边/>所对应的标签的预测概率，/>为超边/>对应的最终嵌入表示。
优选的，步骤S3中还包括通过基于超图卷积计算的预测概率和基于线图卷积计算的预测概率/>得到超边/>所对应标签的最终预测概率/>，其表达式如下：
。
优选的，还包括通过下式计算损失函数：
；
其中：是超边/>所对应的真实标签的one-hot向量。
应用本发明的技术方案，具有以下有益效果：
（1）本发明提供的基于超图建模的知识图谱标签预测方法在原有知识图谱的基础上采用KNN算法和K-Means算法聚类获得超边集合生成超图，并进一步生成超边嵌入矩阵，在得到包含超图结构信息的超图卷积某层排序节点的嵌入向量后继续获得节点嵌入向量，最后基于节点嵌入向量计算标签的预测概率，准确预测出超边的标签信息。
（2）本发明提供的基于超图建模的知识图谱标签预测方法通过基于节点度，通过KNN算法和K-Means算法选择度较大的顶点来生成超边，在尽可能保留原始知识图谱图结构信息的基础上降低生成的超图的规模，同时得到更高质量的超图结构。具体而言，如果普通知识图谱中存在一些较为孤立的顶点，由于孤立点的节点度较小，根据本发明提出的根据节点度排序的超图构建步骤，从孤立点进行超边的构建优先级靠后，在已经构建出的超边达到阈值时，不再针对某些孤立点利用KNN算法进行超边的构建，使得获得的超图是具有良好的图结构。本发明提供的基于超图建模的知识图谱标签预测方法生成的超图不会过于庞大，并能充分利用普通知识图谱已有的拓扑结构信息。
（3）本发明考虑到不同节点对超边的贡献不同，同时超边的连接结构也存在一定的信息，采取自注意力机制以及超图模体对超边的特征嵌入矩阵进行修正。具体而言，通过对超图中超边内部的节点所代表的特征向量做连接操作，得到当前超边的特征嵌入矩阵，利用自注意力机制对超边的特征嵌入矩阵进行修改得到修正后的超边的特征嵌入矩阵；通过超边所具有的超图模体以及对应的超图模体出现的频数，生成超边的超图模体嵌入矩阵；最后根据修正后的超边的特征嵌入矩阵和超边的超图模体嵌入矩阵生成超边的嵌入矩阵，以提升算法的表征能力，有效地利用超边所包含的信息，提高知识图谱标签预测的准确性。
（4）本发明通过设置掩码矩阵解决超边矩阵嵌入过程中由于超边存在多个节点且不同超边内部的节点数量不同导致超边嵌入矩阵大小不一致，且存在不相关信息的问题，有效地提高了后续的知识图谱标签预测的准确性，同时减少了算力成本。
除了上面所描述的目的、特征和优点之外，本发明还有其它的目的、特征和优点。下面将参照具体实施例，对本发明作进一步详细的说明。
具体实施方式
为了便于理解本发明，下面将对本发明进行更全面的描述，并给出了本发明的较佳实施例。但是，本发明可以以许多不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使对本发明的公开内容的理解更加透彻全面。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。
实施例：
一种基于超图建模的知识图谱标签预测方法，包括以下步骤：
步骤S1、生成知识图谱对应的超图，具体是：选取知识图谱；将知识图谱的原有节点集按节点的度排序生成排序节点集；通过KNN算法和K-Means算法聚类获得超边集合，生成超图。具体如下：
步骤S1-1、选取知识图谱，计算知识图谱中每个节点的出入度之和作为对应节点的度，再将节点按照节点的度降序排序，生成排序节点集，如下：
；
其中：表示排序节点集中的第i/>个节点，/>表示排序节点集中节点的总数量；表示第/>个节点的度；
步骤S1-2、从排序节点集中按照节点的度从大到小依次选择节点，采用KNN算法获得每个节点的个邻居节点，生成超边直至超边数量达到设定阈值，如下：
；
其中，表示通过KNN算法获得的第/>个节点对应的超边；
步骤S1-3、通过K-Means算法对排序节点集的所有节点进行聚类，每一个簇构成一条新的超边；针对每个节点，欧式距离最近个簇作为该节点的相邻超边，汇总得到超边集合，如下：
；
其中：，/>表示通过K-Means算法对排序节点集/>所有节点进行聚类获得的簇，/>表示离第/>个节点第/>近的簇，/>，/>为第/>个节点所具有的簇的总数；/>表示包含第/>个节点的超边集合；
步骤S1-4、汇总步骤S1-3得到的所有节点的超边集合，得到汇总后的超边集合，生成超图/>；
；
其中：表示包含第/>个节点的超边集合，/>，/>表示排序节点集中节点的总数量。
步骤S2、生成超边嵌入矩阵，具体是：对超图中超边内部的节点所代表的特征向量做连接操作，得到当前超边的特征嵌入矩阵；通过自注意力机制对超边的特征嵌入矩阵进行修正得到修正后的特征嵌入矩阵；获得超边所具有的超图模体以及对应的超图模体出现的频数，生成超边的超图模体嵌入矩阵；基于修正后的特征嵌入矩阵和超边的超图模体嵌入矩阵生成超边嵌入矩阵。具体如下：
步骤S2-1：对超图中超边内部的节点所代表的特征向量做连接操作，得到当前超边的特征嵌入矩阵，如下：
；
其中，表示超边中第/>个节点的嵌入向量，/>表示超边/>中节点的总数量；/>表示超边/>的特征嵌入矩阵。
进一步地，为了考虑节点的差异性，即不同节点对超边的重要性不同，继续下列步骤：
步骤S2-2、采取自注意力机制对超边的特征嵌入矩阵进行修正得到修正后的特征嵌入矩阵/>，如下：
；
其中：表示查询矩阵，/>；/>表示关键词矩阵，/>表示关键词矩阵/>的转置矩阵，/>；/>表示价值矩阵，/>；/>表示掩码矩阵；/>分别表示第一参数矩阵、第二参数矩阵以及第三参数矩阵；
步骤S2-3、获得超边所具有的超图模体以及对应的超图模体出现的频数，生成超边的超图模体嵌入矩阵，具体包括：
①利用三条连接超边的连接结构形成超图模体，假设存在三条超边，通过以下7个集合是否为空来判断三条超边间的连接模式属于何种模体：（1）；（2）/>；（3）/>；（4）/>；（5）；（6）/>；（7）/>，其中/>表示求集合的交集，/>表示求集合差集。
超图模体可以用7位二进制向量进行表示，如果集合不为空，则对应位置的值为1，否则为0。现实数据集中可能会存在重复超边，所以只排除对称的以及不存在连接结构的超图模体。
②计算超边所包含的超图模体/>的出现次数/>，如下：
；
其中：，函数/>用于判断三条超边/>间的连接结构属于哪种超图模体，函数/>用于判断超边/>间的连接结构是否是超图模体/>；/>表示超于中存在的超边数量；；
步骤S2-4、根据下式生成超边的超图模体嵌入矩阵：
；
其中：表示超边/>中编号为/>的超图模体出现的次数；/>表示超边/>中编号为/>的超图模体出现的次数；/>表示编号为/>的超图模体的嵌入表示；/>表示超边所具有的超图模体类别数；
步骤S2-5、基于修正后的特征嵌入矩阵和超边的超图模体嵌入矩阵生成超边所对应的超边嵌入矩阵/>如下
；
其中：表示参数，取值范围为/>；
步骤S3、计算标签的预测概率，具体是：
基于线图卷积的输出计算超边所对应标签的预测概率，如下：
将超边视为超节点，采取连接操作捕获超节点的相关性，其表达式如下：
；
其中：表示连接所有超节点得到的初始嵌入表示；
利用线图卷积对超节点的初始嵌入表示进行/>次的消息传递过程优化所有超节点的嵌入表示得到/>，其表达式如下：
；
其中：表示第/>层的超节点嵌入表示；/>是参数矩阵；/>，/>是线图的邻接矩阵，/>是一个单位矩阵；/>是线图的节点度矩阵，/>表示/>的逆矩阵；如果超边和/>存在交集，则/>；/>；
对每层获得的嵌入表示进行平均，得到超节点的最终嵌入表示：
；
利用线图卷积的输出以及函数得到超边/>所对应标签的预测概率如下：
。
基于超图卷积的输出计算超边所对应标签的预测概率，具体是：获取超图的节点度矩阵和超边度矩阵；通过节点-超边-节点传递方式来聚合超图中存在的全局信息，得到包含超图结构信息的超图卷积某层排序节点的嵌入向量，在经过消息传递过程后获得排序节点最终的嵌入向量；基于排序节点最终的嵌入向量计算标签的预测概率。具体包括以下步骤：
步骤S3-1、超图能被表示成一个邻接矩阵，通过超图中节点与超边间存在的关联关系，通过以下表达式获取超图的节点度矩阵/>和超边度矩阵/>：
；
；
其中：和/>都是对角矩阵，/>表示超图中节点的数量，/>表示超图中存在的超边数量；如果超边/>包含节点/>，那么/>，否则/>；
步骤S3-2、采取连接操作捕获所有节点的相关性，其表达式如下：
；
其中：表示连接所有节点得到的初始嵌入表示；
通过节点-超边-节点传递方式来聚合超图中存在的全局信息，经过次的传递得到优化后的节点嵌入向量/>，如下：
；
其中：代表非线性的激活函数，例如/>或/>；/>表示第一参数，表示超边重要性的权重矩阵，/>表示超图的邻接矩阵，/>表示超图邻接矩阵的转置矩阵；
对每层获得的嵌入进行平均，得到所有节点的最终嵌入向量：
；
基于所有节点的最终嵌入向量将相应超边内的节点求平均处理得到所有超边的最终嵌入表示/>；
步骤S3-3、基于超图卷积的输出计算超边所对应标签的预测概率，如下：
；
其中：表示超边/>所对应的标签的预测概率，/>为超边/>对应的最终嵌入表示。
通过基于超图卷积计算的预测概率和基于线图卷积计算的预测概率/>得到超边/>所对应标签的最终预测概率/>（即本发明线图卷积+超图卷积方法），其表达式如下：
。
除此之外，还包括通过下式计算损失函数：
；
其中：是超边/>所对应的真实标签的one-hot向量。
应用本实施例的方案，采取了三个与学术网络相关的数据集，CoauthorshipCora、CoauthorshipDBLP、CocitationPubmed。CoauthorshipCora、CoauthorshipDBLP数据集描述的是合作作者间的关联关系，CocitationPubmed描述的是论文间的引用关系。上述三个数据集只给出了节点的标签信息，本发明将超边中多数节点的标签设置为超边的标签，采取分层抽样的做法将数据集按照8：2划分为训练/测试集，数据集的统计情况如表1所示：
表1：数据集统计情况
在实验的训练过程中，本发明采取超参数设置如下：节点嵌入向量的维度设置为100，超图模体嵌入向量的维度设置为100，小批量的批量大小设置为100，模型的深度设置为4，初始学习率设置为0.001，L2正则化取值为1e-5。为了确保实验结果的公平，本发明在对比模型也采取上述相同的设置。
为了验证本发明提出模型的有效性，采取超边标签预测的准确率作为模型的评价指标，并且本发明采取如下四个基线模型作为对比模型：①NARM：一种基于RNN的模型，它对顺序行为进行建模生成预测结果；②SR-GNN：一种基于会话的图神经网络推荐方法，应用门控卷积层来学习项目转换，进而实现会话推荐；③HGNN：一种用于数据表示学习的超图神经网络框架，该框架可以在超图结构中编码高阶数据相关性；④DHCN：一种利用超图卷积网络来改进会话推荐的方法。
实验结果如表2所示：
表2 超边标签预测的准确率实验结果
通过表2可知，本发明方案最优。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的之内，所作的修改、等同替换、改进等，均包含在本发明的保护范围之内。

Claims (8)

1.一种基于超图建模的知识图谱标签预测方法，其特征在于，包括以下步骤：
步骤S1、生成知识图谱对应的超图，具体是：选取知识图谱；将知识图谱的原有节点集按节点的度排序生成排序节点集；通过KNN算法和K-Means算法聚类获得超边集合，生成超图；
步骤S2、生成超边嵌入矩阵，具体是：对超图中超边内部的节点所代表的特征向量做连接操作，得到当前超边的特征嵌入矩阵；通过自注意力机制对超边的特征嵌入矩阵进行修正得到修正后的特征嵌入矩阵；获得超边所具有的超图模体以及对应的超图模体出现的频数，生成超边的超图模体嵌入矩阵；基于修正后的特征嵌入矩阵和超边的超图模体嵌入矩阵生成超边嵌入矩阵；
步骤S3、基于超边嵌入矩阵计算标签的预测概率。
2.根据权利要求1所述的基于超图建模的知识图谱标签预测方法，其特征在于，所述步骤S1具体包括如下步骤：
步骤S1-1、选取知识图谱，计算知识图谱中每个节点的出入度之和作为对应节点的度，再将节点按照节点的度降序排序，生成排序节点集，如下：
；
其中：表示排序节点集中的第/>个节点，/>表示排序节点集中节点的总数量；/>表示第/>个节点的度；
步骤S1-2、从排序节点集中按照节点的度从大到小依次选择节点，采用KNN算法获得每个节点的/>个邻居节点，生成超边直至超边数量达到设定阈值，如下：
；
其中，表示通过KNN算法获得的第/>个节点对应的超边；
步骤S1-3、通过K-Means算法对排序节点集的所有节点进行聚类，每一个簇构成一条新的超边；针对每个节点，欧式距离最近个簇作为该节点的相邻超边，汇总得到超边集合，如下：
；
其中：，/>表示通过K-Means算法对排序节点集/>所有节点进行聚类获得的簇，/>表示离第/>个节点第/>近的簇，/>，/>为第/>个节点所具有的簇的总数；/>表示包含第/>个节点的超边集合；
步骤S1-4、汇总步骤S1-3得到的所有节点的超边集合，生成超图。
3.根据权利要求2所述的基于超图建模的知识图谱标签预测方法，其特征在于，步骤S2具体包括如下步骤：
步骤S2-1、对超图中超边内部的节点所代表的特征向量做连接操作，得到当前超边的特征嵌入矩阵，如下：
；
其中，表示超边中第/>个节点的嵌入向量，/>表示超边/>中节点的总数量；/>表示超边/>的特征嵌入矩阵；
步骤S2-2、采取自注意力机制对超边的特征嵌入矩阵进行修正得到修正后的特征嵌入矩阵/>，如下：
；
其中：表示查询矩阵，/>； />表示关键词矩阵，/>表示关键词矩阵/>的转置矩阵，/>；/>表示价值矩阵，/>；/>表示掩码矩阵；/>分别表示第一参数矩阵、第二参数矩阵以及第三参数矩阵；
步骤S2-3、获得超边所具有的超图模体以及对应的超图模体出现的频数，生成超边的超图模体嵌入矩阵，具体包括：
①利用三条连接超边的连接结构形成超图模体；
②计算超边所包含的超图模体/>的出现次数/>，如下：
；
其中：，函数/>用于判断三条超边/>间的连接结构属于哪种超图模体，函数/>用于判断超边间的连接结构是否是超图模体/>；/>表示超图中存在的超边数量；
步骤S2-4、根据下式生成超边的超图模体嵌入矩阵/>：
；
其中：表示超边/>中编号为/>的超图模体出现的次数；/>表示超边/>中编号为的超图模体出现的次数；/>表示编号为/>的超图模体的嵌入表示；/>表示超边/>所具有的超图模体类别数；
步骤S2-5、基于修正后的特征嵌入矩阵和超边的超图模体嵌入矩阵生成超边所对应的超边嵌入矩阵/>如下：
；
其中：表示参数，取值范围为/>。
4.根据权利要求3所述的基于超图建模的知识图谱标签预测方法，其特征在于，步骤S3基于线图卷积的输出计算超边所对应标签的预测概率，如下：
将超边视为超节点，采取连接操作捕获超节点的相关性，其表达式如下：
；
其中：表示连接所有超节点得到的初始嵌入表示；
利用线图卷积对超节点的初始嵌入表示进行/>次的消息传递过程优化所有超节点的嵌入表示得到/>，其表达式如下：
；
其中：表示第/>层的超节点嵌入表示；/>是参数矩阵；/>，/>是线图的邻接矩阵，/>是一个单位矩阵；/>是线图的节点度矩阵，/>表示/>的逆矩阵；
对每层获得的嵌入表示进行平均，得到超节点的最终嵌入表示：
；
利用线图卷积的输出以及函数得到超边/>所对应标签的预测概率/>如下：
。
5.根据权利要求3或4所述的基于超图建模的知识图谱标签预测方法，其特征在于，步骤S3中包括基于超图卷积的输出计算所有超边所对应标签的预测概率，具体是：获取超图的节点度矩阵和超边度矩阵；通过节点-超边-节点传递方式来聚合超图中存在的全局信息，得到包含超图结构信息的超图卷积某层排序节点的嵌入向量，在经过消息传递过程后获得排序节点最终的嵌入向量；基于排序节点最终的嵌入向量计算标签的预测概率。
6.根据权利要求5所述的基于超图建模的知识图谱标签预测方法，其特征在于，步骤S3具体包括如下步骤：
步骤S3-1、通过以下表达式获取超图的节点度矩阵和超边度矩阵/>：
；
；
其中：和/>都是对角矩阵，/>表示超图中节点的数量，/>表示超图中存在的超边数量；如果超边/>包含节点/>，那么/>，否则/>；
步骤S3-2、采取连接操作捕获所有节点的相关性，其表达式如下：
；
其中：表示连接所有节点得到的初始嵌入表示；
通过节点-超边-节点传递方式来聚合超图中存在的全局信息，经过次的传递得到优化后的节点嵌入向量/>，如下：
；
其中：代表非线性的激活函数，/>表示第一参数，/>表示超边重要性的权重矩阵，/>表示超图的邻接矩阵，/>表示超图邻接矩阵的转置矩阵；
对每层获得的嵌入进行平均，得到所有节点的最终嵌入向量：
；
基于所有节点的最终嵌入向量将相应超边内的节点求平均处理得到所有超边的最终嵌入表示/>；
步骤S3-3、基于超图卷积的输出计算超边所对应标签的预测概率，如下：
；
其中：表示超边/>所对应的标签的预测概率，/>为超边/>对应的最终嵌入表示。
7.根据权利要求6所述的基于超图建模的知识图谱标签预测方法，其特征在于，步骤S3中还包括通过基于超图卷积计算的预测概率和基于线图卷积计算的预测概率/>得到超边/>所对应标签的最终预测概率/>，其表达式如下：
。
8.根据权利要求7所述的基于超图建模的知识图谱标签预测方法，其特征在于，还包括通过下式计算损失函数：
；
其中：是超边/>所对应的真实标签的one-hot向量。
CN202311126726.5A 2023-09-04 2023-09-04 一种基于超图建模的知识图谱标签预测方法 Active CN116894097B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311126726.5A CN116894097B (zh) 2023-09-04 2023-09-04 一种基于超图建模的知识图谱标签预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311126726.5A CN116894097B (zh) 2023-09-04 2023-09-04 一种基于超图建模的知识图谱标签预测方法

Publications (2)

Publication Number Publication Date
CN116894097A true CN116894097A (zh) 2023-10-17
CN116894097B CN116894097B (zh) 2023-12-22

Family

ID=88315132

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311126726.5A Active CN116894097B (zh) 2023-09-04 2023-09-04 一种基于超图建模的知识图谱标签预测方法

Country Status (1)

Country Link
CN (1) CN116894097B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015169029A1 (zh) * 2014-05-05 2015-11-12 中兴通讯股份有限公司 一种图数据分割的方法及装置
CN112381111A (zh) * 2020-10-12 2021-02-19 广东工业大学 一种无监督的超图聚类方法
US20210256368A1 (en) * 2020-02-16 2021-08-19 International Business Machines Corporation Training a neural network to create an embedding for an unlabeled vertex in a hypergraph
CN114372573A (zh) * 2022-01-07 2022-04-19 中国人民解放军国防科技大学 用户画像信息识别方法、装置、计算机设备和存储介质
US20220121939A1 (en) * 2020-10-16 2022-04-21 The University Of Chicago Systems and methods for high-order modeling of predictive hypotheses
EP4120138A1 (en) * 2021-07-16 2023-01-18 Tata Consultancy Services Limited System and method for molecular property prediction using hypergraph message passing neural network (hmpnn)
WO2023024017A1 (en) * 2021-08-26 2023-03-02 Ebay Inc. Multi-modal hypergraph-based click prediction
WO2023098098A1 (zh) * 2021-12-02 2023-06-08 南京邮电大学 一种基于注意力机制与超图卷积的标签感知推荐方法
CN116415005A (zh) * 2023-06-12 2023-07-11 中南大学 一种面向学者学术网络构建的关系抽取方法
CN116579425A (zh) * 2023-07-13 2023-08-11 北京邮电大学 基于全局和局部层级注意力的超关系知识图谱补全方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015169029A1 (zh) * 2014-05-05 2015-11-12 中兴通讯股份有限公司 一种图数据分割的方法及装置
US20210256368A1 (en) * 2020-02-16 2021-08-19 International Business Machines Corporation Training a neural network to create an embedding for an unlabeled vertex in a hypergraph
CN112381111A (zh) * 2020-10-12 2021-02-19 广东工业大学 一种无监督的超图聚类方法
US20220121939A1 (en) * 2020-10-16 2022-04-21 The University Of Chicago Systems and methods for high-order modeling of predictive hypotheses
EP4120138A1 (en) * 2021-07-16 2023-01-18 Tata Consultancy Services Limited System and method for molecular property prediction using hypergraph message passing neural network (hmpnn)
WO2023024017A1 (en) * 2021-08-26 2023-03-02 Ebay Inc. Multi-modal hypergraph-based click prediction
WO2023098098A1 (zh) * 2021-12-02 2023-06-08 南京邮电大学 一种基于注意力机制与超图卷积的标签感知推荐方法
CN114372573A (zh) * 2022-01-07 2022-04-19 中国人民解放军国防科技大学 用户画像信息识别方法、装置、计算机设备和存储介质
CN116415005A (zh) * 2023-06-12 2023-07-11 中南大学 一种面向学者学术网络构建的关系抽取方法
CN116579425A (zh) * 2023-07-13 2023-08-11 北京邮电大学 基于全局和局部层级注意力的超关系知识图谱补全方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
YIFAN FENG等: "Dynamic Hypergraph Neural Networks", 《PROCEEDINGS OF THE TWENTY-EIGHTH INTERNATIONAL JOINT CONFERENCE ON ARTIFICIAL INTELLIGENCE (IJCAI-19)》 *
杨柳等: "专家领域本体建模及语义信息服务研究", 《小型微型计算机系统》 *
蒋秉川等: "基于时序超图模型的战场环境多层次知识建模方法", 《地球信息科学学报》 *

Also Published As

Publication number Publication date
CN116894097B (zh) 2023-12-22

Similar Documents

Publication Publication Date Title
Eseye et al. Machine learning based integrated feature selection approach for improved electricity demand forecasting in decentralized energy systems
Li et al. Effective tourist volume forecasting supported by PCA and improved BPNN using Baidu index
Yu et al. A hybrid grid-GA-based LSSVR learning paradigm for crude oil price forecasting
Sun et al. Short-term multi-step wind power forecasting based on spatio-temporal correlations and transformer neural networks
CN113535984B (zh) 一种基于注意力机制的知识图谱关系预测方法及装置
Weng et al. Gold price forecasting research based on an improved online extreme learning machine algorithm
Wang et al. Evolutionary extreme learning machine ensembles with size control
Li et al. Dynamic structure embedded online multiple-output regression for streaming data
CN114493050B (zh) 多维度融合的新能源功率并联预测方法和装置
CN113065974B (zh) 一种基于动态网络表示学习的链路预测方法
CN113190688B (zh) 基于逻辑推理和图卷积的复杂网络链接预测方法及系统
CN109241442B (zh) 基于预测值填充的项目推荐方法、可读存储介质和终端
Tian et al. A novel approach for short-term load forecasting using support vector machines
Zhao et al. A GA-ANN model for air quality predicting
Zeng et al. Short-term load forecasting of smart grid systems by combination of general regression neural network and least squares-support vector machine algorithm optimized by harmony search algorithm method
Nguyen et al. An extensive investigation on leveraging machine learning techniques for high-precision predictive modeling of CO2 emission
Dai et al. Forecasting power load: A hybrid forecasting method with intelligent data processing and optimized artificial intelligence
Azhar Ramli et al. A combination of genetic algorithm‐based fuzzy C‐means with a convex hull‐based regression for real‐time fuzzy switching regression analysis: application to industrial intelligent data analysis
CN113435101A (zh) 一种基于粒子群优化的支持向量机停电预测方法
Xu et al. Application of an optimized SVR model of machine learning
CN116910049A (zh) 基于mdan的电力负荷数据缺失值填充模型及其构建方法
CN116894097B (zh) 一种基于超图建模的知识图谱标签预测方法
Zhang et al. A novel approach of tensor‐based data missing estimation for Internet of Vehicles
Wang et al. Graphformer: Adaptive graph correlation transformer for multivariate long sequence time series forecasting
Guo et al. Mobile user credit prediction based on lightgbm

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant