CN113792768A - 超图神经网络分类方法和装置 - Google Patents

超图神经网络分类方法和装置 Download PDF

Info

Publication number
CN113792768A
CN113792768A CN202110997696.XA CN202110997696A CN113792768A CN 113792768 A CN113792768 A CN 113792768A CN 202110997696 A CN202110997696 A CN 202110997696A CN 113792768 A CN113792768 A CN 113792768A
Authority
CN
China
Prior art keywords
hypergraph
neural network
network model
data
hypergraph neural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110997696.XA
Other languages
English (en)
Inventor
高跃
丰一帆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN202110997696.XA priority Critical patent/CN113792768A/zh
Publication of CN113792768A publication Critical patent/CN113792768A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请提出了一种超图神经网络分类方法，该方法包括：获取待预测标签数据；构建待预测标签数据的超图关联矩阵及原始特征矩阵；针对待预测标签数据中的不同模态分别构建超图神经网络，生成第一超图神经网络模型；将预设的第二超图神经网络模型与第一超图神经网络模型进行匹配合并，将第一超图神经网络模型中每层的未训练参数替换为已训练过的特征转换参数；将超图关联矩阵与原始特征矩阵输入到第一超图神经网络模型中得到最终的分类预测结果。本申请通过定义关联规则来量化不同种类的节点联系，层级地建模了单模态‑多模态下的复杂关联，使得多模态协同下复杂网络的知识学习变得更加快速准确，同时提高了对复杂关联数据的分类预测能力。

Description

超图神经网络分类方法和装置
技术领域
本申请涉及复杂网络节点分类技术领域，尤其涉及一种超图神经网络分类方法和装置。
背景技术
图神经网络由于其在处理非结构化数据上优异的性能逐渐吸引了大批学者们的注意力。相比于传统的卷积神经网络，图神经网络通常被用于复杂网络分析上，如药物结构预测、蛋白质-标靶预测、社交网络推荐等等。目前图网络中的边只能连接两个点，换句话说只能建模成对关联，这使得其在建模和学习高阶复杂关联数据上受到了很大的限制。如何直接建模高阶复杂关联，提高模型的学习效率变得非常重要。目前针对复杂网络节点分类主要的挑战有：难以直接建模和学习高阶数据中的复杂关联；多模态下的节点的关联性很难直接在网络学习的过程中被融合进去；关联复杂性的提高极大的降低了训练速度和推理速度；难以生成多模态高阶关联数据的统一表示用于下游的分类或者检索任务。
发明内容
本申请旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本申请的第一个目的在于提出一种超图神经网络分类方法，解决了现有方法难以直接建模高阶复杂关联以及模型的学习效率较低技术问题，通过定义关联规则来量化不同种类的节点联系，层级地建模了单模态-多模态下的复杂关联，使得多模态协同下复杂网络的知识学习变得更加快速准确，同时通过融合传统超图学习与深度学习方法，设计了一种高阶嵌入融合层来学习模态内和模态间的知识表示，使得超图神经网络系统有着更强大的建模能力，提高了对复杂关联数据的分类预测能力。
本申请的第二个目的在于提出一种超图神经网络分类装置。
本申请的第三个目的在于提出一种非临时性计算机可读存储介质。
为达上述目的，本申请第一方面实施例提出了一种超图神经网络分类方法，包括：获取待预测标签数据；构建待预测标签数据的超图关联矩阵及原始特征矩阵；针对待预测标签数据中的不同模态分别构建超图神经网络，生成第一超图神经网络模型；将预设的第二超图神经网络模型与第一超图神经网络模型进行匹配合并，将第一超图神经网络模型中每层的未训练参数替换为已训练过的特征转换参数；将超图关联矩阵与原始特征矩阵输入到第一超图神经网络模型中得到最终的分类预测结果。
可选地，在本申请的一个实施例中，预设的第二超图神经网络模型的生成包括以下步骤：
获取训练数据集，训练数据集中包括已知标签的关联数据；
使用多模态数据特征间的关联构建不同类型的超边组，通过融合不同类型的超边组来构建多个单模态的超图表示结构；
构建超图神经网络模型来对多个单模态的超图表示结构分别进行学习，并使用训练数据集对超图神经网络模型进行训练得到优化后的特征变换参数，从而得到预设的第二超图神经网络模型。
可选地，在本申请的一个实施例中，多个单模态的超图表示结构的构建，具体包括以下步骤：
给定多模态多类型数据关联，依据距离度量、属性相似方式定义不同的数据关联规则；
根据不同的数据关联规则构建不同的超边组；
联合单一模态内所有的超边组来构建一个单模态的超图表示结构，所有的单模态的超图表示结构共同构成单模态的超图表示结构，其中，每一个单一模态的数据产生一个对应的单模态超图表示结构。
可选地，在本申请的一个实施例中，单模态的超图表示结构表示为：
Figure BDA0003234632290000021
其中，
Figure BDA0003234632290000022
是模态i生成的超图结构表示，Vi是模态i中所包含的所有数据点的集合，Ei是通过模态i中数据的关联构建出来的超边的集合，Wi中包含了超边集合Ei中每一个超边对应的权重。
可选地，在本申请的一个实施例中，使用训练数据集对超图神经网络模型进行训练，包括以下步骤：
步骤S1：获取训练数据集中一组数据的原始数据特征，以及数据包含的每个模态的超图关联矩阵；
步骤S2、通过一层全连接层运算，将原始数据特征转化为适应于深度网络的基础特征，并将基础特征嵌入至超图神经网络模型；
步骤S3、联合超图关联矩阵与特征转换参数构建超图卷积层，针对每个模态生成相应的高阶特征，并将高阶特征嵌入至超图神经网络模型；
步骤S4、融合超图神经网络提取的高阶特征嵌入，并生成统一嵌入表示，将统一嵌入表示输入到全连接分类网络获得最终的数据分类预测；
步骤S5、重复执行步骤S1、S2、S3、S4，直到模型在训练数据集上的特征转换参数的损失函数收敛，完成训练。
为达上述目的，本申请第二方面实施例提出了一种超图神经网络分类装置，包括获取模块、构建模块、生成模块、匹配合并模块、预测模块，其中，
获取模块，用于获取待预测标签数据；
构建模块，用于构建待预测标签数据的超图关联矩阵及原始特征矩阵；
生成模块，用于针对待预测标签数据中的不同模态分别构建超图神经网络，生成第一超图神经网络模型；
匹配合并模块，用于将预设的第二超图神经网络模型与第一超图神经网络模型进行匹配合并，将第一超图神经网络模型中每层的未训练参数替换为已训练过的特征转换参数；
预测模块，用于将超图关联矩阵与原始特征矩阵输入到第一超图神经网络模型中得到最终的分类预测结果。
可选地，在本申请的一个实施例中，匹配合并模块，还用于：
获取训练数据集，训练数据集中包括已知标签的关联数据；
使用多模态数据特征间的关联构建不同类型的超边组，通过融合不同类型的超边组来构建多个单模态的超图表示结构；
构建超图神经网络模型来对多个单模态的超图表示结构分别进行学习，并使用训练数据集对超图神经网络模型进行训练得到优化后的特征变换参数，从而得到预设的第二超图神经网络模型。
为了实现上述目的，本申请第三方面实施例提出了一种非临时性计算机可读存储介质，当存储介质中的指令由处理器被执行时，能够执行一种超图神经网络分类方法。
本申请实施例的超图神经网络分类方法、超图神经网络分类装置和非临时性计算机可读存储介质，解决了现有方法难以直接建模高阶复杂关联以及模型的学习效率较低技术问题，通过定义关联规则来量化不同种类的节点联系，层级地建模了单模态-多模态下的复杂关联，使得多模态协同下复杂网络的知识学习变得更加快速准确，同时通过融合传统超图学习与深度学习方法，设计了一种高阶嵌入融合层来学习模态内和模态间的知识表示，使得超图神经网络系统有着更强大的建模能力，提高了对复杂关联数据的分类预测能力。
本申请使用超图建模数据间的复杂关联，设计了超图神经网络来学习多模态的高阶嵌入，针对传统超图学习速度慢开销大等缺点，通过近似的超图拉普拉斯将其简化为特征与可学习参数间的矩阵相乘，从而大大的提高了特征提取的速度，降低了内存的开销，同时提升了分类精度；并且本申请从两个层级进行多模态复杂关联的学习：模态内学习和模态间学习，其中模态内的学习利用构建好的超图神经网络进行迭代优化，模态间的学习使用高阶嵌入融合层来对多个高阶特征进行融合，使得系统能充分挖掘数据间的复杂关联，更好的建模多模态信息，从而达到更优的类别预测性能。
本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本申请实施例一所提供的一种超图神经网络分类方法的流程图；
图2为本申请实施例的超图神经网络分类方法的架构图；
图3为本申请实施例的超图神经网络分类方法的超图神经网络架构示意图；
图4为本申请实施例二所提供的一种超图神经网络分类装置的结构示意图。
具体实施方式
下面详细描述本申请的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
下面参考附图描述本申请实施例的超图神经网络分类方法和装置。
图1为本申请实施例一所提供的一种超图神经网络分类方法的流程图。
如图1所示，该超图神经网络分类方法包括以下步骤：
步骤101，获取待预测标签数据；
步骤102，构建待预测标签数据的超图关联矩阵及原始特征矩阵；
步骤103，针对待预测标签数据中的不同模态分别构建超图神经网络，生成第一超图神经网络模型；
步骤104，将预设的第二超图神经网络模型与第一超图神经网络模型进行匹配合并，将第一超图神经网络模型中每层的未训练参数替换为已训练过的特征转换参数；
步骤105，将超图关联矩阵与原始特征矩阵输入到第一超图神经网络模型中得到最终的分类预测结果。
本申请实施例的超图神经网络分类方法，通过获取待预测标签数据；构建待预测标签数据的超图关联矩阵及原始特征矩阵；针对待预测标签数据中的不同模态分别构建超图神经网络，生成第一超图神经网络模型；将预设的第二超图神经网络模型与第一超图神经网络模型进行匹配合并，将第一超图神经网络模型中每层的未训练参数替换为已训练过的特征转换参数；将超图关联矩阵与原始特征矩阵输入到第一超图神经网络模型中得到最终的分类预测结果。由此，能够解决现有方法难以直接建模高阶复杂关联以及模型的学习效率较低技术问题，通过定义关联规则来量化不同种类的节点联系，层级地建模了单模态-多模态下的复杂关联，使得多模态协同下复杂网络的知识学习变得更加快速准确，同时通过融合传统超图学习与深度学习方法，设计了一种高阶嵌入融合层来学习模态内和模态间的知识表示，使得超图神经网络系统有着更强大的建模能力，提高了对复杂关联数据的分类预测能力。
本申请使用超图建模数据间的复杂关联，设计了超图神经网络来学习多模态的高阶嵌入，针对传统超图学习速度慢开销大等缺点，通过近似的超图拉普拉斯将其简化为特征与可学习参数间的矩阵相乘，从而大大的提高了特征提取的速度，降低了内存的开销，同时提升了分类精度；并且本申请从两个层级进行多模态复杂关联的学习：模态内学习和模态间学习，其中模态内的学习利用构建好的超图神经网络进行迭代优化，模态间的学习使用高阶嵌入融合层来对多个高阶特征进行融合，使得系统能充分挖掘数据间的复杂关联，更好的建模多模态信息，从而达到更优的类别预测性能。
进一步地，在本申请实施例中，预设的第二超图神经网络模型的生成包括以下步骤：
获取训练数据集，训练数据集中包括已知标签的关联数据；
使用多模态数据特征间的关联构建不同类型的超边组，通过融合不同类型的超边组来构建多个单模态的超图表示结构；
构建超图神经网络模型来对多个单模态的超图表示结构分别进行学习，并使用训练数据集对超图神经网络模型进行训练得到优化后的特征变换参数，从而得到预设的第二超图神经网络模型。
进一步地，在本申请实施例中，多个单模态的超图表示结构的构建，具体包括以下步骤：
给定多模态多类型数据关联，依据距离度量、属性相似方式定义不同的数据关联规则；
根据不同的数据关联规则构建不同的超边组；
联合单一模态内所有的超边组来构建一个单模态的超图表示结构，所有的单模态的超图表示结构共同构成单模态的超图表示结构，其中，每一个单一模态的数据产生一个对应的单模态超图表示结构。
针对原始数据定义了K个规则，
Figure BDA0003234632290000051
对已知标签的F种模态的数据
M＝{M1，M2，…，MF}
其中，M是多模态数据的全体集合。利用定义好的规则全集
Figure BDA0003234632290000052
分别在每个模态上构建关联子集族，
Figure BDA0003234632290000053
进一步，模态i通过关联子集族定义了对应的超边组
Figure BDA0003234632290000061
通过一个超图关联矩阵H来表示单一模态超图的邻接矩阵，其定义如下：
Figure BDA0003234632290000062
其中，v指的是某一个顶点，e指的是某一个超边。
进一步地，在本申请实施例中，单模态的超图表示结构表示为：
Figure BDA0003234632290000063
其中，
Figure BDA0003234632290000064
是模态i生成的超图结构表示，Vi是模态i中所包含的所有数据点的集合，Ei是通过模态i中数据的关联构建出来的超边的集合，Wi中包含了超边集合Ei中每一个超边对应的权重。
表示单一模态超图的邻接矩阵H定义如下：
Figure BDA0003234632290000065
其中，v指的是某一个顶点，e指的是某一个超边。
进一步地，在本申请实施例中，使用训练数据集对超图神经网络模型进行训练，包括以下步骤：
步骤S1：获取训练数据集中一组数据的原始数据特征，以及数据包含的每个模态的超图关联矩阵；
步骤S2、通过一层全连接层运算，将原始数据特征转化为适应于深度网络的基础特征，并将基础特征嵌入至超图神经网络模型；
步骤S3、联合超图关联矩阵与特征转换参数构建超图卷积层，针对每个模态生成相应的高阶特征，并将高阶特征嵌入至超图神经网络模型；
步骤S4、融合超图神经网络提取的高阶特征嵌入，并生成统一嵌入表示，将统一嵌入表示输入到全连接分类网络获得最终的数据分类预测；
步骤S5、重复执行步骤S1、S2、S3、S4，直到模型在训练数据集上的特征转换参数的损失函数收敛，完成训练。
单模态超图神经网络的输入为Xi和Hi，其中Xi为第i个模态的节点特征的矩阵，Hi为第i个模态超图关联矩阵。
基础特征转换层L0被定义为θ0X其中θ0为可训练参数。
传统的超图上普卷积计算方式为：
g★x＝Φ((ΦTg)⊙(ΦTx))＝Φg(Λ)ΦTx
其中，⊙指的是哈密尔顿乘积，g(Λ)＝diag(g(λ1)，g(λ2)，...，g(λn))指的是傅里叶变换系数的函数。由于其计算上需要进行多次傅里叶正逆变换，需要消耗大量的时间和空间。本申请使用切比雪夫多项式对其进行了近似，计算得到的超图卷积层的公式如下：
Figure BDA0003234632290000071
构建多个单模态超图卷积，公式如下：
Figure BDA0003234632290000072
针对每一个模态，均使用单独的可学习参数θi、超图关联矩阵Hi。其中每个超图里节点的度和超边的度都有着如下的定义：
Figure BDA0003234632290000073
其中，d(v)指的是顶点v的度，d(e)指的是超边e的度，H(v，e)是H矩阵中对应项的值。获得每个模态的高阶特征表示之后，通过拼接操作将它们融合成统一的多模态联合特征表示，如下；
Figure BDA0003234632290000074
其中，X′是最终的多模态联合特征表示，被用于后续的类别预测。
Y＝pred(X′)
其中，Y是网络最终预测的分类标签，pred(·)是分类预测函数，本申请在设计时使用一层全连接层来实现分类预测函数，但是实际部署上不局限于一层全连接层，可以使用其他的分类模型来替换，如：SVM和随机森林等。
图2为本申请实施例的超图神经网络分类方法的架构图。
如图2所示，该超图神经网络分类方法，使用多模态数据特征间的关联构建不同类型的超边组，通过融合不同类型的超边组来构建多个单模态的超图表示结构；构建超图神经网络模型来对多个单模态超图结构表示分别进行学习。针对已知标签的关联数据训练得到优化后的特征变换参数，从而获得嵌入知识的超图神经网络模型；针对未知数据的预测任务，对每个待检测点计算其与已知点的关联性，并通过嵌入知识的超图神经网络模型上节点与超边间特征的迭代，得到对未知数据的分类预测结果。本申请融合传统超图学习与深度学习方法，设计了一种超图神经网络分类方法，来提高对复杂关联数据的分类预测能力。
图3为本申请实施例的超图神经网络分类方法的超图神经网络架构示意图。
如图3所示，该超图神经网络分类方法构建超图神经网络模型来对多个单模态的超图表示结构分别进行学习，并使用训练数据集对超图神经网络模型进行训练得到优化后的特征变换参数，从而得到预设的第二超图神经网络模型，包括：步骤S1、通过一层全连接层运算，将原始数据特征转化为适应于深度网络的基础特征，并将基础特征嵌入至超图神经网络模型；步骤S2、联合超图关联矩阵与特征转换参数构建超图卷积层，针对每个模态生成相应的高阶特征，并将高阶特征嵌入至超图神经网络模型；步骤S3、融合超图神经网络提取的高阶特征嵌入，并生成统一嵌入表示，将统一嵌入表示输入到全连接分类网络获得最终的数据分类预测；步骤S4、重复执行步骤S1、S2、S3，直到模型在训练数据集上的特征转换参数收敛，从而得到预设的第二超图神经网络模型。
图4为本申请实施例二所提供的一种超图神经网络分类装置的结构示意图。
如图4所示，该超图神经网络分类装置，包括：获取模块10、构建模块20、生成模块30、匹配合并模块40、预测模块50，其中，
获取模块10，用于获取待预测标签数据；
构建模块20，用于构建待预测标签数据的超图关联矩阵及原始特征矩阵；
生成模块30，用于针对待预测标签数据中的不同模态分别构建超图神经网络，生成第一超图神经网络模型；
匹配合并模块40，用于将预设的第二超图神经网络模型与第一超图神经网络模型进行匹配合并，将第一超图神经网络模型中每层的未训练参数替换为已训练过的特征转换参数；
预测模块50，用于将超图关联矩阵与原始特征矩阵输入到第一超图神经网络模型中得到最终的分类预测结果。
进一步地，在本申请实施例中，匹配合并模块，还用于：
获取训练数据集，训练数据集中包括已知标签的关联数据；
使用多模态数据特征间的关联构建不同类型的超边组，通过融合不同类型的超边组来构建多个单模态的超图表示结构；
构建超图神经网络模型来对多个单模态的超图表示结构分别进行学习，并使用训练数据集对超图神经网络模型进行训练得到优化后的特征变换参数，从而得到预设的第二超图神经网络模型。
针对未知数据的预测任务，对每个待检测点计算其与已知点的关联性，并通过第二超图神经网络模型上节点与超边间特征的迭代，得到对未知数据的分类预测结果。
本申请实施例的超图神经网络分类装置，包括：获取模块、构建模块、生成模块、匹配合并模块、预测模块，其中，获取模块，用于获取待预测标签数据；构建模块，用于构建待预测标签数据的超图关联矩阵及原始特征矩阵；生成模块，用于针对待预测标签数据中的不同模态分别构建超图神经网络，生成第一超图神经网络模型；匹配合并模块，用于将预设的第二超图神经网络模型与第一超图神经网络模型进行匹配合并，将第一超图神经网络模型中每层的未训练参数替换为已训练过的特征转换参数；预测模块，用于将超图关联矩阵与原始特征矩阵输入到第一超图神经网络模型中得到最终的分类预测结果。由此，能够解决现有方法难以直接建模高阶复杂关联以及模型的学习效率较低技术问题，通过定义关联规则来量化不同种类的节点联系，层级地建模了单模态-多模态下的复杂关联，使得多模态协同下复杂网络的知识学习变得更加快速准确，同时通过融合传统超图学习与深度学习方法，设计了一种高阶嵌入融合层来学习模态内和模态间的知识表示，使得超图神经网络系统有着更强大的建模能力，提高了对复杂关联数据的分类预测能力。
本申请使用超图建模数据间的复杂关联，设计了超图神经网络来学习多模态的高阶嵌入，针对传统超图学习速度慢开销大等缺点，通过近似的超图拉普拉斯将其简化为特征与可学习参数间的矩阵相乘，从而大大的提高了特征提取的速度，降低了内存的开销，同时提升了分类精度；并且本申请从两个层级进行多模态复杂关联的学习：模态内学习和模态间学习，其中模态内的学习利用构建好的超图神经网络进行迭代优化，模态间的学习使用高阶嵌入融合层来对多个高阶特征进行融合，使得系统能充分挖掘数据间的复杂关联，更好的建模多模态信息，从而达到更优的类别预测性能。
为了实现上述实施例，本申请还提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述实施例的超图神经网络分类方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (8)

1.一种超图神经网络分类方法，其特征在于，包括以下步骤：
获取待预测标签数据；
构建所述待预测标签数据的超图关联矩阵及原始特征矩阵；
针对所述待预测标签数据中的不同模态分别构建超图神经网络，生成第一超图神经网络模型；
将预设的第二超图神经网络模型与所述第一超图神经网络模型进行匹配合并，将所述第一超图神经网络模型中每层的未训练参数替换为已训练过的特征转换参数；
将所述超图关联矩阵与所述原始特征矩阵输入到所述第一超图神经网络模型中得到最终的分类预测结果。
2.如权利要求1所述的超图神经网络分类方法，其特征在于，所述预设的第二超图神经网络模型的生成包括以下步骤：
获取训练数据集，所述训练数据集中包括已知标签的关联数据；
使用多模态数据特征间的关联构建不同类型的超边组，通过融合所述不同类型的超边组来构建多个单模态的超图表示结构；
构建超图神经网络模型来对所述多个单模态的超图表示结构分别进行学习，并使用所述训练数据集对所述超图神经网络模型进行训练得到优化后的特征变换参数，从而得到所述预设的第二超图神经网络模型。
3.如权利要求2所述的超图神经网络分类方法，其特征在于，所述多个单模态的超图表示结构的构建，具体包括以下步骤：
给定多模态多类型数据关联，依据距离度量、属性相似方式定义不同的数据关联规则；
根据所述不同的数据关联规则构建不同的超边组；
联合单一模态内所有的超边组来构建一个单模态的超图表示结构，所有的单模态的超图表示结构共同构成所述单模态的超图表示结构，其中，每一个单一模态的数据产生一个对应的单模态超图表示结构。
4.如权利要求3所述的超图神经网络分类方法，其特征在于，所述单模态的超图表示结构表示为：
Figure FDA0003234632280000011
其中，
Figure FDA0003234632280000021
是模态i生成的超图结构表示，Vi是模态i中所包含的所有数据点的集合，Ei是通过模态i中数据的关联构建出来的超边的集合，Wi中包含了超边集合Ei中每一个超边对应的权重。
5.如权利要求2所述的超图神经网络分类方法，其特征在于，所述使用所述训练数据集对所述超图神经网络模型进行训练，包括以下步骤：
步骤S1：获取所述训练数据集中一组数据的原始数据特征，以及所述数据包含的每个模态的超图关联矩阵；
步骤S2、通过一层全连接层运算，将所述原始数据特征转化为适应于深度网络的基础特征，并将所述基础特征嵌入至所述超图神经网络模型；
步骤S3、联合所述超图关联矩阵与特征转换参数构建超图卷积层，针对每个模态生成相应的高阶特征，并将所述高阶特征嵌入至所述超图神经网络模型；
步骤S4、融合所述超图神经网络提取的高阶特征嵌入，并生成统一嵌入表示，将所述统一嵌入表示输入到全连接分类网络获得最终的数据分类预测；
步骤S5、重复执行步骤S1、S2、S3、S4，直到模型在所述训练数据集上的特征转换参数的损失函数收敛，完成训练。
6.一种超图神经网络分类装置，其特征在于，包括获取模块、构建模块、生成模块、匹配合并模块、预测模块，其中，
所述获取模块，用于获取待预测标签数据；
所述构建模块，用于构建所述待预测标签数据的超图关联矩阵及原始特征矩阵；
所述生成模块，用于针对所述待预测标签数据中的不同模态分别构建超图神经网络，生成第一超图神经网络模型；
所述匹配合并模块，用于将预设的第二超图神经网络模型与所述第一超图神经网络模型进行匹配合并，将所述第一超图神经网络模型中每层的未训练参数替换为已训练过的特征转换参数；
所述预测模块，用于将所述超图关联矩阵与所述原始特征矩阵输入到所述第一超图神经网络模型中得到最终的分类预测结果。
7.如权利要求6所述的超图神经网络分类装置，其特征在于，所述匹配合并模块，还用于：
获取训练数据集，所述训练数据集中包括已知标签的关联数据；
使用多模态数据特征间的关联构建不同类型的超边组，通过融合所述不同类型的超边组来构建多个单模态的超图表示结构；
构建超图神经网络模型来对所述多个单模态的超图表示结构分别进行学习，并使用所述训练数据集对所述超图神经网络模型进行训练得到优化后的特征变换参数，从而得到所述预设的第二超图神经网络模型。
8.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-5中任一所述的超图神经网络分类方法。
CN202110997696.XA 2021-08-27 2021-08-27 超图神经网络分类方法和装置 Pending CN113792768A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110997696.XA CN113792768A (zh) 2021-08-27 2021-08-27 超图神经网络分类方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110997696.XA CN113792768A (zh) 2021-08-27 2021-08-27 超图神经网络分类方法和装置

Publications (1)

Publication Number Publication Date
CN113792768A true CN113792768A (zh) 2021-12-14

Family

ID=78876627

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110997696.XA Pending CN113792768A (zh) 2021-08-27 2021-08-27 超图神经网络分类方法和装置

Country Status (1)

Country Link
CN (1) CN113792768A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114419671A (zh) * 2022-01-18 2022-04-29 北京工业大学 一种基于超图神经网络的遮挡行人重识别方法
CN114817568A (zh) * 2022-04-29 2022-07-29 武汉科技大学 联合注意力机制与卷积神经网络的知识超图链接预测方法
CN115333958A (zh) * 2022-08-15 2022-11-11 中国电信股份有限公司 软件定义网络性能预测方法、装置、电子设备及存储介质
CN116028654A (zh) * 2023-03-30 2023-04-28 中电科大数据研究院有限公司 知识节点的多模态融合更新方法
CN117828281A (zh) * 2024-03-05 2024-04-05 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 一种基于跨模态超图的行为意图识别方法、系统及终端

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114419671A (zh) * 2022-01-18 2022-04-29 北京工业大学 一种基于超图神经网络的遮挡行人重识别方法
CN114419671B (zh) * 2022-01-18 2024-03-26 北京工业大学 一种基于超图神经网络的遮挡行人重识别方法
CN114817568A (zh) * 2022-04-29 2022-07-29 武汉科技大学 联合注意力机制与卷积神经网络的知识超图链接预测方法
CN114817568B (zh) * 2022-04-29 2024-05-10 武汉科技大学 联合注意力机制与卷积神经网络的知识超图链接预测方法
CN115333958A (zh) * 2022-08-15 2022-11-11 中国电信股份有限公司 软件定义网络性能预测方法、装置、电子设备及存储介质
CN116028654A (zh) * 2023-03-30 2023-04-28 中电科大数据研究院有限公司 知识节点的多模态融合更新方法
CN116028654B (zh) * 2023-03-30 2023-06-13 中电科大数据研究院有限公司 知识节点的多模态融合更新方法
CN117828281A (zh) * 2024-03-05 2024-04-05 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 一种基于跨模态超图的行为意图识别方法、系统及终端
CN117828281B (zh) * 2024-03-05 2024-05-07 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 一种基于跨模态超图的行为意图识别方法、系统及终端

Similar Documents

Publication Publication Date Title
CN113792768A (zh) 超图神经网络分类方法和装置
CN110263227B (zh) 基于图神经网络的团伙发现方法和系统
Sohn et al. Improved multimodal deep learning with variation of information
US20210390397A1 (en) Method, machine-readable medium and system to parameterize semantic concepts in a multi-dimensional vector space and to perform classification, predictive, and other machine learning and ai algorithms thereon
Mortlock et al. Graph learning for cognitive digital twins in manufacturing systems
CN112015868B (zh) 基于知识图谱补全的问答方法
JP2019207685A (ja) 観測変数間の因果関係を推定するための方法、装置、およびシステム
CN109902714B (zh) 一种基于多图正则化深度哈希的多模态医学图像检索方法
US10002136B2 (en) Media label propagation in an ad hoc network
CN110473195B (zh) 一种可自动定制的医学病灶检测架构及方法
Luciano et al. Deep similarity network fusion for 3D shape classification
CN113792753A (zh) 动态超图神经网络分类方法和系统
CN115982467A (zh) 一种去偏化用户多兴趣推荐方法、装置及存储介质
Wistuba et al. Inductive transfer for neural architecture optimization
US20240119266A1 (en) Method for Constructing AI Integrated Model, and AI Integrated Model Inference Method and Apparatus
US20220027739A1 (en) Search space exploration for deep learning
CN116432053A (zh) 基于模态交互深层超图神经网络的多模态数据表示方法
CN114757097B (zh) 一种线路故障诊断方法及装置
Zhang et al. Image segmentation using convolutional neural networks in multi-sensor information fusion
CN113449775B (zh) 一种基于类激活映射机制的多标签图像分类方法和系统
CN116756554A (zh) 对齐模型的训练方法、装置、设备、介质及程序产品
CN114021619A (zh) 基于图结构演化的分类方法及装置
Zhang et al. UHD Aerial Photograph Categorization by Leveraging Deep Multiattribute Matrix Factorization
CN116150405B (zh) 一种多场景的异构数据处理方法
CN114492394B (zh) 用于自主工业软件文本数据的关键词抽取方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination