CN117349743A - 一种基于多模态数据的超图神经网络的数据分类方法及系统 - Google Patents

一种基于多模态数据的超图神经网络的数据分类方法及系统 Download PDF

Info

Publication number
CN117349743A
CN117349743A CN202311341948.9A CN202311341948A CN117349743A CN 117349743 A CN117349743 A CN 117349743A CN 202311341948 A CN202311341948 A CN 202311341948A CN 117349743 A CN117349743 A CN 117349743A
Authority
CN
China
Prior art keywords
hypergraph
data
neural network
matrix
mode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311341948.9A
Other languages
English (en)
Inventor
吴昊
梅张宇
毕潇
于洪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University
Original Assignee
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University filed Critical Shandong University
Priority to CN202311341948.9A priority Critical patent/CN117349743A/zh
Publication of CN117349743A publication Critical patent/CN117349743A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0495—Quantised networks; Sparse networks; Compressed networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Probability & Statistics with Applications (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及一种基于多模态数据的超图神经网络的数据分类方法及系统，包括：多模态数据建模，将数据集转化为多模态超图矩阵；通过多模态超图矩阵训练构建的超图神经网络Ma‑HGNN+，得到训练好的超图神经网络；将待分类数据转化为多模态超图矩阵，并输入训练好的超图神经网络进行数据分类。本发明提出的超图神经网络Ma‑HGNN+是一种比现有方法更有效、更稳健的方法。能挖掘更深层次的信息，利用好高阶隐藏信息，对其他有潜在超图结构的数据集具有泛化性能。

Description

一种基于多模态数据的超图神经网络的数据分类方法及系统
技术领域
本发明涉及一种基于多模态数据的超图神经网络的数据分类方法及系统，属于图表示学习技术领域。
背景技术
随着神经网络更加广泛的应用，也伴随着一些问题的出现，比如基本图结构关系的局限性使得当前的图结构不能更好的表达实体之间的关系。当前的大多数方法在实体之间的假设成成对关系，其中每个边缘仅连接关系矩阵中的两个节点。然而，这一假设在现实应用中是肤浅和不切实际的。当前的大多数图网络无法有效处理高阶关系，因此，它们倾向于将这些关系简化为低阶关系。通过挖掘数据之间的高阶数据相关性，可以提高数据之间的分类和回归任务的准确性。超图为提取高阶数据相关性提供了一种合适的解决方案。这是因为它能够将多个顶点连接到每个边缘，从而可以将超边缘及其连接的顶点作为一个整体单元来考虑。但是，目前的研究对于超图的应用范围以及预测准确率还存在着诸多不足。
数据分类是将一组数据点划分成不同的类别或组别的过程，其目标是通过学习数据的特征和模式，将新的数据点分配到适当的类别中。超图卷积神经网络是数据分类的一种机器学习方法，其训练过程涉及使用带有已知标签的数据来构建模型，然后用该模型来对新数据进行分类。超图的应用范围取决于数据分类的具体领域，例如在医疗领域，可以使用超图来训练模型以区分不同的疾病类型，而在金融领域，可以用它来评估信用风险。超图由于目前其应用的卷积网络模型的局限性，无法达到最优的预测性能。这意味着尽管使用了特定的预测方法如hyperGCN，但由于各种原因，例如数据质量、模型选择、特征不足等，无法达到最好可能的预测结果。例如，在预测学生学术表现时，相似的行为通常会导致相似的学术表现，但是超图神经网络可能未能完全捕捉到这种关系，从而影响预测精度。
发明内容
针对现有技术中存在的问题和不足之处，本发明提出了基于多模态数据的超图神经网络深度分析系统，并且提出了一种用于多模态数据深度分析的超图神经网络Ma-HGNN+；
本发明解决了多模态数据处理的挑战，通过对相似的节点信息进行整合，提高了数据处理效率。本发明解决了数据之间高阶隐藏关联关系建模的问题，通过超图构建更好地捕捉多个节点之间的复杂关系，提高了模型的性能。本发明引入了高效通道注意(ECA)机制和多层感知器(MLP)，以更好地理解数据的特征。本发明与其他模型进行了全面的对比，并且在真实数据上证明了其有效性。
术语解释：
1、k-uniform超图，是一种特殊类型的超图，其中每个超边都连接恰好k个顶点，其中k是一个正整数。
2、Ma-HGNN+，基于注意力机制的多模态超图神经网络(MultiModal AttentiveHypergraph Network)，是在HGNN+这个模型上增加了三个模块，注意力模块，数据预处理模块和多层感知器(MLP)模块。
3、GraphGAGE，是一种用于图数据的机器学习算法。它的全称是″Graph Sampleand Aggregated″，意为图采样和聚合。这个算法的主要目标是学习图中节点的表示，使得这些表示可以用于各种任务，如节点分类、链接预测等。GraphSAGE的核心思想是通过采样图中节点的邻居，并将这些邻居节点的信息聚合到目标节点上，从而生成节点的嵌入表示。这个过程可以在图中的所有节点上进行，以得到整个图的节点表示。
4、GAT，是″Graph Attention Network″的缩写，它是一种用于处理图结构数据的神经网络模型。GAT在图神经网络(GNN)领域引起了广泛关注，因为它引入了注意力机制来处理图中节点之间的关系，具有出色的性能。
5、HypeGCN，是一种用于处理超图数据的新型GCN训练方法，它旨在更好地适应超图结构，提供了一种处理多对多关系的方式，并有望在半监督学习等任务中取得良好的效果。
6、GCN，是一种用于处理图结构数据的深度学习模型，它通过图卷积操作来学习节点之间的关系，并可用于半监督学习等任务。
7、HGNN，是一种用于处理超图结构数据的神经网络模型，它考虑了超边的影响，可用于多种应用领域中，以改进对复杂关系的建模和分析。
8、HGNN+，是一种用于处理超图结构数据的高级神经网络模型，它考虑了超边的影响，并在多个领域中具有广泛的应用。HGNN+是对HGNN的扩展和改进。它保留了HGNN的核心思想，即处理超图数据，但包括一些新的改进，例如对超图的构建方式不同。
本发明的技术方案为：
一种基于多模态数据的超图神经网络的数据分类方法，包括：
多模态数据建模，将数据集转化为多模态超图矩阵；
通过多模态超图矩阵训练构建的超图神经网络Ma-HGNN+，得到训练好的超图神经网络；
将待分类数据转化为多模态超图矩阵，并输入训练好的超图神经网络进行数据分类。
根据本发明优选的，多模态数据建模，包括：
将超图定义为其中，/>代表超图中的顶点，/>代表超边，/>代表超边权重的对角矩阵；构建的超图是一个k-uniform超图，根据同一模态内顶点的相似度构建的；计算顶点特征之间的余弦相似度，选择最近的k个顶点形成超边，超图/>由一个/>的关联矩阵H来描述超图结构，如式(I)所示：
式(I)中，即关联矩阵H；
对于一个顶点和超边/>对角矩阵/>和D(e)分别是顶点/>和超边e的度矩阵，/>和D(e)的定义分别如式(II)、式(III)所示：
式(II)、式(III)中，代表超边权重的对角矩阵，/>在图神经网络中是用来描述图节点之间连接强度的矩阵，/>中的每个元素/>表示节点i到节点j的连接权重，该权重表示节点之间的关系强度或影响程度；
邻接矩阵表示超图中各节点的关联；/>的定义如式(IV)所示：
式(IV)中，即/>
在超图中，采用超图的拉普拉斯矩阵来表示超图，超图的标准化形式拉普拉斯矩阵定义如式(V)所示：
式(V)中，是单位矩阵，/>是顶点v的度矩阵的负二分之一次方；
最终转化得到的多模态超图矩阵即为通过式(V)得到的拉普拉斯矩阵
根据本发明优选的，超图神经网络Ma-HGNN+包括ECA注意力机制层(ECAAttention)、两层MLP层包括MLP-1及MLP-2、Batch Normalization层、ReLU层、Dropout层、两层Linear层；
ECA注意力机制层用于：在特征图的通道之间引入注意力权重；
两层MLP层用于：引入非线性变换和特征提取；
Batch Normalization层用于：规范化每个层的输入，以使其具有零均值和单位方差；
ReLU层用于：引入非线性性，将输入信号的负部分截断为零，保留正部分；
Dropout层用于：在训练期间随机丢弃若干神经元，减少过拟合；
两层Linear层用于：执行线性变换并将其输出给下一层。
根据本发明优选的，超图神经网络Ma-HGNN+的训练过程包括：
数据加载：首先，将Cora数据集加载到机器学习框架中；
数据划分：将数据集分为训练集、验证集和测试集；
训练超图神经网络Ma-HGNN+：使用训练集进行模型训练，模型的输入为节点的特征向量，输出为节点的类别预测；
验证和超参数调整：使用验证集来调整模型的超参数；
评估超图神经网络Ma-HGNN+：使用测试集来评估模型的性能，得到训练好的超图神经网络。
根据本发明优选的，将多模态超图矩阵输入训练好的超图神经网络进行数据分类，包括：
数据预处理：首先，将多模态数据输入训练好的超图神经网络，采用KNN方法聚合单一模态信息；然后，构建成超图；最后，通过超图拼接的方式组合成完整的多模态数据；
ECA注意力机制层的具体执行过程：首先，输入特征图即多模态数据进行全局平均池化操作；其次，进行卷积核大小为k的1维卷积操作，并经过Sigmoid激活函数得到各个通道的权重w；最后，将权重与原始输入特征图对应元素相乘，得到最终输出特征图；
MLP-1的具体执行过程：首先，将ECA注意力机制模块输出的最终输出特征图进行1个通道输入、16个通道输出的一维卷积；然后，通过Sigmoid激活函数使超图神经网络成为非线性超图神经网络；最后，进行dropout操作，防止过拟合现象；
MLP-2的具体执行过程：首先，将MLP-1输出的结果进行16个通道输入、32个通道输出、步长为2的一维卷积；然后，通过Sigmoid激活函数使超图神经网络成为非线性超图神经网络；最后，进行dropout操作，防止过拟合现象；采用SoftMax函数得到数据分类结果，选择具有最高概率的类别，从而得到数据的分类结果。
进一步优选的，ECA注意力机制层中的Sigmoid激活函数如式(I)所示：
ω＝σ(C1Dk(y))(I)
式(I)中，C1D代表一维卷积，k代表卷积核大小，ω是在训练过程中的权重，σ代表表示sigmoid激活函数，y是表示特征图。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现基于多模态数据的超图神经网络的数据分类方法的步骤。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现基于多模态数据的超图神经网络的数据分类方法的步骤。
一种基于多模态数据的超图神经网络的数据分类系统，包括：
多模态数据建模模块，被配置为：将数据集转化为多模态超图矩阵；
超图神经网络构建及训练模块，被配置为：通过多模态超图矩阵训练构建的超图神经网络Ma-HGNN+，得到训练好的超图神经网络；
数据分类模块，被配置为：将待分类数据转化为多模态超图矩阵，并输入训练好的超图神经网络进行数据分类。
本发明的有益效果为：
1、本发明提出的超图神经网络Ma-HGNN+是一种比现有方法更有效、更稳健的方法。能挖掘更深层次的信息，利用好高阶隐藏信息，对其他有潜在超图结构的数据集具有泛化性能。
2、本发明利用已有数据的丰富信息进行模型训练。这个过程包括数据的特征提取、模型的参数调整和模型的训练迭代，以确保模型能够充分理解已有数据的特点和模式。这种训练过程采用了先进的深度学习和神经网络技术，使模型能够更好地捕捉数据的复杂关系。
3、本发明可以对已有数据进行高度精确的分类，这一分类的准确性是基于训练数据的广泛多样性和质量。本发明能够将已有数据的知识转化为对新增数据的深刻理解，并以高精度进行分类。
4、本发明可用于对新增数据的类别进行判断，其主要应用领域包括但不限于数据科学、人工智能，自动化决策系统和医疗诊断。本发明能够迅速而精确地确定新数据点的类别，无需复杂的手动规则或预定义的模型。这一创新的方法通过训练过程将已有数据的知识提取出来，从而为新增数据提供了无缝的分类。
附图说明
图1为本发明超图神经网络的网络架构示意图；
图2(a)为在Cora数据集上若干现有模型与本发明Ma-HGNN+的平均准确率的对比示意图；
图2(b)为在PubMed数据集上若干现有模型与本发明Ma-HGNN+的平均准确率的对比示意图；
图2(c)为在CiteSeer数据集上若干现有模型与本发明Ma-HGNN+的平均准确率的对比示意图；
图2(d)为在Cooking-200Dataset数据集上若干现有模型与本发明Ma-HGNN+的平均准确率的对比示意图；
图3(a)在Cora数据集上HGNN+与本发明Ma-HGNN+的随机删除节点与结构信息的平均准确率对比示意图；
图3(b)在PubMed数据集上HGNN+与本发明Ma-HGNN+的随机删除节点与结构信息的平均准确率对比示意图；
图3(c)在CiteSeer数据集上HGNN+与本发明Ma-HGNN+的随机删除节点与结构信息的平均准确率对比示意图；
图4(a)为在时空数据集上HGNN+与本发明Ma-HGNN+的指标r2scora对比示意图；
图4(b)为在时空数据集上HGNN+与本发明Ma-HGNN+的指标acc对比示意图；
图4(c)为在时空数据集上HGNN+与本发明Ma-HGNN+的指标mean_squared_error对比示意图；
图4(d)为在时空数据集上HGNN+与本发明Ma-HGNN+的指标f1score对比示意图。
具体实施方式
下面结合说明书附图和实施例对本发明作进一步限定，但不限于此。
实施例1
一种基于多模态数据的超图神经网络的数据分类方法，包括：
多模态数据建模，将数据集转化为多模态超图矩阵；
例如，该数据集为引文网络数据集即Cora数据集，是一个常用的图数据集，主要用于图神经网络(GNN)和节点分类任务的评估。Cora数据集包括数据类型、节点属性及节点标签；数据类型，是指：Cora数据集是一个引文网络，表示了学术论文和它们之间的引用关系。每个节点代表一篇论文，每个边表示一篇论文引用了另一篇论文。节点属性，是指：每个节点(论文)具有一个特征向量，通常是词袋模型中的关键词频率。这些特征描述了论文的内容。节点标签，是指：每个节点都有一个标签，代表论文所属的学科类别(例如，机器学习、人工智能、数据挖掘等)。
通过多模态超图矩阵训练构建的超图神经网络Ma-HGNN+，得到训练好的超图神经网络；
将待分类数据转化为多模态超图矩阵，并输入训练好的超图神经网络进行数据分类。
实施例2
根据实施例1所述的一种基于多模态数据的超图神经网络的数据分类方法，其区别在于：
多模态数据建模，包括：
超图是图的更广泛形式，与图的最大区别在于边不仅仅只连接两个顶点。将超图定义为其中，/>代表超图中的顶点，/>代表超边，/>代表超边权重的对角矩阵；构建的超图是一个k-uniform超图，根据同一模态内顶点的相似度构建的；计算顶点特征之间的余弦相似度，选择最近的k个顶点形成超边，为了更好的表达高阶关系，超图/>由一个/>的关联矩阵H来描述超图结构，如式(I)所示：
式(I)中，即关联矩阵H；
对于一个顶点和超边/>对角矩阵/>和D(e)分别是顶点/>和超边e的度矩阵，/>和D(e)的定义分别如式(II)、式(III)所示：
式(II)、式(III)中，代表超边权重的对角矩阵，/>在图神经网络中是用来描述图节点之间连接强度的矩阵，/>中的每个元素/>表示节点i到节点j的连接权重，该权重表示节点之间的关系强度或影响程度；
邻接矩阵表示超图中各节点的关联；/>的定义如式(IV)所示：
式(IV)中，即/>
拉普拉斯矩阵是图的表示形式，在超图中，采用超图的拉普拉斯矩阵来表示超图，超图的标准化形式拉普拉斯矩阵定义如式(V)所示：
式(V)中，是单位矩阵，/>是顶点v的度矩阵的负二分之一次方；
最终转化得到的多模态超图矩阵即为通过式(V)得到的拉普拉斯矩阵由此，将数据集转化为多模态超图矩阵。输入超图神经网络中进行训练。
拉普拉斯矩阵是图论和网络分析中的关键数学工具，用于描述和分析图的结构和性质，对于解决各种图相关的问题非常有用。以下是拉普拉斯矩阵的一些主要性质：
半正定性：拉普拉斯矩阵是半正定矩阵，意味着其所有特征值非负。这个性质在很多应用中很有用，包括图分割和谱聚类。
对称性：拉普拉斯矩阵是对称矩阵，其元素对称于主对角线。
零特征值：拉普拉斯矩阵的最小特征值为零。这与图的连通性有关，如果图是连通的，则拉普拉斯矩阵的最小特征值为零。
特征向量：拉普拉斯矩阵的特征向量对应于图的连通分量。如果图是连通的，则只有一个特征向量对应于零特征值，该特征向量是常数向量。
度矩阵：拉普拉斯矩阵可以分解为度矩阵(Degree Matrix)与邻接矩阵(Adjacency Matrix)之差，即L＝D-A，其中D为度矩阵，A为邻接矩阵。
图的谱性质：拉普拉斯矩阵的特征值和特征向量与图的结构有关，可以用于图的分析、聚类和嵌入等任务。
图的切割：拉普拉斯矩阵的特征向量可以用于图的最小割问题，即将图分成两个子图的问题。
图的连通性：拉普拉斯矩阵的零特征值的个数等于图的连通分量的个数，这与图的连通性有关。
实施例3
根据实施例1所述的一种基于多模态数据的超图神经网络的数据分类方法，其区别在于：
如图1所示，超图神经网络Ma-HGNN+包括ECA注意力机制层(ECA Attention)、两层MLP层包括MLP-1及MLP-2、Batch Normalization层、ReLU层、Dropout层、两层Linear层；
ECA注意力机制层用于：在特征图的通道之间引入注意力权重；以增强模型对不同通道的特征的关注。它有助于模型更好地捕捉到最有用的特征，从而提高性能。
两层MLP层用于：MLP层是多层感知器的缩写，引入非线性变换和特征提取；这两个MLP层可能有不同数量的神经元，每个神经元执行线性组合和非线性激活操作，有助于学习复杂的特征。
Batch Normalization层用于：规范化每个层的输入，以使其具有零均值和单位方差；这有助于加速训练并提高模型的稳定性。
ReLU层用于：ReLU(修正线性单元)是一种激活函数，引入非线性性，将输入信号的负部分截断为零，保留正部分；这有助于网络学习非线性特征。
Dropout层用于：在训练期间随机丢弃若干神经元，减少过拟合；它有助于提高模型的泛化性能。
两层Linear层用于：Linear层是全连接层，执行线性变换并将其输出给下一层。
实施例4
根据实施例1所述的一种基于多模态数据的超图神经网络的数据分类方法，其区别在于：
超图神经网络Ma-HGNN+的训练过程包括：
使用Cora数据集进行模型性能评估：
数据加载：首先，将Cora数据集加载到机器学习框架中；通常使用Python库(例如，PyTorch或TensorFlow)的数据加载功能。
数据划分：将数据集分为训练集、验证集和测试集；例如，将80％的数据用于训练，10％用于验证，10％用于测试。
训练超图神经网络Ma-HGNN+：使用训练集进行模型训练，模型的输入为节点的特征向量，输出为节点的类别预测；
验证和超参数调整：使用验证集来调整模型的超参数；以获得最佳性能。涉及到学习率、层数、节点嵌入维度等超参数的调整。
评估超图神经网络Ma-HGNN+：使用测试集来评估模型的性能，可以计算准确度、精确度、召回率、F1分数等指标来衡量模型的分类性能。得到训练好的超图神经网络。
实施例5
根据实施例1所述的一种基于多模态数据的超图神经网络的数据分类方法，其区别在于：
将多模态超图矩阵输入训练好的超图神经网络进行数据分类，包括：
数据预处理：首先，将多模态数据输入训练好的超图神经网络，多模态数据是指由两种或两种以上不同模态(数据类型)组成的数据集合。这些不同模态的数据类型可以包括文本、图像、音频、视频等多种形式。模型主要应用于文本形式的时间，空间等不同模态的数据。采用KNN方法聚合单一模态信息；采用机器学习方法KNN方法对单一模态数据例如文本形式的时间数据进行聚合。KNN是一种基于K最近邻算法的图结构，它用于捕获数据点之间的近邻关系。在KNN图中，每个数据点通常表示为图的节点，而边表示数据点之间的近邻关系。当使用KNN构建超图时，通常的输出是一个图，其中包含了数据点之间的连接信息。然后，构建成超图；当使用KNN构建超图时，通常的输出是一个图，其中包含了数据点之间的连接信息。这个图就是超图；最后，通过超图拼接的方式组合成完整的多模态数据；将一个矩阵放在另一个矩阵的旁边，就像把它们放在一起形成一个更宽的矩阵。这通常在列方向上进行，使得两个矩阵的行数必须相同。数据预处理使得超图神经网络拟合速度加快；数据预处理模块使得网络拟合速度加快。
ECA注意力机制层的具体执行过程：首先，输入特征图即多模态数据进行全局平均池化操作；特征图是神经网络中的一种数据结构，它是输入图像通过卷积操作后的输出。特征图是一个多通道的矩阵，每个通道对应于网络在图像中检测到的不同特征或模式。例如，一个通道可能捕捉到图像的边缘信息，而另一个通道可能捕捉到纹理信息。其次，进行卷积核大小为k的1维卷积操作，并经过Sigmoid激活函数得到各个通道的权重w；最后，将权重与原始输入特征图对应元素相乘，得到最终输出特征图；
本发明使用了ECA注意力机制，ECA注意力机制模块是为了解决传统注意力机制在计算效率上的不足。传统的注意力机制通常依赖于全局的平均池化或最大池化来捕捉全局信息，这会导致计算量大大增加。相比之下，ECA注意力模块通过使用一维卷积操作，仅关注通道维度上的特征响应，从而显著减少了计算复杂度。ECA注意力机制的最大优势在于空间感知，通过考虑通道维度上的特征响应，ECA模块能够在保留空间信息的同时，捕捉通道之间的相关性。使用了ECA注意力机制后，本发明在平均准确率上进一步提升，并且在训练时间上没有显著增加。
MLP-1的具体执行过程：首先，将ECA注意力机制模块输出的最终输出特征图进行1个通道输入、16个通道输出的一维卷积；然后，通过Sigmoid激活函数使超图神经网络成为非线性超图神经网络；最后，进行dropout操作，防止过拟合现象；
MLP-2的具体执行过程：首先，将MLP-1输出的结果进行16个通道输入、32个通道输出、步长为2的一维卷积；然后，通过Sigmoid激活函数使超图神经网络成为非线性超图神经网络；最后，进行dropout操作，防止过拟合现象；采用SoftMax函数得到数据分类结果，Softmax函数是一种用于多类别分类问题的激活函数，它将神经网络的原始输出(也称为logits或分数)转换为表示每个类别的概率分布，然后选择具有最高概率的类别，从而得到数据的分类结果。
ECA注意力机制层和MLP层使得网络性能得到了提升。
ECA注意力机制模块主要是为了通过考虑每个通道及其k个邻居进行局部跨通道交互信息，因此需要确定通道交互信息的大致范围，ECA注意力机制层中的Sigmoid激活函数如式(I)所示：
ω＝σ(C1Dk(y))(I)
式(I)中，C1D代表一维卷积，k代表卷积核大小，ω是在训练过程中的权重，σ代表表示sigmoid激活函数，y是表示特征图。
在本实施例中，Ma-HGNN+与其他几种深度学习方法进行了比较，也包括几种超图卷积网络方法。通过在主流模型上进行5折交叉验证实验对比，随机删除关系结构和节点信息，和在时空数据集上进行测试这三项实验表明Ma-HGNN+模型是一种比现有方法更有效、更稳健的方法。
本发明使用平均准确率(acc)来评估模型性能，分别在Cora,PubMed,CiteSeer,Cooking-200Dataset这四个数据集上进行对比，图2(a)为在Cora数据集上若干现有模型与本发明Ma-HGNN+的平均准确率的对比示意图；图2(b)为在PubMed数据集上若干现有模型与本发明Ma-HGNN+的平均准确率的对比示意图；图2(c)为在CiteSeer数据集上若干现有模型与本发明Ma-HGNN+的平均准确率的对比示意图；图2(d)为在Cooking-200Dataset数据集上若干现有模型与本发明Ma-HGNN+的平均准确率的对比示意图；图2(a)至图2(d)展示了本发明比其他目前主流的深度学习方法具有更先进的性能。这是由于本发明利用了数据中的结构关系，即节点与边的关系。在构造图的阶段，就将节点与超边联系起来再输入模型，模型在开始就能根据结构关系学习到更多的信息，在平均准确率上远高于其他模型。图3(a)在Cora数据集上HGNN+与本发明Ma-HGNN+的随机删除节点与结构信息的平均准确率对比示意图；图3(b)在PubMed数据集上HGNN+与本发明Ma-HGNN+的随机删除节点与结构信息的平均准确率对比示意图；图3(c)在CiteSeer数据集上HGNN+与本发明Ma-HGNN+的随机删除节点与结构信息的平均准确率对比示意图；图3(a)至图3(c)展示了随机删除节点与结构信息的平均准确率对比图。本发明证明了我们能挖掘更深层次的信息，利用好高阶隐藏信息。
本发明为了验证其泛化性，即对于新的数据集是否还能保持其先进的性能，我们在时空数据集上与目前最新先进的模型进行了对比。图4(a)为在时空数据集上HGNN+与本发明Ma-HGNN+的指标r2scora对比示意图；图4(b)为在时空数据集上HGNN+与本发明Ma-HGNN+的指标acc对比示意图；图4(c)为在时空数据集上HGNN+与本发明Ma-HGNN+的指标mean_squared_error对比示意图；图4(d)为在时空数据集上HGNN+与本发明Ma-HGNN+的指标f1score对比示意图。r2scora,mean_squared_error和f1score三个指标都保持了其优势，而在平均准确率(acc)上，也能在绝大多数时间保持其优势。这证明了本发明与其他主流模型对比更能利用数据之间的高阶隐藏关系，对其他有潜在超图结构的数据集具有泛化性能。
本发明使用了五个真实数据集(Cora,PubMed,CiteSeer,Cooking-200Dataset，and ACProduction-2000Dataset)并与多种方法做对比，在没有任何前提假设的情况下利用了模态数据内部相似性的优势，并在超图中对数据进行建模。在过程中，本发明进行数据分析、探索互连关系和为相似数据做出类别预测。此外，我们在网络的训练过程中引入了注意机制模块和多层感知器(MLP)模块，有效利用了高阶隐藏数据和关键数据。在具有潜在超图特征的数据集上表现出与其他深度学习方法更好的性能。
实施例6
一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现实施例1-5任一所述的基于多模态数据的超图神经网络的数据分类方法的步骤。
实施例7
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现实施例1-5任一所述的基于多模态数据的超图神经网络的数据分类方法的步骤。
实施例8
一种基于多模态数据的超图神经网络的数据分类系统，包括：
多模态数据建模模块，被配置为：将数据集转化为多模态超图矩阵；
超图神经网络构建及训练模块，被配置为：通过多模态超图矩阵训练构建的超图神经网络Ma-HGNN+，得到训练好的超图神经网络；
数据分类模块，被配置为：将待分类数据转化为多模态超图矩阵，并输入训练好的超图神经网络进行数据分类。

Claims (9)

1.一种基于多模态数据的超图神经网络的数据分类方法，其特征在于，包括：
多模态数据建模，将数据集转化为多模态超图矩阵；
通过多模态超图矩阵训练构建的超图神经网络Ma-HGNN+，得到训练好的超图神经网络；
将待分类数据转化为多模态超图矩阵，并输入训练好的超图神经网络进行数据分类。
2.根据权利要求1所述的一种基于多模态数据的超图神经网络的数据分类方法，其特征在于，多模态数据建模，包括：
将超图定义为其中，/>代表超图中的顶点，/>代表超边，/>代表超边权重的对角矩阵；构建的超图是一个k-uniform超图，根据同一模态内顶点的相似度构建的；计算顶点特征之间的余弦相似度，选择最近的k个顶点形成超边，超图/>由一个/>的关联矩阵H来描述超图结构，如式(I)所示：
式(I)中，即关联矩阵H；
对于一个顶点和超边/>对角矩阵/>和D(e)分别是顶点/>和超边e的度矩阵，/>和D(e)的定义分别如式(II)、式(III)所示：
式(II)、式(III)中，代表超边权重的对角矩阵，/>在图神经网络中是用来描述图节点之间连接强度的矩阵，/>中的每个元素/>表示节点i到节点j的连接权重，该权重表示节点之间的关系强度或影响程度；
邻接矩阵表示超图中各节点的关联；/>的定义如式(IV)所示：
式(IV)中，即/>
在超图中，采用超图的拉普拉斯矩阵来表示超图，超图的标准化形式拉普拉斯矩阵定义如式(V)所示：
式(V)中，是单位矩阵，/>是顶点v的度矩阵的负二分之一次方；
最终转化得到的多模态超图矩阵即为通过式(V)得到的拉普拉斯矩阵
3.根据权利要求1所述的一种基于多模态数据的超图神经网络的数据分类方法，其特征在于，超图神经网络Ma-HGNN+包括ECA注意力机制层(ECA Attention)、两层MLP层包括MLP-1及MLP-2、Batch Normalization层、ReLU层、Dropout层、两层Linear层；
ECA注意力机制层用于：在特征图的通道之间引入注意力权重；
两层MLP层用于：引入非线性变换和特征提取；
Batch Normalization层用于：规范化每个层的输入，以使其具有零均值和单位方差；
ReLU层用于：引入非线性性，将输入信号的负部分截断为零，保留正部分；
Dropout层用于：在训练期间随机丢弃若干神经元，减少过拟合；
两层Linear层用于：执行线性变换并将其输出给下一层。
4.根据权利要求1所述的一种基于多模态数据的超图神经网络的数据分类方法，其特征在于，超图神经网络Ma-HGNN+的训练过程包括：
数据加载：首先，将Cora数据集加载到机器学习框架中；
数据划分：将数据集分为训练集、验证集和测试集；
训练超图神经网络Ma-HGNN+：使用训练集进行模型训练，模型的输入为节点的特征向量，输出为节点的类别预测；
验证和超参数调整：使用验证集来调整模型的超参数；
评估超图神经网络Ma-HGNN+：使用测试集来评估模型的性能，得到训练好的超图神经网络。
5.根据权利要求1所述的一种基于多模态数据的超图神经网络的数据分类方法，其特征在于，将多模态超图矩阵输入训练好的超图神经网络进行数据分类，包括：
数据预处理：首先，将多模态数据输入训练好的超图神经网络，采用KNN方法聚合单一模态信息；然后，构建成超图；最后，通过超图拼接的方式组合成完整的多模态数据；
ECA注意力机制层的具体执行过程：首先，输入特征图即多模态数据进行全局平均池化操作；其次，进行卷积核大小为k的1维卷积操作，并经过Sigmoid激活函数得到各个通道的权重w；最后，将权重与原始输入特征图对应元素相乘，得到最终输出特征图；
MLP-1的具体执行过程：首先，将ECA注意力机制模块输出的最终输出特征图进行1个通道输入、16个通道输出的一维卷积；然后，通过Sigmoid激活函数使超图神经网络成为非线性超图神经网络；最后，进行dropout操作，防止过拟合现象；
MLP-2的具体执行过程：首先，将MLP-1输出的结果进行16个通道输入、32个通道输出、步长为2的一维卷积；然后，通过Sigmoid激活函数使超图神经网络成为非线性超图神经网络；最后，进行dropout操作，防止过拟合现象；采用SoftMax函数得到数据分类结果，选择具有最高概率的类别，从而得到数据的分类结果。
6.根据权利要求5所述的一种基于多模态数据的超图神经网络的数据分类方法，其特征在于，ECA注意力机制层中的Sigmoid激活函数如式(I)所示：
ω＝σ(C1Dk(y))(I)
式(I)中，C1D代表一维卷积，k代表卷积核大小，ω是在训练过程中的权重，σ代表表示sigmoid激活函数，y是表示特征图。
7.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1-6任一所述的基于多模态数据的超图神经网络的数据分类方法的步骤。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-6任一所述的基于多模态数据的超图神经网络的数据分类方法的步骤。
9.一种基于多模态数据的超图神经网络的数据分类系统，其特征在于，包括：
多模态数据建模模块，被配置为：将数据集转化为多模态超图矩阵；
超图神经网络构建及训练模块，被配置为：通过多模态超图矩阵训练构建的超图神经网络Ma-HGNN+，得到训练好的超图神经网络；
数据分类模块，被配置为：将待分类数据转化为多模态超图矩阵，并输入训练好的超图神经网络进行数据分类。
CN202311341948.9A 2023-10-17 2023-10-17 一种基于多模态数据的超图神经网络的数据分类方法及系统 Pending CN117349743A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311341948.9A CN117349743A (zh) 2023-10-17 2023-10-17 一种基于多模态数据的超图神经网络的数据分类方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311341948.9A CN117349743A (zh) 2023-10-17 2023-10-17 一种基于多模态数据的超图神经网络的数据分类方法及系统

Publications (1)

Publication Number Publication Date
CN117349743A true CN117349743A (zh) 2024-01-05

Family

ID=89368766

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311341948.9A Pending CN117349743A (zh) 2023-10-17 2023-10-17 一种基于多模态数据的超图神经网络的数据分类方法及系统

Country Status (1)

Country Link
CN (1) CN117349743A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118095962A (zh) * 2024-04-18 2024-05-28 华北理工大学 一种基于双模态超图神经网络的人造块矿质量预测系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118095962A (zh) * 2024-04-18 2024-05-28 华北理工大学 一种基于双模态超图神经网络的人造块矿质量预测系统

Similar Documents

Publication Publication Date Title
CN110309331B (zh) 一种基于自监督的跨模态深度哈希检索方法
CN107636693B (zh) 针对人工神经网络的相关性分数指派
JP2023514282A (ja) 非表形式データのための自動データ分析方法、関連するシステム及び装置
CN111785329B (zh) 基于对抗自动编码器的单细胞rna测序聚类方法
Wu et al. Application of image retrieval based on convolutional neural networks and Hu invariant moment algorithm in computer telecommunications
CN111127385A (zh) 基于生成式对抗网络的医学信息跨模态哈希编码学习方法
Gu et al. Blind image quality assessment via vector regression and object oriented pooling
CN111931505A (zh) 一种基于子图嵌入的跨语言实体对齐方法
Mohammadi et al. Improving linear discriminant analysis with artificial immune system-based evolutionary algorithms
Araújo et al. Self-organizing subspace clustering for high-dimensional and multi-view data
Bahadur et al. Dimension estimation using autoencoders
CN117315381B (zh) 一种基于二阶有偏随机游走的高光谱图像分类方法
CN117349743A (zh) 一种基于多模态数据的超图神经网络的数据分类方法及系统
Qian et al. A survey on multi-label feature selection from perspectives of label fusion
Huang et al. Deep clustering based on embedded auto-encoder
CN114154557A (zh) 癌症组织分类方法、装置、电子设备及存储介质
He et al. CECAV-DNN: Collective ensemble comparison and visualization using deep neural networks
Yun et al. Attributes learning network for generalized zero-shot learning
CN113516019A (zh) 高光谱图像解混方法、装置及电子设备
Dai et al. Understanding the feedforward artificial neural network model from the perspective of network flow
Jeyalakshmi et al. Accurate liver disease prediction system using convolutional neural network
JP2020123329A (ja) 人工ニューラルネットワークの関連性スコア割当て
CN115392474B (zh) 一种基于迭代优化的局部感知图表示学习方法
El Amouri et al. Constrained DTW preserving shapelets for explainable time-Series clustering
Schleider et al. A study of feature representation via neural network feature extraction and weighted distance for clustering

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination