CN113919441A - 一种基于超图变换网络的分类方法 - Google Patents

一种基于超图变换网络的分类方法 Download PDF

Info

Publication number
CN113919441A
CN113919441A CN202111294128.XA CN202111294128A CN113919441A CN 113919441 A CN113919441 A CN 113919441A CN 202111294128 A CN202111294128 A CN 202111294128A CN 113919441 A CN113919441 A CN 113919441A
Authority
CN
China
Prior art keywords
hypergraph
matrix
node
nodes
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111294128.XA
Other languages
English (en)
Inventor
张勇
李孟燃
李小勇
张宇晴
尹宝才
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Technology
Original Assignee
Beijing University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Technology filed Critical Beijing University of Technology
Priority to CN202111294128.XA priority Critical patent/CN113919441A/zh
Publication of CN113919441A publication Critical patent/CN113919441A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了一种基于超图变换网络的分类方法,用于解决现有技术无法深刻发掘异构网络中的高阶语义信息,进而无法准确进行分类的问题。本方法提出了一个端到端的超图变换网络(Hypergraph Transformer Neural Networks,HGTN),利用超边增幅节点间的沟通能力学习高阶关系,并挖掘不同类型节点间的语义信息。具体地,利用注意力机制为不同类型超图分配权重,级联学习原始异构超图中隐含的高阶语义信息,生成有用的元路径,以端到端的方式学习节点嵌入特征,完成节点分类任务。该方法具有良好的准确率与普适性,适用于引文网络,媒体网络,社交网络等异构网络的节点分类任务。

Description

一种基于超图变换网络的分类方法
技术领域
本发明主要涉及图挖掘、深度神经网络算法和节点划分领域,具体是一种基于超图变换网络的分类方法。
背景技术
近年来,将深度网络应用到非欧氏数据处理任务中已经引起了广泛关注。其中图神经网络的出现使得上述任务取得了重大突破。普通图一条边可以连接两个顶点,表示成对节点间的关系与消息传播。但对于复杂的多对多关系,简单图将会丢失很多有用的高阶信息。例如,将论文作为节点,节点相连的条件为属于同一作者创作。对于简单图而言,如果两篇论文属于同一人创作,则建立连接关系。然而,现实情况并非如此简单:图中的节点有可能其他多个节点相关。如同一位作者可能撰写三篇或更多文章,这可以被考虑到用于捕获实例之间的高阶依赖关系。因此,对于多元关系反映出的数据结构,普通图捕获节点或边中隐含的高阶信息的能力较差。
再者,现实中的网络数据大多是异构的,如社交网络、引用网络以及知识图谱等。异构网络的节点或边属于不同的类型,节点间关系隐含了大量的语义信息。在传统的图卷积网络中,这种复杂的语义关系编码中易被忽略。以往研究中有学者提出使用元路径构建异构图表示模型,学习节点的潜在空间表示。但是,此类方法元路径的构建过分依赖于专家定义权重,难以选择最优的元路径。还有学者基于随机游走方法自动更新元路径,比如metapath2vec。该方法将random walk和skip2gram框架拓展到异质图来表达不同类型节点间的语义和结构关联。但其在训练前仍需提供预先设计好的元路径方案。
因此,异构网络的学习和表示主要有如下两个挑战:
(1):表示多元关系隐含的高阶信息。普通图的一条边只能连接两个节点,因此一些节点间的高阶信息被忽略。需要增强节点之间沟通,提高高阶信息的表示能力。
(2):保留不同类型间丰富的语义关系。在异构网络中,节点的类型是多样的,连接关系包含了大量的语义信息。需要将特征向量与语义信息结合,迭代提高节点嵌入的高维表征。
发明内容
为了解决现有技术无法深入发掘异构网络的高阶节点信息,进而无法准确分类的问题,本发明提供了一个超图变换神经网络的分类方法。该方法提出了一个能够自主学习语义信息并表示高阶关系的超图变换神经网络,针对不同类型关系网络构建异构超图,利用注意力机制生成元路径来表示超图更丰富的语义关系,并通过超图神经网络学习具有语义信息的图关系的高阶节点嵌入。本发明的具体步骤如下:
1.超图作为一种广义的图,是多元关系数据的一种形象直观的数学表达。不同于普通图结构,超图的一条超边可以连接多个节点。因此可以更加准确的描述存在多元关联的对象之间的关系,更容易表示数据更高阶的信息。获取超图邻接矩阵A的步骤如下:
1.1)计算超图关联矩阵H
关联矩阵可用矩阵
Figure BDA0003335857860000021
表示,H纵轴表示节点v,横轴表示超边e,其中N为最大节点数,M为最大超边数。矩阵内元素H(v,e)定义为:
Figure BDA0003335857860000022
1.2)计算节点度矩阵Dv和边度矩阵De
Figure BDA0003335857860000023
Figure BDA0003335857860000024
均为对角矩阵,分别表示超图节点的度矩阵和超边的度矩阵,超图节点i的度矩阵内元素Dv(i,i)定义为:
Figure BDA0003335857860000025
超边i的度矩阵De(i,i)内元素定义为:
Figure BDA0003335857860000026
1.3)计算超图邻接矩阵A
超图的邻接矩阵
Figure BDA0003335857860000027
表示超图内每个节点的连接关系,A定义为:
Figure BDA0003335857860000028
2.获取异构超图邻接矩阵
Figure BDA0003335857860000029
以论文网络为例,节点通过不同类型的语义(是否属于同一作者,是否属于同一会议,是否属于同一关键词)进行连接,因此可以构建τ=3个超图邻接矩阵
Figure BDA00033358578600000210
∏(·)为叠加操作。
3.计算元超图
Figure BDA0003335857860000031
元路径P被定义为:以
Figure BDA0003335857860000032
这实际上是在节点类型V1,Vl之间定义了一个组合关系
Figure BDA0003335857860000033
代表着关系间的组合操作。以引用网络为例,元路径“APA”代表两个作者(A)在一篇论文(P)上的合著关系,邻接矩阵表示为:AAPA=AAP×APA,“APCPA”代表两个作者(A)在同一会议(C)上分别发表论文(P),邻接矩阵表示为:AAPCPA=AAPC×ACPA。因此不同类型的节点间的语义信息可以通过不同长度的元路径来表示。
将异构超图邻接矩阵
Figure BDA0003335857860000034
输入到级联注意力变换模块,通过该模块的注意力机制学习l+1个不同类型图结构的权重矩阵Q,并将l+1个矩阵Q相乘,生成长度为l+1的元超图
Figure BDA0003335857860000035
来学习语义关系,
1.1)注意力层:引入卷积核
Figure BDA0003335857860000036
学习异构超图邻接矩阵
Figure BDA0003335857860000037
的注意力参数α,即可获得每一层单超图
Figure BDA0003335857860000038
的权重αt,将所有的
Figure BDA0003335857860000039
相加后的到权重矩阵Q。
Figure BDA00033358578600000310
可通过注意力层生成l+1个权重矩阵Q,每一次生成Q的卷积核参数均不相同。
1.2)元路径层:为了表示迭代过程,将初始异构超图的邻接矩阵
Figure BDA00033358578600000311
记为
Figure BDA00033358578600000312
以3.中1.1)对
Figure BDA00033358578600000313
进行两次操作,分别得到两个带有权重的超图Q1 (1),Q2 (1),并做矩阵乘法,得到一个长度为2的元路径矩阵
Figure BDA00033358578600000314
随后在
Figure BDA00033358578600000315
中提取一个带有权重的超图Q1 (2)
Figure BDA00033358578600000316
相乘得到长度为3的元路径矩阵
Figure BDA00033358578600000317
依次类推,最后得到长度为l+1的元路径矩阵
Figure BDA00033358578600000318
具体公式为:
Figure BDA00033358578600000319
其中l一般设置为类型最大值,即l=τ。
4.学习节点嵌入特征XE
超图的拉普拉斯矩阵虽可表示节点间的关系,但与普通图相异。如图3所示,超图中同一个超边内的所有节点都可自由沟通,且同一超边内的节点都被赋予相同的贡献:
Figure BDA0003335857860000041
若某节点同时存在两个或两个以上超边,则他们之间的沟通能力
Figure BDA0003335857860000042
是多个超边贡献的加权,记做
Figure BDA0003335857860000043
因此,超图神经网络在传播中可基于超边贡献学习更多的高阶关系。与随机游走融合,可建立矩阵θ表示超图上随机游走的概率矩阵,矩阵内每个元素的值为:
Figure BDA0003335857860000044
其中
Figure BDA0003335857860000045
为每个节点被选择到的概率,Θ的矩阵归一化形式可表示为:
Figure BDA0003335857860000046
将生成的元路径矩阵
Figure BDA0003335857860000047
与节点特征矩阵X同时输入到超图特征嵌入模块中,通过超图神经网络学习节点嵌入特征,表示高阶关系,其中超边卷积传递公式为:
Figure BDA0003335857860000048
其中
Figure BDA0003335857860000049
为第l层训练中要学习的参数。
具体预测过程为:
输入
Figure BDA00033358578600000410
和X到HGNN_conv_1层,并通过激活函数Relu学习嵌入特征X1,输入到Dropout解决过拟合问题得到X2,接下来采取相同操作:输入
Figure BDA00033358578600000411
和X2到HGNN_conv_2层,并通过激活函数Relu学习嵌入特征X3,输入到Dropout解决过拟合问题得到节点嵌入特征XE
5.得到节点所属类别:
接下来将超图卷积学习到的嵌入特征XE表示输入到MLP层中.MLP层由多个神经元组成,可以用公式f(X,W,b)来表示:
Figure BDA00033358578600000412
其中,σ(·)为非线性激活函数,sl为第l层神经元的个数,
Figure BDA00033358578600000413
为从(l)层第j个神经元与(l)层第i个神经元之间的连接权重;
Figure BDA00033358578600000414
为第(l)层第i个神经元的偏置传递公式如下:
X(l+1)=σ(W(l+1)X(l)+b(l+1)).
将MLP最后一层的神经元个数设置为总类别数,通过激活函数输出每个学生不同成绩类别的概率,经过交叉熵损失函数进行训练,最终预测学生成绩
Figure BDA0003335857860000051
有益效果
本发明提出了一种基于超图变换神经网络的分类方法,方法称为HGTN。方法引入了Transformer中的注意力机制来捕获超边中节点的语义关系,通过超图卷积网络学习更有效的节点表示。与传统模型相比,HGTN的最大优势是可以捕捉到高阶关系的语义信息,赋予节点更有效的沟通能力。本发明在引用网络、社交网络、媒体网络进行节点分类任务,评估HGTN方法的性能。实验结果证明该发明提出的方法在性能上优于现有方法。HGTN在高阶网络中融入语义知识进行表示学习,在社交媒体,个性推荐等许多任务有相当大的应用潜力。
附图说明
图1超图变换层
图2引文网络分类结果
图3媒体网络分类结果
图4社交网络分类结果
图5(a)消融实验的查确率;
图5(b)消融实验的召回率;
图5(c)消融实验的精确度;
图5(d)消融实验的准确率F1系数;
图6(a)DBLP数据集上的语义验证;
图6(b)ACM数据集上的语义验证;
图6(c)REUT数据集上的语义验证;
图6(d)IMDB数据集上的语义验证;
图7超参数验证结果
图8(a)鲁棒性实验的精确度;
图8(b)消融实验的F1系数;
图9 HGTN模型框架
具体实施方式
本方法实验环境为:Ubuntu18.04.5,GeForce RTX 3090 24GB,CUDA=11.2,python=3.8.3,pytorch=1.7.1。划分出训练集和测试集,划分比例为0.8。主要参数设置为:Epoch=500,learn rate=0.0005,weight decay=0.001。
获取论文数据,将数据集制作成节点特征X以及图结构两个部分。其中节点特征为论文题目的ONE-HOT编码,图结构则描述了节点的拓扑结构。关联矩阵可用矩阵
Figure BDA00033358578600000615
表示,H纵轴表示节点v,横轴表示超边e,其中N为最大节点数,M为最大超边数。矩阵内元素H(v,e)定义为:
Figure BDA0003335857860000061
计算
Figure BDA0003335857860000062
Figure BDA0003335857860000063
超图节点i的度矩阵内元素Dv(i,i)定义为:
Figure BDA0003335857860000064
超边i的度矩阵De(i,i)内元素定义为:
Figure BDA0003335857860000065
超图的邻接矩阵
Figure BDA0003335857860000066
表示超图内每个节点的连接关系,A定义为:
Figure BDA0003335857860000067
节点通过不同类型的语义(是否属于同一作者,是否属于同一会议,是否属于同一关键词)进行连接,因此可以构建τ=3个超图邻接矩阵
Figure BDA0003335857860000068
∏(·)为叠加操作。
引入卷积核
Figure BDA0003335857860000069
学习异构超图邻接矩阵
Figure BDA00033358578600000610
的注意力参数α,即可获得每一层单超图
Figure BDA00033358578600000611
的权重αt,将所有的
Figure BDA00033358578600000612
相加后的到权重矩阵Q。可通过注意力层生成l+1个权重矩阵Q,每一次生成Q的卷积核参数均不相同,将l+1个权重矩阵Q相乘得到元路径矩阵
Figure BDA00033358578600000613
其中l一般设置为类型最大值,即l=τ。
将生成的元路径矩阵
Figure BDA00033358578600000614
与节点特征矩阵X同时输入到超图特征嵌入模块中,通过超图神经网络学习节点嵌入特征,表示高阶关系,超图特征嵌入模块包括第一超边卷积HGNN_conv_1,第二超边卷积HGNN_conv_2,Dropout,激活函数Relu,全连接层Linear,具体连接关系为HGNN_conv_1→Relu→Dropout→HGNN_conv_2→Relu→Dropout→Linear。
输入
Figure BDA0003335857860000071
和X到HGNN_conv_1层,并通过激活函数Relu学习嵌入特征X1,输入到Dropout解决过拟合问题得到X2,接下来采取相同操作:输入
Figure BDA0003335857860000072
和X2到HGNN_conv_2层,并通过激活函数Relu学习嵌入特征X3,输入到Dropout解决过拟合问题得到节点嵌入特征XE。将得到的嵌入特征XE输入到MLP层,MLP由线性神经元和激活函数组成,经过交叉熵损失函数进行SGD梯度下降迭代训练,最终得到节点所属类别
Figure BDA0003335857860000073
本发明在不仅在引用网络,还在媒体网络、社交网络领域共六个数据集上进行实验。但所有数据集均可被表示为节点特征和拓扑关系两种输入。同时,在图关系表示、图神经网络、超图神经网络三类模型中选取了几种先进方法。从多个角度对比这些方法在异构网络分析任务上性能。
实验在不同的领域选择了六个数据集:
DBLP:DBLP网站提取的论文引用网络,共包含三个节点关系图:合著(两名作者合作发表同一篇论文),共同参会(两名作者共同参加同一会议),共同关键词(两名作者使用同一关键词)。
ACM:ACM库中的论文引用网络。共包含三个节点关系图:共同作者(两篇论文包含同一作者),共同参会(两篇论文共同参加同一会议),共同关键词(两篇论文出现同一关键词)。
CITE:论文引用网络,描述了世界顶级会议论文之间的引用。根据特征构建2个knn节点关系图。
IBDM:数据来自IMDB电影介绍及评分网站。共包含三个节点关系图:合作演员(两部电影包含同一演员),共同导演(两部电影包含同一导演),共同年份(两部电影发行在同一年份)。
REUT:包含许多短新闻及其对应的主题,由路透社在1986年发布。它是一个简单的、广泛使用的文本分类数据集。根据特征构建2个knn节点关系图。
STUD:数据收集于一所大学的学生活动信息,描述了由多种行为关联构成的学生社交网络。根据不同行为可分为7个节点关系图。
本发明在图关系表示,图神经网络,超图神经网络三个领域分布选择了6种先进方法,与本发明进行比较,将6种方法介绍如下:
DeepWalk:一种将随机游走(random walk)和word2vec两种算法相结合的图结构数据挖掘算法。该算法能够学习网络的隐藏信息,能够将图中的节点表示为一个包含潜在信息的向量;
LINE:一种基于广度优先的随机游走获取上下文信息的网络,并可以通过一阶相似度和二阶相似度学习网络表示的图嵌入方法;
GCN:采用卷积操作的图神经网络,可以应用于图嵌入特征表示学习;
GAT:图神经网络,通过自注意力机制(self-attention)来对邻居节点进行聚合,实现了对不同邻居的权值自适应匹配;
HGNN:采用卷积操作的超图神经网络,可以表示学习高阶嵌入特征;
GTN:图转换网络,通过生成元路径来更新图,采用卷积表示图结构的节点特征。
为了更全面地评价HGTN的性能,本发明选取四个指标:准确率,F1分数、查准率,查全率进行对比实验。实验显卡为NVIDIA GeForce RTX 3090,24GB G6X显存。
将引用网络构成的异构超图输入到HGTN中进行节点分类。对比试验如图2所示,HGTN在大多情况下的结果优于基线方法。需要特别指出,在ACM数据集中,HGTN和GTN效果相仿,均高达0.99。这是因为两种方法均考虑到了语义信息使得分类效果近乎为100%。但是发现HGTN在CITE数据集中F1系数并不高,分析认为CITE中的图采用KNN构建,受噪声干扰较大且可挖掘语义信息较少。媒体和社交网络节点分类任务的结果如图3图4所示。HGTN在所有评价指标上均优于HGNN与GTN。且平均提升3%左右,这证明HGTN捕获到了节点的高阶语义信息,且普适性较强。
为了验证本发明对引言部分中所描述的两个挑战的解决,设置了两组消融实验:HGTN(H),HGTN(T)。HGTN(H)只针对第一个挑战,即只考虑了高阶关系,并未考虑语义关系。HGTN(T)只考虑语义关系并未考虑高阶关系。本发明将两种消融方法与HGTN在评价指标上分析,得到结果如图5所示。实验证明本发明在数据分类任务上对两个挑战均有所提升。最大提升10%,平均提升4%.
为了分析语义关系挖掘对实验结果的提升,本发明在DBLP,ACM,REUT和IMDB四个数据集上逐级地引入不同类型的超图进行元路径的生成。结果如图6所示。可以看到随着含有语义关系不同类型超图的引入,模型的评价指标也随之提高。这说明新生成的元路径确实挖掘到了有用的语义信息并提升了准确率。
通道数的加入可以帮助更好地捕获语义信息,但也会因此增加运算时间的损失。由于GTN模型也考虑了语义影响,因此本小节进一步分析了GTN与HGTN的不同通道数c(1,2,3,4,5)的对应的ACC,F1以及运算时间(图7),来确定最优参数。为保证公平性,训练参数均保持一致,训练epoch为400,学习率为0.001并多次实验计算均值。实验结果如图7所示,证明相同通道数下,HGTN的acc,f1以及时间指标均优于GTN。且c=4时模型准确率最高,运行最快速度为34s.
为了验证HGTN的鲁棒性,本发明使用STUD数据集中由行为特征隐含的噪声攻击模型。该数据集根据学校的工作和休息时间以及每个地点的功能,确定了多种学生行为特征,基于特征相似度构造超图。但该数据集存在噪声干扰。主要限制是,由于噪声和异常值,用节点之间的特征相似度衡量社交关系可能不准确。另一个问题是无法确定中心节点应该连接多少个邻居,因为最近邻居的大小可能会影响超图学习的性能。因此,本发明假设中心节点k的邻居数量的变化是干扰。在实验中,本发明分析了评价指标中不同k值的结果,结果如图8所示。在噪声干扰下,ACC和F1的变化范围较小,最佳和最差相差约3%,证明HGTN具有良好的鲁棒性。

Claims (7)

1.一种基于超图变换神经网络的分类方法,融合节点间的高阶关联和不同类型边语义信息,进行节点分类,其特征在于:将论文作为节点,论文题目的one-hot编码作为节点特征,节点通过不同类型的语义进行连接,不同类型的语义包括是否属于同一作者,是否属于同一会议,或者是否属于同一关键词,一种类型的语义连接多个节点,构成一个超图,用邻接矩阵A来表示;根据不同类型的语义构成多个超图,用邻接矩阵At来表示,其中,t=1、2、…、τ,τ为语义类型总数,这些τ个超图叠加到一起表示为异构超图邻接矩阵
Figure FDA0003335857850000011
级联注意力变换模块输入异构超图
Figure FDA0003335857850000012
经过注意力层和元路径层生成元超图
Figure FDA0003335857850000013
超图特征嵌入模块输入元超图
Figure FDA0003335857850000014
和节点特征X,输出节点特征嵌入XE;节点类别预测模块输入节点嵌入XE经过MLP层得到节点预测标签
Figure FDA0003335857850000015
2.根据权利要求1所述的一种基于超图变换神经网络的分类方法,其特征在于:所述的超图邻接矩阵A,具体获取过程如下:
1.1)计算超图关联矩阵H:
关联矩阵可用矩阵
Figure FDA0003335857850000016
表示,H纵轴表示节点v,横轴表示超边e,其中N为最大节点数,M为最大超边数,矩阵内元素H(v,e)定义为:
Figure FDA0003335857850000017
1.2)计算节点度矩阵Dv和边度矩阵De
Figure FDA0003335857850000018
Figure FDA0003335857850000019
均为对角矩阵,分别表示超图节点的度矩阵和超边的度矩阵,超图节点i的度矩阵内元素Dv(i,i)定义为:
Figure FDA00033358578500000110
超边i的度矩阵De(i,i)内元素定义为:
Figure FDA00033358578500000111
1.3)计算超图邻接矩阵A
超图的邻接矩阵
Figure FDA00033358578500000112
表示超图内每个节点的连接关系,A定义为:
Figure FDA0003335857850000021
3.根据权利要求1所述的一种基于超图变换神经网络的分类方法,其特征在于:所述的异构超图邻接矩阵
Figure FDA0003335857850000022
具体获取过程如下:
对于论文网络,节点通过τ种不同类型的语义进行连接,因此构建τ个超图邻接矩阵
Figure FDA0003335857850000023
Figure FDA0003335857850000024
∏(·)为叠加操作。
4.根据权利要求1所述的一种基于超图变换神经网络的分类方法,其特征在于:所述的级联注意力变换模块,具体操作过程如下:
将异构超图邻接矩阵
Figure FDA0003335857850000025
输入到级联注意力变换模块,通过该模块的注意力机制学习l+1个不同类型图结构的权重矩阵Q,并将l+1个矩阵Q相乘,生成长度为l+1的元超图
Figure FDA0003335857850000026
来学习语义关系,
1.1)通过注意力层生成l+1个权重矩阵Q,其中任意一个权重矩阵Q的生成过程为:引入卷积核
Figure FDA0003335857850000027
学习异构超图邻接矩阵
Figure FDA0003335857850000028
的注意力参数α,即可获得每一层单超图
Figure FDA0003335857850000029
的权重αt,将所有的
Figure FDA00033358578500000210
相加后的到权重矩阵Q,
Figure FDA00033358578500000211
每一次生成Q的卷积核参数均不相同;
1.2)利用元路径层得到长度为l+1的元路径矩阵
Figure FDA00033358578500000212
具体过程为:为了表示迭代过程,将初始异构超图的邻接矩阵
Figure FDA00033358578500000213
记为
Figure FDA00033358578500000214
以权利要求4中1.1)的公式(5)对
Figure FDA00033358578500000215
进行两次操作,分别得到两个带有权重的超图Q1 (1),Q2 (1),并做矩阵乘法,得到一个长度为2的元路径矩阵
Figure FDA00033358578500000216
其中两次操作采用不同的卷积核参数;随后在
Figure FDA00033358578500000217
中利用公式(5)提取一个带有权重的超图Q1 (2)
Figure FDA00033358578500000218
相乘得到长度为3的元路径矩阵
Figure FDA00033358578500000219
依次类推,最后得到长度为l+1的元路径矩阵
Figure FDA00033358578500000220
具体公式为:
Figure FDA00033358578500000221
Figure FDA0003335857850000031
其中,αl,t表示第l次卷积核wφ获得的
Figure FDA0003335857850000032
的第t层单超图的权重,l一般设置为类型最大值,即l=τ。
5.根据权利要求1所述的一种基于超图变换神经网络的分类方法,其特征在于:所述的超图特征嵌入模块,具体操作过程如下:
将生成的元路径矩阵
Figure FDA0003335857850000033
与节点特征矩阵X同时输入到超图特征嵌入模块中,通过超图神经网络学习节点嵌入特征,表示高阶关系,超图特征嵌入模块包括第一超边卷积HGNN_conv_1,第二超边卷积HGNN_conv_2,Dropout,激活函数Relu,全连接层Linear,具体连接关系为HGNN_conv_1→Relu→Dropout→HGNN_conv_2Relu→Dropout→Linear,
其中超边卷积传递公式为:
Figure FDA0003335857850000034
其中
Figure FDA0003335857850000035
为训练中要学习的参数,
具体预测过程为:
输入
Figure FDA0003335857850000036
和X到HGNN_conv_1层,并通过激活函数Relu学习嵌入特征X1,输入到Dropout解决过拟合问题得到X2,接下来采取相同操作:输入
Figure FDA0003335857850000037
和X2到HGNN_conv_2层,并通过激活函数Relu学习嵌入特征X3,输入到Dropout解决过拟合问题得到节点嵌入特征XE
6.根据权利要求1所述的一种基于超图变换神经网络的分类方法,其特征在于:所述的节点类别预测模块,具体操作过程如下:
将得到的嵌入特征XE输入到MLP层,MLP由线性神经元和激活函数组成,经过交叉熵损失函数进行SGD梯度下降迭代训练,最终得到论文所属类别
Figure FDA0003335857850000041
7.根据权利要求1所述的一种基于超图变换神经网络的分类方法,其特征在于:所述的节点进一步为电影、新闻、或学生活动信息。
CN202111294128.XA 2021-11-03 2021-11-03 一种基于超图变换网络的分类方法 Pending CN113919441A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111294128.XA CN113919441A (zh) 2021-11-03 2021-11-03 一种基于超图变换网络的分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111294128.XA CN113919441A (zh) 2021-11-03 2021-11-03 一种基于超图变换网络的分类方法

Publications (1)

Publication Number Publication Date
CN113919441A true CN113919441A (zh) 2022-01-11

Family

ID=79244871

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111294128.XA Pending CN113919441A (zh) 2021-11-03 2021-11-03 一种基于超图变换网络的分类方法

Country Status (1)

Country Link
CN (1) CN113919441A (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114463601A (zh) * 2022-04-12 2022-05-10 北京云恒科技研究院有限公司 一种基于大数据的目标识别的数据处理系统
CN115146695A (zh) * 2022-03-23 2022-10-04 北京工业大学 一种基于超图注意力网络的公共交通出行群体分类方法
CN115238075A (zh) * 2022-07-30 2022-10-25 北京理工大学 一种基于超图池化的文本情感分类方法
CN115242680A (zh) * 2022-07-30 2022-10-25 北京理工大学 通信网络中基于多阶段训练的图神经网络的节点分类方法
CN115545098A (zh) * 2022-09-23 2022-12-30 青海师范大学 一种基于注意力机制的三通道图神经网络的节点分类方法
CN116248522A (zh) * 2023-05-11 2023-06-09 中国电信股份有限公司四川分公司 一种业务意愿与确定性网络切片关联方法
CN116306924A (zh) * 2023-02-08 2023-06-23 西北工业大学 基于时空超图的关联信息挖掘方法
CN116521899A (zh) * 2023-05-08 2023-08-01 中国传媒大学 一种基于改进的图神经网络的文档级关系抽取算法及系统
CN116844645A (zh) * 2023-08-31 2023-10-03 云南师范大学 一种基于多视角分层超图的基因调控网络推断方法
CN117009839A (zh) * 2023-09-28 2023-11-07 之江实验室 基于异构超图神经网络的患者聚类方法和装置
CN117034778A (zh) * 2023-08-28 2023-11-10 黑龙江省网络空间研究中心(黑龙江省信息安全测评中心、黑龙江省国防科学技术研究院) 基于Hypergraph-Transformer结构反演地上生物量的方法
CN117131438A (zh) * 2023-10-27 2023-11-28 深圳市迪博企业风险管理技术有限公司 诉讼文件分析方法、模型训练方法、装置、设备及介质
CN117591675A (zh) * 2024-01-19 2024-02-23 常熟理工学院 学术引用网络的节点分类预测方法、系统及存储介质

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115146695A (zh) * 2022-03-23 2022-10-04 北京工业大学 一种基于超图注意力网络的公共交通出行群体分类方法
CN115146695B (zh) * 2022-03-23 2024-04-02 北京工业大学 一种基于超图注意力网络的公共交通出行群体分类方法
CN114463601A (zh) * 2022-04-12 2022-05-10 北京云恒科技研究院有限公司 一种基于大数据的目标识别的数据处理系统
CN114463601B (zh) * 2022-04-12 2022-08-05 北京云恒科技研究院有限公司 一种基于大数据的目标识别的数据处理系统
CN115238075A (zh) * 2022-07-30 2022-10-25 北京理工大学 一种基于超图池化的文本情感分类方法
CN115242680A (zh) * 2022-07-30 2022-10-25 北京理工大学 通信网络中基于多阶段训练的图神经网络的节点分类方法
CN115238075B (zh) * 2022-07-30 2023-04-07 北京理工大学 一种基于超图池化的文本情感分类方法
CN115545098B (zh) * 2022-09-23 2023-09-08 青海师范大学 一种基于注意力机制的三通道图神经网络的节点分类方法
CN115545098A (zh) * 2022-09-23 2022-12-30 青海师范大学 一种基于注意力机制的三通道图神经网络的节点分类方法
CN116306924A (zh) * 2023-02-08 2023-06-23 西北工业大学 基于时空超图的关联信息挖掘方法
CN116521899A (zh) * 2023-05-08 2023-08-01 中国传媒大学 一种基于改进的图神经网络的文档级关系抽取算法及系统
CN116521899B (zh) * 2023-05-08 2024-03-26 中国传媒大学 一种基于改进的图神经网络的文档级关系抽取方法及系统
CN116248522A (zh) * 2023-05-11 2023-06-09 中国电信股份有限公司四川分公司 一种业务意愿与确定性网络切片关联方法
CN116248522B (zh) * 2023-05-11 2023-09-22 中国电信股份有限公司四川分公司 一种业务意愿与确定性网络切片关联方法
CN117034778A (zh) * 2023-08-28 2023-11-10 黑龙江省网络空间研究中心(黑龙江省信息安全测评中心、黑龙江省国防科学技术研究院) 基于Hypergraph-Transformer结构反演地上生物量的方法
CN116844645B (zh) * 2023-08-31 2023-11-17 云南师范大学 一种基于多视角分层超图的基因调控网络推断方法
CN116844645A (zh) * 2023-08-31 2023-10-03 云南师范大学 一种基于多视角分层超图的基因调控网络推断方法
CN117009839B (zh) * 2023-09-28 2024-01-09 之江实验室 基于异构超图神经网络的患者聚类方法和装置
CN117009839A (zh) * 2023-09-28 2023-11-07 之江实验室 基于异构超图神经网络的患者聚类方法和装置
CN117131438A (zh) * 2023-10-27 2023-11-28 深圳市迪博企业风险管理技术有限公司 诉讼文件分析方法、模型训练方法、装置、设备及介质
CN117131438B (zh) * 2023-10-27 2024-02-13 深圳市迪博企业风险管理技术有限公司 诉讼文件分析方法、模型训练方法、装置、设备及介质
CN117591675A (zh) * 2024-01-19 2024-02-23 常熟理工学院 学术引用网络的节点分类预测方法、系统及存储介质
CN117591675B (zh) * 2024-01-19 2024-05-14 常熟理工学院 学术引用网络的节点分类预测方法、系统及存储介质

Similar Documents

Publication Publication Date Title
CN113919441A (zh) 一种基于超图变换网络的分类方法
CN107808278B (zh) 一种基于稀疏自编码器的Github开源项目推荐方法
CN112529168A (zh) 一种基于gcn的属性多层网络表示学习方法
CN111737535B (zh) 一种基于元结构和图神经网络的网络表征学习方法
CN111241421B (zh) 基于社交上下文信息的用户转发行为预测方法
Song et al. Learning node and edge embeddings for signed networks
Huo et al. Link prediction with personalized social influence
Hou et al. RoSANE: Robust and scalable attributed network embedding for sparse networks
Hewapathirana Change detection in dynamic attributed networks
CN115409155A (zh) 基于Transformer增强霍克斯过程的信息级联预测系统及方法
Ding et al. User identification across multiple social networks based on naive Bayes model
Li et al. Self-supervised nodes-hyperedges embedding for heterogeneous information network learning
Marais Deep learning for tabular data: an exploratory study
Kumar et al. Graph Convolutional Neural Networks for Link Prediction in Social Networks
Xu et al. Collective vertex classification using recursive neural network
CN117370782A (zh) 一种基于超图重构的社交平台推荐方法
Hwang Modeling Financial Time Series using LSTM with Trainable Initial Hidden States
CN112015890A (zh) 电影剧本摘要的生成方法和装置
Zhou et al. Online recommendation based on incremental-input self-organizing map
Lv et al. DSMN: An improved recommendation model for capturing the multiplicity and dynamics of consumer interests
Liang et al. The graph embedded topic model
Manoju et al. Conductivity based agglomerative spectral clustering for community detection
Kaur et al. Blog response volume prediction using adaptive neuro fuzzy inference system
Rolon et al. A multi-class structured dictionary learning method using discriminant atom selection
Chen et al. A survey of algorithms and applications related with graph embedding

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination