CN114565053A - 基于特征融合的深层异质图嵌入模型 - Google Patents

基于特征融合的深层异质图嵌入模型 Download PDF

Info

Publication number
CN114565053A
CN114565053A CN202210238639.8A CN202210238639A CN114565053A CN 114565053 A CN114565053 A CN 114565053A CN 202210238639 A CN202210238639 A CN 202210238639A CN 114565053 A CN114565053 A CN 114565053A
Authority
CN
China
Prior art keywords
node
embedding
meta
graph
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210238639.8A
Other languages
English (en)
Other versions
CN114565053B (zh
Inventor
饶国政
冯科
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN202210238639.8A priority Critical patent/CN114565053B/zh
Publication of CN114565053A publication Critical patent/CN114565053A/zh
Application granted granted Critical
Publication of CN114565053B publication Critical patent/CN114565053B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/901—Indexing; Data structures therefor; Storage structures
    • G06F16/9024—Graphs; Linked lists
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开一种基于特征融合的深层异质图嵌入方法，抽取元路径子图后，利用图注意力机制进行节点间消息传播，聚合邻域节点信息，更新中心节点的嵌入表示；使用多头注意力增强特征学习,利用残差连接增强模型对局部信息的捕捉能力；利用跳跃连接聚合各层残差图注意力卷积学习到的节点嵌入；对元路径子图进行残差图注意力节点嵌入和层间特征融合，学习单个维度表示节点信息的嵌入向量；用融合函数聚合不同语义学习到的节点嵌入信息，获取最终节点嵌入；用全连接层将学习到的节点嵌入投影到标签类别空间；用损失函数来衡量预测与真实值的损失，优化参数更新梯度直至模型收敛。本发明能够有效地融合不同层次学习到的特征，让节点自适应地选择信息。

Description

基于特征融合的深层异质图嵌入模型
技术领域
本发明涉及图嵌入技术领域，特别是涉及基于特征融合的深层异质图嵌入模型以及基于该特征融合的深层异质图嵌入模型的深层异质图嵌入方法。
背景技术
现实世界中存在大量复杂信息网络，如商业网络、社交网络、引文网络、生物网络等，它们中蕴藏了很多有价值的信息。例如，在由海量的电商数据构成的商业网络中，包含丰富的商品信息、交易信息、用户行为信息等，这些信息中蕴含了很高的商业价值。对商业网络中的这些信息进行数据挖掘，既能够实现用户意图推荐带来巨大的商业利益，又能够识别套现用户检测等违规交易以防范化解金融风险。因此，对这些复杂信息网络进行数据建模并学习其中的潜在特征至关重要。图网络数据建模主要有邻接矩阵和稀疏编码两种方式。邻接矩阵建模是将半结构化的图数据建模成结构化的矩阵，算力设备通常提供了专门的矩阵运算功能。但图网络是具有高稀疏性的非欧几里得数据，邻接矩阵的建模形式会造成较大的计算资源浪费。
此外，矩阵运算往往具有较高的时空复杂度，训练时还需要设计额外的计算加速算法。因此，现有图模型主要以COO稀疏编码的形式建模图数据，然后利用深度学习技术构建神经网络模型，端到端地学习图网络中的特征。稀疏编码不仅能够大幅减少冗余信息的处理，还有利于归纳式学习。
异质图模型是研究包含不同类型实体和关系的复杂信息网络的重要方法。现有异质图嵌入模型主要分为浅层模型和深层模型。浅层模型的优点是能够以并行的方式高效的进行节点序列的采样，并根据序列上下文学习嵌入表示；缺点是缺乏非线性表示能力，并且不易描述属性信息和结构信息的关系，在同时建模二者时较为困难。深层模型的优点是能够更好的捕捉非线性关系，并且支持融合属性信息和结构信息的复杂建模，拥有更强的表示能力；缺点是容易拟合噪声并且具有较高的时空复杂度。从浅层模型和深层模型的优缺点比较可以看出，深层模型具有更强的表示学习能力，也更有利于研究当前信息爆炸式增长的复杂信息网络。
这些模型采用分层处理异质图数据的方式，首先学习相同类型信息的节点数据，然后对不同类型的语义信息进行融合。在学习同类型的节点表示时，既可以嵌入有向图，也可以嵌入无向图。但因为关系语义的指向通常是单向的，所以一般都将本层设计为有向图表示学习。在对不同类型的语义信息进行融合时，首先利用融合函数来分配不同语义信息的权重，然后加权融合不同语义下的特征得到最终的嵌入表示。虽然这些现有的异质图模型利用了深度学习技术，但在捕捉深层的特征时，忽略了对不同层次特征的充分利用。因为网络中不同节点的表示，需要获取不同范围的感受野。而现有的异质图模型缺乏对深层结构的精心设计，没有充分表达不同层次的特征。
发明内容
本发明的目的是针对现有技术中存在的技术缺陷，而提供一种基于特征融合的深层异质图嵌入模型的深层异质图嵌入方法，充分利用不同层次卷积学习到的节点嵌入，它能够有效地融合不同层次学习到的特征，让节点自适应地选择有价值的信息。
为实现本发明的目的所采用的技术方案是：
一种基于特征融合的深层异质图嵌入方法，使用基于特征融合的深层异质图嵌入模型(Interlayer feature fusion based heterogeneous graph neural network,FHGN)进行异质图表示学习，嵌入方法包括以下过程：
步骤一：元路径子图抽取
输入的异质图中包含类型异构的实体和关系，将其建模成图数据中不同类型的节点和边；同时，输入的异质图中包含预设的蕴含语义结构信息的元路径；模型在本步骤根据预设的多个元路径抽取异质图中的元路径子图；
步骤二：残差图注意力节点嵌入
模型首先利用图注意力机制进行节点间消息传播，聚合邻域节点信息，并更新中心节点的嵌入表示；然后使用多头注意力增强特征学习，抑制图数据的高方差,利用残差连接增强模型对局部信息的捕捉能力；
步骤三：层间特征融合
根据网络的层数和数据集的特征选择层间融合策略；利用跳跃连接聚合各层残差图注意力卷积学习到的节点嵌入，使用不同层间融合策略自适应选择有利于下游任务的特征；
步骤四：语义特征融合
对步骤一抽取到的不同的元路径子图，进行了残差图注意力节点嵌入和层间特征融合，学习了单个维度表示节点信息的嵌入向量；使用融合函数聚合不同语义学习到的节点嵌入信息，获取最终的节点嵌入；
步骤五：节点类别预测
模型在节点类别预测时，使用全连接层将学习到的节点嵌入投影到标签类别空间；然后使用损失函数来衡量预测与真实值的损失，并优化参数更新梯度，直至模型收敛。
其中，步骤一中，如果元路径的首尾节点类型相同，则抽取到的元路径子图为同质图。
其中，步骤三中，所述层间融合策略包括最大池化层间特征融合策略和拼接层间特征融合策略。
本发明充分利用不同层次卷积学习到的节点嵌入，它能够有效地融合不同层次学习到的特征，让节点自适应地选择有价值的信息。
本发明提出的基于特征融合的深层异质图嵌入方法，基于特征融合的深层异质图嵌入模型，能够对异质图网络中的实体节点进行表示学习，并应用于分类预测等分析任务，对分析复杂网络中的实体信息提供了重要的技术手段。
附图说明
图1是本发明的基于特征融合的深层异质图嵌入模型结构图。
图2是本发明的带跳跃知识网络的图注意力卷积结构图。
具体实施方式
以下结合附图和具体实施例对本发明作进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明是一种基于特征融合的深层异质图嵌入模型的图嵌入方法，模型的整体结构如图1所示，模型的图嵌入处理过程包括元路径子图抽取、残差图注意力节点嵌入、层间特征融合、语义特征融合和节点类别预测。
首先，本发明使用三个真实数据构建的异构图网络进行实施，分别是引文网络ACM、引文网络DBLP和商业网络IMDB，数据集具体信息如表1所示。
Figure BDA0003540805350000041
表1
其中，ACM数据集包含了论文、作者和主题三种类型的实体，并通过自然语言处理将论文文本信息嵌入为低维向量；DBLP包含了论文、期刊、关键词和作者四种类型的实体，并将作者的文本信息嵌入为低维向量；IMDB是从影视媒体数据中构建的异质图网络，包含了导演、演员和电影三类实体节点，并将电影的文本信息嵌入为低维向量。
本发明在这三个数据集上根据预设的元路径预处理实验数据，并实施实体节点类别预测。训练过程中，三个数据集的训练集、验证机和测试集的划分如表2所示。
Figure BDA0003540805350000051
表2
一、元路径子图抽取
元路径(meta-path)是复杂信息网络中表达子结构信息最常用的元结构之一。模型首先利用元路径抽取输入的异质图数据中的元路径子图。首先，设定元路径的首尾端点为与任务相关的同类型节点，将元路径视为异质图中的一种复合边；然后，根据元路径从异质图中抽取出节点和关系类型相同的有向元路径子图。
上述的关系类型为基于元路径的复合关系，如引文网络中的“论文-作者-论文”、媒体网络中的“电影-导演-电影”等。如果图数据为邻接矩阵形式，那么在本步骤中会将子图邻接矩阵转换为处理效率更高的COO稀疏编码数据。
二、残差图注意力节点嵌入
抽取得到元路径子图后，模型利用残差图注意力卷积学习元路径子图中的节点嵌入。残差图注意力机卷积利用图注意力机制作为消息传递函数，聚合邻域节点信息，然后利用聚合的信息更新中心节点嵌入；同时残差图注意力卷积利用残差结构保持输入信息的向后传递。
首先，图注意力机制利用可学习的参数矩阵将首尾节点投影到同一个线性空间，并将得到的两个投影向量拼接起来。其次，使用注意力向量以内积的方式计算两个邻域节点之间的相关度。然后，为提升对复杂函数关系的映射能力，引入Leaky ReLU函数作为激活函数，Leaky ReLU利用负输入调整负值零梯度，使用负输入能够有效的解决Dead ReLU问题。
为避免随着神经网络逐渐加深导致的信息过度压缩，模型为每层图注意力卷积(GATConv)添加了残差连接。残差连接能够有效地保留节点原始信息，弥补深层网络中的信息损失。
此外，残差能过够避免过大的参数权重，获得一个更好的梯度状态。为抑制图数据高方差的影响，模型在训练时加入K组各自独立的图注意力，实现多头注意力机制。残差图注意力学习的节点嵌入见公式如下：
Figure BDA0003540805350000061
其中，
Figure BDA0003540805350000062
表示在元路径下学习到的从源节点到目标节点的注意力，Φ表示元路经子图，hi表示目标节点，hj表示源节点，W表示将源节点和目标节点投影到同一维度空间的线性变换矩阵，
Figure BDA0003540805350000063
表示基于元路径子图Φ的转置注意力向量，激活函数使用Leaky ReLU函数。
Figure BDA0003540805350000064
其中，
Figure BDA0003540805350000065
表示目标节点hi对不同源节点hj学习到的注意力权重，softmaxj函数表示对不同源节点hj注意力进行归一化的函数。
Figure BDA0003540805350000071
其中，
Figure BDA0003540805350000072
表示目标节点hi对其邻域集合
Figure BDA0003540805350000073
进行加权融合得到的节点嵌入，
Figure BDA0003540805350000074
表示在元路径子图Φ中目标节点hi的邻域集合
Figure BDA0003540805350000075
σ(·)表示训练时输入的激活函数。
Figure BDA0003540805350000076
其中，
Figure BDA0003540805350000077
表示融合多头注意力的节点嵌入，K表示多头注意力的头数。
三、层间特征融合
本发明的模型利用跳跃知识网络对不同网络层次学习到的节点嵌入进行层间特征融合，带跳跃知识网络的图注意力卷积如图2所示。层间特征融合的作用是向不同的节点提供不同感受野范围学习到的特征。因为这类复杂信息网络具有较短的平均路径长度和较高的聚集系数，其中大部分节点所需的信息往往局限在较小范围。
本发明的模型利用两种策略的跳跃知识网络实现层间特征融合。
当网络深度较浅时，模型使用基于元素的最大池化(Max-pooling)策略的跳跃知识网络以获得更好的性能。该策略不会引入额外的参数，并为节点选择信息最大的节点特征。本发明在元路径子图下使用最大池化策略实现层间特征融合，学习到的节点嵌入
Figure BDA0003540805350000078
表示如下：
Figure BDA0003540805350000079
其中，
Figure BDA00035408053500000710
表示节点v从元路径子图Φ中学习到的节点嵌入，
Figure BDA00035408053500000711
则表示其在第l层学习到的节点嵌入，max(·)表示层间特征融合的最大池化函数。
当网络深度较深时，模型使用拼接(Concat)策略的跳跃知识网络以获得更好的性能。拼接策略能够最大程度保证各层原始输出特征向下传递，随着网络的加深能逐渐积累更多的信息量。本发明在元路径子图下使用拼接策略实现层间特征融合，学习到的节点嵌入
Figure BDA0003540805350000081
表示如下：
Figure BDA0003540805350000082
其中，
Figure BDA0003540805350000083
表示节点v从元路径子图Φ中学习到的节点嵌入，
Figure BDA0003540805350000084
则表示其在第l层学习到的节点嵌入，[·]表示拼接层间特征向量的操作。
四、语义特征融合
语义特征融合是对不同元路径学习到的节点嵌入进行特征融合。单个的元路径子图仅包含一个维度的语义信息，反映了异质图结构语义的一方面。
本发明的模型融合不同元路径子图下的节点嵌入，获得多个维度的语义信息。融合函数使用语义级别注意力机制(Semantic Attetion)，它学习不同元路径的注意力值。首先，模型通过一个线性层对节点嵌入做线性变换，然后使用非线性激活函数引入非线性因素。再然后，利用可学习的语义相似度嵌入向量计算向量相似度，注意力值
Figure BDA0003540805350000085
的计算如下：
Figure BDA0003540805350000086
其中，
Figure BDA0003540805350000087
表示第p个元路径子图Φ的的权重
Figure BDA0003540805350000088
表示元路径子图Φ中的节点数量，qT表示语义级别的注意力向量，tanh(·)表示激活函数，W表示线性变换矩阵，
Figure BDA0003540805350000089
表示第p个元路径子图Φ中目标节点hi的节点嵌入，b表示偏置项向量。
对学习到的注意力值进行归一化，归一化函数使用softmax函数。得到的注意力系数
Figure BDA00035408053500000810
如下式所示：
Figure BDA00035408053500000811
其中，
Figure BDA0003540805350000091
表示元路径子图Φp的注意力，softmax(·)归一化函数，
Figure BDA0003540805350000092
表示上述学习到的语义级别权重。
模型以归一化得到的注意力系数表示在语义特征融合时元路径所具备的影响力。它会为更重要的元路径语义信息分配更高的权重系数。学习到每个元路径的注意力系数后，带权融合不同元路径子图下的节点嵌入获得最终的节点嵌入如下式所示：
Figure BDA0003540805350000093
其中，Z表示语义特征融合后学习到的最终节点嵌入，
Figure BDA0003540805350000094
表示元路径子图Φp的注意力权重，
Figure BDA0003540805350000095
表示第p个元路径子图Φ中学习到的节点嵌入。
五、节点类别预测
模型利用全连接神经网络(Fully Connected)预测学习到的节点嵌入标签。
在训练过程中，将学习到的分布式特征表示映射到样本标记空间。首先将节点嵌入的全局信息转换到隐层空间，然后投影到输出空间预测节点标签。使用全连接层映射全局信息能够保证投影结果不受特征位置的影响，不会引入归纳偏置，能够逼近搜索空间中的任意可测函数。节点类别预测分类器表达式如下式所示：
Figure BDA0003540805350000096
其中，
Figure BDA0003540805350000097
表示模型预测所有节点标签的预测值向量，Wpre表示节点类别预测时的线性变换矩阵，Z表示所有节点学习到的最终节点嵌入，bpre表示节点类别预测时的偏置项向量。
模型以交叉熵损失函数作为目标函数，根据节点标签的预测值和真实值之间的损失。评估函数使用兼顾分类精确率和召回率的F1-Score。
其中，Macro-F1平等对待每个类别的数据，适用于衡量数据样本分布均衡的数据集；Micro-F1考虑每个类别的数量，适用于衡量数据样本分布不均衡的数据集。在模型的迭代训练过程中，使用能计算每个参数的自适应学习率的Adam优化器，优化模型中的参数。Adam优化器利用较少的内存实现高效的计算，解决了大规模数据和参数的优化问题。
在具体实施的三个数据集上，本发明提出的模型取得了非常先进的结果，具体如表3所示。在对引文网络中的论文和作者实体节点分类时，本发明的方法获得了和基准相比更好的结果。在对影视媒体网络中的电影实体节点分类时，同样达到了先进的性能表现。
Figure BDA0003540805350000101
表3
本发明所提出的基于特征融合的深层异质图嵌入方法及所构建的深度学习模型具有很强的通用性，学习到的异质图节点嵌入，不仅能够应用于上述的实体节点类别预测任务，还能够方便的用于节点聚类等复杂网络分析任务。
尽管上面结合附图对本模型的具体实施方案进行了详细描述，但本发明并不局限于上面描述的具体功能和工作流程。以上描述仅仅是示意性的，而并非限制性的。本领域的普通技术人员，在基于不脱离本发明原理的前提下，还能够继续做出若干改进和润饰，这些改进和润饰均属于本发明的保护范围之内。

Claims (3)

1.基于特征融合的深层异质图嵌入方法，其特征在于，使用基于特征融合的深层异质图嵌入模型进行异质图表示学习，嵌入方法包括以下步骤：
步骤一：元路径子图抽取
输入的异质图中包含类型异构的实体和关系，将其建模成图数据中不同类型的节点和边；同时，输入的异质图中包含预设的蕴含语义结构信息的元路径；根据预设的多个元路径抽取输入的异质图中的元路径子图；
步骤二：残差图注意力节点嵌入
首先利用图注意力机制进行节点间消息传播，聚合邻域节点信息，并更新中心节点的嵌入表示；然后使用多头注意力增强特征学习，抑制图数据的高方差；利用残差连接增强模型对局部信息的捕捉能力；
步骤三：层间特征融合
根据网络的层数和数据集的特征选择层间融合策略；利用跳跃连接聚合各层残差图注意力卷积学习到的节点嵌入，使用不同层间融合策略自适应选择利于下游任务的特征；
步骤四：语义特征融合
对步骤一抽取到的不同的元路径子图，进行残差图注意力节点嵌入和层间特征融合，学习单个维度表示节点信息的嵌入向量；使用融合函数聚合不同语义学习到的节点嵌入信息，获取最终的节点嵌入；
步骤五：节点类别预测
在节点类别预测时，使用全连接层将学习到的节点嵌入投影到标签类别空间；然后使用损失函数衡量预测与真实值的损失，并优化参数更新梯度，直至模型收敛。
2.根据权利要求1所述基于特征融合的深层异质图嵌入方法，其特征在于步骤一中，如果元路径的首尾节点类型相同，则抽取到的元路径子图为同质图。
3.根据权利要求1所述基于特征融合的深层异质图嵌入方法，其特征在于，步骤三中，所述层间融合策略包括最大池化层间特征融合策略和拼接层间特征融合策略。
CN202210238639.8A 2022-03-10 2022-03-10 基于特征融合的深层异质图嵌入模型 Active CN114565053B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210238639.8A CN114565053B (zh) 2022-03-10 2022-03-10 基于特征融合的深层异质图嵌入模型

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210238639.8A CN114565053B (zh) 2022-03-10 2022-03-10 基于特征融合的深层异质图嵌入模型

Publications (2)

Publication Number Publication Date
CN114565053A true CN114565053A (zh) 2022-05-31
CN114565053B CN114565053B (zh) 2023-05-19

Family

ID=81718670

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210238639.8A Active CN114565053B (zh) 2022-03-10 2022-03-10 基于特征融合的深层异质图嵌入模型

Country Status (1)

Country Link
CN (1) CN114565053B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115507852A (zh) * 2022-09-07 2022-12-23 广东工业大学 一种基于区块链和强化注意力学习的多无人机路径规划方法
CN115660688A (zh) * 2022-10-24 2023-01-31 西南财经大学 金融交易异常检测方法及其跨区域可持续训练方法
CN116821776A (zh) * 2023-08-30 2023-09-29 福建理工大学 一种基于图自注意力机制的异质图网络节点分类方法
CN116958997A (zh) * 2023-09-19 2023-10-27 南京大数据集团有限公司 一种基于异质图神经网络的图文摘要方法及系统
CN117034755A (zh) * 2023-08-07 2023-11-10 兰州理工大学 一种融合多头注意力机制的冷轧钢力学性能预测方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110781897A (zh) * 2019-10-22 2020-02-11 北京工业大学 一种基于深度学习的语义边缘检测方法
CN112070070A (zh) * 2020-11-10 2020-12-11 南京信息工程大学 一种用于城市遥感场景识别的lw-cnn方法和系统
CN113095439A (zh) * 2021-04-30 2021-07-09 东南大学 基于注意力机制的异构图嵌入学习方法
CN113177579A (zh) * 2021-04-08 2021-07-27 北京科技大学 一种基于注意力机制的特征融合方法
WO2021179838A1 (zh) * 2020-03-10 2021-09-16 支付宝(杭州)信息技术有限公司 一种基于异构图神经网络模型进行预测的方法和系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110781897A (zh) * 2019-10-22 2020-02-11 北京工业大学 一种基于深度学习的语义边缘检测方法
WO2021179838A1 (zh) * 2020-03-10 2021-09-16 支付宝(杭州)信息技术有限公司 一种基于异构图神经网络模型进行预测的方法和系统
CN112070070A (zh) * 2020-11-10 2020-12-11 南京信息工程大学 一种用于城市遥感场景识别的lw-cnn方法和系统
CN113177579A (zh) * 2021-04-08 2021-07-27 北京科技大学 一种基于注意力机制的特征融合方法
CN113095439A (zh) * 2021-04-30 2021-07-09 东南大学 基于注意力机制的异构图嵌入学习方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
KAIMING HE ET AL.: "Deep Residual Learning for Image Recognition", 《CVPR》 *
PETAR VELIˇCKOVI´C* ET AL.: "GRAPH ATTENTION NETWORKS", 《ARXIV》 *
XIAO WANG ET AL.: "Heterogeneous Graph Attention Network", 《ARXIV》 *
YULUN ZHANG ET AL.: "Residual Dense Network for Image Restoration", 《ARXIV》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115507852A (zh) * 2022-09-07 2022-12-23 广东工业大学 一种基于区块链和强化注意力学习的多无人机路径规划方法
CN115507852B (zh) * 2022-09-07 2023-11-03 广东工业大学 一种基于区块链和强化注意力学习的多无人机路径规划方法
CN115660688A (zh) * 2022-10-24 2023-01-31 西南财经大学 金融交易异常检测方法及其跨区域可持续训练方法
CN115660688B (zh) * 2022-10-24 2024-04-30 西南财经大学 金融交易异常检测方法及其跨区域可持续训练方法
CN117034755A (zh) * 2023-08-07 2023-11-10 兰州理工大学 一种融合多头注意力机制的冷轧钢力学性能预测方法
CN116821776A (zh) * 2023-08-30 2023-09-29 福建理工大学 一种基于图自注意力机制的异质图网络节点分类方法
CN116821776B (zh) * 2023-08-30 2023-11-28 福建理工大学 一种基于图自注意力机制的异质图网络节点分类方法
CN116958997A (zh) * 2023-09-19 2023-10-27 南京大数据集团有限公司 一种基于异质图神经网络的图文摘要方法及系统
CN116958997B (zh) * 2023-09-19 2024-01-23 南京大数据集团有限公司 一种基于异质图神经网络的图文摘要方法及系统

Also Published As

Publication number Publication date
CN114565053B (zh) 2023-05-19

Similar Documents

Publication Publication Date Title
CN114565053B (zh) 基于特征融合的深层异质图嵌入模型
CN112529168B (zh) 一种基于gcn的属性多层网络表示学习方法
Ranjan et al. LFNN: Lion fuzzy neural network-based evolutionary model for text classification using context and sense based features
CN112417289B (zh) 一种基于深度聚类的资讯信息智能推荐方法
WO2023155508A1 (zh) 一种基于图卷积神经网络和知识库的论文相关性分析方法
CN113468291B (zh) 基于专利网络表示学习的专利自动分类方法
CN113378913A (zh) 一种基于自监督学习的半监督节点分类方法
CN113378048B (zh) 一种基于多视角知识图谱注意力网络的个性化推荐方法
Li et al. DAHP: Deep attention-guided hashing with pairwise labels
Aziguli et al. A robust text classifier based on denoising deep neural network in the analysis of big data
CN114942998B (zh) 融合多源数据的知识图谱邻域结构稀疏的实体对齐方法
Wang et al. An enhanced multi-modal recommendation based on alternate training with knowledge graph representation
CN115828143A (zh) 基于图卷积和自注意力机制实现异构图元路径聚合的节点分类方法
Sun et al. Graph force learning
CN112948581B (zh) 专利自动分类方法、装置、电子设备及存储介质
Zheng et al. Unsupervised few-shot image classification via one-vs-all contrastive learning
Li et al. Self-supervised nodes-hyperedges embedding for heterogeneous information network learning
Geng et al. Web service recommendation based on knowledge graph convolutional network and doc2vec
De Bonis et al. Graph-based methods for Author Name Disambiguation: a survey
Chen et al. Topological transduction for hybrid few-shot learning
CN114611668A (zh) 一种基于异质信息网络随机游走的向量表示学习方法及系统
CN114722304A (zh) 异质信息网络上基于主题的社区搜索方法
Wu et al. MDAL: Multi-task dual attention LSTM model for semi-supervised network embedding
Feng et al. An interlayer feature fusion-based heterogeneous graph neural network
Xu et al. Multi-level self-adaptive prototypical networks for few-shot node classification on attributed networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant