CN116757262B - 图神经网络的训练方法、分类方法、装置、设备及介质 - Google Patents

图神经网络的训练方法、分类方法、装置、设备及介质 Download PDF

Info

Publication number
CN116757262B
CN116757262B CN202311033729.4A CN202311033729A CN116757262B CN 116757262 B CN116757262 B CN 116757262B CN 202311033729 A CN202311033729 A CN 202311033729A CN 116757262 B CN116757262 B CN 116757262B
Authority
CN
China
Prior art keywords
graph
sub
node
nodes
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311033729.4A
Other languages
English (en)
Other versions
CN116757262A (zh
Inventor
曹其春
董刚
胡克坤
王斌强
杨宏斌
晁银银
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Inspur Intelligent Technology Co Ltd
Original Assignee
Suzhou Inspur Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Inspur Intelligent Technology Co Ltd filed Critical Suzhou Inspur Intelligent Technology Co Ltd
Priority to CN202311033729.4A priority Critical patent/CN116757262B/zh
Publication of CN116757262A publication Critical patent/CN116757262A/zh
Application granted granted Critical
Publication of CN116757262B publication Critical patent/CN116757262B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/253Fusion techniques of extracted features
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本公开提供了一种图神经网络的训练方法、分类方法、装置、设备及介质,属于人工智能技术领域,旨在减少对电子设备的性能依赖,所述训练方法包括:对第一图数据样本进行切分处理,得到多个子图样本;并对多个子图样本,执行多次采样,得到每次采样出的子图样本集;以及构建每个子图样本集对应的空间特征;并以多个子图样本集和多个子图样本集分别对应的空间特征为训练样本,对图神经网络进行训练;其中,在训练时,空间特征用于为子图样本集中的各个节点提供节点间的特征传递路径,子图样本集中所包括的每两个子图样本之间,均能通过子图样本集中的至少一个子图样本产生连接关系。

Description

图神经网络的训练方法、分类方法、装置、设备及介质
技术领域
本公开涉及人工智能技术领域,特别是涉及一种图神经网络的训练方法、分类方法、装置、设备及介质。
背景技术
近年来,图神经网络(Graph Neural Network, GNN)因其能够对不规则结构数据进行建模而受到大量关注。GNN被广泛用于基于图的顶点分类、分子相互作用、社交网络、推荐系统或程序理解等各个领域。
目前针对GNN而言,其处理的图数据一般是节点很庞大的数据,如包括上亿个节点的图数据,使得GNN具有高内存占用和高计算量的特点,且在对GNN进行训练时,存在训练时间长的问题,在推理阶段也存在推理时间长的问题。
其次,由于大规模的图数据需要更多的数据操作(例如,加法和乘法)和数据移动(例如,内存事务),这将消耗大量计算资源,因此GNN对设备的功耗也提出了考验。
发明内容
基于背景技术的内容,本公开提出了一种图神经网络的训练方法、分类方法、装置、系统及介质。
本公开第一方面,提供一种图神经网络的训练方法,所述方法包括:
对第一图数据样本进行切分处理,得到多个子图样本;其中,所述子图样本中包括所述第一图数据样本中的部分节点,所述子图样本中邻接的两个节点之间具有直接的连接关系;
对多个所述子图样本,执行多次采样,得到每次采样出的子图样本集;其中,所述子图样本集中所包括的每两个子图样本之间,均能通过所述子图样本集中的至少一个子图样本产生连接关系;
构建每个所述子图样本集对应的空间特征;其中,所述空间特征用于表征所述子图样本集所包括的多个节点之间的连接关系;
以多个所述子图样本集和多个所述子图样本集分别对应的空间特征为训练样本,对图神经网络进行训练;其中,在训练时,所述空间特征用于为所述子图样本集中的各个节点提供节点间的特征传递路径;
其中,所述训练完成的图神经网络,用于确定待处理的图数据所包括的节点各自所属的类别。
一种可选示例中,多个所述子图样本集中包括:第一类子图样本集和/或第二类子图样本集;其中:
所述第一类子图样本集包括第一子图样本和至少一个第二子图样本,其中,每个所述第二子图样本均与所述第一子图样本邻接;
第二类子图样本集包括第三子图样本、至少一个第四子图样本和至少一个第五子图样本;其中,所述第三子图样本分别与所述第四子图样本邻接,所述第五子图样本通过所述第四子图样本与所述第三子图样本连接。
一种可选示例中,在每次执行采样中,包括:
按照多个所述子图样本在所述第一图数据样本的位置,构建第二图数据样本;其中,所述第二图数据样本包括多个图节点,每个所述图节点对应一个所述子图样本;
从所述第二图数据样本中采样出一个第一图节点;
以所述第一图节点为中心节点,按照预设采样路径,从所述第二图数据样本中采样出至少一个第二图节点,以使所述第一图节点与所述第二图节点直接或间接连接;
从所述第一图数据样本获取所采样的第一图节点和所述第二图节点各自所对应的子图样本,得到所述子图样本集。
一种可选示例中,所述以所述第一图节点为中心节点,按照预设采样路径,从所述第二图数据样本中采样出至少一个第二图节点,包括:
按照距离所述第一图节点从近到远的顺序,将除所述第一图节点外的多个图节点划分为多个辐射圈;
按照所述辐射圈距离所述第一图节点从近到远的顺序,对多个所述辐射圈内的图节点进行逐圈采样,直到采样出的第二图节点的数量达到预设数量;
其中,距离所述第一图节点最近的辐射圈所包括的图节点为与所述第一图节点邻接的图节点。
一种可选示例中,所述对多个所述子图样本,执行多次采样,得到每次采样出的子图样本集,包括:
对多个所述子图样本进行J次采样,直到每个所述子图样本均被采样出加入到所述子图样本集;其中,第j次采样包括:
从多个剩余子图样本中采样出第j次对应的子图样本集,以使不同的子图样本集中包括不同的子图样本;其中,所述多个剩余子图样本为所述第一图数据样本中除第1次到第j-1次所采样出的子图样本外的子图样本;
或者,从多个所述子图样本中采样出第j次对应的子图样本集;
其中,j小于或等于J,J为大于1的正整数。
一种可选示例中,所述以多个所述子图样本集和多个所述子图样本集分别对应的空间特征为训练样本,对图神经网络进行训练,包括:
将多个所述子图样本集和多个所述子图样本集分别对应的空间特征,分批输入到所述图神经网络;
获取所述图神经网络输出的每个子图样本集中每个节点对应的预测类别;
基于所述预测类别和所述子图样本集中各个节点对应的类别标签,
对所述图神经网络的参数进行多次更新,直到达到训练结束条件。
一种可选示例中,所述图神经网络用于:
对所述子图样本集中每个节点对应的描述信息进行特征提取,得到所述子图样本集中每个节点各自对应的特征向量;
对所述空间特征以及所述子图样本集中各个节点对应的特征向量进行N次特征融合,得到所述子图样本集中每个节点各自对应的融合特征向量;其中,所述节点在第n-1次特征融合所得的特征向量作为第n次融合时该节点对应的特征向量;其中,n小于或等于N,N为大于1的正整数;
基于所述子图样本集中每个节点各自对应的融合特征向量,确定所述子图样本集中每个节点各自所属的类别。
一种可选示例中,第n次的所述特征融合,包括:
基于所述空间特征,获取第n次对应的空间相关性矩阵;所述空间相关性矩阵用于表征所述子图样本集中一个节点与其他节点之间的关联程度;
基于所述子图样本集中每个节点在第n次对应的特征向量,获取当次第n次对应的特征相关性矩阵;其中,所述特征相关性矩阵用于表征一个节点与其他节点的特征向量之间的相似程度;
将所述空间相关性矩阵和所述特征相关性矩阵,融合到所述子图样本集中每个节点在第n次对应的特征向量中。
一种可选示例中,所述空间特征包括邻接矩阵,所述空间特征包括邻接矩阵,所述邻接矩阵中的每个值表征两个节点之间是否直接连接;所述基于所述空间特征,获取第n次对应的空间相关性矩阵,包括:
在第n次特征融合时,对所述邻接矩阵依次进行n次自乘,其中,上一次的自乘结果作为下一次待自乘的邻接矩阵;
对第n次自乘得到的矩阵中的各个数值进行归一化,得到所述第n次对应的空间相关性矩阵。
一种可选示例中,所述基于所述子图样本集中每个节点第n次对应的特征向量,获取第n次对应的特征相关性矩阵,包括:
确定所述子图样本集中,每两个节点各自在第n次对应的特征向量之间的相似度;
对所得到的相似度进行归一化,得到所述第n次对应的特征相关性矩阵。
一种可选示例中,所述基于所述空间相关性矩阵和所述特征相关性矩阵,融合所述子图样本集中每个节点在第n次对应的特征向量,包括:
对所述空间相关性矩阵和所述特征相关性矩阵进行融合,得到融合矩阵;
将所述融合矩阵,融合到所述子图样本集中每个节点第n次对应的特征向量中。
一种可选示例中,所述将所述融合矩阵,融合到所述子图样本集中每个节点在第n次对应的特征向量中,包括:
获取所述融合矩阵和所述特征向量分别对应的权重;
按照所述权重,对所述融合矩阵和所述子图样本集中每个节点在第n次对应的特征向量进行加权融合。
一种可选示例中,所述图神经网络包括第一网络和第二网络;其中:
所述第一网络,用于对所述节点对应的描述信息进行特征提取,得到特征向量;
所述第二网络,用于对所述空间特征以及所述子图样本集中各个节点对应的特征向量,进行N次特征融合,得到所述子图样本集中每个节点各自对应的融合特征向量;并基于所述子图样本集中每个节点各自对应的融合特征向量,确定所述子图样本集中每个节点各自所属的类别。
一种可选示例中,所述第一网络包括依次串联的多个特征提取单元;其中,每个所述特征提取单元用于对输入的信息进行特征提取,并将提取到的特征输入到下一特征提取单元。
一种可选示例中,所述第二网络包括N个依次串接的融合模块;每个所述融合模块包括第一融合单元、第二融合单元和第三融合单元;
其中,所述第一融合单元用于基于输入到所述第一融合单元的空间特征,确定对应的空间相关性矩阵;所述空间相关性矩阵用于表征所述子图样本集中一个节点与其他节点之间的关联程度;
其中,所述第二融合单元用于基于输入到所述第二融合单元的每个节点对应的特征向量,获取特征相关性矩阵;其中,所述特征相关性矩阵用于表征一个节点与其他节点的特征向量之间的相似程度;
其中,所述第三融合单元用于将所述空间相关性矩阵和所述特征相关性矩阵,融合到输入到所述融合模块的每个节点对应的特征向量中。
一种可选示例中,所述构建每个所述子图样本集对应的空间特征,包括:
基于所述第一图数据,还原所述子图样本集中所包括的各个节点之间的连接边;
基于所述子图样本集中所包括的各个节点之间的连接边,设置每两个节点之间的权重;其中,所述权重用于表征两个节点之间是否邻接;
基于每两个节点之间的权重,构建所述空间特征。
本公开的第二方面,提供一种分类方法,所述方法包括:
针对待处理的目标图数据,按照所述目标图数据多个节点之间的连接边,对所述第一图数据进行切分,得到多个子图;其中,所述连接边相连的两个节点为邻接节点,所述邻接节点之间具有直接的连接关系;
对多个所述子图,重复执行多次以下处理,以得到所述目标图数据多个所述节点各自所属的类别:
从多个所述子图中采样出子图集,其中,所述子图集中所包括的每两个子图之间,均能通过所述子图集中的至少一个子图产生连接关系;
构建所述子图集对应的空间特征;其中,所述空间特征用于表征所述子图集中所包括的多个节点之间的连接关系;
将所述空间特征输入到目标分类模型,得到所述子图集中所包括的节点各自所属的类别;
其中,所述目标分类模型为根据第一方面所述的图神经网络的训练方法得到的。
一种可选示例中,在得到所述子图集中所包括的节点各自所属的类别之后,所述方法还包括:
基于所述目标图数据各个节点各自所属的类别,对多个节点进行聚类;
输出所述聚类的结果。
本公开还提供一种图神经网络的训练装置,所述装置包括:
第一切分模块,用于对第一图数据样本进行切分处理,得到多个子图样本;其中,所述子图样本中包括所述第一图数据样本中的部分节点,所述子图样本中邻接的两个节点之间具有直接的连接关系;
采样模块,用于对多个所述子图样本,执行多次采样,得到每次采样出的子图样本集;其中,所述子图样本集中所包括的每两个子图样本之间,均能通过所述子图样本集中的至少一个子图样本产生连接关系;
矩阵构建模块,用于构建每个所述子图样本集对应的空间特征;其中,所述空间特征用于表征所述子图样本集所包括的多个节点之间的连接关系;
训练模块,用于以多个所述子图样本集和多个所述子图样本集分别对应的空间特征为训练样本,对图神经网络进行训练;其中,在训练时,所述空间特征用于为所述子图样本集中的各个节点提供节点间的特征传递路径;
其中,所述训练完成的图神经网络,用于确定待处理的图数据所包括的节点各自所属的类别。
本公开还提供一种分类装置,所述装置包括:
第二切分模块,用于对待处理的目标图数据进行切分处理,得到多个子图;其中,所述子图中包括所述目标图数据中的部分节点,所述子图中邻接的两个节点之间具有直接的连接关系;
类别确定模块,用于对多个所述子图,重复执行多次的以下处理,以得到所述目标图数据多个所述节点各自所属的类别:
从多个所述子图中采样出子图集,其中,所述子图集中所包括的每两个子图之间,均能通过所述子图集中的至少一个子图产生连接关系;
构建所述子图集对应的空间特征;其中,所述空间特征用于表征所述子图集中所包括的多个节点之间的连接关系;
将所述空间特征输入到目标分类模型,得到所述子图集中所包括的节点各自所属的类别;
其中,所述目标分类模型为根据第一方面所述的图神经网络的训练方法得到的。
本公开提出的图神经网络的训练方法,可以按照第一图数据样本中多个节点之间的连接边,对第一图数据样本进行切分,得到多个子图样本;并对多个子图样本,执行多次采样,得到每次采样出的子图样本集;构建每个子图样本集对应的空间特征;接着,可以以多个子图样本集和多个子图样本集分别对应的空间特征为训练样本,对图神经网络进行训练;其中,训练完成的图神经网络,用于确定待处理的图数据所包括的节点各自所属的类别。
其中,由于对第一图数据样本进行了切分,使得送入到图神经网络进行训练的都是第一图数据样本中的部分子图样本,由此,减小了图神经网络所要处理的数据量,从而加快了运行速度,缩短了训练时长和推理时长,也由于数据量的减小,降低了图神经网络对内存的占用和对计算资源的消耗,从而降低了对运行图神经网络设备的性能要求,使得可以大规模应用于微型设备,且降低了对微型设备的功耗。
不仅如此,本公开还具有以下更进一步的进步:
其中,由于所采样出的子图样本集所包括的子图样本之间均能通过至少一个子图样本产生连接关系,也就是说子图样本集中不存在孤立于其他子图样本的子图样本,从而使得每批次送入图神经网络训练的都是相互之间有联系的子图样本,图神经网络在运行时则可以将节点的特征通过连接边传播给子图样本集中的其他节点,从而能很好的把节点的信息进行相互融合,随着训练的深入,可以提高对每个子图样本集进行分类的分类准确度。
其中,又由于构建了子图样本集对应的空间特征,以表征子图样本集之间的连接关系,使得通过空间特征可以表达子图样本集中所包括的各个节点的空间相关性,这样,图神经网络在运行时,可以基于该空间特征,参考与自身节点相关的其他节点的特征,以确定自身节点的类别,从而进一步提高了分类准确度。
由于所提供的子图样本集和空间特征,可以使得所采集的子图样本之间的连接关系更加紧密,以提高分类准确度,由此,可以允许对第一图数据样本进行更加细粒度的切分,也就是说,相比于传统的图数据切分,本公开的划分到的每个子图样本可以包括更少的节点数量,从而进一步减小图神经网络所要处理的数据量,并可以提高图神经网络的运行速度。
本公开实施例,还公开了一种电子设备,包括:存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行时实现如第一方面所述的图神经网络的训练方法,或第二方面所述的分类方法。
本公开实施例,还公开了一种计算机可读存储介质,其存储的计算机程序使得处理器执行如本公开第一方面所述的图神经网络的训练方法,或第二方面所述的分类方法。
附图说明
为了更清楚地说明本公开实施例或相关技术中的技术方案,下面将对实施例或相关技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本公开的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。需要注意的是,附图中各图形的尺寸和形状不反映真实比例,目的只是示意说明本发明内容。附图中相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。
图1示出了本公开实施例中图神经网络的训练方法的步骤流程示意图;
图2示出了本公开实施例中对第一图数据样本进行切分的示意图;
图3示出了本公开实施例中几种子图样本集的示意图;
图4示出了本公开实施例中每次所进行的采样的步骤流程示意图;
图5示出了本公开实施例中从9个图节点中采样的采样示意图;
图6示出了本公开实施例中一种子图样本集的节点连接示意图;
图7示出了本公开实施例中图神经网络对输入的子图样本集和空间特征进行处理的过程示意图;
图8示出了本公开实施例中图神经网络的一种网络结构示意图;
图9示出了本公开实施例第一网络的结构示意图;
图10示出了本公开实施例中第二网络的结构示意图;
图11示出了本公开实施例中分类方法的步骤流程示意图;
图12示出了本公开实施例中一种图神经网络的训练装置框架结构示意图;
图13示出了本公开实施例中一种分类装置的框架结构示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚,下面将结合本公开实施例中的附图,对本公开实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本公开一部分实施例,而不是全部的实施例。基于本公开中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本公开保护的范围。
在GNN中,当图规模变大时,很容易导致其存储大小急剧增加,这将使得那些具有非常有限内存预算的小型设备面临巨大压力。其次,更大规模的图数据需要更多的数据操作(例如,加法和乘法)和数据移动(例如,内存事务),这将消耗大量能量并耗尽这些微型设备上有限的功耗预算。例如,具有32个隐藏单元的2层图卷积神经网络(GCN)模型大小仅为81KB,但却需要执行上千G个基本操作来处理整个图数据。
为应对上述问题,相关技术中通常采样以下方式减小图神经网络所要处理的数据量:在图神经网络训练时,从图数据中随机采样出多个节点,送入到图神经网络,但是此种方式中,采样出的节点间可能因偏离较远而无法建立联系,从而无法准确刻画节点与节点之间的联系,导致图神经网络的处理准确率较低。
有鉴于此,本公开提供了一种方案,该方案致力于最大程度降低图神经网络的计算量,具体地,其核心构思在于:在训练图神经网络时,将作为样本的图数据按照图数据中节点之间的连接边进行切分,得到多个子图样本,然后对多个子图样本进行采样,从而以采样出的子图样本为训练样本输入到图神经网络进行训练,以此可以降低图神经网络的计算量。同时,为保证处理准确率,以期进一步降低子图样本集的数据量,在对多个子图样本进行采样时,采样出的子图样本集中的多个子图样本之间的连接关系是可连续的,以及,可以构建子图样本集对应的空间特征,使得图神经网络在运行时,可以基于该空间特征,进行节点间的特征传递,这样一个节点可以参考与自身节点相关的其他节点的特征,确定自身节点的类别,从而提高了分类准确度。
需要说明的是,上述核心构思不仅适用于训练图神经网络,也适用于图神经网络的推理过程,也就是说,在利用相关技术中的图神经网络进行推理时,由于采用了本公开的采样方式并构建了空间特征,可以允许将较低数据量的子图送入到图神经网络,从而可以帮助提高准确率和降低计算量。
首先,基于上述核心构思,本公开提供了一种图神经网络的训练方法,参照图1、图2和图3所示,图1示出了图神经网络的训练方法的步骤流程图,图2示出了对第一图数据样本进行切分的示意图,图3示例性示出了几种子图样本集的示意图,该图神经网络的训练方法可以应用于电子设备,具体地,可以包括以下步骤:
步骤S101:对第一图数据样本进行切分处理,得到多个子图样本;
所述子图样本中包括所述第一图数据样本中的部分节点,所述子图样本中邻接的两个节点之间具有直接的连接关系。
本实施例中,第一图数据样本可以理解为是节点和连接边的数据集合,连接便由节点与节点之间具有的关系而构造。其中,在不不同的应用场景中,第一图数据样本中的节点可以是不同的数据类型,则连接边可以依据对象在特定应用场景中的应用而构建。
示例地,节点可以是文本类数据,如在科学论文的应用场景中,一个节点可以是指一个论文,其为文本数据,节点与节点之间的连接关系则可以是论文之间的引用关系;又如在专利技术的应用场景中,一个节点可以是指一个专利文件,其也为文本数据,节点与节点之间的连接关系则可以是专利所属领域的包含关系,或者,节点与节点之间的连接关系也可以是专利的申请人/发明人之间的关系;
示例地,节点也可以是图像类数据,如在图像分析领域中,一个节点可以是一个图像数据,如照片,节点与节点之间的连接关系可以是图像的作者之间的关系,或者,可以是图像的其他属性之间的关系。
当然,又示例地,在社群应用领域,一个节点可以指一个用户的用户数据,节点与节点之间的连接关系,则可以是指用户之间的好友关系,是好友的两个用户之间具有连接边。
其中,第一图数据样本中可以包括多个节点,节点与节点之间通过连接边连接,连接边相连的两个节点为邻接的节点,两个邻接的节点之间具有直接的连接关系;若两个节点之间通过一个节点作为过渡,则表示该两个节点之间是间接的连接关系,如图2所示,节点5和节点8之间通过节点6过渡,表示节点5和节点8之间是间接的连接关系。节点1和节点2之间通过连接边直接连接,该节点1和节点2互为邻接节点,表示二者是直接的连接关系。
具体地,该连接关系可以表示为节点之间在某一维度上有关联,如以第一图数据样本中的各个节点为论文为例,连接关系可以是论文之间的引用关系;又例如,以第一图数据样本中的各个节点为组合物为例,具有共同成分的组合物之间可以采用连接边连接,由此,可以应用于化合物筛选中。当然,实际中,不仅限于上述应用场景。
其中,连接边可以是有向边,即包括边的方向,如节点对应论文的情况下,连接边的方向可以表征论文的引用关系,如节点1对应的论文1引用了节点2对应的论文2,则连接边可以由节点2指向节点1。
在对第一图数据样本进行切分时,可以按照多个节点之间的连接边进行切分,根据连接边,可以得到节点与节点之间的连接关系,从而可以得到第一图数据样本中的节点之间的拓扑结构,根据该拓扑结构,可以对第一图数据样本进行划分,也就是说,将第一图数据样本划分为多个子图样本,每一个子图样本包括第一图数据样本中的部分节点。实际中,一个子图样本可以理解为是第一图数据样本中的部分图数据,其中,每个子图样本中的多个节点之间都是相互连接的,也就是说子图样本中不存在孤立的节点。
在一种示例中,可以先对第一图数据样本中的节点进行聚类,这里的聚类是指按照社区聚类,在按照社区聚类时,可以采用多种方式确定出社区,实际中,在一个图数据中,一个社区内的节点通常连接关系较为紧密,有图聚的特点,因此,可以将连接较为紧密的多个节点确定为一个社区,如此,可以按照第一图数据样本中节点之间的联系紧密性,对第一图数据样本进行切分。由此,切分出的每个子图样本中的节点之间的联系较为紧密,从而提高节点之间的关联性,进而从样本的角度提高图神经网络的处理准确度。如图2所示,按照社区进行切分的结果如左侧图像所示,可以看出切分后的各个子图具有不同的团聚形态。
在又一种示例中,也可以对第一图数据样本进行随机切分,此种方式下,可以提高切分的效率。
如图2所示,无论是随机切分,还是按照社区聚类进行切分,结果都如图2中右侧图像所示,切分后得到4个子图样本A-D,四个子图样本之间的连接关系按照其在第一图数据样本中的连接关系而定,可见子图样本B分别与子图样本A、子图样本C和子图样本D连接。
在对第一图数据样本进行切分后,切分出的多个子图样本相互连接后,可以还原第一图数据样本,可以理解为是每个子图样本为第一图数据样本中的一个部分区域。其中,所得的各个子图样本中,不同的子图样本具有第一图数据样本中的不同节点,且互相之间不具有重叠的节点。一些情况下,不同的子图样本具有相同数量的节点,当然,又一些情况下,不同的子图样本可以具有不同数量的节点。当然,为了实现细粒度的切分,每个子图样本中节点的数量可以不超过预设数量,
步骤S102:对多个子图样本,执行多次采样,得到每次采样出的子图样本集;
其中,所包括的每两个子图样本之间,均能通过所述子图样本集中的至少一个子图样本产生连接关系。
本实施例中,可以对多个子图样本进行多次采样,直到第一图数据样本中的每个子图样本均被执行了至少一次采样。其中,在每次采样时,可以从多个子图样本中采样出至少一个子图样本作为子图样本集,由此,多次采样,便可以得到多个子图样本集,对于每个子图样本集而言,所包括的子图样本的数量可以相同。
其中,所采样出的每个子图样本集中,所包括的每两个子图样本之间,均能通过位于子图样本集中的至少一个子图样本产生连接关系。如此,子图样本集中的多个子图样本之间是具有不间断的连接关系的,也就是说子图样本之间的连接边是连续的。示例地,如图3所示,采样出的子图样本集31中的子图样本中包括一个作为中心节点的子图样本B,其余的子图样本A至子图样本C均与该子图样本B具有连接边连接;又示例地,如图3所示,采样出的子图样本集32中的子图样本E至子图样本H均依次首尾连接。或者,如采样出的子图样本集33中的子图样本L与子图样本I直接连接,子图样本I分别与子图样本J和子图样本K直接连接,子图样本J和子图样本K直接连接。
如图3所示,对于采样出的任意两个子图样本,该两个子图样本之间具有直接的连接关系,即直接采用连接边连接;或者,该两个子图样本之间没有直接的连接关系的情况下,该两个子图样本也具有间接的连接关系,即通过其他的子图样本建立了连接。
由此,使得子图样本集中的多个子图样本之间都具有较高密切度的联系,由于每个子图样本具有多个节点,则子图样本之间具有较高密切度的联系的情况下,子图样本集中的节点之间也具有不间断的联系。如图3可见,子图样本集中不存在孤立于其他节点的节点,或者是说,不存在不具有连接关系的两个节点。
步骤S103:构建每个子图样本集对应的空间特征;
其中,空间特征用于为子图样本集提供所包括的多个节点之间的连接关系。
在得到子图样本集之后,可以根据子图样本集中节点之间的连接关系,构建空间特征,该空间特征可以用于反映子图样本集中各个节点之间的连接关系,也就是空间位置关系。
一种示例中,为便于图神经网络对空间特征的处理,空间特征可以包括子图样本集中每个节点与子图样本集中其他节点之间的关系值,该关系值用于表征该节点与其他节点是否直接连接。如,子图样本集中包括4个节点,其空间特征可以为{1(0,0,1)、2(0,1,1)、3(0,1,0)、4(1,1,0)};其中,1(0,0,1)表示节点1与子图样本集中其他节点之间的关系值。
又一种示例中,空间特征可以是矩阵,其可以包括子图样本集中每两个节点之间的关系值,该关系值可以表征两个节点之间的连接关系的密切程度,空间特征中的每个关系值可以表征两个节点之间的连接关系的密切程度。具体地,若两个节点之间的连接关系是邻接的关系,则在空间特征中的关系值较大,若两个节点之间的连接关系是间接连接的关系,则随着中间间隔的节点的数量增多,在空间特征中的关系值越小。也就是说,两个节点之间越是趋近于邻接,其在空间特征中的关系值越大,其连接关系越密切。
其中,由于子图样本集中的每两个子图样本均能直接关联或间接关联,则子图样本集中的每两个节点之间也均能直接关联或间接关联,即每两个节点都能通过节点间的连接边所连接的路径建立联系,从而使得空间特征中的每两个节点之间的值总能通过其他的节点的连接边得到,由此,通过空间特征可以准确刻画子图样本集中的所有节点之间的连接关系,进而可以帮助节点与节点之间进行特征传递。
步骤S104:以多个子图样本集为训练样本,对图神经网络进行训练;在训练时,空间特征用于为所述子图样本集中的各个节点提供节点间的特征传递路径;
其中,训练完成的图神经网络,用于确定待处理的图数据所包括的节点各自所属的类别。
本实施例中,可以将得到的多个子图样本集和对应的空间特征分批输入到图神经网络,具体地,每次训练时,可以输入一个子图样本集以及该子图样本集对应的空间特征,输入到图神经网络,图神经网络可以用于对子图样本集中所包括的每个节点进行特征提取,具体地,子图样本集中的每个节点都可以携带该节点的描述信息,节点的描述信息可以理解为是描述一个节点的信息。
如以第一图数据样本中的各个节点为论文为例,描述信息可以是论文的摘要和关键词;又以第一图数据样本中的各个节点为组合物为例,描述信息可以是组合物的成分、每种成分的含量以及组合物的化学结构。又如节点是用户数据,则描述信息可以是用户数据的编码向量,例如采用独热编码方式对用户数据编码后得到的描述信息;又如节点是图像数据,则描述信息可以是图像的属性信息,如图像的拍摄时间、作者、图像的拍摄方式(热力图、RGB图)等。
其中,图神经网络在对各个节点进行特征提取后,可以根据空间特征,将各个节点的特征进行节点间的特征传递,如图2和图3所示,假设采样出在子图样本包括子图样本A和子图样本B,子图样本A和子图样本B构成的节点包括节点1-节点8;其中,节点1和节点6之间通过节点4和节点5连接,节点1与节点4邻接,则在特征传递时,节点1的特征可以传递给邻接的节点4,节点4的自身特征以及节点1传递到节点4后的特征又一并可以传递给节点5,同理,节点5的自身特征以及传递给节点5的特征又可以传递给节点6,从而节点6的特征可以融合到节点1、节点4和节点5传给过来的特征,使得一个节点除包括自身的特征外,还可以包括与其相连的其他节点传递来的特征,这样,对于一个节点而言,除该节点自身的特征可以描述该节点外,也可以采用其他节点的特征来增强该节点的特征表达,从而在分类问题中,可以实现用具有连接关系的其他节点的特征来帮助该节点的分类,从而提高分类准确度。
其中,依据不同的应用场景,节点所属的类别可以包括指节点的属性类别、节点所指向的特点类别;示例地,若节点是文本类数据,则该类别可以是文本类数据所描绘出的节点的属性类别,例如,节点是论文数据,则类别可以是指论文数据属于哪一学科领域;又示例地,节点若是专利数据,则节点所属的类别可以是指专利所在的细分技术领域;再示例地,节点若是用户数据,则节点所属的类别可以是指用户数据所指向的用户属于哪一特点用户,如用户是高敏感度用户还是低敏感度用户;又如用户是高社交热度用户还是低社交热度用户。
具体地,如在计算机科学领域中,节点是计算机科学领域中的论文数据,类别可以是指计算机科学领域中的细分学科,计算机科学领域一般包括科学计算、数据处理、网络与通信、过程控制、计算机辅助设计、人工智能、现代教育、家庭管理与娱乐、语言翻译、多媒体应用等,其中,科学计算又可以包括多个分支学科,其中,节点所属的类别可以为节点所属的分支学科。
示例地,以第一图数据样本中的各个节点为论文为例,节点1引用节点2的论文,节点2的论文所具有的特征包括:通信、协议、HTTP,节点1所具有的特征包括:通信、协议、密钥、报文,则节点2的特征会通过连接边传递给节点1,以辅助对节点1的论文所属细分领域的判断,同时,节点2与节点3连接,节点2引用节点3,节点3的论文所具有的特征包括:协议、带宽、P2P;则节点3的特征也会传递给节点2,则节点3的特征通过连接边间接传递给了节点1,也可以用于辅助对节点1的论文所属细分领域的判断。
其中,由于子图样本集中的全部节点之间均具有直接或间接的联系,不存在连接关系断掉的节点,因此,在子图样本集内部,节点之间均具有路径可以进行特征传递,从而使得节点的分类准确率得到提高
其中,本公开中的类别可以是节点所属的类别,该类别可以根据第一图数据样本的应用领域的不同而不同。如在计算机科学领域中,类别可以是指计算机科学领域中的细分学科,如计算机科学领域一般包括科学计算、数据处理、网络与通信、过程控制、计算机辅助设计、人工智能、现代教育、家庭管理与娱乐、语言翻译、多媒体应用等,其中,科学计算又可以包括多个分支学科,其中,节点所属的类别可以为节点所属的分支分科。
当然,以上仅以文献为例进行示例性说明,在其他一些领域,也同样适用。
具体地,在训练图神经网络时,针对每次输入的子图样本集,图神经网络均可以预测得到该子图样本集中每个节点对应的类别,实际中,每个节点都有对应的真实类别,该真实类别可以提前被用户进行标注得到,真实类别用于作为节点的标签,该真实类别和图神经网络预测出的类别,作用于训练过程中的梯度更新,从而经过多次更新后,训练完成图神经网络,训练完的图神经网络可以用于确定待处理的图数据所包括的节点各自所属的类别。待处理的图神经网络,可以与第一图数据样本属于同一个领域,如均属于计算机科学技术领域,或者,属于相似的领域,如第一图数据样本属于计算机科学技术领域,而图数据属于通信技术领域。
其中,在利用训练完成的图神经网络对待处理的图数据进行处理时,也可以参照上述步骤S101-步骤S103的过程,将图数据进行切分,以及从切分出的多个子图中进行采样,得到采样出的子图集,并构建子图集对应的空间特征,然后将子图集送入到训练完成的图神经网络中,以确定图数据中各个节点所属的类别。需要说明的是,该采样出的子图集中,每两个子图之间具有直接或间接的连接关系。
采用本实施例的图神经网络的训练方法,由于对第一图数据样本进行切分,使得每次送入到图神经网络的均是切分后得到的部分子图样本,从而减少了图神经网络进行处理的数据量,进而减小了计算量,从而提高了图神经网络的处理效率,并且降低了对电子设备的性能要求。
此外,由于采样出的子图样本集中各个子图样本之间具有连接关系,也就是说,对于一个子图样本而言,该子图样本不孤立于子图样本集中的任何一个子图样本,从而使得子图样本集中的节点均能通过连接边建立起连接关系,从而节点之间的特征传递路径不会中断,使得每个节点都可以用其他节点的特征来进行类别的辅助判断,从而提高节点的分类准确率。
由于采用本公开的子图样本集,可以提高节点的分类准确率,使得子图样本的节点数量可以更少,也就是说子图样本集的节点数量在更少的情况下,依然能建立节点间的特征传递路径,提高分类准确率,从而可以实现对第一图数据样本的更细粒度的切分,进一步降低子图样本集的数据量,图神经网络的计算量被进一步降低,计算时长大大缩短,同时对电子设备的性能要求进一步降低。
由此,采用上述的图神经网络的训练方法,可以降低训练阶段的时耗和对电子设备的性能要求,同理,在训练得到的图神经网络应用于推理阶段时,也能降低推理阶段所消耗的时长和对电子设备的性能要求。
实际中,在以多个所述子图样本集和多个所述子图样本集分别对应的空间特征为训练样本,对图神经网络进行训练时,可以采用有监督的训练方式,具体地,可以获取每个子图样本集中每个节点对应的实际类别,将该实际类别作为标签,以监督图神经网络的学习。
具体地,可以将多个子图样本集和多个子图样本集分别对应的空间特征,分批输入到图神经网络;并获取图神经网络输出的每个子图样本集中每个节点对应的预测类别;以及,基于预测类别和子图样本集中各个节点对应的类别标签,对图神经网络的参数进行多次更新,直到达到训练结束条件。
本实施例中,在每一次的训练过程中,图神经网络均可以对子图样本集中的每个节点进行特征提取,然后,基于提取到的特征和空间特征,进行节点间的特征传递,接着,基于每个节点的自身特征和传递到该节点的其他节点的特征,确定该节点的预测类别;之后,根据每个节点的预测类别和该节点的真实类别(即类别标签),构建损失函数,根据损失函数的值,对图神经网络的参数进行更新。
由此,对于每一个子图样本集,便会对图神经网络更新一次,当子图样本集都输入到图神经网络进行训练后,可以视为训练结束,或者,当图神经网络收敛后,可以视为训练结束,或者,当图神经网络被训练了预设次数,如1万次,可以视为训练结束,或者,当图神经网络的分类准确率达到了预设准确率时,可以视为训练结束。其中,可以将训练结束时的图神经网络,用于推理阶段。
当然,在一些实施例中,可以利用多个第一图数据样本对图神经网络进行更新,多个第一图数据样本属于同一技术领域,如都属于计算机科学技术领域,这样,可以提高图神经网络的泛化性。
下面,对图神经网络的训练方法中涉及到的子图样本采样、图神经网络对输入的子图样本集的处理过程进行分别说明:
#1,对于子图样本的采样:
由于子图样本集中所包括的每两个子图样本之间,均能通过子图样本集中的至少一个子图样本产生连接关系,这样子图样本集中所包括多个子图样本之间可以依次通过连接边连接,或者,子图样本集中多个子图样本之间可以相互邻接,或者,子图样本集中多个子图样本可以围绕同一个子图图样本建立连接关系。
具体地,多个子图样本集中包括:第一类子图样本集和/或第二类子图样本集;其中:
第一类子图样本集包括第一子图样本和至少一个第二子图样本,其中,每个第二子图样本均与第一子图样本邻接;
第二类子图样本集包括第三子图样本、至少一个第四子图样本和至少一个第五子图样本;其中,至少一个第四子图样本均与第一子图样本邻接,第五子图样本通过第四子图样本与第三子图样本连接。
其中,如图3中子图样本集31所示,在第一类子图样本集中,包括一个作为中心节点的子图样本,其余的子图样本都与该作为中心节点的子图样本连接,具体地,作为中心节点的子图样本为第一子图样本,除第一子图样本外的子图样本为第二子图样本,第二子样本之间可以无连接关系,而每个第二子图样本都与第一子图样本连接,由此,第一子图样本与每个第二子图样本都具有直接的连接关系。
其中,如图3中子图样本集32所示,在第二类子图样本集中,包括直接关联的子图样本,如第三子图样本和每个第四子图样本均直接连接,也包括间接关联的子图样本,如第五子图样本与第四子图样本连接,而第四子图样本又与第三子图样本连接,从而第五子图样本通过第四子图样本,与第三子图样本之间建立了间接的连接关系。
需要说明的是,在第二类子图样本集中,每个第四子图样本均是第三子图样本的邻接的子图,在有多个第五子图样本的情况下,可以包括与第四子图样本邻接的子图,也可以包括与第四子图样本间接关联的子图,具体地,多个第五子图样本可以依次连接,从而与第四子图样本直接连接的第五子图样本是邻接的子图,不与第四子图样本直接连接的第五子图样本是间接连接的子图。
其中,由于空间特征用于为子图样本集中的各个节点提供节点间的特征传递路径,在进行特征传递中,特征传递路径的长短与特征分类有着较为密切的关系,特征传递路径越短,其所传递的特征的表达性越强,也就是一个节点可以接收到其他节点的更具有代表性的,且与自身类别属性关联更高的特征表达;特征传递路径越长,其所传递的特征的表达性越弱,也就是一个节点可以接收到其他节点的有限,与自身类别属性关联不高的特征表达;这样,在分类问题中,长短不同的特征传递路径,节点间的类别存在较为明显的区分。
因此,对第一类子图样本集,由于第二子图样本均与第一子图样本直接关联,从而第一子图样本中的节点均能通过较短的特征传递路径传递到其他全部节点的特征,从而有助于提高对第一子图样本中节点的分类准确率。而第二子图子样本中的节点不仅能通过与第一子图样本间的特征传递路径,进行较短路径的特征传递,还能通过与第一子图样本连接的其他第二子图样本,建立起与其他第二子图样本之间的较长路径的特征传递,从而可以形成所传递到的特征的表达性强弱的明细区分,继而有助于提高对第二子图样本中节点的分类准确性。
同理,对第二类子图样本集而言,参照第一类子图样本集的特征传递过程的描述,同样可以提高对第二类子图样本集中节点的分类准确性。
本实施例中,采样出的多个子图样本集可以全部属于第一类子图样本集,或者,可以全部属于第二类子图样本集,或者既可以包括第一类子图样本集和第二类子图样本集。当然,既包括第一类子图样本集和第二类子图样本集的情况下,子图样本集中子图样本的连接关系更为丰富,从而节点间的特征传递路径可以越丰富,有助于提高图神经网络的泛化性能和分类准确性。
相应地,为使得所采样出的子图样本集中所包括的每两个子图样本之间,均能通过子图样本集中的至少一个子图样本产生连接关系,可以在采样时,将切分得到的子图样本视作一个节点,基于多个子图样本在第一图数据样本中的位置关系和连接关系,将相邻的多个子图样本采样出作为子图样本集。具体地,参照图4所示,示出了每次所进行的采样的步骤流程示意图,如图4所示,具体可以包括以下步骤:
步骤S201:按照多个子图样本在第一图数据样本的位置,构建第二图数据样本;其中,第二图数据样本包括多个图节点,每个图节点对应一个子图样本;
步骤S202:从第二图数据样本中采样出一个第一图节点;
步骤S203:以第一图节点为中心节点,从第二图数据样本中采样出至少一个第二图节点,以使第一图节点与每个第二图节点直接或间接连接;
步骤S204:从第一图数据样本获取所采样的第一图节点和第二图节点各自所对应的子图样本,得到子图样本集。
本实施方式中,如图2所示,将第一图数据样本按照节点间的连接边进行切分后,得到的多个子图样本可以还原为第一图数据样本,从而,可以将每个子图样本作为一个新的图节点,按照子图样本在第一图数据样本中的位置,将各个图节点连接,从而得到了第二图数据样本,其中,第二图数据样本的图结构从更高的视野,反应第一图数据样本的各个节点之间的拓扑结构。
其中,在得到第二图数据样本后,可以以第二图数据样本为基础,进行采样,也就是说,可以对第二图数据样本中的图节点进行采样,采样出所需的多个图节点。由于一个图节点对应一个子图样本,而又要求采样出的子图样本集中每两个子图样本之间需要建立直接或间接的连接关系,因此,采样出的多个图节点中,每两个图节点需要直接或间接连接。
其中,为了达到一次采样出的每两个图节点需要直接或间接连接的目的,可以先从第二图数据样本中采样出一个第一图节点,接着,以第一图节点为中心节点,可以按照预设采样路径,从第二图数据样本中采样出至少一个第二图节点,以使第一图节点与第二图节点是直接的连接关系,或者间接的连接关系。
其中,预设采样路径是以第一图节点为起始节点,依次从向右和向左与第一图节点连接的图节点中采样,这样,可以采样出一条路径链上的多个图节点,使得采样出的图节点可以是链式的连接关系。
当然在一些示例中,如上述图3中子图样本集31所示,采样出的第一图节点可以与每个第二图节点均是直接的连接关系,第二图节点与第二图节点之间则可以通过第一图节点建立间接的连接关系,即上述所述的第一类子图样本集。在又一些示例中,如上述图3中子图样本集32所示,采样出的第一图节点可以与其他部分的第二图节点直接连接,而与另外部分的第二图节点通过直接连接的第二图节点,建立间接的连接关系,即上述所述的第二类子图样本集。
其中,每个子图样本集中所包括的子图样本的数量可以预先设定,使得不同的子图样本集中的子图样本的数量可以相同。
相应地,为达到上述子图样本集中子图样本的连接特点(每两个子图样本可以直接或间接连接),在以第一图节点为中心节点,从第二图数据样本中采样出至少一个第二图节点的过程中,可以先从与第一图节点邻接的图节点中采样,若采样出的图节点不足预设数量,可以再在与第一图节点间隔一个图节点的图节点中采样,依此类推,可以采样出与第一图节点具有间接或直接连接关系的多个第二图节点。这样,第二图节点可以均是与第一图节点邻接的图节点,或者,第二图节点既包括与第一图节点邻接的图节点,又包括与第一图节点间接连接的图节点。
具体地,以第一图节点为中心节点,从第二图数据样本中采样出至少一个第二图节点时,可以按照距离第一图节点从近到远的顺序,将除第一图节点外的多个图节点划分为多个辐射圈;并按照辐射圈距离第一图节点从近到远的顺序,对多个辐射圈内的图节点进行逐圈采样,直到采样出的第二图节点的数量达到预设数量;
其中,距离第一图节点最近的辐射圈所包括的图节点为与第一图节点邻接的图节点。
其中,距离可以是指:图节点与图节点之间的连接距离,直接连接的两个图节点的距离,小于间接连接的两个图节点的距离。本实施例中,与第一图节点距离最近的图节点是与第一图节点邻接的图节点,也就是与第一图节点直接连接的图节点。其中,与第一图节点间接连接的图节点中,若与第一图节点之间所间隔的图节点的数量越多,则距离第一图节点的距离越远。
其中,按照距离第一图节点从近到远的顺序,将除第一图节点外的多个图节点划分为多个辐射圈中,位于每个辐射圈中的多个图节点与第一图节点的距离相同,示例地,参照图5所示,示出了从9个图节点中采样出4个图节点为例的采样示意图,如图5所示,第一图节点为图节点1,图节点2-图节点9被划分为三个辐射圈,辐射圈1中的图节点与图节点1直接连接,辐射圈2中的图节点与图节点1通过辐射圈1中的图节点与图节点1间接连接,依次类推,辐射圈3中的图节点与图节点1通过辐射圈1和辐射圈2中的图节点,与图节点1间接连接。
可见,位于外层的辐射圈中的图节点,需要通过位于内层的辐射圈中的图节点,与第一图节点建立连接。
其中,可以按照距离第一图节点从近到远的顺序,对多个辐射圈内的图节点进行逐圈采样,直到采样出的第二图节点的数量达到预设数量。具体地,线从最内层的辐射圈中的图节点中采样出第二图节点,若内层的辐射圈中的图节点满足预设数量,则停止采样;若内层的辐射圈中的图节点不满足预设数量,则将内层的辐射圈中的图节点全部采样出作为第二图节点后,又从外层的辐射圈中的图节点中进行采样,依次层层辐射圈采样,直到采样出符合预设数量的第二图节点。
示例地,如图5所示,需要采样出的图节点的总数量为4,则需要采样出3个第二图节点,先从最内层的辐射圈开始采样,即从与图节点1直接连接的辐射圈1(与图节点1直接连接)中开始采样,由于与辐射圈1中的图节点仅包括图节点2和图节点6,数量少于3,则又需要从辐射圈2(与图节点1通过辐射圈中的一个图节点间接连接)中开始采样出剩余的一个图节点,辐射圈2有三个图节点,分别为图节点4、图节点5和图节点7,则可以将其中的任意一个图节点采样出作为第二图节点,至此完成本次采样。
在采样完成后,由于一个图节点对应一个子图样本,则采样出的每个图节点都对应切分出的一个子图样本,从而可以获取第一图节点对应的子图样本和第二图节点对应的子图样本,接着,按照子图样本在第二图数据样本中的连接关系,和每个子图样本中节点之间的连接关系,还原出第一图节点对应的子图样本和第二图节点对应的子图样本中所包括的节点的连接关系,从而得到子图样本集。
在一些示例中,可以为每个子图样本设置第一标识,以及为每个图节点设置第二标识,通过第一标识和第二标识之间的连接关系,构建出子图样本与图节点之间的关联,具体地,第一标识可以与第二标识相同,也就是说,一个子图样本和该子图样本对应的图节点,都采用同一标识,以表征其对应关系。或者,第一标识可以与第二标识不同,但是二者之间具有关联,以表征其对应关系。在获取第一图节点和第二图节点各自所对应的子图样本时,可以根据子图样本与图节点之间的对应关系,获取各自对应的子图样本。
示例地,如图5所示,采样出了5个图节点,包括图节点1、图节点2、图节点6、图节点5和图节点4,其中,在获取到每个图节点各自对应的子图样本后,根据图节点之间的连接关系和每个子图样本中的节点之间的连接关系,可以得到子图样本集1中各个节点之间的连接关系。
采用本实施方式的采样方式,通过在第二图数据样本中对图节点的采样,实现对子图样本的采样,可以较为简单且高效地获取到本公开的子图样本集,这是因为第二图数据样本中的图节点还原了子图样本在第一图数据样本中的位置关系和连接关系,只需在第二图数据样本中按照预设路径对图节点采样,便能获取到符合本公开需求的子图样本集,从而以图节点作为采样过程中的中间工具,简化了从切分到的子图样本到子图样本集的获取路径,提高了采样的便捷性和采样效率,同时由于第二图数据样本的图结构,反映了第一图数据样本的各个节点之间的拓扑结构,从而在基于第二图数据样本进行采样时,可以使得采用出的子图样本集更加符合每两个子图样本之间直接或间接连接的目标。
在又一些实施例中,在对多个子图样本进行多次采样时,不同的子图样本集之间也可以具有连接关系,也就是说子图样本集与子图样本集之间也具有节点的联系,例如,上一次输入到图神经网络的上一子图样本集,与本次输入到图神经网络的本次子图样本集之间具有连接,如上一子图样本集中的子图样本与本次子图样本集中的一个子图样本可以是邻接的子图样本。这样,图神经网络在训练过程中,其可以学到多个子图样本集之间的相互联系,由此,可以帮助提高图神经网络的处理准确率,可以允许进一步减小子图样本集所包含的节点的数量。相应地,在推理阶段,上一次输入到图神经网络的上一子图集,与本次输入到图神经网络的本次子图集之间也可以具有连接。
具体地,在每次从第二图数据样本中采样出一个第一图节点时,可以确定上一次所采样出的多个图节点;接着,可以在多个第三图节点中采样出本次对应的第一图节点,该第三图节点可以是距离第一图节点最远的第二图节点的邻接图节点。
采用此种方式,可以对第一图网路进行区域渐进式采样,如从一个小区域依次向外采样,可以提高采样效率。之后,在对图神经网络进行训练时,可以打乱多个子图样本集的顺序,即不按照采样顺序输入图神经网络,由此,可以提高图神经网络对不同区域的子图样本的学习能力,从而提高图神经网络的处理准确率。
其中,在对多个子图样本进行多次采样,所得到的多个子图样本集中,不同的子图样本集所包括的子图样本可以不同,即子图样本集之间没有重合的子图样本;或者,可能存在重合的子图样本位于不同的子图样本集中。具体地,在子图样本集之间没有重合的子图样的情况下,每次都要采样出不重叠的子图样本,从而可以尽快将全部的子图样本采样出,提高采样效率,并且提高图神经网络的泛化性能。
在子图样本集之间有重合的子图样的情况下,同一子图样本可能包含在不同的子图样本集中,但是实际上又没有完全重合的子图样本集,这样,图神经网络模型在训练过程中,可以提高图神经网络模型对整个第一图数据样本的图结构的深入学习,即通过子图样本具有重合的多个子图样本集,精确刻画重合的子图样本的位置以及与其他子图样本之间的关联性,示例地,子图样本A出现在子图样本集34和35中,由于子图样本集34和35中的子图样本,都是相互关联的,因此,可以精确刻画出子图样本A与其他子图样本之间的关联,从而有助于图神经网络的精度提高。但是,需要注意的是,具有重合的子图样本的子图样本集的数量不宜过多,以避免图神经网络陷入局部最优。
具体地,为达到上述目的,在对多个子图样本,执行多次采样,得到每次采样出的子图样本集时,可以对多个子图样本进行J次采样,直到每个子图样本均被采样出加入到子图样本集;其中,第j次采样包括:
从多个剩余子图样本中采样出第j次对应的子图样本集,以使不同的子图样本集中包括不同的子图样本;其中,多个剩余子图样本为第一图数据样本中除第1次到第j-1次所采样出的子图样本外的子图样本;
或者,从多个子图样本中采样出第j次对应的子图样本集;
其中,j小于或等于J,J为大于1的正整数。
本实施方式中,在一种采样方式1中,每次采样所针对的子图样本,都是上一次采样后第一图数据样本中剩余的子图样本,示例地,第一图数据样本被切换为100个子图样本,在第一次采样出4个子图样本中,第二次采样从剩余的96个子图样本中采样出4个子图样本,依次类推,随着采样次数的增多,剩余的子图样本的数量减少。这样,可以使得所采样出的多个子图样本之间均不存在重复的子图样本。
在又一种采样方式2中,每次采样所针对的子图样本都是对第一图数据样本进行切分得到的多个子图样本,如上述基于第二图数据样本的采样实施例所述,在每次采样时,均可以从第一图数据样本中随机采样出一个第一图节点,接着以第一图节点为中心,按照预设路径采样出多个第二图节点。这样,采样出的多个子图样本集中,可以存在部分子图样本集具有重合的子图样本,也存在部分子图样本集之间不具有重合的子图样本。采用此种采样方式,可以提高子图样本集之间的样本丰富性。
其中,对于一个第一图数据样本,可以采用采样方式1,得到多个子图样本集,也可以采用采样方式2,得到多个子图样本集,可以将采样方式1得到的多个子图样本集,与采样方式2得到的多个子图样本集进行组合,从而将组合的多个子图样本集作为训练样本,送入到图神经网络进行训练。或者,按照采样方式1,对第一图数据样本进行多轮采样,每轮采样都可以得到多个子图样本集,如此,可以对图神经网络进行多轮训练,从而提高图神经网络在某一应用领域中的分类准确率。
采用此种实施方式,可以丰富采样的方式,从而提高采样出的子图样本集的样本丰富度,由此,可以提高图神经网络进行分类的准确性。
#2,对于构建空间特征:
在一些实施例中,在构建每个子图样本集对应的空间特征时,可以按照子图样本集中多个节点是否邻接构建空间特征。
具体地,可以基于第一图数据,还原子图样本集中所包括的各个节点之间的连接关系;并基于各个节点中每两个节点之间的连接关系,设置每两个节点之间的权重;接着,基于每两个节点之间的权重,构建空间特征。
其中,权重用于表征两个节点之间是否邻接。
如上所述,构建的空间特征可以表征两个节点之间的连接关系的密切程度,两个节点之间越是趋近于邻接,其在空间特征中的值越大,其连接关系越密切。实际中,空间特征可以包括子图样本集中每两个节点之间的权重,表征该两个节点之间的关联程度。一些示例中,可以根据两个节点是否是直接连接的节点,而设置该两个节点之间的权重,具体地,若两个节点通过连接边直接连接,表示该两个节点是邻接节点,则可以将权重设为最大值,如1,若两个节点不直接连接,其之间通过至少一个其他的节点间接连接,则可以将权重设置为小于上述最大值的一个值,如零。
当然,在一些可选例子中,两个节点不直接连接的情况下,可以根据两个节点之间所间隔的节点的数量,设置该两个节点之间的权重,所间隔的节点的数量越大,则权重越小。如间隔一个节点的,可以设置权重为0.8,间隔两个节点的,基于设置权重为0.6。在该可选例子中,若两个节点之间包括多条连接路径,每条连接路径中所间隔的节点的数量不一致,如节点1和节点2之间,一种连接路径下,可以通过节点3连接,另一种路径下,可以通过节点4和节点5连接,则对于此种情况下,可以以任一条连接路径为准,确定该两个节点之间的权重。
示例地,参照图6所示,示出了一种子图样本集的节点连接示意图,如图6所示,子图样本集中包括4个节点,分别是节点1、节点2、节点3和节点4,构建出的该子图样本集对应的空间特征如下式子(1)所示:
=/>式子(1)
其中,式子(1)中,xij表示第i个节点和第j个节点之间的权重,权重为1,表示节点是邻接的,权重为0,表示节点是间接连接的。其中,xii表示同一个节点的权重。
其中,该空间特征可以作为初始的矩阵送入到图神经网络,之后,基于该空间特征,在图神经网络的内部,可以构建每两个节点之间的特征传递路径,具体地,可以详见后续实施例的描述。
#3,对于图神经网络对输入的子图样本集的处理过程:
在一些实施例中,图神经网络需要对输入的子图样本集中各个节点的节点特征进行特征提取,之后,基于空间特征,对各个节点所提取到的特征进行特征传递,这样,每个节点都可以获取到其他与之有关的节点所传递来的特征,使得一个节点可以融合到其他关联的节点的特征,从而可以基于融合的特征确定节点所属的类别。
参照图7所示,示出了图神经网络对输入的子图样本集和空间特征进行处理的过程示意图,如图7所示,具体可以包括以下步骤:
步骤S301:对子图样本集中每个节点对应的描述信息进行特征提取,得到子图样本集中每个节点各自对应的特征向量;
步骤S302:对空间特征以及子图样本集中各个节点对应的特征向量,进行N次特征融合,得到子图样本集中每个节点各自对应的融合特征向量;
其中,节点在第n-1次特征融合所得的特征向量作为第n次融合时该节点对应的特征向量;其中,n小于或等于N,N为大于1的正整数;
步骤S303:基于子图样本集中每个节点各自对应的融合特征向量,确定子图样本集中每个节点各自所属的类别。
本实施例中,可以将每个子图样本集输入到图神经网络,输入到图神经网络的包括子图样本集各个节点之间的连接关系,以及各个节点所携带的描述信息,其中,描述信息可以是一组向量,具体可以是对各个节点的描述信息进行词嵌入后得到的向量,不同的节点所携带的向量的维度是相同的,例如,都是128维的特征向量。
其中,图神经网络可以对每个节点对应的描述信息(向量)进行特征提取,得到每个节点对应的特征向量,接着,根据空间特征所提供的特征传递路径,对各个节点对应的特征向量进行特征传递,以使每个节点可以将其他节点的特征向量与自身的特征向量进行融合。其中,由于子图样本集中的各个节点之间均只有直接或间接的连接关系,因此,子图样本集中的一个节点与该子图样本集中的全部剩余节点有直接或间接的关联,这样,在融合时,对于每一个节点而言,都可以通过特征传递路径,融合到其他所有节点的特征向量,具体地,不同路径长度的特征传递路径,所融合到的其他节点的特征的表达有强弱的区分。如图6所示,节点1与节点2直接连接,可以传递到节点2的更强的特征表达,节点1与节点3和节点4间接连接,则可以也可以传递到节点3和节点4的特征,但是其所传递的特征的表达稍弱。
在一种可选的示例中,送入到图神经网络的空间特征中的各个权重,可以是根据两个节点之间所间隔的节点的数量确定的,如上所述,该两个节点之间所间隔的节点的数量越大,则权重越小,最大的权重可以是1,采用此种实施方式是,可以直接根据空间特征进行一次特征融合,即对每个节点而言,可以根据空间特征中该节点与子图样本集中其他节点之间的权重,将其他节点的特征传递给该节点,从而得到各个节点对应的融合特征向量。采用此种示例的方式,可以缩短融合的过程,从而提高效率。
在又一种可选的示例中,如式子(1)所示,送入到图神经网络的空间特征可以是矩阵,其中的各个权重表征两个节点是否直接连接,其中,直接连接的两个节点对应的权重是1,不直接连接的两个节点对应的权重可以是0,具体地,可以将此矩阵称为邻接矩阵。此种情况下,可以按照空间特征,对各个节点的特征进行递进式融合,即对空间特征以及子图样本集中各个节点对应的特征向量,进行N次特征融合,该N次特征融合可以是迭代式的融合,即在第n-1次特征融合所得的特征向量作为第n次融合时该节点对应的特征向量。
具体地,该N次特征融合是递进式的特征融合,在递进式的特征融合可以是指:以一个节点为中心节点,按照距离与该中心节点从近到远的顺序,依次将该中心节点的特征传递与之相连的各个节点中,实际中,可以将该特征融合的方式可以类比于水波纹向外扩展的方式,即一个节点的特征逐层向外层的节点传递,每一层的特征传递视为一次特征融合。
具体实施时,可以先对直接连接的两个节点进行特征融合,使得两个邻接节点可以先进行特征传递,如图6所示,可以根据式子(1)所示的空间特征,先将节点1的特征传递给节点2,节点2的特征也相应传递给节点1;接着,在该特征传递的基础上,再进行下一组的相邻节点间的特征传递,由于节点1的特征传递给了节点2,使得在下一次特征融合时,节点3可以通过节点2融合到节点1的特征,由此,通过每两个直接连接的节点的特征传递,可以使得间接连接的两个节点之间实现特征传递。如图6所示,将节点1的特征传递给节点2后,在节点2和节点3之间进行特征传递时,由此,使得节点1的特征通过节点2传递到节点3。
其中,由于子图样本集中的每两个节点之间都具有直接或间接的连接关系,通过对空间特征的处理,可以很快建立其不直接连接的两个节点之间的关联,这样,在第N次融合时,便可以使得每个节点都可以融合到其他所有节点的特征。
一般情况下,N可以设置为3,则n可以取值1、2和3。一般而言,在传递三次后,通过空间特征能使得绝大部分的节点均建立起了两两之间的关联。也就说,最偏远的一个节点总能通过临近的一个或两个节点传递到其他所有节点的特征。
在进行上述的特征融合后,可以得到子图样本集中每个节点各自对应的融合特征向量,由于一个节点的融合特征向量融合有其他节点的特征,由于融合到的其他节点的特征的表达强弱与对应的特征传递路径有关,而特征传递路径与节点之间的连接关系有关,因此,在基于空间特征进行特征融合时,可以是基于节点间的空间相关性进行的融合,也就是说,将节点之间的空间相关性表达在了融合特征向量中,这样,其他节点的特征向量可以辅助该节点的类别判断,同时,空间相关性可以辅助判断该节点与其他节点之间的类别差异,由此,可以更加准确地确定出子图样本集中每个节点各自所属的类别。
由于对空间特征以及子图样本集中各个节点对应的特征向量,进行N次的迭代特征融合,如上所述,当融合进入深层次时,则建立了间隔较远的两个节点之间的特征传递路径,使得一个节点可以向更外层的节点传输自己的特征,这样,通过空间特征,可以将不邻接的两个节点之间的特征进行传递,随着融合次数的增多,较偏离的节点也能与其他节点建立联系,且由于采样出的子图样本集中的多个子图样本本身就是相互关联的,而这一由近及远地将不邻接的两个节点之间的特征进行传递的计算过程,也不冗长,从而可以减少时耗,节约功耗。
在一些实施方式中,在第n次的所述特征融合时,可以基于空间特征,获取第n次对应的空间相关性矩阵;并基于子图样本集中每个节点第n次对应的特征向量,获取当次第n次对应的特征相关性矩阵;将空间相关性矩阵和特征相关性矩阵,融合到子图样本集中每个节点第n次对应的特征向量中。
其中,特征相关性矩阵中包括一个节点与其他节点的特征向量之间的相似度,空间相关性矩阵用于表征子图样本集中一个节点与其他节点之间的关联程度。
本实施方式中,在每一次融合时,都可以得到各个节点在当前的特征向量,其中,可以计算每两个节点的特征向量之间的相似度,由此,可以估计出各个节点之间的类别相似程度。如两个特征向量之间越相似,则相似度越高,其属于同一类别的概率更高,则在融合时,可以融合到彼此更多的共同特点,也就说,可以进行节点间的特征弥补;又如两个特征向量之间越不相似,则相似度越低,其属于同一类别的概率越低,则在融合时,可以融合到更少的共同特点,也就是说,可以进行节点间的特征区分。
其中,可以基于空间特征,获取当次,即第n次对应的空间相关性矩阵,由于是递进式的特征融合,则需要随着融合次数的增多,使得一个节点可以融合到与之相距较为偏远的节点的特征,因此,在一种示例中,可以对空间特征进行预设计算,使得在第n次融合中,一个节点可以融合到与之邻近的多个节点的特征,而在第n+1次融合时,融合的辐射圈扩大,使得一个节点可以融合到与之邻近的更多个节点的特征。
在该实施方式的进一步示例中,空间特征可以是邻接矩阵,该邻接矩阵中的每个值可以表征两个节点之间是否直接连接,这样,可以基于空间特征,可以逐渐由近及远地将不邻接的两个节点之间的特征进行传递,可以使得空间特征进行迭代自乘,具体实施时,可以在第n次特征融合时,对空间特征依次进行n次自乘,并对第n次自乘得到的矩阵中的各个数值进行归一化,得到空间相关性矩阵;其中,上一次的自乘结果作为下一次待自乘的空间特征。
具体地,在第一次特征融合时,可以对输入到图神经网络的空间特征进行自乘,从而可以建立其间隔一个节点相连的两个节点之间的连接关系,也就是说,如图6所示,节点1通过自身的邻接节点2与节点3建立了连接关系,使得一个节点的特征依次向外传递给了两个节点。
示例地,以式子(1)所示,对式子(1)进行自乘的结果见下述式子(2)所示:
×/>=/>式子(2)
由上述式子(2)可知,通过空间特征之间的自乘,可以使得原本不直接关联的节点1和节点4之间通过节点2建立连接,具体地,通过空间特征的自乘,可以刻画出多个节点之间的特征传递路径,以及每两个节点之间的连接关系在子图样本集中的重要性,如此,可以用于表征子图样本集中一个节点与其他节点之间的关联程度,
其中,在第一次自乘时,都可以表达出多个节点之间建立两两之间的连接关系的特征传递路径,以及两个节点之间的连接关系在整个子图样本集中的重要性,其中,特征传递路径和每两个节点之间的连接关系在整个子图样本集中的重要性,可以反映出节点间的空间相关性,因此,称为空间相关性矩阵。在第一次空间特征的自乘时,所得的空间相关性矩阵可以表征每两个节点之间的特征传递路径,以及两个节点之间的连接关系在特征传递路径中被复用的程度,被复用的程度越高,则该两个节点之间的连接关系对于整个子图样本集而言越重要。
示例地,如图6所示,通过两两节点之间的权重可看出:节点2关乎到其他所有节点的特征传递,其相当于中枢,其权重最大;其次,节点1和节点3、节点1和节点4以及节点2和节点4之间的权重次之,因节点2和节点3之间的连接关系,关乎到节点1和节点3之间的传递路径,节点2和节点4之间的连接关系,关乎到节点1和节点4之间的传递路径,节点3和节点4之间的连接关系,关乎到节点2和节点4之间的传递路径,这三组节点之间的重要性相差不大;节点1和节点2之间的连接关系,需要在传递给节点4和节点3时使用到,因此重要性再次之;节点4和节点1之间在第一次自乘时,第一次建立了传递路径,因此权重变为1。
其中,第一次自乘得到的空间相关性矩阵,可以作为第二次特征融合时的空间特征,再进行上述的自乘,由此,经过一次自乘计算,可把2阶邻接内(即间隔一个节点)的节点相关联起来,经过n次自乘,则使得距离较为偏远的两个节点关联起来,并随着特征融合的深入,使得对整个子图样本集较为重要的两个节点被更加紧密的关联,由此,这紧密关联的两个节点之间会加深特征向量的融合,从而可以使得紧密关联的节点间的融合特征向量,可以充分表达出该节点所具有的特征,继而提高分类准确率。
在该实施方式的又一种示例中,在将空间相关性矩阵和特征相关性矩阵,融合到子图样本集中每个节点第n次对应的特征向量中时,可以先对空间相关性矩阵和特征相关性矩阵进行融合,接着,将空间相关性矩阵和特征相关性矩阵进行融合的结果,融合到节点第n次对应的特征向量中。
具体实施时,可以对空间相关性矩阵和所述特征相关性矩阵进行融合,得到融合矩阵,并将融合矩阵,融合到子图样本集中每个节点第n次对应的特征向量中。
其中,在对空间相关性矩阵和特征相关性矩阵进行融合时,可以将二者直接相加,或者以空间相关性矩阵为权重,对特征相关性矩阵中的各个值进行调整,或者,对二者进行加权求和。由此,使得融合矩阵可以刻画出节点之间的空间相关性和特征相似性,用空间和特征共同刻画出节点间的关联性,由此,融合矩阵可以在特征传递中,渐渐聚拢间隔较远的节点。
需要说明的是,在对空间相关性矩阵和特征相关性矩阵进行融合时,可以先对空间相关性矩阵和特征相关性矩阵进行维度变换,使得两个矩阵融合时,可以是基于同一组节点的融合,即融合时,是将相同的两个节点之间的空间相关性和特征相关性融合。
在该实施方式的又一种示例中,在将融合矩阵,融合到子图样本集中每个节点第n次对应的特征向量中时,可以对二者进行加权求和,具体实施时,可以获取融合矩阵和特征向量分别对应的权重,并按照权重,对融合矩阵和子图样本集中每个节点第n次对应的特征向量进行加权融合。
具体地,对于每个节点而言,可以根据融合矩阵,得到该节点与子图样本集中其他任一节点之间的空间相关性和特征相似性被融合后的特征,接着,根据各自对应的权重,将该节点的特征向量与融合矩阵中该节点对应的特征向量进行融合,从而能形成该节点的新的特征向量(融合特征向量)。
实际中,由于融合矩阵中包括每两个节点之间的特征值,在融合时,由于需要将融合矩阵融合到每个节点对应的特征向量中,因此,对于每个节点而言,可以从融合矩阵中取出该节点对应的一维向量,将该一维向量与该节点的特征向量进行加权融合,从而使得该节点可以融合到其他所有相关联的节点的特征。示例地,在基于式子(2)对节点1的特征向量进行融合时,可以将[2,2,1,1]的一维向量与节点1的特征向量融合,从而得到节点1的融合特征向量。具体地,节点1的特征向量需要与该一维向量的维度适配,实际中,可以根据融合需要对节点1的特征向量做出对应的维度设计即可,在此不再赘述。
在该实施方式的进一步示例中,由于特征相关性矩阵用于表征子图样本集中不同节点之间的相似程度,则实际中,对于子图样本集中的每个节点,可以将该节点的特征向量分别与邻居节点的特征向量做内积计算分数,从而得到相似度,从而基于该相似度,可以构建出特征相关性矩阵。
具体地,在基于子图样本集中每个节点第n次对应的特征向量,获取第n次对应的特征相关性矩阵时,可以确定子图样本集中每两个节点各自对应的特征向量之间的相似度,对所得到的相似度进行归一化,得到特征相关性矩阵。
当然,对于空间相关性矩阵而言,由于空间相关性矩阵可以根据空间特征的自乘得到,由此,在得到空间相关性矩阵时,也可以对空间相关性矩阵中的各个特征值进行归一化,在归一化后再与特征相关性矩阵融合。
采用N次特征融合的方式,可以使得较为偏远的节点通过距离邻近的节点实现关联,从而实现特征传递,由此,可以使得一个节点均能得到其他不同节点所传递到的特征,并且由于空间相关性矩阵不仅可以反映节点间的特征传递路径,还可以反映两个邻接节点在整个子图样本集中对节点间特征传递所做的贡献(即上文所述的紧密程度),这样,依据其贡献可以进行程度不同的特征传递,使得贡献越高的两个节点可以相互传递更多的特征,由此,不仅利用其它节点的特征辅助了自身节点的类别判定,也可以利用节点间的连接对特征传递的贡献程度,辅助判定节点间的类别差异。如节点间的连接对特征传递的贡献程度越高,则表征该两个节点是同一类别的节点的概率较高,由此,可以融合到更多的特征,从而增强彼此的特征表达,由此,可以有层次地刻画出节点间的类别差异,继而帮助提高分类准确性。
参照图8所示,示出了图神经网络的一种网络结构示意图,本公开中,图神经网络可以包括第一网络和第二网络,其中,第一网络的输出端可以与第二网络的输入端连接,第一网络可以是MLP(Multilayer Perceptron,多层感知器)网络,第二网络可以是Transformer结构的网络。其中,如图8所示:
第一网络,用于对节点对应的描述信息进行特征提取,得到特征向量;
第二网络,用于对空间特征以及子图样本集中各个节点对应的特征向量,进行N次特征融合,得到子图样本集中每个节点各自对应的融合特征向量;并基于子图样本集中每个节点各自对应的融合特征向量,确定子图样本集中每个节点各自所属的类别。
其中,第一网络对节点进行特征提取的过程可以参照上述实施例所示,第二网络对节点进行特征融合的过程,可以参照上述实施例的描述,在此不再赘述。
如图8所示,多个子图样本集可以输入到第一网络,以通过第一网络对节点对应的描述信息进行特征提取,得到特征向量;多个子图样本集各自对应的空间特征可以输入到第二网络,也就是说,输入第二网络的包括空间特征,以及第一网络输出的各个节点的特征向量。其中,第二网络对输入的空间特征和特征向量的处理过程可以参照上述实施方式的描述过程即可,在此不再赘述。
在一些实施例中,第一网络可以包括依次串联的多个特征提取单元;其中,每个所述特征提取单元用于对输入的信息进行特征提取,并将提取到的特征输入到下一特征提取单元。在一种示例中,第一网络可以包括三个特征提取单元。
参照图9所示,示出了第一网络的结构示意图,包括依次连接的多个特征提取单元,每个特征提取单元可以包括线性层和Relu激活函数层,线性层的输出作为Relu激活函数层的输入,Relu激活函数层的输出作为下一特征提取单元中线性层的输入。
采用该第一网络,由于MLP是一种基于前馈神经网络的机器学习模型。相比于其他算法,MLP可以很容易地添加多个层,从而提高模型的准确性。
具体地,MLP模型有三个主要部分:输入层、隐藏层和输出层。输入层接收数据,而隐藏层和输出层是由神经元构成的,其中,每个节点都会将信号通过一个激活函数进行计算,然后将结果传递给下一层节点。这样,整个神经网络就可以学习如何准确地预测未来的变化趋势。也就是说,可以通过MLP,预测每个节点的特征的变化趋势。
在又一些实施例中,参照图10所示,示出了第二网络的结构示意图,如图10所示,第二网络包括N个依次串接的融合模块;每个融合模块包括第一融合单元、第二融合单元和第三融合单元。
其中,第一融合单元100用于基于输入到第一融合单元的空间特征(图10中所示的矩阵),确定对应的空间相关性矩阵,空间相关性矩阵用于表征子图样本集中一个节点与其他节点之间的关联程度;
其中,第二融合单元200用于基于输入到第二融合单元的每个节点对应的特征向量(图10中F所示),获取特征相关性矩阵;其中,特征相关性矩阵中包括一个节点与其他节点的特征向量之间的相似度;
其中,第三融合单元300用于将空间相关性矩阵和特征相关性矩阵,融合到输入到融合模块的每个节点对应的特征向量中。
具体地,第一融合单元、第二融合单元和第三融合单元的处理过程,可以参照上述实施例的对应处的描述即可,在此不再赘述。
其中,图10中,Q代表自身节点,K代表与节点相邻的另一节点,V代表节点被提取出的特征向量,在进行第一次融合后的每一次融合时,V代表节点的融合特征向量。
采用此种实施例的图神经网络,可以充分发挥MLP模型的优势,提高对节点的特征的提取精度,以及充分利用Transformer的优势,充分刻画节点间的紧密性程度,继而提高特征融合的准确度,两相结合,可以提高整个图神经网络对节点的分类准确度,由此,可以对第一图数据样本实现更加细粒度的切分,切分到的子图样本的数据量可以更小,因此,可以进一步降低图神经网络的计算量,从而大大缩短训练时长和后续的推理时长。
下面,以一个具体示例为例,对图神经网络的训练方法的整个过程予以说明:
以gobn-papers100M图数据为例,其中,ogbn-papers100M数据集是论文引用网络,是有向图,包括1.11亿个节点,每个节点对应一篇论文,即有1.11亿篇论文,具体地,这些论文是计算机科学领域中的论文,节点与节点之间的连接边表示论文之间的引用关系。其中,节点的描述信息是从论文的标题和摘要中提取出的关键词,在一些示例中,可以将提取出的关键词通过word2vec模型获得词嵌入,从而转换为128维特征向量,本示例的目标是将1.11亿篇论文划分为计算机学科内的172个细分领域,即划分为172个主题类别。
S1:获取历史时期的gobn-papers100M图数据,如2017年的图数据作为样本,以下简称图数据17,图数据17具有1亿篇论文,其中,1亿篇论文之间具有连接边,该连接边可以是有向边,表示论文文件的引用关系;之后,对图数据17按照社群聚类,根据聚类结果把图数据17划分多个紧密连接的子图样本;此种示例中,由于可以更细粒度地对图数据17进行划分,因此,划分出的子图样本中的节点可以为200个;
S2:将划分出的每一个子图样本为图节点,按照子图样本之间的连接关系,构建第二图数据样本,即构建新的图数据;
S3:从第二图数据样本中随机采样出一个第一图节点,然后按照距离第一图节点从近到远的顺序,将除第一图节点外的多个图节点划分为多个辐射圈;
S4:按照辐射圈距离所述第一图节点从近到远的顺序,对多个辐射圈内的图节点进行逐圈采样,直到采样出的第二图节点的数量达到4个图节点,这样,在一个子图样本集中便包括5个图节点,这5个图节点之间是相互连接的,也就是说,每个图节点都可以与子图样本集中的任一图节点产生关联,其中,这5个图节点可以简称图节点集合1;
S5:将5个图节点映射到图数据17中,提取出这5个图节点各自对应的子图样本,得到第一个子图样本集,由于各个子图样本是相互连接的,因此,这5个子图可以组合成一个新的子图,该新的子图中包括1000个节点,以及每个节点的节点特征和节点边信息,组成一次采样到的训练数据;
S6:根据1000个节点之间的连接边,获取第一个子图样本集对应的空间特征,得到1000×1000的空间特征,矩阵中的每个元素可以表示为Xij,其中,表示第i个节点和第j个节点之间是否有直接的连接边连接,若i和j的值相等,则该Xij可以为1。
S7:将上述第一个子图样本集输入到第一网络,即MLP网络,将空间特征输入到第二网络,即Transformer网络;第一个子图样本集中1000个节点的128维特征向量由3层特征提取单元,提取出特征,输入到transformer网络融合模块结构中;
S8:Transformer结构中的第一层融合模块输出空间特征的自乘结果,即空间相关性矩阵1,以及特征相关性矩阵1,然后将空间相关性矩阵1与特征相关性矩阵1融合后,分别与1000个节点被提取出的特征向量融合得到各自对应的特征向量1;接着,1000个节点的特征向量1、空间相关性矩阵1又被送入第二层融合模块,第二层融合模块对空间相关性矩阵1自乘,得到空间相关性矩阵2,以及特征相关性矩阵2,同理,得到1000个节点各自对应的特征向量2;特征向量2和空间相关性矩阵2继续传入到第三层融合模块,得到1000个节点各自对应的特征向量3,该特征向量3即为各个节点对应的融合特征向量;
S9:各个节点对应的融合特征向量全连接、softmax,输出各个节点的预测分类结果,即预测类别;
S10:根据各个节点的真实类别,和各个节点的预测类别,计算损失值,对图神经网络的参数进行更新;
S11:回到步骤S3,继续下一次采样,其中,下一次采样时,可以从图数据17中除图节点集合1外的剩余图节点中采样,直到训练结束;
S12:按照上述步骤S1-S6的过程,对gobn-papers100M图数据中2018年的图数据进行处理,也就是说对2018年的多个论文数据所组成的图数据进行处理,得到多个测试数据集,每个测试数据集对应有该测试数据集的空间特征;
S13:利用测试数据集对上述训练得到的图神经网络进行测试,根据测试结果,得到用于推理阶段的图神经网络;
需要说明的是,则此应用场景中,节点是文本类数据,则可以利用不同时期的文本数据所组成的图数据,对图神经网络进行训练和测试,从而提高图神经网络的泛化性,其可以随着时间的迁移,进行不断更新和优化。
基于相同的发明构思,本公开还提供了一种分类方法,参照图11所示,该分类方法可以应用于电子设备,该电子设备可以配置有上述训练完成的图神经网络,在本示例中,该训练完成的图神经网络可以称为目标分类模型;如图11所示,该分类方法具体可以包括以下步骤:
步骤S401:对待处理的目标图数据进行切分处理,得到多个子图;其中,所述子图中包括所述目标图数据中的部分节点,所述子图中邻接的两个节点之间具有直接的连接关系;
步骤S402:对多个子图,重复执行多次的以下处理,以得到目标得到得到多个子图;其中,所述子图中包括所述目标图数据中的部分节点,所述子图中邻接的两个节点之间具有直接的连接关系;
步骤S402:对多个子图,重复执行多次的以下处理,以得到目图数据多个节点各自所属的类别:
步骤S403:从多个子图中采样出子图集,其中,子图集中所包括的每两个子图之间,均能通过所述子图集中的至少一个子图产生连接关系;
步骤S404:构建子图集对应的空间特征;其中,空间特征用于表征子图集中所包括的多个节点之间的连接关系;
步骤S405:将空间特征输入到目标分类模型,得到子图集中所包括的节点各自所属的类别;
其中,目标分类模型为上述训练完成的图神经网络。
本实施例中,在按照上述图神经网络的训练方法,得到目标分类模型后,可以将目标分类模型应用于分类的推理中,具体地,目标图数据中的多个节点待确定其所属的类别。
具体地,可以先对目标图数据按照节点之间的连接便进行切分,具体的切分过程可以参照上述实施例中步骤S101的描述即可,在此不再赘述。
其中,目标图数据可以与第一图数据样本属于相同的领域,如都是科学技术领域中的论文数据组成的图数据,或者都是社交通信领域中的用户数据组成的图数据,或者,都是图像分析领域中的图像数据组成的图数据。这样,目标图数据中的节点的类型和第一图数据样本中的节点的类型可以是一致的。
其中,在切分得到了多个子图后,可以对多个子图进行采样,在每采样出符合目标数量的子图时,可以构建当次采样出的子图构成的子图集对应的空间特征,接着,将当次采样出的子图构成的子图集和对应的空间特征,输入到目标分类模型,目标分类模型按照上述实施例的训练过程的处理过程,对子图集中的节点进行特征提取,以及基于空间特征,对提取到的节点的特征向量进行N次迭代特征融合,从而得到子图集中各个节点对应的融合特征向量,基于节点的融合特征向量,确定子图集中所包括的节点各自所属的类别。
这样,反复进行多次采样后,即可得到目标图数据中全部的节点各自对应的类别。
其中,每次采样出目标数量个子图的过程,可以参照上述图神经网络的训练方法的对应过程的描述,即可以将子图作为一个图节点,构建出与目标图数据对应的中间图数据,然后基于中间图数据进行采样,使得采样出的多个图节点之间具有直接或间接的连接关系,由此,使得输入目标分类模型的子图集中的每两个节点之间均具有关联,继而提高分类准确率。
其中,在对目标图数据进行采样时,下一次的采样可以是在上一次采样后剩余的子图中采样,也就是说,对于第n次采样后,是在第n-1次采样后所剩余的多个子图中采样,这样,可以快速采样完所有的子图,从而尽快确定出目标图数据中多个节点的类别。
采用此种实施方案,由于对目标图数据进行切分,使得每次送入到目标分类模型的均是切分后得到的部分子图,从而减少了目标分类模型进行处理的数据量,进而减小了计算量,从而提高了目标分类模型的处理效率,继而缩短了推理时长,并且降低了对电子设备的性能要求。
此外,由于采样出的子图集中各个子图之间具有连接关系,也就是说,对于一个子图而言,该子图不孤立于子图集中的任何一个子图,从而使得子图集中的节点均能通过连接边建立起连接关系,从而节点之间的特征传递路径不会中断,使得每个节点都可以用其他节点的特征来进行类别的辅助判断,从而提高节点的分类准确率。
再次,由于目标分类模型在训练过程中,其分类准确率和效率均有提升,因此,可以对目标图数据的切分粒度进行更加自由的选择,如依据电子设备的高性能,其可以处理较多的数据量,则可以按照较大的切分粒度进行切分,也能保证其分类准确率;如依据电子设备的低性能,其仅可以处理较少的数据量,则可以按照很小的切分粒度进行切分,在此种情况下,由于目标分类模型本身已经具备较高准确率的分类,因此,即使在切分粒度很小的情况下,仍然可以准确分类,从而可以适配计算性能有限的电子设备。这样,可以拓宽图数据的处理的适用范围,使得图数据的处理不再受限于电子设备的性能。
在一些实施例中,还可以在得到目标图数据中全部节点各自所属的类别后,对全部节点进行聚类,如将属于同一类别的节点聚类为一簇,从而输出聚类结果。具体实施时,可以基于目标图数据各个节点各自所属的类别,对多个节点进行聚类,并输出聚类的结果。
具体地,可以将属于同一类别的节点聚类为一簇,由此,可以将目标图数据中的节点划分为不同的类簇,满足不同应用场景的聚类需求。
基于相同的发明构思,本公开还提供了一种图神经网络的训练装置,参照图12所示,示出了该训练装置的结构示意图,该装置可以应用于电子设备中,具体可以包括如下模块:
第一切分模块,用于对第一图数据样本进行切分处理,得到多个子图样本;其中,所述子图样本中包括所述第一图数据样本中的部分节点,所述子图样本中邻接的两个节点之间具有直接的连接关系;
采样模块,用于对多个所述子图样本,执行多次采样,得到每次采样出的子图样本集;其中,所述子图样本集中所包括的每两个子图样本之间,均能通过所述子图样本集中的至少一个子图样本产生连接关系;
矩阵构建模块,用于构建每个所述子图样本集对应的空间特征;其中,所述空间特征用于表征所述子图样本集所包括的多个节点之间的连接关系;
训练模块,用于以多个所述子图样本集和多个所述子图样本集分别对应的空间特征为训练样本,对图神经网络进行训练;其中,在训练时,所述空间特征用于为所述子图样本集中的各个节点提供节点间的特征传递路径;
其中,所述训练完成的图神经网络,用于确定待处理的图数据所包括的节点各自所属的类别。
可选地,多个所述子图样本集中包括:第一类子图样本集和/或第二类子图样本集;其中:
所述第一类子图样本集包括第一子图样本和至少一个第二子图样本,其中,每个所述第二子图样本均与所述第一子图样本邻接;
第二类子图样本集包括第三子图样本、至少一个第四子图样本和至少一个第五子图样本;其中,所述第三子图样本分别与所述第四子图样本邻接,所述第五子图样本通过所述第四子图样本与所述第三子图样本连接。
可选地,采样模块在每次执行采样中,执行以下步骤:
按照多个所述子图样本在所述第一图数据样本的位置,构建第二图数据样本;其中,所述第二图数据样本包括多个图节点,每个所述图节点对应一个所述子图样本;
从所述第二图数据样本中采样出一个第一图节点;
以所述第一图节点为中心节点,从所述第二图数据样本中采样出至少一个第二图节点,以使所述第一图节点与所述第二图节点直接或间接连接;
从所述第一图数据样本获取所采样的第一图节点和所述第二图节点各自所对应的子图样本,得到所述子图样本集。
可选地,所述以所述第一图节点为中心节点,按照预设采样路径,从所述第二图数据样本中采样出至少一个第二图节点的步骤,包括:
按照距离所述第一图节点从近到远的顺序,将除所述第一图节点外的多个图节点划分为多个辐射圈;
按照所述辐射圈距离所述第一图节点从近到远的顺序,对多个所述辐射圈内的图节点进行逐圈采样,直到采样出的第二图节点的数量达到预设数量;
其中,距离所述第一图节点最近的辐射圈所包括的图节点为与所述第一图节点邻接的图节点。
可选地,所述对多个所述子图样本,执行多次采样,得到每次采样出的子图样本集的步骤,包括:
对多个所述子图样本进行J次采样,直到每个所述子图样本均被采样出加入到所述子图样本集;其中,第j次采样包括:
从多个剩余子图样本中采样出第j次对应的子图样本集,以使不同的子图样本集中包括不同的子图样本;其中,所述多个剩余子图样本为所述第一图数据样本中除第1次到第j-1次所采样出的子图样本外的子图样本;
或者,从多个所述子图样本中采样出第j次对应的子图样本集;
其中,j小于或等于J,J为大于1的正整数。
可选地,所述训练模块,包括:
输入单元,用于将多个所述子图样本集和多个所述子图样本集分别对应的空间特征,分批输入到所述图神经网络;
类别获取单元,用于获取所述图神经网络输出的每个子图样本集中每个节点对应的预测类别;
更新单元,用于基于所述预测类别和所述子图样本集中各个节点对应的类别标签,对所述图神经网络的参数进行多次更新,直到达到训练结束条件。
可选地,所述图神经网络用于:
对所述子图样本集中每个节点对应的描述信息进行特征提取,得到所述子图样本集中每个节点各自对应的特征向量;
对所述空间特征以及所述子图样本集中各个节点对应的特征向量,进行N次特征融合,得到所述子图样本集中每个节点各自对应的融合特征向量;其中,所述节点在第n-1次特征融合所得的特征向量作为第n次融合时该节点对应的特征向量;其中,n小于或等于N,N为大于1的正整数;
基于所述子图样本集中每个节点各自对应的融合特征向量,确定所述子图样本集中每个节点各自所属的类别。
可选地,第n次的所述特征融合的步骤,包括:
基于所述空间特征,获取第n次对应的空间相关性矩阵;所述空间相关性矩阵用于表征所述子图样本集中一个节点与其他节点之间的关联程度;
基于所述子图样本集中每个节点第n次对应的特征向量,获取当次第n次对应的特征相关性矩阵;其中,所述特征相关性矩阵中用于表征一个节点与其他节点的特征向量之间的相似程度;
将所述空间相关性矩阵和所述特征相关性矩阵,融合到所述子图样本集中每个节点第n次对应的特征向量中。
可选地,所述基于所述空间特征,获取当次对应的空间相关性矩阵的步骤,包括:
在第n次特征融合时,对所述空间特征依次进行n次自乘,其中,上一次的自乘结果作为下一次待自乘的空间特征;
对第n次自乘得到的矩阵中的各个数值进行归一化,得到所述空间相关性矩阵。
可选地,所述基于所述子图样本集中每个节点在第n次对应的特征向量,获取第n次对应的特征相关性矩阵的步骤,包括:
确定所述子图样本集中每两个节点各自对应的特征向量之间的相似度;
对所得到的相似度进行归一化,得到所述特征相关性矩阵。
可选地,将所述空间相关性矩阵和所述特征相关性矩阵,融合到所述子图样本集中每个节点在第n次对应的特征向量中的步骤,包括:
对所述空间相关性矩阵和所述特征相关性矩阵进行融合,得到融合矩阵;
将所述融合矩阵,融合到所述子图样本集中每个节点在第n次对应的特征向量中。
可选地,所述将所述融合矩阵,融合到所述子图样本集中每个节点在第n次对应的特征向量中的步骤,包括:
获取所述融合矩阵和所述特征向量分别对应的权重;
按照所述权重,对所述融合矩阵和所述子图样本集中每个节点在第n次对应的特征向量进行加权融合。
可选地,所述图神经网络包括第一网络和第二网络;其中:
所述第一网络,用于对所述节点对应的描述信息进行特征提取,得到特征向量;
所述第二网络,用于对所述空间特征以及所述子图样本集中各个节点对应的特征向量,进行N次特征融合,得到所述子图样本集中每个节点各自对应的融合特征向量;并基于所述子图样本集中每个节点各自对应的融合特征向量,确定所述子图样本集中每个节点各自所属的类别。
可选地,所述第一网络包括依次串联的多个特征提取单元;其中,每个所述特征提取单元用于对输入的信息进行特征提取,并将提取到的特征输入到下一特征提取单元。
可选地,所述第二网络包括N个依次串接的融合模块;每个所述融合模块包括第一融合单元、第二融合单元和第三融合单元;
其中,所述第一融合单元用于基于输入到所述第一融合单元的空间特征,确定对应的空间相关性矩阵;所述空间相关性矩阵用于表征所述子图样本集中一个节点与其他节点之间的关联程度;
其中,所述第二融合单元用于基于输入到所述第二融合单元的每个节点对应的特征向量,获取特征相关性矩阵;其中,所述特征相关性矩阵中包括一个节点与其他节点的特征向量之间的相似度;
其中,所述第三融合单元用于将所述空间相关性矩阵和所述特征相关性矩阵,融合到输入到所述融合模块的每个节点对应的特征向量中。
可选地,所述构建每个所述子图样本集对应的空间特征,包括:
基于所述第一图数据,还原所述子图样本集中所包括的各个节点之间的连接边;
基于所述子图样本集中所包括的各个节点之间的连接边,设置每两个节点之间的权重;其中,所述权重用于表征两个节点之间是否邻接;
基于每两个节点之间的权重,构建所述空间特征。
基于相同的发明构思,本公开还提供了一种分类装置,参照图13所示,示出了该分类装置的结构示意图,该装置可以应用于电子设备中,具体可以包括如下模块:
第二切分模块,用于对待处理的目标图数据进行切分处理,得到多个子图;其中,所述子图中包括所述目标图数据中的部分节点,所述子图中邻接的两个节点之间具有直接的连接关系;
类别确定模块,用于对多个所述子图,重复执行多次的以下处理,以得到所述目标图数据多个所述节点各自所属的类别:
从多个所述子图中采样出子图集,其中,所述子图集中所包括的每两个子图之间,均能通过所述子图集中的至少一个子图产生连接关系;
构建所述子图集对应的空间特征;其中,所述空间特征用于表征所述子图集中所包括的多个节点之间的连接关系;
将所述空间特征输入到目标分类模型,得到所述子图集中所包括的节点各自所属的类别;
其中,所述目标分类模型为根据所述的图神经网络的训练方法得到的。
可选地,所述装置还可以包括聚类模块,所述聚类模块,用于基于所述目标图数据各个节点各自所属的类别,对多个节点进行聚类;并输出所述聚类的结果。
本公开实施例还提供了一种电子设备,包括存储器和处理器,存储器上存储的计算机程序使得处理器执行如本公开实施例所述的图神经网络的训练方法,或者执行上述的分类方法。
本公开实施例还提供了一种计算机可读存储介质,其存储的计算机程序使得处理器执行如本公开实施例所述的图神经网络的训练方法,或者执行上述的分类方法。
最后,还需要说明的是,除非另外定义,在本文中使用的 “第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性,而只是用来区分不同的组成部分。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接,而是可以包括电性的连接,不管是直接的还是间接的。
以上对本公开所提供的一种图神经网络的训练方法、分类方法、装置、设备及介质进行了详细介绍,本文中应用了具体个例对本公开的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本公开的方法及其核心思想;同时,对于本领域的一般技术人员,依据本公开的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本公开的限制。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
本文中所称的“一个实施例”、“实施例”或者“一个或者多个实施例”意味着,结合实施例描述的特定特征、结构或者特性包括在本公开的至少一个实施例中。此外,请注意,这里“在一个实施例中”的词语例子不一定全指同一个实施例。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本公开的实施例可以在没有这些具体细节的情况下被实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本公开可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
最后应说明的是:以上实施例仅用以说明本公开的技术方案,而非对其限制;尽管参照前述实施例对本公开进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本公开各实施例技术方案的精神和范围。

Claims (21)

1.一种图神经网络的训练方法,其特征在于,所述方法包括:
对第一图数据样本进行切分处理,得到多个子图样本;其中,所述子图样本中包括所述第一图数据样本中的部分节点,所述子图样本中邻接的两个节点之间具有直接的连接关系;其中,所述第一图数据样本是节点和连接边的数据集合,所述节点包括文本数据或图像数据或用户数据,在所述节点为文本数据的情况下,所述连接关系表征所述文本数据之间的引用关系或包含关系,在所述节点为图像数据的情况下,所述连接关系表征所述图像数据的属性之间的关系;在所述节点为所述用户数据的情况下,所述连接关系表征用户之间的好友关系;
对多个所述子图样本,执行多次采样,得到每次采样出的子图样本集;其中,所述子图样本集中的每两个子图样本之间,均能通过所述子图样本集中的至少一个子图样本产生连接关系,以使所述子图样本集中的每两个节点之间均直接关联或间接关联;
构建每个所述子图样本集对应的空间特征;其中,所述空间特征用于表征所述子图样本集所包括的多个节点之间的连接关系;
以多个所述子图样本集和多个所述子图样本集分别对应的空间特征为训练样本,对图神经网络进行训练;其中,在训练过程中,所述空间特征用于为所述子图样本集中的各个节点提供节点间的特征传递路径;
其中,训练完成的图神经网络,用于确定待处理的图数据所包括的节点各自所属的类别;
其中,所述图神经网络用于:对所述子图样本集中每个节点对应的描述信息进行特征提取,基于所述空间特征,对所述子图样本集中各个节点对应的特征向量进行N次特征融合,得到所述子图样本集中每个节点各自对应的融合特征向量;其中,所述节点在第n-1次特征融合所得的特征向量作为第n次融合时该节点对应的特征向量;其中,n小于或等于N,N为大于1的正整数;所述N次特征融合包括:以一个节点为中心节点,按照距离该中心节点从近到远的顺序,依次将该中心节点的特征传递到与之相连的各个节点中,通过所述N次特征融合,对于每一个节点,均通过所述特征传递路径,融合到其他所有节点的特征向量;
以及,基于所述子图样本集中每个节点各自对应的融合特征向量,确定所述子图样本集中每个节点所属的类别。
2.根据权利要求1所述的训练方法,其特征在于,多个所述子图样本集中包括:第一类子图样本集和/或第二类子图样本集;其中:
所述第一类子图样本集包括第一子图样本和至少一个第二子图样本,其中,每个所述第二子图样本均与所述第一子图样本邻接;
所述第二类子图样本集包括第三子图样本、至少一个第四子图样本和至少一个第五子图样本;其中,所述第三子图样本分别与所述第四子图样本邻接,所述第五子图样本通过所述第四子图样本与所述第三子图样本连接。
3.根据权利要求1所述的训练方法,其特征在于,在每次执行采样中,包括:
按照多个所述子图样本在所述第一图数据样本的位置,构建第二图数据样本;其中,所述第二图数据样本包括多个图节点,每个所述图节点对应一个所述子图样本;
从所述第二图数据样本中采样出一个第一图节点;
以所述第一图节点为中心节点,从所述第二图数据样本中采样出至少一个第二图节点,以使所述第一图节点与所述第二图节点直接或间接连接;
从所述第一图数据样本获取所述第一图节点和所述第二图节点各自所对应的子图样本,得到所述子图样本集。
4.根据权利要求3所述的训练方法,其特征在于,所述以所述第一图节点为中心节点,从所述第二图数据样本中采样出至少一个第二图节点,包括:
按照距离所述第一图节点从近到远的顺序,将除所述第一图节点外的多个图节点划分为多个辐射圈;
按照距离所述第一图节点从近到远的顺序,对多个所述辐射圈内的图节点进行逐圈采样,直到采样出的第二图节点的数量达到预设数量;
其中,距离所述第一图节点最近的辐射圈所包括的图节点,为与所述第一图节点邻接的图节点。
5.根据权利要求1所述的训练方法,其特征在于,所述对多个所述子图样本,执行多次采样,得到每次采样出的子图样本集,包括:
对多个所述子图样本进行J次采样,直到每个所述子图样本均被采样出加入到所述子图样本集;其中,第j次采样包括:
从多个剩余子图样本中采样出第j次对应的子图样本集,以使不同的子图样本集中包括不同的子图样本;其中,所述多个剩余子图样本为所述第一图数据样本中除第1次到第j-1次所采样出的子图样本外的子图样本;
或者,从多个所述子图样本中采样出第j次对应的子图样本集;
其中,j小于或等于J,J为大于1的正整数。
6.根据权利要求1所述的训练方法,其特征在于,所述以多个所述子图样本集和多个所述子图样本集分别对应的空间特征为训练样本,对图神经网络进行训练,包括:
将多个所述子图样本集和多个所述子图样本集分别对应的空间特征,分批输入到所述图神经网络;
获取所述图神经网络输出的每个子图样本集中每个节点对应的预测类别;
基于所述预测类别和所述子图样本集中各个节点对应的类别标签,对所述图神经网络的参数进行多次更新,直到达到训练结束条件。
7.根据权利要求1所述的训练方法,其特征在于,在第n次特征融合时,包括:
基于所述空间特征,获取第n次对应的空间相关性矩阵;所述空间相关性矩阵用于表征所述子图样本集中一个节点与其他节点之间的关联程度;
基于所述子图样本集中每个节点在第n次对应的特征向量,获取第n次对应的特征相关性矩阵;其中,所述特征相关性矩阵用于表征一个节点与其他节点的特征向量之间的相似程度;
基于所述空间相关性矩阵和所述特征相关性矩阵,融合所述子图样本集中每个节点在第n次对应的特征向量。
8.根据权利要求7所述的训练方法,其特征在于,所述空间特征包括邻接矩阵,所述邻接矩阵中的每个值表征两个节点之间是否直接连接;所述基于所述空间特征,获取第n次对应的空间相关性矩阵,包括:
在第n次特征融合时,对所述邻接矩阵依次进行n次自乘,其中,上一次的自乘结果作为下一次待自乘的邻接矩阵;
对第n次自乘得到的矩阵中的各个数值进行归一化,得到所述第n次对应的空间相关性矩阵。
9.根据权利要求7所述的训练方法,其特征在于,所述基于所述子图样本集中每个节点在第n次对应的特征向量,获取第n次对应的特征相关性矩阵,包括:
确定所述子图样本集中,每两个节点各自在第n次对应的特征向量之间的相似度;
对所得到的相似度进行归一化,得到所述第n次对应的特征相关性矩阵。
10.根据权利要求7所述的训练方法,其特征在于,所述基于所述空间相关性矩阵和所述特征相关性矩阵,融合所述子图样本集中每个节点在第n次对应的特征向量,包括:
对所述空间相关性矩阵和所述特征相关性矩阵进行融合,得到融合矩阵;
将所述融合矩阵,融合到所述子图样本集中每个节点在第n次对应的特征向量中。
11.根据权利要求10所述的训练方法,其特征在于,所述将所述融合矩阵,融合到所述子图样本集中每个节点在第n次对应的特征向量中,包括:
获取所述融合矩阵和所述特征向量分别对应的权重;
按照所述权重,对所述融合矩阵和所述子图样本集中每个节点在第n次对应的特征向量进行加权融合。
12.根据权利要求1所述的训练方法,其特征在于,所述图神经网络包括第一网络和第二网络;其中:
所述第一网络,用于对所述节点对应的描述信息进行特征提取,得到特征向量;
所述第二网络,用于对所述空间特征以及所述子图样本集中各个节点对应的特征向量,进行N次特征融合,得到所述子图样本集中每个节点各自对应的融合特征向量;并基于所述子图样本集中每个节点各自对应的融合特征向量,确定所述子图样本集中每个节点各自所属的类别。
13.根据权利要求12所述的训练方法,其特征在于,所述第一网络包括依次串联的多个特征提取单元;其中,每个所述特征提取单元用于对输入的信息进行特征提取,并将提取到的特征输入到下一特征提取单元。
14.根据权利要求12所述的训练方法,其特征在于,所述第二网络包括N个依次串接的融合模块;每个所述融合模块包括第一融合单元、第二融合单元和第三融合单元;
其中,所述第一融合单元用于基于输入到所述第一融合单元的空间特征,确定对应的空间相关性矩阵;所述空间相关性矩阵用于表征所述子图样本集中一个节点与其他节点之间的关联程度;
其中,所述第二融合单元用于基于输入到所述第二融合单元的每个节点对应的特征向量,获取特征相关性矩阵;其中,所述特征相关性矩阵用于表征一个节点与其他节点的特征向量之间的相似程度;
其中,所述第三融合单元用于将所述空间相关性矩阵和所述特征相关性矩阵,融合到所述融合模块的每个节点对应的特征向量中。
15.根据权利要求1所述的训练方法,其特征在于,所述构建每个所述子图样本集对应的空间特征,包括:
基于所述第一图数据样本,还原所述子图样本集中所包括的各个节点之间的连接边;
基于所述子图样本集中所包括的各个节点之间的连接边,设置每两个节点之间的权重;其中,所述权重用于表征两个节点之间是否邻接;
基于所述每两个节点之间的权重,构建所述空间特征。
16.一种分类方法,其特征在于,所述方法包括:
对待处理的目标图数据进行切分处理,得到多个子图;其中,所述子图中包括所述目标图数据中的部分节点,所述子图中邻接的两个节点之间具有直接的连接关系;
对多个所述子图,重复执行多次以下处理,得到所述目标图数据多个所述节点各自所属的类别:
从多个所述子图中采样出子图集,其中,所述子图集中所包括的每两个子图之间,均能通过所述子图集中的至少一个子图产生连接关系;
构建所述子图集对应的空间特征;其中,所述空间特征用于表征所述子图集中所包括的多个节点之间的连接关系;
将所述子图集和所述空间特征输入到目标分类模型,得到所述子图集中所包括的节点各自所属的类别;
其中,所述目标分类模型为根据权利要求1-15任一所述的图神经网络的训练方法得到的;其中,所述目标图数据与第一图数据样本属于相同的领域。
17.根据权利要求16所述的分类方法,其特征在于,在得到所述子图集中所包括的节点各自所属的类别之后,所述方法还包括:
基于所述目标图数据各个节点各自所属的类别,对多个节点进行聚类;
输出所述聚类的结果。
18.一种图神经网络的训练装置,其特征在于,所述装置包括:
第一切分模块,用于对第一图数据样本进行切分处理,得到多个子图样本;其中,所述子图样本中包括所述第一图数据样本中的部分节点,所述子图样本中邻接的两个节点之间具有直接的连接关系;其中,所述第一图数据样本是节点和连接边的数据集合,所述节点包括文本数据或图像数据或用户数据,在所述节点为文本数据的情况下,所述连接关系表征所述文本数据之间的引用关系或包含关系,在所述节点为图像数据的情况下,所述连接关系表征所述图像数据的属性之间的关系;在所述节点为所述用户数据的情况下,所述连接关系表征用户之间的好友关系;
采样模块,用于对多个所述子图样本,执行多次采样,得到每次采样出的子图样本集;其中,所述子图样本集中所包括的每两个子图样本之间,均能通过所述子图样本集中的至少一个子图样本产生连接关系;
矩阵构建模块,用于构建每个所述子图样本集对应的空间特征;其中,所述空间特征用于表征所述子图样本集所包括的多个节点之间的连接关系,以使所述子图样本集中的每两个节点之间均直接关联或间接关联;
训练模块,用于以多个所述子图样本集和多个所述子图样本集分别对应的空间特征为训练样本,对图神经网络进行训练;其中,在训练时,所述空间特征用于为所述子图样本集中的各个节点提供节点间的特征传递路径;
其中,训练完成的图神经网络,用于确定待处理的图数据所包括的节点各自所属的类别;
其中,所述图神经网络用于:对所述子图样本集中每个节点对应的描述信息进行特征提取,基于所述空间特征,对所述子图样本集中各个节点对应的特征向量进行N次特征融合,得到所述子图样本集中每个节点各自对应的融合特征向量;其中,所述节点在第n-1次特征融合所得的特征向量作为第n次融合时该节点对应的特征向量;其中,n小于或等于N,N为大于1的正整数;所述N次特征融合包括:以一个节点为中心节点,按照距离该中心节点从近到远的顺序,依次将该中心节点的特征传递到与之相连的各个节点中,通过所述N次特征融合,对于每一个节点,均通过所述特征传递路径,融合到其他所有节点的特征向量;
以及,基于所述子图样本集中每个节点各自对应的融合特征向量,确定所述子图样本集中每个节点所属的类别。
19.一种分类装置,其特征在于,所述装置包括:
第二切分模块,用于对待处理的目标图数据进行切分处理,得到多个子图;其中,所述子图中包括所述目标图数据中的部分节点,所述子图中邻接的两个节点之间具有直接的连接关系;
类别确定模块,用于对多个所述子图,重复执行多次以下处理,得到所述目标图数据多个所述节点各自所属的类别:
从多个所述子图中采样出子图集,其中,所述子图集中所包括的每两个子图之间,均能通过所述子图集中的至少一个子图产生连接关系;
构建所述子图集对应的空间特征;其中,所述空间特征用于表征所述子图集中所包括的多个节点之间的连接关系;
将所述空间特征输入到目标分类模型,得到所述子图集中所包括的节点各自所属的类别;
其中,所述目标分类模型为根据权利要求1-15任一所述的图神经网络的训练方法得到的;
其中,所述目标图数据与第一图数据样本属于相同的领域。
20.一种电子设备,其特征在于,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行时实现如权利要求1-15任一所述的图神经网络的训练方法,或者,执行如权利要求16-17任一所述的分类方法。
21.一种计算机可读存储介质,其特征在于,其存储的计算机程序使得处理器执行如权利要求1-15任一所述的图神经网络的训练方法,或者,执行如权利要求16-17任一所述的分类方法。
CN202311033729.4A 2023-08-16 2023-08-16 图神经网络的训练方法、分类方法、装置、设备及介质 Active CN116757262B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311033729.4A CN116757262B (zh) 2023-08-16 2023-08-16 图神经网络的训练方法、分类方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311033729.4A CN116757262B (zh) 2023-08-16 2023-08-16 图神经网络的训练方法、分类方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN116757262A CN116757262A (zh) 2023-09-15
CN116757262B true CN116757262B (zh) 2024-01-12

Family

ID=87957472

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311033729.4A Active CN116757262B (zh) 2023-08-16 2023-08-16 图神经网络的训练方法、分类方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN116757262B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117273086B (zh) * 2023-11-17 2024-03-08 支付宝(杭州)信息技术有限公司 多方联合训练图神经网络的方法及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110705709A (zh) * 2019-10-14 2020-01-17 支付宝(杭州)信息技术有限公司 训练图神经网络模型的方法和装置
CN111400560A (zh) * 2020-03-10 2020-07-10 支付宝(杭州)信息技术有限公司 一种基于异构图神经网络模型进行预测的方法和系统
CN111626119A (zh) * 2020-04-23 2020-09-04 北京百度网讯科技有限公司 目标识别模型训练方法、装置、设备以及存储介质
CN112966763A (zh) * 2021-03-17 2021-06-15 北京邮电大学 一种分类模型的训练方法、装置、电子设备及存储介质
CN113822315A (zh) * 2021-06-17 2021-12-21 深圳市腾讯计算机系统有限公司 属性图的处理方法、装置、电子设备及可读存储介质
US11227190B1 (en) * 2021-06-29 2022-01-18 Alipay (Hangzhou) Information Technology Co., Ltd. Graph neural network training methods and systems
CN114330670A (zh) * 2022-01-04 2022-04-12 京东科技信息技术有限公司 图神经网络训练方法、装置、设备及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111144577B (zh) * 2019-12-26 2022-04-22 北京百度网讯科技有限公司 异构图之中节点表示的生成方法、装置和电子设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110705709A (zh) * 2019-10-14 2020-01-17 支付宝(杭州)信息技术有限公司 训练图神经网络模型的方法和装置
CN111400560A (zh) * 2020-03-10 2020-07-10 支付宝(杭州)信息技术有限公司 一种基于异构图神经网络模型进行预测的方法和系统
CN111626119A (zh) * 2020-04-23 2020-09-04 北京百度网讯科技有限公司 目标识别模型训练方法、装置、设备以及存储介质
CN112966763A (zh) * 2021-03-17 2021-06-15 北京邮电大学 一种分类模型的训练方法、装置、电子设备及存储介质
CN113822315A (zh) * 2021-06-17 2021-12-21 深圳市腾讯计算机系统有限公司 属性图的处理方法、装置、电子设备及可读存储介质
US11227190B1 (en) * 2021-06-29 2022-01-18 Alipay (Hangzhou) Information Technology Co., Ltd. Graph neural network training methods and systems
CN114330670A (zh) * 2022-01-04 2022-04-12 京东科技信息技术有限公司 图神经网络训练方法、装置、设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Ripple Walk Training: A Subgraph-based Training Framework for Large and Deep Graph Neural Network;Jiyang Bai等;《2021 International Joint Conference on Neural Networks》;第1-8页 *
Sampling Subgraph Network With Application to Graph Classification;Jinhuan Wang等;《IEEE Transactions on Network Science and Engineering》;第2478-2490页 *

Also Published As

Publication number Publication date
CN116757262A (zh) 2023-09-15

Similar Documents

Publication Publication Date Title
CN110837602B (zh) 基于表示学习和多模态卷积神经网络的用户推荐方法
CN116757262B (zh) 图神经网络的训练方法、分类方法、装置、设备及介质
CN112396106B (zh) 内容识别方法、内容识别模型训练方法及存储介质
CN110781319B (zh) 跨媒体大数据的公共语义表示、搜索方法和装置
Jin et al. Automated dilated spatio-temporal synchronous graph modeling for traffic prediction
CN113378913A (zh) 一种基于自监督学习的半监督节点分类方法
CN109960722B (zh) 一种信息处理方法及装置
CN113269239B (zh) 一种基于多通道卷积神经网络的关系网络节点分类方法
CN112311608B (zh) 一种多层异质网络空间节点表征方法
CN113780002A (zh) 基于图表示学习和深度强化学习的知识推理方法及装置
CN113326377A (zh) 一种基于企业关联关系的人名消歧方法及系统
CN109165275A (zh) 基于深度学习的智能变电站操作票信息智能搜索匹配方法
Sarswat et al. A novel two-step approach for overlapping community detection in social networks
CN114936307A (zh) 一种范式化图模型构建方法
CN112486467B (zh) 一种双重交互关系和注意力机制的交互式服务推荐方法
CN114065033A (zh) 用于推荐Web服务组合的图神经网络模型的训练方法
CN114330476A (zh) 用于媒体内容识别的模型训练方法及媒体内容识别方法
Rajabi et al. Comparing Knowledge-Driven and Data-Driven Modeling methods for susceptibility mapping in spatial epidemiology: a case study in Visceral Leishmaniasis
CN115545833A (zh) 一种基于用户社交信息的推荐方法及系统
Monner et al. Recurrent neural collective classification
CN114297498A (zh) 一种基于关键传播结构感知的意见领袖识别方法和装置
CN113111193A (zh) 知识图谱的数据处理方法及装置
CN113297500A (zh) 一种社交网络孤立节点链接预测方法
CN113810212B (zh) 5g切片用户投诉的根因定位方法及装置
Wang et al. Detection of social groups in class by affinity propagation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant