CN112396166A - 基于混合粒度聚合器的图卷积神经网络训练方法及装置 - Google Patents

基于混合粒度聚合器的图卷积神经网络训练方法及装置 Download PDF

Info

Publication number
CN112396166A
CN112396166A CN202011417301.6A CN202011417301A CN112396166A CN 112396166 A CN112396166 A CN 112396166A CN 202011417301 A CN202011417301 A CN 202011417301A CN 112396166 A CN112396166 A CN 112396166A
Authority
CN
China
Prior art keywords
node
graph
neural network
preset
convolution neural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011417301.6A
Other languages
English (en)
Inventor
吴嘉婧
黄涛
郑子彬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sun Yat Sen University
National Sun Yat Sen University
Original Assignee
National Sun Yat Sen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National Sun Yat Sen University filed Critical National Sun Yat Sen University
Priority to CN202011417301.6A priority Critical patent/CN112396166A/zh
Publication of CN112396166A publication Critical patent/CN112396166A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Abstract

本发明公开了一种基于混合粒度聚合器的图卷积神经网络训练方法及装置，其中方法包括：接收图数据；采用预设关联度采样策略，分别获取每个图节点对应的采样节点集合；在图卷积神经网络的第一预设阶层，采用混合粒度聚合器聚合得到预设图节点的第一隐藏嵌入信息；采用第二粗粒度聚合器结合残差连接机制聚合得到第二隐藏嵌入信息；将第二隐藏嵌入信息输入图卷积神经网络的输出层，得到节点分类概率预测结果；采用节点分类概率预测结果和预设节点标签值对图卷积神经网络进行迭代训练，得到优化图卷积神经网络。达到在保证精度和收敛性的情况下降低图卷积神经网络模型训练的空间和时间复杂度的目的。

Description

基于混合粒度聚合器的图卷积神经网络训练方法及装置
技术领域
本发明涉及神经网络学习技术领域，尤其涉及一种基于混合粒度聚合器的图卷积神经网络训练方法及装置。
背景技术
图结构由对象和对象之间的关系组成，其对非欧几里得模型有着出色的表达能力，可以用来表示复杂多样的数据，因此越来越受到人们的关注。为了提高基于图的学习任务(如节点分类和链路预测)的性能，近年来人们致力于将成熟的神经网络模型，例如递归神经网络和卷积神经网络，扩展到图结构的学习当中。受卷积神经网络在模式识别和数据挖掘方面取得巨大成功的启发，人们对图数据重新定义了卷积，并将其对应的卷积架构称为图卷积神经网络。而受制于图卷积神经网络中图数据的依赖关系，其需要较高的计算和内存开销，因而后人提出了多种采样方法和选择策略。
为了解决在大型图中训练图卷积神经网络所面临的复杂度较高以及内存开销较大的问题，现有技术提出了一种对每个节点递归固定采样大小的方法以降低计算和内存开销，并且这种采样方式保证了实验节点分类准确率依旧保持较高水平，但是其时间和空间的复杂度依旧随着网络的层数指数级别增长，没有解决所面临的根本问题。根据以上思路，现有技术进一步提出了使用了减少方差的方法来重新降低采样复杂度。然而，虽然此方法降低了训练的时间复杂度，但是此方法要求将所有节点的所有历史嵌入信息都存储在内存当中，这导致了内存开销随着节点数量的增加爆炸性增长。在另一种解决思路中引入了分层采样的方法以提高训练的效率。然而，由于其各层之间采样的独立性导致了此方法存在严重的稀疏连接问题，而这会对训练的精度和收敛性带来负面影响。
发明内容
本发明提供了一种基于混合粒度聚合器的图卷积神经网络训练方法及装置，用于解决现有技术无法在保证精度和收敛性的情况下有效降低图卷积神经网络模型训练的空间和时间复杂度的技术问题。
本发明提供的一种基于混合粒度聚合器的图卷积神经网络训练方法，包括：
接收图数据；所述图数据包括多个图节点；
采用预设关联度采样策略，分别获取每个所述图节点对应的采样节点集合；所述采样节点集合包括第一邻居节点和第二邻居节点；
在所述图卷积神经网络的第一预设阶层，采用混合粒度聚合器聚合所述预设图节点和所述第一邻居节点的第一邻居节点信息，得到所述预设图节点的第一隐藏嵌入信息；所述混合粒度聚合器包括细粒度聚合器和第一粗粒度聚合器；
在所述图卷积神经网络的第二预设阶层，采用第二粗粒度聚合器结合残差连接机制聚合所述第一隐藏嵌入信息和所述第二邻居节点的第二邻居节点信息，得到第二隐藏嵌入信息；
将所述第二隐藏嵌入信息输入所述图卷积神经网络的输出层，得到节点分类概率预测结果；
采用所述节点分类概率预测结果和预设节点标签值对所述图卷积神经网络进行迭代训练，得到优化图卷积神经网络。
可选地，所述预设关联度采样策略为基于关联度进行采样的策略；所述采用预设关联度采样策略，分别获取每个所述图节点对应的采样节点集合的步骤，包括：
获取多个候选节点；
计算每个所述候选节点的关联度；
根据每个所述节点的关联度分别计算每个所述候选节点的概率分布；
根据每个所述候选节点的概率分布，对所述候选节点进行采样，得到所述图节点的采样节点集合。
可选地，所述第一邻居节点包括第一子邻居节点和第二子邻居节点；所述第一邻居节点信息包括第一子邻居节点信息和第二子邻居节点信息；所述第一预设阶层包括第一子阶层和第二子阶层；所述在所述图卷积神经网络的第一预设阶层，采用混合粒度聚合器聚合所述预设图节点和所述第一邻居节点的节点信息，得到所述预设图节点的第一隐藏嵌入信息的步骤，包括：
在所述第一子阶层，采用所述细粒度聚合器，聚合所述预设图节点的第一节点信息和所述第一子邻居节点信息，得到第三隐藏嵌入信息；
在所述第二子阶层，采用所述第一粗粒度聚合器，聚合所述第三隐藏嵌入信息和所述第二子邻居节点信息，得到所述预设图节点的第一隐藏嵌入信息。
可选地，所述采用所述节点分类概率预测结果和预设节点标签值对所述图卷积神经网络进行迭代训练，得到优化图卷积神经网络的步骤，包括：
计算所述节点分类预测结果和预设节点标签值的交叉熵误差，将所述交叉熵误差作为损失函数；
采用所述损失函数对所述图卷积神经网络进行迭代训练，得到优化图卷积神经网络。
本发明还提供了一种基于混合粒度聚合器的图卷积神经网络训练装置，包括：
图数据接收模块，用于接收图数据；所述图数据包括多个图节点；
采样节点集合获取模块，用于采用预设关联度采样策略，分别获取每个所述图节点对应的采样节点集合；所述采样节点集合包括第一邻居节点和第二邻居节点；
第一隐藏嵌入信息获取模块，用于在所述图卷积神经网络的第一预设阶层，采用混合粒度聚合器聚合所述预设图节点和所述第一邻居节点的第一邻居节点信息，得到所述预设图节点的第一隐藏嵌入信息；所述混合粒度聚合器包括细粒度聚合器和第一粗粒度聚合器；
第二隐藏嵌入信息获取模块，用于在所述图卷积神经网络的第二预设阶层，采用第二粗粒度聚合器结合残差连接机制聚合所述第一隐藏嵌入信息和所述第二邻居节点的第二邻居节点信息，得到第二隐藏嵌入信息；
节点分类概率预测结果计算模块，用于将所述第二隐藏嵌入信息输入所述图卷积神经网络的输出层，得到节点分类概率预测结果；
迭代模块，用于采用所述节点分类概率预测结果和预设节点标签值对所述图卷积神经网络进行迭代训练，得到优化图卷积神经网络。
可选地，所述预设关联度采样策略为基于关联度进行采样的策略；所述采样节点集合获取模块，包括：
候选节点获取子模块，用于获取多个候选节点；
关联度计算子模块，用于计算每个所述候选节点的关联度；
概率分布计算子模块，用于根据每个所述节点的关联度分别计算每个所述候选节点的概率分布；
采样子模块，用于根据每个所述候选节点的概率分布，对所述候选节点进行采样，得到所述图节点的采样节点集合。
可选地，所述第一邻居节点包括第一子邻居节点和第二子邻居节点；所述第一邻居节点信息包括第一子邻居节点信息和第二子邻居节点信息；所述第一预设阶层包括第一子阶层和第二子阶层；所述第一隐藏嵌入信息获取模块，包括：
第三隐藏嵌入信息获取子模块，用于在所述第一子阶层，采用所述细粒度聚合器，聚合所述预设图节点的第一节点信息和所述第一子邻居节点信息，得到第三隐藏嵌入信息；
第一隐藏嵌入信息获取子模块，用于在所述第二子阶层，采用所述第一粗粒度聚合器，聚合所述第三隐藏嵌入信息和所述第二子邻居节点信息，得到所述预设图节点的第一隐藏嵌入信息。
可选地，所述迭代模块，包括：
损失函数获取子模块，用于计算所述节点分类预测结果和预设节点标签值的交叉熵误差，将所述交叉熵误差作为损失函数；
迭代训练子模块，用于采用所述损失函数对所述图卷积神经网络进行迭代训练，得到优化图卷积神经网络。
本发明还提供了一种电子设备，所述设备包括处理器以及存储器：
所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
所述处理器用于根据所述程序代码中的指令执行如上任一项所述的基于混合粒度聚合器的图卷积神经网络训练方法。
本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行如上任一项所述的基于混合粒度聚合器的图卷积神经网络训练方法。
从以上技术方案可以看出，本发明具有以下优点：本发明通过混合粒度聚合器和基于关联度的采样策略，降低了图卷积神经网络模型的时间和空间复杂度，使得在大规模图网络上的应用成为可能，使得模型变得更为简洁直观。此外，本发明通过混合粒度聚合器和基于关联度的采样策略，对图节点进行了固定采样，并且提高了采样节点和图节点的相似性以及采样节点的信息利用率，达到了在降低时间与空间复杂度下保持高准确率的技术效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
图1为本发明实施例提供的一种基于混合粒度聚合器的图卷积神经网络训练方法的步骤流程图；
图2为本发明实施例提供了获取采样节点集合的步骤流程图；
图3为本发明实施例提供的一种基于混合粒度聚合器的图卷积神经网络训练装置的结构框图。
具体实施方式
本发明实施例提供了一种基于混合粒度聚合器的图卷积神经网络训练方法及装置，用于解决现有技术无法在保证精度和收敛性的情况下有效降低图卷积神经网络模型训练的空间和时间复杂度的技术问题。
图卷积神经网络：图卷积神经网络重新定义了卷积，通过线性变换和非线性激活将相邻节点的嵌入信息聚合起来，生成节点的嵌入信息。并通过消息传递的机制来从邻居中聚集信息，以对中心节点进行更新。
为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
请参阅图1，图1为本发明实施例提供的一种基于混合粒度聚合器的图卷积神经网络训练方法的步骤流程图。
本发明提供一种基于混合粒度聚合器的图卷积神经网络训练方法，方法具体可以包括：
步骤101，接收图数据；所述图数据包括多个图节点；
在本发明实施例中，对于大规模图卷积神经网络系统，如社交网络、评价网络、交易网络等，可以将网络结构抽象为图数据，并根据图数据构建图的邻接矩阵。
邻接矩阵通常作为图结构的具象体现，对于无向不带权图而言，邻接矩阵为一个n*n的对称矩阵，n表示图结构中图节点的个数，节点与节点之间通过边相连。
邻接矩阵体现的是图数据之间的连接关系，以用于后续基于连接关系进行节点采样。
步骤102，采用预设关联度采样策略，分别获取每个所述图节点对应的采样节点集合；所述采样节点集合包括第一邻居节点和第二邻居节点；
预设关联度采样策略，本质上是基于节点的关联度进行节点采样的操作。此策略能有效避免图神经网络模型的计算复杂度随着神经网络层数的增加而指数级增长的问题。
需要说明的是，第一邻居节点和第二邻居节点分别是图卷积神经网络不同阶层的节点。
具体地，请参阅图2，图2为本发明实施例提供了获取采样节点集合的步骤流程图。如图2所示，步骤102可以包括以下子步骤：
S21，获取所述图节点的候选节点集合；所述候选节点集合中包括多个候选节点；
S22，计算每个所述候选节点的关联度；
S23，根据每个所述节点的关联度分别计算每个所述候选节点的概率分布；
S24，根据每个所述候选节点的概率分布，对所述候选节点集合进行采样，得到所述图节点的采样节点集合。
在实际应用中，本发明对每个采样步骤中的图节点维护一组候选节点，其中候选节点表示的是选定的图节点采样的选择范围，采样过程中将只对候选节点进行。本发明提出的关联度采样策略的核心过程是如何更新这组候选节点。即基于关联度的采样策略可以看作是一个扩展候选节点集合的过程，具体地，在一个示例中，在给定图节点v作为目标节点时，初始可以将候选节点集合设为v的一阶直接相连节点。当一个新的接点u被采样后，目标节点的候选节点集合将被扩展，在下一次采样时增加与u一阶直接相连邻居节点。将上述过程重复M次，就可以得到一个采样节点集合S(v)，此外，对于每次采样，都需要忽略已经采样过的节点，以避免多次采样到相同节点，获取冗余信息。
具体的采样过程，可以看成给定一组候选节点后，根据候选节点的关联度对候选节点进行采样。在具体实现中，可以首先计算每个候选节点的关联度，这个关联度是基于候选节点关联的所有边得到的，接着计算每个候选节点的概率分布，再根据关联度的大小，按照概率分布进行选择采样。其中，本发明定义下候选节点的概率分布函数如下：
Figure BDA0002820534630000071
其中，degree(·)表示输入节点的度，candik-1表示k-1轮采样时的候选节点集合。这种基于关联度的采样策略可以和聚合器协同采样更多的邻居节点。
步骤103，在所述图卷积神经网络的第一预设阶层，采用混合粒度聚合器聚合所述预设图节点和所述第一邻居节点的第一邻居节点信息，得到所述预设图节点的第一隐藏嵌入信息；所述混合粒度聚合器包括细粒度聚合器和第一粗粒度聚合器；
在本发明实施例中，需要在图卷积神经网络的不同层选择不同的粒度聚合器进行邻居信息的聚合。在这里本发明提出了两种粒度的聚合器，包括细粒度聚合器与粗粒度聚合器。通过每一层采用的聚合器的选择降低训练过程中时间和空间的复杂度。
需要说明的是，第一预设阶层指图卷积神经网络最后一层之前的阶层。
在一个示例中，所述第一邻居节点包括第一子邻居节点和第二子邻居节点；所述第一邻居节点信息包括第一子邻居节点信息和第二子邻居节点信息；所述第一预设阶层包括第一子阶层和第二子阶层；所述在所述图卷积神经网络的第一预设阶层，采用混合粒度聚合器聚合所述预设图节点和所述第一邻居节点的节点信息，得到所述预设图节点的第一隐藏嵌入信息的步骤，包括：
在所述第一子阶层，采用所述细粒度聚合器，聚合所述预设图节点的第一节点信息和所述第一子邻居节点信息，得到第三隐藏嵌入信息；
在所述第二子阶层，采用所述第一粗粒度聚合器，聚合所述第三隐藏嵌入信息和所述第二子邻居节点信息，得到所述预设图节点的第一隐藏嵌入信息。
具体地，本发明的第一子阶层具体指图卷积神经网络的低阶层，通常为一阶或二阶，第二子阶层具体指高阶层，通常为三阶及以上。
在本发明实施中，细粒度聚合器适用于在低阶层中收集所有邻居节点的嵌入信息，而这是富有意义的，因为一般来讲低阶(尤其是一阶邻居)的信息是非常重要的。细粒度聚合器可以表示为：
Figure BDA0002820534630000081
其中，
Figure BDA0002820534630000082
代表第l+1层节点的第三隐藏嵌入信息，通过聚合节点v以及所有邻居节点第l层的隐藏嵌入信息，即第一子邻居节点信息得到，Wl+1为第l+1层的参数矩阵，σ为该层的激活函数。
第一粗粒度聚合器将使用在高阶层中。此聚合器将只聚合该层中位于采样节点集合当中的节点以减少空间和时间复杂度。粗粒度聚合器可以形式化地表示为：
Figure BDA0002820534630000083
至于f(·,·)，本发明采用了一种链接操作的均值聚合器，可以表示为:
Figure BDA0002820534630000084
其中·可以是所有节点v的第二子邻居节点N(v)或采样节点集合S(v)中节点v的邻居节点S(v)∩N(v),Mean(·)将计算输入集合的元素均值，而CONCAT(·,·)将节点v当前的隐藏嵌入信息
Figure BDA0002820534630000085
与平均邻居向量连接起来。
通过在低阶层(通常为一阶或二阶)中应用细粒度聚合器和在高阶层(通常为三阶及以上)中应用粗粒度聚合器，可以平衡效率和准确性。
步骤104，在所述图卷积神经网络的第二预设阶层，采用第二粗粒度聚合器结合残差连接机制聚合所述第一隐藏嵌入信息和所述第二邻居节点的第二邻居节点信息，得到第二隐藏嵌入信息；
在本发明实施例中，第二预设阶层为图神经网络的最后一层，在进行了多层的信息聚合后，本发明将在图卷积神经网络的最后一层使用一种带残差连接机制的第二粗粒度聚合器，在目标节点和采样节点之间创建连接，从而直接聚合高阶的第二邻居节点。在形式上，这种带残差连接机制的第二粗粒度聚合器可以表示为：
Figure BDA0002820534630000091
其中，
Figure BDA0002820534630000092
代表第l+1层节点v的隐藏嵌入信息，通过聚合节点v以及所有残差连接的节点第l层的隐藏嵌入信息得到，Wl+1为第l+1层的参数矩阵，S(v)为节点v的采样节点集，σ为该层的激活函数。
步骤105，将所述第二隐藏嵌入信息输入所述图卷积神经网络的输出层，得到节点分类概率预测结果；
在进行了多层图卷积神经网络进行学习后，本发明提出的模型最后经过一个输出层输出节点分类概率预测结果，在输出层当中所选择的激活函数为Softmax函数，对应的公式可以表示为：
Figure BDA0002820534630000093
其中
Figure BDA0002820534630000094
为节点v在第l层的输出，Wl+1为第l+1层的参数矩阵，
Figure BDA0002820534630000095
为节点v的最终预测结果。
步骤106，采用所述节点分类概率预测结果和预设节点标签值对所述图卷积神经网络进行迭代训练，得到优化图卷积神经网络。
计算出图中所有节点的分类预测概率结果后，本发明将基于概率预测的预测值与节点标签值对图卷积神经网络进行迭代训练。
在一个示例中，所述采用所述节点分类概率预测结果和预设节点标签值对所述图卷积神经网络进行迭代训练，得到优化图卷积神经网络的步骤，包括：
计算所述节点分类预测结果和预设节点标签值的交叉熵误差，将所述交叉熵误差作为损失函数；
采用所述损失函数对所述图卷积神经网络进行迭代训练，得到优化图卷积神经网络。
在具体实现中，计算出图中所有节点的预测概率后，本发明将概率预测的预测值与节点标签的真实值的交叉熵误差作为模型训练的损失函数，并将损失值代入模型中进行模型的迭代训练，以获得更加准确的模型，具体的损失值计算公式为：
Figure BDA0002820534630000101
其中n为训练集中节点的个数，
Figure BDA0002820534630000102
为节点i的模型预测结果，Yi为节点i的真实标签，Loss为模型结果与真实结果之间的误差。
按照以上步骤进行基于混合粒度图神经网络模型的训练，由于采用了不同粒度的聚合器使得该模型可以对网络的信息进行筛选，舍弃无用冗余信息的同时保留了有价值的邻居信息；采用了基于度的采样策略对节点进行了固定采样，使得采样得到的节点规模不会随着层数的增加而指数级增长，可以实现在大规模图卷积神经网络中的快速学习。
本发明通过混合粒度聚合器和基于关联度的采样策略，降低了图卷积神经网络模型的时间和空间复杂度，使得在大规模图卷积神经网络上的应用成为可能，使得模型变得更为简洁直观。此外，本发明通过混合粒度聚合器和基于关联度的采样策略，对图节点进行了固定采样，并且提高了采样节点和图节点的相似性以及采样节点的信息利用率，达到了在降低时间与空间复杂度下保持高准确率的技术效果。
请参阅图3，图3为本发明实施例提供的一种基于混合粒度聚合器的图卷积神经网络训练装置的结构框图。
本发明提供了一种基于混合粒度聚合器的图卷积神经网络训练装置，包括：
图数据接收模块301，用于接收图数据；所述图数据包括多个图节点；
采样节点集合获取模块302，用于采用预设关联度采样策略，分别获取每个所述图节点对应的采样节点集合；所述采样节点集合包括第一邻居节点和第二邻居节点；
第一隐藏嵌入信息获取模块303，用于在所述图卷积神经网络的第一预设阶层，采用混合粒度聚合器聚合所述预设图节点和所述第一邻居节点的第一邻居节点信息，得到所述预设图节点的第一隐藏嵌入信息；所述混合粒度聚合器包括细粒度聚合器和第一粗粒度聚合器；
第二隐藏嵌入信息获取模块304，用于在所述图卷积神经网络的第二预设阶层，采用第二粗粒度聚合器结合残差连接机制聚合所述第一隐藏嵌入信息和所述第二邻居节点的第二邻居节点信息，得到第二隐藏嵌入信息；
节点分类概率预测结果计算模块305，用于将所述第二隐藏嵌入信息输入所述图卷积神经网络的输出层，得到节点分类概率预测结果；
迭代模块306，用于采用所述节点分类概率预测结果和预设节点标签值对所述图卷积神经网络进行迭代训练，得到优化图卷积神经网络。
在本发明实施例中，所述预设关联度采样策略为基于关联度进行采样的策略；所述采样节点集合获取模块302，包括：
候选节点获取子模块，用于获取多个候选节点；
关联度计算子模块，用于计算每个所述候选节点的关联度；
概率分布计算子模块，用于根据每个所述节点的关联度分别计算每个所述候选节点的概率分布；
采样子模块，用于根据每个所述候选节点的概率分布，对所述候选节点进行采样，得到所述图节点的采样节点集合。
在本发明实施例中，所述第一邻居节点包括第一子邻居节点和第二子邻居节点；所述第一邻居节点信息包括第一子邻居节点信息和第二子邻居节点信息；所述第一预设阶层包括第一子阶层和第二子阶层；所述第一隐藏嵌入信息获取模块303，包括：
第三隐藏嵌入信息获取子模块，用于在所述第一子阶层，采用所述细粒度聚合器，聚合所述预设图节点的第一节点信息和所述第一子邻居节点信息，得到第三隐藏嵌入信息；
第一隐藏嵌入信息获取子模块，用于在所述第二子阶层，采用所述第一粗粒度聚合器，聚合所述第三隐藏嵌入信息和所述第二子邻居节点信息，得到所述预设图节点的第一隐藏嵌入信息。
在本发明实施例中，所述迭代模块306，包括：
损失函数获取子模块，用于计算所述节点分类预测结果和预设节点标签值的交叉熵误差，将所述交叉熵误差作为损失函数；
迭代训练子模块，用于采用所述损失函数对所述图卷积神经网络进行迭代训练，得到优化图卷积神经网络。
本发明还提供了一种电子设备，所述设备包括处理器以及存储器：
所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
所述处理器用于根据所述程序代码中的指令执行本发明实施例所述的基于混合粒度聚合器的图卷积神经网络训练方法。
本发明还提供了一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行本发明实施例所述的基于混合粒度聚合器的图卷积神经网络训练方法。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，可以是电性、机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来达到实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于混合粒度聚合器的图卷积神经网络训练方法，其特征在于，包括：
接收图数据；所述图数据包括多个图节点；
采用预设关联度采样策略，分别获取每个所述图节点对应的采样节点集合；所述采样节点集合包括第一邻居节点和第二邻居节点；
在所述图卷积神经网络的第一预设阶层，采用混合粒度聚合器聚合所述预设图节点和所述第一邻居节点的第一邻居节点信息，得到所述预设图节点的第一隐藏嵌入信息；所述混合粒度聚合器包括细粒度聚合器和第一粗粒度聚合器；
在所述图卷积神经网络的第二预设阶层，采用第二粗粒度聚合器结合残差连接机制聚合所述第一隐藏嵌入信息和所述第二邻居节点的第二邻居节点信息，得到第二隐藏嵌入信息；
将所述第二隐藏嵌入信息输入所述图卷积神经网络的输出层，得到节点分类概率预测结果；
采用所述节点分类概率预测结果和预设节点标签值对所述图卷积神经网络进行迭代训练，得到优化图卷积神经网络。
2.根据权利要求1所述的方法，其特征在于，所述预设关联度采样策略为基于关联度进行采样的策略；所述采用预设关联度采样策略，分别获取每个所述图节点对应的采样节点集合的步骤，包括：
获取多个候选节点；
计算每个所述候选节点的关联度；
根据每个所述节点的关联度分别计算每个所述候选节点的概率分布；
根据每个所述候选节点的概率分布，对所述候选节点进行采样，得到所述图节点的采样节点集合。
3.根据权利要求1所述的方法，其特征在于，所述第一邻居节点包括第一子邻居节点和第二子邻居节点；所述第一邻居节点信息包括第一子邻居节点信息和第二子邻居节点信息；所述第一预设阶层包括第一子阶层和第二子阶层；所述在所述图卷积神经网络的第一预设阶层，采用混合粒度聚合器聚合所述预设图节点和所述第一邻居节点的节点信息，得到所述预设图节点的第一隐藏嵌入信息的步骤，包括：
在所述第一子阶层，采用所述细粒度聚合器，聚合所述预设图节点的第一节点信息和所述第一子邻居节点信息，得到第三隐藏嵌入信息；
在所述第二子阶层，采用所述第一粗粒度聚合器，聚合所述第三隐藏嵌入信息和所述第二子邻居节点信息，得到所述预设图节点的第一隐藏嵌入信息。
4.根据权利要求1所述的方法，其特征在于，所述采用所述节点分类概率预测结果和预设节点标签值对所述图卷积神经网络进行迭代训练，得到优化图卷积神经网络的步骤，包括：
计算所述节点分类预测结果和预设节点标签值的交叉熵误差，将所述交叉熵误差作为损失函数；
采用所述损失函数对所述图卷积神经网络进行迭代训练，得到优化图卷积神经网络。
5.一种基于混合粒度聚合器的图卷积神经网络训练装置，其特征在于，包括：
图数据接收模块，用于接收图数据；所述图数据包括多个图节点；
采样节点集合获取模块，用于采用预设关联度采样策略，分别获取每个所述图节点对应的采样节点集合；所述采样节点集合包括第一邻居节点和第二邻居节点；
第一隐藏嵌入信息获取模块，用于在所述图卷积神经网络的第一预设阶层，采用混合粒度聚合器聚合所述预设图节点和所述第一邻居节点的第一邻居节点信息，得到所述预设图节点的第一隐藏嵌入信息；所述混合粒度聚合器包括细粒度聚合器和第一粗粒度聚合器；
第二隐藏嵌入信息获取模块，用于在所述图卷积神经网络的第二预设阶层，采用第二粗粒度聚合器结合残差连接机制聚合所述第一隐藏嵌入信息和所述第二邻居节点的第二邻居节点信息，得到第二隐藏嵌入信息；
节点分类概率预测结果计算模块，用于将所述第二隐藏嵌入信息输入所述图卷积神经网络的输出层，得到节点分类概率预测结果；
迭代模块，用于采用所述节点分类概率预测结果和预设节点标签值对所述图卷积神经网络进行迭代训练，得到优化图卷积神经网络。
6.根据权利要求5所述的装置，其特征在于，所述预设关联度采样策略为基于关联度进行采样的策略；所述采样节点集合获取模块，包括：
候选节点获取子模块，用于获取多个候选节点；
关联度计算子模块，用于计算每个所述候选节点的关联度；
概率分布计算子模块，用于根据每个所述节点的关联度分别计算每个所述候选节点的概率分布；
采样子模块，用于根据每个所述候选节点的概率分布，对所述候选节点进行采样，得到所述图节点的采样节点集合。
7.根据权利要求5所述的装置，其特征在于，所述第一邻居节点包括第一子邻居节点和第二子邻居节点；所述第一邻居节点信息包括第一子邻居节点信息和第二子邻居节点信息；所述第一预设阶层包括第一子阶层和第二子阶层；所述第一隐藏嵌入信息获取模块，包括：
第三隐藏嵌入信息获取子模块，用于在所述第一子阶层，采用所述细粒度聚合器，聚合所述预设图节点的第一节点信息和所述第一子邻居节点信息，得到第三隐藏嵌入信息；
第一隐藏嵌入信息获取子模块，用于在所述第二子阶层，采用所述第一粗粒度聚合器，聚合所述第三隐藏嵌入信息和所述第二子邻居节点信息，得到所述预设图节点的第一隐藏嵌入信息。
8.根据权利要求5所述的装置，其特征在于，所述迭代模块，包括：
损失函数获取子模块，用于计算所述节点分类预测结果和预设节点标签值的交叉熵误差，将所述交叉熵误差作为损失函数；
迭代训练子模块，用于采用所述损失函数对所述图卷积神经网络进行迭代训练，得到优化图卷积神经网络。
9.一种电子设备，其特征在于，所述设备包括处理器以及存储器：
所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
所述处理器用于根据所述程序代码中的指令执行权利要求1-4任一项所述的基于混合粒度聚合器的图卷积神经网络训练方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行权利要求1-4任一项所述的基于混合粒度聚合器的图卷积神经网络训练方法。
CN202011417301.6A 2020-12-07 2020-12-07 基于混合粒度聚合器的图卷积神经网络训练方法及装置 Pending CN112396166A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011417301.6A CN112396166A (zh) 2020-12-07 2020-12-07 基于混合粒度聚合器的图卷积神经网络训练方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011417301.6A CN112396166A (zh) 2020-12-07 2020-12-07 基于混合粒度聚合器的图卷积神经网络训练方法及装置

Publications (1)

Publication Number Publication Date
CN112396166A true CN112396166A (zh) 2021-02-23

Family

ID=74605111

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011417301.6A Pending CN112396166A (zh) 2020-12-07 2020-12-07 基于混合粒度聚合器的图卷积神经网络训练方法及装置

Country Status (1)

Country Link
CN (1) CN112396166A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113342994A (zh) * 2021-07-05 2021-09-03 成都信息工程大学 一种基于无采样协作知识图网络的推荐系统
CN114052734A (zh) * 2021-11-24 2022-02-18 西安电子科技大学 基于渐进式图卷积神经网络的脑电情感识别方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113342994A (zh) * 2021-07-05 2021-09-03 成都信息工程大学 一种基于无采样协作知识图网络的推荐系统
CN113342994B (zh) * 2021-07-05 2022-07-05 成都信息工程大学 一种基于无采样协作知识图网络的推荐系统
CN114052734A (zh) * 2021-11-24 2022-02-18 西安电子科技大学 基于渐进式图卷积神经网络的脑电情感识别方法

Similar Documents

Publication Publication Date Title
CN112529069B (zh) 一种半监督节点分类方法、系统、计算机设备和存储介质
CN111431819A (zh) 一种基于序列化的协议流特征的网络流量分类方法和装置
CN112396166A (zh) 基于混合粒度聚合器的图卷积神经网络训练方法及装置
CN112529071B (zh) 一种文本分类方法、系统、计算机设备和存储介质
Huai et al. Zerobn: Learning compact neural networks for latency-critical edge systems
CN114358319A (zh) 基于机器学习框架的分类方法及相关装置
CN113222151B (zh) 一种量子态的变换方法及装置
CN113222161B (zh) 一种自定义量子逻辑门的实现方法、装置
CN115426671B (zh) 图神经网络训练、无线小区故障预测方法、系统及设备
CN116306951A (zh) 一种量子计算方法和装置、电子设备和存储介质
JP7306432B2 (ja) 情報処理方法、情報処理装置及びプログラム
CN116341634A (zh) 神经结构搜索模型的训练方法、装置及电子设备
CN114550849A (zh) 基于量子图神经网络解决化学分子性质预测的方法
CN115271076A (zh) 一种贝叶斯网络对应量子线路的构造方法及装置
CN115983392A (zh) 量子程序映射关系的确定方法、装置、介质及电子装置
CN114764618B (zh) 一种针对线性系统的量子预处理方法及装置
WO2022143789A1 (zh) 量子预处理方法、装置、存储介质及电子装置
Chen et al. Improved Modeling and Generalization Capabilities of Graph Neural Networks With Legendre Polynomials
CN114372582B (zh) 基于机器学习框架的量子自动编码方法及相关装置
Beddar-Wiesing Using local activity encoding for dynamic graph pooling in stuctural-dynamic graphs: student research abstract
US20230342193A1 (en) Task processing method, task processing device, and computer program product
CN114819171B (zh) 一种量子卷积操作的实现方法及装置
CN117852665A (zh) 基于量子线路的物理系统状态预测方法及相关装置
CN116467466A (zh) 基于知识图谱的编码推荐方法、装置、设备及介质
Zhang et al. Stacked Denoising Autoencoders Based Poisson Regression For Count Data Modeling

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210223