CN112651488A - 一种改善大型图卷积神经网络的训练效率的方法 - Google Patents
一种改善大型图卷积神经网络的训练效率的方法 Download PDFInfo
- Publication number
- CN112651488A CN112651488A CN202011528818.2A CN202011528818A CN112651488A CN 112651488 A CN112651488 A CN 112651488A CN 202011528818 A CN202011528818 A CN 202011528818A CN 112651488 A CN112651488 A CN 112651488A
- Authority
- CN
- China
- Prior art keywords
- graph
- neural network
- training
- nodes
- node
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种改善大型图卷积神经网络的训练效率的方法,包括以下步骤:(1)划分图结构:将大规模深度图卷积神经网络对应的图像结构分为若干个区域;(2)训练图神经网络:使用数据训练图神经网络并进行训练迭代。本发明通过对图卷积网络中的节点使用算法进行分区,然后利用相同分区内节点之间链接程度较高的特点加快训练效率,相比于其他没有对节点分区的方法,本方案在减少计算过程中存储容量和降低计算复杂性问题的方面有明显的优势。
Description
技术领域
本发明涉及图卷积网络训练技术领域,具体涉及一种改善大型图卷积神经网络的训练效率的方法。
背景技术
目前针对图卷积网络训练的主流方法,有以下几种:Full-batch梯度下降、Mini-batch随机梯度下降、VR-GCN。设N表示图的节点数、F表示嵌入层的维度、L表示图的网络的层数。
Full-batch梯度下降:需要存储所有中间嵌入层的结果,需要O(NFL)空间复杂度,所以这种方法不具备扩展性,只适用于较为简单的图卷积网络。由于每个数据迭代周期参数只被更新一次,所以梯度下降的收敛速度很慢。
Mini-batch随机梯度下降:相比与Full-batch梯度下降,每个迭代周期基于Full-batch梯度,显著减少了内存需要,收敛速度有所加快。但是存在临界扩张问题,计算L层的单节点损失需要该节点位于L-1层的临近节点,L-1层节点的单节点需要位于L-2层的临近节点,如此循环到下游层,使得时间复杂度随着层数而指数级增长。针对这个问题,现有的方法解决方法是在反向传播的过程中使用固定大小的值对邻接数据采样或者只对重要数据进行采样,但是当图卷积神经网络深度增加时,使用该方法的代价仍然很大。所以当层数过深时,该方法将不再适用。
VR-GCN:使用减少变量技术来减少邻接数据采样节点数。虽然成功减少了采样的规模,但需要存储所节点的中间嵌入层在内存中,空间复杂度可以表示为O(NFL)。如果图网络的节点数增加到数百万个,那么GPU难以满足该方法需要的内存容量。所以该方法在每个数据迭代周期花费的时间、每个数据迭代周期的收敛速度方面性能较好,但是在内存使用量方面的性能较差。
发明内容
本发明的目的在于提供一种提高图卷积神经网络训练效率的方法,以解决现有训练方案中存在计算复杂度过高,需要存储容量大、收敛速度慢的问题。为了实现上述目的,本发明提供了如下技术方案:
第一方面,在训练神经网络之前,先对构成神经网络的图的节点进行划分,划分为若干个节点分区,分同一分区中节点之间的连接程度更大,不同分区的节点之间连接程度较小。
所述的图节点划分具体内容为,对由大量节点和边组成的大规模的图行进行划分,划分的目的是将图分为大致相等的p个部分,各部分之间边的连接关系尽量最小。当图的节点和规模比较大时,直接对图进行划分性能会很差,这也是已有解决方案的性能比较差的原因。包括以下几个步骤:
第一步,简化图结构,通过合并部分顶点和边,将该部分用一个节点代替,从而减小图的节点和边的数目,这个步骤包含多个迭代的过程,最终的目的是将图的节点数简化到百位数;
第二步,划分图结构,对简化后的图结构划分,最总通过划分得到c个分区;
第三步,细化图结构,图像完成划分后,将简化图还原到原图的过程。
所述第一方面中所述第一步的简化图结构步骤中,以随机顺序遍历顶点,假设从u开始,如果u还未与其他顶点相匹配,那么在u的邻接顶点中选择一个同样未与其它顶点匹配的顶点v,将未匹配的顶点u和与它相邻的未匹配的顶点v相互匹配;如果u没有可以匹配的邻接顶点,那么顶点u保持未匹配状态;然后将已经匹配的两个顶点合并为一个顶点,未匹配的顶点保留,这些顶点构成一次粗化后的图。重复这一过程,直到原图被粗化为节点在几百个左右的图。
所述第一方面中所述第二步的划分图结构的步骤中,设粗化后的图像表示为Gm=(Vm,Em),Vm为顶点集合,Em为边集合。设对Gm执行二分得到的图像为Pm,二分后的图像每个部分的权值大致为原图权值的一半。首先计算Gm的Laplacian矩阵Q,然后计算矩阵Q的特征向量对应的特征值,并取其中第二大的值,设该特征值对应的特征向量为y。顶点集Vm按如下策略被分为两个部分:设r为y向量的第i个元素的值,yi≤r时,设置P[j]=1,归属为分区1;对其他的顶点,设置P[j]=2,归属为分区2,这样图就被划分为两个分区。通常选择yi的中位数作为r的值,以便将Vm大致分为两个相等的部分。
所述的Laplacian矩阵Q,其计算表达式为Q=D-A。其中,矩阵D为图像的度矩阵,Di,i的值为节点与节点i相连的边的数目,可表示为di,i=∑ew(vi,vj),其中(vi,υj)∈Em;矩阵A为图像的邻接矩阵,当节点i与节点j相连时,Ai,j的值为1,反之为0。
所述第一方面中所述第三步的细化图结构中,粗化图像Gm二分后得到的Pm通过一系列细化过程,依次得到的图形可表示为Gm-1,Gm-2,...,G1。因为Gi+1的每个顶点都包含的顶点的一个独立子集,要从Pi+1中获得Pi,只需简单地将合并为υ∈Gi+1的顶点集分配到分区Pi+1[v]中即可,分配后该区域就表示为Pi[u],用等式表示就是.Pi[u]=Pi+1[v],这一过程即为所述第一步的逆向过程。
第二方面,对划分后的图神经网络进行训练。经过如前所述的第一方面的图划分步骤后,图神经网络的节点被划分为c个分区。然后使用训练数据训练该图神经网络,总共训练n个迭代,在每个迭代中使用如下方法:
第一步,从c个分组中随机选择q个分组组成一个batch,q的数目小于c,且每个迭代q个分组不一样。
第三步,进行训练,正向传播过程中使用随机梯度下降损失函数计算子图的损失,在反向传播的过程中用于更新权值矩阵W。
所述第二方面训练神经网络的过程中,设图G用如前所述的方法其节点分为c个组,表示为[V1,...,Vc],其中Vt由第t部分的节点组成。因此,c个子图表示为其中Et只包含Vt中节点之间的链接。在重新组织节点后,该图卷积网络对应的矩阵的邻接矩阵被分割为c2个子矩阵。
其中,每个对角区域Att是|Vt|×|Vt|的邻接矩阵,其中包含子图Gt中节点的连接关系。是图的邻接矩阵,Ast包含分区Vs和Vt之间的连接关系,Δ矩阵包含矩阵A中所有非对角线上的元素。相似的,可以把特征矩阵X和训练标签Y依据分区[V1,...,Vc]分割为[X1,...,Xc]和[Y1,...,Yc],其中Xt和Yt分别表示Vt的特征和标签矩阵。
基于上面两个分解的等式,在训练的每一步中,通过对Vt采样,基于计算随机梯度下降,然后更新权值。这只需要子图Att,当前批次的Xt,Yt和模型这种实现只需要计算子图矩阵的前向传播和后向传播,比先前的基于整个图随机梯度下降的训练方法中使用的邻接矩阵搜索过程实现起来更容易。
将图神经网络的节点分为不同分区,因此同一分区内部节点之间的联系比不同分区之间节点的联系要大许多,这样可以更好地提取图结构的特征。每个节点和它相邻地节点通常都在同一个聚类中,因此经过一系列的处理后,相邻的节点仍然有很大的机率处在同一个聚类中。对比原始图G和划分聚类分区后的图的邻接扩张情况时,可以发现使用上诉方法可以避免过度搜索邻接节点,因为将图划分为不同的聚类分区后,只会搜索某个节点所在分区的邻接节点,不会在整个图中搜索邻接节点。
所述第二方面的第二步中,如果直接基于所述第一方面中划分c个分组进行图卷积网络训练,那么在训练过程中,各个图分组的参数迭代相对是独立的,因为划分后的各组之间关联程度较低,但这会带来一些问题。一是在图像被分组后,一些图像分区之间的节点关联不能被利用,二是关联程度较强的节点被划分的同一组后,与直接在原数据上训练迭代相比,这种方法训练的结果会有一些偏差。为了减少这种偏差,在训练神经网络的过程中,每个训练迭代中从c个分组中随机选择q个,表示为t1,t2,...,tq,组成一个子图结构,参与该迭代的训练;将选取的q个分组组成子图Gq,其节点Vq表示为[Vt1,Vt2,...,Vtq],节点之间的联系表示为矩阵经过多轮的迭代后,每个分组的数据都能以相近的概率被利用到,所有可以减少划分图结构后带来的计算结果的偏差。
与现有技术相比,本发明具有如下有益效果:本发明的方法对图卷积网络中的节点使用算法进行分区,然后利用相同分区内节点之间链接程度较高的特点加快训练效率,相比于之前的其他没有对节点分区的方法,本方案在减少计算过程中存储容量和降低计算复杂性问题的方面有明显的优势。
具体实施方式
下面结合具体实施例对本发明进行进一步的解释和说明。
实施例1
假设有待训练的图卷积神经网络G。G表示为G=(V,E),V表示顶点组成的集合,顶点数目为232965;E表示边组成的集合,边的数目为11606919。
根据技术方案中的所述的第一方面,将待训练的图卷积神经网络的图像节点划分为1024个分组,表示为[V1,...,V1024]。
根据技术方案中的所述的第二方面:使用相应的数据对划分节点后的图卷积神经网络训练。
具体的,在第一方面中,包含下面的几个步骤:
第一步、简化图结构:以随机顺序遍历图神经网络的节点,假设从u开始,如果u还未与其他顶点相匹配,那么在u的邻接顶点中选择一个同样未与其它顶点匹配的顶点v,将未匹配的顶点u和与它相邻的未匹配的顶点v相互匹配;如果u没有可以匹配的邻接顶点,那么顶点u保持未匹配状态;然后将已经匹配的两个或多个顶点合并为一个顶点,未匹配的顶点保留,这些顶点构成一次粗化后的图,传入下一级,在下一级中进行简化。重复这个过程,最后节点数被简化为数百个。
第二步、划分图结构:这一步将粗化后的节点划分为c个分组。首先计算Gm的Laplacian矩阵Q,然后计算矩阵Q的特征向量对应的特征值,并取其中第二大的值,设该特征值对应的特征向量为y。顶点集Vm按如下策略被分为两个部分:设r为y向量的第i个元素的值,yi≤r时,设置P[j]=1,归属为分区1;对其他的顶点,设置P[j]=2,归属为分区2,这样图就被划分为两个分区。通常选择yi的中位数作为r的值,以便将Vm大致分为两个相等的部分。进行10次这样的划分,最后得到1024个分组。
第三步、细化图结构:在粗化阶段,通过将节点和节点的部分相邻点匹配,然后将多个匹配的点合并为一个节点,得到简化后的图形。那么在细化阶段,通过采取粗化阶段的逆操作,将图神经网络结构还原。粗化图像Gm二分后得到的Pm通过一系列细化过程,依次得到的图形可表示为Gm-1,Gm-2,...,G1。对Gm的分区Pm细化得到Gm-1的分区Pm-1。要从Pi+1中获得Pi,只需简单地将合并为υ∈Gi+1的顶点集分配到分区Pi+1[v]中即可,分配后该区域就表示为Pi[u]。最后得到的图就是节点划分为1024个分组的图卷积网络。
具体的,第二方面由以下几个步骤组成:
使用训练数据训练该图神经网络,设置激活函数的学习率为0.01,丢弃率为0.2,训练512个迭代,在每个迭代中使用如下方法:
第一步、从1024个分组中随机选择20个分组组成一个batch,且每个迭代20个分组不一样。
第三步、训练神经网络,在正向传播过程中,使用随机梯度下降损失函数计算子图的损失。损失的梯度值在反向传播的过程中用于更新权值W。
尽管这里参照本发明的解释性实施例对本发明进行了描述,上述实施例仅为本发明较佳的实施方式,本发明的实施方式并不受上述实施例的限制,应该理解,本领域技术人员可以设计出很多其他的修改和实施方式,这些修改和实施方式将落在本申请公开的原则范围和精神之内。
Claims (7)
1.一种改善大型图卷积神经网络的训练效率的方法,其特征在于,包括以下步骤:
(1)划分图结构:将大规模深度图卷积神经网络对应的图像结构分为若干个区域;
(2)训练图神经网络:使用数据训练图神经网络并进行训练迭代。
2.根据权利要求1所述的改善大型图卷积神经网络的训练效率的方法,其特征在于,所述步骤(1)具体包括以下步骤:
第一步、简化图结构,通过合并部分顶点和边,将该部分用一个节点代替,从而减小图的节点和边的数目,这个步骤包含多个迭代的过程;
第二步、划分图结构,对简化后的图结构划分;
第三步、细化图结构,通过采取简化阶段的逆操作,将图神经网络结构还原。
3.根据权利要求2所述的改善大型图卷积神经网络的训练效率的方法,其特征在于,所述简化图结构具体为:对节点进行匹配,匹配的原则是各匹配的区域之间不关联,即一个节点只能属于一个匹配区域;以随机顺序遍历图神经网络的节点,假设从u开始,如果u还未与其他顶点相匹配,那么在u的邻接顶点中选择一个同样未与其它顶点匹配的顶点v,将未匹配的顶点u和与它相邻的未匹配的顶点v相互匹配;如果u没有可以匹配的邻接顶点,那么顶点u保持未匹配状态;然后将已经匹配的两个合并为一个顶点,未匹配的顶点保留,这些顶点构成一次粗化后的图,传入下一级进行处理;重复这一过程,直到原图节点被简化为数百个。
4.根据权利要求2所述的改善大型图卷积神经网络的训练效率的方法,其特征在于,所述划分图结构具体为:计算划分后的图Pm的Laplacian矩阵Q=D-A,并得到该矩阵第二大特征值对应的特征向量y;顶点集Vm按如下策略被分为两个部分,找到y向量的第i个元素并表示为r,当yi≤r时,设置P[j]=1;对其他的顶点,设置P[j]=2;选择r的值作为yi值的加权中位数,以便将Vm大致分为两个相等的部分;对二分后得到的子图继续使用这样的策略划分,最后将粗化后的图分为c个分区。
5.根据权利要求4所述的改善大型图卷积神经网络的训练效率的方法,其特征在于,Laplacian矩阵计算表达式为Q=D-A;其中,矩阵D为图像的度矩阵,Di,i的值为节点与节点i相连的边的数目,可表示为di,i=∑ew(vi,vj),其中(vi,vj)∈Em;矩阵A为图像的邻接矩阵,当节点i与节点j相连时,Ai,j的值为1,反之为0。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011528818.2A CN112651488A (zh) | 2020-12-22 | 2020-12-22 | 一种改善大型图卷积神经网络的训练效率的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011528818.2A CN112651488A (zh) | 2020-12-22 | 2020-12-22 | 一种改善大型图卷积神经网络的训练效率的方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112651488A true CN112651488A (zh) | 2021-04-13 |
Family
ID=75358977
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011528818.2A Pending CN112651488A (zh) | 2020-12-22 | 2020-12-22 | 一种改善大型图卷积神经网络的训练效率的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112651488A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113191486A (zh) * | 2021-04-27 | 2021-07-30 | 东北大学 | 基于参数服务器架构的图数据与参数数据的混合划分方法 |
CN113657577A (zh) * | 2021-07-21 | 2021-11-16 | 阿里巴巴达摩院(杭州)科技有限公司 | 模型训练方法及计算系统 |
-
2020
- 2020-12-22 CN CN202011528818.2A patent/CN112651488A/zh active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113191486A (zh) * | 2021-04-27 | 2021-07-30 | 东北大学 | 基于参数服务器架构的图数据与参数数据的混合划分方法 |
CN113191486B (zh) * | 2021-04-27 | 2023-10-13 | 东北大学 | 基于参数服务器架构的图数据与参数数据的混合划分方法 |
CN113657577A (zh) * | 2021-07-21 | 2021-11-16 | 阿里巴巴达摩院(杭州)科技有限公司 | 模型训练方法及计算系统 |
CN113657577B (zh) * | 2021-07-21 | 2023-08-18 | 阿里巴巴达摩院(杭州)科技有限公司 | 模型训练方法及计算系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111353582A (zh) | 一种基于粒子群算法的分布式深度学习参数更新方法 | |
CN112651488A (zh) | 一种改善大型图卷积神经网络的训练效率的方法 | |
CN108156617B (zh) | 一种雾无线接入网中基于图论的协作缓存方法 | |
CN111242268A (zh) | 一种搜索卷积神经网络的方法 | |
CN108399105B (zh) | 一种基于改进头脑风暴算法的软硬件划分方法 | |
CN116167436A (zh) | 一种优化模型划分的神经网络流水线并行训练方法 | |
CN113297127A (zh) | 一种大规模分布式训练集群的参数更新方法、平台系统 | |
WO2003075221A1 (en) | Mechanism for unsupervised clustering | |
CN114358414A (zh) | 一种自适应并行的社区养老服务点选址优化方法及系统 | |
CN111488981A (zh) | 基于高斯分布估计选取深度网络参数稀疏阈值的方法 | |
CN113191486B (zh) | 基于参数服务器架构的图数据与参数数据的混合划分方法 | |
CN114662638A (zh) | 基于改进人工蜂群算法的移动机器人路径规划方法 | |
CN111125620B (zh) | 推荐系统中基于矩阵分解的并行随机梯度下降方法 | |
CN113128617A (zh) | 基于Spark和ASPSO的并行化K-means的优化方法 | |
CN109074348A (zh) | 用于对输入数据集进行迭代聚类的设备和迭代方法 | |
CN112800384A (zh) | 基于自适应大领域搜索的gtsp求解算法 | |
CN109741421B (zh) | 一种基于gpu的动态图着色方法 | |
CN108509531B (zh) | 一种基于Spark平台的不确定数据集频繁项挖掘方法 | |
CN116561377A (zh) | 一种图数据集的流式图划分方法 | |
CN114490799A (zh) | 单个图的频繁子图挖掘方法及装置 | |
CN110831106B (zh) | 一种基于卷积的分簇方法 | |
CN116989798B (zh) | 无人机航迹规划方法 | |
CN117007057B (zh) | 无人机航迹优化方法及装置 | |
CN116989797B (zh) | 无人机航迹优化方法、装置、电子设备及存储介质 | |
CN110909027A (zh) | 一种哈希检索方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210413 |