CN112651492B - 一种自连接宽度图卷积神经网络模型系统及训练方法 - Google Patents
一种自连接宽度图卷积神经网络模型系统及训练方法 Download PDFInfo
- Publication number
- CN112651492B CN112651492B CN202011610969.2A CN202011610969A CN112651492B CN 112651492 B CN112651492 B CN 112651492B CN 202011610969 A CN202011610969 A CN 202011610969A CN 112651492 B CN112651492 B CN 112651492B
- Authority
- CN
- China
- Prior art keywords
- self
- graph
- neural network
- order
- network model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012549 training Methods 0.000 title claims abstract description 100
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000003062 neural network model Methods 0.000 title claims abstract description 41
- 239000011159 matrix material Substances 0.000 claims description 91
- 238000007781 pre-processing Methods 0.000 claims description 42
- 230000004927 fusion Effects 0.000 claims description 37
- 238000013527 convolutional neural network Methods 0.000 claims description 32
- 238000011176 pooling Methods 0.000 claims description 20
- 230000004913 activation Effects 0.000 claims description 15
- 238000004364 calculation method Methods 0.000 claims description 13
- 238000005096 rolling process Methods 0.000 claims description 6
- 238000011478 gradient descent method Methods 0.000 claims description 4
- 238000012360 testing method Methods 0.000 abstract description 7
- 230000006870 function Effects 0.000 description 30
- 238000001994 activation Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 7
- 238000004590 computer program Methods 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 241000689227 Cora <basidiomycete fungus> Species 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 101001013832 Homo sapiens Mitochondrial peptide methionine sulfoxide reductase Proteins 0.000 description 1
- 102100031767 Mitochondrial peptide methionine sulfoxide reductase Human genes 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012821 model calculation Methods 0.000 description 1
- QVRVXSZKCXFBTE-UHFFFAOYSA-N n-[4-(6,7-dimethoxy-3,4-dihydro-1h-isoquinolin-2-yl)butyl]-2-(2-fluoroethoxy)-5-methylbenzamide Chemical compound C1C=2C=C(OC)C(OC)=CC=2CCN1CCCCNC(=O)C1=CC(C)=CC=C1OCCF QVRVXSZKCXFBTE-UHFFFAOYSA-N 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 238000002203 pretreatment Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
- G06F16/353—Clustering; Classification into predefined classes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
- G06F18/2155—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Abstract
本发明提供了一种自连接宽度图卷积神经网络模型及其训练方法，所述自连接宽度图卷积神经网络模型依次包括输入层、同时捕捉多阶邻域信息的自连接高阶图卷积层、融合多阶邻域信息的SP信息融合池化层和softmax函数多分类输出层，所述自连接宽度图卷积神经网络模型对应的训练方法为先进行预处理得到预处理特征，再将预处理特征输入训练的高效模型训练方法。该模型及其训练方法应用于实际分类测试时，采用自连接高阶图卷积层增加模型宽度、降低模型深度、减少参数量和复杂度的同时，还同时聚集多阶邻域节点信息，且赋予自身节点更高权重，进而在扩宽模型感受野、避免过拟合风险的同时，还进一步提升了模型的学习能力、稳定性和分类精度。
Description
技术领域
本发明涉及图像处理及深度学习技术领域，特别是涉及一种自连接宽度图卷积神经网络模型及其训练方法。
背景技术
随着图卷积神经网络研究的不断加深，为了提升模型的感受野和学习能力，各种能够聚集更多、更丰富节点信息的高阶图卷积网络模型因其分类表现的提升而备受关注。现有的高阶图卷积网络模型，采用一种包括一阶图卷积到P阶图卷积，不同阶卷积使用不同权重参数，利用两个高阶图卷积层学习高阶节点之间的关系和聚集不同距离邻域节点信息的高阶图卷积，且在每个高阶图卷积聚集了不同距离的邻域信息后，利用列连接将这些邻域信息进行拼接，最后通过一个全连接层融合这些邻域信息。该高阶图卷积网络虽然利用多个不同权重的高阶图卷积层来学习高阶节点之间的关系，在一定程度上扩宽了模型的感受野，也提高了其分类表现，但是，这些高阶图卷积网络由于不同阶卷积权重不同导致随着层数的增加，计算复杂度和参数量也会随之增加，模型也会随之变得越复杂、越难训练，同时，随之模型参数量的增加还增加了过拟合的风险。
因此，如何改进现有高阶图卷积网络，使得其在提高分类表现的同时，还能减少计算复杂度和参数量，避免过拟合的风险是非常有意义的。
发明内容
本发明的目的是减少现有高阶图卷积网络的计算复杂度和参数量，避免过拟合的风险的同时，进一步提高其分类表现。
为了实现上述目的，有必要针对上述技术问题，提供了一种自连接宽度图卷积神经网络模型及其训练方法。
第一方面，本发明实施例提供了一种自连接宽度图卷积神经网络模型，所述自连接宽度图卷积神经网络模型依次包括输入层、自连接高阶图卷积层、信息融合池化层和输出层；
所述输入层，用于接收训练数据集的图特征；
所述自连接高阶图卷积层，用于根据所述图特征进行零阶到k阶的自连接图卷积运算，得到图卷积数据；
所述信息融合池化层，用于根据所述图卷积数据进行零阶到k阶的特征融合，得到融合数据；
所述输出层，用于根据所述融合数据输出模型结果。
进一步地，所述自连接高阶图卷积层由在任一阶数图卷积引入新的自连接得到。
进一步地，所述自连接高阶图卷积层包括基于权重共享的零阶图卷积到k阶图卷积，表示为：
，
其中，X是图的输入矩阵，是参数矩阵，/>是图的正则化邻接矩阵，k是图卷积的最高阶数，/>。
进一步地，所述自连接宽度图卷积神经网络模型的输出层HGCNSL可表示为：
其中，为激活函数，/>为信息融合函数，/>为多分类输出函数。
进一步地，所述激活函数为ReLU非线性激活函数。
进一步地，所述信息融合池化层采用SP求和信息融合池化，其计算公式如下：
。
第二方面，本发明实施例提供了一种自连接宽度图卷积神经网络模型的训练方法，所述训练方法的步骤包括：
根据训练数据集，得到所述自连接宽度图卷积神经网络模型的图的输入矩阵和正则化邻接矩阵；
根据所述图的输入矩阵和正则化邻接矩阵进行特征预处理，得到预处理特征；
将所述预处理特征输入所述自连接宽度图卷积神经网络模型，进行特征训练，得到训练结果。
进一步地，所述根据训练数据集，得到所述自连接宽度图卷积神经网络模型的图的输入矩阵和正则化邻接矩阵的步骤包括：
获取所述训练数据集，并确定所述训练数据集的类型；
根据所述训练数据集的类型，选取特定方法得到所述自连接宽度图卷积神经网络模型的图的输入矩阵和正则化邻接矩阵。
进一步地，所述根据所述图的输入矩阵和正则化邻接矩阵进行特征预处理，得到预处理特征的步骤包括：
将所有不同阶数的所述图的正则化邻接矩阵作和，得到预处理邻接矩阵；
将所述预处理邻接矩阵和所述图的输入矩阵作积，得到预处理特征。
进一步地，所述将所述预处理特征输入所述自连接宽度图卷积神经网络模型，进行特征训练，得到训练结果的步骤包括：
将所述自连接宽度图卷积神经网络模型的参数矩阵进行随机初始化；
将所述预处理特征输入所述自连接宽度图卷积神经网络模型，采用损失函数和梯度下降法进行训练，得到收敛的参数矩阵。
上述本申请提供了一种自连接宽度图卷积神经网络模型及其训练方法，通过所述自连接宽度图卷积神经网络模型及其训练方法，实现了采用仅有输入层、自连接的高阶图卷积层、SP信息融合池化层及softmax函数输出层的一层自连接宽度图卷积神经网络模型，结合该模型训练前的特征预处理方法，并依此得到精准分类的效果。与现有技术相比，该模型及其训练方法在实际分类应用上，不仅通过采用引入自连接赋予自身节点更高权重的高阶图卷积来聚集更多阶邻域间的更丰富的节点信息，很好的提升了模型的学习能力和分类精度，还通过设计一层自连接高阶图卷积，且在不同阶图卷积间采用权重共享机制，有效的减少了参数量、降低了模型的复杂度和训练难度，避免了过拟合的风险。
附图说明
图1是本发明实施例中自连接宽度图卷积神经网络模型及其训练方法的应用场景示意图；
图2是自连接宽度图卷积神经网络模型的示意图；
图3是基于SP信息融合池化层的自连接宽度图卷积神经网络模型的示意图；
图4是图3自连接宽度图卷积神经网络模型的训练方法的流程示意图；
图5是图4中步骤S11获取训练集数据预处理，得到图的输入矩阵和正则化邻接矩阵的流程示意图；
图6是图4中步骤S12根据图的输入矩阵和正则化邻接矩阵得到预处理特征的流程示意图；
图7是图4中步骤S13将预处理特征输入自连接宽度图卷积神经网络模型进行特征训练的流程示意图；
图8是本发明实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案和有益效果更加清楚明白，下面结合附图及实施例，对本发明作进一步详细说明，显然，以下所描述的实施例是本发明实施例的一部分，仅用于说明本发明，但不用来限制本发明的范围。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供的自连接宽度图卷积神经网络是对现有高阶图卷积神经网络的改进，该模型及其训练方法，可以应用于如图1所示的终端或服务器上。其中，终端可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。服务器可采用自连接宽度图卷积神经网络模型（HGCNSL）及对其对应的训练方法完成现有高阶图卷积神经网络模型能够完成的分类任务，并将模型的分类预测结果发送至终端，供终端的使用者查看分析。
在一个实施例中，如图2所示，提供了一种自连接宽度图卷积神经网络模型包括输入层1、自连接高阶图卷积层2、信息融合池化层3和输出层4；所述输入层1，用于接收训练数据集的图特征；所述自连接高阶图卷积层2，用于根据所述图特征进行零阶到k阶的自连接图卷积运算，得到图卷积数据；所述信息融合池化层3，用于根据所述图卷积数据进行零阶到k阶的特征融合，得到融合数据；所述输出层4，用于根据所述融合数据输出模型结果。
其中，自连接高阶图卷积层和信息融合池化层都只有1个，即自连接宽度图卷积神经网络模型的结构为：输入层1与自连接高阶图卷积层2相连，自连接高阶图卷积层2与信息融合池化层3相连，信息融合池化层3再与采用softmax函数进行多分类输出的输出层4相连。自连接高阶图卷积层是指在任一阶数图卷积引入新的自连接的高阶图卷积层，即将任一阶数的图的正则化邻接矩阵都加上同维数的单位矩阵作为新的图的正则化邻接矩阵输入模型。需要注意的是，考虑到自身节点不存在自连接（即自身节点与自身节点有一条边）的邻接矩阵的对角线位置的元素值为0，将该邻接矩阵输入模型训练时可能会因忽略掉自身节点信息而影响模型的分类效果的情况，本实施例中原有的图的正则化邻接矩阵就是含自连接的，而本申请强调的自连接是指在原有的自连接正则化邻接矩阵基础上再次引入自连接，进一步增加自身节点的权重，即：
，
其中，为第i阶含自连接的正则化邻接矩阵，/>为零阶含自连接的正则化邻接矩阵，/>为与/>同维数的单位矩阵。如在二阶图卷积引入新的自连接时的效果为，当然也可以选择在其他阶数图卷积引入自连接，其他阶情况依此类推可以得到，在此不详述。此外，本实施例中引入自连接的方法原则上也同样适用于其他高阶图卷积模型。
本实施例中通过构建只有一层自连接高阶图卷积层的网络架构，减少了参数量和模型的计算量，有效的提升了模型训练效率，此外，基于自身节点特征对分类预测的影响更大的考虑，还通过引入自连接加大自身节点信息的权重的方式，进一步提高了模型的分类效果。
假设上述自连接宽度图卷积神经网络模型的输出层的输出为HGCNSL，则可表示为：
（1）
其中，X是图的输入矩阵，是参数矩阵，/>是图的正则化邻接矩阵，k是图卷积的最高阶数，/>，/>为激活函数，/>为信息融合函数，/>为多分类输出函数。
本实施例中的自连接高阶图卷积层包括基于权重共享的零阶图卷积到k阶图卷积，使得自连接高阶图卷积的参数量与一阶图卷积的参数量保持一致，即。该自连接高阶图卷积不仅通过在任一阶数图卷积引入新的自连接/>赋予自身节点更高的权重，还通过一阶到k阶图卷积捕捉节点的高阶邻域信息的同时，也聚集了不同阶邻域信息。为了弥补一层架构的学习能力，在实际应用中可以根据需求将选取较大的k值即设置较大的宽度，即通过增加宽度(增加阶数)来代替增加深度(增加层数)的方式增加模型的感受野，进而增强模型的学习能力。其中，自连接高阶图卷积层的阶数k可以为二阶及其以上阶数中的一种，或者任意复数种阶数的组合。当k=2时，即采用的自连接宽度图卷积神经网络模型为1阶和2阶邻域混合的HGCNSL-2，公式如下：
；（2）
当k=3时，即采用的自连接宽度图卷积神经网络模型为1阶、2阶和3阶邻域混合的HGCNSL-3，公式如下：
；（3）
当k=n时，即采用的自连接宽度图卷积神经网络模型为1阶到n阶邻域混合的HGCNSL-n，公式如下：
；（4）
在上述模型中同一图卷积层的各阶邻域均采用相同权重参数，来实现权重共享和降低参数量，具体体现在公式(1)-（4）中参数W的选择。
在实际应用于大规模的分类训练时，需要先计算出，由于/>通常是一个具有m个非零元素的稀疏矩阵，且基于自连接高阶图卷积均采用权重共享机制，采用从右到左的乘法来计算/>，如，当k=2，用/>相乘来求/>，同理，/>，依此类推通过/>左乘k-1阶图卷积来计算k阶图卷积，即/>，这一计算方法有效的降低了计算复杂度。此外，由于不同阶图卷积采用权重共享机制，自连接高阶图卷积的参数量和一阶图卷积的参数量是相同的，在一定程度上保证了自连接高阶图卷积计算的高效性。
优选地，所述激活函数可以为/>非线性激活函数。
其中，ReLU激活函数是用来进行非线性处理的。由于线性模型的表达力不够，且有些数据特征不一定是线性可分的，为了解决这一问题就在信息融合池化层之后采用激活函数进行非线性处理，常用的非线性激活函数包括sigmoid、tanh和ReLU、ElU、PReLU等，上述激活函数都可使用，但各有优劣，实际应用时可以根据待处理数据的特点进行选取，而本实施例中采用神经网络中用的最多的ReLU函数，它的公式定义如下：
即，保留大于等于0的值，其余所有小于0的数值直接改写为0。通过这种方法对卷积后产生的特征图中的值进行映射，就可以在特征提取时直接舍弃掉那些不相关联的数据，操作更方便。
由于非线性激活函数可以提高模型的表达能力，但对图分类任务用处不是很大，尤其是对于本实施例中只有一层自连接高阶图卷积层的自连接宽度图卷积神经网络模型而言，是可以省略非线性激活的处理，进一步减少模型计算的复杂度，但可以能会损失一点精度，总体来说对模型的分类精度影响不大，因此，在该模型的实际应用中可以根据分类任务的具体情况决定是否需要使用非线性激活函数，若对精度上要求比较高可以选择使用非线性激活函数，若希望减少模型的计算复杂度提升模型的性能，可以省略非线性激活的处理。
优选地，本发明（1）式中的信息融合池化层采用SP求和信息融合池化来融合从零阶到k阶的不同阶邻域的节点信息，其具体计算公式如下：
（5）
对应的采用SP信息融合的自连接高阶图卷积能聚集更多更丰富的邻域信息获得全局图结构信息的同时，还考虑了自身节点在分类预测时更加重要的因素，如图3所示，模型的表达式如下：
，
其中，H为自连接高阶图卷积层的输出值，即为该模型的softmax函数输出层的输入值。
以一个具体的三阶实施例来说明上述本实施例中的信息融合方式，高阶的情况类似。假设邻域的阶数k=3，假设其零阶邻域为，一阶邻域为/>，二阶邻域为/>，三阶邻域为/>，则SP求和信息融合过程为：
设
则/>。
本实施例采用SP信息融合的自连接高阶图卷积算法实现过程如下：
输入:
卷积运算：
信息融合：
非线性激活：
本实施例中图网络先输入到自连接高阶图卷积进行上述的算法处理，再使用SP求和信息融合来混合不同邻域的零阶到高阶的特征，经过非线性激活后输入softmax函数输出层得到分类概率结果的方法，能够在学习过程中保留更多更丰富的特征信息进行全局图拓扑的学习的同时，还考虑了预测时自身节点更重要的作用，进而很好地提升了学习效果。
在一个实施例中，如图4所示，任一上述自连接宽度图卷积神经网络模型的训练方法的步骤包括：
S11、根据训练数据集，得到所述自连接宽度图卷积神经网络模型的图的输入矩阵和正则化邻接矩阵；
其中，如图5所示，所述根据训练数据集，得到所述自连接宽度图卷积神经网络模型的图的输入矩阵和正则化邻接矩阵的步骤S11包括：
S111、获取所述训练数据集，并确定所述训练数据集的类型；
其中，训练数据集根据实际的分类需求进行选择，比如文本分类的数据集可选取Reuters21578的R52和R8、20-Newsgroups (20NG)、Ohsumed(OH)以及MovieReview (MR），半监督分类可选取Cora、Citeseer、Pubmed，多视图分类可选取Modelnet10和Modelnet40等，每一种分类任务的数据集的内容都不相同，其类型也就不同。
S112、根据所述训练数据集的类型，选取特定方法得到所述自连接宽度图卷积神经网络模型的图的输入矩阵和正则化邻接矩阵。
其中，训练数据集的类型有上述文本数据集、半监督分类数据集、多视图分类数据集等多种类型，对于每种训练集数据在使用本实施的自连接宽度图卷积神经网络模型时，都要进行对应的预处理，得到模型的图的输入矩阵和图的正则化邻接矩阵。如当需要进行文本分类时，就需要将包括文档和标题的语料集数据进行处理构建对应的语料文本图网络，根据语料文本图网络得到模型训练使用的图的输入矩阵和图的正则化邻接矩阵。对于其它情形的数据集，如半监督数据集或多视图分类数据集等都有对应的预处理方法，在使用本实例中的模型进行分类时只需按照分类任务类型对应的常规方法将该任务对应的数据集转换为图的输入矩阵和图的正则化邻接矩阵即可。本申请后续实施例中，均以如表1所示的半监督数据集为例进行相关说明。
表1 半监督分类经典数据集信息表
S12、根据所述图的输入矩阵和正则化邻接矩阵进行特征预处理，得到预处理特征；
其中，如图6所示，所述根据所述图的输入矩阵和正则化邻接矩阵进行特征预处理，得到预处理特征的步骤S12包括：
S121、将不同阶数的所述图的正则化邻接矩阵作和，得到预处理邻接矩阵；
其中，预处理邻接矩阵，是自连接宽度图卷积神经网络模型在计算中的一大优势，由于本申请构建的是只有一层自连接高阶图卷积层，则SP求和信息融合计算（5）式可以优化为：
。
且由于正则化邻接矩阵和/>（即/>）都已知，则由矩阵乘法易得，由矩阵加法易得/>，可见/>是通过逐元素运算得到的，其每个元素的空间位置和/>是相同的，是保留了图拓扑的算子，即可将/>当做一个预处理后的图的邻接矩阵用于后续的模型训练使用。
S122、将所述预处理邻接矩阵和所述图的输入矩阵作积，得到预处理特征。
在经过上述预处理得到预处理邻接矩阵后，由于输入矩阵X已知的，就可以直接把/>作为预处理特征矩阵送入模型进行训练，一定程度上减少了机器训练的复杂度和难度，从而保证了模型训练的高效性。
S13、将所述预处理特征输入所述自连接宽度图卷积神经网络模型，进行特征训练，得到训练结果。
其中，如图7所示，所述将所述预处理特征输入所述自连接宽度图卷积神经网络模型，进行特征训练，得到训练结果的步骤S13包括：
S131、将所述自连接宽度图卷积神经网络模型的参数矩阵进行随机初始化；
其中，对模型参数矩阵进行随机初始化的方法有：权重服从高斯分布的Gaussian初始化、权重为均匀分布的Xavier初始化，及均值为0、方差为2/n的MSRA初始化。本实施例中的自连接宽度图卷积神经网络模型参数矩阵的随机初始化时，可以根据实际分类需求结合上述三种初始化的特点进行选择，不会影响模型的应用效果。
S132、将所述预处理特征输入所述自连接宽度图卷积神经网络模型，采用损失函数和梯度下降法进行训练，得到收敛的参数矩阵；
其中，自连接宽度图卷积神经网络模型训练的过程为：对由训练数据集中的有效特征数据预处理得到的预处理特征进行训练，经过正向传播得到分类结果，再通过损失函数计算交叉熵使用反向传播更新参数矩阵的梯度下降算法进行训练直至收敛，得到收敛时的参数矩阵。
本实施例中，模型训练使用的训练数据集为半监督分类节点的训练数据集，根据该类训练数据集的特点，选用的损失函数为：
，
为带有标签的顶点（节点）的集合，M是类的数目，/>表示标签节点的实标签，并表示softmax（输入标签节点）预测的0到1之间的概率值。当初始化参数矩阵后，基于所有的训练数据集得到初始的损失函数值，若损失函数较大，则说明神经网络性能不好，需要使用梯度下降法，即通过计算上述损失函数关于该神经网络模型参数的偏导数，再不断地调整更新权值参数再训练，直至损失函数缩小至一个可接受范围，结束模型的整个训练过程，得到收敛的参数矩阵，即得到了比较稳定的神经网络模型，保存当前获得的收敛参数矩阵就确定了高效宽度图卷积神经网络训练模型，可以用作后续的分类测试使用。本申请实施例中，首先基于模型的泛化能力考虑，在模型训练时采用的公开的基准数据集进行参数训练，且由于该数据集不具有重复数据，一定程度上能够减少模型训练的工作量，提高模型训练的效率；其次，设计了只有一层自连接高阶图卷积的自连接宽度图卷积神经网络模型及其特征预处理的模型训练方法，采用自连接宽度图卷积代替深度图卷积，在没有多层图卷积层的情况下，既减少了模型的复杂度、模型的参数量及训练难度，还能学习到多邻域节点之间的交互关系和突出自身节点邻域信息的重要性，再结合模型训练时的特征预处理方法，不仅提高了模型的感受野，还提高了模型的训练效率，分类精度，避免训练模型的过平滑现象，提升了模型的稳定性。
本申请实施例中基于半监督分类数据集进行分类训练并与现有的图卷积神经模型的分类精度进行比对，结果如下表2所示：
表2 HGCNSL与现有图卷积模型基于相同半监督数据集的测试精度比对表
表2说明：表中的准确率以百分比表示，且该数字是10次运行的平均值。
基于上述实验结果可知，本实施例提出了一种只具有一层既能同时聚集不同阶邻域节点信息又能考虑自身节点对分类预测更重要的自连接高阶图卷积，和混合不同邻域特征的SP信息融合池化层的自连接宽度图卷积网络模型HGCNSL，不仅简化了现有高阶图卷积模型，降低了模型的复杂度，减少了模型的参数量和训练难度，进一步提升了模型训练效率，避免了模型的过拟合风险，还在分类学习中保留更多更丰富的邻域特征信息，学习了全局图拓扑，扩宽了感受野，还引入新的自连接加大自身节点的权重，进一步提高了模型表达能力和学习能力，基于三组基准半监督分类数据集上的实验结果表明应用自连接宽度图卷积网络模型与采用现有的高阶图卷积网络模型进行分类训练相比，在分类精度、参数量、复杂度及稳定性等方面都有着较大的优势。
为了研究上述实施例中三组数据分别对应自连接宽度图卷积模型的最大阶数及确定自身节点对模型分类预测的重要性，本申请还基于不同阶数的无自连接宽度图卷积和自连接宽度图卷积的分类精度进行了对比性实验。如表3-5所示，研究确定了无自连接宽度图卷积神经网络模型基于Pubmed、Cora和Citeseer数据集上最大阶数分别为21、5和4，自连接宽度图卷积神经网络基于Pubmed、Cora和Citeseer数据集上最大阶数分别为21、8和4，且超过对应的最大阶数后分类精度会有所下降；另外研究还表明中引入自连接的宽度图卷积神经网络模型的分类精度和稳定性都有所提升，进而确定了通过引入新的自连接赋予自身节点更高权重是更贴合实际、更有意义的。
表3 无自连接HGCNSL与HGCNSL基于Pubmed数据集的测试精度比对表
表3说明：表中的准确率以百分比表示，且该数字是10次运行的平均值。
表4 无自连接HGCNSL与HGCNSL基于Cora数据集的测试精度比对表
表4说明：表中的准确率以百分比表示，且该数字是10次运行的平均值。
表5 无自连接HGCNSL与HGCNSL基于Cora数据集的测试精度比对表
表5说明：表中的准确率以百分比表示，且该数字是10次运行的平均值。
需要说明的是，虽然上述流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，上述流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
图8示出一个实施例中计算机设备的内部结构图，该计算机设备具体可以是终端或服务器。如图8所示，该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示器和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种自连接宽度图卷积神经网络模型的训练方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域普通技术人员可以理解，图8中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述自连接宽度图卷积神经网络模型的训练方法的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述自连接宽度图卷积神经网络模型的训练方法的步骤。
综上，本发明实施例提供的一种自连接宽度图卷积神经网络模型及其训练方法，其基于充分考虑现有高阶图卷积神经网络模型采用不同阶卷积采用不同权重、堆叠多个高阶图卷积层，及利用全连接融合不同距离邻域信息的方法机制带来模型的参数量、复杂度过大进而造成训练效率低，引入过拟合风险等多方面问题的基础上，提出了一种包括捕捉节点的多阶邻域信息的自连接高阶图卷积层、混合不同阶邻域特征的SP信息融合池化层及softmax分类输出层的一层自连接宽度图卷积神经网络模型，及与该模型对应的先进行特征预处理再进行训练的高效模型训练方法。该模型及其训练方法应用于实际分类测试时，采用自连接高阶图卷积层增加模型宽度、降低模型深度、减少参数量的同时，还能同时聚集多阶邻域信息，且赋予自身节点更高的权重，进而在扩宽模型感受野、避免了模型过拟合风险的同时，还进一步提升了模型的学习能力、稳定性和分类精度。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。
本说明书中的各个实施例均采用递进的方式描述，各个实施例直接相同或相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。需要说明的是，上述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种优选实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和替换，这些改进和替换也应视为本申请的保护范围。因此，本申请专利的保护范围应以所述权利要求的保护范围为准。
Claims (6)
1.一种自连接宽度图卷积神经网络模型系统，其特征在于，所述系统包括自连接宽度图卷积神经网络模型；所述自连接宽度图卷积神经网络模型依次包括输入层、自连接高阶图卷积层、信息融合池化层和输出层；
所述输入层，用于接收训练数据集的图特征；
所述自连接高阶图卷积层，用于根据所述图特征进行零阶到k阶的自连接图卷积运算，得到图卷积数据；
所述信息融合池化层，用于根据所述图卷积数据进行零阶到k阶的特征融合，得到融合数据；
所述输出层，用于根据所述融合数据输出模型结果；
其中，所述自连接高阶图卷积层由在任一阶数图卷积引入新的自连接得到；
所述自连接高阶图卷积层包括基于权重共享的零阶图卷积到k阶图卷积，表示为：
，
其中，X是图的输入矩阵，是参数矩阵，/>是图的正则化邻接矩阵，k是图卷积的最高阶数，/>；
所述自连接宽度图卷积神经网络模型的输出层HGCNSL表示为：
其中，为激活函数，/>为信息融合函数，/>为多分类输出函数；
所述信息融合池化层采用SP求和信息融合池化，其计算公式如下：
。
2.如权利要求1所述的自连接宽度图卷积神经网络模型系统，其特征在于，所述激活函数为ReLU非线性激活函数。
3.如权利要求1-2所述任一所述的自连接宽度图卷积神经网络模型系统中自连接宽度图卷积神经网络模型的训练方法，其特征在于，所述训练方法的步骤包括：
根据训练数据集，得到所述自连接宽度图卷积神经网络模型的图的输入矩阵和正则化邻接矩阵；
根据所述图的输入矩阵和正则化邻接矩阵进行特征预处理，得到预处理特征；
将所述预处理特征输入所述自连接宽度图卷积神经网络模型，进行特征训练，得到训练结果。
4.如权利要求3所述的自连接宽度图卷积神经网络模型的训练方法，其特征在于，所述根据训练数据集，得到所述自连接宽度图卷积神经网络模型的图的输入矩阵和正则化邻接矩阵的步骤包括：
获取所述训练数据集，并确定所述训练数据集的类型；
根据所述训练数据集的类型，选取预设方法得到所述自连接宽度图卷积神经网络模型的图的输入矩阵和正则化邻接矩阵。
5.如权利要求3所述的自连接宽度图卷积神经网络模型的训练方法，其特征在于，所述根据所述图的输入矩阵和正则化邻接矩阵进行特征预处理，得到预处理特征的步骤包括：
将所有不同阶数的所述图的正则化邻接矩阵作和，得到预处理邻接矩阵；
将所述预处理邻接矩阵和所述图的输入矩阵作积，得到预处理特征。
6.如权利要求3所述的自连接宽度图卷积神经网络模型的训练方法，其特征在于，所述将所述预处理特征输入所述自连接宽度图卷积神经网络模型，进行特征训练，得到训练结果的步骤包括：
将所述自连接宽度图卷积神经网络模型的参数矩阵进行随机初始化；
将所述预处理特征输入所述自连接宽度图卷积神经网络模型，采用损失函数和梯度下降法进行训练，得到收敛的参数矩阵。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011610969.2A CN112651492B (zh) | 2020-12-30 | 2020-12-30 | 一种自连接宽度图卷积神经网络模型系统及训练方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011610969.2A CN112651492B (zh) | 2020-12-30 | 2020-12-30 | 一种自连接宽度图卷积神经网络模型系统及训练方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112651492A CN112651492A (zh) | 2021-04-13 |
| CN112651492B true CN112651492B (zh) | 2023-10-13 |
Family
ID=75364267
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011610969.2A Active CN112651492B (zh) | 2020-12-30 | 2020-12-30 | 一种自连接宽度图卷积神经网络模型系统及训练方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112651492B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114050975B (zh) * | 2022-01-10 | 2022-04-19 | 苏州浪潮智能科技有限公司 | 一种异构多节点互联拓扑生成方法和存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107622276A (zh) * | 2017-08-21 | 2018-01-23 | 北京精密机电控制设备研究所 | 一种基于机器人仿真与物理采样结合的深度学习训练方法 |
| CN108764292A (zh) * | 2018-04-27 | 2018-11-06 | 北京大学 | 基于弱监督信息的深度学习图像目标映射及定位方法 |
| CN112132818A (zh) * | 2020-09-29 | 2020-12-25 | 北京航空航天大学 | 基于图卷积神经网络构建三阶段的图像处理方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11544535B2 (en) * | 2019-03-08 | 2023-01-03 | Adobe Inc. | Graph convolutional networks with motif-based attention |
-
2020
- 2020-12-30 CN CN202011610969.2A patent/CN112651492B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107622276A (zh) * | 2017-08-21 | 2018-01-23 | 北京精密机电控制设备研究所 | 一种基于机器人仿真与物理采样结合的深度学习训练方法 |
| CN108764292A (zh) * | 2018-04-27 | 2018-11-06 | 北京大学 | 基于弱监督信息的深度学习图像目标映射及定位方法 |
| CN112132818A (zh) * | 2020-09-29 | 2020-12-25 | 北京航空航天大学 | 基于图卷积神经网络构建三阶段的图像处理方法 |
Non-Patent Citations (2)
| Title |
|---|
| DGCNN: A convolutional neural network over large-scale labeled graphs;Anh Viet Phan等;《Elsevier Science》;第1-11页 * |
| 基于时空神经网络的动态情感识别研究;张桐;《万方数据知识服务平台学位论文库》;第1-118页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112651492A (zh) | 2021-04-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112598080B (zh) | 基于注意力的宽度图卷积神经网络模型系统及训练方法 | |
| Kim et al. | Emi: Exploration with mutual information | |
| Sun et al. | What and how: generalized lifelong spectral clustering via dual memory | |
| CN107358293B (zh) | 一种神经网络训练方法及装置 | |
| CN112633481B (zh) | 一种多跳图卷积神经网络模型系统及训练方法 | |
| CN112633482B (zh) | 一种高效宽度图卷积神经网络模型系统及训练方法 | |
| Zheng | Gradient descent algorithms for quantile regression with smooth approximation | |
| CN111213160A (zh) | 高效卷积神经网络 | |
| WO2015062209A1 (zh) | 随机森林分类模型的可视化优化处理方法及装置 | |
| CN112529069B (zh) | 一种半监督节点分类方法、系统、计算机设备和存储介质 | |
| US11640634B2 (en) | Deep learning based visual compatibility prediction for bundle recommendations | |
| WO2023065859A1 (zh) | 物品推荐方法、装置及存储介质 | |
| CN109685204B (zh) | 图像处理方法及装置、存储介质及电子设备 | |
| WO2022105108A1 (zh) | 一种网络数据分类方法、装置、设备及可读存储介质 | |
| CN114637923B (zh) | 基于层次注意力图神经网络的数据信息推荐方法和装置 | |
| CN112529071B (zh) | 一种文本分类方法、系统、计算机设备和存储介质 | |
| CN112529068B (zh) | 一种多视图图像分类方法、系统、计算机设备和存储介质 | |
| Lim et al. | Learning interactions through hierarchical group-lasso regularization | |
| CN112668700B (zh) | 一种基于分组注意的宽度图卷积网络模型系统及训练方法 | |
| CN112651492B (zh) | 一种自连接宽度图卷积神经网络模型系统及训练方法 | |
| Fang et al. | LASSO isotone for high-dimensional additive isotonic regression | |
| Zheng et al. | Multi-class indoor semantic segmentation with deep structured model | |
| He et al. | Scalable incomplete multi-view clustering with adaptive data completion | |
| CN112734519B (zh) | 一种基于卷积自编码器网络的商品推荐方法 | |
| Han et al. | Estimation of sparse directed acyclic graphs for multivariate counts data |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |