CN110674869A - 分类处理、图卷积神经网络模型的训练方法和装置 - Google Patents
分类处理、图卷积神经网络模型的训练方法和装置 Download PDFInfo
- Publication number
- CN110674869A CN110674869A CN201910900854.8A CN201910900854A CN110674869A CN 110674869 A CN110674869 A CN 110674869A CN 201910900854 A CN201910900854 A CN 201910900854A CN 110674869 A CN110674869 A CN 110674869A
- Authority
- CN
- China
- Prior art keywords
- neural network
- graph
- target
- edges
- network model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Abstract
本发明公开了一种分类处理、图卷积神经网络模型的训练方法和装置。其中，该分类处理方法包括：获取目标对象的样本数据的目标特征图，通过将目标对象的样本数据的目标特征图输入到预先训练好的目标图卷积神经网络模型中，得到的目标对象的分类信息，分类信息可以准确地表示目标对象研究领域，根据分类信息对目标对象进行分类，通过输入训练好的目标图卷积神经网络模型即人工智能的方式对用户进行分类，提高了目标对象分类的准确性，进而解决了相关技术中通过复杂图卷积网络模型，基于用户的研究领域对用户进行分类，由于复杂图卷积网络模型的构建中存在过拟合和过平滑的问题，导致分类结果的准确性低的技术问题。
Description
技术领域
本发明涉及计算机领域，具体而言，涉及一种分类处理、图卷积神经网络模型的训练方法和装置。
背景技术
人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
其中，机器学习(Machine Learning,简称为ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括图卷积神经网络、人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
在金融、社交、药物分析等众多场景数据都可以建模成图，图卷积神经网络(GCN)是一种可以有效处理图这种复杂数据结构的有效算法。图卷积神经网络主要是对图数据进行表示学习，即将图或者其中的节点表示成向量。这一向量可以用于其后的机器学习任务，例如分类，回归，聚类等等。但是当前图卷积网络在应用上存在很大的问题，即过拟合和过平滑问题，其中，过拟合(Overfitting)：模型在训练数据集上具有良好的性能，但是在测试数据集表现很差；过平滑(Over-smoothing)：在超深(多层)GCN模型经过多次平均后，模型参数训练结果和训练数据集无关，导致在训练数据集上表现很差。
针对上述的问题，目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种分类处理、图卷积神经网络模型的训练方法和装置，以至少解决相关技术中通过复杂图卷积网络模型，基于用户的研究领域对用户进行分类，由于复杂图卷积网络模型的构建中存在过拟合和过平滑的问题，导致分类结果的准确性低的技术问题。
根据本发明实施例的一方面，提供了一种分类处理方法，包括：
获取目标对象的样本数据的目标特征图；
将该目标特征图输入到预先训练好的目标图卷积神经网络模型中，得到该目标对象的分类信息，其中，该目标神经网络模型是使用训练样本图的特征图的邻接矩阵对初始图卷积神经网络模型进行训练得到的，该使用该训练样本图的特征图的邻接矩阵对初始图卷积神经网络模型进行训练包括：在确定该初始图卷积神经网络模型中第l+1层图卷积神经网络的输出特征时，对该边集合中的部分边进行丢弃，得到目标边集合；根据该目标边集合对该邻接矩阵进行更新，得到目标邻接矩阵；使用该目标邻接矩阵和该初始图卷积神经网络模型中第l层图卷积神经网络的输出特征确定该第l+1层图卷积神经网络的输出特征，其中，l为自然数；该分类信息用于指示该目标对象的研究领域；
根据该分类信息对该目标对象进行分类处理。
根据本发明实施例的一方面，提供了一种图卷积神经网络模型的训练方法，包括：
获取训练样本图的特征图和该特征图的邻接矩阵，其中，该特征图包括节点集合与边集合，该节点集合包括用于表示该特征图的一组节点，该边集合包括该一组节点之间存在的边，该邻接矩阵用于表示该一组节点之间是否存在边；
使用该特征图的邻接矩阵对初始图卷积神经网络模型进行训练，得到目标图卷积神经网络模型；
其中，该使用该特征图的邻接矩阵对初始图卷积神经网络模型进行训练包括：在确定该初始图卷积神经网络模型中第l+1层图卷积神经网络的输出特征时，对该边集合中的部分边进行丢弃，得到目标边集合；根据该目标边集合对该邻接矩阵进行更新，得到目标邻接矩阵；使用该目标邻接矩阵和该初始图卷积神经网络模型中第l层图卷积神经网络的输出特征确定该第l+1层图卷积神经网络的输出特征，其中，l为自然数。
根据本发明实施例的另一方面，还提供了一种分类处理装置，包括：
第一获取模块，用于获取目标对象的样本数据的目标特征图；
输入模块，用于将该目标特征图输入到预先训练好的目标图卷积神经网络模型中，得到该目标对象的分类信息，其中，该目标神经网络模型是使用训练样本图的特征图的邻接矩阵对初始图卷积神经网络模型进行训练得到的，该使用该训练样本图的特征图的邻接矩阵对初始图卷积神经网络模型进行训练包括：在确定该初始图卷积神经网络模型中第l+1层图卷积神经网络的输出特征时，对该边集合中的部分边进行丢弃，得到目标边集合；根据该目标边集合对该邻接矩阵进行更新，得到目标邻接矩阵；使用该目标邻接矩阵和该初始图卷积神经网络模型中第l层图卷积神经网络的输出特征确定该第l+1层图卷积神经网络的输出特征，其中，l为自然数；该分类信息用于指示该目标对象的研究领域；
分类处理模块，用于根据该分类信息对该目标对象进行分类处理。
根据本发明实施例的又一方面，还提供了一种图卷积神经网络模型的训练装置，包括：
第三获取模块，用于获取训练样本图的特征图和该特征图的邻接矩阵，其中，该特征图包括节点集合与边集合，该节点集合包括用于表示该特征图的一组节点，该边集合包括该一组节点之间存在的边，该邻接矩阵用于表示该一组节点之间是否存在边；
训练模块，用于使用该特征图的邻接矩阵对初始图卷积神经网络模型进行训练，得到目标图卷积神经网络模型；
其中，该训练模块包括：
丢弃子模块，用于在确定该初始图卷积神经网络模型中第l+1层图卷积神经网络的输出特征时，对该边集合中的部分边进行丢弃，得到目标边集合；
更新子模块，用于根据该目标边集合对该邻接矩阵进行更新，得到目标邻接矩阵；
确定子模块，用于使用该目标邻接矩阵和该初始图卷积神经网络模型中第l层图卷积神经网络的输出特征确定该第l+1层图卷积神经网络的输出特征，其中，l为自然数。
根据本发明实施例的又一方面，还提供了一种计算机可读的存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述基于目标应用的处理方法。
根据本发明实施例的又一方面，还提供了一种电子装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，上述处理器通过计算机程序执行上述的基于目标应用的处理方法。
在本发明实施例中，获取目标对象的样本数据的目标特征图，通过将目标对象的样本数据的目标特征图输入到预先训练好的目标图卷积神经网络模型中，得到的目标对象的分类信息，分类信息可以准确地表示目标对象研究领域，根据分类信息对目标对象进行分类，通过输入训练好的目标图卷积神经网络模型即人工智能的方式对用户进行分类，提高了目标对象分类的准确性，进而解决了相关技术中通过复杂图卷积网络模型，基于用户的研究领域对用户进行分类，由于复杂图卷积网络模型的构建中存在过拟合和过平滑的问题，导致分类结果的准确性低的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据相关技术中的过拟合和过平滑的示意图；
图2是根据相关技术中多层图卷积神经网络的示意图；
图3是根据本发明实施例的图卷积神经网络模型的训练方法的流程图；
图4是根据本发明实施例的分类处理方法的流程图；
图5是根据本发明实施例的图卷积神经网络的示意图；
图6是根据本发明实施例的DropEdge前和DropEdge后图卷积感受野变化的示意图；
图7是根据本发明实施例的图卷积神经网络训练的差异比较的示意图；
图8是根据本发明实施例的分类处理装置的框图；
图9是根据本发明实施例的图卷积神经网络模型的训练装置的框图；
图10是根据本发明实施例的一种可选的电子装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
目前，大多数图神经网络模型都有一个通用的架构，可以将它们称为图卷积神经网络(GCNs)，这些模型是可卷积的，因为滤波器参数在图中所有位置或者一个局部位置上都可以共享。
对于这些模型，它们的目标是要学习图G＝(V，E)上的信号或特征的一个映射。它们的输入包括：每一个节点i的特征描述xi，可以写成一个N*D的特征矩阵(N表示节点数，D表示输入的特征数)，矩阵形式的图结构的特征描述，通常是以邻接矩阵的形式(或者其他的形式)。模型会产生一个节点级别的输出Z(一个N*F的特征矩阵，其中F表示每一个节点的输出特征数)。图级别的输出可以通过引入一些池化操作来建模。每一个神经网络层可以写成一个非线性函数。
但是当前图卷积网络在应用上存在过拟合和过平滑的问题，其中，过拟合(Overfitting)：模型在训练数据集上具有良好的性能，但是在测试数据集表现很差。过平滑(Over-smoothing)：在超深(多层)GCN模型经过多次平均后，模型参数训练结果和训练数据集无关，导致在训练数据集上表现很差。
图1是根据相关技术中的过拟合和过平滑的示意图，如图1所示，曲线1代表2层GCN模型的训练结果，曲线2代表6层GCN模型的训练结果，曲线3代表32层GCN模型的训练结果，横轴是训练epoch。相对于2层GCN模型，可以看到在6层GCN模型上，Vlidation Loss随着训练进行增加，出现了Overfitting现象。在32层GCN模型上，Training Loss随着训练进行并不会降低。出现了Over-smoothing的现象。过拟合和过平滑是限制复杂图卷积神经网络构建和应用的主要阻碍。
图2是根据相关技术中多层图卷积神经网络的示意图，如图2所示，GCN模型框架，输入是一张图，经过一层一层计算变换，最后输出一张图。GCN模型具备深度学习的以下三种性质：
1、层级结构，特征一层一层抽取，一层比一层更抽象，更高级；
2、非线性变换，增加模型的表达能力；
3、端对端训练，不需要再去定义任何规则，只需要给图的节点一个标记，让模型自己学习，融合特征信息和结构信息。
基于上述过拟合和过平滑的问题，本发明实施例提供了一种图卷积神经网络模型的训练方法，图3是根据本发明实施例的图卷积神经网络模型的训练方法的流程图，如图3所示，包括：
步骤S302，获取训练样本图的特征图和该特征图的邻接矩阵，其中，该特征图包括节点集合与边集合，该节点集合包括用于表示该特征图的一组节点，该边集合包括该一组节点之间存在的边，该邻接矩阵用于表示该一组节点之间是否存在边；
步骤S304，使用该特征图的邻接矩阵对初始图卷积神经网络模型进行训练，得到目标图卷积神经网络模型；
其中，上述步骤S304具体可以包括：
S3041，在确定该初始图卷积神经网络模型中第l+1层图卷积神经网络的输出特征时，对该边集合中的部分边进行丢弃，得到目标边集合；
具体的，在确定初始卷积神经网络模型的第l+1层图卷积神经网络的输出特征时，将第l层图卷积神经网络的输出特征中部分节点之间存在的边丢弃，便可以减少输入特征。
S3042，根据该目标边集合对该邻接矩阵进行更新，得到目标邻接矩阵；在将部分节点之间的边丢弃之后，便可确定目标边集合，从而更新邻接矩阵。
S3043，使用该目标邻接矩阵和该初始图卷积神经网络模型中第l层图卷积神经网络的输出特征确定该第l+1层图卷积神经网络的输出特征，其中，l为自然数。具体地，将目标邻接矩阵和该初始图卷积神经网络模型中第l层图卷积神经网络的输出特征输入到初始图卷积神经网络中得到第l+1层图卷积神经网络的输出特征。
通过上述步骤，获取训练样本图的特征图和该特征图的邻接矩阵，使用该特征图的邻接矩阵对初始图卷积神经网络模型进行训练，得到目标图卷积神经网络模型；其中，该使用该特征图的邻接矩阵对初始图卷积神经网络模型进行训练包括：在确定该初始图卷积神经网络模型中第l+1层图卷积神经网络的输出特征时，对该边集合中的部分边进行丢弃，得到目标边集合；根据该目标边集合对该邻接矩阵进行更新，得到目标邻接矩阵；使用该目标邻接矩阵和该初始图卷积神经网络模型中第l层图卷积神经网络的输出特征确定该第l+1层图卷积神经网络的输出特征，通过调整后的目标邻接矩阵训练图卷积神经网络模型，进而解决了当前复杂图卷积网络构建中存在过拟合和过平滑的技术问题。
本发明实施例中，上述步骤S3041具体可以包括：丢弃该边集合中预定数量或预定比例的边，得到该目标边集合。
本发明实施例中，丢弃该边集合中预定数量或预定比例的边，具体可以包括以下三种方案：
方案一：随机丢弃该边集合中预定数量或预定比例的边；或者，
方案二：根据边所连接的两个节点的度数和丢弃该边集合中的部分边；其中，度的定义：在图中，节点v的度数定义为和其相连的节点的边个数。特殊的，如果这个图是一个有向图(图边是有方向的)，会区分这个节点的出度(从这个节点v出发到其他节点的边数目)和入度(从其他节点出发到这个节点的边数目)。
具体的，按照与每条边所连接的两个节点的度数和呈反比的概率在该边集合中确定该部分边；丢弃该边集合中的该部分边。根据度数和丢弃边具体可以是对于两个节点v、w，计算这两个节点的度数的和，如果这两个节点度数和越大，那么这两个点之间的边e_{vw}被丢弃的概率越低。
方案三：根据该边的属性丢弃该边集合中的部分边。
具体的，根据该边的属性确定丢弃概率，该边的属性是和业务相关的，例如，可以根据用户在社交网络里面的影响力来判断和他相连的边被丢弃的概率。例如，可以设定：如果这个用户是大V(这里大V可以看作用户的一个属性)，那么和他相连的边丢弃的概率为0.1，如果这个用户不是大V，则和他相连的边丢弃概率是0.5。根据该丢弃概率在该边集合中确定该部分边，丢弃该边集合中的该部分边，之后便可更新目标邻接矩阵。
本发明实施例中，在使用该特征图的邻接矩阵对初始图卷积神经网络模型进行训练的过程中，确定不同层图卷积神经网络的输出特征时丢弃的该部分边都不相同、或、不都相同、或都相同。
例如，确定第1层图卷积神经网络的输出特征、第二层图卷积神经网络的输出特征、第l层图卷积神经网络的输出特征时以及确定第l+1层图卷积神经网络的输出特征都不相同、或、不都相同、或都相同，即每一层采用方案可以相同也可以不同，即使采用的是相同的方案，如都采用方案一的随机丢弃该边集合中预定数量或预定比例的边，但是每层随机丢弃的边是相同的或不同的；或者每层均采用方案二中按照与每条边所连接的两个节点的度数和呈反比的概率在该边集合中确定该部分边，丢弃该边集合中的该部分边，每层中呈反比的概率在边集合中确定的边是相同的或不同的，故每层确定图卷积神经网络的输出特征时丢弃的边也是相同的或不同的。也可以是均采用上述的方案三中根据该边的属性确定丢弃概率，确定丢弃概率相同或不同，丢弃概率相同的情况下，丢弃的部分边也可以是相同的或不同的。当然也可以是确定部分层的图卷积神经网络的输出特征与其他部分层的图卷积神经网络的输出特征采用不同的方案，如，部分采用方案一或方案二确定上述边集合中丢弃的部分边，其他部分采用方案三确定边集合中丢弃的边。
本发明实施例中，在使用该特征图的邻接矩阵对初始图卷积神经网络模型进行训练的过程中，确定不同层图卷积神经网络的输出特征时用于从该边集合中确定出该部分边的方式都不相同、或不都相同、或都相同。例如，确定第1层图卷积神经网络的输出特征、第二层图卷积神经网络的输出特征、第l层图卷积神经网络的输出特征时以及确定第l+1层图卷积神经网络的输出特征用于从该边集合中确定出该部分边的方式不都相同、或不都相同、或都相同，即每一层采用方案可以相同也可以不同，如都采用方案一的随机丢弃该边集合中预定数量或预定比例的边，但是每层随机丢弃的边是不同的或相同的；或者每层均采用方案二中按照与每条边所连接的两个节点的度数和呈反比的概率在该边集合中确定该部分边，丢弃该边集合中的该部分边，每层中呈反比的概率在边集合中确定的边是相同的或不同的，故每层确定图卷积神经网络的输出特征时丢弃的边是相同的或不同的。当然也可以是确定部分层的图卷积神经网络的输出特征与其他部分层的图卷积神经网络的输出特征采用不同的方案，如，部分采用方案一或方案二确定上述边集合中丢弃的部分边，其他部分采用方案三确定边集合中丢弃的边等。
本发明实施例中，上述步骤S3043具体可以包括：将该目标邻接矩阵和该初始图卷积神经网络模型中第l层图卷积神经网络的输出特征输入到该第l+1层图卷积神经网络，得到该第l+1层图卷积神经网络的输出特征。
进一步的，该将该目标邻接矩阵和该初始图卷积神经网络模型中第l层图卷积神经网络的输出特征输入到该第l+1层图卷积神经网络，得到该第l+1层图卷积神经网络的输出特征，包括：
通过以下公式确定该第l+1层图卷积神经网络的输出特征：
Adrop＝A-A′
σ为激活函数，H(l+1)为第l+1层图卷积神经网络特征，H(l)为第l层图卷积神经网络特征，Adrop为该目标邻接矩阵，A为该邻接矩阵，A'为该部分边所对应的邻接矩阵，Ddrop为该目标邻接矩阵的度矩阵，W是第l层图卷积神经网络的参数矩阵。其中，度矩阵定义：如果对于节点vi，可以定义di为节点vi的度数，则度矩阵为：D＝diag(v1,v2,v3…,vn)，diag()指括号内的元素在矩阵对角线上，D为一个n×n的对焦阵。
本发明实施例提供了一种分类处理方法，图4是根据本发明实施例的分类处理方法的流程图，如图4所示，包括：
步骤S402，获取目标对象的样本数据的目标特征图；
步骤S404，将该目标特征图输入到预先训练好的目标图卷积神经网络模型中，得到该目标对象的分类信息，其中，该目标神经网络模型是使用训练样本图的特征图的邻接矩阵对初始图卷积神经网络模型进行训练得到的，该使用该训练样本图的特征图的邻接矩阵对初始图卷积神经网络模型进行训练包括：在确定该初始图卷积神经网络模型中第l+1层图卷积神经网络的输出特征时，对该边集合中的部分边进行丢弃，得到目标边集合；根据该目标边集合对该邻接矩阵进行更新，得到目标邻接矩阵；使用该目标邻接矩阵和该初始图卷积神经网络模型中第l层图卷积神经网络的输出特征确定该第l+1层图卷积神经网络的输出特征，其中，l为自然数；该分类信息用于指示该目标对象的研究领域；
具体的，将该目标邻接矩阵和该初始图卷积神经网络模型中第l层图卷积神经网络的输出特征输入到该第l+1层图卷积神经网络，得到该第l+1层图卷积神经网络的输出特征。
进一步的，通过以下公式确定该第l+1层图卷积神经网络的输出特征：
Adrop＝A-A′
σ为激活函数，H(l+1)为第l+1层图卷积神经网络特征，H(l)为第l层图卷积神经网络特征，Adrop为该目标邻接矩阵，A为该邻接矩阵，A'为该部分边所对应的邻接矩阵，Ddrop为该目标邻接矩阵的度矩阵，W是第l层图卷积神经网络的参数矩阵。
步骤S406，根据该分类信息对该目标对象进行分类处理。
具体的，分类信息可以指示目标对象对应不同研究领域的概率，将概率最大的分类信息确定为目标对象的分类信息，如分类信息指示目标对象的研究领域的人工智能方向，则将目标对象分类到人工智能研究领域的列表中，可以给目标对象在研究领域上打上人工智能的标签。
通过上述步骤S402至S406，通过将目标对象的样本数据的目标特征图输入到预先训练好的目标图卷积神经网络模型中，得到的目标对象的分类信息，分类信息可以准确地表示目标对象研究领域，根据分类信息对目标对象进行分类，通过输入训练好的目标图卷积神经网络模型即人工智能的方式对用户进行分类，提高了目标对象分类的准确性，可以解决相关技术中通过复杂图卷积网络模型，基于用户的研究领域对用户进行分类，由于复杂图卷积网络模型的构建中存在过拟合和过平滑的问题，导致分类结果的准确性低的问题。
进一步的，在使用该训练样本图的特征图的邻接矩阵对初始图卷积神经网络模型进行训练之前，获取该训练样本图的特征图和该特征图的邻接矩阵，其中，该特征图包括节点集合与边集合，该节点集合包括用于表示该特征图的一组节点，该边集合包括该一组节点之间存在的边，该邻接矩阵用于表示该一组节点之间是否存在边。通过获取的特征图的临接矩阵训练初始图卷积神经网络模型得到目标图卷积神经网络模型。
进一步的，该对该边集合中的部分边进行丢弃，得到目标边集合具体可以包括：
丢弃该边集合中预定数量或预定比例的边，得到该目标边集合。
本发明实施例中，丢弃该边集合中预定数量或预定比例的边的方式有多种，至少包括以下方案之一：
方案一：随机丢弃该边集合中预定数量或预定比例的边；或者，
方案二：根据边所连接的两个节点的度数和丢弃该边集合中的部分边；其中，度的定义：在图中，节点v的度数定义为和其相连的节点的边个数。特殊的，如果这个图是一个有向图(图边是有方向的)，区分这个节点的出度(从这个节点v出发到其他节点的边数目)和入度(从其他节点出发到这个节点的边数目)。
具体的，按照与每条边所连接的两个节点的度数和呈反比的概率在该边集合中确定该部分边；丢弃该边集合中的该部分边。根据度数和丢弃边具体可以是对于两个节点v、w，计算这两个节点的度数的和，如果这两个节点度数和越大，那么这两个点之间的边e_{vw}被丢弃的概率越低。
方案三：根据该边的属性丢弃该边集合中的部分边。
具体的，根据该边的属性确定丢弃概率，该边的属性是和业务相关的，例如，可以根据用户在社交网络里面的影响力来判断和他相连的边被丢弃的概率。例如，可以设定：如果这个用户是大V(这里大V可以看作用户的一个属性)，那么和他相连的边丢弃的概率为0.1，如果这个用户不是大V，则和他相连的边丢弃概率是0.5。根据该丢弃概率在该边集合中确定该部分边，丢弃该边集合中的该部分边，之后便可更新目标邻接矩阵。
对于用户分类的应用，Cora是一个学术引用数据集，其可以表示成图的形式，其中，每个点为研究者，边为作者之间的引用关系。每个研究者有自己的一些属性，比如已经发表的论文数目，发表论文的关键字集合等。在这个应用中，目标是根据研究者之间的引用关系和研究者本身的属性，去判断研究者的研究领域：如机器学习，数据挖掘等。
具体的，给定图作为输入，通过图卷积神经网络得到每个用户向量表示
其中hi维度为C维，即研究领域的数目。定义cross-entropy loss来对整个模型进行训练，
其中，yi是一个C维向量，代表着第i个研究者实际的研究领域(即类标签)，y中每个位置只能有0,1两种取值。例如，如果有C＝6个研究领域，那yi可以为：[0,0,0,1,0,0]。
pi＝softmax(hi)也是一个C维向量为模型判断第i个研究者是某个领域的概率，例如，如果有C＝6个研究领域，模型输出pi可能为[0.1,0,0,0.7,0,0.2]，这说明模型判断这个研究者有较大概率是第四个研究领域的，因为模型第四个研究领域的概率最大。
本发明实施例提供了一种通用的解决过拟合、过平滑的方法DropEdge，DropEdge通过对图的拓扑结构的修改，可以实现对超深层图卷积网络的有效训练。
图5是根据本发明实施例的图卷积神经网络的示意图，如图5所示，图卷积神经网络具有卷积神经网络的以下性质：
1、局部参数共享，算子是适用于每个节点(圆圈代表算子)，处处共享。
2、感受域正比于层数，最开始的时候，每个节点包含了直接邻居的信息，再计算第二层时就能将邻居的信息包含进来，这样参与运算的信息就更多更充分。层数越多，感受域就更广，参与运算的信息就更多。
一般的，图可以分定义为所述特征图为G(V,E)，其中，V表示节点集合，E表示边集合，G(V,E)定义了异构信息图中的拓扑关系。A代表图的邻接矩阵，如果vi、vj之间存在边，则Aij＝1,如果不存在，则Aij＝0。X表示图中节点存在的特征信息。例如：在社交网络中，每个用户作为一个节点存在一些特性，例如年龄，登录地点，使用偏好等。在分子结构网络中，每个原子作为节点也存在一些特性：比如质子数，电荷数，元素序数等。
GCN定义：单层图卷积网络可以定义为在图上的以下运算：
其中H(1+1)为第l+1层特征，输入层特征为X。
为正则化后的邻接矩阵，D为度矩阵，即对角线上为对应点的度数。σ(.)为激活函数，常见激活函数有ReLu(x)＝max(0,x),等。
图卷积网络可以多层叠加，形成深层图卷积模型。
DropEdge定义：给定A，在每轮训练的时候，随机丢弃掉p比例边，p是丢弃率，丢弃后的结果为Adrop。
Adrop＝A-A′
A′是被丢弃掉的边。在丢弃边后对Adrop做正则化，即：
最终GCN层定义为：
本发明实施例中，在选择丢弃边上，可以有多种丢弃方法，具体可以包括：
全随机，即每层均采样随机丢弃的方式丢弃边集合中的部分边。
根据连边两个点的度数和，和越大被丢弃的概率越小。
根据边上的属性计算丢弃概率。
DropEdge作用机制
通过DropEdge可以显著减少GCN感受野(即参与到平均运算的节点数量)，从而减缓Oversmoothing。
图6是根据本发明实施例的DropEdge前和DropEdge后图卷积感受野变化的示意图，如图6所示，展示了DropEdge前后图卷积感受野变化。在DropEdge前，为了计算蓝色点的输出，一共有5个点参与。而在DropEdge后，点减少为3个。
图7是根据本发明实施例的图卷积神经网络训练的差异比较的示意图，如图7所示，训练前、训练后GCN中每一层和其上一层的输出(不包括输入层、输出层)的差异比较和Training Loss比较，两个模型均使用相同网络结构和参数初始化方法，在加了DropEdge(p＝0.8)后(曲线1)，其每层差异会变得更加明显，说明其没有Oversmoothing。而在没有DropEdge的模型(曲线2)，因为在深层图卷积模型中多次平均操作，导致前后层输出差异越来越小，训练后其层间差异几乎为0，造成Oversmoothing。最后一个图的Training Loss则说明了有无Oversmoothing对训练结果的影响。
本发明实施例通过一种新的DropEdge机制，解决当前复杂图卷积网络构建中存在的过拟合和过平滑问题。具有灵活性和通用性，DropEdge可以很方便很广泛的利用于各种图卷积神经网络，提升图卷积模型的性能。具有广泛的场景应用前景，整个方法能够使得各种和图相关的问题应用性能得到提升。
本发明实施例还提供了一种分类处理装置，图8是根据本发明实施例的分类处理装置的框图，如图8所示，包括：
第一获取模块82，用于获取目标对象的样本数据的目标特征图；
输入模块84，用于将该目标特征图输入到预先训练好的目标图卷积神经网络模型中，得到该目标对象的分类信息，其中，该目标神经网络模型是使用训练样本图的特征图的邻接矩阵对初始图卷积神经网络模型进行训练得到的，该使用该训练样本图的特征图的邻接矩阵对初始图卷积神经网络模型进行训练包括：在确定该初始图卷积神经网络模型中第l+1层图卷积神经网络的输出特征时，对该边集合中的部分边进行丢弃，得到目标边集合；根据该目标边集合对该邻接矩阵进行更新，得到目标邻接矩阵；使用该目标邻接矩阵和该初始图卷积神经网络模型中第l层图卷积神经网络的输出特征确定该第l+1层图卷积神经网络的输出特征，其中，l为自然数；该分类信息用于指示该目标对象的研究领域；
分类处理模块86，用于根据该分类信息对该目标对象进行分类处理。
可选地，该装置还包括：
第二获取模块，用于获取该训练样本图的特征图和该特征图的邻接矩阵，其中，该特征图包括节点集合与边集合，该节点集合包括用于表示该特征图的一组节点，该边集合包括该一组节点之间存在的边，该邻接矩阵用于表示该一组节点之间是否存在边。
本发明实施例还提供了一种图卷积神经网络模型的训练装置，图9是根据本发明实施例的图卷积神经网络模型的训练装置的框图，如图9所示，包括：
第三获取模块92，用于获取训练样本图的特征图和该特征图的邻接矩阵，其中，该特征图包括节点集合与边集合，该节点集合包括用于表示该特征图的一组节点，该边集合包括该一组节点之间存在的边，该邻接矩阵用于表示该一组节点之间是否存在边；
训练模块94，用于使用该特征图的邻接矩阵对初始图卷积神经网络模型进行训练，得到目标图卷积神经网络模型；
其中，该训练模块94包括：
丢弃子模块941，用于在确定该初始图卷积神经网络模型中第l+1层图卷积神经网络的输出特征时，对该边集合中的部分边进行丢弃，得到目标边集合；
更新子模块942，用于根据该目标边集合对该邻接矩阵进行更新，得到目标邻接矩阵；
确定子模块943，用于使用该目标邻接矩阵和该初始图卷积神经网络模型中第l层图卷积神经网络的输出特征确定该第l+1层图卷积神经网络的输出特征，其中，l为自然数。
可选地，该丢弃子模块941，还用于
丢弃该边集合中预定数量或预定比例的边，得到该目标边集合。
可选地，该丢弃子模块943，包括：
第一丢弃单元，用于随机丢弃该边集合中预定数量或预定比例的边；或者，
第二丢弃单元，用于根据边所连接的两个节点的度数和丢弃该边集合中的部分边；或者，
第三丢弃单元，用于根据该边的属性丢弃该边集合中的部分边。
可选地，该第二丢弃单元，还用于
按照与每条边所连接的两个节点的度数和呈反比的概率在该边集合中确定该部分边；
丢弃该边集合中的该部分边。
可选地，该第三丢弃单元86，还用于
根据该边的属性确定丢弃概率；
根据该丢弃概率在该边集合中确定该部分边；
丢弃该边集合中的该部分边。
可选地，在使用该特征图的邻接矩阵对初始图卷积神经网络模型进行训练的过程中，确定不同层图卷积神经网络的输出特征时丢弃的该部分边都不相同、或、不都相同、或都相同。
具体的，确定第1层图卷积神经网络的输出特征、第二层图卷积神经网络的输出特征、直到第l层图卷积神经网络的输出特征时以及确定第l+1层图卷积神经网络的输出特征都不相同、或、不都相同、或都相同，即每一层采用方案可以相同也可以不同，即使采用的是相同的方案，如都采用方案一的随机丢弃该边集合中预定数量或预定比例的边，但是每层随机丢弃的边是相同的或不同的；或者每层均采用方案二中按照与每条边所连接的两个节点的度数和呈反比的概率在该边集合中确定该部分边，丢弃该边集合中的该部分边，每层中呈反比的概率在边集合中确定的边是相同的或不同的，故每层确定图卷积神经网络的输出特征时丢弃的边也是相同的或不同的。也可以是均采用上述的方案三中根据该边的属性确定丢弃概率，确定丢弃概率相同或不同，丢弃概率相同的情况下，丢弃的部分边也可以是相同的或不同的。当然也可以是确定部分层的图卷积神经网络的输出特征与其他部分层的图卷积神经网络的输出特征采用不同的方案，如，部分采用方案一或方案二确定上述边集合中丢弃的部分边，其他部分采用方案三确定边集合中丢弃的边。
可选地，在使用该特征图的邻接矩阵对初始图卷积神经网络模型进行训练的过程中，确定不同层图卷积神经网络的输出特征时用于从该边集合中确定出该部分边的方式都不相同、或不都相同、或都相同。
具体地，确定第1层图卷积神经网络的输出特征、第二层图卷积神经网络的输出特征、第l层图卷积神经网络的输出特征时以及确定第l+1层图卷积神经网络的输出特征用于从该边集合中确定出该部分边的方式不都相同、或不都相同、或都相同，即每一层采用方案可以相同也可以不同，如都采用方案一的随机丢弃该边集合中预定数量或预定比例的边，但是每层随机丢弃的边是不同的或相同的；或者每层均采用方案二中按照与每条边所连接的两个节点的度数和呈反比的概率在该边集合中确定该部分边，丢弃该边集合中的该部分边，每层中呈反比的概率在边集合中确定的边是相同的或不同的，故每层确定图卷积神经网络的输出特征时丢弃的边是相同的或不同的。当然也可以是确定部分层的图卷积神经网络的输出特征与其他部分层的图卷积神经网络的输出特征采用不同的方案，如，部分采用方案一或方案二确定上述边集合中丢弃的部分边，其他部分采用方案三确定边集合中丢弃的边等。
可选地，该确定子模块943包括：
确定单元，用于将该目标邻接矩阵和该初始图卷积神经网络模型中第l层图卷积神经网络的输出特征输入到该第l+1层图卷积神经网络，得到该第l+1层图卷积神经网络的输出特征。
可选地，该确定单元，还用于
通过以下公式确定该第l+1层图卷积神经网络的输出特征：
Adrop＝A-A′
σ为激活函数，H(l+1)为第l+1层图卷积神经网络特征，H(l)为第l层图卷积神经网络特征，Adrop为该目标邻接矩阵，A为该邻接矩阵，A'为该部分边所对应的邻接矩阵，Ddrop为该目标邻接矩阵的度矩阵，W是第l层图卷积神经网络的参数矩阵。
根据本发明实施例的又一个方面，还提供了一种用于实施上述图卷积神经网络模型的训练方法的电子装置，如图10所示，该电子装置包括存储器1002和处理器1004，该存储器1002中存储有计算机程序，该处理器1004被设置为通过计算机程序执行上述任一项方法实施例中的步骤。
可选地，在本实施例中，上述电子装置可以位于计算机网络的多个网络设备中的至少一个网络设备。
可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：
S1，获取训练样本图的特征图和该特征图的邻接矩阵，其中，该特征图包括节点集合与边集合，该节点集合包括用于表示该特征图的一组节点，该边集合包括该一组节点之间存在的边，该邻接矩阵用于表示该一组节点之间是否存在边；
S2，使用该特征图的邻接矩阵对初始图卷积神经网络模型进行训练，得到目标图卷积神经网络模型；
其中，上述步骤S2包括：
S21，在确定该初始图卷积神经网络模型中第l+1层图卷积神经网络的输出特征时，对该边集合中的部分边进行丢弃，得到目标边集合；
S22，根据该目标边集合对该邻接矩阵进行更新，得到目标邻接矩阵；
S23，使用该目标邻接矩阵和该初始图卷积神经网络模型中第l层图卷积神经网络的输出特征确定该第l+1层图卷积神经网络的输出特征，其中，l为自然数。
可选地，本领域普通技术人员可以理解，图10所示的结构仅为示意，电子装置也可以是智能手机(如Andro标识手机、iOS手机等)、平板电脑、掌上电脑以及移动互联网设备(Mobile Internet Devices，M标识)、PAD等终端设备。图10其并不对上述电子装置的结构造成限定。例如，电子装置还可包括比图10中所示更多或者更少的组件(如网络接口等)，或者具有与图10所示不同的配置。
其中，存储器1002可用于存储软件程序以及模块，如本发明实施例中的媒体资源的获取方法和装置对应的程序指令/模块，处理器1004通过运行存储在存储器1002内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的图卷积神经网络模型的训练方法。存储器1002可包括高速随机存储器，还可以包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器1002可进一步包括相对于处理器1004远程设置的存储器，这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。其中，存储器1002具体可以但不限于用于加密密钥(包括第一加密密钥、第二加密密钥等)与解密密钥(包括第一解密密钥、第二解密密钥等)等信息。作为一种示例，如图10所示，上述存储器1002中可以但不限于包括上述图卷积神经网络模型的训练装置中的第三获取模块92及训练模块94，其中，该训练模块94包括：丢弃子模块941、更新子模块942、确定子模块943。此外，还可以包括但不限于上述媒体资源获取装置一中的其他模块单元，本示例中不再赘述。
可选地，上述的传输装置1006用于经由一个网络接收或者发送数据。上述的网络具体实例可包括有线网络及无线网络。在一个实例中，传输装置1006包括一个网络适配器(Network Interface Controller，NIC)，其可通过网线与其他网络设备与路由器相连从而可与互联网或局域网进行通讯。在一个实例中，传输装置1006为射频(Radio Frequency，RF)模块，其用于通过无线方式与互联网进行通讯。
此外，上述电子装置还包括：显示器1008，用于显示上述媒体资源；和连接总线1010，用于连接上述电子装置中的各个模块部件。
根据本发明的实施例的又一方面，还提供了一种计算机可读的存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的计算机程序：
S1，获取训练样本图的特征图和该特征图的邻接矩阵，其中，该特征图包括节点集合与边集合，该节点集合包括用于表示该特征图的一组节点，该边集合包括该一组节点之间存在的边，该邻接矩阵用于表示该一组节点之间是否存在边；
S2，使用该特征图的邻接矩阵对初始图卷积神经网络模型进行训练，得到目标图卷积神经网络模型；
其中，上述步骤S2包括：
S21，在确定该初始图卷积神经网络模型中第l+1层图卷积神经网络的输出特征时，对该边集合中的部分边进行丢弃，得到目标边集合；
S22，根据该目标边集合对该邻接矩阵进行更新，得到目标邻接矩阵；
S23，使用该目标邻接矩阵和该初始图卷积神经网络模型中第l层图卷积神经网络的输出特征确定该第l+1层图卷积神经网络的输出特征，其中，l为自然数。
可选地，在本实施例中，本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器(Read-Only Memory，ROM)、随机存取器(Random Access Memory，RAM)、磁盘或光盘等。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在上述计算机可读取的存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在存储介质中，包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的客户端，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (15)
1.一种分类处理方法，其特征在于，包括：
获取目标对象的样本数据的目标特征图；
将所述目标特征图输入到预先训练好的目标图卷积神经网络模型中，得到所述目标对象的分类信息，其中，所述目标神经网络模型是使用训练样本图的特征图的邻接矩阵对初始图卷积神经网络模型进行训练得到的，所述使用所述训练样本图的特征图的邻接矩阵对初始图卷积神经网络模型进行训练包括：在确定所述初始图卷积神经网络模型中第l+1层图卷积神经网络的输出特征时，对所述边集合中的部分边进行丢弃，得到目标边集合；根据所述目标边集合对所述邻接矩阵进行更新，得到目标邻接矩阵；使用所述目标邻接矩阵和所述初始图卷积神经网络模型中第l层图卷积神经网络的输出特征确定所述第l+1层图卷积神经网络的输出特征，其中，l为自然数；所述分类信息用于指示所述目标对象的研究领域；
根据所述分类信息对所述目标对象进行分类处理。
2.根据权利要求1所述的方法，其特征在于，在使用所述训练样本图的特征图的邻接矩阵对初始图卷积神经网络模型进行训练之前，所述方法还包括：
获取所述训练样本图的特征图和所述特征图的邻接矩阵，其中，所述特征图包括节点集合与边集合，所述节点集合包括用于表示所述特征图的一组节点，所述边集合包括所述一组节点之间存在的边，所述邻接矩阵用于表示所述一组节点之间是否存在边。
3.根据权利要求1所述的方法，其特征在于，所述对所述边集合中的部分边进行丢弃，得到目标边集合，包括：
丢弃所述边集合中预定数量或预定比例的边，得到所述目标边集合。
4.根据权利要求3所述的方法，其特征在于，所述丢弃所述边集合中预定数量或预定比例的边，包括：
随机丢弃所述边集合中预定数量或预定比例的边；或者，
根据边所连接的两个节点的度数和丢弃所述边集合中的部分边；或者，
根据所述边的属性丢弃所述边集合中的部分边。
5.根据权利要求4所述的方法，其特征在于，所述根据边所连接的两个节点的度数和丢弃所述边集合中的部分边，包括：
按照与每条边所连接的两个节点的度数和呈反比的概率在所述边集合中确定所述部分边；
丢弃所述边集合中的所述部分边。
6.根据权利要求4所述的方法，其特征在于，根据所述边的属性丢弃所述边集合中的部分边包括：
根据所述边的属性确定丢弃概率；
根据所述丢弃概率在所述边集合中确定所述部分边；
丢弃所述边集合中的所述部分边。
7.根据权利要求1至6中任一项所述的方法，其特征在于，在使用所述特征图的邻接矩阵对初始图卷积神经网络模型进行训练的过程中，确定不同层图卷积神经网络的输出特征时丢弃的所述部分边都不相同、或、不都相同、或都相同。
8.根据权利要求1至6中任一项所述的方法，其特征在于，在使用所述特征图的邻接矩阵对初始图卷积神经网络模型进行训练的过程中，确定不同层图卷积神经网络的输出特征时用于从所述边集合中确定出所述部分边的方式都不相同、或不都相同、或都相同。
9.根据权利要求1至6中任一项所述的方法，其特征在于，所述使用所述目标邻接矩阵和所述初始图卷积神经网络模型中第l层图卷积神经网络的输出特征确定所述第l+1层图卷积神经网络的输出特征，包括：
将所述目标邻接矩阵和所述初始图卷积神经网络模型中第l层图卷积神经网络的输出特征输入到所述第l+1层图卷积神经网络，得到所述第l+1层图卷积神经网络的输出特征。
10.根据权利要求9所述的方法，其特征在于，所述将所述目标邻接矩阵和所述初始图卷积神经网络模型中第l层图卷积神经网络的输出特征输入到所述第l+1层图卷积神经网络，得到所述第l+1层图卷积神经网络的输出特征，包括：
通过以下公式确定所述第l+1层图卷积神经网络的输出特征：
Adrop＝A-A′
σ为激活函数，H(l+1)为第l+1层图卷积神经网络特征，H(l)为第l层图卷积神经网络特征，Adrop为所述目标邻接矩阵，A为所述邻接矩阵，A'为所述部分边所对应的邻接矩阵，Ddrop为所述目标邻接矩阵的度矩阵，W是第l层图卷积神经网络的参数矩阵。
11.一种图卷积神经网络模型的训练方法，其特征在于，包括：
获取训练样本图的特征图和所述特征图的邻接矩阵，其中，所述特征图包括节点集合与边集合，所述节点集合包括用于表示所述特征图的一组节点，所述边集合包括所述一组节点之间存在的边，所述邻接矩阵用于表示所述一组节点之间是否存在边；
使用所述特征图的邻接矩阵对初始图卷积神经网络模型进行训练，得到目标图卷积神经网络模型；
其中，所述使用所述特征图的邻接矩阵对初始图卷积神经网络模型进行训练包括：在确定所述初始图卷积神经网络模型中第l+1层图卷积神经网络的输出特征时，对所述边集合中的部分边进行丢弃，得到目标边集合；根据所述目标边集合对所述邻接矩阵进行更新，得到目标邻接矩阵；使用所述目标邻接矩阵和所述初始图卷积神经网络模型中第l层图卷积神经网络的输出特征确定所述第l+1层图卷积神经网络的输出特征，其中，l为自然数。
12.根据权利要求11所述的方法，其特征在于，所述对所述边集合中的部分边进行丢弃，得到目标边集合，包括：
丢弃所述边集合中预定数量或预定比例的边，得到所述目标边集合。
13.根据权利要求12所述的方法，其特征在于，所述丢弃所述边集合中预定数量或预定比例的边，包括：
随机丢弃所述边集合中预定数量或预定比例的边；或者，
根据边所连接的两个节点的度数和丢弃所述边集合中的部分边；或者，
根据所述边的属性丢弃所述边集合中的部分边。
14.一种分类处理装置，其特征在于，包括：
第一获取模块，用于获取目标对象的样本数据的目标特征图；
输入模块，用于将所述目标特征图输入到预先训练好的目标图卷积神经网络模型中，得到所述目标对象的分类信息，其中，所述目标神经网络模型是使用训练样本图的特征图的邻接矩阵对初始图卷积神经网络模型进行训练得到的，所述使用所述训练样本图的特征图的邻接矩阵对初始图卷积神经网络模型进行训练包括：在确定所述初始图卷积神经网络模型中第l+1层图卷积神经网络的输出特征时，对所述边集合中的部分边进行丢弃，得到目标边集合；根据所述目标边集合对所述邻接矩阵进行更新，得到目标邻接矩阵；使用所述目标邻接矩阵和所述初始图卷积神经网络模型中第l层图卷积神经网络的输出特征确定所述第l+1层图卷积神经网络的输出特征，其中，l为自然数；所述分类信息用于指示所述目标对象的研究领域；
分类处理模块，用于根据所述分类信息对所述目标对象进行分类处理。
15.一种图卷积神经网络模型的训练装置，其特征在于，包括：
第三获取模块，用于获取训练样本图的特征图和所述特征图的邻接矩阵，其中，所述特征图包括节点集合与边集合，所述节点集合包括用于表示所述特征图的一组节点，所述边集合包括所述一组节点之间存在的边，所述邻接矩阵用于表示所述一组节点之间是否存在边；
训练模块，用于使用所述特征图的邻接矩阵对初始图卷积神经网络模型进行训练，得到目标图卷积神经网络模型；
其中，所述训练模块包括：
丢弃子模块，用于在确定所述初始图卷积神经网络模型中第l+1层图卷积神经网络的输出特征时，对所述边集合中的部分边进行丢弃，得到目标边集合；
更新子模块，用于根据所述目标边集合对所述邻接矩阵进行更新，得到目标邻接矩阵；
确定子模块，用于使用所述目标邻接矩阵和所述初始图卷积神经网络模型中第l层图卷积神经网络的输出特征确定所述第l+1层图卷积神经网络的输出特征，其中，l为自然数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910900854.8A CN110674869B (zh) | 2019-09-23 | 2019-09-23 | 分类处理、图卷积神经网络模型的训练方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910900854.8A CN110674869B (zh) | 2019-09-23 | 2019-09-23 | 分类处理、图卷积神经网络模型的训练方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110674869A true CN110674869A (zh) | 2020-01-10 |
| CN110674869B CN110674869B (zh) | 2023-04-18 |
Family
ID=69078498
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910900854.8A Active CN110674869B (zh) | 2019-09-23 | 2019-09-23 | 分类处理、图卷积神经网络模型的训练方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110674869B (zh) |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111242227A (zh) * | 2020-01-16 | 2020-06-05 | 天津师范大学 | 一种基于异构深度特征的多模态地基云识别方法 |
| CN111400452A (zh) * | 2020-03-16 | 2020-07-10 | 腾讯科技（深圳）有限公司 | 文本信息分类处理方法、电子设备及计算机可读存储介质 |
| CN111581488A (zh) * | 2020-05-14 | 2020-08-25 | 上海商汤智能科技有限公司 | 一种数据处理方法及装置、电子设备和存储介质 |
| CN111626119A (zh) * | 2020-04-23 | 2020-09-04 | 北京百度网讯科技有限公司 | 目标识别模型训练方法、装置、设备以及存储介质 |
| CN111626121A (zh) * | 2020-04-24 | 2020-09-04 | 上海交通大学 | 基于视频中多层次交互推理的复杂事件识别方法及系统 |
| CN111812450A (zh) * | 2020-06-01 | 2020-10-23 | 复旦大学 | 一种电网危险故障的识别方法 |
| CN112183234A (zh) * | 2020-09-10 | 2021-01-05 | 北京华跃信息技术有限公司 | 基于图神经网络的态势感知方法及装置 |
| CN112598080A (zh) * | 2020-12-30 | 2021-04-02 | 广州大学华软软件学院 | 一种基于注意力的宽度图卷积神经网络模型及其训练方法 |
| CN112633482A (zh) * | 2020-12-30 | 2021-04-09 | 广州大学华软软件学院 | 一种高效宽度图卷积神经网络模型及其训练方法 |
| CN113132351A (zh) * | 2021-03-17 | 2021-07-16 | 中国人民解放军战略支援部队信息工程大学 | 基于图卷积网络的拟态路由器系统内部状态异常检测方法及系统 |
| CN113159156A (zh) * | 2021-04-15 | 2021-07-23 | 南通大学 | 一种用于宫颈癌数据分类的粗糙图卷积方法 |
| CN113269239A (zh) * | 2021-05-13 | 2021-08-17 | 河南大学 | 一种基于多通道卷积神经网络的关系网络节点分类方法 |
| CN115659176A (zh) * | 2022-10-14 | 2023-01-31 | 湖南大学 | 智能合约漏洞检测模型的训练方法及相关设备 |
| CN116486238A (zh) * | 2023-04-26 | 2023-07-25 | 北京卫星信息工程研究所 | 联合点集表示与图分类的目标细粒度识别方法 |
| CN117591675A (zh) * | 2024-01-19 | 2024-02-23 | 常熟理工学院 | 学术引用网络的节点分类预测方法、系统及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190095806A1 (en) * | 2017-09-28 | 2019-03-28 | Siemens Aktiengesellschaft | SGCNN: Structural Graph Convolutional Neural Network |
| CN109740785A (zh) * | 2018-10-22 | 2019-05-10 | 北京师范大学 | 基于图卷积神经网络的节点状态预测的方法 |
| CN109889436A (zh) * | 2019-02-20 | 2019-06-14 | 北京航空航天大学 | 一种社交网络中垃圾邮件发送者的发现方法 |
| CN109960755A (zh) * | 2019-02-20 | 2019-07-02 | 浙江工业大学 | 一种基于动态迭代快速梯度的用户隐私保护方法 |
-
2019
- 2019-09-23 CN CN201910900854.8A patent/CN110674869B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190095806A1 (en) * | 2017-09-28 | 2019-03-28 | Siemens Aktiengesellschaft | SGCNN: Structural Graph Convolutional Neural Network |
| CN109740785A (zh) * | 2018-10-22 | 2019-05-10 | 北京师范大学 | 基于图卷积神经网络的节点状态预测的方法 |
| CN109889436A (zh) * | 2019-02-20 | 2019-06-14 | 北京航空航天大学 | 一种社交网络中垃圾邮件发送者的发现方法 |
| CN109960755A (zh) * | 2019-02-20 | 2019-07-02 | 浙江工业大学 | 一种基于动态迭代快速梯度的用户隐私保护方法 |
Cited By (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111242227A (zh) * | 2020-01-16 | 2020-06-05 | 天津师范大学 | 一种基于异构深度特征的多模态地基云识别方法 |
| CN111242227B (zh) * | 2020-01-16 | 2023-05-23 | 天津师范大学 | 一种基于异构深度特征的多模态地基云识别方法 |
| CN111400452A (zh) * | 2020-03-16 | 2020-07-10 | 腾讯科技（深圳）有限公司 | 文本信息分类处理方法、电子设备及计算机可读存储介质 |
| CN111400452B (zh) * | 2020-03-16 | 2023-04-07 | 腾讯科技（深圳）有限公司 | 文本信息分类处理方法、电子设备及计算机可读存储介质 |
| CN111626119A (zh) * | 2020-04-23 | 2020-09-04 | 北京百度网讯科技有限公司 | 目标识别模型训练方法、装置、设备以及存储介质 |
| CN111626119B (zh) * | 2020-04-23 | 2023-09-01 | 北京百度网讯科技有限公司 | 目标识别模型训练方法、装置、设备以及存储介质 |
| CN111626121A (zh) * | 2020-04-24 | 2020-09-04 | 上海交通大学 | 基于视频中多层次交互推理的复杂事件识别方法及系统 |
| CN111626121B (zh) * | 2020-04-24 | 2022-12-20 | 上海交通大学 | 基于视频中多层次交互推理的复杂事件识别方法及系统 |
| CN111581488A (zh) * | 2020-05-14 | 2020-08-25 | 上海商汤智能科技有限公司 | 一种数据处理方法及装置、电子设备和存储介质 |
| CN111581488B (zh) * | 2020-05-14 | 2023-08-04 | 上海商汤智能科技有限公司 | 一种数据处理方法及装置、电子设备和存储介质 |
| CN111812450B (zh) * | 2020-06-01 | 2022-03-18 | 复旦大学 | 一种电网危险故障的识别方法 |
| CN111812450A (zh) * | 2020-06-01 | 2020-10-23 | 复旦大学 | 一种电网危险故障的识别方法 |
| CN112183234A (zh) * | 2020-09-10 | 2021-01-05 | 北京华跃信息技术有限公司 | 基于图神经网络的态势感知方法及装置 |
| CN112598080B (zh) * | 2020-12-30 | 2023-10-13 | 广州大学华软软件学院 | 基于注意力的宽度图卷积神经网络模型系统及训练方法 |
| CN112633482A (zh) * | 2020-12-30 | 2021-04-09 | 广州大学华软软件学院 | 一种高效宽度图卷积神经网络模型及其训练方法 |
| CN112598080A (zh) * | 2020-12-30 | 2021-04-02 | 广州大学华软软件学院 | 一种基于注意力的宽度图卷积神经网络模型及其训练方法 |
| CN112633482B (zh) * | 2020-12-30 | 2023-11-28 | 广州大学华软软件学院 | 一种高效宽度图卷积神经网络模型系统及训练方法 |
| CN113132351A (zh) * | 2021-03-17 | 2021-07-16 | 中国人民解放军战略支援部队信息工程大学 | 基于图卷积网络的拟态路由器系统内部状态异常检测方法及系统 |
| CN113159156A (zh) * | 2021-04-15 | 2021-07-23 | 南通大学 | 一种用于宫颈癌数据分类的粗糙图卷积方法 |
| CN113159156B (zh) * | 2021-04-15 | 2023-04-18 | 南通大学 | 一种用于宫颈癌数据分类的粗糙图卷积方法 |
| CN113269239A (zh) * | 2021-05-13 | 2021-08-17 | 河南大学 | 一种基于多通道卷积神经网络的关系网络节点分类方法 |
| CN113269239B (zh) * | 2021-05-13 | 2024-04-19 | 河南大学 | 一种基于多通道卷积神经网络的关系网络节点分类方法 |
| CN115659176A (zh) * | 2022-10-14 | 2023-01-31 | 湖南大学 | 智能合约漏洞检测模型的训练方法及相关设备 |
| CN116486238A (zh) * | 2023-04-26 | 2023-07-25 | 北京卫星信息工程研究所 | 联合点集表示与图分类的目标细粒度识别方法 |
| CN116486238B (zh) * | 2023-04-26 | 2023-09-15 | 北京卫星信息工程研究所 | 联合点集表示与图分类的目标细粒度识别方法 |
| CN117591675A (zh) * | 2024-01-19 | 2024-02-23 | 常熟理工学院 | 学术引用网络的节点分类预测方法、系统及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110674869B (zh) | 2023-04-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110674869B (zh) | 分类处理、图卷积神经网络模型的训练方法和装置 | |
| CN109635917B (zh) | 一种多智能体合作决策及训练方法 | |
| CN110263280B (zh) | 一种基于多视图的动态链路预测深度模型及应用 | |
| Silva et al. | Machine learning in complex networks | |
| Chen et al. | An intelligent robust networking mechanism for the Internet of Things | |
| Wieland et al. | On topology and dynamics of consensus among linear high-order agents | |
| Ghavipour et al. | Trust propagation algorithm based on learning automata for inferring local trust in online social networks | |
| CN108228728B (zh) | 一种参数化的论文网络节点表示学习方法 | |
| CN109643229A (zh) | 网络模型的应用开发方法及相关产品 | |
| CN108022171B (zh) | 一种数据处理方法及设备 | |
| CN107292097A (zh) | 基于特征组的特征选择方法、及中医主症选择方法 | |
| AU2021236553A1 (en) | Graph neural networks for datasets with heterophily | |
| CN112748941A (zh) | 基于反馈信息的目标应用程序的更新方法和装置 | |
| CN111400452A (zh) | 文本信息分类处理方法、电子设备及计算机可读存储介质 | |
| CN112862092A (zh) | 一种异构图卷积网络的训练方法、装置、设备和介质 | |
| Korycki et al. | Online oversampling for sparsely labeled imbalanced and non-stationary data streams | |
| CN115270007B (zh) | 一种基于混合图神经网络的poi推荐方法及系统 | |
| CN109743286A (zh) | 一种基于图卷积神经网络的ip类型标记方法及设备 | |
| Taghizadeh et al. | A novel graphical approach to automatic abstraction in reinforcement learning | |
| CN111461284A (zh) | 数据离散化方法、装置、设备及介质 | |
| CN114707641A (zh) | 双视角图神经网络模型的训练方法、装置、设备及介质 | |
| CN113987236A (zh) | 基于图卷积网络的视觉检索模型的无监督训练方法和装置 | |
| Muhsen et al. | Enhancing NoC-Based MPSoC performance: A predictive approach with ANN and guaranteed convergence arithmetic optimization algorithm | |
| Gao et al. | Reinforcement learning based web crawler detection for diversity and dynamics | |
| Gao et al. | Particle competition for multilayer network community detection |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40021885 Country of ref document: HK |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |