CN112529069A - 一种半监督节点分类方法、系统、计算机设备和存储介质 - Google Patents
一种半监督节点分类方法、系统、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN112529069A CN112529069A CN202011424450.5A CN202011424450A CN112529069A CN 112529069 A CN112529069 A CN 112529069A CN 202011424450 A CN202011424450 A CN 202011424450A CN 112529069 A CN112529069 A CN 112529069A
- Authority
- CN
- China
- Prior art keywords
- classification
- semi
- supervised
- graph
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000012549 training Methods 0.000 claims abstract description 48
- 238000011176 pooling Methods 0.000 claims abstract description 38
- 238000004364 calculation method Methods 0.000 claims abstract description 12
- 239000011159 matrix material Substances 0.000 claims description 73
- 230000004927 fusion Effects 0.000 claims description 42
- 238000013145 classification model Methods 0.000 claims description 31
- 230000006870 function Effects 0.000 claims description 19
- 238000004590 computer program Methods 0.000 claims description 15
- 230000004913 activation Effects 0.000 claims description 14
- 238000012795 verification Methods 0.000 claims description 14
- 238000012360 testing method Methods 0.000 claims description 12
- 230000001186 cumulative effect Effects 0.000 claims description 5
- 210000002569 neuron Anatomy 0.000 abstract description 8
- 238000010586 diagram Methods 0.000 description 8
- 241000689227 Cora <basidiomycete fungus> Species 0.000 description 7
- LMXHFXAFDMNKIM-UHFFFAOYSA-N 1-(2-hydroxyethyl)-5-nitropyrrole-2-carbonitrile Chemical compound OCCN1C(C#N)=CC=C1[N+]([O-])=O LMXHFXAFDMNKIM-UHFFFAOYSA-N 0.000 description 6
- 101800001941 Hippocampal cholinergic neurostimulating peptide Proteins 0.000 description 6
- 102100025391 Pre-mRNA-splicing factor SYF1 Human genes 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24133—Distances to prototypes
- G06F18/24137—Distances to cluster centroïds
- G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供了一种半监督节点分类方法、系统、计算机设备和存储介质，所述方法包括获取半监督分类数据集；根据所述半监督分类数据集构建数据图网络；根据所述数据图网络建立多规模邻域池化的高阶图卷积网络模型；根据所述半监督分类数据集对所述多规模邻域池化的高阶图卷积网络模型进行半监督节点分类训练，得到分类结果。本发明实施例在半监督节点分类时，既能同时捕捉不同阶邻域节点间的相互关系，并将其混合保留更多更丰富的特征信息，进而扩宽感受野和提高模型的表达能力，又通过设置不同阶图卷积间权重共享及选用较少隐藏神经元数目，减少了模型的计算复杂度和参数量，进而提高了模型的分类效率和分类精度。
Description
技术领域
本发明涉及数据信息处理技术领域，特别是涉及一种基于多规模邻域池化的高阶图卷积网络的半监督节点分类方法、系统、计算机设备和存储介质。
背景技术
现有的数据分类方法通常分为全监督分类、半监督分类和无监督分类三种，其中全监督分类要求数据全部标记应用场景受限，无监督分类虽然对数据标记无要求但其分类效果不好，因此，对数据的标记要求低和分类效果好的半监督分类得到了应用广泛。随后，由于深度机器学习技术的不断提升，半监督分类的方法也逐渐得到改进，基于图的半监督数据分类方法因其能够很好利用数据样本之间关系提升分类效果而备受关注，比如学者们通过堆叠两层的一阶图卷积或者构建多层的图卷积网络模型去学习图的表示。然而，经典的基于图卷积网络(GCNs)的半监督分类要么因其对数据的特征表达不够准确，不能很好地反映分类数据的实际情况而导致分类精度较低，要么由于模型复杂、参数过多造成分类效率太低，要么浅层模型机制了模型的感受野和表达能力。
因此，研究如何在提升基于图卷积网络的半监督分类中数据特征表达正确性的同时，有效降低网络模型的复杂程度和参数量，进而提高半监督分类模型的表达能力和分类精度是有重要意义的。
发明内容
本发明的目的是为了解决目前基于图卷积网络的半监督分类中因数据特征表达不准确导致分类精度低，及分类模型的复杂度、参数量与模型的表达能力不能很好平衡的问题，进而提升分类模型的感受野、表达能力及分类精度。
为了实现上述目的，有必要针对上述技术问题，提供了一种半监督节点分类方法、系统、计算机设备和存储介质。
第一方面，本发明实施例提供了一种半监督节点分类方法，所述方法包括以下步骤：
获取半监督分类数据集；所述半监督分类数据集包括文章、特征词和分类标签；
根据所述半监督分类数据集构建数据图网络；
根据所述数据图网络建立多规模邻域池化的高阶图卷积网络模型；所述多规模邻域池化的高阶图卷积网络模型依次包括输入层、高阶图卷积层、信息融合层、一阶图卷积层和输出层；
根据所述半监督分类数据集对所述多规模邻域池化的高阶图卷积网络模型进行半监督节点分类训练，得到分类结果。
进一步地，所述高阶图卷积包括基于权重共享的一阶图卷积到p阶图卷积。
进一步地，所述高阶图卷积层、信息融合层和一阶图卷积层均为1个，多规模邻域池化的高阶图卷积网络模型的输出为YHCNP，则：
其中X是图的输入矩阵，w1是输入层到隐藏层之间的参数矩阵，w2是隐藏层到输出层之间的参数矩阵，
是图的含自连接的正则化邻接矩阵，p是图卷积的最高阶数，
σ(·)为激活函数，MNPooling(·)为信息融合层，softmax(·)为多分类输出函数。
进一步地，所述激活函数可以为ReLU(·)非线性激活函数。
进一步地，所述信息融合层包括最大值信息融合层MNPoolingmax、均值信息融合层MNPoolingavg和累计信息融合层MNPoolingsum，三种信息融合层的计算公式分别为：
其中，H1p＝σ(MNPooling(H1,H2,...,Hp))，
为图卷积阶数，i表示第i个隐藏层，H(i)为隐藏特征矩阵，W(i)为参数矩阵，
为正则化邻接矩阵。
进一步地，所述根据所述半监督分类数据集构建数据图网络的步骤包括：
根据所述半监督分类数据集中的文章和文章之间的引用关系构建数据图；所述数据图的顶点为文章，边为文章之间的引用；
根据所述数据图的顶点和特征词进行稀疏编码，得到所述数据图的特征矩阵；
根据所述数据图的边的权重创建数据图的正则化邻接矩阵。
进一步地，所述根据所述半监督分类数据集对所述多规模邻域池化的高阶图卷积网络模型进行半监督节点分类训练，得到分类结果的步骤包括：
将所述半监督分类数据集划分为训练集、验证集和测试集，并初始化所述多规模邻域池化的高阶图卷积网络模型的参数矩阵；
将所述训练集的数据图的特征矩阵和正则化邻接矩阵输入所述多规模邻域池化的高阶图卷积网络模型进行训练，得到第一分类模型；
将所述验证集的数据图的特征矩阵和正则化邻接矩阵输入所述第一分类模型进行验证，更新所述第一分类模型的参数矩阵，得到第二分类模型；
将所述测试集的数据图的特征矩阵和正则化邻接矩阵输入所述第二分类模型，得到分类结果。
第二方面，本发明实施例提供了一种半监督节点分类系统，所述系统包括：
获取基准数据模块，用于获取半监督分类数据集；所述半监督分类数据集包括文章、特征词和分类标签；
构建数据图网络模块，用于根据所述半监督分类数据集构建数据图网络；
建立分类模型模块，用于根据所述数据图网络建立多规模邻域池化的高阶图卷积网络模型；所述多规模邻域池化的高阶图卷积网络模型依次包括输入层、高阶图卷积层、信息融合层、一阶图卷积层和输出层；
模型训练分类模块，用于根据所述半监督分类数据集对所述多规模邻域池化的高阶图卷积网络模型进行半监督节点分类训练，得到分类结果。
第三方面，本发明实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述方法的步骤。
上述本申请提供了一种半监督节点分类方法、系统、计算机设备和存储介质，通过所述方法，实现了根据半监督分类基准数据建立数据图，通过对数据图的顶点和特征词进行稀疏编码，及根据数据图边的权重分别得到数据图的特征矩阵和正则化邻接矩阵，再根据基准数据对应的数据图创建包括输入层、1个高阶图卷积层、1个MNPooling信息融合层、1个一阶图卷积层，以及softmax函数输出层的多规模邻域池化的高阶图卷积网络模型，并对其进行半监督分类训练得到精准分类的效果。与现有技术相比，该方法在半监督节点分类的应用上，通过同时捕捉节点的多阶邻域信息和混合不同阶图卷积的变化领域节点信息的方法分别解决了目前图卷积网络应用于半监督分类时出现的数据特征表达不够准确、计算复杂、参数量大和限制模型感受野的问题，进一步扩宽了基于经典图卷积网络的半监督分类模型的感受野，提升了模型的表达能力、分类效率和分类精度。
附图说明
图1是本发明实施例中半监督节点分类方法的流程示意图；
图2是图1中多规模邻域池化的高阶图卷积网络模型结构示意图；
图3是图1中步骤S12的根据基准数据构建数据图网络的流程示意图；
图4是图1中步骤S14根据半监督分类数据集对多规模邻域池化高阶图卷积网络模型进行半监督节点分类训练，得到分类结果的流程示意图；
图5是本发明实例中基于Cora、Citeseer和Pubmed数据集使用不同神经元数目的HCNPmax-2模型分类精度示意图；
图6是本发明实施例中半监督节点分类系统的结构示意图；
图7是本发明实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案和有益效果更加清楚明白，下面结合附图及实施例，对本发明作进一步详细说明，显然，以下所描述的实施例是本发明实施例的一部分，仅用于说明本发明，但不用来限制本发明的范围。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供的数据分类方法，可以应用于终端或服务器上，其所采用的多规模邻域池化的高阶图卷积网络模型(HCNP)是对现有半监督图卷积网络模型的改进，还可以完成其他类似的半监督分类任务，本申请选用半监督分类的经典数据集进行训练分类，可以方便比对分类的各方面效果。
在一个实施例中，如图1所示，提供了一种半监督节点分类方法方法，包括以下步骤：
S11、获取半监督分类数据集；所述半监督分类数据集包括文章、特征词和分类标签；
其中，半监督分类数据集可以根据实际分类需求选用，只要收集的数据集满足包含图拓扑结构即节点间的关系能用图拓扑结构中的边表示，且数据集包括已标记数据和未标记数据两部分，其标已标记数据包含类别信息作为标签，未标记数据不包含类别信息和标签的条件，并希望利用已有的一些标记数据结合大多数的未标记数据进行预测就可以使用本申请中的半监督节点分类方法进行分类训练。本实施例中为了保证训练的效率和普适性，选用了已经预处理过的经典的半监督分类数据集Cora、Citeseer和Pubmed作为半监督节点分类训练的基准数据集，而避免了对数据集进行特征词提取和无效数据过滤等预处理的步骤，若应用于其他数据集的半监督分类训练时只需要对搜集的数据集进行上述相关的预处理即可采用本实施例的半监督节点分类方法进行预测。
S12、根据所述半监督分类数据集构建数据图网络；
其中，数据图网络包括半监督分类数据集对应的数据图，数据图的特征矩阵及邻接矩阵。其如图2所示的根据半监督分类数据集构建数据图网络的步骤S12包括：
S121、根据所述半监督分类数据集中的文章和文章之间的引用关系构建数据图；所述数据图的顶点为文章，边为文章之间的引用；
其中，半监督分类数据集以Citeseer数据集为例，它是一个使用Citeseer数据库构建的论文引用说明的数据集。在构建对应的数据图时，数据集中的所有论文都是数据图的顶点集，每两篇论文之间的引用关系就是数据图中对应的边集。
S122、根据所述数据图的顶点和特征词进行稀疏编码，得到所述数据图的特征矩阵；
其中，数据图的特征矩阵是后续使用分类模型训练的关键输入，其矩阵元素值的确定方法也可因为具体模型的使用需求而异。本实施例中采用顶点和特征词进行编码的方法确定元素值，如Citeseer数据集中包括3327篇计算机领域的论文，将每篇论文出现个数少于指定次数的单词剔除后得到3703个独立的特证词，则在进行稀疏编码时，节点总数为3327，每个节点有3707维特征，对应的特征值就是每个特征词在每个论文节点中出现的二进制值(即，出现为1，不出现为0)，可得对应的数据图的特征矩阵X∈R3327×3703。
S123、根据所述数据图的边的权重创建数据图的正则化邻接矩阵。
其中，数据图中的两个顶点(节点)之间的边(引用)表示从一篇文章到另一篇文章的引用，如果两篇文章存在引用，则两个节点之间有边相连，且权值为1，反之，则两个顶点(节点)之间不相连，两个节点之间的权值为0。按照上述的方法依次计算即可得到数据图的正则化邻接矩阵，如Citeseer数据集中包括3327篇计算机领域的论文，针对每个顶点(节点)建立一个边，即可得正则化邻居矩阵
S13、根据所述数据图网络建立多规模邻域池化的高阶图卷积网络模型；所述多规模邻域池化的高阶图卷积网络模型依次包括输入层、高阶图卷积层、信息融合层、一阶图卷积层和输出层；
其中，多规模邻域池化的高阶图卷积网络模型中的高阶图卷积层、信息融合层和一阶图卷积层均为1个。设多规模邻域池化的高阶图卷积网络模型的输出为YHCNP，则：
其中X是图的输入矩阵，w1是输入层到隐藏层之间的参数矩阵，w2是隐藏层到输出层之间的参数矩阵，
是图的含自连接的正则化邻接矩阵，p是图卷积的最高阶数，
σ(·)为激活函数，MNPooling(·)为信息融合层，softmax(·)为多分类输出函数，具体的模型结构如图3所示。
本实施例中的高阶图卷积包括基于权重共享的一阶图卷积到p阶图卷积，可表示为
该高阶图卷积通过一阶图卷积
捕捉节点的一阶邻域信息，通过二阶到p阶图卷积
捕捉节点的高阶邻域信息，从而增大了模型的感受野，进而增强了模型的学习能力。其中，高阶图卷积层的阶数p可以为二阶、三阶或三阶以上阶数中的一种，或者任意复数种阶数的组合。当p＝2时，即采用的模型为1阶和2阶邻域混合的HCNP-2模型，公式如下：
当p＝3时，即采用的模型为1阶、2阶和3阶邻域混合的HCNP-3模型，公式如下：
当p＝n时，即采用的模型为1阶到n阶邻域混合的HCNP-n模型，公式如下：
在上述模型中同一图卷积层的各阶邻域均采用相同权重参数，来实现权重共享和降低参数量，具体体现在公式(1)－(4)中参数w1和w2的选择。
在实际应用于大规模的半监督图网络训练时，需要先计算出
由于
通常是一个具有m个非零元素的稀疏矩阵，且基于高阶图卷积采用权重共享机制，采用从右到左的乘法来计算
如，当p＝2，用
相乘来求
同理，
依此类推通过
左乘p-1阶图卷积来计算p阶图卷积，即
这一计算方法有效的降低了计算复杂度。假设
(n个节点)，
(c0个属性特征维度)，
(c1个滤波器)，和
(c2个滤波器)，则
则该高阶图卷积模型的时间复杂度分别为O(p×m×c0×c1)。
优选地，所述激活函数可以为ReLU(·)非线性激活函数。
其中，ReLU激活函数是用来进行非线性处理的。由于线性模型的表达力不够，且有些数据特征不一定是线性可分的，为了解决这一问题就在信息融合层之后采用激活函数进行处理，常用的非线性激活函数包括sigmoid、tanh和ReLU、ElU、PReLU等，上述激活函数都可使用，但各有优劣，而本实施例中采用神经网络中用的最多的ReLU函数，它的公式定义如下：
f(x)＝max(0,x),
即，保留大于等于0的值，其余所有小于0的数值直接改写为0。由于特征值越靠近1表示与该特征关联度越强，越靠近－1表示关联度越弱，通过这种方法对卷积后产生的特征图中的值进行映射，就可以在特征提取时直接舍弃掉那些不相关联的数据，操作更方便。
优选地，所述MNPooling信息融合层包括最大值信息融合层MNPoolingmax、均值信息融合层MNPoolingavg和累计信息融合层MNPoolingsum，三种信息融合的计算公式分别为(5)－(7)所示，这种定义方式为对应空间位置节点的信息融合，保留了网络的空间信息。
其中，H1p＝σ(MNPooling(H1,H2,...,Hp))，
k为图卷积阶数，i表示第i个隐藏层，H(i)为隐藏特征矩阵(即为第i层的运算结果，第i+1层输入的特征矩阵，若i＝1，H(i)＝H(1)＝X就是输入模型的特征矩阵；i＝2，H(2)是第一层的输出，第二层的输入特征矩阵，其他类似)，W(i)为参数矩阵，
为正则化邻接矩阵。
以一个具体的三阶实例来说明这三种信息融合方式，高阶的情况类似。假设邻域的阶数p＝3，其一阶邻域为H1，二阶邻域为H2，三阶邻域为H3，MNPooling信息融合的过程为：
最大值信息融合
均值信息融合
累计信息融合
由于多规模邻域池化保留了图的拓扑结构，所有信息融合方案都是以元素为单位计算的，且不同阶图卷积采用权重共享机制，那么高阶图卷积的参数量和一阶图卷积的参数量是相同的，假设
(n个节点)，
(c0个属性特征维度)，
(c1个滤波器)，和
(c2个滤波器)，则
该高阶图卷积模型的参数量分别为O(c0×c1)，在一定程度上保证了高阶图卷积计算的高效性。
本实施例基于MNPooling的高低阶图卷积算法实现过程如下：
输入：
卷积运算：
信息融合：H1p＝MNPooling(H1,H2,…,Hp)，
非线性激活：H＝σ(H1p)。
本实施例中数据图网络先输入到高阶图卷积进行上述的算法处理，再使用MNPooling信息融合来混合不同邻域的一阶到高阶特征，经过非线性激活后输入到经典的一阶图卷积进一步学习半监督节点任务的表示，最终得到分类概率结果的方法，能够在学习过程中保留更多更丰富的特征信息进行全局图拓扑的学习，进而很好地提升学习的效果。
S14、根据所述半监督分类数据集对所述多规模邻域池化的高阶图卷积网络模型进行半监督节点分类训练，得到分类结果。
其中，如图4所示，根据所述半监督分类数据集对所述多规模邻域池化的高阶图卷积网络模型进行半监督节点分类训练，得到分类结果S14包括：
S141、将所述半监督分类数据集划分为训练集、验证集和测试集，并初始化所述多规模邻域池化的高阶图卷积网络模型的参数矩阵；
其中，半监督分类数据集划分为训练集、验证集和测试集是机器训练必做的处理，本实施例中对于数据集Cora、Citeseer、Pubmed数据的划分采用经典数据集的划分方式，如下表1所示：
表1半监督分类经典数据集信息表
| 数据集 | Cora | Citesser | Pubmed |
| 节点数 | 2708 | 3327 | 19717 |
| 边数 | 5429 | 4732 | 44338 |
| 特征词 | 1433 | 3703 | 500 |
| 分类数 | 7 | 6 | 3 |
| 训练节点 | 140 | 120 | 60 |
| 验证节点 | 500 | 500 | 500 |
| 测试节点 | 1000 | 1000 | 1000 |
| 标签率 | 0.052 | 0.036 | 0.003 |
其中每一个数据都分为训练集、验证集和测试集三类，三类数据集中都是既包含有标记数据也包含未标记数据。半监督分类模型中的参数矩阵在最开始训练采用的是随机赋值初始化，使用训练集对半监督分类模型的参数矩阵进行训练，验证集用于对训练得到参数矩阵进行进一步的修正，测试集用于模型的分类测试。
S142、将所述训练集的文本图的图矩阵和正则化邻接矩阵输入所述多规模邻域池化的高阶图卷积网络模型进行训练，得到第一分类模型；
其中，多规模邻域池化的高阶图卷积网络模型进行半监督分类训练时，采用将训练集的数据图的特征矩阵、正则化邻接矩阵和初始化的参数矩阵作为模型的输入，经过正向传播得到分类结果，再通过损失函数计算交叉商使用反向传播更新参数矩阵的梯度下降算法进行训练，确定参数矩阵得到第一分类模型。
本实施例中，模型训练使用的损失函数为：
xl为带有标签的顶点(节点)的集合，M是类的数目，Ylm表示标签节点的实标签，Zlm并表示softmax(输入标签节点)预测的0到1之间的概率值。
S143、将所述验证集的数据图的特征矩阵和正则化邻接矩阵输入所述第一分类模型进行验证，更新所述第一分类模型的参数矩阵，得到第二分类模型；
其中，采用验证集对第一分类模型验证，即使用验证集的数据传入第一分类模型进行如上所述的训练，对第一分类模型中的参数矩阵进一步修正，以避免模型训练的过拟合，保证其泛化能力。
S144、将所述测试集的数据图的特征矩阵和正则化邻接矩阵输入所述第二分类模型，得到分类结果。
本申请实施例中，首先，在半监督分类模型训练时采用半监督分类的经典数据集进行参数训练，且由于该数据集已进行过预处理不具有重复数据，既满足模型的泛化需求，又在一定程度上能够减少模型训练的工作量，提高模型训练的效率；其次，基于权重共享和多邻域融合机制创建了只有两层图卷积的多规模邻域池化的高阶图卷积网络模型，在降低模型的复杂程度和减少训练参数的同时，还减少了训练模型的过平滑现象，扩宽了模型的感受野，从而提高了半监督分类模型的普适性、分类效率及精度。
下面给出本申请实例中HCNP-2、HCNP-3和现有经典图卷积模型基于半监督数据集Cora、Citesser和Pubmed的进行半监督分类测试的分类精度、模型参数及计算复杂度的比对结果，如下表2－4所示：
表2 HCNP-2、HCNP-3与现有模型基于相同经典数据集的分类精度比对表
| 模型 | Citeseer | Pubmed | Cora |
| SemiEmb | 59.6 | 71.1 | 59.0 |
| DeepWalk | 43.2 | 65.3 | 67.2 |
| Planetoid | 64.7 | 77.2 | 75.7 |
| DCNN | 69.4±1.3 | 76.8±0.8 | 79.7±0.8 |
| ChebyShev | 70.1±0.8 | 69.8±1.1 | 78.0±1.2 |
| GCNs | 70.3 | 79.0 | 81.5 |
| HANet | 70.1 | 79.3 | 81.9 |
| LNet | 66.2±1.9 | 78.3±0.3 | 79.5±1.8 |
| AdaLNet | 68.7±1.0 | 78.1±0.4 | 80.4±1.1 |
| SGC | 71.9±0.1 | 78.9±0.0 | 81.0±0.0 |
| MixHop | 71.4±0.81 | 80.0±1.10 | 81.8±0.62 |
| MixHop-learn | 71.4±0.81 | 80.8±0.58 | 81.9±0.40 |
| HCNP<sub>max</sub>-2(ours) | 71.7±0.40 | 79.3±0.23 | 82.5±0.23 |
| HCNP<sub>max</sub>-3(ours) | 72.2±0.41 | 79.4±0.20 | 82.9±0.21 |
| HCNP<sub>avg</sub>-2(ours) | 71.8±0.48 | 79.7±0.32 | 82.8±0.50 |
| HCNP<sub>avg</sub>-3(ours) | 71.7±0.26 | 79.5±0.26 | 82.8±0.37 |
| HCNP<sub>sum</sub>-2(ours) | 71.4±0.23 | 79.3±0.21 | 82.7±0.22 |
| HCNP<sub>sum</sub>-3(ours) | 71.0±0.48 | 79.2±0.11 | 82.6±0.43 |
表2说明：表中的准确率以百分比表示，且该数字是10次运行的平均值；
HCNPmax-2、HCNPavg-2、HCNPsum-2分别表示2阶的最大值融合、平均值融合、累计融合的HCNP模型；HCNPmax-3、HCNPavg-3、HCNPsum-3分别表示3阶的最大值融合、平均值融合、累计融合的HCNP模型；
表3不同信息融合的HCNP-2、HCNP-3与其他模型的计算复杂度和参数值对比表
表3说明：1、2和3表示图卷积的阶数，8、10、12、14、16、20表示隐藏神经元的数目。HCNPmax-2、HCNPavg-2、HCNPsum-2、HCNPmax-3、HCNPavg-3、HCNPsum-3代表的模型同上。
此外，本申请实例中还进一步研究了隐藏神经元数目对分类精度的影响，上述表3中涉及的多规模邻域池化的高阶图卷积网络模型都有验证，且结果相似。下面仅以HCNPmax-2模型举例说明，在HCNPmax-2模型上使用一组具有代表性的隐藏神经元数目基于数据集Citeseer，Pubmed和Cora进行了许多实验，研究发现使用不同的隐藏神经元数目的模型分类精度只是略有不同，具体表现如图5所示。因此，在具体的半监督节点分类应用中可以通过使用较少的隐藏元数目来降低模型的复杂性和参数量而不影响分类精度。
基于上述实验结果可知，本实施例提出的一种包括能同时捕获低阶和高阶邻域节点之间的相互关系的高阶图卷积，和能混合不同邻域的一阶到高阶特征的MNPooling信息融合层的多规模邻域池化的高阶图卷积网络模型(HCNP)，可在半监督节点分类中保留更多更丰富的特征信息，学习全局图拓扑，不仅扩宽了感受野，也提高了模型表达能力。此外，与采用现有的经典图卷积网络进行半监督节点分类相比，由于其设置了不同阶图卷积间权重共享和选用较少数目的隐藏神经元在不降低分类精度的基础上减少了计算复杂度和参数量，也避免了模型的过拟合，其在分类精度、分类性能和参数方面都有着明显优势。
需要说明的是，虽然上述流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，上述流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图6所示，提供了一种半监督节点分类系统，所述系统包括：
获取基准数据模块61，用于获取半监督分类数据集；所述半监督分类数据集包括文章、特征词和分类标签；
构建数据图网络模块62，用于根据所述半监督分类数据集构建数据图网络；
建立分类模型模块63，用于根据所述数据图网络建立多规模邻域池化的高阶图卷积网络模型；所述多规模邻域池化的高阶图卷积网络模型依次包括输入层、高阶图卷积层、信息融合层、一阶图卷积层和输出层；
模型训练分类模块64，用于根据所述半监督分类数据集对所述多规模邻域池化的高阶图卷积网络模型进行半监督节点分类训练，得到分类结果。
关于半监督节点分类系统的具体限定可以参见上文中对于半监督节点分类方法的限定，在此不再赘述。上述半监督节点分类系统中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
图7示出一个实施例中计算机设备的内部结构图，该计算机设备具体可以是终端或服务器。如图7所示，该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示器和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种电价概率预测方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域普通技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算设备可以包括比途中所示更多或更少的部件，或者组合某些部件，或者具有同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述方法的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述方法的步骤。
综上，本发明实施例提供的一种半监督节点分类方法、系统、计算机设备和存储介质，其基于多规模邻域池化的高阶图卷积网络模型的半监督节点分类方法在充分考虑半监督节点分类中数据特征表达不够准确，模型感受野窄、模型表达能力欠缺、和分类精度低等多方面问题的基础上，提出了一种采用包括同时捕捉节点多阶邻域信息的高阶图卷积层、混合多阶邻域信息保留丰富特征的MNPooling信息融合层、一阶图卷积层及softmax分类输出层的多规模邻域池化的高阶图卷积网络模型，及其对应的半监督节点分类方法。该方法应用于实际的半监督节点分类时，既能同时捕捉不同阶邻域节点间的相互关系，并将其混合保留更多更丰富的特征信息，进而扩宽感受野和提高模型的表达能力，又通过设置不同阶图卷积间权重共享及选用较少隐藏神经元数目，减少了模型的计算复杂度和参数量，进而提高了模型的分类效率和分类精度。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。
本说明书中的各个实施例均采用递进的方式描述，各个实施例直接相同或相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统、计算机设备和存储介质的实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。需要说明的是，上述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种优选实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和替换，这些改进和替换也应视为本申请的保护范围。因此，本申请专利的保护范围应以所述权利要求的保护范围为准。
Claims (10)
1.一种半监督节点分类方法，其特征在于，所述方法包括以下步骤：
获取半监督分类数据集；所述半监督分类数据集包括文章、特征词和分类标签；
根据所述半监督分类数据集构建数据图网络；
根据所述数据图网络建立多规模邻域池化的高阶图卷积网络模型；所述多规模邻域池化的高阶图卷积网络模型依次包括输入层、高阶图卷积层、信息融合层、一阶图卷积层和输出层；
根据所述半监督分类数据集对所述多规模邻域池化的高阶图卷积网络模型进行半监督节点分类训练，得到分类结果。
2.如权利要求1所述的半监督节点分类方法，其特征在于，所述高阶图卷积包括基于权重共享的一阶图卷积到p阶图卷积。
3.如权利要求2所述的半监督节点分类方法，其特征在于，所述高阶图卷积层、信息融合层和一阶图卷积层均为1个，多规模邻域池化的高阶图卷积网络模型的输出为YHCNP，则：
其中X是图的输入矩阵，w1和w2分别是输入层到隐藏层之间的参数矩阵和隐藏层到输出层之间的参数矩阵，
是图的含自连接的正则化邻接矩阵，p是图卷积的最高阶数，
σ(·)为激活函数，MNPooling(·)为信息融合层，softmax(·)为多分类输出函数。
4.如权利要求3所述的半监督节点分类方法，其特征在于，所述激活函数可以为ReLU(·)非线性激活函数。
5.如权利要求3所述的半监督节点分类方法，其特征在于，所述信息融合层包括最大值信息融合层MNPoolingmax、均值信息融合层MNPoolingavg和累计信息融合层MNPoolingsum，三种信息融合层计算公式分别为：
其中，
为图卷积阶数，i表示第i个隐藏层，H(i)为隐藏特征矩阵，W(i)为参数矩阵，
为正则化邻接矩阵。
6.如权利要求1所述的半监督节点分类方法，其特征在于，所述根据所述半监督分类数据集构建数据图网络的步骤包括：
根据所述半监督分类数据集中的文章和文章之间的引用关系构建数据图；所述数据图的顶点为文章，边为文章之间的引用；
根据所述数据图的顶点和特征词进行稀疏编码，得到所述数据图的特征矩阵；
根据所述数据图的边的权重创建数据图的正则化邻接矩阵。
7.如权利要求1所述的半监督节点分类方法，其特征在于，所述根据所述半监督分类数据集对所述多规模邻域池化的高阶图卷积网络模型进行半监督节点分类训练，得到分类结果的步骤包括：
将所述半监督分类数据集划分为训练集、验证集和测试集，并初始化所述多规模邻域池化的高阶图卷积网络模型的参数矩阵；
将所述训练集的数据图的特征矩阵和正则化邻接矩阵输入所述多规模邻域池化的高阶图卷积网络模型进行训练，得到第一分类模型；
将所述验证集的数据图的特征矩阵和正则化邻接矩阵输入所述第一分类模型进行验证，更新所述第一分类模型的参数矩阵，得到第二分类模型；
将所述测试集的数据图的特征矩阵和正则化邻接矩阵输入所述第二分类模型，得到分类结果。
8.一种半监督节点分类系统，其特征在于，所述系统包括：
获取基准数据模块，用于获取半监督分类数据集；所述半监督分类数据集包括文章、特征词和分类标签；
构建数据图网络模块，用于根据所述半监督分类数据集构建数据图网络；
建立分类模型模块，用于根据所述数据图网络建立多规模邻域池化的高阶图卷积网络模型；所述多规模邻域池化的高阶图卷积网络模型依次包括输入层、高阶图卷积层、信息融合层、一阶图卷积层和输出层；
模型训练分类模块，用于根据所述半监督分类数据集对所述多规模邻域池化的高阶图卷积网络模型进行半监督节点分类训练，得到分类结果。
9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011424450.5A CN112529069B (zh) | 2020-12-08 | 2020-12-08 | 一种半监督节点分类方法、系统、计算机设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011424450.5A CN112529069B (zh) | 2020-12-08 | 2020-12-08 | 一种半监督节点分类方法、系统、计算机设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112529069A true CN112529069A (zh) | 2021-03-19 |
| CN112529069B CN112529069B (zh) | 2023-10-13 |
Family
ID=74998306
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011424450.5A Active CN112529069B (zh) | 2020-12-08 | 2020-12-08 | 一种半监督节点分类方法、系统、计算机设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112529069B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112990364A (zh) * | 2021-04-22 | 2021-06-18 | 中国人民解放军军事科学院国防科技创新研究院 | 一种图数据节点分类方法及装置 |
| CN114169466A (zh) * | 2021-12-24 | 2022-03-11 | 马上消费金融股份有限公司 | 图数据处理、文章分类、流量预测方法、装置、设备及存储介质 |
| CN114827353A (zh) * | 2022-04-15 | 2022-07-29 | 中国电信股份有限公司 | 通信网络通话预测方法、装置、设备及存储介质 |
| CN114842247A (zh) * | 2022-04-19 | 2022-08-02 | 西北大学 | 基于特征累加的图卷积网络半监督节点分类方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109977232A (zh) * | 2019-03-06 | 2019-07-05 | 中南大学 | 一种基于力导图的图神经网络可视分析方法 |
| US20200134362A1 (en) * | 2017-06-28 | 2020-04-30 | Zhejiang University | System and method of connection information regularization, graph feature extraction and graph classification based on adjacency matrix |
| CN111401514A (zh) * | 2020-02-13 | 2020-07-10 | 山东师范大学 | 基于改进图卷积网络的半监督符号网络嵌入方法及系统 |
| CN111552803A (zh) * | 2020-04-08 | 2020-08-18 | 西安工程大学 | 一种基于图小波网络模型的文本分类方法 |
-
2020
- 2020-12-08 CN CN202011424450.5A patent/CN112529069B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200134362A1 (en) * | 2017-06-28 | 2020-04-30 | Zhejiang University | System and method of connection information regularization, graph feature extraction and graph classification based on adjacency matrix |
| CN109977232A (zh) * | 2019-03-06 | 2019-07-05 | 中南大学 | 一种基于力导图的图神经网络可视分析方法 |
| CN111401514A (zh) * | 2020-02-13 | 2020-07-10 | 山东师范大学 | 基于改进图卷积网络的半监督符号网络嵌入方法及系统 |
| CN111552803A (zh) * | 2020-04-08 | 2020-08-18 | 西安工程大学 | 一种基于图小波网络模型的文本分类方法 |
Non-Patent Citations (2)
| Title |
|---|
| DAMLA ARIFOGLU等: "Detecting indicators of cognitive impairment via Graph Convolutional Networks", 《ELSEVIER SCIENCE》, pages 1 - 10 * |
| 张桐: "基于时空神经网络的动态情感识别研究", 《万方数据知识服务平台学位论文库》, pages 1 - 118 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112990364A (zh) * | 2021-04-22 | 2021-06-18 | 中国人民解放军军事科学院国防科技创新研究院 | 一种图数据节点分类方法及装置 |
| CN112990364B (zh) * | 2021-04-22 | 2021-08-03 | 中国人民解放军军事科学院国防科技创新研究院 | 一种图数据节点分类方法及装置 |
| CN114169466A (zh) * | 2021-12-24 | 2022-03-11 | 马上消费金融股份有限公司 | 图数据处理、文章分类、流量预测方法、装置、设备及存储介质 |
| CN114827353A (zh) * | 2022-04-15 | 2022-07-29 | 中国电信股份有限公司 | 通信网络通话预测方法、装置、设备及存储介质 |
| CN114827353B (zh) * | 2022-04-15 | 2023-10-10 | 中国电信股份有限公司 | 通信网络通话预测方法、装置、设备及存储介质 |
| CN114842247A (zh) * | 2022-04-19 | 2022-08-02 | 西北大学 | 基于特征累加的图卷积网络半监督节点分类方法 |
| CN114842247B (zh) * | 2022-04-19 | 2024-02-27 | 西北大学 | 基于特征累加的图卷积网络半监督节点分类方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112529069B (zh) | 2023-10-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Tkachenko et al. | Model and principles for the implementation of neural-like structures based on geometric data transformations | |
| CN112529069A (zh) | 一种半监督节点分类方法、系统、计算机设备和存储介质 | |
| CN108108854B (zh) | 城市路网链路预测方法、系统及存储介质 | |
| Bell | The co-information lattice | |
| CN105144203B (zh) | 信号处理系统 | |
| CN112598080A (zh) | 一种基于注意力的宽度图卷积神经网络模型及其训练方法 | |
| JP2019032808A (ja) | 機械学習方法および装置 | |
| US11568212B2 (en) | Techniques for understanding how trained neural networks operate | |
| CN112529071B (zh) | 一种文本分类方法、系统、计算机设备和存储介质 | |
| CN114930336A (zh) | 用于估计仿真的计算成本的方法和系统 | |
| CN115357554B (zh) | 一种图神经网络压缩方法、装置、电子设备及存储介质 | |
| CN113496247A (zh) | 估计生成对抗网络的隐含似然 | |
| CN112633481B (zh) | 一种多跳图卷积神经网络模型系统及训练方法 | |
| CN112633482A (zh) | 一种高效宽度图卷积神经网络模型及其训练方法 | |
| Liang et al. | Survey of graph neural networks and applications | |
| CN112529068B (zh) | 一种多视图图像分类方法、系统、计算机设备和存储介质 | |
| Jha et al. | The neural process family: Survey, applications and perspectives | |
| Chew et al. | Large-scale 3D point-cloud semantic segmentation of urban and rural scenes using data volume decomposition coupled with pipeline parallelism | |
| Antonietti et al. | Accelerating algebraic multigrid methods via artificial neural networks | |
| CN112668700A (zh) | 一种基于分组注意的宽度图卷积网络模型及其训练方法 | |
| CN112905906B (zh) | 一种融合局部协同与特征交叉的推荐方法及系统 | |
| CN111460275A (zh) | 一种面向社交网络的动态网络表示学习方法及系统 | |
| CN112651492B (zh) | 一种自连接宽度图卷积神经网络模型系统及训练方法 | |
| CN115544307A (zh) | 基于关联矩阵的有向图数据特征提取与表达方法和系统 | |
| CN116011681A (zh) | 一种气象数据预测方法、装置、存储介质及电子装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |