CN112085127A - 一种混合高低阶邻居信息的半监督分类方法 - Google Patents

一种混合高低阶邻居信息的半监督分类方法 Download PDF

Info

Publication number
CN112085127A
CN112085127A CN202011153006.4A CN202011153006A CN112085127A CN 112085127 A CN112085127 A CN 112085127A CN 202011153006 A CN202011153006 A CN 202011153006A CN 112085127 A CN112085127 A CN 112085127A
Authority
CN
China
Prior art keywords
graph
neighbor information
semi
order neighbor
mixed high
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202011153006.4A
Other languages
English (en)
Inventor
何天琪
丁宏强
江波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui University
Original Assignee
Anhui University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui University filed Critical Anhui University
Priority to CN202011153006.4A priority Critical patent/CN112085127A/zh
Publication of CN112085127A publication Critical patent/CN112085127A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Biology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种混合高低阶邻居信息的半监督分类方法，包括如下步骤：A)、图卷积神经网络对一阶邻居信息进行平均聚合，进行图节点分类任务；B)、混合高阶邻接矩阵网络GCN‑H对图中不同阶数的邻居且含有不同重要信息的中心节点进行采集；C)、以右向左相乘的方式，并以稀疏矩阵的形式存储；D)、新卷积算子经过H(K+1)_b＝β4 A2HW，用于计算图像灰度函数的近似梯度；本方案提出了一个新的图卷积层使用的是邻接矩阵的多阶信息，从而使得模型能够学习更高阶的信息，能够学习更高阶的邻居信息来聚合并更新当前节点的表示，而且计算复杂度并没有提升。

Description

一种混合高低阶邻居信息的半监督分类方法
技术领域
本发明属于深度学习算法技术领域，具体涉及一种混合高低阶邻居信息的半监督分类方法。
背景技术
众所周知，深度学习一直被几大经典的模型统治着，比如Cnn,Rnn等，无论在图像分类还是语义分割或者机器翻译等方向都取得了优异的成果，但是比如cnn所处理的是欧几里得结构化数据，然而对于现实世界的绝大多数问题所表示的数据都是针对非欧几里得数据的，比如社交网络、通讯网络、生物网络等等，传统的cnn处理的效果并不是很好(sgcn)，所以越来越多的研究者将卷及操作从欧几里得结构化数据扩展到非欧几里得数据。
图卷积操作的本质就是提取拓扑图的空间特征，而图卷积神经网络主要有两类，第一类是谱域卷积spectral，这种思路希望借助图谱的理论来实现拓扑图上的卷积操作，可以类比到图片进行傅里叶变换后进行卷积；另一种方式是基于空间域，他是直接将卷积操作定义在每个节点的连接关系上，空域可以类比到直接在图片的像素点上进行卷积。
在过去的几年中，由于强大的图表示能力图卷积神经网络和他们的变体已经在各种各样的领域中取得了很大的成功，从计算机视觉到自然语言处理，可是图卷积神经网络(gcn)只是简单的堆叠学习到的一阶邻居信息来更新图上的节点表示，并不能很好的聚合高阶邻居的信息，为此本方案提出一种混合高低阶邻居信息的半监督分类方法。
发明内容
本发明的目的在于提供一种混合高低阶邻居信息的半监督分类方法，能够学习更高阶的邻居信息来聚合并更新当前节点的表示，而且计算复杂度并没有提升，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：一种混合高低阶邻居信息的半监督分类方法，包括如下步骤：
A)、图卷积神经网络对一阶邻居信息进行平均聚合，进行图节点分类任务；
B)、混合高阶邻接矩阵网络GCN-H对图中不同阶数的邻居且含有不同重要信息的中心节点进行采集
H(K+1)＝β1AHW+β2A(AHW)+β3A(A(AHW))+β4A2HW；
C)、以右向左相乘的方式，并以稀疏矩阵的形式存储；
D)、新卷积算子经过H(K+1)_b＝β4A2HW，用于计算图像灰度函数的近似梯度。
优选的，所述步骤B中，H(K+1)_a＝β1AHW+β2A(AHW)+β3A(A(AHW))与A Higher-Order Graph Convolutional Layer等同。
优选的，所述新卷积算子为A2XW。
优选的，其中
Figure BDA0002741768210000021
S为原始的邻接矩阵，D为度矩阵。
优选的，所述步骤B中，β1、β2以及β3分别表示1*1的可训练的参数。
优选的，所述步骤一中的图卷积神经网络包括卷积神经网络CNN，图卷积神经网络GCN。
与现有技术相比，本发明的有益效果是：
本方案提出了一个新的图卷积层使用的是邻接矩阵的多阶信息，从而使得模型能够学习更高阶的信息，能够学习更高阶的邻居信息来聚合并更新当前节点的表示，而且计算复杂度并没有提升，此外，我们还提出了一个新的卷积操作算子，邻接矩阵更加稠密，从而使得网络模型具有更强大的表示能力，在几个通用的引文网络数据集上证明了本方法的优越性。
附图说明
图1为本发明的模型图；
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，本发明提供一种技术方案：一种混合高低阶邻居信息的半监督分类方法，包括如下步骤：
A)、图卷积神经网络对一阶邻居信息进行平均聚合，图中每个节点都有对应的特征，当我们已知一些节点类别的时候，可以设计分类任务对未知节点进行分类；
B)、图上边的预测：图中节点和节点直接的边关系有一些能显示的采集到，但是还有一些隐藏的边关系需要我们挖掘出来，这就是边的预测任务，图的分类，对于整个图来说，我们也可以进行图分类，图分类又称为图同构问题，基本思路是将图中节点的特征聚合起来作为图的结构特征在进行分类，混合高阶邻接矩阵网络GCN-H对不同阶数的邻居且含有不同重要信息的中心节点进行采集
H(K+1)＝β1AHW+β2A(AHW)+β3A(A(AHW))+β4A2HW
其中H(K+1)_a＝β1AHW+β2A(AHW)+β3A(A(AHW))与A Higher-Order GraphConvolutional Layer等同；
C)、以右向左相乘的方式，并以稀疏矩阵的形式存储；
D)、新卷积算子经过H(K+1)_b＝β4A2HW，用于计算图像灰度函数的近似梯度。
本实施例中，所述步骤B中，H(K+1)_a＝β1AHW+β2A(AHW)+β3A(A(AHW))与AHigher-Order Graph Convolutional Layer等同。
本实施例中，所述新卷积算子为A2XW。
本实施例中，其中
Figure BDA0002741768210000041
S为原始的邻接矩阵，D为度矩阵，学习这样一个算子能够让模型学到不同的邻居特征，邻接矩阵更加稠密，从而使得网络模型具有更强大的表示能力，在几个通用的引文网络数据集上证明了我们方法的优越性。
本实施例中，所述步骤B中，β1、β2以及β3分别表示1*1的可训练的参数。
本实施例中，所述步骤一中的卷积神经网包括卷积神经网络CNN，图卷积神经网络GCN，CNN卷积神经网络研究的对象是具有欧几里得结构的数据，也就是说最显著的特征是他们具有规则的空间结构，比如图片、语音等等，这种方式会使得结果非常高效，比如resNet、Inception给一只狗进行分类时，无论狗怎么扭曲、平移，最终识别出来的都是狗。
本实施例中，所述GCN与CNN相似，GCN为特征xi学习一个新的特征表示进而用作输入进入一个线性分类器，对于第k个图卷积层将所有节点的输入表示为H(k-1)，输出的节点表示为H(k),此时的图卷积层定义为：H(k+1)＝AH(k)W(k)，其中H表示节点特征矩阵，初始化的节点表示为原始输入特征H(0)＝X，W表示参数矩阵，A表示添加自循环的邻接矩阵A＝A+I，I表示单位矩阵，D是添加自循环之后的度矩阵，@()表示激活函数。
本实施例中，GCN、SGCN以及H1的计算方式如下：
GCN：计算：softmax(A(softmax(AXW))W)；
SGCN：计算：
Figure BDA0002741768210000042
H1：计算AXW1||A(AXW2)||A(A(AXW3))。
本实施例中，本方案计算公式：β1AXW+β2A(AXW)+β3A(A(AXW))+β4 A2XW。
本发明的工作原理及使用流程：
本实施例是建立在3个基准的引文网络数据集上，3个标准的引文网络数据集cora，citeseer，pubmed，在以上数据集中，节点对应于文档，边对应于文档之间的边，节点特征对应于a bag-of-words表示，其中每个节点对应于一个标签，让每类选择20个节点作为训练，然后1000个作为测试节点，500个作为验证节点，其中cora数据集包含2708个节点，5438条边，7各类别以及每个节点对应1433特征，citeseer数据集包含3327个节点，4732条边，6个类别以及每个节点对应3703特征，pubmed数据集包含19717个节点，44338条边，3个类别，每个节点500维特征；训练，使用与GCN相同的设置，使用两层的GCN-H model，参数由cora数据集初始化然后重用在Citeseer数据集中，第一层紧跟着1个激活函数，然后是softmax函数，L2正则化，得出结果：
Figure BDA0002741768210000051
结论：我们提出了一个新的图卷积层使用的是邻接矩阵的多阶信息，从而使得模型能够学习更高阶的信息，从而使得结果能够更好。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述，仅用以说明本发明的技术方案而非限制，本领域普通技术人员对本发明的技术方案所做的其它修改或者等同替换，只要不脱离本发明技术方案的精神和范围，均应涵盖在本发明的权利要求范围当中。

Claims (6)

1.一种混合高低阶邻居信息的半监督分类方法，其特征在于，包括如下步骤：
A)、图卷积神经网络对一阶邻居信息进行平均聚合，进行图节点分类任务；
B)、混合高阶邻接矩阵网络GCN-H对图中不同阶数的邻居且含有不同重要信息的中心节点进行采集
H(K+1)＝β1 AHW+β2 A(AHW)+β3 A(A(AHW))+β4 A2HW；
C)、以右向左相乘的方式，并以稀疏矩阵的形式存储；
D)、新卷积算子经过H(K+1)_b＝β4 A2HW，用于计算图像灰度函数的近似梯度。
2.根据权利要求1所述的一种混合高低阶邻居信息的半监督分类方法，其特征在于：所述步骤B中，H(K+1)_a＝β1 AHW+β2 A(AHW)+β3 A(A(AHW))与A Higher-Order GraphConvolutional Layer等同。
3.根据权利要求1所述的一种混合高低阶邻居信息的半监督分类方法，其特征在于：所述新卷积算子为A2XW。
4.根据权利要求3所述的一种混合高低阶邻居信息的半监督分类方法，其特征在于：其中
Figure FDA0002741768200000011
S为原始的邻接矩阵，D为度矩阵。
5.根据权利要求1所述的一种混合高低阶邻居信息的半监督分类方法，其特征在于：所述步骤B中，β1、β2以及β3分别表示1*1的可训练的参数。
6.根据权利要求1所述的一种混合高低阶邻居信息的半监督分类方法，其特征在于：所述步骤一中的图卷积神经网络包括卷积神经网络CNN，图卷积神经网络GCN。
CN202011153006.4A 2020-10-26 2020-10-26 一种混合高低阶邻居信息的半监督分类方法 Withdrawn CN112085127A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011153006.4A CN112085127A (zh) 2020-10-26 2020-10-26 一种混合高低阶邻居信息的半监督分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011153006.4A CN112085127A (zh) 2020-10-26 2020-10-26 一种混合高低阶邻居信息的半监督分类方法

Publications (1)

Publication Number Publication Date
CN112085127A true CN112085127A (zh) 2020-12-15

Family

ID=73730705

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011153006.4A Withdrawn CN112085127A (zh) 2020-10-26 2020-10-26 一种混合高低阶邻居信息的半监督分类方法

Country Status (1)

Country Link
CN (1) CN112085127A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110675352A (zh) * 2019-08-01 2020-01-10 广东技术师范大学 一种混合高低阶图卷积传播系统
CN110717047A (zh) * 2019-10-22 2020-01-21 湖南科技大学 一种基于图卷积神经网络的Web服务分类方法
CN110991483A (zh) * 2019-11-01 2020-04-10 北京邮电大学 高阶邻域混合的网络表示学习方法及装置
CN111061961A (zh) * 2019-11-19 2020-04-24 江西财经大学 一种融合多特征的矩阵分解兴趣点推荐方法及其实现系统
CN111178507A (zh) * 2019-12-26 2020-05-19 集奥聚合(北京)人工智能科技有限公司 图谱卷积神经网络数据处理方法及装置
CN111428848A (zh) * 2019-09-05 2020-07-17 中国海洋大学 基于自编码器和3阶图卷积的分子智能设计方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110675352A (zh) * 2019-08-01 2020-01-10 广东技术师范大学 一种混合高低阶图卷积传播系统
CN111428848A (zh) * 2019-09-05 2020-07-17 中国海洋大学 基于自编码器和3阶图卷积的分子智能设计方法
CN110717047A (zh) * 2019-10-22 2020-01-21 湖南科技大学 一种基于图卷积神经网络的Web服务分类方法
CN110991483A (zh) * 2019-11-01 2020-04-10 北京邮电大学 高阶邻域混合的网络表示学习方法及装置
CN111061961A (zh) * 2019-11-19 2020-04-24 江西财经大学 一种融合多特征的矩阵分解兴趣点推荐方法及其实现系统
CN111178507A (zh) * 2019-12-26 2020-05-19 集奥聚合(北京)人工智能科技有限公司 图谱卷积神经网络数据处理方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SAMI ABU-EL-HAIJA 等: "MixHop: Higher-Order Graph Convolutional Architectures via Sparsified Neighborhood Mixing", 《ARXIV》 *

Similar Documents

Publication Publication Date Title
Maaløe et al. Auxiliary deep generative models
Elsworth et al. Time series forecasting using LSTM networks: A symbolic approach
Zhang et al. An overview on restricted Boltzmann machines
Makhzani et al. Adversarial autoencoders
Papandreou et al. Perturb-and-map random fields: Using discrete optimization to learn and sample from energy models
CN109753589A (zh) 一种基于图卷积网络的图可视化方法
CN110188195B (zh) 一种基于深度学习的文本意图识别方法、装置及设备
Rohekar et al. Constructing deep neural networks by Bayesian network structure learning
CN110263174B (zh) —基于焦点关注的主题类别分析方法
Sharma et al. Deep eigen space based ASL recognition system
CN112465226B (zh) 一种基于特征交互和图神经网络的用户行为预测方法
CN110781271A (zh) 一种基于层次注意力机制的半监督网络表示学习模型
CN114925205B (zh) 基于对比学习的gcn-gru文本分类方法
Li et al. Few-shot image classification via contrastive self-supervised learning
Artemov et al. Informational neurobayesian approach to neural networks training. Opportunities and prospects
CN112085127A (zh) 一种混合高低阶邻居信息的半监督分类方法
CN115797642A (zh) 基于一致性正则化与半监督领域自适应图像语义分割算法
CN115599918A (zh) 一种基于图增强的互学习文本分类方法及系统
Wang et al. GC-Flow: a graph-based flow network for effective clustering
CN114692867A (zh) 一种结合高阶结构和注意力机制的网络表示学习算法
Shinde et al. Mining classification rules from fuzzy min-max neural network
Chen et al. Group norm for learning structured SVMs with unstructured latent variables
Hu et al. Unsupervised pre-training of graph convolutional networks
Chen et al. Extractive adversarial networks for network embedding
Roul et al. Semi-supervised clustering using seeded-kMeans in the feature space of ELM

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20201215

WW01 Invention patent application withdrawn after publication