CN114662687B - 一种基于层间互信息的图对比学习方法及系统 - Google Patents

一种基于层间互信息的图对比学习方法及系统 Download PDF

Info

Publication number
CN114662687B
CN114662687B CN202210263886.3A CN202210263886A CN114662687B CN 114662687 B CN114662687 B CN 114662687B CN 202210263886 A CN202210263886 A CN 202210263886A CN 114662687 B CN114662687 B CN 114662687B
Authority
CN
China
Prior art keywords
graph
module
layer
network
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210263886.3A
Other languages
English (en)
Other versions
CN114662687A (zh
Inventor
张璐
薛晖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southeast University
Original Assignee
Southeast University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southeast University filed Critical Southeast University
Priority to CN202210263886.3A priority Critical patent/CN114662687B/zh
Publication of CN114662687A publication Critical patent/CN114662687A/zh
Application granted granted Critical
Publication of CN114662687B publication Critical patent/CN114662687B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于层间互信息的图对比学习方法及系统。所述系统包括据预处理模块、网络模型模块、训练控制模块、性能验证模块,所述数据预处理模块用于将待解决非欧式集合输出抽象为图数据并符号化表示;所述网络模型模块代表图神经网络模型的前向传播计算过程;所述训练控制模块负责根据网络模型模块的生成结果计算对应的对比损失函数值,控制梯度下降和反向传播过程,以及设定训练模型中止条件;所述性能验证模块使用节点分类器通过图点分类任务评估和验证所发明的基于层间互信息的图对比学习方法的质量。本发明充分考虑了深度图神经网络的特性,根据提出的层间互信息概念,改进了传统框架中图增强过程存在的缺陷。

Description

一种基于层间互信息的图对比学习方法及系统
技术领域
本发明涉及一种基于层间互信息的图对比学习方法及系统,属于机器学习技术领域。
背景技术
图作为一种广泛存在于自然界的数据结构,主要由结点以及结点间的边关系组成,其中结点用于刻画某类对象,对结点进行有效分类可以挖掘图中诸多性质,因而蕴含巨大价值。但由于图是一种非欧式结构数据,每个结点具有不同数量的相邻结点且排列顺序任意,这给图结点分类任务带来了困难。图学习是一种专门研究图数据特征提取的机器学习方法,其中图神经网络(Graph Neural Networks,GNNs)将图结点被表示成低维稠密特征向量的同时又保留了一定结构性信息,大大促进了结点分类任务的发展。
在人工智能从学术层面到工业化领域迁移的过程中,由于缺乏足够的先验知识,难以对样本进行标注,或者获取带有标注的样本的成本过高,是人工智能最频繁面对的问题。为了解决标签样本的获取和降噪问题这样的问题,许多从无标签信息或少量标签信息样本中提取有效特征,以用于下游具体任务的方法被提出。迁移学习,小样本学习,自监督学习,元学习等等。其中自监督学习主要是利用辅助任务(pretext)从大规模的无监督数据中挖掘自身的监督信息,通过这种构造的监督信息对网络进行训练,从而可以学习到对下游任务有价值的表征。已经有大量研究和实验证明,在合理的上游自监督任务的设计的基础上,自监督学习所学习到的特征信息是非常有效的。在自监督上游任务的设计上,如果通过对相似或不同样本间相似度的度量和对比来挖掘数据本身的信息,那么这种学习方法就被称为对比学习(Contractive learning)。对比学习是一种使用机器学习模型来描述和学习相似和不同事物的任务特征的方法。通过对事物样本之间的相似或不同的判断,来学习到可以区分事物的最有效特征。
图对比学习是把对比学习的思想应用在图学习理论中,通过对于图或节点的正负采样以及对其相似和不同的度量,无监督地,有效地对图神经网络进行预训练。目前通用的图对比学习框架大都是基于图增强以进行对比,其主要步骤为:根据数据特性选择适配的图增强方法并将其应用在图数据中;对增强后的子图及原图进行节点级别或图级别采样对比学习过程。
然而由于图数据的多样性以及图增强过程中的数据敏感性,目前的通用图对比学习框架难以自适应地适配不同的数据集。由此可能导致低质量的图表征的结果,或因对适当图增强方式的大量探索而产生的低效算力浪费。总而言之,基于图增强的图对比学习框架,面临着由图增强带来的不可忽视的弱点,包括机器学习质量及计算效率上的缺陷。
发明内容
发明目的:为了解决上述问题,本发明提出一种基于层间互信息的图对比学习方法及系统,该方法充分考虑了深度图神经网络的特性,根据提出的层间互信息概念,改进了传统框架中图增强过程存在的缺陷。该发明用深度图神经网络的层间输出取代了图增强过程,使得整个算法可以自适应可学习地适配于多种图数据集,提高了图学习结果的精度,提升了图表征过程的效率。
技术方案:为实现本发明的目的,本发明所采用的技术方案是:
一种基于层间互信息的图对比学习方法,该方法包括如下步骤:
步骤1,对待处理的图数据进行预处理及符号化,将其转化为可输入图神经网络的符号化数据X,A,分别代表节点特征和拓扑信息(邻接矩阵);
步骤2,构造深度图神经网络fθ(·),并将第i层的网络参数表示为fi(·);
步骤3,随机选取神经网络第k层fk(·);
步骤4,生成并记录每一层的网络输出Xi=fi(Xi-1,A),其中Xi表示网络第i层的输出,Xi-1表示网络第i-1层的输出;
步骤5,根据以下公式前向计算网络的对比损失值,其中表示第i层输出Xi的第k个节点特征表示,sim(·)表示相似度度量,此处使用余弦相似度,τ代表温度系数,用以平衡分子分母过大的数值差异;
Loss=∑i≠jLconstr(Xi,Xj)
其中,Xj表示网络第j层的输出,表示第j层输出Xj的第k个节点特征表示,/>表示表示第j层输出Xj的第l个节点特征表示,n表示输入图中的节点总个数;
步骤6,根据生成的损失值,对网络参数fθ(·)求导,反向传播,梯度下降;
步骤7,重复步骤3~步骤6直至模型收敛;
步骤8,性能验证,在图节点分类任务上验证所得模型的有效性。
一种基于层间互信息的图对比学习方法的运行系统,所述系统包括据预处理模块、网络模型模块、训练控制模块、性能验证模块,所述数据预处理模块用于将待解决非欧式集合输出抽象为图数据并符号化表示;所述网络模型模块代表图神经网络模型的前向传播计算过程;所述训练控制模块负责根据网络模型模块的生成结果计算对应的对比损失函数值,控制梯度下降和反向传播过程,以及设定训练模型中止条件;所述性能验证模块使用节点分类器通过图点分类任务评估和验证所发明的基于层间互信息的图对比学习方法的质量。
有益效果:本发明通过考虑图神经网络的结构特性,将层间互信息这一概念引入到图对比学习任务中,避免了传统任务中对于图增强方式的人为设定,使用整体可学习的网络模型实现了对多种图数据集的自动适配,提高了图学习结果的质量,提升了图表征过程的效率。
附图说明
图1为本申请基于层间互信息的图对比学习方法的流程图。
图2为本申请基于层间互信息的图对比学习系统模块示意图。
图3为本申请网络模型图。
图4为层间互信息示意图。
具体实施方式
下面结合附图对本发明作进一步说明:
如图1所示,本发明公开了一种基于层间互信息的图对比学习方法,该方法包括如下步骤:
步骤1,对待处理的图数据进行预处理及符号化,将其转化为可输入图神经网络的符号化数据X,A,分别代表节点特征和拓扑信息(邻接矩阵);
步骤2,构造深度图神经网络fθ(·),并将第i层的网络参数表示为fi(·);
步骤3,随机选取神经网络第k层fk(·);
步骤4,生成并记录每一层的网络输出Xi=fi(Xi-1,A),其中Xi表示网络第i层的输出,Xi-1表示网络第i-1层的输出;
步骤5,根据以下公式前向计算网络的对比损失值,其中表示第i层输出Xi的第k个节点特征表示,sim(·)表示相似度度量,此处使用余弦相似度,τ代表温度系数,用以平衡分子分母过大的数值差异;
Loss=∑i≠jLconstr(Xi,Xj)
其中,Xj表示网络第j层的输出,表示第j层输出Xj的第k个节点特征表示,/>表示表示第j层输出Xj的第l个节点特征表示,n表示输入图中的节点总个数;
步骤6,根据生成的损失值,对网络参数fθ(·)求导,反向传播,梯度下降;
步骤7,重复步骤3~步骤6直至模型收敛;
步骤8,性能验证,在图节点分类任务上验证所得模型的有效性。
如图2所示,本实施例的一种基于层间互信息的图对比学习方法的运行系统,所述系统包括据预处理模块、网络模型模块、训练控制模块、性能验证模块,所述数据预处理模块用于将待解决非欧式集合输出抽象为图数据并符号化表示;所述网络模型模块代表图神经网络模型的前向传播计算过程;所述训练控制模块负责根据网络模型模块的生成结果计算对应的对比损失函数值,控制梯度下降和反向传播过程,以及设定训练模型中止条件;所述性能验证模块使用节点分类器通过图点分类任务评估和验证所发明的基于层间互信息的图对比学习方法的质量。
目前主流图对比模型使用图增强的方式,将增强后的子图嵌入结果进行对比。图增强过程是为了给原数据增加少量随机噪声,在尽可能不改变原图性质的情况下,对原图进行加噪,通过对比过程提取出原图最核心的特性。
然而图数据有如下两个特性:一是图数据来源于多种多样的现实数据,如有蛋白质结构抽象成的蛋白质结构图,有社交网络抽象成的社交网络图,以及引文网络图等等,所以不同图数据之间的差异可能非常大;其二是对于一张图而言,它的特性对于某些节点或者边而言是非常敏感的,当我们在增强过程中对该节点或边进行修改时,可能会使整张图的特性发生改变(比如在蛋白质结构图中,删除或修改某一个元素,可能导致蛋白质性质的变化),这与图增强初衷是不同的。
所以面对大量多样化的图数据,很难找到某种特定的适配于多种图数据的增强方式,从而影响图嵌入的质量。或者研究者需要针对特定图数据,耗费时间去寻找适合于该图的增强方式,造成图表征过程的低效。
互信息是信息论领域中有用信息的一种测量方法。
它度量了随机变量X和Y之间,由于先验已知变量Y的而降低的X变量的不确定性。它也可以被看作是X和Y之间的一致性,用I(X,Y)表示。现有的对比损失公式(如MINE和NT-Xent)在无监督编码器与训练过程中,最大化了不同相关视图之间互信息的下界,以此来对变量间的互信息进行估计。
在图表征学习中,我们提出了使用不同图神经网络层输出之间的互信息来计算对比损失,为了更好地理解层间互信息的概念,互信息示意图中展示了两层图卷积神经网络中的层间互信息的意义。由于图卷积神经网络的特性,不同层的映射结果代表了节点与其不同拓扑距离邻居节点信息的聚合。这些聚合信息共同表达了同一个节点不同拓扑感受野下的特性,基于同一个节点不同阶聚合所得的特性是不变的这一基本假设(即不同阶信息聚合结果共同表达了相同的节点最核心的特征),所以不同距离的聚合之间有很强的关联性,并且我们用层间互信息来表达这种强关联性。
应用层间互信息而不是图增强所提供的关联信息的优点是:1)层间互信息不需要考虑图增强可能对图特性造成的破坏。2)层间互信息是由图神经网络中可学习的参数前向计算产生的,这可以提升所发明模型的可学习性和对不同数据集的普适性。
为了验证所提出模型的有效性,我们在几个公开的标准图数据集上进行了图节点分类实验。数据集包括引文网络数据集(Cora,CiteSeer和Pubmed),亚马逊商品购买关系图(Computers和Photo)和共同作者关系图(CS和Physics)。下表中总结了上述数据的具体特性。
数据集名称 节点个数 边个数 特征图大小 节点类别数
Cora 2,708 5,429 1,433 7
Citeseer 3,327 4,732 3,703 6
Pubmed 19,717 44,338 500 3
Computers 13,752 245,861 767 10
Photo 7,650 119,081 745 8
CS 18,333 81,894 6,805 15
Physics 34,493 247,962 8,415 5
表一:图数据特性表
本发明将所提出模型(LMIGCL)与已有的先进有监督无监督算法模型进行了比较,以测试集点分类预测精度(accuracy)为评估标准。对比方法中最优的精度已用加粗字体标注。下图中训练数据X表示节点特征,A表示邻接矩阵即拓扑结构,Y表示节点类别标签。OOM表示训练过程超过32GB显存。
表二:基准实验表
消融实验:
实验一:图增强方式影响实验
本实验使用相同的骨干网络模型(64层GCNII模型)及实验设置,分别使用三种常见的图增强方式:随机属性丢弃,边丢弃及点丢弃,两两组合生成两个增强子图进行对比。其在Cora数据集上的精度结果比较如下表:
表三:图增强方式影响实验表
由表中可见,不同增强方式的两两组合对实验精度的影响差异很大,并且不恰当的增强方式选取如上表中属性丢弃与边丢弃组合,反而使得对比学习的精度下降(低于不做徒增强的82.00的精度)。故而说明了基于图增强的图对比学习算法的不稳定性,体现了发明动机。
实验二:骨干网络层数影响实验
由于本发明提出的层间信息与神经网络层数相关,越多的神经网络层数能够提供越丰富有效的对比信息。此实验在Cora数据集上,对不同层数的骨干网络性能进行了验证。
表四:骨干网络层数影响实验表
该实验说明,本发明可适配于大型深层网络中,以扩大图中各节点的感受野,克服过平滑问题。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (2)

1.一种基于层间互信息的图对比学习方法,其特征在于,该方法包括如下步骤:
步骤1,对待处理的图数据进行预处理及符号化,将其转化为可输入图神经网络的符号化数据X,A,分别代表节点特征和拓扑信息即邻接矩阵;
步骤2,构造深度图神经网络fθ(·),并将第i层的网络参数表示为fi(·);
步骤3,随机选取神经网络第k层fk(·);
步骤4,生成并记录每一层的网络输出Xi=fi(Xi-1,A),其中Xi表示网络第i层的输出,Xi-1表示网络第i-1层的输出;
步骤5,根据以下公式前向计算网络的对比损失值,其中表示第i层输出Xi的第k个节点特征表示,sim(·)表示相似度度量,此处使用余弦相似度,τ代表温度系数,用以平衡分子分母过大的数值差异;
其中,Xj表示网络第j层的输出,表示第j层输出Xj的第k个节点特征表示,/>表示表示第j层输出Xj的第l个节点特征表示,n表示输入图中的节点总个数;
步骤6,根据生成的损失值,对网络参数fθ(·)求导,反向传播,梯度下降;
步骤7,重复步骤3~步骤6直至模型收敛;
步骤8,性能验证,在图节点分类任务上验证所得模型的有效性。
2.一种权利要求1所述基于层间互信息的图对比学习方法的运行系统,其特征在于,所述系统包括数据预处理模块、网络模型模块、训练控制模块、性能验证模块,所述数据预处理模块用于将待解决非欧式集合输出抽象为图数据并符号化表示;所述网络模型模块代表图神经网络模型的前向传播计算过程;所述训练控制模块负责根据网络模型模块的生成结果计算对应的对比损失函数值,控制梯度下降和反向传播过程,以及设定训练模型中止条件;所述性能验证模块使用节点分类器通过图点分类任务评估和验证所述基于层间互信息的图对比学习方法的质量。
CN202210263886.3A 2022-03-15 2022-03-15 一种基于层间互信息的图对比学习方法及系统 Active CN114662687B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210263886.3A CN114662687B (zh) 2022-03-15 2022-03-15 一种基于层间互信息的图对比学习方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210263886.3A CN114662687B (zh) 2022-03-15 2022-03-15 一种基于层间互信息的图对比学习方法及系统

Publications (2)

Publication Number Publication Date
CN114662687A CN114662687A (zh) 2022-06-24
CN114662687B true CN114662687B (zh) 2024-04-16

Family

ID=82030350

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210263886.3A Active CN114662687B (zh) 2022-03-15 2022-03-15 一种基于层间互信息的图对比学习方法及系统

Country Status (1)

Country Link
CN (1) CN114662687B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113822419A (zh) * 2021-09-26 2021-12-21 广东技术师范大学 一种基于结构信息的自监督图表示学习运行方法
CN114038517A (zh) * 2021-08-25 2022-02-11 暨南大学 一种基于对比学习的自监督图神经网络预训练方法
KR20220023101A (ko) * 2020-08-20 2022-03-02 한국전자통신연구원 다단계 검증 학습 방법 및 장치

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210089922A1 (en) * 2019-09-24 2021-03-25 Qualcomm Incorporated Joint pruning and quantization scheme for deep neural networks

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220023101A (ko) * 2020-08-20 2022-03-02 한국전자통신연구원 다단계 검증 학습 방법 및 장치
CN114038517A (zh) * 2021-08-25 2022-02-11 暨南大学 一种基于对比学习的自监督图神经网络预训练方法
CN113822419A (zh) * 2021-09-26 2021-12-21 广东技术师范大学 一种基于结构信息的自监督图表示学习运行方法

Also Published As

Publication number Publication date
CN114662687A (zh) 2022-06-24

Similar Documents

Publication Publication Date Title
CN108388651B (zh) 一种基于图核和卷积神经网络的文本分类方法
WO2022088972A1 (zh) 面向带权异质图的恶意行为识别方法、系统和存储介质
CN112699247A (zh) 一种基于多类交叉熵对比补全编码的知识表示学习框架
CN105654136B (zh) 一种基于深度学习的大规模遥感影像目标自动识别方法
CN110289987B (zh) 基于表征学习的多智能体系统网络抗攻击能力评估方法
CN111859454B (zh) 防御基于图神经网络链路预测的隐私保护方法
CN108596204B (zh) 一种基于改进型scdae的半监督调制方式分类模型的方法
CN114565053A (zh) 基于特征融合的深层异质图嵌入模型
Chen et al. Application of improved convolutional neural network in image classification
CN115410059B (zh) 基于对比损失的遥感图像部分监督变化检测方法及设备
CN113705099A (zh) 基于对比学习的社交平台谣言检测模型构建方法及检测方法
CN114925205B (zh) 基于对比学习的gcn-gru文本分类方法
CN110830291B (zh) 一种基于元路径的异质信息网络的节点分类方法
CN112307914B (zh) 一种基于文本信息指导的开放域图像内容识别方法
Yan et al. A clustering algorithm for multi-modal heterogeneous big data with abnormal data
TWI452477B (zh) 以模糊相似度與k最近鄰居法為基礎之多標籤文件分類方法
CN112668633B (zh) 一种基于细粒度领域自适应的图迁移学习方法
CN114662687B (zh) 一种基于层间互信息的图对比学习方法及系统
CN116258504B (zh) 银行客户关系管理系统及其方法
CN117349494A (zh) 空间图卷积神经网络的图分类方法、系统、介质及设备
CN111858343A (zh) 一种基于攻击能力的对抗样本生成方法
CN110633394A (zh) 基于特征加强的图压缩方法
CN112836763A (zh) 一种图结构数据分类方法及装置
US20230394304A1 (en) Method and Apparatus for Neural Network Based on Energy-Based Latent Variable Models
Chen et al. Image Recognition Based on Convolution Neural Network with Small Data Set

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant