CN116304906A - 一种可信的图神经网络节点分类方法 - Google Patents
一种可信的图神经网络节点分类方法 Download PDFInfo
- Publication number
- CN116304906A CN116304906A CN202310146386.6A CN202310146386A CN116304906A CN 116304906 A CN116304906 A CN 116304906A CN 202310146386 A CN202310146386 A CN 202310146386A CN 116304906 A CN116304906 A CN 116304906A
- Authority
- CN
- China
- Prior art keywords
- node
- graph
- nodes
- neural network
- label
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 39
- 238000000034 method Methods 0.000 title claims abstract description 31
- 230000006870 function Effects 0.000 claims abstract description 27
- 238000013145 classification model Methods 0.000 claims abstract description 7
- 238000000605 extraction Methods 0.000 claims abstract description 5
- 238000005457 optimization Methods 0.000 claims abstract description 4
- 238000012545 processing Methods 0.000 claims abstract description 4
- 239000011159 matrix material Substances 0.000 claims description 39
- 238000004364 calculation method Methods 0.000 claims description 14
- 238000003475 lamination Methods 0.000 claims description 6
- 230000004913 activation Effects 0.000 claims description 5
- 238000005096 rolling process Methods 0.000 claims 2
- 239000000284 extract Substances 0.000 claims 1
- 238000001514 detection method Methods 0.000 description 10
- 238000002474 experimental method Methods 0.000 description 7
- 238000012549 training Methods 0.000 description 6
- 230000002159 abnormal effect Effects 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 241000689227 Cora <basidiomycete fungus> Species 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种可信的图神经网络节点分类方法,属于图半监督分类技术领域,具体步骤如下:输入图数据,采用图卷积神经网络对图数据进行特征学习和特征提取,并获取最终图节点数据的嵌入表示;将嵌入表示输入到质心模块进行处理,利用有标签节点的嵌入表示获取不同类别的质心;通过将无标签节点的嵌入表示与各类别的质心输入到RBF模块,得到无标签节点与质心的距离,并预测无标签节点所属类别;通过RBF模块加入不确定性损失和梯度惩罚损失,联合交叉熵损失共同作为目标函数,通过参数优化最小化损失函数,迭代更新。本发明采用上述一种可信的图神经网络节点分类方法,不仅能够较好地对图节点进行分类,还能够提高分类模型的可信性。
Description
技术领域
本发明涉及图半监督分类技术领域,尤其是涉及一种可信的图神经网络节点分类方法。
背景技术
图在日常现实中广泛存在,且作为一种灵活的数据形式可以表示不同特征对象之间复杂的连接关系。例如交通网络、社交网络、生物化学网络等。由于图可以包含较多的数据信息,例如节点的属性信息和链接信息,导致图数据相对复杂,因此对图数据进行分析具有一定的挑战。近年来,图神经网络在数据分析方面受到了极大的关注,逐渐成为学术界的一个热点研究领域。图数据的分析任务包括了节点分类、图分类以及链接预测等。在图节点分类任务中,输入一个图,目的是根据学习输入节点和类别标签的对应关系,预测未知节点的类别标签。
尽管图神经网络在半监督节点分类方面表现优异,但图神经网络分类器不仅需要准确的预测值,更需要得到可信的预测值。可信性指的是模型能够检测出分布外样本的数据的能力,对于测试数据中未训练类别的样本输入给出一个越高置信的预测值意味着模型是越不可信的,但现有模型往往对未训练样本给出较高的置信度,意味着现有模型不确定的模型,具有较高的不确定性。
发明内容
本发明的目的是提供一种可信的图神经网络节点分类方法,在获得较高节点分类准确率的同时,有效提高图节点数据分类模型的可信性。
为实现上述目的,本发明提供了一种可信的图神经网络节点分类方法,具体步骤如下:
步骤S1:输入图数据,图数据包括特征矩阵、邻接矩阵以及部分节点的标签;
步骤S2:采用图卷积神经网络对图数据进行特征学习和特征提取,再通过Softmax函数获取最终图节点数据的嵌入表示;
步骤S3:将图卷积神经网络学习到的嵌入表示输入到质心模块进行处理,利用有标签节点的嵌入表示获取不同类别的质心;
步骤S4:通过将无标签节点的嵌入表示与各类别的质心输入到RBF模块,得到无标签节点与质心的距离,并预测无标签节点所属类别;
步骤S5:通过RBF模块加入不确定性损失和梯度惩罚损失,联合交叉熵损失共同作为目标函数,通过参数优化最小化损失函数,迭代更新用于提高图节点数据分类模型的可靠性。
优选的,在步骤S1中,特征矩阵表示节点的特征信息,邻接矩阵表示节点之间所连接边的信息,将二者以及部分节点的标签信息共同作为输入的图数据。
优选的,在步骤S2中,所述图卷积神经网络采用两层图卷积神经网络逐层提取节点的特征,利用ReLU函数作为激活函数,Softmax函数作为分类器,整体正向传播得到节点的嵌入表示,节点的嵌入表示的计算公式如下:
优选的,在步骤S3中,将嵌入表示输入到质心模块,通过计算出有标签节点在嵌入空间中所得嵌入表示的平均值获取每类质心,质心计算公式如下:
优选的,在步骤S4中,RBF模块输出包括未标记节点和每个类别质心的距离度量,通过Softmax函数输出层给每个未标记节点分配空间中距离其最近的类别质心的标签,计算公式如下:
优选的,通过RBF模块所预测得未标记节点的类别标签,得到无标签节点得类别,同时获取模型每个未标记节点的可信性,可信度为无标签节点与质心间的距离。
优选的,在步骤S5中,在交叉熵损失的基础之上,引入梯度惩罚损失和不确定性损失,通过反向传播算法最小化各项损失,
交叉熵损失计算公式如下:
Vl是有标签节点的索引,K表示节点的类别数量,Yik表示第i个有标签节点的标签集合,Zik表示第i个有标签节点的嵌入向量;
不确定性损失计算公式如下:
梯度惩罚损失计算公式如下:
其中||·||2是L2范数。
优选的,模型总损失如下:
L=Lce+λ1Lun+λ2Lgp
其中,用λ1和λ2分别表示不确定性损失和梯度惩罚损失重要程度。
因此,本发明采用上述一种可信的图神经网络节点分类方法,将分类阶段与不确定性估计相结合,在模型能够得到较高分类准确率的同时,还能够增强模型的可信性。本发明可用于图半监督分类等场景,能够帮助更好地分析图数据。
下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
附图说明
图1为本发明一种可信的图神经网络节点分类方法流程图;
图2为本发明算法原理图;
图3为本发明分布外样本检测可视化曲线结果图。
具体实施方式
实施例
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
下面结合附图,对本发明的实施方式作详细说明。
一种可信的图神经网络节点分类方法,具体步骤如下:
步骤S1:输入图数据,图数据包括特征矩阵、邻接矩阵以及部分节点的标签。
本实施例引用了三个引文网络数据集进行实验,包括Cora、Citeseer和Pubmed数据集,每个数据集中包括的不同节点信息如下表所示:
Cora | Citeseer | Pubmed | |
节点数量 | 2708 | 3327 | 19717 |
边数量 | 5429 | 4732 | 44338 |
类别数量 | 7 | 6 | 3 |
特征维数 | 1433 | 3703 | 500 |
训练集 | 140 | 120 | 60 |
验证集 | 500 | 500 | 500 |
测试集 | 1000 | 1000 | 1000 |
数据集都是引文网络数据集,其中节点表示文献,边是文献之间的引用关系,这意味着当A文献引用B文献时存在边,反之亦然。需要注意的是,数据集不区分边连接的方向,将引文的连接视为无向边,并构造一个二进制对称邻接矩阵,且训练集每个类有20个节点标有它所属的类别,即每类20个节点具有标签。
本实施例将无向图数据定义为G=(V,E,X,YL),设n=|N|是图中节点数量,V={v1,v2,...,vn}是节点集合,E为节点相连边的集合,X=[x1,x2,...,xn]T为节点的特征向量矩阵,YL表示训练节点的标签且L属于V。A表示邻接矩阵,D=diag(d1,d2,...,dn)表示为对角度矩阵,其中特征矩阵表示节点的特征信息,邻接矩阵表示节点之间所连接边的信息,将二者以及部分节点的标签信息共同作为输入的图数据。
步骤S2:采用图卷积神经网络对图数据进行特征学习和特征提取,再通过Softmax函数获取最终图节点数据的嵌入表示。
图卷积神经网络是传统卷积神经网络向图域的推广,利用图卷积神经网络进行图节点数据的特征提取,本实施例图卷积神经网络采用两层图卷积神经网络逐层提取节点的特征,利用ReLU函数作为激活函数,Softmax函数作为分类器,整体正向传播得到节点的嵌入表示,节点的嵌入表示的计算公式如下:
其中,I表示单位矩阵,/> 是/>的度矩阵,是对A做了对称归一化。激活函数分别采用了ReLU函数和Softmax函数,且激活函数/>θ(0)表示第一层图卷积层所学习的权重矩阵,θ(1)表示第二层图卷积层所学习的权重矩阵。
步骤S3:将图卷积神经网络学习到的嵌入表示输入到质心模块进行处理,利用有标签节点的嵌入表示获取不同类别的质心。
利用图卷积神经网络对节点进行分类时计算获得了质心,为得到可信的分类模型奠定基础。通过计算出有标签节点在嵌入空间中所得嵌入表示的平均值获取每类质心,质心计算公式如下:
步骤S4:通过将无标签节点的嵌入表示与各类别的质心输入到RBF模块,得到无标签节点与质心的距离,并预测无标签节点所属类别。
为提高节点分类模型的可信性,利用有标签节点嵌入表示所得质心的基础上,加入RBF距离模型,获得最终的节点分类的可信性即不确定性。RBF模块输出包括未标记节点和每个类别质心的距离度量,再加入Softmax输出层,给每个未标记节点分配空间中距离其最近的类质心的标签。RBF模块计算模型输出和质心之间的指数距离:
通过RBF模块所预测得未标记节点的类别标签,得到无标签节点得类别,同时获取模型每个未标记节点的可信性,可信度为无标签节点与质心间的距离定义为不确定性Uk,不确定性能够度量质心和未标记节点间的距离,赋予未标记节点尽量正确的标签以提高分类性能,不确定性还具有检测异常分布外节点的能力,以提高模型的可信性。
步骤S5:通过RBF模块加入不确定性损失和梯度惩罚损失,联合交叉熵损失共同作为目标函数,通过参数优化最小化损失函数,迭代更新用于提高图节点数据分类模型的可靠性。
为了优化本算法模型,目标损失函数由三个部分组成分别是交叉熵损失、基于RBF模块的不确定性损失以及梯度惩罚损失。
第一项:交叉熵损失,计算公式如下:
Vl是有标签节点的索引,K表示节点的类别数量,Yik表示第i个有标签节点的标签集合,Zik表示第i个有标签节点的嵌入向量。
第二项:不确定性损失,计算公式如下:
第三项:梯度惩罚损失,未训练节点数据的任何信息如果输入到模型中,无论节点数据有无标签,都将导致特征崩塌现象(异常的分布外数据会映射到分布内的特征表示中)的发生,也就是异常分布外的节点样本进入分布内节点样本的嵌入表示中。针对异常节点分布外样本检测任务,如果没有近一步的正则化容易出现特征崩塌的缺陷,因此,为了避免特征崩塌的发生,本模型加入了梯度惩罚损失项,能够有效的抑制这种现象,这可以确保模型对输入的特征向量变化足够敏感并可靠地检测出分布外的样本数据。计算公式如下:
其中||·||2是L2范数。
为了验证本实施例方法的性能,将本实施例方法与现有方法进行对比试验,现有方法如下:
GCN:是一种半监督图卷积神经网络模型,能够聚集来自邻居节点的输入信息以学习节点表示。过程大致是输入的特征矩阵和邻接矩阵通过两层图卷积,输出特征向量通过Softmax分类器估计类别信息;
Drop-GCN:通过将Monte Carlo dropout和GCN模型相结合的方法获得不确定性,Monte Carlo dropout是将神经网络中Dropout训练作为高斯过程中的近似贝叶斯推理。此理论是用Dropout的网络对不确定性进行建模,从已被丢弃的现有模型中提取信息,这有效缓解了深度学习中表示不确定性的问题。
EDL-GCN:通过将EDL模型和GCN相结合的方法估计不确定性,EDL模型使用主观逻辑理论对不确定性建模,由于类别概率是通过狄利克雷分布求得的,因此将神经网络的预测作为主观意见并通过确定性的神经网络训练模型从数据中获得输出不确定性。
DPN-GCN:通过将DPN模型和GCN相结合的方法估计不确定性。DPN模型是一种新的预测不确定性的建模框架,它主要建模了分布不确定性。
实验结果:
本实验共做了三个任务的实验来验证方法的有效性,分别为节点分类实验,分布外样本检测性能实验,分布外样本检测可视化曲线实验,在节点分类实验中使用ACC,AUROC,AUPR作为评估指标,在分布外样本检测性能实验中使用AUROC,AUPR作为评估指标。
节点分类结果如下表:
从表格可以看出,本发明模型对比四个基准模型每个指标都有不同程度的提高,一致高于基线方法。充分验证了本文所提模型对于预测未标记节点的能力,能够预测出未标记节点的真实标签,RBF模块更有助于完成节点分类任务。表明本模型可以从训练集中学习并区分节点特征,获得节点类型。
分布外样本检测实验结果如下:
上表展示了在检测分布外节点任务中不同方法在三个数据集中的各项检测指标的比较,从表格可以看出,本发明所提模型各项指标结果优于对比的大多数模型的指标结果,证明了模型对分布外样本检测的有效性,这些实验结果同时也验证了加入梯度惩罚损失对分布外样本检测任务的有效性。
为了表明本文所提模型对分布外节点样本数据检测的可信性,如图3所示展示了分布外样本检测可视化ROC曲线最终实验结果,方法使用Citeseer数据集时均是以固定的三类作为训练数据集也就是分布内样本数据集,另外其他的三类作为分布外样本数据集,主要使用分布内样本和分布外样本进行评估,判断模型对分布外样本节点的敏感程度,从图中可以明显看出,使用ROC曲线进行对比时本文方法均优于其他基线方法。
最后应说明的是:以上实施例仅用以说明本发明的技术方案而非对其进行限制,尽管参照较佳实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对本发明的技术方案进行修改或者等同替换,而这些修改或者等同替换亦不能使修改后的技术方案脱离本发明技术方案的精神和范围。
Claims (8)
1.一种可信的图神经网络节点分类方法,其特征在于,具体步骤如下:
步骤S1:输入图数据,图数据包括特征矩阵、邻接矩阵以及部分节点的标签;
步骤S2:采用图卷积神经网络对图数据进行特征学习和特征提取,再通过Softmax函数获取最终图节点数据的嵌入表示;
步骤S3:将图卷积神经网络学习到的嵌入表示输入到质心模块进行处理,利用有标签节点的嵌入表示获取不同类别的质心;
步骤S4:通过将无标签节点的嵌入表示与各类别的质心输入到RBF模块,得到无标签节点与质心的距离,并预测无标签节点所属类别;
步骤S5:通过RBF模块加入不确定性损失和梯度惩罚损失,联合交叉熵损失共同作为目标函数,通过参数优化最小化损失函数,迭代更新用于提高图节点数据分类模型的可靠性。
2.根据权利要求1所述的一种可信的图神经网络节点分类方法,其特征在于:在步骤S1中,特征矩阵表示节点的特征信息,邻接矩阵表示节点之间所连接边的信息,将二者以及部分节点的标签信息共同作为输入的图数据。
6.根据权利要求1所述的一种可信的图神经网络节点分类方法,其特征在于:通过RBF模块所预测得未标记节点的类别标签,得到无标签节点得类别,同时获取模型每个未标记节点的可信性,可信度为无标签节点与质心间的距离。
8.根据权利要求7所述的一种可信的图神经网络节点分类方法,其特征在于:模型总损失如下:
L=Lce+λ1Lun+λ2Lgp
其中,用λ1和λ2分别表示不确定性损失和梯度惩罚损失重要程度。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310146386.6A CN116304906A (zh) | 2023-02-20 | 2023-02-20 | 一种可信的图神经网络节点分类方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310146386.6A CN116304906A (zh) | 2023-02-20 | 2023-02-20 | 一种可信的图神经网络节点分类方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116304906A true CN116304906A (zh) | 2023-06-23 |
Family
ID=86835231
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310146386.6A Pending CN116304906A (zh) | 2023-02-20 | 2023-02-20 | 一种可信的图神经网络节点分类方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116304906A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116994743A (zh) * | 2023-07-11 | 2023-11-03 | 南通大学 | 基于序贯三支的置信图卷积神经网络的自闭症分类方法 |
-
2023
- 2023-02-20 CN CN202310146386.6A patent/CN116304906A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116994743A (zh) * | 2023-07-11 | 2023-11-03 | 南通大学 | 基于序贯三支的置信图卷积神经网络的自闭症分类方法 |
CN116994743B (zh) * | 2023-07-11 | 2024-04-09 | 南通大学 | 基于序贯三支的置信图卷积神经网络的自闭症分类方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110309331B (zh) | 一种基于自监督的跨模态深度哈希检索方法 | |
CN112966114B (zh) | 基于对称图卷积神经网络的文献分类方法和装置 | |
Chen et al. | Developing a new mesh quality evaluation method based on convolutional neural network | |
Liu et al. | Dynamic local search based immune automatic clustering algorithm and its applications | |
CN116416478B (zh) | 一种基于图结构数据特征的生物信息学分类模型 | |
CN113361627A (zh) | 一种面向图神经网络的标签感知协同训练方法 | |
CN116304906A (zh) | 一种可信的图神经网络节点分类方法 | |
Shi et al. | Dynamic barycenter averaging kernel in RBF networks for time series classification | |
Sainju et al. | A hidden markov contour tree model for spatial structured prediction | |
CN116206327A (zh) | 一种基于在线知识蒸馏的图像分类方法 | |
CN104077765A (zh) | 图像分割装置、图像分割方法和程序 | |
CN112668633B (zh) | 一种基于细粒度领域自适应的图迁移学习方法 | |
CN109902168A (zh) | 一种专利评价方法和系统 | |
CN113343123A (zh) | 一种生成对抗多关系图网络的训练方法和检测方法 | |
CN110502669B (zh) | 基于n边dfs子图轻量级无监督图表示学习的社交媒体数据分类方法及装置 | |
CN117009613A (zh) | 一种图数据分类方法、系统、装置及介质 | |
Liu et al. | Self-supervised image co-saliency detection | |
CN111985680A (zh) | 基于胶囊网络与时序的刑事多罪名预测方法 | |
CN116861923A (zh) | 多视图无监督图对比学习模型构建方法、系统、计算机、存储介质及应用 | |
CN114882279B (zh) | 基于直推式半监督深度学习的多标签图像分类方法 | |
CN112307914B (zh) | 一种基于文本信息指导的开放域图像内容识别方法 | |
CN113626685B (zh) | 一种面向传播不确定性的谣言检测方法及装置 | |
CN111860441B (zh) | 基于无偏深度迁移学习的视频目标识别方法 | |
CN115393631A (zh) | 基于贝叶斯层图卷积神经网络的高光谱图像分类方法 | |
Wang | Textual information classification of campus network public opinion based on BILSTM and ARIMA |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |