CN111966823B - 一种面向标签噪声的图节点分类方法 - Google Patents

一种面向标签噪声的图节点分类方法 Download PDF

Info

Publication number
CN111966823B
CN111966823B CN202010625468.5A CN202010625468A CN111966823B CN 111966823 B CN111966823 B CN 111966823B CN 202010625468 A CN202010625468 A CN 202010625468A CN 111966823 B CN111966823 B CN 111966823B
Authority
CN
China
Prior art keywords
label
node
graph
nodes
convolution network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010625468.5A
Other languages
English (en)
Other versions
CN111966823A (zh
Inventor
胡金龙
陈浪
董守斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN202010625468.5A priority Critical patent/CN111966823B/zh
Publication of CN111966823A publication Critical patent/CN111966823A/zh
Application granted granted Critical
Publication of CN111966823B publication Critical patent/CN111966823B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/955—Retrieval from the web using information identifiers, e.g. uniform resource locators [URL]
    • G06F16/9562—Bookmark management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections

Abstract

本发明公开了一种面向标签噪声的图节点分类方法，包括步骤：1)构建多个图卷积网络(GCN)模型；2)在图数据上估计联合分布、剪枝噪声数据，得到初次清理的数据并训练图卷积网络模型；3)在图数据上训练图卷积网络模型，与步骤2)的图卷积网络模型一起预测未标记节点，得到伪标签和预测概率矩阵，结合带标记节点的标签和预测概率矩阵，共同估计全数据联合分布、剪枝噪声数据；4)使用步骤3)中得到的二次清理的图数据训练图卷积网络模型，并预测节点类别。本发明在图卷积网络模型的基础上引入噪声联合分布估计和伪标签结合的标签噪声建模方法进行噪声鲁棒性训练，实现了具有更高准确性和噪声鲁棒性的节点分类方法。

Description

一种面向标签噪声的图节点分类方法
技术领域
本发明涉及数据挖掘的技术领域，尤其是指一种面向标签噪声的图节点分类方法。
背景技术
近年来，随着互联网技术的快速发展，社会迅速地进入大数据时代，大量的数据、信息不断涌现，以点和边的拓扑图形式表现的图结构数据广泛存在于社交网络、交通流网络等领域。节点分类，即在图上挖掘节点关系、为节点实体分类，作为图数据分析的一项常见任务在社交分析、交通流预测和疾病预测中发挥着重要作用。
传统的节点分类方法，如基于邻接矩阵的网络表示方法由于高维度和数据稀疏性问题在大数据环境下难以推广，图嵌入学习和网络表示学习方法则受限于浅层学习机制而无法挖掘图数据中的复杂模型，且这些方法都容易受到数据中标签噪声的干扰而影响分类准确性和鲁棒性。
发明内容
本发明的目的在于克服现有技术的缺点与不足，提出了一种面向标签噪声的图节点分类方法，该方法构建了多个图卷积网络模型用于执行节点分类任务，并基于估计噪声标签与真实标签之间的联合分布的方法和伪标签方法来建模、剪枝图数据中的标签噪声，将清理后的图数据用于图卷积网络模型的训练，从而提升图卷积网络模型在大规模图数据下节点分类的准确性和鲁棒性。
为实现上述目的，本发明所提供的技术方案为：一种面向标签噪声的图节点分类方法，包括以下步骤：
1)构建三个网络结构、推断过程、训练过程均相同的图卷积网络模型，分别为第一图卷积网络模型、第二图卷积网络模型和第三图卷积网络模型，其中第一图卷积网络模型和第二图卷积网络模型用于全数据联合分布(即在带标记节点与未标记节点上估计的联合分布)的估计，第三图卷积网络模型用于节点分类、预测未标记节点的标签；
2)在图数据上估计带标记节点中可观察的噪声标签与潜在的真实标签之间的联合分布，剪枝噪声数据得到初次清理的图数据，并训练第一图卷积网络模型；
3)在图数据上训练第二图卷积网络模型，与步骤2)的第一图卷积网络模型一起预测图数据上未标记节点，分别得到伪标签和预测概率矩阵，结合带标记节点的标签和预测概率矩阵共同估计全数据联合分布并剪枝噪声数据，得到二次清理的图数据；
4)使用步骤3)得到的二次清理的图数据训练第三图卷积网络模型，并预测未标记节点的标签。
在步骤1)中，所构建的图卷积网络模型的网络结构、推断过程、训练过程如下：
所构建的图卷积网络模型f(·)由一层输入层、若干层隐藏层和一层输出层组成；图数据G＝(V,E,A,X)被用于图卷积网络模型的训练，V和E分别表示图中节点和边的集合；f(·)接收节点特征矩阵X为输入，根据邻接矩阵A学习节点新的特征表示，使得相邻节点具有相似的特征表示，由此对未标记节点的标签进行平滑的标签传播：
Figure BDA0002566421870000021
其中，
Figure BDA0002566421870000022
表示模型预测的标签，即类别；Θ表示图卷积网络模型的参数；
所构建图卷积网络模型的推断及训练过程分为以下四步：
1.1)对邻接矩阵A进行重归一化，为每个顶点添加一个自循环连接，由此得到新的邻接矩阵
Figure BDA0002566421870000031
和度矩阵
Figure BDA0002566421870000032
其中I为与邻接矩阵大小一致的单位矩阵，接着得出重归一化后的邻接矩阵
Figure BDA0002566421870000033
1.2)节点特征矩阵X和邻接矩阵
Figure BDA0002566421870000034
在多层结构的图卷积网络模型中逐层传播，计算每层的激活特征值，直到输出层为止，公式如下：
Figure BDA0002566421870000035
其中，H(l+1)为第l+1的激活特征矩阵，H(l)为第l层的激活特征矩阵，同时H(0)＝X表示输入层的特征矩阵H(0)等于节点特征矩阵X；Θl为第l层的可训练权重矩阵；σ为该层的激活函数，采用线性整流函数；
1.3)在输出层得到的特征值使用Softmax函数激活，生成预测矩阵
Figure BDA0002566421870000036
Figure BDA0002566421870000037
其中，L表示图卷积模型的总层数，H(L-2)为最后一层隐藏层的激活特征矩阵，Θ(L-1)为输出层权重矩阵；
1.4)得到节点的预测概率矩阵
Figure BDA00025664218700000314
后，根据带标记节点的标签计算交叉熵损失，并反向传播、更新参数和训练模型；
在步骤2)中，估计带标记节点中可观察的噪声标签与潜在的真实标签之间的联合分布、剪枝噪声数据的具体过程如下：
2.1)采用交叉验证法将图数据中带标记节点分为多折，分别构建、训练与步骤1)中相同的图卷积网络模型并预测，得到每折带标记节点的预测概率汇总为
Figure BDA0002566421870000038
表示带标记节点的预测概率矩阵，每个矩阵元素为第k个节点的标签预测为i的概率；
2.2)根据所有带标记节点的预测概率矩阵
Figure BDA0002566421870000039
和每个节点的可观察标签进行分箱计数，一个可观察标签为i的节点x在具有满足规定的
Figure BDA00025664218700000310
时被分配到真实标签y*＝j的计数中，其中
Figure BDA00025664218700000311
表示节点x的可观察标签被预测为j的概率，由此得到可观察标签
Figure BDA00025664218700000312
与真实标签y*之间的联合分布
Figure BDA00025664218700000313
具体计算过程如下：
Figure BDA0002566421870000041
Figure BDA0002566421870000042
其中，[i]和[j]分别表示由矩阵表示的联合分布
Figure BDA0002566421870000043
中特定元素的行编号与列编号，编号值与标签值一一对应；
Figure BDA0002566421870000044
表示可观察标签为i且真实标签为j的节点集合；
Figure BDA0002566421870000045
表示可观察标签为i的节点；M表示节点类别标签值的集合，c为来自M的节点标签值；
Figure BDA0002566421870000046
表示节点x的可观察标签
Figure BDA0002566421870000047
被预测为c的概率；tj和tc分别为节点被分配到真实标签为j和c的阈值，tj由可观察标签为j的节点被预测为j的平均预测概率计算可得，tc由可观察标签为c的节点被预测为c的平均预测概率计算可得；
最后，对联合分布归一化，得到归一化后的联合分布
Figure BDA0002566421870000048
2.3)对于
Figure BDA0002566421870000049
中每一个非对角项
Figure BDA00025664218700000410
按照每个节点标签被预测为i和j的概率的差值，将可观察标签为i的节点从大到小排序，并将差值最大的前
Figure BDA00025664218700000411
个节点作为噪声节点，其中n表示图数据中的节点总数，
Figure BDA00025664218700000412
表示联合分布
Figure BDA00025664218700000413
中可观察标签为i、真实标签为j且i≠j时所对应的概率值；在找到标签噪声节点后，在训练过程中去除标签噪声节点的标签，并使用
Figure BDA00025664218700000414
为每个类重新加权损失函数，其中
Figure BDA00025664218700000415
表示一个节点真实标签为i时可观察标签也为i的概率；
2.4)使用初次清理的图数据训练第一图卷积网络模型；
在步骤3)中，利用伪标签将未标记节点与带标记节点结合起来共同估计全数据联合分布并剪枝噪声数据的具体过程如下：
3.1)在图数据上训练第二图卷积网络模型，并使用第二图卷积网络模型对未标记节点进行预测，取预测得到的类别标签为节点打上标签，这样得到的标签称作伪标签；
3.2)使用步骤2)中的第一图卷积网络模型对未标记节点进行预测，取得未标记节点的预测概率矩阵；
3.3)将未标记节点的伪标签、预测概率矩阵与带标记节点的标签、预测概率矩阵组合在一起共同估计全数据联合分布并剪枝噪声数据，即重复步骤2.2)和2.3)，得到二次清理的图数据。
本发明与现有技术相比，具有如下优点与有益效果：
1、本发明使用图卷积网络模型执行节点分类，挖掘图数据深层规律的能力更强，在大规模数据上的扩展性更好。
2、本发明引入了估计噪声标签与真实标签之间联合分布的方法进行噪声建模，能够在嘈杂标签数据中保持良好的鲁棒性节点分类性能。
3、本发明通过伪标签方法同时使用带标记数据和未标记数据进行噪声建模，提高了标签噪声建模的准确性，进一步改善了节点分类性能。
4、本发明通用性强，在社交分析、疾病预测和引文网络主题分类等领域都有广阔的应用前景。
附图说明
图1为本发明方法逻辑流程示意图。
具体实施方式
下面结合具体实施例对本发明作进一步说明。
以引文网络主题分类任务为例，如图1所示，本实施例所提供的面向标签噪声的图节点分类方法，包括以下步骤：
1)构建三个网络结构、推断过程、训练过程均相同的图卷积网络模型，分别为第一图卷积网络模型(即GCN模型1)、第二图卷积网络模型(即GCN模型2)和第三图卷积网络模型(即GCN模型3)，其中第一图卷积网络模型和第二图卷积网络模型用于全数据联合分布(即在带标记节点与未标记节点上估计的联合分布)的估计，第三图卷积网络模型用于节点分类、预测未标记节点的标签。
1.1)构建模型的输入层、隐藏层、输出层等网络结构。输入层、隐藏层、输出层各一层，输入层的单元数与数据维度对应，输出层单元数与类别数对应，隐藏层单元数为16。隐藏层使用ReLU函数激活单元值，输出层使用Softmax函数激活得到模型各类别的预测概率。
1.2)模型的推断及训练过程：
1.2.1)对邻接矩阵A进行重归一化，为每个顶点添加一个自循环连接，由此得到新的邻接矩阵
Figure BDA0002566421870000061
和度矩阵
Figure BDA0002566421870000062
其中I为与邻接矩阵大小一致的单位矩阵，接着得出重归一化后的邻接矩阵
Figure BDA0002566421870000063
1.2.2)节点特征矩阵X和邻接矩阵
Figure BDA0002566421870000064
在多层结构的图卷积网络模型中逐层传播，计算每层的激活特征值，直到输出层为止，公式如下：
Figure BDA0002566421870000065
其中，H(l+1)为第l+1的激活特征矩阵，H(l)为第l层的激活特征矩阵，同时H(0)＝X表示输入层的特征矩阵H(0)等于节点特征矩阵X。Θl为第l层的可训练权重矩阵；σ为该层的激活函数，采用线性整流函数。
1.2.3)在输出层得到的特征值使用Softmax函数激活，生成预测矩阵
Figure BDA0002566421870000066
Figure BDA0002566421870000067
其中，L表示图卷积模型的总层数，H(L-2)为最后一层隐藏层的激活特征矩阵，Θ(L-1)为输出层权重矩阵。
1.2.4)得到节点的预测概率矩阵
Figure BDA0002566421870000068
后，根据带标记节点的标签计算交叉熵损失，并反向传播、更新参数、训练模型。优化过程采用Adam自适应优化器，优化器初始学习率设置为0.01，正则化项系数为0.0005。训练过程采用早停机制，最大迭代次数为2000次，根据最近100轮验证集的平均损失上升与否决定是否提前终止训练。
2)在图数据上估计带标记节点中可观察的噪声标签与潜在的真实标签之间的联合分布，剪枝噪声数据得到初次清理的图数据，并训练第一图卷积网络模型：
2.1)采用交叉验证法将图数据中带标记节点分为多折，分别构建、训练与步骤1)中相同的图卷积网络模型并预测，得到每折带标记节点的预测概率并汇总为
Figure BDA0002566421870000071
表示带标记节点的预测概率矩阵，每个矩阵元素为第k个节点的标签预测为i的概率。
2.2)根据所有带标记节点的预测概率矩阵
Figure BDA0002566421870000072
和每个节点的可观察标签进行分箱计数，一个可观察标签为i的节点x在具有满足规定的
Figure BDA0002566421870000073
时被分配到真实标签为j的计数中，其中
Figure BDA0002566421870000074
表示节点x的可观察标签
Figure BDA0002566421870000075
被预测为j的概率，由此得到可观察标签
Figure BDA0002566421870000076
与真实标签y*之间的联合分布
Figure BDA0002566421870000077
具体计算过程如下：
Figure BDA0002566421870000078
Figure BDA0002566421870000079
其中，[i]和[j]分别表示由矩阵表示的联合分布
Figure BDA00025664218700000710
中特定元素的行编号与列编号，编号值与标签值一一对应；
Figure BDA00025664218700000711
表示可观察标签为i且真实标签为j的节点集合；
Figure BDA00025664218700000712
表示可观察标签为i的节点；M表示节点类别标签值的集合，c为来自M的节点标签值；
Figure BDA00025664218700000713
表示节点x的可观察标签
Figure BDA00025664218700000714
被预测为c的概率；tj和tc分别为节点被分配到真实标签为j和c的阈值，tj由可观察标签为j的节点被预测为j的平均预测概率计算可得，tc由可观察标签为c的节点被预测为c的平均预测概率计算可得。
最后，对联合分布归一化，得到归一化后的联合分布
Figure BDA0002566421870000081
2.3)对于
Figure BDA0002566421870000082
中每一个非对角项
Figure BDA0002566421870000083
按照每个节点标签被预测为i和j的概率的差值，将可观察标签为i的节点从大到小排序，并将差值最大的前
Figure BDA0002566421870000084
个节点作为噪声节点，其中n表示图数据中的节点总数，
Figure BDA0002566421870000085
表示联合分布
Figure BDA0002566421870000086
中可观察标签为i、真实标签为j且i≠j时所对应的概率值；在找到标签噪声节点后，在训练过程中去除标签噪声节点的标签，并使用
Figure BDA0002566421870000087
为每个类重新加权损失函数，其中
Figure BDA0002566421870000088
表示一个节点真实标签为i时可观察标签也为i的概率；
2.4)使用初次清理的图数据训练第一图卷积网络模型。
3)通过伪标签的方法将未标记节点和带标记节点结合在一起共同估计全数据联合分布并剪枝噪声数据，得到二次清理的图数据：
3.1)在图数据上训练第二图卷积网络模型，并使用第二图卷积网络模型对未标记节点进行预测，取预测得到的类别标签为节点打上标签，这样得到的标签称作伪标签。
3.2)使用步骤2)中的第一图卷积网络模型对未标记节点进行预测，取得未标记节点的预测概率矩阵；
3.3)将未标记节点的伪标签、预测概率矩阵与带标记节点的标签、预测概率矩阵组合在一起共同估计全数据联合分布并剪枝噪声数据，即重复步骤2.2)和2.3)，得到二次清理的图数据；
4)使用步骤3)中得到的二次清理的图数据训练第三图卷积网络模型，该模型能够为引文网络中节点的主题分类提供良好的准确性和噪声鲁棒性。
以上所述实施例只为本发明之较佳实施例，并非以此限制本发明的实施范围，故凡依本发明之形状、原理所作的变化，均应涵盖在本发明的保护范围内。

Claims (2)

1.一种面向标签噪声的图节点分类方法，其特征在于，包括以下步骤：
1)构建三个网络结构、推断过程、训练过程均相同的图卷积网络模型，分别为第一图卷积网络模型、第二图卷积网络模型和第三图卷积网络模型；其中，所述第一图卷积网络模型和第二图卷积网络模型用于全数据联合分布的估计,所述全数据联合分布是指在带标记节点与未标记节点上估计的联合分布，所述第三图卷积网络模型用于节点分类、预测未标记节点的标签；
2)在图数据上估计带标记节点中可观察的噪声标签与潜在的真实标签之间的联合分布，剪枝噪声数据得到初次清理的图数据，并训练第一图卷积网络模型；
估计图节点中可观察的噪声标签与潜在的真实标签之间的联合分布、剪枝噪声数据的具体过程如下：
2.1)采用交叉验证法将图数据中带标记节点分为多折，分别构建、训练与步骤1)中相同的图卷积网络模型并预测，得到每折带标记节点的预测概率并汇总为
Figure FDA0003446465270000011
Figure FDA0003446465270000012
表示带标记节点的预测概率矩阵，每个矩阵元素为第k个节点的标签预测为i的概率；
2.2)根据所有带标记节点的预测概率矩阵
Figure FDA0003446465270000013
和每个节点的可观察标签进行分箱计数，一个可观察标签为i的节点x在具有满足规定的
Figure FDA0003446465270000014
时被分配到真实标签为j的计数中，其中
Figure FDA0003446465270000015
表示节点x的可观察标签
Figure FDA0003446465270000016
被预测为j的概率，由此得到可观察标签
Figure FDA0003446465270000017
与真实标签y*之间的联合分布
Figure FDA0003446465270000018
具体计算过程如下：
Figure FDA0003446465270000019
Figure FDA00034464652700000110
其中，[i]和[j]分别表示由矩阵表示的联合分布
Figure FDA00034464652700000111
中特定元素的行编号与列编号，编号值与标签值一一对应；
Figure FDA0003446465270000021
表示可观察标签为i且真实标签为j的节点集合；
Figure FDA0003446465270000022
表示可观察标签为i的节点；M表示节点类别标签值的集合，c为来自M的节点标签值；
Figure FDA0003446465270000023
表示节点x的可观察标签
Figure FDA0003446465270000024
被预测为c的概率；tj和tc分别为节点被分配到真实标签为j和c的阈值，tj由可观察标签为j的节点被预测为j的平均预测概率计算得到，tc由可观察标签为c的节点被预测为c的平均预测概率计算得到；
最后，对联合分布归一化，得到归一化后的联合分布
Figure FDA0003446465270000025
2.3)对于
Figure FDA0003446465270000026
中每一个非对角项
Figure FDA0003446465270000027
按照每个节点标签被预测为i和j的概率的差值，将可观察标签为i的节点从大到小排序，并将差值最大的前
Figure FDA0003446465270000028
个节点作为噪声节点，其中n表示图数据中的节点总数，
Figure FDA0003446465270000029
表示联合分布
Figure FDA00034464652700000210
中可观察标签为i、真实标签为j且i≠j时所对应的概率值；在找到标签噪声节点后，在训练过程中去除标签噪声节点的标签，并使用
Figure FDA00034464652700000211
为每个类重新加权损失函数，其中
Figure FDA00034464652700000212
表示一个节点真实标签为i时可观察标签也为i的概率；
2.4)使用初次清理的图数据训练第一图卷积网络模型；
3)在图数据上训练第二图卷积网络模型，与步骤2)的第一图卷积网络模型一起预测图数据上未标记节点，分别得到伪标签和预测概率矩阵，结合带标记节点的标签和预测概率矩阵共同估计全数据联合分布并剪枝噪声数据，得到二次清理的图数据；
利用伪标签将未标记节点与带标记节点结合起来共同估计全数据联合分布并剪枝噪声数据的具体过程如下：
3.1)在图数据上训练第二图卷积网络模型，并使用第二图卷积网络模型对未标记节点进行预测，取预测得到的类别标签为节点打上标签，这样得到的标签称作伪标签；
3.2)使用步骤2)中的第一图卷积网络模型对未标记节点进行预测，取得未标记节点的预测概率矩阵；
3.3)将未标记节点的伪标签、预测概率矩阵与带标记节点的标签、预测概率矩阵组合在一起共同估计全数据联合分布并剪枝噪声数据，即重复步骤2.2)和2.3)，得到二次清理的图数据；
4)使用步骤3)得到的二次清理的图数据训练第三图卷积网络模型，并预测未标记节点的标签。
2.根据权利要求1所述的一种面向标签噪声的图节点分类方法，其特征在于：在步骤1)中，所构建的图卷积网络模型的网络结构、推断过程、训练过程如下：
所构建的图卷积网络模型f(·)由一层输入层、若干层隐藏层和一层输出层组成；图数据G＝(V,E,A,X)被用于图卷积网络模型的训练，V和E分别表示图中节点和边的集合；f(·)接收节点特征矩阵X为输入，根据邻接矩阵A学习节点新的特征表示，使得相邻节点具有相似的特征表示，由此对未标记节点的标签进行平滑的标签传播：
Figure FDA0003446465270000031
其中，
Figure FDA0003446465270000032
表示模型预测的标签，即类别；Θ表示图卷积网络模型的参数；
所构建图卷积网络模型的推断及训练过程分为以下四步：
1.1)对邻接矩阵A进行重归一化，为每个顶点添加一个自循环连接，由此得到新的邻接矩阵
Figure FDA0003446465270000033
和度矩阵
Figure FDA0003446465270000034
其中I为与邻接矩阵大小一致的单位矩阵，接着得出重归一化后的邻接矩阵
Figure FDA0003446465270000035
1.2)节点特征矩阵X和邻接矩阵
Figure FDA0003446465270000036
在多层结构的图卷积网络模型中逐层传播，计算每层的激活特征值，直到输出层为止，公式如下：
Figure FDA0003446465270000041
其中，H(l+1)为第l+1的激活特征矩阵，H(l)为第l层的激活特征矩阵，同时H(0)＝X表示输入层的特征矩阵H(0)等于节点特征矩阵X；Θl为第l层的可训练权重矩阵；σ为该层的激活函数，采用线性整流函数；
1.3)在输出层得到的特征值使用Softmax函数激活，生成预测矩阵
Figure FDA0003446465270000042
Figure FDA0003446465270000043
其中，L表示图卷积模型的总层数，H(L-2)为最后一层隐藏层的激活特征矩阵，Θ(L-1)为输出层权重矩阵；
1.4)得到节点的预测概率矩阵
Figure FDA0003446465270000044
后，根据带标记节点的标签计算交叉熵损失，并反向传播、更新参数和训练模型。
CN202010625468.5A 2020-07-02 2020-07-02 一种面向标签噪声的图节点分类方法 Active CN111966823B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010625468.5A CN111966823B (zh) 2020-07-02 2020-07-02 一种面向标签噪声的图节点分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010625468.5A CN111966823B (zh) 2020-07-02 2020-07-02 一种面向标签噪声的图节点分类方法

Publications (2)

Publication Number Publication Date
CN111966823A CN111966823A (zh) 2020-11-20
CN111966823B true CN111966823B (zh) 2022-04-22

Family

ID=73361360

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010625468.5A Active CN111966823B (zh) 2020-07-02 2020-07-02 一种面向标签噪声的图节点分类方法

Country Status (1)

Country Link
CN (1) CN111966823B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112487143B (zh) * 2020-11-30 2022-11-18 重庆邮电大学 一种基于舆情大数据分析的多标签文本分类方法
CN112580742A (zh) * 2020-12-29 2021-03-30 中国科学技术大学 基于标签传播的图神经网络快速训练方法
CN112785479B (zh) * 2021-01-21 2023-05-23 南京信息工程大学 一种基于少样本学习的图像隐形水印通用检测方法
CN113077043B (zh) * 2021-03-17 2022-05-20 华中科技大学 基于改进图卷积网络的机床刀尖动力学特征预测方法
CN112990364B (zh) * 2021-04-22 2021-08-03 中国人民解放军军事科学院国防科技创新研究院 一种图数据节点分类方法及装置
CN113988175A (zh) * 2021-10-27 2022-01-28 支付宝(杭州)信息技术有限公司 聚类处理方法和装置
CN114117056B (zh) * 2022-01-29 2022-04-08 腾讯科技（深圳）有限公司 一种训练数据的处理方法、装置以及存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108665460A (zh) * 2018-05-23 2018-10-16 浙江科技学院 基于组合神经网络和分类神经网络的图像质量评价方法
CN108764330A (zh) * 2018-05-25 2018-11-06 西安电子科技大学 基于超像素分割和卷积反卷积网络的sar图像分类方法
DE102018114799A1 (de) * 2017-06-20 2018-12-20 Nvidia Corporation Halbüberwachtes lernen zur orientierungspunktlokalisierung
CN109492691A (zh) * 2018-11-07 2019-03-19 南京信息工程大学 一种超图卷积网络模型及其半监督分类方法
CN110070183A (zh) * 2019-03-11 2019-07-30 中国科学院信息工程研究所 一种弱标注数据的神经网络模型训练方法及装置
CN110197729A (zh) * 2019-05-20 2019-09-03 华南理工大学 基于深度学习的静息态fMRI数据分类方法和装置
CN110287317A (zh) * 2019-06-06 2019-09-27 昆明理工大学 一种基于cnn-dbn的层次多标签医疗问题分类方法
CN110363282A (zh) * 2019-06-06 2019-10-22 中国科学院信息工程研究所 一种基于图卷积网络的网络节点标签主动学习方法和系统
CN110490880A (zh) * 2019-08-16 2019-11-22 重庆邮电大学 一种基于局部视觉线索的髋关节x光图像分割方法及系统
CN111125364A (zh) * 2019-12-24 2020-05-08 华南理工大学 一种基于ernie的远程监督关系抽取的降噪方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9355367B2 (en) * 2013-03-07 2016-05-31 International Business Machines Corporation System and method for using graph transduction techniques to make relational classifications on a single connected network
KR102631031B1 (ko) * 2018-07-27 2024-01-29 삼성전자주식회사 반도체 장치의 불량 검출 방법

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018114799A1 (de) * 2017-06-20 2018-12-20 Nvidia Corporation Halbüberwachtes lernen zur orientierungspunktlokalisierung
CN108665460A (zh) * 2018-05-23 2018-10-16 浙江科技学院 基于组合神经网络和分类神经网络的图像质量评价方法
CN108764330A (zh) * 2018-05-25 2018-11-06 西安电子科技大学 基于超像素分割和卷积反卷积网络的sar图像分类方法
CN109492691A (zh) * 2018-11-07 2019-03-19 南京信息工程大学 一种超图卷积网络模型及其半监督分类方法
CN110070183A (zh) * 2019-03-11 2019-07-30 中国科学院信息工程研究所 一种弱标注数据的神经网络模型训练方法及装置
CN110197729A (zh) * 2019-05-20 2019-09-03 华南理工大学 基于深度学习的静息态fMRI数据分类方法和装置
CN110287317A (zh) * 2019-06-06 2019-09-27 昆明理工大学 一种基于cnn-dbn的层次多标签医疗问题分类方法
CN110363282A (zh) * 2019-06-06 2019-10-22 中国科学院信息工程研究所 一种基于图卷积网络的网络节点标签主动学习方法和系统
CN110490880A (zh) * 2019-08-16 2019-11-22 重庆邮电大学 一种基于局部视觉线索的髋关节x光图像分割方法及系统
CN111125364A (zh) * 2019-12-24 2020-05-08 华南理工大学 一种基于ernie的远程监督关系抽取的降噪方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于神经网络的fMRI数据分类方法研究;邝岳臻;《中国优秀硕士学位论文全文数据库 (信息科技辑)》;20200115(第01期);第I138-2016页 *
基于邻节点和关系模型优化的网络表示学习;冶忠林等;《计算机研究与发展》;20191231;第56卷(第12期);第2562-2577页 *

Also Published As

Publication number Publication date
CN111966823A (zh) 2020-11-20

Similar Documents

Publication Publication Date Title
CN111966823B (zh) 一种面向标签噪声的图节点分类方法
CN105512289B (zh) 基于深度学习和哈希的图像检索方法
CN112241481B (zh) 基于图神经网络的跨模态新闻事件分类方法及系统
CN112418547A (zh) 一种基于gcn-lstm组合模型的公交车站点客流量预测方法
CN109858390A (zh) 基于端到端时空图学习神经网络的人体骨架的行为识别方法
CN105824802A (zh) 一种获取知识图谱向量化表示的方法以及装置
CN112988723A (zh) 一种基于空间自注意力图卷积循环神经网络的交通数据修复方法
CN104834748A (zh) 一种利用基于深度语义排序哈希编码的图像检索方法
CN111125358A (zh) 一种基于超图的文本分类方法
CN112685504B (zh) 一种面向生产过程的分布式迁移图学习方法
CN112231562A (zh) 一种网络谣言识别方法及系统
CN109523021A (zh) 一种基于长短时记忆网络的动态网络结构预测方法
CN110263236B (zh) 基于动态多视图学习模型的社交网络用户多标签分类方法
CN109711883A (zh) 基于U-Net网络的互联网广告点击率预估方法
CN103324954A (zh) 一种基于树结构的图像分类方法及其系统
Huang et al. Research on urban modern architectural art based on artificial intelligence and GIS image recognition system
CN116150509B (zh) 社交媒体网络的威胁情报识别方法、系统、设备及介质
CN113051399A (zh) 一种基于关系型图卷积网络的小样本细粒度实体分类方法
CN117237559B (zh) 面向数字孪生城市的三维模型数据智能分析方法及系统
CN111191099A (zh) 一种基于社交媒体的用户活动类型识别方法
CN110289987B (zh) 基于表征学习的多智能体系统网络抗攻击能力评估方法
AU2021102006A4 (en) A system and method for identifying online rumors based on propagation influence
CN116450850A (zh) 一种基于序列编码器的时空知识图谱补全方法
Zheng et al. Instant graph neural networks for dynamic graphs
CN113793227B (zh) 一种用于社交网络事件的类人智能感知与预测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant