CN110363282A - 一种基于图卷积网络的网络节点标签主动学习方法和系统 - Google Patents

一种基于图卷积网络的网络节点标签主动学习方法和系统 Download PDF

Info

Publication number
CN110363282A
CN110363282A CN201910489364.3A CN201910489364A CN110363282A CN 110363282 A CN110363282 A CN 110363282A CN 201910489364 A CN201910489364 A CN 201910489364A CN 110363282 A CN110363282 A CN 110363282A
Authority
CN
China
Prior art keywords
node
query strategy
strategy
label
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910489364.3A
Other languages
English (en)
Other versions
CN110363282B (zh
Inventor
昝文
周川
胡玥
郭莉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Information Engineering of CAS
Original Assignee
Institute of Information Engineering of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Information Engineering of CAS filed Critical Institute of Information Engineering of CAS
Priority to CN201910489364.3A priority Critical patent/CN110363282B/zh
Publication of CN110363282A publication Critical patent/CN110363282A/zh
Application granted granted Critical
Publication of CN110363282B publication Critical patent/CN110363282B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及一种基于图卷积网络的网络节点标签主动学习方法和系统。该方法包括:1)根据当前带标签节点集合L,采用图卷积网络GCN预测本轮迭代中各节点的标签;2)根据GCN的分类效果更新待标注节点的查询策略,根据查询策略获得相应的待标注节点;3)将根据查询策略得到的待标注节点进行集成,从本轮迭代中的不带标签节点集合U中选出最优的待标注节点进行标注,并加入带标签节点集合L中;4)迭代进行步骤1)~3),直到标注的节点数目达到预先设置的目标数目。所述查询策略包括标签覆盖率查询策略、信息熵查询策略、节点中心性查询策略、信息密度查询策略。本发明能够改善和解决图卷积网络当带标签节点过少时参数更新困难的问题。

Description

一种基于图卷积网络的网络节点标签主动学习方法和系统
技术领域
本发明属于信息技术、社会媒体挖掘技术领域,涉及网络节点标签学习方法,具体涉及一种基于图卷积网络的网络节点标签主动学习方法和系统。
背景技术
随着信息技术的发展、智能手机的普及,我国互联网环境正日益完善,越来越多的人开始使用网络应用。根据第42次《中国互联网络发展状况统计报告》显示,截至2018年6月,我国网民规模已达8.02亿,互联网普及率为57.7%。各类互联网应用深刻影响着人们生活的方方面面,它们改变了人们的沟通、社交、购物、出行、娱乐的方式。规模庞大的网民对种类繁多的互联网应用的深度使用,产生了大量用户交互数据。从被记录的用户交互数据中,可以抽象出一张用户交互拓扑关系图,称之为交互网络,用户本身被表示成拓扑关系图中的节点,其交互表示成边,用户的一些属性表示为成标签。网络节点标签学习问题是指根据交互网络推断用户标签的问题。根据标签的种类不同,网络节点标签学习可以用来进行个性化推荐、精准广告投放、恶意用户检测等有价值的任务,因此研究网络节点标签学习技术具有重大意义。
学术界近年来提出图卷积网络(Graph Convolutional Networks,GCN)(Kipf TN,Welling M.Semi-supervised classification with graph convolutional networks[J].ArXiv preprint arXiv:1609.02907,2016.),由于其良好的性能,让其成为备受关注的网络节点标签学习技术。GCN是一个半监督网络节点学习模型,它以网络结构、网络节点的特征信息和部分节点的标签信息作为输入,输出网络中各个节点标签的预测值。GCN的结构如图1所示,数据在输入和输出之间会交替在若干个隐藏层和激活函数(ReLU)间传递。
用邻接矩阵表示图结构G=(V,E),其中V是网络中节点的集合,E是边的集合,若边(vi,vj)∈E则Ai,j=1,否则Ai,j=0;将网络节点的特征信息表示为特征矩阵其中N是节点特征的维度。GCN网络中信息在各个隐藏层间的传播规则如下:
其中I|V|为维度为节点个数|V|的单位矩阵。W(l)是图卷积网络第l层的可训练的权重矩阵。H(l)是图卷积网络第l层的激活值,第0层的激活值H(0)用节点的特征矩阵F初始化。σ(·)是激活函数,一般隐藏层用ReLU(·)函数,输出层用solftmax(·)函数。令那么对于一个两层的图卷积神经网络的输出变化为如下形式:
GCN用部分已知节点的标签指导模型进行参数学习,在输出层定义了交叉熵损失函数:
其中L为当前带标签的节点集合,vi为L内第i个节点;为vi节点的真实标签,C为标签类别集合,cj为C内第j个类别;I(·)为指示函数。
由于GCN的训练需要利用部分已知节点的标签来指导模型的训练,标签数量的多寡和质量的高低会严重影响GCN的节点标签学习效果。当已知的带标签的节点过少时,需要挑选网络中的其它一些节点进行让专家手工标注,而专家标注节点常常需要较高代价。在这种背景下,现有的一些技术如AGE(Cai H,Zheng V W,Chang K C.-C.Active Learningfor Graph Embedding.2017.arXiv:1705.05085[cs.LG].)和ANRMAB(Gao L,Yang H,ZhouC,et al.Active discriminative network representation learning[C]//Proceedingsof the 27th International Joint Conference on Artificial Intelligence.AAAIPress.2018:2142-2148.)采用了主动学习的框架,通过设计一些查询策略,以较低成本挑选一些信息量高的节点进行标注。
如图2,AGE[3]主要由半监督网络嵌入模块和主动学习查询策略模块两部分构成。半监督网络嵌入模块采用了前面介绍的GCN学习当前标签集合L下的网络嵌入表示,并根据网络嵌入表示预测节点的类别。根据预测节点类别的概率分布可以计算各个分类器对分类结果的不确定度,作为信息熵策略Pentropy(v,U);根据网络的嵌入表示可以计算信息密度,作为信息密度策略Pdensity(v,U);根据图结构计算节点的中心性,作为图中心性策略Pcentrality(v,U)。主动学习查询策略模块对三个策略线性求和作为最终的策略,并将无标签节点集合U中策略得分最高的节点v*进行标注后加入标签集合L。图2中one epoch表示网络中所有的节点都被训练一次,B表示待标注的节点数目,L表示带标签的节点数目。
ANRMAB认为AGE中对不同策略进行线性求和的集成方法不能充分反映各个策略的真实贡献,于是对AGE模型进行了改进,采用强化学习的方法对不同策略进行集成。
半监督的图卷积网络GCN在节点标签较少时,节点参数在模型迭代学习时更新困难,成为图卷积网络性能提升的一个制约瓶颈。下面进行详细说明。
以图3为例,分析了一个具有两个隐藏层的图卷积网络的感受野在网络中的覆盖范围。如图所示,该网络以11个串在一起的节点作为输入,其中有两个节点被标记了不同的标签,以不同的颜色的节点表示。带标签节点的感受野为图中带颜色的区域表示。
图卷积网络的层间更新形式见公式(1),每层输出为归一化的邻接矩阵乘上本层的输入以及一个权重矩阵,这意味着图卷积网络中每个节点的表示,是对周围邻居的加权求和;从另一个角度,可以近似为随机游走的概率转移矩阵因此我们可以将卷积神经网络看做信息在网络中不断进行加权的随机游走。
图卷积网络各层参数更新采用了反向传播算法。由于GCN的目标函数为定义在标签集上的交叉熵损失函数(见公式(3)),梯度仅会沿着带标签节点感受野中的节点进行反向传播。从图3中输入层(图中的x)的颜色我们可以看到,不同被带标签节点的感受野的覆盖程度是不同的:有些没有被覆盖,有些被少部分带标签节点的感受野覆盖,有些被更多带标签节点的感受野覆盖。
由此可见由于带标签节点对其它节点的感受野的覆盖程度不同,会导致GCN在节点标签较少时,部分节点参数在模型迭代学习时更新困难。另外经过上述分析,不难发现如果挑选不同节点进行手工标签标注,对参数更新困难问题会有不同程度的改善。而现有的采用主动学习框架的模型并没有涉及相应的主动查询策略,以挑选出能最大程度改善本问题的节点进行标注。为解决该问题,需要设计针对GCN的参数更新困难问题的主动查询策略,并与AGE和ANRMAB中已有的主动查询策略进行集成。
发明内容
本发明针对上述问题,提供一种基于图卷积网络的网络节点标签主动学习方法和系统。
本发明采用的技术方案如下:
一种基于图卷积网络的网络节点标签主动学习方法,包括以下步骤:
1)根据当前带标签节点集合L,采用图卷积网络GCN预测本轮迭代中各节点的标签;
2)根据图卷积网络GCN的分类效果更新待标注节点的查询策略,根据所述查询策略获得相应的待标注节点;
3)将根据所述查询策略得到的待标注节点进行集成,从本轮迭代中的不带标签节点集合U中选出最优的待标注节点进行标注,并加入带标签节点集合L中;
4)迭代进行步骤1)~3),直到标注的节点数目达到预先设置的目标数目。
进一步地,所述查询策略包括下列中的一种或多种:标签覆盖率查询策略、信息熵查询策略、节点中心性查询策略、信息密度查询策略。
进一步地,步骤3)包括:
3.1)设置本轮迭代中选择各查询策略的查询策略权重向量,对查询策略权重向量进行归一化,得到策略选择概率向量;
3.2)将不带标签节点集合U中各节点在个各查询策略上的得分进行归一化,得到查询概率矩阵;
3.3)根据所述策略选择概率向量和所述查询概率矩阵,计算在每轮中从不带标签节点集合U中选择节点进行标注的集成策略节点选择概率;
3.4)根据所述集成策略节点选择概率的最大值确定最优节点进行标注,并将其从不带标签节点集合U中移入带标签节点集合L中。
进一步地,步骤3)还包括:定义用来调整所述查询策略权重向量的奖励函数,根据奖励调整策略选择过程中对不同策略的偏好程度,即对查询策略权重向量进行更新。
一种基于图卷积网络的网络节点标签主动学习系统,其包括:
图卷积网络模块,负责根据当前带标签节点集合L,采用图卷积网络GCN预测本轮迭代中各节点的标签;
主动查询策略模块,负责根据图卷积网络GCN的分类效果更新待标注节点的查询策略,根据所述查询策略获得相应的待标注节点;所述查询策略包括下列中的一种或多种:标签覆盖率查询策略、信息熵查询策略、节点中心性查询策略、信息密度查询策略;
策略集成模块,负责将根据所述查询策略得到的待标注节点进行集成,从本轮迭代中的不带标签节点集合U中选出最优的待标注节点进行标注,并加入带标签节点集合L中;
迭代模块,负责调用所述图卷积网络模块、所述查询策略模块和所述策略集成模块进行迭代,直到标注的节点数目达到预先设置的目标数目。
本发明的有益效果如下:
本发明提出标签覆盖率这一量化图卷积网络中各节点被带标签节点感受野覆盖程度的指标,并提出标签覆盖率查询策略,能够改善和解决图卷积网络当带标签节点过少时参数更新困难的问题。
附图说明
图1.图卷积网络模型结构示意图。
图2.AGE模型示意图。
图3.一个两层卷积网络的感受野示意图。
图4.本发明的主动图卷积网络模型AGCN的架构图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂,下面通过具体实施例和附图,对本发明做进一步详细说明。
为了解决现有技术的问题,本发明设计了主动图卷积网络模型AGCN。该模型如图4所示。
给定一个社交网络G=(V,E)和初始标签集合,AGCN迭代地进行如下三个步骤,直到标注的节点数目达到提前设置的预算B:图卷积网络GCN由网络结构和当前带标签节点集合L预测网络中各节点的标签;然后计算查询策略对应的最有意义的待标注节点;最后由策略集成模块对各个策略选择的节点进行集成,确定该轮需要从不带标签节点集合U中选出加入带标签节点集合L中的节点。
首先介绍查询策略部分。为解决由带标签节点对其它节点的感受野的覆盖程度不同,所导致的GCN在节点标签较少时部分节点参数更新困难问题,本发明首先定义了标签覆盖率(简称覆盖率)的概念。
定义(覆盖率):节点的覆盖率rcover是图卷积网络中节点在输入层被带标记的感受野覆盖程度的度量,该值越大代表被覆盖程度越高,反之则越低。rcover(vi)的具体形式见公式(4):
其中Pimportance(vj)表示节点vj的重要性程度,可以用节点的度或者PangeRank值表示;pk(vi|vj)表示带标签节点vj经过k层反向传播后,它的感受野对vi覆盖程度,可用从vj出发经k步随机游走到达vj的转移概率表示。
有了覆盖率的概念,我们进一步定义标签覆盖率查询策略。
定义(标签覆盖率查询策略):标签覆盖率查询策略旨在让新标注的节点能够对之前标签覆盖率较低的节点进行覆盖,以解决这些节点参数难以更新的问题,最大化模型预期的改变量。具体形式见公式(5):
其中,Nk(vi)表示vi的k阶邻居;是归一化的覆盖率,其值越低代表被本策略提升的权重越大。
除了标签覆盖率查询策略,下面简要介绍模型用到的另外三个在主动学习领域常用的查询策略。
信息熵是不确定性的度量,信息熵查询策略的设计基于主动学习中降低模型分类不确定性的思想。我们希望过信息熵查询策略,主动标注那些模型不确定如何分类的节点。该策略的定义如下:
定义(信息熵查询策略):给定网络G,邻接矩阵A,特征矩阵F和带标签节点集合L,节点vi的信息熵查询策略φIE(vi;θIE)如公式(6)所示。其中Pic是网络嵌入学习模块GCN的输出,代表候选节点vi属于类别c的概率;θIE={A,F,L}是本策略的参数集合。图4中信息熵查询策略中的Y表示节点到标签集的索引矩阵,Z1、Z2、Z3表示GCN对应v1,v2,v3的输出。
信息熵查询策略可能会选择异常节点,它们对数据不具有代表性。作为补充我们设计了另外两个基于代表性的策略:节点中心性策略和信息密度策略。它们分别定义如下。
定义(节点中心性查询策略):网络结构中处于中心位置的节点往往具有一定代表性,节点在网络中处于中心位置的程度可以用节点中心性来表示。根据对网络中心位置的不同看法,这里本发明基于PageRank中心性,设计了节点中心性查询策略φNC(vi;θNC),具体形式见公式(7):
其中β为阻尼系数;θNC={A}是本策略的参数集合,Aij表示邻接矩阵第i行j列的元素,Ajk表示邻接矩阵第i行k列的元素。
定义(信息密度查询策略):GCN的最后一层在通过激活函数之前,可以认为隐层的矩阵为网络中各节点的表示矩阵,我们可以在表示空间中寻找最优代表性的节点。具体而言,我们在表示空间采用了K-means对非标签集U中的节点计算信息密度,以此作为查询依据。信息密度查询策略φID(vi;θID)的具体形式见(8):
其中f(vi)是节点vi的嵌入表示;是vi所在聚类簇中处于中心位置的节点;dist(·,·)为嵌入空间中的欧式距离。
AGCN是基于迭代的模型,在每个迭代轮次中,主动查询策略模块中的四个查询策略都会推荐一个各自认为最具信息量的节点。而只能选择一个作为本轮次的待标注节点,也就是说需要在每轮从四个查询策略中选择一个。由于四个查询策略分别从不同方面对节点的信息量进行评价,在将它们各自选出的节点加入带标签节点集合L并基于新的带标签节点集合L利用图卷积网络进行分类之前,并不能提前知道各个查询策略对分类效果的影响。另外,即使知道了在每轮对分类效果提升最大的策略,也不能确定它是否在之后的轮次中也会带来最大的分类效果提升。上面的这些问题与强化学习领域中的多臂老虎机(Gittins J,GlazebrookK,Weber R.Multi-armed bandit allocation indices[M].JohnWiley&Sons,2011.)解决的问题非常相似,因此本发明基于多臂老虎机设计了策略集成部分。
为第t轮迭代中选择各策略的查询策略权重向量,其中是第k个策略的权重。wt归一化后得到策略选择概率向量其中参数pmin>0。本发明根据pt选择各个策略,并根据各轮的奖励更新pt
通过将非标签节点集合U中各节点在个各查询策略φ(vi;θ)上的得分归一化后,得到查询概率矩阵(其中K是策略数目,这里为4;|Ut|是第t轮中非标签集合节点个数),表示第k个查询策略对查询节点vj∈Ut的偏好程度。
有了查询策略权重向量和查询概率矩阵的概念,可以表示策略集成模块在每轮中从非标签集合Ut中选择节点进行标注的集成策略节点选择概率它的具体形式见公式(9):
为了评价历史中选择各个策略带来的总收益,本发明定义了对此收益进行评价的奖励。根据奖励,模型可以调整以后策略选择过程中对不同策略的偏好程度,即对查询策略权重向量进行更新。
定义(奖励):参考文献“Beygelzimer A,Dasgupta S,Langford J.Importanceweighted activelearning[J].ArXiv preprint arXiv:0812.4952,2008.”和“Ganti R,Gray A.Upal:Unbiased pool based active learning[C]//Artificial Intelligenceand Statistics.2012:422-431.”中提出的重要性加权技术,本发明定义了用来调整查询策略权重向量wt的奖励函数,如公式(10):
其中,yi是节点vi的真实标签;是网络嵌入学习模块预测的节点vi的标签;τ代表当前迭代的轮次数,yt表示第t步的标签,B表示提前设定的待标注节点数目,Ut表示第t步没有标签的节点结合,I表示指示函数,括号内等号成立时值为1,否则为0。
假设非标签集U中通过公式(9)计算的选择概率最大的节点为v*,推荐该节点的策略为第k个策略,先按照公式(11)计算重要性加权奖励:
然后按照公式(12)更新策略选择权重向量wt的第k个元素
其中,e表示自然对数的基底,即欧拉数,pmin表示策略选择概率的最小值,设置为V表示节点集合,KT表示策略数K*迭代步数的总数T。
至此,本发明提出的基于图卷积网络的网络节点标签主动学习方法AGCN全部介绍完毕,AGCN的整体算法过程如下。
本算法详细流程:
输入:网络结构G=(V,E),网络的邻接矩阵A,节点特征矩阵F,带标签节点集合L及对应标签,不带标签节点集合U,待标注的节点总数B,迭代总次数T=B
输出:模型预测到的各个节点的标签
1.计算网络中各节点的PageRank值;
2.利用公式(7)计算节点中心性查询策略φNC(该值对t=1,...,T保持不变);
3.初始化查询策略权重向量的各个元素其中k=1,...,K;
4.初始化迭代轮次计数器t=1;
5.重复以下6~17步直到t=T;
6.用GCN模型预测本轮的各节点的标签yt
7.根据公式(4)计算当下标签集下各节点的覆盖率;
8.根据公式(5)计算标签覆盖率查询策略φLC
9.根据公式(6)计算信息熵查询策略φIE
10.根据公式(8)计算信息密度查询策略φID
11.对查询策略权重向量wt进行归一化,得到策略选择概率向量pt
12.对各个查询策略在各个节点上的值进行归一化,得到查询概率矩阵Qt
13.根据公式(9)计算集成策略节点选择概率ψt
14.根据ψt的最大值确定最优节点v*进行标注,从U中移入L;
15.根据公式(10)计算奖励rt(vi;yt,τ),按照公式(11)计算重要性加权奖励
16.根据公式(12)更新策略选择权重向量wt得到wt+1
17.令迭代轮次计数器t=t+1;
18.返回t=T+l轮时模型预测到的各个节点的标签。
实验验证:
以三个引用数据集上的分类任务为背景,对本发明提出的基于图卷积网络的网络节点标签主动学习方法AGCN进行验证。
数据集描述如下:
Cora,该数据集是一个科研论文的引用作为交互行为构建的交互网络。该数据集包括2,708篇机器学习领域的论文,总共分为7个类别。论文之间的引用关系构成了一个典型的社交网络,每篇论文包括1,433个特征。
Citeseer,该数据集是另一个科研论文构成的数据集,包含了3,312个论文和它们之间的4,732个引用关系。这些论文一共分为6类,每篇论文包括3,703个特征。
Pubmed,该数据集由19,717篇科研论文和他们之间的44,338个引用构成。这些论文分为3个类别,每篇论文包括500个特征。
数据集的统计信息如下:
表1实验数据集统计信息
数据集 节点数 边数 标签类别数 特征数 标签率
Cora 2,780 5,429 7 l,433 0.050
Citeseer 3,312 4,732 6 3,703 0.036
Pubmed 19,717 44,338 3 500 0.003
为评价AGCN模型的好坏,用AGCN在实验数据集上进行节点标签分类任务,并用评价多分类问题常用的两个评价指标:Micro-Fl与Macro-F1评价模型的好坏。Micro-F1与Macro-F1二者一般具有一致性。
为验证本发明提出的主动网络嵌入模型AGCN的有效性,基于如下思想设置了该模型的对比方法进行对比试验。首先,由于主动网络嵌入问题相关工作较少,还是一个开放性问题。已经提出的两个方法分别为AGE[3]和ANRMAB[4]。由于ANRMAB报告了其效果要好于AGE,在这两个主动网络嵌入方法中我们选取了ANRMAB进行对比。另外,我们方法的主要创新是发现了图卷积网络中存在因标注节点过少引起的参数难以更新问题,并针对性的提出了标签覆盖率查询策略。因此实验设置的对比方法应该重点关注不同策略的相互对比,通过从查询策略集中依次去除各个策略,观察分类性能的变化即可得到不同查询策略的重要程度。
出于上述两点考虑,对比方法设置如下:
1.ANRMAB,该方法和本发明的AGCN模型的主要区别是没有针对网络嵌入学习模块设计对应的查询策略。该对比方法为GACN去掉标签覆盖率查询策略。
2.GACN-entropy,该对比方法为GACN去掉信息熵查询策略。
3.GACN-centrality,该对比方法为GACN去掉节点中心性查询策略。
4.GACN-density,该对比方法为GACN去掉信息密度查询策略。
将训练过程中由不同数目的带标签节点得到嵌入表示分类性能评价指标的均值列为表2,其中在相应评价指标上取得最高值被加粗表示,最低的两个值被加以下划线区分。
表2训练过程中由不同数目的带标签节点进行分类任务得到的分类性能评价指标
Macro-F1和Micro-F1的均值
通过观察实验结果,有如下几点发现:
1.从AGCN中分别去除各个策略后得到的AGCN的变体模型的分类性能都低于采用全部策略的AGCN,这表明了进行多个策略集成选择最终节点的必要性。
2.在不同数据集上,本发明的AGCN模型的分类性能均高于ANRMAB模型,这表明了本发明设计的标签覆盖率查询策略的合理性。
3.在从AGCN中分别去除各个策略后得到的AGCN的变体模型中,去除本发明设计的标签覆盖率查询策略后模型的分类性能相比于AGCN降低最多(或倒数第二多),这进一步表明了本发明设计的标签覆盖率查询策略的合理性。
本发明中,四个查询策略从不同角度出发试图提升分类效果,在模型迭代的过程中,不同的策略对分类效果的影响是不同的,主动查询策略模块会适应性地评估它们的影响,并选择当前来看最优的策略。其中标签覆盖率查询策略是本发明所提出,它主要用来解决图卷积网络中带标签节点数目过少时部分节点参数难以更新的问题。因此当图卷积网络的主要性能瓶颈为该原因导致时,可单独使用该策略。
以上实施例仅用以说明本发明的技术方案而非对其进行限制,本领域的普通技术人员可以对本发明的技术方案进行修改或者等同替换,而不脱离本发明的原理和范围,本发明的保护范围应以权利要求书所述为准。

Claims (10)

1.一种基于图卷积网络的网络节点标签主动学习方法,其特征在于,包括以下步骤:
1)根据当前带标签节点集合L,采用图卷积网络GCN预测本轮迭代中各节点的标签;
2)根据图卷积网络GCN的分类效果更新待标注节点的查询策略,根据所述查询策略获得相应的待标注节点;
3)将根据所述查询策略得到的待标注节点进行集成,从本轮迭代中的不带标签节点集合U中选出最优的待标注节点进行标注,并加入带标签节点集合L中;
4)迭代进行步骤1)~3),直到标注的节点数目达到预先设置的目标数目。
2.根据权利要求1所述的方法,其特征在于,所述查询策略包括下列中的一种或多种:标签覆盖率查询策略、信息熵查询策略、节点中心性查询策略、信息密度查询策略。
3.根据权利要求2所述的方法,其特征在于,所述标签覆盖率查询策略为:
其中,φLC(vi)为节点vi的标签覆盖率查询策略,Nk(vi)表示vi的k阶邻居;是归一化的覆盖率,其值越低代表被本策略提升的权重越大;pk(vi|vj)表示带标签节点vj经过k层反向传播后,其感受野对vi的覆盖程度。
4.根据权利要求2所述的方法,其特征在于,所述信息熵查询策略为:
其中,φIE(vi;θIE)表示节点vi的信息熵查询策略,Pic是网络嵌入学习模块GCN的输出,代表候选节点vi属于类别c的概率;θIE={A,F,L}是本策略的参数集合,其中A为邻接矩阵,F为特征矩阵,L为带标签节点集合。
5.根据权利要求2所述的方法,其特征在于,所述节点中心性查询策略基于PageRank中心性设计,节点vi的节点中心性查询策略φNC(vi;θNC)如下式所示:
其中,β为阻尼系数,θNC={A}是本策略的参数集合,Aij表示邻接矩阵第i行j列的元素,Ajk表示邻接矩阵第j行k列的元素。
6.根据权利要求2所述的方法,其特征在于,所述信息密度查询策略在表示空间采用K-means对非标签集U中的节点计算信息密度,以此作为查询依据,信息密度查询策略φID(vi;θID)为:
其中,f(vi)是节点vi的嵌入表示;是vi所在聚类簇中处于中心位置的节点;dist(·,·)为嵌入空间中的欧式距离。
7.根据权利要求1或2所述的方法,其特征在于,步骤3)包括:
3.1)设置本轮迭代中选择各查询策略的查询策略权重向量,对查询策略权重向量进行归一化,得到策略选择概率向量;
3.2)将不带标签节点集合U中各节点在个各查询策略上的得分进行归一化,得到查询概率矩阵;
3.3)根据所述策略选择概率向量和所述查询概率矩阵,计算在每轮中从不带标签节点集合U中选择节点进行标注的集成策略节点选择概率;
3.4)根据所述集成策略节点选择概率的最大值确定最优节点进行标注,并将其从不带标签节点集合U中移入带标签节点集合L中。
8.根据权利要求4所述的方法,其特征在于,步骤3)还包括:定义用来调整所述查询策略权重向量的奖励函数,根据奖励调整策略选择过程中对不同策略的偏好程度,即对查询策略权重向量进行更新。
9.根据权利要求8所述的方法,其特征在于,所述奖励函数为:
其中, 为集成策略节点选择概率;yi是节点vi的真实标签;是网络嵌入学习模块预测的节点vi的标签;τ代表当前迭代的轮次数;yt表示第t步的标签;B表示提前设定的待标注节点数目;Ut表示第t步没有标签的节点结合;I表示指示函数,括号内等号成立时值为1,否则为0。
10.一种基于图卷积网络的网络节点标签主动学习系统,其特征在于,包括:
图卷积网络模块,负责根据当前带标签节点集合L,采用图卷积网络GCN预测本轮迭代中各节点的标签;
主动查询策略模块,负责根据图卷积网络GCN的分类效果更新待标注节点的查询策略,根据所述查询策略获得相应的待标注节点;所述查询策略包括下列中的一种或多种:标签覆盖率查询策略、信息熵查询策略、节点中心性查询策略、信息密度查询策略;
策略集成模块,负责将根据所述查询策略得到的待标注节点进行集成,从本轮迭代中的不带标签节点集合U中选出最优的待标注节点进行标注,并加入带标签节点集合L中;
迭代模块,负责调用所述图卷积网络模块、所述查询策略模块和所述策略集成模块进行迭代,直到标注的节点数目达到预先设置的目标数目。
CN201910489364.3A 2019-06-06 2019-06-06 一种基于图卷积网络的网络节点标签主动学习方法和系统 Active CN110363282B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910489364.3A CN110363282B (zh) 2019-06-06 2019-06-06 一种基于图卷积网络的网络节点标签主动学习方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910489364.3A CN110363282B (zh) 2019-06-06 2019-06-06 一种基于图卷积网络的网络节点标签主动学习方法和系统

Publications (2)

Publication Number Publication Date
CN110363282A true CN110363282A (zh) 2019-10-22
CN110363282B CN110363282B (zh) 2021-10-26

Family

ID=68215604

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910489364.3A Active CN110363282B (zh) 2019-06-06 2019-06-06 一种基于图卷积网络的网络节点标签主动学习方法和系统

Country Status (1)

Country Link
CN (1) CN110363282B (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111079930A (zh) * 2019-12-23 2020-04-28 深圳市商汤科技有限公司 数据集质量参数的确定方法、装置及电子设备
CN111274425A (zh) * 2020-01-20 2020-06-12 平安科技(深圳)有限公司 医疗影像分类方法、装置、介质及电子设备
CN111291270A (zh) * 2020-03-02 2020-06-16 合肥工业大学 一种基于自适应图卷积网络的属性推理和产品推荐方法
CN111695531A (zh) * 2020-06-16 2020-09-22 天津师范大学 一种基于异构卷积网络的跨域行人再识别方法
CN111858221A (zh) * 2020-07-28 2020-10-30 中国科学院微电子研究所 基于神经网络的高效指令测试序列生成方法及装置
CN111882054A (zh) * 2020-05-27 2020-11-03 杭州中奥科技有限公司 对双方加密关系网络数据交叉训练的方法及相关设备
CN111966823A (zh) * 2020-07-02 2020-11-20 华南理工大学 一种面向标签噪声的图节点分类方法
CN111966865A (zh) * 2020-07-21 2020-11-20 西北大学 利用基于查表子网络的空域图卷积层进行特征提取的方法
CN112231527A (zh) * 2020-12-17 2021-01-15 北京百度网讯科技有限公司 图节点标签信息的预测方法、装置及电子设备
CN112464042A (zh) * 2020-11-25 2021-03-09 平安科技(深圳)有限公司 根据关系图卷积网络的任务标签生成方法及相关装置
CN112529168A (zh) * 2020-12-29 2021-03-19 中国人民解放军国防科技大学 一种基于gcn的属性多层网络表示学习方法
CN113988175A (zh) * 2021-10-27 2022-01-28 支付宝(杭州)信息技术有限公司 聚类处理方法和装置
CN115019891A (zh) * 2022-06-08 2022-09-06 郑州大学 一种基于半监督图神经网络的个体驱动基因预测方法
US11816149B2 (en) 2020-02-11 2023-11-14 Samsung Electronics Co., Ltd. Electronic device and control method thereof

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103927394A (zh) * 2014-05-04 2014-07-16 苏州大学 一种基于svm的多标签主动学习分类方法及系统
CN109492691A (zh) * 2018-11-07 2019-03-19 南京信息工程大学 一种超图卷积网络模型及其半监督分类方法
CN109543708A (zh) * 2018-10-11 2019-03-29 上海交通大学 融合拓扑特征的面向图数据的模式识别方法
CN109726718A (zh) * 2019-01-03 2019-05-07 电子科技大学 一种基于关系正则化的视觉场景图生成系统及方法
US20190139622A1 (en) * 2017-08-03 2019-05-09 Zymergen, Inc. Graph neural networks for representing microorganisms
CN109740106A (zh) * 2019-01-09 2019-05-10 中国人民解放军国防科技大学 基于图卷积神经网络的大规模网络介数逼近方法、存储装置及存储介质
CN109816009A (zh) * 2019-01-18 2019-05-28 南京旷云科技有限公司 基于图卷积的多标签图像分类方法、装置及设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103927394A (zh) * 2014-05-04 2014-07-16 苏州大学 一种基于svm的多标签主动学习分类方法及系统
US20190139622A1 (en) * 2017-08-03 2019-05-09 Zymergen, Inc. Graph neural networks for representing microorganisms
CN109543708A (zh) * 2018-10-11 2019-03-29 上海交通大学 融合拓扑特征的面向图数据的模式识别方法
CN109492691A (zh) * 2018-11-07 2019-03-19 南京信息工程大学 一种超图卷积网络模型及其半监督分类方法
CN109726718A (zh) * 2019-01-03 2019-05-07 电子科技大学 一种基于关系正则化的视觉场景图生成系统及方法
CN109740106A (zh) * 2019-01-09 2019-05-10 中国人民解放军国防科技大学 基于图卷积神经网络的大规模网络介数逼近方法、存储装置及存储介质
CN109816009A (zh) * 2019-01-18 2019-05-28 南京旷云科技有限公司 基于图卷积的多标签图像分类方法、装置及设备

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
HONGYUN CAI等: "Active Learning for Graph Embedding", 《ARXIV》 *
LI GAO等: "Active Discriminative Network Representation Learning", 《PROCEEDINGS OF THE TWENTY-SEVENTH INTERNATIONAL JOINT CONFERENCE ON ARTIFICIAL INTELLIGENCE》 *
虎玉鑫: "基于图卷积神经网络的旅行时间预测方法研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111079930B (zh) * 2019-12-23 2023-12-19 深圳市商汤科技有限公司 数据集质量参数的确定方法、装置及电子设备
CN111079930A (zh) * 2019-12-23 2020-04-28 深圳市商汤科技有限公司 数据集质量参数的确定方法、装置及电子设备
CN111274425A (zh) * 2020-01-20 2020-06-12 平安科技(深圳)有限公司 医疗影像分类方法、装置、介质及电子设备
CN111274425B (zh) * 2020-01-20 2023-08-22 平安科技(深圳)有限公司 医疗影像分类方法、装置、介质及电子设备
WO2021147217A1 (zh) * 2020-01-20 2021-07-29 平安科技(深圳)有限公司 医疗影像分类方法、装置、介质及电子设备
US11816149B2 (en) 2020-02-11 2023-11-14 Samsung Electronics Co., Ltd. Electronic device and control method thereof
CN111291270B (zh) * 2020-03-02 2021-07-27 合肥工业大学 一种基于自适应图卷积网络的属性推理和产品推荐方法
CN111291270A (zh) * 2020-03-02 2020-06-16 合肥工业大学 一种基于自适应图卷积网络的属性推理和产品推荐方法
CN111882054B (zh) * 2020-05-27 2024-04-12 杭州中奥科技有限公司 对双方加密关系网络数据交叉训练的方法及相关设备
CN111882054A (zh) * 2020-05-27 2020-11-03 杭州中奥科技有限公司 对双方加密关系网络数据交叉训练的方法及相关设备
CN111695531A (zh) * 2020-06-16 2020-09-22 天津师范大学 一种基于异构卷积网络的跨域行人再识别方法
CN111966823B (zh) * 2020-07-02 2022-04-22 华南理工大学 一种面向标签噪声的图节点分类方法
CN111966823A (zh) * 2020-07-02 2020-11-20 华南理工大学 一种面向标签噪声的图节点分类方法
CN111966865B (zh) * 2020-07-21 2023-09-22 西北大学 利用基于查表子网络的空域图卷积层进行特征提取的方法
CN111966865A (zh) * 2020-07-21 2020-11-20 西北大学 利用基于查表子网络的空域图卷积层进行特征提取的方法
CN111858221A (zh) * 2020-07-28 2020-10-30 中国科学院微电子研究所 基于神经网络的高效指令测试序列生成方法及装置
CN112464042A (zh) * 2020-11-25 2021-03-09 平安科技(深圳)有限公司 根据关系图卷积网络的任务标签生成方法及相关装置
CN112464042B (zh) * 2020-11-25 2023-07-28 平安科技(深圳)有限公司 根据关系图卷积网络的任务标签生成方法及相关装置
CN112231527B (zh) * 2020-12-17 2021-06-11 北京百度网讯科技有限公司 图节点标签信息的预测方法、装置及电子设备
CN112231527A (zh) * 2020-12-17 2021-01-15 北京百度网讯科技有限公司 图节点标签信息的预测方法、装置及电子设备
CN112529168A (zh) * 2020-12-29 2021-03-19 中国人民解放军国防科技大学 一种基于gcn的属性多层网络表示学习方法
CN113988175A (zh) * 2021-10-27 2022-01-28 支付宝(杭州)信息技术有限公司 聚类处理方法和装置
CN115019891A (zh) * 2022-06-08 2022-09-06 郑州大学 一种基于半监督图神经网络的个体驱动基因预测方法

Also Published As

Publication number Publication date
CN110363282B (zh) 2021-10-26

Similar Documents

Publication Publication Date Title
CN110363282A (zh) 一种基于图卷积网络的网络节点标签主动学习方法和系统
Cortez et al. Using data mining to predict secondary school student performance
Kuo et al. Integration of ART2 neural network and genetic K-means algorithm for analyzing Web browsing paths in electronic commerce
CN111898031B (zh) 一种获得用户画像的方法及装置
CN110555112A (zh) 一种基于用户正负偏好学习的兴趣点推荐方法
US20200379958A1 (en) Dynamic syntactic affinity group formation in a high-dimensional functional information system
CN109766454A (zh) 一种投资者分类方法、装置、设备及介质
Ksieniewicz et al. Data stream classification using active learned neural networks
Alshmrany Adaptive learning style prediction in e-learning environment using levy flight distribution based CNN model
CN107977864A (zh) 一种适用于金融场景的客户洞察方法和系统
Al-Ghazali et al. Antecedents of continuous usage intention of mobile banking services from the perspective of Delone and Mclean model of information system success
CN114998712B (zh) 图像识别方法、存储介质及电子设备
Bagherzadeh et al. Parametric-based neural networks and TOPSIS modeling in land suitability evaluation for alfalfa production using GIS
Dadashpour Moghaddam et al. A GIS-based assessment of urban tourism potential with a branding approach utilizing hybrid modeling
Zhang et al. Application and analysis of artificial intelligence in college students’ career planning and employment and entrepreneurship information recommendation
Hoang et al. A novel time series prediction approach based on a hybridization of least squares support vector regression and swarm intelligence
Pratondo et al. Prediction of Operating System Preferences on Mobile Phones Using Machine Learning
Mc Evoy et al. A review of knowledge management in the public sector: A taxonomy
Mohan et al. What methodology attributes are critical for potential users? understanding the effect of human needs
Zhuge Conflict decision training through multi-space co-operation
Wang et al. Computer supported data-driven decisions for service personalization: a variable-scale clustering method
Saha et al. Reinforcement learning based dialogue management strategy
CN113537731B (zh) 基于强化学习的设计资源能力评估方法
Santos Silva et al. Key destination attributes of behavioural intention: An application of neural networks
Li et al. What Will Be Popular Next? Predicting Hotspots in Two-Mode Social Networks.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant