CN111340187A - 基于对抗注意力机制的网络表征方法 - Google Patents
基于对抗注意力机制的网络表征方法 Download PDFInfo
- Publication number
- CN111340187A CN111340187A CN202010100316.3A CN202010100316A CN111340187A CN 111340187 A CN111340187 A CN 111340187A CN 202010100316 A CN202010100316 A CN 202010100316A CN 111340187 A CN111340187 A CN 111340187A
- Authority
- CN
- China
- Prior art keywords
- network
- noise
- low
- node
- attribute information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012512 characterization method Methods 0.000 title claims abstract description 31
- 230000014509 gene expression Effects 0.000 claims abstract description 72
- 230000006870 function Effects 0.000 claims abstract description 59
- 238000000034 method Methods 0.000 claims abstract description 33
- 238000013507 mapping Methods 0.000 claims abstract description 23
- 238000013528 artificial neural network Methods 0.000 claims description 13
- 238000003062 neural network model Methods 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 claims description 6
- 230000004913 activation Effects 0.000 claims description 5
- 238000002620 method output Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 2
- 238000009826 distribution Methods 0.000 description 14
- 238000005457 optimization Methods 0.000 description 11
- 238000002474 experimental method Methods 0.000 description 7
- 238000012549 training Methods 0.000 description 7
- 230000007547 defect Effects 0.000 description 6
- 238000011478 gradient descent method Methods 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 230000001105 regulatory effect Effects 0.000 description 3
- 238000009827 uniform distribution Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000003012 network analysis Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Devices For Executing Special Programs (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明为基于对抗注意力机制的网络表征方法,该方法包括双映射函数的模型,第一个映射函数为将真实数据的节点属性信息以及网络拓扑信息通过图注意力网络为不同节点对分配不同的权重,将原始网络映射到低维空间得到更精确地真实数据的低维表达;第二个映射函数为通过将得到的真实数据的低维表达与扰动结合得到噪声,输入到生成器中映射成为噪声的节点属性信息以及网络拓扑信息;再将两个函数作为两个元组输入到判别器中进行判别,通过判别器给出的结果进行生成器以及编码器的优化,最终得到鲁棒性好以及能够完整保存原始网络信息的低维表达。该方法采用图注意力网络进行网络表征,考虑不同节点之间的相关程度,更加贴近现实情况,效果更好。
Description
技术领域
本发明的技术方案涉及具有对抗注意力机制的网络表征模型(在低维空间中表达网络特性),以促进后续网络分析任务的实现,如节点分类任务、链接预测等任务,具体地说就是一种基于对抗注意力机制的网络表征方法。
背景技术
随着互联网的不断发展,以互联网为基础的各类平台(如社交平台、电商平台)正在融入人们的生活。用户逐渐从信息的获取者变成了信息的制造者,在社交平台发表言论、在电商平台购买物品成为非常普遍的现象。所有这些行为在互联网中积累了大量的信息,商品推荐、好友推荐等功能根据此信息进行实施,因此对这些信息进行分析变得尤为重要。由于网络中的数据以高维的形式存在,在进行数据分析的过程中将高维数据转换成低维数据是必不可少的阶段,网络表征模型应运而生。网络表征模型是将网络中的高维数据转换到低维空间中,以减少数据分析过程中所产生的时间和空间复杂度。基于对抗机制的网络表征模型是目前应用比较广泛的网络表征方法,它可以在不需要额外获取辅助信息的前提下得出具有较强鲁棒性的网络低维表达。
现有技术中,基于对抗机制的网络表征模型是将高斯先验视为对抗过程的正样本,通过编码器得出的表征结果视为负样本,再将其输入到判别器中进行判别。但是在实际应用中将对抗机制应用到单独的节点表征不能使节点的属性信息得到充分的运用,并且通过对抗机制区分高斯先验和嵌入结果并没有实质性的意义。
因此,在基于对抗学习的网络表征方法中,存在对节点属性信息运用不充分和对模型机制的运用不恰当等缺陷,以及现有技术均未对此方法存在的问题进行改善的缺陷。
发明内容
针对现有技术的不足,本发明所要解决的问题是:提供一种基于对抗注意力机制的网络表征方法,提出了一种双映射函数的模型,一为将真实数据的节点属性信息以及网络拓扑信息通过编码器(图注意力网络)更贴合实际地为不同节点对分配不同的权重,将原始网络映射到低维空间得到更精确地真实数据的低维表达;二是通过将得到的真实数据的低维表达与扰动结合得到噪声,输入到生成器(全连接神经网络)中映射成为噪声的节点属性信息以及网络拓扑信息。再将真实数据的节点属性信息、网络拓扑信息以及得到的低维表达组成关于真实数据的元组,与通过噪声映射出的噪声的节点属性信息、网络拓扑信息以及得到的噪声组成关于噪声数据的元组输入到判别器中进行判别,通过判别器给出的结果进行生成器以及编码器的优化,最终得到鲁棒性较好以及能够完整保存原始网络信息的低维表达,并以此进行后续任务的实现,如链接预测、节点分类等任务。本发明克服了现有技术中存在的节点信息运用不充分以及模型机制运用不恰当的缺陷,以及现有技术均未对此方法存在的问题进行改善的缺陷。
本发明解决该技术问题所采用的技术方案是:一种基于对抗注意力机制的网络表征方法,其特征在于,该方法包括双映射函数的模型,第一个映射函数为将真实数据的节点属性信息以及网络拓扑信息通过图注意力网络为不同节点对分配不同的权重,将原始网络映射到低维空间得到更精确地真实数据的低维表达;第二个映射函数为通过将得到的真实数据的低维表达与扰动结合得到噪声,输入到生成器中映射成为噪声的节点属性信息以及网络拓扑信息;
再将真实数据的节点属性信息、网络拓扑信息以及得到的低维表达组成关于真实数据的元组,与通过噪声映射出的噪声的节点属性信息、网络拓扑信息以及得到的噪声组成关于噪声数据的元组输入到判别器中进行判别,通过判别器给出的结果进行生成器以及编码器的优化,最终得到鲁棒性好以及能够完整保存原始网络信息的低维表达。
第一个映射函数的神经网络模型为公式(6):
公式(6)中,zi代表中心节点i的真实数据的低维表达,xj代表节点属性信息矩阵X中的第j列,αij代表采用图注意力机制后所得i、j两个节点对之间的权重,图注意力网络中所提出的方法称为图注意力机制;Wk为图注意力网络中的权重,K代表采用multi-head个数;Ni代表中心节点i的邻居节点数量;σ为激活函数。
判别器的损失函数为公式(3):
公式(3)中,LD代表判别器的损失函数,采用带权重的交叉熵损失函数,其权重系数设置为E为均值;X,A,Z分别代表原始网络真实数据的节点属性信息,网络拓扑信息以及真实数据的低维表达;D(Z,(X||A))表示判别器对原始网络相关数据的判别结果;X',A',Z'分别代表通过噪声重构出的噪声的节点属性信息,网络拓扑信息以及噪声数据,D(Z',(X'||A'))表示判别器对噪声相关数据的判别结果;
生成器的损失函数LG由LA、LX两部分构成,各部分表达式为公式(5):
M代表着生成器的输出,也就是A'和X'的总和;p(A'|M)代表条件概率;
编码器损失函数LE的表达式为公式(9):
LE=E[dist((X||A),(X'||A'))] (9)
dist为求(X||A)与(X'||A')两个元组差距的函数。
上述判别器、生成器和编码器通过梯度下降的方式进行优化。
上述一种基于对抗注意力机制的网络表征方法,其中数据的收集以及处理包括公式的计算是本领域的相关人员应该掌握的。
与现有技术相比,本发明的有益效果是:
本发明具有如下实质性特点和显著进步:
(1)针对网络表征任务的传统网络表征模型结果缺乏鲁棒性的问题,本发明提供一种基于对抗注意力机制的网络表征模型,该方法将图注意力网络作为编码器,真实数据通过编码器进行嵌入得到真实数据的低维表达,将生成噪声通过生成器生成噪声的节点属性信息以及网络拓扑信息,通过判别器对两个元组进行判别,最后输出真实数据具有鲁棒性的低维表达,并据此进行节点聚类、链接预测等后续任务,提高任务的准确性。
(2)论文《Adversarially Regularized Graph autoencoder for GraphEmbedding》(Shirui Pan,Ruiqi hu,Guodong Long,Jing Jiang.In Proceedings of theTwenty-Seventh International Joint Conference on Artificial Intelligence,IJCAI2018.),将自动编码器与生成式对抗网络进行结合,主要的模型包括编码器、解码器、判别器。其中,采用图卷积神经网络作为编码器,通过结合节点的属性信息以及拓扑信息获取网络的低维表达;通过设置高斯分布作为先验分布,将得到的低维表达与先验分布输入到判别器中进行判别。根据现实生活中不同节点对间存在不同的重要程度可知图卷积网络以节点度相关的固定值进行节点间信息传播的机制是不合理的;同时,人工设定某一确定的先验分布使编码器得出的低维表达与之相似,做法仍存在不合理性(生成的低维表达未知,不确定,而人为设定的分布已知,确定,二者矛盾)。
与之相比,本发明实质性的区别为考虑了两个映射函数,一为从真实数据通过编码器得到真实数据的低维表达;二为生成噪声通过生成器生成噪声节点的属性信息以及拓扑信息。经过反复的实验验证,本发明的方法优于《Adversarially Regularized Graphautoencoder for Graph Embedding》中所提出的方法。本发明人团队在前期的研究成果上,经过进一步艰辛研究和反复实验才获得本发明的“基于对抗注意力机制的网络表征方法,这绝非是容易实现的。”
(3)本发明克服了现有技术中存在的对节点属性信息以及拓扑信息运用不充分和对模型机制运用不恰当等缺陷,且现有技术均未对此方法存在的问题进行改善的缺陷。本申请的充分性体现在在判别器的输入中,共同输入原始网络的网络拓扑信息、节点属性信息以及所得的低维表达,增加了两个不同元组对比的全面性;现有模型机制中不恰当的地方是利用图卷积神经网络进行网络表征,其缺点是在进行信息传播的过程中节点之间的权重固定,与节点间的度相关;本发明中采用图注意力网络进行网络表征,由于图注意力网络考虑不同节点之间的相关程度,更加贴近现实情况,所得效果更好。
附图说明
下面结合附图和实施例对本发明进一步说明。
图1是本发明方法的总体流程示意图。
具体实施方式
图1所示实施例表明,本发明方法的总体流程是:
(1)网络中节点数据的收集,包括节点属性信息和网络拓扑信息;
(2)将节点属性信息和网络拓扑信息输入到编码器中;
(3)生成真实数据的低维表达;
(4)将生成噪声采样样本作为其低维表达输入到生成器中;
(5)生成噪声的节点属性信息以及网络拓扑信息;
(6)将真实数据的节点属性信息以及网络拓扑信息、真实数据的低维表达与噪声的低维表达、噪声的节点属性信息以及网络拓扑信息两个元组输入到判别器中;
(7)判别器输出0-1之内取值的结果;
(8)通过梯度下降方法对生成器、编码器以及判别器进行优化直到最大训练步骤(提前达到提前结束,最大训练步骤一般设置为一万以上);
(9)根据具有鲁棒性的真实数据低维表达进行节点聚类、链接预测等后续任务。
本发明用于获取网络低维表达的基于对抗注意力机制的网络表征方法的具体步骤如下:
第一步,网络中节点数据的收集:
从待表征的网络中提取出节点的属性信息以及网络的拓扑信息,收集网络中节点数据,将真实数据所提取出的节点属性信息和网络拓扑信息分别用X和A表示;
第二步,结合收集的数据进行神经网络的训练与优化:
2.1)使用图注意力网络对收集数据进行网络表征:
将第一步提取的真实数据的节点属性信息和网络拓扑信息输入到图注意网络(图注意力网络可参见发表在2018年ICLR会议上的《Graph Attention Networks》论文,简称GAT)之中,即编码器,通过编码器为不同节点对分配不同的权重,将原始网络映射到低维空间得到真实数据的低维表达Z,此为第一个映射函数,并设定网络表征结构优化迭代的最大值;
将真实数据所提取出的节点属性信息X,通过编码器进行网络嵌入(网络表征即网络嵌入,是本领域所研究的问题,主要是以分析大型网络特性为背景,致力于将网络中各个节点的高维、稀疏属性压缩到低维、连续空间,以便后续任务的进行),生成真实数据的低维表达Z,第一个映射函数的神经网络模型为公式(6):
公式(6)中,zi代表中心节点i的真实数据的低维表达,xj代表节点属性信息矩阵X中的某一列,αij代表采用图注意力机制后所得i、j两个节点对之间的权重,图注意力网络中所提出的方法称为图注意力机制;Wk为图注意力网络中的权重,K代表采用multi-head个数;Ni代表中心节点i的邻居节点数量;σ为激活函数;
2.2)从噪声中采样数据点:
采用在步骤2.1)所得真实数据的低维表达Z上增加扰动(该扰动为设定的一个固定的分布,可以为高斯分布,在此固定分布中选择随机噪声作为扰动),扰动与真实数据的低维表达Z相加生成新的噪声的方式去替代将高斯分布或均匀分布直接视为噪声的原始方式,然后在生成的噪声中采样出n个样本{z'1,z'2,......,z'n}构成重构噪声,n不大于真实数据的低维表达的样本数量;
2.3)重构噪声的节点属性信息以及网络拓扑信息:
将步骤2.2)获得的重构噪声视为噪声的低维表达,将噪声的低维表达作为生成器输入,生成器输出噪声的节点属性信息以及网络拓扑信息,此为第二个映射函数,第二个映射函数的神经网络模型为:
X'=g(Wz'+b)
A'=sigmoid(z'z'T) (1)
在公式(1)中,z'代表噪声的低维表达,X'代表噪声的节点属性信息,A'代表噪声的网络拓扑信息,W为全连接神经网络中的权重,b为神经网络中的偏置;
2.4)计算损失函数:
将噪声、噪声的节点属性信息及网络拓扑信息与真实数据的节点属性信息及网络拓扑信息、真实数据低维表达两个元组作为判别器输入,则判别器的损失函数为公式(3):
公式(3)中,LD代表判别器的损失函数,采用带权重的交叉熵损失函数,其权重系数设置为E为均值;X,A,Z分别代表原始网络真实数据的节点属性信息,网络拓扑信息以及真实数据的低维表达;D(Z,(X||A))表示判别器对原始网络相关数据的判别结果;X',A',Z'分别代表通过噪声重构出的噪声的节点属性信息,网络拓扑信息以及噪声数据,D(Z',(X'||A'))表示判别器对噪声相关数据的判别结果;
生成器的损失函数LG由LA、LX两部分构成,各部分表达式为公式(5):
M代表着生成器的输出,也就是A'和X'的总和;A'和X'代表根据重构噪声得出的噪声的网络拓扑信息以及节点属性信息,p(A'|M)代表条件概率,E为均值;
编码器损失函数的表达式为公式(9):
LE=E[dist((X||A),(X'||A'))] (9)
X代表原始网络真实数据的节点属性信息,A代表网络拓扑信息,X'代表通过噪声重构出的噪声的节点属性信息,A'代表通过噪声重构出的网络拓扑信息,E代表均值,dist为求(X||A)与(X'||A')两个元组差距的函数,其中衡量二者之间差距的函数形式有很多种,在本实验中采用交叉熵损失函数。
2.5)判别器、生成器和编码器的优化:
通过梯度下降的方式分别对判别器、生成器和编码器进行优化,
判别器的优化公式为公式(4):
生成器的优化公式为公式(7):
编码器的优化公式为公式(2):
第三步,通过优化后判别器给出的结果进行生成器以及编码器的优化,最终得到鲁棒性较好以及能够完整保存的原始网络信息的低维表达,至此完成基于对抗注意力机制的网络嵌入任务。
采用本发明方法输出能够完整保存的原始网络信息的低维表达,其更贴合实际,能用于进行节点分类、链接预测等后续任务,提高后续任务的准确性。
真实数据的低维表达为矩阵形式,例N×F维,其中N表示共有N个节点,F表示每个节点的维度,噪声样本的数量n不大于N。进行节点分类任务时,利用softmax函数作用到每个节点上,输出的结果满足各个维度相加为1,将其中某个维度最大的数值作为该节点的类别。
本发明方法中不需要设置先验分布,而是通过为所得真实数据的低维表达增加扰动来生成噪声,再根据生成噪声进行属性重构以及拓扑重构,克服了现有技术中通过提前设定固定的先验分布,再利用生成式对抗机制使低维表达与先验分布相似而与真实情况不合理的现象。同时本申请使用一个多头注意力网络需要训练的参数数量适宜,不容易出现过拟合现象。
本发明方法主要是在图卷积网络(GCN)的基础上对网络表征的方法进行研究,将图注意力网络与生成式对抗网络融合实现对网络数据集的融合处理,其中网络指社交网络、论文引用网络等,每个节点之间不存在图像中像素与像素之间紧密连接的形式,其节点之间存在着不同的邻居,不同节点的属性信息也不尽相同,增加了网络表征的困难性。
本发明中采用的图注意力机制的运算方式为masked graph attention,是指注意力的运算仅在相邻节点之间运行。GAT设定仅计算中心节点i与一阶邻居节点之间的attention系数,相当于隐式调用网络拓扑信息。
为保证原始图信息运用的更加充分以及判别器判别真假样本时对比信息更加全面,本发明采用互信息的形式作为判别器的输入。在本发明中采用最简单的将多类信息进行级联的互信息构造方式。在原始的生成式对抗网络中,判别器的输入仅为一项,而在本实验中,为了扩大信息的对比面,采用互信息的形式作为判别器的输入,互信息可以看作是一个随机变量中包含的关于另一个随机变量的信息量。在本实验中将X和A、Z这三方面的信息级联起来,就是对这三种信息做了一个拼接,输入到判别器中。
实施例1
本实施例基于对抗注意力机制的网络表征方法应用于链接预测任务上,通过基于对抗注意力机制的网络表征方法学习出具有鲁棒性强的低维表达进而进行链接预测任务,实验中所作的任务是链接预测任务,是指依据最终输出的低维表达预测节点对之间是否存在连接边,在现实网络中的应用,本实施例以论文引用网络为例,若论文为节点,那么链接预测就是预测论文与论文之间是否存在联系,当论文之间有共同作者或者内容相关则预测论文之间有连接边。具体步骤(参见图1)如下:
第一步,网络中节点数据的收集:
所需的数据需要从网络中提取出节点属性信息以及网络拓扑信息,分别用X和A表示。
第二步,结合收集的数据进行神经网络的训练与优化:
第2.1步,使用图注意力网络对收集数据进行网络表征:
将所收集网络中节点属性信息与网络拓扑信息输入到图注意力网络之中,即编码器,得出真实数据的低维表达,并且设定网络结构优化迭代的最大值。
第2.2步,对判别器进行训练:
1)从噪声中采样数据点:
本发明中采用在所得低维表达上增加扰动生成新的噪声的方式去替代直接将高斯分布或均匀分布视为噪声的原始方法,然后在生成噪声中采样出n个样本{z1',z'2,......,z'n},扰动采用通过高斯分布给出的随机噪声。
2)重构噪声节点的属性表达以及拓扑结构:
在生成噪声中采样出的样本视作其低维表达,作为生成器输入,生成器输出噪声节点属性信息以及网络拓扑信息,神经网络模型为:
X'=g(Wz'+b)
A'=sigmoid(z'z'T) (1)
在公式(1)中,z'代表噪声的低维表达,X'代表噪声的节点属性信息,A'代表噪声的网络拓扑信息,W为全连接神经网络中的权重参数,b为全连接神经网络中的偏置。
3)计算真实数据的低维表达:
将真实数据所提取出的节点属性信息X,通过编码器进行网络嵌入,生成真实数据的低维表达,网络模型为:
公式(6)中,zi代表中心节点i的真实数据的低维表达,xj代表节点属性信息矩阵X中的第j列,αij代表采用图注意力机制后所得i、j两个节点对之间的权重,图注意力网络中所提出的方法称为图注意力机制;Wk为图注意力网络中的权重,K代表采用multi-head个数;Ni代表中心节点i的邻居节点数量;σ为激活函数。
4)计算损失函数:
本方法中将噪声的低维表达、噪声的节点属性信息、网络拓扑信息以及真实数据的节点属性信息、网络拓扑信息、真实数据的低维表达两个元组作为判别器输入,因此,判别器的损失函数为如下公式(3)所示:
LD代表判别器的损失函数,采用带权重的交叉熵损失函数,其权重系数设置为E代表均值;X,A,Z分别代表原始网络真实数据的节点属性信息,网络拓扑信息以及真实数据的低维表达;D(Z,(X||A))表示判别器对原始网络相关数据的判别结果;X',A',Z'分别代表通过噪声重构出的噪声的节点属性信息,网络拓扑信息以及噪声数据,D(Z',(X'||A'))表示判别器对噪声相关数据的判别结果;
5)判别器优化:
通过梯度下降的方法进行优化,如下公式(4)所示:
其中损失函数为交叉熵函数。
第2.3步,对生成器、编码器进行训练与优化:
1)从噪声中采样数据点:
本发明中采用在所得低维表达上增加扰动生成新的噪声的方式去替代将高斯分布或均匀分布视为噪声的原始方法,然后在生成噪声中采样出n个样本{z'1,z'2,......,z'n}。
2)重构噪声节点的属性表达以及拓扑结构:
在生成噪声中采样出的样本视作其低维表达,作为生成器输入,生成器输出噪声节点的属性信息以及拓扑信息,神经网络模型为:
X'=g(Wz'+b)
A'=sigmoid(z'z'T) (5)
在公式(5)中,z'代表噪声节点的低维表达,X'代表噪声节点的属性信息,A'代表噪声节点的拓扑信息,W为神经网络中的权重参数,b为神经网络中的偏置。
3)计算真实数据的低维表达:
公式(6)中,zi代表中心节点i的真实数据的低维表达,xj代表节点属性信息矩阵X中的第j列,αij代表采用图注意力机制后所得i、j两个节点对之间的权重,图注意力网络中所提出的方法称为图注意力机制;Wk为图注意力网络中的权重,K代表采用multi-head个数;Ni代表中心节点i的邻居节点数量;σ为激活函数。
上述三步可以直接使用判别器训练优化时所给出的两元组数据。
4)计算损失函数:
生成器的损失函数由以下两部分构成:
M代表着生成器的输出,A'以及X'代表着噪声的拓扑信息以及属性信息。
5)生成器优化:
通过梯度下降的方法进行生成器的优化,如下公式所示:
6)编码器损失函数:
编码器的损失函数为:
LE=E[dist((X||A),(X'||A'))] (9)
7)编码器优化:
通过梯度下降的方法进行编码器的优化,如下公式所示:
通过优化后判别器给出的结果进行生成器以及编码器的优化,最终得到鲁棒性较好以及能够完整保存的原始网络信息的低维表达,并将其输入到编写好的链接预测函数中。至此完成基于对抗注意力机制的链接预测任务。
链接预测任务
模型设定:
编码器:两层图注意力网络,第一层multi-head个数为8,第二层multi-head个数为1。
Learning_rate=0.008,dropout=0.8,batch_size=1,nb_epoch=10000
生成器:三层全连接网络。
判别器:三层全连接网络。Discriminator_learning_rate=0.0095.
在相同条件下,对现有技术《Adversarially Regularized Graph Autoencoderfor Graph Embedding》(ARGA)和本申请分别在三个数据集上进行对比,得到的对比实验结果如下表:
经测试,在相同条件下,本申请中链接预测结果:AUC系数增长4.53%,AP系数增长3.19%。
上述实施例中数据的收集以及处理包括公式的计算是本领域的相关人员应该掌握的。
本发明未述及之处适用于现有技术。
Claims (6)
1.一种基于对抗注意力机制的网络表征方法,其特征在于,该方法包括双映射函数的模型,第一个映射函数为将真实数据的节点属性信息以及网络拓扑信息通过图注意力网络为不同节点对分配不同的权重,将原始网络映射到低维空间得到更精确地真实数据的低维表达;第二个映射函数为通过将得到的真实数据的低维表达与扰动结合得到噪声,输入到生成器中映射成为噪声的节点属性信息以及网络拓扑信息;
再将真实数据的节点属性信息、网络拓扑信息以及得到的低维表达组成关于真实数据的元组,与通过噪声映射出的噪声的节点属性信息、网络拓扑信息以及得到的噪声组成关于噪声数据的元组输入到判别器中进行判别,通过判别器给出的结果进行生成器以及编码器的优化,最终得到鲁棒性好以及能够完整保存原始网络信息的低维表达。
3.根据权利要求1所述的网络表征方法,其特征在于,第二个映射函数中真实数据的低维表达Z与扰动结合是指,扰动与真实数据的低维表达Z相加生成新的噪声,然后在生成的噪声中采样出n个样本{z′1,z′2,......,z′n}构成重构噪声,n不大于真实数据的低维表达的样本数量;
将重构噪声视为噪声的低维表达,将噪声的低维表达作为生成器输入,生成器输出噪声的节点属性信息以及网络拓扑信息,此为第二个映射函数,第二个映射函数的神经网络模型为:
X'=g(Wz'+b)
A'=sigmoid(z'z'T) (1)
在公式(1)中,z'代表噪声的低维表达,X'代表噪声的节点属性信息,A'代表噪声的网络拓扑信息,W为全连接神经网络中的权重,b为全连接神经网络中的偏置。
4.根据权利要求1所述的网络表征方法,其特征在于,判别器的损失函数为公式(3):
公式(3)中,LD代表判别器的损失函数,采用带权重的交叉熵损失函数,其权重系数设置为E为均值;X,A,Z分别代表原始网络真实数据的节点属性信息,网络拓扑信息以及真实数据的低维表达;D(Z,(X||A))表示判别器对原始网络相关数据的判别结果;X',A',Z'分别代表通过噪声重构出的噪声的节点属性信息,网络拓扑信息以及噪声数据,D(Z',(X'||A'))表示判别器对噪声相关数据的判别结果;
生成器的损失函数LG由LA、LX两部分构成,各部分表达式为公式(5):
M代表着生成器的输出,也就是A'和X'的总和;p(A'|M)代表条件概率;
编码器损失函数LE的表达式为公式(9):
LE=E[dist((X||A),(X'||A'))] (9)
dist为求(X||A)与(X'||A')两个元组差距的函数。
5.根据权利要求4所述的网络表征方法,其特征在于,上述判别器、生成器和编码器通过梯度下降的方式进行优化。
6.根据权利要求1-5任一所述的网络表征方法,其特征在于,该方法输出能够完整保存的原始网络信息的低维表达用于节点分类或链接预测任务中。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010100316.3A CN111340187B (zh) | 2020-02-18 | 2020-02-18 | 基于对抗注意力机制的网络表征方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010100316.3A CN111340187B (zh) | 2020-02-18 | 2020-02-18 | 基于对抗注意力机制的网络表征方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111340187A true CN111340187A (zh) | 2020-06-26 |
CN111340187B CN111340187B (zh) | 2024-02-02 |
Family
ID=71185481
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010100316.3A Active CN111340187B (zh) | 2020-02-18 | 2020-02-18 | 基于对抗注意力机制的网络表征方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111340187B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112286996A (zh) * | 2020-11-23 | 2021-01-29 | 天津大学 | 一种基于网络链接和节点属性信息的节点嵌入方法 |
CN112330952A (zh) * | 2020-09-14 | 2021-02-05 | 浙江工业大学 | 一种基于生成式对抗网络的交通流预测方法 |
CN113642704A (zh) * | 2021-08-02 | 2021-11-12 | 上海明略人工智能(集团)有限公司 | 图特征衍生方法、系统、存储介质及电子设备 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108010514A (zh) * | 2017-11-20 | 2018-05-08 | 四川大学 | 一种基于深度神经网络的语音分类方法 |
CN108564611A (zh) * | 2018-03-09 | 2018-09-21 | 天津大学 | 一种基于条件生成对抗网络的单目图像深度估计方法 |
US20190130212A1 (en) * | 2017-10-30 | 2019-05-02 | Nec Laboratories America, Inc. | Deep Network Embedding with Adversarial Regularization |
CN110288537A (zh) * | 2019-05-20 | 2019-09-27 | 湖南大学 | 基于自注意力的深度生成式对抗网络的人脸图像补全方法 |
WO2020020088A1 (zh) * | 2018-07-23 | 2020-01-30 | 第四范式(北京)技术有限公司 | 神经网络模型的训练方法和系统以及预测方法和系统 |
-
2020
- 2020-02-18 CN CN202010100316.3A patent/CN111340187B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190130212A1 (en) * | 2017-10-30 | 2019-05-02 | Nec Laboratories America, Inc. | Deep Network Embedding with Adversarial Regularization |
CN108010514A (zh) * | 2017-11-20 | 2018-05-08 | 四川大学 | 一种基于深度神经网络的语音分类方法 |
CN108564611A (zh) * | 2018-03-09 | 2018-09-21 | 天津大学 | 一种基于条件生成对抗网络的单目图像深度估计方法 |
WO2020020088A1 (zh) * | 2018-07-23 | 2020-01-30 | 第四范式(北京)技术有限公司 | 神经网络模型的训练方法和系统以及预测方法和系统 |
CN110288537A (zh) * | 2019-05-20 | 2019-09-27 | 湖南大学 | 基于自注意力的深度生成式对抗网络的人脸图像补全方法 |
Non-Patent Citations (3)
Title |
---|
娄燕;何汉武;卢永明;: "虚拟驾驶员的注意力行为建模", 微计算机信息, no. 06 * |
张天龙;韩立新;: "基于全局与局部相融合的方面注意力推荐模型", 中国科技论文, no. 11 * |
才轶;徐圆;朱群雄;: "基于自联想神经网络的数据滤波与应用", 计算机与应用化学, no. 05 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112330952A (zh) * | 2020-09-14 | 2021-02-05 | 浙江工业大学 | 一种基于生成式对抗网络的交通流预测方法 |
CN112330952B (zh) * | 2020-09-14 | 2021-10-29 | 浙江工业大学 | 一种基于生成式对抗网络的交通流预测方法 |
CN112286996A (zh) * | 2020-11-23 | 2021-01-29 | 天津大学 | 一种基于网络链接和节点属性信息的节点嵌入方法 |
CN113642704A (zh) * | 2021-08-02 | 2021-11-12 | 上海明略人工智能(集团)有限公司 | 图特征衍生方法、系统、存储介质及电子设备 |
Also Published As
Publication number | Publication date |
---|---|
CN111340187B (zh) | 2024-02-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111368074B (zh) | 一种基于网络结构和文本信息的链路预测方法 | |
CN107516110B (zh) | 一种基于集成卷积编码的医疗问答语义聚类方法 | |
CN111222332B (zh) | 一种结合注意力网络和用户情感的商品推荐方法 | |
Ma et al. | Graph classification based on structural features of significant nodes and spatial convolutional neural networks | |
CN111340187A (zh) | 基于对抗注意力机制的网络表征方法 | |
CN112417219A (zh) | 基于超图卷积的超边链接预测方法 | |
CN111127146B (zh) | 基于卷积神经网络与降噪自编码器的信息推荐方法及系统 | |
CN108563755A (zh) | 一种基于双向循环神经网络的个性化推荐系统及方法 | |
CN111709518A (zh) | 一种基于社区感知和关系注意力的增强网络表示学习的方法 | |
CN113378048B (zh) | 一种基于多视角知识图谱注意力网络的个性化推荐方法 | |
CN109389171B (zh) | 基于多粒度卷积降噪自动编码器技术的医疗图像分类方法 | |
CN112529184B (zh) | 融合领域知识与多源数据的工业过程优化决策方法 | |
CN112487193B (zh) | 一种基于自编码器的零样本图片分类方法 | |
CN113378047A (zh) | 一种基于多方面增强的图神经网络推荐方法 | |
CN112559764A (zh) | 一种基于领域知识图谱的内容推荐方法 | |
CN109740106A (zh) | 基于图卷积神经网络的大规模网络介数逼近方法、存储装置及存储介质 | |
Wu et al. | Optimized deep learning framework for water distribution data-driven modeling | |
CN115952424A (zh) | 一种基于多视图结构的图卷积神经网络聚类方法 | |
CN114942998B (zh) | 融合多源数据的知识图谱邻域结构稀疏的实体对齐方法 | |
CN112667920A (zh) | 基于文本感知的社交影响力预测方法、装置及设备 | |
CN113761359A (zh) | 数据包推荐方法、装置、电子设备和存储介质 | |
CN114580707A (zh) | 一种多特征融合产品的情感趋势预测模型、建立方法及预测方法 | |
CN110289987B (zh) | 基于表征学习的多智能体系统网络抗攻击能力评估方法 | |
CN114036298B (zh) | 一种基于图卷积神经网络与词向量的节点分类方法 | |
CN113868537A (zh) | 一种基于多行为会话图融合的推荐方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |