CN109753589A - 一种基于图卷积网络的图可视化方法 - Google Patents
一种基于图卷积网络的图可视化方法 Download PDFInfo
- Publication number
- CN109753589A CN109753589A CN201811432008.XA CN201811432008A CN109753589A CN 109753589 A CN109753589 A CN 109753589A CN 201811432008 A CN201811432008 A CN 201811432008A CN 109753589 A CN109753589 A CN 109753589A
- Authority
- CN
- China
- Prior art keywords
- node
- network
- nodes
- vector
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 27
- 239000013598 vector Substances 0.000 claims abstract description 66
- 238000009826 distribution Methods 0.000 claims description 17
- 239000011159 matrix material Substances 0.000 claims description 12
- 238000013528 artificial neural network Methods 0.000 claims description 8
- 238000005295 random walk Methods 0.000 claims description 8
- 238000005070 sampling Methods 0.000 claims description 8
- 238000007794 visualization technique Methods 0.000 claims description 6
- 238000005457 optimization Methods 0.000 claims description 5
- 238000010586 diagram Methods 0.000 claims description 4
- 238000012549 training Methods 0.000 claims description 4
- XHEFDIBZLJXQHF-UHFFFAOYSA-N fisetin Chemical compound C=1C(O)=CC=C(C(C=2O)=O)C=1OC=2C1=CC=C(O)C(O)=C1 XHEFDIBZLJXQHF-UHFFFAOYSA-N 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 2
- 238000012800 visualization Methods 0.000 abstract description 6
- 238000003780 insertion Methods 0.000 abstract 4
- 230000037431 insertion Effects 0.000 abstract 4
- 230000006870 function Effects 0.000 description 27
- 235000019580 granularity Nutrition 0.000 description 14
- 230000004913 activation Effects 0.000 description 7
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 4
- 230000002776 aggregation Effects 0.000 description 3
- 238000004220 aggregation Methods 0.000 description 3
- 238000007418 data mining Methods 0.000 description 3
- 239000002245 particle Substances 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000003058 natural language processing Methods 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000003012 network analysis Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000006116 polymerization reaction Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 102000004169 proteins and genes Human genes 0.000 description 1
- 108090000623 proteins and genes Proteins 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000009827 uniform distribution Methods 0.000 description 1
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于图卷积网络的图可视化方法，其步骤包括：1)对于目标领域的网络G＝(V，E)，将网络G中的节点嵌入到一个低维欧式空间中，得到网络G的低维嵌入向量；所述低维嵌入向量包含网络G中节点的特征信息和网络G的拓扑结构信息；其中，V是节点集合，E是边集合；2)将所述低维嵌入向量构造成一张K近邻图，即KNN图；3)基于概率模型将所述KNN图在二维空间中绘制出来。本发明学习到的嵌入向量同时保留了节点的结构信息和特征信息，可以对可视化结果进行粒度化调整。
Description
技术领域
本发明属于网络嵌入-网络可视化技术领域，涉及一种基于图卷积网络的图可视化方法。
背景技术
随着大数据时代的到来，全球信息数据量呈爆炸式增长。网络成为表达数据之间复杂关系的重要形式，在信息世界中无处不在。Facebook、微信等社交媒体构成了社交网络；生物中的蛋白质构成了高分子网络；各类通讯媒介构成了通信网络；智能硬件之间构成了物联网等等。很多网络的节点除了互相连接以外，还附加有丰富的文本、图像、音视频等多媒体信息，形成了典型的复杂信息网络。通过对复杂网络进行表示并进行可视化绘制，可以宏观分析网络的数据分布情况，包括聚类、分类等，为后续网络分析任务提供技术支撑。
如果要可视化网络首先需要对网络进行表示，包括节点的拓扑结构信息和特征信息。传统的网络表示方案是通过建立邻接矩阵表示网络结构，假设网络G＝(V,E)，其中V是节点集合，E是边集合，网络的邻接矩阵定义为A∈|V|×|V|,其中Aij＝1如果(vi,vj)∈E,否则Aij＝0的。随着网路规模不断扩大，邻接矩阵占用大量的存储空间，而且其中的大部分元素都是0，面临严重的稀疏性问题。
近些年来，随着以深度学习为代表的特征学习技术在自然语言处理领域的广泛应用，研究者开始探索面向网络的特征表示方案，即类似于自然语言处理中的词向量嵌入技术(word2vec,参考Mikolov T,Chen K,Corrado G,et al.Efficient estimation of wordrepresentations in vector space[J].arXiv preprint arXiv:1301.3781,2013.)，将网络节点嵌入到低维欧式空间中，即用低维稠密向量表示。
Local Linear Embedding(参考Roweis S T,Saul L K.Nonlineardimensionality reduction by locally linear embedding[J].science,2000,290(5500):2323-2326.)、Laplacian Eigenmap(参考Belkin M,Niyogi P.Laplacianeigenmaps and spectral techniques for embedding and clustering[C]//Advancesin neural information processing systems.2002:585-591.)是基于矩阵分解的方法。LLE算法的输入是一个邻接矩阵，然后计算出每个节点的局部重建权值矩阵，最后推导出特征值分解问题，进而计算节点的低维表示。Laplacian Eigenmaps算法最终选取网络的拉普拉斯矩阵的最小k个非零特征值对应的特征向量作为节点的低维表示。
DeepWalk(参考Perozzi B,Al-Rfou R,Skiena S.Deepwalk:Online learning ofsocial representations[C]//Proceedings of the 20th ACM SIGKDD internationalconference on Knowledge discovery and data mining.ACM,2014:701-710.)和node2vec(参考Grover A,Leskovec J.node2vec:Scalable feature learning fornetworks[C]//Proceedings of the 22nd ACM SIGKDD international conference onKnowledge discovery and data mining.ACM,2016:855-864)是基于随机游走的的方法。DeepWalk的作者Perozzi观察到如果在网络上进行随机游走，节点出现的次数与语料中单词出现的次数都服从幂律分布(power law)。Perozzi通过均匀分布随机游走在网络中采样得到一系列节点序列，将其类比为句子，组成网络“语料”作为word2vec模型的输入，并且将输出层建模为一颗哈夫曼树以提高DeepWalk的训练速度。
node2ve通过改变生成随机游走序列的方式加强了DeepWalk算法。DeepWalk是按照均匀分布随机选取随机游走序列的下一个节点。node2vec同时考虑了广度优先搜索(BFS)和深度优先搜索(DFS)。Grover等发现，广度优先搜索注重刻画网络中的局部特征，而深度优先搜索能更好地遍历整个网络，反映了节点间的同质性。node2vec引入search bias函数来控制这两种采样方式，通过参数p和q来调整下一步的跳转概率。
获得网络的表示之后即可应用网络可视化算法将网络绘制出来。力导向图是一种在视觉上让人感到舒适的节点绘制算法，其将整张网络想像成一个物理系统，系统中每个节点都是一个带有能量的粒子，系统中的粒子在引力和斥力作用下不断调整位置，最终使整个系统的能量最小。然而，力导向图并没有利用到节点的丰富的特征信息，与机器学习、数据挖掘任务没有直接的关联。
t-SNE(参考Maaten L,Hinton G.Visualizing data using t-SNE[J].Journalof machine learning research,2008,9(Nov):2579-2605)是Maaten提出的一种数据可视化的算法，其思想是将高维空间中距离相近的点映射到二维空间后的距离也应该相近。t-SNE将距离关系转换为概率分布，对节点i分别计算在高维空间中和低维空间中以vi中心点的条件概率p(j|i)和q(j|i)，然后最小化所有点在两个空间中概率分布的KL散度。
现有技术的缺点及本申请提案要解决的技术问题
1.现有的网络表示方法只利用了节点的特征信息或属性信息，而网络中的节点除了特征信息外，还具有丰富的拓扑结构信息。例如，互相连接的节点可能具有相似的特征或属性。
2.现有的网络表示方法大多是针对静态网络的，如果网络中增加了新的节点，需要重新进行训练，可扩展性较差。
3.现有的可视化方法对于类间的区分还不够明显，并且所有的节点在全部绘制在一张图上，不能反映出节点的重要性程度。
发明内容
本发明针对背景技术中描述的现状，提出一种基于图卷积网络的图可视化方法。本发明学习到的嵌入向量同时保留了节点的结构信息和特征信息，可以对可视化结果进行粒度化调整。
本发明利用图卷积网络对网络进行表示，学习到的嵌入向量同时保留了节点的结构信息和特征信息。利用了PageRank算法对节点进行分类，可以以不同粒度呈现出可视化的结果。
本发明的技术方案为：
一种基于图卷积网络的图可视化方法，其步骤包括：
1)对于目标领域的网络G＝(V,E)，将网络G中的节点嵌入到一个低维欧式空间中，得到网络G的低维嵌入向量；所述低维嵌入向量包含网络G中节点的特征信息和网络G的拓扑结构信息；其中，V是节点集合，E是边集合；
2)将所述低维嵌入向量构造成一张K近邻图，即KNN图；
3)基于概率模型将所述KNN图在二维空间中绘制出来。
进一步的，设置一粒度参数，基于PageRank算法计算每个所述节点的重要性评分，所述粒度参数的不同取值分别对应不同的节点重要性评分；当调整粒度参数大小时展示对应不同重要程度的节点。
进一步的，根据PageRank网页排序算法计算每个节点的重要性评分。
进一步的，节点vi的重要性评分其中，是所有对vi有出链的节点集合，L(vj)是节点vj的出链数目，N是节点总数，α为一设定系数，0<α<1。
进一步的，将网络G中的节点嵌入到一个低维欧式空间中，得到网络G的低维嵌入向量的方法为：
1)设置一参数k代表神经网络的卷积层数或者搜索深度、代表在神经网络第k层时节点v的向量表示,v∈V；在k＝0，将网络G中节点v的特征向量赋值给
2)在神经网络的后续每一层卷积层都重复如下步骤：首先对于每个节点v∈V，将v的邻接节点的上一层向量的表示汇聚成一个单独的向量其中，N(v)表示对节点v的邻接节点的采样，然后将节点v的上一层的向量表示与邻域节点聚合成的向量拼接在一起，得到向量
3)将向量传递给一个全连接层进行计算其中，Wk为全连接层对应的权重矩阵；
4)将作用在激活函数σ(·)上，得到节点v在第k层的嵌入向量
5)对做归一化处理，得到节点v在第k层或第k个搜索深度迭代后的低维嵌入向量。
进一步的，利用对节点的低维嵌入向量进行调整；其中，zu是目标节点u的调整后的低维嵌入向量，v是在以u为起点的固定长度的随机游走序列中出现的节点，g(·)是Sigmoid函数，Pn是v的负采样分布，Q代表负采样的个数，vn表示节点v的负采样节点，是vn的低维嵌入向量。
进一步的，基于概率模型将所述KNN图在二维空间中绘制出来的方法为：首先确定KNN图中节点之间的权重wij；然后任选一节点作为中心点，将中心点和其邻居节点构成一个正样本，而中心点与非邻居节点构成负样本，则两个节点在KNN图中有边的概率为：设正样本集合为E，负样本集合为整个网络G的优化目标为γ是统一为负样本边设定的权值，jk是根据噪声分布Pn(j)选取的节点j的负样本，eij＝1代表节点i和节点j之间有边，代表节点i和节点jk之间有边；然后使用随机梯度下降算法训练优化目标为O的网络G，得到节点在二维空间中的坐标并绘制。
进一步的，确定KNN图中节点之间的权重的方法为：设在高维空间中的两个数据点为xi和xj，p(j|i)表示xi选择xj作为它的邻近点的条件概率，若xj越靠近xi，则p(j|i)越大，反之则越小；KNN图中vi和vj的权重为：其中，σi表示以xi为中心点的高斯分布的方差。
进一步的，使用随机投影树将所述低维嵌入向量映射成一张KNN图。
通过采取上述技术方案，本发明具有以下优点：
本发明利用卷积神经网络的思想将作用在欧几里得数据上的卷积操作拓展到非欧几里得数据上。可以同时利用节点的特征信息和深层次的拓扑结构信息，使学习到的节点向量更具有表示性。并且为可视化算法加入了粒度调整方式，根据PageRank算法为每个节点赋予相应的分数，可以调整粒度大小显示不同的节点。
附图说明
图1为本发明的方法流程图；
图2为实验可视化结果及粒度调整示意图。
(a)α＝1.0，(b)α＝0.5，(c)α＝0.1，(d)α＝0.01。
具体实施方式
为了使本发明的目的、技术方案及优点更加的清楚明白，以下通过实例对本发明作进一步的详细说明。
本发明利用卷积神经网络思想将网络进行嵌入表示，然后基于概率模型并且结合PageRank算法将网络绘制出来。
本发明的具体解决思路为：对于给定的目标领域(社交领域)网络G＝(V,E)，首先利用本发明的步骤1将网络中的节点嵌入到一个低维欧式空间中，得到的低维嵌入向量同时包含了节点的特征信息和拓扑结构信息。然后利用随机投影树将嵌入向量构造成一张K近邻图，即步骤2中的KNN图，根据步骤4基于概率模型将其在二维空间中绘制出来。同时引入粒度参数，根据步骤3基于PageRank算法为每个节点计算重要性评分，当调整粒度大小时展示不同重要程度的节点。
本发明的方法流程如图1所示，以下将分成5个部分对本算法进行详细阐述：
(1)利用图卷积对网络进行表示
卷积神经网络是一种层次模型，其输入是图像等规则的数据。卷积神经网络通过卷积操作、汇合操作和非线性激活函数映射等一系列操作的层层堆叠，将高层语义信息逐层由原始数据输入层中抽取出来，逐层抽象。卷积运算实际上是分析数学中的一种运算方式，在卷积神经网络中通常是仅涉及离散卷积的情形。卷积是一种局部操作，通过一定大小的卷积核作用于局部图像区域获得图像的局部信息，将卷积核中的参数与图像中对应的像素逐位累加，映射成下一层中的一个元素。
算法1描述了在整个网络G＝(V,E)以及其所有的节点特征xv,都作为输入的情况下生成节点嵌入向量的过程。其背后的思想是在每一步迭代或者搜索深度时，节点都会聚合来自其局部邻域节点的特征信息，并且随着迭代过程的深入，节点获得的信息会越来越多。
k代表神经网络的层数或者搜索深度，代表在第k层时节点v的向量表示。首先，在k＝0即算法的开始阶段将节点的属性信息组成的向量赋值给即用每个节点初始的特征向量当做其第0层的向量表示：
之后在k>0的每一层卷积层都重复如下步骤：首先对于每个节点v∈V，N(v)表示对节点v的邻接节点的采样。将v的邻接节点的上一层向量的表示汇聚成一个单独的向量
其中AGGREGATEk(·)即是第k层的聚合函数。这里提出两种聚合函数，分别是平均聚合函数：
其中σ是非线性激活函数，可以是sigmoid函数或者ReLU函数。W是全连接层的参数。MEAN(·)是对所有的向量求均值。
另外一种是最大池化聚合函数：
其中σ是非线性激活函数，b是偏置量，max(·)表示最大化函数，对所有向量对每一维取最大值。
随后将节点v的上一层的向量表示与邻域节点聚合成的向量拼接在一起：
将传递给一个全连接层，这一层对应的权重矩阵即Wk是一个n[k]×n[k-1]维的矩阵。其中n[k]为全连接层神经元的数目，即输入节点的嵌入向量的维数大小：
为全连接层神经元的输出，将上式结果作用在激活函数上，得到节点v在第k层的嵌入表示：
激活函数的引入是为了增加整个网络的非线性表达能力。否则，若干线性操作层的堆叠仍然只能起到线性映射的作用，无法形成复杂的函数。本发明使用ReLU函数作为激活函数σ(·)。ReLU函数实际上是一个分段函数，其定义为：
最后对做归一化处理，使其每个元素都位于(0，1)之间：
上式得到的即是节点v在第k层或第k个搜索深度迭代后的嵌入向量表示。
本发明提出一种基于图的损失函数，可以通过小批量随机梯度下降算法来调整模型的各种参数。其基本思想是越靠近的节点其向量表示越是相似:
其中，zu是目标节点u的嵌入表示，v是在以u起点的固定长度的随机游走序列中出现的节点，g(·)是Sigmoid函数，Pn是v的负采样分布，Q代表负采样的个数，vn表示节点v的负采样节点，是vn的嵌入表示。然后使用随机梯度下降算法最小化损失函数。
(2)生成KNN图
通过步骤(1)得到低维(通常取100维左右)的向量表示之后，使用随机投影树将其映射成一张KNN图。随机投影树的构造过程如下，对于每一个非叶子节点，选择一个随机的超平面将此节点对应的空间分成子空间，分别对应两个儿子节点。具体方法是在空间中随机采样两个数据点，然后计算距离两个点都相等的超平面即为所求超平面。迭代上述过程直到叶子节点对空间的数据点数目小于某个阈值。一旦随机投影树构造好之后，对于每一个数据点，其叶子节点对应子空间中的其他节点就是其最近邻节点的候选，同时不断回溯搜索父节点的其他子空间，即可找到k个近邻节点。为了充分利用随机投影树的特性，可以并行的构造多棵随机投影树，由于划分的单位向量都是随机产生的，因此每棵随机投影树对当前空间的划分都是不同的。如果想计算某一点的k近邻，只需在不同的随机投影树中搜索其所处的子空间最后取并集即可。
(3)计算重要性评分
本发明根据PageRank网页排序算法为每个节点计算一个重要性评分。其思想是如果网络中一个节点被很多其他节点链接到的话说明这个节点比较重要，PageRank值会相对较高；如果一个PageRank值很高的节点链接到一个其他的节点，那么被链接到的节点的PageRank值会相应地因此而提高。
对于网络G＝(V,E)，首先将其转化为有向网络，其中V是节点集合，E是有向边集合。一个节点的PR值(即PageRank值)计算如下：
其中是所有对vi有出链的节点集合，L(vj)是节点vj的出链数目，N是节点总数，α一般取0.85。根据上面的公式可以计算出每个节点的PR值，在不断迭代趋于平稳的时候，即为最终结果。
(4)可视化
对于步骤(2)得到的KNN图，需要确定节点之间的权重大小。假设在高维空间中的两个数据点xi和xj，p(j|i)表示的是xi选择xj作为它的邻近点的条件概率。考虑以xi为中心点的正太分布，若xj越靠近xi，则p(j|i)越大。反之，若两者相距较远，则p(j|i)越小。基于此，KNN图中vi和vj的权重为：
其中：
其中σi表示以xi为中心点的高斯分布的方差，接下来就需要将其中节点映射到二维空间。类比于word2vec，把任意节点当作目标词，其邻居节点视为上下文窗口中出现的词，那么任选一节点作为中心点，将中心点和其邻居节点即构成一个正样本，而中心点与非邻居节点构成负样本。直观来看，在低维空间应该是正样本中的节点聚合在一起，而负样本中的节点分散的较远。首先考虑无权值网络的情况，用和表示低维空间中的两个点，两个点在KNN图中有边即eij＝1(权值为1)的概率为：
其中f(·)是类似于t-SNE里的t分布，实际中f(x)＝1/(1+ax2)或f(x)＝1/(1+exp(x2))。当yi和yj的距离很近时，两点在KNN中有边的概率较大。扩展到带权重网络时，eij＝wij的概率如下：
假设正样本集合为E，负样本集合为整个网络的优化目标为：
其中，γ是统一为负样本边设定的权值。直接最大化上式的计算复杂度太高，因为这里使用的是所有的负样本。受到负采样技术的启发，对于每一个节点i，根据Mikolov等在论文中使用的噪声分布随机采样M个节点与i构成负样本对，其中dj为节点j的度。然后重新定义目标函数：
其中，eij＝1代表节点i和节点j之间有边。jk是根据噪声分布Pn(j)选取的节点j的负样本，eijk＝1代表节点i和节点jk之间有边。以O为目标函数使用随机梯度下降算法训练，即可得到任意节点i在二维空间中的坐标表示yi，然后使用Matplotlib绘制。
(1)实验结果
实验选取Citeseer作为数据集。Citeseer是一个引文网络，包含了来自5个不同科技领域总计2708篇文献。将每篇文献当做网络中的一个节点，将文献间的引用关系当做网络中的边，组成网络G＝(V,E)，其中|V|＝2708，|E|＝4732。使用doc2vec对每篇文献的摘要部分生成特征向量。
首先根据算法1将网络嵌入到100维欧式空间，这样每个节点就可以用100维的向量表示。然后利用(2)中的随机投影树将所有节点生成KNN图。接着使用(3)中的算法2对每个节点计算PageRank分数。最后使用(5)中的概率模型将节点嵌入到二维空间并使用Matplotlib绘制出来。
实验中选取4种粒度呈现可视化的结果，分别为1.0，0.50，0.10，0.01。粒度α可以在0～1之间变化，粒度为1则呈现全部节点，为0则不呈现节点。可以看到如果粒度越小，则其呈现出的信息更细微，在本实验中即具有更高排名的节点即在网络中扮演重要角色的节点才会被呈现出来，如图2所示。
显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
Claims (9)
1.一种基于图卷积网络的图可视化方法，其步骤包括：
1)对于目标领域的网络G＝(V,E)，将网络G中的节点嵌入到一个低维欧式空间中，得到网络G的低维嵌入向量；所述低维嵌入向量包含网络G中节点的特征信息和网络G的拓扑结构信息；其中，V是节点集合，E是边集合；
2)将所述低维嵌入向量构造成一张K近邻图，即KNN图；
3)基于概率模型将所述KNN图在二维空间中绘制出来。
2.如权利要求1所述的方法，其特征在于，设置一粒度参数，基于PageRank算法计算每个所述节点的重要性评分，所述粒度参数的不同取值分别对应不同的节点重要性评分；当调整粒度参数大小时展示对应不同重要程度的节点。
3.如权利要求2所述的方法，其特征在于，根据PageRank网页排序算法计算每个节点的重要性评分。
4.如权利要求1所述的方法，其特征在于，节点vi的重要性评分 其中，是所有对vi有出链的节点集合，L(vj)是节点vj的出链数目，N是节点总数，α为一设定系数，0<α<1。
5.如权利要求1所述的方法，其特征在于，将网络G中的节点嵌入到一个低维欧式空间中，得到网络G的低维嵌入向量的方法为：
1)设置一参数k代表神经网络的卷积层数或者搜索深度、代表在神经网络第k层时节点v的向量表示,v∈V；在k＝0，将网络G中节点v的特征向量赋值给
2)在神经网络的后续每一层卷积层都重复如下步骤：首先对于每个节点v∈V，将v的邻接节点的上一层向量的表示汇聚成一个单独的向量其中，N(v)表示对节点v的邻接节点的采样，然后将节点v的上一层的向量表示与邻域节点聚合成的向量拼接在一起，得到向量
3)将向量传递给一个全连接层进行计算其中，Wk为全连接层对应的权重矩阵；
4)将作用在激活函数σ(·)上，得到节点v在第k层的嵌入向量
5)对做归一化处理，得到节点v在第k层或第k个搜索深度迭代后的低维嵌入向量。
6.如权利要求5所述的方法，其特征在于，利用对节点的低维嵌入向量进行调整；
其中，zu是目标节点u的调整后的低维嵌入向量，v是在以u为起点的固定长度的随机游走序列中出现的节点，g(·)是Sigmoid函数，Pn是v的负采样分布，Q代表负采样的个数，vn表示节点v的负采样节点，是vn的低维嵌入向量。
7.如权利要求1所述的方法，其特征在于，基于概率模型将所述KNN图在二维空间中绘制出来的方法为：首先确定KNN图中节点之间的权重wij；然后任选一节点作为中心点，将中心点和其邻居节点构成一个正样本，而中心点与非邻居节点构成负样本，则两个节点在KNN图中有边的概率为：设正样本集合为E，负样本集合为整个网络G的优化目标为 γ是统一为负样本边设定的权值，jk是根据噪声分布Pn(j)选取的节点j的负样本，eij＝1代表节点i和节点j之间有边，代表节点i和节点jk之间有边；然后使用随机梯度下降算法训练优化目标为O的网络G，得到节点在二维空间中的坐标并绘制。
8.如权利要求7所述的方法，其特征在于，确定KNN图中节点之间的权重的方法为：设在高维空间中的两个数据点为xi和xj，p(j|i)表示xi选择xj作为它的邻近点的条件概率，若xj越靠近xi，则p(j|i)越大，反之则越小；KNN图中vi和vj的权重为：其中，σi表示以xi为中心点的高斯分布的方差。
9.如权利要求1所述的方法，其特征在于，使用随机投影树将所述低维嵌入向量映射成一张KNN图。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811432008.XA CN109753589A (zh) | 2018-11-28 | 2018-11-28 | 一种基于图卷积网络的图可视化方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811432008.XA CN109753589A (zh) | 2018-11-28 | 2018-11-28 | 一种基于图卷积网络的图可视化方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109753589A true CN109753589A (zh) | 2019-05-14 |
Family
ID=66402573
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811432008.XA Pending CN109753589A (zh) | 2018-11-28 | 2018-11-28 | 一种基于图卷积网络的图可视化方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109753589A (zh) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110826700A (zh) * | 2019-11-13 | 2020-02-21 | 中国科学技术大学 | 建模邻居交互的双线性图神经网络模型的实现及分类方法 |
| CN111353988A (zh) * | 2020-03-03 | 2020-06-30 | 成都大成均图科技有限公司 | Knn动态自适应的双图卷积图像分割方法和系统 |
| CN111475838A (zh) * | 2020-04-02 | 2020-07-31 | 中国人民解放军国防科技大学 | 基于深度神经网络的图数据匿名方法、装置、存储介质 |
| CN111489065A (zh) * | 2020-03-27 | 2020-08-04 | 北京理工大学 | 融合ict供应链网络拓扑和产品商业信息的节点风险评估 |
| CN111652064A (zh) * | 2020-04-30 | 2020-09-11 | 平安科技（深圳）有限公司 | 人脸图像生成方法、电子装置及可读存储介质 |
| CN111768625A (zh) * | 2020-07-01 | 2020-10-13 | 中国计量大学 | 一种基于图嵌入的交通道路事件预测方法 |
| CN112286996A (zh) * | 2020-11-23 | 2021-01-29 | 天津大学 | 一种基于网络链接和节点属性信息的节点嵌入方法 |
| CN112417633A (zh) * | 2020-12-01 | 2021-02-26 | 中国人民解放军国防科技大学 | 面向大规模网络的图布局方法以及装置 |
| CN113158391A (zh) * | 2021-04-30 | 2021-07-23 | 中国人民解放军国防科技大学 | 多维网络节点分类的可视化方法、系统、设备和存储介质 |
| WO2021164625A1 (en) * | 2020-02-17 | 2021-08-26 | Huawei Technologies Co., Ltd. | Method of training an image classification model |
| CN114731341A (zh) * | 2019-12-09 | 2022-07-08 | 西门子股份公司 | 信息获取方法、设备和系统 |
| WO2023035190A1 (en) * | 2021-09-09 | 2023-03-16 | Siemens Aktiengesellschaft | Network topology visualization method and apparatus, and computer-readable medium |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140037172A1 (en) * | 2011-01-13 | 2014-02-06 | Rutgers, The State University Of New Jersey | Enhanced multi-protocol analysis via intelligent supervised embedding (empravise) for multimodal data fusion |
| US8768075B2 (en) * | 2011-11-08 | 2014-07-01 | Mitsubishi Electric Research Laboratories, Inc. | Method for coding signals with universal quantized embeddings |
| US20160350389A1 (en) * | 2015-05-26 | 2016-12-01 | Ayasdi, Inc. | Outcome analysis for graph generation |
| CN107633263A (zh) * | 2017-08-30 | 2018-01-26 | 清华大学 | 基于边的网络图嵌入方法 |
-
2018
- 2018-11-28 CN CN201811432008.XA patent/CN109753589A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140037172A1 (en) * | 2011-01-13 | 2014-02-06 | Rutgers, The State University Of New Jersey | Enhanced multi-protocol analysis via intelligent supervised embedding (empravise) for multimodal data fusion |
| US8768075B2 (en) * | 2011-11-08 | 2014-07-01 | Mitsubishi Electric Research Laboratories, Inc. | Method for coding signals with universal quantized embeddings |
| US20160350389A1 (en) * | 2015-05-26 | 2016-12-01 | Ayasdi, Inc. | Outcome analysis for graph generation |
| CN107633263A (zh) * | 2017-08-30 | 2018-01-26 | 清华大学 | 基于边的网络图嵌入方法 |
Non-Patent Citations (7)
| Title |
|---|
| JIAN TANG: "《LINE:Large-scale Information Network Embedding》", 《ARXIV.ORG》 * |
| JIAN TANG: "Visualizing Large-scale and High-dimensional Data", 《ARXIV.ORG》 * |
| MONTI RICARDO P; LORENZ ROMY: "Decoding Time-Varying Functional Connectivity Networks via Linear Graph Embedding Methods", 《FRONTIERS IN COMPUTATIONAL NEUROSCIENCE》 * |
| QI MAO, LI WANG, IVOR W. TSANG: "A unified probabilistic framework for robust manifold learning and embedding", 《MACHINE LEARNING》 * |
| SERGEY BRIN，LAWRENCE PAGE: "《The Anatomy of a large-scale Hypertextual Web Search Engine》", 《ELSEVIER SCIENCE》 * |
| WILLIAM L.HAMILTON: "Inductive Representation Learning on Large Graphs", 《ARXIV.ORG》 * |
| 谢新洲: "《网站商业价值评估报告》", 30 November 2016, 华夏出版社 * |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110826700A (zh) * | 2019-11-13 | 2020-02-21 | 中国科学技术大学 | 建模邻居交互的双线性图神经网络模型的实现及分类方法 |
| US11838367B2 (en) | 2019-12-09 | 2023-12-05 | Siemens Aktiengesellschaft | Information acquiring method, apparatus, and system |
| CN114731341A (zh) * | 2019-12-09 | 2022-07-08 | 西门子股份公司 | 信息获取方法、设备和系统 |
| WO2021164625A1 (en) * | 2020-02-17 | 2021-08-26 | Huawei Technologies Co., Ltd. | Method of training an image classification model |
| CN111353988A (zh) * | 2020-03-03 | 2020-06-30 | 成都大成均图科技有限公司 | Knn动态自适应的双图卷积图像分割方法和系统 |
| CN111489065A (zh) * | 2020-03-27 | 2020-08-04 | 北京理工大学 | 融合ict供应链网络拓扑和产品商业信息的节点风险评估 |
| CN111475838B (zh) * | 2020-04-02 | 2023-09-26 | 中国人民解放军国防科技大学 | 基于深度神经网络的图数据匿名方法、装置、存储介质 |
| CN111475838A (zh) * | 2020-04-02 | 2020-07-31 | 中国人民解放军国防科技大学 | 基于深度神经网络的图数据匿名方法、装置、存储介质 |
| CN111652064A (zh) * | 2020-04-30 | 2020-09-11 | 平安科技（深圳）有限公司 | 人脸图像生成方法、电子装置及可读存储介质 |
| CN111652064B (zh) * | 2020-04-30 | 2024-06-07 | 平安科技（深圳）有限公司 | 人脸图像生成方法、电子装置及可读存储介质 |
| CN111768625A (zh) * | 2020-07-01 | 2020-10-13 | 中国计量大学 | 一种基于图嵌入的交通道路事件预测方法 |
| CN112286996A (zh) * | 2020-11-23 | 2021-01-29 | 天津大学 | 一种基于网络链接和节点属性信息的节点嵌入方法 |
| CN112417633A (zh) * | 2020-12-01 | 2021-02-26 | 中国人民解放军国防科技大学 | 面向大规模网络的图布局方法以及装置 |
| CN112417633B (zh) * | 2020-12-01 | 2022-06-14 | 中国人民解放军国防科技大学 | 面向大规模网络的图布局方法以及装置 |
| CN113158391A (zh) * | 2021-04-30 | 2021-07-23 | 中国人民解放军国防科技大学 | 多维网络节点分类的可视化方法、系统、设备和存储介质 |
| CN113158391B (zh) * | 2021-04-30 | 2023-05-30 | 中国人民解放军国防科技大学 | 多维网络节点分类的可视化方法、系统、设备和存储介质 |
| WO2023035190A1 (en) * | 2021-09-09 | 2023-03-16 | Siemens Aktiengesellschaft | Network topology visualization method and apparatus, and computer-readable medium |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109753589A (zh) | 一种基于图卷积网络的图可视化方法 | |
| WO2023000574A1 (zh) | 一种模型训练方法、装置、设备及可读存储介质 | |
| CN108132968B (zh) | 网络文本与图像中关联语义基元的弱监督学习方法 | |
| CN109284406B (zh) | 基于差异循环神经网络的意图识别方法 | |
| Li et al. | Image sentiment prediction based on textual descriptions with adjective noun pairs | |
| Jensen et al. | Towards scalable fuzzy–rough feature selection | |
| Arsov et al. | Network embedding: An overview | |
| CN113378913A (zh) | 一种基于自监督学习的半监督节点分类方法 | |
| CN111080551B (zh) | 基于深度卷积特征和语义近邻的多标签图像补全方法 | |
| CN110008365B (zh) | 一种图像处理方法、装置、设备及可读存储介质 | |
| Li et al. | A deep graph structured clustering network | |
| Wang et al. | Efficient multi-modal hypergraph learning for social image classification with complex label correlations | |
| Sun et al. | Multi-label classification by polytree-augmented classifier chains with label-dependent features | |
| Okuno et al. | A probabilistic framework for multi-view feature learning with many-to-many associations via neural networks | |
| Heidari et al. | Graph convolutional networks | |
| CN114896438A (zh) | 基于分层对齐和广义池化图注意力机制的图文检索方法 | |
| Peng et al. | JGSED: An end-to-end spectral clustering model for joint graph construction, spectral embedding and discretization | |
| CN115392474B (zh) | 一种基于迭代优化的局部感知图表示学习方法 | |
| Chen et al. | Gaussian mixture embedding of multiple node roles in networks | |
| Nguyen et al. | Graph-induced restricted Boltzmann machines for document modeling | |
| Escalante et al. | Multi-class particle swarm model selection for automatic image annotation | |
| CN115357715A (zh) | 基于奇异值分解和领域预训练的短文本聚类方法 | |
| Wei et al. | Learning and exploiting interclass visual correlations for medical image classification | |
| Meng et al. | Adaptive resonance theory (ART) for social media analytics | |
| Yin et al. | Gcn-based text classification research |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190514 |
|
| RJ01 | Rejection of invention patent application after publication |