CN109977232B - 一种基于力导图的图神经网络可视分析方法 - Google Patents

Abstract

本发明公开了一种基于力导图的图神经网络(Graph NeuralNetwork，简称GNN)可视分析方法，该方法包括以下步骤：S1、构建图神经网络模型，统计图神经网络中间隐藏层参数或者中间隐藏层的输出；S2、构建力导图模型，将图网神经网络中间隐藏层参数或者中间隐藏层的输出作为力导图模型的输入；S3、根据力导图中节点的受力情况，迭代更新力导图中节点的位置，当图中所有节点受力平衡或者更新位移小于阈值时得到最终布局；本发明系统与方法对应；本发明从可视化角度观察图神经网络参数的更新过程，进而说明图神经网络的学习有效性，增强图神经网络的可解释性。

Description

一种基于力导图的图神经网络可视分析方法

技术领域

本发明涉及可视分析技术领域，特别涉及一种基于力导图的图神经网络可视分析方法。

背景技术

随着数据规模和计算力的迅速增长，以卷积神经网络(Convolutional neuralnetworks,CNN)和循环神经网络(Recurrent neural networks,RNN)为代表深度学习技术在工业界得到广泛的应用并产生了巨大的红利。深度学习由于相比传统的机器学习方法拥有更强的特征表达和学习能力：CNN在计算机视觉领域取得非常大的成功，对于图像分类、图像分割、目标检测、人脸识别等任务，在大量基线数据集上效果都优于传统的机器学习方法；RNN则在自然语言领域也取得了较大突破，对于语言识别，机器翻译，文本分类等问题，获得了突破性进展。

但是现实世界中除了规则的网格数据和时序数据，更多的是不规则的图形数据，例如社交网络，交通网络，蛋白质网络，引文网络等。而这些不规则图形数据无法直接作为CNN或RNN的输入。为了解决这一问题，最近，研究人员提出了一类基于图结构数据的图卷积神经网络模型，将CNN、RNN自动提取特征的能力推广到图结构数据。图卷积神经网络是一个端到端的学习模型，输入为图的拓扑结构信息、节点和边的特征向量信息，通过随机梯度下降的方向训练中间隐藏层参数，输出和学习任务相关的图信息。经过训练好的图神经网络能够有效的提取图中节点、边和全局的特征，从而完成图上的节点分类、链接预测、层次划分等任务。

上述图卷积神经网络模型最早于2015年由Henaff等人提出，其主要基于谱图理论中的图卷积来定义图卷积核(filter)。2016年，Defferrard等人提出针对Henaff等人提出的图神经网络计算复杂度较高的问题，提出了一种改进的图卷积神经网络(Graphconvolutional neural networks,GCNN)，通过切比雪夫多项式来近似矩阵运算，从而在谱域中得到了近似平滑的过滤器。GCNN在常用基线数据集手写数字集(MNIST)上取得了良好结果。2017年，Kipf和Welling提出了一种简化版本的GCNN，图神经网络(graphconvolutional networks,GCN),并应用于半监督学习图节点分类任务上。

图卷积神经网络和其他深度学习模型一样，缺乏严格的数学论证理论基础，可解释性也不如传统机器学习。本质上，图网络中间的隐藏层参数更新过程体现了图神经网络的学习过程。我们从可视化角度观察其参数的更新过程，进而说明图神经网络的学习有效性，增强图神经网络的可解释性。

发明内容

针对现有技术的不足，本发明提供了一种基于力导图的图神经网络可视分析方法，便于直观地看出图神经网络所学出的各个节点的隐藏层向量的分布规律。

本发明是这样实现的，一种基于力导图的图神经网络可视分析方法，该方法包括以下步骤：

S1、构建图神经网络模型，统计图网神经网络中间隐藏层的输出；

S2、构建力导图模型，将所述图网神经网络中间隐藏层的输出作为力导图模型的输入；

S3、根据力导图中节点的受力情况，迭代更新力导图中节点的位置，当图中所有节点受力平衡或者更新位移小于阈值时得到最终布局。

本发明的进一步技术方案是：所述步骤S1的中构建图神经网络模型包括输入数据，步骤如下：在本方案中采用引文网络数据集，其中，每一篇论文为一个节点，论文间的引用关系为边，这样就构成了一个论文引用网络。统计所有论文中出现的词汇，节选出现频率较高的词汇作为特征词汇，节选出前1433个高频词汇，按词汇出现频度降序排序得到一个词袋模型。根据这个词袋模型，统计每一篇论文中是否包含了词袋模型中对应的单词，如果出现在该维度则数值为1，否则为0。这样可以得到每篇论文的词向量表达，将其作为引文网络中节点的特征向量。每篇论文有一个所属类别，例如计算机视觉、生物信息学等。根据论文所属类别构建一个独热(one-hot)向量作为论文引用网络中节点所对应论文的标签。所谓独热向量是指只在类别所对应维度值为1，其它维度为0的向量。比如，一篇文章所属类别为2，总共有7个类别，则独热向量为[0 1 0 0 0 0 0]。按照7:2:1比例随机划分训练集、验证集和测试集。

本发明的进一步技术方案是：所述步骤S1采用两层的GCN模型，预测引文网络中节点所属类别。第一层的输入为论文引用网络的邻接矩阵和每个节点的特征向量。邻接矩阵包含了图的拓扑结构信息，每个节点特征向量包含了论文中的词汇信息。第一层的输出为一个N*F维度的隐藏层矩阵，其中N表示节点数量，F为每个节点卷积后的特征向量维度。第一层的输出做为第二层的输入，第二层输出为一个N*C维度的矩阵，其中N表示节点数量，C为每个节点可能属于引文类别的数量。最后经过softmax函数，得到每篇论文属于引文类别的概率向量。模型采用的损失函数为交叉熵损失函数，通过随机梯度下降法优化网络中的参数。

本发明的进一步技术方案是：所述图神经网络网络隐藏层的输出是每个节点特征向量组成的矩阵，通过计算每个向量之间相似性来决定力导图中节点间的作用力大小，这样在不同的作用力大小下会得到不同的力导图布局，相似性高的节点向量对应的节点之间引力更大，最终反映在力导图布局中便是两个节点相对位置较近。

本发明的进一步技术方案是：所述步骤S2为：

在力导图中随机分布N个节点，将每个节点视为一个小球，每个小球受到其他小球的引力或者斥力，这样在相互作用力下运动，改变原有的位置，通过调整位置来改变受力情况，最终达到一个力平衡状态，即获得当前作用力下的最佳布局。

我们将利用力导图模型来可视化图神经网络隐藏层的输出结果。图神经网络网络隐藏层的输出是每个节点特征向量组成的矩阵，通过计算每个向量之间相似性来决定力导图中节点间的作用力大小。这样在不同的作用力大小下会得到不同的力导图布局，相似性高的节点向量对应的节点之间引力更大，最终反映在力导图布局中便是两个节点相对位置较近。

本发明的进一步技术方案是：在步骤S3中，根据图神经网络隐藏层输出的节点特征向量之间的相似性来计算力导图中弹簧的引力，每次更新节点特征向量后，力导图中小球的受力平衡状态被打破，小球会根据受力情况从新调整位置，直到达到新的平衡状态。

所述步骤S3包含如下步骤：力导图中的图结构和图神经网络输入的图的结构相同，即具有相同的顶点和边，每个节点受到两类作用力：引力和斥力；引力来自和它有边直接连接的邻居节点，大小根据对应节点向量的相似性计算，方向是沿着两节点连线方向指向邻居节点，斥力来自于图中其他节点，大小是和两个节点距离平方成反比，方向是沿着两个节点连线指向当前节点；每个节点根据所受引力和斥力情况利用力的合成规则计算合力，最后根据合力的大小和方向计算该节点在布局中的下一个位置。这样一轮计算更新图中所有节点位置，再根据新的位置重新计算每个节点的引力和斥力，获得新的布局，直到所有节点在一轮中更新的位移大小之和小于一个阈值时达到稳定状态，即在对应图神经网络在某一时刻中学习到的参数情况。在图神经网络更新中间隐藏层参数后，对应的节点特征向量发生改变，力导图中节点间引力发生变化，力导图不在力平衡状态，重新进入上述更新过程中，直到再次到达稳定状态。

本发明的进一步技术方案是：通过图卷积神经网络隐藏层输出的特征向量之间的相似性来计算小球之间引力大小，采用三种不同的方式：第一种方式通过计算向量间的欧式距离来表示作用力的大小：

第二种方式通过向量间的余弦相似度来表示作用力的大小：

第三种方式通过向量间的皮尔逊相关系数来表示作用力的大小：

节点间的斥力根据节点间最短路径的路径长度和节点在布局中的欧几里得距离来计算：

这里的d_ij是节点间最短路径的路径长度。

节点i的所受合力为：

节点根据其受力情况更新其位置：

力导图达到平衡状态可以根据所有节点所受合力大小和小于某一阈值：

也可以根据一轮迭代过程中所有节点移动距离和小于某一阈值：

当力导图布局稳定后即对应当前的卷积神经网络隐藏层的输出可视化结果，再通过随机梯度下降法更新卷积神经网络参数后，会得到不同的隐藏层输出结果，我们通过上述计算方式更新小球之间的引力，在原来布局基础上调整小球位置，直到新的稳定状态。

本发明的有益效果：

(1)本发明结合了力导图模型，旨在提供一个高效可视化方法来可视分析图神经网络中的隐藏层输出，根据可视结果可以充分说明图神经网络学习的有效性。

(2)相比传统的降维可视化技术，例如t-分布随机邻域嵌入(t-distributedStochastic Neighbor Embedding,t-SNE)降维可视化。力导图模型可以充分利用上一轮训练的参数结果，即上一轮的布局情况，在此基础上更新节点受力情况，进而得到下一轮的布局可视化结果。而传统的降维技术需要每次都重新计算图神经网络中间隐藏层输出的降维结果，每一轮计算没有直接的关联性，这样我们的计算因为利用了上一轮结果，在此基础上微调，故可以更加高效实现可视化。

(3)相比传统的降维可视化技术，例如t-SNE降维可视化。力导图模型可以充分利用了图的拓扑结构信息。力导图中节点的引力只产生在相邻的节点之间，利用了图中节点边信息。而t-SNE降维可视化技术只是利用节点特征向量的相似性，将原来高维空间中的向量降维到二维空间中，保持其相对距离。我们的可视结果保留了图拓扑信息，可以更方便地观察图中关键节点在图神经网络学习中如何变化，节点信息流之间的交互情况。

相比传统的降维可视化技术，例t-SNE降维可视化。力导图模型可以平滑的动态可视化图神经网络学习过程。因为力导图模型可以充分利用上一轮可视化结果，更新节点间引力的变化，微调节点布局。这个过程是平滑的，节点的位置在每次更新中不会大幅度移动，方便我们跟踪每个节点。而t-SNE只考虑节点高维空间和低维空间向量相对位置，这样在每轮布局中图节点的绝对位置会发生较大变化，不方便可视跟踪节点位置变化。

附图说明

图1为本发明框图的结构示意图；

图2为本发明实施例中图神经网络模型结构示意图；

图3为本发明实施例中力导图模型结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明基于力导图可视分析图神经网络隐藏层输出，旨在增强图神经网络的可解释性。力导图将图设想为一个物理弹簧系统，图中的顶点为刚性小球，图中的边为弹簧，小球在弹簧的作用力下产生运动，最终达到力平衡状态，得到一个良好的图布局。图神经网络隐藏层输出作为下一层的输入，其中间的参数在损失函数的指导下通过随机梯度下降法更新，这个学习过程就表现在隐藏层的参数更新中。图神经网络中每个隐藏层都输出一个顶点特征向量矩阵，通过将顶点特征向量的相似度对应到力导图中弹簧的作用力上，进而实现可视化隐藏层输出的目的。

实施例一：

一种基于力导图的图神经网络可视分析方法，如图1所示，该方法包括以下步骤：

S1、构建图神经网络模型，统计图网神经网络中间隐藏层参数或者中间隐藏层的输出；

S2、构建力导图模型，将图网神经网络中间隐藏层参数或者中间隐藏层的输出作为力导图模型的输入；

S3、根据力导图中节点的受力情况，迭代更新力导图中节点的位置，当图中所有节点受力平衡或者更新位移小于阈值得到最终布局。

如步骤S1所述，首先构建一个图神经网络模型，我们选用经典的图卷积神经网络(GCN)模型作为代表。在GCN的隐藏层之间利用如下传播规则：

这里

为拉普拉斯矩阵，A是图的邻接矩阵，I是单位矩阵，

为对角矩阵，

为度矩阵，W^(l)是l层的权重矩阵，通过随机梯度下降法训练学习得到，σ(·)为激活函数，H^{(l +1)}是第l+1层的输入矩阵，也是l层的输出矩阵，H⁽⁰⁾＝X是原始输入，用节点原始特征向量构成。我们利用隐藏层输出矩阵H来作为力导图输入，可视化图卷积网络学习过程。在实验中具体使用一个两层的图卷积神经网络来构建模型：

其中，Z为节点所属类别的概率矩阵。f函数表示该图卷积神经网络。softmax为归一化指数函数，可以将一个包含任意实数的K维向量z映射到另一个K维向量σ(z)中，使得每一个元素的范围在(0,1)之间，并且所有元素和为1，具体公式为

ReLU为激活函数，具体公式为ReLU(x)＝max(x,0)，

为拉普拉斯矩阵。W⁽⁰⁾∈R^C×H表示输入和隐藏层之间的权重矩阵，H表示这一层的卷积核数量。W⁽¹⁾∈R^H×F是隐藏层和输出层之间的权重矩阵，F表示分类类别数量。我们使用交叉熵损失函数

其中Y_L是训练集中带标签的节点集合。图卷积网络构建示意图为图2。实验的数据集为引文网络Cora数据集，每篇论文一个图中节点，论文和论文之间的引用作为图的边，每个节点的特征向量是论文中的词袋(bag-of-words)特征向量。词袋特征向量如下生成。统计论文集中出现的词汇，节选出现频率较高的词汇作为特征词汇，按词汇出现频度降序排序得到一个词袋表。根据这个词袋表，统计每一篇论文中是否包含了词袋表中对应的单词，如果出现在该维度数值为1，否则为0。其中节点标签为独热(one-hot)标签，一个长度等于标签类别数量的向量，只在对应标签位置为1，其他位置为0。引文网络Cora数据集中包含2708篇论文，5429条引用关系，论文分为7个类别，每篇论文的词袋特征向量维度为1433维。每个类别选择20个论文标签作为训练集，1000个标签作为作为测试集，剩余标签集作为验证集。实验运行在GPU版本的TensorFlow框架上，最后在测试集上的准确率为81.5％。

如步骤S2所述，构建一个力导图模型。该模型结构图如图3所示。模型被视为弹簧物理系统，由刚性小球和弹簧构成。初始时小球位置随机分布在一个特定区域。小球在弹簧推/拉作用力下，自动调整位置，直到力平衡状态，达到最佳布局。具体我们使用1433个小球对于S1中所述的图卷积神经网络中的隐藏层节点数量，给7个类别的小球分别用7种颜色加以区分，论文引用网络中5429条引用关系作为力导图中的弹簧，弹簧对他链接的两个小球同时存在作用力，即将图视为无向图。

如步骤S3所述，我们通过如下规则来计算和更新力导图中小球的位置。弹簧视为有边连接节点之间的引力，我们通过图卷积神经网络隐藏层输出的特征向量之间的相似性来计算小球之间引力大小：

具体尝试了三种不同的方式。第一种方式通过计算向量间的欧式距离来表示作用力的大小：

第二种方式通过向量间的余弦相似度来表示作用力的大小：

第三种方式通过向量间的皮尔逊相关系数来表示作用力的大小：

如果节点间只存在引力就会导致整个图布局坍塌为一个点，故需要有斥力的存在，节点间的斥力根据节点间最短路径的路径长度和节点在布局中的欧几里得距离来计算：

这里的d_ij是节点间最短路径的路径长度。节点i的所受合力为：

其中V_i表示节点i的邻居节点集合,V表示图中除了当前节点i的所有节点集合，λ为超参数可以控制节点间的平均距离大小。节点根据其受力情况更新其位置：

其中

为其冷却函数，可以让力导图快速平稳，

为节点质量也代表在图中的重要度，可以让质量小的小球尽量围绕在质量大的小球旁边。力导图达到平衡状态可以根据所有节点所受合力大小和小于某一阈值：

也可以根据一轮迭代过程中所有节点移动距离和小于某一阈值：

当力导图布局稳定后即对应当前的卷积神经网络隐藏层的输出可视化结果。再通过随机梯度下降法更新卷积神经网络参数后，会得到不同的隐藏层输出结果，我们通过上述计算方式更新小球之间的引力，在原来布局基础上调整小球位置，直到新的稳定状态。

实验中我们得到了可视化效果。分别是初试状态、50轮迭代、100轮迭代、150轮图卷积神经网络迭代后的稳定力导图可视化结果。不同类别的小球用不同颜色来区分，初试转态时各种小球分布较均匀，随着迭代次数的增加，同一个类别的小球聚集在一起，不同类别的小球逐渐分离。从可视化效果可以得知随着图卷积神经网络的不断训练，中间隐藏层输出的结果在同一个类别中向量的相似性越来越高，使得他们之间的引力越大，最终同一个类别中的小球呈现聚类效果。

作为本发明的对比实验，我们采用了传统的t-SNE降维可视化图神经网络中间隐藏层输出。将上述初试状态、50轮迭代、100轮迭代、150轮图卷积神经网络迭代的中间层输出结果可视化。可以发现t-SNE丢失了图的拓扑结构信息，并且在各轮迭代计算中无法利用上一轮的布局位置信息，故无法保证平滑移动，节点布局的绝对位置发生较大改动，不利于观察者跟踪节点变化。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于力导图的图神经网络可视分析方法，其特征在于：该方法包括以下步骤：

S1、构建图神经网络模型，统计图网神经网络中间隐藏层的输出；

S2、构建力导图模型，将所述图网神经网络中间隐藏层的输出作为力导图模型的输入；

S3、根据力导图中节点的受力情况，迭代更新力导图中节点的位置，当图中所有节点受力平衡或者更新位移小于阈值时得到最终布局；所述步骤S1的中构建图神经网络模型包括输入数据，步骤如下：

选定论文引用网络作为代表数据集，每一篇论文为一个节点，论文间的引用关系为边，构成引文网络，统计所有论文中出现的词汇，节选出前1433个高频词汇，按词汇出现频度降序排序得到一个词袋模型，根据这个词袋模型，统计每一篇论文中是否包含了词袋模型中对应的单词，对于词袋模型中的每一个单词，在每一篇论文中都统计该单词是否出现，如果该单词出现，则该单词所对应的向量元素的值设为1，否则设为0，得到每篇论文的词向量表达，将其作为引文网络中节点的特征向量，每篇论文有一个所属类别，根据其所属类别构建一个独热向量，只在其所属类别位置为1其他位置为0，作为论文引用网络中节点的标签，按照7:2:1比例随机划分训练集、验证集和测试集。

2.根据权利要求1所述的一种基于力导图的图神经网络可视分析方法，其特征在于：所述步骤S1采用两层的图神经网络模型，第一层的输入为论文引用网络的邻接矩阵和每个节点的特征向量，邻接矩阵包含了图的拓扑结构信息，每个节点特征向量包含了论文中的词汇信息，第一层的输出为一个N*F维度的隐藏层矩阵，其中N表示节点数量，F为每个节点卷积后的特征向量维度，第一层的输出做为第二层的输入，第二层输出为一个N*C维度的矩阵，其中N表示节点数量，C为每个节点可能属于引文类别的数量；最后经过softmax函数，得到每篇论文属于引文类别的概率向量，图神经网络模型采用的损失函数为交叉熵损失函数，通过随机梯度下降法优化网络中的参数。

3.根据权利要求2所述的一种基于力导图的图神经网络可视分析方法，其特征在于：所述图神经网络网络隐藏层的输出是每个节点特征向量组成的矩阵，通过计算每个向量之间相似性来决定力导图中节点间的作用力大小，这样在不同的作用力大小下会得到不同的力导图布局，相似性高的节点向量对应的节点之间引力更大，最终反映在力导图布局中便是两个节点相对位置较近。

4.根据权利要求2所述的一种基于力导图的图神经网络可视分析方法，其特征在于：所述步骤S2为：

在力导图中随机分布N个节点，将每个节点视为一个小球，每个小球受到其他小球的引力或者斥力，这样在相互作用力下运动，改变原有的位置，通过调整位置来改变受力情况，最终达到一个力平衡状态，即获得当前作用力下的最佳布局。

5.根据权利要求2所述的一种基于力导图的图神经网络可视分析方法，其特征在于：所述步骤S3包含如下步骤：

力导图中的图结构和图神经网络输入的图的结构相同，即具有相同的顶点和边，每个节点受到两类作用力：引力和斥力；引力来自和它有边直接连接的邻居节点，大小根据对应节点向量的相似性计算，方向是沿着两节点连线方向指向邻居节点，斥力来自于图中其他节点，大小是和两个节点距离平方成反比，方向是沿着两个节点连线指向当前节点；每个节点根据所受引力和斥力情况利用力的合成规则计算合力，最后根据合力的大小和方向计算该节点在布局中的下一个位置，这样一轮计算更新图中所有节点位置，再根据新的位置重新计算每个节点的引力和斥力，获得新的布局，直到所有节点在一轮中更新的位移大小之和小于一个阈值时达到稳定状态，即在对应图神经网络在某一时刻中学习到的参数情况，在图神经网络更新中间隐藏层参数后，对应的节点特征向量发生改变，力导图中节点间引力发生变化，力导图不在力平衡状态，重新进入上述更新过程中，直到再次到达稳定状态。

6.根据权利要求5所述的一种基于力导图的图神经网络可视分析方法，其特征在于：通过图卷积神经网络隐藏层输出的特征向量之间的相似性来计算小球之间引力大小，采用三种不同的方式：第一种方式通过计算向量间的欧式距离来表示作用力的大小：

第二种方式通过向量间的余弦相似度来表示作用力的大小：

第三种方式通过向量间的皮尔逊相关系数来表示作用力的大小：

节点间的斥力根据节点间最短路径的路径长度和节点在布局中的欧几里得距离来计算：

这里的d_ij是节点间最短路径的路径长度，

节点i的所受合力为：

节点根据其受力情况更新其位置：

力导图达到平衡状态是 根据所有节点所受合力大小之和小于某一阈值：

或者 根据一轮迭代过程中所有节点移动距离和小于某一阈值：

当力导图布局稳定后即对应当前的卷积神经网络隐藏层的输出可视化结果，再通过随机梯度下降法更新卷积神经网络参数后，会得到不同的隐藏层输出结果，我们通过上述计算方式更新小球之间的引力，在原来布局基础上调整小球位置，直到新的稳定状态。

Images