CN110781933A - 一种用于理解图卷积神经网络的可视分析方法 - Google Patents

一种用于理解图卷积神经网络的可视分析方法 Download PDF

Info

Publication number
CN110781933A
CN110781933A CN201910973555.7A CN201910973555A CN110781933A CN 110781933 A CN110781933 A CN 110781933A CN 201910973555 A CN201910973555 A CN 201910973555A CN 110781933 A CN110781933 A CN 110781933A
Authority
CN
China
Prior art keywords
hidden
hidden layer
nodes
neural network
node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910973555.7A
Other languages
English (en)
Other versions
CN110781933B (zh
Inventor
史晓颖
僧德文
吕凡顺
徐海涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Electronic Science and Technology University
Original Assignee
Hangzhou Electronic Science and Technology University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Electronic Science and Technology University filed Critical Hangzhou Electronic Science and Technology University
Priority to CN201910973555.7A priority Critical patent/CN110781933B/zh
Publication of CN110781933A publication Critical patent/CN110781933A/zh
Application granted granted Critical
Publication of CN110781933B publication Critical patent/CN110781933B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Generation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种用于理解图卷积神经网络的可视分析方法，包括如下步骤：步骤一，将输入的图结构数据集划分为训练集、验证集和测试集；步骤二，定义参数集合，包括隐藏层数集合和隐藏神经元数集合；步骤三，基于定义好的所述参数集合，训练得到一系列的图卷积神经网络模型；步骤四，设计隐藏层分析视图，展示隐藏层参数对分类准确率的影响；步骤五，设计损失和准确率视图，展示所述模型迭代训练过程中损失和分类准确率的变化；步骤六，采用GraphTSNE可视化方法计算图中节点的位置，设计图布局视图，呈现在不同训练步数下所述节点的预测情况和两个训练步数间所述节点预测情况的差异。

Description

一种用于理解图卷积神经网络的可视分析方法
技术领域
本发明涉及了图卷积神经网络，尤其是涉及了一种用于理解图卷积神经网络的可视分析方法。
背景技术
随着人工智能的发展，图卷积神经网络(Graph Convolutional Network，GCN)在近几年来受到了广泛的关注。GCN可以用于处理任意结构的图数据，并被成功用于处理不同的任务，如对推荐系统做推荐、预测交通状况、对引文网络中的文章进行分类等。
尽管GCN被用于解决各类问题，但由于其内在的复杂性和非线性结构，人们对其底层的决策过程和模型为什么能实现良好的性能没有得到很好的理解。解释和理解深度神经网络是现阶段人工智能研究的热点之一。现有的数据可视分析方法能辅助人们理解深度神经网络，但主要针对卷积神经网络、循环神经网络和深度强化学习模型等。现有的研究缺乏以一种易于理解的方式分析GCN的内部操作和执行过程。
由于图结构数据集内在的复杂性，如何可视化GCN的决策过程存在三大难点。
1)图节点通常包含高维特征，且节点间的关系非常复杂。常用的可视化图数据的方法有力导引图和t-SNE(t-distributed Stochastic Neighbor Embedding，t-分布领域嵌入)降维方法。前者只考虑了节点间的关联，会生成拥挤的节点聚集。后者只能对节点的特征维度进行降维，忽略了图结构信息。如何同时考虑节点特征和节点间的关系来布局节点，生成简洁清楚的图布局结果是一个难点。
2)多种因素会影响GCN模型预测的准确率，如隐藏层数、隐藏神经元数、训练步数等。需要设计可视化视图直观地呈现多种因素的影响。
3)分析者可能不熟悉GCN，需要设计一种可视分析方法支持自上而下、渐进式地分析GCN，帮助分析者快速理解模型的运行机理。
发明内容
为解决现有技术的不足，使分析GCN的操作和过程更易于理解，本发明采用如下的技术方案：
一种用于理解图卷积神经网络的可视分析方法，包括如下步骤：
步骤一，将输入的图结构数据集划分为训练集、验证集和测试集；
步骤二，定义参数集合，包括隐藏层数集合和隐藏神经元数集合；
步骤三，基于定义好的所述参数集合，训练得到一系列的图卷积神经网络模型；
步骤四，设计隐藏层分析视图，展示隐藏层参数对分类准确率的影响；
步骤五，设计损失和准确率视图，展示所述模型迭代训练过程中损失和分类准确率的变化；
步骤六，采用GraphTSNE可视化方法计算图中节点的位置，设计图布局视图，呈现在不同训练步数下所述节点的预测情况和两个训练步数间所述节点预测情况的差异。GraphTSNE是一种图结构数据的可视化方法。
所述步骤一，所述图结构数据集可以表示为G＝(V,E)，其中所述
Figure BDA0002232899580000021
为具有N个所述节点的节点集合，所述
Figure BDA0002232899580000022
为边集合，所述vi和所述vj分别表示第i个和第j个节点；邻接矩阵A∈RN×N编码了所述节点间的关联，特征矩阵X∈RN×C包含所有所述节点的特征向量，其中每个所述节点vi具有一个C维的所述特征向量xi和一个类别标签，所述数据集共有F个类别；根据所述节点的总数N将所述数据集划分为所述训练集、所述验证集和所述测试集，如将5％的节点划分到训练集，训练集中的节点类别是已知的，且每个类别包含的节点个数相同；将20％的节点划分到验证集，将40％的节点划分到测试集。
所述步骤二，定义所述隐藏层数集合为{1，2，3}，由于当隐藏层数较大时，图卷积神经网络的分类性能不佳，因此最多考虑3个隐藏层，保证图卷积神经网络有较好的分类性能；对于每个隐藏层，使用{layerID-startID:stepID:endID}来定义所述隐藏神经元数集合，所述layerID为隐藏层数，所述startID为第ID个所述隐藏层的起始隐藏神经元数，所述stepID为每次递增的隐藏神经元数，所述endID为第ID个所述隐藏层的结束隐藏神经元数，如{1-16:16:80}表示选择{16,32,48,64,80}作为第一个隐藏层的所述隐藏神经元数。
所述步骤三，具有一个隐藏层的图卷积神经网络模型表示为
Figure BDA0002232899580000023
其中所述
Figure BDA0002232899580000024
所述所述IN是一个单位矩阵，
Figure BDA0002232899580000026
是一个对角矩阵，且
Figure BDA0002232899580000027
所述
Figure BDA0002232899580000028
是从输入层到所述第一个隐藏层的权重矩阵，所述第一个隐藏层具有H1个特征图，所述
Figure BDA0002232899580000029
是从所述第一个隐藏层到输出层的所述权重矩阵，所述F为类别数量，所述softmax(·)和所述ReLu(·)代表激励函数；
具有两个隐藏层的图卷积神经网络模型表示为
Figure BDA00022328995800000210
其中所述
Figure BDA00022328995800000211
是从所述输入层到第所述一个隐藏层的所述权重矩阵，所述第一个隐藏层具有所述H1个特征图，所述
Figure BDA00022328995800000212
是从所述第一个隐藏层到第二个隐藏层的所述权重矩阵，所述第二个隐藏层具有所述H2个特征图，所述
Figure BDA00022328995800000213
是从所述第二个隐藏层到所述输出层的所述权重矩阵；
具有三个隐藏层的图卷积神经网络模型表示为
Figure BDA00022328995800000214
其中所述是从所述输入层到所述第一个隐藏层的所述权重矩阵，所述第一个隐藏层具有所述H1个特征图，所述
Figure BDA00022328995800000216
是从所述第一个隐藏层到第二个隐藏层的所述权重矩阵，所述第二个隐藏层具有所述H2个特征图，所述
Figure BDA00022328995800000217
是从所述第二个隐藏层到三个隐藏层的权重矩阵，所述第三个隐藏层具有所述H3个特征图，所述
Figure BDA00022328995800000218
是从所述第三个隐藏层到所述输出层的所述权重矩阵；
当所述隐藏层数为一层、二层、三层时，分别选择相应的所述图卷积神经网络模型，从所述隐藏神经元数集合{layerID-startID:stepID:endID}中得到所述H1、H2和H3的取值范围；在训练过程中，使用epoch表示所述训练步数，epoch＝1表示所有训练数据集都训练过一次，使用Xavier初始化方法对初始的所述权重矩阵进行随机赋值，使用Adam方法训练所述模型，以交叉熵作为损失函数；在所述迭代训练过程中，针对每一个所述epoch，分别计算所述训练集和所述验证集的损失和分类准确率；在训练完成得到相应的图卷积神经网络模型后，采用所述测试集计算模型的所述分类准确率。
所述步骤四，采用基于网格的可视化方法来设计隐藏层分析视图，展示隐藏层参数对所述分类准确率的影响，所述隐藏层参数包括所述隐藏层数和每层的所述隐藏神经元数，设计三个子视图来分别展示具有不同所述隐藏层的所述图卷积神经网络模型的所述分类准确率；
对于所述具有一个隐藏层的图卷积神经网络模型，设计一个隐藏层子视图，首先基于所述隐藏神经元数集合{layer1-start1:step1:end1}计算所述集合中的所有元素，然后采用一维网格来渲染所述一个隐藏层子视图；其中x轴表示所述第一个隐藏层中隐藏神经元的数量；
对于所述具有两个隐藏层的图卷积神经网络模型，设计两个隐藏层子视图，首先基于所述隐藏神经元数集合{layer1-start1:step1:end1}和{layer2-start2:step2:end2}计算所述集合中的所有元素，然后采用二维网格来渲染所述两个隐藏层子视图；其中所述x轴表示所述第一个隐藏层中所述隐藏神经元的数量，y轴表示所述第二个隐藏层中所述隐藏神经元的数量；
对于所述具有三个隐藏层的图卷积神经网络模型，设计三个隐藏层子视图，首先基于所述隐藏神经元数集合{layer1-start1:step1:end1}、{layer2-start2:step2:end2}和{layer3-start3:step3:end3}计算所述集合中的所有元素，然后用所述二维网格编码前两个所述隐藏层中的所述隐藏神经元的数量，最后将多个所述二维网格并列排放来编码所述第三个隐藏层的所述隐藏神经元数量，并采用并列排放的所述二维网格来渲染所述三个隐藏层子视图；其中第一个所述二维网格展示了当所述第三个隐藏层的所述隐藏神经元数为start3时的所述分类准确率，第二个所述二维网格展示了当所述第三个隐藏层的所述隐藏神经元数为start3+step3时的所述分类准确率，以此类推，直到最后一个所述二维网格展示的所述第三个隐藏层的所述隐藏神经元数为end3时的所述分类准确率；
每个所述子视图中网格的颜色编码了每一种所述参数组合在所述测试集上的所述分类准确率。
所述步骤五，所述损失和准确率视图包括损失子视图和准确率子视图，所述两个子视图的x轴代表epoch，y轴分别代表所述损失和所述分类准确率，所述损失子视图包括所述训练集和所述验证集的损失曲线，所述准确率子视图包括所述训练集和所述验证集的分类准确率曲线，当选中所述隐藏层分析视图中的一格时，表明选择了对应所述隐藏层参数的一个所述模型，此时，所述损失和准确率视图会同步更新来展示所选择的所述模型对应的所述曲线。
所述步骤六，包括如下步骤：
(1)采用所述GraphTSNE可视化方法将具有高维特征向量的所述节点集合V映射到二维点空间中；所述特征矩阵X可以表示为一个特征集合
Figure BDA0002232899580000031
每个节点的所述特征向量xi可以被看作是一个高维点，采用所述GraphTSNE可视化方法得到一个非线性的映射函数，所述映射函数将所述高维特征向量映射到二维点空间，基于所述映射函数计算所述每个节点的位置，并采用所述每个节点的位置渲染图布局中的节点；
(2)设计图布局视图，所述图布局视图包括预测版本和差异比较版本；
所述预测版本展示所述图卷积神经网络模型在不同状态下的预测情况，帮助用户观察节点预测情况的演化过程；所述预测版本包括初始状态视图和中间状态视图，所述初始状态视图展示了图结构数据初始时的布局情况，节点位置由所述GraphTSNE可视化方法计算得到，对于所述训练集中的节点，由于节点类别是已知的，节点颜色代表真实的类别，对于其他节点，即所有不在训练集中的节点，所述节点颜色用灰色表示；所述中间状态视图随着所述epoch的增加，节点预测状况会变化，在观察所述中间状态视图时，用户首先需要输入一个所述epoch，所述视图中用带有外环的较大圆点表示训练集节点，一个圆点的中心颜色表示该节点真实的类别，所述外环颜色表示在当前epoch中节点的预测类别，如果所述预测类别正确，则所述圆点的所述中心颜色和所述外环颜色是相同的，用户从中可以识别出一个训练节点是否被正确预测，对于其他节点，用灰色表示在当前epoch中被预测错误的节点，而被预测正确的节点用它们真实的类别颜色所表示；
所述差异比较版本帮助用户比较不同所述epoch间预测情况的差异，首先需要用户输入startEpoch和endEpoch两个数值，分别表示起始训练步数和终止训练步数，所述节点位置由GraphTSNE计算得到，在所述startEpoch中被预测错误而在所述endEpoch中被预测正确的节点用它们真实的所述类别颜色绘制，剩余的节点则用灰色所表示，可以帮助用户清晰地了解在两个epoch间哪些节点被预测正确了。
当用户将鼠标移动到所述网格中的某一格上时，显示该格的细节信息，所述细节信息包括每一层中的隐藏神经元数取值和对应的所述分类准确率。
所述颜色采用渐变的颜色映射机制，使不同颜色的所述网格对应不同的所述分类准确率。使用户更直观的通过颜色比较出分类准确率的高低。
所述图布局视图，当用户将鼠标移动到某一个节点上时，不仅展示对应的预测信息，同时显示该节点直接相连的邻居节点，所述预测信息包括节点ID、真实类别和所述预测类别。
本发明的优势和有益效果在于：
提出了一种新的可视分析方法，能支持渐进式地分析图卷积神经网络的工作流程和影响因素。该发明设计了多个协同的视图，通过解决半监督的节点分类任务来展示图卷积神经网络的作用，其中隐藏层分析视图、损失和准确率视图能直观地展示多个隐藏层参数对分类准确率的影响；图布局视图采用新型的GraphTSNE，一种图结构化数据的可视化方法来布局图结构数据中的节点位置，不仅同时考虑了图结构和节点特征，而且能清晰地呈现节点预测状况的演化过程。分析者可以通过与丰富的可视化视图进行交互，深入理解图卷积神经网络的执行过程和运行机理，理解GCN模型如何有效地在图上传导信息、基于训练集中少量已知标签的节点来正确预测大量节点的标签、发现节点被分类错误的原因。
附图说明
图1是本发明的可视分析方法的流程图。
图2a是本发明中一个隐藏层子视图的生成过程图。
图2b是本发明中两个隐藏层子视图的生成过程图。
图2c是本发明中三个隐藏层子视图的生成过程图。
图3a是本发明中隐藏神经元数为16的损失子视图。
图3b是本发明中隐藏神经元数为16的准确率子视图。
图3c是本发明中隐藏神经元数为80的损失子视图。
图3d是本发明中隐藏神经元数为80的准确率子视图。
图4a是本发明中初始状态视图。
图4b是本发明中epoch＝1时的中间状态视图。
图4c是本发明中epoch＝10时的中间状态视图。
图4d是本发明中epoch＝70时的中间状态视图。
图5a是本发明中epoch＝1时的预测情况细致分析图。
图5b是本发明中epoch＝2时的预测情况细致分析图。
具体实施方式
以下结合附图和具体实施例对本发明作具体的介绍。
如图1所示，一种用于理解图卷积神经网络的可视分析方法，包括如下步骤：
步骤一，将输入的图结构数据集划分为训练集、验证集和测试集；
步骤二，定义参数集合，包括隐藏层数集合和隐藏神经元数集合；
步骤三，基于定义好的所述参数集合，训练得到一系列的图卷积神经网络模型；
步骤四，设计隐藏层分析视图，展示隐藏层参数对分类准确率的影响；
步骤五，设计损失和准确率视图，展示所述模型迭代训练过程中损失和分类准确率的变化；
步骤六，采用GraphTSNE可视化方法计算图中节点的位置，设计图布局视图，呈现在不同训练步数下所述节点的预测情况和两个训练步数间所述节点预测情况的差异。
所述步骤一，所述图结构数据集可以表示为G＝(V,E)，其中所述
Figure BDA0002232899580000051
为具有N个所述节点的节点集合，所述
Figure BDA0002232899580000052
为边集合，所述vi和所述vj分别表示第i个和第j个节点；邻接矩阵A∈RN×N编码了所述节点间的关联，特征矩阵X∈RN×C包含所有所述节点的特征向量，其中每个所述节点vi具有一个C维的所述特征向量xi和一个类别标签，所述数据集共有F个类别；根据所述节点的总数N将所述数据集划分为所述训练集、所述验证集和所述测试集，如将5％的节点划分到训练集，训练集中的节点类别是已知的，且每个类别包含的节点个数相同；将20％的节点划分到验证集，将40％的节点划分到测试集。
所述步骤二，定义所述隐藏层数集合为{1，2，3}，由于当隐藏层数较大时，图卷积神经网络的分类性能不佳，因此最多考虑3个隐藏层，保证图卷积神经网络有较好的分类性能；对于每个隐藏层，使用{layerID-startID:stepID:endID}来定义所述隐藏神经元数集合，所述layerID为隐藏层数，所述startID为第ID个所述隐藏层的起始隐藏神经元数，所述stepID为每次递增的隐藏神经元数，所述endID为第ID个所述隐藏层的结束隐藏神经元数，如{1-16:16:80}表示选择{16,32,48,64,80}作为第一个隐藏层的所述隐藏神经元数。
所述步骤三，具有一个隐藏层的图卷积神经网络模型表示为
Figure BDA0002232899580000061
其中所述
Figure BDA0002232899580000062
所述
Figure BDA0002232899580000063
所述IN是一个单位矩阵，
Figure BDA0002232899580000064
是一个对角矩阵，且
Figure BDA0002232899580000065
所述是从输入层到所述第一个隐藏层的权重矩阵，所述第一个隐藏层具有H1个特征图，所述
Figure BDA0002232899580000067
是从所述第一个隐藏层到输出层的所述权重矩阵，所述F为类别数量，所述softmax(·)和所述ReLu(·)代表激励函数；
具有两个隐藏层的图卷积神经网络模型表示为
Figure BDA0002232899580000068
其中所述
Figure BDA0002232899580000069
是从所述输入层到第所述一个隐藏层的所述权重矩阵，所述第一个隐藏层具有所述H1个特征图，所述
Figure BDA00022328995800000610
是从所述第一个隐藏层到第二个隐藏层的所述权重矩阵，所述第二个隐藏层具有所述H2个特征图，所述
Figure BDA00022328995800000611
是从所述第二个隐藏层到所述输出层的所述权重矩阵；
具有三个隐藏层的图卷积神经网络模型表示为
Figure BDA00022328995800000612
其中所述
Figure BDA00022328995800000613
是从所述输入层到所述第一个隐藏层的所述权重矩阵，所述第一个隐藏层具有所述H1个特征图，所述
Figure BDA00022328995800000614
是从所述第一个隐藏层到第二个隐藏层的所述权重矩阵，所述第二个隐藏层具有所述H2个特征图，所述是从所述第二个隐藏层到三个隐藏层的权重矩阵，所述第三个隐藏层具有所述H3个特征图，所述
Figure BDA00022328995800000616
是从所述第三个隐藏层到所述输出层的所述权重矩阵；
当所述隐藏层数为一层、二层、三层时，分别选择相应的所述图卷积神经网络模型，从所述隐藏神经元数集合{layerID-startID:stepID:endID}中得到所述H1、H2和H3的取值范围；在训练过程中，使用epoch表示所述训练步数，epoch＝1表示所有训练数据集都训练过一次，使用Xavier初始化方法对初始的所述权重矩阵进行随机赋值，使用Adam方法训练所述模型，以交叉熵作为损失函数；在所述迭代训练过程中，针对每一个所述epoch，分别计算所述训练集和所述验证集的损失和分类准确率；在训练完成得到相应的图卷积神经网络模型后，采用所述测试集计算模型的所述分类准确率。
所述步骤四，采用基于网格的可视化方法来设计隐藏层分析视图，展示隐藏层参数对所述分类准确率的影响，所述隐藏层参数包括所述隐藏层数和每层的所述隐藏神经元数，设计三个子视图来分别展示具有不同所述隐藏层的所述图卷积神经网络模型的所述分类准确率；
如图2a所示，对于所述具有一个隐藏层的图卷积神经网络模型，设计一个隐藏层子视图，首先基于所述隐藏神经元数集合{layer1-start1:step1:end1}计算所述集合中的所有元素，然后采用一维网格来渲染所述一个隐藏层子视图；其中x轴表示所述第一个隐藏层中隐藏神经元的数量；
如图2b所示，对于所述具有两个隐藏层的图卷积神经网络模型，设计两个隐藏层子视图，首先基于所述隐藏神经元数集合{layer1-start1:step1:end1}和{layer2-start2:step2:end2}计算所述集合中的所有元素，然后采用二维网格来渲染所述两个隐藏层子视图；其中所述x轴表示所述第一个隐藏层中所述隐藏神经元的数量，y轴表示所述第二个隐藏层中所述隐藏神经元的数量；
如图2c所示，对于所述具有三个隐藏层的图卷积神经网络模型，设计三个隐藏层子视图，首先基于所述隐藏神经元数集合{layer1-start1:step1:end1}、{layer2-start2:step2:end2}和{layer3-start3:step3:end3}计算所述集合中的所有元素，然后用所述二维网格编码前两个所述隐藏层中的所述隐藏神经元的数量，最后将多个所述二维网格并列排放来编码所述第三个隐藏层的所述隐藏神经元数量，并采用并列排放的所述二维网格来渲染所述三个隐藏层子视图；其中第一个所述二维网格展示了当所述第三个隐藏层的所述隐藏神经元数为start3时的所述分类准确率，第二个所述二维网格展示了当所述第三个隐藏层的所述隐藏神经元数为start3+step3时的所述分类准确率，以此类推，直到最后一个所述二维网格展示的所述第三个隐藏层的所述隐藏神经元数为end3时的所述分类准确率；
每个所述子视图中网格的颜色编码了每一种所述参数组合在所述测试集上的所述分类准确率。如图2b所示，右侧为颜色映射条，所述颜色采用红黄绿渐变的颜色映射机制，分辨率自高到低分别用由红到黄、由黄到绿的不同分辨率的网格表示，使用户更直观的通过颜色比较出分类准确率的高低。所述三个子视图中都采用同样的颜色映射机制。
当用户将鼠标移动到所述网格中的某一格上时，显示该格的细节信息，所述细节信息包括每一层中的隐藏神经元数取值和对应的所述分类准确率。
所述步骤五，所述损失和准确率视图包括损失子视图和准确率子视图，所述两个子视图的x轴代表epoch，y轴分别代表所述损失和所述分类准确率，所述损失子视图包括所述训练集和所述验证集的损失曲线，所述准确率子视图包括所述训练集和所述验证集的分类准确率曲线，当选中所述隐藏层分析视图中的一格时，表明选择了对应所述隐藏层参数的一个所述模型，此时，所述损失和准确率视图会同步更新来展示所选择的所述模型对应的所述曲线。
图3a-d展示了当隐藏层数为1时，基于Cora数据集的损失和准确率视图，Cora数据集是一种论文数据集；图3a、b为隐藏神经元数为16时的损失子视图和准确率子视图，图3a中，随着epoch的增加，训练集损失和验证集损失逐渐降低，图3b中，当epoch大于70时，训练集和验证集的分类准确率趋于稳定，其中训练集准确率接近1，表明几乎训练集中所有的节点都被预测正确，验证集准确率接近于0.8；图3c、d为隐藏神经元数为80时的损失子视图和准确率子视图，相较于隐藏神经元数为16时的结果，图3d中，训练集和验证集的准确率快速收敛，在最初的10个epoch中，准确率快速提升，当epoch大于40时，准确率趋于稳定。
所述步骤六，包括如下步骤：
(1)采用所述GraphTSNE可视化方法将具有高维特征向量的所述节点集合V映射到二维点空间中；所述特征矩阵X可以表示为一个特征集合
Figure BDA0002232899580000081
每个节点的所述特征向量xi可以被看作是一个高维点，采用所述GraphTSNE可视化方法得到一个非线性的映射函数，所述映射函数将所述高维特征向量映射到二维点空间，基于所述映射函数计算所述每个节点的位置，并采用所述每个节点的位置渲染图布局中的节点；
(2)设计图布局视图，所述图布局视图包括预测版本和差异比较版本；
所述预测版本展示所述图卷积神经网络模型在不同状态下的预测情况，帮助用户观察节点预测情况的演化过程；所述预测版本包括初始状态视图和中间状态视图，所述初始状态视图展示了图结构数据初始时的布局情况，节点位置由所述GraphTSNE可视化方法计算得到，对于所述训练集中的节点，由于节点类别是已知的，节点颜色代表真实的类别，对于其他节点，即所有不在训练集中的节点，所述节点颜色用灰色表示；所述中间状态视图随着所述epoch的增加，节点预测状况会变化，在观察所述中间状态视图时，用户首先需要输入一个所述epoch，所述视图中用带有外环的较大圆点表示训练集节点，一个圆点的中心颜色表示该节点真实的类别，所述外环颜色表示在当前epoch中节点的预测类别，如果所述预测类别正确，则所述圆点的所述中心颜色和所述外环颜色是相同的，用户从中可以识别出一个训练节点是否被正确预测，对于其他节点，用灰色表示在当前epoch中被预测错误的节点，而被预测正确的节点用它们真实的类别颜色所表示；图4a-d利用图布局视图，分析了隐藏层数为1，隐藏神经元数为16时，基于Cora数据集的节点预测状况演化过程；图4a为预测版本的初始状态视图，训练集中所有的节点用它们真实的类别颜色所表示；图4b-d为预测版本的中间状态视图，展示了节点在训练过程中的预测类别，如图4b所示，当epoch＝1时,训练集中少量具有统一颜色的大节点为类别被预测正确的节点，大多数具有不同中心和外环颜色的大节点为类别被预测错误的训练节点；如图4c所示，当epoch增加到10时，更多的训练节点和其他节点被预测正确；如图4d所示，当epoch＝70时，几乎所有的训练节点都被预测正确，更多的其他节点也被赋予了正确的类别；大多数被预测错误的节点是孤立的节点或孤立的子图，如图4d中的圆环所圈出所示。
所述图布局视图，当用户将鼠标移动到某一个节点上时，不仅展示对应的预测信息，同时显示该节点直接相连的邻居节点，所述预测信息包括节点ID、真实类别和所述预测类别，使用户能够发现若一个节点与它的邻居节点具有不同的类别，则很容易被错误地分类，如图4d的右上角所展示的预测信息，节点2119同时与类别为4和5的节点相连，它的真实类别是4，却被错误地分到了类别5。
图5a和5b是本发明中epoch＝1和epoch＝2时的预测情况细致分析图。如图5a所示，当epoch＝1时，很多训练节点被预测错误，少量的其他节点被预测正确；如图5b所示，在epoch为1和2之间，一些新的训练节点被预测正确,它们的邻居节点同样被预测正确；当用户把鼠标移动到该节点上来观察时，可以更进一步分析两个epoch间某个特定节点的预测情况，如图5a、b右上角的节点73所示，当epoch＝1时，节点73的类别被预测错误，当epoch＝2时，节点73和其邻居节点被赋予了正确的类别标签；此外，如图5a、b右下角的节点364所示，随着epoch的增加，已经被正确预测的类别标签会扩散到邻居节点。
所述差异比较版本帮助用户比较不同所述epoch间预测情况的差异，首先需要用户输入startEpoch和endEpoch两个数值，分别表示起始训练步数和终止训练步数，所述节点位置由GraphTSNE计算得到，在所述startEpoch中被预测错误而在所述endEpoch中被预测正确的节点用它们真实的所述类别颜色绘制，剩余的节点则用灰色所表示，可以帮助用户清晰地了解在两个epoch间哪些节点被预测正确了。

Claims (10)

1.一种用于理解图卷积神经网络的可视分析方法，其特征在于，包括如下步骤：
步骤一，将输入的图结构数据集划分为训练集、验证集和测试集；
步骤二，定义参数集合，包括隐藏层数集合和隐藏神经元数集合；
步骤三，基于定义好的所述参数集合，训练得到一系列的图卷积神经网络模型；
步骤四，设计隐藏层分析视图，展示隐藏层参数对分类准确率的影响；
步骤五，设计损失和准确率视图，展示所述模型迭代训练过程中损失和分类准确率的变化；
步骤六，采用GraphTSNE可视化方法计算图中节点的位置，设计图布局视图，呈现在不同训练步数下所述节点的预测情况和两个训练步数间所述节点预测情况的差异。
2.根据权利要求1所述的一种用于理解图卷积神经网络的可视分析方法，其特征在于，所述步骤一，所述图结构数据集可以表示为G＝(V,E)，其中所述为具有N个所述节点的节点集合，所述为边集合，所述vi和所述vj分别表示第i个和第j个节点；邻接矩阵A∈RN×N编码了所述节点间的关联，特征矩阵X∈RN×C包含所有所述节点的特征向量，其中每个所述节点vi具有一个C维的所述特征向量xi和一个类别标签，所述数据集共有F个类别；根据所述节点的总数N将所述数据集划分为所述训练集、所述验证集和所述测试集。
3.根据权利要求1所述的一种用于理解图卷积神经网络的可视分析方法，其特征在于，所述步骤二，定义所述隐藏层数集合为{1，2，3}；对于每个隐藏层，使用{layerID-startID:stepID:endID}来定义所述隐藏神经元数集合，所述layerID为隐藏层数，所述startID为第ID个所述隐藏层的起始隐藏神经元数，所述stepID为每次递增的隐藏神经元数，所述endID为第ID个所述隐藏层的结束隐藏神经元数。
4.根据权利要求1所述的一种用于理解图卷积神经网络的可视分析方法，其特征在于，所述步骤三，具有一个隐藏层的图卷积神经网络模型表示为
Figure FDA0002232899570000013
其中所述
Figure FDA0002232899570000014
所述所述IN是一个单位矩阵，
Figure FDA0002232899570000016
是一个对角矩阵，且
Figure FDA0002232899570000017
所述
Figure FDA00022328995700000116
是从输入层到所述第一个隐藏层的权重矩阵，所述第一个隐藏层具有H1个特征图，所述
Figure FDA0002232899570000018
是从所述第一个隐藏层到输出层的所述权重矩阵，所述F为类别数量，所述softmax(·)和所述ReLu(·)代表激励函数；
具有两个隐藏层的图卷积神经网络模型表示为
Figure FDA0002232899570000019
其中所述是从所述输入层到第所述一个隐藏层的所述权重矩阵，所述第一个隐藏层具有所述H1个特征图，所述
Figure FDA00022328995700000111
是从所述第一个隐藏层到第二个隐藏层的所述权重矩阵，所述第二个隐藏层具有所述H2个特征图，所述
Figure FDA00022328995700000112
是从所述第二个隐藏层到所述输出层的所述权重矩阵；
具有三个隐藏层的图卷积神经网络模型表示为
Figure FDA00022328995700000113
其中所述
Figure FDA00022328995700000114
是从所述输入层到所述第一个隐藏层的所述权重矩阵，所述第一个隐藏层具有所述H1个特征图，所述
Figure FDA00022328995700000115
是从所述第一个隐藏层到第二个隐藏层的所述权重矩阵，所述第二个隐藏层具有所述H2个特征图，所述
Figure FDA0002232899570000021
是从所述第二个隐藏层到三个隐藏层的权重矩阵，所述第三个隐藏层具有所述H3个特征图，所述
Figure FDA0002232899570000022
是从所述第三个隐藏层到所述输出层的所述权重矩阵；
当所述隐藏层数为一层、二层、三层时，分别选择相应的所述图卷积神经网络模型，从所述隐藏神经元数集合{layerID-startID:stepID:endID}中得到所述H1、H2和H3的取值范围；在训练过程中，使用epoch表示所述训练步数，epoch＝1表示所有训练数据集都训练过一次，使用Xavier初始化方法对初始的所述权重矩阵进行随机赋值，使用Adam方法训练所述模型，以交叉熵作为损失函数；在所述迭代训练过程中，针对每一个所述epoch，分别计算所述训练集和所述验证集的损失和分类准确率；在训练完成得到相应的图卷积神经网络模型后，采用所述测试集计算模型的所述分类准确率。
5.根据权利要求1所述的一种用于理解图卷积神经网络的可视分析方法，其特征在于，所述步骤四，采用基于网格的可视化方法来设计隐藏层分析视图，展示隐藏层参数对所述分类准确率的影响，所述隐藏层参数包括所述隐藏层数和每层的所述隐藏神经元数，设计三个子视图来分别展示具有不同所述隐藏层的所述图卷积神经网络模型的所述分类准确率；
对于所述具有一个隐藏层的图卷积神经网络模型，设计一个隐藏层子视图，首先基于所述隐藏神经元数集合{layer1-start1:step1:end1}计算所述集合中的所有元素，然后采用一维网格来渲染所述一个隐藏层子视图；其中x轴表示所述第一个隐藏层中隐藏神经元的数量；
对于所述具有两个隐藏层的图卷积神经网络模型，设计两个隐藏层子视图，首先基于所述隐藏神经元数集合{layer1-start1:step1:end1}和{layer2-start2:step2:end2}计算所述集合中的所有元素，然后采用二维网格来渲染所述两个隐藏层子视图；其中所述x轴表示所述第一个隐藏层中所述隐藏神经元的数量，y轴表示所述第二个隐藏层中所述隐藏神经元的数量；
对于所述具有三个隐藏层的图卷积神经网络模型，设计三个隐藏层子视图，首先基于所述隐藏神经元数集合{layer1-start1:step1:end1}、{layer2-start2:step2:end2}和{layer3-start3:step3:end3}计算所述集合中的所有元素，然后用所述二维网格编码前两个所述隐藏层中的所述隐藏神经元的数量，最后将多个所述二维网格并列排放来编码所述第三个隐藏层的所述隐藏神经元数量，并采用并列排放的所述二维网格来渲染所述三个隐藏层子视图；其中第一个所述二维网格展示了当所述第三个隐藏层的所述隐藏神经元数为start3时的所述分类准确率，第二个所述二维网格展示了当所述第三个隐藏层的所述隐藏神经元数为start3+step3时的所述分类准确率，以此类推，直到最后一个所述二维网格展示的所述第三个隐藏层的所述隐藏神经元数为end3时的所述分类准确率；
每个所述子视图中网格的颜色编码了每一种所述参数组合在所述测试集上的所述分类准确率。
6.根据权利要求1所述的一种用于理解图卷积神经网络的可视分析方法，其特征在于，所述步骤五，所述损失和准确率视图包括损失子视图和准确率子视图，所述两个子视图的x轴代表epoch，y轴分别代表所述损失和所述分类准确率，所述损失子视图包括所述训练集和所述验证集的损失曲线，所述准确率子视图包括所述训练集和所述验证集的分类准确率曲线，当选中所述隐藏层分析视图中的一格时，表明选择了对应所述隐藏层参数的一个所述模型，此时，所述损失和准确率视图会同步更新来展示所选择的所述模型对应的所述曲线。
7.根据权利要求1所述的一种用于理解图卷积神经网络的可视分析方法，其特征在于，所述步骤六，包括如下步骤：
(1)采用所述GraphTSNE可视化方法将具有高维特征向量的所述节点集合V映射到二维点空间中；所述特征矩阵X可以表示为一个特征集合
Figure FDA0002232899570000031
每个节点的所述特征向量xi可以被看作是一个高维点，采用所述GraphTSNE可视化方法得到一个非线性的映射函数，所述映射函数将所述高维特征向量映射到二维点空间，基于所述映射函数计算所述每个节点的位置，并采用所述每个节点的位置渲染图布局中的节点；
(2)设计图布局视图，所述图布局视图包括预测版本和差异比较版本；
所述预测版本展示所述图卷积神经网络模型在不同状态下的预测情况，所述预测版本包括初始状态视图和中间状态视图，所述初始状态视图展示了图结构数据初始时的布局情况，节点位置由所述GraphTSNE可视化方法计算得到，对于所述训练集中的节点，由于节点类别是已知的，节点颜色代表真实的类别，对于其他节点，即所有不在训练集中的节点，所述节点颜色用灰色表示；所述中间状态视图随着所述epoch的增加，节点预测状况会变化，用户首先需要输入一个所述epoch，所述视图中用带有外环的较大圆点表示训练集节点，一个圆点的中心颜色表示该节点真实的类别，所述外环颜色表示在当前epoch中节点的预测类别，如果所述预测类别正确，则所述圆点的所述中心颜色和所述外环颜色是相同的，对于其他节点，用灰色表示在当前epoch中被预测错误的节点，而被预测正确的节点用它们真实的类别颜色所表示；
所述差异比较版本，首先需要用户输入startEpoch和endEpoch两个数值，分别表示起始训练步数和终止训练步数，所述节点位置由GraphTSNE计算得到，在所述startEpoch中被预测错误而在所述endEpoch中被预测正确的节点用它们真实的所述类别颜色绘制，剩余的节点则用灰色所表示。
8.根据权利要求5所述的一种用于理解图卷积神经网络的可视分析方法，其特征在于，当选中所述网格的一格时，显示该格的细节信息，所述细节信息包括每一层中的隐藏神经元数取值和对应的所述分类准确率。
9.根据权利要求5所述的一种用于理解图卷积神经网络的可视分析方法，其特征在于，所述颜色采用渐变的颜色映射机制，使不同颜色的所述网格对应不同的所述分类准确率。
10.根据权利要求7所述的一种用于理解图卷积神经网络的可视分析方法，其特征在于，所述图布局视图，当选中一个节点时，不仅展示对应的预测信息，同时显示该节点直接相连的邻居节点，所述预测信息包括节点ID、真实类别和所述预测类别。
CN201910973555.7A 2019-10-14 2019-10-14 一种用于理解图卷积神经网络的可视分析方法 Active CN110781933B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910973555.7A CN110781933B (zh) 2019-10-14 2019-10-14 一种用于理解图卷积神经网络的可视分析方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910973555.7A CN110781933B (zh) 2019-10-14 2019-10-14 一种用于理解图卷积神经网络的可视分析方法

Publications (2)

Publication Number Publication Date
CN110781933A true CN110781933A (zh) 2020-02-11
CN110781933B CN110781933B (zh) 2022-08-05

Family

ID=69385956

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910973555.7A Active CN110781933B (zh) 2019-10-14 2019-10-14 一种用于理解图卷积神经网络的可视分析方法

Country Status (1)

Country Link
CN (1) CN110781933B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111428865A (zh) * 2020-04-20 2020-07-17 杭州电子科技大学 一种用于理解dqn模型的可视分析方法
CN111464327A (zh) * 2020-02-25 2020-07-28 电子科技大学 一种基于图卷积网络的空间信息网络抗毁性评估方法
CN112270406A (zh) * 2020-11-11 2021-01-26 浙江大学 一种类脑计算机操作系统的神经信息可视化方法
CN112436992A (zh) * 2020-11-10 2021-03-02 北京邮电大学 基于图卷积网络的虚拟网络映射方法及装置
CN112508163A (zh) * 2020-11-23 2021-03-16 北京百度网讯科技有限公司 神经网络模型中子图的展示方法、装置和存储介质
CN112613559A (zh) * 2020-12-23 2021-04-06 电子科技大学 基于相互学习的图卷积神经网络节点分类方法、存储介质和终端
WO2023072094A1 (zh) * 2021-10-25 2023-05-04 上海交通大学 一种对神经网络中层特征表达能力的可视化及定量分析方法和系统
WO2024045989A1 (zh) * 2022-08-31 2024-03-07 京东方科技集团股份有限公司 图网络数据集的处理方法、装置、电子设备、程序及介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1640209A (zh) * 2002-02-27 2005-07-13 成像治疗仪股份有限公司 用于建立和操作集中测量值数据库的系统和方法
US20150261846A1 (en) * 2014-03-11 2015-09-17 Sas Institute Inc. Computerized cluster analysis framework for decorrelated cluster identification in datasets
CN108648095A (zh) * 2018-05-10 2018-10-12 浙江工业大学 一种基于图卷积网络梯度的节点信息隐藏方法
CN109344957A (zh) * 2018-08-01 2019-02-15 浙江工业大学 基于差异比较的卷积神经网络可视分析方法
CN109740106A (zh) * 2019-01-09 2019-05-10 中国人民解放军国防科技大学 基于图卷积神经网络的大规模网络介数逼近方法、存储装置及存储介质
CN109858429A (zh) * 2019-01-28 2019-06-07 北京航空航天大学 一种基于卷积神经网络的眼底图像病变程度识别与可视化系统
CN109977232A (zh) * 2019-03-06 2019-07-05 中南大学 一种基于力导图的图神经网络可视分析方法
CN109977205A (zh) * 2019-03-08 2019-07-05 中南大学 一种计算机自主学习源代码的方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1640209A (zh) * 2002-02-27 2005-07-13 成像治疗仪股份有限公司 用于建立和操作集中测量值数据库的系统和方法
US20150261846A1 (en) * 2014-03-11 2015-09-17 Sas Institute Inc. Computerized cluster analysis framework for decorrelated cluster identification in datasets
CN108648095A (zh) * 2018-05-10 2018-10-12 浙江工业大学 一种基于图卷积网络梯度的节点信息隐藏方法
CN109344957A (zh) * 2018-08-01 2019-02-15 浙江工业大学 基于差异比较的卷积神经网络可视分析方法
CN109740106A (zh) * 2019-01-09 2019-05-10 中国人民解放军国防科技大学 基于图卷积神经网络的大规模网络介数逼近方法、存储装置及存储介质
CN109858429A (zh) * 2019-01-28 2019-06-07 北京航空航天大学 一种基于卷积神经网络的眼底图像病变程度识别与可视化系统
CN109977232A (zh) * 2019-03-06 2019-07-05 中南大学 一种基于力导图的图神经网络可视分析方法
CN109977205A (zh) * 2019-03-08 2019-07-05 中南大学 一种计算机自主学习源代码的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
吴飞等: "深度学习的可解释性", 《航空兵器》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111464327A (zh) * 2020-02-25 2020-07-28 电子科技大学 一种基于图卷积网络的空间信息网络抗毁性评估方法
CN111428865A (zh) * 2020-04-20 2020-07-17 杭州电子科技大学 一种用于理解dqn模型的可视分析方法
CN111428865B (zh) * 2020-04-20 2023-04-18 杭州电子科技大学 一种用于理解dqn模型的可视分析方法
CN112436992A (zh) * 2020-11-10 2021-03-02 北京邮电大学 基于图卷积网络的虚拟网络映射方法及装置
CN112270406A (zh) * 2020-11-11 2021-01-26 浙江大学 一种类脑计算机操作系统的神经信息可视化方法
CN112508163A (zh) * 2020-11-23 2021-03-16 北京百度网讯科技有限公司 神经网络模型中子图的展示方法、装置和存储介质
CN112613559A (zh) * 2020-12-23 2021-04-06 电子科技大学 基于相互学习的图卷积神经网络节点分类方法、存储介质和终端
CN112613559B (zh) * 2020-12-23 2023-04-07 电子科技大学 基于相互学习的图卷积神经网络节点分类方法、存储介质和终端
WO2023072094A1 (zh) * 2021-10-25 2023-05-04 上海交通大学 一种对神经网络中层特征表达能力的可视化及定量分析方法和系统
WO2024045989A1 (zh) * 2022-08-31 2024-03-07 京东方科技集团股份有限公司 图网络数据集的处理方法、装置、电子设备、程序及介质

Also Published As

Publication number Publication date
CN110781933B (zh) 2022-08-05

Similar Documents

Publication Publication Date Title
CN110781933B (zh) 一种用于理解图卷积神经网络的可视分析方法
Cui et al. A new hyperparameters optimization method for convolutional neural networks
Graziani et al. Concept attribution: Explaining CNN decisions to physicians
Sedlmair et al. Data‐driven evaluation of visual quality measures
CN106920243A (zh) 改进的全卷积神经网络的陶瓷材质件序列图像分割方法
Olteanu et al. On-line relational and multiple relational SOM
Bergmann et al. Approximation of dispatching rules for manufacturing simulation using data mining methods
CN114341880A (zh) 用于使神经网络的操作可视化的技术
CN112101574B (zh) 一种机器学习有监督模型解释方法、系统及设备
CN111832227A (zh) 基于深度学习的页岩气饱和度确定方法、装置和设备
CN115544239A (zh) 一种基于深度学习模型的布局偏好预测方法
CN117036060A (zh) 车险欺诈识别方法、装置和存储介质
CN117746260B (zh) 遥感数据智能解析方法及系统
CN114258550A (zh) 用于修改神经网络的操作的技术
Li et al. Symbolic expression transformer: A computer vision approach for symbolic regression
CN105678798A (zh) 一种结合局部空间信息的多目标模糊聚类图像分割方法
CN113764034A (zh) 基因组序列中潜在bgc的预测方法、装置、设备及介质
CN117292750A (zh) 细胞类型占比的预测方法、装置、设备及存储介质
Li et al. Neural network ensembles: theory, training, and the importance of explicit diversity
Miranda et al. A framework for spatial regionalization composed of novel clustering‐based algorithms under spatial contiguity constraints
CN114610967A (zh) 一种应用于用户画像领域的数据增广方法
Di Carlo et al. Generating 3D building volumes for a given urban context using Pix2Pix GAN
Sidheekh et al. Building Expressive and Tractable Probabilistic Generative Models: A Review
CN112215366B (zh) 基于结果画像的模型解释方法、系统、计算及存储设备
Fallani et al. Economical representation of spatial networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant