CN110826699A - 一种基于梯度的图神经网络可解释性分析方法 - Google Patents

Abstract

本发明公开了一种基于梯度的图神经网络可解释性分析方法。本发明方法通过向训练好参数的神经网络输入图结构数据，递归计算图神经网络输出与输入之间所有前向传播路径的梯度，根据梯度解释各个输入节点对各个输出节点的影响大小。本发明作为梯度可解释性方法在图神经网络上的一种改进方法，扩展了梯度可解释性方法在图神经网络上归因分析的覆盖范围，提高了梯度可解释性方法在图神经网络上归因分析的有效性。

Description

一种基于梯度的图神经网络可解释性分析方法

技术领域

本发明属于神经网络可解释性研究领域，尤其涉及一种使用梯度归因分析方法解释图神经网络预测原因的领域。

背景技术

深度学习拥有强大的数据提取与函数拟合能力，加上其具有端到端训练的便利特性，进而激起了人工智能发展的又一次浪潮。在深度学习领域，研究人员根据不同的使用场景设计了适合领域的神经网络架构，如卷积神经网络常常用来处理图像数据，循环神经网络时常用来处理时序数据，自编码器生成网络一般用来完成重构任务。然而，由于神经网络众多的训练参数和分布式表示的特性，导致人们难以对其预测结果做出合理的解释，无法分析神经网络的决策依据。因此，神经网络的黑盒问题一直是阻碍人工智能发展的重大挑战。

近年来，图神经网络已经成为一个热门的研究课题，因为它不仅继承了深度学习从原始数据中自动提取特征的能力，而且可以直接处理图结构数据。图结构数据是许多现实应用领域中常见的数据类型，如社交网络，道路网络和知识图谱。相较于其它类型的数据，不同的图结构数据之间往往存在关联，因此图神经网络在设计时需要考虑到不同数据间的关系。与传统的深度学习模型相似，图神经网络也存在黑盒问题，同样难以解释其做出预测的潜在原因。

分析并解释图神经网络的预测原因是非常重要的。许多关键应用，如医疗、法律和金融领域，犯错的成本非常高。因此，模型需要具有一定的透明度，这样一来，用户可以理解模型是如何进行预测的，领域专家也可以根据分析结果调试和改进模型。

截至目前，已有许多方法可以用来解释传统的深度学习模型，梯度归因分析方法便是其中一个重要的分支。然而，现有的梯度归因分析方法不能直接应用于图神经网络。因为传统的深度学习模型通常只进行了特征信息的融合，而图神经网络不仅进行了特征信息融合，还进行了邻居节点信息的融合。现有的梯度归因分析方法只考虑了特征信息融合的梯度传递情况，无法推断多个节点各自对深度学习模型所做出预测的贡献。

发明内容

发明目的：为了克服现有技术中存在的不足，本发明提供一种基于梯度的图神经网络可解释性分析方法，该方法首度将梯度归因分析方法用于解释图卷积神经网络的预测原因中，并结合图卷积网络的结构特性，一定程度上解决了现有梯度归因分析方法应用于图卷积神经网络上的分析精度不高、覆盖节点不全的问题。

技术方案：为实现上述目的，本发明采用的技术方案为：

一种基于梯度的图神经网络可解释性分析方法，包括以下步骤：

步骤1)向训练好参数的图神经网络输入图结构数据；

步骤2)递归计算图神经网络输出与输入之间所有前向传播路径的梯度；

步骤2.1)分别找到影响各个输出节点的所有输入节点；

步骤2.2)分别找到这些输入节点到各个输出节点的所有前向传播路径；

步骤2.3)分别递归计算每条前向传播路径中输出节点与输入节点间的梯度值；

步骤2.4)对于参与某一输出节点计算过程的各个输入节点，将其多个前向传播路径的梯度值分别求和，得到它们各自对这一输出节点的总梯度值；

步骤3)根据梯度解释各个输入节点对各个输出节点的影响大小；

步骤4)将各个输入节点对各个输出节点的影响大小进行可视化展示与分析；

步骤4.1)在节点分类任务中，通过节点粒度和特征粒度两个方面，使用三个视图可视化展示K阶邻居节点对指定输出节点的影响大小；

步骤4.2)对于某一输出节点，选取参与计算的部分输入节点或节点特征维度，来进一步分析选中节点或维度对输出节点计算的影响大小。

有益效果：

1)本发明给出一种基于梯度的图神经网络可解释性分析方法，有针对性地设计出适合图卷积神经网络的梯度计算方式，从而可以得到所有相关特征对预测的贡献，进而提升梯度归因方法作用在图卷积神经网络上的有效性；

2)本发明提出了一种动态可视化工具对图卷积神经网络进行可视化分析，方便用户和专家对预测结果产生的原因进行直观分析。

附图说明

图1为本发明方法具体实施流程图；

图2为图卷积神经网络前向传播过程示意图；

图3为本发明方法总体结构示意图；

图4为本发明方法中所有与预测节点相关的前向传播路径计算方法示意图；

图5为本发明方法中可视化分析界面示意图；

图6为本发明方法中可视化分析界面鼠标悬停效果示意图；

图7为采用本发明方法和现有方法在节点粒度上的归因有效性对比示意图；

图8为采用本发明方法和现有方法在特征粒度上的归因有效性对比示意图。

具体实施方式

本发明给出了基于梯度的图神经网络可解释性分析方法实施例，为了使本技术领域的人员更好地理解本发明实施例中的技术方案，并使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明中技术方案作进一步详细的说明：

示例图结构数据如图2(a)所示，该图结构包括待分类预测节点a，一阶邻居节点b,c,d和二阶邻居节点e。本发明方法具体实施流程图如图1所示，其过程如下：

步骤1)输入图结构数据训练图卷积神经网络，得到训练好网络参数的图卷积神经网络：

准备好图结构数据的节点特征信息和边邻接信息，向图卷积神经网络输入图结构数据，通过优化算法进行梯度反向传播更新网络参数，迭代更新得到预测准确率较高的训练好网络参数的图卷积神经网络。这一步是图卷积神经网络正常的训练过程，后面步骤是本发明方法的具体分析过程。

步骤2)将图结构数据输入到训练好参数的图卷积神经网络中，得到待预测节点a的前向传播路径：

这一过程如图2所示，介绍了图卷积神经网络前向传播路径在图卷积层内的传播方式。本算法将层内传播路径分为两个阶段：邻居信息融合阶段和特征信息融合阶段。邻居信息融合是指包含a在内的一阶邻居节点特征信息的融合，这一阶段是不同节点按特征按维度分别相加，过程如图2(b)所示；特征信息融合是指特征维度间的信息融合，这一阶段是用全连接层输出神经元个数少于输入神经元个数达到降维的目的，过程如图2(c)所示。图3完整展示了两个图卷积层组成的图卷积神经网络的前向传播路径，一般来说，两个图卷积层可以汇聚待预测节点的二阶邻居的特征信息，a,b,c,d,e是a的二阶邻居节点，图中a⁽⁰⁾,b⁽⁰⁾,c⁽⁰⁾,d⁽⁰⁾和e⁽⁰⁾是5个节点的原始输入特征，和

是a,b,c,d四个节点第一层图卷积层的邻居信息融合阶段，分别融合了各自的一阶邻居特征信息，将融合后的特征分别输入到各自的特征信息融合阶段

和

得到各自的第一层特征表示a⁽¹⁾,b⁽¹⁾,c⁽¹⁾,d⁽¹⁾。将得到的第一层特征表示经过和

的信息汇聚，经过softmax激活函数的处理得到a的第二层特征表示a⁽²⁾。这便是两个图卷积层组成的图卷积神经网络完整的前向传播过程。

步骤3)根据待预测节点a的前向传播路径计算相关输入节点的特征与输出预测结果间的梯度：

图4根据相关节点与待预测节点a的跳数划分了三类节点，图4第一行是待预测节点自身的原始输入特征对自身分类预测的梯度计算方式，主要有两种前向传播路径，即a⁽⁰⁾→a⁽¹⁾→a⁽²⁾和a⁽⁰⁾→u⁽¹⁾→a⁽²⁾，这里u表示待预测节点的一阶邻居节点b,c,d；图4第二行是待预测节点的一阶邻居节点的原始输入特征对待预测节点分类预测的梯度计算方式，主要有三种前向传播路径，即u⁽⁰⁾→u⁽¹⁾→a⁽²⁾，u⁽⁰⁾→a⁽¹⁾→a⁽²⁾和u⁽⁰⁾→u′⁽¹⁾→a⁽²⁾，这里u′表示与u不同的一阶邻居节点；图4第三行是待预测节点的二阶邻居节点的原始输入特征对待预测节点分类预测的梯度计算方式，主要有一种前向传播路径，即v⁽⁰⁾→u⁽⁰⁾→a⁽²⁾，这里v表示待预测节点的二阶邻居节点e。分别计算各个前向传播路径的梯度值，将待预测节点a的各个输入节点a,b,c,d,e的多种前向传播路径得到的梯度值分别求和，得到各个输入节点对该待预测节点的总梯度值。

步骤4)根据梯度计算各个相关节点特征对待预测节点的贡献度：

将上一步得到的各个节点梯度值分别于其自身特征做内积，得到各个节点的贡献度。

步骤5)将贡献度可视化展示，方便用户和专家进行分析：

贡献度展示如图5所示，图5展示的是待预测节点id为1，由两个图卷积层构成的图卷积神经网络的贡献度可视化展示界面，左上角窗口是二阶邻居节点的拓扑结构，节点大小表示节点贡献度大小；右上角窗口是节点按贡献度大小排序的展示；下面窗口是节点各个特征维度从大到小排序的展示；三个展示窗口动态绑定，点选任意窗口的某几个节点，可以在另外两个窗口同步高亮显示；三个窗口鼠标悬停均可以显示具体信息，如图6所示。

图7和图8分别从节点粒度和特征粒度验证了本发明方法(NAM)在同类方法中的有效性，根据贡献值由大到小按比例删除参与各个节点分类预测过程的节点或特征维度，观察预测准确率的下降速度，曲线下积分面积越小说明该可解释性方法越有效。其中一跳邻居可解释性方法和两跳邻居可解释性方法两种方法均为本发明方法的变体，前者只考虑一阶邻居的u⁽⁰⁾→a⁽¹⁾→a⁽²⁾单一前向传播路径的贡献度，后者考虑一阶邻居的u⁽⁰⁾→a⁽¹⁾→a⁽²⁾单一前向传播路径的贡献度和二阶邻居的v⁽⁰⁾→u⁽⁰⁾→a⁽²⁾前向传播路径的贡献度。经实验验证，在解释图卷积神经网络方面，本发明方法以及基于本发明方法的两种变体方法均比现有的梯度可解释性方法具有更准确的解释效果。

以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例。对于本技术领域的技术人员来说，在不脱离本发明技术构思前提下所得到的改进和变换也应视为本发明的保护范围。

Claims (6)

1.一种基于梯度的图神经网络可解释性分析方法，其特征在于，包含以下步骤：

步骤1)向训练好参数的图神经网络输入图结构数据；

步骤2)递归计算图神经网络输出与输入之间所有前向传播路径的梯度；

步骤3)根据梯度解释各个输入节点对各个输出节点的影响大小。

2.根据权利要求1所述的一种基于梯度的图神经网络可解释性分析方法，其特征在于，所述步骤3)根据梯度解释各个输入节点对各个输出节点的影响大小，之后还包括：

步骤4)将各个输入节点对各个输出节点的影响大小进行可视化展示与分析。

3.根据权利要求1所述的一种基于梯度的图神经网络可解释性分析方法，其特征在于，所述步骤1)向训练好参数的图神经网络输入图结构数据，训练好参数的图神经网络是指：经过优化算法迭代计算后得到的较高预测准确率的图神经网络；图结构数据是指：包含节点和边的拓扑结构，其中节点和边可以拥有自身的特征向量。

4.根据权利要求1所述的一种基于梯度的图神经网络可解释性分析方法，其特征在于，所述图神经网络为图卷积神经网络，用来执行节点分类任务。图卷积神经网络由图卷积层堆叠构成，每个图卷积层汇聚该层中心节点的一跳邻居节点信息。

5.根据权利要求1所述的一种基于梯度的图神经网络可解释性分析方法，其特征在于，所述步骤2)递归计算图神经网络输出与输入之间所有前向传播路径的梯度，具体计算过程如下：

步骤2.1)分别找到影响各个输出节点的所有输入节点；

步骤2.2)分别找到这些输入节点到各个输出节点的所有前向传播路径；

步骤2.3)分别递归计算每条前向传播路径中输出节点与输入节点间的梯度值；

步骤2.4)对于参与某一输出节点计算过程的各个输入节点，将其多个前向传播路径的梯度值分别求和，得到它们各自对这一输出节点的总梯度值。

6.根据权利要求2所述的一种基于梯度的图神经网络可解释性分析方法，其特征在于，所述步骤4)将各个输入节点对各个输出节点的影响大小进行可视化展示与分析，具体展示与分析过程如下：

步骤4.1)在节点分类任务中，通过节点粒度和特征粒度两个方面，使用三个视图可视化展示K阶邻居节点对指定输出节点的影响大小；

步骤4.2)对于某一输出节点，选取参与计算的部分输入节点或节点特征维度，来进一步分析选中节点或维度对输出节点计算的影响大小。

Images