CN113269310A - 基于反事实的图神经网络可解释性方法 - Google Patents

基于反事实的图神经网络可解释性方法 Download PDF

Info

Publication number
CN113269310A
CN113269310A CN202110617192.0A CN202110617192A CN113269310A CN 113269310 A CN113269310 A CN 113269310A CN 202110617192 A CN202110617192 A CN 202110617192A CN 113269310 A CN113269310 A CN 113269310A
Authority
CN
China
Prior art keywords
interpretation
subgraph
neural network
graph
counterfactual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110617192.0A
Other languages
English (en)
Inventor
张熙
刘逸飞
李小勇
吴旭
时金桥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Posts and Telecommunications
Original Assignee
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Posts and Telecommunications filed Critical Beijing University of Posts and Telecommunications
Priority to CN202110617192.0A priority Critical patent/CN113269310A/zh
Publication of CN113269310A publication Critical patent/CN113269310A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Abstract

基于反事实的图神经网络可解释性方法涉及图神经网络解释方法技术领域，解决了现有可理解性和可信度弱的问题，包括：步骤一、根据待解释的大图G和大图上的目标节点vi，使用深度优先搜索算法进行解释子图Gi枚举；步骤二、对每个枚举得到的解释子图计算可模拟性和反事实相关性，将每个Gi的可模拟性排名和其反事实相关性排名相加得到每个Gi的综合排名，根据所有Gi的综合排名选取综合排名靠前的Gi作为最优Gi；步骤三、分析最优Gi的鲁棒性。本发明设计了一种基于图表的反事实解释形式，更易于人类理解，提出了图神经网络解释的鲁棒性指标，有利于提高解释的可信度。采用本发明基于反事实的图神经网络可解释性方法得到的反事实解释可以更好地被人们所理解和接受。

Description

基于反事实的图神经网络可解释性方法
技术领域
本发明涉及图神经网络解释方法技术领域，具体涉及基于反事实的图神经网络可解释性方法。
背景技术
随着人工智能的快速发展，机器学习、深度学习等算法在数据挖掘、社交网络分等重要领域的应用越来越广泛，并且表现出了极其优秀的性能。然而绝大多数机器学习、深度学习算法都是一个“黑箱模型”，即它们只提供决策结果却不提供可解释性的判别依据，导致人类无法真正理解这些模型。因此机器学习、深度学习等算法的可解释性问题受到了广泛关注，可解释性是指人们对算法预测结果的理解程度，如果一个模型的决策比另一个模型更容易理解让人理解，那么该模型就具有更高的解释性。
机器学习、深度学习等算法的可解释性技术根据其是否接触模型可以分为模型无关的解释方法和特定于模型的解释方法。特定于模型的解释方法针对于特定的模型类，例如线性模型中的权重系数解释，本质上可解释模型的解释通常就是属于这一类的。模型无关的解释方法理论上可以应用于任何机器学习算法并在模型经过训练后应用，这些模型无关的方法通过分析输入特征和输出结果之间的关联来给出解释，这些方法通常不能访问模型的内部信息，如模型结构信息。
针对通用机器学习算法的可解释性方法包括敏感性分析解释方法，重要性分数解释方法、代理模型解释方法、局部近似解释方法、Shapley值解释方法、反事实解释方法等等。其中敏感性分析解释方法是通过分析改变输入特征时对输出产生的影响大小从而找出重要因素作为解释，重要性分数解释方法是通过分解模型的预测结果来评估输入特征的正面贡献和负面贡献，代理模型解释方法是使用解释器模型来模拟目标模型的预测结果从而作出解释，Shapley值解释方法是公平地为每个特征分配特定预测的重要性值，反事实解释方法是找出影响预测结果最大的特征作为反事实解释。上述可解释性方法着重于解释机器学习算法，然而却非为图机器学习算法所专门设计的，针对图机器学习算法的可解释性方法主要是敏感性分析解释方法和代理模型解释方法，目前反事实解释方法还未应用于解释图机器学习算法。
可解释性的鲁棒性研究也受到了极大的关注，解释的鲁棒性是指解释受到扰动时是否会产生变化，如果一个解释受到攻击扰动时会产生很大的变化，那么该解释被信任的程度会大大降低，现有多数方法都致力于提高解释算法寻找到解释的鲁棒性，然而这些研究大多都是针对机器学习算法可解释性方法的，针对图机器学习算法可解释性方法的鲁棒性研究目前还较少。
现有的图神经网络解释方法通常使用模拟预测结果的方法来简化计算，忽略了人类感知和计算的反事实推理，现有形式的解释的可理解性更弱。解释的鲁棒性也是十分重要的，如果一个解释的鲁棒性较差，那么其可信度也会随之降低，提高解释鲁棒性的同时也会增强解释结果的可信度，使得人们更能接受该解释，但是现有的图神经网络解释方法还未针对解释结果的鲁棒性进行研究。
发明内容
为了解决上述问题，本发明提供基于反事实的图神经网络可解释性方法。
本发明为解决技术问题所采用的技术方案如下：
基于反事实的图神经网络可解释性方法，包括：
步骤一、根据待解释的大图G和大图上的目标节点vi，使用深度优先搜索算法进行解释子图Gi枚举；
步骤二、对每个枚举得到的解释子图计算可模拟性和反事实相关性，对所有Gi的可模拟性v(Gi)进行排序得到每个Gi的可模拟性排名，对所有Gi的的反事实相关性进行排序得到每个Gi的反事实相关性排名，将每个Gi的可模拟性排名和其反事实相关性排名相加得到每个Gi的综合排名，根据所有Gi的综合排名选取综合排名靠前的Gi作为最优Gi；
步骤三、分析最优Gi的鲁棒性，根据鲁棒性判断最优Gi能否解释大图G。
本发明的有益效果是：
本发明基于反事实的图神经网络可解释性方法提出了图神经网络预测反事实解释的两个度量指标可模拟性和反事实相关性，基于此设计了一种基于图表的反事实解释形式，更易于人类理解。本发明设计了一个双目标优化问题来搜索最优解释，还设计了一种子图枚举算法来有效地搜索这两个指标的帕累托最优解。本发明研究了图神经网络解释的鲁棒性，提出了图神经网络解释的鲁棒性评估指标，提高解释的鲁棒性也有利于提高解释的可信度，证明算法在鲁棒性和敏感性之间达到很好的平衡。采用本发明基于反事实的图神经网络可解释性方法得到的反事实解释可以更好地被人们所理解和接受。
附图说明
图1为本发明的基于反事实的图神经网络可解释性方法的基于图表的反事实解释形式的示意图。
图2为本发明的基于反事实的图神经网络可解释性方法的算法流程图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
本发明基于反事实的图神经网络可解释性方法，本发明将图神经网络的反事实解释定义为简单子图解释及简单子图解释上的反事实解释，图神经网络预测结果yi的简单子图解释定义为包含目标节点vi的子图Gi，简单子图解释可称为解释子图、子图，其中子图Gi是总图G(即待解释的原图，又称大图)上的连通子图。本发明希望该解释具有可模拟性和反事实相关性。
可模拟性是指预测结果的解释应当可以很好地模拟预测结果，忠诚度指标能够衡量两个预测结果之间的距离，当忠诚度指标值很小时说明解释的可模拟性强。预测结果的解释还应当保证简单性，解释的简单性与人类认知带宽的极限有关，人类通常接受简单的解释而拒绝复杂的解释，稀疏性被用作简单性的替代，子图的忠诚度或保真度用于衡量预测结果的解释再现预测结果的程度，利用大图上预测结果yi和子图上预测结果
Figure BDA0003098455290000031
之间的对称KL散度来衡量子图Gi对总图G的忠诚度
Figure BDA0003098455290000032
KL()表示KL散度。
反事实相关性用于衡量反事实解释中差异的大小，定义子图的反事实是子图的扰动，并将反事实限制为解释子图的严格子图
Figure BDA0003098455290000033
为解释子图去除反解释部分后的图，又称衍生子图，即
Figure BDA0003098455290000041
真包含于为Gi。本发明定义预测结果的反事实解释为一个元组
Figure BDA0003098455290000042
其中反事实相关性
Figure BDA0003098455290000043
的值可以为正数，负数或者零，严格子图
Figure BDA0003098455290000044
对子图Gi的忠诚度
Figure BDA0003098455290000045
yi”表示严格子图上预测结果。其中v(Gi)和
Figure BDA0003098455290000046
分别表示解释子图和其上严格子图的忠诚度，因为忠诚度或者保真度可以衡量可模拟性，，所以如果反事实相关性的绝对值数值很大，那么在事实和反事实的情况下，预测结果可以在忠诚度不同的情况下被近似，因此子图的扰动部分即子图的反事实很可能是预测结果产生的原因。
图模型为由节点和节点之间的边组成的图结构模型，所述边的两端各设有一个节点，节点包括目标节点vi和其他节点，图模型即大图G，待解释的大图G上包括目标节点vi和其他节点(即能够用于解释目标节点vi的解释节点)，本发明定义了一种基于图表的反事实解释形式如图1所示，旨在找到针对待解释的大图G上目标节点vi的简单子图解释Gi和反事实解释
Figure BDA0003098455290000047
以最大限度地提高解释的可模拟性和反事实相关性，将反事实解释问题定义为一个双目标优化问题并将其最大化：
Figure BDA0003098455290000048
其中，
Figure BDA0003098455290000049
表示Gi和
Figure BDA00030984552900000410
的评价函数，
Figure BDA00030984552900000411
|Gi|≤C，C表示Gi内最高节点数，|Gi|≤C表示Gi内节点数最多为C个，vi∈Gi且Gi是非循环图，也就是Gi为无环的、Gi内无闭合的环。由于解释简单是可模拟性的一个方面，因此限制简单子图解释Gi最多包含C个节点，节点个数的限制还降低了解释子图中解释节点偏离目标节点的程度，从而改善了人类使用解释子图进行推理时的反应时间。本发明将解释子图限制为非循环图是为了避免解释的复杂性，因为节点的信息会在循环图结构内进行回波，这会导致解释被理解的难度增大。
如图1为反事实解释示例，图1虚竖线左侧的上部为大图G，大图G的每个圆圈表示一个节点，大图G的1*至12*为采用广度优先搜索对变量节点进行规范化编号，虚竖线左侧的下部为大图上预测结果yi(左下侧柱状图)；图1虚竖线右侧为解释子图、解释子图的预测结果(右上角的柱状图)、解释子图两个衍生子图
Figure BDA00030984552900000412
和衍生子图的预测结果，其中两个衍生子图
Figure BDA00030984552900000413
均为虚竖线右侧最上侧子图的衍生子图，衍生子图上的虚线表示去掉的反事实部分，柱状图表示对图的分类及其分类概率，图1中所有柱状图的纵坐标表示分类的概率，均共分为七类，第一类至第七类的概率之和为1。
本发明中的反事实解释技术包含三个主要部分：子图枚举模块、最优解释搜素模块、解释鲁棒性模块。
本发明提出了搜索图神经网络反事实解释的GNNCFE算法(基于反事实的图神经网络可解释性方法)，算法将反事实解释的优化问题定义为一个双目标优化问题，该问题的目标优化函数是两个解释指标度量的向量，分别是可模拟性和反事实相关性，因为人们不希望将一个解释目标换成另一个解释目标，例如将反事实关联性转换成可模拟性或者将可模拟性转换成反事实关联性，可模拟性低或反事实相关性低都会抑制人类对反事实解释的接受度，本发明不使用单一的标量目标函数，例如
Figure BDA0003098455290000051
λ表示
Figure BDA0003098455290000052
绝对值的系数。除了多目标优化之外，由上述优化问题中约束定义的所有可能的解释的解空间呈指数级且离散，并且没有多项式时间算法可用来搜索该解空间。现有的图神经网络解释方法只能使用基于梯度的优化方法来最大化目标函数之一的解释指标，并且通常只能找到一种解决方案，无法保证解释的多样性和最优性，本发明遵循基于搜索的算法来生成反事实解释，并提出一种枚举算法，以在解空间中找到最佳解释，GNNCFE算法流程如图2所示。
采用子图枚举模块进行步骤一、根据待解释的大图G和大图上的目标节点vi，使用深度优先搜索算法进行子图的枚举，得到若干子图Gi：
GNNCFE算法使用深度优先搜索算法(DFS)来进行子图的枚举，深度优先搜索算法被应用于探索待解释的大图上的子图空间，由于目标节点的预测结果仅取决于目标节点的邻域，包括离目标节点最多为L跳的邻域节点(L为正整数，为设定的一个数值，用于限定目标节点的邻域)，因此深度优先搜索算法的范围仅限于该邻域，本发明通过设置最大搜索距离D来设置子图搜索范围，通常情况下最大搜索距离被设置为D≤L，其中当D＝L时算法考虑所有影响目标节点的因素，而当D＜L时算法将忽略最大搜索距离D之外的因素。除了最大搜索距离之外，本发明还考虑设置最大子图复杂度C来限制解释子图Gi的节点个数，从而保证解释子图的简单性，降低人类使用解释子图进行推理时的反应时间，通过设置一个合理的最大子图复杂度C来同时保证解释子图的忠诚度和简单性。
对于给定图模型和其上的目标节点，本发明采用分治法来枚举连接的非循环子图，其中枚举过程被分为两个部分，第一部分是从目标节点开始，本发明通过深度优先搜索探索包含更多边的子图，每次从新探索的节点出发来探索距离更远的节点，第二部分是当从最远节点出发且没有其余节点可以探索的时候，本发明从子图上的其他节点去探索递归地扩展子图。在枚举过程中深度优先搜索算法已完成枚举的边将被标记成禁止访问，这样深度优先搜索在以后的搜索中就不会访问它们，从而保证了枚举子图的非重复性。在探索过程中，新探索的边在遇到下面几种情况下将不会添加到子图中：1)这条边已经被标记为禁止访问，2)若添加这条边会导致子图中产生循环，3)若添加这条边会使子图中节点个数大于设置好的最大子图复杂度，4)若添加这条边会使子图中的解释节点与目标节点间的距离超过最大搜索距离，其中第一条规则是确保子图枚举的完整性，并且保证了避免枚举重复，最后两个规则是为了降低枚举成本。在完全处理完前一条边之前，另一条边是不会被处理的，只有当包含前一条边的所有子图都完成枚举之后，才会开始处理另一条边的枚举。
在运行本发明的算法之前，每条边的规范排序由大图G上的广度优先搜索算法确定，本发明使用广度优先搜索算法对变量节点进行规范化编号，相同的子图将由具有规范变量编号的唯一边沿数组表示，规范化编号操作加速了深度优先搜索算法在子图枚举过程中的效率，从而避免在子图枚举期间进行图形同构测试，而且还能保证没有枚举重复子图。
采用最优解释搜索模块进行步骤二、对每个枚举得到的解释子图计算可模拟性和反事实相关性，对所有Gi的可模拟性v(Gi)进行排序得到每个Gi的可模拟性排名，对所有Gi的的反事实相关性进行排序得到每个Gi的反事实相关性排名，将每个Gi的可模拟性排名和其反事实相关性排名相加得到每个Gi的综合排名，根据所有Gi的综合排名选取综合排名靠前的Gi作为最优Gi，得到最优子图集：
在搜索最优解释时，最优解释搜索模块需要在每个子图上运行一遍(评价每一个子图)，从而对每个子图计算可模拟性v(Gi)和反事实相关性
Figure BDA0003098455290000061
由于解释最多包含C个节点，因此其计算成本可以忽略。为了避免在计算反事实相关性
Figure BDA0003098455290000071
时重复计算可模拟性v(Gi)，先使用哈希表记录每个子图的可模拟性v(Gi)，再对每个子图去除反事实部分得到并计算反事实相关性
Figure BDA0003098455290000072
(根据每个可去除反事实部分依次去除得到若干
Figure BDA0003098455290000073
并根据每个
Figure BDA0003098455290000074
计算
Figure BDA0003098455290000075
)，在深度优先搜索的搜索树中，去除反事实部分后的解释子图是解释子图Gi的衍生子图
Figure BDA0003098455290000076
(反事实部分又称反解释部分)，经过枚举算法后所有相关子图都已经确保被枚举，衍生子图也属于枚举得到的图中的一部分，因此所有衍生子图
Figure BDA0003098455290000077
都已经被枚举，从而无需对任何两个枚举得到的图进行反事实匹配验证。
本发明的优化目标是要同时最大化两个指标可模拟性和反事实相关性，但是最大化两个指标中的任意一个指标都有可能会导致另一个指标的降低，由于存在多个合理的解释和相应的反事实，而不是需要一个优于所有其他解决方案的单一解决方案，因此本发明允许在这两个指标中在任一指标中略微次优来收集一组解释，这些解释的两个指标都在所有解释的前百分比以内，称为帕雷托前沿解，又称帕雷托最优解，若某一解释子图的反事实相关性位于其帕雷托前沿解中但该子图的可模拟性较低，那么该解释子图是没有用的，同样若某一子图的可模拟性位于其帕雷托前沿解中但该子图的反事实相关性未位于其帕雷托前沿解，那么该解释子图也是没有用的，因为解释的多样性对最终用户来说很重要。
本发明搜索帕雷托前沿解的方法是对解释的两个指标进行联合排名，最终解释的两个指标应当都处于所有解释的最前列，具体通过将所有子图的可模拟性v(Gi)进行排序，将所有子图的反事实相关性
Figure BDA0003098455290000078
进行排序，排序完成后可以获得每个子图可模拟性v(Gi)和反事实相关性
Figure BDA0003098455290000079
的排名，通过将每个解释子图Gi的可模拟性排名和其反事实相关性排名相加，就可以得到每个解释子图Gi的综合排名，根据所有子图Gi的综合排名情况，选取综合排名前某百分比的子图Gi作为最优解释子图，也就是最为最终解释子图，选取的最优解释子图的数量可以根据用户对解释多样性的需求情况进行设置(例如选取排名前5％的解子图释作为最优解释子图)，将得到的最优解释子图进行步骤三。若一个解释指标排名靠前而另一个解释指标排名靠后，其综合排名也会比较靠后，最终也不会被选取为帕雷托前沿解，因此最优解释搜索模块可以找到同时保证两个解释指标的帕雷托最优解。
采用解释鲁棒性模块进行步骤三、分析最优Gi机中每个Gi的鲁棒性，根据鲁棒性判断最优Gi能否解释大图G。
若鲁棒性强(达到预设阈值)则采用最优Gi解释大图G，否则舍弃解释子图Gi，即解释子图Gi不能够解释大图G。
GNNCFE算法通过子图枚举来搜索反事实解释的帕雷托前沿解，然而图神经网络解释的鲁棒性也十分重要，算法生成的解释应当根据预测结果的不同而有所不同，且应当如实反映如何产生变化的预测，并且在无关紧要的情况下应保持相同。本发明定义图神经网络解释子图的鲁棒性为其在受到扰动后解释子图的变化程度，该扰动应当与产生预测结果的机制无关。如果解释不能通过鲁棒性检查的话，则表示解释不能反应图神经网络编码的输入和输出之间的关系，如果解释能通过鲁棒性检查，则意味着这些解释可以揭示对模型或数据的恶意攻击。
图神经网络根据结果性质可以进行划分，例如图卷积网络、图注意力网络、图自动编码器、图生成网络和图时空网络等，但是可以使用统一的消息传递更新框架来对图模型的图神经网络进行描述：
Figure BDA0003098455290000081
Figure BDA0003098455290000082
Figure BDA0003098455290000083
首先，图模型计算vj和目标节点vi间传递的消息
Figure BDA0003098455290000084
vj表示与目标节点vi相连的其他节点，其中
Figure BDA0003098455290000085
表示节点vj发送给节点vi的消息向量，
Figure BDA0003098455290000086
为表示节点vj在l上一层(即l-1层)的节点表示，
Figure BDA0003098455290000087
为表示节点vi在l上一层(即l-1层)的节点表示，l表示图神经网络的某一网络层即第l层，在不同类型的图神经网络中，MSG函数可以设置为不同的计算方式。其次，对于目标节点vi，图神经网络都会聚合来自于vi邻接节点N(vi)的消息，并计算聚合后的消息表示，在这里节点邻域的定义至关重要，因为它会影响图神经网络模型的性能和可伸缩性，常见的节点邻域的定义有直接网络邻居、多跳邻居、基于采样的邻居、基于PageRank的邻居。
Figure BDA0003098455290000091
表示目标节点vi聚合的消息，AGG函数用于聚合消息，常用的聚合方法有均值或最大值合并、置换不变神经网络、递归神经网络等。最终图神经网络将节点vi聚合的消息
Figure BDA0003098455290000092
和节点vi的表示
Figure BDA0003098455290000093
一起用于更新节点新的状态表示，作为图神经网络该层的输出，其中θ(l)表示图神经网络第l层的参数，图神经网络通常是由多层网络构成的，其最后一层的输出可作为图模型输出结果yi。
现有方法还未针对图结构数据的图神经网络进行鲁棒性检验，因此本发明提出图神经网络解释的鲁棒性评估指标，考虑到影响图神经网络预测结果的因素包括有邻居节点传递的消息
Figure BDA0003098455290000094
和图神经网络模型的原始参数
Figure BDA0003098455290000095
等，本发明针对此设计了两种扰动图神经网络预测的方式，一种是扰动邻居节点传递的消息，通过将扰动节点链接到目标节点vi，并在图神经网络的最后一层添加扰动消息
Figure BDA0003098455290000096
在此扰动下目标节点vi新的状态表示为：
Figure BDA0003098455290000097
进而影响最终的模型输出结果，为了衡量扰动消息的扰动强度，本发明通过计算扰动消息
Figure BDA0003098455290000098
和图神经网络模型的原始参数
Figure BDA0003098455290000099
之间的余弦相似度来测量扰动消息的扰动强度
Figure BDA00030984552900000910
另一种是扰动图神经网络模型的参数，原始图神经网络模型参数为
Figure BDA00030984552900000911
我们通过随机初始化生成新的模型扰动参数θ～(L)，进而影响最终的模型输出结果，为了衡量扰动参数的扰动强度，我们使用欧几里德距离来测量原始参数
Figure BDA00030984552900000912
和扰动参数θ～(L)之间的扰动强度
Figure BDA00030984552900000913
在经过上述两种扰动中的一种扰动攻击后，图模型最终的输出结果yi会发生改变，因此使用解释方法获得的图神经网络解释也会发生改变，本发明还需要一个评估指标来评估解释子图在受到扰动后的变化程度，对于给定的一个扰动，扰动前使用解释方法获得的解释子图集表示为
Figure BDA00030984552900000914
称为扰动前解释子图集，扰动前解释子图即上文的子图Gi，扰动前解释子图集中共k幅子图Gi，s和k均为正整数，s∈{1,2,…,k-1,k}，
Figure BDA0003098455290000101
表示扰动前解释子图集中的第s个解释子图，扰动后本发明使用解释方法(基于扰动后的大图上预测结果通过本发明的步骤一的方法)获得的解释子图集用
Figure BDA0003098455290000102
来表示，称为扰动后解释子图集，
Figure BDA0003098455290000103
表示扰动后解释子图集中的第t个解释子图，t为正整数，t∈{1,2,…,k-1,k}，定义扰动前后的两组解释子图之间的平均距离
Figure BDA0003098455290000104
其中，dg是扰动前获得的解释子图
Figure BDA0003098455290000106
和扰动后获得的解释子图
Figure BDA0003098455290000105
之间的图编辑距离或者dg是表示扰动前解释子图集的顶点集和扰动后解释子图集的顶点集之间的Jaccard距离(杰卡德距离)，其意义是评估解释算法获得的解释子图在受到扰动后发生改变的程度，如果两组解释子图(扰动前后)是一样的，那么计算出的平均距离就为零，如果两组解释子图是完全不一样的，那么计算出的距离就为1，通过该方法计算出的编辑距离越小则说明解释子图收到扰动后的改变越小，说明解释子图的鲁棒性越强，当使用解释算法获得最终的解释子图后，可以使用上述评估指标来评估最终解释的鲁棒性指标，最终计算出的编辑距离应当是较小的，则能说明解释的鲁棒性较强，如果计算出的解释鲁棒性较差，则应当被舍弃，不能够被提供给用户作为最终的解释，因为鲁棒性较差的解释可能会对最终用户的理解产生误导。
本发明的基于反事实解释流程的举例如图2所示，输入的节点包括节点1’至20’。
基于反事实的图神经网络可解释性方法提出了图神经网络预测反事实解释的两个度量指标可模拟性和反事实相关性，基于此设计了一种基于图表的反事实解释形式，更易于人类理解。本发明设计了一个双目标优化问题来搜索最优解释，还设计了一种子图枚举算法来有效地搜索这两个指标的帕累托最优解。本发明研究了图神经网络解释的鲁棒性，提出了图神经网络解释的鲁棒性评估指标，证明算法在鲁棒性和敏感性之间达到很好的平衡。
现有的图神经网络解释方法通常侧重于简化计算，忽略了人类感知和计算的反事实推理，可解释性的重点在于让人们来理解模型决策的过程，提高解释的可理解性是十分重要的，而反事实解释的形式就是人们天然可理解的，相比于传统的一些解释形式例如重要性分数等，人们对反事实解释的理解能力更强，基于此本发明还设计了一种基于图表的反事实解释形式，从而进一步增强了解释的可理解性，同时本发明还关注了解释的鲁棒性评估问题，提高解释的鲁棒性也有利于提高解释的可信度，最终本发明方法得到的反事实解释可以更好地被人们所理解和接受。

Claims (10)

1.基于反事实的图神经网络可解释性方法，其特征在于，包括：
步骤一、根据待解释的大图G和大图上的目标节点vi，使用深度优先搜索算法进行解释子图Gi枚举；
步骤二、对每个枚举得到的解释子图计算可模拟性和反事实相关性，对所有Gi的可模拟性v(Gi)进行排序得到每个Gi的可模拟性排名，对所有Gi的的反事实相关性进行排序得到每个Gi的反事实相关性排名，将每个Gi的可模拟性排名和其反事实相关性排名相加得到每个Gi的综合排名，根据所有Gi的综合排名选取综合排名靠前的Gi作为最优Gi；
步骤三、分析解释子图的鲁棒性，根据鲁棒性判断最优Gi能否解释大图G。
2.如权利要求1所述的基于反事实的图神经网络可解释性方法，其特征在于，所述深度优先搜索算法的的最大搜索距离为D且D≤L，L为目标节点邻域的度值，子图Gi的节点个数小于等于C个，C为正整数。
3.如权利要求1所述的基于反事实的图神经网络可解释性方法，其特征在于，所述子图Gi为非循环图。
4.如权利要求1所述的基于反事实的图神经网络可解释性方法，其特征在于，所述G的每条边和每个变量节点均具有编号，在所述枚举的过程中，将深度优先搜索算法已完成枚举的边标记为禁止访问。
5.如权利要求1所述的基于反事实的图神经网络可解释性方法，其特征在于，在所述枚举的过程中，探索的边在遇到下面任意一种情况时不会将节点添加到子图Gi中：所探索的这条边已经被标记为禁止访问；添加所探索的这条边至子图会导致子图中产生循环；添加所探索的这条边至子图会使子图中节点个数大于C；添加的所探索的这条边至子图会使解释节点与目标节点间的距离超过D。
6.如权利要求1所述的基于反事实的图神经网络可解释性方法，其特征在于，所述反事实相关性
Figure FDA0003098455280000011
Figure FDA0003098455280000012
为Gi去除反解释部分后的图，
Figure FDA0003098455280000013
yi表示G上预测结果，
Figure FDA0003098455280000014
表示Gi上预测结果，
Figure FDA0003098455280000015
表示
Figure FDA0003098455280000016
上预测结果，KL()表示KL散度。
7.如权利要求6所述的基于反事实的图神经网络可解释性方法，其特征在于，所述最优Gi的选取公式为：
Figure FDA0003098455280000021
其中，
Figure FDA0003098455280000022
表示Gi和
Figure FDA0003098455280000023
的求和函数。
8.如权利要求1所述的基于反事实的图神经网络可解释性方法，其特征在于，所述步骤三具体为：扰动图神经网络预测得到扰动后的图神经网络预测结果，根据扰动后的图神经网络预测结果计算解释子图在受到扰动后的变化程度，即确定了最优Gi的鲁棒性，若鲁棒性强则采用最优Gi解释大图G，否则舍弃所有解释子图Gi。
9.如权利要求8所述的基于反事实的图神经网络可解释性方法，其特征在于，所述计算解释子图在受到扰动后的变化程度具体为：
扰动图神经网络预测得到扰动后的图神经网络预测结果，根据待解释的大图G和大图上的目标节点vi，使用深度优先搜索算法进行解释子图Gi枚举，得到扰动后的解释子图集
Figure FDA0003098455280000024
计算扰动前的解释子图集
Figure FDA0003098455280000025
和扰动后的解释子图集的平均距离：
Figure FDA0003098455280000026
其中，
Figure FDA0003098455280000027
表示扰动前解释子图集中的第s个解释子图，
Figure FDA0003098455280000028
表示扰动后解释子图集中的第t个解释子图，t为正整数，k表示解释子图集中解释子图的个数，dg是表示扰动前解释子图集的顶点集和扰动后解释子图集的顶点集之间的Jaccard距离；
根据平均距离判断解释子图的鲁棒性的强弱。
10.如权利要求8所述的基于反事实的图神经网络可解释性方法，其特征在于，所述扰动图神经网络预测的方法为：
扰动邻居节点传递的消息，具体为：通过将扰动节点链接到目标节点vi，并在图神经网络的最后一层添加扰动消息
Figure FDA0003098455280000029
在此扰动下目标节点vi新的状态表示为：
Figure FDA00030984552800000210
扰动消息
Figure FDA00030984552800000211
的扰动强度为
Figure FDA00030984552800000212
Figure FDA00030984552800000213
为图神经网络模型的原始参数；
或者；
扰动图神经网络模型的参数，具体为：随机初始化原始图神经网络模型参数生成扰动参数
Figure FDA0003098455280000031
所述
Figure FDA0003098455280000032
和θ～(L)之间的扰动强度为欧几里德距离
Figure FDA0003098455280000033
CN202110617192.0A 2021-06-03 2021-06-03 基于反事实的图神经网络可解释性方法 Pending CN113269310A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110617192.0A CN113269310A (zh) 2021-06-03 2021-06-03 基于反事实的图神经网络可解释性方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110617192.0A CN113269310A (zh) 2021-06-03 2021-06-03 基于反事实的图神经网络可解释性方法

Publications (1)

Publication Number Publication Date
CN113269310A true CN113269310A (zh) 2021-08-17

Family

ID=77234080

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110617192.0A Pending CN113269310A (zh) 2021-06-03 2021-06-03 基于反事实的图神经网络可解释性方法

Country Status (1)

Country Link
CN (1) CN113269310A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114491261A (zh) * 2022-01-27 2022-05-13 北京有竹居网络技术有限公司 用于获得推荐解释的方法、设备和计算机可读介质
CN115270634A (zh) * 2022-08-04 2022-11-01 南京航空航天大学 一种适用于自主空战领域的反事实解释生成方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110826699A (zh) * 2019-11-06 2020-02-21 中南大学 一种基于梯度的图神经网络可解释性分析方法
US10831452B1 (en) * 2019-09-06 2020-11-10 Digital Asset Capital, Inc. Modification of in-execution smart contract programs
WO2021099338A1 (en) * 2019-11-18 2021-05-27 UMNAI Limited Architecture for an explainable neural network
CN112861933A (zh) * 2021-01-22 2021-05-28 中国科学院信息工程研究所 一种深度神经网络模型可视化解释方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10831452B1 (en) * 2019-09-06 2020-11-10 Digital Asset Capital, Inc. Modification of in-execution smart contract programs
CN110826699A (zh) * 2019-11-06 2020-02-21 中南大学 一种基于梯度的图神经网络可解释性分析方法
WO2021099338A1 (en) * 2019-11-18 2021-05-27 UMNAI Limited Architecture for an explainable neural network
CN112861933A (zh) * 2021-01-22 2021-05-28 中国科学院信息工程研究所 一种深度神经网络模型可视化解释方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
吴俊杰;刘冠男;王静远;左源;部慧;林浩;: "数据智能:趋势与挑战", 系统工程理论与实践, no. 08, 3 August 2020 (2020-08-03) *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114491261A (zh) * 2022-01-27 2022-05-13 北京有竹居网络技术有限公司 用于获得推荐解释的方法、设备和计算机可读介质
CN115270634A (zh) * 2022-08-04 2022-11-01 南京航空航天大学 一种适用于自主空战领域的反事实解释生成方法及系统
CN115270634B (zh) * 2022-08-04 2023-10-20 南京航空航天大学 一种适用于自主空战领域的反事实解释生成方法及系统

Similar Documents

Publication Publication Date Title
Stadler et al. Graph posterior network: Bayesian predictive uncertainty for node classification
CN107391512B (zh) 知识图谱预测的方法和装置
De Falco et al. Discovering interesting classification rules with genetic programming
Conte et al. Challenging complexity of maximum common subgraph detection algorithms: A performance analysis of three algorithms on a wide database of graphs.
Huang et al. Pattern trees induction: A new machine learning method
Fan et al. Querying big graphs within bounded resources
Martínez-Ballesteros et al. Enhancing the scalability of a genetic algorithm to discover quantitative association rules in large-scale datasets
CN113269310A (zh) 基于反事实的图神经网络可解释性方法
Zheng et al. Feature grouping and selection: A graph-based approach
Singh et al. Edge proposal sets for link prediction
Zhang et al. Hierarchical community detection based on partial matrix convergence using random walks
He et al. Vicinal vertex allocation for matrix factorization in networks
Hong et al. Variational gridded graph convolution network for node classification
CN114936307A (zh) 一种范式化图模型构建方法
CN112464107B (zh) 一种基于多标签传播的社交网络重叠社区发现方法及装置
Liu et al. Correlation-based feature partition regression method for unsupervised anomaly detection
CN116150401A (zh) 基于带噪声数据集的强鲁棒性知识图谱三元组质检网络模型训练方法及质检方法
CN112529025A (zh) 一种数据处理方法及装置
CN116208399A (zh) 一种基于元图的网络恶意行为检测方法及设备
Tang et al. Efficient and accurate learning of Bayesian networks using chi-squared independence tests
Moreira et al. Prototype generation using self-organizing maps for informativeness-based classifier
Alzubaidi et al. LPCNN: convolutional neural network for link prediction based on network structured features
Sun et al. Reinforced Contrastive Graph Neural Networks (RCGNN) for Anomaly Detection
Rahman et al. MarkovGNN: Graph Neural Networks on Markov Diffusion
Gopalakrishnan Graph Augmentation Using Spectral Moments

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination