CN116415620A - 用于神经网络的全局解释的方法和系统 - Google Patents

用于神经网络的全局解释的方法和系统 Download PDF

Info

Publication number
CN116415620A
CN116415620A CN202211616803.0A CN202211616803A CN116415620A CN 116415620 A CN116415620 A CN 116415620A CN 202211616803 A CN202211616803 A CN 202211616803A CN 116415620 A CN116415620 A CN 116415620A
Authority
CN
China
Prior art keywords
layer
neuron
relevance
neural network
network model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211616803.0A
Other languages
English (en)
Inventor
W.A.法罗奇
E.施密特
J.格里尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SAP SE
Original Assignee
SAP SE
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SAP SE filed Critical SAP SE
Publication of CN116415620A publication Critical patent/CN116415620A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/045—Explanation of inference; Explainable artificial intelligence [XAI]; Interpretable artificial intelligence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

神经网络模型的层被顺序遍历一次或多次，同时每次基于神经网络模型的神经元权重和神经元偏置生成多个相关性分数。多个相关性分数中的每个相关性分数量化层序列的较低层中的神经元与层序列的较高层的相关性。可以从在一次或多次中生成的多个相关性分数填充一个或多个相关性向量。每个相关性向量中的每个相关性分数量化输入特征之一与神经网络模型被训练以执行的任务的相关性。基于一个或多个相关性向量，将神经网络的行为的解释生成为整体。

Description

用于神经网络的全局解释的方法和系统
技术领域
该领域通常涉及人工神经网络和可解释人工智能。
背景技术
深度学习允许开发比其他机器学习方法更精确的人工智能(AI)，即使针对复杂数据结构。与传统的机器学习方法不同，深度学习模型可以通过不断从新的业务(transaction)中学习来随着时间的推移改善其预测。这种连续训练的过程可以自动化，这可以允许深度学习模型始终保持最新。
然而，在责任性和透明度至关重要的应用中使用深度学习是一项挑战。这是因为深度学习中的学习模式和嵌入以神经元权重和偏置的形式隐藏在深度神经网络(也称为深度网络)中，使得导致深度学习预测的因素在没有复杂和昂贵的分析的情况下无法检索。深度网络的这种黑箱行为目前限制了深度学习在实际领域中的可用性，在这些领域中，用户需要预测以及导致预测的因素。
发明内容
提供了一种计算机实现的方法，包括：接收识别神经网络模型的请求，神经网络模型包括以层序列布置的多个神经元、多个神经元权重、多个神经元偏置以及被配置为接收具有多个输入特征的输入向量的输入层；响应于接收到请求，遍历层序列一次或多次，同时每次基于神经元权重和神经元偏置生成多个相关性分数，多个相关性分数中的每个相关性分数量化层序列的较低层中的神经元与层序列的较高层的相关性；生成包括用来自在一次或多次中生成的多个相关性分数的相关性分数填充的一个或多个相关性向量的全局可解释性数据集，每个相关性向量中的每个相关性分数量化输入特征之一与神经网络模型被训练以执行的任务的相关性；以及基于全局可解释性数据集生成神经网络模型的全局解释。
提供了一个或多个非暂时性计算机可读存储介质，存储用于使计算机系统执行操作的计算机可执行指令，所述操作包括：接收识别神经网络模型的请求，神经网络模型包括以层序列布置的多个神经元、多个神经元权重和多个神经元偏置，以及被配置为接收具有多个输入特征的输入向量的输入层；响应于接收到请求，遍历层序列一次或多次，同时每次基于神经元权重和神经元偏置生成多个相关性分数，多个相关性分数中的每个相关性分数量化层序列的较低层中的神经元与层序列的较高层的相关性；从在一次或多次中生成的多个相关性分数填充一个或多个相关性向量，每个相关性向量中的每个相关性分数量化输入特征之一与神经网络模型被训练以执行的任务的相关性；以及基于一个或多个相关性向量生成神经网络模型的全局解释。
提供了一种一种计算系统，包括：一个或多个处理单元，耦合到存储器；一个或多个存储指令的计算机可读存储介质，所述指令在被执行时使得计算系统执行操作，所述操作包括：接收识别神经网络模型的请求，神经网络模型包括以层序列布置的多个神经元、多个神经元权重、多个神经元偏置以及被配置为接收具有多个输入特征的输入向量的输入层；响应于接收到请求，遍历层序列一次或多次，同时每次基于神经元权重和神经元偏置生成多个相关性分数，多个相关性分数中的每个相关性分数量化层序列的较低层中的神经元与层序列的较高层的相关性；生成包括用来自在一次或多次中生成的多个相关性分数的相关性分数填充的一个或多个相关性向量的全局可解释性数据集，每个相关性向量中的每个相关性分数量化输入特征之一与神经网络模型被训练以执行的任务的相关性；以及基于全局可解释性数据集生成神经网络模型的全局解释。
附图说明
图1是实现可解释AI(XAI)生成的示例系统的框图。
图2是实现XAI生成的示例方法的框图。
图3A-3G是示出根据一个示例的具有单输出神经网络模型的XAI模型的工作的框图。
图4A-4B是示出了根据另一个示例的具有多输出神经元网络模型的XAI模型的工作的框图。
图5是示出根据另一个示例的实现XAI生成的示例系统的框图。
图6是示出根据一个示例的基于图5所示的系统实现XAI生成的通用用例的方法的流程图。
图7是其中可以实现所描述的技术的示例计算系统的框图。
图8是可结合本文描述的技术使用的示例云计算环境的框图。
具体实施方式
示例A—概述
深度神经网络的训练包括最小化损失函数，该损失函数将深度神经网络预测的值与实际值进行比较。在训练期间，深度神经网络学习识别和使用数据中的模式。特别是，深度神经网络学习如何对数据的个体特征进行加权，以及它可以从数据中得出什么结论。在训练期间调整的参数是存储在权重和偏置中的信息。因此，关于深度神经网络如何处理数据的信息存储在权重和偏置中。
如本文所公开的，AI解释生成可用于解释诸如深度神经网络的神经网络的预测背后的原因。例如，神经网络的行为的解释整体可以从神经网络的权重和偏置中生成。所描述的技术可以极大地增强深度神经网络对于对责任性和透明性敏感的应用的可用性。
示例B——实现XAI发电的示例系统
图1是实现可解释AI(XAI)生成的示例系统100的框图。示例系统100包括能够为神经网络模型120生成全局解释150的AI平台110。AI平台110包括一个或多个解释和解释模型。为了说明的目的，AI平台110被示为包括XAI模型130，XAI模型130被配置为生成全局可解释性数据集140，该数据集可以作为全局解释150输出或者被进一步处理以生成全局解释150。
术语“模型”通常指编码为计算机程序的函数(function)。神经网络模型120被配置成接收具有一个或多个输入特征的输入向量，并生成一个或多个输出。在一个实施方式中，神经网络模型120可以是深度神经网络模型(以下称为DNN模型)，其是具有至少两个隐藏层的神经网络模型。在一个示例中，DNN模型可以是经过训练的神经网络模型(以下称为经过训练的NN模型)。在机器学习中，通过在数据集上运行机器学习算法来训练模型执行任务。一旦已经为任务训练了模型(即，机器学习算法已经找到了在在数据集中将输入与输出进行匹配方面对于执行给定任务足够准确的函数)，训练的模型可以用于对新的示例进行预测或者进行推断。通常，术语“训练的NN模型”意味着神经网络模型的权重和偏置已经通过用(多个)数据集训练神经网络模型来调整。
XAI模型130接受神经网络模型120作为输入。由XAI模型130生成的全局可解释性数据集140包括一个或多个相关性向量κ。每个相关性向量κ可以具有m个相关性分数，其中m是神经网络模型120被配置为接收以执行特定任务的输入特征的数量(m由神经网络模型中输入神经元的数量给出)。使用神经网络模型120的权重和偏置来计算相关性分数。相关性向量κ中的每个相关性分数对应于输入特征之一，并且量化输入特征对神经网络模型120被训练来执行的任务的重要性或相关性。
AI平台110可以包括释义(interpretation)单元160，释义单元160可以将全局可解释性数据集140中的相关性向量转换成终端用户可以可视化和/或理解的形式。可以由释义单元160执行的变换包括但不限于归一化、正则化、缩放、映射到更高或更低维度的空间、变换到不同的数字基础系统、频域或时域中的变换等。AI平台110可以包括解释单元170，其可以获取全局可解释性数据集140或释义单元160的输出，并将数据映射到终端用户容易理解的上下文中。
在特定示例中，XAI模型130可以生成全局可解释性数据集140。释义单元160和/或解释单元170可以接收全局可解释性数据集140，并将该数据集转换成百分比和/或比率。这些比率可以转换成直方图、饼图和/或线图、热图等，以提供进一步的见解。在某些情况下，数据集也可以被缩放或归一化。在某些情况下，可以生成文字云或图像。结果可以被映射到上下文中，使得全局可解释性数据集140中的相关性分数以终端用户将容易理解并能够采取行动的术语来表达。
XAI模型130可以是编码为计算机程序的一个(或多个)函数。类似地，释义单元160和解释单元170可以是计算机程序。系统100可以包括数据存储180，AI平台110可以从该数据存储180获取神经网络模型120。AI平台110可以另外将全局可解释性数据集140存储在数据存储180中。AI平台110还可以检索在释义单元160和/或解释单元170中使用的其他数据。AI平台110可以在计算机系统中实现。AI平台110可以存储在一个或多个计算机可读存储介质或计算机可读存储设备中。此处所描述的技术对于操作系统或硬件的细节来说是通用的，并且可以应用于任何各种环境中以利用所描述的特征。
示例C——实现XAI生成的示例方法
图2是生成神经网络模型的全局解释的示例方法200的流程图，并且可以例如由系统100执行(参见示例B)。由方法200生成的全局解释可用于理解神经网络模型在神经网络生命周期的不同阶段的行为。
在该示例中，在210，该方法接收生成神经网络模型的全局解释的请求。神经网络模型具有m个输入神经元，其被配置为接收具有m个输入特征的输入向量。神经网络模型具有以层序列(例如，以一个或多个隐藏层和输出层的序列)布置的多个神经元。神经网络模型具有权重和偏置。在一个示例中，神经网络模型可以是经过训练的NN模型，这意味着已经通过用(多个)数据集为特定任务训练神经网络模型来设置权重和偏置。在一个示例中，神经网络模型可以是经过训练的DNN模型。该请求可以包括从存储器或(多个)存储设备中检索神经网络模型的足够信息，或者可以包括神经网络模型。
在220，该方法以相反的方向(即，从输出层到第一隐藏层)遍历神经网络模型的层序列。当遍历层序列时，该方法生成多个相关性分数。该方法使用XAI模型来计算相关性分数。在一个示例中，XAI模型仅使用神经网络模型的权重和偏置来生成相关性分数(例如，XAI模型不使用神经网络模型的神经元激活来生成相关性分数)。取决于输出层中输出神经元的数量，该方法可以遍历层序列一次或多次。
在230，该方法从相关性分数生成全局可解释性数据集。在一个示例中，通过用在遍历神经网络模型的层序列时生成的多个相关性分数的子集(例如，在第一隐藏层计算的相关性分数)填充相关性向量κ来生成全局可解释性数据集。每个相关性向量κ可以具有大小m，其中m是神经网络模型的输入特征的数量。相关性向量中的每个相关性分数量化了输入特征之一与为其训练神经网络模型的任务的相关性或重要性。在一个示例中，相关性向量κ中的相关性分数的顺序可以匹配输入向量中的输入特征的预期顺序，使得在相关性向量和输入向量之间存在一对一的对应关系。如果该方法多次遍历层序列，则可以为层序列的每次遍历填充相关性向量，并将其包括在全局可解释性数据集中。
在240，基于全局可解释性数据集生成神经网络模型的全局解释。全局解释可以包括便于终端用户理解全局可解释性数据集的各种转换和元数据。例如，全局解释可以包括被配置成在终端用户的上下文中解释全局可解释性数据集的文本、图像、分数、百分比、图形、直方图和视觉指示符中的任何一个。
在一些情况下，全局可解释性数据集可以与标识其行为由全局可解释性数据集解释的神经网络模型的信息一起存储。当方法200接收到对神经网络模型的全局解释的后续请求时，方法200可以确定先前是否为后续请求中指示的神经网络模型生成了全局可解释性数据集。如果先前生成了全局可解释性数据集，并且自从先前生成全局可解释性数据集以来神经网络模型没有改变，则方法200可以简单地检索对应于神经网络模型的存储的全局可解释性数据集。方法200然后可以使用检索到的全局可解释性数据集来生成全局解释。
方法200可以从可替换的角度示出，例如，从终端用户的角度，终端用户可以是人或计算机系统或过程。方法200和本文描述的任何其他方法可以由存储在一个或多个计算机可读介质(例如，存储器或其他有形介质)中或存储在一个或多个计算机可读存储设备中的计算机可执行指令来执行(例如，使计算系统执行该方法)。这些方法可以在软件、固件、硬件或其组合中执行。这种方法可以至少部分地由计算系统(例如，一个或多个计算设备)来执行。
示例D——全局可解释性的示例XAI模型
神经网络模型的全局可解释性将神经网络模型的行为描述为整体。特别地，全局可解释性可以显示对于训练神经网络来执行的任务，哪些是最相关或最重要的输入特征。在该示例中，配置成生成全局可解释性数据集的XAI模型是基于以下考虑来构建的：
XAI模型接收经过训练的神经网络模型作为输入。神经网络模型可以是没有循环的任何类型的神经网络。
XAI模型仅基于神经网络模型的权重和偏置来计算神经网络模型中神经元的相关性分数。例如，神经网络模型的神经元激活不包括在相关性计算中。
XAI模型在从最后层(或输出层)到第一隐藏层遍历神经网络模型的同时(或在反向传播中)计算相关性分数，。
XAI模型是存储器高效的。例如，一旦使用较高层L+1的相关性分数计算了给定层L的相关性分数，就可以丢弃较高层L+1的相关性分数，因为不需要它们来生成较低层L-1的相关性分数。
XAI模型将输出层的神经元视为与神经网络模型的行为同等相关。
XAI模型校正了神经元权重的极端极性。例如，在神经网络模型的给定层中，神经元权重可以是正的或负的。如果一个具有特别负值的神经元和另一个具有特别正值的神经元进入网络的一层，这两个神经元可能会强烈影响该层的结果，但在下一层，这种影响可以被抵消。为了克服这一点，可以在相关性分数的计算中考虑神经元权重的绝对值。其他方法可以包括使用非线性运算，例如均方根。
在该示例中，XAI模型可以输出包括一个或多个相关性向量的全局可解释性数据集，每个相关性向量可以包含一组相关性分数。相关性向量可以具有与神经网络模型的输入特征的数量相同的大小(由神经网络模型的输入神经元的数量确定)。相关性向量中的每个相关性分数对应于一个输入特征，并且量化输入特征与为其训练神经网络的任务的相关性。
在一个实现中，相关性向量的计算开始于计算最后层(或输出层)的相关性(也可以表述为将最后隐藏层连接到最后层的神经元的相关性分数)。在一个示例中，最后层的相关性可以表示如下：
Figure BDA0004000468940000071
Figure BDA0004000468940000072
Figure BDA0004000468940000073
等式(1)-(3)是等价的，但是使用不同的符号或数学结构。等式(1)是表达式的一般形式，等式(2)是表达式的向量表示，等式(3)是表达式的标量表示。在等式(1)至(3)中，L是最后层(或输出层)；L-1是紧接在最后层下面的层((或最后隐藏层))；i是L-1层的第i个神经元(i＝1，2，3，…，θ，其中θ是L-1层的神经元总数)；
Figure BDA0004000468940000074
是层L-1中的第i个神经元与层L的相关性；/>
Figure BDA0004000468940000075
是层L中的权重(或者将层L-1中的第i个神经元连接到层L中的第j个神经元的权重(j＝1，2，3，…c，其中c是最后层中的神经元的数量))；/>
Figure BDA0004000468940000076
是层L-1中第i个神经元的偏置项；λL是层L中神经元的总数；θ是层L-1中神经元的总数；α是一个标量缩放因子；并且β是标量缩放因子。
等式(1)-(3)示出了较低层(或最后隐藏层)L-1中的第i个神经元与最后层L的相关性是(a)将较低层L-1中的第i个神经元连接到最后层L的权重和(b)较低层L-1中的第i个神经元的偏置的加权线性组合。
在一个实现中，相关性向量的计算还包括计算每个隐藏层的相关性(也可以表述为将每个隐藏层中的神经元连接到较高层的相关性分数)。在一个示例中，每个隐藏层的相关性可以表示如下：
Figure BDA0004000468940000081
Figure BDA0004000468940000082
Figure BDA0004000468940000083
等式(4)到(6)是等价的，但是使用不同的符号或数学结构。等式(4)是表达式的一般形式，等式(5)是表达式的向量表示，等式(6)是表达式的标量表示。在等式(4)至(6)中，κi L是较低层L-1中的第i个神经元与给定层L的相关性值；
Figure BDA0004000468940000084
是给定层L中的将较低层L-1中的第i个神经元连接到给定层L中的第j个神经元的权重；/>
Figure BDA0004000468940000085
是较低层L-1中第i个神经元的偏置项，θ是较低层L-1中神经元的数量，λ是给定层L中神经元的总数，α是标量缩放因子，β是标量缩放因子。给定的层L在从1到N的范围内，其中N是神经网络中隐藏层的总数。
等式(4)至(6)示出了较低层L-1中的第i个神经元与给定层L的相关性是(a)给定层L的权重和较高层L+1的相关性分数的乘积和(b)较低层L-1中的第i个神经元的偏置的线性组合。对于最后的计算，即第一隐藏层中的相关性分数的计算，线性组合的偏置分量为零，因为层L-1指的是输入层，并且输入层不包含偏置。
示例E——XAI模型的工作示例
图3A-3G示出了XAI模型(参见示例D)如何工作的示例。相对于神经网络模型300来描述XAI模型的工作，神经网络模型300被配置成从输入向量x生成输出y。XAI可以独立于神经网络模型300的工作来进行计算。也就是说，不必向神经网络模型300的输入馈送数据来通过XAI模型计算相关性向量。
神经网络模型300包括输入层304、第一隐藏层308、第二隐藏层312(也是最后隐藏层)和最后层316(也是输出层)。神经网络模型300通过输入层304接收输入数据。隐藏层308、312是对输入数据的操作发生的地方。层308、312被称为隐藏的，因为它们的工作不能从神经网络外部直接访问。此外，隐藏层是输入层304和最后层316之间的中间层。最后层316是在网络中操作数据的最终产品。尽管神经网络模型300被图示为前馈网络，但是XAI模型不限于前馈网络，并且可以与没有循环的任何神经网络模型一起使用。
在所示的示例中，输入层304具有可以感测输入特征x1的第一神经元3201和可以感测输入特征x2的第二神经元3202。例如，被配置成将图像映射到对象的神经网络模型可以感测与图像相关的输入特征，例如图像中的边缘、像素强度等。第一隐藏层308包括用于操纵网络内数据的第一神经元3241、第二神经元3242和第三神经元3243。第二隐藏层312包括用于操纵网络内数据的第一神经元3281、第二神经元3282和第三神经元3283。最后层316包括产生输出y的输出神经元332。这样，神经网络模型300被配置成将输入x1、x2映射到输出y。
神经网络模型300是深度神经网络(DNN)的一个示例，因为该网络具有一个以上的隐藏层。为简单起见，神经网络模型300在图3A中显示为在最后层316中仅具有一个输出神经元332。在其他示例中，神经网络模型300可以被配置为在最后层中具有多个输出神经元。此外，神经网络模型300可以具有比图3A所示多得多的神经元。
第一隐藏层3081中的第一神经元3241经由具有权重w11 L＝1的连接连接到输入层304中的第一神经元3201，并且经由具有权重w21 L＝1的连接连接到输入层304中的第二神经元3202。第一神经元3241还具有偏置b1 L＝1。第一隐藏层308中的第二神经元3242经由具有权重w12 L＝1的连接连接到输入层304中的第一神经元3201，并且经由具有权重w22 L＝1的连接连接到输入层304中的第二神经元3202。第二神经元3242还具有偏置b2 L＝1。第一隐藏层308中的第三神经元3243经由具有权重w13 L＝1的连接连接到输入层304中的第一神经元3201，并且经由具有权重w23 L＝1的连接连接到输入层304中的第二神经元3202。第三神经元3243还具有偏置b3 L ＝1。
第二隐藏层312中的第一神经元3281分别经由具有权重w11 L＝2、w21 L＝2和w31 L＝2的连接连接到第一隐藏层308的第一、第二和第三神经元3241、3242、3243。第一神经元3281还具有偏置b1 L＝。第二隐藏层312中的第二神经元3282分别经由具有权重w12 L＝2、w22 L＝2和w32 L＝2的连接连接到第一隐藏层308的第一、第二和第三神经元3241、3242、3243。第二神经元3282还连接到偏置b2 L＝2。第二隐藏层312中的第三神经元3283分别经由具有权重w13 L＝2、w23 L＝2和w33 L ＝2的连接连接到第一隐藏层308的第一、第二和第三神经元3241、3242、3243。第三神经元3283还连接到偏置b3 L＝2。输出神经元332分别经由具有权重w11 L＝、w21 L＝3和w31 L＝3的连接连接到第一、第二和第三神经元3281、3282、3283。
图3A示出了在最后层(或输出层)316(L＝3)的相关性的计算。在图3A中，将最后层316中的输出神经元332连接到最后隐藏层(或第二隐藏层)(L＝2)312中的第一神经元3281的权重w11 L＝3和第一神经元3281的偏置b1 L＝2被用于根据示例D中的等式(1)-(3)计算最后层316处的第一相关性值κ1 L＝3。
将输出神经元332连接到最后隐藏层312中的第二神经元3282的权重w21 L＝3和第二神经元3282的偏置b2 L＝2用于根据示例D中的等式(1)-(3)计算最后层316处的第二相关性值κ2 L＝3。
将输出神经元332连接到最后隐藏层312中的第三神经元3283的权重w31 L＝3和第三神经元3283的偏置b3 L＝2用于根据示例D中的等式(1)-(3)计算最后层316处的第三相关性值κ3 3。
最后层(L＝3)的相关性分数可以表示如下：
Figure BDA0004000468940000101
Figure BDA0004000468940000102
Figure BDA0004000468940000103
图3B-3D示出了在最后隐藏层(或第二隐藏层)312(L＝2)的相关性的计算。在图3B中，将第一隐藏层308(L＝1)中的第一神经元3241连接到最后隐藏312(L＝2)中的神经元3281、3282、3283的权重w11 L＝2、w12 L＝2和w13 L＝2、第一神经元3241的偏置b1 L＝1以及最后层(或输出层)316(L＝3)处的相关性值被用于根据示例D中的等式(4)-(6)计算最后隐藏层312处的第一相关性值κ1 L＝2。
在图3C中，将第一隐藏层308中的第二神经元3242连接到第二隐藏层312中的神经元3281、3282、3283的权重w21 L＝2、w22 L＝2和w23 L＝2、第二神经元3242的偏置b2 L＝1以及最后层(L＝3)316处的相关性值用于根据示例D中的等式(4)-(6)计算最后隐藏层312处的第二相关性值κ2 L＝2。
在图3D中，将第一隐藏层308中的第三神经元3243连接到最后隐藏层312中的神经元3281、3282、3283的权重w31 L＝2、w32 L＝2和w33 L＝2、第三神经元3243的偏置b3 L＝1以及最后层316处的相关性值被用于根据示例D中的等式(4)-(6)计算最后隐藏层312处的第三相关性值κ3 L＝2。
在最后隐藏层312(L＝2)的相关性分数可以表示如下：
Figure BDA0004000468940000111
Figure BDA0004000468940000112
Figure BDA0004000468940000113
在计算了最后隐藏层312(L＝2)的相关性分数之后，可以丢弃在最后层316(L＝3)计算的相关性分数。
图3E-3F示出了在第一隐藏层308(L＝1)的相关性的计算。在图3E中，将输入神经元3201连接到第一隐藏层308的神经元3241、3242、3243的权重w11 L＝1、w12 L＝1和w13 L＝1以及与最后隐藏层312(L＝2)相关联的相关性分数用于计算第一隐藏层308处的第一相关性值κ1 L＝1(如图3G所示)。
在图3F中，将输入神经元3202连接到第一隐藏层308的神经元3241、3242、3243的权重w21 L＝1、w22 L＝1和w23 L＝1以及最后隐藏层312处的相关性值用于计算第一隐藏层308处的第二相关性值κ2 L＝1(如图3G所示)。
第一隐藏层308(L＝1)处的相关性分数可以表示如下：
Figure BDA0004000468940000114
Figure BDA0004000468940000115
在第一隐藏层308计算相关性分数之后，可以丢弃在最后隐藏层312计算的相关性分数。
在第一隐藏层308计算的相关性分数κ1 L＝1，κ2 L＝1如图3G所示。XAI模型的最终输出是用在第一隐藏层308计算的相关性分数κ1 L＝1，κ2 L＝1填充的相关性向量。神经网络模型300的全局解释可以包括相关性向量(或相关性向量的解释)以及其他数据。
示例F—具有多输出神经网络模型的XAI模型的工作示例
对于在最后层中具有多个输出神经元的神经网络模型，对每个输出神经元执行等式(1)-(6)(参见示例E)中的计算。例如，图4A和4B示出了被修改为包括两个输出神经元3321、3322的神经网络模型300。图4A用粗线示出了从输入神经元到输出神经元3321跨越层序列的路径，图4B用粗线示出了从输入神经元到输出神经元3322的路径。可以根据图4A中突出显示的路径来计算相关性分数，以获得对应于输出神经元3321的相关性向量。类似地，可以根据图4B中突出显示的路径来计算相关性分数，以获得对应于输出神经元3322的相关性向量。
除了在最后层的计算中涉及的特定权重之外，计算图4A和4B中所示路径的相关性向量的过程与图3A-3G中描述的计算相关性向量的过程相同。对于图4A所示的路径，相关权重是将最后隐藏层312(L＝2)中的神经元连接到最后层316(L＝3)中的输出神经元3321的权重。输出神经元3321在最后层的相关性分数可以表示为：
Figure BDA0004000468940000121
Figure BDA0004000468940000122
Figure BDA0004000468940000123
对于图4B所示的路径，相关权重是将最后隐藏层312(L＝2)中的神经元连接到最后层316(L＝3)中的输出神经元3322的权重。输出神经元3322的最后层的相关性分数可以表示为：
Figure BDA0004000468940000124
Figure BDA0004000468940000125
Figure BDA0004000468940000126
因此，在图4A和4B的示例中，将有两个相关性向量——一个相关性向量用于输出神经元3321，另一个相关性向量用于输出神经元3322。一般来说，如果有m个输出神经元，就会有m个相关性向量。在某些情况下，由XAI模型计算的多个相关性向量可以用单个向量或矩阵来表示。
示例G-实现全局解释生成的示例系统
图5是示出实现全局解释生成的示例系统400的框图。系统400包括AI平台110，其可以与业务单元408、数据存储412、显示单元416和用户交互单元418通信。在该示例中，AI平台110包括XAI模型130、释义单元160和解释单元170(如图1所示)。
在一个示例中，AI平台110可以从数据存储412获取神经网络模型420，用于处理从业务单元408接收的业务424。神经网络模型420可以是经过训练的NN模型。神经网络模型420可以被提供给XAI模型130，用于生成全局可解释性数据集，该数据集可以包括一个或多个相关性向量，这些相关性向量填充有使用神经网络模型的权重和偏置确定的相关性分数，如前所述。AI平台110可以基于全局可解释性数据集输出全局解释432。
显示单元416可以从AI平台110接收全局解释432，并提供全局解释432的视觉表示436。用户交互单元418可以包括允许与全局解释432进一步交互的选项集438。响应于从选项集438中选择选项，用户交互单元418可以向用户提供进一步的选项。例如，如果用户希望覆盖解释，用户交互单元418可以进一步显示允许用户调整解释的界面。
在一些情况下，用户交互单元418可以基于在用户交互单元418做出的改变向AI平台110发送反馈440。例如，XAI模型130本身可以基于反馈440进行调整。例如，等式(1)-(6)示出了标量缩放因子α和β，并且用户响应的一个用途可以是调整这些缩放因子以实现对特定类型的神经网络模型的改进的全局解释。
在一些情况下，用户交互单元418还可以向业务单元408发送增强业务444。增强业务444可以包括用户响应。在一些情况下，业务单元408可以包括机器学习模块448或与其通信。机器学习模块448在一些情况下可以确定是否应该基于包含在增强业务444中的信息来重新训练或调整神经网络模型420。在一些情况下，机器学习模块448可以触发神经网络模型的重新训练或调整。
示例H——实现XAI生成的示例方法
图6是基于系统400实现XAI生成的示例方法500的流程图(参见示例G)。
在510，该方法接收业务。该业务包含对神经网络模型的全局解释的请求，该神经网络模型可以是经过训练的NN模型。该业务可以包括所需神经网络模型的识别信息。
在520，该方法解析业务以确定要使用的神经网络模型，并获得神经网络模型。
在530，该方法解析业务以确定要在解释神经网络模型的行为中使用的XAI模型，并将神经网络模型提供给适当的XAI模型。
在540，该方法用XAI模型生成全局可解释性数据集。XAI模型使用输入神经网络模型的权重和偏置来生成一个或多个相关性向量，其形成全局可解释性数据集。
在550，该方法基于全局可解释性数据集生成全局解释。全局解释可以是原始的全局可解释性数据集或从全局可解释性数据集导出的信息。全局解释可以包括元数据等，以在终端用户的上下文中改进对全局可解释性数据集中的相关性向量的理解。
在560，该方法可以向终端用户呈现全局解释，该终端用户可以是人类用户或计算机。
在570，该方法可以接收对全局解释的用户响应。例如，该方法可以向用户呈现选项集，用户可以从中进行选择。例如，如果特征重要性和相关性看起来合理和适当，则该组选项可包括“接受解释”，如果特征重要性和相关性看起来错误，则包括“覆盖解释”，以及因为解释可信，所以包括“自动生成解释”。该方法可以接收用户选择的选项之一。如果选项包括覆盖解释，则该方法可以要求用户调整解释(例如，调整(多个)相关性向量中的相关性分数)。该方法可以保存用户响应，用于XAI模型和/或神经网络模型的进一步优化。
在580，该方法可以使用来自原始业务、全局解释和用户对全局解释的响应的信息来构建增强业务。在一些情况下，该方法可以从增强业务中确定神经网络模型应该被重新训练或者调整。该方法可以进一步触发神经网络模型的重新训练或调整。重新训练/调整的神经网络模型可用于进行预测。
示例I—全局解释的示例用例
在神经网络生命周期的不同阶段(例如，训练、验证、测试、评估、部署、细化、监控和更新)，神经网络模型的架构设计和行为是重要的。尽管参与神经网络生命周期的团队密切检查不同的度量以确保神经网络模型的性能，但神经网络模型仍然是一个黑盒。甚至神经网络的设计者也不知道神经网络模型基于什么(多个)特征来学习执行特定的任务。这里描述的XAI模型可以告诉神经网络模型被训练来执行的任务，哪些是最相关和最重要的特征。
例如，考虑一个服务订单用例，其中目的是训练神经网络模型来预测特定服务的估计完成日期。XAI模型采用经过训练的神经网络模型，并产生相关向量。根据相关向量，可以确定神经网络模型的相关和最重要的特征。在一个示例中，训练的NN模型的输入特征可以是ID、OrderType、定位日期、优先级、销售方、交货优先级、设备、产品ID、工作量、任务级别复杂性、技术专家级别、备用零件可用性和备用零件交货天数。XAI模型将计算相关性向量。下表显示了一个基于XAI模型计算的全局可解释性数据集的全局解释示例——出于说明目的，仅显示了全局可解释性数据集中由(多个)相关性向量指示的前五个重要特征。
Figure BDA0004000468940000151
使用从XAI模型的输出生成的全局解释以及商业知识，神经网络模型的设计者可以确定神经网络模型是否已经学习了执行预期任务的真实模式，或者神经网络模型是否已经学习了一些隐藏模式(这可能是不相关的)。全局的解释也可以给设计者另一个角度来看这个问题。例如，神经网络模型可能已经学习了设计者和商业专家不知道但与问题非常相关的模式。在全局解释揭示神经网络模型没有看到正确的特征集的情况下，神经网络模型可以被调整(例如，重新训练、重新调整和/或重新设计)以学习真实的模式。
示例计算系统
图7描绘了其中可以实现所描述的创新的合适的计算系统600的示例。计算系统600不旨在对本公开的使用范围或功能提出任何限制，因为创新可以在不同的计算系统中实现。
参考图7，计算系统600包括一个或多个处理单元610、615和存储器620、625。在图7中，该基本配置630包括在虚线内。处理单元610、615执行计算机可执行指令，例如用于实现本文示例中描述的特征。处理单元可以是通用中央处理单元(CPU)、专用集成电路(ASIC)中的处理器、图形处理单元(GPU)、张量处理单元(TPU)、量子处理器或任何其他类型的处理器。在多处理系统中，多个处理单元执行计算机可执行指令来提高处理能力。例如，图6示出了中央处理单元610以及图形处理单元或协处理单元615。有形存储器620、625可以是可由(多个)处理单元610、615访问的易失性存储器(例如，寄存器、缓存、RAM)、非易失性存储器(例如，ROM、EEPROM、闪存等)、或两者的某种组合。存储器620、625以适于由(多个)处理单元610、615执行的计算机可执行指令的形式存储实现本文描述的一个或多个创新的软件680。
计算系统600可以具有附加特征。例如，计算系统600包括存储640、一个或多个输入设备650、一个或多个输出设备660以及一个或多个通信连接670，包括输入设备、输出设备和用于与用户交互的通信连接。诸如总线、控制器或网络的互连机制(未示出)将计算系统600的组件互连。通常，操作系统软件(未示出)为在计算系统600中执行的其他软件提供操作环境，并协调计算系统600的组件的活动。
有形存储640可以是可移除的或不可移除的，并且包括磁盘、磁带或盒式磁带、CD-ROM、DVD或可以用于以非临时性方式存储信息并且可以在计算系统600内访问的任何其他介质。存储器640存储用于软件680的指令，该软件680实现这里描述的一个或多个创新。
(多个)输入设备650可以是输入设备，诸如键盘、鼠标、笔或轨迹球、语音输入设备、扫描设备、触摸设备(例如，触摸板、显示器等)或向计算系统600提供输入的另一设备。输出设备660可以是显示器、打印机、扬声器、CD刻录机或提供来自计算系统600的输出的另一设备，例如致动器或一些机械设备，如马达、3D打印机等。
(多个)通信连接670使得能够通过通信介质与另一计算实体进行通信。通信介质传送信息，诸如计算机可执行指令、音频或视频输入或输出、或调制数据信号中的其他数据。调制数据信号是以在信号中编码信息的方式设置或改变其一个或多个特性的信号。作为示例而非限制，通信介质可以使用电、光、RF或其他载体。
这些创新可以在计算机可执行指令的上下文中描述，诸如包括在程序模块中的指令，这些指令在计算系统中的目标真实或虚拟处理器上执行(例如，最终在一个或多个硬件处理器上执行)。通常，程序模块或组件包括例程、程序、库、对象、类、组件、数据结构等。它们执行特定的任务或实现特定的抽象数据类型。在各种实施例中，程序模块的功能可以根据需要在程序模块之间组合或分割。程序模块的计算机可执行指令可以在本地或分布式计算系统中执行。
为了表述的目的，详细描述使用类似“确定”和“使用”的术语来描述计算系统中的计算机操作。这些术语是对计算机执行的操作的高级描述，不应与人类执行的动作相混淆。对应于这些术语的实际计算机操作根据实现而变化。
计算机可读介质
这里的任何计算机可读介质可以是非暂时性的(例如，诸如DRAM或SRAM的易失性存储器，诸如磁存储、光存储等的非易失性存储器)和/或有形的。这里描述的任何存储动作可以通过存储在一个或多个计算机可读介质(例如，计算机可读存储介质或其他有形介质)中来实现。被描述为存储的任何事物(例如，在实现期间创建和使用的数据)可以被存储在一个或多个计算机可读介质(例如，计算机可读存储介质或其他有形介质)中。计算机可读介质可以限于不包括信号的实现。
本文描述的任何方法可以由一个或多个计算机可读介质(例如，计算机可读存储介质或其他有形介质)或一个或多个计算机可读存储设备(例如，存储器、磁存储器、光存储器等)中(例如，存储在其上、编码在其上等)的计算机可执行指令来实现。这种指令可以使计算系统执行该方法。这里描述的技术可以用各种编程语言来实现。
示例云计算环境
图8描绘了示例云计算环境700，其中可以实现所描述的技术，包括例如本文描述的系统。云计算环境700包括云计算服务710。云计算服务710可以包括各种类型的云计算资源，诸如计算机服务器、数据存储库、网络资源等。云计算服务710可以位于中央(例如，由企业或组织的数据中心提供)或分布式(例如，由位于不同位置的各种计算资源提供，诸如不同的数据中心和/或位于不同的城市或国家)。
云计算服务710被各种类型的计算设备(例如，客户端计算设备)，诸如计算设备720、722和724利用。例如，计算设备(例如，720、722和724)可以是计算机(例如，桌上型或膝上型计算机)、移动设备(例如，平板计算机或智能电话)或其他类型的计算设备。例如，计算设备(例如，720、722和724)可以利用云计算服务710来执行计算操作(例如，数据处理、数据存储等)。
在实践中，可以支持基于云、基于内部部署或混合的场景。
附加示例
下面列举了基于这里描述的原理的其他示例。落入本主题范围内的其他示例可以通过例如单独采用一个示例的一个特征、组合采用一个示例的一个以上特征、或者将一个示例的一个或多个特征与一个或多个其他示例的一个或多个特征相组合来配置。
示例1.一种计算机实现的方法包括：接收识别神经网络模型的请求，神经网络模型包括以层序列布置的多个神经元、多个神经元权重、多个神经元偏置以及被配置为接收具有多个输入特征的输入向量的输入层；响应于接收到请求，遍历层序列一次或多次，同时每次基于神经元权重和神经元偏置生成多个相关性分数，多个相关性分数中的每个相关性分数量化层序列的较低层中的神经元与层序列的较高层的相关性；生成包括用来自在一次或多次中生成的多个相关性分数的相关性分数填充的一个或多个相关性向量的全局可解释性数据集，每个相关性向量中的每个相关性分数量化输入特征之一与神经网络模型被训练以执行的任务的相关性；以及基于全局可解释性数据集生成神经网络模型的全局解释。
示例2.根据示例1的方法，其中层序列包括多个隐藏层和最后层，其中多个隐藏层的最后隐藏层在最后层之前，其中多个隐藏层的第一隐藏层在输入层之后，并且其中层序列以从最后层到第一隐藏层的相反的方向被遍历。
示例3.根据示例2的方法，其中生成多个相关性分数包括基于最后层中的神经元权重和最后隐藏层中的神经元偏置来在最后层处计算一个或多个相关性分数。
示例4.根据示例2-3中任一项的方法，其中在最后层计算的每个相关性分数是权重项和偏置项的线性组合，其中权重项包括最后层中的将最后隐藏层中的选择神经元连接到最后层中的选择神经元的神经元权重，并且其中偏置项包括连接到最后隐藏层中的选择神经元的神经元偏置。
示例5.根据示例2-4中任一项的方法，其中生成多个相关性分数还包括在多个隐藏层处计算一个或多个相关性分数，其中基于隐藏层中的每个隐藏层中的神经元权重、隐藏层中的每个隐藏层之后的较高层中的相关性分数以及隐藏层中的每个隐藏层之前的较低层中的神经元偏置，在隐藏层中的每个隐藏层处计算一个或多个相关性分数。
示例6。根据示例5的方法，其中在隐藏层中的每个隐藏层处计算的每个相关性分数是加权相关性项和偏置项的线性组合，其中加权相关性项基于隐藏层中的每个隐藏层中的神经元权重和隐藏层中的每个隐藏层之后的较高层中的相关性分数，并且其中偏置项基于隐藏层中的每个隐藏层之前的较低层中的神经元偏置。
示例7.根据示例5-6中任一个的方法，还包括在隐藏层中的每个隐藏层处计算相关性分数之后，丢弃在隐藏层中的每个隐藏层之后的较高层处计算的相关性分数。
示例8.根据示例5-7中任一个的方法，其中一个或多个相关性向量中的每个相关性向量都用在遍历层序列的对应时间期间在第一隐藏层处计算的一个或多个相关性分数填充。
示例9.根据示例2-8中任一项的方法，其中最后层包括单个神经元，其中对应于单个神经元一次遍历层序列，并且其中用在遍历层序列的一次期间生成的多个相关性分数的子集来填充一个相关性向量。
示例10.根据示例2-8中任一个的方法，其中最后层包括多个神经元，其中对应于多个神经元多次遍历层序列，并且其中全局可解释性数据集包括对应于最后层中的多个神经元的多个相关性向量。
示例11.根据示例10的方法，其中用在遍历层序列的对应时间期间生成的多个相关性分数的子集来填充多个相关性向量中的每个相关性向量。
示例12.根据示例1-11中任一项的方法，其中神经网络模型是经过训练的神经网络模型，并且还包括至少部分基于全局解释来重新训练神经网络模型。
示例13.根据示例1-11中任一项的方法，其中神经网络模型是经过训练的神经网络模型，并且还包括接收对全局解释的修改，并且至少部分基于对全局解释的修改来重新训练神经网络模型。
示例14.根据示例1-13中任一个的方法，还包括将全局可解释性数据集与存储在神经网络模型相关联的数据存储中。
示例15.根据示例1-14中任一示例的方法，其中每次在不使用层序列中神经元的神经元激活的情况下生成多个相关性分数。
示例16.一个或多个存储计算机可执行指令的非暂时性计算机可读存储介质，指令用于使计算机系统执行包括接收识别神经网络模型的请求的操作，神经网络模型包括以层序列布置的多个神经元、多个神经元权重和多个神经元偏置，以及被配置为接收具有多个输入特征的输入向量的输入层；响应于接收到请求，遍历层序列一次或多次，同时每次基于神经元权重和神经元偏置生成多个相关性分数，多个相关性分数中的每个相关性分数量化层序列的较低层中的神经元与层序列的较高层的相关性；从在一次或多次中生成的多个相关性分数填充一个或多个相关性向量，每个相关性向量中的每个相关性分数量化输入特征之一与神经网络模型被训练以执行的任务的相关性；以及基于一个或多个相关性向量生成神经网络模型的全局解释。
示例17.一个或多个存储用于使计算机系统执行根据示例16的操作的计算机可执行指令的非暂时性计算机可读存储介质，其中层序列包括多个隐藏层和最后层，其中多个隐藏层的最后隐藏层在最后层之前，其中多个隐藏层的第一隐藏层在输入层之后，并且其中层序列以从最后层到第一隐藏层的相反的方向被遍历。
示例18.一个或多个非暂时性计算机可读存储介质，存储用于使计算机系统执行根据示例17的操作的计算机可执行指令，其中生成多个相关性分数包括基于最后层中的神经元权重和最后隐藏层中的神经元偏置来计算最后层的一个或多个相关性分数；基于隐藏层中的每个隐藏层中的神经元权重、隐藏层中的每个隐藏层之后的较高层中的相关性分数以及隐藏层中的每个隐藏层之前的较低层中的神经元偏置，在隐藏层中的每个隐藏层处计算一个或多个相关性分数；以及在隐藏层中的每个隐藏层处生成一个或多个相关性分数之后，丢弃在隐藏层中的每个隐藏层之后的较高层处生成的一个或多个相关性分数。
示例19.一个或多个非暂时性计算机可读存储介质，存储用于使计算机系统执行根据示例16的操作的计算机可执行指令，其中操作进一步包括至少部分基于全局解释重新训练神经网络模型。
示例20.计算系统，包括一个或多个处理单元，耦合到存储器；一个或多个存储指令的计算机可读存储介质，指令在被执行时使计算系统执行操作，操作包括：接收识别神经网络模型的请求，神经网络模型包括以层序列布置的多个神经元、多个神经元权重、多个神经元偏置以及被配置为接收具有多个输入特征的输入向量的输入层；响应于接收到请求，遍历层序列一次或多次，同时每次基于神经元权重和神经元偏置生成多个相关性分数，多个相关性分数中的每个相关性分数量化层序列的较低层中的神经元与层序列的较高层的相关性；生成包括用来自在一次或多次中生成的多个相关性分数的相关性分数填充的一个或多个相关性向量的全局可解释性数据集，每个相关性向量中的每个相关性分数量化输入特征之一与神经网络模型被训练以执行的任务的相关性；以及基于全局可解释性数据集生成神经网络模型的全局解释。
示例实现
尽管为了方便呈现，以特定的顺序描述了一些所公开的方法的操作，但是这种描述方式包括重新布置，除非这里阐述的特定语言需要特定的顺序。例如，顺序描述的操作在某些情况下可以被重新布置或同时执行。
示例替代方案
已经用选择的实现和示例描述了该技术，但是这些优选的实现和示例不应被视为限制该技术的范围，因为落入所公开的技术的范围内的许多其他实现和示例是可能的。所公开技术的范围包括所附权利要求的范围和精神所覆盖的内容。

Claims (20)

1.一种计算机实现的方法，包括：
接收识别神经网络模型的请求，神经网络模型包括以层序列布置的多个神经元、多个神经元权重、多个神经元偏置以及被配置为接收具有多个输入特征的输入向量的输入层；
响应于接收到请求，遍历层序列一次或多次，同时每次基于神经元权重和神经元偏置生成多个相关性分数，多个相关性分数中的每个相关性分数量化层序列的较低层中的神经元与层序列的较高层的相关性；
生成包括用来自在一次或多次中生成的多个相关性分数的相关性分数填充的一个或多个相关性向量的全局可解释性数据集，每个相关性向量中的每个相关性分数量化输入特征之一与神经网络模型被训练以执行的任务的相关性；以及
基于全局可解释性数据集生成神经网络模型的全局解释。
2.根据权利要求1所述的方法，其中层序列包括多个隐藏层和最后层，其中多个隐藏层的最后隐藏层在最后层之前，其中多个隐藏层的第一隐藏层在输入层之后，并且其中层序列以从最后层到第一隐藏层的相反的方向被遍历。
3.根据权利要求2所述的方法，其中生成多个相关性分数包括基于最后层中的神经元权重和最后隐藏层中的神经元偏置来在最后层处计算一个或多个相关性分数。
4.根据权利要求3所述的方法，其中在最后层计算的每个相关性分数是权重项和偏置项的线性组合，其中权重项包括最后层中的将最后隐藏层中的选择神经元连接到最后层中的选择神经元的神经元权重，并且其中偏置项包括连接到最后隐藏层中的选择神经元的神经元偏置。
5.根据权利要求3所述的方法，其中生成多个相关性分数还包括在多个隐藏层处计算一个或多个相关性分数，其中基于隐藏层中的每个隐藏层中的神经元权重、隐藏层中的每个隐藏层之后的较高层中的相关性分数以及隐藏层中的每个隐藏层之前的较低层中的神经元偏置，在隐藏层中的每个隐藏层处计算一个或多个相关性分数。
6.根据权利要求5所述的方法，其中在隐藏层中的每个隐藏层处计算的每个相关性分数是加权相关性项和偏置项的线性组合，其中加权相关性项基于隐藏层中的每个隐藏层中的神经元权重和隐藏层中的每个隐藏层之后的较高层中的相关性分数，并且其中偏置项基于隐藏层中的每个隐藏层之前的较低层中的神经元偏置。
7.根据权利要求5所述的方法，还包括在隐藏层中的每个隐藏层处计算相关性分数之后，丢弃在隐藏层中的每个隐藏层之后的较高层处计算的相关性分数。
8.根据权利要求5所述的方法，其中一个或多个相关性向量中的每个相关性向量都用在遍历层序列的对应时间期间在第一隐藏层处计算的一个或多个相关性分数填充。
9.根据权利要求2所述的方法，其中最后层包括单个神经元，其中对应于单个神经元一次遍历层序列，并且其中用在遍历层序列的一次期间生成的多个相关性分数的子集来填充一个相关性向量。
10.根据权利要求2所述的方法，其中最后层包括多个神经元，其中对应于多个神经元多次遍历层序列，并且其中全局可解释性数据集包括对应于最后层中的多个神经元的多个相关性向量。
11.根据权利要求10所述的方法，其中用在遍历层序列的对应时间期间生成的多个相关性分数的子集来填充多个相关性向量中的每个相关性向量。
12.根据权利要求1所述的方法，其中神经网络模型是经过训练的神经网络模型，并且还包括至少部分基于全局解释来重新训练神经网络模型。
13.根据权利要求1所述的方法，其中神经网络模型是经过训练的神经网络模型，并且还包括接收对全局解释的修改，并且至少部分基于对全局解释的修改来重新训练神经网络模型。
14.根据权利要求1所述的方法，还包括将全局可解释性数据集与存储在神经网络模型相关联的数据存储中。
15.根据权利要求1所述的方法，其中每次在不使用层序列中神经元的神经元激活的情况下生成多个相关性分数。
16.一个或多个非暂时性计算机可读存储介质，存储用于使计算机系统执行操作的计算机可执行指令，所述操作包括：
接收识别神经网络模型的请求，神经网络模型包括以层序列布置的多个神经元、多个神经元权重和多个神经元偏置，以及被配置为接收具有多个输入特征的输入向量的输入层；
响应于接收到请求，遍历层序列一次或多次，同时每次基于神经元权重和神经元偏置生成多个相关性分数，多个相关性分数中的每个相关性分数量化层序列的较低层中的神经元与层序列的较高层的相关性；
从在一次或多次中生成的多个相关性分数填充一个或多个相关性向量，每个相关性向量中的每个相关性分数量化输入特征之一与神经网络模型被训练以执行的任务的相关性；以及
基于一个或多个相关性向量生成神经网络模型的全局解释。
17.根据权利要求16所述的一个或多个非暂时性计算机可读存储介质，其中层序列包括多个隐藏层和最后层，其中多个隐藏层的最后隐藏层在最后层之前，其中多个隐藏层的第一隐藏层在输入层之后，并且其中层序列以从最后层到第一隐藏层的相反的方向被遍历。
18.根据权利要求17所述的一个或多个非暂时性计算机可读存储介质，其中生成多个相关性分数包括：
基于最后层中的神经元权重和最后隐藏层中的神经元偏置来在最后层处计算一个或多个相关性分数；
基于隐藏层中的每个隐藏层中的神经元权重、隐藏层中的每个隐藏层之后的较高层中的相关性分数以及隐藏层中的每个隐藏层之前的较低层中的神经元偏置，在隐藏层中的每个隐藏层处计算一个或多个相关性分数；以及
在隐藏层中的每个隐藏层处生成一个或多个相关性分数之后，丢弃在隐藏层中的每个隐藏层之后的较高层处生成的一个或多个相关性分数。
19.根据权利要求16所述的一个或多个非暂时性计算机可读存储介质，其中操作进一步包括至少部分基于全局解释重新训练神经网络模型。
20.一种计算系统，包括：
一个或多个处理单元，耦合到存储器；
一个或多个存储指令的计算机可读存储介质，所述指令在被执行时使得计算系统执行操作，所述操作包括：
接收识别神经网络模型的请求，神经网络模型包括以层序列布置的多个神经元、多个神经元权重、多个神经元偏置以及被配置为接收具有多个输入特征的输入向量的输入层；
响应于接收到请求，遍历层序列一次或多次，同时每次基于神经元权重和神经元偏置生成多个相关性分数，多个相关性分数中的每个相关性分数量化层序列的较低层中的神经元与层序列的较高层的相关性；
生成包括用来自在一次或多次中生成的多个相关性分数的相关性分数填充的一个或多个相关性向量的全局可解释性数据集，每个相关性向量中的每个相关性分数量化输入特征之一与神经网络模型被训练以执行的任务的相关性；以及
基于全局可解释性数据集生成神经网络模型的全局解释。
CN202211616803.0A 2021-12-17 2022-12-15 用于神经网络的全局解释的方法和系统 Pending CN116415620A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/555,234 US20230196062A1 (en) 2021-12-17 2021-12-17 Method and system for global explainability of neural networks
US17/555,234 2021-12-17

Publications (1)

Publication Number Publication Date
CN116415620A true CN116415620A (zh) 2023-07-11

Family

ID=84519926

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211616803.0A Pending CN116415620A (zh) 2021-12-17 2022-12-15 用于神经网络的全局解释的方法和系统

Country Status (3)

Country Link
US (1) US20230196062A1 (zh)
EP (1) EP4198837A1 (zh)
CN (1) CN116415620A (zh)

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102130162B1 (ko) * 2015-03-20 2020-07-06 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 인공 신경망들에 대한 관련성 스코어 할당
EP4062330A1 (en) * 2019-11-18 2022-09-28 Umnai Limited Architecture for an explainable neural network

Also Published As

Publication number Publication date
US20230196062A1 (en) 2023-06-22
EP4198837A1 (en) 2023-06-21

Similar Documents

Publication Publication Date Title
US20230376771A1 (en) Training machine learning models by determining update rules using neural networks
US20230394203A1 (en) Generating integrated circuit floorplans using neural networks
US10860928B2 (en) Generating output data items using template data items
CN114048331A (zh) 一种基于改进型kgat模型的知识图谱推荐方法及系统
US11816185B1 (en) Multi-view image analysis using neural networks
US11568212B2 (en) Techniques for understanding how trained neural networks operate
US20240202511A1 (en) Gated linear networks
CN115151917A (zh) 经由批量归一化统计的域泛化
US20240249446A1 (en) Text-to-image diffusion model with component locking and rank-one editing
CN114648103A (zh) 用于处理深度学习网络的自动多目标硬件优化
US20220229943A1 (en) Joint retrieval and mesh deformation
CN113490955B (zh) 用于产生金字塔层的架构的系统和方法
US20210042625A1 (en) Performance of neural networks using learned specialized transformation functions
US20220375205A1 (en) Aggregating Nested Vision Transformers
US20220207368A1 (en) Embedding Normalization Method and Electronic Device Using Same
CN116415620A (zh) 用于神经网络的全局解释的方法和系统
KR20210141150A (ko) 이미지 분류 모델을 이용한 이미지 분석 방법 및 장치
JP2020030702A (ja) 学習装置、学習方法及び学習プログラム
Ansari Deep Learning and Artificial Neural Networks
US12106550B2 (en) Cell nuclei classification with artifact area avoidance
US20230196080A1 (en) Method and system for local explainability of neural network prediction field
US20210064961A1 (en) Antisymmetric neural networks
US20230124177A1 (en) System and method for training a sparse neural network whilst maintaining sparsity
US20220245469A1 (en) Decision Making Using Integrated Machine Learning Models and Knowledge Graphs
US20240144373A1 (en) Financial investment predictions and recommendations using neural networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination