CN116415632A - 用于神经网络预测域的局部可解释性的方法和系统 - Google Patents

用于神经网络预测域的局部可解释性的方法和系统 Download PDF

Info

Publication number
CN116415632A
CN116415632A CN202211616961.6A CN202211616961A CN116415632A CN 116415632 A CN116415632 A CN 116415632A CN 202211616961 A CN202211616961 A CN 202211616961A CN 116415632 A CN116415632 A CN 116415632A
Authority
CN
China
Prior art keywords
layer
neuron
neural network
output
network model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211616961.6A
Other languages
English (en)
Inventor
W.A.法卢奇
E.施密特
J.格里尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SAP SE
Original Assignee
SAP SE
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SAP SE filed Critical SAP SE
Publication of CN116415632A publication Critical patent/CN116415632A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/045—Explanation of inference; Explainable artificial intelligence [XAI]; Interpretable artificial intelligence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)

Abstract

通过将输入向量馈送到神经网络模型的输入层来生成网络输出，该神经网络模型具有以层序列布置的多个神经元、多个神经元权重和多个神经元偏置。网络输出用于确定输出相关性分数。在层序列的最后层处生成相关性分数。通过使用神经元权重和神经元偏置将在最后层处生成的相关性分数反向传播通过除最后层之外的层序列，在层序列的第一层获得相关性分数。基于输入向量和在第一层获得的相关性分数来形成特征相关性向量，并将其包括在局部可解释性数据集中，然后将其用于生成神经网络模型的预测的局部解释。

Description

用于神经网络预测域的局部可解释性的方法和系统
技术领域
该领域通常涉及人工神经网络和可解释人工智能。
背景技术
深度学习允许开发比其他机器学习方法更精确的人工智能(AI)，即使针对复杂数据结构。与传统的机器学习方法不同，深度学习模型可以通过不断从新的业务(transaction)中学习来随着时间的推移改善其预测。这种连续训练的过程可以自动化，这可以允许深度学习模型始终保持最新。
然而，在责任性和透明度至关重要的应用中使用深度学习是一项挑战。这是因为深度学习中的学习模式和嵌入以神经元权重和偏置的形式隐藏在深度神经网络(也称为深度网络)中，使得导致深度学习预测的因素在没有复杂和昂贵的分析的情况下无法检索。深度网络的这种黑箱行为目前限制了深度学习在实际领域中的可用性，在这些领域中，用户需要预测以及导致预测的因素。
发明内容
提供了一种计算机实现的方法，包括：接收识别神经网络模型的请求，其中神经网络模型包括以层序列布置的多个神经元、跨层序列分布的多个神经元权重、跨层序列分布的多个神经元偏置、以及被配置为接收具有多个输入特征的输入向量的输入层；将具有预期的多个输入特征的第一测试输入向量馈送到输入层，以从神经网络模型生成第一网络输出；基于第一网络输出确定第一输出相关性分数；基于第一输出相关性分数、最后层中的神经元权重以及层序列中最后层之前的较低层中的神经元偏置，在层序列的最后层处生成多个第一相关性分数；通过使用神经元权重和神经元偏置将在最后层生成的第一相关性分数反向传播通过除了最后层之外的层序列，在层序列的第一层处获得对应于预期的多个输入特征的多个第一相关性分数；基于第一测试输入向量和在第一层获得的多个第一相关性分数形成第一特征相关性向量；生成包括第一特征相关性向量的局部可解释性数据集；以及基于局部可解释性数据集生成所述神经网络模型的预测的局部解释。
提供了一个或多个非暂时性计算机可读存储介质，存储用于使计算机系统执行操作的计算机可执行指令，所述操作包括：接收识别神经网络模型的请求，其中神经网络模型包括以层序列布置的多个神经元、跨层序列分布的多个神经元权重、跨层序列分布的多个神经元偏置、以及被配置为接收具有多个输入特征的输入向量的输入层；将具有预期的多个输入特征的测试输入向量馈送到输入层，以从神经网络模型生成网络输出；基于网络输出确定输出相关性分数；基于输出相关性分数、最后层中的神经元权重以及层序列中最后层之前的较低层中的神经元偏置，在层序列的最后层处生成多个相关性分数；通过使用神经元权重和神经元偏置将在最后层生成的相关性分数反向传播通过除最后层之外的层序列，在层序列的第一层处获得对应于预期的多个输入特征的多个相关性分数；基于测试输入向量和多个相关性分数形成特征相关性向量；生成包括特征相关性向量的局部可解释性数据集；以及基于局部可解释性数据集生成所述神经网络模型的预测的局部解释。
提供了一种计算系统，包括：耦合到存储器的一个或多个处理单元；以及一个或多个存储指令的计算机可读存储介质，所述指令在被执行时使得计算系统执行操作，所述操作包括：接收识别神经网络模型的请求，其中神经网络模型包括以层序列布置的多个神经元、跨层序列分布的多个神经元权重、跨层序列分布的多个神经元偏置、以及被配置为接收具有多个输入特征的输入向量的输入层；将具有预期的多个输入特征的测试输入向量馈送到输入层，以从神经网络模型生成网络输出；基于网络输出确定输出相关性分数；基于输出相关性分数、最后层中的神经元权重以及层序列中最后层之前的较低层中的神经元偏置，在层序列的最后层处生成多个相关性分数；通过不使用层序列中的神经元激活的情况下将在最后层处生成的相关性分数反向传播通过除最后层之外的层序列，在层序列的第一层获得对应于预期的多个输入特征的多个相关性分数；基于测试输入向量和多个相关性分数形成特征相关性向量；生成包括特征相关性向量的局部可解释性数据集；以及基于局部可解释性数据集生成神经网络模型的预测的局部解释。
附图说明
图1是实现可解释AI(XAI)生成的示例系统的框图。
图2是实现XAI生成的示例方法的框图。
图3A-3G是示出根据一个示例的具有单输出神经网络模型的XAI模型的工作的框图。
图4A-4B是示出了根据另一个示例的具有多输出神经元网络模型的XAI模型的工作的框图。
图5是示出根据另一个示例的实现XAI生成的示例系统的框图。
图6是示出根据一个示例的基于图5所示的系统实现XAI生成的通用用例的方法的流程图。
图7是其中可以实现所描述的技术的示例计算系统的框图。
图8是可结合本文描述的技术使用的示例云计算环境的框图。
图9A是示出示例采购订单文档的测试图像。
图9B是图9A所示测试图像的经过训练的神经网络模型的示例预测。
图9C是示出具有n个通道的测试图像和接收表示测试图像的输入向量并进行预测的神经网络模型的示意图。
图9D是示出示例局部解释生成的图，其中用于神经网络模型预测的相关性映射具有与输入向量相同的维度。
图9E是示出示例局部解释生成的图，其中用于神经网络模型预测的相关性映射与输入向量相比具有不同的维度。
图10A-10D示出了呈现对文档图像上下文中的神经网络模型的预测的解释的示例用户界面。
具体实施方式
示例A—概述
深度神经网络(DNN)模型的训练包括最小化损失函数，该损失函数将DNN模型预测的值与实际值进行比较。在训练过程中，DNN模型学会识别和使用数据中的模式。特别是，DNN模型学习如何对数据的单个特征进行加权，并从数据中进行推断。
本文公开的技术基于关于神经网络模型如何处理数据的信息存储在神经元权重和偏置中的知识。本文公开的技术可以提取存储在神经元权重和偏置中的特征相关性信息，并使用提取的信息来解释由神经网络模型做出的预测背后的原因。所描述的技术可以极大地增强DNN模型对于对责任性和透明度敏感的应用的可用性，并且有助于DNN模型的优化。
示例B——实现XAI生成的示例系统
图1是实现可解释AI(XAI)生成的示例系统100的框图。示例系统100包括AI平台110，其可以生成由神经网络模型120做出的预测的局部解释150。AI平台110可以包括一个或多个解释和释义模型。出于说明的目的，AI平台110被示为包括XAI模型130，该模型被配置成生成局部可解释性数据集140，该数据集可以被输出为局部解释150或者被进一步处理以生成局部解释150。XAI模型130可以接收神经网络模型120和测试输入数据集125作为输入。
术语“模型”通常指编码为计算机程序的功能。神经网络模型120被配置成接收具有一个或多个输入特征的输入向量，并生成一个或多个网络输出。在一个实施方式中，神经网络模型120可以是DNN模型，其是具有至少两个隐藏层的神经网络模型。在一个示例中，DNN模型可以是经过训练的神经网络模型(以下称为经过训练的NN模型)。在机器学习中，通过在数据集上运行机器学习算法来训练模型执行任务。一旦已经为任务训练了模型(即，机器学习算法已经找到了在将数据集中的输入与输出进行匹配方面对于执行给定任务足够准确的函数)，训练的模型可以用于对新的示例进行预测或者进行推断。一般而言，术语“训练的NN模型”是指神经网络模型的权重和偏置已经通过用用于特定任务的(多个)数据集训练神经网络模型来调整。
测试输入数据集125可以包括一个或多个测试输入向量，其被馈送到神经网络模型120的输入层，以生成一个或多个预测。每个唯一的测试输入向量可以从神经网络模型120产生一个或多个唯一的预测。
由XAI模型130生成的局部可解释性数据集140包括一个或多个特征相关性向量κ。每个特征相关性向量κ可以具有m个相关性值，其中m是神经网络模型120被配置为接收以执行特定任务的输入特征的数量(m由神经网络模型中输入神经元的数量给出)。特征相关性向量κ中的每个相关性值对应于给定测试输入向量的输入特征之一，并且量化输入特征针对给定测试输入向量的神经网络模型120的预测的重要性或相关性。
AI平台110可以包括释义单元160，释义单元160可以将局部可解释性数据集140中的特征相关性向量转换成终端用户可以可视化和/或理解的形式。可以由释义单元160执行的变换包括但不限于归一化、正则化、缩放、映射到更高或更低维度的空间、变换到不同的数字基础系统、频域或时域中的变换等。AI平台110可以包括解释单元170，其可以获取局部可解释性数据集140或释义单元160的输出，并将数据映射到终端用户容易理解的上下文中。
在特定示例中，XAI模型130可以生成局部可解释性数据集140。释义单元160和/或解释单元170可以从XAI模型130接收局部可解释性数据集140，并将该数据集转换成百分比和/或比率。这些百分比和/或比率可以被转换成直方图、饼图和/或线图、热图等，以给出进一步的见解。在某些情况下，数据集也可以被缩放或归一化。在某些情况下，可以生成文字云或图像。结果可以被映射到上下文中，使得局部可解释性数据集140中的相关性值以终端用户将容易理解并能够采取动作的术语来表达。
XAI模型130可以是编码为计算机程序的一个(或多个)函数。类似地，释义单元160和解释单元170可以是计算机程序。系统100可以包括数据存储180，AI平台110可以从该数据存储180获取神经网络模型120和测试输入数据集125。AI平台110可以另外将局部可解释性数据集140存储在数据存储180中。AI平台110还可以检索在释义单元160和/或解释单元170中使用的其他数据。
AI平台110可以在计算机系统中实现。AI平台110可以存储在一个或多个计算机可读存储介质或计算机可读存储设备中。此处所描述的技术对于操作系统或硬件的细节来说是通用的，并且可以应用于任何各种环境中以利用所描述的特征。
示例C——实现XAI生成的示例方法
图2是为由神经网络模型做出的预测生成局部解释的示例方法200的流程图，并且可以例如由系统100执行(参见示例B)。由方法200生成的局部解释可用于理解由神经网络模型对给定输入向量做出的预测。
在该示例中，在210，该方法接收解释测试输入数据集的神经网络模型的(多个)预测的请求，即，对神经网络模型的局部解释的请求。该请求可以包括从存储器或(多个)存储设备中检索神经网络模型和测试输入数据集的足够信息，或者可以包括神经网络模型和测试输入数据集。
神经网络模型在输入层中具有m个输入神经元，以接收具有m个输入特征的输入向量。神经网络模型具有以层序列布置的多个神经元(即，除了输入神经元之外)。神经网络模型具有跨层序列分布的神经元权重和偏置。在一个示例中，神经网络模型可以是经过训练的NN模型，这意味着已经通过用(多个)数据集为特定任务训练神经网络模型来设置神经元权重和偏置。在一个示例中，神经网络模型可以是经过训练的DNN模型。
在一个示例中，测试输入数据集包括一个或多个测试输入向量。每个测试输入向量可以具有神经网络模型被配置为接收的输入特征的数量。
在220，该方法从测试输入数据集中检索测试输入向量。
在230，该方法将测试输入向量馈送到神经网络模型，以获得(多个)网络输出。获得的网络输出的数量将取决于神经网络模型的输出神经元的数量，其中每个输出神经元能够产生网络输出。在一些情况下，神经网络模型的每个输出神经元包括激活函数，以输出预测的概率。
在240，该方法为神经网络模型的每个网络输出(或每个输出神经元)生成输出相关性分数。在一些情况下，每个输出神经元输出预测的概率，并且相应的输出相关性分数基于预测的概率。在其他情况下，输出神经元不输出预测概率，并且概率函数被应用于输出神经元的输出以获得预测概率和输出相关性分数。
在250，该方法对于每个输出神经元生成神经网络模型的最后层(或层序列的最后层)的多个相关性分数。在一个示例中，对于每个输出神经元，基于为输出神经元确定的输出相关性分数、层序列的最后层中的神经元权重以及最后层之前的较低层中的神经元偏置，为最后层生成多个相关性分数。
在260，对于每个输出神经元，该方法以相反的方向(即，从最后层之前的最后隐藏层到输入层之后的第一隐藏层)遍历层序列的隐藏层。在该反向遍历期间，该方法通过层序列传播在250的最后层生成的相关性分数，到达具有多个相关性分数的第一层。在每个给定的隐藏层，该方法基于给定隐藏层中的神经元权重、给定隐藏层之前的较低层中的神经元偏置以及给定隐藏层之后的较高层中的相关性分数来计算给定隐藏层的多个相关性分数。在一个示例中，神经元激活不用于计算隐藏层的相关性分数。
在270，该方法将在第一层获得的相关性分数添加到局部可解释性数据集中。在一个示例中，对于每个输出神经元，可以用在层序列的第一层获得的相关性分数来填充相关性向量κL＝1。相关性向量将具有与测试输入向量的大小相同的大小m，使得相关性向量中的每个相关性分数在测试输入向量中具有对应的输入特征。相关性向量和测试输入向量可以是一维向量或高维向量。相关性向量和测试输入向量的维数可以相同，也可以不同。在相关性向量的维度与测试输入向量的维度不同的情况下，可以使用映射技术来将相关性向量中的相关性分数映射到测试输入向量中的输入特征。可以基于相关性向量κL＝1和测试输入向量来计算特征相关性向量κ(例如，通过取相关性向量和测试输入向量的点积)。特征相关性向量κ可以与相应的测试输入向量和相应的网络输出一起被添加到局部可解释性数据集中。
在280，该方法确定在测试输入数据集中是否有另外的测试输入向量要处理。如果有另外的测试输入向量要处理，则该方法可以返回到操作220，以从测试输入数据集中检索另一个测试输入向量。在检索另一个测试输入向量之后，该方法可以重复操作230-280。
在290，该方法使用局部可解释性数据集来生成由神经网络模型对测试输入数据集做出的(多个)预测的局部解释。局部解释可以包括局部可解释性数据集和元数据的各种变换，以便于终端用户理解数据集中的相关性分数。例如，解释可以包括被配置成在终端用户的上下文中解释局部可解释性数据集的文本、图像、分数、百分比、图形、直方图和视觉指示符中的任何一个。
方法200可以从替代角度示出，例如，从终端用户的角度，终端用户可以是人或计算机系统或过程。方法200和本文描述的任何其他方法可以由存储在一个或多个计算机可读介质(例如，存储器或其他有形介质)中或存储在一个或多个计算机可读存储设备中的计算机可执行指令来执行(例如，使计算系统执行该方法)。这些方法可以在软件、固件、硬件或其组合中执行。这种方法可以至少部分地由计算系统(例如，一个或多个计算设备)来执行。
示例D——用于局部可解释性的示例XAI模型
局部可解释性可以显示在神经网络模型的输入层接收的输入特征与神经网络模型做出的预测的相关性或重要性。在一个示例中，配置成生成局部可解释性数据集的XAI模型可以用以下考虑来构建：
XAI模型接收神经网络模型和(多个)测试输入向量作为输入。神经网络模型可以是没有循环的任何类型的神经网络。训练神经网络模型。
XAI模型使用神经网络模型的权重和偏置来计算神经网络模型中神经元的相关性分数。
XAI模型基于神经网络模型对于给定测试输入向量的预测概率来确定最后层的相关性分数。
XAI模型通过神经网络的隐藏层反向传播在最后层确定的相关性分数，而不使用隐藏层中的神经元激活。
XAI模型是存储器高效的。例如，一旦使用较高层L+1的相关性分数计算了给定层L的相关性分数，就可以丢弃较高层L+1的相关性分数，因为不需要它们来生成较低层L-1的相关性分数。
XAI模型校正了神经元权重的极端极性。例如，在神经网络模型的给定层中，神经元权重可以是正的或负的。如果一个具有特别负值的神经元和另一个具有特别正值的神经元进入网络的一层，这两个神经元可能会强烈影响该层的结果，但在下一层，这种影响可以被抵消。为了克服这一点，可以在相关性分数的计算中考虑神经元权重的绝对值。其他方法可以包括使用非线性运算，例如均方根。
在该示例中，XAI模型可以输出包括一个或多个特征相关性向量、一个或多个测试输入向量以及对应于一个或多个测试输入向量的一个或多个预测的局部可解释性数据集。每个特征相关性向量可以具有与神经网络模型的输入特征的数量(由神经网络模型的输入神经元的数量确定)相同的大小(即，相关性分数的数量)。特征相关性向量中表示的每个相关性分数对应于测试输入向量的输入特征之一，并且量化输入特征与由神经网络模型针对测试输入向量做出的预测的相关性。
在一个实施方式中，特征相关性向量的计算可以从针对给定输入向量计算神经网络模型的每个输出神经元的输出相关性开始。
在一个示例中，神经网络模型的单个输出神经元的输出相关性可以表示为：
Figure BDA0004000475070000081
在等式(1a)中，
Figure BDA0004000475070000082
是预测输出的概率，t是阈值参数，ε是避免yo具有零值的参数。ε的值通常很小，例如10-6。
等式(1a)假设输出神经元输出预测概率。如果输出神经元不输出预测概率，则输出相关性可以表示如下：
Figure BDA0004000475070000083
在等式(1b)中，
Figure BDA0004000475070000084
是预测输出，
Figure BDA0004000475070000085
是预测输出的概率，ε是避免yo具有零值的参数。ε的值通常很小，例如10-6。
如果神经网络模型具有多个输出神经元，则神经网络模型的输出神经元中的每一个的输出相关性可以表示为：
Figure BDA0004000475070000091
在等式(2a)中，
Figure BDA0004000475070000099
是预测输出的概率，ε是避免yo具有零值的参数。ε的值通常很小，例如10-6。
等式(2a)假设输出神经元输出预测概率。如果输出神经元不输出预测概率，则输出神经元中的每一个的输出相关性可以表示为：
Figure BDA0004000475070000092
在等式(2b)中，
Figure BDA0004000475070000093
是预测输出，
Figure BDA0004000475070000094
是预测输出的概率，ε是避免yo具有零值的参数。ε的值通常很小，例如10-6。
等式(1a)至(2b)中的预测输出或预测输出的概率可以通过向神经网络模型馈送测试输入向量来获得。
特征相关性向量的计算还可以包括在神经网络模型的最后层(或输出层)计算相关性。神经网络模型的最后层的相关性可以表示如下：
Figure BDA0004000475070000095
Figure BDA0004000475070000096
Figure BDA0004000475070000097
等式(3)到(5)是等价的，但是使用不同的符号或数学结构。等式(3)是表达式的一般形式，等式(4)是表达式的向量表示，等式(5)是表达式的标量表示。在等式(3)至(5)中，κi L是层L-1中的第i个神经元与层L的相关性值；i是L-1层中的第i个神经元(即i＝1，2，3，…，θ，其中θ是L-1层中神经元的总数)；
Figure BDA00040004750700000910
是层L中的权重(或者将层L-1中的第i个神经元连接到层L中的第j个神经元的权重(j＝1，2，3，…c，其中c是最后层中的神经元的数量))；
Figure BDA0004000475070000098
是层L-1中第i个神经元的偏置项；λL是层L中神经元的总数；α是一个标量缩放因子；并且β是标量缩放因子，y0是输出相关性，其可以使用等式(1a)至(2b)之一来确定。
特征相关性向量的计算还可以包括以反向(即，从最后隐藏层到第一隐藏层)计算神经网络模型的每个隐藏层处的相关性。在一个示例中，每个隐藏层处的相关性可以表示如下：
Figure BDA0004000475070000101
Figure BDA0004000475070000102
Figure BDA0004000475070000103
等式(6)至(8)是等价的，但是使用不同的符号或数学结构。在等式(6)至(8)中，κi L是较低层L-1中的第i个神经元与给定层L的相关性值；i是较低层L-1中的第i个神经元(即i＝1，2，3，…，θ，其中θ是层L-1中神经元的总数)；
Figure BDA0004000475070000104
是将较低层L-1中的第i个神经元连接到给定层L中的第j个神经元的给定层L中的权重；
Figure BDA0004000475070000105
是较低层L-1中第i个神经元的偏置项，λL是给定层L中神经元的总数，α是标量缩放因子，β是标量缩放因子。L在从1到N的范围内，其中N是神经网络中隐藏层的总数。
将等式(6)至(8)顺序应用于隐藏层的最终结果是在第一隐藏层处的相关性向量κL＝1。给定测试输入向量的特征相关性向量κF可以如下获得：
Figure BDA0004000475070000106
Figure BDA0004000475070000107
等式(9)至(11)是使用不同数学符号和结构的等价表达式。在等式(9)至(11)中，i是第i个输入特征(即，i＝1，2，3，…，θ，其中θ是输入特征的总数，其与神经网络模型的输入神经元的总数相同)，xi是第i个输入特征的值，
Figure BDA0004000475070000108
是第i个输入特征的特征相关性分数，
Figure BDA0004000475070000109
是对应于第i个输入特征的第一隐藏层(L＝1)处的相关性分数，α是标量缩放因子，并且⊙是哈达玛积或舒尔积。
示例E——XAI模型的工作示例
图3A-3G示出了XAI模型(参见示例D)如何工作的示例。相对于神经网络模型300来描述XAI模型的工作，神经网络模型300被配置成从输入向量x生成输出y。
神经网络模型300包括输入层304、第一隐藏层308、第二隐藏层312(也是最后隐藏层)和最后层316(也是输出层)。神经网络模型300通过输入层304接收输入数据。隐藏层308、312是对输入数据的操作发生的地方。层308、312被称为隐藏的，因为它们的工作不能从神经网络外部直接访问。此外，隐藏层是输入层304和最后层316之间的中间层。最后层316是操纵网络中数据的最终产品。尽管神经网络模型300被图示为前馈网络，但是XAI模型不限于前馈网络，并且可以与没有循环的任何神经网络模型一起使用。
在所示的示例中，输入层304具有可以感测输入特征x1的第一神经元3201和可以感测输入特征x2的第二神经元3202。例如，被配置成将图像映射到对象的神经网络模型可以感测与图像相关的输入特征，例如图像中的边缘、像素强度等。第一隐藏层308包括用于操纵网络内数据的第一神经元3241、第二神经元3242和第三神经元3243。第二隐藏层312包括用于操纵网络内数据的第一神经元3281、第二神经元3282和第三神经元3283。输出层316包括产生输出y的输出神经元332。这样，神经网络模型300被配置成将输入x1、x2映射到输出y
神经网络模型300是深度神经网络(DNN)的一个示例，因为该网络具有一个以上的隐藏层。神经网络模型300可以具有比图3A所示的两个隐藏层多得多的隐藏层。为简单起见，神经网络模型300在图3A中显示为在输出层316中仅具有一个输出神经元332。在其他示例中，神经网络模型300可以被配置为在输出层中具有多个输出神经元。一般而言，神经网络模型300可以具有比图3A所示多得多的神经元和层。
第一隐藏层3081中的第一神经元3241经由具有权重w11 L＝1的连接连接到输入层304中的第一神经元3201，并且经由具有权重w21 L＝1的连接连接到输入层304中的第二神经元3202。第一神经元3241还具有偏置b1 L＝1。第一隐藏层308中的第二神经元3242经由具有权重w12 L＝1的连接连接到输入层304中的第一神经元3201，并且经由具有权重w22 L＝1的连接连接到输入层304中的第二神经元3202。第二神经元3242还具有偏置b2 L＝1。第一隐藏层308中的第三神经元3243经由具有权重w13 L＝1的连接连接到输入层304中的第一神经元3201，并且经由具有权重w23 L＝1的连接连接到输入层304中的第二神经元3202。第三神经元3243还具有偏置b3 L ＝1。
第二隐藏层312中的第一神经元3281分别经由具有权重w11 L＝2、w21 L＝2和w31 L＝2的连接连接到第一隐藏层308的第一、第二和第三神经元3241、3242、3243。第一神经元3281还具有偏置b1 L＝2。第二隐藏层312中的第二神经元3282分别经由具有权重w12 L＝2、w22 L＝2和w32 L＝2的连接连接到第一隐藏层308的第一、第二和第三神经元3241、3242、3243。第二神经元3282还连接到偏置b2 L＝2。第二隐藏层312中的第三神经元3283分别经由具有权重w13 L＝2、w23 L＝2和w33 L ＝2的连接连接到第一隐藏层308的第一、第二和第三神经元3241、3242、3243。第三神经元3283还连接到偏置b3 L＝2。输出神经元332分别经由具有权重w11 L＝3、w21 L＝3和w31 L＝3的连接连接到第一、第二和第三神经元3281、3282、3283。
相关性计算从将测试输入向量馈送到神经网络模型以生成预测输出或预测输出的概率开始。基于预测输出或预测输出的概率，为生成预测输出或预测输出的概率的输出神经元确定输出相关性。该操作不会改变神经网络模型的神经元权重和偏置。在获得输出神经元的输出相关性之后，在神经网络模型最后层处计算相关性。然后，从最后隐藏层到第一隐藏层顺序遍历神经网络的隐藏层，同时计算相关性分数，在第一隐藏层结束，具有对应于由测试输入向量指定的输入特征的集合的一组相关性分数。
图3A示出了在最后层(或输出层)316(L＝3)处的相关性的计算。在图3A中，将最后层316中的输出神经元332连接到最后隐藏层(或第二隐藏层)312(L＝2)中的第一神经元3281的权重w11 L＝3、第一神经元3281的偏置b1 L＝2、以及在输出神经元332处对馈送到神经网络模型的特定测试输入向量的预测概率被用于根据示例D中的等式(3)至(5)计算最后层316处的第一相关性值κ1 L＝3(如图3B所示)
将输出神经元332连接到最后隐藏层312中的第二神经元3282的权重w21 L＝3和第二神经元3282的偏置b2 L＝2用于根据示例D中的等式(3)至(5)计算最后层316处的第二相关性值κ2 L＝3(如图3B所示)。
将输出神经元332连接到最后隐藏层312中的第三神经元3283的权重w31 L＝3和第三神经元3283的偏置b3L＝2用于根据示例D中的等式(3)至(5)计算最后层316处的第三相关性值κ3 L＝3(如图3B所示)
最后层(L＝3)处的相关性分数可以表示如下：
Figure BDA0004000475070000121
Figure BDA0004000475070000131
Figure BDA0004000475070000132
图3B-3D示出了在最后隐藏层(或第二隐藏层)312(L＝2)处的相关性的计算。在图3B中，将第一隐藏层308(L＝1)中的第一神经元3241连接到最后隐藏层312中的神经元3281、3282、3283的权重w11 L＝2、w12 L＝2和w13 L＝2、第一神经元3241的偏置b1 L＝1以及最后层(或输出层)316(L＝3)处的相关性值被用于根据示例D中的等式(6)至(8)计算第一相关性值κ1 L＝2(如图所示3E所示)。
在图3C中，将第一隐藏层308中的第二神经元3242连接到第二隐藏层312中的神经元3281、3282、3283的权重w21 L＝2、w22 L＝2和w23 L＝2、第二神经元3242的偏置b2 L＝1以及最后层316(L＝3)处的相关性值被用于根据示例D中的等式(6)至(8)计算最后隐藏层316处的第二相关性值κ2 L＝2(如图3E所示)
在图3D中，将第一隐藏层308中的第三神经元3243连接到最后隐藏层312中的神经元3281、3282、3283的权重w31 L＝2、w32 L＝2和w33 L＝2、第三神经元3243的偏置b3 L＝1以及最后层316处的相关性值被用于根据示例D中的等式(6)至(8)计算最后隐藏层312处的第三相关性值κ3 L＝2(如图3E所示)。
在最后隐藏层312(L＝2)处的相关性分数可以表示如下：
Figure BDA0004000475070000133
Figure BDA0004000475070000134
Figure BDA0004000475070000135
在计算了最后隐藏层312(L＝2)处的相关性分数之后，为了存储效率，可以丢弃在最后层316(L＝3)处计算的相关性分数。
图3E-3F示出了在第一隐藏层308(L＝1)处的相关性的计算。在图3E中，将输入神经元3201连接到第一隐藏层308的神经元3241、3242、3243的权重w11 L＝1、w12 L＝1和w13 L＝1以及与最后隐藏层312(L＝2)相关联的相关性分数被用于计算第一隐藏层308处的第一相关性分数κ1 L＝1(如图3G所示)。
在图3F中，将输入神经元3202连接到第一隐藏层308的神经元3241、3242、3243的权重w21 L＝1、w22 L＝1和w23 L＝1以及最后隐藏层312处的相关性分数用于计算第一隐藏层308处的第二相关性值κ2 L＝1(如图3G所示)。
第一隐藏层308(L＝1)处的相关性分数可以表示如下：
Figure BDA0004000475070000141
Figure BDA0004000475070000142
在第一隐藏层308处计算相关性分数之后，为了存储效率，可以丢弃在最后隐藏层312(L＝2)处计算的相关性分数。
图3G中示出了在第一隐藏层308(L＝1)处计算的相关性分数κ1 L＝1、κ2 L＝1。相关性向量可以用相关性分数κ1 L＝1，κ2 L＝1来填充。
基于相关性向量和输入向量的特征相关性向量可以根据等式(9)至(11)来确定。特征相关性向量可以表示如下：
Figure BDA0004000475070000143
在等式(15)中，α是标量缩放因子，x1、x2是输入特征，κ1 L＝1、κ2 L＝1是第一隐藏层(L＝1)处的相关性分数。XAI模型的最终输出可以是特征相关性向量。局部可解释性数据集可以包括特征相关性向量以及其他数据，例如对应于特征相关性向量的测试输入向量和在计算对应于特征相关性向量的输出相关性时使用的预测输出或预测输出的概率。可以基于局部可解释性数据集生成神经网络模型300的局部解释。
示例F——使用多输出神经网络模型的XAI模型的示例工作
对于在最后层中具有多个输出神经元的神经网络模型，对输出神经元中的每一个执行等式(1a)至(11)(参见示例E)中的计算。例如，图4A和4B示出了被修改为包括两个输出神经元3321、3322的神经网络模型300。图4A用粗线示出了从输入神经元到输出神经元3321穿过层序列的路径，图4B用粗线示出了从输入神经元到输出神经元3322的路径。在计算输出神经元3321的输出相关性之后，可以根据图4A中突出显示的路径来计算相关性分数，以获得对应于输出神经元3321的特征相关性向量。类似地，在计算输出神经元3322的输出相关性之后，可以根据图4B中突出显示的路径来计算相关性分数，以获得对应于输出神经元3322的特征相关性向量。
除了在最后层处的计算中涉及的特定权重之外，计算图4A和4B中所示的路径的特征相关性向量的过程与图3A-3G中计算特征相关性向量的过程相同。对于图4A所示的路径，最后层中的相关权重是将最后隐藏层312(L＝2)中的神经元连接到最后层316(L＝3)中的输出神经元3321的权重。其中y1是为输出神经元3321计算的输出相关性，输出神经元3321的最后层处的相关性分数可以表示为：
Figure BDA0004000475070000151
Figure BDA0004000475070000152
Figure BDA0004000475070000153
对于图4B所示的路径，最后层中的相关权重是将最后隐藏层312(L＝2)中的神经元连接到最后层316(L＝3)中的输出神经元3322的权重。其中y2是为输出神经元3322计算的输出相关性，输出神经元3322的最后层处的相关性分数可以表示为：
Figure BDA0004000475070000154
Figure BDA0004000475070000155
Figure BDA0004000475070000156
因此，在图4A和4B的示例中，将有两个特征相关性向量——一个特征相关性向量用于输出神经元3321，另一个特征相关性向量用于输出神经元3322。一般来说，如果有n个输出神经元，就会有n个特征相关性向量。这些特征相关性向量可以被添加到局部可解释性数据集中，用于生成局部解释。
示例G-实现局部解释生成的示例系统
图5是示出实现局部解释生成的示例系统400的框图。系统400包括AI平台110，其可以与业务单元408、数据存储412、显示单元416和用户交互单元418通信。在该示例中，AI平台110包括一个或多个XAI模型130、释义单元160和解释单元170(参见示例B)。
在一个示例中，AI平台110可以从数据存储412获取神经网络模型420，用于处理从业务单元408接收的业务424。神经网络模型420可以是经过训练的NN模型。AI平台110还可以从数据存储412获取测试输入数据集430，用于处理业务424。神经网络模型420和测试输入数据集430可被提供给XAI模型130以生成局部可解释性数据集，该数据集可包括一个或多个特征相关性向量，这些向量填充有使用神经网络模型的权重、偏置和预测概率确定的相关性分数，如前所述。AI平台110可以基于局部可解释性数据集输出局部解释432。
显示单元416可以从AI平台110接收局部解释432，并提供局部解释432的表示436。用户交互单元418可以包括允许用户与局部解释432交互的一组选项438。用户可以是人类用户或系统。响应于从该组选项438中选择选项，用户交互单元418可以向用户提供进一步的选项。例如，如果用户希望覆盖神经网络模型的(多个)预测，用户交互单元418可以进一步显示允许用户调整预测的界面。
在一些情况下，用户交互单元418可以基于在用户交互单元418做出的改变向AI平台110发送反馈440。在一些情况下，用户交互单元418还可以向业务单元408发送增强业务444。增强业务444可以包括用户响应。在一些情况下，业务单元408可以包括机器学习模块448或与其通信。机器学习模块448在一些情况下可以基于包含在增强业务444中的信息来确定神经网络模型420是否应该被重新训练或者调整。在一些情况下，机器学习模块448可以触发神经网络模型的重新训练或调整。重新训练/调整的神经网络模型可用于进行预测。
示例H——实现XAI生成的示例方法
图6是基于系统400实现XAI生成的示例方法500的流程图(参见示例G)。
在510，该方法接收业务。该业务包含对测试输入数据集的神经网络模型的预测的局部解释的请求，该测试输入数据集可以具有一个或多个测试输入向量。神经网络模型可以是经过训练的NN模型。该业务可以包括期望的神经网络模型和测试输入数据集的识别信息。
在520，该方法解析业务以确定要使用的神经网络模型，并获得神经网络模型。该方法还获得测试输入数据集。
在530，该方法解析业务以确定用于解释神经网络模型的预测的XAI模型，并将神经网络模型和测试输入数据集提供给适当的XAI模型。
在540，该方法基于测试输入数据集的神经网络模型的权重、偏置和输出，用XAI模型生成局部可解释性数据集。局部可解释性数据集可包括一个或多个量化输入特征与网络输出(或预测)的相关性的特征相关性向量。
在550，该方法基于局部可解释性数据集生成局部解释。局部解释可以是原始的局部可解释性数据集或从局部可解释性数据集导出的信息。局部解释可以包括元数据等，以在终端用户的上下文中改进对局部可解释性数据集中的特征相关性向量的理解。
在560，该方法可以向终端用户呈现局部解释，该终端用户可以是人类用户或计算机。
在570，该方法可以接收对局部解释的用户响应。例如，该方法可以向用户呈现一组选项，用户可以从中进行选择。例如，该组选项可以包括如果特征相关性看起来合理和适当则“接受预测”，如果特征相关性看起来有错误则“忽略预测”，以及因为预测是可信的则“自动”生成预测，。该方法可以接收用户选择的选项之一。如果选项包括覆盖预测，则该方法可以要求用户对预测进行调整(例如，可以调整特征相关性分数)。
在580，该方法可以使用用户响应来进一步优化XAI模型和/或神经网络模型。例如，对于给定的输入向量，神经网络模型进行预测，而XAI模型解释该预测。例如，用户可以忽略该预测，并对解释中指示的特征相关性分数进行调整。这些变化是可以捕捉到的。在一个示例中，可以计算从用户响应收集的数据和用于训练神经网络模型的数据之间的相似性分数。如果用户响应和训练数据之间存在足够的差异，则可以触发神经网络模型的重新训练。另一方面，如果相似性分数高，但是神经网络模型性能或对模型性能的解释低，则可以触发对神经网络模型泛化的调查。一般而言，可以进行的优化可以包括模型重新调整、模型细化、增量训练、模型泛化、针对问题子集的模型的添加和/或删除、模型架构的改变以及最新模型设计的使用。优化的神经网络模型可用于进行预测。
示例I—实现人工智能解释生成的数据模型映射工具
在该示例中，图5中的业务单元408可以是支持数据结构(或数据模型)的映射和匹配的工具。在这种情况下，业务单元408可以向AI平台110提供两个语义相似但不同的数据模型，用于预测正确的映射，以保持准确的数据血统。
AI平台110可以获取适当的经过训练的NN模型，并使用经过训练的NN模型来提供预测的映射(即，推断)。AI平台110可以使用适当的XAI模型130以及经过训练的NN模型和预测映射的权重和偏置来生成一个或多个特征相关性向量。局部可解释性数据集可以包括(多个)特征相关性向量。AI平台110可以添加为预测考虑的输入特征(例如，语义上下文、实体和字段名称、包括基数的数据类型和结构)以及到局部可解释性数据集的预测映射。AI平台110可以基于局部可解释性数据集生成局部解释，并向用户呈现局部解释，例如，通过将局部解释发送到显示单元416。
显示单元416可以向用户呈现局部解释。用户交互单元418可以基于局部解释向用户呈现一组选项。这些选项可以包括，例如，如果特征和相关性值看起来合理和适当，则接受预测的映射，如果预测的映射看起来是错误的或不现实的，则覆盖预测的映射，并且如果预测是可信的并且通常被证明是准确的，则自动进行映射。
用户可以选择选项中的一个。根据所选的选项，可以执行附加操作。例如，如果用户选择覆盖预测映射的选项，则用户交互单元418可以允许用户调整相关特征及其相关性值。在这种情况下，用户做出的改变可以作为反馈传播回AI平台110，并用于优化XAI模型和/或训练的NN模型。
可以将增强业务反馈给业务单元408以供进一步处理。增强业务可以包括，例如，业务的识别信息、局部解释以及对局部解释的任何用户响应。在一些情况下，在业务单元408处对增强业务的处理可以触发经过训练的NN模型的优化。
示例J—实现人工智能解释生成的服务/销售订单完成日期预测
在该示例中，图5中的业务单元408可以是支持服务/销售订单完成日期预测的工具。在这种情况下，由业务单元408提供给AI平台110的业务可以包括预测订单是否可以在某个期限内完成的请求。如果订单不能完成，业务还可以包括提供估计完成日期的请求。该业务还可以包括用于将进行预测的经过训练的模型的输入数据。
AI平台110可以获取适当的经过训练的NN模型，并将经过训练的NN模型和输入数据提供给适当的XAI模型130。XAI模型130可以使用经过训练的NN模型中的权重和偏置以及经过训练的NN模型对输入数据的预测来生成输入数据的一个或多个特征相关性向量。局部可解释性数据集可以包括(多个)特征相关性向量。AI平台110可以将考虑用于预测的输入特征(例如，企业实体和字段名称)以及预测添加到局部可解释性数据集。AI平台110可以基于局部可解释性数据集生成局部解释，并向用户呈现局部解释，例如，通过将局部解释发送到显示单元416。
显示单元416可以向用户呈现局部解释。用户交互单元418可以基于局部解释向用户呈现一组选项。这些选项可以包括，例如，如果特征和相关性值看起来合理和适当，则接受预测(和相应的完成日期)，如果预测(和相应的完成日期)看起来是错误的或不现实的，则覆盖该预测，并且如果预测是可信的并且通常被证明是准确的，则自动进行预测。
用户可以选择选项中的一个。根据所选的选项，可以执行附加操作。例如，如果用户选择覆盖预测映射的选项，则用户交互单元418可以允许用户调整相关特征及其相关性值。在这种情况下，用户做出的改变可以作为反馈传播回AI平台110，并用于优化XAI模型和/或训练的NN模型。
可以将增强业务反馈给业务单元408以供进一步处理。增强业务可以包括，例如，业务的识别信息、局部解释以及对局部解释的任何用户响应。在一些情况下，在业务单元408处对增强业务的处理可以触发经过训练的NN模型的优化。
示例K—实现人工智能解释生成的客户票证的后续动作预测
在该示例中，图5中的业务单元408可以是支持客户票证预测的工具。在这种情况下，由业务单元408提供给AI平台110的业务可以包括票证的当前阶段和先前的动作，以及对预测下一个可能的最佳动作和/或下一个可能的最佳阶段，以及某个动作的预测背后的原因的请求。
AI平台110可以获取适当的经过训练的NN模型，并将经过训练的NN模型和输入数据提供给适当的XAI模型130。XAI模型130可以使用经过训练的NN模型中的权重和偏置以及经过训练的NN模型对输入数据的预测来生成输入数据的一个或多个特征相关性向量。局部可解释性数据集可以包括(多个)特征相关性向量。AI平台110可以将为预测考虑的输入特征(例如，相关元数据、先前动作和字段名)以及预测添加到局部可解释性数据集。AI平台110可以基于局部可解释性数据集生成局部解释，并向用户呈现局部解释，例如，通过将局部解释发送到显示单元416。
显示单元416可以向用户呈现局部解释。用户交互单元418可以基于局部解释向用户呈现一组选项。这些选项可以包括，例如，如果特征和相关性值看起来合理和适当，则接受预测，如果预测看起来是错误的或不现实的，则覆盖预测，并且如果预测是可信的并且通常被证明是准确的，则自动进行预测。
用户可以选择选项中的一个。根据所选的选项，可以执行附加操作。例如，如果用户选择覆盖预测映射的选项，则用户交互单元418可以允许用户调整相关特征及其相关性值。在这种情况下，用户做出的改变可以作为反馈传播回AI平台110，并用于优化XAI模型和/或训练的NN模型。
可以将增强业务反馈给业务单元408以供进一步处理。增强业务可以包括，例如，业务的识别信息、局部解释以及对局部解释的任何用户响应。在一些情况下，在业务单元408处对增强业务的处理可以触发经过训练的NN模型的优化。
示例L-实现人工智能解释生成的财务文档中的实体预测
在该示例中，图5中的业务单元408可以是提供不同种类的金融文档(例如，销售订单、采购订单、服务订单、支付通知、发票、收据、支付票证、银行转账、银行公式等)中存在的不同金融实体的语义映射的工具。金融文档可以是没有颜色梯度的图像形式，这需要使用非线性规划、对象检测和分类来解决。在这种情况下，提供给AI平台110的业务可以包括对预测金融实体的位置、类别标签和文本字符串的请求。
AI平台404可以检索适当的经过训练的NN模型，并将经过训练的NN模型和输入数据提供给适当的XAI模型130。XAI模型130可以使用经过训练的NN模型中的权重和偏置以及经过训练的NN模型对输入数据的预测来生成输入数据的一个或多个特征相关性向量。局部可解释性数据集可以包括(多个)特征相关性向量。AI平台110可以将考虑用于预测的输入特征(例如，边界表面、类别标签和文本字符串)以及预测添加到局部可解释性数据集。AI平台110可以基于局部可解释性数据集生成局部解释，并将局部解释发送到显示单元416。
显示单元412可以向用户呈现局部解释。用户交互单元418可以基于局部解释向用户呈现一组选项。这些选项可以包括，例如，如果特征和相关性值看起来合理和适当，则接受预测，如果预测看起来是错误的或不现实的，则覆盖预测，并且如果预测是可信的并且通常被证明是准确的，则自动进行预测。
用户可以选择选项中的一个。根据所选的选项，可以执行附加操作。例如，如果用户选择覆盖预测映射的选项，则用户交互单元418可以允许用户调整相关特征及其相关性值。在这种情况下，用户做出的改变可以作为反馈传播回AI平台110，并用于优化XAI模型和/或训练的NN模型。
可以将增强业务反馈给业务单元408以供进一步处理。增强业务可以包括，例如，业务的识别信息、局部解释以及对局部解释的任何用户响应。在一些情况下，在业务单元408处对增强业务的处理可以触发经过训练的NN模型的优化。
示例M——示例局部解释
图9A示出了测试图像1000，其包含用于经过训练的神经网络模型的输入数据。测试图像是非结构化数据的示例，即，非定义或结构化格式的数据。在这个示例中，测试图像是采购订单文档的图像。在该示例中，神经网络模型已被训练来识别采购订单文档中的字段和数据，这些文档可能具有不同的格式和信息。神经网络模型可以识别包含字段和数据的图像区域，并以一定概率预测这些区域的类别标签。经过训练的神经网络模型的实际用途可以是从采购订单文档中提取数据，并将数据存储在数据库中，以供其他过程使用。
在一个示例中，基于颜色模型，测试图像可以具有n个通道。例如，灰度图像有一个通道，RGB图像有三个通道，CMYK图像有四个通道。具有n个通道的测试图像可以表示为具有n个通道的高维向量/高维矩阵或张量/2D矩阵。具有n个通道的测试图像的输入向量的维度将是X*Y*n，其中X是图像的宽度(可以用像素来测量)，Y是图像的高度(可以用像素来测量)，n是通道的数量。
为了说明的目的，图9C示出了具有n个通道的测试图像1000，该n个通道被馈送到经过训练的神经网络模型1002的输入。在一个示例中，在前向路径中，如箭头1004所示，神经网络模型1002可以接受一个测试图像1000，并生成一个或多个预测y1，y2，y3，…，ym(m可以对应于由测试图像1000表示的文档中感兴趣的字段的数量)。在另一示例中，经过训练的神经网络模型1002可以接受多个测试图像(作为批处理作业)并为每个测试图像生成一个或多个预测。
由神经网络模型做出的每个预测都具有预测概率，该预测概率可以由神经网络模型直接输出，或者使用示例D中的等式(1a)、(1b)、(2a)和(2b)从神经网络模型的输出中计算。对于局部可解释性计算，预测概率用于计算输出相关性分数，该分数随后被反向遍历/传播以获得神经网络模型1002的第一隐藏层处的相关性分数，如图9D中的箭头1006所示(为了清楚起见，图9D示出了神经网络模型1002下面的相关性传播；然而，如前所述，相关性分数是在以反向遍历网络层的同时计算的)。
在神经网络模型的第一隐藏层处计算的相关性分数将是高维向量/高维矩阵或张量的形式，并且可以被称为相关性映射(在图9D中的1008处示出)。在一个示例中，相关性映射1008可以具有与输入向量1008相同的维度，这意味着在相关性映射1008中的相关性分数和输入向量中的像素/特征之间将存在1-1的对应关系，如图9D所示。
在另一个示例中，与输入向量1000相比，相关性映射可以具有不同的维度，需要在相关性映射和输入向量1000之间的附加映射技术。例如，如图9E所示，对于具有维度X*Y*n的输入向量1000，相关性映射1010可以具有维度X’*Y’，其中n是通道的数量。在这种情况下，需要一种额外的技术来从X'*Y'映射到X*Y*n。
对于局部可解释性，为网络的每个输出/预测计算相关性映射。因此，对于输入图像文档，如果网络做出θ个输出/预测，那么将为局部可解释性生成θ个相关性映射。文档中的每个感兴趣的字段可以具有相应的网络预测和相关性映射。
神经网络模型的输出可以是类别标签和某些区域对应于类别标签的可能性。图9B示出了说明使用图9A的测试图像作为输入的神经网络的输出的用户界面。在用户界面的右侧区域800中是感兴趣的字段802和由对应于这些字段的神经网络模型找到的数据804。在用户界面的左侧区域806中是图9A的测试图像。覆盖在测试图像上的是边界框808，其指示测试图像的区域(或一组像素)，其中神经网络模型找到对应于感兴趣的字段的数据。边界框808可以是颜色编码的(例如，通过相关性、重要性，或者将数据/字段区分/分组在一起)。
可以使用这里描述的技术为图9B的神经网络模型预测生成局部可解释性数据集。可以向用户呈现基于局部可解释性数据集的局部解释。图10A-10C示出了呈现神经网络模型的预测的解释的示例用户界面的各种状态。用户界面允许用户与预测交互(例如，接受预测、拒绝预测或编辑预测)。在某些情况下，交互的结果可用于调整/重新训练神经网络模型。
在图10A中，在用户界面的右侧区域900中是感兴趣的字段902和由神经网络模型找到的对应于这些字段的数据904。右侧区域900中还示出了一组图标906，其可用于与神经网络模型的预测进行交互。例如，复选标记图标906a可用于接受神经网络模型为特定字段找到的数据，十字图标906b可用于拒绝神经网络模型为特定字段找到的数据，铅笔图标906c可用于编辑神经网络找到的数据。用户界面可以具有未具体示出的其他图标。
在图10A的用户界面的左侧区域908中是图9A的测试图像。覆盖在测试图像上的是边界框(像素组)。边界框具有相关联的相关性分数，其指示边界框内的图像的区域与网络的预测的相关性。在图10A所示的示例中，示出了对“文档日期”字段的预测。边界框910、912、914指示测试图像中神经网络模型找到可能对应于文档日期的数据的区域。边界框910、912、914可以是颜色编码的或以其他方式区分，以指示所指示的图像区域对网络预测的重要性或相关性。在某些情况下，相关性分数可以通过将光标定位在边界框上来显示。
在该示例中，由边界框910标识的区域对于文档日期具有90％的相关性分数，由边界框912标识的区域对于文档日期具有8％的相关性分数，并且由边界框914标识的区域对于文档日期具有1.9％的相关性分数。由边界框910标识的具有最高相关性分数的区域可以被认为是对文档日期最重要的区域或相关区域。
神经网络模型可以使用各种信息来定位包含文档日期的区域。例如，神经网络模型可以使用诸如表示文本“日期”的像素、学习到的图像片段、位置信息以及表示相似文本模式的相关联像素的信息来标识文档日期。局部解释的一个目标是发现神经网络模型可能使用什么信息来定位包含文档日期的区域。例如，即使文档中有几个区域带有日期信息，神经网络模型还是倾向于将靠近图像右上角的区域作为文档日期最可能的位置。
在一个示例中，用户可以在用户界面的区域900上选择字段，并且神经网络模型的相应预测和对该字段的预测的解释可以显示在用户界面的区域908上。例如，可以示出区域908的相关区域的边界框和任何对应的颜色编码。使用该组图标906，用户可以指示用户界面的区域908上所示的神经网络模型的预测是否正确。例如，边界框910具有90％的相关性分数，并且正确地标识了包含文档日期的图像区域。在这种情况下，用户可以使用复选标记图标906a来指示预测是正确的。如果证明该预测不正确(例如，如果由边界框916标识的区域(其也包含日期)被标识为具有比由边界框910标识的区域更高的文档日期相关性分数)，则用户可以使用十字图标906b来删除该预测。另一方面，如果神经网络模型识别出包含文档日期的图像的正确区域，但是没有捕获所有数据，则铅笔图标906c可以用于调整数据和解释边界框，以及提供选项来为与边界框相关联的相关性分数提供新值。
图10B示出了用户界面的另一状态，其中示出了行项目的“描述”字段的神经网络模型的预测。边界框918、920、922指示测试图像中神经网络模型找到可能对应于描述的数据的区域。例如，由边界框918标识的区域具有88％的相关性分数，由边界框920标识的区域具有7％的相关性分数，由边界框922标识的区域具有4％的相关性分数。用户可以观察局部解释是否正确(例如，具有最高相关性分数的区域是否对应于描述)。该组图标906可用于接受预测、拒绝预测或改变值。在一个示例中，边界框918、920和922可以被调整大小或重新定位以指示包含所需数据的图像区域。如前所述，与解释和预测的任何交互(例如，通过图标906和边界框918、920、922的集合)可以被发送到业务单元。
图10C示出了用户界面的另一种状态，其中示出了行项目的“物料编号”字段的神经网络模型的预测。边界框(或颜色编码框)924、926和928指示测试图像中神经网络模型找到可能对应于物料编号的数据的区域。例如，由边界框924标识的区域对于材料编号具有87％的相关性分数，由边界框926标识的区域对于材料编号具有7％的相关性分数，并且由边界框928标识的区域具有5％的相关性分数。用户可以观察局部解释是否正确(例如，具有最高相关性分数的区域是否包含物料编号)。这组图标906可用于接受、拒绝或编辑物料编号字段的预测。
图10D示出了用户界面的另一状态，其中示出了神经网络模型对几个字段(例如，文档编号、净额、文档日期、发送者地址、描述(行项目)、净额(行项目)数量(行项目)和材料编号(行项目))的预测。在该示例中，边界框932、934、936、938、940、942、946分别标识对应于文档编号、净额、文档日期、发送者地址、描述(行项目)、净额(行项目)、数量(行项目)和材料编号(行项目)字段的图像区域。边界框可以对应于为字段找到的图像的最重要(高度相关/相关性分数的最高值)的区域。例如，对于文档日期字段，比较图10D中的边界框936和图10A中的边界框910。
颜色编码可用于指示边界框932、934、936、938、940、942、946内的区域对测试图像的网络预测的重要性或相关性。在一些情况下，图像的两个或更多个区域(即，两个或更多个边界框)可以与神经网络模型的预测具有相同的相关性。例如，在图10D中，分别对应于文档日期和净额的边界框934、936内的区域与测试图像的网络预测具有相等的相关性。
因此，在本文的任何示例中，这些技术可以应用于识别文档中的字段的用例。通常，这些可以是任何种类的文档(例如，采购订单、销售订单、服务订单、发票、收据、银行公式等等)。在该示例中，出现在图像中的字段名用于标识文档中数据字段的数据库字段名。可以呈现解释(例如，哪个文本导致特定数据字段将被存储在表的预测字段名称中的预测)来帮助审阅用户确定该预测(例如，特定数据字段将被存储在表的预测字段名称中)是否具有正确的基础。如果没有，用户可以很容易地看到不正确的基础，并采取措施来纠正基础。
示例计算系统
图7描绘了其中可以实现所描述的创新的合适的计算系统600的示例。计算系统600不旨在对本公开的使用范围或功能提出任何限制，因为创新可以在不同的计算系统中实现。
参考图7，计算系统600包括一个或多个处理单元610、615和存储器620、625。在图7中，该基本配置630包括在虚线内。处理单元610、615执行计算机可执行指令，例如用于实现本文示例中描述的特征。处理单元可以是通用中央处理单元(CPU)、专用集成电路(ASIC)中的处理器、图形处理单元(GPU)、张量处理单元(TPU)、量子处理器或任何其他类型的处理器。在多处理系统中，多个处理单元执行计算机可执行指令来提高处理能力。例如，图7示出了中央处理单元610以及图形处理单元或协处理单元615。有形存储器620、625可以是易失性存储器(例如，寄存器、缓存、RAM)、非易失性存储器(例如，ROM、EEPROM、闪存等)，或两者的某种组合，可由处理单元610、615访问。存储器620、625以适于由(多个)处理单元610、615执行的计算机可执行指令的形式存储实现本文描述的一个或多个创新的软件680。
计算系统600可以具有附加特征。例如，计算系统600包括存储640、一个或多个输入设备650、一个或多个输出设备660以及一个或多个通信连接670，包括输入设备、输出设备和用于与用户交互的通信连接。诸如总线、控制器或网络的互连机制(未示出)将计算系统600的组件互连。通常，操作系统软件(未示出)为在计算系统600中执行的其他软件提供操作环境，并协调计算系统600的组件的活动。
有形存储640可以是可移除的或不可移除的，并且包括磁盘、磁带或盒式磁带、CD-ROM、DVD或可以用于以非临时性方式存储信息并且可以在计算系统600内访问的任何其他介质。存储器640存储用于软件680的指令，该软件680实现这里描述的一个或多个创新。
(多个)输入设备650可以是输入设备，诸如键盘、鼠标、笔或轨迹球、语音输入设备、扫描设备、触摸设备(例如，触摸板、显示器等)或向计算系统600提供输入的另一设备。输出设备660可以是显示器、打印机、扬声器、CD刻录机或提供来自计算系统600的输出的另一设备，例如致动器或一些机械设备，如马达、3D打印机等。
(多个)通信连接670使得能够通过通信介质与另一计算实体进行通信。通信介质传送信息，例如计算机可执行指令、音频或视频输入或输出、或调制数据信号中的其他数据。调制数据信号是以在信号中编码信息的方式设置或改变其一个或多个特性的信号。作为示例而非限制，通信介质可以使用电、光、RF或其他载体。
这些创新可以在计算机可执行指令的上下文中描述，诸如包括在程序模块中的指令，这些指令在计算系统中的目标真实或虚拟处理器上执行(例如，最终在一个或多个硬件处理器上执行)。通常，程序模块或组件包括例程、程序、库、对象、类、组件、数据结构等。它们执行特定的任务或实现特定的抽象数据类型。在各种实施例中，程序模块的功能可以根据需要在程序模块之间组合或分割。程序模块的计算机可执行指令可以在局部或分布式计算系统中执行。
为了表述的目的，详细描述使用类似“确定”和“使用”的术语来描述计算系统中的计算机操作。这些术语是对计算机执行的操作的高级描述，不应与人类执行的动作相混淆。对应于这些术语的实际计算机操作根据实现而变化。
计算机可读介质
这里的任何计算机可读介质可以是非暂时性的(例如，诸如DRAM或SRAM的易失性存储器，诸如磁存储、光存储等的非易失性存储器)和/或有形的。这里描述的任何存储动作可以通过存储在一个或多个计算机可读介质(例如，计算机可读存储介质或其他有形介质)中来实现。被描述为存储的任何事物(例如，在实现期间创建和使用的数据)可以被存储在一个或多个计算机可读介质(例如，计算机可读存储介质或其他有形介质)中。计算机可读介质可以限于不包括信号的实现。
本文描述的任何方法可以由一个或多个计算机可读介质(例如，计算机可读存储介质或其他有形介质)或一个或多个计算机可读存储设备(例如，存储器、磁存储器、光存储器等)中(例如，存储在其上、编码在其上等)的计算机可执行指令来实现。这种指令可以使计算系统执行该方法。这里描述的技术可以用各种编程语言来实现。
示例云计算环境
图8描绘了示例云计算环境700，其中可以实现所描述的技术，包括例如本文描述的系统。云计算环境700包括云计算服务710。云计算服务710可以包括各种类型的云计算资源，诸如计算机服务器、数据存储库、网络资源等。云计算服务710可以位于中央(例如，由企业或组织的数据中心提供)或分布式(例如，由位于不同位置的各种计算资源提供，诸如不同的数据中心和/或位于不同的城市或国家)。
云计算服务710被各种类型的计算设备(例如，客户端计算设备)，诸如计算设备720、722和724利用。例如，计算设备(例如，720、722和724)可以是计算机(例如，桌上型或膝上型计算机)、移动设备(例如，平板计算机或智能电话)或其他类型的计算设备。例如，计算设备(例如，720、722和724)可以利用云计算服务710来执行计算操作(例如，数据处理、数据存储等)。
在实践中，可以支持基于云、基于内部部署或混合的场景。
附加示例
下面列举了基于这里描述的原理的其他示例。落入本主题范围内的其他示例可以通过例如单独采用一个示例的一个特征、组合采用一个示例的一个以上特征、或者将一个示例的一个或多个特征与一个或多个其他示例的一个或多个特征相组合来配置。
示例1.一种计算机实现的方法包括接收识别神经网络模型的请求，其中神经网络模型包括以层序列布置的多个神经元、跨层序列分布的多个神经元权重、跨层序列分布的多个神经元偏置、以及被配置为接收具有多个输入特征的输入向量的输入层；将具有预期的多个输入特征的第一测试输入向量馈送到输入层，以从神经网络模型生成第一网络输出；基于第一网络输出确定第一输出相关性分数；基于第一输出相关性分数、最后层中的神经元权重以及层序列中最后层之前的较低层中的神经元偏置，在层序列的最后层处生成多个第一相关性分数；通过使用神经元权重和神经元偏置将在最后层生成的第一相关性分数反向传播通过除了最后层之外的层序列，在层序列的第一层处获得对应于预期的多个输入特征的多个第一相关性分数；基于第一测试输入向量和多个第一相关性分数形成第一特征相关性向量；生成包括第一特征相关性向量的局部可解释性数据集；以及基于局部可解释性数据集生成神经网络模型的预测的局部解释。
示例2.根据示例1的方法，其中层序列包括多个隐藏层和最后层，其中层序列的第一层是隐藏层之一，并且其中输入层是第一层之前的较低层。
示例3.根据示例1-2中任一项的方法，其中所述网络输出是层序列的最后层中神经元的预测输出的概率。
示例4.根据实例1-2中任一项的方法，其中基于第一网络输出确定第一输出相关性分数包括将概率函数应用于第一网络输出，以获得层序列的最后层中神经元的预测输出的概率。
示例5.根据示例1-4中任一项的方法，其中在最后层处生成的每个第一相关性分数是最后层之前的较低层中的神经元偏置和最后层中的神经元权重乘以第一输出相关性分数的线性组合。
示例6.根据示例2-5中任一项的方法，其中将在最后层处生成的第一相关性分数反向传播通过除了最后层之外的层序列包括基于隐藏层中的每个隐藏层的一个或多个神经元权重、隐藏层中的每个隐藏层之前的较低层中的一个或多个神经元偏置以及在隐藏层中的每个隐藏层之后的较高层中计算的一个或多个第一相关性分数来为隐藏层中的每个隐藏层计算多个第一相关性分数。
示例7.根据示例6的方法，其中在隐藏层中的每个隐藏层处计算的每个第一相关性分数是加权相关性项和偏置项的线性组合，其中加权相关性项基于隐藏层中的每个隐藏层中的神经元权重和隐藏层中的每个隐藏层之后的较高层中的第一相关性分数，并且其中偏置项基于隐藏层中的每个隐藏层之前的较低层中的神经元偏置。
示例8.根据示例6-7中任一项的方法，还包括在隐藏层中的每个隐藏层处计算第一相关性分数之后，丢弃在隐藏层中的每个隐藏层之后的较高层处计算的第一相关性分数。
示例9.根据示例2-8中任一项的方法，其中将在最后层处生成的多个第一相关性分数反向传播通过除了最后层之外的层序列包括在不使用隐藏层中的神经元激活的情况下为隐藏层中的每个隐藏层计算多个相关性分数。
示例10.根据示例1-9中任一项的方法，其中请求进一步识别包括多个测试输入向量的测试输入数据集，并且其中馈送第一测试输入向量包括从测试输入数据集中选择第一测试输入向量。
示例11.根据示例10的方法，还包括从测试输入数据集中选择具有预期的多个输入特征的第二测试输入向量；将第二测试输入向量馈送到输入层，以从神经网络模型生成第二网络输出；基于第二网络输出确定第二输出相关性分数；基于第二输出相关性分数、最后层中的神经元权重以及层序列中最后层之前的较低层中的神经元偏置，在层序列的最后层处生成多个第二相关性分数；通过使用神经元权重和神经元偏置将在最后层处获得的第二相关性分数反向传播通过除最后层之外的层序列，在层序列的第一层处获得对应于预期的多个输入特征的多个第二相关性分数；基于第二测试输入向量和多个第二相关性分数形成第二特征相关性向量；以及在基于局部可解释性数据集生成神经网络模型的预测的局部解释之前，将第二特征相关性向量添加到局部可解释性数据集。
示例12.根据示例1-11中任一项的方法，其中将具有预期的多个输入特征的第一测试输入向量馈送到输入层从神经网络模型生成多个网络输出。
示例13.根据示例12的方法，还包括基于来自多个网络输出的第二网络输出来确定第二输出相关性分数；基于第二输出相关性分数、最后层中的神经元权重以及层序列中最后层之前的较低层中的神经元偏置，在层序列的最后层处生成多个第二相关性分数；通过使用神经元权重和神经元偏置将在最后层处获得的多个第二相关性分数反向传播通过除最后层之外的层序列，在层序列的第一层处获得对应于预期的多个输入特征的多个第二相关性分数；基于第一测试输入向量和多个第二相关性分数形成第二特征相关性向量；以及在基于局部可解释性数据集生成神经网络模型的预测的局部解释之前，将第二特征相关性向量添加到局部可解释性数据集。
示例14.根据示例1-13中任一项的方法，其中神经网络模型是经过训练的神经网络模型，并且还包括至少部分基于局部解释来重新训练神经网络模型。
示例15.根据示例1-13中任一项的方法，其中神经网络模型是经过训练的神经网络模型，并且还包括接收对局部解释的调整，并且至少部分基于对局部解释的调整来重新训练神经网络模型。
示例16.一个或多个存储计算机可执行指令的非暂时性计算机可读存储介质，指令用于使计算机系统执行包括接收识别神经网络模型的请求的操作，其中神经网络模型包括以层序列布置的多个神经元、跨层序列分布的多个神经元权重、跨层序列分布的多个神经元偏置、以及被配置为接收具有多个输入特征的输入向量的输入层；将具有预期的多个输入特征的测试输入向量馈送到输入层，以从神经网络模型生成网络输出；基于网络输出确定输出相关性分数；基于输出相关性分数、最后层中的神经元权重以及层序列中最后层之前的较低层中的神经元偏置，在层序列的最后层处生成多个相关性分数；通过使用神经元权重和神经元偏置将在最后层处生成的相关性分数反向传播通过除最后层之外的层序列，在层序列的第一层获得对应于预期的多个输入特征的多个相关性分数；基于测试输入向量和多个相关性分数形成特征相关性向量；生成包括特征相关性向量的局部可解释性数据集；以及基于局部可解释性数据集生成神经网络模型的预测的局部解释。
示例17.根据示例16的一个或多个非暂时性计算机可读存储介质，其中层序列包括多个隐藏层和最后层，其中层序列的第一层是隐藏层之一，并且其中输入层是第一层之前的较低层，并且其中将第一相关性分数反向传播通过除最后层之外的层序列包括在不使用隐藏层中的神经元激活的情况下为隐藏层中的每个隐藏层计算多个相关性分数。
示例18.根据示例16的一个或多个非暂时性计算机可读存储介质，其中将第一相关性分数反向传播通过除了最后层之外的层序列包括为隐藏层中的每个隐藏层计算多个相关性分数，其中在隐藏层中的每个隐藏层处计算的每个相关性分数是加权相关性项和偏置项的线性组合，其中加权相关性项基于隐藏层中的每个隐藏层中的神经元权重和隐藏层中的每个隐藏层之后的较高层中的相关性分数，并且其中偏置项基于隐藏层中的每个隐藏层之前的较低层中的神经元偏置。
示例19.根据示例16-18中任一项的一个或多个非暂时性计算机可读存储介质，其中在最后层处确定的每个第一相关性分数是最后层之前的较低层中的神经元偏置和最后层中的神经元权重与输出相关性分数的乘积的线性组合。
示例20.计算系统，包括耦合到存储器的一个或多个处理单元；一个或多个存储指令的计算机可读存储介质，指令在被执行时使计算系统执行包括接收识别神经网络模型的请求的操作，其中神经网络模型包括以层序列布置的多个神经元、跨层序列分布的多个神经元权重、跨层序列分布的多个神经元偏置、以及被配置为接收具有多个输入特征的输入向量的输入层；将具有预期的多个输入特征的测试输入向量馈送到输入层，以从神经网络模型生成网络输出；基于网络输出确定输出相关性分数；基于输出相关性分数、最后层中的神经元权重以及层序列中最后层之前的较低层中的神经元偏置，在层序列的最后层处生成多个相关性分数；通过在不使用层序列中的神经元激活的情况下将在最后层处生成的相关性分数反向传播通过除最后层之外的层序列，在层序列的第一层处获得对应于预期的多个输入特征的多个相关性分数；基于测试输入向量和多个相关性分数形成特征相关性向量；生成包括特征相关性向量的局部可解释性数据集；以及基于局部可解释性数据集生成神经网络模型的预测的局部解释。
示例实现
尽管为了方便呈现，以特定的顺序描述了一些所公开的方法的操作，但是这种描述方式包括重新布置，除非这里阐述的特定语言需要特定的顺序。例如，顺序描述的操作在某些情况下可以被重新布置或同时执行。
示例替代方案
已经用选择的实现和示例描述了该技术，但是这些优选的实现和示例不应被视为限制该技术的范围，因为落入所公开的技术的范围内的许多其他实现和示例是可能的。所公开技术的范围包括所附权利要求的范围和精神所覆盖的内容。

Claims (20)

1.一种计算机实现的方法，包括：
接收识别神经网络模型的请求，其中神经网络模型包括以层序列布置的多个神经元、跨层序列分布的多个神经元权重、跨层序列分布的多个神经元偏置、以及被配置为接收具有多个输入特征的输入向量的输入层；
将具有预期的多个输入特征的第一测试输入向量馈送到输入层，以从神经网络模型生成第一网络输出；
基于第一网络输出确定第一输出相关性分数；
基于第一输出相关性分数、最后层中的神经元权重以及层序列中最后层之前的较低层中的神经元偏置，在层序列的最后层处生成多个第一相关性分数；
通过使用神经元权重和神经元偏置将在最后层生成的第一相关性分数反向传播通过除了最后层之外的层序列，在层序列的第一层处获得对应于预期的多个输入特征的多个第一相关性分数；
基于第一测试输入向量和在第一层获得的多个第一相关性分数形成第一特征相关性向量；
生成包括第一特征相关性向量的局部可解释性数据集；以及
基于局部可解释性数据集生成所述神经网络模型的预测的局部解释。
2.根据权利要求1所述的方法，其中层序列包括多个隐藏层和最后层，其中层序列的第一层是隐藏层之一，并且其中输入层是第一层之前的较低层。
3.根据权利要求2所述的方法，其中网络输出是层序列的最后层中神经元的预测输出的概率。
4.根据权利要求2所述的方法，其中基于第一网络输出确定第一输出相关性分数包括将概率函数应用于第一网络输出，以获得层序列的最后层中的神经元的预测输出的概率。
5.根据权利要求2所述的方法，其中在最后层处生成的每个第一相关性分数是最后层之前的较低层中的神经元偏置和最后层中的神经元权重乘以第一输出相关性分数的线性组合。
6.根据权利要求2所述的方法，其中将在最后层处生成的第一相关性分数反向传播通过除了最后层之外的层序列包括基于隐藏层中的每个隐藏层的一个或多个神经元权重、隐藏层中的每个隐藏层之前的较低层中的一个或多个神经元偏置以及在隐藏层中的每个隐藏层之后的较高层中计算的一个或多个第一相关性分数来为隐藏层中的每个隐藏层计算多个第一相关性分数。
7.根据权利要求6所述的方法，其中在隐藏层中的每个隐藏层处计算的每个第一相关性分数是加权相关性项和偏置项的线性组合，其中加权相关性项基于隐藏层中的每个隐藏层中的神经元权重和隐藏层中的每个隐藏层之后的较高层中的第一相关性分数，并且其中偏置项基于隐藏层中的每个隐藏层之前的较低层中的神经元偏置。
8.根据权利要求6所述的方法，还包括在隐藏层中的每个隐藏层处计算第一相关性分数之后，丢弃在隐藏层中的每个隐藏层之后的较高层处计算的第一相关性分数。
9.根据权利要求2所述的方法，其中将在最后层处生成的多个第一相关性分数反向传播通过除了最后层之外的层序列包括在不使用隐藏层中的神经元激活的情况下为隐藏层中的每个隐藏层计算多个第一相关性分数。
10.根据权利要求1所述的方法，其中请求进一步识别包括多个测试输入向量的测试输入数据集，并且其中馈送第一测试输入向量包括从测试输入数据集中选择第一测试输入向量。
11.根据权利要求10所述的方法，进一步包括：
从测试输入数据集中选择具有预期的多个输入特征的第二测试输入向量；
将第二测试输入向量馈送到输入层，以从神经网络模型生成第二网络输出；
基于第二网络输出确定第二输出相关性分数；
基于第二输出相关性分数、最后层中的神经元权重以及层序列中最后层之前的较低层中的神经元偏置，在层序列的最后层处生成多个第二相关性分数；
通过使用神经元权重和神经元偏置将在最后层处生成的第二相关性分数反向传播通过除最后层之外的层序列，在层序列的第一层处获得对应于预期的多个输入特征的多个第二相关性分数；
基于第二测试输入向量和在第一层处获得的多个第二相关性分数形成第二特征相关性向量；以及
在基于局部可解释性数据集生成神经网络模型的预测的局部解释之前，将第二特征相关性向量添加到局部可解释性数据集。
12.根据权利要求1所述的方法，其中将具有预期的多个输入特征的第一测试输入向量馈送到输入层从神经网络模型生成多个网络输出。
13.根据权利要求12所述的方法，进一步包括：
基于来自多个网络输出的第二网络输出来确定第二输出相关性分数；
基于第二输出相关性分数、最后层中的神经元权重以及层序列中最后层之前的较低层中的神经元偏置，在层序列的最后层处生成多个第二相关性项；
通过使用神经元权重和神经元偏置将多个第二相关性项反向传播通过除最后层之外的层序列，在层序列的第一层处获得对应于预期的多个输入特征的多个第二相关性分数；
基于第一测试输入向量和多个第二相关性分数形成第二特征相关性向量；以及
在基于局部可解释性数据集生成神经网络模型的预测的局部解释之前，将第二特征相关性向量添加到局部可解释性数据集。
14.根据权利要求1所述的方法，其中神经网络模型是经过训练的神经网络模型，并且还包括至少部分基于局部解释来重新训练所述神经网络模型。
15.根据权利要求1所述的方法，其中神经网络模型是经过训练的神经网络模型，并且还包括接收对局部解释的调整，并且至少部分基于对局部解释的调整来重新训练所述神经网络模型。
16.一个或多个非暂时性计算机可读存储介质，存储用于使计算机系统执行操作的计算机可执行指令，所述操作包括：
接收识别神经网络模型的请求，其中神经网络模型包括以层序列布置的多个神经元、跨层序列分布的多个神经元权重、跨层序列分布的多个神经元偏置、以及被配置为接收具有多个输入特征的输入向量的输入层；
将具有预期的多个输入特征的测试输入向量馈送到输入层，以从神经网络模型生成网络输出；
基于网络输出确定输出相关性分数；
基于输出相关性分数、最后层中的神经元权重以及层序列中最后层之前的较低层中的神经元偏置，在层序列的最后层处生成多个相关性分数；
通过使用神经元权重和神经元偏置将在最后层生成的相关性分数反向传播通过除最后层之外的层序列，在层序列的第一层处获得对应于预期的多个输入特征的多个相关性分数；
基于测试输入向量和多个相关性分数形成特征相关性向量；
生成包括特征相关性向量的局部可解释性数据集；以及
基于局部可解释性数据集生成所述神经网络模型的预测的局部解释。
17.根据权利要求16所述的一个或多个非暂时性计算机可读存储介质，其中层序列包括多个隐藏层和最后层，其中层序列的第一层是隐藏层之一，并且其中输入层是第一层之前的较低层，并且其中将第一相关性分数反向传播通过除最后层之外的层序列包括在不使用隐藏层中的神经元激活的情况下为隐藏层中的每个隐藏层计算多个相关性分数。
18.根据权利要求16所述的一个或多个非暂时性计算机可读存储介质，其中将第一相关性分数反向传播通过除了最后层之外的层序列包括为隐藏层中的每个隐藏层计算多个相关性分数，其中在隐藏层中的每个隐藏层处计算的每个相关性分数是加权相关性项和偏置项的线性组合，其中加权相关性项基于隐藏层中的每个隐藏层中的神经元权重和隐藏层中的每个隐藏层之后的较高层中的相关性分数，并且其中偏置项基于隐藏层中的每个隐藏层之前的较低层中的神经元偏置。
19.根据权利要求16所述的一个或多个非暂时性计算机可读存储介质，其中在最后层确定的每个第一相关性分数是最后层之前的较低层中的神经元偏置和最后层中的神经元权重与输出相关性分数的乘积的线性组合。
20.一种计算系统，包括：
耦合到存储器的一个或多个处理单元；以及
一个或多个存储指令的计算机可读存储介质，所述指令在被执行时使得计算系统执行操作，所述操作包括：
接收识别神经网络模型的请求，其中神经网络模型包括以层序列布置的多个神经元、跨层序列分布的多个神经元权重、跨层序列分布的多个神经元偏置、以及被配置为接收具有多个输入特征的输入向量的输入层；
将具有预期的多个输入特征的测试输入向量馈送到输入层，以从神经网络模型生成网络输出；
基于网络输出确定输出相关性分数；
基于输出相关性分数、最后层中的神经元权重以及层序列中最后层之前的较低层中的神经元偏置，在层序列的最后层处生成多个相关性分数；
通过不使用层序列中的神经元激活的情况下将在最后层处生成的相关性分数反向传播通过除最后层之外的层序列，在层序列的第一层获得对应于预期的多个输入特征的多个相关性分数；
基于测试输入向量和多个相关性分数形成特征相关性向量；
生成包括特征相关性向量的局部可解释性数据集；以及
基于局部可解释性数据集生成神经网络模型的预测的局部解释。
CN202211616961.6A 2021-12-17 2022-12-15 用于神经网络预测域的局部可解释性的方法和系统 Pending CN116415632A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/555,245 US20230196080A1 (en) 2021-12-17 2021-12-17 Method and system for local explainability of neural network prediction field
US17/555,245 2021-12-17

Publications (1)

Publication Number Publication Date
CN116415632A true CN116415632A (zh) 2023-07-11

Family

ID=84519828

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211616961.6A Pending CN116415632A (zh) 2021-12-17 2022-12-15 用于神经网络预测域的局部可解释性的方法和系统

Country Status (3)

Country Link
US (1) US20230196080A1 (zh)
EP (1) EP4198836A1 (zh)
CN (1) CN116415632A (zh)

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11475363B2 (en) * 2019-12-06 2022-10-18 Bank Of America Corporation System and methods for alert visualization and machine learning data pattern identification for explainable AI in alert processing

Also Published As

Publication number Publication date
EP4198836A1 (en) 2023-06-21
US20230196080A1 (en) 2023-06-22

Similar Documents

Publication Publication Date Title
US11514369B2 (en) Systems and methods for machine learning model interpretation
US11521372B2 (en) Utilizing machine learning models, position based extraction, and automated data labeling to process image-based documents
GB2571825A (en) Semantic class localization digital environment
Luo et al. FloorplanGAN: Vector residential floorplan adversarial generation
US11640634B2 (en) Deep learning based visual compatibility prediction for bundle recommendations
Bagherzadeh et al. A review of various semi-supervised learning models with a deep learning and memory approach
US11880648B2 (en) Automatic semantic labeling of form fields with limited annotations
RU2765884C2 (ru) Идентификация блоков связанных слов в документах сложной структуры
Pinjarkar et al. Deep cnn combined with relevance feedback for trademark image retrieval
US20240152749A1 (en) Continual learning neural network system training for classification type tasks
Dinov et al. Black box machine-learning methods: Neural networks and support vector machines
AU2022271364A1 (en) Facilitating identification of fillable regions in a form
US20220229943A1 (en) Joint retrieval and mesh deformation
Zhang et al. MI3: Machine-initiated intelligent interaction for interactive classification and data reconstruction
US20210383226A1 (en) Cross-transformer neural network system for few-shot similarity determination and classification
CN116415632A (zh) 用于神经网络预测域的局部可解释性的方法和系统
Machado et al. GP-based generative adversarial models
KR20210141150A (ko) 이미지 분류 모델을 이용한 이미지 분석 방법 및 장치
Islam Comparative analysis of pre-trained models and interpolation for facial expression recognition
EP4198837A1 (en) Method and system for global explainability of neural networks
US20210248476A1 (en) Machine-Learned Models Featuring Matrix Exponentiation Layers
US12086530B1 (en) Apparatus and a method for the generation of a collaboration score
Khedekar et al. Smart E-Logistics for SCM Spend Analysis
Sharma et al. Digits Recognition System using Machine Learning
Núñez Alcover Glyph and Position Classification of Music Symbols in Early Manuscripts

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination