CN115088021A - 解释经训练模型的模型输出 - Google Patents

Abstract

本发明涉及生成用于解释经训练模型的模型输出的可解释性信息的计算机实现的方法(500)。该方法使用一个或多个方面识别模型，其被配置为指示输入实例中相应特性的存在。显著性方法被应用以在经训练模型的源层处(例如，输入层或内部层)获得输入实例的掩蔽源表示，包括与模型输出相关的源层处的那些元素。掩蔽源表示被映射到方面识别模型的目标层(例如，输入或内部层)，并且方面识别模型然后被应用以获得模型输出，该模型输出指示与经训练模型的模型输出相关的给定特性的存在。作为可解释性信息，由方面识别模型指示的特性被输出。

Description

解释经训练模型的模型输出

技术领域

本发明涉及一种生成可解释性信息的计算机实现的方法，以及一种对应的系统。本发明还涉及一种实现这种生成的计算机实现的方法，以及一种对应的系统。本发明还涉及一种计算机可读介质。

背景技术

深度学习方法已经在从非常低等级的数据(诸如，医学图像中单个像素的颜色值)生成有用的高等级特征方面取得了成功的记录。这消除了手工制作此类特征的劳动密集型需求，并且允许自动限定未知特征。一般地，深度学习涉及使用具有多个神经网络层的机器可学习的模型，例如，在其上呈现模型的输入实例的输入层，处理输入实例的一个或多个内部层，以及表示模型输出(例如，分类、回归、图像说明、可视回答输出等)的输出层。所学习的特征通常是通过深度神经网络中的大的权重集来限定的。通常，模型的较早层识别更多本地化和/或低等级的特征，而较晚层识别更多高等级的特征。模型输出可以例如基于高等级特征的加权组合。

深度学习技术的主要应用是图像分析、医学或其他方面。医学图像分析用于如放射学和数字病理学等领域，例如，经训练模型可以用于检测诸如恶性肿瘤等临床状况。在这种情况下，例如，应用该模型的结果可以用于标记图像以供临床医生查看，或以其他方式支持临床医生的决策。这是应用的主要示例，其中重要的是不仅要由经训练模型获得最终模型输出，而且要了解模型如何到达其输出。

然而，深度神经网络类型的模型本身通常太大而无法被人类很好地理解，而是在很大程度上起到了黑匣子的作用。这使得很难解释深度网络是如何运作的，以及为什么它会做出这样的决定。然而，已知技术可以提供模型输出的解释，例如，以突出显示模型用于确定输出的图像部分的形式。例如，由于这种突出显示，临床医生可以更快地确认模型输出是否正确，并且通过指向可能相关的图像部分来支持他们进行自己的评估。例如，在肿瘤委员会会议上，多名临床医生聚在一起讨论通常有大量信息可用的复杂病例，得到经训练模型认为相关的图像部分的反馈可以是帮助人们关注最重要信息的有用工具，即使无论是否实际使用经训练模型的实际模型输出。一般地，模型输出的解释有各种其他用途，包括用于模型调试和进一步的自动化处理，如本说明书其他地方更详细讨论的。这种解释图在文献中称为显著性(saliency)映射、像素属性映射、属性图或灵敏度映射。

针对来自深度神经网络的决策产生可视解释的技术，在这种情况下来自一类基于卷积神经网络(CNN)的模型，从R.Selvaraju等人的“Grad-CAM:Visual Explanations fromDeep Networks via Gradient-based Localization(Grad-CAM：经由基于梯度的本地化的来自深度网络的可视解释)”(可于https://arxiv.org/abs/1610.02391获得，并且通过引用并入本文)已知。流入模型的最终卷积层的任何目标概念的梯度用于生成粗略的本地化映射，其大小与该层处的卷积映射相同，突出图像中用于预测概念的重要区域。本地化映射被上采样到输入图像分辨率，然后与细粒度的可视化相结合，以得到所谓的“引导Grad-CAM”可视化来解释模型的决策。

发明内容

根据本发明的第一方面，如权利要求1所限定的，描述了一种生成用于解释经训练模型的模型输出的可解释性信息的计算机实现的方法。根据本发明的另一方面，如权利要求12所限定的，描述了一种能够生成针对经训练模型的可解释性信息的计算机实现的方法。根据本发明的另一方面，如权利要求13所限定的，描述了一种用于生成可解释性信息的系统，可解释性信息用于解释经训练模型的模型输出。根据本发明的另一方面，如权利要求14所限定的，描述了一种能够生成针对经训练模型的可解释性信息的系统。根据本发明的另一方面，如权利要求15所限定的，描述了一种计算机可读介质。

各种实施例涉及为输入实例确定经训练模型的模型输出的解释。例如，模型输出可以是卷积神经网络(CNN)对图像的分类、回归模型的预测等。例如，在经训练模型是图像到图像的转换模型或分割模型的情况下，模型输出也可以是图像。经训练模型也可以是较大模型的部分，其模型输出基于较大模型的内部神经元的一个或多个输出。这样，可以解释较大模型的内部神经元的行为。模型输出解释的确定本身是已知的，例如，诸如Grad-CAM之的可视化方法可以显示在生成模型输出中最重要的那些特征在图像中的位置。

然而，正如发明人意识到的那样，当前技术给出的解释可能没有足够的信息量，尤其是对于领域专家而言。当前的图像可视化方法可以突出显示由模型的用来确定模型输出的输入图像的部分，但这些部分通常是许多单独线索的混合。现有的可视化方法有时也用于可视化针对与模型的特定高等级特征相关的输入图像的部分，但在这种情况下，模型的高等级特征不必然是领域专家认可的特征。例如，这些特征可以是对模型确定其输出有用的抽象特征，但对于领域专家解释图像并且得出自己的结论而言，则要少得多。当使用可视化(例如，所确定的掩码)进行进一步的自动化处理时，同样的原则适用：对此类处理最有用的图像部分可能不对应于与经训练模型用以确定其模型输出相关的图像部分。

相应地，发明人设想通过提供技术以根据给定的潜在相关特性集的存在来解释模型输出，从而使模型输出的解释更具信息性。一般地，特性可以是任何可能指示输入实例中存在的方面。例如，特性可以是可以出现在输入实例中特定位置处的任何特定类型的对象(例如，囊肿、肿瘤、细胞核、淋巴细胞、坏死组织等)，或者是输入实例中存在的对象可能具有的特定特性(例如，黑暗、嘈杂、尖刺等)。特性的存在也可以是输入实例中整体或输入实例中相应位置处的存在量(例如，细胞或细胞核密度、组织中的灌注等)。可以由于特性与模型输出的预期相关性(例如，由领域专家手动地，通过将模型输出与特性存在相关联而自动地等等)来选择特性。在本说明书中，“方面”和“特性”这两个词将互换使用。

为了能够在这些潜在相关特性方面针对模型提供反馈，各种实施例使用针对这些相应特性的方面识别模型。在许多情况下，这些方面识别模型可以完全独立于经训练模型而被训练和使用。针对特定特性的方面识别模型可以被配置为指示输入实例中的该特性的存在(通常，与经训练模型本身相同类型的输入实例)。在其最基本的形式中，方面识别模型可以提供特性存在的总体指示，例如，特性是否存在或在多大程度上存在于输入实例中。例如，方面识别模型可以被配置为确定囊肿在输入图像中是否可见。方面识别模型还可以指示给定特性在输入实例中出现的位置，例如，通过以本身已知的各种方式(例如，通过分割或边界框)来指示表示特性的输入实例的部分。

如发明人意识到的那样，方面识别模型的存在指示符可以提供特别吸引人的方式来向用户或另一系统组件提供有关输入实例的信息。例如，在许多应用领域中，语义分割模型在实践中被成功应用以突出显示图像的哪些像素属于某个特性，例如，以将像素分配给特定的对象或特性。类似地，在许多应用中，本地化模型和检测模型被成功地用于在图像中绘制边界框用于指示对象或特性在图像中的位置。在许多情况下，给定方面识别模型的存在指示符，用户能够非常快速地看到存在是否被正确指示，而不是例如必须扫描完整图像以查找特性的存在。因此，通过应用方面识别模型以指示与经训练模型在确定其模型输出时相关的特性的存在，可以获得解释模型输出的信息丰富并且直观的方式。

不幸的是，当应用于输入实例本身时，方面识别模型将仅指示输入实例中特性的存在，而不管模型输出如何。然而，有趣的是，发明人设想使用显著性方法将方面识别模型的存在指示与经训练模型的模型输出联系起来。显著性方法可以确定输入实例的掩蔽表示，表示输入实例中与模型输出相关的那些元素。该表示将在整个说明书中称为“源”表示。下面将更详细地描述显著性方法；目前，可以以引导Grad-CAM作为示例。源表示可以被映射到方面识别模型，从而获得将在整个本说明书中称为“目标”表示的内容。然后，方面识别模型可以被应用于目标表示，从而获得存在指示符，该存在指示符指示输入实例中特性的存在，只要它与模型输出相关。从这个意义上说，存在指示符在该特性方面提供了模型输出的解释。

相应地，给定可能有助于模型输出的各种特性的一个或多个方面识别模型，例如用于指示细胞核、淋巴细胞、坏死组织等的方面识别模型，在与模型输出相关的范围内，它们相应的存在可以通过三个主要步骤来确定。首先，使用类似Grad-CAM的方法来标识对经训练模型的模型输出贡献最大的源特征。其次，将源特征映射到方面识别模型。最后，以常规方式将方面识别模型应用于目标特征。生成的输出指示那些对经训练模型的输出贡献最大的特性。这些存在指示然后可以被输出，例如，在输入实例的一个或多个副本中突出显示。这样，可以在经训练模型本身之外有用的概念方面提供模型输出的解释，以了解为什么特定模型输出属于某个输入实例。

例如，各种实施例能够以这样的方式对相关特性进行可视化，使得人工智能专家，尤其是医学专家等应用领域专家能够分析它们，因为它们被识别并且以医学术语表达。例如，这可以允许更有效的医疗决策，但也可以允许进一步完善经训练模型，例如基于观察不需要的特征(指示模型过度拟合或已经学习，例如医院特定的特征)或者基于观察到一个或多个相关特性未被使用(例如，指示应当利用针对这些特性的附加训练数据来重新训练该模型)。

例如，作为显著性方法，可以使用Selvaraju等人的引导Grad-CAM方法。该方法对图像进行操作，并且与本说明书中讨论的多种备选方法一样，在神经网络的输入层处确定显著性映射。因此，输入图像的掩蔽源表示可以通过以下获得：使用引导Grad-CAM或类似的显著性方法在输入层处确定针对输入图像的显著性映射，然后通过显著性映射对输入图像进行掩蔽以获得掩蔽源表示。该掩蔽源表示然后可以通过将掩蔽目标表示设置为等于掩蔽源表示而被恒等映射到方面识别模型的输入层，此时方面识别模型可以被应用于掩蔽目标表示以获得针对特性的存在指示。

然而，在优选实施例中，限定输入实例的源表示的源层是经训练模型的内部层。同样，限定输入实例的目标表示的目标层可以是方面识别模型的内部层。内部层的使用是特别有益的，因为模型的较晚层通常表示模型依赖于产生模型输出的信息是比输入层处的更压缩的形式和/或处于更抽象的等级。例如，神经网络层处的特定节点或节点组可以表示模型已经识别的特定语义概念。例如，特定形状或形状组合可以用作增加血液厚度的提示，其然后可以用于确定模型输出，例如临床适应症的存在。

因此，作为使用内部层的结果，映射到方面识别模型的目标层的信息可以更好地在语义上表示模型用于确定模型输出的信息，或者换言之，可以提供更准确的信号供方面识别模型使用以识别特性。另一种看待这个问题的方式是，模型输出与确定掩蔽源表示的层之间存在的层数越多，通过从模型输出返回到该层，显著性方法中可能丢失的信息就越多。相应地，通过使用内部层，有可能回溯到足够远的地方，以便有足够低等级的信息来识别输入实例的特性的存在，但还不足以阻止对特征的准确检测。在本说明书的其他地方也讨论了使用哪些内部层。

当使用内部层时，有多个选项可用于获得方面识别模型可以被应用到的输入实例的目标表示。在一些实施例中，目标表示可以通过在源层与目标层之间应用映射模型来获得。例如，在给定经训练模型的潜在表示的情况下，可以训练针对方面识别模型的映射模型以产生针对该方面识别模型的潜在表示。相应地，可以训练映射模型以便找到在潜在表示之间提供最准确转换的映射。例如，当源层和目标层是卷积层时，准确的映射模型可以通过使用图像到图像的转换模型(诸如，本身为本领域已知的U-net模型)来获得，从而允许利用卷积层的空间对应属性。其他类型的映射模型也是可能的，这取决于所使用的模型类型，只要输入实例的源表示与目标表示之间有足够的互信息即可。特别地，结合使用经训练模型和方面识别模型的内部层，并且在它们中具有映射模型，具有以下优点：这样的模型可以更容易训练，例如因为它获得了更高质量的输入信号，其中输入实例的不同特征已经被区分。

获得目标表示的另一吸引人的选择是让经训练模型的目标层和前面的层与方面识别模型共享。在这种情况下，目标表示和源表示可以重合，例如，恒等映射用于获得目标表示。例如，经训练模型和一个、多个或所有方面识别模型可以共享多个卷积层，之后由它们相应的模型使用一个或多个附加层来达到它们相应的模型输出。可以联合训练这些模型以获得共享层的参数。相应地，可以在经训练模型与方面识别模型之间获得特别好的对齐。然而，当然，使用共享层并不总是可行的，例如，在使用预先存在的模型的情况下。

关于可以使用方面识别模型的特性，一般可以使用可以指示其存在的任何特性。实际上，本文的技术通常与各种特性的语义内容无关。相反，各种特性可以由用户选择，并且可以基于输入实例的用户注释来训练方面识别模型。例如，取决于方面识别模型，用户可以指示特性是否存在、提供针对特性的边界框，突出显示属于该特性的图像的像素，或者提供针对图像的像素的特性的存在量。

尽管在典型实施例中，本文提供的技术可以应用于图像，但其他类型的(例如，从传感器获得的)传感器数据也是可能的。特别地，输入实例可以表示一个或多个传感器测量的时间序列。在这两种情况下，都可以使用卷积类型的模型，该模型通常保留在相应层处的输入实例的表示之间的对应关系，例如，在图像的情况下是空间对应关系，或者在时间序列的情况下是时间对应关系。对于这样的数据，可以容易地应用已知的显著性技术。

可选地，经训练模型可以是用于检测临床适应症的医学图像分类模型。在这种情况下，方面识别模型可以被配置为指示对临床适应症的相应促成因素的存在。此类临床适应症(换言之，临床特性或临床发现)的示例包括肿瘤分级和Gleason得分。促成因素可以是临床医生可以用来发信号通知这种临床适应症的特定对象或输入图像的其他方面。相应地，临床医生可以在他/她自己使用的促成因素方面来得到为什么检测到临床适应症的解释，从而使临床医生更容易检查模型输出是否正确或进行自己的评估。

可选地，针对相应特性的一个或多个方面识别模型可以被配置为指示表示该特性的输入实例的部分。例如，方面识别模型可以提供针对输入实例的每个特征(例如，每个像素)的该特征是否属于该特性的指示。如果给出了每个特征(例如，每个像素)的指示，那么这种模型一般称为语义分割模型，或简称为分割模型。该指示也可以作为边界框给出。这样的模型通常被称为本地化模型。方面识别模型还可以能够提供多个对象的多个存在指示，在一些情况下甚至可以提供多种类型的特性；这种模型也称为检测模型。可选地，方面识别模型被配置为指示针对输入实例的相应部分的特性的相应存在量。

可选地，指示存在的特性可以在输入实例中以对用户可感知的方式突出显示。例如，输入实例可以在屏幕上被示出或可视化，其中特性由突出显示的方面识别模型指示，例如围绕输入实例区域绘制的表示特性的边界框或其他多边形，或者被示为在输入实例旁边或用于过滤输入实例的分割模型。相应地，可以向用户解释经训练模型的模型输出。

模型输出的解释也可以被自动处理。例如，输入实例可以利用方面识别模型指示的特性进行注释，例如，以这些模型的模型输出的形式。注释可以是输入实例的元数据中的是/否标志的形式，或者通过存储边界框的坐标等。在各种实施例中，对于具有相同模型输出的多个输入实例，计数确定特性被指示存在的次数。相应地，可以获得关于在许多输入实例上使用哪些特性以达到某个模型输出(例如，某个分类)的统计信息。此类报告提供了有关模型的有价值的调试信息，调试信息例如可以用于改进模型设计或其训练数据集。通过其特性来注释输入实例还允许确定异常值，例如，在用于确定给定模型输出的特性组合中不常见的输入实例。例如，这些异常值可以进一步被分析，以发现潜在的错误分类或训练数据集中代表性不足的输入空间区域。

可选地，当使用映射模型将内部源层映射到内部目标层时，可以自动选择源层、目标层和/或映射模型。为此，可以训练针对经训练模型和/或方面识别模型的相应层的多个映射模型。可以至少部分地基于多个经训练的映射模型在测试数据集上的性能(例如，在映射模型的、将源层映射到目标层的准确性方面)来选择多个经训练的映射模型的映射模型。特别地，层的选择可以表示通过以下方式来保留尽可能多的模型输出的信息之间的权衡：选择后一层并且在足够低的等级处获得信息以允许方面识别模型工作和/或在源层与目标层之间保持足够的相关性。通过训练多个映射模型，可以做出最优选择。

本领域技术人员将理解，本发明的上述实施例、实现和/或可选方面中的两个或更多个可以按照被认为有用的任何方式组合。

任何系统和/或任何计算机可读介质的修改和变型，其对应于对应计算机实现的方法的所描述的修改和变型，可以由本领域技术人员在本说明书的基础上执行。

附图说明

本发明的这些和其他方面将从以下描述中以示例方式描述的实施例并参考附图将变得明显并且进一步阐明，在附图中：

图1示出了能够解释经训练模型的模型输出的系统；

图2示出了用于解释针对输入实例的经训练模型的模型输出的系统；

图3a示出了用作经训练模型或方面识别模型的模型的详细示例；在这种情况下为卷积网络；

图3b示出了用作经训练模型、方面识别模型或映射模型的模型的详细示例；在这种情况下为完全卷积网络；

图4a示出了如何训练用于将经训练模型的源表示映射到方面识别模型的目标表示的映射模型的详细示例，从而能够解释经训练模型的模型输出；

图4b示出了如何使用映射模型和方面识别模型来确定与经训练模型的模型输出相关的方面的存在的详细示例，从而解释模型输出；

图5a示出了共享内部层的经训练模型和方面识别模型的详细示例；

图5b示出了如何使用与经训练模型共享内部层的方面识别模型来确定与经训练模型的模型输出相关的特性的存在的详细示例；

图6示出了解释针对输入实例的经训练模型的模型输出的计算机实现的方法；

图7示出了能够解释经训练模型的模型输出的计算机实现的方法；

图8示出了包括数据的计算机可读介质。

应当注意，这些图纯粹是示意性的而不是按比例绘制的。在附图中，对应于已经描述的元素的元素可以具有相同的附图标记。

具体实施方式

图1示出了能够生成用于经训模型的可解释性信息的系统100。系统100可以包括数据接口120和处理器子系统140，处理器子系统140可以经由数据通信121进行内部通信。数据接口120可以用于访问被配置为确定针对输入实例的模型输出的训练模型040。经训练模型可以至少包括源层。源层可以是输入层或内部层。关于图3a描述了经训练模型的示例。数据接口120可以用于访问针对经训练模型的输入实例的相应特性的一个或多个方面识别模型。通过示例，示出了两个方面识别模型051、052，尽管例如也可以使用一个、至少三个或至少五个方面识别模型。方面识别模型051、052可以被配置为指示特性在输入实例中的存在。方面识别模型051、052可以至少包括目标层。目标层可能是输入层或内部层。关于图3b描述了方面识别模型的示例。数据接口120可以用于访问包括多个训练实例的训练数据集010。

由系统100训练的经训练模型040、方面识别模型051、052和/或映射模型可以用于解释经训练模型的模型输出，例如根据本文描述的方法，例如由图2的系统200。系统100本身可以用于解释经训练模型的模型输出，例如，系统100、200可以组合成单个系统。

处理器子系统140可以被配置为在系统100的操作期间并且使用数据接口120来访问数据010、040、051至052。例如，如图1所示，数据接口120可以提供对外部数据存储装置021的访问122，外部数据存储装置021可以包括所述数据010、040、051至052。备选地，可以从作为系统100的部分的内部数据存储装置访问数据。备选地，可以经由网络从另一实体接收数据。一般，数据接口120可以采用各种形式，诸如到局域网或广域网(例如，互联网)的网络接口、到内部或外部数据存储装置的存储接口等。数据存储装置021可以采用任何已知和合适的形式。

处理器子系统140可以被配置为在系统100的操作期间并且使用数据接口120，在经训练模型010与一个或多个方面识别模型051至052之间训练映射模型。经训练模型010与方面识别模型051至052之间的映射模型可以被训练。为此，对于训练数据集040的训练实例，经训练模型010可以至少部分地被应用于训练实例以确定在经训练模型010的源层处的训练实例的源表示。此外，方面识别模型051、052可以至少部分地被应用于训练实例以确定在方面识别模型的目标层处的训练实例的目标表示。映射模型可以被训练以在给定源表示的情况下输出目标表示。关于图4a讨论了训练映射模型的示例。

作为可选组件，系统100可以包括图像输入接口或任何其他类型的输入接口(未示出)，用于从诸如相机的传感器获得传感器数据。处理器子系统140可以被配置为基于经由传感器接口获得的传感器数据来获得训练数据集的一个或多个训练实例。输入接口可以被配置用于各种类型的传感器信号，例如视频信号、雷达/激光雷达信号、超声波信号等。

将参考图3至图5进一步阐明系统100的操作的各种细节和方面，包括其可选方面。

一般，系统100可以体现为单个设备或装置，诸如工作站，例如基于膝上型计算机或台式计算机，或服务器。该设备或装置可以包括一个或多个执行适当软件的微处理器。例如，处理器子系统可以由单个中央处理单元(CPU)来实现，也可以由这样的CPU和/或其他类型的处理单元的组合或系统来实现。该软件可以已经被下载和/或存储在对应的存储器中，例如，诸如RAM的易失性存储器或诸如闪存的非易失性存储器。备选地，系统的功能单元，例如数据接口和处理器子系统，可以在设备或装置中以可编程逻辑的形式实现，例如，作为现场可编程门阵列(FPGA)和/或图形处理单元(GPU)。一般，系统的每个功能单元可以以电路的形式实现。应当注意，系统100也可以以分布式方式实现，例如，涉及不同的设备或装置，诸如分布式服务器，例如以云计算的形式。

图2示出了用于解释针对输入实例的经训练模型的模型输出的系统200。系统200可以包括数据接口220和处理器子系统240，其可以经由数据通信221进行内部通信。数据接口220可以用于访问被配置为确定针对输入实例的模型输出的经训练模型040。经训练模型040可以至少包括源层。源层可以是输入层或内部层。相反或另外，数据接口220可以用于访问针对经训练模型的输入实例的相应特性的一个或多个方面识别模型。通过示例，该图示出了两个方面识别模型051、052，但也可以具有例如一个、三个或更多个方面识别模型。针对给定特性的方面识别模型可以被配置为指示输入实例中特性的存在。方面识别模型可以至少包括目标层。目标层可以是输入层或内部层。经训练模型040和/或方面识别模型051、052和/或由系统100使用的任何映射模型可以从用于能够解释经训练模型的模型输出的系统获得，例如图1的系统100。

处理器子系统240可以被配置为在系统200的操作期间并且使用数据接口220来访问数据040、051、052。例如，如图2所示，数据接口220可以提供对可以包括所述数据040、051、052的外部数据存储装置022的访问222。备选地，可以从作为系统200的部分的内部数据存储装置访问数据。备选地，可以经由网络从另一实体接收数据。一般，数据接口220可以采用各种形式，诸如到局域网或广域网(例如，互联网)的网络接口、到内部或外部数据存储装置的存储接口等。数据存储装置022可以采用任何已知和合适的形式。

处理器子系统240可以被配置为在系统200的操作期间并且使用数据接口220获得输入实例。处理器子系统240可以进一步将经训练模型040应用于输入实例以获得模型输出。这可以包括在经训练模型的源层处获得输入实例的源表示。处理器子系统240可以进一步应用显著性方法以获得在经训练模型的源层处的输入实例的掩蔽源表示，包括与模型输出相关的源表示的元素。对于给定特性的方面识别模型，例如模型051或052，处理器子系统240可以将掩蔽源表示映射到方面识别模型051、052的目标层，以获得针对目标层处的输入实例的目标表示。处理器子系统240可以将针对给定特性的方面识别模型051、052应用于目标表示，以获得模型输出，该模型输出指示与经训练模型的模型输出相关的给定特性的存在。关于图4b、图5b讨论确定这种模型输出的示例。

处理器子系统240可以输出由所应用的方面识别模型051、052指示存在的特性作为可解释性信息。尽管在许多情况下特性与经训练模型的模型输出一起输出，但这不是必需的。例如，可以以对用户可感知的方式来突出显示特性，例如，它们在所示输入实例中的位置。例如，图形用户界面可以示出输入实例中相关特性被识别、利用标签覆盖在输入实例上(例如，使用颜色编码或其他编码来标识特性的类型，换言之标识哪个方面识别模型识别了该特性)的部分。输出特性还可以是利用所述指示的特性来注释输入实例的形式，例如，使用数据接口220将输入实例与(多个)注释一起存储。作为另一示例，对于具有相同模型输出的多个输入实例(例如，多个图像)，可以对指示特性存在的次数进行计数和报告，例如，向另一个处理器子系统或向用户报告。

作为可选组件，系统200可以包括图像输入接口260或任何其他类型的输入接口，用于从诸如相机072的传感器获得传感器数据224。处理器子系统240可以被配置为从传感器数据224确定输入实例。例如，相机可以被配置为捕获图像数据224，处理器子系统240被配置为经由数据通信223获得图像数据并且将其用作输入实例。输入接口可以被配置用于各种类型的传感器信号，例如视频信号、雷达/激光雷达信号、超声波信号等。例如，输入实例可以包括这种传感器测量的时间序列。

作为可选组件，系统200可以包括显示输出接口280或任何其他类型的输出接口，用于将由所应用的对象识别模型051、052指示存在的特性输出到绘制设备，诸如显示器290。例如，显示输出接口280可以生成针对显示器290的显示器数据282，这使得显示器290以感官可感知的方式绘制所指示的特性，例如，作为屏幕上的可视化292。

将参考图3至图5进一步阐明系统200的操作的各种细节和方面，包括其可选方面。

一般，系统200可以体现为单个设备或装置，诸如工作站，例如基于膝上型计算机或台式计算机，或服务器，或在其中体现。该设备或装置可以包括一个或多个执行适当软件的微处理器。例如，处理器子系统可以由单个中央处理单元(CPU)来实现，也可以由这样的CPU和/或其他类型的处理单元的组合或系统来实现。该软件可以已经被下载和/或存储在对应的存储器中，例如，诸如RAM的易失性存储器或诸如闪存的非易失性存储器。备选地，系统的功能单元，例如数据接口和处理器子系统，可以在设备或装置中以可编程逻辑的形式实现，例如，作为现场可编程门阵列(FPGA)和/或图形处理单元(GPU)。一般，系统的每个功能单元可以以电路的形式实现。应当注意，系统200也可以以分布式方式实现，例如，涉及不同的设备或装置，诸如分布式服务器，例如以云计算的形式。

图3a示出了用作经训练模型或方面识别模型的模型的详细但非限制性示例。该图所示的模型是卷积网络，也称为卷积神经网络。模型确定针对输入实例II 310的模型输出MO 330。例如，输入实例II可以是图像，例如，表示为M×N×c大小的矩阵，其中通道数c的数目在灰度图像的情况下可以是c＝1，在RGB图像的情况下可以是c＝3，等等。然而，所描述的技术不限于图像，例如，其他类型的传感器数据，诸如传感器测量的时间序列也是可能的。在一些情况下，这样的其他传感器数据，例如记录的声音数据，可以被表示为用于如本文所述进行处理的图像。虽然这里的解释侧重于2维数据(例如图像)，但是1维数据、3维数据等都可以由卷积网络进行处理。

模型输出MO可以表示一个或多个值，例如，在分类模型的情况下为针对一个或多个类的分类得分，在回归模型的情况下为数量预测等。模型输出也可以是图像，例如，在图像到图像的转换模型或分割模型的情况下。经训练模型可以是较大模型的部分(图中未示出)，在这种情况下，模型输出可以是较大模型的特定内部神经元的激活，也可以是多个内部神经元的激活的组合，诸如总和或平均值。相应地，可以研究影响较大模型的内部神经元的特性。

一般地，术语卷积网络可以用于指代任何包括至少一个卷积层的神经网络。卷积网络的各种架构是已知的并且可以被应用。作为说明性示例，示出了卷积网络架构，其包括卷积部分和密集部分。卷积部分包括一个或多个层CL1 340-1直到CLk 340-2。第一层可以将输入实例II处理成第一卷积表示CR1 320-1，然后可以将其输入到第二层等等。卷积部分的最后一层CLk然后可以输出输入实例II的卷积表示CRk 320-2。卷积部分的各层例如可以是卷积层、池化层、ReLU层等。例如，卷积部分可以包括一个或多个组，每个组包括卷积层，然后是ReLU层，然后是可选的池化层。例如，卷积层的数量可以至少为五个，或者至少为十个。

卷积部分的各层可以生成越来越多的输入实例的抽象表示。在这样的层处输入实例II的表示，换言之，给定输入实例的神经网络在该层输出的一组值，通常保留与输入实例的空间对应关系，例如，M×N×c大小的输入可以在一层由M′×N′×c′大小的体积表示，其中像素(x′，y′，·)对应于原始输入像素(x，y，·)，但通常具有不同的分辨率；并且每个像素的特征向量(·，·，c′)替换输入像素的原始特征向量(·，·，c′)。在许多情况下，后续卷积层可以具有递减的空间维度，使得卷积部分的输出CRk具有小于输入实例的空间维度M′×N′。内部层体积的M′×N′大小的切片通常表示应用于前一层处的值的所谓过滤器的输出。例如，一层处过滤器的数目可以是最多或至少8个、最多或至少32个、或最多或至少128个。

卷积网络的第二部分可以基于网络的卷积部分的输出CRk来确定模型输出MO。该示例示出了包括一个或多个完全连接或“密集”层的第二部分。图中示出的是密集层DL1340-3直到DLm 340-4。一般地，在这些层中，输入实例II表示为特征向量，例如其可以通过对由卷积部分输出的特征图像进行整形，和/或通过对原始输入实例II进行重复裁剪和分辨率降低来实现。在一些情况下，单个密集层就足够了，但密集层的数量也可以更大，例如至少三个或至少五个。

图3b示出了用于本文的模型的另一详细但非限制性示例。该图所示的模型是所谓的完全卷积网络。这样的模型将输入体积IV 310形式的输入实例(例如，输入图像)转换成层序列中的输出体积OV 370形式的模型输出，层序列中的每个层保留与输入实例的空间对应关系，例如卷积层、池化层和ReLU层。例如，输出体积OV可以表示输入图像II的分割，或者更一般地，可以训练模型以执行任何类型的图像到图像的转换。

如图所示，完全卷积网络可以包括收缩部分和扩展部分。收缩部分可以包括一个或多个层，例如层CL1’350-1、直到CLl’350-2，它们产生输入实例II的相应表示CR1’390-1直到CLl’390-2，其相应的空间维度小于或等于前面层的空间维度(尽管深度，例如过滤器的数目可以增加)。相应地，收缩部分的结果可以是减少的空间维度的输入实例的表示CLll’。在收缩部分之后，可以应用扩展部分，例如，包括层EL1 350-3，直到Eln 350-4，从而产生输入实例的相应表示。例如，层EL1可以导致表示ER1 390。扩展部分的最后一层可以导致输出体积OV。一般地，扩展部分的后续层可能导致各自的表示具有相等的增加的空间维度，使得输出体积OV具有比表示CLl’更大的空间维度。例如，为了增加空间维度，可以使用上采样层。在各种应用中，诸如语义分割，输出体积OV可以被配置为具有与输入体积IV相同的空间维度；然而，这不是必需的。包括收缩部分和扩展部分的模型一般可以称为编码器-译码器模型。

特别地，在各种实施例中，模型的收缩部分的一个或多个相应层可以经由所谓的跳跃连接而与模型的扩展部分的一个或多个相应层连接。例如，连接层可以具有相同的空间维度，例如分别为M×N×c₁和M×N×c₂。在跳跃连接中，收缩表示和扩展表示的输出可以被级联，例如，以获得M×N×(c₁+c₂)大小的输出，以便在网络中进一步处理。收缩表示和扩展表示不需要具有相同的大小，例如，可以重新调整较小的表示以匹配较大的表示或以其他方式，例如通过池化或通过重复像素。

一般地，这种具有收缩部分和扩展部分以及跳跃连接的模型可以称为U-net模型，因为它们的架构可以被可视化为U形，其中收缩部分的层形成左侧部分，并且扩展部分的层形成右侧部分。各种这样的模型本身是已知的并且可以在这里应用。U-net模型的示例在O.Ronneberger等人的“U-Net:Convolutional Networks for Biomedical ImageSegmentation(U-Net：用于生物医学图像分割的卷积网络)”(可于https://arxiv.org/abs/1505.04597获得，并且通过引用并入本文)中呈现。另一已知的示例是所谓的ResNet，或残差网络。

图4a至图4b展示了使用映射模型的可解释性技术。输入实例II410可以由经训练模型TM 440处理，以获得模型输出MO。图4b示出了如何可以确定指示与模型输出MO相关的给定特性的存在的方面存在指示符API’471的详细但非限制性示例。为此，显著性方法可以用于在经训练模型的层处获得输入实例II的掩蔽源表示MSR 480，包括在经训练模型的该层处、与模型输出MO相关的输入实例的元素。针对给定的特性，掩蔽源表示MSR然后可以被映射到方面识别模型ARM 451的目标层。通过识别包含来自输入实例的、与模型输出MO相关的信息的掩蔽源表示中的特性，方面识别模型可以指示与模型输出MO相关的给定特性的存在。图4a示出了可以如何训练这种映射模型MM和/或经训练模型TM和方面识别模型ARM的详细但非限制性示例。

图中所示的是经训练模型TM 440，其被配置为确定针对输入实例II 410的模型输出MO 430。类似于图3a，输入实例II可以是图像、表示为图像的传感器数据或各种其他类型的数据。在各种实施例中，模型TM可以是分类模型。在这种情况下，模型输出MO可以表示输入实例II可以被分类到的相应类的一个或多个分类得分，例如，一个、两个或更多个类。各种其他类型的模型输出MO也是可能的，例如，在模型是回归模型的情况下对数量的预测；字幕模型情况下的字幕，可视问答模型情况下的回答等。例如，经训练模型TM可以被训练用于恶性与良性肿瘤的分类；用于肿瘤分级或预断病情等。模型输出MO也可以是输出体积，例如输出图像，例如在图像到图像转换模型、分割模型等的情况下。

一般地，经训练模型TM可以是任何类型的模型，可以应用显著性方法来确定与模型输出MO相关的模型的输入层或内部层处的源表示元素。例如，经训练模型TM可以是神经网络，诸如关于图3a或图3b所讨论的卷积网络。可以基于输入实例和/或模型输出的类型来选择适当类型的经训练模型。本文描述的经训练模型TM和其他经训练模型通常由参数集(例如，在神经网络的情况下为节点的权重)参数化。例如，模型的层数可以至少为5或至少10，节点和/或权重的数目可以至少为1000或至少10000。从训练效率的角度来看，使用适用于基于梯度的优化的模型是有益的，例如，其参数集是连续的和/或可微的。

图中还示出了方面识别模型ARM 451。如图4a所示，当应用于经训练模型TM的输入实例II时，方面识别模型ARM可以被配置为确定方面存在指示符API 470，其指示输入实例II中给定特性的存在。模型ARM可以识别的特性可以是预期与经训练模型TM的模型输出MO潜在相关(例如，由领域专家选择)的输入实例的对象或其他特性。将关于图4b解释方面识别模型ARM如何可以与经训练模型TM结合使用，以获得方面存在指示符API’，它不指示给定特性的任何存在，但具体输出与经训练模型的模型输出MO相关的给定特性的存在。

类似于经训练模型TM，可以使用任何类型的方面识别模型ARM，它能够确定给定类型的方面存在指示符API，并且具有如下使用的输入层或内部层。现在讨论多个类型的方面存在指示符和可能的对应方面识别模型ARM。

在一些实施例中，方面识别模型ARM可以指示特性是否存在于输入实例II中，例如，不需要指示表示特性的输入实例的任何特定部分。例如，这种方面识别模型ARM可以被训练为二元分类器，具有指示特性是否存在于相应输入实例中的标签，或者作为一类分类器。例如，这种类型的方面识别模型可以是卷积网络，例如，如图3a所示。

在一些实施例中，方面识别模型ARM可以指示表示特性的输入实例II的部分。这种方面识别模型一般可以称为分割模型。作为特定示例，方面识别模型ARM可以返回针对输入图像的单独像素的映射，该映射指示该像素是否属于特性。这样的模型有时被称为语义分割模型。例如，在这种情况下可以使用完全连接的网络，例如，如图3b所示。该模型还可以指示输入实例的每个部分的存在量或程度，例如，输入图像的每个像素，例如，作为域[0,1]中的值。

模型ARM还可以以边界框坐标的形式指示输入实例II的部分，例如，该模型可以是本地化模型或检测模型。同样对于这些情况，可以使用包括卷积网络的本身已知的各种架构。

图中还示出了在经训练模型TM的源层与方面识别模型ARM的目标层之间的映射模型MM 460。源层和目标层可以是它们相应模型的输入层或内部层。如果源层和目标层是输入层，则映射模型MM是可选的，相反，可以使用从源层到目标层的恒等映射(或例如，从颜色到灰度的另一给定的映射)。

一般地，可以通过将经训练模型TM划分为在源层之前的第一部分TM-1 440-1(如果源层是输入层，则它可以是空的)与在目标层之后的第二部分TM-2 440-2来限定源层。相应地，一般地，经训练模型TM可以被配置为通过以下方式来确定模型输出MO：将经训练模型的第一部分TM-1应用于输入实例II以获得在源层处的输入实例II源表示SR 420，并且将第二部分TM-2应用于源表示SR以获得模型输出MO。例如，如果图3a的卷积网络被用作经训练模型，则图3a的表示CRk可以用作源表示，或卷积部分较早层的表示。例如，掩蔽源表示MSR可以是M′×N′×c′大小的体积，包括大小为M′×N′的c'个过滤器输出。

类似地，可以通过将方面识别模型ARM划分为第一部分ARM-1 451-1(如果目标层是输入层，则其可以为空)和第二部分ARM-2 451-2来限定目标层，该模型被配置为通过以下方式来确定方面存在指示符API：通过应用第一部分ARM-1来确定在方面识别模型的目标层处的输入实例II的目标表示TR，然后通过应用第二部分ARM-2从中确定方面存在指示符API。例如，如果图3b的完全卷积网络被用作方面识别模型，则可以使用来自网络扩展部分的层。

关于选择使用哪个源层和哪个目标层，存在多个优选的选择。一般地，由于要从源层到目标层来学习映射模型，因此需要在给定输入实例II的源表示SR与目标表示TR之间有足够强的互信息可用。另一方面，在源层和目标层处表示的特征需要足够抽象，并且优选地也具有相似的抽象等级，以便映射模型能够有效地训练。相应地，优选地，源层和目标层具有至少大致相同的维度，例如，相同的维度或在宽度和高度上最多具有两倍的差异。对于具有相同抽象等级的源层和目标层，优选它们具有相似数量的前面层，例如，该相同数量最多相差两个或最多四个。为了获得期望的抽象量，优选地选择神经网络的卷积部分相对较远的层，例如，选择源模型或目标模型的最终卷积层，或者在最终卷积层之前最多两层或最多四层。

除了依赖手动选择，还可以通过模型选择来确定要使用的源层或目标层。为此，例如，可以针对经训练模型TM和/或方面识别模型ARM的相应层训练多个映射模型。然后可以至少部分地基于多个经训练的映射模型在测试数据集上的性能，例如，将源层映射到目标层的能力，来在多个经训练的映射模型中选择映射模型MM。相应地，具有准确的映射模型的需要，这一般可以有利于使用在其相应模型中较早出现的源层和目标层，可以与对输入实例具有更抽象表示的需要进行平衡，这可以有利于使用后面的层。例如，可以选择满足映射模型的最小性能阈值的最深源层和目标层。

一般地，可以使用适用于将源表示SR转变为目标表示TR的任何模型架构。具体地，在优选实施例中，源层和目标层是卷积层，在这种情况下，映射模型MM可以是本身已知的图像到图像转换模型。例如，模型MM可以是分割模型，例如，可以使用诸如U-net模型的卷积架构，例如，如图3b所示。为了使用这样的模型架构作为映射模型，可以通过最小化重构目标层表示的误差来训练模型，例如使用平方和误差等。应当注意，尽管许多图像到图像的转换模型通常在实践中被应用于每个像素具有低维特征向量的输入图像和输出图像，例如一个或三个(对于输入的颜色、对于输出的对象类或颜色)，此类模型可以很容易地应用于具有更多过滤器的源表示/目标表示，例如，至少十个或至少二十个。

经训练模型TM、映射模型MM和/或方面识别模型ARM的训练由图4a中的实线、虚线和虚线图示。一般地，这些模型可以彼此独立地由同一系统或不同系统进行训练。这些模型也可以在不同或相同的数据集上进行训练。经训练模型TM和方面识别模式ARM需要在训练映射模型MM的时候已经训练过了。

通常，使用诸如随机梯度下降的随机方法进行训练，例如使用Kingma和Ba的“Adam:A Method for Stochastic Optimization(Adam：一种随机优化方法)”(可于https://arxiv.org/abs/1412.6980获得，并且通过引用并入本文)中公开的Adam优化器。已知，这样的优化方法可以是启发式的和/或达到局部最优的。一般地，模型的训练可以包括：将要训练的模型应用于一个或多个输入以获得相应的输出；从输出的误差中得出训练信号；以及根据训练信号调整模型参数。可以逐个实例或分批执行训练，例如最多或至少64个或最多或至少256个实例。

一般地，经训练模型TM可以在包括多个训练输入实例II和对应的训练模型输出MO的数据集上被训练，该模型TM被训练以在给定相应的训练实例II的情况下重新产生相应的训练模型输出MO。方面识别模型ARM可以在包括多个训练输入实例II和对应的方面存在指示符API的数据集上被训练，该模型ARM被训练以在给定相应的训练实例II的情况下重新产生相应的训练模型方面存在指示符API。

给定针对给定特性的经训练模型TM和经训练的方面识别模型ARM，映射模型MM可以在包括多个训练实例II的训练数据集上被训练。感兴趣的是，这些训练实例不需要标记，例如，没有模型输出MO和/或方面指示API可用的输入实例仍然可以用于训练映射模型。映射模型MM可以被训练以在给定根据经训练模型的输入实例的源表示SR的情况下，根据方面识别模型最好地重新产生输入实例的目标表示TR。经训练模型的第一部分TM-1可以应用于训练实例II以确定源表示SR；方面识别模型ARM的第一部分ARM-1可以应用于训练实例II以确定目标表示TR，并且映射模型MM可以被训练以在给定源表示的情况下输出目标表示。

现在继续确定针对图4b中所示的给定模型输出MO的方面存在指示符API’。给定经训练的映射模型MM，方面存在指示符API’可以通过以下来获得：首先使用显著性方法确定掩蔽源表示MSR，掩蔽源表示MSR突出显示与模型输出相关的源层处的输入实例II的表示SR的那些元素；将映射模型MM应用于掩蔽源表示以获得针对输入实例的目标表示TR，表示在方面识别模型的目标层处的与识别特性相关的那些特征，这些特征也与确定模型输出MO相关；以及应用方面识别模型ARM，换言之，它的第二部分ARM-2将目标层映射到输出层，到目标表示TR以获得方面存在指示符API’。

为了确定掩蔽源表示MSR，可以使用各种现有的显著性方法。这种显著性方法通常利用将经训练模型TM应用于输入实例II的模型输出MO；以及利用在经训练模型的源层处的输入实例II的源表示SR320。

一般地，术语“显著性方法”可以指确定源表示的哪些元素与模型输出相关的方法，例如，选择与模型输出最相关的源元素子集。换言之，显著性方法可以通过可视化与模型感兴趣的决策相对应的输入实例的重要区域(例如，其值对模型决定提供特定模型输出具有较大影响或贡献较大的区域)来确定经训练模型的决策的可视解释。各种这样的可解释性方法可以是类区分的，例如，针对不同的输出产生不同的解释，和/或本地化的，例如，在高细节等级上提供解释，例如，在单个输入像素的等级或特定层处的单个特征的等级。

许多现有的显著性方法被配置为在经训练模型TM的输入层处确定显著性映射。例如，可以确定输入层显著性映射的技术包括：引导Grad-CAM，如Selvaraju等人的“Grad-CAM:Visual Explanations from Deep Networks via Gradient-based Localization(Grad-CAM：经由基于梯度的本地化的来自深度网络的可视解释)”(可于https://arxiv.org/abs/1610.02391获得，并且通过引用并入本文)中所公开的；CAM，如Zhou等人的“Learning Deep Features for Discriminative Localization(学习用于判别本地化的深度特征)”(可于https://arxiv.org/abs/1512.04150获得，并且通过引用并入本文)中所公开的；反卷积，如Zeiler等人的“Visualizing and understanding convolutionalnetworks(可视化和理解卷积网络)”(可于https://arxiv.org/abs/1311.2901获得，并且通过引用并入本文)中所公开的；以及引导反向传播，如Springenberg等人的“Strivingfor Simplicity:The All Convolutional Net(争取简单性：全卷积网络)”(可于https://arxiv.org/abs/1412.6806获得，并且通过引用并入本文)中所公开的。这种显著性方法可以用于确定输入层处的掩蔽源表示MSR。一般地，此类方法还可以用于通过以下方式来确定内部层处的掩蔽源表示MSR：利用输入层掩码对输入层处的输入实例进行掩蔽，并且部分应用经训练模型TM以获得掩蔽源表示MSR。掩蔽源表示MSR也可以通过不将显著性方法应用于完整训练的模型TM而仅应用于其第二部分TM-2来获得，这本身可以被视为用于从源表示SR确定模型输出MO的模型。

针对在源层处直接确定显著性映射的方法，可以通过显著性映射掩蔽源表示SR来获得掩蔽的源表示。例如，可以通过保持源表示的显著性掩码值(例如，缩放到[0,1]，其中1指示最高重要性)超过某个阈值的元素来完成掩蔽，或者通过与显著性掩码进行点乘(例如，缩放到[0,1]，其中1指示最高重要性)来完成掩蔽。

感兴趣的是，为了确定在内部层限定的掩蔽源表示MSR，和/或对于输出模型输出图像的模型TM，可以采用各种现有的显著性方法。

具体地，Grad-CAM和CAM通过确定权重来工作，该权重捕获卷积网络层中相应过滤器k的重要性，例如，在“Grad-CAM:Visual Explanations from Deep Networks viaGradient-based Localization(Grad-CAM：经由基于梯度的本地化的来自深度网络的可视解释)”的第三节中讨论的权重

以及“Learning Deep Features for DiscriminativeLocalization(学习用于判别本地化的深度特征)”的第二节中讨论的权重

对于使用相应过滤器的权重的显著性方法，可以通过将源表示的每个元素乘以其权重来从源表示SR中确定掩蔽源表示MSR。

在经训练模型TM的输出是图像的情况下，例如大小为R×S，可以通过确定针对相应输出图像像素的相应过滤器重要性权重

并且将它们组合成针对过滤器的过滤器重要性权重来采用Grad-CAM和类似技术。例如，组合可以是总和、加权总和等。例如，如果模型输出MO是输入图像的分割，则对象像素的权重可以比背景像素强。作为详细示例，对于Grad-CAM，用于计算

的公式可以改编为

即，c类像素的模型输出概率

的导数之和，取输出图像中的所有像素。

Zeiler的反卷积技术通过获取该内部层之前的模型的初始部分并且针对其构建反卷积网络(或简称deconvnet反卷积网络)，提供了对经训练模型的给定内部层处的特征活动的解释。该反卷积网络通过以相反的顺序来应用基本上撤消原始操作的层，从而实质上反转了模型(的初始部分)的操作。对于给定层处的特定神经元，输入实例中引起该神经元激活的输入模式通过以下方式而被确定：将该层的所有其他神经元激活设置为零，并且使用反卷积网络将表示映射回输入空间。Zeiler的技术可以适用于通过以下方式在经训练模型TM的给定层处确定掩蔽源表示MSR：在经训练模型的稍后层(例如，最后一个卷积层)处获取输入实例的表示，并且将反卷积网络应用到需要掩蔽源表示的层处。在模型输出是诸如输出图像的输出体积情况下，则稍后层可以是输出层。结果可以用于掩蔽在该给定层处的输入实例的表示，或可以直接用作掩蔽源表示。类似地，其他反卷积网络也可以从稍后层应用到相关层。

与Zeiler的反卷积技术类似，Springenberg的引导反向传播也通过对通过经训练模型进行反向传播来工作。相应地，还在这种情况下，给定层的掩蔽源表示可以通过以下方式来获得：在稍后层处获取表示；使用引导反向传播在所需层处获得掩码；以及通过掩码来掩蔽该层处输入实例的表示。

图5a至图5b图示了在经训练模型和方面识别模型共享多个层的情况下本文所述技术的使用。图5a示出了在这种情况下经训练模型和方面识别模型的训练的详细但非限制性示例。图5b示出了在这种情况下确定方面存在指示符的详细但非限制性示例。此示例建立在图4a至图4b示例的基础上，并且其中描述的许多实现选项也适用于此处。

图中示出的是输入实例II 510和经训练模型TM 540，其被配置为确定针对输入实例II的模型输出MO 530。还示出了方面识别模型ARM 551，其被配置为确定方面存在指示符API 570，指示输入实例II中给定特性的存在。

与图4a至图4b类似，这里经训练模型TM也可以通过以下方式来确定模型输出MO：将经训练模型的第一部分应用于输入实例，以在经训练模型的源层处获得源表示，以及将经训练模型的第二部分TM-2540-2应用于源表示。还与图4a至图4b类似，方面识别模型ARM可以通过以下方式来确定方面存在指示符API：应用模型ARM的第一部分以获得在方面识别模型的目标层处的目标表示，以及应用模型ARM的第二部分以获得方面存在指示符API。然而，在该图中所示的实施例中，经训练模型TM和方面识别模型ARM的第一部分在模型之间共享，如图中共享模型部分SMP 540-1所示。相应地，共享模型部分SMP可以导致共同的源表示/目标表示S/TR 520，由经训练模型TM和方面识别模型ARM两者用来确定它们相应的输出。

例如，经训练模型TM和方面识别模型ARM两者可以是卷积模型，例如，经训练模型TM可以是关于图3a描述的卷积模型，和/或方面识别模型ARM可以是关于图3b描述的完全卷积模型。例如，可以共享所有卷积部分层，或者可以共享多个卷积部分层，其中经训练模型TM和/或方面识别模型ARM除了共享模型部分SMP之外还具有附加的卷积部分层。对于本领域技术人员来说，许多变型将是明显的。

对于训练经训练模型和方面识别模型，有多个选项可用。一种可能性是获得预训练的共享模型部分SMP，例如，预训练的图像特征提取器，例如牛津大学的VGG模型。经训练模型TM和方面识别模型ARM然后可以基于预训练的共享模型部分SMP而被单独训练。也可以联合训练经训练模型TM和方面识别模型ARM，包括共享模型部分。

为了确定针对模型输出MO的方面存在指示符API’，类似于图4b，经训练模型TM可以被应用于输入实例II以获得模型输出MO。为此，共享模型部分SMP可以被应用以在经训练模型TM的源层处获得源表示/目标表示S/TR，并且经训练模型TM的第二部分TM-2可以被应用于其结果以获得模型输出MO。

如图4b所示，显著性方法可以被应用以在经训练模型的源层处获得输入实例的掩蔽源表示MSR 580，包括与模型输出MO相关的源表示S/TR的元素。感兴趣的是，因为源表示和目标表示由于共享模型部分SMP而对应，所以这种表示可以以恒等映射的形式被映射到方面识别模型ARM的目标层。其结果可以被馈送到方面识别模型的第二部分ARM-2，以获得方面存在指示符API’，指示与经训练模型TM的模型输出MO相关的给定特性的存在。

一般地，图4a至图5b集中于使用单个方面识别模型来确定单个方面存在指示符。在典型的使用中，将有多个方面识别模型，例如，至少五个或至少十个。对于这些中的每个模型，关于图4a至图5b描述的技术可以被单独应用。还可以使用可以指示多个特性的存在和/或可以指示输入实例中给定类型的特性的多个实例的方面识别模型。例如，这样的模型可以将像素分配给相应的特性或特性的实例，或者通过返回多个边界框以及识别的相应类型的特性。图4a至图5b中呈现的技术很容易适用于这些情况。

特别地，不同的方面识别模型可以使用不同的模型架构和/或具有不同类型的模型输出。例如，一个或多个方面识别模型可以是输出每像素掩码的语义分割模型，而一个或多个其他方面识别模型输出已识别特性的边界框。此外，所使用的方面识别模型的目标层可以不同，并且对于不同的方面识别模型，可以适当使用经训练模型的不同层。也可以将图4a至图4b的技术与图5a至图5b的技术混合，例如，针对一个或多个方面识别模型，相应映射模型可以被使用，而针对一个或多个其他方面识别模型，共享模型部分被使用。

在各种实施例中，本文所描述的技术可以被用在用于辅助临床医生做出医疗决策的系统和方法中。在这种情况下，经训练模型可以是用于检测临床适应症的医学图像分类模型。相应方面识别模型可以被配置为指示对临床指示的相应促成因素的存在。在这种情况下，发现与经训练模型的模型输出相关的促成因素可以提供有用的反馈，例如，帮助(多个)临床医生专注于最能帮助他们得出自己结论的信息。例如，在多个临床医生分享他们的发现的肿瘤委员会会议或类似环境中，通常只有有限的时间来浏览大量信息，因此将临床医生指向相关信息尤为重要。

尽管临床医生也可以使用经训练模型的模型输出，但有趣的是，这不是必需的；实际上，经训练模型的实际模型输出在一些情况下根本不输出，由存在指示符提供的线索被认为足以支持临床医生。例如，临床相关方面的分割图可以呈现给临床医生以获得支持。

作为具体示例，输入图像可以描绘患者的器官，例如肺，并且临床指示可以是恶性肿瘤的存在。例如，模型输出可能指示存在恶性肿瘤，或者可能是肿瘤分级。检测恶性肿瘤的潜在相关特性可以是结节(nodule)的存在。然而，一些结节是由感染引起的，并不必然指示是恶性肿瘤。相应地，模块用来决定恶性肿瘤(如果有的话)存在的结节可以通过方面识别模型而被突出显示，而其他结节可能不会。在这种情况下，另一潜在的相关特性可能是肺气肿。

一般地，可以训练方面识别模型的医学图像分类中的其他类型的相关特性包括细胞核的形状和密度、淋巴细胞、坏死组织的存在和其他组织类型相关的特征。盘点这些特征的好方法是听临床专家解释他/她对多个实际病例的分析。分割一个或多个这样的临床相关特征的分割模型在本部分中是已知的。

然而，在医疗决策上下文中没有必要使用图像。例如，输入实例可以表示要在例如睡眠阶段中使用的EEG信号。更一般地，输入实例可以表示生理测量的时间序列。然而，当向临床医生呈现指示存在的特性时，这些类型的输入实例通常也是可视化的。

在各种实施例中，本文所描述的技术可以用于设备(例如医疗设备)的预测性维护的系统和方法中。在预测性维护中，目标可以是预测设备可能出现的故障。用于预测此类可能故障的模型可以将有关设备的大量不同信息源作为输入，通常以表示设备状态的时间序列数据的形式。指示与可能故障的预测相关的特性可以帮助用户或另一处理器系统决定如何处理预测，例如，通过指示应该更换或至少更仔细检查的设备部分。

然而，本文介绍的技术不仅适用于医疗环境，例如，也适用于自动驾驶或增强现实，复杂的决策任务正在由经训练模型执行，并且了解这些经训练模型如何做出决策是高度相关的。

图6示出了生成用于解释经训练模型的模型输出的可解释性信息的计算机实现的方法600的框图。方法600可以对应于图2的系统200的操作。然而，这不是限制，因为方法600也可以使用另一系统、装置或设备来执行。

方法600可以包括在标题为“访问经训练模型、方面识别模型”的操作中访问610各种数据。在操作610中访问的数据可以包括经训练模型，其被配置为确定针对输入实例的模型输出。经训练模型可以至少包括源层。源层可以是输入层或内部层。在操作610中访问的数据还可以包括针对经训练模型的输入实例的相应特性的一个或多个方面识别模型。针对给定特性的方面识别模型可以被配置为指示输入实例中特性的存在。方面识别模型可以至少包括目标层。目标层可以是输入层或内部层。方法600还可以包括在标题为“获得输入实例”的操作中，获得620输入实例。

方法600还可以包括在标题为“应用经训练模型”的操作中，将经训练模型应用630于输入实例以获得模型输出。该应用630可以包括在经训练模式的源层处获得输入实例的源表示(未示出为单独的操作)。

方法600还可以包括在标题为“应用显著性方法”的操作中，应用640显著性方法以获得在经训练模型的源层处的输入实例的掩蔽源表示，包括与模型输出相关的源表示的元素。

该方法还可以包括针对相应给定特性的一个、多个或所有方面识别模型执行的操作652和654。

在标题为“将掩蔽源表示映射到目标层”的操作652中，掩蔽源表示可以被映射到方面识别模型的目标层，以获得针对目标层处的输入实例的目标表示。在标题为“将方面识别模型应用于目标表示”的操作654中，针对给定特性的方面识别模型可以被应用于目标表示以获得模型输出，该模型输出指示与经训练模型的模型输出相关的给定特性的存在。

方法600还可以包括在标题为“输出方面存在指示符”的操作中，输出660由所应用的方面识别模型指示存在的特性作为可解释性信息。

图7示出了能够为经训练模型生成可解释性信息的计算机实现的方法700的框图。方法700可以对应于图1的系统100的操作。然而，这不是限制，因为方法700也可以使用另一系统、装置或设备来执行。

方法700可以包括在标题为“访问经训练模型、方面识别模型、训练数据集”的操作中访问710各种数据。在操作710中访问的数据可以包括经训练模型，该模型被配置为确定针对输入实例的模型输出。经训练模型可以至少包括源层。源层可以是输入层或内部层。在操作710中访问的数据还可以包括针对经训练模型的输入实例的相应特性的一个或多个方面识别模型。针对给定特性的方面识别模型可以被配置为指示输入实例中特性的存在。方面识别模型可以至少包括目标层。目标层可以是输入层或内部层。在操作710中访问的数据还可以包括包含多个训练实例的训练数据集。

方法700还可以包括训练在经训练模型与一个或多个方面识别模型之间的映射模型。在标题为“训练映射模型”的操作中，经训练模型与方面识别模型之间的映射模型正被训练720，通过针对训练数据集的训练实例执行多个操作。具体地，方法700可以包括在标题为“应用经训练模型以确定源表示”的操作中，将经训练模型至少部分地应用722于训练实例以确定在经训练模型的源层处的训练实例的源表示。方法700还可以包括在标题为“应用方面识别模型以确定目标表示”的操作中，将方面识别模型至少部分地应用724于训练实例以确定在方面识别模型的目标层处的训练实例的目标表示。该方法还可以包括在标题为“训练以在给定源的情况下输出目标”的操作中，训练726映射模型以在给定源表示的情况下输出目标表示。

应当理解，一般，图6的方法600和图7的方法700的操作可以以任何合适的顺序执行，例如连续、同时或它们的组合，在适用的情况下受制于必须的特定顺序，例如通过输入/输出关系。还可以组合一些或所有方法，例如，解释模型输出的方法600可以在根据方法700启用所述解释之后应用。

(多个)方法可以在计算机上被实现为计算机实现的方法、专用硬件或两者的组合。还如图8所示，用于计算机的指令，例如可执行代码，可以被存储在计算机可读介质800上，例如，以机器可读物理标记系列810的形式和/或作为具有不同电气特性(例如，磁性或光学特性或值)的一系列元素。可执行代码可以瞬态或非瞬态方式存储。计算机可读介质的示例包括存储器设备、光学存储设备、集成电路、服务器、在线软件等。图8示出了光盘800。备选地，计算机可读介质800可以包括表示经训练模型和一个或多个方面识别模型之间的一个或多个相应映射模型的瞬态或非瞬态数据810，其用于在本文描述的计算机实现的方法中使用。

示例、实施例或可选特征，无论是否指示为非限制性的，都不应被理解为限制所要求保护的本发明。

应当注意，上述实施例说明而不是限制本发明，并且本领域技术人员将能够在不脱离所附权利要求的范围的情况下设计许多备选实施例。在权利要求中，放置在括号之间的任何参考符号不应被解释为限制权利要求。动词“包括”及其变位的使用不排除权利要求中所述的元素或阶段之外的元素或阶段的存在。一个元素之前的冠词“一”或“一个”不排除多个这样的元素的存在。当在元素列表或元素组之前时，诸如“至少一个”的表达表示从列表或组中选择所有元素或元素的任何子集。例如，表述“A、B和C中的至少一个”应理解为仅包括A，仅包括B，仅包括C，A和B两者，A和C两者，B和C两者，或所有的A、B和C。本发明可以通过包括多个不同元件的硬件以及通过适当编程的计算机来实现。在列举多个手段的设备权利要求中，这些手段中的多个可以由一个并且相同的硬件项来体现。在相互不同的从属权利要求中列举了某些措施这一事实并不表明这些措施的组合不能有利地使用。

Claims (15)

1.一种生成可解释性信息的计算机实现的方法(600)，所述可解释性信息用于解释作为神经网络类型模型的经训练模型的模型输出，所述方法包括：

访问(610)：

经训练模型，所述经训练模型被配置为确定针对输入实例的模型输出，所述经训练模型至少包括源层，所述源层是所述经训练模型的输入层或内部层；

针对所述经训练模型的输入实例的相应特性的一个或多个方面识别模型，针对给定特性的方面识别模型被配置为指示输入实例中的所述特性的存在，所述方面识别模型至少包括目标层，所述目标层是所述方面识别模型的输入层或内部层；

获得(620)输入实例；

将所述经训练模型应用(630)到所述输入实例以获得模型输出，所述应用包括：在所述经训练模型的所述源层处获得所述输入实例的源表示；

应用(640)显著性方法以在所述源层处获得所述经训练模型的所述输入实例的掩蔽源表示，所述掩蔽源表示包括与所述模型输出相关的所述源表示的元素；

对于针对特性的方面识别模型：

将所述掩蔽源表示映射(652)到所述方面识别模型的所述目标层，以获得针对所述目标层处的所述输入实例的目标表示；

将针对所述特性的所述方面识别模型应用(654)到所述目标表示以获得模型输出，所述模型输出指示与所述经训练模型的所述模型输出相关的所述特性的存在；

输出(660)由所应用的所述方面识别模型指示存在的所述特性作为所述可解释性信息。

2.根据权利要求1所述的方法(600)，其中输入实例包括以下至少一项：图像和一个或多个传感器测量的时间序列。

3.根据权利要求1或2所述的方法(600)，其中所述经训练模型是较大模型的部分，其中所述较大模型的内部神经元的一个或多个输出基于所述经训练模型的所述模型输出。

4.根据前述权利要求中任一项所述的方法(600)，其中应用所述显著性方法包括：

在所述源层处确定针对所述输入实例的显著性映射，所述显著性映射指示针对所述源表示的相应元素的所述元素与针对所述输入实例的所述经训练模型的所述模型输出的相应相关性；

由所述显著性映射来掩蔽所述源表示以获得所述掩蔽源表示。

5.根据前述权利要求中任一项所述的方法(600)，其中针对所述特性的所述方面识别模型被配置为指示表示所述特性的所述输入实例的部分。

6.根据前述权利要求中任一项所述的方法(600)，其中将所述掩蔽源表示映射到所述方面识别模型的所述目标层包括：应用在所述经训练模型的所述源层与所述方面识别模型的所述目标层之间的映射模型。

7.根据权利要求6所述的方法(600)，其中所述经训练模型的所述源层和所述方面识别模型的所述目标层为卷积层，所述映射模型包括图像到图像的转换模型，例如U-net模型。

8.根据权利要求1至5中任一项所述的方法(600)，其中所述经训练模型的所述源层和所述源层之前的层被与所述方面识别模型共享。

9.根据前述权利要求中任一项所述的方法(600)，其中输出指示存在的所述特性包括：以对用户可感知的方式在所述输入实例中突出显示所述特性。

10.根据前述权利要求中任一项所述的方法(600)，其中输出指示存在的所述特性包括：利用所指示的所述特性来注释所述输入实例。

11.根据前述权利要求中任一项所述的方法(600)，其中所述经训练模型是用于检测临床适应症的医学图像分类模型，所述方面识别模型被配置为指示对所述临床适应症的相应贡献因素的存在。

12.一种使得能够生成针对作为神经网络类型模型的经训练模型的可解释性信息的计算机实现的方法(700)，包括：

访问(710)：

经训练模型，所述经训练模型被配置为确定针对输入实例的模型输出，所述经训练模型至少包括源层，所述源层是所述经训练模型的输入层或内部层；

针对所述经训练模型的输入实例的相应特性的一个或多个方面识别模型，方面识别模型被配置为指示输入实例中的所述特性的存在，所述方面识别模型至少包括目标层，所述目标层是所述方面识别模型的输入层或内部层；

训练数据集，所述训练数据集包括多个训练实例；

训练所述经训练模型与所述一个或多个方面识别模型之间的映射模型，所述经训练模型与方面识别模型之间的映射模型通过针对所述训练数据集的训练实例进行以下步骤而被训练(720)：

将所述经训练模型至少部分地应用(722)到所述训练实例，以在所述源层处确定所述经训练模型的所述训练实例的源表示；

将所述方面识别模型至少部分地应用(724)到所述训练实例，以确定在所述方面识别模型的所述目标层处的所述训练实例的目标表示；

训练(726)所述映射模型，以在给定所述源表示的情况下输出所述目标表示。

13.一种用于生成可解释性信息的系统(200)，所述可解释性信息用于解释作为神经网络类型模型的经训练模型的模型输出，所述系统包括：

数据接口(220)，用于访问：

经训练模型(040)，所述经训练模型被配置为确定针对输入实例的模型输出，所述经训练模型至少包括源层，所述源层是所述经训练模型的输入层或内部层；

针对所述经训练模型的输入实例的相应特性的一个或多个方面识别模型(051,052)，针对给定特性的方面识别模型被配置为指示输入实例中的所述特性的存在，所述方面识别模型至少包括目标层，所述目标层是所述方面识别模型的输入层或内部层；

处理器子系统(240)，被配置为：

获得输入实例；

将所述经训练模型应用于所述输入实例以获得模型输出，所述应用包括：在所述经训练模型的所述源层处获得所述输入实例的源表示；

应用显著性方法以在所述经训练模型的所述源层处获得所述输入实例的掩蔽源表示，所述掩蔽源表示包括与所述模型输出相关的所述源表示的元素；

对于针对特性的方面识别模型：

将所述掩蔽源表示映射到所述方面识别模型的所述目标层，以获得针对所述目标层处的所述输入实例的目标表示；

将针对所述特性的所述方面识别模型应用于所述目标表示以获得模型输出，所述模型输出指示与所述经训练模型的所述模型输出相关的所述特性的存在；

输出由所应用的所述方面识别模型指示存在的所述特性作为所述可解释性信息。

14.一种使得能够生成针对作为神经网络类型模型的经训练模型的可解释性信息的系统(100)，所述系统包括：

数据接口(120)，用于访问：

经训练模型(040)，所述经训练模型被配置为确定针对输入实例的模型输出，所述经训练模型至少包括源层，所述源层是所述经训练模型的输入层或内部层；

针对所述经训练模型的输入实例的相应特性的一个或多个方面识别模型(051,052)，方面识别模型被配置为指示输入实例中的所述特性的存在，所述方面识别模型至少包括目标层，所述目标层是所述方面识别模型的输入层或内部层；

训练数据集(010)，所述训练数据集包括多个训练实例；

处理器子系统(140)，被配置为：

训练所述经训练模型与所述一个或多个方面识别模型之间的映射模型，所述经训练模型与方面识别模型之间的映射模型通过针对所述训练数据集的训练实例进行以下步骤而被训练：

将所述经训练模型至少部分地应用于所述训练实例，以在所述源层处确定所述经训练模型的所述训练实例的源表示；

将所述方面识别模型至少部分地应用于所述训练实例，以确定在所述方面识别模型的所述目标层处的所述训练实例的目标表示；

训练所述映射模型，以在给定所述源表示的情况下输出所述目标表示。

15.一种包括瞬态或非瞬态数据(710)的计算机可读介质(700)，所述瞬态或非瞬态数据表示：

指令，所述指令在由处理器系统执行时使所述处理器系统执行根据权利要求1至11中任一项所述的计算机实现的方法；和/或

指令，所述指令在由处理器系统执行时使所述处理器系统执行根据权利要求12所述的计算机实现的方法；和/或

经训练模型与一个或多个相应方面识别模型之间的一个或多个相应映射模型，用于在根据权利要求1至11中任一项所述的计算机实现的方法中使用。

Images