CN112907145A - 模型解释方法以及电子设备 - Google Patents

Abstract

本申请实施例提供了一种模型解释方法以及电子设备。该方法包括：获取与待解释模型的类型对应的可解释性模型，并将经过待解释模型识别的n个实例数据输入可解释性模型，分别得到n个实例数据中每个实例数据的解释结果，n≥1，该实例数据的解释结果用于表征实例数据中的至少一个特征在待解释模型对实例数据进行识别时的权重，使得待解释模型输出的识别结果或者决策结果能够被理解，具有更高的可靠性。

Description

模型解释方法以及电子设备

技术领域

本申请实施例涉及人工智能技术领域，并且更具体地，涉及模型解释方法以及电子设备。

背景技术

在人工智能(Artificial Intelligence，AI)技术领域中，一些实现逻辑难以理解的复杂模型，常被视为黑盒子，导致这些复杂模型在识别或者决策的过程中具有难以评估的风险。因而如何对复杂模型的识别结果或者决策结果进行解释是当前亟待解决的问题。

发明内容

本申请实施例提供了一种模型解释方法以及电子设备，能够对复杂模型的识别结果或者决策结果进行解释。

第一方面，提供了一种模型解释方法，包括：获取与待解释模型的类型对应的可解释性模型；将经过该待解释模型识别的n个实例数据输入该可解释性模型，分别得到该n个实例数据中每个实例数据的解释结果，n≥1，该实例数据的解释结果用于表征该实例数据中的至少一个特征在该待解释模型对该实例数据进行识别时的权重。

第二方面，提供一种电子设备，包括：获取单元，用于获取与待解释模型的类型对应的可解释性模型；处理单元，用于将经过该待解释模型识别的n个实例数据输入该可解释性模型，分别得到该n个实例数据中每个实例数据的解释结果，n≥1，该实例数据的解释结果用于表征该实例数据中的至少一个特征在该待解释模型对该实例数据进行识别时的权重。

第三方面，提供一种电子设备，包括：处理器和存储器，该存储器用于存储计算机程序，处理器用于调用并运行存储器中存储的计算机程序，执行如第一方面或其各实现方式中的方法。

第四方面，提供一种计算机可读存储介质，用于存储计算机程序，计算机程序使得计算机执行如第一方面或其各实现方式中的方法。

第五方面，提供一种计算机程序产品，包括计算机程序指令，该计算机程序指令使得计算机执行如第一方面或其各实现方式中的方法。

第六方面，提供一种计算机程序，计算机程序使得计算机执行如第一方面或其各实现方式中的方法。

本申请实施例，将经过待解释模型识别的n个实例数据输入可解释性模型，得到n个实例数据中每个实例数据的解释结果，使待解释模型输出的识别结果或者决策结果能够被理解，具有更高的可靠性。进一步地，通过与待解释模型的类型对应的可解释性模型进行模型解释，实现了针对不同类型的待解释模型的自动匹配可解释性模型，不需要手动构建模型解释工具，提高了模型解释的便利性。

附图说明

图1为本申请实施例提供的一种电子设备100的架构示意图；

图2为本申请实施例提供的一种模型解释方法200的流程示意图；

图3为本申请实施例提供的一种分布式模型解释方法300的流程示意图；

图4为本申请实施例提供的一种模型解释方法400的流程示意图；

图5为本申请实施例提供的一种模型解释方法500的流程示意图；

图6为本申请实施例提供的一种电子设备600的示意性框图；

图7为本申请实施例提供的一种电子设备700示意性结构图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。针对本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。

人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

为了便于更好的理解本申请实施例，对本申请相关的技术术语进行说明。

模型解释：对模型进行决策的原因进行理解，尝试理解对单个样本的决策原因和整体模型决策性能的原因。通常以特征权重排序进行解释。

局部(local)模型解释：对模型为单个实例做出的决策进行理解。

全局(global)模型解释：对模型如何进行决策进行理解，即理解和解释整个模型的决策原因，主要从多个实例去解释模型整体决策性能的原因。

局部可理解的与模型无关的解释(Local Interpretable Model-AgnosticExplanations，LIME)：主要思想是利用可解释性模型(如线性模型，决策树)局部近似目标黑盒模型的预测，此方法不深入模型内部，通过对输入进行轻微的扰动，探测目标黑盒模型的输出发生何种变化，根据这种变化在兴趣点(原始输入)训练一个可解释性模型。该可解释性模型是黑盒模型的局部近似。

标准化的LIME(Normalized Local Interpretable Model-agnosticExplanations，NormLIME)：是在一定实例数量的LIME解释基础上，进行归一化计算后得到平均值，以此给出一个全局的解释。和LIME相似，NormLIME适用于任何模型；不同的是，NormLIME给出的是对模型的整体解释，在全局上评估每个特征对模型预测结果的重要程度，即特征重要度。实验表明，即使在黑盒模型下，NormLIME也可以准确地计算出全局的特征重要度。

目前，通过对模型进行决策的原因进行理解，可以使模型给出的决策结果或者识别结果具有更高的可信度。例如，在金融风险控制场景中，通过风险识别模型对用户进行风险识别，得到的识别结果是用户的风险较高，该识别结果则常被作为拒绝向用户提供服务的依据，那么需要为该识别结果提供合理的解释，为该识别结果的可靠性提供证明，才能避免用户的投诉。现有技术中，为了提高模型的可信度，避免用户投诉，常使用具有较好可解释性的模型来进行识别或者决策，例如线性模型或者逻辑回归模型的每个特征系数可以表示最终决策过程中每个特征的权重，再例如基于决策树模型中输出的特征重要性指标也能够表示在模型决策的过程中特征所发挥的权重。然而，上述具有较好可解释性的模型的识别能力有限，无法应用到更多复杂的应用场景之中。

针对上述问题，本申请实施例提供一种模型解释方法，能够基于训练得到的可解释性模型对待解释模型进行解释，使待解释模型输出的识别结果或者决策结果具有更高的可靠性。

进一步地，通过选用与待解释模型的类型对应的可解释性模型进行模型解释，自动实现与待解释模型的适配，相比于现有技术中需要针对不同类型的待解释模型手动构建模型解释工具，本方案提高了模型解释的便利性。

本申请实施例的执行主体为电子设备，应理解，该电子设备可以为一种终端设备中，例如手机(Mobile Phone)、平板电脑(Pad)、电脑等；或者，该电子设备还可以是服务器。

图1为本申请实施例提供的一种电子设备100的架构示意图。如图1所示，电子设备100至少包括：模型解释准备装置110和模型解释装置120。

示例性的，模型解释准备装置110用于执行以下过程中的至少一种：确定待解释模型的类型；确定模型解释类型；确定模型解释程序。

示例性的，模型解释准备装置110可以通过对输入的模型文件进行格式判断待解释模型的类型，例如判断待解释模型的框架类型，是针对Python编程语言的软件机器学习库sklearn、优化的分布式梯度增强库xgboost、基于数据流编程的符号数学系统tensorflow、开源的Python机器学习库pytorch等框架的哪种。电子设备100通过模型解释准备装置110可以实现自动地判断模型解释类型，且支持多种机器学习模型和机器学习框架。

示例性的，模型解释准备装置110可以通过模型解释参数确定模型解释类型是local还是global，进而确定相应的用于模型解释的模型解释模块或者模型解释程序。

示例性的，上述模型解释模块可以包括LIME模块和NormLIME，LIME模块是以LIME技术为基础，实现对待解释模型进行local解释，NormLIME模块是以NormLIME为基础，实现对待解释模型进行global解释。因此，电子设备100通过模型解释准备装置110，可以基于模型解释类型，选择不同的模型解释模块进行模型解释。

示例性的，模型解释装置120基于模型解释准备装置110的执行结果，对待解释模型进行解释。

在一些实施例中，电子设备100还包括预处理装置130。预处理装置130用于进行数据加载和/或配置参数解析。

示例性的，预处理装置130加载的数据主要是待解释模型的训练集、测试集和/或实例数据。其中如果是local模式的话，测试集中包括要解释的样本。通常local模型解释是针对单个样本或者单个实例进行解释的，这里将所有待解释的样本或实例保存起来，并针对单个样本或单个实例进行批量的模型解释。

示例性的，预处理装置130解析的配置参数包括模型解释参数，即模型解释方法所需要的参数，如模型解释类型，以及一些超参。这些参数可以是可选配置，如果未配置选用默认配置。

在一些实施例中，电子设备100还包括输出装置140。输出装置140用于将模型解释装置120的解释结果进行保存或者进行可视化展示。

下面通过几个实施例对本申请进行具体说明。

本申请实施例中，对待解释模型进行模型解释可以至少包括以下三种可选的方式：

方式一：对待解释模型进行局部模型解释；

方式二：对待解释模型进行全局模型解释；

方式三：对待解释模型进行局部模型解释和全局模型解释。

在一些实施例中，在对待解释模型进行模型解释之前，可先获取模型解释类型，应理解，模型解释类型包括局部解释类型和/或全局解释类型，并根据模型解释类型采用对应的处理方式，得到对应的解释结果。例如在模型解释类型为局部解释类型时，通过LIME模块对待解释模型进行局部模型解释，在模型解释类型为全局解释类型时，通过NormLIME模块对待解释模型进行全局模型解释，在模型解释类型包括局部解释类型和全局解释类型时，分别通过LIME模块和NormLIME模块对待解释模型进行局部模型解释和全局模型解释。

其中，获取模型解释类型可以通过接收用户输入的模型解释参数确定，应理解，该模型解释参数可以指示模型的解释类型的标识，根据模型解释类型的标识确定模型解释类型为局部解释类型，或者全局解释类型或者局部解释类型和全局解释类型。

首先，结合图2所示对上述方式一进行说明。

图2为本申请实施例提供的一种模型解释方法200的流程示意图。如图2所示，该方法包括：

S201：获取与待解释模型的类型对应的可解释性模型；

S202：将经过该待解释模型识别的n个实例数据输入该可解释性模型，分别得到该n个实例数据中每个实例数据的解释结果，n≥1，该实例数据的解释结果用于表征该实例数据中的至少一个特征在该可解释性模型对该实例数据进行识别时的权重。

需要说明的是，可解释性模型可以是预先训练好的模型，示例性的，可预先针对不同待解释模型的类型，训练得到对应的可解释性模型。

步骤S201可以是电子设备从预先训练的多个可解释性模型中确定与待解释模型的类型对应的可解释性模型，或者可以是电子设备基于待解释模型的类型训练得到的可解释性模型。

应理解，实例数据为经过待解释模型识别的数据，即待解释模型以就每个实例数据进行了识别或者决策，并得到了对应的识别结果或者决策结果。例如，在金融风险控制领域，通过风险识别模型对输入的多个用户的用户数据进行识别，得到每个用户的风险识别结果，其中风险识别模型即为待解释模型，每个用户为一个实例，每个用户对应的用于表示该用户特征的用户数据即为一个实例数据。

示例性的，每个实例数据的解释结果可以包括该实例数据所包含的全部特征的权重，或者每个实例数据的解释结果可以为实例数据所包含的全部特征的权重的排序。应理解，特征的权重体现了在待解释模型对该实例数据进行识别或者说决策时，该特征为得到最后的识别结果或者决策结果贡献的程度。

可选的，n个实例数据可以是通过接收用户输入或者选择的实例数据，或者是接收用户发起的模型解释申请中携带的与该用户对应的示例数据。

可选的，电子设备将实例数据输入可解释性模型之前可以对实例数据进行标准化处理，使实例数据的值处于预设区间中。

在一些实施例中，当n＞1，即需要针对多个实例数据，对待解释模型进行模型解释时，可以依次将n个实例数据输入可解释性模型，分别得到n个实例数据中每个实例数据的解释结果。

然而，在实例数据的数量较大时，为了提高处理效率，结合图3所示，电子设备还可以将n个实例数据划分为m个实例数据集合，m＞1，并针对每个实例数据集合，将实例数据集合输入对应的计算节点部署的可解释性模型，分别得到n个实例数据中每个实例数据的解释结果，实现分布式处理。示例性的，针对每个实例数据集合，可以将实例数据集合中的至少一个实例数据依次输入对应的计算节点的可解释性模型，以得到该实例数据集合中每个实例数据的解释结果。

在本实施例中，将经过待解释模型识别的n个实例数据输入可解释性模型，得到n个实例数据中每个实例数据的解释结果，使待解释模型输出的识别结果或者决策结果能够被理解，具有更高的可靠性。进一步地，通过与待解释模型的类型对应的可解释性模型进行模型解释，实现了针对不同类型的待解释模型的自动匹配可解释性模型，不需要手动构建模型解释工具，提高了模型解释的便利性。

下面结合图4和图5所示，对上述方式二进行说明。

图4为本申请实施例提供的一种模型解释方法400的流程示意图。如图4所示，该方法包括：

S201：获取与待解释模型的类型对应的可解释性模型；

S202：将经过该待解释模型识别的n个实例数据输入该可解释性模型，分别得到该n个实例数据中每个实例数据的解释结果，n≥1，该实例数据的解释结果用于表征该实例数据中的至少一个特征在该可解释性模型对该实例数据进行识别时的权重。

S203：基于该n个实例数据中每个实例数据的解释结果，确定该待解释模型的解释结果，该待解释模型的解释结果用于表征每个实例数据中的每个特征在该待解释模型进行识别时的权重的平均值。

本实施例中，步骤S201和步骤S202与图2所示实施例中相应的步骤具有相同或者相似的实现方式，此处不再赘述。

需要说明的是，待解释模型的解释结果，可以理解为对待解释模型的全局模型解释。该待解释模型的解释结果可以包括输入待解释模型的每个特征在该待解释模型进行识别时的权重的平均值，或者为权重的平均值的排序。

示例性的，可以通过对n个实例数据中各实例数据的及时结果进行归一化计算，得到每个特征的权重的平均值。

示例性的，针对n个实例数据中每个实例数据中的每个特征，确定该特征在n个实例数据中的权重的平均值，并将n个实例数据中每个实例数据中的每个特征对应的权重的平均值进行组合，得到所述待解释模型的解释结果。

可选的，n个实例数据可以是待解释模型识别或者决策过的全部示例数据，或者可以是接收到的模型解释请求中携带的实例数据的信息。

应理解，实例数据的数量越多，即n越大时，解释结果中所包含的特征的数量约接近待解释模型识别过的特征的数量，即解释结果对待解释模型的理解越准确。

本实施例中，基于n个实例数据中每个实例数据的解释结果，确定待解释模型的解释结果，实现了对待解释模型的全局模型解释。

除了图4所示实施例，上述方式二还可以包括图5所示的实现方式。

图5为本申请实施例提供的一种模型解释方法500的流程示意图。如图5所示，该方法包括：

S204：基于预设的采样信息，从p个实例数据中进行采样，得到n个实例数据，p≥n。

S201：获取与待解释模型的类型对应的可解释性模型；

S202：将经过该待解释模型识别的n个实例数据输入该可解释性模型，分别得到该n个实例数据中每个实例数据的解释结果，n≥1，该实例数据的解释结果用于表征该实例数据中的至少一个特征在该可解释性模型对该实例数据进行识别时的权重。

S203：基于该n个实例数据中每个实例数据的解释结果，确定该待解释模型的解释结果，该待解释模型的解释结果用于表征每个实例数据中的每个特征在该待解释模型进行识别时的权重的平均值。

其中，步骤S201至步骤S203与图4所示实施例类似，此处不再赘述。

本实施例中，对步骤S204和步骤S201的执行的先后顺序不做要求，且可以同时执行。

需要说明的是，采样信息可以包括采样比例或者采样值。

可选的，p个实例数据可以是待解释模型识别或者决策过得全部实例数据，或者p个实例数据可以是接收到的模型解释请求中携带的实例数据的信息。

本实施例中，从p个实例数据中进行采样，得到n个实例数据，能够在实例数据量过大时有效减少数据量，提高模型解释的效率。

下面对上述方式三进行说明。

需要说明的是，方式三中的模型解释类型可以是接收的模型解释请求中携带的模型解释参数，示例性的，模型解释请求中还可以携带有用于局部模型解释的n个实例数据的信息和用于全局模型解释的n个实例数据或p个实例数据。

在方式三中，可以通过上述图2、图4或图5所示实施例中任一实施例的步骤S201和步骤S202，得到n个实例数据中每个实例数据的解释结果。

进一步地，若模型解释请求中携带有用于全局模型解释的n个实例数据的信息，可以通过图4或图5所示实施例中的过程，基于n个实例数据的解释结果确定待解释模型的解释结果。应理解，n的大小应满足全局模型解释对实例数据的数量要求。

在一些实施例中，若模型解释请求中携带有用于全局模型解释的p个实例数据的信息，则基于预设的采样信息，从p个实例数据中进行采样，得到n个实例数据，并基于n个实例数据中每个实例数据的解释结果，确定待解释模型的解释结果。应理解，p的大小超出了全局模型解释对实例数据的数量要求。

在一些实施例中，模型解释请求中未携带用于全局模型解释的示例数据的信息，则基于预设的采用信息，从待解释模型识别或者决策过的全部实例数据中进行采样，得到n个实例数据，并基于n个实例数据中每个实例数据的解释结果，确定待解释模型的解释结果。

在上述方式一至方式三中的任一实施例的基础上，本实施例还可以获取所述待解释模型的类型。示例性的，可以通过识别待解释模型的文件格式，并基于待解释模型的文件格式，确定待解释模型的类型。例如，待解释模型可以是sklearn、xgboost、tensorflow、pytorch等框架的模型，则基于上述任一框架所训练得到的待解释模型的文件格式均不相同，具体可以体现在文件的后缀不同。

下面对本申请实施例中涉及的可解释性模型的训练和测试过程进行示例性的说明。

示例性的，可以基于待解释模型的类型，确定对应的模型解释程序，并通过运行该模型解释程序，训练得到可解释性模型。

在运行模型解释程序的过程中，可以将预先加载的训练集作为输入，训练得到可解释性模型。可选的，可对训练集中的训练样本进行标准化处理，使训练样本的值处于预设区间内。

可选的，该训练集也用于训练对应的待解释模型。

进一步地，对于训练得到的可解释性模型，可基于预先加载的测试集，对该可解释性模型进行测试，对可解释性模型的准确性进行验证。可解释性模型对于测试集的识别过程与上述实施例中对实例数据的识别过程类似，此处不再赘述。

本实施例中，可以将得到的解释结果进行保存和/或进行可视化的展示。示例性的，将上述实施例中的任意解释结果和模型解释上下文信息进行保存，解释结果包括通过模型解释得到的特征排序权重，包括单个实例对应的权重和全局模型的权重，模型解释上下文信息主要是指模型解释的相关参数，包括待解释模型的类型，模型解释类型，以及用到的相应解释参数信息；可视化展示为，将模型解释得到的特征的权重通过图、表格或文字的方式展示给用户，使用户可以一目了然地获知各特征在决策中起到的作用的大小，以及起正向还是负向作用等信息。

图6为本申请实施例提供的一种电子设备600的示意性框图。如图6所示，该电子设备600包括：

获取单元610，用于获取与待解释模型的类型对应的可解释性模型；

处理单元620，用于将经过该待解释模型识别的n个实例数据输入该可解释性模型，分别得到该n个实例数据中每个实例数据的解释结果，n≥1，该实例数据的解释结果用于表征该实例数据中的至少一个特征在该待解释模型对该实例数据进行识别时的权重。

在一些实施例中，处理单元620具体用于：

基于该待解释模型的类型，确定对应的模型解释程序；

通过运行该模型解释程序，训练得到该可解释性模型。

在一些实施例中，获取单元610具体用于：

获取该待解释模型的类型。

在一些实施例中，获取单元610具体用于：

识别该待解释模型的文件格式；

基于该待解释模型的文件格式，确定该待解释模型的类型。

在一些实施例中，获取单元610还用于：

获取模型解释类型，该解释类型包括局部解释类型和/或全局解释类型。

在一些实施例中，处理单元620还用于：

基于n个实例数据中每个实例数据的解释结果，确定该待解释模型的解释结果，n＞1，该待解释模型的解释结果用于表征每个实例数据中的每个特征在该待解释模型进行识别时的权重的平均值。

在一些实施例中，电子设备600还包括：

采样单元630，用于基于预设的采样信息，从p个实例数据中进行采样，得到该n个实例数据，p＞n。

在一些实施例中，处理单元620具体用于：

针对该n个实例数据中每个实例数据中的每个特征，确定该特征在该n个实例数据中的权重的平均值；

将该n个实例数据中每个实例数据中的每个特征对应的权重的平均值进行组合，得到该待解释模型的解释结果。

在一些实施例中，处理单元620具体用于：

依次将该n个实例数据输入可解释性模型，分别得到该n个实例数据中每个实例数据的解释结果；或者，

将该n个实例数据划分为m个实例数据集合，m＞1；针对每个实例数据集合，将该实例数据集合输入对应的计算节点部署的可解释性模型，分别得到该n个实例数据中每个实例数据的解释结果。

上述实施例提供的电子设备，可以执行上述方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。

图7为本申请实施例提供的一种电子设备700示意性结构图。如图7所示的电子设备包括处理器710，处理器710可以从存储器中调用并运行计算机程序，以实现本申请实施例中的方法。

可选地，如图7所示，电子设备700还可以包括存储器720。其中，处理器710可以从存储器720中调用并运行计算机程序，以实现本申请实施例中的方法。

其中，存储器720可以是独立于处理器710的一个单独的器件，也可以集成在处理器710中。

可选地，如图7所示，电子设备700还可以包括收发器730，处理器710可以控制该收发器730与其他设备进行通信，具体地，可以向其他设备发送信息或数据，或接收其他设备发送的信息或数据。

其中，收发器730可以包括发射机和接收机。收发器730还可以进一步包括天线，天线的数量可以为一个或多个。

可选地，该电子设备700可以实现本申请实施例的各个方法对应的相应流程，为了简洁，在此不再赘述。

应理解，本申请实施例的处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法实施例的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器、数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。

可以理解，本申请实施例中的存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data RateSDRAM，DDR SDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(DirectRambus RAM，DR RAM)。应注意，本文描述的系统和方法的存储器旨在包括但不限于这些和任意其它适合类型的存储器。

应理解，上述存储器为示例性但不是限制性说明，例如，本申请实施例中的存储器还可以是静态随机存取存储器(static RAM，SRAM)、动态随机存取存储器(dynamic RAM，DRAM)、同步动态随机存取存储器(synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(double data rate SDRAM，DDR SDRAM)、增强型同步动态随机存取存储器(enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(synch link DRAM，SLDRAM)以及直接内存总线随机存取存储器(Direct Rambus RAM，DR RAM)等等。也就是说，本申请实施例中的存储器旨在包括但不限于这些和任意其它适合类型的存储器。

本申请实施例还提供了一种计算机可读存储介质，用于存储计算机程序。

可选的，该计算机可读存储介质可应用于本申请实施例中的电子设备，并且该计算机程序使得计算机执行本申请实施例的各个方法中由的相应流程，为了简洁，在此不再赘述。

本申请实施例还提供了一种计算机程序产品，包括计算机程序指令。

可选的，该计算机程序产品可应用于本申请实施例中的电子设备，并且该计算机程序指令使得计算机执行本申请实施例的各个方法中的相应流程，为了简洁，在此不再赘述。

本申请实施例还提供了一种计算机程序。

可选的，该计算机程序可应用于本申请实施例中的服务器，当该计算机程序在计算机上运行时，使得计算机执行本申请实施例的各个方法中的相应流程，为了简洁，在此不再赘述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的设备、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。针对这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

Claims (12)

1.一种模型解释方法，其特征在于，包括：

获取与待解释模型的类型对应的可解释性模型；

将经过所述待解释模型识别的n个实例数据输入所述可解释性模型，分别得到所述n个实例数据中每个实例数据的解释结果，n≥1，所述实例数据的解释结果用于表征所述实例数据中的至少一个特征在所述待解释模型对所述实例数据进行识别时的权重。

2.根据权利要求1所述的方法，其特征在于，所述获取与待解释模型的类型对应的可解释性模型，包括：

基于所述待解释模型的类型，确定对应的模型解释程序；

通过运行所述模型解释程序，训练得到所述可解释性模型。

3.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：

获取所述待解释模型的类型。

4.根据权利要求3所述的方法，其特征在于，所述获取所述待解释模型的类型包括：

识别所述待解释模型的文件格式；

基于所述待解释模型的文件格式，确定所述待解释模型的类型。

5.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：

获取模型解释类型，所述解释类型包括局部解释类型和/或全局解释类型。

6.根据权利要求5所述的方法，其特征在于，在所述模型解释类型包括所述全局解释类型时，所述方法还包括：

基于n个实例数据中每个实例数据的解释结果，确定所述待解释模型的解释结果，n＞1，所述待解释模型的解释结果用于表征每个实例数据中的每个特征在所述待解释模型进行识别时的权重的平均值。

7.根据权利要求6所述的方法，其特征在于，所述方法还包括：

基于预设的采样信息，从p个实例数据中进行采样，得到所述n个实例数据，p＞n。

8.根据权利要求6或7所述的方法，其特征在于，所述基于所述n个实例数据中每个实例数据的解释结果，确定所述待解释模型的解释结果，包括：

针对所述n个实例数据中每个实例数据中的每个特征，确定所述特征在所述n个实例数据中的权重的平均值；

将所述n个实例数据中每个实例数据中的每个特征对应的权重的平均值进行组合，得到所述待解释模型的解释结果。

9.根据权利要求1或2所述的方法，其特征在于，在n＞1时，所述将经过所述待解释模型识别的n个实例数据输入所述可解释性模型，分别得到所述n个实例数据中每个实例数据的解释结果，包括：

依次将所述n个实例数据输入可解释性模型，分别得到所述n个实例数据中每个实例数据的解释结果；或者，

将所述n个实例数据划分为m个实例数据集合，m＞1；针对每个实例数据集合，将所述实例数据集合输入对应的计算节点部署的可解释性模型，分别得到所述n个实例数据中每个实例数据的解释结果。

10.一种电子设备，其特征在于，包括：

获取单元，用于获取与待解释模型的类型对应的可解释性模型；

处理单元，用于将经过所述待解释模型识别的n个实例数据输入所述可解释性模型，分别得到所述n个实例数据中每个实例数据的解释结果，n≥1，所述实例数据的解释结果用于表征所述实例数据中的至少一个特征在所述待解释模型对所述实例数据进行识别时的权重。

11.一种电子设备，其特征在于，包括：处理器和存储器；

所述存储器用于存储计算机程序；

所述处理器用于调用并运行所述存储器中存储的计算机程序，执行如权利要求1至9任一项所述的方法。

12.一种计算机可读存储介质，其特征在于，用于存储计算机程序，所述计算机程序使得计算机执行如权利要求1至9任一项所述的方法。

Images