CN114048862A - 模型的解释方法及装置 - Google Patents

Abstract

本公开涉及一种模型的解释方法及装置，该方法包括：基于第一类参数特征确定待解释模型为第一模型；获取所述第一模型对应的输入数据；基于所述输入数据对所述第一模型进行分析，得到用于对所述第一模型进行解释的第一可解释性方案，其中，所述第一可解释性方案的解释参数至少基于所述第一模型的模型属性确定；利用所述第一可解释性方案对所述第一模型进行解释，得到解释结果；基于所述解释结果，确定所述第一模型的解释相关度，其中，所述解释相关度用于表征所述解释参数对所述第一模型的解释效果。本公开能够自动生成模型的可解释性方案，使复杂的机器学习模型白盒化，且可以基于解释结果对模型参数进行调整、优化，提高模型的透明度和可信度。

Description

模型的解释方法及装置

技术领域

本公开涉及人工智能技术领域，具体涉及一种模型的解释方法及装置。

背景技术

随着人工智能技术的高速发展，越来越多的企业或个人将AI技术应用于生产生活各个方面，利用人工智能分析长期积累的各类数据，解决实际生产生活过程中面临的实际问题。然而，很多机器学习模型类似于“黑箱”，输入数据后可输出结果，但却无法了解其内部的决策机制，无法满足业务场景的需求。

现有技术中需要结合模型具体使用的业务场景，手工定制模型可解释性方案，自动化程度较低，且用户需要对模型原理、常用的模型可解释性算法有相应了解，对于未知业务场景的模型便无法进行解释。另外，现有技术中虽然能够实现模型的自动解释，但仅能够对线性模型等简单模型进行解释，对于复杂的深度神经网络等模型无法进行有效解释。

发明内容

本公开实施例提供了一种模型的解释方法及装置，能够解决现有技术中对模型解释性较差的问题。

根据本公开的方案之一，提供一种模型的解释方法，包括：

基于第一类参数特征确定待解释模型为第一模型；

获取所述第一模型对应的输入数据；

基于所述输入数据对所述第一模型进行分析，得到用于对所述第一模型进行解释的第一可解释性方案，其中，所述第一可解释性方案的解释参数至少基于所述第一模型的模型属性确定；

利用所述第一可解释性方案对所述第一模型进行解释，得到解释结果；

基于所述解释结果，确定所述第一模型的解释相关度，其中，所述解释相关度用于表征所述解释参数对所述第一模型的解释效果。

在一些实施例中，所述第一模型的模型属性包括所述第一模型的模型任务，所述基于所述输入数据对所述第一模型进行分析，得到用于对所述第一模型进行解释的第一可解释性方案，包括：

根据所述第一模型的模型任务对所述输入数据进行处理；

将处理后的所述输入数据输入所述第一模型，得到所述第一模型的第一输出结果；

根据所述第一输出结果确定所述第一模型的第一解释参数，所述第一解释参数包括所述输入数据中输入特征对所述第一模型的重要度。

在一些实施例中，所述方法还包括：

根据所述第一模型的模型任务对所述输入数据中的输入特征进行调整，将调整后的所述输入特征输入所述第一模型中，得到第二输出结果；

根据所述第二输出结果确定所述第一模型的第二解释参数，其中，所述第二解释参数包括所述输入特征对所述第一模型的输出结果的影响方式。

在一些实施例中，所述第一可解释性方案还包括所述第一模型的解释方式，所述方法还包括：

基于所述第一模型的模型属性和/或输入数据的数据属性，确定所述第一模型的解释方式，其中，所述输入数据的数据属性包括数据类型和/或数据大小。

在一些实施例中，所述基于所述解释结果，确定所述第一模型的解释相关度，包括：

确定所述解释参数对所述第一模型的输出结果的贡献度；

基于所述贡献度和所述第一模型的预设输入特征确定所述第一模型的解释相关度；

基于所述解释相关度调整所述第一模型的输入特征。

在一些实施例中，所述基于第一类参数特征确定待解释模型为第一模型，包括：

基于所述待解释模型的模型复杂度、模型结构或模型格式中的至少一种判断所述待解释模型是否为深度学习模型；

若是，确定所述待解释模型为所述第一模型。

在一些实施例中，所述方法还包括：

基于第二类参数特征确定所述待解释模型为第二模型；

对所述第二模型进行分析，得到用于解释所述第二模型的第二解释性方案。

在一些实施例中，所述对所述第二模型进行分析，得到用于解释所述第二模型的第二解释性方案，包括：

判断所述第二模型是否包含特征工程；

若包含，基于所述特征工程中数据清理、特征提取以及特征选择的方式配置所述第二可解释性方案；和/或

基于所述第二模型处理的任务类别配置所述第二可解释性方案，其中，所述任务类别包括回归、分类、聚类或降维中的至少一种；和/或

基于是否存在适用于所述第二模型的输入数据，以及是否需要对所述输入数据进行采样配置所述第二可解释性方案。

在一些实施例中，在确定所述待解释模型的类型之后，所述方法还包括：

基于所述待解释模型的类型，确定是否存在适用所述待解释模型的第三可解释性方案，其中，所述第三可解释性方案预先确定。

根据本公开的方案之一，还提供一种模型的解释装置，包括：

第一确定模块，配置为基于第一类参数特征确定待解释模型为第一模型；

获取模块，配置为获取所述第一模型对应的输入数据；

分析模块，配置为基于所述输入数据对所述第一模型进行分析，得到用于对所述第一模型进行解释的第一可解释性方案，其中，所述第一可解释性方案的解释参数至少基于所述第一模型的模型属性确定；

解释模块，配置为利用所述第一可解释性方案对所述第一模型进行解释，得到解释结果；

第二确定模块，配置为基于所述解释结果，确定所述第一模型的解释相关度，其中，所述解释相关度用于表征所述解释参数对所述第一模型的解释效果。

本公开的各种实施例提供的模型的解释方法及装置，基于第一类参数特征确定出待解释模型为第一模型后，基于第一模型对应的输入数据对该第一模型进行分析得到用于解释第一模型的第一可解释性方案，并利用该第一可解释性方案对第一模型自动、合理地解释，使得复杂的机器学习模型白盒化，且在利用第一可解释性方案对第一模型进行解释后，可以基于解释结果对第一模型的模型参数进行调整、优化，得到更加可信、合理的第一模型，提高模型透明度和可信度。

附图说明

图1示出本公开实施例的模型的解释方法的流程图；

图2示出本公开实施例的模型的解释方法的另一流程图；

图3示出本公开实施例的模型的解释方法的又一流程图；

图4示出本公开实施例的模型的解释方法的解释方式的展示示意图；

图5出本公开实施例的模型的解释装置的结构示意图。

具体实施方式

此处参考附图描述本公开的各种方案以及特征。

应理解的是，可以对此处申请的实施例做出各种修改。因此，上述说明书不应该视为限制，而仅是作为实施例的范例。本领域的技术人员将想到在本公开的范围和精神内的其他修改。

包含在说明书中并构成说明书的一部分的附图示出了本公开的实施例，并且与上面给出的对本公开的大致描述以及下面给出的对实施例的详细描述一起用于解释本公开的原理。

通过下面参照附图对给定为非限制性实例的实施例的优选形式的描述，本公开的这些和其它特性将会变得显而易见。

还应当理解，尽管已经参照一些具体实例对本公开进行了描述，但本领域技术人员能够确定地实现本公开的很多其它等效形式。

当结合附图时，鉴于以下详细说明，本公开的上述和其他方面、特征和优势将变得更为显而易见。

此后参照附图描述本公开的具体实施例；然而，应当理解，所申请的实施例仅仅是本公开的实例，其可采用多种方式实施。熟知和/或重复的功能和结构并未详细描述以避免不必要或多余的细节使得本公开模糊不清。因此，本文所申请的具体的结构性和功能性细节并非意在限定，而是仅仅作为权利要求的基础和代表性基础用于教导本领域技术人员以实质上任意合适的详细结构多样地使用本公开。

图1示出了本公开实施例的模型的解释方法的流程图。如图1所示，本公开实施例提供了一种模型的解释方法，包括：

S101：基于第一类参数特征确定待解释模型为第一模型。

在获取待解释模型后，对待解释模型进行初步分析，判断待解释模型中是否包含第一类参数特征，以确定待解释模型是否为第一模型。

待解释模型是预先训练好的模型，待解释模型可以为任意的机器学习模型，例如，可以为线性回归模型、决策树等简单模型，或者各类神经网络模型(例如CNN卷积神经网络模型)等复杂模型，也可以为上述简单模型和复杂模型的组合。

本实施例中，第一模型优选为深度学习模型，具有较为复杂的模型结构和运算逻辑。深度学习模型可以包括但不限于卷积神经网络(convolutional neural networks，CNN)、循环神经网络(recurrent neural networks，RNN)、长短期记忆网络(long short-term memory，LSTM)、前馈全连接式的深度神经网络(deep neuralnetworks，DNN)或者生成对抗网络(GAN)。另外，深度学习模型还可以是多个神经网络的结合，例如深度学习模型可以同时包含CNN和RNN。

第一类参数特征包括模型复杂度、模型结构、或模型格式等用于区分第一模型和其他模型的参数特征。

步骤S101具体包括如下步骤：

S1011：基于所述待解释模型的模型复杂度、模型结构或模型格式中的至少一种判断所述待解释模型是否为深度学习模型；

S1012：若是，确定所述待解释模型为第一模型。

由于深度学习模型一般较为复杂且包含N层结构，因此，可以基于模型复杂度和/或模型结构判断所述待解释模型是否为深度学习模型；深度学习模型一般以特定的数据可以数据格式进行存储，因此，也可以基于模型格式确定待解释模型是否为深度学习模型。

S102：获取所述第一模型对应的输入数据。

由于第一模型为深度学习模型，仅仅基于第一模型自身的模型结构特征无法对第一模型进行有效解释，因此，在获取第一模型后，获取第一模型对应的输入数据。

输入数据的数据类型可以包括但不限于文本、图片、表格、图表、音频以及视频。例如，第一模型为用于图像识别的模型时，输入数据可以为图片；第一模型为用于进行文本处理、语义理解、机器翻译等自然语言处理(NLP)的模型时，输入数据既可以为文本也以为包含文本的图片。

S103：基于所述输入数据对所述第一模型进行分析，得到用于对所述第一模型进行解释的第一可解释性方案，其中，所述第一可解释性方案的解释参数至少基于所述第一模型的模型属性确定。

在获取输入数据后，可以将输入数据输入第一模型中，第一模型可以对输入数据进行特征提取，提取用作第一模型的输入的输入特征，利用提取的输入特征和与输入特征对应的运算逻辑进行计算得到第一模型的输出结果，该输出结果可以为预测结果、识别结果等。

可以理解的是，输入数据是输入到待解释模型进行预测的数据，输入数据的形式与待解释模型训练过程中采用的训练数据样本的形式相同，输入数据对应的各输入特征的提取方式与训练数据样本对应的各输入特征的提取方式也相同。示例性地，对于医疗领域，输入数据可以为患者的各项指标数据，输出结果可以为与各项指标数据对应的患病类型或具体的诊疗方案推荐等预测结果。对于船舶油耗的预测，输入数据可以为与船舶油耗相关的船舶行驶数据，预测结果可以为不同船舶行驶数据对应的油耗。

在得到输出结果后，可以根据输出结果对第一模型进行分析，为第一模型配置第一可解释性方案，以解释从输入数据到输出结果的决策过程。

进一步地，在为第一模型配置第一可解释性方案时，基于第一模型的模型属性确定对应的第一可解释性方案的解释参数，从而可以为不同的第一模型配置不同的第一可解释性方案，以提高第一可解释性方案配置的准确性。

本实施例中，第一可解释性方案的解释参数可以为用于解释第一模型的相关参数，例如，解释参数可以为输入数据中对第一模型的决策结果产生影响的输入特征(及其具体的特征参数)，即根据特征重要性对第一模型进行解释。示例性地，在确定患者患有乳腺癌时，解释参数可以为年龄这一输入特征，以解释乳腺癌与年龄的相关性。再例如，上述预测油耗的模型中，解释参数可以为船舶的航行情况(方向、航速、航程等)以及气候情况(风向、气温等)等输入特征，以解释上述输入特征如何对油耗造成影响。

S104：利用所述第一可解释性方案对所述第一模型进行解释，得到解释结果。

在配置好用于对第一模型进行解释的第一可解释性方案后，直接利用该第一可解释性方案便可对第一模型进行解释，得到解释结果。

S105：基于所述解释结果，确定所述第一模型的解释相关度，其中，所述解释相关度用于表征所述解释参数对所述待解释模型的解释效果。

其中，解释参数对所述待解释模型的解释效果是指解释参数能否对第一模型进行较好的解释，使得第一模型给出的预测结果具有更高的可信度。

若第一模型的解释相关度较高，可以确定上述解释参数能够对第一模型进行有效解释，第一模型的可信度较高，合理可用；若第一模型的解释相关度较低，可以确定上述解释参数未能对第一模型进行有效解释，第一模型的可信度较低，需要对第一模型进行继续训练，或者对第一模型的模型参数(影响决策结果的特征)进行调整后训练，以得到可信的第一模型。

解释参数可能包含对决策结果(预测结果)有影响的全部的相关特征，例如，在影响船舶油耗的船舶行驶数据中，包含航行情况(方向、航速、航程等)、气候情况(风向、气温等)、地理信息(经纬度、洋流等)、船舶情况(载货量等)、各台发动机运转状况(转速、温度、压力)等100多项影响特征，部分特征与结果关联不大，可能甚至会成为模型噪音，干扰模型的预测结果。特别地，当解释参数包含的特征过多时，可能存在模型过拟合的可能性。因此，在步骤S104之后，需要基于解释结果，确定所述待第一模型的解释相关度，进而调整第一模型以得到更加可信的第一模型。

具体实施中，可以根据先验知识确定第一模型的解释相关度，例如，当用户通过步骤S104得到解释结果后，可以确定出第一模型的业务逻辑，例如，在根据第一可解释性方案确定出第一模型为银行理财推荐模型，且用户的投资偏好与收入正相关，收入越高越偏向于风险理财。而基于银行理财推荐经验可知，用户收入较低时，用户的投资偏好为保守型，可以向用户推荐国债等理财产品，因此，可以确定第一模型的解释相关度较高，第一可解释性方案可以对第一模型进行较好的解释；而当根据第一可解释性方案确定出用户的投资偏好与收入不相关或负相关时，可以基于经验知识，确定上述第一模型的解释相关度较低，第一可解释性方案未能对第一模型进行可信的解释，第一模型合理性、可信性较低，需要重新调整第一模型的模型参数。

本公开实施例提供的模型的解释方法基于第一类参数特征确定出待解释模型为第一模型后，基于第一模型对应的输入数据对该第一模型进行分析得到用于解释第一模型的第一可解释性方案，并利用该第一可解释性方案对第一模型自动、合理地解释，使得复杂的机器学习模型白盒化，提高模型的透明度，使用户及时了解模型中哪些特征比较重要、特征如何对最终结果造成影响等，且在利用第一可解释性方案对第一模型进行解释后，可以基于解释结果对第一模型的模型参数进行调整、优化，得到更加可信、合理的第一模型，提高模型的可信度。

在一些实施例中，如图2所示，所述第一模型的模型属性包括所述第一模型的模型任务，步骤S103基于所述输入数据对所述第一模型进行分析，得到用于对所述第一模型进行解释的第一可解释性方案，包括：

S1031：根据所述第一模型的模型任务对所述输入数据进行处理；

S1032：将处理后的所述输入数据输入所述第一模型，得到所述第一模型的第一输出结果；

S1033：根据所述第一输出结果确定所述第一模型的第一解释参数，其中，所述第一解释参数包括所述输入数据中输入特征对所述第一模型的重要度。

在一具体实施例中，所述第一模型的模型任务包括二分类任务，所述输入数据中包含待识别的第一目标对象，所述第一目标对象具有一个分类类别；步骤S1031至S1033具体包括如下步骤：

S10311：将所述输入数据划分为多个数据单元，每个所述数据单元至少包含一个数据特征；

S10312：通过随机隐藏不同的所述数据单元得到所述输入数据的一组关联数据，所述一组关联数据中每个关联数据中隐藏的数据单元存在不同；

S10321：将每个关联数据分别输入所述第一模型中，得到每个关联数据的分类识别结果，其中，所述分类识别结果表示识别出所述输入数据中所述目标对象的概率；

S10331：基于所述分类识别结果，确定所述第一模型的第一解释参数。

其中，二分类任务表示第一模型的分类任务中有两个类别，例如识别一幅图片中的水果是不是苹果。也就是说，第一模型中包含一个分类器，当输入数据为一幅图片时，输出结果根据是不是苹果分为两个分类类别，用0或1表示，当输出结果为1时表示图片中的水果是苹果，当输出结果为0时表示图片中的水果不是苹果。即二分类任务是假设每个输入数据都被设置了一个且仅有一个分类标签0或者1。当第一模型的模型任务包括二分类任务时，第一模型的预测结果为单一预测结果，即上述的第一目标对象具有一个分类类别。

本实施例中，第一模型为训练完成的二分类图像分类模型，输入数据为待识别的第一图片，以识别第一图片中的第一目标对象(例如苹果)为例，对上述步骤S10311-S10331进行具体说明。

具体实施中，先将第一图片划分为若干个图像单元，例如，按第一图片的尺寸大小横向均分为10份、纵向均分为10份，划分为100个图片单元；或者通过算法划分成100个连续超像素。超像素是指具有相似颜色、纹理、亮度等特征的互连像素。然后，通过步骤S1032随机隐藏部分图像单元，并对随机隐藏的图像单元进行标记，例如可以将该图像单元的颜色变为灰色，得到一组关联图片(例如N张)。其中，第一关联图片可以为隐藏第一图像单元后的图片，第二关联图片可以为隐藏第二图像单元后的图片，依次类推。将随机隐藏后的每个关联图片分别输入第一模型中得到每个关联图片的分类识别结果。对于每个关联图片，第一模型都会以一定概率判断每个关联图片是否包含苹果。例如，第一关联图片中识别出苹果的概率为70％，第二关联图片中识别出苹果的概率为50％，…第五关联图片中识别出苹果的概率为30％。然后将各分类识别结果分别与未遮挡的第一图片的预测结果进行对比，例如第一图片识别出苹果的概率为80％，而第一关联图片中识别出苹果的概率为70％，概率变化显著，因此，可以确定第一关联图片中被遮挡的图像单元中的特征能够对预测结果产生影响。同时，可以基于被遮挡的图像单元所在的位置确定特征所在的位置。以类似的方式将其他关联图片的分类识别结果分别与第一图片的识别结果进行对比，便可确定用户基于哪些特征(超像素)能够有效识别出第一图片中的苹果，从而得到第一模型的特征重要性这一解释参数。

可以理解的是，所述一组关联数据中每个关联数据中隐藏的数据单元存在不同包括一组关联数据中每个关联数据中隐藏的数据单元完全不同，例如第一关联图片为隐藏第一图像单元后的图片，第二关联图片为隐藏第二图像单元后的图片；也可以包括一组关联数据中每个关联数据中隐藏的数据单元存在相同，例如，第一关联图片为隐藏第一图像单元后的图片，第二关联图片为隐藏第一图像单元和第二图像单元后的图片。上述每个关联图片中隐藏的图像单元可以为多个，例如，第一关联图片为隐藏第一图像单元和第二图像单元后的图片，第二关联图片为隐藏第三至第五图像单元后的图片。

步骤S10311-S10331通过采用局部可理解的与模型无关的解释方法(LIME)，遮挡图片上的不同数据单元局部修改第一模型的输入，对输入数据进行扰动，获得扰动数据集；并记录各数据单元被遮挡后模型预测的置信度(预测概率)的变化，来确定对预测结果有重要影响的区域(即确定具有重要影响的输入特征)。若某一或某些数据单元被遮挡后，第一模型预测的置信度大幅度下降，则说明该数据单元是比较重要的。

特别地，通过步骤S10311和S10312对输入数据进行处理，可以将不同的数据特征在不同的关联图片中展示，从而更加方便地确定具有重要影响的输入特征。

进一步地，所述方法还包括：

S201：将每个所述关联数据与所述输入数据进行比对，得到所述关联数据与所述输入数据的相似度，其中，所述相似度基于所述关联数据中被隐藏的所述数据单元确定；

S202：基于所述相似度和所述分类识别结果通过线性回归模型得到每个所述关联数据中所述数据单元对应的所述数据特征的重要度；

S203：将所述重要度排名最高的至少一个所述数据特征确定为所述第一模型的解释参数。

具体地，对每个关联图片进行标记，并计算与输入的第一图片的相似度，例如，将每个关联图片中隐藏的图像单元标记为1，将未隐藏的图像单元标记为0，当单个关联图片中全部的图像单元全部被隐藏时(全部变为灰色)，可以确定该关联图片与第一图片的相似度为0，当单个关联图片中全部的图像单元均未被隐藏时，可以确定该关联图片与第一图片的相似度为1，类似地，可以基于隐藏的图像单元的数量(标记为1的数量)确定与第一图片的相似度。

基于与第一图片的相似度，得到每个关联图片的权重，与第一图片的相似度越高，权重越高；与第一图片的相似度越低，权重越低。同时，将这些关联图片分别输入第一模型进行分类识别，得到各关联图片对应的分类识别结果，将分类识别结果作为对应各关联图片的标签数据，使用各关联图片和其对应的标签数据构建一个训练数据集。训练数据集中，每个关联图片都对应一个图像单元(特征)、权重以及分类类别。基于上述利用权重局部加权的训练数据集训练得到一个简单的线性回归模型，在训练所得的线性回归模型中，每个图像单元对应一个系数(重要度)，系数越大(最高正权重)，说明对应的图像单元越重要。然后，将系数最高的至少一个图像单元对应的特征确定为所述第一模型的解释参数，该解释参数为对预测结果有重要影响的输入特征(特征重要性)。

上述步骤S201至S205在步骤S10311-S10331的基础上，基于所述扰动数据集中的扰动数据与输入数据的相似性，以及所述扰动数据的预测结果，建立简单的数据表示(线性回归模型)，观察哪些特征(超像素)的系数较大，从而明确哪一部分输入特征对预测结果产生重要影响。

本公开实施例中，由于上述第一模型的输出结果为单一预测结果，因此，可以克服LIME解释方法自身用于局部解释的局限性，无需考虑特征相互作用的影响。上述LIME解释方法可以适用于XGBoost、支撑向量机(SVM)等各种复杂的深度学习模型。由于LIME解释方法本身的出发点就是模型无关的，具有广泛的适用性。

LIME解释方法除了能够对图片的分类识别结果进行解释外，还可以应用到自然语言处理的相关任务中，如文本识别、词性标注等。例如，可以使用LIME解释方法得到一条信息被判断为垃圾短信是因为哪一个或几个关键词。

在另一些实施例中，所述第一模型的模型任务包括多分类任务，所述输入数据中包含待识别的第二目标对象，所述第二目标对象具有至少两个分类类别；步骤S1031至S1033具体包括如下步骤：

S10322：将所述输入数据输入所述第一模型中，预测所述第二目标对象的至少两个分类类别；

S10323：获取预测的各所述分类类别对应的预测概率；

S10332：将满足预设概率阈值或基于所述预测概率的大小排序确定的至少两个分类类别对应的数据特征确定为所述第一解释参数。

其中，多分类任务表示第一模型的分类任务中包含多个分类类别，即输入数据可能包含多个分类标签。仍以对图片中的目标对象进行分类识别为例对上述步骤S10322-S10332进行具体说明。例如，输入第一模型的第二图片中第二目标对象的分类类别可能为宫殿、教堂等十多类建筑类型。将第二图片输入第一模型，可以得到至少两个分类类别的预测结果及相应的预测概率，选取满足预设概率阈值或预测概率最高的类别作为第一模型最终的分类类别，上述预测概率最高的分类类别对应的图片特征(输入特征)即可确定为第一模型的第一解释参数。

本实施例中，由于第一模型的模型任务为多分类任务，因此，可以无需通过步骤S103对输入数据进行处理，直接将输入数据输入所述第一模型中。上述输入数据为图片，在一些实施例中，第一模型可以是文本分类模型，文本可以为由词语组成的文章，输入特征可以通过自然语言识别技术得到文本中各个词的特征向量，第一模型的第一解释参数的确定与上述图片分类类似，此处不再一一阐述。

在一些实施例中，如图3所示，所述方法还包括：

S1034：根据所述第一模型的模型任务对所述输入数据中的输入特征进行调整，将调整后的所述输入特征输入所述第一模型中，得到第二输出结果；

S1035：根据所述第二输出结果确定所述第一模型的第二解释参数，其中，所述第二解释参数包括所述输入特征对所述第一模型的输出结果的影响方式。

步骤S1034至S1035可以通过敏感性分析确定输入特征对第一模型的输出结果的具体影响方式，即某个输入特征发生变化时，预测结果如何发生对应变化。

具体地，第一模型的模型任务为文本分类任务(NLP)时，可以通过对文本中的词语进行添加、删减、替换以及改变语序等处理，以确定上述词语变化对整个文本语义的影响。例如，情感分类中，包含积极情感和消极情感，“我不喜欢巧克力”和“我_喜欢巧克力”表达的语义完全相反，因此，可以确定“不”对预测结果产生重要影响，进而可以确定该词语如何对预测结果产生影响。

在另一实施例中，第一模型的模型任务为图像分类处理任务，改变某一或某些输入特征的特征参数，可以为改变该输入特征对应的图片区域显示效果，例如，改变某一输入特征对应的图片区域的亮度、颜色、灰度或进行模糊处理等，以将处理后的图片输入第一模型中得到第二预测结果，如果处理前后的预测结果接近(具有相同的分类结果)，可以确定该输入特征的变化不影响最终的预测结果，第一模型的表现以及预测结果表现稳定。该影响方式也可以用于确定S1031至S1033中的特征重要性。

在又一实施例中，第一模型的模型任务为回归任务，改变输入数据中某些输入特征的数值以确定最终期望结果的变化，例如，输入数据的输入特征为房屋面积这一属性，在通过回归模型确定出房屋面积属性对房屋价格的影响(例如通过图表的形式展示房屋面积-价格曲线，横轴为房屋面积、纵轴为房价)之后，通过不断改变房屋面积的大小判断房屋面积-价格曲线的变化，进而可以确定房屋面积如何影响价格，例如房屋面积较小时，其价格随面积增大而增大，且每平米的单价可能较高；而房屋面积较大时，由于出售周期长，其每平米的单价反而会降低。

本实施例中，步骤S1034至S1035可以在步骤S1031至S1033的基础上执行，也可以单独执行，具体执行方式本公开不具体限定。

在一些实施例中，第一模型的模型任务还包括回归、聚类或降维任务等。例如，当模型任务为逻辑回归任务时，由于其输入特征通常是离散的，因此，在通过步骤S1031至S1033确定各特征的重要度后，可以对相似的特征进行聚类，得到特征组的重要度，以特征组的重要度作为第一解释参数。对于逻辑回归模型而言，计算一个输入特征的重要性，可将所有输入数据中的这个特征打散，然后基于模型进行曲线下面积(AUC)计算，并且将计算得到的AUC和原模型的AUC的差，作为这个特征的重要度。

在另一些实施例中，用于确定第一可解释性方案的第一模型的模型属性还可以包括第一模型的模型大小等。由于深度学习模型的大小由网络(特征参数数量以及特征参数的存储形式)决定，因此可以确定模型中包含的网络结构较多，在确定第一可解释性方案时可以预先对第一模型进行压缩，以便于对第一模型进行分析。

在一些实施例中，还可以基于输入数据的数据属性确定第一可解释性方案的解释参数，其中，数据属性包括数据类型、数据大小以及数据标签分布等。

数据类型可以为上述的文本、图片、表格、图表、音频以及视频等，数据大小可以为输入数据的数据量大小，数据标签分布可以为包含特殊标签的数据，例如，当第一模型的模型任务为分类任务时，确定输入数据的数据标签分布可以为确定输入数据是否平衡，若不平衡，则可能对预测结果产生影响，因此，可以获取更多的输入数据以使输入数据平衡，并将上述平衡的数据和非平衡的数据分别输入第一模型中，以对第一模型进行分析，确定第一模型的解释参数；当第一模型的模型任务为分类任务为回归任务时，确定输入数据的数据标签分布可以为确定输入数据中是否有极端样本，若有，可以将上述极端样本从输入数据中剔除，也可以分析为何获取的输入数据中是否有极端样本，以及将该极端样本输入第一模型中得到预测结果，根据该预测结果确定极端样本对第一模型的影响，进而确定第一模型的解释参数。

输入数据的数据属性既可以与上述第一模型的模型属性配合确定上述第一解释参数和第二解释参数，也可以单独使用确定上述第一解释参数、第二解释参数以及其他解释参数。

在一些实施例中，所述第一可解释性方案还包括所述第一模型的解释方式，所述方法还包括：

S1036：基于所述第一模型的模型属性和/或输入数据的数据属性，确定所述第一模型的解释方式，其中，所述输入数据的数据属性包括数据类型和/或数据大小。

具体来说，所述第一模型的解释方式可以为上述解释参数可视化展示方式。

示例性地，在确定出上述二分类模型的第一解释参数后，可以将第一图片中其它部分的颜色都标记成灰色，将第一解释参数突出显示，以便向用户直观展示输入数据中对预测结果造成最主要影响的输入特征。

示例性地，上述多分类模型的第一解释参数的确定过程中，在通过步骤S10323获取预测的各所述分类类别对应的预测概率之后，可以确定通过如下步骤确定所述第一模型的解释方式：

S301：基于确定的所述第二目标对象的分类类别，通过CAM算法获取所述分类类别对应的热力图；

S302：将所述热力图与所述输入数据叠加并可视化展示，确定所述分类类别对应的数据特征。

具体地，第一模型可以为卷积神经网络模型(CNN)，对于第二目标对象的每个分类类别的预测结果，可以利用CAM(Class Activation Mapping，类别激活映射)算法对第一模型进行可视化解释，通过视觉解释CNN做出预测时重点关注的区域(特征)。

对于一个分类类别c，首先，提取神经网络最后一个卷积层的结果，最后一个卷积层的特征图(feature map)包含K个通道(可简单视为K个M×N的矩阵或图片)，K个通道可以被认为提取到不同的特征，且每个通道对最后的预测结果贡献不同。CAM使用全局平均池化(GAP)在空间上对特征图进行池化，并对其进行线性变换以获得每一通道的权重，每一通道的权重分别为w₁ ^c,...,w_k ^c，然后将各特征图的通道线性加权求和(权重乘以对应的通道后相加)融合在一起即得到如图4中(b)所示的热力图(分类定位图)。在得到热力图后，可以通过上采样到原始输入的第二图片的大小或通过插值的方式将该热力图与第二图片叠加显示，便可根据热力图中的颜色深度确定当前分类类别主要取决于第二图片中的哪一区域，直观地对第一模型进行可视化解释，了解第一模型的决策过程。热力图中，颜色越接近红色，说明该区域的数据特征对预测结果影响越大，越接近蓝色，影响越小。

上采样(upsampling)或图像插值(interpolating)的主要目的是放大图像，从而可以显示在更高分辨率的显示设备上。

在一更优实施例中，可以通过Gradient-weighted Class Activation Mapping(Grad-CAM)算法，使用流入CNN的最后一个卷积层的梯度信息为每个神经元分配重要值，以确定解释参数。Grad-CAM与CAM的区别在于每一通道的权重的获取思路不一致。

Grad-CAM利用网络反向传播的梯度计算出特征图每一个通道的权重从而得到热力图，等价于CAM中的全局平均池化操作。

Grad-CAM中，每一通道的权重的计算公式表示如下：

其中，c表示分类类别，y^c是该类别对应的概率logits(即还没经过Softmax激活函数的值)，A表示卷积输出的特征图，k表示特征图的通道，i、j分别表示特征图的横、纵坐标，Z表示特征图的尺寸(即长×宽)。

进一步地，Grad-CAM对上述融合后的热力图采用ReLU函数，保留对分类具有积极作用的图片区域(超像素)，抑制对分类具有消极作用的图片区域。然后得到分类类别c对应的热力图，即

其中，

表示线性加权，即求特征图上梯度的均值。

CNN网络中，最后的卷积层对图片(或者其他输入)特征的捕获应该是最具体的，因此，在Grad-CAM中，使用流向CNN网络中最后一个卷积层的梯度信息来理解每个特征对于分类类别识别的重要性。Grad-CAM可以直接用于各种CNN网络(例如VGG、ResNet)而无需修改第一模型中网络的结构或重新训练第一模型，相较于CAM适用范围更广。

进一步地，在通过步骤S10332确定出第一解释参数后，例如，将预测概率最高的五个分类类别确定为第一解释参数之后，可以直接展示通过步骤S301和S302得到的上述五个分类类别对应的融合第二图片后的热力图，以直观展示对各预测结果造成最主要影响的输入特征以及正负相关作用等信息，从而对第一模型进行解释。

对于图片类的输入数据，可以通过在图片中对具有特征重要性的输入特征进行标记，例如，如图4中(a)所示将该输入特征通过虚线框出；也可以通过如图4中(b)所示热力图展示每个输入特征，并根据热力图中的颜色深度确定具有特征重要性的输入特征，以直观展示第一模型的第一解释参数。对于用于自然语言处理的文本类输入数据，可以采用词云或柱状图的形式展示方式，展示各单词或词语的重要性。例如，在如图4中(c)所示的词云中，单词的字体越大，可以确定该单词越重要；在如图4中(d)所示的柱状图中，柱体的纵轴高度越高该柱体对应的输入特征越重要。对于表格类输入数据，可以采用表格或图表(例如柱状图)，展示表格中每个属性的重要性。对于图片类的输入数据，可以利用表格的形式展示特征重要性。

另一些实施例中，也可以根据输入数据的大小来确定解释参数的展示方式，例如，当输入数据中的输入特征较多时，采用词云的方式时，在有限的展示空间内，各输入特征交叉覆盖较多，无法清楚地确定具有特征重要性的特征，此时可以采用如图4中(e)所示的表格，将各输入特征列表展示，并展示各输入特征的特征重要性权重及相应的排序。

通过上述确定第一模型的解释参数和解释方式等，便可自动生成用于解释第一模型的第一可解释性方案。

本实施例中，第一可解释性方案可以为基于输入数据和第一模型的模型属性生成的一具体的可解释模型，将第一模型和对应的输入数据一同输入该可解释模型中，便可得到第一模型的解释结果。

在一些实施例中，步骤S105基于解释结果，确定所述第一模型的解释相关度，包括：

S1051：确定所述解释参数对所述第一模型的输出结果的贡献度；

S1052：基于所述贡献度和所述第一模型的预设输入特征确定所述第一模型的解释相关度；

S1053：基于所述解释相关度调整所述第一模型的输入特征。

具体地，解释参数包括第一解释参数，即对第一模型的预测结果有重要影响的输入特征，贡献度表示各输入特征对模型预测结果的贡献。因此，可以通过计算各输入特征的贡献度，确定各输入特征的重要度，将该重要度和第一模型的预设输入特征进行比较，判断第一可解释性方案中确定的输入特征与第一模型的预设输入特征是否匹配，例如，在银行在进行放贷时，信贷模型的预设输入特征为年龄、性别、收入、个人征信等信息，且收入信息的重要度最高，而当第一可解释性方案中的解释参数也为上述信息，且收入信息的重要度最高时，可以确定第一模型的预设输入特征是合理的，该信贷模型的解释相关度较高，无需对第一模型进行调整；而当第一可解释性方案中的输入特征中包含未知的特征，例如包含飞行里程或旅行时长，而预设输入特征未包含该特征时，用户可以对第一模型的输入特征进行调整，将该过往没有关注的上述特征加入第一模型的输入特征中，对第一模型进行训练，并根据加入上述特征后第一模型的预测效果，通过不断调整模型参数，得到更加可信的第一模型。

在一些实施例中，所述方法还包括：

S401：基于第二类参数特征确定所述待解释模型为第二模型；

S402：对所述第二模型进行分析，得到用于解释所述第二模型的第二解释性方案。

其中，第二类参数特征可以与第一类参数特征相同，也可以不同。当第二类参数特征与第一类参数特征相同时，第二模型为除第一模型外的任意模型。当第二类参数特征与第一类参数特征不同时，第二模型可以为基于第二类参数特征直接确定出的模型，例如线性回归模型、决策树等模型。

在一些实施例中，步骤S402具体包括：

判断所述第二模型是否包含特征工程；

若包含，基于所述特征工程中数据清理、特征提取以及特征选择的方式配置所述第二可解释性方案；和/或

基于所述第二模型处理的任务类别配置所述第二可解释性方案，其中，所述任务类别包括回归、分类、聚类或降维中的至少一种；和/或

基于是否存在适用于所述第二模型的输入数据，以及是否需要对所述输入数据进行采样配置所述第二可解释性方案。

在确定第二模型包含特征工程时，可以通过对第二模型进行分析，得到第二模型的输入特征，并通过计算特征重要性，确定各输入特征对模型的影响。具体地，可以采用置换检验方法(Permutation)计算各特征的重要性；或者通过计算SHAP值确定各输入特征的重要性，对第二模型进行解释，SHAP值还可以解释各输入特征之间的相互作用。

可选地，在确定第二模型处理的任务类别为回归、分类、聚类或降维任务时，可以根据任务类别配置相应的第二可解释性方案。例如，第二模型为线性回归模型时，可以通过挖掘第二模型中自变量和因变量的关系，配置第二可解释性方案。

可选地，在确定存在适用于所述第二模型的输入数据时，可以将输入数据输入第二模型中得到预测结果，基于预测结果对第二模型进行分析，计算输入数据中各特征重要性、对各特征如何对上述预测结果产生影响等内容进行分析，得到第二可解释性方案。在确定存在输入数据后，也可以如第一解释性方案的配置一样，基于输入数据的数据类型、数据大小以及数据标签分布等数据属性确定第二可解释性方案的解释参数。在利用第二可解释性方案对第二模型进行解释后，将解释结果输出展示。

在一些实施例中，在确定所述待解释模型的类型之后，所述方法还包括：

基于所述待解释模型的类型，确定是否存在适用所述待解释模型的第三可解释性方案，其中，所述第三可解释性方案预先确定。

即判断待解释模型是否适用于特定的可解释模型，以为待解释模型快速匹配对应的可解释性方案，提高可解释性方案的配置效率，例如，当确定待解释模型为决策树模型后，可以直接根据预设的决策树模型解释方案对其进行解释。由于决策树模型中各节点之间的相互关系明确，可以根据各节点的相互关系预先为决策树模型配置第三解释性方案。

本公开实施例提供的模型的解释方法能够自动识别待解释模型的类型，针对不同的待解释模型自动生成对应的可解释性方案，并利用对应的可解释性方案解释模型，不仅可以对传统的决策树等简单模型进行解释，还可以对深度学习模型等复杂模型进行解释，无需用户了解业务背景、模型信息等相关内容，也不需要了解人工智能知识和模型可解释性相关知识。

对于没有机器学习背景的业务人员来说，上述模型的解释方法能够帮助业务人员理解模型的运行机制。业务人员可以将上述模型的解释与自身业务领域的经验相比对，判断模型是否合理，能否反应实际的业务需求；或者通过上述模型的解释对业务领域经验进行启发。比如，业务人员可以根据计算的模型中各特征的重要性查看业务经验中重要的因素在模型中是否有较高的影响，不重要的因素对于模型是否有较低的影响；如果与经验一致，可以确定模型合理、有效。另外，根据上述模型的解释，是否存在过往没有关注的特征，该特征对模型是否有较大影响，且该影响是否能从业务逻辑上解释，或者是否能够启发业务人员等。对于有一定机器学习知识的用户，述模型的解释方法能够帮助用户更深入的理解模型，更好的选取数据清洗、选择特征工程方式、调整模型结构或者模型参数等。比如，在新构建的模型中，根据模型的可解释性，删除模型中不重要的特征。

图5示出本公开实施例的模型的解释装置的结构示意图。如图5所示，本公开实施例还提供一种模型的解释装置，包括：

第一确定模块10，配置为基于第一类参数特征确定待解释模型为第一模型；

获取模块20，配置为获取所述第一模型对应的输入数据；

分析模块30，配置为基于所述输入数据对所述第一模型进行分析，得到用于对所述第一模型进行解释的第一可解释性方案，其中，所述第一可解释性方案的解释参数至少基于所述第一模型的模型属性确定；

解释模块40，配置为利用所述第一可解释性方案对所述第一模型进行解释，得到解释结果；

第二确定模块50，配置为基于所述解释结果，确定所述第一模型的解释相关度，其中，所述解释相关度用于表征所述解释参数对所述第一模型的解释效果。

在一些实施例中，所述第一模型的模型属性包括所述第一模型的模型任务，分析模块30具体配置为：

根据所述第一模型的模型任务对所述输入数据进行处理；

将处理后的所述输入数据输入所述第一模型，得到所述第一模型的第一输出结果；

根据所述第一输出结果确定所述第一模型的第一解释参数，所述第一解释参数包括所述输入数据中输入特征对所述第一模型的重要度。

在一些实施例中，分析模块30还配置为：

根据所述第一模型的模型任务对所述输入数据中的输入特征进行调整，将调整后的所述输入特征输入所述第一模型中，得到第二输出结果；

根据所述第二输出结果确定所述第一模型的第二解释参数，其中，所述第二解释参数包括所述输入特征对所述第一模型的输出结果的影响方式。

在一些实施例中，分析模块30还配置为：

基于所述第一模型的模型属性和/或输入数据的数据属性，确定所述第一模型的解释方式，其中，所述输入数据的数据属性包括数据类型和/或数据大小。

在一些实施例中，第二确定模块50具体配置为：

确定所述解释参数对所述第一模型的输出结果的贡献度；

基于所述贡献度和所述第一模型的预设输入特征确定所述第一模型的解释相关度；

基于所述解释相关度调整所述第一模型的输入特征。

在一些实施例中，第一确定模块10具体配置为：

基于所述待解释模型的模型复杂度、模型结构或模型格式中的至少一种判断所述待解释模型是否为深度学习模型；

若是，确定所述待解释模型为所述第一模型。

在一些实施例中，第一确定模块10还配置为：

基于第二类参数特征确定所述待解释模型为第二模型；

分析模块30还配置为：

对所述第二模型进行分析，得到用于解释所述第二模型的第二解释性方案。

在一些实施例中，分析模块30还配置为：

判断所述第二模型是否包含特征工程；

若包含，基于所述特征工程中数据清理、特征提取以及特征选择的方式配置所述第二可解释性方案；和/或

基于所述第二模型处理的任务类别配置所述第二可解释性方案，其中，所述任务类别包括回归、分类、聚类或降维中的至少一种；和/或

基于是否存在适用于所述第二模型的输入数据，以及是否需要对所述输入数据进行采样配置所述第二可解释性方案。

在一些实施例中，模型的解释装置还包括第三确定模块，配置为：基于所述待解释模型的类型，确定是否存在适用所述待解释模型的第三可解释性方案，其中，所述第三可解释性方案预先确定。

本公开实施例提供的模型的解释装置与上述实施例中模型的解释方法相对应，基于上述的模型的解释方法，本领域的技术人员能够了解本公开实施例中模型的解释装置具体实施方式以及其各种变化形式，模型的解释方法实施例中的任何可选项也适用于模型的解释装置，在此不再赘述。

本公开实施例还提供一种电子设备，包括：包括处理器和存储器，所述存储器用于存储计算机可执行指令，所述处理器执行所述计算机可执行指令时实现上述的模型的解释方法。

上述的处理器可以是通用处理器，包括中央处理器CPU、网络处理器(networkprocessor，NP)等；还可以是数字信号处理器DSP、专用集成电路ASIC、现场可编程门阵列FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

存储器可能包括随机存取存储器(random access memory，RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。

本公开实施例还提供一种计算机可读存储介质，其上存储有计算机可执行指令，所述计算机可执行指令由处理器执行时，实现上述的模型的解释方法。

以上实施例仅为本公开的示例性实施例，不用于限制本公开，本公开的保护范围由权利要求书限定。本领域技术人员可以在本公开的实质和保护范围内，对本公开做出各种修改或等同替换，这种修改或等同替换也应视为落在本公开的保护范围内。

Claims (10)

1.一种模型的解释方法，包括，

基于第一类参数特征确定待解释模型为第一模型；

获取所述第一模型对应的输入数据；

基于所述输入数据对所述第一模型进行分析，得到用于对所述第一模型进行解释的第一可解释性方案，其中，所述第一可解释性方案的解释参数至少基于所述第一模型的模型属性确定；

利用所述第一可解释性方案对所述第一模型进行解释，得到解释结果；

基于所述解释结果，确定所述第一模型的解释相关度，其中，所述解释相关度用于表征所述解释参数对所述第一模型的解释效果。

2.根据权利要求1所述的方法，其中，所述第一模型的模型属性包括所述第一模型的模型任务，所述基于所述输入数据对所述第一模型进行分析，得到用于对所述第一模型进行解释的第一可解释性方案，包括：

根据所述第一模型的模型任务对所述输入数据进行处理；

将处理后的所述输入数据输入所述第一模型，得到所述第一模型的第一输出结果；

根据所述第一输出结果确定所述第一模型的第一解释参数，所述第一解释参数包括所述输入数据中输入特征对所述第一模型的重要度。

3.根据权利要求2所述的方法，其中，所述方法还包括：

根据所述第一模型的模型任务对所述输入数据中的输入特征进行调整，将调整后的所述输入特征输入所述第一模型中，得到第二输出结果；

根据所述第二输出结果确定所述第一模型的第二解释参数，其中，所述第二解释参数包括所述输入特征对所述第一模型的输出结果的影响方式。

4.根据权利要求1所述的方法，其中，所述第一可解释性方案还包括所述第一模型的解释方式，所述方法还包括：

基于所述第一模型的模型属性和/或输入数据的数据属性，确定所述第一模型的解释方式，其中，所述输入数据的数据属性包括数据类型和/或数据大小。

5.根据权利要求1所述的方法，其中，所述基于所述解释结果，确定所述第一模型的解释相关度，包括：

确定所述解释参数对所述第一模型的输出结果的贡献度；

基于所述贡献度和所述第一模型的预设输入特征确定所述第一模型的解释相关度；

基于所述解释相关度调整所述第一模型的输入特征。

6.根据权利要求1所述的方法，其中，所述基于第一类参数特征确定待解释模型为第一模型，包括：

基于所述待解释模型的模型复杂度、模型结构或模型格式中的至少一种判断所述待解释模型是否为深度学习模型；

若是，确定所述待解释模型为所述第一模型。

7.根据权利要求1所述的方法，其中，所述方法还包括：

基于第二类参数特征确定所述待解释模型为第二模型；

对所述第二模型进行分析，得到用于解释所述第二模型的第二解释性方案。

8.根据权利要求7所述的方法，其中，所述对所述第二模型进行分析，得到用于解释所述第二模型的第二解释性方案，包括：

判断所述第二模型是否包含特征工程；

若包含，基于所述特征工程中数据清理、特征提取以及特征选择的方式配置所述第二可解释性方案；和/或

基于所述第二模型处理的任务类别配置所述第二可解释性方案，其中，所述任务类别包括回归、分类、聚类或降维中的至少一种；和/或

基于是否存在适用于所述第二模型的输入数据，以及是否需要对所述输入数据进行采样配置所述第二可解释性方案。

9.根据权利要求1或7所述的方法，其中，在确定所述待解释模型的类型之后，所述方法还包括：

基于所述待解释模型的类型，确定是否存在适用所述待解释模型的第三可解释性方案，其中，所述第三可解释性方案预先确定。

10.一种模型的解释装置，包括：

第一确定模块，配置为基于第一类参数特征确定待解释模型为第一模型；

获取模块，配置为获取所述第一模型对应的输入数据；

分析模块，配置为基于所述输入数据对所述第一模型进行分析，得到用于对所述第一模型进行解释的第一可解释性方案，其中，所述第一可解释性方案的解释参数至少基于所述第一模型的模型属性确定；

解释模块，配置为利用所述第一可解释性方案对所述第一模型进行解释，得到解释结果；

第二确定模块，配置为基于所述解释结果，确定所述第一模型的解释相关度，其中，所述解释相关度用于表征所述解释参数对所述第一模型的解释效果。

Images