CN109902833A - 机器学习模型解释方法以及装置 - Google Patents

Abstract

本申请提供机器学习模型解释方法以及装置，其中，所述机器学习模型解释方法，包括：确定机器学习模型的模型分类；采用匹配所述模型分类的模型解释方法对所述机器学习模型中的特征进行解释；将解释获得的所述特征的解释信息与基准解释信息进行比对，获得所述特征的解释效果。本申请提供的机器学习模型解释方法，通过理解机器学习模型决策依据，筛选出机器学习模型价值比较高的特征，提高机器学习模型的特征筛选质量。

Description

机器学习模型解释方法以及装置

技术领域

本申请涉及机器学习技术领域，特别涉及一种机器学习模型解释方法。本申请同时涉及一种机器学习模型解释装置，一种计算设备，以及一种计算机可读存储介质。

背景技术

随着大数据和人工智能的发展，机器学习技术得到越来越广泛的应用，但许多机器学习模型还是一个黑盒，几乎无法去感知它的内部工作状态，这就带来了可信度的问题。尤其是在互联网金融、电子商务等领域，对模型可解释程度要求越来越高。

现有技术对于模型可解释性无任何处理，在训练完模型之后，先对模型的特征重要性进行分析评估，再给出一个可行的解释方案。当业务方需要对推荐系统的推荐原因进行更深入的了解和认识时，一般需要人工去查看模型的特征的重要性，根据特征的重要性可以直观对模型的特征进行重要性排序，最后基于特征的重要性排序给出一个可能的解释。

但是，现有技术对模型进行可解释性分析时，采用人工的方式去确定特征的重要性，耗时耗力，并且最终得到的特征解释的可靠性也无法保证。

发明内容

有鉴于此，本申请实施例提供了一种机器学习模型解释方法，以解决现有技术中存在的技术缺陷。本申请实施例同时提供了一种机器学习模型解释装置，一种计算设备，以及一种计算机可读存储介质。

本申请实施例公开了一种机器学习模型解释方法，包括：

确定机器学习模型的模型分类；

采用匹配所述模型分类的模型解释方法对所述机器学习模型中的特征进行解释；

将解释获得的所述特征的解释信息与基准解释信息进行比对，获得所述特征的解释效果。

可选的，所述确定机器学习模型的模型分类步骤执行之前，包括：

接收业务方针对所述机器学习模型的解释请求；

并且，所述基准解释信息由所述业务方确定。

可选的，所述机器学习模型中的特征设置有特征权重；

相应的，所述采用匹配所述模型分类的模型解释方法对所述机器学习模型中的特征进行解释步骤执行之前，包括：

判断所述特征的特征权重是否满足预设阈值区间；

若是，执行所述采用匹配所述模型分类的模型解释方法对所述机器学习模型中的特征进行解释步骤。

可选的，所述机器学习模型的模型分类，包括下述至少一项：

决策树模型和深度学习模型。

可选的，所述模型解释方法，包括下述至少一项：

局部可理解的与模型无关的解释方法和置换检验方法。

可选的，若所述模型解释方法为局部可理解的与模型无关的解释方法，所述采用匹配所述模型分类的模型解释方法对所述机器学习模型中的特征进行解释，包括：

对所述机器学习模型的至少一个特征进行修改；

将修改之前的所述特征输入所述机器学习模型的输出，与修改之后的修改特征输入所述机器学习模型的输出进行分析比对，根据分析比对结果确定所述特征的解释信息。

可选的，若所述模型解释方法为置换检验方法，所述采用匹配所述模型分类的模型解释方法对所述机器学习模型中的特征进行解释，包括：

对所述机器学习模型的特征进行随机混洗；

将随机混洗之前的所述特征输入所述机器学习模型的输出，与随机混洗之后的混洗特征输入所述机器学习模型的输出进行分析比对，根据分析比对结果确定所述特征的解释信息。

可选的，所述将解释获得的所述特征的解释信息与基准解释信息进行比对，获得所述特征的解释效果步骤执行后，包括：

判断所述特征的解释效果与目标解释效果是否一致；

若不一致，将所述特征的解释信息和/或解释效果反馈至数据库。

可选的，所述局部可理解的与模型无关的解释方法和/或所述置换检验方法在所述数据库设置有对应的调用接口，且通过调用所述局部可理解的与模型无关的解释方法和/或所述置换检验方法对应的调用接口，将所述特征的解释信息反馈至所述数据库。

可选的，所述采用匹配所述模型分类的模型解释方法对所述机器学习模型中的特征进行解释，包括：

获取所述机器学习模型内的特征以及所述特征的特征权重；

将所述特征以及所述特征的特征权重输入解释模型进行解释，输出所述特征的解释信息。

可选的，所述将所述特征的解释信息和/或解释效果反馈至数据库步骤执行后，包括：

根据所述数据库存储的所述特征的解释信息和/或解释效果，对所述解释模型的参数进行调整。

可选的，所述根据所述数据库存储的所述特征的解释信息和/或解释效果，对所述解释模型的参数进行调整步骤执行后，包括：

判断参数调整之后所述解释模型输出的所述特征的解释信息对应的解释效果与所述目标解释效果是否一致；

若是，将参数调整之后所述解释模型输出的所述特征作为可解释性特征加入可解释性特征集。

本申请还提供一种机器学习模型解释装置，包括：

模型分类确定模块，被配置为确定机器学习模型的模型分类；

特征解释模块，被配置为采用匹配所述模型分类的模型解释方法对所述机器学习模型中的特征进行解释；

解释效果获取模块，被配置为将解释获得的所述特征的解释信息与基准解释信息进行比对，获得所述特征的解释效果。

本申请还提供一种计算设备，包括：

存储器和处理器；

所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令：

确定机器学习模型的模型分类；

采用匹配所述模型分类的模型解释方法对所述机器学习模型中的特征进行解释；

将解释获得的所述特征的解释信息与基准解释信息进行比对，获得所述特征的解释效果。

本申请还提供一种计算机可读存储介质，其存储有计算机指令，该指令被处理器执行时实现所述机器学习模型解释方法的步骤。

与现有技术相比，本申请具有如下优点：

本申请提供一种机器学习模型解释方法，包括：确定机器学习模型的模型分类；采用匹配所述模型分类的模型解释方法对所述机器学习模型中的特征进行解释；将解释获得的所述特征的解释信息与基准解释信息进行比对，获得所述特征的解释效果。

本申请提供的机器学习模型解释方法，对机器学习模型进行解释的过程中，通过采用相匹配模型解释方法对所述机器学习模型中的特征进行解释，并在解释获得的机器学习模型中特征的解释信息的基础上确定机器学习模型的解释效果，通过理解机器学习模型决策依据，筛选出机器学习模型价值比较高的特征，提高机器学习模型的特征筛选质量。

附图说明

图1是本申请实施例提供的一种机器学习模型解释方法处理流程图；

图2是本申请实施例提供的一种机器学习模型解释过程的示意图；

图3是本申请实施例提供的一种机器学习模型解释装置的示意图；

图4是本申请实施例提供的一种计算设备的结构框图。

具体实施方式

在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本申请内涵的情况下做类似推广，因此本申请不受下面公开的具体实施的限制。

在本说明书一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本说明书一个或多个实施例。在本说明书一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本说明书一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本说明书一个或多个实施例中可能采用术语第一、第二等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本说明书一个或多个实施例范围的情况下，第一也可以被称为第二，类似地，第二也可以被称为第一。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

本申请提供一种机器学习模型解释方法，本申请还提供一种机器学习模型解释装置，一种计算设备，以及一种计算机可读存储介质。以下分别结合本申请提供的实施例的附图逐一进行详细说明，并且对方法的各个步骤进行说明。

本申请提供的一种机器学习模型解释方法实施例如下：

参照附图1，其示出了本实施例提供的一种机器学习模型解释方法处理流程图，参照附图2，其示出了本实施例提供的一种机器学习模型解释过程的示意图。

步骤S102，确定机器学习模型的模型分类。

在面向用户的推荐系统中，往往会建立多个模型，这些模型除了特征重要性以外通常可解释性程度不高，在模型训练完毕后，需要进行复杂的排查才能找到推荐的原因。

本申请实施例提供的机器学习模型解释方法，通过采用模型解释方法对机器学习模型的特征进行解释，帮助业务方理解机器学习模型的打分概率，防止风险推荐或使用时间波动率较大的特征，从而筛选出机器学习模型价值比较高的特征，提高机器学习模型的特征筛选质量。

此外，本申请实施例提供的机器学习模型解释方法，采用较为通用的模型解释方法对机器学习模型进行解释，能够解释的机器学习模型的种类更多，不仅可以对传统的决策树模型进行解释，同样适用于深度学习模型，比如文本类深度学习模型。

本申请实施例提供的一种优选实施方式中，在确定机器学习模型的模型分类之前，需接收业务方针对机器学习模型的解释请求，在接收到机器学习模型的解释请求之后，启动对机器学习模型中的特征的解释过程。

一般而言，不同分类的机器学习模型，其可解释程度也各不相同，比如在一定程度上，认为决策树模型是一个具有比较好的可解释性的模型，而多层神经网络模型则被认为是可解释性不友好的模型，多层神经网络模型决策依据，很难通过多层神经网络模型一连串的非线性函数的叠加公式直接理解，因此多层神经网络模型被认为是黑箱模型。

鉴于此，本申请实施例中，首先确定机器学习模型的模型分类，针对不同分类的模型进行相应的可解释性分析。优选的，本申请实施例所述机器学习模型的模型分类，包括决策树模型和深度学习模型。

除此之外，所述机器学习模型的模型分类还可以是树模型、深度学习模型之外的其他分类，比如线性模型、神经网络模型、聚类模型等，本实施例对此不做限定。

步骤S104，采用匹配所述模型分类的模型解释方法对所述机器学习模型中的特征进行解释。

如上所述，所述机器学习模型的模型分类，包括决策树模型和深度学习模型，优选的，针对所述决策树模型和深度学习模型，可采用局部可理解的与模型无关的解释(LIME，Local Interpretable Model-Agnostic Explanations)对机器学习模型中的特征进行解释，或者，采用置换检验方法(Permutation)对机器学习模型中的特征进行解释。

此外，还可以在采用局部可理解的与模型无关的解释方法对机器学习模型中的特征进行解释的基础上，同时采用置换检验方法对机器学习模型中的特征进行进一步解释；或者，在采用局部可理解的与模型无关的解释方法对机器学习模型中的特征进行解释的基础上，同时采用置换检验方法对机器学习模型中的特征进行进一步解释。

需要说明的是，除上述提供的局部可理解的与模型无关的解释方法和置换检验方法这两种模型解释方法之外，还可以采用其他模型解释方式或者其他模型解释方式的组合对所述决策树模型和所述深度学习模型的特征进行解释，本申请实施例对此不做限定。

局部可理解的与模型无关的解释方法，其目在于使机器学习模型的决策更易于理解，为了保持模型的独立性，不是试图同时理解整个模型，而是通过局部修改模型的输入来工作，具体的，局部可理解的与模型无关的解释方法是将修改特定的测试用例输入模型并监控对输出造成的影响，从而得出哪些修改后的结果是更为重要的。

具体实施时，采用局部可理解的与模型无关的解释方法对机器学习模型中的特征进行解释的过程中，优选采用下述方式对进行解释：

对机器学习模型的至少一个特征进行修改；

将修改之前的所述特征输入机器学习模型的输出，与修改之后的修改特征输入机器学习模型的输出进行分析比对，根据分析比对结果确定所述特征的解释信息。

比如，针对决策树模型的营销特征，可以掩盖部分营销特征，然后将掩盖后的营销特征输入决策树模型，通过对比掩盖之前与掩盖之后对决策树模型的影响，来对营销特征的重要性进行排序。

类似的，采用置换检验方法对机器学习模型中的特征进行解释的过程中，优选采用下述方式对进行解释：

对机器学习模型的特征进行随机混洗；

将随机混洗之前的所述特征输入机器学习模型的输出，与随机混洗之后的混洗特征输入机器学习模型的输出进行分析比对，根据分析比对结果确定所述特征的解释信息。

比如，针对决策树模型的营销特征，按照一次一列的规则随机混洗营销特征，然后将随机混洗后的营销特征输入决策树模型，通过对比随机混洗之前与随机混洗之后对决策树模型的影响，来衡量营销特征的重要性。

实际应用中，往往有许多机器学习模型中的特征设置有相应的特征权重，特征的重要性与特征权重有关，还可以结合特征权重来对机器学习模型中的特征进行解释，本申请实施例提供的一种优选实施方式中，在采用匹配所述模型分类的模型解释方法对机器学习模型中的特征进行解释之前，执行如下操作：

判断机器学习模型中特征的特征权重是否满足预设阈值区间，若是，则进一步采用匹配所述模型分类的模型解释方法对机器学习模型中的特征进行解释；若否，对于特征权重超出所述预设阈值区间的特征，不进行解释即可。

例如，对于机器学习模型中的特征，业务方会主动勾选有价值的特征，被勾选的特征会被加权，对于业务方勾选的特征，采用局部可理解的与模型无关的解释方法对机器学习模型中的特征进行解释的过程中，不会掩盖业务方勾选的特征；类似的，采用置换检验方法对机器学习模型中的特征进行解释的过程中，也不会随机混洗业务方勾选的特征。

步骤S106，将解释获得的所述特征的解释信息与基准解释信息进行比对，获得所述特征的解释效果。

如上所述，在确定机器学习模型的模型分类之前，需接收业务方针对机器学习模型的解释请求，本申请实施例所述基准解释信息，可由业务方来确定，比如，业务方根据自身对业务的理解来确定机器学习模型中特征的重要性，通过将业务方对确定的机器学习模型中特征的重要性、与通过上述模型解释方法解释后确定的机器学习模型中特征的重要性进行比较，从而来确定通过上述模型解释方法解释后确定的机器学习模型中特征的重要性是否与实际的业务相吻合，能否反应实际的营销效果。

本申请实施例提供的一种优选实施方式中，将解释获得的所述特征的解释信息与基准解释信息进行比对，获得所述特征的解释效果步骤执行后，进一步将所述特征的解释效果与目标解释效果进行比较，判断所述特征的解释效果与目标解释效果是否一致；

如果一致，表明当前解释获得的机器学习模型中特征的解释信息，即为业务方所需的机器学习模型中特征的解释信息；

如果不一致，则表明当前解释获得的机器学习模型中特征的解释信息，并非业务方所需的机器学习模型中特征的解释信息，将所述特征的解释信息和/或解释效果反馈至数据库，以待后续处理。

需要说明的是，在将机器学习模型中特征的解释信息向所述数据库反馈的过程中，优选可针对所述局部可理解的与模型无关的解释方法和/或所述置换检验方法在所述数据库设置对应的调用接口，并且，通过调用所述局部可理解的与模型无关的解释方法和/或所述置换检验方法对应的调用接口，将所述特征的解释信息反馈至所述数据库。

在上述将所述特征的解释信息和/或解释效果反馈至数据库的基础上，上述采用匹配所述模型分类的模型解释方法对所述机器学习模型中的特征进行解释这一过程，优选通过模型来实现。具体的，首先获取所述机器学习模型内的特征以及所述特征的特征权重；然后将所述特征以及所述特征的特征权重输入解释模型进行解释，最终输出所述特征的解释信息。

进一步，在上述通过解释模型对特征进行解释的基础上，优选的，还可以根据所述数据库存储的所述特征的解释信息和/或解释效果，对所述解释模型的参数进行调整。

更进一步，上述对所述解释模型的参数进行调整之后，还可以通过迭代的方式对所述解释模型的参数进行调整，直至符合业务方的预期，优选的，上述对所述解释模型的参数进行调整之后，判断参数调整之后所述解释模型输出的所述特征的解释信息对应的解释效果与所述目标解释效果是否一致；

如果一致，则表明当前对机器学习模型中的特征进行解释的解释效果已达业务方的预期，将参数调整之后所述解释模型输出的所述特征作为可解释性特征加入可解释性特征集，通过这种方式可以积累一个特征库，从而有效的使用该特征库为当前营销场景下的模型建立可解释性特征；

如果不一致，则表明当前对机器学习模型中的特征进行解释的解释效果尚未达到业务方的预期，重复上述迭代方式对所述解释模型的参数调整的过程。

例如，业务方预期的解释效果(目标解释效果)是营销特征A的推荐效果优于营销特征B的推荐策略，业务方更看重的营销特征A，若当前的解释效果为营销特征B的推荐策略优于营销特征A的推荐效果，则通过迭代的方式对解释模型的超参进行调整；

具体的，在每一次迭代过程中，基于超参调整之后的解释模型，确定超参调整之后解释模型输出的营销特征A和营销特征B的解释信息各自对应的解释效果，并进一步判断营销特征A的解释效果是否优于营销特征B的解释效果，若是，表明已达业务方的预期，终止迭代即可；若否，则表明尚未达到业务方的预期，即营销特征A的解释效果优于营销特征B的解释效果，继续上述迭代，直至某次迭代后达到业务方的预期。

下述结合附图2对机器学习模型解释方法进行说明：

步骤S202，接收业务方针对训练好的机器学习模型(决策树模型)的解释请求；

步骤S204，确定机器学习模型的模型分类为决策树模型；

步骤S206，采用局部可理解的与模型无关的解释方法对决策树模型中的特征进行解释，获得决策树模型中特征的解释信息；

步骤S208，将决策树模型中特征的解释信息与业务方的基准解释信息进行比对，获得决策树模型中特征的解释效果；

步骤S210，判断决策树模型中特征的解释效果与业务方预期的目标解释效果是否一致；

如果一致，执行步骤S212，将所述决策树模型中的特征作为可解释性特征加入可解释性特征集；

如果不一致，则对步骤S206采用的局部可理解的与模型无关的解释方法的超参进行调整，并基于超参调整之后的局部可理解的与模型无关的解释方法对决策树模型中的特征进行解释；

步骤S212，将所述决策树模型中的特征作为可解释性特征加入可解释性特征集。

综上所述，本申请提供的机器学习模型解释方法，对机器学习模型进行解释的过程中，通过采用相匹配模型解释方法对所述机器学习模型中的特征进行解释，并在解释获得的机器学习模型中特征的解释信息的基础上确定机器学习模型的解释效果，通过理解机器学习模型决策依据，筛选出机器学习模型价值比较高的特征，提高机器学习模型的特征筛选质量。

本申请提供的一种机器学习模型解释装置实施例如下：

在上述的实施例中，提供了一种机器学习模型解释方法，与之相对应的，本申请还提供了一种机器学习模型解释装置，下面结合附图进行说明。

参照附图3，其示出了本申请提供的一种机器学习模型解释装置实施例的示意图。

由于装置实施例基本相似于方法实施例，所以描述得比较简单，相关的部分请参见上述提供的方法实施例的对应说明即可。下述描述的装置实施例仅仅是示意性的。

本申请提供一种机器学习模型解释装置，包括：

模型分类确定模块302，被配置为确定机器学习模型的模型分类；

特征解释模块304，被配置为采用匹配所述模型分类的模型解释方法对所述机器学习模型中的特征进行解释；

解释效果获取模块306，被配置为将解释获得的所述特征的解释信息与基准解释信息进行比对，获得所述特征的解释效果。

可选的，所述机器学习模型解释装置，包括：

解释请求接收模块，被配置为接收业务方针对所述机器学习模型的解释请求；

并且，所述基准解释信息由所述业务方确定。

可选的，所述机器学习模型中的特征设置有特征权重；

相应的，所述机器学习模型解释装置，还包括：

特征权重判断模块，被配置为判断所述特征的特征权重是否满足预设阈值区间；若是，运行所述特征解释模块304。

可选的，所述机器学习模型的模型分类，包括下述至少一项：

决策树模型和深度学习模型。

可选的，所述模型解释方法，包括下述至少一项：

局部可理解的与模型无关的解释方法和置换检验方法。

可选的，若所述模型解释方法为局部可理解的与模型无关的解释方法，所述特征解释模块304，包括：

特征修改子模块，被配置为对所述机器学习模型的至少一个特征进行修改；

特征解释子模块，被配置为将修改之前的所述特征输入所述机器学习模型的输出，与修改之后的修改特征输入所述机器学习模型的输出进行分析比对，根据分析比对结果确定所述特征的解释信息。

可选的，若所述模型解释方法为置换检验方法，所述特征解释模块304，包括：

随机混洗子模块，被配置为对所述机器学习模型的特征进行随机混洗；

解释子模块，被配置为将随机混洗之前的所述特征输入所述机器学习模型的输出，与随机混洗之后的混洗特征输入所述机器学习模型的输出进行分析比对，根据分析比对结果确定所述特征的解释信息。

可选的，所述机器学习模型解释装置，还包括：

解释效果判断模块，被配置为判断所述特征的解释效果与目标解释效果是否一致；

若不一致，将所述特征的解释信息和/或解释效果反馈至数据库。

可选的，所述局部可理解的与模型无关的解释方法和/或所述置换检验方法在所述数据库设置有对应的调用接口，且通过调用所述局部可理解的与模型无关的解释方法和/或所述置换检验方法对应的调用接口，将所述特征的解释信息反馈至所述数据库。

可选的，所述特征解释模块304，包括：

特征权重获取子模块，被配置为获取所述机器学习模型内的特征以及所述特征的特征权重；

特征权重解释子模块，被配置为将所述特征以及所述特征的特征权重输入解释模型进行解释，输出所述特征的解释信息。

可选的，所述机器学习模型解释装置，还包括：

参数调整模块，被配置为根据所述数据库存储的所述特征的解释信息和/或解释效果，对所述解释模型的参数进行调整。

可选的，所述机器学习模型解释装置，还包括：

解释模型输出判断模块，被配置为判断参数调整之后所述解释模型输出的所述特征的解释信息对应的解释效果与所述目标解释效果是否一致；

若是，将参数调整之后所述解释模型输出的所述特征作为可解释性特征加入可解释性特征集。

本申请提供的一种计算设备实施例如下：

图4是示出了根据本说明书一实施例的计算设备400的结构框图。该计算设备400的部件包括但不限于存储器410和处理器420。处理器420与存储器410通过总线430相连接，数据库450用于保存数据。

计算设备400还包括接入设备440，接入设备440使得计算设备400能够经由一个或多个网络460通信。这些网络的示例包括公用交换电话网(PSTN)、局域网(LAN)、广域网(WAN)、个域网(PAN)或诸如因特网的通信网络的组合。接入设备440可以包括有线或无线的任何类型的网络接口(例如，网络接口卡(NIC))中的一个或多个，诸如IEEE802.11无线局域网(WLAN)无线接口、全球微波互联接入(Wi-MAX)接口、以太网接口、通用串行总线(USB)接口、蜂窝网络接口、蓝牙接口、近场通信(NFC)接口，等等。

在本说明书的一个实施例中，计算设备400的上述以及图4中未示出的其他部件也可以彼此相连接，例如通过总线。应当理解，图4所示的计算设备结构框图仅仅是出于示例的目的，而不是对本说明书范围的限制。本领域技术人员可以根据需要，增添或替换其他部件。

计算设备400可以是任何类型的静止或移动计算设备，包括移动计算机或移动计算设备(例如，平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等)、移动电话(例如，智能手机)、可佩戴的计算设备(例如，智能手表、智能眼镜等)或其他类型的移动设备，或者诸如台式计算机或PC的静止计算设备。计算设备400还可以是移动式或静止式的服务器。

本申请提供一种计算设备，包括存储器410、处理器420及存储在存储器上并可在处理器上运行的计算机指令，所述处理器410用于执行如下计算机可执行指令：

确定机器学习模型的模型分类；

采用匹配所述模型分类的模型解释方法对所述机器学习模型中的特征进行解释；

将解释获得的所述特征的解释信息与基准解释信息进行比对，获得所述特征的解释效果。

可选的，所述确定机器学习模型的模型分类指令执行之前，所述处理器410还用于执行如下计算机可执行指令：

接收业务方针对所述机器学习模型的解释请求；

并且，所述基准解释信息由所述业务方确定。

可选的，所述机器学习模型中的特征设置有特征权重；

相应的，所述采用匹配所述模型分类的模型解释方法对所述机器学习模型中的特征进行解释指令执行之前，所述处理器410还用于执行如下计算机可执行指令：

判断所述特征的特征权重是否满足预设阈值区间；

若是，执行所述采用匹配所述模型分类的模型解释方法对所述机器学习模型中的特征进行解释指令。

可选的，所述机器学习模型的模型分类，包括下述至少一项：

决策树模型和深度学习模型。

可选的，所述模型解释方法，包括下述至少一项：

局部可理解的与模型无关的解释方法和置换检验方法。

可选的，若所述模型解释方法为局部可理解的与模型无关的解释方法，所述采用匹配所述模型分类的模型解释方法对所述机器学习模型中的特征进行解释，包括：

对所述机器学习模型的至少一个特征进行修改；

将修改之前的所述特征输入所述机器学习模型的输出，与修改之后的修改特征输入所述机器学习模型的输出进行分析比对，根据分析比对结果确定所述特征的解释信息。

可选的，若所述模型解释方法为置换检验方法，所述采用匹配所述模型分类的模型解释方法对所述机器学习模型中的特征进行解释，包括：

对所述机器学习模型的特征进行随机混洗；

将随机混洗之前的所述特征输入所述机器学习模型的输出，与随机混洗之后的混洗特征输入所述机器学习模型的输出进行分析比对，根据分析比对结果确定所述特征的解释信息。

可选的，所述将解释获得的所述特征的解释信息与基准解释信息进行比对，获得所述特征的解释效果指令执行后，所述处理器410还用于执行如下计算机可执行指令：

判断所述特征的解释效果与目标解释效果是否一致；

若不一致，将所述特征的解释信息和/或解释效果反馈至数据库。

可选的，所述局部可理解的与模型无关的解释方法和/或所述置换检验方法在所述数据库设置有对应的调用接口，且通过调用所述局部可理解的与模型无关的解释方法和/或所述置换检验方法对应的调用接口，将所述特征的解释信息反馈至所述数据库。

可选的，所述采用匹配所述模型分类的模型解释方法对所述机器学习模型中的特征进行解释，包括：

获取所述机器学习模型内的特征以及所述特征的特征权重；

将所述特征以及所述特征的特征权重输入解释模型进行解释，输出所述特征的解释信息。

可选的，所述将所述特征的解释信息和/或解释效果反馈至数据库指令执行后，所述处理器410还用于执行如下计算机可执行指令：

根据所述数据库存储的所述特征的解释信息和/或解释效果，对所述解释模型的参数进行调整。

可选的，所述根据所述数据库存储的所述特征的解释信息和/或解释效果，对所述解释模型的参数进行调整指令执行后，所述处理器410还用于执行如下计算机可执行指令：

判断参数调整之后所述解释模型输出的所述特征的解释信息对应的解释效果与所述目标解释效果是否一致；

若是，将参数调整之后所述解释模型输出的所述特征作为可解释性特征加入可解释性特征集。

本申请提供的一种计算机可读存储介质实施例如下：

本申请一实施例还提供一种计算机可读存储介质，其存储有计算机指令，该指令被处理器执行时以用于：

确定机器学习模型的模型分类；

采用匹配所述模型分类的模型解释方法对所述机器学习模型中的特征进行解释；

将解释获得的所述特征的解释信息与基准解释信息进行比对，获得所述特征的解释效果。

可选的，所述确定机器学习模型的模型分类步骤执行之前，包括：

接收业务方针对所述机器学习模型的解释请求；

并且，所述基准解释信息由所述业务方确定。

可选的，所述机器学习模型中的特征设置有特征权重；

相应的，所述采用匹配所述模型分类的模型解释方法对所述机器学习模型中的特征进行解释步骤执行之前，包括：

判断所述特征的特征权重是否满足预设阈值区间；

若是，执行所述采用匹配所述模型分类的模型解释方法对所述机器学习模型中的特征进行解释步骤。

可选的，所述机器学习模型的模型分类，包括下述至少一项：

决策树模型和深度学习模型。

可选的，所述模型解释方法，包括下述至少一项：

局部可理解的与模型无关的解释方法和置换检验方法。

可选的，若所述模型解释方法为局部可理解的与模型无关的解释方法，所述采用匹配所述模型分类的模型解释方法对所述机器学习模型中的特征进行解释，包括：

对所述机器学习模型的至少一个特征进行修改；

将修改之前的所述特征输入所述机器学习模型的输出，与修改之后的修改特征输入所述机器学习模型的输出进行分析比对，根据分析比对结果确定所述特征的解释信息。

可选的，若所述模型解释方法为置换检验方法，所述采用匹配所述模型分类的模型解释方法对所述机器学习模型中的特征进行解释，包括：

对所述机器学习模型的特征进行随机混洗；

将随机混洗之前的所述特征输入所述机器学习模型的输出，与随机混洗之后的混洗特征输入所述机器学习模型的输出进行分析比对，根据分析比对结果确定所述特征的解释信息。

可选的，所述将解释获得的所述特征的解释信息与基准解释信息进行比对，获得所述特征的解释效果步骤执行后，包括：

判断所述特征的解释效果与目标解释效果是否一致；

若不一致，将所述特征的解释信息和/或解释效果反馈至数据库。

可选的，所述局部可理解的与模型无关的解释方法和/或所述置换检验方法在所述数据库设置有对应的调用接口，且通过调用所述局部可理解的与模型无关的解释方法和/或所述置换检验方法对应的调用接口，将所述特征的解释信息反馈至所述数据库。

可选的，所述采用匹配所述模型分类的模型解释方法对所述机器学习模型中的特征进行解释，包括：

获取所述机器学习模型内的特征以及所述特征的特征权重；

将所述特征以及所述特征的特征权重输入解释模型进行解释，输出所述特征的解释信息。

可选的，所述将所述特征的解释信息和/或解释效果反馈至数据库步骤执行后，包括：

根据所述数据库存储的所述特征的解释信息和/或解释效果，对所述解释模型的参数进行调整。

可选的，所述根据所述数据库存储的所述特征的解释信息和/或解释效果，对所述解释模型的参数进行调整步骤执行后，包括：

判断参数调整之后所述解释模型输出的所述特征的解释信息对应的解释效果与所述目标解释效果是否一致；

若是，将参数调整之后所述解释模型输出的所述特征作为可解释性特征加入可解释性特征集。

上述为本实施例的一种计算机可读存储介质的示意性方案。需要说明的是，该存储介质的技术方案与上述的机器学习模型解释方法的技术方案属于同一构思，存储介质的技术方案未详细描述的细节内容，均可以参见上述机器学习模型解释方法的技术方案的描述。

所述计算机指令包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本申请所必须的。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。

以上公开的本申请优选实施例只是用于帮助阐述本申请。可选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本申请的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本申请。本申请仅受权利要求书及其全部范围和等效物的限制。

Claims (15)

1.一种机器学习模型解释方法，其特征在于，包括：

确定机器学习模型的模型分类；

采用匹配所述模型分类的模型解释方法对所述机器学习模型中的特征进行解释；

将解释获得的所述特征的解释信息与基准解释信息进行比对，获得所述特征的解释效果。

2.根据权利要求1所述的机器学习模型解释方法，其特征在于，所述确定机器学习模型的模型分类步骤执行之前，包括：

接收业务方针对所述机器学习模型的解释请求；

并且，所述基准解释信息由所述业务方确定。

3.根据权利要求1所述的机器学习模型解释方法，其特征在于，所述机器学习模型中的特征设置有特征权重；

相应的，所述采用匹配所述模型分类的模型解释方法对所述机器学习模型中的特征进行解释步骤执行之前，包括：

判断所述特征的特征权重是否满足预设阈值区间；

若是，执行所述采用匹配所述模型分类的模型解释方法对所述机器学习模型中的特征进行解释步骤。

4.根据权利要求1所述的机器学习模型解释方法，其特征在于，所述机器学习模型的模型分类，包括下述至少一项：

决策树模型和深度学习模型。

5.根据权利要求4所述的机器学习模型解释方法，其特征在于，所述模型解释方法，包括下述至少一项：

局部可理解的与模型无关的解释方法和置换检验方法。

6.根据权利要求5所述的机器学习模型解释方法，其特征在于，若所述模型解释方法为局部可理解的与模型无关的解释方法，所述采用匹配所述模型分类的模型解释方法对所述机器学习模型中的特征进行解释，包括：

对所述机器学习模型的至少一个特征进行修改；

将修改之前的所述特征输入所述机器学习模型的输出，与修改之后的修改特征输入所述机器学习模型的输出进行分析比对，根据分析比对结果确定所述特征的解释信息。

7.根据权利要求5所述的机器学习模型解释方法，其特征在于，若所述模型解释方法为置换检验方法，所述采用匹配所述模型分类的模型解释方法对所述机器学习模型中的特征进行解释，包括：

对所述机器学习模型的特征进行随机混洗；

将随机混洗之前的所述特征输入所述机器学习模型的输出，与随机混洗之后的混洗特征输入所述机器学习模型的输出进行分析比对，根据分析比对结果确定所述特征的解释信息。

8.根据权利要求7所述的机器学习模型解释方法，其特征在于，所述将解释获得的所述特征的解释信息与基准解释信息进行比对，获得所述特征的解释效果步骤执行后，包括：

判断所述特征的解释效果与目标解释效果是否一致；

若不一致，将所述特征的解释信息和/或解释效果反馈至数据库。

9.根据权利要求8所述的机器学习模型解释方法，其特征在于，所述局部可理解的与模型无关的解释方法和/或所述置换检验方法在所述数据库设置有对应的调用接口，且通过调用所述局部可理解的与模型无关的解释方法和/或所述置换检验方法对应的调用接口，将所述特征的解释信息反馈至所述数据库。

10.根据权利要求8或9所述的机器学习模型解释方法，其特征在于，所述采用匹配所述模型分类的模型解释方法对所述机器学习模型中的特征进行解释，包括：

获取所述机器学习模型内的特征以及所述特征的特征权重；

将所述特征以及所述特征的特征权重输入解释模型进行解释，输出所述特征的解释信息。

11.根据权利要求10所述的机器学习模型解释方法，其特征在于，所述将所述特征的解释信息和/或解释效果反馈至数据库步骤执行后，包括：

根据所述数据库存储的所述特征的解释信息和/或解释效果，对所述解释模型的参数进行调整。

12.根据权利要求11所述的机器学习模型解释方法，其特征在于，所述根据所述数据库存储的所述特征的解释信息和/或解释效果，对所述解释模型的参数进行调整步骤执行后，包括：

判断参数调整之后所述解释模型输出的所述特征的解释信息对应的解释效果与所述目标解释效果是否一致；

若是，将参数调整之后所述解释模型输出的所述特征作为可解释性特征加入可解释性特征集。

13.一种机器学习模型解释装置，其特征在于，包括：

模型分类确定模块，被配置为确定机器学习模型的模型分类；

特征解释模块，被配置为采用匹配所述模型分类的模型解释方法对所述机器学习模型中的特征进行解释；

解释效果获取模块，被配置为将解释获得的所述特征的解释信息与基准解释信息进行比对，获得所述特征的解释效果。

14.一种计算设备，其特征在于，包括：

存储器和处理器；

所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令：

确定机器学习模型的模型分类；

采用匹配所述模型分类的模型解释方法对所述机器学习模型中的特征进行解释；

将解释获得的所述特征的解释信息与基准解释信息进行比对，获得所述特征的解释效果。

15.一种计算机可读存储介质，其存储有计算机指令，其特征在于，该指令被处理器执行时实现权利要求1至12任意一项所述方法的步骤。