CN111008898A

CN111008898A - 评估模型解释工具的方法和装置

Info

Publication number: CN111008898A
Application number: CN202010160591.4A
Authority: CN
Inventors: 方军鹏; 唐才智
Original assignee: Alipay Hangzhou Information Technology Co Ltd
Current assignee: Alipay Hangzhou Information Technology Co Ltd
Priority date: 2020-03-10
Filing date: 2020-03-10
Publication date: 2020-04-14
Anticipated expiration: 2040-03-10
Also published as: CN111008898B

Abstract

本说明书实施例提供一种评估模型解释工具的方法和装置，所述方法包括：使用多个第一训练样本训练所述第一模型，以获取具有第一参数组的第一模型；基于多个测试样本获取所述具有第一参数组的第一模型的第一性能值；基于多个第一训练样本和所述第一参数组，通过模型解释工具获取多个特征的重要性排序；将每个第一训练样本中除所述重要性排序的前n个特征之外的特征的特征值替换为相同的预定值，以获取多个第二训练样本；使用多个第二训练样本训练所述第一模型，以获取具有第二参数组的第一模型；基于多个测试样本获取具有第二参数组的第一模型的第二性能值；计算第一性能值与所述第二性能值的差异值，以用于评估所述模型解释工具。

Description

评估模型解释工具的方法和装置

技术领域

本说明书实施例涉及机器学习技术领域，更具体地，涉及一种评估模型解释工具的方法和装置。

背景技术

机器学习目前在各个领域都有着广泛的应用，如零售，技术，医疗保健，科学等等。机器学习模型本质上是用一个复杂的函数拟合数据和目标之间的关系。机器学习模型与一些简单的规则有着很大的差别，规则明确数据和目标之间的关系，但是机器学习模型是一个黑盒只有输入和输出，不明白内部的机制。在某些领域，特别是在金融领域，比如保险、银行等，数据科学家们通常最终不得不使用更传统更简单的机器学习模型（线性模型或决策树模型）。然而，这类简单模型虽能提供一定的可解释性，但是简单的模型对于实现复杂的任务显的力不从心，模型精度性能等方面必然不如更加复杂的深度模型。

例如，使用花呗付款用户可以提前透支次月还款，这一功能类似信用卡，这意味着用户存在套现的风险，这类套现用户相较正常用户逾期还款的概率更高，对公司造成损失。为了减少风险，对于这类套现交易的拦截是十分有必要的，或者对于小额贷款，审批不通过，那么应该给用户提供合理的解释。但是考虑到金融场景比较敏感，对于使用的拦截模型的可解释性要求必然很高。传统的方法是使用一些简单的模型比如线性模型树模型，虽然能满足对可解释性的要求，但是相对于复杂的实际情况这类简单模型精度性能并不能满足业务需求，例如精度太低会拦截大量正常交易误伤正常用户这些损失也是不能承受的。

考虑到以上的问题，目前提出了多种模型无关的对模型进行解释的工具，对业务场景实际应用的黑盒模型做出合理的解释，而且因为不会对模型进行改动，所以不会影响到模型的性能。目前，用于衡量模型解释工具的方法包括先验衡量方法、针对图像分类模型的模型解释工具的评估方法、针对文本分类模型的模型解释工具的评估方法等等。然而，仍然没有可同时适用于多种模型解释工具的方法。

因此，需要一种更有效的评估模型解释工具的方案。

发明内容

本说明书实施例旨在提供一种更有效的评估模型解释工具的方案，以解决现有技术中的不足。

为实现上述目的，本说明书一个方面提供一种评估模型解释工具的方法，所述方法基于第一模型和预先获取的用于第一模型的多个第一训练样本和多个测试样本进行，其中，每个所述第一训练样本包括业务对象的多个特征的特征值，所述方法包括：

从所述多个特征中选取n个特征作为n个选定特征；

将每个所述第一训练样本中除所述n个选定特征之外的特征的特征值替换为其它值，以获取多个第二训练样本；

使用所述多个第二训练样本训练所述第一模型，以获取具有第一参数组的第一模型；

基于所述多个测试样本获取所述具有第一参数组的第一模型的第一性能值；

基于所述多个第二训练样本和所述第一参数组，通过模型解释工具获取所述多个特征的重要性排序；

将每个所述第二训练样本中除所述重要性排序的前n个特征之外的特征的特征值替换为相同的预定值，以获取多个第三训练样本；

使用所述多个第三训练样本训练所述第一模型，以获取具有第二参数组的第一模型；

基于所述多个测试样本获取所述具有第二参数组的第一模型的第二性能值；

计算所述第一性能值与所述第二性能值的差异值，以用于评估所述模型解释工具。

本说明书另一方面提供一种评估模型解释工具的方法，所述方法基于第一模型和预先获取的用于第一模型的多个第一训练样本和多个测试样本进行，其中，每个所述第一训练样本包括业务对象的多个特征的特征值，所述方法包括：

使用所述多个第一训练样本训练所述第一模型，以获取具有第一参数组的第一模型；

基于所述多个第一训练样本和所述第一参数组，通过模型解释工具获取所述多个特征的重要性排序；

将各个所述第一训练样本中除所述重要性排序的前n个特征之外的特征的特征值替换为相同的预定值，以获取多个第二训练样本；

使用所述多个第二训练样本训练所述第一模型，以获取具有第二参数组的第一模型；

在一种实施方式中，所述第一模型为非自解释型模型。

在一种实施方式中，从所述多个特征中选取n个特征作为n个选定特征包括，从所述多个特征中随机选取n个特征作为n个选定特征。

在一种实施方式中，将每个所述第一训练样本中除所述n个选定特征之外的特征的特征值替换为其它值包括，将每个所述第一训练样本中除所述n个选定特征之外的特征的特征值替换为随机确定的其它值。

在一种实施方式中，所述方法被执行多次以获取多个差异值，其中，在对所述方法的每次执行中，所述n个选定特征与其它各次执行对应的各组n个选定特征具有不同的特征组合，其中，所述方法还包括，在获取多个差异值之后，基于所述多个差异值计算平均差异值，以用于评估所述模型解释工具。

在一种实施方式中，所述第一模型为二分类模型，所述第一性能值和第二性能值与以下至少一项相关：准确率、精确率、召回率、F1值、AUC。

在一种实施方式中，所述业务对象为网络平台中的以下一个或多个对象：用户、商户、商品、交易。

在一种实施方式中，所述业务对象为平台用户，每个训练样本包括用户的风险值作为标签值，所述第一模型用于基于所述多个第一训练样本被训练为风险控制模型。

本说明书另一方面提供一种评估模型解释工具的装置，所述装置基于第一模型和预先获取的用于第一模型的多个第一训练样本和多个测试样本部署，其中，每个所述第一训练样本包括业务对象的多个特征的特征值，所述装置包括：

选取单元，配置为，从所述多个特征中选取n个特征作为n个选定特征；

第一替换单元，配置为，将每个所述第一训练样本中除所述n个选定特征之外的特征的特征值替换为其它值，以获取多个第二训练样本；

第一训练单元，配置为，使用所述多个第二训练样本训练所述第一模型，以获取具有第一参数组的第一模型；

第一获取单元，配置为，基于所述多个测试样本获取所述具有第一参数组的第一模型的第一性能值；

排序单元，配置为，基于所述多个第二训练样本和所述第一参数组，通过模型解释工具获取所述多个特征的重要性排序；

第二替换单元，配置为，将每个所述第二训练样本中除所述重要性排序的前n个特征之外的特征的特征值替换为相同的预定值，以获取多个第三训练样本；

第二训练单元，配置为，使用所述多个第三训练样本训练所述第一模型，以获取具有第二参数组的第一模型；

第二获取单元，配置为，基于所述多个测试样本获取所述具有第二参数组的第一模型的第二性能值；

计算单元，配置为，计算所述第一性能值与所述第二性能值的差异值，以用于评估所述模型解释工具。

在一种实施方式中，所述选取单元还配置为，从所述多个特征中随机选取n个特征作为n个选定特征。

在一种实施方式中，所述第一替换单元还配置为，将每个所述第一训练样本中除所述n个选定特征之外的特征的特征值替换为随机确定的其它值。

在一种实施方式中，所述装置被部署多次以获取多个差异值，其中，在对所述装置的每次部署中，所述n个选定特征与其它各次部署对应的各组n个选定特征具有不同的特征组合，其中，所述装置还包括，平均单元，配置为，在获取多个差异值之后，基于所述多个差异值获取平均差异值，以用于评估所述模型解释工具。

第一训练单元，配置为，使用所述多个第一训练样本训练所述第一模型，以获取具有第一参数组的第一模型；

排序单元，配置为，基于所述多个第一训练样本和所述第一参数组，通过模型解释工具获取所述多个特征的重要性排序；

替换单元，配置为，将各个所述第一训练样本中除所述重要性排序的前n个特征之外的特征的特征值替换为相同的预定值，以获取多个第二训练样本；

第二训练单元，配置为，使用所述多个第二训练样本训练所述第一模型，以获取具有第二参数组的第一模型；

本说明书另一方面提供一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行上述任一项方法。

本说明书另一方面提供一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现上述任一项方法。

通过根据本说明书实施例的评估模型解释工具的方案，利用任意数据集训练黑盒模型，对比不同模型解释工具给出的前n个特征训练相同黑盒模型与初始训练的黑盒模型的性能差异，从而客观的比较出不同解释工具的好坏（即选出的前n个特征是否重要），并且这种解释方法不需要对数据集特征有先验权重，而且可应用于矩阵式数据场景。

附图说明

通过结合附图描述本说明书实施例，可以使得本说明书实施例更加清楚：

图1示出根据本说明书实施例的评估模型解释工具的系统100的示意图；

图2示出根据本说明书另一个实施例的评估模型解释工具的系统200的示意图；

图3示出根据本说明书实施例的一种评估模型解释工具的方法流程图；

图4示出用于示意通过测试样本确定各种模型性能值的示意图；

图5示出根据本说明书另一个实施例的一种评估模型解释工具的方法流程图；

图6示出本说明书另一方面提供一种评估模型解释工具的装置600；

图7示出根据本说明书另一实施例的一种评估模型解释工具的装置700。

具体实施方式

下面将结合附图描述本说明书实施例。

图1示出根据本说明书实施例的评估模型解释工具的系统100的示意图。如图1中所示，该系统100中包括第一样本处理单元11、黑盒模型12、模型解释工具13、第二样本处理单元14、评估单元15和计算单元16。所述黑盒模型12，例如为希望通过模型解释工具13进行解释的非自解释型模型，例如各类复杂的神经网络模型等等，神经网络模型由于其多层、多神经元的复杂结构，无法通过其各个参数或网络结构对样本特征的重要性进行解释。黑盒模型12可以通过与特定业务相关的多个训练样本进行训练，从而变为业务处理模型，例如风险控制模型。例如，所述特定业务为对网络平台中的用户进行分类，例如将用户分类为低风险用户和高风险用户、高消费用户、低消费用户等等，从而，该训练样本包括用户各个特征的特征值及该用户的标签值，所述各个特征例如包括用户的性别、年龄、月交易额、贷款额等等，所述用户的标签值例如指示该用户是否为高风险用户，例如，在花呗的场景中，所述用户的标签值例如为指示该用户是否为套现高风险用户，在交易的场景中，所述用户的标签值例如为指示该用户是否为欺诈高风险用户，等等。可以理解，这里虽然以平台中的用户为例进行描述，本说明书实施例中不限于此，所述训练样本可对应于网络平台中以下一个或多个对象：用户、商户、商品、交易，等等。例如，所述黑盒模型为商品推送模型，所述训练样本中可包括平台中用户和商品两个对象的特征，所述训练样本的标签值对应于用户是否购买该商品。在该场景中，也可以通过图1所示系统对模型解释工具进行评估。

在本说明书实施例中，在获取多个训练样本（即图中训练样本集1）之后，首先通过第一样本处理单元11对训练样本集1进行处理。具体是，保留各个训练样本的n个选定特征的特征值，而将各个训练样本的其它特征的特征值替换为任意值，例如随机值，从而获取新的训练样本集2。图中以重叠的多个椭圆框示出训练样本集2表示，可以通过选取不同组合的n个选定特征，从而获取多个训练样本集2，从而可多次执行该方法。

通过以上述训练样本集2训练黑盒模型12，然后使用评估单元15使用测试样本集对该训练的黑盒模型12进行性能评估，以获得性能值1，并使用模型解释工具13对经训练的黑盒模型12进行解释，以给出与该经训练的黑盒模型对应的多个特征的重要性排序，并将该排序发送给第二样本处理单元14。所述模型解释工具13例如为LIME ( localinterpretable model-agnostic explanations，局部可解释的模型无关的解释工具)、SHAP（SHapley additive explanations, 夏普利值加入解释）等模型解释工具。

第二样本处理单元14将训练样本集2中每个样本中除所述前n个特征之外的每个特征的特征值都替换为相同值，例如0，从而获取新的训练样本集3。通过该训练样本集3重新训练初始的黑盒模型12，然后使用评估单元15对该重新训练的黑盒模型12进行性能评估，以获得性能值2。性能值1和性能值2都被发送给计算单元16，计算单元16基于性能值1和性能值2计算两次训练的黑盒模型的差异值，以用于评估模型解释工具13。在通过多个训练样本集2获取多个性能差异值的情况中，可在计算单元16中计算各个性能差异值的平均值作为模型解释工具13的评估分。

可以理解，上述针对图1的描述以及图1所示的系统100仅为示例性的，而不用于限制本说明书实施例的范围。例如，图2示出根据本说明书另一个实施例的评估模型解释工具的系统200的示意图。如图2中所示，该系统200中包括黑盒模型21、模型解释工具22、样本处理单元23、评估单元24和计算单元25。在该实施例中，系统200中可以不包括图1中的第一样本处理单元11，而可以直接使用训练样本集1训练黑盒模型，并通过评估单元24评估该训练的黑盒模型的模型性能，获取性能值1，以用于与后续对模型解释工具22的评估，并且通过模型解释工具22对该训练的黑盒模型进行解释，给出样本中各个特征的重要性排序。样本处理单元23与图1中第二样本处理单元14类似地对训练样本集1进行处理，以获取训练样本集2。通过训练样本集2训练黑盒模型21，从而可获取性能值2。计算单元25计算性能值1与性能值2的差异值作为模型解释工具22的评估分。

下面将详细描述上述评估模型解释工具的过程。

图3示出根据本说明书实施例的一种评估模型解释工具的方法流程图，包括：

步骤S302，获取多个第一训练样本，每个所述第一训练样本包括业务对象的多个特征的特征值和业务对象的标签值；

步骤S304，从所述多个特征中选取n个选定特征；

步骤S306，将每个所述第一训练样本中除n个选定特征之外的特征的特征值替换为其它值，以获取多个第二训练样本；

步骤S308，使用所述多个第二训练样本训练所述第一模型，以获取具有第一参数组的第一模型；

步骤S310，基于所述多个测试样本获取所述具有第一参数组的第一模型的第一性能值；

步骤S312，基于所述多个第二训练样本和所述第一参数组，通过模型解释工具获取所述多个特征的重要性排序；

步骤S314,将每个所述第二训练样本中除所述重要性排序的前n个特征之外的特征的特征值替换为相同的预定值，以获取多个第三训练样本；

步骤S316, 使用所述多个第三训练样本训练所述第一模型，以获取具有第二参数组的第一模型；

步骤S318, 基于所述多个测试样本获取所述具有第二参数组的第一模型的第二性能值；

步骤S320, 计算所述第一性能值与所述第二性能值的差异值，以用于评估所述模型解释工具。

首先，步骤S302，获取多个第一训练样本，每个所述第一训练样本包括业务对象的多个特征的特征值和业务对象的标签值。

所述多个第一训练样本例如与网络平台中的多个用户分别对应，每个第一训练样本中包括对应的用户的多个特征的特征值，如性别、年龄、月交易额、月贷款额、月收入、年缴税额等等。另外，每个训练样本中还包括其对应用户的标签值，标签值例如为0或1，其中0表示低风险用户，1表示高风险用户。可以理解，这里，样本的标签值为0或1，即，所述第一模型为二分类模型，然而，在本说明书实施例中，所述第一模型不限于为二分类模型，而可以为多分类模型，即样本的标签值可以为多个值，或者也可以为回归模型等等。

在步骤S304，从所述多个特征中选取n个选定特征。

例如，所述多个特征一共为20个特征，n可设置为10个。可以理解，可根据精度需要和重要特征的个数来相对于多个特征设置n的值，例如，对精度的要求较高，可将n设置为较小，例如可将n设置为5，例如，如果确定多个特征中的前15个特征比较重要，可将n设置为15，等等。可通过多种方式从20个特征中选出10个特征，例如，可从20个特征中随机选出10个特征，或者可从20个特征中以预定规则选出10个特征，例如，选取20个特征中顺序排列的10个特征、选取20个特征中的10个奇数位置的特征等等。在一种实施方式中，可首先确定从20个特征中选出10个特征的组合数N，即

=184756，从而可从N个组合中随机确定一个组合作为所述10个选定特征，或者也可从N个组合中以预定规则确定一个组合作为所述10个选定特征。

在步骤S306，将每个所述第一训练样本中除所述n个选定特征之外的特征的特征值替换为任意值，以获取多个第二训练样本。

在确定了n个选定特征之后，例如，所述20个特征为f1～f20，所述n个选定特征为f1～f10，即特征f11～f20为未选定的特征。从而，对于每个第一训练样本，将该样本中的特征f11～f20各自的特征值分别替换为其它值。该其它值可以是随机确定的，或者为预先确定的。具体是，例如对于第一训练样本

，其特征f11的初始值为

，可随机获取与初始值

不同的值

以替换样本

中

,通过类似的方式对样本

中的特征f12～f20的初始值都进行替换之后，从而可获取与样本

（即第一训练样本）对应的新样本（即第二训练样本）

,通过类似地对多个第一训练样本中的每个样本进行上述处理，从而可获取多个第二训练样本。

在步骤S308，使用所述多个第二训练样本训练所述第一模型，以获取具有第一参数组的第一模型。

如上文所述，所述第一模型例如为黑盒模型，如各类神经网络模型，如CNN模型、DNN模型、强化学习模型等等。可以理解，在本说明书实施例中，所述第一模型不限于为黑盒模型，而也可以为自解释型模型，如逻辑回归模型、线性回归模型、支持向量机模型、树模型、贝叶斯模型、KNN模型、具有限定网络结构的神经网络模型等等。例如，所述第一模型可以为GBDT模型，GBDT模型可通过多种方法来解释特征重要度，如特征参与分裂节点的次数、特征的基尼指数等，不同的方法给出的特征重要度可能并不相同，通过使用模型解释工具来解释该GBDT模型，可对GBDT模型提供较客观的特征重要度。可通过各种优化方法来基于所述多个第二训练样本训练第一模型，如梯度下降法、反向传播法等，在此不作限定。在通过多个第二训练样本训练第一模型之后，从而修改了第一模型的初始参数，从而使得第一模型具有第一参数组。这里，第一模型的参数是指可通过训练样本进行调节的参数，而不包括预先确定的模型超参数等。

在步骤S310，基于所述多个测试样本获取所述具有第一参数组的第一模型的第一性能值V1。

与所述第一训练样本类似地，每个测试样本也包括业务对象（例如用户）的多个特征的特征值和业务对象的标签值，并且，所述多个测试样本分别对应的用户与所述多个第一训练样本分别对应的用户是不重合的，以提供较客观的模型性能值。在所述模型为二分类模型的情况中，所述模型性能值V1可以为以下任一项：准确率、精确率、召回率、F1值、AUC，或者可以为上述各项的组合。图4示出用于示意通过测试样本确定各种模型性能值的示意图。如图4中所示，对于全部测试样本，假设如果其标签值为0，将其称为正样本，假设如果其标签值为1，将其称为负样本，通过将各个训练样本的特征值输入具有第一参数组的第一模型之后，可由第一模型输出各个样本的模型预测值。其中，对于正样本，如果模型预测值为0，说明模型预测是正确的，则将该样本计入图中左上角TP（True Positive）中的样本数，如果模型预测值为1，说明模型预测是错误的，则将该样本计入图中左下角FN（FalseNegatiove）中的样本数，对于负样本，如果模型预测值为1，说明模型预测正确，将该样本计入图中右上角TN（True Negative）中的样本数，如果模型预测值为0，说明模型预测错误，则将该样本计入图中右下角FP（False Positive）中的样本数。在统计了多个测试样本中分别落入图中四部分中的样本数之后，可计算上述各种模型性能值。例如，准确率为预测正确样本数与全部测试样本数M的比值，其中，M=TP+TN+FN+FP，即如公式（1）所示：

（1）；

精确率为预测为正样本中真正的正样本的比率，即如公式（2）所示：

（2）；

召回率为所有正样本中预测为正样本的比率，即如公式（3）所示：

（3）；

F1值又称为调和平均数，如公式（4）所示：

（4）；

AUC（Area Under Curve）为ROC曲线下的面积，其取值范围在0.5到1之间，数值越大，对应的模型预测越好。

可以理解，所述第一模型不限于为二分类模型，例如，在第一模型为多分类模型的情况中，可通过Kappa系数、海明距离、杰卡德相似系数等对模型性能进行评估，在第一模型为回归模型的情况中，可通过平均绝对误差、平均方差、R平方值等对模型性能进行评估。

步骤S312，基于所述多个第二训练样本和所述第一参数组，通过模型解释工具获取所述多个特征的重要性排序。

如上文所述，所述模型解释工具可以为现有的任一种模型解释工具，如LIME、SHAP等等。例如，对于LIME，其用于对于多个第二训练样本中的样本1进行干扰，而可获取与该样本1邻近的多个扰动样本，通过将该多个扰动样本输入上述训练好的第一模型，从而基于第一参数组，获取模型预测值，然后基于扰动样本的数据拟合线性函数，从而基于该线性函数确定在样本1附近的局部的各个特征的重要性。通过对训练样本中的每个样本实施上述过程，从而可对通过各个样本获取的各个特征的重要性取平均，从而可获取整体上各个特征的重要性排序。例如，可通过LIME如上所述确定上述特征f1～f20的局部或整体的重要性排序。

步骤S314,将每个所述第二训练样本中除所述重要性排序的前n个特征之外的特征的特征值替换为相同的预定值，以获取多个第三训练样本。

如上文所述，例如n取为10，假设在所述重要性排序中，排在前10个的特征包括：f2、f5、f11、f6、f7、f8、f9、f15、f10、f16，从而，可保留各个第二训练样本中上述前10个特征的特征值，而把其它特征的特征值都替换为0，从而可获取多个第三训练样本。这里，不限于将其它特征的特征值都替换为0，而可以替换为任意其它的值，如1，只要其它特征的特征值都替换为相同的值即可，从而可保证在通过多个第三训练样本训练模型时仅所述前10个特征是有效的，而其它特征不会对训练的模型有影响。

步骤S316, 使用所述多个第三训练样本训练所述第一模型，以获取具有第二参数组的第一模型。

在该步骤中训练的第一模型与在上述步骤S308中训练的第一模型为具有相同的网络结构和超参数的第一模型，而对于第一模型的模型参数并不进行限定。例如，所述第一模型为DNN模型，则，在该步骤中训练的DNN模型与在步骤S308中训练的DNN模型具有相同的网络层数、隐含层神经元数、以及激活函数等，但是在该步骤中训练的DNN模型与在步骤S308中训练的DNN模型的模型参数（例如第i层的神经元相对于上一层各个神经元的计算参数）可以是相同的，例如都是DNN模型的在进行步骤S308之前的初始参数，也可以是不同的，例如，在该步骤中训练的DNN模型的模型参数可以为上述第一参数组。在另一个实例中，所述第一模型例如为GBDT模型，则在该步骤中训练的GBDT模型与在上述步骤S308中训练的GBDT模型具有相同的树的棵树、树的最大深度以及叶子节点数等，然而，该两个步骤中训练的GBDT模型可具有不同的节点分裂值、叶子节点值等参数。

在步骤S318, 基于所述多个测试样本获取所述具有第二参数组的第一模型的第二性能值V2。

该第二性能值V2与第一性能值V1为同一种性能的值，例如，其都为准确率值，或者其都为召回率值等，以用于进行后续的比较步骤。

假设第一性能值V1与第二性能值V2都是模型精确率，则可将差异值S设置为等于V2/V1，则S越接近1，说明两次训练下的模型的性能差异越小，即，模型解释工具给出的重要性排序的前n个特征越接近选定的n个特征，从而表明模型解释工具越置信。在另一种实施方式中，可将差异值S设置为等于V2-V1，S越接近0，说明两次训练下的模型的性能差异越小，表明模型解释工具越置信。

在一种实施方式中，对图3所示方法中的步骤S304-S320执行多次，以获取多个差异值S，并对该多个差异值S求均值作为模型解释工具的评估分。其中，在对步骤S304-S320的每次执行中，在步骤S304中选取的n个选定特征分别具有不同的特征组合。其中，步骤S304-S320的多次执行可以是并行执行或循环执行。例如，在步骤S302,获取多个第一训练样本之后，并行地将步骤S304执行m次,以从多个特征中分别选出不同组合的m组n个选定特征。这里，在每次执行步骤S304时，都可以是随机的选取n个选定特征。或者按照预定规则选取，例如，如上文所述，在确定从20个特征中选出10个特征的组合数N之后（即

=184756），对于顺序排列的N个组合，可以预定这样的规则：m组特征为N个组合中彼此间隔开的m个组合，例如，将N个组合中第1个组合确定为第1组n个选定特征，将第1001个组合确定为第2组n个选定特征，将2001个组合确定为第3组n个选定特征等等。通过以这种方式确定m组n个选定特征，使得m组n个选定特征可覆盖多个特征中的更多个特征，从而使得对模型解释工具的评估结果更准确。

通过对获取的多个差异值S求均值，从而以获取的平均差异值作为评估分体现了模型解释工具的准确性，具有更高的普适性和客观性，即，该平均差异值是相对于多个特征的，而不是相对于某些特定特征的。在通过该方法获取各个模型解释工具的评估分数之后，可基于该评估分数确定合适的模型解释工具，以用于对该黑盒模型的模型解释。从而，通过选出的较优的模型解释工具可以更好地解释该黑盒模型中各个特征的重要性。

图5示出根据本说明书另一个实施例的一种评估模型解释工具的方法流程图，包括：

步骤S502，获取多个第一训练样本，每个所述第一训练样本包括业务对象的多个特征的特征值和业务对象的标签值；

步骤S504，使用所述多个第一训练样本训练所述第一模型，以获取具有第一参数组的第一模型；

步骤S506，基于所述多个测试样本获取所述具有第一参数组的第一模型的第一性能值；

步骤S508，基于所述多个第一训练样本和所述第一参数组，通过模型解释工具获取所述多个特征的重要性排序；

步骤S510，将各个所述第一训练样本中除所述重要性排序的前n个特征之外的特征的特征值替换为相同的预定值，以获取多个第二训练样本；

步骤S512，使用所述多个第二训练样本训练所述第一模型，以获取具有第二参数组的第一模型；

步骤S514，基于所述多个测试样本获取所述具有第二参数组的第一模型的第二性能值；

步骤S516，计算所述第一性能值与所述第二性能值的差异值，以用于评估所述模型解释工具。

该实施例与图3所示实施例不同在于，在获取多个第一训练样本之后，不对第一训练样本进行替换非选定特征的特征值的处理，而是直接使用多个第一训练样本训练第一模型，并通过多个测试样本获取该训练的第一模型的第一性能值。然后，通过模型解释工具对该训练的第一模型进行解释，以给出多个特征的重要性排序，然后，与图3所示实施例类似地，将各个第一训练样本中的除重要性排序中前n个特征之外的特征的特征值替换为相同的预定值，从而获取多个第二训练样本，通过该多个第二训练样本训练第一模型并评估，从而可获取第二性能值。与图3所示实施例相同地，可基于第一性能值与第二性能值的差异值来评估模型解释工具的置信度。这里，由于不存在图3中的对步骤S304-S320的多次执行以获取多个差异值的过程，因此，没有对多个差异值求均值的步骤。与图3所示实施例类似地，基于第一性能值与所述第二性能值的差异值确定两次训练下的模型的性能差异，两次训练下的模型的性能差异越小，即，模型解释工具给出的重要性排序的前n个特征越接近真实的重要性排在前n位的特征，从而表明模型解释工具越置信。

图6示出本说明书另一方面提供一种评估模型解释工具的装置600，所述装置基于第一模型和预先获取的用于第一模型的多个第一训练样本和多个测试样本部署，其中，每个所述第一训练样本包括业务对象的多个特征的特征值，所述装置包括：

选取单元601，配置为，从所述多个特征中选取n个特征作为n个选定特征；

第一替换单元602，配置为，将每个所述第一训练样本中除所述n个选定特征之外的特征的特征值替换为其它值，以获取多个第二训练样本；

第一训练单元603，配置为，使用所述多个第二训练样本训练所述第一模型，以获取具有第一参数组的第一模型；

第一获取单元604，配置为，基于所述多个测试样本获取所述具有第一参数组的第一模型的第一性能值；

排序单元605，配置为，基于所述多个第二训练样本和所述第一参数组，通过模型解释工具获取所述多个特征的重要性排序；

第二替换单元606，配置为，将每个所述第二训练样本中除所述重要性排序的前n个特征之外的特征的特征值替换为相同的预定值，以获取多个第三训练样本；

第二训练单元607，配置为，使用所述多个第三训练样本训练所述第一模型，以获取具有第二参数组的第一模型；

第二获取单元608，配置为，基于所述多个测试样本获取所述具有第二参数组的第一模型的第二性能值；

计算单元609，配置为，计算所述第一性能值与所述第二性能值的差异值，以用于评估所述模型解释工具。

在一种实施方式中，所述选取单元601还配置为，从所述多个特征中随机选取n个特征作为n个选定特征。

在一种实施方式中，所述第一替换单元602还配置为，将每个所述第一训练样本中除所述n个选定特征之外的特征的特征值替换为随机确定的其它值。

在一种实施方式中，所述装置被部署多次以获取多个差异值，其中，在对所述装置的每次部署中，所述n个选定特征与其它各次部署对应的各组n个选定特征具有不同的特征组合，其中，所述装置还包括平均单元610，配置为，在获取多个差异值之后，基于所述多个差异值获取平均差异值，以用于评估所述模型解释工具。

图7示出根据本说明书另一实施例的一种评估模型解释工具的装置700，所述装置基于第一模型和预先获取的用于第一模型的多个第一训练样本和多个测试样本部署，其中，每个所述第一训练样本包括业务对象的多个特征的特征值，所述装置包括：

第一训练单元71，配置为，使用所述多个第一训练样本训练所述第一模型，以获取具有第一参数组的第一模型；

第一获取单元72，配置为，基于所述多个测试样本获取所述具有第一参数组的第一模型的第一性能值；

排序单元73，配置为，基于所述多个第一训练样本和所述第一参数组，通过模型解释工具获取所述多个特征的重要性排序；

替换单元74，配置为，将各个所述第一训练样本中除所述重要性排序的前n个特征之外的特征的特征值替换为相同的预定值，以获取多个第二训练样本；

第二训练单元75，配置为，使用所述多个第二训练样本训练所述第一模型，以获取具有第二参数组的第一模型；

第二获取单元76，配置为，基于所述多个测试样本获取所述具有第二参数组的第一模型的第二性能值；

计算单元77，配置为，计算所述第一性能值与所述第二性能值的差异值，以用于评估所述模型解释工具。

通过根据本说明书实施例的评估模型解释工具的方案，利用任意数据集训练黑盒模型，对比不同模型解释工具给出的前n个特征训练相同黑盒模型与初始训练的黑盒模型的性能差异，从而客观的比较出不同解释工具的好坏（即选出的前n个特征是否重要），并且这种解释方法不需要对数据集特征有先验权重，而且可应用于矩阵式数据场景。例如，在黑盒模型为针对平台用户的风险控制模型的情况中，本说明书实施例的评估模型解释工具的方案适用于多个用户的多个特征的大数据场景，并且，通过该方案挑选出较优的模型解释工具，从而对于风险控制模型的预测结果可以给出较置信的解释，从而可有利于对用户的风险程度的判断。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本领域普通技术人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域普通技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。其中，软件模块可以置于随机存储器（RAM）、内存、只读存储器（ROM）、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种评估模型解释工具的方法，所述方法基于第一模型、及预先获取的用于第一模型的多个第一训练样本和多个测试样本进行，其中，每个所述第一训练样本包括业务对象的多个特征的特征值，所述方法包括：

从所述多个特征中选取n个特征作为n个选定特征；

2.一种评估模型解释工具的方法，所述方法基于第一模型、及预先获取的用于第一模型的多个第一训练样本和多个测试样本进行，其中，每个所述第一训练样本包括业务对象的多个特征的特征值，所述方法包括：

3.根据权利要求1或2所述的方法，其中，所述第一模型为非自解释型模型。

4.根据权利要求1所述的方法，其中，从所述多个特征中选取n个特征作为n个选定特征包括，从所述多个特征中随机选取n个特征作为n个选定特征。

5.根据权利要求1所述的方法，其中，将每个所述第一训练样本中除所述n个选定特征之外的特征的特征值替换为其它值包括，将每个所述第一训练样本中除所述n个选定特征之外的特征的特征值替换为随机确定的其它值。

6.根据权利要求1所述的方法，其中，所述方法被执行多次以获取多个差异值，其中，在对所述方法的每次执行中，所述n个选定特征与其它各次执行对应的各组n个选定特征具有不同的特征组合，其中，所述方法还包括，在获取多个差异值之后，基于所述多个差异值计算平均差异值，以用于评估所述模型解释工具。

7.根据权利要求1或2所述的方法，其中，所述第一模型为二分类模型，所述第一性能值和第二性能值与以下至少一项相关：准确率、精确率、召回率、F1值、AUC。

8.根据权利要求1或2所述的方法，其中，所述业务对象为网络平台中的以下一个或多个对象：用户、商户、商品、交易。

9.根据权利要求8所述的方法，其中，所述业务对象为平台用户，每个训练样本包括用户的风险值作为标签值，所述第一模型用于基于所述多个第一训练样本被训练为风险控制模型。

10.一种评估模型解释工具的装置，所述装置基于第一模型和预先获取的用于第一模型的多个第一训练样本和多个测试样本部署，其中，每个所述第一训练样本包括业务对象的多个特征的特征值，所述装置包括：

11.一种评估模型解释工具的装置，所述装置基于第一模型和预先获取的用于第一模型的多个第一训练样本和多个测试样本部署，其中，每个所述第一训练样本包括业务对象的多个特征的特征值，所述装置包括：

12.根据权利要求10或11所述的装置，其中，所述第一模型为非自解释型模型。

13.根据权利要求10所述的装置，其中，所述选取单元还配置为，从所述多个特征中随机选取n个特征作为n个选定特征。

14.根据权利要求10所述的装置，其中，所述第一替换单元还配置为，将每个所述第一训练样本中除所述n个选定特征之外的特征的特征值替换为随机确定的其它值。

15.根据权利要求10所述的装置，其中，所述装置被部署多次以获取多个差异值，其中，在对所述装置的每次部署中，所述n个选定特征与其它各次部署对应的各组n个选定特征具有不同的特征组合，其中，所述装置还包括，平均单元，配置为，在获取多个差异值之后，基于所述多个差异值获取平均差异值，以用于评估所述模型解释工具。

16.根据权利要求10或11所述的装置，其中，所述第一模型为二分类模型，所述第一性能值和第二性能值与以下至少一项相关：准确率、精确率、召回率、F1值、AUC。

17.根据权利要求10或11所述的装置，其中，所述业务对象为网络平台中的以下一个或多个对象：用户、商户、商品、交易。

18.根据权利要求17所述的装置，其中，所述业务对象为平台用户，每个训练样本包括用户的风险值作为标签值，所述第一模型用于基于所述多个第一训练样本被训练为风险控制模型。

19.一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行权利要求1-9中任一项的所述的方法。

20.一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现权利要求1-9中任一项所述的方法。