CN111523677A - 实现对机器学习模型的预测结果进行解释的方法及装置 - Google Patents

Abstract

公开了一种实现对机器学习模型的预测结果进行解释的方法及装置。获取机器学习模型和待解释的样本数据；确定用于对机器学习模型对样本数据进行预测得到的预测结果进行解释的解释方法；使用所确定的解释方法处理预测结果得到解释数据；以及输出解释数据。由此，可以针对不同机器学习模型适配相应的解释方法，从而可以提高方案的通用性。

Description

实现对机器学习模型的预测结果进行解释的方法及装置

技术领域

本发明总体说来涉及人工智能领域，更具体地说，涉及一种实现对机器学习模型的预测结果进行解释的方法及装置。

背景技术

机器学习是人工智能研究发展到一定阶段的必然产物，其致力于通过计算的手段，利用经验来改善系统自身的性能。在计算机系统中，“经验”通常以“数据”形式存在，通过机器学习算法，可从数据中产生“模型”，也就是说，将经验数据提供给机器学习算法，就能基于这些经验数据产生模型，在面对新的情况时，模型会提供相应的判断，即，预测结果。

对用户而言机器学习模型相当于一个黑盒，如何解释机器学习模型是目前亟待解决的问题，而对模型预测结果的解释又是其中一个重要部分。

因此，需要一种能够对模型预测结果进行解释的方案。

发明内容

本发明的示例性实施例旨在提供一种实现对机器学习模型的预测结果进行解释的方案。

根据本发明的第一个方面，提出了一种实现对机器学习模型的预测结果进行解释的方法，包括：获取机器学习模型和待解释的样本数据；确定用于对机器学习模型对样本数据进行预测得到的预测结果进行解释的解释方法；使用所确定的解释方法处理预测结果得到解释数据；以及输出解释数据。

可选地，每条样本数据包括一个或多个特征字段，使用所确定的解释方法处理预测结果得到解释数据的步骤包括：使用所确定的解释方法计算至少部分特征字段的字段名和/或字段值对预测结果的贡献值。

可选地，计算至少部分特征字段的字段名和/或字段值对预测结果的贡献值的步骤包括：获取机器学习模型对样本数据的特征抽取结果；根据特征抽取结果，以特征字段的编号为键、以字段名为值，构造第一键值对集合；计算各个编号对预测结果的第一贡献值，以得到第一解释数据集合，第一解释数据集合包括多条第一解释数据，第一解释数据以编号为键，以第一贡献值为值；遍历第一解释数据集合中的每条第一解释数据，在第一键值对集合中寻找与第一解释数据的键相同的键所对应的字段名，并将字段名替换第一解释数据的键，以得到以字段名为键、以第一贡献值为值的第一解释数据。

可选地，计算至少部分特征字段的字段名和/或字段值对预测结果的贡献值的步骤还包括：根据特征抽取结果，以特征字段的编号及签名为键、以特征字段的字段值为值，构造第二键值对集合；计算各个编号及签名对预测结果的第二贡献值，以得到第二解释数据集合，第二解释数据集合包括多条第二解释数据，第二解释数据以特征字段的编号及签名为键、以第二贡献值为值；遍历第二解释数据集合中的每条第二解释数据，在第二键值对中寻找与第二解释数据的键相同的键所对应的字段值，在第一键值对中寻找与第二解释数据的键中的编号所对应的字段名，以得到该字段名下的字段值的第二贡献值。

可选地，确定用于对机器学习模型对样本数据进行预测得到的预测结果进行解释的解释方法的步骤包括：从多种解释方法中选择与机器学习模型的类型相适配的解释方法。

可选地，多种解释方法包括：夏普利值分析方法，用于根据夏普利值的分配方式将机器学习模型针对样本数据进行预测得到的预测结果所对应的分值分配给样本数据中的至少部分特征中的每个特征，以得到特征对预测结果的重要程度；信息增益方法，用于通过计算样本数据中至少部分特征中每个特征的信息增益，确定特征对预测结果的重要程度；特征权重分析方法，用于提供计算计算样本数据中至少部分特征中每个特征的权重，确定特征对预测结果的重要程度。

可选地，该方法还包括：获取针对解释数据的配置信息，其中，使用所确定的解释方法处理预测结果得到解释数据的步骤包括：根据配置信息使用所确定的解释方法计算预测结果的解释数据；并且/或者输出解释数据的步骤包括：根据配置信息输出解释数据。

可选地，配置信息包括以下至少一项：字段选择信息，用于表征需要解释和/或展示的字段；样本筛选信息，用于表征需要预测的样本数据；排序信息，用于表征解释数据的排序规则。

可选地，输出解释数据的步骤包括：向用户展示一条或多条样本数据；响应于用户选择的样本数据，输出用于表征机器学习模型对用户选择的样本数据进行预测得到的预测结果的解释数据的图表，图表用于表征样本数据中的至少部分特征对预测结果的贡献程度。

可选地，输出解释数据的步骤包括：输出用于表征解释数据的图表，图表用于表征一个或多个特征分组对预测结果的影响程度，或者图表用于表征特征对样本分组的预测结果的影响程度。

可选地，待解释的样本数据为预测结果和真实结果之间的差异大于预定阈值的数据，该方法还包括：根据解释数据修改机器学习模型。

可选地，待解释的样本数据为线上待预测的样本数据，该方法还包括：基于机器学习模型发布在线预估服务；利用在线预估服务对样本数据进行预测，以得到实时预测结果；关联地输出实时预测结果和解释数据。

根据本发明的第二个方面，提出了一种实现对机器学习模型的预测结果进行解释的装置，包括：获取模块，用于获取机器学习模型和待解释的样本数据；确定模块，用于确定用于对机器学习模型对样本数据进行预测得到的预测结果进行解释的解释方法；处理模块，用于使用所确定的解释方法处理预测结果得到解释数据；输出模块，用于输出解释数据。

可选地，每条样本数据包括一个或多个特征字段，处理模块使用所确定的解释方法计算至少部分特征字段的字段名和/或字段值对预测结果的贡献值。

可选地，处理模块包括：特征抽取结果获取模块，用于获取机器学习模型对样本数据的特征抽取结果；第一构造模块，用于根据特征抽取结果，以特征字段的编号为键、以字段名为值，构造第一键值对集合；第一计算模块，用于计算各个编号对预测结果的第一贡献值，以得到第一解释数据集合，第一解释数据集合包括多条第一解释数据，第一解释数据以编号为键，以第一贡献值为值；第一查找模块，用于遍历第一解释数据集合中的每条第一解释数据，在第一键值对集合中寻找与第一解释数据的键相同的键所对应的字段名，并将字段名替换第一解释数据的键，以得到以字段名为键、以第一贡献值为值的第一解释数据。

可选地，处理模块还包括：第二构造模块，用于根据特征抽取结果，以特征字段的编号及签名为键、以特征字段的字段值为值，构造第二键值对集合；第二计算模块，用于计算各个编号及签名对预测结果的第二贡献值，以得到第二解释数据集合，第二解释数据集合包括多条第二解释数据，第二解释数据以特征字段的编号及签名为键、以第二贡献值为值；第二查找模块，用于遍历第二解释数据集合中的每条第二解释数据，在第二键值对中寻找与第二解释数据的键相同的键所对应的字段值，在第一键值对中寻找与第二解释数据的键中的编号所对应的字段名，以得到该字段名下的字段值的第二贡献值。

可选地，确定用于对机器学习模型对样本数据进行预测得到的预测结果进行解释的解释方法的步骤包括：从多种解释方法中选择与机器学习模型的类型相适配的解释方法。

可选地，多种解释方法包括：夏普利值分析方法，用于根据夏普利值的分配方式将机器学习模型针对样本数据进行预测得到的预测结果所对应的分值分配给样本数据中的至少部分特征中的每个特征，以得到特征对预测结果的重要程度；信息增益方法，用于通过计算样本数据中至少部分特征中每个特征的信息增益，确定特征对预测结果的重要程度；特征权重分析方法，用于提供计算计算样本数据中至少部分特征中每个特征的权重，确定特征对预测结果的重要程度。

可选地，获取模块还用于获取针对解释数据的配置信息，处理模块根据配置信息使用所确定的解释方法处理预测结果得到解释数据，并且/或者输出模块根据配置信息输出解释数据。

可选地，配置信息包括以下至少一项：字段选择信息，用于表征需要解释和/或展示的字段；样本筛选信息，用于表征需要预测的样本数据；排序信息，用于表征解释数据的排序规则。

可选地，输出模块向用户展示一条或多条样本数据；响应于用户选择的样本数据，输出模块输出用于表征机器学习模型对用户选择的样本数据进行预测得到的预测结果的解释数据的图表，图表用于表征样本数据中的至少部分特征对预测结果的贡献程度。

可选地，输出模块输出用于表征解释数据的图表，图表用于表征一个或多个特征分组对预测结果的影响程度，或者图表用于表征特征对样本分组的预测结果的影响程度。

可选地，待解释的样本数据为预测结果和真实结果之间的差异大于预定阈值的数据，该装置还包括：修改模块，用于根据解释数据修改机器学习模型。

可选地，待解释的样本数据为线上待预测的样本数据，该装置还包括：发布模块，用于基于机器学习模型发布在线预估服务；实时预测模块，用于利用在线预估服务对样本数据进行预测，以得到实时预测结果；输出模块用于关联地输出实时预测结果和解释数据。

根据本发明的第三个方面，提出了一种包括至少一个计算装置和至少一个存储指令的存储装置的系统，其中，指令在被至少一个计算装置运行时，促使至少一个计算装置执行如本发明第一个方面述及的方法。

根据本发明的第四个方面，提出了一种存储指令的计算机可读存储介质，其中，当指令被至少一个计算装置运行时，促使至少一个计算装置执行如本发明第一个方面述及的方法。

根据本发明示例性实施例的实现对机器学习模型的预测结果进行解释的方法及装置，通过确定用于对机器学习模型对样本数据进行预测得到的预测结果进行解释的解释方法，并使用所确定的解释方法得到解释数据，使得可以针对不同机器学习模型适配不同的解释方法，从而可以提高方案的通用性。

附图说明

从下面结合附图对本发明实施例的详细描述中，本发明的这些和/或其他方面和优点将变得更加清楚并更容易理解，其中：

图1示出了根据本发明示例性实施例的实现对机器学习模型的预测结果进行解释的方法的流程图；

图2示出了根据本发明示例性实施例的向用户展示部分样本数据的界面示意图；

图3示出了根据本发明示例性实施例的针对用户所选择的样本数据的预测结果进行解释的界面示意图；

图4示出了根据本发明示例性实施例的向用户展示的配置界面示意图；

图5示出了根据本发明示例性实施例的用于用户选择字段的界面示意图；

图6示出了根据本发明示例性实施例的样本筛选开关打开后的界面示意图；

图7示出了根据本发明示例性实施例的实现对机器学习模型的预测结果进行解释的装置的结构框图。

具体实施方式

为了使本领域技术人员更好地理解本发明，下面结合附图和具体实施方式对本发明的示例性实施例作进一步详细说明。

图1示出了根据本发明示例性实施例的实现对机器学习模型的预测结果进行解释的方法的流程图。图1所示的方法可完全通过计算机程序以软件方式实现，还可通过特定配置的计算装置来执行图1所示的方法。

参见图1，在步骤S110，获取机器学习模型和待解释的样本数据。

在本发明的一个实施例中，机器学习模型可以用于如下场景中的任一场景：在线内容(诸如，新闻、广告、音乐等)推荐；信用卡欺诈检测；异常行为检测；智能营销；智能投资顾问；网络流量分析。

更进一步地，本发明实施例中的机器学习模型可应用于的场景包括但不限于以下场景：

图像处理场景，包括：光学字符识别OCR、人脸识别、物体识别和图片分类；更具体地举例来说，OCR可应用于票据(如发票)识别、手写字识别等，人脸识别可应用安防等领域，物体识别可应用于自动驾驶场景中的交通标志识别，图片分类可应用于电商平台的“拍照购”、“找同款”等。

语音识别场景，包括可通过语音进行人机交互的产品，如手机的语音助手(如苹果手机的Siri)、智能音箱等；

自然语言处理场景，包括：审查文本(如合同、法律文书和客服记录等)、垃圾内容识别(如垃圾短信识别)和文本分类(情感、意图和主题等)；

自动控制场景，包括：矿井组调节操作预测、风力发电机组调节操作预测和空调系统调节操作预测；具体的对于矿井组可预测开采率高的一组调节操作，对于风力发电机组可预测发电效率高的一组调节操作，对于空调系统，可以预测满足需求的同时节省能耗的一组调节操作；

智能问答场景，包括：聊天机器人和智能客服；

业务决策场景，包括：金融科技领域、医疗领域和市政领域的场景，其中：

金融科技领域包括：营销(如优惠券使用预测、广告点击行为预测、用户画像挖掘等)与获客、反欺诈、反洗钱、承保和信用评分、商品价格预测；

医疗领域包括：疾病筛查和预防、个性化健康管理和辅助诊断；

市政领域包括：社会治理与监管执法、资源环境和设施管理、产业发展和经济分析、公众服务和民生保障、智慧城市(公交、网约车、共享单车等各类城市资源的调配和管理)；

推荐业务场景，包括：新闻、广告、音乐、咨询、视频和金融产品(如理财、保险等)的推荐；

搜索场景，包括：网页搜索、图像搜索、文本搜索、视频搜索等；

异常行为检测场景，包括：国家电网客户用电异常行为检测、网络恶意流量检测、操作日志中的异常行为检测等。

待解释的样本数据可以由至少一个样本组成。作为示例，待解释的样本数据可以包括但不限于每个样本的样本信息以及模型对每个样本的预测结果。其中，样本信息可以包括与样本相关的所有或部分信息，例如样本信息可以包括样本特征、目标值。可选地，待解释的样本数据中也可以不包括预测结果，而是可以使用机器学习模型对样本进行预测，以得到预测结果。

机器学习模型和待解释的样本数据均可以由用户指定。例如，可以向用户提供图形化的交互界面，用户可以通过在交互界面上执行特定操作来指定机器学习模型和待解释的样本数据。

在步骤S120，确定用于对机器学习模型对样本数据进行预测得到的预测结果进行解释的解释方法。

本发明可以提供一种或多种解释方法。在仅提供一种解释方法的情况下，可以直接使用该解释方法。在提供了多种解释方法的情况下，可以从这多种解释方法中选择任意一种或多种组合。其中，选择解释方法的操作可以由用户执行，也可以根据机器学习模型的类型自动选择。例如，可以从多种解释方法中选择与机器学习模型的类型相适配的解释方法。

本发明述及的解释方法可以包括但不限于夏普利值分析方法、信息增益方法、特征权重分析方法。夏普利值(SHAP)分析方法主要是根据博弈论中夏普利值及其相关扩展，利用最优信用分配给出样本的各个特征对于将模型输出结果(即预测结果)从“基础值”推动到“模型输出值”的贡献大小，从而实现机器学习模型的局部可解释，例如可以根据夏普利值的分配方式将机器学习模型针对样本数据进行预测得到的预测结果所对应的分值(也即预测分值)分配给样本数据中的至少部分特征中的每个特征，以得到特征对预测结果的重要程度；信息增益方法用于通过计算样本数据中至少部分特征中每个特征的信息增益，确定特征对预测结果的重要程度；特征权重分析方法用于提供计算计算样本数据中至少部分特征中每个特征的权重，确定特征对预测结果的重要程度。关于各解释方法的具体实现原理可以参见现有理论知识，本发明不再赘述。

作为示例，本发明可以预先设置多种解释方法，并根据步骤S110获取的机器学习模型的类型，从这多种解释方法中选择适于对利用该模型得到的预测结果进行解释的解释方法，并提供给用户使用。例如，可以预先设置夏普利值分析方法、信息增益方法以及特征权重分析方法等多种解释方法，若步骤S110获取的机器学习模型为GBDT模型或GBRT模型，则可以提供夏普利值分析方法、信息增益方法，用户可以从提供的多个方法中选择一种。再例如，对于逻辑回归模型，可以提供特征权重分析方法，用户可以直接使用该方法。

在步骤S130，使用所确定的解释方法处理预测结果得到解释数据。

在确定了解释方法后，可以使用所确定的解释方法处理预测结果得到解释数据。利用解释方法处理预测结果得到解释数据的具体实现过程与所采用的解释方法的工作原理相关，对此本发明不再赘述。

解释数据可以用于反映样本数据中不同组成部分对预测结果的影响程度，影响程度也可以视为贡献程度。作为示例，每条样本数据可以包括一个或多个特征字段，本发明可以利用所确定的解释方法计算样本数据中至少部分特征字段的字段名和/或字段值对预测结果的贡献值。由此，得到的解释数据可以用于反映样本数据中不同特征字段的字段名和/或字段值对预测结果的贡献程度。其中，需要计算贡献值的特征字段可以由用户指定，例如在步骤S130之前可以获取用户设定的配置信息，配置信息中可以包括字段选择信息，根据字段选择信息可以确定需要解释的特征字段，也即需要计算贡献值的特征字段。关于配置信息可以参见下文相关描述。

作为示例，可以利用所确定的解释方处理预测结果得到用于反映样本数据中特征字段的字段名对预测结果的贡献程度的第一解释数据，也可以得到用于反映样本数据中特征字段的字段值对预测结果的贡献程度的第二解释数据。其中，第一解释数据可以视为粗粒度解释数据，第二解释数据可以视为细粒度解释数据。具体获取何种解释数据可以由用户指定，例如可以根据用户针对解释数据设置的配置信息中的字段选择信息，来确定样本数据中需要解释的字段名和/或字段值，然后可以利用所确定的解释方处理预测结果得到相应的解释数据。

下面就第一解释数据和第二解释数据的获取过程做示例性说明。

可以获取机器学习模型对样本数据的特征抽取结果；根据特征抽取结果，以特征字段的编号为键、以字段名为值，构造第一键值对集合；计算各个编号对预测结果的第一贡献值，以得到第一解释数据集合，第一解释数据集合包括多条第一解释数据，每条第一解释数据以编号为键，以第一贡献值为值；遍历第一解释数据集合中的每条第一解释数据，在第一键值对集合中寻找与第一解释数据的键相同的键所对应的字段名，并将字段名替换第一解释数据的键，以得到以字段名为键、以第一贡献值为值的第一解释数据。

可以根据特征抽取结果，以特征字段的编号及签名为键、以特征字段的字段值为值，构造第二键值对集合；计算各个编号及签名对预测结果的第二贡献值，以得到第二解释数据集合，第二解释数据集合包括多条第二解释数据，第二解释数据以特征字段的编号及签名为键、以第二贡献值为值；遍历第二解释数据集合中的每条第二解释数据，在第二键值对中寻找与第二解释数据的键相同的键所对应的字段值，在第一键值对中寻找与第二解释数据的键中的编号所对应的字段名，以得到该字段名下的字段值的第二贡献值。

举例来说，首先可以根据特征抽取结果构造两个集合：包含特征字段名及编号的第一集合以及包含特征字段名及字段值的第二集合。针对第一集合可以构造字典一，字典一对应于上文述及的第一键值对集合，针对第二集合可以构造字典二，字典二对应于上文述及的第二键值对集合。

例如，第一集合可以是"features"：[{"name"："f_name","slot":3},{"name"："f_age","slot":4},{"name"："f_sex","slot":5}]，其中“name”为字段名，"slot"为编号，如可以将字段所在列作为字段编号。对于该集合，可以slot为key(键)，以name为value(值)构造如下字典一：{"3"："f_name"，"4"："f_age"，"5"："f_sex"}。第二集合可以是{3：4405241786569327662：zhangsan，4：29165839878310945598：18，5：2642211168666324552：female}。对于该集合可以构造如下字典二：{"3：4405241786569327662"："zhangsan"，"4：29165839878310945598"："18"，"5：2642211168666324552"："female"}。

以使用夏普利值分析方法为例，可以计算粗粒度结构的解释数据(即第一解释数据)和细粒度结构的解释数据(即第二解释数据)。

粗粒度解释数据的结构如下："shap_values"：{"3"：0.00000000000000070083294297584，"4":-0.000000000000000000115196480826585，"5":0.00000000000000319585107482574}，其中key为字段编号，value为利用夏普利值分析方法计算得到的对应字段名的贡献值，带有负号的数值表示对预测结果起负向作用。对于粗粒度解释数据，可以遍历该数据结构中的每个key，在字典一中寻找对应的value并做替换，最终得到如下解释数据："shap_values"：{"f_name"：0.00000000000000070083294297584，"f_age":-0.000000000000000000115196480826585，"f_sex":0.00000000000000319585107482574}，由此最终得到粗粒度的特征分析结果，即特征名(也即字段名)及该特征的特征贡献值。

细粒度解释数据的结构如下："shap_values"：{"3：4405241786569327662"：0.000000000000000319585107482574，"4：29165839878310945598":0.0000000000000000000016940658945086，"5：2642211168666324552":-0.00000000000000000000406575814682064}，其中key包括字段编号和签名两部分，v alue为利用夏普利值分析方法计算得到的对应字段值的贡献值，，带有负号的数值表示对预测结果起负向作用。对于细粒度解释数据，可以遍历该数据结构中的每个key，在字典二中寻找对应的value，字典二中寻找到的value即为对应特征的实际取值，然后可以对key进行分割，并取第一个值(也即字段编号)，以该值为key在字典一种寻找对应的value，字典一种寻找到的值即为特征名。最终得到如下解释数据："shap_values"：[{"label"："f_name"，"sign"："zhangsan"，"value":0.00000000000000319585107482574}，{"label"："f_age"，"sign"："18"，"value":0.0000000000000000000016940658945086}，{"label"："f_sex"，"sign"："female"，"value":-0.00000000000000000000406575814682064}，由此最终得到细粒度的特征分析结果，即特征名、实际取值以及该实际取值的特征贡献值。

在步骤S140，输出解释数据。

可以通过但不限于可视化地方式输出解释数据，以使得用户能够直观地了解样本数据对预测结果的影响。作为示例，可以向用户展示一条或多条样本数据；并且响应于用户选择的样本数据，可以输出用于表征机器学习模型对用户选择的样本数据进行预测得到的预测结果的解释数据的图表，图表用于表征样本数据中的至少部分特征对预测结果的贡献程度。

考虑到样本数据可能较多，如果一次性提取大量样本的预测结果及解释数据到前端，花费的时间较长，因此可以默认只返回一定数量的样本到前端(这个数值取决于查询时的页大小)。只有在用户选中某条样本时，前端才会解析该条样本的预测结果的解释数据，并以图形化的形式展示出来。

如图2所示，可以首先展示一张表格，表格的一行代表一条样本，用户选择其中任意一条样本，即可查看对该样本的模型预测结果的解释，解释数据可以以图形化的形式展示。

如图3所示，响应于用户对表格中某条样本的选择操作，可以展示该条样本中不同特征对预测结果的贡献程度，其中图3展示的是不同特征将输出结果从“基础值”推动到“模型输出值”的贡献。其中，特征贡献值可以分正负，正值表示对预测结果起正向作用，负值表示对预测结果起反向作用。

本发明还可以支持用户预先对解释数据进行配置，以使得最终输出的解释数据能够满足用户的个性化需求。作为示例，本发明可以获取针对解释数据的配置信息，如可以获取用户针对解释数据设置的配置信息。关于配置信息的获取形式，本发明不做限定，例如可以向用户提供用于设置配置信息的图形界面，根据用户在图形界面上执行的操作，获取用户针对解释数据设置的配置信息。配置信息可以包括但不限于以下任意一项或多项组合：字段选择信息、样本筛选信息以及排序信息。其中，字段选择信息用于表征需要解释和/或展示的字段，此处述及的字段可以包括字段名和/或字段值；样本筛选信息用于表征需要预测的样本数据；排序信息用于表征解释数据的排序规则。由此，在执行S130时，可以根据配置信息使用所确定的解释方法处理预测结果得到解释数据；并且/或者在执行步骤S140时，可以根据配置信息输出解释数据。

如图4所示，可以向用户提供用于对解释方法、字段选择、样本筛选、样本排序等参数进行配置的操作界面。

具体地，可以在操作界面中针对“解释方法”设置下拉选项，根据机器学习模型的种类，下拉框可以自动提供对应的解释方法供用户选择。

还可以在操作界面中设置“字段选择”单选框，提供“只保留样本目标值和预测分值”、“自定义”两种选项。如果用户选择“只保留样本目标值和预测分值”，则在最终展示界面中展示样本的目标值和模型预测结果。如果选择“自定义”，则如图5所示，可以提供一个供用户输入字段名称的文本框，同时可以提供所有可供选择字段的名称以供用户勾选，勾选字段可以自动出现在文本框中。

还可以在操作界面中设置“样本筛选”开关，开关关闭时表示不进行样本筛选，开关打开时如图6所示，可以提供“编辑脚本”按钮。点击“编辑脚本”按钮，可以弹出一个脚本编辑器，用户可以使用SQL语法来编写表达式，例如可以只需要填写where语句内的查询条件，脚本编辑器可以提供所有基础字段并支持语法校验。

还可以在操作界面中设置“样本排序”单选下拉框，可以提供但不限于“保持原排序”、“按预测值升序”、“按预测值降序”、“按预测值与目标值差值绝对值升序”、“按预测值与目标值差值绝对值降序”五种选项。

本发明还可以对样本或特征进行分组，输出用于表征某组特征对预测结果的影响程度的解释数据，或者输出用于表征特征对某组样本的预测结果的影响程度的解释数据。例如可以输出用于表征解释数据的图表，图表用于表征一个或多个特征分组对预测结果的影响程度，或者图表用于表征特征对样本分组的预测结果的影响程度。

作为示例，在解释方法支持的情况下，可以对特征进行分组，结果预览时可以提供特征组粒度的模型预测结果解释，即模型预测结果解释图表中的一行代表一个特征组，以展示各特征组队模型预测结果的影响。例如可以提供“细粒度特征分析”开关，当开关打开时，可以按照上文描述的内容展示解释数据，当开关关闭时可以提供特征分组粒度的模型预测结果解释。

作为示例，在解释方法支持的情况下，还可以对样本进行分组，结果预览时可以提供样本分组粒度的模型预测结果解释，即模型预测结果解释图表中的每一行可以代表一个样本组，选择其中任意一个样本组，即可查看该样本组的模型预测结果的解释。例如可以提供“细粒度特征分析”开关，当开关打开时，可以按照上文描述的内容展示解释数据，当开关关闭时可以提供样本分组粒度的模型预测结果解释。

本发明的实现对机器学习模型的预测结果进行解释的方法，可以应用于多种机器学习场景。

作为示例，本发明可以与机器学习模型的实时预估相结合。例如可以基于机器学习模型发布一个在线预估服务，然后对于给定的任意一条样本数据(如可以是指线上待预测的样本数据)，可以利用在线预估服务对样本数据进行预测，以得到实时预测结果，同时基于本发明给出对模型预测结果的解释。最后可以关联地输出实时预测结果和解释数据，如可以将实时预测结果和解释数据一同展示给用户。由此，上文述及的待解释的样本数据可以是指线上待预测的样本数据，本发明通过与机器学习模型的实时预估相结合，可以在输出在线数据的实时预测结果的同时，输出用于对实时预测结果进行解释的解释数据。

作为示例，本发明还可以用于机器学习模型的检查和优化。例如可以通过样本筛选和排序功能找到模型预测结果与真实结果偏差较大的样本，然后利用本发明得到对预测结果的解释数据，通过对解释数据进行分析，找到导致偏差的原因并对模型进行针对性改进。由此，待解释的样本数据可以为预测结果和真实结果之间的差异大于预定阈值的数据，本发明还可以根据解释数据修改机器学习模型。

综上，本发明的实现对机器学习模型的预测结果进行解释的方法，可以针对不同机器学习模型适配相应的解释方法，从而提高方案的适用范围；本发明还可以支持对样本和/或特征进行分组，以实现多层次解释，提升解释效率；本发明还充分考虑了用户的时机需求，可以支持批量计算、交互式计算等多种使用方式，并且可以支持图、表结合的结果展示方式，支持对样本(或样本组)、特征(或特征组)进行筛选和排序；还可以对工程实现进行优化以降低结果展示的时延，提升用户体验。

本发明的实现对机器学习模型的预测结果进行解释的方法，还可以实现为一种实现对机器学习模型的预测结果进行解释的装置。图7示出了根据本发明示例性实施例的实现对机器学习模型的预测结果进行解释的装置的结构框图。其中，实现对机器学习模型的预测结果进行解释的装置的功能单元可以由实现本发明原理的硬件、软件或硬件和软件的结合来实现。本领域技术人员可以理解的是，图7所描述的功能单元可以组合起来或者划分成子单元，从而实现上述发明的原理。因此，本文的描述可以支持对本文描述的功能单元的任何可能的组合、或者划分、或者更进一步的限定。

下面就实现对机器学习模型的预测结果进行解释的装置可以具有的功能单元以及各功能单元可以执行的操作做简要说明，对于其中涉及的细节部分可以参见上文相关描述，这里不再赘述。

参见图7，实现对机器学习模型的预测结果进行解释的装置700包括获取模块710、确定模块720、处理模块730以及输出模块740。

获取模块710用于获取机器学习模型和待解释的样本数据。确定模块720用于确定用于对机器学习模型对样本数据进行预测得到的预测结果进行解释的解释方法。处理模块730用于使用所确定的解释方法处理预测结果得到解释数据。输出模块740用于输出解释数据。

每条样本数据可以包括一个或多个特征字段，所述处理模块730可以使用所确定的解释方法计算至少部分特征字段的字段名和/或字段值对所述预测结果的贡献值。

作为示例，处理模块730可以包括特征抽取结果获取模块、第一构造模块、第一计算模块以及第一查找模块。特征抽取结果获取模块用于获取机器学习模型对样本数据的特征抽取结果；第一构造模块用于根据特征抽取结果，以特征字段的编号为键、以字段名为值，构造第一键值对集合；第一计算模块用于计算各个编号对预测结果的第一贡献值，以得到第一解释数据集合，第一解释数据集合包括多条第一解释数据，第一解释数据以编号为键，以第一贡献值为值；第一查找模块用于遍历第一解释数据集合中的每条第一解释数据，在第一键值对集合中寻找与第一解释数据的键相同的键所对应的字段名，并将字段名替换第一解释数据的键，以得到以字段名为键、以第一贡献值为值的第一解释数据。

处理模块730还可以包括第二构造模块、第二计算模块以及第二查找模块。第二构造模块用于根据特征抽取结果，以特征字段的编号及签名为键、以特征字段的字段值为值，构造第二键值对集合；第二计算模块用于计算各个编号及签名对预测结果的第二贡献值，以得到第二解释数据集合，第二解释数据集合包括多条第二解释数据，第二解释数据以特征字段的编号及签名为键、以第二贡献值为值；第二查找模块用于遍历第二解释数据集合中的每条第二解释数据，在第二键值对中寻找与第二解释数据的键相同的键所对应的字段值，在第一键值对中寻找与第二解释数据的键中的编号所对应的字段名，以得到该字段名下的字段值的第二贡献值。

可以预先设置多种解释方法，确定模块可以从多种解释方法中选择与机器学习模型的类型相适配的解释方法。多种解释方法可以包括但不限于夏普利值分析方法、信息增益方法以及特征权重分析方法。关于各方法可以参见上文相关描述。

获取模块710还可以获取针对解释数据的配置信息。处理模块30可以根据配置信息使用所确定的解释方法处理预测结果得到解释数据，并且/或者输出模块740可以根据配置信息输出解释数据。关于配置信息可以包括的具体内容可以参见上文相关描述。

作为示例，输出模块740可以向用户展示一条或多条样本数据；响应于用户选择的样本数据，输出模块740可以输出用于表征机器学习模型对用户选择的样本数据进行预测得到的预测结果的解释数据的图表，图表用于表征样本数据中的至少部分特征对预测结果的贡献程度。

作为示例，输出模块740还可以输出用于表征解释数据的图表，图表用于表征一个或多个特征分组对预测结果的影响程度，或者图表用于表征特征对样本分组的预测结果的影响程度。

待解释的样本数据可以为预测结果和真实结果之间的差异大于预定阈值的数据，实现对机器学习模型的预测结果进行解释的装置700还可以包括修改模块，修改模块可以用于根据解释数据修改机器学习模型。

待解释的样本数据还可以为线上待预测的样本数据，实现对机器学习模型的预测结果进行解释的装置700还可以包括发布模块和实时预测模块。发布模块用于基于机器学习模型发布在线预估服务。实时预测模块用于利用在线预估服务对样本数据进行预测，以得到实时预测结果。输出模块740可以关联地输出实时预测结果和解释数据。

应该理解，根据本发明示例性实施例的实现对机器学习模型的预测结果进行解释的装置700的具体实现方式可参照上文结合图1至图6针对实现对机器学习模型的预测结果进行解释的方法的相关描述来实现，在此不再赘述。

以上参照图1到图7描述了根据本发明示例性实施例的实现对机器学习模型的预测结果进行解释的方法及装置。应理解，上述方法可通过记录在计算可读介质上的程序来实现，例如，根据本发明的示例性实施例，可提供一种存储指令的计算机可读存储介质，其中，在所述计算机可读介质上记录有用于执行本发明的实现对机器学习模型的预测结果进行解释的方法(例如图1所示)的计算机程序。

上述计算机可读介质中的计算机程序可在诸如客户端、主机、代理装置、服务器等计算机设备中部署的环境中运行，应注意，所述计算机程序除了可用于执行除了图1示出的步骤之外，还可用于执行除了上述步骤以外的附加步骤或者在执行上述步骤时执行更为具体的处理，这些附加步骤和进一步处理的内容已经参照图1进行了描述，这里为了避免重复将不再进行赘述。

应注意，根据本发明示例性实施例的实现对机器学习模型的预测结果进行解释的装置，可完全依赖计算机程序的运行来实现相应的功能，即，各个装置与计算机程序的功能架构中与各步骤相应，使得整个装置通过专门的软件包(例如，lib库)而被调用，以实现相应的功能。

另一方面，图7所示的各个装置也可以通过硬件、软件、固件、中间件、微代码或其任意组合来实现。当以软件、固件、中间件或微代码实现时，用于执行相应操作的程序代码或者代码段可以存储在诸如存储介质的计算机可读介质中，使得处理器可通过读取并运行相应的程序代码或者代码段来执行相应的操作。

例如，本发明的示例性实施例还可以实现为计算装置，该计算装置包括存储部件和处理器，存储部件中存储有计算机可执行指令集合，当所述计算机可执行指令集合被所述处理器执行时，执行实现对机器学习模型的预测结果进行解释的方法。

具体说来，所述计算装置可以部署在服务器或客户端中，也可以部署在分布式网络环境中的节点装置上。此外，所述计算装置可以是PC计算机、平板装置、个人数字助理、智能手机、web应用或其他能够执行上述指令集合的装置。

这里，所述计算装置并非必须是单个的计算装置，还可以是任何能够单独或联合执行上述指令(或指令集)的装置或电路的集合体。计算装置还可以是集成控制系统或系统管理器的一部分，或者可被配置为与本地或远程(例如，经由无线传输)以接口互联的便携式电子装置。

在所述计算装置中，处理器可包括中央处理器(CPU)、图形处理器(GPU)、可编程逻辑装置、专用处理器系统、微控制器或微处理器。作为示例而非限制，处理器还可包括模拟处理器、数字处理器、微处理器、多核处理器、处理器阵列、网络处理器等。

根据本发明示例性实施例的实现对机器学习模型的预测结果进行解释的方法中所描述的某些操作可通过软件方式来实现，某些操作可通过硬件方式来实现，此外，还可通过软硬件结合的方式来实现这些操作。

处理器可运行存储在存储部件之一中的指令或代码，其中，所述存储部件还可以存储数据。指令和数据还可经由网络接口装置而通过网络被发送和接收，其中，所述网络接口装置可采用任何已知的传输协议。

存储部件可与处理器集成为一体，例如，将RAM或闪存布置在集成电路微处理器等之内。此外，存储部件可包括独立的装置，诸如，外部盘驱动、存储阵列或任何数据库系统可使用的其他存储装置。存储部件和处理器可在操作上进行耦合，或者可例如通过I/O端口、网络连接等互相通信，使得处理器能够读取存储在存储部件中的文件。

此外，所述计算装置还可包括视频显示器(诸如，液晶显示器)和用户交互接口(诸如，键盘、鼠标、触摸输入装置等)。计算装置的所有组件可经由总线和/或网络而彼此连接。

根据本发明示例性实施例的实现对机器学习模型的预测结果进行解释的方法所涉及的操作可被描述为各种互联或耦合的功能块或功能示图。然而，这些功能块或功能示图可被均等地集成为单个的逻辑装置或按照非确切的边界进行操作。

例如，如上所述，根据本发明示例性实施例的实现对机器学习模型的预测结果进行解释的装置可包括存储部件和处理器，其中，存储部件中存储有计算机可执行指令集合，当所述计算机可执行指令集合被所述处理器执行时，执行上文述及的实现对机器学习模型的预测结果进行解释的方法。

以上描述了本发明的各示例性实施例，应理解，上述描述仅是示例性的，并非穷尽性的，本发明不限于所披露的各示例性实施例。在不偏离本发明的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。因此，本发明的保护范围应该以权利要求的范围为准。

Claims (10)

1.一种实现对机器学习模型的预测结果进行解释的方法，包括：

获取机器学习模型和待解释的样本数据；

确定用于对所述机器学习模型对所述样本数据进行预测得到的预测结果进行解释的解释方法；

使用所确定的解释方法处理所述预测结果得到解释数据；以及

输出所述解释数据。

2.根据权利要求1所述的方法，其中，每条样本数据包括一个或多个特征字段，使用所确定的解释方法处理所述预测结果得到解释数据的步骤包括：

使用所确定的解释方法计算至少部分特征字段的字段名和/或字段值对所述预测结果的贡献值。

3.根据权利要求2所述的方法，其中，计算至少部分特征字段的字段名和/或字段值对所述预测结果的贡献值的步骤包括：

获取所述机器学习模型对所述样本数据的特征抽取结果；

根据所述特征抽取结果，以特征字段的编号为键、以字段名为值，构造第一键值对集合；

计算各个编号对所述预测结果的第一贡献值，以得到第一解释数据集合，所述第一解释数据集合包括多条第一解释数据，所述第一解释数据以所述编号为键，以第一贡献值为值；

遍历所述第一解释数据集合中的每条第一解释数据，在所述第一键值对集合中寻找与所述第一解释数据的键相同的键所对应的字段名，并将所述字段名替换所述第一解释数据的键，以得到以所述字段名为键、以所述第一贡献值为值的第一解释数据。

4.根据权利要求3所述的方法，其中，计算至少部分特征字段的字段名和/或字段值对所述预测结果的贡献值的步骤还包括：

根据所述特征抽取结果，以特征字段的编号及签名为键、以特征字段的字段值为值，构造第二键值对集合；

计算各个编号及签名对所述预测结果的第二贡献值，以得到第二解释数据集合，所述第二解释数据集合包括多条第二解释数据，所述第二解释数据以特征字段的编号及签名为键、以第二贡献值为值；

遍历所述第二解释数据集合中的每条第二解释数据，在所述第二键值对中寻找与第二解释数据的键相同的键所对应的字段值，在所述第一键值对中寻找与所述第二解释数据的键中的编号所对应的字段名，以得到该字段名下的字段值的第二贡献值。

5.根据权利要求1所述的方法，其中，确定用于对所述机器学习模型对所述样本数据进行预测得到的预测结果进行解释的解释方法的步骤包括：

从多种解释方法中选择与所述机器学习模型的类型相适配的解释方法。

6.根据权利要求5所述的方法，其中，所述多种解释方法包括：

夏普利值分析方法，用于根据夏普利值的分配方式将所述机器学习模型针对所述样本数据进行预测得到的预测结果所对应的分值分配给所述样本数据中的至少部分特征中的每个特征，以得到所述特征对所述预测结果的重要程度；

信息增益方法，用于通过计算所述样本数据中至少部分特征中每个特征的信息增益，确定所述特征对所述预测结果的重要程度；

特征权重分析方法，用于提供计算计算所述样本数据中至少部分特征中每个特征的权重，确定所述特征对所述预测结果的重要程度。

7.根据权利要求1所述的方法，还包括：

获取针对所述解释数据的配置信息，其中，

使用所确定的解释方法处理所述预测结果得到解释数据的步骤包括：根据所述配置信息使用所确定的解释方法计算所述预测结果的解释数据；并且/或者输出解释数据的步骤包括：根据所述配置信息输出解释数据。

8.一种实现对机器学习模型的预测结果进行解释的装置，包括：

获取模块，用于获取机器学习模型和待解释的样本数据；

确定模块，用于确定用于对所述机器学习模型对所述样本数据进行预测得到的预测结果进行解释的解释方法；

处理模块，用于使用所确定的解释方法处理所述预测结果得到解释数据；

输出模块，用于输出所述解释数据。

9.一种包括至少一个计算装置和至少一个存储指令的存储装置的系统，其中，所述指令在被所述至少一个计算装置运行时，促使所述至少一个计算装置执行如权利要求1到7中的任一权利要求所述的方法。

10.一种存储指令的计算机可读存储介质，其中，当所述指令被至少一个计算装置运行时，促使所述至少一个计算装置执行如权利要求1到7中的任一权利要求所述的方法。

Images