CN111325344A - 评估模型解释工具的方法和装置 - Google Patents

评估模型解释工具的方法和装置 Download PDF

Info

Publication number
CN111325344A
CN111325344A CN202010113647.0A CN202010113647A CN111325344A CN 111325344 A CN111325344 A CN 111325344A CN 202010113647 A CN202010113647 A CN 202010113647A CN 111325344 A CN111325344 A CN 111325344A
Authority
CN
China
Prior art keywords
model
importance ranking
features
models
ranking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010113647.0A
Other languages
English (en)
Inventor
方军鹏
唐才智
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alipay Hangzhou Information Technology Co Ltd
Original Assignee
Alipay Hangzhou Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alipay Hangzhou Information Technology Co Ltd filed Critical Alipay Hangzhou Information Technology Co Ltd
Priority to CN202010113647.0A priority Critical patent/CN111325344A/zh
Publication of CN111325344A publication Critical patent/CN111325344A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Probability & Statistics with Applications (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Algebra (AREA)
  • Computational Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Pure & Applied Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本说明书实施例提供了一种评估模型解释工具的方法和装置，所述方法包括：使用所述多个训练样本训练第一模型，以获取具有第一参数组的第一模型，所述第一模型为自解释型模型；基于所述具有第一参数组的第一模型的自解释，获取所述多个特征的第一重要性排序；基于所述多个训练样本和所述第一参数组，通过模型解释工具获取所述多个特征的第二重要性排序；确定所述第二重要性排序与所述第一重要性排序的相似度，以用于评估所述模型解释工具。

Description

评估模型解释工具的方法和装置
技术领域
本说明书实施例涉及机器学习技术领域，更具体地，涉及一种评估模型解释工具的方法和装置。
背景技术
机器学习目前在各个领域都有着广泛的应用，如零售，技术，医疗保健，科学等等。机器学习模型本质上是用一个复杂的函数拟合数据和目标之间的关系。机器学习模型与一些简单的规则有着很大的差别，规则明确数据和目标之间的关系，但是机器学习模型是一个黑盒只有输入和输出，不明白内部的机制。在某些领域，特别是在金融领域，比如保险、银行等，数据科学家们通常最终不得不使用更传统更简单的机器学习模型(线性模型或决策树模型)。然而，这类简单模型虽能提供一定的可解释性，但是简单的模型对于实现复杂的任务显的力不从心，模型精度性能等方面必然不如更加复杂的深度模型。
例如，使用花呗付款用户可以提前透支次月还款，这一功能类似信用卡，这意味着用户存在套现的风险，这类套现用户相较正常用户逾期还款的概率更高，对公司造成损失。为了减少风险，对于这类套现交易的拦截是十分有必要的，或者对于小额贷款，审批不通过，那么应该给用户提供合理的解释。但是考虑到金融场景比较敏感，对于使用的拦截模型的可解释性要求必然很高。传统的方法是使用一些简单的模型比如线性模型树模型，虽然能满足对可解释性的要求，但是相对于复杂的实际情况这类简单模型精度性能并不能满足业务需求，例如精度太低会拦截大量正常交易误伤正常用户这些损失也是不能承受的。
考虑到以上的问题，目前提出了多种模型无关的对模型进行解释的工具，对业务场景实际应用的黑盒模型做出合理的解释，而且因为不会对模型进行改动，所以不会影响到模型的性能。目前，用于衡量模型解释工具的方法包括先验衡量方法、针对图像分类模型的模型解释工具的评估方法、针对文本分类模型的模型解释工具的评估方法等等。然而，仍然没有可同时适用于多种模型解释工具的方法。
因此，需要一种更有效的评估模型解释工具的方案。
发明内容
本说明书实施例旨在提供一种更有效的评估模型解释工具的方案，以解决现有技术中的不足。
为实现上述目的，本说明书一个方面提供一种评估模型解释工具的方法，所述方法基于预先获取的多个训练样本进行，其中，每个所述训练样本包括业务对象的多个特征的特征值，所述方法包括：
使用所述多个训练样本训练第一模型，以获取具有第一参数组的第一模型，所述第一模型为自解释型模型；
基于所述具有第一参数组的第一模型的自解释，获取所述多个特征的第一重要性排序；
基于所述多个训练样本和所述第一参数组，通过模型解释工具获取所述多个特征的第二重要性排序；
确定所述第二重要性排序与所述第一重要性排序的相似度，以用于评估所述模型解释工具。
在一种实施方式中，所述第一模型为以下任一模型：线性回归模型、逻辑回归模型、支持向量机模型、树模型、贝叶斯模型、KNN模型、具有限定网络结构的神经网络模型。
在一种实施方式中，所述第一参数组中包括的多个参数与所述多个特征分别对应，其中，基于所述具有第一参数组的第一模型的自解释，获取所述多个特征的第一重要性排序包括，基于所述第一参数组中各个参数的绝对值大小，获取所述多个特征的第一重要性排序。
在一种实施方式中，确定所述第二重要性排序与所述第一重要性排序的相似度包括，基于所述第一重要性排序，确定所述第二重要性排序中每两个特征的重要性排序的准确性，以确定所述第二重要性排序与所述第一重要性排序的相似度。
在一种实施方式中，所述方法被执行多次以获取多个相似度，其中，在对所述方法的每次执行中，所述第一模型为与其它各次执行不同的自解释型模型，所述方法还包括，基于所述多个相似度计算平均相似度，以用于评估所述模型解释工具。
在一种实施方式中，所述业务对象为网络平台中的以下一个或多个对象：用户、商户、商品、交易。
在一种实施方式中，所述业务对象为平台用户，每个训练样本包括用户的风险值作为标签值，所述模型解释工具用于对风险控制模型进行模型解释。
本说明书另一方面提供一种评估模型解释工具的装置，所述装置基于预先获取的多个训练样本进行，其中，每个所述训练样本包括业务对象的多个特征的特征值，所述装置包括：
训练单元，配置为，使用所述多个训练样本训练第一模型，以获取具有第一参数组的第一模型，所述第一模型为自解释型模型；
第一排序单元，配置为，基于所述具有第一参数组的第一模型的自解释，获取所述多个特征的第一重要性排序；
第二排序单元，配置为，基于所述多个训练样本和所述第一参数组，通过模型解释工具获取所述多个特征的第二重要性排序；
确定单元，配置为，确定所述第二重要性排序与所述第一重要性排序的相似度，以用于评估所述模型解释工具。
在一种实施方式中，所述第一参数组中包括的多个参数与所述多个特征分别对应，其中，所述第一排序单元还配置为，基于所述第一参数组中各个参数的绝对值大小，获取所述多个特征的第一重要性排序。
在一种实施方式中，所述确定单元还配置为，基于所述第一重要性排序，确定所述第二重要性排序中每两个特征的重要性排序的准确性，以确定所述第二重要性排序与所述第一重要性排序的相似度。
在一种实施方式中，所述装置被部署多次以获取多个相似度，其中，在对所述装置的每次部署中，所述第一模型为与其它各次部署不同的自解释型模型；所述装置还包括平均单元，配置为，基于所述多个相似度计算平均相似度，以用于评估所述模型解释工具。
本说明书另一方面提供一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行上述任一项方法。
本说明书另一方面提供一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现上述任一项方法。
通过根据本说明书实施例的评估模型解释工具的方案，利用本身自带可解释性信息的模型作为判别依据，将模型解释工具给出的特征重要度排序结果与模型自身提供的特征排序进行对比，为了避免对某个模型解释的过拟合，选择多个简单模型，将解释的结果进行平均，从而得到最终的相对客观的评价指标。
附图说明
通过结合附图描述本说明书实施例，可以使得本说明书实施例更加清楚：
图1示出根据本说明书实施例的评估模型解释工具的系统的示意图；
图2示出根据本说明书实施例的一种评估模型解释工具的方法流程图；
图3示意示出上述获取平均评估分数的示意流程图；
图4示出根据本说明书实施例的一种评估模型解释工具的装置400。
具体实施方式
下面将结合附图描述本说明书实施例。
图1示出根据本说明书实施例的评估模型解释工具的系统100的示意图。如图1中所示，该系统100中包括监督学习模型11、模型解释工具12和计算单元13。所述监督学习模型11可以为任意自解释型的模型，如线性回归模型、逻辑回归模型、支持向量机模型、树模型、贝叶斯模型、KNN模型等等。监督学习模型11可以通过与特定业务相关的多个训练样本进行训练，从而变为业务处理模型，例如风险控制模型。例如，所述特定业务为对网络平台中的用户进行分类，例如将用户分类为低风险用户和高风险用户、高消费用户、低消费用户等等，从而，该训练样本包括用户各个特征的特征值及该用户的标签值，所述各个特征例如包括用户的性别、年龄、月交易额、贷款额等等，所述用户的标签值例如指示该用户是否为高风险用户，例如，在花呗的场景中，所述用户的标签值例如为指示该用户是否为套现高风险用户，在交易的场景中，所述用户的标签值例如为指示该用户是否为欺诈高风险用户，等等。例如所述监督学习模型为逻辑回归模型，在通过所述多个训练样本训练该逻辑回归模型之后，从而获取用于对用户进行分类的用户分类模型，该模型中的参数与各个特征分别对应，并且参数值的大小指示了各个特征的重要性，即该逻辑回归模型是自解释型的。从而，基于训练好的监督学习模型11的各个参数值，可获取用户的各个特征的重要性排序，图中将该排序示出为第一排序。之后，监督学习模型11将第一排序发送给计算单元13。在进行上述对监督学习模型11的训练之后，基于多个训练样本和训练好的监督学习模型11的参数，可通过模型解释工具12获取各个特征的重要性排序，图中将该排序示出为第二排序。所述模型解释工具12例如为LIME(local interpretable model-agnostic explanations，局部可解释的模型无关的解释工具)、SHAP(SHapley additive explanations,夏普利值加入解释)等模型解释工具。之后，模型解释工具12将第二排序发送给计算单元13。
计算单元13将多个特征两两组成一组特征组，确定特征组的总组数，基于第一排序和第二排序，计算第二排序中每两个特征的排序与第一排序中该两个特征排序相同的组数，并将该组数除以上述总组数，从而获取针对监督学习模型11的模型解释工具12的评估分数。图中将监督学习模型11以重叠的多个框示出，表示这里可以对多个不同的监督学习模型11执行该方法，从而获取多个评估分数，如图中所示，计算单元13中的评估分数也以重叠的多个椭圆示出，表示这里对应于多个监督学习模型获得多个评估分数。通过对该多个评估分数取均值作为模型解释工具12的最终的平均评估分数，从而该评估分数不是依赖于某个特定的模型得出的结果，具有模型无关的客观性。该最终的评估分数越高，说明模型解释工具12对模型的解释更准确。从而可基于各种解释工具的评估分数挑选出合适的解释工具，以用于解释不能自解释的模型，即黑盒模型，如复杂的神经网络模型等等。
可以理解，这里虽然以平台中的用户为例进行描述，本说明书实施例中不限于此，所述训练样本可对应于网络平台中以下一个或多个对象：用户、商户、商品、交易，等等。例如，所述特定业务为对用户进行商品推送，所述训练样本中可包括平台中用户和商品两个对象的特征，所述训练样本的标签值对应于用户是否购买该商品。在该场景中，也可以通过图1所示系统对模型解释工具进行评估。下面将详细描述上述评估模型解释工具的过程。
图2示出根据本说明书实施例的一种评估模型解释工具的方法流程图，包括：
步骤S202，获取多个训练样本，每个训练样本包括业务对象的多个特征的特征值和业务对象的标签值；
步骤S204，使用所述多个训练样本训练第一模型，以获取具有第一参数组的第一模型，所述第一模型为自解释型模型；
步骤S206，基于所述具有第一参数组的第一模型的自解释，获取所述多个特征的第一重要性排序；
步骤S208，基于所述多个训练样本和所述第一参数组，通过模型解释工具获取所述多个特征的第二重要性排序；
步骤S210，确定所述第二重要性排序与所述第一重要性排序的相似度，以用于评估所述模型解释工具。
首先，在步骤S202，获取多个训练样本，每个训练样本包括业务对象的多个特征的特征值和业务对象的标签值。
如前文所述，所述多个训练样本例如与网络平台中的多个用户分别对应，每个训练样本中包括对应的用户的多个特征的特征值，如性别、年龄、月交易额、月贷款额、月收入、年缴税额等等。另外，每个训练样本中还包括其对应用户的标签值，标签值例如为0或1，其中0表示低风险用户，1表示高风险用户。可以理解，这里，样本的标签值为0或1，即，所述第一模型为二分类模型，然而，在本说明书实施例中，所述第一模型不限于为二分类模型，而可以为多分类模型，即样本的标签值可以为多个值，或者也可以为回归模型等等。
步骤S204，使用所述多个训练样本训练第一模型，以获取具有第一参数组的第一模型，所述第一模型为自解释型模型。
通过如上所述的多个训练样本，例如可用于训练风险控制模型，该风控模型可在例如支付宝花呗业务、其它信用卡业务中用于预测用户套现的风险，从而避免业务损失。当前，为了用于评估模型解释工具，使用多个训练样本训练作为简单的自解释型模型的第一模型。例如，可使用逻辑回归模型用于训练。逻辑回归模型可通过以下的公式(1)表示：
Figure BDA0002390824710000071
其中，ω1～ωn和b都是模型参数。在通过多个训练样本训练该逻辑回归模型，从而确定其参数ω1～ωn之后，从而获取可用于预测套现风险的业务模型。该经训练的逻辑回归模型的各个参数ω1～ωn与训练样本的各个特征相对应，例如
Figure BDA0002390824710000081
为用户i的特征f1(月贷款额)的特征值，
Figure BDA0002390824710000082
为用户i的特征f2(月收入)的特征值，
Figure BDA0002390824710000083
为用户i的特征f3(年龄)的特征值等。从而各个参数ω1～ωn的绝对值大小可指示各个相应特征的重要程度，参数绝对值越大，说明对应特征对预测结果影响越大，如果该参数为正数，即使得预测结果增大，该参数为负数，则使得预测结果减小。例如，假设在训练后的逻辑回归模型中，参数ω1等于0.5，参数ω2等于-0.3，参数ω3等于-0.05，也就是说，为了判断用户的套现风险，在用户的上述三个特征中，月贷款额的是最重要的特征，月收入是次重要的特征，年龄是较不重要的特征，即，f1>f2>f3。另外，用户的月贷款额越高，用户的套现风险越高，用户的月收入越高，用户的套现风险越低。
如上文所述，所述第一模型不限于为逻辑回归模型，而可以为其它自解释型模型，如线性回归模型、支持向量机模型、树模型、贝叶斯模型、KNN模型、具有限定网络结构的神经网络模型等等。在这些模型，一些模型同样地通过模型参数进行自解释，如线性回归模型、支持向量机模型等。一些模型通过模型结构和模型参数进行自解释，如树模型，一些模型通过各个训练样本的数据之间的计算，进行模型解释，如KNN模型等。其中，所述具有限定网络结构的神经网络例如具有较少层数、神经元的算法限定的神经网络模型，通过这样限定神经网络的网络结构，从而可基于各个神经元的参数对该神经网络模型进行解释。下文中，将继续以逻辑回归模型为例进行描述。
步骤S206，基于所述具有第一参数组的第一模型的自解释，获取所述多个特征的第一重要性排序。
如上文所述，假设上述逻辑回归模型仅包括三个特征的参数ω1～ω3，即基于上文中的ω1～ω3的绝对值大小进行排序，可得出f1～f3的第一重要性排序，即，f1>f2>f3。在所述第一模型为其它自解释模型的情况中，如上所述，可基于该自解释模型的自身的特性获取其对特征重要性的解释。
步骤S208，基于所述多个训练样本和所述第一参数组，通过模型解释工具获取所述多个特征的第二重要性排序。
如上文所述，所述模型解释工具可以为现有的任一种模型解释工具，如LIME、SHAP等等。例如，对于LIME，其用于对于训练样本中的第一样本进行干扰，而可获取与该第一样本邻近的多个扰动样本，通过将该多个扰动样本输入上述训练好的第一模型，从而基于第一参数组，获取模型预测值，然后基于扰动样本的数据拟合线性函数，从而基于该线性函数确定在第一样本附近的局部的各个特征的重要性。通过对训练样本中的每个样本实施上述过程，从而可对通过各个样本获取的各个特征的重要性取平均，从而可获取整体上各个特征的重要性排序。例如，通过LIME确定上述特征f1～f3的第二重要性排序为：f2>f1>f3，该排序可以为基于某个样本的特征f1～f3的局部排序，或者可以为基于多个样本的特征f1～f3的整体排序。
在步骤S210，确定所述第二重要性排序与所述第一重要性排序的相似度，以用于评估所述模型解释工具。
可将第二重要性排序相对于第一重要性排序的相似度用作为模型解释工具的评估分数(rank score)。第二重要性排序与第一重要性排序越接近，评估分数越高，也即模型解释工具的性能越好。可通过多种算法确定所述相似度。
在一种实施方式中，首先，从第一重要性排序中获取多组每两个特征之间的子排序，具体是，从第一重要性排序f1>f2>f3可获取3组第一子排序：f1>f2、f1>f3、f2>f3。然后，从第二重要性排序f2>f1>f3中同样地获取多组每两个特征之间的第二子排序：f2>f1、f1>f3、f2>f3。确定各个第二子排序与相同两个特征的第一子排序是否一致，如果一致，则对一致的组进行累计，例如，可确定第二子排序中的f1>f3、f2>f3与第一子排序中相应两个特征之间的排序是一致的，从而可累计一致的组为2。最后将累计的组数除以第二子排序的总组数，得到2/3作为评估分数。也就是说，在该实例中，第二重要性排序与第一重要性排序的相似度为2/3。
可以理解，在该说明书实施例中，不限于通过上述算法确定第二重要性排序与第一重要性排序的相似度。例如，当模型的参数较多，即对应的特征较多，例如有几百个特征时，可从这几百个特征中随机选取预定数目的特征，例如，选取几十个特征，然后基于这几十个特征的排序，通过与上述类似的方法，确定这几十个特征中每两个特征的排序与第一重要性排序中相同的比率，从而确定第二重要性排序与第一重要性排序的相似度。另外，也可以通过矩阵计算、统计方法等其它方法，确定第二重要性排序与第一重要性排序的相似度，在此不一一列出。
在一种实施方式中，在以逻辑回归模型作为第一模型实施图2所示方法获取与逻辑回归模型对应的模型解释工具的评估分数之后，再分别以支持向量机模型、树模型、贝叶斯模型、KNN模型、限定结构的神经网络模型等作为第一模型，多次循环图2的步骤S204～S210，从而获取与各种模型分别对应的模型解释工具的评估分数。对获取的多个评估分数求均值，从而获取的平均分数体现了模型解释工具的模型无关的准确性，具有更高的普适性和客观性，即，该平均分数是相对于多种模型的，而不是相对于某个特定模型的。在通过该方法获取各个模型解释工具的评估分数之后，可基于该评估分数确定合适的模型解释工具，以用于对非自解释型模型(即黑盒模型)的模型解释。从而，当通过训练复杂的黑盒模型以用于获取业务处理模型时，该业务处理模型具有更精确的预测能力，同时，通过选出的较优的模型解释工具可以更好地解释该黑盒模型中各个特征的重要性。例如，在黑盒模型为针对平台用户的风险控制模型的情况中，本说明书实施例的评估模型解释工具的方案适用于多个用户的多个特征的大数据场景，并且，通过该方案挑选出较优的模型解释工具，从而对于风险控制模型的预测结果可以给出较置信的解释，从而可有利于对用户的风险程度的判断。
图3示意示出上述获取平均评估分数的示意流程图。如图3所示，图中的步骤S202、S204、S208与图2中的相应步骤相同，在步骤S204之后，可通过上述步骤S206(图3中未示出)获取图3中的第一排序。在图3中，如上文中对步骤S210的描述，将图2中的步骤S210拆分成两个子步骤：步骤S2101、S2102。具体是，在获取了第一重要性排序(图3中的第一排序)和第二重要性排序(图3中的第二排序)之后，在步骤S2101，对于上述从第二排序中获取的各个子排序，确定其中重要特征排在不重要特征之前的组数和，其中每组子排序中包括两个特征，即，确定第二排序中的子排序与第一排序中相同两个特征的子排序一致的组数和。具体是，对于从第二排序中获取的多个子排序，依次确定该子排序中的两个特征的排序与第一排序中该两个特征的排序是否一致，如果一致，则对预定参数(例如c)加1，从而进行计数，当对每个子排序都完成上述确定之后，参数c的值即为第二排序中重要特征排在不重要特征之前的特征组数和。在步骤S2102，计算评估分数，参考上文所述，即，将参数c的值除以从第二排序中获取的多个子排序的总组数，作为评估分数。在针对一个监督学习模型11实施上述步骤之后，流程循环回步骤S204，重新对另一种监督学习模型11实施步骤S204到步骤S2102，从而再次获取与该模型11对应的评估分数。在经过多次循环之后，可获取与各种监督学习模型11分别对应的多个评估分数，从而可在步骤S212，对多个评估分数取平均，获取模型解释工具12的平均评估分数。
可以理解，虽然在图3中以循环的方式获取与多个监督学习模型11分别对应的多个评估分数，本说明书实施例不限于此，例如，可通过并行执行的方式，针对所述各个监督学习模型11同时执行步骤S204到步骤S2102，从而可同时获取多个评估分数。
图4示出根据本说明书实施例的一种评估模型解释工具的装置400，所述装置基于预先获取的多个训练样本进行，其中，每个所述训练样本包括业务对象的多个特征的特征值，所述装置包括：
训练单元41，配置为，使用所述多个训练样本训练第一模型，以获取具有第一参数组的第一模型，所述第一模型为自解释型模型；
第一排序单元42，配置为，基于所述具有第一参数组的第一模型的自解释，获取所述多个特征的第一重要性排序；
第二排序单元43，配置为，基于所述多个训练样本和所述第一参数组，通过模型解释工具获取所述多个特征的第二重要性排序；
确定单元44，配置为，确定所述第二重要性排序与所述第一重要性排序的相似度，以用于评估所述模型解释工具。
在一种实施方式中，所述第一参数组中包括的多个参数与所述多个特征分别对应，其中，所述第一排序单元42还配置为，基于所述第一参数组中各个参数的绝对值大小，获取所述多个特征的第一重要性排序。
在一种实施方式中，所述确定单元44还配置为，基于所述第一重要性排序，确定所述第二重要性排序中每两个特征的重要性排序的准确性，以确定所述第二重要性排序与所述第一重要性排序的相似度。
在一种实施方式中，所述装置被部署多次以获取多个相似度，其中，在对所述装置的每次部署中，所述第一模型为与其它各次部署不同的自解释型模型；所述装置还包括平均单元45，配置为，基于所述多个相似度计算平均相似度，以用于评估所述模型解释工具。
本说明书另一方面提供一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行上述任一项方法。
本说明书另一方面提供一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现上述任一项方法。
通过根据本说明书实施例的评估模型解释工具的方案，利用本身自带可解释性信息的模型作为判别依据，将模型解释工具给出的特征重要度排序结果与模型自身提供的特征排序进行对比，为了避免对某个模型解释的过拟合，选择多个简单模型，将解释的结果进行平均，从而得到最终的相对客观的评价指标，并且这种解释方法不需要对数据集特征有先验权重，而且可应用于矩阵形式的数据场景。
需要理解，本文中的“第一”，“第二”等描述，仅仅为了描述的简单而对相似概念进行区分，并不具有其他限定作用。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本领域普通技术人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域普通技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。其中，软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (16)

1.一种评估模型解释工具的方法，所述方法基于预先获取的多个训练样本进行，其中，每个所述训练样本包括业务对象的多个特征的特征值，所述方法包括：
使用所述多个训练样本训练第一模型，以获取具有第一参数组的第一模型，所述第一模型为自解释型模型；
基于所述具有第一参数组的第一模型的自解释，获取所述多个特征的第一重要性排序；
基于所述多个训练样本和所述第一参数组，通过模型解释工具获取所述多个特征的第二重要性排序；
确定所述第二重要性排序与所述第一重要性排序的相似度，以用于评估所述模型解释工具。
2.根据权利要求1所述的方法，所述第一模型为以下任一模型：线性回归模型、逻辑回归模型、支持向量机模型、树模型、贝叶斯模型、KNN模型、具有限定网络结构的神经网络模型。
3.根据权利要求1所述的方法，其中，所述第一参数组中包括的多个参数与所述多个特征分别对应，其中，基于所述具有第一参数组的第一模型的自解释，获取所述多个特征的第一重要性排序包括，基于所述第一参数组中各个参数的绝对值大小，获取所述多个特征的第一重要性排序。
4.根据权利要求1所述的方法，其中，确定所述第二重要性排序与所述第一重要性排序的相似度包括，基于所述第一重要性排序，确定所述第二重要性排序中每两个特征的重要性排序的准确性，以确定所述第二重要性排序与所述第一重要性排序的相似度。
5.根据权利要求1所述的方法，其中，所述方法被执行多次以获取多个相似度，其中，在对所述方法的每次执行中，所述第一模型为与其它各次执行不同的自解释型模型，所述方法还包括，在获取多个相似度之后，基于所述多个相似度计算平均相似度，以用于评估所述模型解释工具。
6.根据权利要求1所述的方法，其中，所述业务对象为网络平台中的以下一个或多个对象：用户、商户、商品、交易。
7.根据权利要求6所述的方法，其中，所述业务对象为平台用户，每个训练样本包括用户的风险值作为标签值，所述模型解释工具用于对风险控制模型进行模型解释。
8.一种评估模型解释工具的装置，所述装置基于预先获取的多个训练样本进行，其中，每个所述训练样本包括业务对象的多个特征的特征值，所述装置包括：
训练单元，配置为，使用所述多个训练样本训练第一模型，以获取具有第一参数组的第一模型，所述第一模型为自解释型模型；
第一排序单元，配置为，基于所述具有第一参数组的第一模型的自解释，获取所述多个特征的第一重要性排序；
第二排序单元，配置为，基于所述多个训练样本和所述第一参数组，通过模型解释工具获取所述多个特征的第二重要性排序；
确定单元，配置为，确定所述第二重要性排序与所述第一重要性排序的相似度，以用于评估所述模型解释工具。
9.根据权利要求8所述的装置，所述第一模型为以下任一模型：线性回归模型、逻辑回归模型、支持向量机模型、树模型、贝叶斯模型、KNN模型、具有限定网络结构的神经网络模型。
10.根据权利要求8所述的装置，其中，所述第一参数组中包括的多个参数与所述多个特征分别对应，其中，所述第一排序单元还配置为，基于所述第一参数组中各个参数的绝对值大小，获取所述多个特征的第一重要性排序。
11.根据权利要求8所述的装置，其中，所述确定单元还配置为，基于所述第一重要性排序，确定所述第二重要性排序中每两个特征的重要性排序的准确性，以确定所述第二重要性排序与所述第一重要性排序的相似度。
12.根据权利要求8所述的装置，其中，所述装置被部署多次以获取多个相似度，其中，在对所述装置的每次部署中，所述第一模型为与其它各次部署不同的自解释型模型，所述装置还包括平均单元，配置为，在获取多个相似度之后，基于所述多个相似度计算平均相似度，以用于评估所述模型解释工具。
13.根据权利要求8所述的装置，其中，所述业务对象为网络平台中的以下一个或多个对象：用户、商户、商品、交易。
14.根据权利要求13所述的装置，其中，所述业务对象为平台用户，每个训练样本包括用户的风险值作为标签值，所述模型解释工具用于对风险控制模型进行模型解释。
15.一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行权利要求1-7中任一项的所述的方法。
16.一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现权利要求1-7中任一项所述的方法。
CN202010113647.0A 2020-02-24 2020-02-24 评估模型解释工具的方法和装置 Pending CN111325344A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010113647.0A CN111325344A (zh) 2020-02-24 2020-02-24 评估模型解释工具的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010113647.0A CN111325344A (zh) 2020-02-24 2020-02-24 评估模型解释工具的方法和装置

Publications (1)

Publication Number Publication Date
CN111325344A true CN111325344A (zh) 2020-06-23

Family

ID=71167174

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010113647.0A Pending CN111325344A (zh) 2020-02-24 2020-02-24 评估模型解释工具的方法和装置

Country Status (1)

Country Link
CN (1) CN111325344A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112116159A (zh) * 2020-09-21 2020-12-22 贝壳技术有限公司 信息交互方法、装置、计算机可读存储介质及电子设备
CN112734086A (zh) * 2020-12-24 2021-04-30 贝壳技术有限公司 一种用于更新神经网络预测模型的方法和装置
WO2022062193A1 (zh) * 2020-09-28 2022-03-31 南京博雅区块链研究院有限公司 基于时序归因分析的个人信用评估与解释方法、装置、设备及存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112116159A (zh) * 2020-09-21 2020-12-22 贝壳技术有限公司 信息交互方法、装置、计算机可读存储介质及电子设备
CN112116159B (zh) * 2020-09-21 2021-08-27 贝壳找房(北京)科技有限公司 信息交互方法、装置、计算机可读存储介质及电子设备
WO2022062193A1 (zh) * 2020-09-28 2022-03-31 南京博雅区块链研究院有限公司 基于时序归因分析的个人信用评估与解释方法、装置、设备及存储介质
CN112734086A (zh) * 2020-12-24 2021-04-30 贝壳技术有限公司 一种用于更新神经网络预测模型的方法和装置

Similar Documents

Publication Publication Date Title
Bazarbash Fintech in financial inclusion: machine learning applications in assessing credit risk
Rajora et al. A comparative study of machine learning techniques for credit card fraud detection based on time variance
Kao et al. A Bayesian latent variable model with classification and regression tree approach for behavior and credit scoring
Eckerli et al. Generative adversarial networks in finance: an overview
García et al. An insight into the experimental design for credit risk and corporate bankruptcy prediction systems
WO2021164382A1 (zh) 针对用户分类模型进行特征处理的方法及装置
Pistoia et al. Quantum machine learning for finance ICCAD special session paper
CN111008898B (zh) 评估模型解释工具的方法和装置
CN111325344A (zh) 评估模型解释工具的方法和装置
US20190311258A1 (en) Data dependent model initialization
CN112215696A (zh) 基于时序归因分析的个人信用评估与解释方法、装置、设备及存储介质
CN112015909A (zh) 知识图谱的构建方法及装置、电子设备、存储介质
CN111340102B (zh) 评估模型解释工具的方法和装置
AbdulSattar et al. Fraudulent transaction detection in FinTech using machine learning algorithms
Haddadi et al. Customer churn prediction in the iranian banking sector
Arimond et al. Neural Networks and Value at risk
CN111340356A (zh) 评估模型解释工具的方法和装置
Wu et al. Customer churn prediction for commercial banks using customer-value-weighted machine learning models
Shubh et al. Handwriting recognition using deep learning
Lubis et al. KNN method on credit risk classification with binary particle swarm optimization based feature selection
Ushio et al. The application of deep learning to predict corporate growth
Yeh et al. Multitask Learning for Time Series Data\\with 2D Convolution
CN109697528A (zh) 营收数据预测方法、装置、计算机设备和存储介质
US11928128B2 (en) Construction of a meta-database from autonomously scanned disparate and heterogeneous sources
US11822564B1 (en) Graphical user interface enabling interactive visualizations using a meta-database constructed from autonomously scanned disparate and heterogeneous sources

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200623

RJ01 Rejection of invention patent application after publication