CN110705718A - 基于合作博弈的模型解释方法、装置、电子设备 - Google Patents
基于合作博弈的模型解释方法、装置、电子设备 Download PDFInfo
- Publication number
- CN110705718A CN110705718A CN201910961275.4A CN201910961275A CN110705718A CN 110705718 A CN110705718 A CN 110705718A CN 201910961275 A CN201910961275 A CN 201910961275A CN 110705718 A CN110705718 A CN 110705718A
- Authority
- CN
- China
- Prior art keywords
- test sample
- machine learning
- output result
- learning model
- features
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000012360 testing method Methods 0.000 claims abstract description 100
- 238000010801 machine learning Methods 0.000 claims abstract description 79
- 238000004364 calculation method Methods 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 7
- 238000005070 sampling Methods 0.000 claims description 6
- 238000004422 calculation algorithm Methods 0.000 description 7
- 235000008733 Citrus aurantifolia Nutrition 0.000 description 4
- 235000011941 Tilia x europaea Nutrition 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 239000004571 lime Substances 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000003066 decision tree Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例提供的基于合作博弈的模型解释方法、装置、电子设备，该方法应用于电子设备，电子设备包括训练好用于预测或分类的机器学习模型。根据机器学习模型的输出结果计算从输入的至少一个测试样本中的多个特征中选择的各个目标特征对所述输出结果的贡献度值，以便根据选择的各个目标特征对所述输出结果的贡献度值对所述机器学习模型的输出结果进行解释。将机器学习模型与合作博弈论结合，通过计算各个目标特征的贡献度值，对机器学习模型的预测结果进行解释，包括非线性模型和线性模型。同时，本申请不仅可以针对单个目标特征对机器学习模型进行解释，也可以对机器学习模型整体的预测结果进行解释。
Description
技术领域
本申请涉及机器学习技术领域，具体而言，涉及一种基于合作博弈的模型解释方法、装置、电子设备。
背景技术
随着大数据和人工智能的发展，机器学习技术得到越来越广泛的应用，但目前的大多数机器学习模型都是黑盒算法，只能获得机器学习模型的计算结果，无法确定计算结果是否准确，这就带来了机器学习模型的置信度问题。特别是在金融或医疗行业，对机器学习模型可解释程度要求越来越高。
目前，虽然决策树和逻辑回归算法等模型具有可解释性，但这类模型属于线性模型，具有一定的局限性。另外也有技术采用LIME(Local Interpretable Model-AgnosticExplanations)算法对机器学习模型进行解释，但LIME算法是在每个预测样本附近随机采样产生新的预测样本，产生新的预测结果，从而根据新的预测结果对机器学习模型进行解释，但由于随机采样的方式是不可控制的，因此，无法保证LIME算法的方式在复杂的场景下是否依然有效。此外，上述两种方式均是对机器学习模型的整体进行解释，无法对单个特征的作用进行解释。
发明内容
有鉴于此，本申请的目的在于提供基于合作博弈的模型解释方法、装置、电子设备，以便于对机器学习模型的预测结果进行解释。
第一方面，本申请实施例提供一种基于合作博弈的模型解释方法，应用于电子设备，所述电子设备包括训练好用于预测或分类的机器学习模型，所述方法包括：
将测试样本输入到所述机器学习模型中，获得所述机器学习模型的输出结果，其中，所述测试样本包括多个特征；
根据所述机器学习模型的输出结果，计算从所述多个特征中选择的各个目标特征对所述输出结果的贡献度值，以便根据选择的各个目标特征对所述输出结果的贡献度值对所述机器学习模型的输出结果进行解释。
在可选的实施方式中，根据所述机器学习模型的输出结果计算从输入的至少一个测试样本中的多个特征中选择的各个目标特征对所述输出结果的贡献度值，包括：
根据公式
计算各个目标特征的贡献度值，其中，
为目标特征i的贡献度值，|S|和|N|分别为子联盟S和总联盟N中包含的目标特征的数量，S\{i}是由子联盟S中去除目标特征i后其余特征所组成的联盟，C(S)-C(S\{i})为目标特征i对子联盟S的边际贡献，其中，所述总联盟N包括其中一个测试样本中所有的目标特征，子联盟S包括其中一个测试样本中的至少一个目标特征i，且所述子联盟为所述总联盟的子集。
在可选的实施方式中，在根据所述机器学习模型的输出结果计算输入的至少一个测试样本中的每个目标特征对所述输出结果的贡献度值之前，所述方法还包括：
对所述测试样本中的多个特征进行局部采样，以从所述多个特征中确定多个目标特征。
在可选的实施方式中，在根据所述机器学习模型的输出结果计算输入的测试样本中的各个特征对所述输出结果的贡献度之后，所述方法还包括计算所述多个测试样本中各个目标特征的贡献顺序，包括：
根据每个所述测试样本中的目标特征的特征值，对每个所述测试样本进行分类，得到多个不同目标特征的特征值对应的测试样本子集；
分别计算分类前的所述测试样本组成的测试样本集的第一信息熵和分类后各测试样本子集的第二信息熵；
计算所述第一信息熵与所述第二信息熵的差值；
根据所述第一信息熵与所述第二信息熵的差值大小确定每个目标特征对于输出结果的贡献顺序。
在可选的实施方式中，在计算所述第一信息熵与所述第二信息熵的差值之后，所述方法还包括：
根据所述第一信息熵和所述第二信息熵之间的差值计算信息增益比；
根据所述信息增益比确定每个目标特征的贡献顺序。
第二方面，本申请实施例提供一种基于合作博弈的模型解释装置，应用于电子设备，所述电子设备包括训练好用于预测或分类的机器学习模型，所述装置包括：
输入模块，用于将至少一个测试样本输入到所述机器学习模型中，获得所述机器学习模型的输出结果，其中，所述测试样本包括多个特征；
第一计算模块，用于根据所述机器学习模型的输出结果计算从输入的至少一个测试样本中的多个特征中选择的各个目标特征对所述输出结果的贡献度值，以便根据选择的各个目标特征对所述输出结果的贡献度值对所述机器学习模型的输出结果进行解释。
在可选的实施方式中，所述装置还包括：
采样模块，用于对所述测试样本中的多个特征进行局部采样，以从所述多个特征中确定多个目标特征。
在可选的实施方式中，所述装置还包括第二计算模块，用于计算所述测试样本中各个目标特征的贡献顺序；
所述第二计算模块具体用于：
根据每个所述测试样本中的目标特征的特征值，对每个所述测试样本进行分类，得到多个不同目标特征的特征值对应的测试样本子集；
分别计算分类前的所述测试样本组成的测试样本集的第一信息熵和分类后各测试样本子集的第二信息熵；
计算所述第一信息熵与所述第二信息熵的差值；
根据所述第一信息熵与所述第二信息熵的差值大小确定每个目标特征对于输出结果的贡献顺序。
第三方面，本申请实施例提供一种电子设备，包括处理器及存储有计算机指令的非易失性存储器，所述计算机指令被所述处理器执行时，所述电子设备执行前述实施方式中任意一项所述的基于合作博弈的模型解释方法。
第四方面，本申请实施例提供一种存储介质，所述存储介质中存储有计算机程序，所述计算机程序被执行时实现前述实施方式任意一项所述的基于合作博弈的模型解释方法。
本申请实施例提供的基于合作博弈的模型解释方法、装置、电子设备，该方法应用于电子设备，电子设备包括训练好用于预测或分类的机器学习模型。根据机器学习模型的输出结果计算从输入的至少一个测试样本中的多个特征中选择的各个目标特征对所述输出结果的贡献度值，以便根据选择的各个目标特征对所述输出结果的贡献度值对所述机器学习模型的输出结果进行解释。
本申请将机器学习模型与合作博弈论结合，通过计算各个目标特征的贡献度值，对机器学习模型的预测结果进行解释，包括非线性模型和线性模型。同时，本申请不仅可以针对单个目标特征对机器学习模型进行解释，也可以对机器学习模型整体的预测结果进行解释。
为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1是本申请是实施例提供的电子设备的结构示意图；
图2为本申请实施例提供的基于合作博弈的模型解释方法的流程图之一；
图3为本申请实施例提供的基于合作博弈的模型解释方法的流程图之二；
图4为本申请实施例提供的基于合作博弈的模型解释方法的流程图之三；
图5为图4中步骤S250的子步骤流程图；
图6为本申请实施例提供的基于合作博弈的模型解释装置的功能模块图。
主要元件符号说明：100-电子设备；110-基于合作博弈的模型解释装置；120-存储器；130-处理器；112-输入模块；113-采样模块；114-第一计算模块；115-第二计算模块。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
请参照图1，图1是本申请是实施例提供的电子设备100的结构示意图，该电子设备100包括有处理器130、存储器120以及基于合作博弈的模型解释装置110，所述存储器120与处理器130各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。所述基于合作博弈的模型解释装置110包括至少一个可以软件或固件(firmware)的形式存储于所述存储器120中或固化在所述电子设备100的操作系统(Operating System，OS)中的软件功能模块。所述处理器130用于执行所述存储器120中存储的可执行模块，例如所述基于合作博弈的模型解释装置110所包括的软件功能模块及计算机程序等。
其中，所述存储器120可以是，但不限于，随机存取存储器(Random AccessMemory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(ProgrammableRead-Only Memory，PROM)，可擦除只读存储器(Erasable Programmable Read-OnlyMemory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-OnlyMemory，EEPROM)等。其中，存储器120用于存储程序，所述处理器130在接收到执行指令后，执行所述程序。
所述处理器130可能是一种集成电路芯片，具有信号的处理能力。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
本申请是根据合作博弈论的特点，实现对机器学习模型输出结果原因的可解释。将机器学习模型的每个输入的特征视为合作博弈中各个联盟的合作成员，将机器学习模型输出的最终结果视为联盟收益，通过计算各个合作成员对联盟收益的贡献度，即可判断该合作成员对于联盟收益的重要程度，从而可以获得该特征对输出结果的重要程度，以对输出结果进行合理的解释，使输出结果具有较高的可信度。
请参照图2，图2为本申请实施例提供的基于合作博弈的模型解释方法的流程图之一。基于合作博弈的模型解释方法应用于图1中的电子设备100，电子设备100包括有已经训练好的用于进行预测或分类的机器学习模型，该方法包括以下步骤：
步骤S220，将至少一个测试样本输入到机器学习模型中，获得机器学习模型的输出结果。
在本步骤中，每个测试样本包括有多个特征，例如，测试样本可能包括姓名、年龄、职业、收入、籍贯等特征。将测试样本输入到机器学习模型中进行计算，以机器学习模型对于此条测试样本的输出结果。例如，若机器学习模型是用于预测客户的信用程度，则测试样本可以是该客户的基本资料，包括姓名、年龄、收入、职业等其它特征，输出结果则是该客户的信用程度。为了使输出结果具有较高的可信度，则需要该输出结果具有可解释性。
步骤S240，根据机器学习模型的输出结果计算从输入的至少一个测试样本中的多个特征中选择的各个目标特征对所述输出结果的贡献度值，以便根据选择的各个目标特征的贡献度值对机器学习模型的输出结果进行解释。
在本步骤中，当获得机器学习模型的输出结果后，为了对该输出结果进行解释，则需要对输入的测试样本的各个目标特征对于该输出结果的贡献度值进行计算，贡献度值越高，则表明该目标特征对于输出结果的影响越大。
具体地，在步骤S240中，根据公式：
例如，若测试样本中包含20个目标特征，待计算的目标特征为职业，则总联盟N中包含的目标特征数量为20，即|N|＝20；假设一共有5个子联盟S包含有待计算的目标特征(职业)，且5个子联盟S包含的目标特征数量分别为15、12、10、7及5。则|S|的取值有五种情况，分别是15、12、10、7及5，将|S|的五种取值情况分别代入上述公式中进行计算获得五个值，将五个值相加后即可获得待计算的目标特征(职业)对于输出结果的贡献度值。
根据上述公式计算测试样本中每个目标特征的贡献度值，即可对该机器学习模型的输出结果进行解释，提升该机器学习模型的置信度。同时，由于本申请能够对测试样本中的每个目标特征的贡献度进行计算，即可分别针对每个目标特征对机器学习模型的输出结果进行解释，不仅仅是对机器学习模型的整体结果进行解释。
例如，当机器学习模型在判定某客户的信用程度较高时，本申请可以针对该客户的每个特征信息(姓名、年龄、职业、收入等)的贡献度值对该结果进行解释。
请参照图3，图3为本申请实施例提供的基于合作博弈的模型解释方法的流程图之二。在本实施例中，当测试样本中包含的特征数量较多时，若直接采用上述包含阶乘的公式计算各个特征的贡献度值，运算量相对较大，运算时间也较长，因此，为了减少运算量，在步骤S240之前，还包括以下步骤：
步骤S230，对测试样本中的多个特征进行局部采样，以从多个特征中确定多个目标特征。
在本步骤中，为了减少运算量，在进行目标特征的贡献度值计算之前，可采用LIME算法对测试样本中的多个特征进行局部采样，从测试样本的多个特征(例如1000个特征)中选取出多个目标特征(例如200个特征)，此种方式可以大大地减少运算量。
当然，在一些对于运算时间要求不高的场景，也可以不对测试样本中的多个特征进行局部采样，直接计算多个特征的贡献度。
请参照图4，图4为本申请实施例提供的基于合作博弈的模型解释方法的流程图之三。在本实施例中，当计算出各个目标特征对机器学习模型的输出结果的贡献度之后，还可以结合决策树算法计算各个目标特征的信息增益，从而判断各个目标特征的贡献顺序，即优先级。
具体地，在步骤S240之后，基于合作博弈的模型解释方法还包括：
步骤S250，计算多个测试样本中各个目标特征的贡献顺序。
具体地，请参照图5，图5为图4中步骤S250的子步骤流程图。在本实施例中，步骤S250包括以下子步骤：
子步骤S251，根据每个测试样本中的目标特征的特征值，对每个测试样本进行分类，得到多个不同目标特征的特征值对应的测试样本子集。
子步骤S252，分别计算分类前的测试样本组成的测试样本集的第一信息熵和分类后各测试样本子集的第二信息熵。
子步骤S253，计算第一信息熵与第二信息熵的差值。
子步骤S254，根据第一信息熵与所述第二信息熵的差值大小确定每个目标特征对于输出结果的贡献顺序。
在上述步骤中，在计算各个目标特征的贡献顺序时，先使用该目标特征对测试样本进行分类。例如，当目标特征为性别时，可根据每个测试样本中的性别对应的特征值对测试样本进行分类。若测试样本数量为1000个时，其中目标特征(性别)的特征值为女的测试样本数量为500个，目标特征(性别)的特征值为男的测试样本数量为500个，则可将这1000个测试样本按照性别划分为两个测试样本子集。分别计算分类前的测试样本组成的测试样本集的第一信息熵和分类后的各个测试样本子集的第二信息熵，并根据第一信息熵及第二信息熵的差值确定每个目标特征的贡献顺序(即优先级)。
目标特征的信息增益(即第一信息熵与所述第二信息熵的差值)越大，则表示该目标特征的贡献顺序排名越高，即优先级越高。
请继续参照图5，在子步骤S254之后，步骤S240还包括：
子步骤S255，根据第一信息熵和第二信息熵之间的差值计算信息增益比。
子步骤S256，根据信息增益比确定每个目标特征的贡献顺序。
在上述步骤中，在获得第一信息熵和第二信息熵之间的差值后，可根据以下公式计算信息增益比：
其中，信息增益＝第一信息熵-第二信息熵，HA(D)是指将用于分类的目标特征A作为随机变量，对测试样本集D计算得到的经验熵。根据信息增益比的大小即可判断目标特征A的贡献顺序(优先级)，其中，信息增益比越大，则该目标特征A的贡献顺序排名越高，可视为优先级越高。
本申请实施例通过计算信息增益比，提供了每个特征对模型最终计算结果产生影响的先后顺序，结合贡献度值，以对模型内部如何进行决策的给出了更全面的解释。
请参照图6，图6为本申请实施例提供的基于合作博弈的模型解释装置110的功能模块图。基于合作博弈的模型解释装置110应用于电子设备100，该装置包括：
输入模块112，用于将至少一个测试样本输入到机器学习模型中，获得机器学习模型的输出结果，其中，测试样本包括多个特征。
第一计算模块114，用于根据机器学习模型的输出结果计算从输入的至少一个测试样本中的多个特征中选择的各个目标特征对输出结果的贡献度值，以便根据选择的各个目标特征对输出结果的贡献度值对机器学习模型的输出结果进行解释。
请继续参照图6，可选地，在本实施例中，基于合作博弈的模型解释装置110还包括：
采样模块113，用于对测试样本中的多个特征进行局部采样，以从多个特征中确定多个目标特征。
可选地，在本实施例中，基于合作博弈的模型解释装置110还包括第二计算模块115，用于计算测试样本中各个目标特征的贡献顺序。
第二计算模块115具体用于：
根据每个测试样本中的目标特征的特征值，对每个测试样本进行分类，得到多个不同目标特征的特征值对应的测试样本子集；分别计算分类前的测试样本组成的测试样本集的第一信息熵和分类后各测试样本子集的第二信息熵；计算第一信息熵与第二信息熵的差值；根据第一信息熵与第二信息熵的差值大小确定每个目标特征对于输出结果的贡献顺序。
本申请实施例所提供的基于合作博弈的模型解释装置110可以为电子设备100上的特定硬件或者安装于电子设备100上的软件或固件等。本申请实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，前述描述的系统、装置和单元的具体工作过程，均可以参考上述方法实施例中的对应过程，在此不再赘述。
本申请实施例还提供了一种电子设备100，包括处理器130及存储有计算机指令的非易失性存储器120，计算机指令被处理器130执行时，电子设备100执行上述基于合作博弈的模型解释方法，具体实现可参见方法实施例，在此不再赘述。
本申请实施例还提供了一种存储介质，存储介质中存储有计算机程序，计算机程序被执行时实现上述的基于合作博弈的模型解释方法。
综上所述，本申请实施例提供的基于合作博弈的模型解释方法、装置、电子设备，该方法应用于电子设备，电子设备包括训练好用于预测或分类的机器学习模型。根据机器学习模型的输出结果计算从输入的至少一个测试样本中的多个特征中选择的各个目标特征对所述输出结果的贡献度值，以便根据选择的各个目标特征对所述输出结果的贡献度值对所述机器学习模型的输出结果进行解释。
本申请将机器学习模型与合作博弈论结合，通过计算各个目标特征的贡献度值，对机器学习模型的预测结果进行解释，包括非线性模型和线性模型。同时，本申请不仅可以针对单个目标特征对机器学习模型进行解释，也可以对机器学习模型整体的预测结果进行解释。
在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释，此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
最后应说明的是：以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围。都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。
Claims (10)
1.一种基于合作博弈的模型解释方法，其特征在于，应用于电子设备，所述电子设备包括训练好用于预测或分类的机器学习模型，所述方法包括：
将测试样本输入到所述机器学习模型中，获得所述机器学习模型的输出结果，其中，所述测试样本包括多个特征；
根据所述机器学习模型的输出结果，计算从所述多个特征中选择的各个目标特征对所述输出结果的贡献度值，以便根据选择的各个目标特征的贡献度值对所述机器学习模型的输出结果进行解释。
2.根据权利要求1所述的方法，其特征在于，根据所述机器学习模型的输出结果计算从输入的至少一个测试样本中的多个特征中选择的各个目标特征对所述输出结果的贡献度值，包括：
根据公式
计算各个目标特征的贡献度值，其中，为目标特征i的贡献度值，|S|和|N|分别为子联盟S和总联盟N中包含的目标特征的数量，S\{i}是由子联盟S中去除目标特征i后其余特征所组成的联盟，C(S)-C(S\{i})为目标特征i对子联盟S的边际贡献，其中，总联盟N包括其中一个测试样本中所有的目标特征，子联盟S包括其中一个测试样本中的至少一个目标特征i，且所述子联盟为所述总联盟的子集。
3.根据权利要求1所述的方法，其特征在于，在根据所述机器学习模型的输出结果计算从输入的至少一个测试样本中的多个特征中选择的各个目标特征对所述输出结果的贡献度值之前，所述方法还包括：
对所述测试样本中的多个特征进行局部采样，以从所述多个特征中确定多个目标特征。
4.根据权利要求3所述的方法，其特征在于，在根据所述机器学习模型的输出结果计算输入的测试样本中的各个特征对所述输出结果的贡献度之后，所述方法还包括计算所述测试样本中各个目标特征的贡献顺序，包括：
根据每个所述测试样本中的目标特征的特征值，对每个所述测试样本进行分类，得到多个不同目标特征的特征值对应的测试样本子集；
分别计算分类前的所述测试样本组成的测试样本集的第一信息熵和分类后各测试样本子集的第二信息熵；
计算所述第一信息熵与所述第二信息熵的差值；
根据所述第一信息熵与所述第二信息熵的差值大小确定每个目标特征对于输出结果的贡献顺序。
5.根据权利要求4所述的方法，其特征在于，在计算所述第一信息熵与所述第二信息熵的差值之后，所述方法还包括：
根据所述第一信息熵和所述第二信息熵之间的差值计算信息增益比；
根据所述信息增益比确定每个目标特征的贡献顺序。
6.一种基于合作博弈的模型解释装置，应用于电子设备，所述电子设备包括训练好用于预测或分类的机器学习模型，其特征在于，所述装置包括：
输入模块，用于将测试样本输入到所述机器学习模型中，获得所述机器学习模型的输出结果，其中，所述测试样本包括多个特征；
第一计算模块，用于根据所述机器学习模型的输出结果，计算从所述多个特征中选择的各个目标特征对所述输出结果的贡献度值，以便根据选择的各个目标特征对所述输出结果的贡献度值对所述机器学习模型的输出结果进行解释。
7.根据权利要求6所述的装置，其特征在于，所述装置还包括：
采样模块，用于对所述测试样本中的多个特征进行局部采样，以从所述多个特征中确定多个目标特征。
8.根据权利要求6所述的装置，其特征在于，所述装置还包括第二计算模块，用于计算所述测试样本中各个目标特征的贡献顺序；
所述第二计算模块具体用于：
根据每个所述测试样本中的目标特征的特征值，对每个所述测试样本进行分类，得到多个不同目标特征的特征值对应的测试样本子集；
分别计算分类前的所述测试样本组成的测试样本集的第一信息熵和分类后各测试样本子集的第二信息熵；
计算所述第一信息熵与所述第二信息熵的差值；
根据所述第一信息熵与所述第二信息熵的差值大小确定每个目标特征对于输出结果的贡献顺序。
9.一种电子设备，其特征在于，包括处理器及存储有计算机指令的非易失性存储器，所述计算机指令被所述处理器执行时，所述电子设备执行权利要求1-5中任意一项所述的基于合作博弈的模型解释方法。
10.一种存储介质，其特征在于，所述存储介质中存储有计算机程序，所述计算机程序被执行时实现权利要求1-5任意一项所述的基于合作博弈的模型解释方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910961275.4A CN110705718A (zh) | 2019-10-11 | 2019-10-11 | 基于合作博弈的模型解释方法、装置、电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910961275.4A CN110705718A (zh) | 2019-10-11 | 2019-10-11 | 基于合作博弈的模型解释方法、装置、电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110705718A true CN110705718A (zh) | 2020-01-17 |
Family
ID=69200082
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910961275.4A Pending CN110705718A (zh) | 2019-10-11 | 2019-10-11 | 基于合作博弈的模型解释方法、装置、电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110705718A (zh) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111340231A (zh) * | 2020-02-11 | 2020-06-26 | 深圳前海微众银行股份有限公司 | Shap特征归因方法、装置、设备及可读存储介质 |
| CN111401788A (zh) * | 2020-04-10 | 2020-07-10 | 支付宝(杭州)信息技术有限公司 | 业务时序指标的归因方法以及装置 |
| CN111523677A (zh) * | 2020-04-17 | 2020-08-11 | 第四范式（北京）技术有限公司 | 实现对机器学习模型的预测结果进行解释的方法及装置 |
| CN111523678A (zh) * | 2020-04-21 | 2020-08-11 | 京东数字科技控股有限公司 | 业务的处理方法、装置、设备及存储介质 |
| CN111737067A (zh) * | 2020-05-29 | 2020-10-02 | 苏州浪潮智能科技有限公司 | 一种硬盘故障预测模型解释方法及装置 |
| CN112116028A (zh) * | 2020-09-29 | 2020-12-22 | 联想(北京)有限公司 | 模型决策解释实现方法、装置及计算机设备 |
| CN112215366A (zh) * | 2020-12-07 | 2021-01-12 | 成都数联铭品科技有限公司 | 基于结果画像的模型解释方法、系统、计算及存储设备 |
| CN112907145A (zh) * | 2021-03-31 | 2021-06-04 | 重庆度小满优扬科技有限公司 | 模型解释方法以及电子设备 |
| CN113326948A (zh) * | 2021-06-01 | 2021-08-31 | 深圳前海微众银行股份有限公司 | 联邦学习模型的数据处理方法、装置、设备及存储介质 |
| CN113779257A (zh) * | 2021-09-28 | 2021-12-10 | 京东城市(北京)数字科技有限公司 | 文本分类模型的解析方法、装置、设备、介质及产品 |
| WO2022100417A1 (zh) * | 2020-11-12 | 2022-05-19 | 医渡云（北京）技术有限公司 | 医疗辅助决策模型解释方法及装置、存储介质、电子设备 |
| CN114997549A (zh) * | 2022-08-08 | 2022-09-02 | 阿里巴巴（中国）有限公司 | 黑盒模型的解释方法、装置及设备 |
-
2019
- 2019-10-11 CN CN201910961275.4A patent/CN110705718A/zh active Pending
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111340231A (zh) * | 2020-02-11 | 2020-06-26 | 深圳前海微众银行股份有限公司 | Shap特征归因方法、装置、设备及可读存储介质 |
| CN111340231B (zh) * | 2020-02-11 | 2024-09-24 | 深圳前海微众银行股份有限公司 | Shap特征归因方法、装置、设备及可读存储介质 |
| CN111401788A (zh) * | 2020-04-10 | 2020-07-10 | 支付宝(杭州)信息技术有限公司 | 业务时序指标的归因方法以及装置 |
| CN111401788B (zh) * | 2020-04-10 | 2022-03-25 | 支付宝(杭州)信息技术有限公司 | 业务时序指标的归因方法以及装置 |
| CN111523677A (zh) * | 2020-04-17 | 2020-08-11 | 第四范式（北京）技术有限公司 | 实现对机器学习模型的预测结果进行解释的方法及装置 |
| CN111523677B (zh) * | 2020-04-17 | 2024-02-09 | 第四范式（北京）技术有限公司 | 实现对机器学习模型的预测结果进行解释的方法及装置 |
| CN111523678A (zh) * | 2020-04-21 | 2020-08-11 | 京东数字科技控股有限公司 | 业务的处理方法、装置、设备及存储介质 |
| CN111737067A (zh) * | 2020-05-29 | 2020-10-02 | 苏州浪潮智能科技有限公司 | 一种硬盘故障预测模型解释方法及装置 |
| CN112116028A (zh) * | 2020-09-29 | 2020-12-22 | 联想(北京)有限公司 | 模型决策解释实现方法、装置及计算机设备 |
| CN112116028B (zh) * | 2020-09-29 | 2024-04-26 | 联想(北京)有限公司 | 模型决策解释实现方法、装置及计算机设备 |
| WO2022100417A1 (zh) * | 2020-11-12 | 2022-05-19 | 医渡云（北京）技术有限公司 | 医疗辅助决策模型解释方法及装置、存储介质、电子设备 |
| CN112215366A (zh) * | 2020-12-07 | 2021-01-12 | 成都数联铭品科技有限公司 | 基于结果画像的模型解释方法、系统、计算及存储设备 |
| CN112907145A (zh) * | 2021-03-31 | 2021-06-04 | 重庆度小满优扬科技有限公司 | 模型解释方法以及电子设备 |
| CN112907145B (zh) * | 2021-03-31 | 2024-05-28 | 重庆度小满优扬科技有限公司 | 模型解释方法以及电子设备 |
| CN113326948A (zh) * | 2021-06-01 | 2021-08-31 | 深圳前海微众银行股份有限公司 | 联邦学习模型的数据处理方法、装置、设备及存储介质 |
| CN113779257A (zh) * | 2021-09-28 | 2021-12-10 | 京东城市(北京)数字科技有限公司 | 文本分类模型的解析方法、装置、设备、介质及产品 |
| CN114997549B (zh) * | 2022-08-08 | 2022-10-28 | 阿里巴巴（中国）有限公司 | 黑盒模型的解释方法、装置及设备 |
| CN114997549A (zh) * | 2022-08-08 | 2022-09-02 | 阿里巴巴（中国）有限公司 | 黑盒模型的解释方法、装置及设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110705718A (zh) | 基于合作博弈的模型解释方法、装置、电子设备 | |
| CN112434721B (zh) | 一种基于小样本学习的图像分类方法、系统、存储介质及终端 | |
| CN111401516B (zh) | 一种神经网络通道参数的搜索方法及相关设备 | |
| WO2019129060A1 (zh) | 自动生成机器学习样本的特征的方法及系统 | |
| US10762163B2 (en) | Probabilistic matrix factorization for automated machine learning | |
| CN108021984A (zh) | 确定机器学习样本的特征重要性的方法及系统 | |
| CN110503459B (zh) | 基于大数据的用户信用度评估方法、装置及存储介质 | |
| CN109242002A (zh) | 高维数据分类方法、装置及终端设备 | |
| US11270519B2 (en) | Method of processing point cloud data based on neural network | |
| CN116109630B (zh) | 基于传感器采集和人工智能的图像分析方法及系统 | |
| CN113065593A (zh) | 模型训练方法、装置、计算机设备和存储介质 | |
| CN113674087A (zh) | 企业信用等级评定方法、装置、电子设备和介质 | |
| CN111709415B (zh) | 目标检测方法、装置、计算机设备和存储介质 | |
| CN112433952B (zh) | 深度神经网络模型公平性测试方法、系统、设备及介质 | |
| CN114187009A (zh) | 交易风险预测模型的特征解释方法、装置、设备及介质 | |
| EP3580676A1 (en) | Sample-based multidimensional data cloning | |
| CN116740325A (zh) | 一种基于展馆场景三维效果设计的图像拼接方法及系统 | |
| CN111046786A (zh) | 年龄估计神经网络的生成方法、装置以及电子设备 | |
| CN115565115A (zh) | 一种舾装件智能识别方法、计算机设备 | |
| US20230041338A1 (en) | Graph data processing method, device, and computer program product | |
| Bütepage et al. | Gaussian process encoders: Vaes with reliable latent-space uncertainty | |
| CN114118411A (zh) | 图像识别网络的训练方法、图像识别方法及装置 | |
| CN111428741B (zh) | 网络社区的发现方法、装置、电子设备及可读存储介质 | |
| CN110415006B (zh) | 广告点击率预估方法和装置 | |
| CN113255933A (zh) | 特征工程和图网络生成方法和装置、分布式系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200117 |
|
| RJ01 | Rejection of invention patent application after publication |