CN112766415B - 用于解释人工智能模型的方法、装置及系统 - Google Patents
用于解释人工智能模型的方法、装置及系统 Download PDFInfo
- Publication number
- CN112766415B CN112766415B CN202110176552.8A CN202110176552A CN112766415B CN 112766415 B CN112766415 B CN 112766415B CN 202110176552 A CN202110176552 A CN 202110176552A CN 112766415 B CN112766415 B CN 112766415B
- Authority
- CN
- China
- Prior art keywords
- sample
- artificial intelligence
- interpretation
- intelligence model
- result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 234
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000012549 training Methods 0.000 claims description 90
- 238000004458 analytical method Methods 0.000 claims description 75
- 238000003066 decision tree Methods 0.000 claims description 35
- 230000009466 transformation Effects 0.000 claims description 23
- 238000003860 storage Methods 0.000 claims description 21
- 238000010801 machine learning Methods 0.000 claims description 14
- 230000001131 transforming effect Effects 0.000 claims description 12
- 238000013507 mapping Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 8
- 238000003058 natural language processing Methods 0.000 claims description 7
- 238000010586 diagram Methods 0.000 description 17
- 238000012545 processing Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 4
- 230000006399 behavior Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 239000000835 fiber Substances 0.000 description 2
- 238000007477 logistic regression Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003238 somatosensory effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本公开提供了一种用于解释人工智能模型的方法、装置及系统，该方法包括：获取人工智能模型的第一解释结果；所述第一解释结果为基于所述人工智能模型的特征字段所表示的解释结果；获取所述特征字段与业务含义的关联关系；基于所述关联关系，将所述第一解释结果中的所述特征字段替换成关联的业务含义，得到所述人工智能模型的第二解释结果；基于所述第二解释结果，生成所述人工智能模型的解释报告。
Description
技术领域
本发明涉及人工智能技术领域，更具体地，涉及一种用于解释人工智能模型的方法、装置及系统。
背景技术
随着大数据和人工智能技术的不断发展，人工智能模型得到了广泛的应用，但其模型的深度和复杂度远远超出了人类理解的范畴，或者称之为黑盒。当一个人工智能模型泛化性能很好时，可以通过交叉验证验证其准确性，并将其应用在生产环境中。但是，用户很难去感知这个模型在进行决策时考虑了哪些重要特征，基于什么样的判断逻辑做出最终的决策。
在很多场景下，使用人工智能模型的用户需要明确人工智能模型的决策依据。另外，对人工智能模型进行解释也可以帮助用户进一步改善人工智能模型，优化人工智能模型的特征，提高人工智能模型的泛化性。
因此，提出一种能够解释人工智能模型的方案是十分有价值的。
发明内容
本说明书的一个目的是提供一种用于解释人工智能模型的新技术方案。
根据本说明书的第一方面，提供了一种用于解释人工智能模型的方法，包括：
获取人工智能模型的第一解释结果；所述第一解释结果为基于所述人工智能模型的特征字段所表示的解释结果；
获取所述特征字段与业务含义的关联关系；
基于所述关联关系，将所述第一解释结果中的所述特征字段替换成关联的业务含义，得到所述人工智能模型的第二解释结果；
基于所述第二解释结果，生成所述人工智能模型的解释报告。
可选的，第一解释结果包括所述特征字段的重要性分析结果；
所述重要性分析结果包括所述特征字段以及所述特征字段在所述人工智能模型进行决策时的参考权重。
可选的，还包括：
对所述第二解释结果进行优化；
所述基于所述第二解释结果，生成所述人工智能模型的解释报告包括：
根据优化后的第二解释结果，生成所述人工智能模型的解释报告。
可选的，对所述第二解释结果进行优化包括：
基于所述第二解释结果中与所述重要性分析结果对应的内容，构建解释图谱；其中，所述解释图谱中的节点包括所述业务含义和预设的业务类型；
所述解释图谱的边表示所述业务含义与所述业务类型之间的映射关系；
根据所述解释图谱，确定每一业务类型所连接的至少一个业务含义；
对于每一所述业务类型，对所连接的业务含义的参考权重求和，得到对应业务类型的参考权重；
根据所述业务类型和所述业务类型的参考权重，得到所述优化后的第二解释结果中与所述重要性分析结果对应的内容。
可选的，根据所述业务类型和所述业务类型的参考权重，得到所述优化后的第二解释结果中与所述重要性分析结果对应的内容，包括：
基于所述业务类型的参考权重对所述业务类型进行降序排序，得到每一所述业务类型的第一排序值；
将第一排序值在第一预设排序范围内的业务类型和对应的参考权重，作为所述优化后的第二解释结果中与所述重要性分析结果对应的内容。
可选的，获取所述人工智能模型的所述特征字段的重要性分析结果，包括：
获取所述人工智能模型中的所述特征字段；
在获取的所述人工智能模型的训练样本集中选取待解释样本；所述待解释样本包括所述特征字段的特征值；
基于所述待解释样本，生成局部样本和所述局部样本的样本权重；所述局部样本包括所述特征字段的特征值；
将所述局部样本输入所述人工智能模型，得到所述局部样本的决策结果；
基于所述局部样本、所述样本权重以及所述局部样本的决策结果进行机器学习训练，得到用于对所述人工智能模型进行近似拟合的解释模型；
将所述解释模型中所述特征字段对应的系数，作为所述特征字段在所述人工智能模型进行决策时的参考权重；
基于所述特征字段的参考权重对所述特征字段进行降序排序，得到所述特征字段的第二排序值；
将所述第二排序值在第二预设排序范围内的特征字段及对应的参考权重，得到所述重要性分析结果。
可选的，基于所述待解释样本，生成局部样本和所述局部样本的样本权重，包括：
按照预设的变换规则对所述待解释样本进行变换，得到所述局部样本；
确定所述局部样本与所述待解释样本之间的相似度，作为所述局部样本的样本权重。
可选的，第一解释结果还包括所述人工智能模型的决策规则；
获取所述人工智能模型的决策规则，包括：
获取所述人工智能模型的训练样本集；
将所述训练样本集输入所述人工智能模型，得到所述训练样本集的决策结果；所述决策结果包含所述策结果出现的概率；
根据所述训练样本集和所述训练样本集的决策结果进行机器学习训练，得到单棵决策树模型；
提取所述单棵决策树模型中至少一个决策结果分支所对应的分裂条件，得到所述人工智能模型的决策规则。
可选的，还包括：
获取所述人工智能模型中的所述特征字段；
在获取的所述人工智能模型的训练样本集中选取待解释样本；所述待解释样本包括所述特征字段的特征值；
将所述待解释样本输入所述单棵决策树模型，得到所述待解释样的决策结果；
遍历所述特征字段；
对所述待解释样本中当前遍历到的特征字段的特征值进行变换，得到与所述当前遍历到的特征字段所对应的变换样本；
将所述变换样本输入所述单棵决策树模型，得到所述变换样本的决策结果；
确定所述变换样本和所述待解释样本的决策结果中的概率之间的差值，作为所述当前遍历到的特征字段的参考权重；
在遍历结束的情况下，基于所述特征字段及所述特征字段的参考权重，得到所述重要性分析结果。
可选的，基于所述第二解释结果，生成所述人工智能模型的解释报告，包括：
获取参考报告；
采用自然语言处理工具，学习所述参考报告中的文本结构和行文范式；
基于学习到的所述文字结构和行文范式，根据所述第二解释结果生成所述人工智能模型的解释报告。
可选的，还包括：
获取所述人工智能模型的描述性信息；
将所述人工智能模型的描述性信息，整合到所述人工智能模型的解释报告中。
根据本说明书的第二方面，提供了一种用于解释人工智能模型的装置，包括：
第一解释结果获取模块，用于获取人工智能模型的第一解释结果；所述第一解释结果为基于所述人工智能模型的特征字段所表示的解释结果；
关联关系获取模块，用于获取所述特征字段与业务含义的关联关系；
第二解释结果生成模块，用于基于所述关联关系，将所述第一解释结果中的所述特征字段替换成关联的业务含义，得到所述人工智能模型的第二解释结果；
解释报告生成模块，用于基于所述第二解释结果，生成所述人工智能模型的解释报告。
可选的，第一解释结果包括所述特征字段的重要性分析结果；
所述重要性分析结果包括所述特征字段以及所述特征字段在所述人工智能模型进行决策时的参考权重。
可选的，还包括：
用于对所述第二解释结果进行优化的模块；
所述解释报告生成模块，还用于根据优化后的第二解释结果，生成所述人工智能模型的解释报告。
可选的，对所述第二解释结果进行优化包括：
基于所述第二解释结果中与所述重要性分析结果对应的内容，构建解释图谱；其中，所述解释图谱中的节点包括所述业务含义和预设的业务类型；
所述解释图谱的边表示所述业务含义与所述业务类型之间的映射关系；
根据所述解释图谱，确定每一业务类型所连接的至少一个业务含义；
对于每一所述业务类型，对所连接的业务含义的参考权重求和，得到对应业务类型的参考权重；
根据所述业务类型和所述业务类型的参考权重，得到所述优化后的第二解释结果中与所述重要性分析结果对应的内容。
可选的，根据所述业务类型和所述业务类型的参考权重，得到所述优化后的第二解释结果中与所述重要性分析结果对应的内容，包括：
基于所述业务类型的参考权重对所述业务类型进行降序排序，得到每一所述业务类型的第一排序值；
将第一排序值在第一预设排序范围内的业务类型和对应的参考权重，作为所述优化后的第二解释结果中与所述重要性分析结果对应的内容。
可选的，第一解释结果获取模块用于：
获取所述人工智能模型中的所述特征字段；
在获取的所述人工智能模型的训练样本集中选取待解释样本；所述待解释样本包括所述特征字段的特征值；
基于所述待解释样本，生成局部样本和所述局部样本的样本权重；所述局部样本包括所述特征字段的特征值；
将所述局部样本输入所述人工智能模型，得到所述局部样本的决策结果；
基于所述局部样本、所述样本权重以及所述局部样本的决策结果进行机器学习训练，得到用于对所述人工智能模型进行近似拟合的解释模型；
将所述解释模型中所述特征字段对应的系数，作为所述特征字段在所述人工智能模型进行决策时的参考权重；
基于所述特征字段的参考权重对所述特征字段进行降序排序，得到所述特征字段的第二排序值；
将所述第二排序值在第二预设排序范围内的特征字段及对应的参考权重，得到所述重要性分析结果。
可选的，基于所述待解释样本，生成局部样本和所述局部样本的样本权重，包括：
按照预设的变换规则对所述待解释样本进行变换，得到所述局部样本；
确定所述局部样本与所述待解释样本之间的相似度，作为所述局部样本的样本权重。
可选的，第一解释结果还包括所述人工智能模型的决策规则；
所述第一解释结果获取模块还用于：
获取所述人工智能模型的训练样本集；
将所述训练样本集输入所述人工智能模型，得到所述训练样本集的决策结果；所述决策结果包含所述策结果出现的概率；
根据所述训练样本集和所述训练样本集的决策结果进行机器学习训练，得到单棵决策树模型；
提取所述单棵决策树模型中至少一个决策结果分支所对应的分裂条件，得到所述人工智能模型的决策规则。
可选的，第一解释结果获取模块还用于：
获取所述人工智能模型中的所述特征字段；
在获取的所述人工智能模型的训练样本集中选取待解释样本；所述待解释样本包括所述特征字段的特征值；
将所述待解释样本输入所述单棵决策树模型，得到所述待解释样的决策结果；
遍历所述特征字段；
对所述待解释样本中当前遍历到的特征字段的特征值进行变换，得到与所述当前遍历到的特征字段所对应的变换样本；
将所述变换样本输入所述单棵决策树模型，得到所述变换样本的决策结果；
确定所述变换样本和所述待解释样本的决策结果中的概率之间的差值，作为所述当前遍历到的特征字段的参考权重；
在遍历结束的情况下，基于所述特征字段及所述特征字段的参考权重，得到所述重要性分析结果。
可选的，解释报告生成模块用于：
获取参考报告；
采用自然语言处理工具，学习所述参考报告中的文本结构和行文范式；
基于学习到的所述文字结构和行文范式，根据所述第二解释结果生成所述人工智能模型的解释报告。
可选的，还包括：
用于获取所述人工智能模型的描述性信息的模块；
所述解释报告生成模块还用于将所述人工智能模型的描述性信息，整合到所述人工智能模型的解释报告中。
根据本说明书的第三方面，提供了一种包括至少一个计算装置和至少一个存储装置的系统，其中，所述至少一个存储装置用于存储指令，所述指令用于控制所述至少一个计算装置执行本说明书第一方面所述的方法。
根据本说明书的第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序在被处理器执行时实现本说明书的第一方面所述的方法。
通过本实施例的方法，获取人工智能模型的第一解释结果中特征字段与业务含义的关联关系；基于获取的关联关系，将所述第一解释结果中的用户看不懂的特征字段替换成关联的业务含义，得到基于业务含义表示的第二解释结果；将基于业务含义表示的第二解释结果，生成人工智能模型的解释报告呈现给用户，用户通过解释报告可以清晰的了解人工智能模型做出各种预测结果的依据，提升了用户对人工智能模型产品的理解能力，同时也可以基于解释报告中人工智能模型的决策规则对业务流程进行优化和调整。
通过以下参照附图对本说明书的示例性实施例的详细描述，本说明书的其它特征及其优点将会变得清楚。
附图说明
被结合在说明书中并构成说明书的一部分的附图示出了本发明的实施例，并且连同其说明一起用于解释本发明的原理。
图1为可用于实现本说明书的实施例的电子设备的硬件配置的一个例子的框图；
图2根据本说明书实施例的用于解释人工智能模型的方法的流程示意图；
图3根据本说明书实施例的用于解释人工智能模型的方法的一个例子的流程示意图；
图4是根据本说明书实施例的用于解释人工智能模型的装置的方框原理图；
图5是根据本说明书实施例的系统的方框原理图。
具体实施方式
现在将参照附图来详细描述本说明书的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本说明书的范围。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本说明书及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
下面，参照附图描述根据本说明书实施例的各个实施例和例子。
<硬件配置>
图1是示出可以实现本说明书的实施例的电子设备1000的硬件配置的框图。
电子设备1000可以是便携式电脑、台式计算机、手机、平板电脑等。如图1所示，电子设备1000可以包括处理器1100、存储器1200、接口装置1300、通信装置1400、显示装置1500、输入装置1600、扬声器1700、麦克风1800等等。其中，处理器1100可以是中央处理器CPU、微处理器MCU等。存储器1200例如包括ROM(只读存储器)、RAM(随机存取存储器)、诸如硬盘的非易失性存储器等。接口装置1300例如包括USB接口、耳机接口等。通信装置1400例如能够进行有线或无线通信，具体地可以包括Wifi通信、蓝牙通信、2G/3G/4G/5G通信等。显示装置1500例如是液晶显示屏、触摸显示屏等。输入装置1600例如可以包括触摸屏、键盘、体感输入等。用户可以通过扬声器1700和麦克风1800输入/输出语音信息。
图1所示的电子设备仅仅是说明性的并且决不意味着对本说明书、其应用或使用的任何限制。应用于本说明书的实施例中，电子设备1000的所述存储器1200用于存储指令，所述指令用于控制所述处理器1100进行操作以执行本说明书实施例提供的任意一项方法。本领域技术人员应当理解，尽管在图1中对电子设备1000示出了多个装置，但是，本说明书可以仅涉及其中的部分装置，例如，电子设备1000只涉及处理器1100和存储装置1200。技术人员可以根据本说明书所公开方案设计指令。指令如何控制处理器进行操作，这是本领域公知，故在此不再详细描述。
<方法实施例>
在本实施例中，提供了一种用于解释人工智能模型的方法。该用于解释人工智能模型的方法可以是由电子设备实施。该电子设备可以是如图1所示的电子设备1000。
根据图2所示，本实施例的用于解释人工智能模型的方法可以包括如下步骤S2100～S2400：
步骤S2100，获取人工智能模型的第一解释结果；第一解释结果为基于人工智能模型的特征字段所表示的解释结果。
本实施例中的人工智能模型可以是由用户根据自身需求所指定的。该人工智能模型的框架可以是Tensorflow、Spark、Lightgbm、Xgboost、Sklearn、Pytorch、Mxnet、PaddlePaddle等，在本实施例中不做限定。
本实施例中的第一解释结果，可以包括征字段的重要性分析结果和/或决策规则。其中，特征字段的重要性分析结果可以包括特征字段以及特征字段在人工智能模型进行决策时的参考权重。
在人工智能模型为信用卡欺诈判定模型的实施例中，该信用卡欺诈判定模型的特征字段可以包括“amt_10d_sum”、“amt_20d_sum”、“amt_30d_sum”、“Income”、“Age”和“Sex”等多个特征字段，在此不再逐一列举。该信用卡欺诈判定模型的部分特征字段的重要性分析结果如表1所示。
表1：
| Feature | Weight |
| amt_10d_sum | 0.004 |
| amt_20d_sum | 0.003 |
| amt_30d_sum | 0.001 |
| Income | 0.5 |
| Age | 0.2 |
| Sex | 0.2 |
在本公开的一个实施例中，可以是获取用于对人工智能模型进行训练的训练样本，通过对训练样本进行分析，可以提取出该人工智能模型的特征字段，人工智能模型的特征字段至少为1个，在此不对特征字段的个数进行限定。
采用人工智能模型对待解释样本进行决策分析时，人工智能模型将在待解释样本中提取出各个特征字段的特征值，并基于各个特征字段的特征值，得到待解释样本的决策结果。
在本公开的一个实施例中，可以是通过可解释性方法对人工智能模型各个特征字段的参考权重进行解释。
在第一解释结果包括特征字段的重要性分析结果的实施例中，可以采用LIME(Local Interpretable Model-Agnostic Explanations)算法对人工智能模型进行解释，得到解释该解释样本时各个特征字段的重要性分析结果。
LIME的主要思想是利用可解释性模型(如线性模型，决策树)局部近似人工智能模型的预测，而不是全局近似。
具体的，获取人工智能模型的特征字段的重要性分析结果，包括步骤S2111～S2118：
步骤S2111，获取人工智能模型的特征字段。
具体的，可以是获取用于对人工智能模型进行训练的训练样本，通过对训练样本进行分析，可以提取出该人工智能模型的特征字段。
步骤S2112，在获取的人工智能模型的训练样本集中选取待解释样本；待解释样本包括特征字段的特征值。
在本实施例中，待解释样本可以是从训练样本集中随机选取的一个训练样本，也可以是根据预设的选取规则从训练样本集中所选取的训练样本。其中，预设的选取规则可以是预先根据应用场景或具体需求所设定好的。例如，根据预设的选取规则从训练样本集中选取的待解释样本，可以是选取训练样本集中最新生成的训练样本作为待解释样本，还可以是选取指定的特征字段的特征值为指定值的训练样本作为待解释样本，还可以选取标签为指定标签的训练样本作为待解释样本。
步骤S2113，基于待解释样本，生成局部样本和局部样本的样本权重；局部样本包括特征字段的特征值。
在本说明书的一个实施例中，步骤S2113基于待解释样本，生成局部样本和局部样本的样本权重，包括：
按照预设的变换规则对待解释样本进行变换，得到局部样本。
本实施例中预设的变换规则可以是预先根据应用场景或具体需求所设定的。不同类型的待解释样本采用的样本变换方式不同。对于类型为文本数据的待解释样本，预设的变换规则可以是对单个单词逐一变换；对于类型结构化数据的待解释样本，预设的变换规则可以是每次单独改变一个特征字段的特征值。局部样本的数量为至少一个，这里不对局部样本的数量作限定。局部样本基于待解释样本变换得到，因此，局部样本与待解释样本具有相同的特征字段，只是特征字段的特征值不同。
本实施例中，可以是确定局部样本与待解释样本之间的相似度，作为局部样本的样本权重。
在本实施例中，也可以将局部样本与待解释样本映射到向量空间，计算局部样本与待解释样本在向量空间的距离；基于局部样本与待解释样本在向量空间的距离，确定局部样本的样本权重。局部样本的向量与待解释样本的向量距离越近，则局部样本对应的样本权重越大。计算局部样本的样本权重，以便在对解释模型进行训练时，同时考虑到局部样本的重要性，以确保解释模型对与待解释样本距离越近的局部样本拟合度越好，因而越能很好地近似人工智能模型在待解释样本附近的决策行为。
步骤S2114，将局部样本输入人工智能模型，得到局部样本的决策结果。
步骤S2115，基于局部样本、样本权重以及局部样本的决策结果进行机器学习训练，得到用于对人工智能模型进行近似拟合的解释模型。
本实施例中，可以考虑采用不同的解释模型作为人工智能模型的局部近似模型，例如：线型回归模型、决策树模型，贝叶斯网络模型。
解释模型是基于局部样本训练得到的，局部样本与待解释样本具有相同的特征字段，因此，基于局部样本训练得到的解释模型与人工智能模型具有相同的特征字段。
经过机器学习训练可以得到解释模型中各个特征字段对应的系数。
步骤S2116，将解释模型中特征字段对应的系数，作为特征字段在人工智能模型进行决策时的参考权重。
解释模型可以近似模拟人工智能模型在待解释样本附近的决策行为，因此，解释模型中各个特征字段对应的系数，可以近似为人工智能模型对待解释样本进行决策时，各个特征字段的参考权重。
步骤S2117，基于特征字段的参考权重对特征字段进行降序排序，得到特征字段的第二排序值。
步骤S2118，将第二排序值在第二预设排序范围内的特征字段及对应的参考权重，得到重要性分析结果。
本实施例中的第二预设排序范围可以是预先根据应用场景或具体需求所设定好的。例如，该第二预设排序范围可以是[1，5]，即将第二排序值为1,2,3,4,5的特征字段及对应的参考权重，作为重要性分析结果。
人工智能模型的特征字段数量很多，以用于进行信用卡欺诈判定的人工智能模型为例，在信用卡欺诈判定的人工智能模型的训练样本集中可以提取出12万个特征字段，对该人工智能模型进行解释时，用户只关注参考权重较大的特征字段，因此，基于特征字段的参考权重对各个特征字段进行降序排序，进而筛选出第二排序值在第二预设排序范围的特征字段，生成重要性分析结果。
除了LIME算法，还可以通过SHAP(SHapley Additive exPlanation)得到人工智能模型的特征字段的重要性分析结果，在此不对可解释性方法进行限定。
在本说明书的一个实施例中，第一解释结果还包括人工智能模型的决策规则。
获取人工智能模型的决策规则，包括步骤S2121～S2124：
步骤S2121，获取人工智能模型的训练样本集。
本实施例中的训练样本集中可以包括多个训练样本。
步骤S2122，将训练样本集输入人工智能模型，得到训练样本集的决策结果；决策结果包含策结果出现的概率。
本实施例中训练样本集的决策结果，可以是训练样本集中每条训练样本的决策结果。
以用于进行信用卡欺诈判定的人工智能模型为例，其中一条训练样本的决策结果可以为：欺诈80％，即该训练样本被判定为欺诈的概率为80％。
步骤S2123，根据训练样本集和训练样本集的决策结果进行机器学习训练，得到单棵决策树模型。
在单棵决策树模型中有两类节点：内部节点和叶节点，内部节点表示一个特征字段，叶节点表示一个决策结果。分类的时候，从根节点开始，对实例的某一个特征字段进行测试，根据测试结果，将实例分配到其子结点；此时，每一个子结点对应着该特征字段的一个特征值。如此递归向下移动，直至达到叶结点，最后将实例分配到叶结点的决策结果中。
步骤S2124，提取单棵决策树模型中至少一个决策结果分支所对应的分裂条件，得到人工智能模型的决策规则。
决策树可以看成一个决策规则的集合：由决策树的根结点到叶结点的每一条路径构建一条决策规则；路径上的内部结点的特征字段对应着决策规则的条件，而叶结点对应着决策结果。决策树的路径和其对应路径上的决策规则集合是等效的，即每一个实例都被一条路径或一条决策规则所覆盖，而且只被一条决策规则所覆盖。
以用于进行信用卡欺诈判定的人工智能模型为例，根据单棵决策树模型中一个决策结果分支所对应的分裂条件所得到的一条决策规则可以为：Income＞10w，且age＞20y，且Sex-male，则判定为非欺诈。
在本实施例的基础上，该方法还包括步骤S2131～S2138：
步骤S2131，获取人工智能模型中的特征字段。
具体可以参照前述的步骤S2111，在此不再赘述。
步骤S2132，在获取的人工智能模型的训练样本集中选取待解释样本；待解释样本包括特征字段的特征值。
具体可以参照前述的步骤S2112，在此不再赘述。
步骤S2133，将待解释样本输入单棵决策树模型，得到待解释样的决策结果。
本实施例中，以用于进行信用卡欺诈判定的人工智能模型为例，待解释样本的决策结果可以为：欺诈80％，即该待解释样本被判定为欺诈的概率为80％。
步骤S2134，遍历特征字段。
步骤S2135，对待解释样本中当前遍历到的特征字段的特征值进行变换，得到与当前遍历到的特征字段所对应的变换样本。
在本公开的一个实施例中，可以是预先针对每一特征字段，预先根据应用场景或具体需求来设定对应的目标值，并将待解释样本中当前遍历到的特征字段的特征值变换为对应的目标值，得到与当前遍历到的特征字段所对应的变换样本。
在本公开的另一个实施例中，可以是根据训练样本集中除待解释样本以外的其他训练样本中每一特征字段的特征值，来确定对应特征字段的目标值，并将待解释样本中当前遍历到的特征字段的特征值变换为对应的目标值，得到与当前遍历到的特征字段所对应的变换样本。具体的，可以是确定当前遍历到的特征字段的特征值与待解释样本不同的任一个其他样本中，该特征字段的特征值，作为该特征字段的目标值；也可以是将其他样本中当前遍历到的特征字段的特征值的平均值，作为当前遍历到的特征字段的目标值。
以用于进行信用卡欺诈判定的人工智能模型为例，当前遍历特征字段为Income，待解释样本中Income特征字段对应的特征值为5W，Income特征字段所对应的目标值可以是10W，那么，可以是将待解释样本中Income特征字段对应的5W替换为10W，其它特征字段的特征值保持不变，得到与Income特征字段所对应的变换样本。
步骤S2136，将变换样本输入单棵决策树模型，得到变换样本的决策结果。
本实施例中，以用于进行信用卡欺诈判定的人工智能模型为例，Income特征字段所对应的变换样本的决策结果为：欺诈30％，即该变换样本被判定为欺诈的概率为30％。
步骤S2137，确定变换样本和待解释样本的决策结果中的概率之间的差值，作为当前遍历到的特征字段的参考权重。
以用于进行信用卡欺诈判定的人工智能模型为例，与当前遍历到的特征字段Income所对应的变换样本中的概率，和待解释样本的决策结果中的概率之间的差值为50％，则当前遍历到的特征字段Income的参考权重为50％，即0.5。
步骤S2138，遍历结束的情况下，基于特征字段及特征字段的参考权重，得到重要性分析结果。
本实施例中，可以是直接将所有特征字段及特征字段的参考权重，作为重要性分析结果；也可以是参照前述的步骤S2117和步骤S2118，来得到重要性分析结果。
步骤S2200，获取特征字段与业务含义的关联关系。
本实施例中的关联关系可以是预先根据应用场景或具体需求所设定的。
在一个例子中，关联关系可以是存储为excel文件或csv文件或txt文件。文件中的关联关系可以是列表的形式，例如，第一列可以为人工智能模型的特征字段，第二列为业务含义，特征字段和对应的业务含义二者一一对应。
以用于进行信用卡欺诈判定的人工智能模型为例，其中部分特征字段与业务含义的关联关系可以是如表2所示。
表2：
| 特征字段 | 业务含义 |
| amt_10d_sum | 交易前10天交易金额 |
| amt_20d_sum | 交易前20天交易金额 |
| amt_30d_sum | 交易前30天交易金额 |
| Income | 年收入 |
| Age | 年龄 |
| Sex | 性别 |
步骤S2300，基于关联关系，将第一解释结果中的特征字段替换成关联的业务含义，得到人工智能模型的第二解释结果。
以用于进行信用卡欺诈判定的人工智能模型为例，在重要性分析结果如表1所示，特征字段与业务含义的关联关系如表2所示的情况下，第二解释结果中特征字段的重要性分析结果中的部分内容可以是如表3所示。
表3：
| 特征字段 | 参考权重 |
| 交易前10天交易金额 | 0.004 |
| 交易前20天交易金额 | 0.003 |
| 交易前30天交易金额 | 0.001 |
| 年收入 | 0.5 |
| 年龄 | 0.2 |
| 性别 | 0.2 |
在第一解释结果中的决策规则为Income＞10w，且age＞20y，且Sex-male，则判定为非欺诈的实施例中，第二解释结果中决策规则的内容可以为：年收入＞10W，且年龄＞20y，且性别-男性，则判定为非欺诈。
步骤S2400，基于第二解释结果，生成人工智能模型的解释报告。
在本说明书的一个实施例中，步骤S2400基于第二解释结果，生成人工智能模型的解释报告，可以包括步骤S2410～S2430：
步骤S2410，获取参考报告。
该参考报告可以是预先根据应用场景或具体需求所设定好的、并预先存储在执行本实施例的电子设备中的。
步骤S2420，采用自然语言处理工具，学习参考报告中的文本结构和行文范式。
其中，文本结构指参考报告中包含的内容以及内容的组织顺序。行文范式指参考报告中专有词汇以及语法结构的运用方式。
本实施例中，学习参考报告中的文本结构和行文范式包括：需要学习参考报告中应该包含哪些内容，例如：模型名称、算法名称、场景名称、重要特征名称、重要特征权重、重要规则等；确定需要包含哪些内容后，需要学习参考报告中内容的组织顺序，例如：在生成重要特征的报告内容时，会优先表达「什么时间」「什么模型」「什么数据集」，然后再表达「有哪些重要特征」，最后表达「特征的权重」；学习参考报告中专有词汇以及语法结构的运用方式。
步骤S2430，基于学习到的文字结构和行文范式，根据第二解释结果生成人工智能模型的解释报告。
本实施例中，生成人工智能模型的解释报告的方式可以包括：将第二解释结果中的内容按照参考报告的文本结构合成至少一个句子；将合并后的句子按照参考报告中学习到的语法结构在各种信息之间加连接词，形成完整的句子；按照参考报告中学习到的专有词汇，对句子中词汇进一步修订，生成最后的解释报告。
在本说明书的一个实施例中，该方法还可以包括：
获取人工智能模型的描述性信息；并将人工智能模型的描述性信息，整合到人工智能模型的解释报告中。
本实施例中的描述性信息可以包括如下至少一项：模型的名称、模型的用途描述、模型的应用场景、模型所采用的框架、模型所采用的算法和模型的准确率等。以进行信用卡欺诈判定的人工智能模型为例，该模型的描述性信息如下：
模型的名称：信用卡欺诈判定-2020版模型；
模型的用途描述：判定一笔信用卡交易是否存在欺诈行为；
模型的应用场景：二分类；
模型所采用的框架：GDBT；
模型所采用的算法：逻辑回归；
训练数据集的大小：50万行100列；
模型的准确率：98％。
以用于进行信用卡欺诈判定的人工智能模型为例，生成的解释报告可以是如下所示：
信用卡欺诈判定-2020版模型，将判定一笔信用卡交易是否存在欺诈行为的问题，转换为人工智能模型决策类场景的二分类问题。应用GDBT框架中的逻辑回归算法，通过分析总计50万行100列训练样本集的历史数据，实现了准确率98％的效果。
对信用卡欺诈判定-2020版模型训练样本集的历史数据进行分析，提取出该人工智能模型的12万个特征字段，其中3个特征字段的参考权重较高，参考权重较高的3个特征字段和对应的参考权重可以是如表4所示。
表4：
| 特征字段 | 参考权重 |
| 年收入 | 0.5 |
| 年龄 | 0.2 |
| 性别 | 0.2 |
并提炼出如下决策规则：年收入＞10万，且年龄＞20岁，且性别为男性，则判定为非欺诈。
在对单个案例的分析中，由于待解释样本具备年收入＞10万，且年龄＞20岁，且性别为男性的条件，因此判定待解释样本对应的信用卡交易不存在欺诈行为。
业务人员根据上述报告，可以清晰地理解信用卡欺诈判定-2020版模型在进行决策时考虑了哪些重要特征，以及模型进行决策的规则是什么，这样业务人员可以向客户清晰解释该人工智能模型的决策规则。同时，业务人员根据报告中该人工智能模型的决策规则，也可以在实际业务执行过程中根据信用卡欺诈判定-2020版模型的决策规则，去判断一笔信用卡交易是否存在欺诈行为，真正将人工智能模型的解释结果应用到后续的业务流程中，产生真正的业务价值。
在本说明书的一个实施例中，在执行步骤S2400之前该方法还包括：对第二解释结果进行优化。
在本实施例的基础上，基于第二解释结果，生成人工智能模型的解释报告可以包括：
根据优化后的第二解释结果，生成人工智能模型的解释报告。
在本说明书的一个实施例中，对第二解释结果进行优化包括步骤S2310～S2340：
步骤S2310，基于第二解释结果中与重要性分析结果对应的内容，构建解释图谱；其中，解释图谱中的节点包括业务含义和预设的业务类型；解释图谱的边表示业务含义与业务类型之间的映射关系。
以用于进行信用卡欺诈判定的人工智能模型为例，其中一个业务类型节点为“交易金额”，部分业务含义节点包括“交易前10天交易金额”、“交易前20天交易金额”和“交易前30天交易金额”；其中将“交易金额”节点和“交易前10天交易金额的总和”节点连接起来的边表示的两个节点之间的映射关系即“过去10天，求和”；其中将“交易金额”节点“交易前20天交易金额的总和”节点连接起来的边表示的两个节点之间的映射关系即“过去20天，求和”；其中将“交易金额”节点“交易前30天交易金额的总和”节点连接起来的边表示的两个节点之间的映射关系即“过去30天，求和”，即得到解释图谱。
步骤S2320，根据解释图谱，确定每一业务类型所连接的至少一个业务含义。
在前述的解释图谱的例子中，“交易金额”作为一个业务类型节点连接了三个业务含义节点，分别为：“交易前10天交易金额的总和”、“交易前20天交易金额的总和”和“交易前30天交易金额的总和”。
步骤S2330，对于每一业务类型，对所连接的业务含义的参考权重求和，得到对应业务类型的参考权重。
前述的解释图谱的例子中，业务含义“交易前10天交易金额的总和”的参考权重为0.004、业务含义“交易前20天交易金额的总和”的参考权重为0.003，业务含义“交易前30天交易金额的总和”的参考权重为0.001，那么，“交易金额”这个业务类型对应的参考权重可以为：0.004+0.003+0.001＝0.008。
步骤S2340，根据业务类型和业务类型的参考权重，得到优化后的第二解释结果中与重要性分析结果对应的内容。
在本公开的一个实施例中，可以是将所有业务类型和每个业务类型的参考权重，作为优化后的第二解释结果中与重要性分析结果对应的内容。
在本公开的另一个实施例中，
根据业务类型和业务类型的参考权重，得到优化后的第二解释结果中与重要性分析结果对应的内容，包括步骤S2341～S2342：
步骤S2341，基于业务类型的参考权重对业务类型进行降序排序，得到每一业务类型的第一排序值。
步骤S2342，将第一排序值在第一预设排序范围内的业务类型和对应的参考权重，作为优化后的第二解释结果中与重要性分析结果对应的内容。
本实施例中的第一预设排序范围可以是预先根据应用场景或具体需求所设定好的。例如，该第一预设排序范围可以是[1，3]，即将第一排序值为1,2,3的特征字段及对应的参考权重，作为重要性分析结果。
本实施例中的业务类型的数量可能很多，在对人工智能模型进行解释时，用户可能只关注参考权重较大的业务类型，因此，基于特征字段的参考权重对各个业务类型进行降序排序，进而筛选出第一排序值在第一预设排序范围的业务类型，生成优化后的第二解释结果中与重要性分析结果对应的内容。
在一个例子中，优化后的第二解释结果中与重要性分析结果对应的部分内容如表5所示。
表5：
| 特征字段 | 参考权重 |
| 交易金额 | 0.008 |
| 年收入 | 0.5 |
| 年龄 | 0.2 |
| 性别 | 0.2 |
<例子>
图3为根据本说明书实施例的用于解释人工智能模型的方法的一个例子的流程示意图。
如图3所示，该方法可以包括：
步骤S3001，获取人工智能模型的训练样本集；
步骤S3002，将训练样本集输入人工智能模型，得到训练样本集的决策结果；决策结果包含策结果出现的概率；
步骤S3003，根据训练样本集和训练样本集的决策结果进行机器学习训练，得到单棵决策树模型；
步骤S3004，提取单棵决策树模型中至少一个决策结果分支所对应的分裂条件，得到人工智能模型的决策规则。
步骤S3005，获取人工智能模型中的特征字段；
步骤S3006，在获取的人工智能模型的训练样本集中选取待解释样本；待解释样本包括特征字段的特征值；
步骤S3007，将待解释样本输入单棵决策树模型，得到待解释样的决策结果；
步骤S3008，遍历特征字段；
步骤S3009，对待解释样本中当前遍历到的特征字段的特征值进行变换，得到与当前遍历到的特征字段所对应的变换样本；
步骤S3010，将变换样本输入单棵决策树模型，得到变换样本的决策结果；
步骤S3011，确定变换样本和待解释样本的决策结果中的概率之间的差值，作为当前遍历到的特征字段的参考权重；
步骤S3012，在遍历结束的情况下，基于特征字段及特征字段的参考权重，得到重要性分析结果。
人工智能模型的决策规则和重要性分析结果即为第一解释结果。
步骤S3013，获取特征字段与业务含义的关联关系；
步骤S3014，基于关联关系，将决策规则和特征字段重要性分析结果中的特征字段替换成关联的业务含义，得到基于业务含义表示的决策规则和特征字段重要性分析结果。
基于业务含义表示的决策规则和特征字段重要性分析结果即为第二解释结果。
步骤S3015，基于业务含义表示的特征字段重要性分析结果，构建解释图谱；其中，解释图谱中的节点包括业务含义和预设的业务类型；解释图谱的边表示业务含义与业务类型之间的映射关系；
步骤S3016，根据解释图谱，确定每一业务类型所连接的至少一个业务含义；
步骤S3017，对于每一业务类型，对所连接的业务含义的参考权重求和，得到对应业务类型的参考权重；
步骤S3018，基于业务类型的参考权重对业务类型进行降序排序，得到每一业务类型的第一排序值；
步骤S3019，将第一排序值在第一预设排序范围内的业务类型和对应的参考权重，作为优化后的特征字段重要性分析结果。
步骤S3020，获取参考报告；
步骤S3021，采用自然语言处理工具，学习参考报告中的文本结构和行文范式；
步骤S3022，基于学习到的文字结构和行文范式，将获取人工智能模型的描述性信息、决策规则和优化后的特征字段重要性分析结果生成人工智能模型的解释报告。
<装置实施例>
在本实施例中，提供了一种用于解释人工智能模型的装置4000，如图3所示，包括：第一解释结果获取模块4100、关联关系获取模块4200、第二解释结果生成模块4300和解释报告生成模块4400。该第一解释结果获取模块4100，用于获取人工智能模型的第一解释结果；该第一解释结果为基于人工智能模型的特征字段所表示的解释结果；该关联关系获取模块4200，用于获取特征字段与业务含义的关联关系；该第二解释结果生成模块4300，用于基于关联关系，将第一解释结果中的特征字段替换成关联的业务含义，得到人工智能模型的第二解释结果；该解释报告生成模块4300，用于基于第二解释结果，生成人工智能模型的解释报告。
在本说明书的一个实施例中，第一解释结果包括特征字段的重要性分析结果；
重要性分析结果包括特征字段以及特征字段在人工智能模型进行决策时的参考权重。
在本说明书的一个实施例中，还包括：
用于对第二解释结果进行优化的模块；
解释报告生成模块，还用于根据优化后的第二解释结果，生成人工智能模型的解释报告。
在本说明书的一个实施例中，对第二解释结果进行优化包括：
基于第二解释结果中与重要性分析结果对应的内容，构建解释图谱；其中，解释图谱中的节点包括业务含义和预设的业务类型；解释图谱的边表示业务含义与业务类型之间的映射关系；
根据解释图谱，确定每一业务类型所连接的至少一个业务含义；
对于每一业务类型，对所连接的业务含义的参考权重求和，得到对应业务类型的参考权重；
根据业务类型和业务类型的参考权重，得到优化后的第二解释结果中与重要性分析结果对应的内容。
在本说明书的一个实施例中，根据业务类型和业务类型的参考权重，得到优化后的第二解释结果中与重要性分析结果对应的内容，包括：
基于业务类型的参考权重对业务类型进行降序排序，得到每一业务类型的第一排序值；
将第一排序值在第一预设排序范围内的业务类型和对应的参考权重，作为优化后的第二解释结果中与重要性分析结果对应的内容。
在本说明书的一个实施例中，第一解释结果获取模块用于：
获取人工智能模型中的特征字段；
在获取的人工智能模型的训练样本集中选取待解释样本；待解释样本包括特征字段的特征值；
基于待解释样本，生成局部样本和局部样本的样本权重；局部样本包括特征字段的特征值；
将局部样本输入人工智能模型，得到局部样本的决策结果；
基于局部样本、样本权重以及局部样本的决策结果进行机器学习训练，得到用于对人工智能模型进行近似拟合的解释模型；
将解释模型中特征字段对应的系数，作为特征字段在人工智能模型进行决策时的参考权重；
基于特征字段的参考权重对特征字段进行降序排序，得到特征字段的第二排序值；
将第二排序值在第二预设排序范围内的特征字段及对应的参考权重，得到重要性分析结果。
在本说明书的一个实施例中，基于待解释样本，生成局部样本和局部样本的样本权重，包括：
按照预设的变换规则对待解释样本进行变换，得到局部样本；
确定局部样本与待解释样本之间的相似度，作为局部样本的样本权重。
在本说明书的一个实施例中，第一解释结果还包括人工智能模型的决策规则；
第一解释结果获取模块还用于：
获取人工智能模型的训练样本集；
将训练样本集输入人工智能模型，得到训练样本集的决策结果；决策结果包含策结果出现的概率；
根据训练样本集和训练样本集的决策结果进行机器学习训练，得到单棵决策树模型；
提取单棵决策树模型中至少一个决策结果分支所对应的分裂条件，得到人工智能模型的决策规则。
在本说明书的一个实施例中，第一解释结果获取模块还用于：
获取人工智能模型中的特征字段；
在获取的人工智能模型的训练样本集中选取待解释样本；待解释样本包括特征字段的特征值；
将待解释样本输入单棵决策树模型，得到待解释样的决策结果；
遍历特征字段；
对待解释样本中当前遍历到的特征字段的特征值进行变换，得到与当前遍历到的特征字段所对应的变换样本；
将变换样本输入单棵决策树模型，得到变换样本的决策结果；
确定变换样本和待解释样本的决策结果中的概率之间的差值，作为当前遍历到的特征字段的参考权重；
在遍历结束的情况下，基于特征字段及特征字段的参考权重，得到重要性分析结果。
在本说明书的一个实施例中，解释报告生成模块用于：
获取参考报告；
采用自然语言处理工具，学习参考报告中的文本结构和行文范式；
基于学习到的文字结构和行文范式，根据第二解释结果生成人工智能模型的解释报告。
在本说明书的一个实施例中，还包括：
用于获取人工智能模型的描述性信息的模块；
解释报告生成模块还用于将人工智能模型的描述性信息，整合到人工智能模型的解释报告中。
本领域技术人员应当明白，可以通过各种方式来实现用于解释人工智能模型的装置4000。例如，可以通过指令配置处理器来实现用于解释人工智能模型的装置4000。例如，可以将指令存储在ROM中，并且当启动设备时，将指令从ROM读取到可编程器件中来实现用于解释人工智能模型的装置4000。例如，可以将用于解释人工智能模型的装置4000固化到专用器件(例如ASIC)中。可以将用于解释人工智能模型的装置4000分成相互独立的单元，或者可以将它们合并在一起实现。用于解释人工智能模型的装置4000可以通过上述各种实现方式中的一种来实现，或者可以通过上述各种实现方式中的两种或更多种方式的组合来实现。
在本实施例中，用于解释人工智能模型的装置4000可以具有多种实现形式，例如，用于解释人工智能模型的装置4000可以是任何的提供可解释模型服务的软件产品或者应用程序中运行的功能模块，或者是这些软件产品或者应用程序的外设嵌入件、插件、补丁件等，还可以是这些软件产品或者应用程序本身。
<系统实施例>
在本实施例中，如图4所示，还提供一种至少一个计算装置5100和至少一个存储装置5200的系统5000。该至少一个存储装置5200用于存储可执行的指令；该指令用于控制至少一个计算装置5100执行根据本说明书任意实施例的方法。
在本实施例中，该系统5000可以是手机、平板电脑、掌上电脑、台式机、笔记本电脑、工作站、游戏机等设备，也可以是由多个设备构成的分布式系统。
<计算机可读存储介质>
在本实施例中，还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序在被处理器执行时实现如本说明书任意实施例的方法。
本说明书可以是设备、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本说明书的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本说明书操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本说明书的各个方面。
这里参照根据本说明书实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本说明书的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本说明书的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。对于本领域技术人员来说公知的是，通过硬件方式实现、通过软件方式实现以及通过软件和硬件结合的方式实现都是等价的。
以上已经描述了本说明书的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。本说明书的范围由所附权利要求来限定。
Claims (22)
1.一种用于解释人工智能模型的方法，其特征在于，包括：
获取人工智能模型的第一解释结果；所述第一解释结果为基于所述人工智能模型的特征字段所表示的解释结果；
获取所述特征字段与业务含义的关联关系；
基于所述关联关系，将所述第一解释结果中的所述特征字段替换成关联的业务含义，得到所述人工智能模型的第二解释结果；
基于所述第二解释结果，生成所述人工智能模型的解释报告；
其中，所述第一解释结果至少包括所述人工智能模型的决策规则；获取所述人工智能模型的决策规则，包括：获取所述人工智能模型的训练样本集；将所述训练样本集输入所述人工智能模型，得到所述训练样本集的决策结果；所述决策结果包含所述决策结果出现的概率；根据所述训练样本集和所述训练样本集的决策结果进行机器学习训练，得到单棵决策树模型；提取所述单棵决策树模型中至少一个决策结果分支所对应的分裂条件，得到所述人工智能模型的决策规则。
2.根据权利要求1所述的方法，其特征在于，所述第一解释结果包括所述特征字段的重要性分析结果；
所述重要性分析结果包括所述特征字段以及所述特征字段在所述人工智能模型进行决策时的参考权重。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
对所述第二解释结果进行优化；
所述基于所述第二解释结果，生成所述人工智能模型的解释报告包括：
根据优化后的第二解释结果，生成所述人工智能模型的解释报告。
4.根据权利要求3所述的方法，其特征在于，所述对所述第二解释结果进行优化包括：
基于所述第二解释结果中与所述重要性分析结果对应的内容，构建解释图谱；其中，所述解释图谱中的节点包括所述业务含义和预设的业务类型；所述解释图谱的边表示所述业务含义与所述业务类型之间的映射关系；根据所述解释图谱，确定每一业务类型所连接的至少一个业务含义；
对于每一所述业务类型，对所连接的业务含义的参考权重求和，得到对应业务类型的参考权重；
根据所述业务类型和所述业务类型的参考权重，得到所述优化后的第二解释结果中与所述重要性分析结果对应的内容。
5.根据权利要求4所述的方法，其特征在于，所述根据所述业务类型和所述业务类型的参考权重，得到所述优化后的第二解释结果中与所述重要性分析结果对应的内容，包括：
基于所述业务类型的参考权重对所述业务类型进行降序排序，得到每一所述业务类型的第一排序值；
将第一排序值在第一预设排序范围内的业务类型和对应的参考权重，作为所述优化后的第二解释结果中与所述重要性分析结果对应的内容。
6.根据权利要求2所述的方法，其特征在于，获取所述人工智能模型的所述特征字段的重要性分析结果，包括：
获取所述人工智能模型中的所述特征字段；
在获取的所述人工智能模型的训练样本集中选取待解释样本；所述待解释样本包括所述特征字段的特征值；
基于所述待解释样本，生成局部样本和所述局部样本的样本权重；所述局部样本包括所述特征字段的特征值；
将所述局部样本输入所述人工智能模型，得到所述局部样本的决策结果；
基于所述局部样本、所述样本权重以及所述局部样本的决策结果进行机器学习训练，得到用于对所述人工智能模型进行近似拟合的解释模型；
将所述解释模型中所述特征字段对应的系数，作为所述特征字段在所述人工智能模型进行决策时的参考权重；
基于所述特征字段的参考权重对所述特征字段进行降序排序，得到所述特征字段的第二排序值；
将所述第二排序值在第二预设排序范围内的特征字段及对应的参考权重，得到所述重要性分析结果。
7.根据权利要求6所述的方法，其特征在于，所述基于所述待解释样本，生成局部样本和所述局部样本的样本权重，包括：
按照预设的变换规则对所述待解释样本进行变换，得到所述局部样本；
确定所述局部样本与所述待解释样本之间的相似度，作为所述局部样本的样本权重。
8.根据权利要求2所述的方法，其特征在于，还包括：
获取所述人工智能模型中的所述特征字段；
在获取的所述人工智能模型的训练样本集中选取待解释样本；所述待解释样本包括所述特征字段的特征值；
将所述待解释样本输入所述单棵决策树模型，得到所述待解释样的决策结果；
遍历所述特征字段；
对所述待解释样本中当前遍历到的特征字段的特征值进行变换，得到与所述当前遍历到的特征字段所对应的变换样本；
将所述变换样本输入所述单棵决策树模型，得到所述变换样本的决策结果；
确定所述变换样本和所述待解释样本的决策结果中的概率之间的差值，作为所述当前遍历到的特征字段的参考权重；
在遍历结束的情况下，基于所述特征字段及所述特征字段的参考权重，得到所述重要性分析结果。
9.根据权利要求1所述的方法，其特征在于，所述基于所述第二解释结果，生成所述人工智能模型的解释报告，包括：
获取参考报告；
采用自然语言处理工具，学习所述参考报告中的文本结构和行文范式；
基于学习到的所述文本结构和行文范式，根据所述第二解释结果生成所述人工智能模型的解释报告。
10.根据权利要求1所述的方法，其特征在于，还包括：
获取所述人工智能模型的描述性信息；
将所述人工智能模型的描述性信息，整合到所述人工智能模型的解释报告中。
11.一种用于解释人工智能模型的装置，其特征在于，包括：
第一解释结果获取模块，用于获取人工智能模型的第一解释结果；所述第一解释结果为基于所述人工智能模型的特征字段所表示的解释结果；
关联关系获取模块，用于获取所述特征字段与业务含义的关联关系；
第二解释结果生成模块，用于基于所述关联关系，将所述第一解释结果中的所述特征字段替换成关联的业务含义，得到所述人工智能模型的第二解释结果；
解释报告生成模块，用于基于所述第二解释结果，生成所述人工智能模型的解释报告；
所述第一解释结果至少包括所述人工智能模型的决策规则；所述第一解释结果获取模块还用于：获取所述人工智能模型的训练样本集；将所述训练样本集输入所述人工智能模型，得到所述训练样本集的决策结果；所述决策结果包含所述决策结果出现的概率；根据所述训练样本集和所述训练样本集的决策结果进行机器学习训练，得到单棵决策树模型；提取所述单棵决策树模型中至少一个决策结果分支所对应的分裂条件，得到所述人工智能模型的决策规则。
12.根据权利要求11所述的装置，其特征在于，所述第一解释结果包括所述特征字段的重要性分析结果；
所述重要性分析结果包括所述特征字段以及所述特征字段在所述人工智能模型进行决策时的参考权重。
13.根据权利要求12所述的装置，其特征在于，还包括：
用于对所述第二解释结果进行优化的模块；
所述解释报告生成模块，还用于根据优化后的第二解释结果，生成所述人工智能模型的解释报告。
14.根据权利要求13所述的装置，其特征在于，所述对所述第二解释结果进行优化包括：
基于所述第二解释结果中与所述重要性分析结果对应的内容，构建解释图谱；其中，所述解释图谱中的节点包括所述业务含义和预设的业务类型；所述解释图谱的边表示所述业务含义与所述业务类型之间的映射关系；
根据所述解释图谱，确定每一业务类型所连接的至少一个业务含义；
对于每一所述业务类型，对所连接的业务含义的参考权重求和，得到对应业务类型的参考权重；
根据所述业务类型和所述业务类型的参考权重，得到所述优化后的第二解释结果中与所述重要性分析结果对应的内容。
15.根据权利要求14所述的装置，其特征在于，所述根据所述业务类型和所述业务类型的参考权重，得到所述优化后的第二解释结果中与所述重要性分析结果对应的内容，包括：
基于所述业务类型的参考权重对所述业务类型进行降序排序，得到每一所述业务类型的第一排序值；
将第一排序值在第一预设排序范围内的业务类型和对应的参考权重，作为所述优化后的第二解释结果中与所述重要性分析结果对应的内容。
16.根据权利要求12所述的装置，其特征在于，所述第一解释结果获取模块用于：
获取所述人工智能模型中的所述特征字段；
在获取的所述人工智能模型的训练样本集中选取待解释样本；所述待解释样本包括所述特征字段的特征值；
基于所述待解释样本，生成局部样本和所述局部样本的样本权重；所述局部样本包括所述特征字段的特征值；
将所述局部样本输入所述人工智能模型，得到所述局部样本的决策结果；
基于所述局部样本、所述样本权重以及所述局部样本的决策结果进行机器学习训练，得到用于对所述人工智能模型进行近似拟合的解释模型；
将所述解释模型中所述特征字段对应的系数，作为所述特征字段在所述人工智能模型进行决策时的参考权重；
基于所述特征字段的参考权重对所述特征字段进行降序排序，得到所述特征字段的第二排序值；
将所述第二排序值在第二预设排序范围内的特征字段及对应的参考权重，得到所述重要性分析结果。
17.根据权利要求16所述的装置，其特征在于，所述基于所述待解释样本，生成局部样本和所述局部样本的样本权重，包括：
按照预设的变换规则对所述待解释样本进行变换，得到所述局部样本；
确定所述局部样本与所述待解释样本之间的相似度，作为所述局部样本的样本权重。
18.根据权利要求12所述的装置，其特征在于，所述第一解释结果获取模块还用于：
获取所述人工智能模型中的所述特征字段；
在获取的所述人工智能模型的训练样本集中选取待解释样本；所述待解释样本包括所述特征字段的特征值；
将所述待解释样本输入所述单棵决策树模型，得到所述待解释样的决策结果；
遍历所述特征字段；
对所述待解释样本中当前遍历到的特征字段的特征值进行变换，得到与所述当前遍历到的特征字段所对应的变换样本；
将所述变换样本输入所述单棵决策树模型，得到所述变换样本的决策结果；
确定所述变换样本和所述待解释样本的决策结果中的概率之间的差值，作为所述当前遍历到的特征字段的参考权重；
在遍历结束的情况下，基于所述特征字段及所述特征字段的参考权重，得到所述重要性分析结果。
19.根据权利要求11所述的装置，其特征在于，所述解释报告生成模块用于：
获取参考报告；
采用自然语言处理工具，学习所述参考报告中的文本结构和行文范式；
基于学习到的所述文本结构和行文范式，根据所述第二解释结果生成所述人工智能模型的解释报告。
20.根据权利要求11所述的装置，其特征在于，还包括：
用于获取所述人工智能模型的描述性信息的模块；
所述解释报告生成模块还用于将所述人工智能模型的描述性信息，整合到所述人工智能模型的解释报告中。
21.一种包括至少一个计算装置和至少一个存储装置的系统，其中，所述至少一个存储装置用于存储指令，所述指令用于控制所述至少一个计算装置执行根据权利要求1至10中任一项所述的方法。
22.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序在被处理器执行时实现如权利要求1至10中任一项所述的方法。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310260048.5A CN116304702A (zh) | 2021-02-09 | 2021-02-09 | 用于解释人工智能模型的方法、装置及系统 |
| CN202110176552.8A CN112766415B (zh) | 2021-02-09 | 2021-02-09 | 用于解释人工智能模型的方法、装置及系统 |
| PCT/CN2022/075146 WO2022171037A1 (zh) | 2021-02-09 | 2022-01-30 | 用于解释人工智能模型的方法、装置及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110176552.8A CN112766415B (zh) | 2021-02-09 | 2021-02-09 | 用于解释人工智能模型的方法、装置及系统 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310260048.5A Division CN116304702A (zh) | 2021-02-09 | 2021-02-09 | 用于解释人工智能模型的方法、装置及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112766415A CN112766415A (zh) | 2021-05-07 |
| CN112766415B true CN112766415B (zh) | 2023-01-24 |
Family
ID=75705433
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110176552.8A Active CN112766415B (zh) | 2021-02-09 | 2021-02-09 | 用于解释人工智能模型的方法、装置及系统 |
| CN202310260048.5A Pending CN116304702A (zh) | 2021-02-09 | 2021-02-09 | 用于解释人工智能模型的方法、装置及系统 |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310260048.5A Pending CN116304702A (zh) | 2021-02-09 | 2021-02-09 | 用于解释人工智能模型的方法、装置及系统 |
Country Status (2)
| Country | Link |
|---|---|
| CN (2) | CN112766415B (zh) |
| WO (1) | WO2022171037A1 (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112766415B (zh) * | 2021-02-09 | 2023-01-24 | 第四范式（北京）技术有限公司 | 用于解释人工智能模型的方法、装置及系统 |
| CN115471108B (zh) * | 2022-09-27 | 2023-09-01 | 中交西北投资发展有限公司 | 数据分析决策方法、系统及大数据资源中心 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110334221A (zh) * | 2019-07-18 | 2019-10-15 | 桂林电子科技大学 | 一种基于知识图谱路径的可解释性推荐方法 |
| CN111340356A (zh) * | 2020-02-24 | 2020-06-26 | 支付宝(杭州)信息技术有限公司 | 评估模型解释工具的方法和装置 |
| CN111768040A (zh) * | 2020-07-01 | 2020-10-13 | 深圳前海微众银行股份有限公司 | 模型解释方法、装置、设备及可读存储介质 |
| CN111797995A (zh) * | 2020-06-29 | 2020-10-20 | 第四范式（北京）技术有限公司 | 一种模型预测样本的解释报告的生成方法及装置 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108960434B (zh) * | 2018-06-28 | 2021-07-20 | 第四范式（北京）技术有限公司 | 基于机器学习模型解释来分析数据的方法及装置 |
| WO2020013726A1 (ru) * | 2018-07-13 | 2020-01-16 | Публичное Акционерное Общество "Сбербанк России" | Способ интерпретации искусственных нейронных сетей |
| US11263555B2 (en) * | 2019-05-06 | 2022-03-01 | Sap Se | Generating explanations of machine learning predictions in matching problems |
| CN111046926B (zh) * | 2019-11-26 | 2023-09-19 | 山东浪潮科学研究院有限公司 | 一种计算机视觉图像分类集成学习方法 |
| CN111553389B (zh) * | 2020-04-08 | 2023-06-13 | 哈尔滨工程大学 | 一种用于理解深度学习模型目标分类决策机制的决策树生成方法 |
| CN112612872A (zh) * | 2020-12-17 | 2021-04-06 | 第四范式（北京）技术有限公司 | 一种实现人工智能可解释的方法、装置、设备及存储介质 |
| CN112766415B (zh) * | 2021-02-09 | 2023-01-24 | 第四范式（北京）技术有限公司 | 用于解释人工智能模型的方法、装置及系统 |
-
2021
- 2021-02-09 CN CN202110176552.8A patent/CN112766415B/zh active Active
- 2021-02-09 CN CN202310260048.5A patent/CN116304702A/zh active Pending
-
2022
- 2022-01-30 WO PCT/CN2022/075146 patent/WO2022171037A1/zh active Application Filing
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110334221A (zh) * | 2019-07-18 | 2019-10-15 | 桂林电子科技大学 | 一种基于知识图谱路径的可解释性推荐方法 |
| CN111340356A (zh) * | 2020-02-24 | 2020-06-26 | 支付宝(杭州)信息技术有限公司 | 评估模型解释工具的方法和装置 |
| CN111797995A (zh) * | 2020-06-29 | 2020-10-20 | 第四范式（北京）技术有限公司 | 一种模型预测样本的解释报告的生成方法及装置 |
| CN111768040A (zh) * | 2020-07-01 | 2020-10-13 | 深圳前海微众银行股份有限公司 | 模型解释方法、装置、设备及可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112766415A (zh) | 2021-05-07 |
| CN116304702A (zh) | 2023-06-23 |
| WO2022171037A1 (zh) | 2022-08-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Ferrara | Should chatgpt be biased? challenges and risks of bias in large language models | |
| US10929614B2 (en) | Automated contextual dialog generation for cognitive conversation | |
| US10657543B2 (en) | Targeted e-commerce business strategies based on affiliation networks derived from predictive cognitive traits | |
| US10067935B2 (en) | Prediction and optimized prevention of bullying and other counterproductive interactions in live and virtual meeting contexts | |
| US10223440B2 (en) | Question and answer system emulating people and clusters of blended people | |
| CN112766415B (zh) | 用于解释人工智能模型的方法、装置及系统 | |
| US20230023630A1 (en) | Creating predictor variables for prediction models from unstructured data using natural language processing | |
| CN111435362B (zh) | 用于生成相关响应的对抗性训练数据增强 | |
| CN111210335A (zh) | 用户风险识别方法、装置及电子设备 | |
| US11687709B2 (en) | Domain knowledge based feature extraction for enhanced text representation | |
| US20180349476A1 (en) | Evaluating theses using tree structures | |
| CN111210336A (zh) | 用户风险模型生成方法、装置及电子设备 | |
| US20200173889A1 (en) | Component testing plan considering distinguishable and undistinguishable components | |
| US11288293B2 (en) | Methods and systems for ensuring quality of unstructured user input content | |
| US11645716B2 (en) | System and method for implementing a trust discretionary distribution tool | |
| US10970490B2 (en) | Automatic evaluation of artificial intelligence-based processes | |
| US20210142180A1 (en) | Feedback discriminator | |
| US20220405487A1 (en) | Causal Knowledge Identification and Extraction | |
| US20220215142A1 (en) | Extensible Agents in Agent-Based Generative Models | |
| US20220198255A1 (en) | Training a semantic parser using action templates | |
| EP4275343A1 (en) | Generation and evaluation of secure synthetic data | |
| Mollas et al. | Truthful meta-explanations for local interpretability of machine learning models | |
| CN116615731A (zh) | 用于知识蒸馏框架的混合数据增强 | |
| Houtkamp et al. | From research data to web-based policy tools: user-centered design techniques in the development of the AgMIP impacts explorer | |
| Berding et al. | Performance and Configuration of Artificial Intelligence in Educational Settings. Introducing a New Reliability Concept Based on Content Analysis |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |