CN112612872A - 一种实现人工智能可解释的方法、装置、设备及存储介质 - Google Patents
一种实现人工智能可解释的方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN112612872A CN112612872A CN202011496923.2A CN202011496923A CN112612872A CN 112612872 A CN112612872 A CN 112612872A CN 202011496923 A CN202011496923 A CN 202011496923A CN 112612872 A CN112612872 A CN 112612872A
- Authority
- CN
- China
- Prior art keywords
- data
- model
- interpretation
- metadata
- interpreted
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 133
- 238000000034 method Methods 0.000 title claims abstract description 77
- 238000003860 storage Methods 0.000 title claims abstract description 10
- 238000004590 computer program Methods 0.000 claims description 4
- 230000000007 visual effect Effects 0.000 claims description 4
- 238000013461 design Methods 0.000 abstract description 5
- 230000006870 function Effects 0.000 description 16
- 238000010801 machine learning Methods 0.000 description 13
- 238000012800 visualization Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 8
- 238000012549 training Methods 0.000 description 6
- 238000001514 detection method Methods 0.000 description 4
- 230000010354 integration Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000006399 behavior Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013523 data management Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000004900 laundering Methods 0.000 description 2
- 206010000210 abortion Diseases 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 230000008846 dynamic interplay Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000011112 process operation Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
- G06F16/3344—Query execution using natural language analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computational Linguistics (AREA)
- Databases & Information Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本公开提供了一种实现人工智能可解释的方法、装置、设备及存储介质，所述方法包括：首先，接收目标人工智能AI模型对应的待解释数据；其中，所述待解释数据包括特征数据和/或模型数据，以及预估数据。其次，确定与所述待解释数据匹配的解释算子，最终，运行所述解释算子对所述待解释数据进行解释，得到解释结果。本公开实施例能够为目标AI模型对应的待解释数据提供解释结果，实现了人工智能可解释。另外，用户还可以基于人工智能可解释的需求自行设计人工智能可解释方法，用于对目标AI模型的待解释数据进行解释，提高了人工智能可解释方法的灵活性。
Description
技术领域
本公开涉及数据处理领域，尤其涉及一种实现人工智能可解释的方法、装置、设备及存储介质。
背景技术
人工智能可解释是指解决面向机器学习场景下的可解释问题，尤其是在对可靠性和安全性要求较高的领域，如医疗领域和银行、保险等金融监管领域等，对于提高人工智能模型的透明度和可解释性，已经成为机器学习系统中越来越被重视的需求。
因此，如何实现人工智能可解释，是目前亟待解决的技术问题。
发明内容
为了解决上述技术问题或者至少部分地解决上述技术问题，本公开提供了一种实现人工智能可解释的方法、装置、设备及存储介质，能够为目标AI模型对应的待解释数据提供解释结果，实现人工智能可解释。
第一方面，本公开提供了一种实现人工智能可解释的方法，所述方法包括：
接收目标人工智能AI模型对应的待解释数据；其中，所述待解释数据包括特征数据和/或模型数据，以及预估数据；
确定与所述待解释数据匹配的解释算子；
运行所述解释算子对所述待解释数据进行解释，得到解释结果。
一种可选的实施方式中，所述接收目标AI模型对应的待解释数据的步骤之前，还包括：
获取与所述目标AI模型相关的元数据；
确定与所述元数据匹配的解释方案；
将所述元数据和所述解释方案保存为解释算子；其中，所述元数据用于匹配到所述解释算子。
一种可选的实施方式中，所述元数据包括特征元数据和/或模型元数据，所述确定与所述元数据匹配的解释方案的步骤，包括：
确定与所述特征元数据匹配的特征解释方案，和/或，确定与所述模型元数据匹配的模型解释方案。
一种可选的实施方式中，所述确定与所述特征元数据匹配的特征解释方案，包括：
将所述特征元数据中的至少一个维度特征确定为目标维度特征；
基于所述目标维度特征对应的数据类型，确定与所述目标维度特征匹配的特征解释方案。
一种可选的实施方式中，所述确定与所述模型元数据匹配的模型解释方案，包括：
基于所述模型元数据中的模型类型，确定与所述模型元数据匹配的模型解释方案；
或者，基于所述模型元数据中的模型输入输出数据构建模型，并基于构建的模型确定与所述模型元数据匹配的模型解释方案。
一种可选的实施方式中，所述运行所述解释算子对所述待解释数据进行解释，得到解释结果之后，还包括：
基于预设领域规则中领域描述特征与解释文本的对应关系，将所述解释结果中的领域特征描述替换为对应的解释文本。
一种可选的实施方式中，所述方法还包括：
将所述待解释数据与所述解释结果的对应关系存储于可解释语料数据库；
响应于解释结果的显示触发操作，将所述待解释数据和所述解释结果显示于可视化界面上。
一种可选的实施方式中，所述将所述元数据和所述解释方案保存为解释算子之后，还包括：
将所述解释算子存储于解释算子仓库中；其中，所述解释算子仓库中保留多个版本的解释算子，且支持针对所述解释算子已提交修改的回溯功能；
将所述多个版本的解释算子中的目标版本进行发布；其中，发布的解释算子用于供所述待解释数据匹配。
一种可选的实施方式中，所述接收目标AI模型对应的待解释数据之前，还包括：
通过数据集成总线订阅目标AI模型的待解释数据生成事件；
相应的，所述接收目标AI模型对应的待解释数据，包括：
响应于所述目标AI模型的待解释数据生成事件的发生，接收所述目标AI模型对应的待解释数据。
一种可选的实施方式中，所述确定与所述待解释数据匹配的解释算子之前，还包括：
对所述待解释数据进行一致性校验；
如果所述待解释数据通过一致性校验，则执行所述确定与所述待解释数据匹配的解释算子的步骤。
第二方面，本公开提供了一种实现人工智能可解释的装置，所述装置包括解释算子仓库和执行器，所述解释算子仓库用于存储解释算子，所述执行器包括算子匹配模块和解释执行模块；
所述算子匹配模块，用于在接收目标AI模型对应的待解释数据后，从所述解释算子仓库中获取与所述待解释数据匹配的解释算子；
所述解释执行模块，用于执行所述算子匹配模块匹配到的解释算子，对所述待解释数据进行解释，得到解释结果。
一种可选的实施方式中，所述装置还包括设计器；
所述设计器，用于获取与所述目标AI模型相关的元数据，并确定与所述元数据匹配的解释方案，以及将所述元数据与所述解释方案保存为解释算子存储于所述解释算子仓库中。
一种可选的实施方式中，所述元数据包括特征元数据和/或模型元数据，所述设计器包括特征分析模块和/或模型解释模块；
所述特征分析模块，用于确定与所述特征元数据匹配的特征解释方案，并将所述特征元数据和所述特征解释方案保存为特征解释算子存储于所述解释算子仓库中；
所述模型解释模块，用于确定与所述模型元数据匹配的模型解释方案，并将所述模型元数据和所述模型解释方案保存为模型解释算子存储于所述解释算子仓库中。
一种可选的实施方式中，所述执行器还包括：
领域规则执行模块，用于基于预设领域规则中领域描述特征与解释文本的对应关系，将所述解释执行模块得到的解释结果中的领域特征描述替换为对应的解释文本。
一种可选的实施方式中，所述装置还包括可解释语料数据库和可视化模块；
所述可解释语料数据库，用于存储所述待解释数据与所述解释结果的对应关系；
所述可视化模块，用于响应于解释结果的显示触发操作，从所述可解释语料数据库中获取所述待解释数据与所述解释结果，并将所述待解释数据与所述解释结果显示于可视化界面上。
一种可选的实施方式中，所述解释算子仓库存储有多个版本的解释算子，所述装置还包括发布模块；
所述发布模块，用于响应于针对所述解释算子仓库中的目标版本的解释算子的发布触发操作，对所述目标版本的解释算子进行发布；其中，发布的解释算子用于供所述待解释数据匹配。
一种可选的实施方式中，所述执行器还包括订阅模块；
所述订阅模块，用于通过数据集成总线向机器学习平台订阅目标AI模型的待解释数据生成事件；
相应的，所述算子匹配模块，具体用于在所述订阅模块接收到目标AI模型对应的待解释数据后，从所述解释算子仓库中获取与所述待解释数据匹配的解释算子。
一种可选的实施方式中，所述执行器还包括模型检测模块；
所述模型检测模块，用于对接收到的所述待解释数据进行一致性校验，并在所述待解释数据通过一致性校验后，触发所述算子匹配模块。
一种可选的实施方式中，所述设计器还包括领域规则模块；
所述领域规则模块，用于确定与所述目标AI模块对应的预设领域规则后，将所述预设领域规则存储于所述解释算子仓库中。
第三方面，本公开提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在终端设备上运行时，使得所述终端设备实现上述的方法。
第四方面，本公开提供了一种设备，包括：存储器，处理器，及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现上述的方法。
本公开实施例提供的技术方案与现有技术相比具有如下优点：
本公开实施例提供了一种实现人工智能可解释的方法，首先，接收目标人工智能AI模型对应的待解释数据；其中，所述待解释数据包括特征数据和/或模型数据，以及预估数据。其次，确定与所述待解释数据匹配的解释算子，最终，运行所述解释算子对所述待解释数据进行解释，得到解释结果。本公开实施例能够为目标AI模型对应的待解释数据提供解释结果，实现了人工智能可解释。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本公开实施例提供的一种实现人工智能可解释的方法流程图；
图2为本公开实施例提供的另一种实现人工智能可解释的方法流程图；
图3为本公开实施例提供的一种实现人工智能可解释的应用场景示意图；
图4为本公开实施例提供的一种具体实现人工智能可解释的示意图；
图5为本公开实施例提供的一种实现人工智能可解释的装置结构示意图；
图6为本公开实施例提供的一种实现人工智能可解释的设备结构示意图。
具体实施方式
为了能够更清楚地理解本公开的上述目的、特征和优点，下面将对本公开的方案进行进一步描述。需要说明的是，在不冲突的情况下，本公开的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本公开，但本公开还可以采用其他不同于在此描述的方式来实施；显然，说明书中的实施例只是本公开的一部分实施例，而不是全部的实施例。
目前，在面向机器学习场景下，需要实现人工智能可解释的功能，例如，在银行系统中，对于反洗钱行为识别中认定为洗钱行为的依据将成为判案的证据；在贷款审批场景中，对于客户申请的批准和拒绝，需要为客户提供解释。另外，在涉及公平性的采购中解释供应商的选择或出价；基于政策的内容审核中，对于被拒绝的政策外的广告或社交媒体发布等，需要提供解释；在医疗保险中，对于被拒绝的索赔的解释是强制性的等等。
为此，本公开提供了一种实现人工智能可解释的方法，首先，接收目标AI模型对应的待解释数据，其中，待解释数据中包括特征数据和/或模型数据，以及预估数据。然后，确定与待解释数据匹配的解释算子，最终，运行解释算子对待解释数据进行解释，得到解释结果。可见，本公开能够对目标AI模型对应的待解释数据提供解释结果，实现人工智能可解释的功能。
基于此，本公开实施例提供了一种实现人工智能可解释的方法，参考图1，为本公开实施例提供的一种实现人工智能可解释的方法流程图，该方法包括：
S101：接收目标人工智能AI模型对应的待解释数据；其中，所述待解释数据包括特征数据和/或模型数据，以及预估数据。
本公开实施例中，在进行人工智能可解释之前，首先从机器学习平台的数据管理库中获取目标AI模型对应的待解释数据，其中，待解释数据可以包括特征数据和/或模型数据以及预估数据。
其中，特征数据可以为人工智能处理中从样本中提取到的特征，模型数据可以为目标AI模型的模型类型以及模型参数等数据，例如，模型类型可以为梯度提升决策树GBDT、逻辑回归LR、卷积神经网络CNN等。预估数据可以为预估样本的数据，例如预估样本包含的特征、预估结果等数据。
S102：确定与所述待解释数据匹配的解释算子。
本公开实施例中，预先设置多个解释算子，用于实现人工智能可解释的功能。具体的，在接收到目标AI模型对应的待解释数据之后，从预先设置的多个解释算子中匹配到与待解释数据匹配的解释算子，用于对待解释数据进行解释。
S103：运行所述解释算子对所述待解释数据进行解释，得到解释结果。
本公开实施例中，在确定与待解释数据匹配的解释算子之后，运行解释算子以便对待解释数据进行解释，得到解释结果。其中，解释结果用于从特征、模型等角度对待解释数据进行解释。
本公开实施例提供的实现人工智能可解释的方法中，首先，接收目标人工智能AI模型对应的待解释数据；其中，所述待解释数据包括特征数据和/或模型数据，以及预估数据。其次，确定与所述待解释数据匹配的解释算子，最终，运行所述解释算子对所述待解释数据进行解释，得到解释结果。本公开实施例能够为目标AI模型对应的待解释数据提供解释结果，实现了人工智能可解释。
在上述实施方式的基础上，本公开还提供了一种实现人工智能可解释的方法，参考图2，为本公开实施例提供的另一种实现人工智能可解释的方法流程图，该方法包括：
S201：获取与所述目标AI模型相关的元数据。
本公开实施例提供的实现人工智能可解释的方法可以包括设计和执行两部分功能，其中，在执行人工智能可解释之前，首先对人工智能可解释的方法进行设计，然后具体对设计得到的人工智能可解释的方法执行，以实现人工智能可解释功能。
在对人工智能可解释的方法进行设计的阶段，首先获取目标AI模型相关的元数据，其中，目标AI模型相关的元数据可以包括特征元数据和/或模型元数据，具体的，特征元数据可以包括用于训练目标AI模型的训练样本的特征数据，模型元数据可以包括目标AI模型的模型类型、模型参数等模型相关数据。
S202：确定与所述元数据匹配的解释方案。
本公开实施例中，在获取到与目标AI模型相关的元数据之后，获取与元数据匹配的解释方案。
具体的，如果与目标AI模型相关的元数据包括特征元数据和/或模型元数据，则确定与特征元数据匹配的特征解释方案，和/或，确定与模型元数据匹配的模型解释方案。其中，特征解释方案用于从特征角度实现人工智能可解释，而模型解释方案用于从模型角度实现人工智能可解释。
一种可选的实施方式中，可以将特征元数据中的至少一个维度特征确定为目标维度特征，然后，基于目标维度特征对应的数据类型，确定与目标维度特征匹配的特征解释方案。
其中，目标维度特征可以包括目标AI模型的训练样本中的至少一种特征，例如，目标维度特征可以包含训练样本中的年龄特征、身高特征和性别特征共三种特征。
基于目标维度特征对应的数据类型，确定与目标维度特征匹配的特征解释方案。具体的，特征解释方案可以包括维度特征分布、可视化定义、低维聚类、高维聚类等，可以利用人机交互界面的方式，基于目标维度特征对应的数据类型，选择适用的特征解释方案，用于从目标维度特征进行人工智能可解释。例如，对于目标维度特征可以包含训练样本中的年龄特征、身高特征和性别特征时，可以基于目标维度特征选择维度特征分布作为与目标维度特征匹配的特征解释方案。
实际应用中，可以基于目标维度特征的数据类型，以及人工智能可解释的需求，确定与目标维度特征匹配的特征解释方案。
另一种可选的实施方式中，可以基于模型元数据中的模型类型，确定与模型元数据匹配的模型解释方案。具体的，可以预先设置特定模型类型分别对应的模型解释方案，其中，特定模型类型可以包括线性模型、参数模型或树模型。
也就是说，在确定模型元数据中的模型类型为线性模型、参数模型或树模型时，直接选择预先设置的该模型类型对应的模型解释方案即可。
如果模型元数据中的模型类型不属于特定模型类型，则可以基于模型元数据中的模型输入输出数据构建模型，并基于构建的模型确定与所述模型元数据匹配的模型解释方案。
一种可选的实施方式中，可以获取目标AI模型的输入输出数据，然后基于输入输出数据构建简单模型，进而基于构建的模型确定能够与模型元数据匹配的模型解释方案。
具体的，可以选择黑盒建模方法，基于目标AI模型的输入输出数据构建模型，进而基于构建的模型确定能够与模型元数据匹配的模型解释方案。
另一种可选的实施方式中，还可以为预估数据确定匹配的解释方案，其中，相关图(Partial Dependence Plot)、个体条件期望(Individual Conditional Expectation)、累积局部效应图(Accumulated Local Effects Plot)、SHAP方法(SHapley AdditiveexPlanations)等，均可以作为预估数据的解释方案，可以从中选择至少一个作为预估数据的解释方案，用于对预估数据进行解释。
例如，相关图可以作为预估数据的解释方案，用于从相关度的角度对预估数据进行解释。
S203：将所述元数据和所述解释方案保存为解释算子；其中，所述元数据用于匹配到所述解释算子。
本公开实施例中，在确定元数据匹配的解释方案之后，将元数据与解释方案之间的对应关系保存为一个解释算子，用于实现人工智能可解释功能。
实际应用中，在对人工智能可解释的方法进行设计的阶段，可以得到多个保存为解释算子的元数据与解释方案的对应关系。
S204：接收目标人工智能AI模型对应的待解释数据；其中，所述待解释数据包括特征数据和/或模型数据，以及预估数据。
S205：确定与所述待解释数据匹配的解释算子。
S206：运行所述解释算子对所述待解释数据进行解释，得到解释结果。
在对人工智能可解释的方法执行的阶段，可参照上述实施例中的S101-S103进行理解，在此不再赘述。
本公开实施例提供的实现人工智能可解释的方法中，用户可以基于人工智能可解释的需求自行设计人工智能可解释方法，用于对目标AI模型的待解释数据进行解释，提高了人工智能可解释方法的灵活性。
基于上述实施方式，本公开提供了一种具体的实现人工智能可解释的应用场景。参考图3，为本公开实施例提供的一种实现人工智能可解释的应用场景示意图。
其中，图3中包括机器学习平台、业务系统、仓库、可视化设备和可解释装置，通过网络可以实现互联互通。具体的，业务系统可以为机器学习平台提供建模所需业务数据，例如包含行为、反馈、系统配置等业务数据。机器学习平台用于承接业务系统的业务数据，并完成数据管理、特征工程、建模、上线预估、自学习迭代等工作，最终输出包含特征元数据、模型元数据等的文件。仓库用于存储机器学习平台在特征工程、建模、上线预估、自学习迭代过程中的全流程输出，以便用于实现人工智能可解释。可解释装置用于从仓库中获取机器学习平台的特征工程、建模、上线预估、自学习迭代过程中的全流程输出、预估数据、领域内容等，经过人工智能可解释处理之后，生成解释结果。可视化设备用于对基于解释结果生成的可解释报告等进行可视化展示，用于可以利用交互功能导出可解释报告等。
针对图3中的可解释装置、机器学习平台和可视化设备之间的交互过程以及具体实现方式，可以参考图4，图4为本公开实施例提供的一种具体实现人工智能可解释的示意图。
其中，机器学习平台在对目标AI模型进行特征工程、建模、上线预估、自学习迭代的过程中，得到训练数据/特征、生成模型、待预估样本等输出元数据。将元数据输入至可解释装置中的设计器之后，利用设计器进行特征分析和模型解释得到解释算子，并将解释算子、元数据以及设置的领域规则，存储于解释算子仓库中，以供执行器调用。
其中，设计器可以将多个版本的解释算子均存储于解释算子仓库中，且支持针对解释算子已提交修改的回溯功能。然后将多个版本的解释算子中的目标版本进行发布，用于供待解释数据进行匹配。
执行器是人工智能可解释过程的运行态，将设计器的设计态的特征元数据、模型元数据、待预估样本、以及领域规则等，按照不同的解释算子组合执行并生成可解释语料。
实际应用中，执行器可以通过数据集成总线向机器学习平台订阅目标AI模型的待解释数据生成事件。然后，在接收到目标AI模型的待解释数据生成事件的发生之后，获取目标AI模型对应的待解释数据。
执行器在接收到来自机器学习平台的待解释数据之后，首先将待解释数据与解释算子仓库中已存储的元数据进行一致性校验。如果通过一致性校验，则执行器可以执行，否则执行器中止执行。
在通过一致性校验之后，执行器确定解释算子仓库中与待解释数据匹配的解释算子，并运行该解释算子以实现对待解释数据的解释，最终得到解释结果。
为了便于用户对解释结果进行理解，本公开实施例还可以在解释算子仓库中存储预设领域规则，用于记录领域描述特征与解释文本的对应关系，以便将解释结果中的领域特征描述替换为对应的解释文本，便于用户对解释结果进行理解。
其中，预设领域规则可以为金融、零售、保险、政务、司法等领域的规则。
例如，在金融领域的规则中包括交易特征：f_avg_cnt_flag_abn_hour_cash_1_30d_tgt_avg，其对应的解释文本为：【平均值】[30天]交易对手0-6点日均取现笔数。因此，预设领域规则可以包括：：f_avg_cnt_flag_abn_hour_cash_1_30d_tgt_avg与“【平均值】[30天]交易对手0-6点日均取现笔数”之间的对应关系，用于对解释结果进行替换，便于用户理解。
具体的，执行器基于预设领域规则中领域描述特征与解释文本的对应关系，将所述解释结果中的领域特征描述替换为对应的解释文本。
本公开实施例中，在得到待解释数据的解释结果之后，将待解释数据与解释结果的对应关系存储于可解释语料数据库中。当接收到解释结果的显示触发操作时，将待解释数据和解释结果显示于可视化界面上。
本公开实施例中，可以执行器中的特征数据、模型数据、预估数据以及解释结果等发布成数据服务，以供可视化设备等调用。另外，可视化设备可以支持对特征数据、模型数据、预估数据以及解释结果的裁剪、排序、动态交互等功能。
另外，通过可视化设备还可以对特征数据、模型数据、预估数据以及解释结果实现一键导出、下载可解释报告等功能。
本公开实施例提供的实现人工智能可解释的方法，能够为目标AI模型对应的待解释数据提供解释结果，实现了人工智能可解释。另外，用户可以基于人工智能可解释的需求自行设计人工智能可解释方法，用于对目标AI模型的待解释数据进行解释，提高了人工智能可解释方法的灵活性。
与上述方法实施例基于同一个发明构思，本公开还提供了一种实现人工智能可解释的装置，参考图5，为本公开实施例提供的一种实现人工智能可解释的装置结构示意图，所述装置包括：解释算子仓库501和执行器502，所述解释算子仓库用于存储解释算子，所述执行器502包括算子匹配模块5021和解释执行模块5022；
所述算子匹配模块5021，用于在接收目标AI模型对应的待解释数据后，从所述解释算子仓库中获取与所述待解释数据匹配的解释算子；
所述解释执行模块5022，用于执行所述算子匹配模块匹配到的解释算子，对所述待解释数据进行解释，得到解释结果。
一种可选的实施方式中，所述装置还包括设计器；
所述设计器，用于获取与所述目标AI模型相关的元数据，并确定与所述元数据匹配的解释方案，以及将所述元数据与所述解释方案保存为解释算子存储于所述解释算子仓库中。
一种可选的实施方式中，所述元数据包括特征元数据和/或模型元数据，所述设计器包括特征分析模块和/或模型解释模块；
所述特征分析模块，用于确定与所述特征元数据匹配的特征解释方案，并将所述特征元数据和所述特征解释方案保存为特征解释算子存储于所述解释算子仓库中；
所述模型解释模块，用于确定与所述模型元数据匹配的模型解释方案，并将所述模型元数据和所述模型解释方案保存为模型解释算子存储于所述解释算子仓库中。
一种可选的实施方式中，所述执行器还包括：
领域规则执行模块，用于基于预设领域规则中领域描述特征与解释文本的对应关系，将所述解释执行模块得到的解释结果中的领域特征描述替换为对应的解释文本。
一种可选的实施方式中，所述装置还包括可解释语料数据库和可视化模块；
所述可解释语料数据库，用于存储所述待解释数据与所述解释结果的对应关系；
所述可视化模块，用于响应于解释结果的显示触发操作，从所述可解释语料数据库中获取所述待解释数据与所述解释结果，并将所述待解释数据与所述解释结果显示于可视化界面上。
一种可选的实施方式中，所述解释算子仓库存储有多个版本的解释算子，所述装置还包括发布模块；
所述发布模块，用于响应于针对所述解释算子仓库中的目标版本的解释算子的发布触发操作，对所述目标版本的解释算子进行发布；其中，发布的解释算子用于供所述待解释数据匹配。
一种可选的实施方式中，所述执行器还包括订阅模块；
所述订阅模块，用于通过数据集成总线向机器学习平台订阅目标AI模型的待解释数据生成事件；
相应的，所述算子匹配模块，具体用于在所述订阅模块接收到目标AI模型对应的待解释数据后，从所述解释算子仓库中获取与所述待解释数据匹配的解释算子。
一种可选的实施方式中，所述执行器还包括模型检测模块；
所述模型检测模块，用于对接收到的所述待解释数据进行一致性校验，并在所述待解释数据通过一致性校验后，触发所述算子匹配模块。
一种可选的实施方式中，所述设计器还包括领域规则模块；
所述领域规则模块，用于确定与所述目标AI模块对应的预设领域规则后，将所述预设领域规则存储于所述解释算子仓库中。
本公开实施例提供的实现人工智能可解释的装置中，首先，接收目标人工智能AI模型对应的待解释数据；其中，所述待解释数据包括特征数据和/或模型数据，以及预估数据。其次，确定与所述待解释数据匹配的解释算子，最终，运行所述解释算子对所述待解释数据进行解释，得到解释结果。本公开实施例能够为目标AI模型对应的待解释数据提供解释结果，实现了人工智能可解释。
除了上述方法和装置以外，本公开实施例还提供了一种计算机可读存储介质，计算机可读存储介质中存储有指令，当所述指令在终端设备上运行时，使得所述终端设备实现本公开实施例所述的实现人工智能可解释的方法。另外，用户可以基于人工智能可解释的需求自行设计人工智能可解释方法，用于对目标AI模型的待解释数据进行解释，提高了人工智能可解释方法的灵活性。
另外，本公开实施例还提供了一种实现人工智能可解释的设备，参见图6所示，可以包括：
处理器601、存储器602、输入装置603和输出装置604。实现人工智能可解释的设备中的处理器601的数量可以一个或多个，图6中以一个处理器为例。在本公开的一些实施例中，处理器601、存储器602、输入装置603和输出装置604可通过总线或其它方式连接，其中，图6中以通过总线连接为例。
存储器602可用于存储软件程序以及模块，处理器501通过运行存储在存储器602的软件程序以及模块，从而执行实现人工智能可解释的设备的各种功能应用以及数据处理。存储器602可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等。此外，存储器602可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。输入装置603可用于接收输入的数字或字符信息，以及产生与实现人工智能可解释的设备的用户设置以及功能控制有关的信号输入。
具体在本实施例中，处理器601会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器602中，并由处理器601来运行存储在存储器602中的应用程序，从而实现上述实现人工智能可解释的设备的各种功能。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本公开的具体实施方式，使本领域技术人员能够理解或实现本公开。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本公开的精神或范围的情况下，在其它实施例中实现。因此，本公开将不会被限制于本文所述的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种实现人工智能可解释的方法，其特征在于，所述方法包括：
接收目标人工智能AI模型对应的待解释数据；其中，所述待解释数据包括特征数据和/或模型数据，以及预估数据；
确定与所述待解释数据匹配的解释算子；
运行所述解释算子对所述待解释数据进行解释，得到解释结果。
2.根据权利要求1所述的方法，其特征在于，所述接收目标AI模型对应的待解释数据的步骤之前，还包括：
获取与所述目标AI模型相关的元数据；
确定与所述元数据匹配的解释方案；
将所述元数据和所述解释方案保存为解释算子；其中，所述元数据用于匹配到所述解释算子。
3.根据权利要求2所述的方法，其特征在于，所述元数据包括特征元数据和/或模型元数据，所述确定与所述元数据匹配的解释方案的步骤，包括：
确定与所述特征元数据匹配的特征解释方案，和/或，确定与所述模型元数据匹配的模型解释方案。
4.根据权利要求3所述的方法，其特征在于，所述确定与所述特征元数据匹配的特征解释方案，包括：
将所述特征元数据中的至少一个维度特征确定为目标维度特征；
基于所述目标维度特征对应的数据类型，确定与所述目标维度特征匹配的特征解释方案。
5.根据权利要求3所述的方法，其特征在于，所述确定与所述模型元数据匹配的模型解释方案，包括：
基于所述模型元数据中的模型类型，确定与所述模型元数据匹配的模型解释方案；
或者，基于所述模型元数据中的模型输入输出数据构建模型，并基于构建的模型确定与所述模型元数据匹配的模型解释方案。
6.根据权利要求1所述的方法，其特征在于，所述运行所述解释算子对所述待解释数据进行解释，得到解释结果之后，还包括：
基于预设领域规则中领域描述特征与解释文本的对应关系，将所述解释结果中的领域特征描述替换为对应的解释文本。
7.根据权利要求1-6任一项所述的方法，其特征在于，所述方法还包括：
将所述待解释数据与所述解释结果的对应关系存储于可解释语料数据库；
响应于解释结果的显示触发操作，将所述待解释数据和所述解释结果显示于可视化界面上。
8.一种实现人工智能可解释的装置，其特征在于，所述装置包括解释算子仓库和执行器，所述解释算子仓库用于存储解释算子，所述执行器包括算子匹配模块和解释执行模块；
所述算子匹配模块，用于在接收目标AI模型对应的待解释数据后，从所述解释算子仓库中获取与所述待解释数据匹配的解释算子；
所述解释执行模块，用于执行所述算子匹配模块匹配到的解释算子，对所述待解释数据进行解释，得到解释结果。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有指令，当所述指令在终端设备上运行时，使得所述终端设备实现如权利要求1-7任一项所述的方法。
10.一种设备，其特征在于，包括：存储器，处理器，及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如权利要求1-7任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011496923.2A CN112612872B (zh) | 2020-12-17 | 2020-12-17 | 一种实现人工智能可解释的方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011496923.2A CN112612872B (zh) | 2020-12-17 | 2020-12-17 | 一种实现人工智能可解释的方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112612872A true CN112612872A (zh) | 2021-04-06 |
| CN112612872B CN112612872B (zh) | 2024-07-12 |
Family
ID=75241016
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011496923.2A Active CN112612872B (zh) | 2020-12-17 | 2020-12-17 | 一种实现人工智能可解释的方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112612872B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114816064A (zh) * | 2022-04-27 | 2022-07-29 | 深圳微言科技有限责任公司 | 用于解释人工智能模型的方法、装置及系统 |
| WO2022171037A1 (zh) * | 2021-02-09 | 2022-08-18 | 第四范式（北京）技术有限公司 | 用于解释人工智能模型的方法、装置及系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109165249A (zh) * | 2018-08-07 | 2019-01-08 | 阿里巴巴集团控股有限公司 | 数据处理模型构建方法、装置、服务器和用户端 |
| CN111523677A (zh) * | 2020-04-17 | 2020-08-11 | 第四范式（北京）技术有限公司 | 实现对机器学习模型的预测结果进行解释的方法及装置 |
| CN111625567A (zh) * | 2020-04-27 | 2020-09-04 | 盎通科技(上海)有限公司 | 数据模型匹配方法、装置、计算机系统及可读存储介质 |
| CN111768040A (zh) * | 2020-07-01 | 2020-10-13 | 深圳前海微众银行股份有限公司 | 模型解释方法、装置、设备及可读存储介质 |
| US20200372641A1 (en) * | 2019-05-24 | 2020-11-26 | Lunit Inc. | Method for discriminating suspicious lesion in medical image, method for interpreting medical image, and computing device implementing the methods |
-
2020
- 2020-12-17 CN CN202011496923.2A patent/CN112612872B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109165249A (zh) * | 2018-08-07 | 2019-01-08 | 阿里巴巴集团控股有限公司 | 数据处理模型构建方法、装置、服务器和用户端 |
| US20200372641A1 (en) * | 2019-05-24 | 2020-11-26 | Lunit Inc. | Method for discriminating suspicious lesion in medical image, method for interpreting medical image, and computing device implementing the methods |
| CN111523677A (zh) * | 2020-04-17 | 2020-08-11 | 第四范式（北京）技术有限公司 | 实现对机器学习模型的预测结果进行解释的方法及装置 |
| CN111625567A (zh) * | 2020-04-27 | 2020-09-04 | 盎通科技(上海)有限公司 | 数据模型匹配方法、装置、计算机系统及可读存储介质 |
| CN111768040A (zh) * | 2020-07-01 | 2020-10-13 | 深圳前海微众银行股份有限公司 | 模型解释方法、装置、设备及可读存储介质 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022171037A1 (zh) * | 2021-02-09 | 2022-08-18 | 第四范式（北京）技术有限公司 | 用于解释人工智能模型的方法、装置及系统 |
| CN114816064A (zh) * | 2022-04-27 | 2022-07-29 | 深圳微言科技有限责任公司 | 用于解释人工智能模型的方法、装置及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112612872B (zh) | 2024-07-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20190340518A1 (en) | Systems and methods for enriching modeling tools and infrastructure with semantics | |
| US9720940B2 (en) | Data analysis computer system and method for parallelized and modularized analysis of big data | |
| CN113011889B (zh) | 账号异常识别方法、系统、装置、设备及介质 | |
| CN112612872B (zh) | 一种实现人工智能可解释的方法、装置、设备及存储介质 | |
| Sharp et al. | Toward Semi-autonomous Information: Extraction for Unstructured Maintenance Data in Root Cause Analysis | |
| CN110059137A (zh) | 事务分类系统 | |
| CN112015909A (zh) | 知识图谱的构建方法及装置、电子设备、存储介质 | |
| KR20210033294A (ko) | 자동보고서생성장치 및 그 동작 방법 | |
| CN114386879B (zh) | 一种基于多产品多维度性能指标的评分与排行方法及系统 | |
| Javeed et al. | Discovering software developer's coding expertise through deep learning | |
| EP2548141B1 (en) | A system and method for evaluating a reverse query | |
| Sreenivasula Reddy et al. | Intuitionistic fuzzy rough sets and fruit fly algorithm for association rule mining | |
| Ramon et al. | Can metafeatures help improve explanations of prediction models when using behavioral and textual data? | |
| Liermann et al. | Hyperautomation (automated decision-making as part of RPA) | |
| CN113379124A (zh) | 基于预测模型的人员稳定性预测方法及装置 | |
| Jeyaraman et al. | Practical Machine Learning with R: Define, build, and evaluate machine learning models for real-world applications | |
| CN116226741A (zh) | 一种基于数据类型进行建模的方法和装置 | |
| Karakati et al. | Software code refactoring based on deep neural network‐based fitness function | |
| Gopala Krishnan et al. | Predictive algorithm and criteria to perform big data analytics | |
| Sağlar et al. | A review on data mining methods used in internal audit and external audit | |
| Dudycz et al. | Application of ontology in financial assessment based on real options in small and medium-sized companies | |
| Alsubaie et al. | Predicting customer churn in banking based on data mining techniques | |
| Karim | Machine learning with scala quick start guide: Leverage popular machine learning algorithms and techniques and implement them in Scala | |
| Schmidt et al. | Enterprise architecture analytics and decision support | |
| CN117648635B (zh) | 敏感信息分类分级方法及系统、电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |