CN112116028B

CN112116028B - 模型决策解释实现方法、装置及计算机设备

Info

Publication number: CN112116028B
Application number: CN202011052528.5A
Authority: CN
Inventors: 穆森·普尔瓦利; 盛晨; 胡长建
Original assignee: Lenovo Beijing Ltd
Current assignee: Lenovo Beijing Ltd
Priority date: 2020-09-29
Filing date: 2020-09-29
Publication date: 2024-04-26
Anticipated expiration: 2040-09-29
Also published as: CN112116028A

Abstract

本申请提出了一种模型决策解释实现方法、装置及计算机设备，获得针对目标案例的至少两个参考案例类别，并其对应的多个历史案例中，选择位于不同概率范围内的多个相似案例后，依据多个分类特征下目标案例的分类特征值，与不同参考案例类别对应的相似案例的分类特征值的比较结果，获得目标案例及多个相似案例各自的分类特征值的显示区域的显示状态，由于属于不同参考案例类别的相似案例的分类特征值显示区域的显示状态不同，使据此输出针对目标案例的分类特征差异表，能够直观指示目标案例属于哪个参考案例类别，即解释目标案例的模型决策结果，还能够指示目标案例的分类特征值的优化方向、最优分类特征值，以更好地满足用户需求。

Description

模型决策解释实现方法、装置及计算机设备

技术领域

本申请主要涉及机器学习应用领域，更具体地说是涉及一种模型决策解释实现方法、装置及计算机设备。

背景技术

随着人工智能(Artificial Intelligence，AI)技术在制造、家居、交通、安防、医疗、教育及金融等众多领域的应用，被人们称为“黑盒”的机器学习模型的可解释性问题变得愈发重要。其中，在机器学习模型的应用场景中，可解释性表示该机器学习模型能够使用人类可认知的说法进行解释和呈现。

目前常用的解释方法是通过对模型特征进行分析，实现对模型特征的重要性排序，以此定位各模型特征对模型决策的贡献程度，如基于机器学习算法训练的图像分类模型，以包含多个连贯像素信息的图像片段为特征，分析各图像片段的区别，以此能够更加直观地解释该图像分类模型的决策。

然而，对于表格数据分类模型，其特征往往是独立的数据元素(如图像中单个像素，文本中的单个字符)，特征含义也是模糊的，不同特征之间的关联性不明确，使得特征集合不具备解释性，也就无法解释该模型决策。因此，如何实现对这类不可解释性的分类模型决策的解释成为技术人员重要研究方向之一。

发明内容

有鉴于此，本申请为了实现对模型决策的可视化解释，本申请提供了以下技术方案：

一方面，本申请提出了一种模型决策解释实现方法，所述方法包括：

依据针对目标案例的模型决策结果，获得针对所述目标案例的至少两个参考案例类别；

从不同参考案例类别各自对应的多个历史案例中，选择位于不同概率范围内的多个相似案例，所述概率是针对所述相似案例的模型决策结果为相应参考案例类别的概率；

依据多个分类特征下所述目标案例的分类特征值，与不同参考案例类别对应的相似案例的分类特征值之间的比较结果，获得所述目标案例及所述多个相似案例各自的分类特征值的显示区域的显示状态，其中，属于不同参考案例类别的相似案例的分类特征值的显示区域的显示状态不同；

按照获得的各分类特征值的显示区域的显示状态，输出针对所述目标案例的分类特征差异表，其中，所述分类特征差异表的第一维度为多个所述分类特征，第二维度为所述目标案例及所述多个相似案例。

可选的，所述依据针对目标案例的模型决策结果，获得针对所述目标案例的至少两个参考案例类别，包括：

将目标案例输入分类模型，得到所述目标案例的分类信息；

基于所述分类信息，获得与所述目标案例的类别相似度大于第一阈值的至少两个参考案例类别。

可选的，所述从不同参考案例类别各自对应的多个历史案例中，选择位于不同概率范围内的多个相似案例，包括：

从不同参考案例类别各自对应的多个历史案例中，选择具有最高概率的历史案例确定为相应参考案例类别的最佳案例；

构建所述目标案例与不同最佳案例之间的概率路径，其中，处于所述概率路径中，越靠近相应最佳案例的历史案例具有的概率越大；

对所述概率路径进行区域划分，得到对应不同概率范围的多个概率区域；

确定所述多个概率区域各自对应的经过所述概率路径的一个历史案例，为所述目标案例对应的位于概率区域的相似案例。

可选的，所述构建所述目标案例与不同最佳案例之间的概率路径，包括：

从所述目标案例开始，朝向不同最佳案例方向，连接所遍历到的属于相应参考案例类别的历史案例直至所述最佳案例，得到所述参考案例类别的最佳案例与所述目标案例之间的概率路径。

可选的，所述依据多个分类特征下所述目标案例的分类特征值，与不同参考案例类别对应的相似案例的分类特征值之间的比较结果，获得所述目标案例及所述多个相似案例各自的分类特征值的显示区域的显示状态，包括：

依据所述分类信息，确定针对目标案例的多个分类特征；

获取所述目标案例及所述多个相似案例各自具有的，所述多个分类特征分别对应的分类特征值；

针对属于不同参考案例类别的相似案例的各分类特征值的显示区域，配置不同的显示状态；

获取同一分类特征下所述目标案例的分类特征值，与不同参考案例类别对应的相似案例的分类特征值之间的比较结果，配置所述目标案例的相应分类特征值的显示区域的显示状态。

可选的，所述获取同一分类特征下所述目标案例的分类特征值，与不同参考案例类别对应的相似案例的分类特征值之间的比较结果，配置所述目标案例的相应分类特征值的显示区域的显示状态，包括：

将同一分类特征下所述目标案例的分类特征值，与不同参考案例类别对应的相似案例的分类特征值进行比较；

若存在比较结果一致的相似案例的分类特征值，配置所述目标案例的相应分类特征值的显示区域的显示状态，与所述比较结果一致的相似案例的分类特征值的显示区域的显示状态一致；

若不存在比较结果一致的相似案例的分类特征值，配置所述目标案例的相应分类特征值的显示区域的显示状态，区别于所述多个参考案例类别各自对应的相似案例的分类特征值的显示区域的显示状态。

可选的，所述方法还包括：

依据所述分类模型对各所述相似案例的分类处理结果，确定相应相似案例的最优分类特征值，其中，所述最优分类特征值是相应相似案例具有的多个分类特征值中，相对于属于相应参考案例类别的多个历史案例，对确定该相似案例为该参考案例类别的贡献程度最大的分类特征值；

调整所述分类特征差异表中所述最优分类特征值的显示区域的显示状态。

可选的，所述方法还包括：

获取所述多个分类特征在所述分类模型中的重要性排序，并依据所述重要性排序，调整所述分类特征差异表中，所述多个分类特征各自所在第一维度的表格高度或表格宽度；和/或，

按照同一所述参考案例类别对应的所述多个相似案例各自所在的概率范围大小，调整所述分类特征差异表中，所述多个相似案例格各自所在第二维度的表格宽度或表格高度。

又一方面，本申请还提出了一种模型决策解释实现装置，所述装置包括：

参考案例类别获得模块，用于依据针对目标案例的模型决策结果，获得针对所述目标案例的至少两个参考案例类别；

相似案例选择模块，用于从不同参考案例类别各自对应的多个历史案例中，选择位于不同概率范围内的多个相似案例，所述概率是针对所述相似案例的模型决策结果为相应参考案例类别的概率；

显示状态获得模块，用于依据多个分类特征下所述目标案例的分类特征值，与不同参考案例类别对应的相似案例的分类特征值之间的比较结果，获得所述目标案例及所述多个相似案例各自的分类特征值的显示区域的显示状态，其中，属于不同参考案例类别的相似案例的分类特征值的显示区域的显示状态不同；

分类特征差异表输出模块，用于按照获得的各分类特征值的显示区域的显示状态，输出针对所述目标案例的分类特征差异表，其中，所述分类特征差异表的第一维度为多个所述分类特征，第二维度为所述目标案例及所述多个相似案例。

又一方面，本申请还提出了一种计算机设备，所述计算机设备包括：至少一个存储器及至少一个处理器，其中：

所述存储器，用于存储实现如上述的模型决策解释实现方法的程序；

所述处理器，用于加载并执行所述存储器存储的所述程序，以实现如上述的模型决策解释实现方法的各个步骤。

由此可见，本申请提供了一种模型决策解释实现方法、装置及计算机设备，为了解释目标案例的模型决策结果，本申请将获得针对目标案例的至少两个参考案例类别，并其对应的多个历史案例中，选择位于不同概率范围内的多个相似案例后，依据多个分类特征下目标案例的分类特征值，与不同参考案例类别对应的相似案例的分类特征值的比较结果，获得目标案例及多个相似案例各自的分类特征值的显示区域的显示状态，由于属于不同参考案例类别的相似案例的分类特征值显示区域的显示状态不同，使据此输出针对目标案例的分类特征差异表，能够直观指示目标案例属于哪个参考案例类别，即解释目标案例的模型决策结果，还能够指示目标案例的分类特征值的优化方向、最优分类特征值，以更好地满足用户需求。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为适应于本申请提出的模型策略解释实现方法的计算机设备的一可选示例的硬件结构示意图；

图2为适应于本申请提出的模型策略解释实现方法的电子设备的一可选示例的硬件结构示意图；

图3为本申请提出的模型策略解释实现方法的一可选示例的流程示意图；

图4为本申请提出的模型决策解释实现方法中，最终输出的分类特征差异表的可选示例；

图5为本申请提出的模型策略解释实现方法的又一可选示例的流程示意图；

图6为本申请提出的模型决策解释实现方法中，针对目标案例的概率路径的一可选构建方式示意图；

图7为本申请提出的模型决策解释实现方法的一可选场景的流程示意图；

图8为本申请提出的模型决策解释实现装置的一可选示例的结构示意图；

图9为本申请提出的模型决策解释实现装置的又一可选示例的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

应当理解，本申请中使用的“系统”、“装置”、“单元”和/或“模块”是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而，如果其他词语可实现相同的目的，则可通过其他表达来替换该词语。

如本申请和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其它的步骤或元素。由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

其中，在本申请实施例的描述中，除非另有说明，“/”表示或的意思，例如，A/B可以表示A或B；本文中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，在本申请实施例的描述中，“多个”是指两个或多于两个。以下术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。

另外，本申请中使用了流程图用来说明根据本申请的实施例的系统所执行的操作。应当理解的是，前面或后面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各个步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。

参照图1，为适应于本申请提出的模型策略解释实现方法的计算机设备的一可选示例的硬件结构示意图，本申请的计算机设备可以是服务设备或电子设备，该服务设备可以是一个或多个物理服务器，也可以是具有云计算能力的云服务器，但这种情况下，服务设备需要与本地的电子设备进行数据交互，以实现对本申请执行模型策略解释实现方法所得到的，针对目标案例的分类特征差异表的展示。对于本申请提出的电子设备，其可以包括但并不局限于智能手机、平板电脑、个人计算机(personal computer，PC)、上网本、个人数字助理(personal digital assistant，PDA)、增强现实技术(Augmented Reality，AR)设备、虚拟现实(Virtual Reality，VR)设备、车载设备、机器人、台式计算机等。图1示出的计算机设备仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

如图1所示，本申请提出的计算机设备可以包括：至少一个存储器11及至少一个处理器12，其中：

存储器11可以用于存储实现本申请实施例提出的模型决策解释实现方法的程序；处理器12可以用于加载并执行存储器11存储的程序，以实现本申请相应实施例提出的模型决策解释实现方法的各个步骤，具体实现过程可以参照但并不局限于本申请下文相应实施例的描述。

在本申请实施例中，存储器11可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件或其他易失性固态存储器件。处理器14，可以为中央处理器(Central Processing Unit，CPU)、特定应用集成电路(application-specificintegrated circuit，ASIC)、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件等。

在本申请提出的一些实施例中，若计算机设备为电子设备，如图2所示，该计算机设备还可以包括：天线；各种通信接口；电源模块；包含各类传感器的传感器模块；如感应触摸显示面板上的触摸事件的触摸感应单元、键盘、鼠标、摄像头、拾音器等至少一个输入设备；如显示器、扬声器、振动机构、灯等至少一个输出设备等，需要说明，图2并未示出本实施例列举的电子设备所包含各组成部件。

应该理解的是，图2所示的电子设备的结构并不构成对本申请实施例中电子设备的限定，在实际应用中，电子设备可以包括比图2所示的更多或更少的部件，或者组合某些部件，本申请在此不做一一列举。

参照图3，为本申请提出的模型策略解释实现方法的一可选示例的流程示意图，该方法可以适用于计算机设备，本申请对该计算机设备的产品形式及其组成结构不做限定，可以依据具体场景的需求确定。如图3所示，本申请提出的模型策略解释实现方法可以包括：

步骤S11，依据针对目标案例的模型决策结果，获得针对该目标案例的至少两个参考案例类别；

结合上文分析，本申请是要更清楚、直观地说明模型决策，以使用户理解该模型对案例分类的依据，因此，本申请可以选择任一待处理案例或样本案例确定为目标案例，如表格类型数据等，来解释分类模型对该目标案例处理所得到的模型决策结果。

由于分类模型决策的解释性算法通常包含：经过训练的分类模型、一组来自同一分类任务的测试数据，以及一个为特征分配重要性的计算模块这三部分，经过对这三部分的分析，本申请提出利用事实(Facts，即实际发生的事件，也就是模型决策结果)和对立事实(Foils，即与实际发生事件相比较的对立事件，也就是未发生的其他事件，或者说模型没有决策的结果)的概念，来建立一个解释算法，以解释人们对事件P发生的原因，以及为什么是事件P发生而不是其他事件(即对立事件Q)发生。

基于上述分析，本申请提出采用类比推理的形式，利用与历史案例比较的可解释性，来描述目标案例到相应类别的最佳案例的演进过程，以帮助用户理解如何一步步从当前得到更好的结果，从而理解模型决策。

因此，本申请为了解释目标案例的模型决策结果，可以先从数据库中，针对目标案例的至少两个参数案例类别，如该目标案例可能所属的至少两个案例类别，也就是与该目标案例相似的历史案例所属类别，本申请对该至少两个参数案例类别的具体获取方法不做限定。

应该理解的是，在获取的参数案例类别数量大于两个的情况下，每次仍可以针对其中的两个参数案例类别，按照下文描述的方式，解释该目标案例的模型决策结果，因此，本申请实施例可以直接获取与该目标案例最可能所属的两个参考案例类别，但并不局限于这种处理方式，可视情况而定。

步骤S12，从不同参考案例类别各自对应的多个历史案例中，选择位于不同概率范围内的多个相似案例；

需要说明，本申请上述概率可以是针对相似案例的模型决策结果为相应参考案例类别的概率，通常是利用该模型对相应相似案例进行分类处理时，所输出的该相似案例属于相应案例类别的概率，该概率数值越大，说明该相似案例越靠近该案例类别，并在该概率达到相应分类阈值时，将该相似案例划分为相应案例类别。

由此可见，对于不同案例类别来说，在确定属于该案例类别的多个历史案例过程中，各历史案例属于该案例类别的概率虽然都达到相应分类阈值的，但各历史案例对应的概率数值往往是不同，可以将属于该案例类别的多个历史案例中，具有最大概率的历史案例确定为该案例类别的最佳案例，在对新案例(如目标案例)进行分类处理或解释过程中，可以将该新案例可能所属的案例类别包含的各历史案例称为参考案例。

本申请实施例为了解决目标案例的模型决策结果，即该目标案例为什么属于该模型决策结果，如解释属于参考案例类别A，而不属于参考案例类别B，本实施例可以利用该目标案例与案例类别A、案例类别B各自包含的历史案例，与该目标案例的差异特点进行解释。结合上述分析，在采用推演解释方式中，本申请可以从确定的每一个参考案例类别包含的多个历史案例中，选择属于不同概率范围的历史案例，将选择出的历史案例记为相似案例，这些相似案例具有表明其属于相应参考案例类别的不同概率。

其中，对于属于同一参考案例类别的多个相似案例，按照其概率从小到大的顺序，相应相似案例的特征变化，能够表明该参考案例类别的模型决策内容，即能够表明这些相似案例为什么属于该参考案例类别，也就是说，具有什么样的案例特征，更有可能属于该参考案例类别，具体内容本申请不做详述，可视情况而定。

需要说明，对于同一参考案例类别选择出的多个相似案例，对于每一个概率范围可以对应有至少一个相似案例，且由于对于不同参考案例类别包含的历史案例数量及其具有的概率数值往往不同，在对历史案例具有的最小概率和最大概率之间进行分段，得到多个概率范围时，对于不同参考案例类别所得到的多个概率范围的数量，以及各概率范围的具体数值可以不同，可依据具体情况确定，本申请不做详述。

步骤S13，依据多个分类特征下目标案例的分类特征值，与不同参考案例类别对应的相似案例的分类特征值之间的比较结果，获得目标案例及多个相似案例各自的分类特征值的显示区域的显示状态；

结合上文对本申请技术构思的描述，为了解释目标案例的模型决策结果，可以从预设的多个分类特征上，对该目标案例与每一个参考案例对应的多个相似案例进行比较，即获取该目标案例和每一个相似案例各自的分类特征值，将同一分类特征所对应的，该目标案例与每一个相似案例的分类特征值进行比较，得到目标案例与每一个相似案例在该分类特征上的差异，本申请对该比较过程的具体实现方式不做限定，可以依据相应分类特征的内容确定。

由于本申请需要直观表明目标案例为什么属于某一参考案例类别，而不属于另一参考案例类别，需要在展示上述比较结果时，采用不同的显示状态，来分别展示目标案例与属于不同参考案例类别的相似案例的比较结果，也就是说本申请中，属于不同参考案例类别的相似案例的分类特征值的显示区域的显示状态不同，本申请为了方便描述，可以将对应不同参考案例类别的显示状态分别记为第一显示状态、第二显示状态等。

示例性，对于第一参考案例类别对应的多个相似案例的各分类特征值，可以控制相应的显示区域为第一色系(如红色系)；对于第二参考案例类别对应的多个相似案例的各分类特征值，可以控制相应的显示区域为第二色系(如蓝色系)等，该第一色系与第二色系不同，但并不局限于红色系、蓝色系。

应该理解，对于不同的显示状态，并不局限于显示区域的不同背景颜色，也可以通过其他显示状态，来区分属于不同参数案例类别的相似案例的分类特征值，如分类特征值的字体格式、颜色等，或者是在相应显示区域(如表格展示方式中的单元格区域)配置不同的背景图案等，能够从视觉上直接区别开属于不同参数案例类别的相似案例的分类特征值即可，本申请不做一一详述。

基于上述示例，将目标案例的各分类特征值与各相似案例的相应分类特征值进行比较，得到能够表明该目标案例的各分类特征值，与哪个概率范围内的相似案例的相应分类特征值匹配度更高的比较结果后，可以依据该比较结果，来确定该目标案例的分类特征值的显示区域的显示状态，与哪个参考案例类别对应的显示状态一致；还可以依据各相似案例与该目标案例的分类特征值的匹配度，进一步调整相应相似案例的分类特征值显示区域的显示状态，如调整为第三显示状态，使其区别于该目标案例的分类特征值显示区域的显示状态等。

例如，经过上述比较，对于第一分类特征，相对于目标案例与第二参考案例类别的相似案例的分类特征值的匹配度，目标案例的分类特征值与第一参考案例类别的相似案例的分类特征值更匹配，可以将该目标案例的该分类特征值的显示区域的显示状态确定为第一显示状态，即第一参考案例类别对应的显示状态，如上述第一色系等。

当然，本申请在确定目标案例的分类特征值的显示区域的显示状态时，并不局限于上文描述的确定方式，也可以预先设置显示状态确定规则，以按照该显示状态确定规则，依据上述比较结果，来确定目标案例分类特征值的显示区域的显示状态。而对于各相似案例各自的分类特征值的显示区域的显示状态，可以按照但并不局限于上述方式确定，以保证输出属于不同参考案例类别的相似案例的、分类特征值显示区域的显示状态不同即可，本申请对此不做详述。

步骤S14，按照获得的各分类特征值的显示区域的显示状态，输出针对目标案例的分类特征差异表。

继上文描述内容，本申请得到的分类特征差异表的第一维度可以为多个分类特征，第二维度可以为目标案例及多个相似案例，即属于不同参考案例类别的多个相似案例，对于属于同一参考案例类别的多个相似案例可以连续排列，具体可以按照这多个相似案例属于该参考案例类别的概率大小顺次排列。

可选的，为了表示这多个相似案例对应的概率大小，其显示区域的显示状态可以采用同一色系的不同像素深度的背景颜色，如按照概率从小到大的顺序，将同一参考案例类别的多个相似案例这一维度名称显示区域的显示状态配置为，越来越红的背景颜色，这样，用户能够直接从该背景颜色得知，红色越深的相似案例与该参考案例类别的决策越匹配，但并不局限于这种渐变背景颜色的直观表示方式，可视情况而定。

结合上述分析，参照图4所示的分类特征差异表，该分类特征差异表中每一行可以表示一种分类特征，每一列可以表示一个案例(不同参考案例类别的相似案例、目标案例)，需要说明，分类特征差异表包含的分类特征的类别数量，以及获取的各参考案例类别的相似案例的数量，并不局限于图4所示的分类特征差异表内容，可视情况而定，本申请仅以图4所示的分类特征差异表为例，来说明对各类相似案例、目标案例各自的分类特征值的直观展示方式，以使用户通过这种展示方式，能够直观理解目标案例所属案例类别，及其与该案例类别的最佳案例(如图4中各参考案例类别对应箭头顶端的一列所对应的相似案例)的差异等。

其中，在图4所示的分类特征差异表中，第一维度包含的多个分类特征的数量和内容，可以依据相应模型决策内容确定，可以选择对该模型决策做贡献较大的一些特征，对于选择出的这多个分类特征，可以按照贡献值大小顺次排列；当然，根据应用场景的需求，也可以利用针对该应用场景确定的模型对应的所有分类特征，实现对目标案例的模型决策结果的可解释性分析。可见，本申请对上述分类特征差异表包含的分类特征的数量及内容不做限定。

应该理解，上述分类特征差异表中，每一个单元中的内容可以为所在列对应的概率范围内的相似案例，在该单元所在行对应的分类特征上的分类特征值，图4所示的分类特征差异表并未示出所有案例的分类特征值。且对于适用于不同应用场景确定的模型决策，案例内容往往不同，模型对案例进行决策处理过程中，所依据该案例的各分类特征值得内容及表示方式也不同。示例性的，该分类特征值可以是如“yes”、“no”、“rur(returnedunrepaired，退回未修复)”、“ntf(no trouble found，未发现故障)”等内容，也可以是以程序代码来表示相应分类特征内容，本申请不做一一详述。

另外，对于目标案例的模型决策结果的可视化解释方式，并不局限于图4所示的分类特征差异表的方式，可以根据应用需求及用户个性化要求等确定，本申请在此不做一一详述。

综上所述，在本申请实施例中，为了解释目标案例的模型决策结果，本实施例将获取针对该目标案例的至少两个参考案例类别，并从不同参考案例类别各自对应的多个历史案例中，选择位于不同概率范围内的多个相似案例，将多个分类特征下目标案例的分类特征值，与不同参考案例类别对应的相似案例的分类特征值进行比较，从而依据所得比较结果，获得该目标案例及多个相似案例各自的分类特征值的显示区域的显示状态，进而据此输出针对目标案例的分类特征差异表，由于属于不同参考案例类别的相似案例的分类特征值的显示区域的显示状态不同，这样，用户直接观看该分类特征差异表中，目标案例所对应的各分量特征值显示区域的显示状态，即可得知该目标案例属于哪个参考案例类别，并能够从该参考案例类别对应的各相似案例，与目标案例的分类特征值的比较，和/或显示区域的显示状态的比较，直观解释该目标案例的模型决策结果，即目标案例为什么属于该参考案例类别，如何对其分类特征值进行优化，使其与该参考案例类别的匹配度更高，更好地满足用户需求。

参照图5，为本申请提出的模型策略解释实现方法的又一可选示例的流程示意图，本实施例可以是对上述实施例描述的模型策略解释实现方法的一可选细化实现方式，但并不局限于本实施例描述的这种细化实现方式。如图5所示，该方法可以包括：

步骤S21，将目标案例输入分类模型，得到目标案例的分类信息；

其中，分类模型的网络结构及其训练方法，可以依据应用场景的要求确定，也就是说，在不同应用场景下，该分类模型的网络结构及其输入、输出信息的内容可能不同，本申请在此不做一一详述。

通常情况下，对于上述分类模型可以基于机器学习算法(即一种人工智能算法，也可以是深度学习算法，可以依据具体应用场景的需求，来确定该机器学习算法的具体内容，本申请不做详述)，对针对相应应用场景确定的样本数据进行训练得到。这样，在确定该应用场景下需要处理的新案例，可以将其记为目标案例，输入训练好的分类模型进行处理，输出该目标案例的分类信息，其包含了该目标案例所属的案例类别。

步骤S22，基于该分类信息，获得与目标案例的类别相似度大于第一阈值的至少两个参考案例类别；

对于适用于任一应用场景的分类模型，在其模型决策作用下，可以获得该应用场景中案例被划分的多个案例类别，这样，在得到目标案例的分类信息，如分类模型对目标案例决策的概率分布，具体可以是目标案例属于各案例类别的概率，或者最大概率对应的目标案例类别等，为了解释该目标案例为什么具有该分类信息，可以从针对该应用场景确定的多个案例类别中，选择将目标案例确定为相应案例类别的概率达到特定的概率阈值所对应的案例类别，并将其记为参考案例类别。

可见，在上述可选实现方式中，可以将上述目标案例确定为相应案例类别的概率，记为该目标案例与该案例类别之间的类别相似度或者说匹配度，通常情况下，该类别相似度(或概率)越大，说明该目标案例为相应案例类别的可能性越大，也就是说，该目标案例具有的分类特征值，与模型决策中该案例类别所对应的分类特征值之间的匹配度或类别相似度越高。本申请实施例可以按照该类别相似度从大到小顺序，顺次选择若干个类别相似度较大的案例类别确定为参考案例类别，或如步骤S22描述的方式，顺次选择类别相似度大于第一阈值的案例类别为参考案例类别等。本申请对上述第一阈值的数值不做限定。

为了保证对目标案例的模型决策结果解释的可靠性，对于本申请选出的参考案例类别，可以包括与分类模型对目标案例的模型决策结果一致的案例类别，以及与模型决策最接近的案例类别等。本申请对上述参考案例类别的获取方式及其个数不做限定。

步骤S23，从不同参考案例类别各自对应的多个历史案例中，选择具有最高概率的历史案例确定为相应参考案例类别的最佳案例；

在实际应用中，针对每一个参考案例类别对应的多个历史案例，在利用上述分类模型，确定各历史案例所属案例类别过程中，分类模型输出的各历史案例的概率并不相同。通常情况下，概率越大，说明该历史案例为相应案例类别的可能性越高。

基于此，本申请为了得知不同概率的历史案例的分类特征演进过程，针对每一个参考案例类别对应的各历史案例的概率，按照大小顺序排序后，可以在得到最小概率和最大概率之间，划分为多个概率范围，具体划分方式不做限定。可见，本申请可以基于同一参考案例类别的最大概率分布，确定出该参考案例类别下的最佳案例。

需要说明，针对不同参考案例类别对应历史案例的概率划分，可以采用不同的划分方式，具体可以依据相应参考案例类别包含的多个历史案例的具体概率变化情况确定，也就是说，经过对不同的参考案例类别对应的多个历史案例的概率划分后，所得到的多个概率范围的个数及对应的概率数值可以不同，当然，也可以采用统一标准进行概率范围的分段划分，可视情况而定。

结合上文对分类模型输出的概率所表示的含义的描述，对于每一个参考案例类别对应的多个历史案例各自的概率中，最高概率对应的历史案例具有的分类特征值，与模型决策中该参考案例类别对应的分类特征值之前的匹配度最高，可以将这一历史案例记为最佳案例，即最能突出该参考案例类别的分类特征的案例，如上图4中两个箭头方向上最后一个案例维度的相似案例。关于各参考案例类别的最佳案例的获取方式，并不局限于上文描述的获取方式。

步骤S24，构建目标案例与不同最佳案例之间的概率路径；

继上述分析，本申请确定出针对目标案例的有限个参考案例类别后，后续只需要对这些参考案例类别下的历史案例进行分析，不需要对当前应用场景具有的所有案例类别进行分析，即实现了案例类别的降维处理。之后，本申请可以采用基于案例的推理(Case-Based Reasoning，CBR)的原理进行后续处理。

具体的，本实施例中，对于属于同一个参考案例类别的最佳案例，可以直接依据目标案例属于相应参考案例类别的概率，以及该最佳案例对应的最大概率，将该目标概率与该最佳案例分别作为两个端点，结合属于相应参考案例类别的其他历史案例的概率，生成从该目标案例相应最佳案例的概率路径。也就是说，本申请可以从目标案例这一端点开始，朝向不同最佳案例方向，连接所遍历到的属于相应参考案例类别的历史案例直至最佳案例，以得到参考案例类别的最佳案例与目标案例之间的概率路径。简单

可见，在构建的概率路径中，简而言之，概率路径就是通过连接概率空间中的一组点生成，这些点非常接近目标案例到最佳案例的直线。所以说，该概率路径的两端分别是目标案例和相应参考案例类别的最佳案例，中间部分是该参考案例类别中的其他历史案例。针对每一个概率路径，具体可以由各案例的概率大小，来确定其在该概率路径中的分布，并不要求各历史案例概率一定落到该概率路径上，也可以在该概率路径附近，但从整体上看，越靠近相应最佳案例的历史案例具有的概率越大。

示例性的，参照图6示出的所构建的概率路径的示意图，以参考案例类别A和参考案例类别B，作为与目标案例E的类别相似度最高的两个案例类别，按照上述方式得到参考案例类别A和参考案例类别B各自的最佳案例的概率，以及目标案例属于相应参考案例类别的概率后，可以对这两个概率进行差值运算，得到概率差A和概率差B，分别对应于参考案例类别A和参考案例类别B，之后，可以按照这两个概率差的大小，成比例构建目标案例与相应的两个最佳案例之间的概率路径，并使得所构建的概率路径的长度与相应的概率差正相关，这样，用户通过观看针对目标案例的各概率路径，就能够直接确定该目标案例与哪个参考案例类别更匹配。

如图6所示，连接目标案例E与各最佳案例所得到的连接线(如图6中的粗虚线)，可以表示与相应参考案例类别对应的概率路径，分布在该连接线两侧的圆点，可以表示属于该参考案例类别的历史案例，即上述实施例中的相似案例。在同一参考案例类别包含的历史案例数量较多的情况下，可以选择各概率具有代表性的有限个历史案例作为相似案例，来表示该参考案例类别的决策演进过程，并不要求所确定的一概率路径中，包含相应参考案例类别对应的所有历史案例。

需要说明，对于本申请上述概率路径的构建方式并不局限于上文描述的方式，且该概率路径的表示方式，也并不局限于图6所示的表示方式，还可以采用知识图谱、树形结构等方式来表示上述概率路径，可以依据实际应用要求、用户个性化展示要求等确定，本申请在此不做一一详述。

步骤S25，对概率路径进行区域划分，得到对应不同概率范围的多个概率区域；

步骤S26，确定多个概率区域各自对应的经过概率路径的一个历史案例，为目标案例对应的位于概率区域的相似案例；

结合上述实施例相应部分的描述，对于每一个参考案例类别对应的多个历史案例，本申请可以从中选择部分历史案例作为相似案例，通过与目标案例的分类特征值的比较，来直观地解释说明该目标案例的模型决策结果，且为了保证解释内容的可靠性及准确性，在选择相似案例时，可以在不同的概率范围中，分别选择一个或多个历史案例作为相似案例，具体实现方式并不局限于本实施例描述的实现方式。

仍以上图6所示的概率路径为例进行说明，结合上文对概率路径的描述，为了描述目标案例E的演化过程，可以将每一个概率路径划分为若干个区域，使得每个区域对应的概率范围不同。如图6所示的垂直于概率路径的细虚线，可以将每一个概率路径等分为若干段，每一段的概率范围都对应有至少一个历史案例，之后，可以从每一段的概率范围内，选择一个历史案例确定为相似案例。

需要说明，关于本申请各概率范围对应的相似案例的获取方式，并不局限于本申请上文描述的实现方式，可以根据实际应用需求，对上述获取方式进行适应性调整，均属于本申请保护范围，本申请不做一一详述。

步骤S27，依据分类信息，确定针对目标案例的多个分类特征；

本申请中，分类特征是用来区别不同案例类别的依据，结合上述实施例相应部分的描述，在不同应用场景下，面对不同的分类需求，针对目标案例的多个分类特征的内容及其数量往往不同，甚至会随着该应用场景下获取的样本案例增多，增加新的案例分类，并确定出新的分类特征。本申请对步骤S27的具体实现过程不做详述。

可选的，为了减少数据处理量，本申请也可以从当前场景下确定的所有分类特征中，选择出对案例分类贡献值较大的有限个分类特征，用以后续处理。所以，在该可选实施例的应用中，步骤S27获取的多个分类特征是上述分类模型中，对其分类决策贡献值较大的若干个分类特征，如上图4所示的10个分类特征，但并不局限此，本申请对用于解释模型决策的分类特征的数量和内容不做限定。

步骤S28，获取目标案例及多个相似案例各自具有的，多个分类特征分别对应的分类特征值；

步骤S29，针对属于不同参考案例类别的相似案例的各分类特征值的显示区域，配置不同的显示状态；

关于上述各案例的不同分类特征相应的分类特征值，可以从数据库中直接读取，本申请在此不做详述。为了区别属于不同参考类别的相似案例的分类特征值，结合上述分析，可以配置一一对应的不同显示状态，如图4所示，可以将不同参考类别的相似案例的显示区域的背景颜色配置为不同色系，使得同一参考类别的相似案例的显示区域的背景颜色为同一色系，当然，也可以采用其他显示状态，并不局限于背景颜色。

步骤S210，将同一分类特征下目标案例的分类特征值，与不同参考案例类别对应的相似案例的分类特征值进行比较，得到相应的比较结果；

步骤S211，依据该比较结果，配置目标案例的相应分类特征值的显示区域的显示状态；

结合上述实施例相应部分的描述，经过上述比较后，或确定存在比较结果一致的相似案例的分类特征值，可以配置目标案例的相应分类特征值的显示区域的显示状态，与该比较结果一致的相似案例的分类特征值的显示区域的显示状态一致。若确定不存在比较结果一致的相似案例的分类特征值，可以配置目标案例的相应分类特征值的显示区域的显示状态，区别于多个参考案例类别各自对应的相似案例的分类特征值的显示区域的显示状态。具体配置方式及显示结果本申请不做限定，可以根据应用需求及用户个性化要求实现，包括但并不局限于上文实施例相应部分的描述。

应该理解的，经过上述比较，若目标案例与相似案例的同一分类特征的分类特征值相反，可以区别配置这两个分类特征值显示区域的显示状态，以通过显示状态的差异，直观得知相应案例的分类特征值是否相同。

在一些实施例中，本申请可以从各案例的分类特征值中，选择出与应用要求相匹配的目标分类特征值，并将其与其他分类特征值的显示区域的显示状态区别开，以使当前用户能够直观、快速获得满足应用要求所需的分类特征值。

关于如何实现上述不同显示区域的显示状态的方法，本申请不做限定，但需要综合考虑如上文给出的各种配置要求，以保证最终得到的各分类特征值的显示区域的显示状态，能够满足各配置要求。

步骤S212，按照获得的各分类特征值的显示区域的显示状态，输出针对所述目标案例的分类特征差异表。

关于步骤S212的实现过程，可以参照上述实施例相应部分的描述，本实施例不再赘述。

参照图4所示的分类特征差异表，对于需要解释的目标案例Query可以位于该分类特征差异表的中间，而针对目标案例确定的两个参考案例类别包含的相似案例，按照所属参考案例类别，分布在该目标案例的两侧，并按照概率大小顺序排布，使得每个参考案例类别的最佳案例位于两侧边上，对于不同概率路径上的相似案例，可以采用不同的显示状态(如背景颜色等)标识。这样，用户可以基于分类特征差异表中从目标案例所在单元出发，同一方向上的各单元中的分类特征值的变化，得到分类模型中相应案例类别下的案例分类特征的优化方向，最终得到最佳案例。

其中，对于这些案例的三维分布的接近程度，可以采用如图6所示的散点图表示，图6中的每个点可以表示一个案例，但并不局限于图4和图6对目标案例决策结果的可视化解释方式。

综上所述，在本申请实施例中，为了解释目标案例的模型决策结果，将先确定与目标案例相似的至少两个参考案例类别各自的相似案例，之后，利用案例推理方式，将被认为比目标案例更好的最佳案例，通过在同一概率路径上连接的特征集合，为用户提供一个可理解的解释视角；而且，本实施例通过将目标案例与各类别的相似案例的分类特征值进行比较，依据比较结果，采用具有不同的显示状态的显示区域，来展示各案例的各分类特征值，从而实现了一种解释特征值变化过程的直观展示，提高被选为各类中更好案例的可能性路径，且通过建立具有相似/不同分类特征值的案例联盟，实现同一案例类别的目标优化一致性，有助于消除各案例的分类特征之间的关系歧义，使用户能够理解各分类特征之间的关系，降低特征模糊性。

在本申请提出的一些实施例中，参照图4所示的分类特征差异表，本申请还可以依据分类模型对各相似案例的分类处理结果，确定相应相似案例的最优分类特征值，其中，该最优分类特征值可以是相应相似案例具有的多个分类特征值中，相对于属于相应参考案例类别的多个历史案例，对确定该相似案例为该参考案例类别的贡献程度最大的分类特征值。如图6中最佳案例对应的某分类特征值等，本申请对最优分类特征值的内容不做限定，其通常是与当前应用要求相匹配的分类特征值。

之后，可以调整分类特征差异表中最优分类特征值的显示区域的显示状态，以突出显示该最优分类特征值，关于其显示区域的显示状态的具体调整实现方法本申请不做限定。需要说明，在该调整过程中，通常要求调整后的显示状态，仍符合上文描述的其他显示状态配置要求。

仍以图4所示的分类特征差异表为例进行说明，从该分类特征差异表中各单元的显示状态的整体来看，用户可以直观确定该分类特征差异表中主要的显示状态，即哪个参考案例类别对应的显示状态，可以认为目标案例的模型决策结果为该参考案例类别是最优结果。

而且，如上述一些实施例提出的优化方案，可以从输出的分类特征差异表中，得知最佳案例的最优分类特征值，这样，在对目标案例进行优化时，可以直接由该最优分类特征值，替换目标案例的相应分类特征，以实现对目标案例快速、直观的优化。同理，当用户需要针对性地对目标案例进行类别调整，可以直接从该分类特征差异表中，读取相应的目标分类特征值，直接对目标案例的相应分类特征值进行调整即可，非常方便、能够直观理解优化方案。

可选的，结合上文各实施例描述的模型决策解释实现方法，在展示各案例的多个分类特征过程中，可以按照各分量特征对模型决策的贡献值(即重要性)进行排序展示，以使用户直观了解各分类特征在模型决策中的权重。基于此，在上述实施例的基础上，该方法还可以包括：

获取多个分类特征在分类模型中的重要性排序，依据该重要性排序，调整分类特征差异表中，多个分类特征各自所在第一维度的表格高度或表格宽度；和/或，

按照同一参考案例类别对应的多个相似案例各自所在的概率范围大小，调整分类特征差异表中，多个相似案例格各自所在第二维度的表格宽度或表格高度。

其中，上述多个分类特征的重要性排序，可以依据这多个分类特征对模型决策的贡献值大小确定，具体确定过程不做详述。而关于多个相似案例各自所在的概率范围的确定，可以参照上述实施例相应部分的描述，本实施例在此不做赘述。

示例性，在本申请可选实施例的实际应用中，参照上图4所示的分类特征差异表，可以将该分类特征差异表中各分类特征所在的行高，配置为与相应分类特征值的重要性排序正相关，即分类特征的重要性越高，对应的行高相对越大，且该分类特征行号越靠上；反之，分类特征的重要性越低，对应的行高相对越小，且该分类特征行号越靠小，因此，分类特征差异表中第一个分类特征，即分类特征1可以表示对模型决策贡献最大的分类特征。

同理，对于同一参考案例类别对应的多个相似案例的概率排序，除了按照上文描述的通过调整同一色系的颜色深度，来表示该概率排序结果，本申请还可以通过调整各相似案例所在列的列宽来表示，或者由图4所示的分类特征差异表中，相似案例与目标案例之间的距离来反比例表示，即相似案例与目标案例的距离越大，该相似案例为相应参考案例类别的概率越大等，本申请对分类特征差异表对依据上述比较结果的可视化表示方式不做限定，可以依据用户个性化要求、应用场景需求等确定，本申请不做一一详述。

基于上述各实施例描述的模型决策解释实现方法，下面将以一个三分类模型，即案例类别分别为NO、LOW、HIGH的应用场景为例，如何实现对被解释样本即目标案例Query的模型决策结果进行可视化解释的过程进行描述。

因此，在该应用场景下，参照图7所示的场景示意图，将目标决策输入该分类模型M后，可以输出该模型决策结果LOW，此时，模型决策结果LOW为事实，与之相对的，模型决策结果NO和HIGH为对立事实，结合上文对本申请技术构思的描述，本实施例将以事实和对立事实之间的差异性，来解释为什么目标案例的模型决策结果为LOW，而不是NO，也不是HIGH。

结合上述实施例相应部分的描述，本申请可以利用分类模型M对目标案例进行处理，得到的分类信息，构建针对该目标案例的概率空间结构，之后，可以基于案例推理原理，从而基于此对数据库存储的各案例类别对应的历史案例进行案例检索，得到目标案例的相似案例，如图7所述，属于两个不同案例类别的相似案例，以此构建如图6所示的概率路径，具体构建过程不做详述。

之后，本申请可以采用如Shapley加法解释(简称SHAP)算法，来获取适用于当前应用场景的各分类特征的SHAP值，即根据各分类特征在分类模型中贡献值，为各分类特征配置相应的特征得分，从而按照该特征得分，对同一案例类别(其包含LOW这一类别，另一类别可以是NO和/或HIGH)的多个相似案例进行重要性排序，可以将其体现在最终得到的分类特征差异表中。

确定上述多个相似案例和多个分类特征后，可以按照上述实施例描述，据此实现对目标案例的模型决策结果的可视化解释，并在可视化解释界面中呈现上升分类特征差异表。在该升分类特征差异表中，位于中间列的目标案例与各行交叉单元的显示状态，可以直接表明该目标案例的模型决策结果LOW。且用户可以依据该升分类特征差异表呈现的内容，从不同案例类别角度考虑，该目标案例与相似案例之间共享的更重要的分类特征，以实现对目标案例的优化，满足应用需求。

需要说明，本申请对上述案例所指代的内容不做限定，可以是文本数据，如字词、句子、段落等；也可以是图像数据，如一个或多个像素、部分像素片段等；也可以是某一项业务或访问请求等等，可以依据具体应用场景来确定案例内容，本申请不做一一详述。

参照图8，为本申请提出的模型决策解释实现装置的一可选示例的结构示意图，该装置可以适用于计算机设备，如图8所示，该装置可以包括：

参考案例类别获得模块21，用于依据针对目标案例的模型决策结果，获得针对所述目标案例的至少两个参考案例类别；

相似案例选择模块22，用于从不同参考案例类别各自对应的多个历史案例中，选择位于不同概率范围内的多个相似案例；

其中，所述概率是针对所述相似案例的模型决策结果为相应参考案例类别的概率；

显示状态获得模块23，用于依据多个分类特征下所述目标案例的分类特征值，与不同参考案例类别对应的相似案例的分类特征值之间的比较结果，获得所述目标案例及所述多个相似案例各自的分类特征值的显示区域的显示状态；

其中，属于不同参考案例类别的相似案例的分类特征值的显示区域的显示状态不同；

分类特征差异表输出模块24，用于按照获得的各分类特征值的显示区域的显示状态，输出针对所述目标案例的分类特征差异表.。

其中，所述分类特征差异表的第一维度为多个所述分类特征，第二维度为所述目标案例及所述多个相似案例。

在一些实施例中，如图9所示，上述参考案例类别获得模块21可以包括：

分类处理单元211，用于将目标案例输入分类模型，得到所述目标案例的分类信息；

参考案例类别获得单元212，用于基于所述分类信息，获得与所述目标案例的类别相似度大于第一阈值的至少两个参考案例类别。

可选的，参照图9，上述相似案例选择模块22可以包括：

最佳案例选择单元221，用于从不同参考案例类别各自对应的多个历史案例中，选择具有最高概率的历史案例确定为相应参考案例类别的最佳案例；

概率路径构建单元222，用于构建所述目标案例与不同最佳案例之间的概率路径。

其中，处于所述概率路径中，越靠近相应最佳案例的历史案例具有的概率越大；

在一种可能的实现方式中，概率路径构建单元222可以包括：

概率路径构建子单元，用于从所述目标案例开始，朝向不同最佳案例方向，连接所遍历到的属于相应参考案例类别的历史案例直至所述最佳案例，得到所述参考案例类别的最佳案例与所述目标案例之间的概率路径。

概率区域得到单元223，用于对所述概率路径进行区域划分，得到对应不同概率范围的多个概率区域；

相似案例确定单元224，用于确定所述多个概率区域各自对应的经过所述概率路径的一个历史案例，为所述目标案例对应的位于概率区域的相似案例。

结合上述实施例描述的装置组成结构，参照图9，在本申请提出的又一些实施例中，上述显示状态获得模块23可以包括：

分类特征确定单元231，用于依据所述分类信息，确定针对目标案例的多个分类特征；

分类特征值获取单元232，用于获取所述目标案例及所述多个相似案例各自具有的，所述多个分类特征分别对应的分类特征值；

第一配置单元233，用于针对属于不同参考案例类别的相似案例的各分类特征值的显示区域，配置不同的显示状态；

第二配置单元234，用于获取同一分类特征下所述目标案例的分类特征值，与不同参考案例类别对应的相似案例的分类特征值之间的比较结果，配置所述目标案例的相应分类特征值的显示区域的显示状态。

可选的，第二配置单元234可以包括：

比较子单元，用于将同一分类特征下所述目标案例的分类特征值，与不同参考案例类别对应的相似案例的分类特征值进行比较；

第一配置子单元，用于在存在比较结果一致的相似案例的分类特征值的情况下，配置所述目标案例的相应分类特征值的显示区域的显示状态，与所述比较结果一致的相似案例的分类特征值的显示区域的显示状态一致；

第二配置子单元，用于在不存在比较结果一致的相似案例的分类特征值的情况下，配置所述目标案例的相应分类特征值的显示区域的显示状态，区别于所述多个参考案例类别各自对应的相似案例的分类特征值的显示区域的显示状态。

结合上述实施例描述的装置组成结构，该装置还可以包括：

最优分类特征值确定模块，用于依据所述分类模型对各所述相似案例的分类处理结果，确定相应相似案例的最优分类特征值；

其中，所述最优分类特征值是相应相似案例具有的多个分类特征值中，相对于属于相应参考案例类别的多个历史案例，对确定该相似案例为该参考案例类别的贡献程度最大的分类特征值；

显示状态调整模块，用于调整所述分类特征差异表中所述最优分类特征值的显示区域的显示状态。

在本申请提出的又一些实施例中，上述装置还可以包括：

第一表格调整模块，用于获取所述多个分类特征在所述分类模型中的重要性排序，并依据所述重要性排序，调整所述分类特征差异表中，所述多个分类特征各自所在第一维度的表格高度或表格宽度；和/或，

第二表格调整模块，用于按照同一所述参考案例类别对应的所述多个相似案例各自所在的概率范围大小，调整所述分类特征差异表中，所述多个相似案例格各自所在第二维度的表格宽度或表格高度

需要说明的是，关于上述各装置实施例中的各种模块、单元等，均可以作为程序模块存储在存储器中，由处理器执行存储在存储器中的上述程序模块，以实现相应的功能，关于各程序模块及其组合所实现的功能，以及达到的技术效果，可以参照上述方法实施例相应部分的描述，本实施例不再赘述。

本申请还提供了一种存储介质，其上可以存储计算机程序，该计算机程序可以被处理器调用并加载，以实现上述实施例描述的模型决策解释实现方法的各个步骤。

本申请还提出了一种计算机设备，如上图1和图2所示，该计算机设备包括至少一个存储器及至少一个处理器，处理器加载并执行存储器存储的程序，以实现上述实施例描述的模型决策解释实现方法，关于该计算机设备的具体组成结构可以参照上述计算机设备实施例的描述，本实施例不做赘述。

需要说明，在计算机设备为服务设备的场景下，计算机设备按照上述方式得到并输出针对所述目标案例的分类特征差异表，具体可以指计算机设备将该分类特征差异表发送至电子设备进行展示。

而在计算机设备为电子设备的场景下，针对目标案例的模型决策结果可以由该电子设备自身处理得到，也可以是电子设备接收服务设备发送的该模型决策结果，本申请对此不做限定，可以依据实际场景对各类设备的性能要求，以及相应设备自身具有的性能确定。

最后，需要说明，本说明书中各个实施例采用递进或并列的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置、计算机设备而言，由于其与实施例公开的方法对应，所以描述的比较简单，相关之处参见方法部分说明即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims

1.一种模型决策解释实现方法，所述方法用于处理图像或文本中的表格数据，所述方法包括：

2.根据权利要求1所述的方法，所述依据针对目标案例的模型决策结果，获得针对所述目标案例的至少两个参考案例类别，包括：

将目标案例输入分类模型，得到所述目标案例的分类信息；

3.根据权利要求1或2所述的方法，所述从不同参考案例类别各自对应的多个历史案例中，选择位于不同概率范围内的多个相似案例，包括：

4.根据权利要求3所述的方法，所述构建所述目标案例与不同最佳案例之间的概率路径，包括：

5.根据权利要求2所述的方法，所述依据多个分类特征下所述目标案例的分类特征值，与不同参考案例类别对应的相似案例的分类特征值之间的比较结果，获得所述目标案例及所述多个相似案例各自的分类特征值的显示区域的显示状态，包括：

依据所述分类信息，确定针对目标案例的多个分类特征；

6.根据权利要求5所述的方法，所述获取同一分类特征下所述目标案例的分类特征值，与不同参考案例类别对应的相似案例的分类特征值之间的比较结果，配置所述目标案例的相应分类特征值的显示区域的显示状态，包括：

若不存在比较结果一致的相似案例的分类特征值，配置所述目标案例的相应分类特征值的显示区域的显示状态，区别于所述不同参考案例类别各自对应的相似案例的分类特征值的显示区域的显示状态。

7.根据权利要求5或6所述的方法，所述方法还包括：

8.根据权利要求5或6所述的方法，所述方法还包括：

按照同一所述参考案例类别对应的所述多个相似案例各自所在的概率范围大小，调整所述分类特征差异表中，所述多个相似案例各自所在第二维度的表格宽度或表格高度。

9.一种模型决策解释实现装置，所述装置用于处理图像或文本中的表格数据，所述装置包括：

10.一种计算机设备，所述计算机设备包括：至少一个存储器及至少一个处理器，其中：

所述存储器，用于存储实现如权利要求1~8任一项所述的模型决策解释实现方法的程序；

所述处理器，用于加载并执行所述存储器存储的所述程序，以实现如权利要求1~8任一项所述的模型决策解释实现方法的各个步骤。