CN110866609B - 解释信息获取方法、装置、服务器和存储介质 - Google Patents

Abstract

本公开提供了一种解释信息获取方法、装置、服务器和存储介质，属于机器学习技术领域。包括：通过确定第一输入数据中的目标特征信息和调整量，对第一输入数据进行调整，通过对比调整后的第二输入数据对应的第二输出的数据与第一输出数据，确定目标特征信息对该第一输出数据的影响度，根据该影响度，通过该第一输入数据、第一输出数据、第二输入数据和第二输出数据，确定该第一输入数据通过该第一机器学习模型得到该第一输出数据的解释信息。通过确定第一输入数据的特征信息中对输出数据的影响，自动化地对第一机器学习模型进行解释归因，使得第一机器学习模型产生的结果可信度更高，从而拓宽了机器学习模型的使用范围。

Description

解释信息获取方法、装置、服务器和存储介质

技术领域

本公开涉及机器学习技术领域，特别涉及一种解释信息获取方法、装置、服务器和存储介质。

背景技术

通过机器学习技术可以建立机器学习模型，将输入数据输入机器学习模型中，可以直接输出该输入数据对应的输出数据。而随着机器学习技术的发展，机器学习算法越来越复杂，根据机器学习算法创建的机器学习模型也越来越复杂，使得用户难以理解机器学习模型根据输入数据得到输出数据的逻辑，造成对机器学习模型的不信任。因此，需要获取该机器学习模型的解释信息，对该机器学习模型根据输入数据得到输出数据的逻辑进行解释。

相关技术中，对于简单的机器学习模型，该机器学习模型一般依据决策树或线性回归等原理进行构建的，因此，可以根据决策树或线性回归等原理对该机器学习模型根据输入数据得到输出数据的逻辑进行解释。

上述相关技术中，只能对依据决策树或线性回归等原理建立的简单的机器学习模型进行解释，而不是依据决策树或线性回归等原理建立的机器学习模型无法进行解释，造成复杂机器学习模型的可信度低，导致机器学习模型的使用范围较窄。

发明内容

本公开实施例提供了一种解释信息获取方法、装置、服务器和存储介质。用于解决复杂机器学习模型的可信度低，导致机器学习模型的使用范围较窄的问题。所述技术方案如下：

一方面，提供了一种解释信息获取方法，所述方法包括：

通过第一机器学习模型对第一输入数据进行预测，得到第一输出数据；

根据所述第一输入数据的多个特征信息的分布信息，确定所述第一输入数据中的目标特征信息和所述目标特征信息的调整量；

根据所述目标特征信息和所述目标特征信息的调整量，对所述第一输入数据进行调整，得到多个第二输入数据，通过所述第一机器学习模型对所述多个第二输入数据进行预测，得到多个第二输出数据；

根据所述第一输出数据和所述多个第二输出数据，确定每个第二输入数据中的目标特征信息对输出数据的影响度；

根据每个第二输入数据中的目标特征信息对输出数据的影响度，生成所述第一输入数据通过所述第一机器学习模型得到所述第一输出数据的解释信息。

另一方面，提供了一种解释信息获取装置，所述装置包括：

第一预测模块，用于通过第一机器学习模型对第一输入数据进行预测，得到第一输出数据；

第一确定模块，用于根据所述第一输入数据的多个特征信息的分布信息，确定所述第一输入数据中的目标特征信息和所述目标特征信息的调整量；

数据调整模块，用于根据所述目标特征信息和所述目标特征信息的调整量，对所述第一输入数据进行调整，得到多个第二输入数据，通过所述第一机器学习模型对所述多个第二输入数据进行预测，得到多个第二输出数据；

第二确定模块，用于根据所述第一输出数据和所述多个第二输出数据，确定每个第二输入数据中的目标特征信息对输出数据的影响度；

生成模块，用于根据每个第二输入数据中的目标特征信息对输出数据的影响度，生成所述第一输入数据通过所述第一机器学习模型得到所述第一输出数据的解释信息。

在一种可能的实现方式中，所述第二确定模块，还用于对于每个第二输出数据，确定所述第一输出数据与所述第二输出数据之间的第一变化量；确定所述第一输入数据和所述第二输出数据对应的第二输入数据之间的第二变化量；根据所述第一变化量、所述第二变化量和所述第二输入数据中的目标特征信息的数量，确定所述第二输出数据对应的第二输入数据中的目标特征信息对输出数据的影响度，所述影响度分别与所述第一变化量和所述数量正相关、与所述第二变化量负相关。

在另一种可能的实现方式中，所述第二确定模块，还用于根据每个第二输入数据中的目标特征信息对输出数据的影响度，从所述多个第二输入数据对应的第一变化量和第二变化量中，选择影响度大于第一预设阈值的至少一组目标变化量；将所述至少一组目标变化量组成所述第一输入数据通过所述第一机器学习模型得到所述第一输出数据的解释信息。

在另一种可能的实现方式中，所述装置还包括：

第三确定模块，用于根据所述至少一组目标变化量，确定所述至少一组目标变化量对应的目标特征信息的至少一个目标特征类别；

更新模块，用于根据所述至少一个目标特征类别，更新用于从输入数据中提取特征信息的特征类别。

在另一种可能的实现方式中，所述第一确定模块，还用于根据所述多个特征信息的分布信息和所述多个特征信息，确定每个特征信息对应的编码值；将所述每个特征信息对应的编码值输入第一策略网络模型中，得到所述第一输入数据中的目标特征信息和调整量。

在另一种可能的实现方式中，所述装置还包括：

获取模块，用于获取训练数据，所述训练数据包括第三输入数据和第三输出数据，所述第三输出数据为所述第三输入数据通过第二机器学习模型得到的输出数据；

第四确定模块，用于根据所述第三输入数据和所述第三输出数据，确定正样本对应的目标特征信息和调整量；

模型训练模块，用于根据所述正样本对应的目标特征信息和调整量，对第二策略网络模型进行模型训练，得到所述第一策略网络模型。

在另一种可能的实现方式中，所述第四确定模块，还用于将所述第三输入数据输入所述第二策略网络模型中，得到所述第三输入数据对应的多个目标特征信息和调整量；根据所述多个目标特征信息和调整量，对所述第三输入数据进行调整，得到多个第四输入数据，通过所述第二机器学习模型对所述多个第四输入数据进行预测，得到多个第四输出数据；根据所述第三输出数据和所述多个第四输出数据，确定每个第四输入数据中的目标特征信息对输出数据的影响度；根据所述每个第四输入数据中的目标特征信息对输出数据的影响度，从所述多个目标特征信息和调整量中选择正样本对应的目标特征信息和调整量；所述正样本对应的目标特征信息对输出数据的影响度大于第二预设阈值。

在另一种可能的实现方式中，所述模型训练模块，还用于将所述正样本对应的目标特征信息和调整量对输出数据的影响度作为所述第二策略网络模型的损失值；根据所述第二策略网络模型的损失函数和所述损失值，调整所述第二策略网络模型的模型参数，得到第三策略网络模型；当对所述模型参数的调整量不在预设范围内时，根据所述第三策略网络模型获取正样本对应的特征信息和调整量；根据所述第三策略网络模型获取的正样本对应的目标特征信息和调整量，再次调整所述第三策略网络模型中的模型参数，直到所述第三策略网络模型的模型参数的调整量在预设范围内，确定完成对所述第二策略网络模型的模型训练，得到所述第一策略网络模型。

在另一种可能的实现方式中，所述装置还包括：

第二预测模块，用于通过第三机器学习模型对所述第一输入数据进行预测，得到第五输出数据；

第五确定模块，用于将所述解释信息确定为所述第一输入数据通过所述第三机器学习模型得到所述第五输出数据的解释信息；

其中，所述第一机器学习模型和所述第三机器学习模型为同类机器学习模型，且所述第三机器学习模型的卷积层数量大于所述第一机器学习模型的卷积层数量。

在另一种可能的实现方式中，所述装置还包括：

存储模块，用于关联所述解释信息和所述第一输出数据的数据类别，将所述解释信息添加到解释信息集合中；

第三预测模块，用于当通过所述第一机器学习模型对第六输入数据进行预测，得到第五输出数据时，确定所述第五输出数据的数据类别；

选择模块，用于根据所述数据类别，以及解释信息与数据类别的关联关系，从所述解释信息集合中选择目标解释信息，所述目标解释信息用于对所述第六输入数据通过所述第一机器学习模型得到所述第五输出数据进行解释。

另一方面，提供了一种服务器，所述服务器包括处理器和存储器，所述存储器中存储至少一条程序代码，所述至少一条程序代码由所述处理器加载并执行，以实现如本公开实施例中方法实施例中所述的解释信息获取方法中所执行的操作。

另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储至少一条程序代码，所述至少一条程序代码由处理器加载并执行，以实现如本公开实施例中方法实施例中所述的解释信息获取方法中所执行的操作。

本公开实施例提供的技术方案带来的有益效果是：

在本公开实施例中，通过确定多个第一输入数据中的目标特征信息和调整量，对第一机器学习模型中第一输入数据进行调整，通过对比调整后的第二输入数据对应的第二输出的数据与第一输入数据对应的第一输出数据，确定该第一输入数据中的目标特征信息和调整量中的目标特征信息对该第一输出数据的影响度，根据该影响度，通过该第一输入数据、第一输出数据、第二输入数据和第二输出数据，确定该第一输入数据通过该第一机器学习模型得到该第一输出数据的解释信息。通过调整第一输入数据的特征信息的分布，调整第一输入数据，从而得到该第一输入数据中对第一输出数据影响较大的特征信息，从而第一服务器可以自动化地对第一机器学习模型进行解释归因，为第一机器学习模型提供了可靠的解释信息，使得第一机器学习模型产生的结果可信度更高，更值得的信赖，从而拓宽了机器学习模型的使用范围。

附图说明

为了更清楚地说明本公开实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本公开实施例示出的一种强化学习的示意图；

图2是根据本公开示例性实施例示出的一种解释信息获取方法的实施环境；

图3是根据本公开示例性实施例示出的一种解释信息获取装置的框图；

图4是根据本公开示例性实施例示出的一种解释信息获取方法的应用场景示意图；

图5是根据本公开示例性实施例示出的一种策略网络模型的训练方法的流程图；

图6是根据本公开示例性实施例示出的一种解释信息获取方法流程图；

图7是根据本公开示例性实施例示出的一种解释信息获取方法流程图；

图8是根据本公开示例性实施例示出的一种解释信息获取方法流程图；

图9是根据本公开示例性实施例示出的一种解释信息获取装置的框图；

图10是根据本公开示例性实施例示出的一种服务器的框图。

具体实施方式

为使本公开的目的、技术方案和优点更加清楚，下面将结合附图对本公开实施方式作进一步地详细描述。

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

随着人工智能技术研究和进步，人工智能(Artificial Intelligence,AI)技术在多个领域展开研究和应用，例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等，相信随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。

其中，人工智能是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。

人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

机器学习(Machine Learning,ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习等技术。

强化学习是机器学习的一种方式，参见图1，图1是根据本公开实施例示出的一种强化学习的示意图。强化学习强调如何基于环境而行动，以取得最大化的预期利益。通过模仿有机体如何在环境给予的奖励或惩罚的刺激下，逐步形成对刺激的预期，产生能获得最大利益的习惯性行为。

在本公开中，服务器获取第一机器学习模型的第一输入数据，对该第一输入数据中的至少一个特征信息进行调整，得到调整后的第二输入数据，确定该第一输入数据通过该第一机器学习模型得到的第一输出数据，以及确定该第二输入数据通过该第一机器学习模型得到的第二输出数据。通过对比该第一输出数据和第二输出数据，确定第一输入数据中至少一个目标特征信息对该第一输出数据的影响度，从而确定该第一输入数据中随输出结果影响较大的至少一个特征信息，根据该至少一个特征信息，确定该第一输入数据通过第一机器学习模型得到第一输出数据的解释信息。

图2是根据本公开示例性实施例示出的一种解释信息获取方法的实施环境。参见图2，该实施环境包括：第一服务器201和第二服务器202。该第一服务器201和第二服务器202之间可以通过网络连接进行数据传输。其中，第一服务器201中部署有解释信息获取装置，该第二服务器202中存储第一机器学习模型。该解释信息获取装置用于为该第一机器学习模型获取从输入数据到输出数据的解释信息。

需要说明的一点是，该第一服务器201和第二服务器202可以为相同的服务器也可以为不同的服务器。另外，该第一服务器201和第二服务器202可以为一个服务器，也可以为由多个服务器组成的服务器集群，还可以为云服务器，在本公开实施例中，对此不作具体限定。

其中，该解释信息获取装置包括：数据调整模块和解释信息确定模块。

该数据调整模块分别与该第二服务器202和解释信息确定模块连接。该数据调整模块，用于接收该第二服务器202发送的第一输入数据和该第一输入数据输入第一机器学习模型得到的第一输出数据；通过该数据调整模块中的策略网络模型，对该第一输入数据中的至少一个特征信息进行调整，得到多个调整后的第二输入数据；将该多个第二输入数据发送给第二服务器202，第二服务器202通过该第二服务器202中的第一机器学习模型，得到每个第二输入数据对应的第二输出数据，第二将该多个第二输出数据发送给数据调整模块。数据调整模块，还用于接收该多个第二输出数据，将该第一输入数据、第二输入数据、第一输出数据和第二输出数据输入至该解释信息确定模块。该解释信息确定模块，用于接收该第一输入数据、第二输入数据、第一输出数据和第二输出数据，根据该第一输入数据、第二输入数据、第一输出数据和第二输出数据，确定该第一输出数据中对该第一输出数据影响度较大的特征信息，根据该特征信息，确定该第一输入数据通过给第一机器学习模型得到该第一输出数据的解释信息。

在一种可能的实现方式中，参见图3，该第一服务器201中部署的解释信息获取装置的结构如图3所示。该数据调整模块包括特征信息统计单元、状态信息编码单元、策略网络单元和行为选择单元。

其中，该特征信息统计单元分别与该状态信息编码单元和第二服务器202连接；用于接收第二服务器202发送的第一输入数据和第一输出数据，根据特征提取规则，确定该第一输入数据和第一输出数据的多个特征信息以及该多个特征信息的分布信息，将该多个特征信息和该多个特征信息的分布信息发送给状态编码单元。

该状态编码单元分别与该特征信息统计单元和该策略网络单元连接；用于接收特征信息统计单元发送的多个特征信息和该多个特征信息的分布信息，根据该多个特征信息和该多个特征信息的分布信息，确定每个特征信息的编码值，将该每个特征信息的编码值发送给策略网络单元。

该策略网络单元分别与该状态编码单元和该行为选择单元连接；用于接收该状态编码单元发送的每个特征信息的编码值，根据该每个特征信息的编码值，确定该第一输入数据中的目标特征信息和调整量，将该目标特征信息和调整量发送给行为选择单元。

当行为选择单元分别与该策略网络单元、第二服务器202和解释信息确定模块连接；用于将该目标特征信息和调整量分别发送给第二服务器202，该第二服务器202还用于根据该目标特征信息和调整量对该第一输入数据进行调整，得到多个第二输入数据，将该多个第二输入数据输入至第一机器学习模型中，得到该多个第二输入数据对应的多个第二输出数据，将该多个第二输出数据发送给该第一服务器201。该行为选择单元还用于将该第一输入数据、第一输出数据、多个第二输入数据和多个第二输出数据发送给解释信息确定模块，该解释信息确定模块通过该第一输入数据、第一输出数据、多个第二输入数据和多个第二输出数据确定该第一输入数据通过给第一机器学习模型得到该第一输出数据的解释信息。

在另一种可能的实现方式中，继续参见图3，该解释信息确定模块包括奖励回传单元和知识编码单元。

其中，该奖励回传单元分别与该行为选择单元和指示编码单元连接，用接收该行为选择单元发送的第一输入数据、第一输出数据、多个第二输入数据和多个第二输出数据，根据该第一输入数据、第一输出数据、多个第二输入数据和多个第二输出数据确定每个第二输入数据中的目标特征信息对输出数据的影响度，确定影响度大于第一预设阈值的目标特征信息，将该目标特征信息对应的第一输入数据、第一输出数据、第二输入数据和第二输出数据发送给知识编码单元。

知识编码单元，用于接收该奖励回传单元发送的该目标特征信息对应的第一输入数据、第一输出数据、第二输入数据和第二输出数据，根据该第一输入数据和第二输入数据确定第一变化量，根据该第二输出数据和第二输入数据却额定第二变化量，根据该第一变化量和第二变化量生成该第一输入数据通过给第一机器学习模型得到该第一输出数据的解释信息。

该奖励回传单元还与该策略网络单元连接，用于在对该策略网络单元中的第二策略网络模型进行训练，得到第一策略网络模型时，向该策略网络单元回传正样本对应的特征信息和调整量，该策略网络单元还用于接收该奖励回传单元发送的正样本对应的特征信息和调整量，根据该正样本对应的特征信息和调整量对该第二策略网络模型的模型参数进行调整，直到得到该第一策略网络模型。

该指示编码单元还与该特征信息统计单元连接，该知识编码单元还用于将得到的解释信息发送给特征信息统计单元，该特征信息统计单元还用于接收该指示编码单元发送的解释信息，根据该解释信息调整该特征信息统计单元中的特征提取规则。

需要说明的一点是，本公开实施例中提供的解释信息的获取方法可以应用在对该第一机器学习模型进行训练的过程中，也可以应用在第一机器学习模型的使用过程中。

当该解释信息的获取方法应用在第一机器学习模型的训练过程中时，可以通过对该第一机器学习模型的训练过程，将每个训练样本对应的解释信息存储在同一集合中，得到该第一机器学习模型的解释信息集合。如图4所示，当用户使用第一机器学习模型时，可以通过该第一机器学习模型对应的解释信息集合选择可解释性高的第一机器学习模型，通过该第一机器学习模型对任一输入数据进行预测，得到预测结果时，可以根据该预测结果，从该第一机器学习模型对应的解释信息集合中选择该预测结果对应的目标解释信息，通过该目标解释信息，对该输入数据通过该第一机器学习模型得到该输出结果进行解释。

通过从已知的解释信息集合中选择目标解释信息，得到该第一机器学习模型的解释信息，对该第一机器学习模型进行解释，提高了复杂的机器学习模型的可解释性，从而提高了复杂的机器学习模型的可信度。另外，通过直接从解释信息集合中选择目标解释信息，节省了对输入数据和预测结果的统计分析，提高了获取解释信息的效率。

在通过本公开中提供的解释信息获取方法确定第一机器学习模型的解释信息时，需要先获取第二策略网络模型，对该第二策略网络模型进行训练，得到该第一策略网络模型。该第一策略网络模型为强化学习模型，例如，该第一策略网络模型可以为基于DQN(DeepQuality Network，深度品质学习网络)训练的模型或者基于策略梯度网络训练的模型等，在本公开实施例中，对该第一策略网络模型的网络类型不作具体限定。图5是根据本公历示例性实施例提供的一种策略网络模型的训练方法的流程图，如图5所示，该方法包括以下步骤：

步骤501：第一服务器获取训练数据，该训练数据包括第三输入数据和第三输出数据，该第三输出数据为该第三输入数据通过第二机器学习模型得到的输出数据。

第一服务器获取第三输入数据，将该第三输入数据输入至第二机器学习模型中，接收该第二机器学习模型输出该第三输出数据。当该第一服务器和第二服务器为同一服务器时，也即该第二机器学习模型为存储在该第一服务器中的模型时，第一服务器直接将该第三输入数据输入至该第二机器学习模型中，得到该第三输出数据；当该第一服务器和第二服务器为不同的服务器时，也即当该第二机器学习模型存储在该第二服务器中时，第一服务器将该第三输入数据发送给第二服务器，第二服务器将该第三输入数据输入至第二机器学习模型中，得到第三输出模型，第二服务器将该第三输出模型发送给第一服务器，第一服务器接收第二服务器发送的第三输出数据。

其中，该第三输入数据可以为图像数据、文本数据、视频数据或音频数据等，相应的，该第三输出数据可以为图像类别、语义类别、视频处理结果或音频识别结果等。在本公开实施例中，对该第三输入数据和第三输出将数据的数据类型不作具体限定。例如，当该第二机器学习模型为图像识别模型时，该第三输入数据可以为图像数据，相应的，该第三输出数据可以为图像类别；当该第二机器学习模型为文本识别模型时，该第三输入数据可以为文本数据，相应的，该第三输出数据可以为语义类别；当该第二机器学习模型为视频处理模型时，该第三输入数据可以为视频数据，相应的，该第三输出数据可以为视频处理结果；当该第二机器学习模型为声音识别模型时，该第三输入数据可以为音频数据，相应的，该第三输出数据可以为音频识别结果。

步骤502：第一服务器根据该第三输入数据和该第三输出数据，确定正样本对应的目标特征信息和调整量。

在本步骤中，第一服务器对该第三输入数据中的至少一个目标特征信息进行调整，得到该第三输入数据对应的多个第四输入数据，根据该多个第四输入数据获取该多个第四输入数据对应的多个第四输出数据，该第三输入数据、第三输出数据、第四输入数据和第四输出数据，确定该正样本对应的特征信息和调整量。

第一服务器根据该第三输入数据和该第三输出数据，确定正样本对应的目标特征信息和调整量的过程可以通过以下步骤(1)-(5)实现，包括：

(1)第一服务器将该第三输入数据输入该第二策略网络模型中，得到该第三输入数据对应的多个目标特征信息和调整量。

例如，每组目标特征信息和调整量中可以包括该第三输入数据的多个特征信息的标识以及对该特征信息的调整量，其中，该特征标识可以为该特征信息的维度信息等，该调整量可以为该特征信息的权重值等。

第一服务器将该第三输入数据输入该第二策略网络模型中，得到该第三输入数据对应的多个目标特征信息和调整量的过程可以通过以下步骤(1-1)-(1-2)实现，包括：

(1-1)第一服务器根据该多个特征信息的分布信息和该多个特征信息，确定每个特征信息对应的编码值。

其中，该编码值为该特征信息的标准化值。对于每个特征信息，第一服务器将将特征信息进行标准化处理得到该特征信息的编码值。其中，该每个特征信息的编码值可以通过概率密度估计的方式对多个特征信息进行概率密度估计得到，也可以直接根据编码器得到，还可以分别对该多个特征信息中的每个特征信息进行计算得到。在本公开实施例中，对第一服务器确定该多个特征信息的编码值的方式不作具体限定。例如，当该布信息包括该多个特征信息的均值和方差时，该多个特征信息的编码方式可以通过以下公式二表示。

公式一：

其中，x_i表示多个特征信息中，任一维度的特征信息，表示特征信息x_i标准化后值，μ_i表示该多个特征信息的均值，σ_i ²表示该多个特征信息的方差，则σ_i表示该多个特征信息的标准差。

在本步骤之前，第一服务器可以根据提取特征信息的特征类别，从该第三输入数据中提取多个特征信息，根据该多个特征信息，确定该多个特征信息的分布信息。其中，该提取特征信息的特征类别可以根据机器学习模型的类别进行设置，在本公开实施例中，对该提取特征信息的特征类别不作具体限定。其中，第一服务器可以通过以下步骤确定该第三输入数据中多个特征信息：第一服务器根据提取特征信息的特征类别，提取该第三输入数据的多个特征信息。

其中，该多个特征信息可以为从该第三入数据中提取的向量特征、该第三输入数据的关键数据等，在本公开实施例中，对该第三输入数据的多个特征信息的类型不作具体限定。第一服务器中存储提取特征信息的特征类别，根据该提取特征信息的特征类别从该第三输入数据中提取相关的多个特征信息。例如，该第二机器学习模型为图像识别模型，该第三输入数据为待识别图像时，该提取特征信息的特征类别可以为提取图像的显著图像特征，则该多个特征信息为该待识别图像的显著图像特征。另外，该多个特征信息可以为任一数据类型的信息，例如，该特征信息可以为向量类型的信息、也可以为任一进制的数值类型的信息。在本公开实施例中，对该特征信息的数据类型不作具体限定。

第一服务器确定该第三输入数据中的多个特征信息后，可以根据该多个特征信息确定该多个热特征信息的分布信息。在本步骤中，第一服务器提取该多个特征信息后，确定该多个特征信息的分布信息。其中，该分布信息可以为该多个特征信息的均值、方差、最大值、最小值、百分位数、偏度、峰度等中的一种或多种，在本公开实施例中，对该分布信息的表现形式不作具体限定。另外，第一服务器还可以通过VAE(Variational auto-encoder，变分自编码器)确定该多个特征信息的分布信息。VAE为一种生成模型，可以通过机器学习实现确定多个特征信息的分布信息的功能。第一服务器将该多个特征信息输入至该VAE中，得到该多个特征信息的分布信息，其中，该VAE模型的参数为θ，则该多个特征信息的分布信息可以通过以下公式一确定。

公式二：h＝VAE(X，θ)

其中，h表示该多个特征信息的分布信息，VAE()表示该VAE中的模型函数，X表示多个特征信息，θ表示该VAE模型的参数。

(1-2)第一服务器将该每个特征信息对应的编码值输入第二策略网络模型中，得到第三输入数据中的目标特征信息和调整量。

第一服务器将该每个特征信息对应的编码值输入至第二策略网络模型中，通过该第二策略网络模型，根据该第三输入数据的多个特征信息，确定每个特征信息的权重，将每个特征信息对应的编码值与该特征信息对应的权重相乘，得到该特征信息调整后的编码值，将每个特征信息的权重组成该组特征信息的一个调整量；通过调整不同的特征信息的权重，确定该第三输入数据中的目标特征信息和调整量。

在本实现方式中，将多个特征信息转化成多个编码值，通过第二策略网络模型直接确定该多个特征信息对应的多个目标特征信息和调整量，使得可以快速得到最优的目标特征信息和调整量，提高了获取目标特征信息和调整量的效率。

需要说明的一点是，对于每个第三输入数据可以仅对该第三输入数据的多个特征信息中的任一个特征信息进行调整，也可以对该第三输入数据的多个特征信息中的多个特征信息进行调整。例如，该多个特征信息为{x₁，x₂，x₃}，则该目标特征信息可以为x₁、x₂或x₃，该待调整信息的调整量可以为该目标特征信息x₁与该特征信息对应的权重相乘，或者，目标特征信息x₂与该特征信息对应的权重相乘，或者，目标特征信息x₃与该特征信息对应的权重相乘；该目标特征信息还可以为x₁、x₂和x₃中的两个或第三个，相应的，调整量为每个特征信息与该特征信息对应的权重相乘。并且，对于同一个第三数据，该第三数据的目标特征信息的数量可以相同，也可以不同，在本公开实施例中，对此不作具体限定。

(2)第一服务器根据该目标特征信息和调整量，对该第三输入数据进行调整，得到多个第四输入数据，通过该第二机器学习模型对该多个第四输入数据进行预测，得到多个第四输出数据。

其中，第一服务器根据该多个目标特征信息和该目标特征信息的调整量，对该第三输入数据进行调整，得到多个第四输入数据，包括：第一服务器根据每个目标特征信息和调整量，确定每个目标特征信息的权重；将该权重与该权重对应的特征信息的编码值相乘，得到调整后的特征信息的编码值；根据该调整后的特征信息的编码值确定该调整后的多个特征信息；根据该调整后的多个特征信息，确定该第四输入数据。例如，该第三输入数据中的特征信息为{x₁，x₂，x₃}，该目标特征信息和调整量中每个特征信息的权重分别为1/2、1/2、和1，则，该根据该待目标特征信息和调整量得到的一组第四输出数据可以为

另外，通过该第二机器学习模型对该多个第四输入数据进行预测，得到多个第四输出数据的过程与步骤501中，第一服务器获取第三数得出数据的过程相似，在此不再赘述。

需要说明的一点是，当该第一服务器与第二服务器为不同的服务器时，该根据该多个目标特征信息和调整量，对该第三输入数据进行调整，得到多个第四输入数据还可以为第二服务器执行的，相应的，当该根据该多个目标特征信息和调整量，对该第三输入数据进行调整，得到多个第四输入数据的过程为第二服务器执行的时，第一服务器将该多个目标特征信息和调整量和该第三输入数据的多个特征信息对应的编码值发送给该第二服务器，第二服务器根据该多个目标特征信息和调整量，对该第三输入数据进行调整，得到多个第四输入数据，其中，第二服务器根据该多个目标特征信息和调整量，对该第三输入数据进行调整，得到多个第四输入数据的过程与第一服务器根据该多个目标特征信息和调整量，对该第三输入数据进行调整，得到多个第四输入数据的过程相似，在此不再赘述。另外，第二服务器根据该多个目标特征信息和调整量，对该第三输入数据进行调整，得到多个第四输入数据时，可以直接将该多个第四输入数据输入至第二机器学习模型中，得到多个第四输出数据，再将该多个第四输入数据和多个第四输出数据发送给第一服务器，第一服务器接收该多个第四输入数据和多个第四输出数据。

(3)第一服务器根据该第三输出数据和该多个第四输出数据，确定每个第四输入数据中的目标特征信息对输出数据的影响度。

在本步骤中，第一服务器根据输入数据中特征信息的变化确定输出数据的变化量，确定出输入数据的特征信息变化更小但输出数据变化很大的目标特征信息。该过程可以通过以下步骤(3-1)-(3-3)实现，包括：

(3-1)对于每个第四输出数据，第一服务器确定该第三输出数据与该第四输出数据之间的第三变化量。

第一服务器将该第四输出数据和第三输出数据的差值Δy作为该第三输出数据和该第四输出数据之间的第三变化量。

该第四输出数据和第三输出数据的差值可以为该第四输出数据的编码值和第三输出数据对应的编码值之间的差值。相应的，在本步骤中，对于每个第四输出数据，第一服务器可以先确定该第四数据的多个特征信息，根据该第四输入数据的多个特征信息，确定该多个特征信息的分布信息，根据该多个特征信息和该多个特征信息的分布信息，确定该多个特征信息的编码值。该过程与步骤502中的步骤(1-1)-(1-3)相似，在此不再赘述。

(3-2)第一服务器确定该第三输入数据和该第四输出数据对应的第四输入数据之间的第四变化量。

在本步骤中，第一服务器分别确定第三输入数据和第四输入数据中对应的特征信息之间的差值Δx_i，将每个特征信息之间的差值进行求和得到该第三输入数据和第四输入数据之间的第四变化量∑Δx_i。相应的，第一服务器可以确定第三输入数据中每个特征信息的编码值，以及确定第四输入数据中每个特征信息的编码值，确定该第三输入数据中每个特征信息的编码值与对应的第四输入数据中每个特征信息的编码值之间的差值，将该第三输入数据和第四输入数据中每个特征信息的编码值之差进行求和，得到该第四变化量。

其中，第一服务器获取该第四输入数据的编码值的过程与步骤502中的步骤(1-1)-(1-3)相似，在此不再赘述。

(3-3)第一服务器根据该第三变化量、该第四变化量和该第三输入数据的目标特征信息的数量，确定该第三输出数据对应的第三输入数据中的目标特征信息对输出数据的影响度，该影响度分别与该第三变化量和该数量正相关、与该第四变化量负相关。

我们可以根据该第三变化量、该第四变化量和该第三输入数据中被调整特征信息的数量，通过任一与该第三变化量正相关、与该第四变化量负相关的算法确定该第三输出数据对应的第三输入数据中的目标特征信息对输出数据的影响度；例如，第一服务器根据该第三变化量、该第时变化量和该第三输入数据中被调整特征信息的数量，通过以下公式三，确定该第三输出数据对应的第三输入数据中的目标特征信息对输出数据的影响度。

公式三：

其中，r(s^t，a^t)为影响度，s为特征信息，a为目标特征信息和调整量中各个调整量的分布信息，t为该目标特征信息和调整量的标识，Δy为第三变化量，为第三输入数据中第i个特征信息的变化量，/>为第四变化量，/>为第三输入数据中被调整特征信息的数量。

(4)第一服务器根据该每个第四输入数据中的目标特征信息对输出数据的影响度，从该多个目标特征信息和调整量中选择正样本对应的目标特征信息和调整量；该正样本对应的目标特征信息对输出数据的影响度大于第二预设阈值。

当该第四输入数据的影响度大于第二预设阈值时，说明该第四输入数据中的目标特征信息的改动较小时，就可以得到与第三输出数据相差较大的第四输出数据，也即，该第四输入数据中目标数据量对该第四输出数据的影响度较大，则将该调整信息和调整量作为正样本对应的特征信息和调整量。

其中，第二预设阈值可以根据用户的需要进行设置并更改，在本公开实施例中，对该第二预设阈值不作具体限定。例如，该第二预设阈值可以为0、1或2等。

在本实现方式中，第一服务器根据该第三输入数据和第三数得出数据，确定该第三输出数据对应的正样本对应的特征信息和调整量，使得第一服务器可以自主获取正样本对应的特征信息和调整量，节省了向该第一服务器中输入正样本对应的特征信息和调整量，提高了模型训练的效率。

步骤503：第一服务器根据该正样本对应的目标特征信息和调整量，对第二策略网络模型进行模型训练，得到该第一策略网络模型。

在本步骤中，第一服务器根据该第二策略网络模型，确定该第二策略网络模型对应的损失函数，将该正样本对应的目标特征信息和调整量对应的影响度作为该损失的损失值，通过调整该损失值对该第二策略网络模型进行训练，得到该第一策略网络模型。

该第一服务器根据该正样本对应的特征信息和调整量，对第二策略网络模型进行模型训练，得到该第一策略网络模型的过程可以通过以下步骤(1)-(5)实现，包括：

(1)第一服务器将该正样本对应的目标特征信息和调整量对输出数据的影响度作为该第二策略网络模型的损失值。

第一服务器根据每个正样本对应的特征信息和调整量确定该正样本对应的特征信息和调整量对输出数据的影响度，将该影响度作为该第二策略网络模型的损失值。

(2)第一服务器根据该第二策略网络模型的损失函数和该损失值，调整该第二策略网络模型的模型参数，得到第三策略网络模型。

该第二策略网络模型的损失函数可以根据该第二策略网络模型的网络类型确定，例如该损失函数可以为公式二所示的函数。

公式四：L(θ)＝∑logπ(a|s，θ)r(s，a)

其中，L(θ)为该第二策略网络模型的损失值，θ为第二策略网络模型的网络参数，π(a|s，θ)为正样本对应的特征信息和调整量中，该样本数据对应的目标特征信息和调整量，r(s，a)为该正样本对应的特征信息和调整量对输出数据影响度。

则将该第二策略网络网络模型的损失值L(θ)确定为该正样本对应的特征信息和调整量对输出数据的影响度为r(s，a)，得到方程r(s，a)＝∑logπ(a|s，θ)r(s，a)，对该方程求解，得到调整后的模型参数，将第二策略网络模型中的模型参数替换为该调整后的模型参数，得到第三策略网络模型。

(3)当对该模型参数的调整量不在预设范围内时，第一服务器根据该第三策略网络模型获取正样本对应的目标特征信息和调整量。

其中，第一服务器根据该第三策略网络模型获取该训练数据中的正样本对应的特征信息和调整量的过程与第一服务器根据该第二策略网络模型获取该训练数据中的正样本对应的特征信息和调整量的过程相似，在此不再赘述。

该预设范围可以根据需要进行设置并更改，在本公开实施例中，对该预设范围不作具体限定。

(4)第一服务器根据该第三策略网络模型获取的正样本对应的目标特征信息和调整量，再次调整该第三策略网络模型中的模型参数，直到该第三策略网络模型的模型参数的调整量在预设范围内，第一服务器确定完成对该第二策略网络模型的模型训练，得到该第一策略网络模型。

其中，第一服务器根据该第三策略网络模型获取的正样本对应的特征信息和调整量，再次调整该第三策略网络模型中的模型参数的过程与本步骤中的步骤(2)相似，在此不再赘述。

在本实现方式中，通过强化学习的方式对第二策略网络进行模型训练，使得第一策略网络模型可以更准确的得到多个第一输入数据的待调整信息和调整量，从而提高了解释信息的可靠性。

需要说明的一点是，该对第二策略网络模型进行训练得到第一策略网络模型的过程可以由当前的第一服务器进行，也可以由其他服务器或电子设备进行，当该训练过程由其他服务器或电子设备进行时，第一服务器从其他服务器或电子设备中，获取该第一策略网络模型。其他服务器或电子设备训练第二策略网络模型得到第一策略网络模型的过程与第一服务器训练第二策略网络模型得到第一策略网络模型的过程相似，在此不再赘述。

在本公开实施例中，通过确定多个第一输入数据中的目标特征信息和调整量，对第一机器学习模型中第一输入数据进行调整，通过对比调整后的第二输入数据对应的第二输出的数据与第一输入数据对应的第一输出数据，确定该第一输入数据中的目标特征信息和调整量中目标特征信息对该第一输出数据的影响度，根据该影响度，通过该第一输入数据、第一输出数据、第二输入数据和第二输出数据，确定该第一输入数据通过该第一机器学习模型得到该第一输出数据的解释信息。通过调整第一输入数据的特征信息的分布，调整第一输入数据，从而得到该第一输入数据中对第一输出数据影响较大的特征信息，从而第一服务器可以自动化地对第一机器学习模型进行解释归因，为第一机器学习模型提供了可靠的解释信息，使得第一机器学习模型产生的结果可信度更高，更值得的信赖，从而拓宽了机器学习模型的使用范围。

在本实现方式中，通过强化学习的方式对第二策略网络进行模型训练，使得第一策略网络模型可以更准确的得到多个目标特性信息和调整量，从而提高了解释信息的可靠性。

图6是根据本公开示例性实施例示出的一种解释信息获取方法流程图。如图6所示，该方法包括以下步骤：

步骤601：第一服务器通过第一机器学习模型对第一输入数据进行预测，得到第一输出数据。

本步骤与步骤501中，第一几区模型对第三输入数据进行预测得到第三输出数据的过程相似，在此不再赘述。

另外，该第一机器学习模型和第二机器学习模型可以为相同的机器学习模型，也可以为不同的机器学习模型；该第一输入数据的数据类型与第三输入数据的数据类型可以相同也可以不同，该第一输出数据的数据类型与该第三输出数据的输入类型可以相同也可以不同，在本公开实施例中，对此均不作具体限定。

步骤602：第一服务器根据该多个特征信息的分布信息和该多个特征信息，确定每个特征信息对应的编码值。

本步骤与步骤502中步骤(1-1)相似，在此不再赘述。

步骤603：第一服务器将该每个特征信息对应的编码值输入第一策略网络模型中，得到该多个第一输入数据中的目标特征信息和调整量。

本步骤与步骤502中步骤(1-2)相似，在此不再赘述。

步骤604：第一服务器根据该目标特征信息和该目标特征信息的调整量，对该第一输入数据进行调整，得到多个第二输入数据，通过该第一机器学习模型对该多个第二输入数据进行预测，得到多个第二输出数据。

本步骤与步骤502中的步骤(2)相似，在此不再赘述。

步骤605：第一服务器根据该第一输出数据和该多个第二输出数据，确定每个第二输入数据中的目标特征信息对输出数据的影响度。

本步骤与步骤502中的步骤(3)相似，该过程可以通过以下步骤(1)-(3)实现，包括：

(1)对于每个第二输出数据，第一服务器确定该第一输出数据与该第二输出数据之间的第一变化量。

本步骤与步骤502中的步骤(3-1)相似，在此不再赘述。

(2)第一服务器确定该第一输入数据和该第二输出数据对应的第二输入数据之间的第二变化量。

本步骤与步骤502中的步骤(3-2)相似，在此不再赘述。

(3)第一服务器根据该第一变化量、该第二变化量和该第二输入数据中的目标特征信息的数量，确定该第二输出数据对应的第二输入数据中的目标特征信息对输出数据的影响度，该影响度分别与该第一变化量和该数量正相关、与该第二变化量负相关。

本步骤与步骤502中的步骤(3-3)相似，在此不再赘述。

在本实现方式中，通过确定该第一输入数据和第二输入数据之间的第一变化量以及确定第二输入数据和第二输出数据之间的第二变化量，通过该第一变化量和第二变化量以及目标特征信息的数量，确定目标特征信息对输出数据的影响度，使得可以通过影响度直观地反应该特征信息对输出数据的影响。

步骤606：第一服务器根据每个第二输入数据中的目标特征信息对输出数据的影响度，生成该第一输入数据通过该第一机器学习模型得到该第一输出数据的解释信息。

在本步骤中，第一服务器将每个第二输入数据中的目标特征信息中对输出结果影响较大的特征信息和该输出数据的变化量作为该第一输入数据通过该第一机器学习模型得到该第一输出数据的解释信息。该解释信息中包括对输出结果影响较大的特征信息和该特征信息对输出结果的影响结果。

第一服务器根据每个第二输入数据中的目标特征信息对输出数据的影响度，确定该第一输入数据通过该第一机器学习模型得到该第一输出数据的解释信息的过程可以通过以下步骤(1)-(2)实现，包括：

(1)第一服务器根据每个第二输入数据中的目标特征信息对输出数据的影响度，从该多个第二输入数据对应的第一变化量和第二变化量中，选择影响度大于第一预设阈值的至少一组目标变化量。

其中，每组目标变化量包括第一目标变化量和第二目标变化量。在本步骤中，第一服务器从多个影响度中，选择大于第一预设阈值的影响度，确定该影响度对应的第一变化量和第二变化量，将该第一变化量和第二变化量组成一组目标变化量。

(2)第一服务器将该至少一组目标变化量组成该第一输入数据通过该第一机器学习模型得到该第一输出数据的解释信息。

第一服务器将该至少一组目标变化量作为该第一输入数据通过该第一机器学习模型得到该第一输出数据的解释信息。第一服务器将该至少一组目标变化量组成该解释信息(Δx_i，Δy)。

通过调整第一输入数据的特征信息的分布，调整第一输入数据，从而得到该第一输入数据中对第一输出数据影响较大的特征信息，从而第一服务器可以自动化地对第一机器学习模型进行解释归因，为第一机器学习模型提供了可靠的解释信息，使得第一机器学习模型产生的结果可信度更高，更值得的信赖，从而拓宽了机器学习模型的使用范围。

需要说明的一点是，该解释信息获取方法还可以应用在该第一机器学习模型的训练阶段，将该第一机器学习模型的训练阶段中获取的每个样本数据对应的解释信息添加到该第一机器学习模型对应的解释信息集合中，当该第一机器学习模型训练完成后，可以通过该解释信息集合中的解释信息对该第一机器学习模型的输出结果进行解释，参见图4。将该解释信息添加到该第一机器学习模型对应的解释信息中，得到解释信息集合{({Δx_i}，Δy)}。

该获取解释信息集合的过程可以通过以下步骤(1)-(2)实现，通过该解释信息集合确定第六输入数据通过该第一机器学习模型得到该第五输出数据的解释信息的过程可以通过步骤(3)-(4)实现，包括：

(1)第一服务器关联该解释信息和该第一输出数据的数据类别，将该解释信息添加到解释信息集合中。

在本步骤中，当第一服务器获取到解释信息时，确定该解释信息对应的第一输出数据的数据类别。其中，该数据类别可以为该第一机器学习模型可得到的输出数据的所有类别。例如，当该第一机器学习模型为图像识别模型时，该第一机器学习模型的输出数据的所有数据类别可以包括：男生、女生、猫、狗、鸟。第一服务器将该解释信息与该解释信息对应的第一输出数据的数据类别关联在一起得到解释信息和数据类别的对应关系。

需要说明的一点是，第一服务器可以确定每个解释信息和数据类别的对应关系，第一服务器也可以从每个解释信息中选择用户可理解的解释信息，确定该用户可理解的解释信息和数据类别的对应关系。其中，第一服务器也可以从每个解释信息中选择用户可理解的解释信息可以通过相关技术人员进行人工筛选，也可以根据评估函数，对解释信息进行评估，得到用户可理解的解释信息。

其中，该解释信息和该数据类别的关联关系可以以表格的形式存储在该第一服务器中。

(2)当通过该第一机器学习模型对第六输入数据进行预测，得到第五输出数据时，第一服务器确定该第五输出数据的数据类别。

在本步骤中，第一服务器将第五输出数据与已知的数据类别进行对比，得到该第五输出数据的数据类别。例如，该第五输出数据为“折耳猫”，则将该第五输出数据的数据类别确定为“猫”。

(3)第一服务器根据该数据类别，以及解释信息与数据类别的关联关系，从该解释信息集合中选择目标解释信息，该目标解释信息用于对该第六输入数据通过该第一机器学习模型得到该第五输出数据进行解释。

在本步骤中，第一服务器根据该数据类别，从该解释信息集合中，确定与该数据类别对应的目标解释信息。

在本实现方式中，选择出便于理解的多个解释信息，组成解释信息集合。从已知的多个解释信息中选择便于理解的解释信息，减少了人工筛选解释信息的工作量，提高了工作效率。

需要说明的另一点是，得到该解释信息后，该第一服务器还可以根据该解释信息，从该多个特征信息中选择至少一个目标特征信息；根据该至少一个目标特征信息，调整该特征提取规则。

通过调整该特征提取规则使第一服务器提取的特征信息能够为影响该输出结果的更主要的特征信息，提高了特征信息提取的有效性。

另外，该第一机器学习模型为复杂的待解释的机器学习模型。在另一种可能的实现方式中，该第一机器学习模型为第三机器学习模型的代理模型，该第三机器学习模型的复杂程度大于该第一机器学习模型的复杂程度。

其中，代理模型是指使用原模型的样本数据进行训练得到的，与该原模型的实现功能相同，但结构比原机器学习模型简单的模型。也即，该第一机器学习模型在训练过程中使用的样本数据与该第三机器学习模型在训练过程中使用的样本数据相同，而该第一机器学习模型的复杂程度小于该第三机器学习模型的复杂程度。

当该第一机器学习模型为第三机器学习模型的代理模型时，可以通过以下方式获取该第三机器学习模型的解释信息。

(1)第一服务器通过第三机器学习模型对该第一输入数据进行预测，得到第五输出数据。

本步骤与步骤501中，第一服务器将该第三输入数据输入至第二机器学习模型中，接收该第二机器学习模型输出该第三输出数据的过程相似，在此不再赘述。

(2)第一服务器将该解释信息确定为该第一输入数据通过该第三机器学习模型得到该第五输出数据的解释信息。

其中，该第一机器学习模型和该第三机器学习模型为同类机器学习模型，且该第三机器学习模型的卷积层数量大于该第一机器学习模型的卷积层数量。

该第一机器学习模型为第三机器学习模型的代理模型，且该第三机器学习模型通过该第一输入数据获取该第五输出数据的运算量大于该第一机器学习模型通过该第一输入数据获取该第一输出数据的运算量。

在本实现方式中，通过对第一机器学习模型的解释信息对第三机器学习模型进行解释，使得可以对卷积层数量更多的机器学习模型进行解释，实现了对更加复杂的机器学习模型的解释，从而拓宽了机器学习模型的使用范围。

在本公开实施例中，通过确定多个第一输入数据中的目标特征信息和调整量，对第一机器学习模型中第一输入数据进行调整，通过对比调整后的第二输入数据对应的第二输出数据与第一输入数据对应的第一输出数据，确定该第一输入数据中的目标特征信息和调整量中目标特征信息对该第一输出数据的影响度，根据该影响度，通过该第一输入数据、第一输出数据、第二输入数据和第二输出数据，确定该第一输入数据通过该第一机器学习模型得到该第一输出数据的解释信息。通过调整第一输入数据的特征信息的分布，调整第一输入数据，从而得到该第一输入数据中对第一输出数据影响较大的特征信息，从而第一服务器可以自动化地对第一机器学习模型进行解释归因，为第一机器学习模型提供了可靠的解释信息，使得第一机器学习模型产生的结果可信度更高，更值得的信赖，从而拓宽了机器学习模型的使用范围。

并且，通过调整第一输入数据的特征信息的分布，调整第一输入数据，从而得到该第一输入数据中对第一输出数据影响较大的特征信息，从而可以得到第一机器学习模型在根据输入数据得到输出数据的逻辑，使得当用户需要了解第一机器学习模型根据输入数据得到输出数据的逻辑时，可以根据第一服务器对该第一机器学习模型的解释归因得到该第一机器学习模型根据输入数据得到输出数据的逻辑，降低了工作人员对输出结果的原因的归纳和解读，从而节省了人力和时间成本。

本公开实施例提供的获取解释信息的方法可以应用在图像识别、语音识别等场景中。当本公开实施例提供的获取解释信息的方法应用的图像识别模型中时，该第一机器学习模型可以为图像识别模型，该第一输入数据可以为待识别图像，第一输出数据可以为该待识别图像的识别结果，通过本公开实施例，可以对该图像识别模型对待识别图像进行识别得到识别结果的过程进行解释。其中，该图像识别模型可以应用在考勤打卡、刷脸支付或安防追踪等场景中。当本公开实施例提供的获取解释信息的方法应用的语音识别模型中时，该第一机器学习模型可以为语音识别模型，该第一输入数据可以为待识别语音信号，第一输出数据可以为该待识别语音信号的识别结果，通过本公开实施例，可以对该语音识别模型对待识别语音进行识别得到识别结果的过程进行解释。其中，该图像识别模型可以应用在语音解锁、语音转文字或语义识别等场景中。

当本公开实施例提供的获取解释信息的方法应用的图像识别模型中时，该对图像识别模型进行解释的过程如图7所示，图7是根据本公开示例性实施例示出的一种信息获取方法流程图，包括：

步骤701：第一服务器通过图像识别模型对第一待识别图像进行预测，得到该第一待识别图像的第一识别结果。

本步骤与步骤601相似，在此不再赘述。

步骤702：第一服务器根据该多个特征信息的分布信息和该多个特征信息，确定每个特征信息对应的编码值。

在本公开实施例中，该特征信息可以为待识别图像的图像特征，例如，该特征信息可以为该待识别图像中的边缘特征、纹理特征等。相应的，该多个特征信息的编码值可以为边缘特征或纹理特征对应的归一化值。

本步骤与步骤602相似，在此不再赘述。

步骤703：第一服务器将该每个特征信息对应的编码值输入第一策略网络模型中，得到该多个第一待识别图像中的目标特征信息和调整量。

本步骤与步骤603相似，在此不再赘述。

步骤704：第一服务器根据该目标特征信息和该目标特征信息的调整量，对该第一待识别图像进行调整，得到多个第二待识别图像，通过该图像识别模型对该多个第二待识别图像进行预测，得到多个第二识别结果。

在本公开实施例中，通过对第一待识别图像中的图像特征进行调整，例如，对边缘特征中的边缘信息进行局部模糊化调整，得到不同模糊部位的多个第二待识别图像。

本步骤与步骤604相似，在此不再赘述。

步骤705：第一服务器根据该第一待识别图像和该多个第二待识别图像，确定每个第二待识别图像中的目标特征信息对识别结果的影响度。

例如，第一待识别图像的识别结果为猫，当多个第二待识别图像中的任一第二待识别图像的识别结果可能也为猫时，则说明该第二待识别图像中调整的模糊区域对识别结果的影响度不大；相应的，当多个第二待识别图像中的任一第二待识别图像的识别结果为狗时，则说明该第二待识别图像中调整的模糊区域对识别结果的影响度大。

本步骤与步骤605相似，在此不再赘述。

步骤706：第一服务器根据每个第二待识别图像中的目标特征信息对识别结果的影响度，生成该第一待识别图像通过该图像识别模型得到该第一识别结果的解释信息。

例如，该第一待识别图像的识别结果为猫，当对该第一待识别图像中目标对象的头部区域的边缘特征进行模糊化处理后，得到第二待识别图像，对该第二待识别图像进行识别得到的识别结果为狗，则说明第一待识别图像中目标对象的头部区域对识别结果产生的影响较大，则该解释信息可以为第一待识别图像中目标对象的头部的轮廓与猫相似。

本步骤与步骤606相似，在此不再赘述。

在本公开实施例中，通过确定第一待识别图像中的目标特征信息和调整量，对图像识别模型中第一待识别图像进行调整，通过对比调整后的第二待识别图像对应的第二识别结果与第一待识别图像对应的第一识别结果，确定该第一待识别图像中的目标特征信息和调整量中目标特征信息对该第一识别结果的影响度，根据该影响度，通过该第一待识别图像、第一识别结果、第二待识别图像和第二识别结果，确定该第一待识别图像通过该图像识别模型得到该第一识别结果的解释信息。通过调整第一待识别图像的特征信息的分布，调整第一待识别图像，从而得到该第一待识别图像中对第一识别结果影响较大的特征信息，从而第一服务器可以自动化地对图像识别模型进行解释归因，为图像识别模型提供了可靠的解释信息，使得图像识别模型产生的结果可信度更高，更值得的信赖，从而拓宽了图像识别模型的使用范围。

当本公开实施例提供的获取解释信息的方法应用的语音识别模型中时，该对语音识别模型进行解释的过程如图8所示，图8是根据本公开示例性实施例示出的一种信息获取方法流程图，包括：

步骤801：第一服务器通过语音识别模型对第一待识别语音信号进行预测，得到该第一待识别语音信号的第一识别结果。

本步骤与步骤601相似，在此不再赘述。

步骤802：第一服务器根据多个特征信息的分布信息和该多个特征信息，确定每个特征信息对应的编码值。

在本公开实施例中，该特征信息可以为待识别语音信号的信号特征，例如，该特征信息可以为该待识别语音信号的频率特征、幅度特征等。相应的，该多个特征信息的编码值可以为频率特征或幅度特征对应的归一化值。

本步骤与步骤602相似，在此不再赘述。

步骤803：第一服务器将该每个特征信息对应的编码值输入第一策略网络模型中，得到该多个第一中的目标特征信息和调整量。

本步骤与步骤603相似，在此不再赘述。

步骤804：第一服务器根据该目标特征信息和该目标特征信息的调整量，对该第一待识别语音信号进行调整，得到多个第二待识别语音信号，通过该语音识别模型对该多个第二待识别语音信号进行预测，得到多个第二识别结果。

在本公开实施例中，通过对第一待识别语音信号中的信号特征进行调整，例如，对频率特征中的不同位置的频率信息进行调整，得到不同频率的多个第二待识别语音信号。

本步骤与步骤604相似，在此不再赘述。

步骤805：第一服务器根据该第一待识别语音信号和该多个第二待识别语音信号，确定每个第二待识别语音信号中的目标特征信息对识别结果的影响度。

例如，第一待识别语音信号的识别结果为“一二三”，当多个第二待识别语音信号中的任一第二待识别语音信号的识别结果也为“一二三”时，则说明该第二待识别语音信号中调整的频率的位置对识别结果的影响度不大；相应的，当多个第二待识别语音信号中的任一第二待识别语音信号的识别结果为“一二山”时，则说明该第二待识别语音信号中调整的频率的位置对识别结果的影响度大。

本步骤与步骤605相似，在此不再赘述。

步骤806：第一服务器根据每个第二待识别语音信号中的目标特征信息对识别结果的影响度，生成该第一待识别语音信号通过该语音识别模型得到该第一识别结果的解释信息。

例如，该第一待识别语音信号的识别结果为“一二三”，当对该第一待识别语音信号中第三秒到第四秒的频率进行调整后，得到第二待识别语音信号，对该第二待识别语音信号进行识别得到的识别结果为“一二山”，则说明第一待识别语音信号中第三秒到第四秒的频率对识别结果产生的影响较大，则该解释信息可以为第一待识别语音信号中第三秒到第四秒的频率与“三”的发声频率相似。

本步骤与步骤606相似，在此不再赘述。

在本公开实施例中，通过确定第一待识别语音信号中的目标特征信息和调整量，对语音识别模型中第一待识别语音信号进行调整，通过对比调整后的第二待识别语音信号对应的第二识别结果与第一待识别语音信号对应的第一识别结果，确定该第一待识别语音信号中的目标特征信息和调整量中目标特征信息对该第一识别结果的影响度，根据该影响度，通过该第一待识别语音信号、第一识别结果、第二待识别语音信号和第二识别结果，确定该第一待识别语音信号通过该语音识别模型得到该第一识别结果的解释信息。通过调整第一待识别语音信号的特征信息的分布，调整第一待识别语音信号，从而得到该第一待识别语音信号中对第一识别结果影响较大的特征信息，从而第一服务器可以自动化地对语音识别模型进行解释归因，为语音识别模型提供了可靠的解释信息，使得语音识别模型产生的结果可信度更高，更值得的信赖，从而拓宽了语音识别模型的使用范围。

图9是根据本公开示例性实施例示出的一种解释信息获取装置的框图。参见图9，装置包括：

第一预测模块901，用于通过第一机器学习模型对第一输入数据进行预测，得到第一输出数据；

第一确定模块902，用于根据该第一输入数据的多个特征信息的分布信息，确定该第一输入数据中的目标特征信息和该目标特征信息的调整量；

数据调整模块903，用于根据该目标特征信息和该目标特征信息的调整量，对该第一输入数据进行调整，得到多个第二输入数据，通过该第一机器学习模型对该多个第二输入数据进行预测，得到多个第二输出数据；

第二确定模块904，用于根据该第一输出数据和该多个第二输出数据，确定每个第二输入数据中的目标特征信息对输出数据的影响度；

生成模块905，用于根据每个第二输入数据中的目标特征信息对输出数据的影响度，生成该第一输入数据通过该第一机器学习模型得到该第一输出数据的解释信息。

在一种可能的实现方式中，该第二确定模块904，还用于对于每个第二输出数据，确定该第一输出数据与该第二输出数据之间的第一变化量；确定该第一输入数据和该第二输出数据对应的第二输入数据之间的第二变化量；根据该第一变化量、该第二变化量和该第二输入数据中的目标特征信息的数量，确定该第二输出数据对应的第二输入数据中的目标特征信息对输出数据的影响度，该影响度分别与该第一变化量和该数量正相关、与该第二变化量负相关。

在另一种可能的实现方式中，该第二确定模块904，还用于根据每个第二输入数据中的目标特征信息对输出数据的影响度，从该多个第二输入数据对应的第一变化量和第二变化量中，选择影响度大于第一预设阈值的至少一组目标变化量；将该至少一组目标变化量组成该第一输入数据通过该第一机器学习模型得到该第一输出数据的解释信息。

在另一种可能的实现方式中，该装置还包括：

第三确定模块，用于根据该至少一组目标变化量，确定该至少一组目标变化量对应的目标特征信息的至少一个目标特征类别；

更新模块，用于根据该至少一个目标特征类别，更新用于从输入数据中提取特征信息的特征类别。

在另一种可能的实现方式中，该第一确定模块902，还用于根据该多个特征信息的分布信息和该多个特征信息，确定每个特征信息对应的编码值；将该每个特征信息对应的编码值输入第一策略网络模型中，得到该第一输入数据中的目标特征信息和调整量。

在另一种可能的实现方式中，该装置还包括：

获取模块，用于获取训练数据，该训练数据包括第三输入数据和第三输出数据，该第三输出数据为该第三输入数据通过第二机器学习模型得到的输出数据；

第四确定模块，用于根据该第三输入数据和该第三输出数据，确定正样本对应的目标特征信息和调整量；

模型训练模块，用于根据该正样本对应的目标特征信息和调整量，对第二策略网络模型进行模型训练，得到该第一策略网络模型。

在另一种可能的实现方式中，该第四确定模块，还用于将该第三输入数据输入该第二策略网络模型中，得到该第三输入数据对应的多个目标特征信息和调整量；根据该多个目标特征信息和调整量，对该第三输入数据进行调整，得到多个第四输入数据，通过该第二机器学习模型对该多个第四输入数据进行预测，得到多个第四输出数据；根据该第三输出数据和该多个第四输出数据，确定每个第四输入数据中的目标特征信息对输出数据的影响度；根据该每个第四输入数据中的目标特征信息对输出数据的影响度，从该多个目标特征信息和调整量中选择正样本对应的目标特征信息和调整量；该正样本对应的目标特征信息对输出数据的影响度大于第二预设阈值。

在另一种可能的实现方式中，该模型训练模块，还用于将该正样本对应的目标特征信息和调整量对输出数据的影响度作为该第二策略网络模型的损失值；根据该第二策略网络模型的损失函数和该损失值，调整该第二策略网络模型的模型参数，得到第三策略网络模型；当对该模型参数的调整量不在预设范围内时，根据该第三策略网络模型获取正样本对应的特征信息和调整量；根据该第三策略网络模型获取的正样本对应的目标特征信息和调整量，再次调整该第三策略网络模型中的模型参数，直到该第三策略网络模型的模型参数的调整量在预设范围内，确定完成对该第二策略网络模型的模型训练，得到该第一策略网络模型。

在另一种可能的实现方式中，该装置还包括：

第二预测模块，用于通过第三机器学习模型对该第一输入数据进行预测，得到第五输出数据；

第五确定模块，用于将该解释信息确定为该第一输入数据通过该第三机器学习模型得到该第五输出数据的解释信息；

其中，该第一机器学习模型和该第三机器学习模型为同类机器学习模型，且该第三机器学习模型的卷积层数量大于该第一机器学习模型的卷积层数量。

在另一种可能的实现方式中，该装置还包括：

存储模块，用于关联该解释信息和该第一输出数据的数据类别，将该解释信息添加到解释信息集合中；

第三预测模块，用于当通过该第一机器学习模型对第六输入数据进行预测，得到第五输出数据时，确定该第五输出数据的数据类别；

选择模块，用于根据该数据类别，以及解释信息与数据类别的关联关系，从该解释信息集合中选择目标解释信息，该目标解释信息用于对该第六输入数据通过该第一机器学习模型得到该第五输出数据进行解释。

在本公开实施例中，通过确定多个第一输入数据中的目标特征信息和调整量，对第一机器学习模型中第一输入数据进行调整，通过对比调整后的第二输入数据对应的第二输出的数据与第一输入数据对应的第一输出数据，确定该第一输入数据中的目标特征信息和调整量中目标特征信息对该第一输出数据的影响度，根据该影响度，通过该第一输入数据、第一输出数据、第二输入数据和第二输出数据，确定该第一输入数据通过该第一机器学习模型得到该第一输出数据的解释信息。通过调整第一输入数据的特征信息的分布，调整第一输入数据，从而得到该第一输入数据中对第一输出数据影响较大的特征信息，从而第一服务器可以自动化地对第一机器学习模型进行解释归因，为第一机器学习模型提供了可靠的解释信息，使得第一机器学习模型产生的结果可信度更高，更值得的信赖，从而拓宽了机器学习模型的使用范围。

需要说明的是：上述实施例提供的解释信息获取装置在解释信息获取时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的解释信息获取装置与解释信息获取方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

图10是本公开实施例提供的一种服务器的结构示意图，该服务器1000可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processingunits，CPU)1001和一个或一个以上的存储器1002，其中，所述存储器1002中存储有至少一条指令，所述至少一条指令由所述处理器1001加载并执行以实现上述各个方法实施例提供的方法。当然，该服务器1000还可以具有有线或无线网络接口、键盘以及输入输出接口等部件，以便进行输入输出，该服务器1000还可以包括其他用于实现设备功能的部件，在此不做赘述。

本公开实施例还提供了一种计算机可读存储介质，该计算机可读存储介质应用于终端，该计算机可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，该指令、该程序、该代码集或该指令集由处理器加载并执行以实现上述实施例的解释信息获取方法中终端所执行的操作。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本公开的可选的实施例，并不用以限制本公开，凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。

Claims (20)

1.一种解释信息获取方法，其特征在于，所述方法包括：

通过第一机器学习模型对第一输入数据进行预测，得到第一输出数据；

其中，所述第一机器学习模型为图像识别模型，所述第一输入数据为待识别图像，所述第一输出数据为所述待识别图像的识别结果；或者，所述第一机器学习模型为语音识别模型，所述第一输入数据为待识别语音信号，所述第一输出数据为所述待识别语音信号的识别结果；

根据所述第一输入数据的多个特征信息的分布信息，确定所述第一输入数据中的目标特征信息和所述目标特征信息的调整量；

根据所述目标特征信息和所述目标特征信息的调整量，对所述第一输入数据进行调整，得到多个第二输入数据，通过所述第一机器学习模型对所述多个第二输入数据进行预测，得到多个第二输出数据；

对于每个第二输出数据，确定所述第一输出数据和所述多个第二输出数据之间的第一变化量；

确定所述第一输入数据和所述第二输出数据对应的第二输入数据之间的第二变化量；

根据所述第一变化量、所述第二变化量和所述第二输入数据中的目标特征信息的数量，确定所述第二输出数据对应的第二输入数据中的目标特征信息对所述第一输出数据的影响度，所述影响度分别与所述第一变化量和所述数量正相关、与所述第二变化量负相关；

根据每个第二输入数据中的目标特征信息对所述第一输出数据的影响度，生成所述第一输入数据通过所述第一机器学习模型得到所述第一输出数据的解释信息。

2.根据权利要求1所述的方法，其特征在于，所述根据每个第二输入数据中的目标特征信息对所述第一输出数据的影响度，生成所述第一输入数据通过所述第一机器学习模型得到所述第一输出数据的解释信息，包括：

根据每个第二输入数据中的目标特征信息对所述第一输出数据的影响度，从所述多个第二输入数据对应的第一变化量和第二变化量中，选择影响度大于第一预设阈值的至少一组目标变化量；

将所述至少一组目标变化量组成所述第一输入数据通过所述第一机器学习模型得到所述第一输出数据的解释信息。

3.根据权利要求2所述的方法，其特征在于，所述根据每个第二输入数据中的目标特征信息对所述第一输出数据的影响度，生成所述第一输入数据通过所述第一机器学习模型得到所述第一输出数据的解释信息之后，所述方法还包括：

根据所述至少一组目标变化量，确定所述至少一组目标变化量对应的目标特征信息的至少一个目标特征类别；

根据所述至少一个目标特征类别，更新用于从输入数据中提取特征信息的特征类别。

4.根据权利要求1所述的方法，其特征在于，所述根据所述第一输入数据的多个特征信息的分布信息，确定所述第一输入数据中的目标特征信息和所述目标特征信息的调整量，包括：

根据所述多个特征信息的分布信息和所述多个特征信息，确定每个特征信息对应的编码值；

将所述每个特征信息对应的编码值输入第一策略网络模型中，得到所述第一输入数据中的目标特征信息和调整量。

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

获取训练数据，所述训练数据包括第三输入数据和第三输出数据，所述第三输出数据为所述第三输入数据通过第二机器学习模型得到的输出数据；

根据所述第三输入数据和所述第三输出数据，确定正样本对应的目标特征信息和调整量；

根据所述正样本对应的目标特征信息和调整量，对第二策略网络模型进行模型训练，得到所述第一策略网络模型。

6.根据权利要求5所述的方法，其特征在于，所述根据所述第三输入数据和所述第三输出数据，确定正样本对应的目标特征信息和调整量，包括：

将所述第三输入数据输入所述第二策略网络模型中，得到所述第三输入数据对应的多个目标特征信息和调整量；

根据所述多个目标特征信息和调整量，对所述第三输入数据进行调整，得到多个第四输入数据，通过所述第二机器学习模型对所述多个第四输入数据进行预测，得到多个第四输出数据；

根据所述第三输出数据和所述多个第四输出数据，确定每个第四输入数据中的目标特征信息对输出数据的影响度；

根据所述每个第四输入数据中的目标特征信息对输出数据的影响度，从所述多个目标特征信息和调整量中选择正样本对应的目标特征信息和调整量；所述正样本对应的目标特征信息对输出数据的影响度大于第二预设阈值。

7.根据权利要求5所述的方法，其特征在于，所述根据所述正样本对应的目标特征信息和调整量，对第二策略网络模型进行模型训练，得到所述第一策略网络模型，包括：

将所述正样本对应的目标特征信息和调整量对输出数据的影响度作为所述第二策略网络模型的损失值；

根据所述第二策略网络模型的损失函数和所述损失值，调整所述第二策略网络模型的模型参数，得到第三策略网络模型；

当对所述模型参数的调整量不在预设范围内时，根据所述第三策略网络模型获取正样本对应的目标特征信息和调整量；

根据所述第三策略网络模型获取的正样本对应的目标特征信息和调整量，再次调整所述第三策略网络模型中的模型参数，直到所述第三策略网络模型的模型参数的调整量在预设范围内，确定完成对所述第二策略网络模型的模型训练，得到所述第一策略网络模型。

8.根据权利要求1-7任一项所述的方法，其特征在于，所述方法还包括：

通过第三机器学习模型对所述第一输入数据进行预测，得到第五输出数据；

将所述解释信息确定为所述第一输入数据通过所述第三机器学习模型得到所述第五输出数据的解释信息；

其中，所述第一机器学习模型和所述第三机器学习模型为同类机器学习模型，且所述第三机器学习模型的卷积层数量大于所述第一机器学习模型的卷积层数量。

9.根据权利要求1-7任一项所述的方法，其特征在于，所述根据每个第二输入数据中的目标特征信息对所述第一输出数据的影响度，生成所述第一输入数据通过所述第一机器学习模型得到所述第一输出数据的解释信息之后，所述方法还包括：

关联所述解释信息和所述第一输出数据的数据类别，将所述解释信息添加到解释信息集合中；

当通过所述第一机器学习模型对第六输入数据进行预测，得到第五输出数据时，确定所述第五输出数据的数据类别；

根据所述数据类别，以及解释信息与数据类别的关联关系，从所述解释信息集合中选择目标解释信息，所述目标解释信息用于对所述第六输入数据通过所述第一机器学习模型得到所述第五输出数据进行解释。

10.一种解释信息获取装置，其特征在于，所述装置包括：

第一预测模块，用于通过第一机器学习模型对第一输入数据进行预测，得到第一输出数据；

其中，所述第一机器学习模型为图像识别模型，所述第一输入数据为待识别图像，所述第一输出数据为所述待识别图像的识别结果；或者，所述第一机器学习模型为语音识别模型，所述第一输入数据为待识别语音信号，所述第一输出数据为所述待识别语音信号的识别结果；

第一确定模块，用于根据所述第一输入数据的多个特征信息的分布信息，确定所述第一输入数据中的目标特征信息和所述目标特征信息的调整量；

数据调整模块，用于根据所述目标特征信息和所述目标特征信息的调整量，对所述第一输入数据进行调整，得到多个第二输入数据，通过所述第一机器学习模型对所述多个第二输入数据进行预测，得到多个第二输出数据；

第二确定模块，用于对于每个第二输出数据，确定根据所述第一输出数据和所述多个第二输出数据之间的第一变化量；确定所述第一输入数据和所述第二输出数据对应的第二输入数据之间的第二变化量；根据所述第一变化量、所述第二变化量和所述第二输入数据中的目标特征信息的数量，确定所述第二输出数据对应的第二输入数据中的目标特征信息对所述第一输出数据的影响度，所述影响度分别与所述第一变化量和所述数量正相关、与所述第二变化量负相关；

生成模块，用于根据每个第二输入数据中的目标特征信息对所述第一输出数据的影响度，生成所述第一输入数据通过所述第一机器学习模型得到所述第一输出数据的解释信息。

11.根据权利要求10所述的装置，其特征在于，所述第二确定模块，还用于根据每个第二输入数据中的目标特征信息对所述第一输出数据的影响度，从所述多个第二输入数据对应的第一变化量和第二变化量中，选择影响度大于第一预设阈值的至少一组目标变化量；将所述至少一组目标变化量组成所述第一输入数据通过所述第一机器学习模型得到所述第一输出数据的解释信息。

12.根据权利要求11所述的装置，其特征在于，所述装置还包括：

第三确定模块，用于根据所述至少一组目标变化量，确定所述至少一组目标变化量对应的目标特征信息的至少一个目标特征类别；

更新模块，用于根据所述至少一个目标特征类别，更新用于从输入数据中提取特征信息的特征类别。

13.根据权利要求10所述的装置，其特征在于，所述第一确定模块还用于：

根据所述多个特征信息的分布信息和所述多个特征信息，确定每个特征信息对应的编码值；

将所述每个特征信息对应的编码值输入第一策略网络模型中，得到所述第一输入数据中的目标特征信息和调整量。

14.根据权利要求13所述的装置，其特征在于，所述装置还包括：

获取模块，用于获取训练数据，所述训练数据包括第三输入数据和第三输出数据，所述第三输出数据为所述第三输入数据通过第二机器学习模型得到的输出数据；

第四确定模块，用于根据所述第三输入数据和所述第三输出数据，确定正样本对应的目标特征信息和调整量；

模型训练模块，用于根据所述正样本对应的目标特征信息和调整量，对第二策略网络模型进行模型训练，得到所述第一策略网络模型。

15.根据权利要求14所述的装置，其特征在于，所述第四确定模块，还用于：

将所述第三输入数据输入所述第二策略网络模型中，得到所述第三输入数据对应的多个目标特征信息和调整量；

根据所述多个目标特征信息和调整量，对所述第三输入数据进行调整，得到多个第四输入数据，通过所述第二机器学习模型对所述多个第四输入数据进行预测，得到多个第四输出数据；

根据所述第三输出数据和所述多个第四输出数据，确定每个第四输入数据中的目标特征信息对输出数据的影响度；

根据所述每个第四输入数据中的目标特征信息对输出数据的影响度，从所述多个目标特征信息和调整量中选择正样本对应的目标特征信息和调整量；所述正样本对应的目标特征信息对输出数据的影响度大于第二预设阈值。

16.根据权利要求14所述的装置，其特征在于，所述模型训练模块，还用于：

将所述正样本对应的目标特征信息和调整量对输出数据的影响度作为所述第二策略网络模型的损失值；

根据所述第二策略网络模型的损失函数和所述损失值，调整所述第二策略网络模型的模型参数，得到第三策略网络模型；

当对所述模型参数的调整量不在预设范围内时，根据所述第三策略网络模型获取正样本对应的目标特征信息和调整量；

根据所述第三策略网络模型获取的正样本对应的目标特征信息和调整量，再次调整所述第三策略网络模型中的模型参数，直到所述第三策略网络模型的模型参数的调整量在预设范围内，确定完成对所述第二策略网络模型的模型训练，得到所述第一策略网络模型。

17.根据权利要求10-16任一项所述的装置，其特征在于，所述装置还包括：

第二预测模块，用于通过第三机器学习模型对所述第一输入数据进行预测，得到第五输出数据；

第五确定模块，用于将所述解释信息确定为所述第一输入数据通过所述第三机器学习模型得到所述第五输出数据的解释信息；

其中，所述第一机器学习模型和所述第三机器学习模型为同类机器学习模型，且所述第三机器学习模型的卷积层数量大于所述第一机器学习模型的卷积层数量。

18.根据权利要求10-16任一项所述的装置，其特征在于，所述装置还包括：

存储模块，用于关联所述解释信息和所述第一输出数据的数据类别，将所述解释信息添加到解释信息集合中；

第三预测模块，用于当通过所述第一机器学习模型对第六输入数据进行预测，得到第五输出数据时，确定所述第五输出数据的数据类别；

选择模块，用于根据所述数据类别，以及解释信息与数据类别的关联关系，从所述解释信息集合中选择目标解释信息，所述目标解释信息用于对所述第六输入数据通过所述第一机器学习模型得到所述第五输出数据进行解释。

19.一种服务器，其特征在于，所述服务器包括处理器和存储器，所述存储器中存储至少一条程序代码，所述至少一条程序代码由所述处理器加载并执行，以实现如权利要求1至9任一项所述的解释信息获取方法。

20.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储至少一条程序代码，所述至少一条程序代码由处理器加载并执行，以实现如权利要求1至9任一项所述的解释信息获取方法。