CN114444705A

CN114444705A - 模型更新方法及装置

Info

Publication number: CN114444705A
Application number: CN202011111904.3A
Authority: CN
Inventors: 段戎; 黄文文
Original assignee: Huawei Technologies Co Ltd
Current assignee: Huawei Technologies Co Ltd
Priority date: 2020-10-16
Filing date: 2020-10-16
Publication date: 2022-05-06

Abstract

本申请公开了一种模型更新方法及装置，属于AI领域。所述方法包括：获取异常解释性信息，所述异常解释性信息为解释内容异常的解释性信息，所述解释性信息是用于解释机器学习模型的输出结果的信息；基于所述异常解释性信息，调整所述机器学习模型的训练样本集；获取更新后的机器学习模型，所述机器学习模型基于调整后的训练样本集训练得到。本申请能够提高更新后的机器学习模型的可靠性。

Description

模型更新方法及装置

技术领域

本申请涉及人工智能(Artificial Intelligence，AI)领域，特别涉及一种模型更新方法及装置。

背景技术

机器学习，是指让机器基于训练样本训练出机器学习模型，使机器学习模型对训练样本之外的数据具有预测能力(如类别预测能力)。机器学习作为AI领域的一个重要分支，在众多领域得到了广泛的应用。

随着环境或规则等的改变，原有的机器学习模型需要随时间进行更新。目前，机器学习模型的更新由人为经验触发或者周期性更新，更新灵活性较低，导致更新后的机器学习模型的可靠性较低。

发明内容

本申请实施例提供了一种模型更新方法及装置。该技术方案如下：

第一方面，提供了一种模型更新方法，该方法可以由计算机设备执行，该方法包括：

获取异常解释性信息，该异常解释性信息为解释内容异常的解释性信息，该解释性信息是用于解释机器学习模型的输出结果的信息；基于该异常解释性信息，调整该机器学习模型的训练样本集；获取更新后的机器学习模型，该机器学习模型基于调整后的训练样本集训练得到。

本申请实施例提供的模型更新方法，在获取异常解释性信息后，基于获取的异常解释性信息，调整该机器学习模型的训练样本集，从而采用该训练样本集获取更新后的机器学习模型。如此，实现基于异常解释性信息的模型的自动更新，有效提高模型更新的灵活性，从而提高更新后的机器学习模型的可靠性。

其中，该解释性信息包括一个或多个特征，以及该特征的特征值，该基于该异常解释性信息，调整该机器学习模型的训练样本集的过程，包括：将训练样本集中的目标训练样本对应的标签更新，得到调整后的训练样本集，其中，该目标训练样本包括与该异常解释性信息中的异常特征相同的目标特征，且该目标特征的特征值与该异常特征的异常特征值相同。

若训练样本集中某一训练样本的特征与异常特征相同，且该特征的特征值与异常特征值相同，则该训练样本的标签存在错误的概率较高。通过对训练样本集的标签进行更新，可以减少错误标签的产生概率，提高采用调整后的训练样本集训练得到机器学习模型的可靠性。

本申请实施例中，基于异常解释性信息，调整机器学习模型的训练样本集的方式有多种，下面以以下几种可选方式为例进行说明：

在第一种可选方式中，计算机设备基于异常解释性信息中的异常特征，调整机器学习模型的训练样本集。该过程包括：将训练样本集中的目标训练样本对应的标签更新，得到调整后的训练样本集，其中，目标训练样本包括与异常解释性信息中的异常特征相同的目标特征，且目标特征的特征值与异常特征的异常特征值相同。

在第一种可选实现方式中，计算机设备将训练样本集中的所有目标训练样本对应的标签更新，得到调整后的训练样本集，其中，目标训练样本包括与异常解释性信息中的异常特征相同的目标特征，且目标特征的特征值与异常特征的异常特征值相同。

在第二种可选实现方式中，计算机设备将训练样本集中的目标训练样本对应的标签逐步更新，得到调整后的训练样本集，其中，目标训练样本包括与异常解释性信息中的异常特征相同的目标特征，且目标特征的特征值与异常特征的异常特征值相同，目标训练样本的判定过程参考前述第一种可选实现方式。计算机设备将训练样本集中的目标训练样本对应的标签逐步更新，得到调整后的训练样本集的过程包括：

获取初始的x值，1≤x＜y，并基于初始的x值，执行至少两次重训练流程，直至达到预设截止条件，所述y为所述训练样本集中目标训练样本的总数；将该至少两次重训练流程得到的机器学习模型中的验证效果最优的机器学习模型所对应的训练样本集确定为该调整后的训练样本集；

其中，该重训练流程包括：将该训练样本集中x个目标训练样本对应的标签更新为相反的标签；基于标签更新后的训练样本集，训练该机器学习模型，得到重训练后的机器学习模型；增大x得到更新后的x，再次执行该重训练流程。

在一种可选实现方式中，在该获取异常解释性信息之前，模型更新方法还包括：在接收到该机器学习模型的输出结果后，基于该输出结果生成解释性信息；显示生成的解释性信息。通过显示解释性信息，可以便于用户基于该解释性信息了解得到输出结果的原因。

示例的，计算机设备可以在每次生成一个解释性信息后，显示该解释性信息。在一种可选示例中，计算机设备可以将对应同一输入信息的输出结果和解释性信息同时显示。

前述获取异常解释性信息的过程可以包括：接收该解释性信息的判定信息，该判定信息用于指示该解释性信息的解释内容是否异常；将判定信息指示解释内容异常的解释性信息确定为该异常解释性信息。示例的，该解释性信息包括一个或多个特征，以及该特征的特征值，该将判定信息指示解释内容异常的解释性信息确定为该异常解释性信息的过程，包括：当该判定信息指示该解释性信息中的任一特征为异常特征时，确定该解释性信息为异常解释性信息。

前述输出结果是该机器学习模型基于的输入信息生成的，在本申请实施例中，基于该输出结果生成解释性信息的过程可以包括：获取该输出结果对应的输入信息；在该训练样本集中确定与该输入信息距离小于预设距离阈值或者距离最近的目标样本；生成该解释性信息，该解释性信息包括该目标样本包括的特征以及特征值，以及预先获取的该目标样本中各个特征的权值。

由于输出结果是机器学习模型基于输入信息生成的，因此，解释性信息中可以包括输入信息或者输入信息的相关信息，以便于用户更为全面地了解输出结果。

在本申请实施例中，基于输出结果生成解释性信息的方式有多种，下面以以下两种可选实现方式为例进行说明：

在第一种可选实现方式中，计算机设备获取输出结果对应的输入信息；基于该输入信息生成解释性信息，该解释性信息包括输入信息包括的特征以及特征值，以及输入信息中各个特征的权值(也称权重系数或者权重)，该权值反映了对应特征对输出结果的贡献度。示例的，计算机设备可以采用解释性算法获取输入信息中各个特征的权值。该解释性算法可以为局部可解释性模型(Local Interpretable Model-Agnostic Explanation，LIME)算法。

在第二种可选实现方式中，计算机设备获取输出结果对应的输入信息；在训练样本集中确定与输入信息距离小于预设距离阈值或者距离最近的目标样本；生成解释性信息，该解释性信息包括目标样本包括的特征以及特征值，以及预先获取的目标样本中各个特征的权值，该权值反映了对应特征对目标样本的标签的贡献度。其中，目标样本中各个特征的权值是预先获取的指的是在生成解释性信息之前，该权值已经获取。如此，第二种可选方式所获取的解释性信息与第一种可选实现方式获取的解释性信息接近，但是由于第二种可选方式中的解释性信息中的权值是预先获取的，无需实时计算，因此可以有效节约计算时延，减少用户等待时长，提高用户体验。示例的，训练样本和输入信息的距离采用欧几里得公式计算得到。

在一种可选示例中，计算机设备可以预先获取训练样本集中所有样本的特征的权值，在训练样本集的所有样本中确定与输入信息距离小于预设距离阈值或者距离最近的目标样本。示例的，计算机设备可以采用LIME算法获取训练样本集中每个样本的各个特征的权值。

在另一种可选示例中，计算机设备可以预先获取训练样本集中部分样本的特征的权值，在该训练样本集的部分样本中确定与输入信息距离小于预设距离阈值或者距离最近的目标样本。如此可以减少获取权值过程的运算量，降低运算代价。其中，该部分样本是训练样本集中具有代表性的样本。本申请实施例将该部分样本中每个样本称之为参考样本。示例的，计算机设备可以采用LIME算法获取每个参考样本的各个特征的权值。

在本申请实施例中，该解释性信息包括每个该特征值所处的特征值范围；如此，用户可以基于输入信息各个特征值所处的特征值范围，更为清楚地了解得到输出结果的原因。

和/或，解释性信息包括与该输出结果对应的该机器学习模型所支持的每种分类的概率。如此，可以便于用户更为清楚地了解得到输出结果的原因。

第二方面，本申请示例性实施例提供了一种模型更新装置，装置包括一个或多个模块，这一个或多个模块用于实现前述第一方面任意一种模型更新方法。

第三方面，本申请实施例提供了一种计算机设备，例如终端或服务器。该计算机设备包括处理器和存储器。处理器通常包括CPU。该存储器用于存储计算机程序；该处理器用于在执行该存储器存储的该计算机程序时实现前述第一方面任意一种模型更新方法。

第四方面，本申请实施例提供了一种计算机存储介质，该存储介质可以是非易失性的。该存储介质内存储有计算机程序，该计算机程序在被处理器执行时使得该处理器实现前述第一方面任意一种模型更新方法。

第五方面，本申请实施例提供了一种包含计算机可读指令的计算机程序或计算机程序产品，当计算机程序或计算机程序产品在计算机设备上运行时，使得计算机设备执行前述第一方面任意一种模型更新方法。该计算机程序产品中可以包括一个或多个程序单元，用于实现前述方法。

第六方面，本申请提供了一种芯片，例如CPU。该芯片包括逻辑电路，该逻辑电路可以为可编程逻辑电路。当该芯片运行时用于实现前述第一方面任意一种模型更新方法。

第七方面，本申请提供了一种芯片，例如CPU。该芯片包括一个或多个物理核、以及存储介质，该一个或多个物理核在读取该存储介质中的计算机指令后实现前述第一方面任意一种模型更新方法。

第八方面，本申请实施例提供一种处理系统，该系统包括存储设备以及第二方面所述的模型更新装置或者第三方面所述的计算机设备。

综上所述，本申请实施例提供的模型更新方法，在获取异常解释性信息后，基于获取的异常解释性信息，调整所述机器学习模型的训练样本集，从而采用该训练样本集获取更新后的机器学习模型。如此，实现基于异常解释性信息的模型的自动更新，有效提高模型更新的灵活性，从而提高更新后的机器学习模型的可靠性。

本申请实施例中，由于在获取异常解释性信息后便进行训练样本集的更新，进而进行模型的更新，而异常解释性信息能够一定程度地反映出模型的劣化，无需人为触发便可以在合适的时机(即模型劣化时)进行模型的更新(如调整模型参数)，实现模型的自适应优化，机器学习模型的更新时机更准确，从而提高更新后的机器学习模型的预测精度。由于机器学习模型是在解释性信息异常后便进行更新，而异常解释性信息能够一定程度地反映出模型的劣化，如此可以在模型劣化时进行模型的及时更新，保证模型更新的及时性，从而提高用户体验。

并且，本申请实施例中，基于异常解释性信息进行机器学习模型的更新，无需人为进行模型更新，因此可以有效降低人工成本，提高训练效率。本申请实施例基于异常解释性信息能够及时进行模型的更新，通过用户自动地校验，可以有效降低专家经验的变化对机器学习模型实际应用的影响。

附图说明

图1是本申请实施例提供的一种模型更新方法的流程示意图；

图2是本申请实施例提供的一种示意性的采用Mini Batch K-Means算法进行训练样本集分类的分类结果示意图；

图3为本申请实施例提供的一种示意性的树结构；

图4是本申请实施例提供的一种树结构的划分原理图；

图5是本申请实施例提供的一种解释性信息的显示界面示意图；

图6是本申请实施例提供的另一种解释性信息的显示界面示意图；

图7是本申请实施例提供的一种解释性信息的显示界面示意图；

图8是本申请实施例提供的一种模型更新方法所涉及的处理系统的应用环境示意图；

图9是图8所示处理系统的一种实现场景的示意图；

图10是本申请实施例提供的一种模型更新装置的框图；

图11是本申请实施例提供的另一种模型更新装置的框图；

图12是本申请实施例提供的一种生成模块的框图；

图13是本申请实施例提供的又一种模型更新装置的框图；

图14示出了本申请实施例提供的图像处理方法涉及的计算机设备的结构示意图。

具体实施方式

为使本申请的原理和技术方案更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。

机器学习算法作为AI领域的一个重要分支，在众多领域得到了广泛的应用。从学习方法的角度，机器学习算法可以分为监督式学习算法、非监督式学习算法、半监督式学习算法、强化学习算法几大类。监督式学习算法(也称有监督学习算法)，是指可以基于训练数据学习一个算法或建立一个模式，并以此算法或模式推测新的实例。训练数据，也称训练样本，是由输入数据和预期输出组成。机器学习算法的模型，也称机器学习模型，其预期输出，称为标签或目标，其可以是一个预测的分类结果(称作分类标签)。非监督式学习算法与监督式学习算法的区别在于，非监督式学习算法的训练样本没有给定标签，机器学习算法模型通过分析训练样本，从而得到一定的成果。半监督学习算法，其训练样本一部分带有标签，另一部分没有标签，而无标签的数据远远多于有标签的数据。强化学习算法通过不断在环境中尝试，以取得最大化的预期利益，通过环境给予的奖励或惩罚，产生能获得最大利益的选择。

其中，每个训练样本包括一维或多维的特征，每个特征具有一个特征值(也称特征数据，value)。也即是每个训练样本包括一个或多个特征，以及特征的特征值。示例的，在对报销风险单据进行分类结果预测的场景中，每个训练样本包括如下特征中的一种或多种：部门报销单据均数、每人每年(逾期)报销单据数量、会计科目、审批主管常驻地、本报销单流转次数、部门违规率、本报销单流程处理角色数、本报销单流转次数、归档状态或权签人自己审批等等。并且，每个训练样本包括与特征对应的特征值。例如，部门报销单据均数为3表示特征为“部门报销单据均数”的特征值为3；审批主管常驻地为南京表示特征为“审批主管常驻地”的特征值为南京。其中，特征值可以数值也可以为其他类型字符串，或者由字符串转化得到的数值。

进一步的，在应用有监督学习算法或半监督学习算法的场景中，该训练样本还可以包括标签。例如，在前述对报销风险单据进行分类结果预测的场景中，假设分类结果用于预测报销风险单据是否违规，则一个训练样本还包括标签：“违规”或“合规”。该标签还可以由数字表示，例如1表示“违规”，0表示“合规”。

机器学习模型的类型可以有多种，例如，在网络异常检测场景中，前述机器学习模型可以为基于统计与数据分布的算法(例如N-Sigma算法)的模型、基于距离/密度的算法(例如局部异常因子算法)的模型、树模型(如孤立森林(Isolation forest，Iforest))或基于预测的算法模型(例如差分整合移动平均自回归模型(Autoregressive IntegratedMoving Average model，ARIMA))等。

在机器学习的实践任务中，需要选择具有代表性的样本组成样本集来构建机器学习模型。通常在有标签的样本中，选择与类别相关性强的样本作为该样本集。其中，标签用于标识样本，如标识样本的类别。如此构建的机器学习模型也称为分类器或者分类模型。

由于目前的机器学习模型的更新由人为经验触发或者周期性更新，更新灵活性较低，导致更新后的机器学习模型的可靠性较低。

本申请实施例提供一种模型更新方法，可以进行模型的自动更新，从而提高更新灵活性，保证更新后的机器学习模型的可靠性，该方法可以应用于计算机设备，该计算机设备用于运行并更新机器学习模型。该计算机设备可以为电脑、笔记本、服务器、由多个服务器组成的服务器集群或者云计算中心。图1是本申请实施例提供的一种模型更新方法的流程示意图。如图1所示，该方法包括：

S101、获取机器学习模型。

机器学习模型可以用于进行分类结果的预测，例如其可以为二分类模型。用于训练机器学习模型的训练设备可以不断收集训练样本以得到训练样本集(也称训练集，training dataset)，并基于收集得到的训练样本集(可以称为历史训练样本集)进行训练(如离线训练或在线训练)，从而得到机器学习模型。其中，二分类模型指的是分类结果有两种的机器学习模的。

其中，训练设备可以与计算机设备相同，也可以与计算机设备不同。在训练设备与计算机设备不同时，训练设备在训练得到机器学习模型后，将机器学习模型发送给计算机设备，相应的，计算机设备接收该机器学习模型；当训练设备与计算机设备相同时，计算机设备直接获取训练完成的机器学习模型。

S102、在接收到机器学习模型的输出结果后，基于输出结果生成解释性信息。

在机器学习模型使用阶段，计算机设备向该机器学习模型输入待预测信息，由机器学习模型基于输入信息生成输出结果。相应的，计算机设备接收该输出结果。其中，输入信息包括一个或多个特征，以及特征的特征值。在一种可选示例中，输入信息可以视为一个特征以及特征值的集合。例如，输入信息包括：特征F1和特征F2，其中特征F1的特征值为x1，特征F2的特征值为x2。则输入信息为集合：{(F1＝x1)，(F2＝x2)}。在另一种可选示例中，输入信息可以为一特征值序列，在该特征值序列中每个特征值的顺序标识一个特征。例如，输入信息包括：特征F1和特征F2，其中特征F1的特征值为x1，特征F2的特征值为x2。则输入信息为特征值序列：{x1，x2}，该特征值序列中位于第一位的特征值标识的特征为F1，位于第二位的特征值标识的特征为F2。

计算机设备在接收到输出结果后，基于该输出结果生成解释性信息，该解释性信息是用于解释机器学习模型的输出结果的信息。其为用户(如业务人员)可读的信息。计算机设备可以显示该解释性信息，以便用户基于该解释性信息了解得到输出结果的原因。

如前所述，输出结果是机器学习模型基于输入信息生成的，因此，解释性信息中可以包括输入信息或者输入信息的相关信息，以便于用户更为全面地了解输出结果。

在第一种可选实现方式中，计算机设备获取输出结果对应的输入信息；基于该输入信息生成解释性信息，该解释性信息包括输入信息包括的特征以及特征值，以及输入信息中各个特征的权值(也称权重系数或者权重)，该权值反映了对应特征对输出结果的贡献度。示例的，计算机设备可以采用解释性算法获取输入信息中各个特征的权值。该解释性算法可以为局部可解释性模型(Local Interpretable Model-Agnostic Explanation，LIME)算法。示例的，计算机设备将输入信息输入LIME算法模型，由该LIME算法模型输出输入信息中各个特征的权值。其中，LIME算法模型用于：对于每一个输入信息，首先利用该信息以及该信息的一组近邻数据训练一个易于解释的线性模型来拟合待解释模型的局部边界，然后基于该线性模型解释待解释模型针对该信息的决策依据。其中，线性模型的权值体现了当前决策中该输入信息的每一维特征的重要性。该待解释模型为机器学习模型。

值得说明的是，当计算机设备确定的目标样本有多个，例如与输入信息最近的样本有2个，计算机设备可以通过预设算法在多个目标样本中选择一个目标样本进行后续运算。示例的，计算机设备可以在多个目标样本随机选择一个目标样本。

示例的，计算机设备可以在前述S101之前采用聚类算法获取参考样本。该过程包括：

A1、采用聚类算法将训练样本集划分为多类训练样本，在每一类训练样本中确定一个参考样本。

示例的，该聚类算法可以为小批量K均值聚类(Mini Batch K-Means)算法。将训练样本集中每个样本作为一个样本点，进行Mini Batch K-Means算法，可以将训练样本集分为多类训练样本。图2是本申请实施例提供的一种示意性的采用Mini Batch K-Means算法进行训练样本集分类的分类结果示意图。图2中假设训练样本集中的每个样本包括两维特征，横轴代表一个维度的特征，纵轴代表另一维度的特征。基于每个样本的特征的特征值，采用Mini Batch K-Means算法可以将训练样本集划分为多个区域，每个区域代表一类训练样本。在每个区域中确定一个样本点作为参考样本，图2中以“+”表示参考样本。示例的，每一类训练样本的参考样本可以为采用预设算法在该类训练样本中选择的样本，例如，每一类训练样本的参考样本为在该类训练样本中随机选择的样本；或者，每一类训练样本的参考样本为位于该类训练样本对应区域的中心的样本。以图2为例，每一类训练样本的参考样本为位于该类训练样本所对应区域中心的样本点。值得说明的是，在采用聚类算法进行训练样本集的聚类时，可以设定聚类的个数，以保证获取的每类训练样本对应区域的中心的参考样本具有代表性。

A2、获取训练样本集中参考样本的特征以及特征值，并获取参考样本中各个特征的权值。

示例的，计算机设备可以采用解释性算法获取参考样本中各个特征的权值。该解释性算法可以为LIME算法。例如，计算机设备将参考样本输入LIME算法模型，由该LIME算法模型输出参考样本中各个特征的权值。其中，LIME算法模型用于：对于每一个参考样本，首先利用该信息以及该信息的一组近邻数据训练一个易于解释的线性模型来拟合待解释模型的局部边界，然后基于该线性模型解释待解释模型针对该信息的决策依据。其中，线性模型的权值体现了当前决策中该参考样本的每一维特征的重要性。该待解释模型为机器学习模型。

本申请实施例中，通过采用聚类算法获取参考样本，再获取参考样本中各个特征的权值。无需获取训练样本集中所有样本的权值，有效减少运算代价。例如，训练样本集中包括10000个训练样本，通过聚类算法获取1000个参考样本，算力减少了10倍。

如前所述，机器学习模型可以为多种类型的模型。其中，一些机器学习模型基于分类原则来进行结果预测。树模型，是一种较为常见的基于分类原则的机器学习模型。树模型包括多个关联的节点(node)。为了便于读者理解，本申请实施例对树模型进行简单介绍。在树模型中，每个节点包括节点元素和若干指向子树的分支；在一个结点左侧的子树称为该节点的左子树(left subtree)，在该节点右侧的子树称为右子树(right subtree)；一个结点的子树的根称为该结点的子节点(child node)，也称孩子节点；一个节点是另一节点的子节点，则另一节点为该一个节点的父节点也称双亲节点)；某节点的深度或者层数是指从根节点到该节点的最长简单路径边的条数，例如，根结点的深度(也称高度或层数)为1，根的子节点的深度为2，依此类推；叶子结点：也叫终端结点，是节点的度为0的结点；结点的度指的是结点子树的个数；非叶子节点是叶子节点之外的节点，其包括根节点，以及根节点与叶子节点之间的节点。二叉树是每个结点最多有两个子树的树结构，其是较为常见的树结构。本申请实施例中机器学习模型可以是由二叉树模型组成的集成模型。例如孤立森林模型。

如图3所示，图3为本申请实施例提供的一种示意性的树结构，该树结构包括：节点P1至P5，其中，P1为根节点，P3、P4和P5是叶子节点，P1和P2是非叶子节点，树的深度是2。该机器学习模型是通过节点P1和P3的两次节点分裂形成。节点分裂指的是一个节点对应的训练样本集在某一分裂维度的某一分裂点被划分成至多两个子集，可以视为该节点分裂出至多两个子节点，每个子节点对应一个子集。也即是将一个节点对应的训练样本集划分到子节点中的方式称为分裂。

图4假设图3中的机器学习模型对应的训练样本集中的样本包括两个维度(即两种特征)的特征值，该两个维度分别为维度x和维度y，该训练样本集包括样本(a1，b1)，(a1，b2)，(a2，b1)。第一次节点分裂的分裂维度为维度x，分裂点为a3，将训练样本集所在的样本空间切割成了2个子空间，对应于图3即为P1节点的左子树和右子树；第二次节点分裂的分裂维度为维度y，分裂点为b3，对应于图3即为P2节点的左子树和右子树。由此可知，训练样本集：{(a1，b1)，(a1，b2)，(a2，b1)}分别被划分至三个子空间。在机器学习模型使用时，基于输入信息，会获取该输入信息中的特征的特征值落入哪个子空间，基于此来确定输出结果。例如，输入信息包括的特征点的维度x的特征值M满足：a3≤M≤a2，维度y的特征值N满足：b3≤N≤b2。

相应的，对于基于分类原则的机器学习模型，对于输入的每个特征点(即输入的特征与相应的特征值)，机器学习模型可以获取特征值所处的特征值范围。在本申请实施例中，解释性信息还可以包括：其包括的特征值中每个特征值所处的特征值范围。如此，用户可以基于输入信息各个特征值所处的特征值范围，更为清楚地了解得到输出结果的原因。其中，计算机设备可以从机器学习模型中提取输入信息中每个特征的特征值所处的特征值范围，也可以通过与机器学习模型相同的分类原则确定输入信息中每个特征的特征值所处的特征值范围。

需要说明的是，机器学习模型是基于概率论来进行分类结果预测的，也即是，预测多种机器学习模型所支持的多种分类存在的概率，以确定概率最高的分类作为最终的分类。例如，机器学习模型为二分类模型，其支持两种分类，机器学习模型用于预测该两种分类存在的概率，并确定概率最高的分类。在一种可选方式中，机器学习模型输出的分类结果会包括概率最高的分类(其为最终的分类结果)，以及多种分类存在的概率；在另一种可选方式中，机器学习模型输出的分类结果仅包括概率最高的分类。例如，基于二分类原理的机器学习模型就是选择概率较大的分类(如0或者1)作为分类结果输出。

进一步可选地，解释性信息还可以包括：与输出结果对应(与输入信息也对应)的机器学习模型所支持的每种分类的概率。值得说明的是，当解释性信息包括机器学习模型所支持的每种分类的概率时，可以便于用户更为清楚地了解得到输出结果的原因。其中，计算机设备可以从机器学习模型中提取机器学习模型所支持的每种分类的概率，也可以通过与机器学习模型相同的分类原则确定机器学习模型所支持的每种分类的概率。

S103、显示生成的解释性信息。

计算机设备可以在每次生成一个解释性信息后，显示该解释性信息。在一种可选示例中，计算机设备可以将对应同一输入信息的输出结果和解释性信息同时显示。

需要说明的是，当解释性信息和输出结果中包括相同的信息时，两者可以择一显示，无需进行相同信息的重复显示。例如，解释性信息和输出结果中均包括机器学习模型所支持的每种分类的概率时，可以仅显示输出结果中的机器学习模型所支持的每种分类的概率。

图5和图6分别是本申请实施例提供的两种解释性信息的显示界面示意图。图5和图6中，以输出结果和解释性信息同时显示为例，但并不对解释性信息的显示时机进行限制。如图5和图6所示，输出结果包括合规和违规两类，以及每类的概率。图5中的输出结果还包括：最终的分类：违规；图6的输出结果还包括：最终的分类：合规。图5和图6中，解释性特征分别包括：特征、特征值、属于“合规”这一分类的特征的权值以及属于“违规”这一分类的特征的权值，以及每个特征值所处的特征值范围。例如，图5中，特征“部门报销单据均数”的特征值为2.46，属于违规分类，其权值为0.14，其特征值所处的特征值范围为“＞2.36”。又例如，图6中，特征“本报销单流程处理角色数”的特征值为0.01，属于合规分类，其权值为0.01，其特征值所处的特征值范围为“＜3”。

机器学习模型通常包含多层次的逻辑结构，模型的工作方式对于用户来讲很难理解，传统的机器学习模型也缺乏与用户进行交互的方式，如此，用户无法与模型形成有效地互动，无法构建对模型的信任，不利于模型的推广和应用。本申请实施例中，通过显示解释性信息，提供了一种模型与用户交互的方式，能够有效的帮助用户打开模型的黑盒，理解模型的工作方式。从而实现用户与模型的有效地互动，构建用户对模型的信任，有利于模型的推广和应用。

并且传统的解释性算法通常计算量较大，如果在用户使用机器学习模型时，通过该解释性算法获取解释性信息，需要计算开销较大，用户需等待的时长较长，无法实现模型与用户的实时交互。

而本申请实施例中，通过预先获取训练样本集中所有样本或部分样本的特征的权值，在用户使用机器学习模型时，无需实时计算，即可通过预先获取的权值来确定解释性信息，有效减少用户等待的时长，实现模型与用户的实时交互。

需要说明的是，输出结果和解释性信息同时显示时，用户在对解释性信息是否异常进行判定的同时，还可以对输出结果是否正确进行判定，如此可以在同一用户界面实现两种动作的执行，避免用户工作量的增加。相应的，计算机设备接收输出结果判定信息，该输出结果判定信息用于指示输出结果是否正确，例如，输出的分类是否正确、输出的各分类的比例是否正确等。基于输出结果判定信息，计算机设备可以根据预设规则调整训练样本集，如调整训练样本集中的标签。

S104、获取异常解释性信息，该异常解释性信息为解释内容异常的解释性信息。

示例的，该获取异常解释性信息的过程包括以下步骤：

B1、接收解释性信息的判定信息，该判定信息用于指示解释性信息的解释内容是否异常。

在本申请实施例中，获取判定信息的方式有多种。本申请实施例以以下几种为例进行说明：

在第一种可选示例中，计算机设备可以显示解释性信息的指示按钮，由用户基于该指示按钮触发判定信息的生成。例如，通过执行一次目标操作控制指示按钮生成的判定信息用于指示解释性信息的解释内容正常；通过连续执行两次目标操作或者不执行目标操作控制指示按钮生成的判定信息指示解释性信息的解释内容异常。示例的，该目标操作为单击、双击、拖拽或滑动操作。

在第二种可选示例中，计算机设备可以显示与解释性信息对应的输入框，由用户在该输入框输入判定信息，相应的，计算机设备通过该输入框接收判定信息。例如，输入内容为：“解释性信息异常”或者“特征F1异常”。

在第三种可选示例中，如图5和图6所示，解释性信息包括一个或多个特征，以及特征的特征值。该判定信息包括与该一个或多个特征一一对应的子判定信息，每个子判定信息用于指示对应的特征是否异常。

图7是本申请实施例提供的一种解释性信息的显示界面示意图。每个特征对应一个判定按钮20，通过执行一次目标操作控制判定按钮20生成的子判定信息用于指示对应特征正常；通过连续执行两次目标操作或者不执行目标操作判定按钮20生成的子判定信息指示对应的特征异常。

B2、将判定信息指示解释内容异常的解释性信息确定为异常解释性信息。

与前述第一种可选示例对应的，在接收到指示解释性信息的解释内容异常的判定信息后，计算机设备将对应的解释性信息确定为异常解释性信息。在接收到指示解释性信息的解释内容正常的判定信息后，计算机设备将对应的解释性信息确定为正常解释性信息。例如，计算机设备检测到用户针对指示按钮执行了一次目标操作，则确定相应的解释性信息为异常解释性信息；计算机设备检测到用户针对指示按钮连续执行两次目标操作或者未执行目标操作，则确定相应的解释性信息为正常解释性信息。

与前述第二种可选示例对应的，计算机设备在通过输入框接收到判定信息后，若判定信息指示解释性信息异常或者解释性信息中任一特征异常，将对应的解释性信息确定为异常解释性信息。若判定信息指示解释性信息正常或者解释性信息中所有特征正常，将对应的解释性信息确定为正常解释性信息。例如，解释性信息对应的输入框中输入内容为：“解释性信息异常”或者“特征F1异常”，则将对应的解释性信息确定为异常解释性信息。解释性信息对应的输入框中输入内容为：“解释性信息正常”或者“所有特征均正常”，则将对应的解释性信息确定为正常解释性信息。

与前述第三种可选示例对应的，当判定信息指示解释性信息中的任一特征为异常特征时，确定解释性信息为异常解释性信息。例如，该判定信息包括的某一子判定信息指示对应的特征异常，则判定信息指示解释性信息中的该某一特征为异常特征，相应的，该解释性信息为异常解释性信息。当判定信息指示解释性信息中的所有特征为正常特征时，确定解释性信息为正常解释性信息。例如，该判定信息包括的所有子判定信息指示对应的特征正常，则判定信息指示解释性信息中的该所有特征为正常特征，相应的，确定解释性信息为正常解释性信息。例如，计算机设备可以收集针对解释性信息的用户反馈信息，如模型预测某一输入信息的输出结果为A，其解释性信息包括：输入信息中的特征F1为x1，特征F2为x2，用户反馈信息反馈F1＝x1和F2＝x2的解释性信息是否合理。

值得说明的是，如图7所示，若每个特征对应一个判定按钮，计算机设备可以将用户未操作的判定按钮所对应的特征确定为正常特征，如此，对于正常特征，用户无需对判定按钮进行操作，减少用户操作次数，提高用户体验。

S105、基于异常解释性信息，调整机器学习模型的训练样本集。

当出现异常解释性信息，说明随着环境或规则等的改变，现有的机器学习模型可能已经无法满足用户的需求，该机器学习模型需要进行更新。本申请实施例中，通过调整机器学习模型的训练样本集，基于调整后的训练样本集对机器学习模型进行重训练，如此实现机器学习模型在出现异常解释性信息时的自主更新。保证机器学习模型更新时机的准确性和及时性。使之适应新的环境或规则。

在第一种可选实现方式中，计算机设备将训练样本集中的所有目标训练样本对应的标签更新，得到调整后的训练样本集，其中，目标训练样本包括与异常解释性信息中的异常特征相同的目标特征，且目标特征的特征值与异常特征的异常特征值相同。例如根据前述用户反馈信息或者判定信息可知，异常特征以及其异常特征值，则计算机设备可以建立异常特征与异常特征值的集合，当训练样本集中的任一训练样本K的某一特征F与该集合中的某一特征G相同，且任一训练样本K的某一特征F的特征值与该集合中的某一特征G的异常特征值相同，则该任一训练样本K为目标训练样本。

例如，异常特征为F1和F3，其特征值分别为x1和x3，则计算机设备可以建立异常特征与异常特征值的集合{(F1＝x1)，(F3＝x3)，…}；若某一训练样本包括F1＝x1或F3＝x3，则该某一训练样本为目标训练样本。

C1、获取初始的x值，1≤x＜y，并基于初始的x值，执行至少两次重训练流程，直至达到预设截止条件。该初始的x值可以是预先设置的，例如其为预设数值，又例如，该初始的x值在训练样本集的目标训练样本的总数y中的占比为预设比例，或者属于预设比例范围。初始的x值小于y，如此保证能够至少执行两次重训练流程。

其中，该重训练流程包括：

C11、将训练样本集中x个目标训练样本对应的标签更新为相反的标签。

示例的，可以通过对标签进行取逆操作得到相反的标签。例如，标签为“张三”，进行取逆操作后得到的标签为“不是张三”；又例如，标签为“0”，进行取逆操作后得到的标签为“1”。

在一种可选示例中，机器学习模型为二分类模型，机器学习模型的训练样本集中具有两种标签，该两种标签互为相反的标签。例如标签包括“0”和“1”；或者“正常”和“异常”等等。对于一种标签，前述取逆操作即将该标签更新为不同的另一种标签的过程。

在另一种可选示例中，机器学习模型可以转化为多个二分类模型，其训练样本集中具有与该多个二分类模型一一对应的多组标签，每组标签包括互为相反的两个标签，例如“张三”和“不是张三”；或者“猫”和“不是猫”。则对于一种标签，前述取逆操作即将该标签更新为与该标签属于同一组且不同的另一种标签的过程。

C12、基于标签更新后的训练样本集，训练机器学习模型，得到重训练后的机器学习模型。

基于标签更新后的训练样本集，训练机器学习模型是机器学习模型在训练样本集中拟合的过程。该拟合的过程可能同时包括特征选择和参数估计。示例的，对于监督式学习算法，训练样本集用来拟合参数(例如人工神经网络中神经元之间链接的权重)。

在训练过程中，机器学习模型会对标签更新后的训练样本集中的样本进行预测，并将预测结果与标签进行比较。计算机设备根据比较结果，更新机器学习模型的模型参数。其中，机器学习模型可以通过验证集(validation dataset)更新机器学习模型的模型参数，该模型参数可以包括超参数，如神经网络中隐藏层的神经元数量，验证集提供了对在训练样本集上拟合得到机器学习模型的无偏评估。计算机设备通过将验证集中的样本输入学习模型，以得到验证结果。计算机设备重复该样本预测和参数更新的过程，直至参数更新后机器学习模型的验证结果的误差上升时(也即是相对于前一次验证结果的误差增大，此时说明机器学习在训练样本集上出现过拟合)，停止进行机器学习模型的训练，将前一次训练得到的机器学习模型作为重训练后的机器学习模型。由于本次训练得到的机器学习模型相对于前一次训练得到的机器学习模型出现验证结果的误差上升，也即是出现过拟合，前一次训练得到的机器学习模型相对于本次训练得到的机器学习模型的可靠性更高，因此采用前一次训练得到的机器学习模型作为重训练后的机器学习模型。

C13、增大x得到更新后的x，再次执行所述重训练流程。

其中，增大x的方式有多种，例如可以以等差数列的方式增大x，即更新后的x与原x的差值为固定值，该差值可以采用目标训练样本的总数y和初始的x值计算得到，例如，假设初始的x值为x0，该差值为(y-x0)/m，m可以为预设值，也可以根据预设规则确定的值(例如，m为整数，又例如，m为能够被(y-x0)整除的最大整数)。示例的，初始的x值为10，y为1000，则m＝9，差值为：(1000-100)/9＝100。

又例如，也可以采用等比数列的方式增大x，即更新后的x与原x的比值为固定比值，该比值可以采用目标训练样本的总数y和初始的x值计算得到，例如，假设初始的x值为x0，该比值q满足：y＝x0*qⁿ；其中，n为x的更新次数，也即是执行重训练流程的次数。q或n可以为预设值，也可以根据预设规则确定的值(例如，n为整数)。示例的，初始的x值为10，y为1000，则n＝2，比值为：

通过采用等比数列或等差数列的方式增大x，可以实现x以稳定的步长增大，使得目标训练样本稳定均一地更新。

可选地，增大x的步长与目标训练样本的总数y的大小正相关。也即是，目标训练样本的总数y越大，步长越大；目标训练样本的总数y越小，步长越小。如此，可以随着目标训练样本的总数的不同，灵活调整步长的大小，实现训练样本集的灵活调整。

在实际实现时，y和初始的x值的关系可能无法满足等比数列或等差数列的要求，可以将增大x的方式设置为近似于等比数列或等差数列的方式，例如前几次增大x的方式为等比数列或等差数列，最后一次将x更新为y。实际增大x的方式还有其他情况，本申请实施例只是示意性说明，并不对此进行限定。

示例的，前述预设截止条件可以有多种。在一种示例中，该预设截止条件包括：更新后的x的值大于目标训练样本的总数y；在另一种示例中，该预设截止条件包括：执行重训练流程的次数等于设定次数。

C2、将至少两次重训练流程得到的机器学习模型中的验证效果最优的机器学习模型所对应的训练样本集确定为所述调整后的训练样本集。

至少两次重训练流程得到的至少两个机器学习模型后，可以通过验证集(validation dataset)对重训练后的机器学习模型进行验证。在验证过程中，至少两个机器学习模型会对验证集中的相同样本进行预测。计算机设备根据预测结果，在至少两个机器学习模型中选择验证效果最优的机器学习模型，并将选择的机器学习模型所对应的训练样本集确定为所述调整后的训练样本集。例如，计算机设备采用度量函数，基于至少两个机器学习模型对应的预测结果，确定该至少两个机器学习模型的验证效果。示例的，该度量函数可以为损失函数(loss function)或代价函数(cost function)。例如，当度量函数为损失函数时，基于至少两个机器学习模型对应的预测结果，采用损失函数计算损失值，将损失值最小的机器学习模型确定为验证效果最优的机器学习模型。

相对于前述第一种可选实现方式，第二种可选实现方式通过逐步多次进行标签更新，避免出现标签更新的矫枉过正，将验证效果最优的机器学习模型所对应的训练样本集确定为所述调整后的训练样本集，可以提高最终获取的机器学习模型的预测准确性。

在第二种可选方式中，计算机设备基于异常解释性信息，调整机器学习模型的训练样本集。该过程包括：显示异常解释性信息，接收在显示的异常解释性信息中选择的异常特征；将训练样本集中的目标训练样本对应的标签更新，得到调整后的训练样本集，其中，目标训练样本包括与异常解释性信息中的异常特征相同的目标特征，且目标特征的特征值与异常特征的异常特征值相同。

在该可选方式中，计算机设备可以显示获取的一个或多个异常解释性信息，由用户进行异常特征的选择。参考前述A2，用户可能将一个解释性信息的整体确定为异常解释性信息，也可能通过指出一个解释性信息中的一个异常特征，从而将该解释性信息确定为异常解释性信息。本申请实施例中，通常需要确定准确的异常特征，从而基于该异常特征来调整训练样本集。若解释性信息中的异常特征未确定，通过用户选择异常特征，可以实现异常特征的确定；若解释性信息中的异常特征已确定，通过用户选择异常特征，可以实现二次确认，从而滤除之前选择有误的异常特征，确认之前选择无误的异常特征，保证最终获取的异常特征的准确性。在获取了异常特征后，将训练样本集中的目标训练样本对应的标签更新，得到调整后的训练样本集的过程可以参考前述第一种可选方式，本申请实施例对此不做赘述。

在前述第一种可选方式和第二种可选方式中，计算机设备可能收集到多对异常特征及其异常特征值，在一种可选示例中，计算机设备可以分别采用每对异常特征与异常特征值在训练样本集中筛选目标训练样本；在另一种可选示例中，计算机设备可以同步(或称同时)采用每对异常特征与异常特征值在训练样本集中筛选目标训练样本；再又一种可选示例中，计算机设备可以在该多对异常特征及其异常特征值选择一对或者多对异常特征及其异常特征值，基于选择得到的一对或者多对异常特征及其异常特征值在训练样本集中筛选目标训练样本。

相关技术中，通常是通过专家或者指定设备重新收集新的训练样本或者逐个调整原训练样本作，以作为调整后的训练样本集，如此工作量较大，训练样本集的获取成本较高。

本申请实施例通过将训练样本集中的目标训练样本对应的标签更新，得到调整后的训练样本集，训练样本集的调整方式简单快速，工作量小，可以有效降低训练样本集的获取成本。

S106、获取更新后的机器学习模型，该机器学习模型基于调整后的训练样本集训练得到。

在一种可选实现方式中，计算机设备可以采用获取的调整后的训练样本训练机器学习模型，得到更新后的机器学习模型。

在另一种可选实现方式中，参加前述C1和C2，由于在重训练流程中已经获取了至少两个机器学习模型，其中，证效果最优的机器学习模型由调整后的训练样本集训练得到，因此在该至少两个机器学习模型中直接获取该调整后的训练样本集对应的机器学习模型即可获取更新后的机器学习模型。

值得说明的是，前述实施例均以解释性算法为LIME为例进行说明，实际实现时，本申请实施例的解释性算法还可以有其他解释性算法。例如，夏普利相加性模型解释方法(SHapley Additive exPlanations，SHAP)。

相关技术中，若机器学习模型的更新由人为经验触发，则容易出现触发时机不合适，导致更新后的机器学习模型的预测精度较低；若机器学习模型周期性更新，则在机器学习模型出现模型劣化时，无法进行模型的及时更新，影响用户体验。

而本申请实施例中，由于在获取异常解释性信息后便进行训练样本集的更新，进而进行模型的更新，而异常解释性信息能够一定程度地反映出模型的劣化，无需人为触发便可以在合适的时机(即模型劣化时)进行模型的更新(如调整模型参数)，实现模型的自适应优化，机器学习模型的更新时机更准确，从而提高更新后的机器学习模型的预测精度。由于机器学习模型是在解释性信息异常后便进行更新，而异常解释性信息能够一定程度地反映出模型的劣化，如此可以在模型劣化时进行模型的及时更新，保证模型更新的及时性，从而提高用户体验。

并且，相关技术中，机器学习模型的更新通常是人为进行更新，例如，人为调整标签或训练样本，如此，人工成本较高，训练效率较低。

而本申请实施例中，基于异常解释性信息进行机器学习模型的更新，无需人为进行模型更新，因此可以有效降低人工成本，提高训练效率。

相关技术中，训练样本集的标签是基于专家经验确定的，而专家经验的变化导致的机器学习模型的标签设置标准的变化有时未能被专家感知，但是在机器学习模型实际应用时，对预测的效果有较大的影响。而本申请实施例基于异常解释性信息能够及时进行模型的更新，通过用户自动地校验，可以有效降低专家经验的变化对机器学习模型实际应用的影响。

为了便于读者理解，下面结合计算机设备的实际结构，对本申请实施例涉及的模型更新方法进行解释。图8是本申请实施例提供的一种模型更新方法所涉及的处理系统的应用环境示意图。该处理系统包括计算机设备20和存储设备30。

其中，该计算机设备20可以为个人电脑、服务器或云计算中心等等。计算机设备20包括机器学习模型201、模型解释性模块(也称解释器)202和模型调整模块203，机器学习模型201用于接收输入信息，并基于输入信息进行预测，得到输出结果(如前述分类结果)，例如该输出结果为：是否有风险或者是否有问题；模型解释性模块202用于基于输出结果生成解释性信息(该过程参考前述S102)，解释性信息有多种，例如，假设解释性信息的内容为：本报销单的报销金额大于同类报销单金额的平均值，因此，报销单被判定为违规报销单据。该解释性信息的内容可以以图形、文字和/或表格等方式表示；模型调整模块203用于基于异常解释性信息，调整机器学习模型的训练样本集(该过程参考前述S103)。示例的，图8中示出了计算机设备同时显示输出结果和解释性信息的场景。如此，可以获取解释性信息是否异常的判定信息，以及对输出结果是否正确的判定信息。

存储设备30用于存储数据，例如用于存储训练样本集和/或实际使用机器学习模型时的待预测数据。示例的，该存储设备30可以为数据库管理系统(Database ManagementSystem，DBMS)。

在本申请实施例中，该模型解释性模块202用于为机器学习模型的输出结果提供解释，该模型解释性模块202可以为一个模型解释模型，构造该模型解释模型的过程也包含训练和预测两个步骤。在进行训练时，模型解释模型的工作过程可包括以下步骤：

D1、构建模型解释模型的初始模型，通过训练样本集训练该初始模型，该训练样本集可以与前述机器学习模型的训练样本集相同。

D2、通过聚类算法确定参考样本，并获取训练样本集中参考样本的特征以及特征值，并获取参考样本中各个特征的权值。该过程可以参考前述A1和A2。如此，将复杂的运算从机器学习模型的运用环节提前到训练环节，并且使用聚类算法寻找训练样本集的代表性节点，以在后续应用模型解释模型时，通过寻找最近邻的参考样本，快速给出待输出结果的解释性信息，可以有效节约应用环节的时延，提升用户体验。例如，采用LIME算法计算一个机器学习模型的输入信息所对应的解释性信息的运行时间为5分钟(min)，而采用本申请实施例提供的模型解释模型计算该输入信息所对应的解释性信息的运行时间小于1秒(s)，如此大大降低了用户等待时长。

前述步骤D2仅以模型解释模型获取训练样本集中参考样本的特征以及特征值，并获取参考样本中各个特征的权值为例进行训练过程的说明，在实际实现时，可以不执行步骤D2。

图9是图8所示处理系统的一种实现场景的示意图。图9假设机器学习模型201为单据评分模型201a，其输入信息为报销单数据，该报销单数据包括一个或多个特征以及相应的特征值；该单据评分模型201a的输出结果用于指示报销单是否异常，该输出结果包括：“正常报销单”或“异常报销单”。则相应的模型更新方法可以包括：

E1、在训练阶段，利用训练样本集训练得到单据评分模型，该单据评分模型可以为XGBoost模型。训练样本集中每个训练样本可以包括：报销单数据及其标签。

E2、在验证阶段或使用阶段，利用单据评分模型201a对实际的报中的单据进行预测，得到预测结果为正常报销单据或预测结果为异常报销单据。

E3、利用模型解释性模202对进行单据评分模型201a的输出结果进行预测，得到报销单数据的解释性结果。

E4、计算机设备20获取用户(如业务专家)输入的解释性信息是否异常的判定信息，以及对输出结果是否正确的判定信息。对于同一个报销单数据，用户可以在同一用户界面进行两种判定信息的输入。这并不会增加多少用户的工作量，相反，解释性信息能够辅助用户判断输出结果是否正确。

E5、模型调整模块203用于基于异常解释性信息，调整机器学习模型的训练样本集(该过程参考前述S103)。

图9只是对本申请实施例提供的模型更新方法的应用场景的示意性说明，并不对该模型更新方法中所涉及的机器学习模型进行限定。例如，机器学习模型还可以为人脸识别模型，输入信息为包括一种或多种人脸特征以及相应特征值的人脸图像；又例如，机器学习模型还可以为网络异常识别模型，输入信息包括一种或多种网络参数(即特征为网络擦桉树)以及相应参数值。

实际实现时，图8和图9中的模型解释性模块202和模型调整模块203可以分别部署在不同的计算机设备中，存储设备30可以集成在计算机设备中。

本申请实施例提供的模型更新方法的步骤先后顺序可以进行适当调整，步骤也可以根据情况进行相应增减，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化的方法，都应涵盖在本申请的保护范围之内，因此不再赘述。

图10是本申请实施例提供的一种模型更新装置40的框图，装置40包括：

第一获取模块401，用于获取异常解释性信息，异常解释性信息为解释内容异常的解释性信息，解释性信息是用于解释机器学习模型的输出结果的信息；

调整模块402，用于基于异常解释性信息，调整机器学习模型的训练样本集；

第二获取模块403，用于获取更新后的机器学习模型，机器学习模型基于调整后的训练样本集训练得到。

本申请实施例提供的模型更新装置，在第一获取模块获取异常解释性信息后，调整模块基于获取的异常解释性信息，调整机器学习模型的训练样本集，从而使得第二获取模块采用该训练样本集获取更新后的机器学习模型。如此，实现基于异常解释性信息的模型的自动更新，有效提高模型更新的灵活性，从而提高更新后的机器学习模型的可靠性。

在一种可选实现方式中，解释性信息包括一个或多个特征，以及特征的特征值，调整模块，用于：将训练样本集中的目标训练样本对应的标签更新，得到调整后的训练样本集，其中，目标训练样本包括与异常解释性信息中的异常特征相同的目标特征，且目标特征的特征值与异常特征的异常特征值相同。

在一种可选实现方式中，调整模块402，用于：获取初始的x值，1≤x＜y，并基于初始的x值，执行至少两次重训练流程，直至达到预设截止条件，该y为训练样本集中目标训练样本的总数；将至少两次重训练流程得到的机器学习模型中的验证效果最优的机器学习模型所对应的训练样本集确定为调整后的训练样本集；

其中，重训练流程包括：将训练样本集中x个目标训练样本对应的标签更新为相反的标签；基于标签更新后的训练样本集，训练机器学习模型，得到重训练后的机器学习模型；增大x得到更新后的x，再次执行重训练流程。

图11是本申请实施例提供的另一种模型更新装置40的框图，装置40还包括：

生成模块404，用于在获取异常解释性信息之前，在接收到机器学习模型的输出结果后，基于输出结果生成解释性信息；显示模块405，用于显示生成的解释性信息。

示例的，第一获取模块401，用于：接收解释性信息的判定信息，判定信息用于指示解释性信息的解释内容是否异常；将判定信息指示解释内容异常的解释性信息确定为异常解释性信息。

可选地，输出结果是机器学习模型基于的输入信息生成的。图12是本申请实施例提供的一种生成模块404的框图，生成模块404，包括：获取子模块4041，用于获取输出结果对应的输入信息；确定子模块4042，用于在训练样本集中确定与输入信息距离小于预设距离阈值或者距离最近的目标样本；生成子模块4043，用于生成解释性信息，解释性信息包括目标样本包括的特征以及特征值，以及预先获取的目标样本中各个特征的权值。

图13是本申请实施例提供的又一种模型更新装置40的框图，装置40还包括：

聚类模块406，用于在获取异常解释性信息之前，采用聚类算法将训练样本集划分为多类训练样本，在每一类训练样本中确定一个参考样本；第三获取模块407，用于获取训练样本集中参考样本的特征以及特征值，并获取参考样本中各个特征的权值。

相应的，确定子模块4052，用于在训练样本集包括的参考样本中确定与输入信息距离小于预设距离阈值或者距离最近的目标样本。

可选地，第三获取模块407，用于：采用局部可解释性模型算法LIME获取参考样本中各个特征的权值。

在一种可选示例中，解释性信息包括一个或多个特征，以及特征的特征值，第一获取模块401，用于：当判定信息指示解释性信息中的任一特征为异常特征时，确定解释性信息为异常解释性信息。

示例的，解释性信息包括每个特征值所处的特征值范围和/或与输出结果对应的机器学习模型所支持的每种分类的概率。

图14示出了本申请实施例提供的图像处理方法涉及的计算机设备500的结构示意图。该计算机设备500可以但不限于是膝上型计算机、台式计算机、移动电话、智能手机、平板电脑、多媒体播放器、电子阅读器、智能车载设备、智能家电(如智能电视)、人工智能设备、穿戴式设备、物联网设备、或虚拟现实/增强现实/混合现实设备等。示例的，计算机设备500可以包括前述图1所示的模型更新装置的结构。

计算机设备500可以包括处理器510，外部存储器接口520，内部存储器521，通用串行总线(universal serial bus，USB)接口530，充电管理模块540，电源管理模块541，电池542，天线4，天线2，移动通信模块550，无线通信模块560，音频模块570，扬声器570A，受话器570B，麦克风570C，耳机接口570D，传感器模块580，按键590，马达591，指示器592，摄像头593，显示屏594，以及用户标识模块(subscriber identification module，SIM)卡接口595等。其中传感器模块580可以包括压力传感器580A，陀螺仪传感器580B，气压传感器580C，磁传感器580D，加速度传感器580E，距离传感器580F，接近光传感器580G，指纹传感器580H，温度传感器580J，触摸传感器580K，环境光传感器580L，骨传导传感器580M等中的一种或多种。

可以理解的是，本申请实施例示意的结构并不构成对计算机设备500的具体限定。在本申请另一些实施例中，计算机设备500可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。

可以理解的是，本申请实施例示意的各模块间的接口连接关系，只是示意性说明，并不构成对计算机设备500的结构限定。在本申请另一些实施例中，计算机设备500也可以采用上述实施例中不同的接口连接方式(例如总线连接方式)，或多种接口连接方式的组合。

处理器510可以包括一个或多个处理单元，例如包括中央处理器CPU(例如应用处理器(application processor，AP))，图形处理器(graphics processing unit，GPU)，进一步的，还可以包括调制解调处理器，图像信号处理器(image signal processor，ISP)，MCU，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。

处理器510中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器510中的存储器为高速缓冲存储器。该存储器可以保存处理器510刚用过或循环使用的指令或数据。如果处理器510需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器510的等待时间，因而提高了系统的效率。

在一些实施例中，处理器510可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit，I2C)接口，集成电路内置音频(inter-integrated circuitsound，I2S)接口，脉冲编码调制(pulse code modulation，PCM)接口，通用异步收发传输器(universal asynchronous receiver/transmitter，UART)接口，移动产业处理器接口(mobile industry processor interface，MIPI)，通用输入输出(general-purposeinput/output，GPIO)接口，用户标识模块(subscriber identity module，SIM)接口，和/或通用串行总线(universal serial bus，USB)接口等。

I2C接口是一种双向同步串行总线，包括一根串行数据线(serial data line，SDA)和一根串行时钟线(derail clock line，SCL)。在一些实施例中，处理器510可以包含多组I2C总线。处理器510可以通过不同的I2C总线接口分别耦合触摸传感器580K，充电器，闪光灯，摄像头593等。例如：处理器510可以通过I2C接口耦合触摸传感器580K，使处理器510与触摸传感器580K通过I2C总线接口通信，实现计算机设备500的触摸功能。

I2S接口可以用于音频通信。在一些实施例中，处理器510可以包含多组I2S总线。处理器510可以通过I2S总线与音频模块570耦合，实现处理器510与音频模块570之间的通信。在一些实施例中，音频模块570可以通过I2S接口向无线通信模块560传递音频信号，实现通过蓝牙耳机接听电话的功能。

PCM接口也可以用于音频通信，将模拟信号抽样，量化和编码。在一些实施例中，音频模块570与无线通信模块560可以通过PCM总线接口耦合。在一些实施例中，音频模块570也可以通过PCM接口向无线通信模块560传递音频信号，实现通过蓝牙耳机接听电话的功能。所述I2S接口和所述PCM接口都可以用于音频通信。

UART接口是一种通用串行数据总线，用于异步通信。该总线可以为双向通信总线。它将要传输的数据在串行通信与并行通信之间转换。在一些实施例中，UART接口通常被用于连接处理器510与无线通信模块560。例如：处理器510通过UART接口与无线通信模块560中的蓝牙模块通信，实现蓝牙功能。在一些实施例中，音频模块570可以通过UART接口向无线通信模块560传递音频信号，实现通过蓝牙耳机播放音乐的功能。

MIPI接口可以被用于连接处理器510与显示屏594，摄像头593等外围器件。MIPI接口包括摄像头串行接口(camera serial interface，CSI)，显示屏串行接口(displayserial interface，DSI)等。在一些实施例中，处理器510和摄像头593通过CSI接口通信，实现计算机设备500的拍摄功能。处理器510和显示屏594通过DSI接口通信，实现计算机设备500的显示功能。

GPIO接口可以通过软件配置。GPIO接口可以被配置为控制信号，也可被配置为数据信号。在一些实施例中，GPIO接口可以用于连接处理器510与摄像头593，显示屏594，无线通信模块560，音频模块570，传感器模块580等。GPIO接口还可以被配置为I2C接口，I2S接口，UART接口，MIPI接口等。

USB接口530是符合USB标准规范的接口，具体可以是Mini USB接口，Micro USB接口，USB Type C接口等。USB接口530可以用于连接充电器为计算机设备500充电，也可以用于计算机设备500与外围设备之间传输数据。也可以用于连接耳机，通过耳机播放音频。该接口还可以用于连接其他计算机设备，例如AR设备等。

充电管理模块540用于从充电器接收充电输入。其中，充电器可以是无线充电器，也可以是有线充电器。在一些有线充电的实施例中，充电管理模块540可以通过USB接口530接收有线充电器的充电输入。在一些无线充电的实施例中，充电管理模块540可以通过计算机设备500的无线充电线圈接收无线充电输入。充电管理模块540为电池542充电的同时，还可以通过电源管理模块541为计算机设备供电。

电源管理模块541用于连接电池542，充电管理模块540与处理器510。电源管理模块541接收电池542和/或充电管理模块540的输入，为处理器510，内部存储器521，显示屏594，摄像头593，和无线通信模块560等供电。电源管理模块541还可以用于监测电池容量，电池循环次数，电池健康状态(漏电，阻抗)等参数。在其他一些实施例中，电源管理模块541也可以设置于处理器510中。在另一些实施例中，电源管理模块541和充电管理模块540也可以设置于同一个器件中。

可选的，计算机设备500的无线通信功能可以通过天线4，天线2，移动通信模块550，无线通信模块560，调制解调处理器以及基带处理器等实现。

天线4和天线2用于发射和接收电磁波信号。计算机设备500中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。例如：可以将天线4复用为无线局域网的分集天线。在另外一些实施例中，天线可以和调谐开关结合使用。

移动通信模块550可以提供应用在计算机设备500上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块550可以包括至少一个滤波器，开关，功率放大器，低噪声放大器(low noise amplifier，LNA)等。移动通信模块550可以由天线4接收电磁波，并对接收的电磁波进行滤波，放大等处理，传送至调制解调处理器进行解调。移动通信模块550还可以对经调制解调处理器调制后的信号放大，经天线4转为电磁波辐射出去。在一些实施例中，移动通信模块550的至少部分功能模块可以被设置于处理器510中。在一些实施例中，移动通信模块550的至少部分功能模块可以与处理器510的至少部分模块被设置在同一个器件中。

调制解调处理器可以包括调制器和解调器。其中，调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后，被传递给应用处理器。应用处理器通过音频设备(不限于扬声器570A，受话器570B等)输出声音信号，或通过显示屏594显示图像或视频。在一些实施例中，调制解调处理器可以是独立的器件。在另一些实施例中，调制解调处理器可以独立于处理器510，与移动通信模块550或其他功能模块设置在同一个器件中。

无线通信模块560可以提供应用在计算机设备500上的包括无线局域网(wirelesslocal area networks，WLAN)(如无线保真(wireless fidelity，Wi-Fi)网络)，蓝牙(bluetooth，BT)，全球导航卫星系统(global navigation satellite system，GNSS)，调频(frequency modulation，FM)，近距离无线通信技术(near field communication，NFC)，红外技术(infrared，IR)等无线通信的解决方案。无线通信模块560可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块560经由天线2接收电磁波，将电磁波信号调频以及滤波处理，将处理后的信号发送到处理器510。无线通信模块560还可以从处理器510接收待发送的信号，对其进行调频，放大，经天线2转为电磁波辐射出去。

在一些实施例中，计算机设备500的天线4和移动通信模块550耦合，天线2和无线通信模块560耦合，使得计算机设备500可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统(global system for mobilecommunications，GSM)，通用分组无线服务(general packet radio service，GPRS)，码分多址接入(code division multiple access，CDMA)，宽带码分多址(wideband codedivision multiple access，WCDMA)，时分码分多址(time-division code divisionmultiple access，TD-SCDMA)，长期演进(long term evolution，LTE)，BT，GNSS，WLAN，NFC，FM，和/或IR技术等。所述GNSS可以包括全球卫星定位系统(global positioning system，GPS)，全球导航卫星系统(global navigation satellite system，GLONASS)，北斗卫星导航系统(beidou navigation satellite system，BDS)，准天顶卫星系统(quasi-zenithsatellite system，QZSS)和/或星基增强系统(satellite based augmentation systems，SBAS)。

计算机设备500通过GPU，显示屏594，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏594和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器510可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。

显示屏594用于显示图像，视频等。显示屏594包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，LCD)，有机发光二极管(organic light-emittingdiode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的，AMOLED)，柔性发光二极管(flex light-emittingdiode，FLED)，Miniled，MicroLed，Micro-oLed，量子点发光二极管(quantum dot lightemitting diodes，QLED)等。在一些实施例中，计算机设备500可以包括4个或N个显示屏594，N为大于4的正整数。

计算机设备500可以通过ISP，摄像头593，视频编解码器，GPU，显示屏594以及应用处理器等实现拍摄功能。

ISP用于处理摄像头593反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将所述电信号传递给ISP处理，转化为肉眼可见的图像。ISP还可以对图像的噪点，亮度，肤色进行算法优化。ISP还可以对拍摄场景的曝光，色温等参数优化。在一些实施例中，ISP可以设置在摄像头593中。

摄像头593用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB，YUV等格式的图像信号。在一些实施例中，计算机设备500可以包括4个或N个摄像头593，N为大于4的正整数。

数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。例如，当计算机设备500在频点选择时，数字信号处理器用于对频点能量进行傅里叶变换等。

视频编解码器用于对数字视频压缩或解压缩。计算机设备500可以支持一种或多种视频编解码器。这样，计算机设备500可以播放或录制多种编码格式的视频，例如：动态图像专家组(moving picture experts group，MPEG)4，MPEG2，MPEG3，MPEG4等。

NPU为神经网络(neural-network，NN)计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。通过NPU可以实现计算机设备500的智能认知等应用，例如：图像识别，人脸识别，语音识别，文本理解等。

外部存储器接口520可以用于连接外部存储卡，例如Micro SD卡，实现扩展计算机设备500的存储能力。外部存储卡通过外部存储器接口520与处理器510通信，实现数据存储功能。例如将音乐，视频等文件保存在外部存储卡中。

内部存储器521可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。内部存储器521可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存储数据区可存储计算机设备500使用过程中所创建的数据(比如音频数据，电话本等)等。此外，内部存储器521可以包括高速随机存取存储器，例如双倍速率同步动态随机存储器(double datarate synchronous dynamic random access memory，DDR)，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universal flash storage，UFS)等。处理器510通过运行存储在内部存储器521的指令，和/或存储在设置于处理器中的存储器的指令，执行计算机设备500的各种功能应用以及数据处理。

计算机设备500可以通过音频模块570，扬声器570A，受话器570B，麦克风570C，耳机接口570D，以及应用处理器等实现音频功能。例如音乐播放，录音等。

音频模块570用于将数字音频信息转换成模拟音频信号输出，也用于将模拟音频输入转换为数字音频信号。音频模块570还可以用于对音频信号编码和解码。在一些实施例中，音频模块570可以设置于处理器510中，或将音频模块570的部分功能模块设置于处理器510中。

扬声器570A，也称“喇叭”，用于将音频电信号转换为声音信号。计算机设备500可以通过扬声器570A收听音乐，或收听免提通话。

受话器570B，也称“听筒”，用于将音频电信号转换成声音信号。当计算机设备500接听电话或语音信息时，可以通过将受话器570B靠近人耳接听语音。

麦克风570C，也称“话筒”，“传声器”，用于将声音信号转换为电信号。当拨打电话或发送语音信息时，用户可以通过人嘴靠近麦克风570C发声，将声音信号输入到麦克风570C。计算机设备500可以设置至少一个麦克风570C。在另一些实施例中，计算机设备500可以设置两个麦克风570C，除了采集声音信号，还可以实现降噪功能。在另一些实施例中，计算机设备500还可以设置三个，四个或更多麦克风570C，实现采集声音信号，降噪，还可以识别声音来源，实现定向录音功能等。

耳机接口570D用于连接有线耳机。耳机接口570D可以是USB接口530，也可以是3.5毫米的开放移动计算机设备平台(open mobile terminal platform，OMTP)标准接口，美国蜂窝电信工业协会(cellular telecommunications industry association of the USA，CTIA)标准接口。

压力传感器580A用于感受压力信号，可以将压力信号转换成电信号。在一些实施例中，压力传感器580A可以设置于显示屏594。压力传感器580A的种类很多，如电阻式压力传感器，电感式压力传感器，电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。当有力作用于压力传感器580A，电极之间的电容改变。计算机设备500根据电容的变化确定压力的强度。当有触摸操作作用于显示屏594，计算机设备500根据压力传感器580A检测所述触摸操作强度。计算机设备500也可以根据压力传感器580A的检测信号计算触摸的位置。在一些实施例中，作用于相同触摸位置，但不同触摸操作强度的触摸操作，可以对应不同的操作指令。例如：当有触摸操作强度小于第一压力阈值的触摸操作作用于短消息应用图标时，执行查看短消息的指令。当有触摸操作强度大于或等于第一压力阈值的触摸操作作用于短消息应用图标时，执行新建短消息的指令。

陀螺仪传感器580B可以用于确定计算机设备500的运动姿态。在一些实施例中，可以通过陀螺仪传感器580B确定计算机设备500围绕三个轴(即，x，y和z轴)的角速度。陀螺仪传感器580B可以用于拍摄防抖。示例性的，当按下快门，陀螺仪传感器580B检测计算机设备500抖动的角度，根据角度计算出镜头模组需要补偿的距离，让镜头通过反向运动抵消计算机设备500的抖动，实现防抖。陀螺仪传感器580B还可以用于导航，体感游戏场景。

气压传感器580C用于测量气压。在一些实施例中，计算机设备500通过气压传感器580C测得的气压值计算海拔高度，辅助定位和导航。

磁传感器580D包括霍尔传感器。计算机设备500可以利用磁传感器580D检测翻盖皮套的开合。在一些实施例中，当计算机设备500是翻盖机时，计算机设备500可以根据磁传感器580D检测翻盖的开合。进而根据检测到的皮套的开合状态或翻盖的开合状态，设置翻盖自动解锁等特性。

加速度传感器580E可检测计算机设备500在各个方向上(一般为三轴)加速度的大小。当计算机设备500静止时可检测出重力的大小及方向。还可以用于识别计算机设备姿态，应用于横竖屏切换，计步器等应用。

距离传感器580F，用于测量距离。计算机设备500可以通过红外或激光测量距离。在一些实施例中，拍摄场景，计算机设备500可以利用距离传感器580F测距以实现快速对焦。

接近光传感器580G可以包括例如发光二极管(LED)和光检测器，例如光电二极管。发光二极管可以是红外发光二极管。计算机设备500通过发光二极管向外发射红外光。计算机设备500使用光电二极管检测来自附近物体的红外反射光。当检测到充分的反射光时，可以确定计算机设备500附近有物体。当检测到不充分的反射光时，计算机设备500可以确定计算机设备500附近没有物体。计算机设备500可以利用接近光传感器580G检测用户手持计算机设备500贴近耳朵通话，以便自动熄灭屏幕达到省电的目的。接近光传感器580G也可用于皮套模式，口袋模式自动解锁与锁屏。

环境光传感器580L用于感知环境光亮度。计算机设备500可以根据感知的环境光亮度自适应调节显示屏594亮度。环境光传感器580L也可用于拍照时自动调节白平衡。环境光传感器580L还可以与接近光传感器580G配合，检测计算机设备500是否在口袋里，以防误触。

指纹传感器580H用于采集指纹。计算机设备500可以利用采集的指纹特性实现指纹解锁，访问应用锁，指纹拍照，指纹接听来电等。

温度传感器580J用于检测温度。在一些实施例中，计算机设备500利用温度传感器580J检测的温度，执行温度处理策略。例如，当温度传感器580J上报的温度超过阈值，计算机设备500执行降低位于温度传感器580J附近的处理器的性能，以便降低功耗实施热保护。在另一些实施例中，当温度低于另一阈值时，计算机设备500对电池542加热，以避免低温导致计算机设备500异常关机。在其他一些实施例中，当温度低于又一阈值时，计算机设备500对电池542的输出电压执行升压，以避免低温导致的异常关机。

触摸传感器580K，也称“触控器件”。触摸传感器580K可以设置于显示屏594，由触摸传感器580K与显示屏594组成触摸屏，也称“触控屏”。触摸传感器580K用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器，以确定触摸事件类型。可以通过显示屏594提供与触摸操作相关的视觉输出。在另一些实施例中，触摸传感器580K也可以设置于计算机设备500的表面，与显示屏594所处的位置不同。

骨传导传感器580M可以获取振动信号。在一些实施例中，骨传导传感器580M可以获取人体声部振动骨块的振动信号。骨传导传感器580M也可以接触人体脉搏，接收血压跳动信号。在一些实施例中，骨传导传感器580M也可以设置于耳机中，结合成骨传导耳机。音频模块570可以基于所述骨传导传感器580M获取的声部振动骨块的振动信号，解析出语音信号，实现语音功能。应用处理器可以基于所述骨传导传感器580M获取的血压跳动信号解析心率信息，实现心率检测功能。

在本申请另一些实施例中，计算机设备500也可以采用上述实施例中不同的接口连接方式，例如以上多种传感器中的部分或全部传感器连接MCU，通过MCU再连接AP。

按键590包括开机键，音量键等。按键590可以是机械按键。也可以是触摸式按键。计算机设备500可以接收按键输入，产生与计算机设备500的用户设置以及功能控制有关的键信号输入。

马达591可以产生振动提示。马达591可以用于来电振动提示，也可以用于触摸振动反馈。例如，作用于不同应用(例如拍照，音频播放等)的触摸操作，可以对应不同的振动反馈效果。作用于显示屏594不同区域的触摸操作，马达591也可对应不同的振动反馈效果。不同的应用场景(例如：时间提醒，接收信息，闹钟，游戏等)也可以对应不同的振动反馈效果。触摸振动反馈效果还可以支持自定义。

指示器592可以是指示灯，可以用于指示充电状态，电量变化，也可以用于指示消息，未接来电，通知等。

SIM卡接口595用于连接SIM卡。SIM卡可以通过插入SIM卡接口595，或从SIM卡接口595拔出，实现和计算机设备500的接触和分离。计算机设备500可以支持4个或N个SIM卡接口，N为大于4的正整数。SIM卡接口595可以支持Nano SIM卡，Micro SIM卡，SIM卡等。同一个SIM卡接口595可以同时插入多张卡。所述多张卡的类型可以相同，也可以不同。SIM卡接口595也可以兼容不同类型的SIM卡。SIM卡接口595也可以兼容外部存储卡。计算机设备500通过SIM卡和网络交互，实现通话以及数据通信等功能。在一些实施例中，计算机设备500采用eSIM，即：嵌入式SIM卡。eSIM卡可以嵌在计算机设备500中，不能和计算机设备500分离。

计算机设备500的软件系统可以采用分层架构，事件驱动架构，微核架构，微服务架构，或云架构。本申请实施例以分层架构的Android系统为例，示例性说明计算机设备500的软件结构。

需要说明的是：上述实施例提供的模型更新装置在执行模型更新方法时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的模型更新装置与模型更新方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本申请的可选实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims

1.一种模型更新方法，其特征在于，所述方法包括：

获取异常解释性信息，所述异常解释性信息为解释内容异常的解释性信息，所述解释性信息是用于解释机器学习模型的输出结果的信息；

基于所述异常解释性信息，调整所述机器学习模型的训练样本集；

获取更新后的机器学习模型，所述机器学习模型基于调整后的训练样本集训练得到。

2.根据权利要求1所述的方法，其特征在于，所述解释性信息包括一个或多个特征，以及所述特征的特征值，所述基于所述异常解释性信息，调整所述机器学习模型的训练样本集，包括：

将训练样本集中的目标训练样本对应的标签更新，得到调整后的训练样本集，其中，所述目标训练样本包括与所述异常解释性信息中的异常特征相同的目标特征，且所述目标特征的特征值与所述异常特征的异常特征值相同。

3.根据权利要求2所述的方法，其特征在于，所述将训练样本集中的目标训练样本对应的标签更新，得到调整后的训练样本集，包括：

获取初始的x值，1≤x＜y，并基于初始的x值，执行至少两次重训练流程，直至达到预设截止条件，所述y为所述训练样本集中目标训练样本的总数；

将所述至少两次重训练流程得到的机器学习模型中的验证效果最优的机器学习模型所对应的训练样本集确定为所述调整后的训练样本集；

其中，所述重训练流程包括：

将所述训练样本集中x个目标训练样本对应的标签更新为相反的标签；

基于标签更新后的训练样本集，训练所述机器学习模型，得到重训练后的机器学习模型；

增大x得到更新后的x，再次执行所述重训练流程。

4.根据权利要求1至3任一所述的方法，其特征在于，在所述获取异常解释性信息之前，所述方法还包括：

在接收到所述机器学习模型的输出结果后，基于所述输出结果生成解释性信息；

显示生成的解释性信息。

5.根据权利要求4所述的方法，其特征在于，所述获取异常解释性信息，包括：

接收所述解释性信息的判定信息，所述判定信息用于指示所述解释性信息的解释内容是否异常；

将判定信息指示解释内容异常的解释性信息确定为所述异常解释性信息。

6.根据权利要求4所述的方法，其特征在于，所述输出结果是所述机器学习模型基于的输入信息生成的，所述基于所述输出结果生成解释性信息，包括：

获取所述输出结果对应的输入信息；

在所述训练样本集中确定与所述输入信息距离小于预设距离阈值或者距离最近的目标样本；

生成所述解释性信息，所述解释性信息包括所述目标样本包括的特征以及特征值，以及预先获取的所述目标样本中各个特征的权值。

7.根据权利要求6所述的方法，其特征在于，在所述获取异常解释性信息之前，所述方法还包括：

采用聚类算法将所述训练样本集划分为多类训练样本，在每一类训练样本中确定一个参考样本；

获取所述训练样本集中参考样本的特征以及特征值，并获取所述参考样本中各个特征的权值；

所述在所述训练样本集中确定与所述输入信息距离小于预设距离阈值或者距离最近的目标样本，包括：

在所述训练样本集包括的参考样本中确定与所述输入信息距离小于预设距离阈值或者距离最近的目标样本。

8.根据权利要求7所述的方法，其特征在于，所述获取所述参考样本中各个特征的权值，包括：

采用局部可解释性模型算法LIME获取所述参考样本中各个特征的权值。

9.根据权利要求5所述的方法，其特征在于，所述解释性信息包括一个或多个特征，以及所述特征的特征值，所述将判定信息指示解释内容异常的解释性信息确定为所述异常解释性信息，包括：

当所述判定信息指示所述解释性信息中的任一特征为异常特征时，确定所述解释性信息为异常解释性信息。

10.根据权利要求1至9任一所述的方法，其特征在于，所述解释性信息包括每个所述特征值所处的特征值范围和/或与所述输出结果对应的所述机器学习模型所支持的每种分类的概率。

11.一种模型更新装置，其特征在于，所述装置包括：

第一获取模块，用于获取异常解释性信息，所述异常解释性信息为解释内容异常的解释性信息，所述解释性信息是用于解释机器学习模型的输出结果的信息；

调整模块，用于基于所述异常解释性信息，调整所述机器学习模型的训练样本集；

第二获取模块，用于获取更新后的机器学习模型，所述机器学习模型基于调整后的训练样本集训练得到。

12.根据权利要求11所述的装置，其特征在于，所述解释性信息包括一个或多个特征，以及所述特征的特征值，所述调整模块，用于：

13.根据权利要求12所述的装置，其特征在于，所述调整模块，用于：

其中，所述重训练流程包括：

增大x得到更新后的x，再次执行所述重训练流程。

14.根据权利要求11至13任一所述的装置，其特征在于，所述装置还包括：

生成模块，用于在所述获取异常解释性信息之前，在接收到所述机器学习模型的输出结果后，基于所述输出结果生成解释性信息；

显示模块，用于显示生成的解释性信息。

15.根据权利要求14所述的装置，其特征在于，所述第一获取模块，用于：

16.根据权利要求14所述的装置，其特征在于，所述输出结果是所述机器学习模型基于的输入信息生成的，所述生成模块，包括：

获取子模块，用于获取所述输出结果对应的输入信息；

确定子模块，用于在所述训练样本集中确定与所述输入信息距离小于预设距离阈值或者距离最近的目标样本；

生成子模块，用于生成所述解释性信息，所述解释性信息包括所述目标样本包括的特征以及特征值，以及预先获取的所述目标样本中各个特征的权值。

17.根据权利要求16所述的装置，其特征在于，所述装置还包括：

聚类模块，用于在所述获取异常解释性信息之前，采用聚类算法将所述训练样本集划分为多类训练样本，在每一类训练样本中确定一个参考样本；

第三获取模块，用于获取所述训练样本集中参考样本的特征以及特征值，并获取所述参考样本中各个特征的权值；

所述确定子模块，用于在所述训练样本集包括的参考样本中确定与所述输入信息距离小于预设距离阈值或者距离最近的目标样本。

18.根据权利要求17所述的装置，其特征在于，所述第三获取模块，用于：采用局部可解释性模型算法LIME获取所述参考样本中各个特征的权值。

19.根据权利要求15所述的装置，其特征在于，所述解释性信息包括一个或多个特征，以及所述特征的特征值，所述第一获取模块，用于：当所述判定信息指示所述解释性信息中的任一特征为异常特征时，确定所述解释性信息为异常解释性信息。

20.根据权利要求11至19任一所述的装置，其特征在于，所述解释性信息包括每个所述特征值所处的特征值范围和/或与所述输出结果对应的所述机器学习模型所支持的每种分类的概率。

21.一种计算机设备，其特征在于，包括：处理器和存储器；

所述存储器，用于存储计算机程序，所述计算机程序包括计算机程序；

所述处理器，用于在执行所述存储器存储的所述计算机程序时实现如权利要求1至10任一所述的模型更新方法。

22.一种计算机存储介质，其特征在于，所述计算机存储介质上存储有计算机程序，所述计算机程序在被处理器执行时使得所述处理器实现如权利要求1至10任一所述的模型更新方法。