CN107992906A - 一种模型处理方法、系统、终端设备及服务器 - Google Patents

Abstract

本申请公开了一种模型处理方法、系统、终端设备及服务器，所述方法提出了一种在终端设备利用终端自身数据调整从服务器获得的待调整模型(该模型为服务器利用至少一个终端设备发送的模型调整信息所构建的模型)，并将模型调整后所对应的模型调整信息发送至服务器，以使服务器基于来自终端的模型调整信息调整模型的技术构思，从而利用本申请方案，既可以实现利用终端数据进行模型训练，使得所训练的模型具有较好的模型效果，又无需终端设备向服务器上传终端数据，保证了终端设备中用户数据的私密性。

Description

一种模型处理方法、系统、终端设备及服务器

技术领域

本发明属于深度学习技术领域，尤其涉及一种模型处理方法、系统、终端设备及服务器。

背景技术

随着计算机及终端技术的不断推进，使用大数据和深度学习方法训练得到神经网络模型，在移动智能终端进行图像，语音，自然语言等方面的推理应用，以提升用户体验，正变得日益重要。

目前，主要采用两种方式进行神经网络模型的训练，一种是由服务器使用自有数据训练模型，并将所训练的模型适配到移动终端直接进行推理应用，此种方式一般是利用一些公共数据集作为服务器自有数据，与用户真实数据差异较大，从而会导致所训练模型的效果相对较差；另一种是由用户将其真实交互数据(如带有类别标注信息的语音、图像、文字等数据)上传到服务器，并由服务器基于用户真实交互数据训练模型，之后由终端设备下载模型进行使用，此种方式具有的明显缺陷是用户数据的私密性难以保证。

因此，如何既能利用用户产生的海量真实交互数据进行模型训练，同时又能保护用户数据的私密性成为本领域的一个难题。

发明内容

有鉴于此，本申请的目的在于提供一种模型处理方法、系统、终端设备及服务器，用于实现在既能利用用户产生的海量真实交互数据进行模型训练的同时，又能有效保护用户数据的私密性。

为此，本申请公开如下技术方案：

一种模型处理方法，应用于第一终端设备，所述方法包括：

从服务器获得第一模型，所述第一模型为服务器利用至少一个终端设备发送的模型调整信息所构建的模型；

利用所述第一终端设备的终端数据调整所述第一模型，得到第二模型；

确定所述第二模型相比于所述第一模型的模型调整信息；

发送所述第二模型相比于所述第一模型的模型调整信息至服务器，以使服务器基于接收的所述模型调整信息执行模型调整操作。

上述方法，优选的，所述从服务器获得第一模型，包括：

从服务器维护的全局模型中获得基于预定方式确定出的最优模型作为所述第一模型；

其中，所述全局模型包括：由多个终端设备利用各自终端数据协同训练的至少一个模型，且服务器维护的每个模型由服务器利用至少一个终端设备发送的模型调整信息构建。

上述方法，优选的，所述利用所述第一终端设备的终端数据调整所述第一模型，包括：

在所述第一终端设备符合第一预定条件时，利用所述第一终端设备的用户交互数据及对应于所述用户交互数据的标注信息，调整所述第一模型。

上述方法，优选的，所述确定所述第二模型相比于所述第一模型的模型调整信息，包括：

确定所述第二模型的特征权重相比于所述第一模型的特征权重的梯度信息；

相对应地，所述发送所述第二模型相比于所述第一模型的模型调整信息至服务器，包括：

在所述第一终端设备符合第二预定条件时，发送所述梯度信息至服务器。

一种模型处理方法，应用于服务器，所述方法包括：

获得第一终端设备发送的模型调整信息；

判断服务器维护的全局模型中是否存在与所述第一终端设备相匹配的待调整模型，得到判断结果；所述全局模型包括：由多个终端设备利用各自终端数据协同训练的至少一个模型，且服务器维护的每个模型由服务器利用至少一个终端设备发送的模型调整信息构建；

若所述判断结果表示存在，则利用所述第一终端设备发送的模型调整信息调整所述待调整模型。

上述方法，优选的，所述服务器以全局模型版本树的形式管理所述全局模型中的各个模型，其中，所述全局模型版本树中的节点与所述全局模型中的模型一一对应，且所述全局模型版本树中的节点数量低于预定数量；

则所述判断服务器维护的全局模型中是否存在与所述第一终端设备相匹配的待调整模型，包括：

判断所述全局模型版本树中是否存在所述第一终端设备最近一次从服务器获得第一模型时所述第一模型所在的第一节点，得到判断结果；

若所述判断结果表示存在，则获得所述第一节点上存在的当前模型作为与所述第一终端设备相匹配的待调整模型；若所述判断结果表示不存在，则表示不存在所述待调整模型。

上述方法，优选的，所述利用所述第一终端设备发送的模型调整信息调整所述待调整模型，包括：

利用所述第一终端设备发送的特征权重的梯度信息，调整所述待调整模型的特征权重。

上述方法，优选的，还包括：

若所述第一节点自所述第一节点创建起所对应模型的模型调整次数达到预定次数，生成所述第一节点的子节点，并将利用所述模型调整信息调整所述第一节点的当前模型后所得的模型维护至所述第一节点的子节点处。

上述方法，优选的，在生成所述第一节点的子节点之前，所述方法还包括：

若所述全局模型版本树中节点的节点数量达到所述预定数量，则删除所述全局模型版本树中创建时间最早的节点。

一种第一终端设备，包括：

第一获取单元，用于从服务器获得第一模型，所述第一模型为服务器利用至少一个终端设备发送的模型调整信息所构建的模型；

第一调整单元，用于利用所述第一终端设备的终端数据调整所述第一模型，得到第二模型；

确定单元，用于确定所述第二模型相比于所述第一模型的模型调整信息；

发送单元，用于发送所述第二模型相比于所述第一模型的模型调整信息至服务器，以使服务器基于接收的所述模型调整信息执行模型调整操作。

上述第一终端设备，优选的，所述第一获取单元，具体用于：

从服务器维护的全局模型中获得基于预定方式确定出的最优模型作为所述第一模型；

其中，所述全局模型包括：由多个终端设备利用各自终端数据协同训练的至少一个模型，且服务器维护的每个模型由服务器利用至少一个终端设备发送的模型调整信息构建。

上述第一终端设备，优选的，所述第一调整单元，具体用于：

在所述第一终端设备符合第一预定条件时，利用所述第一终端设备的用户交互数据及对应于所述用户交互数据的标注信息，调整所述第一模型。

上述第一终端设备，优选的，所述确定单元，具体用于：确定所述第二模型的特征权重相比于所述第一模型的特征权重的梯度信息；

相对应地，所述发送单元，具体用于：

在所述第一终端设备符合第二预定条件时，发送所述梯度信息至服务器。

一种服务器，包括：

第二获取单元，用于获得第一终端设备发送的模型调整信息；

判断单元，用于判断服务器维护的全局模型中是否存在与所述第一终端设备相匹配的待调整模型，得到判断结果；所述全局模型包括：由多个终端设备利用各自终端数据协同训练的至少一个模型，且服务器维护的每个模型由服务器利用至少一个终端设备发送的模型调整信息构建；

第二调整单元，用于在所述判断结果表示存在时，利用所述第一终端设备发送的模型调整信息调整所述待调整模型。

上述服务器，优选的，所述服务器以全局模型版本树的形式管理所述全局模型中的各个模型，其中，所述全局模型版本树中的节点与所述全局模型中的模型一一对应，且所述全局模型版本树中的节点数量低于预定数量；

则所述判断单元，具体用于：

判断所述全局模型版本树中是否存在所述第一终端设备最近一次从服务器获得第一模型时所述第一模型所在的第一节点，得到判断结果；

若所述判断结果表示存在，则获得所述第一节点上存在的当前模型作为与所述第一终端设备相匹配的待调整模型；若所述判断结果表示不存在，则表示不存在所述待调整模型。

上述服务器，优选的，所述第二调整单元，具体用于：

利用所述第一终端设备发送的特征权重的梯度信息，调整所述待调整模型的特征权重。

上述服务器，优选的，所述服务器还包括：

子节点生成单元，用于若所述第一节点自所述第一节点创建起所对应模型的模型调整次数达到预定次数，生成所述第一节点的子节点，并将利用所述模型调整信息调整所述第一节点的当前模型后所得的模型维护至所述第一节点的子节点处。

上述服务器，优选的，还包括：

节点删除单元，用于在所述子节点生成单元生成所述第二节点的子节点之前，若所述全局模型版本树中节点的节点数量达到所述预定数量，则删除所述全局模型版本树中创建时间最早的节点。

一种模型处理系统，包括：多个如上所述的第一终端设备，以及还包括如上所述的服务器。

基于以上方案可知，本申请公开的模型处理方法，提出了一种在终端设备利用终端自身数据调整从服务器获得的待调整模型(该模型为服务器利用至少一个终端设备发送的模型调整信息所构建的模型)，并将模型调整后所对应的模型调整信息发送至服务器，以使服务器基于来自终端的模型调整信息调整模型的技术构思，从而，利用本申请方案，既可以实现利用终端数据进行模型训练，使得所训练的模型具有较好的模型效果，又无需终端设备向服务器上传终端数据，保证了终端设备中用户数据的私密性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1是本申请提供的一种模型处理方法实施例一的流程图；

图2是本申请提供的一种模型处理方法实施例二的流程图；

图3是本申请提供的一种模型处理方法实施例三的流程图；

图4是本申请提供的一种模型处理方法实施例四的流程图；

图5是本申请提供的一种模型处理方法实施例五的流程图；

图6-图7是本申请提供的一种模型处理方法实施例六的流程图；

图8是本申请提供的一种第一终端设备实施例七的结构示意图；

图9是本申请提供的一种服务器实施例十的结构示意图；

图10-图11是本申请提供的一种服务器实施例十二的结构示意图；

图12是本申请提供的一种模型处理系统实施例十三的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本申请提供了一种模型处理方法、系统、终端设备及服务器，以用于实现既能利用用户终端产生的海量真实交互数据进行模型训练，又能有效保护用户数据的私密性。以下将通过多个实施例对本申请的模型处理方法、系统、终端设备及服务器进行详细说明。

参考图1，图1是本申请提供的一种模型处理方法实施例一的流程图，该方法可应用于第一终端设备，所述第一终端设备可以是但不限于智能手机、平板电脑等智能终端，或笔记本电脑、台式机、一体机等计算机设备，如图1所示，本实施例的所述模型处理方法包括以下步骤：

步骤101、从服务器获得第一模型，所述第一模型为服务器利用至少一个终端设备发送的模型调整信息所构建的模型。

所述服务器可以是云平台或AI(Artificial Intelligence，人工智能)平台等服务平台的服务器。所述服务器中维护有至少一个待调整模型，如待调整的用于对语音、图像或文字数据进行类别预测的神经网络模型等，以供所述第一终端设备获取，其中，各个待调整模型由与服务器相连接的多个终端设备通过协同训练得到，且具体地，每个待调整模型由服务器利用所述多个终端设备中的至少一个终端设备所发送的模型调整信息构建得到，也即，所述待调整模型并非是服务器直接利用数据集(如公共数据集或终端设备上传的真实用户交互数据等)所训练的模型。

在此基础上，本步骤中具体可从服务器维护的所述至少一个待调整模型中获取一模型作为所述第一模型。

步骤102、利用所述第一终端设备的终端数据调整所述第一模型，得到第二模型。

所述第一终端设备的终端数据可以包括用户与所述第一终端设备在语音、图像、文字或视频等方面的真实交互数据以及对应于这些数据的标注信息(或者也可称为监督信息)，如第一终端设备中的各种音视频文件、用户文档，或用户私人照片库中的各种照片，以及用户针对这些数据所标注的类别信息等。

在从服务器获得待调整的所述第一模型后，可根据训练/调整所述第一模型时所需的数据类型，利用上述任意一种或多种相应类型的数据以及对应于这些数据的标注信息，对所述第一模型进行进一步训练/调整，以此实现基于所述第一终端设备的终端数据调整所述第一模型。

在具体实施本申请方案时，可采用相应激励机制，由终端设备的用户对训练/调整模型时所需的各类数据进行信息标注，以使得为模型的训练/调整提供所需的数据基础。以模型训练/调整时所需的终端数据为用户私人照片库中的照片为例，可由用户在完成照片拍摄后，对照片进行人物、场景、活动类型或地点等方面的类别信息标注，以使得最终所训练/调整的模型具备从人物、场景、活动类型或地点等角度对图像进行自动分类的功能。

其中，所述第一终端设备具体可在接收到用户通过在其屏幕界面上执行相应操作手动触发的模型调整指令时，利用设备自身的音视频文件、用户文档或照片等数据以及对应于这些数据的标注信息进行第一模型的进一步训练/调整，以得到第二模型；或者，还可以在获得第一终端设备在符合预定条件的情况下自动触发的模型调整指令时，利用上述数据进一步训练/调整所述第一模型，以得到第二模型，本实施例对此不作限定。

步骤103、确定所述第二模型相比于所述第一模型的模型调整信息。

在基于第一终端设备的终端数据调整所述第一模型，得到第二模型后，可由第一终端设备继续确定所述第二模型相比于所述第一模型的模型调整信息，具体地，可针对所述第二模型相比于所述第一模型发生的变化，确定两者间的区别信息，进而基于两者间的区别信息得到所述模型调整信息。

步骤104、发送所述第二模型相比于所述第一模型的模型调整信息至服务器，以使服务器基于接收的所述模型调整信息执行模型调整操作。

在获得所述第二模型相比于所述第一模型的模型调整信息后，可由所述第一终端设备将所述模型调整信息上传至服务器，以使得服务器基于该模型调整信息对其维护的各个待调整模型中的相应模型执行模型调整操作。

从多个终端设备协同训练模型的宏观角度来说，服务器中所维护的各个模型能够基于各个终端设备上传的模型调整信息不断被调整优化，由于终端设备向服务器提交的是其通过训练模型所得的模型调整信息而并非是终端上的用户交互数据，从而有效保护了用户数据的私密性。

基于以上方案可知，本申请公开的模型处理方法，提出了一种在终端设备利用终端自身数据调整从服务器获得的待调整模型(该模型为服务器利用至少一个终端设备发送的模型调整信息所构建的模型)，并将模型调整后所对应的模型调整信息发送至服务器，以使服务器基于来自终端的模型调整信息调整模型的技术构思，从而，利用本申请方案，既可以实现利用终端数据进行模型训练，使得所训练的模型具有较好的模型效果，又无需终端设备向服务器上传终端数据，保证了终端设备中用户数据的私密性。

参考图2，图2是本申请提供的一种模型处理方法实施例二的流程图，本实施例提供所述步骤101的一种可能的实现方式，如图2所示，所述步骤101可以通过以下的处理过程实现：

步骤1011、从服务器维护的全局模型中获得基于预定方式确定出的最优模型作为所述第一模型；其中，所述全局模型包括：由多个终端设备利用各自终端数据协同训练的至少一个模型，且服务器维护的每个模型由服务器利用至少一个终端设备发送的模型调整信息构建。

所述全局模型中包括的所述至少一个模型，即为上文中由多个终端设备协同训练的所述至少一个待调整模型。

所述至少一个待调整模型，可以是由所述多个终端设备协同训练且维护在服务器的一个模型或者多个模型，以所述待调整模型为图像分类模型为例，若所述至少一个待调整模型为一个模型，则其具体可以是服务器基于各终端设备提交的模型调整信息实时维护的一个图像分类模型，对于终端设备来说，各终端设备每次可从服务器下载其实时维护的当前图像分类模型，并在终端设备基于其自身终端数据进一步训练/调整所下载的模型，之后，可将所对应的模型调整信息上传至服务器，以使得服务器继续利用终端设备上传的模型调整信息实时调整、更新所述一个图像分类模型，后续通过对上述过程的不断迭代，可实现对所需模型如所述图像分类模型的逐步优化。

若全局模型中的所述至少一个待调整模型为多个模型，则所述多个模型本质上为同一模型的多个不同版本，仍以需要利用多个终端设备来协同训练一个能够从人物、场景、活动类型等角度对图像进行分类的图像分类模型为例，若所述至少一个待调整模型包括多个模型，那么在服务器中维护的所述全局模型则是利用所述多个终端设备协同训练的多个不同版本的图像分类模型，其中，不同版本的图像分类模型本质上为服务器在利用各个终端设备协同训练所述图像分类模型的过程中，所述图像分类模型在不同阶段/不同时机基于终端设备的模型调整信息所得的协同训练程度及实时程度不同的各个模型(或称为对应于不同阶段/不同时机的模型快照)，该部分内容将在后续的服务器实施例中进行更为详述的阐述。

鉴于此，本步骤中，若服务器的全局模型中维护的所述至少一个待调整模型为一个模型，可由第一终端设备从服务器直接获得所述一个模型作为待调整的所述第一模型。

若服务器的全局模型中维护的所述至少一个待调整模型包括多个模型，则可基于预定方式从所述多个模型中选取出最优模型作为所述第一模型，例如，基于预定方式从所述多个模型中选取出协训练程度以及实时程度综合评价最高的模型作为所述第一模型等。

本实施例通过从服务器维护的全局模型中获得基于预定方式确定出的最优模型作为所述第一模型，为终端设备进行模型的进一步训练/调整提供了模型依据；且从服务器的全局模型中获得最优模型(如协训练程度以及实时性综合评价最高的模型)作为所述第一模型进行进一步调整，从多终端设备协同训练模型的宏观角度来说，可实现不断对全局模型中的优质模型逐步调整，保证了模型效果。

参考图3，图3是本申请提供的一种模型处理方法实施例三的流程图，本实施例中对所述模型处理方法进行进一步详述，如图3所示，所述模型处理方法可以通过以下的处理过程实现：

步骤301、从服务器获得第一模型，所述第一模型为服务器利用至少一个终端设备发送的模型调整信息所构建的模型；

从服务器获得的所述第一模型，可以是在服务器的全局模型中仅维护了一个模型的情况下，所获得的所述一个模型；或者还可以是在服务器的全局模型中维护了多个模型(同一模型的不同版本)的情况下，所获得的协同训练程度以及实时性综合评价最高的模型。

步骤302、在所述第一终端设备符合第一预定条件时，利用所述第一终端设备的用户交互数据及对应于所述用户交互数据的标注信息，调整所述第一模型。

当第一终端设备从服务器获得待调整的所述第一模型后，可利用第一终端设备的终端数据如音视频文件、用户文档、用户私人照片库中的各种照片以及对应于这些数据的标注信息等，对所述第一模型进行进一步训练/调整。

其中，在终端设备进行模型的训练/调整过程中，需要占用相应的终端资源，如终端的CPU(Central Processing Unit，中央处理器)资源、内存资源、磁盘IO(Input/Output，输入/输出)资源、电量资源等，为了避免模型的训练/调整过程因占用终端资源而导致对用户使用终端设备产生影响，优选地，可在终端设备的CPU/内存/磁盘IO等资源的资源利用率较低，和/或终端设备的剩余电量较高/终端设备处于充电状态时，对所述第一模型进行进一步的模型训练/调整。

鉴于此，本实施例中，所述第一预定条件可以是第一终端设备的CPU/内存/磁盘IO等资源的资源利用率低于一设定的比例阈值，和/或，第一终端设备的剩余电量高于一预定的百分比/第一终端设备处于充电状态，从而，在第一终端设备从服务器获得所述待调整的第一模型后，可实时检测第一终端设备的资源使用状况和/或电量状况，当第一终端设备的资源使用状况和/或电量状况满足上述条件时，可自动触发模型调整指令，并响应该指令，利用自身终端数据对所述第一模型进行进一步的模型训练/调整，得到第二模型。

步骤303、确定所述第二模型的特征权重相比于所述第一模型的特征权重的梯度信息。

在第一终端设备利用自身终端数据通过进一步训练/调整所述第一模型得到第二模型后，可确定所述第二模型相比于所述第一模型的模型调整信息。

模型训练本质上是对数据集中的各条数据进行特征提取，并基于各条数据对应的标注信息(监督信息)，学习各个特征所对应的特征权重，鉴于此，本实施例中，将第二模型的特征权重相比于第一模型的特征权重的梯度信息，即两者特征权重的变化值所对应的时间导数，作为所述第二模型相比于所述第一模型的模型调整信息。

从而，在得到所述第二模型后，可确定所述第二模型的特征权重相比于所述第一模型的特征权重的梯度信息，以此实现第二模型相比于第一模型的模型调整信息的获取。

步骤304、在所述第一终端设备符合第二预定条件时，发送所述梯度信息至服务器。

所述第二预定条件可以是但不限于第一终端设备通过免费网络或wifi(wireless-fidelity，无线保真)与服务器相连接，鉴于此，在确定出所述梯度信息后，第一终端设备可检测其网络连接状况，当检测出第一终端设备通过免费网络或wifi与服务器相连接时，可将所述梯度信息上传至服务器，以使得服务器基于所述梯度信息执行相应的模型调整操作。

需要说明的是，实际应用中，在根据所述第一条件利用终端数据进行第一模型的进一步训练/调整时，往往是一个断断续续的模型训练/调整过程，比如在终端设备的资源使用状况和/或电量状况符合所述第一条件的某段时间内调整模型，不符合时停止，后续再次符合时继续调整模型等，针对该情况，可在每次持续调整模型后，获得当前最新模型相比于模型调整之前的特征权重梯度信息，并累计各次调整所得的梯度信息，后续当第一终端设备的网络状态符合所述第二预定条件时，将累计的所述梯度信息提交至服务器。

本实施例通过在第一终端设备的资源占用率较低，和/或，剩余电量较高/处于充电状态时，对第一模型进行模型调整，避免了对用户使用第一终端设备的过程产生影响，保证了用户对第一终端设备的正常使用；且在第一终端设备通过免费网络/wifi与服务器相连接时上传模型调整信息，避免了第一终端设备上额外流量费用的产生。

参考图4，图4是本申请提供的一种模型处理方法实施例四的流程图，该实施例的模型处理方法可应用于服务器，所述服务器可以是但不限于云平台、AI平台等各种服务平台的服务器，如图4所示，本实施例的所述模型处理方法包括以下步骤：

步骤401、获得第一终端设备发送的模型调整信息。

如前文所述，所述模型调整信息可以是第一终端设备上传的特征权重梯度信息，具体地，比如，第一终端设备在其网络状态符合所述第二预定条件时，所上传的梯度信息等。

步骤402、判断服务器维护的全局模型中是否存在与所述第一终端设备相匹配的待调整模型，得到判断结果；所述全局模型包括：由多个终端设备利用各自终端数据协同训练的至少一个模型，且服务器维护的每个模型由服务器利用至少一个终端设备发送的模型调整信息构建。

所述全局模型中包括的所述至少一个模型，即为上文中由多个终端设备协同训练的所述至少一个待调整模型。

所述至少一个待调整模型，可以是由所述多个终端设备协同训练且维护在服务器的一个模型或者多个模型，以所述待调整模型为图像分类模型为例，若所述至少一个待调整模型为一个模型，则其具体可以是服务器基于各终端设备提交的模型调整信息实时维护的一个图像分类模型，对于终端设备来说，各终端设备每次可从服务器下载其实时维护的当前图像分类模型，并在终端设备基于其自身终端数据进一步训练/调整所下载的模型，之后，可将所对应的模型调整信息上传至服务器，以使得服务器继续利用终端设备上传的模型调整信息实时调整、更新所述一个图像分类模型，后续通过对上述过程的不断迭代，可实现对所需模型如所述图像分类模型的逐步优化。

若全局模型中的所述至少一个待调整模型为多个模型，则所述多个模型本质上为同一模型的多个不同版本，仍以需要利用多个终端设备来协同训练一个能够从人物、场景、活动类型等角度对图像进行分类的图像分类模型为例，若所述至少一个待调整模型包括多个模型，那么在服务器中维护的所述全局模型则是利用所述多个终端设备协同训练的多个不同版本的图像分类模型，其中，不同版本的图像分类模型本质上为服务器在利用各个终端设备协同训练所述图像分类模型的过程中，所述图像分类模型在不同阶段/不同时机基于终端设备的模型调整信息所得的协同训练程度及实时程度不同的各个模型(或称为对应于不同阶段/不同时机的模型快照)。

鉴于此，本步骤中，若服务器的全局模型中维护的所述至少一个待调整模型为一个模型，可直接将服务器实时维护的所述一个模型作为与所述第一终端设备相匹配的待调整模型，从而后续服务器可基于第一终端设备上传的模型调整信息如特征权重的梯度信息等，对该一个模型进行实时调整。

若服务器的全局模型中维护的所述至少一个待调整模型为多个模型，则所述与第一终端设备相匹配的待调整模型，可以是基于预定方式从全局模型中确定出的与第一终端设备最近一次从服务器下载的第一模型相关联的模型，该与第一模型相关联的模型，具体地，比如可以是全局模型中所包括的第一模型本身或者对所述第一模型进行了不高于预定次数的模型调整后所得的模型等。从而，在服务器的全局模型中维护的所述至少一个待调整模型为多个模型的情况下，可基于预定方式，确定所述多个模型中是否存在与第一终端设备最近一次从服务器下载的第一模型相关联的模型，若存在，可将该相关联的模型作为与第一终端设备匹配的待调整模型，否则，则所述全局模型中不存在与第一终端设备相匹配的待调整模型。

步骤403、若所述判断结果表示存在，则利用所述第一终端设备发送的模型调整信息调整所述待调整模型。

如果全局模型中存在与第一终端设备相匹配的待调整模型，则服务器可利用第一终端设备上传的模型调整信息，如特征权重梯度信息等，对所述待调整模型进行调整；否则，如果全局模型中不存在与第一终端设备相匹配的待调整模型，则丢弃第一终端设备上传的模型调整信息，不执行模型调整操作。

本实施例的服务器在利用多个终端设备进行模型的协同训练时，具体采用分布式弱一致性方式，首先由终端设备在设备端利用其自身终端数据进行模型的训练/调整，之后由服务器根据终端设备在训练/调整模型后所上传的模型调整信息同步更新服务器中的模型，从而既实现了利用终端数据进行模型训练，保证了模型效果，又无需终端设备上传其终端数据，保证了终端设备中用户数据的私密性。

参考图5，图5是本申请提供的一种模型处理方法实施例五的流程图，本实施例提供所述步骤402的一种可能的实现方式，本实施例中，所述服务器的全局模型中维护有多个模型(或称为一个模型的多个版本)，且所述服务器以全局模型版本树的形式管理所述全局模型中的各个模型，其中，全局模型版本树中的节点与全局模型中的模型一一对应，且全局模型版本树中的节点数量低于预定数量；如图5所示，所述步骤402可以通过以下的处理过程实现：

步骤4021、判断所述全局模型版本树中是否存在所述第一终端设备最近一次从服务器获得第一模型时所述第一模型所在的第一节点，得到判断结果。

本实施例中，在采用全局模型版本树进行全局模型的管理时，在初始利用多个终端设备进行模型的协同训练时，所述全局模型版本树为空，从而可为全局模型版本树建立一根节点，并初始化该根节点(如初始化为空等)，且对于参与模型协同训练的各个终端设备来说，在初始训练模型时，其可以基于终端数据，利用一预定算法(如预定的网络神经算法等)进行模型训练，并上传模型训练后所得的模型调整信息至服务器，相应地，服务器可基于该模型调整信息构建模型，并将该模型更新至所述根节点处，后续，可继续基于每个其他终端设备上传的模型调整信息不断调整该根节点对应的模型，且在利用每个其他终端设备上传的模型调整信息调整模型前，可首先判断该根节点处维护的模型从节点创建起是否达到预定的模型调整次数，若未达到，则利用该其他终端设备的模型调整信息调整根节点的模型，否则，若达到，则生成该根节点的子节点，并将利用该其他终端设备的模型调整信息调整根节点模型后所得的新模型维护至根节点的子节点处，而根节点处维护的模型则仍控制在达到所述调整次数时的模型快照，后续，通过迭代该过程，获得逐渐庞大的全局模型版本树。

需要说明的是，针对全局模型版本树，参与协同训练的各个终端设备具体可在每次上传模型调整数据后，再次从所述全局模型版本树管理的全局模型中获取一模型作为所述第一模型在设备端进行调整，其中，具体地，由于所述全局模型版本树中最新创建的节点处维护的模型的调整次数相对较多且模型实时性较高，鉴于此，可直接将所述全局模型版本树中最新生成的节点处维护的模型作为最优模型，供终端设备下载并在设备端利用终端数据进行调整。

实际应用中，在生成每个节点时，可为所生成的节点匹配设置一时间戳，从而在终端设备需从全局模型版本树中获取模型时，可直接获取时间戳最晚的节点处维护的模型作为最优模型即所述第一模型进行下载。

本实施例中，为控制全局模型版本树的规模，进而控制全局模型版本树中各模型的资源占用量，限定所述全局模型版本树中所维护的节点数量(模型数量)低于预定数量，因此，在全局模型版本树中的节点数量不断庞大的过程中，一旦所需生成的新节点会导致树中的节点数量达到数量上限，则会首先从所述全局模型版本树中删除时间戳最早的节点(该节点维护的模型一并删除)，以此使得将全局模型版本树中的节点数量控制在设定的数量上限内。

在此基础上，当第一终端设备基于其自身终端数据进一步训练/调整所述第一模型得到第二模型，并上传所述第二模型相比于所述第一模型的模型调整信息至服务器后，服务器可从所述全局模型版本树中确定是否存在与第一终端设备最近一次下载的第一模型相关联的模型，具体地，可通过从全局模型版本树中确定第一终端设备最近一次下载模型时所对应的第一节点是否存在(可能存在或者也可能基于上文的节点数量控制策略被删除)，来确定是否存在所述相关联的模型，若存在，则可将该第一节点处维护的当前模型作为与第一终端设备最近一次下载的第一模型相关联的模型，进而可将该当前模型作为与第一终端设备相匹配的待调整模型，若不存在，则表示服务器的全局模型中不存在与第一终端设备相匹配的待调整模型。

步骤4022、若所述判断结果表示存在，则获得所述第一节点上存在的当前模型作为与所述第一终端设备相匹配的待调整模型。

若所述判断结果表示存在与所述第一终端设备相匹配的待调整模型，即所述全局模型版本树中第一终端设备最近一次下载模型时的第一节点未被删除，则可获得所述第一节点处维护的当前模型作为与第一终端设备相匹配的待调整模型，从而后续可由服务器利用第一终端设备上传的模型调整信息对该第一节点维护的当前模型进行调整，例如，利用第一终端设备上传的梯度信息，调整所述第一节点维护的当前模型的特征权重等。

步骤4023、若所述判断结果表示不存在，则表示不存在所述待调整模型。

否则，若所述判断结果表示不存在与第一终端设备相匹配的待调整模型，即所述全局模型版本树中第一终端设备最近一次下载模型时的第一节点已被删除，则相应地表示所述第一终端设备上传的模型调整信息为过期信息，如过期的梯度信息等，从而舍弃所述模型调整信息，不执行模型调整操作。

如前文所述，为了不影响用户正常使用终端设备，优选地会在终端设备的设备资源利用率较低，和/或，设备剩余电量较高/设备处于充电状态时，进行模型的进一步训练/调整，以及为了不产生额外的流量费用，会在设备处于免费网络或wifi等情况下进行梯度数据的上传，这必然会使得模型断续训练以及梯度数据的延迟上传，这种情况将会导致训练得到的梯度数据中的过期梯度比例极高，严重影响了模型训练，甚至无法得到有效模型。

本实施例通过采用全局模型版本树的上述管理机制维护多个不同版本的模型，并由终端设备每次下载最新时间戳节点处的模型进行进一步的模型训练/调整，以及仅在最近一次下载模型时的第一节点存在时，服务器才利用终端设备上传的梯度数据更新该第一节点的模型，而在该第一节点不存在时，舍弃该梯度信息，从而实现了对过期梯度进行有效滤除，进一步保证了模型效果。

参考图6，图6是本申请提供的一种模型处理方法实施例六的流程图，本实施例中，所述应用于服务器的模型处理方法，还可以包括：

步骤404、若所述第一节点自所述第一节点创建起所对应模型的模型调整次数达到预定次数，生成所述第一节点的子节点，并将利用所述模型调整信息调整所述第一节点的当前模型后所得的模型维护至所述第一节点的子节点处。

如前文所述，基于所述全局模型版本树的管理机制，在服务器利用多个终端设备进行模型的协同训练过程中，若某一节点的模型调整次数达到预定次数，会生成该节点的子节点，并将后续进行模型调整后所得的新模型维护至该节点的子节点处。鉴于此，当服务器从全局模型版本树中所述第一节点处获得其维护的当前模型，并利用第一终端设备上传的梯度信息对该当前模型进行调整后，需首先判断所述第一节点处维护的模型的调整次数是否达到预定次数，若达到，则生成所述第一节点的子节点，并将利用模型调整信息调整所述第一节点的当前模型后所得的新模型维护至所述第一节点的子节点处。

需要说明的是，根据前文所述的全局模型版本树的管理机制，由于需控制所述全局模型版本树中节点的数量低于预定数量，因此，在上述步骤404中，当判断出所述第一节点自所述第一节点创建起所对应模型的模型调整次数达到预定次数，需生成该第一节点的子节点时，需首先判断所需生成的该子节点会不会导致所述全局模型版本树中的节点数量达到所述预定数量所表示的数量上限，鉴于此，如图7所示，所述方法还包括：

步骤405、在所述子节点生成单元生成所述第二节点的子节点之前，若所述全局模型版本树中节点的节点数量达到所述预定数量，则删除所述全局模型版本树中创建时间最早的节点。

具体地，如果所述第一节点的子节点的产生，会导致所述全局模型版本树中的节点数量达到数量上限，则可将所述全局模型版本树中时间戳最早的节点删除(其中该时间戳最早的节点对应维护的模型一并删除)，在此基础上，可为所述第一节点生成子节点，并将利用第一终端设备的模型调整信息调整所述第一节点的当前模型后所得的新模型维护至所述第一节点的子节点处，由于在生成所述第一节点的子节点前预先删除了一节点，从而所得的新全局模型版本树的节点数量仍维持在了设定的数量上限内。

参考图8，图8是本申请提供的一种第一终端设备实施例七的结构示意图，所述第一终端设备可以是但不限于智能手机、平板电脑等智能终端，或笔记本电脑、台式机、一体机等计算机设备，如图7所示，本实施例的所述第一终端设备包括：

第一获取单元801，用于从服务器获得第一模型，所述第一模型为服务器利用至少一个终端设备发送的模型调整信息所构建的模型。

所述服务器可以是云平台或AI(Artificial Intelligence，人工智能)平台等服务平台的服务器。所述服务器中维护有至少一个待调整模型，如待调整的用于对语音、图像或文字数据进行类别预测的神经网络模型等，以供所述第一终端设备获取，其中，各个待调整模型由与服务器相连接的多个终端设备通过协同训练得到，且具体地，每个待调整模型由服务器利用所述多个终端设备中的至少一个终端设备所发送的模型调整信息构建得到，也即，所述待调整模型并非是服务器直接利用数据集(如公共数据集或终端设备上传的真实用户交互数据等)所训练的模型。

在此基础上，具体可从服务器维护的所述至少一个待调整模型中获取一模型作为所述第一模型。

第一调整单元802，用于利用所述第一终端设备的终端数据调整所述第一模型，得到第二模型。

所述第一终端设备的终端数据可以包括用户与所述第一终端设备在语音、图像、文字或视频等方面的真实交互数据以及对应于这些数据的标注信息(或者也可称为监督信息)，如第一终端设备中的各种音视频文件、用户文档，或用户私人照片库中的各种照片，以及用户针对这些数据所标注的类别信息等。

在从服务器获得待调整的所述第一模型后，可根据训练/调整所述第一模型时所需的数据类型，利用上述任意一种或多种相应类型的数据以及对应于这些数据的标注信息，对所述第一模型进行进一步训练/调整，以此实现基于所述第一终端设备的终端数据调整所述第一模型。

在具体实施本申请方案时，可采用相应激励机制，由终端设备的用户对训练/调整模型时所需的各类数据进行信息标注，以使得为模型的训练/调整提供所需的数据基础。以模型训练/调整时所需的终端数据为用户私人照片库中的照片为例，可由用户在完成照片拍摄后，对照片进行人物、场景、活动类型或地点等方面的类别信息标注，以使得最终所训练/调整的模型具备从人物、场景、活动类型或地点等角度对图像进行自动分类的功能。

其中，所述第一终端设备具体可在接收到用户通过在其屏幕界面上执行相应操作手动触发的模型调整指令时，利用设备自身的音视频文件、用户文档或照片等数据以及对应于这些数据的标注信息进行第一模型的进一步训练/调整，以得到第二模型；或者，还可以在获得第一终端设备在符合预定条件的情况下自动触发的模型调整指令时，利用上述数据进一步训练/调整所述第一模型，以得到第二模型，本实施例对此不作限定。

确定单元803，用于确定所述第二模型相比于所述第一模型的模型调整信息。

在基于第一终端设备的终端数据调整所述第一模型，得到第二模型后，可由第一终端设备继续确定所述第二模型相比于所述第一模型的模型调整信息，具体地，可针对所述第二模型相比于所述第一模型发生的变化，确定两者间的区别信息，进而基于两者间的区别信息得到所述模型调整信息。

发送单元804，用于发送所述第二模型相比于所述第一模型的模型调整信息至服务器，以使服务器基于接收的所述模型调整信息执行模型调整操作。

在获得所述第二模型相比于所述第一模型的模型调整信息后，可由所述第一终端设备将所述模型调整信息上传至服务器，以使得服务器基于该模型调整信息对其维护的各个待调整模型中的相应模型执行模型调整操作。

从多个终端设备协同训练模型的宏观角度来说，服务器中所维护的各个模型能够基于各个终端设备上传的模型调整信息不断被调整优化，由于终端设备向服务器提交的是其通过训练模型所得的模型调整信息而并非是终端上的用户交互数据，从而有效保护了用户数据的私密性。

基于以上方案可知，本申请公开的第一终端设备，提出了一种在终端设备利用终端自身数据调整从服务器获得的待调整模型(该模型为服务器利用至少一个终端设备发送的模型调整信息所构建的模型)，并将模型调整后所对应的模型调整信息发送至服务器，以使服务器基于来自终端的模型调整信息调整模型的技术构思，从而，利用本申请方案，既可以实现利用终端数据进行模型训练，使得所训练的模型具有较好的模型效果，又无需终端设备向服务器上传终端数据，保证了终端设备中用户数据的私密性。

在接下来的实施例八中，提供所述第一获取单元801的一种可能的实现方式，其中，所述第一获取单元801具体用于：

从服务器维护的全局模型中获得基于预定方式确定出的最优模型作为所述第一模型；其中，所述全局模型包括：由多个终端设备利用各自终端数据协同训练的至少一个模型，且服务器维护的每个模型由服务器利用至少一个终端设备发送的模型调整信息构建。

所述全局模型中包括的所述至少一个模型，即为上文中由多个终端设备协同训练的所述至少一个待调整模型。

所述至少一个待调整模型，可以是由所述多个终端设备协同训练且维护在服务器的一个模型或者多个模型，以所述待调整模型为图像分类模型为例，若所述至少一个待调整模型为一个模型，则其具体可以是服务器基于各终端设备提交的模型调整信息实时维护的一个图像分类模型，对于终端设备来说，各终端设备每次可从服务器下载其实时维护的当前图像分类模型，并在终端设备基于其自身终端数据进一步训练/调整所下载的模型，之后，可将所对应的模型调整信息上传至服务器，以使得服务器继续利用终端设备上传的模型调整信息实时调整、更新所述一个图像分类模型，后续通过对上述过程的不断迭代，可实现对所需模型如所述图像分类模型的逐步优化。

若全局模型中的所述至少一个待调整模型为多个模型，则所述多个模型本质上为同一模型的多个不同版本，仍以需要利用多个终端设备来协同训练一个能够从人物、场景、活动类型等角度对图像进行分类的图像分类模型为例，若所述至少一个待调整模型包括多个模型，那么在服务器中维护的所述全局模型则是利用所述多个终端设备协同训练的多个不同版本的图像分类模型，其中，不同版本的图像分类模型本质上为服务器在利用各个终端设备协同训练所述图像分类模型的过程中，所述图像分类模型在不同阶段/不同时机基于终端设备的模型调整信息所得的协同训练程度及实时程度不同的各个模型(或称为对应于不同阶段/不同时机的模型快照)，该部分内容将在后续的服务器实施例中进行更为详述的阐述。

鉴于此，本步骤中，若服务器的全局模型中维护的所述至少一个待调整模型为一个模型，可由第一终端设备从服务器直接获得所述一个模型作为待调整的所述第一模型。

若服务器的全局模型中维护的所述至少一个待调整模型包括多个模型，则可基于预定方式从所述多个模型中选取出最优模型作为所述第一模型，例如，基于预定方式从所述多个模型中选取出协训练程度以及实时程度综合评价最高的模型作为所述第一模型等。

本实施例通过从服务器维护的全局模型中获得基于预定方式确定出的最优模型作为所述第一模型，为终端设备进行模型的进一步训练/调整提供了模型依据；且从服务器的全局模型中获得最优模型(如协训练程度以及实时性综合评价最高的模型)作为所述第一模型进行进一步调整，从多终端设备协同训练模型的宏观角度来说，可实现不断对全局模型中的优质模型逐步调整，保证了模型效果。

在接下来的实施例九中继续对所述第一终端设备进行详述。其中，所述第一调整单元802具体用于：

在所述第一终端设备符合第一预定条件时，利用所述第一终端设备的用户交互数据及对应于所述用户交互数据的标注信息，调整所述第一模型。

当第一终端设备从服务器获得待调整的所述第一模型后，可利用第一终端设备的终端数据如音视频文件、用户文档、用户私人照片库中的各种照片以及对应于这些数据的标注信息等，对所述第一模型进行进一步训练/调整。

其中，在终端设备进行模型的训练/调整过程中，需要占用相应的终端资源，如终端的CPU(Central Processing Unit，中央处理器)资源、内存资源、磁盘IO(Input/Output，输入/输出)资源、电量资源等，为了避免模型的训练/调整过程因占用终端资源而导致对用户使用终端设备产生影响，优选地，可在终端设备的CPU/内存/磁盘IO等资源的资源利用率较低，和/或终端设备的剩余电量较高/终端设备处于充电状态时，对所述第一模型进行进一步的模型训练/调整。

鉴于此，本实施例中，所述第一预定条件可以是第一终端设备的CPU/内存/磁盘IO等资源的资源利用率低于一设定的比例阈值，和/或，第一终端设备的剩余电量高于一预定的百分比/第一终端设备处于充电状态，从而，在第一终端设备从服务器获得所述待调整的第一模型后，可实时检测第一终端设备的资源使用状况和/或电量状况，当第一终端设备的资源使用状况和/或电量状况满足上述条件时，可自动触发模型调整指令，并响应该指令，利用自身终端数据对所述第一模型进行进一步的模型训练/调整，得到第二模型。

所述确定单元803，具体用于确定所述第二模型的特征权重相比于所述第一模型的特征权重的梯度信息。

在第一终端设备利用自身终端数据通过进一步训练/调整所述第一模型得到第二模型后，可确定所述第二模型相比于所述第一模型的模型调整信息。

模型训练本质上是对数据集中的各条数据进行特征提取，并基于各条数据对应的标注信息(监督信息)，学习各个特征所对应的特征权重，鉴于此，本实施例中，将第二模型的特征权重相比于第一模型的特征权重的梯度信息，即两者特征权重的变化值所对应的时间导数，作为所述第二模型相比于所述第一模型的模型调整信息。

从而，在得到所述第二模型后，可确定所述第二模型的特征权重相比于所述第一模型的特征权重的梯度信息，以此实现第二模型相比于第一模型的模型调整信息的获取。

所述发送单元804，具体用于：在所述第一终端设备符合第二预定条件时，发送所述梯度信息至服务器。

所述第二预定条件可以是但不限于第一终端设备通过免费网络或wifi(wireless-fidelity，无线保真)与服务器相连接，鉴于此，在确定出所述梯度信息后，第一终端设备可检测其网络连接状况，当检测出第一终端设备通过免费网络或wifi与服务器相连接时，可将所述梯度信息上传至服务器，以使得服务器基于所述梯度信息执行相应的模型调整操作。

需要说明的是，实际应用中，在根据所述第一条件利用终端数据进行第一模型的进一步训练/调整时，往往是一个断断续续的模型训练/调整过程，比如在终端设备的资源使用状况和/或电量状况符合所述第一条件的某段时间内调整模型，不符合时停止，后续再次符合时继续调整模型等，针对该情况，可在每次持续调整模型后，获得当前最新模型相比于模型调整之前的特征权重梯度信息，并累计各次调整所得的梯度信息，后续当第一终端设备的网络状态符合所述第二预定条件时，将累计的所述梯度信息提交至服务器。

本实施例通过在第一终端设备的资源占用率较低，和/或，剩余电量较高/处于充电状态时，对第一模型进行模型调整，避免了对用户使用第一终端设备的过程产生影响，保证了用户对第一终端设备的正常使用；且在第一终端设备通过免费网络/wifi与服务器相连接时上传模型调整信息，避免了第一终端设备上额外流量费用的产生。

参考图9，图9是本申请提供的一种服务器实施例十的结构示意图，所述服务器可以是但不限于云平台、AI平台等各种服务平台的服务器，如图8所示，本实施例中所述服务器包括：

第二获取单元901，用于获得第一终端设备发送的模型调整信息。

如前文所述，所述模型调整信息可以是第一终端设备上传的特征权重梯度信息，具体地，比如，第一终端设备在其网络状态符合所述第二预定条件时，所上传的梯度信息等。

判断单元902，用于判断服务器维护的全局模型中是否存在与所述第一终端设备相匹配的待调整模型，得到判断结果；所述全局模型包括：由多个终端设备利用各自终端数据协同训练的至少一个模型，且服务器维护的每个模型由服务器利用至少一个终端设备发送的模型调整信息构建。

所述全局模型中包括的所述至少一个模型，即为上文中由多个终端设备协同训练的所述至少一个待调整模型。

所述至少一个待调整模型，可以是由所述多个终端设备协同训练且维护在服务器的一个模型或者多个模型，以所述待调整模型为图像分类模型为例，若所述至少一个待调整模型为一个模型，则其具体可以是服务器基于各终端设备提交的模型调整信息实时维护的一个图像分类模型，对于终端设备来说，各终端设备每次可从服务器下载其实时维护的当前图像分类模型，并在终端设备基于其自身终端数据进一步训练/调整所下载的模型，之后，可将所对应的模型调整信息上传至服务器，以使得服务器继续利用终端设备上传的模型调整信息实时调整、更新所述一个图像分类模型，后续通过对上述过程的不断迭代，可实现对所需模型如所述图像分类模型的逐步优化。

若全局模型中的所述至少一个待调整模型为多个模型，则所述多个模型本质上为同一模型的多个不同版本，仍以需要利用多个终端设备来协同训练一个能够从人物、场景、活动类型等角度对图像进行分类的图像分类模型为例，若所述至少一个待调整模型包括多个模型，那么在服务器中维护的所述全局模型则是利用所述多个终端设备协同训练的多个不同版本的图像分类模型，其中，不同版本的图像分类模型本质上为服务器在利用各个终端设备协同训练所述图像分类模型的过程中，所述图像分类模型在不同阶段/不同时机基于终端设备的模型调整信息所得的协同训练程度及实时程度不同的各个模型(或称为对应于不同阶段/不同时机的模型快照)。

鉴于此，本步骤中，若服务器的全局模型中维护的所述至少一个待调整模型为一个模型，可直接将服务器实时维护的所述一个模型作为与所述第一终端设备相匹配的待调整模型，从而后续服务器可基于第一终端设备上传的模型调整信息如特征权重的梯度信息等，对该一个模型进行实时调整。

若服务器的全局模型中维护的所述至少一个待调整模型为多个模型，则所述与第一终端设备相匹配的待调整模型，可以是基于预定方式从全局模型中确定出的与第一终端设备最近一次从服务器下载的第一模型相关联的模型，该与第一模型相关联的模型，具体地，比如可以是全局模型中所包括的第一模型本身或者对所述第一模型进行了不高于预定次数的模型调整后所得的模型等。从而，在服务器的全局模型中维护的所述至少一个待调整模型为多个模型的情况下，可基于预定方式，确定所述多个模型中是否存在与第一终端设备最近一次从服务器下载的第一模型相关联的模型，若存在，可将该相关联的模型作为与第一终端设备匹配的待调整模型，否则，则所述全局模型中不存在与第一终端设备相匹配的待调整模型。

第二调整单元903，用于若所述判断结果表示存在，则利用所述第一终端设备发送的模型调整信息调整所述待调整模型。

如果全局模型中存在与第一终端设备相匹配的待调整模型，则服务器可利用第一终端设备上传的模型调整信息，如特征权重梯度信息等，对所述待调整模型进行调整；否则，如果全局模型中不存在与第一终端设备相匹配的待调整模型，则丢弃第一终端设备上传的模型调整信息，不执行模型调整操作。

本实施例的服务器在利用多个终端设备进行模型的协同训练时，具体采用分布式弱一致性方式，首先由终端设备在设备端利用其自身终端数据进行模型的训练/调整，之后由服务器根据终端设备在训练/调整模型后所上传的模型调整信息同步更新服务器中的模型，从而既实现了利用终端数据进行模型训练，保证了模型效果，又无需终端设备上传其终端数据，保证了终端设备中用户数据的私密性。

在接下来的实施例十一中，提供所述判断单元902的一种可能的实现方式，本实施例中，所述服务器的全局模型中维护有多个模型(或称为一个模型的多个版本)，且所述服务器以全局模型版本树的形式管理所述全局模型中的各个模型，其中，全局模型版本树中的节点与全局模型中的模型一一对应，且全局模型版本树中的节点数量低于预定数量；则所述判断单元802具体用于：

判断所述全局模型版本树中是否存在所述第一终端设备最近一次从服务器获得第一模型时所述第一模型所在的第一节点，得到判断结果；若所述判断结果表示存在，则获得所述第一节点上存在的当前模型作为与所述第一终端设备相匹配的待调整模型；若所述判断结果表示不存在，则表示不存在所述待调整模型。

本实施例中，在采用全局模型版本树进行全局模型的管理时，在初始利用多个终端设备进行模型的协同训练时，所述全局模型版本树为空，从而可为全局模型版本树建立一根节点，并初始化该根节点(如初始化为空等)，且对于参与模型协同训练的各个终端设备来说，在初始训练模型时，其可以基于终端数据，利用一预定算法(如预定的网络神经算法等)进行模型训练，并上传模型训练后所得的模型调整信息至服务器，相应地，服务器可基于该模型调整信息构建模型，并将该模型更新至所述根节点处，后续，可继续基于每个其他终端设备上传的模型调整信息不断调整该根节点对应的模型，且在利用每个其他终端设备上传的模型调整信息调整模型前，可首先判断该根节点处维护的模型从节点创建起是否达到预定的模型调整次数，若未达到，则利用该其他终端设备的模型调整信息调整根节点的模型，否则，若达到，则生成该根节点的子节点，并将利用该其他终端设备的模型调整信息调整根节点模型后所得的新模型维护至根节点的子节点处，而根节点处维护的模型则仍控制在达到所述调整次数时的模型快照，后续，通过迭代该过程，获得逐渐庞大的全局模型版本树。

需要说明的是，针对全局模型版本树，参与协同训练的各个终端设备具体可在每次上传模型调整数据后，再次从所述全局模型版本树管理的全局模型中获取一模型作为所述第一模型在设备端进行调整，其中，具体地，由于所述全局模型版本树中最新创建的节点处维护的模型的调整次数相对较多且模型实时性较高，鉴于此，可直接将所述全局模型版本树中最新生成的节点处维护的模型作为最优模型，供终端设备下载并在设备端利用终端数据进行调整。

实际应用中，在生成每个节点时，可为所生成的节点匹配设置一时间戳，从而在终端设备需从全局模型版本树中获取模型时，可直接获取时间戳最晚的节点处维护的模型作为最优模型即所述第一模型进行下载。

本实施例中，为控制全局模型版本树的规模，进而控制全局模型版本树中各模型的资源占用量，限定所述全局模型版本树中所维护的节点数量(模型数量)低于预定数量，因此，在全局模型版本树中的节点数量不断庞大的过程中，一旦所需生成的新节点会导致树中的节点数量达到数量上限，则会首先从所述全局模型版本树中删除时间戳最早的节点(该节点维护的模型一并删除)，以此使得将全局模型版本树中的节点数量控制在设定的数量上限内。

在此基础上，当第一终端设备基于其自身终端数据进一步训练/调整所述第一模型得到第二模型，并上传所述第二模型相比于所述第一模型的模型调整信息至服务器后，服务器可从所述全局模型版本树中确定是否存在与第一终端设备最近一次下载的第一模型相关联的模型，具体地，可通过从全局模型版本树中确定第一终端设备最近一次下载模型时所对应的第一节点是否存在(可能存在或者也可能基于上文的节点数量控制策略被删除)，来确定是否存在所述相关联的模型，若存在，则可将该第一节点处维护的当前模型作为与第一终端设备最近一次下载的第一模型相关联的模型，进而可将该当前模型作为与第一终端设备相匹配的待调整模型，若不存在，则表示服务器的全局模型中不存在与第一终端设备相匹配的待调整模型。

若所述判断结果表示存在与所述第一终端设备相匹配的待调整模型，即所述全局模型版本树中第一终端设备最近一次下载模型时的第一节点未被删除，则可获得所述第一节点处维护的当前模型作为与第一终端设备相匹配的待调整模型，从而后续可由服务器利用第一终端设备上传的模型调整信息对该第一节点维护的当前模型进行调整，例如，利用第一终端设备上传的梯度信息，调整所述第一节点维护的当前模型的特征权重等。

否则，若所述判断结果表示不存在与第一终端设备相匹配的待调整模型，即所述全局模型版本树中第一终端设备最近一次下载模型时的第一节点已被删除，则相应地表示所述第一终端设备上传的模型调整信息为过期信息，如过期的梯度信息等，从而舍弃所述模型调整信息，不执行模型调整操作。

如前文所述，为了不影响用户正常使用终端设备，优选地会在终端设备的设备资源利用率较低，和/或，设备剩余电量较高/设备处于充电状态时，进行模型的进一步训练/调整，以及为了不产生额外的流量费用，会在设备处于免费网络或wifi等情况下进行梯度数据的上传，这必然会使得模型断续训练以及梯度数据的延迟上传，这种情况将会导致训练得到的梯度数据中的过期梯度比例极高，严重影响了模型训练，甚至无法得到有效模型。

本实施例通过采用全局模型版本树的上述管理机制维护多个不同版本的模型，并由终端设备每次下载最新时间戳节点处的模型进行进一步的模型训练/调整，以及仅在最近一次下载模型时的第一节点存在时，服务器才利用终端设备上传的梯度数据更新该第一节点的模型，而在该第一节点不存在时，舍弃该梯度信息，从而实现了对过期梯度进行有效滤除，进一步保证了模型效果。

参考图10，图10是本申请提供的一种服务器实施例十二的结构示意图，本实施例中，所述服务器，还可以包括：

子节点生成单元904，用于若所述第一节点自所述第一节点创建起所对应模型的模型调整次数达到预定次数，生成所述第一节点的子节点，并将利用所述模型调整信息调整所述第一节点的当前模型后所得的模型维护至所述第一节点的子节点处。

如前文所述，基于所述全局模型版本树的管理机制，在服务器利用多个终端设备进行模型的协同训练过程中，若某一节点的模型调整次数达到预定次数，会生成该节点的子节点，并将后续进行模型调整后所得的新模型维护至该节点的子节点处。鉴于此，当服务器从全局模型版本树中所述第一节点处获得其维护的当前模型，并利用第一终端设备上传的梯度信息对该当前模型进行调整后，需首先判断所述第一节点处维护的模型的调整次数是否达到预定次数，若达到，则生成所述第一节点的子节点，并将利用模型调整信息调整所述第一节点的当前模型后所得的新模型维护至所述第一节点的子节点处。

需要说明的是，根据前文所述的全局模型版本树的管理机制，由于需控制所述全局模型版本树中节点的数量低于预定数量，因此，当判断出所述第一节点自所述第一节点创建起所对应模型的模型调整次数达到预定次数，需生成该第一节点的子节点时，需首先判断所需生成的该子节点会不会导致所述全局模型版本树中的节点数量达到所述预定数量所表示的数量上限，鉴于此，如图11所示，所述服务器还包括：

节点删除单元905，用于在所述子节点生成单元生成所述第二节点的子节点之前，若所述全局模型版本树中节点的节点数量达到所述预定数量，则删除所述全局模型版本树中创建时间最早的节点。

具体地，如果所述第一节点的子节点的产生，会导致所述全局模型版本树中的节点数量达到数量上限，则可将所述全局模型版本树中时间戳最早的节点删除(其中该时间戳最早的节点对应维护的模型一并删除)，在此基础上，可为所述第一节点生成子节点，并将利用第一终端设备的模型调整信息调整所述第一节点的当前模型后所得的新模型维护至所述第一节点的子节点处，由于在生成所述第一节点的子节点前预先删除了一节点，从而所得的新全局模型版本树的节点数量仍维持在了设定的数量上限内。

参考图12，为本申请提供的一种模型处理系统实施例十三的结构示意图，如图12所示，所述模型处理系统包括多个如上文所述的第一终端设备1201，以及还包括如上文所述的服务器1202。

其中，所述第一终端设备可以是但不限于智能手机、平板电脑等智能终端，或笔记本电脑、台式机、一体机等计算机设备；所述服务器可以是云平台或AI平台等服务平台的服务器。

所述服务器可利用多个所述第一终端设备进行模型的协同训练，具体地采用分布式弱一致性方式，首先由第一终端设备在设备端利用其自身终端数据进行模型的训练/调整，之后由服务器根据第一终端设备在训练/调整模型后所上传的模型调整信息同步更新服务器中的模型，从而既实现了利用终端数据进行模型训练，保证了模型效果，又无需终端设备上传其终端数据，保证了终端设备中用户数据的私密性。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

为了描述的方便，描述以上系统或装置时以功能分为各种模块或单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例或者实施例的某些部分所述的方法。

最后，还需要说明的是，在本文中，诸如第一、第二、第三和第四等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种模型处理方法，其特征在于，应用于第一终端设备，所述方法包括：

从服务器获得第一模型，所述第一模型为服务器利用至少一个终端设备发送的模型调整信息所构建的模型；

利用所述第一终端设备的终端数据调整所述第一模型，得到第二模型；

确定所述第二模型相比于所述第一模型的模型调整信息；

发送所述第二模型相比于所述第一模型的模型调整信息至服务器，以使服务器基于接收的所述模型调整信息执行模型调整操作。

2.根据权利要求1所述的方法，其特征在于，所述从服务器获得第一模型，包括：

从服务器维护的全局模型中获得基于预定方式确定出的最优模型作为所述第一模型；

其中，所述全局模型包括：由多个终端设备利用各自终端数据协同训练的至少一个模型，且服务器维护的每个模型由服务器利用至少一个终端设备发送的模型调整信息构建。

3.根据权利要求1所述的方法，其特征在于，所述利用所述第一终端设备的终端数据调整所述第一模型，包括：

在所述第一终端设备符合第一预定条件时，利用所述第一终端设备的用户交互数据及对应于所述用户交互数据的标注信息，调整所述第一模型。

4.根据权利要求1所述的方法，其特征在于，所述确定所述第二模型相比于所述第一模型的模型调整信息，包括：

确定所述第二模型的特征权重相比于所述第一模型的特征权重的梯度信息；

相对应地，所述发送所述第二模型相比于所述第一模型的模型调整信息至服务器，包括：

在所述第一终端设备符合第二预定条件时，发送所述梯度信息至服务器。

5.一种模型处理方法，其特征在于，应用于服务器，所述方法包括：

获得第一终端设备发送的模型调整信息；

判断服务器维护的全局模型中是否存在与所述第一终端设备相匹配的待调整模型，得到判断结果；所述全局模型包括：由多个终端设备利用各自终端数据协同训练的至少一个模型，且服务器维护的每个模型由服务器利用至少一个终端设备发送的模型调整信息构建；

若所述判断结果表示存在，则利用所述第一终端设备发送的模型调整信息调整所述待调整模型。

6.根据权利要求5所述的方法，其特征在于，所述服务器以全局模型版本树的形式管理所述全局模型中的各个模型，其中，所述全局模型版本树中的节点与所述全局模型中的模型一一对应，且所述全局模型版本树中的节点数量低于预定数量；

则所述判断服务器维护的全局模型中是否存在与所述第一终端设备相匹配的待调整模型，包括：

判断所述全局模型版本树中是否存在所述第一终端设备最近一次从服务器获得第一模型时所述第一模型所在的第一节点，得到判断结果；

若所述判断结果表示存在，则获得所述第一节点上存在的当前模型作为与所述第一终端设备相匹配的待调整模型；若所述判断结果表示不存在，则表示不存在所述待调整模型。

7.根据权利要求6所述的方法，其特征在于，还包括：

若所述第一节点自所述第一节点创建起所对应模型的模型调整次数达到预定次数，生成所述第一节点的子节点，并将利用所述模型调整信息调整所述第一节点的当前模型后所得的模型维护至所述第一节点的子节点处。

8.一种第一终端设备，其特征在于，包括：

第一获取单元，用于从服务器获得第一模型，所述第一模型为服务器利用至少一个终端设备发送的模型调整信息所构建的模型；

第一调整单元，用于利用所述第一终端设备的终端数据调整所述第一模型，得到第二模型；

确定单元，用于确定所述第二模型相比于所述第一模型的模型调整信息；

发送单元，用于发送所述第二模型相比于所述第一模型的模型调整信息至服务器，以使服务器基于接收的所述模型调整信息执行模型调整操作。

9.一种服务器，其特征在于，包括：

第二获取单元，用于获得第一终端设备发送的模型调整信息；

判断单元，用于判断服务器维护的全局模型中是否存在与所述第一终端设备相匹配的待调整模型，得到判断结果；所述全局模型包括：由多个终端设备利用各自终端数据协同训练的至少一个模型，且服务器维护的每个模型由服务器利用至少一个终端设备发送的模型调整信息构建；

第二调整单元，用于在所述判断结果表示存在时，利用所述第一终端设备发送的模型调整信息调整所述待调整模型。

10.一种模型处理系统，其特征在于，包括：多个如权利要求8所述的第一终端设备，以及还包括如权利要求9所述的服务器。