CN112990473A - 一种模型训练方法、装置及系统 - Google Patents

Abstract

本申请实施例提供了一种模型训练方法、装置及系统，开发端获取指定任务的训练样本集，利用训练样本集，训练得到指定任务的任务模型，将训练样本集中的第一训练数据输入任务模型的浅层部分，得到数据特征，向客户端提供任务模型及数据特征，以使客户端利用数据特征及第二训练数据，对任务模型进行训练。开发端将训练好的任务模型提供给客户端，客户端利用数据特征和第二训练数据，对任务模型进行微调，保证了任务模型的性能；开发端给客户端提供的数据特征是将原始的第一训练数据输入任务模型的浅层部分进行特征提取得到，即使非法人员截取到该数据特征，也很难还原出原始的开发端的第一训练数据，避免了开发端的内部数据泄露。

Description

一种模型训练方法、装置及系统

技术领域

本申请涉及机器学习技术领域，特别是涉及一种模型训练方法、装置及系统。

背景技术

机器学习技术作为人工智能的核心，是使设备智能化的根本途径，其应用遍及人工智能的各个领域。通过部署在设备上的任务模型实现智能任务，智能任务主要包括目标检测与分割、行为检测与识别、语音识别等。

使用大量数据对任务模型进行训练以保证任务模型的性能。但是，一般情况下，客户端只会提供少量的数据，直接利用这些数据对设备的任务模型进行训练难以达到理想的性能。

为了保证任务模型的性能，在相关的模型训练方法中，设备开发端将设备开发阶段所使用的数据提供给客户端，利用设备开发端提供的数据以及客户端自身的数据，对设备的任务模型进行训练，能够提高任务模型的性能。然而，设备开发端在给客户端提供数据时，存在数据泄露的风险，如果上述提供的数据被第三方获知，会带来很大的损失。

发明内容

本申请实施例的目的在于提供一种模型训练方法、装置及系统，以实现既保证任务模型的性能，又避免开发端的内部数据泄露的目的。具体技术方案如下：

第一方面，本申请实施例提供了一种模型训练方法，应用于开发端，该方法包括：

获取指定任务对应的训练样本集；

利用训练样本集，训练得到指定任务对应的任务模型，其中，任务模型包括浅层部分及深层部分；

将第一训练数据输入任务模型的浅层部分，得到第一训练数据的数据特征，其中，第一训练数据为训练样本集中的训练样本；

向客户端提供任务模型及第一训练数据的数据特征，以使客户端利用第一训练数据的数据特征及第二训练数据，对任务模型进行训练。

可选的，在将第一训练数据输入任务模型的浅层部分，得到第一训练数据的数据特征的步骤之后，该方法还包括：

对第一训练数据的数据特征进行编码；

向客户端提供任务模型及第一训练数据的数据特征的步骤，包括：

向客户端提供任务模型及编码后的第一训练数据的数据特征。

可选的，在对第一训练数据的数据特征进行编码的步骤之前，该方法还包括：

将训练样本集中的样本数据输入任务模型的浅层部分，得到训练样本集中样本数据的数据特征；

利用训练样本集中样本数据的数据特征，训练得到编解码模型；

对第一训练数据的数据特征进行编码的步骤，包括：

将第一训练数据的数据特征输入编解码模型，得到编码后的第一训练数据的数据特征；

该方法还包括：

向客户端提供编解码模型。

可选的，第二训练数据为：客户端通过采集存储在本地的数据，或者，客户端从私有网络中下载到本地的数据。

第二方面，本申请实施例提供了一种模型训练方法，应用于客户端，该方法包括：

获取第二训练数据以及开发端提供的任务模型和隐私数据，其中，隐私数据包括数据特征，任务模型包括浅层部分及深层部分；

将第二训练数据输入任务模型的浅层部分，得到第二训练数据的数据特征；

利用开发端提供的数据特征及第二训练数据的数据特征，对任务模型的深层部分进行训练，得到训练后的任务模型。

可选的，开发端提供的数据特征为编码后的数据特征；

利用开发端提供的数据特征及第二训练数据的数据特征，对任务模型的深层部分进行训练，得到训练后的任务模型的步骤，包括：

对开发端提供的数据特征进行解码，得到解码后的数据特征；

利用解码后的数据特征及第二训练数据的数据特征，对任务模型的深层部分进行训练，得到训练后的任务模型。

可选的，隐私数据还包括编解码模型；

对开发端提供的数据特征进行解码，得到解码后的数据特征的步骤，包括：

将开发端提供的数据特征输入编解码模型，得到解码后的数据特征。

可选的，第二训练数据为：客户端通过采集存储在本地的数据，或者，客户端从私有网络中下载到本地的数据。

第三方面，本申请实施例提供了一种模型训练装置，应用于开发端，该装置包括：

获取模块，用于获取指定任务对应的训练样本集；

训练模块，用于利用训练样本集，训练得到指定任务对应的任务模型，其中，任务模型包括浅层部分及深层部分；

特征提取模块，用于将第一训练数据输入任务模型的浅层部分，得到第一训练数据的数据特征，其中，第一训练数据为训练样本集中的训练样本；

输出模块，用于向客户端提供任务模型及第一训练数据的数据特征，以使客户端利用第一训练数据的数据特征及第二训练数据，对任务模型进行训练。

可选的，该装置还包括：

编码模块，用于对第一训练数据的数据特征进行编码；

输出模块，具体用于：

向客户端提供任务模型及编码后的第一训练数据的数据特征。

可选的，训练模块，还用于：

将训练样本集中的样本数据输入任务模型的浅层部分，得到训练样本集中样本数据的数据特征；

利用训练样本集中样本数据的数据特征，训练得到编解码模型；

编码模块，具体用于：

将第一训练数据的数据特征输入编解码模型，得到编码后的第一训练数据的数据特征；

输出模块，还用于：

向客户端提供编解码模型。

可选的，第二训练数据为：客户端通过采集存储在本地的数据，或者，客户端从私有网络中下载到本地的数据。

第四方面，本申请实施例提供了一种模型训练装置，应用于客户端，该装置包括：

获取模块，用于获取第二训练数据以及开发端提供的任务模型和隐私数据，其中，隐私数据包括数据特征，任务模型包括浅层部分及深层部分；

特征提取模块，用于将第二训练数据输入任务模型的浅层部分，得到第二训练数据的数据特征；

训练模块，用于利用开发端提供的数据特征及第二训练数据的数据特征，对任务模型的深层部分进行训练，得到训练后的任务模型。

可选的，开发端提供的数据特征为编码后的数据特征；

特征提取模块，具体用于：

对开发端提供的数据特征进行解码，得到解码后的数据特征；

利用解码后的数据特征及第二训练数据的数据特征，对任务模型的深层部分进行训练，得到训练后的任务模型。

可选的，隐私数据还包括编解码模型；

特征提取模块，具体用于：

将开发端提供的数据特征输入编解码模型，得到解码后的数据特征。

可选的，第二训练数据为：客户端通过采集存储在本地的数据，或者，客户端从私有网络中下载到本地的数据。

第五方面，本申请实施例提供了一种模型训练系统，该系统包括开发端及客户端；

开发端，用于获取指定任务对应的训练样本集；利用训练样本集，训练得到指定任务对应的任务模型，其中，任务模型包括浅层部分及深层部分；将第一训练数据输入任务模型的浅层部分，得到第一训练数据的数据特征，其中，第一训练数据为训练样本集中的训练样本；向客户端提供任务模型及第一训练数据的数据特征；

客户端，用于获取第二训练数据以及开发端提供的任务模型和第一训练数据的数据特征；将第二训练数据输入任务模型的浅层部分，得到第二训练数据的数据特征；利用第一训练数据的数据特征及第二训练数据的数据特征，对任务模型的深层部分进行训练，得到训练后的任务模型。

本申请实施例提供的一种模型训练方法、装置及系统，开发端获取指定任务对应的训练样本集，利用训练样本集，训练得到指定任务对应的任务模型，将训练样本集中的第一训练数据输入任务模型的浅层部分，得到第一训练数据的数据特征，向客户端提供任务模型及第一训练数据的数据特征，以使所述客户端利用第一训练数据的数据特征及第二训练数据，对任务模型进行训练。开发端将训练好的任务模型提供给客户端，客户端利用第一训练数据的数据特征和第二训练数据，对任务模型进行微调，保证了任务模型的性能；并且，开发端给客户端提供的数据为第一训练数据的数据特征，数据特征并非原始的第一训练数据，而是将原始的第一训练数据输入任务模型的浅层部分进行特征提取得到，即使非法人员截取到数据特征，也很难还原出原始的开发端内部的第一训练数据。因此，实现了既保证任务模型的性能，又避免开发端的内部数据泄露的目的。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请一实施例的应用于开发端的模型训练方法的流程示意图；

图2为本申请实施例的任务模型的模型结构示意图；

图3为本申请另一实施例的应用于开发端的模型训练方法的流程示意图；

图4为本申请实施例的对第一训练数据的数据特征进行编码的流程示意图；

图5为本申请实施例的应用于客户端的模型训练方法的流程示意图；

图6为本申请实施例的客户端进行任务模型训练的流程示意图；

图7为本申请实施例的应用于开发端的模型训练装置的结构示意图；

图8为本申请实施例的应用于客户端的模型训练装置的结构示意图；

图9为本申请实施例的开发端设备的结构示意图；

图10为本申请实施例的客户端设备的结构示意图；

图11为本申请实施例的模型训练系统的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

为了实现既保证任务模型的性能，又避免开发端的内部数据泄露的目的，本申请实施例提供了一种模型训练方法、装置及系统。下面，首先对本申请实施例所提供的模型训练方法进行介绍。

在本申请实施例的一种实现方式中，模型训练方法的执行主体为开发端，这里的开发端一般是指设备生产商的服务器、模型开发设备等，设备生产商是指摄像机、录像机、手机等生产商。实现本申请实施例所提供的模型训练方法的方式可以为设置于执行主体中的软件、硬件电路和逻辑电路的至少一种方式。

如图1所示，为本申请实施例所提供的模型训练方法，应用于开发端，该方法可以包括如下步骤。

S101，获取指定任务对应的训练样本集。

S102，利用训练样本集，训练得到指定任务对应的任务模型，其中，任务模型包括浅层部分及深层部分。

S103，将第一训练数据输入任务模型的浅层部分，得到第一训练数据的数据特征，其中，第一训练数据为训练样本集中的训练样本。

S104，向客户端提供任务模型及第一训练数据的数据特征，以使客户端利用第一训练数据的数据特征及第二训练数据，对任务模型进行训练。

应用本申请实施例，开发端获取指定任务对应的训练样本集，利用训练样本集，训练得到指定任务对应的任务模型，将训练样本集中的第一训练数据输入任务模型的浅层部分，得到第一训练数据的数据特征，向客户端提供任务模型及第一训练数据的数据特征，以使所述客户端利用第一训练数据的数据特征及第二训练数据，对任务模型进行训练。开发端将训练好的任务模型提供给客户端，客户端利用第一训练数据的数据特征和第二训练数据，对任务模型进行微调，保证了任务模型的性能；并且，开发端给客户端提供的数据为第一训练数据的数据特征，数据特征并非原始的第一训练数据，而是将原始的第一训练数据输入任务模型的浅层部分进行特征提取得到，即使非法人员截取到数据特征，也很难还原出原始的开发端内部的第一训练数据。因此，实现了既保证任务模型的性能，又避免开发端的内部数据泄露的目的。

设备开发端一般会针对不同的任务收集大量的样本数据，大量的样本数据组成训练样本集，例如摄像设备的开发端针对行人识别任务会收集大量的行人监控录像数据组成行人训练样本集，针对车辆检测任务会收集大量的车辆监控录像数据组成车辆训练样本集。

将样本数据输入到预设模型(例如多层卷积神经网络模型)中，利用BP(BackPropagation，反向传播)算法或者其他模型训练算法，对样本数据进行运算，将运算结果和设置的标称值进行比较，基于比较结果，对预设模型的模型参数进行调整。通过将不同的样本数据依次输入预设模型，迭代执行上述步骤，对模型参数不断地进行调整，预设模型的输出会越来越逼近于标称值，直至预设模型的输出与标称值的差异足够小，或者预设模型的输出收敛时，则认为对模型完成训练，得到最终的指定任务对应的任务模型。

任务模型的模型结构如图2所示，包括浅层部分和深层部分，浅层部分具有特征提取的功能，输入任务模型的第一训练数据经过浅层部分可以提取出中间层特征，再经过深层部分输出最终的输出结果。为了保证后续客户端对任务模型进行训练时任务模型的性能，可以将第一训练数据输入任务模型的浅层部分，得到第一训练数据的数据特征(即图2中的中间层特征)，再将第一训练数据的数据特征和训练后的任务模型提供给客户端。第一训练数据可以是训练样本集中的全部训练样本，也可以是部分训练样本。

客户端在进行任务模型训练时，固定任务模型浅层部分的模型参数，先将第二训练数据输入任务模型的浅层部分，由浅层部分提取出第二训练数据的数据特征，再将开发端提供的第一训练数据的数据特征和第二训练数据的数据特征一同作为任务模型的深层部分的输入，对深度部分进行训练，微调深度部分的模型参数。

第二训练数据为客户端本地的数据，具体可以是客户端通过采集存储在本地的数据，或者，客户端从局域网、云盘等私有网络中下载到本地的数据。

通过本方案，既保证了内部数据的隐私性、不易被泄露，又利用开发端进行设备开发时的第一训练数据的数据特征和第二训练数据的数据特征对任务模型深度部分的模型参数进行调整，保证了任务模型的性能，同时，只需要对任务模型深度部分的模型参数进行调整，提高了任务模型训练的效率。并且，第一训练数据的特征数据是原始的第一训练数据特征提取后的数据，数据量小于原始的第一训练数据，降低了开发端向客户端提供数据时的存储压力。

基于图1所示实施例，本申请实施例还提供了一种应用于开发端的模型训练方法，如图3所示，该方法可以包括如下步骤。

S301，获取指定任务对应的训练样本集。

S302，利用训练样本集，训练得到指定任务对应的任务模型，其中，任务模型包括浅层部分及深层部分。

S303，将第一训练数据输入任务模型的浅层部分，得到第一训练数据的数据特征，其中，第一训练数据为训练样本集中的训练样本。

S304，对第一训练数据的数据特征进行编码。

S305，向客户端提供任务模型及编码后的第一训练数据的数据特征，以使客户端利用编码后的第一训练数据的数据特征及第二训练数据，对任务模型进行训练。

为了进一步提高数据的隐私性、降低泄漏的可能性，在经过任务模型的浅层部分得到第一训练数据的数据特征后，还可以对第一训练数据的数据特征进行编码，具体编码的方式可以采用传统的数据编码方式，例如对数据特征进行哈希处理、利用编解码模型(神经网络模型)对数据特征进行进一步的特征提取等。这样，在给客户端提供数据时，具体提供的是任务模型和编码后的第一训练数据的数据特征，必要时，还需要将编码所采用的具体编解码算法提供给客户端，以便客户端利用该编解码算法对编码后的数据特征进行解码，当然，客户端和开发端也可以预先约定好数据编解码方式，开发端按照约定好的编解码方式进行数据编码，客户端按照约定好的编解码方式进行数据解码。

可选的，在执行S304之前，该方法还可以包括如下步骤：

将训练样本集中的样本数据输入任务模型的浅层部分，得到训练样本集中样本数据的数据特征；利用训练样本集中样本数据的数据特征，训练得到编解码模型。

相应的，S304具体可以为：将第一训练数据的数据特征输入编解码模型，得到编码后的第一训练数据的数据特征。则开发端在向客户端提供数据时，还需要向客户端提供编解码模型。

如图4所示，对第一训练数据的数据特征(中间层特征)进行编码的方式，具体可以为将第一训练数据的数据特征输入编解码模型，由编解码模型对第一训练数据的数据特征进一步进行特征提取，得到编码后的第一训练数据的数据特征(编码数据)。开发端向客户端提供的受保护的隐私数据包括编解码模型和编码后的第一训练数据的数据特征。具体的，编解码模型是利用训练样本集中的样本数据输入任务模型的浅层部分后得到的训练样本集中样本数据的数据特征训练得到。

在本申请实施例的另一种实现方式中，模型训练方法的执行主体为客户端，这里的客户端一般是指具体的应用设备，例如摄像机、录像机、手机等。实现本申请实施例所提供的模型训练方法的方式可以为设置于执行主体中的软件、硬件电路和逻辑电路的至少一种方式。

如图5所示，为本申请实施例所提供的模型训练方法，应用于客户端，该方法可以包括如下步骤。

S501，获取第二训练数据以及开发端提供的任务模型和隐私数据，其中，隐私数据包括数据特征，任务模型包括浅层部分及深层部分。

S502，将第二训练数据输入任务模型的浅层部分，得到第二训练数据的数据特征。

S503，利用开发端提供的数据特征及第二训练数据的数据特征，对任务模型的深层部分进行训练，得到训练后的任务模型。

可选的，第二训练数据可以为：客户端通过采集存储在本地的数据，或者，客户端从私有网络中下载到本地的数据。

客户端获取到开发端提供的任务模型和包括数据特征的隐私数据后，利用开发端提供的数据特征和第二训练数据对任务模型进行训练，训练过程中固定任务模型浅层部分的模型参数，将第二训练数据输入任务模型的浅层部分，由浅层部分提取出第二训练数据的数据特征，再将开发端提供的第一训练数据的数据特征和第二训练数据的数据特征一同作为任务模型的深层部分的输入，对深度部分进行训练，微调深度部分的模型参数。

具体的训练过程为：将数据特征输入到深层部分中，利用BP算法或者其他模型训练算法，对数据特征进行运算，将运算结果和设置的标称值进行比较，基于比较结果，对深度部分的模型参数进行调整。通过将第一训练数据的数据特征和第二训练数据的数据特征中不同的数据特征依次输入深度部分，迭代执行上述步骤，对模型参数不断地进行微调，深度部分的输出会越来越逼近于标称值，直至深度部分的输出与标称值的差异足够小，或者深度部分的输出收敛时，则认为对深度部分完成训练，得到最终的任务模型。

通过本方案，既保证了开发端的内部数据的隐私性、不易被泄露，又利用开发端进行设备开发时的第一训练数据的数据特征和第二训练数据的数据特征对任务模型深度部分的模型参数进行调整，保证了任务模型的性能，同时，只需要对任务模型深度部分的模型参数进行调整，提高了任务模型训练的效率。

可选的，开发端提供的数据特征为编码后的数据特征。

相应的，S503具体可以为：对开发端提供的数据特征进行解码，得到解码后的数据特征；利用解码后的数据特征及第二训练数据的数据特征，对任务模型的深层部分进行训练，得到训练后的任务模型。

开发端所提供的数据特征可能为编码后的数据特征，客户端和开发端可以预先约定好数据编解码方式，或者开发端告知客户端数据编解码方式，客户端则可以按照已知的编解码方式对开发端提供的数据特征进行解码，解码得到实际的第一训练数据的数据特征。利用解码后得到的第一训练数据的数据特征和第二训练数据的数据特征对任务模型的深度部分进行训练，即可得到最终的任务模型。

可选的，隐私数据还包括编解码模型。则对开发端提供的数据特征进行解码，得到解码后的数据特征的步骤，具体可以为：将开发端提供的数据特征输入编解码模型，得到解码后的数据特征。

开发端所提供的编码后的特征数据可以是开发端通过编解码模型进行压缩编码得到的，开发端在向客户端提供数据时，还会将编解码模型作为隐私数据提供给客户端，客户端在获取到开发端提供的编解码模型和数据特征后，可以将数据特征输入编解码模型，经过编解码模型的逆运算，对数据特征进行解码，得到解码后的数据特征(即第一训练数据的数据特征)。

在本实施例下，客户端进行任务模型训练的过程如图6所示，客户端获取到第二训练数据和开发端提供的编码数据、编解码模型，将编码数据输入编解码模型得到隐私数据中间层特征(即开发端的第一训练数据的数据特征，也称为基础特征)，将第二训练数据输入任务模型的浅层部分得到本地数据中间层特征(即客户端的第二训练数据的数据特征，也称为增量特征)，将隐私数据中间层特征和本地数据中间层特征混合在一起(称为总特征)。用总特征训练更新任务模型的深层部分的模型参数，以获得满足要求的性能。

为了便于理解，下面结合具体实例对本申请实施例所提供的模型训练方法进行介绍。

对于实际的行人检测任务而言，训练检测模型用的监控录像数据是隐私数据，开发端在选定好基础检测模型后(如多层卷积神经网络)，首先用收集的监控录像数据训练基础检测模型获得模型参数，然后固定该模型的浅层部分的模型参数，并且用该模型的浅层部分对所有监控录像数据进行前向计算获得这些监控录像数据的数据特征。然后训练一个编解码模型，对监控录像数据的数据特征进行压缩编码，获得编码数据。这些编码数据可以通过训练好的编解码模型恢复出监控录像数据的数据特征。这些编码数据和训练好的基础检测模型以及编解码模型会被带去检测算法部署现场，提供给客户端，没有数据泄露风险。

客户端将本地的行人监控数据输入到基础检测模型的浅层部分得到本地行人监控数据的数据特征，然后将编码数据通过编解码模型恢复出的监控录像数据的数据特征和本地行人监控数据的数据特征混合在一起用于微调基础检测模型的深层部分，最后将原来的浅层部分的模型参数(已固定不做调整)和调整后的深度部分的模型参数合并作为现场部署的检测模型的模型参数。

相应于上述应用于开发端的模型训练方法实施例，本申请实施例提供了一种模型训练装置，应用于开发端，如图7所示，该装置可以包括：

获取模块710，用于获取指定任务对应的训练样本集；

训练模块720，用于利用训练样本集，训练得到指定任务对应的任务模型，其中，任务模型包括浅层部分及深层部分；

特征提取模块730，用于将第一训练数据输入任务模型的浅层部分，得到第一训练数据的数据特征，其中，第一训练数据为训练样本集中的训练样本；

输出模块740，用于向客户端提供任务模型及第一训练数据的数据特征，以使客户端利用第一训练数据的数据特征及第二训练数据，对任务模型进行训练。

可选的，该装置还可以包括：

编码模块，用于对第一训练数据的数据特征进行编码；

输出模块740，具体可以用于：向客户端提供任务模型及编码后的第一训练数据的数据特征。

可选的，训练模块720，还可以用于：

将训练样本集中的样本数据输入任务模型的浅层部分，得到训练样本集中样本数据的数据特征；

利用训练样本集中样本数据的数据特征，训练得到编解码模型；

编码模块，具体可以用于：将第一训练数据的数据特征输入编解码模型，得到编码后的第一训练数据的数据特征；

输出模块740，还可以用于：向客户端提供编解码模型。

可选的，第二训练数据可以为：客户端通过采集存储在本地的数据，或者，客户端从私有网络中下载到本地的数据。例如客户端通过摄像头、雷达等传感器采集到图片，作为第二训练数据，又例如，客户端通过麦克风采集音频数据，作为第二训练数据。又例如，客户端从局域网下载图片和/或音频，作为第二训练数据。

应用本申请实施例，开发端获取指定任务对应的训练样本集，利用训练样本集，训练得到指定任务对应的任务模型，将训练样本集中的第一训练数据输入任务模型的浅层部分，得到第一训练数据的数据特征，向客户端提供任务模型及第一训练数据的数据特征，以使所述客户端利用第一训练数据的数据特征及第二训练数据，对任务模型进行训练。开发端将训练好的任务模型提供给客户端，客户端利用第一训练数据的数据特征和第二训练数据，对任务模型进行微调，保证了任务模型的性能；并且，开发端给客户端提供的数据为第一训练数据的数据特征，数据特征并非原始的第一训练数据，而是将原始的第一训练数据输入任务模型的浅层部分进行特征提取得到，即使非法人员截取到数据特征，也很难还原出原始的开发端内部的第一训练数据。因此，实现了既保证任务模型的性能，又避免开发端的内部数据泄露的目的。

相应于上述应用于客户端的模型训练方法实施例，本申请实施例提供了一种模型训练装置，应用于客户端，如图8所示，该装置可以包括：

获取模块810，用于获取第二训练数据以及开发端提供的任务模型和隐私数据，其中，隐私数据包括数据特征，任务模型包括浅层部分及深层部分；

特征提取模块820，用于将第二训练数据输入任务模型的浅层部分，得到第二训练数据的数据特征；

训练模块830，用于利用开发端提供的数据特征及第二训练数据的数据特征，对任务模型的深层部分进行训练，得到训练后的任务模型。

可选的，开发端提供的数据特征为编码后的数据特征；

特征提取模块820，具体可以用于：

对开发端提供的数据特征进行解码，得到解码后的数据特征；

利用解码后的数据特征及第二训练数据的数据特征，对任务模型的深层部分进行训练，得到训练后的任务模型。

可选的，隐私数据还可以包括编解码模型；

特征提取模块820，具体可以用于：将开发端提供的数据特征输入编解码模型，得到解码后的数据特征。

可选的，第二训练数据可以为：客户端通过采集存储在本地的数据，或者，客户端从私有网络中下载到本地的数据。例如客户端通过摄像头、雷达等传感器采集图片，作为第二训练数据，又例如，客户端通过麦克风采集音频数据，作为第二训练数据。又例如，客户端从局域网下载图片和/或音频，作为第二训练数据。

应用本申请实施例，客户端获取到开发端提供的任务模型和包括数据特征的隐私数据后，利用开发端提供的数据特征和第二训练数据对任务模型进行训练，训练过程中固定任务模型浅层部分的模型参数，将第二训练数据输入任务模型的浅层部分，由浅层部分提取出第二训练数据的数据特征，再将开发端提供的第一训练数据的数据特征和第二训练数据的数据特征一同作为任务模型的深层部分的输入，对深度部分进行训练，微调深度部分的模型参数。通过本方案，既保证了开发端的内部数据的隐私性、不易被泄露，又利用开发端进行设备开发时的第一训练数据的数据特征和第二训练数据的数据特征对任务模型深度部分的模型参数进行调整，保证了任务模型的性能，同时，只需要对任务模型深度部分的模型参数进行调整，提高了任务模型训练的效率。

本申请实施例提供了一种开发端设备，如图9所示，可以包括处理器901和机器可读存储介质902，机器可读存储介质902存储有能够被处理器901执行的机器可执行指令，处理器901被机器可执行指令促使：实现如上述应用于开发端的模型训练方法的所有步骤。

本申请实施例提供了一种客户端设备，如图10所示，可以包括处理器1001和机器可读存储介质1002，机器可读存储介质1002存储有能够被处理器1001执行的机器可执行指令，处理器1001被机器可执行指令促使：实现如上述应用于客户端的模型训练方法的所有步骤。

上述机器可读存储介质可以包括RAM(Random Access Memory，随机存取存储器)，也可以包括NVM(Non-Volatile Memory，非易失性存储器)，例如至少一个磁盘存储器。可选的，机器可读存储介质还可以是至少一个位于远离上述处理器的存储装置。

上述处理器可以是通用处理器，包括CPU(Central Processing Unit，中央处理器)、NP(Network Processor，网络处理器)等；还可以是DSP(Digital Signal Processing，数字信号处理器)、ASIC(Application Specific Integrated Circuit，专用集成电路)、FPGA(Field-Programmable Gate Array，现场可编程门阵列)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

机器可读存储介质902与处理器901之间可以通过有线连接或者无线连接的方式进行数据传输，并且开发端设备可以通过有线通信接口或者无线通信接口与其他的设备进行通信。图9所示的仅为处理器901与机器可读存储介质902之间通过总线进行数据传输的示例，不作为具体连接方式的限定。

机器可读存储介质1002与处理器1001之间可以通过有线连接或者无线连接的方式进行数据传输，并且客户端设备可以通过有线通信接口或者无线通信接口与其他的设备进行通信。图10所示的仅为处理器1001与机器可读存储介质1002之间通过总线进行数据传输的示例，不作为具体连接方式的限定。

本实施例中，开发端获取指定任务对应的训练样本集，利用训练样本集，训练得到指定任务对应的任务模型，将训练样本集中的第一训练数据输入任务模型的浅层部分，得到第一训练数据的数据特征，向客户端提供任务模型及第一训练数据的数据特征。客户端获取到开发端提供的任务模型和包括数据特征的隐私数据后，利用开发端提供的数据特征和第二训练数据对任务模型进行训练，训练过程中固定任务模型浅层部分的模型参数，将第二训练数据输入任务模型的浅层部分，由浅层部分提取出第二训练数据的数据特征，再将开发端提供的第一训练数据的数据特征和第二训练数据的数据特征一同作为任务模型的深层部分的输入，对深度部分进行训练，微调深度部分的模型参数。开发端将训练好的任务模型提供给客户端，客户端利用第一训练数据的数据特征和第二训练数据，对任务模型进行微调，保证了任务模型的性能；并且，开发端给客户端提供的数据为第一训练数据的数据特征，数据特征并非原始的第一训练数据，而是将原始的第一训练数据输入任务模型的浅层部分进行特征提取得到，即使非法人员截取到数据特征，也很难还原出原始的开发端内部的第一训练数据。因此，实现了既保证任务模型的性能，又避免开发端的内部数据泄露的目的。

本申请实施例还提供了一种机器可读存储介质，存储有机器可执行指令，在被处理器调用和执行时，实现如上述应用于开发端的模型训练方法的所有步骤。

本申请实施例还提供了一种机器可读存储介质，存储有机器可执行指令，在被处理器调用和执行时，实现如上述应用于客户端的模型训练方法的所有步骤。

本实施例中，开发端获取指定任务对应的训练样本集，利用训练样本集，训练得到指定任务对应的任务模型，将训练样本集中的第一训练数据输入任务模型的浅层部分，得到第一训练数据的数据特征，向客户端提供任务模型及第一训练数据的数据特征。客户端获取到开发端提供的任务模型和包括数据特征的隐私数据后，利用开发端提供的数据特征和第二训练数据对任务模型进行训练，训练过程中固定任务模型浅层部分的模型参数，将第二训练数据输入任务模型的浅层部分，由浅层部分提取出第二训练数据的数据特征，再将开发端提供的第一训练数据的数据特征和第二训练数据的数据特征一同作为任务模型的深层部分的输入，对深度部分进行训练，微调深度部分的模型参数。开发端将训练好的任务模型提供给客户端，客户端利用第一训练数据的数据特征和第二训练数据，对任务模型进行微调，保证了任务模型的性能；并且，开发端给客户端提供的数据为第一训练数据的数据特征，数据特征并非原始的第一训练数据，而是将原始的第一训练数据输入任务模型的浅层部分进行特征提取得到，即使非法人员截取到数据特征，也很难还原出原始的开发端内部的第一训练数据。因此，实现了既保证任务模型的性能，又避免开发端的内部数据泄露的目的。

本申请实施例还提供了一种模型训练系统，如图11所示，该系统包括开发端1101及客户端1102；

开发端1101，用于获取指定任务对应的训练样本集；利用训练样本集，训练得到指定任务对应的任务模型，其中，任务模型包括浅层部分及深层部分；将第一训练数据输入任务模型的浅层部分，得到第一训练数据的数据特征，其中，第一训练数据为训练样本集中的训练样本；向客户端1102提供任务模型及第一训练数据的数据特征；

客户端1102，用于获取第二训练数据以及开发端1101提供的任务模型和第一训练数据的数据特征；将第二训练数据输入任务模型的浅层部分，得到第二训练数据的数据特征；利用第一训练数据的数据特征及第二训练数据的数据特征，对任务模型的深层部分进行训练，得到训练后的任务模型。

本实施例中，开发端获取指定任务对应的训练样本集，利用训练样本集，训练得到指定任务对应的任务模型，将训练样本集中的第一训练数据输入任务模型的浅层部分，得到第一训练数据的数据特征，向客户端提供任务模型及第一训练数据的数据特征。客户端获取到开发端提供的任务模型和第一训练数据的数据特征后，利用开发端提供的数据特征和第二训练数据对任务模型进行训练，训练过程中固定任务模型浅层部分的模型参数，将第二训练数据输入任务模型的浅层部分，由浅层部分提取出第二训练数据的数据特征，再将第一训练数据的数据特征和第二训练数据的数据特征一同作为任务模型的深层部分的输入，对深度部分进行训练，微调深度部分的模型参数。开发端将训练好的任务模型提供给客户端，客户端利用第一训练数据的数据特征和第二训练数据，对任务模型进行微调，保证了任务模型的性能；并且，开发端给客户端提供的数据为第一训练数据的数据特征，数据特征并非原始的第一训练数据，而是将原始的第一训练数据输入任务模型的浅层部分进行特征提取得到，即使非法人员截取到数据特征，也很难还原出原始的开发端内部的第一训练数据。因此，实现了既保证任务模型的性能，又避免开发端的内部数据泄露的目的。

对于开发端设备、客户端设备、机器可读存储介质及模型训练系统实施例而言，由于其所涉及的方法内容基本相似于前述的方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、开发端设备、客户端设备、机器可读存储介质及模型训练系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本申请的较佳实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本申请的保护范围内。

Claims (17)

1.一种模型训练方法，其特征在于，应用于开发端，所述方法包括：

获取指定任务对应的训练样本集；

利用所述训练样本集，训练得到所述指定任务对应的任务模型，所述任务模型包括浅层部分及深层部分；

将第一训练数据输入所述任务模型的浅层部分，得到所述第一训练数据的数据特征，所述第一训练数据为所述训练样本集中的训练样本；

向客户端提供所述任务模型及所述第一训练数据的数据特征，以使所述客户端利用所述第一训练数据的数据特征及第二训练数据，对所述任务模型进行训练。

2.根据权利要求1所述的方法，其特征在于，在所述将第一训练数据输入所述任务模型的浅层部分，得到所述第一训练数据的数据特征之后，所述方法还包括：

对所述第一训练数据的数据特征进行编码；

所述向客户端提供所述任务模型及所述第一训练数据的数据特征，包括：

向客户端提供所述任务模型及编码后的所述第一训练数据的数据特征。

3.根据权利要求2所述的方法，其特征在于，在所述对所述第一训练数据的数据特征进行编码之前，所述方法还包括：

将所述训练样本集中的样本数据输入所述任务模型的浅层部分，得到所述训练样本集中样本数据的数据特征；

利用所述训练样本集中样本数据的数据特征，训练得到编解码模型；

所述对所述第一训练数据的数据特征进行编码，包括：

将所述第一训练数据的数据特征输入所述编解码模型，得到编码后的所述第一训练数据的数据特征；

所述方法还包括：

向所述客户端提供所述编解码模型。

4.根据权利要求1所述的方法，其特征在于，所述第二训练数据为：所述客户端通过采集存储在本地的数据，或者，所述客户端从私有网络中下载到本地的数据。

5.一种模型训练方法，其特征在于，应用于客户端，所述方法包括：

获取第二训练数据以及开发端提供的任务模型和隐私数据，所述隐私数据包括数据特征，所述任务模型包括浅层部分及深层部分；

将所述第二训练数据输入所述任务模型的浅层部分，得到所述第二训练数据的数据特征；

利用所述开发端提供的数据特征及所述第二训练数据的数据特征，对所述任务模型的深层部分进行训练，得到训练后的所述任务模型。

6.根据权利要求5所述的方法，其特征在于，所述开发端提供的数据特征为编码后的数据特征；

所述利用所述开发端提供的数据特征及所述第二训练数据的数据特征，对所述任务模型的深层部分进行训练，得到训练后的所述任务模型，包括：

对所述开发端提供的数据特征进行解码，得到解码后的数据特征；

利用所述解码后的数据特征及所述第二训练数据的数据特征，对所述任务模型的深层部分进行训练，得到训练后的所述任务模型。

7.根据权利要求6所述的方法，其特征在于，所述隐私数据还包括编解码模型；

所述对所述开发端提供的数据特征进行解码，得到解码后的数据特征，包括：

将所述开发端提供的数据特征输入所述编解码模型，得到解码后的数据特征。

8.根据权利要求5所述的方法，其特征在于，所述第二训练数据为：所述客户端通过采集存储在本地的数据，或者，所述客户端从私有网络中下载到本地的数据。

9.一种模型训练装置，其特征在于，应用于开发端，所述装置包括：

获取模块，用于获取指定任务对应的训练样本集；

训练模块，用于利用所述训练样本集，训练得到所述指定任务对应的任务模型，所述任务模型包括浅层部分及深层部分；

特征提取模块，用于将第一训练数据输入所述任务模型的浅层部分，得到所述第一训练数据的数据特征，所述第一训练数据为所述训练样本集中的训练样本；

输出模块，用于向客户端提供所述任务模型及所述第一训练数据的数据特征，以使所述客户端利用所述第一训练数据的数据特征及第二训练数据，对所述任务模型进行训练。

10.根据权利要求9所述的装置，其特征在于，所述装置还包括：

编码模块，用于对所述第一训练数据的数据特征进行编码；

所述输出模块，具体用于：

向客户端提供所述任务模型及编码后的所述第一训练数据的数据特征。

11.根据权利要求10所述的装置，其特征在于，所述训练模块，还用于：

将所述训练样本集中的样本数据输入所述任务模型的浅层部分，得到所述训练样本集中样本数据的数据特征；

利用所述训练样本集中样本数据的数据特征，训练得到编解码模型；

所述编码模块，具体用于：

将所述第一训练数据的数据特征输入所述编解码模型，得到编码后的所述第一训练数据的数据特征；

所述输出模块，还用于：

向所述客户端提供所述编解码模型。

12.根据权利要求9所述的装置，其特征在于，所述第二训练数据为：所述客户端通过采集存储在本地的数据，或者，所述客户端从私有网络中下载到本地的数据。

13.一种模型训练装置，其特征在于，应用于客户端，所述装置包括：

获取模块，用于获取第二训练数据以及开发端提供的任务模型和隐私数据，所述隐私数据包括数据特征，所述任务模型包括浅层部分及深层部分；

特征提取模块，用于将所述第二训练数据输入所述任务模型的浅层部分，得到所述第二训练数据的数据特征；

训练模块，用于利用所述开发端提供的数据特征及所述第二训练数据的数据特征，对所述任务模型的深层部分进行训练，得到训练后的所述任务模型。

14.根据权利要求13所述的装置，其特征在于，所述开发端提供的数据特征为编码后的数据特征；

所述特征提取模块，具体用于：

对所述开发端提供的数据特征进行解码，得到解码后的数据特征；

利用所述解码后的数据特征及所述第二训练数据的数据特征，对所述任务模型的深层部分进行训练，得到训练后的所述任务模型。

15.根据权利要求14所述的装置，其特征在于，所述隐私数据还包括编解码模型；

所述特征提取模块，具体用于：

将所述开发端提供的数据特征输入所述编解码模型，得到解码后的数据特征。

16.根据权利要求13所述的装置，其特征在于，所述第二训练数据为：所述客户端通过采集存储在本地的数据，或者，所述客户端从私有网络中下载到本地的数据。

17.一种模型训练系统，其特征在于，所述系统包括开发端及客户端；

所述开发端，用于获取指定任务对应的训练样本集；利用所述训练样本集，训练得到所述指定任务对应的任务模型，所述任务模型包括浅层部分及深层部分；将第一训练数据输入所述任务模型的浅层部分，得到所述第一训练数据的数据特征，所述第一训练数据为所述训练样本集中的训练样本；向所述客户端提供所述任务模型及所述第一训练数据的数据特征；

所述客户端，用于获取第二训练数据以及所述开发端提供的所述任务模型和所述第一训练数据的数据特征；将所述第二训练数据输入所述任务模型的浅层部分，得到所述第二训练数据的数据特征；利用所述第一训练数据的数据特征及所述第二训练数据的数据特征，对所述任务模型的深层部分进行训练，得到训练后的所述任务模型。

Images