CN112990424B - 神经网络模型训练的方法和装置 - Google Patents

Abstract

本申请公开了一种神经网络模型训练的方法和装置，属于机器学习技术领域。所述方法包括：获取新增样本集；将所述新增样本集输入目标神经网络模型，得到所述目标神经网络模型中至少一个候选分割层输出的特征数据集，其中，所述候选分割层为所述目标神经网络模型中的网络层；确定每个候选分割层输出的特征数据集的聚类程度，在所述候选分割层中确定出满足预设条件的聚类程度对应的目标分割层；基于所述新增样本集对所述目标分割层之后的网络层进行训练。采用本申请，可以提高神经网络模型的训练效率。

Description

神经网络模型训练的方法和装置

技术领域

本申请涉及机器学习技术领域，特别涉及一种神经网络模型训练的方法和装置。

背景技术

神经网络模型可以高效的完成诸如目标检测、目标分类等任务，因此在安防、交通、工业生产等各个领域被广泛使用。如果想要得到一个可以较为准确的实现特定功能的神经网络模型，需要在建立神经网络模型之后，使用大量样本对其进行训练。对于神经网络模型的训练，较为常用的一种方式为增量训练，即训练神经网络模型所使用的样本不是一次提供的，而是分为多次提供。分批次对神经网络模型进行训练。

目前，采用增量训练的方式训练神经网络模型时，每次获取到新增样本时，要使用新增样本对神经网络模型进行训练，调整神经网络中各网络层的参数。

在实现本申请的过程中，申请人发现相关技术至少存在以下问题：

神经网络模型中网络层较多时，每次获取到新增样本时，都要对整个神经网络模型中的各网络层的参数进行调整，训练效率较低。

发明内容

为了解决相关技术的问题，本申请实施例提供了一种神经网络模型训练的方法和装置。所述技术方案如下：

第一方面，提供了一种神经网络训练的方法，所述方法包括：

获取新增样本集；

将所述新增样本集输入目标神经网络模型，得到所述目标神经网络模型中至少一个候选分割层输出的特征数据集，其中，所述候选分割层为所述目标神经网络模型中的网络层；

确定每个候选分割层输出的特征数据集的聚类程度，在所述候选分割层中确定出满足预设条件的聚类程度对应的目标分割层；

基于所述新增样本集对所述目标分割层之后的网络层进行训练。

可选的，所述获取新增样本之前，还包括：

根据所述目标神经网络模型中各网络层的位置，在所述目标神经网络模型中确定出所述候选分割层。

可选的，所述根据所述目标神经网络模型中各网络层的位置，在所述目标神经网络模型中确定出所述候选分割层，包括：

在所述目标神经网络模型中的网络层中，确定出网络连接层，作为所述候选分割层，其中，所述网络连接层连接所述目标神经网络模型，如果将所述网络连接层在所述目标神经网络模型中去除，则所述目标神经网络模型分为独立的两部分。

可选的，所述确定每个候选分割层输出的特征数据集的聚类程度，在所述候选分割层中确定出满足预设条件的聚类程度对应的目标分割层，包括：

对于每个候选分割层，根据所述新增样本集中各新增样本所属的类别，确定所述候选分割层输出的特征数据集中每个特征数据所属的类别，每个类别的特征数据组成所述类别的特征数据子集；

对于每个类别的特征数据子集，确定对应的特征均值；

计算每个类别的特征数据子集中每个特征数据与所述特征数据子集对应的特征均值之间的聚类距离；

基于每个类别的特征数据子集中每个特征数据与所述特征数据子集对应的特征均值之间的聚类距离，和所述类别的特征数据的数目，确定所述类别的特征数据子集对应的第一聚类距离均值；

基于每个类别的特征数据子集对应的第一聚类距离均值和类别的数目，确定所述候选分割层输出的特征数据集对应的第二聚类距离均值；

在所有候选分割层输出的特征数据集对应的第二聚类距离均值中，确定出满足预设条件的目标聚类距离均值；

将所述目标聚类距离均值对应的候选分割层确定为目标分割层。

可选的，所述确定出满足预设条件的目标聚类距离均值，包括：

确定出小于第一预设阈值的第三聚类距离均值；

将所述第三聚类距离中的最小值，确定为目标聚类距离均值。

可选的，所述在所有候选分割层输出的特征数据集对应的第二聚类距离均值中，确定出满足预设条件的目标聚类距离均值；将所述目标聚类距离均值对应的候选分割层，确定为目标分割层，包括：

在所有候选分割层输出的特征数据集对应的第二聚类距离均值中，确定出小于第二预设阈值的第四聚类距离均值；

在所述第四聚类距离均值中，如果存在小于第三预设阈值的第五聚类距离均值，则在所述第五聚类均值对应的候选分割层中，将距离所述目标神经网络模型中的输入层最远的候选分割层，确定为目标分割层；

如果不存在小于所述第三预设阈值的第五聚类距离均值，则将所述第四聚类距离均值中的最小值确定为目标聚类距离均值；

将所述目标聚类距离均值对应的候选分割层确定为目标分割层。

可选的，所述目标神经网络模型是以第一隐私场景的图像监控数据为训练数据训练得到的神经网络模型，所述新增样本集为第二隐私场景的图像监控数据。

可选的，所述目标神经网络模型是以第一非隐私场景的图像监控数据为训练数据训练得到的神经网络模型，所述新增样本集为第二非隐私场景的图像监控数据；

所述基于所述新增样本集对所述目标分割层之后的网络层进行训练，包括：

基于所述新增样本集和历史样本集对所述目标分割层之后的网络层进行训练，其中，所述历史样本集为所述第一非隐私场景的图像监控数据。

第二方面，提供了一种神经网络模型训练的装置，其特征在于，所述装置包括：

获取模块，用于获取新增样本集；

输入模块，用于将所述新增样本集输入目标神经网络模型，得到所述目标神经网络模型中至少一个候选分割层输出的特征数据集，其中，所述候选分割层为所述目标神经网络模型中的网络层；

确定模块，用于确定每个候选分割层输出的特征数据集的聚类程度，在所述候选分割层中确定出满足预设条件的聚类程度对应的目标分割层；

训练模块，用于基于所述新增样本集对所述目标分割层之后的网络层进行训练。

可选的，所述装置还包括：

候选模块，用于根据所述目标神经网络模型中各网络层的位置，在所述目标神经网络模型中确定出所述候选分割层。

可选的，所述候选模块，用于：

在所述目标神经网络模型中的网络层中，确定出网络连接层，作为所述候选分割层，其中，所述网络连接层连接所述目标神经网络模型，如果将所述网络连接层在所述目标神经网络模型中去除，则所述目标神经网络模型分为独立的两部分。

可选的，所述确定模块，用于：

对于每个候选分割层，根据所述新增样本集中各新增样本所属的类别，确定所述候选分割层输出的特征数据集中每个特征数据所属的类别，每个类别的特征数据组成所述类别的特征数据子集；

对于每个类别的特征数据子集，确定对应的特征均值；

计算每个类别的特征数据子集中每个特征数据与所述特征数据子集对应的特征均值之间的聚类距离；

基于每个类别的特征数据子集中每个特征数据与所述特征数据子集对应的特征均值之间的聚类距离，和所述类别的特征数据的数目，确定所述类别的特征数据子集对应的第一聚类距离均值；

基于每个类别的特征数据子集对应的第一聚类距离均值和类别的数目，确定所述候选分割层输出的特征数据集对应的第二聚类距离均值；

在所有候选分割层输出的特征数据集对应的第二聚类距离均值中，确定出满足预设条件的目标聚类距离均值；

将所述目标聚类距离均值对应的候选分割层确定为目标分割层。

可选的，所述确定模块，用于：

确定出小于第一预设阈值的第三聚类距离均值；

将所述第三聚类距离中的最小值，确定为目标聚类距离均值。

可选的，所述确定模块，用于：

在所有候选分割层输出的特征数据集对应的第二聚类距离均值中，确定出小于第二预设阈值的第四聚类距离均值；

在所述第四聚类距离均值中，如果存在小于第三预设阈值的第五聚类距离均值，则在所述第五聚类均值对应的候选分割层中，将距离所述目标神经网络模型中的输入层最远的候选分割层，确定为目标分割层；

如果不存在小于所述第三预设阈值的第五聚类距离均值，则将所述第四聚类距离均值中的最小值确定为目标聚类距离均值；

将所述目标聚类距离均值对应的候选分割层确定为目标分割层。

可选的，所述目标神经网络模型是以第一隐私场景的图像监控数据为训练数据训练得到的神经网络模型，所述新增样本集为第二隐私场景的图像监控数据。

可选的，所述目标神经网络模型是以第一非隐私场景的图像监控数据为训练数据训练得到的神经网络模型，所述新增样本集为第二非隐私场景的图像监控数据；

所述训练模块，用于：

基于所述新增样本集和历史样本集对所述目标分割层之后的网络层进行训练，其中，所述历史样本集为所述第一非隐私场景的图像监控数据。

第三方面，提供了一种电子设备，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现如上述第一方面所述的神经网络模型训练的方法。

第四方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现如上述第一方面所述的神经网络模型训练的方法。

本申请实施例提供的技术方案带来的有益效果至少包括：

在获取到新增样本集后，得到目标神经网络模型中至少一个候选分割层输出的特征数据集。然后，可以根据输出的特征数据集，在候选分割层中确定出目标分割层。后续，在使用新增样本对该目标神经网络模型进行训练时，则直接对上述目标分割层之后的网络层进行训练即可，无需再对该目标分割层，及其之前的网络层进行训练。可见，通过本技术方案，需要进行训练的网络层可以不是全部的网络层，提高了神经网络模型的训练效率。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种神经网络模型训练的方法流程图；

图2是本申请实施例提供的一种神经网络模型的结构示意图；

图3是本申请实施例提供的一种神经网络模型的结构示意图；

图4是本申请实施例提供的一种神经网络模型训练的装置的结构示意图；

图5是本申请实施例提供的一种电子设备的结构示意图；

图6是本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。

本申请实施例提供了一种神经网络模型训练的方法，该方法可以由电子设备实现。电子设备可以为终端或者服务器。用户端在建立神经网络模型后，可以根据实际需求，采集样本，对建立的神经网络模型进行训练。在采集到第一批样本，对建立的神经网络模型进行训练后，得到一个准确度相对较高的神经网络模型。后续，为了使该经过训练的神经网络模型的准确度更高，可以再次采集样本(即新增样本)对其进行训练。在此情况下，便可以通过采用本申请实施例提供的神经网络模型训练的方法，对该经过训练的神经网络模型进行训练。

如图1所示，该方法的处理流程可以包括如下的步骤：

步骤101、获取新增样本集。

其中，新增样本集为用来训练某一非首次训练的神经网络模型的样本集。根据需要进行增量训练的神经网络模型所要执行的任务不同，新增样本集也可以不同。例如，神经网络模型是用来进行人脸检测的目标检测模型，则新增样本集可以为人脸图像样本集，即由大量人脸的图像，以及每张人脸图像对应的标注信息所组成样本集。又例如，神经网络模型是用来进行图像分类的目标分类模型，则新增样本集可以是由大量不同预设类别的图像，以及每张图像对应的类别信息组成的样本集。

在实施中，用户端可以根据需要进行增量训练的神经网络模型所要执行的任务，获取到大量训练样本作为新增样本，组成新增样本集。

步骤102、将新增样本集输入目标神经网络模型，得到目标神经网络模型中至少一个候选分割层输出的特征数据集。

其中，目标神经网络模型是已经经过至少一次训练的神经网络模型，候选分割层为目标神经网络模型中的网络层。

在实施中，用户端在建立该目标神经网络模型对应的初始神经网络模型时，根据初始神经网络模型的网络结构，人工指定至少一个网络层作为候选分割层，该网络层可以是神经网络中的卷积层、池化层等。用户端在指定候选分割层时，首先要排除初始神经网络模型是输入层和输出层。在神经网络模型中有一种网络层，如果将其从神经网络模型中去除，则神经网络模型会分为独立的两部分，此种网络层可以优先选择。需要说明的是，在本申请实施例中可以将具有上述特点的这种网络层称为网络连接层。下面以举例的方式，对候选分割层的选取进行说明。

如图2所示的神经网络模型中，有7个网络层，其中，网络层1是输入层，网络层7是输出层，在选择候选分割层时，可以首先排除这两个网络层，在其余的5个网络层中，可以看到，如果将网络层4去除，则神经网络模型将会一分为二，即优先选择网络层4作为候选分割层。如3所示的神经网络层中，有8个网络层，其中，网络层1是输入层，网络层8是输出层，同样的，在选择候选分割层时，可以首先排除这两个网络层，在其余的6个网络层中，并没有上述类型的网络层，则可以将这些网络层均作为候选分割层，或者，在这些网络层中随机选择预设数目个网络层作为候选分割层，又或者，在这些网络层中选取距离输入层最近的预设数目个网络层作为候选分割层。

当然，在上述建立神经网络模型后，选取候选分割层的处理，除技术人员人工完成外，还可以由电子设备执行预存的程序，自动完成候分割层的选取。选取方法可以如下：根据目标神经网络模型中各网络层的位置，在目标神经网络模型中的网络层中，确定出网络连接层，作为候选分割层；如果不存在上述网络连接层，则将除输入层和输出层以外的其余网络层，均作为候选分割层，或者，在除输入层和输出层以外的其余网络层中，选取距离输入层最近的预设数目个网络层，作为候选分割层。

在获取到新增样本集后，将新增样本集中的每个新增样本输入到目标神经网络层中，可以分别从上述选择出的候选分割层输出对应的特征数据。对于每个候选分割层，则可以得到对应的特征数据集。

步骤103、确定每个候选分割层输出的特征数据集的聚类程度，在候选分割层中确定出满足预设条件的聚类程度对应的目标分割层。

其中，聚类程度可以用来表征分割层及其之前的各网络层对数据的聚类能力大小。

在实施中，如果候选分割层输出的特征数据集的聚类程度满足预设条件，则可以将该候选分割层作为目标分割层。以下对于确定候选分割层输出的特征数据集的聚类程度的方法进行说明。

对于每个候选分割层，根据新增样本集中各新增样本所属的类别，确定出候选分割层输出的特征数据集中每个特征数据所属的类别。例如，对于用来将老虎图像、狮子图像、猫图像进行分类的目标分类模型来说，新增样本集中包括有多张老虎图像、多张狮子图像、以及多张猫图像，即新增样本集中的新增样本的类别有老虎、狮子、猫三种，那么，将类别为老虎的图像(老虎图像)输入到目标神经网络模型后，在候选分割层输出的特征数据对应的类别即为老虎。

这样，对于每个候选分割层输出的每个类别的特征数据可以组成该类别的特征数据子集。对于每个类别的特征数据子集，计算出该特征数据子集中各特征数据对应的特征均值。其中，特征数据可以为特征矩阵，计算特征数据子集中各特征数据对应的特征均值，即计算特征数据子集中各特征矩阵的均值，该均值同样为一个特征矩阵。然后，计算每个类别的特征数据子集中每个特征数据与该特征数据子集对应的特征均值之间的聚类距离。其中，聚类距离可以为欧式距离、余弦距离等。然后，将每个特征数据计算出的聚类距离相加，除以该类别的特征数据的数目，即可以得到该类别的特征数据子集对应的第一聚类距离均值。

然后，对于每个候选分割层，将各类别的特征数据子集对应的第一聚类距离均值相加，除以类别的数目，即可以得到该候选分割层输出的特征数据集对应的第二聚类距离均值。每个候选分割层输出的特征数据集对应的第二聚类距离均值即为该候选分割层输出的特征数据集的聚类程度。

再然后，在所有候选分割层输出的特征数据集对应的第二聚类距离均值中，确定出满足预设条件的目标聚类距离均值。将目标聚类距离均值对应的候选分割层确定为目标分割层。其中，在各候选分割层中确定目标分割层的方法，可以有多种，以下列举其中几种进行说明。

方法一、可以确定出小于第一预设阈值的第三聚类距离均值，将第三聚类距离中的最小值，确定为目标聚类距离均值。将该目标聚类距离均值对应的候选分割层确定为目标分割层。

方法二、在所有候选分割层输出的特征数据集对应的第二聚类距离均值中，确定出小于第二预设阈值的第四聚类距离均值。在第四聚类距离均值中，如果存在小于第三预设阈值的第五聚类距离均值，则在第五聚类均值对应的候选分割层中，将距离目标神经网络模型中的输入层最远的候选分割层，确定为目标分割层；如果不存在小于第三预设阈值的第五聚类距离均值，则将第四聚类距离均值中的最小值确定为目标聚类距离均值。将目标聚类距离均值对应的候选分割层确定为目标分割层。

步骤104、基于新增样本集对所述目标分割层之后的网络层进行训练。

在实施中，在训练目标神经网络模型时，可以将上述确定出的目标分割层及之前的各网络层对应的参数固定，即在本次训练中，不对其进行调整，而只调整该目标分割层之后的各网络层的参数。

此处需要说的是，根据目标神经网络模型所使用的场景不同的，训练目标神经网络模型时，所使用的样本集也可以不同。或者针对用户端权限的不同使用的样本集不同，从而达到隐私保护的目的。下面对于几种可能的场景下，对目标神经网络模型的训练分别进行说明。

场景一、隐私保护要求较高的场景。

目标神经网络模型是以第一隐私场景的图像监控数据为训练数据训练得到的神经网络模型。这里第一隐私场景可以为对隐私保护要求较高的场所如学校、医院等。那么，使用第一隐私场景的图像监控数据训练神经网络模型得到目标神经网络模型后，如果要将该目标神经网络模型应用到第二隐私场景，则可以获取到新增样本集，即第二隐私场景的图像监控数据。然后，使用该第二隐私场景的图像监控数据对目标神经网络模型进行训练，而不再结合使用历史样本集(第一隐私场景的图像监控数据)一同对其进行训练。这里，第二隐私场景同样可以为学校、医院等。

对于不结合使用历史样本集对目标神经网络模型进行训练的情况，还可以有如下场景。

用户端在AI(Artificial Intelligence，人工智能)开放平台下载的图像识别网络为目标神经网络，用户端需要将该图像识别网络应用到第二隐私场景，则可以仅使用本地存储的第二隐私场景的图像监控数据(新增样本集)对该图像识别网络进行训练。

场景二、隐私保护要求较低的场景，或者公共场景。

目标神经网络模型是以第一非隐私场景的图像监控数据为训练数据训练得到的神经网络模型。这里第一非隐私场景可以为对隐私保护要求低的场所如连锁餐厅的厨房、公共交通工具等。那么，使用第一非隐私场景的图像监控数据训练神经网络模型得到目标神经网络模型后，可以将第一非隐私场景的图像监控数据作为历史样本集进行存储，以便后续训练使用。如果要将该目标神经网络模型应用到第二非隐私场景，则可以获取到新增样本集，即第二非隐私场景的图像监控数据，同时，还可以获取到存储的历史样本集，即第一非隐私场景的图像监控数据。然后，使用第二隐私场景的图像监控数据和第一非隐私场景的图像监控数据一起对目标神经网络模型进行训练。这里，第二隐私场景同样可以为学校、医院等。

另外，在使用新增样本集和历史样本集一起对目标神经网络模型进行训练时，还可以采用特征回放的方式对目标分割层之后的网络层进行训练。即，将新增样本集输入目标神经网络模型，先得到其在目标分割层输出的特征数据集，然后，获取存储的历史样本在该目标分割层输出的特征数据集。使用这两种特征数据集作为样本输入，对目标分割层之后的网络层进行训练。此处需要说明的是，每次使用样本对神经网络模型进行训练时，可以将样本以及每各网络层输出的特征数据，均进行存储，到达预设的存储时长时进行删除，或者当存储空间达到预设阈值时，将存储时间较长的特征数据进行删除。

通过本申请实施例，在获取到新增样本集后，得到目标神经网络模型中至少一个候选分割层输出的特征数据集。然后，可以根据输出的特征数据集，在候选分割层中确定出目标分割层。后续，在使用新增样本对该目标神经网络模型进行训练时，则直接对上述目标分割层之后的网络层进行训练即可，无需再对该目标分割层，及其之前的网络层进行训练。可见，需要进行训练的网络层可以不是全部的网络层，提高了神经网络模型的训练效率。

基于相同的技术构思，本申请实施例还提供了一种神经网络模型训练的装置，如图4所示，该装置包括：获取模块410，输入模块420、确定模块430和训练模块440。

获取模块410，用于获取新增样本集；

输入模块420，用于将所述新增样本集输入目标神经网络模型，得到所述目标神经网络模型中至少一个候选分割层输出的特征数据集，其中，所述候选分割层为所述目标神经网络模型中的网络层；

确定模块430，用于确定每个候选分割层输出的特征数据集的聚类程度，在所述候选分割层中确定出满足预设条件的聚类程度对应的目标分割层；

训练模块440，用于基于所述新增样本集对所述目标分割层之后的网络层进行训练。

可选的，所述装置还包括：

候选模块，用于根据所述目标神经网络模型中各网络层的位置，在所述目标神经网络模型中确定出所述候选分割层。

可选的，所述候选模块，用于：

在所述神经网络模型中的网络层中，确定出网络连接层，作为所述候选分割层，其中，所述网络连接层连接所述神经网络模型，如果将所述网络连接层在所述神经网络模型中去除，则所述神经网络模型分为独立的两部分。

可选的，所述确定模块430，用于：

对于每个候选分割层，根据所述新增样本集中各新增样本所属的类别，确定所述候选分割层输出的特征数据集中每个特征数据所属的类别，每个类别的特征数据组成所述类别的特征数据子集；

对于每个类别的特征数据子集，确定对应的特征均值；

计算每个类别的特征数据子集中每个特征数据与所述特征数据子集对应的特征均值之间的聚类距离；

基于每个类别的特征数据子集中每个特征数据与所述特征数据子集对应的特征均值之间的聚类距离，和所述类别的特征数据的数目，确定所述类别的特征数据子集对应的第一聚类距离均值；

基于每个类别的特征数据子集对应的第一聚类距离均值和类别的数目，确定所述候选分割层输出的特征数据集对应的第二聚类距离均值；

在所有候选分割层输出的特征数据集对应的第二聚类距离均值中，确定出满足预设条件的目标聚类距离均值；

将所述目标聚类距离均值对应的候选分割层确定为目标分割层。

可选的，所述确定模块430，用于：

确定出小于第一预设阈值的第三聚类距离均值；

将所述第三聚类距离中的最小值，确定为目标聚类距离均值。

可选的，所述确定模块430，用于：

在所有候选分割层输出的特征数据集对应的第二聚类距离均值中，确定出小于第二预设阈值的第四聚类距离均值；

在所述第四聚类距离均值中，如果存在小于第三预设阈值的第五聚类距离均值，则在所述第五聚类均值对应的候选分割层中，将距离所述目标神经网络模型中的输入层最远的候选分割层，确定为目标分割层；

如果不存在小于所述第三预设阈值的第五聚类距离均值，则将所述第四聚类距离均值中的最小值确定为目标聚类距离均值；

将所述目标聚类距离均值对应的候选分割层确定为目标分割层。

可选的，所述目标神经网络模型是以第一隐私场景的图像监控数据为训练数据训练得到的神经网络模型，所述新增样本集为第二隐私场景的图像监控数据。

可选的，所述目标神经网络模型是以第一非隐私场景的图像监控数据为训练数据训练得到的神经网络模型，所述新增样本集为第二非隐私场景的图像监控数据；

所述训练模块，用于：

基于所述新增样本集和历史样本集对所述目标分割层之后的网络层进行训练，其中，所述历史样本集为所述第一非隐私场景的图像监控数据。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

需要说明的是：上述实施例提供的神经网络模型训练的装置在训练神经网络模型时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的神经网络模型训练的装置与神经网络模型训练的方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

图5是本申请实施例提供的一种电子设备的结构框图。该电子设备可以为终端，该电子设备500可以是终端，比如：笔记本电脑、平板电脑等。通常，电子设备500包括有：处理器501和存储器502。

处理器501可以包括一个或多个处理核心，比如4核心处理器、5核心处理器等。处理器501可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器501也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器501可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器501还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。

存储器502可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是有形的和非暂态的。存储器502还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器502中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器501所执行以实现本申请中提供的神经网络模型训练的方法。

在一些实施例中，电子设备500还可选包括有：外围设备接口503和至少一个外围设备。具体地，外围设备包括：射频电路504、触摸显示屏505、摄像头506、音频电路507、定位组件508和电源509中的至少一种。

外围设备接口503可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器501和存储器502。在一些实施例中，处理器501、存储器502和外围设备接口503被集成在同一芯片或电路板上；在一些其他实施例中，处理器501、存储器502和外围设备接口503中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。

射频电路504用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路504通过电磁信号与通信网络以及其他通信设备进行通信。射频电路504将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路504包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路504可以通过至少一种无线通信协议来与其它电子设备进行通信。该无线通信协议包括但不限于：万维网、城域网、内联网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路504还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本申请对此不加以限定。

触摸显示屏505用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。触摸显示屏505还具有采集在触摸显示屏505的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器501进行处理。触摸显示屏505用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，触摸显示屏505可以为一个，设置电子设备500的前面板；在另一些实施例中，触摸显示屏505可以为至少两个，分别设置在电子设备500的不同表面或呈折叠设计；在再一些实施例中，触摸显示屏505可以是柔性显示屏，设置在电子设备500的弯曲表面上或折叠面上。甚至，触摸显示屏505还可以设置成非矩形的不规则图形，也即异形屏。触摸显示屏505可以采用LCD(Liquid Crystal Display，液晶显示器)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。

摄像头组件506用于采集图像或视频。可选地，摄像头组件506包括前置摄像头和后置摄像头。通常，前置摄像头用于实现视频通话或自拍，后置摄像头用于实现照片或视频的拍摄。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能，主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能。在一些实施例中，摄像头组件506还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。

音频电路507用于提供用户和电子设备500之间的音频接口。音频电路507可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器501进行处理，或者输入至射频电路504以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在电子设备500的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器501或射频电路504的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路507还可以包括耳机插孔。

定位组件508用于定位电子设备500的当前地理位置，以实现导航或LBS(LocationBased Service，基于位置的服务)。定位组件508可以是基于美国的GPS(GlobalPositioning System，全球定位系统)、中国的北斗系统或俄罗斯的伽利略系统的定位组件。

电源509用于为电子设备500中的各个组件进行供电。电源509可以是交流电、直流电、一次性电池或可充电电池。当电源509包括可充电电池时，该可充电电池可以是有线充电电池或无线充电电池。有线充电电池是通过有线线路充电的电池，无线充电电池是通过无线线圈充电的电池。该可充电电池还可以用于支持快充技术。

在一些实施例中，电子设备500还包括有一个或多个传感器510。该一个或多个传感器510包括但不限于：加速度传感器511、陀螺仪传感器512、压力传感器513、指纹传感器514、光学传感器515以及接近传感器516。

加速度传感器511可以检测以电子设备500建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器511可以用于检测重力加速度在三个坐标轴上的分量。处理器501可以根据加速度传感器511采集的重力加速度信号，控制触摸显示屏505以横向视图或纵向视图进行用户界面的显示。加速度传感器511还可以用于游戏或者用户的运动数据的采集。

陀螺仪传感器512可以检测电子设备500的机体方向及转动角度，陀螺仪传感器512可以与加速度传感器511协同采集用户对电子设备500的3D动作。处理器501根据陀螺仪传感器512采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。

压力传感器513可以设置在电子设备500的侧边框和/或触摸显示屏505的下层。当压力传感器513设置在电子设备500的侧边框时，可以检测用户对电子设备500的握持信号，根据该握持信号进行左右手识别或快捷操作。当压力传感器513设置在触摸显示屏505的下层时，可以根据用户对触摸显示屏505的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。

指纹传感器514用于采集用户的指纹，以根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时，由处理器501授权该用户执行相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器514可以被设置电子设备500的正面、背面或侧面。当电子设备500上设置有物理按键或厂商Logo时，指纹传感器514可以与物理按键或厂商Logo集成在一起。

光学传感器515用于采集环境光强度。在一个实施例中，处理器501可以根据光学传感器515采集的环境光强度，控制触摸显示屏505的显示亮度。具体地，当环境光强度较高时，调高触摸显示屏505的显示亮度；当环境光强度较低时，调低触摸显示屏505的显示亮度。在另一个实施例中，处理器501还可以根据光学传感器515采集的环境光强度，动态调整摄像头组件506的拍摄参数。

接近传感器516，也称距离传感器，通常设置在电子设备500的正面。接近传感器516用于采集用户与电子设备500的正面之间的距离。在一个实施例中，当接近传感器516检测到用户与电子设备500的正面之间的距离逐渐变小时，由处理器501控制触摸显示屏505从亮屏状态切换为息屏状态；当接近传感器516检测到用户与电子设备500的正面之间的距离逐渐变大时，由处理器501控制触摸显示屏505从息屏状态切换为亮屏状态。

本领域技术人员可以理解，图5中示出的结构并不构成对电子设备500的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。

在示例性实施例中，还提供了一种计算机可读存储介质，存储介质中存储有至少一条指令，至少一条指令由处理器加载并执行以实现上述实施例中的识别动作类别的方法。例如，所述计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

图6是本申请实施例提供的一种电子设备的结构示意图，该电子设备可以为服务器。计算机设备600可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，CPU)601和一个或一个以上的存储器602，其中，所述存储器602中存储有至少一条指令，所述至少一条指令由所述处理器601加载并执行以实现上述神经网络模型训练的方法。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本申请的较佳实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种神经网络模型训练的方法，其特征在于，所述方法包括：

在目标神经网络模型中的网络层中，确定出网络连接层，作为候选分割层，其中，所述网络连接层连接所述目标神经网络模型，如果将所述网络连接层在所述目标神经网络模型中去除，则所述目标神经网络模型分为独立的两部分，所述目标神经网络模型是以第一场景的图像监控数据为训练数据训练得到的神经网络模型；

获取新增样本集，其中，所述新增样本集为第二场景的图像监控数据；

将所述新增样本集输入目标神经网络模型，得到所述目标神经网络模型中至少一个候选分割层输出的特征数据集；

对于每个候选分割层，根据所述新增样本集中各新增样本所属的类别，确定所述候选分割层输出的特征数据集中每个特征数据所属的类别，每个类别的特征数据组成所述类别的特征数据子集；

对于每个类别的特征数据子集，确定对应的特征均值；

计算每个类别的特征数据子集中每个特征数据与所述特征数据子集对应的特征均值之间的聚类距离；

基于每个类别的特征数据子集中每个特征数据与所述特征数据子集对应的特征均值之间的聚类距离，和所述类别的特征数据的数目，确定所述类别的特征数据子集对应的第一聚类距离均值；

基于每个类别的特征数据子集对应的第一聚类距离均值和类别的数目，确定所述候选分割层输出的特征数据集对应的第二聚类距离均值；

在所有候选分割层输出的特征数据集对应的第二聚类距离均值中，确定出满足预设条件的目标聚类距离均值；

将所述目标聚类距离均值对应的候选分割层确定为目标分割层；

基于所述新增样本集对所述目标分割层之后的网络层进行训练，其中，在训练所述目标神经网络模型时，将所述目标分割层及所述目标分割层之前的各网络层的参数固定，仅调整所述目标分割层之后的各网络层的参数。

2.根据权利要求1所述的方法，其特征在于，所述确定出满足预设条件的目标聚类距离均值，包括：

确定出小于第一预设阈值的第三聚类距离均值；

将所述第三聚类距离均值中的最小值，确定为目标聚类距离均值。

3.根据权利要求1所述的方法，其特征在于，所述在所有候选分割层输出的特征数据集对应的第二聚类距离均值中，确定出满足预设条件的目标聚类距离均值；将所述目标聚类距离均值对应的候选分割层，确定为目标分割层，包括：

在所有候选分割层输出的特征数据集对应的第二聚类距离均值中，确定出小于第二预设阈值的第四聚类距离均值；

在所述第四聚类距离均值中，如果存在小于第三预设阈值的第五聚类距离均值，则在所述第五聚类距离均值对应的候选分割层中，将距离所述目标神经网络模型中的输入层最远的候选分割层，确定为目标分割层；

如果不存在小于所述第三预设阈值的第五聚类距离均值，则将所述第四聚类距离均值中的最小值确定为目标聚类距离均值；

将所述目标聚类距离均值对应的候选分割层确定为目标分割层。

4.根据权利要求1-3任一所述的方法，其特征在于，所述目标神经网络模型是以第一隐私场景的图像监控数据为训练数据训练得到的神经网络模型，所述新增样本集为第二隐私场景的图像监控数据。

5.根据权利要求1-3任一所述的方法，其特征在于，所述目标神经网络模型是以第一非隐私场景的图像监控数据为训练数据训练得到的神经网络模型，所述新增样本集为第二非隐私场景的图像监控数据；

所述基于所述新增样本集对所述目标分割层之后的网络层进行训练，包括：

基于所述新增样本集和历史样本集对所述目标分割层之后的网络层进行训练，其中，所述历史样本集为所述第一非隐私场景的图像监控数据。

6.一种神经网络模型训练的装置，其特征在于，所述装置包括：

候选模块，在目标神经网络模型中的网络层中，确定出网络连接层，作为候选分割层，其中，所述网络连接层连接所述目标神经网络模型，如果将所述网络连接层在所述目标神经网络模型中去除，则所述目标神经网络模型分为独立的两部分，所述目标神经网络模型是以第一场景的图像监控数据为训练数据训练得到的神经网络模型；

获取模块，用于获取新增样本集，其中，所述新增样本集为第二场景的图像监控数据；

输入模块，用于将所述新增样本集输入目标神经网络模型，得到所述目标神经网络模型中至少一个候选分割层输出的特征数据集；

确定模块，用于对于每个候选分割层，根据所述新增样本集中各新增样本所属的类别，确定所述候选分割层输出的特征数据集中每个特征数据所属的类别，每个类别的特征数据组成所述类别的特征数据子集；对于每个类别的特征数据子集，确定对应的特征均值；计算每个类别的特征数据子集中每个特征数据与所述特征数据子集对应的特征均值之间的聚类距离；基于每个类别的特征数据子集中每个特征数据与所述特征数据子集对应的特征均值之间的聚类距离，和所述类别的特征数据的数目，确定所述类别的特征数据子集对应的第一聚类距离均值；基于每个类别的特征数据子集对应的第一聚类距离均值和类别的数目，确定所述候选分割层输出的特征数据集对应的第二聚类距离均值；在所有候选分割层输出的特征数据集对应的第二聚类距离均值中，确定出满足预设条件的目标聚类距离均值；将所述目标聚类距离均值对应的候选分割层确定为目标分割层；

训练模块，用于基于所述新增样本集对所述目标分割层之后的网络层进行训练，其中，在训练所述目标神经网络模型时，将所述目标分割层及所述目标分割层之前的各网络层的参数固定，仅调整所述目标分割层之后的各网络层的参数。

7.根据权利要求6所述的装置，其特征在于，所述确定模块，用于：

确定出小于第一预设阈值的第三聚类距离均值；

将所述第三聚类距离均值中的最小值，确定为目标聚类距离均值。

8.根据权利要求6所述的装置，其特征在于，所述确定模块，用于：

在所有候选分割层输出的特征数据集对应的第二聚类距离均值中，确定出小于第二预设阈值的第四聚类距离均值；

在所述第四聚类距离均值中，如果存在小于第三预设阈值的第五聚类距离均值，则在所述第五聚类距离均值对应的候选分割层中，将距离所述目标神经网络模型中的输入层最远的候选分割层，确定为目标分割层；

如果不存在小于所述第三预设阈值的第五聚类距离均值，则将所述第四聚类距离均值中的最小值确定为目标聚类距离均值；

将所述目标聚类距离均值对应的候选分割层确定为目标分割层。

9.根据权利要求6-8任一所述的装置，其特征在于，所述目标神经网络模型是以第一隐私场景的图像监控数据为训练数据训练得到的神经网络模型，所述新增样本集为第二隐私场景的图像监控数据。

10.根据权利要求6-8任一所述的装置，其特征在于，所述目标神经网络模型是以第一非隐私场景的图像监控数据为训练数据训练得到的神经网络模型，所述新增样本集为第二非隐私场景的图像监控数据；

所述训练模块，用于：

基于所述新增样本集和历史样本集对所述目标分割层之后的网络层进行训练，其中，所述历史样本集为所述第一非隐私场景的图像监控数据。