CN109272118B

CN109272118B - 数据训练方法、装置、设备及存储介质

Info

Publication number: CN109272118B
Application number: CN201810910783.5A
Authority: CN
Inventors: 吴丽军; 杨帆
Original assignee: Beijing Dajia Internet Information Technology Co Ltd
Current assignee: Beijing Dajia Internet Information Technology Co Ltd
Priority date: 2018-08-10
Filing date: 2018-08-10
Publication date: 2020-03-06
Anticipated expiration: 2038-08-10
Also published as: CN109272118A

Abstract

本公开是关于一种数据训练方法、装置、设备及存储介质。所述方法，包括：以类别为单位对训练数据进行拆分，得到N个子数据集；所述类别为根据训练数据的第一属性进行确定；子数据集中的类别数量不超过预设数量；基于N个子数据集对深度学习模型进行M次迭代训练，得到训练后的深度学习模型；每次迭代训练的过程包括：基于第一个子数据集对深度学习模型进行训练，直至深度学习模型的损失函数达到第一预设值停止训练；基于第二个至第N个子数据集对深度学习模型进行训练。提高了训练深度学习模型时的GPU利用率以及训练速度。

Description

数据训练方法、装置、设备及存储介质

技术领域

本公开涉及深度学习技术领域，尤其涉及一种数据训练方法、装置、设备及存储介质。

背景技术

相关技术中，深度学习技术目前已经广泛应用在计算机视觉中，其分类、检测效果已经远远超过传统的方法，深度学习本质上是数据驱动的技术，一般来说，数据量越大，其泛化效果越好。目前深度学习模型的训练方式大部分采用基于GPU(Graphics ProcessingUnit，图形处理器)的模式，GPU的并行处理能力可以大大提高模型的训练速度。而且，深度学习模型目前一般采用的是基于随机梯度下降的优化算法，训练过程中的每一步加载的样本量(batch size)一般是在256至512的范围内。

但是，GPU的显存一般是12G(GByte，吉字节)，对于参数量比较大的深度学习模型来说，每次训练加载的数据量是有限的；而对于大规模数据的训练任务来讲，因为深度学习模型比较大，占用的显存比较多，所以每次只能加载少量的样本进行前馈运算，累加几次前馈运算后，再进行反向传播对模型参数进行调整。例如batchsize为512，但是因为显存的限制，每次只能加载64个样本，这样需要累加8次前馈运算之后才能进行反向传播，因此不能充分利用GPU的并行计算能力，而导致训练过程较慢。

发明内容

为克服相关技术中存在的问题，本公开提供一种数据训练方法、装置、设备及存储介质。

根据本公开实施例的第一方面，提供一种数据训练方法，包括以类别为单位对所述训练数据进行拆分，得到N个子数据集；所述类别为根据所述训练数据的第一属性进行确定；所述子数据集中的类别数量不超过预设数量；N为大于等于1的自然数；

基于所述N个子数据集对深度学习模型进行M次迭代训练，得到训练后的深度学习模型；M为大于等于1的自然数；

其中，每次迭代训练的过程包括：

基于第一个子数据集对深度学习模型进行训练，直至所述深度学习模型的损失函数达到第一预设值停止训练；

基于第二个至第N个子数据集对所述深度学习模型进行训练。

可选地，所述基于第二个至第N个子数据集对所述深度学习模型进行训练，包括：

固定所述深度学习模型中除最后一层参数外的其他参数；

根据用以训练所述深度学习模型的当前子数据集中的类别数量，确定所述深度学习模型中最后一层参数的超参，并训练所述最后一层参数；

当所述深度学习模型的损失函数达到与所述当前子数据集对应的第三预设值时，暂停训练所述深度学习模型；

取消固定所述深度学习模型中的参数，并利用所述当前子数据集对所述深度学习模型的所有参数进行训练调整，直至所述深度学习模型的损失函数达到预设状态，停止本次训练；

以所述当前子数据集的下一子数据集作为当前子数据集，然后进入固定所述深度学习模型中除最后一层参数外的其他参数的步骤，直至所述当前子数据集为第N个子数据集。

利用第二个至第N个子数据集中的各个子数据集对深度学习模型进行训练，直至所述深度学习模型的损失函数达到预设状态停止训练；其中，基于每个子数据集对所述对深度学习模型进行至少一次训练。

可选地，在所述基于所述N个子数据集对深度学习模型进行M次迭代训练，得到训练后的深度学习模型之后，还包括：

删除所述深度学习模型的最后一层，得到更新后的深度学习模型；

将待提取特征的第一数据输入所述更新后的深度学习模型；

通过所述更新后的深度学习模型获取所述第一数据的特征。

可选地，在所述基于所述N个子数据集对深度学习模型进行M次迭代训练，得到训练后的深度学习模型的步骤之后，还包括：

将待分类的第二数据输入训练后的所述深度学习模型；

利用训练后的所述深度学习模型确定所述第二数据的所属类别。

可选地，所述预设数量为小于等于10万的自然数。

根据本公开实施例的第二方面，提供一种数据训练装置，包括训练数据拆分模块，被配置为以类别为单位对所述训练数据进行拆分，得到N个子数据集；所述类别为根据所述训练数据的第一属性进行确定；所述子数据集中的类别数量不超过预设数量；N为大于等于1的自然数；

数据训练模块，被配置为基于所述N个子数据集对深度学习模型进行M次迭代训练，得到训练后的深度学习模型；M为大于等于1的自然数；

其中，每次迭代训练的过程依次经过如下模块：

第一训练子模块，被配置为基于第一个子数据集对深度学习模型进行训练，直至所述深度学习模型的损失函数达到第一预设值停止训练；

第二训练子模块，被配置为基于第二个至第N个子数据集对所述深度学习模型进行训练；所述预设状态包括所述损失函数小于等于第二预设值，且所述损失函数的变化范围在预设阈值范围内。

可选地，所述第二训练子模块，包括：

参数固定单元，被配置为固定所述深度学习模型中除最后一层参数外的其他参数；

末层参数训练单元，被配置为根据用以训练所述深度学习模型的当前子数据集中的类别数量，确定所述深度学习模型中最后一层参数的超参，并训练所述最后一层参数；

暂停训练单元，被配置为当所述深度学习模型的损失函数达到与所述当前子数据集对应的第三预设值时，暂停训练所述深度学习模型；

参数微调单元，被配置为取消固定所述深度学习模型中的参数，并利用所述当前子数据集对所述深度学习模型的所有参数进行训练调整，直至所述深度学习模型的损失函数达到预设状态，停止本次训练；

当前子数据集调整单元，以所述当前子数据集的下一子数据集作为当前子数据集，然后返回参数固定单元，直至所述当前子数据集为第N个子数据集。

可选地，所述第二训练子模块，还被配置为利用第二个至第N个子数据集中的各个子数据集对深度学习模型进行训练，直至所述深度学习模型的损失函数达到预设状态停止训练；其中，基于每个子数据集对所述对深度学习模型进行至少一次训练。

可选地，所述装置还包括：

模型更新模块，被配置为删除所述深度学习模型的最后一层，得到更新后的深度学习模型；

第一数据输入模块，被配置为将待提取特征的第一数据输入所述更新后的深度学习模型；

特征提取模块，被配置为通过所述更新后的深度学习模型获取所述第一数据的特征。

可选地，所述装置还包括：

第二数据输入模块，被配置为将待分类的第二数据输入训练后的所述深度学习模型；

类别确认模块，被配置为利用训练后的所述深度学习模型确定所述第二数据的所属类别。

可选地，所述预设数量为小于等于10万的自然数。

根据本公开实施例的第三方面，提供一种数据训练设备，其特征在于，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为：

以类别为单位对所述训练数据进行拆分，得到N个子数据集；所述类别为根据所述训练数据的第一属性进行确定；所述子数据集中的类别数量不超过预设数量；N为大于等于1的自然数；

其中，每次迭代训练的过程包括：

基于第二个至第N个子数据集对所述深度学习模型进行训练；所述预设状态包括所述损失函数小于等于第二预设值，且所述损失函数的变化范围在预设阈值范围内。

根据本公开实施例的第四方面，提供一种非临时性计算机可读存储介质，当所述存储介质中的指令由数据训练设备的处理器执行时，使得数据训练设备能够执行一种数据训练方法，所述方法包括：

其中，每次迭代训练的过程包括：

基于第二个至第N个子数据集对所述深度学习模型进行训练。

根据本公开实施例的第五方面，提供一种应用程序/计算机程序产品，当所述应用程序/计算机程序产品中的指令由数据训练设备的处理器执行时，使得数据训练设备能够执行一种数据训练方法，所述方法包括：

其中，每次迭代训练的过程包括：

基于第二个至第N个子数据集对所述深度学习模型进行训练。

本公开的实施例提供的技术方案可以包括以下有益效果：在本公开实施例中，以类别为单位对所述训练数据进行拆分，得到N个子数据集；所述类别为根据所述训练数据的第一属性进行确定；所述子数据集中的类别数量不超过预设数量；N为大于等于1的自然数；基于所述N个子数据集对深度学习模型进行M次迭代训练，得到训练后的深度学习模型；M为大于等于1的自然数；其中，每次迭代训练的过程包括：基于第一个子数据集对深度学习模型进行训练，直至所述深度学习模型的损失函数达到第一预设值停止训练；基于第二个至第N个子数据集对所述深度学习模型进行训练。从而可以提高GPU利用率，进而提高深度学习模型的训练速度。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

图1是根据一示例性实施例示出的一种数据训练方法的流程图。

图2是根据一示例性实施例示出的一种数据训练方法的流程图。

图3是根据一示例性实施例示出的一种数据训练装置的框图。

图4是根据一示例性实施例示出的一种数据训练装置的框图。

图5是根据一示例性实施例示出的一种数据训练设备的框图。

图6是根据一示例性实施例示出的一种数据训练设备的框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

图1是根据一示例性实施例示出的一种数据训练方法的流程图，如图1所示，数据训练方法包括以下步骤。

在步骤S11中，以类别为单位对所述训练数据进行拆分，得到N个子数据集；所述类别为根据所述训练数据的第一属性进行确定；所述子数据集中的类别数量不超过预设数量；N为大于等于1的自然数。

一般来说，不同类别的训练数据越多，深度学习后可以提取的数据特征就越具有区分性，训练后的深度学习模型的识别性就越精确。以人脸识别为例，不同人的人脸数据越多，模型提取的特征就越具有区分性，人脸识别越好，目前，很多公司可以拿到大量的人脸数据，一般数以亿计。而且如果以人脸所属对象对人脸数据进行分类，那么不同人脸类别也有百万级别，这样级别的人脸数据相当于进行百万级别的分类任务。而且为了优化特征的区分性，往往加入损失函数，而损失函数会引入大量的参数，但是对于只有12G的显存来讲，每一步的前馈过程往往只能加载非常少量的训练样本，这样为了达到512的batchsize，需要进行多次前馈，严重影响深度学习模型的训练速度。

因此，在本公开实施例中，为了提高深度学习模型的训练速度，可以在训练之前对训练数据进行拆分，进而分别利用拆分后得到的子数据集。首先可以以类别为单位对对训练数据进行拆分，得到N个子数据集；其中，类别为根据所述训练数据的第一属性进行确定；所述子数据集中的类别数量不超过预设数量；N为大于等于1的自然数。其中的第一属性、N的取值以及预设数量的具体数值都可以根据需求进行预先设置，对此本公开实施例不加以限定。例如，对于上述的人脸数据，即以人脸所属对象为人脸数据的第一属性，进而确定各个人脸数据的所述类别。而且，在本公开实施例中，每个子数据集中具体包含的类别数量，以及数据个数可以不完全相同，当然也可以完全相同，具体的可以根据需求进行预先设置，对此本公开实施例不加以限定。

基于大规模人脸数据的人脸特征提取模型的训练为例。比如有100万的人脸ID(身份标识)、1亿的人脸数据，将人脸数据按照人脸id为第一属性确定各人脸数据的类别，并基于类别将人脸数据拆分成10份子数据集，那么每一份子数据集中大约可以有10万人脸id，也即10万个类别数量、1000万的人脸数据；其中的人脸ID具体可以为相应人脸数据所属对象的身份标识。

如前述，目前深度学习模型的训练方式大部分采用基于GPU的模式，而GPU的显存一般是12G，基于显存12G的条件，可以设置每个子数据集中的类别数量不超过10万个，也即上述的预设数量的取值为小于等于10万的自然数。

因此可选地，在本公开实施例中，所述预设数量可以为小于等于10万的自然数。

在步骤S12中，基于所述N个子数据集对深度学习模型进行M次迭代训练，得到训练后的深度学习模型；M为大于等于1的自然数；

其中，每次迭代训练的过程包括：

步骤D1，基于第一个子数据集对深度学习模型进行训练，直至所述深度学习模型的损失函数达到第一预设值停止训练。

步骤D2，基于第二个至第N个子数据集对所述深度学习模型进行训练。

其中M以及N的取值可以根据需求进行预先设置，对此本公开实施例不加以限定。在本公开实施例中，在拆分得到N个子数据集之后，则可以基于所述N个子数据集对深度学习模型进行M次迭代训练，进而得到训练后的深度学习模型。而且，每次的迭代训练过程可以包括上述的步骤D1-D2，其中深度学习模型的损失函数具体形式也可以根据需求进行预先设置，对此本公开实施例不加以限定。例如，可以设置损失函数包括但不限于对比损失函数、交叉熵损失函数、平方差函数中的至少一种，其中的交叉熵损失函数又可以称为判别损失函数。当然，在本公开实施例中的损失函数还可以包含其他任何的损失函数具体形式，对此本公开实施例不加以限定。在本公开实施例汇中，基于N个子数据集地深度学习模型进行M次迭代训练，每次迭代训练过程中都可以用到N个子数据集对深度学习模型进行训练，因此M的取值越大训练精确度越高，但是迭代训练次数过多，会导致训练迅速较慢。因此，在本公开实施例中，为了提高训练后的深度学习模型的准确性，可以设置M的取值大于等于N的取值。

在每次的迭代训练中，可以先基于第一个子数据集对深度学习模型进行训练，直至所述深度学习模型的损失函数达到第一预设值停止训练；进而基于第二个至第N个子数据集分别对所述深度学习模型进行继续训练，其中对于每次训练而言，当所述深度学习模型的损失函数达到预设状态时停止当前训练，然后利用下一子数据集对所述深度学习模型进行继续训练，直至本次迭代训练结束；所述预设状态包括所述损失函数小于等于第二预设值，且所述损失函数的变化范围在预设阈值范围内。其中的第一预设值、第二预设值、以及预设阈值范围都可以根据需求进行预先设置，对此本公开实施例不加以限定。在实际应用中，为了初步确定深度学习模型中各参数的初始取值，可以利用第一个子数据集对深度学习模型进行训练，此时为了提高训练速度，可以设置当深度学习模型的损失函数达到第一预设值停止训练，而在利用第二至第N个子数据集对深度学习模型进行训练时，则需要保证训练的准确性，此时则可以设置对于每次训练而言，当所述深度学习模型的损失函数达到预设状态时停止当前训练，所述预设状态包括所述损失函数小于等于第二预设值，且所述损失函数的变化范围在预设阈值范围内。而且，为了提高训练后的深度学习模型的准确性，所以设置第二预设值的取值较小，而为了提高第一子数据集的训练速度，所以一般而言，可以设置第二预设值小于第一预设值的取值。

在本公开实施例中，可以基于各个子数据集的拆分先后顺序进而确定相应子数据集的先后顺序，那么此时第一个拆分得到的子数据集即为第一个子数据集，依次类推。也可以在针对某一深度学习模型进行第一次迭代训练时，可以从各个子数据集中任意选定一个作为第一个子数据集，而以其他的子数据集作为第二至第N个子数据集，那么在下次迭代训练时，还可以前一次迭代训练时确定的各个子数据集的顺序进行迭代训练；当然在本公开实施例中，也可以设置在下一次迭代训练时，仍然可以从各个子数据集中任意选定一个作为第一个子数据集，而以其他的子数据集作为第二至第N个子数据集，对此本公开实施例不加以限定。

而且，在基于第二个至第N个子数据集对所述深度学习模型进行训练时，需要分别利用第二个至第N个子数据集对所述深度学习模型进行训练，每次只需要从第二个至第N个子数据集中选定一个子数据集对所述深度学习模型进行训练，一共可以对深度学习模型进行N-1次训练过程。

可选地，在本公开实施例中，所述步骤D2进一步可以包括：

步骤D21，固定所述深度学习模型中除最后一层参数外的其他参数。

经上述的步骤D1，可以基于第一个子数据集对深度学习模型进行初步的训练，得到深度学习模型中的各参数的初始值。那么在基于第二至第N个子数据中的每个子数据集对深度学习模型进行继续训练时，可以在每次训练前先固定深度学习模型中除最后一层参数外的其他参数，然后分别利用第二个至第N个子数据集对深度学习模型中的最后一层参数进行训练。此时可以利用当前用以训练深度学习模型的子数据集对深度学习模型进行训练，并且在训练前可以先固定深度学习模型中除最后一层参数外的其他参数。

步骤D22，根据用以训练所述深度学习模型的当前子数据集中的类别数量，确定所述深度学习模型中最后一层参数的超参，并训练所述最后一层参数。

其中的超参又称为超参数，是在开始训练过程之前设置值的参数，而不是通过训练得到的参数数据。因此，在本公开实施例中，为了对深度学习模型的最后一层参数进行训练，可以首先根据第二个至第N个自数据集中用以训练所述深度学习模型的当前子数据集中的类别数量，确定所述深度学习模型中最后一层参数的超参，进而利用当前子数据集训练深度学习模型中的最后一层参数。其中超参与当前子数据集中的类别数量之间的对应关系可以根据需求进行预先设置，对此本公开实施例不加以限定。例如，可以设置深度学习模型中最后一层参数的超参等于当前子数据集中的类别数量，等等。

步骤D23，当所述深度学习模型的损失函数达到与所述当前子数据集对应的第三预设值时，暂停训练所述深度学习模型。

在利用当前子数据集对深度学习模型中的最后一层参数进行训练时，当所述深度学习模型的损失函数达到与所述当前子数据集对应的第三预设值时，则可以暂停训练所述深度学习模型。其中的第三预设值可以根据需求进行预先设置，而且不同子数据集对应的第三预设值可以不完全相同，也可以完全相同，对此本公开实施例不加以限定。另外，在本公开实施例中，第三预设值可以与相应子数据集中所包含的类别数量有关系，而且具体的对应关系可以根据需求进行预先设置，对此本公开实施例也不加以限定。

步骤D24，取消固定所述深度学习模型中的参数，并利用所述当前子数据集对所述深度学习模型的所有参数进行训练调整，直至所述深度学习模型的损失函数达到预设状态，停止本次训练。

步骤D25，以所述当前子数据集的下一子数据集作为当前子数据集，然后进入固定所述深度学习模型中除最后一层参数外的其他参数的步骤，直至所述当前子数据集为第N个子数据集。

在利用当前子数据集对深度学习模型中的最后一层训练完成之后，则可以进一步利用当前子数据集对深度学习模型中的全部参数进行训练调整，此时可以取消固定所述深度学习模型中的参数，并利用所述当前子数据集对所有参数进行训练调整，直至所述深度学习模型的损失函数达到预设状态，停止本次训练。进而可以利用下一个子数据集作为当前子数据集，依次执行上述的步骤D21-D25，直至所述当前子数据集为第N个子数据集。而当利用第一个至第N个子数据集中的全部子数据集对深度学习模型训练结束后，则完成一次迭代训练。其中的预设状态包括所述损失函数小于等于第二预设值，且所述损失函数的变化范围在预设阈值范围内。其中的第二预设值以及预设阈值范围都可以根据需求进行预先设置，对此本公开实施例不加以限定。

另外，在本公开实施例中，还可以设置预设状态为深度学习模型的损失函数的取值达到最小值且不再变化，对此本公开实施例不加以限定。

可选地，在本公开实施例中，所述步骤D2进一步可以包括：利用第二个至第N个子数据集中的各个子数据集对深度学习模型进行训练；其中，基于每个子数据集对所述对深度学习模型进行至少一次训练。

当然，在本公开实施例中，也可以设置在一次迭代训练过程中，利用第二个至第N个子数据集中的各个子数据集对深度学习模型进行训练，而且可以设置利用第二个至第N个子数据集中的至少一个子数据集对深度学习模型进行多次训练，那么此时利用第二个至第N个子数据集对深度学习模型的训练次数可以大于N-1次。而且，其中具体对深度学习模型进行多次训练的子数据集，以及多次训练的具体次数等等训练策略都可以根据需求进行预先设置，或者是随机决定，对此本公开实施例不加以限定。那么，则可以利用每个子数据集对深度学习模型进行训练，直至深度学习模型的损失函数达到预设状态停止本次训练，然后进入基于下一子数据集对深度学习模型进行训练，直至深度学习模型的损失函数达到预设状态停止本次训练的步骤，直至基于预设的训练策略完成对深度学习模型的一次迭代训练。

此时对于利用第二个至第N个子数据集中的每个子数据对深度学习模型进行的每次训练过程中，可以在训练前固定深度学习模型中除最后一层参数外的其他参数，进而根据用以训练所述深度学习模型的当前子数据集中的类别数量，确定所述深度学习模型中最后一层参数的超参，并训练所述最后一层参数。当所述深度学习模型的损失函数达到与所述当前子数据集对应的第三预设值时，暂停训练所述深度学习模型。然后取消固定所述深度学习模型中的参数，并利用所述当前子数据集对所述深度学习模型的所有参数进行训练调整，直至所述深度学习模型的损失函数达到预设状态，停止本次训练，然后基于下一子数据集对所述深度学习模型进行训练，直至基于预设的训练策略完成对深度学习模型的一次迭代训练。

可选地，参照图2，在本公开实施例中，在所述步骤S12之后，还可以包括：

步骤S13，删除所述深度学习模型的最后一层，得到更新后的深度学习模型。

步骤S14，将待提取特征的第一数据输入所述更新后的深度学习模型。

步骤S15，通过所述更新后的深度学习模型获取所述第一数据的特征。

步骤S16，将待分类的第二数据输入训练后的所述深度学习模型。

步骤S17，利用训练后的所述深度学习模型确定所述第二数据的所属类别。

经训练后的深度学习模型中的最后一层相当于一个分类器，而除最后一层之外的其他层则可以作为一个特征提取模型。因此，在本公开实施例中，在对数据训练完成以后，则可以删除所述深度学习模型的最后一层，得到更新后的深度学习模型，并且将待提取特征的第一数据输入所述更新后的深度学习模型，从而可以通过更新后的深度学习模型获取所述第一数据的特征，和/或直接将待分类的第二数据输入训练后的所述深度学习模型，进而利用训练后的深度学习模型确定所述第二数据的所属类别。其中步骤S13-S15和S16-S17的执行前后顺序并不作限定。

在本公开实施例中，以类别为单位对所述训练数据进行拆分，得到N个子数据集；所述类别为根据所述训练数据的第一属性进行确定；所述子数据集中的类别数量不超过预设数量；N为大于等于1的自然数；基于所述N个子数据集对深度学习模型进行M次迭代训练，得到训练后的深度学习模型；M为大于等于1的自然数；其中，每次迭代训练的过程包括：基于第一个子数据集对深度学习模型进行训练，直至所述深度学习模型的损失函数达到第一预设值停止训练；基于第二个至第N个子数据集对所述深度学习模型进行训练。从而可以提高GPU利用率，进而提高深度学习模型的训练速度。

而且，在本公开实施例中，所述预设数量为小于等于10万的自然数。而且还可以固定所述深度学习模型中除最后一层参数外的其他参数；根据用以训练所述深度学习模型的当前子数据集中的类别数量，确定所述深度学习模型中最后一层参数的超参，并训练所述最后一层参数；当所述深度学习模型的损失函数达到与所述当前子数据集对应的第三预设值时，暂停训练所述深度学习模型；取消固定所述深度学习模型中的参数，并利用所述当前子数据集对所述深度学习模型的所有参数进行训练调整，直至所述深度学习模型的损失函数达到预设状态，停止本次训练；以所述当前子数据集的下一子数据集作为当前子数据集，然后进入固定所述深度学习模型中除最后一层参数外的其他参数的步骤，直至所述当前子数据集为第N个子数据集。进一步提高深度学习模型的训练速度，以及训练得到的深度学习模型的准确率。

或者，在本公开实施例中，还可以利用第二个至第N个子数据集中的各个子数据集对深度学习模型进行训练；其中，基于每个子数据集对所述对深度学习模型进行至少一次训练。可以进一步提高训练得到的深度学习模型的准确率。

另外，在本公开实施例中，还可以删除所述深度学习模型的最后一层，得到更新后的深度学习模型；将待提取特征的第一数据输入所述更新后的深度学习模型；通过所述更新后的深度学习模型获取所述第一数据的特征。以及，将待分类的第二数据输入训练后的所述深度学习模型；利用训练后的所述深度学习模型确定所述第二数据的所属类别。进而提高对输入数据的特征提取以及分类的准确性。

图3是根据一示例性实施例示出的一种数据训练装置框图。参照图3，该装置包括训练数据拆分模块21和数据训练模块22。

该训练数据拆分模块21，被配置为以类别为单位对所述训练数据进行拆分，得到N个子数据集；所述类别为根据所述训练数据的第一属性进行确定；所述子数据集中的类别数量不超过预设数量；N为大于等于1的自然数。

可选地，在本公开实施例中，所述预设数量为小于等于10万的自然数。

该数据训练模块22，被配置为基于所述N个子数据集对深度学习模型进行M次迭代训练，得到训练后的深度学习模型；M为大于等于1的自然数。

其中，每次迭代训练的过程依次经过如下模块：

第二训练子模块，被配置为基于第二个至第N个子数据集对所述深度学习模型进行训练。

可选地，在本公开实施例中，所述第二训练子模块，进一步可以包括：

参数微调单元，被配置为取消固定所述深度学习模型中的参数，并利用所述当前子数据集对所述深度学习模型的所有参数进行训练调整，直至所述深度学习模型的损失函数达到预设状态，停止本次训练。

当前子数据集调整单元，被配置为以所述当前子数据集的下一子数据集作为当前子数据集，然后返回参数固定单元，直至所述当前子数据集为第N个子数据集。

在本公开实施例中，在利用第二个至第N个子数据集对深度学习模型进行训练时，可以由参数固定单元、末层参数训练单元、暂停训练单元、参数微调单元以及当前子数据集调整单元，从第二个子数据集作为当前自数据开始，依次基于第二个至第N个子数据集对所述深度学习模型进行训练，直至所述当前子数据集为第N个子数据集。

又或者，在本公开实施例中，也可以不设置当前子数据集调整单元，而是直接由参数固定单元、末层参数训练单元、暂停训练单元、参数微调单元，依次将第二个至第N个子数据集作为当前自数据集对所述深度学习模型进行训练，直至所述当前子数据集为第N个子数据集，等等，对此本公开实施例不加以限定。

可选地，在本公开实施例中，所述第二训练子模块，还被配置为利用第二个至第N个子数据集中的各个子数据集对深度学习模型进行训练；其中，基于每个子数据集对所述对深度学习模型进行至少一次训练。

可选地，参照图4，在本公开实施例中，所述装置还可以包括：

模型更新模块23，被配置为删除所述深度学习模型的最后一层，得到更新后的深度学习模型。

第一数据输入模块24，被配置为将待提取特征的第一数据输入所述更新后的深度学习模型。

特征提取模块25，被配置为通过所述更新后的深度学习模型获取所述第一数据的特征。

第二数据输入模块26，被配置为将待分类的第二数据输入训练后的所述深度学习模型。

类别确认模块27，被配置为利用训练后的所述深度学习模型确定所述第二数据的所属类别。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

图5是根据一示例性实施例示出的一种数据训练设备300的框图。例如，设备300可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。

参照图5，设备300可以包括以下一个或多个组件：处理组件302，存储器304，电力组件306，多媒体组件308，音频组件310，输入/输出(I/O)的接口312，传感器组件314，以及通信组件316。

处理组件302通常控制设备300的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件302可以包括一个或多个处理器320来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件302可以包括一个或多个模块，便于处理组件302和其他组件之间的交互。例如，处理组件302可以包括多媒体模块，以方便多媒体组件308和处理组件302之间的交互。

存储器304被配置为存储各种类型的数据以支持在设备300的操作。这些数据的示例包括用于在设备300上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器304可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

电源组件306为设备300的各种组件提供电力。电源组件306可以包括电源管理系统，一个或多个电源，及其他与为设备300生成、管理和分配电力相关联的组件。

多媒体组件308包括在所述设备300和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件308包括一个前置摄像头和/或后置摄像头。当设备300处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件310被配置为输出和/或输入音频信号。例如，音频组件310包括一个麦克风(MIC)，当设备300处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器304或经由通信组件316发送。在一些实施例中，音频组件310还包括一个扬声器，用于输出音频信号。

I/O接口312为处理组件302和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件314包括一个或多个传感器，用于为设备300提供各个方面的状态评估。例如，传感器组件314可以检测到设备300的打开/关闭状态，组件的相对定位，例如所述组件为设备300的显示器和小键盘，传感器组件314还可以检测设备300或设备300一个组件的位置改变，用户与设备300接触的存在或不存在，设备300方位或加速/减速和设备300的温度变化。传感器组件314可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件314还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件314还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。

通信组件316被配置为便于设备300和其他设备之间有线或无线方式的通信。设备300可以接入基于通信标准的无线网络，如WiFi，运营商网络(如2G、3G、4G或5G)，或它们的组合。在一个示例性实施例中，通信组件316经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件316还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

在示例性实施例中，设备300可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。

在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器304，上述指令可由设备300的处理器320执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

图6是根据一示例性实施例示出的一种数据训练设备400的框图。例如，设备400可以被提供为一服务器。参照图6，设备400包括处理组件422，其进一步包括一个或多个处理器，以及由存储器432所代表的存储器资源，用于存储可由处理组件422的执行的指令，例如应用程序。存储器432中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件422被配置为执行指令，以执行上述数据训练方法。

设备400还可以包括一个电源组件426被配置为执行设备400的电源管理，一个有线或无线网络接口450被配置为将设备400连接到网络，和一个输入输出(I/O)接口458。设备400可以操作基于存储在存储器432的操作系统，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM或类似。

需要说明的是，本公开的执行主体可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等；也可以是服务器。当数据训练设备如移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等时，如图5所示。当数据训练设备是服务器时，如图6所示。

本公开还公开了一种非临时性计算机可读存储介质，当所述存储介质中的指令由数据训练设备的处理器执行时，使得数据训练设备能够执行上述的任一种数据训练方法。

本公开还公开了一种应用程序/计算机程序产品，所述应用程序/计算机程序产品中的指令由数据训练设备的处理器执行时，使得数据训练设备能够执行上述的任一种数据训练方法。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

本公开公开了A1、一种数据训练方法，包括：

以类别为单位对所述训练数据进行拆分，得到N个子数据集；所述类别为根据所述训练数据的第一属性进行确定；所述子数据集中的类别数量不超过预设数量；

基于所述N个子数据集对深度学习模型进行M次迭代训练，得到训练后的深度学习模型；M、N为大于等于1的自然数；

其中，每次迭代训练的过程包括：

基于第一个子数据集对所述深度学习模型进行训练，直至所述深度学习模型的损失函数达到第一预设值停止训练；

基于第二个至第N个子数据集对所述深度学习模型进行训练。

A2、如A1所述的方法，所述基于第二个至第N个子数据集对所述深度学习模型进行训练，包括：

固定所述深度学习模型中除最后一层参数外的其他参数；

取消固定所述深度学习模型中的参数，并利用所述当前子数据集对所述深度学习模型的所有参数进行训练调整，直至所述深度学习模型的损失函数达到预设状态，停止本次训练，所述预设状态包括所述损失函数小于等于第二预设值，且所述损失函数的变化范围在预设阈值范围内；

A3、如A1所述的方法，所述基于第二个至第N个子数据集对所述深度学习模型进行训练，包括：

利用第二个至第N个子数据集中的各个子数据集对深度学习模型进行训练；其中，基于每个子数据集对所述对深度学习模型进行至少一次训练。

A4、如A1-A3任一项所述的方法，在所述基于所述N个子数据集对深度学习模型进行M次迭代训练，得到训练后的深度学习模型之后，还包括：

将待提取特征的第一数据输入所述更新后的深度学习模型；

通过所述更新后的深度学习模型获取所述第一数据的特征。

A5、如A1-A3任一项所述的方法，在所述基于所述N个子数据集对深度学习模型进行M次迭代训练，得到训练后的深度学习模型之后，还包括：

将待分类的第二数据输入训练后的所述深度学习模型；

A6、如A1所述的方法，所述预设数量为小于等于10万的自然数。

本公开还公开了B7、一种数据训练装置，包括：

训练数据拆分模块，被配置为以类别为单位对所述训练数据进行拆分，得到N个子数据集；所述类别为根据所述训练数据的第一属性进行确定；所述子数据集中的类别数量不超过预设数量；

数据训练模块，被配置为基于所述N个子数据集对深度学习模型进行M次迭代训练，得到训练后的深度学习模型；M、N为大于等于1的自然数；

其中，每次迭代训练的过程依次经过如下模块：

第一训练子模块，被配置为基于第一个子数据集对所述深度学习模型进行训练，直至所述深度学习模型的损失函数达到第一预设值停止训练；

B8、如B7所述的装置，所述第二训练子模块，包括：

参数微调单元，被配置为取消固定所述深度学习模型中的参数，并利用所述当前子数据集对所述深度学习模型的所有参数进行训练调整，直至所述深度学习模型的损失函数达到预设状态，停止本次训练，所述预设状态包括所述损失函数小于等于第二预设值，且所述损失函数的变化范围在预设阈值范围内；

B9、如B7所述的装置，所述第二训练子模块，还被配置为利用第二个至第N个子数据集中的各个子数据集对深度学习模型进行训练；其中，基于每个子数据集对所述对深度学习模型进行至少一次训练。

B10、如B7-B9任一项所述的装置，所述装置还包括：

B11、如B7-B9任一项所述的装置，所述装置还包括：

B12、如B7所述的装置，所述预设数量为小于等于10万的自然数。

本公开还公开了C13、一种数据训练设备，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为：

其中，每次迭代训练的过程包括：

基于第二个至第N个子数据集对所述深度学习模型进行训练。

本公开还公开了D14、一种非临时性计算机可读存储介质，当所述存储介质中的指令由数据训练设备的处理器执行时，使得数据训练设备能够执行一种数据训练方法，所述方法包括：

其中，每次迭代训练的过程包括：

基于第二个至第N个子数据集对所述深度学习模型进行训练。

Claims

1.一种数据训练方法，其特征在于，包括：

其中，每次迭代训练的过程包括：

基于第二个至第N个子数据集对所述深度学习模型进行训练；

使用所述深度学习模型对人脸图像进行人脸识别；

其中，所述基于第二个至第N个子数据集对所述深度学习模型进行训练，包括：

固定所述深度学习模型中除最后一层参数外的其他参数；

2.根据权利要求1所述的方法，其特征在于，所述基于第二个至第N个子数据集对所述深度学习模型进行训练，包括：

3.根据权利要求1-2任一项所述的方法，其特征在于，在所述基于所述N个子数据集对深度学习模型进行M次迭代训练，得到训练后的深度学习模型之后，还包括：

将待提取特征的第一数据输入所述更新后的深度学习模型；

通过所述更新后的深度学习模型获取所述第一数据的特征。

4.根据权利要求1-2任一项所述的方法，其特征在于，在所述基于所述N个子数据集对深度学习模型进行M次迭代训练，得到训练后的深度学习模型之后，还包括：

将待分类的第二数据输入训练后的所述深度学习模型；

5.根据权利要求1所述的方法，其特征在于，所述预设数量为小于等于10万的自然数。

6.一种数据训练装置，其特征在于，包括：

其中，每次迭代训练的过程依次经过如下模块：

第二训练子模块，被配置为基于第二个至第N个子数据集对所述深度学习模型进行训练；

所述深度学习模型用于对人脸图像进行人脸识别；

其中，所述第二训练子模块，包括：

7.根据权利要求6所述的装置，其特征在于，所述第二训练子模块，还被配置为利用第二个至第N个子数据集中的各个子数据集对深度学习模型进行训练；其中，基于每个子数据集对所述对深度学习模型进行至少一次训练。

8.根据权利要求6-7任一项所述的装置，其特征在于，所述装置还包括：

9.根据权利要求6-7任一项所述的装置，其特征在于，所述装置还包括：

10.根据权利要求6所述的装置，其特征在于，所述预设数量为小于等于10万的自然数。

11.一种数据训练设备，其特征在于，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为执行如权利要求1-5中的任一项所述的数据训练方法。

12.一种非临时性计算机可读存储介质，当所述存储介质中的指令由数据训练设备的处理器执行时，使得数据训练设备能够执行如权利要求1-5中的任一项所述的数据训练方法。