CN108182469A - 一种神经网络模型训练方法、系统、装置及存储介质 - Google Patents

Abstract

本发明公开了一种神经网络模型训练方法，可以将训练数据与多维kernel转换成矩阵，将卷积运算转换成矩阵乘计算，可以充分利用处理器的计算资源，从而提高卷积神经网络的训练速度，同时使得神经网络在训练过正中梯度下降的方向更加准确，从而加快神经网络的收敛，达到更理想的训练效果。对于batch_size尺寸及图像尺寸规模较大的情况下，更能充分利用硬件资源，尤其针对具备大容量内存的硬件平台，实现快速卷积计算，加快卷积神经网络的训练速度。本发明还提供了一种神经网络模型训练系统、装置及计算机可读存储系统，同样可以实现上述技术效果。

Description

一种神经网络模型训练方法、系统、装置及存储介质

技术领域

本发明涉及神经网络领域，更具体地说，涉及一种神经网络模型训练方法、系统、装置及计算机可读存储介质。

背景技术

随着近年来深度学习技术的快速发展，实际应用中往往需要完成对大量数据集的处理及识别，所以对深度学习模型的的精度要求越来越高。

卷积神经网络在深度学习图像识别领域发挥着重要的作用，近年来为了达到更好的识别准确率，卷积神经网络模型在层数设计上在逐步递增，如2012年的AlexNet模型包含8层网络结构，而2015年的ResNet模型已达到100多层甚至上千层网络结构，同时需要训练海量数据集，使得卷积神经网络在进行图像训练及识别时往往要消耗大量时间，少则数小时多则数十天，这对基于卷积神经网络的图像识别进展产生了很大限制性。而卷积神经网络在训练时最重要的模块就是卷积运算，无论哪种网络模型，大部分计算时间都消耗在卷积计算上，所以对卷积模块的优化非常重要。

现有的一些卷积处理方式，无论是单张图像的处理方式还是批处理的方式，在实现效率上仍有一些需要改进的空间。如传统的单张图像处理，在训练阶段一次处理一张图像后进行参数更新，一方面在算法层面会使得网络收敛速度慢，无法达到理想的识别准确率，另一方面在计算层面并不能充分利用计算资源，尤其在当前硬件资源中内存、CPU性能不断提升的情况下，会导致大量的硬件资源浪费。而对于一些现有的批处理方式，相对于单一图像的处理，虽然在计算效率上性能有所提升，但在算法实现层面如数据结构存储、数据计算方式等方面仍有较大的改进空间，无法充分利用一些计算平台的内存、CPU等资源。

因此，如何提高卷积计算效率，是本领域技术人员需要解决的问题。

发明内容

本发明的目的在于提供一种神经网络模型训练方法、系统、装置及计算机可读存储介质，以提高卷积计算效率。

为实现上述目的，本发明实施例提供了如下技术方案：

一种神经网络模型训练方法，包括：

确定目标神经网络模型的batch size单位的训练数据；

将所述batch size单位的训练数据转换为第一矩阵；

将目标个数的kernel转换为第二矩阵；

利用目标处理器将所述第一矩阵与第二矩阵进行乘计算以训练目标神经网络模型。

其中，所述目标平台为KNM。

其中，所述训练数据为图像数据。

其中，所述目标神经网络模型包括：

AlexNet模型、VGG模型、GoogLeNet模型或ResNet模型。

其中，所述batch size为根据所述目标处理器的处理能力和/或所述目标神经网络模型的预计收敛速度确定的batch size。

为解决上述技术问题，本发明还提供了一种神经网络模型训练系统，包括：

确定模块，用于确定目标神经网络模型的batch size单位的训练数据；

第一转换模块，用于将所述batch size单位的训练数据转换为第一矩阵；

第二转换模块，用于将目标个数的kernel转换为第二矩阵；

计算模块，用于利用目标处理器将所述第一矩阵与第二矩阵进行乘计算以训练目标神经网络模型。

其中，所述训练数据为图像数据。

其中，所述batch size为根据所述目标处理器的处理能力和/或所述目标神经网络模型的预计收敛速度确定的batch size。

为解决上述技术问题，本发明还提供了一种神经网络模型训练装置，其特征在于，包括：

存储器，用于存储计算机程序；

一个或多个处理器，用于执行所述计算机程序时实现如上述任一项所述神经网络模型训练方法的步骤。

为解决上述技术问题，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述神经网络模型训练方法的步骤。

通过以上方案可知，本发明实施例提供的一种神经网络模型训练方法，首先确定目标神经网络模型的batch size单位的训练数据；将所述batch size单位的训练数据转换为第一矩阵；将目标个数的kernel转换为第二矩阵；利用目标处理器将所述第一矩阵与第二矩阵进行乘计算以训练目标神经网络模型。

由此可见，本发明提供的一种神经网络模型训练方法，可以将训练数据与多维kernel转换成矩阵，将卷积运算转换成矩阵乘计算，可以充分利用处理器的计算资源，从而提高卷积神经网络的训练速度，同时使得神经网络在训练过正中梯度下降的方向更加准确，从而加快神经网络的收敛，达到更理想的训练效果。对于batch size尺寸及图像尺寸规模较大的情况下，更能充分利用硬件资源，尤其针对具备大容量内存的硬件平台，实现快速卷积计算，加快卷积神经网络的训练速度。本发明还提供了一种神经网络模型训练系统、装置及计算机可读存储系统，同样可以实现上述技术效果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例公开的一种神经网络模型训练方法流程图；

图2为本发明实施例公开的一种具体的多维输入转换图；

图3为本发明实施例公开的一种具体的多维kernel转换图；

图4为本发明实施例公开的一种神经网络模型训练系统结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例公开了一种神经网络模型训练方法、系统、装置及计算机可读存储介质，以提高卷积计算效率。

参见图1，本发明实施例提供的一种神经网络模型训练方法，具体包括：

S101，确定目标神经网络模型的batch size单位的训练数据。

具体地，在目标神经网络模型训练的过程中，首先确定batch size单位的训练数据，即一批数据，batch size具体的数据量为预先设定的数据量，可以根据处理器的处理能力、预计的神经网络模型的收敛时间确定batch size单位。

其中，目标神经网络模型可以是AlexNet模型、VGG模型、GoogLeNet模型或ResNet模型。

S102，将所述batch size单位的训练数据转换为第一矩阵。

具体地，将上述确定的batch size单位的训练数据进行转换到一个矩阵中。

S103，将目标个数的kernel转换为第二矩阵。

具体地，将训练数据转换为第一矩阵的同时，还需要将预设通道的kernel(滤波器)也转换到一个矩阵中。其中第一矩阵、第二矩阵的规模与输入图像尺寸、kernel尺寸、batch size有关，可以通过调整batch size来调整矩阵规模。

S104，利用目标处理器将所述第一矩阵与第二矩阵进行乘计算以训练目标神经网络模型。

在本方案中，训练神经网络模型的过程中，将一批数据的卷积计算转换成矩阵乘计算，也就是利用目标处理器将第一矩阵和第二矩阵进行矩阵乘计算，从而经过多次上述的确定矩阵、乘计算过程，训练得到目标神经网络。可以通过调整batch size大小来调整矩阵规模，使其充分利用计算平台资源，同时通过调整batch size大小来达到最佳训练准确率。

作为优选的，目标处理器可以选用KNM(Knights Mill)，KNM是英特尔发布的新Xeon Phi处理器。

需要说明的是，对批量输入和多维kernel进行转换之后，实现将批量数据集的卷积运算转换为矩阵乘计算，而对于矩阵乘运算，可以采用多线程并行处理的方式来达到更高的计算效率。

由此可见，本发明实施例提供的一种神经网络模型训练方法，可以将训练数据与多维kernel转换成矩阵，将卷积运算转换成矩阵乘计算，可以充分利用处理器的计算资源，从而提高卷积神经网络的训练速度，同时使得神经网络在训练过正中梯度下降的方向更加准确，从而加快神经网络的收敛，达到更理想的训练效果。对于batch size尺寸及图像尺寸规模较大的情况下，更能充分利用硬件资源，尤其针对具备大容量内存的硬件平台，实现快速卷积计算，加快卷积神经网络的训练速度。

下面对本发明实施例提供的一种具体的神经网络模型训练方法进行介绍，下文描述的一种具体的神经网络模型训练方法与上文描述的一种神经网络模型训练方法可以相互参照。

参见图2与图3，本发明实施例提供的一种具体的神经网络模型训练方法，具体包括：

采用batch批处理的方式，即以batch size为单位，每次获取一批图像进行卷积计算，卷积计算的输入数据包括输入图像集与kernel，对输入图像与kernel做某种变换，将batch size张输入图像转换到一个矩阵当中，同时将多通道kernel转换到一个矩阵当中，从而将一批图像的卷积计算转换成矩阵乘计算，而矩阵规模与输入图像尺寸、kernel尺寸、batch size大小有关。通过调整batch size大小来调整矩阵规模，使其充分利用计算平台资源，同时通过调整batch size大小来达到最佳训练准确率。

参见图2，以如下尺寸的输入和kernel尺寸为例：

输入图像大小为4*4(input_map_size＝4*4)；

输入通道为3(input_channel＝3)；

批量输入图像个数为2(batch_size＝2)。

对批量输入图像集做转换，得到转换矩阵，转换后的矩阵尺寸如下：

转换后矩阵行数为2*3*3(batch_size*output_map_size2)；

转换后矩阵列数为3*2*2(input_channel*kernel_size2)。

参见图3，对包含多通道输入、多通道输出的Kernel同样做矩阵转换，以如下kernel尺寸为例：

kernel大小为2*2(kernel_size＝2*2)；

输入通道为3(input_channel＝3)；

输出通道为2(output_channel＝2)。

对多通道kernel做变换后实现以单维矩阵存储多维kernel，转换后的矩阵尺寸如下：

转换后矩阵行数为3*2*2(input_channel*kernel_size2)；

转换后矩阵列数为3*2*2(output_channel)。

对批量输入和多维kernel转换之后，实现将批量数据集的卷积运算转换为矩阵乘计算，而对于矩阵乘运算，本分明采用多线程并行处理的方式来达到更高的计算效率。对于batch_size尺寸及图像尺寸规模较大的情况下，本发明提出的卷积计算方式更能充分利用硬件资源，尤其针对具备大容量内存的硬件平台，实现快速卷积计算，加快卷积神经网络的训练速度。

下面对本发明实施例提供的一种神经网络模型训练系统进行介绍，下文描述的一种神经网络模型训练系统，与上文描述的一种神经网络模型训练方法可以相互参照。

参见图4，本发明实施例提供的一种神经网络模型训练系统，具体包括：

确定模块201，用于确定目标神经网络模型的batch size单位的训练数据。

具体地，在目标神经网络模型训练的过程中，确定模块201首先确定batch size单位的训练数据，即一批数据，batch size具体的数据量为预先设定的数据量，可以根据处理器的处理能力、预计的神经网络模型的收敛时间确定batch size单位。

第一转换模块202，用于将所述batch size单位的训练数据转换为第一矩阵。

具体地，第一转换模块202将上述确定的batch size单位的训练数据进行转换到一个矩阵中。

第二转换模块203，用于将目标个数的kernel转换为第二矩阵。

具体地，将训练数据转换为第一矩阵的同时，还需要第二转换模块203将预设通道的kernel(滤波器)也转换到一个矩阵中。其中第一矩阵、第二矩阵的规模与输入图像尺寸、kernel尺寸、batch size有关，可以通过调整batch size来调整矩阵规模。

计算模块204，用于利用目标处理器将所述第一矩阵与第二矩阵进行乘计算以训练目标神经网络模型。

在本方案中，训练神经网络模型的过程中，计算模块204将一批数据的卷积计算转换成矩阵乘计算，也就是利用目标处理器将第一矩阵和第二矩阵进行矩阵乘计算，从而经过多次上述的确定矩阵、乘计算过程，训练得到目标神经网络。可以通过调整batch_size大小来调整矩阵规模，使其充分利用计算平台资源，同时通过调整batch_size大小来达到最佳训练准确率。

作为优选的，目标处理器可以选用KNM(Knights Mill)，KNM是英特尔发布的新Xeon Phi处理器。

需要说明的是，对批量输入和多维kernel进行转换之后，计算模块204实现将批量数据集的卷积运算转换为矩阵乘计算，而对于矩阵乘运算，可以采用多线程并行处理的方式来达到更高的计算效率。

由此可见，本发明实施例提供的一种神经网络模型训练系统，第一转换模块201与第二转换模块202可以将训练数据与多维kernel转换成矩阵，计算模块203将卷积运算转换成矩阵乘计算，可以充分利用处理器的计算资源，从而提高卷积神经网络的训练速度，同时使得神经网络在训练过正中梯度下降的方向更加准确，从而加快神经网络的收敛，达到更理想的训练效果。对于batch_size尺寸及图像尺寸规模较大的情况下，更能充分利用硬件资源，尤其针对具备大容量内存的硬件平台，实现快速卷积计算，加快卷积神经网络的训练速度。

下面对本发明实施例提供的一种神经网络模型训练装置进行介绍，下文描述的一种神经网络模型训练装置与上文描述的一种神经网络模型训练方法可以相互参照。

本发明实施例提供的一种神经网络模型训练装置具体包括；

存储器，用于存储计算机程序；

一个或多个处理器，用于执行所述计算机程序时实现上述任一实施例所述神经网络模型训练方法的步骤。

需要说明的是，对于第一矩阵与第二矩阵的转换可以在目标处理器中进行，也可以只利用目标处理器实现乘计算，目标处理器可以采用KNM，已达到最优的处理效果。

下面对本发明实施例提供的一种计算机可读存储介质进行介绍，下文描述的一种计算机可读存储介质与上文描述的一种神经网络模型训练方法可以相互参照。

具体地，计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一实施例所述神经网络模型训练方法的步骤。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种神经网络模型训练方法，其特征在于，包括：

确定目标神经网络模型的batch size单位的训练数据；

将所述batch size单位的训练数据转换为第一矩阵；

将目标个数的kernel转换为第二矩阵；

利用目标处理器将所述第一矩阵与第二矩阵进行乘计算以训练目标神经网络模型。

2.根据权利要求1所述的方法，其特征在于，所述目标平台为KNM。

3.根据权利要求1所述的方法，其特征在于，所述训练数据为图像数据。

4.根据权利要求1所述的方法，其特征在于，所述目标神经网络模型包括：

AlexNet模型、VGG模型、GoogLeNet模型或ResNet模型。

5.根据权利要求1至4中任意一项所述的方法，其特征在于，所述batch size为根据所述目标处理器的处理能力和/或所述目标神经网络模型的预计收敛速度确定的batchsize。

6.一种神经网络模型训练系统，其特征在于，包括：

确定模块，用于确定目标神经网络模型的batch size单位的训练数据；

第一转换模块，用于将所述batch size单位的训练数据转换为第一矩阵；

第二转换模块，用于将目标个数的kernel转换为第二矩阵；

计算模块，用于利用目标处理器将所述第一矩阵与第二矩阵进行乘计算以训练目标神经网络模型。

7.根据权利要求6所述的系统，其特征在于，所述训练数据为图像数据。

8.根据权利要求6或7所述的系统，其特征在于，所述batch size为根据所述目标处理器的处理能力和/或所述目标神经网络模型的预计收敛速度确定的batch size。

9.一种神经网络模型训练装置，其特征在于，包括：

存储器，用于存储计算机程序；

一个或多个处理器，用于执行所述计算机程序时实现如权利要求1至5任一项所述神经网络模型训练方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述神经网络模型训练方法的步骤。