CN108960411A

CN108960411A - 一种卷积神经网络调整及相关装置

Info

Publication number: CN108960411A
Application number: CN201810677993.4A
Authority: CN
Inventors: 程云; 赵雅倩; 董刚; 李雪雷; 刘栩辰
Original assignee: Zhengzhou Yunhai Information Technology Co Ltd
Current assignee: Zhengzhou Yunhai Information Technology Co Ltd
Priority date: 2018-06-27
Filing date: 2018-06-27
Publication date: 2018-12-07

Abstract

本发明公开了一种卷积神经网络调整方法，通过对卷积核参数与输入数据参数进行调整从而增加对应的通道数，进而可以实现在不改变计算结果的前提下，通过改变参数增加对应的通道数，并对卷积核数据和输入数据进行调整从而可以充分的利用计算资源，提高第一层卷积层的卷积计算速度，进而缩短整个神经网络的计算时间。本申请还提供了一种卷积神经网络调整系统、装置及计算机可读存储介质，同样可以实现上述技术效果。

Description

一种卷积神经网络调整及相关装置

技术领域

本发明涉及机器学习，更具体地说，涉及一种卷积神经网络调整方法、系统、装置及计算机可读存储介质。

背景技术

深度神经网络作为一种近年来最受关注的机器学习算法，在图像视频处理、语音识别、自然语言处理、自动驾驶等领域获得了广泛的应用，也取得了出色的效果。其中作为最成熟的网络模型之一，卷积神经网络目前广泛的用于计算机视觉，语音识别，自然语言处理和文本分类。卷积神经网络包含卷积层、池化层和激活层等，卷积层的作用是提取图像的各种特征，池化层的作用是对原始特征信号进行抽象，从而大幅度减少训练参数。在卷积神经网络的卷积层中，一个神经元只与部分邻层神经元连接。在一个卷积层中，通常包含若干个特征通道，同一特征通道的数据共享权值，这里共享的权值就是卷积核。卷积核带来的直接好处是减少网络各层之间的连接，同时又降低了过拟合的风险。

卷积计算是神经网络的主要计算，而多通道的卷积计算是深度神经网络的主要计算。片上的特征数据是三维数据，三个维度分别可以表示为行，列和通道，即可用：行W*列H*通道C，表示片上特征的尺寸，同时卷积后的特征数据也是个三维数据，可以表示为行M*列N*通道K，每一卷积层的卷积核为一个四维数据，可以表示成R*S*C*K。一般而言，深度学习的图像输入为RGB图像，即第一层卷积层的通道数为3。

在整个卷积神经网络中，存在数层甚至数十层的卷积层，除了第一层卷积层的通道数为3，其余卷积层的通道数均较大。综合考虑后，在FPGA上，基于DSP的卷积计算阵列适用于通道数较大的情况，第一层输入的通道数较小，在适用卷积计算阵列进行计算时，会采用补0的方法以增加通道数，极大的浪费了计算资源。

因此，如何减少计算资源的浪费，是本领域技术人员需要解决的问题。

发明内容

本发明的目的在于提供一种卷积神经网络调整方法、系统、装置及计算机可读存储介质，以减少计算资源的浪费。

为实现上述目的，本发明实施例提供了如下技术方案：

一种卷积神经网络调整方法，包括：

确定当前神经网络模型的第一层卷积层；

调整所述第一层卷积层的卷积核参数，增加卷积核的通道数，得到第一调整结果；

调整所述第一层卷积层的输入数据参数，增加输入数据的通道数，得到第二调整结果；

利用所述第一调整结果与所述第二调整结果确定对应的神经网络模型。

其中，所述调整所述第一卷积层的卷积核参数，增加卷积核的通道数，包括：

确定当前第一层卷积层的卷积核的第一尺寸；

将所述第一尺寸调整为第二尺寸，并利用所述第二尺寸增加所述卷积核的通道数；其中所述第二尺寸小于所述第一尺寸。

其中，所述调整所述第一层卷积层的输入数据参数，增加输入数据的通道数，包括：

利用所述第二尺寸调整输入数据参数，并利用所述第二尺寸增加输入数据的通道数。

其中，所述第二尺寸为1*1。

其中，所述利用所述第一调整结果与所述第二调整结果确定对应的第一层卷积层，包括：

将利用所述第一调整结果与所述第二调整结果确定对应的神经网络模型发送至FPGA。

为解决上述技术问题，本申请还提供了一种卷积神经网络调整系统，包括：

第一确定模块，用于确定当前神经网络模型的第一层卷积层；

第一调整模块，用于调整所述第一层卷积层的卷积核参数，增加卷积核的通道数，得到第一调整结果；

第二调整模块，用于调整所述第一层卷积层的输入数据参数，增加输入数据的通道数，得到第二调整结果；

第二确定模块，用于利用所述第一调整结果与所述第二调整结果确定对应的神经网络模型。

其中，所述第一调整模块，包括：

第一尺寸确定单元，用于确定当前第一层卷积层的卷积核的第一尺寸；

第一调整单元，用于将所述第一尺寸调整为第二尺寸，并利用所述第二尺寸增加所述卷积核的通道数，得到第一调整结果；其中所述第二尺寸小于所述第一尺寸。

其中，所述第二调整模块，具体用于，利用所述第二尺寸调整输入数据参数，并利用所述第二尺寸增加输入数据的通道数，得到第三调整结果。

本申请还提供了一种卷积神经网络调整装置，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如所述卷积神经网络调整方法的步骤。

本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如所述卷积神经网络调整方法的步骤。

通过以上方案可知，本发明提供的一种卷积神经网络调整方法，包括：确定当前神经网络模型的第一层卷积层；调整所述第一层卷积层的卷积核参数，增加卷积核的通道数，得到第一调整结果；调整所述第一层卷积层的输入数据参数，增加输入数据的通道数，得到第二调整结果；利用所述第一调整结果与所述第二调整结果确定对应的神经网络模型。

由此可见，本申请提供的一种卷积神经网络调整方法，通过对卷积核参数与输入数据参数进行调整从而增加对应的通道数，进而可以实现在不改变计算结果的前提下，通过改变参数增加对应的通道数，并对卷积核数据和输入数据进行调整从而可以充分的利用计算资源，提高第一层卷积层的卷积计算速度，进而缩短整个神经网络的计算时间。

本申请还提供了一种卷积神经网络调整系统、装置及计算机可读存储介质，同样可以实现上述技术效果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例公开的一种卷积神经网络调整方法流程；

图2为本发明实施例公开的一种具体的卷积神经网络调整方法流程；

图3为本发明实施例公开的卷积核重排示意图；

图4为本发明实施例公开的输入数据重排示意图；

图5为本发明实施例公开的一种卷积神经网络调整系统结构示意图；

图6为本发明实施例公开的一种卷积神经网络调整装置结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例公开了一种卷积神经网络调整方法、系统、装置及计算机可读存储介质，以减少计算资源的浪费。

参见图1，本发明实施例提供的一种卷积神经网络调整方法，具体包括：

S101，确定当前神经网络模型的第一层卷积层。

在本方案中，需要根据训练好的神经网络模型，优化其第一卷积层的输入参数和卷积核参数，增加输入数据和卷积核的通道数，同时对相应的尺寸进行调整。

首先，确定当前训练好的神经网络模型的第一层卷积层。

S102，调整所述第一层卷积层的卷积核参数，增加卷积核的通道数，得到第一调整结果。

具体地，对参数数据进行调整，即调整第一层卷积层的卷积核参数。

通常每一卷积层的卷积核为一个四维数据，可以表示成R*S*C*K，目前由于第一卷积层的通道数只有3，因此第一卷积层的卷积核可以表示成R*S*3*K，其中，R*S为卷积核的大小，C是输入通道数，K是输出通道数。

对于卷积核而言，其中的每一个输出通道的每一个数据，对应的卷积平面的第一尺寸由R*S变为第二尺寸，作为优选的，第二尺寸为1*1。也就是说，将R*S变为1*1，而相应的，卷积核对应的输入通道数也由3变为3*R*S，也即，将卷积核由R*S*3*K转变为1*1*(3*R*S)*K。

S103，调整所述第一层卷积层的输入数据参数，增加输入数据的通道数，得到第二调整结果。

具体地，还需要调整输入数据对应的通道数，即根据卷积核的调整，并结合第一层卷积的步幅(stride)和填充(padding)，调整相应的输入参数，从而增加输入的通道数。

即，利用上述第二尺寸对应的调整输入数据参数，并增加输入数据的通道数。例如，例如，步幅为1，填充为0，则将输入数据的尺寸由W*H*3修改为W*H*(3*R*S)，通道数由3增加为(3*R*S)。当步幅大于1时，则每一通道上的尺寸也会发生相应的变化。

S104，利用所述第一调整结果与所述第二调整结果确定对应的神经网络模型。

具体地，利用第一调整结果与第二调整结果确定对应的神经网络模型，也就是说，利用重排调整后的卷积核参数与输入数据参数得到对应的新的神经网络模型。新的神经网络模型会对调整后的输入数据进行计算。

作为优选的，上述调整过程由CPU进行处理，并将处理结果也就是第一调整结果与第二调整结果生成适配FPGA神经网络加速器对应的调度器或者指令流，发送给FPGA，由FPGA对调整后的输入数据进行计算。

由此可见，本申请实施例提供的一种卷积神经网络调整方法，通过对卷积核参数与输入数据参数进行调整从而增加对应的通道数，进而可以实现在不改变计算结果的前提下，通过改变参数增加对应的通道数，并对卷积核数据和输入数据进行调整从而可以充分的利用计算资源，提高第一层卷积层的卷积计算速度，进而缩短整个神经网络的计算时间。

下面对本申请实施例提供的一种具体的卷积神经网络调整方法，与上述实施例可以相互参照。

参见图2、图3、图4，本申请实施例提供的一种具体的卷积神经网络调整方法，具体包括：

步骤一：根据训练好的神经网络模型，优化第一卷积层的输入参数和卷积核参数，增加输入数据和卷积核的通道数，同时对其尺寸进行相应的调整。针对调整后的网络模型生成适配FPGA神经网络加速器对应的调度器或者指令流。

步骤二：参数数据的调整。对第一卷积层的参数进行调整，将卷积核由R*S*3*K的卷积核转变为1*1*(3*R*S)*K的卷积核。即二维平面上的卷积核的尺寸由R*S变为1*1，相应的将二维平面上的计算转移到通道维度上，将通道数由以前的3变为3*R*S。

具体的，参见图3，对于卷积核而言，其中的每一个输出通道的每一个数据，对应的卷积平面的特征尺寸由R*S变为1*1，而卷积核的通道数变为3*R*S。

步骤三：输入数据的调整。根据卷积核的调整，并结合第一层卷积的步幅和填充,调整相应的输入参数，从而增加输入的通道数。例如，步幅为1，填充为0，则将输入数据的尺寸由W*H*3修改为W*H*(3*R*S)，通道数由3增加为(3*R*S)。当步幅大于1时，则每一通道上的尺寸也会发生相应的变化。

具体的，参见图4，需将输入图像的通道数由3变为3*R*S，即将一个输入通道上的卷积核对应的每个R*S的卷积平面的每一个数据放到一个单独的通道上，其重排顺序需与卷积核的重排一致。

需要说明的是，假设输入图像的尺寸为W*H*3，即输入图像的宽度为W，高度为H，输入通道为3，图像上的每一个数据可以表示为W(i，j，c),其中0＝<i＝<W-1,0＝<j＝<H-1,0＝<c＝<2。同时假设输出通道数为K，则四维卷积核的尺寸为R*S*3*K，卷积核中的每一个数据可以表示成W(i，j，c，k)，其中0＝<i＝<R-1,0＝<j＝<S-1,0＝<c＝<2，0＝<k<＝K-1。对于输出图像上的每一个点O(m,n,k)，其计算公式可表示为每一个输出的计算需要进行R*S*3次乘法操作。则，将输入数据参数与卷积核参数相应的进行调整后，输入图像的宽度为W'，高度为H'，输入通道为3*R*S，输出的计算过程也变为

步骤四：将调整后的卷积核数据，输入数据等发送给FPGA进行加速计算。

具体的，在完成第一层的卷积核和输入数据的转换后，将数据载入到FPGA板卡中，第一层计算的输入通道数增多后，会加快第一层卷积过程，第一层卷积所需时间将缩短数倍或数十倍，从而缩短了整个网络的计算时间。

下面对本申请实施例提供的一种卷积神经网络调整系统进行介绍，下文描述的一种卷积神经网络调整系统与上述任意方法实施例可以相互参照。

参见图5，本申请实施例提供的一种卷积神经网络调整系统，具体包括：

第一确定模块201，用于确定当前神经网络模型的第一层卷积层。

首先，第一确定模块201确定当前训练好的神经网络模型的第一层卷积层。

第一调整模块202，用于调整所述第一层卷积层的卷积核参数，增加卷积核的通道数，得到第一调整结果。

具体的，第一调整模块202具体包括：

具体地，第一调整模块202对参数数据进行调整，即调整第一层卷积层的卷积核参数。

第二调整模块203，用于调整所述第一层卷积层的输入数据参数，增加输入数据的通道数，得到第二调整结果。

具体地，第二调整模块203还需要调整输入数据对应的通道数，即根据卷积核的调整，并结合第一层卷积的步幅和填充，调整相应的输入参数，从而增加输入的通道数。

即，第二调整模块203利用上述第二尺寸对应的调整输入数据参数，并增加输入数据的通道数。例如，例如，步幅为1，填充为0，则将输入数据的尺寸由W*H*3修改为W*H*(3*R*S)，通道数由3增加为(3*R*S)。当步幅大于1时，则每一通道上的尺寸也会发生相应的变化。

第二确定模块204，用于利用所述第一调整结果与所述第二调整结果确定对应的神经网络模型。

具体地，第二确定模块204利用第一调整结果与第二调整结果确定对应的神经网络模型，也就是说，利用重排调整后的卷积核参数与输入数据参数得到对应的新的神经网络模型。新的神经网络模型会对调整后的输入数据进行计算。

下面对本申请实施例提供的一种卷积神经网络调整装置进行介绍，参见图6，下文描述的一种卷积神经网络调整装置，具体包括：

存储器100，用于存储计算机程序；

处理器200，用于执行所述计算机程序时实现如上述卷积神经网络调整方法的步骤。

具体的，存储器100包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机可读指令，该内存储器为非易失性存储介质中的操作系统和计算机可读指令的运行提供环境。处理器200为数据采集设备提供计算和控制能力，可以实现上述任一卷积神经网络调整方法实施例所提供的步骤，在本方案中，处理器优选为CPU。

在上述实施例的基础上，作为优选实施方式，所述数据采集设备还包括：

输入接口300，用于获取外部导入的计算机程序、参数和指令，经处理器控制保存至存储器中。该输入接口300可以与输入装置相连，接收用户手动输入的参数或指令。该输入装置可以是显示屏上覆盖的触摸层，也可以是终端外壳上设置的按键、轨迹球或触控板，也可以是键盘、触控板或鼠标等。具体的，在本实施例中，用户可以通过输入接口300输入输入数据、网络模型、参数等。

显示单元400，用于显示处理器发送的数据。该显示单元40可以为PC机上的显示屏、液晶显示屏或者电子墨水显示屏等。具体的，在本实施例中，显示单元400可以显示处理结果，例如优化后的网络模型与参数、调整后的输入数据。

网络端口500，用于与外部各终端设备进行通信连接。该通信连接所采用的通信技术可以为有线通信技术或无线通信技术，如移动高清链接技术(MHL)、通用串行总线(USB)、高清多媒体接口(HDMI)、无线保真技术(WiFi)、蓝牙通信技术、低功耗蓝牙通信技术、基于IEEE802.11s的通信技术等。具体地，在本实施例中该网络端口包括与FPGA相连的端口与普通网络端口。可以通过用于与FPGA相连的端口与FPGA相连，并将调整后的数据发送至FPGA。

本申请还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时可以实现上述实施例所提供的步骤。该存储介质可以包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims

1.一种卷积神经网络调整方法，其特征在于，包括：

确定当前神经网络模型的第一层卷积层；

2.根据权利要求1所述的方法，其特征在于，所述调整所述第一卷积层的卷积核参数，增加卷积核的通道数，包括：

确定当前第一层卷积层的卷积核的第一尺寸；

3.根据权利要求2所述的方法，其特征在于，所述调整所述第一层卷积层的输入数据参数，增加输入数据的通道数，包括：

4.根据权利要求2所述的方法，其特征在于，所述第二尺寸为1*1。

5.根据权利要求1至4任意一项所述的方法，其特征在于，所述利用所述第一调整结果与所述第二调整结果确定对应的第一层卷积层，包括：

6.一种卷积神经网络调整系统，其特征在于，包括：

7.根据权利要求6所述的方法，其特征在于，所述第一调整模块，包括：

8.根据权利要求7所述的方法，其特征在于，所述第二调整模块，具体用于，利用所述第二尺寸调整输入数据参数，并利用所述第二尺寸增加输入数据的通道数，得到第三调整结果。

9.一种卷积神经网络调整装置，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如权利要求1至5任一项所述卷积神经网络调整方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述卷积神经网络调整方法的步骤。