CN109542513A - 一种卷积神经网络指令数据存储系统及方法 - Google Patents

Abstract

本发明公开了一种卷积神经网络指令数据存储系统及方法，属于人工智能数据处理，本发明要解决的技术问题为如何高效有序方便的完成卷积神经网络的模型层数增加，卷积核权重值数量呈指数增长情况下的数据存取访问，采用的技术方案为：一种卷积神经网络指令数据存储系统，该系统包括计算单元模块、输入缓冲模块、输出缓冲模块、输出选择模块、指令分发模块、数据存储模块一、数据存储模块二和中央控制模块，中央控制模块分别连接并控制计算单元模块、输入缓冲模块、输出缓冲模块、输出选择模块、指令分发模块、数据存储模块一和数据存储模块二。本发明还公开了一种卷积神经网络指令数据存储方法。

Description

一种卷积神经网络指令数据存储系统及方法

技术领域

本发明涉及人工智能数据处理领域，具体地说是一种卷积神经网络指令数据存储系统及方法。

背景技术

人工神经网络，简称神经网络，是一种模仿生物神经网络的结构和功能的数学模型或者计算模型。作为人工神经网络最重要的一支，卷积神经网络是近年发展起来，并引起广泛重视的一种高效识别方法。20世纪60年代，Hubel和Wiesel在研究猫脑皮层中用于局部敏感和方向选择的神经元时发现其独特的网络结构可以有效地降低反馈神经网络的复杂性，继而提出了卷积神经网络。

一般卷积神经网络的基本结构包括两层，其一为特征提取层，每个神经元的输入与前一层的局部接受域相连，并提取该局部的特征。一旦该局部特征被提取后，它与其它特征间的位置关系也随之确定下来；其二是特征映射层，网络的每个计算层由多个特征映射组成，每个特征映射是一个平面，平面上所有神经元的权值相等。在模式分类领域，由于该网络避免了对图像的复杂前期预处理，可以直接输入原始图像，得到较为广泛的应用。

随着研究深入，卷积神经网络的模型层数不断增加，卷积核权重值数量也呈指数增长，如何完成卷积神经网络的模型层数增加，卷积核权重值数量呈指数增长情况下的数据存取控制是目前急需解决的技术问题。

专利号为CN108154229A的专利文献公开了基于FPGA加速卷积神经网络框架的图片处理方法，其方案是：1）根据设计的图片参数和FPGA资源参数，计算图片分割固定值；2）根据图片固定值确定DDR3数目，并对块ram资源进行分配；3）根据1）和2）构建卷积神经网络框架，该框架包括图片存储模块，图片数据分配模块，卷积模块，池化模块，图片存回DDR3模块，指令寄存器组；4）各个模块通过握手信号从指令寄存器组中获取控制指令，并相互配合，按照控制指令对图片数据进行处理。但是该技术不能实现对卷积神经网络的模型层数大幅增加，卷积核权重值数量呈指数增长情况下的快速高效的数据存储控制。

发明内容

本发明的技术任务是提供卷积神经网络指令数据存储系统及方法，来解决如何高效有序方便的完成卷积神经网络的模型层数增加，卷积核权重值数量呈指数增长情况下的数据存取访问的问题。

本发明的技术任务是按以下方式实现的，一种卷积神经网络指令数据存储系统，该系统包括计算单元模块、输入缓冲模块、输出缓冲模块、输出选择模块、指令分发模块、数据存储模块一、数据存储模块二和中央控制模块，中央控制模块分别连接并控制计算单元模块、输入缓冲模块、输出缓冲模块、输出选择模块、指令分发模块、数据存储模块一和数据存储模块二；

输入缓冲模块、计算单元模块、输出缓冲模块、输入选择模块、数据存储模块和输入缓冲模块依次连接且相邻两模块之间进行数据传输组成封闭的单向数据传输网；数据存储模块一传输数据到输入缓冲模块；

指令分发模块分别发送指令到输入缓冲模块、计算单元模块、输入缓冲模块和输出选择模块；数据存储模块一发送到指令缓冲块。

作为优选，所述数据存储模块一与输入缓冲模块之间设置有DMA模块一，中央控制单元连接并控制DMA模块一；数据存储模块一传输数据到DMA模块一，DMA模块一传输数据到输入缓冲模块。

作为优选，所述输出选择模块与数据存储模块二之间设置有DMA模块二，中央控制单元连接并控制DMA模块二；输出选择模块传输数据到DMA模块二，DMA模块二传输数据到数据存储模块二。

更优地，所述计算单元模块用于完成单词卷积神经网络中某一层特征图与卷积核的卷积计算；

计算单元模块包括卷积模块、池化模块、累加激活模块和数据量化模块。

更优地，所述中央控制模块用于整个卷积神经网络流程控制，填充指令缓冲模块，发送卷积核权重数据及特征图输入数据并对特征图输出数据进行存储及运算。

更优地，所述输入缓冲模块用于缓冲来自数据存储模块一、数据存储模块二及输出选择模块的卷积核权重数据及特征图输入输出数据；

输出缓冲模块用于缓冲来自计算单元模块的卷积结果并输入选择模块；

输出选择模块用于根据指令分发模块分发的指令，将卷积结果输送到数据存储模块一、输出存储模块二或输入缓冲模块。

更优地，所述数据存储模块一用于存储卷积核权重数据、特征图输入数据及特定特征图输出数据，数据存储模块一是由中央控制模块直接控制存储访问；数据存储模块一存储的特定特征图输出数据包括需要进行非卷积、池化、激活的卷积神经网络操作的特征输出数据以及不便于计算单元模块处理的特征图输出数据，不便于计算单元模块处理的特征图输出数据包括需要进行位置识别的数据或全链接层数量较大的数据。

数据存储模块二用于存储卷积神经网络特征图输出中间结果，数据存储模块二是由计算单元模块经输出缓冲模块直接控制存取访问；

DMA模块用于完成数据的发送和接收。

更优地，所述指令缓冲模块用于缓冲来自中央控制模块发来的指令；

指令分发模块用于根据各个模块指令执行反馈信号，将指令缓冲模块中的指令分发到输入缓冲模块、计算单元模块、输入缓冲模块和输出选择模块。

更优地，所述中央控制模块向指令缓冲模块发送的指令包括计算指令和存储指令，计算指令包括卷积指令、池化指令和累加激活指令；存储指令包括输入缓冲指令、输出缓冲指令、输出选择指令和指令分发指令。

一种卷积神经网络指令数据存储方法，该方法包括如下步骤：

（1）、中央控制模块发送指令到指令缓冲模块；

（2）、指令分发模块将指令缓冲模块中的指令分发到输入缓冲模块、计算单元模块、输入缓冲模块和输出选择模块；

（3）、输入缓冲模块、计算单元模块、输入缓冲模块和输出选择模块根据指令内容分别完成各自计算存储操作，并在指令缓冲模块空间足够时给出新指令反馈；

（4）、当输入缓冲模块、计算单元模块、输入缓冲模块和输出选择模块的计算指令执行完成后，所得数据结果根据指令内容传输到不同存储模块存储：

①、若当前数据结果无需返回中央控制模块，则直接存入计算单元模块对应的数据存储模块二或输送到输入端作为下一次计算输入；

②、若当前数据结果需要返回中央控制模块，则直接存入中央控制模块对应的数据存储模块一；

（5）、当指令存储空间为空且无取新指令反馈时，表明当前神经网络计算完成，计算结果存入中央控制模块对应的数据存储模块一。

本发明的卷积神经网络指令数据存储系统及方法具有以下优点：

（一）、本发明采用指令分发模块分发指令到输入缓冲模块、计算单元模块、输入缓冲模块和输出选择模块，并引入指令执行情况反馈机制，高效有序实现对复杂的卷积神经网络过程的分解与接合，充分利用目标硬件的卷积计算单元模块、数据存储模块一和数据存储模块二的结构特点，提高电路工作效率，降低能耗比；

（二）、本发明采用数据存储模块一和数据存储模块二分别对特定的特征图输入输出及卷积核权重进行存取访问控制，使得中间计算结果尽量保存在计算单元模块周围，减少数据存取访问带来的额外资源与时间开销，进一步提高卷积神经网络计算效率。

附图说明

下面结合附图对本发明进一步说明。

附图1为卷积神经网络指令数据存储系统结构框图。

具体实施方式

参照说明书附图和具体实施例对本发明的一种卷积神经网络指令数据存储系统及方法作以下详细地说明。

实施例1：

如附图1所示，本发明的卷积神经网络指令数据存储系统, 该系统包括计算单元模块、输入缓冲模块、输出缓冲模块、输出选择模块、指令分发模块、数据存储模块一、数据存储模块二和中央控制模块，中央控制模块分别连接并控制计算单元模块、输入缓冲模块、输出缓冲模块、输出选择模块、指令分发模块、数据存储模块一和数据存储模块二；输入缓冲模块、计算单元模块、输出缓冲模块、输入选择模块、数据存储模块和输入缓冲模块依次连接且相邻两模块之间进行数据传输组成封闭的单向数据传输网；数据存储模块一传输数据到输入缓冲模块；指令分发模块分别发送指令到输入缓冲模块、计算单元模块、输入缓冲模块和输出选择模块；数据存储模块一发送到指令缓冲块。数据存储模块一与输入缓冲模块之间设有DMA模块一，中央控制单元连接并控制DMA模块一；数据存储模块一传输数据到DMA模块一，DMA模块一传输数据到输入缓冲模块。输出选择模块与数据存储模块二之间设有DMA模块二，中央控制单元连接并控制DMA模块二；输出选择模块传输数据到DMA模块二，DMA模块二传输数据到数据存储模块二。

其中，计算单元模块用于完成单词卷积神经网络中某一层特征图与卷积核的卷积计算；计算单元模块包括卷积模块、池化模块、累加激活模块和数据量化模块。

中央控制模块用于整个卷积神经网络流程控制，填充指令缓冲模块，发送卷积核权重数据及特征图输入数据并对特征图输出数据进行存储及运算。中央控制模块向指令缓冲模块发送的指令包括计算指令和存储指令，计算指令包括卷积指令、池化指令和累加激活指令；存储指令包括输入缓冲指令、输出缓冲指令、输出选择指令和指令分发指令。

输入缓冲模块用于缓冲来自数据存储模块一、数据存储模块二及输出选择模块的卷积核权重数据及特征图输入输出数据；

输出缓冲模块用于缓冲来自计算单元模块的卷积结果并输入选择模块；

输出选择模块用于根据指令分发模块分发的指令，将卷积结果输送到数据存储模块一、输出存储模块二或输入缓冲模块。

数据存储模块一用于存储卷积核权重数据、特征图输入数据及特定特征图输出数据，数据存储模块一是由中央控制模块直接控制存储访问；数据存储模块一存储的特定特征图输出数据包括需要进行非卷积、池化、激活的卷积神经网络操作的特征输出数据以及不便于计算单元模块处理的特征图输出数据，不便于计算单元模块处理的特征图输出数据包括需要进行位置识别的数据或全链接层数量较大的数据。

数据存储模块二用于存储卷积神经网络特征图输出中间结果，数据存储模块二是由计算单元模块经输出缓冲模块直接控制存取访问；

DMA模块用于完成数据的发送和接收。

指令缓冲模块用于缓冲来自中央控制模块发来的指令；

指令分发模块用于根据各个模块指令执行反馈信号，将指令缓冲模块中的指令分发到输入缓冲模块、计算单元模块、输入缓冲模块和输出选择模块。

实施例2：

实施例1中的卷积神经网络指令数据存储系统的卷积神经网络指令数据存储方法，该方法包括如下步骤：

（1）、中央控制模块发送指令到指令缓冲模块；

（2）、指令分发模块将指令缓冲模块中的指令分发到输入缓冲模块、计算单元模块、输入缓冲模块和输出选择模块；

（3）、输入缓冲模块、计算单元模块、输入缓冲模块和输出选择模块根据指令内容分别完成各自计算存储操作，并在指令缓冲模块空间足够时给出新指令反馈；

（4）、当输入缓冲模块、计算单元模块、输入缓冲模块和输出选择模块的计算指令执行完成后，所得数据结果根据指令内容传输到不同存储模块存储：

①、若当前数据结果无需返回中央控制模块，则直接存入计算单元模块对应的数据存储模块二或输送到输入端作为下一次计算输入；

②、若当前数据结果需要返回中央控制模块，则直接存入中央控制模块对应的数据存储模块一；

（5）、当指令存储空间为空且无取新指令反馈时，表明当前神经网络计算完成，计算结果存入中央控制模块对应的数据存储模块一。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种卷积神经网络指令数据存储系统，其特征在于，该系统包括计算单元模块、输入缓冲模块、输出缓冲模块、输出选择模块、指令分发模块、数据存储模块一、数据存储模块二和中央控制模块，中央控制模块分别连接并控制计算单元模块、输入缓冲模块、输出缓冲模块、输出选择模块、指令分发模块、数据存储模块一和数据存储模块二；

输入缓冲模块、计算单元模块、输出缓冲模块、输入选择模块、数据存储模块和输入缓冲模块依次连接且相邻两模块之间进行数据传输组成封闭的单向数据传输网；数据存储模块一传输数据到输入缓冲模块；

指令分发模块分别发送指令到输入缓冲模块、计算单元模块、输入缓冲模块和输出选择模块；数据存储模块一发送到指令缓冲块。

2.根据权利要求1所述的卷积神经网络指令数据存储系统，其特征在于，所述数据存储模块一与输入缓冲模块之间设置有DMA模块一，中央控制单元连接并控制DMA模块一；数据存储模块一传输数据到DMA模块一，DMA模块一传输数据到输入缓冲模块。

3.根据权利要求1或2所述的卷积神经网络指令数据存储系统，其特征在于，所述输出选择模块与数据存储模块二之间设置有DMA模块二，中央控制单元连接并控制DMA模块二；输出选择模块传输数据到DMA模块二，DMA模块二传输数据到数据存储模块二。

4.根据权利要求3所述的卷积神经网络指令数据存储系统，其特征在于，所述计算单元模块用于完成单词卷积神经网络中某一层特征图与卷积核的卷积计算；

计算单元模块包括卷积模块、池化模块、累加激活模块和数据量化模块。

5.根据权利要求4所述的卷积神经网络指令数据存储系统，其特征在于，所述中央控制模块用于整个卷积神经网络流程控制，填充指令缓冲模块，发送卷积核权重数据及特征图输入数据并对特征图输出数据进行存储及运算。

6.根据权利要求5所述的卷积神经网络指令数据存储系统，其特征在于，所述输入缓冲模块用于缓冲来自数据存储模块一、数据存储模块二及输出选择模块的卷积核权重数据及特征图输入输出数据；

输出缓冲模块用于缓冲来自计算单元模块的卷积结果并输入选择模块；

输出选择模块用于根据指令分发模块分发的指令，将卷积结果输送到数据存储模块一、输出存储模块二或输入缓冲模块。

7.根据权利要求6所述的卷积神经网络指令数据存储系统，其特征在于，所述数据存储模块一用于存储卷积核权重数据、特征图输入数据及特定特征图输出数据，数据存储模块一是由中央控制模块直接控制存储访问；

数据存储模块二用于存储卷积神经网络特征图输出中间结果，数据存储模块二是由计算单元模块经输出缓冲模块直接控制存取访问；

DMA模块用于完成数据的发送和接收。

8.根据权利要求7所述的卷积神经网络指令数据存储系统，其特征在于，所述指令缓冲模块用于缓冲来自中央控制模块发来的指令；

指令分发模块用于根据各个模块指令执行反馈信号，将指令缓冲模块中的指令分发到输入缓冲模块、计算单元模块、输入缓冲模块和输出选择模块。

9.根据权利要求8所述的卷积神经网络指令数据存储系统，其特征在于，所述中央控制模块向指令缓冲模块发送的指令包括计算指令和存储指令，计算指令包括卷积指令、池化指令和累加激活指令；存储指令包括输入缓冲指令、输出缓冲指令、输出选择指令和指令分发指令。

10.一种卷积神经网络指令数据存储方法，其特征在于，该方法包括如下步骤：

（1）、中央控制模块发送指令到指令缓冲模块；

（2）、指令分发模块将指令缓冲模块中的指令分发到输入缓冲模块、计算单元模块、输入缓冲模块和输出选择模块；

（3）、输入缓冲模块、计算单元模块、输入缓冲模块和输出选择模块根据指令内容分别完成各自计算存储操作，并在指令缓冲模块空间足够时给出新指令反馈；

（4）、当输入缓冲模块、计算单元模块、输入缓冲模块和输出选择模块的计算指令执行完成后，所得数据结果根据指令内容传输到不同存储模块存储：

①、若当前数据结果无需返回中央控制模块，则直接存入计算单元模块对应的数据存储模块二或输送到输入端作为下一次计算输入；

②、若当前数据结果需要返回中央控制模块，则直接存入中央控制模块对应的数据存储模块一；

（5）、当指令存储空间为空且无取新指令反馈时，表明当前神经网络计算完成，计算结果存入中央控制模块对应的数据存储模块一。