CN109948785B - 一种高效的神经网络电路系统和方法 - Google Patents

Abstract

本发明公开一种高效的神经网络电路系统和方法，其中神经网络电路系统包括读请求仲裁单元、写请求仲裁单元、两个以上的模块读数控制单元、两个以上的模块写数控制单元、一个以上的多路选通单元、两个以上的神经网络运算模块，读请求仲裁单元与模块读数控制单元分别连接。本发明可以实现每个神经网络运算模块单独运算并与存储器进行交互，也可以实现多个神经网络运算模块的互联工作，这样可以适应不同情况的神经网络运算。

Description

一种高效的神经网络电路系统和方法

技术领域

本发明涉及神经网络领域，尤其涉及一种高效的神经网络电路系统和方法。

背景技术

当前的神经网络加速电路都是按照网络层进行运算,基本的流程就是先进行网络层参数配置,然后开始取数和运算直到该层运算结束后,发出中断给CPU,然后CPU再配置下一层的参数,再开始工作。这样有一个问题就是加速电路中的各个子模块都是串行工作,在每一层网络的运算过程中总会出现不同程度的空闲,这对大幅降低了加速电路的运行效率。

同时由于神经网络的发展迅速,各种网络结构层出不穷,因此按照经典CNN设计的加速电路经常会遇到网络层只需求其中一个或者几个运算的情况,比如某层网络只需要激活运算,或者只需要池化运算,这就造成了运算资源的浪费。

发明内容

为此，需要提供一种高效的神经网络电路系统和方法，解决现有神经网络模块资源浪费、运行效率不高的问题。

为实现上述目的，发明人提供了一种高效的神经网络电路系统，包括读请求仲裁单元、写请求仲裁单元、两个以上的模块读数控制单元、两个以上的模块写数控制单元、一个以上的多路选通单元、两个以上的神经网络运算模块，读请求仲裁单元与模块读数控制单元分别连接，每个模块读数控制单元分别与一个神经网络运算模块单独连接，上一级的神经网络运算模块的输出端与多路选通单元连接，多路选通单元的两个输出端分别与一个模块写数控制单元和下一级的神经网络运算模块连接，模块写数控制单元分别与写请求仲裁单元连接，其中：

读请求仲裁单元用于根据读优先级配置对各个模块读数控制单元的读请求进行仲裁,并把仲裁胜出者的读请求送往存储器进行数据读取；

写请求仲裁单元用于根据写优先级配置对各个模块写数控制单元的写请求进行仲裁,并把仲裁胜出者的写请求送往存储器进行数据写入；

神经网络运算模块用于进行神经网络运算，并将运算结果发送到与之连接的多路选通单元；

多路选通单元用于根据配置决定将数据送往下一级神经网络运算模块或者是与之连接的模块写数控制单元；

读数控制单元用于从存储器取数；

写数控制单元用于存入存储器。

进一步地，还包括寄存器选通控制单元和两个配置寄存器，所述寄存器选通控制单元与神经网络运算模块连接；配置寄存器用于存储神经网络配置信息；寄存器选通控制单元用于获取与之连接的模块工作完成的信号后，从当前选择的配置寄存器切换到另一个配置寄存器。

进一步地，还包括处理器，所述处理器用于获取神经网络运算模块的完成信号，将下一层的神经网络配置信息更新到已被读取的配置寄存器。

进一步地，所述处理器用于在下一层要进入神经网络运算模块联合工作时，在神经网络运算模块运算完成后暂停配置寄存器的切换直到所有的神经网络运算模块运算完成。

进一步地，神经网络运算模块包括卷积乘加运算模块、激活运算模块和池化运算模块；

卷积乘加运算模块用于进行神经网络的卷积运算；

激活运算模块用于进行神经网络的激活函数运算；

池化运算模块用于进行神经网络的池化运算。

本发明提供一种高效的神经网络运算方法，用于神经网络运算电路，神经网络运算电路包括读请求仲裁单元、写请求仲裁单元、两个以上的模块读数控制单元、两个以上的模块写数控制单元、一个以上的多路选通单元、两个以上的神经网络运算模块，读请求仲裁单元与模块读数控制单元分别连接，每个模块读数控制单元分别与一个神经网络运算模块单独连接，上一级的神经网络运算模块的输出端与多路选通单元连接，多路选通单元的两个输出端分别与一个模块写数控制单元和下一级的神经网络运算模块连接，模块写数控制单元分别与写请求仲裁单元连接，其中本方法包括如下步骤：

读数控制单元从存储器取数；

读请求仲裁单元根据读优先级配置对各个模块读数控制单元的读请求进行仲裁,并把仲裁胜出者的读请求送往存储器进行数据读取；

神经网络运算模块进行神经网络运算，并将运算结果发送到与之连接的多路选通单元；

多路选通单元根据配置决定将数据送往下一级神经网络运算模块或者是与之连接的模块写数控制单元；

写数控制单元用于存入存储器；

写请求仲裁单元用于根据写优先级配置对各个模块写数控制单元的写请求进行仲裁,并把仲裁胜出者的写请求送往存储器进行数据写入。

进一步地，神经网络运算电路还包括寄存器选通控制单元和两个配置寄存器，所述寄存器选通控制单元与神经网络运算模块连接；

所述方法还包括步骤：

配置寄存器存储神经网络配置信息；寄存器选通控制单元获取与之连接的模块工作完成的信号后，从当前选择的配置寄存器切换到另一个配置寄存器。

进一步地，神经网络运算电路还包括处理器；

所述方法还包括步骤：

所述处理器获取神经网络运算模块的完成信号，将下一层的神经网络配置信息更新到已被读取的配置寄存器。

进一步地，所述方法还包括步骤：

所述处理器在下一层要进入神经网络运算模块联合工作时，在神经网络运算模块运算完成后暂停配置寄存器的切换直到所有的神经网络运算模块运算完成。

进一步地，神经网络运算模块包括卷积乘加运算模块、激活运算模块和池化运算模块；

所述方法还包括步骤：

卷积乘加运算模块进行神经网络的卷积运算；

激活运算模块进行神经网络的激活函数运算；

池化运算模块进行神经网络的池化运算。

区别于现有技术，上述技术方案通过读请求仲裁单元、写请求仲裁单元、模块读数控制单元、模块写数控制单元以及多路选通单元，可以实现每个神经网络运算模块单独运算并与存储器进行交互，也可以实现多个神经网络运算模块的互联工作，这样可以适应不同情况的神经网络运算，避免神经网络运算资源出现浪费的情况，同时运算后的数据可以直接存储到存储器，也提高了效率。

附图说明

图1为一具体实施方式所述的电路系统示意图；

图2为本发明改进前后的时间消耗对比图；

图3为本发明一实施例的方法流程图。

附图标记说明：

101、读请求仲裁单元；

102、写请求仲裁单元；

103、模块读数控制单元；

104、模块写数控制单元；

105、多路选通单元；

115、卷积乘加运算模块；

116、激活运算模块；

117、池化运算模块；

108、寄存器选通控制单元；

109、配置寄存器；

110、处理器；

120、存储器。

具体实施方式

为详细说明技术方案的技术内容、构造特征、所实现目的及效果，以下结合具体实施例并配合附图详予说明。

请参阅图1到图3，本实施例提供一种高效的神经网络电路系统，包括读请求仲裁单元101、写请求仲裁单元102、两个以上的模块读数控制单元103、两个以上的模块写数控制单元104、一个以上的多路选通单元105、两个以上的神经网络运算模块。神经网络运算模块即用于完成神经网络运算的模块，包括卷积乘加运算模块115、激活运算模块116和池化运算模块117；当然，随着神经网络的发展，也可以包含更多的模块，这些神经网络运算模块都可以分别连接有一个模块读数控制单元和一个多路选通单元以及多路选通单元再连接一个模块写数控制单元。读请求仲裁单元与模块读数控制单元分别连接，每个模块读数控制单元分别与一个神经网络运算模块单独连接，上一级的神经网络运算模块的输出端与多路选通单元连接，多路选通单元的两个输出端分别与一个模块写数控制单元和下一级的神经网络运算模块连接，模块写数控制单元分别与写请求仲裁单元连接。

其中：读请求仲裁单元用于根据读优先级配置对各个模块读数控制单元的读请求进行仲裁,并把仲裁胜出者的读请求送往存储器120进行数据读取；写请求仲裁单元用于根据写优先级配置对各个模块写数控制单元的写请求进行仲裁,并把仲裁胜出者的写请求送往存储器进行数据写入；神经网络运算模块用于进行神经网络运算，并将运算结果发送到与之连接的多路选通单元；多路选通单元用于根据配置决定将数据送往下一级神经网络运算模块或者是与之连接的模块写数控制单元；读数控制单元用于从存储器取数；写数控制单元用于存入存储器。读优先级配置和写优先级配置都代表各个运算模块的优先级，在发生同时读或者同时写的时候，根据优先级的高低，首先响应优先级高的读操作或者写操作。

本发明在使用的时候，存储器用于存储神经网络每层所需的特征数据和卷积核数据，神经网络运算模块可以实现独立工作模式或者联合工作模式。当处于独立工作模式时,可以配置输出端连接的多路选通单元为独立工作状态，以及配置读优先级配置和写优先级配置。而后在工作时，该神经网络运算模块通过独立的模块读数控制单元直接读取存储器数据，并在运算后，处在独立工作状态的多路选通单元会将运算结果直接交由连接的模块写数控制单元写入到存储器。当需要联合工作时，可以配置输出端连接的多路选通单元为联合工作状态，神经网络运算模块获取到配置寄存器的配置数据后也会从上一级的神经网络运算模块获取输入数据,输出数据由处在联合工作状态的多路选通单元输出到下一级神经网络运算模块。这样电路中各个独立运算任务都可以独立进行配置，实现运算模块的一个或者多个独立运算。这样可以适应不同情况的神经网络运算，避免神经网络运算资源出现浪费的情况，同时运算后的数据可以直接存储到存储器，也提高了效率。

特别地，现在神经网络编译器(如TVM编译器)为了效率和计算最优,会拆分每个网络层的具体运算,即每个网络层可能是一个模块进行独立运算或者多个模块进行运算，由于本发明的电路系统可以支持一个模块和多个模块的运算，则可以支持现有的神经网络编译器的运算。

在某些实施例中，本发明的电路系统还包括寄存器选通控制单元108和两个配置寄存器109，所述寄存器选通控制单元与神经网络运算模块连接；配置寄存器用于存储神经网络配置信息；寄存器选通控制单元用于获取与之连接的模块工作完成的信号后，从当前选择的配置寄存器切换到另一个配置寄存器。在本发明的电路开始工作前,处理器先将两层神经网络的配置分别配置到每个模块的配置寄存器A和配置寄存器B，然后电路可以开始工作，工作时首先使用配置寄存器A中的配置进行第一层网络的工作。当与通路选择模块连接的每一个模块(称为本模块)完成当前层的工作后,将本层的工作完成的信号送往与本模块连接的通路选择模块,然后本模块的通路选择模块立刻将该模块的配置寄存器改为配置寄存器B，即为切换到另一个配置寄存器，也就是下一个网络层的配置,而后该模块可以立刻进入下一层的工作处理，每个模块都遵照上面所述的顺序进行工作,这样就完成了配置寄存器的自动切换，神经网络也可以马上实现下一层的工作处理，提高了运算的速度。

具体的时间对比如图2所示，图2是当前技术中的各个模块工作时间分布和本发明装置的对比示意图。可以看出，改进前每层神经网络都是计算完成后再进行下一层，而本发明可以实现对模块的流水线作业，在相同的时间内，可以完成神经网络更多层数的运算，从而提高神经网络运算速度。

为了实现对电路的配置，本电路系统还包括处理器110，处理器可以与电路中任意的模块或者单元相连，实现对这些模块或者单元的控制。本实施例中，所述处理器用于获取神经网络运算模块的完成信号，将下一层的神经网络配置信息更新到已被读取的配置寄存器。这样神经网络运算模块利用一个配置寄存器完成运算后，在切换的时候，处理器会更新已经完成读取并运算的配置寄存器，方便下一次的运算。这样两个配置寄存器可以实现交替工作，可以高效完成多层神经网络的运算。

在进行不同网络层的运算时，不同网络层的模块运算模式可能是独立工作状态(模式)或者联合工作状态(模式)，在联合工作状态进入到独立工作状态时，处理器只要等到联合工作状态运算完成就可以进行模式的切换，对每个多路选通单元、读优先级配置、写优先级配置以及每个运算模块进行配置，每个运算模块进行配置可以通过配置寄存器进行，即可以进入到独立工作状态。而从独立工作状态进入到联合工作状态时，要等待所有的神经网络运算模块都完成工作后，才能进行切换，而后进入独立工作状态，避免出现工作异常状态。

正如上述实施例所述，神经网络运算模块包括卷积乘加运算模块、激活运算模块和池化运算模块；卷积乘加运算模块用于进行神经网络的卷积运算；激活运算模块用于进行神经网络的激活函数运算；池化运算模块用于进行神经网络的池化运算。这样本发明的电路系统可以完成多种神经网络的运算。

本发明提供一种高效的神经网络运算方法，如图3所示，用于神经网络运算电路，神经网络运算电路包括读请求仲裁单元、写请求仲裁单元、两个以上的模块读数控制单元、两个以上的模块写数控制单元、一个以上的多路选通单元、两个以上的神经网络运算模块，读请求仲裁单元与模块读数控制单元分别连接，每个模块读数控制单元分别与一个神经网络运算模块单独连接，上一级的神经网络运算模块的输出端与多路选通单元连接，多路选通单元的两个输出端分别与一个模块写数控制单元和下一级的神经网络运算模块连接，模块写数控制单元分别与写请求仲裁单元连接。

其中本方法包括如下步骤：步骤S301读数控制单元从存储器取数；步骤S302读请求仲裁单元根据读优先级配置对各个模块读数控制单元的读请求进行仲裁,并把仲裁胜出者的读请求送往存储器进行数据读取；步骤S303神经网络运算模块进行神经网络运算，并将运算结果发送到与之连接的多路选通单元；步骤S304多路选通单元根据配置决定将数据送往下一级神经网络运算模块或者是与之连接的模块写数控制单元；步骤S305写数控制单元用于存入存储器；步骤S306写请求仲裁单元用于根据写优先级配置对各个模块写数控制单元的写请求进行仲裁,并把仲裁胜出者的写请求送往存储器进行数据写入。本方法可以实现每个神经网络运算模块单独运算并与存储器进行交互，也可以实现多个神经网络运算模块的互联工作，这样可以适应不同情况的神经网络运算，避免神经网络运算资源出现浪费的情况，同时运算后的数据可以直接存储到存储器，也提高了效率。

为了提高配置效率，神经网络运算电路还包括寄存器选通控制单元和两个配置寄存器，所述寄存器选通控制单元与神经网络运算模块连接；所述方法还包括步骤：配置寄存器存储神经网络配置信息；寄存器选通控制单元获取与之连接的模块工作完成的信号后，从当前选择的配置寄存器切换到另一个配置寄存器。这样就完成了配置寄存器的自动切换，神经网络也可以马上实现下一层的工作处理，提高了运算的速度。

进一步地，神经网络运算电路还包括处理器；所述方法还包括步骤：所述处理器获取神经网络运算模块的完成信号，将下一层的神经网络配置信息更新到已被读取的配置寄存器。这样可以进行流水线的多层的神经网络运算。

进一步地，所述方法还包括步骤：所述处理器在下一层要进入神经网络运算模块联合工作时，在神经网络运算模块运算完成后暂停配置寄存器的切换直到所有的神经网络运算模块运算完成。这样从独立工作状态进入到联合工作状态时，要等待所有的神经网络运算模块都完成工作后，才能进行切换，而后进入独立工作状态，避免出现工作异常状态。

在某些实施例中，神经网络运算模块包括卷积乘加运算模块、激活运算模块和池化运算模块；所述方法还包括步骤：卷积乘加运算模块进行神经网络的卷积运算；激活运算模块进行神经网络的激活函数运算；池化运算模块进行神经网络的池化运算。这样本发明可以完成至少包含卷积运算、激活函数运算、池化运算中一种的运算，实现多种运算模式。

需要说明的是，尽管在本文中已经对上述各实施例进行了描述，但并非因此限制本发明的专利保护范围。因此，基于本发明的创新理念，对本文所述实施例进行的变更和修改，或利用本发明说明书及附图内容所作的等效结构或等效流程变换，直接或间接地将以上技术方案运用在其他相关的技术领域，均包括在本发明的专利保护范围之内。

Claims (10)

1.一种高效的神经网络电路系统，其特征在于：包括读请求仲裁单元、写请求仲裁单元、两个以上的模块读数控制单元、两个以上的模块写数控制单元、一个以上的多路选通单元、两个以上的神经网络运算模块，读请求仲裁单元与模块读数控制单元分别连接，每个模块读数控制单元分别与一个神经网络运算模块单独连接，上一级的神经网络运算模块的输出端与多路选通单元连接，多路选通单元的两个输出端分别与一个模块写数控制单元和下一级的神经网络运算模块连接，模块写数控制单元分别与写请求仲裁单元连接，其中：

读请求仲裁单元用于根据读优先级配置对各个模块读数控制单元的读请求进行仲裁,并把仲裁胜出者的读请求送往存储器进行数据读取；

写请求仲裁单元用于根据写优先级配置对各个模块写数控制单元的写请求进行仲裁,并把仲裁胜出者的写请求送往存储器进行数据写入；

神经网络运算模块用于进行神经网络运算，并将运算结果发送到与之连接的多路选通单元；

多路选通单元用于根据配置决定将数据送往下一级神经网络运算模块或者是与之连接的模块写数控制单元；

读数控制单元用于从存储器取数；

写数控制单元用于存入存储器。

2.根据权利要求1所述的一种高效的神经网络电路系统，其特征在于：还包括寄存器选通控制单元和两个配置寄存器，所述寄存器选通控制单元与神经网络运算模块连接；配置寄存器用于存储神经网络配置信息；寄存器选通控制单元用于获取与之连接的模块工作完成的信号后，从当前选择的配置寄存器切换到另一个配置寄存器。

3.根据权利要求2所述的一种高效的神经网络电路系统，其特征在于：还包括处理器，所述处理器用于获取神经网络运算模块的完成信号，将下一层的神经网络配置信息更新到已被读取的配置寄存器。

4.根据权利要求3所述的一种高效的神经网络电路系统，其特征在于：所述处理器用于在下一层要进入神经网络运算模块联合工作时，在神经网络运算模块运算完成后暂停配置寄存器的切换直到所有的神经网络运算模块运算完成。

5.根据权利要求1到4任一项所述的一种高效的神经网络电路系统，其特征在于：神经网络运算模块包括卷积乘加运算模块、激活运算模块和池化运算模块；

卷积乘加运算模块用于进行神经网络的卷积运算；

激活运算模块用于进行神经网络的激活函数运算；

池化运算模块用于进行神经网络的池化运算。

6.一种高效的神经网络运算方法，用于神经网络运算电路，其特征在于：神经网络运算电路包括读请求仲裁单元、写请求仲裁单元、两个以上的模块读数控制单元、两个以上的模块写数控制单元、一个以上的多路选通单元、两个以上的神经网络运算模块，读请求仲裁单元与模块读数控制单元分别连接，每个模块读数控制单元分别与一个神经网络运算模块单独连接，上一级的神经网络运算模块的输出端与多路选通单元连接，多路选通单元的两个输出端分别与一个模块写数控制单元和下一级的神经网络运算模块连接，模块写数控制单元分别与写请求仲裁单元连接，其中本方法包括如下步骤：

读数控制单元从存储器取数；

读请求仲裁单元根据读优先级配置对各个模块读数控制单元的读请求进行仲裁,并把仲裁胜出者的读请求送往存储器进行数据读取；

神经网络运算模块进行神经网络运算，并将运算结果发送到与之连接的多路选通单元；

多路选通单元根据配置决定将数据送往下一级神经网络运算模块或者是与之连接的模块写数控制单元；

写数控制单元用于存入存储器；

写请求仲裁单元用于根据写优先级配置对各个模块写数控制单元的写请求进行仲裁,并把仲裁胜出者的写请求送往存储器进行数据写入。

7.根据权利要求6所述的一种高效的神经网络运算方法，其特征在于：神经网络运算电路还包括寄存器选通控制单元和两个配置寄存器，所述寄存器选通控制单元与神经网络运算模块连接；

所述方法还包括步骤：

配置寄存器存储神经网络配置信息；寄存器选通控制单元获取与之连接的模块工作完成的信号后，从当前选择的配置寄存器切换到另一个配置寄存器。

8.根据权利要求7所述的一种高效的神经网络运算方法，其特征在于：神经网络运算电路还包括处理器；

所述方法还包括步骤：

所述处理器获取神经网络运算模块的完成信号，将下一层的神经网络配置信息更新到已被读取的配置寄存器。

9.根据权利要求8所述的一种高效的神经网络运算方法，其特征在于：所述方法还包括步骤：

所述处理器在下一层要进入神经网络运算模块联合工作时，在神经网络运算模块运算完成后暂停配置寄存器的切换直到所有的神经网络运算模块运算完成。

10.根据权利要求6到9任一项所述的一种高效的神经网络运算方法，其特征在于：神经网络运算模块包括卷积乘加运算模块、激活运算模块和池化运算模块；

所述方法还包括步骤：

卷积乘加运算模块进行神经网络的卷积运算；

激活运算模块进行神经网络的激活函数运算；

池化运算模块进行神经网络的池化运算。

Images