CN111353589B - 用于执行人工神经网络正向运算的装置和方法 - Google Patents

Abstract

本发明提供了一种用于执行人工神经网络正向运算的装置，包括数据互通模块、主运算模块、多个从运算模块，所述主运算模块通过所述数据互通模块与所述多个从运算模块物理连接，其中：主运算模块，用于获取神经元数据；数据互通模块，用于将神经元数据发送给多个从运算模块；从运算模块，用于将输入神经元向量分别与该从运算模块的权值向量进行点积运算得到输出结果；数据互通模块，用于将多个从运算的输出结果组成中间结果，将中间结果输出给主运算模块；所述主运算模块，用于依据中间结果得到最后的输出神经元向量，然后可以根据所得到的本层权值的梯度来更新本层的权值。

Description

用于执行人工神经网络正向运算的装置和方法

技术领域

本披露总体上涉及人工神经网络，具体地涉及一种用于执行人工神经网络正向运算的装置和方法。

背景技术

多层人工神经网络被广泛应用于模式识别，图像处理，函数逼近和优化计算等领域，多层人工网络在近年来由于其较高的识别准确度和较好的可并行性，受到学术界和工业界越来越广泛的关注。

一种支持多层人工神经网络正向运算的已知方法是使用通用处理器。该方法通过使用通用寄存器堆和通用功能部件执行通用指令来支持上述算法。该方法的缺点之一是单个通用处理器的运算性能较低，无法满足通常的多层人工神经网络运算的性能需求。而多个通用处理器并行执行时，通用处理器之间相互通信又成为了性能瓶颈。另外，通用处理器需要把多层人工神经网络正向运算译码成一长列运算及访存指令序列，处理器前端译码带来了较大的功耗开销

另一种支持多层人工神经网络反向训练的已知方法是使用图形处理器(GPU)。该方法通过使用通用寄存器堆和通用流处理单元执行通用SIMD指令来支持上述算法。由于GPU是专门用来执行图形图像运算以及科学计算的设备，没有对多层人工神经网络运算的专门支持，仍然需要大量的前端译码工作才能执行多层人工神经网络运算，带来了大量的额外开销。另外GPU只有较小的片上缓存，多层人工神经网络的模型数据(权值)需要反复从片外搬运，片外带宽成为了主要性能瓶颈。另外，GPU只有较小的片上缓存，多层人工神经网络的模型数据(权值)需要反复从片外搬运，片外带宽成为了主要性能瓶颈，同时带来了巨大的功耗开销。

发明内容

本披露的一个方面提供了一种用于执行人工神经网络正向运算的装置，包括指令缓存单元、控制器单元、直接内存访问单元、H树模块、主运算模块、以及多个从运算模块，其中：指令缓存单元用于通过直接内存访问单元读入指令并缓存读入的指令；控制器单元用于从指令缓存单元读取指令，并将该指令译码成控制H树模块、主运算模块、以及从运算模块行为的微指令；直接内存访问单元用于从外部地址空间向主运算模块和各从运算模块的相应数据缓存单元中写数据或从所述数据缓存单元向外部地址空间读数据；H树模块用于，在每层神经网络反向训练开始计算的阶段，主运算模块通过H树模块向所有的从运算模块传输本层的输入神经元向量，在从计算模块的计算过程完成后，H树模块逐级将各从计算模块的输出神经元值拼成中间结果向量；主运算模块用于利用中间结果向量完成后续计算。

本披露的另一个方面提供了一种使用上述装置执行单层人工神经网络正向运算的方法。

本披露的另一方面提供了一种使用上述装置执行多层人工神经网络正向运算的方法。

附图说明

为了更完整地理解本披露及其优势，现在将参考结合附图的以下描述，其中：

图1示出了根据本披露实施例的用于执行人工神经网络正向运算的装置的整体结构的示例框图。

图2示意性示出了根据本披露实施例的用于执行人工神经网络正向运算的装置中H树模块的结构。

图3示出了根据本披露实施例的用于执行人工神经网络正向运算的装置中主运算模块结构的示例框图。

图4示出了根据本披露实施例的用于执行人工神经网络正向运算的装置中从运算模块结构的示例框图。

图5示出了根据本披露实施例的神经网络正向运算过程的示例框图。

图6示出了根据本披露实施例的单层人工神经网络运算的流程图。

在所有附图中，相同的装置、部件、单元等使用相同的附图标记来表示。

具体实施方式

根据结合附图对本披露示例性实施例的以下详细描述，本披露的其它方面、优势和突出特征对于本领域技术人员将变得显而易见。

在本披露中，术语“包括”和“含有”及其派生词意为包括而非限制；术语“或”是包含性的，意为和/或。

在本说明书中，下述用于描述本披露原理的各种实施例只是说明，不应该以任何方式解释为限制披露的范围。参照附图的下述描述用于帮助全面理解由权利要求及其等同物限定的本披露的示例性实施例。下述描述包括多种具体细节来帮助理解，但这些细节应认为仅仅是示例性的。因此，本领域普通技术人员应认识到，在不背离本披露的范围和精神的情况下，可以对本文中描述的实施例进行多种改变和修改。此外，为了清楚和简洁起见，省略了公知功能和结构的描述。此外，贯穿附图，相同参考数字用于相似功能和操作。

根据本披露实施例的多层人工神经网络的正向运算，包括两层或者两层以上的多个神经元。对于每一层来说，输入神经元向量首先和权值向量进行点积运算，结果经过激活函数得到输出神经元。其中激活函数可以是sigmoid函数，tanh、relu、softmax函数等。

图1示出了根据本披露实施例的用于执行人工神经网络正向运算的装置的整体结构的示例框图。如图1所示，该装置包括指令缓存单元1、控制器单元2、直接内存访问单元3、H树模块4、主运算模块5和多个从运算模块6。指令缓存单元1、控制器单元2、直接内存访问单元3、H树模块4、主运算模块5和从运算模块6均可以通过硬件电路(例如专用集成电路ASIC)实现。

指令缓存单元1通过直接内存访问单元3读入指令并缓存读入的指令。

控制器单元2从指令缓存单元1中读取指令，将指令译成控制其他模块行为的微指令，所述其他模块例如直接内存访问单元3、主运算模块5和从运算模块6等。

直接内存访问单元3能够访存外部地址空间，直接向装置内部的各个缓存单元读写数据，完成数据的加载和存储。

图2示意性示出了H树模块4的结构。H树模块4构成主运算模块5和多个从运算模块6之间的数据通路，并具有H树型的结构。H树是由多个节点构成的二叉树通路，每个节点将上游的数据同样地发给下游的两个节点，将下游的两个节点返回的数据进行合并，并返回给上游的节点。例如，在每层人工神经网络开始计算阶段，主运算模块5内的神经元数据通过H树模块4发送给各个从运算模块6；当从运算模块6的计算过程完成后，当从运算模块的计算过程完成后，每个从运算模块输出的神经元的值会在H树中逐级拼成一个完整的由神经元组成的向量，作为中间结果向量。以神经网络全连接层进行说明，假设装置中共有N个从运算模块，则中间结果向量按N分段，每段有N个元素，第i个从运算模块计算每段中的第i个元素。N个元素经过H树模块拼成长度为N的向量并返回给主运算模块。所以如果网络只有N个输出神经元，则每个从运算单元只需输出单个神经元的值，若网络有m*N个输出神经元，则每个从运算单元需输出m个神经元值。

图3示出了根据本披露实施例的用于执行人工神经网络正向运算的装置中主运算模块5的结构的示例框图。如图3所示，主运算模块5包括运算单元51、数据依赖关系判断单元52和神经元缓存单元53。

神经元缓存单元53用于缓存主运算模块5在计算过程中用到的输入数据和输出数据，运算单元51完成主运算模块5的各种运算功能，数据依赖关系判断单元52是运算单元51读写神经元缓存单元53的端口，同时能够保证神经元缓存单元中数据的读写一致性。同时，数据依赖关系判断单元52也负责将读取数据通过H树模块4发送给从计算模块，而从计算模块6的输出数据通过H树模块4直接发送给运算单元51。控制器单元2输出的指令发送给计算单元51和数据依赖关系判断单元52，来控制其行为。

图4示出了根据本披露实施例的用于执行人工神经网络正向运算的装置中从运算模块6的结构的示例框图。如图4所示，每个从运算模块6包括运算单元61、数据依赖关系判定单元62、神经元缓存单元63和权值缓存单元64。

运算单元61接收控制器单元2发出的微指令并进行算数逻辑运算。

数据依赖关系判断单元62负责计算过程中对神经元缓存单元的读写操作。数据依赖关系判断单元62执行读写操作之前会首先保证指令之间所用的数据不存在读写一致性冲突。例如，所有发往数据依赖关系单元62的微指令都会被存入数据依赖关系单元62内部的指令队列里，在该队列中，读指令的读取数据的范围如果与队列位置靠前的写指令写数据的范围发生冲突，则该指令必须等到所依赖的写指令被执行后才能够执行。

神经元缓存单元63缓存该从运算模块6的输入神经元向量数据和输出神经元值数据。

权值缓存单元64缓存该从运算模块6在计算过程中需要的权值数据。对于每一个从运算模块6，都只会存储全部输入神经元与部分输出神经元之间的权值。以全连接层为例，输出神经元按照从运算单元的个数N进行分段，每段的第n个输出神经元对应的权值存放在第n个从运算单元中。

从运算模块6实现每层人工神经网络正向运算过程中可以并行的前半部分。以人工神经网络全连接层(MLP)为例，过程为y＝f(wx+b)，其中权值矩阵w和输入神经元向量x的乘法可以划分为不相关的并行计算子任务，out与in是列向量，每个从运算模块6只计算in中相应的部分标量元素与权值矩阵w对应的列的乘积，得到的每个输出向量都是最终结果的一个待累加的部分和，这些部分和在H树模块4中逐级两两相加得到最后的结果。所以计算过程变成了并行的计算部分和的过程和后面的累加的过程。每个从运算模块6计算出输出神经元值，所有的输出神经元值在H树模块4中拼成得到中间结果向量。每个从运算模块6只需要计算出中间结果向量y中与本模块对应的输出神经元值即可。H树模块4对所有从运算模块6输出的神经元值求和，得到最终的中间结果向量y。主运算模块5基于中间结果向量y进行后续计算，比如加偏置、池化(例如最大值池化(MAXPOOLING)或平均值池化(AVGPOOLING)等)、做激活和做采样等。

根据本披露实施例，还提供了在前述装置上执行人工神经网络正向运算的指令集。指令集中包括CONFIG指令、COMPUTE指令、IO指令、NOP指令、JUMP指令和MOVE指令，其中：

CONFIG指令在每层人工神经网络计算开始前配置当前层计算需要的各种常数；

COMPUTE指令完成每层人工神经网络的算术逻辑计算；

IO指令实现从外部地址空间读入计算需要的输入数据以及在计算完成后将数据存回至外部空间；

NOP指令负责清空当前装至内部所有微指令缓存队列中的微指令，保证NOP指令之前的所有指令全部指令完毕。NOP指令本身不包含任何操作；

JUMP指令负责控制器将要从指令缓存单元读取的下一条指令地址的跳转，用来实现控制流的跳转；

MOVE指令负责将装置内部地址空间某一地址的数据搬运至装置内部地址空间的另一地址，该过程独立于运算单元，在执行过程中不占用运算单元的资源。

图5示出了根据本披露实施例的神经网络正向运算过程的示例框图。在不同从运算模块6中，输入神经元向量分别与该从运算模块6的权值向量进行点积运算，得到对应的输出神经元值，所有这些输出神经元值组成中间结果向量，该中间结果向量经过加偏置向量以及激活运算得到该层神经网络的最终输出神经元向量，公式描述为out＝f(w*in+b)，其中out输出神经元向量、in是输入神经元向量、b是偏置向量，w是权值矩阵，f是激活函数。每个从运算模块6的权值向量是权值矩阵中与该从运算模块6相对应的列向量。H树模块将输入神经元向量[in0,…,inN]发送给所有的从运算单元，暂存在神经元缓存单元中。对于第i个从运算单元，计算其相应的权值向量[w_i0,…,w_iN]与输入神经元向量的点积。从运算单元输出的结果经过H树模块拼成完整的输出向量并返回给主运算单元，在主运算单元中进行激活运算，得到最后的输出神经元向量[out0,out1,out2,…,outN]。

图5是示出根据一个实施例的单层人工神经网络正向运算流程图。该流程图描述利用本披露的装置和指令集实现图4所示的一种单层神经网络正向运算的过程。

在步骤S1，在指令缓存单元1的首地址处预先存入一条IO指令。

在步骤S2，运算开始，控制器单元2从指令缓存单元1的首地址读取该条IO指令，根据译出的微指令，直接内存访问单元3从外部地址空间读取相应的所有人工神经网络运算指令，并将其缓存在指令缓存单元1中。

在步骤S3，控制器单元2接着从指令缓存单元读入下一条IO指令，根据译出的微指令，直接内存访问单元3从外部地址空间读取主运算模块5需要的所有数据(例如，包括输入神经元向量、插值表、常数表和偏置等)至主运算模块5的神经元缓存单元53。

在步骤S4，控制器单元2接着从指令缓存单元读入下一条IO指令，根据译出的微指令，直接内存访问单元3从外部地址空间读取从运算模块6需要的权值矩阵数据。

在步骤S5，控制器单元2接着从指令缓存单元读入下一条CONFIG指令，根据译出的微指令，装置配置该层神经网络计算需要的各种常数。例如，运算单元51、61根据微指令里的参数配置单元内部寄存器的值，所述参数例如包括本层计算的精度设置、激活函数的数据(例如本层计算的精度位，Lrn层算法的rang参数，AveragePooling层算法窗口大小的倒数等)

在步骤S6，控制器单元2接着从指令缓存单元读入下一条COMPUTE指令，根据译出的微指令，主运算模块5首先通过H树模块4将输入神经元向量发给各从运算模块6，保存至从运算模块6的神经元缓存单元63。

在步骤S7，根据COMPUTE指令译出的微指令，从运算模块6的运算单元61从权值缓存单元64读取权值向量(权值矩阵中对应于该从运算模块6的列向量),从神经元缓存单元读取输入神经元向量，完成权值向量和输入神经元向量的点积运算，将中间结果通过H树返回。

在步骤S8，在H树模块4中，各从运算模块6返回的中间结果被逐级拼成完整的中间结果向量。

在步骤S9，主运算模块5得到H树模块4的返回值，根据COMPUTE指令译出的微指令，从神经元缓存单元53读取偏置向量，与H树模块4返回的向量相加，然后再对相加结果做激活，并将最后的输出神经元向量写回至神经元缓存单元53。

在步骤S10，控制器单元接着从指令缓存单元读入下一条IO指令，根据译出的微指令，直接内存访问单元3将神经元缓存单元53中的输出神经元向量存至外部地址空间指定地址，运算结束。

对于多层人工神经网络，其实现过程与单层神经网络类似，当上一层人工神经网络执行完毕后，下一层的运算指令会将主运算单元中存储的上一层的输出神经元地址作为本层的输入神经元地址。同样地，指令中的权值地址和偏置地址也会变更至本层对应的地址。

通过采用用于执行人工神经网络正向运算的装置和指令集，解决了CPU和GPU运算性能不足，前端译码开销大的问题。有效提高了对多层人工神经网络正向运算的支持。

通过采用针对多层人工神经网络正向运算的专用片上缓存，充分挖掘了输入神经元和权值数据的重用性，避免了反复向内存读取这些数据，降低了内存访问带宽，避免了内存带宽成为多层人工神经网络正向运算性能瓶颈的问题。

前面的附图中所描绘的进程或方法可通过包括硬件(例如，电路、专用逻辑等)、固件、软件(例如，被具体化在非瞬态计算机可读介质上的软件)，或两者的组合的处理逻辑来执行。虽然上文按照某些顺序操作描述了进程或方法，但是，应该理解，所描述的某些操作能以不同顺序来执行。此外，可并行地而非顺序地执行一些操作。

在前述的说明书中，参考其特定示例性实施例描述了本披露的各实施例。显然，可对各实施例做出各种修改，而不背离所附权利要求所述的本披露的更广泛的精神和范围。相应地，说明书和附图应当被认为是说明性的，而不是限制性的。

Claims (13)

1.一种用于执行人工神经网络正向运算的装置，包括数据互通模块、主运算模块、多个从运算模块，所述主运算模块通过所述数据互通模块与所述多个从运算模块连接，所述数据互通模块为H树模块，其中：

主运算模块，用于获取神经元数据；

数据互通模块，用于将神经元数据发送给多个从运算模块；

从运算模块，用于将输入神经元向量分别与该从运算模块的权值向量进行点积运算得到输出结果；

数据互通模块，用于将多个从运算的输出结果组成中间结果，将中间结果输出给主运算模块；

所述主运算模块，用于依据中间结果得到最后的输出神经元向量。

2.根据权利要求1所述的装置，其中，

所述主运算模块，具体用于将所述中间结果加偏置向量以及激活运算得到各层神经网络的最终输出神经元向量。

3.根据权利要求1所述的装置，其中，所述H树模块包括：多个节点构成的二叉树通路，每个节点将上游的数据同样地发给下游的两个节点，将下游的两个节点返回的数据相加，并返回给上游的节点。

4.根据权利要求3所述的装置，其中，主运算模块包括：

主运算单元、主数据依赖关系判断单元和主神经元缓存单元，其中：

主神经元缓存单元，用于缓存主运算模块在计算过程中用到的输入数据和输出数据；

主运算单元，还用于完成主运算模块的各种运算功能；

主数据依赖关系判断单元，用于为所述运算单元读写神经元缓存单元的端口，保证对神经元缓存单元中数据读写不存在一致性冲突，并且负责从神经元缓存单元读取输入数据通过H树模块发送给从运算模块；以及来自H树模块的输出数据被发送到运算单元。

5.根据权利要求1所述的装置，其中，每个从运算模块包括：

从运算单元、从数据依赖关系判定单元、从神经元缓存单元和从权值缓存单元，其中：

从运算单元，用于进行算数逻辑运算；

从数据依赖关系判断单元，用于在计算过程中对神经元缓存单元和权值缓存单元的读写操作，保证对神经元缓存单元、和权值缓存单元的读写不存在一致性冲突；

从神经元缓存单元，用于缓存输入数据以及输出神经元值数据；

从权值缓存单元，用于缓存该从运算模块在计算过程中需要的权值向量，对于每一个从运算模块，所述权值向量是权值矩阵中与该从运算模块相对应的列。

6.根据权利要求5所述的装置，其中，从数据依赖关系判断单元，具体用于判断尚未执行的微指令与正在执行过程中的微指令的数据之间是否存在依赖关系，如果不存在，允许该条微指令立即发送，否则需要等到该条微指令所依赖的所有微指令全部执行完成后该条微指令才允许被发送。

7.根据权利要求4所述的装置，其特征在于，

所述主数据依赖关系判断单元，具体用于判断尚未执行的微指令与正在执行过程中的微指令的数据之间是否存在依赖关系，如果不存在，允许该条微指令立即发送，否则需要等到该条微指令所依赖的所有微指令全部执行完成后该条微指令才允许被发送。

8.根据权利要求5所述的装置，其特征在于，

在全连接层中，所述装置，用于将输出神经元按从运算单元的个数N进行分段，每段的第n个输出神经元对应的权值存在第n个从运算单元中。

9.根据权利要求3所述的装置，其特征在于，所述装置包括N个从运算模块，

在全连接层中，所述装置，用于将中间结果向量按N分段，每段有N个元素，第i个从运算模块计算每段中的第i个运算，N个元素通过H树模块拼接成长度为N的向量并返回给主运算模块。

10.一种用于执行人工神经网络正向运算的方法，所述方法应用于用于执行人工神经网络正向运算的装置，所述装置包括：数据互通模块、主运算模块、以及多个从运算模块，所述数据互通模块为H树模块，所述方法包括：

主运算模块获取神经元数据；数据互通模块将神经元数据发送给多个从运算模块；

从运算模块将输入神经元向量分别与该从运算模块的权值向量进行点积运算得到输出结果；

数据互通模块将多个从运算的输出结果组成中间结果，将中间结果输出给主运算模块；

所述主运算模块依据中间结果得到最后的输出神经元向量。

11.根据权利要求10所述的方法，其特征在于，所述方法还包括：

所述主运算模块将所述中间结果加偏置向量以及激活运算得到各层神经网络的最终输出神经元向量。

12.根据权利要求10所述的方法，其中，所述H树模块包括多个节点构成的二叉树通路，每个节点将上游的数据同样地发给下游的两个节点，将下游的两个节点返回的数据相加，并返回给上游的节点。

13.根据权利要求12所述的方法，其特征在于，

在全连接层中，所述装置将中间结果向量按N分段，每段有N个元素，第i个从运算模块计算每段中的第i个运算，N个元素通过H树模块拼接成长度为N的向量并返回给主运算模块；

所述装置将输出神经元按从运算单元的个数N进行分段，每段的第n个输出神经元对应的权值存在第n个从运算单元中的从权值缓存单元。