CN109214507A - 计算装置及方法 - Google Patents

Abstract

本公开提供了一种计算装置，包括：分发配置模块，用于分发配置信息；以及计算模块，包括多个计算单元，该多个计算单元根据所述配置信息形成多个维度，以支持多维度数据的计算。本公开还提供了一种计算方法。本公开计算装置及方法，可以同时计算神经网络中的多维矩阵，并且利用不同维度神经元之间的数据依赖和相关，从而提高了计算效率。

Description

计算装置及方法

技术领域

本公开涉及人工智能技术领域，尤其涉及一种支持多维度的计算装置及方法。

背景技术

神经网络算法已成为许多不同领域中最先进的算法，如图像识别领域、语音识别领域和自然语言处理领域。这其中最为主要的网络是深度学习。这些神经网络通过不同层的神经元，完成不同的操作，从而对输入数据进行处理，最后得到相应的输出结果。通常来说，不同的输入通过同一个神经网络得到不同的输出结果，也即一个固定的神经网络完成一个输入到一个输出的映射。然而，神经网络中神经元的组织一般为多维矩阵，而且不同维度的神经元存在依赖。

在实现本公开的过程中，申请人发现上述现有技术存在如下技术缺陷。神经网络装置不能支持多个维度的神经元同时进行计算，也无法应对和利用不同维度神经元存在的依赖。

发明内容

(一)要解决的技术问题

为了解决或者至少部分缓解上述技术问题，本公开提供一种支持多个维度同时计算的计算装置及方法，可以在同一个装置中同时计算神经网络中的多维矩阵，并且利用不同维度神经元之间的数据依赖和相关，从而高效的处理神经网络。

(二)技术方案

根据本公开的一个方面，提供了一种支持多维度的计算装置，包括：

分发配置模块，用于分发配置信息；以及

计算模块，包括多个计算单元，该多个计算单元根据所述配置信息形成多个维度，以支持多维度数据的计算。

在一些实施例中，所述多个计算单元之间通过互联的数据通路进行数据传递。

在一些实施例中，所述数据根据一传递条件进行传递。

在一些实施例中，所述传递条件包括：全局传递或半全局传递。

在一些实施例中，所述传递条件包括：单个维度共享数据连接或多个维度共享数据连接。

在一些实施例中，所述多个计算单元形成XYZ三个维度。

在一些实施例中，所述数据在X、Y、Z维传递，即单个维度共享数据连接；或所述数据在XY、YZ、XZ、XYZ维度传递，即多个维度共享数据连接。

在一些实施例中，在XY平面，每个计算单元与其周围的3、4或6个计算单元进行数据交互。

在一些实施例中，在XY平面，每个计算单元与其周围的进行数据交互的计算单元的个数为固定的或动态变化的。

在一些实施例中，所述计算装置还用于根据配置信息将计算单元在线或者离线划分配置成多个独立的计算组以进行不同的计算。

在一些实施例中，所述的计算模块的所述多个计算单元通过数据传递禁止分成多个独立的计算组。

在一些实施例中，所述多个计算单元在Z维上形成多个计算组，每个计算组为XY维网格结构。

在一些实施例中，所述多个计算单元为同样的计算单元，即同构模式；或不同的计算单元，即异构模式。

在一些实施例中，所述计算单元为标量计算单元，用于完成标量乘法、标量加法或标量乘加操作；或向量计算单元，用于完成向量乘法、向量加法或向量内积操作；或混合计算单元，用于完成矩阵乘法加法操作、向量内积计算和非线性计算、或卷积计算。

在一些实施例中，所述计算模块包括：

乘法器，用于将输入其中的数据相乘得到相乘之后的输出；和/或

一个或多个加法器，用于将输入其中的数据相加得到输出数据。

在一些实施例中，所述多个加法器构成加法树，用于进行加法树运算，即将输入其中的数据逐级相加得到输出数据。

在一些实施例中，所述计算单元还包括：激活函数单元，用于通过激活函数运算得到激活输出数据；其中，该激活函数包括sigmoid、tanh、relu或softmax。

在一些实施例中，所述计算单元还包括：池化单元，用于将输入数据通过池化运算以得到池化操作之后的输出数据；其中，所述池化操作包括：平均值池化、最大值池化、或中值池化。

在一些实施例中，还包括：

内部存储模块，用于存储权值数据、神经元数据及指令；

以及控制模块，用于控制计算模块执行相应的运算，控制分发配置模块分发配置信息，以及控制数据的发送与接收。

在一些实施例中，所述内部存储模块包括：权值缓存单元、输入神经元缓存单元、输出神经元缓存单元以及指令缓存单元。

在一些实施例中，所述控制模块根据控制信号对计算模块及分发配置模块进行控制，其控制方式包括直接控制和解析控制，直接控制方式为直接将控制信号输入到被控制模块中，而不需要经过控制模块解析；解析控制方式为控制信号需要在控制模块中完成解析，得到解析后的控制信号再输入到被控制模块中用于配置和控制。

根据本公开的另一个方面，还提供了一种支持多维度的计算方法，包括：

分发配置信息；

多个计算单元根据所述配置信息形成多个维度，以支持多维度数据的计算。

在一些实施例中，所述多个计算单元之间通过互联的数据通路进行数据传递。

在一些实施例中，所述数据根据一传递条件进行传递。

在一些实施例中，所述传递条件包括全局传递、或半全局传递。

在一些实施例中，所述传递条件包括单个维度共享数据连接或多个维度共享数据连接。

在一些实施例中，所述多个计算单元形成XYZ三个维度。

在一些实施例中，所述数据在X、Y、Z维传递，即单个维度共享数据连接；或所述数据在XY、YZ、XZ、XYZ维度传递，即多个维度共享数据连接。

在一些实施例中，在XY平面，每个计算单元与其周围的3、4或6个计算单元进行数据交互。

在一些实施例中，在XY平面，每个计算单元与其周围的进行数据交互的计算单元的个数为固定的或动态变化的。

在一些实施例中，还包括：根据配置信息将计算单元在线或离线划分配置成多个独立的计算组。

在一些实施例中，所述的计算模块的所述多个计算单元通过数据传递禁止分成多个独立的计算组。

在一些实施例中，还包括：

将所述多个计算单元在Z维上形成多个计算组，每个计算组为XY维网格结构；

三维输入数据同时传递至Z维上的多个计算组；

每个计算组上的计算单元对所述三维输入数据进行计算。

在一些实施例中，所述多个计算单元采用同样的计算单元，即同构模式；或采用不同的计算单元，即异构模式。

在一些实施例中，每个计算组上的计算单元对所述三维输入数据进行计算包括：乘法计算、加法计算、乘加计算、内积计算、非线性计算或卷积计算。

在一些实施例中，对输入数据进行计算，还包括：激活函数运算或池化运算。

(三)有益效果

从上述技术方案可以看出，本公开计算装置及方法至少具有以下有益效果其中之一：

(1)本公开中支持多维计算的装置及方法，可以在同一个装置中同时计算神经网络中的多维矩阵，从而高效的处理神经网络。

(2)本公开支持多维计算的装置，利用不同维度神经元之间的数据依赖和相关，从而在局部进行数据传递和共享，提高数据的利用率，从而提高处理神经网络的效率。

附图说明

图1为根据本公开支持多维度计算装置功能模块示意图。

图2为根据本公开支持多维度计算装置的另一功能模块示意图。

图3为根据本公开计算装置执行计算的方法流程图。

图4为根据本公开计算装置执行神经网络计算的方法流程图。

图5为根据本公开计算模块组成示意图。

图6为根据本公开计算模块XY维度示意图。

图7为根据本公开计算模块另一组成示意图。

图8为根据本公开计算模块另一组成示意图。

具体实施方式

为使本公开的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本公开作进一步的详细说明。

需要说明的是，在附图或说明书描述中，相似或相同的部分都使用相同的图号。附图中未绘示或描述的实现方式，为所属技术领域中普通技术人员所知的形式。另外，虽然本文可提供包含特定值的参数的示范，但应了解，参数无需确切等于相应的值，而是可在可接受的误差容限或设计约束内近似于相应的值。此外，以下实施例中提到的方向用语，例如“上”、“下”、“前”、“后”、“左”、“右”等，仅是参考附图的方向。因此，使用的方向用语是用来说明并非用来限制本公开。

本公开提供一种支持多维度的计算装置及方法，其中，所述维度指的是数据的维度。具体的，本公开一种支持多维度的计算装置，包括：分发配置模块，用于分发配置信息；以及计算模块，包括多个计算单元，该多个计算单元根据所述配置信息形成多个维度，以支持多维度数据的计算。

进一步的，如图1所示，所述计算装置包括：外部存储模块，内部存储模块，控制模块，所述计算模块，及所述分发配置模块。

其中，所述外部存储模块，用于存储计算模块、内部存储模块、控制模块和分发配置模块的数据信息。例如，所述外部存储模块存储配置信息，其在运行时可将配置信息直接发送至分发配置模块，也可将配置信息经控制模块发送至分发配置模块。

所述外部存储模块，还提供对外部存储器的读写接口，并且可以配置相关寄存器灵活实现对不同外部存储器的操作。

所述内部存储模块，用于存储供计算模块使用的数据。

所述内部存储模块，还提供和外部存储模块的读写接口，用以完成内部存储模块和外部存储模块的数据交换。

所述控制模块，提供和外部进行控制信号交换的接口，用以接受并解析外部控制信号，从而完成对其他模块的控制。

所述控制模块，还提供和计算模块的信号交换接口，用以配置和控制计算模块，从而完成不同的计算。

所述控制模块，还提供和分发配置模块的信号交换接口，用于控制分发配置模块将配置信息分发给计算模块。

所述分发配置模块，用于存储和分发配置数据，其提供和计算模块的信号交换接口，用于将配置信息分发给所述计算模块。

进一步的，所述的计算模块，包括多个计算单元(processing elements，简称PE)。

所述的计算模块中的所述多个计算单元可根据所述配置信息组织成多个维度，不同维度的数据可以在所述多个计算单元之间互相传递。

具体的，所述的计算模块的所述多个计算单元可以是同样的计算单元，即同构模式；所述多个计算单元也可以是不同的计算单元，即异构模式。

所述的计算模块的所述多个计算单元的数据传递可以被bypass掉，也即数据传递可以被禁止，从而不同的计算单元可以分割成独立的组完成不同的计算。

所述计算单元可以为标量计算单元，用于完成标量乘法、标量加法或标量乘加操作；或向量计算单元，用于完成向量乘法、向量加法或向量内积操作；或混合计算单元，如用于矩阵乘法加法等操作的矩阵计算单元、用于包含向量内积计算和非线性计算的混合计算单元、包含脉冲阵列积进行卷积计算的混合计算单元。

所述计算装置的输入，包括图片、视频、音频、文字等。

所述装置的输出，为数值输出，其结果表示含义包括但不限于分类结果、生成结果。

所述计算装置的控制信号，其使用方式包括直接控制和解析控制。直接控制方式为输入控制信号不需要经过控制模块解析直接输入到其他模块中；解析控制为输入的控制信号需要在控制模块中完成解析，得到解析后的控制信号再输入到其他模块中用于配置和控制，此处其他模块例如是计算模块、分发配置模块等。

在一实施例中，如图2所示，所述内部存储模块，包括：指令缓存单元、输入神经元缓存单元、权值缓存单元、及输出神经元缓存单元。

本公开还提供了一种支持多维度的计算方法，包括：

分发配置信息；以及

多个计算单元根据所述配置信息形成多个维度，以支持多维度数据的计算。

请参照图3，本公开中的一种支持多维度的计算装置，其执行计算方法具体如下。

S1、输入数据和控制信号序列被存储至外部存储模块以供使用。

S2、数据和控制信号被载入至内部存储模块。

S3、控制模块解析控制信号，分发配置模块解析分发配置信号；装置根据不同的信号含义调度各个模块完成相应的操作。

S4、相应的计算结果从内部存储模块传输至外部存储模块，以供后续或其他使用。

请参照图4，以神经网络计算为例，本公开中的计算装置在执行神经网络计算时，包括训练过程和测试过程中，神经网络被切分成不同的计算子任务，每个子任务被分配到一个PE进行计算。在计算过程中，不同的PE之间通过互联的数据通路进行传递数据，使得不同的PE可以合作协同完成一定的操作，其中，该数据可根据一传递条件进行传递，传递条件包括：全局传递、或半全局传递；半全局传递包括：单个维度共享数据连接、多个维度共享数据连接。PE之间的数据传递也使得数据可以被PE高效的利用。另外，计算装置也可以根据配置将计算单元在线或者离线划分配置成N个独立的计算组以计算不同的任务，以提高片上资源的利用率，使其更加高效。

在一实施例中，如图5所示，所述计算模块的多个计算单元PE组成了3维，即xyz维。数据可以上下方向传递(y维)，左右方向传递(x维)，及前后方向传递(z维)。

此处以卷积神经网络的卷积层为例，说明该实施例计算卷积层的计算方法。

1)卷积层设定：此处假设卷积层有Ni个输入特征图像，No个输出特征图像，卷积核为Kx*Ky，共有Ni*No个卷积核。

2)PE组成：每个PE包含一个乘加器，可以完成输入乘法然后和本地存储的数据累加的功能。

3)映射逻辑：对于每个输出图像而言，其相关的输入图像为三维数据，卷积核也为三维数据，因此可以有多种划分方法。本实施例中将PE在单个维度上划分，如z维，则每个独立的计算组(称之为计算平面)为xy维的网格结构。本实施例中将每个输出特征图像分配至这样的一个xy维的计算组进行计算，也即这xy维上的所有PE计算同一个输出特征图像。也因此，所有的3维输入特征图像数据需要传递至每个计算平面上，为多个计算平面的共享数据；每个计算平面接受自己独立的卷积核，其为3维数据。

此处以卷积神经网络的卷积层为例，说明该实施例计算卷积层的另外一种计算方法。

1)卷积层设定：此处假设卷积层有Ni个输入特征图像，No个输出特征图像，卷积核为Kx*Ky，共有Ni*No个卷积核。

2)PE组成：每个PE包含一个向量计算模块，可以完成向量输入内积和本地存储的数据累加的功能。

3)映射逻辑：此实施例中每个PE可以完成更加复杂的计算。对于每个输出特征图像，其上的每个点为几个向量内积结果的累加。因此，对于每个PE，其计算输出特征图像上的一个点，其相关输入为所有输入特征图像数据和卷积核数据，皆为3维数据。在计算过程中，所有的PE接受同样的卷积核和不同的输入特征图像数据，并在PE间共享这些不同的数据。

请进一步参照图6，其中PE组成了3维，图中只示出了2维，也即图5中的xy维。在本实施例中，PE支持上下左右传递，可以与4个PE进行数据交互。

在一实施例中，如图7所示，其中PE组成了3维，图示给出了2维，即xy维。在本实施例中，PE支持二维方向与周围6个PE进行数据交互。

在一实施例中，如图8所示，其中PE组成了3维，图示给出了2维，即xy维。在本实施例中，PE支持二维方向与周围3个PE进行数据交互。

由此，本公开计算模块在3维空间上，每个PE可与周围多个PE进行交互，在二维平面交互的个数，如图6所示实施例为4个，图7所示实施例为4个，图8所示实施例为3个。

在一个实施例中，所述计算单元PE执行运算包括神经网络计算。

具体的，所述计算模块包括：乘法器，用于将输入其中的数据相乘得到相乘之后的输出；和/或一个或多个加法器，用于将输入其中的数据相加得到输出数据。其中，所述多个加法器可构成加法树，用于进行加法树运算，即将输入其中的数据逐级相加得到输出数据。

更具体而言，计算模块包括但不仅限于：第一部分乘法器，第二部分加法树，第三部分为激活函数单元,和/或第四部分池化单元。第一部分将输入数据1(in1)和输入数据2(in2)相乘得到相乘之后的输出(out)，过程为：out＝in1*in2；第二部分将输入数据in1通过加法树逐级相加得到输出数据(out)，其中in1是一个长度为N的向量，N大于1，过程为：out＝in1[1]+in1[2]+...+in1[N]，和/或将输入数据(in1)通过加法数累加之后和输入数据(in2)相加得到输出数据(out)，过程为：out＝in1[1]+in1[2]+...+in1[N]+in2，或者将输入数据(in1)和输入数据(in2)相加得到输出数据(out)，过程为：out＝in1+in2；第三部分将输入数据(in)通过激活函数(active)运算得到激活输出数据(out)，过程为：out＝active(in)，激活函数active可以是sigmoid、tanh、relu、softmax等，除了做激活操作，第三部分可以实现其他的非线性函数，可将将输入数据(in)通过运算(f)得到输出数据(out)，过程为：out＝f(in)。池化单元将输入数据(in)通过池化运算得到池化操作之后的输出数据(out)，过程为out＝pool(in)，其中pool为池化操作，池化操作包括但不限于：平均值池化，最大值池化，中值池化，输入数据in是和输出out相关的一个池化核中的数据。

相应的，所述计算模块执行运算包括第一部分是将所述输入数据1和输入数据2相乘，得到相乘之后的数据；和/或第二部分执行加法树运算，用于将输入数据1通过加法树逐级相加，或者将所述输入数据1通过和输入数据2相加得到输出数据；和/或第三部分执行激活函数运算，对输入数据通过激活函数(active)运算得到输出数据；和/或第四部分执行池化运算，out＝pool(in)，其中pool为池化操作，池化操作包括但不限于：平均值池化，最大值池化，中值池化，输入数据in是和输出out相关的一个池化核中的数据。以上几个部分的运算可以自由选择一个多个部分进行不同顺序的组合，从而实现各种不同功能的运算。

在一实施例中，分发配置模块的信号输入也可直接有外部信号输入，采用直接控制或解析控制的方式。

在一实施例中，计算单元间的数据传递可以自定义，如为全局或者半全局，全局即在所有PE里面共享，半全局即在部分PE里面共享；也可是多维共享或单维共享，也即每个维度共享数据连接(图5实施例中x，y，z维度)，或者多个维度共享数据连接(图5实施例中的xy，yz，xz、xyz维度共享)。

在一实施例中，计算单元与周围进行数据通信的PE数目可以固定，也可以是在运行过程中进行动态配置。PE互联的数目在上述实施例中，XY二维平面上分别是4、6、3个，该数量可以被为其他个数。

在一实施例中，计算单元也可以划分成独立的不同的组，也即不同组间bypass掉数据交互，从而不同的组可以进行不同的计算。

本领域技术人员应当理解的是，本公开计算装置及方法除了进行神经网络计算之外，还可进行图像处理、视频处理计算等；且神经网络也不限于卷积神经网络，还可以是全连接神经网络、RBM神经网络、及循环神经网络(RNN,Recurrent Neural Networks)等；且不限于卷积层，还可以是全连接层、pooling层等。

以上所述的具体实施例，对本公开的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本公开的具体实施例而已，并不用于限制本公开，凡在本公开的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。

Claims (10)

1.一种支持多维度的计算装置，包括：

分发配置模块，用于分发配置信息；以及

计算模块，包括多个计算单元，该多个计算单元根据所述配置信息形成多个维度，以支持多维度数据的计算。

2.根据权利要求1所述的计算装置，其中，所述多个计算单元之间通过互联的数据通路进行数据传递。

3.根据权利要求2所述的计算装置，其中，所述数据根据一传递条件进行传递。

4.根据权利要求3所述的计算装置，其中，所述传递条件包括：全局传递或半全局传递。

5.根据权利要求3所述的计算装置，其中，所述传递条件包括：单个维度共享数据连接或多个维度共享数据连接。

6.一种支持多维度的计算方法，包括：

分发配置信息；

多个计算单元根据所述配置信息形成多个维度，以支持多维度数据的计算。

7.根据权利要求6所述的计算方法，其中，所述多个计算单元之间通过互联的数据通路进行数据传递。

8.根据权利要求7所述的计算方法，其中，所述数据根据一传递条件进行传递。

9.根据权利要求8所述的计算方法，其中，所述传递条件包括全局传递、或半全局传递。

10.根据权利要求8所述的计算方法，其中，所述传递条件包括单个维度共享数据连接或多个维度共享数据连接。