CN110472734A - 一种计算装置及相关产品 - Google Patents

Abstract

本申请提供了一种计算装置及相关产品，所述计算装置用于执行机器学习模型的计算；所述计算装置包括：运算单元以及控制器单元；所述运算单元包括：一个主处理电路和多个从处理电路。本申请提供的技术方案具有功耗低，计算速度快的优点。

Description

一种计算装置及相关产品

技术领域

本申请涉及信息处理技术领域，具体涉及一种计算装置及相关产品。

背景技术

随着信息技术的不断发展和人们日益增长的需求，人们对信息及时性的要 求越来越高了。目前，终端对信息的获取以及处理均是基于通用处理器获得的。

在实践中发现，这种基于通用处理器运行软件程序来处理信息的方式，受 限于通用处理器的运行速率，特别是在通用处理器负荷较大的情况下，信息处 理效率较低、时延较大，对于信息处理的计算模型例如计算模型的正向运算来 说，正向运算的计算量更大，通用的处理器完成正向运算的时间长，效率低， 功耗高。

发明内容

本申请实施例提供了一种计算装置及相关产品，可提升正向运算的处理速 度，提高效率、节省功耗。

第一方面，提供一种计算装置，所述计算装置用于执行机器学习模型机器 学习计算，所述计算装置包括：运算单元以及控制器单元；所述运算单元包括： 一个主处理电路和多个从处理电路；

所述控制器单元，用于获取数据、机器学习模型以及正向运算的计算指令；

所述控制器单元，还用于解析该计算指令得到多个运算指令，将该多个运 算指令以及所述数据发送给所述主处理电路；

所述主处理电路，用于对所述数据执行前序处理以及与所述多个从处理电 路之间传输数据以及运算指令；

所述多个从处理电路，用于依据从所述主处理电路传输的数据以及运算指 令并行执行中间运算得到多个中间结果，并将多个中间结果传输给所述主处理 电路；

所述主处理电路，用于对所述多个中间结果执行后续处理得到所述计算指 令的计算结果。

第二方面，本申请实施例提供了一种神经网络运算装置，该神经网络运算 装置包括一个或者多个第一方面所述的计算装置。该神经网络运算装置用于从 其他处理装置中获取待运算数据和控制信息，并执行指定的神经网络运算，将 执行结果通过I/O接口传递给其他处理装置；

当所述神经网络运算装置包含多个所述计算装置时，所述多个所述计算装 置间可以通过特定的结构进行链接并传输数据；

其中，多个所述计算装置通过PCIE总线进行互联并传输数据，以支持更大 规模的神经网络的运算；多个所述计算装置共享同一控制系统或拥有各自的控 制系统；多个所述计算装置共享内存或者拥有各自的内存；多个所述计算装置 的互联方式是任意互联拓扑。

第三方面，本申请实施例提供了一种组合处理装置，该组合处理装置包括 如第三方面所述的神经网络处理装置、通用互联接口，和其他处理装置。该神 经网络运算装置与上述其他处理装置进行交互，共同完成用户指定的操作。该 组合处理装置还可以包括存储装置，该存储装置分别与所述神经网络运算装置 和所述其他处理装置连接，用于保存所述神经网络运算装置和所述其他处理装 置的数据。

第四方面，本申请实施例提供了一种神经网络芯片，该神经网络芯片包括 上述第一方面所述的计算装置、上述第二方面所述的神经网络运算装置或者上 述第三方面所述的组合处理装置。

第五方面，本申请实施例提供了一种神经网络芯片封装结构，该神经网络 芯片封装结构包括上述第四方面所述的神经网络芯片；

第六方面，本申请实施例提供了一种板卡，该板卡包括上述第五方面所述 的神经网络芯片封装结构。

第七方面，本申请实施例提供了一种电子装置，该电子装置包括上述第六 方面所述的神经网络芯片或者上述第六方面所述的板卡。

第八方面，本申请实施例还提供一种执行机器学习模型的计算方法，所述 计算方法应用于计算装置，计算装置用于执行机器学习计算；所述计算装置包 括：运算单元以及控制器单元；所述运算单元包括：一个主处理电路和多个从 处理电路；所述方法包括：

所述控制器单元获取数据、机器学习模型以及计算指令；所述控制器单元 解析该计算指令得到多个运算指令，将该多个运算指令以及所述数据发送给所 述主处理电路；所述主处理电路对所述数据执行前序处理以及与所述多个从处 理电路之间传输数据以及运算指令；所述多个从处理电路依据从所述主处理电 路传输的数据以及运算指令并行执行中间运算得到多个中间结果，并将多个中 间结果传输给所述主处理电路；所述主处理电路对所述多个中间结果执行后续 处理得到所述计算指令的计算结果。

在一些实施例中，所述电子设备包括数据处理装置、机器人、电脑、打印 机、扫描仪、平板电脑、智能终端、手机、行车记录仪、导航仪、传感器、摄 像头、服务器、云端服务器、相机、摄像机、投影仪、手表、耳机、移动存储、 可穿戴设备、交通工具、家用电器、和/或医疗设备。

在一些实施例中，所述交通工具包括飞机、轮船和/或车辆；所述家用电器 包括电视、空调、微波炉、冰箱、电饭煲、加湿器、洗衣机、电灯、燃气灶、 油烟机；所述医疗设备包括核磁共振仪、B超仪和/或心电图仪。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所 需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一 些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还 可以根据这些附图获得其他的附图。

图1A是本申请实施例提供的一种计算装置的结构示意图。

图1B是本申请一个实施例提供的计算装置的结构图。

图1C是本申请另一个实施例提供的计算装置的结构图。

图1D是本申请实施例提供的主处理电路的结构图。

图1E是本申请实施例提供的另一种计算装置的结构图。

图1F是本申请实施例提供的树型模块的结构示意图。

图1G是本申请实施例提供的又一种计算装置的结构图。

图1H是本申请实施例提供的还一种计算装置的结构图。

图2是本申请实施例提供的一种组合处理装置的结构图。

图2A是本申请实施例提供的一种计算装置的结构示意图。

图3是本申请实施例提供的另一种组合处理装置的结构图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清 楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部 的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳 动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书及所述附图中的术语“第一”、“第二”、“第 三”和“第四”等是用于区别不同对象，而不是用于描述特定顺序。此外，术 语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如 包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出 的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对 于这些过程、方法、产品或设备固有的其它步骤或单元。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特 性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语 并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实 施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与 其它实施例相结合。

首先介绍本申请使用的计算装置。参阅图1A，提供了一种计算装置，该计 算装置包括：控制器单元11和运算单元12，其中，控制器单元11与运算单元 12连接，该运算单元12包括：一个主处理电路和多个从处理电路；

控制器单元11，用于获取数据、机器学习模型以及计算指令，当该机器学 习模型包括人工神经网络模型时，所述数据包括：输入神经元数据、权值数据 和输出神经元数据；在一种可选方案中，具体的，获取数据、机器学习模型以 及计算指令方式可以通过数据输入输出单元得到，该数据输入输出单元具体可 以为一个或多个数据I/O接口或I/O引脚。该机器学习模型具体可以包括网络 模型，该网络模型可以为神经网络模型和/或非神经网络模型。

上述计算指令包括但不限于：正向运算指令或反向训练指令，或其他神经 网络运算指令等等，例如卷积运算指令，本申请具体实施方式并不限制上述计 算指令的具体表现形式。

控制器单元11，还用于解析该计算指令得到多个运算指令，将该多个运算 指令以及所述数据发送给所述主处理电路；

主处理电路101，用于对所述数据执行前序处理以及与所述多个从处理电路 之间传输数据以及运算指令；

多个从处理电路102，用于依据从所述主处理电路传输的数据以及运算指令 并行执行中间运算得到多个中间结果，并将多个中间结果传输给所述主处理电 路；

主处理电路101，用于对所述多个中间结果执行后续处理得到所述计算指令 的计算结果。

本申请提供的技术方案将运算单元设置成一主多从结构，对于正向运算的 计算指令，其可以将依据正向运算的计算指令将数据进行拆分，这样通过多个 从处理电路即能够对计算量较大的部分进行并行运算，从而提高运算速度，节 省运算时间，进而降低功耗。

可选的，上述计算装置还可以包括：该存储单元10和直接内存访问单元50， 存储单元10可以包括：寄存器、缓存中的一个或任意组合，具体的，所述缓存， 用于存储所述计算指令；所述寄存器，用于存储所述机器学习模型、所述数据 和标量；所述缓存为高速暂存缓存。直接内存访问单元50用于从存储单元10 读取或存储数据。

可选的，该控制器单元包括：指令存储单元110、指令处理单元111和存储 队列单元113；

指令存储单元110，用于存储所述机器学习模型关联的计算指令；

所述指令处理单元111，用于对所述计算指令解析得到多个运算指令；

存储队列单元113，用于存储指令队列，该指令队列包括：按该队列的前后 顺序待执行的多个运算指令或计算指令。

举例说明，在一个可选的技术方案中，主运算处理电路也可以包括一个控 制器单元，该控制器单元可以包括主指令处理单元，具体用于将指令译码成微 指令。当然在另一种可选方案中，从运算处理电路也可以包括另一个控制器单 元，该另一个控制器单元包括从指令处理单元，具体用于接收并处理微指令。 上述微指令可以为指令的下一级指令，该微指令可以通过对指令的拆分或解码 后获得，能被进一步解码为各部件、各单元或各处理电路的控制信号。

在一种可选方案中，该计算指令的结构可以如下表所示。

操作码

寄存器或立即数

寄存器/立即数

...

上表中的省略号表示可以包括多个寄存器或立即数。

在另一种可选方案中，该计算指令可以包括：一个或多个操作域以及一个 操作码。该计算指令可以包括神经网络运算指令。以神经网络运算指令为例， 如下表所示，其中，寄存器号0、寄存器号1、寄存器号2、寄存器号3、寄存 器号4可以为操作域。其中，每个寄存器号0、寄存器号1、寄存器号2、寄存 器号3、寄存器号4可以是一个或者多个寄存器的号码。

上述寄存器可以为片外存储器，当然在实际应用中，也可以为片内存储器， 用于存储数据，该数据具体可以为n维数据，n为大于等于1的整数，例如，n＝1 时，为1维数据，即向量，如n＝2时，为2维数据，即矩阵，如n＝3或3以上 时，为多维张量。

可选的，该控制器单元还可以包括：

所述依赖关系处理单元108，用于在具有多个运算指令时，确定第一运算指 令与所述第一运算指令之前的第零运算指令是否存在关联关系，如所述第一运 算指令与所述第零运算指令存在关联关系，则将所述第一运算指令缓存在所述 指令存储单元内，在所述第零运算指令执行完毕后，从所述指令存储单元提取 所述第一运算指令传输至所述运算单元；

所述确定该第一运算指令与第一运算指令之前的第零运算指令是否存在关 联关系包括：

依据所述第一运算指令提取所述第一运算指令中所需数据(例如矩阵)的 第一存储地址区间，依据所述第零运算指令提取所述第零运算指令中所需矩阵 的第零存储地址区间，如所述第一存储地址区间与所述第零存储地址区间具有 重叠的区域，则确定所述第一运算指令与所述第零运算指令具有关联关系，如 所述第一存储地址区间与所述第零存储地址区间不具有重叠的区域，则确定所 述第一运算指令与所述第零运算指令不具有关联关系。

在另一种可选实施例中，运算单元12如图1C所示，可以包括一个主处理 电路101和多个从处理电路102。在一个实施例里，如图1C所示，多个从处理 电路呈阵列分布；每个从处理电路与相邻的其他从处理电路连接，主处理电路 连接所述多个从处理电路中的k个从处理电路，所述k个从处理电路为：第1 行的n个从处理电路、第m行的n个从处理电路以及第1列的m个从处理电路， 需要说明的是，如图1C所示的K个从处理电路仅包括第1行的n个从处理电路、 第m行的n个从处理电路以及第1列的m个从处理电路，即该k个从处理电路 为多个从处理电路中直接与主处理电路连接的从处理电路。

K个从处理电路，用于在所述主处理电路以及多个从处理电路之间的数据以 及指令的转发。

可选的，如图1D所示，该主处理电路还可以包括：转换处理电路110、激 活处理电路111、加法处理电路112中的一种或任意组合；

转换处理电路110，用于将主处理电路接收的数据块或中间结果执行第一数 据结构与第二数据结构之间的互换(例如连续数据与离散数据的转换)；或将主 处理电路接收的数据块或中间结果执行第一数据类型与第二数据类型之间的互 换(例如定点类型与浮点类型的转换)；

激活处理电路111，用于执行主处理电路内数据的激活运算；

加法处理电路112，用于执行加法运算或累加运算。

所述主处理电路，用于将将一个输入数据分配成多个数据块，将所述多个 数据块中的至少一个数据块以及多个运算指令中的至少一个运算指令发送给所 述从处理电路；

所述多个从处理电路，用于依据该运算指令对接收到的数据块执行运算得 到中间结果，并将运算结果传输给所述主处理电路；

所述主处理电路，用于将多个从处理电路发送的中间结果进行处理得到该 计算指令的结果，将该计算指令的结果发送给所述控制器单元。

所述从处理电路包括：乘法处理电路；

所述乘法处理电路，用于对接收到的数据块执行乘积运算得到乘积结果；

转发处理电路(可选的)，用于将接收到的数据块或乘积结果转发。

累加处理电路，所述累加处理电路，用于对该乘积结果执行累加运算得到 该中间结果。

另一个实施例里，该运算指令为矩阵乘以矩阵的指令、累加指令、激活指 令等等计算指令。

下面通过神经网络运算指令来说明如图1A所示的计算装置的具体计算方 法。对于神经网络运算指令来说，其实际需要执行的公式可以为： s＝s(∑wx_i+b)，其中，即将权值w乘以输入数据x_i，进行求和，然后加上偏 置b后做激活运算s(h)，得到最终的输出结果s。

在一种可选的实施方案中，如图1E所示，所述运算单元包括：树型模块40， 所述树型模块包括：一个根端口401和多个支端口404，所述树型模块的根端口 连接所述主处理电路，所述树型模块的多个支端口分别连接多个从处理电路中 的一个从处理电路；

上述树型模块具有收发功能，例如如图1E所示，该树型模块即为发送功能， 如图2A所示，该树型模块即为接收功能。

所述树型模块，用于转发所述主处理电路与所述多个从处理电路之间的数 据块、权值以及运算指令。

可选的，该树型模块为计算装置的可选择结果，其可以包括至少1层节点， 该节点为具有转发功能的线结构，该节点本身可以不具有计算功能。如树型模 块具有零层节点，即无需该树型模块。

可选的，该树型模块可以为n叉树结构，例如，如图1F所示的二叉树结构， 当然也可以为三叉树结构，该n可以为大于等于2的整数。本申请具体实施方 式并不限制上述n的具体取值，上述层数也可以为2，从处理电路可以连接除倒 数第二层节点以外的其他层的节点，例如可以连接如图1F所示的倒数第一层的 节点。

可选的，上述运算单元可以携带单独的缓存，如图1G所示，可以包括：神 经元缓存单元，该神经元缓存单元63缓存该从处理电路的输入神经元向量数据 和输出神经元值数据。

如图1H所示，该运算单元还可以包括：权值缓存单元64，用于缓存该从处 理电路在计算过程中需要的权值数据。

在一种可选实施例中，运算单元12如图1B所示，可以包括分支处理电路 103；其具体的连接结构如图1B所示，其中，

主处理电路101与分支处理电路103连接，分支处理电路103与多个从处 理电路102连接；

分支处理电路103，用于执行转发主处理电路101与从处理电路102之间的 数据或指令。

在一种可选实施例中，以神经网络运算中的全连接运算为例，过程可以为： y＝f(wx+b)，其中，x为输入神经元矩阵，w为权值矩阵，b为偏置标量，f为 激活函数，具体可以为：sigmoid函数，tanh、relu、softmax函数中的任意一 个。这里假设为二叉树结构，具有8个从处理电路，其实现的方法可以为：

控制器单元从存储单元内获取输入神经元矩阵x，权值矩阵w以及全连接运 算指令，将输入神经元矩阵x，权值矩阵w以及全连接运算指令传输给主处理电 路；

主处理电路将输入神经元矩阵x拆分成8个子矩阵，然后将8个子矩阵通 过树型模块分发给8个从处理电路，将权值矩阵w广播给8个从处理电路，

从处理电路并行执行8个子矩阵与权值矩阵w的乘法运算和累加运算得到8 个中间结果，将8个中间结果发送给主处理电路；

主处理电路，用于将8个中间结果排序得到wx的运算结果，将该运算结果 执行偏置b的运算后执行激活操作得到最终结果y，将最终结果y发送至控制器 单元，控制器单元将该最终结果y输出或存储至存储单元内。

如图1A所示的计算装置执行神经网络正向运算指令的方法具体可以为：

控制器单元从指令存储单元内提取神经网络正向运算指令、神经网络运算 指令对应的操作域以及至少一个操作码，控制器单元将该操作域传输至数据访 问单元，将该至少一个操作码发送至运算单元。

控制器单元从存储单元内提取该操作域对应的权值w和偏置b(当b为0时， 不需要提取偏置b)，将权值w和偏置b传输至运算单元的主处理电路，控制器 单元从存储单元内提取输入数据Xi，将该输入数据Xi发送至主处理电路。

主处理电路将输入数据Xi拆分成n个数据块；

控制器单元的指令处理单元依据该至少一个操作码确定乘法指令、偏置指 令和累加指令，将乘法指令、偏置指令和累加指令发送至主处理电路，主处理 电路将该乘法指令、权值w以广播的方式发送给多个从处理电路，将该n个数 据块分发给该多个从处理电路(例如具有n个从处理电路，那么每个从处理电 路发送一个数据块)；多个从处理电路，用于依据该乘法指令将该权值w与接收 到的数据块执行乘法运算得到中间结果，将该中间结果发送至主处理电路，该 主处理电路依据该累加指令将多个从处理电路发送的中间结果执行累加运算得 到累加结果，依据该偏执指令将该累加结果执行加偏执b得到最终结果，将该 最终结果发送至该控制器单元。

另外，加法运算和乘法运算的顺序可以调换。

本申请提供的技术方案通过一个指令即神经网络运算指令即实现了神经网 络的乘法运算以及偏置运算，在神经网络计算的中间结果均无需存储或提取， 减少了中间数据的存储以及提取操作，所以其具有减少对应的操作步骤，提高 神经网络的计算效果的优点。

本申请还揭露了一个神经网络运算装置，其包括一个或多个在本申请中提 到的计算装置，用于从其他处理装置中获取待运算数据和控制信息，执行指定 的神经网络运算，执行结果通过I/O接口传递给外围设备。外围设备譬如摄像 头，显示器，鼠标，键盘，网卡，wifi接口，服务器。当包含一个以上计算装 置时，计算装置间可以通过特定的结构进行链接并传输数据，譬如，通过PCIE 总线进行互联并传输数据，以支持更大规模的神经网络的运算。此时，可以共 享同一控制系统，也可以有各自独立的控制系统；可以共享内存，也可以每个 加速器有各自的内存。此外，其互联方式可以是任意互联拓扑。

该神经网络运算装置具有较高的兼容性，可通过PCIE接口与各种类型的服 务器相连接。

本申请还揭露了一个组合处理装置，其包括上述的神经网络运算装置，通用 互联接口，和其他处理装置。神经网络运算装置与其他处理装置进行交互，共 同完成用户指定的操作。图2为组合处理装置的示意图。

其他处理装置，包括中央处理器CPU、图形处理器GPU、神经网络处理器等 通用/专用处理器中的一种或以上的处理器类型。其他处理装置所包括的处理 器数量不做限制。其他处理装置作为神经网络运算装置与外部数据和控制的接 口，包括数据搬运，完成对本神经网络运算装置的开启、停止等基本控制；其 他处理装置也可以和神经网络运算装置协作共同完成运算任务。

通用互联接口，用于在所述神经网络运算装置与其他处理装置间传输数据 和控制指令。该神经网络运算装置从其他处理装置中获取所需的输入数据，写 入神经网络运算装置片上的存储装置；可以从其他处理装置中获取控制指令， 写入神经网络运算装置片上的控制缓存；也可以读取神经网络运算装置的存储 模块中的数据并传输给其他处理装置。

可选的，该结构如图3所示，还可以包括存储装置，存储装置分别与所述 神经网络运算装置和所述其他处理装置连接。存储装置用于保存在所述神经网 络运算装置和所述其他处理装置的数据，尤其适用于所需要运算的数据在本神 经网络运算装置或其他处理装置的内部存储中无法全部保存的数据。

该组合处理装置可以作为手机、机器人、无人机、视频监控设备等设备的 SOC片上系统，有效降低控制部分的核心面积，提高处理速度，降低整体功耗。 此情况时，该组合处理装置的通用互联接口与设备的某些部件相连接。某些部 件譬如摄像头，显示器，鼠标，键盘，网卡，wifi接口。

在一些实施例里，还申请了一种芯片，其包括了上述神经网络运算装置或 组合处理装置。

在一些实施例里，申请了一种芯片封装结构，其包括了上述芯片。

在一些实施例里，申请了一种板卡，其包括了上述芯片封装结构。

在一些实施例里，申请了一种电子设备，其包括了上述板卡。

电子设备包括数据处理装置、机器人、电脑、打印机、扫描仪、平板电脑、 智能终端、手机、行车记录仪、导航仪、传感器、摄像头、服务器、云端服务 器、相机、摄像机、投影仪、手表、耳机、移动存储、可穿戴设备、交通工具、 家用电器、和/或医疗设备。

所述交通工具包括飞机、轮船和/或车辆；所述家用电器包括电视、空调、 微波炉、冰箱、电饭煲、加湿器、洗衣机、电灯、燃气灶、油烟机；所述医疗 设备包括核磁共振仪、B超仪和/或心电图仪。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述 为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的 动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。 其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于可选实施 例，所涉及的动作和模块并不一定是本申请所必须的。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详 述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其 它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如所述单 元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例 如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略， 或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可 以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的 形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为 单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者 也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部 单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中， 也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元 中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件程序模块的 形式实现。

所述集成的单元如果以软件程序模块的形式实现并作为独立的产品销售或 使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本申请的 技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部 分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中， 包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设 备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储器包 括：U盘、只读存储器(ROM，Read－Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤 是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存 储器中，存储器可以包括：闪存盘、只读存储器(英文：Read－Only Memory， 简称：ROM)、随机存取器(英文：Random Access Memory，简称：RAM)、磁盘 或光盘等。

以上对本申请实施例进行了详细介绍，本文中应用了具体个例对本申请的 原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方 法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在 具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理 解为对本申请的限制。

Claims (29)

1.一种计算装置，其特征在于，所述计算装置用于执行机器学习计算，所述计算装置包括：运算单元以及控制器单元；所述运算单元包括：一个主处理电路和多个从处理电路；

所述控制器单元，用于获取数据、机器学习模型以及计算指令；

所述控制器单元，还用于解析该计算指令得到多个运算指令，将该多个运算指令以及所述数据发送给所述主处理电路；

所述主处理电路，用于对所述数据执行前序处理以及与所述多个从处理电路之间传输数据和运算指令；

所述多个从处理电路，用于依据从所述主处理电路传输的数据以及运算指令并行执行中间运算得到多个中间结果，并将多个中间结果传输给所述主处理电路；

所述主处理电路，用于对所述多个中间结果执行后续处理得到所述计算指令的计算结果。

2.根据权利要求1所述的装置，其特征在于，所述计算装置还包括：存储单元和直接内存访问单元，所述存储单元包括：寄存器、缓存中任意组合；所述机器学习计算包括人工神经网络计算，所述数据包括：输入神经元、权值、输出神经元；

所述缓存，用于存储所述数据；

所述寄存器，用于存储所述数据中标量数据；

所述缓存包括高速暂存缓存。

3.根据权利要求1所述的装置，其特征在于，所述控制器单元包括：指令存储单元、指令存储单元和存储队列单元；

所述指令存储单元，用于存储所述机器学习模型关联的计算指令；

所述指令处理单元，用于对所述计算指令解析得到多个运算指令；

所述存储队列单元，用于存储指令队列，该指令队列包括：按该队列的前后顺序待执行的多个运算指令或计算指令。

4.根据权利要求3所述的装置，其特征在于，所述主处理电路包括：依赖关系处理单元；

所述依赖关系处理单元，用于确定第一运算指令与所述第一运算指令之前的第零运算指令是否存在关联关系，如所述第一运算指令与所述第零运算指令存在关联关系，将所述第一运算指令缓存在所述指令存储单元内，在所述第零运算指令执行完毕后，从所述指令存储单元提取所述第一运算指令传输至所述运算单元；

所述确定该第一运算指令与第一运算指令之前的第零运算指令是否存在关联关系包括：

依据所述第一运算指令提取所述第一运算指令中所需数据的第一存储地址区间，依据所述第零运算指令提取所述第零运算指令中所需数据的第零存储地址区间，如所述第一存储地址区间与所述第零存储地址区间具有重叠的区域，确定所述第一运算指令与所述第零运算指令具有关联关系，如所述第一存储地址区间与所述第零存储地址区间不具有重叠的区域，确定所述第一运算指令与所述第零运算指令不具有关联关系。

5.根据权利要求1所述的装置，其特征在于，所述运算单元包括：树型模块，所述树型模块包括：一个根端口和多个支端口，所述树型模块的根端口连接所述主处理电路，所述树型模块的多个支端口分别连接多个从处理电路中的一个从处理电路；

所述树型模块，用于转发所述主处理电路与所述多个从处理电路之间的数据块、权值以及运算指令。

6.根据权利要求2所述的装置，其特征在于，所述运算单元还包括分支处理电路，

所述主处理电路，具体用于将一个输入神经元分配成多个数据块，将所述多个数据块中的至少一个数据块、权值以及多个运算指令中的至少一个运算指令发送给所述分支处理电路；

所述分支处理电路，用于转发所述主处理电路与所述多个从处理电路之间的数据块、权值以及运算指令；

所述多个从处理电路，用于依据该运算指令对接收到的数据块以及权值执行运算得到中间结果，并将中间结果传输给所述分支处理电路；

所述主处理电路，用于将分支处理电路发送的中间结果进行后续处理得到该计算指令的结果，将该计算指令的结果发送给所述控制器单元。

7.根据权利要求1所述的装置，其特征在于，所述多个从处理电路呈阵列分布；每个从处理电路与相邻的其他从处理电路连接，所述主处理电路连接所述多个从处理电路中的k个从处理电路，所述k个基础电路为：第1行的n个从处理电路、第m行的n个从处理电路以及第1列的m个从处理电路；

所述K个从处理电路，用于在所述主处理电路以及多个从处理电路之间的数据以及指令的转发；

所述主处理电路，用于将一个输入数据分配成多个数据块，将所述多个数据块中的至少一个数据块以及多个运算指令中的至少一个运算指令发送给所述K个从处理电路；

所述K个从处理电路，用于转换所述主处理电路与所述多个从处理电路之间的数据；

所述多个从处理电路，用于依据该运算指令对接收到的数据块执行运算得到中间结果，并将运算结果传输给所述K个从处理电路；

所述主处理电路，用于将所述K个从处理电路发送的中间结果进行后续处理得到该计算指令的结果，将该计算指令的结果发送给所述控制器单元。

8.根据权利要求5－7任意一项所述的装置，其特征在于，

所述主处理电路，具体用于将多个处理电路发送的中间结果进行组合排序得到该计算指令的结果；

或所述主处理电路，具体用于将多个处理电路的发送的中间结果进行组合排序以及激活处理后得到该计算指令的结果。

9.根据权利要求5－7任意一项所述的装置，其特征在于，所述主处理电路包括：转换处理电路、激活处理电路、加法处理电路中的一种或任意组合；

所述转换处理电路，用于对所述数据执行前序处理，具体为：将主处理电路接收的数据或中间结果执行第一数据结构与第二数据结构之间的互换；或将主处理电路接收的数据或中间结果执行第一数据类型与第二数据类型之间的互换；

所述激活处理电路，用于执行所述后续处理，具体为执行主处理电路内数据的激活运算；

所述加法处理电路，用于执行所述后续处理，具体为执行加法运算或累加运算。

10.根据权利要求6或7所述的装置，其特征在于，所述从处理电路包括：乘法处理电路；

所述乘法处理电路，用于对接收到的数据块执行乘积运算得到乘积结果。

11.根据权利要求10所述的装置，其特征在于，所述从处理电路还包括：累加处理电路，所述累加处理电路，用于对该乘积结果执行累加运算得到该中间结果。

12.根据权利要求5所述的装置，其特征在于，所述树型模块为n叉树结构，所述n为大于等于2的整数。

13.一种神经网络运算装置，其特征在于，所述神经网络运算装置包括一个或多个如权利要求1-12任一项所述的计算装置，用于从其他处理装置中获取待运算数据和控制信息，并执行指定的神经网络运算，将执行结果通过I/O接口传递给其他处理装置；

当所述神经网络运算装置包含多个所述计算装置时，所述多个所述计算装置间可以通过特定的结构进行连接并传输数据；

其中，多个所述计算装置通过快速外部设备互连总线PCIE总线进行互联并传输数据，以支持更大规模的神经网络的运算；多个所述计算装置共享同一控制系统或拥有各自的控制系统；多个所述计算装置共享内存或者拥有各自的内存；多个所述计算装置的互联方式是任意互联拓扑。

14.一种组合处理装置，其特征在于，所述组合处理装置包括如权利要求13所述的神经网络运算装置，通用互联接口和其他处理装置；

所述神经网络运算装置与所述其他处理装置进行交互，共同完成用户指定的计算操作。

15.根据权利要求14所述的组合处理装置，其特征在于，还包括：存储装置，该存储装置分别与所述神经网络运算装置和所述其他处理装置连接，用于保存所述神经网络运算装置和所述其他处理装置的数据。

16.一种神经网络芯片，其特征在于，所述神经网络芯片包括如权利要求13所述的神经网络运算装置或如权利要求14所述的组合处理装置或如权利要求15所述的组合处理装置。

17.一种电子设备，其特征在于，所述电子设备包括如所述权利要求16所述的芯片。

18.一种执行机器学习模型的计算方法，其特征在于，所述计算方法应用于计算装置，所述计算装置用于执行机器学习计算；所述计算装置包括：运算单元以及控制器单元；所述运算单元包括：一个主处理电路和多个从处理电路；所述方法包括：

所述控制器单元获取数据、机器学习模型以及计算指令；

所述控制器单元解析该计算指令得到多个运算指令，将该多个运算指令以及所述数据发送给所述主处理电路；

所述主处理电路对所述数据执行前序处理以及与所述多个从处理电路之间传输数据以及运算指令；

所述多个从处理电路依据从所述主处理电路传输的数据以及运算指令并行执行中间运算得到多个中间结果，并将多个中间结果传输给所述主处理电路；

所述主处理电路对所述多个中间结果执行后续处理得到所述计算指令的计算结果。

19.根据权利要求18所述的方法，其特征在于，所述计算装置还包括：存储单元和直接内存访问单元，所述存储单元包括：寄存器、缓存中任意组合；所述机器学习计算包括人工神经网络计算，所述数据包括：输入神经元、权值、输出神经元；

所述缓存存储所述数据；

所述寄存器存储所述数据中的标量；所述缓存包括高速暂存缓存。

20.根据权利要求18所述的方法，其特征在于，所述控制器单元包括：指令存储单元、指令存储单元和存储队列单元；

所述指令存储单元存储所述机器学习模型关联的计算指令；

所述指令处理单元对所述计算指令解析得到多个运算指令；

所述存储队列单元存储指令队列，该指令队列包括：按该队列的前后顺序待执行的多个运算指令或计算指令。

21.根据权利要求20所述的方法，其特征在于，所述主处理电路包括：依赖关系处理单元；

所述依赖关系处理单元确定第一运算指令与所述第一运算指令之前的第零运算指令是否存在关联关系，如所述第一运算指令与所述第零运算指令存在关联关系，将所述第一运算指令缓存在所述指令存储单元内，在所述第零运算指令执行完毕后，从所述指令存储单元提取所述第一运算指令传输至所述运算单元；

所述确定该第一运算指令与第一运算指令之前的第零运算指令是否存在关联关系包括：

依据所述第一运算指令提取所述第一运算指令中所需数据的第一存储地址区间，依据所述第零运算指令提取所述第零运算指令中所需数据的第零存储地址区间，如所述第一存储地址区间与所述第零存储地址区间具有重叠的区域，确定所述第一运算指令与所述第零运算指令具有关联关系，如所述第一存储地址区间与所述第零存储地址区间不具有重叠的区域，确定所述第一运算指令与所述第零运算指令不具有关联关系。

22.根据权利要求18所述的方法，其特征在于，所述运算单元包括：树型模块，所述树型模块包括：一个根端口和多个支端口，所述树型模块的根端口连接所述主处理电路，所述树型模块的多个支端口分别连接多个从处理电路中的一个从处理电路；

所述树型模块转发所述主处理电路与所述多个从处理电路之间的数据块、权值以及运算指令。

23.根据权利要求19所述的方法，其特征在于，所述运算单元还包括分支处理电路，

所述主处理电路将一个输入神经元分配成多个数据块，将所述多个数据块中的至少一个数据块、权值以及多个运算指令中的至少一个运算指令发送给所述分支处理电路；

所述分支处理电路转发所述主处理电路与所述多个从处理电路之间的数据块、权值以及运算指令；

所述多个从处理电路依据该运算指令对接收到的数据块以及权值执行运算得到中间结果，并将中间结果传输给所述分支处理电路；

所述主处理电路将分支处理电路发送的中间结果进行后续处理得到该计算指令的结果，将该计算指令的结果发送给所述控制器单元。

24.根据权利要求18所述的方法，其特征在于，所述多个从处理电路呈阵列分布；每个从处理电路与相邻的其他从处理电路连接，所述主处理电路连接所述多个从处理电路中的k个从处理电路，所述k个基础电路为：第1行的n个从处理电路、第m行的n个从处理电路以及第1列的m个从处理电路；

所述K个从处理电路在所述主处理电路以及多个从处理电路之间的数据以及指令的转发；

所述主处理电路将一个输入数据分配成多个数据块，将所述多个数据块中的至少一个数据块以及多个运算指令中的至少一个运算指令发送给所述K个从处理电路；

所述K个从处理电路转换所述主处理电路与所述多个从处理电路之间的数据；

所述多个从处理电路依据该运算指令对接收到的数据块执行运算得到中间结果，并将运算结果传输给所述K个从处理电路；

所述主处理电路将所述K个从处理电路发送的中间结果进行后续处理得到该计算指令的结果，将该计算指令的结果发送给所述控制器单元。

25.根据权利要求22－24任意一项所述的方法，其特征在于，

所述主处理电路将多个处理电路发送的中间结果进行组合排序得到该计算指令的结果；

或所述主处理电路将多个处理电路的发送的中间结果进行组合排序以及激活处理后得到该计算指令的结果。

26.根据权利要求22－24任意一项所述的方法，其特征在于，所述主处理电路包括：转换处理电路、激活处理电路、加法处理电路中的一种或任意组合；

所述转换处理电路对所述数据执行前序处理，具体为：将主处理电路接收的数据或中间结果执行第一数据结构与第二数据结构之间的互换；或将主处理电路接收的数据或中间结果执行第一数据类型与第二数据类型之间的互换；

所述激活处理电路执行所述后续处理，具体为执行主处理电路内数据的激活运算；

所述加法处理电路执行所述后续处理，具体为执行加法运算或累加运算。

27.根据权利要求23或24所述的方法，其特征在于，所述从处理电路包括：乘法处理电路；

所述乘法处理电路对接收到的数据块执行乘积运算得到乘积结果。

28.根据权利要求27所述的方法，其特征在于，所述从处理电路还包括：累加处理电路，所述累加处理电路对该乘积结果执行累加运算得到该中间结果。

29.根据权利要求22所述的方法，其特征在于，所述树型模块为n叉树结构，所述n为大于等于2的整数。