CN110059809B - 一种计算装置及相关产品 - Google Patents
一种计算装置及相关产品 Download PDFInfo
- Publication number
- CN110059809B CN110059809B CN201811176260.9A CN201811176260A CN110059809B CN 110059809 B CN110059809 B CN 110059809B CN 201811176260 A CN201811176260 A CN 201811176260A CN 110059809 B CN110059809 B CN 110059809B
- Authority
- CN
- China
- Prior art keywords
- processing circuit
- ith layer
- gradient
- input data
- result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Theoretical Computer Science (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Neurology (AREA)
- Advance Control (AREA)
- Image Analysis (AREA)
Abstract
本申请提供一种计算装置及相关产品,所述计算装置用于执行全连接神经网络训练运算,本申请提供的计算装置具有成本低、功耗低的优点。
Description
技术领域
本申请涉及信息处理技术领域,具体涉及一种计算装置及相关产品。
背景技术
随着信息技术的不断发展和人们日益增长的需求,人们对信息及时性的要求越来越高了。目前,终端对信息的获取以及处理均是基于通用处理器获得的。
在实践中发现,这种基于通用处理器运行软件程序来处理信息的方式,受限于通用处理器的运行速率,特别是在通用处理器负荷较大的情况下,信息处理效率较低、时延较大,对于信息处理的计算模型例如计算模型的全连接训练运算来说,全连接训练的计算量更大,通用的处理器完成全连接训练的时间长,效率低,功耗高。
发明内容
本申请实施例提供了一种计算装置及相关产品,可提升全连接训练运算的处理速度,提高效率、节省功耗。
第一方面,提供一种计算装置,所述计算装置用于执行全连接神经网络训练运算,所述全连接神经网络训练包括:α层,所述α层中至少有一层第i层为全连接层,所述计算装置包括:运算单元以及控制器单元;所述运算单元包括:一个主处理电路和从处理电路,所述α为大于等于2的整数;
所述控制器单元,用于获取第i层输入数据、第i层权值以及训练指令;
所述控制器单元,还用于解析该训练指令得到正向计算指令和反向计算指令,将正向计算指令解析得到多个正向运算指令,将该多个运算指令以及所述输入数据、所述权值以及多个运算指令发送给所述主处理电路;
所述主处理电路,用于将所述第i层输入数据广播给所述从处理电路,将所述第i层权值拆分成多个数据块,将多个数据块分发给所述从处理电路,将所述多个运算指令发送给所述从处理电路;
所述从处理电路,用于依据运算指令对所述第i层输入数据以及接收到的数据块执行全连接运算得到运算结果,并将运算结果传输给所述主处理电路;
所述主处理电路,用于对所述运算结果进行拼接处理得到计算结果;
所述主处理电路,还用于对所述计算结果进行后续处理得到全连接正向计算结果;
所述控制器单元,还用于解析所述反向计算指令得到多个反向运算指令,将所述反向运算指令以及所述第i+1层输出结果梯度、第i层权值以及第i层输入数据发送给所述主处理电路;
所述主处理电路,还用于依据所述第i+1层输出结果梯度得到第i层输入结果梯度,将第i层输入结果梯度拆分成多个反向输入数据块,将多个反向输入数据块分发给所述从处理电路;将第i层权值以及第i层输入数据以及多个反向运算指令广播给所述从处理器电路;
所述从处理电路,用于依据接收到的反向运算指令将接收到的反向输入数据块与第i层权值执行乘法运算得到第i层输出梯度运算结果,依据接收到的反向运算指令将接收到的反向输入数据块与所述第i层输入数据执行乘法运算得到第i层权值梯度运算结果;将所述第i层输出梯度运算结果和所述第i层权值梯度运算结果返回给所述主处理电路;
所述主处理电路,用于将从处理电路发送的第i层权值梯度运算结果拼接得到第i层权值梯度,将从处理电路发送第i层输出梯度运算结果拼接得到第i层输出结果梯度,利用第i层权值梯度更新第i层权值。
第二方面,本申请实施例提供了一种全连接训练装置,其特征在于,所述全连接训练装置包括一个或多个第一方面提供的计算装置,用于从其他处理装置中获取待运算数据和控制信息,并执行指定的全连接运算,将执行结果通过I/O接口传递给其他处理装置;
当所述全连接训练装置包含多个所述计算装置时,所述多个所述计算装置间可以通过特定的结构进行连接并传输数据;
其中,多个所述计算装置通过快速外部设备互连总线PCIE总线进行互联并传输数据,以支持更大规模的机器学习的运算;多个所述计算装置共享同一控制系统或拥有各自的控制系统;多个所述计算装置共享内存或者拥有各自的内存;多个所述计算装置的互联方式是任意互联拓扑。
第三方面,本申请实施例提供了一种组合处理装置,该组合处理装置包括如第二方面所述的全连接训练装置、通用互联接口,和其他处理装置。该机器学习运算装置与上述其他处理装置进行交互,共同完成用户指定的操作。该组合处理装置还可以包括存储装置,该存储装置分别与所述全连接训练装置和所述其他处理装置连接,用于保存所述全连接训练装置和所述其他处理装置的数据。
第四方面,本申请实施例提供了一种神经网络芯片,该神经网络芯片包括上述第一方面所述的计算装置、上述第二方面所述的全连接训练装置或者上述第三方面所述的组合处理装置。
第五方面,本申请实施例提供了一种神经网络芯片封装结构,该神经网络芯片封装结构包括上述第四方面所述的神经网络芯片;
第六方面,本申请实施例提供了一种板卡,该板卡包括上述第五方面所述的神经网络芯片封装结构。
第七方面,本申请实施例提供了一种电子装置,该电子装置包括上述第六方面所述的神经网络芯片或者上述第六方面所述的板卡。
第八方面,本申请实施例还提供一种全连接神经网络训练方法,其特征在于,所述方法应用于计算装置,所述全连接神经网络训练包括:α层,所述α层中至少有一层第i层为全连接层,所述计算装置包括:运算单元以及控制器单元;所述运算单元包括:一个主处理电路和从处理电路,所述α为大于等于2的整数;所述方法至少包括,第i层正向运算和第i层反向运算;所述方法包括如下步骤:
所述控制器单元获取第i层输入数据、第i层权值以及训练指令;
第i层正向运算包括:
所述控制器单元解析该训练指令得到正向计算指令和反向计算指令,将正向计算指令解析得到多个正向运算指令,将该多个运算指令以及所述输入数据、所述权值以及多个运算指令发送给所述主处理电路;
所述主处理电路将所述第i层输入数据广播给所述从处理电路,将所述第i层权值拆分成多个数据块,将多个数据块分发给所述从处理电路,将所述多个运算指令发送给所述从处理电路;
所述从处理电路依据运算指令对所述第i层输入数据以及接收到的数据块执行全连接运算得到运算结果,并将运算结果传输给所述主处理电路;
所述主处理电路对所述运算结果进行拼接处理得到计算结果对所述计算结果进行后续处理得到全连接正向计算结果;
第i层反向运算包括:
所述控制器单元解析所述反向计算指令得到多个反向运算指令,将所述反向运算指令以及所述第i+1层输出结果梯度、第i层权值以及第i层输入数据发送给所述主处理电路;
所述主处理电路依据所述第i+1层输出结果梯度得到第i层输入结果梯度,将第i层输入结果梯度拆分成多个反向输入数据块,将多个反向输入数据块分发给所述从处理电路;将第i层权值以及第i层输入数据以及多个反向运算指令广播给所述从处理器电路;
所述从处理电路依据接收到的反向运算指令将接收到的反向输入数据块与第i层权值执行乘法运算得到第i层输出梯度运算结果,依据接收到的反向运算指令将接收到的反向输入数据块与所述第i层输入数据执行乘法运算得到第i层权值梯度运算结果;将所述第i层输出梯度运算结果和所述第i层权值梯度运算结果返回给所述主处理电路;
所述主处理电路将从处理电路发送的第i层权值梯度运算结果拼接得到第i层权值梯度,将从处理电路发送第i层输出梯度运算结果拼接得到第i层输出结果梯度,利用第i层权值梯度更新第i层权值。
在一些实施例中,所述电子设备包括数据处理装置、机器人、电脑、打印机、扫描仪、平板电脑、智能终端、手机、行车记录仪、导航仪、传感器、摄像头、服务器、云端服务器、相机、摄像机、投影仪、手表、耳机、移动存储、可穿戴设备、交通工具、家用电器、和/或医疗设备。
在一些实施例中,所述交通工具包括飞机、轮船和/或车辆;所述家用电器包括电视、空调、微波炉、冰箱、电饭煲、加湿器、洗衣机、电灯、燃气灶、油烟机;所述医疗设备包括核磁共振仪、B超仪和/或心电图仪。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1A是本申请实施例提供的一种计算装置的结构示意图。
图1B是本申请一个实施例提供的计算装置的结构图。
图1C是本申请另一个实施例提供的计算装置的结构图。
图1D是本申请实施例提供的主处理电路的结构图。
图1E是本申请实施例提供的另一种计算装置的结构图。
图1F是本申请实施例提供的树型模块的结构示意图。
图1G是本申请实施例提供的又一种计算装置的结构图。
图1H是本申请实施例提供的还一种计算装置的结构图。
图2是本申请实施例提供的一种组合处理装置的结构图。
图2A是本申请实施例提供的一种计算装置的结构示意图。
图3是本申请实施例提供的另一种组合处理装置的结构图。
图3A是本申请实施例提供的一种板卡的结构示意图。
图4A是本申请实施例提供的一种全连接神经网络的分层示意图。
图4B是本申请实施例提供的第i层正向运算示意图。
图4C是本申请实施例提供的第i层反向运算示意图。
图4D是本申请实施例提供的拼接示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书及所述附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
首先介绍本申请使用的计算装置。参阅图1A,提供了一种计算装置,该计算装置用于执行机器学习计算,该计算装置包括:控制器单元11和运算单元12,其中,控制器单元11与运算单元12连接,该运算单元12包括:一个主处理电路和从处理电路(可以是一个或多个从处理电路);
控制器单元11,用于获取输入数据以及计算指令;在一种可选方案中,具体的,获取输入数据以及计算指令方式可以通过数据输入输出单元得到,该数据输入输出单元具体可以为一个或多个数据I/O接口或I/O引脚。
上述计算指令包括但不限于:正向运算指令或反向训练指令,或其他神经网络运算指令等等,例如卷积运算指令,本申请具体实施方式并不限制上述计算指令的具体表现形式。
所述计算装置用于执行全连接神经网络训练运算,所述全连接神经网络训练包括:α层,所述α层中至少有一层第i层为全连接层,所述计算装置包括:运算单元以及控制器单元;所述运算单元包括:一个主处理电路101和从处理电路102,所述α为大于等于2的整数;
所述控制器单元,用于获取第i层输入数据、第i层权值以及训练指令;
所述控制器单元,还用于解析该训练指令得到正向计算指令和反向计算指令,将正向计算指令解析得到多个正向运算指令,将该多个运算指令以及所述输入数据、所述权值以及多个运算指令发送给所述主处理电路;
所述主处理电路,用于将所述第i层输入数据广播给所述从处理电路,将所述第i层权值拆分成多个数据块,将多个数据块分发给所述从处理电路,将所述多个运算指令发送给所述从处理电路;
所述从处理电路,用于依据运算指令对所述第i层输入数据以及接收到的数据块执行全连接运算得到运算结果,并将运算结果传输给所述主处理电路;
所述主处理电路,用于对所述运算结果进行拼接处理得到计算结果;
所述主处理电路,还用于对所述计算结果进行后续处理得到全连接正向计算结果;
所述控制器单元,还用于解析所述反向计算指令得到多个反向运算指令,将所述反向运算指令以及所述第i+1层输出结果梯度、第i层权值以及第i层输入数据发送给所述主处理电路;
所述主处理电路,还用于依据所述第i+1层输出结果梯度得到第i层输入结果梯度,将第i层输入结果梯度拆分成多个反向输入数据块,将多个反向输入数据块分发给所述从处理电路;将第i层权值以及第i层输入数据以及多个反向运算指令广播给所述从处理器电路;
所述从处理电路,用于依据接收到的反向运算指令将接收到的反向输入数据块与第i层权值执行乘法运算得到第i层输出梯度运算结果,依据接收到的反向运算指令将接收到的反向输入数据块与所述第i层输入数据执行乘法运算得到第i层权值梯度运算结果;将所述第i层输出梯度运算结果和所述第i层权值梯度运算结果返回给所述主处理电路;
所述主处理电路,用于将从处理电路发送的第i层权值梯度运算结果拼接得到第i层权值梯度,将从处理电路发送第i层输出梯度运算结果拼接得到第i层输出结果梯度,利用第i层权值梯度更新第i层权值。
可选的,上述依据所述第i+1层输出结果梯度得到第i层输入结果梯度具体包括:
所述主处理电路,具体用于将所述第i+1层输出结果梯度与第i层正向运算的激活函数的导函数相乘得到第i层输入结果梯度
本申请提供的技术方案将运算单元设置成主从结构,对于正向运算的计算指令,其可以将依据正向运算的计算指令将数据进行拆分,这样通过多个从处理电路即能够对计算量较大的部分进行并行运算,从而提高运算速度,节省运算时间,进而降低功耗,对于反向运算,其仍然可以拆分数据进行并行运算,提高运算速度,因此能够提高训练的效率,减少时间,降低功耗。
如图4A所示,对于神经网络中的运算可以为神经网络中的一层的运算,对于多层神经网络,其实现过程是,在正向运算中,当上一层人工神经网络执行完成之后,下一层的运算指令会将运算单元中计算出的输出神经元作为下一层的输入神经元进行运算(或者是对该输出神经元进行某些操作再作为下一层的输入神经元),同时,将权值也替换为下一层的权值;在反向运算中,当上一层人工神经网络的反向运算执行完成后,下一层运算指令会将运算单元中计算出的输入神经元梯度作为下一层的输出神经元梯度进行运算(或者是对该输入神经元梯度进行某些操作再作为下一层的输出神经元梯度),同时将权值替换为下一层的权值。
对于人工神经网络运算,如果该人工神经网络运算具有多层运算,多层运算的输入神经元和输出神经元并非是指整个神经网络的输入层中神经元和输出层中神经元,而是对于网络中任意相邻的两层,处于网络正向运算下层中的神经元即为输入神经元,处于网络正向运算上层中的神经元即为输出神经元。以卷积神经网络为例,设一个卷积神经网络有L层,K=1,2,...,L-1,对于第K层和第K+1层来说,我们将第K层称为输入层,其中的神经元为所述输入神经元,第K+1层称为输出层,其中的神经元为所述输出神经元。即除最顶层外,每一层都可以作为输入层,其下一层为对应的输出层。
可选的,上述计算装置还可以包括:该存储单元10和直接内存访问单元50,存储单元10可以包括:寄存器、缓存中的一个或任意组合,具体的,所述缓存,用于存储所述计算指令;所述寄存器,用于存储所述输入数据和标量;所述缓存为高速暂存缓存。直接内存访问单元50用于从存储单元10读取或存储数据。
可选的,该控制器单元包括:指令存储单元110、指令处理单元111和存储队列单元113;
指令存储单元110,用于存储所述人工神经网络运算关联的计算指令;
所述指令处理单元111,用于对所述计算指令解析得到多个运算指令;
存储队列单元113,用于存储指令队列,该指令队列包括:按该队列的前后顺序待执行的多个运算指令或计算指令。
举例说明,在一个可选的技术方案中,主运算处理电路也可以包括一个控制器单元,该控制器单元可以包括主指令处理单元,具体用于将指令译码成微指令。当然在另一种可选方案中,从运算处理电路也可以包括另一个控制器单元,该另一个控制器单元包括从指令处理单元,具体用于接收并处理微指令。上述微指令可以为指令的下一级指令,该微指令可以通过对指令的拆分或解码后获得,能被进一步解码为各部件、各单元或各处理电路的控制信号。
在一种可选方案中,该计算指令的结构可以如下表所示。
操作码 | 寄存器或立即数 | 寄存器/立即数 | ... |
上表中的省略号表示可以包括多个寄存器或立即数。
在另一种可选方案中,该计算指令可以包括:一个或多个操作域以及一个操作码。该计算指令可以包括神经网络运算指令。以神经网络运算指令为例,如表1所示,其中,寄存器号0、寄存器号1、寄存器号2、寄存器号3、寄存器号4可以为操作域。其中,每个寄存器号0、寄存器号1、寄存器号2、寄存器号3、寄存器号4可以是一个或者多个寄存器的号码。
上述寄存器可以为片外存储器,当然在实际应用中,也可以为片内存储器,用于存储数据,该数据具体可以为n维数据,n为大于等于1的整数,例如,n=1时,为1维数据,即向量,如n=2时,为2维数据,即矩阵,如n=3或3以上时,为多维张量。
可选的,该控制器单元还可以包括:
所述依赖关系处理单元108,用于在具有多个运算指令时,确定第一运算指令与所述第一运算指令之前的第零运算指令是否存在关联关系,如所述第一运算指令与所述第零运算指令存在关联关系,则将所述第一运算指令缓存在所述指令存储单元内,在所述第零运算指令执行完毕后,从所述指令存储单元提取所述第一运算指令传输至所述运算单元;
所述确定该第一运算指令与第一运算指令之前的第零运算指令是否存在关联关系包括:
依据所述第一运算指令提取所述第一运算指令中所需数据(例如矩阵)的第一存储地址区间,依据所述第零运算指令提取所述第零运算指令中所需矩阵的第零存储地址区间,如所述第一存储地址区间与所述第零存储地址区间具有重叠的区域,则确定所述第一运算指令与所述第零运算指令具有关联关系,如所述第一存储地址区间与所述第零存储地址区间不具有重叠的区域,则确定所述第一运算指令与所述第零运算指令不具有关联关系。
在另一种可选实施例中,运算单元12如图1C所示,可以包括一个主处理电路101和多个从处理电路102。在一个实施例里,如图1C所示,多个从处理电路呈阵列分布;每个从处理电路与相邻的其他从处理电路连接,主处理电路连接所述多个从处理电路中的k个从处理电路,所述k个从处理电路为:第1行的n个从处理电路、第m行的n个从处理电路以及第1列的m个从处理电路,需要说明的是,如图1C所示的K个从处理电路仅包括第1行的n个从处理电路、第m行的n个从处理电路以及第1列的m个从处理电路,即该k个从处理电路为多个从处理电路中直接与主处理电路连接的从处理电路。
K个从处理电路,用于在所述主处理电路以及多个从处理电路之间的数据以及指令的转发。
所述主处理电路,用于确定所述输入数据为广播数据,权值为分发数据,将所述权值拆分成多个数据块,将所述多个数据块中的至少一个数据块以及多个运算指令中的至少一个运算指令发送给所述K个从处理电路;
所述K个从处理电路,用于转发所述主处理电路与所述多个从处理电路之间的数据块、输入数据和运算指令;
所述多个从处理电路,用于依据该运算指令对接收到的数据块以及输入数据执行全连接运算得到运算结果,并将运算结果传输给所述K个从处理电路;
所述主处理电路,用于将所述K个从处理电路发送的运算结果进行拼接得到计算结果,将该计算结果执行后续处理得到全连接正向计算结果;
所述主处理电路,还用于依据所述第i+1层输出结果梯度得到第i层输入结果梯度,将第i层输入结果梯度拆分成多个反向输入数据块,将多个反向输入数据块分发给所述k个从处理电路;将第i层权值以及第i层输入数据以及多个反向运算指令广播给所述k个从处理电路;
所述k个从处理电路,还用于转发所述主处理电路与所述多个从处理电路之间的反向输入数据块、第i层权值、第i层输入数据以及反向运算指令;
所述多个从处理电路,用于依据接收到的反向运算指令将接收到的反向输入数据块与第i层权值执行乘法运算得到第i层输出梯度运算结果,依据接收到的反向运算指令将接收到的反向输入输入数据块与所述第i层输入数据执行乘法运算得到第i层权值梯度运算结果;将所述第i层输出梯度运算结果和所述第i层权值梯度运算结果返回给所述k个从处理电路;
所述主处理电路,用于将k个从处理电路发送的第i层权值梯度运算结果拼接得到第i层权值梯度,将分支处理电路发送第i层输出梯度运算结果拼接得到第i层输出结果梯度,利用第i层权值梯度更新第i层权值。
可选的,如图1D所示,该主处理电路还可以包括:转换处理电路110、激活处理电路111、加法处理电路112中的一种或任意组合;
转换处理电路110,用于将主处理电路接收的数据块或中间结果执行第一数据结构与第二数据结构之间的互换(例如连续数据与离散数据的转换);或将主处理电路接收的数据块或中间结果执行第一数据类型与第二数据类型之间的互换(例如定点类型与浮点类型的转换);
激活处理电路111,用于执行主处理电路内数据的激活运算;
加法处理电路112,用于执行加法运算或累加运算。
所述从处理电路包括:乘法处理电路;
所述乘法处理电路,用于对接收到的数据块执行乘积运算得到乘积结果;
转发处理电路(可选的),用于将接收到的数据块或乘积结果转发。
累加处理电路,所述累加处理电路,用于对该乘积结果执行累加运算得到该中间结果。
另一个实施例里,该运算指令为矩阵乘以矩阵的指令、累加指令、激活指令等等计算指令。
下面通过神经网络运算指令来说明如图1A所示的计算装置的具体计算方法。对于神经网络运算指令来说,其实际需要执行的公式可以为:s=s(∑wxi+b),其中,即将权值w乘以输入数据xi,进行求和,然后加上偏置b后做激活运算s(h),得到最终的输出结果s。
在一种可选的实施方案中,如图1E所示,所述运算单元包括:树型模块40,所述树型模块包括:一个根端口401和多个支端口404,所述树型模块的根端口连接所述主处理电路,所述树型模块的多个支端口分别连接多个从处理电路中的一个从处理电路;
上述树型模块具有收发功能,例如如图1E所示,该树型模块即为发送功能,如图2A所示,该树型模块即为接收功能。
所述树型模块,用于转发所述主处理电路与所述多个从处理电路之间的数据块、权值以及运算指令。
可选的,该树型模块为计算装置的可选择结果,其可以包括至少1层节点,该节点为具有转发功能的线结构,该节点本身可以不具有计算功能。如树型模块具有零层节点,即无需该树型模块。
可选的,该树型模块可以为n叉树结构,例如,如图1F所示的二叉树结构,当然也可以为三叉树结构,该n可以为大于等于2的整数。本申请具体实施方式并不限制上述n的具体取值,上述层数也可以为2,从处理电路可以连接除倒数第二层节点以外的其他层的节点,例如可以连接如图1F所示的倒数第一层的节点。
可选的,上述运算单元可以携带单独的缓存,如图1G所示,可以包括:神经元缓存单元,该神经元缓存单元63缓存该从处理电路的输入神经元向量数据和输出神经元值数据。
如图1H所示,该运算单元还可以包括:权值缓存单元64,用于缓存该从处理电路在计算过程中需要的权值数据。
在一种可选实施例中,运算单元12如图1B所示,可以包括分支处理电路103;其具体的连接结构如图1B所示,其中,上述分支处理电路103可以包括存储器,如图1B所示,分支处理电路103的存储器的大小可以为在单个从处理电路需要存储的最大数据容量的2到2.5倍之间,这样设置以后,从处理电路即无需设置存储器,相对于一个分支处理电路,其只用设置2.5*R(单个从处理器电路所需的容量值),如果没有分支处理电路,那么需要设置4*R,并且其寄存器的利用率还低,因此该结构可以有效的降低存储器的总容量,降低成本。
主处理电路101与分支处理电路103(一个或多个)连接,分支处理电路103与一个或多个从处理电路102连接;
分支处理电路103,用于执行转发主处理电路101与从处理电路102之间的数据或指令。
所述主处理电路,具体用于确定所述输入数据为广播数据,所述权值为分发数据,将所述权值拆分成多个数据块,将所述多个数据块中的至少一个数据块、输入数据以及多个运算指令中的至少一个运算指令发送给所述分支处理电路;
所述分支处理电路,用于转发所述主处理电路与所述多个从处理电路之间的数据块、输入数据以及运算指令;
所述多个从处理电路,用于依据该运算指令对接收到的数据块以及输入数据执行全连接运算得到运算结果,并将运算结果传输给所述分支处理电路;
所述主处理电路,用于将分支处理电路发送的运算结果进行拼接得到计算结果,将所述计算结果执行后续处理得到全连接正向计算结果;
所述主处理电路,还用于依据所述第i+1层输出结果梯度得到第i层输入结果梯度,将第i层输入结果梯度拆分成多个反向输入数据块,将多个反向输入数据块分发给所述分支处理电路;将第i层权值以及第i层输入数据以及多个反向运算指令广播给所述分支处理器电路;
所述分支处理电路,还用于转发所述主处理电路与所述多个从处理电路之间的反向输入数据块、第i层权值、第i层输入数据以及反向运算指令;
所述从处理电路,用于依据接收到的反向运算指令将接收到的反向输入数据块与第i层权值执行乘法运算得到第i层输出梯度运算结果,依据接收到的反向运算指令将接收到的反向输入输入数据块与所述第i层输入数据执行乘法运算得到第i层权值梯度运算结果;将所述第i层输出梯度运算结果和所述第i层权值梯度运算结果返回给所述分支处理电路;
所述主处理电路,用于将分支处理电路发送的第i层权值梯度运算结果拼接得到第i层权值梯度,将分支处理电路发送第i层输出梯度运算结果拼接得到第i层输出结果梯度,利用第i层权值梯度更新第i层权值。
在一种可选实施例中,以神经网络运算中的全连接运算为例,过程可以为:y=f(wx+b),其中,x为输入神经元矩阵,w为权值矩阵,b为偏置标量,f为激活函数,具体可以为:sigmoid函数,tanh、relu、softmax函数中的任意一个。这里假设为二叉树结构,具有8个从处理电路,其实现的方法可以为:
控制器单元从存储单元内获取输入神经元矩阵x,权值矩阵w以及全连接运算指令,将输入神经元矩阵x,权值矩阵w以及全连接运算指令传输给主处理电路;
主处理电路确定该输入神经元矩阵x为广播数据,确定权值矩阵w为分发数据,将权值矩阵w拆分成8个子矩阵,然后将8个子矩阵通过树型模块分发给8个从处理电路,将输入神经元矩阵x广播给8个从处理电路,
从处理电路并行执行8个子矩阵与输入神经元矩阵x的乘法运算和累加运算得到8个中间结果,将8个中间结果发送给主处理电路;
主处理电路,用于将8个中间结果排序得到wx的运算结果,将该运算结果执行偏置b的运算后执行激活操作得到最终结果y,将最终结果y发送至控制器单元,控制器单元将该最终结果y输出或存储至存储单元内。
如图1A所示的计算装置执行神经网络正向运算指令的方法具体可以为:
控制器单元从指令存储单元内提取神经网络正向运算指令、神经网络运算指令对应的操作域以及至少一个操作码,控制器单元将该操作域传输至数据访问单元,将该至少一个操作码发送至运算单元。
控制器单元从存储单元内提取该操作域对应的权值w和偏置b(当b为0时,不需要提取偏置b),将权值w和偏置b传输至运算单元的主处理电路,控制器单元从存储单元内提取输入数据Xi,将该输入数据Xi发送至主处理电路。
主处理电路依据该至少一个操作码确定为乘法运算,确定输入数据Xi为广播数据,确定权值数据为分发数据,将权值w拆分成n个数据块;
控制器单元的指令处理单元依据该至少一个操作码确定乘法指令、偏置指令和累加指令,将乘法指令、偏置指令和累加指令发送至主处理电路,主处理电路将该乘法指令、输入数据Xi以广播的方式发送给多个从处理电路,将该n个数据块分发给该多个从处理电路(例如具有n个从处理电路,那么每个从处理电路发送一个数据块);多个从处理电路,用于依据该乘法指令将该输入数据Xi与接收到的数据块执行乘法运算得到中间结果,将该中间结果发送至主处理电路,该主处理电路依据该累加指令将多个从处理电路发送的中间结果执行累加运算得到累加结果,依据该偏执指令将该累加结果执行加偏执b得到最终结果,将该最终结果发送至该控制器单元。
另外,加法运算和乘法运算的顺序可以调换。
本申请提供的技术方案通过一个指令即神经网络运算指令即实现了神经网络的乘法运算以及偏置运算,在神经网络计算的中间结果均无需存储或提取,减少了中间数据的存储以及提取操作,所以其具有减少对应的操作步骤,提高神经网络的计算效果的优点。
本申请还揭露了一个全连接训练装置,其包括一个或多个在本申请中提到的计算装置,用于从其他处理装置中获取待运算数据和控制信息,执行指定的机器学习运算,执行结果通过I/O接口传递给外围设备。外围设备譬如摄像头,显示器,鼠标,键盘,网卡,wifi接口,服务器。当包含一个以上计算装置时,计算装置间可以通过特定的结构进行链接并传输数据,譬如,通过PCIE总线进行互联并传输数据,以支持更大规模的机器学习的运算。此时,可以共享同一控制系统,也可以有各自独立的控制系统;可以共享内存,也可以每个加速器有各自的内存。此外,其互联方式可以是任意互联拓扑。
该全连接训练装置具有较高的兼容性,可通过PCIE接口与各种类型的服务器相连接。
本申请还揭露了一个组合处理装置,其包括上述的全连接训练装置,通用互联接口,和其他处理装置。全连接训练装置与其他处理装置进行交互,共同完成用户指定的操作。图2为组合处理装置的示意图。
其他处理装置,包括中央处理器CPU、图形处理器GPU、神经网络处理器等通用/专用处理器中的一种或以上的处理器类型。其他处理装置所包括的处理器数量不做限制。其他处理装置作为全连接训练装置与外部数据和控制的接口,包括数据搬运,完成对全连接训练装置的开启、停止等基本控制;其他处理装置也可以和机器学习运算装置协作共同完成运算任务。
通用互联接口,用于在所述全连接训练装置与其他处理装置间传输数据和控制指令。该全连接训练装置从其他处理装置中获取所需的输入数据,写入全连接训练装置片上的存储装置;可以从其他处理装置中获取控制指令,写入全连接训练装置片上的控制缓存;也可以读取全连接训练装置的存储模块中的数据并传输给其他处理装置。
可选的,该结构如图3所示,还可以包括存储装置,存储装置分别与所述全连接训练装置和所述其他处理装置连接。存储装置用于保存在所述机器学习运算装置和所述其他处理装置的数据,尤其适用于所需要运算的数据在本全连接训练装置或其他处理装置的内部存储中无法全部保存的数据。
该组合处理装置可以作为手机、机器人、无人机、视频监控设备等设备的SOC片上系统,有效降低控制部分的核心面积,提高处理速度,降低整体功耗。此情况时,该组合处理装置的通用互联接口与设备的某些部件相连接。某些部件譬如摄像头,显示器,鼠标,键盘,网卡,wifi接口。
在一些实施例里,还申请了一种芯片,其包括了上述全连接训练装置或组合处理装置。
在一些实施例里,申请了一种芯片封装结构,其包括了上述芯片。
在一些实施例里,申请了一种板卡,其包括了上述芯片封装结构。参阅图3A,图3A提供了一种板卡,上述板卡除了包括上述芯片389以外,还可以包括其他的配套部件,该配套部件包括但不限于:存储器件390、接口装置391和控制器件392;
所述存储器件390与所述芯片封装结构内的芯片通过总线连接,用于存储数据。所述存储器件可以包括多组存储单元393。每一组所述存储单元与所述芯片通过总线连接。可以理解,每一组所述存储单元可以是DDR SDRAM(英文:Double Data Rate SDRAM,双倍速率同步动态随机存储器)。
DDR不需要提高时钟频率就能加倍提高SDRAM的速度。DDR允许在时钟脉冲的上升沿和下降沿读出数据。DDR的速度是标准SDRAM的两倍。在一个实施例中,所述存储装置可以包括4组所述存储单元。每一组所述存储单元可以包括多个DDR4颗粒(芯片)。在一个实施例中,所述芯片内部可以包括4个72位DDR4控制器,上述72位DDR4控制器中64bit用于传输数据,8bit用于ECC校验。可以理解,当每一组所述存储单元中采用DDR4-3200颗粒时,数据传输的理论带宽可达到25600MB/s。
在一个实施例中,每一组所述存储单元包括多个并联设置的双倍速率同步动态随机存储器。DDR在一个时钟周期内可以传输两次数据。在所述芯片中设置控制DDR的控制器,用于对每个所述存储单元的数据传输与数据存储的控制。
所述接口装置与所述芯片封装结构内的芯片电连接。所述接口装置用于实现所述芯片与外部设备(例如服务器或计算机)之间的数据传输。例如在一个实施例中,所述接口装置可以为标准PCIE接口。比如,待处理的数据由服务器通过标准PCIE接口传递至所述芯片,实现数据转移。优选的,当采用PCIE3.0X16接口传输时,理论带宽可达到16000MB/s。在另一个实施例中,所述接口装置还可以是其他的接口,本申请并不限制上述其他的接口的具体表现形式,所述接口单元能够实现转接功能即可。另外,所述芯片的计算结果仍由所述接口装置传送回外部设备(例如服务器)。
所述控制器件与所述芯片电连接。所述控制器件用于对所述芯片的状态进行监控。具体的,所述芯片与所述控制器件可以通过SPI接口电连接。所述控制器件可以包括单片机(Micro Controller Unit,MCU)。如所述芯片可以包括多个处理芯片、多个处理核或多个处理电路,可以带动多个负载。因此,所述芯片可以处于多负载和轻负载等不同的工作状态。通过所述控制装置可以实现对所述芯片中多个处理芯片、多个处理和或多个处理电路的工作状态的调控。
在一些实施例里,申请了一种电子设备,其包括了上述板卡。
电子设备包括数据处理装置、机器人、电脑、打印机、扫描仪、平板电脑、智能终端、手机、行车记录仪、导航仪、传感器、摄像头、服务器、云端服务器、相机、摄像机、投影仪、手表、耳机、移动存储、可穿戴设备、交通工具、家用电器、和/或医疗设备。
所述交通工具包括飞机、轮船和/或车辆;所述家用电器包括电视、空调、微波炉、冰箱、电饭煲、加湿器、洗衣机、电灯、燃气灶、油烟机;所述医疗设备包括核磁共振仪、B超仪和/或心电图仪。
本申请还提供一种全连接神经网络训练方法,所述方法应用于计算装置,所述全连接神经网络训练包括:α层,所述α层中至少有一层第i层为全连接层,所述计算装置包括:运算单元以及控制器单元;所述运算单元包括:一个主处理电路和从处理电路,所述α为大于等于2的整数;所述方法至少包括,第i层正向运算和第i层反向运算;所述方法包括如下步骤:
所述控制器单元获取第i层输入数据、第i层权值以及训练指令;
如图4B所示,第i层正向运算包括:
所述控制器单元解析该训练指令得到正向计算指令和反向计算指令,将正向计算指令解析得到多个正向运算指令,将该多个运算指令以及所述输入数据、所述权值以及多个运算指令发送给所述主处理电路;
所述主处理电路将所述第i层输入数据广播给所述从处理电路,将所述第i层权值拆分成多个数据块,将多个数据块分发给所述从处理电路,将所述多个运算指令发送给所述从处理电路;
所述从处理电路依据运算指令对所述第i层输入数据以及接收到的数据块执行全连接运算得到运算结果,并将运算结果传输给所述主处理电路;
所述主处理电路对所述运算结果进行拼接处理得到计算结果对所述计算结果进行后续处理得到全连接正向计算结果;
如图4C所示,第i层反向运算包括:
所述控制器单元解析所述反向计算指令得到多个反向运算指令,将所述反向运算指令以及所述第i+1层输出结果梯度、第i层权值以及第i层输入数据发送给所述主处理电路;
所述主处理电路依据所述第i+1层输出结果梯度得到第i层输入结果梯度,将第i层输入结果梯度拆分成多个反向输入数据块,将多个反向输入数据块分发给所述从处理电路;将第i层权值以及第i层输入数据以及多个反向运算指令广播给所述从处理器电路;
所述从处理电路依据接收到的反向运算指令将接收到的反向输入数据块与第i层权值执行乘法运算得到第i层输出梯度运算结果,依据接收到的反向运算指令将接收到的反向输入数据块与所述第i层输入数据执行乘法运算得到第i层权值梯度运算结果;将所述第i层输出梯度运算结果和所述第i层权值梯度运算结果返回给所述主处理电路;
所述主处理电路将从处理电路发送的第i层权值梯度运算结果拼接得到第i层权值梯度,将从处理电路发送第i层输出梯度运算结果拼接得到第i层输出结果梯度,利用第i层权值梯度更新第i层权值。
参阅图4D,图4D为所述运算结果进行拼接处理得到计算结果中的拼接示意图,其拼接的方式如图4D所示,确定执行该运算结果的输入数据元素中列数最小值以及权值的行数最小值,确定该运算结果在计算结果的位置为的列数为该列数最小值,行数为行数最小值。遍历所有的运算结果,按上述原则拼接即能够得到运算结果。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于可选实施例,所涉及的动作和模块并不一定是本申请所必须的。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置,可通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件程序模块的形式实现。
所述集成的单元如果以软件程序模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储器中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储器中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储器包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储器中,存储器可以包括:闪存盘、只读存储器(英文:Read-Only Memory,简称:ROM)、随机存取器(英文:Random Access Memory,简称:RAM)、磁盘或光盘等。
以上对本申请实施例进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。
Claims (21)
1.一种计算装置,其特征在于,所述计算装置用于执行全连接神经网络训练运算,所述全连接神经网络训练包括:α层,所述α层中至少有一层第i层为全连接层,所述计算装置包括:运算单元以及控制器单元;所述运算单元包括:一个主处理电路和从处理电路,所述α为大于等于2的整数;
所述控制器单元,用于获取第i层输入数据、第i层权值以及训练指令;
所述控制器单元,还用于解析该训练指令得到正向计算指令和反向计算指令,将正向计算指令解析得到多个正向运算指令,将多个运算指令、所述输入数据以及所述权值发送给所述主处理电路;
所述主处理电路,用于将所述第i层输入数据广播给所述从处理电路,将所述第i层权值拆分成多个数据块,将多个数据块分发给所述从处理电路,将所述多个运算指令发送给所述从处理电路;
所述从处理电路,用于依据运算指令对所述第i层输入数据以及接收到的数据块执行全连接运算得到运算结果,并将运算结果传输给所述主处理电路;
所述主处理电路,用于对所述运算结果进行拼接处理得到计算结果;
所述主处理电路,还用于对所述计算结果进行后续处理得到全连接正向计算结果;
所述控制器单元,还用于解析所述反向计算指令得到多个反向运算指令,将所述多个反向运算指令以及第i+1层输出结果梯度、第i层权值以及第i层输入数据发送给所述主处理电路;
所述主处理电路,还用于依据所述第i+1层输出结果梯度得到第i层输入结果梯度,将第i层输入结果梯度拆分成多个反向输入数据块,将多个反向输入数据块分发给所述从处理电路;将第i层权值以及第i层输入数据以及多个反向运算指令广播给所述从处理器电路;
所述从处理电路,用于依据接收到的反向运算指令将接收到的反向输入数据块与第i层权值执行乘法运算得到第i层输出梯度运算结果,依据接收到的反向运算指令将接收到的反向输入数据块与所述第i层输入数据执行乘法运算得到第i层权值梯度运算结果;将所述第i层输出梯度运算结果和所述第i层权值梯度运算结果返回给所述主处理电路;
所述主处理电路,用于将从处理电路发送的第i层权值梯度运算结果拼接得到第i层权值梯度,将从处理电路发送第i层输出梯度运算结果拼接得到第i层输出结果梯度,利用第i层权值梯度更新第i层权值。
2.根据权利要求1所述的装置,其特征在于,所述依据所述第i+1层输出结果梯度得到第i层输入结果梯度具体包括:
所述主处理电路,具体用于将所述第i+1层输出结果梯度与第i层正向运算的激活函数的导函数相乘得到第i层输入结果梯度。
3.根据权利要求1所述的装置,其特征在于,所述计算装置还包括:存储单元和直接内存访问单元,所述存储单元包括:寄存器、缓存中任意组合;
所述缓存,用于存储所述输入数据和权值;
所述寄存器,用于存储所述输入数据中标量数据;
所述缓存包括高速暂存缓存;所述控制器单元包括:指令存储单元、指令处理单元和存储队列单元;
所述指令存储单元,用于存储所述全连接神经网络训练运算关联的计算指令;
所述指令处理单元,用于对所述计算指令解析得到多个运算指令;
所述存储队列单元,用于存储指令队列,该指令队列包括:按该队列的前后顺序待执行的多个运算指令或计算指令;
所述主处理电路包括:依赖关系处理单元;
所述依赖关系处理单元,用于确定第一运算指令与所述第一运算指令之前的第零运算指令是否存在关联关系,如所述第一运算指令与所述第零运算指令存在关联关系,将所述第一运算指令缓存在所述指令存储单元内,在所述第零运算指令执行完毕后,从所述指令存储单元提取所述第一运算指令传输至所述运算单元;
所述确定该第一运算指令与第一运算指令之前的第零运算指令是否存在关联关系包括:
依据所述第一运算指令提取所述第一运算指令中所需数据的第一存储地址区间,依据所述第零运算指令提取所述第零运算指令中所需数据的第零存储地址区间,如所述第一存储地址区间与所述第零存储地址区间具有重叠的区域,确定所述第一运算指令与所述第零运算指令具有关联关系,如所述第一存储地址区间与所述第零存储地址区间不具有重叠的区域,确定所述第一运算指令与所述第零运算指令不具有关联关系。
4.根据权利要求1所述的装置,其特征在于,如所述从处理电路的数量为多个,所述运算单元包括:树型模块,所述树型模块包括:一个根端口和多个支端口,所述树型模块的根端口连接所述主处理电路,所述树型模块的多个支端口分别连接多个从处理电路中的一个从处理电路;
所述树型模块,用于转发所述主处理电路与所述多个从处理电路之间的输入数据、正向运算指令、运算结果、反向运算指令、权值以及输入数据梯度。
5.根据权利要求1所述的装置,其特征在于,如所述从处理电路的数量为多个,所述运算单元还包括一个或多个分支处理电路,每个分支处理电路连接至少一个从处理电路,
所述主处理电路,具体用于确定所述输入数据为广播数据,所述权值为分发数据,将所述权值拆分成多个数据块,将所述多个数据块中的至少一个数据块、输入数据以及多个运算指令中的至少一个运算指令发送给所述分支处理电路;
所述分支处理电路,用于转发所述主处理电路与所述多个从处理电路之间的数据块、输入数据以及运算指令;
所述多个从处理电路,用于依据该运算指令对接收到的数据块以及输入数据执行全连接运算得到运算结果,并将运算结果传输给所述分支处理电路;
所述主处理电路,用于将分支处理电路发送的运算结果进行拼接得到计算结果,将所述计算结果执行后续处理得到全连接正向计算结果;
所述主处理电路,还用于依据所述第i+1层输出结果梯度得到第i层输入结果梯度,将第i层输入结果梯度拆分成多个反向输入数据块,将多个反向输入数据块分发给所述分支处理电路;将第i层权值以及第i层输入数据以及多个反向运算指令广播给所述分支处理器电路;
所述分支处理电路,还用于转发所述主处理电路与所述多个从处理电路之间的反向输入数据块、第i层权值、第i层输入数据以及反向运算指令;
所述从处理电路,用于依据接收到的反向运算指令将接收到的反向输入数据块与第i层权值执行乘法运算得到第i层输出梯度运算结果,依据接收到的反向运算指令将接收到的反向输入输入数据块与所述第i层输入数据执行乘法运算得到第i层权值梯度运算结果;将所述第i层输出梯度运算结果和所述第i层权值梯度运算结果返回给所述分支处理电路;
所述主处理电路,用于将分支处理电路发送的第i层权值梯度运算结果拼接得到第i层权值梯度,将分支处理电路发送第i层输出梯度运算结果拼接得到第i层输出结果梯度,利用第i层权值梯度更新第i层权值。
6.根据权利要求1所述的装置,其特征在于,如所述从处理电路的数量为多个,所述多个从处理电路呈阵列分布;每个从处理电路与相邻的其他从处理电路连接,所述主处理电路连接所述多个从处理电路中的k个从处理电路,所述k个从处理电路为:第1行的n个从处理电路、第m行的n个从处理电路以及第1列的m个从处理电路;
所述k个从处理电路,用于在所述主处理电路以及多个从处理电路之间的数据以及运算指令的转发;
所述主处理电路,用于确定所述输入数据为广播数据,权值为分发数据,将所述权值拆分成多个数据块,将所述多个数据块中的至少一个数据块以及多个运算指令中的至少一个运算指令发送给所述k个从处理电路;
所述k个从处理电路,用于转发所述主处理电路与所述多个从处理电路之间的数据块、输入数据和运算指令;
所述多个从处理电路,用于依据该运算指令对接收到的数据块以及输入数据执行全连接运算得到运算结果,并将运算结果传输给所述k个从处理电路;
所述主处理电路,用于将所述k个从处理电路发送的运算结果进行拼接得到计算结果,将该计算结果执行后续处理得到全连接正向计算结果;
所述主处理电路,还用于依据所述第i+1层输出结果梯度得到第i层输入结果梯度,将第i层输入结果梯度拆分成多个反向输入数据块,将多个反向输入数据块分发给所述k个从处理电路;将第i层权值以及第i层输入数据以及多个反向运算指令广播给所述k个从处理电路;
所述k个从处理电路,还用于转发所述主处理电路与所述多个从处理电路之间的反向输入数据块、第i层权值、第i层输入数据以及反向运算指令;
所述多个从处理电路,用于依据接收到的反向运算指令将接收到的反向输入数据块与第i层权值执行乘法运算得到第i层输出梯度运算结果,依据接收到的反向运算指令将接收到的反向输入输入数据块与所述第i层输入数据执行乘法运算得到第i层权值梯度运算结果;将所述第i层输出梯度运算结果和所述第i层权值梯度运算结果返回给所述k个从处理电路;
所述主处理电路,用于将k个从处理电路发送的第i层权值梯度运算结果拼接得到第i层权值梯度,将分支处理电路发送第i层输出梯度运算结果拼接得到第i层输出结果梯度,利用第i层权值梯度更新第i层权值。
7.根据权利要求5-6任意一项所述的装置,其特征在于,
所述主处理电路,具体用于将多个处理电路发送的运算结果进行累加和组合排序得到该计算结果。
8.根据权利要求5-6任意一项所述的装置,其特征在于,所述主处理电路包括:转换处理电路;
所述转换处理电路,用于对数据执行转换处理,具体为:将主处理电路接收的输入数据、权值或计算结果执行第一数据结构与第二数据结构之间的互换;或将主处理电路接收的输入数据、权值或计算结果执行第一数据类型与第二数据类型之间的互换。
9.根据权利要求5或6所述的装置,其特征在于,所述从处理电路包括:乘法处理电路和累加处理电路;
所述乘法处理电路,用于对接收到的核数据块中的元素值与输入数据中对应位置的元素值执行乘积运算得到乘积结果;
所述累加处理电路,用于对该乘积结果执行累加运算得到该运算结果。
10.根据权利要求4所述的装置,其特征在于,所述树型模块为n叉树结构,所述n为大于等于2的整数。
11.根据权利要求1所述的计算装置,其特征在于,所述后续处理包括如下操作中的一种或任意组合:偏置操作或激活操作;
所述激活操作包括:sigmoid,tanh,relu,softmax或线性激活操作。
12.一种全连接训练装置,其特征在于,所述全连接训练装置包括一个或多个如权利要求1-11任一项所述的计算装置,用于从其他处理装置中获取待运算数据和控制信息,并执行指定的全连接运算,将执行结果通过I/O接口传递给其他处理装置;
当所述全连接训练装置包含多个所述计算装置时,所述多个所述计算装置间可以通过特定的结构进行连接并传输数据;
其中,多个所述计算装置通过快速外部设备互连总线PCIE总线进行互联并传输数据,以支持更大规模的机器学习的运算;多个所述计算装置共享同一控制系统或拥有各自的控制系统;多个所述计算装置共享内存或者拥有各自的内存;多个所述计算装置的互联方式是任意互联拓扑。
13.一种组合处理装置,其特征在于,所述组合处理装置包括如权利要求12所述的全连接训练装置,通用互联接口和其他处理装置;
所述全连接训练装置与所述其他处理装置进行交互,共同完成用户指定的计算操作。
14.根据权利要求13所述的组合处理装置,其特征在于,还包括:存储装置,该存储装置分别与所述全连接训练装置和所述其他处理装置连接,用于保存所述全连接训练装置和所述其他处理装置的数据。
15.一种神经网络芯片,其特征在于,所述神经网络芯片包括如权利要求1所述的计算装置或如权利要求12所述的全连接训练装置或如权利要求13所述的组合处理装置。
16.一种电子设备,其特征在于,所述电子设备包括如所述权利要求15所述的芯片。
17.一种板卡,其特征在于,所述板卡包括:存储器件、接口装置和控制器件以及如权利要求15所述的神经网络芯片;
其中,所述神经网络芯片与所述存储器件、所述控制器件以及所述接口装置分别连接;
所述存储器件,用于存储数据;
所述接口装置,用于实现所述芯片与外部设备之间的数据传输;
所述控制器件,用于对所述芯片的状态进行监控。
18.根据权利要求17所述的板卡,其特征在于,
所述存储器件包括:多组存储单元,每一组所述存储单元与所述芯片通过总线连接,所述存储单元为:DDR SDRAM;
所述芯片包括:DDR控制器,用于对每个所述存储单元的数据传输与数据存储的控制;
所述接口装置为:标准PCIE接口。
19.一种全连接神经网络训练方法,其特征在于,所述方法应用于计算装置,所述全连接神经网络训练包括:α层,所述α层中至少有一层第i层为全连接层,所述计算装置包括:运算单元以及控制器单元;所述运算单元包括:一个主处理电路和从处理电路,所述α为大于等于2的整数;所述方法至少包括,第i层正向运算和第i层反向运算;所述方法包括如下步骤:
所述控制器单元获取第i层输入数据、第i层权值以及训练指令;
第i层正向运算包括:
所述控制器单元解析该训练指令得到正向计算指令和反向计算指令,将正向计算指令解析得到多个正向运算指令,将多个运算指令、所述输入数据以及所述权值发送给所述主处理电路;
所述主处理电路将所述第i层输入数据广播给所述从处理电路,将所述第i层权值拆分成多个数据块,将多个数据块分发给所述从处理电路,将所述多个运算指令发送给所述从处理电路;
所述从处理电路依据运算指令对所述第i层输入数据以及接收到的数据块执行全连接运算得到运算结果,并将运算结果传输给所述主处理电路;
所述主处理电路对所述运算结果进行拼接处理得到计算结果对所述计算结果进行后续处理得到全连接正向计算结果;
第i层反向运算包括:
所述控制器单元解析所述反向计算指令得到多个反向运算指令,将所述多个反向运算指令以及第i+1层输出结果梯度、第i层权值以及第i层输入数据发送给所述主处理电路;
所述主处理电路依据所述第i+1层输出结果梯度得到第i层输入结果梯度,将第i层输入结果梯度拆分成多个反向输入数据块,将多个反向输入数据块分发给所述从处理电路;将第i层权值以及第i层输入数据以及多个反向运算指令广播给所述从处理器电路;
所述从处理电路依据接收到的反向运算指令将接收到的反向输入数据块与第i层权值执行乘法运算得到第i层输出梯度运算结果,依据接收到的反向运算指令将接收到的反向输入数据块与所述第i层输入数据执行乘法运算得到第i层权值梯度运算结果;将所述第i层输出梯度运算结果和所述第i层权值梯度运算结果返回给所述主处理电路;
所述主处理电路将从处理电路发送的第i层权值梯度运算结果拼接得到第i层权值梯度,将从处理电路发送第i层输出梯度运算结果拼接得到第i层输出结果梯度,利用第i层权值梯度更新第i层权值。
20.根据权利要求19所述的方法,其特征在于,如所述从处理电路的数量为多个,所述运算单元还包括一个或多个分支处理电路,每个分支处理电路连接至少一个从处理电路,所述方法具体包括:
第i层正向运算具体包括:
所述主处理电路确定所述输入数据为广播数据,所述权值为分发数据,将所述权值拆分成多个数据块,将所述多个数据块中的至少一个数据块、输入数据以及多个运算指令中的至少一个运算指令发送给所述分支处理电路;
所述分支处理电路转发所述主处理电路与所述多个从处理电路之间的数据块、输入数据以及运算指令;
所述多个从处理电路依据该运算指令对接收到的数据块以及输入数据执行全连接运算得到运算结果,并将运算结果传输给所述分支处理电路;
所述主处理电路将分支处理电路发送的运算结果进行拼接得到计算结果,将所述计算结果执行后续处理得到全连接正向计算结果;
第i层反向运算具体包括:
所述主处理电路依据所述第i+1层输出结果梯度得到第i层输入结果梯度,将第i层输入结果梯度拆分成多个反向输入数据块,将多个反向输入数据块分发给所述分支处理电路;将第i层权值以及第i层输入数据以及多个反向运算指令广播给所述分支处理器电路;
所述分支处理电路转发所述主处理电路与所述多个从处理电路之间的反向输入数据块、第i层权值、第i层输入数据以及反向运算指令;
所述从处理电路依据接收到的反向运算指令将接收到的反向输入数据块与第i层权值执行乘法运算得到第i层输出梯度运算结果,依据接收到的反向运算指令将接收到的反向输入输入数据块与所述第i层输入数据执行乘法运算得到第i层权值梯度运算结果;将所述第i层输出梯度运算结果和所述第i层权值梯度运算结果返回给所述分支处理电路;
所述主处理电路将分支处理电路发送的第i层权值梯度运算结果拼接得到第i层权值梯度,将分支处理电路发送第i层输出梯度运算结果拼接得到第i层输出结果梯度,利用第i层权值梯度更新第i层权值。
21.根据权利要求19所述的方法,其特征在于,如所述从处理电路的数量为多个,所述多个从处理电路呈阵列分布;每个从处理电路与相邻的其他从处理电路连接,所述主处理电路连接所述多个从处理电路中的k个从处理电路,所述k个从处理电路为:第1行的n个从处理电路、第m行的n个从处理电路以及第1列的m个从处理电路;
所述k个从处理电路在所述主处理电路以及多个从处理电路之间的数据以及运算指令的转发;
第i层正向运算包括:
所述主处理电路确定所述输入数据为广播数据,权值为分发数据,将所述权值拆分成多个数据块,将所述多个数据块中的至少一个数据块以及多个运算指令中的至少一个运算指令发送给所述k个从处理电路;
所述k个从处理电路转发所述主处理电路与所述多个从处理电路之间的数据块、输入数据和运算指令;
所述多个从处理电路依据该运算指令对接收到的数据块以及输入数据执行全连接运算得到运算结果,并将运算结果传输给所述k个从处理电路;
所述主处理电路将所述k个从处理电路发送的运算结果进行拼接得到计算结果,将该计算结果执行后续处理得到全连接正向计算结果;
第i层反向运算包括:
所述主处理电路依据所述第i+1层输出结果梯度得到第i层输入结果梯度,将第i层输入结果梯度拆分成多个反向输入数据块,将多个反向输入数据块分发给所述k个从处理电路;将第i层权值以及第i层输入数据以及多个反向运算指令广播给所述k个从处理电路;
所述k个从处理电路转发所述主处理电路与所述多个从处理电路之间的反向输入数据块、第i层权值、第i层输入数据以及反向运算指令;
所述多个从处理电路依据接收到的反向运算指令将接收到的反向输入数据块与第i层权值执行乘法运算得到第i层输出梯度运算结果,依据接收到的反向运算指令将接收到的反向输入输入数据块与所述第i层输入数据执行乘法运算得到第i层权值梯度运算结果;将所述第i层输出梯度运算结果和所述第i层权值梯度运算结果返回给所述k个从处理电路;
所述主处理电路将k个从处理电路发送的第i层权值梯度运算结果拼接得到第i层权值梯度,将分支处理电路发送第i层输出梯度运算结果拼接得到第i层输出结果梯度,利用第i层权值梯度更新第i层权值。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811176260.9A CN110059809B (zh) | 2018-10-10 | 2018-10-10 | 一种计算装置及相关产品 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811176260.9A CN110059809B (zh) | 2018-10-10 | 2018-10-10 | 一种计算装置及相关产品 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110059809A CN110059809A (zh) | 2019-07-26 |
CN110059809B true CN110059809B (zh) | 2020-01-17 |
Family
ID=67315749
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811176260.9A Active CN110059809B (zh) | 2018-10-10 | 2018-10-10 | 一种计算装置及相关产品 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110059809B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112348160B (zh) * | 2019-08-08 | 2024-04-12 | 浙江欣奕华智能科技有限公司 | 一种卷积神经网络加速方法及系统 |
CN112446474B (zh) | 2019-08-31 | 2022-11-22 | 安徽寒武纪信息科技有限公司 | 芯片和多芯片系统及电子设备和数据传输方法 |
CN112446485B (zh) * | 2019-08-31 | 2023-06-02 | 安徽寒武纪信息科技有限公司 | 一种神经网络协同训练方法、装置以及相关产品 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5706488A (en) * | 1993-03-31 | 1998-01-06 | Motorola, Inc. | Data processing system and method thereof |
CN105701540A (zh) * | 2016-01-11 | 2016-06-22 | 清华大学 | 一种自生成神经网络构建方法 |
CN107316078A (zh) * | 2016-04-27 | 2017-11-03 | 北京中科寒武纪科技有限公司 | 用于执行人工神经网络自学习运算的装置和方法 |
CN107341542A (zh) * | 2016-04-29 | 2017-11-10 | 北京中科寒武纪科技有限公司 | 用于执行循环神经网络和lstm运算的装置和方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6501294B2 (en) * | 2001-04-26 | 2002-12-31 | International Business Machines Corporation | Neuron circuit |
-
2018
- 2018-10-10 CN CN201811176260.9A patent/CN110059809B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5706488A (en) * | 1993-03-31 | 1998-01-06 | Motorola, Inc. | Data processing system and method thereof |
CN105701540A (zh) * | 2016-01-11 | 2016-06-22 | 清华大学 | 一种自生成神经网络构建方法 |
CN107316078A (zh) * | 2016-04-27 | 2017-11-03 | 北京中科寒武纪科技有限公司 | 用于执行人工神经网络自学习运算的装置和方法 |
CN107341542A (zh) * | 2016-04-29 | 2017-11-10 | 北京中科寒武纪科技有限公司 | 用于执行循环神经网络和lstm运算的装置和方法 |
Also Published As
Publication number | Publication date |
---|---|
CN110059809A (zh) | 2019-07-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109543832B (zh) | 一种计算装置及板卡 | |
CN109522052B (zh) | 一种计算装置及板卡 | |
CN110163363B (zh) | 一种计算装置及方法 | |
CN109685201B (zh) | 运算方法、装置及相关产品 | |
CN110059797B (zh) | 一种计算装置及相关产品 | |
CN111047022A (zh) | 一种计算装置及相关产品 | |
CN110059809B (zh) | 一种计算装置及相关产品 | |
CN111353591A (zh) | 一种计算装置及相关产品 | |
CN111488976A (zh) | 神经网络计算装置、神经网络计算方法及相关产品 | |
CN109753319B (zh) | 一种释放动态链接库的装置及相关产品 | |
CN109711540B (zh) | 一种计算装置及板卡 | |
CN111488963B (zh) | 神经网络计算装置和方法 | |
CN111930681A (zh) | 一种计算装置及相关产品 | |
CN111079908A (zh) | 片上网络数据处理方法、存储介质、计算机设备和装置 | |
CN111368967B (zh) | 一种神经网络计算装置和方法 | |
CN109740730B (zh) | 运算方法、装置及相关产品 | |
CN111047021A (zh) | 一种计算装置及相关产品 | |
CN111078625B (zh) | 片上网络处理系统和片上网络数据处理方法 | |
CN111078623B (zh) | 片上网络处理系统和片上网络数据处理方法 | |
CN111078624B (zh) | 片上网络处理系统和片上网络数据处理方法 | |
CN111368987B (zh) | 一种神经网络计算装置和方法 | |
CN111368986B (zh) | 一种神经网络计算装置和方法 | |
CN111368990B (zh) | 一种神经网络计算装置和方法 | |
CN111367567B (zh) | 一种神经网络计算装置和方法 | |
CN110472734B (zh) | 一种计算装置及相关产品 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information |
Address after: 100000 room 644, No. 6, No. 6, South Road, Beijing Academy of Sciences Applicant after: Zhongke Cambrian Technology Co., Ltd Address before: 100000 room 644, No. 6, No. 6, South Road, Beijing Academy of Sciences Applicant before: Beijing Zhongke Cambrian Technology Co., Ltd. |
|
CB02 | Change of applicant information | ||
GR01 | Patent grant | ||
GR01 | Patent grant |