CN111047024B - 一种计算装置及相关产品 - Google Patents

一种计算装置及相关产品 Download PDF

Info

Publication number
CN111047024B
CN111047024B CN201811194530.9A CN201811194530A CN111047024B CN 111047024 B CN111047024 B CN 111047024B CN 201811194530 A CN201811194530 A CN 201811194530A CN 111047024 B CN111047024 B CN 111047024B
Authority
CN
China
Prior art keywords
data
power
instruction
unit
processing circuits
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811194530.9A
Other languages
English (en)
Other versions
CN111047024A (zh
Inventor
请求不公布姓名
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Cambricon Information Technology Co Ltd
Original Assignee
Shanghai Cambricon Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Cambricon Information Technology Co Ltd filed Critical Shanghai Cambricon Information Technology Co Ltd
Priority to CN201811194530.9A priority Critical patent/CN111047024B/zh
Publication of CN111047024A publication Critical patent/CN111047024A/zh
Application granted granted Critical
Publication of CN111047024B publication Critical patent/CN111047024B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Neurology (AREA)
  • Advance Control (AREA)
  • Power Sources (AREA)

Abstract

本申请提供了一种神经网络计算装置及相关产品，所述计算装置包括：控制单元，用于获取计算指令，解析所述计算指令得到多个运算指令，将所述多个运算指令发送给运算单元；运算单元，包括一个主处理电路和多个从处理电路，主处理电路根据运算指令获取输入数据，对输入数据执行前序处理以及与多个从处理电路之间传输数据和运算指令，所述输入数据的类型包括幂次数据；多个从处理电路依据从主处理电路传输的数据以及运算指令并行执行中间运算得到多个中间结果，并将多个中间结果传输给主处理电路；主处理电路对所述多个中间结果执行后续处理得到所述计算指令的计算结果。本申请提供的计算装置，能够减小存储资源和计算资源的开销，提高了运算速度。

Description

一种计算装置及相关产品
技术领域
本申请涉及信息处理技术领域，具体涉及一种计算装置及相关产品。
背景技术
神经网络是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型，这种网络由大量的节点(或称神经元)之间相互连接构成，通过调整内部大量节点之间相互连接的关系，利用输入数据、权值产生输出数据模拟人脑的信息处理过程处理信息并生成模式识别之后的结果。
随着神经网络技术特别是人工神经网络中深度学习(deep learning)技术的发展，神经网络模型规模越来越大，随之而来的运算量也呈现几何倍数增长，这意味着神经网络需要大量的计算资源和存储资源。大量的计算资源和存储资源的开销会降低神经网络的运算速度，同时，对硬件的传输带宽以及运算器的要求也大大提高了，因此，降低神经网络运算中数据的存储量以及计算量变得十分重要。
发明内容
本申请实施例提供了一种计算装置及相关产品，可降低神经网络运算中数据的存储量以及计算量，提高效率、节省功耗。
第一方面，本申请提供一种计算装置，其特征在于，所述计算装置用于执行神经网络计算，所述计算装置包括：控制单元以及运算单元；所述运算单元包括一个主处理电路和多个从处理电路；
所述控制单元，用于获取计算指令，解析所述计算指令得到多个运算指令，并将所述多个运算指令发送给所述运算单元；
所述主处理电路，用于根据所述运算指令获取输入数据，对所述输入数据执行前序处理以及与所述多个从处理电路之间传输数据和运算指令，其中，所述输入数据包括神经元数据以及权值数据，所述输入数据的类型包括幂次数据；
所述多个从处理电路，用于依据从所述主处理电路传输的数据以及运算指令并行执行中间运算得到多个中间结果，并将多个中间结果传输给所述主处理电路；
所述主处理电路，用于对所述多个中间结果执行后续处理得到所述计算指令的计算结果。
第二方面，本申请实施例提供了一种神经网络运算装置，该神经网络运算装置包括一个或者多个第一方面所述的计算装置。该神经网络运算装置用于从其他处理装置中获取待运算数据和控制信息，并执行指定的神经网络运算，将执行结果通过I/O接口传递给其他处理装置；
当所述神经网络运算装置包含多个所述计算装置时，所述多个所述计算装置间可以通过特定的结构进行链接并传输数据；
其中，多个所述计算装置通过PCIE总线进行互联并传输数据，以支持更大规模的神经网络的运算；多个所述计算装置共享同一控制系统或拥有各自的控制系统；多个所述计算装置共享内存或者拥有各自的内存；多个所述计算装置的互联方式是任意互联拓扑。
第三方面，本申请实施例提供了一种组合处理装置，该组合处理装置包括如第三方面所述的神经网络处理装置、通用互联接口，和其他处理装置。该神经网络运算装置与上述其他处理装置进行交互，共同完成用户指定的操作。该组合处理装置还可以包括存储装置，该存储装置分别与所述神经网络运算装置和所述其他处理装置连接，用于保存所述神经网络运算装置和所述其他处理装置的数据。
第四方面，本申请实施例提供了一种神经网络芯片，该神经网络芯片包括上述第一方面所述的计算装置、上述第二方面所述的神经网络运算装置或者上述第三方面所述的组合处理装置。
第五方面，本申请实施例提供了一种神经网络芯片封装结构，该神经网络芯片封装结构包括上述第四方面所述的神经网络芯片；
第六方面，本申请实施例提供了一种板卡，该板卡包括上述第五方面所述的神经网络芯片封装结构。
第七方面，本申请实施例提供了一种电子装置，该电子装置包括上述第六方面所述的神经网络芯片或者上述第六方面所述的板卡。
第八方面，本申请实施例还提供一种执行神经网络运算的计算方法，其特征在于，所述计算方法应用于计算装置，所述计算装置用于执行神经网络计算；所述计算装置包括：控制单元以及运算单元；所述运算单元包括一个主处理电路和多个从处理电路；
所述控制单元获取计算指令，解析所述计算指令得到多个运算指令，将所述多个运算指令发送给所述运算单元；
所述主处理电路，用于根据所述运算指令获取输入数据，对所述输入数据执行前序处理以及与所述多个从处理电路之间传输数据和运算指令，其中，所述输入数据包括神经元数据以及权值数据，所述输入数据类型包括幂次数据；
所述多个从处理电路，用于依据从所述主处理电路传输的数据以及运算指令并行执行中间运算得到多个中间结果，并将多个中间结果传输给所述主处理电路；
所述主处理电路，用于对所述多个中间结果执行后续处理得到所述计算指令的计算结果。
在一些实施例中，所述电子设备包括数据处理装置、机器人、电脑、打印机、扫描仪、平板电脑、智能终端、手机、行车记录仪、导航仪、传感器、摄像头、服务器、云端服务器、相机、摄像机、投影仪、手表、耳机、移动存储、可穿戴设备、交通工具、家用电器、和/或医疗设备。
在一些实施例中，所述交通工具包括飞机、轮船和/或车辆；所述家用电器包括电视、空调、微波炉、冰箱、电饭煲、加湿器、洗衣机、电灯、燃气灶、油烟机；所述医疗设备包括核磁共振仪、B超仪和/或心电图仪。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种计算装置的结构示意图。
图2是本申请实施例提供的幂次数据的表示方法示意图。
图3-图4是本申请实施例提供的一种神经网络运算的流程示意图。
图5-图6是本申请实施例提供的一种神经元数据与幂次权值数据的乘法操作示意图。
图7是本申请实施例提供的一种乘法器的结构示意图。
图8是本申请实施例提供一种幂次神经元数据与幂次权值数据的乘法操作示意图。
图9是本申请实施例提供的另一种乘法器的结构示意图。
图10是本申请实施例提供的另一种计算装置的结构示意图。
图11是本申请实施例提供的主处理电路的结构示意图。
图12是本申请实施例提供的另一种计算装置的结构示意图。
图13是本申请实施例提供的树型模块的结构示意图。
图14是本申请实施例提供的另一种计算装置的结构示意图。
图15是本申请实施例提供的一种组合处理装置的结构图。
图16是本申请实施例提供的另一种组合处理装置的结构图。
图17是本申请实施例提供的一种板卡的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书及所述附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
首先介绍本申请使用的计算装置。参阅图1，提供了一种计算装置，该计算装置用于执行神经网络计算，该计算装置包括：控制单元11和运算单元12，其中，控制单元11与运算单元12连接，所述运算单元12包括：一个主处理电路和多个从处理电路；
所述控制单元11，用于获取计算指令，解析该计算指令得到多个运算指令，将所述多个运算指令以及所述输入数据发送给所述运算单元；在一种可选方案中，具体的，获取输入数据以及计算指令方式可以通过数据输入输出单元得到，该数据输入输出单元具体可以为一个或多个数据I/O接口或I/O引脚。
所述运算单元12包括主处理电路101以及多个从处理电路102，所述主处理电路101，用于根据所述运算指令获取输入数据，对所述输入数据执行前序处理以及与所述多个从处理电路之间传输数据以及运算指令；其中，所述输入数据包括神经元数据以及权值数据，所述输入数据类型包括幂次数据，所述幂次数据包括符号位和幂次位，符号位用一位或多位比特位表示数据的符号，幂次位用m位比特位表示数据的幂次位数据，m为大于1的正整数；
多个从处理电路102，用于依据从所述主处理电路传输的数据以及运算指令并行执行中间运算得到多个中间结果，并将多个中间结果传输给所述主处理电路；
主处理电路101，用于对所述多个中间结果执行后续处理得到所述计算指令的计算结果。
所述运算单元12，用于在所述运算指令为正向运算指令的情况下，获取神经元数据以及权值数据，并根据所述神经元数据、幂次权值数据以及所述正向运算指令完成神经网络正向运算，其中，所述神经元数据为幂次数据和/或所述权值数据为幂次数据。
所述运算单元12还用于：在所述运算指令为反向运算指令的情况下，获取神经元梯度数据、权值数据以及神经元数据，根据所述反向运算指令完成神经网络反向运算，其中，所述神经元梯度数据由所述神经网络正向运算得到，所述神经元数据为幂次数据和/或所述权值数据为幂次数据。
所述运算单元还包括第一数据转换电路，用于根据运算需求将所述输入数据中的非幂次神经元数据转换为幂次神经元数据和/或非幂次权值数据转换为幂次权值数据；所述数据转换电路还包括第二数据转换电路，所述第二数据转换电路用于将幂次格式数据转换为非幂次格式数据，例如，将所述主处理电路101得到的计算结果转换为指定格式的非幂次格式数据，然后发送给存储单元进行存储。
可以理解，本申请实施例中，所述第一数据转换电路即可位于主处理电路中，也可位于每个从处理电路中，所述第二数据转换电路即可位于主处理电路中，也可位于每个从处理电路中，本申请实施例不做具体限定，图1是所述第一数据转换电路位于从处理电路中，所述第二数据转换电路位于主处理电路中的示意图。
可选的，上述输入数据具体可以包括：输入神经元数据和权值数据。上述计算结果具体可以为：神经网络运算的结果即输出神经元数据。
上述计算装置还可以包括：存储单元10和直接内存访问单元50，存储单元10可以包括：寄存器、缓存中的一个或任意组合，具体的，所述缓存，用于存储所述计算指令；所述寄存器，用于存储所述输入数据和标量；所述缓存为高速暂存缓存。直接内存访问单元50用于从存储单元10读取数据或向所述存储单元10存储数据。
可选的，所述控制单元11包括：指令缓存单元110、指令处理单元111和存储队列单元113；
指令缓存单元110，用于存储所述人工神经网络运算关联的计算指令，在第零计算指令在被执行的过程中，同时将未被提交执行的其他指令缓存在所述指令缓存单元110中，当所述第零计算指令执行完之后，如果第一计算指令是指令缓存单元110中未被提交指令中最早的一条指令，则所述第一计算指令将被提交，一旦提交，该指令进行的操作对装置状态的改变将无法撤销；
所述指令处理单元111，用于对所述计算指令解析得到多个运算指令；
存储队列单元113，用于存储指令队列，该指令队列包括：按该队列的前后顺序待执行的多个运算指令或计算指令。
可选的，所述控制单元11还可以包括：依赖关系处理单元112，用于在具有多个运算指令时，确定第一运算指令与所述第一运算指令之前的第零运算指令是否存在关联关系，如所述第一运算指令与所述第零运算指令存在关联关系，则将所述第一运算指令缓存在所述指令队列单元113中，在所述第零运算指令执行完毕后，从所述指令队列单元提取所述第一运算指令传输至所述运算单元；
所述确定该第一运算指令与第一运算指令之前的第零运算指令是否存在关联关系包括：
依据所述第一运算指令提取所述第一运算指令中所需数据(例如矩阵)的第一存储地址区间，依据所述第零运算指令提取所述第零运算指令中所需矩阵的第零存储地址区间，如所述第一存储地址区间与所述第零存储地址区间具有重叠的区域，则确定所述第一运算指令与所述第零运算指令具有关联关系，如所述第一存储地址区间与所述第零存储地址区间不具有重叠的区域，则确定所述第一运算指令与所述第零运算指令不具有关联关系。
上述计算指令包括但不限于：正向运算指令或反向运算指令，用于控制所述运算单元完成神经网络的正向运算或反向运算，或其他神经网络运算指令等等，例如卷积运算指令，本申请具体实施方式并不限制上述计算指令的具体表现形式。
本申请实施例中，运算单元12在进行所述神经网络运算时，需要将所述输入数据中的权值数据转换为幂次格式数据进行运算，还可以将输入数据中的神经元数据和权值数据转换为幂次根式数据进行运算。
所述幂次格式数据表示数据的数值采用其幂指数值形式表示，具体为，幂次数据包括符号位和幂次位，符号位用一位或多位比特位表示数据的符号，幂次位用m位比特位表示数据的幂次位数据，m为大于1的正整数。存储单元预存有编码表，提供幂次数据的每个幂次位数据对应的指数数值。编码表设置一个或者多个幂次位数据(即置零幂次位数据)为指定对应的幂次数据为0。也就是说，当幂次数据的幂次位数据是编码表里的置零幂次位数据时候，表示该幂次数据为0。
其中，所述编码表的对应关系可以是任意的。例如，所述编码表的对应关系可以是乱序的。如表1所示，一种m为5的编码表的部分内容，幂次位数据为00000的时候对应指数数值为0。幂次位数据为00001的时候对应指数数值为3。幂次位数据为00010的时候对应指数数值为4。幂次位数据为00011的时候对应指数数值为1。幂次位数据为00100的时候对应幂次数据为0。
表1编码表
幂次位数据 00000 00001 00010 00011 00100
指数数值 0 3 4 1 置零
可选地，所述编码表的对应关系也可以是正相关的，存储单元预存一个整数值x和一个正整数值y，最小的幂次位数据对应指数数值为x，其他任意一个或多个幂次位数据对应幂次数据为0。x表示偏置值，y表示步长。在一种实施例情况下，最小的幂次位数据对应指数数值为x，最大的幂次位数据对应幂次数据为0，最小和最大的幂次位数据之外的其他的幂次位数据对应指数数值为(幂次位数据+x)*y。通过预设定不同的x和y以及通过改变x和y的数值，幂次的表示范围变得可配，可以适用于需要不同数值范围的不同的应用场景。因此，本神经网络运算装置的应用范围更加广泛，使用更加灵活可变，可根据用户需求来做调整。
在一种实施方式中，y为1，x的数值等于-2m-1。由此幂次数据所表示的数值的指数范围为-2m-1～2m-1-1。
在一种实施方式中，如表2所示，一种m为5，x为0，y为1的编码表的部分内容，幂次位数据为00000的时候对应指数数值为0。幂次位数据为00001的时候对应指数数值为1。幂次位数据为00010的时候对应指数数值为2。幂次位数据为00011的时候对应指数数值为3。幂次位数据为11111的时候对应幂次数据为0。如表3所示，另一种m为5，x为0，y为2的编码表的部分内容，幂次位数据为00000的时候对应指数数值为0。幂次位数据为00001的时候对应指数数值为2。幂次位数据为00010的时候对应指数数值为4。幂次位数据为00011的时候对应指数数值为6。幂次位数据为11111的时候对应幂次数据为0。
表2编码表
幂次位数据 00000 00001 00010 00011 11111
指数数值 0 1 2 3 置零
表3编码表
幂次位数据 00000 00001 00010 00011 11111
指数数值 0 2 4 6 置零
可选地，编码表的对应关系可以是负相关的，存储单元预存一个整数值x和一个正整数值y，最大的幂次位数据对应指数数值为x，其他任意一个或多个幂次位数据对应幂次数据为0。x表示偏置值，y表示步长。在一种实施例情况下，最大的幂次位数据对应指数数值为x，最小的幂次位数据对应幂次数据为0，最小和最大的幂次位数据之外的其他的幂次位数据对应指数数值为(幂次位数据-x)*y。通过预设定不同的x和y以及通过改变x和y的数值，幂次的表示范围变得可配，可以适用于需要不同数值范围的不同的应用场景。因此，本神经网络运算装置的应用范围更加广泛，使用更加灵活可变，可根据用户需求来做调整。
在一种实施方式中，y为1，x的数值等于2m-1。由此幂次数据所表示的数值的指数范围为-2m-1-1～2m-1。
如表4所示，一种m为5的编码表的部分内容，幂次位数据为11111的时候对应数数值为0。幂次位数据为11110的时候对应指数数值为1。幂次位数据为11101的时候对应指数数值为2。幂次位数据为11100的时候对应指数数值为3。幂次位数据为00000的时候对应幂次数据为0。
表4编码表
幂次位数据 11111 11110 11101 11100 00000
指数数值 0 1 2 3 置零
可选地，编码表的对应关系可以是幂次位数据最高位代表置零位，幂次位数据其他m-1位对应指数数值。当幂次位数据最高位为0时，对应幂次数据为0；当幂次位数据最高位为1时，对应幂次数据不为0。反之亦可，即当幂次位数据最高位为1时，对应幂次数据为0；当幂次位数据最高位为0时，对应幂次数据不为0。用另一种语言来描述，即幂次数据的幂次位被分出一个比特来指示幂次数据是否为0。
在一种实施方式中，如图2所示，符号位为1位，幂次位数据位为7位，即m为7。编码表为幂次位数据为11111111的时候对应幂次权值数据为0，幂次位数据为其他数值的时候幂次权值数据对应相应的二进制补码。当幂次权值数据符号位为0，幂次位为0001001，则其表示具体数值为29，即512；幂次权值数据符号位为1，幂次位为1111101，则其表示具体数值为-2-3，即-0.125。相对于浮点数据，幂次数据只保留数据的幂次位，极大减小了存储数据所需的存储空间。
通过幂次数据表示方法，可以减少存储数据所需的存储空间。在本实施例所提供示例中，幂次数据为8位数据，应当认识到，该数据长度不是固定不变的，在不同场合下，根据数据权值的数据范围采用不同的数据长度。
本申请实施例中，将非幂次格式数据转换为幂次格式数据的幂次转换操作有多种可选方式，所述非幂次格式数据包括但不限于浮点数、定点数、动态位宽定点数等。下面列举本实施例所采用的五种针对输入数据的幂次转换操作：
第一种幂次转换方法：
sout＝sin
Figure BDA0001827650460000061
其中，din为数据转换电路的输入数据，dout为数据转换电路的输出数据，sin为输入数据的符号，sout为输出数据的符号，din+为输入数据的正数部分，din+＝din×sin，dout+为输出数据的正数部分，dout+＝dout×sout，
Figure BDA0001827650460000065
表示对数据x做取下整操作。
第二种幂次转换方法：
sout＝sin
Figure BDA0001827650460000063
其中，din为数据转换电路的输入数据，dout为数据转换电路的输出数据，sin为输入数据的符号，sout为输出数据的符号，din+为输入数据的正数部分，din+＝din×sin，dout+为输出数据的正数部分，dout+＝dout×sout，
Figure BDA0001827650460000066
表示对数据x做取上整操作。
第三种幂次转换方法：
sout＝sin
dout+＝[log2(din+)]
其中，din为数据转换电路的输入数据，dout为数据转换电路的输出数据；sin为输入数据的符号，sout为输出数据的符号；din+为输入数据的正数部分，din+＝din×sin，dout+为输出数据的正数部分，dout+＝dout×sout；[x]表示对数据x做四舍五入操作。
第四种幂次转换方法：
dout＝{din}
其中，din为数据转换电路的输入数据，dout为数据转换电路的输出数据；{x}表示对数据x做归0操作。
第五种幂次转换方法：
Sout＝Sin
dout+＝[[log2(din+)]]
其中，din为数据转换电路的输入数据，dout为数据转换电路的输出数据；sin为输入数据的符号，sout为输出数据的符号；din+为输入数据的正数部分，din+＝din×sin，dout+为输出数据的正数部分，dout+＝dout×sout；[[x]]表示对数据x做随机向上向下取整操作。
本申请实施例中，所述计算装置执行所述神经网络运算的过程如图3所示，包括：
S1，控制单元读取计算指令，并将所述计算指令译码解析为运算指令。
所述控制单元从所述存储单元读取所述计算指令之后，将所述计算指令解析为运算指令，并将所述运算指令发送至运算单元。
S2，运算单元接收所述控制单元的运算指令，并根据从存储单元中读取的待运算数据进行神经网络运算。
其中，所述待运算数据包括神经网络数据以及权值数据，具体的，所述运算单元进行神经网络运算的步骤如图4所示，包括：
步骤S21，运算单元从存储单元中读取权值数据。
在一种可能的实施方式中，所述第一数据转换电路位于主处理电路，所述运算单元的所述主处理电路从存储单元读取权值数据之后，如果所述权值数据为幂次数据，则所述主处理电路将所述权值数据传送给所述多个从处理电路，如果所述权值数据不是幂次格式数据，则所述主处理电路利用所述第一数据转换电路将所述权值数据转换为幂次格式数据，即幂次权值数据，然后将所述幂次权值数据传送给所述多个从处理电路。
可选地，所述主处理电路利用所述第一数据转换单元将所述权值数据转换为幂次权值数据之后，可以将所述幂次权值数据传送至所述存储单元中保存。
在一种可能的实施方式中，所述第一数据转换电路位于从处理电路中，即所述多个从处理电路中每个从处理电路都包括第一数据转换电路，所述主处理电路从所述存储单元中读取权值数据之后，将所述权值数据传送给所述多个从处理电路，所述多个从处理电路接收所述权值数据之后，如果所述权值数据不是幂次格式数据，则所述多个从处理电路利用所述第一数据转换电路将所述权值数据转换为幂次格式数据，即幂次权值数据。
可选地，所述主处理电路或者所述每个从处理电路可以包括缓存或者寄存器，例如权值缓存模块，用于暂存所述幂次权值数据和/或其他数据，从而可以减少从处理电路每次进行运算时需要传输的数据，节省带宽。
步骤S22，主处理电路读取相对应的神经元数据，并将所述神经元数据按照指定顺序依次广播给各个从处理电路。
其中，所述神经元数据可以只广播一次，从处理电路接收该数据后暂存到缓存或寄存器中，便于对其进行复用。所述神经元数据也可以进行多次广播，从处理电路接收到数据之后直接使用，无需复用。
在一种可能的实施方式中，所述主处理电路读取所述神经元数据之后，直接将所述神经元数据进行广播。
在一种可能的实施方式中，所述运算单元也可以将所述神经元数据转换为幂次数据，所述第一数据转换电路位于主处理电路，所述运算单元的所述主处理电路从存储单元读取神经元数据之后，如果所述神经元数据为幂次格式数据，则所述主处理电路按照指定顺序将幂次神经元数据依次广播给各个从处理电路，如果所述神经元数据不是幂次格式数据，则所述主处理电路利用所述第一数据转换电路将所述神经元数据转换为幂次格式数据，即幂次神经元数据，然后将所述幂次神经元数据按照指定顺序依次广播给各个从处理电路。
可选地，所述主处理电路利用所述第一数据转换单元将所述神经元数据转换为幂次神经元数据之后，可以将所述幂次神经元数据传送至所述存储单元中保存。
在一种可能的实施方式中，所述运算单元也可以将所述神经元数据转换为幂次数据，所述第一数据转换电路位于从处理电路中，即所述多个从处理电路中每个从处理电路都包括第一数据转换电路，所述主处理电路从所述存储单元中读取神经元数据之后，将所述神经元数据按照指定顺序依次广播给各个从处理电路，所述多个从处理电路接收所述神经元数据之后，如果所述神经元数据不是幂次格式数据，则所述多个从处理电路利用所述第一数据转换电路将所述神经元数据转换为幂次格式数据，即幂次神经元数据。
可选地，所述主处理电路或者所述每个从处理电路可以包括缓存或者寄存器，例如神经元缓存模块，用于暂存所述幂次神经元数据和/或其他数据，从而可以减少从处理电路每次进行运算时需要传输的数据，节省带宽。
在本实施例所提供示例中，幂次数据为8位数据，可以理解，该数据长度不是固定不变的，在不同场合下，根据神经元数据及权值数据的数据范围采用不同的数据长度。
可选地，上述步骤S21以及步骤S22中，主处理电路或者从处理电路可以根据待处理任务的特点，判断是否需要进行数据转换，例如根据待处理任务的任务复杂度确定是否对数据进行转换，具体的，任务复杂度根据任务的类型和数据的规模进行定义，譬如，对于神经网络卷积层的反向运算，复杂度＝α*C*kW*kW*M*N*W*C*H，其中，α为卷积系数，取值范围为大于1；C、kW、kW、M为卷积核四个维度的值，N、W、C、H为卷积输入数据四个维度的值；对于矩阵乘矩阵运算的反向运算，其复杂度＝β*F*G*E*F；其中，β为矩阵系数，取值范围为大于等于1，F、G为输入数据的行、列值，E、F为权值的行、列值。
步骤S23，每个从处理电路将读入的神经元数据和权值数据进行内积运算，而后将内积结果传递回主处理电路。
在一种可能的实施方式中，所述神经元数据为非幂次格式数据，权值数据为幂次格式的幂次权值数据，所述神经元数据与幂次权值数据的乘法操作可以用移位和加法完成。具体为，神经元数据符号位与幂次权值数据符号位做异或操作，在编码表的对应关系为乱序的情况下，查找编码表找出幂次权值数据幂次位对应的指数数值，在编码表的对应关系为正相关的情况下，记录编码表的指数数值最小值并做加法找出幂次权值数据幂次位对应的指数数值，在编码表的对应关系为负相关的情况下，记录编码表的最大值并做减法找出幂次权值数据幂次位对应的指数数值；然后将指数数值与神经元数据幂次位做加法操作，神经元数据有效位保持不变。
举例来讲，如图5所示，若神经元数据为16位浮点数据，符号位为0，幂次位为10101，有效位为0110100000，则其表示的实际数值为1.40625*26。幂次权值数据符号位为1位，幂次位数据位为5位，即m为5。编码表为幂次位数据为11111的时候对应幂次权值数据为0，幂次位数据为其他数值的时候幂次位数据对应相应的二进制补码。幂次权值为000110，则其表示的实际数值为64，即26。幂次权值的幂次位加上神经元的幂次位结果为11011，则结果的实际数值为1.40625*212，即为神经元数据与幂次权值数据的乘积结果。通过该运算操作，可以使得乘法操作变为移位操作和加法操作，减小计算所需的运算量。如图6所示，若神经元数据为32位浮点数据，符号位为1，幂次位为10000011，有效位为10010010000000000000000，则其表示的实际数值为-1.5703125*24。幂次权值数据符号位为1位，幂次位数据位为5位，即m为5。编码表为幂次位数据为11111的时候对应幂次权值数据为0，幂次位数据为其他数值的时候幂次位数据对应相应的二进制补码。幂次神经元为111100，则其表示的实际数值为-2-4，神经元的幂次位加上幂次权值的幂次位结果为01111111，则结果的实际数值为1.5703125*20，即为神经元与幂次权值的乘积结果。
在该实施方式中，乘法器结构如图7所示，将输入数据1和数据数据2的符号位进行异或操作，得到输出数据的符号位，输入数据1和输入数据2的幂次位数据相加得到输出数据的幂次位数据，输入数据2的有效位保留。
在另一种可能的实施方式中，所述神经元数据为幂次格式的幂次神经元数据，权值数据为幂次格式的幂次权值数据，所述幂次神经元数据与幂次权值数据的乘法操作可以用移位完成，具体为，幂次神经元数据符号位与幂次权值数据符号位做异或操作；在编码表的对应关系为乱序的情况下，查找编码表找出幂次神经元数据及幂次权值数据幂次位对应的指数数值，在编码表的对应关系为正相关的情况下，记录编码表的指数数值最小值并做加法找出幂次神经元数据及幂次权值数据幂次位对应的指数数值，在编码表的对应关系为负相关的情况下，记录编码表的最大值并做减法找出幂次神经元数据及幂次权值数据幂次位对应的指数数值；然后将幂次神经元数据对应的指数数值与幂次权值数据对应的指数数值做加法操作。
举例来讲，如图8所示，幂次神经元数据和幂次权值数据符号位为1位，幂次位数据位为4位，即m为4。编码表为幂次位数据为1111的时候对应幂次权值数据为0，幂次位数据为其他数值的时候幂次位数据对应相应的二进制补码。幂次神经元数据为00010，则其表示的实际数值为22。幂次权值为00110，则其表示的实际数值为64，即26。幂次神经元数据和幂次权值数据的乘积为01000，其表示的实际数值为28。
在该实施方式中，乘法器结构如图9所示，将输入数据1和数据数据2的符号位进行异或操作，得到输出数据的符号位，输入数据1和输入数据2的幂次位数据相加得到输出数据的幂次位数据。
其中，在一种可选方案中，从处理电路可以将每次执行内积运算得到的部分和传输回主处理电路进行累加；在一种可选方案中，也可以将每次从处理电路执行的内积运算得到的部分和保存在从处理电路的寄存器和/或片上缓存中，累加结束之后传输回主处理电路；在一种可选方案中，也可以将每次从处理电路执行的内积运算得到的部分和在部分情况下保存在从处理电路的寄存器和/或片上缓存中进行累加，部分情况下传输到主处理电路进行累加，累加结束之后传输回主处理电路。
步骤S24，主处理电路将各从处理电路的结果进行累加、激活等操作后，得到运算结果。
可选的，如果要求最终结果为浮点数或者定点数，在一种可选的方案中，若所述第一数据转换电路以及所述第二数据转换电路均位于所述主处理电路，则在主处理电路利用第二数据转换电路将运算结果转换为指定数据格式后得到最终运算结果，并将所述最终运算结果传递回存储单元进行保存。若所述第二数据转换单元位于从处理电路中，则各个从处理电路将从处理电路中计算得到的结果转换为指定格式的数据后，传送给所述主处理电路，由主处理电路将各从处理电路的结果进行累加、激活等操作后，得到最终运算结果。
步骤S25，重复步骤S21到步骤S24，直到完成神经网络的正向运算过程，得到预测结果和实际结果间的误差值，即最后一层的神经元梯度数据，保存到存储单元。
步骤S26，运算单元从存储单元中读取出权值数据。
其中，反向运算包括计算输出梯度向量的过程和计算权值梯度的过程。
所述运算单元从存储单元中读取权值数据之后对所述权值数据的处理过程可参照上述步骤S21，在此不再赘述。
步骤S27，主处理电路读取相对应的输入神经元梯度数据，并将所述输入神经元梯度数据按照指定顺序广播给各个从处理电路。
所述主处理电路在读取所述输入神经元梯度数据之后，运算单元对所述输入神经元梯度数据的的处理过程可参照上述步骤S22中对神经元数据的处理过程，在此不再赘述。
步骤S28，每个从处理电路利用输入神经元梯度数据和幂次权值数据进行运算，将结果直接传回主处理电路或在每个从处理电路内部完成部分累加后传递回主处理电路，得到前一层神经元对应的输出神经元梯度数据。
其中，所述输入神经元梯度数据相当于上述步骤S23中的神经元数据，所述从处理电路对所述输入神经元梯度数据和权值数据的运算过程可以参照上述步骤S23，在此不再赘述。
步骤S29，运算单元从存储单元中读取前一层的神经元数据以及相对应的输入神经元梯度数据进行运算，得到权值梯度，利用所述权值梯度对权值数据进行更新。
其中，所述运算单元在读取所述前一层的神经元数据以及相对应的输入神经元梯度数据之后，对上述数据的处理方式可参照步骤S22，在此不再赘述。
所述运算单元中的各个从处理电路对所述前一层的神经元数据以及对应的输入神经元梯度数据进行运算得到权值梯度之后，主处理电路读取从存储单元读取幂次权值数据，将幂次权值数据传递给从处理电路，利用权值梯度对权值数据进行更新。得到的更新结果传递回主处理电路。如果需要，利用第二数据转换单元将所述更新结果转换为幂次数据，而后再传递回存储单元进行保存。
本申请提供的技术方案将运算单元设置成一主多从结构，对于正向运算的计算指令，其可以将依据正向运算的计算指令将数据进行拆分，这样通过多个从处理电路即能够对计算量较大的部分进行并行运算，从而提高运算速度，节省运算时间，进而降低功耗。
进一步的，本申请提供的技术方案可以通过第一数据转换电路将非幂次格式的权值数据和/或非幂次格式的神经元数据转换为幂次格式数据表示，从而可以减少神经网络正向运算以及反向运算中存储神经元数据及权值数据所需的存储空间，同时可以用异或和加法运算完成乘法运算，减少了神经网络运算中的运算量，从而提高运算速度，节省运算时间，降低功耗。
本申请实施例中，对于神经网络中的运算可以为神经网络中的一层的运算，对于多层神经网络，其实现过程是，在正向运算中，当上一层人工神经网络执行完成之后，下一层的运算指令会将运算单元中计算出的输出神经元作为下一层的输入神经元进行运算(或者是对该输出神经元进行某些操作再作为下一层的输入神经元)，同时，将权值替换为下一层待运算的权值；在反向运算中，当上一层人工神经网络的反向运算执行完成后，下一层运算指令会将运算单元中计算出的输入神经元梯度作为下一层的输出神经元梯度进行运算(或者是对该输入神经元梯度进行某些操作再作为下一层的输出神经元梯度)，同时将权值替换为下一层的权值。
对于人工神经网络运算，如果该人工神经网络运算具有多层运算，多层运算的输入神经元和输出神经元并非是指整个神经网络的输入层中神经元和输出层中神经元，而是对于网络中任意相邻的两层，处于网络正向运算下层中的神经元即为输入神经元，处于网络正向运算上层中的神经元即为输出神经元。以卷积神经网络为例，设一个卷积神经网络有L层，K＝1，2，……，L-1，，对于第K层和第K+1层来说，我们将第K层称为输入层，其中的神经元为所述输入神经元，第K+1层称为输出层，其中的神经元为所述输出神经元。即除最顶层外，每一层都可以作为输入层，其下一层为对应的输出层。
本申请实施例中，运算单元12设置成一主多从结构，在一种可选实施例中，运算单元12如图10所示，可以包括一个主处理电路101和多个从处理电路102。所述多个从处理电路呈阵列分布；每个从处理电路与相邻的其他从处理电路连接，主处理电路连接所述多个从处理电路中的k个从处理电路，所述k个从处理电路为：第1行的n个从处理电路、第m行的n个从处理电路以及第1列的m个从处理电路，需要说明的是，如图10所示的k个从处理电路仅包括第1行的n个从处理电路、第m行的n个从处理电路以及第1列的m个从处理电路，即该k个从处理电路为多个从处理电路中直接与主处理电路连接的从处理电路。
k个从处理电路，用于在所述主处理电路以及多个从处理电路之间的数据以及指令的转发。
可选的，如图11所示，所述主处理电路还可以包括：转换处理电路、激活处理电路、加法处理电路中的一种或任意组合；
转换处理电路，用于将主处理电路接收的数据块或中间结果执行第一数据结构与第二数据结构之间的互换(例如连续数据与离散数据的转换)；或将主处理电路接收的数据块或中间结果执行第一数据类型与第二数据类型之间的互换(例如定点类型与浮点类型的转换)；
激活处理电路，用于执行主处理电路内数据的激活运算；
加法处理电路，用于执行加法运算或累加运算。
所述主处理电路，用于将确定所述输入神经元为广播数据，权值为分发数据，将分发数据分配成多个数据块，将所述多个数据块中的至少一个数据块以及多个运算指令中的至少一个运算指令发送给所述从处理电路；
所述多个从处理电路，用于依据该运算指令对接收到的数据块执行运算得到中间结果，并将运算结果传输给所述主处理电路；
所述主处理电路，用于将多个从处理电路发送的中间结果进行处理得到该计算指令的结果，将该计算指令的结果发送给所述控制单元。
所述从处理电路包括：乘法处理电路；
所述乘法处理电路，用于对接收到的数据块执行乘积运算得到乘积结果；
转发处理电路(可选的)，用于将接收到的数据块或乘积结果转发。
累加处理电路，所述累加处理电路，用于对该乘积结果执行累加运算得到该中间结果。
另一个实施例里，该运算指令为矩阵乘以矩阵的指令、累加指令、激活指令等等计算指令。
在一种可选的实施方案中，如图12所示，所述运算单元包括：树型模块40，所述树型模块包括：一个根端口401和多个支端口402，所述树型模块的根端口连接所述主处理电路，所述树型模块的多个支端口中的每个支端口分别连接多个从处理电路中的一个从处理电路，所述树型模块具有收发功能，用于转发所述主处理电路与所述多个从处理电路之间的数据块、权值以及运算指令，即可以将主处理电路的数据传送给各个从处理电路，也可以将各个从处理电路的数据传送给主处理电路。
可选的，该树型模块为计算装置的可选择结果，其可以包括至少1层节点，该节点为具有转发功能的线结构，该节点本身可以不具有计算功能。如树型模块具有零层节点，即无需该树型模块。
可选的，该树型模块可以为n叉树结构，例如，如图13所示的二叉树结构，当然也可以为三叉树结构，该n可以为大于等于2的整数。本申请具体实施方式并不限制上述n的具体取值，上述层数也可以为2，从处理电路可以连接除倒数第二层节点以外的其他层的节点，例如可以连接如图13所示的倒数第一层的节点。
在一种可选实施例中，运算单元12如图14所示，可以包括分支处理电路103；其具体的连接结构如图14所示，其中，
主处理电路101与分支处理电路103(一个或多个)连接，分支处理电路103与一个或多个从处理电路102连接；
分支处理电路103，用于执行转发主处理电路101与从处理电路102之间的数据或指令。
在一种可选实施例中，以神经网络运算中的全连接运算为例，所述神经网络运算过程可以为：y＝f(wx+b)，其中，x为输入神经元矩阵，w为权值矩阵，b为偏置标量，f为激活函数，具体可以为：sigmoid函数、tanh函数、relu函数、softmax函数中的任意一个，也可以为其他指定的激活函数。这里假设为二叉树结构，具有8个从处理电路，其实现的方法可以为：
控制单元从存储单元内获取输入神经元矩阵x，权值矩阵w以及全连接运算指令，将输入神经元矩阵x，权值矩阵w以及全连接运算指令传输给主处理电路；
主处理电路确定该输入神经元矩阵x为广播数据，确定权值矩阵w为分发数据，将权值矩阵w拆分成8个子矩阵，然后将8个子矩阵通过树型模块分发给8个从处理电路，将输入神经元矩阵x广播给8个从处理电路；
从处理电路并行执行8个子矩阵与输入神经元矩阵x的乘法运算和累加运算得到8个中间结果，将8个中间结果发送给主处理电路；
主处理电路，用于将8个中间结果组合得到wx的运算结果，将该运算结果执行偏置b的运算后执行激活操作得到最终结果y，将最终结果y发送至控制单元，控制单元将该最终结果y输出或存储至存储单元内。
如图1所示的计算装置执行神经网络正向运算指令的方法具体可以为：
控制单元从指令缓存单元内提取神经网络正向运算指令、神经网络运算指令对应的操作域以及至少一个操作码，控制单元将该操作域传输至数据访问单元，将该至少一个操作码发送至运算单元。
控制单元从存储单元内提取该操作域对应的权值w和偏置b(当b为0时，不需要提取偏置b)，将权值w和偏置b传输至运算单元的主处理电路，控制单元从存储单元内提取输入数据Xi，将该输入数据Xi发送至主处理电路。
主处理电路依据该至少一个操作码确定为乘法运算，确定输入数据Xi为广播数据，确定权值数据为分发数据，将权值w拆分成n个数据块；
控制单元的指令处理单元依据该至少一个操作码确定乘法指令、偏置指令和累加指令，将乘法指令、偏置指令和累加指令发送至主处理电路，主处理电路将该乘法指令、输入数据Xi以广播的方式发送给多个从处理电路，将该n个数据块分发给该多个从处理电路(例如具有n个从处理电路，那么每个从处理电路发送一个数据块)；多个从处理电路，用于依据该乘法指令将该输入数据Xi与接收到的数据块执行乘法运算得到中间结果，将该中间结果发送至主处理电路，该主处理电路依据该累加指令将多个从处理电路发送的中间结果执行累加运算得到累加结果，依据该偏置指令将该累加结果执行加偏置b得到最终结果，将该最终结果发送至该控制单元。
另外，加法运算和乘法运算的顺序可以调换。
本申请还揭露了一个神经网络运算装置，其包括一个或多个在本申请中提到的计算装置，用于从其他处理装置中获取待运算数据和控制信息，执行指定的神经网络运算，执行结果通过I/O接口传递给外围设备。外围设备譬如摄像头，显示器，鼠标，键盘，网卡，wifi接口，服务器。当包含一个以上计算装置时，计算装置间可以通过特定的结构进行链接并传输数据，譬如，通过PCIE总线进行互联并传输数据，以支持更大规模的神经网络的运算。此时，可以共享同一控制系统，也可以有各自独立的控制系统；可以共享内存，也可以每个加速器有各自的内存。此外，其互联方式可以是任意互联拓扑。
该神经网络运算装置具有较高的兼容性，可通过PCIE接口与各种类型的服务器相连接。
本申请还揭露了一个组合处理装置，其包括上述的神经网络运算装置，通用互联接口，和其他处理装置。神经网络运算装置与其他处理装置进行交互，共同完成用户指定的操作。图15为组合处理装置的示意图。
其他处理装置，包括中央处理器CPU、图形处理器GPU、神经网络处理器等通用/专用处理器中的一种或以上的处理器类型。其他处理装置所包括的处理器数量不做限制。其他处理装置作为神经网络运算装置与外部数据和控制的接口，包括数据搬运，完成对本神经网络运算装置的开启、停止等基本控制；其他处理装置也可以和神经网络运算装置协作共同完成运算任务。
通用互联接口，用于在所述神经网络运算装置与其他处理装置间传输数据和控制指令。该神经网络运算装置从其他处理装置中获取所需的输入数据，写入神经网络运算装置片上的存储装置；可以从其他处理装置中获取控制指令，写入神经网络运算装置片上的控制缓存；也可以读取神经网络运算装置的存储模块中的数据并传输给其他处理装置。
可选的，该结构如图16所示，还可以包括存储装置，存储装置分别与所述神经网络运算装置和所述其他处理装置连接。存储装置用于保存在所述神经网络运算装置和所述其他处理装置的数据，尤其适用于所需要运算的数据在本神经网络运算装置或其他处理装置的内部存储中无法全部保存的数据。
该组合处理装置可以作为手机、机器人、无人机、视频监控设备等设备的SOC片上系统，有效降低控制部分的核心面积，提高处理速度，降低整体功耗。此情况时，该组合处理装置的通用互联接口与设备的某些部件相连接。某些部件譬如摄像头，显示器，鼠标，键盘，网卡，wifi接口。
在一些实施例里，还申请了一种芯片，其包括了上述神经网络运算装置或组合处理装置。
在一些实施例里，申请了一种芯片封装结构，其包括了上述芯片。
在一些实施例里，申请了一种板卡，其包括了上述芯片封装结构。参阅图17，图17提供了一种板卡，上述板卡除了包括上述芯片389以外，还可以包括其他的配套部件，该配套部件包括但不限于：存储器件390、接口装置391和控制器件392；
所述存储器件390与所述芯片封装结构内的芯片通过总线连接，用于存储数据。所述存储器件可以包括多组存储单元393。每一组所述存储单元与所述芯片通过总线连接。可以理解，每一组所述存储单元可以是DDR SDRAM(英文：Double Data Rate SDRAM，双倍速率同步动态随机存储器)。
DDR不需要提高时钟频率就能加倍提高SDRAM的速度。DDR允许在时钟脉冲的上升沿和下降沿读出数据。DDR的速度是标准SDRAM的两倍。在一个实施例中，所述存储装置可以包括4组所述存储单元。每一组所述存储单元可以包括多个DDR4颗粒(芯片)。在一个实施例中，所述芯片内部可以包括4个72位DDR4控制器，上述72位DDR4控制器中64bit用于传输数据，8bit用于ECC校验。可以理解，当每一组所述存储单元中采用DDR4-3200颗粒时，数据传输的理论带宽可达到25600MB/s。
在一个实施例中，每一组所述存储单元包括多个并联设置的双倍速率同步动态随机存储器。DDR在一个时钟周期内可以传输两次数据。在所述芯片中设置控制DDR的控制器，用于对每个所述存储单元的数据传输与数据存储的控制。
所述接口装置与所述芯片封装结构内的芯片电连接。所述接口装置用于实现所述芯片与外部设备(例如服务器或计算机)之间的数据传输。例如在一个实施例中，所述接口装置可以为标准PCIE接口。比如，待处理的数据由服务器通过标准PCIE接口传递至所述芯片，实现数据转移。优选的，当采用PCIE 3.0X 16接口传输时，理论带宽可达到16000MB/s。在另一个实施例中，所述接口装置还可以是其他的接口，本申请并不限制上述其他的接口的具体表现形式，所述接口单元能够实现转接功能即可。另外，所述芯片的计算结果仍由所述接口装置传送回外部设备(例如服务器)。
所述控制器件与所述芯片电连接。所述控制器件用于对所述芯片的状态进行监控。具体的，所述芯片与所述控制器件可以通过SPI接口电连接。所述控制器件可以包括单片机(Micro Controller Unit，MCU)。如所述芯片可以包括多个处理芯片、多个处理核或多个处理电路，可以带动多个负载。因此，所述芯片可以处于多负载和轻负载等不同的工作状态。通过所述控制装置可以实现对所述芯片中多个处理芯片、多个处理和或多个处理电路的工作状态的调控。
在一些实施例里，申请了一种电子设备，其包括了上述板卡。
电子设备包括数据处理装置、机器人、电脑、打印机、扫描仪、平板电脑、智能终端、手机、行车记录仪、导航仪、传感器、摄像头、服务器、云端服务器、相机、摄像机、投影仪、手表、耳机、移动存储、可穿戴设备、交通工具、家用电器、和/或医疗设备。
所述交通工具包括飞机、轮船和/或车辆；所述家用电器包括电视、空调、微波炉、冰箱、电饭煲、加湿器、洗衣机、电灯、燃气灶、油烟机；所述医疗设备包括核磁共振仪、B超仪和/或心电图仪。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于可选实施例，所涉及的动作和模块并不一定是本申请所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件程序模块的形式实现。
所述集成的单元如果以软件程序模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器(英文：Read-Only Memory，简称：ROM)、随机存取器(英文：Random Access Memory，简称：RAM)、磁盘或光盘等。
以上对本申请实施例进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (24)

1.一种计算装置，其特征在于，所述计算装置用于执行神经网络计算，所述计算装置包括：控制单元以及运算单元；所述运算单元包括一个主处理电路和多个从处理电路；
所述控制单元，用于获取计算指令，解析所述计算指令得到多个运算指令，并将所述多个运算指令发送给所述运算单元；
所述主处理电路，用于根据所述运算指令获取输入数据，对所述输入数据执行前序处理以及与所述多个从处理电路之间传输数据和运算指令，所述输入数据包括神经元数据以及权值数据，所述输入数据的类型包括幂次数据，其中，幂次数据包括符号位和幂次位，符号位用一位或多位比特位表示数据的符号，幂次位用m位比特位表示数据的幂次位数据，m为大于1的正整数；
所述多个从处理电路，用于依据从所述主处理电路传输的数据以及运算指令并行执行中间运算得到多个中间结果，并将多个中间结果传输给所述主处理电路；
所述主处理电路，用于对所述多个中间结果执行后续处理得到所述计算指令的计算结果。
2.根据权利要求1所述的装置，其特征在于，所述运算单元还包括：
第一数据转换电路，用于将所述输入数据中的非幂次神经元数据转换为幂次神经元数据和/或非幂次权值数据转换为幂次权值数据；
第二数据转换电路，用于将幂次数据转换为非幂次数据。
3.根据权利要求2所述的装置，其特征在于，
所述第一数据转换电路位于所述主处理电路或所述多个从处理电路；
所述第二数据转换电路位于所述主处理电路或所述多个从处理电路。
4.根据权利要求1所述的装置，其特征在于，所述运算单元具体用于：
在所述运算指令为正向运算指令的情况下，获取所述输入数据，并根据所述输入数据以及所述正向运算指令完成神经网络正向运算。
5.根据权利要求4所述的装置，其特征在于，所述运算单元还用于：
在所述运算指令为反向运算指令的情况下，获取神经元梯度数据、权值数据以及神经元数据，并根据所述反向运算指令完成神经网络反向运算，其中，所述神经元梯度数据由所述神经网络正向运算得到。
6.根据权利要求5所述的装置，其特征在于，所述多个从处理电路具体用于：
根据获取到的神经元数据以及权值数据进行异或与加法操作，得到所述多个中间结果，其中，所述神经元数据为幂次神经元数据和/或所述权值数据为幂次权值数据。
7.根据权利要求1至6任一项所述的装置，其特征在于，所述计算装置还包括：存储单元和直接内存访问单元，所述存储单元包括：寄存器、缓存中任意组合；
所述缓存，用于存储所述输入数据，所述缓存包括高速暂存缓存；
所述寄存器，用于存储所述输入数据中的标量数据；
所述直接内存访问单元用于从存储单元读取数据或向所述存储单元写入数据；
所述控制单元包括：指令缓存单元、指令处理单元和存储队列单元；
所述指令缓存单元，用于存储所述神经网络运算关联的计算指令；
所述指令处理单元，用于对所述计算指令解析得到多个运算指令；
所述存储队列单元，用于存储指令队列，该指令队列包括：按该队列的前后顺序待执行的多个运算指令或计算指令；
所述控制单元还包括：依赖关系处理单元；
所述依赖关系处理单元，用于确定第一运算指令与所述第一运算指令之前的第零运算指令是否存在关联关系，如所述第一运算指令与所述第零运算指令存在关联关系，将所述第一运算指令缓存在所述存储队列单元内，在所述第零运算指令执行完毕后，从所述存储队列单元提取所述第一运算指令传输至所述运算单元；
所述确定所述第一运算指令与所述第一运算指令之前的第零运算指令是否存在关联关系包括：
依据所述第一运算指令提取所述第一运算指令中所需数据的第一存储地址区间，依据所述第零运算指令提取所述第零运算指令中所需数据的第零存储地址区间，如所述第一存储地址区间与所述第零存储地址区间具有重叠的区域，确定所述第一运算指令与所述第零运算指令具有关联关系，如所述第一存储地址区间与所述第零存储地址区间不具有重叠的区域，确定所述第一运算指令与所述第零运算指令不具有关联关系。
8.根据权利要求2所述的装置，其特征在于，所述运算单元包括：树型模块，所述树型模块包括：一个根端口和多个支端口，所述树型模块的根端口连接所述主处理电路，所述树型模块的多个支端口中的每个支端口分别连接多个从处理电路中的一个从处理电路，其中，所述树型模块为n叉树结构，所述n为大于等于2的整数；
所述树型模块，用于转发所述主处理电路与所述多个从处理电路之间的数据块、权值以及运算指令。
9.根据权利要求2所述的装置，其特征在于，所述多个从处理电路呈阵列分布；每个从处理电路与相邻的其他从处理电路连接，所述主处理电路连接所述多个从处理电路中的k个从处理电路，所述k个从电路为：第1行的n个从处理电路、第m行的n个从处理电路以及第1列的m个从处理电路；
所述k个从处理电路，用于所述主处理电路以及多个从处理电路之间的数据以及运算指令的转发；
所述主处理电路，用于确定所述输入神经元为广播数据，权值为分发数据，将一个分发数据分配成多个数据块，将所述多个数据块中的至少一个数据块以及多个运算指令中的至少一个运算指令发送给所述k个从处理电路；
所述k个从处理电路，用于转换所述主处理电路与所述多个从处理电路之间的数据；
所述多个从处理电路，用于依据该运算指令对接收到的数据块执行运算得到中间结果，并将运算结果传输给所述k个从处理电路；
所述主处理电路，用于将所述k个从处理电路发送的中间结果进行后续处理得到该计算指令的结果，将该计算指令的结果发送给所述控制单元。
10.根据权利要求2所述的装置，其特征在于，所述第一数据转换电路具体用于：
在任务复杂度大于预设阈值的情况下，将所述输入数据中的非幂次神经元数据转换为幂次神经元数据和/或非幂次权值数据转换为幂次权值数据。
11.一种组合处理装置，其特征在于，所述组合处理装置包括一个或多个如权利要求1-10任一项所述的计算装置、通用互联接口、存储装置和其他处理装置，所述计算装置用于从其他处理装置中获取待运算输入数据和控制信息，并执行指定的神经网络运算，将执行结果通过通用互联接口传递给其他处理装置；
当所述组合处理装置包含多个所述计算装置时，所述多个所述计算装置间可以通过特定的结构进行连接并传输数据；
其中，多个所述计算装置通过快速外部设备互连总线PCIE总线进行互联并传输数据，以支持更大规模的神经网络的运算；多个所述计算装置共享同一控制系统或拥有各自的控制系统；多个所述计算装置共享内存或者拥有各自的内存；多个所述计算装置的互联方式是任意互联拓扑；
存储装置，所述存储装置分别与所述多个所述计算装置和所述其他处理装置连接，用于保存所述组合处理装置和所述其他处理装置的数据。
12.一种神经网络芯片，其特征在于，所述神经网络芯片包括如权利要求11所述的组合处理装置。
13.一种电子设备，其特征在于，所述电子设备包括如所述权利要求12所述的芯片。
14.一种板卡，其特征在于，所述板卡包括：存储器件、接口装置和控制器件以及如权利要求12所述的神经网络芯片；
其中，所述神经网络芯片与所述存储器件、所述控制器件以及所述接口装置分别连接；
所述存储器件，用于存储数据；
所述接口装置，用于实现所述芯片与外部设备之间的数据传输；
所述控制器件，用于对所述芯片的状态进行监控。
15.一种执行神经网络运算的计算方法，其特征在于，所述计算方法应用于计算装置，所述计算装置用于执行神经网络计算；所述计算装置包括：控制单元以及运算单元；所述运算单元包括一个主处理电路和多个从处理电路；
所述控制单元获取计算指令，解析所述计算指令得到多个运算指令，将所述多个运算指令发送给所述运算单元；
所述主处理电路，用于根据所述运算指令获取输入数据，对所述输入数据执行前序处理以及与所述多个从处理电路之间传输数据和运算指令，所述输入数据包括神经元数据以及权值数据，所述输入数据的类型包括幂次数据，其中，幂次数据包括符号位和幂次位，符号位用一位或多位比特位表示数据的符号，幂次位用m位比特位表示数据的幂次位数据，m为大于1的正整数；
所述多个从处理电路，用于依据从所述主处理电路传输的数据以及运算指令并行执行中间运算得到多个中间结果，并将多个中间结果传输给所述主处理电路；
所述主处理电路，用于对所述多个中间结果执行后续处理得到所述计算指令的计算结果。
16.根据权利要求15所述的方法，其特征在于，所述运算单元还包括：
第一数据转换电路，用于将所述输入数据中的非幂次神经元数据转换为幂次神经元数据和/或非幂次权值数据转换为幂次权值数据；
第二数据转换电路，用于将幂次数据转换为非幂次数据。
17.根据权利要求16所述的方法，其特征在于，所述第一数据转换电路位于所述主处理电路或所述多个从处理电路；所述第二数据转换电路位于所述主处理电路或所述多个从处理电路。
18.根据权利要求15所述的方法，其特征在于，所述运算单元在所述运算指令为正向运算指令的情况下，获取所述输入数据，并根据所述输入数据以及所述正向运算指令完成神经网络正向运算。
19.根据权利要求18所述的方法，其特征在于，所述运算单元在所述运算指令为反向运算指令的情况下，获取神经元梯度数据、权值数据以及神经元数据，根据所述反向运算指令完成神经网络反向运算，其中，所述神经元梯度数据由所述神经网络正向运算得到。
20.根据权利要求17所述的方法，其特征在于，所述多个从处理电路具体用于：
根据获取到的神经元数据以及权值数据进行异或与加法操作，得到所述多个中间结果，其中，所述神经元数据为幂次神经元数据和/或所述权值数据为幂次权值数据。
21.根据权利要求15-20任一项所述的方法，其特征在于，所述计算装置还包括：存储单元和直接内存访问单元，所述存储单元包括：寄存器、缓存中任意组合；
所述缓存存储所述输入数据，所述缓存包括高速暂存缓存；
所述寄存器存储所述输入数据中的标量数据；
所述直接内存访问单元从存储单元读取数据或向所述存储单元写入数据；
所述控制单元包括：指令缓存单元、指令处理单元和存储队列单元；
所述指令缓存单元存储所述神经网络运算关联的计算指令；
所述指令处理单元对所述计算指令解析得到多个运算指令；
所述存储队列单元存储指令队列，该指令队列包括：按该队列的前后顺序待执行的多个运算指令或计算指令；
所述控制单元还包括：依赖关系处理单元；
所述依赖关系处理单元确定第一运算指令与所述第一运算指令之前的第零运算指令是否存在关联关系，如所述第一运算指令与所述第零运算指令存在关联关系，将所述第一运算指令缓存在所述存储队列单元内，在所述第零运算指令执行完毕后，从所述存储队列单元提取所述第一运算指令传输至所述运算单元；
所述确定所述第一运算指令与所述第一运算指令之前的第零运算指令是否存在关联关系包括：
依据所述第一运算指令提取所述第一运算指令中所需数据的第一存储地址区间，依据所述第零运算指令提取所述第零运算指令中所需数据的第零存储地址区间，如所述第一存储地址区间与所述第零存储地址区间具有重叠的区域，确定所述第一运算指令与所述第零运算指令具有关联关系，如所述第一存储地址区间与所述第零存储地址区间不具有重叠的区域，确定所述第一运算指令与所述第零运算指令不具有关联关系。
22.根据权利要求16所述的方法，其特征在于，所述运算单元包括：树型模块，所述树型模块包括：一个根端口和多个支端口，所述树型模块的根端口连接所述主处理电路，所述树型模块的多个支端口中的每个支端口分别连接多个从处理电路中的一个从处理电路，其中，所述树型模块为n叉树结构，所述n为大于等于2的整数；
所述树型模块转发所述主处理电路与所述多个从处理电路之间的数据块、权值以及运算指令。
23.根据权利要求16所述的方法，其特征在于，所述多个从处理电路呈阵列分布；每个从处理电路与相邻的其他从处理电路连接，所述主处理电路连接所述多个从处理电路中的k个从处理电路，所述k个从电路为：第1行的n个从处理电路、第m行的n个从处理电路以及第1列的m个从处理电路；
所述k个从处理电路所述主处理电路以及多个从处理电路之间的数据以及运算指令的转发；
所述主处理电路确定所述输入神经元为广播数据，权值为分发数据，将一个分发数据分配成多个数据块，将所述多个数据块中的至少一个数据块以及多个运算指令中的至少一个运算指令发送给所述k个从处理电路；
所述k个从处理电路转换所述主处理电路与所述多个从处理电路之间的数据；
所述多个从处理电路依据该运算指令对接收到的数据块执行运算得到中间结果，并将运算结果传输给所述k个从处理电路；
所述主处理电路将所述k个从处理电路发送的中间结果进行后续处理得到该计算指令的结果，将该计算指令的结果发送给所述控制单元。
24.根据权利要求16所述的方法，其特征在于，所述第一数据转换电路具体用于：
在任务复杂度大于预设阈值的情况下，将所述输入数据中的非幂次神经元数据转换为幂次神经元数据和/或非幂次权值数据转换为幂次权值数据。
CN201811194530.9A 2018-10-12 2018-10-12 一种计算装置及相关产品 Active CN111047024B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811194530.9A CN111047024B (zh) 2018-10-12 2018-10-12 一种计算装置及相关产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811194530.9A CN111047024B (zh) 2018-10-12 2018-10-12 一种计算装置及相关产品

Publications (2)

Publication Number Publication Date
CN111047024A CN111047024A (zh) 2020-04-21
CN111047024B true CN111047024B (zh) 2023-05-23

Family

ID=70230147

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811194530.9A Active CN111047024B (zh) 2018-10-12 2018-10-12 一种计算装置及相关产品

Country Status (1)

Country Link
CN (1) CN111047024B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113702700B (zh) * 2021-09-01 2022-08-19 上海交通大学 一种计算电能和电能质量参数的专用集成电路

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017185418A1 (zh) * 2016-04-29 2017-11-02 北京中科寒武纪科技有限公司 一种用于执行神经网络运算以及矩阵/向量运算的装置和方法
CN107844832A (zh) * 2017-10-30 2018-03-27 上海寒武纪信息科技有限公司 一种信息处理方法及相关产品
CN107992329A (zh) * 2017-07-20 2018-05-04 上海寒武纪信息科技有限公司 一种计算方法及相关产品

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017185418A1 (zh) * 2016-04-29 2017-11-02 北京中科寒武纪科技有限公司 一种用于执行神经网络运算以及矩阵/向量运算的装置和方法
CN107992329A (zh) * 2017-07-20 2018-05-04 上海寒武纪信息科技有限公司 一种计算方法及相关产品
CN107844832A (zh) * 2017-10-30 2018-03-27 上海寒武纪信息科技有限公司 一种信息处理方法及相关产品

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
杨一晨 ; 梁峰 ; 张国和 ; 何平 ; 吴斌 ; 高震霆 ; .一种基于可编程逻辑器件的卷积神经网络协处理器设计.西安交通大学学报.2018,(07),全文. *

Also Published As

Publication number Publication date
CN111047024A (zh) 2020-04-21

Similar Documents

Publication Publication Date Title
CN110383300B (zh) 一种计算装置及方法
CN110163358B (zh) 一种计算装置及方法
CN111047022B (zh) 一种计算装置及相关产品
CN109740739A (zh) 神经网络计算装置、神经网络计算方法及相关产品
CN110276447B (zh) 一种计算装置及方法
CN111353591B (zh) 一种计算装置及相关产品
CN111045728B (zh) 一种计算装置及相关产品
CN111488976B (zh) 神经网络计算装置、神经网络计算方法及相关产品
CN109670581B (zh) 一种计算装置及板卡
CN111930681B (zh) 一种计算装置及相关产品
CN111488963B (zh) 神经网络计算装置和方法
CN110059809B (zh) 一种计算装置及相关产品
CN111047021B (zh) 一种计算装置及相关产品
CN111047024B (zh) 一种计算装置及相关产品
CN110472734B (zh) 一种计算装置及相关产品
CN111291871B (zh) 一种计算装置及相关产品
CN111382848B (zh) 一种计算装置及相关产品
CN111368990B (zh) 一种神经网络计算装置和方法
CN111368987B (zh) 一种神经网络计算装置和方法
CN111198714A (zh) 重训练方法及相关产品
CN111738429B (zh) 一种计算装置及相关产品
CN111222632B (zh) 计算装置、计算方法及相关产品
CN111047023B (zh) 一种计算装置及相关产品
CN118278472A (zh) 量化处理方法及相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant