CN111767996A - 集成电路芯片装置及相关产品 - Google Patents

集成电路芯片装置及相关产品 Download PDF

Info

Publication number
CN111767996A
CN111767996A CN202010616633.0A CN202010616633A CN111767996A CN 111767996 A CN111767996 A CN 111767996A CN 202010616633 A CN202010616633 A CN 202010616633A CN 111767996 A CN111767996 A CN 111767996A
Authority
CN
China
Prior art keywords
data block
processing circuit
basic
circuit
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010616633.0A
Other languages
English (en)
Other versions
CN111767996B (zh
Inventor
不公告发明人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Cambricon Information Technology Co Ltd
Original Assignee
Shanghai Cambricon Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Cambricon Information Technology Co Ltd filed Critical Shanghai Cambricon Information Technology Co Ltd
Priority to CN202010616633.0A priority Critical patent/CN111767996B/zh
Publication of CN111767996A publication Critical patent/CN111767996A/zh
Application granted granted Critical
Publication of CN111767996B publication Critical patent/CN111767996B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/15—Correlation function computation including computation of convolution operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Databases & Information Systems (AREA)
  • Algebra (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Neurology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Image Processing (AREA)
  • Logic Circuits (AREA)
  • Stored Programmes (AREA)
  • Credit Cards Or The Like (AREA)
  • Semiconductor Integrated Circuits (AREA)
  • Advance Control (AREA)

Abstract

本披露提供一种集成电路芯片装置及相关产品，所述集成电路芯片装置包括：主处理电路以及多个基础处理电路；所述主处理电路包括第一映射电路，所述多个基础处理电路中至少一个电路包括第二映射电路，所述第一映射电路以及所述第二映射电路均用于执行神经网络运算中的各个数据的压缩处理。本披露提供的技术方案具有计算量小，功耗低的优点。

Description

集成电路芯片装置及相关产品
技术领域
本披露涉及神经网络领域，尤其涉及一种集成电路芯片装置及相关产品。
背景技术
人工神经网络(Artificial Neural Network，即ANN)，是20世纪80年代以来人工智能领域兴起的研究热点。它从信息处理角度对人脑神经元网络进行抽象，建立某种简单模型，按不同的连接方式组成不同的网络。在工程与学术界也常直接简称为神经网络或类神经网络。神经网络是一种运算模型，由大量的节点(或称神经元)之间相互联接构成。现有的神经网络的运算基于CPU(Central Processing Unit，中央处理器)或GPU(英文：Graphics Processing Unit，图形处理器)来实现神经网络的运算，此种运算的计算量大，功耗高。
发明内容
本披露实施例提供了一种集成电路芯片装置及相关产品，可提升计算装置的处理速度，提高效率。
第一方面，提供一种集成电路芯片装置，所述集成电路芯片装置包括：主处理电路以及多个基础处理电路；所述主处理电路包括第一映射电路，所述多个基础处理电路中至少一个电路(即部分或全部基础处理电路)包括第二映射电路，所述第一映射电路以及所述第二映射电路均用于执行神经网络运算中的各个数据的压缩处理；
所述主处理电路，用于执行神经网络运算中的各个连续的运算以及与所述基础处理电路传输数据；
所述多个基础处理电路，用于依据所述主处理电路传输的数据以并行方式执行神经网络中的运算，并将运算结果传输给所述主处理电路。
第二方面，提供一种神经网络运算装置，所述神经网络运算装置包括一个或多个第一方面提供的集成电路芯片装置。
第三方面，提供一种组合处理装置，所述组合处理装置包括：第二方面提供的神经网络运算装置、通用互联接口和通用处理装置；
所述神经网络运算装置通过所述通用互联接口与所述通用处理装置连接。
第四方面，提供一种芯片，所述芯片集成第一方面的装置、第二方面的装置或第三方面的装置。
第五方面，提供一种电子设备，所述电子设备包括第四方面的芯片。
第六方面，提供一种神经网络的运算方法，所述方法应用在集成电路芯片装置内，所述集成电路芯片装置包括：第一方面所述的集成电路芯片装置，所述集成电路芯片装置用于执行神经网络的运算。
可以看出，通过本披露实施例，提供映射电路将数据块压缩处理后再进行运算，节省了传输资源以及计算资源，所以其具有功耗低，计算量小的优点。
附图说明
图1a是一种集成电路芯片装置结构示意图。
图1b是另一种集成电路芯片装置结构示意图。
图1c是一种基础处理电路的结构示意图。
图2为一种矩阵乘以向量流程示意图。
图2a是矩阵乘以向量的示意图。
图2b为一种矩阵乘以矩阵流程示意图。
图2c是矩阵Ai乘以向量B的示意图。
图2d是矩阵A乘以矩阵B的示意图。
图2e是矩阵Ai乘以矩阵B的示意图。
图3a为神经网络训练示意图。
图3b为卷积运算示意图。
图4为本披露实施例流提供的一种神经网络芯片的结构示意图。
图5a-图5b为本申请实施例提供的两种映射电路的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本披露方案，下面将结合本披露实施例中的附图，对本披露实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本披露一部分实施例，而不是全部的实施例。基于本披露中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本披露保护的范围。
在第一方面提供的装置中，所述集成电路芯片装置还包括：分支处理电路，所述分支处理电路设置在主处理电路与至少一个基础处理电路之间；所述分支处理电路，用于在主处理电路与至少一个基础处理电路之间转发数据。
在第一方面提供的装置中，所述主处理电路用于获取待计算的数据块以及运算指令，依据所述运算指令将所述待计算的数据块划分为分发数据块和广播数据块；将所述分发数据块和预存的所述分发数据块关联的标识数据块进行拆分处理得到多个基本数据块以及所述多个基本数据块各自关联的标识数据块；将所述多个基本数据块以及所述多个基本数据块各自关联的标识数据块分发至与其连接的基础处理电路；将所述广播数据块以及该广播数据块关联的标识数据块广播至与其连接的基础处理电路。其中，所述标识数据块具体可用直接索引或者步长索引的方式来表示，可选的还可用列表的列表(List ofLists，LIL)、坐标列表(Coordinate list，COO)、压缩稀疏行(Compressed Sparse Row，CSR)、压缩稀疏列(Compressed Sparse Column，CSC)、(ELL Pack，ELL)以及混合(Hybird，HYB)等方式表示，本申请不做限定。
以所述标识数据块用直接索引的方式表示为例，所述标识数据块具体可为是由0和1构成的数据块，其中，0表示数据块中包含的数据(如权值或输入神经元)的绝对值小于或等于第一阈值，1表示数据块中包含的数据(如权值或输入神经元)的绝对值大于第一阈值，第一阈值为用户侧或装置侧自定义随机设置的，例如0.05、0等等。
为节省数据传输量、提高数据传输效率，在所述主处理电路向所述基础处理电路发送数据的过程中，具体可将所述多个基本数据块中的目标数据以及所述多个基本数据块各自关联的标识数据块分发至与其连接的基础处理电路；可选，还可将所述处理后的广播数据块中的目标数据以及该广播数据块关联的标识数据块广播至与其连接的基础处理电路。其中，所述目标数据是指数据块中绝对值大于第一阈值的数据，或者是指数据块(这里具体可为处理后的分发数据块或处理后的广播数据块)中的非0数据。
相应地，所述基础处理电路用于启动所述第二映射电路根据所述广播数据块关联的标识数据块和所述基本数据块关联的标识数据获得连接标识数据块；根据所述连接标识数据块对所述广播数据块和所述基本数据块进行处理得到处理后的广播数据块和基本数据块；对所述处理后的广播数据块和基本数据块执行内积运算得到运算结果，将所述运算结果发送至所述主处理电路；
所述主处理电路，用于对所述运算结果处理得到所述待计算的数据块以及运算指令的指令结果。
例如，分发数据块为M1行N1列的矩阵，基本数据块为M2行N2列的矩阵，其中M1>M2，N1>N2。相应地，该分发数据块关联的标识数据块同样也为M1行N1列的矩阵，该基本数据块关联的标识数据块同样为M2行N2列的矩阵。以基本数据块为2*2的矩阵为例，设为
Figure BDA0002562151070000031
第一阈值为0.05，则该基本数据块关联的标识数据块为
Figure BDA0002562151070000032
关于第一映射电路和第二映射电路对数据块的处理将在后文进行具体阐述。
在第一方面提供的装置中，所述主处理电路，用于获取待计算的数据块以及运算指令，依据所述运算指令将所述待计算的数据块划分为分发数据块和广播数据块；启动所述第一映射电路对所述分发数据块和所述广播数据块进行处理得到处理后的分发数据块以及该分发数据块关联的标识数据块，处理后的广播数据块以及该广播数据块关联的标识数据块；将所述处理后的分发数据块以及该分发数据块关联的标识数据块进行拆分处理得到多个基本数据块以及所述基本数据块各自关联的标识数据块，将所述多个基本数据块以及所述多个基本数据块各自关联的标识数据块分发至与其连接的基础处理电路，将所述广播数据块以及该广播数据块关联的标识数据块广播至与其连接的基础处理电路；
所述基础处理电路，用于启动所述第二映射电路根据所述广播数据块关联的标识数据块和所述基本数据块关联的标识数据获得连接标识数据块；根据所述连接标识数据块对所述广播数据块和所述基本数据块进行处理得到处理后的广播数据块和基本数据块；对所述处理后的广播数据块和基本数据块执行内积运算得到运算结果，将所述运算结果发送至所述主处理电路；
所述主处理电路，用于对所述运算结果处理得到所述待计算的数据块以及运算指令的指令结果。
在可选实施例中，所述主处理电路，还具体用于将所述广播数据块或处理后的广播数据块以及该广播数据块关联的标识数据块进行拆分处理得到多个部分广播数据块以及所述多个部分广播数据块各自关联的标识数据块；将所述多个部分广播数据块以及所述多个部分广播数据块各自关联的标识数据块通过一次或多次广播给所述基础处理电路；其中，所述多个部分广播数据块组合形成所述广播数据块或处理后的广播数据块。
相应地，所述基础处理电路，具体用于启动所述第二映射电路根据所述部分广播数据块关联的标识数据块以及所述基本数据块关联的标识数据块得到连接标识数据块；根据所述连接标识数据对所述部分广播数据块以及所述基本数据块进行处理得到处理后的部分广播数据块以及处理后的基本数据块；对所述处理后的部分广播数据块以及所述处理后的基本数据块执行内积运算。
其中，该连接标识数据块是通过对所述基本数据块关联的标识数据块和所述部分广播数据块关联的标识数据块进行逐元素与操作而获得的数据块。可选的，该连接标识数据块用于表示两个数据块(具体为基本数据块以及广播数据块)中数据均大于绝对值的数据。具体在后文进行详述。
例如，分发数据块关联的标识数据块为2*3的矩阵
Figure BDA0002562151070000041
部分广播数据块关联的标识数据块为2*2的矩阵
Figure BDA0002562151070000042
则对应获得的连接标识数据块为
Figure BDA0002562151070000043
在第一方面提供的装置中，所述主处理电路，用于获取待计算的数据块以及运算指令，依据所述运算指令将所述待计算的数据块划分为分发数据块和广播数据块；启动所述第一映射电路对所述分发数据块进行处理得到处理后的分发数据块以及该分发数据块关联的标识数据块，或者启动所述第一映射电路根据预存的所述分发数据块关联的标识数据块对所述分发数据块进行处理得到处理后的分发数据块；将所述处理后的分发数据块以及该分发数据块关联的标识数据块进行拆分处理得到多个基本数据块以及所述基本数据块各自关联的标识数据块，将所述多个基本数据块以及所述多个基本数据块各自关联的标识数据块分发至与其连接的基础处理电路，将所述广播数据块广播至与其连接的基础处理电路；
所述基础处理电路，用于启动所述第二映射电路根据所述基本数据块关联的标识数据块对所述广播数据块进行处理，得到处理后的广播数据块；对所述处理后的广播数据块和所述处理后的基本数据块执行内积运算得到运算结果，将所述运算结果发送至所述主处理电路；
所述主处理电路，用于对所述运算结果处理得到所述待计算的数据块以及运算指令的指令结果。
在可选实施例中，所述主处理电路，还具体用于将所述广播数据块进行拆分处理得到多个部分广播数据块；将所述多个部分广播数据块通过一次或多次广播给所述基础处理电路；其中，所述多个部分广播数据块组合形成所述广播数据块或处理后的广播数据块。
相应地，所述基础处理电路具体用于根据所述基本数据块关联的标识数据块对所述部分广播数据块进行处理得到处理后的部分广播数据块；对所述基本数据块以及所述处理后的部分广播数据块执行内积运算。
在第一方面提供的装置中，所述主处理电路，用于获取待计算的数据块以及运算指令，依据所述运算指令将所述待计算的数据块划分为分发数据块和广播数据块；启动所述第一映射电路对所述广播数据块进行处理，得到处理后的广播数据块以及该广播数据块关联的标识数据块，或者启动所述第一映射电路根据预存的所述广播数据块关联的标识数据块对所述广播数据块进行处理得到处理后的广播数据块；对所述分发数据块进行拆分处理得到多个基本数据块；将所述多个基本数据块分发至与其连接的基础处理电路，将所述处理后的广播数据块以及该广播数据块关联的标识数据块广播至与其连接的基础处理电路；
所述基础处理电路，用于启动所述第二映射电路根据所述广播数据块关联的标识数据块对所述基本数据块进行处理得到处理后的基本数据块；对所述处理后的广播数据块和所述处理后的基本数据块执行内积运算得到运算结果，将所述运算结果发送至所述主处理电路；
所述主处理电路，用于对所述运算结果处理得到所述待计算的数据块以及运算指令的指令结果。
在可选实施例中，所述主处理电路，还具体用于将所述处理后的广播数据块和该广播数据块关联的标识数据块进行拆分处理得到多个部分广播数据块以及所述多个部分广播数据块关联的标识数据块；将所述多个部分广播数据块以及所述多个部分广播数据块各自关联的标识数据块通过一次或多次广播给所述基础处理电路；其中，所述多个部分广播数据块组合形成所述广播数据块或处理后的广播数据块。
相应地，所述基础处理电路具体用于根据所述部分广播数据块关联的标识数据块对所述基本数据块进行处理得到处理后的基本数据块；对所述处理后的基本数据块以及所述部分广播数据块执行内积运算。
在第一方面提供的装置中，所述主处理电路，具体用于将该广播数据块(具体可为所述广播数据块或者处理后的广播数据块)通过一次广播发送至与其连接的所述基础处理电路。
在第一方面提供的装置中，所述基础处理电路，具体用于将该基本数据块(同理可为所述基本数据块或处理后的基本数据块)与该广播数据块执行内积处理得到内积处理结果，将所述内积处理结果累加得到运算结果，将所述运算结果发送至所述主处理电路。
在第一方面提供的装置中，所述主处理电路，用于在如所述运算结果为内积处理的结果时，对所述运算结果累加后得到累加结果，将该累加结果排列得到所述待计算的数据块以及运算指令的指令结果。
在第一方面提供的装置中，所述主处理电路，具体用于将所述广播数据块分成多个部分广播数据块，将所述多个部分广播数据块通过多次广播至所述基础处理电路；所述多个部分广播数据块组合形成所述广播数据块。
在第一方面提供的装置中，所述基础处理电路，具体用于将该部分广播数据块(具体可为部分广播数据块或者处理后的部分广播数据块)与该基本数据块执行一次内积处理后得到内积处理结果，将所述内积处理结果累加得到部分运算结果，将所述部分运算结果发送至所述主处理电路。
在第一方面提供的装置中，所述基础处理电路，具体用于复用n次该部分广播数据块执行该部分广播数据块与该n个基本数据块内积运算得到n个部分处理结果，将n个部分处理结果分别累加后得到n个部分运算结果，将所述n个部分运算结果发送至主处理电路，所述n为大于等于2的整数。
在第一方面提供的装置中，所述主处理电路包括：主寄存器或主片上缓存电路；
所述基础处理电路包括：基本寄存器或基本片上缓存电路。
在第一方面提供的装置中，所述主处理电路包括：向量运算器电路、算数逻辑单元电路、累加器电路、矩阵转置电路、直接内存存取电路、第一映射电路或数据重排电路中的一种或任意组合。
在第一方面提供的装置中，所述分支处理电路包含多个分支处理电路，所述主处理电路与所述多个分支处理电路分别连接，每个分支处理电路与至少一个基础处理电路连接。
在第一方面提供的装置中，所述基础处理电路，还具体用于将该广播数据块和基本数据块转发给其他基础处理电路以先进行数据处理再执行内积运算得到运算结果，将所述运算结果发送至所述主处理电路；
所述主处理电路，用于对所述运算结果处理得到所述待计算的数据块以及运算指令的指令结果。
在第一方面提供的装置中，所述数据块可用张量表示，其具体可以是向量、矩阵、三维数据块、四维数据块以及n维数据块中一种或任意组合。
在第一方面提供的装置中，如所述运算指令为乘法指令，所述主处理电路确定乘数数据块为广播数据块，被乘数数据块为分发数据块；
如所述运算指令为卷积指令，所述主处理电路确定输入数据块为广播数据块，卷积核为分发数据块。
在第六方面提供的方法中，所述神经网络的运算包括：卷积运算、矩阵乘矩阵运算、矩阵乘向量运算、偏执运算、全连接运算、GEMM运算、GEMV运算、激活运算中的一种或任意组合。
参阅图1a，图1a为一种集成电路芯片装置的结构示意图，如图1a所示，该芯片装置包括：主处理电路、基本处理电路和分支处理电路(可选的)。其中，
主处理电路可以包括寄存器和/或片上缓存电路，该主处理电路还可以包括:控制电路、向量运算器电路、ALU(arithmetic and logic unit，算数逻辑单元)电路、累加器电路、DMA(Direct Memory Access，直接内存存取)电路等电路，当然在实际应用中，上述主处理电路还可以添加，转换电路(例如矩阵转置电路)、数据重排电路或激活电路等等其他的电路；
可选的，主处理电路可以包括：第一映射电路，第一映射电路可以用于对接收或发送的数据进行处理，以得到处理后的数据以及该数据关联的标识mask数据，该标识mask数据用于指示该数据的绝对值是否大于预设阈值，可选的，该mask数据可为0或1，其中0表示数据的绝对值小于或等于预设阈值；反之，1表示数据的绝对值大于预设阈值。该预设阈值为用户侧或终端设备侧自定义设置的，例如0.1或0.05等等。在实际应用中，通过第一映射电路可将数据为0或者不大于预设阈值(如0.1)的数据进行剔除，或将这些数据置为0。其优点是，减少主处理电路向基础处理电路传输的数据量、减少基础处理电路中数据运算的计算量，提升数据处理效率。本发明并不限制上述第一映射电路的具体形式。关于所述第一映射电路的具体实现将在下文进行阐述。
例如，主处理电路的输入数据为矩阵数据块
Figure BDA0002562151070000061
经过第一映射电路处理后可获得处理后的矩阵数据块为
Figure BDA0002562151070000062
该矩阵数据块关联的标识数据块为
Figure BDA0002562151070000063
关于第一映射电路的具体处理将在后文进行详述。
相应地，在主处理电路向基础处理电路分发数据时，可仅发送1和0.5这两个数据，并非发送处理后的矩阵数据块，8个数据；同时还需将该矩阵数据块关联的标识数据块一起发送给基础处理电路，以便基础处理电路根据接收的标识数据块和接收的两个数据(1和0.5)，对应获知这两个数据位于原矩阵数据块的位置。即是，所述基础处理电路可根据接收的标识数据块以及接收的数据，对应还原出主处理电路中处理后的矩阵数据块。
主处理电路还包括数据发送电路、数据接收电路或接口，该数据发送电路可以集成数据分发电路以及数据广播电路，当然在实际应用中，数据分发电路以及数据广播电路也可以分别设置；在实际应用中上述数据发送电路以及数据接收电路也可以集成在一起形成数据收发电路。对于广播数据，即需要发送给每个基础处理电路的数据。对于分发数据，即需要有选择的发送给部分基础处理电路的数据，具体的选择方式可以由主处理电路依据负载以及计算方式进行具体的确定。对于广播发送方式，即将广播数据以广播形式发送至每个基础处理电路。(在实际应用中，通过一次广播的方式将广播数据发送至每个基础处理电路，也可以通过多次广播的方式将广播数据发送至每个基础处理电路，本申请具体实施方式并不限制上述广播的次数)，对于分发发送方式，即将分发数据有选择的发送给部分基础处理电路。
在实现分发数据时，主处理电路的控制电路向部分或者全部基础处理电路传输数据(该数据可以相同，也可以不同，具体的，如果采用分发的方式发送数据，各个接收数据的基础处理电路收到的数据可以不同，当然也可以有部分基础处理电路收到的数据相同；
具体地，广播数据时，主处理电路的控制电路向部分或者全部基础处理电路传输数据，各个接收数据的基础处理电路可以收到相同的数据。
可选的，上述主处理电路的向量运算器电路可以执行向量运算,包括但不限于：两个向量加减乘除，向量与常数加、减、乘、除运算，或者对向量中的每个元素执行任意运算。其中，连续的运算具体可以为，向量与常数加、减、乘、除运算、激活运算、累加运算等等。
每个基础处理电路可以包括基础寄存器和/或基础片上缓存电路；每个基础处理电路还可以包括：内积运算器电路、向量运算器电路、累加器电路等中一个或任意组合。上述内积运算器电路、向量运算器电路、累加器电路都可以是集成电路，上述内积运算器电路、向量运算器电路、累加器电路也可以为单独设置的电路。
该芯片装置可选的还可以包括一个或多个分支处理电路，如具有分支处理电路时，其中主处理电路与分支处理电路连接，该分支处理电路与基本处理电路连接，该基本处理电路的内积运算器电路用于执行数据块之间的内积运算，该主处理电路的控制电路控制数据接收电路或数据发送电路收发外部数据，以及通过控制电路控制数据发送电路将外部数据分发至分支处理电路，该分支处理电路用于收发主处理电路或基本处理电路的数据。如图1a所示的结构适合复杂数据的计算，因为对于主处理电路来说，其连接的单元的数量有限，所以需要在主处理电路与基本处理电路之间添加分支处理电路以实现更多的基本处理电路的接入，从而实现对复杂数据块的计算。分支处理电路和基础处理电路的连接结构可以是任意的，不局限在图1a的H型结构。可选的，主处理电路到基础处理电路是广播或分发的结构，基础处理电路到主处理电路是收集(gather)的结构。广播，分发和收集的定义如下，对于分发或广播结构，此时的基础处理电路的数量大于主处理电路，即1个主处理电路对应多个基础处理电路，即从主处理电路到多个基础处理电路为广播或分发的结构，反之，从多个基础处理电路到主处理电路可以为收集结构。
基础处理电路，接收主处理电路分发或者广播的数据保存到基础处理电路的片上缓存中，可以进行运算产生结果，可以向主处理电路发送数据。可选的，基础处理电路还可先对接收的数据进行处理，将处理后的数据保存至片上缓存中，还可利用处理后的数据进行运算产生结果，可选的还可将处理后的数据发送给其他基础处理电路或主处理电路等，本申请不做限定。
可选的，每个基础处理电路均可以包括第二映射电路，也可以在部分基础处理电路中配置第二映射电路；第二映射电路可以用于对接收或发送的数据进行处理(即压缩处理)。本发明并不限制上述第二映射电路的具体形式。关于第二映射电路的具体实施将在下文进行详述。
可选的，该基础处理电路的向量运算器电路可以对两个向量(两个向量中的任一个或两个均可为处理后的向量)执行的向量运算，当然在实际应用中，基础处理电路的内积运算器电路可以对两个向量执行内积运算，累加器电路也可以对内积运算的结果进行累加。
在一种可选方案中，两个向量可以存放在片上缓存和/或寄存器中，基础处理电路可以根据实际计算的需要提取两个向量执行运算。该运算包括但不限于：内积运算、乘法运算、加法运算或其他的运算。
在一种可选方案中，内积运算的结果可以累加到片上缓存和/或寄存器上；其可选方案的优点是，减少了基础处理电路和主处理电路之间的数据传输量，提高了运算效率，降低了数据传输功耗。
在一种可选方案中，内积运算的结果不进行累加，直接作为结果传输；此技术方案的优点是，减少了基础处理电路内部的运算量，提高基础处理电路的运算效率。
在一种可选方案中，每个基础处理电路可以执行多组两个向量的内积运算，也可以对多组内积运算的结果分别进行累加；
在一种可选方案中，多组的两个向量数据可以存放在片上缓存和/或寄存器中；
在一种可选方案中，多组内积运算的结果可以分别累加到片上缓存和/或寄存器中；
在一种可选方案中，各组内积运算的结果可以不进行累加，直接作为结果传输；
在一种可选方案中，每个基础处理电路可以执行同一个向量与多个向量分别进行内积运算的操作(“一对多”内积，即多组内积里每组的两个向量中有一个向量是共享的)，并将每个向量对应的内积结果分别进行累加。此技术方案可以实现同一套权值对不同的输入数据进行多次计算，增加了数据复用，减少基础处理电路内部数据的数据传输量，提高计算效率，降低功耗。
具体地，计算内积使用的数据中，各组共享的向量和每组的另一个向量(即每组之间不同的那个向量)的数据来源可以不同：
在一种可选方案中，在计算内积时，各组共享的向量来自主处理电路或者分支处理电路的广播或者分发；
在一种可选方案中，在计算内积时，各组共享的向量来自片上缓存；
在一种可选方案中，在计算内积时，各组共享的向量来自寄存器；
在一种可选方案中，在计算内积时，每组的另一个非共享向量来自主处理电路或者分支处理电路的广播或者分发；
在一种可选方案中，在计算内积时，每组的另一个非共享向量来自从片上缓存；
在一种可选方案中，在计算内积时，每组的另一个非共享向量来自寄存器；
在一种可选方案中，在进行多组的内积运算时，每组共享的向量在基础处理电路的片上缓存和/寄存器中保留任意份数；
在一种可选方案中，共享向量可以对应每组内积各保留一份；
在一种可选方案中，共享向量可以只保留一份；
具体地，多组内积运算的结果可以分别累加到片上缓存和/或寄存器中；
具体地，各组内积运算的结果可以不进行累加，直接作为结果传输；
在一种可选方案中，基础处理电路中涉及的向量或矩阵可为经过第二映射电路处理后的向量或矩阵，具体将在后文阐述。
参阅图1a所示的结构，其包含一主处理电路(可以执行向量操作)，多基础处理电路(可以执行内积操作)。这样组合的好处是：装置不仅能使用基础处理电路执行矩阵和向量乘法运算，也能使用主处理电路执行其他任意的向量运算，使装置在有限的硬件电路的配置下，能够更快的完成更多的运算，减少了与装置外部进行数据传输的次数，提高了计算效率，降低了功耗。另外，本芯片在主处理电路中可设置第一映射电路，以执行神经网络中数据的处理，如将小于或等于预设阈值的第一输入数据剔除，同时还可得到该第一输入数据对应关联的标识mask数据，该mask数据用于表示第一输入数据的绝对值是否大于预设阈值。具体可参见前述实施例所述，这里不再赘述。这样设计的优点，可减少向基础处理电路传输的数据量，减少基础处理电路数据的计算量，提高数据处理速率、降低功耗。
在基础处理电路中可设置第二映射电路，以执行神经网络中数据的处理，例如根据第一输入数据关联的mask数据对第二输入数据进行处理或者根据第一输入数据关联的mask数据和第二输入数据关联的mask数据选取绝对值大于预设阈值的第一输入数据和第二输入数据执行相应的运算操作的等等。关于第一映射电路和第二映射电路对数据的具体处理可参见后文详述。
可选的，所述第一映射电路和所述第二映射电路均用于对数据进行处理，其具体可设计到以下电路中的任一项或多项中：主处理电路、分支处理电路以及基础处理电路等。这样在进行神经网络计算时能够减少计算的数据量，并且本芯片可以依据各个电路(主要是主处理电路和基础处理电路)的运算量(即负载量)动态的分配由哪个电路来进行数据压缩处理，这样能够减少数据计算的复杂程序，降低功耗，并且动态的分配数据处理能够实现不影响芯片的计算效率。该分配的方式包括但不限于：负载均衡、负载最小值分配等等方式。
参阅图1b所示的装置，图1b所示的装置为无分支处理电路的计算装置，如图1b所示的装置，其包括：主处理电路以及N个基础处理电路，其中，主处理电路(具体的结构如图1c所示)与N个基础处理电路可以直接或间接连接，如为间接连接的方式时，一种可选的方案如图1a所示可以包括N/4个分支处理电路，每个分支处理电路分别连接4个基础处理电路，对于主处理电路以及N个基础处理电路分别包含的电路可以参见上述如图1a所示的描述，这里不再赘述，这里需要说明的是，上述基础处理电路还可以设置在分支处理电路内，另外，每个分支处理电路连接基础处理电路的数量也可以不局限于4个，厂家可以根据实际需要进行配置。该上述主处理电路和N个基础处理电路中可分别设计有第一映射电路和第二映射电路，具体的，可以是主处理电路包括第一映射电路，所述N个基础处理电路或其中的一部分包括第二映射电路；也可以是主处理电路包括第一映射电路和第二映射电路，还可以是指所述N个基础处理电路或其中的一部分包括第一映射电路和第二映射电路。上述主处理电路可以根据神经网络计算指令动态的分配数据压缩处理步骤的操作实体，具体的，主处理电路可以根据自身的负载确定是否对接收到的数据执行压缩处理步骤，具体的，可以将负载的值设置多个区间，每个区间对应分配数据压缩处理步骤的执行主体，例如，以3个区间为例，区间1的负载值较低，可以由N个基础处理电路执行数据压缩处理步骤。主处理电路单独执行数据压缩处理步骤，区间2负载值位于区间1以及区间3之间，可以由主处理电路单独执行数据压缩处理步骤，区间3负载值较高，可以由主处理电路或N个基础处理电路共同执行数据压缩处理步骤。对此，可以以明示的方式来执行，例如主处理电路可以配置一个特殊指示或指令，当基础处理电路接收到该特殊指示或指令时，确定执行数据压缩处理步骤，如基础处理电路未接收到特殊指示或指令时，确定不执行数据压缩处理步骤。又如，可以以暗示的方式来执行，例如，基础处理电路接收到稀疏数据(即含0，或包括小于预设阈值的数据大于预设数量)且确定需要执行内积运算时，将该稀疏数据进行压缩处理。
本申请涉及的数据压缩处理具体在前文所述的第一映射电路和第二映射电路中执行。应理解的，由于神经网络是一个高计算量和高访存的算法，权值越多，计算量和访存量都会增大。特别是，针对权值较小(如为0，或小于设定数值的权值)的情况下，为提高计算速率、减小开销需对这些权值较小的数据进行压缩处理。在实际应用中，数据压缩处理在稀疏神经网络中应用，效果最为明显，如减小数据计算的工作量、减小数据额外开销，提高数据计算速率等。
以输入数据为例，阐述数据压缩处理涉及的具体实施例。所述输入数据包括但不限于至少一个输入神经元和/或至少一个权值。
第一实施例中：
第一映射电路接收到第一输入数据(具体可为主处理电路发送的待计算的数据块，如分发数据块或者广播数据块等)后，所述第一映射电路可对所述第一输入数据进行处理，以获得处理后的第一输入数据以该第一输入数据关联的标识mask数据，该mask数据用于指示该第一输入数据的绝对值是否大于第一阈值，如0.5、0等等。
具体的，当所述第一输入数据的绝对值大于第一阈值，则保留该输入数据；否则删除该第一输入数据或将该第一输入数据置为0。例如，输入的矩阵数据块为
Figure BDA0002562151070000101
第一阈值为0.05，则经过第一映射电路处理后可获得处理后的矩阵数据块
Figure BDA0002562151070000102
与该矩阵数据块关联的标识数据块(也可称为mask矩阵)为
Figure BDA0002562151070000103
进一步地，为减少数据传输量，所述主处理电路再向与其连接的基础处理电路中分发数据时，可发送所述处理后的矩阵数据块中的目标数据(本例中即为1,0.06和0.5)以及该矩阵数据块关联的标识数据块。具体实施时，所述主处理电路可按照设定规则将所述处理后的矩阵数据块中的目标数据分发至基础处理电路中，例如按照行顺序依次发送或者按照列顺序依次等等，本申请不做限定。相应地，基础处理电路在接收到所述目标数据以及该目标数据对应关联的标识数据块后，按照设定规则(例如行顺序)将其还原为处理后的矩阵数据块。例如本例中，基础处理电路可根据接收的数据(1,0.06和0.5)以及标识数据块
Figure BDA0002562151070000104
可获知该数据对应的矩阵数据块(即主处理电路中第一映射电路处理后的矩阵数据块)为
Figure BDA0002562151070000105
在本发明实施例中，该第一输入数据可为分发数据块和/或广播数据块。
相应地，第二映射电路可利用第一输入数据关联的标识数据对第二输入数据进行处理，从而获得处理后的第二输入数据；其中第一输入数据与所述第二输入数据不同。例如当所述第一输入数据为至少一个权值时，则所述第二输入数据可为至少一个输入神经元；或者，当所述第一输入数据为至少一个输入神经元时，则所述第二输入数据可为至少一个权值。
在本发明实施例中，该第二输入数据与所述第一输入数据不同，所述第二输入数据可为以下中的任一个：分发数据块、基本数据块、广播数据块以及部分广播数据块。
例如，当所述第一输入数据为分发数据块时，则第二输入数据为部分广播数据块。假设第二输入数据为矩阵数据块
Figure BDA0002562151070000111
相应地利用上例中mask矩阵
Figure BDA0002562151070000112
处理后，获得处理后的部分广播数据块为
Figure BDA0002562151070000113
由于在实际应用中，输入数据涉及的矩阵数据块维数较大，本申请这里仅为示意，本不构成限定。
第二实施例中：
所述第一映射电路可用于对第一输入数据和第二输入数据进行处理，以得到处理后的第一输入数据以及所述第一输入数据关联的第一标识mask数据、处理后的第二输入数据以及所述第二输入数据关联的第二标识mask数据。其中，所述第一mask数据或者第二mask数据用于指示第一或第二输入数据的绝对值是否大于第二阈值，该第二阈值为用户侧或装置侧自定义设置的，例如0.05、0等等。
所述处理后的第一输入数据或第二输入数据可为处理后的输入数据，也可为未处理前的输入数据。例如，第一输入数据为分发数据块，如上述例子中的矩阵数据块
Figure BDA0002562151070000114
经过第一映射电路处理后可获得处理后的分发数据块，这里处理后的分发数据块可为原矩阵数据块
Figure BDA0002562151070000115
也可为压缩处理后的矩阵数据块
Figure BDA0002562151070000116
应理解的，本申请为减少数据量的传输以及基础处理电路中数据处理效率，优选地所述处理后的输入数据(如处理后的基本数据块或部分广播数据块等)应为压缩处理后的数据。优选地，主处理电路向基础处理电路中发送的数据，具体可为所述处理后的输入数据中的目标数据，该目标数据具体可为绝对值大于预设阈值的数据，也可为非0数据等等。
相应地在基础处理电路中，第二映射电路可根据所述第一输入数据关联的第一标识数据以及所述第二输入数据关联的第二标识数据得到连接标识数据；该连接标识数据用于指示所述第一输入数据和所述第二输入数据中绝对值均大于第三阈值的数据，其中第三阈值为用户侧或装置侧自定义设置的，如0.05、0等。进一步地，所述第二映射电路可根据所述连接标识数据分别对接收的第一输入数据和第二输入数据进行处理，从而获得处理后的第一输入数据和处理后的第二输入数据。
例如，第一输入数据为矩阵数据块
Figure BDA0002562151070000117
第二输入数据块同样也为矩阵数据块
Figure BDA0002562151070000118
经过第一映射电路处理后可获得该第一输入数据关联的第一标识数据块
Figure BDA0002562151070000119
以及处理后的第一输入数据块
Figure BDA00025621510700001110
相应地获得该第二输入数据关联的第二标识数据块
Figure BDA0002562151070000121
处理后的第二输入数据块为
Figure BDA0002562151070000122
相应地，为提高数据传输速率，主处理电路中仅可将处理后的第一输入数据块中的目标数据1,0.06和0.5、以及该第一输入数据块关联的第一标识数据块发送给基础处理电路；同时，将处理后的第二输入数据块中的目标数据1,1.1,0.6,0.3和0.5，以及该第二输入数据块关联的第二标识数据块发送给基础处理电路。
相应地，基础处理电路在接收到上述数据后，可通过第二映射电路对上述第一标识数据块和第二标识数据块进行逐元素与操作，得到连接标识数据块
Figure BDA0002562151070000123
相应地，第二映射电路利用该连接标识数据块分别对所述处理后的第一输入数据块和处理后的第二输入数据块分别进行处理，从而获得处理后的第一输入数据块为
Figure BDA0002562151070000124
处理后的第二输入数据块为
Figure BDA0002562151070000125
其中，在基础处理电路中可根据第一标识数据块以及接收的第一数据块中的目标数据，确定出该目标数据对应所在的第一数据块(即经过第一映射电路处理后的第一数据块)；相应地，根据第二标识数据块以及接收的第二数据块中的目标数据，确定出该目标数据对应所在的第二数据块(即经过第一映射电路处理后的第二数据块)；然后，在第二映射电路获知连接标识数据块后，利用该连接标识数据块分别与确定的第一数据块和确定的第二数据块进行逐元素与操作，以获得经由第二映射电路处理后的第一数据块和处理后的第二数据块。
第三实施例中：
所述主处理电路中并不会设置第一映射电路，但所述主处理电路可将第三输入数据以及预存的所述第三输入数据关联的第三标识数据发送至与其连接的基础处理电路中。该基础处理电路中设置有第二映射电路。下面阐述第二映射电路涉及的数据压缩处理的具体实施例。
应理解的，所述第三输入数据包括但不限于基础数据块、部分广播数据块、广播数据块等。同样地，在神经网络处理器中，该第三输入数据也可为至少一个权值，和/或至少一个输入神经，本申请不做限定。
在第二映射电路中，所述第二映射电路可根据接收的第三输入数据关联的第三标识数据对所述第三输入数据进行处理，从而获得处理后的第三输入数据，以便后续对处理后的第三输入数据执行相关运算操作，如内积运算等。
例如，第二映射电路接收的第三输入数据为矩阵数据块
Figure BDA0002562151070000126
相应地预存的该第三输入数据关联的第三标识数据块(也成mask矩阵数据块)为
Figure BDA0002562151070000127
进一步地，第二映射电路根据第三标识数据块对第三输入数据块进行处理得到处理后的第三输入数据块具体为
Figure BDA0002562151070000128
此外，本发明实施例中提到的输入神经元和输出神经元并非是指整个神经网络的输入层中的神经元和输出层中的神经元，而是对于神经网络中任意相邻的两层神经元，处于网络前馈运算下层中的神经元即为输入神经元，处于网络前馈运算上层中的神经元即为输出神经元。以卷积神经网络为例，假设一个卷积神经网络有L层，K＝1,2,3…L-1，对于第K层和第K+1层来说，第K层被称为输入层，该层中的神经元为上述输入神经元，第K+1层被称为输入层，该层中的神经元为上述输出神经元，即除了顶层之外，每一层都可以作为输入层，其下一层为对应的输出层。
第四实施中：
所述主处理电路中并不设置映射电路，在所述基础处理电路中设置有第一映射电路和第二映射电路。关于所述第一映射电路和第二映射电路的数据处理具体可参见前述第一实施例至第三实施例所述，这里不再赘述。
可选的，还存在第五实施例。第五实施例中，所述基础处理电路中并不设置映射电路，将所述第一映射电路和第二映射电路均设置在主处理电路中，关于所述第一映射电路和第二映射电路的数据处理具体可参见前述第一实施例至第三实施例所述，这里不再赘述。即是，主处理电路中完成数据的压缩处理，将处理后的输入数据发送给基础处理电路，以便基础处理电路利用处理后的输入数据(具体可为处理后的神经元和处理后权值)执行相应地的运算操作。
下面阐述本申请涉及映射电路的具体结构示意图。如图5a和5b示出两种可能的映射电路。其中，如图5a所示的映射电路包括比较器和选择器。关于所述比较器和选择器的数量本申请不做限定。如图5a示出一个比较器和两个选择器，其中，所述比较器用于判定输入数据是否满足预设条件。该预设条件可为用户侧或设备侧自定义设置的，例如本申请上述的所述输入数据的绝对值大于或等于预设阈值。如果满足预设条件，则比较器可确定允许输出该输入数据，该输入数据对应关联的标识数据为1；否则可确定不输出该输入数据，或者默认该输入数据为0。相应地，此时该输入数据对应关联的标识数据为0。也即是，经过该比较器后，可获知输入数据关联的标识数据。
进一步地，所述比较器对输入数据进行预设条件的判定后，可将获得的标识数据输入至选择器中，以便选择器利用该标识数据来决定是否输出相应地的输入数据，即获得处理后的输入数据。
如图5a，以所述输入数据为矩阵数据块为例，经过比较器可对该矩阵数据块中的每个数据进行预设条件的判定，从而可获得该矩阵数据块关联的标识数据块(mask矩阵)。进一步地，在第一选择器中可利用该标识数据块对所述矩阵数据块进行筛选，将所述矩阵数据块中绝对值大于或等于预设阈值(即满足预设条件)的数据进行保留，其余数据进行删除，以输出处理后的矩阵数据块。可选的，在第二选择器中还可利用该标识数据块对其他输入数据(例如第二矩阵数据块)进行处理，例如进行逐元素与操作，以将该第二矩阵数据块中绝对值大于或等于预设阈值的数据进行保留，以输出处理后的第二矩阵数据块。
应理解的，对应于上述第一和第二实施例中，所述第一映射电路的具体结构可包括至少一个比较器和至少一个选择器，例如上例中图5a中的比较器和第一选择器；所述第二映射电路的具体结果可包括一个或多个选择器，例如上例中图5a的第二选择器。
如图5b，示出另一种映射电路的结构示意图。如图5b，所述映射电路包括选择器，所述选择器的数量不做限定，可为一个，也可为多个。具体的，所述选择器用于根据输入的输入数据所关联的标识数据来对输入的所述输入数据进行选择，以将所述输入数据中绝对值大于或等于预设阈值的数据进行输出，其余数据进行删除/不输出，从而获得处理后的输入数据。
以所述输入数据为矩阵数据块为例，向所述映射电路输入该矩阵数据块以及该矩阵数据块关联的标识数据块，选择器可根据该标识数据块对所述矩阵数据块进行选择，将其绝对值大于或等于0的数据进行输出，其余数据不予输出，从而输出处理后的矩阵数据块。
应理解的，如图5b所示的结构可应用于上述第三实施例中的第二映射电路，即是上述第三实施例中的第二映射电路的具体结果可包括至少一个选择器。同理，对于主处理电路和基础处理电路中设计的第一映射电路和第二映射电路可按照如图5a和图5b所示的功能部件进行交叉组合或部件拆分，本申请不做限定。
下面提供一种采用如图1a所示神经网络的正向运算，神经网的装置实现计算的方法，该计算的方法具体可以为神经网络的计算方式，例如络的训练，在实际应用中，正向运算依据不同的输入数据可以执行矩阵乘矩阵、卷积运算、激活运算、变换运算等等运算，上述运算均可以采用如图1a所示的装置实现。
主处理电路的第一映射电路先对数据进行压缩处理然后由控制电路传输给基础处理电路运算，例如，主处理电路的第一映射电路可以对数据进行压缩处理后再传输给基础处理电路，其优点是可以减少传输数据的数据量，减少传输的总比特数量，基础处理电路执行数据运算的效率也更高，功耗更低。
主处理电路将待计算的数据传输到全部或者一部分基础处理电路上；以矩阵乘以向量计算为例，主处理电路的控制电路可以将矩阵数据拆分每列作为一个基础数据，例如m*n矩阵，可以拆分成n个m行的向量，主处理电路的控制电路将拆分后的n个m行的向量分发给多个基础处理电路。对于向量，主处理电路的控制电路可以将向量整体广播给每个基础处理电路。如果m的值比较大，那么控制电路可以先将m*n矩阵拆分成x*n个向量，以x＝2为例，具体的可以拆分成，2n个向量，每个向量包含m/2行，即将n个m行的向量中每个向量均分成2个向量，以第一行为例，如n个m行的向量的第一个向量为1000行，那么均分成2个向量可以为，将前500行组成第一向量，将后500行组成第二向量，控制电路通过2个广播将2个向量广播给多个基础处理电路。
所述数据传输的方式可以是广播或者分发，或者其他任何可能的传输方式；
基础处理电路接收到数据后，先通过第二映射电路对数据进行处理，再执行运算，得到运算结果；
基础处理电路将运算结果传输回主处理电路；
所述运算结果可以是中间运算结果，也可以是最终运算结果。
使用如图1a所示装置可完成张量乘张量的运算，所述张量和前文所述的数据块相同，其可为矩阵、向量、三维数据块、四位数据块以及高维数据块中的任一项或多项的组合；下面如图2和2b分别示出矩阵乘向量和矩阵乘矩阵运算的具体实现方法。
使用如图1a所示装置完成矩阵乘向量的运算；(矩阵乘向量可以是矩阵中的每一行分别与向量进行内积运算，并将这些结果按对应行的顺序摆放成一个向量。)
下面描述计算尺寸是M行L列的矩阵S和长度是L的向量P的乘法的运算，如下图2a所示，(矩阵S中的每一行与向量P长度相同，他们中的数据按位置一一对应)所述神经网络计算装置拥有K个基础处理电路：
参阅图2，图2提供了一种矩阵乘向量的实现方法，具体可以包括：
步骤S201、主处理电路的第一映射电路将对输入矩阵S中的每一行数据进行压缩处理，对应得到压缩处理后的矩阵S以及该输入矩阵S关联的第一标识矩阵(mask矩阵)，主处理电路的控制电路将压缩处理后矩阵S中的数据以及第一标识矩阵分发到K个基础处理电路中的某一个上，基础处理电路将接收到的分发数据保存在基础处理电路的片上缓存和/或寄存器中；
具体的，第一映射电路对输入矩阵S进行压缩处理得到压缩处理后的矩阵S。例如，将输入矩阵S和矩阵P中数据为指定数值(如0)和/或绝对值小于或等于预设阈值(如0.1)所对应的数据剔除，具体实现时可根据矩阵S和矩阵P各自对应的mask矩阵来剔除，例如剔除mask矩阵中数据为0时对应的相同位置上矩阵S/P中的数据，具体可参见前述关于数据压缩处理实施例中的相关阐述，这里不再赘述。应理解的，这里的矩阵S和矩阵P也可对应理解为前述实施例中的输入神经元(也可称为输入神经原矩阵)和权值(也可称为权值矩阵)等。
所述主处理电路在向所述基础处理电路发送数据时，具体将所述压缩处理后的矩阵S中绝对值大于预设阈值的数据或者非0数据，发送给基础处理电路，以降低数据传输量。
在一种可选方案中，如果矩阵S的行数M<＝K则，主处理电路的控制电路给K个基础处理电路分别分发S矩阵的一行以及第一mask矩阵中与之对应关联的一行；例如矩阵S为2*2，控制电路向第一个基础处理电路发矩阵S中第一行的数据，同时需将该矩阵S关联的mask矩阵中的第一行的mask数据发送给第一个基础处理电路。
在一种可选方案中，如果矩阵S的行数M>K，则主处理电路的控制电路给每个基础处理电路分别分发S矩阵中一行或多行的数据以及第一mask矩阵中对应一行或几行的标识数据。
分发到第i个基础处理电路的S中的行的集合为Ai，共有Mi个行，如图2c表示第i个基础处理电路上将要执行的计算。相应地，分发到第i个基础处理电路中与该集合Ai对应关联的标识矩阵为Bi，大于或等于Mi行。
在一种可选方案中，在每个基础处理电路中，例如第i个基础处理电路中，可以将接收到的分发数据以及该分发数据关联的标识数据，例如矩阵Ai以及该Ai关联的标识mask矩阵Bi保存在第i个基础处理电路的寄存器和/或片上缓存中；优点是减少了之后的分发数据的数据传输量，提高了计算效率，降低了功耗。
步骤S202、主处理电路的第一映射电路将输入向量P进行压缩处理得到压缩处理后的向量P以及该输入向量P关联的第二标识矩阵(mask向量)，主处理电路的控制电路将压缩处理后的向量P以及第二标识矩阵中的各部分以广播的方式传输给K个基础处理电路；关于输入向量P的压缩处理以及压缩处理后的向量P的数据发送具体可参见S201步骤的相关阐述，这里不再赘述。
在一种可选方案中，主处理电路的控制电路可以将向量P(具体为压缩处理后的向量P)以及第二标识矩阵中各部分只广播一次到各个基础处理电路的寄存器或者片上缓存中，第i个基础处理电路对这一次得到的向量P的数据进行充分地复用，完成对应与矩阵Ai中每一行的内积运算。优点是，减少从主处理电路到基础处理电路的向量P的重复传输的数据传输量，提高执行效率，降低传输功耗。
在一种可选方案中，主处理电路的控制电路可以将向量P以及第二标识矩阵中各部分多次广播到各个基础处理电路的寄存器或者片上缓存中，第i个基础处理电路对每次得到的向量P的数据不进行复用，分次完成对应于矩阵Ai中的每一行的内积运算；优点是，减少基础处理电路内部的单次传输的向量P的数据传输量，并可以降低基础处理电路缓存和/或寄存器的容量，提高执行效率，降低传输功耗，降低成本。
在一种可选方案中，主处理电路的控制电路可以将向量P以及第二标识矩阵中各部分多次广播到各个基础处理电路的寄存器或者片上缓存中，第i个基础处理电路对每次得到的向量P的数据进行部分复用，完成对应于矩阵Ai中的每一行的内积运算；优点是，减少从主处理电路到基础处理电路的数据传输量，也减少基础处理电路内部的数据传输量，提高执行效率，降低传输功耗。
步骤S203、K个基础处理电路的内积运算器电路计算矩阵S和向量P的数据的内积，例如第i个基础处理电路，计算矩阵Ai的数据和向量P的数据的内积；
具体的，K个基础处理电路中的第二映射电路依据各自接收的第一标识矩阵中的数据和第二标识矩阵中的数据，获得关系标识矩阵；然后利用该关系标识矩阵计算向量P和矩阵S中的数据的内积运算。例如，第i个基础处理电路，利用矩阵Ai的标识矩阵Bi和向量P的第二标识矩阵，获得关系连接矩阵；然后利用关联连接矩阵分别对矩阵Ai和向量P进行处理，以获得处理后的矩阵Ai和处理后的向量P，如利用关联标识矩阵从矩阵Ai和向量P中选择出同一位置上非0的数据，后续再利用内积运算器电路计算非0数据间的内积。
步骤S204、K个基础处理电路的累加器电路将内积运算的结果进行累加得到累加结果，将累加结果传输回主处理电路。
在一种可选方案中，可以将每次基础处理电路执行内积运算得到的部分和(部分和即累加结果的一部分，例如累加结果为：F1*G1+F2*G2+F3*G3+F4*G4+F5*G5,那么部分和可以为：F1*G1+F2*G2+F3*G3的值)传输回主处理电路进行累加；优点是，减少了基础处理电路内部的运算量，提高基础处理电路的运算效率。
在一种可选方案中，也可以将每次基础处理电路执行的内积运算得到的部分和保存在基础处理电路的寄存器和/或片上缓存中，累加结束之后传输回主处理电路；优点是，减少了基础处理电路和主处理电路之间的数据传输量，提高了运算效率，降低了数据传输功耗。
在一种可选方案中，也可以将每次基础处理电路执行的内积运算得到的部分和在部分情况下保存在基础处理电路的寄存器和/或片上缓存中进行累加，部分情况下传输到主处理电路进行累加，累加结束之后传输回主处理电路；优点是，减少了基础处理电路和主处理电路之间的数据传输量，提高了运算效率，降低了数据传输功耗，减少了基础处理电路内部的运算量，提高基础处理电路的运算效率。
参阅图2b，使用如图1a所示的装置完成矩阵乘矩阵的运算；
下面描述计算尺寸是M行L列的矩阵S和尺寸是L行N列的矩阵P的乘法的运算，(矩阵S中的每一行与矩阵P的每一列长度相同，如图2d所示)所述神经网络计算装置拥有K个基础处理电路：
步骤S201b、主处理电路的控制电路将矩阵S中的每一行数据以及第一标识矩阵中对应关联的标识数据分发到K个基础处理电路中的某一个上，基础处理电路将接收到的数据保存在片上缓存和/或寄存器中；该第一标识矩阵为矩阵S的标识矩阵，其可预先存储的，也可通过第一映射电路处理获得，本申请不做限定。
在一种可选方案中，矩阵S为经过压缩处理后得到的矩阵。具体的，主处理电路的第一映射电路将对输入矩阵S进行压缩处理，以对应获得压缩处理后的矩阵S和该输入矩阵S关联的第一标识矩阵。关于数据的压缩处理可参见前述实施例中的相关阐述，这里不再赘述。
在一种可选方案中，如果S的行数M<＝K则，主处理电路的控制电路给M个基础处理电路分别分发S矩阵的一行以及第一mask矩阵中与之对应关联的一行；
在一种可选方案中，如果S的行数M>K，主处理电路的控制电路给每个基础处理电路分别分发S矩阵中一行或多行的数据以及第一mask矩阵中对应一行或几行的标识数据。
S中有Mi行分发到第i个基础处理电路，这Mi行的集合称为Ai，如图2e表示第i个基础处理电路上将要执行的计算。相应地，分发到第i个基础处理电路中与该集合Ai对应关联的标识矩阵为Bi，Bi的行数大于或等于Mi行。
在一种可选方案中，在每个基础处理电路中，例如第i个基础处理电路中：接收的由主处理电路分发的矩阵Ai以及该矩阵Ai关联的标识矩阵，将矩阵Ai以及关联的标识矩阵保存在第i个基础处理电路寄存器和/或片上缓存中；优点是减少了之后的数据传输量，提高了计算效率，降低了功耗。
步骤S202b、主处理电路的控制电路将矩阵P中各部分以及第二标识矩阵中对应关联的标识数据以广播的方式传输给各个基础处理电路；该第二标识数据为矩阵P的标识矩阵，其可预先存储的，也可通过第一映射电路处理获得。
在一种可选方案中，矩阵P为经过压缩处理后得到的矩阵。具体的，主处理电路的第一映射电路将对输入矩阵P进行压缩处理，以对应获得压缩处理后的矩阵P和该输入矩阵P关联的第二标识矩阵。关于数据的压缩处理可参见前述实施例中的相关阐述，这里不再赘述。
在一种可选方案中，可以将矩阵P中的各部分以及在第二标识矩阵中对应关联的标识数据只广播一次到各个基础处理电路的寄存器或者片上缓存中，第i个基础处理电路对这一次得到的矩阵P的数据进行充分地复用，完成对应与矩阵Ai中每一行的内积运算；本实施例中的复用具体可以为基础处理电路在计算中重复使用，例如矩阵P的数据的复用，可以是对矩阵P的数据在多次使用。
在一种可选方案中，主处理电路的控制电路可以将矩阵P中的各部分以及在第二标识矩阵中对应关联的标识数据多次广播到各个基础处理电路的寄存器或者片上缓存中，第i个基础处理电路对每次得到的矩阵P的数据不进行复用，分次完成对应于矩阵Ai中的每一行的内积运算；
在一种可选方案中，主处理电路的控制电路可以将矩阵P中各部分以及在第二标识矩阵中对应关联的标识数据多次广播到各个基础处理电路的寄存器或者片上缓存中，第i个基础处理电路对每次得到的矩阵P的数据进行部分复用，完成对应于矩阵Ai中的每一行的内积运算；
在一种可选方案中，每个基础处理电路的内积运算器计算矩阵S和矩阵P的数据的内积，例如第i个基础处理电路，计算矩阵Ai的数据和矩阵P的数据的内积；
具体的，每个基础处理电路可根据接收的第一标识矩阵的数据和第二标识矩阵的数据获得关系标识矩阵，然后利用该关系标识矩阵对矩阵S和矩阵P的数据进行处理，再对处理后的矩阵S和处理后的矩阵P的数据执行内积运算。例如，第i个基础处理电路，利用矩阵Ai对应关联的标识矩阵Bi和矩阵P关联的第二标识矩阵，获得关系连接矩阵；然后利用关联连接矩阵分别对矩阵Ai和矩阵P进行处理，以获得处理后的矩阵Ai和处理后的矩阵P，如利用关联标识矩阵从矩阵Ai和矩阵P中选择出同一位置上非0的数据，再利用内积运算器电路计算处理后的矩阵Ai和处理后的矩阵P的数据的内积。
步骤S203b、每个基础处理电路的累加器电路将内积运算的结果进行累加并传输回主处理电路。
在一种可选方案中，基础处理电路可以将每次执行内积运算得到的部分和传输回主处理电路进行累加；
在一种可选方案中，也可以将每次基础处理电路执行的内积运算得到的部分和保存在基础处理电路的寄存器和/或片上缓存中，累加结束之后传输回主处理电路；
在一种可选方案中，也可以将每次基础处理电路执行的内积运算得到的部分和在部分情况下保存在基础处理电路的寄存器和/或片上缓存中进行累加，部分情况下传输到主处理电路进行累加，累加结束之后传输回主处理电路。
参阅图3a，使用如图1a所示的装置完成全连接运算：
如果全连接层的输入数据是一个向量(即神经网络的输入是单个样本的情况)，则以全连接层的权值矩阵作为矩阵S，输入向量作为向量P，按照所述装置的使用方法一执行如图2所示的矩阵乘向量的运算；
如果全连接层的输入数据是一个矩阵(即神经网络的输入是多个样本作为batch的情况)，则以全连接层的权值矩阵作为矩阵S，输入向量作为矩阵P，或者以全连接层的权值矩阵作为矩阵P，输入向量作为矩阵S，按照所述装置的使用如图2c所示的矩阵乘矩阵的执行运算；
参阅图3b，使用如图1a所示的装置完成卷积运算：
对于一个卷积层，记其卷积核的数量为M；
步骤S301、主处理电路的控制电路将卷积层权值中的每一个卷积核的权值以及第一标识矩阵中对应关联的标识数据分发到K个基础处理电路中的某一个上，保存在基础处理电路的片上缓存和/或寄存器中；该第一标识矩阵为卷积层权值的标识矩阵，可为预先存储的，也可为通过主处理电路中的第一映射电路处理获得。
在一种可选方案中，所述卷积层权值中的每一个卷积核的权值是经过压缩处理后得到的权值。具体的，主处理电路的第一映射电路对卷积层权值中的每一个卷积核的权值进行压缩处理，以对应得到压缩处理后的所述卷积层权值中的每一个卷积核的权值以及该卷积层权值所关联的第一标识矩阵。关于数据的压缩处理可参见前述实施例中的相关阐述，这里不再赘述。
在一种可选方案中，如果卷积核的个数M<＝K则，主处理电路的控制电路给M个基础处理电路分别分发一个卷积核的权值以及该卷积核对应在第一标识矩阵中关联的标识数据；
在一种可选方案中，如果卷积核的个数M>K，主处理电路的控制电路给每个基础处理电路分别分发一个或多个卷积核的权值以及该卷积核对应在第一标识矩阵中关联的一行或多行标识数据。
共有Mi个卷积核分发到第i个基础处理电路，这些卷积核权值的集合称为Ai。相应地，该Mi个卷积核各自对应在第一标识矩阵中关联的标识数据也同样分发到第i个基础处理电路中，这些标识矩阵中的标识数据的集合可称为Bi，即Ai对应关联的标识矩阵Bi。
在一种可选方案中，在每个基础处理电路中，例如第i个基础处理电路中：将收到的由主处理电路分发的卷积核权值Ai以及该Ai对应关联的标识矩阵Bi保存在其寄存器和/或片上缓存中；
步骤S302、主处理电路的控制电路将输入数据P中各部分以及第二标识矩阵中对应关联的标识数据以广播的方式传输给各个基础处理电路；
在一种可选方案中，所述输入数据P是经过压缩处理后得到的输入神经元。具体的，主处理电路的第一映射电路对输入数据P进行压缩处理，以对应得到压缩处理后的输入数据P以及该输入数据P对应关联的标识数据，然后再利用控制电路将压缩处理后的输入数据P中的各部分以及对应关联的标识数据以广播的方式传输给各个基础处理电路。关于数据的压缩处理可参见前述实施例中的相关阐述，这里不再赘述。
在一种可选方案中，主处理电路的控制电路可以将输入数据P中各部分以及对应关联的标识数据只广播一次到各个基础处理电路的寄存器或者片上缓存中，第i个基础处理电路对这一次得到的输入数据P的数据进行充分地复用，完成对应与Ai中每一个卷积核的内积运算；
在一种可选方案中，主处理电路的控制电路可以将输入数据P中各部分以及各部分各自对应关联的标识数据多次广播到各个基础处理电路的寄存器或者片上缓存中，第i个基础处理电路对每次得到的输入数据P的数据不进行复用，分次完成对应于Ai中的每一个卷积核的内积运算；
步骤S303、每个基础处理电路计算卷积核和输入数据P的数据内积，例如第i个基础处理电路，计算Ai的每一个卷积核和输入数据P的数据的内积；
具体的，每个基础处理电路中的第二映射电路依据接收的卷积核关联的标识数据(即第一标识矩阵中的标识数据)和输入数据P关联的标识数据(即第二标识矩阵中的标识数据)获得关系连接矩阵，然后利用该关系连接矩阵对接收的卷积核和输入数据进行处理，再对处理后的卷积核和处理后的输入数据执行内积运算。例如，第i个基础处理电路，利用卷积核Ai关联的标识矩阵Bi和输入数据P关联的第二标识矩阵(即标识数据)，获得关系连接矩阵；然后利用关联连接矩阵分别对矩阵Ai和输入数据P进行处理，以获得处理后的矩阵Ai和处理后的输入数据P，如利用关联标识矩阵从矩阵Ai和输入数据P中选择出同一位置上非0的数据，后续再利用内积运算器电路计算非0数据间的内积。
步骤S304、每个基础处理电路的累加器电路将内积运算的结果进行累加并传输回主处理电路：
在一种可选方案中，可基础处理电路以将每次执行内积运算得到的部分和传输回主处理电路进行累加；
在一种可选方案中，基础处理电路也可以将每次执行的内积运算得到的部分和保存在基础处理电路的寄存器和/或片上缓存中，累加结束之后传输回主处理电路；
在一种可选方案中，基础处理电路也可以将每次执行的内积运算得到的部分和在部分情况下保存在基础处理电路的寄存器和/或片上缓存中进行累加，部分情况下传输到主处理电路进行累加，累加结束之后传输回主处理电路；
本发明还提供一种芯片，该芯片包含计算装置，该计算装置包括：
包括一个主处理电路，主处理电路中所涉及到的数据可以是压缩处理后的数据，在一种可选实施例中，所述压缩处理后的数据包括至少一个输入神经元或至少一个权值，所述至少一个神经元中的每个神经元大于第一阈值或者，所述至少一个权值中的每个权值大于第二阈值。所述第一阈值和所述第二阈值为用户侧自定义设置的，它们可以相同，也可不同。
在一种可选方案中，主处理电路包括第一映射电路；
在一种可选方案中，主处理电路包括执行数据压缩处理的运算单元，如向量运算单元等；
具体地，包含接收输入数据的数据输入接口；
在一种可选方案中，所述接收的数据来源可以是：所述神经网络运算电路装置的外部或所述神经网络运算电路装置的部分或全部基础处理电路；
在一种可选方案中，所述数据输入接口可以有多个；具体地，可以包含输出数据的数据输出接口；
在一种可选方案中，所述输出的数据的去向可以是：所述神经网络运算装置的外部或所述神经网络运算电路装置的部分或全部基础处理电路；
在一种可选方案中，所述数据输出接口可以有多个；
在一种可选方案中，所述主处理电路包括片上缓存和/或寄存器；
在一种可选方案中，所述主处理电路中包含运算单元，可以执行数据运算；
在一种可选方案中，所述主处理电路中包含算术运算单元；
在一种可选方案中，所述主处理电路中包含向量运算单元，可以同时对一组数据执行运算；具体地，所述算术运算和/或向量运算可以是任意类型的运算，包括但不限于：两个数相加减乘除，一个数与常数加减乘除，对一个数执行指数运算，幂次运算，对数运算，以及各种非线性运算，对两个数执行比较运算，逻辑运算等。两个向量相加减乘除，一个向量中的每一个元素与常数加减乘除，对向量中的每一个元素执行指数运算，幂次运算，对数运算，以及各种非线性运算等，对一个向量中的每两个对应的元素执行比较运算，逻辑运算等。
在一种可选方案中，所述主处理电路包括数据重排列单元，用于按照一定的顺序向基础处理电路传输数据，或者按照一定的顺序原地重新排列数据；
在一种可选方案中，所述数据排列的顺序包括：对一个多维数据块进行维度顺序的变换；所述数据排列的顺序还可以包括：对一个数据块进行分块以发送到不同的基础处理电路。
该计算装置还包括多个基础处理电路：每一个基础处理电路用于计算两个向量的内积，计算的方法是，基础处理电路收到的两组数，将这两组数中的元素对应相乘，并且将相乘的结果累加起来；内积的结果传输出去，这里传输出去根据基础处理电路的位置，有可能传输给其他基础处理电路，也可以直接传输给主处理电路。
基础处理电路中所涉及到的数据可以是压缩处理后的数据，在一种可选实施例中，所述压缩处理后的数据包括至少一个输入神经元或至少一个权值，所述至少一个神经元中的每个神经元大于第一阈值或者，所述至少一个权值中的每个权值大于第二阈值。所述第一阈值和所述第二阈值为用户侧自定义设置的，它们可以相同，也可不同。
在一种可选方案中，基础处理电路包括第二映射电路；
在一种可选方案中，基础处理电路包括执行数据压缩处理的向量运算单元；
具体地，包括由片上缓存和/或寄存器构成的存储单元；
具体地，包括一个或多个接收数据的数据输入接口；
在一种可选方案中，包括两个数据输入接口，每次从两个数据输入接口处可以分别获得一个或多个数据；
在一种可选方案中，基础处理电路可以将从数据输入接口接收到输入数据后保存在寄存器和/或片上缓存中；
上述数据输入接口接收数据的来源可以是：其他基础处理电路和/或主处理电路。
所述神经网络运算电路装置的主处理电路；
所述神经网络运算电路装置的其他基础处理电路(所述神经网络运算电路装置拥有多个基础处理电路)；
具体地，包括一个或多个传输输出数据的数据输出接口；
在一种可选方案中，可以将一个或多个数据从数据输出接口传输出去；
具体地，通过数据输出接口传输出去的数据可以是：从数据输入接口接收到的数据、保存在片上缓存和/或寄存器中的数据、乘法器运算结果、累加器运算结果或内积运算器运算结果中的一种或任意组合。
在一种可选方案中，包含三个数据输出接口，其中的两个分别对应于两个数据输入接口，每一层出上一层从数据输入接口接收到的数据，第三个数据输出接口负责输出运算结果；
具体地，所述数据输出接口传输数据的去向可以是：上文数据来源和此处的数据去向决定了基础处理电路在装置中的连接关系。
所述神经网络运算电路装置的主处理电路；
所述神经网络运算电路装置的其他基础处理电路，所述神经网络运算电路装置拥有多个基础处理电路；
具体地，包括算术运算电路：该算术运算电路具体可以为：一个或多个乘法器电路、一个或多个累加器电路、一个或多个执行两组数内积运算的电路中的一个或任意组合。
在一种可选方案中，可以执行两个数的乘法运算，其结果可以保存在片上缓存和/或寄存器上，也可以直接累加到寄存器和/或片上缓存中；
在一种可选方案中，可以执行两组数据的内积运算，其结果可以保存在片上缓存和/或寄存器中，也可以直接累加到寄存器和/或片上缓存中；
在一种可选方案中，可以执行数据的累加运算，将数据累加到片上缓存和或寄存器中；
具体地，累加器电路被累加的数据，可以是：从数据输入接口接收到的数据、保存在片上缓存和/或寄存器中的数据、乘法器运算结果、累加器运算结果、内积运算器运算结果中的一个或任意组合。
需要说明的是，上述对基础处理电路的描述中所用到的“数据输入接口”和“数据输出接口”是指每一个基础处理电路的数据输入与输出接口，而不是整个装置的数据输入与输出接口。
在一个实施例中，本发明公开了一种神经网络运算装置，其包括用于执行如上所述方法实施例中提供的所有或部分实施方式所对应的功能单元。
在一个实施例里，本发明公开了一种芯片，用于执行如上所述方法实施例中提供的所有或部分实施方式。
在一个实施例里，本发明公开了一种电子装置，其包括用于执行如上所述方法实施例中的所有或部分实施方式的功能单元。
电子装置包括数据处理装置、机器人、电脑、打印机、扫描仪、平板电脑、智能终端、手机、行车记录仪、导航仪、传感器、摄像头、服务器、相机、摄像机、投影仪、手表、耳机、移动存储、可穿戴设备、交通工具、家用电器、和/或医疗设备。
所述交通工具包括飞机、轮船和/或车辆；所述家用电器包括电视、空调、微波炉、冰箱、电饭煲、加湿器、洗衣机、电灯、燃气灶、油烟机；所述医疗设备包括核磁共振仪、B超仪和/或心电图仪。
以上所述的具体实施例，对本披露的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本披露的具体实施例而已，并不用于限制本披露，凡在本披露的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本披露的保护范围之内。

Claims (19)

1.一种集成电路芯片装置，其特征在于，所述集成电路芯片装置包括：主处理电路以及多个基础处理电路；所述主处理电路包括第一映射电路，所述多个基础处理电路中至少一个电路包括第二映射电路，所述第一映射电路以及所述第二映射电路均用于执行神经网络运算中的各个数据的压缩处理；
所述主处理电路，用于执行神经网络运算中的各个连续的运算以及与所述基础处理电路传输数据；
所述多个基础处理电路，用于依据所述主处理电路传输的数据以并行方式执行神经网络中的运算，并将运算结果传输给所述主处理电路。
2.根据权利要求1所述的集成电路芯片装置，其特征在于，所述基础处理电路，具体用于对基本数据块与广播数据块执行内积处理得到内积结果，将所述内积处理结果累加得到运算结果，将所述运算结果发送至所述主处理电路；
所述主处理电路，用于在如所述运算结果为内积处理的结果时，对所述运算结果累加后得到累加结果，将该累加结果排列得到所述待计算的数据块以及运算指令所对应的指令结果。
3.根据权利要求1所述的集成电路芯片装置，其特征在于，
所述主处理电路，具体用于将处理后的广播数据块以及该广播数据块关联的标识数据块进行拆分得到多个部分广播数据块以及所述多个部分广播数据块各自关联的标识数据块；将所述多个部分广播数据块以及所述多个部分广播数据块各自关联的标识数据块通过一次或多次广播至所述基础处理电路；所述多个部分广播数据块组合形成所述处理后的广播数据块；
所述基础处理电路，具体用于启动所述第二映射电路依据所述部分广播数据块关联的标识数据块以及所述基本数据块关联的标识数据块得到连接标识数据块；根据所述连接标识数据块对所述部分广播数据块以及所述基本数据块进行处理得到处理后的广播数据块以及处理后的基本数据块；对所述处理后的广播数据块以及处理后的基本数据块执行内积运算；
或者，所述基础处理电路，具体用于启动所述第二映射电路依据所述部分广播数据块关联的标识数据块对所述基本数据块进行处理得到处理后的基本数据块，对所述处理后的基本数据以及所述部分广播数据块执行内积运算。
4.根据权利要求1所述的集成电路芯片装置，其特征在于，
所述基础处理电路，具体用于将部分广播数据块与基本数据块执行一次内积处理后得到内积处理结果，将所述内积处理结果累加得到部分运算结果，将所述部分运算结果发送至所述主处理电路；或者，
所述基础处理电路，具体用于复用n次该部分广播数据块执行该部分广播数据块与n个该基本数据块的内积运算得到n个部分处理结果，将n个部分处理结果分别累加后得到n个部分运算结果，将所述n个部分运算结果发送至主处理电路，所述n为大于等于2的整数。
5.根据权利要求1所述的集成电路芯片装置，其特征在于，所述集成电路芯片装置还包括：分支处理电路，所述分支处理电路设置在主处理电路与至少一个基础处理电路之间；
所述分支处理电路，用于在主处理电路与至少一个基础处理电路之间转发数据；
其中，所述分支处理电路包含多个分支处理电路，所述主处理电路与所述多个分支处理电路分别连接，每个分支处理电路与至少一个基础处理电路连接。
6.根据权利要求1-4任一项所述的集成电路芯片装置，其特征在于，
所述主处理电路，用于获取待计算的数据块以及运算指令，依据所述运算指令将所述待计算的数据块划分为分发数据块和广播数据块；启动所述第一映射电路对所述分发数据块和所述广播数据块进行处理得到处理后的分发数据块以及该分发数据块关联的标识数据块、处理后的广播数据块以及该广播数据块关联的标识数据块；将所述处理后分发数据块和该分发数据块关联的标识数据块进行拆分得到多个基本数据块以及所述多个基本数据块各自关联的标识数据块；将所述多个基本数据块以及所述多个基本数据块各自关联的标识数据块分发至与其连接的基础处理电路，将所述广播数据块以及该广播数据块关联的标识数据块广播至与其连接的基础处理电路；
所述基础处理电路，用于启动所述第二映射电路依据所述基本数据块关联的标识数据块以及所述广播数据块关联的标识数据块得到连接标识数据块；根据所述连接标识数据块对所述基本数据块以及所述广播数据块进行处理，对处理后的基本数据块以及处理后的广播数据块执行内积运算得到运算结果，将所述运算结果发送至所述主处理电路；
所述主处理电路，用于对所述运算结果处理得到所述待计算的数据块以及运算指令所对应的指令结果。
7.根据权利要求1-4任一项所述的集成电路芯片装置，其特征在于，
所述主处理电路，用于获取待计算的数据块以及运算指令，依据所述运算指令将所述待计算的数据块划分为分发数据块和广播数据块；启动所述第一映射电路对所述分发数据块进行处理得到处理后的分发数据块以及该分发数据块关联的标识数据块，或者启动所述第一映射电路根据预存所述分发数据块关联的标识数据块对所述分发数据块进行处理得到处理后的分发数据块；将所述处理后的分发数据块以及该分发数据块关联的标识数据块进行拆分得到多个基本数据块以及所述多个基本数据块各自关联的标识数据块；将所述多个基本数据块以及所述多个基本数据块各自关联的标识数据块分发至与其连接的基础处理电路；将所述广播数据块广播至与其连接的基础处理电路；
所述基础处理电路，用于启动所述第二映射电路依据所述基本数据块关联的标识数据块对所述广播数据块进行处理，对处理后的广播数据块以及所述基本数据块执行内积运算得到运算结果，将所述运算结果发送至所述主处理电路；
所述主处理电路，用于对所述运算结果处理得到所述待计算的数据块以及运算指令的指令结果。
8.根据权利要求1-4任一项所述的集成电路芯片装置，其特征在于，
所述主处理电路，用于获取待计算的数据块以及运算指令，依据所述运算指令将所述待计算的数据块划分为分发数据块和广播数据块；启动所述第一映射电路对所述广播数据块进行处理得到处理后的广播数据块以及该广播数据块关联的标识数据块，或者启动所述第一映射电路依据预存的所述广播数据块关联的标识数据块对所述广播数据块进行处理得到处理后的广播数据块；将所述分发数据块进行拆分得到多个基本数据块；将所述多个基本数据分发至与其连接的基础处理电路；将所述处理后的广播数据块以及该广播数据块关联的标识数据块广播至与其连接的基础处理电路；
所述基础处理电路，用于启动所述第二映射电路依据所述广播数据块关联的标识数据块对所述基本数据块进行处理得到处理后的基本数据块；对所述处理后的基本数据块以及所述处理后的广播数据块执行内积运算得到运算结果，将所述运算结果发送至所述主处理电路；
所述主处理电路，用于对所述运算结果处理得到所述待计算的数据块以及运算指令所对应的指令结果。
9.根据权利要求6-8任一项所述的集成电路芯片装置，其特征在于，当所述标识数据块用直接索引表示时，所述标识数据块是由0和1组成的矩阵数据块，其中，0表示所述权值或者所述输入神经元的绝对值小于或等于第一阈值，1表示所述权值或者所述输入神经元的绝对值大于第一阈值；
所述待计算的数据块包括至少一个权值，和/或至少一个输入神经元。
10.一种神经网络运算方法，其特征在于，所述方法应用在集成电路芯片装置内，所述集成电路芯片装置包括：主处理电路以及多个基础处理电路，所述主处理电路包括第一映射电路，所述多个基础处理电路中至少一个电路包括第二映射电路，所述方法包括：
所述第一映射电路以及所述第二映射电路均执行神经网络运算中的各个数据的压缩处理；
所述主处理电路执行神经网络运算中的各个连续的运算以及与所述基础处理电路传输数据；
所述多个基础处理电路依据所述主处理电路传输的数据以并行方式执行神经网络中的运算，并将运算结果传输给所述主处理电路。
11.根据权利要求10所述的方法，其特征在于，所述基础处理电路对基本数据块与广播数据块执行内积处理得到内积结果，将所述内积处理结果累加得到运算结果，将所述运算结果发送至所述主处理电路；
在如所述运算结果为内积处理的结果时，所述主处理电路对所述运算结果累加后得到累加结果，将该累加结果排列得到所述待计算的数据块以及运算指令所对应的指令结果。
12.根据权利要求10所述的方法，其特征在于，所述主处理电路将处理后的广播数据块以及该广播数据块关联的标识数据块进行拆分得到多个部分广播数据块以及所述多个部分广播数据块各自关联的标识数据块；将所述多个部分广播数据块以及所述多个部分广播数据块各自关联的标识数据块通过一次或多次广播至所述基础处理电路；所述多个部分广播数据块组合形成所述处理后的广播数据块；
所述基础处理电路启动所述第二映射电路依据所述部分广播数据块关联的标识数据块以及所述基本数据块关联的标识数据块得到连接标识数据块；根据所述连接标识数据块对所述部分广播数据块以及所述基本数据块进行处理得到处理后的广播数据块以及处理后的基本数据块；对所述处理后的广播数据块以及处理后的基本数据块执行内积运算；
或者，所述基础处理电路启动所述第二映射电路依据所述部分广播数据块关联的标识数据块对所述基本数据块进行处理得到处理后的基本数据块，对所述处理后的基本数据以及所述部分广播数据块执行内积运算。
13.根据权利要求10所述的方法，其特征在于，
所述基础处理电路将部分广播数据块与基本数据块执行一次内积处理后得到内积处理结果，将所述内积处理结果累加得到部分运算结果，将所述部分运算结果发送至所述主处理电路；或者，
所述基础处理电路复用n次该部分广播数据块执行该部分广播数据块与n个该基本数据块的内积运算得到n个部分处理结果，将n个部分处理结果分别累加后得到n个部分运算结果，将所述n个部分运算结果发送至主处理电路，所述n为大于等于2的整数。
14.根据权利要求10所述的方法，其特征在于，所述集成电路芯片装置还包括：分支处理电路，所述分支处理电路设置在主处理电路与至少一个基础处理电路之间；
所述分支处理电路在主处理电路与至少一个基础处理电路之间转发数据；
其中，所述分支处理电路包含多个分支处理电路，所述主处理电路与所述多个分支处理电路分别连接，每个分支处理电路与至少一个基础处理电路连接。
15.根据权利要求10-13所述的方法，其特征在于，所述主处理电路获取待计算的数据块以及运算指令，依据所述运算指令将所述待计算的数据块划分为分发数据块和广播数据块；启动所述第一映射电路对所述分发数据块和所述广播数据块进行处理得到处理后的分发数据块以及该分发数据块关联的标识数据块、处理后的广播数据块以及该广播数据块关联的标识数据块；将所述处理后分发数据块和该分发数据块关联的标识数据块进行拆分得到多个基本数据块以及所述多个基本数据块各自关联的标识数据块；将所述多个基本数据块以及所述多个基本数据块各自关联的标识数据块分发至与其连接的基础处理电路，将所述广播数据块以及该广播数据块关联的标识数据块广播至与其连接的基础处理电路；
所述基础处理电路启动所述第二映射电路依据所述基本数据块关联的标识数据块以及所述广播数据块关联的标识数据块得到连接标识数据块；根据所述连接标识数据块对所述基本数据块以及所述广播数据块进行处理，对处理后的基本数据块以及处理后的广播数据块执行内积运算得到运算结果，将所述运算结果发送至所述主处理电路；
所述主处理电路对所述运算结果处理得到所述待计算的数据块以及运算指令所对应的指令结果。
16.根据权利要求10-13任一项所述的方法，其特征在于，
所述主处理电路获取待计算的数据块以及运算指令，依据所述运算指令将所述待计算的数据块划分为分发数据块和广播数据块；启动所述第一映射电路对所述分发数据块进行处理得到处理后的分发数据块以及该分发数据块关联的标识数据块，或者启动所述第一映射电路根据预存所述分发数据块关联的标识数据块对所述分发数据块进行处理得到处理后的分发数据块；将所述处理后的分发数据块以及该分发数据块关联的标识数据块进行拆分得到多个基本数据块以及所述多个基本数据块各自关联的标识数据块；将所述多个基本数据块以及所述多个基本数据块各自关联的标识数据块分发至与其连接的基础处理电路；将所述广播数据块广播至与其连接的基础处理电路；
所述基础处理电路启动所述第二映射电路依据所述基本数据块关联的标识数据块对所述广播数据块进行处理，对处理后的广播数据块以及所述基本数据块执行内积运算得到运算结果，将所述运算结果发送至所述主处理电路；
所述主处理电路对所述运算结果处理得到所述待计算的数据块以及运算指令的指令结果。
17.根据权利要求10-13任一项所述的方法，其特征在于，
所述主处理电路获取待计算的数据块以及运算指令，依据所述运算指令将所述待计算的数据块划分为分发数据块和广播数据块；启动所述第一映射电路对所述广播数据块进行处理得到处理后的广播数据块以及该广播数据块关联的标识数据块，或者启动所述第一映射电路依据预存的所述广播数据块关联的标识数据块对所述广播数据块进行处理得到处理后的广播数据块；将所述分发数据块进行拆分得到多个基本数据块；将所述多个基本数据分发至与其连接的基础处理电路；将所述处理后的广播数据块以及该广播数据块关联的标识数据块广播至与其连接的基础处理电路；
所述基础处理电路启动所述第二映射电路依据所述广播数据块关联的标识数据块对所述基本数据块进行处理得到处理后的基本数据块；对所述处理后的基本数据块以及所述处理后的广播数据块执行内积运算得到运算结果，将所述运算结果发送至所述主处理电路；
所述主处理电路对所述运算结果处理得到所述待计算的数据块以及运算指令所对应的指令结果。
18.一种芯片，其特征在于，所述芯片集成如权利要求1-9任意一项所述装置。
19.一种智能设备，其特征在于，所述智能设备包括如权利要求18所述的芯片。
CN202010616633.0A 2018-02-27 2018-02-27 集成电路芯片装置及相关产品 Active CN111767996B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010616633.0A CN111767996B (zh) 2018-02-27 2018-02-27 集成电路芯片装置及相关产品

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010616633.0A CN111767996B (zh) 2018-02-27 2018-02-27 集成电路芯片装置及相关产品
CN201810164738.XA CN110197272B (zh) 2018-02-27 2018-02-27 集成电路芯片装置及相关产品

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201810164738.XA Division CN110197272B (zh) 2018-02-27 2018-02-27 集成电路芯片装置及相关产品

Publications (2)

Publication Number Publication Date
CN111767996A true CN111767996A (zh) 2020-10-13
CN111767996B CN111767996B (zh) 2024-03-05

Family

ID=67751003

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201810164738.XA Active CN110197272B (zh) 2018-02-27 2018-02-27 集成电路芯片装置及相关产品
CN202010616633.0A Active CN111767996B (zh) 2018-02-27 2018-02-27 集成电路芯片装置及相关产品

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201810164738.XA Active CN110197272B (zh) 2018-02-27 2018-02-27 集成电路芯片装置及相关产品

Country Status (2)

Country Link
CN (2) CN110197272B (zh)
TW (1) TWI786255B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110197272B (zh) * 2018-02-27 2020-08-25 上海寒武纪信息科技有限公司 集成电路芯片装置及相关产品

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0395150A1 (fr) * 1989-04-26 1990-10-31 Laboratoires D'electronique Philips Procédé et structure pour la compression de données
US20070019455A1 (en) * 2005-07-25 2007-01-25 Stmicroelectronics, Inc. Programmable priority encoder
US20110107291A1 (en) * 2009-11-05 2011-05-05 International Business Machines Corporation Design system and method that, during timing analysis, compensates for regional timing variations
CN105512723A (zh) * 2016-01-20 2016-04-20 南京艾溪信息科技有限公司 一种用于稀疏连接的人工神经网络计算装置和方法
CN106126481A (zh) * 2016-06-29 2016-11-16 华为技术有限公司 一种计算引擎和电子设备
CN106355248A (zh) * 2016-08-26 2017-01-25 深圳先进技术研究院 一种深度卷积神经网络训练方法及装置
CN106529670A (zh) * 2016-10-27 2017-03-22 中国科学院计算技术研究所 一种基于权重压缩的神经网络处理器、设计方法、芯片
US20170258389A1 (en) * 2016-03-14 2017-09-14 Newton Howard Neuroanalytic, neurodiagnostic, and therapeutic tools
CN107239829A (zh) * 2016-08-12 2017-10-10 北京深鉴科技有限公司 一种优化人工神经网络的方法
CN107316078A (zh) * 2016-04-27 2017-11-03 北京中科寒武纪科技有限公司 用于执行人工神经网络自学习运算的装置和方法
CN107480691A (zh) * 2017-07-04 2017-12-15 中国人民解放军总医院 一种基于超声数据降维的甲状腺结构特征提取方法及系统
CN107609641A (zh) * 2017-08-30 2018-01-19 清华大学 稀疏神经网络架构及其实现方法
CN107688853A (zh) * 2016-08-05 2018-02-13 北京中科寒武纪科技有限公司 一种用于执行神经网络运算的装置及方法
CN107729989A (zh) * 2017-07-20 2018-02-23 上海寒武纪信息科技有限公司 一种用于执行人工神经网络正向运算的装置及方法
CN109993291A (zh) * 2017-12-30 2019-07-09 北京中科寒武纪科技有限公司 集成电路芯片装置及相关产品
CN110197272A (zh) * 2018-02-27 2019-09-03 上海寒武纪信息科技有限公司 集成电路芯片装置及相关产品

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150206050A1 (en) * 2014-01-23 2015-07-23 Qualcomm Incorporated Configuring neural network for low spiking rate
US9904874B2 (en) * 2015-11-05 2018-02-27 Microsoft Technology Licensing, Llc Hardware-efficient deep convolutional neural networks
CN106447034B (zh) * 2016-10-27 2019-07-30 中国科学院计算技术研究所 一种基于数据压缩的神经网络处理器、设计方法、芯片
CN107239824A (zh) * 2016-12-05 2017-10-10 北京深鉴智能科技有限公司 用于实现稀疏卷积神经网络加速器的装置和方法

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0395150A1 (fr) * 1989-04-26 1990-10-31 Laboratoires D'electronique Philips Procédé et structure pour la compression de données
US20070019455A1 (en) * 2005-07-25 2007-01-25 Stmicroelectronics, Inc. Programmable priority encoder
US20110107291A1 (en) * 2009-11-05 2011-05-05 International Business Machines Corporation Design system and method that, during timing analysis, compensates for regional timing variations
CN105512723A (zh) * 2016-01-20 2016-04-20 南京艾溪信息科技有限公司 一种用于稀疏连接的人工神经网络计算装置和方法
US20170258389A1 (en) * 2016-03-14 2017-09-14 Newton Howard Neuroanalytic, neurodiagnostic, and therapeutic tools
CN107316078A (zh) * 2016-04-27 2017-11-03 北京中科寒武纪科技有限公司 用于执行人工神经网络自学习运算的装置和方法
CN106126481A (zh) * 2016-06-29 2016-11-16 华为技术有限公司 一种计算引擎和电子设备
CN107688853A (zh) * 2016-08-05 2018-02-13 北京中科寒武纪科技有限公司 一种用于执行神经网络运算的装置及方法
CN107239829A (zh) * 2016-08-12 2017-10-10 北京深鉴科技有限公司 一种优化人工神经网络的方法
CN106355248A (zh) * 2016-08-26 2017-01-25 深圳先进技术研究院 一种深度卷积神经网络训练方法及装置
CN106529670A (zh) * 2016-10-27 2017-03-22 中国科学院计算技术研究所 一种基于权重压缩的神经网络处理器、设计方法、芯片
CN107480691A (zh) * 2017-07-04 2017-12-15 中国人民解放军总医院 一种基于超声数据降维的甲状腺结构特征提取方法及系统
CN107729989A (zh) * 2017-07-20 2018-02-23 上海寒武纪信息科技有限公司 一种用于执行人工神经网络正向运算的装置及方法
CN107609641A (zh) * 2017-08-30 2018-01-19 清华大学 稀疏神经网络架构及其实现方法
CN109993291A (zh) * 2017-12-30 2019-07-09 北京中科寒武纪科技有限公司 集成电路芯片装置及相关产品
CN110197272A (zh) * 2018-02-27 2019-09-03 上海寒武纪信息科技有限公司 集成电路芯片装置及相关产品

Also Published As

Publication number Publication date
TWI786255B (zh) 2022-12-11
CN111767996B (zh) 2024-03-05
CN110197272A (zh) 2019-09-03
CN110197272B (zh) 2020-08-25
TW201937411A (zh) 2019-09-16

Similar Documents

Publication Publication Date Title
CN110197270B (zh) 集成电路芯片装置及相关产品
CN109993301B (zh) 神经网络训练装置及相关产品
CN109993291B (zh) 集成电路芯片装置及相关产品
CN111160542A (zh) 集成电路芯片装置及相关产品
CN111160541A (zh) 集成电路芯片装置及相关产品
CN110197268B (zh) 集成电路芯片装置及相关产品
CN109993292B (zh) 集成电路芯片装置及相关产品
US11704544B2 (en) Integrated circuit chip device and related product
CN110197274B (zh) 集成电路芯片装置及相关产品
CN110197272B (zh) 集成电路芯片装置及相关产品
CN110197271B (zh) 集成电路芯片装置及相关产品
CN109993290B (zh) 集成电路芯片装置及相关产品
CN110197266B (zh) 集成电路芯片装置及相关产品
CN110197263B (zh) 集成电路芯片装置及相关产品
CN110197275B (zh) 集成电路芯片装置及相关产品
CN110197265B (zh) 集成电路芯片装置及相关产品
US11734548B2 (en) Integrated circuit chip device and related product
CN110197273B (zh) 集成电路芯片装置及相关产品
CN110197269B (zh) 集成电路芯片装置及相关产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant