CN113627600A - 一种基于卷积神经网络的处理方法及其系统 - Google Patents

一种基于卷积神经网络的处理方法及其系统 Download PDF

Info

Publication number
CN113627600A
CN113627600A CN202010377572.7A CN202010377572A CN113627600A CN 113627600 A CN113627600 A CN 113627600A CN 202010377572 A CN202010377572 A CN 202010377572A CN 113627600 A CN113627600 A CN 113627600A
Authority
CN
China
Prior art keywords
parameter
round
sum
bit
segment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010377572.7A
Other languages
English (en)
Other versions
CN113627600B (zh
Inventor
张紧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Ingenic Technology Co ltd
Original Assignee
Hefei Ingenic Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei Ingenic Technology Co ltd filed Critical Hefei Ingenic Technology Co ltd
Priority to CN202010377572.7A priority Critical patent/CN113627600B/zh
Publication of CN113627600A publication Critical patent/CN113627600A/zh
Application granted granted Critical
Publication of CN113627600B publication Critical patent/CN113627600B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Neurology (AREA)
  • Image Analysis (AREA)
  • Complex Calculations (AREA)

Abstract

本发明提出了一种基于卷积神经网络的处理方法及其系统，其解决了现有技术方案实现过程中引入过多额外多路选择器逻辑从而造成的增加硬件开销、增加功耗、降低加速芯片运行频率的问题，并且能降低硬件逻辑的设计复杂度。同时取消了对网络参数模型精度的多种限制。

Description

一种基于卷积神经网络的处理方法及其系统
技术领域
本发明涉及神经网络领域，特别涉及一种基于卷积神经网络的处理方法和系统。
背景技术
卷积神经网络(CNN)是一种用于进行图像处理的、包含卷积计算且具有深度结构的前馈神经网络，其被广泛用于图像分类、图像识别等。
近年来随着对神经网络算法的研究不断深入，深度学习技术迅速发展，已经被广泛应用到生活中的多个领域，特别是计算机视觉、语音识别和自然语言处理领域。卷积神经网络(CNN)作为深度学习技术的代表，凭借其强大的学习能力已经成为图像识别和分类任务中最有效的方法。
CNN作为一种计算密集型的深度学习模型，通常拥有大量的模型参数并且有比较高的计算需求。为了在图像识别和分类任务中获得更高的准确率，CNN模型的网络层次逐渐加深、规模更庞大、结构也更复杂。在性能提升的同时，也带来了更大的计算复杂度和参数存储需求。在通过处理器硬件对模型参数进行计算时，往往导致巨大的计算量需求、内存和带宽需求以及功耗较高的问题，这也导致了CNN模型在FPGA、ASIC等资源有限且对功耗较为敏感的移动嵌入式硬件平台上的部署难以实现。
为了解决上述问题，对神经网络模型的压缩和加速方法成为深度学习领域研究的热点。一方面，是对基于FPGA和ASIC等嵌入式硬件的加速芯片的研究，通过充分挖掘网络模型中算法的并行性，设计专用的电路结构实现对计算的并行加速。另一方面，是对网络模型中的参数进行压缩，目的是为了降低模型参数的数据量和计算量，进而减小模型实现的存储需求和计算复杂度。
当前主流的网络模型压缩方案主要有模型剪枝、低秩近似、参数量化和二值网络等几种。每种方案从不同的设计角度对网络模型进行压缩，均能取得相应的压缩效果。其中参数量化方案的基本设计思路是把网络模型中位宽较大的参数量化为低位宽低精度的量化数据来表示，进而减少参数的存储空间和计算复杂度。当前，参数量化作为一种通用的压缩方法，凭借其较高的压缩率和较低的性能损失受到了广泛的关注和应用。
传统的神经网络模型中较为核心的乘加计算，其输入输出的数据格式一般是采用64bit的双精度浮点数或者32bit的单精度浮点数，当网络模型规模较大时，对此类数据的存储和计算必然会产生巨大的存储需求、带宽需求、计算复杂度和功耗消耗。因此当前主流的网络模型均采用了参数量化的压缩方案对网络模型参数进行压缩，实现了从32bit单精度浮点数参数到16bit、8bit、4bit甚至更低位宽的整数数据格式的压缩。
对于不同的应用场景，不同的网络模型适用的参数量化精度会有所不同，甚至同一个网络模型中不同网络层参数的量化精度也存在不同，所以不同的网络模型在利用硬件加速芯片加速时，乘法计算的输入会存在多种不同精度的量化参数，出现不同位宽数据的计算需求。为了能支持对所有可能出现量化精度的参数的乘法运算，硬件实现上必须使用最高位宽参数位数的乘法器结构，且参数输入寄存器的通道大小也必须对应设计为最高位宽，这将造成芯片硬件逻辑资源的严重浪费。
为了解决上述问题，实现神经网络加速芯片对不同应用场景的网络模型的通用性，当前研究提出了一种对网络原始参数数据切分处理的技术方案，即把参与乘法计算的高精度的高比特数切分成多个低比特片段，通过低比特片段之间的乘法运算来等价代替两个高比特原始数据的乘法操作。
例如：W和F的精度都是16bit，将W切分成两个8bit片段，即W的低8bit为Wa、高8bit为Wb，同理F也切分成Fa和Fb两个8bit片段。有：
W*F＝Wa*Fa+((Wa*Fb+Wb*Fa)<<8)+(Wb*Fb<<16)
在硬件逻辑电路中只需要实现切分后大小的数据位宽的乘法器结构，它们既可以用来完成低比特的乘法运算，也可以完成高比特乘法运算。其中需要注意的一点是，切分后数据的大小必须为所支持的各种精度乘法运算原始参数的公约数。比如对于所有使用偶数大小位宽参数精度的模型来说，参数精度大小存在公约数2，所以可以选择按2bit大小对原始参数进行切分，在硬件加速器逻辑电路中只需实现2bit的乘法器结构，然后通过对切分后得到的2bit大小数据的特殊计算就可以等价得到原始参数的乘积结果。
使用该技术方案能大大提升神经网络加速芯片的通用性，能实现对不同应用场景的网络模型的加速。
上述公知技术说明中简单描述了一种当前比较实用的神经网络数据处理方案，即：为了实现神经网络加速芯片对不同应用场景中不同参数精度网络模型的通用性，提出的一种对网络模型原始参数数据进行切分处理的方法。
下面通过结合附图1详细介绍当前技术方案的具体实现过程。
当前神经网络加速芯片的硬件逻辑电路中，均由大规模的PE阵列来实现对大量参数数据的并行运算，PE计算单元的个数达到数千甚至上万个。设N-bit是PE的基本精度，每个PE含有一个N-bit*N-bit的乘法器、一个N-bit的权值参数W输入端口和一个N-bit的特征图参数F输入端口。一个PE一次可以完成一个N-bit*N-bit数据的乘法运算，在PE阵列中将这些乘法结果求和得到卷积神经网络的结果。所有大于N-bit精度的网络需要切分成N-bit进行计算。此处我们以N＝2即PE的基本精度是2bit为例，对局部一组32个PE计算单元的运算过程来分析。分析结果可同理扩展到加速芯片的整个PE阵列，以及其它基本精度类型的PE。
当计算一个32通道的W和F都是2bit的网络时，W参数和F参数分别表示为W0,W1,...,W31和F0,F1,...,F31，此时不需要对数据切分的操作，直接将它们分别加载到对应的PE0,PE1,...,PE31计算单元，每个PE的乘法结果分别为P0,P1,...,P31。得到的最终运算结果为SUM＝P0+P1+...+P31。
而当计算一个32通道的W和F分别为4bit和8bit的网络时，则对两个参数进行2bit切分，4bit的W0被切分成低2bit数据W0a和高2bit数据W0b两个片段，同理8bit的F0按2bit切分后得到的数据自低位至高位分别是F0a、F0b、F0c、F0d共四个片段。使用低精度的PE完成对高精度网络的运算是通过每个高精度网络通道占用多个PE的方式实现，每个通道所占用的PE数是网络最高精度参数切分的片段数。在这个例子中每个通道占用4个PE，下面按通道0占用PE0～PE3、通道1占用PE4～PE7、…、通道7占用PE28～PE31为例。F参数的四个片段分别输入4个PE的F参数端口，W参数只有2个片段，将其复制一份，分别输入这4个PE的W参数端口。要完成32通道4bit*8bit的乘加运算需要进行以下两轮计算。
轮1：将W0a同时送入PE0和PE2的W端口，W0b同时送入PE1和PE3，将F0a、F0b、F0c、F0d分别送入PE0、PE1、PE2、PE3的F端口。将W1a同时送入PE4和PE6，W1b同时送入PE5和PE7，将F1a、F1b、F1c、F1d分别送入PE4、PE5、PE6、PE7，以此类推，数据W7和F7送入PE28～PE31。对每个乘积结果P求和时需要进行不同的移位操作，有SUM＝P0+(P1<<4)+(P2<<4)+(P3<<8)+...+P28+(P29<<4)+(P30<<4)+(P31<<8)。求和值写入SUM寄存器。
轮2：F参数的输入不变，W参数的a片段和b片段进行交换，即将W0a同时送入PE1和PE3，W0b同时送入PE0和PE2，同理对W1～W7进行类似操作。求和时乘积结果P的移位操作与第一步骤中不同，有SUM＝SUM+(P0<<2)+(P1<<2)+(P2<<6)+(P3<<6)+...
+(P28<<2)+(P29<<2)+(P2<<6)+(P31<<6)。这里P的求和必须累加到SUM寄存器中。
上述过程完成了通道0～7的计算，要完成全部32个通道的计算只需分别对通道8～15、16～23、24～31再重复上述两轮计算即可。只是其中所有的求和都需要累加到SUM寄存器中。这样通过8轮计算完成了32通道4bit的W参数和8bit的F参数的乘加运算。
按照上述运算过程，即可以实现用切分后低比特数据的特殊运算来等价实现对网络原始参数的运算。附图1显示了既支持权值和特征图都是2bit的网络，也支持权值参数是4bit特征图参数是8bit的网络。
当前方案中采用的数据切分相乘的方法，确实能够有效的解决硬件加速芯片对不同量化精度网络模型加速通用性的问题。不过此种方法同时也带来了严重的缺陷与不足，其中最重要的一点就是该方法的实现引入了过多额外的硬件逻辑电路，增加了硬件面积开销，同时也增大了功耗，这对硬件资源紧张、且对功耗较为敏感的移动嵌入式硬件加速平台来说是非常不友好的。并且因为增加了额外的逻辑电路，导致数据通路变长，增大了电路的延时，进而降低了加速芯片的运行频率，最终导致加速芯片的加速效果变差。
具体来说，引入的额外硬件逻辑电路主要为多路选择器结构，并且主要产生于以下三个实现操作中：
1：当网络模型的W或F参数的精度大于PE的基本精度而需要切分时，切分后得到的低比特数据片段需要实现交叉相乘操作，如上文例述中W参数a片段与b片段的交换，在硬件中是通过设置多路选择器结构来实现。并且网络模型参数的精度与PE的基本精度差距越大，切分得到的片段就越多，则多路选择器逻辑就越复杂。
2：当网络模型的W参数与F参数的精度不相等时，从缓存结构中加载参数到PE参与计算时，会存在从多个参数中选择一个加载的情况，如上文例述中对权值参数W0和W8的选择加载，这里需要实现多路选择器逻辑电路。并且不同的参数精度组合会需要不同的多路选择器结构，因此需要支持的参数精度组合越多，多路选择器逻辑电路越复杂。
3：根据数据切分处理方法，对每个PE的计算结果在求和前需要进行移位，即上文例述中对每个乘积结果P的移位操作，硬件中通过多路选择器结构来实现对移位位数的选择。同样，切分得到的片段越多，以及W与F不同的精度组合情况越多，移位操作需要选择的情况就越多，需要实现的多路选择器逻辑也就越复杂。
多路选择器的复杂度随网络参数的精度种类增加而增加。假定PE的基本精度是2bit，想要支持所有W和F为2bit、4bit、8bit、16bit以及它们的任意组合共16种，包含：W是2bit、F是2bit，W是2bit、F是4bit，W是4bit、F是2bit，...，到W是16bit、F是16bit。此时所需的多路选择器逻辑已经远远大于原始PE的逻辑。在深度学习神经网络加速器中，除了片内内存之外，PE逻辑是加速器逻辑的主体。因此当前技术方案带来的额外硬件资源的开销对整个加速芯片来说影响巨大。
针对上述巨大的多路选择器逻辑的硬件资源消耗问题，本领域技术人员通常会从两个角度考虑去解决：
(1)增大PE的基本精度，可以实现减少多路选择器逻辑，比如将PE的基本精度设定为4bit。但是这种情况下PE在执行W和F都是2bit的网络时只能发挥出四分之一的运算能力，会造成硬件计算资源的浪费。
(2)减少加速器芯片对不同精度的支持，比如不支持16bit的W和F的网络，或者不支持W是8bit、F是2bit这种比较少见的情况进而减少多路选择器逻辑。但是这样做又会限制加速器的适应范围，尤其是无法支持超过其预先设定精度的网络。
上述两个解决方案都会带来很大问题，网络预先设置的最高精度太高，加速芯片所支持各种精度太丰富，会导致多路选择器增加的面积太大，浪费硬件资源。网络预先设置的最高精度太低，加速芯片所支持各种精度太少，又会造成芯片应用范围受到太大限制。这是两难的选择，更由于芯片研发周期长，应用变化快，在芯片研发阶段难以准确把握情况而恶化了这个问题。
还有一点需要指出，当前技术方案只支持参数精度是PE基本精度的2的N次方倍的情况。比如PE基本精度是2bit，可以支持4bit、8bit、16bit、32bit、...，但不能有效支持6bit、12bit、20bit、24bit等情形。
发明内容
基于以上描述当前研究中技术方案的不足，本发明提出了一种创新的神经网络的处理方法和装置，解决了现有技术方案实现过程中引入过多额外多路选择器逻辑而造成的增加硬件开销、增加功耗、降低加速芯片运行频率的问题，并且能降低硬件逻辑的设计复杂度。同时取消了对网络参数模型精度的各种限制。
针对当前技术方案的不足和缺陷，本发明提出了一种基于卷积神经网络的处理方法及系统，消除了当前技术方案的不足和缺陷，完成对网络模型中参数的乘加运算。
具体地，提供一种基于卷积神经网络的处理方法，由PE阵列实现对大量参数数据的并行运算，设N-bit是PE的基本精度，每个PE含有一个N-bit*N-bit的乘法器、一个N-bit的权值参数W输入端口和一个N-bit的特征图参数F输入端口，这个PE阵列对大于N-bit参数切分的N-bit参数片段进行运算，X表示权值参数W的比特数值；Y表示特征图参数F参数比特数值；X和Y是N的整数倍，当X/N大于1或Y/N大于1时进行运算，所述方法包括以下步骤：
步骤1，预置SUM寄存器；
步骤2，使用PE进行多轮计算，每轮计算时所加载的W参数的N-bit片段是对应W参数的同位权片段，所加载的F参数的N-bit片段是对应F参数的同位权片段，根据预先安排计算顺序，对每轮进行计算，包括：将本轮的W和F参数N-bit片段加载到对应的PE单元中，PE的乘法结果是P0，P1，...，PZ，对每个PE的乘法结果求和，得到S＝P0+P1+...+PZ；S的位权是W片段的位权乘以F片段的位权；将本轮的计算结果S与SUM进行累加；每轮对SUM进行累加后，将S的位权赋予SUM。
如图4所示，所述步骤2包括，根据预先安排计算顺序，确保相邻轮的计算结果S的位权相等，或者不等时大值除以小值是2的N次方；其中，每轮的计算步骤是：
步骤2.1，将本轮的W和F参数N-bit片段加载到对应的PE单元中，PE的乘法结果是P0，P1，...，PZ，对每个PE的乘法结果求和，得到S＝P0+P1+...+PZ；S的位权是W片段的位权乘以F片段的位权；
步骤2.2，将本轮的计算结果S与SUM进行累加；其中，累加的方法是：
如果SUM的位权为不确定状态或者SUM的位权与S的位权相等，则将S加SUM置于SUM中；
如果SUM的位权除以S的位权是2的N次方，则将S加SUM循环左移N-bit置于SUM中；
如果S的位权除以SUM的位权是2的N次方，则将S加SUM循环右移N-bit置于SUM中；
步骤2.3，每轮对SUM进行累加后，将S的位权赋予SUM。
上述的所述步骤2中的加法如果是有符号加法，则符号扩展的位数不能越过SUM的最高位减去它的位权所表示的2进制bit数。
进一步包括在上述的步骤2中：所述的预先安排计算顺序是，使多轮计算结束后取出SUM时，SUM的位权是1。
进一步包括在上述的步骤2中，所述的预先安排计算顺序是：
轮1到轮n，W参数片段都是W0Pm,W1Pm,...,WZPm，F参数遍历所有参数片段，即从片段1到片段n：F0Q1,F1Q1,...,FZQ1，...，F0Qn,F1Qn,...,FZQn；遍历顺序可以是自1至n或自n至1；
轮n+1到轮2*n，W参数片段都是W0Pm-1,W1Pm-1,...,WZPm-1，F参数片段与轮1到轮n相同，只是遍历顺序与之相反；
轮2*n+1到轮3*n，W参数片段都是W0Pm-2,W1Pm-2,...,WZPm-2，F参数片段与轮1到轮n相同，遍历顺序也与之相同；
……
轮(m-2)*n+1到轮(m-1)*n，W参数片段都是W0P2,W1P2,...,WZP2，F参数片段与轮1到轮n相同，遍历顺序与轮(m-3)*n+1到轮(m-2)*n相反；
轮(m-1)*n+1到轮m*n，W参数片段都是W0P1,W1P1,...,WZP1，F参数片段与轮1到轮n相同，遍历顺序与轮(m-2)*n+1到轮(m-1)*n相反；
上述步骤中，Z+1表示通道数；X表示W参数比特数值；Y表示F参数比特数值；
W参数的切分数值分别为：W0Pi,W1Pi,……,WZPi,i＝1,……,m,其中m＝X/N；
F参数的切分数值分别为：F0Qj,F1Qj,……,FZQj,j＝1，……,n,其中n＝Y/N。
进一步包括在步骤2中，所述的预先安排计算顺序是：
轮1到轮n，W参数片段都是W0P1,W1P1,...,WZP1，F参数遍历所有参数片段，即从片段1到片段n：F0Q1,F1Q1,...,FZQ1，...，F0Qn,F1Qn,...,FZQn；遍历顺序可以是自1至n或自n至1；
轮n+1到轮2*n，W参数片段都是W0P2,W1P2,...,WZP2，F参数片段与轮1到轮n相同，只是遍历顺序与之相反；
轮2*n+1到轮3*n，W参数片段都是W0P3,W1P3,...,WZP3，F参数片段与轮1到轮n相同，遍历顺序也与之相同；
……
轮(m-2)*n+1到轮(m-1)*n，W参数片段都是W0Pm-1,W1Pm-1,...,WZPm-1，F参数片段与轮1到轮n相同，遍历顺序与轮(m-3)*n+1到轮(m-2)*n相反；
轮(m-1)*n+1到轮m*n,W参数片段都是W0Pm,W1Pm,...,WZPm，F参数片段与轮1到轮n相同，遍历顺序与轮(m-2)*n+1到轮(m-1)*n相反；
上述步骤中，Z+1表示通道数；X表示W参数比特数值；Y表示F参数比特数值；
W参数的切分数值分别为：W0Pi,W1Pi,……,WZPi,i＝1,……,m,其中m＝X/N；
F参数的切分数值分别为：F0Qj,F1Qj,……,FZQj,j＝1，……,n,其中n＝Y/N。
可以，进一步包括在步骤2中，所述的预先安排计算顺序是：
轮1到轮m，F参数片段都是F0Qn,F1Qn,...,FZQn,W参数遍历所有参数片段，即从片段1到片段m：W0P1,W1P1,...,WZP1，...，W0Pm,W1Pm,...,WZPm；遍历顺序可以是自1至m或自m至1；
轮m+1到轮2*m，F参数片段都是F0Qn-1,F1Qn-1,...,FZQn-1,W参数片段与轮1到轮m相同，只是遍历顺序与之相反；
轮2*m+1到轮3*m，F参数片段都是F0Qn-2,F1Qn-2,...,FZQn-2,W参数片段与轮1到轮m相同，遍历顺序也与之相同；
……
轮(n-2)*m+1到轮(n-1)*m，F参数片段都是F0Q2,F1Q2,...,FZQ2,W参数片段与轮1到轮m相同，遍历顺序与轮(n-3)*m+1到轮(n-2)*m相反；
轮(n-1)*m+1到轮n*m，F参数片段都是F0Q1,F1Q1,...,FZQ1，W参数片段与轮1到轮m相同，遍历顺序与轮(n-2)*m+1到轮(n-1)*m相反；
上述步骤中，Z+1表示通道数；X表示W参数比特数值；Y表示F参数比特数值；
W参数的切分数值分别为：W0Pi,W1Pi,……,WZPi,i＝1,……,m,其中m＝X/N；
F参数的切分数值分别为：F0Qj,F1Qj,……,FZQj,j＝1，……,n,其中n＝Y/N。
还可以，进一步包括在步骤2中，所述的预先安排计算顺序是：
轮1到轮m，F参数片段都是F0Q1,F1Q1,...,FZQ1；W参数遍历所有参数片段，即从片段1到片段m：W0P1,W1P1,...,WZP1，...，W0Pm,W1Pm,...,WZPm；遍历顺序可以是自1至m或自m至1；
轮m+1到轮2*m，F参数片段都是F0Q2,F1Q2,...,FZQ2,W参数片段与轮1到轮m相同，只是遍历顺序与之相反；
轮2*m+1到轮3*m，F参数片段都是F0Q3,F1Q3,...,FZQ3,W参数片段与轮1到轮m相同，遍历顺序也与之相同；
……
轮(n-2)*m+1到轮(n-1)*m，F参数片段都是F0Qn-1,F1Qn-1,...,FZQn-1,W参数片段与轮1到轮m相同，遍历顺序与轮(n-3)*m+1到轮(n-2)*m相反；
轮(n-1)*m+1到轮n*m，F参数片段都是F0Qn,F1Qn,...,FZQn，W参数片段与轮1到轮m相同，遍历顺序与轮(n-2)*m+1到轮(n-1)*m相反；
上述步骤中，Z+1表示通道数；X表示W参数比特数值；Y表示F参数比特数值；
W参数的切分数值分别为：W0Pi,W1Pi,……,WZPi,i＝1,……,m,其中m＝X/N；
F参数的切分数值分别为：F0Qj,F1Qj,……,FZQj,j＝1，……,n,其中n＝Y/N。
如图5所示，本申请的所述步骤2进一步还可以包括：
所述的根据预先安排计算顺序，以计算结果S的位权自大至小排序，使相邻轮的计算结果S的位权相等，或者前一轮除以后一轮是2的N次方；其中，每轮的计算步骤是：
步骤2.1，将本轮的W和F参数N-bit片段加载到对应的PE单元中，PE的乘法结果是P0，P1，...，PZ，对每个PE的乘法结果求和，得到S＝P0+P1+...+PZ；S的位权是W片段的位权乘以F片段的位权；
步骤2.2，将本轮的计算结果S与SUM进行累加；其中，累加的方法是：
如果SUM的位权为不确定状态或者SUM的位权与S的位权相等，则将S加SUM置于SUM中；
如果SUM的位权除以S的位权是2的N次方，则将S加SUM左移N-bit置于SUM中；
步骤2.3，每轮对SUM进行累加后，将S的位权赋予SUM。
上述的N＝2或4。
所述步骤1中预置SUM寄存器是给SUM赋予初值；所述的给SUM赋予初值包括将0置于SUM寄存器中,SUM的位权设为不确定。
上述的W和F的bit数是N-bit的K倍，其中K是正整数。
本申请还包括一种基于卷积神经网络的处理系统，无论网络模型参数的精度高低，每个通道都只占用1个PE，每个PE每次加载此通道的一个参数片段进行乘加运算，依次加载不同的参数片段以实现所有W与F参数片段之间的交叉乘积；每次加载W和F参数时，对于PE阵列中乘法结果需要求和在一起的所有PE单元，W参数输入端加载相同位权的W参数片段，F参数输入端加载相同位权的F参数片段。
对参数片段的加载计算顺序有两种：(1)按照两个参数片段位权的乘积自高至低进行加载计算；(2)两个参数片段位权的乘积，在连续两次计算中相等，或其中大值与小值的比值等于2的N次方，其中N为PE基本精度大小。
所述系统用于应用上述方法。
所述系统包括乘法器、寄存器、多选一多路选择器；所述的多选一多路选择器为二选一多路选择器、三选一多路选择器。
这里需要说明的是：位权用于表示一个数中的某一位的权值，以二进制为例，bit0的位权是2的0次方等于1，bit1的位权是2，bit2的位权是4等等。这里将位权应用于一个多bit的数，指这个数最低位的位权，一般情况下是2的0次方等于1。但有两种例外情况：(1)一个参数是原参数中的切分片段，这时参数片段的位权是其最低的二进制位在原参数中的位权，因此常常不为1。(2)一个参数进行循环位移后原来的最低二进制位在位移后的位权，即左移N-bit其位权需乘以2的N次方，右移N-bit其位权需乘以2的-N次方，因此常常不为1。
本申请的优势在于：解决了现有技术方案实现过程中引入过多额外多路选择器逻辑而造成的增加硬件开销、增加功耗、降低加速芯片运行频率的问题，并且能降低硬件逻辑的设计复杂度。同时取消了对网络参数模型精度的各种限制。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，并不构成对本发明的限定。
图1是本发明涉及的现有技术的示意框图。
图2是本发明涉及的系统的示意框图。
图3是本发明涉及的方法的流程示意框图。
图4是本发明涉及的一个方法的流程示意图。
图5是本发明涉及的另一个方法的流程示意图。
图6是本发明涉及的方法的具体实施例流程示意图。
具体实施方式
目前，本领域常用的技术术语包括：
参数片段：网络模型高精度参数按PE基本精度进行切分后得到的数据片段。例如：16bit精度的W参数，按8bit切分成两个片段，即W的低8bit为Wa、高8bit为Wb。Wa和Wb就是参数片段。
参数片段位权：一个参数片段最低位在原参数中的位权。比如上面例子中，Wa的bit0在W中也是bit0，位权是1；Wb的bit0在W中是bit8，位权是256。因此参数片段Wa的位权是1，参数片段Wb的位权是256。
本申请涉及的系统及其方法是：无论网络模型参数的精度高低，每个通道都只占用1个PE，每个PE每次加载此通道的一个参数片段进行乘加运算，依次加载不同的参数片段以实现W与F所有片段之间的交叉乘积。每次加载W和F参数时，乘法计算结果需要求和在一起的所有PE的W端口加载相同位权的W参数片段，F端口加载相同位权的F参数片段。参数片段的加载计算顺序，按照两个参数片段位权的乘积自高至低进行。
具体实现过程为：对网络模型中的W参数和F参数精度大于PE基本精度的情况，把原始参数按照PE的基本精度进行切分，假设每个通道的W切分为Wa、Wb、...，每个通道的F切分为Fa、Fb、...。在加载W和F到PE上时，无论W和F的精度如何，都是将对应通道的W和F参数加载到对应的PE上，但是只加载切分后的一个参数片段：a、b、...等，而且所有PE的W参数输入端口加载同一个位权片段，比如W0a,W1a,...,W31a，所有F参数输入端口也加载同一个位权片段，比如F0b,F1b,...,F31b。因为是相同位权的片段，它们在原始参数中的比特位置相同，因此对每个PE的乘法计算结果P的求和不需要任何位移，消除了当前技术方案中求和操作使用的多路选择器逻辑。每次加载不同的片段就可以得到所有片段之间的交叉乘积，不再像当前技术方案需要从不同的PE参数输入端口加载参数实现对参数片段的交叉相乘，消除了PE输入端的多路选择器逻辑。但是在完成P的求和结果与SUM寄存器中现有的数据的加法操作时，可能会有数据位移需要，我们可以通过合理安排参数片段计算的先后顺序，按照两个参数片段位权的乘积自高至低的方式进行计算，使这个位移量仅可能是0和PE基本精度两种之一。
下面通过图2所示来详细介绍实现过程：
为了与当前技术方案的方法形成对比，此处同样以大规模PE阵列中局部的一组32个PE计算单元的运算过程，PE的基本精度仍然是2bit。
我们仍然计算2个网络模型，第一个是32个通道W和F都是2bit的网络。与现有技术相同，W0,W1,...,W31和F0,F1,...,F31加载到对应的PE0,PE1,...,PE31计算单元，对32个PE的乘法结果P0,P1,...,P31求和，结果为SUM＝P0+P1+...+P31。
第二个是32通道W和F分别为4bit和8bit的网络。进行2bit切分，W0,...,W31被切分成W0a,...,W31a和W0b,...,W31b，F0,...,F31被切分成F0a,...,F31a、F0b,...,F31b、F0c,...,F31c、F0d,...,F31d。片段在参数中的位置自低至高为a,b,c,d。如图2所示。
按照本发明技术方案的方法，需要以下八次实现计算，如图6所示，具体如下：
先将SUM寄存器置0
1.分别将参数片段W0b,...,W31b和F0d,...,F31d加载到对应的PE单元PE0,...,PE31中，每个PE的乘法结果是P0,...,P31，求和得到S＝P0+P1+,...,+P31，得到SUM＝SUM+S。
2.加载W0b,...,W31b和F0c,...,F31c。求和结果S累加时，SUM寄存器需左移2bit，得到SUM＝(SUM<<2)+S。
3.加载W0a,...,W31a和F0d,...,F31d。求和结果S累加时，SUM寄存器无需位移，得到SUM＝SUM+S。
4.加载W0a,...,W31a和F0c,...,F31c。求和结果S累加时，SUM寄存器需左移2bit，得到SUM＝(SUM<<2)+S。
5.加载W0b,...,W31b和F0b,...,F31b。求和结果S累加时，SUM寄存器无需位移，得到SUM＝SUM+S。
6.加载W0b,...,W31b和F0a,...,F31a。求和结果S累加时，SUM寄存器需左移2bit，得到SUM＝(SUM<<2)+S。
7.加载W0a,...,W31a和F0b,...,F31b。求和结果S累加时，SUM寄存器无需位移，得到SUM＝SUM+S。
8.加载W0a,...,W31a和F0a,...,F31a。求和结果S累加时，SUM寄存器需左移2bit，得到SUM＝(SUM<<2)+S。
通过以上八次计算，完成了32通道4bit的W参数和8bit的F参数的乘加运算。所需要的计算次数与现有技术相同。但是消除了绝大部分多路选择器逻辑。只需要一个简单的二选一多路选择器逻辑实现对SUM寄存器中的原始数值或其位移值的选择，因为只存在左移两位和无位移两种情况。我们还看到，无论网络的W参数和F参数的精度是多少，只要是PE基本精度(这个例子中是2bit)的整数倍，就能够被这个系统有效支持。
下面是一个32通道8bit的W参数和8bit的F参数的乘加运算例子，需要16次运算，先将SUM寄存器置0：
1.加载W0d,...,W31d和F0d,...,F31d到PE0,...,PE31，S＝P0+,...,+P31，SUM＝SUM+S
2.加载W0c,...,W31c和F0d,...,F31d到PE0,...,PE31，S＝P0+,...,+P31，SUM＝(SUM<<2)+S
3.加载W0d,...,W31d和F0c,...,F31c到PE0,...,PE31，S＝P0+,...,+P31，SUM＝SUM+S
4.加载W0d,...,W31d和F0b,...,F31b到PE0,...,PE31，S＝P0+,...,+P31，SUM＝(SUM<<2)+S
5.加载W0c,...,W31c和F0c,...,F31c到PE0,...,PE31，S＝P0+,...,+P31，SUM＝SUM+S
6.加载W0b,...,W31b和F0d,...,F31d到PE0,...,PE31，S＝P0+,...,+P31，SUM＝SUM+S
7.加载W0a,...,W31a和F0d,...,F31d到PE0,...,PE31，S＝P0+,...,+P31，SUM＝(SUM<<2)+S
8.加载W0b,...,W31b和F0c,...,F31c到PE0,...,PE31，S＝P0+,...,+P31，SUM＝SUM+S
9.加载W0c,...,W31c和F0b,...,F31b到PE0,...,PE31，S＝P0+,...,+P31，SUM＝SUM+S
10.加载W0d,...,W31d和F0a,...,F31a到PE0,...,PE31，S＝P0+,...,+P31，SUM＝SUM+S
11.加载W0c,...,W31c和F0a,...,F31a到PE0,...,PE31，S＝P0+,...,+P31，SUM＝(SUM<<2)+S
12.加载W0b,...,W31b和F0b,...,F31b到PE0,...,PE31，S＝P0+,...,+P31，SUM＝SUM+S
13.加载W0a,...,W31a和F0c,...,F31c到PE0,...,PE31，S＝P0+,...,+P31，SUM＝SUM+S
14.加载W0a,...,W31a和F0b,...,F31b到PE0,...,PE31，S＝P0+,...,+P31，SUM＝(SUM<<2)+S
15.加载W0b,...,W31b和F0a,...,F31a到PE0,...,PE31，S＝P0+,...,+P31，SUM＝SUM+S
16.加载W0a,...,W31a和F0a,...,F31a到PE0,...,PE31，S＝P0+,...,+P31，SUM＝(SUM<<2)+S
上述方法的缺点是需要将切分后的参数片段多次从存储系统中读出来，加载给PE，这增加了参数读出的功耗。上述例子中每个W片段平均读出3.5次，F片段平均读出3次。可以通过增加累加逻辑的多路选择器来改善这个问题，即增加右移逻辑。
下面是一个32通道8bit的W参数和8bit的F参数的乘加运算例子，减少W的读出，每个W片段读出1次，F片段平均读出3.25次，注意这里所有的位移都是循环位移。
先将SUM寄存器置0
1.加载W0d,...,W31d和F0a,...,F31a到PE0,...,PE31，S＝P0+,...,+P31，SUM＝SUM+S
2.W不变，加载F0b,...,F31b到PE0,...,PE31，S＝P0+,...,+P31，SUM＝(SUM>>2)+S
3.W不变，加载F0c,...,F31c到PE0,...,PE31，S＝P0+,...,+P31，SUM＝(SUM>>2)+S
4.W不变，加载F0d,...,F31d到PE0,...,PE31，S＝P0+,...,+P31，SUM＝(SUM>>2)+S
5.加载W0c,...,W31c到PE0,...,PE31，F不变，S＝P0+,...,+P31，SUM＝(SUM<<2)+S
6.W不变，加载F0c,...,F31c到PE0,...,PE31，S＝P0+,...,+P31，SUM＝(SUM<<2)+S
7.W不变，加载F0b,...,F31b到PE0,...,PE31，S＝P0+,...,+P31，SUM＝(SUM<<2)+S
8.W不变，加载F0a,...,F31a到PE0,...,PE31，S＝P0+,...,+P31，SUM＝(SUM<<2)+S
9.加载W0b,...,W31b到PE0,...,PE31，F不变，S＝P0+,...,+P31，SUM＝(SUM<<2)+S
10.W不变，加载F0b,...,F31b到PE0,...,PE31，S＝P0+,...,+P31，SUM＝(SUM>>2)+S
11.W不变，加载F0c,...,F31c到PE0,...,PE31，S＝P0+,...,+P31，SUM＝(SUM>>2)+S
12.W不变，加载F0d,...,F31d到PE0,...,PE31，S＝P0+,...,+P31，SUM＝(SUM>>2)+S
13.加载W0a,...,W31a到PE0,...,PE31，F不变，S＝P0+,...,+P31，SUM＝(SUM<<2)+S
14.W不变，加载F0c,...,F31c到PE0,...,PE31，S＝P0+,...,+P31，SUM＝(SUM<<2)+S
15.W不变，加载F0b,...,F31b到PE0,...,PE31，S＝P0+,...,+P31，SUM＝(SUM<<2)+S
16.W不变，加载F0a,...,F31a到PE0,...,PE31，S＝P0+,...,+P31，SUM＝(SUM<<2)+S
如果还有更多通道，比如：64、128、256等等；或者存在多个W，比如3x3的卷积核，这时周围的3x3个F需要分别乘以对应的3x3个W而非仅仅1个F乘以1个W，这等价于通道数的成倍增加。这种更多通道的计算一般是反复使用同一个32通道的PE阵列硬件，导致计算次数或轮数的成倍增加。为了最终SUM的位权是1，上述例子中开始的32通道的各轮排序应该做相应的调整，可以是：
先将SUM寄存器置0
1.加载W0d,...,W31d和F0d,...,F31d到PE0,...,PE31，S＝P0+,...,+P31，SUM＝SUM+S
2.W不变，加载F0c,...,F31c到PE0,...,PE31，S＝P0+,...,+P31，SUM＝(SUM<<2)+S
3.W不变，加载F0b,...,F31b到PE0,...,PE31，S＝P0+,...,+P31，SUM＝(SUM<<2)+S
4.W不变，加载F0a,...,F31a到PE0,...,PE31，S＝P0+,...,+P31，SUM＝(SUM<<2)+S
5.加载W0c,...,W31c到PE0,...,PE31，F不变，S＝P0+,...,+P31，SUM＝(SUM<<2)+S
6.W不变，加载F0b,...,F31b到PE0,...,PE31，S＝P0+,...,+P31，SUM＝(SUM>>2)+S
7.W不变，加载F0c,...,F31c到PE0,...,PE31，S＝P0+,...,+P31，SUM＝(SUM>>2)+S
8.W不变，加载F0d,...,F31d到PE0,...,PE31，S＝P0+,...,+P31，SUM＝(SUM>>2)+S
9.加载W0b,...,W31b到PE0,...,PE31，F不变，S＝P0+,...,+P31，SUM＝(SUM<<2)+S
10.W不变，加载F0c,...,F31c到PE0,...,PE31，S＝P0+,...,+P31，SUM＝(SUM<<2)+S
11.W不变，加载F0b,...,F31b到PE0,...,PE31，S＝P0+,...,+P31，SUM＝(SUM<<2)+S
12.W不变，加载F0a,...,F31a到PE0,...,PE31，S＝P0+,...,+P31，SUM＝(SUM<<2)+S
13.加载W0a,...,W31a到PE0,...,PE31，F不变，S＝P0+,...,+P31，SUM＝(SUM<<2)+S
14.W不变，加载F0b,...,F31b到PE0,...,PE31，S＝P0+,...,+P31，SUM＝(SUM>>2)+S
15.W不变，加载F0c,...,F31c到PE0,...,PE31，S＝P0+,...,+P31，SUM＝(SUM>>2)+S
16.W不变，加载F0d,...,F31d到PE0,...,PE31，S＝P0+,...,+P31，SUM＝(SUM>>2)+S
也可以是：
先将SUM寄存器置0
1.加载W0a,...,W31a和F0a,...,F31a到PE0,...,PE31，S＝P0+,...,+P31，SUM＝SUM+S
2.W不变，加载F0b,...,F31b到PE0,...,PE31，S＝P0+,...,+P31，SUM＝(SUM>>2)+S
3.W不变，加载F0c,...,F31c到PE0,...,PE31，S＝P0+,...,+P31，SUM＝(SUM>>2)+S
4.W不变，加载F0d,...,F31d到PE0,...,PE31，S＝P0+,...,+P31，SUM＝(SUM>>2)+S
5.加载W0b,...,W31b到PE0,...,PE31，F不变，S＝P0+,...,+P31，SUM＝(SUM>>2)+S
6.W不变，加载F0c,...,F31c到PE0,...,PE31，S＝P0+,...,+P31，SUM＝(SUM<<2)+S
7.W不变，加载F0b,...,F31b到PE0,...,PE31，S＝P0+,...,+P31，SUM＝(SUM<<2)+S
8.W不变，加载F0a,...,F31a到PE0,...,PE31，S＝P0+,...,+P31，SUM＝(SUM<<2)+S
9.加载W0c,...,W31c到PE0,...,PE31，F不变，S＝P0+,...,+P31，SUM＝(SUM>>2)+S
10.W不变，加载F0b,...,F31b到PE0,...,PE31，S＝P0+,...,+P31，SUM＝(SUM>>2)+S
11.W不变，加载F0c,...,F31c到PE0,...,PE31，S＝P0+,...,+P31，SUM＝(SUM>>2)+S
12.W不变，加载F0d,...,F31d到PE0,...,PE31，S＝P0+,...,+P31，SUM＝(SUM>>2)+S
13.加载W0d,...,W31d到PE0,...,PE31，F不变，S＝P0+,...,+P31，SUM＝(SUM>>2)+S
14.W不变，加载F0c,...,F31c到PE0,...,PE31，S＝P0+,...,+P31，SUM＝(SUM<<2)+S
15.W不变，加载F0b,...,F31b到PE0,...,PE31，S＝P0+,...,+P31，SUM＝(SUM<<2)+S
16.W不变，加载F0a,...,F31a到PE0,...,PE31，S＝P0+,...,+P31，SUM＝(SUM<<2)+S
还可以是：
先将SUM寄存器置0
1.加载W0a,...,W31a和F0d,...,F31d到PE0,...,PE31，S＝P0+,...,+P31，SUM＝SUM+S
2.W不变，加载F0c,...,F31c到PE0,...,PE31，S＝P0+,...,+P31，SUM＝(SUM<<2)+S
3.W不变，加载F0b,...,F31b到PE0,...,PE31，S＝P0+,...,+P31，SUM＝(SUM<<2)+S
4.W不变，加载F0a,...,F31a到PE0,...,PE31，S＝P0+,...,+P31，SUM＝(SUM<<2)+S
5.加载W0b,...,W31b到PE0,...,PE31，F不变，S＝P0+,...,+P31，SUM＝(SUM>>2)+S
6.W不变，加载F0b,...,F31b到PE0,...,PE31，S＝P0+,...,+P31，SUM＝(SUM>>2)+S
7.W不变，加载F0c,...,F31c到PE0,...,PE31，S＝P0+,...,+P31，SUM＝(SUM>>2)+S
8.W不变，加载F0d,...,F31d到PE0,...,PE31，S＝P0+,...,+P31，SUM＝(SUM>>2)+S
9.加载W0c,...,W31c到PE0,...,PE31，F不变，S＝P0+,...,+P31，SUM＝(SUM>>2)+S
10.W不变，加载F0c,...,F31c到PE0,...,PE31，S＝P0+,...,+P31，SUM＝(SUM<<2)+S
11.W不变，加载F0b,...,F31b到PE0,...,PE31，S＝P0+,...,+P31，SUM＝(SUM<<2)+S
12.W不变，加载F0a,...,F31a到PE0,...,PE31，S＝P0+,...,+P31，SUM＝(SUM<<2)+S
13.加载W0d,...,W31d到PE0,...,PE31，F不变，S＝P0+,...,+P31，SUM＝(SUM>>2)+S
14.W不变，加载F0b,...,F31b到PE0,...,PE31，S＝P0+,...,+P31，SUM＝(SUM>>2)+S
15.W不变，加载F0c,...,F31c到PE0,...,PE31，S＝P0+,...,+P31，SUM＝(SUM>>2)+S
16.W不变，加载F0d,...,F31d到PE0,...,PE31，S＝P0+,...,+P31，SUM＝(SUM>>2)+S
下面是一个32通道8bit的W参数和8bit的F参数的乘加运算例子，减少F的读出，每个F片段读出1次，W片段平均读出3.25次，注意这里所有的位移都是循环位移。
先将SUM寄存器置0
1.加载W0a,...,W31a和F0d,...,F31d到PE0,...,PE31，S＝P0+,...,+P31，SUM＝SUM+S
2.加载W0b,...,W31b到PE0,...,PE31，F不变，S＝P0+,...,+P31，SUM＝(SUM>>2)+S
3.加载W0c,...,W31c到PE0,...,PE31，F不变，S＝P0+,...,+P31，SUM＝(SUM>>2)+S
4.加载W0d,...,W31d到PE0,...,PE31，F不变，S＝P0+,...,+P31，SUM＝(SUM>>2)+S
5.W不变，加载F0c,...,F31c到PE0,...,PE31，S＝P0+,...,+P31，SUM＝(SUM<<2)+S
6.加载W0c,...,W31c到PE0,...,PE31，F不变，S＝P0+,...,+P31，SUM＝(SUM<<2)+S
7.加载W0b,...,W31b到PE0,...,PE31，F不变，S＝P0+,...,+P31，SUM＝(SUM<<2)+S
8.加载W0a,...,W31a到PE0,...,PE31，F不变，S＝P0+,...,+P31，SUM＝(SUM<<2)+S
9.W不变，加载F0b,...,F31b到PE0,...,PE31，S＝P0+,...,+P31，SUM＝(SUM<<2)+S
10.加载W0b,...,W31b到PE0,...,PE31，F不变，S＝P0+,...,+P31，SUM＝(SUM>>2)+S
11.加载W0c,...,W31c到PE0,...,PE31，F不变，S＝P0+,...,+P31，SUM＝(SUM>>2)+S
12.加载W0d,...,W31d到PE0,...,PE31，F不变，S＝P0+,...,+P31，SUM＝(SUM>>2)+S
13.W不变，加载F0a,...,F31a到PE0,...,PE31，S＝P0+,...,+P31，SUM＝(SUM<<2)+S
14.加载W0c,...,W31c到PE0,...,PE31，F不变，S＝P0+,...,+P31，SUM＝(SUM<<2)+S
15.加载W0b,...,W31b到PE0,...,PE31，F不变，S＝P0+,...,+P31，SUM＝(SUM<<2)+S
16.加载W0a,...,W31a到PE0,...,PE31，F不变，S＝P0+,...,+P31，SUM＝(SUM<<2)+S
如果还有更多通道，比如：64、128、256等等；或者存在多个W，比如3x3的卷积核，这时周围的3x3个F需要分别乘以对应的3x3个W而非仅仅1个F乘以1个W，这等价于通道数的成倍增加。这种更多通道的计算一般是反复使用同一个32通道的PE阵列硬件，导致计算次数或轮数的成倍增加。为了最终SUM的位权是1，上述例子中开始的32通道的各轮排序应该做相应的调整，可以是：
先将SUM寄存器置0
1.加载W0d,...,W31d和F0d,...,F31d到PE0,...,PE31，S＝P0+,...,+P31，SUM＝SUM+S
2.加载W0c,...,W31c到PE0,...,PE31，F不变，S＝P0+,...,+P31，SUM＝(SUM<<2)+S
3.加载W0b,...,W31b到PE0,...,PE31，F不变，S＝P0+,...,+P31，SUM＝(SUM<<2)+S
4.加载W0a,...,W31a到PE0,...,PE31，F不变，S＝P0+,...,+P31，SUM＝(SUM<<2)+S
5.W不变，加载F0c,...,F31c到PE0,...,PE31，S＝P0+,...,+P31，SUM＝(SUM<<2)+S
6.加载W0b,...,W31b到PE0,...,PE31，F不变，S＝P0+,...,+P31，SUM＝(SUM>>2)+S
7.加载W0c,...,W31c到PE0,...,PE31，F不变，S＝P0+,...,+P31，SUM＝(SUM>>2)+S
8.加载W0d,...,W31d到PE0,...,PE31，F不变，S＝P0+,...,+P31，SUM＝(SUM>>2)+S
9.W不变，加载F0b,...,F31b到PE0,...,PE31，S＝P0+,...,+P31，SUM＝(SUM<<2)+S
10.加载W0c,...,W31c到PE0,...,PE31，F不变，S＝P0+,...,+P31，SUM＝(SUM<<2)+S
11.加载W0b,...,W31b到PE0,...,PE31，F不变，S＝P0+,...,+P31，SUM＝(SUM<<2)+S
12.加载W0a,...,W31a到PE0,...,PE31，F不变，S＝P0+,...,+P31，SUM＝(SUM<<2)+S
13.W不变，加载F0a,...,F31a到PE0,...,PE31，S＝P0+,...,+P31，SUM＝(SUM<<2)+S
14.加载W0b,...,W31b到PE0,...,PE31，F不变，S＝P0+,...,+P31，SUM＝(SUM>>2)+S
15.加载W0c,...,W31c到PE0,...,PE31，F不变，S＝P0+,...,+P31，SUM＝(SUM>>2)+S
16.加载W0d,...,W31d到PE0,...,PE31，F不变，S＝P0+,...,+P31，SUM＝(SUM>>2)+S
也可以是：
先将SUM寄存器置0
1.加载W0a,...,W31a和F0a,...,F31a到PE0,...,PE31，S＝P0+,...,+P31，SUM＝SUM+S
2.加载W0b,...,W31b到PE0,...,PE31，F不变，S＝P0+,...,+P31，SUM＝(SUM>>2)+S
3.加载W0c,...,W31c到PE0,...,PE31，F不变，S＝P0+,...,+P31，SUM＝(SUM>>2)+S
4.加载W0d,...,W31d到PE0,...,PE31，F不变，S＝P0+,...,+P31，SUM＝(SUM>>2)+S
5.W不变，加载F0b,...,F31b到PE0,...,PE31，S＝P0+,...,+P31，SUM＝(SUM>>2)+S
6.加载W0c,...,W31c到PE0,...,PE31，F不变，S＝P0+,...,+P31，SUM＝(SUM<<2)+S
7.加载W0b,...,W31b到PE0,...,PE31，F不变，S＝P0+,...,+P31，SUM＝(SUM<<2)+S
8.加载W0a,...,W31a到PE0,...,PE31，F不变，S＝P0+,...,+P31，SUM＝(SUM<<2)+S
9.W不变，加载F0c,...,F31c到PE0,...,PE31，S＝P0+,...,+P31，SUM＝(SUM>>2)+S
10.加载W0b,...,W31b到PE0,...,PE31，F不变，S＝P0+,...,+P31，SUM＝(SUM>>2)+S
11.加载W0c,...,W31c到PE0,...,PE31，F不变，S＝P0+,...,+P31，SUM＝(SUM>>2)+S
12.加载W0d,...,W31d到PE0,...,PE31，F不变，S＝P0+,...,+P31，SUM＝(SUM>>2)+S
13.W不变，加载F0d,...,F31d到PE0,...,PE31，S＝P0+,...,+P31，SUM＝(SUM>>2)+S
14.加载W0c,...,W31c到PE0,...,PE31，F不变，S＝P0+,...,+P31，SUM＝(SUM<<2)+S
15.加载W0b,...,W31b到PE0,...,PE31，F不变，S＝P0+,...,+P31，SUM＝(SUM<<2)+S
16.加载W0a,...,W31a到PE0,...,PE31，F不变，S＝P0+,...,+P31，SUM＝(SUM<<2)+S
还可以是：
先将SUM寄存器置0
1.加载W0d,...,W31d和F0a,...,F31a到PE0,...,PE31，S＝P0+,...,+P31，SUM＝SUM+S
2.加载W0c,...,W31c到PE0,...,PE31，F不变，S＝P0+,...,+P31，SUM＝(SUM<<2)+S
3.加载W0b,...,W31b到PE0,...,PE31，F不变，S＝P0+,...,+P31，SUM＝(SUM<<2)+S
4.加载W0a,...,W31a到PE0,...,PE31，F不变，S＝P0+,...,+P31，SUM＝(SUM<<2)+S
5.W不变，加载F0b,...,F31b到PE0,...,PE31，S＝P0+,...,+P31，SUM＝(SUM>>2)+S
6.加载W0b,...,W31b到PE0,...,PE31，F不变，S＝P0+,...,+P31，SUM＝(SUM>>2)+S
7.加载W0c,...,W31c到PE0,...,PE31，F不变，S＝P0+,...,+P31，SUM＝(SUM>>2)+S
8.加载W0d,...,W31d到PE0,...,PE31，F不变，S＝P0+,...,+P31，SUM＝(SUM>>2)+S
9.W不变，加载F0c,...,F31c到PE0,...,PE31，S＝P0+,...,+P31，SUM＝(SUM>>2)+S
10.加载W0c,...,W31c到PE0,...,PE31，F不变，S＝P0+,...,+P31，SUM＝(SUM<<2)+S
11.加载W0b,...,W31b到PE0,...,PE31，F不变，S＝P0+,...,+P31，SUM＝(SUM<<2)+S
12.加载W0a,...,W31a到PE0,...,PE31，F不变，S＝P0+,...,+P31，SUM＝(SUM<<2)+S
13.W不变，加载F0d,...,F31d到PE0,...,PE31，S＝P0+,...,+P31，SUM＝(SUM>>2)+S
14.加载W0b,...,W31b到PE0,...,PE31，F不变，S＝P0+,...,+P31，SUM＝(SUM>>2)+S
15.加载W0c,...,W31c到PE0,...,PE31，F不变，S＝P0+,...,+P31，SUM＝(SUM>>2)+S
16.加载W0d,...,W31d到PE0,...,PE31，F不变，S＝P0+,...,+P31，SUM＝(SUM>>2)+S
在以上这8个例子里，需要一个三选一多路选择器逻辑，实现在SUM寄存器的原始值、其循环左移两位的值、其循环右移两位的值三个值中选择一个。
对SUM进行循环位移，其含义是我们一个数值在硬件上的表达方式改变了。通常一个数的bit0放在硬件的bit0上、bit<j>放在硬件的bit<j>上、最高位bit<n>放在硬件的bit<n>上。经过循环位移后，一个数的bit<j>放在硬件的bit<j-k>上(j-k>＝0时)或者bit<j>放在硬件的bit<n+1+(j-k)>上(j-k<0时)，这里k>＝0。此时如果S和SUM是有符号数，则S到SUM的累加的符号扩展不能到硬件的bit<n>，只能到bit<n-k>。
此外，高bit的W和F的bit数并非必须是2bit的2的K次方倍数，比如2、4、8、16等等，只要是2bit的K倍就可以。下面是一个32通道6bit的W参数和10bit的F参数的乘加运算例子。这里W参数切分成3个2bit片段Wa～Wc，F参数切分成5个片段Fa～Fe，需要进行15次运算：
1.加载W0c,...,W31c和F0e,...,F31e到PE0,...,PE31，S＝P0+,...,+P31，SUM＝SUM+S
2.W不变，加载F0d,...,F31d到PE0,...,PE31，S＝P0+,...,+P31，SUM＝(SUM<<2)+S
3.W不变，加载F0c,...,F31c到PE0,...,PE31，S＝P0+,...,+P31，SUM＝(SUM<<2)+S
4.W不变，加载F0b,...,F31b到PE0,...,PE31，S＝P0+,...,+P31，SUM＝(SUM<<2)+S
5.W不变，加载F0a,...,F31a到PE0,...,PE31，S＝P0+,...,+P31，SUM＝(SUM<<2)+S
6.加载W0b,...,W31b到PE0,...,PE31，F不变，S＝P0+,...,+P31，SUM＝(SUM<<2)+S
7.W不变，加载F0b,...,F31b到PE0,...,PE31，S＝P0+,...,+P31，SUM＝(SUM>>2)+S
8.W不变，加载F0c,...,F31c到PE0,...,PE31，S＝P0+,...,+P31，SUM＝(SUM>>2)+S
9.W不变，加载F0d,...,F31d到PE0,...,PE31，S＝P0+,...,+P31，SUM＝(SUM>>2)+S
10.W不变，加载F0e,...,F31e到PE0,...,PE31，S＝P0+,...,+P31，SUM＝(SUM>>2)+S
11.加载W0a,...,W31a到PE0,...,PE31，F不变，S＝P0+,...,+P31，SUM＝(SUM<<2)+S
12.W不变，加载F0d,...,F31d到PE0,...,PE31，S＝P0+,...,+P31，SUM＝(SUM<<2)+S
13.W不变，加载F0c,...,F31c到PE0,...,PE31，S＝P0+,...,+P31，SUM＝(SUM<<2)+S
14.W不变，加载F0b,...,F31b到PE0,...,PE31，S＝P0+,...,+P31，SUM＝(SUM<<2)+S
15.W不变，加载F0a,...,F31a到PE0,...,PE31，S＝P0+,...,+P31，SUM＝(SUM<<2)+S
另外，考虑到此技术方案实现过程中需要的移位操作相对较少，因此移位操作的实现可以选择以软件的方式实现，即不再需要实现多路选择器逻辑电路结构。
本发明提出的这种创新的乘法处理方法和系统方案，与当前现有技术相比，极大的减少了硬件逻辑开销，节省了芯片面积，加速了网络模型中乘加运算的速度，降低了计算复杂度，同时减少了功耗。且因额外逻辑电路的减少，缩短了数据传输通路，降低了电路中的延时，增大了加速芯片的运行频率，提升了芯片的加速效率。
另外，针对上文中提到的现有技术对于网络模型参数高精度以及多种精度组合支持的困难，本发明的技术方案可以完全消除这个困难。针对现有技术只能支持PE基本精度的2的N次方整数倍精度的限制，本发明的技术方案消除了这个限制，只受数学原理给出的PE基本精度的N倍精度的限制，即对于所有PE基本精度整数倍的参数精度类型，本发明方案均能有效的支持。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明实施例可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (16)

1.一种基于卷积神经网络的处理方法，其特征在于，由PE阵列实现对大量参数数据的并行运算，设N-bit是PE的基本精度，每个PE含有一个N-bit*N-bit的乘法器、一个N-bit的权值参数W输入端口和一个N-bit的特征图参数F输入端口，这个PE阵列对大于N-bit参数切分的N-bit参数片段进行运算，X表示权值参数W的比特数值；Y表示特征图参数F参数比特数值；X和Y是N的整数倍，当X/N大于1或Y/N大于1时进行运算，所述方法包括以下步骤：
步骤1，预置SUM寄存器；
步骤2，使用PE进行多轮计算，每轮计算时所加载的W参数的N-bit片段是对应W参数的同位权片段，所加载的F参数的N-bit片段是对应F参数的同位权片段，根据预先安排计算顺序，对每轮进行计算，包括：将本轮的W和F参数N-bit片段加载到对应的PE单元中，PE的乘法结果是P0，P1，...，PZ，对每个PE的乘法结果求和，得到S＝P0+P1+...+PZ；S的位权是W片段的位权乘以F片段的位权；将本轮的计算结果S与SUM进行累加；每轮对SUM进行累加后，将S的位权赋予SUM。
2.根据权利要求1所述的一种基于卷积神经网络的处理方法，其特征在于，所述步骤2包括，根据预先安排计算顺序，确保相邻轮的计算结果S的位权相等，或者不等时大值除以小值是2的N次方；其中，每轮的计算步骤是：
步骤2.1，将本轮的W和F参数N-bit片段加载到对应的PE单元中，PE的乘法结果是P0，P1，...，PZ，对每个PE的乘法结果求和，得到S＝P0+P1+...+PZ；S的位权是W片段的位权乘以F片段的位权；
步骤2.2，将本轮的计算结果S与SUM进行累加；其中，累加的方法是：
如果SUM的位权为不确定状态或者SUM的位权与S的位权相等，则将S加SUM置于SUM中；
如果SUM的位权除以S的位权是2的N次方，则将S加SUM循环左移N-bit置于SUM中；
如果S的位权除以SUM的位权是2的N次方，则将S加SUM循环右移N-bit置于SUM中；
步骤2.3，每轮对SUM进行累加后，将S的位权赋予SUM。
3.根据权利要求2所述的一种基于卷积神经网络的处理方法，其特征在于，所述步骤2中的加法如果是有符号加法，则符号扩展的位数不能越过SUM的最高位减去它的位权所表示的2进制bit数。
4.根据权利要求2所述的一种基于卷积神经网络的处理方法，其特征在于，进一步包括在步骤2中：所述的预先安排计算顺序是，使多轮计算结束后取出SUM时，SUM的位权是1。
5.根据权利要求2所述的一种基于卷积神经网络的处理方法，其特征在于，进一步包括在步骤2中，所述的预先安排计算顺序是：
轮1到轮n，W参数片段都是W0Pm,W1Pm,...,WZPm，F参数遍历所有参数片段，即从片段1到片段n：F0Q1,F1Q1,...,FZQ1，...，F0Qn,F1Qn,...,FZQn；遍历顺序可以是自1至n或自n至1；
轮n+1到轮2*n，W参数片段都是W0Pm-1,W1Pm-1,...,WZPm-1，F参数片段与轮1到轮n相同，只是遍历顺序与之相反；
轮2*n+1到轮3*n，W参数片段都是W0Pm-2,W1Pm-2,...,WZPm-2，F参数片段与轮1到轮n相同，遍历顺序也与之相同；
……
轮(m-2)*n+1到轮(m-1)*n，W参数片段都是W0P2,W1P2,...,WZP2，F参数片段与轮1到轮n相同，遍历顺序与轮(m-3)*n+1到轮(m-2)*n相反；轮(m-1)*n+1到轮m*n，W参数片段都是W0P1,W1P1,...,WZP1，F参数片段与轮1到轮n相同，遍历顺序与轮(m-2)*n+1到轮(m-1)*n相反；
上述步骤中，Z+1表示通道数；X表示W参数比特数值；Y表示F参数比特数值；
W参数的切分数值分别为：W0Pi,W1Pi,……,WZPi,i＝1,……,m,其中m＝X/N；
F参数的切分数值分别为：F0Qj,F1Qj,……,FZQj,j＝1，……,n,其中n＝Y/N。
6.根据权利要求2所述的一种基于卷积神经网络的处理方法，其特征在于，进一步包括在步骤2中，所述的预先安排计算顺序是：
轮1到轮n，W参数片段都是W0P1,W1P1,...,WZP1，F参数遍历所有参数片段，即从片段1到片段n：F0Q1,F1Q1,...,FZQ1，...，F0Qn,F1Qn,...,FZQn；遍历顺序可以是自1至n或自n至1；
轮n+1到轮2*n，W参数片段都是W0P2,W1P2,...,WZP2，F参数片段与轮1到轮n相同，只是遍历顺序与之相反；
轮2*n+1到轮3*n，W参数片段都是W0P3,W1P3,...,WZP3，F参数片段与轮1到轮n相同，遍历顺序也与之相同；
……
轮(m-2)*n+1到轮(m-1)*n，W参数片段都是W0Pm-1,W1Pm-1,...,WZPm-1，F参数片段与轮1到轮n相同，遍历顺序与轮(m-3)*n+1到轮(m-2)*n相反；
轮(m-1)*n+1到轮m*n,W参数片段都是W0Pm,W1Pm,...,WZPm，F参数片段与轮1到轮n相同，遍历顺序与轮(m-2)*n+1到轮(m-1)*n相反；
上述步骤中，Z+1表示通道数；X表示W参数比特数值；Y表示F参数比特数值；
W参数的切分数值分别为：W0Pi,W1Pi,……,WZPi,i＝1,……,m,其中m＝X/N；
F参数的切分数值分别为：F0Qj,F1Qj,……,FZQj,j＝1，……,n,其中n＝Y/N。
7.根据权利要求2所述的一种基于卷积神经网络的处理方法，其特征在于，进一步包括在步骤2中，所述的预先安排计算顺序是：
轮1到轮m，F参数片段都是F0Qn,F1Qn,...,FZQn,W参数遍历所有参数片段，即从片段1到片段m：W0P1,W1P1,...,WZP1，...，W0Pm,W1Pm,...,WZPm；遍历顺序可以是自1至m或自m至1；
轮m+1到轮2*m，F参数片段都是F0Qn-1,F1Qn-1,...,FZQn-1,W参数片段与轮1到轮m相同，只是遍历顺序与之相反；
轮2*m+1到轮3*m，F参数片段都是F0Qn-2,F1Qn-2,...,FZQn-2,W参数片段与轮1到轮m相同，遍历顺序也与之相同；
……
轮(n-2)*m+1到轮(n-1)*m，F参数片段都是F0Q2,F1Q2,...,FZQ2,W参数片段与轮1到轮m相同，遍历顺序与轮(n-3)*m+1到轮(n-2)*m相反；
轮(n-1)*m+1到轮n*m，F参数片段都是F0Q1,F1Q1,...,FZQ1，W参数片段与轮1到轮m相同，遍历顺序与轮(n-2)*m+1到轮(n-1)*m相反；
上述步骤中，Z+1表示通道数；X表示W参数比特数值；Y表示F参数比特数值；
W参数的切分数值分别为：W0Pi,W1Pi,……,WZPi,i＝1,……,m,其中m＝X/N；
F参数的切分数值分别为：F0Qj,F1Qj,……,FZQj,j＝1，……,n,其中n＝Y/N。
8.根据权利要求2所述的一种基于卷积神经网络的处理方法，其特征在于，进一步包括在步骤2中，所述的预先安排计算顺序是：
轮1到轮m，F参数片段都是F0Q1,F1Q1,...,FZQ1；W参数遍历所有参数片段，即从片段1到片段m：W0P1,W1P1,...,WZP1，...，W0Pm,W1Pm,...,WZPm；遍历顺序可以是自1至m或自m至1；
轮m+1到轮2*m，F参数片段都是F0Q2,F1Q2,...,FZQ2,W参数片段与轮1到轮m相同，只是遍历顺序与之相反；
轮2*m+1到轮3*m，F参数片段都是F0Q3,F1Q3,...,FZQ3,W参数片段与轮1到轮m相同，遍历顺序也与之相同；
……
轮(n-2)*m+1到轮(n-1)*m，F参数片段都是F0Qn-1,F1Qn-1,...,FZQn-1,W参数片段与轮1到轮m相同，遍历顺序与轮(n-3)*m+1到轮(n-2)*m相反；轮(n-1)*m+1到轮n*m，F参数片段都是F0Qn,F1Qn,...,FZQn，W参数片段与轮1到轮m相同，遍历顺序与轮(n-2)*m+1到轮(n-1)*m相反；
上述步骤中，Z+1表示通道数；X表示W参数比特数值；Y表示F参数比特数值；
W参数的切分数值分别为：W0Pi,W1Pi,……,WZPi,i＝1,……,m,其中m＝X/N；
F参数的切分数值分别为：F0Qj,F1Qj,……,FZQj,j＝1，……,n,其中n＝Y/N。
9.根据权利要求1所述的一种基于卷积神经网络的处理方法，其特征在于，所述步骤2进一步包括：
所述的根据预先安排计算顺序，以计算结果S的位权自大至小排序，使相邻轮的计算结果S的位权相等，或者前一轮除以后一轮是2的N次方；其中，每轮的计算步骤是：
步骤2.1，将本轮的W和F参数N-bit片段加载到对应的PE单元中，PE的乘法结果是P0，P1，...，PZ，对每个PE的乘法结果求和，得到S＝P0+P1+...+PZ；S的位权是W片段的位权乘以F片段的位权；
步骤2.2，将本轮的计算结果S与SUM进行累加；其中，累加的方法是：
如果SUM的位权为不确定状态或者SUM的位权与S的位权相等，则将S加SUM置于SUM中；
如果SUM的位权除以S的位权是2的N次方，则将S加SUM左移N-bit置于SUM中；
步骤2.3，每轮对SUM进行累加后，将S的位权赋予SUM。
10.根据权利要求1所述的一种基于卷积神经网络的处理方法，其特征在于，所述的N＝2或4。
11.根据权利要求1所述的一种基于卷积神经网络的处理方法，其特征在于，所述步骤1中预置SUM寄存器是给SUM赋予初值；所述的给SUM赋予初值包括将0置于SUM寄存器中,SUM的位权设为不确定。
12.根据权利要求1所述的一种基于卷积神经网络的处理方法，其特征在于，W和F的bit数是N-bit的K倍，其中K是正整数。
13.一种基于卷积神经网络的处理系统，其特征在于，无论网络模型参数的精度高低，每个通道都只占用1个PE，每个PE每次加载此通道的一个参数片段进行乘加运算，依次加载不同的参数片段以实现所有W与F参数片段之间的交叉乘积；每次加载W和F参数时，对于PE阵列中乘法结果需要求和在一起的所有PE单元，W参数输入端加载相同位权的W参数片段，F参数输入端加载相同位权的F参数片段。
14.根据权利要求13所述的一种基于卷积神经网络的处理系统，其特征在于，对参数片段的加载计算顺序有两种：(1)按照两个参数片段位权的乘积自高至低进行加载计算；(2)两个参数片段位权的乘积，在连续两次计算中相等，或其中大值与小值的比值等于2的N次方，其中N为PE基本精度大小。
15.根据权利要求13所述的一种基于卷积神经网络的处理系统，其特征在于，用于应用上述权利要求1-12的方法。
16.根据权利要求13所述的一种基于卷积神经网络的处理系统，其特征在于，包括乘法器、寄存器、多选一多路选择器；所述的多选一多路选择器为二选一多路选择器、三选一多路选择器。
CN202010377572.7A 2020-05-07 2020-05-07 一种基于卷积神经网络的处理方法及其系统 Active CN113627600B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010377572.7A CN113627600B (zh) 2020-05-07 2020-05-07 一种基于卷积神经网络的处理方法及其系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010377572.7A CN113627600B (zh) 2020-05-07 2020-05-07 一种基于卷积神经网络的处理方法及其系统

Publications (2)

Publication Number Publication Date
CN113627600A true CN113627600A (zh) 2021-11-09
CN113627600B CN113627600B (zh) 2023-12-29

Family

ID=78376901

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010377572.7A Active CN113627600B (zh) 2020-05-07 2020-05-07 一种基于卷积神经网络的处理方法及其系统

Country Status (1)

Country Link
CN (1) CN113627600B (zh)

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100076915A1 (en) * 2008-09-25 2010-03-25 Microsoft Corporation Field-Programmable Gate Array Based Accelerator System
CN106127301A (zh) * 2016-01-16 2016-11-16 上海大学 一种随机神经网络硬件实现装置
CN108090560A (zh) * 2018-01-05 2018-05-29 中国科学技术大学苏州研究院 基于fpga的lstm递归神经网络硬件加速器的设计方法
CN108229671A (zh) * 2018-01-16 2018-06-29 华南理工大学 一种降低加速器外部数据存储带宽需求的系统和方法
CN108764466A (zh) * 2018-03-07 2018-11-06 东南大学 基于现场可编程门阵列的卷积神经网络硬件及其加速方法
CN109104197A (zh) * 2018-11-12 2018-12-28 合肥工业大学 应用于卷积神经网络的非还原稀疏数据的编译码电路及其编译码方法
CN109543816A (zh) * 2018-09-20 2019-03-29 中国科学院计算技术研究所 一种基于权重捏合的卷积神经网络计算方法和系统
CN109615071A (zh) * 2018-12-25 2019-04-12 济南浪潮高新科技投资发展有限公司 一种高能效的神经网络处理器、加速系统及方法
CN109871949A (zh) * 2017-12-22 2019-06-11 泓图睿语（北京）科技有限公司 卷积神经网络加速器及加速方法
CN109919311A (zh) * 2019-03-13 2019-06-21 北京地平线机器人技术研发有限公司 生成指令序列的方法、执行神经网络运算的方法和装置
US20190236049A1 (en) * 2018-01-31 2019-08-01 Amazon Technologies, Inc. Performing concurrent operations in a processing element
CN110276450A (zh) * 2019-06-25 2019-09-24 交叉信息核心技术研究院(西安)有限公司 基于多粒度的深度神经网络结构化稀疏系统和方法
CN110390383A (zh) * 2019-06-25 2019-10-29 东南大学 一种基于幂指数量化的深度神经网络硬件加速器
CN110852428A (zh) * 2019-09-08 2020-02-28 天津大学 基于fpga的神经网络加速方法和加速器

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100076915A1 (en) * 2008-09-25 2010-03-25 Microsoft Corporation Field-Programmable Gate Array Based Accelerator System
CN106127301A (zh) * 2016-01-16 2016-11-16 上海大学 一种随机神经网络硬件实现装置
CN109871949A (zh) * 2017-12-22 2019-06-11 泓图睿语（北京）科技有限公司 卷积神经网络加速器及加速方法
CN108090560A (zh) * 2018-01-05 2018-05-29 中国科学技术大学苏州研究院 基于fpga的lstm递归神经网络硬件加速器的设计方法
CN108229671A (zh) * 2018-01-16 2018-06-29 华南理工大学 一种降低加速器外部数据存储带宽需求的系统和方法
US20190236049A1 (en) * 2018-01-31 2019-08-01 Amazon Technologies, Inc. Performing concurrent operations in a processing element
CN108764466A (zh) * 2018-03-07 2018-11-06 东南大学 基于现场可编程门阵列的卷积神经网络硬件及其加速方法
CN109543816A (zh) * 2018-09-20 2019-03-29 中国科学院计算技术研究所 一种基于权重捏合的卷积神经网络计算方法和系统
CN109104197A (zh) * 2018-11-12 2018-12-28 合肥工业大学 应用于卷积神经网络的非还原稀疏数据的编译码电路及其编译码方法
CN109615071A (zh) * 2018-12-25 2019-04-12 济南浪潮高新科技投资发展有限公司 一种高能效的神经网络处理器、加速系统及方法
CN109919311A (zh) * 2019-03-13 2019-06-21 北京地平线机器人技术研发有限公司 生成指令序列的方法、执行神经网络运算的方法和装置
CN110276450A (zh) * 2019-06-25 2019-09-24 交叉信息核心技术研究院(西安)有限公司 基于多粒度的深度神经网络结构化稀疏系统和方法
CN110390383A (zh) * 2019-06-25 2019-10-29 东南大学 一种基于幂指数量化的深度神经网络硬件加速器
CN110852428A (zh) * 2019-09-08 2020-02-28 天津大学 基于fpga的神经网络加速方法和加速器

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
QIANRU ZHANG: "Recent Advances in Convolutional Neural Network Acceleration", 《NEUROCOMPUTING》 *
余成宇;李志远;毛文宇;鲁华祥;: "一种高效的稀疏卷积神经网络加速器的设计与实现", 智能系统学报, no. 02 *

Also Published As

Publication number Publication date
CN113627600B (zh) 2023-12-29

Similar Documents

Publication Publication Date Title
US20210357736A1 (en) Deep neural network hardware accelerator based on power exponential quantization
CN110276450B (zh) 基于多粒度的深度神经网络结构化稀疏系统和方法
US20210349692A1 (en) Multiplier and multiplication method
CN111832719A (zh) 一种定点量化的卷积神经网络加速器计算电路
CN110851779B (zh) 用于稀疏矩阵运算的脉动阵列架构
CN111507465B (zh) 一种可配置的卷积神经网络处理器电路
Venkatachalam et al. Approximate sum-of-products designs based on distributed arithmetic
CN116400883A (zh) 一种可切换精度的浮点乘加器
CN109325590A (zh) 用于实现计算精度可变的神经网络处理器的装置
CN110109646A (zh) 数据处理方法、装置和乘加器及存储介质
CN112540743A (zh) 面向可重构处理器的有无符号乘累加器及方法
EP4206993A1 (en) Configurable pooling processing unit for neural network accelerator
CN111008691B (zh) 一种权值和激活值都二值化的卷积神经网络加速器架构
CN115145536A (zh) 一种低位宽输入-低位宽输出的加法器树单元及近似乘加方法
CN114341796A (zh) 带符号多字乘法器
WO2022170811A1 (zh) 一种适用于混合精度神经网络的定点乘加运算单元及方法
An et al. 29.3 an 8.09 tops/w neural engine leveraging bit-sparsified sign-magnitude multiplications and dual adder trees
CN113902109A (zh) 一种神经网络规则化位串行计算的压缩方法及装置
CN110825346B (zh) 一种低逻辑复杂度的无符号近似乘法器
EP3767454B1 (en) Apparatus and method for processing floating-point numbers
CN110766136B (zh) 一种稀疏矩阵与向量的压缩方法
EP3767455A1 (en) Apparatus and method for processing floating-point numbers
CN113627600B (zh) 一种基于卷积神经网络的处理方法及其系统
Wong et al. Low bitwidth CNN accelerator on FPGA using Winograd and block floating point arithmetic
WO2023078364A1 (zh) 矩阵乘法的运算方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant