CN109543816B - 一种基于权重捏合的卷积神经网络计算方法和系统 - Google Patents

一种基于权重捏合的卷积神经网络计算方法和系统 Download PDF

Info

Publication number
CN109543816B
CN109543816B CN201811214323.5A CN201811214323A CN109543816B CN 109543816 B CN109543816 B CN 109543816B CN 201811214323 A CN201811214323 A CN 201811214323A CN 109543816 B CN109543816 B CN 109543816B
Authority
CN
China
Prior art keywords
weight
kneading
matrix
positions
bit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811214323.5A
Other languages
English (en)
Other versions
CN109543816A (zh
Inventor
李晓维
魏鑫
路航
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Computing Technology of CAS
Original Assignee
Institute of Computing Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Computing Technology of CAS filed Critical Institute of Computing Technology of CAS
Publication of CN109543816A publication Critical patent/CN109543816A/zh
Application granted granted Critical
Publication of CN109543816B publication Critical patent/CN109543816B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/40—Conversion to or from variable length codes, e.g. Shannon-Fano code, Huffman code, Morse code
    • H03M7/4031—Fixed length to variable length coding
    • H03M7/4037—Prefix coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/15—Correlation function computation including computation of convolution operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F5/00—Methods or arrangements for data conversion without changing the order or content of the data handled
    • G06F5/01—Methods or arrangements for data conversion without changing the order or content of the data handled for shifting, e.g. justifying, scaling, normalising
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled
    • G06F7/38—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation
    • G06F7/48—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation using non-contact-making devices, e.g. tube, solid state device; using unspecified devices
    • G06F7/50—Adding; Subtracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/3059—Digital compression and data reduction techniques where the original information is represented by a subset or similar information, e.g. lossy compression
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/40—Conversion to or from variable length codes, e.g. Shannon-Fano code, Huffman code, Morse code
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/70—Type of the data to be coded, other than image and sound
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Abstract

本发明涉及一种基于权重捏合的卷积神经网络计算方法和系统，包括：将原始权重按计算顺序排列并按位对齐，得到权重矩阵，剔除权重矩阵中的松弛位，得到具有空位的精简矩阵，并使得精简矩阵的每一列中的基本位按计算顺序递补空位，得到中间矩阵，剔除中间矩阵中的空行，并将中间矩阵的空位置0，得到捏合矩阵，捏合矩阵的每一行作为捏合权重；根据激活值与原始权重中基本位的对应关系，得到捏合权重中每一位对应激活值的位置信息；将捏合权重送入拆分累加器，拆分累加器将捏合权重按位分割为多个权重段，根据位置信息，将权重段与对应的激活值进行求和处理，并将处理结果发送至加法树，通过对处理结果执行移位相加，得到输出特征图。

Description

一种基于权重捏合的卷积神经网络计算方法和系统
技术领域
本发明涉及神经网络计算领域，并特别涉及一种基于权重捏合的卷积神经网络计算方法和系统。
背景技术
深度卷积神经网络已经在机器学习应用中取得了重大进展，例如实时图像识别、检测和自然语言处理等。为了提高准确性，先进的深度卷积神经网络(DCNN)架构拥有复杂的连接和大量的神经元和突触，以满足高精度和复杂的任务的需求。卷积运算时，权重与对应的激活值相乘，最后把积加起来求和。即权重和激活值构成一对。
鉴于传统通用处理器架构的局限性，许多研究人员提出了针对现代DCNN的特定计算模式的专用加速器。DCNN由多个层组成，从几十层到几百层，甚至上千层。在整个DCNN中近98％的计算来自卷积操作。卷积作为影响功率和性能的最主要因素。在不损害学习模型的稳健性的情况下提高卷积的计算效率，成为加速DCNN的有效方法，尤其是在资源有限和有低功耗需求的轻量级设备(如智能手机和自动机器人)上。
为了解决这一挑战，一些现有方法利用定点乘法可以分解为一系列单比特乘法并移位相加的特点，提出在执行MAC时使用比特位级串行。然而，基本位(或1)可能出现在定点数的任何位置，因此这种方案必须将位“1”的最坏情况的位置考虑在内，如果是16位定点数(fp16)需要使用16位寄存器保存基本位(“1”)的位置信息。不同的权重或激活值可能在加速过程中产生不同的等待时间，因此产生不可预测的周期。硬件设计必然会覆盖最坏情况，只能将最坏情况的周期作为加速器的周期，不仅会增大处理周期，减小加速器的频率，还会增加设计复杂性。
为了加速这种操作，经典的DCNN加速器通过在每个激活值和权重通道上部署乘法器和加法器，进行乘加操作。为了在加速和准确度之间达到平衡，乘法可以是浮点32位操作数，或者16位定点数和8位整型数。与定点数加法器相比，乘法器决定了卷积操作的延迟，8位定点的2操作数乘法器所需时间是加法器的3.4倍。并且不同的DCNN模型所需精度不同，甚至在同一个模型的不同层都有不同的精度需求，因此为卷积神经网络加速器设计的乘法器必须能够覆盖最坏情况。
经典DCNN加速器主要部件是乘加器，而乘加器的主要问题是会进行无效运算，无效计算可以表现在两个方面：首先操作数是有很多零值或包括大部分零比特的值。与零位相比，零值在权重中占据了一小部分。这些小部分0可以通过先进的微架构设计或内存级压缩技术轻松消除，并作为输入避免使用乘数。图1显示，与基本位(或1)相比，零位的平均比例高达68.9％。其次乘加运算的中间结果是无用的，例如，y＝ab+cd+de，我们只需要y的值，而不需要ab的值。这意味着优化零位和乘加运算将有助于计算效率、降低功耗。
有很多人利用量化技术加速计算。例如，将权重转换为二值，或更精确的三值。因此乘法运算可以转换为纯移位或加法操作。然而，这样做必然会牺牲结果的精度，尤其是在大型数据集中这些方案精度损失非常严重。因此，发明高精度的加速器是非常有必要的。
传统的CNN将每个权重/激活值对都放入处理单元(PE)中，并在一个周期内完成乘加操作，然而无法避免计算零比特。如果我们可以减少无效计算的时间，那么PE的吞吐量将得到提升。本发明将PE中包含“0”比特的位称为“松弛位”。
基本位(或1)的分布有两个特性：(1)在每个位置约为50％～60％的概率是有效的，这也意味着40％～50％的概率是松弛的。(2)某些权重大部分的比特位是松弛。例如，第3～5位仅少于1％的基本位。这些位几乎全部由松弛位组成，但乘法器在执行乘加操作时不会将松弛位和基本位区分开来。如果想要改善卷积操作执行效率，必须利用松弛位。
如果先前权重中的松弛位可以被后续权重的基本位替代，就可以减少无效计算，并在一个周期中处理多个权重/激活值对。挤压这些权重，总权重可压缩到其初始体积的近一半。换句话说，可以减少50％的推理时间。然而，实现这一目标将是很困难的，因为需要修改现有的MAC计算模式并重新构建硬件架构以支持新的计算模式。
发明内容
为了解决上述技术问题，本发明目的在于提供一种高效的卷积运算方法，包括权重捏合技术，用于卷积神经网络加速器。权重捏合改善了现代DCNN模型中普遍存在的零位松弛。与数据压缩或修剪不同，它减少了权重的数量而没有精度损失。
具体来说，本发明公开了一种基于权重捏合的卷积神经网络计算系统，包括：
权重捏合模块，用于获取多组待运算的激活值及其对应的原始权重，将该原始权重按计算顺序排列并按位对齐，得到权重矩阵，剔除该权重矩阵中的松弛位，得到具有空位的精简矩阵，并使得该精简矩阵的每一列中的基本位按该计算顺序递补该空位，得到中间矩阵，剔除该中间矩阵中的空行，并将该中间矩阵的空位置0，得到捏合矩阵，该捏合矩阵的每一行作为捏合权重；
拆分累加模块，用于根据激活值与原始权重中基本位的对应关系，得到该捏合权重中每一位对应激活值的位置信息，将该捏合权重送入拆分累加器，该拆分累加器将该捏合权重按位分割为多个权重段，根据该位置信息，将该权重段与对应的激活值进行求和处理，并将处理结果发送至加法树，通过对该处理结果执行移位相加，得到输出特征图；
其中，该原始权重为16位定点数，且该拆分累加器包括分离器，用于对该捏合权重进行按位分割。
所述的基于权重捏合的卷积神经网络计算系统，其中该拆分累加模块包括：利用哈夫曼编码保存该捏合权重中每一位对应激活值的该位置信息。
所述的基于权重捏合的卷积神经网络计算系统，其中该激活值为图像的像素值。
本发明还公开了一种基于权重捏合的卷积神经网络计算方法，其中包括：
步骤1、获取多组待运算的激活值及其对应的原始权重，将该原始权重按计算顺序排列并按位对齐，得到权重矩阵，剔除该权重矩阵中的松弛位，得到具有空位的精简矩阵，并使得该精简矩阵的每一列中的基本位按该计算顺序递补该空位，得到中间矩阵，剔除该中间矩阵中的空行，并将该中间矩阵的空位置0，得到捏合矩阵，该捏合矩阵的每一行作为捏合权重；
步骤2、根据激活值与原始权重中基本位的对应关系，得到该捏合权重中每一位对应激活值的位置信息；
步骤3、将该捏合权重送入拆分累加器，该拆分累加器将该捏合权重按位分割为多个权重段，根据该位置信息，将该权重段与对应的激活值进行求和处理，并将处理结果发送至加法树，通过对该处理结果执行移位相加，得到输出特征图。
所述的基于权重捏合的卷积神经网络计算方法，其中步骤3中该拆分累加器包括分离器和段加法器，该分离器用于对该捏合权重进行按位分割，该段加法器用于对该权重段与对应的激活值进行求和处理。
所述的基于权重捏合的卷积神经网络计算方法，其中该步骤2包括：利用哈夫曼编码保存该捏合权重中每一位对应激活值的位置信息。
所述的基于权重捏合的卷积神经网络计算方法，其中该激活值为图像的像素值。
本发明的技术进步包括：
1、通过本发明的捏合权重和激活值的方法，以及解析运算捏合值的方式，可实现减少存储并加速运算速度；
2、俄罗斯方块加速器架构，包括SAC的结构和分离器的结构，可进一步加速卷积计算。
用VivadoHLS仿真两种方法得到执行时间，图2显示了DaDN以及本发明提出的俄罗斯方块加速器(Tetris)的两种模式的推理加速。在这里，我们观察到通过捏合权重，俄罗斯方块方法可以在fp16上实现1.30倍的加速，int8模式可以实现平均1.50倍加速。相比PRA可以实现近1.15倍的加速。
附图说明
图1为一些现代深度卷积神经网络模型零值和零比特位占的比例；
图2技术效果对比图；
图3为权重捏合示意图；
图4为拆分累加器SAC示意图；
图5为俄罗斯方块加速器架构图；
图6为分离器的结构图；
图7为运算器的寄存器中所存结果示意图。
具体实施方式
本发明重新构建了DCNN模型的推理计算模式。本发明使用分裂累加器(SAC)来代替经典的计算模式--MAC。没有经典的乘法运算，而是由一系列低运算成本的加法器代替。本发明可以充分利用权重中的基本位，由加法器、移位器等构成，没有乘法器。传统乘法器中每个权重/激活值对都进行一次移位求和运算，其中“权重/激活值”意为“权重和激活值”。而本发明对多个权重/激活值对进行多次累加，只进行一次移位相加求和，从而获得大幅加速。
最后，本发明提出了俄罗斯方块加速器，以挖掘权重捏合技术和分裂累加器SAC的最大潜力。俄罗斯方块加速器由一系列分裂累加器SAC单元构成，并使用捏合的权重和激活值，以实现高吞吐量和低功耗的推理计算。通过高级综合工具的实验证明了与现有技术相比，俄罗斯方块加速器达到了最好的效果。第一层的激活值就是输入，第二次的激活值是第一层的输出，以此类推。如果输入是图像，第一层的激活值就是图像的像素值。
具体来说，本发明包括：
步骤1、获取多组待运算的激活值及其对应的原始权重，将该原始权重按计算顺序排列并按位对齐，得到权重矩阵，剔除该权重矩阵中的松弛位，即将松弛位删除后变为空位，得到具有空位的精简矩阵，并使得该精简矩阵的每一列中的基本位按该计算顺序递补该空位，得到中间矩阵，剔除该中间矩阵中的空行，空行即该中间矩阵中整行均为空位的行，并将提出空行后的该中间矩阵的空位置0，得到捏合矩阵，该捏合矩阵的每一行作为捏合权重；
步骤2、根据激活值与原始权重中基本位的对应关系，得到该捏合权重中每一位(元素)对应激活值的位置信息；
步骤3、将该捏合权重送入拆分累加器，该拆分累加器将该捏合权重按位分割为多个权重段，根据该位置信息，将该权重段与对应的激活值进行求和处理，并将处理结果发送至加法树，通过对该处理结果执行移位相加，得到输出特征图。
其中，该拆分累加器包括分离器和段加法器，该分离器用于对该捏合权重进行按位分割，该段加法器用于对该权重段与对应的激活值进行求和处理。
为让本发明的上述特征和效果能阐述的更明确易懂，下文特举实施例，并配合说明书附图作详细说明如下。
图3显示了捏合权重的方法。假设将6组权重作为一批，通常需要6个周期完成6对权重/激活乘加操作。松弛出现在两个正交维度：(1)在权重内尺寸，即W1、W2、W3、W4、和W6，松弛表示任意分配；(2)松弛位也出现在权重维度，即W5，是一个全零比特(零值)权重，因此它不会出现在图3(b)中。通过捏合优化基本位和松弛位，6个MAC的计算周期将减少到3个循环如图3(c)所示。本发明通过权重捏合获得W’ 1、W’2和W’3，但每一位都是W1～W6的基本位组合。如果允许更多权重，这些松弛位将会被基本位填充，本发明称之为“权重捏合”操作，即使用后续原始权重的基本位替代先前原始权重中的松弛位。显然，权重捏合的好处一方面是它可以自动消除零值的影响并不需要引入额外的操作。另一方面，零位也被基本位替换捏合，它避免了二维松弛的影响。然而，捏合的权重表明了当前捏合权重需要和多个激活值进行运算，而不是与单独激活值进行运算。
为了支持这种高效的计算，探索加速器架构的必要性是非常重要的，这种架构与经典MAC的传统架构不同。我们使用等效移位加shift-and-add获得一个部分和，部分和不完全是一系列权重/激活值乘法的总和。因此，在计算一个捏合权重w'之后不必立即移位b位。移b位的最终和可以在捏合权重计算之后进行。b的大小是根据移位相加的原理来的。例如，激活值a有4位，权重w也有4位，分别为w1，w2，w3，w4，w1为高位，则a*w＝a*w1*23+a*w2*22+a*w3*21+a*w4*20。乘以23即左移3位，乘以22即左移2位，乘以21即左移1位。因此传统乘法器每算完一个w*a都有移位相加的操作。而本发明减少了移位相加的次数，本发明的处理模式不同于传统的MAC和规范位序列化方，在本发明中将其称为“SAC”，SAC表示“拆分和累加”。SAC操作首先分割捏合的权重，引用激活值并最终将每个激活值累积到特定的段寄存器。图4显示了每个权重/激活值对的SAC过程。该图仅作为SAC的示例展示其概念，而在实际使用中，采用捏合权重SAC，即数据先经过权重捏合，然后送入SAC进行计算，多个SAC组成阵列构成本发明的加速器。
图4所示的拆分累加器(SAC)，与MAC不同，它旨在精确计算的成对乘法；它首先分割权重，根据分割结果将对于激活值在对应的段加法器中求和。在一定数量的权重/激活值对完成处理之后，执行最终的移位加(shift-and-add)操作以获得最终和。“一定数量”是由实验得出来的，与卷积神经网络模型的权重分布相关，可以根据特定模型设置比较好的值，也可选择一个折中的适合大多数模型的值。详细来说，SAC是拆分累加器。数据进入之后，先经过权重捏合，权重捏合的输出作为SAC的输入。分离器(spliter)是SAC的一部分，权重进入SAC后，先经过分离器，将权重解析(分割权重)，并分配给后续的段寄存器和段加法器。然后经过加法树(addertree)得到最终结果。
SAC根据所需比特长度实例化“分离器”：如果对每个权重值使用16位定点数，那么就需要16个段寄存器(图中p＝16)和16个加法器，根据精度与速度要求决定定点数的位数。精度越高速度越慢，这个选择根据不同需求而定。而且不同模型对精度敏感程度也不同，有的模型8位就很好，有的模型要16位。通常，分离器负责用于将每个段分散到其对应的加法器中，例如，如果权重的第二位是基本位，激活在图中传递给S1。相同操作适用于其他位。在“分裂”这个权重后，随后的权重以相同的方式处理，因此每个权重段寄存器累加了新的激活。后续的加法器树执行一次移位相加获得最终的部分和。与MAC不同，SAC不会尝试获得中间部分和。原因在于真正的CNN模型，输出特征图仅需要“最终”和，即卷积核的所有通道的总和及其相应的输入特征图。尤其是当使用捏合权重时，其好处与MAC相比更明显。如图3和图7所示。用MAC计算6对权重和激活值，需要先计算a1*w1，然后计算a2*w2以此类推，需要6次乘法操作。而SAC需要3个周期，虽然SAC有读取激活值位置信息的操作，但这都是寄存器内的，耗时非常短，远远小于一次乘法操作。卷积运算最耗时的是乘法操作，本发明并没有乘法操作。而且移位操作也比MAC少。虽然本发明为此牺牲了非常少的额外存储，但这种牺牲是值得的。
图5.俄罗斯方块加速器架构。每个SAC单元由16个并行组织的分离器(即图6)组成，接受一系列捏合权重和激活值，由捏合步幅(KS)参数表示，相同数量的分段加法器以及后面的加法器树负责计算最终的部分和。其中俄罗斯方块指的是本发明采用的捏合过程类似俄罗斯方块的堆叠过程。
在传统的加速器设计中，成对的累加器不能提高推理效率，因为它不区分无效计算，因此即使权重的当前位为零，它仍然会计算对应权重/激活值对。因此，本发明提出的俄罗斯方块加速器，利用捏合权重，SAC仅将激活值分配给分段加法器以进行累积。图5显示了俄罗斯方块的架构。每个SAC单元都接受权重/激活值。具体而言，加速器由对称的SAC单元矩阵组成，与节流缓冲器连接，接受来自片上eDRAM的捏合权重。如果使用定点16位权重，每个单元包含16个分离器，组成分离器阵列。分离器根据参数KS，激活值和权重值。KS，即KS个权重捏合。有16个输出数据路径用于激活以到达每个分离器的目标段寄存器，因此它在分离器阵列和分段加法器之间形成完全连接的结构。
分离器微架构如图6所示。权重捏合技术要求分离器可以接受一组捏合权重的激活值，并且每个基本位必须是可识别的，以指示KS范围内的相关激活值。俄罗斯方块方法在分离器中使用<Wi，p>来表示与特定基本位相关的激活。KS代表p位数表示的范围，即4比特的p指的是16个权重的揉捏步幅。它分配一个比较器以确定捏合权重的位是否为零，因为即使在捏合之后，某些位置也可能是无效的，即图3(c)中的W’3，这取决于KS。如果是松弛，则比较器之后的多路复用器输出零到后面的结构。否则，它将解码p并输出相应的激活值。
分离器只在必要时在节流缓冲区中获取目标激活值，并且不需要多次存储激活值。新引入的位置信息p将占用一小部分空间，但p的使用仅解码激活，并且仅由几个比特组成，即16个激活需要4比特，因此它不会在加速器中引入大量的片上资源和功率开销。
对于每个段加法器，它接收来自所有16个分离器的激活值和自本地段寄存器的值相加。中间段和存储在S0～S15寄存器中，并且一旦完成所有可相加的任务，通过“控制信号”通知多路复用器将每个段值传递给后面的加法器树。加法器树的最后一级生成最终的和，并将其传递给输出非线性激活函数，该非线性激活函数是由网络模型决定的，例如RELU，sigmoid。在节流缓冲单元中，通过标记表示可加的激活/权重对的末端，将其发送给每个SAC单元中检测器。如果所有标记到达结尾，则加法器树输出最终和。由于我们使用KS作为参数来控制捏合的权重，不同的通道将具有不同数量的捏合权重，因此在大多数情况下，标记可以驻留在节流缓冲器的任何位置。如果新的激活值/权重对填充到缓冲区中，则标记向后移动，因此它不会影响每个段部分和的计算。
简而言之，权重先经过捏合存至自片上eDRAM，从eDRAM获得捏合权重，经过SAC的分离器将权重解析，并分配给后续的段寄存器和加法器。然后经过加法树得到最终结果。改最终结果就是特征图，即下一层的输入。
W’的每一位有可能对应不同的A(激活值)，如果这位是‘1’需要额外开销存储这一位是对应的哪个A，如果这一位是‘0’就不用存储了。至于额外存储的位置信息(对应的是哪个A)，本发明不限制编码方式，比较常用编码方式例如利用哈夫曼编码。将W’和额外存储的位置信息送入SAC，SAC将这些权重和激活值送入相应的运算器。
根据图3捏合权重，运算器的寄存器中结果如图7所示，然后将寄存器中结果移位相加得到最后结果。
以下为与上述方法实施例对应的系统实施例，本实施方式可与上述实施方式互相配合实施。上述实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在上述实施方式中。
本发明还公开了一种基于权重捏合的卷积神经网络计算系统，包括：
权重捏合模块，用于获取多组待运算的激活值及其对应的原始权重，将该原始权重按计算顺序排列并按位对齐，得到权重矩阵，剔除该权重矩阵中的松弛位，得到具有空位的精简矩阵，并使得该精简矩阵的每一列中的基本位按该计算顺序递补该空位，得到中间矩阵，剔除该中间矩阵中的空行，并将该中间矩阵的空位置0，得到捏合矩阵，该捏合矩阵的每一行作为捏合权重；
拆分累加模块，用于根据激活值与原始权重中基本位的对应关系，得到该捏合权重中每一位对应激活值的位置信息，将该捏合权重送入拆分累加器，该拆分累加器将该捏合权重按位分割为多个权重段，根据该位置信息，将该权重段与对应的激活值进行求和处理，并将处理结果发送至加法树，通过对该处理结果执行移位相加，得到输出特征图；
其中，该原始权重为16位定点数，且该拆分累加器包括分离器，用于对该捏合权重进行按位分割。
所述的基于权重捏合的卷积神经网络计算系统，其中该拆分累加模块包括：利用哈夫曼编码保存该捏合权重中每一位对应激活值的该位置信息。
所述的基于权重捏合的卷积神经网络计算系统，其中该激活值为图像的像素值。

Claims (7)

1.一种基于权重捏合的卷积神经网络计算系统，其特征在于，包括：
权重捏合模块，用于获取多组待运算的激活值及其对应的原始权重，将该原始权重按计算顺序排列并按位对齐，得到权重矩阵，剔除该权重矩阵中的松弛位，得到具有空位的精简矩阵，并使得该精简矩阵的每一列中的基本位按该计算顺序递补该空位，得到中间矩阵，剔除该中间矩阵中的空行，并将该中间矩阵的空位置0，得到捏合矩阵，该捏合矩阵的每一行作为捏合权重；
拆分累加模块，用于根据激活值与原始权重中基本位的对应关系，得到该捏合权重中每一位对应激活值的位置信息，将该捏合权重送入拆分累加器，该拆分累加器将该捏合权重按位分割为多个权重段，根据该位置信息，将该权重段与对应的激活值进行求和处理，并将处理结果发送至加法树，通过对该处理结果执行移位相加，得到输出特征图；
其中，该原始权重为16位定点数，且该拆分累加器包括分离器，用于对该捏合权重进行按位分割。
2.如权利要求1所述的基于权重捏合的卷积神经网络计算系统，其特征在于，该拆分累加模块包括：利用哈夫曼编码保存该捏合权重中每一位对应激活值的该位置信息。
3.如权利要求1或2所述的基于权重捏合的卷积神经网络计算系统，其特征在于，该激活值为图像的像素值。
4.一种基于权重捏合的卷积神经网络计算方法，其特征在于，包括：
步骤1、获取多组待运算的激活值及其对应的原始权重，将该原始权重按计算顺序排列并按位对齐，得到权重矩阵，剔除该权重矩阵中的松弛位，得到具有空位的精简矩阵，并使得该精简矩阵的每一列中的基本位按该计算顺序递补该空位，得到中间矩阵，剔除该中间矩阵中的空行，并将该中间矩阵的空位置0，得到捏合矩阵，该捏合矩阵的每一行作为捏合权重；
步骤2、根据激活值与原始权重中基本位的对应关系，得到该捏合权重中每一位对应激活值的位置信息；
步骤3、将该捏合权重送入拆分累加器，该拆分累加器将该捏合权重按位分割为多个权重段，根据该位置信息，将该权重段与对应的激活值进行求和处理，并将处理结果发送至加法树，通过对该处理结果执行移位相加，得到输出特征图。
5.如权利要求4所述的基于权重捏合的卷积神经网络计算方法，其特征在于，步骤3中该拆分累加器包括分离器和段加法器，该分离器用于对该捏合权重进行按位分割，该段加法器用于对该权重段与对应的激活值进行求和处理。
6.如权利要求4或5所述的基于权重捏合的卷积神经网络计算方法，其特征在于，该步骤2包括：利用哈夫曼编码保存该捏合权重中每一位对应激活值的位置信息。
7.如权利要求4或5所述的基于权重捏合的卷积神经网络计算方法，其特征在于，该激活值为图像的像素值。
CN201811214323.5A 2018-09-20 2018-10-18 一种基于权重捏合的卷积神经网络计算方法和系统 Active CN109543816B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201811100309 2018-09-20
CN2018111003092 2018-09-20

Publications (2)

Publication Number Publication Date
CN109543816A CN109543816A (zh) 2019-03-29
CN109543816B true CN109543816B (zh) 2022-12-06

Family

ID=65843951

Family Applications (3)

Application Number Title Priority Date Filing Date
CN201811214310.8A Active CN109543140B (zh) 2018-09-20 2018-10-18 一种卷积神经网络加速器
CN201811214323.5A Active CN109543816B (zh) 2018-09-20 2018-10-18 一种基于权重捏合的卷积神经网络计算方法和系统
CN201811214639.4A Active CN109543830B (zh) 2018-09-20 2018-10-18 一种用于卷积神经网络加速器的拆分累加器

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201811214310.8A Active CN109543140B (zh) 2018-09-20 2018-10-18 一种卷积神经网络加速器

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201811214639.4A Active CN109543830B (zh) 2018-09-20 2018-10-18 一种用于卷积神经网络加速器的拆分累加器

Country Status (3)

Country Link
US (3) US20210350204A1 (zh)
CN (3) CN109543140B (zh)
WO (3) WO2020057162A1 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109543140B (zh) * 2018-09-20 2020-07-10 中国科学院计算技术研究所 一种卷积神经网络加速器
CN110059733A (zh) * 2019-04-01 2019-07-26 苏州科达科技股份有限公司 卷积神经网络的优化及快速目标检测方法、装置
CN110245324B (zh) * 2019-05-19 2023-01-17 南京惟心光电系统有限公司 一种基于光电计算阵列的反卷积运算加速器及其方法
CN110245756B (zh) * 2019-06-14 2021-10-26 第四范式（北京）技术有限公司 用于处理数据组的可编程器件及处理数据组的方法
CN110633153A (zh) * 2019-09-24 2019-12-31 上海寒武纪信息科技有限公司 一种用多核处理器实现神经网络模型拆分方法及相关产品
CN114600126A (zh) * 2019-10-30 2022-06-07 华为技术有限公司 一种卷积运算电路和卷积运算方法
CN110807522B (zh) * 2019-10-31 2022-05-06 合肥工业大学 一种神经网络加速器的通用计算电路
CN113627600B (zh) * 2020-05-07 2023-12-29 合肥君正科技有限公司 一种基于卷积神经网络的处理方法及其系统
US11500811B2 (en) * 2020-06-12 2022-11-15 Alibaba Group Holding Limited Apparatuses and methods for map reduce
CN113919477A (zh) * 2020-07-08 2022-01-11 嘉楠明芯(北京)科技有限公司 一种卷积神经网络的加速方法及装置
CN112580787B (zh) * 2020-12-25 2023-11-17 北京百度网讯科技有限公司 神经网络加速器的数据处理方法、装置、设备及存储介质
WO2022198685A1 (en) * 2021-03-26 2022-09-29 Shanghaitech University Reduced approximation sharing-based single-input multi-weights multiplier
CN114021710A (zh) * 2021-10-27 2022-02-08 中国科学院计算技术研究所 利用比特级稀疏性的深度学习卷积加速方法及处理器
CN114168991B (zh) * 2022-02-10 2022-05-20 北京鹰瞳科技发展股份有限公司 对加密数据进行处理的方法、电路及相关产品

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107341544A (zh) * 2017-06-30 2017-11-10 清华大学 一种基于可分割阵列的可重构加速器及其实现方法
WO2018058426A1 (zh) * 2016-09-29 2018-04-05 清华大学 硬件神经网络转换方法、计算装置、编译方法和神经网络软硬件协作系统
CN107918794A (zh) * 2017-11-15 2018-04-17 中国科学院计算技术研究所 基于计算阵列的神经网络处理器

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103679185B (zh) * 2012-08-31 2017-06-16 富士通株式会社 卷积神经网络分类器系统、其训练方法、分类方法和用途
US9513870B2 (en) * 2014-04-22 2016-12-06 Dialog Semiconductor (Uk) Limited Modulo9 and modulo7 operation on unsigned binary numbers
US10049322B2 (en) * 2015-05-21 2018-08-14 Google Llc Prefetching weights for use in a neural network processor
US20160379109A1 (en) * 2015-06-29 2016-12-29 Microsoft Technology Licensing, Llc Convolutional neural networks on hardware accelerators
US11074492B2 (en) * 2015-10-07 2021-07-27 Altera Corporation Method and apparatus for performing different types of convolution operations with the same processing elements
US11170294B2 (en) * 2016-01-07 2021-11-09 Intel Corporation Hardware accelerated machine learning
AU2016203619A1 (en) * 2016-05-31 2017-12-14 Canon Kabushiki Kaisha Layer-based operations scheduling to optimise memory for CNN applications
US20170344876A1 (en) * 2016-05-31 2017-11-30 Samsung Electronics Co., Ltd. Efficient sparse parallel winograd-based convolution scheme
US10528864B2 (en) * 2016-08-11 2020-01-07 Nvidia Corporation Sparse convolutional neural network accelerator
CN106529670B (zh) * 2016-10-27 2019-01-25 中国科学院计算技术研究所 一种基于权重压缩的神经网络处理器、设计方法、芯片
CN107239824A (zh) * 2016-12-05 2017-10-10 北京深鉴智能科技有限公司 用于实现稀疏卷积神经网络加速器的装置和方法
US10871964B2 (en) * 2016-12-29 2020-12-22 Qualcomm Incorporated Architecture for sparse neural network acceleration
CN107086910B (zh) * 2017-03-24 2018-08-10 中国科学院计算技术研究所 一种针对神经网络处理的权重加解密方法和系统
CN107392308B (zh) * 2017-06-20 2020-04-03 中国科学院计算技术研究所 一种基于可编程器件的卷积神经网络加速方法与系统
CN107844826B (zh) * 2017-10-30 2020-07-31 中国科学院计算技术研究所 神经网络处理单元及包含该处理单元的处理系统
CN108182471B (zh) * 2018-01-24 2022-02-15 上海岳芯电子科技有限公司 一种卷积神经网络推理加速器及方法
SG11202007532TA (en) * 2018-02-16 2020-09-29 Governing Council Univ Toronto Neural network accelerator
CN108510066B (zh) * 2018-04-08 2020-05-12 湃方科技(天津)有限责任公司 一种应用于卷积神经网络的处理器
CN109543140B (zh) * 2018-09-20 2020-07-10 中国科学院计算技术研究所 一种卷积神经网络加速器

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018058426A1 (zh) * 2016-09-29 2018-04-05 清华大学 硬件神经网络转换方法、计算装置、编译方法和神经网络软硬件协作系统
CN107341544A (zh) * 2017-06-30 2017-11-10 清华大学 一种基于可分割阵列的可重构加速器及其实现方法
CN107918794A (zh) * 2017-11-15 2018-04-17 中国科学院计算技术研究所 基于计算阵列的神经网络处理器

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Delay-dependent robust stochastic stability of cellular neural networks with Markovian jumping parameters;Chang-Jie Zhou, etc.;《2010 International Conference on Machine Learning and Cybernetics》;20100920;全文 *
利用参数稀疏性的卷积神经网络计算优化及其FPGA加速器设计;刘勤让等;《电子与信息学报》;20180409(第06期);全文 *
基于支持向量机分类的RNA共同二级结构预测;赵英杰等;《生物工程学报》;20080725(第07期);全文 *

Also Published As

Publication number Publication date
CN109543140B (zh) 2020-07-10
CN109543816A (zh) 2019-03-29
CN109543140A (zh) 2019-03-29
WO2020057162A1 (zh) 2020-03-26
WO2020057161A1 (zh) 2020-03-26
CN109543830A (zh) 2019-03-29
US20210357735A1 (en) 2021-11-18
US20210350214A1 (en) 2021-11-11
WO2020057160A1 (zh) 2020-03-26
US20210350204A1 (en) 2021-11-11
CN109543830B (zh) 2023-02-03

Similar Documents

Publication Publication Date Title
CN109543816B (zh) 一种基于权重捏合的卷积神经网络计算方法和系统
CN107862374B (zh) 基于流水线的神经网络处理系统和处理方法
KR102557589B1 (ko) 가속화된 수학 엔진
Kang Accelerator-aware pruning for convolutional neural networks
Ryu et al. Bitblade: Area and energy-efficient precision-scalable neural network accelerator with bitwise summation
CN107844826B (zh) 神经网络处理单元及包含该处理单元的处理系统
US20180197084A1 (en) Convolutional neural network system having binary parameter and operation method thereof
US20180046894A1 (en) Method for optimizing an artificial neural network (ann)
US20220058486A1 (en) System and method of accelerating execution of a neural network
CN112200300B (zh) 卷积神经网络运算方法及装置
EP3637327B1 (en) Computing device and method
US20220164663A1 (en) Activation Compression Method for Deep Learning Acceleration
CN110766128A (zh) 卷积计算单元、计算方法及神经网络计算平台
CN110555516A (zh) 基于FPGA的YOLOv2-tiny神经网络低延时硬件加速器实现方法
CN110851779A (zh) 用于稀疏矩阵运算的脉动阵列架构
KR20190089685A (ko) 데이터를 처리하는 방법 및 장치
KR20220114519A (ko) 양자 오류 정정 디코딩 시스템 및 방법, 내결함성 양자 오류 정정 시스템 및 칩
Lee et al. Flexible group-level pruning of deep neural networks for on-device machine learning
Guo et al. A high-efficiency fpga-based accelerator for binarized neural network
Wu et al. A 3.89-GOPS/mW scalable recurrent neural network processor with improved efficiency on memory and computation
CN110659014B (zh) 乘法器及神经网络计算平台
Sakr et al. Memory-efficient CMSIS-NN with replacement strategy
CN110716751A (zh) 高并行度计算平台、系统及计算实现方法
US11928176B2 (en) Time domain unrolling sparse matrix multiplication system and method
CN111582444A (zh) 一种矩阵数据的处理、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant