CN106066783A - 基于幂次权重量化的神经网络前向运算硬件结构 - Google Patents
基于幂次权重量化的神经网络前向运算硬件结构 Download PDFInfo
- Publication number
- CN106066783A CN106066783A CN201610388694.XA CN201610388694A CN106066783A CN 106066783 A CN106066783 A CN 106066783A CN 201610388694 A CN201610388694 A CN 201610388694A CN 106066783 A CN106066783 A CN 106066783A
- Authority
- CN
- China
- Prior art keywords
- power weight
- neutral net
- input data
- module
- forward direction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled
- G06F7/38—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation
- G06F7/48—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation using non-contact-making devices, e.g. tube, solid state device; using unspecified devices
- G06F7/52—Multiplying; Dividing
- G06F7/523—Multiplying only
Abstract
本发明提出一种基于幂次权重量化的神经网络前向运算硬件结构，包括：输入缓存模块，输入缓存模块用于缓存从全局存储器中搬运到片上的输入数据和神经网络幂次权重，其中，神经网络幂次权重包括卷积核和全连接矩阵；计算模块，计算模块用于进行基于幂次权重量化的卷积和全连接矩阵向量乘运算；输出缓存模块，输出缓存模块用于缓存计算模块得到的卷积或全连接矩阵向量乘的运算结果；以及控制模块，控制模块用于对输入缓存模块、运算模块和输出缓存模块进行数据搬运和运算资源调度。本发明在有效降低神经网络的存储量的同时，可以有效地降低神经网络运算开销，能够显著提升了神经网络计算系统在终端设备上的应用空间。
Description
技术领域
本发明涉及计算机及电子信息技术领域，特别涉及一种基于幂次权重量化的神经网络前向运算硬件结构。
背景技术
随着深度神经网络规模(存储量达到百MB量级)和计算量(单次前向运行达10GFPLOS量级)的不断增大，现有的智能终端设备(如手机)已无法支持大规模神经网络的复杂应用，因而如何有效降低深度神经网络应用的存储量和计算量变得十分重要。通过权重量化的方式，或将权重转化为定点数，或建立量化权重码本，可以有效压缩模型，降低神经网络的存储量。因而，如何设计有效的量化方法，进而针对该量化方法设计高效的硬件结构，是一个非常关键的问题。
定点数量化的方法，是一种线性的权重量化方法。该方法通过将浮点数转换为定点数的方式，在保证神经网络识别准确率的前提下，可以一定程度减低神经网络权重的比特数，进而降低神经网络的所需存储量。然而，这种方法压缩比较为有限，一般仅能将32bit浮点数压缩到4bit-8bit定点数；另外，配合定点数权重的量化方法，需要设计定点数乘法器，其运算开销依然很高。
目前的非线性权重量化方法，大多通过建立码本的方法，在保证神经网络准确率的情况下，可将32bit浮点数权重编码为2bit-4bit的码本。尽管这种方法可通过降低编码长度的方法大幅降低存储量，然而计算时需要将低比特数的编码重新解码为高比特数的浮点数，因此仍然需要采用浮点数乘法器，其运算开销依然很高；另外，配合低比特编码解码为高比特浮点数的操作，需要额外设计解码器。
尽管目前的神经网络权重的量化方法，可以有效降低网络权重的存储量，然而在降低神经网络的运算开销方面并没有展现出较为可观的优势，甚至解码器的额外引入增加了神经网络的运算复杂度。
发明内容
本发明旨在至少在一定程度上解决上述相关技术中的技术问题之一。
为此，本发明的目的在于提出一种基于幂次权重量化的神经网络前向运算硬件结构，在有效降低神经网络的存储量的同时，可以有效地降低神经网络运算开销，能够显著提升了神经网络计算系统在终端设备上的应用空间。
为了实现上述目的，本发明的实施例提出了一种基于幂次权重量化的神经网络前向运算硬件结构，包括：输入缓存模块，所述输入缓存模块用于缓存从全局存储器中搬运到片上的输入数据和神经网络幂次权重，其中，神经网络幂次权重包括卷积核和全连接矩阵；计算模块，所述计算模块用于进行基于幂次权重量化的卷积和全连接矩阵向量乘运算；输出缓存模块，所述输出缓存模块用于缓存所述计算模块得到的卷积或全连接矩阵向量乘的运算结果；以及控制模块，所述控制模块用于对所述输入缓存模块、运算模块和输出缓存模块进行数据搬运和运算资源调度。
根据本发明实施例的基于幂次权重量化的神经网络前向运算硬件结构，在有效降低神经网络的存储量的同时，可以有效地降低神经网络运算开销。该硬件机构采用基于位移器的乘法运算单元，可有效地减少计算资源开销，简化运算过程，显著提升了神经网络计算系统在终端设备上的应用空间。以8bit定点数乘法器为例，本发明可节省62％左右的存储单元，45％左右的运算单元，显著提升了神经网络计算系统在终端设备上的应用空间。
另外，根据本发明上述实施例的基于幂次权重量化的神经网络前向运算硬件结构还可以具有如下附加的技术特征：
在一些示例中，所述输入缓存模块包括：输入数据缓存单元，所述输入数据缓存单元用于存储所述输入数据；幂次权重缓存单元，所述幂次权重缓存单元用于存储所述幂次权重。
在一些示例中，所述输入数据缓存单元用于按照一般浮点数、定点数或动态范围定点数的方式对所述输入数据进行存储。
在一些示例中，所述幂次权重缓存单元用于按照预设的幂次编码方式对所述神经网络幂次权重进行存储。
在一些示例中，所述计算模块包括：乘法单元，所述乘法单元用于进行单个输入数据和单个神经网络幂次权重的乘法运算，以得到卷积或全连接矩阵向量乘的中间结果；加法单元，所述加法单元用于将所述中间结果进行累加运算，以得到卷积或全连接矩阵向量乘的运算结果；控制接口，所述控制接口用于接收所述控制模块发送的指令；数据接口，所述数据接口用于存取所述输入数据和神经网络幂次权重；寄存器堆，所述寄存器堆用于存储所述中间结果。
在一些示例中，其中，所述乘法单元用于将所述输入数据的符号位与神经网络幂次权重的符号位进行比较，并在所述输入数据的符号位与神经网络幂次权重的符号位不同时将所述输入数据按位取反再加1或在所述输入数据的符号位与神经网络幂次权重的符号位相同时将所述输入数据保持，以得到完成符号运算的中间结果，并将所述完成符号运算的中间结果送入位移器，以根据神经网络幂次权重的幂次权重位进行左移或右移，以得到所述卷积或全连接矩阵向量乘的中间结果，并将所述中间结果发送至所述加法单元，以使所述加法单元根据所述中间结果得到卷积或全连接矩阵向量乘的运算结果。
在一些示例中，所述乘法单元以位移器为基本单元构成。
在一些示例中，所述控制模块用于：在计算开始时，将所述输入数据和神经网络幂次权重从所述全局存储器中搬移至所述输入缓存模块中，以供所述计算模块使用，并在计算结束时，将所述卷积或全连接矩阵向量乘的运算结果从所述输出缓存模块中搬移至所述全局存储器中，以作为输出结果。
在一些示例中，所述输入数据的位宽为固定位宽。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1是根据本发明实施例的基于幂次权重量预设的幂次编码方式化的神经网络前向运算硬件结构的结构框图；
图2是本发明一个实施例的基于幂次权重量化的神经网络前向运算硬件结构的电路结构图；以及
图3是本发明一个实施例的预设的幂次编码方式示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
以下结合附图描述根据本发明实施例的基于幂次权重量化的神经网络前向运算硬件结构。
图1是根据本发明一个实施例的基于幂次权重量化的神经网络前向运算硬件结构的结构框图。图2是根据本发明一个实施例的基于幂次权重量化的神经网络前向运算硬件结构的电路结构图。如图1所示，并结合图2，该基于幂次权重量化的神经网络前向运算硬件结构100，包括：输入缓存模块110、计算模块120、输出缓存模块130和控制模块140。
其中，输入缓存模块110用于缓存从全局存储器中搬运到片上(硬件计算单元)的待参与运算的输入数据和神经网络幂次权重，其中，神经网络幂次权重包括卷积核和全连接矩阵。
在本发明的一个实施例中，如图2所示，所述输入缓存模块包括：输入数据缓存单元111和幂次权重缓存单元112。
其中，输入数据缓存单元111用于存储输入数据。具体地，输入数据缓存单元111用于按照一般浮点数、定点数或动态范围定点数的方式对输入数据进行存储。幂次权重缓存单元112用于存储幂次权重。具体地，幂次权重缓存单元112用于按照预设的幂次编码方式存储幂次权重。其中，输入数据的位宽为固定位宽。
作为具体地示例，结合图3所示，例如，输入缓存模块110将2路位宽分别为M和N的数字信号由全局存储器分别送入输入数据缓存单元111和幂次权重缓存单元112。输入数据被送入输入数据缓存单元111中，可以直接按照一般浮点数、定点数或动态范围定点数等方式进行存储(M为位宽，在本示例中，位宽M为32位)。神经网络权重输入神经网络幂次权重缓存单元112中，需要按照一种预设的幂次编码方式进行存储，例如图2所示。其中，最高位为符号位(Sign_bit)，0表示正数，1表示负数；第(N-1)位为幂次权重位(Power_bits)，用2进制补码表示该权重的幂次。因此，当前幂次编码对应表示的数为((-1)^(Sign_bit))*(2^(Power_bits))。
计算模块120用于进行基于幂次权重量化的卷积和全连接矩阵向量乘运算。
在本发明的一个实施例中，如图2所示，计算模块120包括：乘法单元121、加法单元122、控制接口123(图中未示出)、数据接口124(图中未示出)和寄存器堆125(图中未示出)。
其中，乘法单元121用于进行单个输入数据和单个神经网络幂次权重的乘法运算，以得到卷积或全连接矩阵向量乘的中间结果。在本发明的一个实施例中，乘法单元121以位移器为基本单元构成，也即乘法单元121为基于位移器的乘法单元。也就是说，本发明的实施例通过采用基于位移器的乘法运算单元作为计算模块120的基本单元，替代了传统神经网络计算单元中的定点数或浮点数乘法器，运算开销大幅下降，从而在量化编码有效降低神经网络的存储量的同时，可以有效地降低神经网络运算开销，显著提升了神经网络计算系统在终端设备上的应用空间。
加法单元122用于将中间结果进行累加运算，以得到卷积或全连接矩阵向量乘的运算结果。
控制接口123用于接收控制模块发送的指令。
数据接口124用于存取输入数据和神经网络幂次权重。
寄存器堆125用于存储中间结果。
具体地说，计算模块120首先将输入缓冲模块110送来的位宽为M的输入数据和位宽为N的幂次权重送入乘法单元121进行乘法运算。由于神经网络权重是以幂次编码的形式送入的，因此，可以将输入数据作为被操作数，将神经网络权重作为位移位数，从而将乘法运算转化为位移运算。首先，乘法单元121用于将输入数据的符号位与神经网络幂次权重的符号位进行比较，并在输入数据的符号位与神经网络幂次权重的符号位不同时将输入数据按位取反再加1或在输入数据的符号位与神经网络幂次权重的符号位相同时将输入数据保持，以得到完成符号运算的中间结果，并将完成符号运算的中间结果送入位移器，以根据神经网络幂次权重的幂次权重位进行左移或右移，以得到卷积或全连接矩阵向量乘的中间结果，并将中间结果发送至加法单元122，以使加法单元122根据中间结果得到卷积或全连接矩阵向量乘的运算结果。进一步地，所得到的卷积或全连接矩阵向量乘的运算结果被暂存在输出缓存模块130中，然后根据控制模块140的指令送至全局存储单元。
输出缓存模块130用于缓存计算模块得到的卷积或全连接矩阵向量乘的运算结果。
控制模块140分别与输入缓存模块110、计算模块120和输出模块130相连，用于对输入缓存模块110、运算模块120和输出缓存模块130进行数据搬运和运算资源调度。
具体地，控制模块140用于：在计算开始时，将输入数据和神经网络幂次权重从全局存储器中搬移至输入缓存模块110中，以供计算模块120使用，并在计算结束时，将卷积或全连接矩阵向量乘的运算结果从输出缓存模块130中搬移至全局存储器中，以作为输出结果或供后续其他运算单元使用。
作为具体的示例，如下表1所示，展示了在FPGA平台上利用本发明实施例的基于幂次权重量化的神经网络前向运算硬件结构的运算效果，以及使用本发明实施例的基于幂次权重量化的神经网络前向运算硬件结构相比于传统的以定点数乘法器为基本运算单元的神经网络前向计算系统所节约的运算资源。可以看出通过使用本发明实施例的基于幂次权重量化的神经网络前向运算硬件结构，可以显著减小计算资源的以适当增大模拟运算电路规模为代价，显著减少运算资源的开销。相对16bit乘法器运算单元，本发明仅需4bit位移器，若以FPGA为实现方式，所需硬件资源从107LUTs和80FFs，减少到56LUTs和16FFs，分别减少47.7％和80％.对于多种不同的实际应用，在整个系统层面，本发明节约了平均60％以上的运算资源。
表1
也即，本发明实施例的基于幂次权重量化的神经网络前向运算硬件结构，可以克服传统编码方案中仅能减小神经网络权重的存储代价，无法减小计算资源开销的问题。通过采用位移器为基本乘法运算单元，替代传统的浮点数或定点数乘法器，可有效地减少计算资源开销，简化运算过程，显著提升了神经网络计算系统在终端设备上的应用空间，推动针对神经网络结构的新型计算架构的进一步发展。
综上，根据本发明实施例的基于幂次权重量化的神经网络前向运算硬件结构，在有效降低神经网络的存储量的同时，可以有效地降低神经网络运算开销。该硬件机构采用基于位移器的乘法运算单元，可有效地减少计算资源开销，简化运算过程，显著提升了神经网络计算系统在终端设备上的应用空间。以8bit定点数乘法器为例，本发明可节省62％左右的存储单元，45％左右的运算单元，显著提升了神经网络计算系统在终端设备上的应用空间。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (9)
1.一种基于幂次权重量化的神经网络前向运算硬件结构，其特征在于，包括：
输入缓存模块，所述输入缓存模块用于缓存从全局存储器中搬运到片上的输入数据和神经网络幂次权重，其中，神经网络幂次权重包括卷积核和全连接矩阵；
计算模块，所述计算模块用于进行基于幂次权重量化的卷积和全连接矩阵向量乘运算；
输出缓存模块，所述输出缓存模块用于缓存所述计算模块得到的卷积或全连接矩阵向量乘的运算结果；以及
控制模块，所述控制模块用于对所述输入缓存模块、运算模块和输出缓存模块进行数据搬运和运算资源调度。
2.根据权利要求1所述的基于幂次权重量化的神经网络前向运算硬件结构，其特征在于，所述输入缓存模块包括：
输入数据缓存单元，所述输入数据缓存单元用于存储所述输入数据；
幂次权重缓存单元，所述幂次权重缓存单元用于存储所述幂次权重。
3.根据权利要求2所述的基于幂次权重量化的神经网络前向运算硬件结构，其特征在于，所述输入数据缓存单元用于按照一般浮点数、定点数或动态范围定点数的方式对所述输入数据进行存储。
4.根据权利要求2所述的基于幂次权重量化的神经网络前向运算硬件结构，其特征在于，所述幂次权重缓存单元用于按照预设的幂次编码方式对所述神经网络幂次权重进行存储。
5.根据权利要求1所述的基于幂次权重量化的神经网络前向运算硬件结构，其特征在于，所述计算模块包括：
乘法单元，所述乘法单元用于进行单个输入数据和单个神经网络幂次权重的乘法运算，以得到卷积或全连接矩阵向量乘的中间结果；
加法单元，所述加法单元用于将所述中间结果进行累加运算，以得到卷积或全连接矩阵向量乘的运算结果；
控制接口，所述控制接口用于接收所述控制模块发送的指令；
数据接口，所述数据接口用于存取所述输入数据和神经网络幂次权重；
寄存器堆，所述寄存器堆用于存储所述中间结果。
6.根据权利要求5所述的基于幂次权重量化的神经网络前向运算硬件结构，其特征在于，其中，
所述乘法单元用于将所述输入数据的符号位与神经网络幂次权重的符号位进行比较，并在所述输入数据的符号位与神经网络幂次权重的符号位不同时将所述输入数据按位取反再加1或在所述输入数据的符号位与神经网络幂次权重的符号位相同时将所述输入数据保持，以得到完成符号运算的中间结果，并将所述完成符号运算的中间结果送入位移器，以根据神经网络幂次权重的幂次权重位进行左移或右移，以得到所述卷积或全连接矩阵向量乘的中间结果，并将所述中间结果发送至所述加法单元，以使所述加法单元根据所述中间结果得到卷积或全连接矩阵向量乘的运算结果。
7.根据权利要求5所述的基于幂次权重量化的神经网络前向运算硬件结构，其特征在于，所述乘法单元以位移器为基本单元构成。
8.根据权利要求1所述的基于幂次权重量化的神经网络前向运算硬件结构，其特征在于，所述控制模块用于：
在计算开始时，将所述输入数据和神经网络幂次权重从所述全局存储器中搬移至所述输入缓存模块中，以供所述计算模块使用，并在计算结束时，将所述卷积或全连接矩阵向量乘的运算结果从所述输出缓存模块中搬移至所述全局存储器中，以作为输出结果。
9.根据权利要求1-8任一项所述的基于幂次权重量化的神经网络前向运算硬件结构，其特征在于，所述输入数据的位宽为固定位宽。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610388694.XA CN106066783A (zh) | 2016-06-02 | 2016-06-02 | 基于幂次权重量化的神经网络前向运算硬件结构 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610388694.XA CN106066783A (zh) | 2016-06-02 | 2016-06-02 | 基于幂次权重量化的神经网络前向运算硬件结构 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN106066783A true CN106066783A (zh) | 2016-11-02 |
Family
ID=57420112
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610388694.XA Pending CN106066783A (zh) | 2016-06-02 | 2016-06-02 | 基于幂次权重量化的神经网络前向运算硬件结构 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106066783A (zh) |
Cited By (39)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106855952A (zh) * | 2016-12-29 | 2017-06-16 | 北京旷视科技有限公司 | 基于神经网络的计算方法及装置 |
| CN107256424A (zh) * | 2017-05-08 | 2017-10-17 | 中国科学院计算技术研究所 | 三值权重卷积网络处理系统及方法 |
| CN107608715A (zh) * | 2017-07-20 | 2018-01-19 | 上海寒武纪信息科技有限公司 | 用于执行人工神经网络正向运算的装置及方法 |
| WO2018108126A1 (zh) * | 2016-12-14 | 2018-06-21 | 上海寒武纪信息科技有限公司 | 神经网络卷积运算装置及方法 |
| CN108509179A (zh) * | 2018-04-04 | 2018-09-07 | 百度在线网络技术（北京）有限公司 | 用于生成模型的方法和装置 |
| WO2018192500A1 (zh) * | 2017-04-19 | 2018-10-25 | 上海寒武纪信息科技有限公司 | 处理装置和处理方法 |
| CN108734280A (zh) * | 2017-04-21 | 2018-11-02 | 上海寒武纪信息科技有限公司 | 一种运算装置和方法 |
| CN108734281A (zh) * | 2017-04-21 | 2018-11-02 | 上海寒武纪信息科技有限公司 | 处理装置、处理方法、芯片及电子装置 |
| CN108805271A (zh) * | 2017-05-05 | 2018-11-13 | 上海寒武纪信息科技有限公司 | 一种运算装置和方法 |
| CN108960414A (zh) * | 2018-07-20 | 2018-12-07 | 中国人民解放军国防科技大学 | 一种基于深度学习加速器实现单广播多运算的方法 |
| CN109002881A (zh) * | 2018-06-28 | 2018-12-14 | 郑州云海信息技术有限公司 | 基于fpga的深度神经网络的定点化计算方法及装置 |
| CN109219821A (zh) * | 2017-04-06 | 2019-01-15 | 上海寒武纪信息科技有限公司 | 运算装置和方法 |
| CN109214509A (zh) * | 2017-07-05 | 2019-01-15 | 中国科学院沈阳自动化研究所 | 一种用于深度神经网络高速实时量化结构和运算实现方法 |
| CN109242091A (zh) * | 2018-09-03 | 2019-01-18 | 郑州云海信息技术有限公司 | 图像识别方法、装置、设备及可读存储介质 |
| CN109284827A (zh) * | 2017-07-19 | 2019-01-29 | 阿里巴巴集团控股有限公司 | 神经网络计算方法、设备、处理器及计算机可读存储介质 |
| CN109324826A (zh) * | 2017-04-21 | 2019-02-12 | 上海寒武纪信息科技有限公司 | 计数装置和计数方法 |
| CN109389219A (zh) * | 2017-08-04 | 2019-02-26 | 三星电子株式会社 | 用于对神经网络的参数进行量化的方法和装置 |
| WO2019085378A1 (zh) * | 2017-10-30 | 2019-05-09 | 北京深鉴智能科技有限公司 | 高速全连接计算的硬件实现装置与方法 |
| CN109978158A (zh) * | 2017-12-28 | 2019-07-05 | 北京中科寒武纪科技有限公司 | 集成电路芯片装置及相关产品 |
| CN110008952A (zh) * | 2019-03-26 | 2019-07-12 | 深兰科技（上海）有限公司 | 一种目标识别方法及设备 |
| WO2019136747A1 (zh) * | 2018-01-15 | 2019-07-18 | 深圳鲲云信息科技有限公司 | 反卷积器及其所应用的人工智能处理装置 |
| CN110119809A (zh) * | 2018-02-05 | 2019-08-13 | 联发科技股份有限公司 | 深度学习处理中乘法和累加运算的非对称量化 |
| WO2019184823A1 (zh) * | 2018-03-26 | 2019-10-03 | 华为技术有限公司 | 基于卷积神经网络模型的图像处理方法和装置 |
| CN110414630A (zh) * | 2019-08-12 | 2019-11-05 | 上海商汤临港智能科技有限公司 | 神经网络的训练方法、卷积计算的加速方法、装置及设备 |
| CN110413255A (zh) * | 2018-04-28 | 2019-11-05 | 北京深鉴智能科技有限公司 | 人工神经网络调整方法和装置 |
| CN110462637A (zh) * | 2017-03-24 | 2019-11-15 | 华为技术有限公司 | 神经网络数据处理装置和方法 |
| CN110689125A (zh) * | 2017-10-30 | 2020-01-14 | 上海寒武纪信息科技有限公司 | 计算装置 |
| CN110728358A (zh) * | 2019-09-30 | 2020-01-24 | 上海商汤智能科技有限公司 | 基于神经网络的数据处理方法和装置 |
| CN110832507A (zh) * | 2017-07-07 | 2020-02-21 | 三菱电机株式会社 | 数据处理装置、数据处理方法以及压缩数据 |
| CN111045728A (zh) * | 2018-10-12 | 2020-04-21 | 上海寒武纪信息科技有限公司 | 一种计算装置及相关产品 |
| CN111047023A (zh) * | 2018-10-12 | 2020-04-21 | 上海寒武纪信息科技有限公司 | 一种计算装置及相关产品 |
| CN111291871A (zh) * | 2018-12-10 | 2020-06-16 | 中科寒武纪科技股份有限公司 | 一种计算装置及相关产品 |
| CN111950718A (zh) * | 2019-05-16 | 2020-11-17 | 北京知存科技有限公司 | 利用存算一体芯片实现递进式cnn运算的方法 |
| CN112561050A (zh) * | 2019-09-25 | 2021-03-26 | 杭州海康威视数字技术股份有限公司 | 一种神经网络模型训练方法及装置 |
| CN112748956A (zh) * | 2019-10-29 | 2021-05-04 | 脸谱公司 | 支持同时处理多个矩阵的高吞吐量矩阵处理器 |
| CN112766477A (zh) * | 2021-01-13 | 2021-05-07 | 天津智模科技有限公司 | 神经网络运算电路 |
| CN112784971A (zh) * | 2021-01-13 | 2021-05-11 | 天津智模科技有限公司 | 基于数模混合神经元的神经网络运算电路 |
| US11010338B2 (en) | 2017-04-06 | 2021-05-18 | Shanghai Cambricon Information Technology Co., Ltd | Data screening device and method |
| CN113420788A (zh) * | 2020-10-12 | 2021-09-21 | 黑芝麻智能科技(上海)有限公司 | 卷积神经网络中基于整数的融合卷积层以及融合卷积方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105260776A (zh) * | 2015-09-10 | 2016-01-20 | 华为技术有限公司 | 神经网络处理器和卷积神经网络处理器 |
| CN105468335A (zh) * | 2015-11-24 | 2016-04-06 | 中国科学院计算技术研究所 | 流水级运算装置、数据处理方法及片上网络芯片 |
| CN105553937A (zh) * | 2015-12-03 | 2016-05-04 | 华为技术有限公司 | 数据压缩的系统和方法 |
-
2016
- 2016-06-02 CN CN201610388694.XA patent/CN106066783A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105260776A (zh) * | 2015-09-10 | 2016-01-20 | 华为技术有限公司 | 神经网络处理器和卷积神经网络处理器 |
| CN105468335A (zh) * | 2015-11-24 | 2016-04-06 | 中国科学院计算技术研究所 | 流水级运算装置、数据处理方法及片上网络芯片 |
| CN105553937A (zh) * | 2015-12-03 | 2016-05-04 | 华为技术有限公司 | 数据压缩的系统和方法 |
Non-Patent Citations (2)
| Title |
|---|
| JIANTAO QIU ET AL: "Going Deeper with Embedded FPGA Platform for Convolutional Neural Network", 《PROCEEDINGS OF THE 2016 ACM/SIGDA INTERNATIONAL SYMPOSIUM ON FIELD-PROGRAMMABLE GATE ARRAYS》 * |
| 张雨浓 等: "两输入幂激励前向神经网络权值与结构确定", 《计算机工程与应用》 * |
Cited By (75)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018108126A1 (zh) * | 2016-12-14 | 2018-06-21 | 上海寒武纪信息科技有限公司 | 神经网络卷积运算装置及方法 |
| CN106855952A (zh) * | 2016-12-29 | 2017-06-16 | 北京旷视科技有限公司 | 基于神经网络的计算方法及装置 |
| CN106855952B (zh) * | 2016-12-29 | 2020-08-18 | 北京旷视科技有限公司 | 基于神经网络的计算方法及装置 |
| CN110462637A (zh) * | 2017-03-24 | 2019-11-15 | 华为技术有限公司 | 神经网络数据处理装置和方法 |
| US11049002B2 (en) | 2017-04-06 | 2021-06-29 | Shanghai Cambricon Information Technology Co., Ltd | Neural network computation device and method |
| US10896369B2 (en) | 2017-04-06 | 2021-01-19 | Cambricon Technologies Corporation Limited | Power conversion in neural networks |
| US11010338B2 (en) | 2017-04-06 | 2021-05-18 | Shanghai Cambricon Information Technology Co., Ltd | Data screening device and method |
| US11551067B2 (en) | 2017-04-06 | 2023-01-10 | Shanghai Cambricon Information Technology Co., Ltd | Neural network processor and neural network computation method |
| CN109219821B (zh) * | 2017-04-06 | 2023-03-31 | 上海寒武纪信息科技有限公司 | 运算装置和方法 |
| CN109219821A (zh) * | 2017-04-06 | 2019-01-15 | 上海寒武纪信息科技有限公司 | 运算装置和方法 |
| US11531541B2 (en) | 2017-04-19 | 2022-12-20 | Shanghai Cambricon Information Technology Co., Ltd | Processing apparatus and processing method |
| US11734002B2 (en) | 2017-04-19 | 2023-08-22 | Shanghai Cambricon Information Technology Co., Ltd | Counting elements in neural network input data |
| US11720353B2 (en) | 2017-04-19 | 2023-08-08 | Shanghai Cambricon Information Technology Co., Ltd | Processing apparatus and processing method |
| US11531540B2 (en) | 2017-04-19 | 2022-12-20 | Cambricon (Xi'an) Semiconductor Co., Ltd. | Processing apparatus and processing method with dynamically configurable operation bit width |
| WO2018192500A1 (zh) * | 2017-04-19 | 2018-10-25 | 上海寒武纪信息科技有限公司 | 处理装置和处理方法 |
| US11698786B2 (en) | 2017-04-19 | 2023-07-11 | Shanghai Cambricon Information Technology Co., Ltd | Processing apparatus and processing method |
| US11507350B2 (en) | 2017-04-21 | 2022-11-22 | Cambricon (Xi'an) Semiconductor Co., Ltd. | Processing apparatus and processing method |
| CN108734280A (zh) * | 2017-04-21 | 2018-11-02 | 上海寒武纪信息科技有限公司 | 一种运算装置和方法 |
| CN109324826A (zh) * | 2017-04-21 | 2019-02-12 | 上海寒武纪信息科技有限公司 | 计数装置和计数方法 |
| CN108734281A (zh) * | 2017-04-21 | 2018-11-02 | 上海寒武纪信息科技有限公司 | 处理装置、处理方法、芯片及电子装置 |
| CN109324826B (zh) * | 2017-04-21 | 2021-03-26 | 上海寒武纪信息科技有限公司 | 计数装置和计数方法 |
| CN108805271A (zh) * | 2017-05-05 | 2018-11-13 | 上海寒武纪信息科技有限公司 | 一种运算装置和方法 |
| CN108805271B (zh) * | 2017-05-05 | 2021-03-26 | 上海寒武纪信息科技有限公司 | 一种运算装置和方法 |
| CN107256424B (zh) * | 2017-05-08 | 2020-03-31 | 中国科学院计算技术研究所 | 三值权重卷积网络处理系统及方法 |
| CN107256424A (zh) * | 2017-05-08 | 2017-10-17 | 中国科学院计算技术研究所 | 三值权重卷积网络处理系统及方法 |
| CN109214509B (zh) * | 2017-07-05 | 2021-07-06 | 中国科学院沈阳自动化研究所 | 一种用于深度神经网络高速实时量化结构和运算实现方法 |
| CN109214509A (zh) * | 2017-07-05 | 2019-01-15 | 中国科学院沈阳自动化研究所 | 一种用于深度神经网络高速实时量化结构和运算实现方法 |
| CN110832507A (zh) * | 2017-07-07 | 2020-02-21 | 三菱电机株式会社 | 数据处理装置、数据处理方法以及压缩数据 |
| CN109284827A (zh) * | 2017-07-19 | 2019-01-29 | 阿里巴巴集团控股有限公司 | 神经网络计算方法、设备、处理器及计算机可读存储介质 |
| CN107832082A (zh) * | 2017-07-20 | 2018-03-23 | 上海寒武纪信息科技有限公司 | 一种用于执行人工神经网络正向运算的装置和方法 |
| CN109284822B (zh) * | 2017-07-20 | 2021-09-21 | 上海寒武纪信息科技有限公司 | 一种神经网络运算装置及方法 |
| CN109284822A (zh) * | 2017-07-20 | 2019-01-29 | 上海寒武纪信息科技有限公司 | 一种神经网络运算装置及方法 |
| CN109284130B (zh) * | 2017-07-20 | 2021-03-23 | 上海寒武纪信息科技有限公司 | 神经网络运算装置及方法 |
| CN107608715A (zh) * | 2017-07-20 | 2018-01-19 | 上海寒武纪信息科技有限公司 | 用于执行人工神经网络正向运算的装置及方法 |
| CN109284130A (zh) * | 2017-07-20 | 2019-01-29 | 上海寒武纪信息科技有限公司 | 神经网络运算装置及方法 |
| US11481215B2 (en) | 2017-07-20 | 2022-10-25 | Cambricon (Xi'an) Semiconductor Co., Ltd. | Calculation method and related product |
| CN107844322A (zh) * | 2017-07-20 | 2018-03-27 | 上海寒武纪信息科技有限公司 | 用于执行人工神经网络正向运算的装置和方法 |
| CN109389219A (zh) * | 2017-08-04 | 2019-02-26 | 三星电子株式会社 | 用于对神经网络的参数进行量化的方法和装置 |
| CN109389219B (zh) * | 2017-08-04 | 2024-04-09 | 三星电子株式会社 | 用于对神经网络的参数进行量化的方法和装置 |
| CN110689125A (zh) * | 2017-10-30 | 2020-01-14 | 上海寒武纪信息科技有限公司 | 计算装置 |
| WO2019085378A1 (zh) * | 2017-10-30 | 2019-05-09 | 北京深鉴智能科技有限公司 | 高速全连接计算的硬件实现装置与方法 |
| CN109978158A (zh) * | 2017-12-28 | 2019-07-05 | 北京中科寒武纪科技有限公司 | 集成电路芯片装置及相关产品 |
| CN110178146A (zh) * | 2018-01-15 | 2019-08-27 | 深圳鲲云信息科技有限公司 | 反卷积器及其所应用的人工智能处理装置 |
| WO2019136747A1 (zh) * | 2018-01-15 | 2019-07-18 | 深圳鲲云信息科技有限公司 | 反卷积器及其所应用的人工智能处理装置 |
| CN110178146B (zh) * | 2018-01-15 | 2023-05-12 | 深圳鲲云信息科技有限公司 | 反卷积器及其所应用的人工智能处理装置 |
| CN110119809A (zh) * | 2018-02-05 | 2019-08-13 | 联发科技股份有限公司 | 深度学习处理中乘法和累加运算的非对称量化 |
| CN110119809B (zh) * | 2018-02-05 | 2021-08-10 | 联发科技股份有限公司 | 对神经网络中非对称量化数据执行mac运算的装置和方法 |
| WO2019184823A1 (zh) * | 2018-03-26 | 2019-10-03 | 华为技术有限公司 | 基于卷积神经网络模型的图像处理方法和装置 |
| CN108509179B (zh) * | 2018-04-04 | 2021-11-30 | 百度在线网络技术（北京）有限公司 | 用于检测人脸的方法、用于生成模型的装置 |
| CN108509179A (zh) * | 2018-04-04 | 2018-09-07 | 百度在线网络技术（北京）有限公司 | 用于生成模型的方法和装置 |
| CN110413255B (zh) * | 2018-04-28 | 2022-08-19 | 赛灵思电子科技(北京)有限公司 | 人工神经网络调整方法和装置 |
| CN110413255A (zh) * | 2018-04-28 | 2019-11-05 | 北京深鉴智能科技有限公司 | 人工神经网络调整方法和装置 |
| CN109002881A (zh) * | 2018-06-28 | 2018-12-14 | 郑州云海信息技术有限公司 | 基于fpga的深度神经网络的定点化计算方法及装置 |
| CN108960414A (zh) * | 2018-07-20 | 2018-12-07 | 中国人民解放军国防科技大学 | 一种基于深度学习加速器实现单广播多运算的方法 |
| CN108960414B (zh) * | 2018-07-20 | 2022-06-07 | 中国人民解放军国防科技大学 | 一种基于深度学习加速器实现单广播多运算的方法 |
| CN109242091B (zh) * | 2018-09-03 | 2022-03-22 | 郑州云海信息技术有限公司 | 图像识别方法、装置、设备及可读存储介质 |
| CN109242091A (zh) * | 2018-09-03 | 2019-01-18 | 郑州云海信息技术有限公司 | 图像识别方法、装置、设备及可读存储介质 |
| CN111045728B (zh) * | 2018-10-12 | 2022-04-12 | 上海寒武纪信息科技有限公司 | 一种计算装置及相关产品 |
| CN111045728A (zh) * | 2018-10-12 | 2020-04-21 | 上海寒武纪信息科技有限公司 | 一种计算装置及相关产品 |
| CN111047023B (zh) * | 2018-10-12 | 2023-11-24 | 上海寒武纪信息科技有限公司 | 一种计算装置及相关产品 |
| CN111047023A (zh) * | 2018-10-12 | 2020-04-21 | 上海寒武纪信息科技有限公司 | 一种计算装置及相关产品 |
| CN111291871A (zh) * | 2018-12-10 | 2020-06-16 | 中科寒武纪科技股份有限公司 | 一种计算装置及相关产品 |
| CN110008952A (zh) * | 2019-03-26 | 2019-07-12 | 深兰科技（上海）有限公司 | 一种目标识别方法及设备 |
| CN110008952B (zh) * | 2019-03-26 | 2021-06-15 | 深兰科技（上海）有限公司 | 一种目标识别方法及设备 |
| CN111950718A (zh) * | 2019-05-16 | 2020-11-17 | 北京知存科技有限公司 | 利用存算一体芯片实现递进式cnn运算的方法 |
| CN111950718B (zh) * | 2019-05-16 | 2021-12-07 | 北京知存科技有限公司 | 利用存算一体芯片实现递进式cnn运算的方法 |
| CN110414630A (zh) * | 2019-08-12 | 2019-11-05 | 上海商汤临港智能科技有限公司 | 神经网络的训练方法、卷积计算的加速方法、装置及设备 |
| CN112561050A (zh) * | 2019-09-25 | 2021-03-26 | 杭州海康威视数字技术股份有限公司 | 一种神经网络模型训练方法及装置 |
| CN112561050B (zh) * | 2019-09-25 | 2023-09-05 | 杭州海康威视数字技术股份有限公司 | 一种神经网络模型训练方法及装置 |
| CN110728358A (zh) * | 2019-09-30 | 2020-01-24 | 上海商汤智能科技有限公司 | 基于神经网络的数据处理方法和装置 |
| CN110728358B (zh) * | 2019-09-30 | 2022-06-10 | 上海商汤智能科技有限公司 | 基于神经网络的数据处理方法和装置 |
| CN112748956A (zh) * | 2019-10-29 | 2021-05-04 | 脸谱公司 | 支持同时处理多个矩阵的高吞吐量矩阵处理器 |
| CN113420788A (zh) * | 2020-10-12 | 2021-09-21 | 黑芝麻智能科技(上海)有限公司 | 卷积神经网络中基于整数的融合卷积层以及融合卷积方法 |
| CN112766477A (zh) * | 2021-01-13 | 2021-05-07 | 天津智模科技有限公司 | 神经网络运算电路 |
| CN112784971A (zh) * | 2021-01-13 | 2021-05-11 | 天津智模科技有限公司 | 基于数模混合神经元的神经网络运算电路 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106066783A (zh) | 基于幂次权重量化的神经网络前向运算硬件结构 | |
| CN107844322B (zh) | 用于执行人工神经网络正向运算的装置和方法 | |
| WO2019127731A1 (zh) | 卷积神经网络硬件加速装置及卷积计算方法及存储介质 | |
| US20210357736A1 (en) | Deep neural network hardware accelerator based on power exponential quantization | |
| CN108733348B (zh) | 融合向量乘法器和使用其进行运算的方法 | |
| CN110929865B (zh) | 网络量化方法、业务处理方法及相关产品 | |
| US20200210517A1 (en) | Systems and methods to accelerate multiplication of sparse matrices | |
| US9304898B2 (en) | Hardware-based array compression | |
| CN111915003A (zh) | 一种神经网络硬件加速器 | |
| CN108108190B (zh) | 一种计算方法及相关产品 | |
| US10540420B2 (en) | Accelerator for matrix decomposition | |
| US20220004858A1 (en) | Method for processing artificial neural network, and electronic device therefor | |
| CN111931917A (zh) | 前向计算的实现方法及装置、存储介质、电子装置 | |
| CN108363559A (zh) | 神经网络的乘法处理方法、设备和计算机可读介质 | |
| EP3716054A2 (en) | Interleaved pipeline of floating-point adders | |
| CN110188877A (zh) | 一种神经网络压缩方法与装置 | |
| CN107957977B (zh) | 一种计算方法及相关产品 | |
| CN104320668B (zh) | Hevc/h.265的dct变换和反变换的simd优化方法 | |
| CN109389218B (zh) | 数据压缩方法及压缩装置 | |
| CN109325590A (zh) | 用于实现计算精度可变的神经网络处理器的装置 | |
| Zong-ling et al. | The design of lightweight and multi parallel CNN accelerator based on FPGA | |
| EP3268859A1 (en) | Scheduling heterogenous processors | |
| CN109389209A (zh) | 处理装置及处理方法 | |
| Sayadi et al. | CUDA memory optimisation strategies for motion estimation | |
| CN101339649A (zh) | 运算装置和图像滤波装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20161102 |