CN106991477A - 一种人工神经网络压缩编码装置和方法 - Google Patents

一种人工神经网络压缩编码装置和方法 Download PDF

Info

Publication number
CN106991477A
CN106991477A CN201610039026.6A CN201610039026A CN106991477A CN 106991477 A CN106991477 A CN 106991477A CN 201610039026 A CN201610039026 A CN 201610039026A CN 106991477 A CN106991477 A CN 106991477A
Authority
CN
China
Prior art keywords
artificial neural
computing
arithmetic element
instruction
neuron
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610039026.6A
Other languages
English (en)
Other versions
CN106991477B (zh
Inventor
陈天石
刘少礼
郭崎
陈云霁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zhongke Cambrian Technology Co Ltd
Original Assignee
Nanjing Aixi Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Aixi Information Technology Co Ltd filed Critical Nanjing Aixi Information Technology Co Ltd
Priority to CN201610039026.6A priority Critical patent/CN106991477B/zh
Priority to CN201810151978.6A priority patent/CN108427990B/zh
Priority to PCT/CN2016/078448 priority patent/WO2017124644A1/zh
Publication of CN106991477A publication Critical patent/CN106991477A/zh
Priority to US16/041,160 priority patent/US10402725B2/en
Priority to US16/508,139 priority patent/US10726336B2/en
Application granted granted Critical
Publication of CN106991477B publication Critical patent/CN106991477B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled
    • G06F7/38—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation
    • G06F7/48—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation using non-contact-making devices, e.g. tube, solid state device; using unspecified devices
    • G06F7/483—Computations with numbers represented by a non-linear combination of denominational numbers, e.g. rational numbers, logarithmic number system or floating-point numbers
    • G06F7/487—Multiplying; Dividing
    • G06F7/4876—Multiplying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/38—Concurrent instruction execution, e.g. pipeline or look ahead
    • G06F9/3885—Concurrent instruction execution, e.g. pipeline or look ahead using a plurality of independent parallel functional units
    • G06F9/3887—Concurrent instruction execution, e.g. pipeline or look ahead using a plurality of independent parallel functional units controlled by a single instruction for multiple data lanes [SIMD]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2207/00—Indexing scheme relating to methods or arrangements for processing data by operating upon the order or content of the data handled
    • G06F2207/38—Indexing scheme relating to groups G06F7/38 - G06F7/575
    • G06F2207/48—Indexing scheme relating to groups G06F7/48 - G06F7/575
    • G06F2207/4802—Special implementations
    • G06F2207/4818—Threshold devices
    • G06F2207/4824—Neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Neurology (AREA)
  • Nonlinear Science (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Image Analysis (AREA)
  • Memory System Of A Hierarchy Structure (AREA)
  • Advance Control (AREA)

Abstract

一种人工神经网络压缩编码装置，包括内存接口单元、指令缓存、控制器单元和运算单元，其中运算单元用于根据控制器单元的指令对来自内存接口单元的数据执行相应的运算；运算单元主要执行三步运算，第一步是将输入的神经元和权值数据相乘；第二步执行加法树运算，用于将第一步处理后的加权输出神经元通过加法树逐级相加，或者将输出神经元通过和偏置相加得到加偏置输出神经元；第三步执行激活函数运算，得到最终输出神经元。以及一种人工神经网络压缩编码方法。本发明不仅能有效减小人工神经网络的模型大小，提高人工神经网络的数据处理速度，而且能有效降低功耗，提高资源利用率。

Description

一种人工神经网络压缩编码装置和方法
技术领域
本发明涉及人工神经网络处理技术领域，更具体地涉及一种人工神经网络压缩编码装置和方法，尤其是涉及执行人工神经网络算法方法的执行单元或包含这些执行单元的设备，以及多层人工神经网络运算、反向传播训练算法及其压缩编码的装置和方法的执行单元或包括这些执行单元的设备。
背景技术
多层人工神经网络被广泛应用于模式识别、图像处理、函数逼近和优化计算等领域。特别是近年来由于反向传播训练算法，以及预训练算法的研究不断深入，多层人工神经网络由于其较高的识别准确度和较好的可并行性，受到学术界和工业界越来越广泛的关注。
随着人工神经网络计算量和访存量的急剧增大，现有技术中通常采用通用处理器来对多层人工神经网络运算、训练算法及其压缩编码进行处理，通过使用通用寄存器堆和通用功能部件执行通用指令来支持上述算法。采用通用处理器的缺点之一是单个通用处理器的运算性能较低，无法满足通常的多层人工神经网络运算的性能需求。而多个通用处理器并行执行时，通用处理器之间相互通讯又成为了性能瓶颈；此外，通用处理器需要把多层人工神经网络运算译码成一长列运算及访存指令序列，处理器前端译码带来了较大的功耗开销。另一种支持多层人工神经网络运算、训练算法及其压缩编码的已知方法是使用图形处理器(GPU)。该方法通过使用通用寄存器堆和通用流处理单元执行通用SIMD指令来支持上述算法。由于GPU是专门用来执行图形图像运算以及科学计算的设备，没有对多层人工神经网络运算的专门支持，仍然需要大量的前端译码工作才能执行多层人工神经网络运算，带来了大量的额外开销。另外GPU只有较小的片上缓存，多层人工神经网络的模型数据(权值)需要反复从片外搬运，片外带宽成为了主要性能瓶颈，同时带来了巨大的功耗开销。
发明内容
针对上述现有技术的不足，本发明的目的在于提供一种人工神经网络压缩编码装置和方法。
为了实现上述目的，作为本发明的一个方面，本发明提出了一种人工神经网络压缩编码装置，包括：
内存接口单元，用于输入数据和指令；
指令缓存，用于对指令进行缓存；
控制器单元，用于从所述指令缓存中读取指令，并将其译码成运算单元的指令；以及
运算单元，用于根据所述控制器单元的指令对来自所述内存接口单元的数据执行相应的运算；所述运算单元主要执行三步运算，第一步是将输入的神经元和权值数据相乘；第二步执行加法树运算，用于将第一步处理后的加权输出神经元通过加法树逐级相加，或者将输出神经元通过和偏置相加得到加偏置输出神经元；第三步执行激活函数运算，得到最终输出神经元。
其中，所述运算单元中对于输入的权值数据表示如下：
若是正向运算过程，则所述权值数据W1由k比特数据表示，其中包括1比特符号位、m比特控制位以及n比特数据位，即k＝1+m+n；其中k、m、n均为自然数；
若是反向运算过程，则所述权值数据W2使用浮点数表示。
其中，所述W1是从W2转换而来，其中反向运算过程的权值数据W2具有len位有效数字，正向运算过程的权值数据W1中的n表示W1中的有效数字位数，n≤len；控制位m用于指定W1的有效数字在原权值数据中的起始位置。
作为本发明的另一个方面，本发明还提出了一种采用如上所述的用于压缩编码的人工神经网络计算装置进行的人工神经网络压缩编码方法，包括以下步骤；
步骤1：控制器单元从指令缓存中读取一条多层人工神经网络运算SIMD指令；
步骤2：所述控制器单元将所述指令译码成各个功能部件的微指令，包括输入神经元缓存是否读写以及读写次数、输出神经元缓存是否读写以及读写次数、权值神经元缓存是否读写以及读写次数、运算单元各个阶段执行何种操作；
步骤3：运算单元得到从输入神经元缓存和权值缓存的输入向量，根据阶段一的操作码，决定是否执行向量乘法运算，如果执行就将结果发送到下一阶段，否则直接将输入发送到下一阶段；
步骤4：所述运算单元根据阶段二的操作码，决定是否进行加法树运算，如果执行就将结果发送到下一阶段，否则直接将输入发送到下一阶段；
步骤5：所述运算单元根据阶段三的操作码，决定是否进行激活函数的运算，如果执行就将结果发送给输出神经元缓存。
作为本发明的再一个方面，本发明还提出了一种采用如上所述的用于压缩编码的人工神经网络计算装置进行的人工神经网络反向传播训练的方法，包括以下步骤；
步骤1：控制器单元从指令缓存中读取一条多层人工神经网络训练算法SIMD指令；
步骤2：所述控制器单元将所述指令译码成各个运算单元的微指令，包括输入神经元缓存是否读写以及读写次数、输出神经元缓存是否读写以及读写次数、权值神经元缓存是否读写以及读写次数、运算单元各个阶段执行何种操作；
步骤3：运算单元得到从输入神经元缓存和权值缓存的输入向量，根据阶段一的操作码，决定是否执行向量乘法运算，如果执行就将结果发送到下一阶段，否则直接将输入发送到下一阶段；
步骤4：所述运算单元根据阶段二的操作码，决定是否进行加法树运算、向量加法运算或权值更新运算。
作为本发明的还一个方面，本发明还提出了一种采用如上所述的用于压缩编码的人工神经网络计算装置进行的人工神经网络计算方法，包括以下步骤：
步骤1：将存储的浮点权值W1转换成位数较少的表示W2；
步骤2：使用W2进行正向运算；
步骤3：根据正向运算得到的误差结果进行反向运算更新W1；
步骤4：迭代执行上述三个步骤，直到得到所需要的模型。
基于上述技术方案可知，本发明提供了一种用于执行多层人工神经网络运算、反向传播训练算法及其压缩编码的装置和方法，提高了对于多层人工神经网络运算及其反向传播训练算法的性能，同时降低了权值数据表示的位数，以达到压缩编码的目的。本发明不仅能有效减小人工神经网络的模型大小，提高人工神经网络的数据处理速度，而且能有效降低功耗，提高资源利用率；相对于现有的技术，具有显著的性能和功耗改善，并能大幅压缩权值数据。
附图说明
图1是根据本发明一实施例的神经网络正向运算的示例框图；
图2是根据本发明一实施例的神经网络反向训练算法的示例框图；
图3是根据本发明一实施例的总体结构的示例框图；
图4是根据本发明一实施例的加速器芯片结构的示例框图；
图5是根据本发明一实施例的多层人工神经网络的运算流程图；
图6是根据本发明一实施例的多层人工神经网络反向传播训练算法的流程图；
图7是根据本发明一实施例的多层人工神经网络压缩编码算法的流程图。
具体实施方式
将参考以下所讨论的细节来描述本发明的各实施例和方面，并且所附附图将说明各实施例。下列描述和附图是用于说明本发明的，并且不应当被解释为限制本发明。描述许多具体的细节以提供对本发明的各实施例的透彻理解。然而，在某些实例中，不描述公知的或寻常的细节，以便提供本发明的实施例的简洁的讨论。
说明书中提到的“一个实施例”或“一实施例”意思是结合实施例所描述的特定的特征、结构或特性能够被包括在本发明的至少一个实施例中。在本说明书的多处出现的短语“在一个实施例中”不一定全部都指同一个实施例。
本发明涉及的多层人工神经网络运算及其压缩编码，包括两层或者两层以上的多个神经元。对于每一层来说，输入神经元向量首先和权值向量进行点积运算，结果经过激活函数得到输出神经元。其中激活函数可以是sigmoid函数、tanh函数、relu函数和softmax函数等。此外，多层人工神经网络的训练算法包括正向传播、反向传播和权值更新等步骤。
在正向运算过程中，神经网络权值W1由k比特数据表示，其中包括1比特符号位、m比特控制位以及n比特数据位(k＝1+m+n)。
反向运算过程中的权值W2使用浮点数表示。
正向运算过程中使用的权值数据表示方法，从反向运算过程使用的浮点权值表示(len位有效数字)转换而来，数据位存储原权值数据中的n位有效数字，n小于等于len。控制位用于指定数据位在原有效数字中的起始位置；由于正向运算过程中使用的权值数据表示方法所使用的总数据位数少于反向训练运算过程中使用的权值表示的总数据位数，从而可以达到压缩编码的作用。
本发明的用于执行人工神经网络运算、反向传播训练算法及其压缩编码的人工神经网络压缩编码装置，包括指令缓存单元、输入神经元缓存单元、权值缓存单元、控制单元、运算单元、输出神经元缓存单元、内存接口单元和直接内存访问通道单元；
其中，指令缓存单元用于缓存指令；
输入神经元缓存单元用于缓存输入神经元数据；
权值缓存单元用于缓存权值；
控制单元用于从指令缓存中读取专用指令，并将其译码成微指令；
运算单元用于接受从控制器单元发出的微指令并进行算术逻辑运算；
输出神经元缓存单元用于缓存输出神经元数据；
内存接口单元用于数据读写通道；
直接内存访问通道单元用于从内存向各缓存中读写数据。
上述指令缓存单元、输入神经元缓存单元、权值缓存单元和输出神经元缓存单元等中使用的缓存可以为RAM。
在上述运算单元中主要执行三步运算，第一步是将输入的神经元和权值数据相乘，表示如下：
将输入神经元(in)通过运算(f)得到输出神经元(out)，过程为：out＝f(in)2
将输入神经元(in)通过和权值(w)相乘得到加权输出神经元(out)，过程为：out＝w*in；
第二步执行加法树运算，用于将第一步处理后的加权输出神经元通过加法树逐级相加，或者将输出神经元通过和偏置相加得到加偏置输出神经元，表示如下：
将输出神经元(in)通过和偏置(b)相加得到加偏置输出神经元(out)，过程为：out＝in+b；
第三步执行激活函数运算，得到最终输出神经元，表示如下：
将输出神经元(in)通过激活函数(active)运算得到激活输出神经元(out)，过程为：out＝active(in)，激活函数active可以是sigmoid函数、tanh函数、relu函数或softmax函数等；
将加权输出神经元(in)通过激活函数(active)运算得到激活输出神经元(out)，过程为：out＝active(in)；
将加偏置输出神经元(in)通过激活函数(active)运算得到激活输出神经元(out)，过程为：out＝active(in)。
在执行人工神经网络反向训练运算时，运算过程表示如下：
将输入梯度(g)通过加权运算(f)得到输出梯度(g’)，过程为：g’＝f(g)；
将输入梯度(g)通过更新运算(update)得到权值改变(deltaW)，过程为：deltaW＝update(g)；
将输入权值(w)和权值改变(deltaW)相加得到输出权值(w’)，过程为：w’＝w+deltaW；
将输入梯度(g)通过更新运算(update)得到偏置改变(deltaB)，过程为：deltaB＝update(g)；
将输入偏置(b)和偏置改变(deltaB)相加得到输出偏置(b’)，过程为：b’＝b+deltaB；
其中，在执行人工神经网络反向训练运算时，所有数据使用浮点数表示。
上述人工神经网络压缩编码装置，包括可执行卷积人工神经网络运算的装置、可执行池化人工神经网络运算的装置、可执行lrn人工神经网络运算的装置及可执行全连接人工神经网络运算的装置。
下面结合附图和具体实施例对本发明的技术方案进行进一步的阐释说明。
图3示出了根据本发明一实施例的总体结构的示意性框图。
I/O接口(1)，用于I/O数据需要经过CPU(3)发给加速器芯片，然后由加速器芯片(4)写入内存，加速器芯片(4)需要的专用程序也是由CPU(3)传输到加速器芯片。
内存(2)，用于暂存多层人工神经网络模型和神经元数据，特别是当全部模型无法在加速器片上缓存中放下时。
中央处理器CPU(3)，用于进行数据搬运以及加速器芯片(4)启动停止等基本控制，作为加速器芯片(4)与外部控制的接口。
加速器芯片(4)，用于执行多层人工神经网络运算及其反向传播训练算法模块，接受来自CPU(3)的数据和程序，执行上述多层人工神经网络运算及其反向传播训练算法，加速器芯片(4)执行结果将传输回CPU(3)。
通用系统架构。将加速器作为CPU或者GPU的协处理器来执行多层人工神经网络运算及其反向传播训练算法。
多加速器互联的系统结构。多个加速器可以通过PCIE总线互联，以支持更大规模的多层人工神经网络运算，可以共用同一个宿主CPU或者分别有自己的宿主CPU，可以共享内存也可以每个加速器有各自的内存。此外其互联方式可以是任意互联拓扑。
图4示出了根据本发明一实施例的加速器芯片结构的示意性框图。
其中输入神经元缓存(2)存储一层运算的输入神经元。
其中输出神经元缓存(5)存储一层运算的输出神经元。
权值缓存(8)存储模型(权值)数据。
直接内存访问通道(7)用于从内存(6)向各RAM中读写数据。
指令缓存(1)用于储存专用指令。
控制器单元(3)从指令缓存中读取专用指令，并将其译码成各运算单元的微指令。
运算单元(4)用于执行具体运算。运算单元主要被分为三个阶段，第一阶段执行乘法运算，用于将输入的神经元和权值数据相乘。第二阶段执行加法树运算，第一、二两阶段合起来完成了向量内积运算。第三阶段执行激活函数运算，激活函数可以是sigmoid函数、tanh函数等。第三阶段得到输出神经元，写回输出神经元缓存。
图5绘示出根据本发明一实施例的多层人工神经网络的运算流程图，图1为所执行运算的一个示例。
步骤1：控制器从指令缓存中读取一条多层人工神经网络运算SIMD指令，例如多层感知机(MLP)指令、卷积指令、池化(POOLing)指令等执行专门神经网络算法的指令，或者矩阵乘指令、向量加指令、向量激活函数指令等用于执行神经网络运算的通用向量/矩阵指令。
步骤2：控制器将该指令译码成各个功能部件的微指令，包括输入神经元缓存是否读写以及读写次数，输出神经元缓存是否读写以及读写次数，权值神经元缓存是否读写以及读写次数，运算单元各个阶段执行何种操作。
步骤3：运算单元得到从输入神经元缓存和权值缓存的输入向量，根据阶段一的操作码，决定是否执行向量乘法运算，并将结果发送到下一阶段(如不进行乘法运算则直接将输入发到下一阶段)。
步骤4：运算单元得到阶段一的输出，根据阶段二的操作码，决定是否进行加法树运算，并将结果发送到下一阶段(如不进行加法树操作，则直接将输入发送到下一阶段)。
步骤5：运算单元得到阶段二的输出，根据阶段三的操作码，决定是否进行激活函数的运算，并将结果发送给输出神经元缓存。
图6绘示出根据本发明一实施例的多层人工神经网络反向传播训练算法的流程图，图2为所执行运算的一个示例。
步骤1：控制器从指令缓存中读取一条多层人工神经网络训练算法SIMD指令。
步骤2：控制器将该指令译码成各个运算单元的微指令，包括输入神经元缓存是否读写以及读写次数，输出神经元缓存是否读写以及读写次数，权值神经元缓存是否读写以及读写次数，运算单元各个阶段执行何种操作。
步骤3：运算单元得到从输入神经元缓存和权值缓存的输入向量，根据阶段一的操作码，决定是否执行向量乘法运算，并将结果发送到下一阶段(如不进行乘法运算则直接将输入发到下一阶段)。
步骤4：运算单元得到阶段一的输出，根据阶段二的操作码，决定是否进行加法树，向量加法或权值更新运算。
图7绘示出根据本发明一实施例的多层人工神经网络权值压缩算法的流程图。
步骤1：将存储的浮点权值W1转换成位数较少的表示W2。
步骤2：使用W2进行正向运算。
步骤3：根据正向运算得到的误差结果进行反向运算更新W1。
迭代执行上述三个步骤，直到得到所需要的模型。
前面的附图中所描绘的进程或方法可通过包括硬件(例如，电路、专用逻辑等)、固件、软件(例如，被具体化在非瞬态计算机可读介质上的软件)，或两者的组合的处理逻辑来执行。虽然上文按照某些顺序操作描述了进程或方法，但是，应该理解，所描述的某些操作能以不同顺序来执行。此外，可并行地而非顺序地执行一些操作。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种人工神经网络压缩编码装置，其特征在于，包括；
内存接口单元，用于输入数据和指令；
指令缓存，用于对指令进行缓存；
控制器单元，用于从所述指令缓存中读取指令，并将其译码成运算单元的指令；以及
运算单元，用于根据所述控制器单元的指令对来自所述内存接口单元的数据执行相应的运算；所述运算单元主要执行三步运算，第一步是将输入的神经元和权值数据相乘；第二步执行加法树运算，用于将第一步处理后的加权输出神经元通过加法树逐级相加，或者将输出神经元通过和偏置相加得到加偏置输出神经元；第三步执行激活函数运算，得到最终输出神经元。
2.如权利要求1所述的用于压缩编码的人工神经网络计算装置，其特征在于，所述运算单元中对于输入的权值数据表示如下：
若是正向运算过程，则所述权值数据W1由k比特数据表示，其中包括1比特符号位、m比特控制位以及n比特数据位，即k＝1+m+n；其中k、m、n均为自然数；
若是反向运算过程，则所述权值数据W2使用浮点数表示。
3.如权利要求2所述的用于压缩编码的人工神经网络计算装置，其特征在于，所述W1是从W2转换而来，其中反向运算过程的权值数据W2具有len位有效数字，正向运算过程的权值数据W1中的n表示W1中的有效数字位数，n≤len；控制位m用于指定W1的有效数字在原权值数据中的起始位置。
4.如权利要求1所述的用于压缩编码的人工神经网络计算装置，其特征在于，所述人工神经网络计算装置还包括DMA，用于在所述内存接口单元与所述指令缓存和/或所述运算单元之间进行数据或者指令读写。
5.如权利要求4所述的用于压缩编码的人工神经网络计算装置，其特征在于，所述人工神经网络计算装置还包括：
输入神经元缓存，用于缓存输入到所述运算单元的输入神经元数据；
权值缓存，用于缓存权值数据；以及
所述输入神经元缓存和权值缓存均通过所述DMA输入。
6.如权利要求4所述的用于压缩编码的人工神经网络计算装置，其特征在于，所述人工神经网络计算装置还包括：
输出神经元缓存，用于缓存所述运算单元输出的输出神经元。
7.如权利要求1所述的用于压缩编码的人工神经网络计算装置，其特征在于，所述运算单元在第三步执行的激活函数为sigmoid函数、tanh函数、relu函数或softmax函数。
8.一种采用如权利要求1至7任意一项所述的用于压缩编码的人工神经网络计算装置进行的人工神经网络压缩编码方法，其特征在于，包括以下步骤；
步骤1：控制器单元从指令缓存中读取一条多层人工神经网络运算SIMD指令；
步骤2：所述控制器单元将所述指令译码成各个功能部件的微指令，包括输入神经元缓存是否读写以及读写次数、输出神经元缓存是否读写以及读写次数、权值神经元缓存是否读写以及读写次数、运算单元各个阶段执行何种操作；
步骤3：运算单元得到从输入神经元缓存和权值缓存的输入向量，根据阶段一的操作码，决定是否执行向量乘法运算，如果执行就将结果发送到下一阶段，否则直接将输入发送到下一阶段；
步骤4：所述运算单元根据阶段二的操作码，决定是否进行加法树运算，如果执行就将结果发送到下一阶段，否则直接将输入发送到下一阶段；
步骤5：所述运算单元根据阶段三的操作码，决定是否进行激活函数的运算，如果执行就将结果发送给输出神经元缓存。
9.一种采用如权利要求1至7任意一项所述的用于压缩编码的人工神经网络计算装置进行的人工神经网络反向传播训练的方法，其特征在于，包括以下步骤；
步骤1：控制器单元从指令缓存中读取一条多层人工神经网络训练算法SIMD指令；
步骤2：所述控制器单元将所述指令译码成各个运算单元的微指令，包括输入神经元缓存是否读写以及读写次数、输出神经元缓存是否读写以及读写次数、权值神经元缓存是否读写以及读写次数、运算单元各个阶段执行何种操作；
步骤3：运算单元得到从输入神经元缓存和权值缓存的输入向量，根据阶段一的操作码，决定是否执行向量乘法运算，如果执行就将结果发送到下一阶段，否则直接将输入发送到下一阶段；
步骤4：所述运算单元根据阶段二的操作码，决定是否进行加法树运算、向量加法运算或权值更新运算。
10.一种采用如权利要求1至7任意一项所述的用于压缩编码的人工神经网络计算装置进行的人工神经网络计算方法，其特征在于，包括以下步骤：
步骤1：将存储的浮点权值W1转换成位数较少的表示W2；
步骤2：使用W2进行正向运算；
步骤3：根据正向运算得到的误差结果进行反向运算更新W1；
迭代执行上述三个步骤，直到得到所需要的模型。
CN201610039026.6A 2016-01-20 2016-01-20 一种人工神经网络压缩编码装置和方法 Active CN106991477B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201610039026.6A CN106991477B (zh) 2016-01-20 2016-01-20 一种人工神经网络压缩编码装置和方法
CN201810151978.6A CN108427990B (zh) 2016-01-20 2016-01-20 神经网络计算系统和方法
PCT/CN2016/078448 WO2017124644A1 (zh) 2016-01-20 2016-04-05 一种人工神经网络压缩编码装置和方法
US16/041,160 US10402725B2 (en) 2016-01-20 2018-07-20 Apparatus and method for compression coding for artificial neural network
US16/508,139 US10726336B2 (en) 2016-01-20 2019-07-10 Apparatus and method for compression coding for artificial neural network

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610039026.6A CN106991477B (zh) 2016-01-20 2016-01-20 一种人工神经网络压缩编码装置和方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201810151978.6A Division CN108427990B (zh) 2016-01-20 2016-01-20 神经网络计算系统和方法

Publications (2)

Publication Number Publication Date
CN106991477A true CN106991477A (zh) 2017-07-28
CN106991477B CN106991477B (zh) 2020-08-14

Family

ID=59361365

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201610039026.6A Active CN106991477B (zh) 2016-01-20 2016-01-20 一种人工神经网络压缩编码装置和方法
CN201810151978.6A Active CN108427990B (zh) 2016-01-20 2016-01-20 神经网络计算系统和方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201810151978.6A Active CN108427990B (zh) 2016-01-20 2016-01-20 神经网络计算系统和方法

Country Status (3)

Country Link
US (2) US10402725B2 (zh)
CN (2) CN106991477B (zh)
WO (1) WO2017124644A1 (zh)

Cited By (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107578014A (zh) * 2017-09-06 2018-01-12 上海寒武纪信息科技有限公司 信息处理装置及方法
CN107748914A (zh) * 2017-10-19 2018-03-02 珠海格力电器股份有限公司 人工神经网络运算电路
CN107895191A (zh) * 2017-10-30 2018-04-10 上海寒武纪信息科技有限公司 一种信息处理方法及相关产品
CN108205704A (zh) * 2017-09-27 2018-06-26 深圳市商汤科技有限公司 一种神经网络芯片
CN108566537A (zh) * 2018-05-16 2018-09-21 中国科学院计算技术研究所 用于对视频帧进行神经网络运算的图像处理装置
CN108647660A (zh) * 2018-05-16 2018-10-12 中国科学院计算技术研究所 一种使用神经网络芯片处理图像的方法
CN108764454A (zh) * 2018-04-28 2018-11-06 中国科学院计算技术研究所 基于小波变换压缩和/或解压缩的神经网络处理方法
CN108921012A (zh) * 2018-05-16 2018-11-30 中国科学院计算技术研究所 一种利用人工智能芯片处理图像视频帧的方法
CN109389219A (zh) * 2017-08-04 2019-02-26 三星电子株式会社 用于对神经网络的参数进行量化的方法和装置
CN109389209A (zh) * 2017-08-09 2019-02-26 上海寒武纪信息科技有限公司 处理装置及处理方法
CN109583577A (zh) * 2017-09-29 2019-04-05 上海寒武纪信息科技有限公司 运算装置及方法
CN109697507A (zh) * 2017-10-24 2019-04-30 上海寒武纪信息科技有限公司 处理方法及装置
CN109754062A (zh) * 2017-11-07 2019-05-14 上海寒武纪信息科技有限公司 卷积扩展指令的执行方法以及相关产品
WO2019127731A1 (zh) * 2017-12-29 2019-07-04 国民技术股份有限公司 卷积神经网络硬件加速装置及卷积计算方法及存储介质
CN109978143A (zh) * 2019-03-29 2019-07-05 南京大学 一种基于simd架构的堆栈式自编码器及编码方法
CN109977446A (zh) * 2017-12-28 2019-07-05 北京中科寒武纪科技有限公司 集成电路芯片装置及相关产品
CN109993276A (zh) * 2017-12-29 2019-07-09 北京中科寒武纪科技有限公司 用于执行人工神经网络反向训练的装置和方法
CN109993290A (zh) * 2017-12-30 2019-07-09 北京中科寒武纪科技有限公司 集成电路芯片装置及相关产品
CN109993289A (zh) * 2017-12-30 2019-07-09 北京中科寒武纪科技有限公司 集成电路芯片装置及相关产品
CN110147872A (zh) * 2018-05-18 2019-08-20 北京中科寒武纪科技有限公司 编码存储装置及方法、处理器及训练方法
CN110196735A (zh) * 2018-02-27 2019-09-03 上海寒武纪信息科技有限公司 一种计算装置及相关产品
CN110196734A (zh) * 2018-02-27 2019-09-03 上海寒武纪信息科技有限公司 一种计算装置及相关产品
WO2019165939A1 (zh) * 2018-02-27 2019-09-06 上海寒武纪信息科技有限公司 一种计算装置及相关产品
CN110363291A (zh) * 2018-03-26 2019-10-22 上海寒武纪信息科技有限公司 神经网络的运算方法、装置、计算机设备和存储介质
CN110956257A (zh) * 2018-09-26 2020-04-03 龙芯中科技术有限公司 神经网络加速器
CN111045726A (zh) * 2018-10-12 2020-04-21 上海寒武纪信息科技有限公司 支持编码、解码的深度学习处理装置及方法
CN111062469A (zh) * 2018-10-17 2020-04-24 上海寒武纪信息科技有限公司 计算装置及相关产品
CN111079930A (zh) * 2019-12-23 2020-04-28 深圳市商汤科技有限公司 数据集质量参数的确定方法、装置及电子设备
CN111222632A (zh) * 2018-11-27 2020-06-02 中科寒武纪科技股份有限公司 计算装置、计算方法及相关产品
CN111353591A (zh) * 2018-12-20 2020-06-30 中科寒武纪科技股份有限公司 一种计算装置及相关产品
CN111382848A (zh) * 2018-12-27 2020-07-07 中科寒武纪科技股份有限公司 一种计算装置及相关产品
CN111738429A (zh) * 2019-03-25 2020-10-02 中科寒武纪科技股份有限公司 一种计算装置及相关产品
CN111915003A (zh) * 2019-05-09 2020-11-10 深圳大普微电子科技有限公司 一种神经网络硬件加速器
CN112865804A (zh) * 2021-01-12 2021-05-28 东南大学 三值神经网络稀疏性权重的压缩计算单元
US11086634B2 (en) 2017-07-05 2021-08-10 Shanghai Cambricon Information Technology Co., Ltd. Data processing apparatus and method
CN113783933A (zh) * 2021-08-10 2021-12-10 中山大学 基于编码缓存的双层网络通信方法、装置及介质
US11307864B2 (en) 2017-07-05 2022-04-19 Shanghai Cambricon Information Technology Co., Ltd. Data processing apparatus and method
US11651202B2 (en) 2017-12-30 2023-05-16 Cambricon Technologies Corporation Limited Integrated circuit chip device and related product
US11704544B2 (en) 2017-12-30 2023-07-18 Cambricon Technologies Corporation Limited Integrated circuit chip device and related product
US11710041B2 (en) 2017-05-23 2023-07-25 Shanghai Cambricon Information Technology Co., Ltd Feature map and weight selection method and accelerating device
US11990137B2 (en) 2018-09-13 2024-05-21 Shanghai Cambricon Information Technology Co., Ltd. Image retouching method and terminal device
US11995556B2 (en) 2018-05-18 2024-05-28 Cambricon Technologies Corporation Limited Video retrieval method, and method and apparatus for generating video retrieval mapping relationship

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106990937B (zh) * 2016-01-20 2020-10-20 中科寒武纪科技股份有限公司 一种浮点数处理装置和处理方法
CN106991478B (zh) * 2016-01-20 2020-05-08 中科寒武纪科技股份有限公司 用于执行人工神经网络反向训练的装置和方法
CN108271026B (zh) * 2016-12-30 2020-03-31 上海寒武纪信息科技有限公司 压缩/解压缩的装置和系统、芯片、电子装置、方法
US11037330B2 (en) * 2017-04-08 2021-06-15 Intel Corporation Low rank matrix compression
US10817296B2 (en) * 2017-04-21 2020-10-27 Intel Corporation Message based general register file assembly
US11580361B2 (en) * 2017-04-24 2023-02-14 Intel Corporation Neural network training mechanism
CN109961131B (zh) * 2017-12-14 2020-05-08 中科寒武纪科技股份有限公司 神经网络正向运算方法及相关产品
WO2019141902A1 (en) * 2018-01-17 2019-07-25 Nokia Technologies Oy An apparatus, a method and a computer program for running a neural network
US11687759B2 (en) 2018-05-01 2023-06-27 Semiconductor Components Industries, Llc Neural network accelerator
US20200090035A1 (en) * 2018-09-19 2020-03-19 International Business Machines Corporation Encoder-decoder memory-augmented neural network architectures
WO2020062284A1 (zh) * 2018-09-30 2020-04-02 深圳市大疆创新科技有限公司 基于卷积神经网络的图像处理方法和设备，以及无人机
CN111079908B (zh) * 2018-10-18 2024-02-13 上海寒武纪信息科技有限公司 片上网络数据处理方法、存储介质、计算机设备和装置
JP7060720B2 (ja) 2018-10-18 2022-04-26 シャンハイ カンブリコン インフォメーション テクノロジー カンパニー リミテッド ネットワークオンチップによるデータ処理方法及び装置
CN109657788A (zh) * 2018-12-18 2019-04-19 北京中科寒武纪科技有限公司 数据处理方法、装置及相关产品
CN111367567B (zh) * 2018-12-25 2023-03-07 上海寒武纪信息科技有限公司 一种神经网络计算装置和方法
CN111368986B (zh) * 2018-12-25 2023-03-10 上海寒武纪信息科技有限公司 一种神经网络计算装置和方法
CN111368967B (zh) * 2018-12-25 2023-04-07 上海寒武纪信息科技有限公司 一种神经网络计算装置和方法
CN111368985B (zh) * 2018-12-25 2023-11-28 上海寒武纪信息科技有限公司 一种神经网络计算装置和方法
CN111368990B (zh) * 2018-12-25 2023-03-07 上海寒武纪信息科技有限公司 一种神经网络计算装置和方法
CN110225346A (zh) * 2018-12-28 2019-09-10 杭州海康威视数字技术股份有限公司 一种编解码方法及其设备
CN111488976B (zh) * 2019-01-28 2023-06-30 中科寒武纪科技股份有限公司 神经网络计算装置、神经网络计算方法及相关产品
CN109871941B (zh) * 2019-02-18 2020-02-21 中科寒武纪科技股份有限公司 数据处理方法、装置及相关产品
CN110046703B (zh) * 2019-03-07 2020-07-31 中国科学院计算技术研究所 一种用于神经网络的片上存储处理系统
KR20200129957A (ko) 2019-05-10 2020-11-18 삼성전자주식회사 피처맵 데이터에 대한 압축을 수행하는 뉴럴 네트워크 프로세서 및 이를 포함하는 컴퓨팅 시스템
CN111930681B (zh) * 2019-05-13 2023-10-10 中科寒武纪科技股份有限公司 一种计算装置及相关产品
EP3998554A4 (en) * 2019-06-12 2023-11-15 Shanghai Cambricon Information Technology Co., Ltd METHOD FOR DETERMINING QUANTIZATION PARAMETERS IN A NEURONAL NETWORK AND ASSOCIATED PRODUCTS
CN110598858A (zh) * 2019-08-02 2019-12-20 北京航空航天大学 基于非易失性存内计算实现二值神经网络的芯片和方法
US11526761B2 (en) * 2019-08-24 2022-12-13 Microsoft Technology Licensing, Llc Neural network training with decreased memory consumption and processor utilization
CN112712172B (zh) * 2019-10-25 2023-12-26 安徽寒武纪信息科技有限公司 用于神经网络运算的计算装置、方法、集成电路和设备
CN111008699B (zh) * 2019-12-05 2022-06-07 首都师范大学 一种基于自动驾驶的神经网络数据存储方法及系统
CN111045687B (zh) * 2019-12-06 2022-04-22 浪潮(北京)电子信息产业有限公司 一种人工智能应用的部署方法及相关装置
US11144208B2 (en) * 2019-12-23 2021-10-12 Advanced Micro Devices, Inc. Data compression system using base values and methods thereof
CN111240743B (zh) * 2020-01-03 2022-06-03 格兰菲智能科技有限公司 人工智能集成电路
CN111199283A (zh) * 2020-02-24 2020-05-26 张早 一种基于卷积循环神经网络的气温预测系统及方法
US10938411B1 (en) * 2020-03-25 2021-03-02 Arm Limited Compression and/or decompression of activation data
US11947828B2 (en) * 2020-08-27 2024-04-02 Taiwan Semiconductor Manufacturing Company, Ltd. Memory device
US20230068645A1 (en) * 2021-08-27 2023-03-02 Taiwan Semiconductor Manufacturing Company, Ltd. Memory device and method for computing-in-memory (cim)
US11734075B2 (en) * 2021-11-24 2023-08-22 International Business Machines Corporation Reducing data format conversion of an accelerator
CN114819122B (zh) * 2022-03-28 2022-12-06 中国科学院自动化研究所 基于脉冲神经网络的数据处理方法及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101527010A (zh) * 2008-03-06 2009-09-09 上海理工大学 人工神经网络算法的硬件实现方法及其系统
CN102184453A (zh) * 2011-05-16 2011-09-14 上海电气集团股份有限公司 基于模糊神经网络和支持向量机的风电功率组合预测方法
CN103019656A (zh) * 2012-12-04 2013-04-03 中国科学院半导体研究所 可动态重构的多级并行单指令多数据阵列处理系统
CN103177288A (zh) * 2013-03-05 2013-06-26 辽宁省电力有限公司鞍山供电公司 基于遗传算法优化神经网络的变压器故障诊断方法
US20150106315A1 (en) * 2013-10-16 2015-04-16 University Of Tennessee Research Foundation Method and apparatus for providing random selection and long-term potentiation and depression in an artificial network
CN104915560A (zh) * 2015-06-11 2015-09-16 万达信息股份有限公司 一种基于广义神经网络聚类的疾病病种诊疗方案预测方法
CN105184366A (zh) * 2015-09-15 2015-12-23 中国科学院计算技术研究所 一种时分复用的通用神经网络处理器

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5204938A (en) * 1989-05-30 1993-04-20 Loral Aerospace Corp. Method of implementing a neural network on a digital computer
CN1331092C (zh) * 2004-05-17 2007-08-08 中国科学院半导体研究所 模式识别专用神经网络计算机系统
JP2009516246A (ja) * 2005-11-15 2009-04-16 ベルナデット ガーナー ニューラルネットワークのトレーニング方法
US7864083B2 (en) * 2008-05-21 2011-01-04 Ocarina Networks, Inc. Efficient data compression and decompression of numeric sequences
CN105095833B (zh) * 2014-05-08 2019-03-15 中国科学院声学研究所 用于人脸识别的网络构建方法、识别方法及系统
CN104200224A (zh) * 2014-08-28 2014-12-10 西北工业大学 基于深度卷积神经网络的无价值图像去除方法
US10373050B2 (en) * 2015-05-08 2019-08-06 Qualcomm Incorporated Fixed point neural network based on floating point neural network quantization
CN104915195B (zh) * 2015-05-20 2017-11-28 清华大学 一种基于现场可编程门阵列实现神经网络计算的方法
US20190073582A1 (en) * 2015-09-23 2019-03-07 Yi Yang Apparatus and method for local quantization for convolutional neural networks (cnns)

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101527010A (zh) * 2008-03-06 2009-09-09 上海理工大学 人工神经网络算法的硬件实现方法及其系统
CN102184453A (zh) * 2011-05-16 2011-09-14 上海电气集团股份有限公司 基于模糊神经网络和支持向量机的风电功率组合预测方法
CN103019656A (zh) * 2012-12-04 2013-04-03 中国科学院半导体研究所 可动态重构的多级并行单指令多数据阵列处理系统
CN103177288A (zh) * 2013-03-05 2013-06-26 辽宁省电力有限公司鞍山供电公司 基于遗传算法优化神经网络的变压器故障诊断方法
US20150106315A1 (en) * 2013-10-16 2015-04-16 University Of Tennessee Research Foundation Method and apparatus for providing random selection and long-term potentiation and depression in an artificial network
CN104915560A (zh) * 2015-06-11 2015-09-16 万达信息股份有限公司 一种基于广义神经网络聚类的疾病病种诊疗方案预测方法
CN105184366A (zh) * 2015-09-15 2015-12-23 中国科学院计算技术研究所 一种时分复用的通用神经网络处理器

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
杨永杰: "《地应力测量及综放沿空掘巷支护技术》", 31 October 2010, 煤炭工业出版社 *

Cited By (70)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11727276B2 (en) 2017-05-23 2023-08-15 Shanghai Cambricon Information Technology Co., Ltd Processing method and accelerating device
US11710041B2 (en) 2017-05-23 2023-07-25 Shanghai Cambricon Information Technology Co., Ltd Feature map and weight selection method and accelerating device
US11907844B2 (en) 2017-05-23 2024-02-20 Shanghai Cambricon Information Technology Co., Ltd Processing method and accelerating device
US11086634B2 (en) 2017-07-05 2021-08-10 Shanghai Cambricon Information Technology Co., Ltd. Data processing apparatus and method
US11307864B2 (en) 2017-07-05 2022-04-19 Shanghai Cambricon Information Technology Co., Ltd. Data processing apparatus and method
CN109389219B (zh) * 2017-08-04 2024-04-09 三星电子株式会社 用于对神经网络的参数进行量化的方法和装置
CN109389219A (zh) * 2017-08-04 2019-02-26 三星电子株式会社 用于对神经网络的参数进行量化的方法和装置
CN109389209B (zh) * 2017-08-09 2022-03-15 上海寒武纪信息科技有限公司 处理装置及处理方法
CN109389209A (zh) * 2017-08-09 2019-02-26 上海寒武纪信息科技有限公司 处理装置及处理方法
CN107578014A (zh) * 2017-09-06 2018-01-12 上海寒武纪信息科技有限公司 信息处理装置及方法
US11307865B2 (en) 2017-09-06 2022-04-19 Shanghai Cambricon Information Technology Co., Ltd. Data processing apparatus and method
CN108205704A (zh) * 2017-09-27 2018-06-26 深圳市商汤科技有限公司 一种神经网络芯片
CN108205704B (zh) * 2017-09-27 2021-10-29 深圳市商汤科技有限公司 一种神经网络芯片
CN109583577A (zh) * 2017-09-29 2019-04-05 上海寒武纪信息科技有限公司 运算装置及方法
US11307866B2 (en) 2017-09-29 2022-04-19 Shanghai Cambricon Information Technology Co., Ltd. Data processing apparatus and method
CN109583577B (zh) * 2017-09-29 2021-04-23 上海寒武纪信息科技有限公司 运算装置及方法
CN107748914A (zh) * 2017-10-19 2018-03-02 珠海格力电器股份有限公司 人工神经网络运算电路
CN109697507A (zh) * 2017-10-24 2019-04-30 上海寒武纪信息科技有限公司 处理方法及装置
CN109697507B (zh) * 2017-10-24 2020-12-25 安徽寒武纪信息科技有限公司 处理方法及装置
US11922132B2 (en) 2017-10-30 2024-03-05 Shanghai Cambricon Information Technology Co., Ltd. Information processing method and terminal device
US11762631B2 (en) 2017-10-30 2023-09-19 Shanghai Cambricon Information Technology Co., Ltd. Information processing method and terminal device
CN107895191B (zh) * 2017-10-30 2022-02-22 上海寒武纪信息科技有限公司 一种信息处理方法及相关产品
CN107993206A (zh) * 2017-10-30 2018-05-04 上海寒武纪信息科技有限公司 一种信息处理方法及相关产品
CN111160549A (zh) * 2017-10-30 2020-05-15 上海寒武纪信息科技有限公司 互连电路的数据处理装置以及方法
CN107895191A (zh) * 2017-10-30 2018-04-10 上海寒武纪信息科技有限公司 一种信息处理方法及相关产品
CN109754062A (zh) * 2017-11-07 2019-05-14 上海寒武纪信息科技有限公司 卷积扩展指令的执行方法以及相关产品
CN109754062B (zh) * 2017-11-07 2024-05-14 上海寒武纪信息科技有限公司 卷积扩展指令的执行方法以及相关产品
CN109977446A (zh) * 2017-12-28 2019-07-05 北京中科寒武纪科技有限公司 集成电路芯片装置及相关产品
CN109993276A (zh) * 2017-12-29 2019-07-09 北京中科寒武纪科技有限公司 用于执行人工神经网络反向训练的装置和方法
WO2019127731A1 (zh) * 2017-12-29 2019-07-04 国民技术股份有限公司 卷积神经网络硬件加速装置及卷积计算方法及存储介质
US11263007B2 (en) 2017-12-29 2022-03-01 Nationz Technologies Inc. Convolutional neural network hardware acceleration device, convolutional calculation method, and storage medium
US11704544B2 (en) 2017-12-30 2023-07-18 Cambricon Technologies Corporation Limited Integrated circuit chip device and related product
CN109993289A (zh) * 2017-12-30 2019-07-09 北京中科寒武纪科技有限公司 集成电路芯片装置及相关产品
US11710031B2 (en) 2017-12-30 2023-07-25 Cambricon Technologies Corporation Limited Parallel processing circuits for neural networks
US11651202B2 (en) 2017-12-30 2023-05-16 Cambricon Technologies Corporation Limited Integrated circuit chip device and related product
CN109993290A (zh) * 2017-12-30 2019-07-09 北京中科寒武纪科技有限公司 集成电路芯片装置及相关产品
US11734548B2 (en) 2017-12-30 2023-08-22 Cambricon Technologies Corporation Limited Integrated circuit chip device and related product
CN109993289B (zh) * 2017-12-30 2021-09-21 中科寒武纪科技股份有限公司 集成电路芯片装置及相关产品
CN109993290B (zh) * 2017-12-30 2021-08-06 中科寒武纪科技股份有限公司 集成电路芯片装置及相关产品
WO2019165939A1 (zh) * 2018-02-27 2019-09-06 上海寒武纪信息科技有限公司 一种计算装置及相关产品
CN110196734A (zh) * 2018-02-27 2019-09-03 上海寒武纪信息科技有限公司 一种计算装置及相关产品
CN110196735A (zh) * 2018-02-27 2019-09-03 上海寒武纪信息科技有限公司 一种计算装置及相关产品
CN110363291A (zh) * 2018-03-26 2019-10-22 上海寒武纪信息科技有限公司 神经网络的运算方法、装置、计算机设备和存储介质
CN108764454A (zh) * 2018-04-28 2018-11-06 中国科学院计算技术研究所 基于小波变换压缩和/或解压缩的神经网络处理方法
CN108566537A (zh) * 2018-05-16 2018-09-21 中国科学院计算技术研究所 用于对视频帧进行神经网络运算的图像处理装置
CN108647660A (zh) * 2018-05-16 2018-10-12 中国科学院计算技术研究所 一种使用神经网络芯片处理图像的方法
CN108921012A (zh) * 2018-05-16 2018-11-30 中国科学院计算技术研究所 一种利用人工智能芯片处理图像视频帧的方法
US11995556B2 (en) 2018-05-18 2024-05-28 Cambricon Technologies Corporation Limited Video retrieval method, and method and apparatus for generating video retrieval mapping relationship
CN110147872A (zh) * 2018-05-18 2019-08-20 北京中科寒武纪科技有限公司 编码存储装置及方法、处理器及训练方法
US11990137B2 (en) 2018-09-13 2024-05-21 Shanghai Cambricon Information Technology Co., Ltd. Image retouching method and terminal device
US11996105B2 (en) 2018-09-13 2024-05-28 Shanghai Cambricon Information Technology Co., Ltd. Information processing method and terminal device
CN110956257A (zh) * 2018-09-26 2020-04-03 龙芯中科技术有限公司 神经网络加速器
CN111045726B (zh) * 2018-10-12 2022-04-15 上海寒武纪信息科技有限公司 支持编码、解码的深度学习处理装置及方法
CN111045726A (zh) * 2018-10-12 2020-04-21 上海寒武纪信息科技有限公司 支持编码、解码的深度学习处理装置及方法
CN111062469B (zh) * 2018-10-17 2024-03-05 上海寒武纪信息科技有限公司 计算装置及相关产品
CN111062469A (zh) * 2018-10-17 2020-04-24 上海寒武纪信息科技有限公司 计算装置及相关产品
CN111222632A (zh) * 2018-11-27 2020-06-02 中科寒武纪科技股份有限公司 计算装置、计算方法及相关产品
CN111353591A (zh) * 2018-12-20 2020-06-30 中科寒武纪科技股份有限公司 一种计算装置及相关产品
CN111382848A (zh) * 2018-12-27 2020-07-07 中科寒武纪科技股份有限公司 一种计算装置及相关产品
CN111738429B (zh) * 2019-03-25 2023-10-13 中科寒武纪科技股份有限公司 一种计算装置及相关产品
CN111738429A (zh) * 2019-03-25 2020-10-02 中科寒武纪科技股份有限公司 一种计算装置及相关产品
CN109978143A (zh) * 2019-03-29 2019-07-05 南京大学 一种基于simd架构的堆栈式自编码器及编码方法
CN111915003B (zh) * 2019-05-09 2024-03-22 深圳大普微电子科技有限公司 一种神经网络硬件加速器
CN111915003A (zh) * 2019-05-09 2020-11-10 深圳大普微电子科技有限公司 一种神经网络硬件加速器
CN111079930B (zh) * 2019-12-23 2023-12-19 深圳市商汤科技有限公司 数据集质量参数的确定方法、装置及电子设备
CN111079930A (zh) * 2019-12-23 2020-04-28 深圳市商汤科技有限公司 数据集质量参数的确定方法、装置及电子设备
CN112865804B (zh) * 2021-01-12 2023-10-10 东南大学 三值神经网络稀疏性权重的压缩计算单元
CN112865804A (zh) * 2021-01-12 2021-05-28 东南大学 三值神经网络稀疏性权重的压缩计算单元
CN113783933B (zh) * 2021-08-10 2022-05-24 中山大学 基于编码缓存的双层网络通信方法、装置及介质
CN113783933A (zh) * 2021-08-10 2021-12-10 中山大学 基于编码缓存的双层网络通信方法、装置及介质

Also Published As

Publication number Publication date
US10402725B2 (en) 2019-09-03
CN106991477B (zh) 2020-08-14
US20190332945A1 (en) 2019-10-31
CN108427990B (zh) 2020-05-22
CN108427990A (zh) 2018-08-21
WO2017124644A1 (zh) 2017-07-27
US20180330239A1 (en) 2018-11-15
US10726336B2 (en) 2020-07-28

Similar Documents

Publication Publication Date Title
CN106991477A (zh) 一种人工神经网络压缩编码装置和方法
KR102142889B1 (ko) 스파스 연결용 인공 신경망 계산 장치와 방법
US11568258B2 (en) Operation method
CN107862374B (zh) 基于流水线的神经网络处理系统和处理方法
CN104915322B (zh) 一种卷积神经网络硬件加速方法
CN108665059A (zh) 基于现场可编程门阵列的卷积神经网络加速系统
JP6880160B2 (ja) 計算装置と計算方法
CN106991478A (zh) 用于执行人工神经网络反向训练的装置和方法
CN108334944B (zh) 一种人工神经网络运算的装置及方法
CN108665063A (zh) 用于bnn硬件加速器的双向并行处理卷积加速系统
KR20190089685A (ko) 데이터를 처리하는 방법 및 장치
CN112051981B (zh) 一种数据流水线计算路径结构及单线程数据流水线系统
CN109948787B (zh) 用于神经网络卷积层的运算装置、芯片及方法
CN116187408B (zh) 稀疏加速单元、计算方法及稀疏神经网络硬件加速系统
CN109993276A (zh) 用于执行人工神经网络反向训练的装置和方法
Alaeddine et al. A Pipelined Energy-efficient Hardware Accelaration for Deep Convolutional Neural Networks
Jin et al. Design of Convolutional Neural Network Accelerator Based on RISC-V
CN111222632A (zh) 计算装置、计算方法及相关产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20180428

Address after: 100190 room 644, research complex, 6 South Road, Haidian District Science Academy, Beijing.

Applicant after: Beijing Zhongke Cambrian Technology Co., Ltd.

Address before: 210049 18 Xianlin Road, Ma Qun street, Qixia District, Nanjing, Jiangsu.

Applicant before: NANJING AIXI INFORMATION TECHNOLOGY CO., LTD.

CB02 Change of applicant information
CB02 Change of applicant information

Address after: 100190 room 644, comprehensive research building, No. 6 South Road, Haidian District Academy of Sciences, Beijing

Applicant after: Zhongke Cambrian Technology Co., Ltd

Address before: 100190 room 644, comprehensive research building, No. 6 South Road, Haidian District Academy of Sciences, Beijing

Applicant before: Beijing Zhongke Cambrian Technology Co., Ltd.

GR01 Patent grant
GR01 Patent grant