CN109934331A - 用于执行人工神经网络正向运算的装置和方法 - Google Patents

用于执行人工神经网络正向运算的装置和方法 Download PDF

Info

Publication number
CN109934331A
CN109934331A CN201910152660.4A CN201910152660A CN109934331A CN 109934331 A CN109934331 A CN 109934331A CN 201910152660 A CN201910152660 A CN 201910152660A CN 109934331 A CN109934331 A CN 109934331A
Authority
CN
China
Prior art keywords
data
point
digit
fixed
rounding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910152660.4A
Other languages
English (en)
Other versions
CN109934331B (zh
Inventor
陈云霁
刘少礼
郭崎
陈天石
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cambricon Technologies Corp Ltd
Beijing Zhongke Cambrian Technology Co Ltd
Original Assignee
Beijing Zhongke Cambrian Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zhongke Cambrian Technology Co Ltd filed Critical Beijing Zhongke Cambrian Technology Co Ltd
Priority to CN201910152660.4A priority Critical patent/CN109934331B/zh
Publication of CN109934331A publication Critical patent/CN109934331A/zh
Application granted granted Critical
Publication of CN109934331B publication Critical patent/CN109934331B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/06Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/061Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using biological neurons, e.g. biological neurons connected to an integrated circuit
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F7/00Methods or arrangements for processing data by operating upon the order or content of the data handled
    • G06F7/38Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation
    • G06F7/48Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation using non-contact-making devices, e.g. tube, solid state device; using unspecified devices
    • G06F7/483Computations with numbers represented by a non-linear combination of denominational numbers, e.g. rational numbers, logarithmic number system or floating-point numbers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/06Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03MCODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/14Conversion to or from non-weighted codes
    • H03M7/24Conversion to or from floating-point codes
    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03MCODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/28Programmable structures, i.e. where the code converter contains apparatus which is operator-changeable to modify the conversion process

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Neurology (AREA)
  • Nonlinear Science (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Complex Calculations (AREA)
  • Image Analysis (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Image Processing (AREA)

Abstract

一种用于执行人工神经网络正向运算的装置和方法,该装置包括:浮点数据统计模块,用于对所需各类型数据进行统计分析,得到定点数据的小数点位置Point locaiton;数据转换单元,用于根据定点数据的小数点位置来实现长位浮点数据类型向短位数定点数据类型的转换;定点数据运算模块,用于对短位数定点数据进行人工神经网络正向运算。本发明的装置通过对多层人工神经网络正向运算中的数据使用短位数定点表示,并使用相对应的定点运算模块,实现人工神经网络短位数定点的正向运算,从而极大提高硬件的性能功耗比。

Description

用于执行人工神经网络正向运算的装置和方法
技术领域
本发明涉及人工神经网络运算技术领域,更具体地涉及一种用于执行人工神经网络正向运算的装置和方法。
背景技术
多层人工神经网络被广泛应用于模式识别、图像处理、函数逼近和优化计算等领域,多层人工网络在近年来由于其较高的识别准确度和较好的可并行性,受到学术界和工业界越来越广泛的关注。
传统的人工神经网络正向运算对数据的存储通常采用的是32位浮点数据类型,但在大部分人工神经网络的正向运算中,同一类型的数据都会集中在某一数据范围之内,而32位浮点所能表示的数据范围远远大于正向运算同一类型数据的数据范围,采用32位浮点数据类型存在着大量的冗余,增加了硬件的面积开销。
发明内容
有鉴于此,本发明的一个目的在于提供一种用于执行人工神经网络正向运算的装置,本发明的另一个目的在于提供一种执行人工神经网络正向运算的方法,以解决上述技术问题中的至少之一。
为了实现上述目的,作为本发明的一个方面,本发明提供了一种用于执行人工神经网络正向运算的装置,包括:
浮点数据统计模块,用于对所述人工神经网络正向运算所需的各个类型的数据进行统计分析,得到小数点位置Point location;
数据转换单元,用于根据所述小数点位置Point location来实现长位数浮点数据类型向短位数定点数据类型的转换;
浮点数据运算模块,用于在所述数据转换单元将所有所述人工神经网络正向运算中所需的输入神经元、权值和/或偏置数据均采用短位数定点数据类型表示之后,对所述短位数定点数据进行人工神经网络正向运算。
其中,所述浮点数据统计模块包括:
数据提取单元,用于提取以长位数浮点数据类型表示的正向运算中各不同类型的数据;
统计单元,用于统计同一类型数据的数据范围及在各数据段的数据分布比例;
分析单元,用于根据统计单元统计的结果,得出用短位数定点数据类型表示的各个类型数据应当设定的小数点位置Point location。
其中,所述用于执行人工神经网络正向运算的装置还包括:
舍入单元,用于在运算结束后,对超出短位数定点数据类型精度范围的数据进行舍入操作。
其中,所述舍入单元选自随机舍入单元、四舍五入单元、向上舍入单元、向下舍入单元、截断舍入单元中的任一种;
其中,所述随机舍入单元执行如下操作:
其中,y表示随机舍入后的短位数定点数据,x表示随机舍入前的长位数浮点数据,ε为当前短位数定点数据类型所能表示的最小正整数,即2-point_location表示对x直接截得短位数定点数据所得的数,w.p.表示概率,即随机舍入获得的数据y为的概率为的概率为
所述四舍五入单元执行如下操作:
其中,y表示四舍五入后的短位数定点数据,x表示四舍五入前的长位数浮点数据,ε为当前短位数定点数据类型所能表示的最小正整数,即2-point_location为ε的整数倍,其值为小于或等于x的最大数;
所述向上舍入单元执行如下操作:
其中,y表示向上舍入后的短位数定点数据,x表示向上舍入前的长位数浮点数据,为ε的整数倍,其值为大于或等于x的最小数,ε为当前短位数定点数据类型所能表示的最小正整数,即2-point_location
所述向下舍入单元执行如下操作:
其中,y表示向上舍入后的短位数定点数据,x表示向上舍入前的长位数浮点数据,为ε的整数倍,其值为小于或等于x的最大数,ε为当前短位数定点数据类型所能表示的最小正整数,即2-point_location
所述截断舍入单元执行如下操作:
y=[x];
其中,y表示截断舍入后的短位数定点数据,x表示截断舍入前的长位数浮点数据,[x]表示对原数据x直接截得短位数定点数据所得的数。
其中,所述数据转换单元先通过所述舍入单元对待处理的数据进行舍入操作,再根据浮点数据统计模块得到的小数点位置Point location来实现长位数浮点数据类型向短位数定点数据类型的转换。
其中,所述用于执行人工神经网络正向运算的装置还包括:
运算缓存单元,用于采用长位数浮点数据类型存储正向运算中加法运算和乘法运算产生的中间运算结果。
作为本发明的另一个方面,本发明还提供了一种执行人工神经网络正向运算的方法,包括:
获取所述人工神经网络各个层的长位数浮点数据,包括每一层的权值、偏置和/或输入输出值;
对获取的所述长位数浮点数据,统计落在一列逐渐缩小的区间:[-2X-1-i,2X-1-i-2i],i=0,1,......,N中的比例,其中X是短位数定点数据类型的总位数;得到的相应的比例记为:p0,p1,......,pN,其中N是预设的正整数;
对于所述长位数浮点数据,预先设定一个溢出率EPL,取小数点位置Pointlocation为:max{i/pi≥1-EPL,i∈{0,1,......,N}};即在0,1,......,N中取最大的i,使得pi≥1-EPL;
根据所述小数点位置Point location,将所有所述长位数浮点数据均采用短位数定点数据类型表示;
对所述短位数定点数据执行人工神经网络正向运算。
其中,在所述执行人工神经网络正向运算的方法中,对所述人工神经网络不同层、不同类型的数据分别进行统计分析,获得相对于所述人工神经网络不同类型的数据的小数点位置Point location,并分别进行计算。
其中,所述对短位数定点数据执行人工神经网络正向运算的步骤中,对于正向运算中的加法运算和乘法运算产生的中间计算结果采用长位数浮点数据类型存储。
其中,在执行完所述人工神经网络正向运算之后,将参与反向运算的权值和偏置数据采用在正向运算时保留的长位数浮点数据类型表示的副本、其余数据由短位数定点数据类型转换成的长位数浮点数据类型后再进行反向运算。
基于上述技术方案可知,本发明的运算装置和方法具有如下有益效果:可以实现多层人工神经网络的短位数定点数据类型的正向运算,从而极大地减少了存储参与人工神经网络运算的数据所需的空间,减少硬件的面积开销,优化了硬件的面积功耗比;训练完成的神经网络模型参数可用于专用神经网络加速器,由于采用了短位数定点数据类型表示数据,所以可以降低对专用神经网络加速器传输带宽的要求,同时,减少计算带来的功耗。
附图说明
图1为根据本发明一实施例的用于存储数据的定点数据类型的具体表示方法;
图2为根据本发明一实施例的用于执行人工神经网络正向运算的装置中浮点数据统计模块的示例框图;
图3为根据本发明一实施例的用于执行人工神经网络正向运算的装置中正向运算模块的短位数定点计算部分示例框图;
图4为根据本发明一实施例的神经网络正向运算过程的示例框图;
图5示意性示出了根据本发明一实施例的用于执行人工神经网路正向运算装置的运算流程示例框图;
图6为根据本发明一实施例的算法实施总体流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,以下结合具体实施例,并参照附图,对本发明作进一步的详细说明。通过以下详细描述,本发明的其它方面、优势和突出特征对于本领域技术人员将变得显而易见。
在本说明书中,下述用于描述本发明原理的各种实施例只是说明,不应该以任何方式解释为限制发明的范围。参照附图的下述描述用于帮助全面理解由权利要求及其等同物限定的本发明的示例性实施例。下述描述包括多种具体细节来帮助理解,但这些细节应认为仅仅是示例性的。因此,本领域普通技术人员应认识到,在不悖离本发明的范围和精神的情况下,可以对本文中描述的实施例进行多种改变和修改。此外,为了清楚和简洁起见,省略了公知功能和结构的描述。此外,贯穿附图,相同附图标记用于相似功能和操作。
本发明公开了一种用于执行神经网络正向运算的装置,包括浮点数据统计模块、数据转换单元及相应的定点数据运算模块。其中,浮点数据统计模块用于统计及计算获得人工神经网络正向运算中存储各个类型数据的合适的小数点位置Point location;数据转换单元用于根据该小数点位置Point location实现短位数定点数据类型与长位数浮点数据类型的转换;定点运算模块用于完成针对短位数定点数据所需的各类正向运算。
其中,“长位数浮点数据”表示原来的浮点数据,例如32位浮点数据,也可以是针对标准的64位或者16位浮点数等,这里只是以32位为具体实施例进行说明;“较少位数定点数据”,又名“短位数定点数据”,表示相对于原来的浮点数据来说,采用更少的位数来表示的定点数据。
根据本发明实施例的多层人工神经网络的正向运算,包括两层或者两层以上的多个神经元。对于正向运算中所需的输入神经元、权值、偏置等数据,均采用短位数定点数据类型表示,并用短位数定点数据类型参与各个层之间的运算。
图1示出了根据本发明实施例的用于存储数据的短位数定点数据结构的具体表示方法。其中,1bit位用于表示符号,M位用于表示整数部分,N位用于表示小数部分;相比于32位浮点数据表示形式,本发明采用的短位定点数据表示形式除了占用比特位数更少外,对于神经网络中同一层、同一类型的数据,如第一个卷积层的所有权值数据,还另外设置了一个标志位Point location记录小数点的位置,这样可以根据实际数据的分布调整数据表示的精度与可表示数据范围。
图2示出了浮点数据统计模块的示例框图。包括数据提取单元21、统计单元22和分析单元23。该模块的目的是,通过提取采用32位浮点数据类型的神经网络中的所有32位浮点数据,并通过分析这些数据得到神经网络中用短位数定点数据类型表示的各个不同类型数据所需的小数点位置Point location,以便在之后的短位数定点正向运算中有更好的效果。其中,数据提取单元用于提取正向训练中以32位浮点数据类型表示的各个不同类型的数据;统计单元用于统计同一类型数据的数据范围及在各个数据段的数据分布比例;分析单元根据统计单元统计的结果,得出用短位数定点数据类型表示各个类型数据所需的小数点位置Point location。
图3示出了正向运算模块的短位数定点计算部分的示例框图。包括运算缓存单元31、数据转换单元32、舍入单元33。其中:运算缓存单元采用精度较高的数据类型存储正向运算的中间结果,这是由于在正向运算时,加法运算或者乘法运算可能会导致数据范围扩大;运算结束后,对超出短位数定点数据类型的精度范围的数据,进行舍入操作,接着通过数据转换单元32将运算缓存单元的数据转换为短位数定点数据。
舍入单元33可以完成对超出短位定点数据类型的精度范围的数据进行舍入操作,该单元可以为随机舍入单元、四舍五入单元、向上舍入单元、向下舍入单元、截断舍入单元等,通过不同的舍入单元可以实现对超出短位数定点数据类型的精度范围数据进行不同的舍入操作。
随机舍入单元执行如下操作:
其中,y表示随机舍入后的短位数定点数据,x表示随机舍入前的长位数浮点数据,ε为当前短位数定点数据类型所能表示的最小正数,即2-point_location表示对x直接截得短位数定点数据所得的数(类似于对小数做向下取整操作),w.p.表示概率,即随机舍入获得的数据y为的概率为的概率为
四舍五入单元执行如下操作:
其中,y表示四舍五入后的短位数定点数据,x表示四舍五入前的长位数浮点数据,ε为当前短位数定点数据类型所能表示的最小正整数,即2-point_location为ε的整数倍,其值为小于或等于x的最大数。
向上舍入单元执行如下操作:
其中,y表示向上舍入后的短位数定点数据,x表示向上舍入前的长位数浮点数据,为ε的整数倍,其值为大于或等于x的最小数,ε为当前短位数定点数据类型所能表示的最小正整数,即2-point_location
向下舍入单元执行如下操作:
其中,y表示向上舍入后的短位数定点数据,x表示向上舍入前的长位数浮点数据,为ε的整数倍,其值为小于或等于x的最大数,ε为当前短位数定点数据类型所能表示的最小正整数,即2-point_location
截断舍入单元执行如下操作:
y=[x];
其中,y表示截断舍入后的短位数定点数据,x表示截断舍入前的长位数浮点数据,[x]表示对原数据x直接截得短位数定点数据所得的数。
本发明还公开了一种执行人工神经网络正向运算的方法,具体实施步骤为:
通过已训练好的神经网络32位浮点模型获取神经网络各个层的32位浮点模型数据,包括每一层的权值、偏置、输入神经元、输出神经元及其它数据参数。
对不同层,对于每一种类型的数据,统计落在一列逐渐缩小的区间:[-2X-1-i,2X -1-i-2i],i=0,1,......,N中的比例(X是短位数定点数据类型的总位数);得到的相应的比例记为:p0,p1,......,pN,其中N是预设的正整数;
对于每一种类型的数据,预设溢出率EPL,取小数点位置Point location为:max{i/pi≥1-EPL,i∈{0,1,......,N}};即在0,1,......,N中取最大的i,使得pi≥1-EPL;
根据所述小数点位置Point location,将所有所述长位数浮点数据均采用短位数定点数据类型表示。
对统计得到的短位数定点数据类型表示的数据用于神经网络正向运算,即神经网络正向运算中所有数据用短位数定点数据类型表示,同时,对神经网络的权值和偏置数据保留一份以32位浮点数据类型表示的副本,然后做正向训练。对于正向运算中,某些运算会导致数据范围扩大,如加法运算、乘法运算等,需要用缓存空间存储中间计算结果,该中间计算结果用以32位浮点数据类型存储,计算完后再转换相应的以短位数定点数据类型表示的数据。32位浮点数据转短位数定点数据的过程需要用舍入方式,其中包括随机舍入、四舍五入舍入、向上舍入、向下舍入和截断舍入等,分别表示如下:
随机舍入单元执行如下操作:
其中,y表示随机舍入后的短位数定点数据,x表示随机舍入前的长位数浮点数据,ε为当前短位数定点数据类型所能表示的最小正数,即2-point_location表示对原数据x直接截得短位数定点数据所得的数(类似于对小数做向下取整操作),w.p.表示概率,即随机舍入获得的数据y为的概率为的概率为
四舍五入单元执行如下操作:
其中,y表示四舍五入后的短位数定点数据,x表示四舍五入前的长位数浮点数据,ε为当前短位数定点数据类型所能表示的最小正整数,即2-point_location为ε的整数倍,其值为小于或等于x的最大数。
向上舍入单元执行如下操作:
其中,y表示向上舍入后的短位数定点数据,x表示向上舍入前的长位数浮点数据,为ε的整数倍,其值为大于或等于x的最小数,ε为当前短位数定点数据类型所能表示的最小正整数,即2-point_location
向下舍入单元执行如下操作:
其中,y表示向上舍入后的短位数定点数据,x表示向上舍入前的长位数浮点数据,为ε的整数倍,其值为小于或等于x的最大数,ε为当前短位数定点数据类型所能表示的最小正整数,即2-point_location
截断舍入单元执行如下操作:
y=[x];
其中,y表示截断舍入后的短位数定点数据,x表示截断舍入前的长位数浮点数据,[x]表示对原数据x直接截得短位数定点数据所得的数。
正向运算结束后,做反向运算时,需要通过短位数定点转32位浮点数据转换单元将正向运算中的数据转换为以32位浮点数据类型表示的数据参与反向运算,其中,参与反向运算的权值和偏置数据用正向运算中保留的32位浮点数据类型表示的副本,反向运算结束后,在通过32位浮点转短位数定点数据转换单元转为以短位数定点数据类型表示的数据参与之后的正向运算,同时,保留以32位浮点数据类型表示的神经网络的权值和偏置数据为副本,转换过程中需要做舍入操作,操作同正向运算中的舍入操作。
重复进行如上所述的正向及反向运算直到神经网络训练完成。
图4是示出根据一个实施例的单层人工神经网络正向运算流程图。该流程图描述利用本发明的装置和指令集实现的一种单层神经网络正向运算的过程。对于每一层来说,首先对输入神经元向量进行加权求和计算出本层的中间结果向量。该中间结果向量加偏置并激活得到输出神经元向量。将输出神经元向量作为下一层的输入神经元向量。
图5示意性示出了根据本发明一实施例的运算流程示例框图。其中,正向运算模块51包含了图3所示的短位数定点计算部分,正向运算得到的除权值、偏置外的数据在进行反向传播时要先通过X位定点-32位浮点数据转换单元53转换成以32位浮点数据类型表示的数据进行反向传播运算,反向运算模块53进行的反向传播运算结束后,需要通过32位浮点-X位定点数据转换单元54转换成以短位数定点数据类型表示的数据,在转换过程中,需对超出短位数定点数据类型的精度范围的数据进行同图3中的舍入操作,此处舍入操作由随机舍入单元55完成。
图6示出了根据本发明实施例的算法实施总体流程图。细节操作在对图1到图5的说明中已经给出,详细步骤和发明内容中的具体实施步骤完全相同,这里不作赘述。
通过将正向运算的数据用短位数定点数据类型表示,充分利用了短位数定点数据类型的数据范围空间,相对于32位浮点数据类型,极大地减少了存储参与神经网络运算的数据所需的空间,优化了硬件的面积功耗比。
前面的附图中所描绘的进程或方法可通过包括硬件(例如,电路、专用逻辑等)、固件、软件(例如,被承载在非瞬态计算机可读介质上的软件),或两者的组合的处理逻辑来执行。虽然上文按照某些顺序操作描述了进程或方法,但是,应该理解,所描述的某些操作能以不同顺序来执行。此外,可并行地而非顺序地执行一些操作。
在前述的说明书中,参考其特定示例性实施例描述了本发明的各实施例。显然,可对各实施例做出各种修改,而不悖离所附权利要求所述的本发明的更广泛的精神和范围。相应地,说明书和附图应当被认为是说明性的,而不是限制性的。

Claims (14)

1.一种用于执行人工神经网络运算的装置,其特征在于,所述装置包括:
数据转换单元,用于根据所述小数点位置Point location来实现长位数浮点数据类型向短位数定点数据类型的转换;所述神经网络中同一层、同一类型的数据对应一个所述小数点位置Point location;
定点数据运算模块,用于在所述数据转换单元将所有所述人工神经网络运算中所需的输入神经元、权值和/或偏置数据均采用短位数定点数据类型表示之后,对所述短位数定点数据进行人工神经网络运算。
2.根据权利要求1所述的装置,其特征在于,所述装置还包括:
浮点数据统计模块:用于对所述人工神经网络正向运算所需的各个类型的数据进行统计分析,得到所述小数点位置Point location。
3.如权利要求2所述的用于执行人工神经网络正向运算的装置,其特征在于,所述浮点数据统计模块包括:
数据提取单元,用于提取以长位数浮点数据类型表示的正向运算中各种不同类型的数据;
统计单元,用于统计同一类型数据的数据范围及在各数据段的数据分布比例;
分析单元,用于根据统计单元统计的结果,得出用短位数定点数据类型表示的各个类型数据应当设定的小数点位置Point location。
4.如权利要求1所述的用于执行人工神经网络正向运算的装置,其特征在于,所述装置还包括:
舍入单元,用于在运算结束后,对超出短位数定点数据类型精度范围的数据进行舍入操作。
5.如权利要求4所述的用于执行人工神经网络正向运算的装置,其特征在于,所述舍入单元选自随机舍入单元、四舍五入单元、向上舍入单元、向下舍入单元、截断舍入单元中的任一种;
其中,所述随机舍入单元执行如下操作:
其中,y表示随机舍入后的短位数定点数据,x表示随机舍入前的长位数浮点数据,ε为当前短位数定点数据类型所能表示的最小正整数,即2-point_location表示对x直接截得短位数定点数据所得的数,w.p.表示概率,即随机舍入获得的数据y为的概率为的概率为
所述四舍五入单元执行如下操作:
其中,y表示四舍五入后的短位数定点数据,x表示四舍五入前的长位数浮点数据,ε为当前短位数定点数据类型所能表示的最小正整数,即2-point_location为ε的整数倍,其值为小于或等于x的最大数;
所述向上舍入单元执行如下操作:
其中,y表示向上舍入后的短位数定点数据,x表示向上舍入前的长位数浮点数据,为ε的整数倍,其值为大于或等于x的最小数,ε为当前短位数定点数据类型所能表示的最小正整数,即2-point_location
所述向下舍入单元执行如下操作:
其中,y表示向上舍入后的短位数定点数据,x表示向上舍入前的长位数浮点数据,为ε的整数倍,其值为小于或等于x的最大数,ε为当前短位数定点数据类型所能表示的最小正整数,即2-point_location
所述截断舍入单元执行如下操作:
y=[x];
其中,y表示截断舍入后的短位数定点数据,x表示截断舍入前的长位数浮点数据,[x]表示对原数据x直接截得短位数定点数据所得的数。
6.如权利要求5所述的用于执行人工神经网络正向运算的装置,其特征在于,所述数据转换单元先通过所述舍入单元对待处理的数据进行舍入操作,再根据浮点数据统计模块得到的小数点位置Point location来实现长位数浮点数据类型向短位数定点数据类型的转换。
7.如权利要求4或5所述的用于执行人工神经网络正向运算的装置,其特征在于,所述装置还包括:
运算缓存单元,用于采用长位数浮点数据类型存储正向运算中加法运算和乘法运算产生的中间运算结果。
8.如权利要求7所述的装置,其特征在于,所述数据转换单元还用于:
在所述舍入单元对超出短位数浮点精度范围的数据进行舍入操作后,将所述运算缓存单元中的数据转换为短位数浮点数据类型表示的数据。
9.一种执行人工神经网络正向运算的方法,其特征在于,包括:
通过已训练好的神经网络32位浮点模型获取所述人工神经网络各个层的长位数浮点数据,包括每一层的权值、偏置、输入神经元和输出神经元;
获取所述各个层的长位数浮点数据的小数点位置;
根据所述小数点位置Point location,将所有所述长位数浮点数据均采用短位数定点数据类型表示;
对所述短位数定点数据执行人工神经网络正向运算。
10.如权利要求9所述的方法,其特征在于,所述获取所述各个层的长位数浮点数据的小数点位置,包括:
对获取的所述长位数浮点数据,统计落在一列逐渐缩小的区间:[-2X-1-i,2X-1-i-2i],i=0,1,......,N中的比例,得到的相应的比例记为:p0,p1,......,pN,其中所述X是短位数定点数据类型的总位数;所述N是预设的正整数;
对于所述长位数浮点数据,预先设定一个溢出率EPL,取小数点位置Point location为:max{i/pi≥1-EPL,i∈{0,1,......,N}}。
11.如权利要求9或10所述的方法,其特征在于,在所述执行人工神经网络正向运算的方法中,对所述人工神经网络不同层、不同类型的数据分别进行统计分析,获得相对于所述人工神经网络不同类型的数据的小数点位置Point location,并分别进行计算。
12.如权利要求9或10所述的方法,其特征在于,所述对短位数定点数据执行人工神经网络正向运算的步骤中,对于正向运算中的加法运算和乘法运算产生的中间计算结果采用长位数浮点数据类型存储。
13.如权利要求9或10所述的方法,其特征在于,在执行完所述人工神经网络正向运算之后,将参与反向运算的权值和偏置数据采用在正向运算时保留的长位数浮点数据类型表示的副本、其余数据由短位数定点数据类型转换成的长位数浮点数据类型后再进行反向运算。
14.如权利要求9-13任一项所述的方法,其特征在于,将所述长位数浮点数据转换为短位数定点数据的过程中需要对所述长位数浮点数据进行舍入操作,
其中包括随机舍入、四舍五入舍入、向上舍入、向下舍入和截断舍入等,分别表示如下:
随机舍入单元执行如下操作:
其中,y表示随机舍入后的短位数定点数据,x表示随机舍入前的长位数浮点数据,ε为当前短位数定点数据类型所能表示的最小正数,即2-point_location表示对原数据x直接截得短位数定点数据所得的数(类似于对小数做向下取整操作),w.p.表示概率,即随机舍入获得的数据y为的概率为的概率为
四舍五入单元执行如下操作:
其中,y表示四舍五入后的短位数定点数据,x表示四舍五入前的长位数浮点数据,ε为当前短位数定点数据类型所能表示的最小正整数,即2-point_location为ε的整数倍,其值为小于或等于x的最大数;
向上舍入单元执行如下操作:
其中,y表示向上舍入后的短位数定点数据,x表示向上舍入前的长位数浮点数据,为ε的整数倍,其值为大于或等于x的最小数,ε为当前短位数定点数据类型所能表示的最小正整数,即2-point_location
向下舍入单元执行如下操作:
其中,y表示向上舍入后的短位数定点数据,x表示向上舍入前的长位数浮点数据,为ε的整数倍,其值为小于或等于x的最大数,ε为当前短位数定点数据类型所能表示的最小正整数,即2-point_location
截断舍入单元执行如下操作:
y=[x];
其中,y表示截断舍入后的短位数定点数据,x表示截断舍入前的长位数浮点数据,[x]表示对原数据x直接截得短位数定点数据所得的数。
CN201910152660.4A 2016-04-29 2016-04-29 用于执行人工神经网络正向运算的装置和方法 Active CN109934331B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910152660.4A CN109934331B (zh) 2016-04-29 2016-04-29 用于执行人工神经网络正向运算的装置和方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201610282480.4A CN107330515A (zh) 2016-04-29 2016-04-29 一种用于执行人工神经网络正向运算的装置和方法
CN201910152660.4A CN109934331B (zh) 2016-04-29 2016-04-29 用于执行人工神经网络正向运算的装置和方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201610282480.4A Division CN107330515A (zh) 2016-04-29 2016-04-29 一种用于执行人工神经网络正向运算的装置和方法

Publications (2)

Publication Number Publication Date
CN109934331A true CN109934331A (zh) 2019-06-25
CN109934331B CN109934331B (zh) 2020-06-19

Family

ID=60161679

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201910152660.4A Active CN109934331B (zh) 2016-04-29 2016-04-29 用于执行人工神经网络正向运算的装置和方法
CN201610282480.4A Pending CN107330515A (zh) 2016-04-29 2016-04-29 一种用于执行人工神经网络正向运算的装置和方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201610282480.4A Pending CN107330515A (zh) 2016-04-29 2016-04-29 一种用于执行人工神经网络正向运算的装置和方法

Country Status (5)

Country Link
US (1) US11295196B2 (zh)
EP (1) EP3451164B1 (zh)
KR (1) KR102476343B1 (zh)
CN (2) CN109934331B (zh)
WO (1) WO2017185412A1 (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021036362A1 (zh) * 2019-08-28 2021-03-04 上海寒武纪信息科技有限公司 用于处理数据的方法、装置以及相关产品
WO2021037174A1 (zh) * 2019-08-29 2021-03-04 杭州海康威视数字技术股份有限公司 一种神经网络模型训练方法及装置
WO2021077283A1 (zh) * 2019-10-22 2021-04-29 深圳鲲云信息科技有限公司 神经网络计算压缩方法、系统及存储介质
US11397579B2 (en) 2018-02-13 2022-07-26 Shanghai Cambricon Information Technology Co., Ltd Computing device and method
US11437032B2 (en) 2017-09-29 2022-09-06 Shanghai Cambricon Information Technology Co., Ltd Image processing apparatus and method
US11442785B2 (en) 2018-05-18 2022-09-13 Shanghai Cambricon Information Technology Co., Ltd Computation method and product thereof
US11513586B2 (en) 2018-02-14 2022-11-29 Shanghai Cambricon Information Technology Co., Ltd Control device, method and equipment for processor
US11544059B2 (en) 2018-12-28 2023-01-03 Cambricon (Xi'an) Semiconductor Co., Ltd. Signal processing device, signal processing method and related products
US11609760B2 (en) 2018-02-13 2023-03-21 Shanghai Cambricon Information Technology Co., Ltd Computing device and method
US11630666B2 (en) 2018-02-13 2023-04-18 Shanghai Cambricon Information Technology Co., Ltd Computing device and method
US11676028B2 (en) 2019-06-12 2023-06-13 Shanghai Cambricon Information Technology Co., Ltd Neural network quantization parameter determination method and related products
US11675676B2 (en) 2019-06-12 2023-06-13 Shanghai Cambricon Information Technology Co., Ltd Neural network quantization parameter determination method and related products
US11703939B2 (en) 2018-09-28 2023-07-18 Shanghai Cambricon Information Technology Co., Ltd Signal processing device and related products
US11762690B2 (en) 2019-04-18 2023-09-19 Cambricon Technologies Corporation Limited Data processing method and related products
US11847554B2 (en) 2019-04-18 2023-12-19 Cambricon Technologies Corporation Limited Data processing method and related products
US11966583B2 (en) 2018-08-28 2024-04-23 Cambricon Technologies Corporation Limited Data pre-processing method and device, and related computer device and storage medium
US12001955B2 (en) 2019-08-23 2024-06-04 Anhui Cambricon Information Technology Co., Ltd. Data processing method, device, computer equipment and storage medium

Families Citing this family (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107340993B (zh) 2016-04-28 2021-07-16 中科寒武纪科技股份有限公司 运算装置和方法
CN109934331B (zh) 2016-04-29 2020-06-19 中科寒武纪科技股份有限公司 用于执行人工神经网络正向运算的装置和方法
CN107679618B (zh) * 2017-07-28 2021-06-11 赛灵思电子科技(北京)有限公司 一种静态策略定点化训练方法及装置
CN109960673B (zh) * 2017-12-14 2020-02-18 中科寒武纪科技股份有限公司 集成电路芯片装置及相关产品
CN109961138B (zh) * 2017-12-14 2020-04-14 中科寒武纪科技股份有限公司 神经网络训练方法及相关产品
CN109961137B (zh) * 2017-12-14 2020-10-09 中科寒武纪科技股份有限公司 集成电路芯片装置及相关产品
WO2019114842A1 (zh) 2017-12-14 2019-06-20 北京中科寒武纪科技有限公司 一种集成电路芯片装置
CN111160541B (zh) * 2017-12-14 2023-05-19 中科寒武纪科技股份有限公司 集成电路芯片装置及相关产品
CN111160543B (zh) * 2017-12-14 2023-08-29 中科寒武纪科技股份有限公司 集成电路芯片装置及相关产品
CN109961133B (zh) * 2017-12-14 2020-04-24 中科寒武纪科技股份有限公司 集成电路芯片装置及相关产品
CN111242294B (zh) * 2017-12-14 2023-08-25 中科寒武纪科技股份有限公司 集成电路芯片装置及相关产品
CN109961131B (zh) * 2017-12-14 2020-05-08 中科寒武纪科技股份有限公司 神经网络正向运算方法及相关产品
CN108053028B (zh) * 2017-12-21 2021-09-14 深圳励飞科技有限公司 数据定点化处理方法、装置、电子设备及计算机存储介质
CN109977446B (zh) * 2017-12-28 2020-07-07 中科寒武纪科技股份有限公司 集成电路芯片装置及相关产品
EP3783477B1 (en) 2017-12-27 2021-11-17 Cambricon Technologies Corporation Limited Integrated circuit chip device
CN109978157B (zh) * 2017-12-28 2020-06-02 中科寒武纪科技股份有限公司 集成电路芯片装置及相关产品
CN109977071A (zh) * 2017-12-27 2019-07-05 北京中科寒武纪科技有限公司 神经网络处理器板卡及相关产品
CN109978153B (zh) * 2017-12-27 2020-10-09 中科寒武纪科技股份有限公司 集成电路芯片装置及相关产品
CN109978147A (zh) * 2017-12-27 2019-07-05 北京中科寒武纪科技有限公司 集成电路芯片装置及相关产品
CN109978148B (zh) * 2017-12-28 2020-06-23 中科寒武纪科技股份有限公司 集成电路芯片装置及相关产品
CN109978155A (zh) * 2017-12-28 2019-07-05 北京中科寒武纪科技有限公司 集成电路芯片装置及相关产品
CN109993284B (zh) * 2017-12-29 2020-08-04 中科寒武纪科技股份有限公司 集成电路芯片装置及相关产品
CN110163350B (zh) * 2018-02-13 2021-06-08 上海寒武纪信息科技有限公司 一种计算装置及方法
CN110163361B (zh) * 2018-02-13 2021-06-25 上海寒武纪信息科技有限公司 一种计算装置及方法
JP7056225B2 (ja) * 2018-02-26 2022-04-19 富士通株式会社 演算処理装置、情報処理装置、情報処理方法、およびプログラム
CN108345938A (zh) * 2018-03-01 2018-07-31 中国科学院计算技术研究所 一种包括比特转换装置的神经网络处理器及其方法
CN111626413A (zh) * 2018-03-14 2020-09-04 上海寒武纪信息科技有限公司 一种计算装置及方法
CN109716288A (zh) * 2018-04-17 2019-05-03 深圳鲲云信息科技有限公司 网络模型编译器及相关产品
CN110337658A (zh) * 2018-04-26 2019-10-15 深圳市大疆创新科技有限公司 神经网络加速装置与方法
EP3825841A1 (en) 2018-06-27 2021-05-26 Shanghai Cambricon Information Technology Co., Ltd Method and device for parallel computation of a network model
CN109583579B (zh) * 2018-11-30 2021-04-09 上海寒武纪信息科技有限公司 计算装置及相关产品
JP2020098469A (ja) * 2018-12-18 2020-06-25 富士通株式会社 演算処理装置および演算処理装置の制御方法
CN109670582B (zh) * 2018-12-28 2021-05-07 四川那智科技有限公司 一种全定点化神经网络的设计方法
JP7379821B2 (ja) * 2019-01-09 2023-11-15 日本電信電話株式会社 推論処理装置および推論処理方法
CN111488976B (zh) * 2019-01-28 2023-06-30 中科寒武纪科技股份有限公司 神经网络计算装置、神经网络计算方法及相关产品
CN111488963B (zh) * 2019-01-28 2023-11-24 中科寒武纪科技股份有限公司 神经网络计算装置和方法
JP7188237B2 (ja) * 2019-03-29 2022-12-13 富士通株式会社 情報処理装置、情報処理方法、情報処理プログラム
CN110069240B (zh) * 2019-04-30 2021-09-03 北京探境科技有限公司 定点与浮点数据计算方法及装置
CN110210611B (zh) * 2019-05-13 2021-09-07 西安交通大学 一种用于卷积神经网络计算的动态自适应数据截断方法
EP4024280A4 (en) 2019-08-27 2022-11-16 Anhui Cambricon Information Technology Co., Ltd. DATA PROCESSING METHOD AND APPARATUS, COMPUTER EQUIPMENT AND STORAGE MEDIA
CN111008230B (zh) * 2019-11-22 2023-08-04 远景智能国际私人投资有限公司 数据存储方法、装置、计算机设备及存储介质
CN113128659B (zh) * 2020-01-14 2024-06-28 杭州海康威视数字技术股份有限公司 神经网络定点化方法、装置、电子设备及可读存储介质
CN111240606A (zh) * 2020-04-24 2020-06-05 支付宝(杭州)信息技术有限公司 一种基于安全内存的存储优化方法及系统
CN111651490A (zh) * 2020-06-04 2020-09-11 深圳前海微众银行股份有限公司 数据筛选方法、装置、设备及计算机存储介质
KR102477533B1 (ko) * 2020-08-06 2022-12-15 한국과학기술원 희소성 데이터를 이용하는 연산 장치 및 그것의 동작 방법
US12112265B2 (en) * 2020-12-18 2024-10-08 Analog Devices International Unlimited Company Architecture for running convolutional networks on memory and mips constrained embedded devices

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19718224A1 (de) * 1997-04-30 1997-11-27 Harald Dipl Phys Wuest Digitaler Neuroprozessor
CN101419245A (zh) * 2008-12-16 2009-04-29 北京市产品质量监督检验所 数字音频信号标准测试源
CN102981854A (zh) * 2012-11-16 2013-03-20 天津市天祥世联网络科技有限公司 基于浮点数运算内联函数库的神经网络优化方法
CN105468331A (zh) * 2014-09-26 2016-04-06 Arm有限公司 独立的浮点转换单元
CN106502626A (zh) * 2016-11-03 2017-03-15 北京百度网讯科技有限公司 数据处理方法和装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6144977A (en) * 1995-07-10 2000-11-07 Motorola, Inc. Circuit and method of converting a floating point number to a programmable fixed point number
EP1532515A2 (en) * 2002-06-06 2005-05-25 Cryptico A/S Method for improving unpredictability of output of pseudo-random number generators
CN101510149B (zh) * 2009-03-16 2011-05-04 炬力集成电路设计有限公司 一种数据处理方法和装置
GB2488322B (en) * 2011-02-22 2017-09-20 Advanced Risc Mach Ltd Number format pre-conversion instructions
JP5734717B2 (ja) * 2011-03-24 2015-06-17 セミコンダクター・コンポーネンツ・インダストリーズ・リミテッド・ライアビリティ・カンパニー 浮動小数点数のビット長変換回路およびそれを用いた振動補正制御回路
WO2014085975A1 (zh) * 2012-12-04 2014-06-12 中国科学院半导体研究所 可动态重构的多级并行单指令多数据阵列处理系统
US20170061279A1 (en) * 2015-01-14 2017-03-02 Intel Corporation Updating an artificial neural network using flexible fixed point representation
CN105224284B (zh) * 2015-09-29 2017-12-08 北京奇艺世纪科技有限公司 一种浮点数处理方法及装置
CN109934331B (zh) 2016-04-29 2020-06-19 中科寒武纪科技股份有限公司 用于执行人工神经网络正向运算的装置和方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19718224A1 (de) * 1997-04-30 1997-11-27 Harald Dipl Phys Wuest Digitaler Neuroprozessor
CN101419245A (zh) * 2008-12-16 2009-04-29 北京市产品质量监督检验所 数字音频信号标准测试源
CN102981854A (zh) * 2012-11-16 2013-03-20 天津市天祥世联网络科技有限公司 基于浮点数运算内联函数库的神经网络优化方法
CN105468331A (zh) * 2014-09-26 2016-04-06 Arm有限公司 独立的浮点转换单元
CN106502626A (zh) * 2016-11-03 2017-03-15 北京百度网讯科技有限公司 数据处理方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
杨银涛等: "基于FPGA的人工神经网络实现方法的研究", 《元器件与应用》 *

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11437032B2 (en) 2017-09-29 2022-09-06 Shanghai Cambricon Information Technology Co., Ltd Image processing apparatus and method
US11740898B2 (en) 2018-02-13 2023-08-29 Shanghai Cambricon Information Technology Co., Ltd Computing device and method
US11720357B2 (en) 2018-02-13 2023-08-08 Shanghai Cambricon Information Technology Co., Ltd Computing device and method
US11663002B2 (en) 2018-02-13 2023-05-30 Shanghai Cambricon Information Technology Co., Ltd Computing device and method
US11709672B2 (en) 2018-02-13 2023-07-25 Shanghai Cambricon Information Technology Co., Ltd Computing device and method
US11704125B2 (en) 2018-02-13 2023-07-18 Cambricon (Xi'an) Semiconductor Co., Ltd. Computing device and method
US12073215B2 (en) 2018-02-13 2024-08-27 Shanghai Cambricon Information Technology Co., Ltd Computing device with a conversion unit to convert data values between various sizes of fixed-point and floating-point data
US11507370B2 (en) 2018-02-13 2022-11-22 Cambricon (Xi'an) Semiconductor Co., Ltd. Method and device for dynamically adjusting decimal point positions in neural network computations
US11397579B2 (en) 2018-02-13 2022-07-26 Shanghai Cambricon Information Technology Co., Ltd Computing device and method
US11630666B2 (en) 2018-02-13 2023-04-18 Shanghai Cambricon Information Technology Co., Ltd Computing device and method
US11609760B2 (en) 2018-02-13 2023-03-21 Shanghai Cambricon Information Technology Co., Ltd Computing device and method
US11620130B2 (en) 2018-02-13 2023-04-04 Shanghai Cambricon Information Technology Co., Ltd Computing device and method
US11513586B2 (en) 2018-02-14 2022-11-29 Shanghai Cambricon Information Technology Co., Ltd Control device, method and equipment for processor
US11442786B2 (en) 2018-05-18 2022-09-13 Shanghai Cambricon Information Technology Co., Ltd Computation method and product thereof
US11442785B2 (en) 2018-05-18 2022-09-13 Shanghai Cambricon Information Technology Co., Ltd Computation method and product thereof
US11966583B2 (en) 2018-08-28 2024-04-23 Cambricon Technologies Corporation Limited Data pre-processing method and device, and related computer device and storage medium
US11703939B2 (en) 2018-09-28 2023-07-18 Shanghai Cambricon Information Technology Co., Ltd Signal processing device and related products
US11544059B2 (en) 2018-12-28 2023-01-03 Cambricon (Xi'an) Semiconductor Co., Ltd. Signal processing device, signal processing method and related products
US11934940B2 (en) 2019-04-18 2024-03-19 Cambricon Technologies Corporation Limited AI processor simulation
US11762690B2 (en) 2019-04-18 2023-09-19 Cambricon Technologies Corporation Limited Data processing method and related products
US11847554B2 (en) 2019-04-18 2023-12-19 Cambricon Technologies Corporation Limited Data processing method and related products
US11676029B2 (en) 2019-06-12 2023-06-13 Shanghai Cambricon Information Technology Co., Ltd Neural network quantization parameter determination method and related products
US11675676B2 (en) 2019-06-12 2023-06-13 Shanghai Cambricon Information Technology Co., Ltd Neural network quantization parameter determination method and related products
US11676028B2 (en) 2019-06-12 2023-06-13 Shanghai Cambricon Information Technology Co., Ltd Neural network quantization parameter determination method and related products
US12001955B2 (en) 2019-08-23 2024-06-04 Anhui Cambricon Information Technology Co., Ltd. Data processing method, device, computer equipment and storage medium
WO2021036362A1 (zh) * 2019-08-28 2021-03-04 上海寒武纪信息科技有限公司 用于处理数据的方法、装置以及相关产品
WO2021037174A1 (zh) * 2019-08-29 2021-03-04 杭州海康威视数字技术股份有限公司 一种神经网络模型训练方法及装置
WO2021077283A1 (zh) * 2019-10-22 2021-04-29 深圳鲲云信息科技有限公司 神经网络计算压缩方法、系统及存储介质

Also Published As

Publication number Publication date
KR20190003613A (ko) 2019-01-09
EP3451164A1 (en) 2019-03-06
KR102476343B1 (ko) 2022-12-09
CN107330515A (zh) 2017-11-07
EP3451164A4 (en) 2020-01-15
CN109934331B (zh) 2020-06-19
US20190122094A1 (en) 2019-04-25
US11295196B2 (en) 2022-04-05
WO2017185412A1 (zh) 2017-11-02
EP3451164B1 (en) 2022-12-14

Similar Documents

Publication Publication Date Title
CN109934331A (zh) 用于执行人工神经网络正向运算的装置和方法
CN109858623A (zh) 用于执行人工神经网络正向运算的装置和方法
CN107609641A (zh) 稀疏神经网络架构及其实现方法
CN110383300A (zh) 一种计算装置及方法
CN110163356A (zh) 一种计算装置及方法
Alawad et al. Stochastic-based deep convolutional networks with reconfigurable logic fabric
CN109934336A (zh) 基于最优结构搜索的神经网络动态加速平台设计方法及神经网络动态加速平台
CN110163350A (zh) 一种计算装置及方法
Yin et al. Outlier weighed layerwise sparsity (owl): A missing secret sauce for pruning llms to high sparsity
Kaul et al. FatNet: A feature-attentive network for 3D point cloud processing
CN110276447A (zh) 一种计算装置及方法
CN110069444A (zh) 一种计算单元、阵列、模块、硬件系统及实现方法
Cai et al. Convolution without multiplication: A general speed up strategy for CNNs
Zhang et al. MAM: A multipath attention mechanism for image recognition
CN111695689B (zh) 一种自然语言处理方法、装置、设备及可读存储介质
CN112988229B (zh) 基于异构计算的卷积神经网络资源优化配置方法
CN110175287B (zh) 一种基于Flink的矩阵分解隐式反馈推荐方法和系统
Wang et al. Codinet: Path distribution modeling with consistency and diversity for dynamic routing
CN110555519A (zh) 一种基于符号随机计算的低复杂度卷积神经网络
Kuang et al. Entropy-based gradient compression for distributed deep learning
Cai et al. Pruning the unimportant or redundant filters? Synergy makes better
Li et al. Adapter-X: A Novel General Parameter-Efficient Fine-Tuning Framework for Vision
CN109416757A (zh) 用于处理数值数据的方法、设备和计算机可读存储介质
Alawad et al. Stochastic-based multi-stage streaming realization of deep convolutional neural network
Wang et al. Compact depth-wise separable precise network for depth completion

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 100000 room 644, No. 6, No. 6, South Road, Beijing Academy of Sciences

Applicant after: Zhongke Cambrian Technology Co., Ltd

Address before: 100000 room 644, No. 6, No. 6, South Road, Beijing Academy of Sciences

Applicant before: Beijing Zhongke Cambrian Technology Co., Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant