CN112749803B - 一种神经网络的激活函数计算量化方法 - Google Patents

一种神经网络的激活函数计算量化方法 Download PDF

Info

Publication number
CN112749803B
CN112749803B CN202110243446.7A CN202110243446A CN112749803B CN 112749803 B CN112749803 B CN 112749803B CN 202110243446 A CN202110243446 A CN 202110243446A CN 112749803 B CN112749803 B CN 112749803B
Authority
CN
China
Prior art keywords
function
value
input
int
activation function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110243446.7A
Other languages
English (en)
Other versions
CN112749803A (zh
Inventor
周还
张来
王福君
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chipintelli Technology Co Ltd
Original Assignee
Chipintelli Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chipintelli Technology Co Ltd filed Critical Chipintelli Technology Co Ltd
Priority to CN202110243446.7A priority Critical patent/CN112749803B/zh
Publication of CN112749803A publication Critical patent/CN112749803A/zh
Application granted granted Critical
Publication of CN112749803B publication Critical patent/CN112749803B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/02—Digital function generators
    • G06F1/03—Digital function generators working, at least partly, by table look-up
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled
    • G06F7/38—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation
    • G06F7/48—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation using non-contact-making devices, e.g. tube, solid state device; using unspecified devices
    • G06F7/483—Computations with numbers represented by a non-linear combination of denominational numbers, e.g. rational numbers, logarithmic number system or floating-point numbers
    • G06F7/487—Multiplying; Dividing
    • G06F7/4873—Dividing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

一种神经网络的激活函数计算量化方法，包括如下步骤:S1：确定线性放大系数a;在计算所需区间内,计算函数各点导数,导数最大处斜率作为线性放大系数;S2：计算1/a，2/a.....n/a的激活结果作为查表的结果；其中n=()；S3：计算X=INT(in*a)，其中in为输入值，INT表示取整，根据得到的X值，在步骤S2中查出对应的Y值。本发明既可在计算时保持一定输入范围和精度，又可以在计算完成之后，对结果进行量化，以便于进行下一次的计算;对于常用的激活函数而言，其输出结果分布在一个有限域内，因此对齐进行量化可采用均匀量化的方法。激活函数输入分布范围较大，且对于值域影响敏感的范围却又很小。

Description

一种神经网络的激活函数计算量化方法
技术领域
本发明属于人工智能技术领域，涉及神经网络计算处理，具体涉及一种神经网络的激活函数计算量化方法。
背景技术
神经网络是由人工建立的、以有向图为拓扑结构的动态系统，它通过对连续或断续的输入作状态响应而进行信息处理。它可以模仿人脑结构及其功能的信息处理系统，抓住了问题的局部相关性和空间不变性。由于权值共享，降低了模型参数数量，控制了模型复杂度。神经网络可以被广泛应用到各个领域，如图像分类、目标检测、语音识别、医疗诊断、农业生产等。神经网络涉及到大量的矩阵计算，传统的通用CPU计算时，效率较低，难以满足各种场景下的实时性需求。其中激活函数时神经网络中的重要组成部分，它使得神经网络具有对非线性函数具有一定的表征能力。激活函数的计算较为复杂，且涉及多种计算，常用的有Sigmoid，Relu，Tanh等函数。
神经网络的计算主要分为矩阵计算部分和激活函数计算部分。其中矩阵计算部分主要为一些矩阵乘法计算和矩阵的卷积计算等，矩阵计算部分不再本专利讨论范围之内。激活函数计算部分则主要是向量计算。将矩阵计算出来的向量结果作为激活函数的输入，将激活函数的输出结果作为下一层矩阵计算的输入。
神经网络的训练往往在服务器上实现，其产生的模型参数数据通常是浮点数据。实际部署在嵌入式设备中时，往往需要对浮点数据进行量化，减小模型大小，提高计算速度等。
现有的激活函数计算方法大多是采用软件进行计算，因为软件是串行进行计算效率较低。神经网络多是应用于一些实时信号处理领域，如语音识别，图像识别等。对于计算的实时性要求较高。若是激活函数消耗过多的时间，则会导致处理的实时性不高，影响用户体验。
对于常用的激活函数sigmoid来说，属于超越函数，计算较为复杂。对于超越函数的计算，常用的有泰勒级数展开法，将复杂的指数，除法等计算转换为乘加计算，便于硬件实现，但是需要多次乘-加计算才能满足其精度的需求，计算仍然相对复杂。
传统的激活函数计算方法采用全精度的浮点计算方式，然后将计算得到的浮点结果转为定点数得到量化结果。这种方法具有诸多的不便。一是可扩展性差，对于不同的激活函数，需要不同的硬件计算单元。消耗的芯片面积较大，且不可配置性。
另一种思路则是在上述基础上，采用查找表来代替部分计算。以达到面积和精度的一个平衡。采用查表进行实现若对于精度要求较高的时候则会导致查找表过大。
发明内容
为克服现有技术存在的缺陷，本发明公开了一种神经网络的激活函数计算量化方法。
本发明所述神经网络的激活函数计算量化方法，所述激活函数具有极值, 包括如下步骤:
S1：确定线性放大系数A;
在计算所需区间内,计算激活函数Y=F(X)各点导数,导数最大值作为线性放大系数;所述激活函数为奇函数或偶函数；
S2：计算X=1/A，2/A.....n/A的对应函数值Y1、Y2、…YN作为查表的结果；其中n为区间内设定的查找表长度，N=1、2…n；所述查找表长度n=INT (B*A),B为激活函数的反函数在计算所需区间终点的值，INT表示取整；
所得到的数据表为如下形式，
Y X
Y1 X1=0
Y2 X2=1
... ...
YN XN=n
X1、X2、…XN表示查表输入值，
Y1、Y2、…YN表示查表输出值；
其中, Y=lut（INT（X*A））；
其中X为输入的待计算数据，A为输入线性放大系数，INT为取整函数；lut为查表函数, 取整的结果作为查表的地址进行查表，根据输入地址，得到存储在内部的数据；
查找表由一个随机存取存储器RAM实现；
S3：计算查表输入值X=INT(in*A)，其中in为直接输入值，INT表示取整，根据得到的查表输入值X，在步骤S2的数据表中查出对应的查表输出值YS3：计算查表输入值X=INT(in*A)，其中in为直接输入值，INT表示取整，根据得到的查表输入值X，在步骤S2的数据表中查出对应的查表输出值Y。
具体的，所述查找表存储在随机存取存储器RAM中。
具体的，所述INT函数为向上取整、向下取整或四舍五入取整中的一种。
本发明提出一种基于浮点计算，定点输出的神经网络激活函数计算量化方法，既可在计算时保持一定输入范围和精度，又可以在计算完成之后，对结果进行量化，以便于进行下一次的计算;对于常用的激活函数而言，其输出结果分布在一个有限域内，因此对齐进行量化可采用均匀量化的方法。激活函数输入分布范围较大，且对于值域影响敏感的范围却又很小。
本发明大大简化了传统的浮点计算-量化过程计算激活函数的方法，在基于可编程逻辑电路实现时,可在较低的数字芯片面积情况下，达到相同的计算精度。
附图说明
图1为本发明所述sigmoid函数的函数及其导数曲线示意图；
其中轴对称曲线为函数曲线，另一条为导数曲线，横坐标为X轴，纵坐标为Y轴 。
实施方式
下面对本发明的具体实施方式作进一步的详细说明。
本发明所述神经网络的激活函数计算量化方法，包括如下步骤:
S1：确定线性放大系数A;
在计算所需区间内,计算激活函数Y=F(X)各点导数,导数最大值作为线性放大系数;所述激活函数为奇函数或偶函数；
S2：计算X=1/A，2/A.....N/A的对应函数值Y1、Y2、…YN作为查表的结果；其中N为区间内设定的查找表长度；
所得到的数据表为如下形式，
Y X
Y1 X1=0
Y2 X2=1
... ...
YN XN=N
X1、X2、…XN表示查表输入值，
Y1、Y2、…YN表示查表输出值；
S3：计算查表输入值X=INT(in*A)，其中in为直接输入值，INT表示取整，根据得到的查表输入值X，A为线性放大系数，在步骤S2的数据表中查出对应的查表输出值Y。
以sigmoid函数为例，如图1所示给出该函数及其导数曲线，
由函数图像可知，sigmoid函数关于坐标(0,0.5)中心对称，根据其对称性可简化其运算。仅需要计算sigmoid在函数对称点上方或下方一半的数值，而另一半则可以根据其对称性计算得到。
查表实现激活函数的基本原理为：根据激活函数的类型不同，产生不同的查找表，将输入数据线性放大，将放大后的结果取整，直接进行查表操作，即可得到其输出的定点结果。输出的定点结果y的具体计算公式如下所示：
y=lut（INT（X*A））
其中X为输入的待计算数据，A为输入线性放大系数，INT为取整函数；lut为查表函数，其数据与输入线性放大系数A有关。其中A,X均为float32浮点数据即IEEE754浮点格式的数据。
将sigmoid函数在y轴的[0，1] 范围内均分为Y0、Y1 …Y255的256份，如图1所示：使得其输出结果量化到Y0、Y1 …Y255当中，并分别求出其对应的输入X值。
当X=0时，sigmoid函数导数取得最大值，即输出值y随X变化最激烈的地方，在其变化最激烈的X=0处，将其输入变化区间延展至1，使得其输出变化达到1个量化区间；即在其导数最大处，使得其自变量X的变化幅度延展为1个量化区间，量化区间为根据采样精度所设定的最小单位区间。
在X=0处，即y=128/256时，y从128/256变化至129/256时，X从0变化至0.0156。此时△y=1/256，△X=0.0156。由于向下取整函数的误差为1，例如INT(0.01) = 0，INT(1.99)=1；此时需要将△X最小值线性扩展至大于等于1以避免这个误差。则需要将根据变化量最小的△X=0.0156乘以一个线性系数，将其扩展至大于等于1，这样使其他变化量更大处在乘以该线性系数后，能缩减取整函数的误差。
以一般采用8bit量化为例，需要将激活后的值量化至0-255/256以内。输出Y值的量化区间即为1/256。
求反函数对应的输入值的X取值分别如下表所示：
Y值 X值
128/256 0
129/256 0.0156
130/256 0.0313
131/256 0.0469
132/256 0.0625
… …
254/256 4.8442
255/256 5.5413
根据上表分析，在[0，1]的区间范围内随着Y值的等幅度增大，其对应的X值之间的间距越来越大，输入线性放大系数A应满足X值最小间距扩展至大于等于1。即Y从128/256变化至129/256时，对应的X变化应大于1，即(0.0156-0)*A >= 1。
根据上表可知，在128/256-129/256区间内，X的变化最小为0.0156，可得最小的输入线性放大系数A应大于1/0.0156≈63.987。
根据X的分布表格可以得出，当输入线性放大系数A小于其最小分辨率即1/0.0156时，Y值在 128/256-129/256这段区间内的数值容易产生较大的误差；主要根据其计算结果误差分析得来。
对于输入线性放大系数A的取值范围应大于64,当然如果系数越大，其精度应该更高，但同时其查找表也就越大。
例如对于X的取值范围是从-10到10，取值步进间隔为0.0001；对于每一个X,根据下式计算单点误差err(X)：
err(X)=exp(X)/(exp(X)+1)- lut(INT(X*A))
取值范围内的平均误差mean_err=sum(err(X))/n,其中n为err(X)总个数，sum表示对所有单点误差求和；
取值范围内的最大误差为max_err=max(err(X))。
当确定好输入线性放大系数A后，计算1/A，2/A.....n/A的激活结果作为查表的结果。
查找表的长度为区间终点255/256的sigmoid反函数值乘线性放大系数并对乘积取整，即INT(5.5413*A)。例如假设输入线性放大系数A为64，则查找表长度最小为5.5413*64=354.6432，取整为354,即N=354。
由于计算量化到8bit，其最大值为255，根据Sigmod这类逐渐逼近某个极值的函数曲线可知，当输入的X值增大到一定值时，其函数值逐渐趋近于极值即1，在Sigmod函数中,实际取到最大量化值255后,函数值已非常接近1，因此可以计算出量化值为254的点，即Sigmoid（x）=254/255,求其反函数x=5.5413；查找表内的数据到254即可，当输入大于查找表长度时，则输出255。
对sigmoid函数，取不同的输入线性放大系数A时，得到的误差和查找表长度如下表；查找表长度为sigmoid函数在y轴的[0，1] 范围内的取值。
例如sigmoid函数，引入输入线性放大系数A后，对比输入线性放大系数A、平均误差、查找表长度三者之间的关系如下表所示：
A 平均误差 最大误差 查找表长度n
50 0.001429 0.00809 277
60 0.001334 0.008056 332
64 0.001406 0.0039 354
70 0.001368 0.003893 387
80 0.001383 0.003893 443
100 0.001401 0.003893 554
128 0.001551 0.0039 709
150 0.001543 0.003893 831
由上表可见，当输入线性放大系数A取值增加时，虽然查找表长度n增加，但平均误差相差不大，主要受量化精度影响，而当输入线性放大系数A小于64时，其最大误差较大，而当输入线性放大系数A大于64时，其最大误差差别不大。但是随着输入线性放大系数A的增大，其查找表长度n随之显著增加，造成数据存储空间及查找时的硬件资源占用增加。由此可见，输入线性放大系数A取64，在最大误差和平均误差上均较小，且此时查找表长度n也较短。
查找表具体可以由一个随机存取存储器RAM实现，可以存储数据功能，当要访问其内部数据时，只需要输入对应的数据的地址，即可读出该数据。此处长度354的查找表可放在一块位宽8bit，深度512的RAM当中，实际使用时，提前将查找表数据加载进RAM内部，后续查表时，即可根据输入地址，得到存储在内部的数据。
当输入线性放大系数A为64，查找表长度为354时，下表给出针对sigmoid函数查找表的一部分，其中Y值以计算机十六进制格式表示：
Y X
0X80 0
0X81 1
... ...
0XFE 354
查找表构建完成并存储在硬件中后，计算时在得到输入的浮点数值in作为直接输入值，利用 公式R=lut（INT（in*A））进行后续查表操作。具体过程为：
根据前述的方法确定其输入线性放大系数后构建查找表，查找表构建完成后存储在硬件中。
将输入的浮点数值in作为直接输入值乘以输入线性放大系数A，该乘法运算功能可以由一个浮点乘法器完成。然后将输入值乘以输入线性放大系数即可完成扩展，对扩展后的值进行取整操作，此取整操作动态可配置，即可以选择不同的取整模式，可以向上取整，向下取整，或者四舍五入取整等。取整后的数值需要做限幅处理，若取整后的数值过大，需要将其限幅在至查找表的最大地址，当取整后的数值大于查找表的最大地址时，则以最大地址作为取整后的数值。
另外根据其取整后的数值与对称中心的大小关系，选择合适的取整值。例如当为sigmoid函数这样的奇函数时，若取整后的数值大于零，可直接进行查表操作，若取证后的数值小于零，则取它的相反数，作为查表的输入。若为非对称激活函数类型如奇函数，则应该根据其正负半轴作为正负半轴的查表输入。
取整的结果作为查表的地址进行查表，查表操作主要分为正负两张表，可根据不同的激活函数类型进行复用，当激活函数为对称型的偶函数时，可根据其实际用途，将两张表合在一起，提高查表精度。当激活函数为非对称型时，可分为正负轴进行查表操作。
例如，in=0.5，A=64，则in*A=32。INT（in*A）=32。则计算结果为查找表的第33个结果,其中查找表的序号从0开始。
本发明提出一种基于浮点计算，定点输出的神经网络激活函数计算量化方法，既可在计算时保持一定输入范围和精度，又可以在计算完成之后，对结果进行量化，以便于进行下一次的计算;对于常用的激活函数而言，其输出结果分布在一个有限域内，因此对齐进行量化可采用均匀量化的方法。激活函数输入分布范围较大，且对于值域影响敏感的范围却又很小。
本发明通过对输入线性放大系数的量化计算,在运算速度和运算精度之间取得一个较好的平衡,在提高运算速度的同时保证语音识别所需的数据计算精度。
本发明大大简化了传统的浮点计算-量化过程计算激活函数的方法，直接以查表代替了传统激活函数的复杂计算，在基于可编程逻辑电路实现时,可在较低的数字芯片面积情况下，达到相同的计算精度。
前文所述的为本发明的各个优选实施例，各个优选实施例中的优选实施方式如果不是明显自相矛盾或以某一优选实施方式为前提，各个优选实施方式都可以任意叠加组合使用，所述实施例以及实施例中的具体参数仅是为了清楚表述发明人的发明验证过程，并非用以限制本发明的专利保护范围，本发明的专利保护范围仍然以其权利要求书为准，凡是运用本发明的说明书及附图内容所作的等同结构变化，同理均应包含在本发明的保护范围内。

Claims (3)

1.一种神经网络的激活函数计算量化方法，所述激活函数具有极值,其特征在于,包括如下步骤:
S1：确定线性放大系数A;
在计算所需区间内,计算激活函数Y=F(X)各点导数,导数最大值作为线性放大系数;所述激活函数为奇函数或偶函数；
S2：计算X=1/A，2/A.....n/A的对应函数值Y1、Y2、…YN作为查表的结果；其中n为区间内设定的查找表长度，N=1、2…n；所述查找表长度n=INT (B*A),B为激活函数的反函数在计算所需区间终点的值，INT表示取整；
所得到的数据表为如下形式，
Y X Y1 X1=0 Y2 X2=1 ... ... YN XN=n
X1、X2、…XN表示查表输入值，
Y1、Y2、…YN表示查表输出值；
其中, Y=lut（INT（X*A））；
其中X为输入的待计算数据，A为输入线性放大系数，INT为取整函数；lut为查表函数,取整的结果作为查表的地址进行查表，根据输入地址，得到存储在内部的数据；
查找表由一个随机存取存储器RAM实现；
S3：计算查表输入值X=INT(in*A)，其中in为直接输入值，INT表示取整，根据得到的查表输入值X，在步骤S2的数据表中查出对应的查表输出值Y。
2.如权利要求1所述神经网络的激活函数计算量化方法，其特征在于，所述查找表存储在随机存取存储器RAM中。
3.如权利要求1所述神经网络的激活函数计算量化方法，其特征在于，所述INT函数为向上取整、向下取整或四舍五入取整中的一种。
CN202110243446.7A 2021-03-05 2021-03-05 一种神经网络的激活函数计算量化方法 Active CN112749803B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110243446.7A CN112749803B (zh) 2021-03-05 2021-03-05 一种神经网络的激活函数计算量化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110243446.7A CN112749803B (zh) 2021-03-05 2021-03-05 一种神经网络的激活函数计算量化方法

Publications (2)

Publication Number Publication Date
CN112749803A CN112749803A (zh) 2021-05-04
CN112749803B true CN112749803B (zh) 2023-05-30

Family

ID=75651657

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110243446.7A Active CN112749803B (zh) 2021-03-05 2021-03-05 一种神经网络的激活函数计算量化方法

Country Status (1)

Country Link
CN (1) CN112749803B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103365824A (zh) * 2012-03-30 2013-10-23 苹果公司 使用级数展开的先验和非线性组件
CN106130689A (zh) * 2016-06-13 2016-11-16 南京邮电大学 一种非线性自反馈混沌神经网络信号盲检测方法
CN107644253A (zh) * 2017-08-08 2018-01-30 深圳先进技术研究院 一种基于反函数的神经网络优化方法、系统及电子设备
CN110837885A (zh) * 2019-10-11 2020-02-25 西安电子科技大学 一种基于概率分布的Sigmoid函数拟合方法
CN111226233A (zh) * 2017-10-24 2020-06-02 国际商业机器公司 促进神经网络效率
CN111581593A (zh) * 2020-04-21 2020-08-25 天津大学 可配置重用的分段式查找表激活函数实现装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2580171B (en) * 2018-12-21 2021-02-17 Imagination Tech Ltd Methods and systems for selecting quantisation parameters for deep neural networks using back-propagation
TWI701612B (zh) * 2019-06-19 2020-08-11 創鑫智慧股份有限公司 用於神經網路中激勵函數的電路系統及其處理方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103365824A (zh) * 2012-03-30 2013-10-23 苹果公司 使用级数展开的先验和非线性组件
CN106130689A (zh) * 2016-06-13 2016-11-16 南京邮电大学 一种非线性自反馈混沌神经网络信号盲检测方法
CN107644253A (zh) * 2017-08-08 2018-01-30 深圳先进技术研究院 一种基于反函数的神经网络优化方法、系统及电子设备
CN111226233A (zh) * 2017-10-24 2020-06-02 国际商业机器公司 促进神经网络效率
CN110837885A (zh) * 2019-10-11 2020-02-25 西安电子科技大学 一种基于概率分布的Sigmoid函数拟合方法
CN111581593A (zh) * 2020-04-21 2020-08-25 天津大学 可配置重用的分段式查找表激活函数实现装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于FPGA的卷积神经网络加速器设计;王思阳;《中国优秀硕士学位论文全文数据库 信息科技辑》;I135-908 *

Also Published As

Publication number Publication date
CN112749803A (zh) 2021-05-04

Similar Documents

Publication Publication Date Title
WO2021036905A1 (zh) 数据处理方法、装置、计算机设备和存储介质
JP7146952B2 (ja) データ処理方法、装置、コンピュータデバイス、及び記憶媒体
CN110413255B (zh) 人工神经网络调整方法和装置
CN106485316A (zh) 神经网络模型压缩方法以及装置
CN107480770A (zh) 可调节量化位宽的神经网络量化与压缩的方法及装置
WO2019238029A1 (zh) 卷积神经网络系统和卷积神经网络量化的方法
CN110070178A (zh) 一种卷积神经网络计算装置及方法
JP2022501677A (ja) データ処理方法、装置、コンピュータデバイス、及び記憶媒体
CN110880038A (zh) 基于fpga的加速卷积计算的系统、卷积神经网络
CN107729984A (zh) 一种适用于神经网络激活函数的计算装置及方法
CN110288510B (zh) 一种近传感器视觉感知处理芯片及物联网传感装置
CN108304925B (zh) 一种池化计算装置及方法
TWI775210B (zh) 用於卷積運算的資料劃分方法及處理器
CN107589935A (zh) 一种非线性函数计算装置及方法
CN101833691A (zh) 一种基于fpga的最小二乘支持向量机串行结构实现方法
CN113741858A (zh) 存内乘加计算方法、装置、芯片和计算设备
Wu et al. Efficient dynamic fixed-point quantization of CNN inference accelerators for edge devices
CN116502691A (zh) 一种应用于fpga的深度卷积神经网络混合精度量化方法
WO2022111002A1 (zh) 用于训练神经网络的方法、设备和计算机可读存储介质
CN112749803B (zh) 一种神经网络的激活函数计算量化方法
CN114372553A (zh) 一种神经网络的量化方法及装置
KR20220072790A (ko) 심층신경망 연산을 위한 가변 비트-정밀도 곱셈-누산기 구조
CN115238873B (zh) 神经网络模型部署方法、装置、计算机设备
CN116720554B (zh) 一种基于fpga技术的多段线性拟合的神经元电路实现方法
CN109657786B (zh) 一种有限元方程组神经网络求解器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant