CN112051980A - 一种基于牛顿迭代法的非线性激活函数计算装置 - Google Patents

一种基于牛顿迭代法的非线性激活函数计算装置 Download PDF

Info

Publication number
CN112051980A
CN112051980A CN202011090563.6A CN202011090563A CN112051980A CN 112051980 A CN112051980 A CN 112051980A CN 202011090563 A CN202011090563 A CN 202011090563A CN 112051980 A CN112051980 A CN 112051980A
Authority
CN
China
Prior art keywords
calculation
approximation
result
activation function
polynomial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011090563.6A
Other languages
English (en)
Other versions
CN112051980B (zh
Inventor
姜晓红
潘哲
马德
朱国权
郝康利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Zhejiang Lab
Original Assignee
Zhejiang University ZJU
Zhejiang Lab
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU, Zhejiang Lab filed Critical Zhejiang University ZJU
Priority to CN202011090563.6A priority Critical patent/CN112051980B/zh
Publication of CN112051980A publication Critical patent/CN112051980A/zh
Application granted granted Critical
Publication of CN112051980B publication Critical patent/CN112051980B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled
    • G06F7/38—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation
    • G06F7/48—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation using non-contact-making devices, e.g. tube, solid state device; using unspecified devices
    • G06F7/50—Adding; Subtracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled
    • G06F7/38—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation
    • G06F7/48—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation using non-contact-making devices, e.g. tube, solid state device; using unspecified devices
    • G06F7/52—Multiplying; Dividing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Mathematical Optimization (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Complex Calculations (AREA)

Abstract

本发明公开了一种基于牛顿迭代法的非线性激活函数计算装置，包括：多项式近似计算单元，用于对非线性激活函数进行多项式近似计算，得到第一近似结果；指数函数计算单元，用于对非线性激活函数中的指数部分进行指数函数的近似计算，得到第二近似结果；牛顿迭代计算单元，依据第一近似结果和第二近似结果采用牛顿迭代法进行迭代计算，得到精确计算结果。该非线性激活函数计算装置适用于定点数计算，在资源消耗较少地情况下实现了高精度的计算，以满足神经网络模型中激活函数高效准确且降低计算能耗的需求。

Description

一种基于牛顿迭代法的非线性激活函数计算装置
技术领域
本发明涉及计算机人工智能领域，集成电路设计领域，具体涉及一种基于牛顿迭代法的非线性激活函数计算装置。
背景技术
在人工智能领域中，线性模型的表达能力不够，往往通过激活函数增加神经网络模型的非线性，提升神经网络模型表达能力，该数据常常线性不可分。常见的激活函数例如sigmoid，tanh等都涉及到指数函数运算以及除法运算，软件上常通过迭代的算法不断尝试去逼近真实值，而这些函数在硬件上难以直接实现。
随着人工智能的广泛应用，许多深度学习硬件加速器应运而生。为了高效实现该计算过程，在集成电路设计领域，会对各种激活函数进行硬件实现。对非线性激活函数而言，硬件实现需要对硬件资源，计算精度，计算效率和计算延时进行有效权衡。简单高效地硬件实现能够在误差允许的范围内使用较少地资源完成快速计算的目的。在集成电路领域，计算元件常常包括加法器，乘法器，移位器，逻辑运算器等。这些元器件只能完成线性变换操作，不能实现指数函数等复杂函数。与ReLU等激活函数相比，sigmoid、tanh等函数复杂程度很高，较难设计实现。
申请公布号为CN107589935A的专利申请公开一种非线性函数计算装置及方法，申请公布号为CN107590105B的专利申请公开了一种面向非线性函数的计算装置及方法，这两个专利申请中均将非线性函数转化为线性函数，通过加法器和乘法器来计算，是一个低精度近似计算，计算精度不高，不满足神经网络模型中激活函数的计算需求。
发明内容
本发明的目的是提供一种基于牛顿迭代法的非线性激活函数计算装置，以解决神经网络模型中激活函数难以高效准确计算的问题。
为实现上述发明的，本发明提供以下技术方案：
一种基于牛顿迭代法的非线性激活函数计算装置，包括：
多项式近似计算单元，用于对非线性激活函数进行多项式近似计算，得到第一近似结果；
指数函数计算单元，用于对非线性激活函数中的指数部分进行指数函数的近似计算，得到第二近似结果；
牛顿迭代计算单元，依据第一近似结果和第二近似结果采用牛顿迭代法进行迭代计算，得到精确计算结果。
优选地，多项式近似单元中，对非线性激活函数的有效计算区间进行区段划分，根据输入变量所属区段提取对应的多项式参数并依据该多项式参数进行多项式近似计算，得到第一近似结果；所述多项式参数为事先多项式拟合得到的。
优选地，所述多项式近似单元中包括用于存储多项式参数的存储器、加法器和乘法器，来实现多项式近似计算。
优选地，所述非线性激活函数的有效计算区间为[0,8)，并将效计算区间[0,8)划分为8个区段，针对每个区段的两个端点值存储区段内的多项式参数，当计算时，直接根据输入变量所属的区段查找得到对应的多项式参数。
优选地，所述指数函数计算单元采用表驱动(table-driven)的近似策略来对非线性激活函数中的指数部分进行指数函数近似计算，得到第二近似结果。
优选地，所述指数函数计算单元采用表驱动的近似策略对非线性激活函数中的指数部分ex进行指数函数近似计算时，将指数部分ex拆分成三部分乘积的形式，即
Figure BDA0002721973850000031
其中，s是划分常数，根据设计取2的整数幂，m,n均为整数，n<s，j是小于1/s的余项；
针对前项2m通过移位操作计算；
针对中间项
Figure BDA0002721973850000032
通过查找表方式提取划分常数s进行计算；
针对后项ejln2，采用泰勒级数展开，利用二次多项式进行近似计算。
优选地，所述指数函数计算单元中包含用于存储划分常数s的存储器、乘法器、加法器、移位操作，来实现指数函数近似计算。
优选地，牛顿迭代计算单元中，针对形如
Figure BDA0002721973850000033
的非线性激活函数，其中p0，p1，p2均为常参数，采用如下公式对第一近似结果和第二近似结果进行迭代计算，得到精确计算结果：
Figure BDA0002721973850000034
Figure BDA0002721973850000035
其中，y0表示第一近似结果，e-x表示第二近似结果。
优选地，所述牛顿迭代计算单元中包括加法器和乘法器和减法器，用来对第一近似结果和第二近似结果进行迭代计算，得到精确计算结果。
与现有技术相比，本发明具有的有益效果至少包括：
该非线性激活函数计算装置中，采用多项式近似计算单元对非线性激活函数进行多项式近似计算获得低精度的第一近似结果，同时采用指数函数计算单元对非线性激活函数中的指数部分进行近似计算得到低精度的第二近似结果，最好采用牛顿迭代计算单元对第一近似结果和第二近似结果进行牛顿近似计算，得到精确的计算结果。该装置适用于定点数计算，在资源消耗较少地情况下实现了高精度的计算，以满足神经网络模型中激活函数高效准确且降低计算能耗的需求。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动前提下，还可以根据这些附图获得其他附图。
图1是本发明提供的基于牛顿迭代法的非线性激活函数计算装置的结构示意图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。
实施例提供的非线性激活函数计算装置包括多项式近似计算单元、指数函数计算单元以及牛顿迭代计算单元。
实施例提供的非线性激活函数计算装置主要适用于对形如
Figure BDA0002721973850000041
Figure BDA0002721973850000042
的非线性激活函数的计算，其中p0,p1,p2均为常参数。例如
Figure BDA0002721973850000051
等非线性激活函数，这些非线性激活函数图像一般呈现S型，且呈中心对称，输入变量在某一边界之外，可近似看作常数。针对sigmoid(x)函数，当输入变量x>＝8时，函数近似为1，同时图像关于(0,0.5)点中心对称，于是只需要近似计算[0,8)之间的函数值即可得到定义域R上的函数值，记[0,8)为有效计算区间。
所述多项式近似计算单元用于对非线性激活函数进行低精度拟合，具体地，可将将有效计算区间等分为8或16个区段，每个区段中可采用线性函数或二次函数等多项式进行拟合。具体在实现过程中，可以选择将有效计算区间[0,8)等分为8个区段，每一区段内用线性函数对原非线性多项式进行拟合。对于第i区间，对应的线性函数为f(x)＝kix+bi，对于落在第个i区间内的输入变量x，从ROM中查找得到与输入变量x对应的多项式参数ki与bi，利用该多项式参数ki与bi进行线性函数f(x)＝kix+bi的低精度近似计算，得到第一近似结果。
本实施例中，可以通过第i区间的左右端点可确定多项式参数ki与bi，该些多项式参数事先计算好存入ROM中，在实施过程中，可直接选择输入x的22，21，20位进行地址选择。该多项式近似计算单元中采用多项式近似计算，仅仅涉及到乘法与加法，即在多项式近似单元的硬件采用加法器和乘法器，即可以来实现多项式近似计算。考虑到硬件资源的消耗，在精度偏差不大的情况下，可以选择采用线性函数进行拟合。通常，线性拟合的平均误差范围在千分位数量级即可。不必刻意追求初次精度，牛顿迭代将会对精度有较大提升。
指数函数计算单元中，可以选择采用table-driven的近似策略。对于指数函数ex的近似计算，令
Figure BDA0002721973850000052
其中s是划分常数，根据设计取2的整数幂，m,n均为整数，n<s，j是小于1/s的余项。则
Figure BDA0002721973850000061
该策略将指数函数的近似计算拆分为3个易于硬件实现的部分乘积的形式。其中前项2m在硬件中可通过移位操作实现；中间项
Figure BDA0002721973850000062
可事先计算所有的s种结果，存入ROM中，通过查找表的方式实现；余项ejln2中指数部分jln2趋近于0，可以使用泰勒级数展开，忽略高次项的方式进行实现，以得到第二近似结果。s的选择涉及到存储参数的位宽，可选择8。余项ejln2可以采用二次多项式
Figure BDA0002721973850000063
进行近似，令x＝jln2得到近似解。整体上通过少量查找表，乘法，加法以及移位操作实现指数函数的近似计算，易与硬件实现。考虑到硬件资源的使用情况，精度要求仍无须太高，精确到千分位即可。
牛顿迭代计算单元中，针对sigmoid函数
Figure BDA0002721973850000064
构造函数为：
Figure BDA0002721973850000065
Figure BDA0002721973850000066
则根据以下公式对对第一近似结果和第二近似结果进行牛顿迭代法，得到精确计算结果：
Figure BDA0002721973850000067
Figure BDA0002721973850000068
其中，y0由分段多项式近似计算得到的第一近似结果，指数部分e-x由指数函数近似计算得到的第二近似结果，迭代后的结果具有高精度的效果。对原函数进行多项式近似计算与对指数函数的指数近似计算精度的初次要求不高，通过牛顿迭代法也能得到较高精度的近似解。
牛顿迭代公式中均可通过乘法、加法以及减法实现，即仅仅通过加法器、乘法器以及减法器即可以得到精确结果。其中，针对有效区间[0,8)，指数函数计算结果小于1，与1进行相加，指数函数带来的误差将会进一步掩盖。牛顿迭代公式能够对计算精度有极大提升，达到较好的近似效果。
在实现过程中，多项式近似计算过程和指数函数近似计算过程互不相关，可并行同时计算，整个非线性激活函数计算装置可布置成流水线架构，能够更好地适应对神经网络加速器所产生的流数据进行统一地非线性激活函数处理。该非线性激活函数计算装置可以很好地进行流水线设计，并行设计。
图1是实施例提供的基于牛顿迭代法的非线性激活函数计算装置的结构示意图。主要针对为sigmoid函数针对有效区间[0,8)范围内的硬件设计。
分段多项式近似计算单元(PWL)采用线性函数进行拟合，对参数进行查表，进行一次乘法和加法运算，得到y0：
y0＝kx+b
指数函数计算单元(EXP)中将指数函数扩展采用table-driven的方式。将x拆分成三个部分，此处简化表示，m为
Figure BDA0002721973850000071
的整数部分，n对应中间查表项，j对应余项。于是可得e-x的计算公式：
x＝mln2+n+j
Figure BDA0002721973850000072
前项2-m转化为移位操作，中间项e-n通过查表实现，后项e-j用两阶级数展开实现。
牛顿迭代计算单元(NR)按照算法对上述两个模块产生的结果进行运算。
Figure BDA0002721973850000081
图1中所示的黑色竖线是虚拟的latch，用于区别流水线状态，整体设计可以采用流水线的方式实现，流水线的发射间隔interval是1，执行周期延时latency是7。
上述非线性激活函数计算装置中，采用多项式近似计算单元对非线性激活函数进行多项式近似计算获得低精度的第一近似结果，同时采用指数函数计算单元对非线性激活函数中的指数部分进行近似计算得到低精度的第二近似结果，最好采用牛顿迭代计算单元对第一近似结果和第二近似结果进行牛顿近似计算，得到精确的计算结果。该装置适用于定点数计算，在资源消耗较少地情况下实现了高精度的计算，以满足神经网络模型中激活函数高效准确且降低计算能耗的需求。
以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于牛顿迭代法的非线性激活函数计算装置，其特征在于，包括：
多项式近似计算单元，用于对非线性激活函数进行多项式近似计算，得到第一近似结果；
指数函数计算单元，用于对非线性激活函数中的指数部分进行指数函数的近似计算，得到第二近似结果；
牛顿迭代计算单元，依据第一近似结果和第二近似结果采用牛顿迭代法进行迭代计算，得到精确计算结果。
2.如权利要求1所述的基于牛顿迭代法的非线性激活函数计算装置，其特征在于，牛顿迭代计算单元中，针对形如
Figure FDA0002721973840000011
的非线性激活函数，其中p0，p1，p2均为常参数，采用如下公式对第一近似结果和第二近似结果进行迭代计算，得到精确计算结果：
Figure FDA0002721973840000012
Figure FDA0002721973840000013
其中，y0表示第一近似结果，e-x表示第二近似结果。
3.如权利要求2所述的基于牛顿迭代法的非线性激活函数计算装置，其特征在于，所述牛顿迭代计算单元中包括加法器和乘法器和减法器，用来对第一近似结果和第二近似结果进行迭代计算，得到精确计算结果。
4.如权利要求2所述的基于牛顿迭代法的非线性激活函数计算装置，其特征在于，所述指数函数计算单元采用表驱动的近似策略来对非线性激活函数中的指数部分进行指数函数近似计算，得到第二近似结果。
5.如权利要求3所述的基于牛顿迭代法的非线性激活函数计算装置，其特征在于，所述指数函数计算单元采用表驱动的近似策略对非线性激活函数中的指数部分ex进行指数函数近似计算时，将指数部分ex拆分成三部分乘积的形式，即
Figure FDA0002721973840000021
其中，s是划分常数，根据设计取2的整数幂，m,n均为整数，n<s，j是小于1/s的余项；
针对前项2m通过移位操作计算；
针对中间项
Figure FDA0002721973840000022
通过查找表方式提取划分常数s进行计算；
针对后项ejln2，采用泰勒级数展开，利用二次多项式进行近似计算。
6.如权利要求5所述的基于牛顿迭代法的非线性激活函数计算装置，其特征在于，所述指数函数计算单元中包含用于存储划分常数s的存储器、乘法器、加法器、移位操作，来实现指数函数近似计算。
7.如权利要求1所述的基于牛顿迭代法的非线性激活函数计算装置，其特征在于，多项式近似单元中，对非线性激活函数的有效计算区间进行区段划分，根据输入变量所属区段提取对应的多项式参数并依据该多项式参数进行多项式近似计算，得到第一近似结果；所述多项式参数为事先多项式拟合得到的。
8.如权利要求7所述的基于牛顿迭代法的非线性激活函数计算装置，其特征在于，所述多项式近似单元中包括用于存储多项式参数的存储器、加法器和乘法器，来实现多项式近似计算。
9.如权利要求7所述的基于牛顿迭代法的非线性激活函数计算装置，其特征在于，所述非线性激活函数的有效计算区间为[0,8)，并将效计算区间[0,8)划分为8或16个区段，针对每个区段的两个端点值存储区段内的多项式参数，当计算时，直接根据输入变量所属的区段查找得到对应的多项式参数。
CN202011090563.6A 2020-10-13 2020-10-13 一种基于牛顿迭代法的非线性激活函数计算装置 Active CN112051980B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011090563.6A CN112051980B (zh) 2020-10-13 2020-10-13 一种基于牛顿迭代法的非线性激活函数计算装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011090563.6A CN112051980B (zh) 2020-10-13 2020-10-13 一种基于牛顿迭代法的非线性激活函数计算装置

Publications (2)

Publication Number Publication Date
CN112051980A true CN112051980A (zh) 2020-12-08
CN112051980B CN112051980B (zh) 2022-06-21

Family

ID=73605229

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011090563.6A Active CN112051980B (zh) 2020-10-13 2020-10-13 一种基于牛顿迭代法的非线性激活函数计算装置

Country Status (1)

Country Link
CN (1) CN112051980B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116506218A (zh) * 2023-06-25 2023-07-28 杭州世平信息科技有限公司 一种云环境下用户数据交互式计算隐私保护方法及系统
WO2023165268A1 (zh) * 2022-03-04 2023-09-07 支付宝(杭州)信息技术有限公司 数据处理
CN117270811A (zh) * 2023-11-21 2023-12-22 上海为旌科技有限公司 非线性算子近似计算方法、装置、神经网络处理器
CN117391164A (zh) * 2023-10-26 2024-01-12 上海闪易半导体有限公司 兼容线性和非线性激活函数的数字电路、相关设备及方法

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2466400A1 (fr) * 2010-12-16 2012-06-20 The Swatch Group Research and Development Ltd. Mouvement inertiel d'un organe d'affichage mécanique
US20180101766A1 (en) * 2016-10-11 2018-04-12 Siemens Aktiengesellschaft Efficient calculations of negative curvature in a hessian free deep learning framework
CN110110434A (zh) * 2019-05-05 2019-08-09 重庆大学 一种概率潮流深度神经网络计算的初始化方法
US20190251433A1 (en) * 2018-02-09 2019-08-15 Htc Corporation Method and electronic apparatus for adjusting a neural network
CN110688088A (zh) * 2019-09-30 2020-01-14 南京大学 一种面向神经网络的通用非线性激活函数计算装置和方法
CN110689119A (zh) * 2019-10-09 2020-01-14 北京邮电大学 一种应用于深度卷积神经网络中的特征提取方法
CN111037550A (zh) * 2019-12-03 2020-04-21 华南理工大学 一种冗余度机械臂运动控制的解决方法
CN111061992A (zh) * 2019-11-28 2020-04-24 南京大学 一种基于抛物线的函数拟合方法及其装置
CN111178516A (zh) * 2019-12-11 2020-05-19 浙江大学 一种基于分段查找表的softmax函数计算方法及硬件系统
US20200202201A1 (en) * 2018-12-21 2020-06-25 Fujitsu Limited Information processing apparatus, neural network program, and processing method for neural network
CN111428606A (zh) * 2020-03-19 2020-07-17 华南师范大学 一种面向边缘计算的轻量级人脸对比验证方法
US20200242466A1 (en) * 2017-03-22 2020-07-30 Visa International Service Association Privacy-preserving machine learning
CN111597298A (zh) * 2020-03-26 2020-08-28 浙江工业大学 一种基于深度对抗离散哈希学习的跨模态检索方法及装置
US20200304293A1 (en) * 2017-08-30 2020-09-24 Inpher, Inc. High-Precision Privacy-Preserving Real-Valued Function Evaluation

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2466400A1 (fr) * 2010-12-16 2012-06-20 The Swatch Group Research and Development Ltd. Mouvement inertiel d'un organe d'affichage mécanique
US20180101766A1 (en) * 2016-10-11 2018-04-12 Siemens Aktiengesellschaft Efficient calculations of negative curvature in a hessian free deep learning framework
US20200242466A1 (en) * 2017-03-22 2020-07-30 Visa International Service Association Privacy-preserving machine learning
US20200304293A1 (en) * 2017-08-30 2020-09-24 Inpher, Inc. High-Precision Privacy-Preserving Real-Valued Function Evaluation
US20190251433A1 (en) * 2018-02-09 2019-08-15 Htc Corporation Method and electronic apparatus for adjusting a neural network
US20200202201A1 (en) * 2018-12-21 2020-06-25 Fujitsu Limited Information processing apparatus, neural network program, and processing method for neural network
CN110110434A (zh) * 2019-05-05 2019-08-09 重庆大学 一种概率潮流深度神经网络计算的初始化方法
CN110688088A (zh) * 2019-09-30 2020-01-14 南京大学 一种面向神经网络的通用非线性激活函数计算装置和方法
CN110689119A (zh) * 2019-10-09 2020-01-14 北京邮电大学 一种应用于深度卷积神经网络中的特征提取方法
CN111061992A (zh) * 2019-11-28 2020-04-24 南京大学 一种基于抛物线的函数拟合方法及其装置
CN111037550A (zh) * 2019-12-03 2020-04-21 华南理工大学 一种冗余度机械臂运动控制的解决方法
CN111178516A (zh) * 2019-12-11 2020-05-19 浙江大学 一种基于分段查找表的softmax函数计算方法及硬件系统
CN111428606A (zh) * 2020-03-19 2020-07-17 华南师范大学 一种面向边缘计算的轻量级人脸对比验证方法
CN111597298A (zh) * 2020-03-26 2020-08-28 浙江工业大学 一种基于深度对抗离散哈希学习的跨模态检索方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
KAI-HANG LU等: "Finite-Time Recurrent Neural Network Models for Quadratic Program Subject to Time-Varying Linear-Equality Constraints", 《2018 9TH INTERNATIONAL CONFERENCE ON INFORMATION TECHNOLOGY IN MEDICINE AND EDUCATION (ITME)》 *
余子键等: "基于FPGA的卷积神经网络加速器", 《计算机工程》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023165268A1 (zh) * 2022-03-04 2023-09-07 支付宝(杭州)信息技术有限公司 数据处理
CN116506218A (zh) * 2023-06-25 2023-07-28 杭州世平信息科技有限公司 一种云环境下用户数据交互式计算隐私保护方法及系统
CN116506218B (zh) * 2023-06-25 2023-08-29 杭州世平信息科技有限公司 一种云环境下用户数据交互式计算隐私保护方法及系统
CN117391164A (zh) * 2023-10-26 2024-01-12 上海闪易半导体有限公司 兼容线性和非线性激活函数的数字电路、相关设备及方法
CN117391164B (zh) * 2023-10-26 2024-05-03 上海闪易半导体有限公司 兼容线性和非线性激活函数的数字电路、相关设备及方法
CN117270811A (zh) * 2023-11-21 2023-12-22 上海为旌科技有限公司 非线性算子近似计算方法、装置、神经网络处理器
CN117270811B (zh) * 2023-11-21 2024-02-02 上海为旌科技有限公司 非线性算子近似计算方法、装置、神经网络处理器

Also Published As

Publication number Publication date
CN112051980B (zh) 2022-06-21

Similar Documents

Publication Publication Date Title
CN112051980B (zh) 一种基于牛顿迭代法的非线性激活函数计算装置
TWI701612B (zh) 用於神經網路中激勵函數的電路系統及其處理方法
CN111984227B (zh) 一种针对复数平方根的近似计算装置及方法
Qin et al. A novel approximation methodology and its efficient vlsi implementation for the sigmoid function
CN110888623B (zh) 数据转换方法、乘法器、加法器、终端设备及存储介质
CN112486455A (zh) 一种基于cordic方法求复数的n次开根号的硬件计算系统及其计算方法
Hussain et al. An efficient and fast softmax hardware architecture (EFSHA) for deep neural networks
CN111428863A (zh) 一种基于近似乘法器的低功耗卷积运算电路
US6182100B1 (en) Method and system for performing a logarithmic estimation within a data processing system
Rekha et al. FPGA implementation of exponential function using cordic IP core for extended input range
CN111984226B (zh) 一种基于双曲cordic的立方根求解装置及求解方法
Chen et al. Approximate softmax functions for energy-efficient deep neural networks
Kodali et al. Fpga implementation of 160-bit vedic multiplier
CN110837624A (zh) 一种针对sigmoid函数的近似计算装置
Bajger et al. Low-error, high-speed approximation of the sigmoid function for large FPGA implementations
Cao et al. Cordic-based softmax acceleration method of convolution neural network on FPGA
CN104615404A (zh) 一种基于查表操作的高速浮点除法部件装置
Kim et al. Applying piecewise linear approximation for DNN non-linear activation functions to Bfloat16 MACs
CN113778378A (zh) 一种求解复数n次方根的装置和方法
CN112561036A (zh) He-lstm网络结构及其对应的fpga硬件加速器
KR20200125226A (ko) 확률컴퓨팅 회로의 정확도를 높이기 위한 장치
Kumar et al. Fast Approximate Matrix Multiplier based on Dadda Reduction and Carry Save Ahead Adder
Li et al. A Novel Area-Efficient Fast CORDIC for Energy-efficient Adaptive Exponential Integrate and Fire Neuron Design
KR20230143041A (ko) 다중 모드 활성화 함수를 위한 가속기 장치
CN117270811B (zh) 非线性算子近似计算方法、装置、神经网络处理器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant