CN111525921A - 用于神经网络中信号转换的系统和方法 - Google Patents

用于神经网络中信号转换的系统和方法 Download PDF

Info

Publication number
CN111525921A
CN111525921A CN202010412693.0A CN202010412693A CN111525921A CN 111525921 A CN111525921 A CN 111525921A CN 202010412693 A CN202010412693 A CN 202010412693A CN 111525921 A CN111525921 A CN 111525921A
Authority
CN
China
Prior art keywords
signal
input signal
output
input
processing module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010412693.0A
Other languages
English (en)
Other versions
CN111525921B (zh
Inventor
内森·哈克特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Silergy Semiconductor Technology Ltd
Original Assignee
Hangzhou Silergy Semiconductor Technology Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Silergy Semiconductor Technology Ltd filed Critical Hangzhou Silergy Semiconductor Technology Ltd
Priority to CN202010412693.0A priority Critical patent/CN111525921B/zh
Publication of CN111525921A publication Critical patent/CN111525921A/zh
Priority to TW110114343A priority patent/TWI803854B/zh
Priority to US17/315,545 priority patent/US20210357724A1/en
Application granted granted Critical
Publication of CN111525921B publication Critical patent/CN111525921B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03K—PULSE TECHNIQUE
    • H03K19/00—Logic circuits, i.e. having at least two inputs acting on one output; Inverting circuits
    • H03K19/20—Logic circuits, i.e. having at least two inputs acting on one output; Inverting circuits characterised by logic function, e.g. AND, OR, NOR, NOT circuits
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G06N3/065—Analogue means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03F—AMPLIFIERS
    • H03F3/00—Amplifiers with only discharge tubes or only semiconductor devices as amplifying elements
    • H03F3/45—Differential amplifiers
    • H03F3/45071—Differential amplifiers with semiconductor devices only
    • H03F3/45076—Differential amplifiers with semiconductor devices only characterised by the way of implementation of the active amplifying circuit in the differential amplifier
    • H03F3/45475—Differential amplifiers with semiconductor devices only characterised by the way of implementation of the active amplifying circuit in the differential amplifier using IC blocks as the active amplifying circuit

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Neurology (AREA)
  • Computer Hardware Design (AREA)
  • Analogue/Digital Conversion (AREA)
  • Amplifiers (AREA)
  • Tone Control, Compression And Expansion, Limiting Amplitude (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)

Abstract

公开了一种用于神经网络中信号转换的系统和方法。通过构建一种激活函数实现神经网络中信号转换，使该激活函数兼具ReLu激活函数和Sigmoid激活函数的优势，同时通过引入迭代逼似的实现方式，使得该激活函数无需进行幂运算，算法更为简单，从而更容易在电路中实现。

Description

用于神经网络中信号转换的系统和方法
技术领域
本发明涉及神经网络计算领域，具体涉及一种用于神经网络中信号转换的系统和方法。
背景技术
生物神经网络启发了人工神经网络的发展，其是一种模拟人脑的神经网络以期能够实现人工智能的机器学习技术，从而在图像识别和语音识别等诸多领域取得了很好的效果。在多层的神经网络中，上一层的神经元信号，在输入到下一层之前需要经过激活函数的激活，激活函数对输入信号进行非线性变换，使其能够学习和执行更复杂的任务。
在现有技术中，激活函数的种类有很多，包括Sigmoid、Tanh、修正线性单元(ReLU)、Leaky ReLU等。Sigmoid函数是出现较早的激活函数，其表达式为：sigmoid(x)＝1/(1+e-x)。也即，其可以将任意一个输入信号均输出在0到1之间，输出范围有限，基于梯度的优化方法会更加稳定。但是其缺点是需要进行幂运算和除法运算，计算成本高，且不是以0为中心，会导致收敛速度下降，且存在梯度消失的问题。Tanh，也即双曲正切函数，解决了Sigmoid不以0为中心的问题。ReLU函数是目前设计神经网络时使用最广泛的的激活函数，其表达式为：ReLU＝max(0，x)。ReLU函数不需要进行幂运算，因此运算速度快、复杂度低，且ReLU会使一部分神经元的输出为0，也即死亡神经元，但它同时造成了网络的稀疏性，从而使得时间和空间的复杂度更低；但是其输出值没有界限，有计算溢出的可能性。Leaky ReLU则改善了ReLU函数的当x小于0时，输出全部为0问题。
发明内容
有鉴于此，本发明提出了一种用于神经网络中信号转换的系统和方法。通过构建一种激活函数来实现神经网络中的信号转换，该激活函数兼具ReLu激活函数和Sigmoid激活函数的优势，同时通过引入迭代近似的实现方式，使得该激活函数无需进行幂运算，算法更为简单，从而更容易在电路中实现。
根据本发明的第一方面，提出了一种用于神经网络中信号转换的系统，包括：
处理模块，被配置为当输入信号处于第一区间内时，维持输出信号为固定值；当所述输入信号处于第二区间内时，调节所述输出信号以使得所述输出信号与所述输入信号满足预设的非线性关系，其中所述非线性关系为所述输出信号随着所述输入信号的增加呈渐近式非线性增加并趋于收敛。
进一步地，所述处理模块被配置为通过指数计算方式实现所述非线性关系。
进一步地，所述处理模块被配置为通过迭代逼近方式实现所述非线性关系。
进一步地，当所述输入信号小于零时，所述输入信号处于所述第一区间，所述输出信号为零；当所述输入信号不小于零时，所述输入信号处于所述第二区间。
进一步地，所述处理模块包括：
第一处理模块，被配置为将所述输入信号经整流并放大后产生中间信号；以及
第二处理模块，被配置为对所述中间信号进行非线性处理，以产生所述输出信号。
进一步地，所述第一处理模块包括：
整流模块，被配置为对所述输入信号进行整流以允许处于所述第二区间的输入信号通过；
增益模块，被配置为接收所述整流模块输出的第一信号，并产生与所述第一信号成比例关系的信号，以放大所述输入信号。
进一步地，所述整流模块包括第一二极管。
进一步地，所述增益模块包括：
比例运算电路，输入端接收所述第一信号和参考信号，输出端产生所述中间信号，其中所述中间信号与所述第一信号成比例关系，且比例系数为预设系数。
进一步地，所述比例运算电路包括：
运算放大器，同相输入端接收所述参考信号，反相输入端接收所述第一信号；以及
第一电阻和第二电阻，被配置为设置所述运算放大器的增益以满足所述预设系数，其中
所述第一电阻连接在所述第一信号和所述反相输入端之间，所述第二电阻连接在所述反相输入端与所述输出端之间。
进一步地，所述第二处理模块被配置为获取以自然常数(e)为底数，所述中间信号为指数的非线性信号，并根据预设值和所述非线性信号的差值产生所述输出信号。
进一步地，所述第二处理模块包括：
第二二极管；以及
电流镜，包括第一晶体管和第二晶体管，其中所述第一晶体管与所述第二二极管连接，以将所述中间信号转换成指数形式的电流信号，所述第二晶体管与固定电流源相连，输出端输出所述固定电流源产生的电流与所述电流信号的差值。
进一步地，所述处理模块包括：
第三处理模块，被配置为将获取所述输入信号的绝对值并放大后产生中间信号；以及
第四处理模块，被配置为对所述中间信号进行非线性处理，以产生所述输出信号逼近所述非线性关系。
进一步地，所述第三处理模块包括：
绝对值模块，被配置为获取所述输入信号的绝对值以选择处于所述第二区间的所述输入信号；以及
增益模块，被配置为获取与所述增益模块接收的信号成比例关系的中间信号。
进一步地，所述第四处理模块被配置为利用所述中间信号进行多次迭代计算后产生所述输出信号，以逼近所述非线性关系。
进一步地，所述第四处理模块包括：多个计算模块，其中所述多个计算模块相互级联以进行(2x-x2)的迭代计算，x为每个计算模块的输入信号；
进一步地，所述多个计算模块的个数为N，其中第二至第N个计算模块的输入端分别与前一个计算模块的输出端相连，第N个计算模块的输出端产生所述输出信号。
根据本发明的第二方面，提出了一种用于神经网络中信号转换的方法，包括：
当输入信号处于第一区间内时，维持输出信号为固定值；
当所述输入信号处于第二区间内时，调节所述输出信号以使得所述输出信号与所述输入信号满足预设的非线性关系，其中所述非线性关系为所述输出信号随着所述输入信号的增加呈渐近式非线性增加并趋于收敛。
进一步地，通过指数计算方式实现所述非线性关系。
进一步地，通过迭代逼近方式实现所述非线性关系。
进一步地，当所述输入信号小于零时，所述输入信号处于所述第一区间，所述输出信号为零；当所述输入信号不小于零时，所述输入信号处于所述第二区间。
进一步地，所述指数计算方式包括：
对所述输入信号进行整流并放大以产生中间信号；
获取以自然常数(e)为底数，所述中间信号为指数的非线性信号；以及
根据预设值和所述非线性信号的差值产生所述输出信号。
进一步地，所述迭代逼近方式包括：
获取所述输入信号的绝对值并放大以产生中间信号；以及
利用所述中间信号进行多次迭代计算后产生所述输出信号，以逼近所述非线性关系。
进一步地，所述迭代计算为(2x-x2)，其中x为每次迭代计算的输入。
综上所述，本发明通过构建一种激活函数实现神经网络中信号转换，使该激活函数兼具ReLu激活函数和Sigmoid激活函数的优势，同时通过引入迭代逼似的实现方式，使得该激活函数无需进行幂运算，算法更为简单，从而更容易在电路中实现。
附图说明
通过以下参照附图对本发明实施例的描述，本发明的上述以及其它目的、特征和优点将更为清楚，在附图中：
图1为本发明实施例的激活函数的示意图；
图2为本发明实施例的用于神经网络中信号转换的模拟实现系统；
图3为本发明实施例的用于神经网络中信号转换的第一种数字实现系统；
图4为本发明实施例的用于神经网络中信号转换的第二种数字实现系统；
图5为本发明实施例的用于神经网络中信号转换的第三种数字实现系统；
图6为本发明实施例的用于神经网络中信号转换的第四种数字实现系统；以及
图7为本发明实施例的用于神经网络中信号转换的方法。
具体实施方式
以下基于实施例对本发明进行描述，但是本发明并不仅仅限于这些实施例。在下文对本发明的细节描述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本发明。为了避免混淆本发明的实质，公知的方法、过程、流程、元件和电路并没有详细叙述。
此外，本领域普通技术人员应当理解，在此提供的附图都是为了说明的目的，并且附图不一定是按比例绘制的。
同时，应当理解，在以下的描述中，“电路”是指由至少一个元件或子电路通过电气连接或电磁连接构成的导电回路。当称元件或电路“连接到”另一元件或称元件/电路“连接在”两个节点之间时，它可以是直接耦接或连接到另一元件或者可以存在中间元件，元件之间的连接可以是物理上的、逻辑上的、或者其结合。相反，当称元件“直接耦接到”或“直接连接到”另一元件时，意味着两者不存在中间元件。
除非上下文明确要求，否则整个说明书和权利要求书中的“包括”、“包含”等类似词语应当解释为包含的含义而不是排他或穷举的含义；也就是说，是“包括但不限于”的含义。
在本发明的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。
图1为本发明实施例的激活函数的示意图。在本发明实施例中，激活函数的表达式为：
Figure BDA0002493862980000061
其中a为大于零的预设系数，b为常数，且b可以等于零。图1以b＝0为例进行说明。输入信号为x，经比例运算处理后得到ax，再经如下修正处理：如果x不小于零，u1＝ax；若x小于零，则u1＝0；将u1作为输入最后经非线性处理后得到u2＝1-e-ax。应理解，在一些实施例中，比例运算处理和修正处理可以互换位置，也即先进行修正，再进行比例运算。
从图1可以看出，当输入信号x不小于零时，输入信号处于第二区间，输出信号u2与输入信号x之间满足预设的非线性关系，即随着输入信号x的增加，输出信号u2呈渐近式非线性增加，并最终趋于收敛，在此最终收敛于1。该激活函数的输出具有渐近性，也即其输出受限，因此不会出现溢出而导致不稳定的情况，同时，该激活函数对更标准的ReLU激活函数显示出相同的训练优势。
图2为本发明实施例的用于神经网络中信号转换的模拟实现系统，以模拟电路来实现图1所述的激活函数，实现信号转换。如图2所示，该系统包括处理模块，被配置为当输入信号处于第一区间内时，维持输出信号为固定值；当输入信号处于第二区间内时，调节输出信号以使得输出信号与输入信号满足预设的非线性关系，即输出信号随着输入信号的增加呈渐近式非线性增加并最终趋于收敛。当输入信号小于零时，输入信号处于第一区间，输出信号为零；当输入信号不小于零时，输入信号处于第二区间。该模拟实现系统可通过指数计算方式实现上述非线性关系。
具体地，处理模块包括第一处理模块1和第二处理模块2。第一处理模块1用以将输入信号Vin经整流并放大后产生中间信号M。第二处理模块2用以对中间信号M进行非线性处理，以产生输出信号Vout。具体地，第一处理模块1包括整流模块11和增益模块12。其中整流模块11对输入信号Vin进行整流以允许处于第二区间的输入信号Vin通过，也即获取不小于零的输入信号Vin。增益模块12接收整流模块11输出的第一信号V1，并产生与第一信号V1成比例关系的信号，以放大输入信号Vin。当然，整流模块11和增益模块12的位置可以互换。在本实施例中，整流电路11接收输入信号Vin，经整流后将其输出到增益模块12，从而得到中间信号M。在另一些实施例中，增益模块12接收输入信号Vin，输出端产生与Vin成比例关系的信号，并输出至整流模块11的输入端，从而整流模块11再将整流后输出以产生中间信号M。
在本实施例中，整流模块11包括第一二极管D1，其阴极接收输入信号Vin，阳极与增益模块12的输入端相连，以整流使得不小于零的输入信号通过。应理解，其他单向导通器件以实现整流功能也在本发明保护范围内。
增益模块12包括比例运算电路，输入端分别接收经整流后的输入信号，即第一信号V1，以及参考信号Vref，输出端产生与第一信号V1成比例关系的中间信号M，比例系数为预设系数。在本实施例中，比例运算电路包括运算放大器G1以及电阻R1和R2，用以设置运算放大器G1的增益，即预设系数。其中运算放大器G1的同相输入端接收参考信号Vref，反相输入端接收第一信号V1，电阻R1连接在第一信号V1和运算放大器G1的反相输入端之间，电阻R2连接在运算放大器G1的反相输入端和输出端之间，从而电阻R1和R2形成了负反馈，使得运算放大器G1输出的中间信号M为：
Figure BDA0002493862980000081
其中R2/R1即为预设系数a，(R1+R2)/R1×Vref即为常数b。参考信号Vref由偏置电压Vbias经电阻R3和R4分压产生，应理解，偏置电压Vbias可以为零。
第二处理模块2被配置为获取以自然常数(e)为底数，中间信号M为指数的非线性信号，并根据预设值和非线性信号的差值产生输出信号Vout。具体地，第二处理模块2包括第二二极管D2和电流镜。本领域技术人员能够理解，当二极管承受的电压超过开启电压后，其伏安特性呈指数形式。因此利用二极管自身的特性来将中间信号M转化为指数形式的电流Im，即：
Im＝eM (3)
与第二二极管D2相连的晶体管M1和晶体管M2一起形成了电流镜，因此流过晶体管M2的电流等于流过晶体管M1的电流Im，晶体管M2的一端还与一固定电流源相连，其产生的电流为Ia，从而在输出电阻RL上产生的输出信号Vout为：
Vout＝(Ia-Im)×RL (4)
其中当电流Ia为1，RL为1时，可以得到:
Vout＝1-eM＝1-e-a×Vin+b (5)
其中当偏置电压Vbias为零时，则参考信号Vref为零，从而常数b为零，因此上式变为：
Vout＝1-eM＝1-e-a×Vin (6)
应理解，固定电流源产生的电流Ia还可以通过镜像电路中其他电流的方式产生，不限于此。
以上给出了用模拟电路的方式实现一种新的激活函数的实施例，以实现神经网络中信号转换的系统，该激活函数兼具ReLu激活函数和Sigmoid激活函数的优势，且实现电路简单。
图3给出了本发明实施例的用于神经网络中信号转换的第一种数字实现系统。如图3所示，该数字实现系统通过采用算术逻辑单元ALU(Arithmetic Logic Unit)实现式(1)的函数关系以进行信号转换。该系统还包括比较器cmpr、控制器seq和累加器add。比较器cmpr用于判断输入信号IN是否大于0，从而比较器cmpr将结果传递至控制器seq，使得控制器seq作出对应的控制。算术逻辑单元ALU的第二输入端B接收输入信号IN，第一输入端A连接至累加器add的输出端，累加器add的输入端与算术逻辑单元ALU的输出端相连。当输入信号IN小于零，控制器seq使得算术逻辑单元ALU的输出为零。当输入信号IN不小于零，控制器seq控制算术逻辑单元ALU按顺序执行各类算术运算，指数运算、比例运算、加法运算等。其中每执行一步运算，结果均保存至累加器add中，累加器add再将其传递给算术逻辑单元ALU的第一输入端A，进而利用中间结果继续下一步的运算。最终由累加器add将输出信号OUT输出，以得到上式(1)的表达式。
图4为本发明实施例的用于神经网络中信号转换的第二种数字实现系统。图3所示的实施例中采用了算术逻辑单元ALU，本实施例以数字信号处理系统为例，并采用迭代逼近的方式逼近上式(5)的计算结果。本发明实施例中的系统中处理模块被配置为通过迭代逼近方式实现输出信号与输入信号的非线性关系。其中处理模块包括第三处理模块3和第四处理模块4。具体地，第三处理模块3用以获取输入信号IN的绝对值并放大后输出中间信号M。第四处理模块4接收中间信号M，并利用中间信号M进行多次迭代计算，以逼近第二区间内输出信号与输入信号的非线性关系。
具体地，第三处理模块3包括绝对值模块31和增益模块32。绝对值模块31用以获取输入信号IN的绝对值。增益模块32用以获取与其接收的信号成比例关系的中间信号M。本领域技术人员应理解，绝对值模块31和增益模块32的位置可以互换。在本实施例中，绝对值模块31接收输入信号IN，输出端与增益模块32的输入端相连，增益模块32的输出端产生中间信号M，即M＝a|IN|，其中a为增益模块32的增益。在另一些实施例中，增益模块32接收输入信号IN，输出端与绝对值模块31相连，绝对值模块31的输出端产生中间信号M，即M＝a|IN|。
第四处理模块4被配置为利用中间信号M进行多次迭代计算后产生输出信号，以逼近所述非线性关系。第四处理模块4包括多个计算模块，相互级联以进行(2x-x2)的迭代计算，其中x为每个计算模块的输入信号。具体地，计算模块的个数为N(N为正整数)，其中第二至第N个计算模块的输入端分别与前一个计算模块的输出端相连以形成级联，第N个计算模块的输出端产生输出信号。也即，第一个计算模块的输入端接收中间信号M，经过(2M-M2)的计算后输出第一计算结果M1至第二计算模块的输入端，第二计算模块经(2M1-M1 2)的计算后输出第二计算结果M2至第三计算模块的输入端，……，以此类推，第N个计算模块经(2MN-1-MN-1 2)的计算后产生输出信号。
本领域技术人员应理解，迭代处理的次数越多，第四处理模块4输出的信号则越接近1-e-M。
该系统还包括比较选择模块5，被配置为根据输入信号IN的正负，选择输出不同的输出信号。在本实施例中，当输入信号IN小于零时，输出信号OUT为零；当输入信号IN不小于零时，系统的输出信号OUT为第四处理模块4的输出信号。即经比较选择模块5后，可以得到：
Figure BDA0002493862980000101
在一些实施例中，比较选择模块5可以根据不同的需求选择输出不同的信号。图5和图6分别为本发明实施例的用于神经网络中信号转换的第三种和第四种数字实现系统的示意图，分别给出了两种不同的选择输出的情况。如图5所示，在不需要整流的场合，比较选择模块5最终输出的信号OUT为：
Figure BDA0002493862980000102
如图6所示，在需要采用无符号输出的场合，系统还包括叠加单元和偏置单元，使得最终的输出信号OUT为：
OUT≈0.5×(1+A(x))，其中
Figure BDA0002493862980000103
本发明实施例采用迭代逼近的方式来逼近新的激活函数，无需复杂的运算，从而节省了时间和空间，电路的实现也较为简单。应理解，该系统还可以包括偏置模块，以根据需要增加激活函数的偏置。
图7给出了本发明实施例的用于神经网络中信号转换的方法。该方法包括：
步骤S1：当输入信号处于第一区间内时，维持输出信号为固定值；
步骤S2：当所述输入信号处于第二区间内时，调节所述输出信号以使得所述输出信号与所述输入信号满足预设的非线性关系，其中所述非线性关系为所述输出信号随着所述输入信号的增加呈渐近式非线性增加并趋于收敛。
对于实现步骤S2中输出信号与输入信号的关系有两种方式，一是通过指数计算方式实现所述非线性关系。二是通过迭代逼近方式实现所述非线性关系。
具体地，通过指数计算方式实现包括：对所述输入信号进行整流并放大以产生中间信号；获取以自然常数(e)为底数，所述中间信号为指数的非线性信号；以及根据预设值和所述非线性信号的差值产生所述输出信号。
具体地，通过迭代逼近方式实现包括：获取所述输入信号的绝对值并放大以产生中间信号；以及利用所述中间信号进行多次迭代计算后产生所述输出信号，以逼近所述非线性关系。其中迭代计算为(2x-x2)，其中x为每次迭代计算的输入。
以上所述仅为本发明的优选实施例，并不用于限制本发明，对于本领域技术人员而言，本发明可以有各种改动和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (23)

1.一种用于神经网络中信号转换的系统，其特征在于，包括：
处理模块，被配置为当输入信号处于第一区间内时，维持输出信号为固定值；当所述输入信号处于第二区间内时，调节所述输出信号以使得所述输出信号与所述输入信号满足预设的非线性关系，其中所述非线性关系为所述输出信号随着所述输入信号的增加呈渐近式非线性增加并趋于收敛。
2.根据权利要求1所述的系统，其特征在于，所述处理模块被配置为通过指数计算方式实现所述非线性关系。
3.根据权利要求1所述的系统，其特征在于，所述处理模块被配置为通过迭代逼近方式实现所述非线性关系。
4.根据权利要求1所述的系统，其特征在于，当所述输入信号小于零时，所述输入信号处于所述第一区间，所述输出信号为零；当所述输入信号不小于零时，所述输入信号处于所述第二区间。
5.根据权利要求2所述的系统，其特征在于，所述处理模块包括：
第一处理模块，被配置为将所述输入信号经整流并放大后产生中间信号；以及
第二处理模块，被配置为对所述中间信号进行非线性处理，以产生所述输出信号。
6.根据权利要求5所述的系统，其特征在于，所述第一处理模块包括：
整流模块，被配置为对所述输入信号进行整流以允许处于所述第二区间的输入信号通过；
增益模块，被配置为接收所述整流模块输出的第一信号，并产生与所述第一信号成比例关系的信号，以放大所述输入信号。
7.根据权利要求6所述的系统，其特征在于，所述整流模块包括第一二极管。
8.根据权利要求6所述的系统，其特征在于，所述增益模块包括：
比例运算电路，输入端接收所述第一信号和参考信号，输出端产生所述中间信号，其中所述中间信号与所述第一信号成比例关系，且比例系数为预设系数。
9.根据权利要求8所述的系统，其特征在于，所述比例运算电路包括：
运算放大器，同相输入端接收所述参考信号，反相输入端接收所述第一信号；以及
第一电阻和第二电阻，被配置为设置所述运算放大器的增益以满足所述预设系数，其中
所述第一电阻连接在所述第一信号和所述反相输入端之间，所述第二电阻连接在所述反相输入端与所述输出端之间。
10.根据权利要求5所述的系统，其特征在于，所述第二处理模块被配置为获取以自然常数(e)为底数，所述中间信号为指数的非线性信号，并根据预设值和所述非线性信号的差值产生所述输出信号。
11.根据权利要求5所述的系统，其特征在于，所述第二处理模块包括：
第二二极管；以及
电流镜，包括第一晶体管和第二晶体管，其中所述第一晶体管与所述第二二极管连接，以将所述中间信号转换成指数形式的电流信号，所述第二晶体管与固定电流源相连，输出端输出所述固定电流源产生的电流与所述电流信号的差值。
12.根据权利要求3所述的系统，其特征在于，所述处理模块包括：
第三处理模块，被配置为将获取所述输入信号的绝对值并放大后产生中间信号；以及
第四处理模块，被配置为对所述中间信号进行非线性处理，以产生所述输出信号逼近所述非线性关系。
13.根据权利要求12所述的系统，其特征在于，所述第三处理模块包括：
绝对值模块，被配置为获取所述输入信号的绝对值以选择处于所述第二区间的所述输入信号；以及
增益模块，被配置为获取与所述增益模块接收的信号成比例关系的中间信号。
14.根据权利要求12所述的系统，其特征在于，所述第四处理模块被配置为利用所述中间信号进行多次迭代计算后产生所述输出信号，以逼近所述非线性关系。
15.根据权利要求12所述的系统，其特征在于，所述第四处理模块包括：多个计算模块，其中所述多个计算模块相互级联以进行(2x-x2)的迭代计算，x为每个计算模块的输入信号。
16.根据权利要求15所述的系统，其特征在于，所述多个计算模块的个数为N，其中第二至第N个计算模块的输入端分别与前一个计算模块的输出端相连，第N个计算模块的输出端产生所述输出信号。
17.一种用于神经网络中信号转换的方法，其特征在于，包括：
当输入信号处于第一区间内时，维持输出信号为固定值；
当所述输入信号处于第二区间内时，调节所述输出信号以使得所述输出信号与所述输入信号满足预设的非线性关系，其中所述非线性关系为所述输出信号随着所述输入信号的增加呈渐近式非线性增加并趋于收敛。
18.根据权利要求17所述的方法，其特征在于，通过指数计算方式实现所述非线性关系。
19.根据权利要求17所述的方法，其特征在于，通过迭代逼近方式实现所述非线性关系。
20.根据权利要求17所述的方法，其特征在于，当所述输入信号小于零时，所述输入信号处于所述第一区间，所述输出信号为零；当所述输入信号不小于零时，所述输入信号处于所述第二区间。
21.根据权利要求18所述的方法，其特征在于，所述指数计算方式包括：
对所述输入信号进行整流并放大以产生中间信号；
获取以自然常数(e)为底数，所述中间信号为指数的非线性信号；以及
根据预设值和所述非线性信号的差值产生所述输出信号。
22.根据权利要求19所述的方法，其特征在于，所述迭代逼近方式包括：
获取所述输入信号的绝对值并放大以产生中间信号；以及
利用所述中间信号进行多次迭代计算后产生所述输出信号，以逼近所述非线性关系。
23.根据权利要求22所述的方法，其特征在于，所述迭代计算为(2x-x2)，其中x为每次迭代计算的输入。
CN202010412693.0A 2020-05-15 2020-05-15 用于神经网络中信号转换的系统和方法 Active CN111525921B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202010412693.0A CN111525921B (zh) 2020-05-15 2020-05-15 用于神经网络中信号转换的系统和方法
TW110114343A TWI803854B (zh) 2020-05-15 2021-04-21 用於神經網路中信號轉換的系統和方法
US17/315,545 US20210357724A1 (en) 2020-05-15 2021-05-10 System and method for signal conversion in a neural network

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010412693.0A CN111525921B (zh) 2020-05-15 2020-05-15 用于神经网络中信号转换的系统和方法

Publications (2)

Publication Number Publication Date
CN111525921A true CN111525921A (zh) 2020-08-11
CN111525921B CN111525921B (zh) 2023-09-08

Family

ID=71907573

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010412693.0A Active CN111525921B (zh) 2020-05-15 2020-05-15 用于神经网络中信号转换的系统和方法

Country Status (3)

Country Link
US (1) US20210357724A1 (zh)
CN (1) CN111525921B (zh)
TW (1) TWI803854B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113162607A (zh) * 2021-04-01 2021-07-23 中国科学院上海微系统与信息技术研究所 一种实现sigmoid激活函数的电路

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0464777A1 (de) * 1990-07-03 1992-01-08 Zumtobel Aktiengesellschaft Schaltungsanordnung zum Annähern einer nichtlinearen Übertragungsfunktion
US5175796A (en) * 1990-04-24 1992-12-29 Thomson-Csf Neural system of classification and classification method using such a system
WO2000052630A1 (fr) * 1999-03-02 2000-09-08 Institut National De La Sante Et De La Recherche Medicale Dispositif electronique a caracteristique de transfert non lineaire, et application a un dispositif de controle
CN1324459A (zh) * 1998-10-21 2001-11-28 Mts系统公司 形成非线性模型和利用该模型形成模拟试验用的驱动信号的方法
US20040059992A1 (en) * 2002-06-17 2004-03-25 Tan Keng Tiong Methods of optimizing the decoding of signals based on a complete majority logic representation
CN1551508A (zh) * 2002-06-17 2004-12-01 Go-Cdma有限公司 根据完全择多逻辑表示优化信号译码的方法
CN1781252A (zh) * 2003-04-30 2006-05-31 飞思卡尔半导体公司 用于降低功耗的adc转换的方法和装置
CN106452438A (zh) * 2015-08-05 2017-02-22 领特公司 具有非线性特性的估量方法
CN109255436A (zh) * 2017-07-14 2019-01-22 英特尔公司 用于机器学习加速的双曲线函数
CN110688088A (zh) * 2019-09-30 2020-01-14 南京大学 一种面向神经网络的通用非线性激活函数计算装置和方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8706662B2 (en) * 2011-07-21 2014-04-22 Qualcomm Incorporated Method and apparatus of controlling noise associated with synaptic inputs based on neuronal firing rate
TWI655587B (zh) * 2015-01-22 2019-04-01 美商前進公司 神經網路及神經網路訓練的方法
CN108874445A (zh) * 2017-10-30 2018-11-23 上海寒武纪信息科技有限公司 神经网络处理器及使用处理器执行向量点积指令的方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5175796A (en) * 1990-04-24 1992-12-29 Thomson-Csf Neural system of classification and classification method using such a system
EP0464777A1 (de) * 1990-07-03 1992-01-08 Zumtobel Aktiengesellschaft Schaltungsanordnung zum Annähern einer nichtlinearen Übertragungsfunktion
CN1324459A (zh) * 1998-10-21 2001-11-28 Mts系统公司 形成非线性模型和利用该模型形成模拟试验用的驱动信号的方法
WO2000052630A1 (fr) * 1999-03-02 2000-09-08 Institut National De La Sante Et De La Recherche Medicale Dispositif electronique a caracteristique de transfert non lineaire, et application a un dispositif de controle
US20040059992A1 (en) * 2002-06-17 2004-03-25 Tan Keng Tiong Methods of optimizing the decoding of signals based on a complete majority logic representation
CN1551508A (zh) * 2002-06-17 2004-12-01 Go-Cdma有限公司 根据完全择多逻辑表示优化信号译码的方法
CN1781252A (zh) * 2003-04-30 2006-05-31 飞思卡尔半导体公司 用于降低功耗的adc转换的方法和装置
CN106452438A (zh) * 2015-08-05 2017-02-22 领特公司 具有非线性特性的估量方法
CN109255436A (zh) * 2017-07-14 2019-01-22 英特尔公司 用于机器学习加速的双曲线函数
CN110688088A (zh) * 2019-09-30 2020-01-14 南京大学 一种面向神经网络的通用非线性激活函数计算装置和方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113162607A (zh) * 2021-04-01 2021-07-23 中国科学院上海微系统与信息技术研究所 一种实现sigmoid激活函数的电路
CN113162607B (zh) * 2021-04-01 2024-03-12 中国科学院上海微系统与信息技术研究所 一种实现sigmoid激活函数的电路

Also Published As

Publication number Publication date
TWI803854B (zh) 2023-06-01
TW202147184A (zh) 2021-12-16
US20210357724A1 (en) 2021-11-18
CN111525921B (zh) 2023-09-08

Similar Documents

Publication Publication Date Title
US11645537B2 (en) Neural network training method, neural network training apparatus and electronic device
Han et al. Deep spiking neural network: Energy efficiency through time based coding
Wen et al. Optimized backstepping for tracking control of strict-feedback systems
WO2020083073A1 (zh) 非机动车图像多标签分类方法、系统、设备及存储介质
US11580368B2 (en) Artificial neural network circuit
KR20200034918A (ko) 심층 신경망의 가중치에 대한 밸런싱된 프루닝을 제공하는 시스템 및 방법
CN111525921B (zh) 用于神经网络中信号转换的系统和方法
Fikri et al. Power flow analysis by numerical techniques and artificial neural networks
CN111125616A (zh) 一种二维离散傅里叶变换运算电路及运算方法
KR100219036B1 (ko) 저전압형 모스펫 콘트롤링 곱셈기
Nascimento et al. RLS adaptive filter with inequality constraints
Hasani et al. Liquid time-constant recurrent neural networks as universal approximators
Sum et al. A limitation of gradient descent learning
Chaudhari et al. Learning gradients of convex functions with monotone gradient networks
Wang et al. Analysis and design of primal-dual assignment networks
KR940004430B1 (ko) Mosfet 저항성 제어형 곱셈연산기
Tranninger et al. Sliding mode tangent space observer for LTV systems with unknown inputs
Perić et al. Analysis of 32-bit Fixed Point Quantizer in the Wide Variance Range for the Laplacian Source
RU2546085C1 (ru) ЛОГИЧЕСКИЙ ЭЛЕМЕНТ СРАВНЕНИЯ k-ЗНАЧНОЙ ПЕРЕМЕННОЙ С ПОРОГОВЫМ ЗНАЧЕНИЕМ
CN111796618B (zh) 人工神经元及其执行方法
CN113805843B (zh) 最大值求解电路及最大值求解方法
Calderón Operational amplifier performance practices in linear applications
Danciu et al. Gradient like behavior and high gain design of KWTA neural networks
CN112686381B (zh) 神经网络模型、方法、电子设备及可读介质
CN112307227B (zh) 一种数据分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant