CN217562049U - 一种参数可调的ReLU函数神经元电路及电子设备 - Google Patents

Abstract

本实用新型公开了一种参数可调的ReLU函数神经元电路及电子设备，涉及电路技术领域。包括：至少两个第一可调权值电路，以及ReLU激活函数电路和第二可调权值电路，每个第一可调权值电路的输出端分别与ReLU激活函数电路的输入端连接，ReLU激活函数电路的输出端与第二可调权值电路的输入端连接。本实用新型提供的ReLU函数神经元电路，具有输入电流权值可调的优点，通过调整第一可调权值电路的电流传输比，相当于调整输入权值，而第二可调权值电路既可以起到隔离前级电路与后级电路的作用从而实现良好的承接前级电路电流与带载效果，又相当于在神经元的输出端添加了一个权值电路。

Description

一种参数可调的ReLU函数神经元电路及电子设备

技术领域

本实用新型涉及电路技术领域，尤其涉及一种参数可调的ReLU函数神经元电路及电子设备。

背景技术

ReLU函数是一种人工神经网络中常用的激活函数，为神经元在线性变换之后的非线性输出结果。

目前的ReLU函数神经元电路的具体参数调整困难，实用性差。

实用新型内容

本实用新型所要解决的技术问题是针对现有技术的不足，提供一种参数可调的ReLU函数神经元电路及电子设备。

本实用新型解决上述技术问题的技术方案如下：

一种参数可调的ReLU函数神经元电路，包括：至少两个第一可调权值电路，以及ReLU激活函数电路和第二可调权值电路，每个所述第一可调权值电路的输出端分别与所述ReLU激活函数电路的输入端连接，所述ReLU激活函数电路的输出端与所述第二可调权值电路的输入端连接，其中：

所述第一可调权值电路包括：第一连接电阻、第二连接电阻、第三连接电阻、第一正比例电流传输电路和负比例电流传输电路，所述第一正比例电流传输电路包括第一电压跟随器和第一同相放大器，所述负比例电流传输电路包括第二电压跟随器和反相放大电路，所述第一连接电阻的一端分别与所述第一电压跟随器的一端和所述第二电压跟随器的一端连接，所述第一连接电阻的另一端接地，所述第一电压跟随器的另一端与所述第一同相放大器的一端连接，所述第一同相放大器的另一端通过所述第二连接电阻与所述ReLU激活函数电路连接，所述第二电压跟随器的另一端与所述反相放大器的一端连接，所述反相放大器的另一端通过所述第三连接电阻与所述ReLU激活函数电路连接；

所述第二可调权值电路包括：第四连接电阻、第五连接电阻和第二正比例电流传输电路，所述第二正比例电流传输电路包括第三电压跟随器和第二同相放大器，所述第四连接电阻的一端与所述第三电压跟随器的一端连接，所述第四连接电阻的另一端接地，所述第三电压跟随器的另一端与所述第二同相放大器的一端连接，所述第二同相放大器的另一端通过所述第五连接电阻与负载连接。

本实用新型的有益效果是：本实用新型提供的ReLU函数神经元电路，具有输入电流权值可调的优点，通过调整第一可调权值电路的电流传输比，相当于调整输入权值，而第二可调权值电路既可以起到隔离前级电路与后级电路的作用从而实现良好的承接前级电路电流与带载效果，又相当于在神经元的输出端添加了一个权值电路。

在上述技术方案的基础上，本实用新型还可以做如下改进。

进一步，所述第一电压跟随器包括：第一运算放大器，所述第一运算放大器的正输入端与所述第一连接电阻的一端连接，所述第一运算放大器的负输入端和输出端与所述第一同相放大器连接。

进一步，所述第一同相放大器包括：第二运算放大器、第一电阻和第二电阻，所述第二运算放大器的正输入端与所述第一运算放大器的输出端连接，所述第二运算放大器的负输入端分别与所述第一电阻的一端和所述第二电阻的一端连接，所述第一电阻的另一端接地，所述第二电阻的另一端分别与所述第二运算放大器的输出端和所述第二连接电阻连接。

进一步，所述第二电压跟随器包括：第三运算放大器，所述第三运算放大器的正输入端与所述第一连接电阻的一端连接，所述第三运算放大器的负输入端和输出端与所述反相放大器连接。

进一步，所述反相放大器包括：第四运算放大器、第三电阻和第四电阻，所述第四运算放大器的正输入端接地，所述第四运算放大器的负输入端分别与所述第三电阻的一端和所述第四电阻的一端连接，所述第三电阻的另一端与所述第三运算放大器的输出端连接，所述第四电阻的另一端分别与所述第四运算放大器的输出端和所述第三连接电阻连接。

进一步，所述第三电压跟随器包括：第五运算放大器，所述第五运算放大器的正输入端分别与所述第四连接电阻的一端和所述ReLU激活函数电路连接，所述第五运算放大器的负输入端和输出端与所述第二同相放大器连接。

进一步，所述第二同相放大器包括：第六运算放大器、第五电阻和第六电阻，所述第六运算放大器的正输入端与所述第五运算放大器的输出端连接，所述第六运算放大器的负输入端分别与所述第五电阻的一端和所述第六电阻的一端连接，所述第五电阻的另一端接地，所述第六电阻的另一端分别与所述第六运算放大器的输出端和所述第五连接电阻连接。

进一步，所述ReLU激活函数电路包括：第七运算放大器、增益电路、第七电阻、第八电阻、二极管、第一基准电压源和第二基准电压源，所述第七运算放大器的正输入端分别与每个所述第一可调权值电路的输出端和所述第七电阻的一端连接，所述第七电阻的另一端接地，所述第七运算放大器的负输入端和输出端与所述增益电路的输入端连接，所述增益电路的输出端与所述二极管的正极连接，所述二极管的负极与所述第八电阻的一端连接，所述第八电阻的另一端与所述第一基准电压源的正极连接，所述第一基准电压源的负极与所述第二基准电压源的正极连接，所述第二基准电压源的负极与所述第二可调权值电路的输入端连接。

本发明还提供一种电子设备，包括如上述任意技术方案所述的参数可调的ReLU函数神经元电路。

以上所述仅为本实用新型的较佳实施例，并不用以限制本实用新型，凡在本实用新型的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本实用新型的保护范围之内。

附图说明

图1为本实用新型ReLU函数神经元电路的实施例提供的结构框架示意图；

图2为本实用新型ReLU函数神经元电路的实施例提供的第一可调权值电路结构示意图；

图3为本实用新型ReLU函数神经元电路的实施例提供的ReLU激活函数电路结构示意图；

图4为本实用新型ReLU函数神经元电路的实施例提供的第二可调权值电路结构示意图；

图5为本实用新型ReLU函数神经元电路的实施例提供的ReLU激活函数电路IO特性曲线示意图；

图6为本实用新型ReLU函数神经元电路的实施例提供的ReLU激活函数转折点位置随基准电压变化关系示意图。

具体实施方式

以下结合附图对本实用新型的原理和特征进行描述，所举实例只用于解释本实用新型，并非用于限定本实用新型的范围。

如图1所示，为本实用新型ReLU函数神经元电路的实施例提供的结构框架示意图，该参数可调的ReLU函数神经元电路包括：至少两个第一可调权值电路，如图1所示，可以为4个可调权值电路，以及ReLU激活函数电路和第二可调权值电路，每个第一可调权值电路的输出端分别与ReLU激活函数电路的输入端连接，ReLU激活函数电路的输出端与第二可调权值电路的输入端连接，其中：

第一可调权值电路包括：第一连接电阻R1、第二连接电阻R3、第三连接电阻R6、第一正比例电流传输电路和负比例电流传输电路，第一正比例电流传输电路包括第一电压跟随器和第一同相放大器，负比例电流传输电路包括第二电压跟随器和反相放大电路，第一连接电阻R1的一端分别与第一电压跟随器的一端和第二电压跟随器的一端连接，第一连接电阻R1的另一端接地，第一电压跟随器的另一端与第一同相放大器的一端连接，第一同相放大器的另一端通过第二连接电阻R3与ReLU激活函数电路连接，第二电压跟随器的另一端与反相放大器的一端连接，反相放大器的另一端通过第三连接电阻R6与ReLU激活函数电路连接；

第二可调权值电路包括：第四连接电阻R29、第五连接电阻R30和第二正比例电流传输电路，第二正比例电流传输电路包括第三电压跟随器和第二同相放大器，第四连接电阻R29的一端与第三电压跟随器的一端连接，第四连接电阻R29的另一端接地，第三电压跟随器的另一端与第二同相放大器的一端连接，第二同相放大器的另一端通过第五连接电阻R30与负载连接。

需要说明的是，该神经元电路为电流型电路，因此，如图1所示，四个输入端的输入电流(假设分别为I1,I2,I3,I4)分别经过可调权值电路1，可调权值电路2，可调权值电路3，可调权值电路4加权，再通过并联方式进行加和，由此成为ReLU激活函数电路的输入电流。

I＝I1W1+I2W2+I3W3+I4W4

其中，W1,W2,W3,W4即为可调权值电路1、可调权值电路2、可调权值电路3和可调权值电路4的权值。

需要说明的是，第一连接电阻R1为电流电压转换电阻，其与第一电压跟随器的一端和第二电压跟随器连接的一端接入前端电路电流，前端电路电流几乎全部流经第一连接电阻R1。

第二连接电阻R3和第三连接电阻R6的阻值相等，在实际应用中，第二连接电阻R3对于负载应足够大，第一连接电阻R1对于前端电路内阻应足够小，以起到良好的电流传输作用。

即第二连接电阻R3的阻值大于第一预设值，第一连接电阻R1的阻值小于第二预设值，第一预设值可以根据负载的阻值进行设置，只需远大于负载阻值即可，第二预设值可以根据前端电路内阻进行设置，只需远小于前端电路内阻即可，具体的阻值是本领域技术人员可以根据实际情况设置的，再此不在赘述。

本实用新型提供的ReLU函数神经元电路，具有输入电流权值可调的优点，通过调整第一可调权值电路的电流传输比，相当于调整输入权值，而第二可调权值电路既可以起到隔离前级电路与后级电路的作用从而实现良好的承接前级电路电流与带载效果，又相当于在神经元的输出端添加了一个权值电路，该神经元电路可作为基本单元用于通过神经网络实现的类脑电路设计中。

图2为第一可调权值电路结构示意图，可选地，如图2所示，第一电压跟随器包括：第一运算放大器U1，第一运算放大器U1的正输入端与第一连接电阻R1的一端连接，第一运算放大器U1的负输入端和输出端与第一同相放大器连接。

可选地，如图2所示，第一同相放大器包括：第二运算放大器U2、第一电阻R2和第二电阻R4，第二运算放大器U2的正输入端与第一运算放大器U1的输出端连接，第二运算放大器U2的负输入端分别与第一电阻R2的一端和第二电阻R4的一端连接，第一电阻R2的另一端接地，第二电阻R4的另一端分别与第二运算放大器U2的输出端和第二连接电阻R3连接。

可选地，如图2所示，第二电压跟随器包括：第三运算放大器U3，第三运算放大器U3的正输入端与第一连接电阻R1的一端连接，第三运算放大器U3的负输入端和输出端与反相放大器连接。

可选地，如图2所示，反相放大器包括：第四运算放大器U4、第三电阻R5和第四电阻R7，第四运算放大器U4的正输入端接地，第四运算放大器U4的负输入端分别与第三电阻R5的一端和第四电阻R7的一端连接，第三电阻R5的另一端与第三运算放大器U3的输出端连接，第四电阻R7的另一端分别与第四运算放大器U4的输出端和第三连接电阻R6连接。

下面结合图2，对工作原理进行示例性说明。

对于正比例电流传输电路，由于运算放大器的“虚断”特性，前端电路电流几乎全部流经第一连接电阻R1，因此对于第一运算放大器U1的正输入端，其电压为V1＝I1R1，I1为前端电流值，其中第一运算放大器U1构成电压跟随器，其输出端电压即第二运算放大器U2的输入端电压V2＝V1＝I1R1，其中，第二运算放大器U2与第一电阻R2和第二电阻R4构成同相放大器，因此，第二运算放大器U2的输出端电压为Vp＝V2(1+R4/R2)＝V1(1+R4/R2)＝

I1R1(1+R4/R2)，由于R3>>RL，RL为负载电阻，因此，第二运算放大器U2的输出端电流约为Ip＝Vp/R3＝I1R1(1+R4/R2)/R3，从而实现正比例电流传输。

对于负比例电流传输电路，前端电路电流几乎全部流经第一连接电阻R1，因此对于第三运算放大器U3的正输入端，其电压为V3＝I1R1，其中，第三运算放大器U3构成电压跟随器，其输出端电压即第四运算放大器U4的输入端电压V4＝V3＝I1R1，其中，第四运算放大器U4与第三电阻R5和第四电阻R7构成反相放大器，因此，第四运算放大器U4的输出端电压为Vn＝-V4R7/R5＝-V3R7/R5＝-I1R1R7/R5，由于R6>>RL，RL为负载电阻，因此第四运算放大器U4的输出端电流约为In＝Vn/R6＝-I1R1R7/R5R6，从而实现负比例电流传输。

综合以上，输出端的电流即为I＝Ip+In＝I1(R1/R3+R1R4/R2R3-R1R7/R5R6)＝I1R1/R3(1+R4/R2-R7/R5)，R1/R3(1+R4/R2-R7/R5)为电流传输比，该式中R1，R3应根据负载和前端电路内阻进行合理调整，使得R3对于负载RL应足够大，R1对于前端电路内阻足够小，以起到良好的电流传输作用，改变R4，R2，R7，R5的值即可实现比例可调的电流传输功能。

可见，电流传输器设计结构简单，便于调控电流传输比，其中R1，R3，R6可根据实际应用场景进行改变，其中，R3＝R6。

图4为第二可调权值电路结构示意图，可选地，如图4所示，第三电压跟随器包括：第五运算放大器U17，第五运算放大器U17的正输入端分别与第四连接电阻R29的一端和ReLU激活函数电路连接，第五运算放大器U17的负输入端和输出端与第二同相放大器连接。

可选地，如图4所示，第二同相放大器包括：第六运算放大器U18、第五电阻R32和第六电阻R31，第六运算放大器U18的正输入端与第五运算放大器U17的输出端连接，第六运算放大器U18的负输入端分别与第五电阻R32的一端和第六电阻R31的一端连接，第五电阻R32的另一端接地，第六电阻R31的另一端分别与第六运算放大器U18的输出端和第五连接电阻R30连接。

应理解，第二可调权值电路相当于第一可调权值电路中的正比例电流传输电路，相关说明可以参考在先说明，在此不再赘述。

图3为ReLU激活函数电路结构示意图，可选地，如图3所示，ReLU激活函数电路包括：第七运算放大器UR、增益电路A1、第七电阻Rr1、第八电阻Rr2、二极管D1、第一基准电压源V1和第二基准电压源V2，第七运算放大器UR的正输入端分别与每个第一可调权值电路的输出端和第七电阻Rr1的一端连接，第七电阻Rr1的另一端接地，第七运算放大器UR的负输入端和输出端与增益电路A1的输入端连接，增益电路A1的输出端与二极管D1的正极连接，二极管D1的负极与第八电阻Rr2的一端连接，第八电阻Rr2的另一端与第一基准电压源V1的正极连接，第一基准电压源V1的负极与第二基准电压源V2的正极连接，第二基准电压源V2的负极与第二可调权值电路的输入端连接。

应理解，对于ReLU激活函数电路，该输入电流几乎全部流经电阻Rr1，因此第七运算放大器UR的正输入端电压Vr＝IRr1，第七运算放大器UR构成电压跟随器，第七运算放大器UR的输出端电压Vr’＝Vr，Vr’经电压增益模块A1，Vr’经过增益变为Vr”＝A1Vr’，其中，A1为电压增益。

ReLU激活函数电路的主体即为二极管D1，其中二极管D1的安伏特性曲线在一定情况下可等效为ReLU函数，该安伏关系即流经二极管D1的电流与二极管D1两端电压的关系。其中通过改变第一基准电压源V1与第二基准电压源V2的值可改变ReLU函数的转折点的位置。流经二极管D1的电流最终通过第二可调权值电路传输至输出端。

需要说明的是，可根据实际情况选用不同的增益电路，其中，通过改变增益模块A1的电压增益可改变ReLU函数的线性部分的斜率。

在该神经元电路中的第二可调权值电路既可以起到隔离前级电路与后级电路的作用从而实现良好的承接前级电路电流与带载，又相当于在神经元的输出端添加了一个权值电路，该权值电路的权值相当于神经元对于刺激的响应强度。

该神经元电路的可调参数为四个权值电路的权值，ReLU激活函数电路中A1的增益，ReLU激活函数电路中第一基准电压源V1与第二基准电压源V2的电压，正比例电流传输器的传输比。

需要说明的是，ReLU激活函数电路的核心为二极管D1与电阻Rr2。ReLU激活函数电路的输出电流由传输比可调电流传输器中的电阻R29承接，由于R29对于ReLU激活函数电路的输出电阻足够小，因此可忽略，为了便于分析，假定第一基准电压源V1与第二基准电压源V2的电压设定均为零，则二极管D1与电阻Rr2作为整体的两端电压即为增益模块A1对地电压，设ReLU激活函数电路输入电流即权值电路电流之和Isum，增益模块增益为A，则A1对地电压为Isum.Rr1.A。当A1对地电压较小时，二极管D1截止，ReLU激活函数电路输出电流为零，当二极管D1导通时，二极管D1相当于一电压源，其电阻远小于Rr2，输出电流随A1对地电压线性变化，从而构成ReLU函数的线性部分，ReLU函数的转折点对应于Isum.Rr1.A的值刚好使二极管导通的点。

例如，在具体电路中，处理的电流大小为uA级，电阻Rr2为10kohm-200kohm左右，对于此处的具体电路来说，当Isum.Rr1.A的值等于Von1＝400mV时，二极管导通。

二极管两端电压略小于400mV时等效为一线性电阻，大于400mV时等效为一电压源，其值介于500mV-600mV，设该电压为一定值Von2。

综合上述分析：

Isum.Rr1.A＝Von1时为ReLU函数转折点。

[(Isum.Rr1.A)-Von2]/Rr2为ReLU激活函数电路的输出电流，应理解，仅当电路处在ReLU函数线性部分时满足此式。

介于以上两部分之间的区间即为过渡区，其足够小可忽略，使得该神经元电路的传输特性等效为ReLU函数。

如图5所示，提供了一种示例性的ReLU激活函数电路IO特性曲线示意图.

如图6所示，提供了一种示例性的ReLU激活函数转折点位置随基准电压变化关系示意图，改变第一基准电压源V1的值从而改变ReLU函数的转折点位置。

本发明还提供一种电子设备，包括如上述任意实施方式的参数可调的ReLU函数神经元电路。

在本说明书的描述中，参考术语“实施例一”、“实施例二”、“示例”、“具体示例”或“一些示例”等的描述意指结合该实施例或示例描述的具体方法、装置或者特点包含于本实用新型的至少一个实施例或示例中。

在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、方法、装置或者特点可以在任一个或多个实施例或示例中以合适的方式结合。

此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

以上所述仅为本实用新型的较佳实施例，并不用以限制本实用新型，凡在本实用新型的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本实用新型的保护范围之内。

Claims (9)

1.一种参数可调的ReLU函数神经元电路，其特征在于，包括：至少两个第一可调权值电路，以及ReLU激活函数电路和第二可调权值电路，每个所述第一可调权值电路的输出端分别与所述ReLU激活函数电路的输入端连接，所述ReLU激活函数电路的输出端与所述第二可调权值电路的输入端连接，其中：

所述第一可调权值电路包括：第一连接电阻、第二连接电阻、第三连接电阻、第一正比例电流传输电路和负比例电流传输电路，所述第一正比例电流传输电路包括第一电压跟随器和第一同相放大器，所述负比例电流传输电路包括第二电压跟随器和反相放大器，所述第一连接电阻的一端分别与所述第一电压跟随器的一端和所述第二电压跟随器的一端连接，所述第一连接电阻的另一端接地，所述第一电压跟随器的另一端与所述第一同相放大器的一端连接，所述第一同相放大器的另一端通过所述第二连接电阻与所述ReLU激活函数电路连接，所述第二电压跟随器的另一端与所述反相放大器的一端连接，所述反相放大器的另一端通过所述第三连接电阻与所述ReLU激活函数电路连接；

所述第二可调权值电路包括：第四连接电阻、第五连接电阻和第二正比例电流传输电路，所述第二正比例电流传输电路包括第三电压跟随器和第二同相放大器，所述第四连接电阻的一端与所述第三电压跟随器的一端连接，所述第四连接电阻的另一端接地，所述第三电压跟随器的另一端与所述第二同相放大器的一端连接，所述第二同相放大器的另一端通过所述第五连接电阻与负载连接。

2.根据权利要求1所述的参数可调的ReLU函数神经元电路，其特征在于，所述第一电压跟随器包括：第一运算放大器，所述第一运算放大器的正输入端与所述第一连接电阻的一端连接，所述第一运算放大器的负输入端和输出端与所述第一同相放大器连接。

3.根据权利要求2所述的参数可调的ReLU函数神经元电路，其特征在于，所述第一同相放大器包括：第二运算放大器、第一电阻和第二电阻，所述第二运算放大器的正输入端与所述第一运算放大器的输出端连接，所述第二运算放大器的负输入端分别与所述第一电阻的一端和所述第二电阻的一端连接，所述第一电阻的另一端接地，所述第二电阻的另一端分别与所述第二运算放大器的输出端和所述第二连接电阻连接。

4.根据权利要求1所述的参数可调的ReLU函数神经元电路，其特征在于，所述第二电压跟随器包括：第三运算放大器，所述第三运算放大器的正输入端与所述第一连接电阻的一端连接，所述第三运算放大器的负输入端和输出端与所述反相放大器连接。

5.根据权利要求4所述的参数可调的ReLU函数神经元电路，其特征在于，所述反相放大器包括：第四运算放大器、第三电阻和第四电阻，所述第四运算放大器的正输入端接地，所述第四运算放大器的负输入端分别与所述第三电阻的一端和所述第四电阻的一端连接，所述第三电阻的另一端与所述第三运算放大器的输出端连接，所述第四电阻的另一端分别与所述第四运算放大器的输出端和所述第三连接电阻连接。

6.根据权利要求1所述的参数可调的ReLU函数神经元电路，其特征在于，所述第三电压跟随器包括：第五运算放大器，所述第五运算放大器的正输入端分别与所述第四连接电阻的一端和所述ReLU激活函数电路连接，所述第五运算放大器的负输入端和输出端与所述第二同相放大器连接。

7.根据权利要求6所述的参数可调的ReLU函数神经元电路，其特征在于，所述第二同相放大器包括：第六运算放大器、第五电阻和第六电阻，所述第六运算放大器的正输入端与所述第五运算放大器的输出端连接，所述第六运算放大器的负输入端分别与所述第五电阻的一端和所述第六电阻的一端连接，所述第五电阻的另一端接地，所述第六电阻的另一端分别与所述第六运算放大器的输出端和所述第五连接电阻连接。

8.根据权利要求1所述的参数可调的ReLU函数神经元电路，其特征在于，所述ReLU激活函数电路包括：第七运算放大器、增益电路、第七电阻、第八电阻、二极管、第一基准电压源和第二基准电压源，所述第七运算放大器的正输入端分别与每个所述第一可调权值电路的输出端和所述第七电阻的一端连接，所述第七电阻的另一端接地，所述第七运算放大器的负输入端和输出端与所述增益电路的输入端连接，所述增益电路的输出端与所述二极管的正极连接，所述二极管的负极与所述第八电阻的一端连接，所述第八电阻的另一端与所述第一基准电压源的正极连接，所述第一基准电压源的负极与所述第二基准电压源的正极连接，所述第二基准电压源的负极与所述第二可调权值电路的输入端连接。

9.一种电子设备，其特征在于，包括如权利要求1至8中任一项所述的参数可调的ReLU函数神经元电路。

Images