CN113971458A

CN113971458A - 一种基于无乘法器实现的神经元电路

Info

Publication number: CN113971458A
Application number: CN202111191285.8A
Authority: CN
Inventors: 包伯成; 蔡建明; 徐权; 陈墨; 武花干
Original assignee: Changzhou University
Current assignee: Changzhou University
Priority date: 2021-10-13
Filing date: 2021-10-13
Publication date: 2022-01-25
Anticipated expiration: 2041-10-13
Also published as: CN113971458B

Abstract

本发明涉及神经元电路技术领域，涉及一种基于无乘法器实现的神经元电路，其特征在于：含偏置的ReLU函数模块电路、第一分段线性函数模块电路、第二分段线性函数模块电路和HR神经元模块电路，所述含偏置的ReLU函数模块电路的输出端与所述第一分段线性函数模块电路和第二分段线性函数模块电路的输入端电性连接，所述第一分段线性函数模块电路和第二分段线性函数模块电路的输出端与所述HR神经元模块电路输入端电性连接。本发明利用多段线性函数拟合HR神经元模型中的非线性项，并在模拟电路上实现拟合后的HR神经元模型，通过运放、电阻及电容组成的模拟电路，神经元实现成本大大降低。

Description

一种基于无乘法器实现的神经元电路

技术领域

本发明涉及神经元电路技术领域，尤其涉及一种基于无乘法器实现的神经元电路。

背景技术

现代人工智能的发展离不开对神经元的探索与学习，特别是人工智能神经网络，使得研究者对神经元模型的要求越来越高。神经元模型的电路需要尽可能简单的同时，能够实现神经元的相应功能。由于神经元模型中通常含有非线性项，因此乘法器在神经元模型的电路实现中是必不可少的。而乘法器价格昂贵、占用较大的硅面积资源并且耗能大，会导致神经元模型的电路实现成本大大增加。因此研究者们提出了许多无乘法器的神经元电路实现方案，主要通过构建线性函数来拟合神经元模型中的非线性项。以Hindmarsh-Rose(HR)神经元模型为例，Gomar等人提出了一种多段线性拟合方案。利用多段线性拟合函数拟合HR神经元模型中的非线性项。拟合后的HR神经元模型也在现场可编程门阵列(FPGA)上得到实现。然而相对于模拟电路而言，FPGA实现成本较高，并且不容易调试。

发明内容

本发明所要解决的技术问题是：通过含偏置的ReLU函数构建线性函数来拟合HR神经元模型中的非线性项，并通过包含运放、电阻及电容组成的模拟电路实现，使得电路模型成本大大降低。

本发明所采用的技术方案：一种基于无乘法器实现的神经元电路，包括：含偏置的ReLU函数模块电路、第一分段线性函数模块电路、第二分段线性函数模块电路和HR神经元模块电路，含偏置的ReLU函数模块电路的输出端与第一分段线性函数模块电路和第二分段线性函数模块电路的输入端电性连接，第一分段线性函数模块电路和第二分段线性函数模块电路的输出端与HR神经元模块电路输入端电性连接。

进一步的，HR神经元数学表达式如式(1)所示：

其中，变量x表示神经元的膜电压，y表示神经元的尖峰变量，也可称为恢复电流，z表示神经元的爆发变量，也可称为适应电流；常数r、s、x₁的值分别为0.01，4，1.6；F(x)和G(x)为非线性项，表达式如式(2)所示：

F(x)＝x³-3x²,G(x)＝1-5x², (2)

对于非线性项，利用分段线性函数拟合H₁(x)和H₂(x)分别拟合F(x)和G(x)，H₁(x)和H₂(x)的表达式如式(3)所示：

拟合后的可以得到HR神经元的模型表达式如式(4)所示：

根据电容的积分特性将拟合后HR神经元的模型转为HR神经元模块电路的状态方程，如(5)所示：

其中，E＝15V，并且可以通过调节电阻值R_I来改变I的值。

进一步的，含偏置的ReLU函数模块电路包括运算放大器U₁、U₂，电阻R_a、R_b、R_c、R_d、R_e，二极管D₁、D₂，直流电压V₁，电阻R_a和电阻R_b共同输出一端与运算放大器U₁反向输入端相连，运算放大器U₁反向输入端和运算放大器U₁输出端并联电阻R_c，运算放大器U₁输出端与电阻R_d串联后分别与运算放大器U₂反向输入端和电阻R_e连接，运算放大器U₁反向输入端和运算放大器U₁输出端反向串联二极管D₁，运算放大器U₂输出端与二极管D₁的共同输出端反向串联二极管D₂后与电阻R_e的连接；电阻R_a和电阻R_b分别与直流电压V₁和输入电压v_x连接；运算放大器U₁、U₂的同向输入端接地。

进一步的，第一分段线性函数模块电路包括电阻R₁、R₂、R₃、R₄、R₅、R₆、R₇、R_δ1，运算放大器U₁₁、U₁₂，电阻R₁、R₂、R₃、R₄和R_δ1共同输出一端与运算放大器U₁₁反向输入端连接，运算放大器U₁₁反向输入端还与电阻R₅串联后与运算放大器U₁₁输出端连接，运算放大器U₁₁输出端串联电阻R₆后一端与运算放大器U₁₂反向输入端连接，运算放大器U₁₂反向输入端还与电阻R₇串联后与运算放大器U₁₂输出端连接；电阻R₁、R₂、R₃、R₄分别与含偏置的ReLU函数模块电路输出端连接；运算放大器U₁₁、U₁₂的同向输入端接地。

进一步的，第二分段线性函数模块电路包括电阻R₈、R₉、R₁₀、R₁₁、R₁₂、R₁₃、R_δ2，运算放大器U₁₃、U₁₄，电阻R₈、R₉、R₁₀、R_δ2共同输出一端与运算放大器U₁₃反向输入端连接，运算放大器U₁₃反向输入端还与电阻R₁₁串联后与运算放大器U₁₃输出端连接，运算放大器U₁₃输出端与电阻R₁₂串联后一端与运算放大器U₁₄反向输入端连接，运算放大器U₁₄反向输入端与电阻R₁₃串联后与运算放大器U₁₄输出端连接；电阻R₈、R₉、R₁₀分别与含偏置的ReLU函数模块电路输出端连接；运算放大器U₁₃、U₁₄的同向输入端接地。

进一步的，HR神经元模块电路包括电阻R’₁、R’₂、R’₃、R’₄、R’₅、R’₆、R’₇、R’₈、R’₉、R’₁₀、R’₁₁、R’₁₂、R_I，电容C₁、C₂、C₃，运算放大器U₂₁、U₂₂、U₂₃、U₂₄、U₂₅，电阻R_I、R’₁、R’₂共同输出一端与运算放大器U₂₁的反相输入端连接，运算放大器U₂₁反向输入端和运算放大器U₂₁输出端并联电容C₁，电阻R’₃串联第一分段线性函数模块电路后两端分别与运算放大器U₂₁反向输入端和运算放大器U₂₁输出端连接；运算放大器U₂₁输出端串联第二分段线性函数模块电路和电阻R’₄后与运算放大器U₂₂反向输入端连接，运算放大器U₂₂反向输入端与运算放大器U₂₂输出端并联电容C₂和电阻R’₅，运算放大器U₂₂输出端串联电阻R’₆后与运算放大器U₂₃反向输入端连接，运算放大器U₂₃反向输入端和运算放大器U₂₃输出端串联电阻R’₇，运算放大器U₂₃输出端还与电阻R’₂连接；电阻R’₁还与运算放大器U₂₅输出端连接，运算放大器U₂₅输出端与运算放大器U₂₅反向输入端串联电阻R’₁₂；运算放大器U₂₅反向输入端与电阻R’₁₁串联后与运算放大器U₂₄输出端连接，运算放大器U₂₄输出端和运算放大器U₂₄反向输入端并联电阻R’₉和电容C₃，运算放大器U₂₄反向输入端还与电阻R’₈和R’₁₀连接；运算放大器U₂₁、U₂₂、U₂₃、U₂₄、U₂₅的同向输入端接地。

本发明的有益效果是：

1、构建分段线性函数拟合HR神经元模型中的非线性项；设计分段线性函数的模块电路，利用基本运算放大电路和二极管的单向导通特性，设计了一种含偏置的ReLU函数模块电路，通过叠加多个含偏置的ReLU函数模块电路以及直流电压实现分段线性函数的模块电路，最后再利用这些分段线性函数模块电路设计拟合后的HR神经元模块电路。

2、电路结构简单，实现成本较低并能完整展现HR神经元放电行为。

附图说明

图1为本发明中利用分段线性函数拟合HR神经元中非线性项的数值仿真图；

图2为本发明中平移后的分段线性函数的分解图；

图3为本发明中含偏置的ReLU函数模块电路结构图；

图4(a)为本发明中第一分段线性函数模块电路结构图，图4(b)为第二分段线性函数模块电路结构图；

图5为本发明中拟合后的HR神经元模块电路结构图；

图6(a)为本发明中第一分段线性函数模块电路的仿真结果，图6(b)为第二分段线性函数模块电路的仿真结果；

图7为本发明中拟合后的HR神经元模块电路的仿真结果。

具体实施方式

下面结合附图和实施例对本发明作进一步说明，此图为简化的示意图，仅以示意方式说明本发明的基本结构，因此其仅显示与本发明有关的构成。

一种基于无乘法器实现的神经元电路，包括：含偏置的ReLU函数模块电路、第一分段线性函数模块电路、第二分段线性函数模块电路和HR神经元模块电路，含偏置的ReLU函数模块电路的输出端与第一分段线性函数模块电路和第二分段线性函数模块电路的输入端电性连接，第一分段线性函数模块电路和第二分段线性函数模块电路的输出端与HR神经元模块电路输入端电性连接。

进一步的，HR神经元表达式如式(1)所示：

F(x)＝x³-3x²,G(x)＝1-5x², (2)

因此对于非线性项，本发明利用分段线性函数H₁(x)和H₂(x)分别拟合F(x)和G(x)，H₁(x)和H₂(x)的表达式如式(3)所示：

如图1为分段线性函数H₁(x)和H₂(x)和非线性函数F(x)和G(x)的拟合结果，可以看出分段线性函数与非线性函数的图像基本一致。

图2为平移后分段线性函数的分解图；显然平移后的分段线性函数可以由多个含有偏置的ReLU函数h(x)复合而成，其中，H₁(x)-m₁由h₁(x)、h₂(x)、h₃(x)和h₄(x)复合而成，H₂(x)-m₂由h₅(x)、h₆(x)和h₇(x)复合而成，即：

对于函数H₁(x)-m₁，当x<–1.3时，显然有k₁+k₂＝18，当–1.3<x<–0.35时，有k₂＝8，当–0.35<x<2.8时，有k₃＝–2.2，当x>2.8时，有k₃+k₄＝18；

对于函数H₂(x)-m₂，当x<–1.3时，显然有k₅+k₆＝16.2，当–1.3<x<–0.1时，有k₆＝10，当x>–0.1时，有k₇＝–9；

因此根据以上关系，h(x)的各个参量得出，如表1所示：

表1分段线性函数中各个h(x)的数值参数

拟合后的HR神经元的模型表达式如式(4)所示：

因而根据电容的积分特性可以将拟合后的HR神经元数学模型转为电路状态方程，如(5)所示：

其中，E＝15V，并且可以通过调节电阻值R_I来改变I的值。

本发明实例中，运算放大器的型号均为TL082CP、二极管的型号均为1N4001。

图3为含偏置的ReLU函数模块电路结构图，记为h(v_x)；该模块电路主要由运算放大器U₁和U₂，二极管D₁和D₂，直流电压源V₁，电阻R_a、R_b、R_c、R_d和R_e组成；h(v_x)的输入端记为a端，电阻R_a的左端连接a端的输入电压v_x，R_a右端连接运算放大器U₁的反相端，记为b端；电阻R_c的左端连接b端，R_c右端连接U₁的输出端，记为c端；电阻R_b的右端连接b端，R_b的左端连接直流电压源V₁；电阻R_d的左端连接c端，R_d的右端连接运算放大器U₂的反相端，记为d端；二极管D₁的负极和R_e的左端同时与d端连接，D₁的正极连接U₂的输出端，记为e端；二极管D₂的负极与e端连接，同时D₂的正极与电阻R_e的右端连接，记为f端，f端即为h(v_x)的输出端；运算放大器U₁和U₂的同相端接地；其中，通过改变二极管D₁和D₂的导通方向可以改变输出函数的极性，含偏置的ReLU函数模块电路的表达式为：

因此，可以通过控制电阻R_a和R_b来实现不同的h(v_x)，其中，R_c、R_d和R_e固定为10kΩ，V₁为±15V。

图4(a)为第一分段线性函数的电路结构图和图4(b)为第二分段线性函数的电路结构图；第一分段线性函数H₁(x)的电路模块H₁(v_x)主要由4个含有偏置的ReLU函数模块电路h₁(v_x)、h₂(v_x)、h₃(v_x)和h₄(v_x)，运算放大器U₁₁和U₁₂，直流电压源V，电阻R₁～R₇和R_δ1组成；运算放大器U₁的反相端记为a1端，同时电阻R₁、R₂、R₃、R₄和R_δ1的右端与a1端连接，R₁、R₂、R₃和R₄的左端分别与h₁(v_x)、h₂(v_x)、h₃(v_x)和h₄(v_x)连接；电阻R_δ1的左端与直流电压源V连接；电阻R₅的右端与运算放大器U₁₁的输出端连接，记为b1端；电阻R₆的左端与b1端连接，右端与运算放大器U₁₂的反相端连接，记为c1端；电阻R₇的左端与c1端连接，右端与运算放大器U₁₂的输出端连接，记为d1端；d1端记为第一分段线性函数模块电路H₁(v_x)的输出端。

第二分段线性函数H₂(x)的电路模块H₂(v_x)主要由3个含偏置的ReLU函数模块电路h₅(v_x)、h₆(v_x)和h₇(v_x)，运算放大器U₁₃和U₁₄，直流电压源V，电阻R₈～R₁₃和R_δ2组成；运算放大器U₁₃的反相端记为e1端，同时电阻R₈、R₉、R₁₀和R_δ2的右端与e1端连接，R₈、R₉和R₁₀的左端分别与h₅(v_x)、h₆(v_x)和h₇(v_x)连接；电阻R_δ2的左端与直流电压源V连接；电阻R₁₁的右端与运算放大器U₁₃的输出端连接，记为f1端；电阻R₁₂的左端与f1端连接，右端与运算放大器U₁₄的反相端连接，记为g1端；电阻R₁₃的左端与g1端连接，右端与运算放大器U₁₄的输出端连接，记为h1端；h1端记为第二分段线性函数模块电路H₂(v_x)的输出端；运算放大器U₁₁、U₁₂、U₁₃和U₁₄的同相端接地；其中，电阻R₁～R₁₃均为10kΩ，h₁(v_x)～h₇(v_x)中的各个阻值如表2中所示；R_δ1阻值为125kΩ，R_δ2阻值为30.364kΩ，直流电压源V为15V。

表2分段线性函数模块电路模块中各个h(v_x)的参数阻值

图5为本发明中拟合后的HR神经元模块电路结构图，主要由电阻R’₁～R’₁₂和R_I，电容C₁、C₂、C₃，运算放大器U₂₁～U₂₅，直流电压源V和第一和第二分段线性函数模块电路H₁(v_x)和H₂(v_x)组成；运算放大器U₂₁的反相端记为a2端，电阻R’₁、R’₂和R_I的右端与a2端连接，同时，电阻R’₃和电容C₁的左端与a2端连接；电阻R_I的左端与直流电压源V连接；电阻R’₁的左端与运算放大器U₂₅的输出端连接，记为j端；电阻R’₂的左端与运算放大器U₂₃的输出端连接，记为f2端；电容C₁的右端与运算放大器U₂₁的输出端连接，记为b2端；电阻R’₃的右端与第一分段线性函数模块H₁(v_x)的输出端连接；H₁(v_x)与H₂(v_x)的输入端与b2端连接；H₂(v_x)的输出端连接电阻R’₄的左端，R’₄的右端与运算放大器U₂₂的反相端连接，记为c2端；电阻R’₅和电容C₂的左端与c2端连接，R’₅和C₂的右端与U₂₂的输出端连接，记为d2端；电阻R’₆的左端与d2端连接，R’₆的右端与运算放大器U₂₃的反相端连接，记为e2端；电阻R’₇的左端与e2端连接，R’₇的右端与f2端连接；电阻R’₈的左端与k端连接，R₈的右端与运算放大器U₂₄的反相端连接，记为g2端；电阻R’₁₀的左端与直流电压源V连接，R’₁₀的右端与g2端连接；电阻R’₉和电容C₃的左端与g2端连接，电阻R’₉和C₃的右端与U₂₄的输出端连接，记为h2端；电阻R’₁₁的左端与h2端连接，右端与运算放大器U₂₅的反相端连接，记为i端；电阻R’₁₂的左端与i端连接，右端与j端连接；其中电阻R’₁～R’₇、R’₁₁和R’₁₂阻值均为10kΩ，电容C₁、C₂和C₃的容值均为33nF，电阻R’₈为250kΩ，电阻R’₉为1MΩ，电阻R’₁₀为2.343MΩ，直流电压源为15V。

图6(a)为本发明中第一分段线性函数模块电路模块和图6(b)第二分段线性函数模块电路模块的仿真结果，可以看出，电路仿真结果与图2中的数值仿真结果一致，因为运算放大器的饱和特性，H₁(v_x)的模块电路在v_x<-1.69V的范围内达到了饱和；H₂(v_x)的模块电路在v_x>1.95V和v_x<-1.7V的范围内达到了饱和。

图7为本发明中拟合后的HR神经元模块电路实现结果，可以看出，通过改变R_I的阻值，即改变公式(4)中的I值，拟合后的HR神经元模块电路能够展示出周期簇发、混沌簇发以及周期尖峰的放电行为，实验结果证明本发明的合理性，此外采用模拟电路实现神经元能够大大降低实现成本，同时能丰富地展现神经元的放电行为。

本发明有益效果为构建分段线性函数拟合HR神经元模型中的非线性项；设计分段线性函数的模块电路，利用基本运算放大电路和二极管的单向导通特性，设计了一种含偏置的ReLU函数模块电路，通过叠加多个含偏置的ReLU函数模块电路以及直流电压实现分段线性函数的模块电路，最后再利用这些分段线性函数模块电路设计拟合后的HR神经元模块电路；电路结构简单，实现成本较低并能完整展现HR神经元放电行为。

以上述依据本发明的理想实施例为启示，通过上述的说明内容，相关工作人员完全可以在不偏离本项发明技术思想的范围内，进行多样的变更以及修改。本项发明的技术性范围并不局限于说明书上的内容，必须要根据权利要求范围来确定其技术性范围。

Claims

1.一种基于无乘法器实现的神经元电路，其特征在于，包括：含偏置的ReLU函数模块电路、第一分段线性函数模块电路、第二分段线性函数模块电路和HR神经元模块电路，所述含偏置的ReLU函数模块电路的输出端与所述第一分段线性函数模块电路和所述第二分段线性函数模块电路的输入端电性连接，所述第一分段线性函数模块电路和所述第二分段线性函数模块电路的输出端与所述HR神经元模块电路输入端电性连接。

2.根据权利要求1所述的基于无乘法器实现的神经元电路，其特征在于：所述HR神经元的数学模型表达式如式(1)所示：

其中，变量x表示神经元的膜电压，y表示神经元的尖峰变量，z表示神经元的爆发变量；r、s、x₁为常数，F(x)和G(x)为非线性项，表达式如式(2)所示：

F(x)＝x³-3x²,G(x)＝1-5x², (2)

对于非线性项，利用分段线性函数H₁(x)和H₂(x)分别拟合F(x)和G(x)，H₁(x)和H₂(x)的表达式如式(3)所示：

拟合后的可以得到HR神经元的模型表达式如式(4)所示：

根据电容的积分特性将拟合后HR神经元的模型转为所述HR神经元模块电路的状态方程，如(5)所示：

其中，通过调节电阻值R_I来改变I的值。

3.根据权利要求1所述的基于无乘法器实现的神经元电路，其特征在于：所述含偏置的ReLU函数模块电路包括运算放大器U₁、U₂，电阻R_a、R_b、R_c、R_d、R_e，二极管D₁、D₂，直流电压V₁，电阻R_a和电阻R_b的共同输出一端与运算放大器U₁反向输入端相连，另一端串联电阻R_c后与运算放大器U₁输出端连接，运算放大器U₁输出端与电阻R_d串联后分别与运算放大器U₂反向输入端和电阻R_e连接，运算放大器U₁反向输入端和运算放大器U₁输出端反向串联二极管D₁，运算放大器U₂与二极管D₁的共同输出端反向串联二极管D₂后与电阻R_e的右端连接；电阻R_a和电阻R_b分别与直流电压V₁和输入电压v_x连接；运算放大器U₁、U₂的同向输入端接地。

4.根据权利要求3所述的基于无乘法器实现的神经元电路，其特征在于：所述第一分段线性函数模块电路包括电阻R₁、R₂、R₃、R₄、R₅、R₆、R₇、R_δ1，运算放大器U₁₁、U₁₂，电阻R₁、R₂、R₃、R₄和R_δ1共同输出一端与运算放大器U₁₁反向输入端连接，运算放大器U₁₁反向输入端与电阻R₅串联后与运算放大器U₁₁输出端连接，运算放大器U₁₁输出端串联电阻R₆后一端与运算放大器U₁₂反向输入端连接，运算放大器U₁₂反向输入端还与电阻R₇串联后与运算放大器U₁₂输出端连接；电阻R₁、R₂、R₃、R₄右端分别与所述含偏置的ReLU函数模块电路输出端连接；运算放大器U₁₁、U₁₂的同向输入端接地。

5.根据权利要求4所述的基于无乘法器实现的神经元电路，其特征在于：所述第二分段线性函数模块电路包括电阻R₈、R₉、R₁₀、R₁₁、R₁₂、R₁₃、R_δ2，运算放大器U₁₃、U₁₄，电阻R₈、R₉、R₁₀、R_δ2共同输出一端与运算放大器U₁₃反向输入端连接，运算放大器U₁₃反向输入端还与电阻R₁₁串联后与运算放大器U₁₃输出端连接，运算放大器U₁₃输出端与电阻R₁₂串联后一端与运算放大器U₁₄反向输入端连接，运算放大器U₁₄反向输入端与电阻R₁₃串联后与运算放大器U₁₄输出端连接；电阻R₈、R₉、R₁₀右端分别与所述含偏置的ReLU函数模块电路输出端连接；运算放大器U₁₃、U₁₄的同向输入端接地。

6.根据权利要求4或5所述的基于无乘法器实现的神经元电路，其特征在于：所述HR神经元模块电路包括电阻R’₁、R’₂、R’₃、R’₄、R’₅、R’₆、R’₇、R’₈、R’₉、R’₁₀、R’₁₁、R’₁₂、R_I，电容C₁、C₂、C₃，运算放大器U₂₁、U₂₂、U₂₃、U₂₄、U₂₅，运算放大器U₂₁反向输入端分别连接电阻R_I、R’₁、R’₂，运算放大器U₂₁反向输入端和运算放大器U₂₁输出端并联电容C₁，电阻R’₃串联所述第一分段线性函数模块电路后两端分别与运算放大器U₂₁反向输入端和运算放大器U₂₁输出端连接；运算放大器U₂₁输出端串联所述第二分段线性函数模块电路和电阻R’₄后与运算放大器U₂₂反向输入端连接，运算放大器U₂₂反向输入端与运算放大器U₂₂输出端并联电容C₂和电阻R’₅，运算放大器U₂₂输出端串联电阻R’₆后与运算放大器U₂₃反向输入端连接，运算放大器U₂₃反向输入端和运算放大器U₂₃输出端并联电阻R’₇，运算放大器U₂₃输出端还与电阻R’₂连接；电阻R’₁与运算放大器U₂₅输出端连接，运算放大器U₂₅输出端与运算放大器U₂₅反向输入端并联电阻R’₁₂；运算放大器U₂₅反向输入端与电阻R’₁₁串联后与运算放大器U₂₄输出端连接，运算放大器U₂₄输出端和运算放大器U₂₄反向输入端并联电阻R’₉和电容C₃，运算放大器U₂₄反向输入端还与电阻R’₈和R’₁₀连接；运算放大器U₂₁、U₂₂、U₂₃、U₂₄、U₂₅的同向输入端接地。