CN114528984A - 一种用于脉冲神经网络的多输入神经元电路 - Google Patents
一种用于脉冲神经网络的多输入神经元电路 Download PDFInfo
- Publication number
- CN114528984A CN114528984A CN202210042569.9A CN202210042569A CN114528984A CN 114528984 A CN114528984 A CN 114528984A CN 202210042569 A CN202210042569 A CN 202210042569A CN 114528984 A CN114528984 A CN 114528984A
- Authority
- CN
- China
- Prior art keywords
- circuit
- input
- neuron
- nmos transistor
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 210000002569 neuron Anatomy 0.000 title claims abstract description 167
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 26
- 230000036279 refractory period Effects 0.000 claims abstract description 32
- 230000002401 inhibitory effect Effects 0.000 claims abstract description 30
- 230000036982 action potential Effects 0.000 claims abstract description 27
- 230000002964 excitative effect Effects 0.000 claims abstract description 24
- 230000010354 integration Effects 0.000 claims abstract description 3
- 239000012528 membrane Substances 0.000 claims description 57
- 210000000170 cell membrane Anatomy 0.000 claims description 21
- 101100508840 Daucus carota INV3 gene Proteins 0.000 claims description 18
- 239000003990 capacitor Substances 0.000 claims description 16
- 238000012421 spiking Methods 0.000 claims description 14
- 101100286980 Daucus carota INV2 gene Proteins 0.000 claims description 12
- 101100397045 Xenopus laevis invs-b gene Proteins 0.000 claims description 12
- 101150110971 CIN7 gene Proteins 0.000 claims description 9
- 101150110298 INV1 gene Proteins 0.000 claims description 9
- 101100397044 Xenopus laevis invs-a gene Proteins 0.000 claims description 9
- 230000000284 resting effect Effects 0.000 claims description 8
- 206010001497 Agitation Diseases 0.000 claims description 6
- 230000007423 decrease Effects 0.000 claims description 5
- 230000002829 reductive effect Effects 0.000 claims description 4
- 230000004044 response Effects 0.000 abstract description 18
- 238000013461 design Methods 0.000 abstract description 9
- 230000007246 mechanism Effects 0.000 abstract description 5
- 238000000034 method Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 230000006399 behavior Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 230000001537 neural effect Effects 0.000 description 4
- 230000000737 periodic effect Effects 0.000 description 4
- 210000000225 synapse Anatomy 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000001208 nuclear magnetic resonance pulse sequence Methods 0.000 description 2
- 230000002459 sustained effect Effects 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 210000003050 axon Anatomy 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000002490 cerebral effect Effects 0.000 description 1
- 210000003618 cortical neuron Anatomy 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 238000010304 firing Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 210000002364 input neuron Anatomy 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 210000000653 nervous system Anatomy 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Neurology (AREA)
- Logic Circuits (AREA)
Abstract
本发明请求保护一种用于脉冲神经网络的多输入神经元电路，属于集成电路设计领域。该电路主要包括：输入电路、复位电路、泄露电路、状态判断电路及动作电位发生电路。本发明实现了LIF(Leaky Integrate and Fire)模型的三种动态响应模式，分别为持续脉冲(Tonic Spiking,TS)、1类兴奋性(Class 1Excitability)、积分器(Integrator)，且无需额外的数字电路辅助，而且在LIF模型的基础上加入不应期的设计，使神经元功能更贴近生物神经元工作机制。其中神经元电路输入分为了兴奋性输入和抑制性输入，且在输入端加入了多输入的设计，使神经元电路可以和多个神经元电路相连接，更贴近生物神经元之间的连接方式。
Description
技术领域
本发明属于集成电路设计技术领域，尤其涉及到一种用于脉冲神经网络的多输入神经元电路。
背景技术
人工神经网络(Artificial Neural Network)是对生物神经系统结构和功能的抽象和模拟，在信息处理和模式识别等领域发挥着重要作用。传统人工神经网络应用生物神经元的脉冲发放频率编码信息，神经元的输出一般表示为给定区间的模拟量。然而，生物神经系统对于机体内外环境的各种变化均以神经元发放脉冲序列的形式做出响应，而且越来越多的神经科学研究成果表明基于精确脉冲定时编码与处理神经信息的重要性。脉冲神经网络(Spiking Neural Network,SNN)由更具生物可解释性的脉冲神经元模型的基本单元构成，应用脉冲序列表示与处理信息，这种编码方式整合了信息的多个方面，如时间、空间、频率和相位等。脉冲神经网络作为新一代人工神经网络计算模型，与基于脉冲频率编码信息的传统人工神经网络相比，拥有更强大的计算能力，可以模拟各种神经信号和任意的连续函数，非常适合大脑神经信号的处理，是进行复杂时空信息处理的有效工具。脉冲神经网络的基本单元——脉冲神经元在某一个特定的时间点发放一个脉冲，然后通过神经元的轴突传递至下一个神经元，脉冲的大小和形状与神经元的输入无关，但是神经元发放脉冲的时间依赖于神经元的输入。
常见的脉冲神经元模型有三种：Hodgkin-Huxley(HH)模型、Izhikevich模型以及Leaky Integrate-and-Fire(LIF)模型。其中HH模型太过复杂，动态变量过多，难以分析各变量的行为以及变量之间的关系。Izhikevich模型基于动力学系统理论，声称具有与HH模型几乎同等程度的生物合理性，同时具有一定的计算简洁性，通过调整参数，可以模拟多种神经元行为。LIF模型结构简单，刻画了大脑皮层神经元的放电活动，虽然所能模拟的神经元行为受限，但其所需仿真时间短，计算效率高，适用于集成大规模神经网络。对于各种神经元模型，模型越复杂则能模拟的神经元行为越多，越能更精确地模拟生物神经元，但实现这些神经元行为需要更复杂的电路。因此，需要在生物特征丰富性和神经元电路的功耗及面积成本之间作权衡。
本发明提供一种用于脉冲神经网络的多输入神经元电路实现方法，采用LIF模型模拟神经元特性，满足LIF模型的三种动态响应模式——持续脉冲(Tonic Spiking)、1类兴奋性(Class 1Excitability)、积分器(Integrator)，且无需额外的数字电路辅助，而且在LIF模型的基础上加入不应期的设计，使神经元功能更贴近生物神经元工作机制，且不应期可调使神经元的脉冲发射频率可调，从而让神经元电路在应用时具有可调性。对于之前申请的专利——一种基于LIF(Leaky Integrate and Fire)模型的脉冲神经网络神经元电路，其输入为给定的电流源，输入状态理想，而在实际应用中，多个神经元电路之间还需通过模拟生物突触的突触电路相互连接，此专利提出的神经元电路的输入端并未与突触电路相连接，缺乏可应用性。本专利改变了神经元电路的输入方式，将电流输入改为了电压输入，能与突触电路直接匹配，且将神经元电路输入分为了兴奋性输入和抑制性输入，符合生物神经元的输入机制，并加入了多输入的设计，使神经元电路可以通过多个突触电路和多个神经元电路相连接，更贴近生物神经元之间的连接方式。
发明内容
本发明旨在解决以上现有技术的问题。提出了一种用于脉冲神经网络的多输入神经元电路。本发明的技术方案如下：
一种用于脉冲神经网络的多输入神经元电路，其包括：输入电路、复位电路、泄露电路、状态判断电路及动作电位发生电路，所述输入电路连接到复位电路的输入端，所述复位电路的输出端连接到泄露电路的输入端，所述泄露电路的输出端连接到状态判断电路的输入端，所述状态判断电路的输出端与动作电位发生电路相连；
所述输入电路包括兴奋性输入电路和抑制性输入电路，兴奋性输入电路由NMOS管M11-M1n和由PMOS管M2和PMOS管M3构成的电流镜组成，抑制性输入电路由PMOS管M41-M4n和由NMOS管M5和NMOS管M6构成的电流镜组成；其中NMOS管M11-M1n接收来自其他多个神经元的兴奋性信号，PMOS管M41-M4n接收来自其他多个神经元的抑制性信号，然后通过电流镜将输入信号转换成电流信号传递给泄露电路；
所述泄露电路采用一个NMOS管M9与电容Cmem并联，具有两种功能——当有信号输入时，电容Cmem两端的电压会储存输入信号，随输入信号增加或减小，该电压被称为膜电压Vmem；当没有信号输入时，存储的膜电压Vmem将会通过NMOS管M9进行泄露，泄露至静息电位或到下一次信号的到来；
所述状态判断电路由一个比较器构成，用于判断膜电压Vmem是否达到阈值电压，一旦膜电压Vmem超过阈值电压，则输出一个高电平信号给动作电位发生电路；
所述动作电位发生电路由反相器INV1、INV2、INV3和NMOS管M10构成，其中反相器INV1和INV2构成输出缓冲器，用于接收状态判断电路输出的信号，若是高电平信号，则整形为标准脉冲信号输出给其他电路；其中反相器INV3和NMOS管M10构成不应期电路，输出复位信号Vrst给复位电路，用于实现神经元电路的复位及不应期特性，即神经元电路在输出脉冲后，膜电压Vmem恢复至静息电位且在一段时间内不接受任何输入；
所述复位电路由PMOS管M7和NMOS管M8构成，PMOS管M7和NMOS管M8的栅极均由复位电压Vrst控制，当复位电压Vrst为低电平信号时，PMOS管M7开启，NMOS管M8关断，泄露电路可以接收来自输入电路的电流信号；当复位电压Vrst为高电平信号时，PMOS管M7关断，NMOS管M8开启，泄露电路无法接收来自输入电路的电流信号，且其积累的膜电压信号Vmem会通过NMOS管M8复位至静息电位。
进一步的，所述输入电路包括NMOS管M11-M1n、PMOS管M2和PMOS管M3、PMOS管M41-M4n、NMOS管M5和NMOS管M6，其中NMOS管M11-M1n的栅极分别连接外部兴奋性信号VinE1-VinEn，NMOS管M11-M1n的漏极连接至PMOS管M2的栅极和漏极，NMOS管M11-M1n的源极接地，PMOS管M2的栅极与PMOS管M3的栅极相连，PMOS管M2和PMOS管M3的源极连接至工作电压VDD；其中PMOS管M41-M4n的栅极分别连接外部抑制性信号VinI1-VinIn，PMOS管M41-M4n的漏极连接至NMOS管M5的栅极和漏极，PMOS管M41-M4n的源极连接至工作电压VDD，NMOS管M5的栅极与NMOS管M6的栅极相连，NMOS管M5和NMOS管M6的源极均接地，PMOS管M3的漏极与NMOS管M6的漏极连接至PMOS管M7的源极。
进一步的，所述状态判断电路包括比较器Comp，比较器Comp的负向输入端与阈值电压Vth相连，比较器Comp的输出端与反相器INV1的输入端相连；
所述状态判断电路的比较器Comp的电路包括：PMOS管N1、PMOS管N2、PMOS管N3、NMOS管N4、NMOS管N5、NMOS管N6、NMOS管N7、NMOS管N8、PMOS管N9、PMOS管N10、NMOS管N11，其中PMOS管N1的栅极连接外部偏置电压Vcomp，PMOS管N1的源极连接工作电压VDD，PMOS管N1的漏极分别连接PMOS管N2的源极、PMOS管N3的源极，PMOS管N2的栅极连接电压Vmem，PMOS管N2的漏极分别与NMOS管N4的漏极、NMOS管N4的栅极、NMOS管N5的漏极、NMOS管N6的栅极、NMOS管N11的栅极相连，PMOS管N3的栅极连接阈值电压Vth，PMOS管N3的漏极分别与NMOS管N5的栅极、NMOS管N6的漏极、NMOS管N7的漏极、NMOS管N7的栅极、NMOS管N8的栅极相连，NMOS管N4的栅极与NMOS管N4的漏极相连，NMOS管N4、NMOS管N5、NMOS管N6、NMOS管N7、NMOS管N8的源极接地，NMOS管N7的栅极与NMOS管N7的漏极相连，NMOS管N8的漏极分别与PMOS管N9的漏极、PMOS管N9的栅极相连，PMOS管N9的栅极与分别与PMOS管N9的漏极、PMOS管N10的栅极相连，PMOS管N9的源极与PMOS管N10的源极都连接到工作电压VDD，PMOS管N10的漏极与PMOS管N11的漏极相连，NMOS管N11的源极接地。
进一步的，所述复位电路包括PMOS管M7和NMOS管M8，PMOS管M7和NMOS管M8的栅极连接到复位电压Vrst，PMOS管M7和NMOS管M8的漏极相连，NMOS管M8的源极接地；
所述泄露电路包括电容Cmem和NMOS管M9，电容Cmem的一端与NMOS管M9的漏极相连并连接到PMOS管M7和NMOS管M8的漏极及比较器Comp的正向输入端，电容Cmem的另一端和NMOS管M9的源极接地，NMOS管M9的栅极连接外部偏置电压Vleak。
进一步的，所述动作电位发生电路包括反相器INV1-INV3和NMOS管M10，反相器INV1的输出端与反相器INV2和反相器INV3的输入端相连，反相器INV2的输出端输出信号Vout，输出信号Vout代表整个神经元电路的输出信号，反相器INV3的输出端输出复位信号Vrst，反相器INV3的接地端与NMOS管M10的漏极相连，NMOS管M10的栅极连接至外部偏置信号Vref，NMOS管M10的源极接地。
进一步的，膜电容Cmem充当生物神经元中细胞膜的作用，膜电压Vmem表示生物神经元中细胞膜的内外压差；比较器Comp对膜电压Vmem与阈值电压Vth的比较模拟生物神经元的激活特性，一旦细胞膜内外压差超过阈值电压，则产生动作电位传递给其他神经元；反相器INV3和NMOS管M10构成的不应期电路模拟生物神经元的不应期特性，当神经元输出一个动作电位后，细胞膜压差将立即恢复至静息电位且细胞膜在一段时间内不接受任何输入。
进一步的，所述泄露电路中的NMOS管M9处于亚阈值区，该管可通过调节外部偏置电压Vleak控制信号泄露时间常数，使泄露速率可调。
进一步的，所述动作电位发生电路中不应期电路的NMOS管M10同样处于亚阈值区，用于控制复位信号Vrst缓慢衰减，从而实现神经元电路的不应期；通过调整NMOS管M10的栅极电压Vref可以对不应期的时间长度进行调节，从而调节神经元电路输出脉冲信号的频率。
进一步的，所述LIF模型的公式表示如下所示：
其中，Vi表示神经元i的膜电位，Ci代表神经元i的膜电容，Ileak代表神经元i的泄露电流，Wij代表神经元i和神经元j之间的连接权重，sj代表神经元j输出的脉冲信号，n代表有n个神经元与神经元i相连，WijSj代表神经元i接收的来自神经元j的电流信号。如果Vi>Vth，则令si＝1，Vi＝0，如果Vi<Vth,则令si＝0。
进一步的，当兴奋性输入端输入高电平时，抑制性输入端输入高电平不产生电流，膜电压Vmem逐渐增加；当兴奋性输入端输入低电平时不产生电流，抑制性输入端输入低电平产生抑制性电流，膜电压Vmem明显减小，随着信号输入，膜电压Vmem积累到阈值电压时输出脉冲信号Vout。
本发明的优点及有益效果如下：
本发明通过提供一种用于脉冲神经网络的多输入神经元电路，对应权利要求9中提出的LIF模型公式，所述神经元电路实现了LIF模型的三种动态响应模式——持续脉冲(Tonic Spiking)、1类兴奋性(Class 1Excitability)、积分器(Integrator)，且无需额外的数字电路辅助。对应权力要求3，神经元的状态判断电路采用一个迟滞比较器代替传统反相器对膜电压进行判断，相比反相器其判断精度更高且功耗更低。对应权利要求6，采用电容充当生物神经元中细胞膜的作用，既能存储电荷表现生物神经元积累电势差的过程，又能提供电荷通过泄露电阻进行泄露，体现在没有刺激输入时生物神经元细胞膜内外电势差衰减的过程。对应权利要求7，所述泄露电路采用亚阈值区MOS管实现泄露电阻使神经元膜电压泄露速率可调，进一步可对神经元的脉冲发射频率进行调节。对应权利要求8，所述神经元电路在LIF模型的基础上加入不应期的设计，更贴近生物神经元工作机制，且不应期可调也使神经元的脉冲发射频率可调，不应期和泄露速率的可调性使神经元电路在实际应用中具有可调性。对应权利要求10，神经元电路输入端加入了兴奋性输入和抑制性输入的设计，体现了生物神经元接受不同刺激时细胞膜内外电势差的变化，且在输入端加入了多输入的设计，使神经元电路可以和多个神经元电路相连接，也更贴近生物神经元之间的连接方式。
附图说明
图1是本发明提供优选实施例的多输入神经元电路示意图；
图2为本发明提供优选实施例的多输入神经元电路中状态判断电路中的比较器的电路示意图；
图3为本发明提供优选实施例的多输入神经元电路的持续脉冲动态响应模式的示意图；
图4为本发明提供优选实施例的多输入神经元电路的1类兴奋性动态响应模式的示意图；
图5为本发明提供优选实施例的多输入神经元电路的积分器动态响应模式的示意图；
图6为本发明提供优选实施例的多输入神经元电路在输入抑制性信号时输出脉冲的示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、详细地描述。所描述的实施例仅仅是本发明的一部分实施例。
本发明解决上述技术问题的技术方案是：
本申请实施例中多输入神经元电路采用多个MOS管并联再连接到电流镜的方式分别实现兴奋性输入和抑制性输入，并联的多个MOS管用于接收来自其他神经元发射的脉冲经过权重调节后的电压信号；采用电容充当细胞膜功能，体现膜电压的变化过程，在有兴奋性信号输入时膜电压积累，在没有信号输入时通过由亚阈值区MOS管充当的泄露电阻泄露；采用比较器和输出缓冲器结合的方式实现生物神经元细胞膜发射动作电位的机制，当膜电压达到阈值电压则发射脉冲信号；采用在反相器接地端连接一个亚阈值区MOS管的方式控制复位信号的高电平维持时间，从而控制复位电路实现不应期，实现生物神经元的不应期也行并使不应期可控更满足实际应用时需要的多种工作条件。
为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式，对上述技术方案进行详细说明。
实施例
如图1所示，一种用于脉冲神经网络的多输入神经元电路，其包括：输入电路、复位电路、泄露电路、状态判断电路及动作电位发生电路，所述输入电路连接到复位电路的输入端，所述复位电路的输出端连接到泄露电路，泄露电路连接到状态判断电路的输入端，状态判断电路的输出端与动作电位发生电路相连。
所述输入电路包括兴奋性输入电路和抑制性输入电路，兴奋性输入端和抑制性输入端都有多个MOS管接收外部输入，用于连接其他多个神经元；所述泄露电路用于表示细胞膜内外压差变化，当有信号输入时，膜电压随输入信号增加或减小，当没有信号输入时，膜电压从泄露电阻进行泄露；所述状态判断电路用于判断膜电压是否达到阈值电压，一旦膜电压达到阈值电压则输出高电平；所述动作电位发生电路用于产生脉冲输出信号以及复位信号；所述复位电路用于实现膜电压复位以及神经元电路的不应期特性。
兴奋性输入电路由NMOS管M11-M1n和由PMOS管M2和PMOS管M3构成的电流镜组成，抑制性输入电路由PMOS管M41-M4n和由NMOS管M5和NMOS管M6构成的电流镜组成。其中NMOS管M11-M1n接收来自其他多个神经元的兴奋性信号，PMOS管M41-M4n接收来自其他多个神经元的抑制性信号，然后通过电流镜将输入信号转换成电流信号传递给泄露电路。
所述泄露电路采用一个NMOS管M9与电容Cmem并联，具有两种功能——当有信号输入时，电容Cmem两端的电压会储存输入信号，随输入信号增加或减小，该电压被称为膜电压Vmem；当没有信号输入时，存储的膜电压Vmem将会通过NMOS管M9进行泄露，泄露至静息电位或到下一次信号的到来。
所述状态判断电路由一个比较器构成，用于判断膜电压Vmem是否达到阈值电压，一旦膜电压Vmem超过阈值电压，则输出一个高电平信号给动作电位发生电路。
所述动作电位发生电路由反相器INV1、INV2、INV3和NMOS管M10构成。其中反相器INV1和INV2构成输出缓冲器，用于接收状态判断电路输出的信号，若是高电平信号，则整形为标准脉冲信号输出给其他电路。其中反相器INV3和NMOS管M10构成不应期电路，输出复位信号Vrst给复位电路，用于实现神经元电路的复位及不应期特性，即神经元电路在输出脉冲后，膜电压Vmem恢复至静息电位且在一段时间内不接受任何输入。
所述复位电路由PMOS管M7和NMOS管M8构成，PMOS管M7和NMOS管M8的栅极均由复位电压Vrst控制，当复位电压Vrst为低电平信号时，PMOS管M7开启，NMOS管M8关断，泄露电路可以接收来自输入电路的电流信号；当复位电压Vrst为高电平信号时，PMOS管M7关断，NMOS管M8开启，泄露电路无法接收来自输入电路的电流信号，且其积累的膜电压信号Vmem会通过NMOS管M8复位至静息电位。
优选的，所述输入电路包括NMOS管M11-M1n、PMOS管M2和PMOS管M3、PMOS管M41-M4n、NMOS管M5和NMOS管M6，其中NMOS管M11-M1n的栅极分别连接外部兴奋性信号VinE1-VinEn，NMOS管M11-M1n的漏极连接至PMOS管M2的栅极和漏极，NMOS管M11-M1n的源极接地，PMOS管M2的栅极与PMOS管M3的栅极相连，PMOS管M2和PMOS管M3的源极连接至工作电压VDD；其中PMOS管M41-M4n的栅极分别连接外部抑制性信号VinI1-VinIn，PMOS管M41-M4n的漏极连接至NMOS管M5的栅极和漏极，PMOS管M41-M4n的源极连接至工作电压VDD，NMOS管M5的栅极与NMOS管M6的栅极相连，NMOS管M5和NMOS管M6的源极均接地，PMOS管M3的漏极与NMOS管M6的漏极连接至PMOS管M7的源极。
所述复位电路包括PMOS管M7和NMOS管M8，PMOS管M7和NMOS管M8的栅极连接到复位电压Vrst，PMOS管M7和NMOS管M8的漏极相连，NMOS管M8的源极接地。
所述泄露电路包括电容Cmem和NMOS管M9，电容Cmem的一端与NMOS管M9的漏极相连并连接到PMOS管M7和NMOS管M8的漏极及比较器Comp的正向输入端，电容Cmem的另一端和NMOS管M9的源极接地，NMOS管M9的栅极连接外部偏置电压Vleak。
所述状态判断电路包括比较器Comp，比较器Comp的负向输入端与阈值电压Vth相连，比较器Comp的输出端与反相器INV1的输入端相连。
所述动作电位发生电路包括反相器INV1-INV3和NMOS管M10，反相器INV1的输出端与反相器INV2和反相器INV3的输入端相连，反相器INV2的输出端输出信号Vout，输出信号Vout代表整个神经元电路的输出信号，反相器INV3的输出端输出复位信号Vrst，反相器INV3的接地端与NMOS管M10的漏极相连，NMOS管M10的栅极连接至外部偏置信号Vref，NMOS管M10的源极接地。
优选的，所述状态判断电路的比较器Comp的电路包括：PMOS管N1、PMOS管N2、PMOS管N3、NMOS管N4、NMOS管N5、NMOS管N6、NMOS管N7、NMOS管N8、PMOS管N9、PMOS管N10、NMOS管N11，其中PMOS管N1的栅极连接外部偏置电压Vcomp，PMOS管N1的源极连接工作电压VDD，PMOS管N1的漏极分别连接PMOS管N2的源极、PMOS管N3的源极，PMOS管N2的栅极连接电压Vmem，PMOS管N2的漏极分别与NMOS管N4的漏极、NMOS管N4的栅极、NMOS管N5的漏极、NMOS管N6的栅极、NMOS管N11的栅极相连，PMOS管N3的栅极连接阈值电压Vth，PMOS管N3的漏极分别与NMOS管N5的栅极、NMOS管N6的漏极、NMOS管N7的漏极、NMOS管N7的栅极、NMOS管N8的栅极相连，NMOS管N4的栅极与NMOS管N4的漏极相连，NMOS管N4、NMOS管N5、NMOS管N6、NMOS管N7、NMOS管N8的源极接地，NMOS管N7的栅极与NMOS管N7的漏极相连，NMOS管N8的漏极分别与PMOS管N9的漏极、PMOS管N9的栅极相连，PMOS管N9的栅极与分别与PMOS管N9的漏极、PMOS管N10的栅极相连，PMOS管N9的源极与PMOS管N10的源极都连接到工作电压VDD，PMOS管N10的漏极与PMOS管N11的漏极相连，NMOS管N11的源极接地。
优选的，神经元电路同时具有兴奋性输入和抑制性输入，且多输入的设计更符合生物神经元与多个神经元相互连接的特性。膜电容Cmem充当生物神经元中细胞膜的作用，膜电压Vmem表示生物神经元中细胞膜的内外压差。比较器Comp对膜电压Vmem与阈值电压Vth的比较模拟生物神经元的激活特性，一旦细胞膜内外压差超过阈值电压，则产生动作电位传递给其他神经元。反相器INV3和NMOS管M10构成的不应期电路模拟生物神经元的不应期特性，当神经元输出一个动作电位后，细胞膜压差将立即恢复至静息电位且细胞膜在一段时间内不接受任何输入。
优选的，LIF模型的公式表示如下所示：
其中，Vi表示神经元i的膜电位，Ci代表神经元i的膜电容，Ileak代表神经元i的泄露电流，Wij代表神经元i和神经元j之间的连接权重，sj代表神经元j输出的脉冲信号，n代表有n个神经元与神经元i相连，WijSj代表神经元i接收的来自神经元j的电流信号。如果Vi>Vth，则令si＝1，Vi＝0，如果Vi<Vth,则令si＝0。
优选的，所述泄露电路中的NMOS管M9处于亚阈值区，该管可通过调节外部偏置电压Vleak控制信号泄露时间常数，使泄露速率可调。
优选的，所述动作电位发生电路中不应期电路的NMOS管M10同样处于亚阈值区，用于控制复位信号Vrst缓慢衰减，从而实现神经元电路的不应期。通过调整NMOS管M10的栅极电压Vref可以对不应期的时间长度进行调节，从而调节神经元电路输出脉冲信号的频率。
图2所示的是多输入神经元电路中状态判断电路中的比较器电路结构示意图，该比较器为一个迟滞比较器，比较器中的NMOS管N1接收外部偏置电压Vcomp，比较器中的NMOS管N2为比较器的正向输入端，接收来自泄露电路的膜电压Vmem，比较器中的PMOS管N3为比较器的负向输入端，接收阈值电压Vth。该比较器通过判断膜电压Vmem与阈值电压Vth大小产生高电平信号，用于产生脉冲信号。
图3所示的是多输入神经元电路的持续脉冲(Tonic Spiking,TS)动态响应模式，TS动态响应模式属于LIF模型能够实现的三种动态响应模式的第一种，当给神经元电路输入一个直流电压信号时，神经元电路持续输出脉冲。为了只体现TS动态响应模式，神经元电路的兴奋性输入端输入了一个200mV的电压信号，抑制性输入端输入工作电压VDD，抑制性输入端不产生电流。当给神经元电路持续性输入信号时，泄漏电路不断积累膜电压，膜电压一达到阈值电压就通过状态判断电路和动作电位发生电路产生脉冲信号Vout和复位信号，复位信号使复位电路对膜电压进行复位及进入不应期，直到复位信号衰减至低电平则神经元电路再一次开始积累膜电压，进入下一个周期循环。
图4所示的是多输入神经元电路的1类兴奋性(Class 1Excitability)动态响应模式，CS动态响应模式属于LIF模型能够实现的三种动态响应模式的第二种，神经元电路输出脉冲的频率与输入信号呈正比，输入电压越大，输出脉冲频率则越高。为了体现CS动态响应模式，神经元电路的兴奋性输入端输入了一个正弦信号，抑制性输入端输入工作电压VDD，抑制性输入端不产生电流。从图4中可以看出，随着输入信号电压值增加，输出脉冲Vout的频率逐渐增加，随着输入信号电压值减小，输出脉冲Vout的频率逐渐减小，在输入正弦信号的峰值区域，输出脉冲Vout的频率最高，随输入正弦信号峰值往两边扩散，输出脉冲Vout的频率逐渐减小直至电流过小无法驱动膜电容。
图5所示的是多输入神经元电路的积分器(Integrator)动态响应模式，Integrator动态响应模式属于LIF模型能够实现的三种动态响应模式的第三种，当给神经元电路输入周期性脉冲信号时，膜电压会随每一次输入脉冲信号的到来增加，若没有信号输入，膜电压会随泄露电流缓慢衰减，直到膜电压累积超过阈值电压，则输出一个脉冲信号。为了体现Integrator动态响应模式，神经元电路的兴奋性输入端输入了一个周期性方波信号，方波信号的高电平为200mV，方波信号的低电平为0V，抑制性输入端输入工作电压VDD，抑制性输入端不产生电流。当输入方波信号为高电平时，膜电压Vmem逐渐增加，当输入方波信号为低电平时，膜电压Vmem缓慢衰减，直至膜电压Vmem积累到阈值电压时输出脉冲信号Vout。
图6所示的是在神经元输入电路的抑制性输入端输入抑制性信号时输出脉冲的示意图。在神经元电路兴奋性输入端输入一个高电平为300mV，低电平为0V的周期性方波信号，在抑制性输入端输入一个高电平为1.2V，低电平为1V的周期性方波信号，两个信号周期相同。当兴奋性输入端输入高电平时，抑制性输入端输入高电平不产生电流，膜电压Vmem逐渐增加；当兴奋性输入端输入低电平时不产生电流，抑制性输入端输入低电平产生抑制性电流，膜电压Vmem明显减小，随信号输入，膜电压Vmem积累到阈值电压时输出脉冲信号Vout。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。
Claims (10)
1.一种用于脉冲神经网络的多输入神经元电路，其特征在于，包括：输入电路、复位电路、泄露电路、状态判断电路及动作电位发生电路，所述输入电路连接到复位电路的输入端，所述复位电路的输出端连接到泄露电路的输入端，所述泄露电路的输出端连接到状态判断电路的输入端，所述状态判断电路的输出端与动作电位发生电路相连；
所述输入电路包括兴奋性输入电路和抑制性输入电路，兴奋性输入电路由NMOS管M11-M1n和由PMOS管M2和PMOS管M3构成的电流镜组成，抑制性输入电路由PMOS管M41-M4n和由NMOS管M5和NMOS管M6构成的电流镜组成；其中NMOS管M11-M1n接收来自其他多个神经元的兴奋性信号，PMOS管M41-M4n接收来自其他多个神经元的抑制性信号，然后通过电流镜将输入信号转换成电流信号传递给泄露电路；
所述泄露电路采用一个NMOS管M9与电容Cmem并联，具有两种功能——当有信号输入时，电容Cmem两端的电压会储存输入信号，随输入信号增加或减小，该电压被称为膜电压Vmem；当没有信号输入时，存储的膜电压Vmem将会通过NMOS管M9进行泄露，泄露至静息电位或到下一次信号的到来；
所述状态判断电路由一个比较器构成，用于判断膜电压Vmem是否达到阈值电压，一旦膜电压Vmem超过阈值电压，则输出一个高电平信号给动作电位发生电路；
所述动作电位发生电路由反相器INV1、INV2、INV3和NMOS管M10构成，其中反相器INV1和INV2构成输出缓冲器，用于接收状态判断电路输出的信号，若是高电平信号，则整形为标准脉冲信号输出给其他电路；其中反相器INV3和NMOS管M10构成不应期电路，输出复位信号Vrst给复位电路，用于实现神经元电路的复位及不应期特性，即神经元电路在输出脉冲后，膜电压Vmem恢复至静息电位且在一段时间内不接受任何输入；
所述复位电路由PMOS管M7和NMOS管M8构成，PMOS管M7和NMOS管M8的栅极均由复位电压Vrst控制，当复位电压Vrst为低电平信号时，PMOS管M7开启，NMOS管M8关断，泄露电路可以接收来自输入电路的电流信号；当复位电压Vrst为高电平信号时，PMOS管M7关断，NMOS管M8开启，泄露电路无法接收来自输入电路的电流信号，且其积累的膜电压信号Vmem会通过NMOS管M8复位至静息电位。
2.根据权利要求1所述的一种用于脉冲神经网络的多输入神经元电路，其特征在于，所述输入电路包括NMOS管M11-M1n、PMOS管M2和PMOS管M3、PMOS管M41-M4n、NMOS管M5和NMOS管M6，其中NMOS管M11-M1n的栅极分别连接外部兴奋性信号VinE1-VinEn，NMOS管M11-M1n的漏极连接至PMOS管M2的栅极和漏极，NMOS管M11-M1n的源极接地，PMOS管M2的栅极与PMOS管M3的栅极相连，PMOS管M2和PMOS管M3的源极连接至工作电压VDD；其中PMOS管M41-M4n的栅极分别连接外部抑制性信号VinI1-VinIn，PMOS管M41-M4n的漏极连接至NMOS管M5的栅极和漏极，PMOS管M41-M4n的源极连接至工作电压VDD，NMOS管M5的栅极与NMOS管M6的栅极相连，NMOS管M5和NMOS管M6的源极均接地，PMOS管M3的漏极与NMOS管M6的漏极连接至PMOS管M7的源极。
3.根据权利要求1所述的一种用于脉冲神经网络的多输入神经元电路，其特征在于，所述状态判断电路包括比较器Comp，比较器Comp的负向输入端与阈值电压Vth相连，比较器Comp的输出端与反相器INV1的输入端相连；
所述状态判断电路的比较器Comp的电路包括：PMOS管N1、PMOS管N2、PMOS管N3、NMOS管N4、NMOS管N5、NMOS管N6、NMOS管N7、NMOS管N8、PMOS管N9、PMOS管N10、NMOS管N11，其中PMOS管N1的栅极连接外部偏置电压Vcomp，PMOS管N1的源极连接工作电压VDD，PMOS管N1的漏极分别连接PMOS管N2的源极、PMOS管N3的源极，PMOS管N2的栅极连接电压Vmem，PMOS管N2的漏极分别与NMOS管N4的漏极、NMOS管N4的栅极、NMOS管N5的漏极、NMOS管N6的栅极、NMOS管N11的栅极相连，PMOS管N3的栅极连接阈值电压Vth，PMOS管N3的漏极分别与NMOS管N5的栅极、NMOS管N6的漏极、NMOS管N7的漏极、NMOS管N7的栅极、NMOS管N8的栅极相连，NMOS管N4的栅极与NMOS管N4的漏极相连，NMOS管N4、NMOS管N5、NMOS管N6、NMOS管N7、NMOS管N8的源极接地，NMOS管N7的栅极与NMOS管N7的漏极相连，NMOS管N8的漏极分别与PMOS管N9的漏极、PMOS管N9的栅极相连，PMOS管N9的栅极与分别与PMOS管N9的漏极、PMOS管N10的栅极相连，PMOS管N9的源极与PMOS管N10的源极都连接到工作电压VDD，PMOS管N10的漏极与PMOS管N11的漏极相连，NMOS管N11的源极接地。
4.根据权利要求1所述的一种用于脉冲神经网络的多输入神经元电路，其特征在于，所述复位电路包括PMOS管M7和NMOS管M8，PMOS管M7和NMOS管M8的栅极连接到复位电压Vrst，PMOS管M7和NMOS管M8的漏极相连，NMOS管M8的源极接地；
所述泄露电路包括电容Cmem和NMOS管M9，电容Cmem的一端与NMOS管M9的漏极相连并连接到PMOS管M7和NMOS管M8的漏极及比较器Comp的正向输入端，电容Cmem的另一端和NMOS管M9的源极接地，NMOS管M9的栅极连接外部偏置电压Vleak。
5.根据权利要求1所述的一种用于脉冲神经网络的多输入神经元电路，其特征在于，所述动作电位发生电路包括反相器INV1-INV3和NMOS管M10，反相器INV1的输出端与反相器INV2和反相器INV3的输入端相连，反相器INV2的输出端输出信号Vout，输出信号Vout代表整个神经元电路的输出信号，反相器INV3的输出端输出复位信号Vrst，反相器INV3的接地端与NMOS管M10的漏极相连，NMOS管M10的栅极连接至外部偏置信号Vref，NMOS管M10的源极接地。
6.根据权利要求1所述的一种用于脉冲神经网络的多输入神经元电路，其特征在于，膜电容Cmem充当生物神经元中细胞膜的作用，膜电压Vmem表示生物神经元中细胞膜的内外压差；比较器Comp对膜电压Vmem与阈值电压Vth的比较模拟生物神经元的激活特性，一旦细胞膜内外压差超过阈值电压，则产生动作电位传递给其他神经元；反相器INV3和NMOS管M10构成的不应期电路模拟生物神经元的不应期特性，当神经元输出一个动作电位后，细胞膜压差将立即恢复至静息电位且细胞膜在一段时间内不接受任何输入。
7.根据权利要求4所述的一种用于脉冲神经网络的多输入神经元电路，其特征在于，所述泄露电路中的NMOS管M9处于亚阈值区，该管可通过调节外部偏置电压Vleak控制信号泄露时间常数，使泄露速率可调。
8.根据权利要求5所述的一种用于脉冲神经网络的多输入神经元电路，其特征在于，所述动作电位发生电路中不应期电路的NMOS管M10同样处于亚阈值区，用于控制复位信号Vrst缓慢衰减，从而实现神经元电路的不应期；通过调整NMOS管M10的栅极电压Vref可以对不应期的时间长度进行调节，从而调节神经元电路输出脉冲信号的频率。
9.根据权利要求1-8任一项所述的一种用于脉冲神经网络的多输入神经元电路，其特征在于，所述神经元电路所采用的模型为LIF(Leaky Integrate and Fire)模型，其公式表示如下所示：
其中，Vi表示神经元i的膜电位，Ci代表神经元i的膜电容，Ileak代表神经元i的泄露电流，Wij代表神经元i和神经元j之间的连接权重，sj代表神经元j输出的脉冲信号，n代表有n个神经元与神经元i相连，WijSj代表神经元i接收的来自神经元j的电流信号。如果Vi>Vth，则令si＝1，Vi＝0，如果Vi<Vth,则令si＝0。
10.根据权利要求1-8任一项所述的一种用于脉冲神经网络的多输入神经元电路，其特征在于，当兴奋性输入端输入高电平时，抑制性输入端输入高电平不产生电流，膜电压Vmem逐渐增加；当兴奋性输入端输入低电平时不产生电流，抑制性输入端输入低电平产生抑制性电流，膜电压Vmem明显减小，随着信号输入，膜电压Vmem积累到阈值电压时输出脉冲信号Vout。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210042569.9A CN114528984A (zh) | 2022-01-14 | 2022-01-14 | 一种用于脉冲神经网络的多输入神经元电路 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210042569.9A CN114528984A (zh) | 2022-01-14 | 2022-01-14 | 一种用于脉冲神经网络的多输入神经元电路 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114528984A true CN114528984A (zh) | 2022-05-24 |
Family
ID=81620557
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210042569.9A Pending CN114528984A (zh) | 2022-01-14 | 2022-01-14 | 一种用于脉冲神经网络的多输入神经元电路 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114528984A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114970829A (zh) * | 2022-06-08 | 2022-08-30 | 中国电信股份有限公司 | 脉冲信号处理方法、装置、设备及存储 |
| CN116663631A (zh) * | 2023-07-28 | 2023-08-29 | 之江实验室 | 一种任务执行的方法、装置、存储介质及电子设备 |
-
2022
- 2022-01-14 CN CN202210042569.9A patent/CN114528984A/zh active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114970829A (zh) * | 2022-06-08 | 2022-08-30 | 中国电信股份有限公司 | 脉冲信号处理方法、装置、设备及存储 |
| CN114970829B (zh) * | 2022-06-08 | 2023-11-17 | 中国电信股份有限公司 | 脉冲信号处理方法、装置、设备及存储 |
| CN116663631A (zh) * | 2023-07-28 | 2023-08-29 | 之江实验室 | 一种任务执行的方法、装置、存储介质及电子设备 |
| CN116663631B (zh) * | 2023-07-28 | 2024-05-14 | 之江实验室 | 一种任务执行的方法、装置、存储介质及电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102230784B1 (ko) | Stdp 동작을 위한 시냅스 회로 및 시냅스 회로를 포함하는 뉴로모픽 시스템 | |
| Indiveri et al. | A VLSI array of low-power spiking neurons and bistable synapses with spike-timing dependent plasticity | |
| CN102610274B (zh) | 一种阻变突触权值调整电路 | |
| KR101793011B1 (ko) | 스파이킹 네트워크들의 효율적인 하드웨어 구현 | |
| CN114528984A (zh) | 一种用于脉冲神经网络的多输入神经元电路 | |
| US11334787B2 (en) | Neuron circuit | |
| US9417845B2 (en) | Method and apparatus for producing programmable probability distribution function of pseudo-random numbers | |
| JP2016538632A (ja) | 教師あり学習を使用してクラスにタグ付けするための方法および装置 | |
| CN113313240B (zh) | 计算设备及电子设备 | |
| CN110210613B (zh) | 一种基于强化学习的脉冲神经网络模拟电路 | |
| JP2013534018A (ja) | 離散順位シナプス及び確率的なｓｔｄｐによるデジタル神経処理のための方法及びシステム | |
| JP2013534018A5 (zh) | ||
| Huayaney et al. | Learning in silicon beyond STDP: a neuromorphic implementation of multi-factor synaptic plasticity with calcium-based dynamics | |
| CN112465134B (zh) | 一种基于lif模型的脉冲神经网络神经元电路 | |
| Zhang et al. | A multi-functional memristive Pavlov associative memory circuit based on neural mechanisms | |
| KR101782760B1 (ko) | 시냅스 지연의 동적 할당 및 검사 | |
| US11586887B2 (en) | Neural network apparatus | |
| Fang et al. | Neuromorphic algorithm-hardware codesign for temporal pattern learning | |
| Zhang et al. | The framework and memristive circuit design for multisensory mutual associative memory networks | |
| Donahue et al. | Design and analysis of neuromemristive echo state networks with limited-precision synapses | |
| US9449272B2 (en) | Doppler effect processing in a neural network model | |
| Rossello et al. | Chaos-based mixed signal implementation of spiking neurons | |
| CN113110040A (zh) | 一种基于stdp学习规则的突触电路 | |
| CN115879518A (zh) | 一种基于ai芯片的任务处理方法和装置 | |
| Zohora et al. | Memristor-CMOS hybrid implementation of leaky integrate and fire neuron model |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20240205 Address after: 210000 Room 201, 8 / F, building a, qiaomengyuan, Nanjing, Jiangsu Province, No. 100, Tianjiao Road, Qilin science and Technology Innovation Park, Nanjing, Jiangsu Province Applicant after: Nanjing Modular Smart Chip Microelectronics Technology Co.,Ltd. Country or region after: China Address before: 400065 Chongwen Road, Nanshan Street, Nanan District, Chongqing Applicant before: CHONGQING University OF POSTS AND TELECOMMUNICATIONS Country or region before: China |