CN113673674A - 一种基于cmos的模拟脉冲神经元电路 - Google Patents

一种基于cmos的模拟脉冲神经元电路 Download PDF

Info

Publication number
CN113673674A
CN113673674A CN202110906759.6A CN202110906759A CN113673674A CN 113673674 A CN113673674 A CN 113673674A CN 202110906759 A CN202110906759 A CN 202110906759A CN 113673674 A CN113673674 A CN 113673674A
Authority
CN
China
Prior art keywords
voltage
module
integral
circuit
threshold value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110906759.6A
Other languages
English (en)
Inventor
虞致国
刘彦航
顾晓峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangnan University
Original Assignee
Jiangnan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangnan University filed Critical Jiangnan University
Priority to CN202110906759.6A priority Critical patent/CN113673674A/zh
Publication of CN113673674A publication Critical patent/CN113673674A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Neurology (AREA)
  • Analogue/Digital Conversion (AREA)

Abstract

本发明公开了一种基于模拟脉冲的神经元电路，属于集成电路技术领域。所述电路包括：积分累加模块、阈值发放模块以及电压泄放模块；积分累加模块、阈值发放模块和电压泄放模块依次相互连接，所述电压泄放模块在每次神经元发放脉冲后将积分电压泄放一个固定值。本申请提出的神经元电路可以防止出现输入信息丢失的情况，最大限度的保证输入信息的完整性和神经网络的工作精度；各模块均只用了少数的MOS管以及电容电阻器件就实现了神经元的基本功能，外部输入控制信号较少，所使用的器件功耗低，便于植入式应用或便携式应用；同一个基准源可同时为多个神经元提供泄放电流，有利于神经网络超大规模方向发展的趋势。

Description

一种基于CMOS的模拟脉冲神经元电路
技术领域
本发明涉及一种基于CMOS的模拟脉冲神经元电路，属于集成电路技术领域。
背景技术
存算一体神经网络技术已经应用于广阔的人工智能应用场景中，例如，图像识别、图像处理等领域，被认为是解决冯诺依曼架构中存储墙问题的最有效途径，其中主要包括卷积神经网络(Convolutional Neural Networks,CNN)、脉冲神经网络(Spiking NeuralNetwork,SNN)、脉冲卷积神经网络(Spiking Convolutional Neural Networks,SCNN)等。
在基于脉冲的神经网络中，阵列间的数据传输是利用神经元(neuron)电路产生的脉冲(spike)实现的，取代了传统的卷积神经网络中利用大量的ADC(模数转换器)将阵列的模拟输出转换成数字输出进行阵列间传递的数据传输方式，神经元的工作过程如图1所示，输入数据通过存算阵列转换为输出电流IOUT，再通过积分累加电路转换为积分电压VOUT，在积分结束后，通过比较器与外部输入参考电压VTH进行比较，如果VOUT达到VTH，那么比较器输出为高电平，发放脉冲，然后将积分电压泄放到地，等待下一个积分阶段，如果VOUT未超过比较器参考电压VTH，那么比较器输出为低电平，积分电压处于保持状态。
在一个积分周期结束时，积分电压可能有两种状态：一、积分电压VOUT＜VTH，比较器进入比较阶段后输出并不会翻转，积分电压保持状态，二、积分电压VOUT≥VTH，比较器进入比较阶段后输出脉冲，脉冲宽度与比较阶段宽度相同，然后将积分电压泄放到零。
从上述神经元的工作过程可以看出，脉冲的发放频率与输入数据密切相关，脉冲的丢失也就意味着输入数据的丢失。若积分周期后，VOUT稍高于VTH时，那么即使电压泄放到零，也不会存在信息的大量丢失。但是，若VOUT远远高于VTH，此时将电压泄放到零会造成电压的过度泄放，进而造成信息的丢失。
还存在一种极限情况，在某一个积分周期结束时，VOUT稍稍低于VTH，此时神经元不会输出脉冲。而在下一个积分周期中IOUT为满量程输出，那么在这个积分周期结束时，VOUT≈2VTH，若此时仍然将积分电压泄放到零，那么将会造成将近一个满量程信息的丢失，并且随着数据的不断输入，这种丢失信息的情况会越来越多，进而影响整个神经网络的工作精度。
发明内容
为了保证输入信息的完整性，提高神经网络的工作精度，本发明提供了一种基于模拟脉冲的神经元电路，所述电路包括：积分累加模块、阈值发放模块以及电压泄放模块。
所述积分累加模块、所述阈值发放模块和所述电压泄放模块依次相互连接。
所述积分累加模块将输入电流进行积分累加转化成积分电压，并将积分电压发送至阈值发放模块；所述阈值发放模块将积分电压与阈值电压进行比较，若积分电压高于阈值电压，则发放脉冲信号，若积分电压小于阈值电压，则不发放脉冲信号，积分电压处于保持状态；所述电压泄放模块在每次神经元发放脉冲后将积分电压泄放一个固定值。
可选的，所述积分累加模块包括积分开关、积分电容和复位开关；所述积分开关一端接输入电流，另一端与所述积分电容上级板相连，所述积分电容下极板接地，所述复位开关与所述积分电容并联。
可选的，所述阈值发放模块包括比较器；所述比较器的正输入端与所述积分累加模块中积分电容上级板相连，反向输入端接外部输入电压作为神经元脉冲发放阈值。
可选的，所述电压泄放模块包括泄放开关和泄放恒流源；所述泄放开关一端与所述积分累加模块的积分电容上级板相连，另一端接所述泄放恒流源；所述泄放开关状态由阈值发放模块中的比较器的输出控制。
可选的，所述积分累加模块包括积分开关NMOS管NM2，积分电容C和复位开关NMOS管NM1；阈值发放模块由比较器组成；电压泄放模块由泄放开关NMOS管NM3和泄放恒流源ILEAK组成。
所述NM1与所述积分电容C并联，所述NM2漏极接输入电流，源极与所述积分电容C上级板和所述NM3漏极相连，并与所述比较器正向输入端相连，所述比较器反向输入端接外部输入电压VTH作为脉冲发放阈值电压，所述NM3源极接所述泄放恒流源ILEAK，ILEAK方向为从NM3漏极流向源极，NM3的栅极接比较器输出端口。
可选的，所述积分累加模块的输入电流为存算阵列输出的电流。
可选的，所述固定值的VLEAK计算公式为：
Figure BDA0003201913110000021
其中，C为积分电容，ILEAK为恒流源电流，t为脉冲持续时间。
可选的，所述固定值等于阈值发放模块的阈值电压。
可选的，所述积分开关、复位开关和泄放开关为CMOS单管开关。
可选的，所述恒流源为常规的与电源无关的自偏置电流源。
本发明还提供上述基于模拟脉冲的神经元电路在集成电路技术领域内的应用。
本发明有益效果是：
本申请针对当前脉冲神经网络中输入信息易丢失，网络工作精度受影响的问题，提出了一种基于模拟脉冲的神经元电路，通过积分累加模块、阈值发放模块和电压泄放模块对输入信息进行处理，可以实现积分累加、脉冲发放等功能；在发放脉冲后，使积分电压泄放一个固定值，防止出现信息丢失的情况，保证输入信息的完整性，提高神经网络的精度；本发明各模块均只用了少数的CMOS管以及电容电阻器件就实现了神经元的基本功能，而且外部输入控制信号较少，所使用到的比较器、自偏置电流源等电路的功耗也很低，便于植入式应用或便携式应用；电压泄放模块可同时为多个神经元提供电压泄放功能，有利于神经网络向大规模方向发展的趋势。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是基于脉冲的神经网络中神经元的工作过程示意图。
图2是本发明的神经元电路框架示意图。
图3是本发明的神经元电路具体实施例结构示意图。
图4是本发明的神经元电路具体实施例中恒流源结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
实施例一：
本实施例提供一种基于CMOS的模拟脉冲神经元电路，用于脉冲神经网络中的数据传输，参见图2，所述电路包括：积分累加模块、阈值发放模块和电压泄放模块。
积分累加模块与存算阵列电流输出端口连接，用于将输出电流进行连续地积分累加，并将积分电压信号发送给所述阈值发放模块；阈值发放模块与积分累加模块相连，负责将每个积分周期后的积分电压与阈值电压进行比较，若积分电压高于阈值电压，则神经元被激活，发放脉冲信号，若积分电压小于阈值电压，则不发放脉冲信号，积分电压处于保持状态；电压泄放模块负责在每次神经元发放脉冲后将积分电压泄放一个固定值，该固定值等于神经元的阈值发放电压。
如图3所示，积分累加模块包括积分开关NMOS管NM2，积分电容C和复位开关NMOS管NM1；阈值发放模块由比较器组成；电压泄放模块由泄放开关NMOS管NM3和泄放恒流源ILEAK组成。
其中，NM1与积分电容C并联，NM2漏极接存算阵列电流输出端口，源极与积分电容C上级板和NM3漏极相连，并与比较器正向输入端相连，反向输入端接外部输入电压VTH作为脉冲发放阈值电压，NM3源极接恒流源ILEAK，ILEAK方向为从NM3管漏极流向源极，NM3管的栅极接比较器输出端口。
如图4所示，本实施例中恒流源为常规的与电源无关的恒流源，恒流源由PMOS管PM1、PM2，NMOS管NM4、NM5以及电阻R组成；PMOS管PM3，NMOS管NM6、NM7负责改变电流方向，NM7漏极接电压泄放模块中NM3的源极。其中PM1、PM2、PM3管宽长比相等，NM4、NM5管宽长比相等，NM6、NM7管宽长比相等，通过调节R的值得到所需要的电流源，图中VSS为负电压源，目的是保证NM4管在工作时始终处于饱和状态，以保证IREF的精度。
本实施例的电路工作过程如下：
(1)复位阶段：NM1导通，NM2关断，对积分电容C进行放电，此时比较器处于复位阶段，输出为低电平，NM3处于关断状态。
(2)积分阶段：NM2导通，NM1关断，积分电容C对阵列输出电流IOUT进行积分，此时比较器仍处于复位阶段，输出为低电平，NM3保持关断状态。
(3)比较阶段：在积分结束后，比较器进入比较阶段，当积分电压未达到阈值电压VTH时，神经元未被激活，比较器输出仍为低电平；当积分电压达到阈值电压VTH时，神经元被激活，比较器输出翻转为高电平，发放脉冲，脉冲持续时间与比较器比较阶段时长相等，在本实施例中该值等于t，脉冲持续时间内NM3导通，积分电容C通过电压泄放模块中的恒流源ILEAK进行泄放，为下一个积分阶段做准备，泄放电压
Figure BDA0003201913110000041
在积分电容大小C已经给定的情况下，可以通过调整ILEAK和t的大小，令·VLEAK＝VTH，使神经元在每个电压泄放阶段使积分电压泄放一个固定值，即阈值发放电压VTH，以此保证输入信息的完整型，保障神经网络的工作精度。
若在实际应用中需要为多个神经元提供泄放电流ILEAK，那么在本实施例中只需增加电流复制管的数量就可以，如图4中NMOS管NM7～NMn管以及恒流源ILEAKn所示。
相比于现有神经元电路，本发明提出的神经元电路可以防止出现输入信息丢失的情况，最大限度的保证输入信息的完整性和神经网络的工作精度：经过对不同的电压泄放方式进行模型搭建以及仿真对比，可以得出，与论文“Y.Xiang et al,Efficient andRobust Spike-Driven Deep Convolutional Neural Networks Based on NOR FlashComputing Array,IEEE Transactions on Electron Devices,vol.67,no.6,pp.2329-2335,June 2020.”、“Y.C.Xiang et al,Analog Deep Neural Network Based on NORFlash Computing Array for High Speed/Energy Efficiency Computation,2019IEEEInternational Symposium on Circuits and Systems(ISCAS),2019,pp.1-4.”以及专利“CN 108446762 A：一种基于MOS场效应晶体管的模拟脉冲神经元的硬件电路及其应用”中神经元积分电压直接泄放到地的电压泄放方式相比，可以发现本发明中的电压泄放方法可以提高神经网络10％～20％的精度；电路结构简单，功耗低，方便植入式应用和便携式应用；同一个基准源可同时为多个神经元提供泄放电流，有利于神经网络超大规模方向发展的趋势。
本发明实施例中的部分步骤，可以利用软件实现，相应的软件程序可以存储在可读取的存储介质中，如光盘或硬盘等。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于模拟脉冲的神经元电路，其特征在于，所述电路包括：积分累加模块、阈值发放模块以及电压泄放模块；
所述积分累加模块、所述阈值发放模块和所述电压泄放模块依次相互连接；
所述积分累加模块将输入电流进行积分累加转化成积分电压，并将积分电压发送至阈值发放模块；所述阈值发放模块将积分电压与阈值电压进行比较，若积分电压高于阈值电压，则发放脉冲信号，若积分电压小于阈值电压，则不发放脉冲信号，积分电压处于保持状态；所述电压泄放模块在每次神经元发放脉冲后将积分电压泄放一个固定值。
2.根据权利要求1所述的电路，其特征在于，所述积分累加模块包括积分开关、积分电容和复位开关；
所述积分开关一端接输入电流，另一端与所述积分电容上级板相连，所述积分电容下极板接地，所述复位开关与所述积分电容并联。
3.根据权利要求2所述的电路，其特征在于，所述阈值发放模块包括比较器；
所述比较器的正输入端与所述积分累加模块中积分电容上级板相连，反向输入端接外部输入电压作为神经元脉冲发放阈值。
4.根据权利要求3所述的电路，其特征在于，所述电压泄放模块包括泄放开关和泄放恒流源；
所述泄放开关一端与所述积分累加模块的积分电容上级板相连，另一端接所述泄放恒流源；所述泄放开关状态由阈值发放模块中的比较器的输出控制。
5.根据权利要求4所述的电路，其特征在于，所述积分累加模块包括积分开关NMOS管NM2，积分电容C和复位开关NMOS管NM1；阈值发放模块由比较器组成；电压泄放模块由泄放开关NMOS管NM3和泄放恒流源ILEAK组成；
所述NM1与所述积分电容C并联，所述NM2漏极接输入电流，源极与所述积分电容C上级板和所述NM3漏极相连，并与所述比较器正向输入端相连，所述比较器反向输入端接外部输入电压VTH作为脉冲发放阈值电压，所述NM3源极接所述泄放恒流源ILEAK，ILEAK方向为从NM3漏极流向源极，NM3的栅极接比较器输出端口。
6.根据权利要求5所述的电路，其特征在于，所述积分累加模块的输入电流为存算阵列输出的电流。
7.根据权利要求6所述的电路，其特征在于，将积分电压泄放一个固定值，所述固定值等于阈值发放模块的阈值电压。
8.根据权利要求7所述的电路，其特征在于，所述固定值的VLEAK计算公式为：
Figure FDA0003201913100000021
其中，C为积分电容的大小，t为脉冲持续时间。
9.根据权利要求8所述的电路，其特征在于，所述泄放恒流源为常规的与电源无关的自偏置电流源。
10.权利要求1-9所述的基于模拟脉冲的神经元电路在集成电路技术领域内的应用。
CN202110906759.6A 2021-08-09 2021-08-09 一种基于cmos的模拟脉冲神经元电路 Pending CN113673674A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110906759.6A CN113673674A (zh) 2021-08-09 2021-08-09 一种基于cmos的模拟脉冲神经元电路

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110906759.6A CN113673674A (zh) 2021-08-09 2021-08-09 一种基于cmos的模拟脉冲神经元电路

Publications (1)

Publication Number Publication Date
CN113673674A true CN113673674A (zh) 2021-11-19

Family

ID=78541834

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110906759.6A Pending CN113673674A (zh) 2021-08-09 2021-08-09 一种基于cmos的模拟脉冲神经元电路

Country Status (1)

Country Link
CN (1) CN113673674A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116056285A (zh) * 2023-03-23 2023-05-02 浙江芯源交通电子有限公司 一种基于神经元电路的信号灯控制系统及电子设备

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5633989A (en) * 1993-08-31 1997-05-27 Electronics And Telecommunications Research Institute Artificial neural circuit using pulse coding
CN106447033A (zh) * 2016-10-13 2017-02-22 中国科学院深圳先进技术研究院 神经元突触电路及神经元电路
CN108446762A (zh) * 2018-03-30 2018-08-24 广西师范大学 一种基于mos场效应晶体管的模拟脉冲神经元的硬件电路及其应用
CN109376851A (zh) * 2018-08-29 2019-02-22 博瓦（武汉）科技有限公司 仿生系统的脉冲神经元信号发生电路基于忆阻的实现方法
CN110543933A (zh) * 2019-08-12 2019-12-06 北京大学 基于flash存算阵列的脉冲型卷积神经网络
US20200202206A1 (en) * 2018-12-07 2020-06-25 Commissariat à l'énergie atomique et aux énergies alternatives Artificial neuron for neuromorphic chip with resistive synapses
CN111967589A (zh) * 2020-08-21 2020-11-20 清华大学 神经元模拟电路及其驱动方法、神经网络装置
CN112465134A (zh) * 2020-11-26 2021-03-09 重庆邮电大学 一种基于lif模型的脉冲神经网络神经元电路
CN112598124A (zh) * 2020-12-28 2021-04-02 清华大学 神经元模拟电路及神经网络装置
WO2021135502A1 (zh) * 2019-12-30 2021-07-08 清华大学 阈值可塑的人工神经元电路

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5633989A (en) * 1993-08-31 1997-05-27 Electronics And Telecommunications Research Institute Artificial neural circuit using pulse coding
CN106447033A (zh) * 2016-10-13 2017-02-22 中国科学院深圳先进技术研究院 神经元突触电路及神经元电路
CN108446762A (zh) * 2018-03-30 2018-08-24 广西师范大学 一种基于mos场效应晶体管的模拟脉冲神经元的硬件电路及其应用
CN109376851A (zh) * 2018-08-29 2019-02-22 博瓦（武汉）科技有限公司 仿生系统的脉冲神经元信号发生电路基于忆阻的实现方法
US20200202206A1 (en) * 2018-12-07 2020-06-25 Commissariat à l'énergie atomique et aux énergies alternatives Artificial neuron for neuromorphic chip with resistive synapses
CN110543933A (zh) * 2019-08-12 2019-12-06 北京大学 基于flash存算阵列的脉冲型卷积神经网络
WO2021135502A1 (zh) * 2019-12-30 2021-07-08 清华大学 阈值可塑的人工神经元电路
CN111967589A (zh) * 2020-08-21 2020-11-20 清华大学 神经元模拟电路及其驱动方法、神经网络装置
CN112465134A (zh) * 2020-11-26 2021-03-09 重庆邮电大学 一种基于lif模型的脉冲神经网络神经元电路
CN112598124A (zh) * 2020-12-28 2021-04-02 清华大学 神经元模拟电路及神经网络装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116056285A (zh) * 2023-03-23 2023-05-02 浙江芯源交通电子有限公司 一种基于神经元电路的信号灯控制系统及电子设备

Similar Documents

Publication Publication Date Title
Biswas et al. Conv-RAM: An energy-efficient SRAM with embedded convolution computation for low-power CNN-based machine learning applications
CN111967586B (zh) 一种用于脉冲神经网络存内计算的芯片及计算方法
CN111049525B (zh) 一种超高速逐次逼近型模数转换器
CN104113341B (zh) 一种12位中等速率逐次逼近型模数转换器
TW201933786A (zh) 用於混和訊號運算的系統及方法
CN110022155B (zh) 一种采样阈值随输入信号变化的异步过电平采样模数转换器
CN111600583B (zh) 基于扩散忆阻器和电流传输器的随机频率三角波发生器
CN112465134B (zh) 一种基于lif模型的脉冲神经网络神经元电路
WO2021000469A1 (zh) 一种基于模拟延时链的二值化神经网络累加器电路
CN113673674A (zh) 一种基于cmos的模拟脉冲神经元电路
CN112148669B (zh) 脉冲存算一体芯片以及电子设备
CN111343398A (zh) 基于动态视觉传感技术的cmos感存算一体电路结构
CN105827244B (zh) 桥电容为整数值的电容电阻三段式逐次逼近模数转换器
US12061975B2 (en) Charge based switched matrix and method therefor
CN117219140A (zh) 基于8t-sram和电流镜的存内计算电路
CN113009854B (zh) 一种获取模拟输入信号有效值的装置
CN109921794B (zh) 一种迟滞可变的异步过电平采样模数转换器
Jiang et al. Cyclical sensing integrate-and-fire circuit for memristor array based neuromorphic computing
CN113346895A (zh) 基于脉冲截断电路的模拟存算一体结构
CN101093997B (zh) Ad/da变换兼用装置
CN113411085B (zh) 一种逐次逼近型电容检测电路
CN114861902A (zh) 处理单元及其操作方法、计算芯片
CN113741857B (zh) 一种乘累加运算电路
CN110619108B (zh) 一种基于铁电存储器的神经网络电路及其控制方法
CN113741252A (zh) 一种多电源系统的下电时序控制电路

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination