CN111275178A - 具有不同工作形态的神经元模拟方法及装置 - Google Patents

具有不同工作形态的神经元模拟方法及装置 Download PDF

Info

Publication number
CN111275178A
CN111275178A CN201910669575.5A CN201910669575A CN111275178A CN 111275178 A CN111275178 A CN 111275178A CN 201910669575 A CN201910669575 A CN 201910669575A CN 111275178 A CN111275178 A CN 111275178A
Authority
CN
China
Prior art keywords
circuit
neuron
action potential
output
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910669575.5A
Other languages
English (en)
Inventor
徐志强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Publication of CN111275178A publication Critical patent/CN111275178A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/049Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/06Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means

Abstract

本发明涉及神经生物学的用于模拟大脑神经元的模拟方法及装置。本发明通过研究分析大脑神经元的工作过程的一些细节特征,以电子电路来模拟和实现这些细节特征,从而能够更完善和更准确地模拟神经元爆发动作电位的工作过程,以及能够构造性能更优的神经模拟网络。

Description

具有不同工作形态的神经元模拟方法及装置
技术领域
本发明为2014106066977号中国专利申请的分案申请,本发明涉及神经生物学领域的用于模拟大脑皮层、颞叶等区域的中间神经元的模拟方法及模拟装置。
背景技术
大脑的工作机制是最重要的科学研究之一。目前的研究揭示大脑是依靠神经元及神经元之间互相连结的突触来实现信息的传递和处理,也在一定程度上揭示了单个的神经元及突触的很多结构特征和工作细节,但对于神经元及其突触到底如何通过连接关系和信号处理来实现大脑的高级功能,便仍是科学难题。这主要是因为单个的神经元和突触可以通过离体的神经元解剖和显微镜来观察其结构和工作,但离体的单个或多个神经元并无法组成信号处理通路,而我们又无法从微观角度来观察到生物整个活体大脑的工作过程。所以,即使有研究公布了神经元及突触的具体结构特征和工作特点,但对于它们在整个神经网络中起什么作用,如何起作用,如何与其他神经元发生关系,尤其是如何构成和实现宏观上的大脑功能,则往往仍得不到完整又合理的解释。
为了模拟演示脑神经的工作,以及由此构造实现具有记忆和思维功能的人工智能,目前越来越多的研究采用建立数学仿真模型或神经元模拟装置的方法来模仿脑神经的工作。尤其是近几年,基于突触的STDP 特性的突触可塑性的发现,及基于这种突触STDP可塑性的学习记忆模型的提出,很多申请人提交了很多神经元及突触模拟技术的专利申请。
目前采用电子电路的神经元模拟技术,一般由输入膜积分电路(用于模拟神经元的膜电位整合)、具有阈值触发的阈值触发电路(用于模拟动作电位的阈值触发)、脉冲输出电路(用于模拟轴突输出的动作电位的脉冲输出)等组成。神经突触的模拟技术,一般由突触前膜输入电路、突触后膜输出电路、和具有突触传递特性的模拟电路等构成,其中突触传递特性模拟电路能够按照化学突触传递的特性,尤其是突触的符合STDP特性的可塑性,通过输入信号来调整输出信号。突触可塑性的STDP特性,Spike Timing-DependentPlasticity,即时序依赖的突触可塑性。目前的理论认为:突触传递的STDP可塑性,也即突触的传递效能,跟突触前后神经元的动作电位的锋电位的时序相关,如果突触前神经元的锋电位早于突触后神经元的锋电位,则产生突触传递长时程增强(long-termpotentiation,即LTP)现象,而且锋电位的延迟越小则突触传递增强效应越大,(为了便于叙述,我们可把这种情况称为其锋电位信号具有LTP特征);如果突触前神经元的锋电位慢于突触后神经元的锋电位,则产生突触传递长时程抑制(long-term depression,即LTD)现象,而且锋电位的延迟越小则突触传递减弱效应越大,(为了便于叙述,我们可把这种情况称为其锋电位信号具有LTD特征)。显然,锋电位信号的LTP特征和LTD特征,都属于突触传递的STDP可塑性。
现有各种神经元、突触及其神经网络的模拟技术,存在的问题是:
1、目前的神经元模拟技术更多集中在感觉神经元的模拟上,而对于中间神经元的模拟技术不多,而显然,涉及记忆和思维的中间神经元,对于揭示大脑的工作机制更为重要。
2、较多地注意和模拟神经元对输入信号的整合、神经元的触发和动作电位的模拟,而对于神经元动作电位的不同亚型,特别是对大脑为什么会爆发不同亚型的动作电位、形成不同亚型动作电位的实质性原因、及不同亚型动作电位的形成过程,缺乏认识和重视,而申请人发现这些细节在模拟同一神经元同时具有思维和记忆两种工作状态时是极其重要的。
3、在神经元模拟技术上,更多注重于对“轴突—树突”型兴奋性突触输入信号的整合,而对“轴突—胞体”和“轴突—轴突”型的调制性突触输入信号的处理过程较少,而这对于构建多通道多信息互相调制的复杂神经网络,特别是对于模拟大脑的高级功能,比如经验或情绪(快乐、恐惧、犒赏等)对神经元信息处理的影响,是非常重要的。
4、在突触模拟技术中,没有充分考虑到大脑不同区域和不同功能的神经元之间存在不同传递特性的突触,往往只采用同一特性的突触来构建模拟神经网络,造成无法准确模拟一个复杂功能的神经网络。
5、现有突触模拟技术基本都是模拟已经发育成熟、具有正常突触传递效能的突触。而实际上大脑中存在的很多突触,在经过相关神经活动的协调刺激之前,只是一种“预制性”的突触,只是在胎儿和婴儿成长过程中自然发育生成的,这些“预制性”的突触尚未形成有效的突触传递效能,而在以后的学习记忆和思维过程,经过突触前后神经元的兴奋活动的协同刺激,才逐渐被“激活”发育成具备有效的突触传递效能。现有突触模拟技术并未注意和模拟这一过程。而申请人研究发现这一过程对于解释记忆、长时程记忆向长期记忆转化,解释脑皮层和海马的神经元在陈述性记忆形成过程中的不同作用是极其重要的。
6、现有具有记忆功能的神经模拟网络,采用突触STDP可塑性模拟技术,由于STDP效应有赖于突触前后膜的锋电位脉冲的精准时序关系,为了产生符合STDP时序特点的锋电位信号,现有技术是在神经模拟网络中引入时钟控制端(或称时序控制端),在一个神经元矩阵单元中一般需要多个时序控制端,即使采用时钟总线来减少时钟控制端,一个神经元矩阵单元也需要二至三个时钟控制端。由于神经网络一般是数量巨大的矩阵单元组成,所以需要很多时钟控制端,造成电路和线路分布复杂化。而且,对于时钟控制端的锋电位的时序控制,既复杂又需要高度精确,在现有技术中,这只能采用计算机系统或微处理器,通过程序来实现,导致系统复杂化。按照这类技术,神经模拟网络的工作,需要依赖于一个计算机系统通过人工程序来控制,其智能实质是依赖于程序编制而形成,因而无法真正模拟自然形成的人脑工作,其所能实现的智能水平也必然受到其计算机系统及人工程序的限制。
发明内容
本发明的目的是公开这样的神经元模拟方法及装置,它能够模拟神经元以两种不同的工作形态进行工作,从而实现记忆及反射两种神经元活动,以及使两者的实现和切换无需依赖复杂的时序控制。
跟本发明配合使用的突触模拟装置,可以采用现有技术,也可以采用本发明母案申请中公开的几种突触模拟装置的技术。另外,采用本发明的神经元模拟装置及突触模拟装置如何构建更完善的神经模拟网络及其具体如何工作,这些均详见本发明的母案申请。
本发明的第一种神经元模拟装置,包括有树突输入端(用于模拟神经元的树突输入)、信号处理模块 (用于模拟神经元对信号进行整合和处理的部分)、和轴突输出端(用于模拟神经元的轴突输出);作为现有技术,信号处理模块包括有膜积分电路(用于模拟对膜输入兴奋电位整合的过程)、膜放电电路(用于模拟动作电位触发后膜电位的去极化并形成不应期的动作,有时也被称为去极化电路)、阈值触发电路(用于模拟膜电位的兴奋整合达到触发阈值时神经元触发动作电位的动作,为了区分,在本发明称其为第一阈值触发电路,其触发阈值为V1)、和动作电位脉冲产生电路(用于模拟动作电位的输出脉冲,为了区分,在本发明称其为第一动作电位脉冲产生电路),一般还包括有动作电位的输出电路,(没有实质性模拟功能,只是用于隔离放大动作电位脉冲产生电路所产生的动作电位脉冲信号);其具体连接关系是:树突输入端连接到膜积分电路的输入端,膜积分电路的输出端连接第一阈值触发电路的输入端,第一阈值触发电路的输出端连接第一动作电位脉冲产生电路的输入端;第一动作电位脉冲产生电路的输出端通过输出电路连接到轴突输出端;第一动作电位脉冲产生电路的输出端同时连接到膜积分放电电路。
本发明的特征在于:所述神经元模拟装置还包括有第二阈值触发电路和第二动作电位脉冲产生电路,第二阈值触发电路的输入端连接到膜积分电路的输出端,第二阈值触发电路的输出端连接到第二动作电位脉冲产生电路,第二动作电位脉冲产生电路的输出端连接轴突输出端,第二动作电位脉冲产生电路的输出端还同时通过一反向传输通道连接到树突输入端。第二阈值触发电路设定的触发阈值V2大于第一阈值触发电路设定的触发阈值V1。
第二阈值触发电路用于模拟神经元爆发高触发阈值动作电位的第一种产生原因及其生物学意义,对于模拟同一神经元如何工作于反射和记忆两种不同状态,是尤其重要的。
作为一种优化方案,第一阈值触发电路的输入端与膜积分电路的输出端之间,加有一信号延迟电路。使得膜积分电路的输出信号,传递到第一阈值触发电路的输入端的时间,比传递到第二阈值触发电路输入端的时间,会有一个短暂的延迟。信号延迟电路的设置使得当树突输入端输入强烈的信号时,第二阈值触发电路能够可靠地先于第一阈值触发电路而触发。该方案用于模拟从树突输入和整合的兴奋信号传递到轴突的AIS远段时,需要一段短暂的时间。这一短暂的时间延迟在以往的技术中,由于对其生物学的意义不了解,所以没有被人所重视和模拟。而申请人注意到,对该时间延迟的模拟,能够更准确地模拟树突输入的兴奋信号的整合传递、与动作电位爆发的位置及其不同亚型之间的密切关系,与真正的大脑神经元的工作情况更相符合,更准确的模拟出大脑神经元产生记忆的工作情形。
作为另一种优化方案,第二动作电位脉冲产生电路的输出端还同时连接到膜放电电路。本来膜放电电路的工作可以由第一动作电位脉冲产生电路的输出来完成,但将两个脉冲产生电路的输出端各自对膜放电电路进行控制,会更符合神经元两种动作电位的工作过程,并使得不会出现两种动作电位脉冲重复产生叠加的情况。
进一步,所述的神经元模拟装置还带有一个用于切换记忆/反射工作状态的“注意控制端”,(用于通过外部信号来直接控制切换神经元模拟装置是以反射状态还是以记忆状态进行工作);所述的第二阈值触发电路,带有阈值调节电路,用于调低第二阈值触发电路的电压触发阈值,(使第二阈值触发电路的触发电压V2小于第一阈值触发电路的触发电压V1);阈值调节电路的输入控制端,连接到“注意控制端”。工作时,“注意控制端”可以连接到其他神经元的轴突输出端,由所连接的其他神经元的兴奋活动进行调制,或者,直接在高电平与低电平状态中进行切换,也即直接使神经元模拟装置在信息记忆与反射处理的两种工作状态进行切换。当“注意控制端”没有输入控制信号时,神经元被切换在“反射”工作状态,按照前面所述的工作机制进行工作;而当“注意控制端”输入出现有效控制信号时,神经元被切换在“记忆”工作状态,通过阈值调节电路调低第二阈值触发电路的电压触发阈值使其低于第一阈值触发电路的触发阈值,这时当膜积分电路的输出信号在不断整合上升时,第二阈值触发电路将先于第一阈值触发电路而触发动作,使第二动作电位脉冲产生电路输出动作电位脉冲,既输出到轴突输出端,也同时反向输出到树突输入端,形成树突上的突触STDP可塑性所需要的锋电位信号。该技术方案用于准确模拟神经元爆发高触发阈值的动作电位的第二种产生原因,所述的“注意控制端”对第二阈值触发电路的设定电压阈值的调节,是模拟大脑进行“下意识记忆”(也即高度注意力)工作时,通过注意力控制通路的神经元的激活,对相关神经元的胞体或AIS近胞体段的细胞膜Na离子通道产生了接触传递(非突触传递)的调制作用,使其能够在胞体或AIS近胞体段爆发高触发阈值的动作电位,产生动作电位反向传输现象,从而产生突触STDP 可塑性,实现对信息的记忆功能。现有技术由于对爆发高阈值动作电位的这一形成原因缺乏理论认识,所以没有相关模拟技术。
作为优化,“注意控制端”与阈值调节电路的输入控制端之间,还带有一个工作状态的延迟保持电路。延迟保持电路用于使工作状态保持一定时间。该优化用于模拟注意力控制通路神经元,对信息处理通路神经元Na离子通道的调制作用,具有一定时间的保持效应。
相应的,本发明的第一种神经元的模拟方法,包括:⑴、对树突输入端输入的信号进行积分;(即对应于模拟装置的积分电路对树突输入端的输入信号进行积分);
⑵、检测积分后的电压信号,(相当于采用两个阈值触发电路来检测积分电路的输出端);
⑶、如果该电压信号小于设定值1,则神经元不产生动作,(相当于积分电路的输出电压小于第一阈值触发电路的触发电压V1也即设定值1);如果该电压信号等于或大于设定值1但其电压上升斜率小于设定值 2,(上升斜率k=dv/dt,设定值2等于V2/T,其中V2为第二阈值触发电路的触发电压,T为第一阈值触发电路输入端所加的信号延迟电路的信号延迟时间。这种情况相当于积分电路的输出电压大于第一阈值触发电路的触发电压V1,但在设定时间T也即信号延迟电路的信号延迟时间之内无法达到或超过第二阈值触发电路的触发电压V2),则触发产生动作电位脉冲,输出到轴突输出端,(相当于第一阈值触发电路触发产生动作电位而第二阈值触发电路没有触发),同时将积分后的电压信号清零;如果该电压信号等于或大于设定值1且其电压上升斜率等于或大于设定值2,(相当于积分电路的输出电压大于第一阈值触发电路的触发电压V1,且在设定时间T之内达到或超过第二阈值触发电路的触发电压V2),则触发产生动作电位脉冲,既输出到轴突输出端又同时反向输出到树突输入端,(相当于第二阈值触发电路触发产生动作电位,既输送到轴突输出端又同时通过反向传输通道输送到轴突输入端),同时将积分后的电压信号清零。
进一步,本发明的神经元模拟方法还通过一个“注意控制端”的信号状态来切换记忆和反射两种不同工作状态,(用于通过外部控制信号来控制切换神经元模拟装置是以反射状态还是以记忆状态进行工作);当“注意控制端”信号状态为“反射”时,神经元按前述模拟方法进行工作;当“注意控制端”信号状态为“记忆”时,则将上述第⑶步改为:如果该电压信号小于设定值1,则神经元不产生动作;如果该电压信号等于或大于设定值1,则触发产生动作电位脉冲,既输出到轴突输出端又同时反向输出到树突输入端, (相当于“注意控制端”通过阈值调节电路调低第二阈值触发电路的触发电压V2,使V2等于或略小于 V1,这时当积分电压达到V1时,第二阈值触发电路便已经触发产生动作电位,既输送到轴突输出端又同时通过反向传输通道输送到轴突输入端),同时将积分后的电压信号清零。
本发明的第二种神经元模拟装置,同样包括有树突输入端、信号处理模块、和轴突输出端;作为现有技术,信号处理模块包括有膜积分电路(用于模拟对膜输入兴奋电位整合的过程)、膜放电电路(用于模拟动作电位触发后膜电位的去极化并形成不应期的动作)、阈值触发电路电路(用于模拟膜电位的兴奋整合达到阈值时神经元触发动作电位的动作,为了区分,在本发明中称其为第一阈值触发电路,其触发阈值为V1)、和第一动作电位脉冲产生电路(用于模拟动作电位的输出脉冲),一般还包括有动作电位的输出电路,(用于隔离放大脉冲产生电路所产生的动作电位脉冲);这些都属于现有技术,其具体的连接关系是:树突输入端连接到膜积分电路的输入端,膜积分电路的输出端连接到第一阈值触发电路的输入端,第一阈值触发电路的输出端连接到第一动作电位脉冲产生电路的输入端;第一动作电位脉冲产生电路的输出端连接轴突输出端;第一动作电位脉冲产生电路的输出端同时连接到膜放电电路;其技术特征在于:所述的神经元模拟装置还带有动作电位反向传输通道;第一动作电位脉冲产生电路的输出端,通过该反向传输通道连接到树突输入端;反向传输通道的通断受到一个反向传输控制电路的控制;反向传输控制电路的控制输入端,连接到一个用于切换神经元记忆/反射工作状态的“注意控制端”。
该神经元模拟装置的工作,是采用“注意控制端”直接对神经元模拟装置在信息记忆和反射处理两种工作状态之间进行切换控制,也即是当“注意控制端”输入有效,即处于“记忆”状态时,通过直接打开反向传输控制电路,使得当神经元爆发动作电位时,动作电位能够同时通过反向传输通道向树突端进行反向传输,从而使连接在树突上的突触装置能够产生突触STDP可塑性,以实现对信息的记忆功能。而当“注意控制端”处于“反射”状态时,关闭反向传输控制电路,动作电位只向轴突输出而没有反向传输,从而只产生对输入信号的整合和反射功能而没有记忆功能。
作为优化,所述“注意控制端”与反向传输控制电路的控制输入端之间,还设置有一个工作状态的延迟保持电路,用于使工作状态保持一定时间。这用于模拟注意力控制通路的神经元,对信息处理通路神经元的Na离子通道的调制作用,具有一定时间的保持效应。
上述的第二种神经元模拟装置,是通过“注意控制端”来直接控制神经元的动作电位反向传输通道,是模拟神经元的第二种产生动作电位反向传输的情况,即大脑通过“下意识记忆”(也即高度注意力)来实现记忆动作。当然,在这一基础上,也可以再同时模拟神经元另一种产生动作电位反向传输的情况,即树突输入的兴奋信号非常强烈时,直接导致神经元爆发高触发阈值的动作电位,并向胞体和树突反向传输。要实现这种工作情况的模拟,可以使神经元模拟装置再包括有一个第二阈值触发电路,第二阈值触发电路的输入端连接到膜积分电路的输出端,第二阈值触发电路的输出端连接到反向传输控制电路的控制输入端。第二阈值触发电路用于模拟胞体或AIS近胞体段所爆发的高阈值动作电位,所以第二阈值触发电路设定的触发阈值V2大于第一阈值触发电路设定的触发阈值V1。
同样的,作为上述方案的一种优化,在这种情况下,最好在第一阈值触发电路的输入端与膜积分电路的输出端之间,设置有一个信号延迟电路。该方案用于模拟从树突输入的兴奋信号传递到轴突的AIS远段的一段短暂的时间延迟,延迟时间为T。信号延迟电路的技术效果和意义跟第一种神经元模拟装置的技术是一样的,上面已有叙述。
作为另一种优化,在第二阈值触发电路的输出端与反向传输控制电路的控制输入端之间,还设置有一个触发延时保持电路。其工作是:当第二阈值触发电路的输出端产生输出信号时,触发延时保持电路被触发输出控制信号、并且使输出信号保持一定延时时间,从而通过输出信号使反向传输控制电路打开导通并在一定时间内保持导通状态。触发延时保持电路的触发延时时间应该略大于动作电位脉冲电路产生的动作电位的脉冲宽度,以便使动作电位脉冲的反向传输过程,能够更完整更可靠。
本发明公开两种神经元模拟装置,其电路结构和工作原理有所不同。其中第一种模拟装置,向树突反向传输的动作电位脉冲是通过第二阈值产生电路来产生,而用于切换记忆或反射工作状态的“注意控制端”是通过阈值调节电路调低第二阈值触发电路的触发阈值来实现直接将电路切换在记忆工作状态的,这种电路结构和工作原理更接近于大脑神经元的工作机制。而第二种模拟装置,直接通过“注意控制端”来控制动作电位反向传输通道的开关,从而直接切换记忆和反射的两种工作状态,这种电路结构和工作原理与大脑神经元的工作机制有一定差别,但其对输入信号的处理结果跟第一种模拟装置是一样的,其优点是更适合于在集成电路上实现,特别是如果只需要模拟神经元产生记忆功能的第二种原因,即“下意识记忆”,这时反向传输控制电路的控制输入端只需连接到外接的“注意控制端”,则可以无需设置第二阈值触发电路,有利于简化电路。
相应地,本发明的第二种神经元模拟方法,包括:⑴、对树突输入端输入的信号进行积分;(即对应于模拟装置的积分电路对树突输入端的输入信号进行积分);
⑵、检测积分后的电压信号;(相当于第一阈值触发电路检测积分电路的输出端信号),如果该电压信号小于设定值1,则不产生动作,(相当于积分电路的输出电压小于第一阈值触发电路的触发电压V1,这时第一阈值触发电路没有触发动作);
⑶、如果积分后的电压信号大于设定值1,(相当于积分电路的输出电压大于第一阈值触发电路的触发电压V1),则检测“注意控制端”的信号状态;这时,
如果“注意控制端”信号状态为“反射”状态,则神经元以“反射”方式进行工作,神经元触发产生动作电位脉冲,输出到轴突输出端,(相当于第一阈值触发电路触发,第一动作电位脉冲电路产生动作电位,并传送到轴突输出端),同时将积分后的电压信号值清零;(相当于膜放电电路动作,将膜积分电路的电容放电);
如果“注意控制端”信号状态为“记忆”状态,则神经元以“记忆”方式进行工作,(相当于反向传输控制电路打开导通),即神经元触发产生动作电位脉冲,既输出到轴突输出端,又反向输出到树突输入端; (相当于第一阈值触发电路触发,第一动作电位脉冲产生电路产生动作电位,既传送到轴突输出端,又同时通过反向传输控制电路传送到树突输入端),同时将积分后的电压信号值清零;(相当于膜放电电路动作,将膜积分电路的电容放电)。
同样的作为一种优化,所述的“注意控制端”,还带有一个工作状态的延迟保持电路,用于使工作状态保持一定时间,这时将检测“注意控制端”的信号状态改为检测延迟保持电路的输出端的状态。该改进用于模拟注意力控制通路的神经元,对信息处理通路的神经元的Na离子通道的调制作用,具有一定时间的保持效应。
上述第二种神经元模拟方法,是通过“注意控制端”来直接控制切换神经元的工作方式,是模拟神经元的第二种产生动作电位反向传输的情况,即大脑通过“下意识记忆”(也即高度注意力)来实现记忆动作。在这一基础上,也可以再同时模拟神经元另一种产生动作电位反向传输的情况,即树突输入的兴奋信号非常强烈时,直接导致神经元爆发高触发阈值的动作电位,并向胞体和树突反向传输。这时其模拟方法还进一步包括:
⑷、检测积分后的电压信号,如果该电压信号在大于设定值1的同时其电压上升斜率还大于设定值2,(电压上升斜率k=dv/dt,设定值2等于V2/T,其中V2为第二阈值触发电路的触发电压,T为第一阈值触发电路输入端所加的信号延迟电路的信号延迟时间。这种情况相当于膜积分电路的输出电压大于第一阈值触发电路的触发电压V1,且在时间T之内达到或超过第二阈值触发电路的触发电压V2),则使神经元以“记忆”方式进行工作,(相当于第二阈值触发电路输出触发信号,使反向传输控制电路打开导通),神经元触发产生动作电位脉冲,既输出到轴突输出端,又反向输出到树突输入端;(相当于第一动作电位脉冲产生电路的动作电位,既传送到轴突输出端,又同时通过反向传输控制电路传送到树突输入端),同时将积分后的电压信号值清零;(相当于膜放电电路将膜积分电路的电容放电)。
而作为对本发明的上述的两种神经元的模拟装置或模拟方法的进一步改进,所述神经元模拟装置都还带有调制性突触输入电路及调制性突触输入端;调制性突触输入端连接到调制性突触输入电路的输入端,调制性突触输入电路的输出端连接到膜积分电路的输出端。所述调制性突触输入电路包括两方面:增强性突触输入电路及其增强性突触输入端,抑制性突触输入电路及其抑制性突触输入端。该改进使得神经元模拟装置除了具有用于兴奋性信号输入用的树突输入端,还具有用于对信息处理进行调制作用的突触输入功能。注意本发明的调制性输入信号并非接在膜积分电路的输入端,所以它不像树突输入的兴奋性信号一样直接参与膜电位的整合并能够直接触发动作电位,而是接在膜积分电路的输出端,形成一个调制电压对膜积分输出电压进行增强或抑制,通过对膜积分输出电压的影响,来对从树突输入和整合的兴奋信号能否触发动作电位进行调制。这一功能有利于构建多通道多信息互相调制的复杂神经网络,以模拟经验或情绪(快乐、恐惧、犒赏、成瘾等)对神经元信息处理的影响。
申请人通过研究分析大脑神经元爆发动作电位的两种不同亚型,即在胞体或AIS近胞体段爆发的高触发阈值的动作电位、和在AIS远段爆发的低触发阈值的动作电位,两者的工作细节的不同,特别是研究分析两者形成原因的本质及条件,从而采用更具细节和更合理的神经元模拟技术,来更准确地模拟大脑神经元的工作,特别是在模拟神经元对信息的反射和记忆功能进行切换时,能够通过更简单更合理的方式来实现。上面在叙述具体技术方案时,对各个具体的技术方案的技术效果和积极意义,都有做相应的说明。
采用本发明的神经元模拟装置及突触模拟装置构建的模拟神经网络,如果作为一种实验和演示装置,可以更好地模拟大脑中神经元的反射活动、短期记忆的形成、以及短期记忆转化为长期记忆的过程,有利于更好地揭示大脑的学习记忆的工作机制。如果以电路方式应用于某些自动控制领域,它不单能够在两组信号之间根据其相关性(信号的时序关系)较快地建立起记忆关系(短期记忆),从而根据记忆来通过一种信号对另一种信号进行自适应性的自动控制(如操作规则,工作程序等),也即具有学习和自适应能力。而且,如果运行时间足够长,它的自动控制功能还能根据信号之间多次出现的关联关系而慢慢形成和表现出某种“习惯”(长期记忆),具有更独特的自适应控制效果。
附图说明
图1是神经元的结构示意图。
图2是现有技术的神经元模拟装置的电路方框图。
图3是现有技术的神经模拟网络的工作原理示意图。
图4是神经元的轴突的结构示意图。
图5是本发明的第一种神经元模拟装置的电路方框图。
图6是采用单片机来实现图5的神经元模拟装置的电路原理图。
图7是采用普通模拟电路来实现图5的神经元模拟装置的电路原理图。
图8是本发明的第二种神经元模拟装置的电路方框图。
图9是采用单片机来实现图8的神经元模拟装置的电路原理图。
图10是采用普通模拟电路来实现图8的神经元模拟装置的电路原理图。
图11是神经元模拟装置的调制性输入电路的电路原理图。
具体实施方式
以下为对本发明的原理和具体实施的叙述。
根据目前神经生物学的研究,典型的中间神经元也即神经细胞的组成如图1,主要由胞体1、树突2 和轴突3构成。神经元一般具有多根树突,树突反复分支,形如树枝;胞体和树突都可与来自前面的其他神经元的轴突末梢形成突触,成为神经元的输入端,接收来自前面神经元的信号。中间神经元一般具有一根轴突3,轴突3的末梢又与后面的其他神经元的树突或胞体形成突触,轴突3相当于神经元的输出端,向后面的神经元传递信号。
突触(这里主要是指化学突触)是神经元之间信号传递的重要环节。突触包括突触前膜、突触后膜和突触间隙,处在前一神经元的轴突末梢的是突触前膜,处在后一神经元的树突或胞体的是突触后膜。当前神经元受激活产生动作电位时,突触前膜向突触间隙释放神经递质,突触后膜吸收神经递质并引起神经元内部离子物质的变化,从而产生细胞膜的电兴奋。这些电兴奋在神经元内部进行叠加整合,包括来自多个突触的传递信号的空间整合,和来自同一突触的多个信号的时间整合,当整合的电兴奋达到或超过某一阈值时,神经元爆发动作电位。动作电位传递到轴突末梢,通过突触传递给下一神经元,完成信号整合、触发和传递过程,同时将膜的残留兴奋消除,以进行下一次信号整合。
突触的信号传递效能是会变化的,即突触具有可塑性,这是学习和记忆的基础。按照目前被广泛接受的理论,突触传递效能的可塑性改变遵循STDP原则,即时序依赖的突触可塑性,具体见本发明“背景技术”部分的描述。
图2是目前典型的中间神经元模拟技术的电路构成,一般由输入端(模拟树突或胞体的刺激输入)、信号处理模块(用于模拟神经元对信号进行整合和处理的部分)、和输出端(用于模拟轴突输出);其中的信号处理模块包括有输入膜积分电路(用于模拟膜兴奋电位整合的过程)、阈值触发电路电路(用于模拟膜兴奋电位的整合达到阈值时神经元触发动作电位的动作)、脉冲产生电路(用于模拟动作电位的脉冲产生)、和膜放电电路(用于模拟动作电位触发后膜兴奋电位的去极化并形成不应期的动作),一般的,还包括有动作电位的输出电路,用于隔离放大脉冲产生电路所产生的动作电位脉冲。这是目前神经元模拟技术的核心组成,在目前公开的各种神经元模拟技术,虽然电路组成有多种方式,对输入端的信号处理,对动作电位的波形模拟,对膜兴奋的去极化及不应期的精确模拟,等等,都有很多相关的改进技术,但其神经元模拟的核心,仍为上述的结构所构成。
图3是目前典型的采用神经元模拟电路来构成神经网络的神经元矩阵的等效图。在一个神经模拟网络中,由处于列位置的n个输入神经元模拟装置(A1至An)、和处于行位置的n个输出神经元模拟装置(C1 至Cn)构成n×n的神经元矩阵单元,有些还带有另一输入通道的n个输入神经元模拟装置(B1至Bn)。神经元轴突与其他神经元的树突之间形成有模拟突触PY,模拟突触一般采用变阻技术,具有STDP效应。由于突触STDP效应有赖于突触前后膜的锋电位的精准时序的共同作用,突触前膜的锋电位也即是突触前神经元的轴突的动作电位的信号,而为了产生突触后膜的锋电位信号,现有技术一般是在神经元模拟网络中引入时钟控制端(或称时序控制端),如图3中的CLK-A、CLK-B和CLK-C,根据信号时序的需要来产生满足STDP要求的突触后膜锋电位信号。这样做虽然能够使神经元矩阵实现STDP效应从而实现记忆功能,但存在的问题是:1、需要引入时钟控制端(或称时序控制端),在一个神经元矩阵单元中一般需要 n个时序控制端,即使采用时钟总线来减少时钟控制端,一个神经元矩阵单元也需要2至3个时钟控制端。由于神经元网络一般是数量巨大的矩阵单元组成,所以需要具有很多时钟控制端,造成了电路结构和线路分布的复杂化。2、由于突触STDP可塑性对于前后膜锋电位的时间时序的高度敏感性,稍有差错便会影响突触可塑性的效果,甚至产生相反的效果,所以,对于时钟控制端输出的锋电位的时序控制,需要与各个神经元模拟装置的工作时序密切相关,既复杂又需要高度精确,在现有技术中,这只能采用计算机系统或微处理器CPU,通过人工编写的计算机程序来实现,导致系统复杂化。3、神经网络的模拟技术,本来就是希望通过模拟网络来模拟和实现人工智能,而按照现有技术,这种人工智能的模拟网络的工作,还需要依赖于一个计算机系统通过复杂的人工程序来控制,显然,这种无法脱离计算机系统和人工程序的神经模拟网络,是无法真正模拟出自然形成的人脑工作的,更会阻碍模拟人工智能的智能水平的提高,(受到计算机系统及其人工程序的设计水平的限制)。这也是现有神经元及神经网络模拟技术所存在的问题。
申请人通过对神经元动作电位的形成和产生机制的进一步研究,注意到神经元在整合输入刺激(膜兴奋)而产生动作电位的过程中,还会由于输入刺激信号的变化形态的细微不同,以及神经元外部的化学物质环境受周围其他神经元动作的影响,而以不同的产生方式来形成产生不同亚型的动作电位,并带来工作结果的重大差异。根据这些研究结果,申请人设计了更完善的神经元模拟技术,来解决上述现有技术的不足。
为了说明本发明设计原理,需进一步分析神经元动作电位形成过程,以及神经元在什么情况下、如何在不同位置爆发不同亚型的动作电位。图4是神经元轴突部分的结构示意图。跟图1一样,神经元主要由胞体1、树突2和轴突3构成。轴突3从胞体至轴突末梢又可分为轴突始段4(axon initial segment,简称 AIS),朗飞氏结5(node of Ranvier),和轴突末梢,轴突始段4即AIS又分为接近胞体的AIS近段6,和离胞体较远的AIS远段7。目前的理论一般认为,虽然神经元动作电位的爆发理论上可发生于神经元任何位置,但对于大部分神经元,AIS也即轴突始段4是动作电位的触发区。这一位置的细胞膜具有高密度的电压门控Na+离子通道,造成其阀电位较其他位置低,所以更容易被触发并爆发动作电位。来自树突的由其他神经元通过突触传递过来的兴奋性信号,向胞体和轴突扩布传递,并在轴突始段即AIS进行整合,当整合的兴奋信号的电位达到或超过阀电位时,大量的Na+离子通道被打开,产生动作电位爆发。动作电位爆发后一方面向轴突末梢传递,作用于下一神经元,即形成神经元的反射动作;另一方面动作电位向胞体和树突做反向传递,作用于分布在胞体和树突上的突触后膜,并因此而产生STDP突触可塑性。动作电位爆发后,还使细胞膜去极化,消除残留的兴奋电位,(即神经元模拟装置中的膜放电电路的作用),等待下一次新的整合过程。
按照目前的上述理论,神经元动作电位的爆发,便会反向传递到胞体和树突,作用于胞体和树突上的突触后膜,并使这些突触产生可塑性,包括突触增强LTP和突触抑制LTD。简单看这似乎合理又有意义,按照目前的关于学习和记忆的“突触可塑性学说”,突触可塑性是形成记忆的基础因素,大脑的学习记忆活动依赖突触可塑性而实现。这也是目前大多神经元及神经网络的模拟技术中关于模拟学习和记忆功能的设计理论基础。
但进一步分析,会发现这面临一个令人困惑又难以回避的问题。按照目前关于学习的记忆的“突触可塑性学说”,信息记忆的获得(记)与重新获取(忆)使用了相同的机制:输入的信息通过激活突触可塑性并造成突触结构的改变来实现记忆获取(记),在之后,又通过再次激活这些突触结构来实现对信息记忆的再次获取(忆)。那么,这里存在的问题是:如果在信息记忆的再获取(忆)的过程中,需要再次激活这些编码着信息的突触结构,并造成又一次激活突触可塑性的过程,则必然会影响已获得的记忆的稳定性,造成对现有记忆的干扰或破坏。但我们所知的事实却并非如此:当信息输入大脑时,在大多数情况下,我们只是根据原有记忆(知识、经历、经验、习惯等)对所输入的信息进行判断处理,形成思维或行动, (甚至在很多情况下,这种思维和行动还都是无意识地自然地产生的),而并非对所有输入信息都进行记忆处理。而且,如果我们没有刻意地去更改更新原有的信息记忆,则对信息记忆的再获取(回忆),并不会造成对原有记忆的干扰或破坏。所以,目前也有理论认为,记忆的获得(记)和重新获取(忆)可能使用了不同的工作机制,但到底使用了如何不同的工作机制,则对此尚未有进一步研究成果。
近来有最新的研究揭示,动作电位具有Na+离子通道的V1.2和V1.6两种亚型,其中V1.6亚型动作电位的触发阈值较低,在AIS远段爆发,爆发时动作电位只向轴突末梢单向传递,进行信号整合和传递。而V1.2亚型的动作电位的触发阈值较高,在胞体爆发,(触发阈值较高的V1.2亚型的动作电位也可能在 AIS近胞体段爆发,为了叙述方便,在本申请文件中,对于V1.2亚型动作电位的爆发位置,即使只写胞体,实际也包括AIS的近胞体段),爆发时既向轴突末梢传递,也反向向胞体和树突传递,会改变突触的传递特性,产生STDP突触可塑性现象。但对于大脑为什么会和为什么要形成这两种不同的动作电位亚型,这两种不同亚型的动作电位的形成过程,以及与大脑宏观上生理功能的对应,仍没有研究结果。有研究结果认为是由于在AIS上Na+离子通道的密度分布不同造成的,但为什么会造成这种离子通道的不同分布,是什么神经活动导致了这种差别,离子通道的密度不同又如何造成两种动作电位的形成爆发,目前都未有解释。
而且,按照现有理论,动作电位一旦在神经元的任何位置爆发,则必然会激活周围的钠离子通道,使大量钠离子内流,进一步加快去极化,从而使动作电位沿细胞膜快速传导至整个神经元,并造成神经元由于去极化而无法再形成动作电位(不应期)。现在存在的问题是:在神经元对输入兴奋信号的膜整合过程,整合的兴奋电位一旦达到AIS远段V1.6亚型的较低的触发阈值,自然会先在这里爆发动作电位,并传导至整个神经元,使整个神经元的膜去极化,清除所有兴奋电位,使得高阈值的V1.2亚型动作电位根本就没机会形成爆发。那么,为什么神经元还会在胞体或IAS近胞体段爆发高阈值的V1.2亚型动作电位?在什么情况下,神经元才会出现这种情况?这在宏观上又对应着什么生理现象?
我们需要分析大脑形成记忆的情况,也就是明确宏观上大脑在什么情况下才会形成记忆。根据我们的实际体验,可以发现:当信息输入大脑时,在大多数情况下,大脑只是根据原有记忆对所输入的信息进行反射处理,形成思维或行动,而并非进行记忆处理。大脑一般只在以下两种情况下才形成记忆:一、输入的信息足够强烈,使我们“印象很深”,不自觉但又立即地记住这一信息,形成记忆。这第一种情况属于“被动性记忆”,比如,发现某一新鲜事物,知道了某一个久未解答的问题答案,或者其他刺激很深刻的信息。二、是我们在主观上“下意识”地要去记忆某些信息,通过启动高度的注意力,去输入(通过看、读或想)并努力记住信息,这需要大脑“下意识”,也即启动高度注意力来实现。这第二种情况属于“主动性记忆”,我们日常学习知识的行为,和其他主动记忆过程,都是属于这种情况。
那么,结合神经元动作电位的形成过程,申请人得到这样的分析结果:来自树突输入的兴奋信号,传递到胞体和IAS段进行整合,在一般情况下,将首先在触发阈值较低的IAS远段触发而形成动作电位,这种动作电位只向轴突末梢做单向传递,并通过轴突末梢的突触前膜向前面的其他神经元进行兴奋信号传递,这是一种信号单向传送过程,在宏观上表现为对输入信息进行反应性的反射处理。在这种情况下,在胞体上的具有高阈值而且通道密度又较低的V1.2亚型钠离子通道,起到一种阻碍作用,以致IAS远段爆发的动作电位并没有能够向胞体和树突进行反向传递,所以也就没有产生记忆。
而神经元要能够在胞体或IAS近胞体段爆发高阈值的动作电位,从而触发突触STDP可塑性并引发记忆效应,则存在以下两种产生机制:一、由于树突输入的兴奋信号在传递中是先到达胞体,然后再到达轴突IAS远段,在这一传递过程中,兴奋信号存在一定的强度衰减和时间延迟,如果兴奋信号足够强,既具有足够高的幅度,(大于胞体的触发阈值),而且又具有足够陡的电压上升斜率,(上升斜率k=dv/dt),以致于在兴奋信号传递到轴突IAS远段并触发形成低阈值的动作电位之前,兴奋信号已经在胞体位置整合并达到或超过胞体的阈电位,于是先于IAS远段而直接在胞体上爆发高阈值的V1.2亚型动作电位。由于这时胞体对自己不存在阻碍作用,所以胞体上爆发的高阈值动作电位,便能够一方面向轴突末梢传递,产生反射处理,另一方面也同时向全胞体和树突反向传递,到达胞体和树突上的突触后膜,使这些突触能够产生突触可塑性,从而实现记忆效应。第一种产生机制的特征就是输入的兴奋信号足够强烈,这对应于宏观上我们大脑对信息产生记忆的第一种情况,即“被动性记忆”。二、第二种产生机制对应于宏观上大脑产生记忆的第二种情况,即“主动性记忆”,由大脑主动“下意识”去进行记忆的情况。这则是通过神经元之间的调制活动来实现的。当大脑进行“下意识”记忆时,通过“注意”控制通路的神经元活动,(大脑的“注意”控制通路与丘脑和下丘脑有关),改变了信息通路的神经元的状态,使其对兴奋信号的整合和钠离子通道的激活机制产生变化,从而能够在胞体和IAS近段爆发动作电位,产生突触STDP可塑性。这种调制活动,有可能是“注意”控制通路的神经元通过调制性突触来实现。但申请人推测这种调制活动,并非跟兴奋性信号一样是通过化学突触来实现,而更可能是通过非突触传递(接触传递)来实现的。在海马等容易产生记忆效应的脑区,(类似的还有杏仁核、纹状体等),其椎体细胞排列极其紧密,其间又少有胶质细胞,为电流向邻近细胞流动提供基础,当大脑启动“下意识”记忆时,“注意”控制通路的一些神经细胞出现激活,即爆发动作电位,使其膜外出现电流。虽然这不会直接引发周围信息通路的神经细胞的兴奋动作,但这些活动电流容易通过细胞间隙流向周围神经细胞,引起周围神经细胞的胞体的细胞膜出现跨膜电位,对钠离子通道的激活产生显著影响。比如,活动电流使胞体的细胞膜出现跨膜电位,由于这一电位是去极化电位,所以直接拉低了胞体上V1.2亚型的钠离子通道的阈值,或者改变了其通道的激活机制,使其更容易爆发动作电位,从而使得神经元能够直接在胞体或IAS近段爆发V1.2亚型的动作电位, (先于IAS远段的V1.6亚型动作电位的爆发),并能够向胞体和树突进行反向传递,引发胞体和树突上的突触产生突触可塑性,形成记忆效应。
综上述,神经元对树突输入信号的整合和反应,在一般情况下是在轴突IAS远段爆发低阈值动作电位,并向轴突末梢做单向传递,形成对输入信息的反应性反射活动,这是信息再获取(忆起)的过程,也是大脑思维和反射活动的过程。这一过程动作电位没有向胞体和树突反向传递,不会引发跟它们连接的突触产生突触可塑性,所以也就不会影响原有已形成的记忆的稳定性。而神经元在两种情况下,通过两种不同的产生机制,(对应着大脑形成“被动性记忆”和“主动性记忆”的两种情况),才会在胞体或IAS近段爆发高阈值的动作电位,既向轴突末梢传递形成信息反射,又同时向胞体和树突反向传递,引发跟它们连接的突触产生突触可塑性,从而形成记忆。所以,信息记忆的获得(记)跟再获取(忆)虽然是通过相同的神经元通道,但却是采用了不同的工作机制来实现,保证了信息再获取的过程(也是思维和其他反射活动的过程)不会对原有记忆形成破坏和影响,更加符合大脑的工作状况。
至于为什么IAS远段爆发的V1.6亚型动作电位并没有能够向胞体和树突进行反向传递,这有可能是胞体上的抑制性突触发生作用:当胞体上的抑制性突触活动时,胞体上的细胞膜负离子(氯负离子)通道打开,引起氯负离子内流,使得当IAS远段爆发的动作电位接近胞体时,抑制性突触产生的作用抵消了动作电位的去极化(钠正离子内流),从而阻碍了动作电位向胞体和树突反向传递。但是,申请人更愿意推测,其原因可能是钠离子通道存在我们所未知的空间结构和工作机制。以往的理论认为,神经元上的钠离子通道是彼此独立且呈现一样的电压门控激活机制,所以一旦爆发动作电位,由于动作电位远超过其门控电压,必然会激活其他钠离子通道,从而使动作电位扩布到整个神经元。但申请人认为,我们以往对钠离子通道的认识可能过于简单:可能神经元不同位置的钠离子通道具有不同的空间结构,导致其激活机制显著不同;或者,也可能钠离子通道具有一样的空间结构,但因神经调质的调制或外部电位的影响而表现出显著不同的激活机制;再或者,也可能仅仅只是不同钠离子通道具有略有不同的触发阈值,但却导致其激活机制的显著不同。总之,钠离子通道的不同激活机制,导致在轴突IAS远段爆发的动作电位,无法激活胞体和IAS近胞体段的钠离子通道,造成动作电位无法向胞体和树突反向传递。(估计这也是不管树突输入的兴奋信号大小如何,一般都无法直接在树突触发形成动作电位,而只能传递到胞体或IAS进行整合才能触发形成动作电位的原因之一)。
申请人根据上述研究和分析,针对这两种动作电位的两种不同的产生机制及其形成过程,公开了本发明的两种神经元模拟装置及其方法。
图5是本发明的第一种神经元模拟装置的电路原理方框图。本发明的第一种神经元模拟装置,包括有树突输入端(用于模拟神经元的树突输入)、信号处理模块(用于模拟神经元对信号进行整合和处理的部分)、和轴突输出端(用于模拟神经元的轴突输出);作为现有技术,信号处理模块包括有膜积分电路(用于模拟对膜输入兴奋电位整合的过程,一般常采用电阻和电容组成RC充电电路来构成膜积分电路)、膜放电电路(用于模拟动作电位触发后膜电位的去极化并形成不应期的动作,有时也被称为去极化电路,一般常采用开关元件导通使膜积分电路的电容放电)、阈值触发电路(用于模拟膜电位的兴奋整合达到触发阈值时神经元触发动作电位的动作,一般常使用电压比较器电路。为了区分,在本发明称其为第一阈值触发电路,其触发阈值为V1)、和动作电位脉冲产生电路(用于模拟动作电位的输出脉冲,为了区分,在本发明称其为第一动作电位脉冲产生电路),一般还包括有动作电位的输出电路,(没有实质性模拟功能,只是用于隔离放大动作电位脉冲产生电路所产生的动作电位脉冲信号);其具体连接关系是:树突输入端连接到膜积分电路的输入端,膜积分电路的输出端连接第一阈值触发电路的输入端,第一阈值触发电路的输出端连接第一动作电位脉冲产生电路的输入端;第一动作电位脉冲产生电路的输出端通过输出电路连接到轴突输出端;第一动作电位脉冲产生电路的输出端同时连接到膜积分放电电路。
本发明的特征在于:所述神经元模拟装置还包括有第二阈值触发电路,第二阈值触发电路的输入端连接到膜积分电路的输出端,第二阈值触发电路的输出端连接到第二动作电位脉冲产生电路,第二动作电位脉冲产生电路的输出端连接轴突输出端,第二动作电位脉冲产生电路的输出端还同时通过一反向传输通道连接到树突输入端。第二阈值触发电路设定的触发阈值V2大于第一阈值触发电路设定的触发阈值V1。其差值视V1的设定值以及膜积分电路的积分设置而定,一般设为比V1大10%至35%较为合适。
上述神经元模拟装置在工作时,在普通情况下,树突输入端输入的信号经过膜积分电路的整合积分后输出,当输出信号电压缓慢上升达到第一阈值触发电路时,第一阈值触发电路触发,使第一动作电位脉冲产生电路输出动作电位脉冲,通过输出电路输出到轴突输出端,实现对输入信号的整合和反射功能,并同时通过膜放电电路使膜积分电路的电容放电,等待下一次对输入信号的整合处理,并且拉低积分输出电压,使第二阈值触发电路不会触发。而当树突输入端输入的信号很强烈,以致膜积分电路输出信号的电压值上升非常快,在第一阈值触发电路触发的同时,(或接近于同时,使得第一阈值触发电路还来不及使膜放电电路拉低膜积分电路的输出电压),第二阈值触发电路也跟着触发,使第二动作电位脉冲产生电路输出动作电位脉冲,既输出到轴突输出端,并同时反向传输到树突输入端,形成树突上的突触STDP可塑性所需要的锋电位信号。
本发明的第二阈值触发电路用于模拟神经元爆发高触发阈值动作电位的第一种产生原因及其生物学意义,即胞体或树突输入的兴奋信号非常强烈时,其整合后的膜兴奋电位上升斜率很陡,以致直接在胞体或AIS近胞体段直接爆发高触发阈值的动作电位。神经元通过在轴突AIS远段爆发触发阈值较低的动作电位来实现信息反射,通过在胞体或AIS近胞体段爆发触发阈值较高的的动作电位来实现信息记忆,但以往的技术由于对存在这两种不同亚型动作电位的重要性缺乏认识,特别是对神经元爆发两种不同亚型的动作电位的实质原因,以及在什么情况下会爆发哪一种亚型缺乏认识,所以没有对这方面做更准确的模拟,而实际上这对于解释和模拟同一神经元如何工作于反射和记忆两种不同状态,是尤其重要的。
作为一种优化方案,第一阈值触发电路的输入端与膜积分电路的输出端之间,加有一信号延迟电路。使得膜积分电路的输出信号,传递到第一阈值触发电路的输入端的时间,比传递到第二阈值触发电路输入端的时间,会有一个短暂的延迟。延迟时间取值很小,具体视膜积分电路的时间参数而定,一般情况下,大约可取为积分时间常数的5%至25%之间。信号延迟电路的设置使得当树突输入端输入强烈的信号时, (即神经元出现能够爆发高阈值动作电位的第一种情况时),第二阈值触发电路能够可靠地先于第一阈值触发电路而触发。该方案用于模拟从树突输入和整合的兴奋信号传递到轴突的AIS远段时,需要一段短暂的时间。这一短暂的时间延迟在以往的技术中,由于对其生物学的意义不了解,所以没有被人所重视和模拟。而申请人注意到,对该时间延迟的模拟,能够更准确地模拟树突输入的兴奋信号的整合传递、与动作电位爆发的位置及其不同亚型之间的密切关系,与真正的大脑神经元的工作情况更相符合,更准确的模拟出大脑神经元产生记忆的工作情形。
作为另一种优化方案,第二动作电位脉冲产生电路的输出端还同时连接到膜放电电路。本来膜放电电路的工作可以由第一动作电位脉冲产生电路的输出来完成,但将两个脉冲产生电路的输出端各自对膜放电电路进行控制,会更符合神经元两种动作电位的工作过程,并使得不会出现两种动作电位脉冲重复产生叠加的情况。
进一步,所述的神经元模拟装置还带有一个用于切换记忆/反射工作状态的“注意控制端”,(用于通过外部信号来直接控制切换神经元模拟装置是以反射状态还是以记忆状态进行工作);所述的第二阈值触发电路,带有阈值调节电路,用于调低第二阈值触发电路的电压触发阈值,(使第二阈值触发电路的触发电压V2小于第一阈值触发电路的触发电压V1);阈值调节电路的输入控制端,连接到“注意控制端”。工作时,“注意控制端”可以连接到其他神经元的轴突输出端,由所连接的其他神经元的兴奋活动进行调制,或者,直接在高电平与低电平状态中进行切换,也即直接使神经元模拟装置在信息记忆与反射处理的两种工作状态进行切换。当“注意控制端”没有输入控制信号时,神经元被切换在“反射”工作状态,按照上面所述的工作机制进行工作;而当“注意控制端”输入出现有效控制信号时,神经元被切换在“记忆”工作状态,通过阈值调节电路调低第二阈值触发电路的电压触发阈值使其低于第一阈值触发电路的触发阈值,这时当膜积分电路的输出信号在不断整合上升时,第二阈值触发电路将先于第一阈值触发电路而触发动作,使第二动作电位脉冲产生电路输出动作电位脉冲,既输出到轴突输出端,也同时反向输出到树突输入端,形成树突上的突触STDP可塑性所需要的锋电位信号。该技术方案用于准确模拟神经元爆发高触发阈值的动作电位的第二种产生原因,所述的“注意控制端”对第二阈值触发电路的设定电压阈值的调节,是模拟大脑进行“下意识记忆”(也即高度注意力)工作时,通过注意力控制通路的神经元的激活,对相关神经元的胞体或AIS近胞体段的细胞膜Na离子通道产生了接触传递(非突触传递)的调制作用,使其能够在胞体或AIS近胞体段爆发高触发阈值的动作电位,产生动作电位反向传输现象,从而产生突触STDP 可塑性,实现对信息的记忆功能。现有技术由于对爆发高阈值动作电位的这一形成原因缺乏理论认识,所以没有相关模拟技术。
作为进一步改进,所述的“注意控制端”,还带有一个工作状态的延迟保持电路,用于使工作状态保持一定时间。该改进用于模拟注意力控制通路的神经元,对信息处理通路的神经元的Na离子通道的调制作用,具有一定时间的保持效应,更符合大脑的工作情况。
相应的,本发明的第一种神经元的模拟方法,包括:
⑴、对树突输入端输入的信号进行积分;(即对应于模拟装置的积分电路对树突输入端的输入信号进行积分);⑵、检测积分后的电压信号,(相当于采用两个阈值触发电路来检测积分电路的输出端);⑶、如果该电压信号小于设定值1,则神经元不产生动作,(相当于积分电路的输出电压小于第一阈值触发电路的触发电压V1也即设定值1);如果该电压信号等于或大于设定值1但其上升斜率小于设定值2,(上升斜率k=dv/dt,设定值2等于V2/T,其中V2为第二阈值触发电路的触发电压,T为第一阈值触发电路输入端所加的信号延迟电路的信号延迟时间,一般T为膜积分电路的积分设定时间的5%至25%。这种情况相当于积分电路的输出电压大于第一阈值触发电路的触发电压V1,但在设定时间T也即信号延迟电路的信号延迟时间之内无法达到或超过第二阈值触发电路的触发电压V2),则触发产生一个动作电位脉冲,输出到轴突输出端,(相当于第一阈值触发电路触发产生动作电位而第二阈值触发电路没有触发),同时将积分输出的电压信号值清零;如果该电压信号等于或大于设定值1且其上升斜率等于或大于设定值2,(相当于积分电路的输出电压大于第一阈值触发电路的触发电压V1,且在设定时间T之内达到或超过第二阈值触发电路的触发电压V2),则触发产生一个动作电位脉冲,既输出到轴突输出端又同时反向输出到树突输入端,(相当于第二阈值触发电路触发产生动作电位,既输送到轴突输出端又同时通过反向传输通道输送到轴突输入端),同时将积分输出的电压信号值清零。
进一步,本发明的神经元模拟方法还通过一个“注意控制端”的信号状态来切换记忆和反射两种不同工作状态,(用于通过外部控制信号来控制切换神经元模拟装置是以反射状态还是以记忆状态进行工作);当“注意控制端”信号状态为“反射”状态时,神经元按前述模拟方法进行工作;当“注意控制端”信号状态为“记忆”状态时,则将上述第⑶步改为:如果该电压信号小于设定值1,则神经元不产生动作;如果该电压信号等于或大于设定值1,则触发产生动作电位脉冲,既输出到轴突输出端又同时反向输出到树突输入端,(相当于“注意控制端”通过阈值调节电路调低第二阈值触发电路的触发电压V2,使V2等于或略小于V1,这时当积分电压达到V1时,第二阈值触发电路便已经触发产生动作电位,既输送到轴突输出端又同时通过反向传输通道输送到轴突输入端),同时将积分输出的电压信号值清零。
图6是一种采用单片机来实现图5所示的神经元模拟装置的具体电路。其中R601、C601构成对树突输入端输入信号的膜积分电路,C601是膜积分电容;MCU601是单片机,其中I/O1是第一阈值触发电路的输入端,R602、C602构成其输入的延迟电路,I/O3是第一动作电位脉冲产生电路的输出端;I/O2是第二阈值触发电路的输入端,I/O4是第二动作电位脉冲产生电路的输出端;三极管T601构成膜放电电路,导通时对C601进行放电;T602、T603构成动作电位的输出电路;T604、T605接受I/O4的输出,放大后反向输出到树突输入端;C603、R603构成“注意控制端”输入信号的延迟保持电路,并输入到I/O5,当输入达到一定电平幅度(有效)时,通过里面的阈值调节电路对第二阈值触发电路的触发阈值进行调整。MCU601通过其程序,根据图5的神经元模拟装置的工作原理及本发明的神经元模拟方法,来实现其阈值触发和动作电位的产生和逻辑功能,这属于该领域技术人员无需创造性便可实现的技术。为了附图简洁,图6也没有标出单片机的其他必要的但属于常规技术的外围电路。
图7是实现图5的神经元模拟装置的另一种电路原理图,该电路无需采用单片机。其中其中R701、 C701构成对树突输入端输入信号的膜积分电路,C701是膜积分电容;R702、C702构成输入的延迟电路; IC701、IC702(电压比较器)构成第一和第二阈值触发电路;T703、IC703(555时基电路)和T704、IC704 构成第一和第二动作电位脉冲产生电路;T705、T706构成动作电位脉冲的输出电路;T701构成膜放电电路;C703、R703构成“注意控制端”输入信号的延迟保持电路,有输入信号时通过T702导通拉低第二阈值触发电路即IC702的反相输入端基准电压的电压值,也即拉低IC2的触发阈值。
图8是本发明的第二种神经元模拟装置的电路方框图。该神经元模拟装置同样包括有树突输入端(用于模拟树突)、信号处理模块(用于模拟神经元对信号进行整合和处理的部分)、和轴突输出端(用于模拟轴突);作为现有技术,信号处理模块包括有膜积分电路(用于模拟对膜输入兴奋电位整合的过程)、膜放电电路(用于模拟动作电位触发后膜电位的去极化并形成不应期的动作)、阈值触发电路电路(用于模拟膜电位的兴奋整合达到阈值时神经元触发动作电位的动作,为了区分,在本发明中称其为第一阈值触发电路,其触发阈值为V1)、和第一动作电位脉冲产生电路(用于模拟动作电位的输出脉冲),一般还包括有动作电位的输出电路,用于隔离放大脉冲产生电路所产生的动作电位脉冲;其具体的连接关系是:树突输入端连接到膜积分电路的输入端,膜积分电路的输出端连接到第一阈值触发电路的输入端,第一阈值触发电路的输出端连接到第一动作电位脉冲产生电路的输入端;第一动作电位脉冲产生电路的输出端连接轴突输出端;第一动作电位脉冲产生电路的输出端同时连接到膜放电电路;本发明的技术特征在于:所述的神经元模拟装置还带有动作电位反向传输通道;第一动作电位脉冲产生电路的输出端,通过该反向传输通道连接到树突输入端;反向传输通道的通断受到一个反向传输控制电路的控制;反向传输控制电路的控制输入端,连接到一个用于切换记忆/反射工作状态的“注意控制端”。
该神经元模拟装置的工作,是采用“注意控制端”直接对神经元模拟装置在信息记忆和反射处理两种工作状态之间进行切换控制,也即是当“注意控制端”输入有效,即处于“记忆”状态时,通过直接打开反向传输控制电路,使得当神经元爆发动作电位时,动作电位能够同时通过反向传输通道向树突端进行反向传输,从而使连接在树突上的突触装置能够产生突触STDP可塑性,以实现对信息的记忆功能。而当“注意控制端”处于“反射”状态时,关闭反向传输控制电路,动作电位只向轴突输出而没有反向传输,从而只产生对输入信号的整合和反射功能而没有记忆功能。
作为优化,在“注意控制端”与反向传输控制电路的控制输入端之间,还设置有一个工作状态的延迟保持电路,用于使工作状态保持一定时间。该方案用于模拟注意力控制通路的神经元,对信息处理通路神经元的Na离子通道的调制作用,具有一定时间的保持效应。
上述第二种神经元模拟装置,是通过注意控制端来直接控制神经元的动作电位反向传输通道,是模拟神经元第二种产生动作电位反向传输的情况,即大脑通过“下意识记忆”(高度注意力)来实现记忆动作。当然在这一基础上,也可以再同时模拟神经元另一种产生动作电位反向传输的情况,即树突输入的兴奋信号非常强烈时,直接导致神经元爆发高触发阈值的动作电位,并向胞体和树突反向传输。要模拟这种工作情况,可以使神经元模拟装置再包括有一个第二阈值触发电路,第二阈值触发电路的输入端连接到膜积分电路的输出端,第二阈值触发电路的输出端连接到反向传输控制电路的控制输入端。第二阈值触发电路用于模拟胞体或ISA近胞体段所爆发的高阈值动作电位,所以第二阈值触发电路设定的触发阈值V2大于第一阈值触发电路设定的触发阈值V1。一般V2比V1大10%至35%较为合适。
同样的,作为上述方案的一种优化,在这种情况下,最好在第一阈值触发电路的输入端与膜积分电路的输出端之间,设置有一个信号延迟电路。该方案用于模拟从树突输入的兴奋信号传递到轴突的AIS远段的一段短暂的时间延迟,其技术效果和意义上面已有叙述。
作为另一种优化,在第二阈值触发电路的输出端与反向传输控制电路的控制输入端之间,还设置有一个触发延时保持电路。其工作是:当第二阈值触发电路的输出端产生输出信号时,触发延时保持电路被触发输出控制信号、并且使输出信号保持一定延时时间,从而通过输出信号使反向传输控制电路打开导通并在一定时间内保持导通状态。触发延时保持电路的触发延时时间应该略大于动作电位脉冲电路产生的动作电位的脉冲宽度,以便使动作电位脉冲的反向传输过程,更完整可靠。
相应地,本发明的第二种神经元模拟方法,包括:
⑴、对树突输入端输入的信号进行积分;(即对应于模拟装置的积分电路对树突输入端的输入信号进行积分);⑵、检测积分后的输出电压信号,(相当于第一阈值触发电路检测积分电路的输出端信号),如果该电压信号小于设定值1,则不产生动作,(相当于积分电路的输出电压小于第一阈值触发电路的触发电压 V1,这时第一阈值触发电路没有触发动作);⑶、如果积分后的电压信号大于设定值1,(相当于积分电路的输出电压大于第一阈值触发电路的触发电压V1),则检测“注意控制端”的信号状态;
如果“注意控制端”信号状态为“反射”状态(比如为低电平0),则神经元以“反射”方式进行工作,神经元触发产生一个动作电位脉冲,输出到轴突输出端,(相当于第一阈值触发电路触发,第一动作电位脉冲电路产生动作电位,并传送到轴突输出端),同时将积分后的电压信号值清零;(相当于膜放电电路动作,将膜积分电路的电容放电);
如果“注意控制端”信号状态为“记忆”状态(比如高电平1),则神经元以“记忆”方式工作,(相当于反向传输控制电路打开导通),神经元触发产生一个动作电位脉冲,既输出到轴突输出端,又反向输出到树突输入端;(相当于第一阈值触发电路触发,第一动作电位脉冲产生电路产生动作电位,既传送到轴突输出端,又同时通过反向传输电路传送到树突输入端),同时将积分后的电压信号值清零;(相当于膜放电电路动作,将膜积分电路电容放电)。
同样的作为一种优化,所述的“注意控制端”,还带有一个工作状态的延迟保持电路,用于使工作状态保持一定时间,这时将检测“注意控制端”的信号状态改为检测延迟保持电路的输出端的状态。该改进用于模拟注意力控制通路的神经元,对信息处理通路的神经元的Na离子通道的调制作用,具有一定时间的保持效应。
上述第二种神经元模拟方法,是通过“注意控制端”来直接控制切换神经元的工作方式,是模拟神经元的第二种产生动作电位反向传输的情况,即大脑通过“下意识记忆”(也即高度注意力)来实现记忆动作。在这一基础上,也可以再同时模拟神经元另一种产生动作电位反向传输的情况,即树突输入的兴奋信号非常强烈时,直接导致神经元爆发高触发阈值的动作电位,并向胞体和树突反向传输。这时其模拟方法还进一步包括:
⑷、检测积分后的电压信号,如果该电压信号在大于设定值1的同时其电压上升斜率还大于设定值2,(电压上升斜率k=dv/dt,设定值2等于V2/T,其中V2为第二阈值触发电路的触发阈值,T为第一阈值触发电路输入端所加的信号延迟电路的信号延迟时间。这种情况相当于积分电路的输出电压大于第一阈值触发电路的触发电压V1,且在设定时间T之内达到或超过第二阈值触发电路的触发电压V2),则使神经元以“记忆”方式进行工作,(相当于第二阈值触发电路输出触发信号,使反向传输控制电路打开导通),神经元触发产生一个动作电位脉冲,既输出到轴突输出端,又反向输出到树突输入端;(相当于第一动作电位脉冲电路产生动作电位,既传送到轴突输出端,又同时通过反向传输电路传送到树突输入端),同时将积分后的电压信号值清零;(相当于膜放电电路动作,将膜积分电路的电容放电)。
图9是一种采用单片机来实现图8所示的神经元模拟装置的具体电路。其中R901、C901构成对树突输入端输入信号的膜积分电路,C901是膜积分电容;MCU901是单片机,其中I/O1是第一阈值触发电路的输入端,R902、C902构成其输入的延迟电路,I/O3是第一动作电位脉冲产生电路的输出端;I/O2是第二阈值触发电路的输入端,I/O4是触发延时保持电路的输出端;T901构成膜放电电路;T905、T906构成动作电位脉冲的输出电路;C903、R903构成“注意控制端”输入信号的延迟保持电路;T904构成反向传输控制电路,用于对来自输出电路的反向传输通道的动作电位信号进行开关控制;T902接受“注意控制端”的控制、T903接受I/O4的输出控制,并同时控制T904的通断。
图10是实现图8神经元模拟装置的另一种电路原理图,该电路无需采用单片机。其中其中R101、 C101构成膜积分电路;R102、C102构成输入的延迟电路;IC101、IC102(电压比较器)构成第一和第二阈值触发电路;T103、IC103(555时基电路)构成第一动作电位脉冲产生电路;T104、IC104构成触发延时保持电路;T105、T106构成动作电位脉冲的输出电路;T101构成膜放电电路;T107构成反向传输控制电路;C103、R103构成“注意控制端”输入信号的延迟保持电路,有信号输入时通过T102使T107 导通。T102同时也受IC104的控制,当其有输出时,同样通过T102使T107导通,也即打开动作电位的反向传输通道。
而作为对本发明的上述的两种神经元的模拟装置或模拟方法的进一步改进,所述神经元模拟装置都还带有调制性突触输入电路及调制性突触输入端;调制性突触输入端连接到调制性突触输入电路的输入端,调制性突触输入电路的输出端连接到膜积分电路的输出端。所述调制性突触输入电路包括两方面:增强性突触输入电路及其增强性突触输入端,抑制性突触输入电路及其抑制性突触输入端。这些调制性输入电路使得神经元模拟装置除了具有用于兴奋性信号输入用的树突输入端,还具有用于对信息处理进行调制作用的“轴突—轴突”型突触输入功能。注意本发明的调制性输入信号并非接在膜积分电路的输入端,所以它不像树突输入的兴奋性信号一样直接参与膜电位的整合并能够直接触发动作电位,而是接在膜积分电路的输出端,形成一个调制电压对膜积分输出电压进行增强或抑制,通过对膜积分输出电压的影响,来对从树突输入和整合的兴奋信号能否触发动作电位进行调制。这一功能有利于构建多通道多信息互相调制的复杂神经网络,以模拟经验或情绪(快乐、恐惧、犒赏、成瘾等)对神经元信息处理的影响。
图11是调制性输入电路的电路原理图。电路只画出增加的调制电路部分,即这一部分是可增加到图 6、图7、图9或图10的神经元模拟装置的电路上的,其中膜积分电容CX也即各个电路的膜积分电路中的积分电容,如图6的C601。增强性调制输入端的信号经过电阻分压后输入到反向器F111(数字门电路) 的输入端,当输入信号有效时,反向器F112正输出,通过电阻R111和R112分压后,通过D111向电容 C111充电,使电容两端达到一定电压(一般可为第一阈值触发电路触发电压的三分之一至二分之一),该电压一方面通过R113泄放(泄放时间也即大约等于调制的有效时间),一方面通过R114和D112加到膜积分电容CX上,使膜积分电容具有一定的初始电压;而在膜积分电容的电压超过初始电压时,由于二极管D112的单向作用又不会对膜积分电容的电压产生影响。这样,当其树突输入端输入脉冲信号时,膜积分电容上的电压更容易达到阈值触发电路的触发电压,所以更容易触发产生动作电位,也即实现了增强性调制的目的。抑制性调制的工作类似,只是电容C112上产生的较低的电压,由于D114的反向作用并不会给膜积分电容产生初始电压,而在膜积分电容的电压较高时,反而通过D114和R118形成分流,使膜积分电容的电压不容易达到触发电压,阈值触发电路不容易触发,达到抑制性调制的目的。
配合本发明工作的突触模拟装置,可采用现有技术中能够充分模拟化学突触的工作特征的各种模拟装置,也可采用本发明母案申请所公开的突触模拟技术。
需要说明的是,本申请文件所公开的电路图中,一般只画出和标出与工作原理有关的元件,而对于电源供给、电源稳压、抗干扰、单片机的启动复位等等外围相关电路,属于电子领域的常规技术,则为了附图简洁而没有标出。
在本发明的各种模拟技术中,除了电路的原理设计,还有一些主要参数的设定。在大脑的实际工作中,各种工作时程的时间跨度特别大,比如:动作电位的脉冲宽度从几毫秒到几十毫秒;神经元膜电位的整合过程大约在几十毫秒到上百毫秒;调制性突触发生调制作用的时间可能几秒钟到几十分钟;海马神经元用于记忆活动时短时程可塑性和长时程可塑性的时间可从几分钟到几小时到几天;而脑皮层的神经元将一个“预制性”的突触激活发育成一个“有效性”的突触,或者新生长出一个有效突触,则需要很多天甚至几年的时间。对于神经模拟网络的工作,特别是采用神经模拟网络来实验和演示神经元活动的工作,要采用同样的时间跨度那是不现实的,所以为了方便我们只能根据工作需要,按照各种工作时程的长短关系,另行设定各个工作时程的时间值。另外,神经网络中的电位变化和信号幅度大多是几毫伏到几十毫伏的电压值,模拟电路如果采用这一数量级来工作,则既难以设置也容易受电磁干扰而工作不正常,所以我们也只能另行设定各种信号和变化的电压值。
作为一种示例,以下给出各个工作时程和各种信号电压的一种数值,这一示例适合于将神经元模拟装置、突触模拟装置做成实验器材,用于构造神经模拟网络,模拟和演示神经元和突触对信号的反射和记忆等活动情况,并以此研究和揭示大脑的更多的工作机制。
模拟装置工作电压:DC12伏。
动作电位脉冲宽度:10毫秒。
动作电位脉冲峰值:≥11伏。
第一阈值触发电路设定触发阈值:3伏。
第二阈值触发电路设定触发阈值:3.7伏。
第一阈值触发电路输入端的信号延迟电路的延迟时间:约20毫秒。
膜积分电路的信号整合触发条件:在100毫秒内输入的兴奋信号使膜积分电路的输出电压达到第一阈值触发电路设定触发阈值。
动作电位触发后不应期:约100毫秒。
调制性信号(包括增强性和抑制性)有效期:约10秒。
突触后膜输出信号标准幅度:8伏,(无突触可塑性时)。
突触后膜输出信号最大幅度:10伏,(突触可塑性LTP最大时)。
突触后膜输出信号最小幅度:6伏,(突触可塑性LDP最大时)。
“可塑性突触”的长时程突触可塑性有效期:约5分钟。
“预制性突触”的门限控制电路的设定门限值1:8伏。
“预制性突触”的门限控制电路的设定门限值2:5伏。
“预制性”突触激活为“有效性”突触的一种条件:在10分钟内出现10次满足STDP规则的LTP 效应的前后神经元锋电位信号。
按照以上数值,再根据电学的理论和公式,便可设定和计算各个RC电路和分压电路的阻容元件的具体数值。当然上述数值可以根据演示实验的实际需要进行调整。
另外,本发明为2014106066977号中国专利申请的分案申请,鉴于母案申请的说明书篇幅过大,本申请文件删除部分跟本申请关系不大的内容,包括突触模拟装置和模拟神经网络方面的内容。至于如何采用本发明的神经元模拟装置搭配突触模拟装置来构建模拟神经网络,可参见母案申请。

Claims (10)

1.一种神经元模拟装置,(即说明书所述的第二种神经元模拟装置,说明书所述的第一种神经元模拟装置已在母案申请被授权),包括有树突输入端、信号处理模块、轴突输出端;信号处理模块包括有膜积分电路、膜放电电路、第一阈值触发电路、和第一动作电位脉冲产生电路,其特征在于:所述的神经元模拟装置还带有动作电位反向传输通道;第一动作电位脉冲产生电路的输出端,通过该反向传输通道连接到树突输入端;反向传输通道的通断受到一个反向传输控制电路的控制;反向传输控制电路的控制输入端,连接到一个用于切换神经元记忆/反射工作状态的“注意控制端”。
2.根据权利要求1所述的神经元模拟装置,其特征在于:所述的“注意控制端”与反向传输控制电路的控制输入端之间,还设置有一个工作状态的延迟保持电路。
3.根据权利要求1或2所述的神经元模拟装置,其特征在于:所述神经元模拟装置还包括有一个第二阈值触发电路,第二阈值触发电路的输入端连接到膜积分电路的输出端,第二阈值触发电路的输出端连接到反向传输控制电路的控制输入端。
4.根据权利要求3所述的神经元模拟装置,其特征在于:在第一阈值触发电路的输入端与膜积分电路的输出端之间,设置有一个信号延迟电路。
5.根据权利要求3所述的神经元模拟装置,其特征在于:在第二阈值触发电路的输出端与反向传输控制电路的控制输入端之间,还设置有一个触发延时保持电路。
6.根据权利要求1所述的神经元模拟装置,其特征在于:所述神经元模拟装置还带有调制性突触输入电路及调制性突触输入端;调制性突触输入端连接到调制性突触输入电路的输入端,调制性突触输入电路的输出端连接到膜积分电路的输出端。
7.一种神经元模拟方法,(即本申请的说明书所述的第二种神经元模拟方法),包括:
⑴、对树突输入端输入的信号进行积分;
⑵、检测积分后的电压信号,如果该电压信号小于设定值1,则不产生动作;
⑶、如果积分后的电压信号等于或大于设定值1,则检测“注意控制端”的信号状态;
如果“注意控制端”信号状态为“反射”状态,则神经元产生动作电位脉冲,输出到轴突输出端,同时将积分后的电压信号值清零;
如果“注意控制端”信号状态为“记忆”状态,则神经元产生动作电位脉冲,既输出到轴突输出端,又反向输出到树突输入端,同时将积分后的电压信号值清零。
8.根据权利要求7所述的神经元模拟方法,其特征在于:所述的“注意控制端”还带有一个工作状态的延迟保持电路。
9.根据权利要求7所述的神经元模拟方法,其特征在于:所述模拟方法还进一步包括:
⑷、检测积分后的积分电压信号,如果该电压信号大于设定值1的同时其电压上升斜率还大于设定值2,则神经元产生一个动作电位脉冲,既输出到轴突输出端,又反向输出到树突输入端;同时将积分后的电压信号值清零。
10.另一种神经元的模拟方法,(即本申请的说明书所述的第一种神经元模拟方法),包括:
⑴、对树突输入端输入的信号进行积分;
⑵、检测积分后的电压信号;
⑶、如果该电压信号小于设定值1,则神经元不产生动作;如果该电压信号等于或大于设定值1但其电压上升斜率小于设定值2,则触发产生动作电位脉冲,输出到轴突输出端,同时将积分后的电压信号清零;如果该电压信号等于或大于设定值1且其电压上升斜率等于或大于设定值2,则触发产生动作电位脉冲,既输出到轴突输出端又同时反向输出到树突输入端,同时将积分后的电压信号清零。
所述的神经元模拟方法还通过一个“注意控制端”的信号状态来切换记忆和反射两种不同工作状态;
当“注意控制端”信号状态为“反射”时,神经元按上述的方法进行工作;
当“注意控制端”信号状态为“记忆”时,第⑶步改为:如果该电压信号小于设定值1,则神经元不产生动作;如果该电压信号等于或大于设定值1,则神经元触发产生动作电位脉冲,既输出到轴突输出端又同时反向输出到树突输入端,同时将积分后的电压信号清零。
CN201910669575.5A 2014-07-21 2014-10-30 具有不同工作形态的神经元模拟方法及装置 Pending CN111275178A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201410347070 2014-07-21
CN2014103470704 2014-07-21
CN201410606697.7A CN104899640B (zh) 2014-07-21 2014-10-30 神经网络的模拟装置及方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201410606697.7A Division CN104899640B (zh) 2014-07-21 2014-10-30 神经网络的模拟装置及方法

Publications (1)

Publication Number Publication Date
CN111275178A true CN111275178A (zh) 2020-06-12

Family

ID=54032293

Family Applications (5)

Application Number Title Priority Date Filing Date
CN201910669575.5A Pending CN111275178A (zh) 2014-07-21 2014-10-30 具有不同工作形态的神经元模拟方法及装置
CN201710012154.6A Active CN107045649B (zh) 2014-07-21 2014-10-30 具有短期记忆和长期记忆的模拟神经网络
CN201910669674.3A Pending CN111291873A (zh) 2014-07-21 2014-10-30 预制性突触的模拟方法及装置
CN201410606697.7A Active CN104899640B (zh) 2014-07-21 2014-10-30 神经网络的模拟装置及方法
CN201910694308.3A Pending CN111353590A (zh) 2014-07-21 2014-10-30 具有stdp突触可塑性的突触模拟方法及装置

Family Applications After (4)

Application Number Title Priority Date Filing Date
CN201710012154.6A Active CN107045649B (zh) 2014-07-21 2014-10-30 具有短期记忆和长期记忆的模拟神经网络
CN201910669674.3A Pending CN111291873A (zh) 2014-07-21 2014-10-30 预制性突触的模拟方法及装置
CN201410606697.7A Active CN104899640B (zh) 2014-07-21 2014-10-30 神经网络的模拟装置及方法
CN201910694308.3A Pending CN111353590A (zh) 2014-07-21 2014-10-30 具有stdp突触可塑性的突触模拟方法及装置

Country Status (1)

Country Link
CN (5) CN111275178A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220012099A (ko) * 2020-07-22 2022-02-03 울산과학기술원 운동정보 디코딩을 위한 뇌신경 세포 간의 운동관련 네트워크 특성 추출 방법 및 장치

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105426957B (zh) * 2015-11-06 2017-09-29 兰州理工大学 一种电磁辐射下的神经元电活动模拟器
CN105279557B (zh) * 2015-11-13 2022-01-14 徐志强 基于人脑工作机制的记忆和思维模拟装置
CN107688853B (zh) * 2016-08-05 2020-01-10 中科寒武纪科技股份有限公司 一种用于执行神经网络运算的装置及方法
WO2018094717A1 (zh) * 2016-11-28 2018-05-31 华为技术有限公司 基于脉冲神经网络的信号处理方法和装置
CN107480597B (zh) * 2017-07-18 2020-02-07 南京信息工程大学 一种基于神经网络模型的机器人避障方法
CN108875919B (zh) * 2017-07-21 2021-04-02 北京旷视科技有限公司 数据处理装置、数据处理方法和存储介质产品
KR102083258B1 (ko) * 2017-11-15 2020-03-02 한양대학교 산학협력단 시냅스소자에서 가중치에 대한 비대칭성을 최소화하는 펄스 구동 장치 및 그 방법
CN109255430B (zh) * 2018-07-12 2022-03-15 电子科技大学 一种神经元编码电路
CN110751273A (zh) * 2018-07-22 2020-02-04 徐志强 一种神经元及突触模拟组件
CN109102071B (zh) * 2018-08-07 2020-12-11 中国科学院微电子研究所 一种神经元电路以及神经网络电路
CN109191498B (zh) * 2018-09-05 2021-04-02 中国科学院自动化研究所 基于动态记忆和运动感知的目标检测方法及系统
CN109325596B (zh) * 2018-09-17 2024-03-26 中国传媒大学 一种基于钙浓度的神经突触可塑性计算方法
CN109460785B (zh) * 2018-10-24 2021-09-24 广东工业大学 一种基于gpu加速的锋电位实时分类的方法
CN109374021B (zh) * 2018-10-30 2020-10-30 广州发展集团股份有限公司 物理量抗干扰采集系统、方法、装置及计算机设备
CN109886384B (zh) * 2019-02-15 2021-01-05 北京工业大学 一种基于鼠脑海马网格细胞重构的仿生导航方法
DE112020002169T5 (de) * 2019-04-29 2022-03-24 Ams International Ag Recheneffiziente implementierung eines analogen neurons
CN110263924B (zh) * 2019-06-19 2021-08-17 北京计算机技术及应用研究所 一种神经元群模型的参数和状态估计方法
CN110097171B (zh) * 2019-06-19 2020-04-21 吉林大学 一种基于蝎子微振动定位机理的活动轨迹定位方法及系统
CN110390386B (zh) * 2019-06-28 2022-07-29 南京信息工程大学 基于输入变化微分的灵敏长短期记忆方法
CN110472726B (zh) * 2019-07-25 2022-08-02 南京信息工程大学 基于输出变化微分的灵敏长短期记忆方法
CN110490299B (zh) * 2019-07-25 2022-07-29 南京信息工程大学 基于状态变化微分的灵敏长短期记忆方法
CN110991628B (zh) * 2019-11-02 2023-04-18 复旦大学 一种基于电荷泵的神经元电路
CN110931123B (zh) * 2019-12-06 2024-01-05 深圳市德力凯医疗设备股份有限公司 一种矩阵型脑网络及其构建方法
CN112016684B (zh) * 2020-08-06 2022-09-02 广西大学 一种深度并行柔性发射网络的电力终端指纹识别方法
CN112101535B (zh) * 2020-08-21 2024-04-09 深圳微灵医疗科技有限公司 脉冲神经元的信号处理方法及相关装置
CN112149813B (zh) * 2020-09-18 2022-05-13 明峰医疗系统股份有限公司 基于神经网络的探测器积分电容动态调节方法
CN112232440B (zh) * 2020-11-10 2022-11-11 北京理工大学 一种运用特异化神经元团实现脉冲神经网络信息记忆和区分的方法
CN112819142B (zh) * 2021-02-04 2024-01-19 成都市深思创芯科技有限公司 一种短时突触可塑性工作记忆计算系统及方法
CN113658493B (zh) * 2021-08-20 2023-05-02 安徽大学 一种用于模拟联想记忆的强化学习仿生电路架构

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA893371A (en) * 1972-02-15 W. Rork Danny Associative memory systems
EP0486684A1 (en) * 1990-05-22 1992-05-27 International Business Machines Corporation Virtual neurocomputer architectures for neural networks
JPH04283884A (ja) * 1991-03-13 1992-10-08 Res Dev Corp Of Japan アナログ逆伝搬学習回路とその駆動方法
US5220559A (en) * 1988-08-31 1993-06-15 Fujitsu Limited Neuron architecture
US5864835A (en) * 1997-03-24 1999-01-26 Gorelik; Vladimir A. Apparatus for simulating a biological neuron
US20020169729A1 (en) * 2001-03-20 2002-11-14 Winbond Electronics Corp. Voltage-mode pulse width modulation VLSI implementation of neural networks
US20090076993A1 (en) * 2007-09-18 2009-03-19 International Business Machines Corporation System and method for cortical simulation
US20100076916A1 (en) * 2008-09-21 2010-03-25 Van Der Made Peter Aj Autonomous Learning Dynamic Artificial Neural Computing Device and Brain Inspired System
CN101770560A (zh) * 2008-12-31 2010-07-07 南方医科大学 模拟生物神经元信息处理机制的信息处理方法及装置
US20100299297A1 (en) * 2009-05-21 2010-11-25 International Business Machines Corporation System for electronic learning synapse with spike-timing dependent plasticity using phase change memory
CN103530690A (zh) * 2013-10-31 2014-01-22 中国科学院上海微系统与信息技术研究所 一种神经元器件及神经网络

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5438646A (en) * 1992-08-19 1995-08-01 Nec Electronics, Inc. Feed-forward neural network
EP1182609A1 (de) * 2000-08-25 2002-02-27 Peter Bezler Schaltungsanordnung zur Simulation neuronaler Netzwerke und zur positionsunabhängigen Mustererkennung
CN101771412B (zh) * 2008-12-31 2013-01-02 南方医科大学 基于神经元工作原理的模数转换方法及装置
US8515885B2 (en) * 2010-10-29 2013-08-20 International Business Machines Corporation Neuromorphic and synaptronic spiking neural network with synaptic weights learned using simulation
US9147155B2 (en) * 2011-08-16 2015-09-29 Qualcomm Incorporated Method and apparatus for neural temporal coding, learning and recognition
CN102496385B (zh) * 2011-12-26 2014-04-16 电子科技大学 一种脉冲时序活动性转换电路
CN102610274B (zh) * 2012-04-06 2014-10-15 电子科技大学 一种阻变突触权值调整电路
CN103078055B (zh) * 2013-01-04 2015-06-03 华中科技大学 一种模拟生物神经突触的单元、装置及方法
CN103078054B (zh) * 2013-01-04 2015-06-03 华中科技大学 一种模拟生物神经元和神经突触的单元、装置及方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA893371A (en) * 1972-02-15 W. Rork Danny Associative memory systems
US5220559A (en) * 1988-08-31 1993-06-15 Fujitsu Limited Neuron architecture
EP0486684A1 (en) * 1990-05-22 1992-05-27 International Business Machines Corporation Virtual neurocomputer architectures for neural networks
JPH04283884A (ja) * 1991-03-13 1992-10-08 Res Dev Corp Of Japan アナログ逆伝搬学習回路とその駆動方法
US5864835A (en) * 1997-03-24 1999-01-26 Gorelik; Vladimir A. Apparatus for simulating a biological neuron
US20020169729A1 (en) * 2001-03-20 2002-11-14 Winbond Electronics Corp. Voltage-mode pulse width modulation VLSI implementation of neural networks
US20090076993A1 (en) * 2007-09-18 2009-03-19 International Business Machines Corporation System and method for cortical simulation
US20100076916A1 (en) * 2008-09-21 2010-03-25 Van Der Made Peter Aj Autonomous Learning Dynamic Artificial Neural Computing Device and Brain Inspired System
CN101770560A (zh) * 2008-12-31 2010-07-07 南方医科大学 模拟生物神经元信息处理机制的信息处理方法及装置
US20100299297A1 (en) * 2009-05-21 2010-11-25 International Business Machines Corporation System for electronic learning synapse with spike-timing dependent plasticity using phase change memory
CN103530690A (zh) * 2013-10-31 2014-01-22 中国科学院上海微系统与信息技术研究所 一种神经元器件及神经网络

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
ALEXEI A. KOULAKOV ET.AL: "Model for a robust neural integrator", NATURE NEUROSCIENCE, vol. 5, no. 8, pages 775 *
熊莹等: "一种脉冲编码CMOS神经元电路的设计与实现", 电子器件, vol. 34, no. 3, pages 286 - 291 *
舒友生;: "中枢神经系统内神经元信号处理(英文)", 生理学报, vol. 63, no. 1, pages 1 - 8 *
陈军等: "具有自适应反馈突触的神经元模型中的混沌:电路设计", 物理学报, vol. 60, no. 5, pages 050503 - 1 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220012099A (ko) * 2020-07-22 2022-02-03 울산과학기술원 운동정보 디코딩을 위한 뇌신경 세포 간의 운동관련 네트워크 특성 추출 방법 및 장치
KR102459296B1 (ko) 2020-07-22 2022-10-27 울산과학기술원 운동정보 디코딩을 위한 뇌신경 세포 간의 운동관련 네트워크 특성 추출 방법 및 장치

Also Published As

Publication number Publication date
CN107045649A (zh) 2017-08-15
CN107045649B (zh) 2020-06-02
CN104899640B (zh) 2019-09-10
CN104899640A (zh) 2015-09-09
CN111353590A (zh) 2020-06-30
CN111291873A (zh) 2020-06-16

Similar Documents

Publication Publication Date Title
CN111275178A (zh) 具有不同工作形态的神经元模拟方法及装置
Wilson Simplified dynamics of human and mammalian neocortical neurons
Harmon et al. Neural modeling.
US8250011B2 (en) Autonomous learning dynamic artificial neural computing device and brain inspired system
Aiello et al. The cost of an action potential
Sieling et al. Differential roles of nonsynaptic and synaptic plasticity in operant reward learning-induced compulsive behavior
Zhang et al. Improved learning experience memristor model and application as neural network synapse
KR20150128781A (ko) 인공 뉴런 및 멤리스터를 갖는 장치
Gerasimova et al. Simulation of synaptic coupling of neuron-like generators via a memristive device
Milo et al. Attractor networks and associative memories with STDP learning in RRAM synapses
Covi et al. Spike-driven threshold-based learning with memristive synapses and neuromorphic silicon neurons
Jaeger Cerebellar nuclei and cerebellar learning
CN111967589A (zh) 神经元模拟电路及其驱动方法、神经网络装置
Gerasimova et al. A neurohybrid memristive system for adaptive stimulation of hippocampus
Senn et al. An algorithm for synaptic modification based on exact timing of pre-and post-synaptic action potentials
Lee et al. An electronic neuron with input-specific spiking
Cataldo et al. Computational model of a central pattern generator
Stöckel et al. A Biologically Plausible Spiking Neural Model of Eyeblink Conditioning in the Cerebellum.
Neymotin et al. Training oscillatory dynamics with spike-timing-dependent plasticity in a computer model of neocortex
Suresh et al. An empirical analysis of leaky integrate and fire neuron model
Gilbert Gating by Memory: a Theory of Learning in the Cerebellum
Minne Interactions between synaptic plasticity and switches in brain states for memory consolidation: a modeling study
Garenne et al. A discrete approach for a model of temporal learning by the cerebellum: in silico classical conditioning of the eyeblink reflex
Denham The dynamics of learning and memory: Lessons from neuroscience
Poirazi Information processing in single cells and small networks: insights from compartmental models

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination