CN210924660U

CN210924660U - 类神经电路

Info

Publication number: CN210924660U
Application number: CN201922155621.8U
Authority: CN
Inventors: 林仲汉; 邱青松
Original assignee: Quanxin Technology Co ltd; Jiangsu Advanced Memory Technology Co Ltd
Current assignee: Beijing times full core storage technology Co.,Ltd.
Priority date: 2019-12-05
Filing date: 2019-12-05
Publication date: 2020-07-03
Anticipated expiration: 2029-12-05

Abstract

一种类神经电路包含一突触电路以及一后神经元电路。突触电路包含一相变化元件、一第一开关以及一第二开关。相变化元件包含一第一端以及一第二端。第一开关包含一第一端以及一第二端。第二开关包含一第一端、一第二端以及一控制端。第一开关用以接收一第一脉冲信号。第二开关耦接相变化元件以及第一开关。第二开关用以接收一第二脉冲信号。后神经元电路包含一电容以及一输入端。后神经元电路的输入端响应于第一脉冲信号而对电容充电。后神经元电路依据电容的电压位准与一电压门槛值产生一激发信号。后神经元电路依据激发信号产生一控制信号。控制信号控制第二开关导通，第二脉冲信号流经第二开关，以控制相变化元件的状态，进而决定类神经电路的一权重。

Description

类神经电路

技术领域

本实用新型中所述实施例内容是有关于一种电路技术，特别关于一种类神经电路。

背景技术

生物体中包含神经网络系统。神经网络系统包含许多神经元(neuron)。神经元是由Heinrich Wilhelm Gottfried von Waldeyer-Hartz在1891年提出。神经元是取得大脑离散信息的处理单位。在1897年，Charles Sherrington将两个神经元之间的交界(junction)称作“突触”(synapse)。大脑离散信息沿着一个方向流过突触。根据此方向，区分为“前(presynaptic)神经元”和“后(postsynaptic)神经元”。神经元在接收到足够的输入而启动时，会发出“尖峰(spike)”。

理论上，被捕获的经验化作大脑中突触的传导(conductance)。根据前神经元和后神经元的相对尖峰时间，突触传导会随时间变化。如果后神经元在前神经元激发(fire)之前激发，突触电导会增加。如果两个激发的顺序相反，突触电导会降低。另外，这种变化会取决于两个事件之间的延迟。延迟越多，变化的幅度越小。

人造神经网络允许电子系统以类似于生物大脑方式运作。神经元系统可以包括对生物神经元进行建模的各种电子电路。

神经网络系统会影响到生物体的感知、选择、决定或其他各种行为，因此神经网络系统在生物体中扮演相当重要的角色。倘若可利用电路建造出类似生物体中的神经网络系统，将会对许多领域产生关键性的影响。

举例而言，美国专利9,830,981或中国专利107111783中提及可利用相变化元件以及其他元件建构出类神经网络系统。

实用新型内容

本实用新型的一些实施方式是关于一种类神经电路。类神经电路包含一突触电路以及一后神经元电路。突触电路包含一相变化元件、一第一开关以及一第二开关。相变化元件包含一第一端以及一第二端。第一开关包含一第一端以及一第二端。第二开关包含一第一端、一第二端以及一控制端。第一开关用以接收一第一脉冲信号。第二开关耦接相变化元件以及第一开关。第二开关用以接收一第二脉冲信号。后神经元电路包含一电容以及一输入端。后神经元电路的输入端响应于第一脉冲信号而对电容充电。后神经元电路依据电容的电压位准与一电压门槛值产生一激发信号。后神经元电路依据激发信号产生一控制信号。控制信号控制第二开关导通，第二脉冲信号流经第二开关，以控制相变化元件的状态，进而决定类神经电路的一权重。

在一些实施例中，第一开关的第一端用以接收第一脉冲信号，第二开关的第一端用以接收第二脉冲信号，且第一开关的第二端与第二开关的第二端耦接于相变化元件的第一端，相变化元件的第二端耦接后神经元电路的输入端，且第二开关的控制端用以接收后神经元电路的控制信号。

在一些实施例中，第一开关为二极管。

在一些实施例中，后神经元电路包含一比较器、一延迟电路以及一脉冲信号产生器。比较器用以比较电容的电压位准与电压门槛值，以产生激发信号。延迟电路用以延迟激发信号。脉冲信号产生器用以依据延迟后的激发信号产生控制信号。

综上所述，本实用新型的类神经电路，可利用电路建造出类神经网络系统。

附图说明

为让本实用新型的上述和其他目的、特征、优点与实施例能够更明显易懂，所附附图的说明如下：

图1是依照本实用新型一些实施例所绘示的一类神经电路的示意图；

图2是依照本实用新型一些实施例所绘示的一类神经电路的示意图；

图3是依照本实用新型一些实施例所绘示的一控制电路的示意图；

图4是依照本实用新型一些实施例所绘示一类神经电路的信号的波形图；

图5是依照本实用新型一些实施例所绘示的一类神经电路的示意图；

图6是一开关的示意图；

图7是一开关的示意图；

图8A是一开关的示意图；

图8B是图8A的开关的结构示意图；以及

图9是依照本实用新型一些实施例所绘示的一类神经电路的运作方法的流程图。

【符号说明】

100…类神经电路

120…突触电路

130…前神经元电路

131…轴突驱动

140…后神经元电路

141…晶体管

142…晶体管

500…类神经电路

520…突触电路

701…区

702…区

900…运作方法

PCM…相变化元件

D1…开关

SW2…开关

G1…脉冲信号产生器

G2…脉冲信号产生器

PS1…脉冲信号

PS2…脉冲信号

C1…电容

R1…电阻

GND…地端

Vp…电压位准

V_th…电压门槛值

COM…比较器

CON…控制电路

FIRE…激发信号

IN…控制电路输入端

OUT…控制电路输出端

Vdd…电源

TD…延迟电路

G3…脉冲信号产生器

CS…控制信号

Tp…脉冲时间

T1…脉冲时间

T…脉冲时间

T/2…时间区间

td…延迟时间

t1…时间点

t2…时间点

t3…时间点

t4…时间点

SW1…开关

SWR1…开关

SWR2…开关

SWR3…开关

S910、S920、S930、S940、S950、S960…操作

具体实施方式

在本文中所使用的用词“耦接”亦可指“电性耦接”，且用词“连接”亦可指“电性连接”。“耦接”及“连接”亦可指二个或多个元件相互配合或相互互动。

请参考图1以及图2。图1以及图2是依照本实用新型一些实施例所绘示的类神经电路100的示意图。

以图1示例而言，类神经电路100包含突触电路(synapse circuit)120、突触前神经元电路(pre-synaptic neuron circuit)130(以下简称“前神经元”130)以及突触后神经元电路(post-synaptic neuron circuit)140(以下简称“后神经元”140)。前神经元130包含轴突驱动(axon driver)131。轴突驱动131包含脉冲信号产生器G1以及脉冲信号产生器G2。后神经元140包含有树突(dendrite)且用以接收信号。在一些实施例中，前神经元130的轴突驱动131发送尖峰信号(spike)，经由突触电路120传送给后神经元140的树突(dendrite)，以刺激后神经元140。如此，可达到类似于神经网络系统中信号传递的功效。

突触电路120包含相变化元件PCM、开关D1以及开关SW2。相变化元件PCM包含相变材料。相变材料会基于电流脉冲的大小与/或脉冲的持续时间不同而具有不同晶相。不同的晶相具有不同的物理特性。举例而言，结晶相或多晶相电阻值低，而非结晶相的电阻值高。据此，讯息可储存在对应的晶相中。

开关D1是以二极管实现。开关SW2是以晶体管实现。具体而言，开关D1包含第一端以及第二端。第一端为阳极端且第二端为阴极端。开关D1的第一端耦接脉冲信号产生器G1以接收脉冲信号PS1。开关SW2的第一端耦接脉冲信号产生器G2以接收脉冲信号PS2。开关D1的第二端以及开关SW2的第二端耦接相变化元件PCM的第一端。相变化元件PCM的第二端耦接后神经元140。开关SW2的控制端耦接后神经元140，以接收来自后神经元140的控制信号CS。

后神经元140包含控制电路CON、电容C1、电阻R1、比较器COM、延迟电路TD以及脉冲信号产生器G3。电容C1以及电阻R1的第一端耦接地端GND。控制电路CON可控制信号由后神经元140输入或输出的路径。比较器COM包含正输入端、负输入端以及输出端。相变化元件PCM的第二端、电容C1的第二端以及电阻R1的第二端耦接比较器COM的正输入端。比较器COM的负输入端用以接收电压门槛值V_th。比较器COM的输出端耦接延迟电路TD。延迟电路TD耦接脉冲信号产生器G3。脉冲信号产生器G3耦接开关SW2的控制端。

后神经元140中的电容C1是模拟神经元的细胞膜电位。神经元细胞膜内外有多种带电离子。因为细胞膜内外带电离子的种类与电荷量的差异，会在电容C1反映出细胞膜内外的电压差(也称为膜电位)(以下简称为电压位准Vp)。神经元细胞膜上有大小不一而且可以控制带电离子进出的通道(channel)。细胞膜内外的带电离子可通过这些通道而造成电压位准Vp的值的改变。电阻R1就是模拟带电离子来回穿越通道的电性效应。从前神经元的轴突(axon)发送的脉冲信号，被后神经元的树突(dendrite)接收而改变后神经元细胞膜的膜电位(电压位准Vp)，其对应到后神经元140的行为效应就是对电容C1充电。如果上述的脉冲信号的强度够大，电容C1上的膜电位(电压位准Vp)超过电压门槛值V_th时，后神经元140就会输出激发信号FIRE。反之，若脉冲信号的强度不够大，电容C1上的电压虽然升高，但是没有超过电压门槛值V_th，后神经元140不会输出激发信号FIRE。另外，升高的膜电位(电压位准Vp)会逐渐经由电阻R1的漏电而降低。其在神经元细胞上的行为就是后神经元因前神经元的激发信号瞬间改变细胞膜内外的带电离子的浓度，然后带电离子又因经由细胞膜上的通道扩散平衡，使后神经元细胞膜的膜电位(电压位准Vp)恢复到平衡值。据此，由前神经元130发送脉冲信号到后神经元140的电容C1上的这条路径在电性上的行为称为泄漏积和与激发(leaky integration and fire，LIF)。神经元细胞膜电位(电压位准Vp)是泄漏积和与激发(LIF)的函数(Vp＝F(LIF))。

前神经元的激发信号经由突触(包含前神经元的轴突与后神经元的树突)影响后神经元的细胞膜电位。然而，即使是同样的激发信号，不同的前神经元对后神经元的细胞膜电位影响的大小不同。这可说是前后神经元之间突触权重(weighting，W)的大小不同。突触权重(W)是可塑性(或称可适应性)的。权重变化量(ΔW)的大小是前神经元激发时间点(t1)与后神经元激发时间点(t2)的时间差的函数(ΔW＝F(t2-t1))。换言之，突触权重变化量(ΔW)的大小与激发时间点t1与激发时间点t2之间的时间差有关，而且依该时间差的值适应性地调整突触权重W。因此，突触权重(W)涉及神经元之间因果关系的指标。如此，定义了一个代表突触(synapse)因前后神经元激发时间的相对关系而改变权重(W)的特性指标，其称为“尖峰依时可塑性”(Spike timing dependent plasticity，STDP)。突触的尖峰依时可塑性(STDP)也间接与泄漏积和与激发(LIF)有关连。这是因为泄漏积和与激发(LIF)可决定后神经元的激发时间点(t2)。在一些实施例中，突触的尖峰依时可塑性(STDP)表示突触电流传导性的可塑性。更具体地说，在一些实施例中，突触的尖峰依时可塑性(STDP)表示突触电阻的大小。

请参考图3。图3是依照本实用新型一些实施例所绘示的后神经元140中控制电路CON的示意图。以图3示例而言，控制电路CON包含控制电路输入端IN、控制电路输出端OUT、晶体管141以及晶体管142。晶体管141、142皆包含第一端(例如：栅极)、第二端(例如：源极)与第三端(例如：漏极)。两个晶体管141以及142是以串联方式连接。在一般状态下，晶体管141以及142均不导通，控制电路输入端IN电性连接到电源Vdd，且控制电路输出端OUT为浮接状态(Floating)。当晶体管141的栅极接收到一个具有脉冲时间Tp的脉冲电压/电流时，晶体管141导通，则控制电路输出端OUT输出具有相同脉冲时间Tp的脉冲电压/电流。控制电路输入端IN的脉冲结束之后，晶体管141截止，控制电路输出端OUT又回到浮接状态。

在一些实施例中，晶体管141为P型金属氧化物半导体场效晶体管(PMOS)。晶体管141的栅极与源极电性相连并连接至电源Vdd。控制电路输入端IN电性连接至晶体管141的栅极。晶体管142为N型金属氧化物半导体场效晶体管(NMOS)。晶体管142的栅极与源极电性连接并连接至地端GND。晶体管141的漏极与晶体管142的漏极相连接，并且连接至控制电路输出端OUT。

图4是依照本实用新型一些实施例所绘示的一类神经电路的信号的波形图。

请先一并参考图1以及图4。在前神经元130尚未发送尖峰信号前，后神经元140中电容C1的电压位准Vp经由电阻R1逐渐朝向一平衡电位。在一些实施例中，此平衡电位为接地电位，但本实用新型不以此为限。轴突驱动131里的脉冲信号产生器G1在时间点t1时发送脉冲信号PS1，脉冲信号PS1的脉冲时间T1为时间点t1到时间点t2。在脉冲时间T1，开关D1导通而开关SW2是关断状态。在一些实施例中，脉冲信号PS1又称为“轴突脉冲LIF”，其脉冲时间为100纳秒(ns)，但本实用新型不以此为限。脉冲信号PS1(轴突脉冲LIF)经由控制电路CON输入后神经元140的路径，脉冲信号PS1(轴突脉冲LIF)经过突触电路120的相变化元件PCM对电容C1的第二端(比较器COM的正输入端)充电。若在时间点t2之前(包含时间点t2)，电容C1的电压位准Vp高于比较器COM负输入端的电压门槛值V_th，此时比较器COM的输出端立即发送激发信号FIRE。据此，相变化元件PCM电阻值的大小可以控制电容C1充电速度的快慢。

接着，请一并参考图2以及图4。在时间点t2，轴突驱动131的脉冲信号产生器G2产生脉冲信号PS2，在一些实施例中，脉冲信号PS2又称为“轴突脉冲STDP”，在一些实施例中，脉冲信号PS2(轴突脉冲STDP)的脉冲时间T为100毫秒(ms)，但本实用新型不以此为限。脉冲信号PS2(轴突脉冲STDP)的脉冲时间T分为前后两段相等时间(T/2)的时间区间。前段时间区间(T/2)的脉冲由高电压逐渐降低，后段时间区间(T/2)的脉冲瞬间升高一电压值(未标示)，然后再逐渐升高电压。在脉冲信号PS1(轴突脉冲LIF)结束之后，后神经元140中电容C1的电压会经由电阻R1逐渐放电回到细胞膜电位的平衡值。

比较器COM输出端送出的激发信号FIRE经过延迟电路TD与脉冲信号产生器G3，以输出控制信号CS用以导通开关SW2。延迟电路TD会对激发信号FIRE加入延迟时间td。在一些实施例中，延迟时间td为50毫秒(ms)。经过上述的延迟时间td后，于时间点t3输出控制信号CS至开关SW2的栅极以导通开关SW2。控制信号CS的脉冲时间为时间点t3到时间点t4，控制信号CS在脉冲时间可以导通开关SW2。在一些实施例中，时间点t3到时间点t4为0.1毫秒(ms)。

在开关SW2导通期间，开关D1是关断状态。控制电路CON会将电流由电压源Vdd流经相变化元件PCM与开关SW2。此时横跨在开关SW2第一端与第二端的电压差大小可以调整流经开关SW2的电流大小。

在一些实施例中，控制信号CS的脉冲区间落在脉冲信号PS2(轴突脉冲STDP)的前段时间区间。此时横跨在开关SW2两端的电压差较大。据此，开关SW2瞬间流过较大的电流。因此，瞬间流经相变化元件PCM的电流较大，PCM较易呈非晶相状态，因此电阻值较大。在一些实施例中，控制信号CS的脉冲区间落在脉冲信号PS2(轴突脉冲STDP)后段时间区间。此时横跨在开关SW2两端的电压差较小。据此，开关SW2瞬间流过较小的电流。因此，瞬间流经相变化元件PCM的电流较小，PCM呈晶相或多晶相状态，因此电阻值较小。因脉冲信号PS2(轴突脉冲STDP)前后段时间区间的电压值非固定值，因此横跨在开关SW2两端的电压差呈现连续性的大小差异，所以流经相变化元件PCM的电流也会呈现连续性的大小变化。

基于上述，开关SW2的导通程度会影响到流经相变化元件PCM的电流大小。而相变化元件PCM的相会依据流经相变化元件PCM的电流大小而改变，进而改变相变化元件PCM的电阻值。相变化元件PCM的相可用以决定此类神经电路100的权重。权重则用以反映前神经元对后神经元的影响程度。举例而言，当前神经元对后神经元的刺激越多，此类神经电路100的权重会越重。

在一些实施例中，脉冲信号PS1(轴突脉冲LIF)的脉冲时间为0.1毫秒(ms)，脉冲信号PS2(轴突脉冲STDP)的脉冲时间为100毫秒(ms)，延迟电路TD的延迟时间td为50毫秒(ms)。控制信号CS经过上述的延迟时间td后，于时间t3点输出的控制信号CS刚好接近在脉冲信号PS2(轴突脉冲STDP)的时间区间的中间点。因此如果后神经元140的控制信号CS是由前神经元130的激发所造成的，则控制信号CS的时间点较可能会落在脉冲信号PS2(轴突脉冲STDP)的后段时间区间，因此其对应的突触电路120里的相变化元件PCM会设为低阻值，其代表对应的突触电路120有较佳的传导性，也就是说后神经元140的激发(激发信号FIRE)与前神经元130的激发与有较高的因果关系，所以突触电路120的权重(W)增加。

在另一些实施例中，如果后神经元140的激发(激发信号FIRE)是由另一个前神经元(未绘示)的激发所直接造成的，则控制信号CS较可能落在脉冲信号PS2(轴突脉冲STDP)的前段时间区间，因此前神经元130对应的突触电路120里的相变化元件PCM会设为高阻值，代表后神经元140的激发(激发信号FIRE)与前神经元130的激发的因果关系较低，因此突触电路120的权重(W)降低。

类神经电路100可利用上述运作进行学习行为，以实现类似生物体中的神经网络系统。

请参考图5。图5是依照本实用新型一些实施例所绘示的类神经电路500的示意图。图5的类神经电路500与图1的类神经电路100的差异在于，类神经电路500的突触电路520是以开关SW1取代类神经电路100中的开关D1。在图5中，开关SW1为N型金属氧化物半导体场效晶体管。

以图5示例而言，开关SW1包含至少三端(第一端、第二端以及控制端)。第一端为源极端，第二端为漏极端，且控制端为栅极端。开关SW1的第一端耦接脉冲信号产生器G1以接收脉冲信号PS1。开关SW1的第二端耦接相变化元件PCM。开关SW1的控制端耦接开关SW1的第一端。

类神经电路500的其余元件连接关系以及运作相似于图1的类神经电路100，故于此不再赘述。

请参考图6。图6是开关SWR1的示意图。以图6示例而言，开关SWR1为P型金属氧化物半导体场效晶体管，且开关SWR1的控制端耦接开关SWR1的第二端。在一些实施例中，开关SWR1可用以替换图5中的开关SW1，以完成相似的运作。

请参考图7。图7是开关SWR2的示意图。以图7示例而言，开关SWR2为双极性晶体管。在一些实施例中，开关SWR2可用以替换图5中的开关SW1，以完成相似的运作。

请参考图8A以及图8B。图8A是开关SWR3的示意图。图8B是图8A的开关SWR3的结构示意图。开关SWR3为接面场效晶体管。在一些实施例中，开关SWR3可用以替换图1中的开关D1，以完成相似的运作。其中第一区(N型区)701可作为阴极端，第二区(P型区)702可作为阳极端。

请参考图9。图9是依照本实用新型一些实施例所绘示的一类神经电路的运作方法900的流程图。以图9示例而言，运作方法900包含操作S910、操作S920、操作S930、操作S940、操作S950以及操作S960。在一些实施例中，运作方法900是应用于图1的类神经电路100，但本实用新型不以此为限。为了易于理解，以下将搭配图1进行讨论。

前神经元130包含有轴突(Axon)的角色，在操作S910中，前神经元130由轴突驱动131发送尖峰信号，经由突触电路120接收后发送至后神经元140。在一些实施例中，通过前神经元130的轴突发送脉冲信号PS1，通过突触电路120的第一开关D1接收脉冲信号PS1并发送至后神经元140。

在操作S920中，响应于脉冲信号PS1，对后神经元140(比较器COM)的输入端的充电。在一些实施例中，后神经元140包含有树突(dendrite)的角色，以接收来自突触电路120的信号。

在操作S930中，通过前神经元130的轴突驱动131发送脉冲信号PS2，通过突触电路120的开关SW2的第一端接收脉冲信号PS2。

在操作S940中，通过后神经元140依据输入端的电压位准Vp与电压门槛值V_th比较后产生激发信号FIRE。在一些实施例中，当电压位准Vp大于电压门槛值V_th时，比较器COM输出激发信号FIRE。

在操作S950中，通过后神经元140依据激发信号FIRE产生控制信号CS。在一些实施例中，延迟电路TD会加入延迟时间至激发信号FIRE，以产生控制信号CS。

在操作S960中，依据控制信号CS控制突触电路120的开关SW2的导通与否，配合开关SW2第一端所接收的第二脉冲信号PS2以控制突触电路120的相变化元件PCM的状态。据此，可根据相变化元件PCM的状态决定类神经电路100的权重。在一些实施例中，相变化元件PCM包含相变材料。相变材料的不同相对应不同电阻值。

上述运作方法900的叙述包含示例性的操作，但运作方法900的这些操作不必依所显示的顺序被执行。运作方法900的这些操作的顺序得以被变更，或者这些操作得以在适当的情况下被同时执行、部分同时执行或部分省略，皆在本实用新型的实施例的精神与范围内。

虽然本实用新型已以实施方式揭露如上，然其并非用以限定本实用新型，任何本领域具通常知识者，在不脱离本实用新型的精神和范围内，当可作各种的更动与润饰，因此本实用新型的保护范围当视所附的权利要求书所界定的范围为准。

Claims

1.一种类神经电路，其特征在于，包含：

一突触电路，包含：一相变化元件，包含一第一端以及一第二端；一第一开关，包含一第一端以及一第二端，该第一开关用以接收一第一脉冲信号；以及一第二开关，包含一第一端、一第二端以及一控制端，该第二开关耦接该相变化元件以及该第一开关，该第二开关用以接收一第二脉冲信号；以及

一后神经元电路，包含一电容与一输入端，该后神经元电路的输入端响应于该第一脉冲信号而对该电容充电，该后神经元电路依据该电容的一电压位准与一电压门槛值产生一激发信号，且该后神经元电路依据该激发信号产生一控制信号；

其中该控制信号控制该第二开关导通，该第二脉冲信号流经该第二开关，以控制该相变化元件的状态，进而决定该类神经电路的一权重。

2.根据权利要求1所述的类神经电路，其特征在于，其中该第一开关的第一端用以接收该第一脉冲信号，该第二开关的第一端用以接收该第二脉冲信号，且该第一开关的第二端与该第二开关的第二端耦接于该相变化元件的第一端，该相变化元件的第二端耦接该后神经元电路的输入端，且该第二开关的控制端用以接收该后神经元电路的该控制信号。

3.根据权利要求1或2所述的类神经电路，其特征在于，其中该第一开关为二极管。

4.根据权利要求3所述的类神经电路，其特征在于，其中该后神经元电路包含：

一比较器，用以比较该电容的该电压位准与该电压门槛值，以产生该激发信号；

一延迟电路，用以延迟该激发信号；以及

一脉冲信号产生器，用以依据延迟后的该激发信号产生该控制信号。