CN114429199A - 可扩展的仿神经电路 - Google Patents

可扩展的仿神经电路 Download PDF

Info

Publication number
CN114429199A
CN114429199A CN202111255117.0A CN202111255117A CN114429199A CN 114429199 A CN114429199 A CN 114429199A CN 202111255117 A CN202111255117 A CN 202111255117A CN 114429199 A CN114429199 A CN 114429199A
Authority
CN
China
Prior art keywords
array
synapse
neuron
arrays
synapses
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111255117.0A
Other languages
English (en)
Inventor
郭俊荣
李秀渊
金寅昊
朴钟极
李敬锡
金宰煜
朴钟佶
郑然周
黄圭元
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Korea Advanced Institute of Science and Technology KAIST
Original Assignee
Korea Advanced Institute of Science and Technology KAIST
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Korea Advanced Institute of Science and Technology KAIST filed Critical Korea Advanced Institute of Science and Technology KAIST
Publication of CN114429199A publication Critical patent/CN114429199A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C11/00—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor
    • G11C11/54—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using elements simulating biological cells, e.g. neuron
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G06N3/065—Analogue means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C11/00—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor
    • G11C11/02—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using magnetic elements
    • G11C11/16—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using magnetic elements using elements in which the storage effect is based on magnetic spin effect
    • G11C11/165—Auxiliary circuits
    • G11C11/1653—Address circuits or decoders
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C11/00—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor
    • G11C11/21—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using electric elements
    • G11C11/22—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using electric elements using ferroelectric elements
    • G11C11/225—Auxiliary circuits
    • G11C11/2253—Address circuits or decoders
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C13/00—Digital stores characterised by the use of storage elements not covered by groups G11C11/00, G11C23/00, or G11C25/00
    • G11C13/0002—Digital stores characterised by the use of storage elements not covered by groups G11C11/00, G11C23/00, or G11C25/00 using resistive RAM [RRAM] elements
    • G11C13/0021—Auxiliary circuits
    • G11C13/0023—Address circuits or decoders

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Neurology (AREA)
  • Computer Hardware Design (AREA)
  • Logic Circuits (AREA)
  • Semiconductor Memories (AREA)

Abstract

本发明的实施例的仿神经电路包括：第一神经元阵列，包括生成尖峰信号的多个神经元电路；第一突触阵列，包括将从所述第一神经元阵列接收的所述尖峰信号进行处理并输出的多个第一突触电路；第二突触阵列，包括多个第二突触电路；第一连接块，位于所述第一突触阵列与所述第二突触阵列之间，响应于控制信号来连接所述第一突触阵列与所述第二突触阵列；以及控制逻辑，生成所述控制信号。本发明的仿神经电路能够通过利用连接块将突触阵列扩展为多种大小，并且能够以硬件实现诸如剪枝(Pruning)以及随机失活(Dropout)等运算效果。

Description

可扩展的仿神经电路
技术领域
本发明涉及一种半导体装置，具体涉及可扩展的仿神经电路(ExpandableNeuromorphic Circuit)。
背景技术
随着计算范式从CPU中心系统转变为数据中心系统，需要一种新型的计算架构以克服现有的冯诺依曼架构(Von Neumann Architecture)的性能极限。尤其是，从生物学脑获得灵感的仿神经计算(Bio-inspired neuromorphic computing)是冯诺依曼结构的替代方案之一。与基于CMOS的神经元及突触相比，大多数新型的装置在电力消耗、扩展性以及计算速度等方面具有更高的潜力，因此，作为脑神经系统的基本构建区块，正在广泛研究用于人造神经(Neuron)及突触(Synapses)的新型装置。
人造突触的理想的模拟(analog)操作是基于人造神经网络算法的神经系统的高学习准确性的重要的要素之一。由于电尖峰重复，理想的模拟突触元件应当具有线性且对称的突触传导性更新(synapse conductance update)以及高开关阻抗比(On/Off ratio)的特性。因此，形成符合这种条件的突触元件存在诸多困难。另外，构建能够处理所需功能的大小合适的突触元件阵列或神经元元件阵列也存在诸多困难。
发明内容
技术问题
本发明的目的在于，提供一种可易于扩展的仿神经电路。
技术方案
本发明的一实施例的仿神经电路包括：第一神经元阵列，包括生成尖峰信号的多个神经元电路；第一突触阵列，包括将从所述第一神经元阵列接收的所述尖峰信号进行处理并输出的多个第一突触电路；第二突触阵列，包括多个第二突触电路；第一连接块，位于所述第一突触阵列与所述第二突触阵列之间，响应于控制信号来连接所述第一突触阵列与所述第二突触阵列；以及控制逻辑，生成所述控制信号。
在该实施例中，所述第一连接块包括多个开关，所述多个开关响应于所述控制信号，以不发生电平变化的方式传递所述多个第一突触电路的多个输入线路或多个输出线路的信号。
在该实施例中，所述多个开关各自包括互补通道晶体管逻辑(ComplementaryPass Transistor Logic)。
在该实施例中，进一步包括：第二神经元阵列，位于所述第一突触阵列与所述第一连接块之间；以及第三神经元阵列，与所述第二突触阵列的多个输出线路连接，并且生成输出尖峰信号。
在该实施例中，所述第二突触阵列相对于所述第一突触阵列形成于第一方向上，并且仿神经电路还包括：第三突触阵列，形成于相对于所述第一突触阵列垂直的第二方向上；以及第二连接块，连接所述第一突触阵列与所述第三突触阵列。
有益效果
根据上述本发明的实施例，仿神经电路能够使用连接块将突触元件阵列的大小扩展为所需的大小。
附图说明
图1是本发明的实施例的仿神经电路的示意框图。
图2是图1中示出的多个突触电路的电路模型的示意图。
图3是本发明的一实施例的可扩展的仿神经电路的示意图。
图4是图3中的第一连接块的构成的示意框图。
图5是图4中的第一开关的构成的示意电路图。
图6是本发明的另一实施例的仿神经电路的示意图。
图7是本发明的又另一实施例的仿神经电路的示意图。
具体实施方式
以下，参照附图对本发明的一些实施例进行详细说明。在对各张附图中的多个构成要素标注附图标记时，即便相同的构成要素示于不同的附图中，也尽可能地标注了相同的附图标记。另外，在对本发明进行说明时，当认为相关公知特征或功能的具体说明可能会混淆本发明的要点时，可省略其详细说明。
另外，在本发明的构成要素的说明中，可使用第一、第二、A、B、(a)、(b)等术语。这些术语只是用于区分一个构成要素与另一个构成要素，该构成要素的本质、次序、顺序或数量等不限于该术语。当记载为某个构成要素与另一个构成要素“连接”、“结合”或“衔接”时，既可理解为一个构成要素与另一个构成要素直接连接或接触，也可理解为其他构成要素“介于”各个构成要素之间，或各个构成要素通过其他构成要素“连接”、“结合”或“衔接”。
图1是本发明的实施例的仿神经电路的示意框图。仿神经电路100可包括第一神经元阵列110、突触阵列130、第二神经元阵列150、外围电路170以及控制逻辑190。
第一神经元阵列110生成尖峰信号并传递给突触阵列130。第一神经元阵列110可包括多个轴突(axon)，所述多个轴突生成多个输入尖峰信号。轴突类似于生物神经网络的轴突，具有能够向其他神经元输出信号的功能。例如，第一神经元阵列110的多个轴突分别能够基于从外部输入的数据和信息生成输入尖峰信号。输入尖峰信号可以是短时间切换(toggle)的脉冲信号。
突触阵列130能够连接第一神经元阵列110与第二神经元阵列150。突触阵列130可包括多个突触电路131，所述多个突触电路131用于决定第一神经元阵列110的多个轴突与第二神经元阵列150的多个神经元的连接与否以及连接强度。多个突触电路131能够处理通过行线133输入的尖峰信号，并通过列线135输出处理结果。用于构建多个突触电路131的元件可使用闪存、RRAM、PRAM、FRAM、MRAM等元件。
多个突触电路131可各自具有固有的权重值。多个突触电路131各自能够接收输入尖峰信号，并对输入尖峰信号施加权重值。权重值可以是表示上述轴突与神经元之间的相关关系、第一神经元阵列110的多个轴突与第二神经元阵列150的多个神经元之间的连接强度、输入尖峰信号与第二神经元阵列150的相关关系等的数字化的值。多个突触电路131各自能够根据输入尖峰信号向第二神经元阵列150输出权重值。多个突触电路131各自能够基于输入尖峰信号和权重值生成运算信号并向第二神经元阵列150输出运算信号。
如图1中所示，多个突触电路131位于第一方向与第二方向的二维阵列(Array)上。多个输入尖峰信号可沿从第一神经元阵列110往突触阵列130的第一方向传递。对输入尖峰信号施加权重值得到的运算信号(即，运算结果)可沿从突触阵列130往第二神经元阵列150的第二方向传递。例如，第一方向与第二方向可彼此垂直。不过，可以理解的是，与图1所示不同，多个突触电路131也可以配置在三维阵列上。
第二神经元阵列150的多个神经元电路151能够分别从突触阵列130接收对多个输入尖峰信号施加多个权重值得到的多个运算信号。多个神经元电路151各自类似于生物神经网络的树突，具有能够接收由其他神经元输出的信号的功能。参照图1，多个神经元电路151可分别与该多个突触电路131连接，并能够接收由多个突触电路131输出的多个运算信号。
可在多个神经元电路151各自中累加沿第二方向配置的多个突触电路131的多个运算信号。不过，与多个神经元电路151分别连接的突触电路131的数量、配置等不限于图1中所示的内容。多个神经元电路151各自能够比较多个突触电路131的多个运算信号累加得到的求和信号与阈值信号(即，基准信号)，并且当求和信号大于阈值信号时，生成输出尖峰信号(即，神经元点火(fire))。第二神经元阵列150的多个输出尖峰信号可重新被提供给第一神经元阵列110，或被输出到仿神经电路100的外部，或被输出到仿神经电路100的其他构成要素。
外围电路170能够控制仿神经电路100的整体模拟操作。尤其是，外围电路170能够提供和控制第一和第二神经元阵列110、150和突触阵列130的操作条件。
控制逻辑190能够控制仿神经电路100的操作序列。控制逻辑190能够控制第一和第二神经元阵列110、150和突触阵列130的尖峰信号的传递及处理、更新等。
以上，对本发明的仿神经电路100的基本构成进行了简略的说明。在硬件上构建仿神经电路100时，可能需要大小相对较大的突触阵列130。或者，可能需要增加隐含层(Hidden Layer)的数量或进行剪枝(Pruning)或随机失活(Droupout)方式的操作。因此，需要突触阵列130的扩展方法，以提供这种特性。
图2是图1中示出的多个突触电路的电路模型的示意图。参照图2，突触电路131可包括与门132、电流源134以及开关SW 136。突触电路131的与门132可接收由第一神经元阵列110的神经元电路生成的输入尖峰信号Si。输入尖峰信号Si可以是乘法运算中被乘以的被乘数。另一方面，权重值W也可被输入到突触电路131的与门132。例如，权重值W可以是乘法运算中相乘的乘数。权重值W可从外部输入或存储于突触电路131的内部或存储于突触阵列130所包括的存储元件中。
突触电路131能够进行多个乘法运算。突触电路131能够进行被乘数Si与乘数W的乘法运算。其中，乘法运算的结果可通过电流“I”表示。
开关136能够根据与门132的运算结果而接通或关断。例如，当与门的运算结果为逻辑“1”时，开关136接通，当与门的运算结果为逻辑“0”时，开关136关断。随着开关136接通，电流源(CS)134生成的电流流入突触电路131的列线。
电流源134能够使基于充入列线的电容(未示出)中的电荷的电压电平线性增加。通常，在对诸如电容器的存储元件充电时，电容器两端的电压电平会非线性增加。因此，在无法保证列线的线性时，多个突触电路的输出的加法运算会难以执行。
上述模型的突触电路131，例如，可包括变阻元件。变阻元件作为能够根据施加于两端的电压或电流切换不同的电阻状态的元件，可呈能够具有多个电阻状态的包含多种材料，例如过渡金属氧化物、钛铁矿(perovskite)类材料等之类的金属氧化物、硫属化物(chalcogenide)类材料等之类的相变材料、铁电材料、铁磁材料等的单一膜结构或多重膜结构。变阻元件及/或突触电路131从高电阻状态改变为低电阻状态的操作可叫作置位(set)操作，从低电阻状态改变为高电阻状态的操作可叫作复位(reset)操作。
不过，突触电路131不同于用于闪存、RRAM、PRAM、FRAM、MRAM等存储装置的变阻元件，可实现为在进行置位操作和复位操作时，电阻不会陡然(abrupt)改变，且表现出导电性随着所接收到的电脉冲的数量而逐渐变化的模拟行为(analog behavior)等，具有多种与存储器中的变阻元件不同的特性。这是因为存储器对变阻元件的特性的要求与人造神经网络装置的核心对突触电路131的特性的要求不同。
图3是本发明的一实施例的可扩展的仿神经电路的示意图。参照图3，仿神经电路200包括第一和第二神经元阵列210、215、第一至第四突触阵列230、232、234、236、第三和第四神经元阵列250、255、外围电路270以及控制逻辑290。尤其是，仿神经电路200包括用于连接相邻的多个突触阵列230、232、234、236的多个连接块220、222、224、226。
第一和第二神经元阵列210、215生成尖峰信号并传递给多个突触阵列230、234。第一和第二神经元阵列210、215的多个轴突能够基于从外部接收的数据和信息生成尖峰信号。可通过第一神经元阵列210和第二神经元阵列215增加传递输入尖峰信号的行数。例如，当第一神经元阵列210和第二神经元阵列215分别包括四个神经元电路时，可通过第一和第二神经元阵列210、215的排列将用于生成尖峰信号的神经元扩增为八个。
第三和第四神经元阵列250、255能够分别从第三和第四突触阵列234、236接收对多个尖峰信号施加多个权重值而得到的多个运算信号。第三和第四神经元阵列250、255所包括的多个神经元能够比较第三和第四突触阵列234、236的多个突触的多个运算信号累加所得到的求和信号与阈值信号(即，基准信号)，并且当求和信号大于阈值信号时，生成输出尖峰信号。第三和第四神经元阵列250、255可将多个输出尖峰信号重新提供给第一和第二神经元阵列210、215，或向仿神经电路200的外部输出。可通过第三神经元阵列250和第四神经元阵列255增加接收尖峰信号的列数。例如，当第三神经元阵列250和第四神经元阵列255分别包括四个神经元电路时，可扩增为八列神经元电路。
多个突触阵列230、232、234、236能够连接第一和第二神经元阵列210、215与第三和第四神经元阵列250、255。第一神经元阵列210与第三神经元阵列250可通过第一和第三突触阵列230、234连接。第一突触阵列230与第三突触阵列234通过第一连接块220连接。因此，第一突触阵列230和第三突触阵列234能够作为一个突触阵列进行操作。第一神经元阵列210与第四神经元阵列255可通过三个突触阵列230、232、236连接。三个突触阵列230、232、236通过第二连接块222和第三连接块224连接。
以相同方式，第二神经元阵列215与第三神经元阵列250可通过第三突触阵列234连接。另外，第二神经元阵列215与第四神经元阵列255通过两个突触阵列234、236连接。第四连接块226连接两个突触阵列234、236。
第一至第四连接块220、222、224、226能够将多个突触阵列230、232、234、236在第一方向或第二方向连接。第一连接块220连接第一突触阵列230与第三突触阵列234以使它们作为一个突触阵列进行操作。第二连接块222连接第一突触阵列230与第二突触阵列232。第三连接块224能够连接第二突触阵列232与第四突触阵列236。第四连接块226连接第三突触阵列234与第四突触阵列236以使它们作为一个突触阵列进行操作。
为了多个突触阵列之间的理想的连接，第一至第四连接块220、222、224、226可包括互补通道晶体管逻辑(Complementary Pass Transistor Logic：以下称CPTL)。互补通道晶体管逻辑(CPTL)能够以不发生信号消失或衰减或失真的方式连接多个突触阵列。但应当理解，用于以硬线方式连接多个突触阵列的连接块的构成不限于互补通道晶体管逻辑(CPTL)。
以上述方式，假设多个突触阵列各自的大小为相同的4×4时，若使用第一至第四连接块220、222、224、226则能够构建大小为16×16的突触阵列。大小为4×4的四个突触阵列230、232、234、236可通过第一至第四多个连接块220、222、224、226如同大小为16×16的一个突触阵列那样被使用。另外，突触阵列的形态和大小可根据连接块的连接而扩展为诸如4×8、4×16等多种形态。另外，除了二维扩展，还能够将多个突触阵列三维扩展。
图4是图3中的第一连接块的构成的示意框图。参照图4，第一连接块220能够将第一突触阵列230的多个列线S1_1～Sj_1(j为自然数)与第三突触阵列234的多个列线S1_3～Sj_3以硬线(Hardwire)方式连接。第一连接块220可包括由多个开关控制信号SC1～SCj控制的多个开关SW1～SWj。多个开关控制信号SC1～SCj，例如，可由控制逻辑290提供。
第一开关SW1能够根据第一开关控制信号SC1连接或断开第一突触阵列230的列线S1_1与第三突触阵列234的列线S1_3。当信号从列线S1_1流向列线S1_3时，第一开关SW1能够以不受阈值电压的影响的方式将与列线S1_1的信号电平相同的信号电平传递给列线S1_3。
以第二开关SW2为代表的开关SW2～SWj均能够根据多个开关控制信号SC2～SCj连接或断开第一突触阵列230的多个列线S2_1～Sj_1与第三突触阵列234的多个列线S2_3～Sj_3。如上所述，多个开关SW1～SWj分别优选由互补通道晶体管逻辑(CPTL)构成。
图5是图4中的第一开关的构成的示意电路图。参照图5，第一开关SW1可由互补通道晶体管逻辑(CPTL)构成。
由互补通道晶体管逻辑(CPTL)构成的第一开关SW1包括反相器(INV)和PMOS晶体管PM、NMOS晶体管NM。PMOS晶体管PM和NMOS晶体管NM根据第一开关控制信号SC1同时接通或关断。根据PMOS晶体管PM与NMOS晶体管NM的阈值电压互补关系，第一开关SW1能够将列线S1_1的信号电平以不发生电平变化的方式传递给列线S1_3。
图6是本发明的另一实施例的仿神经电路的示意图。参照图6，仿神经电路300包括多个神经元阵列310、315、350、355、360、365、第一至第四突触阵列330、332、334、336、外围电路370以及控制逻辑390。尤其是，仿神经电路300包括用于连接多个突触阵列的第二和第四连接块322、326以及用于连接神经元阵列与突触阵列的第一和第三连接块320、324。
第一和第二神经元阵列310、315生成尖峰信号并传递给多个突触阵列330、334。第一和第二神经元阵列310、315的多个轴突能够基于从外部接收的数据和信息生成尖峰信号。可通过第一神经元阵列310和第二神经元阵列315增加传递尖峰信号的行数。例如，当第一神经元阵列310和第二神经元阵列315各自包括四个神经元电路时，可通过第一和第二神经元阵列310、315的排列将用于生成尖峰信号的神经元扩增为八个。
第三和第四神经元阵列350、355能够分别从第三和第四突触阵列334、336接收对多个尖峰信号施加多个权重值而得到的多个运算信号。第三和第四神经元阵列350、355所包括的多个神经元能够比较第三和第四突触阵列334、336的多个突触的多个运算信号累加所得到的求和信号与阈值信号(即，基准信号)，并且当求和信号大于阈值信号时，生成输出尖峰信号。可通过第三神经元阵列350和第四神经元阵列355增加接收尖峰信号的列数。例如，当第三神经元阵列350和第四神经元阵列355分别包括四个神经元电路时，可扩增为八列神经元电路。
第五和第六神经元阵列360、365能够分别从第一和第二突触阵列330、332接收对多个尖峰信号施加多个权重值而得到的多个运算信号。第五和第六神经元阵列360、365所包括的多个神经元能够比较第一和第二突触阵列330、332的多个突触的多个运算信号累加所得到的求和信号与阈值信号(即，基准信号)，并且当求和信号大于阈值信号时，生成输出尖峰信号。第五神经元阵列360通过第一连接块320与第三突触阵列334连接。第六神经元阵列365通过第三连接块324与第四突触阵列336连接。
多个突触阵列330、332、334、336位于第一和第二神经元阵列310、315与第三和第四神经元阵列350、355之间。第一突触阵列330与第二突触阵列332通过第二连接块322连接。第三突触阵列334与第四突触阵列336通过第四连接块326连接。
第一连接块320连接第五神经元阵列360与第三突触阵列334。第三连接块324连接第六神经元阵列365与第四突触阵列336。并且，第二连接块322连接第一突触阵列330与第二突触阵列332。第四连接块326连接第三突触阵列334与第四突触阵列336。
为了神经元阵列与突触阵列之间或多个突触阵列之间的理想的连接，第一至第四连接块320、322、324、326可包括互补通道晶体管逻辑(Complementary Pass TransistorLogic：以下称CPTL)。但应当理解，用于以硬线方式连接多个突触阵列的连接块的构成不限于互补通道晶体管逻辑(CPTL)。
当假设多个突触阵列330、332、334、336的大小分别为4×4时，若使用第一至第四连接块320、322、324、326则能够构建大小为16×16的突触阵列。大小为4×4的四个突触阵列330、332、334、336可通过第一至第四多个连接块320、322、324、326作为大小为16×16的突触阵列被使用。尤其是，通过添加第五和第六神经元阵列360、365，仿神经电路300可包括隐含层(Hidden Layer)。而且，能够通过第一至第四连接块320、322、324、326的开关控制信号SC提供诸如剪枝(Pruning)以及随机失活(Dropout)等运算效果。另外，突触阵列的形态和大小可根据连接块的连接而扩展为诸如4×8、4×16等多种形态。
外围电路370能够控制仿神经电路300的整体模拟操作。外围电路370能够提供和控制多个神经元阵列310、315、350、355、360、365和多个突触阵列330、332、334、336的操作条件或偏置条件。
控制逻辑390能够根据外部的控制请求控制仿神经电路300的操作序列。控制逻辑390能够控制多个神经元阵列310、315、350、355、360、365和多个突触阵列330、332、334、336的尖峰信号的传递及处理、更新等。尤其是，控制逻辑390能够向第一至第四连接块320、322、324、326提供开关控制信号SC。通过开关控制信号SC，能够在以硬件实现的仿神经电路300中提供诸如剪枝(Pruning)以及随机失活(Dropout)等运算效果。
图7是本发明的又另一实施例的仿神经电路的示意图。参照图7，仿神经电路400包括多个神经元阵列410、415、450、455、460、465、480、483、485、第一至第四突触阵列430、432、434、436、外围电路470以及控制逻辑490。第五和第六神经元阵列460、465与多个突触阵列430、432的沿第二方向排列的多个列线连接。然而，第七至第九神经元阵列480、483、485可用于沿第一方向扩展核心。
第一和第二神经元阵列410、415生成尖峰信号并传递给多个突触阵列430、434。第一和第二神经元阵列410、415的多个轴突能够基于从外部接收的数据和信息生成尖峰信号。可通过第一神经元阵列410和第二神经元阵列415增加传递尖峰信号的行数。
第三和第四神经元阵列450、455能够分别从第三和第四突触阵列434、436接收对多个尖峰信号施加多个权重值而得到的多个运算信号。第三和第四神经元阵列450、455所包括的多个神经元能够比较第三和第四突触阵列434、436的多个突触的多个运算信号累加所得到的求和信号与阈值信号(即，基准信号)，并且当求和信号大于阈值信号时，生成输出尖峰信号。可通过第三神经元阵列450和第四神经元阵列455增加接收尖峰信号的列数。
第五和第六神经元阵列460、465能够分别从第一和第二突触阵列430、432接收对多个尖峰信号施加多个权重值而得到的多个运算信号。第五和第六神经元阵列460、465所包括的多个神经元电路能够比较第一和第二突触阵列430、432的多个突触的多个运算信号累加得到的求和信号与阈值信号，并且当求和信号大于阈值信号时，生成输出尖峰信号。第五神经元阵列460通过第一连接块420与第三突触阵列434连接。第六神经元阵列465通过第三连接块424与第四突触阵列436连接。第七神经元阵列480能够在第一突触阵列430与第二突触阵列432之间形成一个级。第七神经元阵列480的输出尖峰信号可通过第二连接块422传递给第二突触阵列432。
第八神经元阵列485与第二突触阵列432的行线连接。第九神经元阵列483可通过第五连接块428与第四突触阵列436的行线连接。
第一至第五连接块420、422、424、426、428能够连接神经元阵列与突触阵列，或连接多个突触阵列。为了神经元阵列与突触阵列之间或多个突触阵列之间的理想的连接，第一至第五连接块420、422、424、426、428可包括互补通道晶体管逻辑(CPTL)。但应当理解，用于以硬线方式连接多个突触阵列的连接块的构成不限于互补通道晶体管逻辑(CPTL)。
各个突触阵列可通过第一至第五连接块420、422、424、426、428沿第一方向或第二方向扩展。若使用本发明的连接块则能够将有限大小的多个突触阵列扩张为所需大小的核心。另外，通过第一至第五连接块420、422、424、426、428的开关控制信号SC的控制，仿神经电路400能够以硬件方式提供诸如剪枝(Pruning)以及随机失活(Dropout)等运算效果。
外围电路470能够控制仿神经电路400的整体模拟操作。外围电路470能够提供和控制多个神经元阵列410、415、450、455、460、465、480、483、485、第一至第四突触阵列430、432、434、436的操作条件或偏置条件。
控制逻辑490能够根据外部的控制请求控制仿神经电路400的操作序列。控制逻辑490能够控制多个神经元阵列410、415、450、455、460、465、480、483、485、第一至第四突触阵列430、432、434、436的尖峰信号的传递及处理、更新等。尤其是，控制逻辑490能够向第一至第五连接块420、422、424、426、428提供开关控制信号SC。通过开关控制信号SC，能够在以硬件实现的仿神经电路400中实现剪枝(Pruning)以及随机失活(Dropout)运算。
上述内容为用于实施本发明的多个具体实施例。本发明不仅包括上述的多个实施例，而且还包括单纯的设计变更以及简单变更的实施例。另外，本发明还包括利用实施例以简单地变形实施的技术。因此，本发明的范围不限于上述的多个实施例，而是限于所附的权利要求及其等同的范围。

Claims (5)

1.一种仿神经电路，包括：
第一神经元阵列，包括生成尖峰信号的多个神经元电路；
第一突触阵列，包括将从所述第一神经元阵列接收的所述尖峰信号进行处理并输出的多个第一突触电路；
第二突触阵列，包括多个第二突触电路；
第一连接块，位于所述第一突触阵列与所述第二突触阵列之间，响应于控制信号来连接所述第一突触阵列与所述第二突触阵列；以及
控制逻辑，生成所述控制信号。
2.根据权利要求1所述的仿神经电路，其中，
所述第一连接块包括多个开关，所述多个开关响应于所述控制信号，以不发生电平变化的方式传递所述多个第一突触电路的多个输入线路或多个输出线路的信号。
3.根据权利要求2所述的仿神经电路，其中，
所述多个开关各自包括互补通道晶体管逻辑。
4.根据权利要求1所述的仿神经电路，其中，进一步包括：
第二神经元阵列，位于所述第一突触阵列与所述第一连接块之间；以及
第三神经元阵列，与所述第二突触阵列的多个输出线路连接，并且生成输出尖峰信号。
5.根据权利要求1所述的仿神经电路，其中，
所述第二突触阵列相对于所述第一突触阵列形成于第一方向上，
所述仿神经电路还包括：
第三突触阵列，形成于相对于所述第一突触阵列垂直的第二方向上；以及
第二连接块，连接所述第一突触阵列与所述第三突触阵列。
CN202111255117.0A 2020-10-29 2021-10-27 可扩展的仿神经电路 Pending CN114429199A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020200142592A KR102514931B1 (ko) 2020-10-29 2020-10-29 확장 가능한 뉴로모픽 회로
KR10-2020-0142592 2020-10-29

Publications (1)

Publication Number Publication Date
CN114429199A true CN114429199A (zh) 2022-05-03

Family

ID=81311874

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111255117.0A Pending CN114429199A (zh) 2020-10-29 2021-10-27 可扩展的仿神经电路

Country Status (3)

Country Link
US (1) US20220138546A1 (zh)
KR (1) KR102514931B1 (zh)
CN (1) CN114429199A (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210125049A1 (en) * 2019-10-29 2021-04-29 Taiwan Semiconductor Manufacturing Co., Ltd. System for executing neural network
JP6968941B1 (ja) * 2020-07-08 2021-11-24 ウィンボンド エレクトロニクス コーポレーション 抵抗変化型クロスバーアレイ装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0811057D0 (en) * 2008-06-17 2008-07-23 Univ Ulster Artificial neural network architecture
US8812414B2 (en) * 2011-05-31 2014-08-19 International Business Machines Corporation Low-power event-driven neural computing architecture in neural networks
US8909576B2 (en) * 2011-09-16 2014-12-09 International Business Machines Corporation Neuromorphic event-driven neural computing architecture in a scalable neural network
US11636316B2 (en) * 2018-01-31 2023-04-25 Cerfe Labs, Inc. Correlated electron switch elements for brain-based computing
KR102114356B1 (ko) * 2018-08-28 2020-05-22 이화여자대학교 산학협력단 3차원 크로스바 메모리 구조를 이용한 뉴로 모픽 소자
KR102618546B1 (ko) * 2018-09-03 2023-12-27 삼성전자주식회사 2차원 어레이 기반 뉴로모픽 프로세서 및 그 동작 방법

Also Published As

Publication number Publication date
KR102514931B1 (ko) 2023-03-29
US20220138546A1 (en) 2022-05-05
KR20220057386A (ko) 2022-05-09

Similar Documents

Publication Publication Date Title
CN111433792B (zh) 可编程可重置人工神经网络的基于计数器的电阻处理单元
CN110892480B (zh) 采用nvm矩阵电路以执行矩阵计算的非易失性(nv)存储器(nvm)矩阵电路
KR102449941B1 (ko) 효율적인 행렬 곱셈을 위한 시스템 및 방법
US10762416B2 (en) Apparatus and method for normalizing neural network device
US9779355B1 (en) Back propagation gates and storage capacitor for neural networks
US11157803B2 (en) Neuromorphic device including a synapse having a variable resistor and a transistor connected in parallel with each other
US9342780B2 (en) Systems and methods for modeling binary synapses
Wu et al. Homogeneous spiking neuromorphic system for real-world pattern recognition
JP7119109B2 (ja) 重み更新回路および推論回路を別個に有する抵抗型処理ユニット・アーキテクチャ
CN108268938B (zh) 神经网络及其信息处理方法、信息处理系统
CN114429199A (zh) 可扩展的仿神经电路
GB2583790A (en) Computing circuitry
US10468098B2 (en) In-cell differential read-out circuitry for reading signed weight values in resistive processing unit architecture
US11755894B2 (en) Computing circuitry for configuration and operation of cells and arrays comprising memristor elements
CN110383282A (zh) 用于混合信号计算的系统和方法
CN111194467A (zh) 差分忆阻电路
Yang et al. On learning with nonlinear memristor-based neural network and its replication
KR20180070187A (ko) 신경망 장치의 정규화 장치 및 방법
Sun Cmos and memristor technologies for neuromorphic computing applications
Afifi et al. CMOL implementation of spiking neurons and spike‐timing dependent plasticity
Hadaeghi Neuromorphic electronic systems for reservoir computing
Khanday et al. An energy‐efficient tunable threshold spiking neuron with excitatory and inhibitory function
Aziza et al. An augmented OxRAM synapse for spiking neural network (SNN) circuits
US8266085B1 (en) Apparatus and method for using analog circuits to embody non-lipschitz mathematics and properties using attractor and repulsion modes
US20220027712A1 (en) Neural mosaic logic unit

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination