CN109416759B - 具有生物行为的神经集成电路 - Google Patents

具有生物行为的神经集成电路 Download PDF

Info

Publication number
CN109416759B
CN109416759B CN201780040366.3A CN201780040366A CN109416759B CN 109416759 B CN109416759 B CN 109416759B CN 201780040366 A CN201780040366 A CN 201780040366A CN 109416759 B CN109416759 B CN 109416759B
Authority
CN
China
Prior art keywords
circuit
output
coupled
input
spike
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780040366.3A
Other languages
English (en)
Other versions
CN109416759A (zh
Inventor
约瑟·克鲁兹-阿尔布雷克特
蒂莫西·德罗西耶
纳拉扬·斯里尼瓦沙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HRL Laboratories LLC
Original Assignee
HRL Laboratories LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by HRL Laboratories LLC filed Critical HRL Laboratories LLC
Publication of CN109416759A publication Critical patent/CN109416759A/zh
Application granted granted Critical
Publication of CN109416759B publication Critical patent/CN109416759B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled
    • G06F7/38—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation
    • G06F7/48—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation using non-contact-making devices, e.g. tube, solid state device; using unspecified devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled
    • G06F7/38—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation
    • G06F7/48—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation using non-contact-making devices, e.g. tube, solid state device; using unspecified devices
    • G06F7/50—Adding; Subtracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled
    • G06F7/38—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation
    • G06F7/48—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation using non-contact-making devices, e.g. tube, solid state device; using unspecified devices
    • G06F7/52—Multiplying; Dividing
    • G06F7/523—Multiplying only
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2207/00—Indexing scheme relating to methods or arrangements for processing data by operating upon the order or content of the data handled
    • G06F2207/38—Indexing scheme relating to groups G06F7/38 - G06F7/575
    • G06F2207/48—Indexing scheme relating to groups G06F7/48 - G06F7/575
    • G06F2207/4802—Special implementations
    • G06F2207/4818—Threshold devices
    • G06F2207/4824—Neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Mathematical Optimization (AREA)
  • Neurology (AREA)
  • Complex Calculations (AREA)
  • Image Analysis (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • Logic Circuits (AREA)

Abstract

一种用于仿真生物神经电路的行为的电路，该电路包括：多个节点，其中，每个节点包括：神经元电路；时间多路复用的突触电路，该时间多路复用的突触电路耦合至神经元电路的输入；时间多路复用的短期可塑性(STP)电路，该时间多路复用的短期可塑性(STP)电路耦合至节点的输入并耦合至突触电路；时间多路复用的尖峰定时依赖可塑性(STDP)电路，该时间多路复用的尖峰定时依赖可塑性(STDP)电路耦合至节点的输入并耦合至突触电路；节点的输出，该输出耦合至神经元电路；以及互连结构，该互连结构耦合在多个节点之间以用于提供从多个节点中的任何节点的输出到多个节点中的任何其它节点的任何输入的耦合。

Description

具有生物行为的神经集成电路
相关申请的交叉引用
本申请要求2016年6月30日提交的U.S.S.N.15/199,800的优先权和权益，其通过引用的方式并入本文。
该申请与2014年8月6日提交的美国专利申请14/453,154和2012年11月16日提交的美国专利申请13/679,727(该申请现在是2015年3月31日发布的编号为8,996,431的美国专利)有关，这两个申请并入本文，仿佛完整地进行了阐述。
有关联邦经费的声明
本发明是根据美国政府合同HRL0011-09-C-001进行的。美国政府对本发明具有某些权利。
【技术领域】
本公开涉及神经网络电路。
【背景技术】
在现有技术中，已经使用电路来仿真生物神经电路的行为。在下面的通过引用的方式并入本文的参考文献[1]中，给出了神经电路的模型。然而，没有提出电路实施方式。在下面的通过引用的方式并入本文的参考文献[2]、[3]和[4]中，描述了实施神经元和突触的电路。然而，参考文献[2]和[3]的电路只包括一些生物行为。在下面的通过引用的方式并入本文的参考文献[4]中，提出了一些生物行为，诸如，在单个神经元中的稳态可塑性(HP)、动力学动态(KD)和轴突延迟(AD)；然而，参考文献[4]不包括具有短期可塑性(STP)和尖峰定时依赖可塑性(STDP)的突触，并且未将行为整合在具有多个神经元和突触的电路中。
参考文献
下面的参考文献通过引用的方式并入本文。
[1]由E.M.Izhikevich和G.M.Edelman于2008年发表在美国国家科学院院刊(PNAS)第105卷第9期3593-3598页的“Large-scale model of mammalianthalamocortical systems(Supporting Information,Appendix)”。
[2]由J.M.Cruz-Albrecht、T.Derosier和N.Srinivasa于2013年9月发表在纳米技术期刊(Nanotechnology)第24卷第38期上的“A scalable neural chip with synapticelectronics using CMOS integrated memristors”。
[3]由J.Cruz-Albrecht、T.Derosier和N.Srinivasa于2014年8月6日提交的标题为“Scalable Integrated Circuit with Synaptic Electronics and CMOS integratedMemristors”的美国专利申请14/453,154。
[4]由J.Cruz-Albrecht、M.Yung和N.Srinivasa于2012年11月16日提交的标题为“Spike Domain Neuron Circuit with Programmable Kinetic Dynamics,HomeostaticPlasticity and Axonal Delays”的美国专利申请13/679,727(该申请现在是2015年3月31日发布的编号为8,996,431的美国专利)。
所需要的是一种与集成电路技术兼容并且仿真生物神经电路的行为的电子电路。本公开的实施例满足了这些以及其它需求。
【发明内容】
在本文公开的第一实施例中，公开了一种用于仿真生物神经电路的行为的电路，该电路包括：多个节点，其中，每个节点包括：神经元电路；时间多路复用的突触电路，该时间多路复用的突触电路耦合至神经元电路的输入；时间多路复用的短期可塑性(STP)电路，该时间多路复用的短期可塑性(STP)电路耦合至节点的输入并耦合至突触电路；时间多路复用的尖峰定时依赖可塑性(STDP)电路，该时间多路复用的尖峰定时依赖可塑性(STDP)电路耦合至节点的输入并耦合至突触电路；以及节点的输出，该输出耦合至神经元电路；以及互连结构，该互连结构耦合在多个节点之间以用于提供从多个节点中的任何节点的输出到多个节点中的任何其它节点的任何输入的耦合。
在本文公开的另一实施例中，一种用于仿真生物神经电路的行为的方法包括：提供多个节点；在每个节点中提供神经元电路；在每个节点中提供耦合至神经元电路的输入的突触电路；在每个节点中提供耦合至节点的输入并耦合至突触电路的短期可塑性(STP)电路；在每个节点中提供耦合至节点的输入并耦合至突触电路的尖峰定时依赖可塑性(STDP)电路；提供节点的耦合至神经元电路的输出；对突触电路、STP电路和STDP电路进行时间多路复用；以及提供耦合在多个节点之间的互连结构以用于提供从多个节点中的任何节点的输出到多个节点中的任何其它节点的任何输入的耦合。
这些以及其它特征和优点将通过下面的详细描述和随附的各图而进一步变得明显。在各图和描述中，数字表示各种特征，相同的数字在附图和描述两者中表示相同的特征。
【附图说明】
图1A示出了神经电路的顶层示意图，而图1B示出了根据本公开的节点的示意图；
图2示出了根据本公开的节点的核心以及节点的组件之间的连接的示意图；
图3示出了根据本公开的具有时间多路复用的短期可塑性(STP)电路的细节；
图4示出了STP电路的时序图，并且示出了根据本公开的一个示例prei尖峰；
图5A示出了针对给定时隙i在STP电路的输入处的典型波形，图5B示出了针对在第一模式下进行操作的电路，电路针对信号xi的典型输出，而图5C示出了根据本公开的针对在第二模式下进行操作的电路，电路针对xi的典型输出；
图6示出了根据本公开的尖峰定时依赖可塑性(STDP)电路的一个实施例的细节；
图7A示出了由STDP电路生成的输入信号和Δwi信号的典型波形，图7B示出了内部比较器的传输特性，并且图7C示出了根据本公开的总体STDP传输特性；
图8A示出了“S-to-E”(尖峰到指数)电路的细节，图8B示出了“E-to-S”(指数到尖峰)电路的细节，图8C示出了突触的细节，并且图8D示出了根据本公开的动力学动态(KD)电路的细节；
图9A示出了神经元，图9B示出了稳态可塑性(HP)电路，并且图9C示出了根据本公开的轴突延迟(AD)电路；以及
图10A示出了对具有神经元和突触的网络的模拟的结果，图10B示出了对STP电路的模拟的结果，并且图10C示出了根据本公开的对HP电路的模拟的结果。
【具体实施方式】
在下面的描述中，阐述了许多具体细节以清楚地描述本文公开的各个具体实施例。然而，本领域的技术人员将理解，可以在没有下面所讨论的具体细节中的所有具体细节的情况下实践目前所要求保护的发明。在其它实例中，没有描述众所周知的特征以免使本发明变得模糊。
本公开描述了具有多个处理节点12的神经电路10，如在图1A中示出的，处理节点12可以布置成阵列并且在一个实施例中，对于总共1024个节点，该阵列可以是32×32个节点的阵列。除了在图1A中示出的阵列之外，处理节点12可以布置成任何任意拓扑结构。神经电路10包括电子神经元和具有在生物速率下的尖峰信号的突触电路。电子神经元和突触可以模仿生物神经元和突触的多种行为，包括短期可塑性(STP)、不同类型的尖峰定时依赖可塑性(STDP)、突触动力学动态(KD)、神经稳态可塑性(HP)和轴突延迟(AD)。神经电路10通过使用时间多路复用来节省硬件成本和降低硬件复杂度。
描述了如在图1B中示出的节点14，该节点14实施突触16和神经元18并且包括短期可塑性(STP)电路20、尖峰定时依赖可塑性(STDP)电路22、突触动力学动态(KD)电路24、神经稳态可塑性(HP)电路26和轴突延迟(AD)电路28。节点14使用时间多路复用来降低硬件复杂度。如下面进一步描述的，STP电路20具有时间多路复用的电路以及用于存储STP状态的存储器1。如下面进一步描述的，STDP电路22也具有时间多路复用的电路以及用于存储STDP状态的存储器1。神经电路10可以用于执行实时低功率生物型神经计算，并且可以实施超过1000个神经元和超过100000个突触。
神经电路10具有节点14的阵列和数据输入/输出电路系统40。图1B示出了图1A中的节点14的阵列中的一个节点14的示意图。在图1B中示出的节点14具有外围电路系统和核心电路系统42。外围电路系统包括可以用于从任何节点14将数据发送至另一节点14的互连结构44。该互连结构44可以包括互连总线44和路由开关。在参考文献[3]中描述的路由开关确定哪个节点14在任何时候都连接至另一节点14，并且该连接性由存储器2中的连接性数据确定。外围电路系统还包括用于为节点14供电以及使节点14偏置的总线46和用于将初始参数发送到核心电路系统42的存储器1、2和3中的总线48。如下面进一步描述的，存储器3存储由节点14中的电路系统使用的参数。总线48还可以用于监测核心电路系统42的内部信号中的一些内部信号。
如下面说明的，节点14的核心电路系统42包括突触电路16、调整突触电路16的行为的STP(短期可塑性)电路20、同样调整突触电路16的行为的STDP(尖峰定时依赖可塑性)电路22以及还存储由突触16、STP电路20和STDP电路22使用的权重的可以被称为权重存储器的存储器1。核心电路系统42还包括神经元电路18、对提供到神经元电路18中的信号进行预处理的KD(动力学动态)电路24、调节神经元电路18的行为的HP(稳态可塑性)电路26以及对由神经元电路18生成的信号进行后处理的AD(轴突延迟)电路28。核心电路42进一步包括存储针对互连结构44的连接性状态的存储器2(如在参考文献[3]中进一步描述的)以及存储调节神经元电路18、STP电路20、STDP电路22、突触电路16、KD电路24、AD电路28、HP电路26和尖峰到指数(S-to-E)电路72和74的行为的参数的存储器3。图2是示出了节点14的核心电路系统42的不同组件的连接性的示意图。从互连结构44到达的数据被馈送到STDP电路22中，并且还被馈送到指数到尖峰(E-to-S)电路52中。节点14的输入50是来自互连结构44的输入信号Pi。该信号Pi包括分别具有下降指数尾的信号。信号Pi是时间多路复用的，并且在每个时隙内，可以经由路由开关来控制互连结构44，使得在每个时隙内，信号Pi来自另一节点14的输出P 73。
例如，可以控制互连结构44，使得在周期108期间，如在图4中示出的，特定节点14在i＝1至128内从128个其它的节点14中的每个节点14接收Pi。如在图4中示出的，每个Pi在时隙110内在互连结构44上被发送。
E-to-S(指数到尖峰)电路52具有输出54prei，该输出54prei连接至突触电路16、STP电路20和STDP电路22。E-to-S电路52和Prei 54按照与Pi相同的方式被进行时间多路复用。图4示出了特定Prei 54尖峰，该特定Prei54尖峰在图4中与1号时隙110对准。如下面进一步描述的，在任何特定时隙110内，可能存在或者可能不存在任何Prei 54尖峰，因为Prei 54是来自另一节点14的P 73的结果，该结果可能已经具有或者可能还不具有其神经元18尖峰。
突触电路16基于每个时隙110对来自E-to-S电路52的时间多路复用的prei 54进行缩放。突触增益或者权重确定缩放量。该突触权重等于wi和xi值的乘积。值xi由STP电路20针对每个时隙110计算，而wi的值由STDP电路22针对每个时隙110计算。
突触电路16的时间多路复用的输出60是经过缩放的尖峰信号，这些经过缩放的尖峰信号被应用于KD电路24。该KD电路24将经过缩放的尖峰信号转换为具有下降指数尾的步进信号。KD电路24的输出62被输入至乘法器电路64，该乘法器电路64用于对输出62进行缩放。缩放量由HP电路26确定，该HP电路26的输出66连接至乘法器电路64。乘法器电路64的输出68然后被输入至神经元电路18。
该神经元电路18接收时间多路复用的输入68并且产生输出70，该时间多路复用的输入68是时间多路复用的信号Pi 50和时间多路复用的STP 20、SDTP 22、突触16、KD 24以及乘法器64电路的结果，当产生输出70时，该输出70是尖峰型信号。神经元电路18的输出70不是时间多路复用的，并且通常可以按照10至100赫兹的速率发生，或者可能根本不存在输出尖峰。速率可以在0赫兹至小于1千赫的范围内变动。来自神经元电路18的输出70被发送至AD电路28，然后被发送至S-to-E(尖峰到指数)转换器电路72以产生输出P 73，并且最终被发送至互连结构44。输出P 73是取决于S-to-E电路72中的参数的.1至700毫秒长的下降指数型信号。
神经元电路18的输出70还被发送至HP电路26，该HP电路26调节神经元电路18的尖峰速率。而且，神经元电路18的输出70(该输出70可以被称为post信号)被发送至STDP电路22，并且被发送至S-to-E(尖峰到指数)转换器电路74，该S-to-E(尖峰到指数)转换器电路74的输出76被发送至STDP电路22。
如在图1B中示出的存储器1可以具有两个子部分。在图2中被表示为存储器1B 78的一部分存储由STP电路20和突触16使用的值xi。存储1的在图2中被表示为存储器1A 80的另一部分存储由STDP电路22和突触16使用的wi值。在图1B中示出的存储器2与在参考文献[3]中描述的连接性存储器相似，并且用于控制互连结构44中的路由开关。在图1B中示出的存储器3用于本地存储用于神经元18、突触16、STP 20、STDP 22、神经元18、KD 24、AD 28和HP 26电路以及S-to-E电路72和74的控制参数。
图3示出了STP电路20和相关联的STP存储器78的细节，如在图2中示出的，该相关联的STP存储器78可以是存储器1B 78。STP计算电路由接收时间多路复用的prei 54的加法器90、来自存储器3的偏置项-b 92和从STP存储器78读取到的数据94组成。pre输入54是只具有以下两个可能值的尖峰信号：高值或者零值。偏置-b 92是恒量。在一个实施例中，b＝1，所以，-b等于-1。从STP存储器78读取到的数据94对正值进行编码。正值被数字地存储为多位字，在一个实施例中，该多位字具有6位。针对每次STP计算，从STP存储器78读取一个字94。
加法器90的输出被输入至乘法器96，该乘法器96将加法器90的输出乘以参数k98。k 98的值通常是略小于1的数。在一个实施例中，k＝0.9。乘法器96的输出被输入至加法器100，该加法器100加上偏置项+b 102。对于-b 92和+b 102两者，b的值是相同的。加法器100的输出是被提供至突触16并且还在每次计算结束时被写入STP存储器的信号xi 56，如在图4中示出的，这在每个时隙110期间发生。
STP存储器78可以存储许多字，其中，按照通常的方式，存储器的每一行存储一个字，而存储器的每一列存储字的不同位。在图3中示出的实施例中，存储128个字，这与上述其中128个节点14的输出P 73被进行时间多路复用以基于每个周期108向特定节点14提供针对I＝1至128的Pi 50的示例对应。存储器具有由时隙地址104表示的地址。在一个实施例中，时隙地址104针对每个周期108从1至128递增1，然后重复。如在图3和图4中示出的，对于每个时隙110，时隙地址104保持恒定，使得可以从存储器78读取xi 94，执行STP计算，并且将结果xi 56写回到存储器78中。然后，使时隙地址递增到下一值以用于下一次计算。在一个实施例中，可以使用计数器电路106来存储时隙地址104并使时隙地址104递增。当计数器达到最大地址值时(在图3的实施例中，该最大地址值是128)，计数器106则被重置为第一值，在图3的实施例中，该第一值是1。
图4示出了操作STP电路20的方式的时序图。时间被划分成时隙110。在一个实施例中，每个时隙的持续时间是8微秒。对于每个时隙，存在STP电路20的一种操作。如上所述，在每个时隙I期间，从STP存储器78读取值xi 94，通过使用STP电路20来导出xi 56的更新值，并且然后，用通过其读取值xi 94的相同STP存储器地址104将xi 56的更新值写入STP存储器78并且存储到STP存储器78中。换句话说，STP存储器78的地址104针对某一时隙保持相同，因此，将xi 56的更新值写入通过其读取xi 94的相同存储器地址或者时隙地址。按顺序并且始终按照相同的顺序访问STP存储器地址。在图3和图4中示出的实施例中，将一组128个时隙定义为周期108。在具有8微秒的128个时隙110的实施例中，周期108的持续时间是1.024毫秒。
本领域的技术人员要明白，其它实施例可以具有不同数量和持续时间的时隙，其中，所得到的周期时间是时隙的数量乘以时隙持续时间的乘积。每个时隙具有相同的持续时间。
图5A示出了针对给定时隙i，STP电路20的prei输入54的典型波形，其中，水平轴是时间，而垂直轴是振幅。E-to-S电路52的输出prei 54只具有以下两个可能值：表示为VH的高值或者表示为VL的低值。VL可以是零。如在图4中示出的，在STP电路20中，时间多路复用的prei 54对于特定时隙110是有效的，并且每周期更新一次，如上所述，在一个实施例中，该周期可以是1.024毫秒长。
在prei 54尖峰的定时内对神经信息进行编码。prei 54尖峰之间的间隔通常不是恒定的，而是变化的。通常，尖峰之间的间隔可以是大约20毫秒，但是该间隔可以更少(例如，10毫秒)或者更多(例如，100毫秒)，其中，在实际值中，分辨率通常为1毫秒。特定prei54永远不会具有尖峰也是可能的。
STP电路20具有两种操作模式。在一种模式下，每当存在pre尖峰时，STP电路产生正的xi步进。在第二模式下，每当存在pre尖峰时，STP电路产生负的xi步进。
图5B示出了针对STP电路20在第一模式下进行操作，STP电路20针对xi 56的典型输出。每当在prei信号54中存在尖峰时，信号xi 56中存在正的步进。在该步进之后，信号xi56以指数方式朝着值b衰减，除非另一prei信号54引起另一正的步进。当不存在步进时，信号xi 56的振幅以指数方式朝着值b衰减。
用于图5B所示绘图的时标比图4的时标长很多。图5A、图5B和图5C所示绘图跨越几个100毫秒，而图4所示绘图只跨越了分别针对128个8微秒时隙110的实施例的2个1.024毫秒的周期108。在图5B所示绘图中，单独的时隙不可见。在图5B所示绘图中，xi信号56表现为连续波形。然而，在每个周期108的特定时隙110i内，图5B中的xi信号56只被输入至突触16一次，或者针对图3和图4的实施例，大约每1.024毫秒一次。
图5C示出了针对STP电路20在第二模式下进行操作，STP电路20针对xi 56的典型输出。每当在prei信号54中存在尖峰时，信号xi 56中就存在负的步进。当不存在步进时，信号xi 56的振幅朝着值b以指数方式增加。
图6示出了一个STDP电路22的示意图，该一个STDP电路22具有两个比较器112和114、两个加法器116和118以及STDP存储器80，如在图2中示出的，该STDP存储器80可以是存储器1A 80。输入至STDP电路22的四个数据信号是：如在图2和图6中示出的，Prei 54、Pi 50、post 70(该post 70是神经元18的输出)和D 76。信号Prei 54和post 70是尖峰型信号。Pi50和D 76信号由正步进和下降指数组成。STDP电路22产生信号wi 58，如上所述，该信号wi58用作突触电路16中的权重。信号prei 54、pi 50和wi 58是时间多路复用的，并且在每一时隙110被更新。信号post 70和D 76在每一周期108被更新。如上面讨论的，神经元电路18的输出70不是时间多路复用的，并且通常可以按照10至100赫兹的速率发生，并且速率可以在0Hz至小于1kHz的范围内变动。输出70被输入至S-to-E 74，S-to-E 74的输出是D 76，该D76是取决于S-to-E电路74中的参数可以是.1至700毫秒长的下降指数型信号。
第一比较器112接收输入信号P 50和偏置参考常数120。第一比较器112由尖峰信号post 70使能，并且产生信号ul 122。当信号P 50高于偏置参考常数120时以及当在使能post信号70处存在尖峰时，信号ul 122较高。否则，信号u1 122较低或为零。在使能post信号70处发生尖峰之前，信号ul 122仅在Pi 50中最近已经发生步进时较高。
第二比较器114接收输入信号D 76和偏置参考常数124，该偏置参考常数124与偏置参考常数120相同。第二比较器114由尖峰信号prei 54使能，并且产生信号u2 126。当信号D 76高于偏置参考常数124时以及当在使能信号prei 54处存在尖峰时，信号u2 126较高。否则，信号u2 126较低或者为零。在prei 54处发生尖峰之前，信号u2 126仅在D 76中最近已经发生步进时较高。
加法器116对两个比较器112和114的结果进行求和，并且加法器116的输出是信号Δwi 128，该信号Δwi 128表示权重wi上的变化。
在一个实施例中，STDP存储器80用于存储针对128个时隙的128个权重。STDP存储器80在图2中被表示为存储器1A 80。如在图3中示出的，对该存储器进行寻址的定时与STP存储器78的定时相似。针对STDP存储器80的时隙地址104可以与用于图3中的STP存储器78的相同并且可以由图3中的计数器106生成。在每个时隙110，从STDP存储器80读取一个权重wi 130，并且通过加法器118将其添加至信号Δwi128。wi 58的更新值由下式给出：
wi(更新过的)＝wi(从存储器80读取到的)+Δwi(等式1)
更新过的wi 58是STDP电路22的输出，并且更新过的wi 58还被写回到STDP存储器80中。
图7A示出了一个示例节点中的信号Pi 50、post 70和Δwi128的波形的示例。索引i用于Pi 50和Δwi 128信号以指示信号是时间多路复用的并且仅在每个时隙i期间有效。注意，在绘图中，Pi信号50看起来是连续的。然而，信号在每个周期仅产生一次，即，对于在分别具有128个时隙的图3、图4和图6中示出的实施例，每1.024毫秒一次。
信号Pi 50由跟随有衰减或者下降指数的正边缘组成。正步进的定时与一个突触前神经元电路18(该一个突触前神经元电路18位于不同的节点14中并且通过互连结构44连接至示例节点14的神经元电路18)形成尖峰的时间对应。
信号post 70由突触后神经元电路18产生的尖峰组成，该突触后神经元电路18是位于示例节点14中的神经元电路18。
信号Δwi 128由在图6中示出的电路系统计算。信号Δwi 128仅在突触前神经元电路18(由prei 54使能)或者突触后神经元电路18(由post 70使能)中存在尖峰时更新。Δwi128的值取决于在突触前神经元电路18和突触后神经元电路18处的尖峰的相对定时。
在图7A中，示出了针对在post信号70处在不同的时间发生两个尖峰的情况，Δwi128的值的示例。该示例中在post(突触后尖峰)70处发生的第一尖峰在信号Pi 50的第一正步进之后不久发生，信号Pi 50的第一正步进与来自突触前神经元电路18的突触前尖峰对应。在post 70发生第一峰值时，Pi 50的值高于偏置120。所得到的Δwi为正。该示例中在post 70处发生的第二尖峰在信号Pi 50的第一正步进之后进一步发生。在post发生第二尖峰时，Pi 50的值低于偏置120。所得到的Δwi为负。
图7B示出了在图6中示出的STDP电路22的比较器112和114的输出-输入传输特性。
图7C示出了图6中的STP电路22的传输功能。水平轴是突触前和突触后尖峰之间的定时差。垂直轴是由图6中的STDP电路22产生的权重变化Δwi128。在该STDP电路22的实施例中，当时间差较小时，权重变化Δwi 128增加，而当时间差较大时，权重变化Δwi 128减少。
在图6中的STDP电路22的另一实施例中，可以改变比较器112和114中的一个或者两个的极性。这会将STDP传输特性从对称改变为反对称。例如，Pi 50输入可以连接至比较器112的负输入，而不是正输入，而偏置120可以连接至比较器112的正输入，而不是负输入。
如在参考文献[3]中描述的，STDP电路22还可以具有指数特性。
图8A示出了在图2中示出的S-to-E电路72和74的细节。“S-to-E”(尖峰到指数)电路72和74将尖峰转换成跟随有下降指数的正步进。图8A中的“S-to-E”(尖峰到指数)电路具有加法器140、乘法器142、用于设置时间常数的参数k 144和可以是寄存器的存储器146。参数k 144可以存储在存储器3中，并且通常，k具有略小于1的值。加法器140连接至输入138并连接至从存储器146读取到的值，该值可以从零开始。然后，加法器输出被乘以参数k 144，并且结果被写回到存储器146中并且被输出。
图8B示出了在图2中示出的“E-to-S”(指数到尖峰)电路52的细节。“E-to-S”电路将具有下降指数的正步进转换为尖峰。通常，偏置148具有略小于输入信号147的最大振幅的值。
图8C示出了突触电路16的细节。放大器61具有可变增益，该可变增益由乘法器57的输出设置，该乘法器57将xi 56乘以wi 58。如上所述，信号xi 56和wi 58分别由STP 20和STDP 22电路产生。突触电路16的输出信号60在每个时隙110i内被进行时间多路复用并且被更新，如上所述，对于一个实施例，该每个时隙110i可以是针对I＝1至128。该时间多路复用允许节点14中的单个突触电路16仿真多个虚拟突触的行为，每个虚拟突触由其它节点14中的神经元18的输出P 73驱动，在一个实施例中，该输出P 73可以是号码128。
图8D示出了KD(动态动力学)电路24的细节。KD(动态动力学)电路24由1:N多路复用器150、N个“S-to-E”电路152的阵列和求和器154组成。数字N通常可以是4。S-to-E电路152中的每一个可以如在图8A中示出的那样被实施；然而，每个S-to-E电路152可以具有不同的内部参数k 144。动力学动态电路24用于将由图8C中的突触电路16产生的尖峰信号60转换为具有下降指数的正步进，下降指数具有一组N个可能的时间衰减常数。动力学动态电路24用于模仿多种类型的生物突触的输出行为。
图9A示出了神经元电路18的实施例，如图所示，该神经元电路18具有累加器160，该累加器160可以具有9位，比较器162将这9个位的输出与阈值Vth 164相比较。如图所示，如果累加器160的总和超过阈值Vth 164，则神经元输出70为尖峰并且累加器被重置。神经元输入68来自所有的时间多路复用输入68。在神经元输出70处的尖峰可以在任何时间发生，或者根本不存在尖峰。在输出70处的尖峰的速率可以在0Hz至小于1kHz的范围内变动；然而，取决于神经回路的实施方式，速率可以更高。在参考文献[3]中进一步描述了神经元电路18的实施例。
图9B示出了HP(稳态可塑性)电路26的细节，如在图2中示出的，该HP(稳态可塑性)电路26连接在神经元电路18的输出70与乘法器64之间。HP电路26具有数字或者模拟低通(LP)滤波器170、比较器172、求和器174和偏置项176，在一个实施例中，该偏置项176可以具有值1。用于低通滤波器的参数可以存储在存储器3中。低通滤波器170对输出70进行滤波。结果被输入至比较器172并且与ftarget 173相比较。当LP滤波器170的输出超过ftarget 173时，比较器172的输出为负。这允许HP电路26将神经元电路18的尖峰速率调节为由ftarget173限定的速率，该由ftarget 173限定的速率可以存储在存储器3中。该电路的一些部件与在参考文献[4]中描述的电路相似；然而，图9B中的电路旨在驱动数字乘法器，而不是如在参考文献[4]中描述的放大器。
图9C示出了AD(轴突延迟)电路28。如在图2中示出的，AD电路28连接至神经元电路18的输出70。AD电路28具有一组数字延迟级180和多路复用器(MUX)182。图9C中的AD电路28产生与时钟184对准的延迟。在参考文献[4]中也描述了AD电路；然而，在参考文献[4]中描述的AD电路产生异步延迟。AD电路28延迟由神经元电路18产生的尖峰，使得神经元电路18的输出与在图3中指示的周期时间对准，这使得尖峰定时与E-to-S 52、STP 20、STDP 22、突触16电路系统中的时间多路复用的电路系统兼容。
可以利用许多集成电路技术(包括CMOS)来实施本发明的电路。已经通过使用90nm的CMOS减少了实践设计。该设计具有超过1000个节点、超过1000个神经元以及具有STP、STDP、KD、HP和AD的超过100000个突触。该90nm的设计中的神经电路10具有小于2平方厘米的面积和小于1瓦特的功率。
图10A示出了由接收16个外部输入的16个神经元组成的网络的端到端模拟。这16个神经元经由具有STDP和STP的16个突触连接至输出神经元。神经电路可以确定哪些输入彼此相关。图10A中的顶部图表示出了芯片的16个输入以及输出神经元的尖峰输出post，这16个输入被标记为Pre 1至Pre 16。图10A中的底部图表示出了输出神经元的16个突触的权重wi*xi。根据需要，接收相关输入的突触的所有权重都发展到较高状态。根据需要，接收不相关输入的突触的所有权重都发展到较低状态。该模拟显示了核心神经元和突触电路以及其它电路系统的正确操作。
图10B示出了对STP(短期可塑性)电路20的模拟，该STP(短期可塑性)电路20用于计算信号x，该信号x用于根据在突触的输入处接收到的最近尖峰来进一步调整突触的增益。除了STDP(尖峰定时依赖可塑性)电路22之外，还使用该STP电路20。图10B中的顶部图表示出了在突触的输入处的尖峰信号。图10B中的底部图表示出了由STP电路22产生的输出信号。该输出信号由在发生输入尖峰时发生的、跟随有指数的步进组成。晶体管级模拟与预期行为相匹配。
图10C示出了对HP(稳态可塑性)电路26的模拟。HP电路26用于将神经元电路18的尖峰速率调整为给定目标速率。在该示例中，目标速率是50赫兹。图10C中的顶部图表示出了神经元电路的尖峰输出。图10C中的底部图表示出了实际测得的尖峰速率，并且如期望的那样接近目标速率。
现在已经根据专利法规的要求描述了本发明，本领域的技术人员将明白对本发明进行改变和修改以满足其特定要求或者条件的方式。在不脱离如本文所公开的本发明的范围和精神的情况下，可以进行这些改变和修改。
根据法律的要求出于说明和公开之目的呈现了对示例性以及优选实施例的前述详细描述。其并不意图是详尽的，也不意图将本发明限于所描述的(多种)精确形式，而是仅使本领域的其他技术人员能够明白本发明适用于特定用途或者实施方式的方式。修改和变化的可能性对于本领域的从业技术人员而言将是明显的。对示例性实施例的描述并不意图进行任何限制，示例性实施例的描述可能已经包括容差、特征大小、特定操作条件、或工程规范等，并且可以在实施方式之间发生变化或者随着现有技术的改变而发生变化，并且从该描述并不应该暗示任何限制。申请人已经针对本领域的现状提出了本公开，但是也考虑了进步，并且预期在未来进行的调整会考虑那些进步，即，根据本领域的现状。意图是本发明的范围由所撰写的权利要求书和适用的等同物限定。以单数形式提及权利要求要素并不意图表示“一个且仅一个”，除非明确地如此规定。此外，本公开中的任何元件、组件、方法或者过程步骤都不意图专用于公众，不管是否在权利要求书中明确地陈述了元件、组件或者步骤。本文中的任何权利要求要素都不应该根据35U.S.C.Sec.112的规定第六段来解释，除非通过使用短语“用于…的部件”来明确地叙述该要素，并且本文中的任何方法或者过程步骤都不应该根据那些规定来解释，除非通过使用短语“包括……的(多个)步骤：”来明确地叙述该一个或者多个步骤。
优选地包括本文描述的所有元件、部件和步骤。要理解的是，如对于本领域的技术人员而言将是显然的，这些元件、部件和步骤中的任何元件、部件和步骤都可以由其它元件、部件和步骤代替或者被完全删除，。
摘要
广义地说，本文至少公开了以下内容：
一种用于仿真生物神经电路的行为的电路，该电路包括：多个节点，其中，每个节点包括：神经元电路；时间多路复用的突触电路，该时间多路复用的突触电路耦合至神经元电路的输入；时间多路复用的短期可塑性(STP)电路，该时间多路复用的短期可塑性(STP)电路耦合至节点的输入并耦合至突触电路；时间多路复用的尖峰定时依赖可塑性(STDP)电路，该时间多路复用的尖峰定时依赖可塑性(STDP)电路耦合至节点的输入并耦合至突触电路；节点的输出，该输出耦合至神经元电路；以及互连结构，该互连结构耦合在多个节点之间以用于提供从多个节点中的任何节点的输出到多个节点中的任何其它节点的任何输入的耦合。
构思
本文还至少提出了以下构思。
构思1.一种用于仿真生物神经电路的行为的电路，所述电路包括：
多个节点，其中，每个节点包括：
神经元电路；
时间多路复用的突触电路，所述时间多路复用的突触电路耦合至所述神经元电路的输入；
时间多路复用的短期可塑性(STP)电路，所述时间多路复用的短期可塑性(STP)电路耦合至所述节点的输入并耦合至所述突触电路；
时间多路复用的尖峰定时依赖可塑性(STDP)电路，所述时间多路复用的尖峰定时依赖可塑性(STDP)电路耦合至所述节点的输入并耦合至所述突触电路；以及
所述节点的输出，其耦合至所述神经元电路；
以及互连结构，所述互连结构耦合在所述多个节点之间以用于提供从所述多个节点中的任何节点的输出到所述多个节点中的任何其它节点的任何输入的耦合。
构思2.根据构思1所述的电路：
其中，相应节点的输入在所述多个节点中的N个节点的输出之间是时间多路复用的，其中，所述N个节点中的节点i的输出在时隙i内耦合至所述相应节点的输入，其中，N个时隙为一个周期，并且其中，在每个周期中，所述N个节点中的每个节点的输出在相同的时隙内耦合至所述相应节点的输入；
其中，所述时间多路复用的STP电路基于每个时隙i计算用于所述突触电路的权重xi；并且
其中，所述时间多路复用的STDP电路基于每个时隙i计算用于所述突触电路的权重wi。
构思3.根据构思1所述的电路，其进一步包括：
指数到尖峰(E-to-S)转换电路，所述指数到尖峰(E-to-S)转换电路耦合在所述节点的输入与所述突触电路、所述STP电路以及所述STDP电路之间。
构思4.根据构思2所述的电路，其中，所述STP电路包括：
STP计算电路；以及
STP存储器；
其中，所述STP存储器具有N个地址；并且
其中，所述STP计算电路包括：
输入，其耦合至所述(E-to-S)转换电路；
第一加法器，所述第一加法器耦合至所述输入并耦合至所述STP存储器；
存储的参数b，所述存储的参数b耦合至所述加法器；
其中，所述第一加法器加上所述输入，减去所述参数b，并且加上针对时隙i从所述STP存储器的地址i读取到的值xi；
乘法器，所述乘法器用于将所述第一加法器的输出乘以存储的参数k；以及
第二加法器，所述第二加法器用于将所述乘法器的乘积与所述参数b相加以产生针对时隙i的结果xi；
其中，针对时隙i的所述结果xi被写入所述STP存储器的地址i中。
构思5.根据构思2所述的电路，其中，所述STDP电路包括：
STDP计算电路；以及
STDP存储器；
其中，所述STDP存储器具有N个地址；以及
其中，所述STDP计算电路包括：
第一输入，其耦合至所述节点的输入；
第二输入，其入耦合至所述神经元电路的输出；
第一尖峰到指数(S-to-E)转换电路，所述第一尖峰到指数(S-to-E)转换电路耦合至所述神经元电路的输出；
第一比较器，所述第一比较器具有耦合至所述节点的输入的第一输入、耦合至存储的偏置参数的第二输入和耦合至所述神经元电路的输出的使能输入，其中，所述使能输入使能第一比较器输出；
第二比较器，所述第二比较器具有耦合至所述第一S-to-E转换电路的输出的第一输入、耦合至所述存储的偏置参数的第二输入和耦合至所述E-to-S转换电路的输出的使能输入，其中，所述使能输入使能第二比较器输出；
第一加法器，所述第一加法器用于将所述第一和第二比较器的输出相加；以及
第二加法器，所述第二加法器用于将所述第一加法器的输出与针对时隙i从所述STDP存储器的地址i读取到的值wi相加以产生针对时隙i的结果wi；
其中，针对时隙i的所述结果wi被写入所述STDP存储器的地址i中。
构思6.根据构思5所述的电路，其中：
所述第一比较器的第一输入耦合至所述第一比较器的正输入；
所述第一比较器的第二输入耦合至所述第一比较器的负输入；
所述第二比较器的第一输入耦合至所述第二比较器的正输入；以及
所述第二比较器的第二输入耦合至所述第二比较器的负输入。
构思7.根据构思5所述的电路，其中：
所述第一比较器的第一输入耦合至所述第一比较器的负输入；
所述第一比较器的第二输入耦合至所述第一比较器的正输入；
所述第二比较器的第一输入耦合至所述第二比较器的正输入；以及
所述第二比较器的第二输入耦合至所述第二比较器的负输入。
构思8.根据构思5所述的电路，其中：
所述第一比较器的第一输入耦合至所述第一比较器的负输入；
所述第一比较器的第二输入耦合至所述第一比较器的正输入；
所述第二比较器的第一输入耦合至所述第二比较器的负输入；以及
所述第二比较器的第二输入耦合至所述第二比较器的正输入。
构思9.根据构思2所述的电路，其中，所述突触电路包括：
乘法器，所述乘法器用于将来自所述STP电路的xi乘以来自所述STDP电路的wi以计算乘积xiwi；以及
可变增益放大器，所述可变增益放大器具有取决于所述乘积xiwi的增益。
构思10.根据构思1所述的电路，其中，所述神经元电路包括：
累加器，所述累加器用于对所述神经元电路的输入进行求和；以及
比较器，所述比较器用于将所述累加器的输出与存储的阈值参数相比较；
其中，如果所述累加器的输出大于所述阈值参数，则所述神经元电路的输出为尖峰并且所述累加器被重置为零。
构思11.根据构思3所述的电路，其中，所述E-to-S转换电路包括：
存储器；
加法器，所述加法器耦合至所述节点的输入并耦合至所述存储器，用于将时隙i上的输入添加到从所述存储器读取到的值；以及
乘法器，所述乘法器用于将所述加法器的输出与存储的参数k相乘以计算乘积；
其中，在每个时隙I，所述乘积被写入所述存储器中。
构思12.根据构思1所述的电路，其进一步包括：
动力学动态(KD)电路，所述动力学动态(KD)电路耦合至所述突触电路的输出；
稳态可塑性(HP)电路，所述稳态可塑性(HP)电路耦合至所述神经元电路的输出；以及
乘法器，所述乘法器耦合至所述KD电路的输出、所述HP电路的输出，用于将所述KD电路的输出乘以所述HP电路的输出；
其中，所述乘法器的输出是所述神经元电路的输入。
构思13.根据构思12所述的电路，其中：
所述稳态可塑性(HP)电路包括：
低通滤波器，所述低通滤波器耦合至所述神经元电路的输出；
比较器，所述比较器耦合至所述低通滤波器的输出和存储的参数ftarget；以及
加法器，所述加法器耦合所述比较器的输出以用于将所述比较器的输出与第二存储参数相加；
其中，所述加法器的输出耦合至所述乘法器。
构思14.根据构思12所述的电路，其中：
所述KD电路包括：
1至J多路复用器，所述1至J多路复用器耦合至所述突触电路的输出；
J个尖峰到指数(S-to-E)转换电路，所述J个尖峰到指数(S-to-E)转换电路耦合至1至J多路复用器的输出，其中，所述J个尖峰到指数(S-to-E)转换电路中的每个尖峰到指数(S-to-E)转换电路可以具有不同的时间衰减常数；以及
加法器，所述加法器耦合至所述J个S-to-E转换电路的输出；
其中，所述加法器的输出耦合至所述乘法器。
构思15.根据构思1所述的电路，其进一步包括：
轴突延迟(AD)电路，所述轴突延迟(AD)电路耦合至所述神经元电路的输出；以及
第二尖峰到指数(S-to-E)转换电路，所述第二尖峰到指数(S-to-E)转换电路耦合至所述AD电路的输出；
其中，所述节点的输出是所述第二S-to-E转换电路的输出。
构思16.根据构思15所述的电路，其中，所述轴突延迟(AD)电路包括：
输入，其耦合至所述神经元电路的输出；
多个延迟元件，所述多个延迟元件串联连接，其中，每个延迟元件具有输出，并且其中，每个延迟元件耦合至与所述时隙对准的时钟；以及
多路复用器，所述多路复用器耦合至每个延迟元件的输出；
其中，所述多路复用器的输出到达所述第二尖峰到指数(S-to-E)转换电路。
构思17.一种用于仿真生物神经电路的行为的方法，所述方法包括：
提供多个节点；
在每个节点中提供神经元电路；
在每个节点中提供耦合至所述神经元电路的输入的突触电路；
在每个节点中提供耦合至所述节点的输入并耦合至所述突触电路的短期可塑性(STP)电路；
在每个节点中提供耦合至所述节点的输入并耦合至所述突触电路的尖峰定时依赖可塑性(STDP)电路；
提供所述节点的耦合至所述神经元电路的输出；
对所述突触电路、所述STP电路和所述STDP电路进行时间多路复用；以及
提供耦合在所述多个节点之间的互连结构以用于提供从所述多个节点中的任何节点的输出到所述多个节点中的任何其它节点的任何输入的耦合。
构思18.根据构思17所述的方法：
其中，在所述多个节点中的N个节点的输出之间对相应节点的输入进行时间多路复用，其中，在时隙i内将所述N个节点中的节点i的输出耦合至所述相应节点的输入，其中，N个时隙为一个周期，并且其中，在每个周期中，在相同的时隙内将所述N个节点中的每个节点的输出耦合至所述相应节点的输入；
其中，所述时间多路复用的STP电路基于每个时隙i计算用于所述突触电路的权重xi；以及
其中，所述时间多路复用的STDP电路基于每个时隙i计算用于所述突触电路的权重wi。
构思19.根据构思17所述的方法，其进一步包括：
通过使用耦合在所述节点的输入与所述突触电路、所述STP电路以及所述STDP电路之间的指数到尖峰(E-to-S)转换电路来将所述节点的输入从指数转换为尖峰。
构思20.根据构思18所述的方法，其中，提供所述STP电路包括：
提供STP计算电路；以及
提供STP存储器；
其中，所述STP存储器具有N个地址；以及
其中，所述STP计算电路：
将耦合至所述(E-to-S)转换电路的输入添加到存储的参数b的负数并且加上针对时隙i从所述STP存储器的地址i读取到的值xi；
将所述加法的总和乘以存储的参数k；以及
将所述乘法器的乘积与所述参数b相加以产生针对时隙i的结果xi；
其中，将针对时隙i的所述结果xi写入所述STP存储器的地址i中。
构思21.根据构思18所述的方法，其中，提供所述STDP电路包括：
提供STDP计算电路；以及
提供STDP存储器；
其中，所述STDP存储器具有N个地址；以及
其中，所述STDP计算电路：
将耦合至所述节点的输入的第一输入与耦合至存储的偏置参数的第二输入相比较，其中，耦合至所述神经元电路的输出的第一使能输入使能第一比较输出；
将耦合至S-to-E转换电路的输出的第三输入与耦合至所述存储的偏置参数的第四输入相比较，所述尖峰到指数转换电路耦合至所述神经元电路的输出，其中，耦合至所述E-to-S转换电路的输出的第二使能输入使能第二比较器输出；
将所述第一和第二比较器的输出相加以产生总和；以及
将所述总和与针对时隙i通过所述STDP存储器的地址i读取到的值wi相加以产生针对时隙i的结果wi；
其中，将针对时隙i的所述结果wi写入所述STDP存储器的地址i中。
构思22.根据构思18所述的方法，其中，提供所述突触电路包括：
将来自所述STP电路的xi乘以来自所述STDP电路的所述wi以计算乘积xiwi；以及
将所述突触的输入放大取决于所述乘积xiwi的量。
构思23.根据构思17所述的方法，其中，提供所述神经元电路包括：
累积对所述神经元电路的输入；以及
将所述累积的值与存储的阈值参数相比较；
其中，如果所述值大于所述阈值参数，则所述神经元电路的输出为尖峰并且将所述累加器重置为零。
构思24.根据构思17所述的方法，其进一步包括：
提供耦合至所述突触电路的输出的动力学动态(KD)电路；
提供耦合至所述神经元电路的输出的稳态可塑性(HP)电路；以及
将所述KD电路的输出乘以所述HP电路的输出；以及
将所述乘法的乘积提供至所述神经元电路。
构思25.根据构思24所述的方法，其中：
提供所述稳态可塑性(HP)电路包括：
对所述神经元电路的输出进行低通滤波；
将所述低通滤波器的输出与存储的参数ftarget相比较；以及
将所述比较器的输出与第二存储的参数相加以形成为乘法步骤所提供的总和。
构思26.根据构思24所述的方法，其中，提供所述KD电路包括：
提供耦合至1至J多路复用器的输出的J个尖峰到指数(S-to-E)转换电路，其中，所述J个尖峰到指数(S-to-E)转换电路中的每个尖峰到指数(S-to-E)转换电路可以具有不同的时间衰减常数；以及
将所述J个S-to-E转换电路的输出相加以形成为所述乘法步骤所提供的总和。
构思27.根据构思17所述的方法，其进一步包括：
提供耦合至所述神经元电路的输出的轴突延迟(AD)；以及
将所述AD电路的尖峰输出转换为指数。

Claims (27)

1.一种用于仿真生物神经电路的行为的电路，所述电路包括：
多个节点，其中，每个节点包括：
神经元电路；
时间多路复用的突触电路，所述时间多路复用的突触电路耦合至所述神经元电路的输入；
时间多路复用的短期可塑性电路，所述时间多路复用的短期可塑性电路耦合至所述节点的输入并耦合至所述突触电路；
时间多路复用的尖峰定时依赖可塑性电路，所述时间多路复用的尖峰定时依赖可塑性电路耦合至所述节点的输入并耦合至所述突触电路；以及
所述节点的输出，其耦合至所述神经元电路；
以及互连结构，所述互连结构耦合在所述多个节点之间以用于提供从所述多个节点中的任何节点的输出到所述多个节点中的任何其它节点的任何输入的耦合。
2.根据权利要求1所述的电路：
其中，相应节点的输入在所述多个节点中的N个节点的输出之间是时间多路复用的，其中，所述N个节点中的节点i的输出在时隙i内耦合至所述相应节点的输入，其中，N个时隙为一个周期，并且在每个周期中，所述N个节点中的每个节点的输出在相同的时隙内耦合至所述相应节点的输入；
其中，所述时间多路复用的短期可塑性电路基于每个时隙i计算用于所述突触电路的权重xi；并且
其中，所述时间多路复用的尖峰定时依赖可塑性电路基于每个时隙i计算用于所述突触电路的权重wi。
3.根据权利要求2所述的电路，其进一步包括：
指数到尖峰转换电路，所述指数到尖峰转换电路耦合在所述节点的输入与所述突触电路、所述短期可塑性电路以及所述尖峰定时依赖可塑性电路之间。
4.根据权利要求3所述的电路，其中，所述短期可塑性电路包括：
短期可塑性计算电路；以及
短期可塑性存储器；
其中，所述短期可塑性存储器具有N个地址；并且
其中，所述短期可塑性计算电路包括：
输入，其耦合至所述指数到尖峰转换电路；
第一加法器，所述第一加法器耦合至所述输入并耦合至所述短期可塑性存储器；
存储的参数b，所述存储的参数b耦合至所述加法器；
其中，所述第一加法器加上所述输入，减去所述参数b，并且加上针对时隙i从所述短期可塑性存储器的地址i读取到的值xi；
乘法器，所述乘法器用于将所述第一加法器的输出乘以存储的参数k；以及
第二加法器，所述第二加法器用于将所述乘法器的乘积与所述参数b相加以产生针对时隙i的结果xi；其中，针对时隙i的所述结果xi被写入所述短期可塑性存储器的地址i中。
5.根据权利要求2所述的电路，其中，所述尖峰定时依赖可塑性电路包括：
尖峰定时依赖可塑性计算电路；以及
尖峰定时依赖可塑性存储器；
其中，所述尖峰定时依赖可塑性存储器具有N个地址；以及
其中，所述尖峰定时依赖可塑性计算电路包括：
第一输入，其耦合至所述节点的输入；
第二输入，其耦合至所述神经元电路的输出；
第一尖峰到指数转换电路，所述第一尖峰到指数转换电路耦合至所述神经元电路的输出；
第一比较器，所述第一比较器具有耦合至所述节点的输入的第一输入、耦合至存储的偏置参数的第二输入和耦合至所述神经元电路的输出的使能输入，其中，所述使能输入使能第一比较器输出；
第二比较器，所述第二比较器具有耦合至所述第一尖峰到指数转换电路的输出的第一输入、耦合至所述存储的偏置参数的第二输入和耦合至所述指数到尖峰转换电路的输出的使能输入，其中，所述使能输入使能第二比较器输出；
第一加法器，所述第一加法器用于将第一比较器输出和第二比较器输出相加；以及
第二加法器，所述第二加法器用于将所述第一加法器的输出与针对时隙i从所述尖峰定时依赖可塑性存储器的地址i读取到的值wi相加以产生针对时隙i的结果wi；
其中，针对时隙i的所述结果wi被写入所述尖峰定时依赖可塑性存储器的地址i中。
6.根据权利要求5所述的电路，其中：
所述第一比较器的第一输入耦合至所述第一比较器的正输入；
所述第一比较器的第二输入耦合至所述第一比较器的负输入；
所述第二比较器的第一输入耦合至所述第二比较器的正输入；以及
所述第二比较器的第二输入耦合至所述第二比较器的负输入。
7.根据权利要求5所述的电路，其中：
所述第一比较器的第一输入耦合至所述第一比较器的负输入；
所述第一比较器的第二输入耦合至所述第一比较器的正输入；
所述第二比较器的第一输入耦合至所述第二比较器的正输入；以及
所述第二比较器的第二输入耦合至所述第二比较器的负输入。
8.根据权利要求5所述的电路，其中：
所述第一比较器的第一输入耦合至所述第一比较器的负输入；
所述第一比较器的第二输入耦合至所述第一比较器的正输入；
所述第二比较器的第一输入耦合至所述第二比较器的负输入；以及
所述第二比较器的第二输入耦合至所述第二比较器的正输入。
9.根据权利要求2所述的电路，其中，所述突触电路包括：
乘法器，所述乘法器用于将来自所述短期可塑性电路的xi乘以来自所述尖峰定时依赖可塑性电路的wi以计算乘积xiwi；以及
可变增益放大器，所述可变增益放大器具有取决于所述乘积xiwi的增益。
10.根据权利要求1所述的电路，其中，所述神经元电路包括：
累加器，所述累加器用于对所述神经元电路的输入进行求和；以及
比较器，所述比较器用于将所述累加器的输出与存储的阈值参数相比较；
其中，如果所述累加器的输出大于所述阈值参数，则所述神经元电路的输出为尖峰并且所述累加器被重置为零。
11.根据权利要求3所述的电路，其中，所述指数到尖峰转换电路包括：
存储器；
加法器，所述加法器耦合至所述节点的输入并耦合至所述存储器，用于将时隙i上的输入添加到从所述存储器读取到的值；以及
乘法器，所述乘法器用于将所述加法器的输出与存储的参数k相乘以计算乘积；
其中，在每个时隙i，所述乘积被写入所述存储器中。
12.根据权利要求1所述的电路，其进一步包括：
动力学动态电路，所述动力学动态电路耦合至所述突触电路的输出；
稳态可塑性电路，所述稳态可塑性电路耦合至所述神经元电路的输出；以及
乘法器，所述乘法器耦合至所述动力学动态电路的输出、所述稳态可塑性电路的输出，用于将所述动力学动态电路的输出乘以所述稳态可塑性电路的输出；
其中，所述乘法器的输出是所述神经元电路的输入。
13.根据权利要求12所述的电路，其中：
所述稳态可塑性电路包括：
低通滤波器，所述低通滤波器耦合至所述神经元电路的输出；
比较器，所述比较器耦合至所述低通滤波器的输出和存储的参数ftarget；以及
加法器，所述加法器耦合所述比较器的输出以用于将所述比较器的输出与第二存储参数相加；
其中，所述加法器的输出耦合至所述乘法器。
14.根据权利要求12所述的电路，其中：
所述动力学动态电路包括：
1至J多路复用器，所述1至J多路复用器耦合至所述突触电路的输出；
J个尖峰到指数转换电路，所述J个尖峰到指数转换电路耦合至1至J多路复用器的输出，其中，所述J个尖峰到指数转换电路中的每个尖峰到指数转换电路可以具有不同的时间衰减常数；以及
加法器，所述加法器耦合至所述J个尖峰到指数转换电路的输出；
其中，所述加法器的输出耦合至所述乘法器。
15.根据权利要求1所述的电路，其进一步包括：
轴突延迟电路，所述轴突延迟电路耦合至所述神经元电路的输出；以及
第二尖峰到指数转换电路，所述第二尖峰到指数转换电路耦合至所述轴突延迟电路的输出；
其中，所述节点的输出是所述第二尖峰到指数转换电路的输出。
16.根据权利要求15所述的电路，其中，所述轴突延迟电路包括：
输入，其耦合至所述神经元电路的输出；
多个延迟元件，所述多个延迟元件串联连接，其中，每个延迟元件具有输出，并且其中，每个延迟元件耦合至与时隙i对准的时钟；以及
多路复用器，所述多路复用器耦合至每个延迟元件的输出；
其中，所述多路复用器的输出到达所述第二尖峰到指数转换电路。
17.一种用于仿真生物神经电路的行为的方法，所述方法包括：
提供多个节点；
在每个节点中提供神经元电路；
在每个节点中提供耦合至所述神经元电路的输入的突触电路；
在每个节点中提供耦合至所述节点的输入并耦合至所述突触电路的短期可塑性电路；
在每个节点中提供耦合至所述节点的输入并耦合至所述突触电路的尖峰定时依赖可塑性电路；
提供所述节点的耦合至所述神经元电路的输出；
对所述突触电路、所述短期可塑性电路和所述尖峰定时依赖可塑性电路进行时间多路复用；以及
提供耦合在所述多个节点之间的互连结构以用于提供从所述多个节点中的任何节点的输出到所述多个节点中的任何其它节点的任何输入的耦合。
18.根据权利要求17所述的方法：
其中，相应节点的输入在所述多个节点中的N个节点的输出之间是时间多路复用的，其中，所述N个节点中的节点i的输出在时隙i内耦合至所述相应节点的输入，其中，N个时隙为一个周期，并且在每个周期中，所述N个节点中的每个节点的输出在相同的时隙内耦合至所述相应节点的输入；
其中，所述时间多路复用的短期可塑性电路基于每个时隙i计算用于所述突触电路的权重xi；并且
其中，所述时间多路复用的尖峰定时依赖可塑性电路基于每个时隙i计算用于所述突触电路的权重wi。
19.根据权利要求18所述的方法，其进一步包括：
通过使用耦合在所述节点的输入与所述突触电路、所述短期可塑性电路以及所述尖峰定时依赖可塑性电路之间的指数到尖峰转换电路来将所述节点的输入从指数转换为尖峰。
20.根据权利要求18所述的方法，其中，提供所述短期可塑性电路包括：
提供短期可塑性计算电路；以及
提供短期可塑性存储器；
其中，所述短期可塑性存储器具有N个地址；以及
其中，所述短期可塑性计算电路：
将耦合至指数到尖峰转换电路的输入添加到存储的参数b的负数并且加上针对时隙i从所述短期可塑性存储器的地址i读取到的值xi以形成总和；
将所述总和乘以存储的参数k以形成乘积；以及
将所述乘积与所述参数b相加以产生针对时隙i的结果xi；
其中，将针对时隙i的所述结果xi写入所述短期可塑性存储器的地址i中。
21.根据权利要求18所述的方法，其中，提供所述尖峰定时依赖可塑性电路包括：
提供尖峰定时依赖可塑性计算电路；以及
提供尖峰定时依赖可塑性存储器；
其中，所述尖峰定时依赖可塑性存储器具有N个地址；以及
其中，所述尖峰定时依赖可塑性计算电路：
将耦合至所述节点的输入的第一输入与耦合至存储的偏置参数的第二输入相比较，其中，耦合至所述神经元电路的输出的第一使能输入使能第一比较器输出；
将耦合至尖峰到指数转换电路的输出的第三输入与耦合至所述存储的偏置参数的第四输入相比较，所述尖峰到指数转换电路耦合至所述神经元电路的输出，其中，耦合至所述指数到尖峰转换电路的输出的第二使能输入使能第二比较器输出；
将所述第一比较器输出和第二比较器输出相加以产生总和；以及
将所述总和与针对时隙i通过所述尖峰定时依赖可塑性存储器的地址i读取到的值wi相加以产生针对时隙i的结果wi；
其中，将针对时隙i的所述结果wi写入所述尖峰定时依赖可塑性存储器的地址i中。
22.根据权利要求18所述的方法，其中，提供所述突触电路包括：
将来自所述短期可塑性电路的xi乘以来自所述尖峰定时依赖可塑性电路的所述wi以计算乘积xiwi；以及
将所述突触电路的输入放大取决于所述乘积xiwi的量。
23.根据权利要求17所述的方法，其中，提供所述神经元电路包括：
累积对所述神经元电路的输入；以及
将所述累积的值与存储的阈值参数相比较；
其中，如果所述累积的值大于所述阈值参数，则所述神经元电路的输出为尖峰并且将所述累积的值重置为零。
24.根据权利要求17所述的方法，其进一步包括：
提供耦合至所述突触电路的输出的动力学动态电路；
提供耦合至所述神经元电路的输出的稳态可塑性电路；以及
将所述动力学动态电路的输出乘以所述稳态可塑性电路的输出以形成乘积；以及
将所述乘积提供至所述神经元电路。
25.根据权利要求24所述的方法，其中：
提供所述稳态可塑性电路包括：
对所述神经元电路的输出进行低通滤波；
将所述低通滤波器的输出与存储的参数ftarget相比较；以及
将所述比较器的输出与第二存储的参数相加以形成为乘法步骤所提供的总和。
26.根据权利要求24所述的方法，其中，提供所述动力学动态电路包括：
提供耦合至1至J多路复用器的输出的J个尖峰到指数转换电路，其中，所述J个尖峰到指数转换电路中的每个尖峰到指数转换电路可以具有不同的时间衰减常数；以及
将所述J个尖峰到指数转换电路的输出相加以形成总和，所述总和是为乘积的形成而提供的。
27.根据权利要求17所述的方法，其进一步包括：
提供耦合至所述神经元电路的输出的轴突延迟；以及
将所述轴突延迟电路的尖峰输出转换为指数。
CN201780040366.3A 2016-06-30 2017-05-31 具有生物行为的神经集成电路 Active CN109416759B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/199,800 2016-06-30
US15/199,800 US10147035B2 (en) 2016-06-30 2016-06-30 Neural integrated circuit with biological behaviors
PCT/US2017/035323 WO2018004966A1 (en) 2016-06-30 2017-05-31 Neural integrated circuit with biological behaviors

Publications (2)

Publication Number Publication Date
CN109416759A CN109416759A (zh) 2019-03-01
CN109416759B true CN109416759B (zh) 2020-04-28

Family

ID=60785269

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780040366.3A Active CN109416759B (zh) 2016-06-30 2017-05-31 具有生物行为的神经集成电路

Country Status (4)

Country Link
US (1) US10147035B2 (zh)
EP (1) EP3479303A4 (zh)
CN (1) CN109416759B (zh)
WO (1) WO2018004966A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11501143B2 (en) 2013-10-11 2022-11-15 Hrl Laboratories, Llc Scalable integrated circuit with synaptic electronics and CMOS integrated memristors
JP7070239B2 (ja) * 2018-08-23 2022-05-18 株式会社明電舎 ニューラルネットワークの入出力制御方式
CN109376851A (zh) * 2018-08-29 2019-02-22 博瓦（武汉）科技有限公司 仿生系统的脉冲神经元信号发生电路基于忆阻的实现方法
CN109934338B (zh) * 2019-03-03 2024-03-19 广西师范大学 一种实现神经元模型的硬件电路
KR20200111584A (ko) * 2019-03-19 2020-09-29 한국전자통신연구원 시공간 입력 신호들이 나타내는 사건을 부호화하기 위한 전자 장치 및 그것의 동작 방법
US20210103801A1 (en) * 2019-10-03 2021-04-08 International Business Machines Corporation Artificial intelligence hardware with synaptic reuse

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102959566A (zh) * 2010-07-07 2013-03-06 高通股份有限公司 用于具有离散级突触和概率性stdp的数字神经处理的方法和系统
CN103580668A (zh) * 2013-10-28 2014-02-12 华中科技大学 一种基于忆阻器的联想记忆电路
CN103814387A (zh) * 2011-09-21 2014-05-21 高通股份有限公司 用于尖峰神经网络中的结构化延迟可塑性的方法和装置

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3569842A (en) 1968-07-29 1971-03-09 Bendix Corp Pulse delay circuit
US3824411A (en) 1972-06-19 1974-07-16 Rca Corp Pulse delay circuit
NL9201053A (nl) 1992-06-15 1994-01-03 Koninkl Philips Electronics Nv Switched capacitor ladingspomp, alsmede zaagtandoscillator voorzien van een dergelijke switched capacitor ladingspomp.
US5650739A (en) 1992-12-07 1997-07-22 Dallas Semiconductor Corporation Programmable delay lines
US5717947A (en) 1993-03-31 1998-02-10 Motorola, Inc. Data processing system and method thereof
JP3460913B2 (ja) 1995-09-29 2003-10-27 旭化成マイクロシステム株式会社 可変遅延時間発生回路とその方法
US5907250A (en) 1997-05-16 1999-05-25 International Business Machines Corporation Transition detector with timer
FR2766993B1 (fr) 1997-07-31 1999-10-15 Sgs Thomson Microelectronics Circuit de retard reglable
US6097212A (en) 1997-10-09 2000-08-01 Lattice Semiconductor Corporation Variable grain architecture for FPGA integrated circuits
US6124730A (en) 1998-12-15 2000-09-26 Vantis Corporation Methods for configuring FPGA's having variable grain components for providing time-shared access to interconnect resources
US6581046B1 (en) 1997-10-10 2003-06-17 Yeda Research And Development Co. Ltd. Neuronal phase-locked loops
US6052011A (en) 1997-11-10 2000-04-18 Tritech Microelectronics, Ltd. Fractional period delay circuit
JP3144398B2 (ja) 1998-10-27 2001-03-12 日本電気株式会社 可変遅延回路
JP2001326562A (ja) 2000-05-15 2001-11-22 Nec Corp 可変遅延回路
US20040217794A1 (en) 2003-04-30 2004-11-04 Mark Strysko Propagation delay adjustment circuit
US7515084B1 (en) 2007-03-22 2009-04-07 Hrl Laboratories, Llc Analog to digital converter using asynchronous pulse technology
US7822698B1 (en) 2007-03-23 2010-10-26 Hrl Laboratories, Llc Spike domain and pulse domain non-linear processors
US7724168B1 (en) 2007-10-31 2010-05-25 Hrl Laboratories, Llc Pulse domain linear programming circuit
CN101453313B (zh) 2007-12-06 2013-03-20 鸿富锦精密工业（深圳）有限公司 主从设备通信电路
WO2009113993A1 (en) 2008-03-14 2009-09-17 Hewlett-Packard Development Company, L.P. Neuromorphic circuit
WO2010025130A1 (en) 2008-08-28 2010-03-04 Massachusetts Institute Of Technology Circuits and methods representative of spike timing dependent plasticity of neurons
JP5326804B2 (ja) 2008-09-29 2013-10-30 富士電機株式会社 力率改善電源装置、該電源装置に用いられる制御回路および制御方法
CN101771413B (zh) 2008-12-31 2013-04-24 南方医科大学 基于神经元工作原理的模数解码方法及装置
US20120011092A1 (en) 2010-07-07 2012-01-12 Qualcomm Incorporated Methods and systems for memristor-based neuron circuits
US8892485B2 (en) 2010-07-08 2014-11-18 Qualcomm Incorporated Methods and systems for neural processor training by encouragement of correct output
US8606732B2 (en) 2010-08-04 2013-12-10 Qualcomm Incorporated Methods and systems for reward-modulated spike-timing-dependent-plasticity
US20120110891A1 (en) 2010-11-05 2012-05-10 Minnameier Kip W Plant pest trap and methodology of use
US8473439B2 (en) 2010-12-08 2013-06-25 International Business Machines Corporation Integrate and fire electronic neurons
US8856055B2 (en) * 2011-04-08 2014-10-07 International Business Machines Corporation Reconfigurable and customizable general-purpose circuits for neural networks
US8812414B2 (en) 2011-05-31 2014-08-19 International Business Machines Corporation Low-power event-driven neural computing architecture in neural networks
US8843425B2 (en) 2011-07-29 2014-09-23 International Business Machines Corporation Hierarchical routing for two-way information flow and structural plasticity in neural networks
US8725658B2 (en) 2011-09-21 2014-05-13 Brain Corporation Elementary network description for efficient memory management in neuromorphic systems
US8977583B2 (en) 2012-03-29 2015-03-10 International Business Machines Corporation Synaptic, dendritic, somatic, and axonal plasticity in a network of neural cores using a plastic multi-stage crossbar switching
US8930291B1 (en) * 2012-05-03 2015-01-06 Hrl Laboratories, Llc Cortical neuromorphic network, system and method
WO2014018078A1 (en) 2012-07-25 2014-01-30 Hrl Laboratories, Llc Neuron circuit and method
US9924490B2 (en) 2013-10-09 2018-03-20 International Business Machines Corporation Scaling multi-core neurosynaptic networks across chip boundaries
US20150220831A1 (en) 2014-02-06 2015-08-06 Qualcomm Incorporated Short-term synaptic memory based on a presynaptic spike

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102959566A (zh) * 2010-07-07 2013-03-06 高通股份有限公司 用于具有离散级突触和概率性stdp的数字神经处理的方法和系统
CN103814387A (zh) * 2011-09-21 2014-05-21 高通股份有限公司 用于尖峰神经网络中的结构化延迟可塑性的方法和装置
CN103580668A (zh) * 2013-10-28 2014-02-12 华中科技大学 一种基于忆阻器的联想记忆电路

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
A scalable neural chip with synaptic electronics using CMOS integrated;Jose M Cruz-Albrecht,et al;《NANOTECHNOLOGY》;20130902;全文 *
Switched-capacitorrealizationofpresynapticshort-term-plasticityandstop-learningsynapsesin28nmCMOS;MarkoNoack，et al.;《frontiers in neuroscience》;20150102;全文 *

Also Published As

Publication number Publication date
US20180005108A1 (en) 2018-01-04
WO2018004966A1 (en) 2018-01-04
CN109416759A (zh) 2019-03-01
US10147035B2 (en) 2018-12-04
EP3479303A4 (en) 2020-02-26
EP3479303A1 (en) 2019-05-08

Similar Documents

Publication Publication Date Title
CN109416759B (zh) 具有生物行为的神经集成电路
US10140573B2 (en) Neural network adaptation to current computational resources
US20140351190A1 (en) Efficient hardware implementation of spiking networks
TWI585695B (zh) 用於定義多個神經元的動態的方法、設備及電腦可讀取媒體
KR20170041724A (ko) 비동기 펄스 변조를 이용한 인공 뉴런들 및 스파이킹 뉴런들
WO2015112261A1 (en) Configuring neural network for low spiking rate
KR20160084401A (ko) 스파이킹 뉴럴 네트워크들에서 리플레이를 사용한 시냅스 학습의 구현
WO2015112643A1 (en) Monitoring neural networks with shadow networks
KR20160123309A (ko) 확률적 스파이킹 베이지안망들에 대한 이벤트-기반 추론 및 학습
KR20140141778A (ko) Stdp 동작을 위한 시냅스 회로 및 시냅스 회로를 포함하는 뉴로모픽 시스템
KR20160125967A (ko) 일반적인 뉴런 모델들의 효율적인 구현을 위한 방법 및 장치
US20160260012A1 (en) Short-term synaptic memory based on a presynaptic spike
WO2015153150A2 (en) Probabilistic representation of large sequences using spiking neural network
EP3108413A2 (en) Dynamic spatial target selection
WO2014172025A1 (en) Method for generating compact representations of spike timing-dependent plasticity curves
KR101825933B1 (ko) 좌표 변환을 위한 위상 코딩
US9449272B2 (en) Doppler effect processing in a neural network model
US9418332B2 (en) Post ghost plasticity
WO1993018474A1 (en) Devices for use in neural processing
CN113011572B (zh) 一种轴突变化量确定方法和装置、权重处理方法和装置
Belhadj et al. Digital mapping of a realistic spike timing plasticity model for real-time neural simulations
EP3108412A2 (en) Imbalanced cross-inhibitory mechanism for spatial target selection
US20150278684A1 (en) Time synchronization of spiking neuron models on multiple nodes
Bakó et al. Hardware spiking neural networks: parallel implementations using FPGAs

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant