CN101971166B - 神经形态电路 - Google Patents

Abstract

本发明的实施例意在包含两个或更多内部神经元计算单元的神经形态电路。每个内部神经元计算单元包括用于接收同步信号的同步信号输入端、用于接收输入信号的至少一个输入端和用于发送输出信号的至少一个输出端。忆阻突触将载送来自于第一组的一个或多个内部神经元的输出信号的输出信号线连接到向第二组的一个或多个内部神经元载送信号的输入信号线。

Description

神经形态电路

相关申请的交叉引用

本申请要求于2008年3月14日提交的临时申请No.61/036,864的权益。

技术领域

本发明涉及电子装置和计算机硬件，并且特别地涉及用于通过神经形态电路中的突触样结点(junctions)的物理性质变化进行机器学习的方法、以及执行该机器学习的系统。

背景技术

在计算历史的早期，计算机科学家变得对包括人脑在内的生物计算结构感兴趣。虽然连续指令处理引擎在过去的50年中已在技术上以极快的速度演进，在处理器速度和组件密度方面有巨大的增加，虽然这些进步已伴随着大容量存储设备和随机存取存储器的容量和访问速度的甚至更大的增加，并且虽然基于连续指令处理引擎的现代计算机系统提供巨大的实用性，并已产生在数字计算机的开发之前未想象到的整个新行业，但即使是最大且速度最高的分布式计算机系统和网络也仍不能有效地解决许多看起来简单的问题。一个普通的示例是照片和视频图像的解释。人类能够常常在几分之一秒内看一眼照片并准确地解释对象、对象之间的相互关系、以及二维照片所表示的对象的空间组织，而摄影图像的等效解释超出了运行最聪明地设计的算法的最大计算机系统的能力。另外，表征计算机演进的被称为“摩尔定律”的处理能力和部件密度方面每两年的急剧的两倍的增加已开始变平，部件尺寸的进一步减小现在遭遇物理限制和实践约束，包括随着信号线在尺寸方面的减小而增大的电阻率、在从由于部件的电容随着部件尺寸的减小而增大从而产生增加的热量的处理器散热方面的增加的困难、由于在制造越来越小的部件过程中遇到的困难而引起的处理器和存储器组件中的较高缺陷和故障率、以及在设计制造设施和方法以进一步减小部件尺寸方面的困难。

由于集成电路内的部件尺寸的进一步减小经证明越来越困难，所以已开始采用多种替换方法来增加基于集成电路的电子设备的计算能力。作为一个示例，处理器供应商正在制造多核处理器，其通过在并行地执行各种任务的多个核上分布计算来增加计算能力。其它努力包括在纳米尺度级制造电路，使用各种分子电子学技术，并通过以与使用纠错码类似的方式基于信息科学来应用理论方法从而解决缺陷和可靠性问题，以改善通过电子通信介质进行的有缺陷的数据信号传输。

除通过改善并增强传统的计算方法来提高性能的努力之外，正在研究各种非传统方法，包括生物计算。在研究人脑的结构和功能方面已耗费了大量的研究努力。已经以微尺度尺寸以及以分子级识别并在生理学方面表征此类生物系统中的许多基础计算实体。例如，虽然仍有许多东西有待学习，但是已相对透彻地理解并很好地表征了神经元，该神经元是负责人脑内的信号处理和信号传输的一种细胞。对神经元功能的此理解已启示了计算机科学中的许多领域，包括人工智能的神经网络和感知网络子领域。已开发了神经网络的许多成功的软件实现以解决多种不同的应用，包括模式识别、复杂现象的原因的诊断、各种类型的信号处理和信号去噪声、及其它应用。然而，从结构的观点出发，人脑是大规模地并行的，并且虽然可以通过软件实现和神经网络来模拟这样的并行性，但模拟通常束缚于处理器周期，因为模拟必须在一个或相对小数目的连续指令处理引擎上运行，更确切地说是利用计算系统内的物理并行性。因此，神经网络可以提供对噪声的容忍、学习能力及其它期望特性，但目前未提供大规模并行生物计算结构的极快且高带宽的计算能力。

为了实现在物理、制造的设备中的生物计算结构的极快且高带宽的计算能力，需要在计算节点的大规模并行且互连的网络上执行计算任务。已经提出了用于实现物理神经网络的许多不同方法，但到目前为止实现还没有达到甚至相对简单的生物结构的速度、并行性和计算能力。另外，大规模并行硬件的设计和制造充满许多不同的实际问题，包括大量动态连接的可靠制造、尺寸和功率约束、散热、可靠性、灵活性，包括可编程性、及许多其它此类考虑因素。然而，不同于不清楚是否能够为其找到解决方案的许多理论问题，包括人脑在内的计算生物结构存在并定期地执行计算的惊人本领这一事实将使人想到设计并构造具有类似计算能力和效率的计算设备的目标是相当可能的。

当前的努力意在开发称为“神经形态电路”的纳米尺度电路，其用异常高效的低功率并行计算机器来模拟提供生物有机体的生物神经电路。然而，许多目前的方法采用以互补型金属氧化物半导体(“CMOS”)技术实现的传统逻辑来实现等效于突触的神经形态电路，严重地限制可以制造等效于神经元的神经形态电路的密度，通常局限于半导体芯片表面面积的每平方厘米几千神经元。已经提出用于使用忆阻突触样结点(memristive，synapse-like junction)来实现神经形态电路的各种方法，所述忆阻突触样结点将在基于平版印刷的逻辑电路中实现的神经元计算单元互连。在许多此类提出的实施方式中，总体电路受到忆阻结点的物理性质的约束而告终，并且不期望的功率消耗水平是常常遇到且难以改善的问题。因此，神经形态电路的研究人员和开发者、包括神经形态电路的设备的制造商和供应商、以及最终的包括神经形态电路的设备的用户继续开发神经形态电路实施方式和相关方法，该实施方式和相关方法通过神经形态电路内的突触样结点的物理性质的受控和确定性变化来提供灵活、实用且低功率的突触样学习。

发明内容

本发明的实施例意在包含两个或更多内部神经元计算单元的神经形态电路。每个内部神经元计算单元包括用于接收同步信号的同步信号输入端、用于接收输入信号的至少一个输入端和用于发送输出信号的至少一个输出端。忆阻突触将从第一组的一个或多个内部神经元载送输出信号的输出信号线连接到向第二组的一个或多个内部神经元载送信号的输入信号线。

附图说明

图1示出神经元的一般化的和风格化的图示。

图2示出神经元的更抽象表示。

图3是神经元细胞的抽象表示，其示出控制并响应用来触发神经元输出信号激发的电化学梯度和信号的神经元的外部膜中的不同类型的电化学梯度和通道。

图4～5举例说明神经元激发。

图6举例说明动态突触强度现象的模型。

图7示出典型的神经网络节点。

图8～9举例说明激活函数的两个不同示例。

图10示出简单的三级神经网络。

图11A～B举例说明可以用目前能得到的技术制造的纳米线结点的忆阻特性。

图12A～E举例说明关于施加于由忆阻纳米线结点连接的两个信号线的电压信号的、随时间推移的忆阻纳米线结点电导。

图13示出混合微尺度-纳米尺度神经形态集成电路的基本计算单元。

图14举例说明对突触行为进行建模的两个纳米线之间的忆阻结点。

图15A～B举例说明用来对突触建模的忆阻结点的本质电子性质。

图16示出充当混合微尺度-纳米尺度神经形态集成电路的各种实施例中的基本计算单元的神经细胞。

图17A～B举例说明混合微尺度-纳米尺度神经形态集成电路内的计算单元的互连。

图18举例说明混合微尺度-纳米尺度神经形态集成电路内的计算单元的分级互连。

图19A～C举例说明在随后的图中使用的多个图示惯例。

图20举例说明示例性神经形态电路的一小部分。

图21A～22B举例说明指数式衰减函数的基于脉宽调制的表示。

图23示出表示本发明实施例的神经形态电路内神经元的符号表示，该神经元可以与其它神经元的信号传输同步地通过忆阻突触发送信号。

图24举例说明根据本发明的实施例的基本信号同步模型。

图25A～B举例说明两个不同指数式衰减函数的脉宽调制表示。

图26示出根据本发明的实施例的神经形态电路内的两个神经元和其输出端和输入端的字母数字标记。

图27A～F举例说明根据本发明的实施例的由神经形态电路中的神经元生成并发送的恒定电压脉冲信号。

图28A～29E举例说明根据本发明的实施例的生成图27A～F中所示同步信号的神经形态电路神经元信号处理逻辑的一种实施方式。

图30示出根据本发明的实施例的、可以用来将输入信号连接到神经元的虚拟接地电路的一种可能的实施方式。

具体实施方式

本发明意在由神经形态电路执行或在神经形态电路中实现以通过突触样结点的物理状态的受控且确定性变化来提供机器学习的神经形态电路和方法，神经形态电路的神经元通过所述突触样结点被互连。下面，在第一小节中，提供神经形态电路和突触样结点的概述。在第二小节中，讨论本发明的方法和系统实施例。

神经形态电路和神经形态电路内的突触样结点

生物神经元

神经元是在动物的脑中找到的一种细胞。神经元被视为基本生物计算实体(如果不是的话)之一。据估计，人脑包含约1000亿(10¹¹)个神经元和约100万亿(10¹⁴)个神经元之间的互连。人脑中的神经元之间的巨大数目的互连被认为与生物计算的大规模并行性质直接相关。

每个神经元是单个细胞。图1示出神经元的广义的和风格化的图示。神经元102包括包含细胞核106和各种细胞器的细胞体104，所述各种细胞器包括线粒体、多个分叉的树突(诸如源自细胞体104的树突108)、以及在许多分叉的延伸部分112中终止的一般的一个非常长的轴突110。通常，树突提供用于从其它神经元接收信号的扩大的神经元表面面积，而轴突用于从该神经元向其它神经元发送信号。轴突112的终末分支与其它神经元的树突对接，并且不经常地与细胞体对接。单个神经元可以接收多达100,000个不同的信号输入。同样地，神经元可以向几十个、几百个、或者乃至几千个下游神经元发送信号。在给定的单独树突和终末轴突延伸部分内，就其数目和支化度而言以及就体积和长度而言，神经元变化极大。例如，轴突的长度在显著小于一毫米到超过一米的范围内。轴突长度和连接性的此灵活性允许信号通道的分级级联和大脑内的信号通道和级联的基于极复杂连接的组织。

图2示出神经元的更抽象的表示。通常可以将神经元视为节点202，其从诸如输入端204之类的多个输入端接收输入信号，并根据输入的时间和空间特性通过激发输出信号206来对大于阈值强度的输入刺激进行响应。换言之，可以将神经元视为与阈值及信号生成和信号输出机制组合的非常复杂的输入信号整合器。当信号整合器在有限的时间段内并且在节点表面的足够小的区域内累积了足够数目的输入信号时，神经元通过激发输出信号来进行响应。

如上所述，给定神经元接收到的输入信号是由通过其它神经元的终末轴突分支与给定神经元的树突之间的突触结点连接到给定神经元的其它神经元的输出信号生成。多个神经元之间的这些突触或连接具有被动态调整的连接强度或权值。对连接强度或权值的调整被认为明显有助于学习和记忆两者，并且表示大脑内的相当一部分的并行计算。

神经元功能源自于并取决于复杂的电化学梯度和离子通道。图3是神经元单元的抽象表示，示出控制并响应用来触发神经元输出信号激发的电化学梯度和信号的神经元的外部膜中的不同类型的电化学梯度和通道。在图3中，将神经元表示为球状、膜封闭细胞302，其内容304通过包括诸如通道310之类的各种类型的通道的双壁疏水性膜308与外界环境306分离。所述各种类型的通道提供神经元的内部与外界环境之间的受控化学沟通。

主要负责神经元特性的通道是高度选择性的离子通道，其允许特定无机离子从外界环境传送到神经元中和/或从神经元内部传送到外界环境。特别重要的无机离子包括钠、Na⁺、钾、K⁺、钙、Ca²⁺、和氯Cl^-离子。离子通道通常不是连续打开的，而是响应于各种类型的刺激被选择性地打开和关闭的。电压门控通道根据跨越神经元膜的电压或电场打开和关闭。其它通道通过机械应力被选择性地打开和关闭，并且仍有其它类型的通道响应于配位体的结合和释放来打开和关闭，所述配位体一般为小分子有机化合物，包括神经递质。可以另外通过向离子通道蛋白质添加和从离子通道蛋白质删除某些官能团来控制并修改离子通道行为和响应，所述添加和删除由各种酶来执行，包括激酶和磷酸酶，其随后又被各种类型的化学信号级联控制。

通常，在静止或非激发状态下，神经元内部具有相对低浓度的钠离子312、相应地低浓度的氯离子314、以及相对于外界环境318中的这些离子的浓度而言相对高浓度的钾离子316。在静止状态下，在神经元膜两端存在显著的40～50mV电化学梯度，其中膜的内部相对于外界环境而言带负电。该电化学梯度主要由有源Na⁺-K⁺抽吸通道320生成，所述Na⁺-K⁺抽吸通道320使用化学能，采取腺苷三磷酸的形式，以连续地针对从外界环境进入神经元内部的每两个钾离子交换从神经元的内部排出到外界环境的三个钠离子。神经元还包含无源K⁺泄漏通道310，其允许钾离子从神经元的内部漏回到外界环境。这允许钾离子在离子浓度梯度和电位梯度(electrical gradient)方面达到平衡。

由神经元膜的局部去极化来触发神经元激发或发放(spiking)。换言之，跨越膜的通常为负的电化学梯度的崩溃导致触发输出信号。由电压门控钠通道324来促进表示神经元激发的神经元膜的波状全局去极化，所述电压门控钠通道324允许钠离子沿着先前由Na⁺-K⁺抽吸通道320建立的电化学梯度进入神经元的内部。神经元激发表示活动的短脉冲，在此之后，神经元返回到类似于激发前的状态，在该状态下，重建跨越神经元膜的正常的负电化学梯度。电压门控钾通道326响应于膜去极化而打开，以允许钾离子沿着化学钾离子梯度流出，以便促进在激发之后的跨越神经元膜的电化学梯度的重建。通过神经元膜的局部去极化打开的电压门控钾通道324在打开状态下是不稳定的，并且相对快速地移动到失活状态，以允许通过电压门控钾通道326和Na⁺-K⁺通道/抽吸320的操作来重建负膜电位。

神经元膜去极化在神经元细胞膜的小的局部区域处开始，并以波状形式扫过神经元细胞，包括沿着轴突至轴突终末分支。轴突终末分支处的去极化触发由胞外分泌328进行的电压门控神经递质释放。由轴突终末分支进行的神经递质到称为“突触前神经元”的激发神经元的轴突终末分支与每个称为“突触后神经元”的信号接收神经元的树突之间的突触区中的释放导致释放的神经递质通过突触后细胞的树突上的受体进行结合，这导致信号从突触前神经元到突触后神经元的传输。在突触后神经元中，递质到神经递质门控离子通道330和332的结合分别导致兴奋性输入信号和抑制性输入信号。将钠离子导入神经元330中的神经递质门控离子通道有助于邻近于突触区的神经元膜的局部去极化，并因此提供兴奋性信号。相反，神经递质激活的氯离子通道332导致带负电的氯离子到神经元细胞中的导入，引起对跨越膜的正常、静止负电压梯度进行恢复或加强，并由此抑制局部化膜去极化且提供抑制性信号。还通过允许钙流入神经元的电压门控钙离子通道329来促进神经递质释放。

Ca²⁺激活钾通道334用于在高频的膜去极化和导致在神经元内构建钙离子的信号激发之后降低膜的可去极化性。因此，已被连续刺激达到很长时间段的神经元对该刺激的响应变得较少。最初，钾离子通道用于降低接近于神经元激发所需的阈值刺激的刺激水平下的神经元激发水平。这防止关于阈值刺激区的全或无类型的神经元响应，反而提供对应于一定范围的神经元刺激的一定频率范围的神经元激发。神经元激发的振幅通常是恒定的，其中输出信号强度反映在神经元激发的频率上。

神经元的另一有趣特征是长期增强。当突触前细胞在突触后膜被强有力地去极化时的时刻激发时，突触后细胞会变得更易对来自突触前神经元的后续信号进行响应。换言之，当在很近的时间发生突触前和突触后神经元激发时，互连的强度或加权可以增加。

图4～5举例说明了神经元激发。在图4中，静止状态神经元402在膜404两端表现出负电压梯度。当静止神经元接收到神经递质介导信号输入406时，神经元膜的小区域408可以通过抑制性信号输入接收刺激信号输入的充分进入(access)，以对神经元膜的小区域408进行去极化。此局部去极化激活电压门控钠通道，以产生跨越神经元膜散布并沿着轴突的波状全局去极化，随着钠离子沿着钠离子浓度梯度进入神经元而暂时使神经元膜两端的电压梯度反转。电压梯度的反转将神经元置于激发或发放状态，如上文所讨论的，在该状态下，轴突的终末分支将释放神经递质信号到突触中以用信号通知突触后神经元。电压门控钠通道快速地变得去激活，电压门控钾通道打开，并且快速地恢复412静止状态负电压梯度。图5示出发放或激发期间的神经元膜上的点处的电压梯度反转。通常，电压梯度是负的520，但在表示神经元激发或发放的波状膜去极化和输出信号沿着轴突到轴突的终末分支的传播期间暂时反转522。

图6举例说明动态突触强度现象的模型。图6是相对于纵轴602绘制的突触强化F对比沿着横轴604绘制为Δt的突触前与突触后发放之间的时间差的图。当突触前神经元在距离突触后神经元的激发很近但在其之前的时间激发时，突触强化的量是相对高的，其由到纵轴左侧的绘制曲线606的急剧增加部分来表示。F的图的此部分对应于赫比学习，其中，突触后和突触前神经元的激发中的相关性导致突触强化。相反，当突触前神经元刚好在突触后神经元的激发之后激发时，则突触强度被弱化，如在纵轴右侧的所绘制曲线的急剧向上曲线部分608所表示的那样。当突触前和突触后神经元的激发在时间上不相关时，或者换言之，Δt的幅值很大时，突触的强度未受到很大影响，如以从原点起增加的距离接近横轴的那部分所绘制曲线所表示的那样。由曲线610的右侧部分之上的区域所表示的对突触前和突触后神经元激发相关性的突触弱化响应可以由于由所绘制曲线612的左侧部分下面的区域所表示的突触前与突触后神经元激发之间的相关性而不等于突触强化。

总而言之，神经元充当与阈值功能和输出信号生成功能组合的微漏输入信号整合器。神经元以随着神经元的兴奋性刺激的增加而增加的频率激发，虽然随着时间的推移，神经元对恒定高的刺激的响应减少。多个神经元之间的突触或结点可以被突触前与突触后神经元激发中的相关性强化或弱化。另外，在没有增强刺激的情况下，突触强度和神经元刺激两者随着时间的推移而衰减。神经元由于由高度枝化的树突和轴突终末分支以及由轴突的长度支持的神经元之间的极高的连接密度而提供用于生物有机体内的大规模并行神经网络的基本计算单元。

神经网络和感知网络

最初由模拟并利用生物信号处理和计算的尝试促成的被视为人工智能领域的神经网络已经证明足够有效且有用，研究人员和开发者目前正在试图直接用硬件构建神经网络以及开发用于促进神经网络的软件实现的专用硬件平台。神经网络本质上是计算互连节点的网络。图7示出典型的神经网络节点。不令人惊讶的是神经网络节点使人想起图2中所示的神经元的模型。神经网络节点702从n个有向链路705～708以及特殊链路j₀接收输入，并在输出链路710上产生输出信号，所述输出链路710可以进行分枝(正如轴突分支一样)以向多个不同的下游节点发送信号。有向输入链路705～708是神经网络中的上游节点的输出信号，或来自输出信号的分支，或者在第一级节点的情况下，是从到神经网络的某种类型的输入导出的。上游节点中的每个与在某些实施方式中在0～1范围内的激活相关。每个输入链路与权值相关。因此，图7中所示的神经网络节点i从具有激活a_j1，a_j2，...，a_jn的n个上游神经网络节点接收n个输入j₁，j₂，...j_n，其中每个输入j₁，j₂，...j_n与相应的当前权值

相关联。换言之，激活是节点的性质，并且权值是节点之间的链路的性质。神经网络节点i计算来自接收到的加权输入信号的活动(activity)a_i，并在输出信号线710上输出对应于所计算的活动a_i的信号。如图7中所示，可以将神经元的非常简单的模型表示为：

$a_i=g(\underset{j=j_0}{\overset{\mathrm{jn}}{\mathrm{\Σ}}}{w}_{j,i}\·a_j)$

其中，g()是非线性激活函数。图8～9举例说明了激活函数的两个不同示例。特殊输入信号线j₀表示具有a_j0＝-1固定激活的内偏移。使用与此内偏移相关的权值

来设置用于节点的阈值当来自实际输入信号线j₁，j₂，...j_n的加权激活输入的和超过

的偏置权值时，则神经元是活动的，并且输出信号a_i。图8中所示的第一激活函数g()表示硬阈值，而图9中所示的第二激活函数g()提供软阈值。在神经元的更一般模式中，神经元输出激发是到神经元的加权输入的过去历史的函数，神经元输出激发常常是随机的，并因此并不必需采用阈值。输出信号a_i可以具有各种不同形式中的任何一种，并且可以通过各种手段中的任何一种来反映神经元活动的程度，所述通过各种手段中的任何一种包括通过改变尖峰输出的持续时间、尖峰输出的频率、电压或电流中的每个尖峰的幅值，通过改变线性信号的电压或电流，或通过对信号中的信息进行编码的任何其它手段。

图10示出了简单的三级神经网络。神经网络包括四个输入节点1002～1005、两个中间节点1008～1009、以及最高级别的输出节点1012。输入节点1002～1005中的每个接收到神经网络的一个或多个输入，且每个均产生通过内部连接或边指向中间节点1008和1009中的一个或多个的输出信号。随后，中间节点产生到将中间节点连接到输出节点1012的边的输出信号。其中信号在沿边的仅一个方向上从输入节点指向输出节点的神经网络被称为“前馈网络”，而包括允许信号从较高级节点返回向较低级节点传播的诸如图10中的边1014～1015的反馈边的神经网络被称为“回归网络”。可以使用多层神经网络来表示任意维数和复杂性的一般非线性函数，假定在神经网络中包括相应的任意数目的节点的能力。

一经训练，神经网络通过生成输出信号(通常实现复杂的非线性函数)来对输入信号进行响应。还可以间歇性地或连续地对神经网络进行重新训练，以便随着时间的推移，由神经网络所表示的复杂的非线性函数反映先前的信号处理经验。

神经网络、感知网络、及表示本发明的各种实施例的其它并行分布式动 态网络节点的物理节点实现

迄今为止，大多数基于神经网络的系统本质上是神经网络行为的软件模拟。节点被实现为数据结构和随附例程，并且以传统的连续指令执行方式反复地更新节点和边权值。结果，虽然可以利用神经网络的许多有用特性，但是神经网络不提供在包括人脑在内的真实并行计算系统中获得的计算速度。此外，包括边加权动态和泄漏积分的类似神经元的功能的模拟在计算上可能是耗费相当大的，特别是当以连续方式反复地执行时更是如此。

由于这个原因，已存在使用多种不同实现策略和材料来构建物理神经网络的许多尝试。然而，迄今为止，尚未有物理实现甚至接近于即使简单的生物信号处理结构的密度和计算效率。问题包括提供大量的动态连接、多种制造和组件约束、散热方面的问题、可靠性方面的问题、以及许多其它问题。

经证明，纳米线结点和包括各种纳米尺度金属氧化物特征在内的许多其它忆阻材料的忆阻特性(其代表着制造类似于传统逻辑电路的纳米尺度电路的烦恼)是神经网络和包括互连计算节点的其它并行分布式动态处理网络中的动态边所需的特性。因此，相对简单地制造的纳米尺度纳米线结点以纳米尺度尺寸提供动态边的功能，而不需要编程或算法计算。由于多个节点之间的连接的数目大大地超过了包括人脑在内的大部分自然发生的信号处理和计算结构中的节点的数目，所以期望的是用来实现计算节点的硬件网络的连接较小、容易制造并具有接近于边或突触所需的那些固有物理特性的固有物理特性，以便不必将连接的动态性质编程到硬件中或由基于硬件的逻辑电路来模拟。

忆阻材料

图11A～B举例说明了可以用目前可得到的技术制造的纳米线结点的忆阻特性。图11A举例说明了单个纳米线结点。纳米线结点在第一输入纳米线1104与第二输出纳米线1106之间的结点处包括一层或多层忆阻材料1102。电流遵循以下电流模型，在某些电流范围和电压范围内：

i＝G(w，v)

其中，w是结点的状态变量，v是跨越结点施加的电压，并且G(w，v)是结点的电导，其通常相对于电压非线性地改变。状态变量相对于时间的变化率是状态变量的值和在同时施加于纳米线结点的电压两者的函数：

$\frac{\mathrm{dw}}{\mathrm{dt}}=f(w,v)$

对于由表示忆阻材料的导电性的单个状态变量w建模的某个种类的纳米线结点而言，可以将状态变量或导电率随时间的变化率近似为：

$\frac{\mathrm{dw}}{\mathrm{dt}}=\mathrm{Kw}\sinh \mathrm{Mv}$

其中，对于从0到最大值w_max的|w|值的范围而言，k和M是常数。在此范围之外，将

假设为0。图11B示出此表达式的图。图11B中的实线曲线1108示出了K和M的特定假定值的以上表达式的图。在不同类型的结点材料中，导电率随时间的变化率还可以遵循在图11B中以虚线绘制的镜像曲线1110，或者其可以按照其它更复杂的非线性函数改变。然而，通常，纳米线结点的忆阻性质使得电导的变化相对于所施加电压而言绝对是非线性的。在电压约为0的小电压1116的范围内的节点两端的正或负极性的小外加电压不产生结点材料的导电率的显著变化，但是在此范围之外，正极性的越来越大的外加电压导致结点材料的导电率的越来越大的增大率，而负极性的越来越大的电压导致结点材料的导电率的变化率的急剧减小。纳米线结点器件的电导与结点材料的导电率成比例。

应强调的是，忆阻纳米线结点的电导变化的上述模型仅表示忆阻纳米线结点电导与外加电压之间的关系的一种可能类型。表示本发明的实施例的计算节点和计算节点网络实现不取决于电导与外加电压之间的关系，以对应于上述数学模型，而是只有由在结点两端施加1V达给定时间段t而引起的电导变化基本上小于由在结点两端施加2V达相同时间t所引起的电导的变化，并且由第一极性的外加电压所引起的电导变化具有与第二极性的外加电压相反的符号或方向。该关系不需要如上述模型关系一样是镜面对称的，因为可以针对不同的极性调整时间t，以便实现期望的边加权模型。

图12A～E举例说明了相对于施加于由忆阻纳米线结点连接的两个信号线的电压信号的随时间推移的忆阻纳米线结点电导。图12A用符号术语示出忆阻纳米线结点。忆阻纳米线结点1202将分别称为“信号线1”和“信号线2”的第一信号线1204与信号线1206互连。施加于忆阻器1202的电压Δv是v₂-v₁，其中，v₂和v₁是当前分别施加于信号线2和信号线1的电压信号。图12B示出一定时间间隔内的施加于信号线1和2的电压信号、和忆阻器件的电导的图。对于信号线1、信号线2、以及忆阻器件而言，沿水平方向描绘时间。就纵轴1214而言来描绘当前施加于信号线1的电压信号，就第二纵轴1216而言来描绘当前施加于信号线2的电压，并且就第三纵轴1218而言来描绘忆阻器件的电导。图12C～E全部使用类似于在图12B中所使用的那些举例说明的惯例。

如图12B中所示，当向由水平线1210和1211所表示的两个信号线施加恒定电压v₀时，忆阻器件的电导保持在初始电导G₀ 112。在图12C中，向第一信号线施加短的正电压脉冲1220。该短脉冲在忆阻结点两端产生短暂的负电势，导致忆阻结点的电导在正脉冲的时间间隔内的减小1222。图12D举例说明施加于信号线1和2两者的多个脉冲的效果。如图12C中所示，施加于信号线1的第一脉冲1224导致忆阻器件1226的电导的少量减小。施加于第二信号线的短暂负电压脉冲1228引起忆阻器1230的电导的附加少量减小。施加于第二信号线的短暂正脉冲导致忆阻器件1234的电导的少量增加。

在到目前为止举例说明的所有情况下，施加于第一和第二线的脉冲在时间上相互分离，从而使得两个信号线上的电压脉冲不在相同的时间点发生。因此，小的外加电压在仅导致忆阻器件材料的小的导电率变化率的电压范围内(图11B中的1116)。然而，如图12E中所示，当向两个信号线同时施加相反极性的电压时，结果施加于忆阻器两端的电压超出小电压范围(图11B中的1116)，从而导致相对大的导电率变化率。在图12E中，正极性的两个同时电压脉冲1240和1242不导致施加于忆阻结点的电压的变化，并且因此不导致忆阻器件1244的电导的变化。然而，同时施加的第一信号线上的正脉冲1246和第二信号线上的负脉冲1248对忆阻器件导致负极性的相对大的外加电压，导致器件1250的电导的大的负变化。相反，反转极性的同时脉冲1252和1254导致器件的电导的相对大的增加1256。如果忆阻器件材料的导电率/电压曲线具有图11B中的虚曲线所表示的相反的导电率变化行为，或者如果用于计算Δv的电压方向惯例被反转，则图12B～E中的电导变化将具有与所示的那些相反的方向。

总而言之，忆阻纳米线结点、以及由忆阻材料制造的其它纳米尺度特征示出了作为外加电压的结果的非线性电导变化。忆阻纳米线结点的电导反映先前施加的电压的历史，并且除忆阻纳米线结点的电导之外，忆阻纳米线结点的给定时间实例时的电导的变化率取决于该时间实例时的外加电压的幅值和极性。忆阻纳米线结点具有极性，其中电导变化的符号可反映外加电压的极性。因此，忆阻纳米线结点具有对应于神经网路、感知网络、或计算实体的其它此类网络的动态边的模型特性的物理特性。

提出的神经形态架构

最近，已经提出一种高神经元密度的神经形态集成电路的架构，其中，将突触实现为多个纳米线之间的忆阻结点或实现为由忆阻材料制造的其它纳米尺度特征。纳米线信号线模拟生物神经电路的树突和轴突，并且所述纳米线信号线是在半导体集成电路层之上的纳米线互连层内制造的，因此保留用于实现在下文中讨论的被称为“神经细胞”的神经元计算细胞和多计算细胞模块的半导体集成电路表面。因此，混合微尺度-纳米尺度神经形态集成电路可以采用忆阻纳米线结点而不是数字逻辑或模拟电路来实现突触，并且在半导体集成电路层之上的纳米线互连层内实现神经细胞之间的突触和基于突触的互连，提供三维混合微尺度-纳米尺度神经形态电路架构中的非常大的神经细胞密度。

图13示出混合微尺度-纳米尺度神经形态集成电路的基本计算细胞。计算细胞包括半导体集成电路层1302的规则区域，其中四个导电引脚1304～1307从该半导体集成电路层1302垂直地延伸出。诸如图13中的纳米线1308之类的水平纳米线通过诸如垫状结构1310之类的垫状结构互连到导电引脚，并直线地延伸穿过混合微尺度-纳米尺度神经形态集成电路的计算细胞二维阵列中的计算细胞1302的邻域内的多个计算细胞。如下文进一步讨论的，计算细胞1302的半导体集成电路层包括各种互连和模拟组件，其实现神经元的模型或其它基本计算器件，在下文中对其中的某些进行更详细的描述。四个垂直引脚1304～1307用于将计算细胞1302的半导体集成电路层部分内的模拟组件和电路互连到诸如纳米线1308之类的纳米线层。该纳米线又可以通过对突触进行建模的纳米线和忆阻结点将计算细胞互连到相邻的计算细胞。

图14举例说明对突触行为进行建模的两个纳米线之间的忆阻结点。在图14中，第一计算细胞1402被示为位于与相邻计算细胞1404邻近的位置。第一纳米线1406连接到邻近的相邻计算细胞1404的垂直引脚1408。第二纳米线1410电连接到图14的前景中所示的计算细胞1402的垂直引脚1412。第一纳米线1406和第二纳米线1410在由图14中的小虚线圆圈1414界定的区域中相互重叠，该重叠区在插图1416中被放大。存在位于第一纳米线1406与第二纳米线1410之间的、将第一纳米线与第二纳米线电互连的一小层忆阻材料1418。如插图1419中所示，可以由将两个信号线1422和1424互连的忆阻器符号1420来以符号方式表示两个纳米线之间的忆阻结点。如下文进一步讨论的，互连层中的每个纳米线可以通过忆阻结点与许多不同的纳米线互连。

图15A～B举例说明用来对突触进行建模的忆阻结点的本质电子特性。图15A和15B两者示出忆阻结点的电流/电压图。就横轴1502而言描绘电压，并且就纵轴1504而言描绘电流。在图15A中举例说明了电压扫描。由电压路径1512来表示包括电压扫描的连续电压变化，就与图15A中的电流/电压图1516对准且在其下面的第二电压轴1514而言描绘所述电压路径1512。如图15A中所示，通过使电压稳定地从零电压1506增加至电压1508、通过随后使电压连续地减小至负电压1510、并通过随后使电压返回增至0(图15A中的1506)来执行电压扫描。该电流/电压图举例说明了忆阻材料的导电率在电压扫描期间如何变化。

最初，忆阻材料处于低导电率状态，以便随着电压从0(图15A中的1506)增加至仅低于1508，在图1518的第一部分中，电流在幅值方面保持相对低。在

附近，电流随着忆阻材料的电阻急剧地下降或导电率的增大而开始以非线性方式快速地上升1520。随着电压随后从下降至

1510，忆阻材料的导电率仍然高，如从针对图1522和1524的多个部分中的相应电压值的由忆阻材料传递的相对大幅值的电流可以看到的那样。在负电压附近，忆阻材料的电导突然开始急剧地下降1526。忆阻材料被置于低电导状态，在处，该低电导状态随着电压再次朝着0增大(图15A中的1528)而被保持。如图15B中所示，第二电压扫描1530相对于由虚线1532指示的在第一电压扫描期间生成的电导而增大忆阻材料的电导。附加电压扫描还可以相对于在之前的电压扫描期间生成的电导而增大忆阻材料的电导。因此，忆阻材料在连续增大或减小的外加电压下表现出电导方面的非线性性，并且另外表现出先前的电导状态的记忆。换言之，对于各种类型的忆阻材料而言，忆阻材料的物理状态w根据忆阻材料的电流物理状态和外加电压二者、相对于时间而变：

$\frac{\mathrm{dw}}{\mathrm{dt}}=f(w,V).$

由忆阻结点传递的电流i是材料的电导和外加电压的函数，其中，电导g是忆阻材料的当前状态和外加电压两者的函数：

i＝g(w，v)V。

如图15A～B中所示，忆阻结点的电导取决于当前施加的电压以及关于在前时间间隔内的外加电压的历史。

突触通常产生由突触前神经元i产生并被通过突触送往突触后神经元j的信号的放大或衰减。在某些模型中，突触的增益或权值在0.0至1.0范围内，其中增益0.0表示信号的全衰减，而增益1.0表示信号的无衰减。在这些模型中，神经元具有活动，并且当神经元i的活动x_i大于阈值时，神经元发射输出信号。在随后的段落中提供神经元行为的数学模型。将突触前神经元i与突触后神经元j互连的突触的增益z_ij的变化率的一个数学模型被表示为：

$\frac{{\mathrm{dz}}_{\mathrm{ij}}}{\mathrm{dt}}=\mathrm{\ϵf}\left(\left(x_j\right)(-\mathrm{\ω}{z}_{\mathrm{ij}}+g\left(x_i\right))\right)$

其中，z_ij是将突触前神经元i与突触后神经元j互连的突触ij的权值或其产生的增益；

ε是学习率；

ω是遗忘率；

f(x_j)是神经元i的活动的非线性函数；

g(x_i)是神经元j的活动的非线性函数；以及

t是时间。

在许多情况下，f()和g()通常是反曲的。一个示例性反曲或“S”形函数是tanh()。当突触前神经元和突触后神经元两者具有高活动性时，增益z_ij快速地增大。当项-ωz_ij具有大于突触后神经元的活动的非线性函数g(x_i)的当前值的幅值时，项-ωz_ij保证突触的增益随着时间的推移而减小。由于反馈项-ωz_ij，突触的权值不能以无限制的方式增大或减小，这用于随着突触的突触权值接近1.0而减小突触的权值，并随着突触的权值接近0.0而产生越来越少的反馈。突触行为的数学模型取决于神经元活动的数学模型，并且这些模型彼此提供相互的反馈。如通过将突触增益的数学模型与描述忆阻结点的导电率变化的以上表达式、特别是电导函数g(w，v)相比较可以看到的那样，忆阻结点的电导可以提供增益函数的物理实施例，其时间导数被表示为上述数学模型，因为突触模型的神经元活动的非线性函数f(x_i)和g(x_i)与神经元之间的物理电压有关，并且增益z_ij在给定的时间点与施加于忆阻结点的电压的历史有关。忆阻纳米线结点的电导的函数表达式因此取决于由忆阻纳米线结点连接的突触前和突触后神经元的当前活动以及忆阻纳米线结点的最近施加电压历史。因此，将纳米线互连的忆阻纳米线结点提供用于传递适合于如以上数学模型所表达的那样对突触行为进行建模的电流信号的物理特性。

图16示出充当混合微尺度-纳米尺度神经形态集成电路的各种实施例中的基本计算单元的神经细胞。神经细胞是混合微尺度-纳米尺度神经形态集成电路内的一类计算细胞。如上文所讨论的，神经细胞1602包括四个垂直导电引脚1604～1607。通过引脚的罗盘方向来参照引脚，其中罗盘图1610被示为在图16中的计算细胞的右侧。NW引脚1604和SE引脚1605将输出信号从神经细胞传递至与NW引脚1604和SE引脚1605互连的纳米线。SW引脚1606和NE引脚1607两者将从连接到引脚的纳米线输入到引脚的信号传递至神经细胞1602。SW引脚1606将抑制性信号传递至神经细胞中，而NE引脚1607将兴奋性输入信号传递至神经细胞中。兴奋性输入信号趋向于增加神经细胞的活动，而抑制性信号趋向于减少神经细胞的活动。

图16中所示的基本神经细胞1602通常实现神经元的许多不同数学模型之一。通常，当接收到的兴奋性信号的频率和数目显著地超过抑制性信号的频率和数目时，神经元的活动通常增加至阈值活动值以上，在此点处，神经元通过输出引脚1604和1605发射输出信号。

通过突触样忆阻纳米线结点从混合微尺度-纳米尺度神经形态集成电路的其它神经细胞接收输入兴奋性信号和输入抑制性信号，并且由神经细胞1602发射的输出信号被通过突触样忆阻纳米线结点送往混合微尺度-纳米尺度神经形态集成电路的其它计算细胞。神经细胞和神经形态电路通常包括各种反馈机制并表现出控制且约束神经形态电路内的单独神经细胞的活动的非线性性质。即使仅包含通过突触密集地互连的相对少量的神经细胞的适中尺寸的神经形态电路也可以表现出常常不能使用闭合形式数学表达式来加以建模且将难以在传统的基于布尔逻辑的数字逻辑电路中实现的相当复杂的功能。在图16中，输入1612和输出1612指示，除通过四个垂直引脚接收信号和发送信号之外，神经细胞可以全部通过在混合微尺度-纳米尺度神经形态集成电路的半导体集成电路级内实现的附加微尺度或亚微尺度信号线与相邻的计算细胞互连。

图17A～B举例说明了混合微尺度-纳米尺度神经形态集成电路内的计算单元的互连。图17A示出4引脚计算细胞的3×3阵列。如上文所讨论的，诸如计算细胞1702的每个计算细胞包括两个输出引脚1704和1706、抑制性输入引脚1708、以及兴奋性输入引脚1710。图17B示出如图17A中所示的计算细胞的3×3阵列，在其上面已实现包括并行纳米线的两个子层和忆阻材料子层的互连层。在图17B中，诸如计算细胞1702的输入引脚1710的每个输入引脚对接到垫1712，该垫1712将左侧大致水平的纳米线1714接合到右侧大致水平的纳米线1716，并将左侧和右侧纳米线1714和1716二者接合到输入引脚1712。因此，连接到计算细胞的阵列中的输入引脚的所有纳米线形成并行纳米线的第一子层。如图17B中所示，纳米线相对于计算细胞的3×3阵列的上1718和下1720水平边的方向略微旋转。此旋转允许纳米线沿向左和向右方向水平地延伸，并跨越许多相邻的计算细胞，而不覆盖在纳米线经由垫和垂直引脚连接到的计算细胞内或在其外部的任何另外的垂直引脚。诸如计算细胞1702中的输出引脚1704的输出引脚中的每一个被同样地连接到大致垂直的纳米线。因此，连接到计算细胞的3×3阵列中的输出引脚的纳米线形成大致平行的纳米线的第二子层，其中第二子层的纳米线大致与第一子层的纳米线正交。

在图17B中，纳米线之间的忆阻纳米线结点被示为两个纳米线之间的交叉点处的小的填充盘，诸如填充盘1724。忆阻纳米线结点1724对将突触前神经细胞1726与突触后神经细胞1728互连的突触进行建模。忆阻纳米线结点1724将突触前计算细胞1726的输出引脚1730与突触后神经细胞1728的抑制性输入引脚1732互连。可以在混合微尺度-纳米尺度神经形态集成电路的半导体集成电路层上实现多个纳米线互连层。多个互连层允许神经细胞以多个分级的逻辑水平通过突触样忆阻纳米线结点与彼此互连。多互连层神经形态集成电路架构提供计算细胞的极大数目的不同的可能互连配置，并因此提供用于实现非常大量的不同的可能神经形态电路的极其灵活且强大的互连架构。

在某些混合微尺度-纳米尺度神经形态集成电路中，可以在制造期间配置纳米线结点，或者可以随后将其编程为处于ON和OFF状态，其中只有被配置为ON的那些纳米线结点传导电流并表现出突触样行为，而被配置为OFF的纳米线结点充当打开的开关。在其它混合微尺度-纳米尺度神经形态集成电路中，纳米线结点全部被配置为处于ON状态，并且由从中通过的电压信号来单独地确定每个纳米线结点的电导。

图18举例说明混合微尺度-纳米尺度神经形态集成电路内的计算单元的分级互连。图18示出计算细胞1802的24×28阵列。每个细胞被根据在阵列下面提供的逻辑级密钥1804分配给逻辑级。例如，诸如加阴影的计算细胞1806之类的加阴影的计算细胞形成第一逻辑级。可以通过使用一个纳米线互连层来互连每级的神经细胞来实现计算细胞的此类分级逻辑布置。例如，可以通过第一纳米线互连层内的纳米线和忆阻纳米线结点来将第一级计算细胞横向地互连。类似地，可以通过第二纳米线互连层将第二逻辑级细胞互连。另外，前向和反馈互连可以穿过多个互连级并因此提供多个逻辑级之间的信号交换。计算细胞的分级排序层可在各种类型的模式识别神经形态电路和从多个输入引出推理的推理引擎中使用。

本发明的方法和系统实施例

如上文所讨论的，本发明的系统和方法实施例意在通过突触样结点的物理特性的受控和确定性变化进行机器学习，神经形态电路的神经元处理单元通过所述突触样结点互连。出于描述并举例说明本发明的某些方法和系统实施例的目的，使用各种例示惯例。图19A～C举例说明了在随后的图中使用的多个图示惯例。首先，如图19中所示，在随后的图中，用图19A中所示的符号1902来表示神经形态电路的神经元或神经元处理单元。神经元产生单个输出1904并接收单个兴奋性输入1906和单个抑制性输入1908。当然，可以将神经元实现为产生两个或更多输出，以仅接收兴奋性或抑制性输入、或接收两个或更多兴奋性输入和/或两个或更多抑制性输入。然而，在以下讨论中，用图19A中所示的符号表示的单个神经元是被用来举例说明本发明的各种实施例的神经形态电路的基础。

在用来举例说明本发明的各种实施例的示例性神经形态电路中，突触由忆阻材料形成，并由图19B中所示的符号1910表示。图19C在电压/电压降图表中举例说明与图19B中的忆阻突触符号1910相关的电压相关惯例。忆阻突触是不对称的，具有在图19B中标记为“a”的具有该符号的竖杆1912部分的一端、和在图19B中标记为“b”的没有竖杆部分的相对端。如图19C中所示的在纵轴右侧的那部分图表中，当施加于标记为“a”的末端的电压大于施加于标记为“b”的末端的电压或正值更大时，将忆阻突触两端的电压降视为是正的，其在图19C中由向上方向的箭头所表示的两个正电压降1914和1916加以举例说明。相反，当施加于标记为“b”的末端的电压大于施加于标记为“a”的末端的电压或正值更大时，将忆阻突触两端的电压降视为是负的，其在图19C中由两个向下方向的箭头1918和1920加以举例说明。图19C示出一种特定情况，其中施加于忆阻突触的两端的电压除在原点1922处之外具有相反符号，但电压降符号惯例适用于施加于忆阻突触的末端的任何电压差。

图20举例说明了示例性神经形态电路的一小部分。在图20中所示的示例性电路中，诸如线2005之类的细线中所示的第一纳米线交叉层中的分别称为“E1”、“E2”和“E3”的三个神经元2002～2004向第二纳米线交叉层中的分别称为“O1”、“O2”和“O3”的三个神经元2006～2008的兴奋性输入端输出信号，所述第二纳米线交叉层的仅一小部分在图20中被视为对角线，诸如对角线2009。以诸如粗实线2010之类的粗实线示出的三个纳米线交叉层中的分别称为“I1”、“I2”和“I3”的三个神经元2010～2012向神经元O1、O2和O3的抑制性输入端输出信号。请注意，诸如填充盘2011之类的填充盘指示大致上与图的平面正交的过孔或引脚，提供纳米线交叉层间连接。神经元O1、O2和O3的每个输入端，无论是兴奋性还是抑制性的，都接收表示由神经元E1、E2和E3或由神经元I1、I2和I3输出的信号的和的信号。例如，神经元O1 2014的兴奋性输入端接收作为由神经元E1、E2和E3输出的信号e1、e2和e3的组合的兴奋性信号oe1。从节点E1、E2和E3输出的信号线分别通过三个忆阻突触g₁₁、g₂₁和g₃₁与到神经元O1 2014的兴奋性输入互连。因此，到神经元O1的兴奋性输入端2014的总信号输入是和：oe1＝e1g₁₁+e2g₁₂+e3g₁₃。因此可以通过下述矩阵方程来计算三个神经元O1、O2和O3的兴奋性和抑制性输入：

$\left[\begin{array}{c}\mathrm{oe}1\\ \mathrm{oe}2\\ \mathrm{oe}3\end{array}\right]=\left[\begin{array}{ccc}{g}_{11}& g_{12}& g_{13}\\ g_{21}& g_{22}& g_{23}\\ g_{31}& g_{32}& g_{33}\end{array}\right]\left[\begin{array}{c}{e}_1\\ e_2\\ e_3\end{array}\right]$

$\left[\begin{array}{c}\mathrm{oi}1\\ \mathrm{oi}2\\ \mathrm{oi}3\end{array}\right]=\left[\begin{array}{ccc}{h}_{11}& h_{12}& h_{13}\\ h_{21}& h_{22}& h_{23}\\ h_{31}& h_{32}& h_{33}\end{array}\right]\left[\begin{array}{c}{i}_1\\ i_2\\ i_3\end{array}\right]$

在本发明的某些实施例中，如以上方程式所表示的，假设g_ij指的是忆阻结点的电导，输出信号是电压脉冲，在通过突触之后，该信号可以被视为到下游神经元的输入端处的电流信号。在本发明的一个实施例中，如下文所讨论的，电流信号在神经元输入端处被变换回电压信号。

无论信号是被视为电压还是电流信号，从图20可以认识到，到神经形态电路的输出神经元O1、O2和O3的输入取决于来自输入节点E1、E2和E3及I1、I2和I3的信号输出和将从输入节点输出的信号线与到输出神经元的输入信号线互连的每个突触样结点的物理特性g_ij两者。在当前讨论的示例性神经形态电路中，g_ij指的是忆阻结点的电导。然而，在替换实施例中，可以将突触样结点的其它物理特性视为修改通过突触样结点的信号传播。在当前讨论的电路中及在更一般的情况下的忆阻突触样结点的电导、突触的物理特性表示神经形态电路内的存储器，其当前状态影响神经形态电路的输出，正如有机体内的存储器影响有机体如何对感官输入进行反应一样。

在某些先前提出的神经形态电路实现中，神经元完全是模拟器件，并且在时间上不相互同步。在这些实现中，通过信号以异步方式通过突触的前向和后向传播来修改忆阻结点的电导。此类神经形态电路可以根据放电时间依赖的可塑性(“STDP”)学习模型及其它学习模型来展现学习，但是严重收到忆阻结点的物理特性的约束，并且由于通过纳米尺度结点传播的连续信号，结果消耗大量的功率并产生相对大量的热。

为了解决上文所讨论的与异步神经形态电路模型相关的问题，本发明的方法和系统实施例在神经形态电路内采用基于时钟的神经元同步，以便协调通过神经形态电路的信号传播，并因此使用定时的相对短持续时间的电压脉冲信号而不是连续信号来提供突触样结点的物理特性的受控和确定性变化。本发明的方法和系统实施例消除了先前提出的模拟神经形态电路的许多约束，从而可以实现各种不同学习模型中的任何一种，并且可以将功率消耗控制在可接受的水平。根据本发明的实施例，当需要时，甚至可以在单个神经形态电路的不同部分中实现不同的学习模型。

本发明的某些实施例采用脉宽调制(“PWM”)对数值进行编码和发送。图21A～22B举例说明指数式衰减函数的基于脉宽调制的表示。图21A示出线段的一部分内的特定数值和正实数线的一部分、或由线段的一部分所表示的实数的范围。该部分正实数线2102包括从原点2104到8.0的最大值2106的连续线段。考虑实数5.5(图21A中的2108)。可以将实数5.5表示为字母数字字符串“5.5”或表示为浮点值5.5，但是对字母数字字符串和浮点值进行编码和发送将需要比期望在本发明的实施例所指向的神经形态电路中实现的那些复杂得多的编码和解码算法，并且采用此类编码一般在计算上将是低效的。此外，本发明的方法和系统实施例取决于数值到电压或电流信号的相当直接的编码，其能够对忆阻结点赋予与所发送的数值成比例或以其他方式与之相关的特性。用于对实数值5.5直接编码的一种方法将使用第二持续时间的时隙或时间段内的某个第一持续时间的恒定电压脉冲，其中，第一和第二持续时间的比等于或0.6875，即为待编码的数5.5与可以被编码的数字范围内的最大数的比。因此，如图21B的图表2118中所示，发送在持续时间2112的时隙内的持续时间2110的电压脉冲2116来对比值0.6875或

进行编码。因此，由接收电压脉冲的实体通过乘以8.0(即电压脉冲可以表示的最大实数)、通过电压脉冲2116的持续时间与固定长度的时隙的持续时间2112的比来获得数字5.5。

图22A示出指数式衰减函数2202的图，其中，纵轴2204表示电压，而横轴2206表示时间。可以将指数式电压衰减函数表示为：

$f\left(t\right)={\mathrm{Ve}}^{-\frac{t}{\mathrm{\τ}}}$

其中，V是最大电压(图22A中的2208)；

t是时间；以及

τ是时间常数。

如图22B中所示，可以使用沿着指数式衰减曲线2202的所选择点的基于脉宽调制的表示来将此函数变换成离散值，并作为一系列的恒定电压脉冲进行发送。正如图22A中的图表一样，图22B中所示的图表2210相对于时间来绘制电压，但提供在图22A中被示为连续函数的指数式衰减函数的离散表示。图22B是通过在图22A中被示为沿着时间轴2206的“0”、“1”和“2”的离散时间点处，对图22A中所示的连续函数进行采样而由图22A导出的。采用参照图21A～B描述的脉宽调制技术将这些时间点中的每一个处的经采样连续函数值编码成恒定电压脉冲，其中恒定电压脉冲2220～2222分别表示在时间“0”、“1”和“2”处的指数式衰减函数的数值。请注意，在图22B中，恒定电压脉冲具有在阈值电压2226以下的幅值Vp的电压2224。阈值电压2226是神经形态电路的忆阻突触的阈值电压幅值。如上文所讨论的，当施加在忆阻突触两端的电压降具有在突触的阈值电压幅值以下的幅值时，忆阻突触的电导改变很小，但是当向忆阻突触施加等于或大于阈值电压幅值的幅值的电压降时，突触的电导明显改变，其中高于阈值电压幅值的电压幅值的每个附加增值引起电导的非线性增大。在本发明的实施例中，各种类型的信号中的每一种内的电压脉冲被保持低于神经形态电路内的忆阻突触的阈值电压幅值，以便只有当前向和后向传播信号的组合在下述某些非常特殊的情况下产生超阈值电压时，突触的电导才改变。

请注意，如果施加到突触上的图21A中所示的连续电压衰减函数作为连续电压信号，则可以用下式来近似突触的电导的总变化：

$A\left(\underset{0}{\overset{t_1}{\∫}}f\left(t\right)\right)+B\left(\underset{t_1}{\overset{\∞}{\∫}}f\left(t\right)\right)$

其中，A是反映随着施加阈值电压幅值以上的电压降而发生的大电导变化的相对大幅值的常数；

B是反映随着施加阈值电压幅值以下的电压降而发生的微小电导变化的非常小幅值的常数；以及

t₁是电压f(t)等于阈值电压时的时间。

当

具有相当大的数值时，这将产生电导的显著变化。相反，如果施加图22B中所示的函数的离散表示作为跨越突触的电压信号，则将仅发生非常小的电导变化，近似为：

$B\underset{i=0}{\overset{\∞}{\mathrm{\Σ}}}\underset{t_i}{\overset{t_i+\mathrm{pwm}\left(f\left(t_i\right)\right)}{\∫}}f\left(t\right)$

其中，pwm(f(t_i))是在时间t_i时的基于脉宽调制的电压值表示的持续时间。

与通过施加连续信号所产生的相比，这将产生非常小的电导变化。如下文所讨论的，在本发明的某些实施例中，每个正电压脉冲在用来实现学习的许多信号中均伴随有相同幅值的相等持续时间的负电压脉冲，从而使得除将两个信号组合以在突触两端产生超阈值电压降时的特殊情况之外，在突触中几乎不发生电导变化。

图23示出表示本发明实施例的神经形态电路内的神经元的符号表示，该神经元可以与其它神经元的信号传输同步地通过忆阻突触发送信号。除输出端2302、兴奋性输入端2304和抑制性输入端2306之外，神经元另外包括时钟输入端2308、恒定正电压V⁺2310和恒定负电压V^-2312输入端。在本发明的一个实施例中，由神经元生成并发送的所有信号包括相对于虚拟地电压V＝0而言为V⁺或V^-电压的脉冲。V⁺和V^-输入端2310和2312向神经元内部的电路提供电压。时钟输入端2308向神经形态电路内的所有神经元提供定时信号，允许各神经元使它们的信号传输相互同步，所述定时信号通常包括以固定的时间间隔或节拍发生的一系列电压尖峰。

图24举例说明了根据本发明实施例的基本信号同步模型。在图24中，横轴2402表示时间，如一般惯例一样，向右增加。时间被划分成固定间隔，称为帧，并且每个帧被进一步划分成时隙。在图24中，将表示帧边界的时间点2404～2407分别标记为“f₀”、“f₁”、“f₂”和“f₃”。因此，帧f₀指的是跨越时间点f₀ 2404至f₁ 2405的时间段2410。帧f₀被划分成每个具有相同大小的五个时隙s₀、s₁、s₂、s₃和s₄，其边界对应于时间点f₀ 2404、s₁ 2412、s₂ 2413、s₃ 2414、s₄ 2415和f₁ 2405。如图24中的帧2420的放大表示所示，将五个时隙称为“COMM”、“LTP⁺”、“LTP^-”、“LTD⁺”和“LTD^-”时隙。COMM时隙用于发送神经元发放和任何其它神经元输出。LTP⁺和LTP^-时隙被用于从一个神经元的输出端向一个或多个神经元的输入端发送长时程增强信号，即在具有相等持续时间和幅值及相反符号的每个LTP⁺/LTP^-中的电压脉冲。LTD⁺和LTD^-时隙用于从一个神经元的输入端子向其它神经元的输出端子发送长时程抑制信号，即也具有相等持续时间和幅值及相反符号的每个LTD⁺/LTD^-对中的电压脉冲。如上文所讨论的，通过成对地发送相反符号的电压信号，通过使由具有相反符号的成对的相等持续时间和相等幅值的脉冲产生的电导变化偏移，来避免将由该对中的仅一个脉冲的传输发生的甚至很小的阈值以下的电导变化。因此，如图24中所示，在规则地重复的帧中发生表示本发明的一个实施例的、基于时钟的同步神经形态电路中的信号传输，每个帧被划分成时隙，每个时隙允许传输不同类型的信号。帧和时隙边界与时钟节拍一致，其中每个时隙和每个帧具有固定数目的时钟节拍。

图25A～B举例说明了两个不同指数式衰减函数的脉宽调制表示。使用图25A中所示的第一指数式衰减函数、即LTP函数作为生成并传输LTP⁺和LTP^-信号的基础。在表2504中，此指数式衰减函数的采样和相应脉宽被示为在函数的右侧。类似地，图25B示出被用作用于生成LTD⁺和LTD^-信号的基础的第二指数式衰减函数LTD 2506。在各种采样时间发送的表示此函数的脉宽在表2508中被示为在函数的右侧。请注意，表2504和2508示出包括在其中发送信号的一系列连续帧中的每一个帧中的LTP和LDP信号中的每一个信号的脉宽。LTP函数被用作用来根据STDP学习模型的长时程增强方面改变忆阻突触的电导的LTP信号的基础，并且LTD函数被用作根据STDP学习模型实现忆阻突触的长时程抑制的LTD信号的基础。然而，根据本发明的方法，可以使用不同的函数和相应的脉宽调制值表来实现多种不同学习模型中的任何一种。请注意，LTP函数比LTD函数略微更快速地衰减，或者，换言之具有较小的时间常数。LTP和LTD函数之间的差对应于在图5中示出并在前一小节中讨论的图表的左侧和右侧的差。

图26示出根据本发明实施例的神经形态电路内的两个神经元和其输出端和输入端的字母数字标签。在以下讨论中，将第一神经元2602 V1称为“前”神经元，并将第二神经元2604 V2称为“后”神经元。忆阻突触2606将神经元V1的输出端接合到神经元V2的兴奋性输入端。本发明的所述实施例使用恒定电压脉冲信号。用图26中所示的字符串来指示两个神经元的输入和输出端子处的、在任何给定时间实例处的电压。兴奋性输入电压以字母“e”结束，抑制性输入端以“i”结束，并且输出端子电压以小写字母“o”结束。这些命名的惯例在图27A～27F中用来举例说明由根据本发明的一个实施例的神经形态电路中的神经元生成并发送的信号的形式。

图27A～F举例说明根据本发明实施例的、由神经形态电路中的神经元生成并发送的恒定电压脉冲信号。图27A～F全部使用相同的例示惯例。在每个图的底部处，示出从第一帧2702开始的一系列连续帧和某些帧内的时隙的表示。图26中所示的神经形态电路的一部分中的三个不同点中的每一个处的电压或电压信号被示为在三个对准的图2704～2706中被水平地描绘。各图另外与页面底部的连续帧的表示对准。

图27A示出由发放神经元生成的信号。在图2704中描绘了在神经元的输出端处生成的信号，并在图2705和2706中示出在神经元的兴奋性和抑制性输入端处生成的信号。请注意，在本发明的所述实施例中，后向传播的电压信号的等价物被输出到输入信号线，以便与进入的信号组合，从而若干次地在忆阻突触两端产生超阈值电压降以便根据诸如STDP模型之类的学习模型完成学习。在尖峰2708发生之前，在图27A中所示的第四帧2710开始时，由神经元输出的信号是平的，或者，换言之为恒定虚拟零电压信号2712～2714。尖峰与帧边界对准。因此，在帧2710的左边界前面的某个时刻，神经元V1内的内部处理电路确定应在第四帧2710和随后的帧中发射尖峰。

在第四帧2710的COMM时隙2716中，发放神经元V1输出跨越时隙的正电压脉冲2718。这是可以被任何接收的下游神经元本身用来至少部分地确定随后何时发放的尖峰信号。在第四帧的LTP⁺和LTP^-时隙2720～2721中，神经元输出具有等于图25A中的表2504中的第一条目中所示的PWM值的宽度或持续时间的相反符号电压脉冲。在LTP⁺时隙2720中发送正脉冲2723，并在LTP^-时隙2721中发布相应的负脉冲2724。在LTD⁺和LTD^-时隙2725～2726中，发放神经元在每个输入端子上发射分别具有等于图25B中的表2508的第一条目中所示的宽度的持续时间或宽度的正电压脉冲2727和负电压脉冲2728。如下文所讨论的，前向传播的LTP信号可以与后向传播的LDP信号组合，以在忆阻突触两端产生超阈值电压降，并因此根据STDP学习模型改变突触的电导。

在下一个第五帧2729中，神经元V1在LTP⁺时隙2733和LTP^-时隙2734中输出LTP⁺2730和LTP^-2732脉冲对，其具有等于图25A中的表2504中的第二条目中所指示的宽度的脉宽，并在第五帧2729的LTD⁺和LTD^-时隙2738和2739中向输入端子发射正LTD⁺2735和负LTD^-2736信号2735～2748。在后续帧2740和2742中，在LTP⁺和LTP^-时隙2748和2749中输出LTP⁺和LTP^-信号对2744和2746，其具有根据图25A中的表2504的第三和第四条目的减小的宽度，并且在LTD⁺和LTD^-时隙2754和2756中在输入端子处发射LTD⁺和LTD^-信号对2750和2752，其具有根据图25B中的表2508的第三和第四条目的减小的脉宽。因此，发放神经元在与尖峰一致的第一帧中发射单个尖峰脉冲2718，以及最大值的LTP⁺/LTP^-和LTD⁺/LTD^-信号，并随后在后续帧中继续输出LTP⁺/LTP^-并发射LTD⁺/LTD^-信号，其具有减小的脉宽，每个后续帧直至LTP和LDP函数已衰减为止，用表2504和2508中的0条目来表示全衰减。

图27B～F举例说明了基于参照图27A描述的信号的STDP学习。在图27B～F的每一个中，将输出到后神经元V2e的输入端子的信号、输出到前神经元V1o的输出端子的信号、和连接所述两个神经元的忆阻突触(图26中的2606)两端的电压降示为每个图中的第一、第二和第三信号图。

图27B示出了在公共帧中，当后神经元和前神经元同时发放时的后神经元V2的兴奋性输入端处、前神经元V1的输出端处的电压，以及跨越连接的忆阻突触的电压降。根据参照图19B～C讨论的电压惯例，忆阻突触两端的电压在每个时间点处等于电压V1o-V2e。以交叉阴影线示出忆阻突触两端的超阈值电压降，诸如图27B中的超阈值电压降2760和2762。阈值电压幅值被示为虚线2763。当两个神经元同时或者在单个帧2764内发放时，当前神经元在后神经元在同一时隙中输出最大幅值2768的负脉冲的同时在第一帧的LTP⁺时隙中输出最大取值的LTP⁺信号2766时，发生超阈值电压。类似地，在LTD⁺时隙中，当前神经元发送最大幅值LTD^-信号2770且前神经元发送最大幅值正LTD⁺信号2772时，发生超阈值电压2762。在同时发放的情况下，不发生其它超阈值电压降，并且由于正和负超阈值电压降2760和2762精确地偏移，所以对于同时发放而言，本质上不存在忆阻突触2606的电导变化。

图27C示出了当所述前神经元在第一帧2774中发放且后神经元在第二帧2776中发放时的情况。在这种情况下，在第二帧的LTP⁺时隙中生成单个正超阈值电压2778，这导致忆阻突触的电导增大及因此的根据STDP模型的正LTP学习。如图27D中所示，当后神经元在所述前神经元在第一帧2784中发放之后在第三帧2782中发放时，在第三帧的LTP⁺时隙期间生成单个略小的超阈值电压2786，这导致将两个神经元接合的忆阻突触中的较小电导增大。根据STDP模型，电导的增大随着后神经元的发放比前神经元的发放滞后附加帧而呈指数地减小。一旦LTP和LTD函数已完全衰减，则不再发生导电率变化。

图27E举例说明了下面的情况，其中后神经元在第一帧2790中发放、而前神经元在第二帧2792中发放。这是神经元激发或发放次序紊乱、后神经元在前神经元发放之前发放的情况。在这种情况下，在第二帧中发生单个超阈值电压2794，如根据STDP模型对LTD预期的那样，这将引起电导减小。如图27F中所示，当后神经元在第一帧2795中发放且前神经元在第三帧2796中发放时，如图27E中所示，忆阻突触2798两端的超阈值负电压的持续时间比当所述前神经元在后神经元进行发放的帧之后紧接着的帧中发放时要小。因此，根据STDP学习模型的LTD特性，当发放次序紊乱时，突触电导减小，并且电导减小的量随着尖峰在时间上越来越分离而呈指数衰减。

图28A～29E举例说明了根据本发明的实施例的、生成图27A～F中所示同步信号的神经形态电路神经元信号处理逻辑的一种实施方式。图28A～29E全部使用下面参照图28A讨论的相同的例示惯例。神经元实现包括时钟输入信号线2802、兴奋性输入信号线2804、抑制性输入信号线2806、正恒定电压输入端2808、负恒定电压输入端2809和输出信号线2810。时钟输入控制四个时分解复用解复用器(“TDD DEMUX”)2812～2814和时分复用复用器(“TDM MUX”)2815。如上文参照图21A～22B所讨论的，两个脉宽调制单元2816和2817(“PWM单元”)将输入的连续电压信号转换成相应的恒定电压脉冲。虽然图28A～29E中未示出，但PWM单元直接地被输入时钟信号或间接地被神经元处理器控制，以在适当的时间发射恒定电压PWM脉冲。神经元处理电路2820接收兴奋性和抑制性输入2822和2824、时钟输入2826和正电压输入2828，并输出由尖峰发生器2832生成的尖峰信号2830和2831。电容器C₂ 2834和电阻器R₂ 2836组合来产生表征LTP指数式衰减函数的时间常数τ₂，并且电容器C₁ 2838和电阻器R₁ 2840组合以产生表征LTD指数式衰减函数的时间常数τ₁。

图28A～28E中的每一个图对应于发放神经元的第一帧的连续时隙中的每一个时隙。因此，图28A～E示出对应于发放神经元的第一帧(图27A中的2710)的图27A中所示的电压信号的产生。在时隙0或COMM时隙中，由神经元处理器的尖峰发生器2832生成的尖峰信号闭合四个开关2842～2845，其在图28A～28E中所描绘的整个第一帧期间保持闭合。输入到每个TDD DEMUX的时钟信号引起输入到TDM MUX的时隙-0的输出。由于开关2842被尖峰信号闭合，所以输入到TDM MUX2815的时隙0输入端2848的V⁺电压被传递至输出信号线2810，其因此具有电压值V⁺2850。由于开关2843和2845闭合，所以电容器C₁和C₂在第一帧期间被充电至全容量。不存在连接到TDD DEMUX 2813的时隙0输入端2852的信号，并因此没有信号被输出到兴奋性输入端2804或抑制性输入端2806。

如图28B中所示，当时钟输入2854指示第一帧的第二时隙或LTP⁺时隙开始时，从PWM单元2817输出一般具有等于对应于电压的PWM值的持续时间的正LTP⁺信号，但是由于在第一帧中t等于0，所以输出信号具有最大持续时间。V^-通过开关2844被输出到抑制性和兴奋性端子两者。

在第一帧的第三时隙中，如图28C中所示，从PWM单元2817向输出端输出一般具有对应于由电压

计算出的PWM值的持续时间的负电压脉冲，但是由于t＝0，所以其在第一帧中具有最大持续时间。兴奋性和抑制性输入端通过TDD DEMUX 2813连接到地。在第一帧的第四时隙中，V⁺恒定电压被反转并通过TDM MUX 2815输出到输出端子，并且一般具有等于对应于电压

的PWM值的持续时间但在第一帧中具有最大持续时间的正幅值LTD⁺信号通过TDD DEMUX 2813被输出到抑制性和兴奋性输入端子二者。最后，在第一帧的第五时隙中，输出端子通过TDM MUX 2815连接到地，并且一般在持续时间方面等于对应于电压

的PWM值但在第一帧中具有最大持续时间的负LTD^-脉冲通过TDD DEMUX 2813被输出到兴奋性和抑制性输入端子。因此，考虑图28A～E和图27A，很容易看到如何通过图28A～E中所示的实施方式来生成在神经元发放的第一帧期间在神经元的终末处发生的每个电压脉冲。

图29A～E示出通过表示本发明的一个实施例的实施方式生成非发放帧期间的端子电压。如图29A中所示，尖峰信号线2830～2831上不存在尖峰信号使开关2842～2845打开。这些开关在所有非尖峰一致的帧(non-spike-coincident frame)中保持打开。当开关2843和2845打开时，电容器C₂和C₁随着时间的推移放电，产生上述LTP和LTD指数衰减函数。在帧2710之后的图27A中的每个帧中，在每个端子处示出类似的电压信号，其中LTP⁺/LTP^-和LTD⁺/LTD^-信号的脉宽在连续的帧中缩窄。当然，当LTP和LDP函数已经衰减时，或者当电容器C1和C2被完全放电时，并且当不再发生发放时，在所有神经元终末处仅输出虚拟接地的0V电压。并且，如从图28A中所示的实施方式显见的那样，当神经元在在前尖峰的LTP和LTD函数已完全衰减之前发放时，LTP和LTD函数通过电容器C₁和C₂的充电被最近的尖峰复位至其最大值。

最后，图30示出根据本发明实施例的、可以用来将输入信号连接到神经元的虚拟接地电路的一种可能的实施方式。虚拟接地实施方式使用加法放大器3002将所有输入电流加和，并将该和转换成输出电压3004。

虽然已根据特定实施例描述了本发明，但并不意图使本发明局限于这些实施例。本发明的精神内的修改对于本领域的技术人员来说将是显而易见的。例如，可以将神经元实现为基于从一个或多个抑制性输入端和/或一个或多个兴奋性输入端接收到的输入生成同步信号并向多个输出端发送同步信号。虽然在以上实施方式中讨论了STDP模型，但是可以通过改变在每个神经元的输出和输入端子处生成和产生的信号来实现各种不同学习模型中的任何一种。虽然根据本发明的优选实施例使用五个时隙的帧，但每个帧可以使用更少或更多数目的时隙。例如，可以在COMM+和COMM-时隙中输出正和负尖峰电压以进一步减少不期望的突触电导变化。各实施方式可以使用电压和电流信号、电压信号、或电流信号。可以采用几乎无限多的不同神经元处理电路实施方式。虽然在图28A～29E中示出了神经元的信号生成和信号传输部分的示例性电路实施方式，但可以有许多其他的使用不同的组件、互连和组织的实施方式。上文所讨论的实施例集中于神经形态电路的内部神经元，其从上游神经元接收信号并向下游神经元发送信号。神经形态电路经常包括从外部输入端接收信号并向外部输出端发送信号的很好的接口神经元。在某些实施例中，接口神经元可以不采用基于帧的同步来接收外部输入并输出外部输出，而是可以遵循在神经形态电路外部的设备电路内使用的另一惯例。

前述说明出于解释的目的使用特定的命名法来提供对本发明的透彻理解。然而，对于本领域的技术人员来说显而易见的是，不要求有所述特定细节以便实施本发明。出于例示和说明的目的提出本发明的特定实施例的前述说明。其并不意图是排他性的或使本发明局限于所公开的精确形式。根据以上教导，可以进行许多修改和变更。示出并描述实施例是为了最好地解释本发明的原理及其实际应用，从而使得本领域的技术人员能够以适合于预期的特定用途的各种修改来最好地利用本发明和各实施例。意图在于由以下权利要求及其等价物来限定本发明的范围。

Claims (10)

1.一种神经形态电路，包括：

两个或更多内部神经元计算单元，每个内部神经元计算单元包括用于接收同步信号的同步信号输入端、用于接收输入信号的至少一个输入端和用于发送输出信号的至少一个输出端；以及

忆阻突触，每个忆阻突触将载送来自于第一组的一个或多个内部神经元的输出信号的输出信号线互连到向第二组的一个或多个内部神经元载送信号的输入信号线；

其中，每个内部神经元采用同步信号将时间划分成多个帧，每个帧包括两个或更多时隙，其中，在每个帧的每个时隙期间，每个内部神经元可以发送和/或接收与该时隙相关的特定类型信号的信号；

其中，每个帧包括：

COMM时隙；

LTP⁺时隙；

LTP^-时隙；

LTD⁺时隙；以及

LTD^-时隙；

并且其中：

在COMM时隙期间，内部神经元可以向一个或多个下游神经元发送输出信号；

在LTP⁺时隙期间，内部神经元可以发送LTP⁺/LTP^-信号对的正LTP⁺信号；

在LTP^-时隙期间，内部神经元发送LTP⁺/LTP^-信号对的负LTP^-信号；

在LTD⁺时隙期间，内部神经元可以发送LTD⁺/LTD^-信号对的正LTD⁺信号；以及

在LTD^-时隙期间，内部神经元发送LTD⁺/LTD^-信号对的负LTD^-信号。

2.权利要求1的神经形态电路，其中，由内部神经元在每个帧的每个时隙期间发送的信号是在没有与附加信号组合的情况下、相对于信号通过的任何忆阻突触而言低于阈值信号强度幅值的次阈值信号。

3.权利要求1的神经形态电路，其中，发放内部神经元在与发放一致的第一帧期间发送：

在COMM时隙期间到一个或多个输出端的尖峰信号；

在LTP⁺时隙期间到一个或多个输出端的最大LTP⁺信号；

在LTP^-时隙期间到一个或多个输出端的最大LTP^-信号；

在LTD⁺时隙期间到一个或多个输出端的最大LTD^-信号；

在LTP⁺时隙期间到一个或多个输入端的最大LTP^-信号；

在LTD⁺时隙期间到一个或多个输入端的最大LTD⁺信号；

在LTD^-时隙期间到一个或多个输入端的最大LTD^-信号。

4.权利要求1的神经形态电路，其中，非发放内部神经元在发放之后的每个帧期间发送：

在具有表示LTP函数的当前值的幅值的LTP⁺时隙期间到一个或多个输出端的LTP⁺信号，其中所述LTP函数在发放时从最大值呈指数式衰减；

在具有表示LTP函数的当前值的幅值的LTP^-时隙期间到一个或多个输出端的LTP^-信号，其中所述LTP函数在发放时从最大值呈指数式衰减；

在具有表示LTP函数的当前值的幅值的LTD⁺时隙期间到一个或多个输入端的LTD⁺信号，其中所述LTP函数在发放时从最大值呈指数式衰减；以及

在具有表示LTP函数的当前值的幅值的LTD^-时隙期间到一个或多个输入端的LTD^-信号，其中所述LTP函数在发放时从最大值呈指数式衰减。

5.权利要求1的神经形态电路，其中，当具有输出端的第一内部神经元在第一帧中发放，而第二内部神经元在第一帧之后的第二帧中发放时，以及当第一内部神经元的LTP函数尚未衰减到0值时，由第一内部神经元在LTP⁺时隙期间发送的LTP⁺信号与由第二内部神经元在LTP⁺时隙期间发送到第二内部神经元的一个或多个输入端的最大LTP^-信号组合，以产生相对于忆阻突触而言在阈值信号强度以上的正超阈值信号；其中所述第一内部神经元的输出端通过忆阻突触连接到第二内部神经元的输入端。

6.权利要求1的神经形态电路，其中，当具有输出端的第一内部神经元在第二帧中发放，而第二内部神经元在第一帧之前的第一帧中发放时，以及当第二内部神经元的LDP函数尚未衰减到0值时，由第一内部神经元在LTD+时隙期间发送到一个或多个输出端的LTD-信号与由第二内部神经元在LTP+时隙期间发送到第二内部神经元的一个或多个输入端的LTD+信号组合，以产生在阈值信号强度以下的负超阈值信号，其负向地加强忆阻突触；其中所述第一内部神经元的输出端通过忆阻突触连接到第二内部神经元的输入端。

7.权利要求1的神经形态电路，其中，所述忆阻突触表现出由于所施加的超阈值正电压而引起的非线性的正电导变化、由于所施加的超阈值负电压而引起的非线性的负电导变化、以及由于具有低于阈值电压幅值的幅值的所施加电压而引起的非常小的电导变化。

8.权利要求1的神经形态电路，其中，内部神经元在输入端和输出端处发射电压信号，并在输入端处接收电流信号，通过虚拟接地电路将接收到的电流信号变换成内部电压信号。

9.一种用于实现神经形态电路中的学习的方法，该方法包括：

提供具有两个或更多内部神经元计算单元和忆阻突触的神经形态电路，每个内部神经元计算单元包括用于接收同步信号的同步信号输入端、用于接收输入信号的至少一个输入端；以及用于发送输出信号的至少一个输出端，每个忆阻突触将载送来自于第一组的一个或多个内部神经元的输出信号的输出信号线互连到向第二组的一个或多个内部神经元载送信号的输入信号线；以及

由神经形态内的内部神经元发送信号，其相对于信号通过的任何忆阻突触而言低于阈值信号强度幅值，但是在通过忆阻突触耦合的内部神经元均在指数式衰减函数的衰减时间内激发的情况下，其组合以产生信号，该信号的一部分在幅值方面相对于忆阻突触而言大于阈值信号强度幅值，根据学习模型改变忆阻突触的电导；

其中，每个内部神经元采用同步信号将时间划分成多个帧，每个帧包括两个或更多时隙；以及

其中，在每个帧的每个时隙期间，每个内部神经元可以发送和/或接收与该时隙相关的特定类型信号的信号；

其中，每个帧包括COMM时隙、LTP⁺时隙、LTP^-时隙、LTD⁺时隙和LTD^-时隙；

其中，在COMM时隙期间，内部神经元可以向一个或多个下游神经元发送输出信号，在LTP⁺时隙期间，内部神经元可以发送LTP⁺/LTP^-信号对的正LTP⁺信号，在LTP^-时隙期间，内部神经元发送LTP⁺/LTP^-信号对的负LTP^-信号，在LTD⁺时隙期间，内部神经元可以发送LTD⁺/LTD^-信号对的正LTD⁺信号，并且在LTD^-时隙期间，内部神经元发送LTD⁺/LTD^-信号对的负LTD^-信号。

10.权利要求9的方法，其中，在与发放一致的第一帧期间，内部神经元发送

在COMM时隙期间到一个或多个输出端的尖峰信号，

在LTP⁺时隙期间到一个或多个输出端的最大LTP⁺信号，

在LTP^-时隙期间到一个或多个输出端的最大LTP^-信号；

在LTD⁺时隙期间到一个或多个输出端的最大LTD^-信号，

在LTP⁺时隙期间到一个或多个输入端的最大LTP^-信号，

在LTD⁺时隙期间到一个或多个输入端的最大LTD⁺信号，以及

在LTD^-时隙期间到一个或多个输入端的最大LTD^-信号，并且

其中，非发放神经元在发放之后的每个帧期间发送：

在具有表示LTP函数的当前值的幅值的LTP⁺时隙期间到一个或多个输出端的LTP⁺信号，其中所述LTP函数在发放时从最大值呈指数式衰减；

在具有表示LTP函数的当前值的幅值的LTP^-时隙期间到一个或多个输出端的LTP^-信号，其中所述LTP函数在发放时从最大值呈指数式衰减；

在具有表示LTP函数的当前值的幅值的LTD⁺时隙期间到一个或多个输入端的LTD⁺信号，其中所述LTP函数在发放时从最大值呈指数式衰减；以及

在具有表示LTP函数的当前值的幅值的LTD^-时隙期间到一个或多个输入端的LTD^-信号，其中所述LTP函数在发放时从最大值呈指数式衰减。

Images