CN107615307B - 神经形态处理设备 - Google Patents

Abstract

神经形态处理设备(1)具有用于接收输入数据信号的设备输入(2)和神经元电路(3)的集合。每个神经元电路(3)包括电阻式存储单元(14)和神经元输出电路(15)，电阻式存储单元被布置成存储由槽电阻所指示的神经元状态，并且接收神经元输入信号(11)用于编程槽电阻以改变神经元状态，神经元输出电路(15)用于响应于槽电阻越过阈值来提供神经元输出信号(12)。该设备(1)包括输入信号发生器(4)，其连接到设备输入(2)和神经元电路(3)的集合，用于根据输入数据信号生成用于集合的神经元输入信号(11)。该设备(1)进一步包括连接到集合的神经元输出电路(15)的设备输出电路(5)，用于产生依赖于集合的神经元输出信号(12)的设备输出信号，由此处理设备(1)利用集合的电阻式存储单元的随机性。

Description

神经形态处理设备

背景技术

本发明通常涉及神经形态处理设备，并且更具体地，涉及采用基于电阻式存储单元的神经元电路集合的这样的设备。

神经形态技术涉及受神经系统的生物学架构启发的计算系统。基于CMOS逻辑和冯·诺依曼架构的传统计算模式正变得越来越不足以满足现代计算机系统扩大的处理需求。与生物系统相比，在功耗和空间要求方面也是非常低效的。这些问题促使了大量的研究工作来理解人脑的高效计算模式，并创造出具有前所未有的计算能力的人工认知系统。

神经元与突触一起是大脑中的基本计算单位。神经元可以对它接收的输入信号进行积分。在生物神经元中，使用薄的脂质双层膜来将单元内部的电荷与外部的电荷分离。表示所存储的神经元状态的膜电位在神经元输入信号的到达时而逐步地被修改。当膜电位越过特定的电压阈值时，神经元将“激发(fire)”，生成已知为“动作电位”或“突起(spike)”的输出信号，然后恢复到其初始状态。经由突触将这些尖峰传递给其他神经元，这些突触改变其连接强度(“可塑性”或“突触权重”)作为神经元活动的结果。

大多数当前人造神经元实现是基于混合模拟/数字VLSI电路，并且需要实现几个晶体管。使用传统的CMOS电路(如电流模式、电压模式和亚阈值晶体管电路)模仿积分激发神经元功能相对复杂，并且阻碍与高密度突触阵列的无缝积分。此外，传统的CMOS解决方案依赖于将膜电位存储在电容器中。即使对技术节点进行广泛的扩展，实现在生物神经元膜中测量的电容密度(大约10fF/μm2)是具有挑战性的。

诸如相变存储器(phase change memory，PCM)单元之类的电阻式存储单元已被认为是用于实现神经硬件的合适候选者(参见例如“The Ovonic Cognitive Computer-ANewParadigm”,Ovshinsky,Proc.E/PCOS,2004,和“Novel Applications Possibilities forPhase-Change Materials and Devices”，Wright et al.,Proc.E/PCOS,2013)。电阻式存储单元是可编程电阻设备，其依赖于放置在一对电极之间的大量电阻材料的可变电阻特性。这些单元是忆阻器，即记忆流过它们的电流的历史的设备。虽然已经解释了可伸缩和高效的记忆性突触，但是能够捕获生物神经元的大部分基本属性的实际人造神经元的具体实现更具挑战性。

除了确定性的神经元动态之外，随机神经元动态在生物系统中的信号编码和传输中起关键作用。“Memristors Empower Spiking Neurons With Stochasticity”IEEEJESTCS,Vol.5,No.2,2,June 2015,Al-Shedivat et al.,公开了使用金属氧化物忆阻器来在电路神经元实施方式中人工地注入神经元内随机性。

发明内容

根据本发明的至少一个实施例，提供了一种神经形态处理设备。该设备具有用于接收输入数据信号的设备输入以及神经元电路的集合。每个神经元电路包括电阻式存储单元和神经元输出电路，该电阻式存储单元被布置成存储由槽电阻(cell resitance)所指示的神经元状态，并且接收神经元输入信号用于编程槽电阻以改变神经元状态，该神经元输出电路用于响应于槽电阻越过阈值来提供神经元输出信号。该设备包括输入信号发生器，其连接到设备输入和神经元电路的集合，用于根据输入数据信号生成用于集合的神经元输入信号。该设备进一步包括连接到集合的神经元输出电路的设备输出电路，用于根据集合的神经元输出信号产生设备输出信号，由此处理设备利用集合的电阻式存储单元的随机性。

下面参照附图，通过说明性和非限制性的例子更详细地描述本发明的实施例。

附图说明

图1是体现本发明的神经形态处理设备的示意图；

图2示出了图1设备的神经元电路集合；

图3是用于在集合的神经元电路中使用的PCM单元的示意图；

图4a至图4c指示使用PCM单元的神经元电路的操作特性；

图5a和图5b示出了PCM神经元电路的随机属性；

图6示出了PCM神经元电路的一个实施例；

图7指示图6神经元电路的操作；

图8至图10示出了PCM神经元电路的进一步实施例；

图11示出了本发明的实施例中的用于高频信号表示的神经形态处理设备；以及

图12a至图12c示出了图11设备的操作结果。

具体实施方式

图1示出了体现本发明的神经形态处理设备1，其具有用于接收要被处理的输入数据信号的设备输入2。设备1包括神经元电路的集合3，在本文中也通过与生物系统的类比被称为神经元的“群体”。如图中的虚线框所示，集合3通常可包括单个神经元群体或多个组件群体或“子集合”，如下面进一步讨论的。输入信号发生器4连接到设备输入2和神经元电路的集合3。在操作中，输入信号发生器4可操作地根据输入数据信号生成用于神经元集合3的神经元输入信号。设备输出电路5连接到神经元集合3，用于从集合的神经元电路接收神经元输出信号。在操作中，设备输出电路5可操作地根据集合的神经元输出信号产生设备输出信号。

如图1的虚线箭头6所指示，在一些实施例中，输入信号发生器4可以是响应于集合的神经元输出信号。在这样的实施例中，输入信号发生器4可以适应于根据神经元输出信号来控制集合的神经元输入信号的生成。作为另一可选特征，输入信号发生器可以响应于由虚线箭头7指示的随机性控制输入。输入信号发生器4然后能够适应于根据控制输入7来控制集合的神经元输入信号的生成。以下将进一步讨论这些可选的特征。

图2是神经元集合3的一个实施例的示意图。这包括单个神经元群体，其包含多个(multiplicity)N个神经元电路10，每个神经元电路具有输入11和输出12。群体中神经元电路的数量N可以针对不同的应用而变化。一个典型的群体可以包含至少数十个神经元，以及更常见的是至少数百个神经元。神经元输入11和神经元输出12分别连接到输入信号发生器4和设备输出电路5。(尽管在概图中以简单的形式显示，但是实际上，群体3的输入11和输出12可以直接或间接地(例如经由一个或多个诸如开关等的中间组件)连接到组件4、5。每个神经元电路10包括电阻式存储单元14和神经元输出电路15。如以下示例所示，每个神经元电路10的电阻式存储单元14被布置成存储神经元状态或由槽电阻所指示的“膜电位”(Membrane Potential，MP)。存储单元14还布置成接收由神经元输入11上的输入信号发生器4提供的神经元输入信号，用于对槽电阻进行编程以改变神经元状态。神经元输出电路15适应于响应于如下所述的槽电阻越过阈值来在神经元输出12上提供神经元输出信号。每个神经元输出信号表示对应于神经元激发的突起事件。

在处理设备1的操作中，要处理的数据信号被提供给设备输入2，并且输入信号发生器4生成神经元输入信号，其被施加到神经元群体3的存储单元14以改变神经元状态。这些神经元输入信号依赖于输入数据信号。因此，由信号发生器4根据输入数据信号的一个或多个属性确定神经元输入信号的一个或多个属性。如果单独的神经元电路各自的存储单元14的电阻越过阈值水平，则单个神经元电路将激发，生成神经元输出信号(突起)。设备输出电路5接收神经元输出信号并根据此产生设备输出信号。也就是说，由输出电路5根据神经元群体3的汇总输出的一个或多个属性来确定设备输出信号的一个或多个属性。

在典型的应用中，单个神经元电路10将从信号发生器4接收一连串的神经元输入信号。到任何给定神经元10的连续的输入信号能够然后逐步改变槽电阻。具体地，输入信号发生器4优选地适应于周期性地生成用于组合3的神经元输入信号，根据输入数据信号控制每个神经元输入信号的至少一个属性。因此，神经元输入信号根据输入数据信号随时间变化。在下面详述的实施例中，每个神经元输入信号包括编程脉冲，并且输入信号发生器4根据输入数据信号的至少一个时间依赖属性来控制至少一个编程脉冲属性。例如，整个编程脉冲的幅度、持续时间(例如脉冲宽度)、功率、后沿形状、或分量脉冲的数量中的一个或多个可以由信号发生器4控制。连续的编程脉冲因此根据输入数据信号的时间变化而变化。设备输出电路5可以适应于根据设备输出电路5从群体3接收神经元输出信号的速率来控制设备输出信号的至少一个属性。优选实施例的神经元电路10能够进行一系列积累/激发循环，即槽电阻的逐步变化导致输出突起的生成。具体地，每个神经元10的神经元输出电路15可操作地响应于槽电阻越过阈值和随之而来的突起事件来控制槽电阻到初始(预积累)神经元状态的复位。这可以通过经由神经元输出电路向存储单元选择性地施加复位脉冲来实现，如下面进一步描述的。

输入信号发生器4和设备输出电路5的精确操作细节将取决于要执行的特定处理操作，并且下面进一步描述示例。然而，一般而言，通过根据输入数据信号对集合的电阻式存储单元进行编程，并基于集合的神经元输出产生设备输出信号，处理设备1在信号处理操作中利用集合的电阻式存储单元的随机性。电阻式存储单元在神经元内和神经元间存储神经元状态和贡献随机效应，这些在神经元群体的集体输出中展示出来。本发明的实施例因此提供了利用神经元群体的随机行为的有效的神经形态处理设备，直接类比于生物系统，其中使用单元的群体而不是单个单元来编码几乎所有的信息。

在下面的例子中，神经元电路10中的电阻式存储单元是PCM单元。在这些基于PCM的神经元中，核心思想是通过纳米级相变设备内的相位配置来模拟神经元状态，即神经元膜电位。该相变设备由夹在两个电极之间的纳米体积的相变材料构成。该相位配置将基于神经元输入信号随时间变化。图3中显示了PCM单元的示意图，这里是“蘑菇-单元”类型。PCM单元20包括大量的硫族化物材料，诸如GST(Germanium-Antimony-Tellurium，锗-锑-碲)，其置于第一“顶”电极(“Top”Electrode，TE)和第二“底”电极(“Bottom”Electrode，BE)之间。较小的底部电极充当经由向电极施加编程脉冲来加热硫族化物的加热器。在如此制造的设备中，硫族化物材料处于(低电阻)结晶相中。为了在晶体基质之内创建(高电阻)非结晶区，施加足够高幅度的电压脉冲(称为复位脉冲)，使得由流过单元的电流引起的产生的焦耳热将熔化相变材料的大部分。如果脉冲被突然切断，由于玻璃转化，熔化的材料将快速淬火成非结晶相。这在图中所示的其它结晶硫族化物之内创建了高电阻非结晶材料的区域。该非结晶区域的有效厚度ua是设备内相位配置的测量。在这种状态下，如果经由电极向单元施加小于某个阈值开关电压的电压，电流将会很小，以致将有非常小的焦耳热，并且单位体积中基本上没有相变。然而，施加高于阈值电压(但小于复位脉冲幅度以使得设备之内达到的温度低于熔化温度)的编程(“写入”)脉冲时，产生的焦耳热将引起单元内晶体生长，并且非结晶厚度ua减小。结晶的程度可以通过改变属性(例如，结晶脉冲的功率和持续时间)来控制。结晶脉冲的连续施加将导致逐步减小ua。随着ua减小，单元的电阻减小。可以通过向电极施加低电压“读取信号”并测量流过单元的产生的电流(resulting currentflow)来测量单元电阻。读电压电平足够低，以致读操作不会干扰经编程的单元状态。

在下面的实施例中的神经元电路10使用PCM单元20内的相位配置来存储神经元状态。如上所述，神经元输入信号引起单元电阻的减少以改变神经元状态。神经元输出电路15检测单元电阻以测量神经元状态。当单元电阻下降到阈值水平以下时，神经元激发并且神经元输出电路15向神经元输出12提供神经元输出信号(突起)。然后，神经元输出电路也向单元施加复位脉冲以将单元电阻复位为初始状态、预积累的神经元状态。图4a至图4c示出了这种PCM神经元10的操作特性。这些实验结果是利用在90nm技术节点中制造的蘑菇型PCM单元20获得的。图4a示出了作为神经元输入信号以及流过PCM单元20的产生的电流而施加的典型复位脉冲和一系列结晶脉冲。图4b示出了根据PCM单元的电导的神经元状态的演变，作为结晶脉冲的数量的函数。在一定数量的脉冲之后，电导梯度急剧上升并导致神经元状态超过激发阈值。激发事件的快速发作是由PCM结晶动态中固有的正反馈机制使能的，其与生物单元中电压门控动作电位的生成具有相似性。在施加复位脉冲之后，操作循环以可由结晶脉冲的功率和持续时间(宽度)控制的激发速率而重复。这在示出了针对结晶脉冲宽度(20ns和50ns)和幅度(2V和4V)的不同组合的激发速率的变化的图4c中示出。这些PCM神经元的积分激发动态在跨从极高频更新(脉冲周期为102ns，对应于10MHz更新频率)到生物相关时间尺度及以上(脉冲周期为108ns，对应于10Hz的更新频率)的时间尺度上是一致的。已经示出PCM单元维持超过1012个切换周期，这将对应于在100Hz更新频率处的超过300年的操作。

在PCM神经元10的群体3中，PCM单元不仅提供用于存储神经元状态的(唯一的)机制，而且提供在处理设备1中利用的神经元内和神经元间的随机性。这种随机行为的起源解释如下。

跨多个PCM神经元群体的积分激发响应的可变性主要来源于与制造过程有关联的结构可变性。单元的物理属性(诸如相变层的厚度和电极尺寸)通常跨晶片而变化，并导致时间积分特性和相关联的激发响应中的差异。当设备扩展到未来的技术节点时，这种结构可变性可能会进一步增加。然而，更复杂的现象是单个基于相变的神经元的随机激发响应。有证据表明，其起源依赖于经由熔化淬火处理创建的非结晶区域在每次复位处理之后具有不同的原子构型的事实。发生这种情况是因为在熔化状态下原子的高移动性确保即使在初始条件或脉冲特性中的最微小的变化将导致在玻璃化转变期间形成新的非结晶玻璃状态。最终，不同的玻璃态导致玻璃相中粘度和扩散率变化引起的生长速度的差异。非结晶区域也可能具有不同的晶核分布，这导致施加结晶脉冲期间不同的结晶速率和神经元的不同的激发响应。随机激发响应的另一来源是在施加积累脉冲期间形成额外的晶核。例如，Ge2Sb2Te5(GST)中的结晶机制是成核主导的，并且成核再次是固有随机的，具有强烈的温度依赖的晶核形成概率。

由于固有的随机性，在单个PCM神经元10中的多次积分激发循环导致突起出现次数的分布。这在图5a中示出，其指示了对于固定持续时间的不同结晶脉冲宽度在超过二十次试验中激发神经元所需的脉冲的数量。看到所需的脉冲数量是变化的，并载与神经元的平均激发速率的倒数相对应的平均值周围对称分布。随着脉冲功率和宽度的增加，分布的方差趋于减小。在PCM神经元10的群体3中，单个神经元的固有随机性与神经元间可变性的组合导致一致的群体动态，如通过图5b中所示的测量所证明的。这显示了50个PCM神经元的样本的激发速率响应曲线。粗体轨迹指示群体的平均激发速率，并且阴影区域指示基于标准差的响应包络。插图显示了100ns输入脉冲宽度的单个神经元的响应分布。神经元之间的可变性导致跨群体的激发速率的分布，而单个神经元保留其特征线性速率响应和固有的随机激发响应。单个的激发速率对称地分布在平均群体激发速率的周围，该平均群体激发速率是线性的并且随着输入信号强度而增加。

现在将参照图6至图10来描述PCM神经元电路10的示例性实施例。这些神经元电路可以使用众所周知的材料处理技术而被制造为集成纳米电子电路。为了操作处理设备1中的这些神经元电路，输入信号发生器4适应于生成神经元输入信号和读取部分VR，每个神经元输入信号包括(至少)写入部分VW，其提供用于编程单元电阻的编程脉冲。每个神经元电路的神经元输出电路15包括用于产生依赖于单元电阻的读取信号的读取电路和用于根据读取信号提供神经元输出信号的输出端。神经元输出电路还包括用于存储依赖于读取信号的测量信号的存储电路、以及开关组。开关组可操作地在将每个神经元输入信号的读取部分施加到存储单元期间将读取信号提供到存储电路，并且在施加读取部分之后在神经元电路中施加测量信号以响应于单元电阻越过上述阈值，将单元电阻复位为初始状态、预积累神经元状态。

图6中示出了神经元电路10的第一实施例。神经元电路包括PCM单元20通常在23处指示的神经元输出电路，该PCM单元20具有连接到上单元电极的输入端22。经由加法器24从神经元输入11将神经元输入信号提供给输入端22。神经元输入信号包括读取部分和写入部分。在这个示例中，神经元输入信号具有一具有初始读取部分VR和后续写入部分VW的简单阶梯形状。读取部分VR具有比相变所需的阈值电压更低的幅度。该实施例的读取电路包括连接在PCM单元20和参考端(这里是信号地)之间的读取电阻26。读取信号是由读取电阻两端上的电压提供的，该读取电阻与单元电阻成反比。本实施例中设置的开关包括开关S1和S2。读取电阻26可以经由第一开关S1选择性地连接到泄漏积分器电路28形式的存储电路。泄漏积分器28可以通过连接到电容器C和电阻器R1和R2的运算放大器40实施，如图所示。当经由开关S1连接时，积分器28对读取信号进行积分并存储依赖于其的测量信号Vm。比较器41将测量信号Vm与由图中电压Vth表示的激发阈值进行比较。输出开关So连接在比较器41和提供神经元输出12的输出端30之间。如果Vm≤Vth，则开关So将输出端接地。当单元20的电阻下降到阈值以下时，测量信号Vm将超过激发阈值Vth。然后比较器生成激发So的切换的控制信号，以将输出端连接到信号通路42，在信号通路42上由突起发生器电路43生成周期突起序列。突起发生器电路43可生成具有周期性Tp的突起，根据积分器28的泄漏时间选择Tp以确保至少一个突起将被提供给输出端30，同时开关So闭合。这种布置中的信号通路42可以在群体3中的多个神经元电路之间共享。

开关S1和S2可响应于神经元输入信号而配置的。开关S1响应于读取部分VR而操作，以在将读取部分施加到单元20期间将读取信号提供给积分器28。开关S2响应于写入部分VW而操作，以在将写入部分施加到单元20的过程中，将测量信号Vm提供给加法器24的输入31。测量信号Vm因此被添加到写入部分VW，并且产生的组合信号被提供给单元输入22。测量信号Vm反过来取决于PCM单元20的电阻，随着单元电阻减小而增大。该电路适应于使得当单元电阻降到阈值水平以下时，测量信号Vm足够大以影响单元复位到其高电阻状态。测量信号Vm还使得开关S0将神经元输出信号(突起)提供给输出端30。

图7的信号时序图示出了神经元电路的操作。该图的顶部部分(a)示出了施加到输入端11的一系列神经元输入信号。部分(b)和(c)中的阴影区域指示分别与输入信号的写入部分VW和读取部分VR相对应的开关S2和S1的闭合时间。部分(d)指示测量信号Vm，并且部分(e)指示在端22处的产生的单元输出。测量信号Vm在读取部分VR期间积累。产生的信号(resulting signal)由积分器28存储，并添加到单元输入22处的随后的写入部分。随着单元电阻逐步减小，存储的测量信号Vm随着连续的输入信号逐步增加。积分器28的泄漏允许存储的信号Vm随时间漏出。积分器28的时间常数可以被设置成使得存储的信号在连续的输入信号之间消散。测量信号Vm基本上只需要在这里紧接着的写入部分VW的持续时间内被存储。在已经将足够的输入信号施加到单元之后，下一个输入信号(图右侧的“突起输入”)将导致单元20的电阻下降到阈值以下。测量信号Vm然后将超过神经元输出电路23中的激发阈值Vth，激发在端30处输出突起的生成。当该测量信号Vm如部分(e)中所示被添加到单元输入时，单元输入信号的幅度足以复位单元。

图8显示了PCM神经元电路的另一实施例。该电路一般对应于图6的电路，并且相对应的组件由相同的参考标记指示。然而，在该电路中，读取电路由读取电阻RS提供，其与电容器C一起构成泄漏积分器电路28的部分。当开关S1如前所述闭合时，读取信号因此被提供给积分器28。本实施例中设置的开关包括第三开关S3，其可在单元写入操作期间响应于接地单元20的每个神经元输入信号的写入部分VW而操作。这防止了跨电容器C的存储的电压Vm降低跨用于写入操作的单元20下降的电压。

图9示出了另一神经元实施例。神经元输入信号在此包括复位部分，如写入部分VW之后的信号部分VRST(其可以是零伏信号电平)所指示。复位部分VRST定义了从可在群体中的多个神经元电路之间共享的信号通路51上生成的复位脉冲的周期序列向外部生成的复位脉冲的PCM单元施加的时间段。与图6的电路组件相对应的电路组件再次由相同的参考标记指示。这里，电路有两个输入端。第一输入端52接收神经元输入信号，并且第二输入端53连接到信号通路51。当Vm>Vth时，开关S3可响应于比较器41生成的控制信号而操作。开关S3正常地将第一输入端52连接到单元20。响应于来自比较器41的控制信号，开关S3切换以将第二输入端53连接到单元。在这种状态下，来自信号通路51的复位脉冲被施加到单元。该单元因此在激发输出突起的输入信号的复位部分VRST期间复位。

图10示出了另一神经元实施例。本实施例的PCM单元20由可变电阻RPCM指示。神经元电路具有两个输入端62、63。第一输入端62提供神经元输入11并接收神经元输入信号。该示例中的神经元输入信号具有初始写入部分VW、读取部分VR、和复位部分VRST。第二输入端63接收由复位脉冲(RP)64指示的复位信号，用于将单元从低电阻状态复位到高电阻状态。如图9所示，复位脉冲可以由连接到输入端63的信号通路上的复位脉冲的周期序列提供。读取电路包括读取电阻RS，并且存储电路包括电容器C，其跨读取电阻RS选择性地连接。神经元输出端30连接到读取电阻RS。这里设置的开关包括开关S1和S2，它们使能单元复位操作。响应于由电容器C存储的测量信号Vm，第一开关S1可操作地将第二输入端63连接到单元20。第二开关S2响应于在输入端73处施加复位脉冲RP，可操作地将测量信号Vm施加到第一开关S1。响应于神经元输入信号的读取部分VR，第三开关S3可操作地跨读取电阻RS连接电容器C，并因此在将读取部分VR施加到单元20期间将读取信号提供给电容器。第四开关S4连接在单元20和地之间。开关S4响应于每个神经元输入信号的复位脉冲RP和写入部分VW中的每一个，可操作地短路读取电阻RS。这防止在电路操作的写入和复位阶段期间在端30处生成输出信号。

在该神经元电路的操作中，通过施加连续的神经元输入信号的写入部分VW逐渐减小了单元电阻。在读取部分VR的施加期间，在达到激发阈值之前单元电阻是高的，并且可忽略的电流流过读取电阻RS，在端30处给出可忽略的输出。然而，当单元电阻下降到激发阈值以下时，大电流流过RS，在输出端30处产生突起。读出信号还被提供给电容器C，电容器C存储测量信号Vm，用于随后的复位阶段中使用。在单元电阻下降到低于激发阈值之前，测量信号Vm不足以闭合开关S1，因此没有复位信号施加到单元。在激发之后，产生的测量信号Vm足以闭合开关S1，并且复位脉冲RP被施加到单元。

由处理设备1中的随机神经元的群体所使能的一种计算能力是比单个神经元的时间常数快数量级的信号的有效采样和表示。图11示出了用于高频信号表示的处理设备的实施例。处理设备70包括如图2所述的神经元群体71。该实施例的输入信号发生器72适应于周期性地生成提供给群体中的所有神经元电路10的神经元输入信号。输入信号发生器包括幅度检测器73和脉冲发生器74。幅度检测器73以采样周期TS接收设备输入2上的输入数据信号并检测输入信号的幅度。控制输入75向脉冲发生器74提供表明所检测到的幅度的控制信号。脉冲发生器74周期性地生成神经元输入信号，其在定时TS被提供给群体3中的所有神经元电路10。根据由控制输入75指示的输入信号幅度来控制每个神经元输入信号的至少一个属性。在该示例中，(例如，上面的电路示例中的写入部分VW的)编程脉冲的宽度随着输入信号的幅度而变化。设备输出电路76连接到群体71中的所有神经元10的神经元输出电路15。设备输出电路76包括脉冲计数器77和信号发生器78。脉冲计数器77对在每个时间窗口TS中从神经元10接收的神经元输出信号(突起)进行计数，并且将每个TS的总计数Σ提供给信号发生器78。信号发生器78生成处理设备70的输出信号，并根据来自脉冲计数器77的计数Σ来控制设备输出信号的幅度。设备输出信号的幅度因此取决于从群体71接收神经元输出信号的速率。

通过使用群体71中的足够数量的N个神经元10，处理设备70可以产生充分重现输入数据信号的输出信号。该数目N可以取决于各种因素，例如输入信号形式、电阻式存储单元14的特定特性以及神经元电路10的设计。然而，处理设备70的成功操作由图12a至图12c中所示的实验结果示出。所示出的结果是利用高达N＝500个神经元的群体获得的。对于范围为50ns到100ns的输入脉冲宽度，群体的平均激发速率在5kHz和15kHz之间，并且没有单个神经元具有高于20kHz的实际激发速率。输入信号是基本频率为10kHz的三角形波形，即其频率分量全部位于群体中的任何神经元的奈奎斯特(Nyquist)采样极限以上的信号。输入信号极值处的尖锐的“高峰”的精确表示尤其具有挑战性，因为它需要在基频的奇数倍频率处(即，在30kHz(一次谐波)、50kHz(二次谐波)及更高处)捕获高次谐波分量。这使得利用单个神经元实际上不可能准确地表示输入信号，并且对确定性神经元的群体具有挑战性。

根据对应于信号幅度的编程脉冲宽度来在图12a的上部分表示设备输入信号。该信号具有对应于在50ns到100ns范围内的脉冲宽度值的周期0.1ms(基本频率10kHz)。每TS＝0.01ms，脉冲被施加于群体中的所有神经元。图12a的下部分示出了群体中前10个神经元的活动(峰电位定时)。图12b显示了N＝500个神经元的设备输出信号。输出信号(总体响应-右侧纵轴)以粗体显示，覆盖输入信号(左侧纵轴)。群体响应捕捉输入信号的关键特性，尽管群体中的所有神经元都具有低于奈奎斯特速率的实际突起频率的事实。平均响应只有奈奎斯特频率的一半和二次谐波的五分之一。图12c指示了对于变化的群体大小N的输入信号的表示中的误差。对于N＝500个神经元，插图显示了当施加输入信号时跨神经元群体的实际突起频率的分布。通过逐渐增加随机神经元群体的大小，从一个小的神经元子群开始，输入信号的表示中的误差显著减少。对于具有少到几十个神经元的群体，观察到表示误差的显着减少，并且对于具有数百个神经元的群体，表示保真度(representation fidelity)稳定。通过增加群体规模，响应任何特定输入值的神经元的绝对数量增加，这使得对于更大的群体来说群体响应更加稳健。模拟预测可以通过增加单个神经元的随机性、增加神经元间的可变性、减少单个神经元的时间常数、和增加群体大小来进一步改善表示误差。

能够看出，PCM神经元10的随机动态使能亚奈奎斯特采样和处理设备70中的高带宽信号的表示，而没有额外的计算负担。这为在神经形态计算系统之内进一步处理这些信号提供了基础，并且代表着朝向制造具有极高集成密度的无晶体管(transistor-less)神经形态系统的重要一步。直接在设备级上模拟神经元噪声和随机神经元动态的能力促进密集的神经元群体的创建，用于信号和神经状态的稳健表示，并促进具有高度并置的存储器和处理单元的神经形态计算机的开发。PCM神经元的一个特别有利的性质是相变单元的可扩展性降低到纳米单位，与非结晶-晶体转变的快速和便于理解的动态耦合。PCM神经元操作的速度在(例如，在电子交易中、社交媒体平台的实时分析、和在科学计算中)使用突起神经网络处理数百万个快速数据流的应用中特别有用。利用随机神经元的群体的处理可以增加对硬件故障的稳健性，并且用慢数量级的神经元表示高速信号的能力将大大有助于降低功耗和增加耐用性。在能量和材料磨损方面，对复位神经元是成本最高的操作的PCM神经元尤其如此。相变材料的非易失性也使能低漏电流，从而进一步降低基于突起计算的功率和能量要求。

当然可以对上述示例性实施例进行各种改变和修改。例如，图11设备可以容易地适应于(例如通过改变神经元电路10的数量、和/或输入信号发生器72的采样周期、和/或设备输出电路76的诸如采样周期的操作特征)提供输入信号的子采样/滤波。在一些实施例中，设备输出电路还可以(例如，经由阈值化、缓冲、或计算移动平均值等)对神经元输出信号执行一些过滤操作。对设备电路的适当修改对于本领域的技术人员将是显而易见的。

在替代实施例中，神经元集合3可以包含神经元电路的多个组件群体或子集合。输入信号发生器4然后可以适应于为至少一个子集合的神经元电路生成神经元输入信号。类似地，设备输出电路5可以连接到至少一个子集合的神经元输出电路。例如，不同的子集合可以包含不同数量的神经元和/或另外提供不同的随机特性，例如，由于使存储单元设计和/或可变性不同、或者使诸如时间常数的神经元电路属性不同。可以根据给定的应用中的需要来选择一个或多个不同的子组件用于操作。例如，这个选择可以经由图1中的随机性控制输入7来控制。可选地或另外地，输入信号发生器4可以响应于经由图1的反馈输入6的神经元输出信号，来自适应地选择不同的子集合以实现期望的输出响应。还可以例如，响应于随机性控制输入7和/或反馈控制6，通过调整神经元输入信号来改变群体的随机行为，以利用电阻式存储单元14的编程或其他特性的变化。响应于控制输入7，可以生成具有不同幅度/后沿等的复位脉冲、和/或不同幅度的结晶脉冲，以从存储单元获得不同的随机响应。随机性控制输入7因此可以用于控制设备1中的组合3的随机性。

在一些应用中，不同的神经元子集合可以选择性地可互连(例如，级联)，从而在一个群体中的神经元输出提供输入信号给另一群体中的神经元。也可以设想在一个或不同群体中的神经元相互连接的情况下的应用。然后任何单个神经元可接收来自集合中的多个其他神经元的输入信号。例如，神经元可以经由突触电路相互连接。各种基于忆阻器的突触电路在本领域中是已知的。通常，将本发明的实施例与基于忆阻器的突触结合将有助于减少有源元件的数量并增加大规模并行计算系统的密度。

虽然以上描述了示例性示例，但是输入信号生成器4可以生成各种形式的神经元输入信号，并且可以改变编程脉冲的任何属性(诸如，幅度、形状、功率、持续时间、后沿形状/持续时间等)，和/或复合编程脉冲的分量脉冲的数量/属性。可以基于设备输入信号的任何属性或属性的组合来控制这样的属性，包括输入信号或其组件的幅度、频率、强度等。在数据信号表示图像或文本的实施例中，例如，这样的输入信号属性可以对应于某些图案的外观或所表示的数据的其他时间依赖特征。在一些实施例中，不同的神经元输入信号可以提供到集合中不同的神经元子集，例如，提供到不同的子集合。设备输出电路5还可以根据集体神经元输出信号的任何属性来控制输出信号的任何期望的(多个)属性。因此，特定的构造和操作特征可以根据给定的应用的需要来选择。

除蘑菇单元类型之外的PCM单元设计可以在神经元电路10以及其他电阻式存储器单元中被利用。一些示例包括电阻式RAM(Resistive RAM，RRAM)单元，诸如导电桥RRAM单元、氧化物或金属氧化物RRAM单元、以及碳RRAM单元。

已经描述了通过编程脉冲来降低单元电阻，并且当单元电阻下降到阈值以下时，神经元激发的实例。其他实施例可以基于电阻式存储器单元，其可操作使得通过连续的编程脉冲逐渐增加单元电阻，并且当单元电阻增加到阈值以上时，神经元激发。在这样的实施例中可以使用可以包括其中电阻可以逐渐被增加的双极型器件的任何电阻式存储器单元，一个示例是CBRAM(Conductive Bridge RAM，导电桥RAM)单元。上述神经元电路示例的适当修改对于本领域技术人员来说将是显而易见的。例如，提供给图6中的积分器28的读取信号可以基于跨单元20下降的电压而不是跨读取电阻26下降的电压。

通常，不同实施例的特征可以适当地互换。而且，除非另外指示，在这里将组件描述为连接到另一组件的情况下，通常这样的组件可以直接或例如经由中间组件而间接连接。

已经出于说明的目的给出了对本发明的各种实施例的描述，但并不旨在穷尽的或者限于所公开的实施例。在不脱离所描述的实施例的范围和精神的情况下，对于本领域的普通技术人员来说，许多修改和变化将是显而易见的。在此使用的术语是被选择来最好地解释实施例的原理、实际应用或在市场上找到的技术上的技术改进，或者使本领域的其他普通技术人员能够理解本文公开的实施例。

Claims (14)

1.一种神经形态处理设备，包括：

设备输入，用于接收输入数据信号；

神经元电路的集合，每个所述神经元电路包括电阻式存储单元和神经元输出电路，所述电阻式存储单元被布置成存储由槽电阻所指示的神经元状态，并且接收神经元输入信号用于编程槽电阻以改变神经元状态，所述神经元输出电路用于响应于槽电阻越过阈值来提供神经元输出信号；

输入信号发生器，被连接到所述设备输入和所述神经元电路的集合，用于根据所述输入数据信号来生成用于所述集合的神经元输入信号；以及

设备输出电路，被连接到所述集合的神经元输出电路，用于产生依赖于所述集合的神经元输出信号的设备输出信号，所述处理设备利用所述集合的电阻式存储单元的随机性。

2.如权利要求1所述的设备，其中所述输入信号发生器适应于周期性地生成用于所述集合的神经元电路的神经元输入信号，并且根据所述输入数据信号来控制每个神经元输入信号的至少一个属性。

3.如权利要求1或2中任一项所述的设备，其中每个神经元输入信号包括编程脉冲，并且其中所述输入信号发生器适应于根据所述输入数据信号的至少一个时间依赖属性来控制至少一个编程脉冲属性。

4.如权利要求1或2中任一项所述的设备，其中所述设备输出电路适应于根据由所述设备输出电路从所述集合接收神经元输出信号的速率来控制所述设备输出信号的至少一个属性。

5.如权利要求1或2中任一项所述的设备，其中每个神经元电路的神经元输出电路可操作以响应于槽电阻越过所述阈值来控制槽电阻到初始神经元状态的复位。

6.如权利要求4所述的设备，其中：

所述输入信号发生器适应于根据所述输入数据信号的幅度来控制每个神经元输入信号的至少一个属性；以及

所述设备输出电路适应于根据接收神经元输出信号的所述速率来控制设备输出信号的幅度。

7.如权利要求1至2中任一项所述的设备，其中所述集合包括神经元电路以在所述设备输出信号中重现所述输入数据信号。

8.如权利要求1至2中任一项所述的设备，其中所述输入信号发生器适应于周期性地生成用于所述集合中的所有神经元电路的神经元输入信号，并且所述设备输出电路被连接到所述集合中的所有神经元电路的神经元输出电路。

9.如权利要求1至2中任一项所述的设备，其中：

所述集合包括神经元电路的多个子集合；

所述输入信号发生器适应于为至少一个子集合的神经元电路生成神经元输入信号；以及

所述设备输出电路被连接到至少一个子集合的神经元输出电路。

10.如权利要求1至2中任一项所述的设备，其中所述输入信号发生器响应于所述集合的神经元输出信号，并且适应于根据所述神经元输出信号来控制所述集合的神经元输入信号的生成。

11.如权利要求1至2中任一项所述的设备，其中，所述输入信号发生器响应于随机性控制输入，并且适应于根据所述控制输入来控制用于所述集合的神经元输入信号的生成，以控制所述集合的随机性。

12.如权利要求1至2中任一项所述的设备，其中所述电阻式存储单元包括相变存储单元。

13.如权利要求1至2中任一项所述的设备，所述设备适应使得所述神经元输入信号造成槽电阻的减小以改变所述神经元状态，其中每个神经元输出电路适应于响应于槽电阻减小到低于所述阈值来提供所述神经元输出信号。

14.根据权利要求5所述的设备，其中所述输入信号发生器适应于生成神经元输入信号，每个所述神经元输入信号包括写入部分和读取部分，所述写入部分用于编程所述槽电阻以改变所述神经元状态，并且其中每个神经元电路的神经元输出电路包括：

读取电路，用于产生依赖于所述槽电阻的读取信号；

输出端，用于根据所述读取信号来提供所述神经元输出信号；

存储电路，用于存储依赖于所述读取信号的测量信号；以及

开关组，其可操作地在将每个神经元输入信号的读取部分施加到所述存储单元的期间将所述读取信号提供给所述存储电路，并且在施加读取部分之后，在所述神经元电路中施加所述测量信号以响应于槽电阻越过所述阈值来使槽电阻能够复位到所述初始神经元状态。

Images