CN105684002A - 用于使用监督式学习对种类加标签的方法和装置 - Google Patents

Abstract

本公开的某些方面提供了用于使用监督式学习为神经网络模型的输入/输出种类创建标签(静态或动态)的方法和装置。该方法包括：使用多个神经元来扩增神经网络模型，以及使用尖峰定时依赖可塑性(STDP)来训练经扩增的网络以确定一个或多个标签。

Description

用于使用监督式学习对种类加标签的方法和装置

相关申请的交叉引用

本申请要求于2013年10月28日提交的美国专利申请S/N.14/065,089的权益，其通过引用整体纳入于此。

技术领域

本公开的某些方面一般涉及神经网络，并且尤其涉及使用监督式学习对种类加标签。

背景

人工神经网络是由一群互连的人工神经元(即神经元模型)组成的数学或计算模型。人工神经网络可以源自于(或至少宽松地基于)生物神经网络(诸如在人脑中发现的那些生物神经网络)的结构和/或功能。由于人工神经网络能从观察中推断出函数，因此这样的网络在因任务或数据的复杂度使得手工设计该函数不切实际的应用中是特别有用的。

一种类型的人工神经网络是尖峰神经网络，其将时间概念以及神经元和突触状态纳入到其工作模型中，由此增加了此种类型的神经模拟中的真实性水平。尖峰神经网络基于神经元仅当膜电位达到阈值时才激发这一概念。当神经元激发时，它生成一尖峰，该尖峰行进至其他神经元，这些其他神经元继而基于该收到的尖峰来升高或降低其膜电位。

非监督式学习算法精确地将数据分成许多应用中的相异种类，但它们可能未提供关于它们分开的种类的一致索引。取而代之，表示某种数据类型的种类索引可被随机地指派给不同种类。此随机指派在许多应用中可能不是合乎期望的，尤其在分类输出被用作一个或多个下游模块的输入时。在没有一致地表示相同种类的种类索引时，或许不可能构建实现非监督式学习算法的模块与下游模块之间的可靠接口。

概述

本公开的某些方面提议了一种用于对种类加标签的方法。该方法一般包括：标识包括一个或多个经索引人工神经元种类的第一网络；以及为该一个或多个人工神经元种类确定一个或多个标签而不论它们的索引如何。

本公开的某些方面提议了一种用于对种类加标签的设备。该设备一般包括：用于标识包括一个或多个经索引人工神经元种类的第一网络的装置；以及用于为该一个或多个人工神经元种类确定一个或多个标签而不论它们的索引如何的装置。

本公开的某些方面提议了一种用于对种类加标签的装置。该装置一般包括至少一个处理器，其被配置成：标识包括一个或多个经索引人工神经元种类的第一网络，以及为该一个或多个人工神经元种类确定一个或多个标签而不论它们的索引如何；以及与该至少一个处理器耦合的存储器。

本公开的某些方面提议了一种用于对种类加标签的程序产品。该程序产品一般包括其上存储有指令的计算机可读介质，该指令用于：标识包括一个或多个经索引人工神经元种类的第一网络；以及为该一个或多个人工神经元种类确定一个或多个标签而不论它们的索引如何。

附图简述

为了能详细理解本公开的以上陈述的特征所用的方式，可参照各方面来对以上简要概述的内容进行更具体的描述，其中一些方面在附图中解说。然而应该注意，附图仅解说了本公开的某些典型方面，故不应被认为限定其范围，因为本描述可允许有其他等同有效的方面。

图1解说了根据本公开的某些方面的示例神经元网络。

图2解说根据本公开的某些方面的计算网络(神经系统或神经网络)的处理单元(神经元)的示例。

图3解说根据本公开的某些方面的尖峰定时依赖可塑性(STDP)曲线的示例。

图4解说根据本公开的某些方面的用于定义神经元模型的行为的正态相和负态相的示例。

图5解说了根据本公开的某些方面的利用神经网络块的系统的示例高级框图。

图6解说了根据本公开的某些方面的示例刺激处理模型。

图7解说根据了本公开的某些方面的用于对种类加标签的示例方法。

图8解说了根据本公开的某些方面的用于对节点种类加标签的示例操作。

图8A解说了能够执行图8中解说的操作的示例组件。

图9A-9C解说了根据了本公开的某些方面的所提议加标签方法。

图10解说了根据本公开的某些方面的示例可塑性规则。

图11解说了根据本公开的某些方面的创建用于电机的输入动作标签时的所提议方法的示例应用。

图12解说了根据本公开的某些方面的创建种类边界时的所提议加标签方法的示例应用。

图13A-13C解说了根据本公开的某些方面的用于接合种类的所提议加标签方法的另一示例应用。

图14A-14C解说了根据本公开的某些方面的在具有过完整表示的神经网络中的所提议加标签方法的示例应用。

图15解说了根据本公开的某些方面的用于向神经网络添加新种类的示例方法。

图16解说了根据本公开的某些方面的利用监督信号的示例模型。

图17解说了根据本公开的某些方面的监督信号的示例应用定时。

图18解说了根据本公开的某些方面的监督信号的示例应用效应。

图19、20A和20B解说了根据本公开的某些方面的用于调节监督信号的示例规则。

图21解说了根据本公开的某些方面的使用通用处理器来设计神经网络的示例实现。

图22解说了根据本公开的某些方面的设计其中存储器可以与个体分布式处理单元对接的神经网络的示例实现。

图23解说了根据本公开的某些方面的基于分布式存储器和分布式处理单元来设计神经网络的示例实现。

图24解说了根据本公开的某些方面的神经网络的示例实现。

详细描述

以下参照附图更全面地描述本公开的各个方面。然而，本公开可用许多不同形式来实施并且不应解释为被限定于本公开通篇给出的任何具体结构或功能。相反，提供这些方面是为了使得本公开将是透彻和完整的，并且其将向本领域技术人员完全传达本公开的范围。基于本文中的教导，本领域技术人员应领会，本公开的范围旨在覆盖本文中所披露的本公开的任何方面，不论其是与本公开的任何其他方面相独立地实现还是组合地实现的。例如，可以使用本文所阐述的任何数目的方面来实现装置或实践方法。另外，本公开的范围旨在覆盖使用作为本文中所阐述的本公开的各个方面的补充或者另外的其他结构、功能性、或者结构及功能性来实践的此类装置或方法。应当理解，本文中所披露的本公开的任何方面可由权利要求的一个或多个元素来实施。

措辞“示例性”在本文中用于表示“用作示例、实例或解说”。本文中描述为“示例性”的任何方面不必被解释为优于或胜过其他方面。

尽管本文描述了特定方面，但这些方面的众多变体和置换落在本公开的范围之内。虽然提到了优选方面的一些益处和优点，但本公开的范围并非旨在被限定于特定益处、用途或目标。相反，本公开的各方面旨在能宽泛地应用于不同的技术、系统配置、网络和协议，其中一些作为示例在附图以及以下对优选方面的描述中解说。详细描述和附图仅仅解说本公开而非限定本公开，本公开的范围由所附权利要求及其等效技术方案来定义。

示例神经系统、训练及操作

图1解说根据本公开的某些方面的具有多级神经元的示例神经系统100。神经系统100可包括一级神经元102，该级神经元102通过突触连接网络104(即，前馈连接)来连接到另一级神经元106。为简单起见，图1中仅解说了两级神经元，但在典型的神经系统中可存在更少或更多级神经元。应注意，一些神经元可通过侧向连接来连接至同层中的其他神经元。此外，一些神经元可通过反馈连接来后向连接至先前层中的神经元。

如图1所解说的，级102中的每一神经元可接收输入信号108，输入信号108可以是由前一级(图1中未示出)的多个神经元所生成的。信号108可表示级102的神经元的输入电流。该电流可在神经元膜上累积以对膜电位进行充电。当膜电位达到其阈值时，该神经元可激发并生成输出尖峰，该输出尖峰将被传递到下一级神经元(例如，级106)。此类行为可在硬件和/或软件(包括模拟和数字实现)中进行仿真或模拟。

在生物学神经元中，在神经元激发时生成的输出尖峰被称为动作电位。该电信号是相对迅速、瞬态、全有或全无的神经脉冲，其具有约为100mV的振幅和约为1ms的历时。在具有一系列连通的神经元(例如，尖峰从图1中的一级神经元传递至另一级神经元)的神经系统的特定实施例中，每个动作电位具有基本上相同的振幅和历时，并且因此该信号中的信息仅由尖峰的频率和数目(或尖峰的时间)来表示，而不由振幅来表示。动作电位所携带的信息由尖峰、发放尖峰的神经元、以及该尖峰相对于一个或多个其他尖峰的时间来决定。

尖峰从一级神经元向另一级神经元的传递可通过突触连接(或简称“突触”)网络104来达成，如图1所解说的。突触104可以从级102的神经元(相对于突触104而言的突触前神经元)接收输出信号(即，尖峰)，并且根据可调节突触权重(其中，P是级102和级106的神经元之间的突触连接总数)来缩放那些信号。此外，经缩放信号可被组合以作为级106中每个神经元(相对于突触104而言的突触后神经元)的输入信号。级106中的每个神经元可基于对应的组合输入信号来生成输出尖峰110。随后可使用另一突触连接网络(图1中未示出)将这些输出尖峰110传递到另一级神经元。

生物学突触可被分类为电的或化学的。电突触主要用于发送兴奋性信号，而化学突触可调停突触后神经元中的兴奋性或抑制性(超极化)动作，并且还可用于放大神经元信号。兴奋性信号通常使膜电位去极化(即，相对于静息电位增大膜电位)。如果在某个时间段内接收到足够的兴奋性信号以使膜电位去极化到高于阈值，则在突触后神经元中发生动作电位。相反，抑制性信号一般使膜电位超极化(即，降低膜电位)。抑制性信号如果足够强则可抵消掉兴奋性信号之和并阻止膜电位到达阈值。除了抵消掉突触兴奋以外，突触抑制还可对自发活跃神经元施加强力的控制。自发活跃神经元是指在没有进一步输入的情况下(例如，由于其动态或反馈而)发放尖峰的神经元。通过压制这些神经元中的动作电位的自发生成，突触抑制可对神经元中的激发模式进行定形，这一般被称为雕刻。取决于期望的行为，各种突触104可充当兴奋性或抑制性突触的任何组合。

神经系统100可由通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其他可编程逻辑器件(PLD)、分立的门或晶体管逻辑、分立的硬件组件、由处理器执行的软件模块、或其任何组合来仿真。神经系统100可用在大范围的应用中，诸如图像和模式识别、机器学习、电机控制、及类似应用等。神经系统100中的每一神经元可被实现为神经元电路。被充电至发起输出尖峰的阈值的神经元膜可被实现为例如对流经其的电流进行积分的电容器。

在一方面，电容器作为神经元电路的电流积分器件可被除去，并且可使用较小的忆阻器元件来替代它。这种办法可应用于神经元电路中，以及其中大容量电容器被用作电流积分器的各种其他应用中。另外，每个突触104可基于忆阻器元件来实现，其中突触权重改变可与忆阻器电阻的变化有关。使用纳米特征尺寸的忆阻器，可显著地减小神经元电路和突触的面积，这可使得实现超大规模神经系统硬件实现变得可行。

对神经系统100进行仿真的神经处理器的功能性可取决于突触连接的权重，这些权重可控制神经元之间的连接的强度。突触权重可存储在非易失性存储器中以在掉电之后保留该处理器的功能性。在一方面，突触权重存储器可实现在与主神经处理器芯片分开的外部芯片上。突触权重存储器可与神经处理器芯片分开地封装成可更换的存储卡。这可向神经处理器提供多种多样的功能性，其中特定功能性可基于当前附连至神经处理器的存储卡中所存储的突触权重。

图2解说根据本公开的某些方面的计算网络(例如，神经系统或神经网络)的处理单元(例如，神经元或神经元电路)202的示例200。例如，神经元202可对应于来自图1的级102和106的任一个神经元。神经元202可接收多个输入信号2041-204N(x1-xN)，这些输入信号可以是该神经系统外部的信号、或是由同一神经系统的其他神经元所生成的信号、或者两者皆有。输入信号可以是实数值或复数值的电流或电压。输入信号可包括具有定点或浮点表示的数值。可通过突触连接将这些输入信号递送到神经元202，这些突触连接根据可调节突触权重2061-206N(w1-wN)对这些信号进行按比例缩放，其中N可以是神经元202的输入连接的总数。

神经元202可组合这些经缩放的输入信号，并且使用组合的经缩放输入来生成输出信号208(即，信号y)。输出信号208可以是实数值或复数值的电流或电压。输出信号可包括具有定点或浮点表示的数值。随后该输出信号208可作为输入信号传递至同一神经系统的其他神经元、或作为输入信号传递至同一神经元202、或作为该神经系统的输出来传递。

处理单元(神经元)202可由电路来仿真，并且其输入和输出连接可由具有突触电路的导线来仿真。处理单元202、其输入和输出连接也可由软件代码来仿真。处理单元202还可由电路来仿真，而其输入和输出连接可由软件代码来仿真。在一方面，计算网络中的处理单元202可包括模拟电路。在另一方面，处理单元202可以包括数字电路。在又一方面，处理单元202可以包括具有模拟和数字组件两者的混合信号电路。计算网络可包括任何前述形式的处理单元。使用这样的处理单元的计算网络(神经系统或神经网络)可用在大范围的应用中，诸如图像和模式识别、机器学习、电机控制等。

在神经网络的训练过程期间，突触权重(例如，来自图1的权重 和/或来自图2的权重2061-206N)可用随机值来初始化并根据学习规则而增大或减小。学习规则的某些示例是尖峰定时依赖型可塑性(STDP)学习规则、Hebb规则、Oja规则、Bienenstock-Copper-Munro(BCM)规则等。很多时候，这些权重可稳定至两个值(即，权重的双峰分布)之一。该效应可被用于减少每突触权重的位数、提高从/向存储突触权重的存储器读取和写入的速度、以及降低突触存储器的功耗。

突触类型

在神经网络的硬件和软件模型中，突触相关功能的处理可基于突触类型。突触类型可包括非可塑突触(对权重和延迟没有改变)、可塑突触(权重可改变)、结构化延迟可塑突触(权重和延迟可改变)、全可塑突触(权重、延迟和连通性可改变)、以及基于此的变型(例如，延迟可改变，但在权重或连通性方面没有改变)。此举的优点在于处理可以被细分。例如，非可塑突触不会要求执行可塑性功能(或等待此类功能完成)。类似地，延迟和权重可塑性可被细分成可一起或分开地、顺序地或并行地运作的操作。不同类型的突触对于适用的每一种不同的可塑性类型可具有不同的查找表或公式以及参数。因此，这些方法将针对该突触的类型来访问相关的表。

还进一步牵涉到以下事实：尖峰定时依赖型结构化可塑性可独立于突触可塑性地来执行。结构化可塑性即使在权重幅值没有改变的情况下(例如，如果权重已达最小或最大值、或者其由于某种其他原因而不改变)也可执行，因为结构化可塑性(即，延迟改变的量)可以是pre-post(突触前-突触后)尖峰时间差的直接函数。替换地，结构化可塑性可被设为权重改变量的函数或者可基于与权重或权重改变的界限有关的条件来设置。例如，突触延迟可仅在权重改变发生时或者在权重到达0的情况下才改变，但在权重达到最大极限时不改变。然而，具有独立函数以使得这些过程能被并行化从而减少存储器访问的次数和交叠可能是有利的。

突触可塑性的确定

神经元可塑性(或简称“可塑性”)是大脑中的神经元和神经网络响应于新的信息、感官刺激、发展、损坏、或机能障碍而改变其突触连接和行为的能力。可塑性对于生物学中的学习和记忆、以及对于计算神经元科学和神经网络是重要的。已经研究了各种形式的可塑性，诸如突触可塑性(例如，根据Hebbian理论)、尖峰定时依赖可塑性(STDP)、非突触可塑性、活跃性依赖可塑性、结构化可塑性和自稳态可塑性。

STDP是调节神经元之间的突触连接的强度的学习过程。连接强度是基于特定神经元的输出与收到输入尖峰(即，动作电位)的相对定时来调节的。在STDP过程下，如果至某个神经元的输入尖峰平均而言倾向于紧挨在该神经元的输出尖峰之前发生，则可发生长期增强(LTP)。于是使得该特定输入在一定程度上更强。另一方面，如果输入尖峰平均而言倾向于紧接在输出尖峰之后发生，则可发生长期抑压(LTD)。于是使得该特定输入在一定程度上更弱，并由此得名为“尖峰定时依赖型可塑性”。因此，使得可能是突触后神经元兴奋原因的输入甚至更有可能在将来作出贡献，而使得不是突触后尖峰的原因的输入较不可能在将来作出贡献。该过程继续，直至初始连接集的子集保留，而所有其他连接的影响减轻至0或接近0。

由于神经元一般在其许多输入都在一短时段内发生(即，累积到足以引起输出)时产生输出尖峰，因此通常保留下来的输入子集包括倾向于在时间上相关的那些输入。另外，由于在输出尖峰之前发生的输入被加强，因此提供对相关性的最早充分累积指示的输入将最终变成至该神经元的最后输入。

STDP学习规则可因变于突触前神经元的尖峰时间t_pre与突触后神经元的尖峰时间t_post之间的时间差(即，t＝t_post-t_pre)来有效地适配将该突触前神经元连接到该突触后神经元的突触的突触权重。STDP的典型公式是若该时间差为正(突触前神经元在突触后神经元之前激发)则增大突触权重(即，增强该突触)，以及若该时间差为负(突触后神经元在突触前神经元之前激发)则减小突触权重(即，抑压该突触)。

在STDP过程中，突触权重随时间推移的改变可通常使用指数衰退来达成，如由下式给出的：

$\mathrm{\&Delta;}w\left(t\right)=\left\{\begin{array}{c}{a}_{+}{e}^{-t/k_{+}}+\mathrm{\&mu;},t>0\\ a_{-}{e}^{t/k_{-}},t<0\end{array}\right.,---\left(1\right)$

其中k₊和k_-分别是针对正和负时间差的时间常数，a₊和a_-是对应的缩放幅值，以及μ是可应用于正时间差和/或负时间差的偏移。

图3解说了根据STDP，突触权重因变于突触前(pre)和突触后(post)尖峰发放的相对定时而改变的示例图表示图300。如果突触前神经元在突触后神经元之前激发，则可使对应的突触权重增大，如曲线图300的部分302中所解说的。该权重增大可被称为该突触的LTP。从曲线图部分302可观察到，LTP的量可因变于突触前和突触后尖峰时间之差而大致呈指数地下降。相反的激发次序可减小突触权重，如曲线图300的部分304中所解说的，从而导致该突触的LTD。

如图3中的曲线图300中所解说的，可向STDP曲线图的LTP(因果性)部分302应用负偏移μ。x轴的交越点306(y＝0)可被配置成与最大时间滞后重合以考虑到来自层i-1的各因果性输入的相关性。在基于帧的输入(即，输入是按包括尖峰或脉冲的特定历时的帧的形式)的情形中，可计算偏移值μ以反映帧边界。该帧中的第一输入尖峰(脉冲)可被视为随时间衰退，要么如直接由突触后电位所建模地、要么以对神经状态的影响的形式而随时间衰退。如果该帧中的第二输入尖峰(脉冲)被视为与特定时间帧关联或相关，则可通过偏移STDP曲线的一个或多个部分以使得相关时间中的值可以不同(例如，对于大于一个帧为负，而对于小于一个帧为正)来使该帧之前和之后的相关时间在该时间帧边界处被分开并在可塑性方面被不同地对待。例如，负偏移μ可被设为偏移LTP以使得曲线实际上在大于帧时间的pre-post时间处变得低于零并且它由此为LTD而非LTP的一部分。

神经元模型及操作

存在一些用于设计有用的尖峰发放神经元模型的一般原理。良好的神经元模型在以下两个计算态相(regime)方面可具有丰富的潜在行为：重合性检测和功能性计算。此外，良好的神经元模型应当具有允许时间编码的两个要素：输入的抵达时间影响输出时间，以及重合性检测能具有窄时间窗。最后，为了在计算上是有吸引力的，良好的神经元模型在连续时间上可具有闭合形式解，并且具有稳定的行为，包括在靠近吸引子和鞍点之处。换言之，有用的神经元模型是可实践且可被用于建模丰富的、现实的且生物学一致的行为并且可被用于对神经电路进行工程设计和反向工程设计两者的神经元模型。

神经元模型可取决于事件，诸如输入抵达、输出尖峰或其他事件，无论这些事件是内部的还是外部的。为了达成丰富的行为库，能展现复杂行为的状态机可能是期望的。如果事件本身的发生在撇开输入贡献(若有)的情况下能影响状态机并约束在该事件之后的动态，则该系统的将来状态并非仅是状态和输入的函数，而是状态、事件和输入的函数。

在一方面，神经元n可被建模为尖峰带漏泄积分激发(LIF)神经元，其膜电压v_n(t)由以下动态来管控：

$\frac{{\mathrm{dv}}_n\left(t\right)}{dt}={\mathrm{\&alpha;v}}_n\left(t\right)+\mathrm{\&beta;}\underset{m}{\&Sigma;}{w}_{m,n}{y}_m(t-{\mathrm{\&Delta;t}}_{m,n}),---\left(2\right)$

其中α和β是参数，w_m,n是将突触前神经元m连接至突触后神经元n的突触的突触权重，而y_m(t)是神经元m的尖峰输出，其可根据Δt_m,n被延迟达树突或轴突延迟才抵达神经元n的胞体。

应注意，从建立了对突触后神经元的充分输入的时间直至突触后神经元实际上激发的时间之间存在延迟。在动态尖峰神经元模型(诸如Izhikevich简单模型)中，如果在去极化阈值v_t与峰值尖峰电压v_peak之间有差量，则可引发时间延迟。例如，在该简单模型中，神经元胞体动态可由关于电压和恢复的微分方程对来管控，即：

$\frac{dv}{dt}=\left(k\right(v-v_t\left)\right(v-v_r)-u+I)/C,---\left(3\right)$

$\frac{du}{dt}=a\left(b\right(v-v_r)-u).---\left(4\right)$

其中v是膜电位，u是膜恢复变量，k是描述膜电位v的时间尺度的参数，a是描述恢复变量u的时间尺度的参数，b是描述恢复变量u对膜电位v的阈下波动的敏感度的参数，v_r是膜静息电位，I是突触电流，以及C是膜的电容。根据该模型，神经元被定义为在v＞v_peak时发放尖峰。

HunzingerCold模型

HunzingerCold神经元模型是能再现丰富多样的各种神经行为的最小双态相尖峰发放线性动态模型。该模型的一维或二维线性动态可具有两个态相，其中时间常数(以及耦合)可取决于态相。在阈下态相中，时间常数(按照惯例为负)表示漏泄通道动态，其一般作用于以生物学一致的线性方式使细胞返回到静息。阈上态相中的时间常数(按照惯例为正)反映抗漏泄通道动态，其一般驱动细胞发放尖峰，而同时在尖峰生成中引发等待时间。

如图4中所示，该模型的动态可被划分成两个(或更多个)态相。这些态相可被称为负态相402(也可互换地称为带漏泄积分激发(LIF)态相，勿与LIF神经元模型混淆)以及正态相404(也可互换地称为抗漏泄积分激发(ALIF)态相，勿与ALIF神经元模型混淆)。在负态相402中，状态在将来事件的时间趋向于静息(v_-)。在该负态相中，该模型一般展现出时间输入检测性质及其他阈下行为。在正态相404中，状态趋向于尖峰发放事件(v_s)。在该正态相中，该模型展现出计算性质，诸如取决于后续输入事件而引发发放尖峰的等待时间。在事件方面对动态进行公式化以及将动态分成这两个态相是该模型的基础特性。

线性双态相二维动态(对于状态v和u)可按照惯例定义为：

${\mathrm{\&tau;}}_{\mathrm{\&rho;}}\frac{dv}{dt}=v+q_{\mathrm{\&rho;}}---\left(5\right)$

$-{\mathrm{\&tau;}}_u\frac{du}{dt}=u+r---\left(6\right)$

其中q_ρ和r是用于耦合的线性变换变量。

符号ρ在本文中用于标示动态态相，在讨论或表达具体态相的关系时，按照惯例对于负态相和正态相分别用符号“-”或“+”来替换符号ρ。

模型状态通过膜电位(电压)v和恢复电流u来定义。在基本形式中，态相在本质上是由模型状态来决定的。该精确和通用的定义存在一些细微却重要的方面，但目前考虑该模型在电压v高于阈值(v₊)的情况下处于正态相404中，否则处于负态相402中。

态相依赖型时间常数包括负态相时间常数τ_-和正态相时间常数τ₊。恢复电流时间常数τ_u通常是与态相无关的。出于方便起见，负态相时间常数τ_-通常被指定为反映衰退的负量，从而用于电压演变的相同表达式可用于正态相，在正态相中指数和τ₊将一般为正，正如τ_u那样。

这两个状态元素的动态可在发生事件之际通过使状态偏离其零倾线(null-cline)的变换来耦合，其中变换变量为：

q_ρ＝-τ_ρβu-v_ρ(7)

r＝δ(v+ε)(8)

其中δ、ε、β和v_-、v₊是参数。v_ρ的两个值是这两个态相的参考电压的基数。参数v_-是负态相的基电压，并且膜电位在负态相中一般将朝向v_-衰退。参数v₊是正态相的基电压，并且膜电位在正态相中一般将趋向于背离v₊。

v和u的零倾线分别由变换变量q_ρ和r的负数给出。参数δ是控制u零倾线的斜率的缩放因子。参数ε通常被设为等于-v_-。参数β是控制这两个态相中的v零倾线的斜率的电阻值。τ_ρ时间常数参数不仅控制指数衰退，还单独地控制每个态相中的零倾线斜率。

该模型被定义为在电压v达值v_S时发放尖峰。随后，状态通常在发生复位事件(其在技术上可以与尖峰事件完全相同)时被复位：

$v={\hat{v}}_{-}---\left(9\right)$

u＝u+Δu(10)

其中和Δu是参数。复位电压通常被设为v_-。

依照瞬时耦合的原理，闭合形式解不仅对于状态是可能的(且具有单个指数项)，而且对于到达特定状态所需的时间也是可能的。闭合形式状态解为：

$v(t+\mathrm{\&Delta;}t)=\left(v\right(t)+q_{\mathrm{\&rho;}})e^{\frac{\mathrm{\&Delta;}t}{{\mathrm{\&tau;}}_{\mathrm{\&rho;}}}}-q_{\mathrm{\&rho;}}---\left(11\right)$

$u(t+\mathrm{\&Delta;}t)=\left(u\right(t)+r)e^{-\frac{\mathrm{\&Delta;}t}{{\mathrm{\&tau;}}_u}}-r---\left(12\right)$

因此，模型状态可仅在发生事件之际被更新，诸如基于输入(突触前尖峰)或输出(突触后尖峰)而被更新。还可在任何特定时间(无论是否有输入或输出)执行操作。

而且，依照瞬时耦合原理，可以预计突触后尖峰的时间，因此到达特定状态的时间可提前被确定而无需迭代技术或数值方法(例如，欧拉数值方法)。给定了先前电压状态v₀，直至到达电压状态v_f之前的时间延迟由下式给出：

$\mathrm{\&Delta;}t={\mathrm{\&tau;}}_{\mathrm{\&rho;}}log\frac{v_f+q_{\mathrm{\&rho;}}}{v_0+q_{\mathrm{\&rho;}}}---\left(13\right)$

如果尖峰被定义为发生在电压状态v到达v_S的时间，则从电压处于给定状态v的时间起测量的直至发生尖峰前的时间量或即相对延迟的闭合形式解为：

其中通常被设为参数v₊，但其他变型可以是可能的。

模型动态的以上定义取决于该模型是在正态相还是负态相中。如所提及的，耦合和态相ρ可基于事件来计算。出于状态传播的目的，态相和耦合(变换)变量可基于在上一(先前)事件的时间的状态来定义。出于随后预计尖峰输出时间的目的，态相和耦合变量可基于在下一(当前)事件的时间的状态来定义。

存在对该Cold模型、以及在时间上执行模拟、仿真、或建模的若干可能实现。这包括例如事件-更新、步阶-事件更新、以及步阶-更新模式。事件更新是其中基于事件或“事件更新”(在特定时刻)来更新状态的更新。步阶更新是以间隔(例如，1ms)来更新模型的更新。这不一定要求迭代方法或数值方法。通过仅在事件发生于步阶处或步阶间的情况下才更新模型或即通过“步阶-事件”更新，基于事件的实现以有限的时间分辨率在基于步阶的模拟器中实现也是可能的。

神经编码

有用的神经网络模型(诸如包括图1的人工神经元102、106的神经网络模型)可经由各种合适的神经编码方案(诸如一致性编码、时间编码或速率编码)中的任一种来编码信息。在重合性编码中，信息被编码在神经元集群的动作电位(尖峰发放活动性)的重合性(或时间邻近性)中。在时间编码中，神经元通过对动作电位(即，尖峰)的精确定时(无论是以绝对时间还是相对时间)来编码信息。信息由此可被编码在一群神经元间的相对尖峰定时中。相反，速率编码涉及将神经信息编码在激发率或集群激发率中。

如果神经元模型能执行时间编码，则其也能执行速率编码(因为速率正好是定时或尖峰间间隔的函数)。为了提供时间编码，良好的神经元模型应当具有两个要素：(1)输入的抵达时间影响输出时间；以及(2)重合性检测能具有窄时间窗。连接延迟提供了将重合性检测扩展到时间模式解码的一种手段，因为通过恰适地延迟时间模式的元素，可使这些元素达成定时重合性。

抵达时间

在良好的神经元模型中，输入的抵达时间应当对输出时间有影响。突触输入——无论是狄拉克δ函数还是经定形的突触后电位(PSP)、无论是兴奋性的(EPSP)还是抑制性的(IPSP)——具有抵达时间(例如，δ函数的时间或者阶跃或其他输入函数的开始或峰值的时间)，其可被称为输入时间。神经元输出(即，尖峰)具有发生时间(无论其是在何处(例如在胞体处、在沿轴突的一点处、或在轴突末端处)测量的)，其可被称为输出时间。该输出时间可以是尖峰的峰值时间、尖峰的开始、或与输出波形有关的任何其他时间。普适原理是输出时间取决于输入时间。

乍看起来可能认为所有神经元模型都遵循该原理，但一般并不是这样。例如，基于速率的模型不具有此特征。许多尖峰模型一般也并不遵循这一点。带漏泄积分激发(LIF)模型在有额外输入(超过阈值)的情况下并不会更快一点地激发。此外，在以非常高的定时分辨率来建模的情况下或许遵循这一点的模型在定时分辨率受限(诸如限于1ms步阶)时通常将不会遵循这一点。

输入

神经元模型的输入可包括狄拉克δ函数，诸如电流形式的输入、或基于电导率的输入。在后一种情形中，对神经元状态的贡献可以是连续的或状态依赖型的。

对于某些方面，神经系统100可被用于向利用监督式学习的每一个输出种类指派标签的系统中，如本文所描述的。这些标签可被静态(一次性)或动态(例如，使用不时改变的标签指派)指派。

用于使用监督式学习对种类加标签的示例性方法和装置

非监督式学习算法精确地将数据分成许多应用中的相异种类，但它们可能未提供关于它们分开的种类的一致索引。取而代之，表示某种数据类型的种类索引可被随机地指派给不同种类。此随机指派在许多应用中可能不是合乎期望的，尤其在分类输出被用作一个或多个下游模块的输入时。在没有一致地表示相同种类的种类索引时，或许不可能构建实现非监督式学习算法的模块与下游模块之间的可靠接口。

本公开的某些方面给出一种用于使用监督式学习和尖峰定时依赖可塑性(STDP)来对种类加标签的方法。所提议的方法可向任何种类序列应用标签(静态或动态)而不论它们的索引如何。

本文所给出的方法可使用包括N个输出神经元(其中N可代表期望种类的数目)的神经网络以及任意索引种类的神经元与输出神经元之间的全部到全部可塑性连接来扩增任何模型。该全部到全部连接的神经网络随后使用监督式学习来训练以使得每个输出神经元往往表示相同种类。该监督式训练通过按已知种类序列向网络中发送以及在输出神经元处强制尖峰和/或非尖峰活动来执行。

由于任意排序种类的神经元将在呈现其种类之际发放尖峰并且与该种类相关联的输出神经元已被强制发放尖峰，因此在该神经元对之间将存在尖峰的重合并且不存在其它神经元对之间的重合。该重合将导致该神经元对之间的连接的突触权重根据STDP曲线而增大。通过构造该曲线以增大重合激发的神经元的权重并减小不重合激发的神经元的权重，随时间推移将持续的仅有连接将在表示相同种类的神经元对之间。由于监督尖峰信号仅被发往期望输出神经元，因此将实现对输出种类神经元的相同索引而不论原始种类神经元的索引如何。应注意，在一些情形中，可压制与不同于作为输入呈现的那个种类的种类相关联的输出神经元处的尖峰发放。携带不同标记的多个输出层神经元可与分类器的输出相关联。

图5解说了根据本公开的某些方面的利用神经网络的系统的示例高级框图。如所解说的，时间编码模型502通过神经块接口506连接至觅食电路504。时间编码模型502可使用非监督式学习算法来将数据分成不同种类(例如，红、蓝和绿种类)。神经网络接口需要知晓时间编码模型502的每个输出种类的正确规格/标签以便正确地将它们连接至觅食电路504的输入节点。

图6解说了根据本公开的某些方面的示例刺激处理模型。如所解说的，刺激处理模型610可处理输入刺激并生成一个或多个输出/输出种类。例如，刺激处理模型可处理传感输入602并生成输出种类1602、种类2604、种类3606。输入刺激可被随机地指派给输出种类602、604和/或606中的一者或多者。结果，表示输入刺激602的神经元可随机地位于刺激处理模型610的输出层。下游神经块可能需要假定特定神经元或神经元种类关于特定输入刺激(例如，红球)激发。因此，刺激处理模型的性能可能需要被观察。刺激处理模型610可包括时间编码块506和/或可被用来处理和/或分类数据的任何其它神经网络块。

本公开的某些方面提供了一种用于对种类加标签的方法，这些种类由非监督式学习算法(例如，诸如时间编码块506)使用有意义的标签来生成。使用所提议的方法生成的标签是一致的，而无论从非监督式学习算法输出的种类索引如何。对于某些方面，本文所给出的加标签方法可使用单层神经网络与监督式学习和尖峰定时依赖可塑性(STDP)相结合。应注意，尽管本文给出的大部分示例假定单层神经网络，但本文的教导可被应用于具有任何数目的层的任何神经网络，其都落在本公开的范围内。

图7解说根据了本公开的某些方面的用于对种类加标签的所提议方法的示例框图。如所解说的，神经网络模型710的输出节点(和/或输出节点种类)可连接至扩增模型720。在该示例中，每个节点可代表一人工神经元。扩增模型720的每一个输出可对应于指派(例如，标签)。例如，输出722可对应于红色，输出724可对应于绿色并且输出种类724可对应于蓝色。另外，神经网络模型710的每一个输出可随机地对应于红、绿或蓝色中的一者。例如，输出节点712可对应于绿色，输出节点714可对应于蓝色并且输出节点716可对应于红色。所提议的解决方案实现了刺激种类与表示该刺激种类的一个或多个输出神经元(节点)之间的静态映射。尽管某些方面在本文是参照标签来描述的，但本文所描述的技术也可被用来动态地指派标签，以实现刺激种类与一个或多个输出神经元之间的动态映射(例如，以捕捉系统环境中的改变)。

图8解说了根据本公开的某些方面的用于对人工神经元的种类加标签的示例操作800。在802，可标识包括一个或多个经索引人工神经元种类的第一网络。在804，可为该一个或多个人工神经元种类确定一个或多个标签而不论它们的索引如何。作为示例，可使用可包括一个或多个人工神经元的第二网络扩增第一网络，其中第二网络中的每个人工神经元对应于一标签。可使用一个或多个可塑性连接来将该一个或多个人工神经元种类中的每一者连接至第二网络中的所有人工神经元。可使用监督式学习算法来训练该一个或多个可塑性连接，从而第二网络的每一个人工神经元表示第一网络的特定种类而不论其索引如何。

图9A-9C解说了根据了本公开的某些方面的所提议加标签方法可采取的步骤。图9A解说了使用另一神经网络模型(例如，模型扩增720)扩增的神经网络模型710。神经网络模型710的输出层节点(例如，人工神经元)中的节点通过可塑性突触连接至扩增模型720的所有节点。可塑性突触可响应于节点之间的连接的使用或不用而在强度上有所改变。在该示例中，扩增模型720仅具有一层节点，然而，一般而言，扩增模型可具有任何数目的层和任何数目的节点。

图9B解说了根据本公开的某些方面的用于在神经网络模型710中生成尖峰和在扩增模型720中生成监督尖峰的示例时序图。如所解说的，在时间t₀，可向神经网络模型710呈现刺激902。在时间t₁，响应于刺激902，在神经网络模型710的输出层中可存在尖峰。例如，神经网络模型710的输出节点716可在时间t₁示出尖峰。在时间t₂，可在扩增模型720的输出之一中生成监督尖峰信号。例如，可在扩增模型720的输出节点722处生成监督尖峰。接着，基于时间t₁和t₂处的尖峰来确定两个网络710和720中的各节点之间的可塑性连接的权重。例如，从原始模型710中在时间t₁发放尖峰的节点716(例如，节点Z)到扩增模型720中表示刺激的神经元(例如，节点R722)的突触权重被增强(例如，+δ(Z→R)，其中δ是表示连接的连通性的强度改变的正数)。因此，节点716与722之间的突触权重被增大。另外，如果原始模型710的输出层中的其它节点(例如，X和/或Y)早前已发放尖峰，则可塑性规则减弱它们与扩增模型中的节点R722的关联(例如，-δ(X→R)和-δ(Y→R)。如由输出节点G和B处的“X”所解说的，可压制与不同于作为输入呈现的那个种类的种类相关联的输出神经元处的尖峰发放。

图9C解说了在向各模型呈现刺激902并应用可塑性规则之后神经网络模型710中的节点与扩增模型720的节点R722之间的最终连接。在该附图中，标签R可被指派给原始模型710的节点716，这是因为节点Z716与节点R722之间的可塑性连接的权重高于节点R722与原始模型710的输出之间的其它连接的权重。

图10解说了根据了本公开的某些方面的所提议加标签方法中可使用的示例可塑性规则。如该附图中所解说的，可基于其中每个节点显示尖峰的时间而修改两个节点之间的可塑性连接的权重。

应注意，所提议的技术并不特定于传感刺激分类，而是可被应用于对任何神经网络块的输入/输出的种类加标签。例如，所提议的方法可被用来针对从向电机发送电机控制命令的神经网络块出来的动作创建标签，如图11中所解说的。

图11解说了根据本公开的某些方面的创建用于电机的输入动作标签的所提议方法的示例应用。如所解说的，设备(例如，机器人1112)可连接至调制电机活动的电机神经元M_I1108和M_r1110。电机神经元M_I1108和M_r1110可分别被连接至外部刺激的神经元阵列1104和1106。每一个电机可通过非可塑性连接连接至这些阵列中的一个阵列的所有神经元。例如，电机M_I1108可连接至阵列1104的所有神经元。神经元阵列1104和/或1106中的每一个神经元阵列可导致机器人的不同移动。

接着，动作标签(例如，前向(F)1114和/或后向(B)1116)可通过可塑性突触连接至阵列1104和1106中的每一者中的所有神经元。为了确定关于设备中的移动的动作标签，监督式动作分类器1118可向这些动作标签之一(例如，B1116)发送监督尖峰。外部刺激信号1122也可在恰适时间被发往神经元阵列。基于设备响应于刺激和监督信号的移动的指示，可为设备的前向和/或后向移动创建输入动作标签。在一些情形中，在创建某些标签时的定时可取决于设备的具体移动。例如，如果设备(例如，机器人)以高准确度后向或前向移动，则可立即刺激动作标签神经元。另一方面，如果设备以较低准确度移动，则可使用某一延迟来刺激动作标签神经元。该定时效应连同可塑性规则可允许降级的学习。

对于某些方面，所提议的加标签方法可被用来创建节点种类之间的边界。图12解说了根据本公开的某些方面的创建种类边界的所提议加标签方法的示例应用。如所解说的，神经网络模型可具有两个期望输出(例如，蓝色和/或红色)。在该示例中，紫刺激1202(其是蓝色和红色的组合)可被分类为红或蓝(例如，取决于紫的色度，具有更多蓝和/或更多红色素)。例如，P1可包括比蓝多的红色，P2可包括相等量的红色和蓝色，并且P3可包括比红色多的蓝。期望分类选择在列1204中示出。红和蓝种类边界1206可使用所提议的加标签方法来控制。

图13A-13C解说了根据本公开的某些方面的用于所提议的加标签方法(例如，用以接合种类)的另一示例应用。图13A解说了刺激处理模型1302，其可被训练以创建多个种类(例如，包括红、蓝、绿和三个紫种类P1、P2和P3的六个种类)。所提议的方法可被用来减少输出种类的数目。例如，所提议的加标签方法可被用来将图13A的输出种类减少为三个种类：红、绿和蓝。首先，网络可如图13B中所解说地扩增。刺激处理模型的输出层中的所有神经元可通过可塑性突触连接至扩增模型中的所有神经元。接着，网络可被训练以创建期望边界1304，如图13C中解说的。应注意，经扩增的网络可与刺激处理模型1302(例如，非监督式网络)同时地训练。

图14A-14C解说了根据本公开的某些方面的具有过完整表示的神经网络中的所提议加标签方法的另一示例应用。如图14A中解说的，神经网络模型可被训练以创建多个期望种类(例如，三个不同种类，诸如，红、蓝和绿)。这些种类中的每一个可用输出层中的神经元集群来表示，如图14A中解说的。例如，三个神经元可由蓝来表示，两个神经元可由红来表示，并且两个神经元可由绿来表示。图14B解说了过完整表示可如何允许集群子集对到类平均的距离进行编码。例如，紫刺激P1可跨蓝和红神经元集群的子集(例如，两个红神经元和一个蓝神经元)来表示。

如图14C所解说的，过完整表示可允许紫刺激(例如，p1、p2、p3)中的每一个由来自蓝和红集群的神经元的混合来表示。经扩增的网络可被训练以创建期望分类1402。

本公开的某些方面可使用所提议的加标签方法来向神经网络模型的输出种类添加新种类。作为示例，可向神经网络模型添加新种类，如图15所解说的。在该示例中，初始分类包括三个输出种类(例如，红、绿和蓝)。可通过定义附加输出神经元和训练经扩增的网络来向输出添加新种类。

对所提议的加标签方法的一种替换方案是训练实现非监督式学习算法的神经块并且随后手动地将模型的输出关联到下游块。该办法可快速地变得繁琐。可例如通过针对特定刺激(例如，红球)测试模型的输出并评估模型的输出层中的激发来将它自动化。然而，如果输出层中的多个神经元表示刺激(例如，如果使用集群编码)，则该办法可能并不简单。评估输出神经元和将这些输出神经元映射到刺激种类的函数可能自身变得复杂。作为比较，所提议的方法使用监督式训练来创建映射函数。因此，所提议的加标签方法对于集群编码是稳健的。

应注意，本文所给出的方法还可被用来针对网络中的特定时间模式创建标签。例如，在调试器中，可使用所提议的方法对无效状态(例如，其可具有特定时间模式)加标签。一般而言，所提议的加标签方法可被用来使用STDP标识特定网络模式。应注意，一般而言，如图7所解说的经扩增的网络720可连接至刺激输出网络710的输出层、输入层和/或任何居间层。这两个网络的组合随后可被监督训练以创建期望标签。

对于某些方面，在神经网络模型710与由经扩增的网络720创建的标签之间可存在一对众多关系。例如，标签可被创建为“汽车”，并且更通用的标签可被创建(例如，车辆)和/或更具体的标签可被创建(例如，本田)。

示例替换解决方案

根据某些方面，以上讨论的模型可通过直接向输出层发送监督尖峰来扩增，如图16中解说的。在该示例中，监督尖峰的应用可实现刺激种类与表示该刺激种类的输出神经元之间的静态映射。根据某些方面，携带监督信号(抑制性或兴奋性)的一组神经元可连接至输出层。如图16所解说的，监督突触可连接至所有输出层神经元。期望映射到某种标记的输出层神经元与正权重突触(兴奋性)连接，而其它输出层神经元可与负权重突触(抑制性)连接。

图17解说了根据本公开的某些方面的监督信号的示例应用定时。如所解说的，一旦呈现刺激(在t0)，监督信号就被发送到网络中(在t1)。监督神经元在输出层神经元上生成正监督信号以及(可任选的)负监督信号(并被应用直至t1')。该监督输入自己并不导致输出层神经元中的尖峰，而是创建正偏置以用于在期望输出层神经元上激发(在时间t2)，同时可任选地创建负偏置以用于其它神经元的激发。正和/或负偏置的量可通过突触权重来控制。

该监督的效应在图18中解说。如所解说的，正偏置可使期望输出层神经元(所解说示例中的神经元X)更靠近激发阈值。类似地，可任选负偏置可使其它输出层神经元(Y和Z)进一步低于该阈值。尽管该监督“阈下”偏置自身并不导致尖峰，但一旦接收到网络输入，它就可帮助克服种类到输出层神经元映射的随机效应并且帮助确保在接收到网络输入之际仅神经元X跨越激发阈值，同时保持Y和Z低于激发阈值。

如图19和20所解说的，上述STDP规则也可被用来调节监督突触的权重。如图20A所示，在观察到正确输出时，可减小正监督偏置。另一方面，可为不正确输出增大负监督或者为正确输出减小负监督，如图20B所示。如以上所讨论的，STDP规则可允许在网络学习之际关闭监督。在一些情形中，应用监督输入的历时(例如，图18中所示的t1到t1')可基于网络性能来调节。

图21解说了根据本公开的某些方面的用于使用通用处理器2102来对神经系统中的种类加标签的前述方法的示例实现2100。与计算网络(神经网络)相关联的变量(神经信号)、突触权重和系统参数可被存储在存储器块2104中，而在通用处理器2102处执行的有关指令可从程序存储器2106中加载。在本公开的一方面，加载到通用处理器2102中的指令可包括用于以下操作的代码：标识包括一个或多个经索引节点种类的第一网络；以及为该一个或多个节点种类确定一个或多个标签而不论它们的索引如何。

图22解说了根据本公开的某些方面的用于对神经系统中的种类加标签的前述方法的示例实现2200，其中存储器2202可以经由互连网络2204与计算网络(神经网络)的个体(分布式)处理单元(神经处理器)2206对接。与计算网络(神经网络)相关联的变量(神经信号)、突触权重和系统参数可被存储在存储器2202中，并且可从存储器2202经由互连网络2204的连接被加载到每个处理单元(神经处理器)2206中。在本公开的一方面，处理单元2206可被配置成：标识包括一个或多个经索引节点种类的第一网络；以及为该一个或多个节点种类确定一个或多个标签而不论它们的索引如何。

图23解说了根据本公开的某些方面的用于基于分布式权重存储器2302和分布式处理单元(神经处理器)2304来对神经系统中的种类加标签的上述方法的示例框图2300。如图23中所解说的，一个存储器组2302可直接与计算网络(神经网络)的一个处理单元2304对接，其中该存储器组2302可存储与该处理单元(神经处理器)2304相关联的变量(神经信号)、突触权重和系统参数。在本公开的一方面，处理单元2304可被配置成：标识包括一个或多个经索引节点种类的第一网络；以及为该一个或多个节点种类确定一个或多个标签而不论它们的索引如何。

图24解说了根据本公开的某些方面的神经网络2300的示例实现。如图24中所解说的，神经网络2400可包括多个局部处理单元2402，它们可执行以上描述的方法的各种操作。每个处理单元2402可包括局部状态存储器2404和存储该神经网络的参数的局部参数存储器2406。另外，处理单元2402可包括具有局部(神经元)模型程序的存储器2408、具有局部学习程序的存储器2410、以及局部连接存储器2412。此外，如图24中所解说的，每个局部处理单元2402可与用于配置处理的单元2414对接并且与路由连接处理元件2416对接，单元2414可提供对局部处理单元的局部存储器的配置，路由连接处理元件元件2416提供局部处理单元2402之间的路由。

根据本公开的某些方面，图8中所解说的操作800可在硬件中执行，例如由来自图24的一个或多个处理单元2402来执行。

以上所描述的方法的各种操作可由能够执行相应功能的任何合适的装置来执行。这些装置可包括各种硬件和/或软件组件和/或模块，包括但不限于电路、专用集成电路(ASIC)、或处理器。一般而言，在附图中解说操作的场合，那些操作可具有带相似编号的相应配对装置加功能组件。例如，图8中所解说的操作800对应于图8A中所解说的组件800A。

作为示例，用于标识的装置、用于确定的装置、用于扩增的装置、用于连接的装置和/或用于训练的装置可以是处理元件，诸如通用处理器或专用处理器，诸如数字信号处理器(DSP)、ASIC或类似物。

如本文所使用的，引述一列项目中的“至少一个”的短语是指这些项目的任何组合，包括单个成员。作为示例，“a、b或c中的至少一个”旨在涵盖：a、b、c、a-b、a-c、b-c、以及a-b-c。

上面描述的方法的各种操作可由能够执行这些操作的任何合适的装置来执行，诸如各种硬件和/或软件组件、电路、和/或模块。一般而言，在附图中所解说的任何操作可由能够执行这些操作的相对应的功能性装置来执行。

结合本公开所描述的各种解说性逻辑框、模块、以及电路可用设计成执行本文所描述功能的通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列信号(FPGA)或其他可编程逻辑器件(PLD)、分立的门或晶体管逻辑、分立的硬件组件或其任何组合来实现或执行。通用处理器可以是微处理器，但在替换方案中，处理器可以是任何市售的处理器、控制器、微控制器、或状态机。处理器还可以被实现为计算设备的组合，例如DSP与微处理器的组合、多个微处理器、与DSP核心协同的一个或多个微处理器、或任何其它此类配置。例如，用于标识的装置、用于确定的装置、用于推断的装置和用于更新的装置可以是任何合适的处理元件，诸如处理器或类似物。

结合本公开所描述的方法或算法的步骤可直接在硬件中、在由处理器执行的软件模块中、或在这两者的组合中体现。软件模块可驻留在本领域所知的任何形式的存储介质中。可使用的存储介质的一些示例包括随机存取存储器(RAM)、只读存储器(ROM)、闪存、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动盘、CD-ROM，等等。软件模块可包括单条指令、或许多条指令，且可分布在若干不同的代码段上，分布在不同的程序间以及跨多个存储介质分布。存储介质可被耦合到处理器以使得该处理器能从/向该存储介质读写信息。替换地，存储介质可以被整合到处理器。

本文所公开的方法包括用于实现所描述的方法的一个或多个步骤或动作。这些方法步骤和/或动作可以彼此互换而不会脱离权利要求的范围。换言之，除非指定了步骤或动作的特定次序，否则具体步骤和/或动作的次序和/或使用可以改动而不会脱离权利要求的范围。

所描述的功能可在硬件、软件、固件或其任何组合中实现。如果以软件实现，则各功能可作为一条或多条指令或代码存储在计算机可读介质上或藉其进行传送。计算机可读介质包括计算机存储介质和通信介质两者，这些介质包括促成计算机程序从一地向另一地转移的任何介质。存储介质可以是能被计算机访问的任何可用介质。作为示例而非限定，此类计算机可读介质可包括RAM、ROM、EEPROM、CD-ROM或其他光盘存储、磁盘存储或其他磁存储设备、或能用于携带或存储指令或数据结构形式的期望程序代码且能被计算机访问的任何其他介质。另外，任何连接也被正当地称为计算机可读介质。例如，如果软件是使用同轴电缆、光纤电缆、双绞线、数字订户线(DSL)、或无线技术(诸如红外(IR)、无线电、以及微波)从web网站、服务器、或其他远程源传送而来，则该同轴电缆、光纤电缆、双绞线、DSL或无线技术(诸如红外、无线电、以及微波)就被包括在介质的定义之中。如本文中所使用的盘(disk)和碟(disc)包括压缩碟(CD)、激光碟、光碟、数字多用碟(DVD)、软盘、和碟，其中盘(disk)常常磁性地再现数据，而碟(disc)用激光来光学地再现数据。因此，在一些方面，计算机可读介质可包括非瞬态计算机可读介质(例如，有形介质)。另外，对于其他方面，计算机可读介质可包括瞬态计算机可读介质(例如，信号)。上述的组合应当也被包括在计算机可读介质的范围内。

因此，一些方面可包括用于执行本文中给出的操作的计算机程序产品。例如，此种计算机程序产品可包括其上存储(和/或编码)有指令的计算机可读介质，这些指令能由一个或多个处理器执行以执行本文中所描述的操作。对于一些方面，计算机程序产品可包括包装材料。

软件或指令还可以在传输介质上传送。例如，如果软件是使用同轴电缆、光纤电缆、双绞线、数字订户线(DSL)、或诸如红外、无线电、以及微波等无线技术从web站点、服务器或其他远程源传送而来的，则该同轴电缆、光纤电缆、双绞线、DSL、或诸如红外、无线电以及微波等无线技术就被包括在传输介质的定义里。

此外，应当领会，用于执行本文中所描述的方法和技术的模块和/或其它恰适装置能由用户终端和/或基站在适用的场合下载和/或以其他方式获得。例如，此类设备能被耦合至服务器以促成用于执行本文中所描述的方法的装置的转移。替换地，本文所述的各种方法能经由存储装置(例如，RAM、ROM、诸如压缩碟(CD)或软盘等物理存储介质等)来提供，以使得一旦将该存储装置耦合至或提供给用户终端和/或基站，该设备就能获得各种方法。此外，可利用适于向设备提供本文所描述的方法和技术的任何其他合适的技术。

将理解，权利要求并不被限定于以上所解说的精确配置和组件。可在以上所描述的方法和装置的布局、操作和细节上作出各种改动、更换和变形而不会脱离权利要求的范围。

尽管上述内容针对本公开的各方面，然而可设计出本公开的其他和进一步的方面而不会脱离其基本范围，且其范围是由所附权利要求来确定的。

Claims (34)

1.一种方法，包括：

标识包括一个或多个经索引人工神经元种类的第一网络；以及

为所述一个或多个人工神经元种类确定一个或多个标签而不论它们的索引如何。

2.如权利要求1所述的方法，其特征在于，为所述一个或多个人工神经元种类确定一个或多个标签包括：

使用包括一个或多个人工神经元的第二网络扩增所述第一网络，其中所述第二网络中的每个神经元对应于一标签；

使用一个或多个可塑性连接将所述一个或多个神经元种类中的每一个神经元种类连接至所述第二网络中的所有神经元；以及

使用监督式学习算法训练所述一个或多个可塑性连接，以使得所述第二网络中的每个神经元表示所述第一网络的特定种类而不论其索引如何。

3.如权利要求2所述的方法，其特征在于，所述第二网络包括单层人工神经元。

4.如权利要求2所述的方法，其特征在于，所述监督式学习算法使用尖峰定时依赖可塑性(STDP)。

5.如权利要求2所述的方法，其特征在于，训练所述一个或多个可塑性连接包括：

向所述第一网络中发送已知种类序列；

强制所述第二网络的一个或多个人工神经元针对每个特定种类发放尖峰；

在所述第二网络的一个或多个人工神经元处针对一个或多个其它种类抑制发放尖峰；以及

基于所述第一和第二网络中的尖峰来调节所述一个或多个可塑性连接的权重。

6.如权利要求2所述的方法，其特征在于，所述经扩增的网络连接至所述第一网络的输出层。

7.如权利要求1所述的方法，其特征在于，所述一个或多个人工神经元种类是使用非监督式学习算法来确定的。

8.如权利要求1所述的方法，其特征在于，所述经索引种类之一包括特定时间模式。

9.如权利要求1所述的方法，其特征在于，所述经索引人工神经元种类中的每一个人工神经元种类可对应于一个或多个标签。

10.如权利要求1所述的方法，其特征在于，所述一个或多个标签被用来将所述第一网络连接至一装置。

11.如权利要求1所述的方法，其特征在于，所述一个或多个标签被用来确定不同人工神经元种类之间的边界。

12.如权利要求1所述的方法，其特征在于，所述一个或多个标签被用来接合所述人工神经元种类中的一个或多个人工神经元种类。

13.如权利要求1所述的方法，其特征在于，为所述一个或多个人工神经元种类确定一个或多个标签包括：

使用包括一个或多个人工神经元的第二网络扩增所述第一网络，其中所述第二网络中的每个神经元对应于一标签；

使用一个或多个可塑性连接将所述一个或多个神经元种类中的每一个神经元种类连接至所述第二网络中的所有神经元；以及

经由所述可塑性连接向所述一个或多个神经元种类提供监督偏置信号，以使得所述监督信号在种类与输出层神经元之间强加期望映射。

14.如权利要求13所述的方法，其特征在于，提供监督偏置信号包括：

提供低于激发阈值的正监督信号以创建用于在期望输出层神经元上激发的偏置。

15.如权利要求14所述的方法，其特征在于，提供监督偏置信号进一步包括：

提供负监督信号以创建用于阻止在非期望输出层神经元上激发的偏置。

16.如权利要求13所述的方法，其特征在于，进一步包括，调节所述监督信号的权重以使得监督偏置的水平是根据所述输出层神经元处的期望和实际网络输出之差来调节的。

17.一种设备，包括：

用于标识包括一个或多个经索引人工神经元种类的第一网络的装置；以及

用于为所述一个或多个人工神经元种类确定一个或多个标签而不论它们的索引如何的装置。

18.如权利要求17所述的设备，其特征在于，所述用于为所述一个或多个人工神经元种类确定一个或多个标签的装置包括：

用于使用包括一个或多个人工神经元的第二网络扩增所述第一网络的装置，其中所述第二网络中的每个神经元对应于一标签；

用于使用一个或多个可塑性连接将所述一个或多个神经元种类中的每一个神经元种类连接至所述第二网络中的所有神经元的装置；以及

用于使用监督式学习算法训练所述一个或多个可塑性连接，以使得所述第二网络中的每个神经元表示所述第一网络的特定种类而不论其索引如何的装置。

19.如权利要求18所述的设备，其特征在于，所述第二网络包括单层人工神经元。

20.如权利要求18所述的设备，其特征在于，所述监督式学习算法使用尖峰定时依赖可塑性(STDP)。

21.如权利要求18所述的设备，其特征在于，所述用于训练所述一个或多个可塑性连接的装置包括：

用于向所述第一网络中发送已知种类序列的装置；

强制所述第二网络的一个或多个人工神经元针对每个特定种类发放尖峰；

用于在所述第二网络的一个或多个人工神经元处针对一个或多个其它种类抑制发放尖峰的装置；以及

用于基于所述第一和第二网络中的尖峰来调节所述一个或多个可塑性连接的权重的装置。

22.如权利要求18所述的设备，其特征在于，所述经扩增的网络连接至所述第一网络的输出层。

23.如权利要求17所述的设备，其特征在于，所述一个或多个人工神经元种类是使用非监督式学习算法来确定的。

24.如权利要求17所述的设备，其特征在于，所述经索引种类之一包括特定时间模式。

25.如权利要求17所述的设备，其特征在于，所述经索引人工神经元种类中的每一个人工神经元种类可对应于一个或多个标签。

26.如权利要求17所述的方法，其特征在于，所述一个或多个标签被用来将所述第一网络连接至一设备。

27.如权利要求17所述的设备，其特征在于，所述一个或多个标签被用来确定不同人工神经元种类之间的边界。

28.如权利要求17所述的设备，其特征在于，所述一个或多个标签被用来接合所述人工神经元种类中的一个或多个人工神经元种类。

29.如权利要求17所述的设备，其特征在于，所述用于为所述一个或多个人工神经元种类确定一个或多个标签的装置包括：

用于使用包括一个或多个人工神经元的第二网络扩增所述第一网络的装置，其中所述第二网络中的每个神经元对应于一标签；

用于使用一个或多个可塑性连接将所述一个或多个神经元种类中的每一个神经元种类连接至所述第二网络中的所有神经元的装置；以及

用于经由所述可塑性连接向所述一个或多个神经元种类提供监督偏置信号，以使得所述监督信号在种类与输出层神经元之间强加期望映射的装置。

30.如权利要求29所述的设备，其特征在于，所述用于提供监督偏置信号的装置包括：

用于提供低于激发阈值的正监督信号以创建用于在期望输出层神经元上激发的偏置的装置。

31.如权利要求30所述的设备，其特征在于，所述用于提供监督偏置信号的装置进一步包括：

用于提供负监督信号以创建用于阻止在非期望输出层神经元上激发的偏置的装置。

32.如权利要求29所述的设备，其特征在于，进一步包括，用于调节所述监督信号的权重以使得监督偏置的水平是根据所述输出层神经元处的期望和实际网络输出之差来调节的装置。

33.一种装置，包括：

至少一个处理器，其配置成：标识包括一个或多个经索引人工神经元种类的第一网络，以及为所述一个或多个人工神经元种类确定一个或多个标签而不论它们的索引如何；以及

与所述至少一个处理器耦合的存储器。

34.一种包括其上存储有指令的计算机可读介质的程序产品，所述指令用于：

标识包括一个或多个经索引人工神经元种类的第一网络；以及

为所述一个或多个人工神经元种类确定一个或多个标签而不论它们的索引如何。