CN106372720B - 一种用于实现深度脉冲神经网络的方法和系统 - Google Patents

Abstract

一种实现脉冲神经网络运算的计算机方法，所述方法包括：定义一个显示脉冲的动态节点响应函数；其中，所述脉冲是随时间表示状态的瞬时非线性；定义所述节点响应函数的静态表示；利用所述的节点响应函数的静态表示训练一个神经网络。还公开了一种用于实现本方法的系统。

Description

一种用于实现深度脉冲神经网络的方法和系统

技术领域

这里所述的方法和系统通常涉及用于使用单层或多层的脉冲神经网络(spikingneural network)的计算。这里所述方法专门针对学习高效，准确的实现前馈或利用时间瞬时(temporally)不连续的节点(即“脉冲神经”)的递归深度网络(recurrent deepnetworks)。

背景技术

深度人工神经网络(ANNs)近来已成功地解决图像分类问题。早期的国家标准与技术研究所(MNIST)的数据库已经成功地扩展成更大难度但同样大小的加拿大先进10类别研究所数据集(CIFAR-10)和街景房屋数字数据集(SVHN)。最近，很多团体在这些小型数据集和更大数据集上取得了更好的成果。这项工程最终随着深度神经网络被应用于图像处理网络(ImageNet)(参见Krizhevsky,I.Sutskever,and G.Hinton撰写的《深度卷积神经网络的图像处理软件分类法》，神经信息处理系统的研究进展，2012)，一个非常大且极具挑战性的数据集。

一般地，深度脉冲神经网络(特别是和卷积神经网络)在这些数据集上的相对成功已经远远领先依靠机器进行图像分类的方法。鉴于深度神经网络在一些数据集上正在接近人类某些数据集的特性(或甚至超过，例如混合国家标准与技术研究所)体现了这些模型或许可以揭示人类视觉系统是如何解决这些相同任务。

近来在运行深度脉冲神经网络上已经有相当大的成就，并且通过引入神经“脉冲”，使它们更加生物拟真，例如连接的节点通过瞬时单个比特(脉冲)传输信息，而不是传输实值的信号。该项目的目标之一是通过尝试进行反向工程去更好的理解大脑，另一个目标是建立一个利用相似通信方法进行图像分类的节能神经形态系统。之前利用脉冲神经实现深度网络是依靠假设神经脉冲是由一个整合激活神经元(integrate-and-fire神经元)产生的。这是一个简单，非生物学的在神经形态硬件中很少执行的模型。许多之前的方法假设在实现的深度网络中每节点有超过一个脉冲神经。能使用更广泛动态脉冲神经模型的系统可以更加灵活。能每深度网络节点使用单个脉冲神经的系统可以更加高效。这样的设计可以提供更高效更广泛的深度神经网络的实现并允许更广泛的硬件实现。

发明内容

在第一方面中，本发明的实施例提供了一种设计系统以实现基于静态训练网络的单层或多层脉冲(spiking)神经网络计算的方法。所述方法包括定义表示状态的显示短暂的瞬时非线性的任何节点响应函数，即，“神经脉冲”。这个响应函数是动态的，因为非线性是瞬时的。一种静态响应函数是一个无需考虑动态(例如，S形)的直接从输入状态到输出状态映射。所述方法也包括定义一个所述动态节点响应函数的静态版本，并利用所述动态节点响应函数的静态版本训练一个使用任何可用训练方法的神经网络，最终导致神经网络连接权值。接着，可以利用那些在动态实现的脉冲神经网络中的连接权值计算所训练的函数。

在一些实施例中，所述初始的耦合和所述连接权值是由一种神经编译器确定的。

在第二方面中，本发明的一些实施例提供了一种用于在脉冲神经网络中信号处理，模式分类，或数据表达的系统。所述系统包括表示1或更大尺寸的矢量的一个或多个输入层，和通过权重矩阵耦合至少一个输入层、其他中间层或输出层的0个或一个或多个中间层，和生成一个显示于一个或多个输入层的数据的矢量表示输入层数据的变量的一个或多个输出层。每层包括多个非线性部件，其中每个非线性部件用来生成一在响应输入的时期内的每个时刻的短暂输出(即，一“脉冲”)，并且每层由至少一个加权耦合到输出模块。每个非线性部件的输出用相应的加权耦合的连接权值进行加权，且所述加权输出提供给所述输出模块以形成输出修饰符。每个非线性部件的输出可以由一在所述部件和其他连接的部件之间的连接滤波器进行过滤。所述连接权值由第一部分所述方法确定的。

在一些实施例中，对系统的输入在时间和/或空间上是离散或者连续的。

在一些实施例中，对系统的输入是一标量或多维矢量。

附图说明

本发明的一个较佳的实施例将参照下图做详细描述。

图1是一个实施例中的层和非线性脉冲的框图。

图2是一个涉及所述方法的应用流程的关系图。

图3是涉及应用几个所述方法的变化流程图。

图4是leaky integrate-and-fire(LIF)和软LIF响应函数和它们的导数(derivatives)的配置图。

图5是过滤的脉冲序列相对于输入电流对于LIF神经的变化的配置图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

所述的系统和方法的实施例可以在硬件或软件中实现，或两者的组合。这些实施例可以在可编程计算机上执行的计算机程序中实现，每个计算机包括至少一个处理器、数据存储系统(包括易失性存储器或非易失性存储器或其他数据存储元件或它们的组合)和至少一个通信接口。在某些实施例中，计算机可以是数字或任何模拟计算机。

程序代码应用于输入数据以执行此处所描述的功能，并产生输出信息。输出信息以已知的方式被施加到一个或多个输出设备。

每种程序都可以由一个高级程序或面对对象编程或脚本语言，或三者，以和计算机系统进行通信。但是，或者，程序可以在汇编或机器语言中实现，如果需要的话。语言可能是一个编译或解释的语言。每种这类的计算机程序都可以存储在一个存储媒介或设备(例如，只读内存，磁盘，光盘)，可由通用或特殊用途的可编程计算机进行读取，当所述存储媒体或设备由计算机读取时，用于配置和操作计算机以进行所述步骤。该系统的实施例也可视为由一个非临时性的计算机-可读存储介质实现，其配置了一个计算机程序，在所述存储介质中引起一台计算机以特定和预设的方式运行所述功能。

此外，所描述的实施例的系统和方法可以被分布在一个计算机程序产品包括物理、非瞬时计算机可读介质，计算机可用指令的一个或多个处理器。介质可以以多种形式提供，包括一个或多个磁盘、光盘、磁带、芯片、磁和电子存储介质，等。非暂时性的计算机可读介质包括所有计算机可读媒体，除了短暂的，传播信号。非临时性的术语不打算排除计算机可读的媒体，如一个易失性存储器或随机存取存储器(随机存取存储器)，其中存储的数据只是暂时存储的。计算机可用的指令也可以被以各种形式，包括编译和非编译的代码。

也应该注意到，在这里使用的措辞和/或意图是代表一个包容性或。也就是说，X和/或Y的目的是平均X或Y或两者，例如。作为进一步的例子，X，Y和/或Z的目的是平均X或Y或Z或任何组合。

这里所描述的实施例通常涉及一个系统和方法，用于设计和实施一个浅或深的前馈或反馈神经网络。这样的系统可以有效地实现在各种各样的分布式系统，其中包括大量的非线性元件，其独立的输出可以结合在一起，以实现系统的某些方面，将在下面进行更充分的描述。

可以使用在本文所描述的各种实施例中的非线性元件的例子包括模拟/人工神经元，现场可编程门阵列(FPGAs)，图像处理单元(GPU)，和其他并行计算系统。该系统的组件也可以通过使用各种标准的技术进行实现，如使用微控制器。还需要说明的是，本文所描述的系统可以以各种形式实现，包括软件模拟，硬件，或任何神经织物。可用于实现本文所描述的系统设计的介质的例子包括Neurogrid(参见S·萧德哈瑞，S·斯隆，S·福柯，A涅卡，艾瑞克，特劳德曼，P·高，T·斯特沃特，C·厄里艾斯以及K·波尔汗，硅神经元的计算，在人工神经网络的国际会议上，2012，pp。12128(S.Choudhary,S.Sloan,S.Fok,A.Neckar,Eric,Trautmann,P.Gao,T.Stewart,C.Eliasmith,,and K.Boahen,Silicon neurons thatcompute,in International Conference on Artificial Neural Networks,2012,pp.12128.)),三角帆(参见M·可汗，D·莱斯特，L·普拉纳，A·拉斯特，X晋，E·佩克拉斯和S·费伯，三角帆：在大规模并行芯片多处理器的映射神经网络。IEEE，2008年6月(M.Khan,D.Lester,L.Plana,A.Rast,X.Jin,E.Painkras,and S.Furber,SpiNNaker:Mapping neural networks onto a massively-parallel chip multiprocessor.IEEE,Jun.2008.)),开放计算语言(OpenCL),and真北(参见P梅洛拉，J·V·亚瑟，R·艾瓦里兹-伊擦拉，A·S·蔡斯蒂，J·萨瓦达，F·艾克潘，B·L杰克逊，N·艾玛，C郭，Y·拿卡姆拉，B·布莱佐，I·沃，S·K·亚瑟，R艾普斯米，塔巴，A·艾米尔，M·D弗利科，W·P锐斯克，R·马诺华和D·S莫达，人工大脑，一百万个带有可扩展通讯网络和接口的放电神经元。科学(纽约)345版,6197号,66873面,2014年。(P.Merolla,J.V.Arthur,R.Alvarez-Icaza,A.S.Cassidy,J.Sawada,F.Akopyan,B.L.Jackson,N.Imam,C.Guo,Y.Nakamura,B.Brezzo,I.Vo,S.K.Esser,R.Appuswamy,Taba,A.Amir,M.D.Flickner,W.P.Risk,R.Manohar,andD.S.Modha,Artificial brains.A million spiking-neuron integrated circuit witha scalable communication network and interface.Science(New York,N.Y.),vol.345,no.6197,pp.66873,Aug.2014.)).这里所述的“神经”指的是脉冲神经，持续率神经，或任何高维，非线性，分布式系统的部分。

为了生成这样的系统，我们训练了一个网络，利用传统深度学习技术在图像上采用静态响应函数；我们称之为“静态网络”。然后，我们采取从所述静态网络里的参数(权值和偏差)并利用他们以连接脉冲神经，形成动态网络(或脉冲网络)。挑战是以如下的方式训练静态网络，1.它可以转化为脉冲网络，和2.动态网络的分类错误尽可能接近静态网络的(即，转换到一个动态的网络时引入尽可能少的性能误差)。

图1表示的是这些网络的通常结构。每层(100)包含若干个节点(102)，可以是脉冲(spiking)或非脉冲(non-spiking)的。整体的网络结构可以是非常不同的，层内部连接或连接回它们自己(递归网络)，或者比其他层早或晚连接至在网络中的其他层。仅在一个方向上连接的网络被称为前馈网络。层之间的连接也可能是相当不同的，包括完整的连接，本地连接，卷积连接，或任何其他连接模式。无论拓扑结构，网络需要某种形式的矢量输入，通过它的加权转换，连接部件到一个不同的矢量输出(103)，可能改变维度。这个图代表卷积和非卷积网络的基本结构。在卷积网络的情况下，有额外的结构施加在层之间的连接的拓扑结构。卷积网络在许多机器学习任务上有很好的性能。因此，我们在我们的示例实施例中使用这种网络。

我们在这里描述一个系统的设计方法，用于实现单或多层，前馈或递归脉冲神经网络(recurrent spiking neural network)计算，如图2所述，以及图3进行更详细描述。方法的第一步包括定义随时间表示状态的瞬时非线性的任何节点响应函数，即，“脉冲”(spikes)(200)。文献中有许多非线性的例子，包括括赫胥黎神经(HH)(the Hodgkin-Huxley(HH)neuron),菲茨休神经(the Fitzhugh-Nagumo neuron)，指数函数(theexponential)，二次曲线(quadratic)，自适应的(adaptive)，或标准LIF神经(standardleaky integrate-and-fire(LIF)neuron)，integrate-and-fire神经,沃森神经(theWilson neuron)，Izhichevich神经，还有其他.这些和其他非线性的各种硬件的实现也被提出，用于产生尖峰样的输出。另外，对于某些实施例中，当修匀和/或训练噪声，神经突触模型可以被选择(300)修匀。在文献中有各种各样的突触模型，包括指数衰减，α-突触(alpha-synapse)，和电导为基础的模型。

第二步包括确定一个节点响应函数(201)的静态版本。所用的方法依靠动态模型(303)。例如，标准LIF神经有一个封闭形式的静态描述。相反，自适应的LIF通过加权平均或类似的方法将要求其随时间变化的响应函数近似值。同样，数值模拟方法可以用来确定更复杂的神经元模型的静态近似值，比如HH模型。此外，这样的静态模型可能有一个不连续的，高的，或无界的导数(derivatives)，它必须被修匀(304)。我们在下面提供了一个修匀方法的例子，并讨论了各种修匀和噪声建模方法。修匀通常需要选择一个突触模型。这些突触模型应被选择以匹配，如果一个要被执行，用在最终的动态仿真。

第三步包括用响应函数的静态版本来训练一个使用任何可用的训练方法的神经网络，得出神经连接权重(202)。训练方法不受限制(306)。在我们的例子中，我们专注于使用最先进技术的方法，包括卷积网络和降噪自动编码器。然而，任何训练ANNs的标准方法都可以被运用，包括监督，无监督，或强化学习。

利用这种方法，在步骤三中确定的连接权重，可以使用在一个动态实现的脉冲神经网络来计算训练的函数(310)。这包括运行的动态神经模型，其中，每个神经元被通过突触动态连接至其他神经元，突触动态由在ANN训练期间确定的连接权值所加权。如实施例中所示，这项步骤允许在脉冲网络中的原始任务上表现出良好的性能。

在此方法中，静态非线性的修匀可以利用公式4，一个分析光滑函数，或数字滤波(305)。当静态响应函数的导数是高的或无界的，这是有必要的。任何这些方法将允许一个近似值，将具有一个为采用标准的学习方法为目的的可用的导数(derivative)。修匀的应用可能会有所不同，这取决于训练进展如何(308-309)。在训练过程中，修匀的量可被减少，这样在转换动态相应函数时，更少的错误会被引入(309)。

在这种方法中，最初的耦合和连接权值可以以许多的方式进行确定，包括通过使用神经编译器，如神经工程框架的方法(NEF)。使用随机权值更普遍，随机权值也经常用在网络里。

在这种方法中，它是可能引入一个使用这种方法以初步确定微调的权重的自适应规则。在脉冲神经网络有各种各样的这样的工作规则，包括尖峰时间相关的可塑(STDP)规则，如规定的误差敏感性(PES)规则(参见T·贝克莱，在大规模脉冲神经网络中的学习，硕士，滑铁卢大学，2011年。(T.Bekolay,Learning in large scale spiking neuralnetworks,Masters,University of Waterloo,2011.))。这些规则可以应用在动态网络的仿真过程中的任何一点。

这种方法通常可以通过噪声训练进行增强，至少部分，导致脉冲神经网络引起的变化(301-302)。在我们的实施例中，我们证明了训练于神经元输出上的噪声，提高脉冲网络的性能。在这种情况下，我们的附加的高斯噪声是一脉冲网络将交会的变量的粗略的近似值。使用这些相同的方法，我们可以包括培训噪声，在脉冲网络中的变化的代表性，以适应在任何特定的输入电流的非高斯统计，和输入电流的变化的统计。

这种方法可以集成额外的非线性(如计算最大函数)或线性(如计算平均池化)于网络中。在我们的实施例中，证实了包括额外的线性。类似的方法也可以用来模拟非线性。通过将网络拓扑结构引入到脉冲神经元(例如，横向抑制)和模拟神经元组所提供的输入/输出映射上的拓扑结构的效果，使用近似值于任意函数(例如，最大分担)，广泛的静态输入到神经元的网络拓扑结构是一个例子。这种静态的输入/输出映射，可以用在标准静态网络的训练时，以近似计算。

举例

我们的实施例网络是基于Krizhevsky等的，其在CIFAR-10数据集上有11％的错误(许多该模型赢得了图像处理软件2012年大奖)。原来的网络包括五层：两个广义卷积层，随后两局部连接非卷积层，其次是一个完全连接的softmax分类器。一广义的卷积层由随后有一神经非线性的一组卷积权重，然后是一个池化层，最后一个本地响应标准化层。在本地连接的非卷积层也跟着一个神经非线性。在原有网络的情况下，非线性为一校正线性(ReLU)函数，并且池化层均进行重叠最大池化(overlapping max-pooling)。原来的网络代码和网络架构和训练的详细资料可以在此网址看到：https://code.google.com/p/cuda-convnet2/。

过去的作品总的而言还没有验证如何使静态网络转移到脉冲神经元。本发明的方法解决了这个问题。这些修改中的一些简化了网络拓扑结构，但主要的修改涉及匹配一个动态的神经元响应函数至一个静态的神经元响应函数，以允许有效的训练。在这个实施例中，我们从拓扑结构的变化开始，以简化被训练的网络。这些简化不是本发明的关键，并在这里仅用于演示。首先，我们删除的局部响应正常化层。这种计算可能需要某种类型的神经元之间的横向连接，但对于这个演示，我们将允许所产生的网络保持前馈。但是，所描述的方法也可用于递归网络。

第二，我们将池化层从最大池化(max pooling)改变为平均池化(averagepooling)。同样，计算最大池化可能需要神经元之间的横向连接。平均池化，另一方面，允许网络保持前馈，因为它是一个简单的加权总和。

虽然这里不进行验证，许多实施例可以通过将网络拓扑结构引入到脉冲神经元(例如，横向抑制)和模拟神经元组所提供的输入/输出映射上的拓扑结构的效果，生成一个任意函数(例如最大池化)的近似值，为广泛的静态输入到神经。这种静态的输入/输出映射，可以在标准的静态网络训练时，进一步使用以近似计算。

这里介绍的主要修改用LIF神经元(leaky integrate-and-fire neurons)代替标准无脉冲ReLU单元。此外我们讨论了训练噪声，因为它在获得优良结果的结果上起着重要作用。

我们的网络使用一个改良的LIF神经非线性而不是校正线性非线性。过去的作品把校正线性非线性保留于静态网络，并替代在动态网络中的脉冲IF神经元模型(参见Y·曹，Y·陈，以及D·客莎，脉冲深度卷积神经网络的节能目标识别，计算机视觉国际期刊，113期，第一版，5466面，2014年11月(Y.Cao,Y.Chen,and D.Khosla,Spiking DeepConvolutional Neural Networks for Energy-Efficient Object Recognition,International Journal of Computer Vision,vol.113,no.1,pp.5466,Nov.2014).以及P·U·迪尔，D尼尔，J·拜纳斯，M·库克，S-C·刘和M·费夫；通过权值和阈值平衡进行高准确度脉冲深度网络，IEEE神经网络的国际联合会议，2015年(P.U.Diehl,D.Neil,J.Binas,M.Cook,S.-C.Liu,and M.Pfeiffer,Fast-Classifying,High-Accuracy SpikingDeep Networks Through Weight and Threshold Balancing,in IEEE InternationalJoint Conference on Neural Networks(IJCNN),2015.))，因为IF(integrate-and-fire)神经元的静态放电曲线(static firing curve)是一条修正线(rectified line)。这种方法试图从具有网络上的效果移除神经元动态，而不是在训练过程中产生。通常，会选择非常高的发射率，有效地使动态模型和静态模型相同。

我们使用LIF神经元模型的动机是：a)它比IF神经元模型更加具有生物真实性，因为IF模型缺少绝对的和相对的间歇期，缺少饱和效应，缺少膜时间常数效应(membranetime constant effects)，并采用其他的简化，以及b)它表明替代模型可以用在这样的网络。LIF模型是一个典型的神经模型，并已经证明是一个复杂的电导模型的简化。更一般的，这里所应用的方法是可转换成其他任何脉冲神经模型的，且可用于为某些神经形态硬件支配的特异性神经类型以训练网络。包括动态响应函数是随时间变化的神经(如适应神经)，一旦可生成一个静态的近似值。我们提供一种示例的方法来生成这样一种LIF神经的近似值。我们展示的方法，以及动态响应的统计建模，回归拟合方法(regression fittingmethods)，分析简化或为动态系统产生静态解的其他方式都可以被采用。

LIF神经动态由以下公式给出：

其中，v(t)是膜电压，J(t)是输入电流，τRC为膜时间常数(membrane timeconstant)。当电压为Vth＝1时，神经射出一个脉冲(spike)，电压在τRC的间歇期时保持为0，一旦间歇期结束，神经元遵循方程1，直到另一个脉冲发生。

给定一个恒定输入电流J(t)＝j，我们可以解公式1的电压从0上升到1的时间，从而找到稳定状态的发射率(firing rate)。

从理论上讲，我们应该能够利用公式2作为静态非线性以训练深层神经网络，并且得到脉冲神经的网络的一个合理的近似值，假设脉冲网络有一个突触过滤器，足够修匀一脉冲序列以给放电率(firing rate)的一个好的近似值。LIF稳定状态放电率有个特别的问题，导数接近无穷：j趋近0+，当采用反向传播时(backpropagation)就会出现问题，为了解决这个，我们为LIF率公式增加了修匀。

公式2可以重新写为：

其中，ρ(x)＝max(x,0)。如果我们用一个更软性最大值(softer maximum)来替换这个硬性最大值(hard maximum)ρ1(x)＝log(1+e^x)，然后LIF神经失去硬阈值(hardthreshold)而且其导数变得有界，此外，我们可以用这个代替公式：

为了允许我们控制修匀量，ρ(x)→max(x,0)as→→0。图4表示的是此代替的结果，对比LIF和软性LIF响应函数(soft LIF response functions)。左面板显示自己的响应函数。LIF函数(400)有个硬性阈值在j＝Vth＝1；软性LIF函数(410)(soft LIF function)修匀这个阈值。右面板显示此响应函数的导数。硬性LIF函数(401)(hard LIF function)有个不连续且无界的导数于j＝1；软性LIF函数有个连续有界的导数(411)，使它适合于使用在反向传播，用于训练深度网络的最常见的方法。

训练噪声

在输入上用各种类型的噪声训练神经网络并不是一个新想法。但是，在脉冲网络的情况下，它的应用将被证明是重要的，因此被包含在我们的描述中，因为在这种情况下它是一种独特的应用。

过去，降噪自动编码器已经成功应用在数据集比如MNIST，学习具有比他们的无噪声的对应的更低的泛化误差的更强大的解决方案。

在脉冲神经网络中，在连接中(被称为后突触神经)接收脉冲的神经实际接收到每个脉冲的一个过滤版本。这个被过滤的脉冲被称为一个后突触电流(post-synapticcurrent)(或潜在)，以及信号的形状是由前突触神经(pre-synaptic neuron)的结合动态所确定的(如多少神经递质被释放)以及后突触神经(多少离子通道被神经递质被激活，以及它们如何影响到神经元的电流)。后突触电流动态(post-synaptic current dynamics)可以被相应的被表示为一个带有由一α-方程所给出的没冲相应的线性系统：

注意，但是，本文所描述的方法不依赖于有一个低阶的线性系统描述可用，如在此情况下。这些方法将对各种各样的高阶和非线性滤波器有效。

过滤的脉冲序列可以视为神经活动的一个估算。例如，如果神经有规律的在200Hz放电(firing)，滤波脉冲训练将导致在200赫兹左右的信号波动。我们可以视为这些神经输出为200Hz，在这个值周围有一些附加的“噪音”。由通过一些添加到每个神经元输出的随机噪声来训练我们的静态网络，以每次训练为例，我们可以模拟在通过突触后神经元接收到的信号上的使用脉冲的影响。

图5显示了过滤脉冲序列(spike trains)的变化如何取决于输入电流训练LIF神经的。在过滤后的脉冲序列与LIF神经元(τRC＝0.02，τref＝0.004)的输入电流为的变化的对比在这里可以看到。实线(500)表示过滤脉冲序列的方式(匹配公式2的解析率)，‘x’点(501)表示中位数，实误差线(503)表示第25和第75百分位数，以及虚误差线(502)表示最小值和最大值。脉冲序列是由一个τ_S＝0.003s的α-滤波(公式5)进行过滤。(注意，这和用在仿真中τ_S＝0.005s不同，是为了可以更好的显示变化。)

由于α-滤波器的脉冲响应有一个1的积分，滤波脉冲序列的平均值等于方程2的解析率。然而，滤波信号的统计数据在输入电流的范围内变化显著。在firing阈值上，分布偏向更高的放电率(即中位数低于平均值)，由于脉冲是不频发的，所以滤波信号有时间返回到在脉冲之间接近零。在较高的输入电流，另一方面，分布是倾斜对较低的放电率(即中位数高于平均值)。尽管如此，为了简便，我们使用了一个高斯分布以在训练过程中产生附加噪声。注意，但是，该噪声分布可以是其他形式，并对于所观察到的噪声将越有效越和分布形式相似。

对于τ_S＝0.005s的α-滤波器，在所有正序输入电流我们发现平均标准偏差约为σ＝10，。用于训练的最终稳定状态的软LIF的曲线由下公式给出：

where

转换到脉冲网络

最终，我们将训练的静态网络转换为一个动态脉冲网络。在脉冲网络中的参数(即权重和偏差)和静态网络的参数都是相同的。卷积运算也保持不变，因为卷积可以改写为简单的连接权值W_ij(突触)，在前突触神经元i和后突触神经元j之间。

同样，平均池化操作可以被写为一个简单的连接权值矩阵，这个矩阵可以乘以下面一层的卷积权值矩阵，以获得神经元之间的直接连接权值。为了计算效率，我们实际分别计算的卷积和池化。

对于该实施例，以上给出的方法是网络的唯一实际改变部分，当从静态网络变为动态网络时，是神经本身。最显著的变化是，我们用软LIF率模型(公式6)代替LIF脉冲模型(公式1)。我们也移去了用于训练的附加的高斯噪音。但是，从静态网络改变到动态网络有很多方法。一种是这里描述的利用相同的神经模型。另一种实施例可能用到一个不同的动态和静态的模型(即由不同神经模型生成的模型)，只要他们有足够的相似于计算所训练的函数。另一个实施例将是使用一个以上的动态神经来近似训练过程中使用的静态函数。

当生成的动态网络，后突触后滤波器也包括在这个实施例中，其在传输产生的电流至LIF神经元方程之前过滤传入的峰值。添加这些滤波器是没有必要的。如前所述，我们使用α-滤波器作为我们的突触模型，因为它具有强大的生物支持，并消除了由脉冲产生的高频变化的一个显着的部分。我们挑选的衰减时间常数τ_S＝5毫秒，大脑中的兴奋性AMPA受体的典型。

结果

我们在CIFAR-10数据集上测试了我们的网络。该数据集包括10类60000个32×32像素标记图片。我们利用第一组50000图像进行训练，后10000个作为测试，通过从训练图像中随机抽取24×24个补丁的数据集，然后从测试图像的中心补丁的测试以增广数据集。该方法论近似Krizhevsky等人的方法，除了他们还使用多是同测试，其中分类输出为分类器的平均数出，该分类区运行于每个测试图的9个随机不定上运行(提高了2％的准确率)。

表1显示了每一个修改对网络分类错误的影响。我们原来的静态网络基于krizhevsky等人的方法。达到14.63％的误差，这高于原始文件给出的11％，因为a)我们不使用多视点测试，和b)我们的训练时间更短(160训练步数比520训练步数)。

表1的1至5行表明，每个连续的改进以使网络适合运行于脉冲神经中会增加了1-2％误差。尽管事实上，噪声训练给静态网络增加了额外的误差，表6-8行表明，在脉冲网络中，虽然太多的噪音训练是不利的，但是训练噪音是值得的。具体地，虽然以σ＝20对比σ＝10训练减少了误差的引入，当转变为脉冲神经(1％对比2％)，以σ＝20对比σ＝10训练引入了额外的2.5％的误差至静态网络，使最终的脉冲网络变现更糟。考虑到时间因素，这些脉冲网络都运行在同一个测试数据的1000图像随机子集。表的最后两行表明，随着噪声的最优量噪声的网络(σ＝10)训练额外的训练步数(相对于160，共520)，并运行在整个测试集。我们的脉冲网络在全CIFAR-10测试集达到17.05％的误差，,是在这个数据集上脉冲网络的最好公开结果。

^a结果出自测试集的随机1000个图像子集。

表1连续修正CIFAR-10误差的效果。我们首先显示原始(非脉冲)基于krizhevsky等静态网络。修正第1-5行是累积的，每一个应用还包括以往过程。6-8行分别表示脉冲神经中正在运行的静态网络3-5的结果。第9行表示，实现脉冲的最佳结构，网络4，为额外训练步数的训练、第10行表示在脉冲神经中的高度训练。这是CIFAR-10上记录的最好的脉冲网络结果。

比较脉冲网络很难，因为其结果高度依赖所用神经的特性。例如，高放电率的神经，当被过滤时，将导致脉冲网络的行为和它们的静态对应网络几乎相同。使用较低的放电率的神经元，在他们的过滤脉冲序列里有更多的变化，导致更大噪声和更低准确率的动态网络。然而，我们发现它值得拿我们的结果与Cao等人的结果进行对比，Cao在CIFAR-10数据集上达到了22.57％的误差(据我们所知道的，在CIFAR-10上的发表记过的唯一的其他脉冲网络)。事实上，我们取得的较好的结果表明，LIF神经元脉冲网络可以被训练至最高水平的精确度，并且在训练以帮助提高精度的期间增加噪声。

大部分的脉冲深度网络已经在MNIST数据集上测试。MNIST数据集包括70000个标记的手写数位，其中60000用作训练，10000保存以进行测试。因为深度网络变得越来越强大，这个数据集正在过时，只是最近，脉冲网络在数据集上开始达到人类水平的准确水平。

^a他们的非卷积网络的最佳结果。

表2我们的网络和在MNIST上的脉冲网络的最好的公开结果进行对比。参见M·布拉德，W·瑟恩和S福斯，学习刺突触动态的真实刺激神经网络，神经网络，2007年19卷2881-2912面(M.Brader,W.Senn,and S.Fusi,Learning real-world stimuliinaneuralnetwork with spike-driven synaptic dynamics,Neural Computation,vol.19,pp.2881-2912,2007)和C·艾利斯密斯，T·C·丝特沃，X周，T·贝科利，T·德沃，C·唐，和D·拉斯姆森，大脑运作的大型模拟，科学，2012年十一月，第338卷6111期1202-1205(C.Eliasmith,T.C.Stewart,X.Choo,T.Bekolay,T.DeWolf,C.Tang,and D.Rasmussen,ALarge-Scale Model of the Functioning Brain,Science,vol.338,no.6111,pp.12021205,Nov.2012)和E·耐夫茨，S·达斯，B·佩德罗尼，K·科鲁兹-得噶多，和G·考温博，脉冲神经系统事件驱动的对比，神经科学边界，2013年第一卷272期(E.Neftci,S.Das,B.Pedroni,K.Kreutz-Delgado,and G.Cauwenberghs,Event-driven contrastivedivergence forspiking neuromorphic systems,Frontiers in Neuroscience,vol.7,no.272,2013)和P·O·科诺，D·尼尔，S-C刘，T·德巴克和M费夫，实时分类和传感器融合脉冲深度信度网络，神经科学边界，2013年1月第7券(P.OConnor,D.Neil,S.-C.Liu,T.Delbruck,and M.Pfeiffer,Real-time classification and sensor fusion with aspiking deep belief network,Frontiers in Neuroscience,vol.7,Jan.2013)和D·戈斌，O·彼勒，E·维尼勒，Q·拉费，C·贾拉特，L·佩妮拉，G·戈保多和B·德萨沃，基于OxRAM突触的脑回神经网络的图像识别应用的变化容错，国际电子设备会议，2014年(D.Garbin,O.Bichler,E.Vianello,Q.Rafhay,C.Gamrat,L.Perniola,G.Ghibaudo,andB.DeSalvo,Variability-tolerant convolutional neural network for patternrecognition applications based on OxRAM synapses,in IEEE InternationalElectron Devices Meeting(IEDM),2014,pp.28.4.128.4.4)我们的网络等同于国家的最先进的结果，表明最先进的脉冲网络可以进行LIF神经训练。

我们在MNIST数据集上训练了一个实施例。该网络利用了非卷积去噪自动编码器的逐层预训练(layer-wise pretraining)，像一个分类器进行叠加和训练。这个网络有两个隐藏层，各有500和200节点，并在非增强数据集上训练。尽管在本网络和用在CIFAR-10数据集的网络存在显著区别，但是网络均利用脉冲LIF神经并且用噪声训练以最小化由过滤脉冲序列引起的误差。表2显示了一个在我们的网络和已发表的在MNIST上的结果进行对比。我们的网络利用LIF神经表现极为优异，并且等同于IF神经元。这证明了最新型的网络可以使用LIF神经元进行训练。

这些实施例结果证明，本发明的所述方法允许我们使用更加生物化的精确的LIF(leaky integrate-and-fire)神经以训练深度卷积网络的神经元进行图像分类，相对于传统的rectified-linear或者sigmoid神经元。这样的网络可以运行在脉冲神经，并且噪音训练减少了在脉冲神经上运行时的误差量。

所述修匀神经响应函数的方法适用于除了LIF神经以外的神经种类。许多其他神经种类有非连续响应函数(如菲茨休-南云神经(FitzHugh-Nagumo))，并且我们的修匀方法允许这些神经用在深度卷积网络。我们发现，我们使用的LIF神经，对于修匀的量，从软性响应函数(soft response function)到硬性响应函数(hard response function)转变引入了很少的误差。但是，对于硬性非连续(harsh discontinuities)神经，需要更多修匀，可能会在训练过程中慢慢松弛训练的修匀，从而在训练的最后，修匀响应函数非常接近硬性响应函数(hard response function)。

我们的示例网络也证明，在神经输出上的噪音训练减少了当转移到神经网络时引入的误差。在神经输出上的噪音训练显著地提高了脉冲网络的表现(误差降低到3.4％)。这是因为，当过滤一个脉冲序列时，在神经输出的噪音刺激了脉冲序列遭遇的变化。在少量的训练噪音中有一个权衡，得到的动态网络不够强大以对抗脉冲的变化，并且太多噪音导致静态网络的准确性下降。因为由脉冲神经产生的变化不是高斯的(图5)，我们附加的高斯噪音是所述脉冲网络将会遭遇的变化的近似值。利用这些相同的方法，我们可以包括噪音训练，在脉冲网络中可看到噪音训练变化更加典型，以适应在任何特定的输入电流的非高斯统计，和输入电流之间的变化的统计。

我们的示例网络相比其他脉冲网络表现得更好，取得了在CIFAR-10上的脉冲网络的最好结果，并且对于在MNIST上的LIF神经脉冲网络的最好结果。

扩展到于此明确测试的类似的方法方法可以用以包括在脉冲网络中最大池化和局部对比正常化层(local contrast normalization layers)。计算这些在脉冲网络中的函数可以利用Eliasmith和Anderson所述的方法(参见C·艾莉丝密斯和C·H·安德森，神经工程：计算，再现，和动态神经科学，剑桥，MA：麻省理工学院，2003年(C.Eliasmith andC.H.Anderson,NeuralEngineering:Computation,Representation,and Dynamics inNeurobiological Systems.Cambridge,MA:MIT Press,2003))。网络也可以进行如此处描述的离网训练，然后利用一个脉冲时序相依可塑性(spike-timing-dependent plasticity(STDP))规则进行转网，比如规定误差敏感性(prescribed error sensitivity(PES))规则(参见T.Bekolay)，以进一步的帮助减少误差，涉及从基础率的网络转换至基于脉冲的网络，同时避免了在脉冲神经上从擦除开始训练一个网络的困难。

尽管本发明的实施方案已公开如上，但其并不仅仅限于说明书和实施方式中所列运用。在不背离权利要求及等同范围所限定的一般概念下，本发明并不限于特定的细节和这里示出与描述的图例。

Claims (7)

1.一种实现脉冲神经网络运算的计算机方法，其特征在于，包括：

定义一个显示脉冲的动态节点响应函数；其中，所述脉冲是瞬时非线性，将脉冲率表示一段时间的状态；

定义所述动态节点响应函数的静态表示，所述静态表示包括一直接从输入状态映射到输出状态的静态响应函数；

利用所述动态节点响应函数的所述静态表示训练一神经网络；

从利用所述动态节点响应函数的所述静态表示训练一神经网络的步骤中推导出神经网络连接权值，其中，推导出的所述神经网络连接权值用在动态实施的脉冲神经网络中，以计算通过运行一动态神经模型训练的函数；

其中，每一神经元通过训练期间确定的所述连接权值加权的突触动态连接至其他神经元；

在由多个非线性部件组成的系统上实现所述脉冲神经网络，所述非线性部件的各个输出组合在一起；

进一步包括平滑所述节点响应函数的静态表示中的任一静态非线性，使得所述动态节点响应函数用于训练具有反向传播的所述神经网络。

2.根据权利要求1所述的一种实现脉冲神经网络运算的计算机方法，其特征在于，所述连接权值是由神经编译器确定的。

3.根据权利要求1所述的一种实现脉冲神经网络运算的计算机方法，其特征在于，所述神经网络包括一条适应规则，用于优化初始确定的权值。

4.根据权利要求1所述的一种实现脉冲神经网络运算的计算机方法，其特征在于，使用所述静态节点响应函数输出的噪声对所述神经网络进行训练，调整所述噪声的分布以考虑用所述动态节点响应函数替代所述静态节点响应函数时引入的可变性。

5.根据权利要求1所述的一种实现脉冲神经网络运算的计算机方法，其特征在于，所述神经网络运算包括额外的非线性和/或线性。

6.一种用于脉冲神经网络中的模式分类，数据表达，或信号处理的系统，其特征在于，包括：一计算机处理器，对存储在一非瞬时的计算机可读介质中的计算机可读指令进行处理，所述非瞬时的计算机可读指令在由所述计算机处理器执行时执行权利要求1所述的方法；

一数据结构，存储在所述非瞬时的计算机可读介质中，并基于执行所述计算机可读指令的所述计算机处理器进行修改；所述数据结构包括：

一个或多个输入层，显示一维或更大维度的矢量；

一个或多个输出层，生成一表示显示于所述一个或多个输入层的数据的矢量；

一个或多个中间层，通过权重矩阵耦合至少一所述输入层，一中间层，以及所述输出层；

其中，

每层包括多个非线性部件，其中每个非线性部件用来生成一个脉冲；所述脉冲定义为一个在响应输入的时期内的瞬时输出，并且每层由至少一个加权耦合到所述层的输出；

每个非线性部件的输出用相应的加权耦合的连接权值进行加权，且所述加权输出提供给所述层的输出；所述多个非线性部件的输入在时间和空间上是离散或者连续的；

所述多个非线性部件的输入是一个标量或是一个多维向量。

7.根据权利要求6所述的一种用于脉冲神经网络中的模式分类，数据表达，或信号处理的系统，其特征在于，包括神经硬件或者软件。

Images