CN112085198A - 基于全局反馈以及局部突触可塑的脉冲神经网络优化方法 - Google Patents

基于全局反馈以及局部突触可塑的脉冲神经网络优化方法 Download PDF

Info

Publication number
CN112085198A
CN112085198A CN202010992134.1A CN202010992134A CN112085198A CN 112085198 A CN112085198 A CN 112085198A CN 202010992134 A CN202010992134 A CN 202010992134A CN 112085198 A CN112085198 A CN 112085198A
Authority
CN
China
Prior art keywords
neural network
neuron
feedback
local
spiking neural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010992134.1A
Other languages
English (en)
Inventor
赵东城
曾毅
赵菲菲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Automation of Chinese Academy of Science
Original Assignee
Institute of Automation of Chinese Academy of Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Automation of Chinese Academy of Science filed Critical Institute of Automation of Chinese Academy of Science
Priority to CN202010992134.1A priority Critical patent/CN112085198A/zh
Publication of CN112085198A publication Critical patent/CN112085198A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出了一种基于全局反馈以及局部突触可塑的脉冲神经网络优化方法,所述脉冲神经网络的神经元采用LIF模型,所述脉冲神经网络优化方法包括以下步骤:S100,基于训练样本对所述脉冲神经网络进行训练,获取前馈过程中各神经元的状态Oi;S200,基于各神经元的状态Oi及训练样本中的输出目标,计算预测误差e;S300,基于反馈连接和所述预测误差e,计算各隐层的输出目标
Figure DDA0002691219480000011
S400,基于各神经元的状态Oi、各隐层的输出目标
Figure DDA0002691219480000012
依据局部突触可塑性法则更新所述脉冲神经网络中权重;S500,重复S100至S400,直至得到预设优化结束条件,得到所述脉冲神经网络优化后的网络模型。本发明可以提高脉冲神经网络的学习能力。

Description

基于全局反馈以及局部突触可塑的脉冲神经网络优化方法
技术领域
本发明属于类脑智能和人工智能领域,具体涉及一种基于全局反馈以及局部突触可塑的脉冲神经网络优化方法。
背景技术
深度神经网络在许多专业的领域都达到了突出的效果,比如说图片分类,目标跟踪,目标分割等,但是在效率以及准确性而言距离人脑还有着较大差距,因为人脑中的结构连接(比如说大脑皮层的长时程反馈回路)以及突触可塑性(基于相邻离散脉冲的可塑性法则)是几百万年来进化得来,这也导致了对于脉冲神经网络(SNN)的研究。脉冲神经网络中离散的脉冲响应以及高维的信息表示使得它更加类生物以及更加节能,但是由于不可微的特性,如何优化一个脉冲神经网络仍然是一个值得研究的问题。
Hebbian法则是第一个用来描述突触前后神经元之间的关系,如果两个神经元一起活动,则它们之间的连接会加强,然后脉冲时序依赖可塑性(STDP),长时程增强(LTP),长时程抑制(LTD),短时程振荡(STF)以及短时程以及(STD)都被逐步研究,但是,这些方法都是基于一个局部的优化法则,没有引入全局信息。
人脑中的学习以及推断过程如图1所示,是基于前馈连接以及反馈连接的交互形成。大量的解剖学以及生理学证据都说明了大脑中反馈连接的存在。人脑中大量的反馈连接以相反的方式将前馈连接串联起来,在感知推断的过程中将高级皮层的全局信息传输到初级皮层区域。来自高层的反馈连接携带着低级皮层的表征的预测,而前馈连接则计算出整个前馈阶段所有神经元的状态。因此,将全部反馈机制以及局部突触可塑性连接结合到一起来训练脉冲神经网络是一个迫切需要探索的问题。
目前已有的脉冲神经网络可以分为以下几个方面:
基于转换的方法:主要是将一个训练好的人工神经网络模型转换为脉冲神经网络模型,虽然说达到了较好的效果,但是都是基于训练的很好的人工神经网络,没有体现脉冲神经网络的特性。
基于反向传播训练的方法:主要是利用比如修改的ReLU激活函数,脉冲的数量,膜电势等使得脉冲神经网络可以利用反向传播算法训练,但是反向传播算法在人脑里实际上是不存在的;
基于STDP以及其他突触可塑性的方法,比如引入侧向抑制,基于平衡传播,但是基于平衡传播训练的脉冲神经网络在训练较深的网络时,很难收敛。
针对上述的问题,本发明基于全局的反馈连接以及局部的突触可塑性,构建了一个多层的脉冲神经网络模型,并在多个图像分类数据集上进行验证,结果表明,该发明可以提升脉冲神经网络的学习能力。
发明内容
为了解决现有技术中的上述问题,即为了解决现有脉冲神经网络学习能力不足的问题,本发明的第一方面,提出了一种基于全局反馈以及局部突触可塑的脉冲神经网络优化方法,其特征在于,所述脉冲神经网络的神经元采用LIF模型,所述脉冲神经网络优化方法包括以下步骤:
步骤S100,基于训练样本对所述脉冲神经网络进行训练,获取前馈过程中各神经元的状态Oi
步骤S200,基于各神经元的状态Oi及训练样本中的输出目标,计算预测误差e;
步骤S300,基于反馈连接和所述预测误差e,计算各隐层的输出目标
Figure BDA0002691219460000033
步骤S400,基于各神经元的状态Oi、各隐层的输出目标
Figure BDA0002691219460000034
依据局部突触可塑性法则更新所述脉冲神经网络中权重;
步骤S500,重复步骤S100至步骤S400,直至得到预设优化结束条件,得到所述脉冲神经网络优化后的网络模型。
在一些优选实施方式中,所述神经元的输出Oj(t+1)基于前馈函数Fi获得,
Figure BDA0002691219460000031
其中,Vi是神经元i的膜电势,VL是漏电压,gE是兴奋性电导,gL是漏电导,VE是从神经元i到神经元j的逆电势,
Figure BDA0002691219460000032
Cm是膜电容τE是兴奋性电导延迟,wj,i是神经元j到神经元i的权重,Vreset是静息电位,δi为输入脉冲,Vth为膜电势阈值,N为神经元的数量,τ是一个常数。
在一些优选实施方式中,所述脉冲神经网络中的反馈连接Gl
Gl=Bl*e+bl
其中,Bl为反馈连接权重,bl为反馈连接偏置,e为预测误差。
在一些优选实施方式中,所述预测误差e,其获取方法为
Figure BDA0002691219460000041
其中,loss为网络的损失函数,M为训练样本数量,
Figure BDA0002691219460000042
为第i个训练样本在所述脉冲神经网络最后一层的输出,ST为训练样本中的输出目标。
在一些优选实施方式中,各隐层的输出目标
Figure BDA0002691219460000043
其计算方法为:
倒数第二层隐层的输出目标
Figure BDA0002691219460000044
Figure BDA0002691219460000045
其中,SL-1为第L-1层的输出,ηt为目标学习率,
Figure BDA0002691219460000046
为最后一层与倒数第二层的网络权重;
第l层隐层的输出目标
Figure BDA0002691219460000047
Figure BDA0002691219460000048
其中,l<L-1,Sl为第l层的输出。
在一些优选实施方式中,ηt设置为0.5。
在一些优选实施方式中,步骤S400中“更新所述脉冲神经网络中权重”,其方法为:
W=W-ηwΔW
其中,W为网络的权重,ηw为权重的学习率,
Figure BDA0002691219460000049
在一些优选实施方式中,ηw设置为0.015。
本发明的第二方面,提出了一种存储装置,其中存储有多条程序,所述程序适于由处理器加载并执行以实现上述的基于全局反馈以及局部突触可塑的脉冲神经网络优化方法。
本发明的第三方面,提出了一种处理装置,包括处理器、存储装置;处理器,适于执行各条程序;存储装置,适于存储多条程序;所述程序适于由处理器加载并执行以实现上述的基于全局反馈以及局部突触可塑的脉冲神经网络优化方法。
本发明的有益效果:
本发明提出的全局反馈连接将全局误差引入到不同皮层中,为脉冲神经网络的训练提供了一种可行且高效的方式。与现有的脉冲神经网络相比,全局反馈与局部突触可塑性的结合,更具有生物可解释性,并且在多个数据集上都达到了较好的学习效果。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本申请的其它特征、目的和优点将会变得更明显:
图1是本发明一种实施例的基于全局反馈以及局部突触可塑的脉冲神经网络优化方法流程示意图;
图2是本发明一种实施例的基于全局反馈以及局部突触可塑的脉冲神经网络优化方法的计算框架示意图;
图3是本发明一种实施例在MNIST数据集上的计算结果示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释相关发明,而非对该发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与有关发明相关的部分。
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。
本发明的一种基于全局反馈以及局部突触可塑的脉冲神经网络优化方法,所述脉冲神经网络的神经元采用LIF模型,所述脉冲神经网络优化方法如图1所示包括以下步骤:
步骤S100,基于训练样本对所述脉冲神经网络进行训练,获取前馈过程中各神经元的状态Oi
步骤S200,基于各神经元的状态Oi及训练样本中的输出目标,计算预测误差e;
步骤S300,基于反馈连接和所述预测误差e,计算各隐层的输出目标
Figure BDA0002691219460000061
步骤S400,基于各神经元的状态Oi、各隐层的输出目标
Figure BDA0002691219460000062
依据局部突触可塑性法则更新所述脉冲神经网络中权重;
步骤S500,重复步骤S100至步骤S400,直至得到预设优化结束条件,得到所述脉冲神经网络优化后的网络模型。
为了更清晰地对本发明基于全局反馈以及局部突触可塑的脉冲神经网络优化方法进行说明,下面结合图1、图2对本方发明方法一种实施例中各步骤进行展开详述。
本发明实施例中,脉冲神经网络的神经元采用漏电积分发放(LIF)模型。在优化之前,需要对网络进行初始化:初始化一个L层的网络,初始化前馈连接Fi,反馈连接Gi,模拟时间间隔dt,模拟总时长T,初始化脉冲神经元。
(1)初始化神经元及其前馈过程Fi
本实施例使用的是漏电积分发放(LIF)模型:
Figure BDA0002691219460000071
其中,Cm为膜电容,Rm为膜电阻。
为了简化表示,使用V表示神经元电压V(t)、I表示神经元电流I(t)、gL和VL表示漏电导和漏电压。在更加真实的突触模型中,输入电流I是由突触前脉冲神经元的电导变化引起的,兴奋性电导gE随着输入脉冲δj非线性提升。当膜电势达到阈值Vth的时候,突触前神经元会产生一个脉冲,且电压被重置为Vreset。令
Figure BDA0002691219460000072
τE为兴奋性神经元的电导衰减。则可以得到以下公式:
Figure BDA0002691219460000073
其中,Vi为神经元i的膜电势,VE为从神经元i到神经元j的逆电势,gE为兴奋性电导,wj,i为神经元j到神经元i的权重,N为神经元的数量。
对于一个深度脉冲神经网络,如果仅用脉冲来传递信息,会使得网络很难收敛,为了解决该问题,现有的解决方法有的是是引入脉冲迹,有的是引入电压来调整,受残差神经网络的启发,利用x+f(x)传递信息,于是本发明考虑到除了LIF神经元发送的脉冲蕴含丰富的信息,LIF神经元的输入也包含着很多的信息,则神经元的最终输出表示为Oj(t+1)于是整个前馈的过程Fi可以写为:
Figure BDA0002691219460000081
其中,Vi是神经元i的膜电势,VL是漏电压,gE是兴奋性电导,gL是漏电导,VE是从神经元i到神经元j的逆电势,
Figure BDA0002691219460000082
Cm是膜电容τE是兴奋性电导延迟,wj,i是神经元j到神经元i的权重,Vreset是静息电位,δi为输入脉冲,Vth为膜电势阈值,N为神经元的数量。τ是一个常数,来控制输入和输出结合的比例这里设置为0.01。同时对于其他的参数分别设置为:VE=0.2,VL=0,Vth=0.0009,Vreset=0,τm=0.5,τE=0.2,gL=20,模拟时长T设置为0.1,模拟时间间隔dt设置为0.01。
(2)初始化反馈连接Gl
反馈连接Gl是关于预测误差e的函数,表示如下
Gl(e)=Bl*e+bl
其中,Bl为反馈连接权重,bl为反馈连接偏置,e为预测误差。
基于上述的初始化状态,对本实施例的脉冲神经网络进行优化学习。
步骤S100,在时间T内,基于训练样本对所述脉冲神经网络进行训练,获取前馈过程中各神经元的状态Oi
Oi=Fi(Oi-1)
步骤S200,基于各神经元的状态Oi及训练样本中的输出目标,计算预测误差e。
Figure BDA0002691219460000091
其中,loss为网络的损失函数,M为训练样本数量,
Figure BDA0002691219460000092
为第i个训练样本在所述脉冲神经网络最后一层的输出,ST为训练样本中的输出目标。e是由loss求导得到
步骤S300,基于反馈连接和所述预测误差e,计算各隐层的输出目标
Figure BDA0002691219460000093
各隐层的输出目标
Figure BDA0002691219460000094
(图2中的隐层目标),其计算方法为:
倒数第二层隐层的输出目标
Figure BDA0002691219460000095
Figure BDA0002691219460000096
其中,SL-1为第L-1层的输出,ηt为目标学习率,
Figure BDA0002691219460000097
为最后一层与倒数第二层的网络权重;
第l层隐层的输出目标
Figure BDA0002691219460000098
Figure BDA0002691219460000099
其中,l<L-1,Sl为第l层的输出。
本实施例中优选的ηt设置为0.5。
步骤S400,基于各神经元的状态Oi、各隐层的输出目标
Figure BDA00026912194600000910
依据局部突触可塑性法则更新所述脉冲神经网络中权重。
Figure BDA00026912194600000911
W=W-ηwΔW
其中,W为网络的权重,ηw为权重的学习率,优选的ηw设置为0.015。公式中的网络权重采用赋值的方式基于原权重进行调整后得到新权重,此处公式中的等号程序中的赋值符号,而非数学运算中的计算符号。
步骤S500,重复步骤S100至步骤S400,直至得到预设优化结束条件,得到所述脉冲神经网络优化后的网络模型。
本实施例中预设优化结束条件为设定的最大迭代次数,到达最大迭代次数则停止学习。
本实施例在MNIST数据集上进行验证,结果如图3所示,在MNIST数据集上,当隐层神经元数量为800,三层隐层时准确率达到最优的性能为98.62%。本实施进一步在FashionMNIST数据集上进行验证,在FashionMNSIT上当隐层神经元数目为200,五层隐层时达到最优的性能为89.05%。
本发明第二实施例的一种存储装置,其中存储有多条程序,所述程序适于由处理器加载并执行以实现上述的基于全局反馈以及局部突触可塑的脉冲神经网络优化方法。
本发明第三实施例的一种处理装置,包括处理器、存储装置;处理器,适于执行各条程序;存储装置,适于存储多条程序;所述程序适于由处理器加载并执行以实现上述的基于全局反馈以及局部突触可塑的脉冲神经网络优化方法。
所属技术领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的存储装置、处理装置的具体工作过程及有关说明,可以参考前述方法实施例中的对应过程,在此不再赘述。
特别地,根据本公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分从网络上被下载和安装,和/或从可拆卸介质被安装。在该计算机程序被中央处理单元(CPU)执行时,执行本申请的方法中限定的上述功能。需要说明的是,本申请上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码,上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图,图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素,而且还包括没有明确列出的其它要素,或者还包括这些过程、方法、物品或者设备/装置所固有的要素。
至此,已经结合附图所示的优选实施方式描述了本发明的技术方案,但是,本领域技术人员容易理解的是,本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下,本领域技术人员可以对相关技术特征作出等同的更改或替换,这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (10)

1.一种基于全局反馈以及局部突触可塑的脉冲神经网络优化方法,其特征在于,所述脉冲神经网络的神经元采用LIF模型,所述脉冲神经网络优化方法包括以下步骤:
步骤S100,基于训练样本对所述脉冲神经网络进行训练,获取前馈过程中各神经元的状态Oi
步骤S200,基于各神经元的状态Oi及训练样本中的输出目标,计算预测误差e;
步骤S300,基于反馈连接和所述预测误差e,计算各隐层的输出目标
Figure FDA0002691219450000012
步骤S400,基于各神经元的状态Oi、各隐层的输出目标
Figure FDA0002691219450000013
依据局部突触可塑性法则更新所述脉冲神经网络中权重;
步骤S500,重复步骤S100至步骤S400,直至得到预设优化结束条件,得到所述脉冲神经网络优化后的网络模型。
2.根据权利要求1所述的基于全局反馈以及局部突触可塑的脉冲神经网络优化方法,其特征在于,所述神经元的输出Oj(t+1)基于前馈函数Fi获得,
Figure FDA0002691219450000011
其中,Vi是神经元i的膜电势,VL是漏电压,gE是兴奋性电导,gL是漏电导,VE是从神经元i到神经元j的逆电势,
Figure FDA0002691219450000021
Cm是膜电容,τE是兴奋性电导延迟,wj,i是神经元j到神经元i的权重,Vreset是静息电位,δi为输入脉冲,Vth为膜电势阈值,τ为是一个常数,N为神经元的数量。
3.根据权利要求2所述的基于全局反馈以及局部突触可塑的脉冲神经网络优化方法,其特征在于,所述脉冲神经网络中的反馈连接Gl
Gl=Bl*e+bl
其中,Bl为反馈连接权重,bl为反馈连接偏置,e为预测误差。
4.根据权利要求1所述的基于全局反馈以及局部突触可塑的脉冲神经网络优化方法,其特征在于,所述预测误差e,其获取方法为
Figure FDA0002691219450000022
其中,loss为网络的损失函数,M为训练样本的数量,Sout为最所述脉冲神经网络后一层的输出,ST为训练样本中的输出目标。
5.根据权利要求3所述的基于全局反馈以及局部突触可塑的脉冲神经网络优化方法,其特征在于,各隐层的输出目标
Figure FDA0002691219450000023
其计算方法为:
倒数第二层隐层的输出目标
Figure FDA0002691219450000024
Figure FDA0002691219450000025
其中,SL-1为第L-1层的输出,ηt为目标学习率,
Figure FDA0002691219450000026
为最后一层与倒数第二层的网络权重;
第l层隐层的输出目标
Figure FDA0002691219450000027
Figure FDA0002691219450000028
其中,l<L-1,Sl为第l层的输出。
6.根据权利要求5所述的基于全局反馈以及局部突触可塑的脉冲神经网络优化方法,其特征在于,ηt设置为0.5。
7.根据权利要求5所述的基于全局反馈以及局部突触可塑的脉冲神经网络优化方法,其特征在于,步骤S400中“更新所述脉冲神经网络中权重”,其更新方法为:
W=W-ηwΔW
其中,W为网络的权重,ηw为权重的学习率,
Figure FDA0002691219450000031
8.根据权利要求7所述的基于全局反馈以及局部突触可塑的脉冲神经网络优化方法,其特征在于,ηw设置为0.015。
9.一种存储装置,其中存储有多条程序,其特征在于,所述程序适于由处理器加载并执行以实现权利要求1-8任一项所述的基于全局反馈以及局部突触可塑的脉冲神经网络优化方法。
10.一种处理装置,包括处理器、存储装置;处理器,适于执行各条程序;存储装置,适于存储多条程序;其特征在于,所述程序适于由处理器加载并执行以实现权利要求1-8任一项所述的基于全局反馈以及局部突触可塑的脉冲神经网络优化方法。
CN202010992134.1A 2020-09-21 2020-09-21 基于全局反馈以及局部突触可塑的脉冲神经网络优化方法 Pending CN112085198A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010992134.1A CN112085198A (zh) 2020-09-21 2020-09-21 基于全局反馈以及局部突触可塑的脉冲神经网络优化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010992134.1A CN112085198A (zh) 2020-09-21 2020-09-21 基于全局反馈以及局部突触可塑的脉冲神经网络优化方法

Publications (1)

Publication Number Publication Date
CN112085198A true CN112085198A (zh) 2020-12-15

Family

ID=73738543

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010992134.1A Pending CN112085198A (zh) 2020-09-21 2020-09-21 基于全局反馈以及局部突触可塑的脉冲神经网络优化方法

Country Status (1)

Country Link
CN (1) CN112085198A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112819142A (zh) * 2021-02-04 2021-05-18 成都市深思创芯科技有限公司 一种短时突触可塑性工作记忆计算系统及方法
CN113269113A (zh) * 2021-06-04 2021-08-17 北京灵汐科技有限公司 人体行为识别方法、电子设备和计算机可读介质
CN113269313A (zh) * 2021-06-04 2021-08-17 北京灵汐科技有限公司 突触权重训练方法、电子设备和计算机可读介质
CN113537455A (zh) * 2021-06-04 2021-10-22 清华大学 突触权重训练方法、电子设备和计算机可读介质
WO2022253229A1 (zh) * 2021-06-04 2022-12-08 北京灵汐科技有限公司 突触权重训练方法、目标识别方法及电子设备、介质

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112819142A (zh) * 2021-02-04 2021-05-18 成都市深思创芯科技有限公司 一种短时突触可塑性工作记忆计算系统及方法
CN112819142B (zh) * 2021-02-04 2024-01-19 成都市深思创芯科技有限公司 一种短时突触可塑性工作记忆计算系统及方法
CN113269113A (zh) * 2021-06-04 2021-08-17 北京灵汐科技有限公司 人体行为识别方法、电子设备和计算机可读介质
CN113269313A (zh) * 2021-06-04 2021-08-17 北京灵汐科技有限公司 突触权重训练方法、电子设备和计算机可读介质
CN113537455A (zh) * 2021-06-04 2021-10-22 清华大学 突触权重训练方法、电子设备和计算机可读介质
WO2022253229A1 (zh) * 2021-06-04 2022-12-08 北京灵汐科技有限公司 突触权重训练方法、目标识别方法及电子设备、介质
US11954579B2 (en) 2021-06-04 2024-04-09 Lynxi Technologies Co., Ltd. Synaptic weight training method, target identification method, electronic device and medium
CN113537455B (zh) * 2021-06-04 2024-04-12 清华大学 突触权重训练方法、电子设备和计算机可读介质
CN113269113B (zh) * 2021-06-04 2024-04-30 北京灵汐科技有限公司 人体行为识别方法、电子设备和计算机可读介质
CN113269313B (zh) * 2021-06-04 2024-05-10 北京灵汐科技有限公司 突触权重训练方法、电子设备和计算机可读介质

Similar Documents

Publication Publication Date Title
CN112085198A (zh) 基于全局反馈以及局部突触可塑的脉冲神经网络优化方法
Alaloul et al. Data processing using artificial neural networks
KR101700140B1 (ko) 스파이킹 뉴럴 연산을 위한 방법들 및 장치
KR102492318B1 (ko) 모델 학습 방법 및 장치, 및 데이터 인식 방법
EP3143563B1 (en) Distributed model learning
EP3143560B1 (en) Update of classifier over common features
Marhon et al. Recurrent neural networks
JP6272784B2 (ja) スパイキングニューラル計算のための方法および装置
JP2017525038A (ja) ニューラルネットワークにおける畳込み演算の分解
KR20200045128A (ko) 모델 학습 방법 및 장치, 및 데이터 인식 방법
US20130204814A1 (en) Methods and apparatus for spiking neural computation
JP6092477B2 (ja) ニューラルダイナミクスを修正するための自動化された方法
WO2015148189A2 (en) Differential encoding in neural networks
TW201602807A (zh) Cold神經元尖峰時序反向傳播
US9652711B2 (en) Analog signal reconstruction and recognition via sub-threshold modulation
WO2020196066A1 (ja) ニューラルネットワークの学習方法、ニューラルネットワークの生成方法、学習済装置、携帯端末装置、学習処理装置及びコンピュータプログラム
CN112437929A (zh) 带泄漏尖峰神经网络中的时间编码
Dao Image classification using convolutional neural networks
US11526735B2 (en) Neuromorphic neuron apparatus for artificial neural networks
Lacko From perceptrons to deep neural networks
Vaila et al. Spiking CNNs with PYNN and NEURON
Zhang High-Performance Training Algorithms and Architectural Optimization of Spiking Neural Networks
Jeyasothy et al. Supervised learning using spiking neural networks
Hamian et al. A Novel Training Approach in Deep Spiking Neural Network Based on Fuzzy Weighting and Meta-heuristic Algorithm
Desai et al. A deep dive into deep learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20201215