CN110738306A - 基于单指数核及脉冲阈值表面的高效多脉冲算法 - Google Patents
基于单指数核及脉冲阈值表面的高效多脉冲算法 Download PDFInfo
- Publication number
- CN110738306A CN110738306A CN201910845257.XA CN201910845257A CN110738306A CN 110738306 A CN110738306 A CN 110738306A CN 201910845257 A CN201910845257 A CN 201910845257A CN 110738306 A CN110738306 A CN 110738306A
- Authority
- CN
- China
- Prior art keywords
- pulse
- neuron
- kernel
- threshold
- sts
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 210000002569 neuron Anatomy 0.000 claims abstract description 67
- 230000006870 function Effects 0.000 claims abstract description 11
- 238000010586 diagram Methods 0.000 claims abstract description 7
- 239000012528 membrane Substances 0.000 claims description 17
- 230000000946 synaptic effect Effects 0.000 claims description 6
- 210000005215 presynaptic neuron Anatomy 0.000 claims description 5
- 230000004044 response Effects 0.000 claims description 5
- 230000000694 effects Effects 0.000 claims description 4
- 241000764238 Isis Species 0.000 claims description 3
- 210000003766 afferent neuron Anatomy 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 3
- 230000002844 continuous effect Effects 0.000 claims description 3
- 238000010304 firing Methods 0.000 claims description 2
- 230000003518 presynaptic effect Effects 0.000 claims 1
- 238000000034 method Methods 0.000 description 7
- 210000004556 brain Anatomy 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 3
- 238000009795 derivation Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000003930 cognitive ability Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000007786 learning performance Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000035479 physiological effects, processes and functions Effects 0.000 description 1
- 238000012421 spiking Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
本发明提出了一种基于单指数核及脉冲阈值表面的高效多脉冲学习算法，步骤为：初始化神经元模型参数；输入脉冲时空模式图；计算V(t)和STS函数；学习调整。本发明能够大幅度的提升神经元的信息整合和学习效率，同时提升了神经元的学习能力和特征提取能力。本发明可被应用于多种不同的脉冲编码机制，如基于时间或频率的编码。
Description
技术领域
本发明属于类脑计算、多脉冲学习算法领域，尤其是有关提高脉冲神经元模型的计算效率和学习性能的技术，具体涉及一种基于单指数核及脉冲阈值表面的高效多脉冲算法。
背景技术
人脑卓越的认知能力吸引了许多领域的关注，包括神经科学、生理学、计算机科学等等。基于对人脑的研究，研究工作者提出了许多学习算法，比如决策树、支持向量机、卷积神经网络等等。尽管这些技术取了很大的成功，但是不管在输入方式还是在运行机理上面，这些人工学习算法和人脑仍有本质的区别。
研究发现脉冲在人脑神经元传递信息方面起着至关重要的作用。不同的脉冲序列可以包含不同的信息。此外生物实验表明，当人脑处理外界的信息时，首先将外界的信息编码成一系列的脉冲时空图，再由神经元进行处理。因此，研究工作者提出了脉冲神经网络，由于结合了时间维度，与之前的模型相比脉冲神经网络更具有生物合理性，能更好的模拟人脑中信息处理的过程，同时具有更好的计算能力和信息表征能力。
但是，如何对输入的脉冲时间图进行有效的处理和学习，仍然是一个具有挑战性的问题。
发明内容
为了更加有效对输入的脉冲时空图进行处理和学习，本发明提出了一种基于单指数核及脉冲阈值表面的高效多脉冲学习算法，相比之前的算法，本发明能够大幅度的提升神经元的信息整合和学习效率，同时提升了神经元的学习能力和特征提取能力。本方法可被应用于多种不同的脉冲编码机制，如基于时间或频率的编码。
本发明的技术方案是基于单指数核及脉冲阈值表面的高效多脉冲算法，具体步骤如下：
(1)初始化神经元模型参数；
(2)输入脉冲时空模式图；
(3)计算V(t)和STS函数；
(4)学习调整；
(5)模型验证。
本发明中单指数核新型神经元模型如下：
N和wi表示突触前神经元的数目和相对应的神经元权重，
是第i个突触前神经元发放第j个脉冲的时间，
代表当前神经元第j个脉冲的发放时间；
θ表示神经元的阈值，当膜电位超过阈值时，神经元发射脉冲；
上式表明神经元对传入神经元的突触电流进行整合，此外神经元模型还包含了复位动态，当神经元发射脉冲后，会对自身的膜电位进行复位；
每一个传入突触电流都会对当前神经元的膜电位产生持续的影响，影响幅度由权重wi和核函数
决定，
是一个核函数，定义为：
在这里，τ表示膜电位的时间常数；
当神经元对输入进行整合，得到V(t)轨迹之后，使用本发明中的学习算法进行调整学习。
本发明中神经元对输入的响应通过脉冲阈值表面STS来表征；
STS定义一系列使神经元脉冲输出个数nout从k-1个变为k个的临界阈值
即
是满足ψ(θ)＝k的上界；
定义Vmax为临界值即当阈值θ>Vmax时，神经元的脉冲输出个数为零。
对STS定义之后，基于STS函数对神经元的权重进行学习。
本发明中对于一个给定的θ*，假定存在一个时刻t*，使得V(t*)＝θ*＝θ，带入公式(1)可以得到：
m表示t*时刻之前神经元总的脉冲输出个数；
由上式可求θ*对权重wi的导数
其中
j∈∈{1,2….,m}，因为或者V(t*)是局部最大值，或者t*时刻抑制输入的脉冲，此时的膜电位不依赖于权重wi，所以上式最后一项必为零；第一项可以直接求导得到，所以只需对第二项进行求解；
由于单指数核的特性，可以将
的第二项舍去，但是不会对结果造成影响；这是因为wi微小的变化不会影响
进而不会通过
而改变V(t*)的值；
由此，可以写成
从而可以得到基于单指数核及脉冲阈值表面的高效多脉冲学习算法，将其命名为EML；
通过公式(5)，就可以使用EML对神经元的权重进行调整学习；
假设no是当前神经元的实际脉冲输出个数，nd是想得到的脉冲发放个数，那么权重w的更新法则可以写成：
这里的
即是由公式(5)计算得到的，λ是学习步长。
有益效果
本发明能够更加有效对输入的脉冲时空图进行处理和学习，而且更加接近生物神经系统处理信息方式，相比之前的算法，本发明能够大幅度的提升神经元的信息整合和学习效率，同时提升了神经元的学习能力和特征提取能力，也为类脑芯片的实现及应用提供了一定的基础。同时，本发明可被广泛应用于多种不同的脉冲编码机制，如基于时间或频率的编码。
附图说明
图1.本发明中所使用的STS函数，描述了膜电位阈值与发放脉冲数目之间的关系。
图2.本发明与其它学习算法的运行时间对比，横轴为神经元的脉冲输出个数，纵轴为神经元输出脉冲个数为n_out时所需要的CPU学习时间。作图数据来自于100次实验的平均值。
图3.本发明与其它学习算法的准确率对比。子图A表示算法在不同程度的抖动噪声影响下的准确率。子图B表示算法在不同程度的脉冲丢失噪声影响下的准确率。作图数据来自于100次实验的平均值。
具体实施方式
下面结合附图对本发明的使用进行详细说明。
(1)初始化神经元模型参数
使用本发明需要首先对神经元模型的参数进行初始设定，包括膜电位的时间常数τ、神经元权重wi等等，之后才能进行后续计算操作。
(2)输入脉冲时空模式图
使用本发明需要提供脉冲时空模式图。在实际应用中，一般需要使用脉冲编码算法对源输入进行编码，之后才可以用本发明进行后续操作。
(3)计算V(t)和STS函数
根据公式(1)对输入电流进行整合，计算膜电位V(t)和STS。
(4)学习调整
由于神经元的响应V(t)由权重wi确定，如希望神经元对不同的输入有不同的输出响应，则需要EML对神经元的权重进行调整学习。
重复步骤(3)(4)，直到得到期望的脉冲发放数目。
(5)模型验证
为了验证本发明的高效性和正确性，本文首先将本发明与其它学习算法的运行时间进行了对比，如图2所示，实验结果表示本发明能对输入进行高效处理。
此外，本文还将本发明与其它学习算法的准确率进行了对比，如图3所示，实验结果表示本发明具有较强的鲁棒性和正确率。
由于带漏电的整合放电模型leakyintegrate-and-fire(LIF)的简单性和易处理性，使其成为最常用的脉冲神经元模型，故本发明基于其进行分析提出一种高效学习算法。本发明使用的单指数核新型神经元模型如下所示。
N和wi表示突触前神经元的数目和相对应的神经元权重，
是第i个突触前神经元发放第j个脉冲的时间，
代表当前神经元第j个脉冲的发放时间。θ表示神经元的阈值，当膜电位超过阈值时，神经元发射脉冲。上式表明神经元对传入神经元的突触电流进行整合，此外神经元模型还包含了复位动态，当神经元发射脉冲后，会对自身的膜电位进行复位。每一个传入突触电流都会对当前神经元的膜电位产生持续的影响，影响幅度由权重wi和核函数
决定。
是一个核函数，定义为：
在这里，τ表示膜电位的时间常数。
当神经元对输入进行整合，得到V(t)轨迹之后，即可以使用本发明中的学习算法进行调整学习。在其他条件不变的情况下，比如神经元权重和输入，神经元的脉冲响应个数可以由不同的阈值θ决定。比如，当使用较高的θ值时，神经元不会发射脉冲；而当逐渐减小阈值时，神经元的输出脉冲个数逐渐增加。因此，神经元对输入的响应可以通过脉冲阈值表面Spike-Threshold-Surface(STS)来表征。STS描述了神经元脉冲输出个数和阈值之间的关系，可以通过函数ψ将每一个阈值映射成脉冲输出个数(即nout＝ψ(θ))计算得到。STS定义一系列使神经元脉冲输出个数nout从k-1个变为k个的临界阈值
即
是满足ψ(θ)＝k的上界。定义Vmax为临界值
即当阈值θ>Vmax时，神经元的脉冲输出个数为零。
本发明对STS定义之后，基于STS函数对神经元的权重进行学习。在实际应用中，脉冲神经网络一般通过神经元的脉冲输出个数来对输入进行分类或者特征提取等任务，因为每一个临界值θ*对应着不同的输出值，所以可以通过θ*对权重wi求导来达到学习神经元权重的目的。对于一个给定的θ*，假定存一个时刻t*，使得V(t*)＝θ*＝θ，带入公式(1)可以得到
m表示t*时刻之前神经元总的脉冲输出个数。由上式可求θ*对权重wi的导数
其中
j∈∈{1,2….,m}，因为或者V(t*)是局部最大值，或者t*时刻抑制输入的脉冲，此时的膜电位不依赖于权重wi，所以上式最后一项必为零。第一项可以直接求导得到，所以只需对第二项进行求解。
由于单指数核的特性，可以将
的第二项舍去，但是不会对结果造成影响。这是因为wi微小的变化不会影响
进而不会通过而改变V(t*)的值。由此，可以写成
从而可以得到基于单指数核及脉冲阈值表面的高效多脉冲学习算法，将其命名为efficientmulti-spikelearning(EML)。通过公式(5)，就可以使用EML对神经元的权重进行调整学习。假设no是当前神经元的实际脉冲输出个数，nd是想得到的脉冲发放个数，那么权重w的更新法则可以写成：
这里的
即是由公式(5)计算得到的，λ是学习步长。
Claims (4)
1.基于单指数核及脉冲阈值表面的高效多脉冲算法，其特征在于，具体步骤如下：
(1)初始化神经元模型参数；
(2)输入脉冲时空模式图；
(3)计算V(t)和STS函数；
(4)学习调整；
(5)模型验证。
2.根据权利要求1所述的基于单指数核及脉冲阈值表面的高效多脉冲算法，其特征在于，单指数核新型神经元模型如下：
N和wi表示突触前神经元的数目和相对应的神经元权重，
是第i个突触前神经元发放第j个脉冲的时间，
代表当前神经元第j个脉冲的发放时间；
θ表示神经元的阈值，当膜电位超过阈值时，神经元发射脉冲；
上式表明神经元对传入神经元的突触电流进行整合，此外神经元模型还包含了复位动态，当神经元发射脉冲后，会对自身的膜电位进行复位；
每一个传入突触电流都会对当前神经元的膜电位产生持续的影响，影响幅度由权重wi和核函数
决定，
是一个核函数，定义为：
在这里，τ表示膜电位的时间常数；
当神经元对输入进行整合，得到V(t)轨迹之后，使用本发明中的学习算法进行调整学习。
3.根据权利要求1所述的基于单指数核及脉冲阈值表面的高效多脉冲算法，其特征在于，神经元对输入的响应通过脉冲阈值表面STS来表征；
STS定义一系列使神经元脉冲输出个数nout从k-1个变为k个的临界阈值
即
是满足ψ(θ)＝k的上界；
定义Vmax为临界值即当阈值θ＞Vmax时，神经元的脉冲输出个数为零。
对STS定义之后，基于STS函数对神经元的权重进行学习。
4.根据权利要求3所述的基于单指数核及脉冲阈值表面的高效多脉冲算法，其特征在于，对于一个给定的θ*，假定存在一个时刻t*，使得V(t*)＝θ*＝θ，带入公式(1)可以得到：
m表示t*时刻之前神经元总的脉冲输出个数；
由上式可求θ*对权重wi的导数
其中
因为或者V(t*)是局部最大值，或者t*时刻抑制输入的脉冲，此时的膜电位不依赖于权重wi，所以上式最后一项必为零；
第一项可以直接求导得到，所以只需对第二项进行求解；
由于单指数核的特性，可以将
的第二项舍去，但是不会对结果造成影响；这是因为wi微小的变化不会影响
进而不会通过
而改变V(t*)的值；
由此，
可以写成
从而可以得到基于单指数核及脉冲阈值表面的高效多脉冲学习算法，将其命名为EML；
通过公式(5)，就可以使用EML对神经元的权重进行调整学习；
假设no是当前神经元的实际脉冲输出个数，nd是想得到的脉冲发放个数，那么权重w的更新法则可以写成：
这里的
即是由公式(5)计算得到的，λ是学习步长。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910845257.XA CN110738306A (zh) | 2019-09-08 | 2019-09-08 | 基于单指数核及脉冲阈值表面的高效多脉冲算法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910845257.XA CN110738306A (zh) | 2019-09-08 | 2019-09-08 | 基于单指数核及脉冲阈值表面的高效多脉冲算法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110738306A true CN110738306A (zh) | 2020-01-31 |
Family
ID=69267530
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910845257.XA Pending CN110738306A (zh) | 2019-09-08 | 2019-09-08 | 基于单指数核及脉冲阈值表面的高效多脉冲算法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110738306A (zh) |
-
2019
- 2019-09-08 CN CN201910845257.XA patent/CN110738306A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102641116B1 (ko) | 데이터 증강에 기초한 인식 모델 트레이닝 방법 및 장치, 이미지 인식 방법 및 장치 | |
| Jin et al. | Hybrid macro/micro level backpropagation for training deep spiking neural networks | |
| US11651199B2 (en) | Method, apparatus and system to perform action recognition with a spiking neural network | |
| CN106796580B (zh) | 用于处理多个异步事件驱动的样本的方法、装置和介质 | |
| US11126913B2 (en) | Methods and systems for implementing deep spiking neural networks | |
| Lin et al. | Relative ordering learning in spiking neural network for pattern recognition | |
| Wang et al. | General-purpose LSM learning processor architecture and theoretically guided design space exploration | |
| Bagheri et al. | Training probabilistic spiking neural networks with first-to-spike decoding | |
| WO2015167765A2 (en) | Temporal spike encoding for temporal learning | |
| Fu et al. | An ensemble unsupervised spiking neural network for objective recognition | |
| WO2022012668A1 (zh) | 一种训练集处理方法和装置 | |
| CN110490248A (zh) | 一种电力电子变换器故障诊断方法、终端设备及存储介质 | |
| CN111310816B (zh) | 基于无监督匹配追踪编码的仿脑架构图像识别方法 | |
| Ahmed et al. | Computing with spiking neuron networks: a review | |
| Zheng et al. | Learning associative memories by error backpropagation | |
| Harikrishnan et al. | Handwritten digit recognition with feed-forward multi-layer perceptron and convolutional neural network architectures | |
| Hagenbuchner et al. | A fully recursive perceptron network architecture | |
| CN110991602A (zh) | 基于单指数核的事件驱动脉冲神经元仿真算法 | |
| Shrestha et al. | Adaptive delay learning in SpikeProp based on delay convergence analysis | |
| KR102191346B1 (ko) | 버스트 스파이크에 기반한 스파이킹 신경망 생성 방법 및 스파이킹 신경망 기반 추론 장치 | |
| CN110738306A (zh) | 基于单指数核及脉冲阈值表面的高效多脉冲算法 | |
| Wu et al. | C-ELM: A curious extreme learning machine for classification problems | |
| Gardner et al. | Supervised learning with first-to-spike decoding in multilayer spiking neural networks | |
| CN110717590A (zh) | 基于单指数核及神经膜电位状态的高效多脉冲算法 | |
| Guo et al. | Exploration of input patterns for enhancing the performance of liquid state machines |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20200131 |