CN111046865A - 基于膜电压驱动的spiking神经元监督学习模型的光学字符识别方法 - Google Patents
基于膜电压驱动的spiking神经元监督学习模型的光学字符识别方法 Download PDFInfo
- Publication number
- CN111046865A CN111046865A CN201911289020.4A CN201911289020A CN111046865A CN 111046865 A CN111046865 A CN 111046865A CN 201911289020 A CN201911289020 A CN 201911289020A CN 111046865 A CN111046865 A CN 111046865A
- Authority
- CN
- China
- Prior art keywords
- learning model
- neuron
- supervised learning
- optical character
- membrane voltage
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Abstract
本发明公开了一种基于膜电压驱动的spiking神经元监督学习模型的光学字符识别方法,该方法包括获取光学字符样本集,采用相位编码方法将采用相位编码方法脉冲序列,建立基于膜电压驱动的spiking神经元监督学习模型并进行训练,利用训练后的spiking神经元监督学习模型对待检测光学字符进行识别。本发明通过采用相位编码方法将采用相位编码方法脉冲序列,建立基于膜电压驱动的spiking神经元监督学习模型并进行训练,利用训练后的spiking神经元监督学习模型对待检测光学字符进行识别,显著提高了spiking神经元序列学习的效率,进一步提高了光学字符识别的效率和准确率。
Description
技术领域
本发明属于光学字符识别技术领域,具体涉及一种基于膜电压驱动的spiking神经元监督学习模型的光学字符识别方法。
背景技术
Spiking神经网络已经被广泛地用于解决分类问题。多数情况下,基于spiking神经网络计算模型的最终决策是基于单脉冲的激发时间或激发频率,而基于spiking神经网络激发脉冲序列相似度的分类却很少。
传统基于频率编码的神经网络假定生物神经元通过频率编码感知信息。但是,基于频率的编码不能有效地解释视觉,听觉和味觉的快速响应。在大脑的不同区域相继发现基于spike时间的神经活动,包括视网膜,外侧膝状核和视觉皮层。越来越多的研究人员相信生物神经系统的信息编码是通过精确的spike激发时间。为了模拟spike时间编码的特征,spiking神经网络作为“第三代神经网络”应运而生。理论证明基于时间编码的spiking神经元比传统基于频率编码的神经网络具有更加强大的计算能力。但是目前基于spiking神经元的应用还比较简单,其强大的时序信息处理能力并未得到有效利用,其中一个重要的原因是缺少一个高效,快速的学习算法来解决该问题。研究人员已经提出了许多针对Spiking神经网络的学习算法。
相比于无监督学习,spiking神经网络的监督学习算法目前有更多的研究成果。按照学习的机制可以分为脉冲驱动(spike-driven)和膜电压驱动(membrane potential-driven)两种方式。脉冲驱动学习算法是基于脉冲的目标激发时刻和实际激发时刻来调整权重,而膜电压驱动学习算法则以神经元在不同时刻的膜电压为信号进行权重调整。
脉冲驱动(spike-driven)的spiking神经元序列学习算法用目标激发时刻和实际激发时刻为信号去调整神经元的突触权重。SpikeProp是脉冲驱动的学习算法中最典型的一个。SpikeProp利用脉冲的目标激发时刻和实际激发时刻的差异作为误差函数,通过对spike激发函数进行合理的近似,进而将传统神经网络的BP(back-propagation)学习算法应用到spiking神经网络。实验证明该算法可以处理一些简单的分类任务,但是该算法要求spiking神经网络中的每个神经元必须且只能激发一个脉冲。如果网络中有神经元激发多次或不激发脉冲,那么该算法的训练效果会受很大影响,这是该算法的主要缺点。为了解决该问题,许多研究人员提出改进的方案,但是效果都欠佳。ReSuMe(RemoteSupervisedMethod)是另一种基于脉冲驱动的学习算法,该算法的学习过程包括两个部分:1)神经元在运行的过程中,如果当前时间是目标激发时刻点,那么就依据STDP(Spike-Timing-Dependent Plasticity)规则和输入脉冲来增强突触之间的强度;2)神经元在运行的过程中,如果当前时间是实际激发时刻点,那么就依据anti-STDP规则和输入脉冲来减弱突触之间的强度。但是ReSuMe的学习规则不符合BPBA(Bigger PSPs,Bigger Adjustment)原则,因此它的学习准确率和效率有待提高。为了提高ReSuMe的学习效率,DL-ReSuMe(Delay LearningReSuMe)及相关算法在ReSuMe的权重调整基础上加入了突触延迟调整策略。实验结果表明该延迟机制对ReSuMe学习算法的性能有所提高,但是DLReSuMe算法中的延迟调整策略仍然过于简单。特别的DL-ReSuMe算法中的延迟只能增加不能减弱,且每个神经突触的延迟只能调整一次。SPAN(Spike PatternAssociation Neuron)和Chronotron学习算法也是脉冲驱动学习算法的一种,它们先把离散的实际脉冲序列和离散的目标脉冲序列变成连续信号,然后基于连续时间代价函数去最小化实际输出与目标输出之间的差距。上述脉冲驱动的学习算法是用实际激发spike时刻和目标激发spike的时刻为信号来指导权重的调整。然而事实上,spiking神经元的突触权重是先影响膜电压,进而影响spiking神经元脉冲激发时刻。因此,通过脉冲激发时刻对权重的调整是间接的,不可避免地造成学习难度增加,学习的效率和准确率下降。
发明内容
针对现有技术中的上述不足,本发明提供了一种基于膜电压驱动的spiking神经元监督学习模型的光学字符识别方法,以期提高spiking神经元序列学习算法的效率和准确率,实现对光学字符的高效识别。
为了达到上述发明目的,本发明采用的技术方案为:
一种基于膜电压驱动的spiking神经元监督学习模型的光学字符识别方法,包括以下步骤:
S1、获取光学字符样本集;
S2、采用相位编码方法将步骤S1中的光学字符样本编码成具有时空信息的脉冲序列;
S3、建立基于膜电压驱动的spiking神经元监督学习模型,利用步骤S2得到的脉冲序列对spiking神经元监督学习模型进行训练;
S4、利用步骤S3训练后的spiking神经元监督学习模型对待检测光学字符进行识别。
进一步地,所述步骤S2中,相位编码方法具体为:
每一个编码单元包括一个正向激励神经元和一个负向激励神经元以及一个输出神经元;每一个编码单元对应一个像素点和一个波动函数SMO;第i个像素点对应的SMOi定义如下:
进一步地,所述步骤S3中,基于膜电压驱动的spiking神经元监督学习模型包括两个学习过程:在目标激发时刻,调整突触的权重,使得膜电压可以达到激发阈值;在其它时刻,调整突触权重,使得膜电压低于激发阈值。
进一步地,所述基于膜电压驱动的spiking神经元监督学习模型在目标激发时刻的误差函数表示为:
其中θ和ui(t)分别表示激发脉冲阈值和神经元的膜电压,td表示目标激发时刻;
权重更新公式表示为:
进一步地,所述基于膜电压驱动的spiking神经元监督学习模型在其它时刻的误差函数表示为:
其中,p是影响权重调整幅度的参数,Ntd表示其它时刻;
权重更新公式表示为:
其中,β2是控制权重调整大小的学习率。
进一步地,所述步骤S3中,利用步骤S2得到的脉冲序列对spiking神经元监督学习模型进行训练具体为:
根据步骤S2得到的不同类别的脉冲序列设置对应数量的脉冲神经元,其中每一个神经元对应一个类别,输入脉冲序列到spiking神经元监督学习模型中,通过学习使其对应的神经元激发一个目标脉冲序列,同时训练其他的神经元保持静默状态。
进一步地,所述步骤S4利用步骤S3训练后的spiking神经元监督学习模型对待检测光学字符进行识别具体为:
将待检测光学字符编码后的脉冲序列输入到步骤S3训练后的spiking神经元监督学习模型中,并采用相对置信度方法根据激发的最接近目标序列的神经元判断脉冲序列对应待检测光学字符的类别,完成待检测光学字符识别。
本发明具有以下有益效果:本发明通过采用相位编码方法将采用相位编码方法脉冲序列,建立基于膜电压驱动的spiking神经元监督学习模型并进行训练,利用训练后的spiking神经元监督学习模型对待检测光学字符进行识别,显著提高了spiking神经元序列学习的效率,进一步提高了光学字符识别的效率和准确率。
附图说明
图1是本发明的基于膜电压驱动的spiking神经元监督学习模型的光学字符识别方法流程示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
如图1所示,本发明实施例提供了一种基于膜电压驱动的spiking神经元监督学习模型的光学字符识别方法,包括以下步骤S1至S4:
S1、获取光学字符样本集;
在本实施例中,本发明总共获取包括0-9十个数字图片,每张图片的大小是20×20黑/白像素。
S2、采用相位编码方法将步骤S1中的光学字符样本编码成具有时空信息的脉冲序列;
在本实施例中,本发明采用的相位编码方法具体为:
每一个编码单元包括一个正向激励神经元(Pos)和一个负向激励神经元(Neg)以及一个输出神经元;每一个编码单元对应一个像素点和一个波动函数SMO;第i个像素点对应的SMOi定义如下:
Pos和Neg神经元分别只对正向激励和负向激励响应。Pos和Neg神经元对应的像素点会引起各自的SMO波动函数下降和上升。Pos或者Neg的神经元会激发一个脉冲当SMO波动函数在移动的过程中达到各自的激发阈值(Posthr和Negthr)。无论是Pos或者Neg的神经元激发脉冲都会导致out神经元立马激发脉冲。
通过上述相位编码方法,可以将步骤S1中的静态的图片编码成具有时空信息的脉冲序列。
S3、建立基于膜电压驱动的spiking神经元监督学习模型,利用步骤S2得到的脉冲序列对spiking神经元监督学习模型进行训练;
在本实施例中,本发明采用SRM神经元模型,在SRM模型中,神经元i的膜电压是用ui(t)来表示的。当没有脉冲输入的时候,神经元的膜电压处于静息电位urest=0。当有输入脉冲传递到神经元i时,在其内部就会产生相应的PSP来改变膜电压。随着时间的积累和连续的spike到达,如果膜电压的值达到激发阈值,那么神经元i就会激发一个脉冲,并启动不应期函数。具体而言,神经元i的膜电压变化过程,可以表示成
其中τR是影响不应期函数持续的时间。
Spiking神经网络序列学习的目标是通过调整突触权重的大小使spiking神经元在目标时刻激发脉冲,同时在其他时刻保持沉默。因此,神经元的运行时间可以分为目标激发时间td(td={td(1),td(2),...,td(i),...})和其他时间Ntd。基于这两种时间分类,MemPo-Learn包括两个学习过程:1)在td时刻,调整突触的权重,使得膜电压可以达到激发阈值;2)在Ntd时刻,调整突触权重,使得膜电压低于激发阈值。
在目标激发脉冲时刻,为了激发脉冲,神经元的膜电压应该大于或等于激发阈值。MemPo-Learn通过利用梯度下降方法调整权重,使得膜电压ui(t)在目标时刻增加直至不低于激发阈值。在td时刻,构建误差函数如下
其中θ和ui(t)分别表示激发脉冲阈值和神经元的膜电压。为了消除错误点火的影响,是目标激发脉冲的时间而不是实际脉冲激发的时刻,说明该操作以后的spiking神经元膜电压。依据梯度下降得规则,权重改变量可以表示成:
其中,β1是控制权重调整大小的学习率。
在非目标激发时刻,为了不让神经元激发错误的脉冲,神经元的膜电压应该控制在激发阈值以下。同样采用梯度下降方法调整权重,使得膜电压在非目标激发时刻低于激发阈值。当膜电压高于激发阈值的时候,构造误差函数如下:
其中,参数p影响权重调整的幅度;
同理依据梯度下降的方法,权重更新的公式可以表示为:
其中,β2是控制权重调整大小的学习率。
利用步骤S2得到的脉冲序列对spiking神经元监督学习模型进行训练具体为:
根据步骤S2得到的不同类别的脉冲序列设置对应数量的脉冲神经元,其中每一个神经元对应一个类别,输入脉冲序列到spiking神经元监督学习模型中,通过学习使其对应的神经元激发一个目标脉冲序列,同时训练其他的神经元保持静默状态。
S4、利用步骤S3训练后的spiking神经元监督学习模型对待检测光学字符进行识别。
在本实施例中,本发明将待检测光学字符编码后的脉冲序列输入到步骤S3训练后的spiking神经元监督学习模型中,并采用相对置信度方法根据激发的最接近目标序列的神经元判断脉冲序列对应待检测光学字符的类别,完成待检测光学字符识别。
本领域的普通技术人员将会意识到,这里所述的实施例是为了帮助读者理解本发明的原理,应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合,这些变形和组合仍然在本发明的保护范围内。
Claims (7)
1.一种基于膜电压驱动的spiking神经元监督学习模型的光学字符识别方法,其特征在于,包括以下步骤:
S1、获取光学字符样本集;
S2、采用相位编码方法将步骤S1中的光学字符样本编码成具有时空信息的脉冲序列;
S3、建立基于膜电压驱动的spiking神经元监督学习模型,利用步骤S2得到的脉冲序列对spiking神经元监督学习模型进行训练;
S4、利用步骤S3训练后的spiking神经元监督学习模型对待检测光学字符进行识别。
3.如权利要求2所述的基于膜电压驱动的spiking神经元监督学习模型的光学字符识别方法,其特征在于,所述步骤S3中,基于膜电压驱动的spiking神经元监督学习模型包括两个学习过程:在目标激发时刻,调整突触的权重,使得膜电压可以达到激发阈值;在其它时刻,调整突触权重,使得膜电压低于激发阈值。
6.如权利要求5所述的基于膜电压驱动的spiking神经元监督学习模型的光学字符识别方法,其特征在于,所述步骤S3中,利用步骤S2得到的脉冲序列对spiking神经元监督学习模型进行训练具体为:
根据步骤S2得到的不同类别的脉冲序列设置对应数量的脉冲神经元,其中每一个神经元对应一个类别,输入脉冲序列到spiking神经元监督学习模型中,通过学习使其对应的神经元激发一个目标脉冲序列,同时训练其他的神经元保持静默状态。
7.如权利要求1所述的基于膜电压驱动的spiking神经元监督学习模型的光学字符识别方法,其特征在于,所述步骤S4利用步骤S3训练后的spiking神经元监督学习模型对待检测光学字符进行识别具体为:
将待检测光学字符编码后的脉冲序列输入到步骤S3训练后的spiking神经元监督学习模型中,并采用相对置信度方法根据激发的最接近目标序列的神经元判断脉冲序列对应待检测光学字符的类别,完成待检测光学字符识别。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911289020.4A CN111046865A (zh) | 2019-12-12 | 2019-12-12 | 基于膜电压驱动的spiking神经元监督学习模型的光学字符识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911289020.4A CN111046865A (zh) | 2019-12-12 | 2019-12-12 | 基于膜电压驱动的spiking神经元监督学习模型的光学字符识别方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111046865A true CN111046865A (zh) | 2020-04-21 |
Family
ID=70236465
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911289020.4A Pending CN111046865A (zh) | 2019-12-12 | 2019-12-12 | 基于膜电压驱动的spiking神经元监督学习模型的光学字符识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111046865A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111723726A (zh) * | 2020-06-17 | 2020-09-29 | 苏州大学 | 一种脉冲神经膜系统干燥剂包装袋识别模型的识别方法 |
CN113408612A (zh) * | 2021-06-18 | 2021-09-17 | 电子科技大学 | 一种基于DW-Tempotron算法的图像分类方法 |
CN113408618A (zh) * | 2021-06-18 | 2021-09-17 | 电子科技大学 | 一种基于R-Multi-parameter PBSNLR模型的图像分类方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109086771A (zh) * | 2018-08-16 | 2018-12-25 | 电子科技大学 | 一种光学字符识别方法 |
CN109214395A (zh) * | 2018-08-21 | 2019-01-15 | 电子科技大学 | 一种基于脉冲神经网络的图像特征描述方法 |
-
2019
- 2019-12-12 CN CN201911289020.4A patent/CN111046865A/zh active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109086771A (zh) * | 2018-08-16 | 2018-12-25 | 电子科技大学 | 一种光学字符识别方法 |
CN109214395A (zh) * | 2018-08-21 | 2019-01-15 | 电子科技大学 | 一种基于脉冲神经网络的图像特征描述方法 |
Non-Patent Citations (2)
Title |
---|
薛庆弢: "基于脉冲神经网络的学习算法研究及其应用", 《万方学位论文》 * |
袁建英等: "膜计算在图像处理领域应用研究综述", 《安徽大学学报(自然科学版)》 * |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111723726A (zh) * | 2020-06-17 | 2020-09-29 | 苏州大学 | 一种脉冲神经膜系统干燥剂包装袋识别模型的识别方法 |
CN111723726B (zh) * | 2020-06-17 | 2023-09-19 | 苏州大学 | 一种脉冲神经膜系统干燥剂包装袋识别模型的识别方法 |
CN113408612A (zh) * | 2021-06-18 | 2021-09-17 | 电子科技大学 | 一种基于DW-Tempotron算法的图像分类方法 |
CN113408618A (zh) * | 2021-06-18 | 2021-09-17 | 电子科技大学 | 一种基于R-Multi-parameter PBSNLR模型的图像分类方法 |
CN113408612B (zh) * | 2021-06-18 | 2023-04-07 | 电子科技大学 | 一种基于DW-Tempotron算法的图像分类方法 |
CN113408618B (zh) * | 2021-06-18 | 2023-04-18 | 电子科技大学 | 一种基于R-Multi-parameter PBSNLR模型的图像分类方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111046865A (zh) | 基于膜电压驱动的spiking神经元监督学习模型的光学字符识别方法 | |
US20200401837A1 (en) | Retinal encoder for machine vision | |
Yu et al. | A brain-inspired spiking neural network model with temporal encoding and learning | |
CN111046954A (zh) | 基于动态阈值的spiking学习模型的图像分类方法 | |
CN108304912B (zh) | 一种运用抑制信号实现脉冲神经网络监督学习的系统和方法 | |
CN111310816B (zh) | 基于无监督匹配追踪编码的仿脑架构图像识别方法 | |
CN114266351A (zh) | 基于无监督学习时间编码的脉冲神经网络训练方法及系统 | |
CN111091815A (zh) | 基于膜电压驱动的聚合标签学习模型的语音识别方法 | |
CN110837253A (zh) | 一种基于忆阻突触的智能寻址系统 | |
CN116080688B (zh) | 一种类脑启发的智能驾驶视觉辅助方法、装置及存储介质 | |
CN110991602A (zh) | 基于单指数核的事件驱动脉冲神经元仿真算法 | |
CN117008620A (zh) | 一种无人驾驶自适应路径规划方法、系统、设备及介质 | |
Kaziha et al. | Genetic algorithm augmented convolutional neural network for image recognition applications | |
Paudel et al. | Resiliency of SNN on black-box adversarial attacks | |
Deng et al. | Stdp and competition learning in spiking neural networks and its application to image classification | |
CN115223243A (zh) | 手势识别系统与方法 | |
CN114239405A (zh) | 一种脉冲神经网络神经元膜电压计算方法 | |
Lan et al. | Pc-snn: Supervised learning with local hebbian synaptic plasticity based on predictive coding in spiking neural networks | |
CN113298255A (zh) | 基于神经元覆盖率的深度强化学习鲁棒训练方法和装置 | |
KR20220075025A (ko) | 뉴로모픽 컴퓨팅 장치 | |
Sun et al. | Unsupervised learning based on temporal coding using STDP in spiking neural networks | |
Zhang et al. | R-Tempotron: A robust tempotron learning rule for spike timing-based decisions | |
CN113408618B (zh) | 一种基于R-Multi-parameter PBSNLR模型的图像分类方法 | |
CN110717590A (zh) | 基于单指数核及神经膜电位状态的高效多脉冲算法 | |
CN114220089A (zh) | 一种基于分段式渐进型脉冲神经网络进行模式识别的方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20200421 |