CN111046954A - 基于动态阈值的spiking学习模型的图像分类方法 - Google Patents

Abstract

本发明公开了一种基于动态阈值的spiking学习模型的图像分类方法，该方法包括获取图像数据集，采用相位延迟编码方法将图像信息转化为脉冲激发序列，建立基于动态阈值的spiking学习模型并进行训练，利用训练后的spiking学习模型对待分类图像进行分类处理。本发明通过采用相位延迟编码方法将图像信息转化为脉冲激发序列，并建立基于动态阈值的spiking学习模型进行训练，利用训练后的spiking学习模型进行图像分类，在保证学习模型训练效率和准确率的同时，可以显著提高学习模型的鲁棒性，进一步提高图像分类效率。

Description

基于动态阈值的spiking学习模型的图像分类方法

技术领域

本发明属于图像分类技术领域，具体涉及一种基于动态阈值的spiking学习模型的图像分类方法。

背景技术

由于在大脑的不同区域都发现了基于脉冲时序的神经活动，包括视网膜，外侧膝状核和视觉皮层，越来越多的人开始关注基于时序编码的spiking神经网络。理论表明，作为第三代神经网络的spiking神经网络比第二代神经网络具有更加强大的计算能力和更为广泛的应用前景。但是目前以spiking神经元为模型的应用还比较简单，其中一个主要原因即缺乏高效、鲁棒的学习算法。

经过研究人员的努力，在提高spiking神经元的学习算法效率上已经有了许多成果，这些成果可以分为脉冲驱动和膜电压驱动两大类型。以ReSuMe为典型代表的脉冲驱动算法以目标脉冲时间和实际脉冲时间为信号，对突触权重加以调整。与ReSuMe学习算法类似，spikeProp也是较为典型的脉冲驱动算法。通过利用单脉冲的目标激发时刻和实际激发时刻的差异作为误差函数，利用传统神经网络的BP(back-propagation)对神经元的突触加以调节。此外， SPAN(Spike Pattern Association Neuron)和Chronotron学习算法也属于脉冲驱动学习算法的一个分支，它们先间接地把离散的实际脉冲序列和离散的目标脉冲序列变成连续信号，然后用传统的学习算法去减少对应连续信号之间的误差。

另一方面，以PBSNLR为代表的膜电压驱动算法，以spiking神经元在不同时刻的膜电压为信号，对spiking神经元的连接突触进行学习。除了PBSNLR 算法以外，Tempotron学习算法也是典型的一种膜电压驱动学习算法，且获得了广泛的应用。该算法把梯度下降的方法作用于神经元的最大高膜电压，当正样本输入的时候，增加权重，使最高的膜电压达到阈值。反之，则降低权重，使得最高膜电压低于阈值。与PBSNLR学习算法类似，算法HTP的基本思想也是先把spiking神经网络的学习算法转化成感知机的分类任务，然后利用感知机的学习规则去调整权重，使得膜电压在目标激发时刻达到阈值，同时在其他时刻低于阈值，让神经元在目标的时刻激发脉冲。HTP具有感知机学习规则简单，高效的优点，但是由于借鉴感知机学习规则，因此也存在非线性不可分的缺点，这意味着其学习准确率还有进一步提高的空间。EMPD(Efficient Membrane Potential Driven)算法采用膜电压和激发阈值作为权重调整信号，利用梯度下降的方法调整神经元的权重，实验结果表明，该算法的准确率和效率高于PBSNLR和ReSuMe。

生物科学实验发现，尽管大脑中也存在着多种噪声，大脑却可以高效，鲁棒的对信息加以处理，遗憾的是我们还不知道大脑处理噪声的具体机制和策略。为了提高算法的鲁棒性，目前广泛采用的策略是在噪声环境下训练spiking 神经网络。实验结果表明该策略可以在一定程度上提高自身算法的鲁棒性。在遇到和训练噪声强度及类型相似的噪声干扰时，该策略可以显著提高算法的抗噪能力。但是，对于没有遇到过的或强度更大的噪声，其抗噪能力会急剧降低。因此，如何提高spiking神经网络的抗噪能力仍然是该领域的一个重大挑战。

发明内容

针对现有技术中的上述不足，本发明提供了一种基于动态阈值的spiking 学习模型的图像分类方法，。

为了达到上述发明目的，本发明采用的技术方案为：

一种基于动态阈值的spiking学习模型的图像分类方法，包括以下步骤：

S1、获取图像数据集；

S2、采用相位延迟编码方法将图像信息转化为脉冲激发序列；

S3、建立基于动态阈值的spiking学习模型，利用步骤S2得到的脉冲激发时间信息对spiking学习模型进行训练；

S4、利用步骤S3训练后的spiking学习模型对待分类图像进行分类处理。

进一步地，所述步骤S2中，相位延迟编码方法具体为：

将图像信息作为外界刺激信息；

利用延迟编码方法将外界刺激信息编码成脉冲激发时间，按照刺激强弱程度依次激发脉冲；

利用相位编码方法使脉冲移动到其对应振荡曲线的峰值；把相同接收区域的脉冲压缩成一个神经元的脉冲激发序列。

进一步地，所述步骤S3中，基于动态阈值的spiking学习模型中的动态阈值函数将spiking神经元的运行时间分为

和

其中t_d(i)代表目标激发序列中的第i个脉冲时刻，参数δ用来决定

和

的时间长度。

进一步地，所述步骤S3中，基于动态阈值的spiking学习模型中的动态阈值函数表示为：

其中η₁是非目标激发时刻阈值差值参数，η₂是目标激发时刻阈值差值参数，thr是传统固定激发阈值，a为预设系数。

进一步地，所述步骤S3中，基于动态阈值的spiking学习模型的权重学习表示为：

其中，β为算法的学习率，

是突触i的所有动作电位在时间t的突触后电势之和，V(t)为膜电压。

进一步地，所述步骤S4利用步骤S3训练后的spiking学习模型对待分类图像进行分类处理具体为：

将待分类图像转化的脉冲激发序列输入到步骤S3训练后的spiking学习模型中，根据输出神经元激发的对应目标脉冲序列判断待分类图像的类别，完成图像分类。

本发明具有以下有益效果：本发明通过采用相位延迟编码方法将图像信息转化为脉冲激发序列，并建立基于动态阈值的spiking学习模型进行训练，利用训练后的spiking学习模型进行图像分类，在保证学习模型训练效率和准确率的同时，可以显著提高学习模型的鲁棒性，进一步提高图像分类效率。

附图说明

图1是本发明的基于动态阈值的spiking学习模型的图像分类方法流程示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

如图1所示，本发明实施例提供了一种基于动态阈值的spiking学习模型的图像分类方法，包括以下步骤S1至S4：

S1、获取图像数据集；

S2、采用相位延迟编码方法将图像信息转化为脉冲激发序列；

在本实施例中，本发明采用相位延迟编码(Latency-Phase coding)通过结合相位编码和延迟编码可以有效地将图片信息转变成精确的脉冲激发时间信息。

上述相位延迟编码方法具体为：

将图像信息作为外界刺激信息；

利用延迟编码方法将外界刺激信息编码成脉冲激发时间，按照刺激强弱程度依次激发脉冲；其中强的刺激会引发更早的脉冲，而弱的刺激则会使得脉冲更晚地激发；

利用相位编码方法使脉冲移动到其对应振荡曲线的峰值；把相同接收区域的脉冲压缩成一个神经元的脉冲激发序列。

在该编码中，首先会利用延迟编码的方法，通过下式将外界刺激(比如图像的像素信息)变成精确的点火时间

t_i＝t_max-ln(ax_i+1)

其中，x_i是第i个像素点的像素值，t_max是编码的最大时间值，t_i是编码以后像素点i所对应的激发脉冲时间。与此同时，每一个像素点i对应一个振荡周期函数i_osc，一般通过余弦函数来表示

其中，A是振荡曲线的振幅，w是角速度，

是第i个神经元的相位差。为了区分在相同接收域中的像素点，相位延迟编码给相同接受域中的不同像素点设置不同的相位差

其中

是初始的参考相位，一般设置为0。

是两个相邻像素点之间的相位差。通常

的设置应满足以下条件

N_RF为同一个接收域中像素点的数目。当像素点信息变成脉冲时间以后，接下来需要利用相位信息进行对齐操作，将脉冲时间移到其对应振荡曲线的波峰位置。最后，通过压缩操作将同一个接收域产生的脉冲信号压缩成一个神经元的脉冲激发序列。

S3、建立基于动态阈值的spiking学习模型，利用步骤S2得到的脉冲激发时间信息对spiking学习模型进行训练；

在本实施例中，本发明提出了动态阈值函数noise-threshold。Noise-threshold将spiking神经元的运行时间分为

和

其中t_d(i)代表目标激发序列中的第i个脉冲时刻，参数δ用来决定

和

的时间长度。

基于

和

这两种时间类型，动态激发阈值noise-threshold定义如下：

当运行时间

时:

当spiking神经网络学习完成以后，神经元的膜电压在

时刻应该低于激发阈值。因此，为了使得膜电压远离激发阈值，设置一个小于固定激发阈值的值n_thr(t)(noise-threshold)。

其中η₁>0，thr是传统固定激发阈值。

在动态激发阈值情况下，训练成功以后spiking神经元的膜电压低于 th-η1，从而达到远离激发阈值的目的。

值得注意的是动态阈值函数nthr(t)仅仅被用来做训练用，测试的时候用传统固定激发阈值thr。

经动态激发阈值nthr(t)训练过的神经元的膜电压远远低于固定激发阈值 thr，因此可以有效避免额外错误脉冲的产生。

当运行时间

时：

当spiking神经网络学习完成以后，神经元的膜电压在

会达到激发阈值。为了使膜电压在

时间段足够强，其训练过程中的阈值应该尽可能的大一点。因此，动态激发阈值函数n_thr(t)定义如下：

其中，参数η₂>0，a>0。

综上所述，动态激发阈值函数可以表达为

其中η₁是非目标激发时刻阈值差值参数，η₂是目标激发时刻阈值差值参数，thr是传统固定激发阈值，a为预设系数。

基于动态阈值的spiking学习模型的权重学习表示为：

其中，β为算法的学习率，V(t)为膜电压，

是突触i的所有动作电位在时间t的突触后电势之和，定义为

spiking学习模型进行学习时，所有被错误分类的样本都会利用基于动态阈值的spiking学习模型(N-PBSNLR)进行学习，其中样本错误分类定义如下： 1)如果在td时刻spiking神经元的膜电压没有达到动态激发阈值，正样本被认为错分类；2)如果在N_td时刻spiking神经元的膜电压达到了动态激发阈值，负样本被认为误分类。

因为noise-threshold在

的值要小于激发阈值，因此相对于PBSNLR学习算法，N-PBSNLR中负样本被错误分类的较多。这些错分类的负样本会被 N-PBSNLR训练到其膜电压低于noise-threshold为止。另一方面，因为 noise-threshold在

的值要大于激发阈值，因此相对于PBSNLR学习算法， NPBSNLR中正样本被错误分类的也较多。同样，N-PBSNLR也会一直训练 spiking神经元的权重直到神经元的膜电压在t_d时刻达到noise-threshold。

在步骤S2将图片编码完成后，将产生的脉冲序列送入到学习层进行学习，每幅图片都分别设置一个目标脉冲序列。三幅图片的目标脉冲序列分别是： {130,180,230,280,330,380,430}ms，{150,200,250,300,350,400,450}ms，和{170,220,270,320,370,420,470}ms。经过N-PBSNLR训练以后，当对应的图片输入到网络中时，输出神经元会激发对应的目标脉冲序列

S4、利用步骤S3训练后的spiking学习模型对待分类图像进行分类处理。

在本实施例中，本发明将待分类图像转化的脉冲激发序列输入到步骤S3 训练后的spiking学习模型中，根据输出神经元激发的对应目标脉冲序列判断待分类图像的类别，完成图像分类。

本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。

Claims (6)

1.一种基于动态阈值的spiking学习模型的图像分类方法，其特征在于，包括以下步骤：

S1、获取图像数据集；

S2、采用相位延迟编码方法将图像信息转化为脉冲激发序列；

S3、建立基于动态阈值的spiking学习模型，利用步骤S2得到的脉冲激发时间信息对spiking学习模型进行训练；

S4、利用步骤S3训练后的spiking学习模型对待分类图像进行分类处理。

2.如权利要求1所述的基于动态阈值的spiking学习模型的图像分类方法，其特征在于，所述步骤S2中，相位延迟编码方法具体为：

将图像信息作为外界刺激信息；

利用延迟编码方法将外界刺激信息编码成脉冲激发时间，按照刺激强弱程度依次激发脉冲；

利用相位编码方法使脉冲移动到其对应振荡曲线的峰值；把相同接收区域的脉冲压缩成一个神经元的脉冲激发序列。

3.如权利要求2所述的基于动态阈值的spiking学习模型的图像分类方法，其特征在于，所述步骤S3中，基于动态阈值的spiking学习模型中的动态阈值函数将spiking神经元的运行时间分为

和

其中t_d(i)代表目标激发序列中的第i个脉冲时刻，参数δ用来决定

和

的时间长度。

4.如权利要求3所述的基于动态阈值的spiking学习模型的图像分类方法，其特征在于，所述步骤S3中，基于动态阈值的spiking学习模型中的动态阈值函数表示为：

其中η₁是非目标激发时刻阈值差值参数，η₂是目标激发时刻阈值差值参数，thr是传统固定激发阈值，a为预设系数。

5.如权利要求4所述的基于动态阈值的spiking学习模型的图像分类方法，其特征在于，所述步骤S3中，基于动态阈值的spiking学习模型的权重学习表示为：

其中，β为算法的学习率，

P_i ^t是突触i的所有动作电位在时间t的突触后电势之和，V(t)为膜电压。

6.如权利要求4所述的基于动态阈值的spiking学习模型的图像分类方法，其特征在于，所述步骤S4利用步骤S3训练后的spiking学习模型对待分类图像进行分类处理具体为：

将待分类图像转化的脉冲激发序列输入到步骤S3训练后的spiking学习模型中，根据输出神经元激发的对应目标脉冲序列判断待分类图像的类别，完成图像分类。

Images