CN108416391A - 基于视觉皮层处理机制及脉冲监督学习的图像分类方法 - Google Patents

Abstract

本发明公开了一种基于视觉皮层处理机制及脉冲监督学习的图像分类方法，包括步骤：1)以动态图片的形式输入图像，然后在三个不同的时空尺度下处理输入；2)求取V1层简单型神经元的响应；3)求取V1层复杂型神经元的响应；4)求取V4层神经元的响应；5)训练输出层连接；6)输入测试样本。本发明的图像分类过程更接近于真实大脑的处理过程，并且本图像分类方法能较好地提取出输入图像的局部朝向信息，从而可以较好地进行图像分类。而且本方法只需要训练输出层的连接，不需要逐层训练，具有较高的效率。该方法在手写数字集上的分类准确率为96％左右，分类准确率高。

Description

基于视觉皮层处理机制及脉冲监督学习的图像分类方法

技术领域

本发明涉及图像处理技术领域，特别涉及一种图像分类方法。

背景技术

在使用神经网络处理图像分类的问题上，目前存在两种网络。一种是传统的神经网络，比如BP神经网络、卷积神经网络，虽然它们的准确度较高，但是需要使用误差反传来一层一层地调整连接，导致学习的效率比较低，而且使用的神经元和生物神经元有很大的差别，因而缺乏生物上的支撑。另一种是脉冲神经网络(SNN)，因其使用的是脉冲神经元(对输入进行积累，到达某一程度后神经元才会有输出)而更加接近生物实际。在SNN中用于处理图像分类的方法比较少，有液体状态机以及基于STDP的分类方法，但是这些方法的分类准确度较低。

发明内容

有鉴于此，本发明的目的是提供一种基于视觉皮层处理机制及脉冲监督学习的图像分类方法，其通过模拟大脑视觉皮层的处理机制对图像进行预处理，然后再使用脉冲监督学习来调整输出层的连接，以使分类过程更接近于真实大脑的处理过程，同时解决现有使用传统神经网络处理图像分类问题时存在效率低、脉冲神经网络分类准确率低的问题。

本发明基于视觉皮层处理机制及脉冲监督学习的图像分类方法，包括以下步骤：

1)以动态图片的形式输入图像，图像被表达成关于图片像素位置(x，y)和时间t的光强分布I(x，y，t)；然后在三个不同的时空尺度r＝0，1，2下处理输入，第一个尺度r＝0，此时的输入等同于原始输入，另外两个尺度需要连续地使用一个高斯核函数对上一尺度的输入进行模糊化；三种输入Ir(x，y，t)表达成：

I0(x，y，t)＝I(x，y，t)

其中*表示卷积运算，然后使用一个三维高斯滤波器对输入进行滤波：

其中σ_V1simple＝1.25；

2)求取V1层简单型神经元的响应，V1层简单型神经元被建模为线性的28个空间-时间-方位滤波器，其感受野为一高斯函数的三阶导数；将V1层简单型神经元集群的第k个滤波器描述为一个和该滤波器方向平行的单位向量u_k＝(u_k，x，u_k，y，u_k，t)，k＝1，2，...，28，只有当输入对应的朝向和滤波器方向相同时，这个滤波器才会被激活；然后在空间位置(x，y)拥有空间-时间方位k的简单型神经元的线性响应为：

其中X＝3-Y-T，T和Y为求和变量，X、Y、T的取值范围为[0,3]，且三者之和等于3，α_V1lin＝6.6048；把线性响应L_k，r归一化到一条高斯包络线内便得到简单型神经元的响应：

其中α_{filt2rate，r}＝15Hz将无单位的滤波器响应转换为神经元的放电频率，α_V1rect＝1.9263，α_V1norm＝1，σ_V1norm＝3.35，α_V1semi＝0.1；

3)求取V1层复杂型神经元的响应，对简单型神经元的响应做局部加权求和即可得到复杂型神经元的响应：

其中α_V1complex＝0.1，σ_V1complex＝1.6；最终所求取到的复杂型神经元的响应为神经元的平均放电频率；

4)求取V4层神经元的响应，V1层复杂型神经元将通过频率为上述所求得的平均放电频率的泊松过程产生脉冲，并通过突触传递给V4层神经元；V4层神经元的模型为Izhikevich脉冲神经元:

其中v(t)为神经元的膜电位，u(t)为恢复变量，I_syn(t)为突触前神经元产生的突触电流；当v(t)≥30mV时，神经元会产生一个脉冲，并触发重置：v(t)＝c，u(t)＝u(t)+d；对于兴奋型神经元：a＝0.02，b＝0.2，c＝-65，d＝8；对于抑制型神经元：a＝0.1，b＝0.2，c＝-65，d＝2；V1层复杂型神经元到V4层的连接为高斯连接，即两神经元空间距离越大，则有连接的概率会越小，且属于相同滤波器的神经元之间共享权值；V4层共有4个神经元集群，分别对应4个朝向:水平、右对角、竖直和左对角，同一个集群的神经元只对自身偏好的输入朝向有较强的响应，而对其他朝向的输入的响应较弱；且集群之间存在相互抑制；通过计算V4层神经元的平均放电频率来表示所提取到的输入朝向信息；

5)训练输出层连接，输出层神经元模型为LIF神经元：

其中t_i表示第i个传入神经元的脉冲时间，w_i表示连接强度，V_rest＝0，V₀＝2.12，τ₁＝16ms，τ₂＝4ms；当V(t)≥1时，神经元产生脉冲，然后V(t)会被重置为V_rest；输出层神经元的个数等于图像的类别数，当输入样本属于类1时，要求第一个输出神经元放电而其他神经元保持沉默，以此类推；把正确的输出放电模式记为P⁺，错误的记为P^-；如果没有输出脉冲来响应P⁺模式，那么对应输出神经元的连接将会得到增强：

其中t_max表示V(t)达到最大值时对应的时刻，λ为学习率；相反地，如果有输出脉冲去响应P-模式，那么对应的连接将会减小Δw_i；w_i的值是随机初始化的，然后由Δw_i进行调节；

6)输入测试样本，由训练好的输出层连接，求得每个输出神经元的膜电位V(t)，哪一个神经元的膜电位最大，则把输入样本判为其对应的类。

本发明的有益效果：

本发明基于视觉皮层处理机制及脉冲监督学习的图像分类方法，其通过模拟大脑视觉皮层的处理机制对图像进行预处理，然后再使用脉冲监督学习来调整输出层的连接，使得图像分类过程更接近于真实大脑的处理过程。并且本图像分类方法能较好地提取出输入图像的局部朝向信息，从而可以较好地进行图像分类。而且本方法只需要训练输出层的连接，不需要逐层训练，具有较高的效率。该方法在手写数字集上的分类准确率为96％左右，分类准确率高。

附图说明

图1是神经网络结构图，图中input表示图像输入，V1complex表示V1层复杂神经元的响应，V4orientation表示V4层神经元的响应，ouput表示图像分类输出；

图2为V4层神经元的响应，图中H表示神经元集群的水平朝向，RD表示神经元集群的右对角朝向，V表示神经元集群的竖直朝向，LD表示神经元集群的左对角朝向；

图3是本发明基于视觉皮层处理机制及脉冲监督学习的图像分类方法的流程图。

具体实施方式

下面结合附图和实施例对本发明作进一步描述。

本实施例中基于视觉皮层处理机制及脉冲监督学习的图像分类方法，包括以下步骤：

1)以动态图片的形式输入图像，图像被表达成关于图片像素位置(x，y)和时间t的光强分布I(x，y，t)；然后在三个不同的时空尺度r＝0，1，2下处理输入，第一个尺度r＝0，此时的输入等同于原始输入，另外两个尺度需要连续地使用一个高斯核函数对上一尺度的输入进行模糊化；三种输入I_r(x，y，t)表达成：

I₀(x，y，t)＝I(x，y，t)

其中*表示卷积运算，然后使用一个三维高斯滤波器对输入进行滤波：

其中σ_V1simple＝1.25。

2)求取V1层简单型神经元的响应，V1层简单型神经元被建模为线性的28个空间-时间-方位滤波器，其感受野为一高斯函数的三阶导数；将V1层简单型神经元集群的第k个滤波器描述为一个和该滤波器方向平行的单位向量u_k＝(u_k，x，u_k，y，u_k，t)，k＝1，2，...，28，只有当输入对应的朝向和滤波器方向相同时，这个滤波器才会被激活；然后在空间位置(x，y)拥有空间-时间方位k的简单型神经元的线性响应为：

其中X＝3-Y-T，T和Y为求和变量，X、Y、T的取值范围为[0,3]，且三者之和等于3，α_V1lin＝6.6048；把线性响应L_k，r归一化到一条高斯包络线内便得到简单型神经元的响应：

其中α_{filt2rate，r}＝15Hz将无单位的滤波器响应转换为神经元的放电频率，α_V1rect＝1.9263，α_V1norm＝1，σ_V1norm＝3.35，α_V1semi＝0.1。

3)求取V1层复杂型神经元的响应，对简单型神经元的响应做局部加权求和即可得到复杂型神经元的响应：

其中α_V1complex＝0.1，σ_V1complex＝1.6；最终所求取到的复杂型神经元的响应为神经元的平均放电频率。

4)求取V4层神经元的响应，V1层复杂型神经元将通过频率为上述所求得的平均放电频率的泊松过程产生脉冲，并通过突触传递给V4层神经元；V4层神经元的模型为Izhikevich脉冲神经元:

其中v(t)为神经元的膜电位，u(t)为恢复变量，I_syn(t)为突触前神经元产生的突触电流；当v(t)≥30mV时，神经元会产生一个脉冲，并触发重置：v(t)＝c，u(t)＝u(t)+d；对于兴奋型神经元：a＝0.02，b＝0.2，c＝-65，d＝8；对于抑制型神经元：a＝0.1，b＝0.2，c＝-65，d＝2；V1层复杂型神经元到V4层的连接为高斯连接，即两神经元空间距离越大，则有连接的概率会越小，且属于相同滤波器的神经元之间共享权值；V4层共有4个神经元集群，分别对应4个朝向:水平、右对角、竖直和左对角，同一个集群的神经元只对自身偏好的输入朝向有较强的响应，而对其他朝向的输入的响应较弱；且集群之间存在相互抑制；通过计算V4层神经元的平均放电频率来表示所提取到的输入朝向信息。

5)训练输出层连接，输出层神经元模型为LIF神经元：

其中t_i表示第i个传入神经元的脉冲时间，V_rest＝0，V₀＝2.12，τ₁＝16ms，τ₂＝4ms；当V(t)≥1时，神经元产生脉冲，然后V(t)会被重置为V_rest；输出层神经元的个数等于图像的类别数，当输入样本属于类1时，要求第一个输出神经元放电而其他神经元保持沉默，以此类推；把正确的输出放电模式记为P⁺，错误的记为P^-；如果没有输出脉冲来响应P⁺模式，那么对应输出神经元的连接将会得到增强：

其中t_max表示V(t)达到最大值时对应的时刻，λ为学习效率；相反地，如果有输出脉冲去响应P^-模式，那么对应的连接将会减小Δw_i。

6)输入测试样本，由训练好的输出层连接，求得每个输出神经元的膜电位V(t)，哪一个神经元的膜电位最大，则把输入样本判为其对应的类。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (1)

1.基于视觉皮层处理机制及脉冲监督学习的图像分类方法，其特征在于：包括以下步骤：

1)以动态图片的形式输入图像，图像被表达成关于图片像素位置(x，y)和时间t的光强分布I(x，y，t)；然后在三个不同的时空尺度r＝0，1，2下处理输入，第一个尺度r＝0，此时的输入等同于原始输入，另外两个尺度需要连续地使用一个高斯核函数对上一尺度的输入进行模糊化；三种输入I_r(x，y，t)表达成：

I₀(x，y，t)＝I(x，y，t)

其中*表示卷积运算，然后使用一个三维高斯滤波器对输入进行滤波：

其中σ_V1simple＝1.25；

2)求取V1层简单型神经元的响应，V1层简单型神经元被建模为线性的28个空间-时间-方位滤波器波器，其感受野为一高斯函数的三阶导数；将V1层简单型神经元集群的第k个滤波器描述为一个和该滤波器方向平行的单位向量u_k＝(u_k，x，u_k，y，u_k，t)，k＝1，2，...，28，只有当输入对应的朝向和滤波器方向相同时，这个滤波器才会被激活；然后在空间位置(x，y)拥有空间-时间方位k的简单型神经元的线性响应为：

其中X＝3-Y-T，T和Y为求和变量，X、Y、T的取值范围为[0,3]，且三者之和等于3，a_v1lin＝6.6048；把线性响应L_k，r归一化到一条高斯包络线内便得到简单型神经元的响应：

其中α_{filt2rate，r}＝15Hz将无单位的滤波器响应转换为神经元的放电频率，α_V1rect＝1.9263，α_V1norm＝1，σ_V1norm＝3.35，α_V1semi＝0.1；

3)求取V1层复杂型神经元的响应，对简单型神经元的响应做局部加权求和即可得到复杂型神经元的响应：

其中α_V1cormlex＝0.1，σ_V1complex＝1.6；最终所求取到的复杂型神经元的响应为神经元的平均放电频率；

4)求取V4层神经元的响应，V1层复杂型神经元将通过频率为上述所求得的平均放电频率的泊松过程产生脉冲，并通过突触传递给V4层神经元；V4层神经元的模型为Izhikevich脉冲神经元:

其中v(t)为神经元的膜电位，u(t)为恢复变量，I_syn(t)为突触前神经元产生的突触电流；当v(t)≥30mV时，神经元会产生一个脉冲，并触发重置：v(t)＝c，u(t)＝u(t)+d；对于兴奋型神经元：a＝0.02，b＝0.2，c＝-65，d＝8；对于抑制型神经元：a＝0.1，b＝0.2，c＝-65，d＝2；V1层复杂型神经元到V4层的连接为高斯连接，即两神经元空间距离越大，则有连接的概率会越小，且属于相同滤波器的神经元之间共享权值；V4层共有4个神经元集群，分别对应4个朝向:水平、右对角、竖直和左对角，同一个集群的神经元只对自身偏好的输入朝向有较强的响应，而对其他朝向的输入的响应较弱；且集群之间存在相互抑制；通过计算V4层神经元的平均放电频率来表示所提取到的输入朝向信息；

5)训练输出层连接，输出层神经元模型为LIF神经元：

其中t_i表示第i个传入神经元的脉冲时间，w_i表示连接强度，V_rest＝0，V₀＝2.12，τ₁＝16ms，τ₂＝4ms；当V(t)≥1时，神经元产生脉冲，然后V(t)会被重置为V_rest；输出层神经元的个数等于图像的类别数，当输入样本属于类1时，要求第一个输出神经元放电而其他神经元保持沉默，以此类推；把正确的输出放电模式记为P⁺，错误的记为P^-；如果没有输出脉冲来响应P⁺模式，那么对应输出神经元的连接将会得到增强：

其中t_max表示V(t)达到最大值时对应的时刻，λ为学习率；相反地，如果有输出脉冲去响应P^-模式，那么对应的连接将会减小Δw_i；w_i的值是随机初始化的，然后由Δw_i进行调节；

6)输入测试样本，由训练好的输出层连接，求得每个输出神经元的膜电位V(t)，哪一个神经元的膜电位最大，则把输入样本判为其对应的类。