CN109102000A - 一种基于分层特征提取与多层脉冲神经网络的图像识别方法 - Google Patents

Abstract

本发明公开了一种基于分层特征提取与多层脉冲神经网络的图像识别方法。本发明根据视觉皮层对视觉信息的处理方式，在HMAX模型基础上，引入稀疏特性与特征自主学习方法，使得层次化特征提取结果能合理保留有效信息，并通过基于STDP和反向传播算法的多层脉冲神经网络模型，实现对提取数据的训练与识别。并且采用相位编码作为层次化特征提取与多层脉冲神经网络连接的桥梁，有效地将像素信息转换为时间信息，提高识别精度。本发明的图像识别方法不仅满足生物特性并且具有良好的分类性能；在层次化特征提取过程中，将手工特征与自主学习特征结合，能更好地满足不同需求；同时利用多层脉冲神经网络进行识别分类，能有效处理复杂数据。

Description

一种基于分层特征提取与多层脉冲神经网络的图像识别方法

技术领域

本发明涉及脉冲神经网络领域，具体涉及一种基于分层特征提取与多层脉冲神经网络的图像识别方法。

背景技术

当前已有一系列计算模型用于模拟视觉信息在视觉皮层区域的输入输出关系。这些模型关注信息的表现形式、运动状态、颜色纹理等或是关注具体的功能，如对象识别、边界检测、动作识别等。虽然这些模型解释了视觉基础计算机制，却缺乏具有生物依据的解释性。为了模拟大脑视觉皮层对视觉信息处理的高效和低功耗特性，将生物神经网络应用于计算机视觉计算模型，以视觉系统的生物原理为依托，构建一个具有生物拟态的计算模型是当前探索视觉系统的研究重点。

在计算机视觉中，层次化视觉信息处理方式能够模拟视觉皮层中V1到V4区的处理过程：由点到线到面逐级抽象，还原成高级模型。正如深度学习当中，低层的Gabor滤波器能模拟V1区识别图像像素级局部特征的功能，在高级区域中会利用其他方式将低级特征组合成全局特征，形成复杂模式。但目前计算机对于视觉信息的编解码操作较为简单，如采用Gabor金字塔建立感受野模型，采用不同尺度的小方块来逼近视觉感受野。这些方式只适用于初级视觉皮层，对于处理高级视觉皮层之间信息的联系依然不够深入。同时目前对视觉信息的层次化处理方式依旧存在着计算量大、耗时长的缺陷。

脉冲神经网络属于第三代神经网络模型，实现了更高级的生物神经模拟水平。作为生物神经网络的代表，脉冲神经网络以膜电压升降产生的脉冲实现神经元之间的通信机制，而非人工神经网络中的数值运算。因此，与传统人工神经网络相比，脉冲神经网络更能够模仿生物神经元之间的连接与通信，能够进行复杂的时空信息处理。脉冲神经网络能通过对神经元建模，利用监督学习、非监督学习、强化学习等方式对网络进行训练，形成一些具体的应用功能。但对于脉冲神经网络的研究，尤其是对多层脉冲神经网络的研究，仍然面临很大困难，主要原因是在脉冲神经网络中脉冲发放不连续，导致反向传播困难，不利于网络层级之间权重的调整。

发明内容

本发明的主要目的在于能够通过层次化信息处理与脉冲神经网络结合，构建一个具有神经拟态的图像识别方法。同时在层次化信息处理过程中添加稀疏特性从而达到降低计算量的目的。利用概率方式解决多层脉冲神经网络中脉冲发放不连续，导致反馈困难的问题。其具体内容如下：

1层次化视觉信息处理

对视觉信息进行层次化建模，能够提取到更加高级的特征。HMAX以S层(simplecells)和C层(complex cells)交替的形式构建层次化模型。在HMAX基础上，本发明加入稀疏特性对其进行改进。

1.1 S1、C1层实现选择性与不变性

在HMAX模型当中，根据初级视觉皮层(V1)区域的细胞对视野内的边缘信息敏感的特性，在S1层利用Gabor滤波器实现边缘信息的提取。为了简化操作，本发明利用4个方向及2个尺度的Gabor滤波器组对输入图像进行滤波，得到8个响应图(response map)。采用的Gabor滤波器的公式为：

s.t.x₀＝x cosθ+y sinθ

and y₀＝-x sinθ+y cosθ

其中σ表示相位偏移，γ表示长宽比，λ表示波长，θ表示方向。在本发明中所选择的4个方向为(0°，45°，90°，135°)，选择的两个尺度(滤波器大小)则根据需要处理的图像大小确定。

图像在经过S1层实现了边缘信息的选择后，在C1层则利用Max-Pooling方法在同个方向的响应图内按滑动窗口大小求窗口内响应的最大值，然后在两个不同尺度的最大值图上，对各自对应的像素再求一次最大值。利用这两步操作得到空间相邻和尺度相邻的最大值图，得到具有不变性的响应，同时达到数据降维的目的。

1.2 S2、C2层实现稀疏性以及自主学习

为了在S2层中能提取更多的图像信息以及不局限于提取边缘信息，在C1的结果图上采用FastICA对其进行学习，且满足了稀疏编码的特性。稀疏编码的代价函数为

SC＝AS

其中SC表示输入向量，A表示系数矩阵，S表示基向量矩阵，λ为常数。a和s分别是矩阵A和矩阵S当中的元素，||·||_F表示Forbenius范式。根据FastICA算法，可将代价函数转换为

为了简化计算，假定A为可逆矩阵，则W＝A^-1。表示W当中第j行，sc_i表示SC当中第i列，f_j(·)表示稀疏概率分布函数。

利用FastICA算法以及上述代价函数迭代计算出S2层的结果后，在C2层利用Max-Pooling将经过FastICA处理等到的线性特征转换成非线性特征，具体表示为

C2(x_i,y_j)＝max S2(x_i,...i+m-1,y_i,...,i+m-1)

其中m表示滑动窗口的大小。在C1层采用的Max-Pooling操作滑动窗口在移动过程中有m/2的窗口重叠，而在C2层的Max-Pooling当中移动过程窗口无重叠。

2像素信息到时间信息的转换

本发明将相位编码作为连接层次化特征信息与脉冲神经网络的桥梁。该编码采用两种类型的编码神经元，分别是兴奋性(excitatory)编码神经元和抑制性(inhibitory)编码神经元。根据像素值信息以及相应的位置信息，像素被判断为是激活状态还是抑制状态，其所对应的神经元利用规则将像素信息编码成对应的时间信息，具体规则如下

step1:x_i∈j^th encoding neuron

step2:if t_i>t_max

t_i＝t_i-t_max

step3:

其中x_i表示图像当中第i个像素，t_i表示第i个像素对应的时间，t_max表示时间窗口，t_step表示时间间隔，j^th表示第j类编码神经元，n表示编码神经元类别数。step3实现了编码后的时间信息与脉冲神经网络中输入神经元之间的映射，其中k表示第i个输入神经元包含了k个时间脉冲序列。该编码过程类似于动作电位的周期震荡，具有周期性。

3利用多层脉冲神经网络进行训练学习

在本发明中，为了构造一个具有生物特性的图像识别方法，采用多层脉冲神经网络作为分类学习器。该多层脉冲神经网络以概率方法解决了层级之间权重调整的问题，构建的输入层-隐含层、隐含层-输出层的函数如下

其中x表示输入的时间序列，y表示隐含层输出的脉冲序列，z_o表示输出层输出的脉冲序列，z^ref表示输出层的目标脉冲序列，T为学习周期。为脉冲序列q的形式化表示，具体形式为

其中t^f表示第f个脉冲发放的时间。ρ为噪声逃逸率(escape noise)，表示了膜电压大于阈值会产生脉冲的概率强度，其表达式为

u表示膜电压，表示阈值电压。多层脉冲神经网络的简要训练过程如下

其中Θ表示脉冲序列作用于神经元，使其产生电压的核函数。经过多层脉冲神经网络的训练和学习，最后利用vRD(van Rossum Distance)指标进行类别判定，实际输出脉冲序列与最接近的目标脉冲序列归为同一类。

与现有技术相比，本发明有如下优点：

本发明受到生物视觉系统对视觉信息处理方式的启发，将层次化特征处理与多层脉冲神经网络相结合，构造了一个具有生物启发性的图像识别方法。一方面，在层次化特征提取部分，利用FastICA实现稀疏性，并且不同于S1层的处理方式，该方法使得C1层到S2层的处理不受手工特征的限制，能够自主学习特征。并且利用C2层的最大池化操作将提取的线性特征转换为非线性特征，更符合实际的视觉信息处理。另一方面，利用多层脉冲神经网络作为实现图像分类功能的分类器，使得整个识别方法更具生物特性。在脉冲神经网络当中以概率方法构建目标函数，从而能够采用STDP算法和反向传播算法进行多层权值的调整，从而提高了网络计算能力。

附图说明

图1是本发明方法总体流程图；

图2是层次化特征提取的整体结构图；

图3是相位编码策略的概念图；

图4是采用多层脉冲神经网络进行学习，输入层、隐藏层、输出层以及采用Adam方法对学习进行优化的结果图。

具体实施方式

下面结合附图对本发明进一步说明。

图1至图4分别展示了整个图像识别过程的每个阶段，该过程可分为3个步骤，具体内容如下：

步骤1层次化特征提取

其中图2描述了层次化特征提取的整体过程。在这个过程当中采用了一个四层的模型，分别是S1层、C1层、S2层和C2层，这里所涉及的参数值大小主要针对MNIST数据集，其中各层的具体操作如下：

1.1S1层：Gabor滤波对边缘信息的提取

初级视觉皮层区域的细胞对边缘信息具有强烈敏感性，而Gabor滤波器的频率和方向表达被认为与人类视觉系统相似，因此在这一步骤中使用二维的Gabor滤波模拟simple cells的感受野情况。采用4个方向及2个尺度的Gabor滤波器组对输入图像进行滤波，得到8个响应图(response map)。采用的Gabor滤波的核函数为：

s.t.x₀＝x cosθ+y sinθ

and y₀＝-x sinθ+y cosθ

其中λ表示波长，σ表示相位偏移，γ表示长宽比，取值分别3.5,0.3,0.8λ。θ表示方向，在本发明中所选择的4个方向为(0°，45°，90°，135°)，选择的两个尺度(滤波器大小)分别是5×5和7×7。

1.2C1层：Max-Pooling操作

在经过S1层实现了边缘信息的选择后，获得两个尺度四个方向的响应图。C1层先采用Max-Pooling在同个方向不同尺度的响应图上取各个像素的最大值，即求“尺度相邻”意义下的最值。再在这个结果上根据滑动窗口大小，取在该窗口内响应的最大值，即求“空间相邻”意义下的最值，其中该窗口的每次移动都有1/2窗口重叠。通过S1层和C1层的组合，得到具有选择性和不变性的响应，同时达到数据降维的目的。

1.3 S2层：利用FastICA自主学习特征

在S2层采用FastICA的操作是因为它既满足了稀疏性又能够自主学习特征，与S1层的手工特征能很好的结合。在稀疏编码中，代价函数为

SC＝AS

根据FastICA算法，将代价函数转换为

FastICA算法迭代地求出一组W值后，根据需求将W当中的基向量从大到小排列。在本发明中选择前6个基向量作为特征模板对C1结果进行处理，最终C1的每个结果得到相应的6个响应图。

1.4 C2层：Max-Pooling

C2层的操作同C1层操作相似，将S2层得到的6个响应图拼接成一张大图，在这个大图上，在滑动窗口内求空间相邻的像素最大值，其中C2层采用的滑动窗口在滑动过程当中窗口不重叠。

步骤2利用脉冲编码将像素信息转换成时间信息

该编码策略采用两种类型的编码神经元，分别是兴奋性(excitatory)编码神经元和抑制性(inhibitory)编码神经元。根据像素值信息以及相应的位置信息，像素被判断为是激活状态还是抑制状态。每个像素都对应着一个编码神经元，根据一定规则将像素信息编码成对应的时间信息。该规则涉及三个步骤，分别是在周期震荡函数上进行编码，微调时间信息为t_step的倍数以及将时间信息按一定规律映射到输入神经元上，使得每个输入神经元对应一个脉冲序列。具体过程如下

step1:x_i∈j^th encoding neuron

step2:if t_i>t_max

t_i＝t_i-t_max

step3:

其中t_max＝500ms，t_setp＝1ms，n＝2，Input neurons＝220。

步骤3利用多层脉冲神经网络进行训练学习

为了提高脉冲神经网络的分类性能，本发明选择一个多层学习算法。该算法以概率方法构建输入层-隐含层、隐含层-输出层的函数：

在该方法中设置阈值电压V_thr＝15mV，每次产生脉冲重置电压的变化量为V_rest＝-15mV，设置不同层的逃逸率为Δu_h＝0.5mV，Δu_o＝5mV。膜时间常数和突触时间常数分别设置为10和5。用随机生成的泊松脉冲序列验证该算法的性能，结果如图4所示。可见原先散乱分布的脉冲，在经过隐含层和输出层的训练学习之后，逐渐能在设定的目标脉冲序列的周围产生脉冲。在最后的分类判定中，使用vRD(van Rossum Distance)指标判断实际输出脉冲序列与目标脉冲序列的距离，取距离小者为对应类别。简要的算法描述如下：

STDP根据实际输出脉冲与目标脉冲之间的误差计算权值变化量。再根据反向传播方法，使得在计算出输出层的权值变化量后，隐含层也能作相应的变化。在step2当中使用Adam算法调整学习率，从3(d)图中可以看出调整学习率后，实际输出的脉冲序列与目标脉冲序列的距离更加接近。

Claims (1)

1.一种基于分层特征提取与多层脉冲神经网络的图像识别方法，其特征在于该方法包括以下步骤：

步骤1.层次化视觉信息处理

步骤1.1.S1、C1层实现选择性与不变性

在S1层利用Gabor滤波器实现边缘信息的提取，主要操作是利用四个方向及两个尺度的Gabor滤波器组对输入图像进行滤波，得到八个响应图，采用的Gabor滤波器的公式为：

s.t.x₀＝xcosθ+ysinθ

and y₀＝-xsinθ+ycosθ

其中σ表示相位偏移，γ表示长宽比，λ表示波长，θ表示方向所选择的四个方向为0°，45°，90°，135°，选择的两个尺度则根据需要处理的图像大小确定；

图像在经过S1层实现边缘信息选择后，在C1层则利用Max-Pooling方法在同个方向的响应图内按滑动窗口大小求窗口内响应的最大值，然后在两个不同尺度的最大值图上，对各自对应的像素再求一次最大值；利用这两步操作得到空间相邻和尺度相邻的最大值图，得到具有不变性的响应，同时达到数据降维的目的；

步骤1.2.S2、C2层实现稀疏性以及自主学习

为了在S2层中能提取更多的图像信息以及不局限于提取边缘信息，在C1层的结果图上采用FastICA算法对其进行学习，且满足稀疏编码特性；稀疏编码的代价函数为

SC＝AS

其中SC表示输入向量，A表示系数矩阵，S表示基向量矩阵，λ为常数；a和s分别是矩阵A和矩阵S当中的元素，||·||_F表示Forbenius范式；

根据FastICA算法，将代价函数转换为

A为可逆矩阵，W可表示为W＝A^-1；表示W当中第j行，sc_i表示SC当中第i列，f_j(·)表示稀疏概率分布函数；

利用FastICA算法以及上述代价函数迭代计算出S2层的结果后，在C2层利用Max-Pooling将经过FastICA算法处理等到的线性特征转换成非线性特征，具体表示为

C2(x_i,y_j)＝maxS2(x_i,...i+m-1,y_i,...,i+m-1)

其中m表示滑动窗口大小；在C1层采用的Max-Pooling操作滑动窗口在移动过程中有m/2的窗口重叠，而在C2层的Max-Pooling当中移动过程窗口无重叠；

步骤2.像素信息到时间信息的转换

将相位编码作为连接层次化特征信息与脉冲神经网络的桥梁；该编码采用两种类型的编码神经元，分别是兴奋性编码神经元和抑制性编码神经元；根据像素值信息以及相应的位置信息，像素被判断为是激活状态还是抑制状态，其所对应的神经元利用规则将像素信息编码成对应的时间信息，具体过程如下

step1:x_i∈j^th encoding neuron

step2:if t_i>t_max

t_i＝t_i-t_max

step3:

其中x_i表示图像当中第i个像素，t_i表示第i个像素对应的时间，t_max表示时间窗口，t_step表示时间间隔，j^th表示第j类编码神经元，n表示编码神经元类别数；step3实现了编码后的时间信息与脉冲神经网络中输入神经元之间的映射，其中k表示第i个输入神经元包含了k个时间脉冲序列；该编码过程类似于动作电位的周期震荡，具有周期性；

步骤3.利用多层脉冲神经网络进行训练学习

采用多层脉冲神经网络作为分类学习器，构建的输入层-隐含层、隐含层-输出层的目标函数如下

其中x表示输入的时间序列，y表示隐含层输出的脉冲序列，z_o表示输出层输出的脉冲序列，z^ref表示输出层的目标脉冲序列，T为学习周期；为脉冲序列q的形式化表示，具体形式为

其中t^f表示第f个脉冲发放的时间；ρ为噪声逃逸率，表示膜电压大于阈值会产生脉冲的概率强度；

多层脉冲神经网络的简要训练过程如下：

输入脉冲在神经元的作用下，转换成动作电位在神经元之间传递，并且通过层与层之间的权值连接产生不同的强弱作用；最终根据输出层神经元产生脉冲的概率强度生成相应的输出脉冲；为了使输出脉冲序列接近目标脉冲序列，根据定义的目标函数，求解令隐含层-输出层目标函数有最大似然值的权值W；隐含层-输出层权值的调整导致输入层-隐含层权值也需做相应的调整，根据权值的链式求导，求得输入层-隐含层权值调整值；两层的权值调整值如下：

其中Δw_hi，Δw_oh分别表示输入层-隐含层，隐含层-输出层的权值调整值，Θ表示脉冲序列作用于神经元，使其产生电压的核函数；为了提高计算效率以及使权值调整更具生物性，隐含层-输出层的权值调整利用STDP算法进行优化；η表示学习率，为了更有效的调整权值，采用Adam算法对学习率进行优化；每轮计算后，投入到下一轮进行计算的权值为：

W←W+η·Δw

最后利用vRD指标判断实际输出脉冲序列与目标脉冲序列之间距离收敛或者训练周期结束来停止对网络的训练；在类别判定过程中，利用求得的权值以及vRD指标进行分类；实际输出脉冲序列与vRD最小值所对应的目标脉冲序列归为同一类。