CN110119805B - 基于回声状态网络分类的卷积神经网络算法 - Google Patents

Abstract

本发明提供基于回声状态网络分类的卷积神经网络算法，主要包括:用ESN代替CNN模型中的全连接层，并推导出了新的残差迭代公式，在此基础上该模型继续沿用CNN的反向传播算法训练CNN的隐藏层参数，以及使用线性回归法则训练ESN的输出权重。通过在MNIST手写数字识别数据集、Fashion MNIST物体识别数据集和ORL人脸识别数据集上的仿真实验证明了本发明的可行性，同时实验结果反映出该模型既保留了CNN多层次特征提取的能力，又通过引入ESN模块减少了算法的训练时间以及提升了其在小样本数据集上的性能。

Description

基于回声状态网络分类的卷积神经网络算法

技术领域

本发明涉及信号处理技术领域，特别是涉及基于回声状态网络分类的卷积神经网络算法。

背景技术

卷积神经网络(Convolution Neural Network，CNN)是一种可以自动提取图像多层次特征的深度神经网络，因具有权值共享、稀疏连接和池化操作的特点，使得其被广泛应用在目标检测、人脸识别和自然语言处理等领域。但目前的CNN算法普遍存在训练时间成本较高的问题，这使得其占用了大量的计算资源；同时CNN在小样本数据集上表现不佳，容易出现过拟合现象。如何解决这两个问题是目前CNN优化算法的研究重点。

发明内容

为了解决以上问题，本发明提供基于回声状态网络分类的卷积神经网络算法，将回声状态网络引入卷积神经网络中，代替卷积神经网络的全连接层，提出了基于回声状态网络分类的卷积神经网络模型。并推导出了该模型的前向和反向传播算法，并且将该算法应用在图像识别领域，为达此目的，本发明提供基于回声状态网络分类的卷积神经网络算法，所述基于回声状态网络分类的卷积神经网络算法包含卷积层、池化层和ESN层三种结构，所述模型的前向传播算法和反向传播算法的给出如下；

E-CNN的前向传播算法：

E-CNN的前向传播算法按照该隐藏层的类型可分为以下三种情况：

(1)该隐藏层是卷积层的情况；

设第l层是卷积层，则l的取值范围是l＝2,3,...,L-1，其中第L层表示网络的输出层，

表示第l层的第i个输入图片或特征图，共有I个图片或特征图，a_j ^n,l表示第l层的第j个输出特征图，共有K个输出特征图；W_ij表示

向a_j ^n,l映射的卷积矩阵，b_j ^l表示为该过程的偏置，则该卷积层的运算过程可表示为:

其中，“*”表示第l层的卷积核与第l-1层各个输出特征图进行不补零卷积操作；σ(·)表示该隐藏层的激活函数；

(2)该隐藏层是池化层的情况：

设第l层是池化，该层池化矩阵的大小为k×k；该层的一个输入及其对应输出分别表示为a^n,l-1、a^n,l，则池化操作的表达式如(2)所示；

其中，down(·)表示下采样函数；

(3)该隐藏层是ESN层的情况：

首先将ESN层可以转化为一个包含两个隐藏层的网络结构，其a^n,L-1(t+1)表示t+1时刻ESN的第n个输入；hⁿ(t)表示与a^n,L-1(t)对应的储备池状态向量；a^n,L-1(t+1)与hⁿ(t)分别经过W_in、W_R两个权重的处理输出为hⁿ(t+1)；hⁿ(t+1)表示与aa^n,L-1(t+1)对应的储备池状态向量，设aa^n,L-1(t+1)＝hⁿ(t+1)＝f(zz^n,L-1(t+1))为一个中间输出变量，t+1时刻第n个储备池状态向量表示为：

其中，W_in、W_R分别表示储备池输入矩阵、储备池矩阵；f(·)表示储备池激活函数，这里取tanh，t+1时刻第L层第n个输出可表示为：aa^n,L-1(t+1)经输出权值W_out加权后，再经过一个激活函数σ(·)处理后的输出向量，即

E-CNN的反向传播算法：

E-CNN模型的训练规则是：对ESN的输出权重更新采用线性回归算法，而对卷积层的权重更新仍采用基于梯度下降的BP算法；

设与t+1时刻E-CNN网络的输出a^L(t+1)＝[a^1,L(t+1),...,a^n,L(t+1),...,a^N,L(t+1)]对应的教师信号为y(t+1)＝[y¹(t+1),...,yⁿ(t+1),...,y^N(t+1)]，采用网络实际输出与理想输出的均方误差作为网络训练的损失函数：

其中，||·||₂表示对“·”取L2范数；W表示CNN各隐藏层的权重，b表示对应隐藏层的偏置；

(1)第L层的残差表达式为：

(2)中间变量δδ^n,L-1(t+1)表达式：

定义中间变量的残差为：

推导出中间变量表达式为：

其中，f′(·)表示对f(·)求导，表示储备池激活函数；“⊙”表示Hadamard积，对于两个维度相同的向量A＝(a₁,a₂,...,a_n)^T和B＝(b₁,b₂,...,b_n)^T，则有A⊙B＝(a₁b₁,a₂b₂,...,a_nb_n)^T；σ′(·)表示对σ(·)函数求导；

(3)δ^n,L-1(t+1)的表达式：

其中，σ′(·)表示对σ(·)求导，这里的σ(·)函数是第L-1层的输出激活函数；

(4)对于l＝L-2～2的情况，残差δ^l(t+1)的表示表达式可以分为两种情况：

a)当第l层是卷积层时，其残差公式可以表示为：

其中，up(·)表示与down(·)函数相对应的上采样函数；

b)当第l层是池化层时，其残差公式可以表示为：

其中，

表示全卷积计算，即先对δ_j ^n,l+1进行补零以使得其满足卷积后δ_i ^n,l的尺度要求；rot180(·)表示对W_ij ^l+1旋转180度，在空间上表现为将矩阵W_ij ^l+1先上下翻转再左右翻转；

(5)更新卷积层权重：

其中，W_ij表示

向a_j ^n,l(t+1)映射的卷积矩阵，b_j ^l表示为该过程的偏置；(·)_uv表示遍历δ_j ^n,l的每一个元素；

(6)更新ESN输出权值：

令Y＝[y(1),y(2),...,y(T)]表示ESN层在t＝0,1,...,T-1时刻的理想输出矩阵，用H＝[h(1),h(2),...,h(T)]表示与之对应的储备池状态矩阵，则输出权值为：

W_out＝YH^T(HH^T+λI)^-1 (13)

其中，λ表示正则化系数；

训练结束后，输出模型各个隐藏层的权重和偏置。

作为本发明进一步改进，所述E-CNN的前向传播算法中隐藏层是卷积层的情况中隐藏层的激活函数采用sigmiod激活函数。

作为本发明进一步改进，所述E-CNN的前向传播算法中隐藏层是池化层的情况中隐藏层的下采样函数有MEAN和MAX两种类型。

本发明提供基于回声状态网络分类的卷积神经网络算法(E-CNN)，主要包括:用ESN代替CNN模型中的全连接层，并推导出了新的残差迭代公式，在此基础上该模型继续沿用CNN的反向传播算法训练CNN的隐藏层参数，以及使用线性回归法则训练ESN的输出权重。通过在MNIST手写数字识别数据集、Fashion MNIST物体识别数据集和ORL人脸识别数据集上的仿真实验证明了本发明的可行性，同时实验结果反映出该模型既保留了CNN多层次特征提取的能力，又通过引入ESN模块减少了算法的训练时间以及提升了其在小样本数据集上的性能，本发明在多个数据集上均取得较好的识别性能，同时还减少了算法的训练时间成本；另外本发明在小样本数据集上的性能也远好于传统卷积神经网络。

附图说明

图1为本发明提供的基于回声状态网络分类的卷积神经网络(E-CNN)模型结构图；

图2为本发明提供的E-CNN模型的ESN层前向传播结构图；

图3为本发明提供的CNN、E-CNN在不同样本数量下的测试误识率示意图。

具体实施方式

下面结合附图与具体实施方式对本发明作进一步详细描述：

本发明提供基于回声状态网络分类的卷积神经网络算法，将回声状态网络引入卷积神经网络中，代替卷积神经网络的全连接层，提出了基于回声状态网络分类的卷积神经网络模型。并推导出了该模型的前向和反向传播算法，并且将该算法应用在图像识别领域。

实施例1：

本仿真实验在主频为2.5GHz、12核、CPU型号为Intel Xeon E5-2678v3、内存为64GB的服务器上进行，使用MATLAB R2016b作为算法的编辑器。

这里CNN与E-CNN的两个卷积层C2、C4的卷积核个数设置为6、16，大小均为5×5；两个下采样层P3、P5的模式均为MEAN，采样区域均为2×2；激活函数均选择sigmoid函数，学习率均设为1。E-CNN的储备池规模N_R＝1000，储备池状态激活函数选择tanh，输出激活函数选则线性输出函数，正则化参数λ＝1×e^-7，这里同样不再设置储备池的空转。

将在CIFAR-10数据集上预训练得到的CNN模型参数作为实验的初始值。在28*28大小的图像周围补零，使其成为32*32大小的图像。本实验采用批处理方法，设N＝50，并将CNN和E-CNN的梯度更新步长设为1。

在数据集Fashion MNIST上进行试验，表1、表2展示了CNN、E-CNN在不同迭代次数下的算法测试误识率和训练时间。

表1 CNN、E-CNN在不同迭代次数下的测试误识率(％)

表2 CNN、E-CNN在不同迭代次数下的训练时间(秒)

由表1看出：相同迭代次数下，E-CNN的误识率远小于CNN，这说明E-CNN的识别性能远好于CNN；同时E-CNN算法迭代10次的算法性能与CNN迭代20次的算法性能相近，而此时E-CNN算法的训练时间仅为CNN算法的一半左右(如表2所示)，这说明E-CNN算法节约了算法的训练时间。

实施例2：

本仿真实验在主频为2.5GHz、12核、CPU型号为Intel Xeon E5-2678v3、内存为64GB的服务器上进行，使用MATLAB R2016b作为算法的编辑器。

这里CNN与E-CNN的两个卷积层C2、C4的卷积核个数设置为6、16，大小均为5×5；两个下采样层P3、P5的模式均为MEAN，采样区域均为2×2；激活函数均选择sigmoid函数，学习率均设为1。E-CNN的储备池规模N_R＝1000，储备池状态激活函数选择tanh，输出激活函数选则线性输出函数，正则化参数λ＝1×e^-7，这里同样不再设置储备池的空转。

将在CIFAR-10数据集上预训练得到的CNN模型参数作为实验的初始值。在28*28大小的图像周围补零，使其成为32*32大小的图像。本实验采用批处理方法，设N＝50，并将CNN和E-CNN的梯度更新步长设为1。

通过比较E-CNN、CNN在Epoch＝20、训练样本数分别为1万、2万、3万、4万时的表现，来验证两种算法在小样本训练数据集上的性能，具体见图3、表3。

表3 CNN、E-CNN在不同样本数量下的测试误识率(％)

由表3、图3可以看出，E-CNN在小样本数据集上的误识率远小于CNN，且样本数越小，E-CNN相比CNN的性能提升比越大，这说明E-CNN在小样本数据集上的性能远好于CNN。

以上所述，仅是本发明的较佳实施例而已，并非是对本发明作任何其他形式的限制，而依据本发明的技术实质所作的任何修改或等同变化，仍属于本发明所要求保护的范围。

Claims (3)

1.基于回声状态网络分类的卷积神经网络方法，其特征在于：所述基于回声状态网络分类的卷积神经网络方法包含卷积层、池化层和ESN层三种结构，所述方法的前向传播方法和反向传播方法的给出如下；

E-CNN的前向传播方法：

E-CNN的前向传播方法按照隐藏层的类型分为以下三种情况：

(1)该隐藏层是卷积层的情况；

设第l层是卷积层，则l的取值范围是l＝2,3,...,L-1，其中第L层表示网络的输出层，

表示第l层的第i个输入图片或特征图，共有I个图片或特征图，a_j ^n,l表示第l层的第j个输出特征图，共有K个输出特征图；W_ij表示

向a_j ^n,l映射的卷积矩阵，b_j ^l表示为该过程的偏置，则该卷积层的运算过程表示为:

其中，“*”表示第l层的卷积核与第l-1层各个输出特征图进行不补零卷积操作；σ(·)表示该隐藏层的激活函数；

(2)该隐藏层是池化层的情况：

设第l层是池化，该层池化矩阵的大小为k×k；该层的一个输入及其对应输出分别表示为a^n,l-1、a^n,l，则池化操作的表达式如(2)所示；

其中，down(·)表示下采样函数；

(3)该隐藏层是ESN层的情况：

首先将ESN层转化为一个包含两个隐藏层的网络结构，其a^n,L-1(t+1)表示t+1时刻ESN的第n个输入；hⁿ(t)表示与a^n,L-1(t)对应的储备池状态向量；a^n,L-1(t+1)与hⁿ(t)分别经过W_in、W_R两个权重的处理输出为hⁿ(t+1)；hⁿ(t+1)表示与aa^n,L-1(t+1)对应的储备池状态向量，设aa^n,L-1(t+1)＝hⁿ(t+1)＝f(zz^n,L-1(t+1))为一个中间输出变量，t+1时刻第n个储备池状态向量表示为：

其中，W_in、W_R分别表示储备池输入矩阵、储备池矩阵；f(·)表示储备池激活函数，这里取tanh，t+1时刻第L层第n个输出表示为：aa^n,L-1(t+1)经输出权值W_out加权后，再经过一个激活函数σ(·)处理后的输出向量，即

E-CNN的反向传播方法：

E-CNN模型的训练规则是：对ESN的输出权重更新采用线性回归方法，而对卷积层的权重更新仍采用基于梯度下降的BP方法；

设与t+1时刻E-CNN网络的输出a^L(t+1)＝[a^1,L(t+1),...,a^n,L(t+1),...,a^N,L(t+1)]对应的教师信号为y(t+1)＝[y¹(t+1),...,yⁿ(t+1),...,y^N(t+1)]，采用网络实际输出与理想输出的均方误差作为网络训练的损失函数：

其中，||·||₂表示对“·”取L2范数；W表示CNN各隐藏层的权重，b表示对应隐藏层的偏置；

(1)第L层的残差表达式为：

(2)中间变量δδ^n,L-1(t+1)表达式：

定义中间变量的残差为：

推导出中间变量表达式为：

其中，f′(·)表示对f(·)求导，表示储备池激活函数；“·”表示Hadamard积，对于两个维度相同的向量A＝(a₁,a₂,...,a_n)^T和B＝(b₁,b₂,...,b_n)^T，则有A·B＝(a₁b₁,a₂b₂,...,a_nb_n)^T；σ′(·)表示对σ(·)函数求导；

(3)δ^n,L-1(t+1)的表达式：

其中，σ′(·)表示对σ(·)求导，这里的σ(·)函数是第L-1层的输出激活函数；

(4)对于l＝L-2～2的情况，残差δ^l(t+1)的表示表达式分为两种情况：

a)当第l层是卷积层时，其残差公式表示为：

其中，up(·)表示与down(·)函数相对应的上采样函数；

b)当第l层是池化层时，其残差公式表示为：

其中，

表示全卷积计算，即先对δ_j ^n,l+1进行补零以使得其满足卷积后δ_i ^n,l的尺度要求；rot180(·)表示对W_ij ^l+1旋转180度，在空间上表现为将矩阵W_ij ^l+1先上下翻转再左右翻转；

(5)更新卷积层权重：

其中，W_ij表示

向a_j ^n,l(t+1)映射的卷积矩阵，b_j ^l表示为该过程的偏置；(·)_uv表示遍历δ_j ^n,l的每一个元素；

(6)更新ESN输出权值：

令Y＝[y(1),y(2),...,y(T)]表示ESN层在t＝0,1,...,T-1时刻的理想输出矩阵，用H＝[h(1),h(2),...,h(T)]表示与之对应的储备池状态矩阵，则输出权值为：

W_out＝YH^T(HH^T+λI)^-1 (13)

其中，λ表示正则化系数；

训练结束后，输出模型各个隐藏层的权重和偏置。

2.根据权利要求1所述的基于回声状态网络分类的卷积神经网络方法，其特征在于：所述E-CNN的前向传播方法中隐藏层是卷积层的情况中隐藏层的激活函数采用sigmiod激活函数。

3.根据权利要求1所述的基于回声状态网络分类的卷积神经网络方法，其特征在于：所述E-CNN的前向传播方法中隐藏层是池化层的情况中隐藏层的下采样函数有MEAN和MAX两种类型。

Images