CN107871136A - 基于稀疏性随机池化的卷积神经网络的图像识别方法 - Google Patents

Abstract

本发明所述基于稀疏性随机池化卷积神经网络的图像识别方法，该方法利用稀疏性随机池化的卷积神经网络来对图像进行特征提取并联结分类器分类识别，所述稀疏性随机池化的池化策略是：首先判别池化区域的稀疏程度来动态选取该区域的最佳特征值，并通过该最佳值使用高斯分布分配池化区域每个激活值概率权重，最后通过概率权重进行随机取值作为池化的输出值；本发明所述基于稀疏性随机池化卷积神经网络的图像识别方法的有益效果是：不仅能够优化特征提取阶段的特征信息，而且使模型在训练中一定程度上避免陷入局部最小值，增强了识别模型的泛化性与识别精度。

Description

基于稀疏性随机池化的卷积神经网络的图像识别方法

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种基于稀疏性随机池化的卷积神经网络的图像识别方法。

背景技术

图像识别是计算机视觉技术领域的核心分支，它集成了数字图像处理、模式识别和机器学习等学科知识，是图像检索、人脸识别、人机交互和智能视频监控等应用技术的基础。图像特征表达是图像识别研究的关键点，也是难点所在。所述图像特征表达是指：结合用户使用的场景，能够将图片中的主体信息从复杂的背景条件下准确地识别和提取出来，并使用当前人工智能领域较为先进的深度学习技术对获取到的图片信息进行训练分析，最终可以进行大数据分析和处理，形成以图像元素为核心的智能数据库，在国家安全、交通、互联网、医学影像等诸多领域具有广泛的应用前景。

卷积神经网络(Convolutional Neural Network)是由LeCun等提出的一种用于字体图像识别的前馈神经网络模型，它的神经元可以相应部分覆盖图像上一定范围内的周围单元，对大型图像的处理有着极佳的表现，已经广泛用于图像识别领域。卷积神经网络实质上是一种有监督的深度学习算法，通过局部感受野与权值共享，通过卷积核运算直接对二维图形进行特征提取并训练分类。卷积神经网络的基本架构是由一系列交迭相连的卷积层、池化层和非线性层以及全连接的输出层组成，采用反向传播算法对卷积神经网络中的权值参数逐层反向调整，通过不断的迭代训练次数使系统的误差不断降低，提高卷积神经网络的精度，最终得到卷积神经网络权值参数的最优解。其中池化层对上一层的特征通过人为设定的池化窗口大小以及步长进行池化计算，目的是减小特征的维度，并且使特征进一步聚合。现有池化方法最常用的是最大值池化算法和均值池化算法，其中基于最大值池化算法运用较为广泛，它是一种有效的提取特征算法，能够提取图像的纹理特征，但是却忽略了图像的背景的信息特征，且容易使训练的模型过拟合，这样将会导致模型在新样本上的识别效果变差。

发明内容

为了解决现有技术中存在的问题，本发明提出了一种基于稀疏性随机池化卷积神经网络的图像识别方法。

本发明所述基于稀疏性随机池化卷积神经网络的图像识别方法是通过以下技术方案来实现的：所述基于稀疏性随机池化卷积神经网络的图像识别方法，包括如下步骤：

1)构建图像样本集，包括训练集与测试集以及每张图像对应的标签集，其中设定好图像每一类别在分类器中的编码方式；

2)搭建卷积神经网络框架，包括特征提取框架与训练分类框架，特征提取阶段由多个卷积层与池化层交迭进行，训练分类阶段由全连接层与分类器层构成，用于将前端提取的图像特征经由全连阶层并以向量形式输入分类器；

3)训练过程中设置超参数，构造代价函数，利用BP算法每次根据最小批次的误差反向更新网络的权重；所述超参数包括学习率参数、Dropout层、带momentum的SGD、ReLu激活函数等；所述构造代价函数，即计算所得值与目标标签值的误差函数；然后利用BP算法每次根据最小批次的误差反向更新网络的权重；

4)图像输入识别模型的卷积层进行特征提取，输出特征图并连接下一个神经元作为新的输入数据进行操作，每个神经元只对图像的局部区域进行感知，两个相邻滑动窗口之间的距离称为步长，每个特征图谱上所有节点具有权重共享特性；

5)在卷积神经网络结构中的池化层采用稀疏随机池化操作，池化策略是根据池化区域的稀疏程度来动态得到该区域的最佳特征值，并通过该最佳特征值利用高斯分布以最佳特征值为中央分配区域其余激活值的权重，最后通过带权重的随机取值作为池化的输出值；

6)图像数据前向传播经过卷积层、池化层、非线性层和全连接层最后连接softmax分类器，计算交叉熵代价函数，并使用随机梯度下降法反向传播逐层调整权重减小误差；

7)重复步骤6)，经由网络的输入端到输出端不断的训练调整，使代价函数不断收敛，直至达到设定的训练次数或测试集上准确率不再提升则终止训练，获得CNN图像识别模型；

8)如图3(b)所示，使用训练好的网络对新的图像样本进行识别，得到最终分类结果。

本发明的有益效果是，本发明采用了基于稀疏性随机池化的卷积神经网络来提取图像特征并用于训练分类，针对池化区域进行判别，选取出最佳值作为区域的表征，并对该区域进行权重分配随机取值。这样不仅能够使卷积层得到的特征得到更好的特征表达效果，而且使模型在训练中一定程度上避免陷入局部最小值，增强了识别模型的泛化性与识别精度。

附图说明

图1为常规池化算法示意图。

图2为本发明所述基于稀疏性随机池化卷积神经网络的图像识别方法的卷积神经网络结构模型图。

图3为本发明所述基于稀疏性随机池化的卷积神经网络的稀疏性随机池化算法及应用示意图；其中分图(a)是本发明所述基于稀疏性随机池化的卷积神经网络的图像识别方法的稀疏性随机池化算法示意图；分图(b)是本发明所述基于稀疏性随机池化的卷积神经网络的图像识别方法的应用示意图。

附图中符号说明

a_i，i＝1,2,3…9：表示(3×3)池化区域的9个激活值；

a_max＝max(a_i)：表示最大值池化，选取池化区域最大值；

表示均值池化，选取池化区域平均值；

σ_i，i＝1,2,3：表示池化区域SVD分解后的奇异值；

V:表示根据奇异值判别池化区域的稀疏程度；

w_i，i＝1,2,3…9：表示高斯分布分配9个激活值概率权重；

：表示根据概率权重随机输出的池化结果。

具体实施方式

下面结合附图进一步说明本发明所述基于稀疏随机池化卷积神经网络的图像识别方法的技术方案，所述基于稀疏随机池化卷积神经网络的图像识别方法的技术方案包括以下步骤：

1)构建图像样本集，包括训练集与测试集以及每张图像对应的标签集，其中设定好图像每一类别在分类器中的编码方式；

2)搭建卷积神经网络框架，包括特征提取框架与训练分类框架，如图2所示，是基于稀疏性随机池化卷积神经网络的图像识别模型。构建了一个分级的特征提取和分类系统；分级通过堆叠一个或者多个特征提取阶段，每个阶段包括一个滤波器组合层、非线性变换层和一个池化层；分类系统由全连接层与softmax分类器层构成；

3)设置CNN图像识别模型的基本参数，训练过程中设置超参数，参数初始化超参数选用权重参数0.01均方差，0均值的高斯分布，minibatch size为128，dropout为0.5，采用ReLu激活函数等；代价函数选用交叉熵代价函数；在网络训练过程中，利用BP算法每次根据最小批次的误差反向更新网络的权重；

4)图像输入识别模型的卷积层进行特征提取，输出特征图并连接下一个神经元作为新的输入数据进行操作，每个神经元只对图像的局部区域进行感知，两个相邻滑动窗口之间的距离称为步长，每个特征图谱上所有节点具有权重共享特性；

卷积运算公式如下：

其中：为l层第j个神经元的输出特征；

M_j为卷积的区域；

为卷积的权重；

为偏置项；

*为卷积运算；

f()为激活函数；

如下可选：

Sigmoid函数：

ReLu函数：f(x)＝max(0,x)；

5)通过卷积层提取的图像特征向量经过池化层进行进一步的聚合操作降低特征维度，并具有一定的尺度不变性；如图1所示，常规的池化方法包括最大值池化与均值池化，最大值池化方法可以减小卷积层参数的误差造成估计均值偏移，更多保留图像的纹理信息，但是具有易过拟合的不足，均值池化更多的保留图像背景信息，但是忽视了高频信息；

如图3(a)所示，是本发明所述基于稀疏性随机池化策略，首先对池化区域进行稀疏性判别，根据稀疏程度V来动态决定该区域的最佳输出值，而不是单单用人工设定的池化策略，例如选取最大值或平均值；下一步根据该最佳输出值R来对池化区域的其余激活值进行概率权重分配并随机取样，权重分配采用高斯分布。公式如下：

最佳输出值R：

其中：为池化区域；

S()为稀疏度函数，用于判别池化区域的稀疏性；

F_p()为取值函数，根据稀疏度来输出最佳表征值R；

P()为高斯权重分配函数；

最后如图3(a)所示根据最佳表征值R对区域全部激活值分配概率权重，分配函数即为高斯分布，进行随机取值，符合权重越大的激活值取出的概率越大的准则；

6)图像数据前向传播经过卷积层、池化层、非线性层和全连接层最后连接softmax分类器，计算交叉熵代价函数，并使用随机梯度下降法反向传播逐层调整权重减小误差；

7)重复步骤6)，经由网络的输入端到输出端不断的训练调整，使代价函数不断收敛，直至达到设定的训练次数或测试集上准确率不再提升则终止训练，获得CNN图像识别模型；

8)如图3(b)所示，使用训练好的网络对新的图像样本进行识别，得到最终分类结果。

本发明的有益效果是，本发明采用了基于稀疏性随机池化的卷积神经网络来提取图像特征并用于训练分类，针对池化区域进行判别，选取出最佳值作为区域的表征，并对该区域进行权重分配随机取值。这样不仅能够使卷积层得到的特征得到更好的特征表达效果，而且使模型在训练中一定程度上避免陷入局部最小值，增强了识别模型的泛化性与识别精度。

本发明的实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本发明的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于稀疏性随机池化卷积神经网络的图像识别方法，其特征在于包括如下步骤：

1）构建图像样本集，包括训练集与测试集以及每张图片对应的标签集，其中设定好图像每一类别在分类器中的编码方式；

2）搭建卷积神经网络框架，包括特征提取框架与训练分类框架，特征提取阶段由多个卷积层与池化层交迭进行，训练分类阶段由全连接层与分类器层构成，用于将前端提取的图像特征经由全连阶层并以向量形式输入分类器；

3）训练过程中设置超参数，构造代价函数，利用BP算法每次根据最小批次的误差反向更新网络的权重；所述超参数包括学习率参数、Dropout层、带momentum的SGD、ReLu激活函数等；所述构造代价函数，即计算所得值与目标标签值的误差函数；然后利用BP算法每次根据最小批次的误差反向更新网络的权重；

4)图像输入识别模型的卷积层进行特征提取，输出特征图并连接下一个神经元作为新的输入数据进行操作，每个神经元只对图像的局部区域进行感知，两个相邻滑动窗口之间的距离称为步长，每个特征图谱上所有节点具有权重共享特性；

5）在卷积神经网络结构中的池化层采用稀疏随机池化操作，池化策略是根据池化区域的稀疏程度来动态得到该区域的最佳特征值，并通过该最佳特征值利用高斯分布以最佳特征值为中央分配区域其余激活值的权重，最后通过带权重的随机取值作为池化的输出值；

6）图像数据前向传播经过卷积层、池化层、非线性层和全连接层最后连接softmax分类器，计算交叉熵代价函数，并使用随机梯度下降法反向传播逐层调整权重减小误差；

7）重复步骤6），经由网络的输入端到输出端不断的训练调整，使代价函数不断收敛，直至达到设定的训练次数或测试集上准确率不再提升则终止训练，获得CNN图像识别模型；

8）如图3（b）所示，使用训练好的网络对新的图像样本进行识别，得到最终分类结果。

2.根据权利要求1所述一种基于稀疏性随机池化卷积神经网络的图像识别方法，其特征在于上述步骤1）与步骤2）中首先获得高质量的标注数据并对输入输出数据作归一化处理，分类器选用softmax分类器。

3.根据权利要求1所述一种基于稀疏性随机池化卷积神经网络的图像识别方法，其特征在于上述步骤3）中采用稀疏随机池化方法。

4.根据权利要求1所述一种基于稀疏性随机池化卷积神经网络的图像识别方法，其特征在于上述步骤）是卷积神经网络进行参数设置，参数初始化选用权重参数0.01均方差，0均值的高斯分布。

5.根据权利要求1所述一种基于稀疏性随机池化卷积神经网络的图像识别方法，其特征在于上述步骤5）的代价函数采用交叉熵代价函数。