CN107480707B - 一种基于信息无损池化的深度神经网络方法 - Google Patents

Abstract

本发明涉及一种基于信息无损池化的深度卷积神经网络方法，用于图像分类，包括下列步骤：收集各种不同类别的图像，并标注图像类别，作为图像标签信息；图像集划分，将收集的图像划分为训练集，验证集和测试集；设计基于信息无损池化的卷积神经网络结构，包括所用的卷积层层数和信息无损池化层的层数，设计卷积层中滤波器的个数，设计信息无损池化层的高斯平滑滤波器参数，池化窗口尺寸以及用于特征融合的卷积滤波器结构，设计网络训练循环迭代的次数和网络最终收敛条件，并初始化网络参数；将训练数据批量的输入到该网络中，进行计算和训练。

Description

一种基于信息无损池化的深度神经网络方法

技术领域

本发明涉及计算机视觉领域中高性能的图片分类和物体识别的方法，特别是涉及采用深度学习方法的进行图片分类和物体识别的方法。

背景技术

近年来，深度学习技术广泛的应用于计算机视觉领域的图像分类、语义分割和物体检测以及自动驾驶等多个任务上。作为深度学习技术中重要的实现方法，深度卷积神经网络在众多任务上取得了显著的效果。

深度卷积神经网络往往由多层卷积层和池化层组成，其中卷积层包含滤波器参数用于提取特征，池化层用于保持神经网络的平移不变性，减少数据扰动对神经网络性能产生的影响，并实现对输入特征的选择和采样。

在深度神经网络中，池化操作往往是对输入特征的某个正方形邻域进行特征采样，特征采样结果所得到的特征的优劣对后续的结果往往影响很大。在诸多池化方法中，通常采用的池化方法有三种：基于传统选取的池化方法、基于学习的池化方法和基于域变换的池化方法。基于传统选取的池化方法常用的有最大值池化(选取某邻域内的最大值作为池化采样输出结果)、平均值池化(输出邻域内的所有特征值的平均值作为池化结果)和随机池化[1](根据领域内各特征值的概率大小进行随机选取特征值并输出)。基于学习的池化方法，如[2]提出通过增加卷积层的滑动步长来实现池化操作，[3]提出通过学习一个池化函数来实现对传统的多种池化方法的组合，是一种混合的方法。虽然相比于传统的最大值和均值池化方法，上面提到的其他方法在一定程度上对池化层操作进行了改进，并提升了深度卷积神经网络的性能，但是在池化层的操作中，普遍存在的一个问题就是特征信息的丢失问题。在池化层的操作过程中，以上的方法会选取对应方法所重视的特征，而将其他不满足要求的特征丢弃，如对于最大值池化时，丢弃特征值较小的特征。因为在某邻域中选取特征之后，输出的特征维度往往会得到降低，大部分不满足对应方法要求的特征值会被丢弃，因此而带来较为严重的特征损失。

基于频域变换的方法[4]，提出将特征变换到频域，并在频域进行特征选取，再变换回空间域进行后续操作。在频域中进行特征选取可以对输出特征维度进行任意选择，并通过削减能量占比较小的高频成分，保留能量较大的低频成分，使得大部分信息得到保持。但是因为涉及到频繁的空间域和频域的转换，此方法复杂度较高，在实际应用中会降低物体识别和检测的效率。

对比以上方法存在的信息损失的缺陷，本专利提出一种基于信息无损的池化方法，用于进一步提升深度卷积神经网络的性能。以图像识别分类任务为例：首先，输入的图像数据经过深度神经网络的卷积层用于提取层次特征。之后，将卷积层特征输入到信息无损池化层，该池化层将特征进行分割重新排列，并输出池化层保留的所有特征。通过迭代的对深度神经网络进行训练，得到最后的网络模型。最后，应用该模型进行图像识别和分类。

参考文献：

[1]M.Zeiler and R.Fergus,“Stochastic pooling for regularization ofdeep convolutional neural networks,”In Proc.International Conference onLearning Representations,2013.

[2]J.Springenberg,A.Dosovitskiy,T.Brox T,M.Riedmiller,“Striving forsimplicity:the all convolutional net,”CoRR,abs/1412.6806,2014.

[3]C.Lee,P.Gallagher,Z.Tu,“Generalizing pooling functions inconvolutional neural networks:mixed,gated,and tree,”CoRR,abs/1509.08985,2015.

[4]Rippel,J.Snoek,and R.Adams,“Spectral representations forconvolutional neural networks,”In Proc.Advances in Neural InformationProcessing Systems,2015,pp.2449-2457.

[5]M.Lin,Q.Chen,and S.Yan,“Network in network,”CoRR,abs/1312.4400,2013.

发明内容

本发明的目的是克服现有的深度神经网络中的池化层操作中存在的特征信息损失、池化操作复杂度较高的问题，提出基于信息无损池化的深度神经网络方法，能够有效保持池化过程中所有特征图的特征信息，进一步提升深度神经网络用于各计算机视觉任务的性能。技术方案如下：

一种基于信息无损池化的深度卷积神经网络方法，用于图像分类，包括下列步骤：

1)收集各种不同类别的图像，并标注图像类别，作为图像标签信息；

2)图像集划分，将收集的图像划分为训练集，验证集和测试集，训练集用于训练卷积神经网络，验证集用于选择最佳的训练模型，测试集为后续测试模型效果或者实际应用时使用；

3)设计基于信息无损池化的卷积神经网络结构，包括所用的卷积层层数和信息无损池化层的层数，设计卷积层中滤波器的个数，设计信息无损池化层的高斯平滑滤波器参数w_i，池化窗口尺寸s以及用于特征融合的卷积滤波器结构，设计网络训练循环迭代的次数和网络最终收敛条件，并初始化网络参数；

4)将训练数据批量的输入到该网络中，进行计算和训练，具体步骤如下：

a)将训练数据输入网络中，计算第一个信息无损池化层之前的所有卷积层，并得到卷积层特征X∈R^H×W×D，其中H×W表示输出的特征图的大小，D表示输出的特征图的通道数，并将其输入到信息无损池化层；

b)对输入到当前池化层的特征X进行信息无损池化操作；

1)对输入特征图进行高斯平滑滤波，以保持网络的平移不变性，得到特征图Y；

2)对平滑结果进行特征分割操作，分割降低了单特征图的维度，增加特征通道数，保持所有输入信息，得到特征图Z；

3)将输出的特征图Z进行特征融合操作，即通过特殊卷积滤波器得到输出特征Y′；

4)将特征图Y′输出到后续的卷积层进行后续操作；

c)按照步骤a)和步骤b)计算后续的卷积层和信息无损池化层；

d)计算损失并进行反向传播，按照梯度下降法更新网络权重；

e)循环步骤a)～d)，经过多次迭代后，损失收敛，验证集错误率降到最低，得到训练好的神经网络模型；

5)当输入待分类的图像时，通过该模型可以计算得到当前图像的类别。

采用本发明，将基于信息无损池化的深度卷积神经网络用于计算机视觉领域的各个任务中，可以保证网络具有平移不变性的同时，最大限度的保持和融合所有特征信息，进一步提升网络的性能。同时，该方法实现简单，在保证网络处理效率的基础上，能有效的提升网络性能。通过应用本专利方法，实现图像识别分类任务，该方法的性能得到证明。

将本专利方法应用于NIN[5]网络结构中，替换其中的池化操作为信息无损的池化操作，在CIFAR100图像数据库上进行分类实验，本专利方法相较于传统NIN的方法，分类错误率下降3个百分点，效果提升明显。

附图说明

图1中(a)(b)描述了传统的池化操作，(c)和(d)描述了本专利提出的信息无损池化的分割操作。

图2描述了本专利提出的信息无损池化操作的整体流程。

图3描述了本专利提出的信息无损池化的深度卷积神经网络方法用于图像物体分类的示例。

具体实施方式

下面结合附图对本专利作进一步的描述。

图1(a)(b)描述了传统的池化操作。在传统的池化操作中，假设一个邻域包含如图(a)所示的四个数值(1.5,1.1,2.0,0.8)，经过传统的池化操作，如最大值池化操作，输出最大值2.0作为当前邻域的输出。即用一个数值代替当前邻域值，而将其他值丢弃。如图(b)，经过传统的池化操作(步长为2)，单张特征图维度降低为原来的一半。但是在此过程中，部分信息损失而无法恢复，是一种信息有损的池化操作，限制了神经网络应用于图像识别等任务时的性能。

图1(c)(d)描述了本专利提出的信息无损池化中的分割操作，即将图(c)中的四个数值(1.5,1.1,2.0,0.8)分别分配到四张不同的特征图中而全部保留下来，能够有效的保持信息。如图(d)所示，经过本专利的分割操作，单通道特征图维度得到降低，有利于网络的训练，同时增加通道数量以保持信息，有利于提取更为丰富的特征。

图2描述了本专利提出的信息无损池化的整体流程，主要包括平滑滤波、特征分割和特征融合三步，详细操作过程如下：

(1)平滑滤波。对输入到当前池化层的特征X进行高斯平滑，以保持池化层的平移不变性。平滑操作如下：

其中x_i∈R^H×W×1∈X，f_gaussian为高斯平滑函数，w_i∈R^h×w表示第i个高斯滤波器，h×w表示滤波窗口的大小，

代表滤波(卷积)操作，y_i为每个特征图滤波后的结果。

(2)特征分割。对滤波后的各个特征图进行分割操作，保留所有特征并实现池化层的下采样的作用。以一个特征图中的一个2×2的邻域为例，对于本专利提出信息无损的池化操作，将该邻域进行分割成4个1×1的小块，并将所有值作为池化层的输出。

z_i＝f_s(y_i),i＝1,2,…,D，

s×s代表池化的邻域窗口尺寸，f_s表示对输入进行的分割操作，

表示分割后的输出结果。从该结果可以看出，经过本专利的池化分割操作，一个输入特征图将对应输出多个(s²)特征图，使得所有的特征都能保留，特征信息没有损失。分割操作后，总的输出结果为

(3)特征融合。将分割操作所得到的所有特征图进行融合操作，使得池化特征得到融合。

y_i′表示特征融合后的输出结果，

表示用于特征融合的权重参数,m×n表示融合窗口的大小。即经过无损池化后的输出结果为

本专利可应用于图像识别分类任务，但不局限于此任务。基于信息无损池化的深度卷积神经网络可用于解决深度学习可应用场景中的诸多任务。图3描述了基于信息无损池化的深度卷积神经网络用于图像分类识别的示例，在此介绍本专利用于图像分类识别任务上的实施方式。

将本发明应用于图像分类任务中，主要包含三个步骤：收集图像，准备数据集；设计并训练基于信息无损池化的深度卷积神经网络；测试/应用识别模型。其具体实现步骤描述如下：

第一步：收集图像，准备数据集。

(1)收集图像。收集各种不同类别的图像，并标注图像类别，作为图像标签信息。收集图像的大小尺寸不做限制，网络结构可据此调整。作为一种示例，在此数据采用的格式为32x32x3的彩色图像格式，所有图像经过随机翻转的数据增强和归一化操作。

(2)图像集划分。将收集的图像划分为训练集，验证集和测试集。训练集用于训练卷积神经网络，验证集用于选择最佳的训练模型，测试集为后续测试模型效果或者实际应用时使用。

第二步：设计并训练基于信息无损池化的卷积神经网络。

(1)设计基于信息无损池化的卷积神经网络结构。设计应用于图像分类的深度神经网络结构，包括所用的卷积层层数和信息无损池化层的层数，设计卷积层中滤波器的个数，设计信息无损池化层的高斯平滑滤波器参数w_i，池化窗口尺寸s以及用于特征融合的卷积滤波器结构，设计网络训练循环迭代的次数和网络最终收敛条件，并初始化网络参数。具体的，作为一种示例，本发明采用的高斯滤波器为标准滤波器，尺寸为3×3，并固定该滤波器不进行更新。采用的池化窗口尺寸为2×2，步长为2。为减少计算复杂度，采用1×1的卷积滤波器作为无损池化层中的特征融合滤波器。

(2)训练设计好的基于信息无损池化的卷积神经网络。将训练数据批量的输入到该网络中，进行计算和训练，具体步骤如下：

a)将训练数据输入网络中，计算第一个信息无损池化层之前的所有卷积层，并得到卷积层特征X∈R^H×W×D，其中H×W表示输出的特征图的大小(以H×W＝28×28为例进行说明)，D(以D＝32为例进行说明)表示输出的特征图的通道数，并将其输入到信息无损池化层。

b)对输入到当前池化层的特征X进行信息池化操作。

1)对输入的特征图进行高斯平滑滤波。滤波后的特征Y∈R^28×28×32,即与输入特征保持相同的大小。

2)对滤波后的特征Y′进行特征分割。由于采用的池化窗口尺寸为2×2，步长为2，则经过特征分割操作，得到的输出特征Z∈R^14×14×128，通过对比Y和Z，分割后单张特征图维度降低为原来的1/4，通道数增加为原来的4倍，有效的保持了通道内信息。

3)对分割特征进行特征融合。采用卷积滤波器ω∈R^{1×1×128×32}，对Z进行卷积操作，得到融合后的特征Y′∈R^14×14×32。融合操作引入了少量待学习参数，降低通道数，降低计算复杂度。

c)按照步骤a)和步骤b)计算后续的卷积层和信息无损池化层。

d)计算损失并进行反向传播，按照梯度下降法更新网络权重。

e)循环步骤a)～d)，经过多次迭代后，损失收敛，验证集错误率降到最低，得到训练好的神经网络模型。

第三步：测试/引用训练好的网络模型。

(1)准备好测试集数据，调用设计好的网络结构和训练好的网络参数，并将测试集批量或单张的输入到训练好的模型中。

(2)前向计算，将数据依次通过神经网络的各卷积层和信息无损池化层，计算各层的特征。

输出分为各类的概率，并选择概率最大的类别作为最终的图像分类结果。

Claims (1)

1.一种基于信息无损池化的深度卷积神经网络方法，用于图像分类，包括下列步骤：

1)收集各种不同类别的图像，并标注图像类别，作为图像标签信息；

2)图像集划分，将收集的图像划分为训练集、 验证集和测试集，训练集用于训练卷积神经网络，验证集用于选择最佳的训练模型，测试集为后续测试模型效果或者实际应用时使用；

3)设计基于信息无损池化的卷积神经网络结构，包括所用的卷积层层数和信息无损池化层的层数，设计卷积层中滤波器的个数，设计信息无损池化层的高斯平滑滤波器参数w_i，池化窗口尺寸s以及用于特征融合的卷积滤波器结构，设计网络训练循环迭代的次数和网络最终收敛条件，并初始化网络参数；信息无损池化的整体流程，包括平滑滤波、特征分割和特征融合三步：平滑滤波，对输入到当前池化层的特征X进行高斯平滑，以保持池化层的平移不变性；特征分割：对滤波后的各个特征图进行分割操作，保留所有特征并实现池化层的下采样的作用；特征融合：分割操作所得到的所有特征图进行融合操作，使得池化特征得到融合；

4)将训练数据批量的输入到该网络中，进行计算和训练，具体步骤如下：

a)将训练数据输入网络中，计算第一个信息无损池化层之前的所有卷积层，并得到卷积层特征X∈R^H×W×D，其中H×W表示输出的特征图的大小，D表示输出的特征图的通道数，并将其输入到信息无损池化层；

b)对输入到当前池化层的特征X进行信息无损池化操作，包括：

对输入特征图进行高斯平滑滤波，以保持网络的平移不变性，得到特征图Y；

对平滑结果进行特征分割操作，分割降低了单特征图的维度，增加特征通道数，保持所有输入信息，得到特征图Z；

将输出的特征图Z进行特征融合操作，即通过特殊卷积滤波器得到输出特征Y^′；

将特征图Y^′输出到后续的卷积层进行后续操作；

c)按照步骤a)和步骤b)计算后续的卷积层和信息无损池化层；

d)计算损失并进行反向传播，按照梯度下降法更新网络权重；

e)循环步骤a)～d)，经过多次迭代后，损失收敛，验证集错误率降到最低，得到训练好的神经网络模型；

5)当输入待分类的图像时，通过该模型计算得到当前图像的类别。

Images