CN111882040B - 基于通道数量搜索的卷积神经网络压缩方法 - Google Patents

Abstract

本发明提出了一种基于通道数量搜索的卷积神经网络压缩方法，其步骤为：首先，选择用于图像识别的目标图像数据集，并划分为训练集与测试集；其次，将训练集输入卷积神经网络中进行训练，输出卷积神经网络对应的每一个通道的重要性指标；然后将重要性指标值与设定的阈值进行对比，将低于阈值的重要性指标对应的通道舍弃，得到改进的卷积神经网络；最后，利用深度卷积层替换掉改进的卷积神经网络的卷积层，得到轻量级的网络模型，并将测试集输入轻量级的网络模型验证轻量级的网络模型的识别性能。本发明将通道数量的搜索与改善网络卷积方式相结合来构建轻量级卷积神经网络模型，极大减少了网络模型的参数，提高了模型的运算速度。

Description

基于通道数量搜索的卷积神经网络压缩方法

技术领域

本发明涉及图像处理技术领域，特别是指一种基于通道数量搜索的卷积神经网络压缩方法。

背景技术

卷积神经网络在计算机视觉领域已经表现出巨大的优势，然而，由于深度卷积神经网络的高存储与高消耗的弊端，使其难以部署到边缘计算设备上，比如自动化的机器人、无人机、智能手机等。为了解决这个问题，大量关于卷积神经网络压缩的研究已经开展。比较常见的技术主要有参数量化，知识蒸馏，低秩分解与剪枝等。在上述方法中，剪枝被认为是最有效压缩网络模型的工具之一，其通过舍弃不重要的权重或者整个滤波器以达到使计算复杂度下降的目的。如果运行在专门定制的软件或者硬件平台上，权重剪枝的办法可以达到压缩与加速的效果。相反，滤波器剪枝可以运行在一般的硬件平台或BLAS库上，因为它将整个滤波器移除了。尽管如此，滤波器剪枝需要判定滤波器重要性、剪枝、微调等复杂的流程。更为重要的是，其需要人为启发式的判定滤波器的重要性，这通常来讲是很困难的。

最近有文献[Liu Z,Sun M,Zhou T,et al.Rethinking the value of networkpruning[J].arXiv preprint arXiv:1810.05270,2018.]指出，通过滤波器剪枝最终获得的结构比继承的权重更加重要，因此基于通道数配置的模型压缩是可行的。尽管通道数量的配置很重要，但是现存的方法大多还是基于人为启发式的方式。卷积神经网络早期的网络的通道数配置大多是机器学习专家进行大量试错得出来的配置。虽然不一定是最优的，但是其性能还是优于传统的图像分类方法，从而引发了卷积神经网络研究的热潮。之后的经典网络VGG[Simonyan K,Zisserman A.Very deep convolutional networks forlarge-scale image recognition[J].arXiv preprint arXiv:1409.1556,2014.]提出来一个通用的通道配置规则“假如特征图的尺寸下降一半，相应的通道数量要增加一倍。”这种规则或多或少影响了之后的网络设计。毫无置疑的是，除了VGG提出的通道配置规则，也出现了“金字塔模式”的配置规则。其含义是指，不论特征图尺寸是否减小，整体的通道数是逐渐增加的。虽然这些人为启发式的配置规则也是有效果的，但是其时间复杂度太高，不利于项目的开发。

除了上述人工设计用于卷积神经网络通道数的配置的方法，关于显式的或者隐含的自动化通道数量的配置工作也在进行。其中目前最热的神经网络架构搜索(NAS)就隐含了通道数量配置的问题。比如最近的MNasNet[Tan M,Chen B,Pang R,et al.Mnasnet:Platform-aware neural architecture search for mobile[C]//Proceedings of theIEEE Conference on Computer Vision and Pattern Recognition.2019:2820-2828.]使用强化学习的方式来学习网络的结构，包括通道数、卷积核的大小等。其先定义搜索空间，然后通过搜索策略找出候选网络结构，对它们进行评估，根据反馈进行下一轮的搜索。不仅流程繁琐，更为重要的是需要很多GPU的支持。综上，目前关于通道数配置的模型压缩仍然是一个有挑战的领域。

发明内容

针对上述背景技术中存在的不足，本发明提出了一种基于通道数量搜索的卷积神经网络压缩方法，解决了现有卷积网络技术中复杂度高、效率低的技术问题。

本发明的技术方案是这样实现的：

一种基于通道数量搜索的卷积神经网络压缩方法，其步骤如下：

S1、将目标图像数据集cifar10作为原始数据集，并将原始数据集划分为训练集和测试集；

S2、将训练集输入卷积神经网络中进行训练，输出卷积神经网络对应的每一个通道的重要性指标；

S3、将步骤S2中的重要性指标值与设定的阈值进行对比，将低于阈值的重要性指标对应的通道舍弃，得到改进的卷积神经网络；

S4、将步骤S3中保留的通道作为深度卷积层的输入或输出，然后仅考虑输入特征图的空间信息来构建深度卷积层，利用深度卷积层替换改进的卷积神经网络中的卷积层得到轻量级卷积网络模型，将测试集输入轻量级卷积网络模型中，测试轻量级卷积网络模型的识别能力。

所述训练集的数量最少为50000张图像，测试集的数量最少为10000张图像。

所述将训练集输入卷积神经网络中进行训练，输出卷积神经网络对应的每一个通道的重要性指标的方法为：

S21、设置卷积神经网络中的超参数，初始化卷积神经网络的权重W₀，设置迭代次数k＝1、最大迭代次数为k_max、选取图像的次数t＝0；

S22、从训练集中无放回的随机选取Q张图像及对应的类别输入卷积神经网络中进行训练，并采用随机梯度下降法对卷积神经网络的权重W₀和BN层的尺度因子进行更新，直至遍历整个训练集，其中，BN层位于卷积神经网络的两个卷积层之间，Q≥64；

S23、迭代次数k＝k+1，返回步骤S22，直至达到最大迭代次数k_max，输出卷积神经网络及卷积神经网络的BN层的尺度因子，并将BN层的尺度因子作为重要性指标。

所述卷积神经网络中的超参数包括卷积层的数量、每一层卷积层的通道数、激活函数、损失函数、学习率为ε和批大小为Q。

所述BN层的计算公式为：

其中，z_out为BN层的输出，γ为BN层的尺度因子，β为移位偏置，为零均值标准化的结果，z_in为BN层的输入，μ_B为Q张图像的期望，/>为Q张图像的方差，∈为常数。

本技术方案能产生的有益效果：

(1)本发明提出的使用通道数配置来构建轻量级网络模型，显著减少了计算量，大大提升了图像识别的速度；

(2)本发明为了进一步压缩网络模型的尺寸，改善配置好通道的小网络的卷积方式，大大提高了网络的推理速度；

(3)与剪枝方法需要复杂流程，NAS需要大量GPU支持不同，本发明提出的通道数量配置不仅思路直观，而且不需要大量的硬件资源支持。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的流程图；

图2为本发明的通道数配置示意图；

图3为本发明的普通卷积与深度卷积的计算方式示意图；(a)为普通卷积，(b)为深度卷积；

图4为本发明具体实例中瓶颈块的示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明实施例提供了一种基于通道数量搜索的卷积神经网络压缩方法，具体步骤如下：

S1、目标图像数据集cifar10是一个用于识别普适物体的数据集，由N类M×M大小的彩色图片组成，其中N＝10，M＝32。将目标图像数据集cifar10作为原始数据集，并将原始数据集划分为训练集和测试集；cifar10共有60000张图像数据，其中50000张图像数据用于卷积神经网络模型的训练，10000张图像数据用于模型的测试。

在训练阶段，采用图像数据增强的操作，即：将原始图像向外填充4个像素，变成36x36的图像数据，然后进行随机裁剪形成标准的32x32的图像数据，接着进行随机水平翻转操作对图像数据的扩充，最后使用通道的均值与标准差对随机水平翻转的图像数据进行归一化操作。值得注意的是，在测试阶段，不再进行图像数据增强，仅仅使用通道的均值与标准差进行数据的归一化即可。

S2、将训练集输入卷积神经网络中进行训练，输出卷积神经网络对应的每一个通道的重要性指标；卷积神经网络选用的基础网络是改进版的ResNet164，这是因为传统ResNet针对的数据集是ImageNet。所述的ResNet系列卷积神经网络识别模型主要由瓶颈块构建的，瓶颈块的示意图如图4所示。而瓶颈块主要是由两个分支构成，一个分支进行恒等变换或者1×1的卷积，另一个分支先进行1×1的卷积进行线性降维，然后进行3×3的标准卷积，最后使用1×1的卷积进行通道维度的恢复，这样的操作使得计算量大大降低。

为了更好的描述改进版的ResNet164，将所有瓶颈块的通道数进行了汇总，记为CN。其中：

CN＝[[16,16,16],[64,16,16]*17,[64,32,32],[128,32,32]*17,[128,64,64],[256,64,64]*17,[256]]

具体来讲，改进版的ResNet164的架构主要由卷积--阶段1--阶段2--阶段3--全局平均池化操作构成，其中阶段1、阶段2、阶段3主要依据CN所占不同比重区间进行划分。值得注意的是，在每一次进行卷积操作前，均会先进行批正则化操作(BN)与非线性激活操作(ReLU)。完整的改进版ResNet164的网络架构如表1所示：

表1改进版ResNet164网络结构的配置

通过表1可知，原始的cifar10图像数据经由第一层卷积操作之后，特征图的尺寸变为32×32，通道数由原始的3增加到16。接着依次经由阶段1、阶段2、阶段3，特征图的尺寸变为8×8。通过全局平均池化操作，输出的特征图尺寸变为8×8，最后经由全连接与Softmax分类器输出10个类别的概率。其中概率最高的就认为是该模型识别的结果。

所述将训练集输入卷积神经网络中进行训练，输出卷积神经网络对应的每一个通道的重要性指标的方法为：

S21、设置卷积神经网络中的超参数，包括卷积层的数量164，且每一层卷积层均有对应的通道数，激活函数采用ReLU非线性激活，损失函数为交叉熵的损失函数，学习率为ε＝0.1，批大小为Q＝64；初始化卷积神经网络的权重W₀，设置迭代次数k＝1、最大迭代次数为k_max＝180；

S22、从训练集中无放回的随机选取Q≥64张图像及对应的类别输入卷积神经网络中进行训练，使用交叉熵的损失函数来计算预测类别与真实类别的距离，然后这个距离采用随机梯度下降法对卷积神经网络的权重W₀和BN层的尺度因子进行更新，直至遍历整个训练集，其中，BN层位于卷积神经网络的两个卷积层之间；

S23、迭代次数k＝k+1，返回步骤S22，直至达到最大迭代次数k_max，输出卷积神经网络及卷积神经网络的BN层的尺度因子，并将BN层的尺度因子作为重要性指标。

所述每一个通道的重要性指标指从卷积神经网络的固有属性出发，即BN层的尺度因子，来研究每一层通道数的最佳配置，如图2所示。所述BN层的计算公式为：

其中，z_out为BN层的输出，γ为BN层的尺度因子，β为偏置，为零均值标准化的结果，z_in为BN层的输入，μ_B为Q张图像的期望，/>为Q张图像的的方差，∈为使得方差数值稳定的常数，∈为了防止方差为0产生无效计算。直接用γ来评估通道的重要程度，并且现在大多数的卷积神经网络都存在BN层，因此该准则也具有普适性。

S3、将步骤S2中的重要性指标值与设定的阈值进行对比，将低于阈值的重要性指标对应的通道舍弃，得到改进的卷积神经网络；在训练神经网络的过程当中，模型会自动的从数据中学习到BN层不同的尺度因子，这是一个用于分配每一层的通道数量重要的指标，因此，当卷积神经网络进行训练与特征通道重要性的标定之后，可以根据计算资源的限制进行通道数的舍弃，即如果每一层的尺度因子都较大，就分配更多的通道用于抽取网络的特征，反之亦然，也就是改变CN的值。具体来讲，本发明实施例中选择的基础模型是在测试集上准确率最高的一个模型，也就是说，虽然将卷积神经网络训练180次，但是最后选择用于剪枝的模型不一定是最后一次训练的模型。实施例中将40％的通道进行了舍弃，也就是改变了CN的值，最后将保留的CN值与每一层的通道数相对应。显然，并不是每个瓶颈块均匀的减少，而是根据尺度因子，有的层通道数减少的多，有的通道数舍弃的少，这样的操作考虑到了层与层之间的相关性，大大降低了模型的尺寸与计算复杂度。

S4、为了进一步压缩卷积神经网络模型的尺寸，将步骤S3中保留的通道作为深度卷积层的输入或输出，然后仅考虑输入特征图的空间信息来构建深度卷积层，利用深度卷积层替换改进的卷积神经网络中的卷积核空间尺寸为3x3的卷积层得到轻量级卷积网络模型，将测试集输入轻量级卷积网络模型中，测试轻量级卷积网络模型的识别能力。其中卷积层与深度卷积层的计算方式示意图如图3所示。

所述卷积层的卷积核大小为D_K×D_K×N_i，卷积层的个数为N_o，将大小为m×n×N_i的输入特征图输入卷积层中获得输出特征图D_F×D_F×N_o，卷积层的计算量为：

C_p＝D_K·D_K·N_i·N_o·D_F·D_F，

其中，N_i为输入通道数，N_o为输出通道数，D_K指卷积核的大小，D_F指特征图的大小；

所述深度卷积层的卷积核大小为D_K×D_K，卷积层的个数为N_i，将大小为m×n×N_i的输入特征图输入深度卷积层中获得输出特征图D_F×D_F×N_i，深度卷积层的计算量为：

C_d＝D_K·D_K·N_i·D_F·D_F，

因此，深度卷积层与卷积层的计算量之比为：

由上述公式可以看出，使用深度卷积层替换卷积层压缩模型时，模型尺寸的下降主要与卷积层输出的通道数N_O有关。

为了测试经过通道配置之后模型的性能，将cifar10中测试集的图像数据输入到S4所构造的模型中，测试模型的识别能力，并打印出模型的参数量。在10000张图像数据测试集中，改善版的ResNet164能正确识别出来的有9475张图像数据。进行通道数搜索与卷改善积的计算方式之后，模型能够将9359张的图像正确识别出来。其中，改善版的ResNet164的参数量为1.71M，经过本发明提出的方法之后，模型的参数量下降到0.63M，因此，相较于原始的模型，经过该网络压缩方法，模型尺寸下降62％，而性能仅下降了1.16％。与其他大规模图像识别模型的对比如表2所示。

表2不同卷积神经网络识别模型的性能对比

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种基于通道数量搜索的卷积神经网络压缩方法，其特征在于，其步骤如下：

S1、将目标图像数据集cifar10作为原始数据集，并将原始数据集划分为训练集和测试集；

S2、将训练集输入卷积神经网络中进行训练，输出卷积神经网络对应的每一个通道的重要性指标；

S21、设置卷积神经网络中的超参数，初始化卷积神经网络的权重W₀，设置迭代次数k＝1、最大迭代次数为k_max、选取图像的次数t＝0；

S22、从训练集中无放回的随机选取Q张图像及对应的类别输入卷积神经网络中进行训练，并采用随机梯度下降法对卷积神经网络的权重W₀和BN层的尺度因子进行更新，直至遍历整个训练集，其中，BN层位于卷积神经网络的两个卷积层之间，Q≥64；

S23、迭代次数k＝k+1，返回步骤S22，直至达到最大迭代次数k_max，输出卷积神经网络及卷积神经网络的BN层的尺度因子，并将BN层的尺度因子作为重要性指标；

S3、将步骤S2中的重要性指标值与设定的阈值进行对比，将低于阈值的重要性指标对应的通道舍弃，得到改进的卷积神经网络；

S4、将步骤S3中保留的通道作为深度卷积层的输入或输出，然后仅考虑输入特征图的空间信息来构建深度卷积层，利用深度卷积层替换改进的卷积神经网络中的卷积层得到轻量级卷积网络模型，将测试集输入轻量级卷积网络模型中，测试轻量级卷积网络模型的识别能力。

2.根据权利要求1所述的基于通道数量搜索的卷积神经网络压缩方法，其特征在于，所述训练集的数量最少为50000张图像，测试集的数量最少为10000张图像。

3.根据权利要求1所述的基于通道数量搜索的卷积神经网络压缩方法，其特征在于，所述卷积神经网络中的超参数包括卷积层的数量、每一层卷积层的通道数、激活函数、损失函数、学习率为ε和批大小为Q。

4.根据权利要求1所述的基于通道数量搜索的卷积神经网络压缩方法，其特征在于，所述BN层的计算公式为：

其中，z_out为BN层的输出，γ为BN层的尺度因子，β为移位偏置，为零均值标准化的结果，z_in为BN层的输入，μ_B为Q张图像的期望，/>为Q张图像的方差，∈为常数。