CN112561054B - 一种基于批量特征热图的神经网络滤波器剪枝方法 - Google Patents

Abstract

本发明公开了一种基于批量特征热图的神经网络滤波器剪枝方法，该方法主要用于减少模型存储量和提升模型推理速度。该方法包括加载并在给定数据集上微调预训练模型；生成模型每一层的批量特征热图；基于灰度阈值得到各滤波器的Mask为滤波器进行评分；对给定数据集进行随机不重复的抽取去更新滤波器的得分；以滤波器的得分为衡量准则实现每层滤波器的剪枝；重训练剪枝后的模型恢复精度等步骤。本发明解决了神经网络模型存储量大、推理速度慢的问题，使得剪枝后的神经网络模型可以在产生极小精度降低的情况下应用于资源受限的场景。

Description

一种基于批量特征热图的神经网络滤波器剪枝方法

技术领域

本发明涉及人工智能与计算机视觉、神经计算优化领域，特别涉及一种基于批量特征热图的神经网络滤波器剪枝方法，对神经网络滤波器进行剪枝以降低模型大小、降低计算消耗和加快网络推理速度的模型压缩方法。

背景技术

近年来，深度神经网络凭借其强大的表征能力在诸多应用场景上都取得了巨大的进展，比如在图像和视频、语音和文本等智能研究上取得了极大的进步。但是在深度神经网络成功的背后依赖着强大和复杂的神经网络模型，这些模型存在着高额的存储空间、计算资源消耗。比如2012年提出的用于图像识别的AlexNet模型包含了60万个参数和约240MB的内存，在训练上需要使用多个GPU对约120万张图像进行训练；在2014年提出的用于图像分类的VGGNet相比于前者则需要更高的计算量和内存消耗。如此高的内存消耗和计算复杂度使得网络很难被部署到集成和移动终端，致使基于深度神经网络的一些方法很难落地。尤其是近年来随着智能芯片，虚拟现实以及各种智能可穿戴设备等边缘设备的巨大进步，对深度神经网络的规模，计算量和功耗都提出了更高的要求。为了降低计算和存储成本，推进深度神经网络在实际应用上的落地，许多研究工作一方面针对给定的具体任务设计专用的硬件加速，一方面对网络模型进行压缩与加速探索，网络剪枝是其中的一种方法。

网络剪枝根据修剪的粒度可以分为结构化剪枝和非结构化剪枝。非结构化剪枝精度相对较高，但是由于剪枝后模型的不规则稀疏性，剪枝后的模型需要依赖特定的算法库或硬件平台支持。结构性剪枝是滤波器或者网络层级的剪枝，精度相对较低，但是剪枝策略更为有效，能够直接在成熟的深度学习框架上运行。

针对神经网络的滤波器剪枝由于能够在有效压缩网络模型大小的同时较好的保证网络的精度，受到了相关研究人员的重视。国内外的学术界和工业界针对滤波器剪枝提出了一系列的方法。其中与本发明较为接近的方法有JH.Luo等人(JH.Luo，JX.Wu，"AutoPruner：An end-to-end trainable filter pruning method for efficient deepmodel inference"[J]，Pattern Recognition)提出了一种端到端的神经网络滤波器剪枝方法，主要是通过一个可训练的编码层去生成Mask实现剪枝。但是该方法在针对逐层的滤波器剪枝上仅考虑了一个批次的激活张量进行特征分析，而对于目标种类较多的给定数据集则不能很好的评估出滤波器的重要性。H.Li等人(H.Li，A.Kadav，I.Durdanovic，et al，"Pruning Filter for Efficient ConvNets"[C]，2017ICLR)提出了一种通过L1范数去衡量滤波器权重进而指导滤波器剪枝的方法，主要是通过对滤波器的权重求L1范数，然后将部分L1范数较小的滤波器进行剔除实现剪枝。但该方法由于以滤波器参数大小作为绝对参考对网络进行剪枝，在剪枝后的模型精度和大小上仍然存在不足。

发明内容

针对现有技术的不足，本发明的目的是提供一种基于批量特征热图的神经网络滤波器剪枝方法，该方法充分利用所给定的数据集去更好的评估模型中滤波器的重要性，这种基于滤波器重要性的方法可在保证一定精度影响的情况下充分压缩模型大小，提升模型的实际推理速度。

为达到上述目的，本发明提供了一种基于批量特征热图的神经网络滤波器剪枝方法，所述的方法包括如下步骤：

步骤1：加载预训练模型，针对具体数据集对预训练模型进行微调；

步骤2：将批量的图像输入到微调后的模型，使模型的每一层都得到批量特征图；

步骤3：对模型每层的批量特征图进行热图生成；

步骤4：对模型每层所有热图做灰度直方图统计分析，基于灰度阈值生成对应于滤波器的Mask；

步骤5：利用滤波器所对应Mask的重要性为滤波器进行评价赋分，对模型的每层均执行此操作；

步骤6：重复评价滤波器，以滤波器的最终得分为衡量准则进行滤波器的剪枝；

步骤7：重训练剪枝后的模型以恢复精度。

进一步地，步骤1中所述微调预训练模型的具体过程如下：

步骤1.1：加载网络的预训练模型和网络配置文件，得到初始网络结构；

步骤1.2：对给定数据集中的图像进行大小调整的预处理，将所有图像调整至同一尺寸以利于后续操作；

步骤1.3：将预处理后的图像输入到预训练模型中进行微调，微调时可仅训练数十轮次。

进一步地，步骤3中所述对模型每层的批量特征图进行热图生成的具体过程如下：

步骤3.1：对模型每层的批量特征图的所有通道都生成对应的热图；

步骤3.2：为模型每一层均执行操作：把同一通道的热图进行合并，即把由同一滤波器产生的响应图的热图进行合并，则可在每一层得到对应于滤波器的批量特征热图。

进一步地，步骤4中所述对模型每层的所有热图做灰度直方图分析和基于灰度阈值生成对应于滤波器的Mask的具体过程如下：

步骤4.1：对步骤3中生成的所有热图，即每层的批量特征热图的所有通道做灰度直方图分析；

步骤4.2：取各个灰度直方图的最高点所对应的灰度值作为该直方图所对应热图的灰度阈值τ，基于此灰度阈值为其所对应的热图生成Mask_heatmap，Mask_heatmap的具体生成方式为：对于热图的每个像素点，为其分配一个Mask属于{0,1}。具体的分配方式为：设热图上某点的像素值为p，若p≤τ，则该点的Mask＝0，若p＞τ，则该点的Mask＝1。对整张热图的像素点执行上述分配操作，则可以得到与热图同等大小的Mask_heatmap；

步骤4.3：为模型每一层均执行操作：将属于同一特征热图的所有Mask_heatmap上同一位置的Mask值进行相加，则可以得到Mask_filter，将加权求和后得到的Mask_filter作为各个特征热图的Mask,也即是各个特征热图所对应滤波器的Mask。

更进一步地，步骤5中利用滤波器所对应Mask的重要性为滤波器进行评价赋分的具体过程如下：

步骤5.1：将所有对应于滤波器的Mask_filter做模板内求和，可以得到关于各个滤波器的重要性描述值；

步骤5.2：对每层滤波器的重要性描述值分别进行排序；

步骤5.3：为模型每一层设定剪枝率，一般在模型浅层对剪枝更为敏感，剪枝后难以恢复精度，因此在模型浅层应设定较小的剪枝率，模型深层则相反；

步骤5.4：根据设定的剪枝率选出每层最小的一批重要性描述值；

步骤5.5：对步骤5.4中每层所选出的最小一批重要性描述值所对应的滤波器进行赋分评价为0，对其余重要性描述值所对应的滤波器进行赋分评价为1，并将各个滤波器的得分加到各自的得分器中。

进一步地，步骤6中所述重复评价滤波器和以滤波器的最终得分指导滤波器剪枝的具体过程为：

步骤6.1：从给定的数据集中无重复的再随机抽取同样批量的图像输入到微调后的模型进行训练，为模型的每一层得到新的批量特征图；

步骤6.2：重复执行步骤3，步骤4和步骤5，直到不能再从给定的数据集中抽取出同样批量的图像，则完成了重复评价滤波器；

步骤6.3：对模型每一层里的所有得分器的最终得分进行排序；

步骤6.4：为模型每一层均执行操作：按照每层设定的剪枝率对模型每层最终得分较低的一批滤波器进行剔除，实现该层网络最终的滤波器剪枝。

进一步地，步骤7中所述的重训练剪枝后的模型以恢复精度的具体过程为：

步骤7.1：为模型每一层均执行操作：为模型每层创建一系列新的权重矩阵，将剪枝后剩余的滤波器复制到新的权重矩阵中；

步骤7.2：保留模型在剪枝后剩余的原始滤波器权重；

步骤7.3：输入给定的数据集进行重训练以恢复精度至原精度的±2％左右。

更进一步地，所述的输入批量图像到模型中得到每一层的批量特征图的具体方法为：从给定的数据集中随机抽取批量的图像输入到微调后的模型中进行测试，则可以使模型每一层都输出批量特征图。具体的批量大小可根据实际计算资源进行选择，但最低应该在128左右以保证每次输入信息的丰富性。

与现有技术相比，本发明的有益效果为：充分利用了数据集对滤波器的特征进行评估；对特征图做热图提取出特征图的强度信息，以重复的批量特征热图信息去判断滤波器提取信息的能力，这对于滤波器的重要性评价更为综合；为每个滤波器设定一个得分器，重复评估滤波器，以得分器最终的得分结果作为滤波器的剪枝标准，这对于目标种类较多的给定数据集能够更好的评估出滤波器的重要性，实现高效的剪枝；该方法在保证极小精度降低的情况下可充分压缩模型大小，提升模型的实际推理速度。

附图说明

图1为本发明一种基于批量特征热图的神经网络滤波器剪枝方法的整体结构流程图；

图2为在模型每层中由批量输入特征图得到批量特征热图的示意图；

图3为热图的灰度直方图示例。

具体实施方式

为了更清楚的说明本发明的目的、技术方案和优点，下面结合附图与具体实施方式对本发明作进一步详细描述：

下面以公开数据集CIFAR-10和在ImageNet上预训练的经典网络模型VGG16为例，结合附图对本发明一种基于批量特征热图的神经网络滤波器剪枝方法的具体实施方式作进一步详细说明，其中图1为通过本发明实现滤波器剪枝的整体结构流程图。

步骤1：加载预训练的卷积神经网络模型VGG16和其相关配置文件，基于CIFAR-10数据集对预训练模型进行微调训练数十轮次，即可得到微调后的模型。

步骤2：从CIFAR-10数据集中随机抽取出128张图像作为一个批次输入到步骤1得到的微调后VGG16模型中进行测试，测试结束后可在模型的每层得到属于每层的批量特征图。

步骤3：对步骤2中每层的批量特征图的所有通道做热图生成，在得到热图后，再将VGG16模型每层中属于由同一滤波器得到的响应图的热图进行合并，则可以在每一层得到对应于滤波器的批量特征热图。图2是由批量输入特征图得到批量特征热图的示意图。

步骤4：对步骤3中生成的所有热图做灰度直方图，取各个灰度直方图最高点所对应的灰度值作为该直方图所对应热图的灰度阈值τ，各个热图基于自身的灰度阈值生成属于自己的Mask_heatmap。图3是为热图做的灰度直方图示例。Mask_heatmap的具体生成方式为：对于热图的每个像素点，为其分配一个Mask属于{0，1}，具体的分配方式为：设热图上某点的像素值为p，若p≤τ，则该点的Mask＝0，若p＞τ，则该点的Mask＝1。对整张热图的像素点执行上述分配操作，则可以得到Mask_heatmap。最后将VGG16模型每层中属于同一特征热图的所有Mask_heatmap上同一位置的Mask值进行相加，则可以得到Mask_filter，将加权求和后得到的Mask_filter作为各个特征热图的Mask，也即是各个特征热图所对应滤波器的Mask。

步骤5：将所有对应于滤波器的Mask filter做模板内求和，可以得到关于各个滤波器的重要性描述值，再对该重要性描述值进行排序，依照对VGG16模型每层设定的剪枝率选出最小的一批重要性描述值。对选中的最小的一批重要性描述值所对应的滤波器进行赋分评价为0，对其余重要性描述值所对应的滤波器进行赋分评价为1，并将各个滤波器的得分加到各自的得分器中。具体的计分方式为：若F_i，j是模型中第i层的第j个滤波器，V_i，j是对应于F_i，j的重要性描述值，在第i层被选中的最小的一批重要性描述值集合为C_i，G_i，j是F_i，j所对应的得分器，G_i，j的初始值为0。若V_i，j不属于C_i，则G_i，j执行加1操作；若V_i，j属于Ci，则G_i，j不执行任何操作。

步骤6：从给定的数据集中无重复的再随机抽取同样批量的图像输入到微调后的VGG16模型进行训练，为模型的每一层得到新的批量特征图。重复执行步骤3，步骤4和步骤5，直到不能再从给定的数据集中抽取出同样批量的图像，则完成了重复评价滤波器，对VGG16模型每一层里的所有得分器的最终得分进行排序。按照每层设定的剪枝率对VGG16模型每层最终得分较低的一批滤波器进行剔除，就能通过本方法实现VGG16最终的滤波器剪枝。

步骤7：在对每一层的滤波器实现剪枝后，为模型每一层创建一系列新的权重矩阵，将剪枝后剩余的滤波器复制到新的权重矩阵中。在保留模型剪枝后剩余的原始滤波器权重的前提下，在CIFAR-10数据集上对剪枝后网络进行重训练可以实现恢复精度至原有精度的±2％左右。

以上已经描述了本发明的具体实施例，上述说明是示例性的，并非穷尽性的，不能以此限定本发明的保护范围，凡是按照本发明提出的技术构思做出的等同技术方法均落入本发明保护范围之内。

Claims (7)

1.一种基于批量特征热图的神经网络滤波器剪枝方法，其特征在于，包括如下步骤：

步骤1：加载预训练模型，针对具体数据集对预训练模型进行微调；

步骤2：将批量的图像输入到微调后的模型，使模型的每一层都得到批量特征图；

步骤3：对模型每层的批量特征图进行热图生成；

步骤4：对模型每层所有热图做灰度直方图统计分析，基于灰度阈值生成对应于滤波器的Mask；

步骤5：利用滤波器所对应Mask的重要性为滤波器进行评价赋分，对模型的每层均执行此操作；

步骤6：重复评价滤波器，以滤波器的最终得分为衡量准则进行滤波器的剪枝；

其中所述重复评价滤波器和以滤波器的最终得分指导滤波器剪枝的具体过程如下：

步骤6.1：从给定的数据集中无重复的再随机抽取同样批量的图像输入到微调后的模型进行训练，为模型的每一层得到新的批量特征图；

步骤6.2：重复执行步骤3，步骤4和步骤5，直到不能再从给定的数据集中抽取出同样批量的图像，则完成了重复评价滤波器；

步骤6.3：对模型每一层里的所有得分器的最终得分进行排序；

步骤6.4：为模型每一层均执行操作：按照每层设定的剪枝率对模型每层最终得分较低的一批滤波器进行剔除，实现该层网络最终的滤波器剪枝；

步骤7：重训练剪枝后的模型以恢复精度。

2.根据权利要求1所述的一种基于批量特征热图的神经网络滤波器剪枝方法，其特征在于：所述步骤1中微调预训练模型的具体过程如下：

步骤1.1：加载网络的预训练模型和网络配置文件，得到初始网络结构；

步骤1.2：对给定数据集中的图像进行大小调整的预处理，将所有图像调整至同一尺寸以利于后续操作；

步骤1.3：将预处理后的图像输入到预训练模型中进行微调，微调时可仅训练数十轮次。

3.根据权利要求1所述的一种基于批量特征热图的神经网络滤波器剪枝方法，其特征在于：所述步骤2中输入批量图像到模型中得到每一层的批量特征图的具体过程为：从给定的数据集中随机抽取批量的图像输入到微调后的模型中进行测试，则可以使模型每一层都输出批量特征图；具体的批量大小可根据实际计算资源进行选择，但最低应该为128以保证每次输入信息的丰富性。

4.根据权利要求1所述的一种基于批量特征热图的神经网络滤波器剪枝方法，其特征在于：步骤3中所述对模型每层的批量特征图进行热图生成的具体过程如下：

步骤3.1：对模型每层的批量特征图的所有通道都生成对应的热图；

步骤3.2：为模型每一层均执行操作：把同一通道的热图进行合并，即把由同一滤波器产生的响应图的热图进行合并，则可在每一层得到对应于滤波器的批量特征热图。

5.根据权利要求1所述的一种基于批量特征热图的神经网络滤波器剪枝方法，其特征在于：步骤4中所述对模型每层的所有热图做灰度直方图分析和基于灰度阈值生成对应于滤波器的Mask的具体过程如下：

步骤4.1：对步骤3中生成的所有热图，即每层的批量特征热图的所有通道做灰度直方图分析；

步骤4.2：取各个灰度直方图的最高点所对应的灰度值作为该直方图所对应热图的灰度阈值τ，基于此灰度阈值为其所对应的热图生成Mask_heatmap，Mask_heatmap的具体生成方式为：对于热图的每个像素点，为其分配一个Mask属于{0,1}；具体的分配方式为：设热图上某点的像素值为p，若p≤τ，则该点的Mask＝0，若p＞τ，则该点的Mask＝1；对整张热图的像素点执行上述分配操作，则可以得到与热图同等大小的Mask_heatmap；

步骤4.3：为模型每一层均执行操作：将属于同一特征热图的所有Mask_heatmap上同一位置的Mask值进行相加，则可以得到Mask_filter，将加权求和后得到的Mask_filter作为各个特征热图的Mask,也即是各个特征热图所对应滤波器的Mask。

6.根据权利要求1所述的一种基于批量特征热图的神经网络滤波器剪枝方法，其特征在于：步骤5中所述利用滤波器所对应Mask的重要性为滤波器进行评价赋分具体过程如下：

步骤5.1：将所有对应于滤波器的Mask_filter做模板内求和，可以得到关于各个滤波器的重要性描述值；

步骤5.2：对每层滤波器的重要性描述值分别进行排序；

步骤5.3：为模型每一层设定剪枝率，由于在模型浅层对剪枝更为敏感，剪枝后难以恢复精度，因此在模型浅层应设定较小的剪枝率，模型深层则相反；

步骤5.4：根据设定的剪枝率选出每层最小的一批重要性描述值；

步骤5.5：对步骤5.4中每层所选出的最小一批重要性描述值所对应的滤波器进行赋分评价为0，对其余重要性描述值所对应的滤波器进行赋分评价为1，并将各个滤波器的得分加到各自的得分器中。

7.根据权利要求1所述的一种基于批量特征热图的神经网络滤波器剪枝方法，其特征在于：步骤7中所述重训练剪枝后的模型以恢复精度的具体过程如下：

步骤7.1：为模型每一层均执行操作：为模型每层创建一系列新的权重矩阵，将剪枝后剩余的滤波器复制到新的权重矩阵中；

步骤7.2：保留模型在剪枝后剩余的原始滤波器权重；

步骤7.3：输入给定的数据集进行重训练以恢复精度至原精度的±2％左右。

Images