CN111461324A - 基于层恢复敏感度的分级剪枝方法 - Google Patents

Abstract

本发明提供一种基于层恢复敏感度的分级剪枝方法，所述方法包括：步骤S1、对目标神经网络模型进行各层均匀剪枝；步骤S2、对均匀剪枝后的目标神经网络模型进行层恢复，获得每一层对模型的性能贡献度；步骤S3、对目标神经网络模型中的各层按照贡献度进行分级，每一级分别设定剪枝比例；步骤S4、按照所设定的剪枝比例对原目标神经网络模型进行剪枝。本发明的基于层恢复敏感度分级剪枝方法，判断每一层对模型性能的贡献度更加直观高效且见简单。并且，能够大大降低模型参数初始化时随机性带来震荡问题、大幅度降低模型计算量，降低硬件需求，提高计算速度，节省计算能耗，提高设备实时性。

Description

基于层恢复敏感度的分级剪枝方法

技术领域

本发明属于人工智能领域，特别适用于深度神经网络模型的压缩。

背景技术

近来深度神经网络在各个领域取得了巨大的发展，各研究机构为了追求良好的模型性能，逐渐将网络模型设计为更多的权重和更深的结构，从而必定造成冗余。模型性能虽然有很大的提升，但是在资源有限的移动边缘设备上，很难运行如此庞大的网络。因此对深度神经网络模型压缩研究意义重大。对现有网络进行剪枝是模型压缩的主流方法之一。

深度神经网络模型压缩的方法主要有以下几种：1.剪枝：对现有网络结构进行裁剪；2.知识蒸馏：用大网络的结构信息，指导小网络的构建与训练；3.参数共享，量化：多个参数近似，共享一个值，或者降低参数的浮点数的表示位数；4.矩阵分解：大的网络矩阵，分解为多个小的网络矩阵；5.轻量化网络设计：设计结构更紧凑，计算量更小的网络结构。但是轻量化网络的设计相对复杂困难，需要强大的团队基础，且轻量化网络中仍然存在着冗余，仍然可以被剪枝。

剪枝的本质是找到各个结构对模型性能的贡献度，依次裁剪贡献度相对较低的结构。不管是传统按结构正则化剪枝的方法，还是新型根据各个结构之间相关性剪枝的方法(几何距离剪枝方法)。每种方法基本都是每一层裁剪相同的比例。但实际情况是，在各层冗余度不同，对模型性能的贡献是不同的。传统已有剪枝敏感度分析方法是一种通过贡献度评判和十分繁琐的敏感性分析策略，针对每一层设置不同剪枝比例来求得各层最佳剪枝比例的研究方法。通过贡献度评判得到结构化权重的重要性大小后，对各层剪枝比例的设置还是一个开放性的问题，传统的方法的敏感分析需要单独对每一层进行多次分析，因此，传统方法的敏感度分析策略计算量大且繁琐。

目前剪枝技术层出不穷，各研究主体都在探求一个好的判断结构重要性的办法，忽略了各层对模型性能贡献度的不同。各研究主体通过研究得到的判断重要性的标准，对每一层的神经网络相同比例剪枝，但是神经网络的每一层，对网络性能的贡献度是不一样的。因此对每一层剪枝相同的比例，很容易造成某些信息含量比较多的层剪枝过度，而某些不重要的层又剪枝不充分。

发明内容

本申请的发明人在剪枝过程中发现目前各研究主体剪枝的专注度都集中于找到一种判断结构化权重的重要性的方法上，很少有机构直接研究各层对模型性能的贡献度。具体而言，目前大部分的剪枝方法都是结构化剪枝，就是对于一个整体结构，以过滤器个数(例如)为剪去的单位。而不是以过滤器上的单个权重，对于单个权重的剪枝是非结构化的，会造成非结构化稀疏问题，需要专门的运行环境才能实现加速和压缩。因此目前主流研究方法多为结构化剪枝。但是，各个机构往往忽略了神经网络模型各层对于网络性能的贡献度不同。

因此，本申请的发明人提出一种层恢复的分析方法，分析每一层对模型性能的贡献度。在得到各层对模型性能贡献度的基础上，发明人进一步分析每一层的贡献度，发明人发现一些层的贡献度很接近。在此基础上，发明人又提出了本发明的分级剪枝率方法：将各层的贡献度按大小顺序分级，贡献度相同或相近的层分在同一级、共享同一个剪枝比例。本发明方法只需要对每层进行一次恢复就可以完成敏感性分析。本发明方法对完整网络直接按照统一的、较大的剪枝比例进行剪枝，然后进行逐层恢复至原样，得到因单独恢复某层而产生的模型分类准确率上的变化，从而分辨哪些层不能进行较大比例剪枝，是敏感的，同时也可以看出哪些是不敏感的。

本发明的目的是希望通过较小的计算复杂度，完成深度神经网络剪枝过程中的各层敏感性分析，避免某些层剪枝过度、某些层却剪枝不充分的问题。

根据本发明的一个方面，提供了一种基于层恢复敏感度的分级剪枝方法，其特征在于，所述方法包括下述步骤：

步骤S1、对目标神经网络模型进行各层均匀剪枝；

步骤S2、逐层对均匀剪枝后的所述目标神经网络模型的每一层单独进行恢复，基于恢复前、后所述目标神经网络模型的性能差异，获得所述目标神经网络模型的性能贡献度；

步骤S3、对所述目标神经网络模型中的各层按照性能贡献度进行分级，每一级分别设定剪枝比例；

步骤S4、按照所设定的剪枝比例对原目标神经网络模型进行剪枝。

在一种优选实现方式中，所述步骤S2包括对均匀剪枝后的所述目标神经网络模型的每一层进行多次层恢复，对恢复后的所述目标神经网络模型进行训练和测试，计算各次恢复之后获得的该层性能贡献度的平均值。

在另一种优选实现方式中，所述步骤S2包括对目标神经网络模型中的各层按照性能贡献度进行排序，基于排序先后将各层分成3-6级。

在另一种优选实现方式中，所述性能贡献度如下计算：

其中ACC′为在均匀剪枝后的模型的分类准确率,ACC′_n为在均匀剪枝模型基础上恢复第n层结构大小得到的模型分类准确率。

在另一种优选实现方式中，在所述步骤S1中，对目标神经网络模型各层均匀剪枝的剪枝比例大于预定阈值。该剪枝比例一般设定为大于30％。

在另一种优选实现方式中，在所述步骤S1中，对目标神经网络模型各层均匀剪枝的剪枝比例为40％。

在另一种优选实现方式中，所述目标神经网络模型的每一层具有多个过滤器，在所述步骤S1中，对于每一层，通过对该层中一个过滤器与其他的过滤器的欧式距离之和作为标准进行剪枝，将该层中距离之和最小的过滤器按预定百分比剪去。

根据本发明的另一方面，提供一种移动终端，其特征在于，所述移动终端上安装有目标神经网络模型，所述目标神经网络模型经过上述方法剪枝。

根据本发明的另一方面，提供一种计算机可读存储介质，其上存储有计算机程序，其中，该程序被处理器执行时实现上述方法。

一种计算机设备，包括存储器和处理器，在所述存储器上存储有能够在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现上述方法。

需要说明的是，本发明所提到的每一层单独恢复指的是，对于均匀剪切后的模型，仅将其中的一层恢复至原有未剪切模型的构造，其余层均采用剪切后的模型构造，所形成的模型。每次仅恢复其中一层，其余层不变，逐层恢复。

技术效果

1.本发明的层恢复敏感度分级剪枝方法，与传统的敏感度分析方法即逐层多次试验相比，判断每一层对模型性能的贡献度更加直观高效且简单。这是因为在分析过程中，各层经过同一较大剪枝比例剪枝后，逐层单独进行恢复，得到单独恢复每层后的分类准确率上的变化，分类准确率提升说明该层较为敏感，如果提升较大，则该层敏感，不能进行大量剪枝，如果没有变化，说明该层不敏感，可以进行大量剪枝，从而设置剪枝比例的方法。

2.本发明的分级剪枝率方法设置每一层剪枝率，能够大大降低模型参数初始化时随机性带来震荡问题。分级设置剪枝比例的方法，既避免忽视每层对网络的贡献度，同时相对于传统敏感度分析法(传统方法即逐层多次试验分析各层敏感度)可以更加高效且灵活的设置每一层的剪枝比例。分级设置剪枝率方法一方面在保证相同剪枝比例的前提下，剪枝模型能够有更高分类精度，另一方面在保证基本相同分类精度情况下，剪枝模型能够裁剪更高的比例。

3.本发明的分级剪枝方法，可以大幅度降低模型计算量，降低硬件需求，提高计算速度，节省计算能耗，提高设备实时性。

附图说明

以下附图仅对本发明作示意性的说明和解释，并不用于限定本发明的范围，其中：

图1为传统的层剪枝敏感度分析法的过程示意图；

图2为采用层恢复方法进行剪枝的过程示意图；

图3为本发明实施例中所采用的示例VGG16模型的结构示意图。

图4为对每一层进行单独恢复后模型的分类精度图。

具体实施方式

为了使本发明的目的、技术方案、设计方法及优点更加清楚明了，以下结合附图通过具体实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

下面首先结合附图对本发明的原理以及实施例进行详细说明。

传统的层剪枝敏感度分析法，是在完整网络基础上一次只裁剪一层，如图1所示。图1中是传统的通过敏感度分析的逐层剪枝方法，比如，VGG16网络模型，其每一层都包含多个过滤器，每个过滤器有各自不同的权重，传统剪枝方法在对其中的第n层进行剪枝时，只会剪去第n层中不重要的过滤器权重，不会用评判标准去判断其他层的权重。然后得到分类精度Accn，即分类准确率，其等于分类准确的样本数量/总的样本数量。然后，通过多次实验调整该层剪枝比例，比较得到最好的分类精度Accn以及该层的最优剪枝比例。也就是说，传统的敏感度分析方法中，需要单独对每层都进行多次分析，最后得到整个网络中每层的剪枝比例。

新提出的层恢复方法与层剪枝方法相反，是在均匀剪枝模型上，依次对每层进行恢复，一次只恢复一层卷积层，如图2所示，在所有层按照一个比例进行剪枝的均匀剪枝模型上，每次只恢复一层网络到原模型，对恢复后的模型利用训练数据进行训练后，利用测试数据进行测试，获得恢复后模型的分类准确率，优选地，对于每一层，为了降低误差，多次对该层进行恢复、训练以及分类准确率测试，重复几次，求得平均值，即为该层分类准确率平均值ACC′_n，即得到恢复相应层以后的分类准确率平均值ACC′_n(n<N)，使用ACC′_n的反比为该层对模型性能的贡献度。贡献度作为确定该层剪枝比例的依据。最后在完整模型上，不同层剪枝不同比例得到最终的剪枝模型。

在实际训练过程中，由于模型训练之前需要进行模型初始化，而模型的初始化带有随机变动性，在得到层恢复模型精度的时候有一定的波动性，虽然大量的实验可以很大程度上消除这个随机性波动。但是计算资源和时间有限的条件下，不能获得完全准确的各层的贡献度，同时，各层贡献度中存在部分层贡献度相似的情况，因此，在此基础上本发明进一步提出了一种分级剪枝的办法，将各层贡献度按大小分级。每级设置相同的剪枝比例，来降低初始化随机性对模型精度的影响。

概括来讲，本发明的分级剪枝方法的步骤如下：

1.对目标神经网络模型进行各层均匀剪枝获得相应的均匀剪枝模型。

2.分别对剪枝后的神经网络模型的每一层单独进行恢复，获取每一层对模型的性能贡献度，优选地，为了数据更为准确，降低误差使用层恢复的方法多次进行恢复并对恢复后的模型进行训练和测试，获得多次恢复后的性能贡献度，进而计算每一层对模型的性能贡献度的平均值。

3.贡献度排序，将上面所获得的各层的性能贡献度按大小分级，根据实际需要设置每一级的剪枝比例。

4.结合已有剪枝方法，按步骤3的剪枝比例，对原神经网络模型进行剪枝。

之所以提出这种分级剪枝方法，是因为本申请的发明人在进行层剪枝和层恢复的研究过程中发现，神经网络模型中的各层对于网络性能的贡献度不同。并且在实际实验中，申请人注意到有些层的贡献度很相近。

根据本发明的一个示例，如图3所示为一个普通的VGG16模型，发明人使用该VGG16模型进行实验，该模型中卷积层有13层，全连接层有3层。

发明人对该VGG16模型的每一层分别进行层恢复，通过层恢复，获得恢复每一层之后模型的分类精度图，其中，只对卷积层进行压缩加速，横坐标即为层数，纵坐标即为该层恢复后多次实验平均求得的分类准确率。所获得的分类精度图如图4所示，从图4可以看出层恢复模型分类精度图中相邻两层之间的恢复精度差距不会出现断崖式的变化。这是因为当某一层网络在恢复以后，下一层网络的权重也会有相应的恢复。所以每一层恢复其实影响着当前层和下一层。当对剪枝比例分级以后，在网络结构中相邻的两层往往有相同的剪枝比例。这样可以保持网络结构相对的稳定性，不会出现模型结构有很大的变化的情况。

因此，各层对模型性能的贡献度是分级剪枝的基础。深度神经网络模型在初始化时会有一些随机性，所以每次模型训练的结果会有一定的波动性。采取多次训练取平均值的方法来尽量消除这个波动。在运用分级剪枝方法之前，要先获得各层对模型性能的贡献度，所以分级剪枝方法通过逐层恢复来设置各层剪枝比例。

下面，仍然以目前现有技术中经常使用到的VGG16网络模型为例，对本实施例中的具体分级剪枝过程进行详细说明。

首先，构建任意一个VGG16深度神经网络模型。

该VGG16的结构如图3所示，由13层提取特征的卷积层和3层分类的全连接层组成，其中通过池化层实现特征图的缩小，突出特征的表达，卷积层过后通过Relu实现对输出结果非线性。每一个卷积层中包含多个过滤器，每个过滤器具有各自的权重。剪枝过程也主要是针对各个卷积层的过滤器权重进行的，这是本领域技术人员的常识，这里不再详述。

接下来，对整个深度神经网络模型的每一层设定同一个剪枝比例以及评判标准，比如以过滤器之间的欧氏距离等作为评判标准，对深度神经网络模型的每一层进行同比例剪枝。

优选的，为了获得一个各层均匀剪枝的模型，对完整的网络模型通过已有的评判标准比如过滤器之间的欧氏距离进行大比例剪枝，本实验设定的剪枝比例为40％。具体而言，对于任一层，通过该层中一个过滤器与其他的过滤器的欧式距离之和作为标准，按照这个标准将该层网络中欧式距离之和数值小的40％剪去，即从小到大剪去其中40％。

然后，如前面所述，对得到的被剪枝的模型通过逐层单独恢复得到恢复后的模型，对恢复后的模型与恢复前模型分别进行训练以及分类准确率测试，确定每一层恢复前后其分类准确率上的变化情况，基于这个变化计算每层的性能贡献度。准确率变化大的重要、贡献度高。设置剪枝比例则通过分级策略，根据不同贡献度等级进行分别设置。

优选的，对于被均匀剪枝的神经网络模型，每次将该被均匀剪枝的神经网络模型中的一层恢复成原神经网络模型中的相应层构造，对恢复一层之后的神经网络模型利用训练数据进行训练并且利用测试数据进行测试。由于初始化过程的随机性，优选对恢复、训练以及测试过程进行多次重复，以使得误差低于0.5％，得到模型分类准确率的平均值，对该准确率平均值求反比作为性能贡献度评估值(求反比的操作是为了后面的各级的剪枝比例设定)。

优选的，性能贡献度可以采用如下公式计算：

其中ACC′为在均匀剪枝后的模型的分类准确率,ACC′_n为在均匀剪枝模型基础上恢复第n层结构大小得到的模型分类准确率。

接下来，依次求得各层的性能贡献度后，对所有各层按照性能贡献度进行排序，比如，性能贡献度排序最低的30％为第一级，性能贡献度位于中间40％为第二级，性能贡献度排序最高的30％为第三级。性能贡献度较低说明，这些层恢复后的准确率较大，根据剪枝经验设置各级对应的剪枝比例。例如各级的剪枝比例为(0.3，0.4，0.5)。各层根据所在级别得到剪枝比例，进行剪枝。

本发明所采用的层恢复的方法本质上与传统方法一样都是获得各层剪枝比例的方法。在传统的方法中，对于VGG16网络模型，目前一般只能剪枝30％多，本实施例的方法中将每一层的贡献度按大到小排序分为3个级，设每一组内的层分别对应剪枝率(0.1,0.2,0.3)则在精度几乎没有损失的情况下，最终可以使得模型计算量(模型在推理阶段的计算量)FLOPs减少32.86％。若每一层对应剪枝率分别为(0.2,0.3,0.4)则对应最终模型FLOPs下降48.20％。与传统的方法(如用过滤器权重范数大小，过滤器相似距离作为重要性标准求得剪枝比例)相比，本发明方法是一种更为直观反应重要性的方法(因为它直接从准确率出发，而不是从权重范数大小或者相似距离等标准)。

此外，本实施例的分级剪枝率的方法有以下几个好处：

1.层恢复分类精度虽然在波动，但是在一定波动范围内会被分到同一级，在一定范围内可以降低初始化随机抖动性带来的影响。

2.分级对层恢复精度的绝对准确要求降低，只需要在某个范围内准确。同时对每层进行恢复只需要进行少量次数的实验。大大降低了训练模型的算力和时间要求。

3.训练时间更少，判断网络的每一层是否重要的过程，每一层网络对应着一个训练充足的深度神经网络，层恢复的方法只有一层网络在已训练好的被均匀剪枝的网络上恢复了其结构，其他网络层均已经裁剪。在此基础上，可以大大减少实验训练网络的时间。

应用中，经过本方法剪枝后的模型，在不损失模型效果的前提下，可以减少模型的参数量和计算量，对模型加速与压缩，在移植到资源缺乏的移动终端设备上后可以减少移动设备的内存消耗和推理时间消耗，使得移动终端实时性和减少能耗等方面得到提高。

以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (10)

1.一种基于层恢复敏感度的分级剪枝方法，其特征在于，所述方法包括下述步骤：

步骤S1、对目标神经网络模型进行各层均匀剪枝；

步骤S2、逐层对均匀剪枝后的所述目标神经网络模型的每一层单独进行恢复，基于恢复前、后所述目标神经网络模型的性能差异，获得所述目标神经网络模型的各层性能贡献度；

步骤S3、对所述目标神经网络模型中的各层按照性能贡献度进行分级，每一级分别设定剪枝比例；

步骤S4、按照所设定的剪枝比例对原目标神经网络模型进行剪枝。

2.根据权利要求1所述的基于层恢复敏感度的分级剪枝方法，其特征在于，所述步骤S2包括对均匀剪枝后的所述目标神经网络模型的每一层进行多次层恢复，对恢复后的所述目标神经网络模型进行训练和测试，计算各次恢复之后获得的该层性能贡献度的平均值。

3.根据权利要求1所述的基于层恢复敏感度的分级剪枝方法，其特征在于，所述步骤S2包括对目标神经网络模型中的各层按照性能贡献度进行排序，基于排序先后将各层分成3-6级。

4.根据权利要求1所述的基于层恢复敏感度的分级剪枝方法，其特征在于，所述性能贡献度如下计算：

其中ACC′为均匀剪枝后的目标神经网络模型的分类准确率,ACC′_n为在均匀剪枝的目标神经网络模型基础上恢复第n层结构之后，得到的模型的分类准确率。

5.根据权利要求1所述的基于层恢复敏感度的分级剪枝方法，其特征在于，在所述步骤S1中，对目标神经网络模型各层均匀剪枝的剪枝比例大于预定阈值。

6.根据权利要求1所述的基于层恢复敏感度的分级剪枝方法，其特征在于，在所述步骤S1中，对目标神经网络模型各层均匀剪枝的剪枝比例为40％。

7.根据权利要求1所述的基于层恢复敏感度的分级剪枝方法，其特征在于，所述目标神经网络模型的每一层具有多个过滤器，在所述步骤S1中，对于每一层，通过对该层中一个过滤器与其他的过滤器的欧式距离之和作为标准进行剪枝，将该层中距离之和最小的预定百分比剪去。

8.一种移动终端，其特征在于，所述移动终端上安装有目标神经网络模型，所述目标神经网络模型经过权利要求1-7之一所述的方法剪枝。

9.一种计算机可读存储介质，其上存储有计算机程序，其中，该程序被处理器执行时实现根据权利要求1至7中任一项所述的方法。

10.一种计算机设备，包括存储器和处理器，在所述存储器上存储有能够在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至7中任一项所述的方法。

Images