CN113516230A - 基于平均秩重要性排序的自动化卷积神经网络剪枝方法 - Google Patents

Abstract

本发明提供一种基于平均秩重要性排序的自动化卷积神经网络的剪枝方法，所述方法包括：获取图像的数据集，并将数据集按比例分为训练数据集和验证数据集；获取需要剪枝操作的模型并执行初始化，利用初始化的模型对训练数据集的图像进行预训练，获取每个卷积核输出特征图的平均秩；对所述平均秩进行排序，将秩排序结果作为敏感层判别依据，通过强化学习实现自动化模型剪枝操作，获得其中模型精度最高的模型剪枝策略进行剪枝操作；对剪枝完成以后的模型执行微调操作，得到最终的神经网络模型。采用本发明方法实现神经网络剪枝能够在保证精度损失较小的情况下，降低模型参数量与浮点计算量，降低设备成本。

Description

基于平均秩重要性排序的自动化卷积神经网络剪枝方法

技术领域

本发明涉及图像处理领域和边缘智能领域，特别涉及一种基于平均秩重要性排序的自动化卷积神经网络剪枝方法。

背景技术

近年来，一方面深度更深的神经网络的研究所获得的模型效果越来越好，另一方面，随着无人驾驶与智能移动设备等相关领域的不断发展与创新，对适合应用于计算能力较弱的边缘设备上的深度神经网络模型的要求也在逐渐提高。而由于深度神经网络的特性，将其部署在移动设备上时，其所包含的参数量以及浮点计算量都是极其庞大的。例如,一个152层的ResNet有6000多万个参数，在推断分辨率为224×224的图像时，需要200多亿次浮点运算,这在移动设备、可穿戴设备或物联网设备等资源受限的平台上不太可能负担得起。此外，在GPU上运行该模型进行实时目标检测成本高昂。例如，在NVIDIA Tesla T4上运行ResNet每秒可实时检测40帧图像，但该模块市场售价近三万元，远超出普遍经济承受能力。现有的神经网络模型很难做到在低成本设备上对模型精确性与计算速度的兼顾。

随着移动边缘设备的发展，其对精度的高依赖正逐步转化为在保持精度不降低或者仅略微降低的情况下尽可能的保证低的存储空间占用以及更少的浮点计算量。但现有的神经网络的剪枝方法大都需要人工专家不断调节参数来达到最佳的剪枝效果，从实际效果来说十分耗时，同时达到的效果容易出现局部最佳或者次优的情况。而现有的模型剪枝方法则着眼于模型中的权重修剪，此方式需要特定的硬件支持，泛化性较差，同时绝大多数剪枝策略都是基于规则的启发式方法，此类方法着重于滤波器重要性的排序与修剪，这样的方式很可能导致次优修剪，使得最终剪枝效果不佳。

发明内容

本发明要解决的技术问题，在于提供一种基于平均秩重要性排序的自动化卷积神经网络剪枝方法，实现小范围精度损失的前提下，通过自动化剪枝的过程降低模型参数量与浮点计算量。

本发明是这样实现的：一种基于平均秩重要性排序的自动化卷积神经网络的剪枝方法，所述方法包括：

步骤10、获取图像的数据集，并将数据集按比例分为训练数据集和验证数据集；

步骤20、获取需要剪枝操作的模型并执行初始化，利用初始化的模型对训练数据集的图像进行预训练，获取每个卷积核输出特征图的平均秩；

步骤30、对所述平均秩进行排序，将秩排序结果作为敏感层判别依据，通过强化学习实现自动化模型剪枝操作，获得其中模型精度最高的模型剪枝策略进行剪枝操作；

步骤40、对剪枝完成以后的模型执行微调操作，得到最终的神经网络模型。

进一步的，所述步骤20进一步包括：

步骤21、基于Pytorch框架创建待剪枝的卷积神经网络模型；

步骤22、设置相应的预训练参数；

步骤23、对训练数据集中的图像进行50轮预训练过程，提取相应神经网络模型的相应层的信息，计算卷积层中每个卷积核输出特征图的平均秩，并建立对应的层结构索引，获取当前模型精度，所述模型精确度通过测试集中不同图片进行测试得到。

进一步的，所述步骤30进一步包括：

步骤31、对当前模型中每一层的平均秩按从低到高进行排序，确定平均秩较高的三层为敏感层，其他层为非敏感层；

步骤32、获取超参数中设置的目标剪枝率，并根据目标剪枝率确定需要剪枝的滤波器数量；

步骤33、根据强化学习的确定性策略，若当前层为非敏感层，则执行步骤34，否则，进一步判断是否需要对敏感层进行剪枝，若是，则执行步骤34，否则，跳转至步骤36；

步骤34、通过计算滤波器的平均秩大小计算滤波器的重要性程度，由低到高对当前层模型中滤波器进行排序，并获取模型当前层应当执行剪枝操作的滤波器数量，同时计算获得剩下待剪枝滤波器数量；

步骤35、根据上述获得的当前层所需剪枝的滤波器数量，选择当前层非敏感滤波器，将其权重设置为0，并进行剪枝；

步骤36、依次对模型中每一层重复执行步骤33-步骤35，以完成对模型所有层的剪枝操作，即完成一轮完整的模型剪枝操作，并在完成一轮剪枝操作时，通过验证数据集验证完成一轮剪枝操作的模型的精度，并将当前模型剪枝策略与精度保存到强化学习经验回放池中；

步骤37、重复执行步骤33-步骤36，直至完成所有预设轮次的模型剪枝操作，并获取其中精度最高的剪枝策略，根据其中精度最高的剪枝策略执行剪枝操作，得到剪枝后的模型。

进一步的，所述步骤30的强化学习使用的是DDPG深度确定性策略强化学习方法，其中演员网络与评论家网络的训练根据完整一轮剪枝所获得的精度与每一轮中剪枝状态作为输入执行训练操作，其中在状态空间中，对于每一层网络t，通过如下公式所示的10个属性来表示状态St的属性特征：

(t，n，c，h，w，stride，k，FLOPs[t]，Re_all，Rest，a_t-1)

其中，t表示每层网络的标签，n表示网络总层数，c表示卷积通道数，h、w分别表示卷积特征图的高和宽，stride为步长，k表示迭代次数，FLOPs[t]表示每一层网络t的浮点计算量，Re_all为所有的状态响应，Rest为剩余状态，a_t-1为t-1层网络的动作状态；

代理从滤波器剪枝的环境中获得其所处的第t层的环境St，获得当前特征向量φ(s_t)，然后输出St状态下的动作A_t＝π_θ(φ(s_t)+N作为当前层的剪枝率，指导当前层进行可替代滤波器剪枝；

在下一轮剪枝时，可以通过在DDPG经验回放池中采集m个样本如下公式计算当前目标Q值y_t：

其中R_t表示代理，b为基线奖励，γ为奖励平衡因子，Q′为目标函数，φ(s′_t)为演员目标网络的特征向量，π′_θ为压缩率函数，W′为演员网络权重参数。

进一步的，所述步骤33中“进一步判断是否需要对敏感层进行剪枝”具体为：通过DDPG的损失函数判断是否需要对敏感层执行剪枝，若计算出来的损失大于或等于预设值，则不对敏感层进行剪枝，否则对敏感层执行与非敏感层相同的剪枝过程；

所述DDPG的损失函数为下式所示的均方误差函数：

A_t＝π_θ(φ(s_t)+N

其中，L()为误差函数，n为网络总层数，m为样本总数，Q为代理网络目标函数，φ(s_t)为代理网络特征向量，w为代理网络权重参数。

进一步的，所述步骤33中还包括，在第一轮剪枝中，若当前层为敏感层，则将强化学习的确定性输出的当前层置为0.1，以确保第一轮剪枝中不对敏感层进行剪枝。

进一步的，所述强化学习中的奖励函数采用如下公式计算：

R_FLOPs＝-Error·log(FLOPs)

R_FLOPs表示FLOPs的奖励函数，FLOPs表示浮点运算量，Error为错误率。

进一步的，所述步骤S31中通过将秩排序结果作为敏感层判别依据，将平均秩的大小作为信息的度量，并按照如下公式所示的方法优化：

其中，δ_ij表示人为设定的指标，取值为1或0，L为重要性损失，

表示第j层的第i个滤波器，k为卷积层数，n_i2为滤波器个数。

进一步的，所述步骤S40具体为：

通过执行剪枝操作后的模型使用原训练集执行150轮训练来执行微调操作，从而获得最终剪枝完成的模型，其所采用的损失函数具体为：

其中，x_i表示预测值，y_i表示真实值，m为正整数即为总样本数。

本发明实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：

1、采用强化学习的方式实现的剪枝方法，是自动化剪枝过程，同时在剪枝过程中，通过学习的方式，能够不断优化剪枝策略，最终可获得最佳的剪枝策略。

2、本方法聚焦于将卷积层中卷积核按照平均秩的大小进行排序，且通过研究发现秩的大小与滤波器重要性大小具有一致性，并利用该特性，与重要性排序剪枝的结合，同时对于深度神经网络模型中的敏感层滤波器实行较低压缩率剪枝甚至不剪枝处理，极大的保证剪枝以后神经网络模型的精度。

3、基于高性能的移动边缘设备的价格十分昂贵，本发明可做到精度降低在可接受范围内时，直接将剪枝操作以后的模型部署在计算与存储能力不那么高的边缘设备上，从而能极大降低相应的计算设备的智能化成本。

4、比传统重要性排序方法效果更好，对于边缘设备智能化的未来发展前景有很大的意义。

附图说明

下面参照附图结合实施例对本发明作进一步的说明。

图1为本发明方法的流程图；

图2为本发明方法一实施例中原理示意图。

具体实施方式

如图1和图2所示，本发明的一种基于平均秩重要性排序的自动化卷积神经网络的剪枝方法，所述方法包括：

步骤10、获取图像的数据集，并将数据集按比例分为训练数据集和验证数据集；

步骤20、获取需要剪枝操作的模型并执行初始化，利用初始化的模型对训练数据集的图像进行预训练，获取每个卷积核输出特征图的平均秩；

步骤30、对所述平均秩进行排序，将秩排序结果作为敏感层判别依据，通过强化学习实现自动化模型剪枝操作，获得其中模型精度最高的模型剪枝策略进行剪枝操作；

步骤40、对剪枝完成以后的模型执行微调操作，得到最终的神经网络模型。

较佳的，所述步骤20进一步包括：

步骤21、基于Pytorch框架创建待剪枝的卷积神经网络模型；

步骤22、设置相应的预训练参数；

步骤23、对训练数据集中的图像进行50轮预训练过程，提取相应神经网络模型的相应层的信息，计算卷积层中每个卷积核输出特征图的平均秩，并建立对应的层结构索引，获取当前模型精度，所述模型精确度通过测试集中不同图片进行测试得到。

较佳的，所述步骤30进一步包括：

步骤31、对当前模型中每一层的平均秩按从低到高进行排序，确定平均秩较高的三层为敏感层，其他层为非敏感层；

步骤32、获取超参数中设置的目标剪枝率，并根据目标剪枝率确定需要剪枝的滤波器数量；

步骤33、根据强化学习的确定性策略，若当前层为非敏感层，则执行步骤34，否则，进一步判断是否需要对敏感层进行剪枝，若是，则执行步骤34，否则，跳转至步骤36；

步骤34、通过计算滤波器的平均秩大小计算滤波器的重要性程度，由低到高对当前层模型中滤波器进行排序，并获取模型当前层应当执行剪枝操作的滤波器数量，同时计算获得剩下待剪枝滤波器数量；

步骤35、根据上述获得的当前层所需剪枝的滤波器数量，选择当前层非敏感滤波器(即可替代滤波器)，将其权重设置为0，并进行剪枝；

步骤36、依次对模型中每一层重复执行步骤33-步骤35，以完成对模型所有层的剪枝操作，即完成一轮完整的模型剪枝操作，并在完成一轮剪枝操作时，通过验证数据集验证完成一轮剪枝操作的模型的精度，并将当前模型剪枝策略与精度保存到强化学习经验回放池中；

步骤37、重复执行步骤33-步骤36，直至完成所有预设轮次的模型剪枝操作，并获取其中精度最高的剪枝策略，根据其中精度最高的剪枝策略执行剪枝操作，得到剪枝后的模型。

较佳的，所述步骤30的强化学习使用的是DDPG深度确定性策略强化学习方法，其中演员网络与评论家网络的训练根据完整一轮剪枝所获得的精度与每一轮中剪枝状态作为输入执行训练操作，其中在状态空间中，对于每一层网络t，通过如下公式所示的10个属性来表示状态St的属性特征：

(t，n，c，h，w，stride，k，FLOPs[t]，Re_all，Rest，a_t-1)

其中，t表示每层网络的标签，n表示网络总层数，c表示卷积通道数，h、w分别表示卷积特征图的高和宽，stride为步长，k表示迭代次数，FLOPs[t]表示每一层网络t的浮点计算量，Re_all为所有的状态响应，Rest为剩余状态，a_t-1为t-1层网络的动作状态；

代理从滤波器剪枝的环境中获得其所处的第t层的环境St，获得当前特征向量φ(s_t)，然后输出St状态下的动作A_t＝πθ(φ(s_t)+N作为当前层的剪枝率，指导当前层进行可替代滤波器剪枝；

在下一轮剪枝时，可以通过在DDPG经验回放池中采集m个样本如下公式计算当前目标Q值y_t：

其中R_t表示代理，b为基线奖励，γ为奖励平衡因子，Q′为目标函数，φ(s′_t)为演员目标网络的特征向量，π′_θ为压缩率函数，W′为演员网络权重参数，π_θ′(φ(s′_t))是通过演员目标网络获得，而Q′(φ(s′_t)，π′_θ(φ(s′_t))，w′)则是通过评论家目标网络获得，其中γ的值设置为1以避免短期奖励的优先级过高，在代理更新期间通过减去基线奖励b来减少梯度估计的方差，其中梯度估计的值为此前奖励的指数移动平均值。

较佳的，所述步骤33中“进一步判断是否需要对敏感层进行剪枝”具体为：通过DDPG的损失函数判断是否需要对敏感层执行剪枝，若计算出来的损失大于或等于预设值，则不对敏感层进行剪枝，否则对敏感层执行与非敏感层相同的剪枝过程；

所述DDPG的损失函数为下式所示的均方误差函数：

A_t＝π_θ(φ(s_t)+N

其中，L()为误差函数，n为网络总层数，m为样本总数，Q为代理网络目标函数，φ(s_t)为代理网络特征向量，w为代理网络权重参数。其选择出来的动作A会增加一定的噪声N并且噪声会在每轮剪枝完以后呈指数衰减，最终产生和环境交互的A_t。

较佳的，所述步骤33中还包括，在第一轮剪枝中，若当前层为敏感层，则将强化学习的确定性输出的当前层置为0.1，以确保第一轮剪枝中不对敏感层进行剪枝，只有在损失不大的情况才对敏感层进行剪枝，以提高精度。

较佳的，所述强化学习中的奖励函数采用如下公式计算：

R_FLOPs＝-Error·log(FLOPs)

R_FLOPs表示FLOPs的奖励函数，FLOPs表示浮点运算量，Error为错误率。

较佳的，所述步骤S31中通过将秩排序结果作为敏感层判别依据，将平均秩的大小作为信息的度量，并按照如下公式所示的方法优化：

其中，δ_ij表示人为设定的指标，取值为1或0，L为重要性损失，误差函数在这里表示重要性损失，

表示第j层的第i个滤波器，k为卷积层数，n_i2为滤波器个数，s.t.表示上式满足的条件，该式表示以平均值为度量进行优化。

进一步的，所述步骤S40具体为：

通过执行剪枝操作后的模型使用原训练集执行150轮训练来执行微调操作，从而获得最终剪枝完成的模型，其所采用的损失函数具体为：

其中，x_i表示预测值，y_i表示真实值，m为正整数即为总样本数。

本发明通过预先的剪枝准备，获取数据集，选择网络模型并进行初始化训练，训练结束后获取含有复杂信息的敏感层的层索引进行编号，然后将敏感层第t层中卷积核的平均秩求出来，按照平均秩的大小排序滤波器，对滤波器进行剪枝，本文中采用的是降维转化(即减小滤波器权重矩阵的维度，降低复杂度)，设置演员网络与评论家网络利用强化学习进行自动化剪枝，最后设置奖励函数，以演员网络为代理确定合适的压缩率(剪枝率)，在压缩率条件下修剪平均秩较小的滤波器，然后用评论家网络评估奖励大小，随后继续对下一层执行上述操作，直至每一层网络全部修剪完成。本发明采用上述的剪枝方法将原本应用于高性能计算机上的神经网络压缩以后部署于移动边缘设备上，具有以下几个优势：1.自动化剪枝操作。通过强化学习的方式实现的剪枝方法，是自动化剪枝过程，同时在剪枝过程中，通过学习的方式，能够不断优化剪枝策略，最终获得最佳的剪枝策略。2.极大的保证剪枝以后神经网络模型的精度。本方法聚焦于将卷积层中卷积核按照平均秩的大小进行排序，经研究也发现秩的大小与滤波器重要性大小具有一致性，是与重要性排序剪枝的结合，同时对于深度神经网络模型中的敏感层滤波器实行较低压缩率剪枝甚至不剪枝处理，从而达到最大程度的精度保留。3.降低设备的智能化成本。高性能的移动边缘设备的价格是十分昂贵的，在做到保证的精度降低在可接受范围内时，直接将剪枝操作以后的模型部署在计算与存储能力不那么高的边缘设备上，能极大降低相应的计算设备的成本。所以在秩排序的基础上，基于强化学习的卷积神经网络剪枝方法，比传统重要性排序方法效果更好，对于边缘设备智能化的未来发展前景有很大的意义。

虽然以上描述了本发明的具体实施方式，但是熟悉本技术领域的技术人员应当理解，我们所描述的具体的实施例只是说明性的，而不是用于对本发明的范围的限定，熟悉本领域的技术人员在依照本发明的精神所作的等效的修饰以及变化，都应当涵盖在本发明的权利要求所保护的范围内。

Claims (9)

1.基于平均秩重要性排序的自动化卷积神经网络的剪枝方法，其特征在于：所述方法包括：

步骤10、获取图像的数据集，并将数据集按比例分为训练数据集和验证数据集；

步骤20、获取需要剪枝操作的模型并执行初始化，利用初始化的模型对训练数据集的图像进行预训练，获取每个卷积核输出特征图的平均秩；

步骤30、对所述平均秩进行排序，将秩排序结果作为敏感层判别依据，通过强化学习实现自动化模型剪枝操作，获得其中模型精度最高的模型剪枝策略进行剪枝操作；

步骤40、对剪枝完成以后的模型执行微调操作，得到最终的神经网络模型。

2.根据权利要求1所述的一种基于平均秩重要性排序的自动化卷积神经网络的剪枝方法，其特征在于：所述步骤20进一步包括：

步骤21、基于Pytorch框架创建待剪枝的卷积神经网络模型；

步骤22、设置相应的预训练参数；

步骤23、对训练数据集中的图像进行50轮预训练过程，提取相应神经网络模型的相应层的信息，计算卷积层中每个卷积核输出特征图的平均秩，并建立对应的层结构索引，获取当前模型精度，所述模型精确度通过测试集中不同图片进行测试得到。

3.根据权利要求1所述的一种基于平均秩重要性排序的自动化卷积神经网络的剪枝方法，其特征在于：所述步骤30进一步包括：

步骤31、对当前模型中每一层的平均秩按从低到高进行排序，确定平均秩较高的三层为敏感层，其他层为非敏感层；

步骤32、获取超参数中设置的目标剪枝率，并根据目标剪枝率确定需要剪枝的滤波器数量；

步骤33、根据强化学习的确定性策略，若当前层为非敏感层，则执行步骤34，否则，进一步判断是否需要对敏感层进行剪枝，若是，则执行步骤34，否则，跳转至步骤36；

步骤34、通过计算滤波器的平均秩大小计算滤波器的重要性程度，由低到高对当前层模型中滤波器进行排序，并获取模型当前层应当执行剪枝操作的滤波器数量，同时计算获得剩下待剪枝滤波器数量；

步骤35、根据上述获得的当前层所需剪枝的滤波器数量，选择当前层非敏感滤波器，将其权重设置为0，并进行剪枝；

步骤36、依次对模型中每一层重复执行步骤33-步骤35，以完成对模型所有层的剪枝操作，即完成一轮完整的模型剪枝操作，并在完成一轮剪枝操作时，通过验证数据集验证完成一轮剪枝操作的模型的精度，并将当前模型剪枝策略与精度保存到强化学习经验回放池中；

步骤37、重复执行步骤33-步骤36，直至完成所有预设轮次的模型剪枝操作，并获取其中精度最高的剪枝策略，根据其中精度最高的剪枝策略执行剪枝操作，得到剪枝后的模型。

4.根据权利要求1所述的一种基于平均秩重要性排序的自动化卷积神经网络的剪枝方法，其特征在于：所述步骤30的强化学习使用的是DDPG深度确定性策略强化学习方法，其中演员网络与评论家网络的训练根据完整一轮剪枝所获得的精度与每一轮中剪枝状态作为输入执行训练操作，其中在状态空间中，对于每一层网络t，通过如下公式所示的10个属性来表示状态St的属性特征：

(t,n,c,h,w,stride,k,FLOPs[t],Re_all,Rest，a_t-1)

其中，t表示每层网络的标签，n表示网络总层数，c表示卷积通道数，h、w分别表示卷积特征图的高和宽，stride为步长，k表示迭代次数，FLOPs[t]表示每一层网络t的浮点计算量，Re_all为所有的状态响应，Rest为剩余状态，a_t-1为t-1层网络的动作状态；

代理从滤波器剪枝的环境中获得其所处的第t层的环境St，获得当前特征向量φ(s_t),然后输出St状态下的动作A_t＝π_θ(φ(s_t)+N作为当前层的剪枝率，指导当前层进行可替代滤波器剪枝；

在下一轮剪枝时，可以通过在DDPG经验回放池中采集m个样本如下公式计算当前目标Q值y_t：

其中R_t表示代理，b为基线奖励，γ为奖励平衡因子，Q′为目标函数，φ(s′_t)为演员目标网络的特征向量，π′_θ为压缩率函数，W’为演员网络权重参数。

5.根据权利要求4所述的一种基于平均秩重要性排序的自动化卷积神经网络的剪枝方法，其特征在于：所述步骤33中“进一步判断是否需要对敏感层进行剪枝”具体为：通过DDPG的损失函数判断是否需要对敏感层执行剪枝，若计算出来的损失大于或等于预设值，则不对敏感层进行剪枝，否则对敏感层执行与非敏感层相同的剪枝过程；

所述DDPG的损失函数为下式所示的均方误差函数：

A_t＝π_θ(φ(s_t)+N

其中，L()为误差函数，n为网络总层数，m为样本总数，Q为代理网络目标函数，φ(s_t)为代理网络特征向量，w为代理网络权重参数。

6.根据权利要求4所述的一种基于平均秩重要性排序的自动化卷积神经网络的剪枝方法，其特征在于：所述步骤33中还包括，在第一轮剪枝中，若当前层为敏感层，则将强化学习的确定性输出的当前层置为0.1，以确保第一轮剪枝中不对敏感层进行剪枝。

7.根据权利要求4所述的一种基于平均秩重要性排序的自动化卷积神经网络的剪枝方法，其特征在于：所述强化学习中的奖励函数采用如下公式计算：

R_FLOPs＝-Error·log(FLOPs)

R_FLOPs表示F_LOPs的奖励函数，F_LOPs表示浮点运算量，E_rror为错误率。

8.根据权利要求1所述的一种基于平均秩重要性排序的自动化卷积神经网络的剪枝方法，其特征在于：所述步骤S31中通过将秩排序结果作为敏感层判别依据，将平均秩的大小作为信息的度量，并按照如下公式所示的方法优化：

其中，δ_ij表示人为设定的指标，取值为1或0，L为重要性损失，

表示第j层的第i个滤波器，k为卷积层数，n_i2为滤波器个数。

9.根据权利要求1所述的一种基于平均秩重要性排序的自动化卷积神经网络的剪枝方法，其特征在于：所述步骤S40具体为：

通过执行剪枝操作后的模型使用原训练集执行150轮训练来执行微调操作，从而获得最终剪枝完成的模型，其所采用的损失函数具体为：

其中，x_i表示预测值，y_i表示真实值，m为正整数即为总样本数。

Images