CN114330713B - 卷积神经网络模型剪枝方法和装置、电子设备、存储介质 - Google Patents

Abstract

本公开实施例提供卷积神经网络模型剪枝方法和装置、电子设备、存储介质，涉及人工智能技术领域。该卷积神经网络模型剪枝方法，包括：获取待剪枝模型的损失函数，对损失函数进行泰勒展开，得到第一参数重要性指标值和第二参数重要性指标值；根据第一参数重要性指标值和第二参数重要性指标值计算每个滤波器对应的剪枝重要性指标；根据预设剪枝率和每个滤波器对应的剪枝重要性指标，对待剪枝模型进行剪枝得到剪枝模型。本实施例考虑滤波器之间的关系以及模型中每个卷积层内部滤波器的冗余信息，量化滤波器的重要性，提高卷积神经网络模型剪枝的准确率，提升模型压缩精度和运算速度。

Description

卷积神经网络模型剪枝方法和装置、电子设备、存储介质

技术领域

本发明涉及人工智能技术领域，尤其涉及卷积神经网络模型剪枝方法和装置、电子设备和存储介质。

背景技术

随着互联网技术和人工智能的发展，基于卷积神经网络的模型在很多任务中都表现出了很好的性能，例如用于目标检测的卷积神经网络模型应用较广，模型但这些模型在使用时都需要巨大的计算开销和内存占用，由于这些模型中通常会含有大量的冗余信息，因此，对模型进行压缩以减少使用过程中的计算开销和内存占用成为必不可少的一步。模型剪枝作为模型压缩技术的一个重要方向，目前深度学习模型中的检测模型和分割模型可以通过剪枝取出冗余参数，尽可能保证模型精度，对模型大小进行压缩，同时提高模型运算速度。但是目前的模型剪枝选取剪枝滤波器的方法仅考虑单个滤波器的信息，没有考虑滤波器之间的关系，也没有考虑模型中每个卷积层内部滤波器的冗余信息，使得卷积神经网络模型的剪枝准确率和模型压缩精度低。

发明内容

本公开实施例的主要目的在于提出一种卷积神经网络模型剪枝方法和装置、电子设备和存储介质，能够提高卷积神经网络模型剪枝的准确率，提升模型压缩精度和运算速度。

为实现上述目的，本公开实施例的第一方面提出了一种卷积神经网络模型剪枝方法，包括：

获取待剪枝模型的损失函数，所述待剪枝模型为卷积神经网络模型；

在每个所述滤波器对应的模型权重参数集的邻域内，对所述损失函数进行泰勒展开，得到第一参数重要性指标值；

在每个所述滤波器对应的批规范化层中缩放因子的邻域内，对所述损失函数进行泰勒展开，得到第二参数重要性指标值；

根据所述第一参数重要性指标值和所述第二参数重要性指标值计算每个所述滤波器对应的剪枝重要性指标；

根据预设剪枝率和每个所述滤波器对应的所述剪枝重要性指标，对所述待剪枝模型进行剪枝得到剪枝模型。

在一些实施例，所述待剪枝模型的损失函数为：交叉熵损失函数、L1范数损失函数和L2范数损失函数中一种。

在一些实施例，所述在每个所述滤波器对应的模型权重参数集的邻域内，对所述损失函数进行泰勒展开，得到第一参数重要性指标值，包括：

在每个所述滤波器对应的模型权重参数集的邻域内对所述损失函数进行一阶泰勒展开，得到所述第一参数重要性指标值；

所述第一参数重要性指标值表示为：

其中，I_m1表示第m个滤波器的第一参数重要性指标值，E(D,W)表示所述待剪枝模型的损失函数，w_m表示第m个滤波器的所述权重参数。

在一些实施例，所述在每个所述滤波器对应的批规范化层中缩放因子的邻域内，对所述损失函数进行泰勒展开，得到第二参数重要性指标值，包括：

在每个所述滤波器对应的批规范化层中缩放因子的邻域内对每个所述滤波器的所述损失函数进行一阶泰勒展开，得到所述第二参数重要性指标值；

所述第二参数重要性指标值表示为：

其中，I_m2表示第m个滤波器的第二参数重要性指标值，E(D,W)表示所述待剪枝模型的损失函数，γ_m表示第m个滤波器在批规范化层中对应的缩放因子。

在一些实施例，所述根据所述第一参数重要性指标值和所述第二参数重要性指标值计算每个所述滤波器对应的剪枝重要性指标，包括：

获取所述第一参数重要性指标值和所述第二参数重要性指标值的乘积；

将所述乘积作为每个所述滤波器对应的所述剪枝重要性指标；

所述剪枝重要性指标表示为：

P_m＝I_m1I_m2

其中，P_m表示第m个滤波器的剪枝重要性指标，I_m1表示第m个滤波器的第一参数重要性指标值，I_m2表示第m个滤波器的第二参数重要性指标值。

在一些实施例，所述根据预设剪枝率和每个所述滤波器对应的所述剪枝重要性指标，对所述待剪枝模型进行剪枝得到剪枝模型，包括：

根据每个所述滤波器对应的剪枝重要性指标进行排序，得到剪枝重要性排序结果；

根据所述预设剪枝率和所述剪枝重要性排序结果，去掉对应滤波器，得到所述剪枝模型。

在一些实施例，得到所述剪枝模型后，还包括：

对所述剪枝模型进行微调，包括：

根据预设选取规则，选取所述剪枝模型的部分滤波器；

对所述剪枝模型中选取剩下的所述滤波器和对应的全连接层进行模型训练，得到所述剪枝模型。

为实现上述目的，本公开的第二方面提出了一种卷积神经网络模型剪枝装置，包括：

损失函数获取模块，用于获取待剪枝模型的损失函数，所述待剪枝模型为卷积神经网络模型；

第一参数重要性指标值计算模块，用于在每个所述滤波器对应的模型权重参数集的邻域内，对所述损失函数进行泰勒展开，得到第一参数重要性指标值；

第二参数重要性指标值计算模块，用于在每个所述滤波器对应的批规范化层中缩放因子的邻域内，对所述损失函数进行泰勒展开，得到第二参数重要性指标值；

剪枝重要性指标计算模块，用于根据所述第一参数重要性指标值和所述第二参数重要性指标值计算每个所述滤波器对应的剪枝重要性指标；

剪枝模块，用于根据预设剪枝率和每个所述滤波器对应的所述剪枝重要性指标，对所述待剪枝模型进行剪枝得到剪枝模型。

为实现上述目的，本公开的第三方面提出了一种电子设备，包括：

至少一个存储器；

至少一个处理器；

至少一个程序；

所述程序被存储在存储器中，处理器执行所述至少一个程序以实现本公开如上述第一方面所述的方法。

为实现上述目的，本公开的第四方面提出了一种存储介质，该存储介质是计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行：

如上述第一方面所述的方法。

本公开实施例提出的卷积神经网络模型剪枝方法和装置、电子设备、存储介质，通过获取待剪枝模型的损失函数，在每个滤波器对应的模型权重参数集的邻域内，对损失函数进行泰勒展开，得到第一参数重要性指标值；在每个滤波器对应的批规范化层中缩放因子的邻域内，对损失函数进行泰勒展开，得到第二参数重要性指标值；根据第一参数重要性指标值和第二参数重要性指标值计算每个滤波器对应的剪枝重要性指标；根据预设剪枝率和每个滤波器对应的剪枝重要性指标，对待剪枝模型进行剪枝得到剪枝模型。本实施例中利用泰勒展开的方式计算得到每个滤波器的第一参数重要性指标值和第二参数重要性指标值，并进一步计算得到剪枝重要性指标，考虑滤波器之间的关系以及模型中每个卷积层内部滤波器的冗余信息，量化滤波器的重要性，能够提高卷积神经网络模型剪枝的准确率，提升模型压缩精度和运算速度。

附图说明

图1是本公开实施例提供的卷积神经网络模型剪枝方法的流程图。

图2是本公开实施例提供的卷积神经网络模型剪枝方法的又一流程图。

图3是本公开实施例提供的卷积神经网络模型剪枝方法的又一流程图。

图4是本公开实施例提供的卷积神经网络模型剪枝方法的又一流程图。

图5是本公开实施例提供的卷积神经网络模型剪枝装置的结构框图。

图6是本公开实施例提供的电子设备的硬件结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。

需要说明的是，虽然在装置示意图中进行了功能模块划分，在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于装置中的模块划分，或流程图中的顺序执行所示出或描述的步骤。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本发明实施例的目的，不是旨在限制本发明。

首先，对本申请中涉及的若干名词进行解析：

卷积神经网络(Convolutional Neural Networks,CNN)：是一类包含卷积计算且具有深度结构的前馈神经网络，是深度学习的代表算法之一。卷积神经网络具有表征学习能力，能够按其阶层结构对输入信息进行平移不变分类。卷积神经网络仿造生物的视知觉机制构建，可以进行监督学习和非监督学习，其隐含层内的卷积核参数共享和层间连接的稀疏性使得卷积神经网络能够以较小的计算量对格点化特征。一种常见的卷积神经网络结构是输入层-卷积层-池化层-全连接层-输出层。

BN(Batch Normalization，批规范化)层：与激活函数层、卷积层、全连接层、池化层一样，BN层也属于模型网络的一层。对于深度网络的训练过程，只要网络的前面几层发生微小的改变，那么后面几层就会被累积放大下去。一旦网络某一层的输入数据的分布发生改变，那么这一层网络就需要去适应学习这个新的数据分布，所以如果训练过程中，训练数据的分布一直在发生变化，那么将会影响网络的训练速度。因此需要在训练过程中，对中间层数据进行规范化或归一化预处理，在网络的每一层输入的时候，插入BN层，先做归一化处理(例如归一化至：均值0、方差为1)，然后再进入网络的下一层。以改善流经网络的梯度，以防止梯度消失或爆炸，同时加快训练速度。

泰勒公式：是一个用函数在某点的信息描述其附近取值的公式。泰勒公式得名于英国数学家布鲁克·泰勒。如果函数满足一定的条件，泰勒公式可以用函数在某一点的各阶导数值做系数构建一个多项式来近似表达这个函数，将一些复杂的函数逼近近似地表示为简单的多项式函数。利用泰勒公式可以将非线性问题化为线性问题，且具有很高的精确度，因此其在微积分的各个方面都有重要的应用，例如泰勒公式可以应用于求极限、判断函数极值、求高阶导数在某点的数值、判断广义积分收敛性、近似计算、不等式证明等方面。

随着互联网技术和人工智能的发展，基于卷积神经网络的模型在很多任务中都表现出了很好的性能，但这些模型在使用时都需要巨大的计算开销和内存占用，由于这些模型中通常会含有大量的冗余信息，因此，对模型进行压缩以减少使用过程中的计算开销和内存占用成为必不可少的一步。模型剪枝作为模型压缩技术的一个重要方向，目前深度学习模型中的检测模型和分割模型可以通过剪枝取出冗余参数，尽可能保证模型精度，对模型大小进行压缩，同时提高模型运算速度。

模型剪枝的操作主要分为两步：首先选取出相对不重要的卷积核的滤波器并去掉，然后对去掉了不重要滤波器的模型进行微调优化，以恢复因为去掉滤波器带来的精度损失。因此，相关技术中剪枝方法都在解决如何选取出相对不重要的卷积核的滤波器。例如常见的三种方式：1)直接采用BN层的权重的大小，这种方法便于理解，易于实现，但是BN层的权重难以衡量相关滤波器真正具有的信息量，两者之间不具备强相关性，从而不能衡量滤波器之间的信息相关性；2)采用滤波器的L1或L2范数值的大小作为滤波器重要性判断指标，这种方法具有和第一种方法类似的缺点，仅仅依赖于数值的大小，没有对滤波器之间的相关性进行考虑；3)采用滤波器所在空间的几何中位数的方法，这种方法首先计算得到距离所有滤波器的几何中位数最近的滤波器，之后将其进行剪枝，但是几何中位数的信息量是否真的可以以其他的滤波器的信息量来替代是没有严格证据支持的。

由此可见，相关技术中目前的模型剪枝选取剪枝滤波器的方法仅考虑单个滤波器的信息，并没有考虑模型中每个卷积层内部滤波器的冗余信息，使得卷积神经网络模型的剪枝准确率和模型压缩精度低。

基于此，本公开实施例提供一种卷积神经网络模型剪枝方法和装置、电子设备、存储介质，利用泰勒展开的方式计算得到每个滤波器的第一参数重要性指标值和第二参数重要性指标值，并进一步计算得到剪枝重要性指标，考虑滤波器之间的关系以及模型中每个卷积层内部滤波器的冗余信息，量化滤波器的重要性，能够提高卷积神经网络模型剪枝的准确率，提升模型压缩精度和运算速度。

本公开实施例提供卷积神经网络模型剪枝方法和装置、电子设备、存储介质，具体通过如下实施例进行说明，首先描述本公开实施例中的卷积神经网络模型剪枝方法。

本申请实施例可以基于人工智能技术对相关的数据进行获取和处理。其中，人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。

人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

本公开实施例提供的卷积神经网络模型剪枝方法，涉及人工智能技术领域，尤其涉及数据挖掘技术领域。本公开实施例提供的卷积神经网络模型剪枝方法可应用于终端中，也可应用于服务器端中，还可以是运行于终端或服务器端中的软件。在一些实施例中，终端可以是智能手机、平板电脑、笔记本电脑、台式计算机或者智能手表等；服务器可以是独立的服务器，也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器；软件可以是实现卷积神经网络模型剪枝方法的应用等，但并不局限于以上形式。

本申请可用于众多通用或专用的计算机系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

图1是本公开实施例提供的卷积神经网络模型剪枝方法的一个可选的流程图，图1中的方法可以包括但不限于包括步骤S101至步骤S105。

步骤S101，获取待剪枝模型的损失函数。

在一实施例中，待剪枝模型为卷积神经网络模型，本实施例对待剪枝模型进行剪枝时，考虑到滤波器之间的关系以及模型中每个卷积层内部滤波器的冗余信息，用以量化滤波器的重要性，来提高卷积神经网络模型剪枝的准确率，提升模型压缩精度和运算速度，因此需要根据损失函数来计算每个滤波器的权重参数重要性。

在一实施例中，待剪枝模型的损失函数为：交叉熵损失函数、L1范数损失函数和L2范数损失函数中一种，其中，L1范数损失函数，也被称为最小绝对值偏差损失函数或最小绝对值误差损失函数，是把目标值与估计值的绝对差值的总和进行最小化；L2范数损失函数，也被称为最小平方误差损失函数，是把目标值与估计值的差值的平方和进行最小化，在此不做具体限定。损失函数用于衡量待剪枝模型中预测值与样本标签之间的近似程度，一般是一种拟合函数。

在一实施例中，要计算每个滤波器的权重参数重要性，首先利用训练数据集中的样本对待剪枝模型进行训练，此时待剪枝模型未进行剪枝，即未去除任一卷积核中的滤波器。该实施例中，可以是整个训练数据集进行训练，也可以训练数据集中部分样本，获取训练过程中得到的预测值与样本标签之间的第一损失值，损失值可以由损失函数计算得到，损失函数表示为E(D,W)，其中，W表示模型权重参数集，D表示训练数据集。

在一实施例中，训练数据集D由K个样本构成，每个样本均包含一个样本图片x和一个对应的样本标签y，训练数据集表示为：D＝{(x₀,y₀)，(x₁,y₁)，...，(x_K,y_K)}，待剪枝模型的训练过程描述为：在已知样本图片x(即训练数据集D)和模型权重参数集W的情况下，最小化损失函数E(D,W)，表示为：

然后获取去掉当前滤波器的权重参数后得到的预测值与样本标签之间的第二损失函数对应的损失值。在一实施例中，具体是：去掉待剪枝模型中当前滤波器的权重参数，然后计算预测值与样本标签之间的第二损失值。

最后根据多组训练样本图片对应的第一损失值和第二损失值之间的损失值，对其进行拟合，即可得到当前滤波器权重参数重要性函数I_m。

本实施例中，为了实现在待剪枝模型中去除该卷积核中的滤波器，在模型权重参数集中将当前滤波器的权重参数设为零。

该实施例中，第m个滤波器的权重参数重要性函数表示为：

I_m＝(E(D,W)-E(D,W|w_m＝0))²

其中，I_m表示第m个滤波器的权重参数重要性函数，E(D,W)表示第一损失函数，E(D,W|w_m＝0)表示去掉第m个滤波器得到的第二损失函数，W表示模型权重参数集，D表示训练数据集，w_m表示第m个滤波器的权重参数，w_m＝0表示去掉该权重参数，将该权重参数设为0。

在一实施例中，如果要按照上式计算第m个滤波器的权重参数重要性，需要构建M个不同的网络，M是滤波器的总个数，然后对模型网络参数逐一计算，这种方式的计算资源消耗巨大。因此，该实施例按照下述步骤S102至S103进行后续处理。

步骤S102，在每个滤波器对应的模型权重参数集的邻域内，对损失函数进行泰勒展开，得到第一参数重要性指标值。

在一实施例中，具体是对每个滤波器的损失函数在模型权重参数集W的邻域内进行一阶泰勒展开，得到第一参数重要性指标值。

上述实施例中，由于泰勒展开是指将函数在某一点的各阶导数值做系数构建一个多项式来近似表达这个函数。即本实施例中对损失函数在模型权重参数集W的邻域内展开，本实施例中模型权重参数集W的邻域内即第m个滤波器的权重参数，因此利用该邻域内计算得到的各阶导数值作为系数，构建一个多项式来表达权重参数重要性函数I_m。

在一实施例中，在模型权重参数集W的邻域内对损失函数进行一阶泰勒展开，一阶泰勒展开的意思是利用模型权重参数集W的邻域内的一阶导数值作为系数构建多项式表达权重参数重要性函数，由于进行一阶泰勒展开，因此可以得到第一参数重要性指标值，表示为：

其中，E(D,W)表示待剪枝模型的损失函数，I_m1表示第m个滤波器的第一参数重要性指标值，w_m表示第m个滤波器的权重参数。

上述实施例中，第m个滤波器的第一参数重要性指标值I_m1可以用对应的权重参数w_m和损失函数E(D,W)在模型权重参数集W的邻域内的一阶导数的乘积来表征。

在一实施例中，可以仅以第一参数重要性指标值判断是否进行剪枝。由于第一参数重要性指标值是待剪枝模型中不同损失函数变化的一种近似，所以第一参数重要性指标值越大，表示损失函数变化就越大，若剪除相应的滤波器，则对待剪枝模型的性能产生较大影响，因此本实施例在剪枝中选择将第一参数重要性指标值较小的滤波器去掉。

为了进一步提高卷积神经网络模型剪枝的准确率，提升模型压缩精度和运算速度，还需要获取更多滤波器相关的重要性指标值。

步骤S103，在每个滤波器对应的批规范化层中缩放因子的邻域内，对损失函数进行泰勒展开，得到第二参数重要性指标值。

在一实施例中，对损失函数在批规范化层(即BN层)中缩放因子的邻域内进行一阶泰勒展开，由于进行一阶泰勒展开，因此可以得到第二参数重要性指标值，其中BN层中缩放因子个数与滤波器的个数相对应，即每个滤波器均对应一个缩放因子，表示为：

其中，E表示I_m是一个和误差相关的函数，I_m2表示第m个滤波器的第二参数重要性指标值，γ_m表示第m个滤波器在BN层中对应的缩放因子。

上述实施例中，第m个滤波器的第二参数重要性指标值I_m2可以用对应的缩放因子γ_m和损失函数在缩放因子γ_m处的一阶导数的乘积来表征。

上述得到第m个滤波器的第一参数重要性指标值I_m1和第m个滤波器的第二参数重要性指标值I_m2后，计算每个滤波器对应的剪枝重要性指标，用于根据每个滤波器对应的剪枝重要性指标选取需要进行剪枝的滤波器。

步骤S104，根据第一参数重要性指标值和第二参数重要性指标值计算每个滤波器对应的剪枝重要性指标。

在一实施例中，参照图2，步骤S104包括但不限于步骤S1041至S1042：

步骤S1041，获取第一参数重要性指标值和第二参数重要性指标值的乘积；

步骤S1042，将乘积作为每个滤波器对应的剪枝重要性指标。

在该实施例中，对于第m个滤波器来说，将其对应的第一参数重要性指标值I_m1和第二参数重要性指标值I_m2进行相乘即可得到该滤波器对应的剪枝重要性指标，表示为：

P_m＝I_m1I_m2

其中，P_m表示第m个滤波器的剪枝重要性指标，该实施例中剪枝重要性指标综合考虑第一参数重要性指标值和第二参数重要性指标值，可以更好地对相关滤波器的重要性做出评价。

步骤S105，根据预设剪枝率和每个滤波器对应的剪枝重要性指标，对待剪枝模型进行剪枝得到剪枝模型。

在一实施例中，得到每个滤波器对应的剪枝重要性指标后，就可以根据该剪枝重要性指标选取滤波器进行剪枝。例如剪枝重要性指标越大，表示该滤波器在待剪枝模型中的重要性越强，若剪除相应的滤波器，则对待剪枝模型的性能产生较大影响，因此本实施例在剪枝中选择将剪枝重要性指标较小的滤波器去掉。

在一实施例中，参照图3，步骤S105包括步骤S1051至S1052：

步骤S1051，根据每个滤波器对应的剪枝重要性指标进行排序，得到剪枝重要性排序结果。

在一实施例中，按照每个滤波器对应的剪枝重要性指标进行从小到大排序，得到剪枝重要性排序结果，由于是从小到大排序，因此排名靠前的滤波器的重要性较低。可以理解的是，也可以从大到小进行排序，则选取滤波器进行剪枝时，按照倒序的方式来选取，在此不做具体限定。

步骤S1052，根据预设剪枝率和剪枝排序结果，去掉对应滤波器，得到剪枝模型。

在一实施例中，剪枝操作中需要根据实际需求设定预设剪枝率，剪枝率过高会导致模型精度降低，剪枝率过低会导致模型运算效率提升较差，因此需要根据实际需求设定预设剪枝率，按照预设剪枝率进行剪枝，决定剪掉多少个滤波器。例如若设置预设剪枝率为75％，则通过剪枝操作去掉3/4的滤波器，按照上述剪枝排序结果将剪枝重要性指标较小的3/4个滤波器去掉，剪枝重要性指标较小的滤波器在待剪枝模型中作用较弱，存在冗余信息，因此将其去除之后不会对待剪枝模型的性能产生较大影响，同时有效地减少待剪枝模型的模型参数，降低待剪枝模型运算量和存储空间。

在一些实施例，得到剪枝模型之后，为了补偿因滤波器剪枝导致的累加误差，需要对剪枝模型进行微调来恢复模型的精度，参照图4，对剪枝模型进行微调的步骤包括但不限于步骤S410至步骤S420：

步骤S410，根据预设选取规则，选取剪枝模型的部分滤波器。

在一实施例中，预设选取规则可以是选取靠近简直模型输入端的部分滤波器，滤波器数量的选择可以根据实际需求设定，在此不做限定。

步骤S420，对剪枝模型中选取剩下的滤波器和对应的全连接层进行模型训练，得到剪枝模型。

在一实施例中，在目标数据集上对选取剩下的滤波器(例如靠近输出端的滤波器)和对应的全连接层进行模型训练，实现对剪枝模型的微调补偿，实现模型压缩尺度最大化的条件下不影响模型运算性能的目的。

在一具体应用场景，以VGG16模型作为待剪枝模型为例来验证上述实施例中卷积神经网络模型剪枝方法的有效性，其中，VGG16模型是一种适用于分类和定位任务的卷积神经网络模型，该模型由5层卷积层、3层全连接层、softmax输出层构成，层与层之间使用max-pooling(最大化池)分开，所有隐含层的激活单元都采用ReLU函数。并且VGG16模型使用多个较小卷积核(例如3x3)的卷积层代替一个卷积核较大的卷积层，一方面可以减少参数，另一方面相当于进行了更多的非线性映射，增加网络的拟合/表达能力。

同时，验证采用的数据集为CIFAR-10数据集。CIFAR-10数据集中共有60000张彩色图像，这些图像的尺寸为是32*32，一共分为10个类，每类包含6000张图。该数据集中有50000张图像用于训练过程，总共构成5个训练批次，每一批次包含10000张图；另外10000张图像用于测试过程，单独构成一个批次，在测试批的数据里，取自10类中的每一类，每一类随机取1000张图像，剩下的随机排列组成了训练批。

验证过程中，每次实验进行500个Epoch(时期)的剪枝模型压缩训练，验证所采用的硬件为NVIDIA V100 GPU，且均采用PyTorch框架。

验证采用的压缩方法(即剪枝方法)包括：

1)APoZ模型剪枝方法：即根据激活函数输出为零所占百分比的大小决定剪枝的对象，使用APoZ来预测每一个滤波器在网络中的重要性。

2)激活值最小模型剪枝方法：即在激活之前，先将模型权重和偏差设为0，激活后剪去对下一层的激活值影响最小的滤波器，即平均激活值最小(意味着使用次数最少)的滤波器。

3)L1模型剪枝方法：即基于L1范数权重参数进行剪枝，基于L1范数权重参数剪枝，每一卷积层都使用较小的L1范数剪掉一定比例的滤波器。

4)上述实施例中的卷积神经网络模型剪枝方法。

根据验证结果来看，未进行剪枝的待剪枝模型的运算精度为93.99％。参照下表，为上述三种不同剪枝方法得到的剪枝模型的运算精度对比：

剪枝方法	未剪枝模型	APoZ	激活值最小	L1	本申请
						运算精度	93.99％	91.89％	92.77％	93.38％	93.41％

根据上表可以看出，本申请实施例的卷积神经网络模型剪枝方法的运算精度最高，为93.41％，趋近未进行剪枝的待剪枝模型的运算精度93.99％，可见本申请实施例的卷积神经网络模型剪枝方法不会对待剪枝模型的运算精度性能产生较大影响，同时能够有效地减少待剪枝模型的模型参数，降低待剪枝模型运算量和存储空间。

本公开实施例提出的卷积神经网络模型剪枝方法，通过获取待剪枝模型的损失函数，在每个滤波器对应的模型权重参数集的邻域内，对损失函数进行泰勒展开，得到第一参数重要性指标值；在每个滤波器对应的批规范化层中缩放因子的邻域内，对损失函数进行泰勒展开，得到第二参数重要性指标值；根据第一参数重要性指标值和第二参数重要性指标值计算每个滤波器对应的剪枝重要性指标；根据预设剪枝率和每个滤波器对应的剪枝重要性指标，对待剪枝模型进行剪枝得到剪枝模型。

本公开实施例中利用泰勒展开的方式计算得到每个滤波器的第一参数重要性指标值和第二参数重要性指标值，并进一步计算得到剪枝重要性指标，不仅考虑卷积层中滤波器的参数，而且考虑卷积层的批规范化层中的缩放因子，即将滤波器之间的关系进行关联，量化模型中每个卷积层内部滤波器的冗余信息，量化滤波器的重要性，能够提高卷积神经网络模型剪枝的准确率，提升模型压缩精度和运算速度，便于将剪枝模型移植到轻量级计算设备，例如终端上进行应用。

本公开实施例还提供一种卷积神经网络模型剪枝装置，可以实现上述卷积神经网络模型剪枝方法，参照图5，该装置包括：

损失函数获取模块510，用于获取待剪枝模型的损失函数；

第一参数重要性指标值计算模块520，用于在每个滤波器对应的模型权重参数集的邻域内，对损失函数进行泰勒展开，得到第一参数重要性指标值；

第二参数重要性指标值计算模块530，用于在每个滤波器对应的批规范化层中缩放因子的邻域内，对损失函数进行泰勒展开，得到第二参数重要性指标值；

剪枝重要性指标计算模块540，用于根据第一参数重要性指标值和第二参数重要性指标值计算每个滤波器对应的剪枝重要性指标；

剪枝模块550，用于根据预设剪枝率和每个滤波器对应的剪枝重要性指标，对待剪枝模型进行剪枝得到剪枝模型。

在一实施例中，第一参数重要性指标值计算模块520，还用于在模型权重参数集的邻域内对损失函数进行一阶泰勒展开，得到第一参数重要性指标值。

在一实施例中，第二参数重要性指标值计算模块530，还用于对损失函数在批规范化层中缩放因子的邻域内进行一阶泰勒展开，得到第二参数重要性指标值。

在一实施例中，剪枝重要性指标计算模块540，还用于获取第一参数重要性指标值和第二参数重要性指标值的乘积，然后将乘积作为每个滤波器对应的剪枝重要性指标。

在一实施例中，剪枝模块550，还用于根据每个滤波器对应的剪枝重要性指标进行排序，得到剪枝重要性排序结果，然后根据预设剪枝率和剪枝排序结果，去掉对应滤波器，得到剪枝模型。

在一实施例中，剪枝模块550，还用于对剪枝模型进行微调，包括：根据预设选取规则，选取剪枝模型的部分滤波器，对剪枝模型中选取剩下的滤波器和对应的全连接层进行模型训练，得到剪枝模型。

本实施例的卷积神经网络模型剪枝装置的具体实施方式与上述卷积神经网络模型剪枝方法的具体实施方式基本一致，在此不再赘述。

本公开实施例还提供了一种电子设备，包括：

至少一个存储器；

至少一个处理器；

至少一个程序；

所述程序被存储在存储器中，处理器执行所述至少一个程序以实现本公开实施上述的卷积神经网络模型剪枝方法。该电子设备可以为包括手机、平板电脑、个人数字助理(Personal Digital Assistant，简称PDA)、车载电脑等任意智能终端。

请参阅图6，图6示意了另一实施例的电子设备的硬件结构，电子设备包括：

处理器601，可以采用通用的CPU(CentralProcessingUnit，中央处理器)、微处理器、应用专用集成电路(ApplicationSpecificIntegratedCircuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本公开实施例所提供的技术方案；

存储器602，可以采用ROM(ReadOnlyMemory，只读存储器)、静态存储设备、动态存储设备或者RAM(RandomAccessMemory，随机存取存储器)等形式实现。存储器602可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器602中，并由处理器601来调用执行本公开实施例的卷积神经网络模型剪枝方法；

输入/输出接口603，用于实现信息输入及输出；

通信接口604，用于实现本设备与其他设备的通信交互，可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信；和

总线605，在设备的各个组件(例如处理器601、存储器602、输入/输出接口603和通信接口604)之间传输信息；

其中处理器601、存储器602、输入/输出接口603和通信接口604通过总线605实现彼此之间在设备内部的通信连接。

本公开实施例还提供了一种存储介质，该存储介质是计算机可读存储介质，该计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令用于使计算机执行上述卷积神经网络模型剪枝方法。

本公开实施例提出的卷积神经网络模型剪枝方法、卷积神经网络模型剪枝装置、电子设备、存储介质，本实施例中利用泰勒展开的方式计算得到每个滤波器的第一参数重要性指标值和第二参数重要性指标值，并进一步计算得到剪枝重要性指标，不仅考虑卷积层中滤波器的参数，而且考虑卷积层的批规范化层中的缩放因子，即将滤波器之间的关系进行关联，量化模型中每个卷积层内部滤波器的冗余信息，量化滤波器的重要性，能够提高卷积神经网络模型剪枝的准确率，提升模型压缩精度和运算速度，便于将剪枝模型移植到轻量级计算设备，例如终端上进行应用。

存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至该处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

本公开实施例描述的实施例是为了更加清楚的说明本公开实施例的技术方案，并不构成对于本公开实施例提供的技术方案的限定，本领域技术人员可知，随着技术的演变和新应用场景的出现，本公开实施例提供的技术方案对于类似的技术问题，同样适用。

本领域技术人员可以理解的是，图1-5中示出的技术方案并不构成对本公开实施例的限定，可以包括比图示更多或更少的步骤，或者组合某些步骤，或者不同的步骤。

以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、设备中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。

本申请的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括多指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等各种可以存储程序的介质。

以上参照附图说明了本公开实施例的优选实施例，并非因此局限本公开实施例的权利范围。本领域技术人员不脱离本公开实施例的范围和实质内所作的任何修改、等同替换和改进，均应在本公开实施例的权利范围之内。

Claims (9)

1.一种卷积神经网络模型剪枝方法，其特征在于，包括：

获取待剪枝模型的损失函数，所述待剪枝模型为卷积神经网络模型；

在每个滤波器对应的模型权重参数集的邻域内，对所述损失函数进行泰勒展开，得到第一参数重要性指标值；

在每个所述滤波器对应的批规范化层中缩放因子的邻域内，对所述损失函数进行泰勒展开，得到第二参数重要性指标值；

根据所述第一参数重要性指标值和所述第二参数重要性指标值计算每个所述滤波器对应的剪枝重要性指标；

根据预设剪枝率和每个所述滤波器对应的所述剪枝重要性指标，对所述待剪枝模型进行剪枝得到剪枝模型；

所述根据所述第一参数重要性指标值和所述第二参数重要性指标值计算每个所述滤波器对应的剪枝重要性指标，包括：

获取所述第一参数重要性指标值和所述第二参数重要性指标值的乘积；

将所述乘积作为每个所述滤波器对应的所述剪枝重要性指标；

所述剪枝重要性指标表示为：

P_m＝I_m1I_m2

其中，P_m表示第m个滤波器的剪枝重要性指标，I_m1表示第m个滤波器的第一参数重要性指标值，I_m2表示第m个滤波器的第二参数重要性指标值。

2.根据权利要求1所述的卷积神经网络模型剪枝方法，其特征在于，所述待剪枝模型的损失函数为：交叉熵损失函数、L1范数损失函数和L2范数损失函数中一种。

3.根据权利要求2所述的卷积神经网络模型剪枝方法，其特征在于，所述在每个所述滤波器对应的模型权重参数集的邻域内，对所述损失函数进行泰勒展开，得到第一参数重要性指标值，包括：

在每个所述滤波器对应的模型权重参数集的邻域内对所述损失函数进行一阶泰勒展开，得到所述第一参数重要性指标值；

所述第一参数重要性指标值表示为：

其中，I_m1表示第m个滤波器的第一参数重要性指标值，E(D,W)表示所述待剪枝模型的损失函数，w_m表示第m个滤波器的所述权重参数。

4.根据权利要求2所述的卷积神经网络模型剪枝方法，其特征在于，所述在每个所述滤波器对应的批规范化层中缩放因子的邻域内，对所述损失函数进行泰勒展开，得到第二参数重要性指标值，包括：

在每个所述滤波器对应的批规范化层中缩放因子的邻域内对所述损失函数进行一阶泰勒展开，得到所述第二参数重要性指标值；

所述第二参数重要性指标值表示为：

其中，I_m2表示第m个滤波器的第二参数重要性指标值，E(D,W)表示所述待剪枝模型的损失函数，γ_m表示第m个滤波器在批规范化层中对应的缩放因子。

5.根据权利要求1至4任一项所述的卷积神经网络模型剪枝方法，其特征在于，所述根据预设剪枝率和每个所述滤波器对应的所述剪枝重要性指标，对所述待剪枝模型进行剪枝得到剪枝模型，包括：

根据每个所述滤波器对应的剪枝重要性指标进行排序，得到剪枝重要性排序结果；

根据所述预设剪枝率和所述剪枝重要性排序结果，去掉对应滤波器，得到所述剪枝模型。

6.根据权利要求5所述的卷积神经网络模型剪枝方法，其特征在于，得到所述剪枝模型后，还包括：

对所述剪枝模型进行微调，包括：

根据预设选取规则，选取所述剪枝模型的部分滤波器；

对所述剪枝模型中选取剩下的所述滤波器和对应的全连接层进行模型训练，得到所述剪枝模型。

7.一种卷积神经网络模型剪枝装置，其特征在于，包括：

损失函数获取模块，用于获取待剪枝模型的损失函数，所述待剪枝模型为卷积神经网络模型；

第一参数重要性指标值计算模块，用于在每个滤波器对应的模型权重参数集的邻域内，对所述损失函数进行泰勒展开，得到第一参数重要性指标值；

第二参数重要性指标值计算模块，用于在每个所述滤波器对应的批规范化层中缩放因子的邻域内，对所述损失函数进行泰勒展开，得到第二参数重要性指标值；

剪枝重要性指标计算模块，用于根据所述第一参数重要性指标值和所述第二参数重要性指标值计算每个所述滤波器对应的剪枝重要性指标；所述根据所述第一参数重要性指标值和所述第二参数重要性指标值计算每个所述滤波器对应的剪枝重要性指标，包括：

获取所述第一参数重要性指标值和所述第二参数重要性指标值的乘积；

将所述乘积作为每个所述滤波器对应的所述剪枝重要性指标；

所述剪枝重要性指标表示为：

P_m＝I_m1I_m2

其中，P_m表示第m个滤波器的剪枝重要性指标，I_m1表示第m个滤波器的第一参数重要性指标值，I_m2表示第m个滤波器的第二参数重要性指标值；

剪枝模块，用于根据预设剪枝率和每个所述滤波器对应的所述剪枝重要性指标，对所述待剪枝模型进行剪枝得到剪枝模型。

8.一种电子设备，其特征在于，包括：

至少一个存储器；

至少一个处理器；

至少一个程序；

所述程序被存储在存储器中，处理器执行所述至少一个程序以实现：如权利要求1至6任一项所述的方法。

9.一种存储介质，所述存储介质为计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行：

如权利要求1至6任一项所述的方法。

Images