CN112215353A - 一种基于变分结构优化网络的通道剪枝方法 - Google Patents

Abstract

本发明属于卷积神经网络压缩与加速技术领域，具体提供一种基于变分结构优化网络的通道剪枝方法，通过基于变分结构优化网络的通道剪枝技术对深度卷积神经网络模型进行压缩，考虑了目前大型神经网络在资源受限上的应用局限性，采用通道剪枝技术对原始网络进行压缩，在不影响原始网络性能的前提下，尽可能的压缩网络参数，减少网络前向传播过程中激活层的内存占用，降低运行时进行的浮点运算次数，以实现轻量化网络的目标。本发明通过自动优化网络结构，卓有成效地降低了深度卷积神经网路的参数冗余，提高了其运行速度，从而扩大了神经网络在边缘设备上的应用场景。

Description

一种基于变分结构优化网络的通道剪枝方法

技术领域

本发明属于卷积神经网络压缩与加速技术领域，具体提供一种基于变分结构优化网络的通道剪枝方法。

背景技术

神经网络模型是对生物神经网络学习系统的数学表达，卷积神经网络(CNN)是其中的一种，在图像分类、物体检测、图像分割等机器视觉领域的应用中展现出了最先进的性能。然而，卷积神经网络的成功往往依赖于大量的计算和内存资源，图像分类中最先进的模型通常有数以千万计的参数，需要数十亿次浮点运算才能完成对一幅图像的预测；庞大的参数量与计算量使得卷积神经网络的诸多实际应用中(特别是基于移动设备、笔记本电脑和可穿戴设备等资源受限设备的应用)部署困难。

近年来，许多研究表明，深度神经网络面临着严峻的过参数化，模型内部参数存在着巨大的冗余，在实际部署时有巨大的优化空间，从而揭示了模型压缩的可行性。受此启发，一系列模型压缩技术包括张量分解、网络量化、知识蒸馏、模型剪枝等被提出以期在保持高准确率的情况下尽可能降低大型神经网络的复杂度。模型剪枝作为高效、普适性强的方法之一，受到了众多研究者的关注；模型剪枝依据剪枝细粒度可以被分为权重剪枝与通道剪枝两大类，权重剪枝通过修剪小权重实现非结构化的参数稀疏，但不规则的稀疏参数矩阵往往需要专门的软件与硬件以实现进一步压缩与加速；通道剪枝直接修剪不重要的整个滤波器以实现结构化剪枝，其完全被现有的硬软件所支持，在实际应用中更为有效。

通道剪枝的基本思路是衡量滤波器重要性，然后减去不重要的滤波器；不过传统的通道剪枝中往往基于人工设计的方法度量滤波器重要性，其极度依赖专家经验，倾向于片面与主观，而剪去多少不重要的滤波器也往往通过启发式或搜索式的方法进行选择，导致剪枝过程繁琐低效，实现的压缩性能有限。因此，设计一种高效的能自动寻找最优通道剪枝结构的模型压缩方法显得尤为重要。

发明内容

本发明的发明目的在于针对上述存在的问题，提供一种自动寻找最优通道结构的端到端通道剪枝方法，为实现该目的，本发明提供的技术方案如下：

一种基于变分结构优化网络的通道剪枝方法，包括以下步骤：

步骤S1：基于原始CNN构建变分结构优化网络；

变分结构优化网络框架由权重生成器与剪枝后网络(PrunedCNN)连接组成，输入为通道尺度变量v与图像分类数据集，输出为预测的类别概率p(y|x,v)；

步骤S2：训练变分结构优化网络；

将通道尺度v作为变分变量，在变分结构优化网络中进行变分推断，选择截尾对数均匀分布与截尾对数正态分布为通道尺度v的先验与后验分布，使用随机梯度变分贝叶斯(SGVB)方法，利用图像分类数据集计算变分证据下界(ELBO)；通过批梯度下降法优化得到最优权重生成器参数g^*与通道尺度后验分布超参数φ^*；

步骤S3：计算通道尺度v后验分布的期望作为最优通道尺度v^*，将最优通道尺度v^*输入具有参数g^*的权重生成器中、生成权重加载到变分结构优化网络中，得到最优剪枝后网络(Optimal PrunedCNN)。

进一步的，所述步骤S1包括以下步骤：

S11：为层数为L的原始CNN设立通道尺度v＝(v₁,v₂,…,v_L),v_i∈(0,1]，同时，预设v₀为图像通道数；通道尺度是控制原始CNN各层神经网络层的通道收缩尺度、用以实现通道剪枝；

S12：构建由L个块组成的权重生成器，块与原始CNN中各神经网络层一一对应连接；每一个块由两层全连接层网络组成、以生成对应神经网络层的通道剪枝后权重，第一层全连接层的输入节点数为2、输入为通道尺度变量(v_i-1,v_i)，第二层全连接层的输出节点数为对应神经网络层的权重尺寸积、输出的形状为

或者

的权重参数；在将所述权重参数变形成形状为

或者

的权重张量，并进一步剪切得形状为

或者

的权重张量w_i，其中，

将生成的权重张量w_i输入相应的神经网络层中，实现通道剪枝；具体的讲：

对于卷积层而言，设原始CNN的第i层卷积层权重张量形状为

其中，

分别为第i层卷积层的初始输入、输出通道数，n为滤波器尺寸；则第i层卷积层对应连接的块的输入为该卷积层的输入、输出通道尺度(v_i-1,v_i)，块输出为此通道尺度控制下的通道剪枝后的权重张量w_i、其形状为

其中，

round(·)代表四舍五入操作；

对于全连接层而言，设原始CNN的第i层全连接层权重张量形状为

其中，

分别为第i层全连接层的初始输入、输出神经元节点数，则第i层全连接层对应连接的块的输入为该全连接层的输入、输出通道尺度(v_i-1,v_i)，块输出为此通道尺度控制下的通道剪枝后的权重张量w_i、其形状是

其中，

S13：基于

的形状构建剪枝后网络(PrunedCNN)；

连接权重生成器与PrunedCNN，将生成的

输入PrunedCNN中作为其权重张量，将通道尺度v＝(v₁,v₂,…,v_L)输入权重生成器，将图像分类数据集

输入PrunedCNN，构建变分结构优化网络，输出预测的类别概率p(y|x,v)。

进一步的，所述步骤S2包括以下步骤：

S21：将控制CNN通道数目的通道尺度v作为变分变量，确定其先验分布p(v)与关于φ超参数的后验分布q_φ(v)，由于v是(0,1]之间的尺度变量，所以需要使用截尾分布作为其先验与后验，选择截尾均匀分布作为先验p，截尾正态分布作为后验q，有：

其中，

表示截尾上下界为e^a、e^b的分布，a、b为预设参数，

S22：在确定的先验与后验分布下，采用随机梯度变分贝叶斯(SGVB)方法，以可导函数v＝f(φ,∈),∈～p(∈)对于随机变量

进行重参数化，以便于采样与梯度优化，对截尾对数正态分布重参数化后有：

其中，Φ(·)为高斯累积分布函数，

代表0到1的均匀分布，

Z_i＝Φ(α_i)-Φ(β_i)；

S23：将当前后验分布下采样得到的通道尺度v与图像数据输入变分结构优化网络，得到预测的类别概率，进而得到Pruned CNN的输出推出证据下界(ELBO)；同时，将权重生成器中所有块的全连接层参数g纳入ELBO中，以实现对于权重生成器与通道尺度v的后验分布参数φ的同步优化：

其中，M为图像数据的批尺寸(Batch size)，N为图像数据总数，L_D(φ)为对数似然函数项，D_KL(q_φ(v)‖p(v))是正则化项；

S24：采用批梯度下降法优化权重生成器参数g与通道尺度后验分布的超参数

直至网络收敛，得到最优权重生成器参数g^*及最优通道尺度后验分布超参数φ^*；

S25：根据最优通道尺度后验分布超参数φ^*计算得到最优通道尺度后验分布：

进一步的，所述步骤S3中，最优通道尺度v^*的计算过程如下：

进一步的，本发明还包括步骤S4：对获得的最优剪枝后网络进行重训练，得到最终的最优剪枝后网络(Final Optimal PrunedCNN)并保存；具体过程以下：

S41：以交叉熵为损失函数，用图像数据集对得到的最优剪枝后网络进行重训练；

S42：训练至收敛，得到最终的最优剪枝后网络(Final Optimal PrunedCNN)，保存最终的模型及参数。

综上所述，由于采用了上述技术方案，本发明的有益效果是：

本发明提供一种基于变分结构优化网络的通道剪枝方法，通过基于变分结构优化网络的通道剪枝技术对深度卷积神经网络模型进行压缩，考虑了目前大型神经网络在资源受限上的应用局限性，采用通道剪枝技术对原始网络进行压缩，在不影响原始网络性能的前提下，尽可能的压缩网络参数，减少网络前向传播过程中激活层的内存占用，降低运行时进行的浮点运算次数，以实现轻量化网络的目标。本发明通过自动优化网络结构，卓有成效地降低了深度卷积神经网路的参数冗余，提高了其运行速度，从而扩大了神经网络在边缘设备上的应用场景。

附图说明

图1为本发明实施例中变分结构优化网络整体框架示意图。

图2为本发明实施例中权重生成器与PrunedCNN连接示意图。

图3为本发明实施例中权重生成器中的块结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面结合实施方式和附图，对本发明作进一步地详细描述。

本发明提出的基于变分结构优化网络的通道剪枝技术的具体实现步骤如下：

S1：基于要剪枝的原始CNN构建变分结构优化网络框架，变分结构优化网络框架由权重生成器与剪枝后网络(PrunedCNN)连接组成，输入是通道尺度变量v与图像分类数据集

输出为预测的类别概率p(y|x,v)；其中，x_n表示第n张图像数据，y_n表示第n张图像数据对应的分类标签，N为数据集图像总数；

S2：将通道尺度v作为变分变量，在变分结构优化网络中进行变分推断，选择截尾对数均匀分布与截尾对数正态分布为v的先验与后验分布，引入使用随机梯度变分贝叶斯(SGVB)方法，利用图像分类数据集计算变分证据下界(ELBO)用于进一步的梯度优化；

S3：训练变分结构优化网络，通过批梯度下降法优化权重生成器参数g^*与通道尺度后验分布超参数φ^*；

S4：根据最终通道尺度变量的后验分布计算最优的剪枝通道结构与相应结构的初始权重，构建最优剪枝后网络(Optimal PrunedCNN)；

S5：对获得的最优剪枝后网络进行进一步微调，得到最终的最优剪枝后网络(Final Optimal PrunedCNN)并保存；具体过程如下：

S51：以交叉熵为损失函数，用图像数据集对得到的最优剪枝后网络进行重训练；

S52：训练至收敛，得到最终的最优剪枝后网络(Final Optimal PrunedCNN)，保存最终的轻量模型及参数。

本实施例中，变分结构优化网络引入变分推断，通过通道尺度变量控制下的权重生成器生成对应剪枝结构下的卷积神经网络张量，输入构建好的相应结构的剪枝后网络，利用图像数据集进行训练与优化，从而找到最优的通道剪枝结构，实现了自动，高效的通道剪枝，具体实现方式如下文所述。

本实施例中，所述的通道既包含卷积层的滤波器，也包含全连接层的神经元节点，在变分结构优化网络中，可以同时优化卷积层与全连接层的通道尺度，实现对于卷积层滤波器与全连接层神经元节点的同步剪枝，进而最大化的去除整个卷积神经网络的冗余参数。

本实施例中，权重生成器的具体结构及其与PrunedCNN的连接方式如图2所示，权重生成器由与卷积神经网络每一卷积层或全连接层一一对应的块组成，在相应输入输出通道尺度的控制下，为对应层生成通道剪枝后参数；如图2所示。

本实施例中，块的具体结构如图3所示，块由两层全连接层结合Relu激活函数组成，输入节点数为2，输入的是通道尺度(v_i-1,v_i)，中间层节点数设置为32，实际中可以根据具体情况进行调整，输出的节点数固定为对应原始卷积层神经网络层的权重尺寸积(卷积层为

全连接层为

)，之后，对于第二层全连接层输出的形状为

或者

的权重参数变形为

或者

的权重张量，并根据输入的通道尺度进一步剪切为形状是

或者

的权重张量，其中，

将生成的权重张量输入具有对应结构的PrunedCN N中，实现通道剪枝；另外，针对第1个块，其第一层全连接层输入的是通道尺度(v₀,v₁)、v₀为图像通道数、本实施例中：v₀＝3；

本实施例中，引入了变分推断，将通道尺度v＝(v₁,v₂,…,v_L),v_i∈(0,1]视为变分变量进行优化，我们选择截尾均匀分布作为其先验

关于超参数φ的截尾正态分布作为其后验

其中，

表示截尾上下界为e^a、e^b的分布，满足0＜e^a＜e^b≤1，即-∞＜a＜b≤0；本发明中，a、b是给定的参数，一般而言，a确定为-5、b确定为0即可，如果希望获得更高的压缩率，可以适当减小b的值；

代表每一个通道尺度后验对数正态分布的均值与方差参数；

表示均匀分布，

表示对数正态分布；

本实施例中对确定了先验与后验分布模型的通道尺度进行随机梯度变分贝叶斯(SGVB)，具体而言，为了使变分推断可以在神经网络中通过梯度下降来进行优化，SGVB使用可导函数v＝f(φ,∈),∈～p(∈)来对于随机变量

进行重参数化：

其中，Φ(·)为高斯累积分布函数，

代表0到1的均匀分布,

Z_i＝Φ(α_i)-Φ(β_i)；

由此，我们可以在变分结构优化网络输入端根据此时的分布参数φ采样得到v＝(v₁,v₂,…,v_L),v_i∈(0,1]，然后与批图像数据{x₁,x₂,…,x_M}(图像数据总数为N，每次抽取M张输入)同步输入网络中进行前向传播得到预测的类别概率p(y_i|x_i,v＝f(φ,∈)，之后利用类别概率推导出ELBO：

通过最大化ELBO对分布参数

进行梯度更新与优化，就可以获得通道尺度的最优后验分布；在这个优化过程中，权重生成器参数g也可以加入ELBO中进行同步优化，即：

将权重生成器中所有块的全连接层参数g纳入ELBO中，以实现对于权重生成器与通道尺度v的后验分布参数φ的同步优化：

参数g只参与最大似然函数项的优化，类似于普通神经网络的参数优化；

每次输入在当前φ下重新采样的v与批尺寸为M的图像数据，经过变分结构优化网络得到预测的类别概率p(y|x,v)，计算ELBO，然后反向传播更新权重生成器参数g与通道尺度后验分布的超参数

不断迭代优化至网络收敛，得到g^*、φ^*，最终得到最优通道尺度后验分布

与具有参数g^*的训练好的权重生成器；

在本实施例中，对变分结构优化网络优化结束之后，根据获得的通道尺度后验分布计算期望得到最优通道尺度：

进而根据训练好的权重生成器生成相应卷积神经网络权重，得到最优剪枝后网络(Optimal PrunedCNN)；最优剪枝网络经过进一步的重训练，得到最终的最优剪枝后网络(Final Optimal PrunedCNN)。

为了评估基于变分结构优化网络的通道剪枝技术的剪枝性能，可以统计剪枝前后的卷积神经网络的参数量，以评估网络的压缩效果，同时统计剪枝前后的网络在前向传播时产生的浮点运算次数，以评估网络的加速效果。

本发明在搭建好变分结构优化网络之后，一切的优化过程都是端到端的训练，不需要人工干预，可以自动的寻找到最优通道网络结构及其对应权重张量，实现自动而高效的通道剪枝。

以上所述，仅为本发明的具体实施方式，本说明书中所公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换；所公开的所有特征、或所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以任何方式组合。

Claims (5)

1.一种基于变分结构优化网络的通道剪枝方法，包括以下步骤：

步骤S1：基于原始CNN构建变分结构优化网络；

变分结构优化网络框架由权重生成器与剪枝后网络(PrunedCNN)连接组成，输入为通道尺度变量v与图像分类数据集，输出为预测的类别概率；

步骤S2：训练变分结构优化网络；

将通道尺度v作为变分变量，在变分结构优化网络中进行变分推断，选择截尾对数均匀分布与截尾对数正态分布为通道尺度v的先验与后验分布，使用随机梯度变分贝叶斯(SGVB)方法，利用图像分类数据集计算变分证据下界(ELBO)；通过批梯度下降法优化得到最优权重生成器参数g^*与通道尺度后验分布超参数φ^*；

步骤S3：计算最优通道尺度v后验分布的期望作为最优通道尺度v^*，将最优通道尺度v^*输入具有参数g^*的权重生成器中、生成权重加载到变分结构优化网络中，得到最优剪枝后网络(Optimal PrunedCNN)。

2.按权利要求1所述基于变分结构优化网络的通道剪枝方法，其特征在于，所述步骤S1包括以下步骤：

S11：为层数为L的原始CNN设立通道尺度v＝(v₁,v₂,…,v_L),v_i∈(0,1]，同时，预设v₀为图像通道数；

S12：构建由L个块组成的权重生成器，块与原始CNN中各神经网络层一一对应连接；每一个块由两层全连接层网络组成，第一层全连接层的输入节点数为2、输入为通道尺度变量(v_i-1,v_i)，第二层全连接层的输出节点数为对应神经网络层的权重尺寸积、输出权重参数；将所述权重参数变形、剪切得权重张量w_i，将生成的权重张量w_i输入相应的神经网络层中，实现通道剪枝；具体的讲：

对于卷积层而言，设原始CNN的第i层卷积层权重张量形状为

其中，

分别为第i层卷积层的初始输入、输出通道数，n为滤波器尺寸；则第i层卷积层对应连接的块的输入为该卷积层的输入输出通道尺度(v_i-1,v_i)，块输出为形状为

的权重参数；将所述权重参数变形成形状为

的权重张量，并进一步剪切得形状为

的权重张量w_i，其中，

round(·)为四舍五入操作；

对于全连接层而言，设原始CNN的第i层全连接层权重张量形状为

其中，

分别为第i层全连接层的初始输入输出神经元节点数，则第i层全连接层对应连接的块的输入为该全连接层的输入输出通道尺度(v_i-1,v_i)，块输出为形状为

的权重参数；将所述权重参数变形成形状为

的权重张量，并进一步剪切得形状为

的权重张量w_i；

S13：基于

的形状构建剪枝后网络(PrunedCNN)。

3.按权利要求1所述基于变分结构优化网络的通道剪枝方法，其特征在于，所述步骤S2包括以下步骤：

S21：将控制CNN通道数目的通道尺度v作为变分变量，选择截尾均匀分布作为先验p，截尾正态分布作为后验q：

其中，

表示截尾上下界为e^a、e^b的分布，a、b为预设参数；

μ_i表示通道尺度后验对数正态分布的均值，σ_i表示通道尺度后验对数正态分布的方差；

Z_i＝Φ(α_i)-Φ(β_i)；

表示均匀分布，

表示对数正态分布；

S22：采用随机梯度变分贝叶斯(SGVB)方法，以可导函数v＝f(φ,∈),∈～p(∈)对于随机变量

进行重参数化：

其中，Φ(·)为高斯累积分布函数；

S23：将当前后验分布下采样得到的通道尺度v与图像数据输入变分结构优化网络，得到预测的类别概率，进而得到Pruned CNN的输出推出证据下界(ELBO)；同时，将权重生成器中所有块的全连接层参数g纳入ELBO中，以实现对于权重生成器与通道尺度v的后验分布参数φ的同步优化：

其中，M为图像数据的批尺寸，N为图像数据总数，L_D(φ)为对数似然函数项，D_KL(q_φ(v)‖p(v))为正则化项；

S24：采用批梯度下降法优化权重生成器参数g与通道尺度后验分布的超参数

直至网络收敛，得到最优权重生成器参数g^*及最优通道尺度后验分布超参数φ^*；

S25：根据最优通道尺度后验分布超参数φ^*计算得到最优通道尺度后验分布：

4.按权利要求1所述基于变分结构优化网络的通道剪枝方法，其特征在于，所述步骤S3中，最优通道尺度v^*的计算过程如下：

5.按权利要求1所述基于变分结构优化网络的通道剪枝方法，其特征在于，还包括步骤S4：对获得的最优剪枝后网络进行重训练，得到最终的最优剪枝后网络(Final OptimalPrunedCNN)并保存；具体过程以下：

S41：以交叉熵为损失函数，用图像数据集对得到的最优剪枝后网络进行重训练；

S42：训练至收敛，得到最终的最优剪枝后网络(Final Optimal PrunedCNN)，保存最终的模型及参数。

Images