CN112699958A - 一种基于剪枝和知识蒸馏的目标检测模型压缩与加速方法 - Google Patents

Abstract

本发明涉及一种基于剪枝和知识蒸馏的目标检测模型压缩与加速方法，属于计算机视觉领域。该方法包括：S1，对目标检测模型进行改进，采用Mobilenetv2网络作为主干网。将除主干网的其他卷积改为深度可分离卷积；S2，对改进后的目标检测模型采用剪枝方法减少模型的体积和计算量。在VOC数据集上，对模型进行基础训练；对模型中BN层的γ参数L1正则化，完成稀疏训练；根据压缩比，对稀疏训练后的模型进行通道剪枝；对各层的γ均值排序完成层剪枝，得到剪枝后的模型；S3，对剪枝后的模型，采用改进的知识蒸馏方法恢复模型的精度。得到压缩后的模型。本发明在保证模型的精度几乎没有损失的情况下，模型的体积大幅减少，降低模型部署在嵌入式设备或移动设备的难度，具有较高的应用价值。

Description

一种基于剪枝和知识蒸馏的目标检测模型压缩与加速方法

技术领域

本发明属于计算机视觉领域，涉及一种基于剪枝和知识蒸馏的目标检测模型压缩与加速方法。

背景技术

近年来，随着深度学习的快速发展，神经网络模型日益复杂。虽然复杂的模型能够获得较高的性能，但是复杂度高的神经网络模型严重影响在资源有限的嵌入式平台部署。因此，为了降低神经网络模型的复杂度和提高模型的推理速度，目前主要采取模型压缩的方法有量化、剪枝、低秩分解和知识蒸馏。量化通过减少模型中权重参数的位宽来压缩模型的体积，但是低位宽的量化将导致模型精度的急剧下降。按照剪枝的粗细粒度，剪枝可以分为粗粒度剪枝和细粒度剪枝。粗粒度剪枝包括卷积层的层剪枝和通道剪枝，而细粒度剪枝移除全连接层的不重要神经元。剪枝的幅度过大同样带来模型精度的损失。因为可以将卷积层和全连接层的运算转化成矩阵运算，所以低秩分解通过将大的矩阵运算成若干个小矩阵的乘积，从而达到模型压缩与加速的目的。但是，因为目前卷积神经网络多数采用1×1和3×3小卷积核，所以低秩分解方法面临着瓶颈，很难实现模型的压缩与加速的目的。知识蒸馏的方法通过在复杂的模型指导下来训练简单的模型，让简单的模型能够获得复杂的模型性能，从而达到模型压缩的目的。然而，在实际应用场景中，需要对模型的体积能大幅压缩，同时，模型的精度几乎没有损失。因此，这具有重要的实际应用价值。

发明内容

有鉴于此，本发明的目的在于提供一种基于剪枝和知识蒸馏的目标检测模型压缩与加速方法。

为达到上述目的，本发明提供如下技术方案：

本发明主要包括以下步骤：

S1：采用Mobilenetv2网络替换YOLOv3网络的主干网Darknet53。同时，使用深度可分离卷积替换普通卷积，减少模型计算量，改进后的模型为YOLOv3-M。

S2：首先对改进后的YOLOv3-M模型进行基础训练，然后对YOLOv3-M模型中的BN层γ参数进行L1正则化完成稀疏训练，接着通过剪枝率完成模型通道剪枝，并根据各层的γ均值完成层剪枝，最后为了平衡模型剪枝的比例和模型的准确率，迭代上述过程。剪枝后得到的模型为YOLOv3-Ms；

S3：虽然剪枝后的模型YOLOv3-Ms体积大幅减少，但是模型的精度却有一定的损失。因此，本发明采用知识蒸馏的方法来恢复模型精度损失，将YOLOv3-Ms模型作为学生模型，YOLOv3-M模型作为老师模型。同时，对模型的损失函数重新设计，主要包括分类损失，回归损失和中间层损失三部分。

本发明的有益效果在于：本发明针对现有的目标检测模型YOLOv3进行改进，改进后的目标检测模型体积和运算量大幅减少，同时，模型的准确率几乎不变。

本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。

附图说明

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：

图1为整体算法流程图；

图2为改进后的目标检测模型YOLOv3-M；

图3为普通卷积的计算方式；

图4为深度可分离卷积的计算方式；

图5为模型剪枝的流程图；

图6为改进后的知识蒸馏方法。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本发明的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。

本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本发明的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

请参阅图1，为一种基于剪枝与知识蒸馏的目标检测模型压缩与加速的方法。详细的步骤内容如下：

S1，针对目标检测模型YOLOv3主干网，本发明采用Mobilenet v2网络替换原来的Darknet53网络，除此之外，将YOLOv3网络普通卷积替换为深度可分离卷积，替换后的网络结构如图2所示。

相比普通卷积，深度可分离卷积能大幅减少模型的参数量和运算量，将模型轻量化。普通卷积的计算方法如图3所示，将三维空间内输入特征图D_F×D_F×M的每个通道与第一个三维卷积核D_K×D_K×M的每个通道对应进行滑窗乘法操作，然后再将滑窗乘法操作结果的二维矩阵对应位置相加，最后得到第一个二维输出特征图的大小，即完成一次传统卷积运算。

当完成一次卷积运算后，再依次遍历完成剩余N-1个卷积核与输入特征图的卷积运算，得到N-1个输出特征图。普通卷积的计算量S_c1和参数量S_p1计算公式如下：

S_c1＝D_F×D_F×D_K×D_K×M×N (1)

S_p1＝D_F×D_F×M×N (2)

深度可分离卷积的计算方法如图4所示，其计算方式是将传统卷积的计算方法分解成两部分，主要包括深度卷积(Depthwise Convolution)和逐点卷积(PointwiseConvolution)。深度卷积的计算方式，对于同样大小的输入特征图D_F×D_F×M，卷积核的大小为D_K×D_K×M，即每个卷积核的深度为1。M个输入特征图与M个卷积核分别进行滑窗卷积得到M个输出特征图。因此，深度卷积的计算量S_D和参数量S_DP计算公式如下：

S_D＝D_F×D_F×D_K×D_K×M (3)

S_DP＝D_K×D_K×M (4)

逐点卷积的计算方式与普通卷积的区别是将原来3×3的卷积核改成1×1的卷积核，深度卷积输出特征图D_F×D_F×M作为逐点卷积的输入特征图，再与卷积核大小为1×1×M×N进行普通卷积。因此，逐点卷积的计算量S_P和参数量S_PP计算公式如下：

S_P＝D_F×D_F×M×N (5)

S_PP＝M×N (6)

通过对比深度可分离卷积和普通卷积的计算量和参数量如式所示，采用深度可分离卷积将模型的计算量和参数量减少约为原来的1/9，有利于将目标检测模型YOLOv3-M轻量化，提高模型在嵌入式设备或移动端的推理速度。

S2，为了进一步减少模型的复杂度和运算量，本发明分别对YOLOv3-M模型完成通道剪枝和层剪枝，分别对目标检测模型的宽度和深度进行压缩。剪枝的流程图如图5所示。

首先，本发明在对目标检测模型进行通道剪枝之前，在改进的YOLOv3-M模型上完成VOC数据集图片的基础训练，达到一定的训练精度。

然后，对YOLOv3-M模型中BN层的γ系数进行L1正则化，完成稀疏训练。BN层是在卷积层之后，激活函数之前。BN层的计算公式如下所示：

其中，x_i是第i个输入特征像素值，yi是第i个输出特征像素值，μ是输入特征像素值的均值，σ²是输入特征像素值的方差，γ是网络模型中缩放参数，β是网络模型中平移参数。

在改进的YOLOv3-M网络模型中，本发明针对γ参数进行L1正则化完成对网络模型的稀疏训练。因为γ参数是BN层中的一个缩放参数，所以没有引入额外的神经网络参数，不会增加神经网络模型的参数量。通过稀疏训练不断的迭代更新γ参数，使得损失函数L重新达到收敛。稀疏训练的损失函数如下式

g(γ)＝|γ| (9)

其中，x是模型训练输入的特征值，y是模型训练输出的特征值，W是模型训练的权重参数，λ是平衡两项的加权系数。

在稀疏训练的过程中，需要合理调节超参数S控制BN层缩放参数γ，从而为后面通道剪枝做铺垫。如果超参数S设置过大，则BN层中的γ参数会急剧压缩，虽然能获得较小的模型体积，但是会导致目标检测模型的精度损失严重。反而，如果超参数S设置过小，虽然模型的精度损失较小，但是模型的体积没有得到合适的压缩，不能满足嵌入式设备实际的需求。

S3，虽然剪枝后的模型YOLOv3-Ms体积大幅减少，但是模型的精度却有一定的损失。因此，针对剪枝后的模型精度的损失，本发明采用了知识蒸馏的方法来恢复模型的精度，改进后的知识蒸馏方法框图如图6所示。本发明将未剪枝的模型YOLOv3-M作为老师模型，而未剪枝的模型YOLOv3-Ms作为学生模型来完成训练。模型训练的流程框图如图6所示。

a.首先，在VOC数据集上训练未剪枝的YOLOv3-M模型，分别得到老师模型的分类结果P_t和回归结果R_t对

b.然后，在VOC数据集上训练剪枝后的YOLOv3-Ms模型，分别得到学生模型的分类结果P_s和回归结果R_s。此时，需要计算分类损失，回归损失和中间层损失，总的损失计算公式如下：

L_total＝L_cls+L_reg+γL_hint (10)

其中，L_cls表示分类损失，L_reg表示回归损失，L_hint表示中间层损失，γ表示中间层损失在总的损失函数中占的比例系数。

分类损失计算由硬损失和软损失两部分组成，计算方式如下

L_cls＝λL_soft+(1-λ)L_hard (11)

其中，λ是平衡软损失和硬损失的比例参数，y_cls是真实目标的分类概率，w_c是区分前景和背景的权重参数。

回归损失的计算不同于分类损失，回归损失主要包括smoothL1损失和一个额外的上界L_b。smoothL1损失是计算学生模型回归结果Rs和真实目标的边框坐标y_reg，同时，需要分别计算老师模型回归结果R_t和学生模型回归结果R_s与真实标签y_reg的L2距离，如果学生模型的L2距离大于老师模型的L2距离，则需要在回归损失中添加一个额外的上界。否则，就不需要添加额外的上界，计算公式如下：

L_reg＝L_smoothL1(R_s,y_reg)+αL_b(R_s,R_t,y_reg) (14)

中间层的损失计算让学生模型YOLOv3-Ms学习老师模型YOLOv3-M中间层特征，能够有效避免目标检测任务中的欠拟合问题。同时，为了匹配学生模型和老师模型的中间层神经元的个数差异，本发明采用适应层模块来解决。中间层的损失计算公式如下：

L_hint＝||V-Z||² (16)

其中，V表示学生模型中间层的特征值，Z表示老师模型中间层的特征值。

最后，本发明利用改进的知识蒸馏方法恢复目标检测模型YOLOv3-Ms精度，与模型YOLOv3-M的精度几乎相同。同时，模型YOLOv3-Ms的体积大幅减少，降低了模型部署在嵌入式设备或移动设备的难度。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (4)

1.一种基于剪枝和知识蒸馏的目标检测模型压缩与加速方法，其特征在于：该方法包括以下步骤：

S1：针对目标检测模型YOLOv3的主干网，采用Mobilenet v2网络替换Darknet53网络；采用深度可分离卷积替换原来的普通卷积，减少模型运算量和参数量，改进后的目标检测模型为YOLOv3-M；

S2：利用剪枝方法对目标检测模型YOLOv3-M进行压缩，目标检测模型体积减少，剪枝后的目标检测模型为YOLOv3-Ms；

S3：针对剪枝后的目标检测模型精度的损失，利用改进后的知识蒸馏方法恢复模型的精度；目标检测模型YOLOv3-Ms体积减少，模型的精度不变。

2.根据权利要求1所述的一种基于剪枝和知识蒸馏的目标检测模型压缩与加速方法，其特征在于：所述S1中，采用轻量级骨干网Mobilenet v2替换原来的Darknet53网络来减少模型的运算量和参数量；同时，针对主干网络其他的卷积计算，采用深度可分离卷积进一步减少模型的参数量和运算量。

3.根据权利要求2所述的一种基于剪枝和知识蒸馏的目标检测模型压缩与加速方法，其特征在于：所述S2中，对改进的目标检测模型YOLOv3-M进行剪枝；

首先，在VOC数据集上对YOLOv3-M模型进行基础训练；

然后，对模型中BN层的γ系数进行L1正则化，完成稀疏训练；

接着，根据压缩比，对稀疏训练后的模型进行通道剪枝；

最后，对各层的γ均值排序完成层剪枝，得到压缩后的模型YOLOv3-Ms。

4.根据权利要求3所述的一种基于剪枝和知识蒸馏的目标检测模型压缩与加速方法，其特征在于：所述S3中，采用知识蒸馏方法来恢复剪枝后模型YOLOv3-Ms的精度；

首先，在VOC数据集上对YOLOv3-M模型进行训练；

然后，利用YOLOv3-M模型输出的软目标重新设计损失函数，在VOC数据集上对YOLOv3-Ms进行训练。

Images