CN112115837A - 一种基于YoloV3和双阈值模型压缩的目标检测方法 - Google Patents

Abstract

本发明公开了一种基于YoloV3和双阈值模型压缩的目标检测方法，属于模型压缩技术领域。其包括：构建目标检测数据集，并划分训练集和测试集；使用YoloV3模型在训练集上面进行训练，将训练好的模型保存为YoloV3_N；使用YoloV3_N对验证集进行测试，将验证结果标记为Result_N；使用YoloV3_N模型在训练集上进行稀疏训练，将训练好的模型保存为YoloV3_S；使用双阈值模型压缩方法对YoloV3_S进行模型压缩，将压缩好的模型保存为YoloV3_C；使用YoloV3_C模型对验证集进行测试，将测试结果标记为Result_C；使用YoloV3_C模型在目标检测数据集上进行微调，将最终的模型保存为YoloV3_F；使用YoloV3_F模型对验证集进行测试，将测试结果标记为Result_F。本发明可以在基本不损失正确率的情况下进行模型压缩，解决机载目标检测部署问题。

Description

一种基于YoloV3和双阈值模型压缩的目标检测方法

技术领域

本发明属于模型压缩技术领域，主要涉及一种轻量化的目标检测方法，具体来说是指一种基于YoloV3和双阈值模型压缩的轻量化目标检测方法，可用于机载图像目标识别方案部署。

背景技术

当前无人机应用的趋势是利用原始勘察数据，实现机载信息的快速处理，进而对各种突发情况进行自主决策。因此，无人机在安全生产保障支援、突发自然灾害应急支援、突发治安事件智能救援等领域得到了广泛应用。然而，实时高效地机载信息信息处理成为了无人机实际应用的技术瓶颈。

目标检测是无人机机载信息处理的重要研究方向，同时也是计算机视觉的重要研究方向。近些年来，随着深度学习技术的火热发展，目标检测算法也从基于手工特征的传统算法转向基于深度学习的目标检测算法。目前，已有一系列相关算法被提出，如R-CNN、OverFeat、Faster R-CNN、SSD、Yolo系列等。在网络结构上，基于深度学习的目标检测算法已经从双阶段进化到单阶段，从单尺度网络进化到特征空间金字塔。这些算法都在目标检测领域取得了非常好的检测效果。其中，当前应用最为广泛的就是YoloV3模型。

然而，当下的基于深度学习的目标检测方法虽然有很强大的表示能力，也带来了很大的计算资源消耗。当下的目标检测模型在机载信息应用中收到了诸多限制：

1)模型尺寸，当下的目标检测模型优良的表示能力来自于数目众多的参数，而这些参数与网络架构信息一起，同样需要被保存在硬盘里，而且在进行推理时也需要被加载到内存中；

2)运行时间的内存消耗，在推理过程中，目标检测模型中的激活函数的值消耗了比保存模型参数更多的内存，这对于高性能GPU不成问题，但是对于移动端设备影响很大；

3)计算操作的数目，在高分辨图像的卷及操作是很消耗计算资源的，甚至一个较大的目标检测框架在移动端设备处理一张图片需要几分钟，严重限制了真实应用。

因此，实时高效地机载信息处理成为了无人机实际应用的技术瓶颈。

发明内容

本发明的目的在于针对上述问题，提出一种基于YoloV3和双阈值模型压缩的轻量化目标检测方法，解决目标检测方法在机载嵌入式端的部署问题。

为实现上述目的，本发明采用的技术方案为：

一种基于YoloV3和双阈值模型压缩的目标检测方法，包括如下步骤：

步骤1：构建目标检测数据集，并随机将其中的50％数据设置为训练集，剩余的50％数据设置为验证集；

步骤2：使用YoloV3模型在训练集上面进行训练，直至模型收敛，并将训练好的模型保存为YoloV3_N；

步骤3：使用YoloV3_N对验证集进行测试，并将验证结果标记为Result_N；

步骤4：使用YoloV3_N模型在训练集上面进行稀疏训练，直至模型收敛，并将训练好的模型保存为YoloV3_S；

步骤5：使用双阈值模型压缩方法对YoloV3_S进行模型压缩，并将压缩好的模型保存为YoloV3_C；

步骤6：使用YoloV3_C模型对验证集进行测试，并将测试结果标记为Result_C；

步骤7：使用YoloV3_C模型在目标检测数据集上面进行微调，直至模型收敛，并将最终的模型保存为YoloV3_F；

步骤8：使用YoloV3_F模型对验证集进行测试，并将目标检测的测试结果标记为Result_F。

进一步的，步骤4所述的稀疏训练按照如下方式进行：

4a)为每一个通道都引入一个缩放因子，然后和通道的输出相乘，接着联合训练网络权重和这些缩放因子，定义目标函数为：

其中，(x,y)代表训练数据和标签，W是网络的可训练参数，γ代表BN层的缩放因子，l(f(x,W),y)是目标检测的训练损失函数，用于确保训练好的目标检测模型具有良好的泛化性，f(x,W)代表目标检测网络的输出结果，λ是平衡因子，g(.)是缩放因子的乘法项，g(γ)＝|γ|，|·|代表l₁范数，从而确保γ参数的稀疏性；

4b)设z_in代表BN层的输入，z_out代表BN层的输出，BN归一化激活层通过如下方式表示：

其中，u_β和σ_β代表当前批中所有输入样本激活值的平均值与标准差值，ε代表一个极小正常量，γ和β是可训练的仿射变换参数，提供了将标准化激活线性转换回任何尺度的可能性，γ代表网络的缩放因子，β代表网络的位移因子；

4c)基于4a)中的目标函数，在训练集上面进行训练，直到模型收敛。

进一步的，步骤5所述的使用双阈值模型压缩方法对YoloV3_S进行模型压缩的具体方式为：

5a)经过卷积层之后的特征图维度为h×w×c，其中h和w分别代表特征图的长度，c代表特征图的通道数，将其送入BN层，得到归一化后的特征图，特征图的每一个通道都对应一个γ参数；

5b)设置两个γ阈值γ₁和γ₂，分别代表全局阈值以及每一层的阈值；如果γ₁≥γ₂，则本层的阈值设置为γ₂，如果γ₁<γ₂，则本层的阈值设置为γ₁；

5c)每一层单独进行通道裁剪操作，小于本层γ阈值的通道被裁剪。

本发明相对于现有技术所取得的有益效果在于：

1、本发明方法简单易行，便于实施。

2、本发明方法可以在基本不损失正确率的情况下进行模型压缩，压缩效果良好。

3、本发明能够有效地对模型进行压缩，能够解决机载目标检测部署问题。

附图说明

图1是本发明实施例中目标检测方法的流程图。

具体实施方式

以下结合附图对本发明的实现步骤和实验效果做进一步的详细描述。

一种基于YoloV3和双阈值模型压缩的轻量化目标检测方法，包括如下步骤：

步骤1，构建目标检测数据集，并随机将其中的50％设置为训练集，剩余的50％设置为验证集；

步骤2，使用YoloV3模型在训练集上面进行训练，直至模型收敛，并将训练好的模型保存为YoloV3_N；

步骤3，使用YoloV3_N对验证集进行测试，并将验证结果标记为Result_N；

步骤4，使用YoloV3_N模型在训练集上面进行稀疏训练，直至模型收敛，并将训练好的模型保存为YoloV3_S，具体步骤如下：

4a)为每一个通道都引入一个缩放因子，然后和通道的输出相乘，接着联合训练网络权重和这些缩放因子，定义目标函数为：

其中，(x,y)代表训练数据和标签，W是网络的可训练参数，γ代表BN层的缩放因子，l(f(x,W),y)是目标检测的训练损失函数，用于确保训练好的目标检测模型具有良好的泛化性，f(x,W)代表目标检测网络的输出结果，λ是平衡因子，g(.)是缩放因子的乘法项，g(γ)＝|γ|，|·|代表l₁范数，从而确保γ参数的稀疏性；

4b)设z_in代表BN层的输入，z_out代表BN层的输出，BN归一化激活层通过如下方式表示：

其中，u_β和σ_β代表当前批中所有输入样本激活值的平均值与标准差值，ε代表一个极小正常量，γ和β是可训练的仿射变换参数，提供了将标准化激活线性转换回任何尺度的可能性，γ代表网络的缩放因子，β代表网络的位移因子；

4c)基于4a)中的目标函数，在训练集上面进行训练，直到模型收敛；

步骤5，使用双阈值模型压缩方法对YoloV3_S进行模型压缩，并将压缩好的模型保存为YoloV3_C；具体方式为：

5a)经过卷积层之后的特征图维度为h×w×c，其中h和w分别代表特征图的长度，c代表特征图的通道数，将其送入BN层，得到归一化后的特征图，特征图的每一个通道都对应一个γ参数；

5b)设置两个γ阈值γ₁和γ₂，分别代表全局阈值以及每一层的阈值；如果γ₁≥γ₂，则本层的阈值设置为γ₂，如果γ₁<γ₂，则本层的阈值设置为γ₁；

5c)每一层单独进行通道裁剪操作，小于本层γ阈值的通道被裁剪；

步骤6，使用YoloV3_C模型对验证集进行测试，并将测试结果标记为Result_C；

步骤7，使用YoloV3_C模型在目标检测数据集上面进行微调，直至模型收敛，并将最终的模型保存为YoloV3_F；

步骤8，使用YoloV3_F模型对验证集进行测试，并将测试结果标记为Result_F。

上述方法的效果可以通过以下仿真实验进一步说明：

1、实验条件与方法

硬件平台为：Intel(R)Core(TM)i7-9750H CPU@2.60GHZ、16.00GB RAM；

软件平台为：PyTorch 1.2；

实验方法：YoloV3以及本发明方法。

2、仿真内容与结果

将构建的目标检测数据集的50％作为训练数据集，剩余的50％作为验证数据集，用YoloV3作为目标检测方法，用本发明作为模型压缩方法，γ₁和γ₂分别设置为0.7和0.05，进行模型压缩。YoloV3的原模型架构每一层的通道数以及使用本方法进行模型压缩后的架构每一层的通道数如下所示：

其中，layer index表示层号，total channel表示压缩前每一层的总通道数，remaining channel表示压缩后每一层的通道数。

压缩前后的性能统计如表1所示：

表1 YoloV3模型压缩前后性能统计表

指标	YoloV3模型压缩前	YoloV3模型压缩后
			mAP	0.9742	0.9828
参数量(M)	61.95	14.55
			总通道数	13376	4104
单次推理时间(S)	0.0242	0.0146

可以看到YoloV3模型压缩后的mAP比压缩前略有提高，在模型压缩中常常出现此类情况，是因为模型保留主要架构后更有利于推理，其泛化性更高，参数量从61.95M下降到14.55M，参数压缩率76.5％，模型架构总通道数从13376下降到4104，通道压缩率69.3％，单次推理时间从0.0242S下降到0.0146S，实现加速39.7％。

Claims (3)

1.一种基于YoloV3和双阈值模型压缩的目标检测方法，其特征在于，包括如下步骤：

步骤1：构建目标检测数据集，并随机将其中的50％数据设置为训练集，剩余的50％数据设置为验证集；

步骤2：使用YoloV3模型在训练集上面进行训练，直至模型收敛，并将训练好的模型保存为YoloV3_N；

步骤3：使用YoloV3_N对验证集进行测试，并将验证结果标记为Result_N；

步骤4：使用YoloV3_N模型在训练集上面进行稀疏训练，直至模型收敛，并将训练好的模型保存为YoloV3_S；

步骤5：使用双阈值模型压缩方法对YoloV3_S进行模型压缩，并将压缩好的模型保存为YoloV3_C；

步骤6：使用YoloV3_C模型对验证集进行测试，并将测试结果标记为Result_C；

步骤7：使用YoloV3_C模型在目标检测数据集上面进行微调，直至模型收敛，并将最终的模型保存为YoloV3_F；

步骤8：使用YoloV3_F模型对验证集进行测试，并将目标检测的测试结果标记为Result_F。

2.根据权利要求1所述的一种基于YoloV3和双阈值模型压缩的目标检测方法，其特征在于，步骤4所述的稀疏训练按照如下方式进行：

4a)为每一个通道都引入一个缩放因子，然后和通道的输出相乘，接着联合训练网络权重和这些缩放因子，定义目标函数为：

其中，(x,y)代表训练数据和标签，W是网络的可训练参数，γ代表BN层的缩放因子，l(f(x,W),y)是目标检测的训练损失函数，用于确保训练好的目标检测模型具有良好的泛化性，f(x,W)代表目标检测网络的输出结果，λ是平衡因子，g(.)是缩放因子的乘法项，g(γ)＝|γ|，|·|代表l₁范数，从而确保γ参数的稀疏性；

4b)设z_in代表BN层的输入，z_out代表BN层的输出，BN归一化激活层通过如下方式表示：

其中，u_β和σ_β代表当前批中所有输入样本激活值的平均值与标准差值，ε代表一个极小正常量，γ和β是可训练的仿射变换参数，提供了将标准化激活线性转换回任何尺度的可能性，γ代表网络的缩放因子，β代表网络的位移因子；

4c)基于4a)中的目标函数，在训练集上面进行训练，直到模型收敛。

3.根据权利要求2所述的一种基于YoloV3和双阈值模型压缩的目标检测方法，其特征在于，步骤5所述的使用双阈值模型压缩方法对YoloV3_S进行模型压缩的具体方式为：

5a)经过卷积层之后的特征图维度为h×w×c，其中h和w分别代表特征图的长度，c代表特征图的通道数，将其送入BN层，得到归一化后的特征图，特征图的每一个通道都对应一个γ参数；

5b)设置两个γ阈值γ₁和γ₂，分别代表全局阈值以及每一层的阈值；如果γ₁≥γ₂，则本层的阈值设置为γ₂，如果γ₁<γ₂，则本层的阈值设置为γ₁；

5c)每一层单独进行通道裁剪操作，小于本层γ阈值的通道被裁剪。

Images