CN108615049A - 一种车辆部件检测模型压缩方法及系统 - Google Patents

Abstract

本发明公开了一种针对基于Faster R‑CNN的车辆部件检测模型进行压缩的方法及系统，目的在于减少车辆部件检测模型对内存空间的占用率以及缩短模型检测时间，所述方法包括：训练基本的车辆部件检测模型，模型通道剪枝，模型量化。本发明在车辆部件检测模型压缩过程中，先训练基本的车辆部件检测模型M₁，再识别出M₁中的冗余通道并将其删除得到M₂，最后将M₂进行参数量化得到M₃。通过实施本发明有效地解决了利用Faster R‑CNN算法检测车辆部件速度慢的问题，并减少了模型对内存空间的占用率。

Description

一种车辆部件检测模型压缩方法及系统

技术领域

本发明属于模式识别领域，更具体地，涉及一种基于Faster R-CNN的车辆部件检测模型压缩的方法及系统，用于减少车辆部件检测模型对内存空间的占用率以及缩短检测时间。

背景技术

智能交通系统可以用来帮助解决交通肇事逃逸、交通拥堵、汽车盗窃等社会问题，而车牌、车标、车灯、挡风玻璃等车辆部件的检测是智能交通系统中极为基础而又重要的一环。因为它们包含着车辆外观和结构信息，可以充分反应车辆的属性特征，并且具有稳定和难以更改的特性。如果这些车辆部件可以准确而迅速地被检测到，那么整个智能交通系统的功能将会得到有效改善。车辆部件检测属于目标检测的范畴，目标检测方法同样适用于车辆部件检测。目标检测方法大致可以分为两类，即传统方法和基于深度学习的方法。较传统方法而言，基于深度学习的方法由于神经网络强大的特征表达能力而可以更准确地检测到车辆部件，优势明显。

目前，由于神经网络的明显优势，基于深度学习的检测算法已经成为一种主流。目前主要采用Faster R-CNN作为基本检测算法对车辆部件进行检测，但由于其基本网络结构一般由多个卷积层、全连接层等基本结构组成，含有较多的权重参数，因此计算速度会稍慢、模型对内存空间的占用也较多，无法满足一些计算资源有限或者对实时性要求较高的场合。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种车辆部件检测模型压缩方法及系统，由此解决采用Faster R-CNN作为基本检测算法对车辆部件进行检测时存在的检测车辆部件速度慢以及内存空间占用率较高的技术问题。

为实现上述目的，按照本发明的一个方面，提供了一种车辆部件检测模型压缩方法，包括：

(1)基于Faster R-CNN算法训练得到基本的车辆部件检测模型M₁；

(2)对所述车辆部件检测模型M₁进行通道剪枝得到车辆部件检测模型M₂；

通过本发明，M₂中不包括冗余通道，可以大幅减少卷积运算所带来的时间消耗。另外，M₂的模型大小较M₁也有所减小，一定程度上可以减少模型对内存空间的占用率。

(3)对所述车辆部件检测模型M₂进行量化处理得到车辆部件检测模型M₃，以使按P位保存的所述车辆部件检测模型M₁转化为按Q位等低精度格式保存的所述车辆部件检测模型M₃，且所述车辆部件检测模型M₃的权重参数为2的N次方或者0，其中，Q小于P。

在本发明中，原来按M位保存的模型M₁可以转化为按N位等低精度格式保存的模型M₃，这样可以大幅减少模型对内存空间的占用率。另外，M₃的权重参数为2的N次方或者0，这样可以将复杂的浮点数乘法运算用简单的定点数移位运算来代替，可以加快模型速度。

优选地，步骤(2)包括：

(2.1)由找出所述车辆部件检测模型M₁中卷积层的冗余通道，并对冗余通道进行通道剪枝，得到目标通道集合β'，其中，是所述车辆部件检测模型M₁的输入X的第i个通道，Y为所述车辆部件检测模型M₁的原始输出，β为通道选择向量，是所述车辆部件检测模型M₁的权重的第i个通道，c为剪枝前的通道数，λ是惩罚系数，β_i为通道选择向量β中的第i个元素，在β_i＝0时，表示为冗余通道需要删除，对应的也需要删除，在β_i＝1时，需要保留，对应的也需要保留；

(2.2)由最小化重建误差，以补偿通道裁剪对所述车辆部件检测模型M₁检测准确率带来的损失，其中，表示输入X删除冗余通道后得到的目标通道子集，表示删除冗余通道后得到的目标通道子集，表示所述车辆部件检测模型M₁删除冗余通道后对应的输出；

(2.3)λ取初始值为0，固定(2.1)中的求得通道选择向量β'，根据β'选出X中的目标通道在步骤(2.2)中保持Y和不变，求得逐渐增大λ，以得到的和作为新的通道，迭代执行步骤(2.1)和步骤(2.2)，直到||β||₀稳定，当||β||₀不大于裁剪后的通道上限c'之后，得到所述车辆部件检测模型M₂。

优选地，步骤(3)包括：

(3.1)将所述车辆部件检测模型M₂中所有权重参数取绝对值后进行降序排列，根据预设分组比例阈值确定每次的权重分离阈值；

(3.2)根据各次的权重分离阈值将权重参数分为两组，其中，大于相应次权重分离阈值的参数集合为A，小于相应次权重分离阈值的参数集合为B；

(3.3)将参数集合B中的参数保持不变，由对参数集合A中的参数进行量化处理得到A组量化后的权重参数其中，为所述车辆部件检测模型M₂的权重参数，x和y为排序的参数候选集D中相邻的两个数，且D＝{±2^a,...,±2^b,0}，b＝a-2^(l-2)+1，l为位宽；

(3.4)重训练所述车辆部件检测模型M₂，以补偿量化过程所带来的精度损失，其中，在重训练过程中，A中的参数始终保持不变，而B中的参数在重训练过程中继续更新，并返回执行步骤(3.2)，直到所述车辆部件检测模型M₂中所有参数全部量化完毕，得到所述车辆部件检测模型M₃。

按照本发明的另一方面，提供了一种车辆部件检测模型压缩系统，包括：

第一检测模型获取模块，用于基于Faster R-CNN算法训练得到基本的车辆部件检测模型M₁；

第二检测模型获取模块，用于对所述车辆部件检测模型M₁进行通道剪枝得到车辆部件检测模型M₂；

第三检测模型获取模块，用于对所述车辆部件检测模型M₂进行量化处理得到车辆部件检测模型M₃，以使按P位保存的所述车辆部件检测模型M₁转化为按Q位等低精度格式保存的所述车辆部件检测模型M₃，且所述车辆部件检测模型M₃的权重参数为2的N次方或者0，其中，Q小于P。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：

(1)创新性地对车辆部件检测模型进行压缩，并且同时针对模型的计算速度和内存占用率进行了大幅优化，增强了模型的实用性。

(2)直接修剪Faster R-CNN的基本网络结构，裁剪过程更具针对性。现有的通道裁剪方法中，采用两步裁剪的方式，即先基于分类任务对模型进行通道裁剪，再利用已经裁剪完的模型作为初始化模型，并在检测任务下进行微调，最终得到裁剪后的检测模型。这种裁剪方式中，裁剪过程是在分类任务下进行的，而不是直接针对检测任务下的Faster R-CNN进行的，针对性不强，甚至可能会出现在分类任务下裁剪后有效的模型在检测任务下不适用的情况。本发明提出的方法则直接针对检测任务下的Faster R-CNN进行修剪，针对性极强，并且可以保证裁剪后的模型有效。

(3)裁剪过程简单、高效。两步裁剪的方式需要分别在分类任务和检测任务下进行操作，而本发明提出的方法直接在检测任务下进行裁剪，无需再在分类任务下进行额外操作，简化了过程。

(4)创新性地将模型量化方法从分类任务推广至检测任务，本发明将模型量化方法推广至检测模型，实现了创新性的应用。

附图说明

图1是本发明实施例提供的一种车辆部件检测模型压缩方法的流程示意图；

图2是本发明实施例提供的一种通道剪枝示意图；

图3是本发明实施例提供的一种模型量化示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

以下首先对本发明用到的术语进行解释和说明。

Faster R-CNN：基于深度学习的目标检测算法，先由RPN生成候选区域，再由FastR-CNN对候选区域进行精调而得到最终检测结果。具有精度高、效果好的特点。

如图1所示，为本发明实施例提供的一种车辆部件检测模型压缩方法的流程示意图。在实际测试时，原始的Faster R-CNN检测模型M₁完成一次部件检测需要80ms，而经过本发明方法的模型压缩后的模型M₃只需要40ms，检测速度提升了50％。具体地，本发明方法包括以下步骤：

(1)基于Faster R-CNN算法，训练得到原始车辆部件检测模型M₁；

(2)利用通道剪枝方法对M₁进行模型压缩，如图2所示。对比度较浅的前侧通道表示较为重要的通道，而对比度较深的后侧通道则表示冗余通道。通过通道剪枝之后，后侧的冗余通道被删除，而前侧重要的通道则被保留。通道剪枝过程如下：

(2.1)由找出检测模型M₁中冗余通道，并对冗余通道进行通道剪枝，得到的重要通道为目标通道集合β'，其中，是检测模型M₁的输入X的第i(1≤i≤c)个通道，Y为检测模型M₁的原始输出，β为通道选择向量，是检测模型M₁的权重的第i个通道，c为剪枝前的通道数，λ是惩罚系数，β_i为通道选择向量β中的第i个元素。当β_i＝0时，表示为冗余通道可以删除，对应的也可以删除；当β_i＝1时，则表示为重要通道需要保留，对应的也需要保留。

(2.2)由最小化重建误差，以补偿通道裁剪对检测模型M₁检测准确率带来的损失，Y为检测模型M₁的原始输出，表示输入X删除冗余通道后得到的目标通道子集，表示删除冗余通道后得到的目标通道子集，表示模型M₁删除冗余通道后对应的输出，其中，目标通道和冗余通道由步骤(2.1)中的β'确定，β'中为1的元素对应的通道为目标通道，β'中为0的元素对应的通道为冗余通道；

(2.3)最开始取λ为0，固定步骤(2.1)中的求得通道选择向量β'，根据β'选出X中的目标通道在步骤(2.2)中保持Y和不变，求得逐渐增大λ，以得到的和作为新的通道，迭代执行步骤(2.1)和步骤(2.2)，直到||β||₀稳定，当||β||₀不大于裁剪后的通道上限c'之后，便获得了检测模型M₂。

其中，通道上限c'是预设的一个阈值，可以根据期望的加速比来确定，λ的增大规则可根据实际需要确定。

(3)继续对裁剪完冗余通道的检测模型M₂进行渐进式量化处理，得到车辆部件检测模型M₃，以使按P位保存的车辆部件检测模型M₁转化为按Q位等低精度格式保存的车辆部件检测模型M₃，且车辆部件检测模型M₃的权重参数为2的N次方或者0，其中，Q小于P。如图3所示，(a)为参数分组，绝对值大于0.3的参数分为A组(对应于(a)中对比度较浅的部分)，否则分为B组(对应于(a)中对比度较深的部分)。(b)为参数量化，将A组中的参数按量化规则进行转换。(c)为重训练，A组中的参数不变，B组中的参数继续训练更新。量化过程如下：

(3.1)设定分组比例阈值{p_i}，其中，0≤p_i≤1，1≤i≤n，n根据具体实际情况确定，当量化的次数较多时n取值较大，反之则取值较小，在本发明中一般取5；

(3.2)将检测模型M₂中所有权重参数取绝对值后进行降序排列，根据分组比例阈值{p_i}确定每次的权重分离阈值{w_i}；

(3.3)根据w_i将权重参数分为两组，其中大于w_i的参数作为分组A，小于w_i的参数作为分组B；

(3.4)B中的参数保持不变，而A中的参数则根据下面的规则进行量化处理。

b＝a-2^(l-2)+1

D＝{±2^a,...,±2^b,0}

其中，为检测模型M₂中所有权重参数的集合，l为位宽，D为排序的参数候选集。

其中，x和y为D中相邻的两个数，为A组量化后的权重参数。

(3.5)重训练车辆部件检测模型M₂，以补偿量化过程所带来的精度损失，在重训练过程中，A中的参数保持不变，而B中的参数则按照随机梯度下降法等优化策略继续更新；

(3.6)迭代执行(3.3)～(3.5)，直到检测模型M₂中所有权重参数全部量化完毕为止，最终得到压缩后的检测模型M₃，M₃的参数全部为2的N次方或者0。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种车辆部件检测模型压缩方法，其特征在于，包括：

(1)基于Faster R-CNN算法训练得到基本的车辆部件检测模型M₁；

(2)对所述车辆部件检测模型M₁进行通道剪枝得到车辆部件检测模型M₂；

(3)对所述车辆部件检测模型M₂进行量化处理得到车辆部件检测模型M₃，以使按P位保存的所述车辆部件检测模型M₁转化为按Q位等低精度格式保存的所述车辆部件检测模型M₃，且所述车辆部件检测模型M₃的权重参数为2的N次方或者0，其中，Q小于P。

2.根据权利要求1所述的方法，其特征在于，步骤(2)包括：

(2.1)由找出所述车辆部件检测模型M₁中卷积层的冗余通道，并对冗余通道进行通道剪枝，得到目标通道集合β'，其中，是所述车辆部件检测模型M₁的输入X的第i个通道，Y为所述车辆部件检测模型M₁的原始输出，β为通道选择向量，是所述车辆部件检测模型M₁的权重的第i个通道，c为剪枝前的通道数，λ是惩罚系数，β_i为通道选择向量β中的第i个元素，在β_i＝0时，表示为冗余通道需要删除，对应的也需要删除，在β_i＝1时，需要保留，对应的也需要保留；

(2.2)由最小化重建误差，以补偿通道裁剪对所述车辆部件检测模型M₁检测准确率带来的损失，其中，表示输入X删除冗余通道后得到的目标通道子集，表示删除冗余通道后得到的目标通道子集，表示所述车辆部件检测模型M₁删除冗余通道后对应的输出；

(2.3)λ取初始值为0，固定(2.1)中的求得通道选择向量β'，根据β'选出X中的目标通道在步骤(2.2)中保持Y和不变，求得逐渐增大λ，以得到的和作为新的通道，迭代执行步骤(2.1)和步骤(2.2)，直到||β||₀稳定，当||β||₀不大于裁剪后的通道上限c'之后，得到所述车辆部件检测模型M₂。

3.根据权利要求2所述的方法，其特征在于，步骤(3)包括：

(3.1)将所述车辆部件检测模型M₂中所有权重参数取绝对值后进行降序排列，根据预设分组比例阈值确定每次的权重分离阈值；

(3.2)根据各次的权重分离阈值将权重参数分为两组，其中，大于相应次权重分离阈值的参数集合为A，小于相应次权重分离阈值的参数集合为B；

(3.3)将参数集合B中的参数保持不变，由对参数集合A中的参数进行量化处理得到A组量化后的权重参数其中，为所述车辆部件检测模型M₂的权重参数，x和y为排序的参数候选集D中相邻的两个数，且D＝{±2^a,...,±2^b,0}，b＝a-2^(l-2)+1，l为位宽；

(3.4)重训练所述车辆部件检测模型M₂，以补偿量化过程所带来的精度损失，其中，在重训练过程中，A中的参数始终保持不变，而B中的参数在重训练过程中继续更新，并返回执行步骤(3.2)，直到所述车辆部件检测模型M₂中所有参数全部量化完毕，得到所述车辆部件检测模型M₃。

4.一种车辆部件检测模型压缩系统，其特征在于，包括：

第一检测模型获取模块，用于基于Faster R-CNN算法训练得到基本的车辆部件检测模型M₁；

第二检测模型获取模块，用于对所述车辆部件检测模型M₁进行通道剪枝得到车辆部件检测模型M₂；

第三检测模型获取模块，用于对所述车辆部件检测模型M₂进行量化处理得到车辆部件检测模型M₃，以使按P位保存的所述车辆部件检测模型M₁转化为按Q位等低精度格式保存的所述车辆部件检测模型M₃，且所述车辆部件检测模型M₃的权重参数为2的N次方或者0，其中，Q小于P。