CN112597919A - 基于YOLOv3剪枝网络和嵌入式开发板的实时药盒检测方法 - Google Patents

Abstract

本发明涉及基于YOLOv3剪枝网络和嵌入式开发板的实时药盒检测方法。包括如下步骤：步骤一：设计YOLOv3主干网络及损失函数；步骤二：通过人工拍摄的方式对各个品牌的药盒进行图像数据采集；步骤三：制作药盒数据集并进行训练；步骤四：通过基于BN层缩放因子γ的剪枝方法对YOLOv3进行模型压缩和加速推算；步骤五：将YOLOv3压缩模型部署到Nano嵌入式系统上并使用TensorRT进行模型推理加速；步骤六：使用CSI摄像头在Nano上进行实时药盒检测。本发明用于部署在NVIDIA Jetson Nano嵌入式开发板上进行实时药盒检测，在保证检测精度的同时，确保了检测的实时性以及模型运算的高效率。

Description

基于YOLOv3剪枝网络和嵌入式开发板的实时药盒检测方法

技术领域

本发明属于一种基于深度学习的图像处理技术，具体涉及基于YOLOv3剪枝网络和嵌入式开发板的实时药盒检测方法。

背景技术

实时目标检测技术是近年来计算机视觉领域中的研究热门，这种技术包括对轻量级目标检测网络的设计、目标数据集的制作，模型部署载体的研究等。目前，基于图像序列的实时目标检测技术可实现计算机观察和检测图像序列中的目标，该技术在未来智能驾驶和计算机智能分拣中都有着代表性。其中，最潜在的应用之一在于实时，快速的智能分拣领域中，如无人流水线上药盒的机器人智能分拣。

在无人的机器人智能分拣环境中，检测的准确性是首先要考虑的因素。在早期基于卷积神经网络的目标检测任务中，Ross Girshick等人提出预先提取一系列候选区域，在候选区域上进行特征的提取的目标检测方法，该方法奠定了R-CNN系列方法的基础，并衍生出更加完美的Fast R-CNN，Faster R-CNN和Mask R-CNN目标检测模型(R.Girshick,J.Donahue,T.Darrell,and J.Malik.Rich feature hierarchies for accurate objectdetection and semantic segmentation.In CVPR,2014.)。R-CNN系列包括最先进的FasterR-CNN模型在目标检测与识别上有着最高的图像识别精确度，但卷积网络模型都具有大量的层级和节点，所用到的参数达到几百万甚至几十亿，网络的这种计算密集性和存储密集性，会带来巨大的计算和内存消耗，不能满足快速、实时应用的需求；难以应用到计算量小、存储空间小的移动设备上。

机器人智能分拣的第二个重点就是实时性，之前的目标检测模型无法胜任实时性的要求。为了解决之前模型参数量过大，检测速度慢的缺点，Joseph Redmon等人提出了YOLO网络,并由此衍生出了YOLOv2，YOLOv3网络(J.Redmon,S.Divvala,R.Girshick,A.Farhadi.You Only Look Once:Unified,Real-Time Object Detection.https://arxiv.org/abs/1506.02640,2015)。此系列的网络将物体检测任务直接当作回归问题来处理，将选择候选区和检测两个阶段合二为一。YOLO将识别与定位合二为一，结构简便，检测速度快。

虽然YOLO系列模型已经大大提高了检测速度，减少了模型大小，但因为卷积神经网络本身的参数量庞大，依然无法顺利部署到低配置的嵌入式设备和移动设备上。因此在嵌入式设备上卷积神经网络模型成为时下亟待解决的问题。

发明内容

本发明克服现有技术的缺点，提出一种易实现、适用性高的，可部署在嵌入式设备下的药盒检测YOLOv3剪枝网络，此网络在保证高精度的同时，可以实现快速的实时检测。

本发明以图像序列作为输入，首先利用YOLOv3剪枝模型对每帧图像进行目标检测与识别，该模型由卷积层、Batch Normal层(BN层)、LeakyRelu层，上采样层组成，网络模型结构图见附图1。在网络模型构建的过程中，对卷积层的通道做剪枝操作，通过BN层中的γ参数的大小作为衡量每个通道重要性的指标，对卷积层中的各个通道进行重要性排序，设置一个剪枝的百分比阈值，裁剪重要程度低于阈值的通道；对修剪后的神经网络模型进行训练，微调神经网络参数；重复修剪与微调步骤，在达到指标后停止修剪。将剪枝后的YOLOv3模型部署在Jetson Nano嵌入式板上，使用TensorRT加速推理。Jetson Nano使用CSI摄像头采集药盒图像数据，数据以图像序列的方式输入YOLOv3剪枝模型，模型对每帧图像进行目标检测与识别，输出图像中药盒的检测识别结果，包括药盒的位置框图以及药盒的种类等。

本发明所采用的技术方案为：基于YOLOv3剪枝网络和嵌入式开发板的药盒检测方法，其特征在于：包括如下步骤：

步骤1：设计YOLOv3主干网络及损失函数；

步骤2：通过人工拍摄的方式对各个品牌的药盒进行图像数据采集；

步骤3：制作药盒数据集并进行训练；

步骤4：通过基于BN层缩放因子γ的剪枝方法对YOLOv3进行模型压缩和加速推算；

步骤5：将YOLOv3压缩模型部署到Nano嵌入式系统上并使用TensorRT进行模型推理加速；

步骤6：使用CSI摄像头在Nano上进行实时药盒检测。

所述步骤1具体步骤如下：

步骤1-1：YOLOv3主干网络设计；

步骤1-1.1：借鉴ResNet网络中的shortcut设计加深YOLOv3主体网络的深度，通过设定卷积层中的步长参数实现卷积层的下采样。除最后三层用于预测的卷积层之外，其余的卷积层后都添加Batch Normalization(BN)操作，并在BN层接LeakyRelu激活函数。借鉴特征金字塔模型结构，通过上采样操作对网络输出的三个特征图进行融合，达到多尺度预测的目的。；

步骤1-1.2：使用用K-meas聚类方法，对真实框进行聚类，得到九种锚框，每三种锚框对应一个尺度的特征图。此方法的目的是加速预测框的回归；

步骤1-1.3：在网络前向推断中预测公式如下所示：

b_x＝σ(t_x)+c_x

b_y＝σ(t_y)+c_y

b_x,b_y是预测框在对应尺寸的特征图上的相对中心坐标值。b_w,b_h是预测框的宽和高。c_x,c_y是输出特征图gridcell的左上角坐标，p_w,p_h为锚框的宽和高。t_x,t_y为预测的坐标偏移值，t_w,t_h为预测的尺度缩放倍数；

步骤1-2：设计YOLOv3损失函数；

步骤1-2.1：设计目标置信度损失函数；

步骤1-2.2：设计目标类别损失函数；

步骤1-2.3：设计目标定位损失函数；

步骤1-2.4：通过权重系数得到最终的损失函数；

所述步骤3具体步骤如下：

步骤3-1：对采集到的药盒图像样本进行预处理，建立药盒检测目标数据库；

步骤3-2：用labelImg软件对图像中的检测对象进行手动标注，生成xml文件，xml文件中包含labelImg手动标注的药盒真实框的对应坐标值信息，以及每个框对应的标签信息；

步骤3-3：将标注好的图像数据输入模型进行训练；

所述步骤4具体步骤如下：

步骤4-1：使用以BN层中缩放因子γ大小为剪枝标准的通道剪枝方式对模型进行压缩。

步骤4-2：对训练好的YOLOv3模型进行稀疏训练，稀疏率设定为0.01，得到稀疏化模型权重参数；

步骤4-3：将BN层的缩放因子γ与损失函数相结合，得到新的剪枝目标损失函数：

L＝∑l(f(x,W),y)+λ∑g(γ) (9)

上式x和y是网络输入和标签值，W是网络中的训练权重，公式中的第一项是YOLOv3网络模型的训练损失函数，λ为惩罚项的平衡系数，g(γ)是缩放因子γ的L1正则化惩罚系数，通过上述目标损失函数对稀疏化的YOLOv3模型中对应γ参数较小的通道进行剪枝；

步骤4-4：为了恢复剪枝后的模型的准确度，对剪枝后的模型进行fine-turn从而让剪枝后的模型达到甚至超过原始模型的检测精度，重复步骤4-2，4-3，4-4数次，最终得到一个参数量少，所需存储空间小，所需计算资源少的轻量型目标检测网络；

综上所述，本发明的优点在于，原始YOLOv3模型已具有高精度的检测效果，在此基础之上进行神经网络通道的剪枝，即减少了神经网络的计算量和存储量，再通过fine-turn操作又保持了原方法的高性能不变；且在剪枝过程中，每次剪枝只修剪缩放因子小的通道，既大大减少了模型的大小，又避免了对模型性能造成太大的影响；本发明针对嵌入式系统检测的实时性设计了这一种基于深度网络BN层缩放因子的模型通道剪枝方法，并将此模型部署到Jetson Nano开发板上。将此模型在Nano上通过TensorRT进行推理加速，得到最终的检测模型。此模型实现了在低配置嵌入式开发板上进行实时检测的功能。

附图说明

图1是本发明中YOLOv3模型的结构图；

图2是本发明中主干网络BN层γ因子通道剪枝原理图；

图3是本发明中YOLOv3网络剪枝阶段训练方案图；

图4是本发明中使用TensorRT加速模型推理的流程图；

图5是本发明中Nano实时检测的流程图。

具体实施方式

下面结合附图进一步说明本发明。

本发明的基于YOLOv3剪枝网络和嵌入式开发板的实时药盒检测方法，具体过程如下：

步骤1：YOLOv3主干网络设计，如图一所示；

步骤1-1：理论上来说越深的网络，其能得到的检测效果就越好，准确率越高，但实验结果表明，网络层数的过度增加会使网络陷入过拟合，使得网络收敛变慢，检测准确率降低，并因为模型的计算成本增加更难部署在嵌入式设备上。为解决这个问题，YOLOv3主干网络借鉴了深度残差网络跳层连接结构。为了减少池化层带来的对梯度计算的影响，网络中的下采样操作都通过卷积层实现，卷积层的步长都设为2。大量实验表明，神经网络会出现每层之间数据分布不一致的问题，这会导致网络难以收敛和训练，为了解决这个问题，YOLOv3网络在除了最后三层用于预测的卷积层之外，对其余卷积层的输出都做了BatchNormalization操作，作为解决梯度消失及梯度爆炸，加速网络收敛，以及避免过拟合的方法。在每个BN层后，网络又引入了LeakyRelu函数作为激活函数，这层的作用是在网络中引入非线性组成。卷积层，BN层，LeakyRelu层共同构成网络的最小组件。为了对大小不同的药盒做到精确检测，YOLOv3借鉴了特征金字塔网络FPN(feature pyramid network)，通过上采样操作对特征进行融合，根据Nano上的CSI摄像头采集到的图像对检测目标进行三个尺度的预测，本发明中尺寸为13*13的输出特征图感受野最大，专门用来检测大目标，尺寸为52*52的输出特征图感受野最小，专门用来检测小目标；

步骤1-2：用K-Means++算法在COCO数据集上根据步骤1-1所述的3个检测尺度进行锚框聚类，生成9种大小的锚框，每种检测尺度分配3种锚框，锚框的作用是为了更快速更准确的回归检测框；

步骤1-3：在网络前向推理中通过公式：

b_x＝σ(t_x)+c_x (1)

b_y＝σ(t_y)+c_y (2)

进行目标检测框的预测，最后得到预测框相对于当前特征图的相对中心坐标值b_x,b_y，以及预测框的宽和高b_w,b_h，c_x,c_y是输出特征图gridcell的左上角坐标，p_w,p_h为锚框的宽和高。t_x,t_y为网络预测的坐标偏移值，t_w,t_h为网络预测的尺度缩放倍数。

步骤2：YOLOv3损失函数的设计；

步骤2-1：目标置信度即目标检测框中存在目标的概率采用二值交叉熵损失函数，设计的目标置信度损失函数如下所示：

其中

网络输出c_i通过Sigmoid函数得到

步骤2-2：目标类别损失函数同样采用二值交叉熵，设计的目标类别损失函数如下所示：

其中，

网络输出c_i通过Sigmoid函数得到

表示目标检测框i中存在第j类目标的Sigmoid概率：

步骤2-3：目标定位损失函数采用MSE损失函数，如下所示：

其中：

其中

表示预测框的坐标偏移量(YOLOv3预测的是坐标偏移值)，

表示真实框的坐标偏移量，(b^x,b^y,b^w,b^h)为预测框的参数，(c^x,c^y,p^w,p^h)为锚框的参数，(g^x,g^y,g^w,g^h)为真实框的参数；

步骤2-4：将上述所有损失函数通过权值相加得到总损失函数：

L(O,o,C,c,l,g)＝λ_confL_conf(o,c)+λ_claL_cla(O,C)+λ_locL_loc(l,g) (8)

步骤3：通过人工拍照的方式对药盒进行图像数据采集，采集时需要拍摄不同光照，不同品牌，不同大小，不同角度的药盒。

步骤3-1：对采集到的目标图像进行数据增强，通过图像翻转、拉伸、旋转、裁剪扩充数据集，建立药盒检测数据集。

步骤3-2：用labelImg软件对图像中的药盒进行框标注，生成xml文件，xml文件包含使用labelImg手动标注的真实框的坐标信息，以及每个框对应的标签。

步骤4：将标注好的数据集输入模型进行正常训练，学习率设为0.001，Batch_size值设为64。

步骤5：对步骤4训练好的YOLOv3网络模型进行网络通道剪枝，如图2、3所示；

步骤5-1：神经网络在权重等级的稀疏化上拥有较高的灵活性，压缩效果较好，但需要在定制的软硬件加速器上才能完成剪枝。本发明在灵活性和可行性之间做了一个平衡，采用基于BN层γ缩放因子的通道等级的剪枝对模型进行压缩；

步骤5-2：将BN层缩放因子γ引入损失函数，构造剪枝目标函数如下所示：

上式x和y是网络输入和标签值，W是网络中的训练权重，公式中的第一项是YOLOv3网络模型的训练损失函数，λ为惩罚项的平衡系数，g(γ)是缩放因子γ的L1正则化惩罚系数，通过上述目标损失函数对稀疏化的YOLOv3模型中对应γ参数较小的通道进行剪枝

步骤5-3：通过上述损失函数对步骤4训练好的YOLOv3网络模型进行稀疏化训练，设定的稀疏率为0.01，即λ参数设为0.01，训练之后得到稀疏化的YOLOv3模型；

步骤5-4：对稀疏化后的模型进行通道剪枝，被裁减的通道为稀疏化之后较小的缩放因子γ对应的通道，剪枝率设为0.85；通道剪枝在剪掉某一通道的同时也减去了与此通道的对应的输入输出权重，多次迭代剪枝后可以获得较窄的剪枝网络；

步骤5-5：为了恢复剪枝后模型的准确度，将剪枝后的模型重新训练，从而使其达到甚至超过原始的模型精度，重复步骤2，3，4数次，最终得到一个参数量少，计算成本低，高精度的轻量型目标检测网络。

步骤6：将剪枝模型部署到Jetson Nano嵌入式开发板上，并通过TensorRT进行前向推理加速，如图4所示；

步骤7：Nano外接CSI摄像头模块，使用CSI摄像头进行图像采集，使用opencv处理视频流，并用加速之后的模型进行实时药盒检测，如图5所示。

本说明书实施例所述的内容仅仅是对发明构思实现形式的例举，本发明的保护范围不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。

Claims (4)

1.基于YOLOv3剪枝网络和嵌入式开发板的药盒检测方法，其特征在于：包括如下步骤：

步骤1：设计YOLOv3主干网络及损失函数；

步骤2：通过人工拍摄的方式对各个品牌的药盒进行图像数据采集；

步骤3：制作药盒数据集并进行训练；

步骤4：通过基于BN层缩放因子γ的剪枝方法对YOLOv3进行模型压缩和加速推算；

步骤5：将YOLOv3压缩模型部署到Nano嵌入式系统上并使用TensorRT进行模型推理加速；

步骤6：使用CSI摄像头在Nano上进行实时药盒检测。

2.根据权利要求1所述的基于YOLOv3剪枝网络和嵌入式开发板的药盒检测方法，其特征在于：所述步骤1具体步骤如下：

2.1)：YOLOv3主干网络设计；

2.1.1)：借鉴ResNet网络中的shortcut设计加深YOLOv3主体网络的深度，通过设定卷积层中的步长参数实现卷积层的下采样。除最后三层用于预测的卷积层之外，其余的卷积层后都添加Batch Normalization(BN)操作，并在BN层接LeakyRelu激活函数。借鉴特征金字塔模型结构，通过上采样操作对网络输出的三个特征图进行融合，达到多尺度预测的目的。；

2.1.2)：使用用K-meas聚类方法，对真实框进行聚类，得到九种锚框，每三种锚框对应一个尺度的特征图。此方法的目的是加速预测框的回归；

2.1.3)：在网络前向推断中预测公式如下所示：

b_x＝σ(t_x)+c_x (1)

b_y＝σ(t_y)+c_y (2)

b_x,b_y是预测框在对应尺寸的特征图上的相对中心坐标值。b_w,b_h是预测框的宽和高。c_x,c_y是输出特征图grid cell的左上角坐标，p_w,p_h为锚框的宽和高。t_x,t_y为预测的坐标偏移值，t_w,t_h为预测的尺度缩放倍数；

2.2)：设计YOLOv3损失函数；

2.2.1)：设计目标置信度损失函数如下所示：

其中

网络输出c_i通过Sigmoid函数得到

2.2.2)：设计目标类别损失函数如下所示：

其中，

网络输出c_i通过Sigmoid函数得到

表示目标检测框i中存在第j类目标的Sigmoid概率；

2.2.3)：设计目标定位损失函数如下：

其中：

其中

表示预测框的坐标偏移量(YOLOv3预测的是坐标偏移值)，

表示真实框的坐标偏移量，(b^x,b^y,b^w,b^h)为预测框的参数，(c^x,c^y,p^w,p^h)为锚框的参数，(g^x,g^y,g^w,g^h)为真实框的参数；；

2.2.4)：通过权重系数得到最终的损失函数：

L(O,o,C,c,l,g)＝λ_confL_conf(o,c)+λ_claL_cla(O,C)+λ_locL_loc(l,g) (8) 。

3.根据权利要求1所述的基于YOLOv3剪枝网络和嵌入式开发板的药盒检测方法，其特征在于：所述步骤3具体步骤如下：

3.1)：对采集到的药盒图像样本进行预处理，建立药盒检测目标数据库；

3.2)：用labelImg软件对图像中的检测对象进行手动标注，生成xml文件，xml文件中包含labelImg手动标注的药盒真实框的对应坐标值信息，以及每个框对应的标签信息；

3.3)：将标注好的图像数据输入模型进行训练。

4.根据权利要求1所述的基于YOLOv3剪枝网络和嵌入式开发板的药盒检测方法，其特征在于：所述步骤4具体步骤如下：

4.1)：使用以BN层中缩放因子γ大小为剪枝标准的通道剪枝方式对模型进行压缩。

4.2)：对训练好的YOLOv3模型进行稀疏训练，稀疏率设定为0.01，得到稀疏化模型权重参数；

4.3)：将BN层的缩放因子γ与损失函数相结合，得到新的剪枝目标损失函数：

上式x和y是网络输入和标签值，W是网络中的训练权重，公式中的第一项是YOLOv3网络模型的训练损失函数，λ为惩罚项的平衡系数，g(γ)是缩放因子γ的L1正则化惩罚系数，通过上述目标损失函数对稀疏化的YOLOv3模型中对应γ参数较小的通道进行剪枝；

4.4)：为了恢复剪枝后的模型的准确度，对剪枝后的模型进行fine-turn从而让剪枝后的模型达到甚至超过原始模型的检测精度，重复步骤4-2，4-3，4-4数次，最终得到一个参数量少，所需存储空间小，所需计算资源少的轻量型目标检测网络。

Images