CN113743233B - 基于YOLOv5和MobileNetV2的车辆型号识别方法 - Google Patents

Abstract

本发明公开了基于YOLOv5和MobileNetV2的车辆型号识别方法，包括以下步骤：S1、获取含车辆型号标签的公开车辆图片数据集；S2、对图片数据集按YOLOv5方式打标签；S3、为图片进行预处理；S4、进行YOLOv5训练，反复优化得到模型参数；S5、对原始图片数据集按YOLOv5标签的锚框数据进行裁剪，尽可能裁剪至图片仅含车辆信息；S6、修改MobileNetV2模型，拼接训练好的YOLOv5模型和修改后的MobileNetV2模型；S7、使用标签为车辆型号的原始数据集，预处理后对新拼接得到的模型进行训练，反复优化提升模型性能，得到优化训练完成的识别模型并将其用于实际车辆型号识别。本发明方法解决现有模型识别速率低，不足以满足交通系统的实时性、高效性以及在条件受限的情况下识别的准确率偏低的问题。

Description

基于YOLOv5和MobileNetV2的车辆型号识别方法

技术领域

本发明属于计算机视觉技术领域，具体涉及一种基于YOLOv5和MobileNetV2的车辆型号识别方法。

背景技术

在交通领域，随着城市建设和人们的消费水平提高，城市街道状况越来越复杂，道路上车辆越来越多，因此很多问题也接踵而至——交通事故、道路障碍、乘车抢劫、车辆拥堵等等。这些状况如果都依靠交警人工监控是非常耗时费力的，构建智能化的交通系统是现在城市交通发展的趋势。目前已经出现了很多智能交通系统，它们可以进行交通监控、事故预防、交通拥堵预防和通行税征收等工作。由于监控相机和监控录像采集到的海量数据由人工进行分析处理效率低下无法做到实时性且容易出错，智能监控要求系统能够尽量减少人工操作环节，自动完成车辆的检测以及各类感兴趣内容(如类别、颜色、品牌)的识别和判断，对道路交通中发生的各类情况及时做出响应。利用计算机视觉技术能够高效地捕捉到有用的信息并进行实时处理。因此，计算机视觉技术非常适用于智能交通系统建设。

目标检测的传统方法包括级联分类器、HOG+SVM、DPM等算法。级联分类器就是由多个弱分类器拼装强分类器的过程，是最早的目标检测算法。而级联分类器框架主要包括Haar、LBP等。由于原始的Haar特征太过简单，只适合做刚性物体检测，无法检测行人、车辆等非刚性目标。传统方法由于特征简单、计算复杂，检测的准确率和召回率都不是很理想，检测效果差。

发明内容

本发明的主要目的在于克服现有技术的缺点与不足，提出一种基于YOLOv5和MobileNetV2的车辆型号识别方法，解决现有模型识别速率低，不足以满足交通系统的实时性、高效性以及在条件受限的情况下识别的准确率偏低的问题。

为了达到上述目的，本发明采用以下技术方案：

基于YOLOv5和MobileNetV2的车辆型号识别方法，包括以下步骤：

S1、获取含车辆型号标签的公开车辆图片数据集；

S2、为图片数据集打标签，标签为锚框，锚框包括车辆车身整体，边沿距离车身设10像素空隙；

S3、对图片进行预处理；

S4、进行YOLOv5训练，反复优化得到模型参数；

S5、对图片数据集按标签的锚框进行裁剪，裁剪至图片仅含车辆信息；

S6、修改MobileNetV2模型，拼接训练好的YOLOv5模型和修改后的MobileNetV2模型；

S7、使用步骤S1中获取的公开车辆图片数据集，采用与步骤S3相同的预处理后对新拼接得到的模型进行训练；

反复调整代价函数和优化算法参数提升模型性能，得到优化训练完成的识别模型并将其用于实际车辆型号识别。

进一步的，步骤S1具体为：

以品牌、系列、型号使用labelimg工具对数据集进行标注，获得xml格式的标准文件，再将每个xml文件转换为txt文件；

转换后的txt文件内容包括：

类别、锚框中心点坐标x、锚框中心点坐标y、锚框宽度以及锚框高度；

将xml文件中记录锚框位置的实际数值xmin、xmax、ymin以及ymax，获取中心点坐标和锚框大小，将实际数值根据图片长宽归一化，将该归一化的结果保存到txt文件中，以比例形式存储，区间为[0，1]。

进一步的，步骤S3中，对图片进行预处理具体为：

对数据进行扩增，通过对原始图片数据集中的数据进行随机缩放、亮度调整、随机镜像、随机旋转以及噪声干扰，同时解析标注的xml文件，修改对应的锚框位置，保证增广后的数据中的标签没有出现偏移，再将xml转为对应的txt标签文件，覆盖原来的txt。

进一步的，步骤S4具体为：

设置训练时的各项参数，包括数据集的根目录、图片的训练集和验证集的目录、类别个数以及类别名称；

进行YOLOv5模型训练；

可视化训练中会显示大量参数，观察准确率Precision和召回率Recall，波动不大时训练结果较好，然后以mAP@0.5&mAP@0.5:0.95数值评价模型。

进一步的，步骤S6中，修改MobileNetV2模型具体为：

为满足不同大小的图片输入，在原有的MobileNetV2模型的全连接层前接入一层SPP层；然后使用经过裁剪的图片数据集对修改过的MobileNetV2进行训练，反复优化获取模型参数；MobileNetV2的训练过程具体为：

将图片输入到模型中得到计算结果，将该结果与标签进行代价函数运算获取可以表示预测误差的代价，再根据代价使用优化算法优化模型参数，以使下轮计算所得代价减小，进行多轮后完成训练。

进一步的，YOLOv5模型包括输入端、主干网络、连接主干网络和Neck层的连接层以及预测层；

输入端包括多个卷积核，实现Mosaic数据增强、自适应锚框计算以及自适应图片缩放；

主干网络，主干网络用于提取出图像的高中低层的特征；

YOLOv5的主干网络包括Focus、CSP以及SPP结构；

Focus结构包含一个切片操作，将608×608×3的特征图转为304×304×12的特征图，之后再经过一个32个卷积核变成304×304×32的特征图；

CSP结构在主干网络中使用的CSP结构为CPS1_X结构，使用CBL、残差组件以及卷积核拼接成，其中，CBL由卷积核、批量标准化以及一个激活函数组成；

SPP结构由多个最大池化层拼接成；

通过反复拼接Focus结构和CSP结构，最后使用SPP连接下一层；

Neck层使用CSP结构以及FPN+PAN结构，最终分为三个输出至下一层；

Neck层使用的CSP结构为CSP2_X结构，相对于CSP1_X结构，CSP2_X使用CBL代替残差块；

预测层作为预测的输出，对Neck层的三个输出使用三个卷积获取输出，通过nms非极大值抑制输出锚框。

进一步的，nms非极大值抑制指一个目标生成多个锚框时，根据该目标每个锚框的预测概率选择出其中一个锚框作为该目标的锚框；具体为：

将当前所有边框的得分做降序排序，将得分最高的框作为标准框，将剩下的框与其比较iou值，设定阈值与保留框的最大数量，若超过阈值，就删除该框；

将剩余框作为新数据开始第二轮，所选框不能超出设定的数量，最后得到保留的框。

进一步的，MobileNetV2模型具体包括顺序连接的卷积层、七个线性瓶颈层、卷积层、平均池化层、卷积层、SPP层以及全连接层。

进一步的，YOLOv5模型与修改后MobileNetV2模型之间使用图片裁剪层连接；图片裁剪层以锚框的输入进行数值转换，获取锚框的坐标，裁剪原图片得到不含环境信息的车辆图片。

进一步的，步骤S7中，新拼接得到的模型进行训练的具体步骤为：

图片输入到模型中得到计算结果，将该结果与标签进行代价函数运算获取可以表示预测误差的代价，再根据代价使用优化算法优化模型参数，以使下轮计算所得代价减小，进行多轮后完成训练。

本发明与现有技术相比，具有如下优点和有益效果：

1、本发明训练的模型对数据集图片进行随机缩放、亮度调整、随机镜像、随机旋转以及噪声干扰等操作实现了数据扩增，经过图像缩放、平移、旋转等畸变后具有不变性，具有很强的泛化能力和健壮性，能有效解决现有模型在条件受限(如不同天气、光照和遮挡等拍摄情况下，图像质量受损)的情况下识别的准确率偏低的问题。

2、本发明结合了YOLOv5模型识别速率高，MobileNetV2模型轻量级的优点。YOLOv5单一图片的推理时间能够达到7ms，拥有高达140FPS对象识别速度，有着目前最好的物体识别能力和收敛速度，能迅速完成预测，得到批处理推理产生的实时结果；同时MobileNetV2模型轻量级的优点非常适应现实环境下更广泛且复杂多变的车辆识别场景，使本发明能够轻松移植部署到嵌入式设备中，MobileNetV2模型能直接对单个图像、批处理图像、视频甚至网络摄像头端口输入进行有效推理，应用的广泛性和可拓展性强。

附图说明

图1是本发明方法的流程图；

图2是本发明方法的预处理步骤的示意图；

图3是本发明实施例的总体模型结构图；

图4是本发明实施例中YOLOv5的模型结构图；

图5是本发明实施例中MobileNetV2的模型结构图；

图6是YOLOv5模型训练的可视化参数示意图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

实施例

如图1所示，本发明，基于YOLOv5和MobileNetV2的车辆型号识别方法，包括以下步骤：

S1、获取含车辆型号标签的公开车辆图片数据集；在本实施例中，具体为：

以品牌、系列、型号使用labelimg工具对数据集进行标注，获得xml格式的标准文件，再将每个xml文件转换为txt文件，内容格式为：

类别、锚框中心点坐标x、锚框中心点坐标y、锚框宽度以及锚框高度

将xml文件中记录锚框位置的实际数值xmin、xmax、ymin以及ymax，获取到中心点坐标和锚框大小，将实际数值根据图片长宽归一化，将该归一化的结果保存到txt文件中，以比例形式存储，区间为[0，1]；

S2、为图片数据集打标签，标签为锚框，锚框包括车辆车身整体，边沿距离车身设10像素空隙；在本实施例中，具体为：

复制一份数据备用，修改数据集的存储格式，数据集根目录下包含images和labels两个文件夹，images中区分为train和val文件夹分别存储训练集和验证集图；labels中也分为train和val文件夹，分别存储对应图片标签txt文件，其中训练集与验证集随机分配。

S3、对图片进行预处理；如图2所示，在本实施例中，具体为：

对数据进行扩增，通过image库在对原始图片数据集进行进行随机缩放、亮度调整、随机镜像、随机旋转以及噪声干扰等操作，同时解析标注的xml文件，修改对应的锚框位置，保证增广后的数据中的标签没有出现偏移，再将xml转为对应的txt标签文件，覆盖原来labels文件夹里的txt。

S4、进行YOLOv5训练，反复优化得到模型参数；在本实施例中，具体为：

下载YOLOv5论文提供的源代码，新建data/car.yaml文件设置YOLOv5训练时的各项参数：数据集的根目录、图片的训练集和验证集的目录、类别个数(为1)以及类别名称；

选用YOLOv5中的YOLOv5s版本模型，修改网络结构文件models/yolov5s.yaml的类别个数为1；

使用train.py以上两个参数文件进行YOLOv5训练；

如图6所示，可视化训练中会显示大量参数，主要观察准确率Precision和召回率Recall，波动不大时训练结果较好，然后以mAP@0.5&mAP@0.5:0.95数值评价模型；

S5、对原始图片数据集按YOLOv5标签的锚框数据进行裁剪，尽可能裁剪至图片仅含车辆信息；

S6、修改MobileNetV2模型，拼接训练好的YOLOv5模型和修改后的MobileNetV2模型；在本实施例中，具体为：

因为裁剪后的图片比例可能相差较大，为满足不同大小的图片输入，在原有的MobileNetV2模型的全连接层前接入一层SPP层，SPP(空间金字塔池化)层可以很好处理输入数据大小不同的情况。然后使用上经过裁剪的图片数据集对修改过的MobileNetV2进行训练，反复优化获取较优模型参数；

MobileNetV2训练的步骤为：

将图片输入到模型中得到计算结果，将该结果与标签进行代价函数运算获取可以表示预测误差的代价，再根据代价使用优化算法优化模型参数，以使下轮计算所得代价减小，进行多轮后完成训练。

拼接训练好的YOLOv5模型和修改后的MobileNetV2模型，中间使用一个裁剪层连接两个模型，根据YOLOv5输出的锚框裁剪输入图片并作为MobileNetV2的输入。如图3所示为拼接好的总体模型的结构图。

如图4所示，在本实施例中，YOLOv5模型共有四个部分，分别是输入端、主干网络(BackBone)、连接主干网络和Neck层的连接层以及预测层(Prediction)；

输入端包括多个卷积核，实现Mosaic数据增强、自适应锚框计算以及自适应图片缩放；

主干网络，主干网络用于提取出图像的高中低层的特征；

YOLOv5的主干网络包括Focus、CSP以及SPP结构；

Focus结构包含有一个切片操作，将608×608×3的特征图转为304×304×12的特征图，之后再经过一个32个卷积核变成304×304×32的特征图；

CSP结构在主干网络中使用的CSP结构为CPS1_X结构，使用CBL、残差组件以及卷积核拼接成，其中，CBL由卷积核、批量标准化以及一个激活函数组成；

SPP结构由多个最大池化层拼接成；

通过反复拼接Focus结构和CSP结构，最后使用SPP连接下一层；

Neck层使用CSP结构以及FPN+PAN结构，最终分为三个输出至下一层；

Neck层使用的CSP结构为CSP2_X结构，相对于CSP1_X结构，CSP2_X使用CBL代替残差块；

预测层作为预测的输出，对Neck层的三个输出使用三个卷积获取输出，通过nms非极大值抑制输出锚框。

其中，nms非极大值抑制指一个目标生成多个锚框时，根据该目标每个锚框的预测概率选择出其中一个锚框作为该目标的锚框；具体为：

将当前所有边框的得分做降序排序，将得分最高的框作为标准框，将剩下的框与其比较iou值，设定阈值与保留框的最大数量，若超过阈值，就删除该框；

将剩余框作为新数据开始第二轮，所选框不能超出设定的数量，最后得到保留的框。

YOLOv5模型的结构下接图片裁剪层，图片裁剪层以锚框的输入进行数值转换，获取锚框的坐标，裁剪原图片得到只含少量环境信息的车辆图片。

如图5所示，在本实施例中，MobileNetV2模型结构包括：

一个卷积层输入图片、七个线性瓶颈层、一个卷积层、一个平均池化层、一个卷积层(该层将数据转为向量)、SPP层以及全连接层；

S7、使用步骤S1中获取的公开车辆图片数据集，采用与步骤S3相同预处理后对新拼接得到的模型进行训练，反复优化提升模型性能，得到优化训练完成的识别模型并将其用于实际车辆型号识别；训练新拼接得到的模型的步骤具体为：

图片输入到模型中得到计算结果，将该结果与标签进行代价函数运算获取可以表示预测误差的代价，再根据代价使用优化算法优化模型参数，以使下轮计算所得代价减小，进行多轮后完成训练。

还需要说明的是，在本说明书中，诸如术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其他实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (7)

1.基于YOLOv5和MobileNetV2的车辆型号识别方法，其特征在于，包括以下步骤：

S1、获取含车辆型号标签的公开车辆图片数据集；

S2、为图片数据集打标签，标签为锚框，锚框包括车辆车身整体，边沿距离车身设10像素空隙；

S3、对图片进行预处理；具体为：

对数据进行扩增，通过对原始图片数据集中的数据进行随机缩放、亮度调整、随机镜像、随机旋转以及噪声干扰，同时解析标注的xml文件，修改对应的锚框位置，保证增广后的数据中的标签没有出现偏移，再将xml转为对应的txt标签文件，覆盖原来的txt；

S4、进行YOLOv5训练，反复优化得到模型参数；

S5、对图片数据集按标签的锚框进行裁剪，裁剪至图片仅含车辆信息；

S6、修改MobileNetV2模型，拼接训练好的YOLOv5模型和修改后的MobileNetV2模型；修改MobileNetV2模型具体为：

为满足不同大小的图片输入，在原有的MobileNetV2模型的全连接层前接入一层SPP层；然后使用经过裁剪的图片数据集对修改过的MobileNetV2进行训练，反复优化获取模型参数；MobileNetV2的训练过程具体为：

将图片输入到模型中得到计算结果，将该结果与标签进行代价函数运算获取可以表示预测误差的代价，再根据代价使用优化算法优化模型参数，以使下轮计算所得代价减小，进行多轮后完成训练；

YOLOv5模型与修改后MobileNetV2模型之间使用图片裁剪层连接；图片裁剪层以锚框的输入进行数值转换，获取锚框的坐标，裁剪原图片得到不含环境信息的车辆图片；

S7、使用步骤S1中获取的公开车辆图片数据集，采用与步骤S3相同的预处理后对新拼接得到的模型进行训练；

反复调整代价函数和优化算法参数提升模型性能，得到优化训练完成的识别模型并将其用于实际车辆型号识别。

2.根据权利要求1所述的基于YOLOv5和MobileNetV2的车辆型号识别方法，其特征在于，步骤S1具体为：

以品牌、系列、型号使用labelimg工具对数据集进行标注，获得xml格式的标准文件，再将每个xml文件转换为txt文件；

转换后的txt文件内容包括：

类别、锚框中心点坐标x、锚框中心点坐标y、锚框宽度以及锚框高度；

将xml文件中记录锚框位置的实际数值xmin、xmax、ymin以及ymax，获取中心点坐标和锚框大小，将实际数值根据图片长宽归一化，将该归一化的结果保存到txt文件中，以比例形式存储，区间为[0，1]。

3.根据权利要求1所述的基于YOLOv5和MobileNetV2的车辆型号识别方法，其特征在于，步骤S4具体为：

设置训练时的各项参数，包括数据集的根目录、图片的训练集和验证集的目录、类别个数以及类别名称；

进行YOLOv5模型训练；

可视化训练中会显示大量参数，观察准确率Precision和召回率Recall，波动不大时训练结果较好，然后以mAP@0.5 & mAP@0.5:0.95数值评价模型。

4.根据权利要求1所述的基于YOLOv5和MobileNetV2的车辆型号识别方法，其特征在于，YOLOv5模型包括输入端、主干网络、连接主干网络和Neck层的连接层以及预测层；

输入端包括多个卷积核，实现Mosaic数据增强、自适应锚框计算以及自适应图片缩放；

主干网络，主干网络用于提取出图像的高中低层的特征；

YOLOv5的主干网络包括Focus、CSP以及SPP结构；

Focus结构包含一个切片操作，将608×608×3的特征图转为304×304×12的特征图，之后再经过一个32个卷积核变成304×304×32的特征图；

CSP结构在主干网络中使用的CSP结构为CPS1_X结构，使用CBL、残差组件以及卷积核拼接成，其中，CBL由卷积核、批量标准化以及一个激活函数组成；

SPP结构由多个最大池化层拼接成；

通过反复拼接Focus结构和CSP结构，最后使用SPP连接下一层；

Neck层使用CSP结构以及FPN+PAN结构，最终分为三个输出至下一层；

Neck层使用的CSP结构为CSP2_X结构，相对于CSP1_X结构，CSP2_X使用CBL代替残差块；

预测层作为预测的输出，对Neck层的三个输出使用三个卷积获取输出，通过nms非极大值抑制输出锚框。

5.根据权利要求4所述的基于YOLOv5和MobileNetV2的车辆型号识别方法，其特征在于，nms非极大值抑制指一个目标生成多个锚框时，根据该目标每个锚框的预测概率选择出其中一个锚框作为该目标的锚框；具体为：

将当前所有边框的得分做降序排序，将得分最高的框作为标准框，将剩下的框与其比较iou值，设定阈值与保留框的最大数量，若超过阈值，就删除该框；

将剩余框作为新数据开始第二轮，所选框不能超出设定的数量，最后得到保留的框。

6.根据权利要求1所述的基于YOLOv5和MobileNetV2的车辆型号识别方法，其特征在于，MobileNetV2模型具体包括顺序连接的卷积层、七个线性瓶颈层、卷积层、平均池化层、卷积层、SPP层以及全连接层。

7.根据权利要求1所述的基于YOLOv5和MobileNetV2的车辆型号识别方法，其特征在于，步骤S7中，新拼接得到的模型进行训练的具体步骤为：

图片输入到模型中得到计算结果，将该结果与标签进行代价函数运算获取可以表示预测误差的代价，再根据代价使用优化算法优化模型参数，以使下轮计算所得代价减小，进行多轮后完成训练。