CN111523579B - 一种基于改进深度学习的车型识别方法及系统 - Google Patents

Abstract

本发明涉及一种基于改进深度学习的车型识别方法及系统。该方法包括：对交通卡口车辆数据集进行切割整理分类，得到分类数据，分类数据包括训练集、验证集和测试集；根据训练集对改进的深度学习EfficientNet网络进行训练，得到训练后的深度学习网络，深度学习EfficientNet网络的训练基于调整网络深度、宽度以及分辨率之间的平衡关系；根据验证集对训练后的深度学习网络进行优化，得到最优深度学习网络；将测试集输入至最优深度学习网络进行识别，采用softmax分类器分类，得到网络识别结果。本发明能够提高车型识别的精度。

Description

一种基于改进深度学习的车型识别方法及系统

技术领域

本发明涉及车型识别分类领域，特别是涉及一种基于改进深度学习的车型识别方法及系统。

背景技术

随着模式识别技术在智能交通领域的发展和应用，车型识别已经成为智能交通系统中很重要的一部分。随着社会经济科技的发展，交通领域面临越来越多的车辆及各种频发的交通问题，车型识别可以统计不同类型的车辆的数目，提高在交通流量监测中的工作效率，可以在侦查系统中识别出伪装过的车辆，提升破案的效率，还可以结合车辆已登记的信息，实现快速判别车辆，从而减少高速公路上因为收费带来的交通拥堵。因此，研究车型识别精度的提高变得非常有意义。

随着智能识别的发展，深度学习在计算机视觉领域取得了巨大的成功，对于像图像分类、物体检测、视频分析、人脸识别等众多智能处理任务的性能。相对比传统之前的方法，深度学习最大的优势就在于不用对识别样本进行复杂的预处理，不依赖于专家知识来针对特定领域设计人工特征，普适性更强。而注意力机制在深度学习任务上可以发挥巨大的提升作用，加强提取有效特征，抑制提取无效特征，提升网络精度。

传统的车型识别方法主要有特征匹配和模式匹配的方法，充分利用图像SIFT、HOG、Haar、ORB特征等特征，整体识别过程复杂，识别精度不高。还有基于视频流的视频图像识别技术，由于视频流图像受环境光线影响较大，因此适用性不强。传统方法都需要人工提取特征，耗时并且实施性不高。

在神经网络识别车型方面，最初的方法是用BP神经网络识别，稳定性比较强，但收敛速度慢。近年来运用卷积神经网络进行车型识别的方法越来越多，较传统方法和BP神经网络方法更为简单，耗时减少，但由于在实际的道路环境下，车辆图像往往受多角度、遮挡、光照变化等影响因素，如何克服外界环境因素的影响能更有效提取车辆特征也就成为了车型识别问题的研究重点。虽然近年来深度学习开始广泛用于图像识别方面，但现今卷积神经网络多从加深网络的深度和扩宽网络的特征通道单独的某一方面进行网络的改进。

发明内容

本发明的目的是提供一种基于改进深度学习的车型识别方法及系统，采用复合模型扩张方法并且含有注意力机制的深度学习图像识别分类方法，有效提取图像特征，减少外界环境对于图片特征提取的影响，能够提高车型识别的精度。

为实现上述目的，本发明提供了如下方案：

一种基于改进深度学习的车型识别方法，包括：

对交通卡口车辆数据集进行切割整理分类，得到分类数据，所述分类数据包括训练集、验证集和测试集；

根据所述训练集对改进的深度学习EfficientNet网络进行训练，得到训练后的深度学习网络，所述改进的深度学习EfficientNet网络的训练基于调整网络深度、宽度以及分辨率之间的平衡关系；

根据所述验证集对所述训练后的深度学习网络进行优化，得到最优深度学习网络；

将所述测试集输入至所述最优深度学习网络进行识别，采用softmax分类器分类，得到网络识别结果，所述网络识别结果包括：大卡车、小轿车、SUV、客车、面包车和小卡车的识别精度。

可选的，所述对交通卡口车辆数据集进行切割整理分类，得到分类数据，具体包括：

对交通卡口图片进行定位切割，得到单独的正面车辆图片；

对各所述正面车辆图片按照相同车型类别进行整理，得到样本数据集，所述车型类别包括大卡车、小轿车、SUV、客车、面包车和小卡车；

对所述样本数据集进行按比例划分，得到训练集、验证集和测试集。

可选的，所述根据所述训练集对改进的深度学习EfficientNet网络进行训练，得到训练后的深度学习网络，具体包括：

根据所述训练集对改进的深度学习EfficientNet网络中的网络深度、宽度和分辨率进行调整，得到调整后的网络深度相关参数、宽度相关参数和分辨率相关参数；

根据所述网络深度相关参数、所述宽度相关参数和所述分辨率相关参数，得到训练后的深度学习网络。

可选的，所述根据所述验证集对所述训练后的深度学习网络进行优化，得到最优深度学习网络，具体包括：

根据所述验证集反复调整网络迭代次数和所述训练后的深度学习网络的学习率，得到最优深度学习网络。

一种基于改进深度学习的车型识别系统，包括：

分类模块，用于对交通卡口车辆数据集进行切割整理分类，得到分类数据，所述分类数据包括训练集、验证集和测试集；

训练模块，用于根据所述训练集对改进的深度学习EfficientNet网络进行训练，得到训练后的深度学习网络，所述改进的深度学习EfficientNet网络的训练基于调整网络深度、宽度以及分辨率之间的平衡关系；

优化模块，用于根据所述验证集对所述训练后的深度学习网络进行优化，得到最优深度学习网络；

识别模块，用于将所述测试集输入至所述最优深度学习网络进行识别，采用softmax分类器分类，得到网络识别结果，所述网络识别结果包括：大卡车、小轿车、SUV、客车、面包车和小卡车的识别精度。

可选的，所述分类模块，具体包括：

定位切割单元，用于对交通卡口图片进行定位切割，得到单独的正面车辆图片；

整理单元，用于对各所述正面车辆图片按照相同车型类别进行整理，得到样本数据集，所述车型类别包括大卡车、小轿车、SUV、客车、面包车和小卡车；

划分单元，用于对所述样本数据集进行按比例划分，得到训练集、验证集和测试集。

可选的，所述训练模块，具体包括：

参数调整单元，用于根据所述训练集对所述深度学习网络中的网络深度、宽度和分辨率进行调整，得到调整后的网络深度相关参数、宽度相关参数和分辨率相关参数；

训练后的深度学习网络确定单元，用于根据所述网络深度相关参数、所述宽度相关参数和所述分辨率相关参数，得到训练后的深度学习网络。

可选的，所述优化模块，具体包括：

优化单元，用于根据所述验证集反复调整网络迭代次数和所述训练后的深度学习网络的学习率，得到最优深度学习网络。

根据本发明提供的具体实施例，本发明公开了以下技术效果：

本发明简化了深度学习网络EfficientNet网络，EfficientNet网络是对深度学习网络的深度、宽度和分辨率三个方面进行最大平衡程序下的扩张，极大的丰富了提取的特征，原模型结构复杂，不适用于小的样本集，因此在本发明识别模型中对原模型进行了简化。同时改进SE模块为识别效果更好的SK模块，加强了对有效特征的提取，抑制了无效特征。采用本发明的方法能够提高对车型的识别精度，识别精度高达96.9％。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明基于改进深度学习的车型识别方法流程图；

图2为改进EfficientNet网络结构图；

图3为MBConv2内部结构图；

图4为SK模块图；

图5为车型识别网络精度图；

图6为本发明基于改进深度学习的车型识别系统结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的是提供一种基于改进深度学习的车型识别方法及系统，采用复合模型扩张方法并且含有注意力机制的深度学习图像识别分类方法，有效提取图像特征，减少外界环境对于图片特征提取的影响，能够提高车型识别的精度。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

图1为本发明基于改进深度学习的车型识别方法流程图。如图1所示，一种基于改进深度学习的车型识别方法包括：

步骤101：对交通卡口车辆数据集进行切割整理分类，得到分类数据，所述分类数据包括训练集、验证集和测试集，具体包括：

对交通卡口图片进行定位切割，得到单独的正面车辆图片。

对各所述正面车辆图片按照相同车型类别进行整理，得到样本数据集，所述车型类别包括大卡车、小轿车、SUV、客车、面包车和小卡车。

对所述样本数据集进行按比例划分，得到训练集、验证集和测试集。

切割后共有10053张图片，其中训练集有7203张图片，训练集和验证集各1425张图片。图片分为6类分别为大卡车、小轿车、SUV、客车、面包车、小卡车。图片输入尺寸为128×128。

步骤102：根据所述训练集对改进的深度学习EfficientNet网络进行训练，得到训练后的深度学习网络，所述改进的深度学习EfficientNet网络的训练基于调整网络深度、宽度以及分辨率之间的平衡关系，具体包括：

根据所述训练集对改进的深度学习EfficientNet网络的网络深度、宽度和分辨率进行调整，得到调整后的网络深度相关参数、宽度相关参数和分辨率相关参数。

根据所述网络深度相关参数、所述宽度相关参数和所述分辨率相关参数，得到训练后的深度学习网络。

a)由于原EfficientNet网络结构非常复杂，卷积层数非常多，本发明所用车型数据集样本并不是非常大，原网络容易导致过拟合情况出现。本发明以EfficientNet为基础进行简化原网络，将原网络中16个block简化为5个block，并统一所有block中卷积尺寸为3×3。简化后的EfficientNet可以优化识别精度和识别效率，从网络深度、宽度和分辨率之间的平衡寻找更好的性能表现。

b)对原EfficientNet网络的SE(Squeeze-and-Excitation Module)模块用效果更好的SK(Selective Kernel Module)模块代替，SK模块较SE模块是更好的soft attention机制，网络通道变多，关注数据集的重要特征，而抑制其他无用特征性质增强，可提高识别精度。

EfficientNet网络具体算法如下：

式(1)中，N表示分类网络，X表示输入，f_i表示基础网络层，i表示stage，L_i表示f_i结构在第i个stage中的重复数量。

下列公式是寻求最大化识别精度需要的最优参数，待优化的参数就是网络深度(d)、网络宽度(w)和分辨率(r)。网络缩放的目标是在网络参数和计算量满足限制条件的情况下最大化网络的识别精度。

Memory(N)≤t arg et_memory (4)

FLOPS(N)≤t arg et_flops (5)

公式(4)中Memory表示记忆存储器，公式(5)中FLOPS表示每秒浮点运算次数。

为了找到合适的3个维度参数，引入Φ参数，将3个待优化参数都用Φ指数表示，如公式(6)所示：

通过实验得知α取1.2，β取1.1，γ取1.15时整体效果最佳。

在对整个网络模型设计的过程中，主要解决如何更高提升网络的精度，如何在加深网络层数的情况下保证特征不丢失，如何能在深层网络下能更高效提取到有效特征。一般为了提取到更多特征，都采取加深加宽网络，但当网络加深加宽又容易造成过拟合现象以及出现特征丢失的影响，一般的大型网络结构往往存在参数多、容易过拟合的缺点，本发明通过简化了基于调整网络深度、宽度以及分辨率之间的平衡关系的EfficientNet深度学习网络，改进一种效果更好的soft attention机制SK模块。设计网络结构中含有5个block结构，有效的解决了上述的问题。本发明的网络从网络的深度加深、宽度加宽和分辨率增大三方面进行平衡，训练出能够较其他网络在三方面都增大的识别网络，比其他网络拥有更高的识别精度。

改进后EfficientNet网络结构图如图2所示，包括1个深度可分离卷积和5个MBConv。EfficientNet网络结构中深度可分离卷积层，将空间特征学习和通道特征学习分开，每一个通道都是相互独立的。通过分离卷积层需要的参数要少很多，计算量也更小，因此可以得到更小更快的模型。

MBConv2和MBConv4的结构如图3所示，每个都包括一个SK模块。其他MBConv结构除了没有SK模块外，其他结构与MBConv2相同。MBConv每一层的卷积层后面都有一个BN层，用来加宽网络的收敛速度，防止梯度弥散。每个MBConv中都会进行残差学习，防止网络层数加深时出现特征丢失严重的情况。每一个MBConv结构中都有一层反卷积，反卷积的效果是可以将带有小部分缺失的信息最大化恢复。

在每一个MBConv中都有一个SK模块，SK模块如图4所示，SK模块是一种softattention机制，可以直接嵌入到模型中进行训练，可以使网络可以根据输入信息的多个尺度自适应的调节接受域大小，也就是使网络在提取特征时加强提取有效特征，压缩无效特征。由图4可以看到，SK模块主要分为Split，Fuse，Select三个操作。具体步骤如下：

a)Split操作指的的是输入X进行Kernel3×3和Kernel5×5的卷积操作，得到输出

和

b)Fuse操作与SE模块操作相同，F_gp为全局平均池化操作，F_fc为先降维再升维的两层全连接层。需要注意的是输出的两个矩阵a和b，其中矩阵b为冗余矩阵，在两个分支的情况下b＝1-a。输出

c)Select操作是使用a、b两个权重矩阵对

和

进行加权操作，求出最终的向量V。

输入图像后，各stage具体参数：在第一层卷积层，卷积核尺寸为3×3，图像尺寸为128×128。深度可分离卷积卷积核尺寸为3×3，输入特征通道为16，输出特征通道为32，图像尺寸为64×64。MBConv1输入卷积核个数为32个，卷积核尺寸为3×3，输出卷积核个数为16，以步长2进行滑动，图像尺寸为64×64。MBConv2输入卷积核个数为16个，卷积核尺寸为3×3，输出卷积核个数为32，以步长2进行滑动，图像尺寸为32×32。MBConv3输入卷积核个数为32个，卷积核尺寸为3×3，输出卷积核个数为64，以步长2进行滑动，图像尺寸为16×16。MBConv4输入卷积核个数为40个，卷积核尺寸为3×3，输出卷积核个数为80，以步长2进行滑动，图像尺寸为8×8。MBConv5输入卷积核个数为80个，卷积核尺寸为3×3，输出卷积核个数为120，以步长2进行滑动，图像尺寸为4×4。

步骤103：根据所述验证集对所述训练后的深度学习网络进行优化，得到最优深度学习网络，具体包括：

根据所述验证集反复调整网络迭代次数和所述训练后的深度学习网络的学习率，得到最优深度学习网络。

具体的调整方式包括：

a)调整学习率，学习率直接影响模型的收敛状态，过大则导致模型不收敛，过小则导致模型收敛特别慢或者无法学习。经过调试，本网络在学习率为0.8的情况下达到最优。

b)调整迭代次数，经过反复训练，本发明所设计网络在epoch为35的时候达到收敛，精度和loss基本保持不变。

步骤104：将所述测试集输入至所述最优深度学习网络进行识别，采用softmax分类器分类，得到网络识别结果，所述网络识别结果包括：大卡车、小轿车、SUV、客车、面包车和小卡车的识别精度。

最终的卷积层输出的特征经过最优深度学习网络，经过softmax分类后得最佳分类结果，得到网络识别结果，识别精度如图5所示。最终达到最优精度96.9％，识别时长仅2100s。从上面所述可以看出，本发明提供的技术方案提高了车型识别精度，缩短了识别时间。

本发明还提供一种基于改进深度学习的车型识别系统。图6为本发明基于改进深度学习的车型识别系统结构图。如图6所示，一种基于改进深度学习的车型识别系统包括：

分类模块201，用于对交通卡口车辆数据集进行切割整理分类，得到分类数据，所述分类数据包括训练集、验证集和测试集。

训练模块202，用于根据所述训练集对改进的深度学习EfficientNet网络进行训练，得到训练后的深度学习网络，所述改进的深度学习EfficientNet网络的训练基于调整网络深度、宽度以及分辨率之间的平衡关系。

优化模块203，用于根据所述验证集对所述训练后的深度学习网络进行优化，得到最优深度学习网络。

识别模块204，用于将所述测试集输入至所述最优深度学习网络进行识别，采用softmax分类器分类，得到网络识别结果，所述网络识别结果包括：大卡车、小轿车、SUV、客车、面包车和小卡车的识别精度。

所述分类模块201，具体包括：

定位切割单元，用于对交通卡口图片进行定位切割，得到单独的正面车辆图片。

整理单元，用于对各所述正面车辆图片按照相同车型类别进行整理，得到样本数据集，所述车型类别包括大卡车、小轿车、SUV、客车、面包车和小卡车。

划分单元，用于对所述样本数据集进行按比例划分，得到训练集、验证集和测试集。

所述训练模块202，具体包括：

参数调整单元，用于根据所述训练集对改进的深度学习EfficientNet网络中的网络深度、宽度和分辨率进行调整，得到调整后的网络深度相关参数、宽度相关参数和分辨率相关参数。

训练后的深度学习网络确定单元，用于根据所述网络深度相关参数、所述宽度相关参数和所述分辨率相关参数，得到训练后的深度学习网络。

所述优化模块203，具体包括：

优化单元，用于根据所述验证集反复调整网络迭代次数和所述训练后的深度学习网络的学习率，得到最优深度学习网络。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (6)

1.一种基于改进深度学习的车型识别方法，其特征在于，包括：

对交通卡口车辆数据集进行切割整理分类，得到分类数据，所述分类数据包括训练集、验证集和测试集；所述对交通卡口车辆数据集进行切割整理分类，得到分类数据，具体包括：

对交通卡口图片进行定位切割，得到单独的正面车辆图片；

对各所述正面车辆图片按照相同车型类别进行整理，得到样本数据集，所述车型类别包括大卡车、小轿车、SUV、客车、面包车和小卡车；

对所述样本数据集进行按比例划分，得到训练集、验证集和测试集；

根据所述训练集对改进的深度学习EfficientNet网络进行训练，得到训练后的深度学习网络，所述改进的深度学习EfficientNet网络的训练基于调整网络深度、宽度以及分辨率之间的平衡关系；改进的EfficientNet网络包括1个深度可分离卷积和5个MBConv；改进的EfficientNet网络结构中深度可分离卷积层，将空间特征学习和通道特征学习分开，每一个通道都是相互独立的；在每一个MBConv中都有一个SK模块，SK模块是一种softattention机制，可以直接嵌入到模型中进行训练，可以使网络可以根据输入信息的多个尺度自适应的调节接受域大小，也就是使网络在提取特征时加强提取有效特征，压缩无效特征；

根据所述验证集对所述训练后的深度学习网络进行优化，得到最优深度学习网络；

将所述测试集输入至所述最优深度学习网络进行识别，采用softmax分类器分类，得到网络识别结果，所述网络识别结果包括：大卡车、小轿车、SUV、客车、面包车和小卡车的识别精度。

2.根据权利要求1所述的基于改进深度学习的车型识别方法，其特征在于，所述根据所述训练集对深度学习网络进行训练，得到训练后的深度学习网络，具体包括：

根据所述训练集对所述深度学习网络中的网络深度、宽度和分辨率进行调整，得到调整后的网络深度相关参数、宽度相关参数和分辨率相关参数；

根据所述网络深度相关参数、所述宽度相关参数和所述分辨率相关参数，得到训练后的深度学习网络。

3.根据权利要求1所述的基于改进深度学习的车型识别方法，其特征在于，所述根据所述验证集对所述训练后的深度学习网络进行优化，得到最优深度学习网络，具体包括：

根据所述验证集反复调整网络迭代次数和所述训练后的深度学习网络的学习率，得到最优深度学习网络。

4.一种基于改进深度学习的车型识别系统，其特征在于，包括：

分类模块，用于对交通卡口车辆数据集进行切割整理分类，得到分类数据，所述分类数据包括训练集、验证集和测试集；所述分类模块，具体包括：

定位切割单元，用于对交通卡口图片进行定位切割，得到单独的正面车辆图片；

整理单元，用于对各所述正面车辆图片按照相同车型类别进行整理，得到样本数据集，所述车型类别包括大卡车、小轿车、SUV、客车、面包车和小卡车；

划分单元，用于对所述样本数据集进行按比例划分，得到训练集、验证集和测试集；

训练模块，用于根据所述训练集对改进的深度学习EfficientNet网络进行训练，得到训练后的深度学习网络，所述改进的深度学习EfficientNet网络的训练基于调整网络深度、宽度以及分辨率之间的平衡关系；改进的EfficientNet网络包括1个深度可分离卷积和5个MBConv；改进的EfficientNet网络结构中深度可分离卷积层，将空间特征学习和通道特征学习分开，每一个通道都是相互独立的；在每一个MBConv中都有一个SK模块，SK模块是一种soft attention机制，可以直接嵌入到模型中进行训练，可以使网络可以根据输入信息的多个尺度自适应的调节接受域大小，也就是使网络在提取特征时加强提取有效特征，压缩无效特征；

优化模块，用于根据所述验证集对所述训练后的深度学习网络进行优化，得到最优深度学习网络；

识别模块，用于将所述测试集输入至所述最优深度学习网络进行识别，采用softmax分类器分类，得到网络识别结果，所述网络识别结果包括：大卡车、小轿车、SUV、客车、面包车和小卡车的识别精度。

5.根据权利要求4所述的基于改进深度学习的车型识别系统，其特征在于，所述训练模块，具体包括：

参数调整单元，用于根据所述训练集对改进的深度学习EfficientNet网络中的网络深度、宽度和分辨率进行调整，得到调整后的网络深度相关参数、宽度相关参数和分辨率相关参数；

训练后的深度学习网络确定单元，用于根据所述网络深度相关参数、所述宽度相关参数和所述分辨率相关参数，得到训练后的深度学习网络。

6.根据权利要求4所述的基于改进深度学习的车型识别系统，其特征在于，所述优化模块，具体包括：

优化单元，用于根据所述验证集反复调整网络迭代次数和所述训练后的深度学习网络的学习率，得到最优深度学习网络。

Images