CN110837807A - 一种套牌车辆的识别方法及系统 - Google Patents

Abstract

本发明提供一种套牌车辆的识别方法及系统，所述方法包括：获取待识别车辆的图片；基于目标检测算法在图片中对车牌进行定位，将定位的边界框输入预先建立的第一卷积神经网络，输出车牌；基于目标检测算法在图片中对车标进行定位，将定位的边界框输入预先建立的第二卷积神经网络，输出车标类别；将车辆图片输入预先建立的第三卷积神经网络，输出车辆的类型；将车辆图片输入预先建立的第四卷积神经网络，输出车辆的颜色；将待识别车辆的车牌、车标类别、类型和颜色与数据库中的车辆信息做比对，由此判断该车辆是否为套牌车。本发明对于车辆的车牌、车型、车标和颜色的识别是基于深度学习模型实现的，处理简单，对环境的依赖性大大降低，鲁棒性更强。

Description

一种套牌车辆的识别方法及系统

技术领域

本发明涉及车辆识别技术领域，具体涉及一种套牌车辆的识别方法及系统。

背景技术

目前生活中存在套牌车问题，它影响了正常的交通秩序，侵害了他人的合法权益，增加了交管部门日常管理工作的难度。当前的小区门禁系统仅将它识别到的车牌作为进入的凭证，再加上“停车难”、“停车贵”等问题的加剧，导致有些车辆会套上小区或者公司企业已注册车辆的车牌，进入小区或企业占用公共车位，给小区或企业的车位资源带来损失。高速公路上，环境较为复杂，基于传统图像识别技术的套牌车识别难度增加，所以有些车辆套上他人的车牌，进行超速等违规驾驶，给交通带来隐患的同时也侵害了其他车主的合法权益。

目前应用在车辆识别的技术包括人工识别和机器识别两大类。人工识别是指交通警察不通过技术手段，只依靠肉眼识别出套牌车。人工识别技术需要大量的识别经验和观察力，随着套牌车伪造能力越来越高，人工识别技术越来越难。机器识别包括射频识别技术和图像识别技术等。射频识别技术是一种利用射频通信自动获取电子标识的无线通信技术。当电子标识进入感应区时，电子标识上信息就能被读写设备获取。图像识别技术是指计算机对图像进行处理分析，识别出图像内容的技术。传统图像识别技术，用固定的特征提取算法提取图像特征，来识别出图像。

目前，通常将射频识别技术与车牌识别技术结合使用：射频识读设备对车载电子标签里面存储的车牌号进行读取，同时通过图像处理和模式识别等技术获取车牌号,比对两次获取的车牌号是否一致来判断套牌车。应用在车牌识别的射频识别技术是通过获取汽车电子标识来识别车牌信息的技术。汽车电子标识是公安机关交通管理部门在车辆前挡风玻璃处安装的载有身份信息的电子标签。当电子标识进入射频信号感应区时，读写设备就能获得车牌信息。射频识别技术的主要缺点是识别距离近和技术不成熟。车牌的射频识别技术需要电子标签进入到感应区，所以该技术受限于车辆与感应设备之间的距离，其距离过近。就门禁场景而言，往往需要车辆停到门禁起落杆面前等待，识别系统才开始工作，造成车主时间的浪费。对于高速道路而言，因为没有相应的感应设备，射频识别技术无法获取车牌信息，故无法进行套牌车的识别。

射频识别技术现在没有大规模应用于交管部门的执法领域，其原因包括技术、标准、成本以及隐私安全等。目前该技术还不太成熟，相关标准尚未得到统一，以美国和日本为代表的两大阵营制定的标准互不兼容，其他国家也从自身的安全和利益出发制定了相关标准，这造成了不同标准的射频识别产品不能通用，导致运营成本居高不下。

在基于图像识别系统的识别方法中，首先基于视频监控系统采集的车辆图像，利用目前相对成熟的车牌识别技术，获得车牌信息并在数据库中查询该车牌号对应的车辆外观特征，然后通过车型识别技术提取诸如车身颜色、车标、车灯、格栅等车辆外观特征，通过特征比对综合判定车辆是否涉嫌套牌。基于传统图像处理识别系统的识别方法缺点：图像识别技术对环境的要求比较高，在恶劣天气或者光照条件不理想的情况下，识别率会明显降低，鲁棒性差。且传统图像处理识别中的特征提取，需要人为去定义特征，较为麻烦。所以该技术具有局限性，识别套牌车准确率不够稳定。

发明内容

本发明的目的在于克服上述技术缺陷，利用电子监控设备，远程采集图像，采用深度学习技术来处理车辆图像，从而实现了套牌车辆的准确识别。随着深度学习技术的兴起，基于深度学习的图像处理技术在识别准确率和技术实现难度上，相比传统图像识别技术，表现越来越高的优越性。

为了实现上述目的，本发明提出了一种套牌车辆的识别方法，所述方法包括：

获取待识别车辆的图片；

基于目标检测算法在图片中对车牌进行定位，将定位的边界框输入预先建立的第一卷积神经网络，输出车牌号；

基于目标检测算法在图片中对车标进行定位，将定位的边界框输入预先建立的第二卷积神经网络，输出车标类别；

将车辆图片输入预先建立的第三卷积神经网络，输出车辆的类型；

将车辆图片输入预先建立的第四卷积神经网络，输出车辆的颜色；

将待识别车辆的车牌号、车标类别、类型和颜色与数据库中的车辆信息做比对，由此判断该车辆是否为套牌车。

作为上述方法的一种改进，所述获取待识别车辆的图片之后还包括：对车辆图片进行预处理，包括：Gamma校验的色阶调整和直方图均衡。

作为上述方法的一种改进，所述第一卷积神经网络包括依次连接的2个卷积层、1个池化层、2个卷积层、1个池化层、2个卷积层和1个池化层，最后一个池化层的分别连接7个全连接层，每个全连接层各连接一个softmax层，7个softmax层分别输出车牌的7个字符，每层全连接层包含65个神经元。

作为上述方法的一种改进，所述方法还包括：训练第一卷积神经网络的步骤，具体包括：

建立车牌图片的训练集，对每张图片标注标签；

对所有车牌图片进调整，使其大小统一调整至272*72；

将归一化后的图片输入所述第一卷积神经网络，每经过两个卷积层做一次池化操作，池化操作采用最大池化方法；卷积操作完成后将所得特征转换为一维张量；

将该张量分别输入接七个全连接层输出为65个类别，经Softmax层后得到输出对应字符的概率值；

利用标签值与Softmax层的输出，使用误差反向传播对第一卷积神经网络的参数进行训练，由此得到训练好的第一卷积神经网络。

作为上述方法的一种改进，所述第二卷积神经网络为改进的ResNet-50模型，其包含49个卷积层以及1个全连接层；全连接层输出5个车标类别；所述第二卷积神经网络的训练步骤，具体包括：

获取车标图片的训练集，对每个图片标注标签；

对所有车标图片进调整，使其大小统一调整为224*224；

固定模型前面43个卷积层的参数，对最后6层卷积层进行训练；得到训练好的第二卷积神经网络。

作为上述方法的一种改进，所述第三卷积神经网络为改进的ResNet-50，其包含49个卷积层以及1个全连接层；全连接层输出4个车型类别；包括：小型轿车、SUV、面包车和MPV；

所述第三卷积神经网络的训练步骤，具体包括：

建立训练集，训练集中的每张图片为车辆前方拍摄的照片；

对图片进调整，使其大小统一调整至224*224；

固定模型前面40个卷积层的参数，对最后9层卷积层进行训练，得到训练好的第三卷积神经网络。

作为上述方法的一种改进，所述第四卷积神经网络包括依次连接的6层卷积层和4层全连接层；第一卷积层采用48个7*7*3的卷积核，第二卷积层采用128个3*3*48的卷积核，第三卷积层采用192个5*5*128的卷积核，第四卷积层采用256个3*3*192的卷积核，第五卷积层和第六卷积层均采用256个3*3*256大小的卷积核；4层全连接层的神经元个数分别为4096、2048、2048和8个。

作为上述方法的一种改进，所述方法还包括：训练第四卷积神经网络的步骤，具体包括：

获取车辆颜色图片的训练集，

对图片进行归一化处理，将尺寸统一调整为256*256；

将归一化处理后的图片输入第四卷积神经网络，其中对第一卷积层、第三卷积层和第六卷积层的输出进行降采样处理；

采用随机梯度下降法对第四卷积神经网络的参数进行训练，得到训练好的第四卷积神经网络。

作为上述方法的一种改进，所述将待识别车辆的车牌号、车标、类型和颜色与数据库中的车辆信息做比对，由此判断该车辆是否为套牌车，具体包括：

利用车辆的车牌号在数据库中进行查询，获取到该车牌在数据库中记录的车标、车型和颜色；

将记录的车标、车型、颜色和将待识别车辆的车牌号、车标、类型、颜色分别进行比较，如果数据库中这三个特征信息和识别到的三个特征信息均保持一致，那么判断该车辆为非套牌车，否则，该车辆为套牌车。

本发明还提出了一种套牌车辆的识别系统，所述系统包括：第一卷积神经网络、第二卷积神经网络、第三卷积神经网络、第四卷积神经网络，

图片获取模块，用于获取待识别车辆的图片；

车牌号识别模块，用于基于YOLO V3目标检测算法在图片中对车牌进行定位，将定位的边界框输入第一卷积神经网络，输出车牌号；

车标识别模块，用于基于YOLO V3目标检测算法在图片中对车标进行定位，将定位的边界框输入第二卷积神经网络，输出车标的类型；

类型识别模块，用于将图片输入第三卷积神经网络，输出车辆的类型；

颜色识别模块，用于将车辆图片输第四卷积神经网络，输出车辆的颜色；

判断模块，用于将待识别车辆的车牌号、车标、类型和颜色与数据库中的车辆信息做比对，由此判断该车辆是否为套牌车。

本发明的优势在：

1、本发明的方法利用摄像头获取车辆图片，在ZYNQ开发板中经过降噪等预处理之后将图片发送给云端，对图片进行识别，在提高准确率的同时将计算量降到最低；

2、本发明对于车辆的各种特征包括车牌、车型、车标、车身颜色的识别是完全基于深度学习模型，实现真正的端到端识别；如在车牌识别中，与传统方法相比，本方法的处理步骤大大减少，且对于环境的依赖性大大降低，鲁棒性更强；

3、本发明的方法针对射频识别技术距离近和推广难的问题，利用现成电子监控设备，远程采集图像，不需要额外增加设备和人力，成本较小；

4、本发明的方法针对传统图像处理识别技术的限制，采用深度学习技术来处理车辆图像；深度学习在构建算法以及训练数据时，除了正常环境下的车辆图片信息，也会添加较为恶劣环境下的车辆图片和部分负样本，目的是提高系统识别车辆图片信息的准确性及鲁棒性，同时系统自身学习需要提取的特征，技术实现难度小。

附图说明

图1为本发明的套牌车辆的识别方法的流程图；

图2为bounding box示意图；

图3为车牌字符识别的模型示意图；

图4为ResNet网络结构图；

图5为车标识别迁移模型流程图。

具体实施方式

下面结合附图对本发明的技术方案进行详细的说明。

本发明采用基于深度学习的图像处理技术结合ZYNQ开发板，对于车辆识别的问题上，不仅识别车牌，还识别车标、车型和车身颜色，然后将它们和数据库的信息作比对，判断是否为套牌车。所以本发明识别的套牌车是车牌信息相同，但车标、车型和车身颜色至少有一种信息不同的套牌车。

如图1所示，本发明的实施例1提供一种套牌车辆的识别方法，包括：

1、车辆图像获取及预处理

Xilinx公司推出的Zynq-7000系列产品集成了最新工艺的ARM处理器和FPGA可编程逻辑器件。作为新一代的可编程片上系统，Zynq-7000提供了“ARM+FPGA”单片解决方案，非常适合计算密集、功能丰富的嵌入式应用设计。采用Zynq-7000实现的嵌入式图像处理系统，既能够通过FPGA获得较高的计算性能，又能够依靠ARM处理器提供完善的应用功能。其中，ZedBoard是一款基于Zynq-7000扩展式处理平台(EPP)的开发板。本发明使用ZedBoard开发板配套摄像头进行车辆图片的采集，采集得到的车辆图片经开发板预处理之后发送给上位机。

本发明基于Vivado高层次综合(HLS)工具提出了一种针对车辆图片预处理算法进行硬件加速的解决方案。HLS可以将综合的C或C++语言代码以硬核形式集成到硬件系统中，从而加速算法的开发。生成相应的IP核后，可搭建相应的工程对车辆图像进行处理。本发明使用到的HLS视频处理函数有：直方图均衡化、噪声滤波等。图片预处理完成之后，通过网络将图片发送给上位机即PC端进行后续特征识别等。

2、车牌定位与识别

假定实验场景为小区或公司门禁系统入口，当车辆驶入时摄像头获取车辆图像，经过图像预处理之后发送给上位机。

在车牌的识别问题上使用深度学习卷积神经网络，TensorFlow作为后端学习框架。使用Python语言编写训练及识别模型。

车牌信息识别分为两大步骤：

a)车牌的定位

车牌定位使用YOLO V3网络算法，涉及到数据集的制作训练。

在车辆车牌和车标定位问题上选择了YOLO目标检测算法。YOLO(You Only LookOnce)系列算法是目前目标检测算法中速度相对较快的，虽然在目标检测准确率上有可替代的算法，但鉴于实时性的应用需求，YOLO算法具有其难以取代的地位。YOLO算法将目标识别(Object Detection)的问题转化成回归问题，即给定输入图像，直接在图像的多个位置上回归出目标的边界框(bounding box)以及其分类类别。其中，YOLO V3作为YOLO系列中最新算法，其在检测小物体方面准确率有了很大的提升。如图2所示。

图2中的边界框坐标值是bx,by,bw,bh，即边界框bounding box相对于featuremap(卷积神经网络中的专有名词即特征图)的位置和大小，是算法模型需要预测的输出坐标。其中tx,ty是预测的坐标偏移值，tw,th是尺度缩放，根据这4个值，可以根据之前的公式计算实际的bx,by,bw,bh四个值。

b)车牌字符识别

车牌作为合法车辆的最重要标志，车牌上的字符内容就像是每辆车的“身份证”，是独一无二的，套牌车就是非法使用他车的“身份证”。

本发明所做的车牌识别工作是针对于普通轿车，我国轿车车牌样式及内容格式是固定的，蓝底白字的车牌上共有7个字符且第一个字符为我国31个省级行政区(港澳台除外)简称的汉字，后面6个字符为从0到9的阿拉伯数字或者24个大写英文字母(I、O除外)。所以我国车牌字符的内容总共包含65种图像。如图3所示。

用于车牌识别的卷积神经网络为包括：一组卷积层(6层)、3个池化层、7个全连接层和7个softmax层，分别输出车牌的7个字符。(是一组卷积层，包含的不止一个卷积层。就是说后面的7个输出单元即7个全连接层是共享前面这一组卷积层的数据参数的。)每层全连接层含有65个神经元。

通常卷积神经网络模型用来做目标识别，输出类别只有一个。但因为中国车牌是固定7位，该卷积神经网络模型输出7个标签，最后直接输出车牌号码。

获取车牌训练及测试图像数据后，对其做相应标签；结合现实车牌尺寸比例，对输入车牌图像进行归一化处理，统一调整至272*72大小；输入每经过两个卷积层做一次池化操作(两个卷积层接一个池化层)，池化采用最大池化方法。卷积操作完成后将所得特征转换为一维张量，后面接七个全连接层输出为65个类别(七个层对应七个车牌字符输出，每个字符有65种可能)，经Softmax函数后得到输出对应字符的概率值；输出7个字符，最终得到车牌的具体内容。如图4所示。

3、车标定位及识别

对于车标的识别问题上，和车牌识别的流程相似，先使用神经网络找到车辆图片中的车标位置，即车标定位，而后识别车标特征判别其属于哪种车辆品牌。

3.1车标定位

车标定位也是使用YOLO V3目标检测算法，请参见车牌的定位的内容。

3.2车标品牌识别

ResNet网络最常用的网络结构有ResNet-50、ResNet-101和ResNet-152。这里的50、101和152指的是网络层数，层数越大，其准确率相对越高，同时带来的问题是网络参数越来越庞大，需要消耗更多的计算资源。虽然ResNet网络比VGG16的网络层数高得多，但其网络参数却比VGG16要少，原因是ResNet引入了残差网络结构，这种结构在网络层大量堆叠之后参数数量得到有效控制，且分类结果依然能够保持相当高的准确率。将ResNet看成一个特征提取器，使其在ImageNet大规模数据集上训练完毕，再利用自己的车标数据对训练好的网络进行微调从而得到适合车标识别的卷积神经网络，将其应用到车标识别任务中。如图4所示。

车标图片训练集及测试集数量在三千张左右，属于小数据样本，从头开始去训练一个卷积神经网络，会发生过拟合现象，测试效果不理想。所以本发明选择卷积神经网络ResNet作为源模型。将ResNet看成一个特征提取器，使其在ImageNet大规模数据集上训练完毕，再利用自己的车标数据对训练好的网络进行微调从而得到适合车标识别的卷积神经网络，将其应用到车标识别任务中。如图5所示。

因为不同的车辆品牌都有其独一无二的车标，故车标也是车辆非常显著的特征之一。

因车标图像数据量不够庞大，属于小样本数据，所以针对车标识别模型的训练，选择在深度卷积神经网络ResNet-50的基础上进行迁移学习，就是将ResNet-50作为预训练模型，迁移该模型的特征，用小样本车标数据在模型上进行微调训练，得到最终能够识别车标的网络模型。

ResNet-50作为预训练模型，其包含49个卷积层以及1个全连接层。其中，这49层卷积层又分为5部分，每部分卷积层包含相应的池化层、激活函数等。5部分分别为conv1、conv2_x、conv3_x、conv4_x和conv5_x。除了conv1只有一层卷积层，其他四部分分别有3、4、6、3个block，每个block有3层卷积层。

ResNet-50已经是在ImageNet大规模数据集上训练完成的模型。(数据集包含了1000类物体，所以ResNet-50能够识别这一千类物体，比如鸟、狗、船等等。但是车标不在其中)。因为ResNet-50卷积层的底层及中间层得到的是一般性特征(纹理、边缘特征)，而越到高层，得到的特征表征越抽象。所以将前面43层卷积层参数进行冻结，即在训练过程中保留其原始参数，不需要其参与新的训练。最后6层卷积层参与新的车标数据的训练，因为在实验中选择了5种车标进行识别，所以还要将原始模型全连接层的1000分类修改为5类别输出。然后就是进行参数微调，通过调整训练层的学习率以及整个训练过程的迭代次数、批次大小(Batch size)来使得最终模型对车标有最好的识别效果。

选择卷积神经网络模型ResNet-50作为预训练迁移模型；将准备好的车标数据集进行大小调整，使其输入大小固定为224*224，5类车标原始数据集共1000张，对其进行数据增强后共得到3000张，其中2400张作为训练数据，600张作为测试数据；对ResNet-50模型结构进行调整，修改其最后全连接层的1000分类为我们实验所需的5分类；将前面43层卷积层参数进行冻结，使车标数据在最后6层卷积层进行训练，训练数据集共2400张；微调训练模型参数，如学习率、训练迭代次数等使模型有更好表现；最后训练完成后，将600张测试数据集在该模型上进行识别准确率测试。

4、车型识别

本发明对于车辆图片的车型分类是粗分类，即识别出车辆的整体车型，如小型轿车、SUV等。在具体实现中，本发明的研究对象为普通型家用车辆，种类包含小型轿车、SUV、面包车、MPV四大类，也就是说对所获得车辆图片做一个车型四分类任务，得到的分类结果即所识别车型。具体实现方法是：

使用深度学习模型为ResNet-50，深度学习框架为Tensorflow。关于用于训练的数据集是使用python语言从网络上爬取得来，在此需要注意的是，鉴于应用场景要求，对于此数据集是有所删减的，只保留前后角度尤其是前方角度的车辆图片，侧面方向的图片对于我们意义不大。

建立训练集，训练集中的每张图片为车辆前方拍摄的照片；

在车型识别问题上，我们做的不是具体到车辆品牌某款型号的细粒度分类，而是根据车辆外形对小型轿车、SUV、面包车和MPV四大车类型做分类。

此部分用于训练的模型仍然是ResNet-50，对于ResNet-50卷积神经模型上面已经介绍过，在此依然是将ResNet-50作为源模型利用自己的车辆图片数据对其进行微调(finetune)。

选择卷积神经网络模型ResNet-50作为预训练迁移模型；筛选合适的车辆图片数据集，因为模型最终是根据车辆前面部分特征进行车型分类(针对场景是停车场、小区等门禁系统)，模型输入图片固定大小224*224，所以要去除一些调整至224*224大小但车辆特征过分失真的车辆图片数据集，最终得到四类车型图片各1250张共5000张，4000张作为训练图像数据，1000张作为测试图像数据；现对小型轿车、SUV、面包车和MPV四类车型进行分类，故修改ResNet-50模型最后一层全连接层使其从原来的1000类为现在的4分类；训练过程中，将ResNet-50的前40层卷积层参数进行冻结，使后9层卷积层进行车辆图像数据训练，训练图像数据共4000张；不断调整学习率、迭代次数等参数使得模型有更佳分类效果；训练完成后，1000张测试图像数据进行模型分类准确率测试。

5、车身颜色识别

本发明的方法能识别八种颜色，它们包括：黑、蓝、青、灰、绿、红、白和黄。用于车辆颜色识别的卷积神经网络模型并不是使用迁移模型的思想，而是利用车辆图片数据集在全新的网络模型上进行训练。

此部分的卷积神经模型共有10层网络。包括6层卷积层，4层全连接层。第一层卷积层采用48个7*7*3的卷积核，第二层卷积层采用128个3*3*48的卷积核，第三层卷积层采用192个5*5*128的卷积核，第四层卷积层采用256个3*3*192的卷积核，第五六层均采用256个3*3*256大小的卷积核。其中，对一、三、六层的输出进行降采样处理。4个全连接层分别含有4096、2048、2048和8个神经元，因最后输出分类类别为8个。

车辆颜色图片数据集使用开源的数据集，其包含15601张车辆图片，其中共有八种颜色：黑、蓝、青、灰、绿、红、白和黄；自己的1000张车辆图像也加入数据集，车身颜色也包含于这八种颜色之中，故数据集总共有16601张；对输入图片进行归一化处理，通过处理之后得到统一大小为256*256车辆图片；16601张数据集选取12000张作为训练数据集，设置迭代次数为10000次，学习率大小为0.01并采用随机梯度下降法进行训练；训练完成后，利用4601张测试数据集对模型进行车辆颜色识别准确率测试。

6、车辆图像经过卷积神经网络模型后，会得到四个特征信息，车牌号、车标品牌、车型和车身颜色，车辆比对程序以车牌为索引，查询数据库中该车牌的其他三个特征信息，得到套牌车的判断结果。

数据库使用的是MySQL数据库，MySQL数据库优点有性能稳定、速度快、易维护和能支持多个操作系统等，为多种编程语言提供了API，它能支持多个编译环境，所以本专利使用MySQL数据库存储正确的车辆信息。首先创建数据库“Vehicle identification”，然后创建表“car”，表“car”共设置四个字段：车牌、车标、车型和颜色，其中将车牌设为主键，这四个字段都是char数据类型。表“car”创建完后将正确的车辆信息插入到表“car”中。

特征比对程序由Java语言编写。第一步进入数据库，指定主机名localhost、端口号3306、数据库“Vehicle identification”和表“car”，这样特征比对程序就能对数据库中表“car”进行查询操作。然后程序以车牌为索引条件查找表“car”，就能够查询到该车辆的其它三个字段，接着将查询到的车标、车型、颜色和识别得到的车标、车型、颜色等信息进行比较，判断是否为套牌车。如果数据库中这三个特征信息和识别到的三个特征信息均保持一致，那么可以判断该车是非套牌车，只要有一项不同，该车为套牌车。最后根据套牌车和非套牌车的结果，弹出窗口提示用户。

实施例2

本发明的实施例2提供了一种套牌车辆的识别系统，所述系统包括：第一卷积神经网络、第二卷积神经网络、第三卷积神经网络、第四卷积神经网络；

图片获取模块，用于获取待识别车辆的图片；

车牌号识别模块，用于基于YOLO V3目标检测算法在图片中对车牌进行定位，将定位的边界框输入第一卷积神经网络，输出车牌号；

车标识别模块，用于基于YOLO V3目标检测算法在图片中对车标进行定位，将定位的边界框输入第二卷积神经网络，输出车标的类型；

类型识别模块，用于将图片输入第三卷积神经网络，输出车辆的类型；

颜色识别模块，用于将车辆图片输第四卷积神经网络，输出车辆的颜色；

判断模块，用于将待识别车辆的车牌号、车标、类型和颜色与数据库中的车辆信息做比对，由此判断该车辆是否为套牌车。

最后所应说明的是，以上实施例仅用以说明本发明的技术方案而非限制。尽管参照实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，对本发明的技术方案进行修改或者等同替换，都不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (10)

1.一种套牌车辆的识别方法，所述方法包括：

获取待识别车辆的图片；

基于目标检测算法在图片中对车牌进行定位，将定位的边界框输入预先建立的第一卷积神经网络，输出车牌号；

基于目标检测算法在图片中对车标进行定位，将定位的边界框输入预先建立的第二卷积神经网络，输出车标类别；

将车辆图片输入预先建立的第三卷积神经网络，输出车辆的类型；

将车辆图片输入预先建立的第四卷积神经网络，输出车辆的颜色；

将待识别车辆的车牌号、车标类别、类型和颜色与数据库中的车辆信息做比对，由此判断该车辆是否为套牌车。

2.根据权利要求1所述的方法，其特征在于，所述获取待识别车辆的图片之后还包括：对车辆图片进行预处理，包括：Gamma校验的色阶调整和直方图均衡。

3.根据权利要求1所述的方法，其特征在于，所述第一卷积神经网络包括依次连接的2个卷积层、1个池化层、2个卷积层、1个池化层、2个卷积层和1个池化层，最后一个池化层的分别连接7个全连接层，每个全连接层各连接一个softmax层，7个softmax层分别输出车牌的7个字符，每层全连接层包含65个神经元。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：训练第一卷积神经网络的步骤，具体包括：

建立车牌图片的训练集，对每张图片标注标签；

对所有车牌图片进调整，使其大小统一调整至272*72；

将归一化后的图片输入所述第一卷积神经网络，每经过两个卷积层做一次池化操作，池化操作采用最大池化方法；卷积操作完成后将所得特征转换为一维张量；

将该张量分别输入接七个全连接层输出为65个类别，经Softmax层后得到输出对应字符的概率值；

利用标签值与Softmax层的输出，使用误差反向传播对第一卷积神经网络的参数进行训练，由此得到训练好的第一卷积神经网络。

5.根据权利要求1所述的方法，其特征在于，所述第二卷积神经网络为改进的ResNet-50模型，其包含49个卷积层以及1个全连接层；全连接层输出5个车标类别；所述第二卷积神经网络的训练步骤，具体包括：

获取车标图片的训练集，对每个图片标注标签；

对所有车标图片进调整，使其大小统一调整为224*224；

固定模型前面43个卷积层的参数，对最后6层卷积层进行训练；得到训练好的第二卷积神经网络。

6.根据权利要求1所述的方法，其特征在于，所述第三卷积神经网络为改进的ResNet-50，其包含49个卷积层以及1个全连接层；全连接层输出4个车型类别；包括：小型轿车、SUV、面包车和MPV；

所述第三卷积神经网络的训练步骤，具体包括：

建立训练集，训练集中的每张图片为车辆前方拍摄的照片；

对图片进调整，使其大小统一调整至224*224；

固定模型前面40个卷积层的参数，对最后9层卷积层进行训练，得到训练好的第三卷积神经网络。

7.根据权利要求1所述的方法，其特征在于，所述第四卷积神经网络包括依次连接的6层卷积层和4层全连接层；第一卷积层采用48个7*7*3的卷积核，第二卷积层采用128个3*3*48的卷积核，第三卷积层采用192个5*5*128的卷积核，第四卷积层采用256个3*3*192的卷积核，第五卷积层和第六卷积层均采用256个3*3*256大小的卷积核；4层全连接层的神经元个数分别为4096、2048、2048和8个。

8.根据权利要求7所述的方法，其特征在于，所述方法还包括：训练第四卷积神经网络的步骤，具体包括：

获取车辆颜色图片的训练集，

对图片进行归一化处理，将尺寸统一调整为256*256；

将归一化处理后的图片输入第四卷积神经网络，其中对第一卷积层、第三卷积层和第六卷积层的输出进行降采样处理；

采用随机梯度下降法对第四卷积神经网络的参数进行训练，得到训练好的第四卷积神经网络。

9.根据权利要求1-8之一所述的方法，其特征在于，所述将待识别车辆的车牌号、车标、类型和颜色与数据库中的车辆信息做比对，由此判断该车辆是否为套牌车，具体包括：

利用车辆的车牌号在数据库中进行查询，获取到该车牌在数据库中记录的车标、车型和颜色；

将记录的车标、车型、颜色和将待识别车辆的车牌号、车标、类型、颜色分别进行比较，如果数据库中这三个特征信息和识别到的三个特征信息均保持一致，那么判断该车辆为非套牌车，否则，该车辆为套牌车。

10.一种套牌车辆的识别系统，其特征在于，所述系统包括：第一卷积神经网络、第二卷积神经网络、第三卷积神经网络、第四卷积神经网络，

图片获取模块，用于获取待识别车辆的图片；

车牌号识别模块，用于基于YOLO V3目标检测算法在图片中对车牌进行定位，将定位的边界框输入第一卷积神经网络，输出车牌号；

车标识别模块，用于基于YOLO V3目标检测算法在图片中对车标进行定位，将定位的边界框输入第二卷积神经网络，输出车标的类型；

类型识别模块，用于将图片输入第三卷积神经网络，输出车辆的类型；

颜色识别模块，用于将车辆图片输第四卷积神经网络，输出车辆的颜色；

判断模块，用于将待识别车辆的车牌号、车标、类型和颜色与数据库中的车辆信息做比对，由此判断该车辆是否为套牌车。

Images