CN108460328A - 一种基于多任务卷积神经网络的套牌车检测方法 - Google Patents

Abstract

一种基于多任务卷积神经网络的套牌车检测方法，利用时空约束得到疑似套牌车辆，接着用Faster R‑CNN定位分割出车辆前脸部分图像，然后对疑似套牌车辆的车脸公脸部分(车辆的基本特征)的特征进行比对；在此基础上再对高仿套牌车辆的车脸私脸部分(车检标)的细微特征进行检测比对。本发明有效的解决了仅采用时空约束分析导致的准确度低、问题车辆锁定难的问题，以及单纯基于车辆公有脸比对无法识别高仿套牌车的问题，准确性高、效率快、能够应对高仿套车。

Description

一种基于多任务卷积神经网络的套牌车检测方法

技术领域

本发明涉及一种分析方法，具体涉及计算机视觉、数字图像处理、模式识别、深度学习和深度卷积神经网络等技术在套牌车的检测与识别领域的应用。

背景技术

随着社会经济的发展，近年来，汽车的保有量急剧增长，所带来一系列交通问题也日益突出，套牌、假牌等机动车违法乱纪现象更是屡禁不止，套牌、假牌是指通过伪造或者非法套取其它车辆号牌及行驶行驶证等手续上路行驶的车辆。由于套牌车主在路上行驶极少以交通法规来约束自己，随之带来的交通事故、法律纠纷势、走私犯罪必给社会带来极大的不稳定因素。虽然公安、交管等部门花费大量人力财力进行整治，但是收效甚微。目前对车辆套牌车的检测研究中主要存在下面两大类方法。

一类是先对查询车辆进行车牌号识别，通过车牌号从数据库中读取车型信息，然后与检测到的车型做比对，从而判断是否为套牌车。另一类套牌识别方法，主要是依托大数据技术，通过判断同一车牌号车辆在不同监控点视频中出现的时间关系，结合不同监控点的位置关系，根据其时间空间逻辑一致性原则来判断是否为套牌车。但是，受地理位置，车速流量的影响，这种时空约束复杂,数据量大，要想实现对套牌车的精确锁定仍存在较大的难度。

申请号为CN201110361189.3的中国专利申请公开了一种自动识别套牌车辆的智能视频分析系统及方法，视频采集单元将采集的车辆视频信息经图像预处理单元处理后传输到智能视频分析单元，智能视频分析单元将车辆信息与数据库信息进行比对，通过软件对车辆信息进行解析、匹配和判断，自动识别嫌疑车辆并进行系统提示或报警。

申请号为CN201310175763.5的中国专利申请公开了一种基于车辆特征匹配的套牌检测方法，通过运用先验车牌在车辆上的分布规则，将车辆图像按照车牌的对应比例归一化，并选择车牌对应的车头区域，以此生成对应的车头特征。通过特征数据库的比对，得到当前特征是否匹配数据库中车牌所对应的车辆特征，

申请号为CN201610054502.1的中国专利申请公开了一种基于二次验证的套牌车识别方法，结合基于Deep Learning的车型识别技术和模板匹配技术，通过这两个技术的二次验证，实现了对套牌车辆的精确识别。

申请号为CN201610124110.8的中国专利申请公开了一种换牌车辆检测方法及其系统，通过卡口相机抓拍车辆图片，在该车辆图片中识别车辆检测区域；在所述车辆检测区域内提取包含车牌的车辆描述信息特征；将所述车辆描述信息特征与车管所数据库中的数据进行比对，若比对结果不一致，则相应车辆为换牌车。

上述专利均属于这类技术范畴。这类套牌识别精度完全取决于车牌和车型的识别精度，在同一车型的情况下使用两个相同的车牌，即假牌车，这类识别方式往往会失效。上述视觉检测技术属于前深度学习时代的视觉检测技术，存在着检测精度和检测鲁棒性不高的问题。

申请号为CN201410407364.1的中国专利申请公开了一种基于Hadoop的套牌车识别方法及系统，将各个智能卡口系统采集的过往车辆的信息，进行预处理汇总，采用HBase分布式数据库存储车辆车流数据；利用Hadoop分布式框架对车流数据和卡口数据进行建模和分析，通过MapReduce编程框架实现可疑套牌车识别，对可疑套牌车进行行驶轨迹分析，建立套牌车预警信息库。

申请号为CN201410351356.X的中国专利申请公开了一种套牌车辆缉查布控方法，包括以下步骤：1)数据提取；2)行程时间下界计算；3)采用车牌号码快速hash算法识别车辆；4)套牌车嫌疑度计算：当产生Hash编码相同且车牌号相同的数据，判断是否为套牌嫌疑车，步骤如下：时间可疑度计算，汇总可疑度计算，5)最佳布控点选择：对车辆套牌可疑度进行排序得到可疑套牌车辆表，当可疑度大于设定阈值，判定为可疑套牌车辆；对可疑套牌车辆进行轨迹分析，根据卡口号码以及经过时间，建立车辆行驶轨迹表，将同一时间槽内经过次数最多的卡口号作为最佳布控点。

申请号为CN201410308640.9的中国专利申请公开了一种车辆翻牌检测方法和装置，该方法基于卡口表、车牌表中的记录以及封闭性道路出入卡口间的卡口信息判断车辆是否实施了自动翻牌行为。在车辆实施了翻牌行为的情况下，还能进一步依据相关卡口数据，结合轨迹碰撞运算、集合运算得出车辆的翻牌号码。

上述专利均属于这类技术范畴。此类方法需要大量车辆数据资源，识别效率低下，并且无法区分真正车辆和套牌车辆。

发明内容

为了克服现有套牌车检测识别方法存在的识别精度低、效率慢且无法识别高仿套牌车的不足，本发明提供一种准确性高、效率快、能够应对高仿套车的检测方法，依靠层层比对技术，从车辆宏观特征到车辆微观特征，逐步提高检测的准确率缩小排查范围。

本发明解决其技术问题所采用的技术方案是：

一种基于多任务卷积神经网络的套牌车检测方法，包括以下步骤：

1)利用时空约束对获取的车辆图像数据进行处理得到疑似套牌车辆，所述疑似套牌车辆是指通过排查系统检测到的可疑车辆，高仿套牌车辆是指车牌号码车外观包括车型、车系、车身颜色相同或者高度相似；

2)利用Faster R-CNN定位分割出车体部分图像；

3)对卷积前5层实现卷积共享；

4)训练车脸特征的定位网络以及公有脸特征私有脸特征提取的网络；

5)对疑似套牌车辆的车脸公脸部分、私脸部分分别进行特征提取，所述车辆公脸是指包括车型、车系、车外观在内的一系列车体宏观特征；所述车辆私脸是指包括车检标、车挂件、摆件一系列人为添加的车脸属性特征；

6)融合车辆公脸特征和私脸特征进行分层比对，过程如下：

根据时空约束条件得到在某一个区域范围内，区域范围由用户设定，同一个的车牌号的疑似假牌套牌车辆图像；从这些图像中分割定位出车辆对象部分图像，然后对车脸的公脸特征进行比对，稽查出低仿真的假牌套牌车辆；接着通过车脸的私脸特征比对，进一步排查和比对高仿真的假牌套牌车辆，以此进行逐层排查，

进一步，所述步骤1)中疑似套牌车辆获取的方法是依托大数据技术，通过判断同一车牌号车辆在不同监控点视频中出现的时间关系，结合不同监控点的位置关系，根据其时间空间逻辑一致性原则来判断是否为套牌车；通过时空特性的约束，充分融合路径、速度、交通状况多种信息对可疑车辆进行可信度评估，从而确定疑似套牌车辆。

再进一步，所述步骤2)中，车体的分割方法是基于高速区域卷积神经网络(fasterregion-based convolutional neural network，Faster R-CNN)的分割方法，实施步骤为：

Step1：对大量的车辆图像进行标注，类别标签设定为两大类即背景类、车辆类。同时，记录车体所在区域的坐标生成文本标签；

Step2：Faster R-CNN网络读取Step1生成的文本标签以及图像数据，进行网络的训练，训练时采用迁移训练的方法先经过加载预训练模型进行网络参数的初始化，然后读入数据依次进行训练。

Step3：等到损失值趋于稳定时，用此时生成的模型进行车辆的整体分割，与训练阶段相比，该阶段输入为任意尺寸大小包含车辆对象的图片无需输入类别标签。

更进一步，所述步骤3)中，分割定位好车辆对象后，图像数据进入共享卷积层，该部分的设计和Faster R-CNN的卷积层一样，首先输入一张任意尺寸的图片,通过第一部分的卷积1_1,卷积1_2两次卷积后输出64个特征图(feature map)经过最大池化(maxpooling)输出给第二部分的卷积层；同样第二部分卷积经过卷积2_1,卷积2_2后得到128个特征图；以此类推，最后到第五部分的卷积5_3后输出512个特征图，到此为止网络完成了所有的卷积操作。

所述步骤4)中，训练RPN网络时，给每个候选区域分配一个二进制的标签，以此来标注该区域是不是目标。对于正标签候选区域规定为任意某个真正目标区域(groundtruth，GT)包围框有大于0.7的交并比(intersection over union，IoU)。对于负标签候选区域规定为GT包围框的IoU比率低于0.3。对于IoU介于两者之间的统一舍弃。

训练车检标特征提取的网络包含了分类损失函数和位置回归损失函数，分别对应分类任务和检测任务。因此，总的损失函数用公式(1)表示为：

其中,分类损失函数由公式(2)表示为：

区域回归损失函数由公式(3)定义为:

R是鲁棒的损失函数smooth_L1,用公式(4)表示为：

上式中，p_i是候选区域是第i类的概率。若候选区域的标签为正样本(目标区域)p_i ^*为1，如果候选区域标签为负样本(背景区域)p_i ^*则为0。t_i向量表示预测的包围框的4个参数化坐标，t_i ^*是对应的GT包围框的坐标向量。N_cls和N_reg分别为分类损失函数与位置回归损失函数的归一化系数,λ为两者之间的权重参数。

车辆整体基本特征提取网络中目标区域坐标已知(整张车辆对象图片)，因此在训练时不存在位置回归任务，只需要定义一个分类损失函数(softmax)，由公式(5)给出：

P由公式(6)给出：

上式中，θ是训练模型参数，N_b表示每批次训练样本的个数，y⁽ⁱ⁾表示类别标签，x⁽ⁱ⁾表示输入特征。其中，概率p表示将x分为类别j的概率。

结合多任务网络总损失函数可以表示为公式(7)：

L(w⁽ⁱ⁾)＝L({p_i},{t_i})+λ'L(θ) (7)

其中λ'为多任务的损失权重，主要为了解决不同网络任务之间收敛不一致的问题。

所述步骤5)中，共享卷积层后，网络开始出现两部分分支区域，一部分是完成车辆的公有脸特征提取用A表示，一部分是完成车辆私有脸特征提取用B表示；

图像经过五部分卷积后生成的特征图首先进入A区域，该区域主要实现车辆公有脸特征向量的提取。这一部分主要包括兴趣区域(region of interest，ROI)池化层、全连接层(fully connected layers，FC)以及损失层。由于输入的图像尺寸不固定而最后全连接层的输出的维数唯一，因此必须在FC6层前实现特征图大小的统一，所以在FC6层前增加了ROI池化层。所谓的ROI池化就是一种专门针对感兴趣区域的池化，由于A区域的主要功能是为了完成车辆整体基本特征的提取，因此ROI的坐标范围直接给定整幅车辆对象图片。要获取对应特征图上的坐标，首先要将ROI中的坐标映射到卷积后的特征图上，映射规则就是把各个坐标除以输入图片尺寸与特征图尺寸的比值，得到特征图上的包围框(boundingbox，Bbox)坐标。然而由于输入图片大的小并不是唯一的，所以这里需要对Bbox区域使用空间金字塔池化处理(spatial pyramid pooling)。该方法可以把任何尺度图像的卷积特征转化成相同的维度，从而满足输出维数的一致性。

网络的另一个分支是B区域，该部分主要实现了车检标的位置检测和特征提取。和前面的介绍相类似，该部分也包含了一个ROI池化层，不同的是，该部分的ROI已经不再是车辆对象的整体区域，而是车检标对象的区域；因此需要借助区域建议网络(regionproposal network，RPN)产生车检标的建议框，再通过后面的位置回归不断对这些建议框坐标做出新的调整，使得矩形框位置一步步接近真实区域位置(车检标对象位置)。RPN网络将一个任意尺度图像作为输入，输出矩形目标建议框的集合，每个框包含4个位置坐标变量和一个得分变量。为了生成区域建议框，在卷积5_3生成的特征图上进行多尺度的卷积操作，在每一个滑动窗口的位置使用3种尺度和3种长宽比的卷积核。卷积时以当前滑动窗口中心为中心，并对应一种尺度和长宽比的卷集核，在原图上映射得到9种不同尺度的候选区域，如对于长宽为w×h的特征图，则总共有w×h×9个候选区域。最后分类层输出w×h×9×2个候选区域的得分，即对每个区域是目标/非目标两种情况的估计概率，回归层输出w×h×9×4个参数，即候选区域的坐标参数。

所述步骤6)中，分层比对是利用车辆A和车辆B的(公有脸和私有脸)特征向量之间的夹角余弦实现逐层比对，几何中夹角余弦可用来衡量两个向量方向的差异，夹角余弦越大表示两个向量的夹角越小，夹角余弦越小表示两向量的夹角越大。公式(8)为比较两个特征向量的计算公式：

式中，A为车辆A的(公有脸和私有脸)特征向量，B为车辆B的(公有脸和私有脸)特征向量，cos(θ)为车辆A和车辆B的(公有脸和私有脸)特征向量之间的夹角余弦。在比对过程中，两个特征向量之间的夹角余弦值大于某个阈值就判定为车辆A和车辆B具有相似性。

在测试过程中，通过多任务网络分别获取疑似套牌车辆的公有脸、私有脸检测网络的FC7层的特征向量。全连接层的一个作用是实现高维到低维度的变化，同时保留了有用的信息；另一个作用是隐含语义的表达(embedding)，把原始特征映射到各个隐语义节点(hidden node)。对于最后一层全连接而言，就是分类的显示表达，由于本文只进行特征的比对，因此无需将FC7层映射到相应的类别上，而只进行特征的抽取。

提取特征向量后，首先用公式(8)对公有脸进行余弦距离的计算得到比对疑似套牌车辆的相似度，如果相似度小于设定的第一个阈值，则认为基于公有脸的比对方法已经能够判定两辆车身份不一致，直接输出比对假牌套牌结果；否则，进一步排查高仿套牌车，用公式(8)对车辆私有脸进行余弦距离的计算得到比对疑似套牌车辆的相似度。如果经过私有脸比对的相似度小于设定的第二个阈值则认为两辆车身份不一致，即为高仿套牌车，大于设定的第二个阈值则判定为两幅车辆图像为同一辆车。

最终，系统判定输出结果表达式如下，公式(9)表示疑似套牌车辆的公有脸的比对输出结果，公式(10)表示疑似套牌车辆的私有脸的比对输出结果。

式中O表示系统的最终判定的输出结果，1表示两幅图像中的车辆为同一辆车，0表示两幅图像中的车辆为非同一辆车,s₁，s₂分别表示两幅车辆图像中的车辆公有脸和私有脸特征向量比对的相似值，t₁表示公有脸比对时所设定的相似度阈值，t₂表示私有脸比对时所设定的相似度阈值；

通过上述分层次的车辆特征比对能有效的检测出套牌假牌车辆，最终实施时只要真车主将自己车辆上的年检标拍摄图像传输给管理部门，管理部门利用本文研制的私有脸比对方法进行检测，从而快速锁定套牌车辆。

本发明的技术构思为：近几年深度学习在计算机视觉领域得到广泛应用，这得益于卷积神经网络的快速发展。卷积神经网络技术从R-CNN，Fast R-CNN发展到Faster R-CNN，几乎覆盖了目标检测、分类、分割等计算机视觉几大重要领域。卷积神经网络通过模拟人脑的阶层式结构逐层进行信息传递，自动挖掘数据的本质信息，进而得到更有力的特征表达，这些特征在大量的任务中被证实比传统的手工提取特征具有更强的表征能力，能够更完整地描述图像的整体结构。因此，采用深度卷积神经网络进行车辆公有脸、私有脸特征的提取更为准确可靠，结合分层比对方法能够提高套牌车的检测精度以及检测效率。

常规的特征提取方法对噪声大、干扰强、外观区分度不高的车辆对象没有行之有效的特征提取能力；深度神经网络的方法对特征提取能力有了较大改进，但是只是基于公有脸的方法进行特征的提取对于高仿套牌车依然存在较大不足。

本发明提出的多任务分层比对方法主要针对以上两点不足进行了改善，多任务卷积神经网络强化了对目标对象的特征提取能力，而私有脸车检标特征比对的引入进一步解决了高仿套牌车的问题。在私有脸比对上，几乎不受环境条件的约束，已具备较强的实战能力，可运用于跨域的套牌假牌车的排查中。另外，由于车脸的私脸部分具有较高的唯一性，因此，公有脸+私有脸的比对稽查方式对无牌车、不能识别车牌号的车辆同样具有强大的甄别能力。

实现的总体技术路线是：首先，根据时空约束条件得到在某一个区域范围内(区域范围可以由用户设定)同一个的车牌号的疑似假牌套牌车辆图像；然后，从这些图像中分割定位出车辆对象部分图像；接着，对这些车辆的宏观特征(车脸的公有部分)进行比对，稽查出低仿真的假牌套牌车辆；最后，通过车辆的微观特征(车脸的私有部分)比对，进一步排查和比对高仿真的假牌套牌车辆。

本发明的有益效果为：

1)速度快，使用多任务网络，通过共享卷积前5层，使得车辆公有脸特征私有脸特征的提取同时展开，减少了处理步骤。

2)精度高，使用卷积神经网络进行特征的提取有效的克服了传统基于图像处理方法特征提取的不足，使得各层次特征都有了丰富的表达。

3)可靠性强，引入分层比对的方式，对宏观特征微观特征各取所长，成功的解决了高仿套牌车无法识别的难题。

附图说明

图1为一种基于多任务卷积神经网络的套牌车检测方法处理流程图；

图2为多任务卷积神经网络算法框架图；

图3为RPN网络结构图；

图4分层比对示意图，其中S表示相似度，T表示设定的阈值。

具体实施方式

下面结合附图对本发明做进一步说明。

参照图1～图4，一种基于多任务卷积神经网络的套牌车检测方法，包括以下步骤：

1)利用时空约束对获取的车辆图像数据进行处理得到疑似套牌车辆，所述疑似套牌车辆是指通过排查系统检测到的可疑车辆，高仿套牌车辆是指车牌号码车外观包括车型、车系、车身颜色相同或者高度相似；

2)利用Faster R-CNN定位分割出车体部分图像；

3)对卷积前5层实现卷积共享；

4)训练车脸特征的定位网络以及公有脸特征私有脸特征提取的网络；

5)对疑似套牌车辆的车脸公脸部分、私脸部分分别进行特征提取，所述车辆公脸是指包括车型、车系、车外观在内的一系列车体宏观特征；所述车辆私脸是指包括车检标、车挂件、摆件一系列人为添加的车脸属性特征；

6)融合车辆公脸特征和私脸特征进行分层比对，过程如下：

根据时空约束条件得到在某一个区域范围内，区域范围由用户设定，同一个的车牌号的疑似假牌套牌车辆图像；从这些图像中分割定位出车辆对象部分图像，然后对车脸的公脸特征进行比对，稽查出低仿真的假牌套牌车辆；接着通过车脸的私脸特征比对，进一步排查和比对高仿真的假牌套牌车辆，以此进行逐层排查。

其主要流程如下：系统接受到排查指令后会依靠时空约束条件在指定的区域范围内进行同一个的车牌号疑似套牌车的排查；得到大量疑似套牌车后从这些图像中分割定位出车辆对象；获取到车辆对象后，利用已经训练好的特征提取模型对这些车辆的宏观特征(车脸的公有部分)进行比对，稽查出低仿真的假牌套牌车辆；如果仍然存在无法判断的套牌车则通过车辆的微观特征(车脸的私有部分)进一步比对。

利用时空约束对获取的车辆图像数据进行处理得到疑似套牌车辆的方法是依托大数据技术，通过判断同一车牌号车辆在不同监控点视频中出现的时间关系，结合不同监控点的位置关系，根据其时间空间逻辑一致性原则来判断是否为套牌车。通过时空特性的约束，充分融合路径、速度、交通状况等多种信息对可疑车辆进行可信度评估，从而确定疑似套牌车辆。

进一步，所述步骤1)中疑似套牌车辆获取的方法是依托大数据技术，通过判断同一车牌号车辆在不同监控点视频中出现的时间关系，结合不同监控点的位置关系，根据其时间空间逻辑一致性原则来判断是否为套牌车；通过时空特性的约束，充分融合路径、速度、交通状况多种信息对可疑车辆进行可信度评估，从而确定疑似套牌车辆。

再进一步，所述步骤2)中，车体的分割方法是基于高速区域卷积神经网络(fasterregion-based convolutional neural network，Faster R-CNN)的分割方法，实施步骤为：

Step1：对大量的车辆图像进行标注，类别标签设定为两大类即背景类、车辆类。同时，记录车体所在区域的坐标生成文本标签；

Step2：Faster R-CNN网络读取Step1：生成的文本标签以及图像数据，进行网络的训练，训练时采用迁移训练的方法先经过加载预训练模型进行网络参数的初始化，然后读入数据依次进行训练。

Step3：等到损失值趋于稳定时，用此时生成的模型进行车辆的整体分割，与训练阶段相比，该阶段输入为任意尺寸大小包含车辆对象的图片无需输入类别标签。

所述步骤3)中，分割定位好车辆对象后，图像数据进入共享卷积层，该部分的设计和Faster R-CNN的卷积层一样，首先输入一张任意尺寸的图片,通过第一部分的卷积1_1,卷积1_2两次卷积后输出64个特征图(feature map)经过最大池化(max pooling)输出给第二部分的卷积层；同样第二部分卷积经过卷积2_1,卷积2_2后得到128个特征图；以此类推，最后到第五部分的卷积5_3后输出512个特征图，到此为止网络完成了所有的卷积操作。

所述步骤4)中，训练RPN网络时，给每个候选区域分配一个二进制的标签，以此来标注该区域是不是目标。对于正标签候选区域规定为任意某个真正目标区域(groundtruth，GT)包围框有大于0.7的交并比(intersection over union，IoU)。对于负标签候选区域规定为GT包围框的IoU比率低于0.3。对于IoU介于两者之间的统一舍弃。

训练车检标特征提取的网络包含了分类损失函数和位置回归损失函数，分别对应分类任务和检测任务。因此，总的损失函数用公式(1)表示为：

其中,分类损失函数由公式(2)表示为：

区域回归损失函数由公式(3)定义为

R是鲁棒的损失函数smooth_L1,用公式(4)表示为：

上式中，p_i是候选区域是第i类的概率。若候选区域的标签为正样本(目标区域)p_i ^*为1，如果候选区域标签为负样本(背景区域)p_i ^*则为0。t_i向量表示预测的包围框的4个参数化坐标，t_i ^*是对应的GT包围框的坐标向量。N_cls和N_reg分别为分类损失函数与位置回归损失函数的归一化系数,λ为两者之间的权重参数。

车辆整体基本特征提取网络中目标区域坐标已知(整张车辆对象图片)，因此在训练时不存在位置回归任务，只需要定义一个分类损失函数(softmax)，由公式(5)给出：

P由公式(6)给出：

上式中，θ是训练模型参数，N_b表示每批次训练样本的个数，y⁽ⁱ⁾表示类别标签，x⁽ⁱ⁾表示输入特征。其中，概率p表示将x分为类别j的概率。

结合多任务网络总损失函数可以表示为公式(7)：

L(w⁽ⁱ⁾)＝L({p_i},{t_i})+λ'L(θ) (7)

其中λ'为多任务的损失权重，主要为了解决不同网络任务之间收敛不一致的问题。

所述步骤5)中，共享卷积层后，网络开始出现两部分分支区域，一部分是完成车辆的公有脸特征提取用A表示该区域，一部分是完成车辆私有脸特征提取用B表示该区域。

图像经过五部分卷积后生成的特征图首先进入A区域，该区域主要实现车辆公有脸特征向量的提取。这一部分主要包括兴趣区域(region of interest，ROI)池化层、全连接层(fully connected layers，FC)以及损失层。由于输入的图像尺寸不固定而最后全连接层的输出的维数唯一，因此必须在FC6层前实现特征图大小的统一，所以在FC6层前增加了ROI池化层。所谓的ROI池化就是一种专门针对感兴趣区域的池化，由于A区域的主要功能是为了完成车辆整体基本特征的提取，因此ROI的坐标范围直接给定整幅车辆对象图片。要获取对应特征图上的坐标，首先要将ROI中的坐标映射到卷积后的特征图上，映射规则就是把各个坐标除以输入图片尺寸与特征图尺寸的比值，得到特征图上的包围框(boundingbox，Bbox)坐标。然而由于输入图片大的小并不是唯一的，所以这里需要对Bbox区域使用空间金字塔池化处理(spatial pyramid pooling)。该方法可以把任何尺度图像的卷积特征转化成相同的维度，从而满足输出维数的一致性。

网络的另一个分支是B区域，该部分主要实现了车检标的位置检测和特征提取。和前面的介绍相类似，该部分也包含了一个ROI池化层，不同的是，该部分的ROI已经不再是车辆对象的整体区域，而是车检标对象的区域；因此需要借助区域建议网络(regionproposal network，RPN)产生车检标的建议框，再通过后面的位置回归不断对这些建议框坐标做出新的调整，使得矩形框位置一步步接近真实区域位置(车检标对象位置)。RPN网络将一个任意尺度图像作为输入，输出矩形目标建议框的集合，每个框包含4个位置坐标变量和一个得分变量。为了生成区域建议框，在卷积5_3生成的特征图上进行多尺度的卷积操作，在每一个滑动窗口的位置使用3种尺度和3种长宽比的卷积核。卷积时以当前滑动窗口中心为中心，并对应一种尺度和长宽比的卷集核，在原图上映射得到9种不同尺度的候选区域，如对于长宽为w×h的特征图，则总共有w×h×9个候选区域。最后分类层输出w×h×9×2个候选区域的得分，即对每个区域是目标/非目标两种情况的估计概率，回归层输出w×h×9×4个参数，即候选区域的坐标参数。

所述步骤6)中，分层比对系统是利用车辆A和车辆B的(公有脸和私有脸)特征向量之间的夹角余弦实现逐层比对，几何中夹角余弦可用来衡量两个向量方向的差异，夹角余弦越大表示两个向量的夹角越小，夹角余弦越小表示两向量的夹角越大。公式(8)为比较两个特征向量的计算公式：

式中，A为车辆A的(公有脸和私有脸)特征向量，B为车辆B的(公有脸和私有脸)特征向量，cos(θ)为车辆A和车辆B的(公有脸和私有脸)特征向量之间的夹角余弦。在比对过程中，两个特征向量之间的夹角余弦值大于某个阈值就判定为车辆A和车辆B具有相似性。

在测试过程中，通过多任务网络分别获取疑似套牌车辆的公有脸、私有脸检测网络的FC7层的特征向量。全连接层的一个作用是实现高维到低维度的变化，同时保留了有用的信息；另一个作用是隐含语义的表达(embedding)，把原始特征映射到各个隐语义节点(hidden node)。对于最后一层全连接而言，就是分类的显示表达，由于本文只进行特征的比对，因此无需将FC7层映射到相应的类别上，而只进行特征的抽取。

提取特征向量后，首先用公式(8)对公有脸进行余弦距离的计算得到比对疑似套牌车辆的相似度，如果相似度小于设定的第一个阈值，则认为基于公有脸的比对方法已经能够判定两辆车身份不一致，直接输出比对假牌套牌结果；否则，进一步排查高仿套牌车，用公式(8)对车辆私有脸进行余弦距离的计算得到比对疑似套牌车辆的相似度。如果经过私有脸比对的相似度小于设定的第二个阈值则认为两辆车身份不一致，即为高仿套牌车，大于设定的第二个阈值则判定为两幅车辆图像为同一辆车。

最终，系统判定输出结果表达式如下，公式(9)表示疑似套牌车辆的公有脸的比对输出结果，公式(10)表示疑似套牌车辆的私有脸的比对输出结果。

式中O表示系统的最终判定的输出结果，1表示两幅图像中的车辆为同一辆车，0表示两幅图像中的车辆为非同一辆车,s₁，s₂分别表示两幅车辆图像中的车辆公有脸和私有脸特征向量比对的相似值，t₁表示公有脸比对时所设定的相似度阈值，t₂表示私有脸比对时所设定的相似度阈值。

通过上述分层次的车辆特征比对能有效的检测出套牌假牌车辆，最终实施时只要真车主将自己车辆上的年检标拍摄图像传输给管理部门，管理部门利用本文研制的私有脸比对方法进行检测，从而快速锁定套牌车辆。

Claims (7)

1.一种基于多任务卷积神经网络的套牌车检测方法，其特征在于：包括以下步骤：

1)利用时空约束对获取的车辆图像数据进行处理得到疑似套牌车辆，所述疑似套牌车辆是指通过排查系统检测到的可疑车辆，高仿套牌车辆是指车牌号码车外观包括车型、车系、车身颜色相同或者高度相似；

2)利用Faster R-CNN定位分割出车体部分图像；

3)对卷积前5层实现卷积共享；

4)训练车脸特征的定位网络以及公有脸特征私有脸特征提取的网络；

5)对疑似套牌车辆的车脸公脸部分、私脸部分分别进行特征提取，所述车辆公脸是指包括车型、车系、车外观在内的一系列车体宏观特征；所述车辆私脸是指包括车检标、车挂件、摆件一系列人为添加的车脸属性特征；

6)融合车辆公脸特征和私脸特征进行分层比对，过程如下：

根据时空约束条件得到在某一个区域范围内，区域范围由用户设定，同一个的车牌号的疑似假牌套牌车辆图像；从这些图像中分割定位出车辆对象部分图像，然后对车脸的公脸特征进行比对，稽查出低仿真的假牌套牌车辆；接着通过车脸的私脸特征比对，进一步排查和比对高仿真的假牌套牌车辆，以此进行逐层排查。

2.如权利要求1所述的一种基于多任务卷积神经网络的套牌车检测方法，其特征在于：所述步骤1)中疑似套牌车辆获取的方法是依托大数据技术，通过判断同一车牌号车辆在不同监控点视频中出现的时间关系，结合不同监控点的位置关系，根据其时间空间逻辑一致性原则来判断是否为套牌车；通过时空特性的约束，充分融合路径、速度、交通状况多种信息对可疑车辆进行可信度评估，从而确定疑似套牌车辆。

3.如权利要求1或2所述的一种基于多任务卷积神经网络的套牌车检测方法，其特征在于：所述步骤2)中，车体的分割方法是基于高速区域卷积神经网络Faster R-CNN的分割方法，实施步骤为：

Step1：对大量的车辆图像进行标注，类别标签设定为两大类即背景类、车辆类，同时，记录车体所在区域的坐标生成文本标签；

Step2：Faster R-CNN网络读取Step1生成的文本标签以及图像数据，进行网络的训练，训练时采用迁移训练的方法先经过加载预训练模型进行网络参数的初始化，然后读入数据依次进行训练；

Step3：等到损失值趋于稳定时，用此时生成的模型进行车辆的整体分割，与训练阶段相比，该阶段输入为任意尺寸大小包含车辆对象的图片无需输入类别标签。

4.如权利要求1～3之一所述的一种基于多任务卷积神经网络的套牌车检测方法，其特征在于：所述步骤3)中，分割定位好车辆对象后，图像数据进入共享卷积层，首先输入一张任意尺寸的图片,通过第一部分的卷积1_1,卷积1_2两次卷积后输出64个特征图经过最大池化输出给第二部分的卷积层；同样第二部分卷积经过卷积2_1,卷积2_2后得到128个特征图；以此类推，最后到第五部分的卷积5_3后输出512个特征图，到此为止网络完成了所有的卷积操作。

5.如权利要求4所述的一种基于多任务卷积神经网络的套牌车检测方法，其特征在于：所述步骤4)中，训练RPN网络时，给每个候选区域分配一个二进制的标签，以此来标注该区域是不是目标；对于正标签候选区域规定为任意某个真正目标区域GT包围框有大于0.7的交并比IoU，对于负标签候选区域规定为GT包围框的IoU比率低于0.3，对于IoU介于两者之间的统一舍弃；

训练车检标特征提取的网络包含了分类损失函数和位置回归损失函数，分别对应分类任务和检测任务，因此，总的损失函数用公式(1)表示为：

其中，分类损失函数由公式(2)表示为：

区域回归损失函数由公式(3)定义为：

R是鲁棒的损失函数smooth_L1，用公式(4)表示为：

上式中，p_i是候选区域是第i类的概率，若候选区域的标签为正样本，即目标区域，p_i ^*为1；如果候选区域标签为负样本，即背景区域，p_i ^*则为0；t_i向量表示预测的包围框的4个参数化坐标，t_i ^*是对应的GT包围框的坐标向量；N_cls和N_reg分别为分类损失函数与位置回归损失函数的归一化系数，λ为两者之间的权重参数；

车辆整体基本特征提取网络中目标区域坐标已知，因此在训练时不存在位置回归任务，只需要定义一个分类损失函数softmax，由公式(5)给出：

P由公式(6)给出：

上式中，θ是训练模型参数，N_b表示每批次训练样本的个数，y⁽ⁱ⁾表示类别标签，x⁽ⁱ⁾表示输入特征，其中，概率p表示将x分为类别j的概率；

结合多任务网络总损失函数表示为公式(7)：

L(w⁽ⁱ⁾)＝L({p_i},{t_i})+λ'L(θ) (7)

其中，λ'为多任务的损失权重。

6.如权利要求5所述的一种基于多任务卷积神经网络的套牌车检测方法，其特征在于：所述步骤5)中，共享卷积层后，网络开始出现两部分分支区域，一部分是完成车辆的公有脸特征提取用A表示，一部分是完成车辆私有脸特征提取用B表示；

图像经过五部分卷积后生成的特征图首先进入A区域，该区域实现车辆公有脸特征向量的提取，这一部分包括兴趣区域ROI池化层、全连接层FC以及损失层；在FC6层前增加ROI池化层，所述ROI池化过程为：首先要将ROI中的坐标映射到卷积后的特征图上，映射规则就是把各个坐标除以输入图片尺寸与特征图尺寸的比值，得到特征图上的包围框Bbox坐标；然而由于输入图片大的小并不是唯一的，所以这里需要对Bbox区域使用空间金字塔池化处理；

网络的另一个分支是B区域，该部分实现了车检标的位置检测和特征提取，该部分也包含一个ROI池化层，该部分的ROI是车检标对象的区域；因此需要借助区域建议网络RPN产生车检标的建议框，再通过后面的位置回归不断对这些建议框坐标做出新的调整，使得矩形框位置一步步接近真实区域位置；RPN网络将一个任意尺度图像作为输入，输出矩形目标建议框的集合，每个框包含4个位置坐标变量和一个得分变量；为了生成区域建议框，在卷积5_3生成的特征图上进行多尺度的卷积操作，在每一个滑动窗口的位置使用3种尺度和3种长宽比的卷积核；卷积时以当前滑动窗口中心为中心，并对应一种尺度和长宽比的卷集核，在原图上映射得到9种不同尺度的候选区域，如对于长宽为w×h的特征图，则总共有w×h×9个候选区域；最后分类层输出w×h×9×2个候选区域的得分，即对每个区域是目标/非目标两种情况的估计概率，回归层输出w×h×9×4个参数，即候选区域的坐标参数。

7.如权利要求6所述的一种基于多任务卷积神经网络的套牌车检测方法，其特征在于：所述步骤6)中，分层比对是利用车辆A和车辆B的特征向量之间的夹角余弦实现逐层比对，几何中夹角余弦可用来衡量两个向量方向的差异，夹角余弦越大表示两个向量的夹角越小，夹角余弦越小表示两向量的夹角越大，公式(8)为比较两个特征向量的计算公式：

式中，A为车辆A的特征向量，B为车辆B的特征向量，cos(θ)为车辆A和车辆B的特征向量之间的夹角余弦，在比对过程中，两个特征向量之间的夹角余弦值大于某个阈值就判定为车辆A和车辆B具有相似性；

在测试过程中，通过多任务网络分别获取疑似套牌车辆的公有脸、私有脸检测网络的FC7层的特征向量；全连接层的一个作用是实现高维到低维度的变化，同时保留了有用的信息；另一个作用是隐含语义的表达，把原始特征映射到各个隐语义节点；对于最后一层全连接而言，就是分类的显示表达；

提取特征向量后，首先用公式(8)对公有脸进行余弦距离的计算得到比对疑似套牌车辆的相似度，如果相似度小于设定的第一个阈值，则认为基于公有脸的比对方法已经能够判定两辆车身份不一致，直接输出比对假牌套牌结果；否则，进一步排查高仿套牌车，用公式(8)对车辆私有脸进行余弦距离的计算得到比对疑似套牌车辆的相似度；如果经过私有脸比对的相似度小于设定的第二个阈值则认为两辆车身份不一致，即为高仿套牌车，大于设定的第二个阈值则判定为两幅车辆图像为同一辆车；

最终，系统判定输出结果表达式如下，公式(9)表示疑似套牌车辆的公有脸的比对输出结果，公式(10)表示疑似套牌车辆的私有脸的比对输出结果：

式中O表示系统的最终判定的输出结果，1表示两幅图像中的车辆为同一辆车，0表示两幅图像中的车辆为非同一辆车,s₁，s₂分别表示两幅车辆图像中的车辆公有脸和私有脸特征向量比对的相似值，t₁表示公有脸比对时所设定的相似度阈值，t₂表示私有脸比对时所设定的相似度阈值；

通过上述分层次的车辆特征比对能有效的检测出套牌假牌车辆。