CN107730905A - 基于深度卷积神经网络的多任务套牌车辆视觉检测系统及方法 - Google Patents

基于深度卷积神经网络的多任务套牌车辆视觉检测系统及方法 Download PDF

Info

Publication number
CN107730905A
CN107730905A CN201710441056.4A CN201710441056A CN107730905A CN 107730905 A CN107730905 A CN 107730905A CN 201710441056 A CN201710441056 A CN 201710441056A CN 107730905 A CN107730905 A CN 107730905A
Authority
CN
China
Prior art keywords
vehicle
car
mrow
detection
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710441056.4A
Other languages
English (en)
Inventor
汤平
汤一平
钱小鸿
柳展
陈才君
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Enjoyor Co Ltd
Original Assignee
Enjoyor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Enjoyor Co Ltd filed Critical Enjoyor Co Ltd
Priority to CN201710441056.4A priority Critical patent/CN107730905A/zh
Publication of CN107730905A publication Critical patent/CN107730905A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
    • G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Traffic Control Systems (AREA)

Abstract

一种基于深度卷积神经网络的多任务套牌车辆视觉检测系统，包括安装在城市道路上的摄像机、交通云服务器和套牌假牌车辆检测系统；摄像机用于获取城市各道路上的抓拍图像数据，配置在道路的上方；交通云服务器用于接收从摄像机所获得的道路视频数据，并将其递交给套牌假牌车辆检测系统进行检测和识别，套牌假牌车辆检测系统包括基于Faster R‑CNN车辆定位检测模块、车辆类型识别模块、车牌定位涉牌违法和识别模块、车牌合法性检测模块、逻辑一致性检测模块、车检标精细比对模块和告警通知书生成模块。以及提供一种基于深度卷积神经网络的多任务套牌车辆视觉检测方法。本发明能快速准确的锁定套牌假牌车辆，有效提高刑事侦查效能。

Description

基于深度卷积神经网络的多任务套牌车辆视觉检测系统及 方法
技术领域
本发明涉及人工智能、大数据、卷积神经网络和计算机视觉在套牌和假牌车辆的检测方面的应用，属于智能交通领域。
背景技术
套牌和假牌车是指通过伪造或者非法套取其它车辆号牌及行驶行驶证等手续上路行驶的车辆。对于套牌和假牌车辆，顾名思义就是车辆的真实身份与车辆的牌照不相符合。由于套牌和假牌车主在路上行驶极少以交通法规来约束自己，随之带来的交通事故、法律纠纷势必给社会带来更大的不稳定因素。套牌和假牌车已被国家明确禁止。中华人民共和国交通法中已有明确规定，不允许套牌和假牌车辆的流动。因此在道路卡口视频监控数据中检测套牌和假牌车辆，对于公安机关加强对公共安全的管控以及保障真正车主的权益有着十分重大的意义。
现有技术中，主要有两类车辆的套牌和假牌识别方法。一类是先对查询车辆进行车牌号识别，然后通过车牌号从数据库中读取车型信息，然后与检测到的车型做比对，从而判断是否为套牌车。中国发明专利申请号为201110361189.3的一种自动识别套牌车辆的智能视频分析系统及方法；中国发明专利申请号为201110400123.0的一种套牌车辆自动检测系统的控制方法；中国发明专利申请号为201310175763.5的一种基于车辆特征匹配的套牌检测方法；中国发明专利申请号为201310233696.8的基于集成分类器的车辆检测分析系统及其检测分析方法；中国发明专利申请号为201310397152.5的基于静态图片的自动套牌车检测方法；中国发明专利申请号为201410333789.2的一种基于车辆身份识别的套牌车识别的方法与装置；中国发明专利申请号为201410381655.8的套牌车检测方法及装置；中国发明专利申请号为201510984703.7的车辆套牌检测方法与系统；中国发明专利申请号为201610054502.1的一种基于二次验证的套牌车识别方法；中国发明专利申请号为201610124110.8的换牌车辆检测方法及其系统；上述专利均属于这类技术范畴。这类套牌识别精度完全取决于车牌和车型的识别精度，在同一车型的情况下使用两个相同的车牌，即假牌车，这类识别方式往往会失效。上述视觉检测技术属于前深度学习时代的视觉检测技术，存在着检测精度和检测鲁棒性不高的问题。
另一类套牌和假牌识别方法，主要是依托大数据技术，通过判断同一车牌号车辆在不同监控点视频中出现的时间关系，结合不同监控点的位置关系，根据其合理性判断是否为套牌车。这类“时空分析”的方法运算量大且复杂；通过人为设定的逻辑规则来寻找疑似套牌车。中国发明专利申请号为201610124110.8的换牌车辆检测方法及其系统；中国发明专利申请号为201410407364.1的基于Hadoop的套牌车识别方法；中国发明专利申请号为201410351356.X的一种套牌车辆缉查布控方法；中国发明专利申请号为201410308640.9的一种车辆翻牌检测方法和装置；中国发明专利申请号为201210361859.6的套牌车的检测方法；中国发明专利申请号为201210295525.3的套牌嫌疑车搜索方法及其装置；上述专利均属于这类技术范畴。此类方法需要大量车辆数据资源，识别效率低下，并且无法区分真正车辆和套牌车辆。
根据2008年5月27日中华人民共和国公安部令第102号发布的《机动车登记规定》及2012年9月12日中华人民共和国公安部令第124号《公安部关于修改〈机动车登记规定〉的决定》规定，车辆登记时对于某一车牌号码，它所对应的车辆车型、车身颜色、车辆品牌等车辆基本信息具有唯一性。车辆车型信息为车辆固有属性，不会被改变，车身颜色的变更需要向车管部门申请，变更结果在车辆基本信息库中实时更新。因此车辆号牌与车型及车身颜色的对应关系较为稳定，不会轻易变动，从这个意义上讲，车牌号所对应的车辆基本信息具有固定性。
对于假牌或者套牌，车牌号与以上车辆基本信息往往并不是严格对应的，不符合车辆基本信息的一致性。
车辆与车牌发牌机关一致性，根据对标准车牌特征分析可知，普通民用车牌首位字符为省份简称，第二位为发牌机关代号，全国各省份车牌发牌机关代号统计数据。
逻辑一致性，同时不同位置逻辑一致性,即同一车辆不可能“同时”出现在不同位置。此处“同时”既包括绝对的同一时间,也包括逻辑上在某时间段内不可能到达的两个地点。
目前，各地普遍利用同一车辆号牌在不同地点出现，通过时空矛盾进行套牌车甄别，然后通过车辆的车身颜色、型号等信息与在车辆管理部门所对应注册的信息对比，确认套牌嫌疑车辆，时空矛盾即同号牌车辆轨迹中相邻时间的两个卡口过车时间与相应的卡口间最小时间对比。时空矛盾虽然可以甄别套牌车辆，但都因卡口经纬度未标注或标注不正确导致车辆号牌识别错误，从而带来的大量错误嫌疑信息，并且都是理想状态的套牌车识别方法，未考虑实际的应用需求。另外，两个卡口过车时间的估计时间也并非准确可靠，这是由于要估计车辆的行驶速度受到很多道路因素的干扰影响。
快速性、准确性、自动化、智能化和鲁棒性是套牌车辆检测的关键，套牌和假牌的识别的核心问题是要同时解决车辆基本信息的一致性的识别问题、车辆与车牌发牌机关一致性识别检测问题和逻辑一致性问题；要真正解决车辆基本信息的一致性的识别问题只能提升车辆固有属性的识别精度和车辆号的识别精度，同时与车管所中的登记车辆基本信息数据比对，包括结构化数据和非结构化数据的比对检索精度；而逻辑一致性问题从检测角度来说，时空特性分析是一种有效的分析手段。
关于快速性、准确性和鲁棒性的车辆身份识别技术，最近几年深度学习在计算机视觉领域的技术得到了迅速的发展,深度学习能利用大量的训练样本和隐藏层逐层深入地学习图像的抽象信息,更全面直接地获取图像特征。数字图像是以矩阵来描述的,卷积神经网络更好地从局部信息块出发,进而描述图像的整体结构,故在计算机视觉领域,深度学习方法中大多采用卷积神经网络来解决问题。围绕着提高检测精度和检测时间，深度卷积神经网络技术从R-CNN，Fast R-CNN到FasterR-CNN。具体表现为进一步精度提升、加速、端到端及更实用化，几乎覆盖了从分类到检测、分割、定位各个领域。深度学习技术运用于套牌和假牌车辆的视觉检测将是一个非常有实际应用价值的研究领域。
发明内容
针对现有的套牌和假牌车辆检测系统中存在的快速性较差、准确性较低和鲁棒性较差的不足，本发明提出了一种快速性较好、准确性较高和鲁棒性较好的基于深度卷积神经网络的多任务套牌车辆视觉检测系统及方法。
本发明解决其技术问题所采用的技术方案是：
一种基于深度卷积神经网络的多任务套牌车辆视觉检测系统，包括安装在城市道路上的摄像机、交通云服务器和套牌假牌车辆检测系统；
所述的摄像机用于获取城市各道路上的抓拍图像数据，配置在道路的上方，通过网络将道路上的抓拍图像数据传输给所述的交通云服务器；
所述的交通云服务器用于接收从所述的摄像机所获得的道路抓拍图像数据，并将其递交给所述的套牌假牌车辆检测系统进行车辆基本信息的一致性、车辆与车牌发牌机关一致性、无黑名单记录、基本信息一致性和逻辑一致性识别检测，若识别检测发现存在有任何一种不一致情况，系统自动生成告警通知书并推送给管理人员，管理人员接到报警后，确认告警通知书中的内容，根据线索对违法车辆进行追踪，并通知路面周边警力做好拦截准备；
所述的套牌假牌车辆检测系统包括基于Faster R-CNN车辆定位检测模块、车辆类型识别模块、车牌定位涉牌违法和识别模块、车辆与车牌发牌机关一致性的检测模块、车牌合法性检测模块、基本信息一致性检测模块、逻辑一致性检测模块、车检标精细比对模块和告警通知书生成模块；其中，所述的基于Faster R-CNN车辆定位检测、所述的车辆类型识别、车牌定位和车检标定位和所述的车检标精细比对模块共享CNN网络，属于递进式的多任务深度卷积神经网络技术；
所述的车辆类型识别模块用于对所述的基于Faster R-CNN车辆检测模块处理中框定出来车辆的图像进行车辆固有属性的识别，包括车辆的类型、颜色和品牌型号；在对所述的基于Faster R-CNN网络进行学习训练时，将各种车辆的类型、颜色和品牌型号分别打上标签作为训练数据集对Faster R-CNN网络进行训练，在对车辆固有属性识别时，SoftMaxLoss层就会输出车辆的类型、颜色和品牌型号识别结果，Faster R-CNN网络支持多标签的输入。
进一步，所述的基于Faster R-CNN车辆检测模块用于检测在抓拍图像中的所有车辆，具体做法是采用深度卷积神经网络快速分割出道路上的机动车辆并给出这些车辆在道路上所占的空间位置信息；
这里使用的机动车分割及定位由两个模型组成，一个模型是生成RoI的选择性搜索网络；另一个模型是Faster R-CNN机动车目标检测网络，检测单元结构图如图1所示。
选择性搜索网络，即RPN；RPN网络将一个任意尺度图像作为输入，输出矩形目标建议框的集合，每个框包含4个位置坐标变量和一个得分。为了生成区域建议框，在最后一个共享的卷积层输出的卷积特征映射上滑动小网络，这个网络全连接到输入卷积特征映射的n×n的空间窗口上。每个滑动窗口映射到一个低维向量上，每个特征映射的一个滑动窗口对应一个数值。这个向量输出给两个同级的全连接的层。
在每一个滑动窗口的位置，同时预测k个建议区域，所以位置回归层有4k个输出，即k个包围盒的坐标编码。分类层输出2k个包围盒的得分，即对每个建议框是目标/非目标的估计概率，是用二分类的softmax层实现的分类层，还可以用logistic回归来生成k个得分。k个建议框被相应的k个称为anchor的建议框参数化。每个anchor以当前滑动窗口中心为中心，并对应一种尺度和长宽比，使用3种尺度和3种长宽比，这样在每一个滑动位置就有k＝9个anchor。例如，对于大小为w×h的卷积特征映射，则总共有w×h×k个anchor。RPN网络结构图如图2所示。
为了训练RPN网络，给每个anchor分配一个二进制的标签，以此来标注该anchor是不是目标。然后分配正标签给这两类anchor：(I)与某个真正目标包围盒，即Ground Truth，GT有最高的IoU，即Interse-ction-over-Union，交集并集之比，重叠的anchor；(II)与任意GT包围盒有大于0.7的IoU交叠的anchor。注意到一个GT包围盒可能给多个anchor分配正标签。分配负标签给与所有GT包围盒的IoU比率都低于0.3的anchor。非正非负的anchor对训练目标没有任何作用，则弃用。
有了这些定义，遵循Faster R-CNN中的多任务损失，最小化目标函数。对一个图像的损失函数定义为：
这里，i是一个anchor的索引，Pi是anchor是第i目标的预测概率。如果anchor为正，GT标签Pi *就是1，如果anchor为负，Pi *就是0。ti是一个向量，表示预测的包围盒的4个参数化坐标，是与正anchor对应的GT包围盒的坐标向量；λ是一个平衡权重，这里λ＝10，Ncls是cls项的归一化值为mini-batch的大小，这里Ncls＝256，Nreg是reg项的归一化值为anchor位置的数量，Nreg＝2,400；分类损失函数Lcls是两个类别，即机动车辆目标与非机动车辆目标的对数损失：
对于回归损失函数Lreg，用以下函数定义：
式中，Lreg为回归损失函数，R是鲁棒的损失函数，用公式(4)计算smoothL1；
式中，smoothL1为smooth L1损失函数，x为变量；
Faster R-CNN网络结构如图3所示，在输入图像经过深度卷积神经网络后可以得到特征图，依据特征图以及RPN网络则可以得到相应的RoIs，最后则通过RoI池化层。该层是只有一级空间“金字塔”池化的过程。输入是N个特征映射和R个RoI。N个特征映射来自于最后一个卷积层，每个特征映射的大小都是w×h×c。每个RoI是一个元组(n,r,c,h,w),其中，n是特征映射的索引，n∈(0,1,2,...,N-1)，r,c是左上角坐标，h,w分别是高和宽。输出则由最大池化得到的特征映射。该层的作用主要有两个，一是将原图中的RoI与特征图中的块对应起来；另一个是将特征图下采样为固定大小，然后再传入全连接。
选择性搜索网络与检测网络的权值共享：选择性搜索网络和Faster R-CNN都是独立训练的，要用不同方式修改它们的卷积层。因此需要采用一种允许两个网络间共享卷积层的技术，而不是分别学习两个网络。发明中使用一种实用的4步训练算法，通过交替优化来学习共享的特征。第一步，依上述训练RPN，该网络用ImageNet预训练的模型初始化，并端到端微调用于区域建议任务。第二步，利用第一步的RPN生成的建议框，由Faster R-CNN训练一个单独的检测网络，这个检测网络同样是由ImageNet预训练的模型初始化的，这时候两个网络还没有共享卷积层。第三步，用检测网络初始化RPN训练，但固定共享的卷积层，并且只微调RPN独有的层，现在两个网络共享卷积层了。第四步，保持共享的卷积层固定，微调Faster R-CNN的fc，即全连接层。这样，两个网络共享相同的卷积层，构成一个统一的网络。
考虑到对象的多尺度的问题，对于特征图上的每一个特征点采用三种简单的尺度，包围盒的面积分别为128×128、256×256、512×512和三种长宽比，分别为1:1、1:2、2:1。通过这种设计，就不再需要多尺度特征或者多尺度滑动窗口来预测大的区域，能达到节省大量运行时间的效果。
通过上述两个网络的处理，检测出抓拍图像中的机动车辆并对它们的大小及空间位置进行了框定，即得到了车辆的大小及空间位置，其rv,cv是车辆在图像中的左上角坐标，hv,wv分别是车辆在图像平面的投影大小，即高和宽；
由于本发明中所关注的对象是各种机动车辆、车牌、车标和车检标，即感兴趣对象，以下简称RoI，为了定位和分割出道路上的各种RoI，需要在学习和训练卷积神经网络时，将各种机动车辆、各种车牌、车标、车检标以及道路背景图像分别标上相对应的标签进行训练；这样在所述的基于Faster R-CNN车辆检测模块处理中就能自动分割出机动车辆、车牌、车标和车检标的RoI；
所述的车牌定位涉牌违法和识别模块用于对过卡口的车辆的车牌进行定位、涉牌违法检测和车牌号识别，以进一步提高违章车辆身份识别能力以及自动化处理交通违法事件的水平；这里采用多任务深度卷积神经网络技术，对所述的基于Faster R-CNN车辆检测模块处理中框定出来车辆的图像上的车牌位置进行定位，得到该车辆的车牌的图像，接着对车牌图像进行涉牌违法行为检测，最后对车牌进行识别，识别出该车辆的车牌号；
所述的涉牌违法行为主要包括：车牌本身违法、不挂车牌和套牌假牌；车牌本身违法又包括了车牌污染、车牌涂改、车牌遮挡、车牌反光和车牌损坏；基于违法车牌是否可分割、是否可正确识别等特性对各类车牌本身违法车辆及不挂车牌车辆特征分析并进行区分；表1所示的是各种涉牌类型从可分割和可正确识别两个维度总结一览表；
涉牌类型 可分割性 可正确识别性
正常车牌 可分 可识别
被涂改车牌 可分 可识别，但误识别率高
被遮挡车牌 部分可分 可识别，部分可识别
被污染车牌 难以分割 难以识别
被损坏车牌 不可分割 不可识别
被反光车牌 不可分割 不可识别
不挂车牌 不可分割 不可识别
表1
为了从可分割和可正确识别两个特征维度来初选涉牌违法行为，本发明采用车牌灰度图像的垂直投影直方图来进行识别；
对于正常车牌，字符，字符清晰，间隔明显并间隔尺寸固定，易于分割，分割所得结果清晰，易于正确识别；利用正常车牌的灰度图像的垂直投影直方图的间隔和分布特征来识别车牌的本身违法行为；如果检测结果不属于正常车牌，系统设置一个非正常车牌标志；
接着，对在正常车牌检测结果的图像进行字符识别，识别出该车辆的车牌号；
所述的车辆与车牌发牌机关一致性检测用于比对正常车牌的前二位与车牌发牌机关一致性，在所述的车牌定位涉牌违法和识别模块处理中识别出车辆的车牌号后，然后根据对标准车牌特征分析得到规律，普通民用车牌首位字符为省份简称，第二位为发牌机关代号，全国各省份车牌发牌机关代号统计数据，如北京的车辆号码第一位是京，第二位是A-H，G-Q；浙江省的车辆号码第一位是浙，第二位是A-H，J-L；…；这里主要分别比对车牌号码的第一位和第二位的一致性；如果在比对中发现车牌号码的第一位或第二位的字符不符合标准车牌特征，系统设置一个不符合车辆与车牌发牌机关一致性的标志。
所述的车牌合法性检测模块用于对在正常车牌检测结果的基础上进一步进行合法性的检测；用所述的车牌定位涉牌违法和识别模块处理中识别出车辆的车牌号与城市车辆黑名单中的车牌号进行比对；如果在黑名单上有该车辆的记录，系统设置一个黑名单车辆的标志。
所述的基本信息一致性检测模块用于比对识别的车辆基本信息和用合法车牌进行检索得到的机动车辆管理数据库所登记的车辆基本信息的一致性，在所述的车牌定位涉牌违法和识别模块处理中识别出车辆的车牌号，用这个车牌号作为检索访问机动车辆管理数据库得到机动车登记信息，用在所述的车辆类型识别模块处理中识别出车辆的类型、颜色和品牌型号与登记信息中的车辆的类型、颜色和品牌型号做比对，如果相一致，就判定为车辆的基本信息是一致的；反之，继续比对所述的基于Faster R-CNN车辆检测模块处理中框定出来车辆图像与机动车登记信息中的车辆图像之间的相似度；比对的方式是利用Faster R-CNN网络，在全连接层FC7分别输出所述的基于Faster R-CNN车辆检测模块处理中框定出来车辆的图像的特征向量和机动车登记信息中的车辆图像的特征向量，用余弦相似度比较这两个图像的特征向量的相似度，如果相似度大于某个阈值Tv，则判定为是同一辆车辆，即满足车辆基本信息的一致性要求；否则，系统设置一个不符合车辆基本信息一致性的标志。
由于相同车牌号相同车辆类型不可能同时出现在不同位置，如果同一车辆同时出现在不同位置，那么必定有一辆为高仿真的假牌车辆；同一车牌号在其他位置出现情况的检索问题包含2个关键问题：(1)时间阈值的确定问题，这里设定了一时间范围阈值，在时间范围之内的将被检索出，该范围依据联网监控区域大小设置；(2)车牌号检索策略问题，这里采用基于网格化的监控检索策略，对联网监控区域进行网格化分区处理，对车牌号以及车辆类型、车牌号首位字符进行分类，对于后5位字符统一进行无损编码转换为自然数存储，将编码数字排序后存入卡口实时监控信息数据库；查询时使用二叉树查询方式，可实现车牌号码快速匹配；
所述的逻辑一致性检测模块用于进一步检测符合车辆基本信息一致性的并拥有合法车牌的车辆是否存在着时空矛盾；这里利用时空特性和车牌号码约束来缩小排查范围，即用车牌号和时间阈值作为检索条件检索通过其他卡口或者行政区域的车辆记录；如果存在有相关记录初步判定为有疑似套牌假牌车辆，需要进一步比对车检标图像在数量上的、顺序上的、间隔上的差异来辨识套牌假牌车辆；这里采用所述的车检标精细比对模块来辨识车辆的车检标图像在数量上的、顺序上的、间隔上的差异。
按规定车前挡风玻璃右上角需要粘贴检验合格标志和保险标志；由于这两种标志是人工粘贴的，在粘贴过程中总会存在有一些差别，如数量上的、顺序上的、间隔上的差别；
所述的车检标精细比对模块用于比对类型相似车牌相同的车辆上粘贴年检标的数量和顺序；这里利用所述的基于Faster R-CNN车辆检测模块处理中框定出来车辆的图像并取其框的右上部分的图像再通过Faster R-CNN网络检测定位出车检标的位置，即得到了车检标的大小及空间位置，其rri,cri是第i个车检标在图像中的左上角坐标，hri,wri分别是第i个车检标在图像平面的投影大小，即高和宽；若有多个车检标那么就会有多个车检标的框，这里简称车检标图像1；接着，对所述的逻辑一致性检测模块得到的疑似套牌车辆图像进行处理，用上述同样的方法分割出疑似套牌车辆的车检标的框，这里简称车检标图像2；然后比对车检标图像1和车检标图像2之间的差异；首先比对年检标的数量是否相同，如果不相同就判定为两辆车的身份不同，其中有一辆为套牌或者假牌车；如果相同进一步用所述的车检标精细比对模块来辨识车辆的车检标图像在顺序和间隔上的差异；
进一步比对车检标图像1和车检标图像2的相似度；比对的方式利用FasterR-CNN网络，在全连接层FC7分别输出车检标图像1的特征向量和车检标图像2的特征向量，用余弦相似度比较这两个图像的特征向量的相似度，如果相似度大于某个阈值Tl，则判定为是同一辆车辆，否则就判定为两辆车的身份不同，其中一辆为套牌或者假牌车，系统设置一个不符合逻辑一致性标志。
所述的告警通知书生成模块用于根据在套牌假牌车辆检测过程中得到的各种标志信息，自动生成关于涉牌违法行为、车辆与车牌发牌机关一致性、黑名单车辆、车辆基本信息一致性、逻辑一致性方面检测的结果报告，告警通知书中的内容还包括：卡口抓拍的图像、车辆基本信息、通过卡口地点和时间，以便管理人员进行核对确认告警通知书中的内容，根据线索对违法车辆进行追踪，并通知路面周边警力做好拦截准备。
一种基于深度卷积神经网络的多任务套牌车辆视觉检测方法，首先读取卡口抓拍的图像，用所述的基于Faster R-CNN车辆检测模块定位分割出图像中的车辆部分，如果图像中存在着多个车辆对象，那么就启动与车辆对象数相同的线程，每个线程各自负责该车辆对象的套牌假牌违法行为的检测；接着用所述的车辆类型识别模块对车辆部分的图像进行识别，识别出车辆的类型、颜色和品牌型号；进一步，对用所述的基于Faster R-CNN车辆检测模块定位分割出图像中的车辆部分的图像用Faster R-CNN定位分割出车辆图像中的车牌部分的图像；接着，对车牌部分的图像进行涉牌违法行为检测，涉牌违法行为检测主要是通过对车牌部分的图像进行灰度变化再做垂直投影直方图，通过比对正常牌照垂直投影直方图的分布情况来判断涉牌违法行为，若存在着涉牌违法行为就设置涉牌违法行为标志，转到所述的告警通知书生成模块，在该模块中根据标志信息自动生成告警通知书并推送给管理人员；若是正常车牌检测结果，对车牌图像进行字符识别，识别出该车辆的车牌号；进一步，对所识别出来的车牌号进行车辆与车牌发牌机关一致性的检测，如果检测结果不具备一致性就设置一个不符合车辆与车牌发牌机关一致性的标志，转到告警通知书生成模块，在该模块中根据标志信息自动生成告警通知书并推送给管理人员；对于具备符合车辆与车牌发牌机关一致性的车牌接着要进行合法性检测，合法性检测是具备了一致性的正常车牌通过检索城市车辆黑名单来进行的；如果在黑名单上有该车辆的记录，系统设置一个黑名单车辆标志，转到告警通知书生成模块，在该模块中根据标志信息自动生成告警通知书并推送给管理人员；对于具备合法性的车牌接着要进行车辆基本信息的一致性检测，用具备合法性的车牌号码作为检索条件访问机动车辆管理数据库得到机动车登记信息，用在所述的车辆类型识别模块处理中识别出车辆的类型、颜色和品牌型号与登记信息中的车辆的类型、颜色和品牌型号做比对，如果相一致，就判定为满足车辆基本信息的一致性要求；如果不一致，进一步用所述的基于Faster R-CNN车辆检测模块处理中框定出来车辆的图像与登记信息中的车辆图像进行比对，比对的方式还是利用Faster R-CNN网络，在全连接层FC7分别输出所述的基于FasterR-CNN车辆检测模块处理中框定出来车辆的图像的特征向量和登记信息中的车辆图像的特征向量，用余弦相似度比较这两个图像的特征向量的相似度，如果相似度大于某个阈值Tv，Tv＝0.7，则判定为是满足车辆基本信息的一致性要求；对于相似度小于等于阈值Tv就设置一个车辆基本信息不一致标志，转到告警通知书生成模块，在该模块中根据标志信息自动生成告警通知书并推送给管理人员；进一步，对于满足车辆基本信息的一致性要求的车辆还需要进行逻辑一致性检测，设置一个时间阈值，利用时空特性和车牌号码约束来缩小排查范围，用车检标精细比对方法精准的比较出外貌上相似车牌相同车辆的异同点，比对的方式是利用Faster R-CNN网络，在全连接层FC7分别输出比对的一辆车框定出来包含所有车检标的图像的特征向量和比对的另一辆车框定出来包含所有车检标的图像的特征向量，用余弦相似度比较这两个图像的特征向量的相似度，如果相似度大于某个阈值Tl，Tl＝0.7则判定为是同一辆车辆；否则就判定为两辆车的身份不同，则设置不符合逻辑一致性标志转到告警通知书生成模块，在该模块中根据标志信息自动生成告警通知书并推送给管理人员；接着，继续对下一幅卡口抓拍图像进行套牌假牌检测。
本发明的有益效果主要表现在：多标签的Faster R-CNN网络学习同时能识别车辆的多种基本信息；多任务的Faster R-CNN网络能同时定位、识别和比对车辆、车牌和车检标等重要信息；双重车辆基本信息的比对方式有效提升了检测的鲁棒性和准确性；以简单快速的到多层面分步骤全方位的检测顺序流程，涉牌违法行为→车辆与车牌发牌机关一致性→黑名单车辆→车辆基本信息一致性→逻辑一致性的检测流程提升了套牌假牌车辆检测的快速性和实时性；车型、车牌和车检标识别技术的集成，对假牌、套牌、无牌/车牌遮挡、污损、模糊/逾期未年检、逾期未报废等异常车辆自动识别分析及报警。对改变、遮挡车辆号牌以逃避卡口电警抓拍图像的异常车辆及安全隐患车辆进行自动检测，对异常车辆全方位智能识别后，主动发送报警信息。此外，告警通知书中的详细信息极大的方便管理人员快速应对处置违法车辆的能力，实现对高危车辆的有效预警防控，优化警力部署进行针对性车辆排查，能在大量涉车涉驾案件中有效锁定嫌疑车辆，提高刑事侦查效能，使治安防控手段从事后被动侦查向事前主动预警转变。
附图说明
图1为Fast R-CNN结构图；
图2为选择性搜索网络图；
图3为Faster R-CNN结构图；
图4为Faster R-CNN多任务套牌车辆视觉检测网络结构图；
图5为Faster R-CNN多任务套牌车辆视觉检测主流程图；
图6为车检标粘贴方式不一致的真假车辆逻辑一致性检测说明图；
图7为车检标粘贴数量不一致的真假车辆逻辑一致性检测说明图。
具体实施方式
下面结合附图对本发明作进一步描述。
参照图1～图7，一种基于深度卷积神经网络的多任务套牌车辆视觉检测系统，包括安装在城市道路上的摄像机、交通云服务器和套牌假牌车辆检测系统；
所述的摄像机用于获取城市各道路上的视频数据，配置在道路的上方，通过网络将道路上的抓拍图像数据传输给所述的交通云服务器；
所述的交通云服务器用于接收从所述的摄像机所获得的道路视频数据，并将其递交给所述的套牌假牌车辆检测系统进行车辆基本信息的一致性、车辆与车牌发牌机关一致性、无黑名单记录、基本信息一致性和逻辑一致性识别检测，若识别检测发现存在有任何一种不一致情况，系统自动生成告警通知书并推送给管理人员，管理人员接到报警后，确认告警通知书中的内容，根据线索对违法车辆进行追踪，并通知路面周边警力做好拦截准备；
所述的套牌假牌车辆检测系统包括了基于Faster R-CNN车辆定位检测模块、车辆类型识别模块、车牌定位涉牌违法和识别模块、车辆与车牌发牌机关一致性的检测模块、车牌合法性检测模块、基本信息一致性检测模块、逻辑一致性检测模块、车检标精细比对模块和告警通知书生成模块；其中，车辆定位检测、车辆类型识别、车牌定位和车检标定位都共享CNN网络；
所述的基于Faster R-CNN车辆检测模块用于检测在抓拍图像中的所有车辆，具体做法是采用深度卷积神经网络快速分割出道路上的机动车辆并给出这些车辆在道路上所占的空间位置信息；
这里使用的机动车分割及定位由两个模型组成，一个模型是生成RoI的选择性搜索网络；另一个模型是Faster R-CNN机动车目标检测网络，检测单元结构图如图1所示。
选择性搜索网络，即RPN；RPN网络将一个任意尺度图像作为输入，输出矩形目标建议框的集合，每个框包含4个位置坐标变量和一个得分。为了生成区域建议框，在最后一个共享的卷积层输出的卷积特征映射上滑动小网络，这个网络全连接到输入卷积特征映射的n×n的空间窗口上。每个滑动窗口映射到一个低维向量上，每个特征映射的一个滑动窗口对应一个数值。这个向量输出给两个同级的全连接的层。
在每一个滑动窗口的位置，同时预测k个建议区域，所以位置回归层有4k个输出，即k个包围盒的坐标编码。分类层输出2k个包围盒的得分，即对每个建议框是目标/非目标的估计概率，是用二分类的softmax层实现的分类层，还可以用logistic回归来生成k个得分。k个建议框被相应的k个称为anchor的建议框参数化。每个anchor以当前滑动窗口中心为中心，并对应一种尺度和长宽比，使用3种尺度和3种长宽比，这样在每一个滑动位置就有k＝9个anchor。例如，对于大小为w×h的卷积特征映射，则总共有w×h×k个anchor。RPN网络结构图如图2所示。
为了训练RPN网络，给每个anchor分配一个二进制的标签，以此来标注该anchor是不是目标。然后分配正标签给这两类anchor：(I)与某个真正目标包围盒，即Ground Truth，GT有最高的IoU，即Interse-ction-over-Union，交集并集之比，重叠的anchor；(II)与任意GT包围盒有大于0.7的IoU交叠的anchor。注意到一个GT包围盒可能给多个anchor分配正标签。分配负标签给与所有GT包围盒的IoU比率都低于0.3的anchor。非正非负的anchor对训练目标没有任何作用，则弃用。
有了这些定义，遵循Faster R-CNN中的多任务损失，最小化目标函数。对一个图像的损失函数定义为：
这里，i是一个anchor的索引，Pi是anchor是第i目标的预测概率。如果anchor为正，GT标签Pi *就是1，如果anchor为负，Pi *就是0。ti是一个向量，表示预测的包围盒的4个参数化坐标，是与正anchor对应的GT包围盒的坐标向量；λ是一个平衡权重，这里λ＝10，Ncls是cls项的归一化值为mini-batch的大小，这里Ncls＝256，Nreg是reg项的归一化值为anchor位置的数量，Nreg＝2,400；分类损失函数Lcls是两个类别，即机动车辆目标与非机动车辆目标的对数损失：
对于回归损失函数Lreg，用以下函数定义：
式中，Lreg为回归损失函数，R是鲁棒的损失函数，用公式(4)计算smoothL1；
式中，smoothL1为smooth L1损失函数，x为变量；
Faster R-CNN网络结构如图3所示，在输入图像经过深度卷积神经网络后可以得到特征图，依据特征图以及RPN网络则可以得到相应的RoIs，最后则通过RoI池化层。该层是只有一级空间“金字塔”池化的过程。输入是N个特征映射和R个RoI。N个特征映射来自于最后一个卷积层，每个特征映射的大小都是w×h×c。每个RoI是一个元组(n,r,c,h,w),其中，n是特征映射的索引，n∈(0,1,2,...,N-1)，r,c是左上角坐标，h,w分别是高和宽。输出则由最大池化得到的特征映射。该层的作用主要有两个，一是将原图中的RoI与特征图中的块对应起来；另一个是将特征图下采样为固定大小，然后再传入全连接。
选择性搜索网络与检测网络的权值共享：选择性搜索网络和Faster R-CNN都是独立训练的，要用不同方式修改它们的卷积层。因此需要采用一种允许两个网络间共享卷积层的技术，而不是分别学习两个网络。发明中使用一种实用的4步训练算法，通过交替优化来学习共享的特征。第一步，依上述训练RPN，该网络用ImageNet预训练的模型初始化，并端到端微调用于区域建议任务。第二步，利用第一步的RPN生成的建议框，由Faster R-CNN训练一个单独的检测网络，这个检测网络同样是由ImageNet预训练的模型初始化的，这时候两个网络还没有共享卷积层。第三步，用检测网络初始化RPN训练，但固定共享的卷积层，并且只微调RPN独有的层，现在两个网络共享卷积层了。第四步，保持共享的卷积层固定，微调Faster R-CNN的fc，即全连接层。这样，两个网络共享相同的卷积层，构成一个统一的网络。
考虑到对象的多尺度的问题，对于特征图上的每一个特征点采用三种简单的尺度，包围盒的面积分别为128×128、256×256、512×512和三种长宽比，分别为1:1、1:2、2:1。通过这种设计，就不再需要多尺度特征或者多尺度滑动窗口来预测大的区域，能达到节省大量运行时间的效果。
通过上述两个网络的处理，检测出抓拍图像中的机动车辆并对它们的大小及空间位置进行了框定，即得到了车辆的大小及空间位置，其rv,cv是车辆在图像中的左上角坐标，hv,wv分别是车辆在图像平面的投影大小，即高和宽；
由于本发明中所关注的对象是各种机动车辆、车牌、车标和车检标，即感兴趣对象，以下简称RoI，为了定位和分割出道路上的各种RoI，需要在学习和训练卷积神经网络时，将各种机动车辆、各种车牌、车标、车检标以及道路背景图像分别标上相对应的标签进行训练；这样在所述的基于Faster R-CNN车辆检测模块处理中就能自动分割出机动车辆、车牌、车标和车检标的RoI。
所述的车辆类型识别模块用于对所述的基于Faster R-CNN车辆检测模块处理中框定出来车辆的图像进行车辆固有属性的识别，包括了车辆的类型、颜色和品牌型号；在对所述的基于Faster R-CNN网络进行学习训练时，将各种车辆的类型、颜色和品牌型号分别打上标签作为训练数据集对Faster R-CNN网络进行训练，这样在对车辆固有属性识别时，SoftMaxLoss层就会输出车辆的类型、颜色和品牌型号识别结果，如图4所示；因此，FasterR-CNN网络必须支持多标签的输入。
所述的车牌定位涉牌违法和识别模块用于对过卡口的车辆的车牌进行定位、涉牌违法检测和车牌号识别，以进一步提高违章车辆身份识别能力以及自动化处理交通违法事件的水平；这里采用多任务深度卷积神经网络技术，对所述的基于Faster R-CNN车辆检测模块处理中框定出来车辆的图像上的车牌位置进行定位，得到该车辆的车牌的图像，接着对车牌图像进行涉牌违法行为检测，最后对车牌进行识别，识别出该车辆的车牌号；这种对框定出来车辆的图像上的车牌位置进行定位和分割方法，有效的提高了车牌的定位精度，为后续涉牌违法行为的检测和车牌识别奠定了坚实基础。
所述的涉牌违法行为主要包括：车牌本身违法、不挂车牌和套牌假牌；车牌本身违法又包括了车牌污染、车牌涂改、车牌遮挡、车牌反光和车牌损坏；基于违法车牌是否可分割、是否可正确识别等特性对各类车牌本身违法车辆及不挂车牌车辆特征分析并进行区分；表1所示的是各种涉牌类型从可分割和可正确识别两个维度总结一览表；
表1
为了从可分割和可正确识别两个特征维度来初选涉牌违法行为，本发明采用车牌灰度图像的垂直投影直方图来进行识别；首先将车牌图像转换为车牌灰度图像，然后对车牌灰度图像做垂直投影直方图；关于灰度图像的转换及垂直投影直方图的方法见阮秋琦等译的由电子工业出版社2004出版的数字图像处理教材；
对于正常车牌，字符，字符清晰，间隔明显并间隔尺寸固定，易于分割，分割所得结果清晰，易于正确识别；利用正常车牌的灰度图像的垂直投影直方图的间隔和分布特征来识别车牌的本身违法行为；如果检测结果不属于正常车牌，系统设置一个非正常车牌标志。
接着，对在正常车牌检测结果的图像进行字符识别，识别出该车辆的车牌号；这里采用了一个中文的开源车牌识别系统EasyPR，该车牌识别引擎具有简单、灵活、准确等优点。
最后，在识别出车牌号以后，下一步是进行关于车辆与车牌发牌机关一致性的合法性检测，主要根据对标准车牌特征分析得到规律，普通民用车牌首位字符为省份简称，第二位为发牌机关代号，全国各省份(不含港澳台)车牌发牌机关代号统计数据，如北京的车辆号码第一位是京，第二位是A-H，G-Q；浙江省的车辆号码第一位是浙，第二位是A-H，J-L；…；如果检测结果不符合车辆与车牌发牌机关一致性的合法性规则，系统设置一个不符合车辆与车牌发牌机关一致性的标志；反之进入所述的车牌合法性检测模块。
所述的车牌合法性检测模块用于对在正常车牌检测结果的基础上进一步进行合法性的检测；为了提升检测效率，首先与城市车辆黑名单进行比对；目前国内多数城市均建立了车辆黑名单库，将频繁违规、违法有套牌嫌疑车辆、群众举报被套牌车辆以及公安交管部门通过其他渠道获取的套牌嫌疑车辆等加入黑名单；如果在黑名单上有该车辆的记录，系统设置一个黑名单车辆标志；反之，进一步进行车辆基本信息的一致性方面的合法性检测，在所述的车牌定位涉牌违法和识别模块处理中识别出车辆的车牌号，根据这个车牌号访问机动车辆管理数据库得到机动车登记信息，用在所述的车辆类型识别模块处理中识别出车辆的类型、颜色和品牌型号与登记信息中的车辆的类型、颜色和品牌型号做比对，如果相一致，初步判定为车牌具有合法性；如果不一致，用所述的基于Faster R-CNN车辆检测模块处理中框定出来车辆的图像与登记信息中的车辆图像进行比对，比对的方式还是利用Faster R-CNN网络，在全连接层FC7分别输出所述的基于Faster R-CNN车辆检测模块处理中框定出来车辆的图像的特征向量和登记信息中的车辆图像的特征向量，用余弦相似度比较这两个图像的特征向量的相似度，如果相似度大于某个阈值Tv，Tv＝0.7，则判定为是同一辆车辆，即满足车辆基本信息的一致性要求；否则，系统设置一个不符合车辆基本信息一致性的标志。
所述的逻辑一致性检测模块用于识别检测相同车牌号相同车辆类型同时出现在不同位置，由于同一车辆不可能同时出现在不同位置，那么必定有一辆为高仿真的假牌或套牌车辆；同一车牌号在其他位置出现情况的检索问题包含2个关键问题：(1)时间阈值的确定问题，这里需要根据监控区域的大小范围设定时间范围阈值Tc，默认值Tc＝24h，这样的时间范围阈值Tc设置在24小时范围之内经过其他卡口的相同车牌号车辆都将被检索出，当然用户可以根据联网监控区域大小自行设置；(2)车牌号检索策略问题，这里采用基于网格化的监控检索策略，对联网监控区域进行网格化分区处理，对车牌号以及车辆类型、车牌号首位字符进行分类，对于后5位字符统一进行无损编码转换为自然数存储，将编码数字排序后存入卡口实时监控信息数据库；查询时使用二叉树查询方式，可实现车牌号码快速匹配；如果检测出同一车牌号在其他位置出现情况时，进一步采用精细的图像比对方式来识别套牌假牌车辆。
所述的车检标精细比对模块用于比对类型相似车牌相同的车辆上粘贴年检标的数量和顺序，按规定车前挡风玻璃右上角需要粘贴检验合格标志和保险标志；由于这两种标志是人工粘贴的，在粘贴过程中总会存在有一些差别，如数量上的、顺序上的、间隔上的差别；这里利用所述的基于Faster R-CNN车辆检测模块处理中框定出来车辆的图像并取其框的右上部分的图像再通过Faster R-CNN网络检测定位出车检标的位置，即得到了车检标的大小及空间位置，其rri,cri是第i个车检标在图像中的左上角坐标，hri,wri分别是第i个车检标在图像平面的投影大小，即高和宽；若有多个车检标那么就会有多个车检标的框；用上述方法得到比对车辆的车检标的图像，首先比对年检标的数量是否相同，如果不相同就判定为两辆车的身份不同，其中有一辆为套牌或者假牌车，如图7所示，两辆车牌号码相同车辆基本信息相同的车辆在某一个时间阈值Tc范围内出现在不同的卡口，这里用年检标的数量的多少就能判定不是同一辆车，这里利用了逻辑一致性原则来减小套牌假牌车的搜索比对范围，能有效提高检测效率。
如果年检标的数量相同进一步判定车检标在顺序上和间隔上的不同，这些不同主要反映在图像的纹理方面，因此，本发明进一步比对两辆车的包含所有车检标的图像的相似度；比对的方式还是利用Faster R-CNN网络，在全连接层FC7分别输出比对的一辆车框定出来包含所有车检标的图像的特征向量和比对的另一辆车框定出来包含所有车检标的图像的特征向量，用余弦相似度比较这两个图像的特征向量的相似度，如果相似度大于某个阈值Tl，Tl＝0.7则判定为是同一辆车辆，否则就判定为两辆车的身份不同；如图6所示，两辆车牌号码相同车辆基本信息相同的车辆在某一个时间阈值Tc范围内出现在不同的卡口，虽然两辆车上粘贴的车检标数量相同，但是车检标在顺序上和间隔上存在着细微的不同，通过用余弦相似度比较这两个年检标区域图像的特征向量的相似度，小于相似度阈值Tl来有效的区分出不是同一辆车；这种利用时空特性和车牌号码约束来缩小排查范围，用车检标精细比对方法精准的比较出外貌上相似车牌相同车辆的异同点，在提升了排查效率的同时又提高了排查精度，实现了效率与精度的完美统一。
所述的告警通知书生成模块用于在套牌假牌车辆检测过程中各种关于涉牌违法行为、车辆与车牌发牌机关一致性、黑名单车辆、车辆基本信息一致性、逻辑一致性方面检测的结果报告，告警通知书中的内容还包括：卡口抓拍的图像、车辆基本信息、通过卡口地点和时间，以便管理人员进行核对确认告警通知书中的内容，根据线索对违法车辆进行追踪，并通知路面周边警力做好拦截准备。
结合图5来说明本发明基于深度卷积神经网络的多任务套牌车辆视觉检测方法的检测流程，首先读取卡口抓拍的图像，用所述的基于Faster R-CNN车辆检测模块定位分割出图像中的车辆部分，如果图像中存在着多个车辆对象，那么就启动与车辆对象数相同的线程，每个线程各自负责该车辆对象的套牌假牌违法行为的检测；接着用所述的车辆类型识别模块对车辆部分的图像进行识别，识别出车辆的类型、颜色和品牌型号；进一步，对用所述的基于Faster R-CNN车辆检测模块定位分割出图像中的车辆部分的图像用Faster R-CNN定位分割出车辆图像中的车牌部分的图像；接着，对车牌部分的图像进行涉牌违法行为检测，涉牌违法行为检测主要是通过对车牌部分的图像进行灰度变化再做垂直投影直方图，通过比对正常牌照垂直投影直方图的分布情况来判断涉牌违法行为，若存在着涉牌违法行为就设置涉牌违法行为标志，转到告警通知书生成模块，在该模块中根据标志信息自动生成告警通知书并推送给管理人员；若是正常车牌检测结果，对车牌图像进行字符识别，识别出该车辆的车牌号；进一步，对所识别出来的车牌号进行车辆与车牌发牌机关一致性的检测，如果检测结果不具备一致性就设置一个不符合车辆与车牌发牌机关一致性的标志，转到告警通知书生成模块，在该模块中根据标志信息自动生成告警通知书并推送给管理人员；对于具备符合车辆与车牌发牌机关一致性的车牌接着要进行合法性检测，合法性检测是具备了一致性的正常车牌通过检索城市车辆黑名单来进行的；如果在黑名单上有该车辆的记录，系统设置一个黑名单车辆标志，转到告警通知书生成模块，在该模块中根据标志信息自动生成告警通知书并推送给管理人员；对于具备合法性的车牌接着要进行车辆基本信息的一致性检测，用具备合法性的车牌号码作为检索条件访问机动车辆管理数据库得到机动车登记信息，用在所述的车辆类型识别模块处理中识别出车辆的类型、颜色和品牌型号与登记信息中的车辆的类型、颜色和品牌型号做比对，如果相一致，就判定为满足车辆基本信息的一致性要求；如果不一致，进一步用所述的基于Faster R-CNN车辆检测模块处理中框定出来车辆的图像与登记信息中的车辆图像进行比对，比对的方式还是利用FasterR-CNN网络，在全连接层FC7分别输出所述的基于Faster R-CNN车辆检测模块处理中框定出来车辆的图像的特征向量和登记信息中的车辆图像的特征向量，用余弦相似度比较这两个图像的特征向量的相似度，如果相似度大于某个阈值Tv，Tv＝0.7，则判定为是满足车辆基本信息的一致性要求；对于相似度小于等于阈值Tv就设置一个车辆基本信息不一致标志，转到告警通知书生成模块，在该模块中根据标志信息自动生成告警通知书并推送给管理人员；进一步，对于满足车辆基本信息的一致性要求的车辆还需要进行逻辑一致性检测，设置一个时间阈值，利用时空特性和车牌号码约束来缩小排查范围，用车检标精细比对方法精准的比较出外貌上相似车牌相同车辆的异同点，比对的方式是利用Faster R-CNN网络，在全连接层FC7分别输出比对的一辆车框定出来包含所有车检标的图像的特征向量和比对的另一辆车框定出来包含所有车检标的图像的特征向量，用余弦相似度比较这两个图像的特征向量的相似度，如果相似度大于某个阈值Tl，Tl＝0.7则判定为是同一辆车辆；否则就判定为两辆车的身份不同，则设置不符合逻辑一致性标志转到告警通知书生成模块，在该模块中根据标志信息自动生成告警通知书并推送给管理人员；接着，继续对下一幅卡口抓拍图像进行套牌假牌检测。
以上所述仅为本发明的较佳实施举例，并不用于限制本发明，凡在本发明精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (11)

1.一种基于深度卷积神经网络的多任务套牌车辆视觉检测系统，其特征在于：包括安装在城市道路上的摄像机、交通云服务器和套牌假牌车辆检测系统；
所述的摄像机用于获取城市各道路上的抓拍图像数据，配置在道路的上方，通过网络将道路上的抓拍图像数据传输给所述的交通云服务器；
所述的交通云服务器用于接收从所述的摄像机所获得的道路抓拍图像数据，并将其递交给所述的套牌假牌车辆检测系统进行车辆基本信息的一致性、车辆与车牌发牌机关一致性、无黑名单记录、基本信息一致性和逻辑一致性识别检测，若识别检测发现存在有任何一种不一致情况，生成告警通知书并推送给管理人员，管理人员接到报警后，确认告警通知书中的内容，根据线索对违法车辆进行追踪，并通知路面周边警力做好拦截准备；
所述的套牌假牌车辆检测系统包括基于Faster R-CNN车辆定位检测模块、车辆类型识别模块、车牌定位涉牌违法和识别模块、车辆与车牌发牌机关一致性的检测模块、车牌合法性检测模块、基本信息一致性检测模块、逻辑一致性检测模块、车检标精细比对模块和告警通知书生成模块；其中，所述的基于Faster R-CNN车辆定位检测、所述的车辆类型识别、车牌定位和车检标定位和所述的车检标精细比对模块都共享CNN网络，采用递进式的多任务深度卷积神经网络技术；
所述的车辆类型识别模块用于对所述的基于Faster R-CNN车辆检测模块处理中框定出来车辆的图像进行车辆固有属性的识别，包括车辆的类型、颜色和品牌型号；在对所述的基于Faster R-CNN网络进行学习训练时，将各种车辆的类型、颜色和品牌型号分别打上标签作为训练数据集对Faster R-CNN网络进行训练，这样在对车辆固有属性识别时，SoftMaxLoss层就会输出车辆的类型、颜色和品牌型号识别结果，Faster R-CNN网络支持多标签的输入。
2.如权利要求1所述的基于深度卷积神经网络的多任务套牌车辆视觉检测系统，其特征在于：所述的基于Faster R-CNN车辆检测模块用于检测在卡口抓拍图像中的所有车辆，采用深度卷积神经网络快速分割出道路上的机动车辆并给出这些车辆在道路上所占的空间位置信息；
使用的机动车分割及定位由两个模型组成，一个模型是生成RoI的选择性搜索网络；另一个模型是Faster R-CNN机动车目标检测网络；
所述的选择性搜索网络，即RPN；RPN网络将一个任意尺度图像作为输入，输出矩形目标建议框的集合，每个框包含4个位置坐标变量和一个得分；所述的目标建议框的目标指的是机动车辆对象；
对每个建议框是目标/非目标的估计概率，是用二分类的softmax层实现的分类层；k个建议框被相应的k个称为anchor的建议框参数化；
每个anchor以当前滑动窗口中心为中心，并对应一种尺度和长宽比，使用3种尺度和3种长宽比，这样在每一个滑动位置就有k＝9个anchor；
为了训练RPN网络，给每个anchor分配一个二进制的标签，以此来标注该anchor是不是目标；然后分配正标签给这两类anchor：(I)与某个真正目标包围盒，即Ground Truth，GT有最高的IoU，即Interse-ction-over-Union，交集并集之比，重叠的anchor；(II)与任意GT包围盒有大于0.7的IoU交叠的anchor；注意到一个GT包围盒可能给多个anchor分配正标签；分配负标签给与所有GT包围盒的IoU比率都低于0.3的anchor；非正非负的anchor对训练目标没有任何作用，则弃用；
遵循Faster R-CNN中的多任务损失，最小化目标函数；对一个图像的损失函数定义为：
<mrow> <mi>L</mi> <mrow> <mo>(</mo> <mo>{</mo> <msub> <mi>p</mi> <mi>i</mi> </msub> <mo>}</mo> <mo>,</mo> <mo>{</mo> <msub> <mi>t</mi> <mi>i</mi> </msub> <mo>}</mo> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mn>1</mn> <msub> <mi>N</mi> <mrow> <mi>c</mi> <mi>l</mi> <mi>s</mi> </mrow> </msub> </mfrac> <munder> <mi>&amp;Sigma;</mi> <mi>i</mi> </munder> <msub> <mi>L</mi> <mrow> <mi>c</mi> <mi>l</mi> <mi>s</mi> </mrow> </msub> <mrow> <mo>(</mo> <msub> <mi>p</mi> <mi>i</mi> </msub> <mo>,</mo> <msubsup> <mi>p</mi> <mi>i</mi> <mo>*</mo> </msubsup> <mo>)</mo> </mrow> <mo>+</mo> <mi>&amp;lambda;</mi> <mfrac> <mn>1</mn> <msub> <mi>N</mi> <mrow> <mi>r</mi> <mi>e</mi> <mi>g</mi> </mrow> </msub> </mfrac> <munder> <mi>&amp;Sigma;</mi> <mi>i</mi> </munder> <msubsup> <mi>p</mi> <mi>i</mi> <mo>*</mo> </msubsup> <msub> <mi>L</mi> <mrow> <mi>r</mi> <mi>e</mi> <mi>g</mi> </mrow> </msub> <mrow> <mo>(</mo> <msub> <mi>t</mi> <mi>i</mi> </msub> <mo>,</mo> <msubsup> <mi>t</mi> <mi>i</mi> <mo>*</mo> </msubsup> <mo>)</mo> </mrow> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>1</mn> <mo>)</mo> </mrow> </mrow>
这里，i是一个anchor的索引，Pi是anchor是第i目标的预测概率；如果anchor为正，GT标签Pi *就是1，如果anchor为负，Pi *就是0；ti是一个向量，表示预测的包围盒的4个参数化坐标，是与正anchor对应的GT包围盒的坐标向量；λ是一个平衡权重，Ncls是cls项的归一化值为mini-batch的大小，Nreg是reg项的归一化值为anchor位置的数量；分类损失函数Lcls是两个类别，即机动车辆目标与非机动车辆目标的对数损失：
<mrow> <msub> <mi>L</mi> <mrow> <mi>c</mi> <mi>l</mi> <mi>s</mi> </mrow> </msub> <mrow> <mo>(</mo> <msub> <mi>p</mi> <mi>i</mi> </msub> <mo>,</mo> <msubsup> <mi>p</mi> <mi>i</mi> <mo>*</mo> </msubsup> <mo>)</mo> </mrow> <mo>=</mo> <mo>-</mo> <mi>l</mi> <mi>o</mi> <mi>g</mi> <mo>&amp;lsqb;</mo> <msubsup> <mi>p</mi> <mi>i</mi> <mo>*</mo> </msubsup> <msub> <mi>p</mi> <mi>i</mi> </msub> <mo>+</mo> <mrow> <mo>(</mo> <mn>1</mn> <mo>-</mo> <msubsup> <mi>p</mi> <mi>i</mi> <mo>*</mo> </msubsup> <mo>)</mo> </mrow> <mrow> <mo>(</mo> <mn>1</mn> <mo>-</mo> <msub> <mi>p</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> <mo>&amp;rsqb;</mo> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>2</mn> <mo>)</mo> </mrow> </mrow>
式中，Lcls为分类损失函数，Pi为anchor是第i目标的预测概率；Pi *为真正目标包围盒的第i目标的预测概率；
对于回归损失函数Lreg，用以下函数定义：
<mrow> <msub> <mi>L</mi> <mrow> <mi>r</mi> <mi>e</mi> <mi>g</mi> </mrow> </msub> <mo>=</mo> <mrow> <mo>(</mo> <msub> <mi>t</mi> <mi>i</mi> </msub> <mo>,</mo> <msubsup> <mi>t</mi> <mi>i</mi> <mo>*</mo> </msubsup> <mo>)</mo> </mrow> <mo>=</mo> <mi>R</mi> <mrow> <mo>(</mo> <msub> <mi>t</mi> <mi>i</mi> </msub> <mo>-</mo> <msubsup> <mi>t</mi> <mi>i</mi> <mo>*</mo> </msubsup> <mo>)</mo> </mrow> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>3</mn> <mo>)</mo> </mrow> </mrow>
式中，Lreg为回归损失函数，R是鲁棒的损失函数，用公式(4)计算smooth L1；
<mrow> <msub> <mi>smooth</mi> <mrow> <mi>L</mi> <mn>1</mn> </mrow> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>)</mo> </mrow> <mo>=</mo> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <mn>0.5</mn> <msup> <mi>x</mi> <mn>2</mn> </msup> </mrow> </mtd> <mtd> <mtable> <mtr> <mtd> <mrow> <mi>i</mi> <mi>f</mi> </mrow> </mtd> <mtd> <mrow> <mrow> <mo>|</mo> <mi>x</mi> <mo>|</mo> </mrow> <mo>&lt;</mo> <mn>1</mn> </mrow> </mtd> </mtr> </mtable> </mtd> </mtr> <mtr> <mtd> <mrow> <mrow> <mo>|</mo> <mi>x</mi> <mo>|</mo> </mrow> <mo>-</mo> <mn>0.5</mn> </mrow> </mtd> <mtd> <mrow> <mi>o</mi> <mi>t</mi> <mi>h</mi> <mi>e</mi> <mi>r</mi> <mi>w</mi> <mi>i</mi> <mi>s</mi> <mi>e</mi> <mo>,</mo> </mrow> </mtd> </mtr> </mtable> </mfenced> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>4</mn> <mo>)</mo> </mrow> </mrow>
式中，smoothL1为smooth L1损失函数，x为变量；
Faster R-CNN网络，在输入图像经过深度卷积神经网络后得到特征图，依据特征图以及RPN网络则可以得到相应的RoIs，最后则通过RoI池化层；其中RoI，即感兴趣区域，指的就是机动车的区域；
对于Faster R-CNN网络，输入是N个特征映射和R个RoI；N个特征映射来自于最后一个卷积层，每个特征映射的大小都是w×h×c；
每个RoI是一个元组(n,r,c,h,w),其中，n是特征映射的索引，n∈(0,1,2,...,N-1)，r,c是左上角坐标，h,w分别是高和宽；
输出则由最大池化得到的特征映射，将原图中的RoI与特征图中的块对应起来；将特征图下采样为固定大小，然后再传入全连接。
3.如权利要求2所述的基于深度卷积神经网络的多任务套牌车辆视觉检测系统，其特征在于：所述选择性搜索网络和Fast R-CNN都是独立训练的，使用4步训练算法，通过交替优化来学习共享的特征；第一步，依上述训练RPN，该网络用ImageNet预训练的模型初始化，并端到端微调用于区域建议任务；第二步，利用第一步的RPN生成的建议框，由Fast R-CNN训练一个单独的检测网络，这个检测网络同样是由ImageNet预训练的模型初始化的，这时候两个网络还没有共享卷积层；第三步，用检测网络初始化RPN训练，但固定共享的卷积层，并且只微调RPN独有的层，现在两个网络共享卷积层了；第四步，保持共享的卷积层固定，微调Fast R-CNN的fc，即全连接层；这样，两个网络共享相同的卷积层，构成一个统一的网络；
通过上述两个网络的处理，检测出抓拍图像中的机动车辆并对它们的大小及空间位置进行了框定，即得到了车辆的大小及空间位置，其rv,cv是车辆在图像中的左上角坐标，hv,wv分别是车辆在图像平面的投影大小，即车辆图像的高和宽。
4.如权利要求1～3之一所述的基于深度卷积神经网络的多任务套牌车辆视觉检测系统，其特征在于：所述的车牌定位涉牌违法和识别模块用于对过卡口的车辆的车牌进行定位、涉牌违法检测和车牌号识别；这里采用多任务深度卷积神经网络技术，对所述的基于Faster R-CNN车辆检测模块处理中框定出来车辆的图像上的车牌位置进行定位，得到该车辆的车牌的图像，接着对车牌图像进行涉牌违法行为检测，最后对车牌进行识别，识别出该车辆的车牌号；
所述的涉牌违法行为包括车牌本身违法、不挂车牌和套牌假牌；车牌本身违法包括车牌污染、车牌涂改、车牌遮挡、车牌反光和车牌损坏；基于违法车牌是否可分割、是否可正确识别等特性对各类车牌本身违法车辆及不挂车牌车辆特征分析并进行区分；表1所示的是各种涉牌类型从可分割和可正确识别两个维度总结一览表；
涉牌类型 可分割性 可正确识别性 正常车牌 可分 可识别 被涂改车牌 可分 可识别，但误识别率高 被遮挡车牌 部分可分 可识别，部分可识别 被污染车牌 难以分割 难以识别 被损坏车牌 不可分割 不可识别 被反光车牌 不可分割 不可识别 不挂车牌 不可分割 不可识别
表1
采用车牌灰度图像的垂直投影直方图来进行识别；首先将车牌图像转换为车牌灰度图像，然后对车牌灰度图像做垂直投影直方图；
对于正常车牌，字符，字符清晰，间隔明显并间隔尺寸固定，易于分割，分割所得结果清晰，易于正确识别；利用正常车牌的灰度图像的垂直投影直方图的间隔和分布特征来识别车牌的本身违法行为；如果检测结果不属于正常车牌，系统设置一个非正常车牌标志；
接着，对在正常车牌检测结果的图像进行字符识别，识别出该车辆的车牌号；这里采用了一个中文的开源车牌识别系统EasyPR。
5.如权利要求4所述的基于深度卷积神经网络的多任务套牌车辆视觉检测系统，其特征在于：所述的车辆与车牌发牌机关一致性检测用于比对正常车牌的前二位与车牌发牌机关一致性，在所述的车牌定位涉牌违法和识别模块处理中识别出车辆的车牌号后，然后根据对标准车牌特征分析得到规律，普通民用车牌首位字符为省份简称，第二位为发牌机关代号，全国各省份车牌发牌机关代号统计数据，分别比对车牌号码的第一位和第二位的一致性；如果在比对中发现车牌号码的第一位或第二位的字符不符合标准车牌特征，系统设置一个不符合车辆与车牌发牌机关一致性的标志。
6.如权利要求4所述的基于深度卷积神经网络的多任务套牌车辆视觉检测系统，其特征在于：所述的车牌合法性检测模块用于对在正常车牌检测结果的基础上进一步进行合法性的检测；用所述的车牌定位涉牌违法和识别模块处理中识别出车辆的车牌号与城市车辆黑名单中的车牌号进行比对；如果在黑名单上有该车辆的记录，系统设置一个黑名单车辆的标志。
7.如权利要求4所述的基于深度卷积神经网络的多任务套牌车辆视觉检测系统，其特征在于：所述的基本信息一致性检测模块用于比对识别的车辆基本信息和用合法车牌进行检索得到的机动车辆管理数据库所登记的车辆基本信息的一致性，在所述的车牌定位涉牌违法和识别模块处理中识别出车辆的车牌号，用这个车牌号作为检索访问机动车辆管理数据库得到机动车登记信息，用在所述的车辆类型识别模块处理中识别出车辆的类型、颜色和品牌型号与登记信息中的车辆的类型、颜色和品牌型号做比对，如果相一致，就判定为车辆的基本信息是一致的；反之，继续比对所述的基于Faster R-CNN车辆检测模块处理中框定出来车辆图像与机动车登记信息中的车辆图像之间的相似度；比对的方式是利用FasterR-CNN网络，在全连接层FC7分别输出所述的基于Faster R-CNN车辆检测模块处理中框定出来车辆的图像的特征向量和机动车登记信息中的车辆图像的特征向量，用余弦相似度比较这两个图像的特征向量的相似度，如果相似度大于某个阈值Tv，则判定为是同一辆车辆，即满足车辆基本信息的一致性要求；否则，系统设置一个不符合车辆基本信息一致性的标志。
8.如权利要求1～3之一所述的基于深度卷积神经网络的多任务套牌车辆视觉检测系统，其特征在于：所述的逻辑一致性检测模块用于进一步检测符合车辆基本信息一致性的并拥有合法车牌的车辆是否存在着时空矛盾；这里利用时空特性和车牌号码约束来缩小排查范围，即用车牌号和时间阈值作为检索条件检索通过其他卡口或者行政区域的车辆记录；如果存在有相关记录初步判定为有疑似套牌假牌车辆，需要进一步比对车检标图像在数量上的、顺序上的、间隔上的差异来辨识套牌假牌车辆；这里采用所述的车检标精细比对模块来辨识车辆的车检标图像在数量上的、顺序上的、间隔上的差异。
9.如权利要求1～3之一所述的基于深度卷积神经网络的多任务套牌车辆视觉检测系统，其特征在于：所述的车检标精细比对模块用于比对类型相似车牌相同的车辆上粘贴年检标的数量和顺序；这里利用所述的基于Faster R-CNN车辆检测模块处理中框定出来车辆的图像并取其框的右上部分的图像再通过Faster R-CNN网络检测定位出车检标的位置，即得到了车检标的大小及空间位置，其rri,cri是第i个车检标在图像中的左上角坐标，hri,wri分别是第i个车检标在图像平面的投影大小，即高和宽；若有多个车检标那么就会有多个车检标的框，这里简称第一车检标图像；接着，对所述的逻辑一致性检测模块得到的疑似套牌车辆图像进行处理，用上述同样的方法分割出疑似套牌车辆的车检标的框，这里简称第二车检标图像；然后比对第一车检标图像和第二车检标图像之间的差异；首先比对年检标的数量是否相同，如果不相同就判定为两辆车的身份不同，其中有一辆为套牌或者假牌车；如果相同进一步用所述的车检标精细比对模块来辨识车辆的车检标图像在顺序和间隔上的差异；
进一步比对第一车检标图像和第二车检标图像的相似度；比对的方式利用Faster R-CNN网络，在全连接层FC7分别输出第一车检标图像的特征向量和第二车检标图像的特征向量，用余弦相似度比较这两个图像的特征向量的相似度，如果相似度大于某个阈值Tl，则判定为是同一辆车辆，否则就判定为两辆车的身份不同，其中一辆为套牌或者假牌车，系统设置一个不符合逻辑一致性标志。
10.如权利要求1～3之一所述的基于深度卷积神经网络的多任务套牌车辆视觉检测系统，其特征在于：所述的告警通知书生成模块用于根据在套牌假牌车辆检测过程中得到的各种标志信息，自动生成关于涉牌违法行为、车辆与车牌发牌机关一致性、黑名单车辆、车辆基本信息一致性、逻辑一致性方面检测的结果报告，告警通知书中的内容还包括：卡口抓拍的图像、车辆基本信息、通过卡口地点和时间，以便管理人员进行核对确认告警通知书中的内容。
11.一种如权利要求1所述的基于深度卷积神经网络的多任务套牌车辆视觉检测系统实现的检测方法，其特征在于：所述检测方法包括以下过程：
首先，读取卡口抓拍的图像，用所述的基于Faster R-CNN车辆检测模块定位分割出图像中的车辆部分，如果图像中存在着多个车辆对象，那么就启动与车辆对象数相同的线程，每个线程各自负责该车辆对象的套牌假牌违法行为的检测；接着用所述的车辆类型识别模块对车辆部分的图像进行识别，识别出车辆的类型、颜色和品牌型号；
进一步，对用所述的基于Faster R-CNN车辆检测模块定位分割出图像中的车辆部分的图像用Faster R-CNN定位分割出车辆图像中的车牌部分的图像；
接着，对车牌部分的图像进行涉牌违法行为检测，涉牌违法行为检测主要是通过对车牌部分的图像进行灰度变化再做垂直投影直方图，通过比对正常牌照垂直投影直方图的分布情况来判断涉牌违法行为，若存在着涉牌违法行为就设置涉牌违法行为标志，转到所述的告警通知书生成模块，在该模块中根据标志信息自动生成告警通知书并推送给管理人员；若是正常车牌检测结果，对车牌图像进行字符识别，识别出该车辆的车牌号；
进一步，对所识别出来的车牌号进行车辆与车牌发牌机关一致性的检测，如果检测结果不具备一致性就设置一个不符合车辆与车牌发牌机关一致性的标志，转到告警通知书生成模块，在该模块中根据标志信息自动生成告警通知书并推送给管理人员；对于具备符合车辆与车牌发牌机关一致性的车牌接着要进行合法性检测，合法性检测是具备了一致性的正常车牌通过检索城市车辆黑名单来进行的；如果在黑名单上有该车辆的记录，系统设置一个黑名单车辆标志，转到告警通知书生成模块，在该模块中根据标志信息自动生成告警通知书并推送给管理人员；对于具备合法性的车牌接着要进行车辆基本信息的一致性检测，用具备合法性的车牌号码作为检索条件访问机动车辆管理数据库得到机动车登记信息，用在所述的车辆类型识别模块处理中识别出车辆的类型、颜色和品牌型号与登记信息中的车辆的类型、颜色和品牌型号做比对，如果相一致，就判定为满足车辆基本信息的一致性要求；如果不一致，进一步用所述的基于Faster R-CNN车辆检测模块处理中框定出来车辆的图像与登记信息中的车辆图像进行比对，比对的方式还是利用Faster R-CNN网络，在全连接层FC7分别输出所述的基于Faster R-CNN车辆检测模块处理中框定出来车辆的图像的特征向量和登记信息中的车辆图像的特征向量，用余弦相似度比较这两个图像的特征向量的相似度，如果相似度大于某个阈值Tv，Tv＝0.7，则判定为是满足车辆基本信息的一致性要求；对于相似度小于等于阈值Tv就设置一个车辆基本信息不一致标志，转到告警通知书生成模块，在该模块中根据标志信息自动生成告警通知书并推送给管理人员；
进一步，对于满足车辆基本信息的一致性要求的车辆还需要进行逻辑一致性检测，设置一个时间阈值，利用时空特性和车牌号码约束来缩小排查范围，用车检标精细比对方法精准的比较出外貌上相似车牌相同车辆的异同点，比对的方式是利用Faster R-CNN网络，在全连接层FC7分别输出比对的一辆车框定出来包含所有车检标的图像的特征向量和比对的另一辆车框定出来包含所有车检标的图像的特征向量，用余弦相似度比较这两个图像的特征向量的相似度，如果相似度大于某个阈值Tl，Tl＝0.7则判定为是同一辆车辆；否则就判定为两辆车的身份不同，则设置不符合逻辑一致性标志转到告警通知书生成模块，在该模块中根据标志信息自动生成告警通知书并推送给管理人员；接着，继续对下一幅卡口抓拍图像进行套牌假牌检测。
CN201710441056.4A 2017-06-13 2017-06-13 基于深度卷积神经网络的多任务套牌车辆视觉检测系统及方法 Pending CN107730905A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710441056.4A CN107730905A (zh) 2017-06-13 2017-06-13 基于深度卷积神经网络的多任务套牌车辆视觉检测系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710441056.4A CN107730905A (zh) 2017-06-13 2017-06-13 基于深度卷积神经网络的多任务套牌车辆视觉检测系统及方法

Publications (1)

Publication Number Publication Date
CN107730905A true CN107730905A (zh) 2018-02-23

Family

ID=61201674

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710441056.4A Pending CN107730905A (zh) 2017-06-13 2017-06-13 基于深度卷积神经网络的多任务套牌车辆视觉检测系统及方法

Country Status (1)

Country Link
CN (1) CN107730905A (zh)

Cited By (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108648462A (zh) * 2018-05-10 2018-10-12 芜湖航飞科技股份有限公司 一种基于雷达和视觉信息相融合的车辆识别方法
CN108805042A (zh) * 2018-05-25 2018-11-13 武汉东智科技股份有限公司 道路区域监控视频被树叶遮挡的检测方法
CN108960107A (zh) * 2018-06-25 2018-12-07 安徽百诚慧通科技有限公司 一种小微型面包车超员识别方法及装置
CN109242516A (zh) * 2018-09-06 2019-01-18 北京京东尚科信息技术有限公司 处理服务单的方法和装置
CN109409513A (zh) * 2018-10-10 2019-03-01 广州市百果园信息技术有限公司 一种基于神经网络的任务处理方法及相关设备
CN109447064A (zh) * 2018-10-09 2019-03-08 温州大学 一种基于cnn的双行车牌分割方法及系统
CN109543753A (zh) * 2018-11-23 2019-03-29 中山大学 基于自适应模糊修复机制的车牌识别方法
CN109583305A (zh) * 2018-10-30 2019-04-05 南昌大学 一种基于关键部件识别和细粒度分类的车辆重识别的先进方法
CN109670449A (zh) * 2018-12-20 2019-04-23 天津天地伟业信息系统集成有限公司 一种基于垂直抓拍方式的车辆违法判断方法
CN109740478A (zh) * 2018-12-26 2019-05-10 山东创科自动化科技有限公司 车辆检测及识别方法、装置、计算机设备及可读存储介质
CN109766808A (zh) * 2018-12-29 2019-05-17 南通贝法瑞信息科技有限公司 一种基于二维标签进行汽车标注与识别的ai算法
CN109816001A (zh) * 2019-01-10 2019-05-28 高新兴科技集团股份有限公司 一种基于深度学习的车辆多属性识别方法、装置和设备
CN109885718A (zh) * 2019-02-28 2019-06-14 江南大学 一种基于深度车贴检测的嫌疑车辆检索方法
CN109948416A (zh) * 2018-12-31 2019-06-28 上海眼控科技股份有限公司 一种基于深度学习的违法占用公交车道自动审核方法
CN110033049A (zh) * 2019-04-18 2019-07-19 北京字节跳动网络技术有限公司 用于生成模型、用于输出信息的方法和装置
CN110176145A (zh) * 2019-05-28 2019-08-27 中国科学技术大学 套牌车的检测方法及装置、卡口
CN110188717A (zh) * 2019-06-03 2019-08-30 中国通信建设第四工程局有限公司 图像获取方法及装置
CN110276403A (zh) * 2019-06-25 2019-09-24 北京百度网讯科技有限公司 模型建立方法和装置
CN110322475A (zh) * 2019-05-23 2019-10-11 北京中科晶上科技股份有限公司 一种视频的稀疏检测方法
CN110390330A (zh) * 2019-07-25 2019-10-29 网链科技集团有限公司 电动自行车车牌识别系统及方法
CN110415512A (zh) * 2018-04-28 2019-11-05 杭州海康威视数字技术股份有限公司 车辆信息管理方法、装置及存储介质
CN110569690A (zh) * 2018-06-06 2019-12-13 浙江宇视科技有限公司 目标信息获取方法及装置
CN110609861A (zh) * 2018-05-29 2019-12-24 杭州海康威视数字技术股份有限公司 车辆识别方法、装置、电子设备及存储介质
CN110689725A (zh) * 2019-09-03 2020-01-14 北京理工大学 用于道口综合检查的安保机器人系统及其处理方法
CN110837807A (zh) * 2019-11-11 2020-02-25 内蒙古大学 一种套牌车辆的识别方法及系统
CN111079602A (zh) * 2019-12-06 2020-04-28 长沙千视通智能科技有限公司 基于多尺度区域特征约束的车辆细粒度识别方法及装置
CN111144372A (zh) * 2019-12-31 2020-05-12 上海眼控科技股份有限公司 车辆检测方法、装置、计算机设备和存储介质
CN111310561A (zh) * 2020-01-07 2020-06-19 成都睿琪科技有限责任公司 车辆配置识别方法及装置
CN111444911A (zh) * 2019-12-13 2020-07-24 珠海大横琴科技发展有限公司 车牌识别模型的训练方法及装置、车牌识别方法及装置
US10748033B2 (en) 2018-12-11 2020-08-18 Industrial Technology Research Institute Object detection method using CNN model and object detection apparatus using the same
CN111582263A (zh) * 2020-05-12 2020-08-25 上海眼控科技股份有限公司 车牌识别方法、装置、电子设备及存储介质
CN111723795A (zh) * 2019-03-21 2020-09-29 杭州海康威视数字技术股份有限公司 异常车牌识别方法、装置、电子设备及存储介质
CN111814751A (zh) * 2020-08-14 2020-10-23 深延科技(北京)有限公司 基于深度学习目标检测和图像识别的车辆属性分析方法及系统
CN112017444A (zh) * 2020-08-28 2020-12-01 上海依图网络科技有限公司 一种套牌车辆检测方法及其装置、介质和系统
CN112115800A (zh) * 2020-08-25 2020-12-22 南京航空航天大学 一种基于深度学习目标检测的车辆组合识别系统及方法
CN113222070A (zh) * 2021-06-03 2021-08-06 中国科学院软件研究所 一种仿真图像数据自动标注方法及系统
CN113252060A (zh) * 2021-05-31 2021-08-13 智道网联科技(北京)有限公司 基于神经网络模型的车辆轨迹推算方法及装置
CN113609969A (zh) * 2021-08-03 2021-11-05 北京睿芯高通量科技有限公司 一种复杂场景下的车牌检测识别方法以及系统
CN113850995A (zh) * 2021-09-14 2021-12-28 华设设计集团股份有限公司 一种基于隧道雷视数据融合的事件检测方法、装置及系统
CN114255520A (zh) * 2021-12-20 2022-03-29 中国科学院福建物质结构研究所 一种收费站应急管理系统、采集系统、模块及方法
CN114882597A (zh) * 2022-07-11 2022-08-09 浙江大华技术股份有限公司 一种目标行为的识别方法、装置及电子设备
CN114999173A (zh) * 2022-05-25 2022-09-02 广东飞达交通工程有限公司 一种基于深度卷积神经网络的道路交通目标属性识别方法
CN115131972A (zh) * 2022-07-25 2022-09-30 深圳深略智慧信息服务有限公司 一种基于多源数据融合构成的数据管理方法及系统
CN116229374A (zh) * 2023-05-06 2023-06-06 浪潮数字粮储科技有限公司 一种针对粮仓偷换入库车辆的识别方法、设备及存储介质
CN116702809A (zh) * 2023-05-22 2023-09-05 山东黄金矿业(莱州)有限公司三山岛金矿 一种简易图案车牌识别检测方法

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101630361A (zh) * 2008-12-30 2010-01-20 北京邮电大学 一种基于车牌、车身颜色和车标识别的套牌车辆识别设备及方法
CN102254435A (zh) * 2011-07-01 2011-11-23 广州市华标科技发展有限公司 一种基于薄型纸质电子年检标签的车辆稽查方法
CN103279756A (zh) * 2013-06-13 2013-09-04 苏州市公安局苏州工业园区分局 基于集成分类器的车辆检测分析系统及其检测分析方法
CN103530366A (zh) * 2013-10-12 2014-01-22 湖北微模式科技发展有限公司 一种基于自定义特征的车辆搜索方法与系统
CN105185123A (zh) * 2015-10-08 2015-12-23 南京信息工程大学 一种套牌车识别系统及方法
CN105868691A (zh) * 2016-03-08 2016-08-17 中国石油大学(华东) 基于快速区域卷积神经网络的城市车辆追踪方法
CN105868269A (zh) * 2016-03-08 2016-08-17 中国石油大学(华东) 基于区域卷积神经网络的精确图像检索方法
CN105891215A (zh) * 2016-03-31 2016-08-24 浙江工业大学 基于卷积神经网络的焊接视觉检测方法及装置
CN105975903A (zh) * 2016-04-22 2016-09-28 安徽大学 一种汽车特征识别方法
CN106250555A (zh) * 2016-08-15 2016-12-21 东方网力科技股份有限公司 基于大数据的车辆检索方法及装置
CN106250812A (zh) * 2016-07-15 2016-12-21 汤平 一种基于快速r‑cnn深度神经网络的车型识别方法
CN106599939A (zh) * 2016-12-30 2017-04-26 深圳市唯特视科技有限公司 一种基于区域卷积神经网络的实时目标检测方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101630361A (zh) * 2008-12-30 2010-01-20 北京邮电大学 一种基于车牌、车身颜色和车标识别的套牌车辆识别设备及方法
CN102254435A (zh) * 2011-07-01 2011-11-23 广州市华标科技发展有限公司 一种基于薄型纸质电子年检标签的车辆稽查方法
CN103279756A (zh) * 2013-06-13 2013-09-04 苏州市公安局苏州工业园区分局 基于集成分类器的车辆检测分析系统及其检测分析方法
CN103530366A (zh) * 2013-10-12 2014-01-22 湖北微模式科技发展有限公司 一种基于自定义特征的车辆搜索方法与系统
CN105185123A (zh) * 2015-10-08 2015-12-23 南京信息工程大学 一种套牌车识别系统及方法
CN105868691A (zh) * 2016-03-08 2016-08-17 中国石油大学(华东) 基于快速区域卷积神经网络的城市车辆追踪方法
CN105868269A (zh) * 2016-03-08 2016-08-17 中国石油大学(华东) 基于区域卷积神经网络的精确图像检索方法
CN105891215A (zh) * 2016-03-31 2016-08-24 浙江工业大学 基于卷积神经网络的焊接视觉检测方法及装置
CN105975903A (zh) * 2016-04-22 2016-09-28 安徽大学 一种汽车特征识别方法
CN106250812A (zh) * 2016-07-15 2016-12-21 汤平 一种基于快速r‑cnn深度神经网络的车型识别方法
CN106250555A (zh) * 2016-08-15 2016-12-21 东方网力科技股份有限公司 基于大数据的车辆检索方法及装置
CN106599939A (zh) * 2016-12-30 2017-04-26 深圳市唯特视科技有限公司 一种基于区域卷积神经网络的实时目标检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
时念锋: "基于卡口图像的涉牌违法车辆智能检测", 《中国优秀硕士学位论文全文数据库（电子期刊）信息科技辑》 *
王自然,等: "车辆假牌套牌多约束智能检测方法", 《南京师范大学学报（工程技术版）》 *

Cited By (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110415512A (zh) * 2018-04-28 2019-11-05 杭州海康威视数字技术股份有限公司 车辆信息管理方法、装置及存储介质
CN108648462A (zh) * 2018-05-10 2018-10-12 芜湖航飞科技股份有限公司 一种基于雷达和视觉信息相融合的车辆识别方法
CN108805042A (zh) * 2018-05-25 2018-11-13 武汉东智科技股份有限公司 道路区域监控视频被树叶遮挡的检测方法
CN110609861A (zh) * 2018-05-29 2019-12-24 杭州海康威视数字技术股份有限公司 车辆识别方法、装置、电子设备及存储介质
CN110569690A (zh) * 2018-06-06 2019-12-13 浙江宇视科技有限公司 目标信息获取方法及装置
CN108960107A (zh) * 2018-06-25 2018-12-07 安徽百诚慧通科技有限公司 一种小微型面包车超员识别方法及装置
CN109242516A (zh) * 2018-09-06 2019-01-18 北京京东尚科信息技术有限公司 处理服务单的方法和装置
CN109447064B (zh) * 2018-10-09 2019-07-30 温州大学 一种基于cnn的双行车牌分割方法及系统
CN109447064A (zh) * 2018-10-09 2019-03-08 温州大学 一种基于cnn的双行车牌分割方法及系统
CN109409513A (zh) * 2018-10-10 2019-03-01 广州市百果园信息技术有限公司 一种基于神经网络的任务处理方法及相关设备
CN109583305A (zh) * 2018-10-30 2019-04-05 南昌大学 一种基于关键部件识别和细粒度分类的车辆重识别的先进方法
CN109543753B (zh) * 2018-11-23 2024-01-05 中山大学 基于自适应模糊修复机制的车牌识别方法
CN109543753A (zh) * 2018-11-23 2019-03-29 中山大学 基于自适应模糊修复机制的车牌识别方法
US10748033B2 (en) 2018-12-11 2020-08-18 Industrial Technology Research Institute Object detection method using CNN model and object detection apparatus using the same
CN109670449B (zh) * 2018-12-20 2023-06-30 天津天地伟业信息系统集成有限公司 一种基于垂直抓拍方式的车辆违法判断方法
CN109670449A (zh) * 2018-12-20 2019-04-23 天津天地伟业信息系统集成有限公司 一种基于垂直抓拍方式的车辆违法判断方法
CN109740478B (zh) * 2018-12-26 2023-04-28 杨先明 车辆检测及识别方法、装置、计算机设备及可读存储介质
CN109740478A (zh) * 2018-12-26 2019-05-10 山东创科自动化科技有限公司 车辆检测及识别方法、装置、计算机设备及可读存储介质
CN109766808A (zh) * 2018-12-29 2019-05-17 南通贝法瑞信息科技有限公司 一种基于二维标签进行汽车标注与识别的ai算法
CN109948416A (zh) * 2018-12-31 2019-06-28 上海眼控科技股份有限公司 一种基于深度学习的违法占用公交车道自动审核方法
CN109816001A (zh) * 2019-01-10 2019-05-28 高新兴科技集团股份有限公司 一种基于深度学习的车辆多属性识别方法、装置和设备
CN109885718A (zh) * 2019-02-28 2019-06-14 江南大学 一种基于深度车贴检测的嫌疑车辆检索方法
CN109885718B (zh) * 2019-02-28 2021-05-28 江南大学 一种基于深度车贴检测的嫌疑车辆检索方法
CN111723795B (zh) * 2019-03-21 2023-02-03 杭州海康威视数字技术股份有限公司 异常车牌识别方法、装置、电子设备及存储介质
CN111723795A (zh) * 2019-03-21 2020-09-29 杭州海康威视数字技术股份有限公司 异常车牌识别方法、装置、电子设备及存储介质
CN110033049A (zh) * 2019-04-18 2019-07-19 北京字节跳动网络技术有限公司 用于生成模型、用于输出信息的方法和装置
CN110322475A (zh) * 2019-05-23 2019-10-11 北京中科晶上科技股份有限公司 一种视频的稀疏检测方法
CN110176145A (zh) * 2019-05-28 2019-08-27 中国科学技术大学 套牌车的检测方法及装置、卡口
CN110188717A (zh) * 2019-06-03 2019-08-30 中国通信建设第四工程局有限公司 图像获取方法及装置
CN110276403A (zh) * 2019-06-25 2019-09-24 北京百度网讯科技有限公司 模型建立方法和装置
CN110390330A (zh) * 2019-07-25 2019-10-29 网链科技集团有限公司 电动自行车车牌识别系统及方法
CN110689725A (zh) * 2019-09-03 2020-01-14 北京理工大学 用于道口综合检查的安保机器人系统及其处理方法
CN110837807A (zh) * 2019-11-11 2020-02-25 内蒙古大学 一种套牌车辆的识别方法及系统
CN111079602A (zh) * 2019-12-06 2020-04-28 长沙千视通智能科技有限公司 基于多尺度区域特征约束的车辆细粒度识别方法及装置
CN111079602B (zh) * 2019-12-06 2024-02-09 长沙千视通智能科技有限公司 基于多尺度区域特征约束的车辆细粒度识别方法及装置
CN111444911B (zh) * 2019-12-13 2021-02-26 珠海大横琴科技发展有限公司 车牌识别模型的训练方法及装置、车牌识别方法及装置
CN111444911A (zh) * 2019-12-13 2020-07-24 珠海大横琴科技发展有限公司 车牌识别模型的训练方法及装置、车牌识别方法及装置
CN111144372A (zh) * 2019-12-31 2020-05-12 上海眼控科技股份有限公司 车辆检测方法、装置、计算机设备和存储介质
CN111310561A (zh) * 2020-01-07 2020-06-19 成都睿琪科技有限责任公司 车辆配置识别方法及装置
CN111582263A (zh) * 2020-05-12 2020-08-25 上海眼控科技股份有限公司 车牌识别方法、装置、电子设备及存储介质
CN111814751A (zh) * 2020-08-14 2020-10-23 深延科技(北京)有限公司 基于深度学习目标检测和图像识别的车辆属性分析方法及系统
CN112115800A (zh) * 2020-08-25 2020-12-22 南京航空航天大学 一种基于深度学习目标检测的车辆组合识别系统及方法
CN112017444A (zh) * 2020-08-28 2020-12-01 上海依图网络科技有限公司 一种套牌车辆检测方法及其装置、介质和系统
CN113252060A (zh) * 2021-05-31 2021-08-13 智道网联科技(北京)有限公司 基于神经网络模型的车辆轨迹推算方法及装置
CN113222070A (zh) * 2021-06-03 2021-08-06 中国科学院软件研究所 一种仿真图像数据自动标注方法及系统
CN113609969A (zh) * 2021-08-03 2021-11-05 北京睿芯高通量科技有限公司 一种复杂场景下的车牌检测识别方法以及系统
CN113850995A (zh) * 2021-09-14 2021-12-28 华设设计集团股份有限公司 一种基于隧道雷视数据融合的事件检测方法、装置及系统
CN114255520A (zh) * 2021-12-20 2022-03-29 中国科学院福建物质结构研究所 一种收费站应急管理系统、采集系统、模块及方法
CN114999173A (zh) * 2022-05-25 2022-09-02 广东飞达交通工程有限公司 一种基于深度卷积神经网络的道路交通目标属性识别方法
CN114882597A (zh) * 2022-07-11 2022-08-09 浙江大华技术股份有限公司 一种目标行为的识别方法、装置及电子设备
CN115131972A (zh) * 2022-07-25 2022-09-30 深圳深略智慧信息服务有限公司 一种基于多源数据融合构成的数据管理方法及系统
CN116229374A (zh) * 2023-05-06 2023-06-06 浪潮数字粮储科技有限公司 一种针对粮仓偷换入库车辆的识别方法、设备及存储介质
CN116702809A (zh) * 2023-05-22 2023-09-05 山东黄金矿业(莱州)有限公司三山岛金矿 一种简易图案车牌识别检测方法

Similar Documents

Publication Publication Date Title
CN107730905A (zh) 基于深度卷积神经网络的多任务套牌车辆视觉检测系统及方法
Li et al. Deep learning‐based safety helmet detection in engineering management based on convolutional neural networks
CN103366602B (zh) 从数字摄像头图像确定停车场占用情况的方法
CN106358444B (zh) 用于面部验证的方法和系统
Shirowzhan et al. Data mining for recognition of spatial distribution patterns of building heights using airborne lidar data
WO2020124247A1 (en) Automated inspection system and associated method for assessing the condition of shipping containers
Ma et al. A real-time crack detection algorithm for pavement based on CNN with multiple feature layers
CN110298278A (zh) 一种基于人工智能的地下停车库行人车辆监测方法
CN105574550A (zh) 一种车辆识别方法及装置
Minetto et al. Measuring human and economic activity from satellite imagery to support city-scale decision-making during covid-19 pandemic
CN109993138A (zh) 一种车牌检测与识别方法及装置
CN105160330A (zh) 一种车标识别方法及车标识别系统
CN107203775A (zh) 一种图像分类的方法、装置和设备
CN102129568A (zh) 利用改进的高斯混合模型分类器检测图像垃圾邮件的方法
CN112613375A (zh) 一种轮胎受损检测识别方法和设备
Ghosh et al. Automated detection and classification of pavement distresses using 3D pavement surface images and deep learning
CN110728252A (zh) 一种应用于区域人员运动轨迹监控的人脸检测方法
Ghodgaonkar et al. Analyzing worldwide social distancing through large-scale computer vision
CN116824335A (zh) 一种基于YOLOv5改进算法的火灾预警方法及系统
CN109993049A (zh) 一种面向智能安防领域的视频图像结构化分析系统
CN105404858A (zh) 一种基于深度费舍尔网络的车型识别方法
Xue et al. Nighttime pedestrian and vehicle detection based on a fast saliency and multifeature fusion algorithm for infrared images
CN114360182B (zh) 一种智能告警方法、装置、设备及存储介质
CN115018215B (zh) 基于多模态认知图谱的人口居住预测方法、系统和介质
CN110765900A (zh) 一种基于dssd的自动检测违章建筑方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180223