CN111444840A - 一种套牌车辆自动检测方法及系统 - Google Patents

一种套牌车辆自动检测方法及系统 Download PDF

Info

Publication number
CN111444840A
CN111444840A CN202010223772.7A CN202010223772A CN111444840A CN 111444840 A CN111444840 A CN 111444840A CN 202010223772 A CN202010223772 A CN 202010223772A CN 111444840 A CN111444840 A CN 111444840A
Authority
CN
China
Prior art keywords
vehicle
picture
license plate
fake
local
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010223772.7A
Other languages
English (en)
Other versions
CN111444840B (zh
Inventor
曹玉社
李峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhongkehai Micro Beijing Technology Co ltd
Original Assignee
Zhongkehai Micro Beijing Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhongkehai Micro Beijing Technology Co ltd filed Critical Zhongkehai Micro Beijing Technology Co ltd
Priority to CN202010223772.7A priority Critical patent/CN111444840B/zh
Publication of CN111444840A publication Critical patent/CN111444840A/zh
Application granted granted Critical
Publication of CN111444840B publication Critical patent/CN111444840B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63—Scene text, e.g. street names
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明提供了一种套牌车辆自动检测方法，所述方法基于卡口摄像头得到车辆图片，并通过车属性检测到车辆各部分图片，将车辆本身图片以及各部分图片整合作为以图搜车算法的输入进行特征提取，与通过车牌识别出的车牌号查找到的车辆信息库做比对，进而来判断是否为套牌车。本发明同时提供了一种套牌车辆自动检测系统。本发明提供的套牌车辆自动检测方法及系统，实用性强，可以满足大部分场景下套牌车检测的准确率；所采用的算法复杂度低，可集成性强，运行速度快，可以保证实时性。

Description

一种套牌车辆自动检测方法及系统
技术领域
本发明涉及图像处理技术领域，具体地，涉及一种套牌车辆自动检测方法及系统。
背景技术
套牌车是指参照真实牌照，将号码相同的假牌套在其他车上，以使不合法的车辆在表面披上合法的外衣。套牌车已被国家禁止。《中华人民共和国交通法》中有明确规定，不允许套牌车辆的流动。因此，在现实场景应用过程中，套牌车检测的准确度和实时性是至关重要的。
目前，现有的的套牌车检测主要采用如下几种方法：
1、涉及硬件的套牌车检测方法：
1)对每一个车牌边框制作独一无二的缺口和凸起从而提升车牌的防复制能力。
2)基于RFID的套牌车检测技术，即利用RFID技术将车辆信息存储在标签中，装有标签读取器的交通卡口可以读取标签中的车牌号并将其与卡口摄像头识别的车牌号进行比对进而检测套牌车。
3)基于物联网的技术将加密过存有车辆信息的电子标签植入机动车中，当车辆通过被无线覆盖的基站时，电子标签中的信息将被读取并显示在终端上，若车辆没有安装电子标签或者电子标签中的信息与车辆不符合时，该车被判定为套牌车并将该车辆锁定。
以上硬件相关方法虽然能够有效准确的发现套牌车，但是这些方法成本较高，需要政府和车主的配合，因此在现实生活中难以快速推广。
2.基于软件的套牌车检测方法：
主要是基于卡口的检测数据进行处理分析，利用时空矛盾即同一个车牌不能在短时间内出现在两个距离较远的位置，对卡口历史监测数据进行处理从而检测套牌车该方法通过整合历史监测数据得到车牌对应的轨迹，当检测到任意一段子轨迹的平均速度大于设定好的阈值时，就判定该车为套牌车。利用时空矛盾对卡口监测数据进行处理监测时通常采用统一的速度阈值，在阈值设置不当的情况下容易造成套牌车辆的漏检或误判。
而随着汽车数量的膨胀，涉车违法犯罪愈加猖獗，车辆套牌违法行为呈多发态势，公安机关的整治行动一度陷入困境，而现有的套牌车检测方法，明显不能有效的进行车辆套牌违法行为的检测，因此，如何准确、实时检测到套牌车非法上路行驶，成为本领域亟待解决的问题。
目前没有发现同本发明类似技术的说明或报道，也尚未收集到国内外类似的资料。
发明内容
本发明针对现有技术中存在的上述不足，提供了一种套牌车辆自动检测方法及系统，该方法及系统基于卡口摄像头得到车辆图片，并通过车属性检测到车辆各部分图片，将车辆本身图片以及各部分图片整合作为以图搜车算法的输入进行特征提取，与通过车牌识别出的车牌号查找到的车辆信息库做比对，进而来判断是否为套牌车，具有高准确率且实效性强的特点。
本发明是通过以下技术方案实现的。
根据本发明的一个方面，提供了一种套牌车辆自动检测方法，包括：
S1，获取现场往来车辆场景图像，确定场景图像中每一辆车的车辆整体图片；
S2，对S1中得到的每一辆车进行车属性检测，得到设定的局部位置图片以及车牌位置图片；
S3，对S2中得到的车牌位置图片进行车牌号码识别；
S4，根据S2中得到的设定的局部位置图片，与S1中得到的车辆整体图片进行通道拼接；
S5，将S4中得到的拼接图片输入至以图搜车模型，进行特征提取；
S6，根据S3中得到的车牌号码，获取与车牌号码相对应的车辆在设定时间阈值内的所有特征信息，并与S5中得到的特征信息进行两两特征比对，生成相似度向量；
S7，设定相似度阈值以及比例阈值，当相似度值低于相似度阈值的所占比例大于比例阈值时，判断该车辆具有套牌嫌疑。
优选地，所述S1中，通过关卡卡口摄像头获取现场往来车辆场景图像，并采用SSD网络，将场景图像输入至训练好的SSD网络，输出为每辆车的位置坐标，进而根据每辆车的位置坐标，确定场景图像中每一辆车的车辆整体图片。
优选地，所述S2中，采用Yolov3网络模型，将车辆整体图片输入至训练好的Yolov3网络模型，输出为每种车属性的位置坐标，对得到的每一辆车进行车属性检测，进而通过每种车属性位置坐标，得到车牌位置图片和设定的局部位置图片；其中，所述设定的局部位置图片至少包括车窗图片、车引擎盖图片以及车顶行李架图片中的任意一种或任意多种。
优选地，所述Yolov3网络模型通过以下方法训练得到：对不同车属性进行标注后作为训练数据进行网络训练。
优选地，所述S3中，采用车牌识别模块，对车牌号码进行识别；其中：
所述车牌识别模块采用LPRNet网络以及STN网络，将车牌位置图片作为输入，通过训练好的STN网络进行空间矫正，后通过训练好的LPRNet网络进行车牌号码的识别。
优选地，所述S4中，局部位置图片与车辆整体图片通过四通道融合拼接的方法进行通道拼接。
优选地，所述S5中，采用灰度图模式，采用多输入通道将拼接图片输入至以图搜车模型；其中，输入通道数量与拼接的图片数量一致；
所述以图搜车模型包括：三层卷积层C、四层最大池化层P、三层局部卷积层LC、一层全连接层FC；其中：
所述卷积层C和局部卷积层LC的滤波器尺寸均为3×3，步长为1，其后为PReLU非线性单元；三层局部卷积层的权重分别在4×4、2×2和1×1区域进行局部共享；卷积层的特征数为128，局部卷积层的特征数为256；
最大池化层网格为2×2，步长为2；
将第四层池化层和第三层局部卷积层的输出连接为全连接层的输入；全连接层的输出尺寸为512。
优选地，所述S5中，以图搜车模型对拼接图片进行特征提取的方法，具体为：
将拼接图片作为以图搜车模型输入，通过以图搜车模型输出特征向量。
优选地，所述以图搜车模型采用softmax损失函数和中心损失函数的融合，对提取的特征进行区分：
所述中心损失函数如下所示：
Figure BDA0002426972290000041
式中：Lc表示中心损失函数损失值，xi表示第i个全连接层之前的特征，属于第yi类，m表示mini-batch的大小；
Figure BDA0002426972290000042
表示深度特征的第yi个类别中心，Rd表示d维特征；
Lc关于xi的梯度和
Figure BDA0002426972290000043
的更新计算为：
Figure BDA0002426972290000044
Figure BDA0002426972290000045
式中：Lc表示中心损失函数损失值，xi表示第i个全连接层之前的特征，属于第yi类，m表示mini-batch的大小；
Figure BDA0002426972290000046
表示深度特征的第yi个类别中心，Rd表示d维特征，δ(condition)在condition为真时等于1，反之等于0；
所述softmax损失函数如下所示：
Figure BDA0002426972290000047
式中：Ls表示softmax损失函数损失值，Wj表示最后一个全连接层中的第j列权重，bj为偏置项，xi表示第i个全连接层之前的特征，属于第yi类，m表示mini-batch的大小，n表示类别数量；
融合后的总损失函数为：
L＝Ls+λLc
式中：L表示总损失值，θ表示中心损失函数的参与度，λ∈[0,1]。
优选地，所述S6中，设定的时间阈值为15～30天。
优选地，所述S7中，设定的相似度阈值为：0.9；设定的比例阈值为：90％。
根据本发明的另一个方面，提供了一种套牌车辆自动检测系统，包括：
车辆整体确定模块：对获取现场往来车辆场景图像中的每一个车进行车辆整体图片确定；
车属性检测模块：对车辆整体确定模块中得到的每一辆车进行车属性检测，分别得到一个或多个设定的局部位置图片以及车牌位置图片；
车牌识别模块：对车属性检测模块中得到的车牌位置图片进行车牌号码识别；
图像拼接模块：根据车属性检测模块中得到的设定的局部位置图片，与车辆整体确定模块中得到的车辆整体图片进行通道拼接；
特征提取模块：将图像拼接模块中得到的拼接图片输入至以图搜车模型，进行特征提取；
特征比较模块：根据车牌号码识别模块中得到的车牌号码，获取与车牌号码相对应的车辆在设定时间阈值内的所有特征信息，并与特征提取模块中得到的特征信息进行两两特征比对，生成相似度向量；
结果判定模块：设定相似度阈值以及比例阈值，当相似度值低于相似度阈值的所占比例大于比例阈值时，判断该车辆具有套牌嫌疑。
优选地，所述车辆整体确定模块中，通过关卡卡口摄像头获取现场往来车辆场景图像，并采用SSD网络，将场景图像输入至训练好的SSD网络，输出为每辆车的位置坐标，进而根据每辆车的位置坐标，确定场景图像中每一辆车的车辆整体图片。
优选地，所述车属性检测模块采用Yolov3网络模型，将车辆整体图片输入至训练好的Yolov3网络模型，输出为每种车属性的位置坐标，对得到的每一辆车进行车属性检测，进而通过每种车属性位置坐标，得到车牌位置图片和设定的局部位置图片；其中，所述设定的局部位置图片至少包括：车窗图片、车引擎盖图片以及车顶行李架图片中的任意一种或任意多种。
优选地，所述车牌识别模块采用LPRNet网络以及STN网络，将车牌位置图片作为输入，通过训练好的STN网络进行空间矫正，后通过训练好的LPRNet网络进行车牌号码的识别。
优选地，所述以图搜车模型包括：三层卷积层C、四层最大池化层P、三层局部卷积层LC、一层全连接层FC；其中：
所述卷积层C和局部卷积层LC的滤波器尺寸均为3×3，步长为1，其后为PReLU非线性单元；三层局部卷积层的权重分别在4×4、2×2和1×1区域进行局部共享；卷积层的特征数为128，局部卷积层的特征数为256；
最大池化层网格为2×2，步长为2；
将第四层池化层和第三层局部卷积层的输出连接为全连接层的输入；全连接层的输出尺寸为512。
优选地，所述以图搜车模型采用center-loss作为损失函数，局部多位置图像同车身图像拼接作为模型输入；其中，输入通道数量与拼接的图片数量一致。
与现有技术相比，本发明具有如下的有益效果：
本发明提供的套牌车辆自动检测方法及系统，实用性强，可以满足大部分场景下套牌车检测的准确率。
本发明提供的套牌车辆自动检测方法及系统，所采用的算法复杂度低，可集成性强，运行速度快，可以保证实时性。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明一优选实施例所提供的套牌车辆自动检测方法流程图；
图2为本发明一优选实施例所提供的套牌车辆自动检测系统结构框图。
图3为本发明一优选实施例所提供的套牌车辆自动检测系统中以图搜车模型结构图。
具体实施方式
下面对本发明的实施例作详细说明：本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。
很多套牌车是克隆车，其型号、颜色等虽然与原车相同，但是经过一段时间使用后，车辆的细节会有所变化，比如原车会有正常的年检标志，且位置是随机的，车身、车引擎盖，行李架等局部位置也有其特有的使用痕迹，而套牌车无法做到这些具有特定使用后的外貌细节。从而通过以图搜车的模型训练，对这些细节特征进行提取，可以辅助判断两辆车辆是否具有相似性。
基于以上设计思想，本发明实施例提供了一种套牌车辆自动检测方法，包括：
S1，获取现场往来车辆场景图像，确定场景图像中每一辆车的车辆整体图片；
S2，对S1中得到的每一辆车进行车属性检测，得到设定的局部位置图片以及车牌位置图片；
S3，对S2中得到的车牌位置图片进行车牌号码识别；
S4，根据S2中得到的设定的局部位置图片，与S1中得到的车辆整体图片进行通道拼接；
S5，将S4中得到的拼接图片输入至以图搜车模型，进行特征提取；
S6，根据S3中得到的车牌号码，获取与车牌号码相对应的车辆在设定时间阈值内的所有特征信息，并与S5中得到的特征信息进行两两特征比对，生成相似度向量；
S7，设定相似度阈值以及比例阈值，当相似度值低于相似度阈值的所占比例大于比例阈值时，判断该车辆具有套牌嫌疑。
如图1所示，为本发明实施例所提供的套牌车辆自动检测方法的流程图。
本发明实施例所提供的方法，通过卡口摄像头获取场景图片，之后通过车辆检测模型获得场景图中每辆车的位置，这里的车辆检测模型使用的是SSD网络，对检测到的每一辆车进行车属性检测，分别得到车窗、车牌、车引擎盖、车顶行李架等位置，这里的车属性检测使用的是Yolov3网络训练得到。将车牌位置图片通过车牌识别模块识别出车牌号码，车牌识别模块使用的是LPRNet网络以及STN网络。将车窗图片、车引擎盖图片、车顶行李架图片以及车辆本身图片进行通道拼接，作为以图搜车算法的输入，采用灰度图模式，输入即为4通道。以图搜车模型中使用了对特征区分更优的Center Loss和softmax loss的融合：
中心损失函数公式如下：
Figure BDA0002426972290000071
式中：Lc表示中心损失函数损失值，xi表示第i个全连接层之前的特征，属于第yi类，m表示mini-batch的大小；
Figure BDA0002426972290000072
表示深度特征的第yi个类别中心，Rd表示d维特征；
Lc关于xi的梯度和
Figure BDA0002426972290000073
的更新计算为：
Figure BDA0002426972290000074
Figure BDA0002426972290000075
式中：Lc表示中心损失函数损失值，xi表示第i个全连接层之前的特征，属于第yi类，m表示mini-batch的大小；
Figure BDA0002426972290000076
表示深度特征的第yi个类别中心，Rd表示d维特征，δ(condition)在condition满足时等于1，反之等于0。
所述softmax损失函数如下所示：
Figure BDA0002426972290000081
式中：Ls表示softmax损失函数损失值，Wj表示最后一个全连接层中的第j列权重，bj为偏置项，xi表示第i个全连接层之前的特征，属于第yi类，m表示mini-batch的大小，n表示类别数量；
融合后的总损失函数公式为：
L＝Ls+λLc
式中：L表示总损失值，Ls表示softmax损失函数损失值，Lc表示中心损失函数损失值，λ表示中心损失函数的参与度，λ∈[0,1]。
通过以图搜车模型进行特征提取，通过车牌号码查找信息库中该车辆经过关卡时设定时间阈值内最近几次的所有特征信息，并与当前检测出的特征信息进行两两特征比对，生成相似度向量，若相似度值低于相似度阈值的所占比例大于比例阈值时，可认为该车辆有套牌嫌疑，系统会提示报警信息，交由交警队人员进一步筛查判定处理。
进一步地，采用SSD网络确定场景图像中每一辆车的车辆整体图片的确定方法具体为：
场景图片作为训练好的SSD网络的输入，输出为每辆车的位置坐标，进而根据每辆车的位置坐标，确定场景图像中每一辆车的车辆整体图片。
进一步地，采用Yolov3网络模型，将车辆整体图片输入至训练好的Yolov3网络模型，输出为每种车属性的位置坐标，对得到的每一辆车进行车属性检测，进而通过每种车属性位置坐标，得到车牌位置图片和设定的局部位置图片；其中，设定的局部位置图片至少包括：车窗图片、车引擎盖图片以及车顶行李架图片中的任意一种或任意多种。
进一步地，所述Yolov3网络模型通过以下方法训练得到：对不同车属性进行标注，后作为训练数据进行网络训练。
进一步地，采用车牌识别模块，对车牌号码进行识别；其中，所述车牌识别模块采用LPRNet网络以及STN网络，所述识别方法具体为：
将车牌位置图片作为输入，通过训练好的STN网络进行空间矫正，后通过训练好的LPRNet网络进行车牌号码的识别。
进一步地，所述S4中，局部位置图片与车辆整体图片通过四通道融合拼接的方法进行通道拼接。
进一步地，所述S5中，采用灰度图模式，采用多输入通道将拼接图片输入至以图搜车模型；其中，输入通道数量与拼接的图片数量一致。以图搜车模型结构为：
如图3所示，图中C为卷积层，P为最大池化层，LC为局部卷积层，FC为全连接层。卷积层和局部卷积层的滤波器尺寸均为3×3，步长为1，其后为PReLU非线性单元。三个局部卷积层的权重分别在4×4、2×2和1×1区域进行局部共享。卷积层的特征数为128，局部卷积层的特征数为256。最大池网格为2×2，步长为2。将第4池化层和第3局部卷积层的输出连接为第1全连接层的输入。全连接层的输出尺寸为512。
进一步地，所述S5中，以图搜车模型对拼接图片进行特征提取的方法，具体为：将拼接后的图片作为为以图搜车模型输入，通过以图搜车模型输出特征向量。
进一步地，设定的时间阈值为15～30天。
进一步地，设定的相似度阈值为：0.9。
进一步地，设定的比例阈值为：90％。
基于本发明实施例所提供的套牌车辆自动检测方法，本发明实施例同时提供了一种套牌车辆自动检测系统，所述系统能够用于执行所述方法。
所述套牌车辆自动检测系统，包括：
车辆整体确定模块：对获取现场往来车辆场景图像中的每一个车进行车辆整体图片确定；
车属性检测模块：对车辆整体确定模块中得到的每一辆车进行车属性检测，分别得到一个或多个设定的局部位置图片以及车牌位置图片；
车牌识别模块：对车属性检测模块中得到的车牌位置图片进行车牌号码识别；
图像拼接模块：根据车属性检测模块中得到的设定的局部位置图片，与车辆整体确定模块中得到的车辆整体图片进行通道拼接；
特征提取模块：将图像拼接模块中得到的拼接图片输入至以图搜车模型，进行特征提取；
特征比较模块：根据车牌号码识别模块中得到的车牌号码，获取与车牌号码相对应的车辆在设定时间阈值内的所有特征信息，并与特征提取模块中得到的特征信息进行两两特征比对，生成相似度向量；
结果判定模块：设定相似度阈值以及比例阈值，当相似度值低于相似度阈值的所占比例大于比例阈值时，判断该车辆具有套牌嫌疑。
本发明实施例所提供的套牌车辆自动检测系统，可以应用于关卡卡口摄像头处。
进一步地，所述车辆整体确定模块中，通过关卡卡口摄像头获取现场往来车辆场景图像，并采用SSD网络，将场景图像输入至训练好的SSD网络，输出为每辆车的位置坐标，进而根据每辆车的位置坐标，确定场景图像中每一辆车的车辆整体图片。
进一步地，所述车属性检测模块采用Yolov3网络模型，将车辆整体图片输入至训练好的Yolov3网络模型，输出为每种车属性的位置坐标，对得到的每一辆车进行车属性检测，进而通过每种车属性位置坐标，得到车牌位置图片和设定的局部位置图片；其中，所述设定的局部位置图片至少包括：车窗图片、车引擎盖图片以及车顶行李架图片中的任意一种或任意多种。
进一步地，所述车牌识别模块采用LPRNet网络以及STN网络，将车牌位置图片作为输入，通过训练好的STN网络进行空间矫正，后通过训练好的LPRNet网络进行车牌号码的识别。
进一步地，所述以图搜车模型采用center loss；其中，输入通道数量与拼接的图片数量一致。
进一步地，以图搜车模型结构为：
如图3所示，图中，C为卷积层，P为最大池化层，LC为局部卷积层，FC为全连接层。卷积层和局部卷积层的滤波器尺寸均为3×3，步长为1，其后为PReLU非线性单元。三个局部卷积层的权重分别在4×4、2×2和1×1区域进行局部共享。卷积层的特征数为128，局部卷积层的特征数为256。最大池网格为2×2，步长为2。将第4池化层和第3局部卷积层的输出连接为第1全连接层的输入。全连接层的输出尺寸为512。
本发明上述实施例所提供的套牌车辆自动检测方法，所述方法基于卡口摄像头得到车辆图片，并通过车属性检测到车辆各部分图片，将车辆本身图片以及各部分图片整合作为以图搜车算法的输入进行特征提取，与通过车牌识别出的车牌号查找到的车辆信息库做比对，进而来判断是否为套牌车。本发明实施例所提供的套牌车辆自动检测系统，可以用于执行所述套牌车辆自动检测方法。本发明实施例所提供的套牌车辆自动检测方法及系统，实用性强，可以满足大部分场景下套牌车检测的准确率；所采用的算法复杂度低，可集成性强，运行速度快，可以保证实时性。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (10)

1.一种套牌车辆自动检测方法，其特征在于，包括：
S1，获取现场往来车辆场景图像，确定场景图像中每一辆车的车辆整体图片；
S2，对S1中得到的每一辆车进行车属性检测，得到设定的局部位置图片以及车牌位置图片；
S3，对S2中得到的车牌位置图片进行车牌号码识别；
S4，根据S2中得到的设定的局部位置图片，与S1中得到的车辆整体图片进行通道拼接；
S5，将S4中得到的拼接图片输入至以图搜车模型，进行特征提取；
S6，根据S3中得到的车牌号码，获取与车牌号码相对应的车辆在设定时间阈值内的所有特征信息，并与S5中得到的特征信息进行两两特征比对，生成相似度向量；
S7，设定相似度阈值以及比例阈值，当相似度值低于相似度阈值的所占比例大于比例阈值时，判断该车辆具有套牌嫌疑。
2.根据权利要求1所述的套牌车辆自动检测方法，其特征在于，所述S1中，通过关卡卡口摄像头获取现场往来车辆场景图像，并采用SSD网络，将场景图像输入至训练好的SSD网络，输出为每辆车的位置坐标，进而根据每辆车的位置坐标，确定场景图像中每一辆车的车辆整体图片。
3.根据权利要求1所述的套牌车辆自动检测方法，其特征在于，所述S2中，采用Yolov3网络模型，将车辆整体图片输入至训练好的Yolov3网络模型，输出为每种车属性的位置坐标，对得到的每一辆车进行车属性检测，进而通过每种车属性位置坐标，得到车牌位置图片和设定的局部位置图片；其中，所述设定的局部位置图片至少包括车窗图片、车引擎盖图片以及车顶行李架图片中的任意一种或任意多种。
4.根据权利要求1所述的套牌车辆自动检测方法，其特征在于，所述S3中，采用车牌识别模块，对车牌号码进行识别；其中：
所述车牌识别模块采用LPRNet网络以及STN网络，将车牌位置图片作为输入，通过训练好的STN网络进行空间矫正后，通过训练好的LPRNet网络进行车牌号码的识别。
5.根据权利要求1所述的套牌车辆自动检测方法，其特征在于，所述S4中，局部位置图片与车辆整体图片通过四通道融合拼接的方法进行通道拼接。
6.根据权利要求1所述的套牌车辆自动检测方法，其特征在于，所述S5中，采用灰度图模式，采用多输入通道将拼接图片输入至以图搜车模型；其中，输入通道数量与拼接的图片数量一致；
所述以图搜车模型包括：三层卷积层C、四层最大池化层P、三层局部卷积层LC、一层全连接层FC；其中：
所述卷积层C和局部卷积层LC的滤波器尺寸均为3×3，步长为1，其后为PReLU非线性单元；三层局部卷积层的权重分别在4×4、2×2和1×1区域进行局部共享；卷积层的特征数为128，局部卷积层的特征数为256；
最大池化层网格为2×2，步长为2；
将第四层池化层和第三层局部卷积层的输出连接为全连接层的输入；全连接层的输出尺寸为512。
7.根据权利要求1或6所述的套牌车辆自动检测方法，其特征在于，所述以图搜车模型采用softmax损失函数和中心损失函数的融合，对提取的特征进行区分：
所述中心损失函数如下所示：
Figure FDA0002426972280000021
式中：Lc表示中心损失函数损失值，xi表示第i个全连接层之前的特征，属于第yi类，m表示mini-batch的大小；
Figure FDA0002426972280000022
表示深度特征的第yi个类别中心，Rd表示d维特征；
Lc关于xi的梯度和
Figure FDA0002426972280000023
的更新计算为：
Figure FDA0002426972280000024
Figure FDA0002426972280000025
式中：Lc表示中心损失函数损失值，xi表示第i个全连接层之前的特征，属于第yi类，m表示mini-batch的大小；
Figure FDA0002426972280000026
表示深度特征的第yi个类别中心，Rd表示d维特征，δ(condition)在condition为真时等于1，反之等于0；
所述softmax损失函数如下所示：
Figure FDA0002426972280000031
式中：Ls表示softmax损失函数损失值，Wj表示最后一个全连接层中的第j列权重，bj为偏置项，xi表示第i个全连接层之前的特征，属于第yi类，m表示mini-batch的大小，n表示类别数量；
融合后的总损失函数为：
L＝Ls+λLc
式中：L表示总损失值，λ表示中心损失函数的参与度，λ∈[0，1]。
8.根据权利要求1所述的套牌车辆自动检测方法，其特征在于，所述S6中，设定的时间阈值为15～30天；和/或
所述S7中，设定的相似度阈值为：0.9；设定的比例阈值为：90％。
9.一种套牌车辆自动检测系统，其特征在于，包括：
车辆整体确定模块：对获取现场往来车辆场景图像中的每一个车进行车辆整体图片确定；
车属性检测模块：对车辆整体确定模块中得到的每一辆车进行车属性检测，分别得到一个或多个设定的局部位置图片以及车牌位置图片；
车牌识别模块：对车属性检测模块中得到的车牌位置图片进行车牌号码识别；
图像拼接模块：根据车属性检测模块中得到的设定的局部位置图片，与车辆整体确定模块中得到的车辆整体图片进行通道拼接；
特征提取模块：将图像拼接模块中得到的拼接图片输入至以图搜车模型，进行特征提取；
特征比较模块：根据车牌号码识别模块中得到的车牌号码，获取与车牌号码相对应的车辆在设定时间阈值内的所有特征信息，并与特征提取模块中得到的特征信息进行两两特征比对，生成相似度向量；
结果判定模块：设定相似度阈值以及比例阈值，当相似度值低于相似度阈值的所占比例大于比例阈值时，判断该车辆具有套牌嫌疑。
10.根据权利要求12所述的套牌车辆自动检测系统，其特征在于，所述系统还包括如下任意一项或任意多项：
-所述车辆整体确定模块中，通过关卡卡口摄像头获取现场往来车辆场景图像，并采用SSD网络，将场景图像输入至训练好的SSD网络，输出为每辆车的位置坐标，进而根据每辆车的位置坐标，确定场景图像中每一辆车的车辆整体图片；
-所述车属性检测模块采用Yolov3网络模型，将车辆整体图片输入至训练好的Yolov3网络模型，输出为每种车属性的位置坐标，对得到的每一辆车进行车属性检测，进而通过每种车属性位置坐标，得到车牌位置图片和设定的局部位置图片；其中，所述设定的局部位置图片至少包括：车窗图片、车引擎盖图片以及车顶行李架图片中的任意一种或任意多种；
-所述车牌识别模块采用LPRNet网络以及STN网络，将车牌位置图片作为输入，通过训练好的STN网络进行空间矫正，后通过训练好的LPRNet网络进行车牌号码的识别；
-所述以图搜车模型包括：三层卷积层C、四层最大池化层P、三层局部卷积层LC、一层全连接层FC；其中：
所述卷积层C和局部卷积层LC的滤波器尺寸均为3×3，步长为1，其后为PReLU非线性单元；三层局部卷积层的权重分别在4×4、2×2和1×1区域进行局部共享；卷积层的特征数为128，局部卷积层的特征数为256；
最大池化层网格为2×2，步长为2；
将第四层池化层和第三层局部卷积层的输出连接为全连接层的输入；全连接层的输出尺寸为512；
-所述以图搜车模型采用center-loss作为损失函数，局部多位置图像同车身图像拼接作为模型输入；其中，输入通道数量与拼接的图片数量一致。
CN202010223772.7A 2020-03-26 2020-03-26 一种套牌车辆自动检测方法及系统 Active CN111444840B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010223772.7A CN111444840B (zh) 2020-03-26 2020-03-26 一种套牌车辆自动检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010223772.7A CN111444840B (zh) 2020-03-26 2020-03-26 一种套牌车辆自动检测方法及系统

Publications (2)

Publication Number Publication Date
CN111444840A true CN111444840A (zh) 2020-07-24
CN111444840B CN111444840B (zh) 2024-07-23

Family

ID=71654744

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010223772.7A Active CN111444840B (zh) 2020-03-26 2020-03-26 一种套牌车辆自动检测方法及系统

Country Status (1)

Country Link
CN (1) CN111444840B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112101175A (zh) * 2020-09-09 2020-12-18 沈阳帝信人工智能产业研究院有限公司 基于局部图像的高速公路车辆检测及多属性特征提取方法
CN112330967A (zh) * 2020-11-11 2021-02-05 浙江大华技术股份有限公司 套牌车辆的识别方法、装置、系统和计算机设备
CN114155523A (zh) * 2021-12-13 2022-03-08 大连海事大学 一种端到端的高效精确车牌检测和识别方法
CN114627394A (zh) * 2022-05-16 2022-06-14 深圳联和智慧科技有限公司 一种基于无人机的渣土车套牌识别方法及系统
CN116189098A (zh) * 2023-04-23 2023-05-30 四川弘和通讯集团有限公司 识别车辆引擎盖是否打开的方法及装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105488479A (zh) * 2015-12-03 2016-04-13 浙江宇视科技有限公司 一种基于加权局部特征比对的车辆套牌识别方法及装置
CN105740855A (zh) * 2016-03-24 2016-07-06 博康智能信息技术有限公司 一种基于深度学习的前后车牌检测识别方法
CN108460328A (zh) * 2018-01-15 2018-08-28 浙江工业大学 一种基于多任务卷积神经网络的套牌车检测方法
WO2018209470A1 (zh) * 2017-05-15 2018-11-22 深圳市卓希科技有限公司 一种车牌辨识方法和系统
CN109543753A (zh) * 2018-11-23 2019-03-29 中山大学 基于自适应模糊修复机制的车牌识别方法
KR101979654B1 (ko) * 2018-01-15 2019-05-17 주식회사 비엔인더스트리 차량번호 인식 장치 및 그 방법
CN109815953A (zh) * 2019-01-30 2019-05-28 电子科技大学 一种基于车辆年检标的车辆识别匹配系统
CN110458234A (zh) * 2019-08-14 2019-11-15 广州广电银通金融电子科技有限公司 一种基于深度学习的以图搜车方法
CN110765954A (zh) * 2019-10-24 2020-02-07 浙江大华技术股份有限公司 一种车辆重识别方法、设备及存储装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105488479A (zh) * 2015-12-03 2016-04-13 浙江宇视科技有限公司 一种基于加权局部特征比对的车辆套牌识别方法及装置
CN105740855A (zh) * 2016-03-24 2016-07-06 博康智能信息技术有限公司 一种基于深度学习的前后车牌检测识别方法
WO2018209470A1 (zh) * 2017-05-15 2018-11-22 深圳市卓希科技有限公司 一种车牌辨识方法和系统
CN108460328A (zh) * 2018-01-15 2018-08-28 浙江工业大学 一种基于多任务卷积神经网络的套牌车检测方法
KR101979654B1 (ko) * 2018-01-15 2019-05-17 주식회사 비엔인더스트리 차량번호 인식 장치 및 그 방법
CN109543753A (zh) * 2018-11-23 2019-03-29 中山大学 基于自适应模糊修复机制的车牌识别方法
CN109815953A (zh) * 2019-01-30 2019-05-28 电子科技大学 一种基于车辆年检标的车辆识别匹配系统
CN110458234A (zh) * 2019-08-14 2019-11-15 广州广电银通金融电子科技有限公司 一种基于深度学习的以图搜车方法
CN110765954A (zh) * 2019-10-24 2020-02-07 浙江大华技术股份有限公司 一种车辆重识别方法、设备及存储装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112101175A (zh) * 2020-09-09 2020-12-18 沈阳帝信人工智能产业研究院有限公司 基于局部图像的高速公路车辆检测及多属性特征提取方法
CN112101175B (zh) * 2020-09-09 2024-05-10 沈阳帝信人工智能产业研究院有限公司 基于局部图像的高速公路车辆检测及多属性特征提取方法
CN112330967A (zh) * 2020-11-11 2021-02-05 浙江大华技术股份有限公司 套牌车辆的识别方法、装置、系统和计算机设备
CN114155523A (zh) * 2021-12-13 2022-03-08 大连海事大学 一种端到端的高效精确车牌检测和识别方法
CN114627394A (zh) * 2022-05-16 2022-06-14 深圳联和智慧科技有限公司 一种基于无人机的渣土车套牌识别方法及系统
CN116189098A (zh) * 2023-04-23 2023-05-30 四川弘和通讯集团有限公司 识别车辆引擎盖是否打开的方法及装置

Also Published As

Publication number Publication date
CN111444840B (zh) 2024-07-23

Similar Documents

Publication Publication Date Title
CN111444840A (zh) 一种套牌车辆自动检测方法及系统
CN108108657B (zh) 基于多任务深度学习的修正局部敏感哈希车辆检索方法
CN108596277B (zh) 一种车辆身份识别方法、装置和存储介质
CN111126224A (zh) 车辆检测方法及分类识别模型训练方法
CN110378236B (zh) 基于深度学习的车辆身份识别模型构建、识别方法和系统
CN109829467A (zh) 图像标注方法、电子装置及非暂态电脑可读取储存媒体
CN101980242B (zh) 人脸面相判别方法、系统及公共安全系统
CN110533925A (zh) 车辆违法视频的处理方法、装置、计算机设备及存储介质
CN105975929A (zh) 一种基于聚合通道特征的快速行人检测方法
CN105574550A (zh) 一种车辆识别方法及装置
CN106257490A (zh) 检测行驶车辆信息的方法及系统
CN110619277A (zh) 一种多社区智慧布控方法以及系统
CN110826484A (zh) 车辆重识别的方法、装置、计算机设备及模型训练方法
CN108984644B (zh) 一种套牌车检索方法及系统
CN107622489A (zh) 一种图像篡改检测方法及装置
CN108323209B (zh) 信息处理方法、系统、云处理设备以及计算机存储介质
CN108491498A (zh) 一种基于多特征检测的卡口图像目标搜索方法
CN109615904A (zh) 停车管理方法、装置、计算机设备和存储介质
CN108960124A (zh) 用于行人再识别的图像处理方法及装置
CN106218584A (zh) 一种基于红外及人脸识别技术的车辆防盗系统
CN106503710A (zh) 一种车标识别方法及装置
CN111444843B (zh) 一种多模态驾驶员及车辆违法行为监测方法及系统
CN113971821A (zh) 驾驶员信息确定方法、装置、终端设备及存储介质
Li et al. VRID-1: A basic vehicle re-identification dataset for similar vehicles
CN115830531A (zh) 一种基于残差多通道注意力多特征融合的行人重识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant