CN108921151A - 一种基于深度学习的普通摄像头全车牌识别系统 - Google Patents

一种基于深度学习的普通摄像头全车牌识别系统 Download PDF

Info

Publication number
CN108921151A
CN108921151A CN201810548811.3A CN201810548811A CN108921151A CN 108921151 A CN108921151 A CN 108921151A CN 201810548811 A CN201810548811 A CN 201810548811A CN 108921151 A CN108921151 A CN 108921151A
Authority
CN
China
Prior art keywords
license plate
license
model
recognition
identification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810548811.3A
Other languages
English (en)
Other versions
CN108921151B (zh
Inventor
唐苏
马俊
胡德见
王朝志
杨波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Wulian Yida Technology Co Ltd
Original Assignee
Sichuan Wulian Yida Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Wulian Yida Technology Co Ltd filed Critical Sichuan Wulian Yida Technology Co Ltd
Priority to CN201810548811.3A priority Critical patent/CN108921151B/zh
Publication of CN108921151A publication Critical patent/CN108921151A/zh
Application granted granted Critical
Publication of CN108921151B publication Critical patent/CN108921151B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/148—Segmentation of character regions
    • G06V30/153—Segmentation of character regions using recognition of characters or words
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

本发明公开了一种基于深度学习的普通摄像头全车牌识别系统，涉及车牌识别技术领域，包括模型训练单元和系统应用单元；所述模型训练单元包括车牌识别定位模型和车牌内容识别模型，所述车牌内容识别模包括车牌基本信息识别模型和车牌文字识别模型；所述系统应用单元包括检测到视频中有车辆进入时，触发识别功能，进行抓拍的动态监测抓拍模块、识别和定位抓拍图像中车牌所在位置的车牌识别定位模块、识别车牌所在位置的截图中车牌的类别、尺寸、颜色和文字信息的车牌内容识别模块，以及将车牌信息进行存储的数据管理模块。本发明解决了现有车牌识别系统识别车牌种类单一，适用场景较少、限制较多，以及对摄像头要求较高的问题。

Description

一种基于深度学习的普通摄像头全车牌识别系统
技术领域
本发明涉及车牌识别技术领域，特别涉及一种基于深度学习的普通摄像头全车牌识别系统。
背景技术
车牌识别系统是目前市场上较为常见的基于计算机视觉的深度学习应用系统，具有高效便捷，辨识度高，实施成本较低，稳定可靠等特点，常用于停车场，收费站，高速公路ETC等场景进行车辆监管和信息统计。但现有的车牌识别系统还存在以下问题：
1.对摄像头的依赖较为严重，存在需要定制高分辨率的专用摄像头，需要距离车辆近距离安装，需要严格控制摄像头相对于车牌的角度等问题，这就限制了车牌识别系统的使用场景，一般就只能在停车场，收费站等较为固定的场景使用；那些在天眼系统中使用的摄像头则分辨率极高，价格成本极高，不具有批量采用的可能性，因此常规的车牌识别系统的局限性是很大的；
2.能够识别的车牌种类较为单一，通常只能识别单排车牌，对于挂车，新能源汽车，工业大车等识别效果均不理想，主要的问题在于车牌的数据很难以获取，即便是获取了车牌，进行深度学习时，由于车牌种类的多样，很难输出较为统一的结果，尤其是双层的车牌和新能源的车牌(8位车牌)，常规识别系统是无法处理这类问题的；
3.对于环境因素要求较为严格，对不同的场景兼容性不高，通常要求场景光源较为稳定，对于部分场景需要补光才能使用，还需要无过分曝光等苛刻的要求，对于一般场景下的车牌不具有较好的辨识度，这就对现实的应用产生很大的局限性。
因此，本发明对现有技术存在的问题进行深入的分析，提出了能解决以上问题的一种基于深度学习的普通摄像头全车牌识别系统。
发明内容
本发明的目的在于：提供了一种基于深度学习的普通摄像头全车牌识别系统，解决了现有车牌识别系统识别车牌种类单一，适用场景较少、限制较多，以及对摄像头要求较高的问题。
本发明采用的技术方案如下：
一种基于深度学习的普通摄像头全车牌识别系统，包括模型训练单元和系统应用单元；
所述模型训练单元包括
车牌识别定位模型：用于识别和定位图像中车牌所在的相对位置；
车牌内容识别模型：用于识别车牌的类别、尺寸、颜色和文字信息；
所述系统应用单元包括
动态监测抓拍模块：检测到视频中有车辆进入时，触发识别功能，进行抓拍，将抓拍到的图像传送到车牌识别定位模块；
车牌识别定位模块：采用车牌识别定位模型来识别和定位抓拍到的图像中车牌所在的相对位置，将车牌所在位置截图并传送到车牌内容识别模块；
车牌内容识别模块：采用车牌内容识别模型来识别车牌所在位置的截图中车牌的类别、尺寸、颜色和文字信息，并传送到数据管理模块；
数据管理模块：将车牌信息进行存储。
进一步地，所述车牌识别定位模型的训练过程包括以下步骤：
步骤1：人工收集数据，人工进行数据标注，搭建网络进行初始训练，得到初始模型；
步骤2：自动抓取数据，使用初始模型自动识别标注数据，人工校验修正标注，将标注后的数据，放入初始模型继续训练，得到半自动训练模型；
步骤3：自动抓取数据，使用半自动训练模型自动标注数据，待精度满足要求后，则停止训练，得到最终的车牌识别定位模型。
进一步地，所述车牌内容识别模型包括
车牌基本信息识别模型：采用SVM算法来设计神经网络，用于识别车牌的类别、尺寸和颜色；
车牌文字识别模型：采用end2end训练来设计神经网络，用于识别车牌的文字信息。
更进一步地，所述车牌内容识别模型的训练过程包括以下步骤：
步骤1：生成仿真车牌；
步骤2：根据步骤1，训练车牌基础信息识别模型；
步骤3：根据步骤1，训练车牌文字识别模型。
更进一步地，所述步骤1的具体步骤如下：
步骤1.1：生成车牌标准背景模板，所述背景模板包括440*140像素的黄/蓝色车牌、440*220像素的黄色车牌、220*140像素的黄/蓝/黑色车牌、220*140像素的新能源车牌和300*165像素的临时车牌；
步骤1.2：根据车牌命名规范，生成随机车牌信息，并与车牌背景随机组合生成随机组合车牌；
步骤1.3：判断随机组合车牌是否符合车牌管理办法，若符合直接进行下一步，若不符合则剔除该车牌，并返回步骤1.2再次生成新的随机组合车牌；
步骤1.4：将随机组合车牌的信息生成图片，对车牌添加随机噪声、随机光照、随机对比度、随机角度变化、随机透射变换和随机背景，并存入仿真车牌列表；
步骤1.5：判断仿真车牌列表内车牌数量是否达到1000张，若达到，则列出仿真车牌列表，若未达到，则返回步骤1.2再次生成新的随机组合车牌。
更进一步地，所述步骤2的具体步骤如下：
步骤2.1：搭建具有SPP-Net的SVM车牌基本信息识别网络；
步骤2.2：根据车牌基本信息识别网络，将步骤1.5仿真车牌列表中的车牌，根据类别、尺寸和颜色进行分类，得到训练用仿真数据；
步骤2.3：用真实数据校验模型精度，并判断模型识别精度是否高于90％，若高于，则进行下一步，若不高于90％，则返回步骤2.2；
步骤2.4：判断模型精度高于90％的次数是否大于3次，若大于，则进行下一步，若不大于3次，则返回步骤2.2；
步骤2.5：整理步骤2.2的训练用仿真数据，组建数据集，得到最终的车牌基本信息识别模型。
更进一步地，所述步骤3的具体步骤如下：
步骤3.1：根据步骤1.5仿真车牌列表中车牌的种类搭建end2end网络结构；
步骤3.2：根据网络结构识别步骤1.5仿真车牌列表中的车牌文字信息，得到训练用仿真数据；
步骤3.3：用真实数据校验模型精度，并判断模型识别精度是否高于90％，若高于，则进行下一步，若不高于90％，则返回步骤3.2；
步骤3.4：判断模型精度高于90％的次数是否大于3次，若大于，则进行下一步，若不大于3次，则返回步骤3.2；
步骤3.5：整理步骤3.2的训练用仿真数据，组建数据集，得到最终的车牌基本信息识别模型。
进一步地，所述车牌识别定位模块采用darknet深度学习框架的YOLO算法对抓拍图像中车牌所在的位置进行识别。
进一步地，所述系统应用单元的工作过程包括以下步骤：
步骤1：获取摄像头的实时视频流；
步骤2：对视频流进行动态监测，抓拍当前画面，获得抓拍图像；
步骤3：加载车牌识别定位模型，对步骤2的图像进行识别，判断图像中有无车牌，若图像中有车牌，则定位车牌所在位置并截取车牌图像，若图像中没有车牌，则返回步骤2继续进行动态监测；
步骤4：根据步骤3，识别图像中四个角点的位置，再根据角点的位置将车牌通过透射变换和转角变化转正，然后加载车牌基本信息识别模型，通过颜色分离识别车牌颜色，通过车牌长宽比例识别车牌尺寸；
步骤5：根据步骤4，通过车牌在图像中的具体大小识别车牌相对摄像头的距离，判断是否符合系统阈值距离，若符合直接进行下一步，若不符合，则直接剔除图像，返回步骤2；
步骤6：根据步骤4得出的车牌的颜色和尺寸得到车牌的类别，加载车牌文字识别模型，根据车牌的类别选择不同的识别网络对车牌文字进行识别，再输出车牌文字信息；
步骤7：判断步骤6输出的车牌文字信息是否和步骤4和步骤5得出的车牌颜色、尺寸和类别是否匹配，若匹配，则在步骤2抓拍的图像中圈出车牌的位置并传送车牌信息到后续工作系统；若不匹配，则直接剔除该车牌，视为误识别，不出结果；
步骤8：完成步骤7后，继续返回步骤2获取下一帧图像。
更进一步地，所述车牌类别包括大型汽车前挂车牌、大型汽车后挂车牌、小型汽车车牌、挂车车牌、领事馆车牌、使馆车牌、港澳入境车牌、教练车车牌、警用车车牌、低速车车牌、小型新能源车车牌和大型新能源车车牌。
综上所述，由于采用了上述技术方案，本发明的有益效果是：
1.一种基于深度学习的普通摄像头全车牌识别系统，可以通过任何一种摄像头与动态监测抓拍模块连接，录制实时视频，进行自动抓图，再通过车牌识别定位模块对各种场景和光照的车牌位置进行截取，进行车牌定位，最后通过车牌内容识别模块进行文字识别和基础信息识别，进行车牌修正和信息识别，然后传送到后续工作系统，因此，该系统适用于全种类车牌的识别，对于场景内的车辆监管和信息采集有较高的可靠性，同时摆脱以往的必须使用专用摄像头的限制，可以节省较大的成本；
2.本发明所述车牌识别定位模型的训练过程，通过半自动的标注方式，在保证识别精度的前提下，将原本纯人工进行标注需要15天才能生成的模型，只需要3天就能完成工作，有效减少了人力成本，缩短了模型的生成周期，同时有效避免了数据复审，模型校对等流程浪费的大量时间；
3.本发明所述车牌内容识别模型采用人工生成的仿真车牌来训练车牌内容识别模型，可实现对各个种类车牌的识别，支持效果很高，对于光源的依赖不高，通过车牌内容识别模块的处理，有效减少由于光照因素导致的图像模糊，对比度过高，阴影遮挡等对车牌识别产生的影响，使系统适用于各种复杂场景；
4.本发明所述车牌基本信息识别模型采用SVM算法来设计神经网络，对车牌的类别、尺寸和颜色进行识别和分类，通过对车牌具体参数的识别来判断车牌的基本属性，再根据基本属性调整模型结构，可达到最好的识别精度；
5.本发明所述车牌文字识别模型采用end2end训练来设计神经网络，对车牌的文字信息进行识别，采用端到端的深度学习的思路训练模型，有效减小了需要图像分割和图像校正产生的误差，提高了模型的可靠性；
6.本发明在车牌基本信息识别模型和车牌文字识别模型的训练中，使用真实的车牌数据来检验模型的精度，既保证了模型对全种类车牌的覆盖面，也保证了模型在真实场景下的精度；
7.本发明所述车牌识别定位模块采用darknet深度学习框架的YOLO算法对抓拍图像中车牌所在的位置进行识别，最大支持30度的角度偏移的修正和自动过滤采集效果不理想的车牌，这样可以将摄像头布置在房檐，墙壁等不影响作业的区域，对于摄像头的安装不再具有严格的限制，只要摄像头能够覆盖的地方就能实现车牌的识别，具有较好的鲁棒性，对于部分由于遮挡，无法辨识的工业用车的车牌，还可以识别喷绘或印制在车身上的车牌信息，有效过滤干扰信息，从而获取车牌的具体信息。
附图说明
本发明将通过例子并参照附图的方式说明，其中：
图1是一种基于深度学习的普通摄像头全车牌识别系统的结构图。
具体实施方式
本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。
下面结合图1对本发明作详细说明。
一种基于深度学习的普通摄像头全车牌识别系统，包括模型训练单元和系统应用单元；
所述模型训练单元包括
车牌识别定位模型：用于识别和定位图像中车牌所在的相对位置；
车牌内容识别模型：用于识别车牌的类别、尺寸、颜色和文字信息；
所述系统应用单元包括
动态监测抓拍模块：检测到视频中有车辆进入时，触发识别功能，进行抓拍，将抓拍到的图像传送到车牌识别定位模块；
车牌识别定位模块：采用车牌识别定位模型来识别和定位抓拍到的图像中车牌所在的相对位置，将车牌所在位置截图并传送到车牌内容识别模块；
车牌内容识别模块：采用车牌内容识别模型来识别车牌所在位置的截图中车牌的类别、尺寸、颜色和文字信息，并传送到数据管理模块；
数据管理模块：将车牌信息进行存储。
进一步地，所述车牌识别定位模型的训练过程包括以下步骤：
步骤1：人工收集数据，人工进行数据标注，搭建网络进行初始训练，得到初始模型；
步骤2：自动抓取数据，使用初始模型自动识别标注数据，人工校验修正标注，将标注后的数据，放入初始模型继续训练，得到半自动训练模型；
步骤3：自动抓取数据，使用半自动训练模型自动标注数据，待精度满足要求后，则停止训练，得到最终的车牌识别定位模型。
更进一步地，所述车牌识别定位模型的训练过程的具体步骤如下：
步骤1.1：人工收集2000张图像数据，筛选出带有车牌的图像，人工进行数据标注，组建第一数据集；
步骤1.2：搭建网络进行初始训练，得到初始模型；
步骤2.1：自动抓取5000张图像数据，筛选出占比70％的带有车牌的图像，使用初始模型自动识别和标注数据；
步骤2.2：人工审核识别的质量，对误识别的图像进行修正标注，将修正过的数据和第一数据集组合形成第二数据集，放入初始模型继续训练，得到半自动训练模型；
步骤2.3：判断人工审核次数是否大于3，若大于3直接进行下一步，若不大于3则返回步骤2；
步骤3.1：自动抓取10000张图像数据，组件临时数据集，使用半自动训练模型对其进行自动识别和标注数据；
步骤3.2：统计步骤3.1的识别精度，并判断是否达到95％，若达到直接进行下一步，若没有达到，则对误识别的图片重新进行修正标注，将修正过的数据放入第二数据集，得到第三数据集，并返回步骤1.2；
步骤3.3：判断满足识别精度的次数是否大于3，若大于3直接进行下一步，若不大于3则对误识别的图片重新进行修正标注，将修正过的数据放入第三数据集，得到最终的第四数据集，并返回步骤1.2；
步骤3.4：将第一数据集、第二数据集、第三数据集和第四数据集合并得到最终的数据集和车牌识别定位模型。
更进一步地，所述车牌识别定位模型通过半自动的标注方式，在保证识别精度的前提下，将原本纯人工进行标注需要15天才能生成的模型，只需要3天就能完成工作，有效减少了人力成本，缩短了模型的生成周期，同时有效避免了数据复审，模型校对等流程浪费的大量时间。
进一步地，所述车牌内容识别模型包括
车牌基本信息识别模型：采用SVM算法来设计神经网络，用于识别车牌的类别、尺寸和颜色，通过对车牌具体参数的识别来判断车牌的基本属性，再根据基本属性调整模型结构，可达到最好的识别精度；
车牌文字识别模型：采用end2end训练来设计神经网络，用于识别车牌的文字信息，采用端到端的深度学习的思路训练模型，有效减小了需要图像分割和图像校正产生的误差，提高了模型的可靠性。
更进一步地，所述车牌内容识别模型的训练过程包括以下步骤：
步骤1：生成仿真车牌；
步骤2：根据步骤1，训练车牌基础信息识别模型；
步骤3：根据步骤1，训练车牌文字识别模型。
更进一步地，所述车牌内容识别模型采用人工生成的仿真车牌来训练车牌内容识别模型，可实现对各个种类车牌的识别，支持效果很高，对于光源的依赖不高，通过车牌内容识别模块的处理，有效减少由于光照因素导致的图像模糊，对比度过高，阴影遮挡等对车牌识别产生的影响，使系统适用于各种复杂场景。
更进一步地，所述步骤1的具体步骤如下：
步骤1.1：生成车牌标准背景模板，所述背景模板包括440*140像素的黄/蓝色车牌、440*220像素的黄色车牌、220*140像素的黄/蓝/黑色车牌、220*140像素的新能源车牌和300*165像素的临时车牌；
步骤1.2：根据车牌命名规范，生成随机车牌信息，并与车牌背景随机组合生成随机组合车牌；
步骤1.3：判断随机组合车牌是否符合车牌管理办法，若符合直接进行下一步，若不符合则剔除该车牌，并返回步骤1.2再次生成新的随机组合车牌；
步骤1.4：将随机组合车牌的信息生成图片，对车牌添加随机噪声、随机光照、随机对比度、随机角度变化、随机透射变换和随机背景，并存入仿真车牌列表；
步骤1.5：判断仿真车牌列表内车牌数量是否达到1000张，若达到，则列出仿真车牌列表，若未达到，则返回步骤1.2再次生成新的随机组合车牌。
更进一步地，所述步骤2的具体步骤如下：
步骤2.1：搭建具有SPP-Net的SVM车牌基本信息识别网络；
步骤2.2：根据车牌基本信息识别网络，将步骤1.5仿真车牌列表中的车牌，根据类别、尺寸和颜色进行分类，得到训练用仿真数据；
步骤2.3：用真实数据校验模型精度，并判断模型识别精度是否高于90％，若高于，则进行下一步，若不高于90％，则返回步骤2.2；
步骤2.4：判断模型精度高于90％的次数是否大于3次，若大于，则进行下一步，若不大于3次，则返回步骤2.2；
步骤2.5：整理步骤2.2的训练用仿真数据，组建数据集，得到最终的车牌基本信息识别模型。
更进一步地，所述步骤3的具体步骤如下：
步骤3.1：根据步骤1.5仿真车牌列表中车牌的种类搭建end2end网络结构；
步骤3.2：根据网络结构识别步骤1.5仿真车牌列表中的车牌文字信息，得到训练用仿真数据；
步骤3.3：用真实数据校验模型精度，并判断模型识别精度是否高于90％，若高于，则进行下一步，若不高于90％，则返回步骤3.2；
步骤3.4：判断模型精度高于90％的次数是否大于3次，若大于，则进行下一步，若不大于3次，则返回步骤3.2；
步骤3.5：整理步骤3.2的训练用仿真数据，组建数据集，得到最终的车牌基本信息识别模型。
进一步地，所述车牌识别定位模块采用darknet深度学习框架的YOLO算法对抓拍图像中车牌所在的位置进行识别，最大支持30度的角度偏移的修正和自动过滤采集效果不理想的车牌，这样可以将摄像头布置在房檐，墙壁等不影响作业的区域，对于摄像头的安装不再具有严格的限制，只要摄像头能够覆盖的地方就能实现车牌的识别，具有较好的鲁棒性，对于部分由于遮挡，无法辨识的工业用车的车牌，还可以识别喷绘或印制在车身上的车牌信息，有效过滤干扰信息，从而获取车牌的具体信息。
进一步地，所述系统应用单元的工作过程包括以下步骤：
步骤1：获取摄像头的实时视频流；
步骤2：对视频流进行动态监测，抓拍当前画面，获得抓拍图像；
步骤3：加载车牌识别定位模型，对步骤2的图像进行识别，判断图像中有无车牌，若图像中有车牌，则定位车牌所在位置并截取车牌图像，若图像中没有车牌，则返回步骤2继续进行动态监测；
步骤4：根据步骤3，识别图像中四个角点的位置，再根据角点的位置将车牌通过透射变换和转角变化转正，然后加载车牌基本信息识别模型，通过颜色分离识别车牌颜色，通过车牌长宽比例识别车牌尺寸；
步骤5：根据步骤4，通过车牌在图像中的具体大小识别车牌相对摄像头的距离，判断是否符合系统阈值距离，若符合直接进行下一步，若不符合，则直接剔除图像，返回步骤2；
步骤6：根据步骤4得出的车牌的颜色和尺寸得到车牌的类别，加载车牌文字识别模型，根据车牌的类别选择不同的识别网络对车牌文字进行识别，再输出车牌文字信息；
步骤7：判断步骤6输出的车牌文字信息是否和步骤4和步骤5得出的车牌颜色、尺寸和类别是否匹配，若匹配，则在步骤2抓拍的图像中圈出车牌的位置并传送车牌信息到后续工作系统；若不匹配，则直接剔除该车牌，视为误识别，不出结果；
步骤8：完成步骤7后，继续返回步骤2获取下一帧图像。
更进一步地，所述车牌类别包括大型汽车前挂车牌、大型汽车后挂车牌、小型汽车车牌、挂车车牌、领事馆车牌、使馆车牌、港澳入境车牌、教练车车牌、警用车车牌、低速车车牌、小型新能源车车牌和大型新能源车车牌。
本发明的具体工作方式为：
首先，部署车牌识别系统和所需环境，安装摄像头或其他实时视频采集设备，并配置摄像头参数，再将摄像头的参数配置信息上传到业务系统，然后启动接入层服务，打开该车牌识别系统；摄像头便将录制的实时视频传送给动态监测抓拍模块，动态监测抓拍模块检测到视频中有车辆进入时，触发识别功能，进行抓拍，将抓拍到的图像传送到车牌识别定位模块；车牌识别定位模块识别和定位抓拍到的图像中车牌所在的相对位置，将车牌所在位置截图并传送到车牌内容识别模块；车牌内容识别模块识别车牌所在位置的截图中车牌的类别、尺寸、颜色和文字信息，并传送到数据管理模块；最后，数据管理模块将车牌信息进行存储并上传至后续业务系统。
以上所述，仅为本发明的优选实施方式，但本发明的保护范围并不局限于此，任何熟悉本领域的技术人员在本发明所揭露的技术范围内，可不经过创造性劳动想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书所限定的保护范围为准。

Claims (10)

1.一种基于深度学习的普通摄像头全车牌识别系统，其特征在于：包括模型训练单元和系统应用单元；
所述模型训练单元包括
车牌识别定位模型：用于识别和定位图像中车牌所在的相对位置；
车牌内容识别模型：用于识别车牌的类别、尺寸、颜色和文字信息；
所述系统应用单元包括
动态监测抓拍模块：检测到视频中有车辆进入时，触发识别功能，进行抓拍，将抓拍到的图像传送到车牌识别定位模块；
车牌识别定位模块：采用车牌识别定位模型来识别和定位抓拍到的图像中车牌所在的相对位置，将车牌所在位置截图并传送到车牌内容识别模块；
车牌内容识别模块：采用车牌内容识别模型来识别车牌所在位置的截图中车牌的类别、尺寸、颜色和文字信息，并传送到数据管理模块；
数据管理模块：将车牌信息进行存储。
2.根据权利要求1所述的一种基于深度学习的普通摄像头全车牌识别系统，其特征在于：所述车牌识别定位模型的训练过程包括以下步骤：
步骤1：人工收集数据，人工进行数据标注，搭建网络进行初始训练，得到初始模型；
步骤2：自动抓取数据，使用初始模型自动识别标注数据，人工校验修正标注，将标注后的数据，放入初始模型继续训练，得到半自动训练模型；
步骤3：自动抓取数据，使用半自动训练模型自动标注数据，待精度满足要求后，则停止训练，得到最终的车牌识别定位模型。
3.根据权利要求1所述的一种基于深度学习的普通摄像头全车牌识别系统，其特征在于：所述车牌内容识别模型包括
车牌基本信息识别模型：采用SVM算法来设计神经网络，用于识别车牌的类别、尺寸和颜色；
车牌文字识别模型：采用end2end训练来设计神经网络，用于识别车牌的文字信息。
4.根据权利要求3所述的一种基于深度学习的普通摄像头全车牌识别系统，其特征在于：所述车牌内容识别模型的训练过程包括以下步骤：
步骤1：生成仿真车牌；
步骤2：根据步骤1，训练车牌基础信息识别模型；
步骤3：根据步骤1，训练车牌文字识别模型。
5.根据权利要求4所述的一种基于深度学习的普通摄像头全车牌识别系统，其特征在于：所述步骤1的具体步骤如下：
步骤1.1：生成车牌标准背景模板，所述背景模板包括440*140像素的黄/蓝色车牌、440*220像素的黄色车牌、220*140像素的黄/蓝/黑色车牌、220*140像素的新能源车牌和300*165像素的临时车牌；
步骤1.2：根据车牌命名规范，生成随机车牌信息，并与车牌背景随机组合生成随机组合车牌；
步骤1.3：判断随机组合车牌是否符合车牌管理办法，若符合直接进行下一步，若不符合则剔除该车牌，并返回步骤1.2再次生成新的随机组合车牌；
步骤1.4：将随机组合车牌的信息生成图片，对车牌添加随机噪声、随机光照、随机对比度、随机角度变化、随机透射变换和随机背景，并存入仿真车牌列表；
步骤1.5：判断仿真车牌列表内车牌数量是否达到1000张，若达到，则列出仿真车牌列表，若未达到，则返回步骤1.2再次生成新的随机组合车牌。
6.根据权利要求4所述的一种基于深度学习的普通摄像头全车牌识别系统，其特征在于：所述步骤2的具体步骤如下：
步骤2.1：搭建具有SPP-Net的SVM车牌基本信息识别网络；
步骤2.2：根据车牌基本信息识别网络，将步骤1.5仿真车牌列表中的车牌，根据类别、尺寸和颜色进行分类，得到训练用仿真数据；
步骤2.3：用真实数据校验模型精度，并判断模型识别精度是否高于90％，若高于，则进行下一步，若不高于90％，则返回步骤2.2；
步骤2.4：判断模型精度高于90％的次数是否大于3次，若大于，则进行下一步，若不大于3次，则返回步骤2.2；
步骤2.5：整理步骤2.2的训练用仿真数据，组建数据集，得到最终的车牌基本信息识别模型。
7.根据权利要求4所述的一种基于深度学习的普通摄像头全车牌识别系统，其特征在于：所述步骤3的具体步骤如下：
步骤3.1：根据步骤1.5仿真车牌列表中车牌的种类搭建end2end网络结构；
步骤3.2：根据网络结构识别步骤1.5仿真车牌列表中的车牌文字信息，得到训练用仿真数据；
步骤3.3：用真实数据校验模型精度，并判断模型识别精度是否高于90％，若高于，则进行下一步，若不高于90％，则返回步骤3.2；
步骤3.4：判断模型精度高于90％的次数是否大于3次，若大于，则进行下一步，若不大于3次，则返回步骤3.2；
步骤3.5：整理步骤3.2的训练用仿真数据，组建数据集，得到最终的车牌基本信息识别模型。
8.根据权利要求1所述的一种基于深度学习的普通摄像头全车牌识别系统，其特征在于：所述车牌识别定位模块采用darknet深度学习框架的YOLO算法对抓拍图像中车牌所在的位置进行识别。
9.根据权利要求1所述的一种基于深度学习的普通摄像头全车牌识别系统，其特征在于：所述系统应用单元的工作过程包括以下步骤：
步骤1：获取摄像头的实时视频流；
步骤2：对视频流进行动态监测，抓拍当前画面，获得抓拍图像；
步骤3：加载车牌识别定位模型，对步骤2的图像进行识别，判断图像中有无车牌，若图像中有车牌，则定位车牌所在位置并截取车牌图像，若图像中没有车牌，则返回步骤2继续进行动态监测；
步骤4：根据步骤3，识别图像中四个角点的位置，再根据角点的位置将车牌通过透射变换和转角变化转正，然后加载车牌基本信息识别模型，通过颜色分离识别车牌颜色，通过车牌长宽比例识别车牌尺寸；
步骤5：根据步骤4，通过车牌在图像中的具体大小识别车牌相对摄像头的距离，判断是否符合系统阈值距离，若符合直接进行下一步，若不符合，则直接剔除图像，返回步骤2；
步骤6：根据步骤4得出的车牌的颜色和尺寸得到车牌的类别，加载车牌文字识别模型，根据车牌的类别选择不同的识别网络对车牌文字进行识别，再输出车牌文字信息；
步骤7：判断步骤6输出的车牌文字信息是否和步骤4和步骤5得出的车牌颜色、尺寸和类别是否匹配，若匹配，则在步骤2抓拍的图像中圈出车牌的位置并传送车牌信息到后续工作系统；若不匹配，则直接剔除该车牌，视为误识别，不出结果；
步骤8：完成步骤7后，继续返回步骤2获取下一帧图像。
10.根据权利要求1-9任意所述的一种基于深度学习的普通摄像头全车牌识别系统，其特征在于：所述车牌类别包括大型汽车前挂车牌、大型汽车后挂车牌、小型汽车车牌、挂车车牌、领事馆车牌、使馆车牌、港澳入境车牌、教练车车牌、警用车车牌、低速车车牌、小型新能源车车牌和大型新能源车车牌。
CN201810548811.3A 2018-05-31 2018-05-31 一种基于深度学习的普通摄像头全车牌识别系统 Active CN108921151B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810548811.3A CN108921151B (zh) 2018-05-31 2018-05-31 一种基于深度学习的普通摄像头全车牌识别系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810548811.3A CN108921151B (zh) 2018-05-31 2018-05-31 一种基于深度学习的普通摄像头全车牌识别系统

Publications (2)

Publication Number Publication Date
CN108921151A true CN108921151A (zh) 2018-11-30
CN108921151B CN108921151B (zh) 2022-07-12

Family

ID=64418578

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810548811.3A Active CN108921151B (zh) 2018-05-31 2018-05-31 一种基于深度学习的普通摄像头全车牌识别系统

Country Status (1)

Country Link
CN (1) CN108921151B (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109614614A (zh) * 2018-12-03 2019-04-12 焦点科技股份有限公司 一种基于自注意力的bilstm-crf产品名称识别方法
CN109615868A (zh) * 2018-12-20 2019-04-12 北京以萨技术股份有限公司 一种基于深度学习的视频车辆违停检测方法
CN110009058A (zh) * 2019-04-16 2019-07-12 山东博昂信息科技有限公司 一种停车场车牌识别系统及方法
CN110222593A (zh) * 2019-05-18 2019-09-10 四川弘和通讯有限公司 一种基于小规模神经网络的车辆实时检测方法
CN110245681A (zh) * 2019-05-10 2019-09-17 北京奇艺世纪科技有限公司 模型生成方法、应用界面异常检测方法、装置、终端设备及计算机可读存储介质
CN110334633A (zh) * 2019-06-27 2019-10-15 北京御航智能科技有限公司 识别巡检数据并更新识别模型的方法、装置及存储介质
CN110909742A (zh) * 2019-11-19 2020-03-24 上海眼控科技股份有限公司 车牌检测方法、系统、平台和存储介质
CN111415533A (zh) * 2020-04-22 2020-07-14 湖北民族大学 弯道安全预警监控方法、装置以及系统
CN111523583A (zh) * 2020-04-16 2020-08-11 国网河北省电力有限公司石家庄市栾城区供电分公司 一种利用无人机对设备铭牌照片自动识别分类的方法
CN111582261A (zh) * 2020-04-30 2020-08-25 浙江大华技术股份有限公司 一种非机动车的车牌识别方法和车牌识别装置
CN111582277A (zh) * 2020-06-15 2020-08-25 深圳天海宸光科技有限公司 一种基于迁移学习的车牌识别系统及方法
CN111914833A (zh) * 2020-06-05 2020-11-10 华南理工大学 一种运动车辆车牌识别系统及方法
CN112560551A (zh) * 2019-09-25 2021-03-26 西门子（中国）有限公司 用于车牌识别的系统、方法和设备
CN112861797A (zh) * 2021-03-12 2021-05-28 济南博观智能科技有限公司 一种真伪车牌识别方法、装置及相关设备
CN113283539A (zh) * 2021-06-15 2021-08-20 苏州市吴江区平望镇人民政府 一种基于深度学习的违规渣土车检测的方法及系统
CN117392658A (zh) * 2023-12-12 2024-01-12 深圳市城市交通规划设计研究中心股份有限公司 基于注意力机制优化的轻量化车辆车牌颜色识别方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101398894A (zh) * 2008-06-17 2009-04-01 浙江师范大学 机动车车牌自动识别方法及其实现装置
US20140307923A1 (en) * 2013-04-11 2014-10-16 International Business Machines Corporation Determining images having unidentifiable license plates
CN105069456A (zh) * 2015-07-30 2015-11-18 北京邮电大学 一种车牌字符分割方法及装置
CN106407981A (zh) * 2016-11-24 2017-02-15 北京文安智能技术股份有限公司 一种车牌识别方法、装置及系统
WO2017061650A1 (ko) * 2015-10-08 2017-04-13 주식회사 넥스파시스템 전후면 카메라모듈을 적용한 영상해석 기반의 lpr 시스템
CN106980854A (zh) * 2017-03-29 2017-07-25 珠海习悦信息技术有限公司 车牌号码识别方法、装置、存储介质及处理器
CN107679531A (zh) * 2017-06-23 2018-02-09 平安科技（深圳）有限公司 基于深度学习的车牌识别方法、装置、设备及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101398894A (zh) * 2008-06-17 2009-04-01 浙江师范大学 机动车车牌自动识别方法及其实现装置
US20140307923A1 (en) * 2013-04-11 2014-10-16 International Business Machines Corporation Determining images having unidentifiable license plates
CN105069456A (zh) * 2015-07-30 2015-11-18 北京邮电大学 一种车牌字符分割方法及装置
WO2017061650A1 (ko) * 2015-10-08 2017-04-13 주식회사 넥스파시스템 전후면 카메라모듈을 적용한 영상해석 기반의 lpr 시스템
CN106407981A (zh) * 2016-11-24 2017-02-15 北京文安智能技术股份有限公司 一种车牌识别方法、装置及系统
CN106980854A (zh) * 2017-03-29 2017-07-25 珠海习悦信息技术有限公司 车牌号码识别方法、装置、存储介质及处理器
CN107679531A (zh) * 2017-06-23 2018-02-09 平安科技（深圳）有限公司 基于深度学习的车牌识别方法、装置、设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
GUILHERME LOFRANO CORNETO 等: "A New Method for Automatic Vehicle License Plate Detection", 《 IEEE LATIN AMERICA TRANSACTIONS》 *
葛艳 等: "基于文字定位和颜色检测的多车牌定位方法研究", 《计算机与数字工程》 *

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109614614A (zh) * 2018-12-03 2019-04-12 焦点科技股份有限公司 一种基于自注意力的bilstm-crf产品名称识别方法
CN109615868A (zh) * 2018-12-20 2019-04-12 北京以萨技术股份有限公司 一种基于深度学习的视频车辆违停检测方法
CN110009058A (zh) * 2019-04-16 2019-07-12 山东博昂信息科技有限公司 一种停车场车牌识别系统及方法
CN110245681A (zh) * 2019-05-10 2019-09-17 北京奇艺世纪科技有限公司 模型生成方法、应用界面异常检测方法、装置、终端设备及计算机可读存储介质
CN110222593A (zh) * 2019-05-18 2019-09-10 四川弘和通讯有限公司 一种基于小规模神经网络的车辆实时检测方法
CN110334633A (zh) * 2019-06-27 2019-10-15 北京御航智能科技有限公司 识别巡检数据并更新识别模型的方法、装置及存储介质
CN112560551A (zh) * 2019-09-25 2021-03-26 西门子（中国）有限公司 用于车牌识别的系统、方法和设备
CN110909742A (zh) * 2019-11-19 2020-03-24 上海眼控科技股份有限公司 车牌检测方法、系统、平台和存储介质
CN111523583B (zh) * 2020-04-16 2022-06-24 国网河北省电力有限公司石家庄市栾城区供电分公司 一种利用无人机对设备铭牌照片自动识别分类的方法
CN111523583A (zh) * 2020-04-16 2020-08-11 国网河北省电力有限公司石家庄市栾城区供电分公司 一种利用无人机对设备铭牌照片自动识别分类的方法
CN111415533B (zh) * 2020-04-22 2021-09-21 湖北民族大学 弯道安全预警监控方法、装置以及系统
CN111415533A (zh) * 2020-04-22 2020-07-14 湖北民族大学 弯道安全预警监控方法、装置以及系统
CN111582261A (zh) * 2020-04-30 2020-08-25 浙江大华技术股份有限公司 一种非机动车的车牌识别方法和车牌识别装置
CN111582261B (zh) * 2020-04-30 2024-01-19 浙江大华技术股份有限公司 一种非机动车的车牌识别方法和车牌识别装置
CN111914833A (zh) * 2020-06-05 2020-11-10 华南理工大学 一种运动车辆车牌识别系统及方法
CN111914833B (zh) * 2020-06-05 2022-01-11 华南理工大学 一种运动车辆车牌识别系统及方法
CN111582277A (zh) * 2020-06-15 2020-08-25 深圳天海宸光科技有限公司 一种基于迁移学习的车牌识别系统及方法
CN112861797A (zh) * 2021-03-12 2021-05-28 济南博观智能科技有限公司 一种真伪车牌识别方法、装置及相关设备
CN113283539A (zh) * 2021-06-15 2021-08-20 苏州市吴江区平望镇人民政府 一种基于深度学习的违规渣土车检测的方法及系统
CN117392658A (zh) * 2023-12-12 2024-01-12 深圳市城市交通规划设计研究中心股份有限公司 基于注意力机制优化的轻量化车辆车牌颜色识别方法

Also Published As

Publication number Publication date
CN108921151B (zh) 2022-07-12

Similar Documents

Publication Publication Date Title
CN108921151A (zh) 一种基于深度学习的普通摄像头全车牌识别系统
US20210192227A1 (en) Method and apparatus for detecting parking space usage condition, electronic device, and storage medium
CN108351967A (zh) 一种多人脸检测方法、装置、服务器、系统及存储介质
CN103413147B (zh) 一种车牌识别方法和系统
CN105488479B (zh) 一种基于加权局部特征比对的车辆套牌识别方法及装置
CN101630361A (zh) 一种基于车牌、车身颜色和车标识别的套牌车辆识别设备及方法
CN108090747B (zh) 车险核保的自助验车方法、装置、设备和计算机存储介质
CN110458077A (zh) 一种车辆颜色识别方法及系统
CN106355180B (zh) 一种基于颜色与边缘特征相结合的车牌定位方法
CN106384513A (zh) 一种基于智能交通的套牌车捕捉系统及方法
CN105022999A (zh) 一种人码伴随实时采集系统
CN109617233A (zh) 保护压板自动核对校验方法
CN105551261A (zh) 换牌车辆检测方法及其系统
CN113788051A (zh) 列车在站运行状态监测分析系统
CN113989626B (zh) 一种基于目标检测模型的多类别垃圾场景区分方法
CN109508771A (zh) 一种公安检查站人员综合信息核查装置
CN106600635A (zh) 一种基于小子样的红外目标辐射特性仿真模型校核验证方法
CN106327876A (zh) 一种基于行车记录仪的套牌车捕捉系统及方法
CN210515650U (zh) 一种智能环保道路黑烟车辆电子抓拍系统
CN112101107B (zh) 一种智能网联模型车在环仿真交通信号灯智能识别方法
CN205644589U (zh) 车牌分类识别装置
CN209690915U (zh) 一种机动车驾驶人科目一考试智能监考系统
CN106340139A (zh) 一种自动识别人脸的vtm机
CN207115771U (zh) 基于蓝牙辅助的车牌识别停车智能管理系统
CN109060831B (zh) 一种基于底板拟合的自动脏污检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant