CN107220638A - 一种基于深度学习卷积神经网络的车牌检测识别方法 - Google Patents

一种基于深度学习卷积神经网络的车牌检测识别方法 Download PDF

Info

Publication number
CN107220638A
CN107220638A CN201710531085.XA CN201710531085A CN107220638A CN 107220638 A CN107220638 A CN 107220638A CN 201710531085 A CN201710531085 A CN 201710531085A CN 107220638 A CN107220638 A CN 107220638A
Authority
CN
China
Prior art keywords
car plate
character
detection
training
recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201710531085.XA
Other languages
English (en)
Inventor
夏春秋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Vision Technology Co Ltd
Original Assignee
Shenzhen Vision Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Vision Technology Co Ltd filed Critical Shenzhen Vision Technology Co Ltd
Priority to CN201710531085.XA priority Critical patent/CN107220638A/zh
Publication of CN107220638A publication Critical patent/CN107220638A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/148—Segmentation of character regions
    • G06V30/153—Segmentation of character regions using recognition of characters or words
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Character Discrimination (AREA)

Abstract

本发明中提出的一种基于深度学习卷积神经网络的车牌检测识别方法，其主要内容包括：数据采集模块、检测识别训练模块、字符定位测试模块，其过程为，首先使用构造自动储存系统来归类真实世界中含有车牌的图像，在不同光照、可视角度、场景中采集足够数量的车牌与切割字符图像，然后使用一系列深度神经网络进行车牌检测与识别的训练，得到的模型再由切割好的字符单独进行检测与识别，最终合并成为结果。本发明可以处理不同场景多种不同条件下的车牌识别，提供一个深度学习框架来进行字符分割与识别，同时提高了车牌识别的效率与鲁棒性。

Description

一种基于深度学习卷积神经网络的车牌检测识别方法
技术领域
本发明涉及车牌识别领域，尤其是涉及了一种基于深度学习卷积神经网络的车牌检测识别方法。
背景技术
从交通监控到路桥收费、从电子测速到事故抓拍，高准确率地自动检测识别车牌是增强法律部门及交通部门进行事务操作的关键，然而数据量的不断增大庞大及检测识别储存的时效性不断减短，对快速准确识别车牌内容提出了新的挑战。据公安部门统计，近年来我国机动车保有量呈快速增长，每年新增超过1500万辆，因此如何在大数据的基础上，做好车牌内容的快速准确识别，对智能停车、道路监控、路迹追寻等领域有现实意义及巨大应用。
受不同光照条件、可视角度、新旧程度及背景光亮等条件影响，不同场景中对于车牌的识别具有相对难度，因为对于非车牌区域的文字提出、车牌区域的正确切割、字符的孤立与识别等都是需要提升的技术空间，其任何一项的断层都会对整个车牌的识别过程造成困难。
本发明提出了一种基于深度学习卷积神经网络的新框架。使用构造自动储存系统来归类真实世界中含有车牌的图像，在不同光照、可视角度、场景中采集足够数量的车牌与切割字符图像，然后使用一系列深度神经网络进行车牌检测与识别的训练，得到的模型再由切割好的字符单独进行检测与识别，最终合并成为结果。本发明可以处理不同场景多种不同条件下的车牌识别，提供一个深度学习框架来进行字符分割与识别，同时提高了车牌识别的效率与鲁棒性。
发明内容
针对解决在不同场景中进行车牌识别的问题，本发明的目的在于提供一种基于深度学习卷积神经网络的车牌检测识别方法，提出了一种基于深度学习卷积神经网络的新框架。
为解决上述问题，本发明提供一种基于深度学习卷积神经网络的车牌检测识别方法，其主要内容包括：
(一)数据采集模块；
(二)检测识别训练模块；
(三)字符定位测试模块。
其中，所述的数据采集模块，包括车牌检测数据采集和车牌识别数据采集两部分。
所述的车牌检测数据采集，构造一个具有车辆与背景场景可见的数据储存系统，自动归类真实世界中含有车牌的图像，同时在保持场景变化的条件下，采集原始车牌图像2万张自然不重复以达到训练系统具有鲁棒性。
所述的车牌识别数据采集，构造一个具有车辆与背景场景不可见的数据储存系统，即切割车牌区域同时剔除背景，同时在保持字体、内容变化的条件下，采集切割车牌图像2.5万张、车牌字符图像10万张和难分辨负样本图像10万张自然不重复以达到训练系统具有鲁棒性。
所述的检测识别训练模块，包括车牌检测系统训练和车牌识别系统训练两部分。
所述的车牌检测系统训练，对于给定图像，训练一个深度卷积神经网络用于定位并分类车牌，此时单独使用车牌检测数据集。
所述的车牌识别系统训练，对于给定图像，训练一系列深度网络用于字符识别，具体为：
(1)确认字符是否存在的检测：构造一个二元分类深度网络，使用字符块作为正样本、车牌背景及符号作为负样本进行训练，此网络能筛选掉非字符图像；
(2)进行字符的具体识别检测：当存在一个字符时，训练一个深度卷积神经网络，其中含有车牌首汉字32个(中国大陆各省、自治区、直辖市简称)、末汉字两个(香港与澳门特别行政区简称)、英文字母24个(除了I和O)、数字全部10个，使用车牌识别数据集进行训练，改变光照、字体、切割方向等条件以增强训练系统的鲁棒性。
所述的字符定位测试模块，包括车牌检测系统测试和车牌识别系统测试两部分。
所述的车牌检测系统测试，对于给定图像，首要确定当前图像是否包含一个或以上车牌，改变光照、可视角度、形状与背景等条件以增强测试系统的鲁棒性。
所述的车牌识别系统测试，一旦给定图像中检测出包含车牌，对车牌中的字符进行分割、独立，然后对单独的字符进行识别，同时为保证所有字符都能成功分割，设计一个多步骤的分割过程，从指定位置开始定位，各自分类，即汉字归汉字，英文字母归英文字母，数字归数字，再合并成结果。
附图说明
图1是本发明一种基于深度学习卷积神经网络的车牌检测识别方法的系统流程图。
图2是本发明一种基于深度学习卷积神经网络的车牌检测识别方法的例子示意图。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互结合，下面结合附图和具体实施例对本发明作进一步详细说明。
图1是本发明一种基于深度学习卷积神经网络的车牌检测识别方法的系统流程图。主要包括数据采集模块；检测识别训练模块；字符定位测试模块。
其中，数据采集模块，包括车牌检测数据采集和车牌识别数据采集两部分。
车牌检测数据采集，构造一个具有车辆与背景场景可见的数据储存系统，自动归类真实世界中含有车牌的图像，同时在保持场景变化的条件下，采集原始车牌图像2万张自然不重复以达到训练系统具有鲁棒性。
车牌识别数据采集，构造一个具有车辆与背景场景不可见的数据储存系统，即切割车牌区域同时剔除背景，同时在保持字体、内容变化的条件下，采集切割车牌图像2.5万张、车牌字符图像10万张和难分辨负样本图像10万张自然不重复以达到训练系统具有鲁棒性。
检测识别训练模块，包括车牌检测系统训练和车牌识别系统训练两部分。
车牌检测系统训练，对于给定图像，训练一个深度卷积神经网络用于定位并分类车牌，此时单独使用车牌检测数据集。
车牌识别系统训练，对于给定图像，训练一系列深度网络用于字符识别，具体为：
(1)确认字符是否存在的检测：构造一个二元分类深度网络，使用字符块作为正样本、车牌背景及符号作为负样本进行训练，此网络能筛选掉非字符图像；
(2)进行字符的具体识别检测：当存在一个字符时，训练一个深度卷积神经网络，其中含有车牌首汉字32个(中国大陆各省、自治区、直辖市简称)、末汉字两个(香港与澳门特别行政区简称)、英文字母24个(除了I和O)、数字全部10个，使用车牌识别数据集进行训练，改变光照、字体、切割方向等条件以增强训练系统的鲁棒性。
字符定位测试模块，包括车牌检测系统测试和车牌识别系统测试两部分。
车牌检测系统测试，对于给定图像，首要确定当前图像是否包含一个或以上车牌，改变光照、可视角度、形状与背景等条件以增强测试系统的鲁棒性。
车牌识别系统测试，一旦给定图像中检测出包含车牌，对车牌中的字符进行分割、独立，然后对单独的字符进行识别，同时为保证所有字符都能成功分割，设计一个多步骤的分割过程，从指定位置开始定位，各自分类，即汉字归汉字，英文字母归英文字母，数字归数字，再合并成结果。
图2是本发明一种基于深度学习卷积神经网络的车牌检测识别方法的例子示意图。如图所示，可以观察到本发明的方法分别在白天光照条件(第一行图像)、夜晚光照条件(第二行图像)和雨天条件(第三行图像)中都能准确地识别出车牌内容。
对于本领域技术人员，本发明不限制于上述实施例的细节，在不背离本发明的精神和范围的情况下，能够以其他具体形式实现本发明。此外，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围，这些改进和变型也应视为本发明的保护范围。因此，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

Claims (10)

1.一种基于深度学习卷积神经网络的车牌检测识别方法，其特征在于，主要包括数据采集模块(一)；检测识别训练模块(二)；字符定位测试模块(三)。
2.基于权利要求书1所述的数据采集模块(一)，其特征在于，包括车牌检测数据采集和车牌识别数据采集两部分。
3.基于权利要求书2所述的车牌检测数据采集，其特征在于，构造一个具有车辆与背景场景可见的数据储存系统，自动归类真实世界中含有车牌的图像，同时在保持场景变化的条件下，采集原始车牌图像2万张自然不重复以达到训练系统具有鲁棒性。
4.基于权利要求书2所述的车牌识别数据采集，其特征在于，构造一个具有车辆与背景场景不可见的数据储存系统，即切割车牌区域同时剔除背景，同时在保持字体、内容变化的条件下，采集切割车牌图像2.5万张、车牌字符图像10万张和难分辨负样本图像10万张自然不重复以达到训练系统具有鲁棒性。
5.基于权利要求书1所述的检测识别训练模块，其特征在于，包括车牌检测系统训练和车牌识别系统训练两部分。
6.基于权利要求书5所述的车牌检测系统训练，其特征在于，对于给定图像，训练一个深度卷积神经网络用于定位并分类车牌，此时单独使用车牌检测数据集。
7.基于权利要求书5所述的车牌识别系统训练，其特征在于，对于给定图像，训练一系列深度网络用于字符识别，具体为：
(1)确认字符是否存在的检测：构造一个二元分类深度网络，使用字符块作为正样本、车牌背景及符号作为负样本进行训练，此网络能筛选掉非字符图像；
(2)进行字符的具体识别检测：当存在一个字符时，训练一个深度卷积神经网络，其中含有车牌首汉字32个(中国大陆各省、自治区、直辖市简称)、末汉字两个(香港与澳门特别行政区简称)、英文字母24个(除了I和O)、数字全部10个，使用车牌识别数据集进行训练，改变光照、字体、切割方向等条件以增强训练系统的鲁棒性。
8.基于权利要求书1所述的字符定位测试模块，其特征在于，包括车牌检测系统测试和车牌识别系统测试两部分。
9.基于权利要求书8所述的车牌检测系统测试，其特征在于，对于给定图像，首要确定当前图像是否包含一个或以上车牌，改变光照、可视角度、形状与背景等条件以增强测试系统的鲁棒性。
10.基于权利要求书8所述的车牌识别系统测试，其特征在于，一旦给定图像中检测出包含车牌，对车牌中的字符进行分割、独立，然后对单独的字符进行识别，同时为保证所有字符都能成功分割，设计一个多步骤的分割过程，从指定位置开始定位，各自分类，即汉字归汉字，英文字母归英文字母，数字归数字，再合并成结果。
CN201710531085.XA 2017-07-03 2017-07-03 一种基于深度学习卷积神经网络的车牌检测识别方法 Withdrawn CN107220638A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710531085.XA CN107220638A (zh) 2017-07-03 2017-07-03 一种基于深度学习卷积神经网络的车牌检测识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710531085.XA CN107220638A (zh) 2017-07-03 2017-07-03 一种基于深度学习卷积神经网络的车牌检测识别方法

Publications (1)

Publication Number Publication Date
CN107220638A true CN107220638A (zh) 2017-09-29

Family

ID=59951641

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710531085.XA Withdrawn CN107220638A (zh) 2017-07-03 2017-07-03 一种基于深度学习卷积神经网络的车牌检测识别方法

Country Status (1)

Country Link
CN (1) CN107220638A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108052866A (zh) * 2017-11-17 2018-05-18 克立司帝控制系统（上海）有限公司 基于人工神经网络的车牌识别学习方法及系统
CN108960175A (zh) * 2018-07-12 2018-12-07 天津艾思科尔科技有限公司 一种基于深度学习的车牌识别方法
CN110276342A (zh) * 2018-03-14 2019-09-24 台达电子工业股份有限公司 车牌辨识方法以及其系统
CN110414527A (zh) * 2019-07-31 2019-11-05 北京字节跳动网络技术有限公司 字符识别方法、装置、存储介质及电子设备
CN110852359A (zh) * 2019-07-24 2020-02-28 上海交通大学 基于深度学习的家谱识别方法及系统
CN111582277A (zh) * 2020-06-15 2020-08-25 深圳天海宸光科技有限公司 一种基于迁移学习的车牌识别系统及方法
CN112116611A (zh) * 2020-09-02 2020-12-22 吉林大学 一种书脊分割与文字识别系统及方法
US11030466B2 (en) 2018-02-11 2021-06-08 Nortek Security & Control Llc License plate detection and recognition system
CN113239854A (zh) * 2021-05-27 2021-08-10 北京环境特性研究所 一种基于深度学习的船舶身份识别方法及系统
US11164028B2 (en) 2019-06-18 2021-11-02 Nortek Security & Control Llc License plate detection system

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103235938A (zh) * 2013-05-03 2013-08-07 北京国铁华晨通信信息技术有限公司 车牌检测与识别的方法及系统
CN106203418A (zh) * 2016-07-14 2016-12-07 北京精英智通科技股份有限公司 一种车牌检测的方法及装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103235938A (zh) * 2013-05-03 2013-08-07 北京国铁华晨通信信息技术有限公司 车牌检测与识别的方法及系统
CN106203418A (zh) * 2016-07-14 2016-12-07 北京精英智通科技股份有限公司 一种车牌检测的方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SYED ZAIN MASOOD: "License Plate Detection and Recognition Using Deeply Learned Convolutional Neural Networks", 《ARXIV:1703.07330V2》 *

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108052866A (zh) * 2017-11-17 2018-05-18 克立司帝控制系统（上海）有限公司 基于人工神经网络的车牌识别学习方法及系统
US11580753B2 (en) 2018-02-11 2023-02-14 Nortek Security & Control Llc License plate detection and recognition system
US11783589B2 (en) 2018-02-11 2023-10-10 Nice North America Llc License plate detection and recognition system
US11030466B2 (en) 2018-02-11 2021-06-08 Nortek Security & Control Llc License plate detection and recognition system
CN110276342A (zh) * 2018-03-14 2019-09-24 台达电子工业股份有限公司 车牌辨识方法以及其系统
CN110276342B (zh) * 2018-03-14 2023-04-18 台达电子工业股份有限公司 车牌辨识方法以及其系统
CN108960175A (zh) * 2018-07-12 2018-12-07 天津艾思科尔科技有限公司 一种基于深度学习的车牌识别方法
US11164028B2 (en) 2019-06-18 2021-11-02 Nortek Security & Control Llc License plate detection system
CN110852359A (zh) * 2019-07-24 2020-02-28 上海交通大学 基于深度学习的家谱识别方法及系统
CN110852359B (zh) * 2019-07-24 2023-05-26 上海交通大学 基于深度学习的家谱识别方法及系统
CN110414527A (zh) * 2019-07-31 2019-11-05 北京字节跳动网络技术有限公司 字符识别方法、装置、存储介质及电子设备
CN111582277A (zh) * 2020-06-15 2020-08-25 深圳天海宸光科技有限公司 一种基于迁移学习的车牌识别系统及方法
CN112116611A (zh) * 2020-09-02 2020-12-22 吉林大学 一种书脊分割与文字识别系统及方法
CN113239854A (zh) * 2021-05-27 2021-08-10 北京环境特性研究所 一种基于深度学习的船舶身份识别方法及系统
CN113239854B (zh) * 2021-05-27 2023-12-19 北京环境特性研究所 一种基于深度学习的船舶身份识别方法及系统

Similar Documents

Publication Publication Date Title
CN107220638A (zh) 一种基于深度学习卷积神经网络的车牌检测识别方法
CN104197897B (zh) 一种基于车载激光扫描点云的城区道路标线自动分类方法
CN102043945B (zh) 基于车辆实时跟踪和二进指数分类车牌字符识别的方法
CN108090429B (zh) 一种分级前脸卡口车型识别方法
CN102968646B (zh) 一种基于机器学习的车牌检测方法
CN106156768B (zh) 基于视觉的机动车行驶证检测方法
CN102842045B (zh) 一种基于组合特征的行人检测方法
CN110097049A (zh) 一种自然场景文本检测方法及系统
CN104268599B (zh) 一种基于车辆轨迹时空特征分析的黑车智能发现方法
CN101059885B (zh) 一种车票真伪核验方法
CN103870803A (zh) 一种基于粗定位与精定位融合的车牌识别方法和系统
CN107818322A (zh) 一种用于车辆年检的车辆vin码篡改检测系统及方法
CN108509954A (zh) 一种实时交通场景的多车牌动态识别方法
CN103530600B (zh) 复杂光照下的车牌识别方法及系统
CN106127747A (zh) 基于深度学习的汽车表面损伤分类方法及装置
CN106022300A (zh) 基于级联深度学习的交通标志识别方法和系统
CN102799879B (zh) 从自然场景图像中识别多言语、多字体文字的方法
CN104680161A (zh) 一种身份证数字识别方法
CN101777124A (zh) 一种提取视频文本信息的方法及装置
CN110991221B (zh) 一种基于深度学习的动态交通闯红灯识别方法
CN103034863A (zh) 一种结合核Fisher与多尺度提取的遥感影像道路获取方法
CN103413145A (zh) 基于深度图像的关节点定位方法
CN104573685A (zh) 一种基于线性结构提取的自然场景文本检测方法
CN106611174A (zh) 一种非常见字体的ocr识别方法
CN103390167A (zh) 一种多特征的分层交通标志识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20170929