CN109325487B - 一种基于目标检测的全种类车牌识别方法 - Google Patents

一种基于目标检测的全种类车牌识别方法 Download PDF

Info

Publication number
CN109325487B
CN109325487B CN201810994558.4A CN201810994558A CN109325487B CN 109325487 B CN109325487 B CN 109325487B CN 201810994558 A CN201810994558 A CN 201810994558A CN 109325487 B CN109325487 B CN 109325487B
Authority
CN
China
Prior art keywords
character
license plate
type
denet
detector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810994558.4A
Other languages
English (en)
Other versions
CN109325487A (zh
Inventor
解梅
陶帅
卢欣辰
秦国义
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN201810994558.4A priority Critical patent/CN109325487B/zh
Publication of CN109325487A publication Critical patent/CN109325487A/zh
Application granted granted Critical
Publication of CN109325487B publication Critical patent/CN109325487B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/62Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63Scene text, e.g. street names
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/62Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625License plates

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Character Discrimination (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于图像处理与深度学习领域,具体提供一种基于目标检测的全种类车牌识别方法,主要用于复杂场景下的全种类车牌识别;本发明以深度学习技术中的目标检测算法为切入点,将车牌识别技术中的子任务统一到了目标检测的框架下,首次使用基于深度学习的字符检测并结合字符排序完成全种类车牌字符序列识别;本发明与已有基于传统方法和基于深度学习的车牌识别方法相比,具有极强的普适性,能够适用于复杂场景下的全种类车牌识别,且具有非常高的识别率。

Description

一种基于目标检测的全种类车牌识别方法
技术领域
本发明属于图像处理与深度学习领域,具体提供一种基于目标检测的全种类车牌识别方法,主要用于复杂场景下的全种类车牌识别。
背景技术
车牌识别技术是智能交通系统中的一项非常重要的技术,传统车牌识别技术一般包含三个部分:车牌定位,字符分割,字符识别;车牌识别算法虽然已经被广泛应用到停车场、高速公路、小区出入口,但是依然还有很多等待解决的问题比如公路监控等复杂场景下的整体识别率低,需要针对新类型车牌修改算法等。
随着2012年Alexnet的提出,深度学习技术在图像识别、目标检测、语义分割等任务中大放异彩;深度学习的成功有两个重要的因素,第一是模型大量参数的强大拟合能力,第二是大量训练数据,二者相辅相成造就了深度学习对传统方法的全面超越。对于车牌识别领域来说,引入深度学习是大的趋势,但是目前提出的方法大部分都有着共同的缺点:没有完全抛弃传统方法中造成鲁棒性差的图像处理步骤;如申请号为:CN201710188171、发明名称为一种基于全卷积网络的车牌定位方法及装置的发明专利中的形态学处理、轮廓提取,又如申请号为CN201710432232、发明名称为高效准确的车牌识别方法的发明专利中的二值化、投影操作;此外,这些方法都是只考虑固定几种甚至只有一种类型车牌的识别,一旦要识别新类型车牌,便不再适用。
发明内容
本发明的目的在于提供一种基于目标检测的全种类车牌识别方法,以深度学习技术中的目标检测算法为切入点,着手解决车牌识别算法的难点问题。
为实现上述目的,本发明采用的技术方案为:
一种基于目标检测的全种类车牌识别方法,其特征在于,包括以下步骤:
步骤1、训练Denet车牌检测器,并使用训练出的Denet车牌检测器检测出图像中车牌的包围框和类型,得到车牌类型为T类型;
步骤2、训练Denet字符检测器,并使用训练好的Denet车牌字符检测器检测出车牌字符的包围框和类型,得到n个字符的包围框和类别,将检测结果记为集合:
{di=(boxi,clsi)}、i∈[1,n]、其中、boxi表示字符检测结果中第i个字符的包围框、clsi表示字符检测结果中第i个字符的类别;
步骤3、字符排序
对于字符检测结果{di}、i∈[1,n],为每个字符添加标记k表示其在车牌号中的序号,得到:
Figure BDA0001778057800000021
i,k∈[1,n],其中,
Figure BDA0001778057800000022
表示字符检测结果中第i个字符是车牌号中的第k个字符;
列举检测出的字符所有可能的n!种排序组合:
Figure BDA0001778057800000023
计算每一个组合
Figure BDA0001778057800000024
与T类型车牌的字符连接向量
Figure BDA0001778057800000025
的余弦相似度,其中,
Figure BDA0001778057800000026
为T类型车牌中第j个字符中心点坐标减去第i个字符中心点坐标构成的向量;具体计算过程如下:
1)对于组合
Figure BDA0001778057800000027
计算其字符连接向量为
Figure BDA0001778057800000028
2)计算T类型车牌的字符连接向量和当前组合的字符连接向量每一维向量之间夹角,得到夹角集合
Figure BDA0001778057800000029
若集合中夹角都小于30°,则进入下一步计算,否则直接将当前组合的余弦相似度设为0;
3)根据
Figure BDA00017780578000000210
计算出余弦相似度;
遍历所有组合与T类型车牌的字符连接向量的余弦相似度,得到相似度最大值对应的组合作为最优组合,得到字符排序。
进一步的,所述步骤1中Denet车牌检测器训练过程为:按照Denet训练数据的格式制作车牌的标注数据,标注内容包括:车牌的包围框和车牌类型,
根据需要检测的车牌类别设置网络参数,
使用theano深度学习框架训练出Denet车牌检测器。
进一步的,所述步骤2中Denet字符检测器训练过程为:按照Denet训练数据的格式制作车牌字符的标注数据,标注内容包括:字符的包围框和字符类别,
根据需要检测的字符类别设置网络参数,
使用theano深度学习框架训练出Denet字符检测器。
本发明的有益效果在于:
本发明提供一种基于目标检测的全种类车牌识别方法,以深度学习技术中的目标检测算法为切入点,将车牌识别技术中的子任务统一到了目标检测的框架下,首次使用基于深度学习的字符检测并结合字符排序完成全种类车牌字符序列识别;由于完全使用深度学习技术,只要有足够的训练数据,本发明能够有非常好的整体识别率;与已有基于传统方法和基于深度学习的车牌识别方法相比,本发明具有极强的普适性,该方法考虑了全种类车牌的检测与识别,对于任意类型的车牌,不需要修改算法,只要准备相应的训练数据,便可使用本发明完成车牌识别。
附图说明
图1为本发明基于目标检测的全种类车牌识别方法流程示意图。
图2为本发明实施例中待识别车牌图像。
图3为本发明实施例中车牌检测后结果。
图4为本发明实施例中字符检车后结果。
图5为本发明实施例中T类型车牌的字符连接向量构成原理图。
具体实施方式
下面结合附图和实施例对本发明做进一步详细说明。
本发明提供一种基于目标检测的全种类车牌识别方法,该方法将车牌识别技术中的子任务统一到了目标检测的框架下,在车牌检测和字符检测两个步骤都用到了目标检测算法,只要目标检测算法可以输出目标的包围框和类别,都可以应用到本方法中,例如经典的Faster-rcnn、SSD、YOLO等基于深度神经网络的目标检测算法。
本发明将车牌的检测识别拆分为3个步骤:车牌检测、字符检测和字符排序,如图1所示:
车牌检测:定位出图像中所有车牌的包围框,包围框是一个由4个点组成的四边形,并同时输出包围框对应的车牌类型;
字符检测:将包围框中的图像透视变换为一个正矩形形状的待识别车牌图像,然后对待识别车牌图像运行字符检测算法,定位出待识别车牌图像中所有车牌字符的包围框,并同时输出包围框对应的字符类别;
字符排序:计算字符检测结果中每个包围框的中心点坐标,接下来根据车牌类型,找出与车牌类型对应的标准字符连接向量相似度最高的字符排序,进而得出最终的车牌字符序列;
此方法能够提高复杂场景下的整体识别率,并且适用于任何类型的车牌。
具体步骤如下:
步骤1、训练Denet车牌检测器:
按照Denet训练数据的格式制作车牌的标注数据,标注内容包括:车牌的包围框和车牌类型,
根据需要检测的车牌类别等设置网络参数,
使用theano深度学习框架训练出Denet车牌检测器;
使用训练出的Denet车牌检测器可以检测出图像中车牌的包围框和类型,如对图2进行车牌检测,将包围框中的图像取出可以得到车牌检测图像,记检测出来的车牌类型为T;将包围框中的图像截取出来得到图3;
步骤2、训练Denet字符检测器
按照Denet训练数据的格式制作车牌字符的标注数据,标注内容包括:字符的包围框和字符类别,
根据需要检测的字符类别等设置网络参数,
使用theano深度学习框架训练出Denet字符检测器;
使用训练好的Denet车牌字符检测器可以检测出车牌字符的包围框和类型,要求输入图像的车牌的倾角不得大于30度,通过字符检测可得到n个字符的包围框和类别,将检测结果记为集合{di=(boxi,clsi)}、i∈[1,n]、其中、boxi表示检测结果中第i个字符的边框、clsi表示检测结果中第i个字符的类别;但是直接检测出的字符是无序的,无法直接得到检测出的第i个字符在车牌字符序列中的位置,所以还需要对检测出的字符进行排序;如图4所示为对图3进行字符检测的结果;
步骤3、字符排序
字符排序是实现任意类型车牌识别的关键一步,本发明将使用检测出的字符的相对位置关系求解出每个字符在车牌字符序列中的位置;纵观国内外现有车牌,一个车牌类型的构成要素是车牌底板尺寸、颜色和车牌字符字体、颜色、尺寸、空间位置,在字符排序步骤中只需要使用到车牌的字符空间位置信息;
对于任一类型(记为T)的车牌如图5所示,用c1~cn表示车牌号的n个字符,为了描述T类型车牌的字符相对空间位置关系,记
Figure BDA0001778057800000051
为第j个字符中心点坐标减去第i个字符中心点坐标构成的向量,定义T类型车牌的字符连接向量为
Figure BDA0001778057800000052
接着便可以通过字符连接向量对字符进行排序;
对于字符检测结果{di}、i∈[1,n],为每个字符添加参数k表示其在车牌号中的序号
Figure BDA0001778057800000053
Figure BDA0001778057800000054
表示字符检测结果中的第i个字符是车牌号中的第k个字符;
为了确定字符检测结果中的每个字符的序号,列举检测出的字符所有可能的n!种组合:
Figure BDA0001778057800000055
j1j2...jn∈[1,n]and j1≠j2≠...≠jn
按照如下流程计算每种组合与T类型车牌的字符连接向量的余弦相似度:
1)对于组合
Figure BDA0001778057800000056
计算其字符连接向量为
Figure BDA0001778057800000057
其中,
Figure BDA0001778057800000058
表示
Figure BDA0001778057800000059
包围框中心点坐标减去
Figure BDA00017780578000000510
包围框中心点坐标构成的向量;
2)计算T类型车牌的字符连接向量和当前组合的字符连接向量每一维向量之间夹角,得到夹角集合
Figure BDA00017780578000000511
若集合中夹角都小于30°,则进入下一步计算,否则直接将当前组合的余弦相似度设为0;
3)根据
Figure BDA00017780578000000512
计算出余弦相似度;余弦相似度计算公式为:
Figure BDA00017780578000000513
计算完每种组合与T类型车牌的字符连接向量的余弦相似度,选取相似度最大的组合作为最优组合并记为
Figure BDA00017780578000000514
那么最终车牌号识别结果为
Figure BDA00017780578000000515
如图3所示的字符检测结果,经过排序后输出序列AB1234CD。
以上所述,仅为本发明的具体实施方式,本说明书中所公开的任一特征,除非特别叙述,均可被其他等效或具有类似目的的替代特征加以替换;所公开的所有特征、或所有方法或过程中的步骤,除了互相排斥的特征和/或步骤以外,均可以任何方式组合。

Claims (3)

1.一种基于目标检测的全种类车牌识别方法,其特征在于,包括以下步骤:
步骤1、训练Denet车牌检测器,并使用训练出的Denet车牌检测器检测出图像中车牌的包围框和类型,得到车牌类型为T类型;
步骤2、训练Denet字符检测器,并使用训练好的Denet车牌字符检测器检测出车牌字符的包围框和类型,得到n个字符的包围框和类别,将检测结果记为集合:
{di=(boxi,clsi)}、i∈[1,n]、其中、boxi表示字符检测结果中第i个字符的包围框、clsi表示字符检测结果中第i个字符的类别;
步骤3、字符排序
对于字符检测结果{di}、i∈[1,n],为每个字符添加标记k表示其在车牌号中的序号,得到:
Figure FDA0003254739490000011
其中,
Figure FDA0003254739490000012
表示字符检测结果中第i个字符是车牌号中的第k个字符;
列举检测出的字符所有可能的n!种排序组合:
Figure FDA0003254739490000013
计算每一个组合
Figure FDA0003254739490000014
与T类型车牌的字符连接向量
Figure FDA0003254739490000015
的余弦相似度,其中,
Figure FDA0003254739490000016
为T类型车牌中第j个字符中心点坐标减去第i个字符中心点坐标构成的向量;具体计算过程如下:
1)对于组合
Figure FDA0003254739490000017
计算其字符连接向量为
Figure FDA0003254739490000018
表示
Figure FDA0003254739490000019
包围框中心点坐标减去
Figure FDA00032547394900000110
包围框中心点坐标构成的向量;
2)计算T类型车牌的字符连接向量和当前组合的字符连接向量每一维向量之间夹角,得到夹角集合
Figure FDA00032547394900000111
若集合中夹角都小于30°,则进入下一步计算,否则直接将当前组合的余弦相似度设为0;
3)根据
Figure FDA00032547394900000112
计算出余弦相似度;
遍历所有组合与T类型车牌的字符连接向量的余弦相似度,得到相似度最大值对应的组合作为最优组合,得到字符排序。
2.按权利要求1所述基于目标检测的全种类车牌识别方法,其特征在于,所述步骤1中Denet车牌检测器训练过程为:按照Denet训练数据的格式制作车牌的标注数据,标注内容包括:车牌的包围框和车牌类型,
根据需要检测的车牌类别设置网络参数,
使用theano深度学习框架训练出Denet车牌检测器。
3.按权利要求1所述基于目标检测的全种类车牌识别方法,其特征在于,所述步骤2中Denet字符检测器训练过程为:按照Denet训练数据的格式制作车牌字符的标注数据,标注内容包括:字符的包围框和字符类别,
根据需要检测的字符类别设置网络参数,
使用theano深度学习框架训练出Denet字符检测器。
CN201810994558.4A 2018-08-27 2018-08-27 一种基于目标检测的全种类车牌识别方法 Active CN109325487B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810994558.4A CN109325487B (zh) 2018-08-27 2018-08-27 一种基于目标检测的全种类车牌识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810994558.4A CN109325487B (zh) 2018-08-27 2018-08-27 一种基于目标检测的全种类车牌识别方法

Publications (2)

Publication Number Publication Date
CN109325487A CN109325487A (zh) 2019-02-12
CN109325487B true CN109325487B (zh) 2021-12-03

Family

ID=65264163

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810994558.4A Active CN109325487B (zh) 2018-08-27 2018-08-27 一种基于目标检测的全种类车牌识别方法

Country Status (1)

Country Link
CN (1) CN109325487B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112560551A (zh) * 2019-09-25 2021-03-26 西门子(中国)有限公司 用于车牌识别的系统、方法和设备
CN112329886A (zh) * 2020-11-26 2021-02-05 珠海大横琴科技发展有限公司 双车牌识别方法、模型训练方法、装置、设备及存储介质
CN112488105A (zh) * 2020-12-02 2021-03-12 深圳市芊熠智能硬件有限公司 车牌角度校正方法、装置、设备和介质
CN113096105A (zh) * 2021-04-15 2021-07-09 深圳市玻尔智造科技有限公司 一种基于有向稀疏采样的手机屏幕缺陷检测方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101944174A (zh) * 2009-07-08 2011-01-12 西安电子科技大学 车牌字符的识别方法
CN106971185A (zh) * 2017-03-27 2017-07-21 深圳市丰巨泰科电子有限公司 一种基于全卷积网络的车牌定位方法及装置
CN107679565A (zh) * 2017-09-21 2018-02-09 电子科技大学 跳跃式滑窗加速车牌检测方法
CN108197625A (zh) * 2017-12-18 2018-06-22 北京云星宇交通科技股份有限公司 一种校正车牌识别的方法及系统
CN108334881A (zh) * 2018-03-12 2018-07-27 南京云创大数据科技股份有限公司 一种基于深度学习的车牌识别方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070058856A1 (en) * 2005-09-15 2007-03-15 Honeywell International Inc. Character recoginition in video data
US8798325B2 (en) * 2012-02-21 2014-08-05 Xerox Corporation Efficient and fault tolerant license plate matching method
CN103207998A (zh) * 2012-12-24 2013-07-17 电子科技大学 一种基于支持向量机的车牌字符分割方法
US9008429B2 (en) * 2013-02-01 2015-04-14 Xerox Corporation Label-embedding for text recognition
CN106407981B (zh) * 2016-11-24 2019-04-23 北京文安智能技术股份有限公司 一种车牌识别方法、装置及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101944174A (zh) * 2009-07-08 2011-01-12 西安电子科技大学 车牌字符的识别方法
CN106971185A (zh) * 2017-03-27 2017-07-21 深圳市丰巨泰科电子有限公司 一种基于全卷积网络的车牌定位方法及装置
CN107679565A (zh) * 2017-09-21 2018-02-09 电子科技大学 跳跃式滑窗加速车牌检测方法
CN108197625A (zh) * 2017-12-18 2018-06-22 北京云星宇交通科技股份有限公司 一种校正车牌识别的方法及系统
CN108334881A (zh) * 2018-03-12 2018-07-27 南京云创大数据科技股份有限公司 一种基于深度学习的车牌识别方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
A Novel System Design of License Plate Recognition;Yu,CP等;《Proceedings of the 2008 International Symposium on Computational Intelligence and Design》;20081018;第114-117页 *
Recognition of Vehicle Number Plates;Ondrej Martinsky;《Proceedings of the Tenth International Conference on Enterprise Information Systems》;20081231;第136-140页 *
自然场景下车牌字符识别方法的研究;宁蒙;《中国优秀硕士学位论文全文数据库 信息科技辑》;20160215;第I138-1776页 *
车牌的字符分割和字符识别的研究与实现;单瑾等;《成都电子机械高等专科学校学报》;20110331;第14卷(第1期);第24-27页 *

Also Published As

Publication number Publication date
CN109325487A (zh) 2019-02-12

Similar Documents

Publication Publication Date Title
CN111666938B (zh) 一种基于深度学习的两地双车牌检测识别方法及系统
CN109325487B (zh) 一种基于目标检测的全种类车牌识别方法
CN105046196B (zh) 基于级联卷积神经网络的前车车辆信息结构化输出方法
CN112686812B (zh) 银行卡倾斜矫正检测方法、装置、可读存储介质和终端
WO2017190574A1 (zh) 一种基于聚合通道特征的快速行人检测方法
CN102509098B (zh) 一种鱼眼图像车辆识别方法
CN103077407B (zh) 车标定位识别方法及系统
CN107103317A (zh) 基于图像融合和盲反卷积的模糊车牌图像识别算法
CN107316031A (zh) 用于行人重识别的图像特征提取方法
CN112016605B (zh) 一种基于边界框角点对齐和边界匹配的目标检测方法
WO2021082168A1 (zh) 一种场景图像中特定目标对象的匹配方法
CN103093201B (zh) 车标定位识别方法及系统
CN103473551A (zh) 基于sift算子的台标识别方法及系统
CN107301414B (zh) 一种自然场景图像中的中文定位、分割和识别方法
CN112270310A (zh) 一种基于深度学习的跨摄像头行人多目标跟踪方法和装置
CN106529532A (zh) 一种基于积分特征通道与灰度投影的车牌识别系统
CN103886619A (zh) 一种融合多尺度超像素的目标跟踪方法
CN104123529A (zh) 人手检测方法及系统
CN113673541B (zh) 一种用于目标检测的图像样本生成方法及应用
CN104299009A (zh) 基于多特征融合的车牌字符识别方法
CN113538585B (zh) 基于无人机的高精度多目标智能识别定位追踪方法及系统
CN109977862B (zh) 一种车位限位器的识别方法
CN111860509A (zh) 一种由粗到精的两阶段非约束车牌区域精准提取方法
CN111915583A (zh) 复杂场景中基于车载红外热像仪的车辆和行人检测方法
CN116704490B (zh) 车牌识别方法、装置和计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant