CN109948612A - 基于卷积网络的车牌检测方法、存储介质和检测设备 - Google Patents

基于卷积网络的车牌检测方法、存储介质和检测设备 Download PDF

Info

Publication number
CN109948612A
CN109948612A CN201910210152.7A CN201910210152A CN109948612A CN 109948612 A CN109948612 A CN 109948612A CN 201910210152 A CN201910210152 A CN 201910210152A CN 109948612 A CN109948612 A CN 109948612A
Authority
CN
China
Prior art keywords
license plate
convolutional network
characteristic pattern
detection
detection method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910210152.7A
Other languages
English (en)
Inventor
孔令军
王锐
李华康
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Yilin City Information Technology Co Ltd
Original Assignee
Suzhou Yilin City Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Yilin City Information Technology Co Ltd filed Critical Suzhou Yilin City Information Technology Co Ltd
Priority to CN201910210152.7A priority Critical patent/CN109948612A/zh
Publication of CN109948612A publication Critical patent/CN109948612A/zh
Pending legal-status Critical Current

Links

Abstract

本发明公开一种基于卷积网络的车牌检测方法、存储介质和检测设备,其中车牌检测方法包括:利用卷积网络进行图片特征提取,再由车头车尾检测模块获取车头车尾坐标位置,从中提取车头车尾区域的局部特征图,再经过车牌检测模块,得到车牌的坐标位置。本发明提出了将卷积网络特征图的空间不变性特点运用于车牌检测,能够精确的通过特征图的分类结果定位车牌位置。本发明识别效果突出,准确率高,能够实时的运用于车牌识别系统以及嵌入式设备的移植;利用卷积网络对光照的鲁棒性,在各种天气环境条件下,能够较好的识别并定位出车牌。

Description

基于卷积网络的车牌检测方法、存储介质和检测设备
技术领域
本发明涉及图像处理技术领域,具体涉及一种基于卷积网络的车牌检测方法、存储介质和检测设备。
背景技术
我国经济的快速发展使得人们的生活水平日益提高,而人们生活中的出行方式逐渐从自行车转向机动汽车。较为明显的是各个地区由于人口基数庞大使得汽车的保有量快速增长。随着汽车的保有量的增多,车辆管理的工作量随之增大,特别是对乱停乱放、违反交通规则、等行为的查处以及追踪逃犯等需要通过人工重复性进行监视摄像机,这种情况存在着人为因素的影响不能够快速的实时的定位目标车辆,并且造成了大量的人力成本的浪费。对于机动车辆能够通过车牌确定车辆的身份,最常用的方法自动获取车辆信息的方式是通过车牌识别技术。
车牌识别中最重要的一环是车牌检测,车牌检测的结果影响到最终的识别结果。通常的检测方法使用传统的车牌识别方法,比如:LBP(Local Binary Pattern,局部二值模式)级联分类网络、支持向量机等。此类方法主要的缺点是在各种特殊环境下的车牌检测率较低,如光线黑暗、光线太强、存在反光等,车牌的放置角度也影响着算法的精确度;训练困难(需要人为设置一些训练参数)。
发明内容
为了解决背景技术中存在的缺陷,本发明提供一种基于卷积网络的车牌检测方法、存储介质和检测设备,运用深度卷积网络进行图像特征提取,识别准确率高,适合各种光照条件,降低天气环境以及人为干扰情况下的错误率。
本发明一方面提供一种基于卷积网络的车牌检测方法,包括以下步骤:
S1、获取图片;
S2、将所述图片重构为固定大小的特征图,送入卷积网络进行特征提取,得到若干尺寸不同的初步特征图;
S3、将所述初步特征图作为车头车尾检测模块的输入,得到车头车尾坐标位置;
S4、根据所述车头车尾坐标位置,从所述初步特征图中获取包含车头车尾特征区域的局部特征图;
S5、将所述局部特征图作为车牌检测模块的输入,得到车牌坐标位置;
S6、根据所述车头车尾坐标位置和所述车牌坐标位置,得到车牌相对于S1中所述图片的坐标。
优选的,S2中所述卷积网络进行特征提取,所述卷积网络包括卷积层和池化层,所述卷积层用于进行卷积运算,不改变所述特征图的尺寸,所述池化层用于进行二倍下采样,使得到的所述初步特征图的尺寸为作为输入的所述特征图的一半。
优选的,所述初步特征图的长宽相等,为2n,其中1≤n≤8。
优选的,所述车头车尾检测模块和所述车牌检测模块均需经过模型训练。
优选的,所述模型训练包括数据增强步骤,所述数据增强方式包括随机图片亮度、对比度、将RGB颜色空间转换成HSV空间并分别随机设定H、S、V颜色空间、裁剪图片以及填充图片。
本发明第二方面提供一种存储介质,包括存储在该存储介质中的程序,在所述程序运行时控制所述存储介质所在的设备执行上述任一技术方案所述的车牌检测方法。
本发明第三方面提供一种车牌检测设备,包括处理器,所述处理器用于运行程序,所述程序运行时执行上述任一技术方案所述的车牌检测方法。
本发明使用卷积网络提取到的特征图作为候选框,并且通过候选框的坐标轴进行回归来精确定位车牌框,仅使用卷积层以及池化层提取图像特征属性,利用深度卷积网络的空间不变性定位车牌。本发明使用卷积网络进行车牌识别,识别效果突出,准确率高,能够实时的运用于车牌识别系统,以及嵌入式设备的移植;本发明使用卷积神经网络对图片进行特征提取,利用卷积网络提取特征的空间不变性来进行物体定位,利用卷积网络对光照的鲁棒性,在各种天气环境条件下,能够较好的识别并定位出车牌,在各种光照条件下,例如曝光、黑暗条件下,也比较好的识别出车牌;本发明能够防止将某些图片中出现的字符识别成车牌,以及防止将各种场景下其他物体如路标、广告牌识别成车牌目标;能够降低真实环境下车牌识别的误报率;以及防止人为因素影响。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图示出的结构获得其他的附图。
图1为本发明实施例基于卷积网络的车牌检测方法流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
需要说明,若本发明实施例中有涉及方向性指示,则该方向性指示仅用于解释在某一特定姿态下各部件之间的相对位置关系、运动情况等,如果该特定姿态发生改变时,则该方向性指示也相应地随之改变。
直接进行车牌检测除了要考虑优化小目标的识别外,还得需要考虑到性能的影响。主要原因小物体检测往往处于浅层网络进行检测,这类因素导致识别率较低。而小物体的识别数量众多,使得卷积网路的参数较多,计算量也加大,使得网络的性能较低,而使用车头车尾检测则能够克服这两种困难。车头车尾检测针对优化大目标识别算法进行优化,车头车尾检测的精确度能够达到99%,其中主要的原因在于卷积网络对于图占比大的目标识别准确率高,相对的对图占比低的目标识别准确率较低。
图1所示为本发明实施例提供的基于卷积网络的车牌检测方法流程,其包括以下步骤:
S1、获取图片;可以是由相机拍下的,也可以是从网络上下载的,或从视频中截取的图片。
S2、将所述图片重构为固定大小的特征图,送入卷积网络进行特征提取,得到若干尺寸不同的初步特征图;
在一些实施方式中,所述卷积网络进行特征提取,所述卷积网络包括卷积层和池化层,所述卷积层用于进行卷积运算,不改变所述特征图的尺寸,所述池化层用于进行二倍下采样,使得到的所述初步特征图的尺寸为作为输入的所述特征图的一半。
举例说明,将图片重构为256x256像素大小,经卷积层进行卷积操作和池化层下采样后,最终卷积网络提取到的初步特征图长宽分别为:256x256、128x128、64x64、32x32、16x16、8x8、4x4、2x2。
S3、将所述初步特征图作为车头车尾检测模块的输入,得到车头车尾坐标位置;
车头车尾检测模块,主要使用SSD目标检测算法(Single Shot MultiBoxDetector)的分类框架以及回归框架作为主要功能单元,其主要通过不同大小的初步特征图作为SSD算法的类别分类以及目标检测框的回归,并综合分类以及目标检测框回归结果,获取车头车尾检测框的预测位置。SSD目标检测算法是本领域的现有技术,此处不再详细描述。
S4、根据所述车头车尾坐标位置,从所述初步特征图中获取包含车头车尾特征区域的局部特征图。主要利用卷积网络的相对空间不变性,通过所述车头车尾坐标位置从不同大小的初步特征图中获取预测为车头车尾特征区域。候选框在8x8、4x4、2x2像素的初步特征图上选取。通过卷积网络提取到的不同长宽的初步特征图作为候选框中点、并且初步特征图与原图片所占的比例为候选框的长宽与原图的比例。候选框相对于原图的相对位置不会改变,上述三个初步特征图相对于原图像素值比例分别为1:8、1:4、1:2,故候选区的三个初步特征图的候选框长度分别为32、64、128,长宽比为固定的1:1、2:1和1:2。
S5、将所述局部特征图作为车牌检测模块的输入,得到车牌坐标位置;
车牌检测模块,将车头车尾区域的局部特征图作为类似于SSD目标检测算法中的类别分类以及目标检测框的回归进行车牌检测,获取车牌坐标位置。
在车头车尾图片中检测车牌是一种非常合适的方法,在实际环境中,车牌往往处于车头或者车尾中部。针对卷积网络学习能力的有限性,卷积网络在单一的场景中往往能够达到非常好的准确率。于是使用在车头车尾中识别车牌的方法能够排除一些无关因素的干扰,使得卷积网络能够更集中于去学习车牌检测,使得车牌框的回归学习更加准确。
在本实施例中,车头车尾检测模块和车牌检测模块的损失函数由两部分组成,一部分为分类损失函数并使用softmax计算,另一部分为框回归损失函数。其中分类损失中的正样本选择候选框A与真实样本框B的IOU{(A∩B)/(A∪B)}大于0.7为正样本,而小于0.3为负样本,0.3与0.7部分则忽略,不当作正样本以及负样本。框损失函数由回归损失构成,将候选框以及真实框的四个坐标轴x1、y1、x2、y2的坐标转换成中点坐标轴以及候选框的长宽cx、cy、h、w,转换公式如下:
中点x轴坐标:cx=(x1+x2)/2
中点y轴坐标:cy=(y1+y2)/2
框高度:h=y2–y1
框宽度:w=x2–x1。
其中真实样获取上述结果后,假定真实目标框为g,而候选目标框为b。则对于上述四点回归计算分别计算:(gcx–bcx)/bw,(gcy-bcy)/bh,gh/bh,gw/bw。其中gcx、gcy、gh、gw分别代表真实框的中点x轴坐标、y轴坐标、长度、宽度。而bcx、bcy、bh、bw分别代表候选框的中点x轴坐标、y轴坐标、长度和宽度。然后对上述四个公式的计算结果进行线性回归。对于线性回归部分,仅仅在候选框满足与真实样本的IOU大于0.3的条件下对候选框进行线性回归计算。最终通过将分类损失和回归损失联合进行训练。
S6、根据所述车头车尾坐标位置和所述车牌坐标位置,得到车牌相对于S1中所述图片的坐标。
一般的,车头车尾检测模块和车牌检测模块均需事先经过模型训练。模型训练方式与SSD目标检测算法训练方式一致,不再赘述。
在本实施例中,模型训练包括数据增强步骤,数据增强方式包括图片随机亮度、对比度、将RGB颜色空间转换成HSV空间并分别随机设定H、S、V颜色空间、裁剪图片以及填充图片。其中随机亮度与对比度随机改变到原值的(-30,30)范围。随机H、S、V三种颜色空间通过将原值随机到(-30,30)范围内。图片裁剪通过将图片随机进行裁剪,但裁剪相对于原图的长宽需要限制在(0.9,1.0)范围内,以防止对图片的过度裁剪。对于图片的填充则是通过将图片的周边填充0像素值或者一像素值,填充后的图像相对于原图的的长宽比例不能够超过1.1:1以防止模拟真实场景过度,造成生成样本失真现象。上述的样本增强方法理论上能够制造无数样本训练模型,本领域技术人员应当理解基于以上样本增加方法的一些数值变化和手段扩展,都在本发明的保护范围内。
本发明实施例提出了将卷积网络特征图的空间不变性特点运用于车牌检测,能够精确的通过特征图的分类结果定位车牌位置,使用了数据增强运用于车牌检测卷积网络的训练中,模拟车牌的各种图像失真情况。例如:车牌目标太小、光照强度较暗、光照强度太强使得训练的模型对于各种光照条件下具有较高的鲁棒性,能够达较好的精确度。
本发明实施例还提供一种存储介质,包括存储在该存储介质中的程序,在所述程序运行时控制所述存储介质所在的设备执行上述任一技术方案所述的车牌检测方法。
本发明实施例还提供一种车牌检测设备,包括处理器,所述处理器用于运行程序,所述程序运行时执行上述任一技术方案所述的车牌检测方法。
所述存储介质和车牌检测设备的工作流程与产生的有益效果,可参见上述对基于卷积网络的车牌检测方法的描述。
本发明方案所公开的技术手段不仅限于上述实施方式所公开的技术手段,还包括由以上技术特征任意组合所组成的技术方案。

Claims (7)

1.基于卷积网络的车牌检测方法,其特征在于,包括以下步骤,
S1、获取图片;
S2、将所述图片重构为固定大小的特征图,送入卷积网络进行特征提取,得到若干尺寸不同的初步特征图;
S3、将所述初步特征图作为车头车尾检测模块的输入,得到车头车尾坐标位置;
S4、根据所述车头车尾坐标位置,从所述初步特征图中获取包含车头车尾特征区域的局部特征图;
S5、将所述局部特征图作为车牌检测模块的输入,得到车牌坐标位置;
S6、根据所述车头车尾坐标位置和所述车牌坐标位置,得到车牌相对于S1中所述图片的坐标。
2.根据权利要求1所述的车牌检测方法,其特征在于,S2中所述卷积网络进行特征提取,所述卷积网络包括卷积层和池化层,所述卷积层用于进行卷积运算,不改变所述特征图的尺寸,所述池化层用于进行二倍下采样,使得到的所述初步特征图的尺寸为作为输入的所述特征图的一半。
3.根据权利要求2所述的车牌检测方法,其特征在于,所述初步特征图的长宽相等,为2n,其中1≤n≤8。
4.根据权利要求1所述的车牌检测方法,其特征在于,所述车头车尾检测模块和所述车牌检测模块均需经过模型训练。
5.根据权利要求4所述的车牌检测方法,其特征在于,所述模型训练包括数据增强步骤,所述数据增强方式包括随机图片亮度、对比度、将RGB颜色空间转换成HSV空间并分别随机设定H、S、V颜色空间、裁剪图片以及填充图片。
6.一种存储介质,其特征在于:包括存储在该存储介质中的程序,在所述程序运行时控制所述存储介质所在的设备执行权利要求1~6任一项所述的车牌检测方法。
7.一种车牌检测设备,其特征在于,包括处理器,所述处理器用于运行程序,所述程序运行时执行权利要求1~6任一项所述的车牌检测方法。
CN201910210152.7A 2019-03-19 2019-03-19 基于卷积网络的车牌检测方法、存储介质和检测设备 Pending CN109948612A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910210152.7A CN109948612A (zh) 2019-03-19 2019-03-19 基于卷积网络的车牌检测方法、存储介质和检测设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910210152.7A CN109948612A (zh) 2019-03-19 2019-03-19 基于卷积网络的车牌检测方法、存储介质和检测设备

Publications (1)

Publication Number Publication Date
CN109948612A true CN109948612A (zh) 2019-06-28

Family

ID=67010353

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910210152.7A Pending CN109948612A (zh) 2019-03-19 2019-03-19 基于卷积网络的车牌检测方法、存储介质和检测设备

Country Status (1)

Country Link
CN (1) CN109948612A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110766009A (zh) * 2019-10-31 2020-02-07 深圳市捷顺科技实业股份有限公司 尾牌识别方法、装置以及计算机可读存储介质

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104239867A (zh) * 2014-09-17 2014-12-24 深圳市捷顺科技实业股份有限公司 车牌定位方法及系统
CN105740855A (zh) * 2016-03-24 2016-07-06 博康智能信息技术有限公司 一种基于深度学习的前后车牌检测识别方法
CN105868774A (zh) * 2016-03-24 2016-08-17 西安电子科技大学 基于选择性搜索和卷积神经网络的车标识别方法
CN106022232A (zh) * 2016-05-12 2016-10-12 成都新舟锐视科技有限公司 基于深度学习的车牌检测方法
CN106096607A (zh) * 2016-06-12 2016-11-09 湘潭大学 一种车牌识别方法
CN107220579A (zh) * 2016-03-21 2017-09-29 杭州海康威视数字技术股份有限公司 一种车牌检测方法及装置
CN107590492A (zh) * 2017-08-28 2018-01-16 浙江工业大学 一种基于卷积神经网络的车标定位与识别方法
CN107679531A (zh) * 2017-06-23 2018-02-09 平安科技(深圳)有限公司 基于深度学习的车牌识别方法、装置、设备及存储介质
US20180121744A1 (en) * 2016-10-31 2018-05-03 Electronics And Telecommunications Research Institute System and method for recognizing vehicle license plate information
CN108009526A (zh) * 2017-12-25 2018-05-08 西北工业大学 一种基于卷积神经网络的车辆识别与检测方法
CN108319907A (zh) * 2018-01-26 2018-07-24 腾讯科技(深圳)有限公司 一种车辆识别方法、装置和存储介质
CN108830192A (zh) * 2018-05-31 2018-11-16 珠海亿智电子科技有限公司 车载环境下基于深度学习的车辆与车牌检测方法
CN109145928A (zh) * 2017-06-16 2019-01-04 杭州海康威视数字技术股份有限公司 一种基于图像的车头朝向识别方法及装置
CN109409337A (zh) * 2018-11-30 2019-03-01 公安部交通管理科学研究所 基于卷积神经网络的渣土车特征识别方法

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104239867A (zh) * 2014-09-17 2014-12-24 深圳市捷顺科技实业股份有限公司 车牌定位方法及系统
CN107220579A (zh) * 2016-03-21 2017-09-29 杭州海康威视数字技术股份有限公司 一种车牌检测方法及装置
CN105740855A (zh) * 2016-03-24 2016-07-06 博康智能信息技术有限公司 一种基于深度学习的前后车牌检测识别方法
CN105868774A (zh) * 2016-03-24 2016-08-17 西安电子科技大学 基于选择性搜索和卷积神经网络的车标识别方法
CN106022232A (zh) * 2016-05-12 2016-10-12 成都新舟锐视科技有限公司 基于深度学习的车牌检测方法
CN106096607A (zh) * 2016-06-12 2016-11-09 湘潭大学 一种车牌识别方法
US20180121744A1 (en) * 2016-10-31 2018-05-03 Electronics And Telecommunications Research Institute System and method for recognizing vehicle license plate information
CN109145928A (zh) * 2017-06-16 2019-01-04 杭州海康威视数字技术股份有限公司 一种基于图像的车头朝向识别方法及装置
CN107679531A (zh) * 2017-06-23 2018-02-09 平安科技(深圳)有限公司 基于深度学习的车牌识别方法、装置、设备及存储介质
CN107590492A (zh) * 2017-08-28 2018-01-16 浙江工业大学 一种基于卷积神经网络的车标定位与识别方法
CN108009526A (zh) * 2017-12-25 2018-05-08 西北工业大学 一种基于卷积神经网络的车辆识别与检测方法
CN108319907A (zh) * 2018-01-26 2018-07-24 腾讯科技(深圳)有限公司 一种车辆识别方法、装置和存储介质
CN108830192A (zh) * 2018-05-31 2018-11-16 珠海亿智电子科技有限公司 车载环境下基于深度学习的车辆与车牌检测方法
CN109409337A (zh) * 2018-11-30 2019-03-01 公安部交通管理科学研究所 基于卷积神经网络的渣土车特征识别方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110766009A (zh) * 2019-10-31 2020-02-07 深圳市捷顺科技实业股份有限公司 尾牌识别方法、装置以及计算机可读存储介质

Similar Documents

Publication Publication Date Title
CN106599773B (zh) 用于智能驾驶的深度学习图像识别方法、系统及终端设备
CN106845487A (zh) 一种端到端的车牌识别方法
CN106599792B (zh) 一种手部驾驶违规行为的检测方法
CN109492638A (zh) 文本检测方法、装置及电子设备
Björklund et al. Robust license plate recognition using neural networks trained on synthetic images
CN108068817A (zh) 一种无人驾驶汽车自动变道装置及方法
CN107944450B (zh) 一种车牌识别方法及装置
CN108564120B (zh) 基于深度神经网络的特征点提取方法
CN107315998B (zh) 基于车道线的车辆种类划分方法和系统
WO2019223586A1 (zh) 车位使用状况的检测方法、装置、电子设备及存储介质
TWI677826B (zh) 車牌辨識系統與方法
CN110781882A (zh) 一种基于yolo模型的车牌定位和识别方法
CN110929593A (zh) 一种基于细节辨别区别的实时显著性行人检测方法
CN111091023A (zh) 一种车辆检测方法、装置及电子设备
CN109993806A (zh) 一种颜色识别方法、装置及电子设备
CN108509900A (zh) 交通标志检测和识别方法、系统及存储介质
CN109948612A (zh) 基于卷积网络的车牌检测方法、存储介质和检测设备
CN111340028A (zh) 一种文本定位方法、装置、电子设备及存储介质
CN111339823A (zh) 基于机器视觉和反向投影算法的打谷晒场检测方法
CN111046880A (zh) 一种红外目标图像分割方法、系统、电子设备及存储介质
Silvano et al. Synthetic image generation for training deep learning-based automated license plate recognition systems on the Brazilian Mercosur standard
CN112488985A (zh) 图像质量确定方法、装置及设备
CN110222572A (zh) 跟踪方法、装置、电子设备及存储介质
CN109977941A (zh) 车牌识别方法及装置
CN109492522A (zh) 特定目标检测模型训练程序、设备及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190628

WD01 Invention patent application deemed withdrawn after publication