CN111914839B - 基于YOLOv3的同步端到端车牌定位与识别方法 - Google Patents
基于YOLOv3的同步端到端车牌定位与识别方法 Download PDFInfo
- Publication number
- CN111914839B CN111914839B CN202010740113.0A CN202010740113A CN111914839B CN 111914839 B CN111914839 B CN 111914839B CN 202010740113 A CN202010740113 A CN 202010740113A CN 111914839 B CN111914839 B CN 111914839B
- Authority
- CN
- China
- Prior art keywords
- license plate
- loss
- network
- license
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 65
- 230000001360 synchronised effect Effects 0.000 title abstract description 10
- 238000001514 detection method Methods 0.000 claims abstract description 61
- 238000012549 training Methods 0.000 claims abstract description 25
- 238000012360 testing method Methods 0.000 claims abstract description 11
- 238000012795 verification Methods 0.000 claims abstract description 6
- 238000004519 manufacturing process Methods 0.000 claims abstract description 4
- 230000006870 function Effects 0.000 claims description 15
- 230000008569 process Effects 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 4
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 claims description 3
- 230000000694 effects Effects 0.000 description 24
- 238000013527 convolutional neural network Methods 0.000 description 13
- 238000012545 processing Methods 0.000 description 13
- 238000004422 calculation algorithm Methods 0.000 description 12
- 238000013135 deep learning Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 9
- 230000011218 segmentation Effects 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 6
- 238000005286 illumination Methods 0.000 description 6
- 230000008901 benefit Effects 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 4
- 238000012706 support-vector machine Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000007477 logistic regression Methods 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- HPTJABJPZMULFH-UHFFFAOYSA-N 12-[(Cyclohexylcarbamoyl)amino]dodecanoic acid Chemical compound OC(=O)CCCCCCCCCCCNC(=O)NC1CCCCC1 HPTJABJPZMULFH-UHFFFAOYSA-N 0.000 description 1
- IGRCWJPBLWGNPX-UHFFFAOYSA-N 3-(2-chlorophenyl)-n-(4-chlorophenyl)-n,5-dimethyl-1,2-oxazole-4-carboxamide Chemical compound C=1C=C(Cl)C=CC=1N(C)C(=O)C1=C(C)ON=C1C1=CC=CC=C1Cl IGRCWJPBLWGNPX-UHFFFAOYSA-N 0.000 description 1
- 102100032202 Cornulin Human genes 0.000 description 1
- 101000920981 Homo sapiens Cornulin Proteins 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000004883 computer application Methods 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000013434 data augmentation Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 229910052704 radon Inorganic materials 0.000 description 1
- SYUHGPGVQRZVTB-UHFFFAOYSA-N radon atom Chemical compound [Rn] SYUHGPGVQRZVTB-UHFFFAOYSA-N 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- HOWHQWFXSLOJEF-MGZLOUMQSA-N systemin Chemical compound NCCCC[C@H](N)C(=O)N[C@@H](CCSC)C(=O)N[C@@H](CCC(N)=O)C(=O)N[C@@H]([C@@H](C)O)C(=O)N[C@@H](CC(O)=O)C(=O)OC(=O)[C@@H]1CCCN1C(=O)[C@H]1N(C(=O)[C@H](CC(O)=O)NC(=O)[C@H](CCCN=C(N)N)NC(=O)[C@H](CCCCN)NC(=O)[C@H](CO)NC(=O)[C@H]2N(CCC2)C(=O)[C@H]2N(CCC2)C(=O)[C@H](CCCCN)NC(=O)[C@H](CO)NC(=O)[C@H](CCC(N)=O)NC(=O)[C@@H](NC(=O)[C@H](C)N)C(C)C)CCC1 HOWHQWFXSLOJEF-MGZLOUMQSA-N 0.000 description 1
- 108010050014 systemin Proteins 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
- G06V20/63—Scene text, e.g. street names
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
基于YOLOv3的同步端到端车牌定位与识别方法，获取车牌外接矩形框以及车牌号信息，制作成数据集标签文件，将数据集分为训练数据集、验证数据集和测试数据集；训练基于YOLOv3的车牌检测与识别一体化网络LP‑Yolo，使之能在检测车牌的同时实现对多种类型车牌的识别，将训练数据集增广后，放入网络训练；利用训练好的网络模型，在测试数据集上对车牌进行定位和识别，然后评估模型。本发明能对多种类型及不同长度的车牌进行分类并识别。同时，该方法提出的网络LP‑Yolo能在各种非约束环境下快速准确检测并识别车牌。
Description
技术领域
本发明涉及车牌自动识别技术领域，具体涉及一种基于YOLOv3的同步端到端车牌定位与识别方法。
背景技术
自动车牌识别系统在智能交通领域中应用广泛，如车辆违章监测、高速路口收费、停车场收费等。在道路交通管理中，车牌是获取车辆拥有者信息的唯一依据，因此在车辆行驶过程中，准确有效的识别车牌信息具有重要意义。现有的车牌识别技术通常被分为车牌检测和字符识别两部分。现有的车牌检测与字符识别技术均可分为传统方法和深度学习的方法。
传统车牌检测方法可分为基于边缘特征、基于数学形态学和基于颜色特征三种。如文献[1]陈政.车牌识别系统研究综述[J].现代信息科技,2019,3(11):193-195中记载。其中，1)基于边缘特征的方法是利用车牌边缘特征信息对车牌进行定位，文献[2]Davis,A.M.,Arunvinodh C.,&Arathy Menon NP.(2015).Automatic license plate detectionusing vertical edge detection method.2015International Conference onInnovations in Information,Embedded and Communication Systems(ICIIECS).doi:10.1109/iciiecs.2015.7193073.提出一种快速边缘检测算法VEDA用于提取车牌垂直边缘，并使用HDD对车牌区域进行高亮处理来定位车牌。基于边缘特征的方法适合处理边界明显的车牌图像，对于模糊的、边界不清的车牌图像效果不佳。
2)基于数学形态学的方法通过膨胀、腐蚀等基本运算处理图像，文献[3]王晓群,刘宏志.基于自适应数学形态学的车牌定位研究[J].图学学报,2017,38(06):843-850提出了一种基于自适应数学形态学的方法，通过改进行列自适应数学形态学结构元素的方法对车牌进行粗定位,提高了只基于行的自适应结构元素选取算法获取候选车牌的效率。基于数学形态学的方法只适合处理背景简单的车牌图像，因此通常需要结合其他方法来定位车牌。
3)基于颜色特征的方法利用车牌特有的颜色特征对车牌进行定位，文献[4]Tian,Y.,Song,J.,Zhang,X.,Shen,P.,Zhang,L.,Gong,W.,…Zhu,G.(2016).An algorithmcombined with color differential models for license-platelocation.Neurocomputing,212,22–35.doi:10.1016/j.neucom.2016.02.081.提出了一种结合颜色特征与Adaboost算法的车牌检测算法，该算法利用颜色差分模型对车牌进行粗定位，然后使用Adaboost算法训练特征分类器实现车牌精定位。中国车牌颜色是固定的蓝底黑字、黄底黑字等几类，因此很容易定位，但当背景颜色与车牌颜色相似时，该类方法定位效果会受到影响。
传统车牌识别方法主要有以下几种：1)基于模板匹配的方法：将待测字符图像与模板库中字符图像进行比对，相似度最高的模板字符即为识别结果。文献[5]凌翔,赖锟,王昔鹏.基于模板匹配方法的不均匀照度车牌图像识别.重庆交通大学学报：自然科学.设计了一种基于字符图像全局重合度的模板匹配函数，通过比较字符图像与模板字符的相似度来识别字符。基于模板匹配的方法识别速度快，但容易受光照、噪声影响。2)基于特征分析匹配的方法：对待识别字符图像的轮廓形状等进行特征提取统计，然后设置相应的规则对特征进行判断，最后与特征集进行匹配得到识别结果。文献[6]程龙,熊凌,李开寒.基于傅里叶描述子在车牌识别中的应用.机床与液压,2014,42(24):98-102.提取标准车牌字符特征的傅里叶描述子，通过对车牌字符的特征提取与匹配，实现字符的识别与定位。基于特征分析匹配的方法在字符断裂、模糊等情况下，识别效果不佳。3)基于支持向量机(SVM)的方法：通过训练数据得到字符样本特征，将待测字符输入进行特征匹配，从而识别字符。文献[7]王世春,王平根.基于CUDA的快速车牌字符识别.计算机应用与软件,2012,29(10):8-10.利用改进后的SVM训练和预测车牌字符数据。基于SVM的方法计算量少，识别效果较好，但字符的特征需要人工提取，所以识别效果会受到所提取特征的影响。
近年来，基于深度学习的卷积神经网络(CNN)被广泛应用于车牌检测和字符识别上。文献[8]Ying,T.,Xin,L.,&Wanxiang,L.(2018).License plate detection andlocalization in complex scenes based on deep learning.2018Chinese Control AndDecision Conference(CCDC).doi:10.1109/ccdc.2018.8408285.提出一种基于深度学习的车牌定位算法，使用卷积神经网络(CNN)模型将目标检测问题转化为二分类问题来检测车牌，该方法与传统机器学习中的车牌检测相比，在检测精度上有明显的优势，特别是对于复杂场景，定位精度有了明显的提高。文献[9]Kim,S.G.,Jeon,H.G.,&Koo,H.I.(2017).Deep-learning-based license plate detection method using vehicle regionextraction.Electronics Letters,53(15),1034–1036.doi:10.1049/el.2017.1373.提出一种基于CNN的方法，首先采用基于区域的CNN算法对车辆区域进行检测，然后利用分层采样方法对每个检测区域的候选车牌进行生成，最后通过训练深度卷积神经网络滤除非车牌候选项获取车牌区域，该方法在Caltech数据集上的效果优于传统方法。中国专利“基于卷积网络的车牌检测方法、存储介质和检测设备”[201910210152.7]提出了一种基于卷积网络的车牌检测方法、存储介质和检测设备，通过CNN检测车头车尾位置，然后在所得的车头车尾区域中检测车牌。中国专利“基于端到端多任务深度学习的车牌检测方法”[201910615131.3]提出了一种基于深度学习的端到端多任务车牌检测方法，通过一个全卷积神经网络提取输入图片不同层级的特征，使用两个特征合并分支分别回归得到车牌及其对应车辆的边界框，同时实现车牌检测与车辆检测。文献[10]Xie,L.,Ahmad,T.,Jin,L.,Liu,Y.,&Zhang,S.(2018).A New CNN-Based Method for Multi-Directional CarLicense Plate Detection.IEEE Transactions on Intelligent TransportationSystems,19(2),507–517.doi:10.1109/tits.2017.2784093.提出了一个基于CNN的多方向车牌检测框架，利用带有旋转角度的矩形框定位车牌区域，该方法在检测精度和计算复杂度上均具有优势，但只适合处理平面内的旋转问题，对于三维空间内的倾斜车牌仍然无法精确定位。文献[11]Zhang,Y.,&Huang,C.(2019).A Robust Chinese License PlateDetection and Recognition Systemin.在自然文本识别网络(CRNN)的基础上，设计了一种用于车牌识别的自然文本识别网络，该网络可以处理不需要字符分割的可变字符识别。针对巴西车牌中字符识别问题，文献[12]R.Laroca et al.,"A Robust Real-TimeAutomatic License Plate Recognition Based on the YOLO Detector,"2018International Joint Conference on Neural Networks(IJCNN),Rio de Janeiro,2018,pp.1-10.提出一种基于CNN的方法，该方法将数字与字母分别使用不同深度的网络进行处理，在降低计算量的同时保持良好的识别效果，但该方法仅适合布局固定的车牌字符的识别。中国专利“一种基于深度学习的车牌图像校正、识别方法及系统”[201911147518.7]提出了一种基于深度学习的车牌图像校正、识别方法及系统，该系统可以获得不同场景下的车牌特征信息，且可以通过构建缅甸车牌数据集或卡口车牌数据集，提高缅甸车牌或卡口车牌识别的准确率。中国专利“基于深度学习一体化的低照度成像车牌识别方法及装置”[201911325609.5]通过一种基于深度学习一体化的低照度成像车牌识别方法及装置有效提高了车牌识别的效果。中国专利“基于深度学习端对端的低照度成像车牌识别方法及装置”[201911327687.9]提出了一种基于深度学习端对端的低照度成像车牌识别方法及装置，该方法能够提高低照度成像车牌的识别效率和准确度。
已有的基于CNN的车牌识别方法通常分为车牌检测和字符识别等多个步骤进行，因此，车牌的识别效果容易受到多方面因素的影响，如车牌不能准确定位、倾斜角度大的车牌字符分割难度大等都会直接影响车牌识别的精度。Yolo作为一种深度学习框架，在目标检测领域有着非常广泛的应用。文献[13]S.Yonetsu,Y.Iwamoto and Y.W.Chen,"Two-Stage YOLOv2 for Accurate License-Plate Detection in Complex Scenes,"2019IEEEInternational Conference on Consumer Electronics(ICCE),Las Vegas,NV,USA,2019,pp.1-4。文献[14]R.Laroca et al.,"A Robust Real-Time Automatic License PlateRecognition Based on the YOLO Detector,"2018International Joint Conference onNeural Networks(IJCNN),Rio de Janeiro,2018,pp.1-10.均使用基于Yolo的两阶段方法检测车牌，首先检测车辆区域，然后在车牌区域中定位车牌。中国专利“一种基于深度学习的车牌检测方法”[201811037178.8]提出了一种基于深度学习的车牌检测方法，通过将车牌固有的颜色属性加入Yolo模型来构建车牌检测模型，并使用Radon变换对车牌区域校正，同时利用颜色和边缘信息微调得到车牌区域。另外，也有部分研究者利用Yolo处理字符识别问题，文献[15]付城祥,仇润鹤.一种基于YOLOv3算法的车牌识别系统.科技与创新,2020(3):42-44.提出了一种基于Yolov3的车牌识别系统，该系统直接将定位的车牌区域利用CNN识别，省去了车牌倾斜校正和字符分割模块，避免了分割带来的误差，有效提高了识别精度。文献[16]Silva,S.M.,&Jung,C.R.(2017).Real-Time Brazilian License PlateDetection and Recognition Using Deep Convolutional Neural Networks.2017 30thSIBGRAPI Conference on Graphics,Patterns and Images(SIBGRAPI).doi:10.1109/sibgrapi.2017.14.提出了一种基于Yolo的车牌识别方法，通过将网络输出的特征图尺寸比例设置成与车牌尺寸比例相同，从而提升字符识别的效果。YOLOv3网络在速度和精度上均表现良好，其不仅能用于处理目标检测问题，还能处理某些识别问题。目前，已有的车牌识别方法通常包括车牌检测和车牌识别等多个步骤，在处理过程中，每个步骤都会产生不同程度的误差，而且，前面步骤的误差在后续处理中会不断放大从而导致识别错误，因此处理步骤越多会对识别的最终结果产生较大影响。另外，处理步骤越多，系统的时间成本越高。
现有的车牌识别技术通常包括车牌检测、字符分割、字符识别等多个步骤，每个处理步骤都会产生不同程度的误差，而且前面步骤的误差会在后面步骤中进一步放大，最终会导致车牌识别效果不佳。现实场景中的车牌图像，通常会受到拍摄角度、光照等多种因素的影响，从而导致车牌倾斜角度大、车牌字符被压缩、车牌字符粘连等问题，会大大增加字符分割的难度。另外，使用多个步骤处理会增加计算成本。
发明内容
本发明提供一种基于YOLOv3的同步端到端车牌定位与识别方法，充分发挥YOLOv3的处理速度和精度的优势，不增加额外的处理步骤，而是使用网络在预测车牌位置的同时实现对车牌识别。本发明方法最大的优点在于，能对多种类型及不同长度的车牌进行分类并识别。同时，该方法提出的网络LP-Yolo能在各种非约束环境下快速准确检测并识别车牌，效果如图1(1)～图1(5)所示，图1(1)～图1(5)分别为普通蓝黄黑牌、双层黄牌、新能源车牌等不同类型车牌的检测与识别情况，蓝色矩形框为模型检测到的车牌区域，蓝色框上方的红色矩形块中显示对应的车牌号码，这说明本发明方法能应对多种不同类型车牌的检测与识别。
本发明采取的技术方案为：
基于YOLOv3的同步端到端车牌定位与识别方法，包括以下步骤：
步骤1：获取车牌外接矩形框以及车牌号信息，制作成数据集标签文件，将数据集分为训练数据集、验证数据集和测试数据集；
步骤2：训练基于YOLOv3的车牌检测与识别一体化网络LP-Yolo，使之能在检测车牌的同时实现对多种类型车牌的识别，将训练数据集增广后，放入网络训练；
步骤3：利用训练好的网络模型，在测试数据集上对车牌进行定位和识别，然后评估模型。
基于YOLOv3的端到端车牌检测与识别网络LP-Yolo，具体包括：
网络LP-Yolo不仅预测车牌位置信息，同时还能够预测车牌号信息，网络的输出层特征通道数nfilter如公式(10)所示：
nfilter＝boxNum*(classes+coord+conf+lpc+lpn) (1)
其中，boxNum表示每个单元格预测的边界框(bounding box)个数，即每个尺度对应一个边界框，coord表示边界框的位置信息，即中心点坐标(x,y)和宽w高h，conf表示置信度，classes为类别个数，lpc表示车牌类型所占位数，lpn为车牌号所占位数。
网络LP-Yolo增加了新的预测信息，在原有损失函数的基础上增加车牌类型及车牌号信息预测的损失，如公式(11)、公式(12)、公式(13)所示：
NTotal_loss＝Total_loss+lpc_loss+lpn_loss (2)
其中，NTotal_loss、Total_loss、lpc_loss、lpn_loss分别为改进模型的总损失、原始模型总损失、车牌类型损失、车牌号损失；
S×S为特征图尺寸；B为特征图每个网格单元(cell)产生的边界框数目；M、N分别为车牌类型和车牌号编码位数；
λlpc、λlpn分别为车牌类型损失权重、车牌号信息损失权重；
分别表示第i个网格的第j个anchor是否负责预测目标，当负责时，/>取值为1，否则，/>取值为0；
分别为车牌类别和车牌号真实编码值；pcik、pnik分别为车牌类别和车牌号的网络预测。
本发明一种基于YOLOv3的同步端到端车牌定位与识别方法，技术效果如下：
1)本发明提出一种基于YOLOv3的端到端车牌检测与识别方法，在定位车牌区域的同时预测车牌号信息，相比于多阶段的方法，在运行速度及检测效果上具有明显优势。
2)YOLOv3是当前流行的目标检测网络，其检测速度快精度高，尤其提升了对小目标的检测效果，车牌通常在一幅图像中所占比例较小，因此，使用YOLOv3对车牌区域定位能有效降低车牌漏检的情况。为了使YOLOv3在检测车牌的同时能预测车牌类型及车牌号信息，本发明对YOLOv3输出层进行扩展，结合二进制编码的方法，最终设计完成能够同时对车牌进行检测与识别的LP-Yolo网络。
3)针对非约束场景下车牌检测与识别问题，本发明提出了一种端到端的方法，通过网络一次性输出车牌区域及车牌号信息，省去了车牌校正、字符分割等中间步骤。
4)本发明提出了一种基于YOLOv3的端到端车牌检测与识别模型，该模型在保留YOLOv3检测车牌区域功能的基础上，增加了车牌类别预测及车牌号信息预测功能，模型通过一个CNN同时实现车牌的定位与识别。
5)本发明在新增的预测功能中使用了二进制编码的方法，能在节省计算成本的同时提升识别精度。该方案能有效避免字符粘连或扭曲而不易分割等问题，同时，使用端到端网络能极大程度提高车牌识别速度，具有现实意义。
附图说明
图1(1)为车牌检测与识别效果图一；
图1(2)为车牌检测与识别效果图二；
图1(3)为车牌检测与识别效果图三；
图1(4)为车牌检测与识别效果图四；
图1(5)为车牌检测与识别效果图五。
图2为YOLOv3边界框预测图。
图3为LP-Yolo网络结构图。
图4(a)为YOLOv3预测信息图；
图4(b)为LP-Yolo中的新增预测信息及编码位数预测信息图。
图4(c)为各预测区域的编码位数示意图。
具体实施方式
基于YOLOv3的同步端到端车牌定位与识别方法，包括以下步骤：
步骤1：获取车牌外接矩形框以及车牌号信息，制作成数据集标签文件，将数据集分为训练数据集、验证数据集和测试数据集。训练集、验证集与测试集中均包含图片数据和图片对应的标签文件，其中：训练集是训练模型的样本集合，验证集是用于验证模型性能的样本集合，测试集用于客观评价模型性能；
步骤2：训练基于YOLOv3的车牌检测与识别一体化网络LP-Yolo，使之能在检测车牌的同时实现对多种类型车牌的识别，将训练数据集增广后，放入网络训练。数据增广主要是采用旋转、缩放、裁剪等方式对原有数据集扩充，增加数据集的训练量并使数据尽可能的多样化，从而提升模型的精度和泛化能力。
步骤3：利用训练好的网络模型，在测试数据集上对车牌进行定位和识别，然后使用精确率(Precision)与召回率(Recall)两个指标来评估模型，具体计算见公式(14)(15)。在对模型进行评估时，若精确率和召回率较低，可以通过改变训练次数、学习率等重新训练模型。
Precision＝TP/(TP+FP) (14)；
Recall＝TP/(TP+FN) (15)；
其中：TP为真阳性，表示检测正确的车牌数量；FP为假阳性，表示非车牌被检测为车牌的数量；FN为假阴性，表示车牌被检测为非车牌的数量。
基于YOLOv3的车牌检测与识别一体化网络LP-Yolo，具体内容如下：
基于YOLOv3的车牌检测与识别算法在保留YOLOv3矩形框预测的基础上，扩展了预测车牌类型及车牌号信息的功能，从而设计出能够同时检测与识别车牌的网络LP-Yolo。
YOLOv3网络使用了特征金字塔网络(Feature Pyramid Networks，FPN)结构和多尺度预测机制，提升了算法对小目标的检测精度，网络最终输出三个不同尺度的特征图，以适应不同大小目标的检测。YOLOv3特征图的每个网格单元预测三个边界框，输出层特征通道数filter的计算见公式(1)。
filter＝boxNum*(classes+coord+conf) (5)
其中，boxNum表示每个单元格预测的边界框(bounding box)个数，取值为3，即每个尺度对应一个边界框；coord表示边界框的位置信息，即中心点坐标(x,y)和宽w高h，取值为4；conf表示置信度，取值为1；classes为类别个数，根据实际设置。
YOLOv3在对目标边界框进行预测时，使用了锚框(anchors)作为先验框，网络通过预测目标的中心点及宽高的偏移值，结合逻辑回归(logistic regression)的方式来定位目标，如图2所示，图2中黑色实线网格为模型特征图，黑色虚线矩形框为预设的anchors，蓝色实线框为预测的目标边界框，bx、by、bw、bh为预测的边界框中心点位置及宽高，cx、cy为预测边界框中心点所在的网格单元左上角坐标，tx、ty、tw、th是网络预测的4个位置信息的偏移量，pw、ph是预设的anchors的宽高，anchors一般通过聚类得到，具体的边框回归公式见公式(2)～公式(5)。
bx＝σ(tx)+cx (6)
by＝σ(ty)+cy (7)
YOLOv3网络在检测目标时，会预测目标的位置(中心点、宽高)、置信度及类别信息，因此模型的损失函数也包括这三部分，具体的损失函数见公式(6)～公式(9)
Total_loss＝coord_loss+conf_loss+cls_loss (10)
其中，Total_loss、coord_loss、conf_loss、cls_loss分别为总损失、位置损失、置信度损失、类别损失；S×S为特征图尺寸；B为特征图每个网格单元(cell)产生的边界框数目；
λcoord、λobj、λnoobj、λcls分别为位置损失权重、有目标置信度损失权重、无目标置信度损失权重、类别损失的权重；
分别表示第i个网格的第j个anchor是否负责预测目标，当负责时，/>取值为1，/>取值为0，否则，/>取值为0，/>取值为1；
分别为真实边界框的宽高；
tx、ty、tw、th分别为网络预测边界框的中心点及宽高偏移值；
分别为真实边界框的中心点及宽高偏移值；
ci为网络预测的置信度；为真实置信度，若第i个网格单元的边界框负责预测目标，则/>否则，/>
pi为网络预测的类别概率，为真实类别概率。
本发明不改变YOLOv3网络的基本架构，仅通过对网络输出层进行扩展，使之能实现车牌检测与识别，这样的好处是既能保留YOLOv3网络的优良特性，同时又能扩展其功能。LP-Yolo网络结构如图3所示，网络输入为416*416*3，经过一系列特征提取后，输出3个不同尺寸的特征图，分别为13*13*nfilter、26*26*nfilter、52*52*nfilter，其中nfilter为通道数，特征图中的每个网格会预测三组目标信息，原始YOLOv3网络仅预测A信息，改进后的网络在原始基础上增加了B信息的预测。
A信息主要是预测目标边界框的信息，包括边界框的中心点(x,y)、宽高(w,h)、置信度s及类别c，由于本发明中仅对车牌一类目标进行处理，故类别数为1，因此每个边框信息占6位，如图4(a)所示。
B信息是预测检测到的区域内的车牌类别及车牌号信息，本发明当前仅针对三种类型车牌进行分类识别，分别为：普通黄蓝黑牌、双层黄牌、新能源车牌，其中前两种车牌长度均为7，后一种长度为8。如图4(b)所示，图4(b)中，编号0的部分为车牌类型表征位，编号为1-8的区预测当前所检测到的车牌牌号，图4(c)为各预测区域的编码位数描述图，如果车牌类型后续还有增加，可以很容易的对其扩展，只需要增加表征车牌类型的编码位数。由于YOLOv3最终的预测值在0-1之间，每一位车牌号可能的取值至少包括二十多种，如果每个车牌号仅使用一位数值进行预测，则在处理预测结果时需要将0-1区域等分成与取值类别数相同的若干子区域，包含预测值的子区域所对应的字符即为预测结果，这种方式虽然可行，但由于将0-1区间划分后，每个子区间范围较小，可能的取值类别越多，越容易造成误差。如果按照原始输出中对类别预测的方式，将每个可能的取值使用1位表示，这会使输出信息位数较多，而且针对不同类型车牌的预测，结果中可能包含大量无用信息，造成资源浪费。
综合上述方法，本发明引入二进制编码的方法来处理车牌类型及车牌号的预测，编码规则描述见表1。编号为0的位预测车牌类型，包括3类，使用2位二进制数编码；编号为1的位预测省份简称，包括31类，使用5位二进制数编码；编号为2的位预测发证机关代码，包括“A-Z”中除字母“O”、“I”的24个字符，使用5位二进制数编码；编号为3-8的位预测车牌号字符，包括“A-Z”中除字母“O”、“I”的24个及数字“0-9”，共34类，使用6位二进制数编码，其中编号8的预测仅在类型为新能源车牌时有效。B信息的输出包括9个部分，共48位。
表1新增预测信息编码规则描述表
改进的YOLOv3网络不仅预测车牌位置信息，同时还预测车牌号信息，因此改进后网络的输出层特征通道数filter会发生变化，新的通道数nfilter计算见公式(10)。
nfilter＝boxNum*(classes+coord+conf+lpc+lpn) (14)
其中，boxNum表示每个单元格预测的边界框(bounding box)个数，取值为3，即每个尺度对应一个边界框；coord表示边界框的位置信息，即中心点坐标(x,y)和宽w高h，取值为4；conf表示置信度，取值为1；classes为类别个数，本发明中取值为1；lpc表示车牌类型所占位数，取值为2；lpn为车牌号所占位数，取值为46。
改进的YOLOv3网络增加了新的预测信息，因此损失函数也需要做相应的调整，在原有损失函数的基础上增加车牌类型及车牌号信息预测的损失，具体见公式(11)～公式(13)。
NTotal_loss＝Total_loss+lpc_loss+lpn_loss (15)
其中：NTotal_loss、Total_loss、lpc_loss、lpn_loss分别为改进模型的总损失、原始模型总损失、车牌类型损失、车牌号损失；S×S为特征图尺寸；B为特征图每个网格单元(cell)产生的边界框数目；M、N分别为车牌类型和车牌号编码位数；
λlpc、λlpn分别为车牌类型损失权重、车牌号信息损失权重；
分别表示第i个网格的第j个anchor是否负责预测目标，当负责时，/>取值为1，否则，/>取值为0；
分别为车牌类别和车牌号真实编码值；
pcik、pnik分别为车牌类别和车牌号的网络预测。
本发明一种基于YOLOv3的同步端到端车牌定位与识别方法，直接对车牌进行定位和识别。已有的多阶段方法的车牌识别效果通常受多种技术误差的影响，从而导致车牌识别效果不佳，而且，当需要对车牌校正并进行字符分割时，其效果通常会受环境因素影响较大，最终直接影响识别效果。使用端到端网络进行车牌识别，一方面可以避免中间步骤带来的影响，保证识别效果，另一方面，减少处理步骤能有效降低计算成本，缩减运行时间。
本发明一种基于YOLOv3的同步端到端车牌检测与识别网络LP-Yolo，这种网络在保留YOLOv3网络目标检测功能的基础上，增加了对车牌类型及车牌号信息预测的功能，能同时实现车牌检测与识别两个任务，有效扩展了YOLOv3的应用场景。另外，本发明在新增的识别功能中，使用了二进制编码技术，能在节省计算成本的同时提升识别精度。
Claims (4)
1.基于YOLOv3的端到端车牌检测与识别网络LP-Yolo，其特征在于：
该网络不仅预测车牌位置信息，同时还能够预测车牌号信息，网络的输出层特征通道数nfilter如公式(10)所示：
nfilter＝boxNum*(classes+coord+conf+lpc+lpn) (1)
其中，boxNum表示每个单元格预测的边界框(bounding box)个数，即每个尺度对应一个边界框，coord表示边界框的位置信息，即中心点坐标(x,y)和宽w高h，conf表示置信度，classes为类别个数，lpc表示车牌类型所占位数，lpn为车牌号所占位数；
网络LP-Yolo增加了新的预测信息，在原有损失函数的基础上增加车牌类型及车牌号信息预测的损失，如公式(11)、公式(12)、公式(13)所示：
NTotal_loss＝Total_loss+lpc_loss+lpn_loss (2)
其中，NTotal_loss、Total_loss、lpc_loss、lpn_loss分别为改进模型的总损失、原始模型总损失、车牌类型损失、车牌号损失；S×S为特征图尺寸；B为特征图每个网格单元(cell)产生的边界框数目；M、N分别为车牌类型和车牌号编码位数；λlpc、λlpn分别为车牌类型损失权重、车牌号信息损失权重；分别表示第i个网格的第j个anchor是否负责预测目标，当负责时，/>取值为1，否则，/>取值为0；/>分别为车牌类别和车牌号真实编码值；pcik、pnik分别为车牌类别和车牌号的网络预测；
所述LP-Yolo网络结构，能够预测A信息和B信息，A信息是预测目标边界框的信息，包括边界框的中心点(x,y)、宽高(w,h)、置信度s及类别c，对车牌一类目标进行处理，故类别数为1，每个边框信息占6位；
B信息是预测检测到的区域内的车牌类别及车牌号信息，对三种类型车牌进行分类识别，分别为普通黄蓝黑牌、双层黄牌、新能源车牌，其中前两种车牌长度均为7，后一种长度为8；编号0的部分为车牌类型表征位，编号为1-8的区预测当前所检测到的车牌牌号，如果车牌类型后续还有增加，能够对其扩展，只需要增加表征车牌类型的编码位数；
引入二进制编码的方法来处理车牌类型及车牌号的预测，编码规则为：
编号为0的位预测车牌类型，包括3类，使用2位二进制数编码；
编号为1的位预测省份简称，包括31类，使用5位二进制数编码；
编号为2的位预测发证机关代码，包括“A-Z”中除字母“O”、“I”的24个字符，使用5位二进制数编码；
编号为3-8的位预测车牌号字符，包括“A-Z”中除字母“O”、“I”的24个及数字“0-9”，共34类，使用6位二进制数编码，其中，编号8的预测仅在类型为新能源车牌时有效。
2.根据权利要求1所述基于YOLOv3的端到端车牌检测与识别网络LP-Yolo，其特征在于：LP-Yolo网络结构的网络输入为416*416*3，经过一系列特征提取后，输出3个不同尺寸的特征图，分别为：13*13*nfilter、26*26*nfilter、52*52*nfilter，其中，nfilter为通道数，特征图中的每个网格会预测三组目标信息。
3.采用如权利要求1或2所述LP-Yolo网络结构的车牌定位与识别方法，其特征在于包括以下步骤：
步骤1：获取车牌外接矩形框以及车牌号信息，制作成数据集标签文件，将数据集分为训练数据集、验证数据集和测试数据集；
步骤2：训练基于YOLOv3的车牌检测与识别一体化网络LP-Yolo，使之能在检测车牌的同时实现对多种类型车牌的识别，将训练数据集增广后，放入网络训练；
步骤3：利用训练好的网络模型，在测试数据集上对车牌进行定位和识别，然后评估模型。
4.根据权利要求3所述的车牌定位与识别方法，其特征在于：步骤3中，利用训练好的网络模型，在测试数据集上对车牌进行定位和识别，然后使用精确率与召回率两个指标来评估模型，具体计算见公式(14)(15)，在对模型进行评估时，若精确率和召回率较低，可以通过改变训练次数、学习率等重新训练模型；
Precision＝TP/(TP+FP)(14)；
Recall＝TP/(TP+FN)(15)；
其中：TP为真阳性，表示检测正确的车牌数量；FP为假阳性，表示非车牌被检测为车牌的数量；FN为假阴性，表示车牌被检测为非车牌的数量。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010740113.0A CN111914839B (zh) | 2020-07-28 | 2020-07-28 | 基于YOLOv3的同步端到端车牌定位与识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010740113.0A CN111914839B (zh) | 2020-07-28 | 2020-07-28 | 基于YOLOv3的同步端到端车牌定位与识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111914839A CN111914839A (zh) | 2020-11-10 |
| CN111914839B true CN111914839B (zh) | 2024-03-19 |
Family
ID=73286777
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010740113.0A Active CN111914839B (zh) | 2020-07-28 | 2020-07-28 | 基于YOLOv3的同步端到端车牌定位与识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111914839B (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112257720B (zh) * | 2020-11-20 | 2024-02-27 | 北京捍御者信息科技有限公司 | 提升车牌的中文字符自动检测识别率方法、装置及介质 |
| CN112329881B (zh) * | 2020-11-20 | 2022-02-15 | 珠海大横琴科技发展有限公司 | 车牌识别模型训练方法、车牌识别方法及装置 |
| CN112560608B (zh) * | 2020-12-05 | 2024-05-24 | 江苏爱科赛尔云数据科技有限公司 | 一种车辆车牌识别方法 |
| CN113159153A (zh) * | 2021-04-13 | 2021-07-23 | 华南理工大学 | 一种基于卷积神经网络的车牌识别方法 |
| CN113177528B (zh) * | 2021-05-27 | 2024-05-03 | 南京昊烽信息科技有限公司 | 基于多任务学习策略训练网络模型的车牌识别方法及系统 |
| CN113642553B (zh) * | 2021-07-21 | 2024-05-28 | 陕西松洋通信科技有限公司 | 一种整体与部件目标检测相结合的非约束车牌精准定位方法 |
| CN113903009B (zh) * | 2021-12-10 | 2022-07-05 | 华东交通大学 | 一种基于改进YOLOv3网络的铁路异物检测方法与系统 |
| CN117152625B (zh) * | 2023-08-07 | 2024-10-22 | 西安电子科技大学 | 一种基于CoordConv和YOLOv5的遥感小目标识别方法、系统、设备及介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108009473A (zh) * | 2017-10-31 | 2018-05-08 | 深圳大学 | 基于目标行为属性视频结构化处理方法、系统及存储装置 |
| CN108052859A (zh) * | 2017-10-31 | 2018-05-18 | 深圳大学 | 一种基于聚类光流特征的异常行为检测方法、系统及装置 |
| CN110168559A (zh) * | 2017-12-11 | 2019-08-23 | 北京嘀嘀无限科技发展有限公司 | 用于识别和定位车辆周围物体的系统和方法 |
| CN110619327A (zh) * | 2018-06-20 | 2019-12-27 | 湖南省瞬渺通信技术有限公司 | 一种复杂场景下基于深度学习的实时车牌识别方法 |
| CN111310861A (zh) * | 2020-03-27 | 2020-06-19 | 西安电子科技大学 | 一种基于深度神经网络的车牌识别和定位方法 |
-
2020
- 2020-07-28 CN CN202010740113.0A patent/CN111914839B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108009473A (zh) * | 2017-10-31 | 2018-05-08 | 深圳大学 | 基于目标行为属性视频结构化处理方法、系统及存储装置 |
| CN108052859A (zh) * | 2017-10-31 | 2018-05-18 | 深圳大学 | 一种基于聚类光流特征的异常行为检测方法、系统及装置 |
| CN110168559A (zh) * | 2017-12-11 | 2019-08-23 | 北京嘀嘀无限科技发展有限公司 | 用于识别和定位车辆周围物体的系统和方法 |
| CN110619327A (zh) * | 2018-06-20 | 2019-12-27 | 湖南省瞬渺通信技术有限公司 | 一种复杂场景下基于深度学习的实时车牌识别方法 |
| CN111310861A (zh) * | 2020-03-27 | 2020-06-19 | 西安电子科技大学 | 一种基于深度神经网络的车牌识别和定位方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111914839A (zh) | 2020-11-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111914839B (zh) | 基于YOLOv3的同步端到端车牌定位与识别方法 | |
| CN110059554B (zh) | 一种基于交通场景的多支路目标检测方法 | |
| CN108171136B (zh) | 一种多任务卡口车辆以图搜图的系统及方法 | |
| Li et al. | Traffic light recognition for complex scene with fusion detections | |
| CN108875600A (zh) | 一种基于yolo的车辆信息检测和跟踪方法、装置及计算机存储介质 | |
| CN112016605B (zh) | 一种基于边界框角点对齐和边界匹配的目标检测方法 | |
| Zhang et al. | Road recognition from remote sensing imagery using incremental learning | |
| Shen et al. | Vehicle detection in aerial images based on lightweight deep convolutional network and generative adversarial network | |
| CN104978567A (zh) | 基于场景分类的车辆检测方法 | |
| CN111178451A (zh) | 一种基于YOLOv3网络的车牌检测方法 | |
| CN108734200B (zh) | 基于bing特征的人体目标视觉检测方法和装置 | |
| CN112200186B (zh) | 基于改进yolo_v3模型的车标识别方法 | |
| CN113177528B (zh) | 基于多任务学习策略训练网络模型的车牌识别方法及系统 | |
| CN114049572A (zh) | 识别小目标的检测方法 | |
| CN115170611A (zh) | 一种复杂交叉路口车辆行驶轨迹分析方法、系统及应用 | |
| CN112990282A (zh) | 一种细粒度小样本图像的分类方法及装置 | |
| Gong et al. | A two-level framework for place recognition with 3D LiDAR based on spatial relation graph | |
| CN114298187B (zh) | 一种融合改进注意力机制的目标检测方法 | |
| Yang et al. | A detection model of the complex dynamic traffic environment for unmanned vehicles | |
| CN113723558A (zh) | 基于注意力机制的遥感图像小样本舰船检测方法 | |
| Yang | Intelligent recognition of traffic signs based on improved YOLO v3 algorithm | |
| CN112418207A (zh) | 一种基于自注意力蒸馏的弱监督文字检测方法 | |
| Amrouche et al. | Real-time detection of vehicle license plates numbers | |
| Yao et al. | Invoice detection and recognition system based on deep learning | |
| CN115050044B (zh) | 一种基于MLP-Mixer的跨模态行人重识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20240124 Address after: Room 709, No. 263, Gaotang Road, Tianhe District, Guangzhou, Guangdong 510000 Applicant after: Tewei Lexing (Guangzhou) Technology Co.,Ltd. Country or region after: China Address before: 443002 No. 8, University Road, Xiling District, Yichang, Hubei Applicant before: CHINA THREE GORGES University Country or region before: China |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: A synchronous end-to-end license plate localization and recognition method based on YOLOv3 Granted publication date: 20240319 Pledgee: Industrial and Commercial Bank of China Limited Guangzhou tianpingjia sub branch Pledgor: Tewei Lexing (Guangzhou) Technology Co.,Ltd. Registration number: Y2024980019378 |
|
| PE01 | Entry into force of the registration of the contract for pledge of patent right |