CN111860509A - 一种由粗到精的两阶段非约束车牌区域精准提取方法 - Google Patents
一种由粗到精的两阶段非约束车牌区域精准提取方法 Download PDFInfo
- Publication number
- CN111860509A CN111860509A CN202010740029.9A CN202010740029A CN111860509A CN 111860509 A CN111860509 A CN 111860509A CN 202010740029 A CN202010740029 A CN 202010740029A CN 111860509 A CN111860509 A CN 111860509A
- Authority
- CN
- China
- Prior art keywords
- license plate
- positioning
- network
- vertex
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000605 extraction Methods 0.000 title claims abstract description 24
- 230000009466 transformation Effects 0.000 claims abstract description 39
- 238000000034 method Methods 0.000 claims abstract description 36
- 238000001514 detection method Methods 0.000 claims description 62
- 230000000694 effects Effects 0.000 claims description 20
- 238000013507 mapping Methods 0.000 claims description 16
- 238000012937 correction Methods 0.000 claims description 10
- 238000012549 training Methods 0.000 claims description 10
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 6
- 230000004913 activation Effects 0.000 claims description 5
- 239000000126 substance Substances 0.000 claims description 3
- 230000008901 benefit Effects 0.000 abstract description 6
- 238000010586 diagram Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 9
- 238000012545 processing Methods 0.000 description 8
- 230000000875 corresponding effect Effects 0.000 description 7
- 238000013135 deep learning Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000001094 effect on targets Effects 0.000 description 1
- 238000004870 electrical engineering Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000035772 mutation Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 229910052704 radon Inorganic materials 0.000 description 1
- SYUHGPGVQRZVTB-UHFFFAOYSA-N radon atom Chemical compound [Rn] SYUHGPGVQRZVTB-UHFFFAOYSA-N 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
- G06V20/63—Scene text, e.g. street names
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
- G06V10/242—Aligning, centring, orientation detection or correction of the image by image rotation, e.g. by 90 degrees
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
- G06V20/625—License plates
Abstract
一种由粗到精的两阶段非约束车牌区域精准提取方法，首先利用YOLOv3网络对车牌图像中的车牌区域进行粗定位，然后使用基于MobileNetV3改进的网络在粗定位区域中定位车牌顶点位置，最后利用透视变换将精定位的车牌区域校正到矩形区域内。本发明使用两阶段的车牌定位方法，相比于直接进行车牌定位的一阶段网络，在车牌定位的精度上有着更加明显的优势，同时也保持了车牌定位的实时性。
Description
技术领域
本发明涉及车牌信息识别技术领域，具体涉及一种由粗到精的两阶段非约束车牌区域精准提取方法。
背景技术
车牌识别系统是智能交通系统中至关重要的一部分，其应用场景广泛，如高速收费站、停车场出入口、交通违规监测、交通执法等。在道路交通管理中，车牌是获取车辆拥有者信息的唯一依据，因此在车辆行驶过程中，准确有效的识别车牌信息具有重要意义。车牌检测作为自动车牌识别系统中的关键部分，一直是一个备受关注的研究课题。已有的车牌检测技术大致可分为两种，即传统方法和基于深度学习的方法。
传统车牌检测算法可分为两种：1)基于图像灰度特征的算法，这类算法主要将图像进行灰度化处理后，利用车牌的纹理、边缘等特征提取车牌区域。文献[1]Lalimi,M.A.,Ghofrani,S.,&McLernon,D.(2013).A vehicle license plate detection method usingregion and edge based methods.Computers&Electrical Engineering,39(3),834–845.doi:10.1016/j.compeleceng.2012.09.015.提出了一种基于区域和边缘的车牌检测方法，利用改进的基于区域的算法对非车牌区域进行平滑处理，使用边缘检测算子及形态学滤波，结合车牌面积、长宽比、边缘密度等几何特征对车牌区域定位。文献[2]Jun,F.,&Shuguang,D.(2012).A vehicle license plate location and correction methodbased the characteristics of license plate.Proceedings of the 10th WorldCongress on Intelligent Control and Automation.doi:10.1109/wcica.2012.6357836.针对不同的车牌倾斜角，提出了一种基于纹理特征信息的车牌定位方法，根据车牌上的字符信息确定车牌区域，并结合霍夫变换对倾斜车牌进行校正，所提出的车牌定位方法更适合处理背景简单的图像。基于灰度特征的方法最大的优点在于处理速度快，但其检测效果受外界环境影响大，如背景复杂、光照不均等。
2)基于图像彩色特征的算法，这类方法直接利用车牌的颜色特征获取车牌区域。文献[3]Tian,Y.,Song,J.,Zhang,X.,Shen,P.,Zhang,L.,Gong,W.,…Zhu,G.(2016).Analgorithm combined with color differential models for license-platelocation.Neurocomputing,212,22–35.doi:10.1016/j.neucom.2016.02.081.提出了一种结合颜色差分模型的Adaboost算法，该算法包括粗定位和精定位两部分。粗定位利用颜色差分模型获取车牌候选区域，然后使用Adaboost算法训练特征分类器实现车牌精定位。车牌颜色通常是固定的几种颜色，因此基于彩色特征的方法很容易定位车牌区域，但当车辆颜色与车牌相似或背景中存在与车牌类似的区域，如交通指示牌、广告牌等，车牌检测效果会受到影响。
近年来，深度学习技术飞速发展，卷积神经网络(CNN)被广泛应用于车牌检测上。文献[16]Li H,Yang R,Chen X.License plate detection using convolutional neuralnetwork[C]//2017 3rd IEEE International Conference on Computer andCommunications(ICCC).IEEE,2017.提出一种CNN模型，结合滑动窗口策略对车牌进行定位，该方法能检测各种类型车牌，具有较高的精度和较快的运行速度，但其数据来源于固定摄像头拍摄的图像，车牌倾斜角度变化不大，模型泛化能力有待评估。
文献[9]Silva,S.M.,&Jung,C.R.(2017).Real-Time Brazilian License PlateDetection and Recognition Using Deep Convolutional Neural Networks.2017 30thSIBGRAPI Conference on Graphics,Patterns and Images(SIBGRAPI).doi:10.1109/sibgrapi.2017.14.提出了一种CNN网络(FV/LPD-NET)，以级联模式运行检测汽车前视图和车牌，大大提高了车牌检测精度，但网络对于倾斜角度大的车牌检测泛化能力还有待提升。当车牌倾斜角度较大时，上述方法获取的车牌区域内会包含大量冗余区域，不利于后续字符识别，为此文献[7]Xie,L.,Ahmad,T.,Jin,L.,Liu,Y.,&Zhang,S.(2018).A New CNN-Based Method for Multi-Directional Car License Plate Detection.IEEETransactions on Intelligent Transportation Systems,19(2),507–517.doi:10.1109/tits.2017.2784093.提出了一个基于CNN的多方向车牌检测框架，利用旋转角度预测机制确定车牌的精确旋转矩形区域，该方法在检测精度和计算复杂度上均具有优势，但只适合处理平面内的旋转问题，对于三维空间内的倾斜车牌仍然无法精确定位。
中国专利“基于端到端多任务深度学习的车牌检测方法”[申请号：201910615131.3]提出了一种基于端到端多任务深度学习的车牌检测方法，通过一个全卷积神经网络提取输入图片不同层级的特征，使用两个特征合并分支分别回归得到车牌及其对应车辆的边界框，同时实现车牌检测与车辆检测。
中国专利“基于卷积网络的车牌检测方法、存储介质和检测设备”专利[申请号：201910210152.7]一种基于卷积网络的车牌检测方法、存储介质和检测设备，通过卷积网络进行图片特征提取，再由车头车尾检测模块获取车头车尾位置，将所得的车头车尾区域的局部特征图传入车牌检测模块得到车牌的位置。
已有的基于卷积神经网络的方法和专利通常采用矩形框对车牌进行定位，其中YOLOv3作为一种深度学习框架，在目标检测领域有着非常广泛的应用。文献[9]Silva,S.M.,&Jung,C.R.(2017).Real-Time Brazilian License Plate Detection andRecognition Using Deep Convolutional Neural Networks.2017 30th SIBGRAPIConference on Graphics,Patterns and Images(SIBGRAPI).doi:10.1109/sibgrapi.2017.14.提出了一种基于YOLO的CNN网络，同时检测汽车前视图和车牌。
中国专利“一种基于深度学习的车牌检测方法”[申请号：201811037178.8]提出了一种基于深度学习的车牌检测方法，通过将车牌固有的颜色属性加入YOLO模型来构建车牌检测模型，并使用Radon变换对车牌区域校正，同时利用颜色和边缘信息微调得到车牌区域。YOLOv3采用矩形框检测，该方法一般适合处理倾斜角度不大的车牌图像。现实场景中获取的车牌图像，通常都会有不同程度的倾斜，对于倾斜角度大的车牌，使用矩形框定位的车牌区域往往会包含较多的冗余信息，从而影响车牌字符识别的准确率。MobileNet网络作为一种轻量级框架主要运用于目标分类领域，对复杂场景下的目标检测的效果相对于其它检测网络略有不足，但其运行速度快，通常与其它网络结合使用。
中国专利[申请号：201810633017.9]利用SSD-MobileNet检测车牌区域并对车牌种类进行分类。为了提升车牌检测的精度，降低车牌误检和漏检的情况。
发明内容
本发明提供一种由粗到精的两阶段非约束车牌区域精准提取方法，能在非约束环境下精确定位车牌顶点，检测速度快。
本发明采取的技术方案为：
一种由粗到精的两阶段非约束车牌区域精准提取方法，首先利用YOLOv3网络对车牌图像中的车牌区域进行粗定位，然后使用基于MobileNetV3改进的网络在粗定位区域中定位车牌顶点位置，最后利用透视变换将精定位的车牌区域校正到矩形区域内。
一种由粗到精的两阶段非约束车牌区域精准提取方法，包括以下步骤：
步骤一、基于YOLOv3的车牌区域粗定位：
使用YOLOv3训练车牌检测模型，将外接矩形框向四周延伸得到新的矩形框作为目标标签，外接矩形框延伸策略如公式(1)～公式(4)：
其中：(xtl,ytl)、(xdr,ydr)为最小外接矩形框的左上顶点和右下顶点坐标，(nxtl,nytl)、(nxdr,nydr)为延伸后边界框的左上顶点和右下顶点坐标，w0、h0分别为车牌最小外接矩形的宽和高，W、H为图像的宽和高。
步骤二、基于轻量级网络MobileNetV3的车牌顶点精定位：
以轻量级网络MobileNetV3-Small为基础，在该网络尾部的最后一个卷积层使用“sigmoid”作为激活函数；同时使用卷积层Conv替代全连接层，改进得到AL-MobileNetV3网络；
AL-MobileNetV3网络对输入图像进行一系列特征提取后，最终输出8个0～1之间的实数px0、py0、px1、py1、px2、py2、px3、py3，即四个顶点在图像中的相对位置，最后，将输出做进一步转换得到车牌顶点具体坐标：右下(x0,y0)、左下(x1,y1)、左上(x2,y2)、右上(x3,y3)。AL-MobileNetV3使用均方误差(MSE)作为网络的损失函数，见公式(5)：
其中：(pxi,pyi)、(pxi′,pyi′),i＝0,1,2,3分别为网络预测的和实际标注的车牌顶点位置。
步骤三、车牌校正与提取：
车牌校正主要是对车牌区域进行几何变换，即通过图像中某些已知的参照点，建立坐标间的映射关系，并求解映射关系中的未知参数，然后根据映射关系对图像中的其它像素坐标进行校正；
所述几何变换为透视变换，透视变换原理见公式(6)～公式(8)：
u＝x′/w′ (7)；
v＝y′/w′ (8)；
其中，
为变换矩阵，(x,y)为原始图像像素点坐标，变换后对应的像素点坐标为(u,v)，由于本阶段透视变换为平面到平面的映射，故令w＝1，得到公式(9)、公式(10)：
其中，kmn＝amn/a33，(m＝1,2,3，n＝1,2,3)；
车牌精确定位阶段得到的四个顶点坐标为右下(x0,y0)、左下(x1,y1)、左上(x2,y2)、右上(x3,y3)，校正后得到对应的顶点坐标(ui,vi)，通过公式(9)、公式(10)即可求得变换矩阵，进而将车牌区域映射到矩形区域内，即可得到校正的车牌。
本发明一种由粗到精的两阶段非约束车牌区域精准提取方法，技术效果如下：
1)针对非约束场景下的车牌定位问题，本发明提出了一种由粗到精的两阶段车牌定位方法，粗定位阶段使用一种边界框延伸策略，扩大了目标区域范围，有利于提升小目标检测精度，精定位阶段使用回归网络实现了车牌的精确定位。
2)本发明提出了一种车牌顶点精确定位方法，首先利用YOLOv3网络对图像中的车牌区域进行粗定位，然后使用基于MobileNetV3改进的网络在粗定位区域中定位车牌顶点位置，最后利用透视变换将精定位的车牌区域校正到矩形区域内，该方案能有效解决矩形框定位包含冗余信息的问题。
3)本发明先对包含车牌的图像区域检测，然后在所得区域中进行顶点检测。区域检测是基于矩形框的，限定了检测的有效范围，因此可以使用回归的方法对车牌顶点有效预测。由于是固定的四个顶点输出，因此对于质量较差的图像也适用。实现车牌区域与顶点检测后，最后对车牌进行校正，这样能够更精确地实现车牌定位与车牌区域提取，能为后续识别提供良好输入。
4)本发明提出了一种基于YOLOv3与MobileNetV3的车牌精准提取技术，该方法首先利用YOLOv3对图像中的车牌区域进行粗定位，然后使用改进的MobileNetV3网络在所得车牌区域中定位车牌顶点，最后利用透视变换进行校正。本发明使用两阶段的车牌定位方法，相比于直接进行车牌定位的一阶段网络，在车牌定位的精度上有着更加明显的优势，同时也保持了车牌定位的实时性。本发明通过改进MobileNet的网络结构，实现了利用MobileNet的分类功能进行车牌精定位，有效的扩展了MobileNet的应用范围。
附图说明
图1(1)为矩形框定位与顶点定位效果图一；
图1(2)为矩形框定位与顶点定位效果图二；
图1(3)为矩形框定位与顶点定位效果图三；
图1(4)为矩形框定位与顶点定位效果图四；
图1(5)为矩形框定位与顶点定位效果图五；
图1(6)为矩形框定位与顶点定位效果图六；
图1(7)为矩形框定位与顶点定位效果图七；
图1(8)为矩形框定位与顶点定位效果图八。
图2为目标边界框与最小外接矩形框关系图。
图3为透视变换原理图。
图4为车牌定位与提取流程图。
具体实施方式
本发明通过改变MobileNet网络结构，在充分发挥其运行速度快的优势同时结合YOLOv3强大的目标检测能力，提出了一种由粗到精的两阶段非约束车牌区域精准提取方法。YOLOv3用于车牌区域粗定位，MobileNet在粗定位区域上再提取车牌顶点，由于所处理的图像尺寸较小，使用MobileNet网络仍然能够达到不错的效果。本发明提出的方法能在非约束环境下精确定位车牌顶点，检测速度快,矩形框定位与顶点定位效果分别见图1(1)～图1(8)所示，其中,图1(1)～图(4)中绿色矩形框为基于矩形框的车牌定位效果，图(5)～图(8)中红色点为车牌顶点位置，黄色矩形框为基于顶点的车牌定位效果，从图中可以看出，基于顶点的方法得到的车牌区域更精确，不含非车牌信息，而基于矩形框的方法得到的区域包含较多冗余信息，因此，基于顶点的车牌定位方法效果更好。
现实场景中获取的车牌图像，通常都会有不同程度的倾斜，基于矩形框的车牌定位方法一般适合处理倾斜角度不大的车牌图像，对于倾斜角度大的车牌，使用矩形框定位的车牌区域往往会包含较多的冗余信息，从而影响车牌字符识别的精度。为此，本发明提出了一种由粗到精的两阶段非约束车牌区域精准提取方法。第一阶段使用YOLOv3网络对车牌区域进行粗定位，第二阶段使用改进的MobileNetV3网络在粗定位区域中精确定位车牌顶点，最后使用透视变换将车牌校正到矩形区域内。
YOLOv3是当前应用较多的目标检测网络，其检测速度快精度高，尤其提升了对小目标的检测效果，车牌通常在一幅图像中占比较小，使用YOLOv3对车牌区域粗定位能有效降低车牌漏检的情况。因此第一阶段使用YOLOv3对图像中车牌区域进行粗定位。
车牌精定位阶段选用改进的MobileNetV3网络提取车牌顶点，主要原因如下：
1)、MobileNetV3是一种轻量级网络，其最大的优势在于速度快。精定位是在粗定位区域上提取车牌顶点，这一阶段输入的图像尺寸小，易于处理。本发明提出的方法包含两个网络，选用轻量级网络能在精确定位车牌的同时保持较快的检测速度；
2)、与常见的分类网络不同，MobileNetV3的输出层不使用全连接层，而是使用卷积层实现，另外本发明使用卷积层替代MobileNetV3网络中的全连接层，这样处理的好处在于卷积层不会破坏图像的空间结构，车牌顶点在图像中实际上就具备某种空间结构，因此改进的MobileNetV3适合处理精确定位问题。
3)、MobileNetV3网络本身无法直接处理精确定位任务，在对网络的输出层进行调整后，实现了精定位功能。
本发明一种由粗到精的两阶段非约束车牌区域精准提取方法，该方法主要包括车牌区域粗定位、车牌顶点精确定位和车牌提取三部分。本发明所使用的车牌训练集仅需要包含车牌四个顶点标签信息。具体内容如下：
(一)、基于YOLOv3的车牌区域粗定位：
车牌区域粗定位的主要目的在于找出图像中所有车牌候选区域，降低图片中其它因素的干扰，以便于后续对车牌顶点精确定位，因此对目标检测精度和召回率要求较高。从现实场景中获取的车牌图像中车牌大小会受到拍摄距离的影响，导致图片样本中车牌大小不一致，而现有的目标检测网络对于远距离小目标的检测效果普遍不佳，因此如何精确检测小目标则显得尤为重要。本发明采用YOLOv3实现车牌区域粗定位，YOLOv3采用了多尺度策略对不同尺寸目标进行检测，它将目标检测网络划分为三种尺度，分别为13*13，26*26，52*52，通过不同尺度来获取不同尺寸目标的特征图，进而实现大尺度跨越的目标检测。此外，YOLOv3还采用了特征融合策略，将包含粗粒度特征的浅层信息和包含细粒度特征的深层信息进行融合，进一步提升了对纹理、颜色、边缘信较少的目标精测精度。更重要的是YOLOv3是经典的one-stage框架，它将目标检测直接看作回归问题，同时进行分类和检测并从空间上定位边界框并预测该框类别，整个流程仅使用一个卷积神经网络且一次完成，因此在目标检测的实时性上有着良好的表现。本阶段使用YOLOv3训练车牌粗定位模型时，不改变网络结构，仅针对问题本身对模型训练中的边界框标注策略进行微调，降低车牌误检率和漏检率。
使用YOLO训练车牌检测模型时，一般是使用车牌外接矩形框做训练集标签，本专利粗定位阶段的训练集标签不直接使用车牌外接矩形框，而是将外接矩形框向四周延伸得到新的矩形框作为目标标签，采用此策略的原因是：①、扩大了目标尺寸，间接提升了网络对尺寸小的车牌的检测精度；②、使检测到的目标包含完整的车牌区域，第二阶段的车牌精定位需要从粗定位区域中确定车牌顶点位置，若车牌不完全包含在粗定位区域内，精定位则失去了意义。具体策略如图2所示，图2中蓝色框为车牌外接矩形框，黑色框为目标边界框，边界框延伸策略见公式(1)～公式(4)。
其中：(xtl,ytl)、(xdr,ydr)为最小外接矩形框的左上顶点和右下顶点坐标，(nxtl,nytl)、(nxdr,nydr)为延伸后边界框的左上顶点和右下顶点坐标，w0、h0分别为车牌最小外接矩形的宽和高，W、H为图像的宽和高。
(二)、基于轻量级网络MobileNetV3的车牌顶点精定位：
车牌精确定位需要在粗定位得到的候选区域内定位车牌四个顶点位置，本阶段选用轻量级网络模型MobileNetV3-Small完成车牌精确定位任务，主要原因如下：①、车牌精确定位阶段处理的图像仅为原始图像的一部分，图像尺寸较小；②、车牌定位使用了两个卷积神经网络模型，运行时间长，因此精定位使用轻量级的模型以减少时间消耗。
MobileNetV3网络是通常用于处理目标分类问题，为了使其适用于车牌顶点精确定位任务，本发明以轻量级网络MobileNetV3-Small为基础，改进得到AL-MobileNetV3(Accurate Location based on MobileNetV3)网络。主要对原有网络进行如下改进：
①、改变原有网络输出层的激活函数，原始网络尾部的最后一个卷积层使用“softmax”作为激活函数，而本发明使用“sigmoid”作为激活函数，原因在于：“softmax”的值分布在0～1之间且和为1，各取值相互关联，“sigmoid”将每个值分别映射到0～1之间，各取值相互独立。现实场景中的车牌各顶点坐标取值之间实际上没有特定的约束，因此不适合使用“softmax”激活，另外车牌顶点相对坐标一定位于0～1之间，且坐标变换连续无突变情况，因此选择“sigmoid”函数；
②、改变SE(Squeeze-and-Excitation)网络子块的结构，原有的SE子块中使用了全连接层(Dense)，本发明使用卷积层(Conv)替代全连接层。主要在于本阶段是实现车牌精确定位任务，图像中像素点的空间位置关系具有重要作用，使用全连接层会使空间位置信息特征丢失，使用卷积层代替全连接层能有效保留和学习这种位置特征，从而使提升定位精度。
AL-MobileNetV3网络对输入图像进行一系列特征提取后，网络最终输出8个0～1之间的实数px0、py0、px1、py1、px2、py2、px3、py3，即四个顶点在图像中的相对位置，最后，将输出做进一步转换得到车牌顶点具体坐标：右下(x0,y0)、左下(x1,y1)、左上(x2,y2)、右上(x3,y3)。AL-MobileNetV3使用均方误差(MSE)作为网络的损失函数，见公式(5)：
其中：(pxi,pyi)、(pxi′,pyi′),i＝0,1,2,3分别为网络预测的和实际标注的车牌顶点位置。
(三)、车牌校正与提取：
现实场景获取的图像中，车牌大都存在一定的倾斜角度，因此车牌区域一般为普通四边形。车牌提取阶段的主要任务是根据精确定位得到的顶点坐标截取车牌区域，并使用图像变换将车牌校正到矩形区域内。
本发明的车牌校正主要是对车牌区域进行几何变换，即通过图像中某些已知的参照点，建立坐标间的映射关系，并求解映射关系中的未知参数，然后根据映射关系对图像中的其它像素坐标进行校正。常用的图像几何变换方法包括仿射变换和透视变换。仿射变换是一种二维线性变换，主要用于处理单个平面内的图像变换，不共线的三对对应点可唯一确定仿射变换映射关系；而透视变换则是空间内的投影变换，其本质是通过某种映射关系将图像投影到一个新的视平面内，确定透视变换需要四对对应点。摄像机获取图像实际上就是将一个平面投影到另一个平面，是典型的透视变换，透视变换原理如图3，具体实施方式见公式(6)～公式(8)：
u＝x′/w′ (7)；
v＝y′/w′ (8)；
其中，
为变换矩阵，(x,y)为原始图像像素点坐标，变换后对应的像素点坐标为(u,v)，由于本阶段透视变换为平面到平面的映射，故令w＝1，得到公式(9)、公式(10)：
其中，kmn＝amn/a33，(m＝1,2,3，n＝1,2,3)；
车牌精确定位阶段得到的四个顶点坐标为右下(x0,y0)、左下(x1,y1)、左上(x2,y2)、右上(x3,y3)，本发明使用的数据集中主要是尺寸为440*140的小型汽车车牌，则校正后对应的顶点坐标(ui,vi)为(440,140)、(0,140)、(0,0)、(440,0)。通过公式(9)、公式(10)即可求得变换矩阵，进而将车牌区域映射到矩形区域内即可得到校正的车牌。
本发明的具体模型训练和模型检测见图4所示，车牌粗定位与车牌精定位分别使用不同的标准评判模型检测的准确性：1)粗定位阶段判断真实顶点位置是否在检测区域内，若在，则检测正确，否则检测有误；2)精定位阶段判断真实顶点与检测顶点所围成区域间的IOU是否大于某个阈值，若大于阈值，则定位准确，否则不准确。在车牌定位的两个阶段分别使用精确率和召回率分别评估两个模型的效果，从而挑选出性能好的模型，精确率(Precision)与召回率(Recall)的计算见公式(11)、公式(12)。在对模型进行评估时，若精确率和召回率较低，可以通过改变训练次数、学习率等重新训练模型。
Precision＝TP/(TP+FP) (11)；
Recall＝TP/(TP+FN) (12)；
其中：TP为真阳性，表示检测正确的车牌数量；FP为假阳性，表示非车牌被检测为车牌的数量；FN为假阴性，表示车牌被检测为非车牌的数量。
Claims (4)
1.一种由粗到精的两阶段非约束车牌区域精准提取方法，其特征在于，首先利用YOLOv3网络对车牌图像中的车牌区域进行粗定位，然后使用基于MobileNetV3改进的网络在粗定位区域中定位车牌顶点位置，最后利用透视变换将精定位的车牌区域校正到矩形区域内。
2.一种由粗到精的两阶段非约束车牌区域精准提取方法，其特征在于包括以下步骤：
步骤一、基于YOLOv3的车牌区域粗定位：
使用YOLOv3训练车牌检测模型，将外接矩形框向四周延伸得到新的矩形框作为目标标签，外接矩形框延伸策略如公式(1)～公式(4)：
其中：(xtl,ytl)、(xdr,ydr)为最小外接矩形框的左上顶点和右下顶点坐标，(nxtl,nytl)、(nxdr,nydr)为延伸后边界框的左上顶点和右下顶点坐标，w0、h0分别为车牌最小外接矩形的宽和高，W、H为图像的宽和高；
步骤二、基于轻量级网络MobileNetV3的车牌顶点精定位：
以轻量级网络MobileNetV3-Small为基础，在该网络尾部的最后一个卷积层使用“sigmoid”作为激活函数；同时使用卷积层Conv替代全连接层，改进得到AL-MobileNetV3网络；
AL-MobileNetV3网络对输入图像进行一系列特征提取后，最终输出8个0～1之间的实数px0、py0、px1、py1、px2、py2、px3、py3，即四个顶点在图像中的相对位置，最后，将输出做进一步转换得到车牌顶点具体坐标：右下(x0,y0)、左下(x1,y1)、左上(x2,y2)、右上(x3,y3)；AL-MobileNetV3使用均方误差(MSE)作为网络的损失函数，见公式(5)：
其中：(pxi,pyi)、(pxi′,pyi′),i＝0,1,2,3分别为网络预测的和实际标注的车牌顶点位置；
步骤三、车牌校正与提取：
车牌校正主要是对车牌区域进行几何变换，即通过图像中某些已知的参照点，建立坐标间的映射关系，并求解映射关系中的未知参数，然后根据映射关系对图像中的其它像素坐标进行校正；
所述几何变换为透视变换，透视变换原理见公式(6)～公式(8)：
u＝x′/w′ (7)；
v＝y′/w′ (8)；
其中，
为变换矩阵，(x,y)为原始图像像素点坐标，变换后对应的像素点坐标为(u,v)，由于本阶段透视变换为平面到平面的映射，故令w＝1，得到公式(9)、公式(10)：
其中，kmn＝amn/a33，(m＝1,2,3，n＝1,2,3)；
车牌精确定位阶段得到的四个顶点坐标为右下(x0,y0)、左下(x1,y1)、左上(x2,y2)、右上(x3,y3)，校正后得到对应的顶点坐标(ui,vi)，通过公式(9)、公式(10)即可求得变换矩阵，进而将车牌区域映射到矩形区域内，即可得到校正的车牌。
3.根据权利要求2所述一种由粗到精的两阶段非约束车牌区域精准提取方法，其特征在于：车牌粗定位与车牌精定位分别使用不同的标准评判模型检测的准确性：
1)粗定位阶段判断真实顶点位置是否在检测区域内，若在，则检测正确，否则检测有误；
2)精定位阶段判断真实顶点与检测顶点所围成区域间的IOU是否大于某个阈值，若大于阈值，则定位准确，否则不准确；
在车牌定位的两个阶段分别使用准确率和召回率分别评估两个模型的效果。
4.MobileNetV3网络，应用于车牌定位中。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010740029.9A CN111860509A (zh) | 2020-07-28 | 2020-07-28 | 一种由粗到精的两阶段非约束车牌区域精准提取方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010740029.9A CN111860509A (zh) | 2020-07-28 | 2020-07-28 | 一种由粗到精的两阶段非约束车牌区域精准提取方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111860509A true CN111860509A (zh) | 2020-10-30 |
Family
ID=72948465
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010740029.9A Pending CN111860509A (zh) | 2020-07-28 | 2020-07-28 | 一种由粗到精的两阶段非约束车牌区域精准提取方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111860509A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112818805A (zh) * | 2021-01-26 | 2021-05-18 | 四川天翼网络服务有限公司 | 一种基于特征融合的细粒度车辆属性分析系统及方法 |
| CN113435446A (zh) * | 2021-07-07 | 2021-09-24 | 南京云创大数据科技股份有限公司 | 一种基于深度学习的倾斜车牌矫正方法 |
| CN113609969A (zh) * | 2021-08-03 | 2021-11-05 | 北京睿芯高通量科技有限公司 | 一种复杂场景下的车牌检测识别方法以及系统 |
| CN113642553A (zh) * | 2021-07-21 | 2021-11-12 | 三峡大学 | 一种整体与部件目标检测相结合的非约束车牌精准定位方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110674812A (zh) * | 2019-09-17 | 2020-01-10 | 沈阳建筑大学 | 一种面向复杂背景的民用车牌定位与字符分割方法 |
| WO2020024584A1 (zh) * | 2018-08-03 | 2020-02-06 | 华为技术有限公司 | 一种训练物体检测模型的方法、装置以及设备 |
| CN111126133A (zh) * | 2019-11-08 | 2020-05-08 | 博云视觉（北京）科技有限公司 | 一种基于深度学习的智能冰箱存取动作识别方法 |
| CN111126161A (zh) * | 2019-11-28 | 2020-05-08 | 北京联合大学 | 一种基于关键点回归的3d车辆检测方法 |
| CN111209921A (zh) * | 2020-01-07 | 2020-05-29 | 南京邮电大学 | 基于改进的YOLOv3网络的车牌检测模型及构建方法 |
-
2020
- 2020-07-28 CN CN202010740029.9A patent/CN111860509A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020024584A1 (zh) * | 2018-08-03 | 2020-02-06 | 华为技术有限公司 | 一种训练物体检测模型的方法、装置以及设备 |
| CN110674812A (zh) * | 2019-09-17 | 2020-01-10 | 沈阳建筑大学 | 一种面向复杂背景的民用车牌定位与字符分割方法 |
| CN111126133A (zh) * | 2019-11-08 | 2020-05-08 | 博云视觉（北京）科技有限公司 | 一种基于深度学习的智能冰箱存取动作识别方法 |
| CN111126161A (zh) * | 2019-11-28 | 2020-05-08 | 北京联合大学 | 一种基于关键点回归的3d车辆检测方法 |
| CN111209921A (zh) * | 2020-01-07 | 2020-05-29 | 南京邮电大学 | 基于改进的YOLOv3网络的车牌检测模型及构建方法 |
Non-Patent Citations (1)
| Title |
|---|
| 张迪: ""基于卷积神经网络的输电线路典型部件视觉检测方法研究"", 《中国优秀硕士学位论文全文数据库 工程科技II辑》, 15 July 2020 (2020-07-15), pages 042 - 619 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112818805A (zh) * | 2021-01-26 | 2021-05-18 | 四川天翼网络服务有限公司 | 一种基于特征融合的细粒度车辆属性分析系统及方法 |
| CN113435446A (zh) * | 2021-07-07 | 2021-09-24 | 南京云创大数据科技股份有限公司 | 一种基于深度学习的倾斜车牌矫正方法 |
| CN113435446B (zh) * | 2021-07-07 | 2023-10-31 | 南京云创大数据科技股份有限公司 | 一种基于深度学习的倾斜车牌矫正方法 |
| CN113642553A (zh) * | 2021-07-21 | 2021-11-12 | 三峡大学 | 一种整体与部件目标检测相结合的非约束车牌精准定位方法 |
| CN113609969A (zh) * | 2021-08-03 | 2021-11-05 | 北京睿芯高通量科技有限公司 | 一种复杂场景下的车牌检测识别方法以及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107729801B (zh) | 一种基于多任务深度卷积神经网络的车辆颜色识别系统 | |
| Chen et al. | Vehicle detection in high-resolution aerial images via sparse representation and superpixels | |
| CN110069986B (zh) | 一种基于混合模型的交通信号灯识别方法及系统 | |
| Rotaru et al. | Color image segmentation in HSI space for automotive applications | |
| CN109190444B (zh) | 一种基于视频的收费车道车辆特征识别系统的实现方法 | |
| CN105046196B (zh) | 基于级联卷积神经网络的前车车辆信息结构化输出方法 | |
| CN111860509A (zh) | 一种由粗到精的两阶段非约束车牌区域精准提取方法 | |
| CN109726717B (zh) | 一种车辆综合信息检测系统 | |
| Zhang et al. | Study on traffic sign recognition by optimized Lenet-5 algorithm | |
| Ye et al. | A two-stage real-time YOLOv2-based road marking detector with lightweight spatial transformation-invariant classification | |
| CN112488083B (zh) | 基于heatmap提取关键点的交通信号灯的识别方法、装置、介质 | |
| CN112818905B (zh) | 一种基于注意力和时空信息的有限像素车辆目标检测方法 | |
| CN112464731B (zh) | 一种基于图像处理的交通标志检测识别方法 | |
| Fleyeh | Traffic and road sign recognition | |
| Deng et al. | Detection and recognition of traffic planar objects using colorized laser scan and perspective distortion rectification | |
| CN111832388B (zh) | 一种车辆行驶中交通标志检测与识别方法及系统 | |
| CN112613392A (zh) | 基于语义分割的车道线检测方法、装置、系统及存储介质 | |
| CN115424217A (zh) | 基于ai视觉的车辆智能识别方法、装置和电子设备 | |
| Lu et al. | A cross-scale and illumination invariance-based model for robust object detection in traffic surveillance scenarios | |
| Li et al. | Yolo-based traffic sign recognition algorithm | |
| Lee et al. | License plate detection via information maximization | |
| CN114332921A (zh) | 基于改进聚类算法的Faster R-CNN网络的行人检测方法 | |
| Huu et al. | Proposing lane and obstacle detection algorithm using YOLO to control self-driving cars on advanced networks | |
| Liu et al. | Real-time traffic light recognition based on smartphone platforms | |
| Ali et al. | IRUVD: a new still-image based dataset for automatic vehicle detection |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |