CN112560608A - 一种车辆车牌识别方法 - Google Patents

一种车辆车牌识别方法 Download PDF

Info

Publication number
CN112560608A
CN112560608A CN202011409226.9A CN202011409226A CN112560608A CN 112560608 A CN112560608 A CN 112560608A CN 202011409226 A CN202011409226 A CN 202011409226A CN 112560608 A CN112560608 A CN 112560608A
Authority
CN
China
Prior art keywords
license plate
vehicle
picture
boundary
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011409226.9A
Other languages
English (en)
Inventor
张华�
赵利林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Iexcel Cloud Data Technology Co ltd
Original Assignee
Jiangsu Iexcel Cloud Data Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Iexcel Cloud Data Technology Co ltd filed Critical Jiangsu Iexcel Cloud Data Technology Co ltd
Priority to CN202011409226.9A priority Critical patent/CN112560608A/zh
Publication of CN112560608A publication Critical patent/CN112560608A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates

Abstract

本发明提供一种车辆车牌识别方法，其包括：第一步骤，读取视频帧获得图片A，通过车辆检测网络获取各个车辆在图片A中的位置，检测出N个车辆位置的边界框，并定义车辆位置的边界框坐标；第二步骤，根据上述N个车辆位置的边界框的尺寸，形成S个Wmax*Hmax的矩形，并构成一个新图片B，并把N个车辆图片填充至新图片B；第三步骤，把新图片B送入车牌识别的神经网络，识别出N个车牌的位置边界框和车牌号，获得N个车牌边界框；第四步骤，将车牌边界框从新图片B的坐标系映射至图片A的坐标系，识别出车牌的位置。该车辆车牌识别方法可以减少在神经网络识别过程中图片的尺寸变换带来的图片变形，使得后期车牌检测误差变小，识别精度更高。

Description

一种车辆车牌识别方法
技术领域
本发明涉及一种车辆车牌识别方法。
背景技术
车牌识别系统是计算机视频图像识别技术在车辆牌照识别中的一种应用。车牌识别在高速公路车辆管理中得到广泛应用，电子收费(ETC)系统中，也是结合DSRC技术识别车辆身份的主要手段。
车牌识别技术要求能够将运动中的汽车牌照从复杂背景中提取并识别出来，通过车牌提取、图像预处理、特征提取、车牌字符识别等技术，识别车辆牌号信息，目前最新的技术水平为字母和数字的识别率可达到99.7％，汉字的识别率可达到99％。该技术已经应用于公路收费、停车管理、称重系统、交通诱导、交通执法、公路稽查、车辆调度、车辆检测等各种场合。
这些应用都需要把车牌号和车辆信息联系起来，有些更需要据此来判断车主是否对车辆进行了私自改装。
在城市道路交通管理时，往往需要在一个由很多车辆的大场景中同时检测出车辆和车牌号码。按照一般的思路，首先要利用车辆检测的算法，检测出大场景中的所有车辆的位置；然后对每一个车辆图片，用端到端的车牌识别技术来得到车牌号码。当大场景中车辆很多的时候，完成一帧图片的检测需要的时间会比较长。如果想要在计算资源有限的摄像头前端完成这个过程，来做到实时的车牌识别，将变得非常困难。
因此，有必要提供一种车辆车牌识别方法来克服上述问题。
发明内容
本发明的目的是提供一种车辆车牌识别方法，该方法使得车牌检测误差变小，识别精度更高。
为实现上述目的，本发明采用的一个技术方案是：一种车辆车牌识别方法，其包括如下步骤：第一步骤，读取视频帧获得图片A，通过车辆检测网络获取各个车辆在图片A中的位置，检测出N个车辆位置的边界框，并定义车辆位置的边界框坐标；第二步骤，根据上述N个车辆位置的边界框的尺寸，确认边界框宽度的最大值Wmax与边界框高度的最大值Hmax，并形成S个Wmax*Hmax的矩形，并构成一个新图片B，并把N个车辆图片填充至新图片B；其中，S值为大于N的平方数中的最小值m的平方，根据m*m除以N的余数q确认S值的大小，当如果q<m，那么S＝m*m；否则，S＝m*(m–1)；第三步骤，把新图片B送入车牌识别的神经网络，识别出N个车牌的位置边界框和车牌号，获得N个车牌边界框；第四步骤，将车牌边界框从新图片B的坐标系映射至图片A的坐标系，识别出车牌的位置。
上述第二步骤中，将矩形中全部填充黑色，填充到新图片B的车辆图片居中对齐，最后一行有几个矩形中没有车辆。
上述第四步骤中，具体包括：首先，确认第K个车牌边界框位于图B的哪一个矩形中；其中，K为1到N中任意值；其次，获取第K个车牌边界框相对于横轴的第X_loc个，纵轴的第Y_loc个矩形框的位置；再者，确认第K个车牌边界框相对于第k个车辆图片的位置。
与现有技术相比，本发明一种车辆车牌识别方法的有益效果为：检测车牌的网络输入是正方形，通过建立新图片B接近正方形形状，可以减少在神经网络识别过程中图片的尺寸变换带来的图片变形，使得后期车牌检测误差变小，识别精度更高。
只需要利用新构建的新图片B后，在摄像头前端通过运行两次神经网络计算，就可以检测出所有的车辆和车牌号，以及它们的对应关系，大大减少了计算量。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，其中：
图1是本发明一种车辆车牌识别方法的流程图；
图2是本发明车辆车牌识别方法中车辆形成于新图片B的排列图形。
具体实施方式
下面结合附图对本发明作详细的描述，但是应该强调的是，下面的实施方式只是示例性的，而不是为了限制本发明的范围及应用。
请参看图1，为本发明车辆车牌识别方法的流程图。
本发明为一种车辆车牌识别方法，其包括如下步骤：
第一步骤，读取视频帧获得图片A，通过车辆检测网络获取各个车辆在图片A中的位置，检测出N个车辆位置的边界框，并定义车辆位置的边界框坐标；
具体的，摄像机对大型场景(有很多车辆或者一辆)进行摄像，摄像头前端读取视频帧，采用神经网络来获取各个车辆的位置，读取视频帧，将原始的4K图片A输入车辆检测网络，检测出N个车辆位置的边界框(x1,y1,w1,h1),(x2,y2,w2,h2),…(xN,yN,wN,hN)，其中任选边界框的一个角(一般选择左上角)作为基准，确认其横坐标、纵坐标及边框的宽度与高度。
第二步骤，根据上述N个车辆位置的边界框的尺寸，确认边界框宽度的最大值Wmax与边界框高度的最大值Hmax，并形成S个Wmax*Hmax的矩形，并构成一个新图片B，并把N个车辆图片填充至新图片B；其中，S值为大于N的平方数中的最小值m的平方，根据m*m除以N的余数q确认S值的大小，当如果q<m，那么S＝m*m；否则，S＝m*(m–1)。
具体的，集合A为大于N的平方数的集合，
A＝{x|x＝m*m，x＞Nx∈Z，m∈Z，m＞0}。
集合A的最小值，记为m*m。
获取m*m除以N的余数q，q＝m*m％N。
如果q<m，那么S＝m*m；否则，S＝m*(m–1)。
如图2所示，举例说明：当第一步骤中，获得的车辆数量N为10个时，确认出形成新图片B的个数时，大于10的整数平方有16、25、36、49。。。，取最小值16，那么m为4。q为16/10的余数为6；由于q大于4，那么就会形成S＝4*(4–1)＝12。即可获得新图片B形成了一个4*3个Wmax*Hmax的矩形。
将矩形中全部填充黑色，N张车辆图片填充到新图片B的每一个Wmax*Hmax矩形中，车辆图片居中对齐，最后一行有几个矩形中没有车辆。
边界框宽度的最大值Wmax与边界框高度的最大值Hmax可以不是同一张车辆边界框，也可以是同一车辆边界框。
根据上述新图片B的构建，S个矩形组成的一个新图片B：由于检测车牌的网络输入是正方形，所以新图片B接近正方形可以减少在神经网络识别过程中图片的尺寸变换带来的图片变形，使得后期车牌检测误差变小，识别精度更高。
第三步骤，把新图片B送入车牌识别的神经网络，摄像头前端识别出N个车牌的位置边界框和车牌号，获得N个车牌边界框分别为(px1,py1,pw1,ph1),(px2,py2,pw2,ph2),…(pxN,pyN,pwN,phN)。
第四步骤，将车牌边界框从新图片B的坐标系映射至图片A的坐标系，识别出车牌的位置。
将第K(K为1到N中任意值)个车牌的位置从新图片B的坐标系映射至图片A的坐标系，即计算出X_source、Y_source、W_source、H_source与pxk、pyk、pwk、phk的对应关系。X_source、Y_source、W_source、H_source表示第K个车牌在图片A的坐标系下车牌的边界框；pxk、pyk、pwk、phk表示第K个车牌在图片B的坐标系下车牌的边界框。
具体的映射步骤为：
1.确认第K个车牌边界框位于图B的哪一个矩形中；
详细的，X_loc＝pxk/Wmax；Y_loc＝pyk/Hmax；在横轴的第X_loc个，纵轴的第Y_loc个矩形框(Wmax,Hmax)中，
2.计算第K个车牌边界框相对于横轴的第X_loc个，纵轴的第Y_loc个矩形框的位置；
详细的，第K个车牌边界框的相对坐标为:
X_small＝pxk％Wmax；
Y_small＝pyk％Hmax；
3、计算第K个车牌边界框相对于第k个车辆图片的位置；
根据X_loc、Y_loc的值找出填充新图片B的第k个车牌图片的边界框(xk,yk,wk,hk)。
第k个车牌边界框相对于第k个车辆图片的坐标为
X_car＝X_small–(Wmax-wk)/2；
Y_car＝Y_small–(Hmax-hk)/2；
由此，得出在原图A中，第K个车牌的坐标为
X_source＝xk+X_car；
Y_source＝yk+Y_car；
在不同坐标系下边界框的大小不变，所以
W_source＝pwk；
H_source＝phk。
本发明只需要利用新构建的新图片B后，在摄像头前端通过运行两次神经网络计算，就可以检测出所有的车辆和车牌号，以及它们的对应关系，大大减少了计算量。
当然，本技术领域内的一般技术人员应当认识到，上述实施例仅是用来说明本发明，而并非用作对本发明的限定，只要在本发明的实质精神范围内，对上述实施例的变化、变型都将落在本发明权利要求的范围内。

Claims (3)

1.一种车辆车牌识别方法，其特征在于，其包括如下步骤：
第一步骤，读取视频帧获得图片A，通过车辆检测网络获取各个车辆在图片A中的位置，检测出N个车辆位置的边界框，并定义车辆位置的边界框坐标；
第二步骤，根据上述N个车辆位置的边界框的尺寸，确认边界框宽度的最大值Wmax与边界框高度的最大值Hmax，并形成S个Wmax*Hmax的矩形，并构成一个新图片B，并把N个车辆图片填充至新图片B；其中，S值为大于N的平方数中的最小值m的平方，根据m*m除以N的余数q确认S值的大小，当如果q<m，那么S＝m*m；否则，S＝m*(m–1)；
第三步骤，把新图片B送入车牌识别的神经网络，识别出N个车牌的位置边界框和车牌号，获得N个车牌边界框；
第四步骤，将车牌边界框从新图片B的坐标系映射至图片A的坐标系，识别出车牌的位置。
2.如权利要求1所述的车辆车牌识别方法，其特征在于，上述第二步骤中，将矩形中全部填充黑色，填充到新图片B的车辆图片居中对齐，最后一行有几个矩形中没有车辆。
3.如权利要求1所述的车辆车牌识别方法，其特征在于，上述第四步骤中，具体包括：
首先，确认第K个车牌边界框位于图B的哪一个矩形中；其中，K为1到N中任意值；
其次，获取第K个车牌边界框相对于横轴的第X_loc个，纵轴的第Y_loc个矩形框的位置；
再者，确认第K个车牌边界框相对于第k个车辆图片的位置。
CN202011409226.9A 2020-12-05 2020-12-05 一种车辆车牌识别方法 Pending CN112560608A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011409226.9A CN112560608A (zh) 2020-12-05 2020-12-05 一种车辆车牌识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011409226.9A CN112560608A (zh) 2020-12-05 2020-12-05 一种车辆车牌识别方法

Publications (1)

Publication Number Publication Date
CN112560608A true CN112560608A (zh) 2021-03-26

Family

ID=75048518

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011409226.9A Pending CN112560608A (zh) 2020-12-05 2020-12-05 一种车辆车牌识别方法

Country Status (1)

Country Link
CN (1) CN112560608A (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100083966A (ko) * 2009-01-15 2010-07-23 주식회사 비츠로시스 차량 번호판 인식방법
CN108681693A (zh) * 2018-04-12 2018-10-19 南昌大学 基于可信区域的车牌识别方法
WO2019174405A1 (zh) * 2018-03-14 2019-09-19 台达电子工业股份有限公司 车牌辨识方法以及其系统
CN110443245A (zh) * 2019-08-14 2019-11-12 上海世茂物联网科技有限公司 一种非限制场景下的车牌区域的定位方法、装置及设备
CN110837807A (zh) * 2019-11-11 2020-02-25 内蒙古大学 一种套牌车辆的识别方法及系统
CN110942071A (zh) * 2019-12-09 2020-03-31 上海眼控科技股份有限公司 一种基于车牌分类和lstm的车牌识别方法
CN111027526A (zh) * 2019-10-25 2020-04-17 深圳羚羊极速科技有限公司 一种提高车辆目标检测识别检测效率的方法
CN111914839A (zh) * 2020-07-28 2020-11-10 三峡大学 基于YOLOv3的同步端到端车牌定位与识别方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100083966A (ko) * 2009-01-15 2010-07-23 주식회사 비츠로시스 차량 번호판 인식방법
WO2019174405A1 (zh) * 2018-03-14 2019-09-19 台达电子工业股份有限公司 车牌辨识方法以及其系统
CN108681693A (zh) * 2018-04-12 2018-10-19 南昌大学 基于可信区域的车牌识别方法
CN110443245A (zh) * 2019-08-14 2019-11-12 上海世茂物联网科技有限公司 一种非限制场景下的车牌区域的定位方法、装置及设备
CN111027526A (zh) * 2019-10-25 2020-04-17 深圳羚羊极速科技有限公司 一种提高车辆目标检测识别检测效率的方法
CN110837807A (zh) * 2019-11-11 2020-02-25 内蒙古大学 一种套牌车辆的识别方法及系统
CN110942071A (zh) * 2019-12-09 2020-03-31 上海眼控科技股份有限公司 一种基于车牌分类和lstm的车牌识别方法
CN111914839A (zh) * 2020-07-28 2020-11-10 三峡大学 基于YOLOv3的同步端到端车牌定位与识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
姜宇;张子潮;周富强;: "基于OpenCV的车牌识别系统研究", 辽宁师范大学学报(自然科学版), no. 02, pages 170 - 174 *

Similar Documents

Publication Publication Date Title
US8867790B2 (en) Object detection device, object detection method, and program
Yamaguchi et al. Vehicle ego-motion estimation and moving object detection using a monocular camera
CN102509457B (zh) 一种车辆跟踪的方法及装置
Yanamura et al. Extraction and tracking of the license plate using Hough transform and voted block matching
CN110826499A (zh) 物体空间参数检测方法、装置、电子设备及存储介质
KR960042482A (ko) 물체 관측 방법 및 그 방법을 이용한 물체 관측 장치와, 이 장치를 이용한 교통 흐름 계측 장치 및 주차장 관측 장치
CN106156752B (zh) 一种基于逆投影三视图的车型识别方法
KR101246120B1 (ko) 전후면 번호판 영상 기반 차량번호 인식 시스템
CN112154445A (zh) 高精度地图中车道线的确定方法和装置
Sanyuan et al. Car plate character extraction under complicated environment
WO2017134936A1 (ja) 物体検出装置、機器制御システム、撮像装置、物体検出方法、及びプログラム
Bertozzi et al. IR pedestrian detection for advanced driver assistance systems
CN113034586B (zh) 道路倾角检测方法和检测系统
CN109791607A (zh) 借助单应矩阵从摄像机的一系列图像中探测和验证对象
CN111382722A (zh) 车牌图像优选方法、图像处理装置及具有存储功能的装置
CN105761507B (zh) 一种基于三维轨迹聚类的车辆计数方法
Liu et al. Lane detection based on straight line model and k-means clustering
CN110876053A (zh) 图像处理装置、驾驶支援系统及记录介质
CN110197104B (zh) 基于车辆的测距方法及装置
CN112560608A (zh) 一种车辆车牌识别方法
CN115035492B (zh) 车辆识别方法、装置、设备和存储介质
CN111932590B (zh) 对象跟踪方法、装置、电子设备及可读存储介质
JP2004280713A (ja) 車番認識装置
CN116958195A (zh) 物件追踪整合方法及整合装置
CN105930813A (zh) 一种在任意自然场景下检测行文本的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination