CN112215233A - 一种用于车牌检测识别的方法及手持终端 - Google Patents
一种用于车牌检测识别的方法及手持终端 Download PDFInfo
- Publication number
- CN112215233A CN112215233A CN202011079512.3A CN202011079512A CN112215233A CN 112215233 A CN112215233 A CN 112215233A CN 202011079512 A CN202011079512 A CN 202011079512A CN 112215233 A CN112215233 A CN 112215233A
- Authority
- CN
- China
- Prior art keywords
- license plate
- recognition
- detecting
- correction
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 29
- 238000012937 correction Methods 0.000 claims abstract description 26
- 238000001514 detection method Methods 0.000 claims abstract description 25
- 230000009466 transformation Effects 0.000 claims description 14
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 238000013519 translation Methods 0.000 claims description 4
- 238000000844 transformation Methods 0.000 claims description 2
- 238000012549 training Methods 0.000 abstract description 3
- 238000005516 engineering process Methods 0.000 description 5
- 230000006872 improvement Effects 0.000 description 5
- 238000005286 illumination Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000010304 firing Methods 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 241000533950 Leucojum Species 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 238000005303 weighing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/14—Image acquisition
- G06V30/148—Segmentation of character regions
- G06V30/153—Segmentation of character regions using recognition of characters or words
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
- G06T3/147—Transformations for image registration, e.g. adjusting or mapping for alignment of images using affine transformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
- G06V10/247—Aligning, centring, orientation detection or correction of the image by affine transforms, e.g. correction due to perspective effects; Quadrilaterals, e.g. trapezoids
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
- G06V20/625—License plates
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Character Input (AREA)
Abstract
本发明属于文字识别技术领域，特别涉及车辆识别技术领域，尤其涉及一种用于车牌检测识别的方法及手持终端，车牌检测识别的方法包括车牌检测、车牌矫正和车牌识别三个步骤，首先扩展CenterNet两个角点为车牌的四个角点，通过角点关键点检测得到车牌四个角点的位置信息，完成车牌检测步骤；再根据车牌角点倾斜角度，平面内旋转得到粗略矫正车牌，然后经过STN网络矫正得到矫正车牌，完成两次车牌矫正步骤；最后进行LPRNet识别得到车牌字符识别结果，完成车牌识别步骤。通过两次矫正得到对齐车牌，能够提高车牌识别率，并且在车牌识别训练阶段通过数据增强解决车牌模糊、车牌光线和外界天气造成的影响，轻量级模型即能实现实时识别，能广泛应用于手持终端。
Description
技术领域
本发明属于文字识别技术领域，特别涉及车辆识别技术领域，尤其涉及一种用于车牌检测识别的方法及手持终端。
背景技术
汽车牌照号码是车辆的唯一"身份"标识，牌照自动识别技术可以在汽车不作任何改动的情况下实现汽车"身份"的自动登记及验证，这项技术已经应用于公路收费、停车管理、称重系统、交通诱导、交通执法、公路稽查、车辆调度、车辆检测等各种场合。其中车牌识别系统是计算机视频图像识别技术在车辆牌照识别中的一种应用，它以数字图像处理、模式识别、计算机视觉等技术为基础，对摄像机所拍摄的车辆图像或者视频序列进行分析，得到每一辆汽车唯一的车牌号码，从而完成识别过程。
但是自然环境中车牌识别面临各种各样复杂环境影响，导致识别难度加大，例如现有的车牌识别系统，在大角度拍摄条件下车牌文字倾斜变形，不规则文字易造成错误识别；针对复杂环境下图像模糊、光照条件差和天气条件影响等，也造成识别率大大下降。另外，随着手持终端设备的普及，也需求轻量级模型对车牌进行实时识别。
发明内容
为克服背景技术中复杂环境下车牌难以识别的问题，本发明提出一种集车牌检测和车牌识别的方法及手持终端，是通过如下技术方案实现的：
一种车牌检测识别的方法，包括以下步骤：
S1、基于CenterNet检测获取车牌的角点位置信息；
S2、由S1获取的车牌角点位置信息计算车牌的倾斜角度，进行角点矫正，并通过旋转获取一次矫正后的车牌图像；
S3、所述一次矫正后的车牌图像经空间变换网络STN进行仿射变换，获取二次矫正后的车牌图像；
S4、所述二次矫正后的车牌图像由LPRNet进行识别获取车牌字符。
作为本发明一种车牌检测识别的方法的进一步改进，所述S1，CenterNet通过检测中心点、左上角点、右下角点、右上角点、左下角点五个关键点确定车牌检测目标，获取车牌四个角点的位置信息。
作为本发明一种车牌检测识别的方法的进一步改进，所述S2，根据车牌四个角点倾斜角度，平面内旋转获取一次矫正后的车牌图像。
作为本发明一种车牌检测识别的方法的进一步改进，所述S3，空间变换网络STN通过包括平移、旋转、缩放在内的一种或多种形式的仿射变换，获取二次矫正后的车牌图像。
作为本发明一种车牌检测识别的方法的进一步改进，所述S4，LPRNet的模型为1.86M。
一种手持终端，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的车牌检测识别方法。
该发明的有益效果：其中车牌检测识别的方法主要包括车牌检测、车牌矫正和车牌识别三个步骤。首先扩展CenterNet两个角点为车牌的四个角点，通过角点关键点检测得到车牌四个角点的位置信息，完成车牌检测步骤；再根据车牌角点倾斜角度，平面内旋转得到粗略矫正车牌，然后经过STN网络矫正得到矫正车牌，完成两次车牌矫正步骤；最后进行LPRNet识别得到车牌字符识别结果，完成车牌识别步骤。通过两次矫正得到对齐车牌，能够提高车牌识别率，并且在车牌识别训练阶段通过数据增强解决车牌模糊、车牌光线和外界天气造成的影响，轻量级模型即能实现实时识别，能广泛应用于手持终端。
附图说明
图1为本发明实施例中车牌检测识别方法的结构示意图；
图2、3本发明实施例中LPRNet的网络架构；
图4为本发明实施例中手持终端的结构框图。
具体实施方式
以下结合实施例对本发明作进一步的阐述，所述的实施例仅为本发明一部分的实施例，这些实施例仅用于解释本发明，对本发明的范围并不构成任何限制。
如说明书附图1所示，一种车牌检测识别的方法，包括以下步骤：
S1、基于CenterNet检测获取车牌的角点位置信息；
由于车牌存在倾斜情况，在CenterNet关键点三元组，即中心点、左上角点和右下角点三个关键点的基础上，加入右上角点和左下角点两个关键点确定车牌检测目标，得到车牌四个角点的位置信息，使网络花费了很小的代价便具备了感知物体内部信息的能力，从而能有效抑制误检。具体的，center pooling用于预测中心点，由相加特征图水平和垂直方向上的最大值获得，通过中心点关键点可以获取更多的全局信息；cascade cornerpooling同时获取内部和边沿信息以增加稳定性。
S2、由S1获取的车牌角点位置信息计算车牌的倾斜角度，进行角点矫正，并通过旋转获取一次矫正后的车牌图像；
根车牌四个角点倾斜角度，平面内旋转得到粗略矫正车牌。
S3、所述一次矫正后的车牌图像经空间变换网络STN进行仿射变换，获取二次矫正后的车牌图像；
空间变换网络STN可以插入到现有的卷积架构中，使神经网络能够主动地在空间上转换特征映射，在特征映射本身上有条件，而不需要对优化过程进行额外的训练监督或修改。在此通过平移、旋转、缩放的仿射变换，进一步对车牌图像进行矫正，通过两次矫正利于车牌识别率的提高。
S4、所述二次矫正后的车牌图像由LPRNet进行识别获取车牌字符。
LPRNet由轻量级卷积神经网络组成，无需进行初步的字符分割的端到端自动车牌识别方法。网络架构如说明书附图2-3所示，最后一层使用宽卷积(1×13内核)充分利用局部字符的上下文信息，网络输出为对应字符概率，其长度对应输入图像像素宽度。由于解码器输出和目标字符序列长度不同，使用CTC损失方法解决输入和输出序列未对齐且长度可变的情况，同时CTC损失函数提供了一种从每个时间步的概率到输出序列概率的有效方法。LPRNet为进一步提高性能，使用全局上下文嵌入增强了预解码器中间特征映射，通过网络输出上的全连接层计算，平铺到所需大小并与网络输出连接。为了将特征图的深度调整为字符类编号，应用附加的1×1卷积。使得复杂环境数据增强，通过加入高斯模糊、运动模糊、高斯噪声、亮暗变化、雪花、下雨、大雾、旋转、平移、缩放数据增强解决复杂环境下车牌模糊、光照条件差、天气条件和车牌倾斜不规则数据的影响。
在一个实施例中，还提供一种手持终端，如说明书附图4所示，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，如图4所示，所述处理器执行所述计算机程序时实现以下步骤：基于CenterNet检测获取车牌的角点位置信息；通过获取的车牌角点位置信息计算车牌的倾斜角度，进行角点矫正，并通过旋转获取一次矫正后的车牌图像；一次矫正后的车牌图像经空间变换网络STN进行仿射变换，获取二次矫正后的车牌图像；二次矫正后的车牌图像由LPRNet进行识别获取车牌字符。针对复杂环境下通过数据增强解决车牌模糊、光照条件差、天气条件和车牌倾斜等问题，训练LPRNet识别车牌字符。LPRNet模型为1.86M，可广泛用于在交通管理、数字安全监控、车辆识别、大城市停车管理的自动车牌检测识别中，有效提高车辆管理水平，带来更便捷安全的城市生活。
以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明，任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内，当可利用上述揭示的技术内容作出些许更动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。
Claims (6)
1.一种用于车牌检测识别的方法，其特征在于，包括以下步骤：
S1、基于CenterNet检测获取车牌的角点位置信息；
S2、由S1获取的车牌角点位置信息计算车牌的倾斜角度，进行角点矫正，并通过旋转获取一次矫正后的车牌图像；
S3、所述一次矫正后的车牌图像经空间变换网络STN进行仿射变换，获取二次矫正后的车牌图像；
S4、所述二次矫正后的车牌图像由LPRNet进行识别获取车牌字符。
2.根据权利要求1所述一种用于车牌检测识别的方法，其特征在于：所述S1，CenterNet通过检测中心点、左上角点、右下角点、右上角点、左下角点五个关键点确定车牌检测目标，获取车牌四个角点的位置信息。
3.根据权利要求2所述一种用于车牌检测识别的方法及手持终端，其特征在于：所述S2，根据车牌四个角点倾斜角度，平面内旋转获取一次矫正后的车牌图像。
4.根据权利要求3所述一种用于车牌检测识别的方法，其特征在于：所述S3，空间变换网络STN通过包括平移、旋转、缩放在内的一种或多种形式的仿射变换，获取二次矫正后的车牌图像。
5.根据权利要求4所述一种用于车牌检测识别的方法，其特征在于：所述S4，LPRNet的模型为1.86M。
6.一种手持终端，其特征在于：包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现权利要求1-5中任一所述的车牌检测识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011079512.3A CN112215233A (zh) | 2020-10-10 | 2020-10-10 | 一种用于车牌检测识别的方法及手持终端 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011079512.3A CN112215233A (zh) | 2020-10-10 | 2020-10-10 | 一种用于车牌检测识别的方法及手持终端 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112215233A true CN112215233A (zh) | 2021-01-12 |
Family
ID=74054445
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011079512.3A Pending CN112215233A (zh) | 2020-10-10 | 2020-10-10 | 一种用于车牌检测识别的方法及手持终端 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112215233A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113674329A (zh) * | 2021-08-13 | 2021-11-19 | 上海同温层智能科技有限公司 | 车辆驾驶行为检测方法和系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105279512A (zh) * | 2015-10-22 | 2016-01-27 | 东方网力科技股份有限公司 | 一种倾斜车牌识别方法和装置 |
| CN106778737A (zh) * | 2016-11-24 | 2017-05-31 | 北京文安智能技术股份有限公司 | 一种车牌矫正方法、装置和一种视频采集装置 |
| CN108241859A (zh) * | 2016-12-26 | 2018-07-03 | 浙江宇视科技有限公司 | 车牌的校正方法及装置 |
| CN110969160A (zh) * | 2019-11-21 | 2020-04-07 | 合肥工业大学 | 一种基于深度学习的车牌图像校正、识别方法及系统 |
| CN111666938A (zh) * | 2020-05-21 | 2020-09-15 | 珠海大横琴科技发展有限公司 | 一种基于深度学习的两地双车牌检测识别方法及系统 |
| CN111709884A (zh) * | 2020-04-29 | 2020-09-25 | 高新兴科技集团股份有限公司 | 车牌关键点矫正方法、系统、设备和存储介质 |
-
2020
- 2020-10-10 CN CN202011079512.3A patent/CN112215233A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105279512A (zh) * | 2015-10-22 | 2016-01-27 | 东方网力科技股份有限公司 | 一种倾斜车牌识别方法和装置 |
| CN106778737A (zh) * | 2016-11-24 | 2017-05-31 | 北京文安智能技术股份有限公司 | 一种车牌矫正方法、装置和一种视频采集装置 |
| CN108241859A (zh) * | 2016-12-26 | 2018-07-03 | 浙江宇视科技有限公司 | 车牌的校正方法及装置 |
| CN110969160A (zh) * | 2019-11-21 | 2020-04-07 | 合肥工业大学 | 一种基于深度学习的车牌图像校正、识别方法及系统 |
| CN111709884A (zh) * | 2020-04-29 | 2020-09-25 | 高新兴科技集团股份有限公司 | 车牌关键点矫正方法、系统、设备和存储介质 |
| CN111666938A (zh) * | 2020-05-21 | 2020-09-15 | 珠海大横琴科技发展有限公司 | 一种基于深度学习的两地双车牌检测识别方法及系统 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113674329A (zh) * | 2021-08-13 | 2021-11-19 | 上海同温层智能科技有限公司 | 车辆驾驶行为检测方法和系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110660254B (zh) | 交通信号灯检测及智能驾驶方法和装置、车辆、电子设备 | |
| Jung et al. | A robust linear-parabolic model for lane following | |
| JP5747549B2 (ja) | 信号機検出装置及びプログラム | |
| US20080013789A1 (en) | Apparatus and System for Recognizing Environment Surrounding Vehicle | |
| CN109099929B (zh) | 基于场景指纹的智能车定位装置及方法 | |
| CN110570456A (zh) | 基于yolo目标检测算法和光流追踪算法融合的机动车轨迹提取方法 | |
| CN112966631A (zh) | 一种无限制安防场景下的车牌检测识别系统及其方法 | |
| CN111444778A (zh) | 一种车道线检测方法 | |
| CN112037249A (zh) | 一种对摄像装置影像中物体进行跟踪的方法及装置 | |
| CN111161318A (zh) | 一种基于yolo算法及gms特征匹配的动态场景slam方法 | |
| CN112528807A (zh) | 行驶轨迹的预测方法、装置、电子设备及存储介质 | |
| CN111723805B (zh) | 一种信号灯的前景区域识别方法及相关装置 | |
| CN111444916A (zh) | 面向无约束条件下的车牌定位及识别方法、系统 | |
| FAN et al. | Robust lane detection and tracking based on machine vision | |
| CN112215233A (zh) | 一种用于车牌检测识别的方法及手持终端 | |
| CN112528994B (zh) | 一种自由角度车牌检测方法、车牌识别方法和识别系统 | |
| CN114627409A (zh) | 一种车辆异常变道的检测方法及装置 | |
| CN113343872A (zh) | 交通灯识别方法、装置、设备、介质及产品 | |
| Chen et al. | Algorithm design of lane departure warning system based on image processing | |
| CN116434202A (zh) | 基于目标和关键点检测的低光照驾驶员分心检测方法 | |
| JP4469980B2 (ja) | 移動体追跡のための画像処理方法 | |
| KR20210002893A (ko) | 하이브리드 기법을 이용한 번호판 인식 방법 및 그 시스템 | |
| CN112818837B (zh) | 一种基于姿态校正和困难样本感知的航拍车辆重识别方法 | |
| CN111639640A (zh) | 基于人工智能的车牌识别方法、装置及设备 | |
| Zhang et al. | Improving the accuracy of license plate detection and recognition in general unconstrained scenarios |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |