CN111723710A - 一种基于神经网络的车牌识别方法 - Google Patents

一种基于神经网络的车牌识别方法 Download PDF

Info

Publication number
CN111723710A
CN111723710A CN202010522096.3A CN202010522096A CN111723710A CN 111723710 A CN111723710 A CN 111723710A CN 202010522096 A CN202010522096 A CN 202010522096A CN 111723710 A CN111723710 A CN 111723710A
Authority
CN
China
Prior art keywords
license plate
image
character
neural network
preprocessing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202010522096.3A
Other languages
English (en)
Inventor
王海滨
曹嘉琳
刘淑薇
姚潇
刘小峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changzhou Campus of Hohai University
Original Assignee
Changzhou Campus of Hohai University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changzhou Campus of Hohai University filed Critical Changzhou Campus of Hohai University
Priority to CN202010522096.3A priority Critical patent/CN111723710A/zh
Publication of CN111723710A publication Critical patent/CN111723710A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/148—Segmentation of character regions
    • G06V30/153—Segmentation of character regions using recognition of characters or words
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Character Input (AREA)
  • Character Discrimination (AREA)
  • Image Analysis (AREA)

Abstract

一种基于神经网络的车牌识别方法，包括获取目标车牌的图像；对图像进行预处理，基于车牌颜色的粗筛选和基于车牌纹理的细筛选进行车牌定位，并裁剪出车牌图像；对裁剪出的车牌图像进行预处理，基于垂直像素统计进行车牌的字符分割；利用训练好的基于神经网络的字符识别模型对已分割的车牌字符进行逐个识别，记录每个字符对应的标签；将识别出的字符标签转为字符串进行输出等五个步骤。基于神经网络的车牌识别方法可以提高识别精度和识别效率等优势。

Description

一种基于神经网络的车牌识别方法
技术领域
本发明涉及一种基于神经网络的车牌识别方法，属于计算机视觉技术领域。
技术背景
车牌识别是当代智慧交通的重要组成，其广泛应用于停车场收费管理、车辆定位、公路收费、闯红灯电子警察、违章车辆管理等领域。车辆识别有效的维护了交通安全和城市治安，有助于实现交通自动化管理。
传统的车牌识别方法存在着识别精度和效率不高的问题，如：
1.车牌定位，传统使用基于边缘检测的车牌定位算法抗干扰效果不佳，识别精度不高；传统使用仅基于车牌颜色定位车牌，会因为光线等问题导致识别精度不高。
2.字符识别，传统使用基于模板匹配的字符识别算法，对于相似性极高的字符如0和Q不能很好的分别，精度有限。鲁棒性低，抗干扰能力低；传统使用的基于特征统计匹配法，提取出特征细节不足，会使得识别精度有限。且提取统计特征效率不高，抗干扰能力低。
3.字符分割，传统基于车牌字符间距等特征的字符分割，不能很好的适应图像中各种大小的车牌，识别精度不高；传统使用模板匹配法、聚类分析法，分割模型复杂，分割效率不够高。
目前需要提高车牌识别的精度和效率使得交通管理更加高效、交通更加有秩序。
发明内容
本发明的目的在于针对现有技术的缺点和不足，提供一种基于神经网络的车牌识别方法。
本发明的目的通过下述技术方案实现：
一种基于神经网络的车牌识别方法，包括如下五个阶段：
S1：获取目标车牌的图像；
S2：对图像进行预处理，基于车牌颜色的粗筛选和基于车牌纹理的细筛选进行车牌定位，并裁剪出车牌图像；
S3：对裁剪出的车牌图像进行预处理，基于垂直像素统计进行车牌的字符分割；
S4：利用训练好的基于神经网络的字符识别模型对已分割的车牌字符进行逐个识别，记录每个字符对应的标签；
S5：将识别出的字符标签转为字符串进行输出。
进一步，步骤S2中的预处理，对图像进行灰度化、均值滤波、降噪等预处理，提取出图像的边缘。提取出的图像边缘用于选出车牌纹理区域。
进一步，步骤S2中的车牌定位阶段分为基于车牌颜色的粗筛选和基于车牌纹理的细筛选两个阶段。粗筛选阶段会从图像中选出背景颜色和长宽比例与车牌相符合的若干矩形区域。对选出的若干矩形区域进行腐蚀和膨胀后，进入细筛选阶段。细筛选阶段会根据车牌的纹理筛除掉小对象和长宽比例不正确的矩形区域，最终确定车牌在图像中的位置并对图像进行裁剪，取出车牌。
进一步，步骤S3中的预处理是对裁剪出的图像进行灰度化、二值化、归一化等图像预处理。
进一步，步骤S3中的字符分割阶段是基于垂直像素统计的车牌分割，是先对预处理后的车牌图像逐列扫描，用数组记录每列白色像素点的个数。再根据每列的像素统计个数是否超过阈值，判断该列是否处于字符区域，从而确定每个字符的左边界和右边界，分割出每个字符。
进一步，步骤S4中训练基于神经网络的字符识别模型，要先从字符的样本集中生成训练集和测试集，利用训练集进行模型训练。其中模型训练要经过卷积层、池化层、全连接层等中间层。生成的字符识别模型可以对车牌中0~9的数字，字母，省份简称进行识别。本发明与现有技术相比具有以下的有益效果：
车牌定位通过基于车牌颜色粗筛选和基于车牌纹理的细筛选进行车牌定位，保证了车牌定位的精度。同时利用神经网络训练出的模型进行字符识别，提高了字符识别的精度。简化了车牌分割的模型，提高了车牌分割的效率。
附图说明
图1是本发明的完整车牌识别流程图；
图2是本发明的车牌定位流程图；
图3是本发明的车牌定位中基于车牌颜色的粗筛选细化图；
图4是本发明的车牌定位中基于车牌纹理的细筛选细化图；
图5是本发明的字符分割的流程图；
图6是本发明的神经网络生成的流程图；
图7是本发明的测试案例的车牌定位结果图；
图8是本发明的测试案例的字符分割结果图。
具体实施方式
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
实施例：
如图1，一种基于神经网络的车牌识别方法，包括如下五个步骤：
S1：获取目标车牌的图像；
本实例中，识别的是7位字符的国内小车车牌，车牌为蓝底白字。
S2：对图像进行预处理，基于车牌颜色的粗筛选和基于车牌纹理的细筛选进行车牌定位，并裁剪出车牌图像；具体流程图如图2。
对图像进行灰度化、均值滤波、降噪等预处理，提取出图像的边缘。提取出的图像边缘用于选出车牌纹理区域。
基于车牌颜色的粗筛选，粗筛选流程如图3。本实例中需要筛选出车牌背景为蓝色的车牌，对筛选出的各个蓝色区域，用最小的矩形框出其连通域，通过判断各个蓝色区域矩形的长宽比，粗略选出相应的蓝色矩形区域。
基于车牌纹理的细筛选，细筛选流程如图4。将粗筛选中生成的各个蓝色矩形进行腐蚀和膨胀。并将处理后的蓝色矩形区域与生成的车牌边缘进行相与，得到竖向纹理复杂的蓝色矩形区域。再将得到的图像进行膨胀，移除小对象以及长宽比例不对的矩形区域。得到最终的车牌位置。
对得到的车牌位置进行进一步处理，对得到的车牌图像逐行、逐列统计蓝色像素点个数，利用统计结果确定出车牌里的白色文字区域，并对该区域进行裁剪。
S3：对裁剪出的车牌图像进行预处理，基于垂直像素统计进行车牌的字符分割；具体流程如图5。
先对裁剪出的图像进行灰度化、二值化、归一化等图像预处理。
本实例中，车牌共有7个字符，字符分割有一下5个步骤：
步骤1：对预处理后的车牌图像逐列扫描。用数组记录每列白色像素点的个数；
步骤2：从车牌的最左边开始对字符进行分割。设置字符的左边界为Px0，右边界为Px1，并初始化Px0=Px1=1；
步骤3：判断第Px0列的像素统计个数是否超过阈值。否，则表示未到字符区域，则Px0=Px0+1，继续右移；是，则此时的Px0即为字符的左边界。设置Px1=Px0；
步骤4：判断第Px1列的像素统计个数是否超过阈值。是，则表示未出字符区域，则Px1=Px1+1，继续右移；否，则此时的Px1即为字符的右边界。设置Px0=Px1；
步骤5：确定好字符的左右边界，分割出字符。重复S3和S4步骤，直至车牌中7个字符都被分割出。
S4：利用训练好的基于神经网络的字符识别模型对已分割的车牌字符进行逐个识别，记录每个字符对应的标签；具体流程如图6。
训练基于神经网络的字符识别模型，要先从字符的样本集中生成训练集和测试集，利用训练集进行模型训练。
本实例中的最优的模型训练要经过6个卷积核5*5的卷积层、采样率为[2,2]的池化层、12个卷积核5*5的卷积层、采样率为[2,2]的池化层、全连接层、全连接层、全连接层等七个中间层。生成的字符识别模型可以对车牌中0~9的数字，字母，省份简称进行识别。
S5：将识别出的字符标签转为字符串进行输出；
本实例中，对车牌“苏A MB936”和车牌“苏E 730V7”进行车牌识别测试。两个测试车牌的定位剪切后的车牌彩色图像，如图7；两个测试车牌的字符分割结果，如图8。经测试，可以对两个车牌进行准确的识别。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (6)

1.一种基于神经网络的车牌识别方法，其特征在于，包括如下步骤：
S1：获取目标车牌的图像；
S2：对图像进行预处理，基于车牌颜色的粗筛选和基于车牌纹理的细筛选进行车牌定位，并裁剪出车牌图像；
S3：对裁剪出的车牌图像进行预处理，基于垂直像素统计进行车牌的字符分割；
S4：利用训练好的基于神经网络的字符识别模型对已分割的车牌字符进行逐个识别，记录每个字符对应的标签；
S5：将识别出的字符标签转为字符串进行输出。
2.根据权利要求1所述的一种基于神经网络的车牌识别方法，其特征在于：所述步骤S2中的预处理的方法为包括对图像进行灰度化、均值滤波、降噪的预处理，提取出图像的边缘，提取出的图像边缘用于选出车牌纹理区域。
3.根据权利要求1所述的一种基于神经网络的车牌识别方法，其特征在于：所述步骤S2中的车牌定位的方法如下：
基于车牌颜色的粗筛选粗筛选阶段从图像中选出背景颜色和长宽比例与车牌相符合的若干矩形区域，对选出的若干矩形区域进行腐蚀和膨胀后，进入细筛选阶段；
基于车牌颜色的细筛选阶段根据车牌的纹理筛除掉小对象和长宽比例不正确的矩形区域，最终确定车牌在图像中的位置并对图像进行裁剪，取出车牌。
4.根据权利要求1所述的一种基于神经网络的车牌识别方法，其特征在于：所述步骤S3中的预处理的方法为对裁剪出的图像进行灰度化、二值化、归一化的图像预处理。
5.根据权利要求1所述的一种基于神经网络的车牌识别方法，其特征在于：所述步骤S3中基于垂直像素统计的车牌分割的方法为：
先对预处理后的车牌图像逐列扫描，用数组记录每列白色像素点的个数；
再根据每列的像素统计个数是否超过阈值，判断该列是否处于字符区域，从而确定每个字符的左边界和右边界，分割出每个字符。
6.根据权利要求1所述的一种基于神经网络的车牌识别方法，其特征在于：所述步骤S4中基于神经网络的字符识别模型的训练方法如下：
先从字符的样本集中生成训练集和测试集，利用训练集进行模型训练，其中模型训练经过卷积层、池化层、全连接层的中间层，生成的字符识别模型能够对车牌中0~9的数字，字母，省份简称进行识别。
CN202010522096.3A 2020-06-10 2020-06-10 一种基于神经网络的车牌识别方法 Withdrawn CN111723710A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010522096.3A CN111723710A (zh) 2020-06-10 2020-06-10 一种基于神经网络的车牌识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010522096.3A CN111723710A (zh) 2020-06-10 2020-06-10 一种基于神经网络的车牌识别方法

Publications (1)

Publication Number Publication Date
CN111723710A true CN111723710A (zh) 2020-09-29

Family

ID=72567837

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010522096.3A Withdrawn CN111723710A (zh) 2020-06-10 2020-06-10 一种基于神经网络的车牌识别方法

Country Status (1)

Country Link
CN (1) CN111723710A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112580629A (zh) * 2020-12-23 2021-03-30 深圳市捷顺科技实业股份有限公司 一种基于深度学习的车牌字符识别方法以及相关装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112580629A (zh) * 2020-12-23 2021-03-30 深圳市捷顺科技实业股份有限公司 一种基于深度学习的车牌字符识别方法以及相关装置

Similar Documents

Publication Publication Date Title
CN105373794B (zh) 一种车牌识别方法
US20070058863A1 (en) Label Detection
CN106650553A (zh) 车牌识别方法及系统
CN106815583B (zh) 一种基于mser和swt相结合的夜间车辆车牌定位方法
Paunwala et al. A novel multiple license plate extraction technique for complex background in Indian traffic conditions
CN109635733B (zh) 基于视觉显著性和队列修正的停车场和车辆目标检测方法
CN105139011B (zh) 一种基于标识物图像的车辆识别方法及装置
Islam et al. Automatic vehicle number plate recognition using structured elements
CN114820625B (zh) 一种汽车顶块缺陷检测方法
CN110909598A (zh) 一种基于深度学习的非机动车道交通违法行驶识别方法
CN105787475A (zh) 一种复杂环境下的交通标志检测与识别方法
Lee et al. Adaptive local binarization method for recognition of vehicle license plates
CN110516666B (zh) 基于mser和isodata相结合的车牌定位方法
CN112115800A (zh) 一种基于深度学习目标检测的车辆组合识别系统及方法
CN111401364A (zh) 一种基于颜色特征和模板匹配相结合的车牌定位算法
CN116758045B (zh) 一种半导体发光二极管的表面缺陷检测方法及系统
CN111723710A (zh) 一种基于神经网络的车牌识别方法
CN107392115B (zh) 一种基于分层特征提取的交通标志识别方法
CN113053164A (zh) 一种利用环视图像的车位识别方法
Deb et al. Automatic vehicle identification by plate recognition for intelligent transportation system applications
Angeline et al. Tracking and localisation of moving vehicle license plate via Signature Analysis
Tian et al. A new algorithm for license plate localization in open environment using color pair and stroke width features of character
JP2005250786A (ja) 画像認識方法
CN112580651A (zh) 车牌快速定位和字符分割方法和装置
Angeline et al. Smearing algorithm for vehicle parking management system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20200929

WW01 Invention patent application withdrawn after publication