CN112529001A - 一种基于神经网络的车牌识别方法 - Google Patents

一种基于神经网络的车牌识别方法 Download PDF

Info

Publication number
CN112529001A
CN112529001A CN202011210086.2A CN202011210086A CN112529001A CN 112529001 A CN112529001 A CN 112529001A CN 202011210086 A CN202011210086 A CN 202011210086A CN 112529001 A CN112529001 A CN 112529001A
Authority
CN
China
Prior art keywords
license plate
model
image
coordinates
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011210086.2A
Other languages
English (en)
Inventor
李庆民
卢存盟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chuangze Intelligent Robot Group Co ltd
Original Assignee
Chuangze Intelligent Robot Group Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chuangze Intelligent Robot Group Co ltd filed Critical Chuangze Intelligent Robot Group Co ltd
Priority to CN202011210086.2A priority Critical patent/CN112529001A/zh
Publication of CN112529001A publication Critical patent/CN112529001A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/148—Segmentation of character regions
    • G06V30/153—Segmentation of character regions using recognition of characters or words
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63—Scene text, e.g. street names

Abstract

本发明公开了一种基于神经网络的车牌识别方法，包括以下车牌识别方法步骤：输入图像，摄像头采集到的图像数据经过训练后得到的yolo模型，进行一次前向计算后，能够得到图像中车牌的具体位置(x,y)、w、h和置信度c，车牌的具体位置为矩形区域A；确定车牌四个顶点坐标，将S3中的图像作为车牌角度矫正模型的输入数据，经过经过模型的一次前向计算得到车牌四个角点的坐标(x1,y1)、(x2,y2)、(x3,y3)、(x4,y4)分别表示为车牌左上角、左下角、右下角、右上角位置。本发明车牌定位使用YOLO算法，相比传统车牌定位方法具有定位精度高且速度快的特点。

Description

一种基于神经网络的车牌识别方法
技术领域
本发明涉及车牌识别技术领域，更具体地说，本发明涉及一种基于神经网络的车牌识别方法。
背景技术
车牌识别在人们日常生活中经常见到，目前已成为智慧交通的重要组成部分。近年来车牌识别技术虽然发展迅速，但是受限于车辆的使用环境(光线较强或者较弱、车牌污染、雨雪大雾天气等)使得车牌识别的各个环节中始终存在一些问题，导致识别精度有限：
车牌检测，传统方法使用RGB、HSI设置阈值条件或者传统机器学习算法来对车牌位置进行定位，会面临伪车牌、边框定位精度低等问题，这无疑会影响后续字符识别的精度。
字符分割，受车牌定位精度、环境因素(光线较强或者较弱、车牌污染、雨雪大雾天气等)，将导致车牌字符分割不准确。
字符识别，传统方法如神经网络、支持向量机识别精度有限。
为此，本发明提出一种基于神经网络的车牌识别方法。
发明内容
针对现有技术的不足，本发明提供了一种基于神经网络的车牌识别方法。
为实现上述目的，本发明提供如下技术方案：一种基于神经网络的车牌识别方法，包括以下车牌识别方法步骤：
S1：输入图像，摄像头采集到的图像数据经过训练后得到的yolo模型，进行一次前向计算后，能够得到图像中车牌的具体位置(x,y)、w、h和置信度c，车牌的具体位置为矩形区域A；
S2：定位车牌，将S1中的矩形区域A进行扩展，左右各扩展w/2，上下各扩展h/2，得到矩形区域B；
S3：选取车牌扩展区域，将矩形区域B统一变换成64*64pix大小的图像；
S4：确定车牌四个顶点坐标，将S3中的图像作为车牌角度矫正模型的输入数据，经过经过模型的一次前向计算得到车牌四个角点的坐标(x1,y1)、(x2,y2)、(x3,y3)、(x4,y4)分别表示为车牌左上角、左下角、右下角、右上角位置；
S5：对车牌角度矫正，将上述(x1,y1)、(x2,y2)、(x3,y3)、(x4,y4)坐标进行等比例缩放，转换成在矩形区域B内的坐标(X1,Y2)、(X2,Y2)、(X3,Y3)、(X4,Y4)；矩形区域B内针对坐标(X1,Y2)、(X2,Y2)、(X3,Y3)、(X4,Y4)区域进行透视变换，得到车牌的正视图；
S6：文字识别和颜色识别，将车牌的正视图尺寸统一变换，输入到颜色识别模型中，经过softmax分类器输出颜色概率最大的颜色，即为当前车牌的颜色，车牌正视图输入OCR模型中进行字符识别；
S7：输出结果。
优选的，所述S1中，使用yolo算法，对yolo-v3模型进行剪枝处理，可以进一步提高运算速度，车牌定位模型由事先准备好的大量包含车牌的图像，然后经过yolo算法训练得到。
优选的，所述S2中，用经过标记的训练数据卷积神经网络训练线性回归模型，用于识别车牌四个角点在图中的坐标。
优选的，所述S5中，透视变换是将图像平行四边形的视平面投影到矩形的视平面的过程。
优选的，所述S6中，卷积神经网络分类模型，输出车牌颜色。
优选的，所述S6中，使用CRNN网络，车牌图像首先通过卷积神经网络提取特征，生成的特征序列在经过双向的LSTM最终输出结果。
优选的，所述w为矩形区域A的宽，h为矩形区域A的高度。
本发明的技术效果和优点：
1、车牌定位使用YOLO算法，相比传统车牌定位方法(根据颜色或者传统机器学习)具有定位精度高且速度快的特点；
2、在车牌识别之前，增加车牌角度变换。这一步可以提高相机小角度拍摄时的识别准确率；
3、最终的字符识别无需对每个字符进行分割后在分别对各个分割后的字符识别，而使用CRNN网络，车牌图像首先通过卷积神经网络(CNN)提取特征，生成的特征序列在经过双向的LSTM最终输出结果。避免了因字符分割造成识别错误。
附图说明
图1为本发明车牌识别方法的流程图。
图2为本发明中sigmoid函数图像。
图3为本发明S1中矩形区域A的结构示意图。
图4为本发明S2中矩形区域B的结构示意图。
图5为本发明S5中车牌的正视图。
图6为本发明中透视变换的原理示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1-6所示，本发明一实施例的一种基于神经网络的车牌识别方法，包括以下车牌识别方法步骤：
S1：输入图像，摄像头采集到的图像数据经过训练后得到的yolo模型，进行一次前向计算后，能够得到图像中车牌的具体位置(x,y)、w、h和置信度c，车牌的具体位置为矩形区域A；
S2：定位车牌，将S1中的矩形区域A进行扩展，左右各扩展w/2，上下各扩展h/2，得到矩形区域B；
S3：选取车牌扩展区域，将矩形区域B统一变换成64*64pix大小的图像；
S4：确定车牌四个顶点坐标，将S3中的图像作为车牌角度矫正模型的输入数据，经过经过模型的一次前向计算得到车牌四个角点的坐标(x1,y1)、(x2,y2)、(x3,y3)、(x4,y4)分别表示为车牌左上角、左下角、右下角、右上角位置；
S5：对车牌角度矫正，将上述(x1,y1)、(x2,y2)、(x3,y3)、(x4,y4)坐标进行等比例缩放，转换成在矩形区域B内的坐标(X1,Y2)、(X2,Y2)、(X3,Y3)、(X4,Y4)；矩形区域B内针对坐标(X1,Y2)、(X2,Y2)、(X3,Y3)、(X4,Y4)区域进行透视变换，得到车牌的正视图；
训练时将图像大小改为64*64pix四个顶点坐标也相应做等比例变换；变换后的坐标为[(64/2w)*x1,(64/2h)*y1]、[(64/2w)*x2,(64/2h)*y2]、[(64/2w)*x3,(64/2h)*y3]、[(64/2w)*x4,(64/2h)*y4]，之后进行归一化(即将64*64大小的图片看作1*1大小)同时图像内四个顶点的坐标继续做相应的转换，转换后的坐标即为[(64/2w)*x1/64,(64/2h)*y1/64]、[(64/2w)*x2/64,(64/2h)*y2/64]、[(64/2w)*x3/64,(64/2h)*y3/64]、[(64/2w)*x4/64,(64/2h)*y4/64]。归一化后的四个顶点坐标被压缩到0-1区间，该角度矫正CNN网络最后一层使用Sigmoid激活函数，
Figure BDA0002758415370000041
S6：文字识别和颜色识别，将车牌的正视图尺寸统一变换，输入到颜色识别模型中，经过softmax分类器输出颜色概率最大的颜色，即为当前车牌的颜色，车牌正视图输入OCR模型中进行字符识别；
S7：输出结果。
在一个优选的实施方式中，所述S1中，使用yolo算法，对yolo-v3模型进行剪枝处理，可以进一步提高运算速度，车牌定位模型由事先准备好的大量包含车牌的图像，然后经过yolo算法训练得到。
在一个优选的实施方式中，所述S2中，用经过标记的训练数据卷积神经网络训练线性回归模型，用于识别车牌四个角点在图中的坐标。
在一个优选的实施方式中，所述S5中，透视变换是将图像平行四边形的视平面投影到矩形的视平面的过程。
在一个优选的实施方式中，所述S6中，卷积神经网络分类模型，输出车牌颜色。
在一个优选的实施方式中，所述S6中，使用CRNN网络，车牌图像首先通过卷积神经网络提取特征，生成的特征序列在经过双向的LSTM最终输出结果。
在一个优选的实施方式中，所述w为矩形区域A的宽，h为矩形区域A的高度。
本发明的有益效果：
1、车牌定位使用YOLO算法，相比传统车牌定位方法(根据颜色或者传统机器学习)具有定位精度高且速度快的特点；
2、在车牌识别之前，增加车牌角度变换。这一步可以提高相机小角度拍摄时的识别准确率；
3、最终的字符识别无需对每个字符进行分割后在分别对各个分割后的字符识别，而使用CRNN网络，车牌图像首先通过卷积神经网络(CNN)提取特征，生成的特征序列在经过双向的LSTM最终输出结果。避免了因字符分割造成识别错误。
最后：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于神经网络的车牌识别方法，其特征在于，包括以下车牌识别方法步骤：
S1：输入图像，摄像头采集到的图像数据经过训练后得到的yolo模型，进行一次前向计算后，能够得到图像中车牌的具体位置(x,y)、w、h和置信度c，车牌的具体位置为矩形区域A；
S2：定位车牌，将S1中的矩形区域A进行扩展，左右各扩展w/2，上下各扩展h/2，得到矩形区域B；
S3：选取车牌扩展区域，将矩形区域B统一变换成64*64pix大小的图像；
S4：确定车牌四个顶点坐标，将S3中的图像作为车牌角度矫正模型的输入数据，经过经过模型的一次前向计算得到车牌四个角点的坐标(x1,y1)、(x2,y2)、(x3,y3)、(x4,y4)分别表示为车牌左上角、左下角、右下角、右上角位置；
S5：对车牌角度矫正，将上述(x1,y1)、(x2,y2)、(x3,y3)、(x4,y4)坐标进行等比例缩放，转换成在矩形区域B内的坐标(X1,Y2)、(X2,Y2)、(X3,Y3)、(X4,Y4)；矩形区域B内针对坐标(X1,Y2)、(X2,Y2)、(X3,Y3)、(X4,Y4)区域进行透视变换，得到车牌的正视图；
S6：文字识别和颜色识别，将车牌的正视图尺寸统一变换，输入到颜色识别模型中，经过softmax分类器输出颜色概率最大的颜色，即为当前车牌的颜色，车牌正视图输入OCR模型中进行字符识别；
S7：输出结果。
2.根据权利要求1所述的一种基于神经网络的车牌识别方法，其特征在于，所述S1中，使用yolo算法，对yolo-v3模型进行剪枝处理，可以进一步提高运算速度，车牌定位模型由事先准备好的大量包含车牌的图像，然后经过yolo算法训练得到。
3.根据权利要求1所述的一种基于神经网络的车牌识别方法，其特征在于，所述S2中，用经过标记的训练数据卷积神经网络训练线性回归模型，用于识别车牌四个角点在图中的坐标。
4.根据权利要求1所述的一种基于神经网络的车牌识别方法，其特征在于，所述S5中，透视变换是将图像平行四边形的视平面投影到矩形的视平面的过程。
5.根据权利要求1所述的一种基于神经网络的车牌识别方法，其特征在于，所述S6中，卷积神经网络分类模型输出车牌颜色。
6.根据权利要求1所述的一种基于神经网络的车牌识别方法，其特征在于，所述S6中，使用CRNN网络，车牌图像首先通过卷积神经网络提取特征，生成的特征序列在经过双向的LSTM最终输出结果。
7.根据权利要求1所述的一种基于神经网络的车牌识别方法，其特征在于，所述w为矩形区域A的宽，h为矩形区域A的高度。
CN202011210086.2A 2020-11-03 2020-11-03 一种基于神经网络的车牌识别方法 Pending CN112529001A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011210086.2A CN112529001A (zh) 2020-11-03 2020-11-03 一种基于神经网络的车牌识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011210086.2A CN112529001A (zh) 2020-11-03 2020-11-03 一种基于神经网络的车牌识别方法

Publications (1)

Publication Number Publication Date
CN112529001A true CN112529001A (zh) 2021-03-19

Family

ID=74979448

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011210086.2A Pending CN112529001A (zh) 2020-11-03 2020-11-03 一种基于神经网络的车牌识别方法

Country Status (1)

Country Link
CN (1) CN112529001A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113095320A (zh) * 2021-04-01 2021-07-09 湖南大学 一种车牌识别方法、系统及计算设备
CN113392747A (zh) * 2021-06-07 2021-09-14 北京优创新港科技股份有限公司 一种用于立体仓库的货物包装箱识别方法及系统
CN114166132A (zh) * 2021-11-11 2022-03-11 中铁大桥科学研究院有限公司 一种车辆高度抓拍测量方法及装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113095320A (zh) * 2021-04-01 2021-07-09 湖南大学 一种车牌识别方法、系统及计算设备
CN113392747A (zh) * 2021-06-07 2021-09-14 北京优创新港科技股份有限公司 一种用于立体仓库的货物包装箱识别方法及系统
CN114166132A (zh) * 2021-11-11 2022-03-11 中铁大桥科学研究院有限公司 一种车辆高度抓拍测量方法及装置

Similar Documents

Publication Publication Date Title
CN105046196B (zh) 基于级联卷积神经网络的前车车辆信息结构化输出方法
CN112529001A (zh) 一种基于神经网络的车牌识别方法
CN111401257B (zh) 一种基于余弦损失在非约束条件下的人脸识别方法
CN107729801B (zh) 一种基于多任务深度卷积神经网络的车辆颜色识别系统
CN105809138B (zh) 一种基于分块识别的道路警告标志检测与识别方法
CN110728200A (zh) 一种基于深度学习的实时行人检测方法及系统
CN110619327A (zh) 一种复杂场景下基于深度学习的实时车牌识别方法
CN111582339B (zh) 一种基于深度学习的车辆检测与识别的方法
CN110751154B (zh) 一种基于像素级分割的复杂环境多形状文本检测方法
CN112508857B (zh) 基于改进型Cascade R-CNN的铝材表面缺陷检测方法
Fan et al. Improving robustness of license plates automatic recognition in natural scenes
CN111860509A (zh) 一种由粗到精的两阶段非约束车牌区域精准提取方法
CN110598698A (zh) 基于自适应区域建议网络的自然场景文本检测方法和系统
Sanyal et al. Traffic sign recognition: A survey
CN115272204A (zh) 一种基于机器视觉的轴承表面划痕检测方法
CN113128507A (zh) 一种车牌识别方法、装置、电子设备及存储介质
CN115497122A (zh) 遮挡行人重识别方法、装置、设备和计算机可存储介质
Lu et al. A cross-scale and illumination invariance-based model for robust object detection in traffic surveillance scenarios
Daraghmi et al. Accurate real-time traffic sign recognition based on the connected component labeling and the color histogram algorithms
Luo et al. Traffic sign detection and recognition for intelligent transportation systems: A survey
Huang et al. Chinese license plate detection based on deep neural network
CN115690770A (zh) 基于空间注意力特征的非受限场景下的车牌识别方法
Liu et al. Vehicle license plate recognition in complex scenes
CN112699841A (zh) 一种基于行车视频的交通标志检测识别方法
CN113033427A (zh) 一种基于dl的车底异物自动识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination