CN112766273A - 一种车牌识别方法 - Google Patents

一种车牌识别方法 Download PDF

Info

Publication number
CN112766273A
CN112766273A CN202110071930.6A CN202110071930A CN112766273A CN 112766273 A CN112766273 A CN 112766273A CN 202110071930 A CN202110071930 A CN 202110071930A CN 112766273 A CN112766273 A CN 112766273A
Authority
CN
China
Prior art keywords
license plate
network
frame
network model
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110071930.6A
Other languages
English (en)
Inventor
王磊
徐建闽
黄辉先
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiangtan University
Original Assignee
Xiangtan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiangtan University filed Critical Xiangtan University
Priority to CN202110071930.6A priority Critical patent/CN112766273A/zh
Publication of CN112766273A publication Critical patent/CN112766273A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/148—Segmentation of character regions
    • G06V30/153—Segmentation of character regions using recognition of characters or words
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates

Abstract

本发明提供一种车牌识别方法，包括以下步骤：S1.通过摄像头获取图片数据；S2.构建Faster RCNN网络模型；S3.构建LPRNet网络模型；S4.将步骤S1获取的图片数据输入Faster RCNN网络模型，从图片中识别出车牌边框的位置，并提取车牌边框内的图像；S5.将提取的车牌边框内的信息输入LPRNet网络模型，提取车牌信息。本发明利用Faster RCNN网络模型识别出图片中的车牌边框的位置，再通过LPRNet网络模型对车牌边框内的图像进行整体卷积形成识别序列，提取车牌信息，识别的精准度更高。

Description

一种车牌识别方法
技术领域
本发明及图像处理技术领域，尤其涉及一种车牌识别方法。
背景技术
随着城市车辆的日益增多，交通管理的压力也逐年增大，车辆检测与识别技术依然是一个需要不断创新的热点。对于车牌检测与识别在特定场合已经可以做到准确识别，例如逐渐成熟的无人停车场，通过图像处理技术手段对出入的车辆进行车牌识别，进行计时和自助收费。在道路交通的现实环境中，车牌检测与识别的技术应用具有重要意义，如公路收费、交通流量管控、车辆定位与监测、汽车防盗、违法驾驶自动监管和电子警察等现实应用。
近些年来，图像处理技术的发展也让车牌识别的方法多种多样。传统的车牌识别技术主要有：基于SVM分类器的方法和基于模板匹配的方法。传统图像算法车牌识别步骤为：对车牌图片矫正，修正角度偏差过大的图片；对矫正后的车牌图片进行字符分割，提取单个的候选字符框；利用训练好的模型对分割后的候选字符框分类判别，组合识别结果，最终输出车牌信息。采用传统的算法有一定的缺陷，在车牌字符预处理时设定阈值不妥当就可能导致识别的精度不高；对于现代车牌的颜色类别多种多样，利用传统图像手段区分车牌颜色时存在相应的分类误差；车牌旋转调整、车牌字符分割和车牌字符识别等各个部分也一样存在误差，全部的误差累计起来很难做到一个通用性高、准确率高的技术方案。
中国专利公开号CN109344825A，公开日期2019年2月15日，该专利公开了一种基于卷积神经网络的车牌识别方法，首先对车牌图像进行预处理，构建车牌训练样本集；再构建由CNN卷积网络层、RPN候选区域提取层、ROI pooling层和判别层组成的Faster R-CNN网络模型；通过多任务损失不断训练模型，生成一个准确率高的Faster R-CNN网络模型；最后利用训练好的Faster R-CNN网络模型进行车牌识别，获取车牌字符框位置信息与类别信息，再利用先验知识对字符位置进行判定，对识别的车牌字符进行排序整合，输出车牌识别结果；该专利利用先验知识对字符位置进行判定时，将检测到的车牌字符进行逐一分割，再对分割后的字符逐一识别，当分割精度不高时会直接影响到后续的车牌识别，造成误差的积累。
发明内容
本发明的目的在于克服现有车牌识别方法中将车牌字符进行逐一分割识别，分割识别会累积误差，导致最终识别结果精准度低的缺点，提供一种车牌识别方法。本发明利用Faster RCNN网络模型识别出图片中的车牌边框的位置，再通过LPRNet网络模型对车牌边框内的图像进行整体卷积形成识别序列，提取车牌信息，识别的精准度更高。
为解决上述技术问题，本发明采用的技术方案是：一种车牌识别方法，包括以下步骤：
S1.通过摄像头获取图片数据；
S2.构建Faster RCNN网络模型，所述Faster RCNN网络模型包括Back-bone共享卷积网络，RPN区域候选框生成网络和Classifier network候选框分类网络；
S3.构建LPRNet网络模型，所述LPRNet网络模型包括Small Basic Block网络；
S43.将步骤S1获取的图片数据输入Faster RCNN网络模型，从图片中识别出车牌边框的位置，并提取车牌边框内的图像；
S5.将提取的车牌边框内的信息输入LPRNet网络模型，提取车牌信息。
进一步的，所述Back-bone共享卷积网络包括VGG-16网络、ReLU激活函数层和MaxPooling最大池化层。本技术方案中，VGG-16网络作为骨干网络来提取图像的低级特征，该网络包括13层3×3卷积层、紧随其后的是ReLU激活函数层和5层Max Pooling最大池化层。通过Back-bone共享卷积网络得到共享网络特征层。
进一步的，所述Classifier network候选框分类网络包括ROI Pooling感兴趣区域池化层和分类层；输入ROI Pooling感兴趣区域池化层的是最后特征图和RPN网络推荐的候选框，从ROI Pooling感兴趣区域池化层输出的是尺度大小一致的候选框，再输入分类层进行分类预测和回归预测。
进一步的，所述步骤S4包括以下具体步骤：
S41.Back-bone共享卷积网络对图片信息进行卷积和池化，得到共享特征特征层；
S42.RPN区域候选框生成网络对共享特征特征层卷积得到全连接特征，再对全连接特征进行分类和回归得到初步的边框位置；
S43.利用边框回归算法对初步的边框位置进行修正；
S44.ROI Pooling感兴趣区域池化层对修正后的边框位置进行分区域池化，获得同等的局部特征图，再输入分类层进行分类预测和回归预测，提取车牌边框内的图像。
进一步的：将车牌边框内的图像输入LPRNet网络模型，通过卷积获取图像特征，将图像特征输入Small basic block网络进行压缩，再使用宽卷积进行字符识别，输出车牌信息。
进一步的，所述所述Small basic block网络将3×3卷积分解成3×1和1×3的非对称卷积。
与现有技术相比，本发明的有益效果是：
本发明利用Faster RCNN网络模型识别出图片中的车牌边框的位置，再通过LPRNet网络模型对车牌边框内的图像进行整体卷积形成识别序列，提取车牌信息，识别的精准度更高；且在LPRNet网络模型中采用Small Basic Block网络作为基本模块，其参照Inception网络结构，对网络模型数据进行压缩，达到加速网络运算的目的；Small BasicBlock网络前后使用1×1卷积，不仅可以大幅减少计算量，而且可以提升网络深度，引入更多的非线性，增强网络的表达能力。
附图说明
图1为本发明的流程示意图。
图2为本发明中LPRNet网络模型的结构示意图。
图3为本发明中边框回归修正示意图。
图4为本发明中LPRNet网络模型的结构示意图。
图5为本发明中Small basic block网络的结构示意图。
具体实施方式
下面结合具体实施方式对本发明作进一步的说明。其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本专利的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
实施例
如图1至图5所示为本发明一种车牌识别方法的实施例。一种车牌识别方法，其中包括以下步骤：
S1.通过摄像头获取图片数据；
S2.构建Faster RCNN网络模型，所述Faster RCNN网络模型包括Back-bone共享卷积网络，RPN区域候选框生成网络和Classifier network候选框分类网络；
S3.构建LPRNet网络模型，所述LPRNet网络模型包括Small Basic Block网络；
S4.将步骤S1获取的图片数据输入Faster RCNN网络模型，从图片中识别出车牌边框的位置，并提取车牌边框内的图像；
S5.将提取的车牌边框内的信息输入LPRNet网络模型，提取车牌信息。
本实施例中，步骤S4包括以下具体步骤：
S41.Back-bone共享卷积网络对图片信息进行卷积和池化，得到共享特征特征层；
S42.RPN区域候选框生成网络对共享特征特征层卷积得到全连接特征，再对全连接特征进行分类和回归得到初步的边框位置；
S43.利用边框回归算法对初步的边框位置进行修正；
S44.ROI Pooling感兴趣区域池化层对修正后的边框位置进行分区域池化，获得同等的局部特征图，再输入分类层进行分类预测和回归预测，提取车牌边框内的图像。
步骤S41中，Back-bone共享卷积网络是以VGG-16网络作为骨干网络来提取图像的低级特征，该网络包括13层3×3卷积层、紧随其后的是ReLU激活函数层和5层Max Pooling最大池化层。通过Back-bone共享卷积网络得到共享网络特征层。
步骤S42中，RPN区域候选框生成网络对共享特征特征层卷积得到全连接特征，RPN区域候选框生成网络的结构如图2所示，RPN区域候选框生成网络中，每个滑动位置会生成k个候选框，此时分类层输出2k个分数，预测候选框是车牌或不是车牌的概率，边界回归层输出4k个值，为候选框相对真实框4个顶点的偏移量。RPN区域候选框生成网络中的分类损失和回归损失
Figure BDA0002906205860000051
其中pi表示预测第i个候选框是车牌的概率，
Figure BDA0002906205860000052
表示对应真实标签的概率，Ncls表示最后生成的候选框个数，Nreg表示特征图的尺寸，ti表示第i个候选框的预测坐标偏移量(ti,x,ti,y,ti,w,ti,h)，
Figure BDA0002906205860000053
是对应真实标签的关联偏移量，λ表示平衡分类损失和回归损失的归一化权重。
式中的
Figure BDA0002906205860000054
表示分类损失，定义如下式所示：
Figure BDA0002906205860000055
式中的
Figure BDA0002906205860000056
表示回归损失，计算完
Figure BDA0002906205860000057
回归损失后还要与真实标签的概率
Figure BDA0002906205860000058
相乘，有物体时
Figure BDA0002906205860000059
为1，没有物体时
Figure BDA00029062058600000510
为0，只要前景需要计算损失，背景不需要计算损失，定义如下式所示：
Figure BDA00029062058600000511
式中的R表示SmoothL1损失函数，定义如式下式所示：
Figure BDA00029062058600000512
步骤S43中，由于RPN区域候选框生成网络得到的初步的边框位置还不够精确，需要使用边框回归算法对检测到的位置进一步修正。对于窗口一般使用思维向量(x,y,w,h)来表示，分别表示窗口的中心点坐标和宽高。图3中，边框P表示标记的真实位置GT，边框
Figure BDA00029062058600000513
表示修正后更接近于真实位置GT的框，边框G表示原始候选框，框中的点表示各个框的中心点。使用四维向量(x,y,w,h)来表示矩形框的中心点坐标和矩形高宽；边框回归目的是给定候选框向量(Px,Py,Pw,Ph)，寻找一种映射关系f(·)
Figure BDA0002906205860000061
其中，下标x,y,w,h表示边框中心点坐标和边框高宽。
将原始候选框变换为更加接近真实目标框，需要对候选框中心点位置平移变换，对候选框长度缩放变换，通过相应的这两个变换来实现映射。将候选框平移变换(Δx,Δy)，
Figure BDA0002906205860000062
其中Δx＝Pwdx(P)，Δy＝Phdy(P)，表示候选框中心点的修正量；
将候选框的边框进行缩放(Sw,Sh)；
Figure BDA0002906205860000063
其中Sw＝exp(dw(P)),Sh＝exp(dh(P))。表示候选框长宽的修正量。
本实施例中，LPRNet网络模型的结构如图4所示，把需要输入的RGB图像通过预处理压缩为94×24pixels，再将完成预处理的后的图像输入第一层，第一层使用64个大小为3×3的卷积核对预处理候后的图像进行卷积操作，经过第一个池化层后输出大小为90×20×64的特征图。将得到的特征图输入到第一个Small basic block网络中，减少骨干网络中可学习参数的数量，提高网络的运算速度。图像经过步长为2和采用3×3卷积核的Maxpooling层后，输出图像尺寸为输入图像尺寸的一半，减少参数防止过拟合。将第三次池化后得到的特征图21×16×64传入到Dropout层中，将被舍弃的概率p设置为0.5，随机的让一部分神经节点失活，减少中间特征的数量，防止模型出现过拟合。最后使用1×13的宽卷积利用本地字符的上下文信息对字符进行识别。
本实施例中，图4中LPRNet网络模型每层网络参数如下表所示：
Figure BDA0002906205860000064
Figure BDA0002906205860000071
其中，Small basic block网络结构如图5所示，Small basic block网络对LPRNet网络模型数据进行压缩，达到加速网络运算的目的。Small Basic Block网络前后使用1×1卷积，不仅可以大幅减少计算量，而且可以提升网络深度，引入更多的非线性，增强网络的表达能力；网络将3×3卷积分解成3×1和1×3的非对称卷积，减少参数数量，提高测试时的速度。骨干网络经过第二层最大池化后输出为90×20×64，经过第三层Small Basic Block网络后的输出为90×20×128，参数数目为：64×1×1×64+64×3×1×64+64×1×3×64+64×1×1×128＝36864，如果将Small Basic Block网络替换为3×3的卷积参数数目为：64×3×3×128＝73728。使用Small Basic Block网络不仅增加了网络深度，而且参数数目减少了将近一半。
本实施例中，利用Faster RCNN网络模型识别出图片中的车牌边框的位置，再通过LPRNet网络模型对车牌边框内的图像进行整体卷积形成识别序列，提取车牌信息，识别的精准度更高。
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (6)

1.一种车牌识别方法，其特征在于：包括以下步骤：
S1.通过摄像头获取图片数据；
S2.构建Faster RCNN网络模型，所述Faster RCNN网络模型包括Back-bone共享卷积网络，RPN区域候选框生成网络和Classifier network候选框分类网络；
S3.构建LPRNet网络模型，所述LPRNet网络模型包括Small Basic Block网络；
S4.将步骤S1获取的图片数据输入Faster RCNN网络模型，从图片中识别出车牌边框的位置，并提取车牌边框内的图像；
S5.将提取的车牌边框内的信息输入LPRNet网络模型，提取车牌信息。
2.根据权利要求1所述的一种车牌识别方法，其特征在于：所述Back-bone共享卷积网络包括VGG-16网络、ReLU激活函数层和Max Pooling最大池化层。
3.根据权利要求2所述的一种车牌识别方法，其特征在于：所述Classifier network候选框分类网络包括ROI Pooling感兴趣区域池化层和分类层。
4.根据权利要求3所述的一种车牌识别方法，其特征在于：所述步骤S4包括以下具体步骤：
S41.Back-bone共享卷积网络对图片信息进行卷积和池化，得到共享特征特征层；
S42.RPN区域候选框生成网络对共享特征特征层卷积得到全连接特征，再对全连接特征进行分类和回归得到初步的边框位置；
S43.利用边框回归算法对初步的边框位置进行修正；
S44.ROI Pooling感兴趣区域池化层对修正后的边框位置进行分区域池化，获得同等的局部特征图，再输入分类层进行分类预测和回归预测，提取车牌边框内的图像。
5.根据权利要求1所述的一种车牌识别方法，其特征在于：所述步骤S5中，将车牌边框内的图像输入LPRNet网络模型，通过卷积获取图像特征，将图像特征输入Small basicblock网络进行压缩，再使用宽卷积进行字符识别，输出车牌信息。
6.根据权利要求5所述的一种车牌识别方法，其特征在于：所述Small basic block网络将3×3卷积分解成3×1和1×3的非对称卷积。
CN202110071930.6A 2021-01-20 2021-01-20 一种车牌识别方法 Pending CN112766273A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110071930.6A CN112766273A (zh) 2021-01-20 2021-01-20 一种车牌识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110071930.6A CN112766273A (zh) 2021-01-20 2021-01-20 一种车牌识别方法

Publications (1)

Publication Number Publication Date
CN112766273A true CN112766273A (zh) 2021-05-07

Family

ID=75703301

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110071930.6A Pending CN112766273A (zh) 2021-01-20 2021-01-20 一种车牌识别方法

Country Status (1)

Country Link
CN (1) CN112766273A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115810185A (zh) * 2022-12-21 2023-03-17 南通大学 基于生成对抗网络数据增强的轻量级车牌识别方法
WO2023097931A1 (zh) * 2021-12-03 2023-06-08 江苏航天大为科技股份有限公司 一种基于霍夫变换的车牌倾斜校正方法
WO2023246580A1 (zh) * 2022-06-20 2023-12-28 京东方科技集团股份有限公司 信息处理方法、装置及电子设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109508715A (zh) * 2018-10-30 2019-03-22 南昌大学 一种基于深度学习的车牌定位和识别方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109508715A (zh) * 2018-10-30 2019-03-22 南昌大学 一种基于深度学习的车牌定位和识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ZHERZDEV,S.ET.AL,: "LPRNet: License plate recognition via deep neural networks，Zherzdev", 《ARXIV:1806.10447》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023097931A1 (zh) * 2021-12-03 2023-06-08 江苏航天大为科技股份有限公司 一种基于霍夫变换的车牌倾斜校正方法
WO2023246580A1 (zh) * 2022-06-20 2023-12-28 京东方科技集团股份有限公司 信息处理方法、装置及电子设备
CN115810185A (zh) * 2022-12-21 2023-03-17 南通大学 基于生成对抗网络数据增强的轻量级车牌识别方法

Similar Documents

Publication Publication Date Title
CN107563372B (zh) 一种基于深度学习ssd框架的车牌定位方法
CN109977812B (zh) 一种基于深度学习的车载视频目标检测方法
CA2945452C (en) Intelligent automatic license plate recognition for electronic tolling environments
CN107798335B (zh) 一种融合滑动窗口与Faster R-CNN卷积神经网络的车标识别方法
CN109784150B (zh) 基于多任务时空卷积神经网络的视频驾驶员行为识别方法
Anagnostopoulos et al. A license plate-recognition algorithm for intelligent transportation system applications
CN112766273A (zh) 一种车牌识别方法
TWI497422B (zh) 車牌影像辨識系統及方法
CN106650731B (zh) 一种鲁棒的车牌、车标识别方法
CN108268867B (zh) 一种车牌定位方法及装置
US7519197B2 (en) Object identification between non-overlapping cameras without direct feature matching
CN110866430B (zh) 一种车牌识别方法及装置
CN111079640B (zh) 一种基于自动扩增样本的车型识别方法及系统
CN110969160A (zh) 一种基于深度学习的车牌图像校正、识别方法及系统
CN111967498A (zh) 基于毫米波雷达和视觉融合的夜间目标检测和跟踪方法
CN110781785A (zh) 基于Faster RCNN算法改进的交通场景下行人检测方法
CN111339975A (zh) 基于中心尺度预测与孪生神经网络的目标检测识别跟踪方法
CN111325769A (zh) 一种目标对象检测方法及装置
CN111832410B (zh) 一种基于视觉与激光雷达融合的前向列车检测方法
CN113343985B (zh) 车牌识别方法和装置
CN113111722A (zh) 基于改进Mask R-CNN的自动驾驶目标识别方法
CN113221750A (zh) 车辆追踪方法、装置、设备及存储介质
CN112949510A (zh) 基于Faster R-CNN热红外影像人物探测方法
CN115223123A (zh) 基于计算机视觉识别的路面目标检测方法
CN109977862B (zh) 一种车位限位器的识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210507

WD01 Invention patent application deemed withdrawn after publication