CN111461128A - 一种车牌的识别方法及装置 - Google Patents
一种车牌的识别方法及装置 Download PDFInfo
- Publication number
- CN111461128A CN111461128A CN202010246743.2A CN202010246743A CN111461128A CN 111461128 A CN111461128 A CN 111461128A CN 202010246743 A CN202010246743 A CN 202010246743A CN 111461128 A CN111461128 A CN 111461128A
- Authority
- CN
- China
- Prior art keywords
- license plate
- vehicle
- region
- features
- characters
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000000605 extraction Methods 0.000 claims description 61
- 238000001514 detection method Methods 0.000 claims description 35
- 238000012937 correction Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 5
- 230000003247 decreasing effect Effects 0.000 claims description 4
- 230000011218 segmentation Effects 0.000 abstract description 8
- 230000006870 function Effects 0.000 description 17
- 238000013528 artificial neural network Methods 0.000 description 14
- 238000011176 pooling Methods 0.000 description 12
- 230000004913 activation Effects 0.000 description 6
- 238000010606 normalization Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000013507 mapping Methods 0.000 description 5
- 238000005070 sampling Methods 0.000 description 5
- 238000012805 post-processing Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 230000004807 localization Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/14—Image acquisition
- G06V30/148—Segmentation of character regions
- G06V30/153—Segmentation of character regions using recognition of characters or words
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
本申请提供的车牌的识别方法及装置，基于图像的多尺度特征，从图像中检测车辆区域，基于车辆区域的多尺度特征，从车辆区域检测车牌区域，使用预设的感受野依次识别车牌区域中的字符，并基于字符确定车牌。因为多尺度特征能够识别出多种尺度的对象，并且，无需在识别前先分割出字符区域，而是使用感受野依次识别字符，所以，能够避免分割错误导致的识别错误，因此，识别结果的准确率较高。基于以上，再结合车辆区域、车牌区域和车牌识别的执行顺序，每一步均具有较高的准确性，所以，识别结果的准确性较高，因此，即使对于质量不好的图像，识别结果也能满足需求。
Description
技术领域
本申请涉及智能交通领域，尤其涉及一种车牌的识别方法及装置。
背景技术
车牌识别是智能停车场、数字安防和智能交通系统领域里非常重要的基本功能，对智能停车和交通系统领域有着非常重要的影响。
但目前的车牌识别结果，尤其是在车牌图像的质量不高的情况下，准确性有待提高。
发明内容
本申请提供了一种车牌识别的方法及装置，目的在于解决如何提高车牌的识别结果的准确性的问题。
为了实现上述目的，本申请提供了以下技术方案：
一种车牌的识别方法，包括：
基于图像的多尺度特征，从所述图像中检测车辆区域；
基于所述车辆区域的多尺度特征，从所述车辆区域检测车牌区域；
使用预设的感受野依次识别所述车牌区域中的字符，并基于所述字符确定车牌。
可选的，所述基于图像的多尺度特征，从所述图像中检测车辆区域，包括：
提取所述图像的多个尺度的特征；
对于每个尺度的特征，提取多个尺度的锚框；
获取每个所述锚框中包括所述车辆区域的可能性；
将可能性满足预设条件的锚框框选的区域，作为检测到的所述车辆区域。
可选的，所述基于所述车辆区域的多尺度特征，从所述车辆区域检测车牌区域，包括：
提取所述车辆区域的多个尺度的特征；
对于所述车辆区域的每个尺度的特征，提取多个尺度的锚框；
获取每个所述锚框中包括所述车牌区域的可能性；
将可能性满足预设条件的锚框框选的区域，作为检测到的所述车牌区域。
可选的，所述图像的多尺度特征包括第一数量的不同尺度的特征，所述车辆区域的多尺度特征包括第二数量的不同尺度的特征，所述第一数量大于所述第二数量。
可选的，所述使用预设的感受野依次识别所述车牌区域中的字符，并基于所述字符确定车牌，包括：
对所述车牌区域进行卷积运算，所述卷积运算使用的卷积核的长度小于宽度，且所述卷积运算使用的卷积层的层数依据所述车牌中的一个字符的宽度所占的像素确定；
输出每个所述感受野的识别结果，所述感受野的形状由所述卷积核的形状确定，所述感受野在水平方向的宽度由所述层数确定，所述识别结果包括字符和概率；
依据所述概率，确定每个所述感受野中的字符，并合并相同的字符，得到所述车牌区域的车牌。
可选的，在所述使用预设的感受野依次识别所述车牌区域中的字符，并基于所述字符确定车牌之前，还包括：
检测所述车牌区域的角点；
使用所述角点，对所述车牌区域进行倾斜矫正。
一种车牌的识别装置，包括：
车辆区域检测模块，用于基于图像的多尺度特征，从所述图像中检测车辆区域；
车牌区域检测模块，用于基于所述车辆区域的多尺度特征，从所述车辆区域检测车牌区域；
识别模块，用于使用预设的感受野依次识别所述车牌区域中的字符，并基于所述字符确定车牌。
可选的，所述车辆区域检测模块包括：
第一模型；
所述第一模型包括：
多尺度检测单元和输出单元；所述多尺度检测单元包括串联连接的特征提取模块、车辆定位模块和车辆分类模块，其中，前一个所述特征提取模块的输出作为下一个所述特征提取模块的输入，所述串联连接的多个特征提取模块使用的预设尺度递减；任意一个所述特征提取模块分别连接一个所述车辆定位模块和一个所述车辆分类模块；
所述特征提取模块用于提取所述图像的多个尺度的特征；任意一个所述特征提取模块用于输出输入数据的预设尺度的特征；
任意一个所述车辆定位模块用于，从连接的所述特征提取模块输出的特征中确定锚框；
任意一个所述车辆分类模块用于，获取对应的所述车辆定位模块输出的每个所述锚框中包括所述车辆区域的可能性；所述对应的所述车辆定位模块为，连接同一个所述特征提取模块的所述车辆定位模块；
所述输出单元用于，将可能性满足预设条件的锚框框选的区域，作为检测到的所述车辆区域。
可选的，所述第二模型包括：
多尺度检测单元和输出单元；
所述多尺度检测单元包括串联连接的特征提取模块、车辆定位模块和车辆分类模块；
所述串联连接的多个特征提取模块使用的预设尺度递减；任意一个所述特征提取模块分别连接一个所述车辆定位模块和一个所述车辆分类模块；
所述特征提取模块用于提取所述车辆区域的多个尺度的特征；任意一个所述特征提取模块用于输出输入数据的预设尺度的特征；
任意一个所述车辆定位模块用于，从连接的所述特征提取模块输出的特征中确定锚框；
任意一个所述车辆分类模块用于，获取对应的所述车辆定位模块输出的每个所述锚框中包括所述车辆区域的可能性；所述对应的所述车辆定位模块为，连接同一个所述特征提取模块的所述车辆定位模块；
所述输出单元用于，将可能性满足预设条件的锚框框选的区域，作为检测到的所述车牌区域。
可选的，所述识别模块包括：
第三模型；
所述第三模型包括：
神经网络和后处理模块；
所述神经网络由卷积层和池化层构成，所述卷积层使用的卷积核的长度小于宽度，所述卷积层的层数依据所述车牌中的一个字符的宽度所占的像素确定；
所述神经网络用于输出每个感受野的识别结果，所述感受野的形状由所述卷积核的形状确定，所述感受野在水平方向的宽度由所述层数确定，所述识别结果包括字符和概率；
所述后处理模块，用于依据所述概率，确定所述每个感受野中的字符，并合并相同的字符，得到所述车牌区域的车牌。
可选的，还包括：
矫正模块，用于在所述识别模块使用预设的感受野依次识别所述车牌区域中的字符，并基于所述字符确定车牌之前，使用第四模型，检测所述车牌区域的角点；使用所述角点，对所述车牌区域进行倾斜矫正。
可选的，所述第四模型包括：
目标卷积层，所述目标卷积层的层数和使用的卷积核的尺度，依据所述角点在所述车牌区域中所占的像素的数量确定。
一种车牌的识别设备，包括：
存储器和处理器；
所述存储器用于存储程序，所述处理器用于执行所述程序，以实现上述的车牌的识别方法。
一种计算机可读存储介质，其上运行有计算机程序，所述计算机程序运行时实现上述的车牌的识别方法。
本申请所述的车牌的识别方法及装置，基于图像的多尺度特征，从图像中检测车辆区域，基于车辆区域的多尺度特征，从车辆区域检测车牌区域，使用预设的感受野依次识别车牌区域中的字符，并基于字符确定车牌。因为多尺度特征能够识别出多种尺度的对象，并且，无需在识别前先分割出字符区域，而是使用感受野依次识别字符，所以，能够避免分割错误导致的识别错误，因此，识别结果的准确率较高。基于以上，再结合车辆区域、车牌区域和车牌识别的执行顺序，每一步均具有较高的准确性，所以，识别结果的准确性较高，因此，即使对于质量不好的图像，识别结果也能满足需求。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例公开的一种车牌的识别方法的流程图；
图2为本申请实施例公开的第一模型的结构示意图；
图3为本申请实施例公开的第二模型的结构示意图；
图4为本申请实施例公开的第四模型的结构示意图；
图5为本申请实施例公开的神经网络对车牌区域的识别过程示意图；
图6为本申请实施例公开的又一种车牌的识别方法的流程图；
图7为本申请实施例公开的一种车牌的识别装置的结构示意图。
具体实施方式
本申请所述的车牌的识别技术，可以应用在现有的智能停车或智能交通领域中，具体的，可以由服务器执行以下流程，用于提供准确性较高的车牌识别结果。
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
图1为本申请实施例公开的一种车牌的识别方法的流程，包括以下步骤：
S101：使用第一模型，从图像中检测车辆区域。
本实施例中，具体的，第一模型为深度神经网络模型。
第一模型的结构可以如图2所示，包括：特征提取单元、多尺度检测单元和输出单元(图2中未画出)。其中，特征提取单元为卷积网络层，用于提取输入的图像的卷积特征。图2中，以特征提取单元包括11个卷积层为例。
多尺度检测单元包括：串联连接的第一数量的特征提取模块(图2中以不同尺度的立方体表示)、车辆定位模块(图2中简称为车辆定位)和车辆分类模块(图2中简称为车辆类别)。其中，前一个特征提取模块的输出作为下一个特征提取模块的输入，任意一个特征提取模块分别连接一个车辆定位模块和一个车辆分类模块。
多尺度检测单元实现的功能为：任意一个特征提取模块用于输出输入数据的预设尺度的特征，串联连接的多个特征提取模块使用的预设尺度递减。任意一个车辆定位模块用于，依据连接的特征提取模块输出的特征，输出预设的锚框的位置信息，其中，预设的锚框为多个尺度的锚框，即锚框的尺度和宽高比可以预先设置为多个。任意一个车辆分类模块用于，输出概率，其中，概率为对应的车辆定位模块输出的锚框中包括车辆区域的可能性。对应的车辆定位模块为，连接相同的特征提取模块的车辆定位模块。
也就是说，图2中，以六个特征提取模块为例，六个特征提取模块使用的预设尺度，即输出的特征的预设尺度，从左到右次依为64x64，通道数为256；32x32，通道数为512；16x16，通道数为1024；8x8，通道数为1024；4x4，通道数为1024；2x2，通道数为1024。
进一步的，特征提取模块具体包括下采样层和卷积层，输入的数据先进行下采样运算，再进行卷积运算。其中，输出的特征的尺度由下采样层的尺度决定，例如，64x64为将512*512的图像经过1/8下采样生成。通道数由卷积层中的卷积核的尺度决定。输出的特征的尺度与下采样层的尺度的一一对应关系，以及通道数与卷积核的尺度的一一对应关系，均可以参见现有技术，这里不再赘述。
以上功能体现在图2中，即图像输入特征提取单元，特征提取单元的输出结果输入第一个特征提取模块，第一个特征提取模块输出尺度为64x64，通道数为256的特征(为了区别，这里称为第一尺度特征)，与第一特征提取模块相连的车辆定位模块依据第一尺度特征，输出包括车辆的区域的锚框的位置信息。与第一特征提取模块相连的车辆分类模块输出各个锚框中包括车辆区域的可能性。
第一尺度特征还输入第二个特征提取模块，第二个特征提取模块输出尺度为32x32，通道数为512的第二尺度特征，……依次类推，直到第六个特征提取模块输出第六尺度特征。其中，与任意一个特征提取模块相连的车辆定位模块和车辆分类模块的功能，类似于与第一个特征提取模块相连的车辆定位模块和车辆分类模块的功能，这里不再穷举。
输出单元用于根据预设的锚框和原图的比例，将模型预测的车辆左上角和右下角的坐标位置恢复到原图，然后再利用非极大值抑制算法(NMS)对预测框(即锚框)进行筛选和过滤，以筛选出包括车辆区域的锚框。非极大值抑制算法需要设定置信度阈值和交并比(IOU)阈值，在本实施例中，车辆置信度阈值设定为0.3，交并比阈值设定为0.5。输出单元的功能的具体实现步骤，可以参见现有技术，这里不再赘述。
本实施例中，可选的，在图像输入第一模型之前，可以先将图像的分辨率缩放到512*512，实验证明，在该分辨率下，能够识别出距离摄像头较远的车辆，但分辨率越大，计算量越大，512*512为实验得出的能够平衡识别距离和计算量的较优值，并且，512*512能够适应第一模型。
需要说明的是，图2中共17个用于图像特征提取的卷积层，均可以采用非线形激活函数ReLU进行非线性的映射，并利用批量归一化(BatchNorm)层对卷积的输出进行归一化处理。车辆定位模块和车辆分类模块同样可以使用卷积神经网络，但是不对网络的输出作任何的激活和归一化处理。
综上，图2所示的第一模型，第一个尺度的特征(即feature map)可以预测尺度为原图的1/64至1/32的目标车辆的位置和概率，第二个尺度的feature map可以预测尺度为原图的1/32至1/16的目标车辆的位置和概率，第三个尺度的feature map可以预测尺度为原图的1/16至1/8的目标车辆的位置和概率，第四个尺度的feature map可以预测尺度为原图的1/8至1/4的目标车辆的位置和概率，第五个尺度的feature map可以预测尺度为原图的1/4至1/2的目标车辆的位置和概率，第六个尺度的feature map可以预测尺度为原图的1/2至1/1的目标车辆的位置和概率。6种不同尺度的预测输出，可以模拟传统图像目标检测方法中的图像金字塔构造方案，从而检测出不同尺度的车辆，再结合预设的不同尺度的锚框(Anchor)，则可以检测出不同尺度，不同宽高比的车辆。
深度神经网络可以随着数据的增多不断进行学习，不断提升对目标车辆的检测准确率，且相比传统车辆检测方法，在复杂环境、车辆拥挤等环境依然可以取得很好的车辆检测的准确率。
S102：使用第二模型，从车辆区域检测车牌区域。
具体的，第二模型可以参见第一模型，进一步的，由于车牌区域比车辆区域的尺度要小，且大小和尺度相对固定，所以，第二模型中的多尺度检测单元包括的特征提取模块的数量，可以小于第一模型中的特征提取模块的数量。
以图3为例，多尺度检测单元包括三个特征提取模块：第一个特征提取模块输出的feature map大小为38x38，通道数为128；第二个特征提取模块输出的feature map大小为8x8，通道数为256；第三个特征提取模块输出的feature map大小为4x4，通道数为512。
因此，第一个尺度的feature map可以预测尺度为原图的1/38至1/19的目标车牌的位置和概率，第二个尺度的feature map可以预测尺度为原图的1/8至1/4的目标车牌的位置和概率，第三个尺度的feature map可以预测尺度为原图的1/4至1/2的目标车牌的位置和概率。
可选的，本实施例中，将车辆区域输入第二模型之前，可以将车牌区域的分辨率缩放为300*300，以适应第二模型。
S103：矫正车牌区域。
由于摄像头与车辆之间存在的角度，图像中检测到的车牌区域，可以存在倾斜，因此，有必要对车牌区域进行矫正。
本实施例中，使用神经网络模型(简称第四模型)，检测车牌区域的角点，因为车牌区域通常为矩形，所以车牌区域的角点为矩形的四个角。并基于检测到的角点对车牌区域进行矫正。
具体的，第四模型的结构如图4所示，包括：目标卷积层和全连接层。
其中，目标卷积层的层数和使用的卷积核的尺度，依据角点在车牌区域中所占的像素的数量确定。
以图4为例，目标卷积层分为三部分，总共为18个卷积网络层。每部分的卷积核的尺度均为3*3，滑动步长均为1*1，并包含一个尺寸为2*2，滑动步长为2*2的池化层，以适应与角点在车牌区域中所占的像素的数量，从而最大限定保存和提取角点的特征。
可选的，为了提高车牌区域的清晰度，本实施例中，在车牌区域输入第四模型之前，先将车牌区域的分辨率缩放为224*224，以提高角点检测的准确性。
可选的，在图像特征提取的过程中，为了加速计算和扩大模型的感受野，可以使用1个步长为2的最大池化层，并有4个卷积层的滑动步长为2，这样，在输入分辨率为224*224的情况下，经过卷积核池化后，得到一个7x7大小的feature map，然后再使用1个步长为7的平均池化层得到提取到的特征，此时特征的维度为1024维。
接着使用1个维度为128的全连接特征层用于特征的再次编码，最后使用1个维度为8的全连接层作为模型的输出层，得到需要预测的车牌区域的4个角点的二维坐标值。
本实施例中，18个用于图像特征提取的卷积网络层均采用非线形激活函数ReLU进行非线性的映射，并利用批量归一化BatchNorm层对卷积的输出进行归一化处理。1个维度为128的全连接特征层的输出也采用非线形激活函数ReLU进行非线性的映射，并利用批量归一化BatchNorm层对卷积的输出进行归一化处理，1个维度为8的全连接层使用非线性激活函数Sigmoid进行非线性的映射，得到车牌4个角点归一化为0到1之间的二维坐标值。其中车牌角点的归一化计算方法为，将车牌角点的横坐标和纵坐标分别除以车牌本身的宽度和高度。
再将归一化后的坐标值恢复到真实坐标值(x1*w,y1*h,x2*w,y2*h,x3*w,y3*h,x4*w,y4*h)，其中w为车牌区域的宽度，h为车牌区域的高度。然后根据标准车牌的4个角点坐标(0,0,192,0,192,64,0,64)得到单应性变换矩阵W，根据W和车牌角点的真实坐标值，可以利用透视变换将旋转车牌矫正为水平方向的标准车牌。
S104：使用第三模型，识别车牌区域的车牌。
本实施例中，第三模型包括神经网络和后处理模块。
其中，神经网络用于输出每个感受野的识别结果。神经网络由卷积层和池化层构成，而不包括全连接层。具体的，神经网络包括三个重复单元，每一个单元由三层卷积层和一层池化层构成。
卷积层使用的卷积核的长度小于宽度，并且卷积层的层数依据车牌中的一个字符的宽度所占的像素确定。因为卷积运算的感受野的形状由卷积核的形状确定，在水平方向的宽度由卷积层的层数确定，所以，以上原则设置的卷积层的感受野，与车牌中的一个字符的形状和尺度相当，因此，再结合卷积运算的特点，可以实现依次对车牌区域的字符进行滑动识别的目的。
经过实验，本实施例中，选择卷积层的层数为3，卷积核的尺度为1*3或1*5。池化层的步长为2。
以上神经网络对车牌区域的识别过程示意如图5所示：图5中的任一个梯形表示感受野，梯形中的圆点表示实现该感受野的运算，从上到下共三层(表示三个重复单元)，每一层均包括卷积运算和池化运算，卷积运算的次数(即层数)为3，卷积核的尺度为1*3，池化运算的步长为2。从上到下圆点依次减少表示，经过池化运算后数据维度降低，即每一次运算的感受野减小。
对车牌区域中的像素依次进行上述运算，相当于感受野在车牌区域进行滑动，每次滑动后的运算均输出当前感受野中识别的字符。图5中，示例了滑动过程中产生的三个感受野，每个感受野对应的识别结果包括识别出的字符和概率。
需要说明的是，因为感受野的宽度较小，所以每个感受野的输出有可能是重复的，所以，后处理模块用于依据概率，确定每个感受野中的字符，并合并相同的字符，得到车牌区域的车牌。
以上从运算和感受野的对应关系进行了说明，另外，从神经网络整体的功能而言，可选的，在车牌区域输入神经网络之前，先将车牌区域的分辨率缩放为192*64。将车牌区域输入神经网络，首先经过包含3个用于图像特征提取的卷积网络层进行图像特征的提取，再使用上述重复单元对提取的特征进行运算，每一个单元由三层卷积层和一层步长为2的池化层构成，最终使用1个输出维度为73的卷积网络层，卷积的尺度大小为4*18*1，得到在水平方向上每8个像素对应的感受野覆盖的区域属于车牌每个字符或者背景的概率分布。其中12个用于图像特征提取的卷积网络层均采用非线形激活函数ReLU进行非线性的映射，并利用批量归一化BatchNorm层对卷积的输出进行归一化处理，1个输出维度为73的卷积网络层使用非线性激活函数Softmax进行非线性的映射。得到模型输出的概率分布后，根据事先定义好的车牌字符对应的类别索引值，使用beam search算法对概率输出进行解码，就可以得到最终的车牌号码和每个字符的得分。
可见，使用第三模型，避免了字符识别前对字符的分割，从而避免了将字符分割的误差代入字符识别，因误差累积而导致的识别结果不准确的问题，并且，因为字符分割对图像的质量要求较高，所以无需进行字符分割，对于质量较差的图像的忍容度较高。
可见，图1所述的车牌的是被方法，具有以下有益效果：
1、第一模型和第二模型均用于提取多尺度特征，并基于多尺度特征确定检测区域，所以，具有较高的准确性，并且，第三模型没有在识别前先分割出字符区域，而是使用感受野依次识别字符，所以，能够避免分割错误导致的识别错误，因此，识别结果的准确率较高。
基于以上，再结合车辆区域、车牌区域和车牌识别的执行顺序，每一步均具有较高的准确性，所以，识别结果的准确性较高，因此，即使对于质量不好的图像，识别结果也能满足需求。
2、基于角点检测的车牌区域矫正，且无需字符分割即可进行车牌识别，能够进一步提高识别结果的准确性。并且，与基于图像二值化、直线检测等传统角点检测方法相比，使用模型进行的角度检测，受图像无损、噪声或运动模糊的影响交底。
3、因为对于质量不好的图像，识别结果也能满足需求，所以，能够实现复杂环境或高空无感场景下的车牌识别。
需要说明的是，以上使用模型实现各步骤的目的，仅为具体实现方式，实际中，除了模型之外，也可以使用其他方式，实现上述目的，或者，使用其他结构的模型，实现上述目的。
上述流程可以概括为图6所示的流程，包括以下步骤：
S601：基于图像的多尺度特征，从图像中检测车辆区域。
具体的，提取图像的多个尺度的特征，对于每个尺度的特征，提取多个尺度的锚框，获取每个锚框中包括所述车辆区域的可能性，将可能性满足预设条件的锚框框选的区域，作为检测到的所述车辆区域。
S602：基于车辆区域的多尺度特征，从车辆区域检测车牌区域。
具体的，提取所述车辆区域的多个尺度的特征，对于所述车辆区域的每个尺度的特征，提取多个尺度的锚框，获取每个所述锚框中包括所述车牌区域的可能性，将可能性满足预设条件的锚框框选的区域，作为检测到的所述车牌区域。
可选的，图像的多尺度特征包括第一数量的不同尺度的特征，车辆区域的多尺度特征包括第二数量的不同尺度的特征，所述第一数量大于所述第二数量。
S603：使用预设的感受野依次识别车牌区域中的字符，并基于字符确定车牌。
具体的，对所述车牌区域进行卷积运算，所述卷积运算使用的卷积核的长度小于宽度，且所述卷积运算使用的卷积层的层数依据所述车牌中的一个字符的宽度所占的像素确定，输出每个所述感受野的识别结果，所述感受野的形状由所述卷积核的形状确定，所述感受野在水平方向的宽度由所述层数确定，所述识别结果包括字符和概率，依据所述概率，确定每个所述感受野中的字符，并合并相同的字符，得到所述车牌区域的车牌。
可选的，在S603之前，还可以按照以下方式进行矫正：检测所述车牌区域的角点，使用所述角点，对所述车牌区域进行倾斜矫正。
图6所示的流程，与现有技术相比，对于质量不好的图像，也能得到较为准确的识别结果。
图7为本申请实施例公开的一种车牌的识别装置，包括：车辆区域检测模块、车牌区域检测模块和识别模块，可选的，还可以包括矫正模块。
车辆区域检测模块用于基于图像的多尺度特征，确定从图像中检测车辆区域。
具体的，车辆区域检测模块包括：第一模型。第一模型的结构和功能可以参加上述实施例。车牌区域检测模块用于基于所述车辆区域的多尺度特征，从车辆区域检测车牌区域。
具体的，车牌区域检测模块包括：第二模型。第二模型的结构和功能可以参见上述实施例。识别模块包括：第三模型，第三模型的结构和功能可以参见上述实施例。
矫正模块用于在，在所述识别模块使用预设的感受野依次识别所述车牌区域中的字符，并基于所述字符确定车牌之前，使用第四模型，检测车牌区域的角点，并使用角点，对车牌区域进行倾斜矫正。第四模型的功能和结构可以参见上述实施例。
图7所示的车牌的识别装置，具有较高的识别准确性，尤其对于质量不高的图像，也能较为准确地识别出车牌。
本申请实施例还公开了一种车牌的识别设备，包括：存储器和处理器。所述存储器用于存储程序，所述处理器用于执行所述程序，以实现前述的车牌的识别方法。
本申请实施例还公开了一种计算机可读存储介质，其上运行有计算机程序，其特征在于，所述计算机程序运行时实现前述的车牌的识别方法。
本申请实施例方法所述的功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算设备可读取存储介质中。基于这样的理解，本申请实施例对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一台计算设备(可以是个人计算机，服务器，移动计算设备或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种车牌的识别方法，其特征在于，包括：
基于图像的多尺度特征，从所述图像中检测车辆区域；
基于所述车辆区域的多尺度特征，从所述车辆区域检测车牌区域；
使用预设的感受野依次识别所述车牌区域中的字符，并基于所述字符确定车牌。
2.根据权利要求1所述的方法，其特征在于，所述基于图像的多尺度特征，从所述图像中检测车辆区域，包括：
提取所述图像的多个尺度的特征；
对于每个尺度的特征，提取多个尺度的锚框；
获取每个所述锚框中包括所述车辆区域的可能性；
将可能性满足预设条件的锚框框选的区域，作为检测到的所述车辆区域。
3.根据权利要求1所述的方法，其特征在于，所述基于所述车辆区域的多尺度特征，从所述车辆区域检测车牌区域，包括：
提取所述车辆区域的多个尺度的特征；
对于所述车辆区域的每个尺度的特征，提取多个尺度的锚框；
获取每个所述锚框中包括所述车牌区域的可能性；
将可能性满足预设条件的锚框框选的区域，作为检测到的所述车牌区域。
4.根据权利要求1所述的方法，其特征在于，所述图像的多尺度特征包括第一数量的不同尺度的特征，所述车辆区域的多尺度特征包括第二数量的不同尺度的特征，所述第一数量大于所述第二数量。
5.根据权利要求1所述的方法，其特征在于，所述使用预设的感受野依次识别所述车牌区域中的字符，并基于所述字符确定车牌，包括：
对所述车牌区域进行卷积运算，所述卷积运算使用的卷积核的长度小于宽度，且所述卷积运算使用的卷积层的层数依据所述车牌中的一个字符的宽度所占的像素确定；
输出每个所述感受野的识别结果，所述感受野的形状由所述卷积核的形状确定，所述感受野在水平方向的宽度由所述层数确定，所述识别结果包括字符和概率；
依据所述概率，确定每个所述感受野中的字符，并合并相同的字符，得到所述车牌区域的车牌。
6.根据权利要求1-5任一项所述的方法，其特征在于，在所述使用预设的感受野依次识别所述车牌区域中的字符，并基于所述字符确定车牌之前，还包括：
检测所述车牌区域的角点；
使用所述角点，对所述车牌区域进行倾斜矫正。
7.一种车牌的识别装置，其特征在于，包括：
车辆区域检测模块，用于基于图像的多尺度特征，从所述图像中检测车辆区域；
车牌区域检测模块，用于基于所述车辆区域的多尺度特征，从所述车辆区域检测车牌区域；
识别模块，用于使用预设的感受野依次识别所述车牌区域中的字符，并基于所述字符确定车牌。
8.根据权利要求7所述的装置，其特征在于，所述车辆区域检测模块包括：
第一模型；
所述第一模型包括：
多尺度检测单元和输出单元；所述多尺度检测单元包括串联连接的特征提取模块、车辆定位模块和车辆分类模块，其中，前一个所述特征提取模块的输出作为下一个所述特征提取模块的输入，所述串联连接的多个特征提取模块使用的预设尺度递减；任意一个所述特征提取模块分别连接一个所述车辆定位模块和一个所述车辆分类模块；
所述特征提取模块用于提取所述图像的多个尺度的特征；任意一个所述特征提取模块用于输出输入数据的预设尺度的特征；
任意一个所述车辆定位模块用于，从连接的所述特征提取模块输出的特征中确定锚框；
任意一个所述车辆分类模块用于，获取对应的所述车辆定位模块输出的每个所述锚框中包括所述车辆区域的可能性；所述对应的所述车辆定位模块为，连接同一个所述特征提取模块的所述车辆定位模块；
所述输出单元用于，将可能性满足预设条件的锚框框选的区域，作为检测到的所述车辆区域。
9.一种车牌的识别设备，其特征在于，包括：
存储器和处理器；
所述存储器用于存储程序，所述处理器用于执行所述程序，以实现权利要求1-6任一项所述的车牌的识别方法。
10.一种计算机可读存储介质，其上运行有计算机程序，其特征在于，所述计算机程序运行时实现权利要求1-6任一项所述的车牌的识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010246743.2A CN111461128A (zh) | 2020-03-31 | 2020-03-31 | 一种车牌的识别方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010246743.2A CN111461128A (zh) | 2020-03-31 | 2020-03-31 | 一种车牌的识别方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111461128A true CN111461128A (zh) | 2020-07-28 |
Family
ID=71680157
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010246743.2A Pending CN111461128A (zh) | 2020-03-31 | 2020-03-31 | 一种车牌的识别方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111461128A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112052845A (zh) * | 2020-10-14 | 2020-12-08 | 腾讯科技（深圳）有限公司 | 图像识别方法、装置、设备及存储介质 |
Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002063686A (ja) * | 2000-08-15 | 2002-02-28 | Mitsubishi Heavy Ind Ltd | 車両監視装置 |
| CN1897015A (zh) * | 2006-05-18 | 2007-01-17 | 王海燕 | 基于机器视觉的车辆检测和跟踪方法及系统 |
| CN105373794A (zh) * | 2015-12-14 | 2016-03-02 | 河北工业大学 | 一种车牌识别方法 |
| CN105608906A (zh) * | 2016-03-29 | 2016-05-25 | 成都理工大学 | 高速公路机动车非法占用应急车道的监控系统及实现方法 |
| CN106096607A (zh) * | 2016-06-12 | 2016-11-09 | 湘潭大学 | 一种车牌识别方法 |
| CN106250812A (zh) * | 2016-07-15 | 2016-12-21 | 汤平 | 一种基于快速r‑cnn深度神经网络的车型识别方法 |
| CN106778737A (zh) * | 2016-11-24 | 2017-05-31 | 北京文安智能技术股份有限公司 | 一种车牌矫正方法、装置和一种视频采集装置 |
| CN107506763A (zh) * | 2017-09-05 | 2017-12-22 | 武汉大学 | 一种基于卷积神经网络的多尺度车牌精准定位方法 |
| WO2018112900A1 (zh) * | 2016-12-23 | 2018-06-28 | 深圳先进技术研究院 | 一种车牌识别方法及装置、用户设备 |
| CN108241859A (zh) * | 2016-12-26 | 2018-07-03 | 浙江宇视科技有限公司 | 车牌的校正方法及装置 |
| CN108596053A (zh) * | 2018-04-09 | 2018-09-28 | 华中科技大学 | 一种基于ssd和车辆姿态分类的车辆检测方法和系统 |
| US20190130189A1 (en) * | 2017-10-30 | 2019-05-02 | Qualcomm Incorporated | Suppressing duplicated bounding boxes from object detection in a video analytics system |
| CN109740603A (zh) * | 2019-01-21 | 2019-05-10 | 闽江学院 | 基于cnn卷积神经网络下的车辆字符识别方法 |
| CN110097044A (zh) * | 2019-05-13 | 2019-08-06 | 苏州大学 | 基于深度学习的一阶段车牌检测识别方法 |
| CN110555439A (zh) * | 2019-09-04 | 2019-12-10 | 北京迈格威科技有限公司 | 标识识别方法及其模型的训练方法、装置和电子系统 |
-
2020
- 2020-03-31 CN CN202010246743.2A patent/CN111461128A/zh active Pending
Patent Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002063686A (ja) * | 2000-08-15 | 2002-02-28 | Mitsubishi Heavy Ind Ltd | 車両監視装置 |
| CN1897015A (zh) * | 2006-05-18 | 2007-01-17 | 王海燕 | 基于机器视觉的车辆检测和跟踪方法及系统 |
| CN105373794A (zh) * | 2015-12-14 | 2016-03-02 | 河北工业大学 | 一种车牌识别方法 |
| CN105608906A (zh) * | 2016-03-29 | 2016-05-25 | 成都理工大学 | 高速公路机动车非法占用应急车道的监控系统及实现方法 |
| CN106096607A (zh) * | 2016-06-12 | 2016-11-09 | 湘潭大学 | 一种车牌识别方法 |
| CN106250812A (zh) * | 2016-07-15 | 2016-12-21 | 汤平 | 一种基于快速r‑cnn深度神经网络的车型识别方法 |
| CN106778737A (zh) * | 2016-11-24 | 2017-05-31 | 北京文安智能技术股份有限公司 | 一种车牌矫正方法、装置和一种视频采集装置 |
| WO2018112900A1 (zh) * | 2016-12-23 | 2018-06-28 | 深圳先进技术研究院 | 一种车牌识别方法及装置、用户设备 |
| US20200193232A1 (en) * | 2016-12-23 | 2020-06-18 | Shenzhen Institute Of Advanced Technology | License plate recognition method, device thereof, and user equipment |
| CN108241859A (zh) * | 2016-12-26 | 2018-07-03 | 浙江宇视科技有限公司 | 车牌的校正方法及装置 |
| CN107506763A (zh) * | 2017-09-05 | 2017-12-22 | 武汉大学 | 一种基于卷积神经网络的多尺度车牌精准定位方法 |
| US20190130189A1 (en) * | 2017-10-30 | 2019-05-02 | Qualcomm Incorporated | Suppressing duplicated bounding boxes from object detection in a video analytics system |
| CN108596053A (zh) * | 2018-04-09 | 2018-09-28 | 华中科技大学 | 一种基于ssd和车辆姿态分类的车辆检测方法和系统 |
| CN109740603A (zh) * | 2019-01-21 | 2019-05-10 | 闽江学院 | 基于cnn卷积神经网络下的车辆字符识别方法 |
| CN110097044A (zh) * | 2019-05-13 | 2019-08-06 | 苏州大学 | 基于深度学习的一阶段车牌检测识别方法 |
| CN110555439A (zh) * | 2019-09-04 | 2019-12-10 | 北京迈格威科技有限公司 | 标识识别方法及其模型的训练方法、装置和电子系统 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112052845A (zh) * | 2020-10-14 | 2020-12-08 | 腾讯科技（深圳）有限公司 | 图像识别方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109145928B (zh) | 一种基于图像的车头朝向识别方法及装置 | |
| CN112446383B (zh) | 车牌识别方法及装置、存储介质、终端 | |
| CN106971185B (zh) | 一种基于全卷积网络的车牌定位方法及装置 | |
| CN108986152B (zh) | 一种基于差分图像的异物检测方法及装置 | |
| CN111047626A (zh) | 目标跟踪方法、装置、电子设备及存储介质 | |
| CN109712071B (zh) | 基于航迹约束的无人机图像拼接与定位方法 | |
| CN112800955A (zh) | 基于加权双向特征金字塔的遥感影像旋转目标检测方法及系统 | |
| CN110991444A (zh) | 面向复杂场景的车牌识别方法及装置 | |
| CN111784624A (zh) | 目标检测方法、装置、设备及计算机可读存储介质 | |
| CN110766007A (zh) | 证件遮挡检测方法、装置、设备及可读存储介质 | |
| CN113052170A (zh) | 一种无约束场景下的小目标车牌识别方法 | |
| CN114299383A (zh) | 基于密度图与注意力机制融合的遥感图像目标检测方法 | |
| CN112395962A (zh) | 数据增广方法及装置、物体识别方法及系统 | |
| CN116645592A (zh) | 一种基于图像处理的裂缝检测方法和存储介质 | |
| CN113723399A (zh) | 一种车牌图像矫正方法、车牌图像矫正装置和存储介质 | |
| CN116863194A (zh) | 一种足溃疡图像分类方法、系统、设备及介质 | |
| CN115272691A (zh) | 一种钢筋绑扎状态检测模型的训练方法、识别方法及设备 | |
| CN111597875A (zh) | 一种交通标志识别方法、装置、设备及存储介质 | |
| CN112053407B (zh) | 一种交通执法影像中基于ai技术的车道线自动检测方法 | |
| CN111461128A (zh) | 一种车牌的识别方法及装置 | |
| CN115346206B (zh) | 基于改进超分辨的深度卷积特征识别的车牌检测方法 | |
| CN116740375A (zh) | 一种图像特征提取方法、系统及介质 | |
| CN115953744A (zh) | 一种基于深度学习的车辆识别追踪方法 | |
| CN116129397A (zh) | 角点检测方法、车位检测方法、电子设备和存储介质 | |
| CN115856874A (zh) | 毫米波雷达点云降噪方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200728 |
|
| RJ01 | Rejection of invention patent application after publication |