CN111444916A - 面向无约束条件下的车牌定位及识别方法、系统 - Google Patents

面向无约束条件下的车牌定位及识别方法、系统 Download PDF

Info

Publication number
CN111444916A
CN111444916A CN202010223731.8A CN202010223731A CN111444916A CN 111444916 A CN111444916 A CN 111444916A CN 202010223731 A CN202010223731 A CN 202010223731A CN 111444916 A CN111444916 A CN 111444916A
Authority
CN
China
Prior art keywords
license plate
recognition
positioning
network
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010223731.8A
Other languages
English (en)
Inventor
许亮
曹玉社
李峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhongkehai Micro Beijing Technology Co ltd
Original Assignee
Zhongkehai Micro Beijing Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhongkehai Micro Beijing Technology Co ltd filed Critical Zhongkehai Micro Beijing Technology Co ltd
Priority to CN202010223731.8A priority Critical patent/CN111444916A/zh
Publication of CN111444916A publication Critical patent/CN111444916A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63—Scene text, e.g. street names
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种面向无约束条件下的车牌定位及识别方法，对无约束条件下的车辆图像样本进行数据增强处理；将增强样本数据输入至目标检测网络，进行车牌预定位；矫正车牌预定位结果，得到样本的准确车牌定位结果；将定位结果送至车牌识别网络，采用搜索算法进行车牌后过滤识别；最终得到训练后的车牌定位及识别模型；在实际应用部署中，基于训练得到的车牌定位及识别模型，进行无约束条件下的车牌定位和车牌识别。同时提供了一种用于执行上述方法的车牌定位及识别系统。本发明实用性强，可以满足大部分场景下车牌定位和车牌识别的准确率；涉及算法的复杂度低，可集成性强，运行速度快，可以有效保证实时性。

Description

面向无约束条件下的车牌定位及识别方法、系统
技术领域
本发明涉及图像处理及应用技术领域，具体地，涉及一种面向无约束条件下的 车牌定位及识别方法、系统。
背景技术
在现实场景应用过程中，车牌定位和识别的准确度、实时性是至关重要的。无 约束条件下的车牌定位和识别，要求算法能够保持在误差很小的情况下定位出图像 中完整的车牌位置，同时准确无误、实时的识别出所定位车牌中的字符。
现阶段的车牌定位和识别，主要采用如下几种方法：
(1)基于的场景是摄像头正对车牌的情况，拍摄含有车的样本，采用如下三种 方式定位样本中的车牌位置：
①采用传统模式识别算法处理样本，例如：二值化、形态学处理，得到处理 后的特征图，使用先验信息定位图像中的车牌位置；
②预先使用车牌和大量的非车牌样本训练机器学习分类模型(例如SVM)，然后 遍历图像中的所有子区域，使用训练好的分类模型判断其是否包含车牌区域；
③将整张样本送入目标检测CNN网络中，检测图像中是否含有车牌，并定位 出车牌的位置。
(2)在定位出图像中车牌位置后，进行字符分割，通常采用投影法等得到分割 后的字符。
(3)在得到分割的字符块后，需要识别出每个字符代表的具体“汉字”、“字 母”和“数字”，常用识别字符的方法如下：
①将分割后的字符与数据库中的字符进行模板匹配，将匹配度最高的字符作 为识别出的字符；
②预先训练字符识别网络，使用该网络识别分割后的字符块。
虽然上述方法在某些场景下达到了较高的准确率，但仍存在如下缺陷：
(1)在无约束条件下的准确率低，在实际场景中，由于存在着光照(顺光、逆光、 侧光、光照强度等)、天气(晴朗、阴天、雨雪)、车位置(正面、不同轴不同角度的 偏移)等不同因素的影响，使得现阶段训练算法的样本和算法本身面临很大的挑战；
(2)目前的车牌算法一般都分为三个阶段：车牌定位、字符分割和车牌识别， 三个阶段分别操作会带来如下问题：一方面耗时，每个步骤都需要一定的时间，同 时在某些算法中，先检测给定样本的车辆，再在此基础上检测车牌；另一方面，准 确率，例如在字符分割过程中，若存在车牌老化、车牌周围轻微遮挡，使用投影法 得到的字符块将不准确。
(3)高速路上行驶的汽车种类除了常见的家用小轿车外，还有警车等其他不常 见的车，这些车的车牌与常见车的车牌有着很大的不同，这种不同使得现阶段的大 部分算法不能部署在无约束条件下。
目前没有发现同本发明类似技术的说明或报道，也尚未收集到国内外类似的资料。
发明内容
本发明针对现有技术中存在的上述不足，提供了一种可以部署在无约束条件下，能够满足实时性及准确性要求的面向无约束条件下的车牌定位及识别方法、系统。 其中，在车牌定位过程中，采用yolov3-tiny网络，在获得高准确率的过程中保证 短的运行时间。同时，将字符分割和车牌识别过程合并，使用一个网络实现最终的 端到端的识别。在定位到车牌后，为了保证后续过程的准确率，对定位的车牌进一 步归一化处理。
本发明是通过以下技术方案实现的。
根据本发明的一个方面，提供了一种面向无约束条件下的车牌定位及识别方法，包括：
S1，获取无约束条件下的车辆图像样本；
S2，对S1中获取的车辆图像样本进行数据增强处理，形成增强样本训练数据集；
S3，随机将S2中得到的训练样本数据集中的车辆图像样本数据输入至目标检测网络，对样本数据进行车牌预定位；
S4，对S3中得到的车牌预定位结果进行矫正，得到准确和完整的车牌图片；
S5，将S4中得到的车牌图片送至车牌识别网络进行车牌号码识别，并将识别得 到的多个号码序列依次与预定义模板集合相匹配，返回匹配成功的第一个号码序列；
S6，训练完S3中的目标检测网络和S5中的车牌识别网络后，得到无约束条件下 端到端的车牌定位和车牌识别模型；
S7，将S6中得到的车牌定位和车牌识别模型部署在无约束条件下，获取现场往 来车辆图像，并输入至车牌定位和车牌识别模型中；
S8，根据车牌定位和车牌识别模型中的车牌定位部分，检测出输入图像中的完 整车牌位置，进行车牌定位；
S9，根据车牌定位和车牌识别模型中的车牌识别部分，对定位后的车牌图像进 行车牌号码识别，得到对应的车牌号码序列。
优选地，所述S1中，对于车辆图像样本，在已有图像样本的基础上，加入采 集自不同场景下的车辆图像；其中，所述不同场景包括：不同光照、车辆相对相机 在不同轴上不同角度的偏转，以及模糊场景。
优选地，所述S2中，数据增强处理包括：对车辆图像样本进行几何增强和/或外 观增强；使得到的车辆图像数据包含原始数据部分和增强数据部分。
优选地，所述几何增强包括：旋转和/或随机裁剪；其中：
所述旋转用于训练后模型适应输入图像中车辆的不同摆放位置；旋转过程中， 对应的ground truth坐标也相应进行变换；旋转后样本数据周围的黑色区域采用 样本的平均像素填充；
所述随机裁剪使得车牌模型适应输入图像中车辆不完整的情况；
所述外观增强包括：运动模糊、高斯模糊和/或Gamma变换；其中：
所述运动模糊和高斯模糊，用于车牌模型适应输入图像中的图像模糊现象；
所述Gamma变换，增强样本数据的对比度和亮度，用于车牌模型适应实际场景中的光照差异。
优选地，所述S3中，目标检测网络采用yolov3-tiny网络，所述yolov3-tiny网络的损失函数为：
Figure BDA0002426966980000031
其中，W,H是特征图的宽和高，A是先验框数目，λclass,λcoord,λobj,λnoobj分别表示loss 中各项的权重系数，
Figure BDA0002426966980000041
代表所划分网格是否含有目标，gt表示真实标定值，bijk为网络的预测值，
Figure BDA0002426966980000042
是预测框和真实框的交并比；
式(1)中：
第一项
Figure BDA0002426966980000043
为分类误差；
第二项
Figure BDA0002426966980000044
为预测框的位置误差；
第三项
Figure BDA0002426966980000045
为包含目标的预测框的置信度误差；
第四项λnoobj·1IOU＜thresh·(0-bijk)2为不包含目标的预测框的置信度误差。
优选地，所述S4中，对车牌预定位结果进行矫正，包括：
-回归坐标，用于得到包含完整车牌的车牌图像；
-矫正车牌，用于获得正面呈水平方向的车牌图像。
优选地，回归坐标采用回归损失方法，具体为，固定目标检测网络的权重和偏置参数，在目标检测网络后端依次连接一个全连接层和一个回归损失层，根据样本数据中 的车牌位置信息训练更新全连接层和回归损失层的权重和偏置参数。
优选地，所述矫正车牌采用训练的STN网络。
优选地，所述S5中，所述车牌识别网络采用LPRNet车牌识别网络，所述LPRNet 车牌识别网络采用Beam搜索算法对车牌号码进行后过滤识别，得到多个最可能的 号码序列。
根据本发明的另一个方面，提供了一种面向无约束条件下的车牌定位及识别系统，包括：
-训练样本获取模块：所述训练样本获取模块获取车辆在不同场景下的车辆图像作为训练样本；
-训练样本增强模块：所述训练样本增强模块对训练样本进行数据增强处理，形成增强样本训练数据集；
-目标检测网络模块，所述目标检测网络模块对训练样本数据集中的样本数据进行 车牌预定位；
-矫正模块，所述矫正模块对预定位后的车牌图像进行矫正，得到经过车牌定位的样本数据；
-车牌识别网络模块，对经过车牌定位的样本数据进行车牌识别，获得与预定 义模板集合匹配的车牌序列。
优选地，所述目标检测网络模块采用yolov3-tiny网络。
优选地，所述矫正模块包括回归坐标单元和矫正车牌单元；其中：
所述回归坐标单元，得到完全包含车牌的车牌图像；
所述矫正车牌单元，获得正面呈水平方向的车牌图像。
优选地，所述回归坐标单元采用连接于目标检测网络后端的全连接层和回归损失层。
优选地，所述矫正车牌单元采用训练的STN网络。
优选地，所述车牌识别网络模块采用LPRNet车牌识别网络。
与现有技术相比，本发明具有如下的有益效果：
1、本发明提供的面向无约束条件下的车牌定位及识别方法、系统，采用 yolov3-tiny网络对样本数据进行车牌预定位，能够实现实时，并且保证精度的有益效果。
2、本发明提供的面向无约束条件下的车牌定位及识别方法、系统，采用LPRNet 车牌识别网络，其中采用后过滤和Beam搜索的方法进行车牌识别，能够实现端到端的 车牌识别有益效果。
3、本发明提供的面向无约束条件下的车牌定位及识别方法、系统，实用性强， 可以满足大部分场景下车牌定位和车牌识别的准确率；同时，涉及算法的复杂度低， 可集成性强，运行速度快，可以有效保证实时性。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明一优选实施例所提供的面向无约束条件下的车牌定位及识别方法、系统的工作及结构示意图。
具体实施方式
下面对本发明的实施例作详细说明：本实施例在以本发明技术方案为前提下进行实 施，给出了详细的实施方式和具体的操作过程。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发 明的保护范围。
本发明实施例提供了一种面向无约束条件下的车牌定位及识别方法，包括：
S1，获取无约束条件下的车辆图像样本；
S2，对S1中获取的车辆图像样本进行数据增强处理，形成增强样本训练数据集；
S3，随机将S2中得到的训练样本数据集中的车辆图像样本数据输入至目标检测网络，对样本数据进行车牌预定位；
S4，对S3中得到的车牌预定位结果进行矫正，得到准确和完整的车牌图片；
S5，将S4中得到的车牌图片送至车牌识别网络进行车牌号码识别，并将识别得 到的多个号码序列依次与预定义模板集合相匹配，返回匹配成功的第一个号码序列；
S6，训练完S3中的目标检测网络和S5中的车牌识别网络后，得到无约束条件下端到端的车牌定位和车牌识别模型；
S7，将S6中得到的车牌定位和车牌识别模型部署在无约束条件下，获取现场往 来车辆图像，并输入至车牌定位和车牌识别模型中；
S8，根据车牌定位和车牌识别模型中的车牌定位部分，检测出输入图像中的完 整车牌位置，进行车牌定位；
S9，根据车牌定位和车牌识别模型中的车牌识别部分，对定位后的车牌图像进 行车牌号码识别，得到对应的车牌号码序列。
下面结合一优选实施例，对上述技术方案进一步详细描述。
本优选实施例中提供的一种面向无约束条件下的车牌定位及识别方法，在车牌定位过程中，采用yolov3-tiny网络作为目标检测网络，在获得高准确率的过程中 保证短的运行时间。同时，将字符分割和车牌识别过程合并，使用一个网络实现最 终的端到端的识别。
具体地，所述面向无约束条件下的车牌定位及识别方法，包括如下步骤：
步骤S1，获取无约束条件下的车辆图像样本；
步骤S2，对步骤S1中获取的车辆图像样本进行数据增强处理，形成训练样本数据集；
步骤S3，随机将S2中得到的训练样本数据集中的车辆图像样本数据输入至现 有的兼具速度和准确度的yolov3-tiny网络，对样本数据进行车牌预定位；
步骤S4，对步骤S3中得到的车牌预定位结果进行矫正，得到准确和完整的车 牌位置；
步骤S5，将步骤S4中得到的车牌图片送至LPRNet车牌识别网络，采用Beam 搜索算法对车牌进行后过滤识别，得到多个最可能的号码序列；将识别得到的多个号 码序列依次与预定义模板集合相匹配，并返回与预定义模板集合匹配成功的第一个序列； 其中：所述预定义模板集合具体可以为中国的车辆牌照标准规则模板集合；第一个序列 通过设定的排序准则进行排序后确定，例如，第一个序列可以是网络输出的分数最高的 那个序列，即对网络的输出进行升序排序，返回第一个序列。
步骤S6，训练完S3中的yolov3-tiny网络和S5中的LPRNet车牌识别网络后，可 以得到无约束条件下端到端的车牌定位和车牌识别模型；
步骤S7，将上述车牌定位和车牌识别模型部署在无约束条件下，获取车辆图像，并输入至车牌定位和识别模型中；
步骤S8，根据车牌定位及车牌识别模型中的车牌定位部分，检测出输入图像中 的完整车牌位置，进行车牌定位；
步骤S9，根据车牌定位及车牌识别模型中的车牌识别部分，对车牌定位后的车 辆图像进行车牌识别，得到对应的车牌字符。
在本优选实施例中，目标检测网络采用yolov3-tiny网络可以兼顾准确率和运 行速度，即相对于其他网络，yolov3-tiny网络的准确率既高，运行速度也低。车 牌识别网络采用LPRNet车牌识别网络可以实现端到端的车牌识别，即相对于其他 网络而言，该网络在实际环境中的部署性强，复杂度低。
下面结合图1，对本发明实施例所提供的面向无约束条件下的车牌定位及识别 方法进一步详细描述。
如图1所示，本发明实施例所提供的面向无约束条件下的车牌定位及识别方法，包含两个主要过程：车牌定位和车牌识别，下面分别进行描述。
一、车牌定位
车牌定位过程的主要目的是：给定输入图像，准确无误的检测出图像中的完整车牌 位置。为了使得车牌定位方法能够适应实际条件下的无约束场景，该方法步骤如下：
1、在训练样本的收集过程中，在现有样本的基础上，本实施例尽可能多的加入了采集自不同场景下的车辆样本，这些场景包括：不同光照(含顺光、逆光、侧光，以及 不同光强)、车辆相对相机在不同轴(pitch,yaw和yaw)上不同角度的偏转、模糊等；
2、在训练过程中，为了使得车牌定位方法适应更多的场景，同时扩充数据集，本实施例进行了在线的数据增强，增强方式为：送入网络的样本包含两部分数据，一部分 数据为原始数据，另一部分数据为在线的数据增强数据，所做的数据增强类型如下：
(1)几何增强：包含如下几种：
-旋转(其对应的ground truth坐标也要相应的做变换)，其中旋转后图像周围的黑色 区域采用平均像素填充，该类型的增强是为了让车牌定位方法适应输入图像中车辆的不 同摆放位置；
-随机裁剪，使用随机裁剪的增强方式模拟了输入图像中车辆不完整的情况。
(2)外观增强，包含如下几种：
-运动模糊和高斯模糊，主要是为了让车牌定位方法适应场景中由于车体或其他因 素引起的图像模糊现象；
-Gamma变换，图像对比度和亮度增强，让车牌定位方法更好的适应实际场景中的光照；
3、使用yolov3-tiny网络，yolov3-tiny网络的网络参数如表1所示：
表1
Layer Type Parameter
#1 Input 416*416*3 RGB图像
#2 Convolution+MaxPooling 3*3/1+2*2/2
#3 Convolution+MaxPooling 3*3/1+2*2/2
#4 Convolution+MaxPooling 3*3/1+2*2/2
#5 Convolution+MaxPooling 3*3/1+2*2/2
#6 Convolution+MaxPooling 3*3/1+2*2/2
#7 Convolution+MaxPooling 3*3/1+2*2/1
#8 Convolution 3*3/1
#9 Convolution 1*1/1
#10 Convolution 3*3/1
#11 Convolution 1*1/1
#12#9+convolution+upsample 1*1/1
#13 concat#6+#12
#14 Convolution 3*3/1
#15 Convolution 1*1/1
其损失函数为：
Figure BDA0002426966980000091
其中，W,H是特征图的宽和高，A是先验框数目，λclass,λcoord,λobj,λnoobj分别表示loss 中各项的权重系数，
Figure BDA0002426966980000092
代表所划分网格是否含有目标，gt表示真实标定值，bijk为网络的预测值，
Figure BDA0002426966980000093
是预测框和真实框的交并比。式(1)中的第一项
Figure BDA0002426966980000094
为分类误差，第二项
Figure BDA0002426966980000095
为预测框的位置误差，第三项
Figure BDA0002426966980000096
为包含目标的预测框的置信度误差，第四项λnoobj·1IOU＜thresh·(0-bijk)2为不包含目标的预测框的置信度误差。
4、由于是在无约束场景下，yolov3-tiny网络得到输入图像中的车牌后，还需要对其进行进一步矫正，具体分为两个步骤：
(1)回归坐标，此操作是为了得到完全包含车牌的车牌图像。为此，我们训练了 一个简单的回归损失层，具体做法是，固定yolov3-tiny网络的权重和偏置参数，在网络 后接一个全连接层和回归损失层，根据训练样本中的车牌位置信息训练更新这两个层的 权重和偏置参数。最终，会得到准确的车牌位置信息。
(2)矫正车牌，正面呈水平方向的车牌将会被获得，具体做法是，我们训练了一 个STN网络，该网络用于车牌的矫正。
二、车牌识别
1、在得到预处理的车牌后，送入LPRNet车牌识别网络，该网络的网络参数如下表2和表3所示。
表2 LPR网络结构
Figure BDA0002426966980000097
Figure BDA0002426966980000101
表3 Small basic block网络结构
Layer Type Parameters
Input Cin*H*W
Convolution 1*1/1
Convolution 3*1/1/1
Convolution 1*3/1/1
Convolution 1*1/1
(2)同时，采用后过滤和Beam搜索，其中，后过滤用于获得通过Beam搜索找到 的前N个最可能的序列，并返回与预定义模板集合匹配的第一个序列。
三、测试阶段
由以上训练阶段可以得到：车牌定位和车牌识别模型；因此，在测试阶段，即在实用时，可以捕捉大部分场景下的车辆图像，送入车牌定位和识别方法中，该方法能够输 出其对应的车牌字符。
基于本发明上述实施例所提供的面向无约束条件下的车牌定位及识别方法，本发明实施例同时提供了一种面向无约束条件下的车牌定位及识别系统，该系统可以 用于执行上述方法。
所述面向无约束条件下的车牌定位及识别系统，包括：
-训练样本获取模块：所述训练样本获取模块获取车辆图像的训练样本；
-训练样本增强模块：所述训练样本增强模块对训练样本进行数据增强处理，形成增强样本训练数据集；
-yolov3-tiny网络模块，所述yolov3-tiny网络模块对训练样本数据集中的样本数据 进行车牌预定位；
-矫正模块，所述矫正模块对预定位后的车牌图像进行矫正，得到经过车牌定位的样本数据；
-LPRNet车牌识别网络模块，对经过车牌定位的样本数据进行车牌识别，获得 与预定义模板集合匹配的车牌序列。
本发明上述实施例所提供的面向无约束条件下的车牌定位及识别方法、系统， 实用性强，可以满足大部分场景下车牌定位和车牌识别的准确率；同时，涉及算法 的复杂度低，可集成性强，运行速度快，可以有效保证实时性。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上 述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改， 这并不影响本发明的实质内容。

Claims (10)

1.一种面向无约束条件下的车牌定位及识别方法，其特征在于，包括：
S1，获取无约束条件下的车辆图像样本；
S2，对S1中获取的车辆图像样本进行数据增强处理，形成增强样本训练数据集；
S3，随机将S2中得到的训练样本数据集中的车辆图像样本数据输入至目标检测网络，对样本数据进行车牌预定位；
S4，对S3中得到的车牌预定位结果进行矫正，得到准确和完整的车牌图片；
S5，将S4中得到的车牌图片送至车牌识别网络进行车牌号码识别，并将识别得到的多个号码序列依次与预定义模板集合相匹配，返回匹配成功的第一个号码序列；
S6，训练完S3中的目标检测网络和S5中的车牌识别网络后，得到无约束条件下端到端的车牌定位和车牌识别模型；
S7，将S6中得到的车牌定位和车牌识别模型部署在无约束条件下，获取现场往来车辆图像，并输入至车牌定位和车牌识别模型中；
S8，根据车牌定位和车牌识别模型中的车牌定位部分，检测出输入图像中的完整车牌位置，进行车牌定位；
S9，根据车牌定位和车牌识别模型中的车牌识别部分，对定位后的车牌图像进行车牌号码识别，得到对应的车牌号码序列。
2.根据权利要求1所述的面向无约束条件下的车牌定位及识别方法，其特征在于，所述S1中，对于车辆图像样本，在已有图像样本的基础上，加入采集自不同场景下的车辆图像；其中，所述不同场景包括：不同光照、车辆相对相机在不同轴上不同角度的偏转以及模糊场景。
3.根据权利要求1所述的面向无约束条件下的车牌定位及识别方法，其特征在于，所述S2中，数据增强处理包括：对车辆图像样本进行几何增强和/或外观增强；使得到的车辆图像数据包含原始数据部分和增强数据部分。
4.根据权利要求3所述的面向无约束条件下的车牌定位及识别方法，其特征在于，所述几何增强包括：旋转和/或随机裁剪；其中：
所述旋转用于训练后模型适应输入图像中车辆的不同摆放位置；旋转过程中，对应的ground truth坐标也相应进行变换；旋转后样本数据周围的黑色区域采用样本的平均像素填充；
所述随机裁剪使得车牌模型适应输入图像中车辆不完整的情况；
所述外观增强包括：运动模糊、高斯模糊和/或Gamma变换；其中：
所述运动模糊和高斯模糊，用于车牌模型适应输入图像中的图像模糊现象；
所述Gamma变换，增强样本数据的对比度和亮度，用于车牌模型适应实际场景中的光照差异。
5.根据权利要求1所述的面向无约束条件下的车牌定位及识别方法，其特征在于，所述S3中，目标检测网络采用yolov3-tiny网络，所述yolov3-tiny网络的损失函数为：
Figure FDA0002426966970000021
其中，W,H是特征图的宽和高，A是先验框数目，λclass,λcoord,λobj,λnoobj分别表示loss中各项的权重系数，
Figure FDA0002426966970000022
代表所划分网格是否含有目标，gt表示真实标定值，bijk为网络的预测值，
Figure FDA0002426966970000023
是预测框和真实框的交并比；
式(1)中：
第一项
Figure FDA0002426966970000024
为分类误差；
第二项
Figure FDA0002426966970000025
为预测框的位置误差；
第三项
Figure FDA0002426966970000026
为包含目标的预测框的置信度误差；
第四项λnoobj·1IOU＜thresh·(0-bijk)2为不包含目标的预测框的置信度误差。
6.根据权利要求1所述的面向无约束条件下的车牌定位及识别方法，其特征在于，所述S4中，对车牌预定位结果进行矫正，包括：
-回归坐标，用于得到包含完整车牌的车牌图像；
-矫正车牌，用于获得正面呈水平方向的车牌图像。
7.根据权利要求6所述的面向无约束条件下的车牌定位及识别方法，其特征在于，回归坐标采用回归损失方法，具体为，固定目标检测网络的权重和偏置参数，在目标检测网络后端依次连接一个全连接层和一个回归损失层，根据样本数据中的车牌位置信息训练更新全连接层和回归损失层的权重和偏置参数；和/或
所述矫正车牌采用训练的STN网络。
8.根据权利要求1所述的面向无约束条件下的车牌定位及识别方法，其特征在于，所述S5中，所述车牌识别网络采用LPRNet车牌识别网络，所述LPRNet车牌识别网络采用Beam搜索算法对车牌号码进行后过滤识别，得到多个最可能的号码序列。
9.一种面向无约束条件下的车牌定位及识别系统，其特征在于，包括：
-训练样本获取模块：所述训练样本获取模块获取车辆在不同场景下的车辆图像作为训练样本；
-训练样本增强模块：所述训练样本增强模块对训练样本进行数据增强处理，形成增强样本训练数据集；
-目标检测网络模块，所述目标检测网络模块对训练样本数据集中的样本数据进行车牌预定位；
-矫正模块，所述矫正模块对预定位后的车牌图像进行矫正，最终得到经过车牌定位后的归一化车牌样本数据；
-车牌识别网络模块，对经过车牌定位的样本数据进行车牌识别，获得与预定义模板集合匹配的车牌序列。
10.根据权利要求9所述的面向无约束条件下的车牌定位及识别系统，其特征在于，还包括如下任意一项或任意多项：
-所述目标检测网络模块采用yolov3-tiny网络；
-所述矫正模块包括回归坐标单元和矫正车牌单元；其中：
所述回归坐标单元，得到完全包含车牌的车牌图像；
所述矫正车牌单元，获得正面呈水平方向的车牌图像；
-所述回归坐标单元采用连接于目标检测网络后端的全连接层和回归损失层；
-所述矫正车牌单元采用训练的STN网络；
-所述车牌识别网络模块采用LPRNet车牌识别网络。
CN202010223731.8A 2020-03-26 2020-03-26 面向无约束条件下的车牌定位及识别方法、系统 Pending CN111444916A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010223731.8A CN111444916A (zh) 2020-03-26 2020-03-26 面向无约束条件下的车牌定位及识别方法、系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010223731.8A CN111444916A (zh) 2020-03-26 2020-03-26 面向无约束条件下的车牌定位及识别方法、系统

Publications (1)

Publication Number Publication Date
CN111444916A true CN111444916A (zh) 2020-07-24

Family

ID=71649203

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010223731.8A Pending CN111444916A (zh) 2020-03-26 2020-03-26 面向无约束条件下的车牌定位及识别方法、系统

Country Status (1)

Country Link
CN (1) CN111444916A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112966631A (zh) * 2021-03-19 2021-06-15 浪潮云信息技术股份公司 一种无限制安防场景下的车牌检测识别系统及其方法
CN113609969A (zh) * 2021-08-03 2021-11-05 北京睿芯高通量科技有限公司 一种复杂场景下的车牌检测识别方法以及系统
CN115600620A (zh) * 2022-12-13 2023-01-13 深圳思谋信息科技有限公司（Cn） 扫码方法、装置、电子设备和存储介质

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109271991A (zh) * 2018-09-06 2019-01-25 公安部交通管理科学研究所 一种基于深度学习的车牌检测方法
JP2019046007A (ja) * 2017-08-31 2019-03-22 株式会社Pfu 座標検出装置及び学習済みモデル
US20190095730A1 (en) * 2017-09-25 2019-03-28 Beijing University Of Posts And Telecommunications End-To-End Lightweight Method And Apparatus For License Plate Recognition
CN110069982A (zh) * 2019-03-08 2019-07-30 江苏大学 一种交通车辆与行人的自动识别方法
CN110111581A (zh) * 2019-05-21 2019-08-09 哈工大机器人（山东）智能装备研究院 目标识别方法、装置、计算机设备及存储介质
CN110276247A (zh) * 2019-05-09 2019-09-24 南京航空航天大学 一种基于YOLOv3-Tiny的行车检测方法
KR102030628B1 (ko) * 2019-04-04 2019-10-10 (주)아이엠시티 Cnn 기반 차량 번호판 인식 방법 및 시스템
CN110378331A (zh) * 2019-06-10 2019-10-25 南京邮电大学 一种基于深度学习的端到端车牌识别系统及其方法
CN110427937A (zh) * 2019-07-18 2019-11-08 浙江大学 一种基于深度学习的倾斜车牌矫正和不定长车牌识别方法
CN110503831A (zh) * 2019-08-28 2019-11-26 上海眼控科技股份有限公司 一种识别驾驶员违法行为的方法及设备
CN110675637A (zh) * 2019-10-15 2020-01-10 上海眼控科技股份有限公司 车辆违法视频的处理方法、装置、计算机设备及存储介质
CN110853076A (zh) * 2019-11-08 2020-02-28 重庆市亿飞智联科技有限公司 一种目标跟踪方法、装置、设备及存储介质

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019046007A (ja) * 2017-08-31 2019-03-22 株式会社Pfu 座標検出装置及び学習済みモデル
US20190095730A1 (en) * 2017-09-25 2019-03-28 Beijing University Of Posts And Telecommunications End-To-End Lightweight Method And Apparatus For License Plate Recognition
CN109271991A (zh) * 2018-09-06 2019-01-25 公安部交通管理科学研究所 一种基于深度学习的车牌检测方法
CN110069982A (zh) * 2019-03-08 2019-07-30 江苏大学 一种交通车辆与行人的自动识别方法
KR102030628B1 (ko) * 2019-04-04 2019-10-10 (주)아이엠시티 Cnn 기반 차량 번호판 인식 방법 및 시스템
CN110276247A (zh) * 2019-05-09 2019-09-24 南京航空航天大学 一种基于YOLOv3-Tiny的行车检测方法
CN110111581A (zh) * 2019-05-21 2019-08-09 哈工大机器人（山东）智能装备研究院 目标识别方法、装置、计算机设备及存储介质
CN110378331A (zh) * 2019-06-10 2019-10-25 南京邮电大学 一种基于深度学习的端到端车牌识别系统及其方法
CN110427937A (zh) * 2019-07-18 2019-11-08 浙江大学 一种基于深度学习的倾斜车牌矫正和不定长车牌识别方法
CN110503831A (zh) * 2019-08-28 2019-11-26 上海眼控科技股份有限公司 一种识别驾驶员违法行为的方法及设备
CN110675637A (zh) * 2019-10-15 2020-01-10 上海眼控科技股份有限公司 车辆违法视频的处理方法、装置、计算机设备及存储介质
CN110853076A (zh) * 2019-11-08 2020-02-28 重庆市亿飞智联科技有限公司 一种目标跟踪方法、装置、设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CDKNIGHT_HAPPY: "LPRNet: License Plate Recognition via Deep Neural Networks", HTTPS://BLOG.CSDN.NET/CDKNIGHT_HAPPY/ARTICLE/DETAILS/93972932?OPS_REQUEST_MISC=%257B%2522REQUEST%255FID%2522%253A%2522170709246416800182160053%2522%252C%2522SCM%2522%253A%252220140713.130102334.PC%255FALL.%2522%257D&REQUEST_ID=17070924641680018216005, 8 July 2019 (2019-07-08), pages 1 - 8 *
刘军;后士浩;张凯;张睿;胡超超;: "基于增强Tiny YOLOV3算法的车辆实时检测与跟踪", 农业工程学报, no. 08, 23 April 2019 (2019-04-23), pages 118 - 124 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112966631A (zh) * 2021-03-19 2021-06-15 浪潮云信息技术股份公司 一种无限制安防场景下的车牌检测识别系统及其方法
CN113609969A (zh) * 2021-08-03 2021-11-05 北京睿芯高通量科技有限公司 一种复杂场景下的车牌检测识别方法以及系统
CN115600620A (zh) * 2022-12-13 2023-01-13 深圳思谋信息科技有限公司（Cn） 扫码方法、装置、电子设备和存储介质
CN115600620B (zh) * 2022-12-13 2023-06-02 深圳思谋信息科技有限公司 扫码方法、装置、电子设备和存储介质

Similar Documents

Publication Publication Date Title
CN109816024B (zh) 一种基于多尺度特征融合与dcnn的实时车标检测方法
CN111709416B (zh) 车牌定位方法、装置、系统及存储介质
CN108334881B (zh) 一种基于深度学习的车牌识别方法
CN106971185B (zh) 一种基于全卷积网络的车牌定位方法及装置
CN111444916A (zh) 面向无约束条件下的车牌定位及识别方法、系统
CN111967313B (zh) 一种深度学习目标检测算法辅助的无人机图像标注方法
CN111967498A (zh) 基于毫米波雷达和视觉融合的夜间目标检测和跟踪方法
CN111965636A (zh) 一种基于毫米波雷达和视觉融合的夜间目标检测方法
CN111046856B (zh) 基于动静态特征提取并行位姿跟踪与地图创建的方法
CN111582339B (zh) 一种基于深度学习的车辆检测与识别的方法
CN103903018A (zh) 一种复杂场景中对车牌进行定位的方法和系统
CN112966631A (zh) 一种无限制安防场景下的车牌检测识别系统及其方法
CN113128507B (zh) 一种车牌识别方法、装置、电子设备及存储介质
CN115311241B (zh) 一种基于图像融合和特征增强的煤矿井下行人检测方法
CN105930803A (zh) 一种基于Edge Boxes的前车检测方法及装置
CN114429457A (zh) 一种基于双模态融合的风机叶片缺陷智能检测方法
CN112784834A (zh) 一种自然场景下的车牌自动识别方法
CN114419421A (zh) 一种基于影像的地铁隧道裂缝识别系统及方法
CN110458019B (zh) 稀缺认知样本条件下的排除倒影干扰的水面目标检测方法
CN112288682A (zh) 基于图像配准的电力设备缺陷定位方法
CN112528994B (zh) 一种自由角度车牌检测方法、车牌识别方法和识别系统
CN113011408A (zh) 多帧图片序列的字符识别、车辆识别码识别方法及系统
CN114882469A (zh) 一种基于dl-ssd模型的交通标志检测方法及系统
CN111833384B (zh) 一种可见光和红外图像快速配准方法及装置
CN111626180B (zh) 基于偏振成像的车道线检测方法及其装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination