CN108681693B - 基于可信区域的车牌识别方法 - Google Patents

基于可信区域的车牌识别方法 Download PDF

Info

Publication number
CN108681693B
CN108681693B CN201810324180.7A CN201810324180A CN108681693B CN 108681693 B CN108681693 B CN 108681693B CN 201810324180 A CN201810324180 A CN 201810324180A CN 108681693 B CN108681693 B CN 108681693B
Authority
CN
China
Prior art keywords
license plate
box
yolo
area
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810324180.7A
Other languages
English (en)
Other versions
CN108681693A (zh
Inventor
闵卫东
李祥鹏
廖艳秋
刘瑞康
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanchang University
Original Assignee
Nanchang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanchang University filed Critical Nanchang University
Priority to CN201810324180.7A priority Critical patent/CN108681693B/zh
Publication of CN108681693A publication Critical patent/CN108681693A/zh
Application granted granted Critical
Publication of CN108681693B publication Critical patent/CN108681693B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Probability & Statistics with Applications (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及一种基于可信区域的车牌识别方法，采用k‑means++聚类来选择初始车辆和车牌候选框的数量和尺度；将得到的初始候选框的数量和尺度结合到YOLO‑L模型，来提高车辆区域和车牌区域的定位准确率。通过YOLO‑L模型来定位车辆区域和车牌区域，并输出左上角和右下角的坐标；YOLO‑L模型首先区分道路上的车辆和其他物体；车牌识别算法判断车牌区域是否位于车辆区域内，以消除车牌区域的错误识别；如果所在车牌区域位于这些车辆区域内，则认为所在车牌区域正确检测，完成车牌识别。本发明基于可信区域的车牌识别方法，有效区分了车牌和类似的物体，能有效地定位车牌，减少了车牌的误判，大大降低了类似物体的误判性，提供了车牌识别效率，提高车牌识别的准确性。

Description

基于可信区域的车牌识别方法
技术领域
本发明涉及一种车牌识别方法，具体的说，是涉及一种基于可信区域的车牌识别方法。
背景技术
智能交通系统(ITS)在交通测量和监测方面发挥重要作用，例如，跟踪偷来的汽车、控制进入停车场和有限的交通区和收集交通流量统计资料。车牌识别方法包括四个步骤，即图像捕获，车牌区域定位，字符分割和字符识别。车牌区域定位步骤是从图像中检测并提取矩形车牌区域，字符分割步骤是指分离车牌区域上的字符，字符识别步骤是将基于图像的字符转换成文本表达，车牌区域定位是ITS的关键过程，其定位精度直接影响其他两个步骤。
车牌定位在复杂的环境中具有挑战性，因为在车牌相对较小的地区，由于照明的影响，模糊以及分辨率低等诸多因素。
针对恶劣天气条件和视觉变化等复杂道路环境下的YOLOv2模型——最准确和快速的目标检测深度学习算法。但是，它仍然有两个缺陷。首先是它不能有效检测到较小的车牌。二是道路上的广告牌，道路标识等类似物体可能被错误地检测为车牌。
发明内容
针对上述现有技术中的不足，本发明提供一种快捷、准确的基于可信区域的车牌识别方法。
为缓解上述问题，提出了一种基于新模型YOLO-L和车牌识别的车牌定位新方法。提出的新型YOLO-L在两个方面改进了YOLOv2。首先，使用k-means++聚类来选择初始车牌候选框的数量和尺度。其次，它改变了YOLOv2模型的结构和深度，从而将更多的高分辨率特征与低分辨率特征相结合，以提高精度。基于新型号YOLO-L，本发明的车牌预识别算法首先检测车辆区域和车牌区域。然后判断这些车牌区域是否在这些车辆区域内。它有效地区分牌照与类似物体，从而减少车牌误判。
YOLOv2模型目前已经通过了测试验证，是复杂道路环境下最准确和最快速的物体检测深度学习算法。然而，它不能有效地检测出相对较小的车辆车牌，而且可能会错误地检测到类似的物体，如广告牌和路标作为车牌。
本发明所采取的技术方案是：
一种基于可信区域的车牌识别方法，
采用k-means++聚类来选择初始车牌候选框的数量和尺度；
YOLO-L模型首先区分道路上的车辆和其他物体；
车牌识别算法判断车牌区域是否位于车辆区域内，以消除车牌区域的错误识别；
如果所在车牌区域位于这些车辆区域内，则认为所在车牌区域正确检测，完成车牌识别。
所述YOLO-L模型是将输入图像划分为S×S网格；
如果一个对象的中心落入一个网格单元中，该网格单元负责检测该对象；
每个网格单元预测B个边界框，这些框的置信度分数和两类概率；
这些置信度分数反映了盒子包含对象的有多少信心；
每个图像中都有S×S×B的边界框；
当类别概率P大于给定阈值T时，对象被预测。
所述YOLO-L模型将候选帧提取、特征提取、目标分类和目标位置统一到一个神经网络中；神经网络直接从图像中提取候选区域；整个图像的特征预测了车牌和车辆的区域；目标检测和识别被视为回归问题。
所述YOLO-L模型实现了实时的端到端检测。
所述YOLO-L模型检测目标帧并预测目标的置信度，在每个候选帧中的定义为Conf(Object)；
Figure GDA0001697861070000031
在公式(1)中，意味着是否落入与候选框对应的单元中。如果该单元格中没有对象，则Pr(Object)＝0，除此以外，Pr(Object)＝1；
Figure GDA0001697861070000032
在式(2)中，
Figure GDA0001697861070000033
意味着预测框与地面真值之间的交集(IOU)；每个边界框由5个预测组成：x，y，w，h和置信度；
(x，y)坐标表示相对于网格单元边界的框的中心；
W和h分别代表宽度和高度。宽度和高度是相对于整个图像预测的；
最后，置信度预测表示预测框与任何地面实况框之间的IOU，如公式(3)所示；
Figure GDA0001697861070000041
k-means++聚类算法得到初始候选框步骤如下：
算法：通过k-means++算法得到盒子尺寸输入：
C＝{box1(x1,y1),box2(x2,y2),box3(x3,y3),…,boxn(xn,yn)}关
于宽度和高度的数据集，以及框尺寸的数量为k；
步骤：
S1：从C中随机选取一个样本为centroid1(centroid1∈C)；
S2：对于C中的每个样本，计算每个样本到centroid1的距
离,d(boxi,centroid1)＝1-IOU(boxi,centroid1),i∈(1,2,3,...,n)；
S3：计算每个样本选为下一个质心的概率；
Figure GDA0001697861070000042
S4：定义Sumi；
Figure GDA0001697861070000043
S5：生成一个0到1之间的随机数r，则判断r属于区域[Sumi-1,Sumi]，boxi(xi,yi)是第二个质心；
S6：重复步骤S2:S5，直到得到k个质心。
本发明相对现有技术的有益效果：
本发明基于可信区域的车牌识别方法，在两个方面改进了YOLOv2模型。首先在训练集边界框上使用k-means++聚类来选择初始车牌候选框的数量和尺度。这种方法的目的是结合车辆和车牌的特点。因此，YOLO-L模型可以更准确地定位车牌。其次，它改变了YOLOv2模型的结构和深度，从而将更多的高分辨率特征与低分辨率特征相结合，以提高精度。车牌区域在路上相对较小。YOLO-L模型通过将更高分辨率的图层捆绑在一起以有效定位车牌来获得最佳特征。
基于新型号YOLO-L，本发明的车牌预识别算法首先检测车辆区域和车牌区域。然后判断这些车牌区域是否在这些车辆区域内。由于检测到的车辆外部的任何检测到的物体都不可能是车牌，所以上述方法等于仅在车辆区域，即预先标识的区域内检测牌照。因此本发明提出的算法被称为车牌预识别算法。
因为YOLO-L模型从车辆和其他物体中提取的特征差别很大，所以对于YOLO-L模型来说，区分道路上的车辆和其他物体是有效的。所以车牌识别算法有效地区分了车牌和类似的物体，从而减少了车牌的误判。
本发明提出了一种基于新模型YOLO-L和车牌预识别的车牌定位新方法。提出的新型YOLO-L在两个方面改进了YOLOv2。首先，YOLO-L模型结合车辆特征和车牌特征，通过k均值++聚类来选择初始候选框的数量和尺度。其次，YOLO-L模型将更高分辨率的特征与低分辨率特征相结合，通过改变YOLOv2模型的结构和深度来提高精度。为了减少错误的车牌位置，应用了车牌预识别算法。基于新型号YOLO-L，本发明的车牌预识别算法首先检测车辆区域和车牌区域。然后判断这些车牌区域是否在这些车辆区域内。它有效地区分了类似物体的车牌。采用基于定位车牌算法的统计指标的几个质量评价标准，在所提出的方法和一些流行的算法之间使用这些标准进行比较实验以评估质量和性能。定性和定量实验表明，该方法能有效地定位车牌，大大降低了类似物体的误判性，优于传统方法。同时，本发明提出的方法也满足了实时性的需要。
附图说明
图1是典型的车牌识别系统示意图；
图2是本发明基于可信区域的车牌识别方法的流程图；
图3是本发明基于可信区域的车牌识别方法的在YOLO-L车型中定位车辆和车牌区域示意图；
图4是本发明基于可信区域的车牌识别方法的用k-means++算法得到初始盒子尺寸的过程示意图；
图5是本发明基于可信区域的车牌识别方法的YOLO-L模型的结构示意图；
图6是本发明基于可信区域的车牌识别方法的YOLOv2模型和YOLO-L模型的精确度和召回率比较示意图；；
图7是本发明基于可信区域的车牌识别方法的车牌预识别算法识别流程图；
图8是本发明基于可信区域的车牌识别方法的不同的聚类结果下的平均IOU图。
具体实施方式
以下参照附图及实施例对本发明进行详细的说明：
附图1-8可知，一种基于可信区域的车牌识别方法，
采用k-means++聚类来选择初始车牌候选框的数量和尺度；
YOLO-L模型首先区分道路上的车辆和其他物体；
车牌识别算法判断车牌区域是否位于车辆区域内，以消除车牌区域的错误识别；
如果所在车牌区域位于这些车辆区域内，则认为所在车牌区域正确检测，完成车牌识别。
所述YOLO-L模型是将输入图像划分为S×S网格；
如果一个对象的中心落入一个网格单元中，该网格单元负责检测该对象；
每个网格单元预测B个边界框，这些框的置信度分数和两类概率；
这些置信度分数反映了盒子包含对象的有多少信心；
每个图像中都有S×S×B的边界框；
当类别概率P大于给定阈值T时，对象被预测。
所述YOLO-L模型将候选帧提取、特征提取、目标分类和目标位置统一到一个神经网络中；神经网络直接从图像中提取候选区域；整个图像的特征预测了车牌和车辆的区域；目标检测和识别被视为回归问题。
所述YOLO-L模型实现了实时的端到端检测。
所述YOLO-L模型检测目标帧并预测目标的置信度，在每个候选帧中的定义为Conf(Object)；
Figure GDA0001697861070000071
在公式(1)中，意味着是否落入与候选框对应的单元中。如果该单元格中没有对象，则Pr(Object)＝0，除此以外，Pr(Object)＝1；
Figure GDA0001697861070000081
在式(2)中，
Figure GDA0001697861070000082
意味着预测框与地面真值之间的交集(IOU)；每个边界框由5个预测组成：x，y，w，h和置信度；
(x，y)坐标表示相对于网格单元边界的框的中心；
W和h分别代表宽度和高度。宽度和高度是相对于整个图像预测的；
最后，置信度预测表示预测框与任何地面实况框之间的IOU，如公式(3)所示；
Figure GDA0001697861070000083
k-means++聚类算法得到初始候选框步骤如下：
算法：通过k-means++算法得到盒子尺寸输入：
C＝{box1(x1,y1),box2(x2,y2),box3(x3,y3),…,boxn(xn,yn)}关
于宽度和高度的数据集，以及框尺寸的数量为k；
步骤：
S1：从C中随机选取一个样本为centroid1(centroid1∈C)；
S2：对于C中的每个样本，计算每个样本到centroid1的距
离,d(boxi,centroid1)＝1-IOU(boxi,centroid1),i∈(1,2,3,...,n)；
S3：计算每个样本选为下一个质心的概率；
Figure GDA0001697861070000084
S4：定义Sumi；
Figure GDA0001697861070000091
S5：生成一个0到1之间的随机数r，则判断r属于区域[Sumi-1,Sumi]，boxi(xi,yi)是第二个质心；
S6：重复步骤S2:S5，直到得到k个质心。
YOLO-L模型的结构如下：
YOLO-L模型包含22个卷积层，5个最大池层和2个重组层，通过将相邻特征堆叠到不同空间位置的通道中，可以连接更高分辨率特征和低分辨率特征。图片输入的分辨率为416*416，使用卷积层降采样(factor为32)，使得输入卷积网络的416*416图片最终得到13*13的卷积特征(416/32＝13)，最后输出13*13*30的特征。
本发明基于可信区域的车牌识别方法，在两个方面改进了YOLOv2模型。首先在训练集边界框上使用k-means++聚类来选择初始车牌候选框的数量和尺度。这种方法的目的是结合车辆和车牌的特点。因此，YOLO-L模型可以更准确地定位车牌。其次，它改变了YOLOv2模型的结构和深度，从而将更多的高分辨率特征与低分辨率特征相结合，以提高精度。车牌区域在路上相对较小。YOLO-L模型通过将更高分辨率的图层捆绑在一起以有效定位车牌来获得最佳特征。
基于新型号YOLO-L，本发明的车牌预识别算法首先检测车辆区域和车牌区域。然后判断这些车牌区域是否在这些车辆区域内。由于检测到的车辆外部的任何检测到的物体都不可能是车牌，所以上述方法等于仅在车辆区域，即预先标识的区域内检测牌照。因此本发明提出的算法被称为车牌预识别算法。
因为YOLO-L模型从车辆和其他物体中提取的特征差别很大，所以对于YOLO-L模型来说，区分道路上的车辆和其他物体是有效的。所以车牌识别算法有效地区分了车牌和类似的物体，从而减少了车牌的误判。
本发明提出了一种基于新模型YOLO-L和车牌预识别的车牌定位新方法。提出的新型YOLO-L在两个方面改进了YOLOv2。首先，YOLO-L模型结合车辆特征和车牌特征，通过k均值++聚类来选择初始候选框的数量和尺度。其次，YOLO-L模型将更高分辨率的特征与低分辨率特征相结合，通过改变YOLOv2模型的结构和深度来提高精度。为了减少错误的车牌位置，应用了车牌预识别算法。基于新型号YOLO-L，本发明的车牌预识别算法首先检测车辆区域和车牌区域。然后判断这些车牌区域是否在这些车辆区域内。它有效地区分了类似物体的车牌。采用基于定位车牌算法的统计指标的几个质量评价标准，在所提出的方法和一些流行的算法之间使用这些标准进行比较实验以评估质量和性能。定性和定量实验表明，该方法能有效地定位车牌，大大降低了类似物体的误判性，优于传统方法。同时，本发明提出的方法也满足了实时性的需要。
YOLO-L模型将候选帧提取、特征提取、目标分类和目标位置统一到一个神经网络中。神经网络直接从图像中提取候选区域。整个图像的特征预测了车牌和车辆的区域。目标检测和识别被视为回归问题。YOLO-L模型实现了实时的端到端检测。
YOLO-L模型将输入图像划分为S×S网格。如果一个对象的中心落入一个网格单元中，该网格单元负责检测该对象。每个网格单元预测B个边界框，这些框的置信度分数和两类概率。这些置信度分数反映了盒子包含对象的有多少信心，这是由YOLO-L模型预测的。每个图像中都有S×S×B的边界框。当类别概率P大于给定阈值T时，对象被预测。提取候选箱子和定位车辆和车牌区域的过程如图3所示。
YOLO-L模型检测目标帧并预测目标的置信度，在每个候选帧中的定义为：Conf(Object)。
Figure GDA0001697861070000111
在公式(1)中，意味着是否落入与候选框对应的单元中。如果该单元格中没有对象，则Pr(Object)＝0，除此以外，Pr(Object)＝1。
Figure GDA0001697861070000112
在式(2)中，
Figure GDA0001697861070000113
意味着预测框与地面真值之间的交集(IOU)。每个边界框由5个预测组成：x，y，w，h和置信度。(x，y)坐标表示相对于网格单元边界的框的中心。W和h分别代表宽度和高度。宽度和高度是相对于整个图像预测的。最后，置信度预测表示预测框与任何地面实况框之间的IOU，如公式(3)所示。
Figure GDA0001697861070000114
提出的YOLO-L模型从两个方面对YOLOv2模型进行了改进。首先，使用k-means++聚类来选择初始车牌候选框的数量和尺度。其次，它改变了YOLOv2模型的结构和深度。更重要的是，它将更多的高分辨率特性与低分辨率特性相结合，提高了精度。
在ImageNet数据集上获取YOLOv2模型的初始候选框。然而，车辆和车牌与数据库不一致，因此本发明在训练集上使用k-means++聚类算法得到初始候选框，如图4所示.K-means++聚类算法优于k-means算法，因为k-means算法对最初选择的点敏感。本发明用作距离度量，对k的各种值运行k-means++，并绘制最接近质心的平均IOU。
YOLOv2模型不能有效地检测出相对较小的车辆车牌，而且可能会错误地检测到类似的物体，如广告牌和道路标志牌照。
本发明YOLO-L模型的新模型，可以大大地提高准确性。
YOLO-L模型增加了传递层，并将基于YOLOv2模型的更高分辨率特征与低分辨率相结合。
YOLO-L模型包含22个卷积层，5个最大池层和2个重组层，通过将相邻特征堆叠到不同空间位置的通道中，可以连接更高分辨率特征和低分辨率特征。图片输入的分辨率为416*416，使用卷积层降采样(factor为32)，使得输入卷积网络的416*416图片最终得到13*13的卷积特征(416/32＝13)，最后输出13*13*30的特征。
YOLO-L模型的结构如图5所示。
选择4个簇的最佳情况作为候选框的初始数量。本发明比较了YOLOv2模型和YOLO-L模型。
基于图8中的召回指数和精确度，召回是在收集的数据集中的所有车牌中检测到的车牌的正确性，精确度是检测到的车辆牌照数量超过检测到的车牌数量的正确值。
从图6可以看出，YOLO-L模型的许可证定位方法明显优于YOLOv2模型的许可证定位方法。在收集的测试数据集中使用YOLO-L模型的平均IOU是0.8440，大于使用YOLOv2模型的值0.8125。
通过YOLO-L模型来定位车辆区域和车牌区域，并输出左上角和右下角的坐标。
一些类似的物体，如广告牌和路标可以作为车牌。YOLO-L车型检测车辆很简单，因为它很容易区分道路上的车辆和其他物体。其次，车牌识别算法判断车牌区域是否位于车辆区域内，以消除车牌区域的错误识别。如果所在车牌区域位于这些车辆区域内，则认为所在车牌区域正确检测。或者所在的车牌区域被错误地检测到。
本发明提出的方法是基于DARKNET+CUDA 8.0+CUDNN 5.0平台，使用Intel Corei7-7700K 3.60GHz处理器，16GB RAM 1333MHZ处理器和Ubuntu 16.04,64位操作系统的QUADRO M4000图形处理器。
YOLO-L模型设定的学习率为0.0001，最大批量为40000，批量为8，输入尺寸为416*416。采取下列步骤：当迭代次数从0到1000时，学习率为0.0001。同样，当迭代次数在1000到10000和10000到40000之间时，相应的学习速率是0.00001和0.000001。
在实验中，使用两个不同的数据集来测试本发明提出的算法的性能，包括一个公开可用的数据集Road Patrol(RP)和自行收集的数据集。在RP数据集中有611个图像。RP数据集分为500个训练集和111个测试集。自行收集的数据集包括来自网络的3195个图像，每个收集的图像包含一个或多个车牌。所有的图像被分成训练集和测试集。其中，训练集包含3020个图像，测试集包含175个图像。图像亮度变化明显，车辆规模变化很大，因此自行收集的图像的背景是复杂的。
为了验证初始候选框的数量和大小对车牌识别的影响，本发明选择自行收集的数据集作为实验数据，通过YOLO-L模型进行训练，得到模型。
聚类分类数据是变量B，取值从1到10，聚类结果是车牌宽度与高度的比值。将聚类结果作为网络训练候选框的初始规范。
各组实验采用YOLO-L模型作为训练车牌网络，消除其他因素的干扰。
对不同k均值++聚类得到的初始候选框在YOLO-L模型上进行训练，测试集的平均IOU如图7所示。
如图7所示，在图7中假设包括汽车、汽车上的车牌以及两个广告牌，第一个广告牌的左上角坐标为(x1,y1),右下角坐标为(x2,y2)；第二个广告牌的左上角坐标为(x3,y3),右下角坐标为(x4,y4)；汽车轮廓的左上角坐标为(m1,n1),右下角角坐标为(m2,n2)；汽车车牌的左上角坐标为(x5,y5),右下角坐标为(x6,y6)。在进行车牌识别时：分别判别两个广告牌和车牌的左上角坐标和右上角构成的区域是否落在汽车轮廓左上角坐标和右下角坐标区域，如果坐标区域属于汽车轮廓区域，然后进行下一步识别；如果坐标区域在汽车轮廓区域之外，则剔除该车牌候选框。
平均IOU随着聚类的增加而增加，考虑到模型的回想性和复杂性，聚类结果为4时模型的结果最好。
显然，本发明提出的方法预测的板类概率比YOLO模型预测的板类概率高出了89.76％。
为了给出定性结果，基于新模型YOLO-L模型和本发明自己收集的数据集和标准的RP数据集进行车牌预识别，评估本发明提出的方法。在本发明自己收集的数据集和RP数据集中，本发明提出的方法可以准确定位车牌。为了证明本发明提出的方法的优越性，本发明使用本发明自己收集的数据集和RP数据集，将召回和精度与其他牌照定位方法进行比较，分别如表1和表2所示。
在此，Total表示在所有测试图片中的车辆牌照的总数。Proposa是指预计车辆牌照总数。Correct是正确的预测车辆牌照总数。Recall是在所有的车牌中检测到的车牌的正确数。
公式可以表示为Recall＝Correct/Total。Precision是检测车牌数量超过检测车牌总量的正确值，公式可表示为Precesion＝Correct/Proposal。从表1和表2可以看出，提出的方法在召回率和精度指标上优于其他车牌定位方法。
Table 1Comparison of vehicle license location methods with self-collected dataset。
Figure GDA0001697861070000151
Figure GDA0001697861070000161
Table 2Comparison of vehicle license location methods with thestandard RP dataset。
Figure GDA0001697861070000162
表3中显示了本发明自己收集的数据集和标准的RP数据集的测试集上不同算法的每个图像的平均耗时。
如表3所示，本发明提出的方法的每个图像的平均耗时少于方法2的时间消耗。
Table 3
Figure GDA0001697861070000163
由于YOLO-L模型增加了图层，并且基于YOLOv2模型将更高分辨率的特征与低分辨率特征相结合，所以YOLO-L模型的时间消耗大于YOLOv2模型的方法。
由于本发明提出的方法在YOLO-L模型的基础上增加了车牌预识别算法，所提出方法的耗时大于YOLO-L模型的方法。然而，根据表1和表2，本发明提出的方法具有最好的精度。此外，本发明提出的方法分别可以在本发明自己收集的数据集和标准的RP数据集上分别达到32.19fps和34.03fps，30帧/秒，所以本发明提出的基于新模型YOLO-L模型和车牌预识别的方法能够实时运行。
以上所述，仅是本发明的较佳实施例而已，并非对本发明的结构作任何形式上的限制。凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均属于本发明的技术方案范围内。

Claims (7)

1.一种基于可信区域的车牌识别方法，其特征在于，
采用k-means++聚类来选择初始车牌候选框的数量和尺度；
采用YOLO-L模型首先区分道路上的车辆和其他物体，所述YOLO-L模型包含22个卷积层，5个最大池化层和2个重组层；
车牌识别算法判断车牌候选框是否位于车辆区域内，以消除车牌区域的错误识别；
如果所在车牌区域位于这些车辆区域内，则认为所在车牌区域正确，进行车牌符号检测和识别，完成车牌识别。
2.根据权利要求1所述基于可信区域的车牌识别方法，其特征在于：所述YOLO-L模型将输入图像划分为S×S网格；
如果一个对象的中心落入一个网格单元中，该网格单元负责检测该对象；
每个网格单元预测B个边界框，以及这些框的置信度分数和类别概率P，所述置信度分数和类别概率通过预测得到；
每个图像中都有S×S×B的边界框；
当类别概率P大于给定阈值T时，对象被预测。
3.根据权利要求1所述基于可信区域的车牌识别方法，其特征在于：所述YOLO-L模型将候选帧提取、特征提取、目标分类和目标位置统一到一个神经网络中；神经网络直接从图像中提取候选区域；整个图像的特征预测了车牌和车辆的区域；目标检测和识别被视为回归问题。
4.根据权利要求1所述基于可信区域的车牌识别方法，其特征在于：所述YOLO-L模型实现了实时的端到端检测。
5.根据权利要求1所述基于可信区域的车牌识别方法，其特征在于：所述YOLO-L模型检测目标帧并预测目标的置信度，在每个候选帧中的定义为Conf(Object)；
Figure FDA0003503005940000021
在公式(1)中，Pr函数意味着是否有检测对象落入与候选框对应的网格单元中，如果该网格单元中没有对象，则Pr(Object)＝0，除此以外，Pr(Object)＝1；
Figure FDA0003503005940000022
在式(2)中，
Figure FDA0003503005940000023
意味着预测框与地面真值之间的交集IOU；
每个边界框由5个预测组成：x，y，w，h和置信度；
(x，y)坐标表示相对于网格单元边界的框的中心；
W和h分别代表宽度和高度，宽度和高度是相对于整个图像预测的；
最后，置信度预测表示预测框与任何地面实况框之间的IOU，如公式(3)所示；
Figure FDA0003503005940000024
6.根据权利要求1所述基于可信区域的车牌识别方法，其特征在于：k-means++聚类算法得到初始候选框步骤如下：
算法：通过k-means++算法得到盒子尺寸输入：C＝{box1(x1，y1)，box2(x2，y2)，box3(x3，y3)，...，boxn(xn，yn)}，该函数是关于数据集中车辆和车牌的宽度和高度，以及候选框尺寸的数量；
步骤：
S1：从C中随机选取一个样本为centroid1(centroid1∈C)；
S2：对于C中的每个样本，计算每个样本到centroid1的距离，d(boxi，centroid1)＝1-IOU(boxi，centroid1)，i∈(1，2，3，...，n)；
S3：计算每个样本选为下一个质心的概率；
Figure FDA0003503005940000031
S4：定义Sumi；
Figure FDA0003503005940000032
其中i对应S2中第i个样本；
S5：生成一个0到1之间的随机数r，则判断r属于区域[Sumi-1，Sumi]，boxi(xi，yi)是第二个质心；
s6：重复步骤S2-S5，直到得到k个质心。
7.根据权利要求1所述基于可信区域的车牌识别方法，其特征在于：k-means++聚类算法得到初始候选框步骤如下：
首先进行车牌候选框和车辆区域识别，确定车牌候选框的数量和车辆区域；
设定汽车轮廓的坐标区域，标记汽车轮廓的左上角坐标为(m1，n1)，右下角角坐标为(m2，n2)；
标记每一个车牌候选框的左上角坐标为(x1,y1)；右下角坐标为(x2,y2)；
在进行车牌识别时：分别判别每个车牌候选框的左上角坐标和右下角坐标构成的区域是否落在汽车轮廓左上角坐标和右下角坐标区域之内，如果坐标区域属于汽车轮廓区域之内；
初步确定此车牌候选框为车牌框；然后进行下一步识别；
如果坐标区域在汽车轮廓区域之外，则剔除该车牌候选框。
CN201810324180.7A 2018-04-12 2018-04-12 基于可信区域的车牌识别方法 Active CN108681693B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810324180.7A CN108681693B (zh) 2018-04-12 2018-04-12 基于可信区域的车牌识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810324180.7A CN108681693B (zh) 2018-04-12 2018-04-12 基于可信区域的车牌识别方法

Publications (2)

Publication Number Publication Date
CN108681693A CN108681693A (zh) 2018-10-19
CN108681693B true CN108681693B (zh) 2022-04-12

Family

ID=63800333

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810324180.7A Active CN108681693B (zh) 2018-04-12 2018-04-12 基于可信区域的车牌识别方法

Country Status (1)

Country Link
CN (1) CN108681693B (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109584208B (zh) * 2018-10-23 2021-02-02 西安交通大学 一种针对工业结构缺陷智能识别模型的检验方法
CN109583305B (zh) * 2018-10-30 2022-05-20 南昌大学 一种基于关键部件识别和细粒度分类的车辆重识别的先进方法
CN111626080B (zh) * 2019-02-27 2022-06-24 魔门塔(苏州)科技有限公司 车辆检测方法及车载终端
CN110070074B (zh) * 2019-05-07 2022-06-14 安徽工业大学 一种构建行人检测模型的方法
CN110399803B (zh) * 2019-07-01 2022-04-22 北京邮电大学 一种车辆检测方法及装置
CN110852315A (zh) * 2019-09-27 2020-02-28 武汉大学 环形文字快速识别方法及装置
CN111209905B (zh) * 2020-04-23 2021-06-22 北京慧智数据科技有限公司 一种基于深度学习与ocr技术相结合的污损遮挡号牌识别方法
CN111881741B (zh) * 2020-06-22 2024-06-14 浙江大华技术股份有限公司 车牌识别方法、装置、计算机设备和计算机可读存储介质
CN111914837A (zh) * 2020-07-10 2020-11-10 北京嘉楠捷思信息技术有限公司 车牌检测方法、装置、设备和存储介质
CN112560608B (zh) * 2020-12-05 2024-05-24 江苏爱科赛尔云数据科技有限公司 一种车辆车牌识别方法
CN113030506B (zh) * 2021-03-25 2022-07-12 上海其高电子科技有限公司 基于多车牌标定库的微区间测速方法及系统
CN115359471A (zh) * 2022-07-15 2022-11-18 北京百度网讯科技有限公司 图像处理及联合检测模型训练方法、装置、设备和存储介质
CN115063785B (zh) * 2022-08-17 2023-01-10 深圳联友科技有限公司 高速公路场景使用目标识别模型定位车牌的方法及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140219563A1 (en) * 2013-02-01 2014-08-07 Xerox Corporation Label-embedding for text recognition
CN106845487A (zh) * 2016-12-30 2017-06-13 佳都新太科技股份有限公司 一种端到端的车牌识别方法
CN106971185A (zh) * 2017-03-27 2017-07-21 深圳市丰巨泰科电子有限公司 一种基于全卷积网络的车牌定位方法及装置
CN107316016A (zh) * 2017-06-19 2017-11-03 桂林电子科技大学 一种基于Hadoop和监控视频流的车辆轨迹统计方法
CN107679531A (zh) * 2017-06-23 2018-02-09 平安科技（深圳）有限公司 基于深度学习的车牌识别方法、装置、设备及存储介质
CN107728912A (zh) * 2016-12-19 2018-02-23 西安艾润物联网技术服务有限责任公司 车辆车牌号码辅助输入的方法及装置
US20180060684A1 (en) * 2016-08-31 2018-03-01 Beijing University Of Posts And Telecommunications Progressive vehicle searching method and device

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140219563A1 (en) * 2013-02-01 2014-08-07 Xerox Corporation Label-embedding for text recognition
US20180060684A1 (en) * 2016-08-31 2018-03-01 Beijing University Of Posts And Telecommunications Progressive vehicle searching method and device
CN107728912A (zh) * 2016-12-19 2018-02-23 西安艾润物联网技术服务有限责任公司 车辆车牌号码辅助输入的方法及装置
CN106845487A (zh) * 2016-12-30 2017-06-13 佳都新太科技股份有限公司 一种端到端的车牌识别方法
CN106971185A (zh) * 2017-03-27 2017-07-21 深圳市丰巨泰科电子有限公司 一种基于全卷积网络的车牌定位方法及装置
CN107316016A (zh) * 2017-06-19 2017-11-03 桂林电子科技大学 一种基于Hadoop和监控视频流的车辆轨迹统计方法
CN107679531A (zh) * 2017-06-23 2018-02-09 平安科技（深圳）有限公司 基于深度学习的车牌识别方法、装置、设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Robust license plate detection in the wild;Gee-Sern Hsu等;《2017 14th IEEE International Conference on Advanced Video and Signal Based Surveillance (AVSS)》;20171023;第1-6页 *
基于级联卷积神经网络的车牌定位;傅鹏 等;《计算机技术与发展》;20180131;第28卷(第1期);第134-137页 *

Also Published As

Publication number Publication date
CN108681693A (zh) 2018-10-19

Similar Documents

Publication Publication Date Title
CN108681693B (zh) 基于可信区域的车牌识别方法
CN110084292B (zh) 基于DenseNet和多尺度特征融合的目标检测方法
CN109919072B (zh) 基于深度学习和轨迹跟踪的精细车型识别与流量统计方法
CN108171136B (zh) 一种多任务卡口车辆以图搜图的系统及方法
Jiao et al. A configurable method for multi-style license plate recognition
CN103366602B (zh) 从数字摄像头图像确定停车场占用情况的方法
CN112016605B (zh) 一种基于边界框角点对齐和边界匹配的目标检测方法
KR102373753B1 (ko) 딥러닝 기반의 차량식별추적 방법, 및 시스템
CN111553201A (zh) 一种基于YOLOv3优化算法的交通灯检测方法
CN105354568A (zh) 基于卷积神经网络的车标识别方法
CN112101221A (zh) 一种用于交通信号灯实时检测与识别的方法
CN112699967B (zh) 一种基于改进深度神经网络的远距离机场目标检测方法
CN111915583B (zh) 复杂场景中基于车载红外热像仪的车辆和行人检测方法
CN112200186B (zh) 基于改进yolo_v3模型的车标识别方法
WO2021018144A1 (zh) 指示灯检测方法、装置、设备及计算机可读存储介质
CN110619279A (zh) 一种基于跟踪的路面交通标志实例分割方法
CN111178451A (zh) 一种基于YOLOv3网络的车牌检测方法
CN112613344B (zh) 车辆占道检测方法、装置、计算机设备和可读存储介质
CN113139979A (zh) 一种基于深度学习的边缘识别方法
CN110263731B (zh) 一种单步人脸检测系统
CN110008899B (zh) 一种可见光遥感图像候选目标提取与分类方法
CN105989334A (zh) 基于单目视觉的道路检测方法
CN111833353B (zh) 一种基于图像分割的高光谱目标检测方法
CN106845458B (zh) 一种基于核超限学习机的快速交通标识检测方法
CN111582339A (zh) 一种基于深度学习的车辆检测与识别的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant