CN112950954A - 一种基于高位摄像头的智能停车车牌识别方法 - Google Patents

一种基于高位摄像头的智能停车车牌识别方法 Download PDF

Info

Publication number
CN112950954A
CN112950954A CN202110204996.8A CN202110204996A CN112950954A CN 112950954 A CN112950954 A CN 112950954A CN 202110204996 A CN202110204996 A CN 202110204996A CN 112950954 A CN112950954 A CN 112950954A
Authority
CN
China
Prior art keywords
license plate
layer
parking
parking space
convolution layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110204996.8A
Other languages
English (en)
Other versions
CN112950954B (zh
Inventor
蔡竟业
俞婷
管庆
罗凌云
魏傲寒
范满平
饶毅
贾博强
杨睿
周吟秋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN202110204996.8A priority Critical patent/CN112950954B/zh
Publication of CN112950954A publication Critical patent/CN112950954A/zh
Application granted granted Critical
Publication of CN112950954B publication Critical patent/CN112950954B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
    • G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)
  • Character Discrimination (AREA)

Abstract

本发明公开了一种基于高位摄像头的智能停车车牌识别方法，解决了现有街道路边停车的人工收费造成的费时费力的问题，通过视频帧队列保存车辆停车过程事件的一段视频，解决了停车过程中车牌遮挡问题；通过车辆是否越过车位线解决了车辆停车问题；通过垂直俯仰角近似旋转变换和透视变换矫正方法解决摄像头下车牌倾斜的问题，通过车牌识别神经网络识别车牌解决了车牌识别的问题，加上多尺度特征融合方法解决了小分辨率车牌识别的问题。

Description

一种基于高位摄像头的智能停车车牌识别方法
技术领域
本发明属于车位管理与图像处理领域，具体涉及一种基于高位摄像头的智能停车车牌识别方法。
背景技术
汽车保有量的持续增长给交通以及交通管理带来较大的压力，所以智能交通管理系统应运而生。随着深度学习技术在各领域取得了突破性进展，智慧交通也成了深度学习技术应用的热点领域，其中车牌识别是智慧交通的重要组成部分。车牌识别是利用图像处理等技术从图像中提取车牌特征信息并识别车牌。车牌自动识别帮助人们高效识别图片，过程中不需要人工参与，目前广泛应用于地下停车场收费站等公共场所，具有一定的市场规模。
但是实际投入的应用场景受限，都是固定场景的识别。停车场中的应用受限于卡口出入的车牌识别，然而街边道路停车缺乏车牌识别应用系统。街边道路停车通常是人工收费，规划的停车路段需要收费员对每个停车位位置看着，根据车辆停车时间来计时收费。这样的收费方式耗费大量的人力财力，所以提出实现智能停车系统自动识别车牌来减少人工收费是非常必要的。卡口处容易获得车牌，且识别的车牌图片都较清晰端正。在高位摄像头下较难获取车牌，车辆行驶到停车区域，车牌容易被行人、其他车辆等遮挡，以及在高位摄像头情况下获取的车牌具有一定的俯仰角倾斜，车牌还可能有水平程度的左右倾斜；车辆与车牌距离的不固定，造成图片分辨率大小不一，小分辨率车牌识别困难问题。为解决上述问题设计了一种智能停车车牌识别系统。
发明内容
针对现有技术中的上述不足，本发明提供的一种基于高位摄像头的智能停车车牌识别方法解决了现有技术中存在的问题。
为了达到上述发明目的，本发明采用的技术方案为：一种基于高位摄像头的智能停车车牌识别方法，包括以下步骤：
S1、建立停车场数据库，并为每两个车位设置一个监控摄像头；
S2、通过摄像头采集停车场中车位监控视频，并对视频进行截帧处理，得到监测图片；
S3、判断监测图片中是否存在车辆，若是，则进入步骤S4，否则返回步骤S2；
S4、判断车辆是否存在于监控摄像头中的两个车位上，若是，则进入步骤S5，否则返回步骤S2；
S5、识别位于车位上车辆的车牌，保存数据至停车场数据库；
S6、将车位的标志位flag设置为车位空False，保存数据至停车场数据库，并返回步骤S2。
进一步地，所述步骤S1具体为：
S1.1、为停车场中每个车位分配一条数据记录，并为每条记录设置一个标志位flag；
S1.2、将标志位flag设置为车位空False，完成停车场数据库的构建；
S1.3、为每两个车位设置一个监控摄像头。
进一步地，所述步骤S2具体为：
S2.1、通过摄像头采集停车场中车位监控视频；
S2.2、对视频进行截帧处理，每隔12帧抽取1帧，并将抽取帧放入长度为20的图像队列，得到监测图片。
进一步地，所述步骤S3具体为：
S3.1、将监测图片中停车位区域设置为感兴趣区域；
S3.2、通过yolov3模型检测感兴趣区域上是否存在车辆，若是，则进入步骤S4，否则返回步骤S2。
进一步地，所述步骤S5具体为：
S5.1、为存在车辆的车位新建临时数据记录，并将临时数据记录的标志位flag设置为车位满True；
S5.2、选取1张监测图片裁剪车辆区域，并对车辆区域中的车牌进行识别，得到车牌号；
S5.3、滤除置信度低于设定阈值的车牌号，并判断是否存在置信度高于设定阈值的车牌号，若是，则直接进入步骤S5.4，否则将临时数据记录的标志位flag设置为车位空False，并进入步骤S5.4；
S5.4、判断车位对应的标志位flag是否为车位满True，若是，则进入步骤S5.5，否则进入步骤S5.6；
S5.5、判断临时数据记录的标志位flag是否为车位满True，若是，则进入步骤S5.7，否则进入步骤S5.8；
S5.6、判断临时数据记录的标志位flag是否为车位满True，若是，则进入步骤S5.9，否则返回步骤S5.2；
S5.7、判断车位在停车场数据库中记录的车牌号与临时数据记录对应车牌号是否相同，若是，则将车位对应的数据记录的标志位flag设置为车位满True，并保存数据且结束识别流程，否则识别图像队列中所有图像中的车牌号，并将置信度最高且重复度最高的车牌号保存为临时记录，保存数据且结束识别流程；
S5.8、判断车位已有的车辆图像中车辆位置框与临时数据记录中车辆位置框的交并比IoU是否大于0.85，若是，则表明两条记录为同一辆车，将已有记录的车牌号赋予临时数据记录的车辆，将车位对应的数据记录的标志位flag设置为车位满True，并保存数据且结束识别流程，否则返回步骤S5.2；
S5.9、将临时数据记录对应车牌号赋予车位的数据记录，并将车位的标志位flag设置为车位满True，保存数据且结束识别流程。
进一步地，所述步骤S5.2具体为：
S5.2.1、选取1张监测图片并使用opencv级联分类器进行车牌检测；
S5.2.2、裁剪车牌区域，并对车牌区域中的车牌进行矫正；
S5.2.3、采用字符识别模型CNN对矫正后的车牌图像进行识别，得到车牌号。
进一步地，所述步骤S5.2.2中对车牌区域中的车牌进行矫正的具体方法为：
S5.2.2.1、根据车位与高位摄像头之间的距离和高度，获取高位摄像头与车位的俯角角度θ；
S5.2.2.2、以平行于车牌高度的直线为y轴，以垂直于车牌平面的直线为x轴建立坐标系，且x轴的负半轴穿过车牌平面；
S5.2.2.3、将车牌区域沿坐标系顺时针方向旋转θ度，得到初级矫正图像；
S5.2.2.4、采用透视变换方法对初级矫正图像进行矫正，完成车牌的矫正。
进一步地，所述步骤S5.2.3中的字符识别模型CNN包括依次连接的输入层、第一卷积层、第一最大池化层、第二卷积层、第二最大池化层、第三卷积层、第三最大池化层、第四卷积层、第四最大池化层、第五卷积层、第六卷积层、第一融合层、第十三卷积层以及输出层；所述第六卷积层还依次通过反卷积层、第二融合层、第七卷积层、第三融合层、第八卷积层、第四融合层、第九卷积层、第五融合层、第十卷积层、第五最大池化层、第六融合层、第十一卷积层、第六最大池化层、第七融合层以及第十二卷积层与第一融合层连接；所述反卷积层还与第七融合层连接，所述第五卷积层还分别与第二融合层和第七融合层连接，所述第七卷积层还与第六融合层连接，所述第四卷积层还分别与第三融合层和第六融合层连接，所述第八卷积层还与第五融合层连接，所述第三卷积层还分别与第四融合层和第五融合层连接；所述第七卷积层进行上采样操作，所述第八卷积层的输出进行上采样操作以及crop裁剪图像操作恢复图像尺寸。
进一步地，所述第十三卷积层采用Softmax函数作为激活函数，所述第一卷积层至第十二卷积层均采用ReLU函数作为激活函数且输出均进行归一化处理。
进一步地，所述第一融合层至第七融合层均用于将输入的两个特征图通道数合并，将浅深层特征融合以增加语义信息。
本发明的有益效果为：
(1)本发明提供了一种基于高位摄像头的智能停车车牌识别方法，解决了现有街道路边停车的人工收费造成的费时费力的问题。
(2)本发明通过视频帧队列保存车辆停车过程事件的一段视频，解决了停车过程中车牌遮挡问题；通过车辆是否越过车位线解决了车辆停车问题；通过垂直俯仰角近似旋转变换和透视变换矫正方法解决摄像头下车牌倾斜的问题，通过车牌识别神经网络识别车牌解决了车牌识别的问题，加上多尺度特征融合方法解决了小分辨率车牌识别的问题。
(3)本发明针对于高位摄像头下车牌被遮挡问题，利用队列来保存发生停车和离开事件的流程照片，增加了获取车牌的机会，保证了车位的管理效率。
(4)本发明用识别结果累计比较的方法，让车牌识别结果更加精确。
(5)本发明在车牌识别前使用矫正方法矫正车牌图片，通过矫正后可以识别有小倾角的车牌，提高车牌识别结果的精确度。
(6)本发明采用全卷积网络的方法实现车牌识别系统，能够实现任意输入图像大小分辨率，可识别多种不同类型的车牌字符，有较好的识别精度，自动化识别车牌，可以降低人工收费操作，进一步提升城市智能化。
附图说明
图1为本发明提出的一种基于高位摄像头的智能停车车牌识别方法流程图。
图2为本发明提出的字符识别模型CNN结构示意图。
具体实施方式
下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
下面结合附图详细说明本发明的实施例。
如图1所示，一种基于高位摄像头的智能停车车牌识别方法，包括以下步骤：
S1、建立停车场数据库，并为每两个车位设置一个监控摄像头；
S2、通过摄像头采集停车场中车位监控视频，并对视频进行截帧处理，得到监测图片；
S3、判断监测图片中是否存在车辆，若是，则进入步骤S4，否则返回步骤S2；
S4、判断车辆是否存在于监控摄像头中的两个车位上，若是，则进入步骤S5，否则返回步骤S2；
S5、识别位于车位上车辆的车牌，保存数据至停车场数据库；
S6、将车位的标志位flag设置为车位空False，保存数据至停车场数据库，并返回步骤S2。
在本实施例中，识别到车牌后，过滤掉置信度低的车牌。对比当前车位已有记录和临时记录中车牌号信息，同一个车位有以下四种情况：一：已有记录车牌号不为空，临时记录车牌号为空；二：已有记录车牌号为空，临时记录车牌号不为空；三：已有记录车牌号和临时记录车牌号都不为空，车牌号相同；四：已有记录车牌号和临时记录车牌号都不为空，车牌号不相同。
第一种情况：对比两个车辆位置，两个车辆位置框的IoU(交并比)大于0.85表明是同一辆车，车辆继续停在车位中，让已有记录的车牌赋值给临时记录的车牌,并将已有记录中flag置为True；位置框的IoU(交并比)小于0.85表明不是同一辆车。
第二种情况：让临时记录的车牌复制给内存记录的车牌，将已有记录中的flag置为True。
第三种情况：表明是同一辆车，车辆继续停在车位中，将已有记录中的flag置为True。
第四种情况：表明是两辆车，原来的车辆发生离开事件，新的车辆发生停车事件，将队列中的帧全部识别，累积结果，取置信度和重复度最高车牌最为结果保存在临时记录中。上报已有记录车辆的离开事件，计算离开时间，更新数据库：删除已有记录，上传添加临时记录。
所述步骤S1具体为：
S1.1、为停车场中每个车位分配一条数据记录，并为每条记录设置一个标志位flag；
S1.2、将标志位flag设置为车位空False，完成停车场数据库的构建；
S1.3、为每两个车位设置一个监控摄像头。
所述步骤S2具体为：
S2.1、通过摄像头采集停车场中车位监控视频；
S2.2、对视频进行截帧处理，每隔12帧抽取1帧，并将抽取帧放入长度为20的图像队列，得到监测图片。
所述步骤S3具体为：
S3.1、将监测图片中停车位区域设置为感兴趣区域；
S3.2、通过yolov3模型检测感兴趣区域上是否存在车辆，若是，则进入步骤S4，否则返回步骤S2。
所述步骤S5具体为：
S5.1、为存在车辆的车位新建临时数据记录，并将临时数据记录的标志位flag设置为车位满True；
S5.2、选取1张监测图片裁剪车辆区域，并对车辆区域中的车牌进行识别，得到车牌号；
S5.3、滤除置信度低于设定阈值的车牌号，并判断是否存在置信度高于设定阈值的车牌号，若是，则直接进入步骤S5.4，否则将临时数据记录的标志位flag设置为车位空False，并进入步骤S5.4；
S5.4、判断车位对应的标志位flag是否为车位满True，若是，则进入步骤S5.5，否则进入步骤S5.6；
S5.5、判断临时数据记录的标志位flag是否为车位满True，若是，则进入步骤S5.7，否则进入步骤S5.8；
S5.6、判断临时数据记录的标志位flag是否为车位满True，若是，则进入步骤S5.9，否则返回步骤S5.2；
S5.7、判断车位在停车场数据库中记录的车牌号与临时数据记录对应车牌号是否相同，若是，则将车位对应的数据记录的标志位flag设置为车位满True，并保存数据且结束识别流程，否则识别图像队列中所有图像中的车牌号，并将置信度最高且重复度最高的车牌号保存为临时记录，保存数据且结束识别流程；
S5.8、判断车位已有的车辆图像中车辆位置框与临时数据记录中车辆位置框的交并比IoU是否大于0.85，若是，则表明两条记录为同一辆车，将已有记录的车牌号赋予临时数据记录的车辆，将车位对应的数据记录的标志位flag设置为车位满True，并保存数据且结束识别流程，否则返回步骤S5.2；
S5.9、将临时数据记录对应车牌号赋予车位的数据记录，并将车位的标志位flag设置为车位满True，保存数据且结束识别流程。
所述步骤S5.2具体为：
S5.2.1、选取1张监测图片并使用opencv级联分类器进行车牌检测；
S5.2.2、裁剪车牌区域，并对车牌区域中的车牌进行矫正；
S5.2.3、采用字符识别模型CNN对矫正后的车牌图像进行识别，得到车牌号。
所述步骤S5.2.2中对车牌区域中的车牌进行矫正的具体方法为：
S5.2.2.1、根据车位与高位摄像头之间的距离和高度，获取高位摄像头与车位的俯角角度θ；
S5.2.2.2、以平行于车牌高度的直线为y轴，以垂直于车牌平面的直线为x轴建立坐标系，且x轴的负半轴穿过车牌平面；
S5.2.2.3、将车牌区域沿坐标系顺时针方向旋转θ度，得到初级矫正图像；
S5.2.2.4、采用透视变换方法对初级矫正图像进行矫正，完成车牌的矫正。
在本实施例中，车牌矫正部分：矫正分为两个步骤，一是对摄像头和车位进行俯仰角近似换算矫正俯仰角后旋转变换；二是采用透视变换方法矫正车牌。通过车位和固定的高位摄像头的距离以及高度得到近似的摄像头与车位俯角角度θ，车牌换算为直线进行旋转：将车牌以高度为直线，字面为左边，以车牌低端一点为原点建立坐标系，以原点为旋转中心顺时针旋转θ角度，得到旋转变换后的图片直线，计算变换坐标，通过坐标变换原来的车牌图片，变换后的车牌图片放入到第二步矫正。透视变换矫正需获得车牌四个顶点的具体位置，所以矫正前要对车牌进行更精确的定位来得到顶点位置。首先图像处理：先灰度化车牌图片，再进行自适应阈值二值化。检测二值化图片的车牌轮廓，使用正外接矩形包围轮廓点。检测轮廓中会有小噪点，待选车牌区域的像素均值大于噪点，所以通过对轮廓做像素均值过滤噪点。
通过在轮廓点集上做最小外接矩形操作，得到最小外接矩形的四个坐标a＝(x1,y1)，b＝(x2,y2)，c＝(x3,y3)，d＝(x4,y4)，分别为左上，左下，右上，右下。根据四个坐标获取轮廓点集到组成最小外接矩形直线的距离d，以(x1,y1)，(x3,y3)组成的直线为例：
1)斜率无穷大：距离d＝|x-x3|；
2)斜率不为无穷大：斜率
Figure BDA0002950002970000101
距离
Figure BDA0002950002970000102
只通过计算轮廓点集到最小外接矩形的四个顶点距离求车牌顶点，在倾斜程度大的车牌上会有误差，所以在计算距离最小时包括到点和到线的距离。计算轮廓点集中到最小外接矩形的四个顶点a,b,c,d的距离d0以及到上下两条直线的距离l0，距离之和最小的四个点为车牌的四个顶点,距离之和公式为D＝αd0+βl0。对到点的距离和线的距离有权重值参数weightα和weightβ，经过调试，weightα值取0.95，weightβ值取0.05，得到车牌顶点的准确度最高。
根据车牌的大小比例取(250,80)的车牌大小为透视变换所需的矩形，加上自动换算的转换矩阵，在原图像上透视变换得到矫正的车牌。
现已有很多仿射变换矫正车牌的方法，相对于仿射变换，本系统使用的透视变换更适合用于拍摄造成的车牌倾斜矫正。仿射变换是二维坐标和二位坐标的线性变换，适用于平面二维图像的坐标线性变换。透视变换是将二维坐标转换到三维的空间，再从三维空间映射到二维坐标中，适用于三维空间的非线性变换。拍摄的图像是由三维空间映射到二维坐标图像，使用透视变换将其映射回三维坐标，提升维度，减少矫正偏差。
通过轮廓点集到最小外接矩形的四个顶点距离和到两条直线距离的相结合，减少了在车牌倾角大时获取车牌顶点位置的误差。
如图2所示，所述步骤S5.2.3中的字符识别模型CNN包括依次连接的输入层、第一卷积层、第一最大池化层、第二卷积层、第二最大池化层、第三卷积层、第三最大池化层、第四卷积层、第四最大池化层、第五卷积层、第六卷积层、第一融合层、第十三卷积层以及输出层；所述第六卷积层还依次通过反卷积层、第二融合层、第七卷积层、第三融合层、第八卷积层、第四融合层、第九卷积层、第五融合层、第十卷积层、第五最大池化层、第六融合层、第十一卷积层、第六最大池化层、第七融合层以及第十二卷积层与第一融合层连接；所述反卷积层还与第七融合层连接，所述第五卷积层还分别与第二融合层和第七融合层连接，所述第七卷积层还与第六融合层连接，所述第四卷积层还分别与第三融合层和第六融合层连接，所述第八卷积层还与第五融合层连接，所述第三卷积层还分别与第四融合层和第五融合层连接；所述第七卷积层进行上采样操作，所述第八卷积层的输出进行上采样操作以及crop裁剪图像操作恢复图像尺寸。图2中括号里的内容为特征图的大小。
所述第十三卷积层采用Softmax函数作为激活函数，所述第一卷积层至第十二卷积层均采用ReLU函数作为激活函数且输出均进行归一化处理。所述第一融合层至第七融合层均用于将输入的两个特征图通道数合并，将浅深层特征融合以增加语义信息。
字符识别模型CNN使用ctc作为损失函数实现端到端识别车牌字符，字符识别模型CNN共包含13个卷积层和1个反卷积层，分别为：第一卷积层至第十三卷积层，反卷积层。其中共有6次下采样进行降维，共有三次上采样进行图像特征放大，三次上采样包括一次反卷积和两次双线性插值。除最后一层第十三卷积层采用Softmax作为激活函数，其他卷积均采用的是非线性激活函数ReLU并且进行了批归一化。CNN网络中使用了多尺度特征融合方法，最原始的特征由第一卷积层至第六卷积层得到，将第三卷积层至第六卷积层得到的特征进行双向融合，合并融合得到的特征和原始第六卷积层卷积得到的特征层，输入到最后一层进行卷积。浅深层特征融合过程采用concat方法来融合特征，concat(融合层)是两个特征图通道数的合并，通过浅深层特征融合增加了更多的语义信息，包括语义信息特征和空间信息特征。
第一卷积层至第五卷积层分别由16个、32个、64个、128个、256个3*3滤波器构成，第六卷积层由512个5*5滤波器构成，这6层卷积构成CNN的Backbone主干网络。将第三卷积层至第六卷积层的特征分别从下至上和从下至上两次融合。从下至上融合(深层特征到浅层特征融合)：使用反卷积和双线性插值的上采样方法加上crop裁剪图像恢复图像尺寸，使用concat方法叠加相同尺寸的特征图，增加通道数，特征融合之后再采用3*3或者5*5的卷积核对融合结果卷积，消除上采样的混叠效应。从下至上融合(浅层特征到深层特征融合)：由主干网络特征、第一步融合特征和当前的特征叠加，同样使用concat方法叠加相同尺寸的特征图，融合之后进行卷积。将主干网络的最后特征与第二步特征融合后得到的最后特征进行concat融合，输入到最后的第十三卷积层，使用1*1的卷积核代替全连接层，去掉了全连接层对输入网络图像分辨率的限制，用组成车牌的字符总数目加上一个空字符数作为滤波器的个数来得到车牌字符分类输出。
卷积网络通常最后会连接着全连接层网络，这时输入图片的大小需固定resize成特定的大小才能放进网络中，resize后的图片会有畸变，造成识别困难问题。通过1*1的卷积核将网络变成全卷积形式，可以让网络输入任意图像进行识别，不用在识别时重新调整车牌图片resize成一个大小放进网络识别，提高网络识别的精度。同时由于不固定图片大小识别，可识别国内不同类型大小的车牌，如蓝牌，黄牌，绿牌。
本发明的有益效果为：
(1)本发明提供了一种基于高位摄像头的智能停车车牌识别方法，解决了现有街道路边停车的人工收费造成的费时费力的问题。
(2)本发明通过视频帧队列保存车辆停车过程事件的一段视频，解决了停车过程中车牌遮挡问题；通过车辆是否越过车位线解决了车辆停车问题；通过垂直俯仰角近似旋转变换和透视变换矫正方法解决摄像头下车牌倾斜的问题，通过车牌识别神经网络识别车牌解决了车牌识别的问题，加上多尺度特征融合方法解决了小分辨率车牌识别的问题。
(3)本发明针对于高位摄像头下车牌被遮挡问题，利用队列来保存发生停车和离开事件的流程照片，增加了获取车牌的机会，保证了车位的管理效率。
(4)本发明用识别结果累计比较的方法，让车牌识别结果更加精确。
(5)本发明在车牌识别前使用矫正方法矫正车牌图片，通过矫正后可以识别有小倾角的车牌，提高车牌识别结果的精确度。
(6)本发明采用全卷积网络的方法实现车牌识别系统，能够实现任意输入图像大小分辨率，可识别多种不同类型的车牌字符，有较好的识别精度，自动化识别车牌，可以降低人工收费操作，进一步提升城市智能化。

Claims (10)

1.一种基于高位摄像头的智能停车车牌识别方法，其特征在于，包括以下步骤：
S1、建立停车场数据库，并为每两个车位设置一个监控摄像头；
S2、通过摄像头采集停车场中车位监控视频，并对视频进行截帧处理，得到监测图片；
S3、判断监测图片中是否存在车辆，若是，则进入步骤S4，否则返回步骤S2；
S4、判断车辆是否存在于监控摄像头中的两个车位上，若是，则进入步骤S5，否则返回步骤S2；
S5、识别位于车位上车辆的车牌，保存数据至停车场数据库；
S6、将车位的标志位flag设置为车位空False，保存数据至停车场数据库，并返回步骤S2。
2.根据权利要求1所述的基于高位摄像头的智能停车车牌识别方法，其特征在于，所述步骤S1具体为：
S1.1、为停车场中每个车位分配一条数据记录，并为每条记录设置一个标志位flag；
S1.2、将标志位flag设置为车位空False，完成停车场数据库的构建；
S1.3、为每两个车位设置一个监控摄像头。
3.根据权利要求2所述的基于高位摄像头的智能停车车牌识别方法，其特征在于，所述步骤S2具体为：
S2.1、通过摄像头采集停车场中车位监控视频；
S2.2、对视频进行截帧处理，每隔12帧抽取1帧，并将抽取帧放入长度为20的图像队列，得到监测图片。
4.根据权利要求3所述的基于高位摄像头的智能停车车牌识别方法，其特征在于，所述步骤S3具体为：
S3.1、将监测图片中停车位区域设置为感兴趣区域；
S3.2、通过yolov3模型检测感兴趣区域上是否存在车辆，若是，则进入步骤S4，否则返回步骤S2。
5.根据权利要求4所述的基于高位摄像头的智能停车车牌识别方法，其特征在于，所述步骤S5具体为：
S5.1、为存在车辆的车位新建临时数据记录，并将临时数据记录的标志位flag设置为车位满True；
S5.2、选取1张监测图片裁剪车辆区域，并对车辆区域中的车牌进行识别，得到车牌号；
S5.3、滤除置信度低于设定阈值的车牌号，并判断是否存在置信度高于设定阈值的车牌号，若是，则直接进入步骤S5.4，否则将临时数据记录的标志位flag设置为车位空False，并进入步骤S5.4；
S5.4、判断车位对应的标志位flag是否为车位满True，若是，则进入步骤S5.5，否则进入步骤S5.6；
S5.5、判断临时数据记录的标志位flag是否为车位满True，若是，则进入步骤S5.7，否则进入步骤S5.8；
S5.6、判断临时数据记录的标志位flag是否为车位满True，若是，则进入步骤S5.9，否则返回步骤S5.2；
S5.7、判断车位在停车场数据库中记录的车牌号与临时数据记录对应车牌号是否相同，若是，则将车位对应的数据记录的标志位flag设置为车位满True，并保存数据且结束识别流程，否则识别图像队列中所有图像中的车牌号，并将置信度最高且重复度最高的车牌号保存为临时记录，保存数据且结束识别流程；
S5.8、判断车位已有的车辆图像中车辆位置框与临时数据记录中车辆位置框的交并比IoU是否大于0.85，若是，则表明两条记录为同一辆车，将已有记录的车牌号赋予临时数据记录的车辆，将车位对应的数据记录的标志位flag设置为车位满True，并保存数据且结束识别流程，否则返回步骤S5.2；
S5.9、将临时数据记录对应车牌号赋予车位的数据记录，并将车位的标志位flag设置为车位满True，保存数据且结束识别流程。
6.根据权利要求5所述的基于高位摄像头的智能停车车牌识别方法，其特征在于，所述步骤S5.2具体为：
S5.2.1、选取1张监测图片并使用opencv级联分类器进行车牌检测；
S5.2.2、裁剪车牌区域，并对车牌区域中的车牌进行矫正；
S5.2.3、采用字符识别模型CNN对矫正后的车牌图像进行识别，得到车牌号。
7.根据权利要求6所述的基于高位摄像头的智能停车车牌识别方法，其特征在于，所述步骤S5.2.2中对车牌区域中的车牌进行矫正的具体方法为：
S5.2.2.1、根据车位与高位摄像头之间的距离和高度，获取高位摄像头与车位的俯角角度θ；
S5.2.2.2、以平行于车牌高度的直线为y轴，以垂直于车牌平面的直线为x轴建立坐标系，且x轴的负半轴穿过车牌平面；
S5.2.2.3、将车牌区域沿坐标系顺时针方向旋转θ度，得到初级矫正图像；
S5.2.2.4、采用透视变换方法对初级矫正图像进行矫正，完成车牌的矫正。
8.根据权利要求7所述的基于高位摄像头的智能停车车牌识别方法，其特征在于，所述步骤S5.2.3中的字符识别模型CNN包括依次连接的输入层、第一卷积层、第一最大池化层、第二卷积层、第二最大池化层、第三卷积层、第三最大池化层、第四卷积层、第四最大池化层、第五卷积层、第六卷积层、第一融合层、第十三卷积层以及输出层；所述第六卷积层还依次通过反卷积层、第二融合层、第七卷积层、第三融合层、第八卷积层、第四融合层、第九卷积层、第五融合层、第十卷积层、第五最大池化层、第六融合层、第十一卷积层、第六最大池化层、第七融合层以及第十二卷积层与第一融合层连接；所述反卷积层还与第七融合层连接，所述第五卷积层还分别与第二融合层和第七融合层连接，所述第七卷积层还与第六融合层连接，所述第四卷积层还分别与第三融合层和第六融合层连接，所述第八卷积层还与第五融合层连接，所述第三卷积层还分别与第四融合层和第五融合层连接；所述第七卷积层进行上采样操作，所述第八卷积层的输出进行上采样操作以及crop裁剪图像操作恢复图像尺寸。
9.根据权利要求8所述的基于高位摄像头的智能停车车牌识别方法，其特征在于，所述第十三卷积层采用Softmax函数作为激活函数，所述第一卷积层至第十二卷积层均采用ReLU函数作为激活函数且输出均进行归一化处理。
10.根据权利要求8所述的基于高位摄像头的智能停车车牌识别方法，其特征在于，所述第一融合层至第七融合层均用于将输入的两个特征图通道数合并，将浅深层特征融合以增加语义信息。
CN202110204996.8A 2021-02-24 2021-02-24 一种基于高位摄像头的智能停车车牌识别方法 Active CN112950954B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110204996.8A CN112950954B (zh) 2021-02-24 2021-02-24 一种基于高位摄像头的智能停车车牌识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110204996.8A CN112950954B (zh) 2021-02-24 2021-02-24 一种基于高位摄像头的智能停车车牌识别方法

Publications (2)

Publication Number Publication Date
CN112950954A true CN112950954A (zh) 2021-06-11
CN112950954B CN112950954B (zh) 2022-05-20

Family

ID=76245850

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110204996.8A Active CN112950954B (zh) 2021-02-24 2021-02-24 一种基于高位摄像头的智能停车车牌识别方法

Country Status (1)

Country Link
CN (1) CN112950954B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116704490A (zh) * 2023-08-02 2023-09-05 苏州万店掌网络科技有限公司 车牌识别方法、装置和计算机设备

Citations (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106169076A (zh) * 2016-07-22 2016-11-30 中山大学 一种基于透视变换的角度车牌图像库搭建方法
CN106373405A (zh) * 2016-09-29 2017-02-01 浙江宇视科技有限公司 车位监控系统及方法
US20170256165A1 (en) * 2016-03-04 2017-09-07 Xerox Corporation Mobile on-street parking occupancy detection
CN108389396A (zh) * 2018-02-28 2018-08-10 北京精英智通科技股份有限公司 一种基于视频的车型匹配方法、装置和计费系统
CN108921956A (zh) * 2018-07-03 2018-11-30 重庆邮电大学 一种基于视频分析技术的路边停车收费管理方法
CN109447069A (zh) * 2018-10-31 2019-03-08 沈阳工业大学 面向智能终端的车辆信息采集识别方法及系统
US20190088037A1 (en) * 2013-01-25 2019-03-21 Municipal Parking Services, Inc. Parking meter system
CN109508715A (zh) * 2018-10-30 2019-03-22 南昌大学 一种基于深度学习的车牌定位和识别方法
CN109740603A (zh) * 2019-01-21 2019-05-10 闽江学院 基于cnn卷积神经网络下的车辆字符识别方法
CN110097044A (zh) * 2019-05-13 2019-08-06 苏州大学 基于深度学习的一阶段车牌检测识别方法
CN110298307A (zh) * 2019-06-27 2019-10-01 浙江工业大学 一种基于深度学习的异常停车实时检测方法
US20190311494A1 (en) * 2018-04-05 2019-10-10 Microsoft Technology Licensing, Llc Automatic camera calibration
WO2020047446A1 (en) * 2018-08-31 2020-03-05 Alibaba Group Holding Limited Method and system for facilitating detection and identification of vehicle parts
CN110910655A (zh) * 2019-12-11 2020-03-24 深圳市捷顺科技实业股份有限公司 一种停车管理方法、装置及设备
CN110969112A (zh) * 2019-11-28 2020-04-07 福州大学 跨摄像头场景下行人身份对齐方法
CN110969135A (zh) * 2019-12-05 2020-04-07 中南大学 自然场景中的车标识别方法
CN111009131A (zh) * 2019-12-05 2020-04-14 成都思晗科技股份有限公司 一种基于图像识别的高位视频智能停车系统
CN111008632A (zh) * 2019-10-17 2020-04-14 安徽清新互联信息科技有限公司 一种基于深度学习的车牌字符分割方法
CN111192461A (zh) * 2020-01-21 2020-05-22 北京筑梦园科技有限公司 一种车牌识别方法、服务器、停车收费方法及系统
CN111310773A (zh) * 2020-03-27 2020-06-19 西安电子科技大学 一种高效的卷积神经网络的车牌定位方法
CN111311766A (zh) * 2020-02-24 2020-06-19 电子科技大学 基于车牌识别和跟踪技术的路边停车智能收费系统及方法
CN111508269A (zh) * 2020-04-23 2020-08-07 深圳智优停科技有限公司 一种基于图像识别的开放式停车位车辆判别方法与装置
CN111898485A (zh) * 2020-07-14 2020-11-06 浙江大华技术股份有限公司 一种停车位车辆检测处理方法及装置

Patent Citations (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190088037A1 (en) * 2013-01-25 2019-03-21 Municipal Parking Services, Inc. Parking meter system
US20170256165A1 (en) * 2016-03-04 2017-09-07 Xerox Corporation Mobile on-street parking occupancy detection
CN106169076A (zh) * 2016-07-22 2016-11-30 中山大学 一种基于透视变换的角度车牌图像库搭建方法
CN106373405A (zh) * 2016-09-29 2017-02-01 浙江宇视科技有限公司 车位监控系统及方法
CN108389396A (zh) * 2018-02-28 2018-08-10 北京精英智通科技股份有限公司 一种基于视频的车型匹配方法、装置和计费系统
US20190311494A1 (en) * 2018-04-05 2019-10-10 Microsoft Technology Licensing, Llc Automatic camera calibration
CN108921956A (zh) * 2018-07-03 2018-11-30 重庆邮电大学 一种基于视频分析技术的路边停车收费管理方法
WO2020047446A1 (en) * 2018-08-31 2020-03-05 Alibaba Group Holding Limited Method and system for facilitating detection and identification of vehicle parts
CN109508715A (zh) * 2018-10-30 2019-03-22 南昌大学 一种基于深度学习的车牌定位和识别方法
CN109447069A (zh) * 2018-10-31 2019-03-08 沈阳工业大学 面向智能终端的车辆信息采集识别方法及系统
CN109740603A (zh) * 2019-01-21 2019-05-10 闽江学院 基于cnn卷积神经网络下的车辆字符识别方法
CN110097044A (zh) * 2019-05-13 2019-08-06 苏州大学 基于深度学习的一阶段车牌检测识别方法
CN110298307A (zh) * 2019-06-27 2019-10-01 浙江工业大学 一种基于深度学习的异常停车实时检测方法
CN111008632A (zh) * 2019-10-17 2020-04-14 安徽清新互联信息科技有限公司 一种基于深度学习的车牌字符分割方法
CN110969112A (zh) * 2019-11-28 2020-04-07 福州大学 跨摄像头场景下行人身份对齐方法
CN110969135A (zh) * 2019-12-05 2020-04-07 中南大学 自然场景中的车标识别方法
CN111009131A (zh) * 2019-12-05 2020-04-14 成都思晗科技股份有限公司 一种基于图像识别的高位视频智能停车系统
CN110910655A (zh) * 2019-12-11 2020-03-24 深圳市捷顺科技实业股份有限公司 一种停车管理方法、装置及设备
CN111192461A (zh) * 2020-01-21 2020-05-22 北京筑梦园科技有限公司 一种车牌识别方法、服务器、停车收费方法及系统
CN111311766A (zh) * 2020-02-24 2020-06-19 电子科技大学 基于车牌识别和跟踪技术的路边停车智能收费系统及方法
CN111310773A (zh) * 2020-03-27 2020-06-19 西安电子科技大学 一种高效的卷积神经网络的车牌定位方法
CN111508269A (zh) * 2020-04-23 2020-08-07 深圳智优停科技有限公司 一种基于图像识别的开放式停车位车辆判别方法与装置
CN111898485A (zh) * 2020-07-14 2020-11-06 浙江大华技术股份有限公司 一种停车位车辆检测处理方法及装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
YOHAN MARVEL ANGGAWIJAYA等: "Energy Aware Parking Lot Availability Detection Using YOLO on TX2", 《2019 3RD INTERNATIONAL CONFERENCE ON INFORMATICS AND COMPUTATIONAL SCIENCES (ICICOS)》 *
潘英杰: "基于嵌入式系统的路边停车管理终端的设计与实现", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》 *
赵琦等: "智能停车场的车牌识别及其定位", 《科学咨询(科技·管理)》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116704490A (zh) * 2023-08-02 2023-09-05 苏州万店掌网络科技有限公司 车牌识别方法、装置和计算机设备
CN116704490B (zh) * 2023-08-02 2023-10-10 苏州万店掌网络科技有限公司 车牌识别方法、装置和计算机设备

Also Published As

Publication number Publication date
CN112950954B (zh) 2022-05-20

Similar Documents

Publication Publication Date Title
CN111368687B (zh) 一种基于目标检测和语义分割的人行道车辆违停检测方法
CN109902676B (zh) 一种基于动态背景的违停检测算法
CN106971185B (zh) 一种基于全卷积网络的车牌定位方法及装置
CN112990065B (zh) 一种基于优化的YOLOv5模型的车辆分类检测方法
CN111563516B (zh) 行人掩码与三维场景融合显示的方法、终端及存储介质
CN115717894A (zh) 一种基于gps和普通导航地图的车辆高精度定位方法
CN112699267B (zh) 车辆车型的识别方法
Yamashita et al. Multiple skip connections of dilated convolution network for semantic segmentation
CN114898353B (zh) 一种基于视频序列图像特征与信息的车牌识别方法
CN112861700A (zh) 基于DeepLabv3+的车道线网络识别模型建立及车辆速度检测方法
CN112613392A (zh) 基于语义分割的车道线检测方法、装置、系统及存储介质
CN112818834A (zh) 一种交叉口针对应急车辆的避让判定方法、设备及介质
CN112950954B (zh) 一种基于高位摄像头的智能停车车牌识别方法
CN116597270A (zh) 基于注意力机制集成学习网络的道路损毁目标检测方法
CN114898243A (zh) 基于视频流的交通场景解析方法以及装置
CN113158954B (zh) 交通非现场的基于ai技术的斑马线区域自动检测方法
CN114639067A (zh) 一种基于注意力机制的多尺度全场景监控目标检测方法
CN112053407B (zh) 一种交通执法影像中基于ai技术的车道线自动检测方法
CN114550023A (zh) 一种交通目标静态信息提取装置
CN112733851B (zh) 一种基于卷积神经网络优化粮食仓库货车的车牌识别方法
CN112101268B (zh) 一种基于几何投影的车辆压线检测方法
CN114550094A (zh) 一种三轮车流量统计和载人判断的方法及系统
CN111428538A (zh) 一种车道线提取方法、装置和设备
Zhang et al. Chinese license plate recognition using machine and deep learning models
CN113011293A (zh) 一种行道线参数实时提取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant