CN103646550A

CN103646550A - 一种智能车牌识别系统

Info

Publication number: CN103646550A
Application number: CN201310746138.1A
Authority: CN
Inventors: 王飞跃; 胡斌; 熊刚; 陈泳; 周维斯; 田滨; 李泊
Original assignee: Shenyang Institute of Automation of CAS; Cloud Computing Center of CAS
Current assignee: Shenyang Institute of Automation of CAS; Cloud Computing Center of CAS; Cloud Computing Industry Technology Innovation and Incubation Center of CAS
Priority date: 2013-12-30
Filing date: 2013-12-30
Publication date: 2014-03-19

Abstract

本发明公开了一种停车场智能车牌识别系统。该系统包括：图像采集单元，采集车辆图像；智能分析单元，对于车辆图像进行感兴趣区域的提取、分析和车牌识别；客户单元，接收车牌识别结果并显示；数据库单元，存储车牌识别结果，以与车牌数据中心的车牌数据进行对比，根据所识别出的车牌信息对停车场车辆进行综合、有效的管理。本发明具有成本低、实时性强、易扩展、易施工等优点。

Description

—种智能车牌识别系统技术领域

[0001] 本发明涉及智能交通监控技术领域，特别是一种智能车牌识别系统。

背景技术

[0002] 随着经济的增长和人们购买力的不断提高，国内汽车数量大规模增加，尤其是私家车数量的急剧增长，远远超过城市原本配备的停车位，导致国内停车难等问题日益凸显，已经成为影响城市管理和可持续发展的重大问题，如何在停车位资源一定的情况下实现对停车场科学、规范、统一的管理成为人们关注的重点。

[0003] 车牌识别作为现代智能交通监控技术领域中的重要组成部分，在停车场管理方面扮演着重要的角色。车牌识别是以计算机视觉、图像处理、模式识别等技术为基础，对前端摄像机所拍摄的车辆图像或者视频序列进行分析，得到每一辆汽车唯一的车牌号码，从而完成车牌识别的过程。

[0004] 完整的车牌识别系统包括车牌图像采集、图像预处理、车牌定位、字符分割、字符识别以及后处理等多个模块。其中，图像预处理主要包括编号存储、图像颜色空间转换、图像格式的转换以及图像质量、亮度的调整；车牌后处理主要实现基本的网络功能，将识别后的车牌信息进行存储、上传以及相关智能化数据库管理。

[0005] 近年来，车牌识别技术发展迅速，大体上可分为直接法和间接法两种。直接法是基于视频图像的车牌识别；间接法是基于RFID无线电频率鉴别或基于条形码识别。

[0006] 间接法一般指通过识别安装在汽车上的IC卡或条形码中所存储的车牌信息来识别车牌及相关信息。IC卡技术识别准确度高，运行稳定，能够全天候作业，但是整套装置价格昂贵，硬件设备比较复杂，不适用于异地作业；条码识别技术识别速度快、准确度高、可靠性以及成本较低等优点，但对于扫描的要求很高。此外，IC卡与条形码都需要制定出全国统一的标准，并且当下无法核对车、卡/条形码是否相符，这给推广造成了困难。

[0007] 直接法是基于视频图像的车牌识别技术，从车牌识别信息处理先后顺序来看，车牌识别技术主要包括:第一、车辆图像的检测和采集；第二、对采集的车牌静态图像进行识另Ij。在实际技术应用中，采集车牌图像摄像机多为长时不间断工作制，尤其对于部分露天停车场，摄像机长期处于变化的环境，这样，对摄像机的环境适应性要求大大提高。

[0008] 目前，车辆检测的传统手段是在路面下埋设地感线圈，车辆经过地感线圈时，地感线圈的电感量发生变化，致使当前线圈与其它电路的探测电路的输出的电信号发生变化，产生车辆检测信号，一般为频率信号，送处理机进行处理，得到车辆进、出停车场的信息。在实际应用中，采用地感线圈检测车辆的方法施工维护费用高、对路面破坏性大，受冰冻、盐碱、繁忙交通的影响大，使用寿命短，一般只有两年。

[0009] 中国专利文献CN101833859A提出了一种基于虚拟线圈的自触发车牌识别方法，该方法首先对车辆视频信号进行预处理，当工控机接受到视频流信号后，同时创建视频流处理进程和车牌识别进程，用来采集含有车牌信息的静态车牌图像和对静态车辆图像进行处理，方法简单，识别率高。但整个视频处理的流程在工控机上进行，这不仅增加了对工控机实时处理能力的要求，而且增大了网络负荷，另外，一旦多台摄像机同时接入，则需增加相应的工控机，这样就会大大增加工程成本。

发明内容

[0010] 为了克服上述现有技术的不足，本发明提供一种新型的智能车牌识别系统，该系统具有成本低、信息处理能力强、识别率高、可扩展性强等优点。

[0011]为实现上述目的，本发明提供的智能车牌识别系统包括:图像采集单元、中心管理单元、智能分析单元、客户单元和数据库单元，其中:

[0012] 所述图像采集单元连接中心管理单元，用于实时采集进入视野的含有车牌的车辆图像，并将采集到的车辆图像信息传递至中心管理单元；

[0013] 所述中心管理单元分别与智能分析单元和客户单元连接，用于与图像采集单元、智能分析单元和客户单元进行数据交互；

[0014] 所述智能分析单元连接中心管理单元与数据库单元，用于对于所述中心管理单元发送的车辆图像进行感兴趣区域的提取、分析和车牌识别，并将车牌识别结果上传至中心管理单元，并同时上传至数据库单元进行存储；

[0015] 所述客户单元与中心管理单元连接，用于接收中心管理单元推送的车牌识别结果并进行显示；

[0016] 所述数据库单元与智能分析单元连接，用于存储智能分析单元发送的车牌识别结果，以与车牌数据中心事先存储的车牌数据进行对比，根据所识别出的车牌信息对停车场车辆进行综合、有效的管理。

[0017] 根据本发明的另一方面，还提出一种智能车牌识别方法，该方法包括以下步骤:

[0018] 步骤1，实时采集进入视野的含有车牌的车辆图像；

[0019] 步骤2，对所述车辆图像进行感兴趣区域的提取、分析和车牌识别；

[0020] 步骤3，对于车牌识别结果进行显示和存储，并与事先存储的车牌数据进行对比，根据所识别出的车牌信息实现对车辆的管理。

[0021] 与现有技术相比，本发明的有益效果是:采用一种基于前端摄像机抓拍、后端服务器识别的新型架构的停车场智能车牌识别系统，系统抓拍识别实时性好，数据的安全性、完整性受网络的影响较小，即使中间传输网络出现故障，前端数据也不会丢失；利用虚拟线圈方法，在视频图像帧中设置虚拟线圈，利用背景消减的方法，检测、定位、跟踪、抓拍车牌，可自动检测视频序列中的车辆位置，并跟踪它们获取车辆运动轨迹，而且对停车场光条件下的阴影、光照变化、检测噪声等干扰具有较高的鲁棒性；所述发明系统无需埋设地感，避免了外触发机制的使用年限、安装调试、维护等工作，不会造成对停车场进出口路面的损坏，大大减少了施工工程量，降低了成本。

附图说明

[0022] 图1是本发明智能车牌识别系统的整体架构图；

[0023] 图2是根据本发明一实施例的图像采集单元的设备安装示意图；

[0024]图3是根据本发明一实施例的图像采集单元采集车辆图像的流程图；

[0025] 图4是根据本发明一实施例的智能分析单元进行车牌识别处理的流程图。具体实施方式

[0026] 为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

[0027] 本发明实现了一种前端车牌检测、抓拍，后端车牌识别处理的双端架构的智能车牌识别系统和方法，本发明采用基于虚拟线圈的自触发方式抓取含有车牌信息的静态图像，然后将抓拍后的静态图像传递至后端服务器进行车牌识别。

[0028] 图1是本发明智能车牌识别系统的整体架构图，如图1所示，该系统包括:图像采集单元、中心管理单元、智能分析单元、多媒体转发单元、客户单元、业务扩展单元和数据库单元，其中: [0029] 所述图像采集单元连接中心管理单元，用于实时采集进入视野的含有车牌的车辆图像，并将采集到的车辆图像信息传递至中心管理单元；

[0030] 在本发明一实施例中，图像采集单元如果检测到车辆进入视野范围内，则动态触发对于含有车牌的车辆图像的抓拍，然后将抓拍的车辆图像传递给中心管理单元，此时相当于产生一个报警事件给中心管理单元。

[0031] 其中，所述图像采集单元采用基于视频的虚拟线圈触发方式进行图像的采集，SP预先设置视频图像帧中的虚拟线圈以及抓拍线大小、位置，当车辆进入图像采集单元所拍摄场景中虚拟线圈时，触发抓拍机制，产生一次报警事件；所述图像采集单元使用具有强光抑制、超低照度以及超宽动态性能的高清枪式CMOS接口摄像头，抓拍的静态图像包括BMP、JPEG格式，分辨率为1920X1080，同时设置补光装置，根据一天内光线的不同，自动补光。图2是根据本发明一实施例的图像采集单元的设备安装示意图，如图2所示，在本发明一实施例中，考虑到车辆进出停车场时的具体场景，在保证数据采集的准确性的情况下，摄像头安装在距离停车场出入口道闸的3-5m处，摄像头距离地面高度设置为0.7-1.5m，摄像头中轴线距离车道边线的距离≤0.5m。

[0032]图3所示为根据本发明一实施例的图像采集单元采集车辆图像的流程图，如图3所示，在本发明一实施例中，所述图像采集单元首先使用OpenCV (Intel开源计算机视觉函数处理库)中的功能函数进行视频读取，将图像采集单元所抓拍到的监控场景图像读入嵌入式处理器设备中；然后将读入的彩色车牌图像进行灰度化处理，并采用一种快速的梯度计算方法来计算图像梯度，得到相应的梯度图像；然后在梯度图像中使用滑动窗口进行扫描，计算窗口内像素的平均梯度，并将其作为窗口中心像素点的像素值，得到该梯度图像对应的得分图像；然后利用非极大值抑制方法在每个窗口内求得局部极大值，若局部极大值大于一预先设定的得分阈值，则以所述局部极大值为中心点，根据标准车牌的尺寸信息得到车牌的位置；在获得当前视频帧中车辆的位置后，就可以对车辆进行跟踪，得到车辆的运动轨迹，在虚拟线圈所划定的位置上，抓拍车牌图像，上传给中心管理单元进行车牌识别。

[0033] 所述中心管理单元分别与智能分析单元、多媒体转发单元、客户单元和业务扩展单元连接，用于与图像采集单元、智能分析单元、多媒体转发单元、客户单元和业务扩展单元进行数据交互，在本发明一实施例中，所述中心管理单元与智能分析单元、多媒体转发单元、客户单元和业务扩展单元之间通过TCP通信协议进行数据交换，上层协议采用包头+xml的格式；[0034] 具体地，所述中心管理单元接收所述图像采集单元发送的车辆图像，即接收到图像采集单元的报警事件，然后对该报警事件进行审核，确认该报警事件的置信度，如果置信度较高，则审核通过，将所抓拍的车辆图像传递给智能分析单元，触发其他单元联动，否则，不予处理；

[0035] 所述智能分析单元连接中心管理单元与数据库单元，用于对于所述中心管理单元发送的车辆图像进行感兴趣区域的提取、分析和车牌识别，并将车牌识别结果上传至中心管理单元，并同时上传至数据库单元进行存储，以供后续车牌信息的提取和比对以及用户的查看和调用，所述车牌识别结果至少包括车牌号码、车牌颜色以及车牌小图等信息，图像格式为JPEG格式；

[0036] 图4是根据本发明一实施例的智能分析单元进行车牌识别处理的流程图，如图4所示，在本发明一实施例中，所述智能分析单元首先对接收到的每一帧车辆图像进行预处理，由于图像采集单元的安装位置受停车场进、出口等特定场景限制，所抓拍到的车牌有一定的倾斜度，因此，所述预处理包括图像灰度化、图像倾斜校正、二值化以及形态学处理等；然后采用基于连通分量特征的方法进行车牌字符分割；然后利用字符组合特征的车牌识别方法，识别出所述车辆图像中的车牌号，所述车牌字符分割具体为:首先对二值车辆图像进行轮廓分割，划分每一个连通区域，再结合对灰度车辆图像进行MESR特征分析，筛选确认得到每一个车牌字符所在位置，进而进行字符分割；所述车牌号识别具体为:使用模板匹配和SVM分类器的方法来识别分割好的字符，识别得到所述车牌图像的车牌号。

[0037] 所述智能分析单元的识别速度为50ms (704X576大小的分辨率)，500ms (500万分辨率)；识别车牌的类型包括普通蓝牌、普通黄牌、普通白牌、警车白牌、武警白牌、双层黄牌等。

[0038] 所述多媒体转发单元与中心管理单元连接，用于对于所接收到的实时媒体流和历史媒体流进行转发，所述多媒体转发单元进一步包括音频转发单元和视频转发单元；

[0039] 所述客户单元与中心管理单元连接，用于接收中心管理单元推送的车牌识别结果并进行显示；

[0040] 所述业务扩展单元连接中心管理单元，用于对于对各功能模块单元联动设置车牌数据库单元进行配置；

[0041] 所述数据库单元与智能分析单元连接，用于存储智能分析单元发送的车牌识别结果，以与车牌数据中心事先存储的车牌数据进行对比，根据所识别出的车牌信息实现对停车场车辆进行综合、有效的管理。

[0042] 本发明还提出一种智能车牌识别方法，该方法包括以下步骤:

[0043] 步骤1，实时采集进入视野的含有车牌的车辆图像；

[0044] 该步骤采用基于视频的虚拟线圈触发方式进行图像的采集，即预先设置视频图像帧中的虚拟线圈以及抓拍线大小、位置，当车辆进入拍摄场景中的虚拟线圈时，触发抓拍机制，产生一次报警事件。

[0045] 所述步骤I进一步包括以下步骤:

[0046] 步骤11，实时采集进入视野的含有车牌的车牌图像；

[0047] 步骤12，对彩色车牌图像进行灰度化处理，并计算图像梯度，得到相应的梯度图像；[0048] 步骤13，在梯度图像中使用滑动窗口进行扫描，计算窗口内像素的平均梯度，并将其作为窗口中心像素点的像素值，得到该梯度图像对应的得分图像；

[0049] 步骤14，利用非极大值抑制方法在每个窗口内求得局部极大值，若局部极大值大于一预先设定的得分阈值，则以所述局部极大值为中心点，根据标准车牌的尺寸信息得到车牌的位置；

[0050] 步骤15，获得当前视频帧中车辆的位置后，对车辆进行跟踪，得到车辆的运动轨迹，在虚拟线圈所划定的位置上，抓拍车辆图像。

[0051] 步骤2，对所述车辆图像进行感兴趣区域的提取、分析和车牌识别；

[0052] 所述步骤2进一步包括以下步骤:

[0053] 步骤21，对接收到的每一帧车辆图像进行预处理，所述预处理包括图像灰度化、图像倾斜校正、二值化以及形态学处理等；

[0054] 步骤22，采用基于连通分量特征的方法进行车牌字符分割；

[0055] 所述车牌字符分割具体为:首先对二值车辆图像进行轮廓分割，划分每一个连通区域，再结合对灰度车辆图像进行MESR特征分析，筛选确认得到每一个车牌字符所在位置，进而进行字符分割。

[0056] 步骤23，利用字符组合特征的车牌识别方法，识别出所述车辆图像中的车牌号。

[0057] 所述车牌号识别具体为:使用模板匹配和SVM分类器的方法来识别分割好的字符，最终识别得到所述车牌图像的车牌号。

[0058] 步骤3，对于车牌识别结果进行显示和存储，并与事先存储的车牌数据进行对比，根据所识别出的车牌信息实现对车辆的管理。

[0059] 以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种智能车牌识别系统，其特征在于，该系统包括:图像采集单元、中心管理单元、智能分析单元、客户单元和数据库单元，其中: 所述图像采集单元连接中心管理单元，用于实时采集进入视野的含有车牌的车辆图像，并将采集到的车辆图像信息传递至中心管理单元；所述中心管理单元分别与智能分析单元和客户单元连接，用于与图像采集单元、智能分析单元和客户单元进行数据交互；所述智能分析单元连接中心管理单元与数据库单元，用于对于所述中心管理单元发送的车辆图像进行感兴趣区域的提取、分析和车牌识别，并将车牌识别结果上传至中心管理单元，并同时上传至数据库单元进行存储；所述客户单元与中心管理单元连接，用于接收中心管理单元推送的车牌识别结果并进行显示；所述数据库单元与智能分析单元连接，用于存储智能分析单元发送的车牌识别结果，以与车牌数据中心事先存储的车牌数据进行对比，根据所识别出的车牌信息对停车场车辆进行综合、有效的管理。

2.根据权利要求1所述的系统，其特征在于，所述图像采集单元采用基于视频的虚拟线圈触发方式进行图像的采集。

3.根据权利要求1所述的系统，其特征在于，所述系统还包括业务扩展单元，其连接中心管理单元，用于对于对各功能模块单元联动设置车牌数据库单元进行配置。

4.根据权利要求1所述的系统，其特征在于，所述系统还包括多媒体转发单元，其与中心管理单元连接，用于对于所接收到的实时媒体流和历史媒体流进行转发。

5.一种智能车牌识别方法，其特征在于，该方法包括以下步骤: 步骤1，实时采集进入视野的含有车牌的车辆图像；步骤2，对所述车辆图像进行感兴趣区域的提取、分析和车牌识别；步骤3，对于车牌识别结果进行显示和存储，并与事先存储的车牌数据进行对比，根据所识别出的车牌信息实现对车辆的管理。

6.根据权利要求5所述的方法，其特征在于，所述步骤I基于视频的虚拟线圈触发方式进行图像的采集。

7.根据权利要求5所述的方法，其特征在于，所述步骤I进一步包括以下步骤: 步骤11，实时采集进入视野的含有车牌的车牌图像；步骤12，对彩色车牌图像进行灰度化处理，并计算图像梯度，得到相应的梯度图像；步骤13，在梯度图像中使用滑动窗口进行扫描，计算窗口内像素的平均梯度，并将其作为窗口中心像素点的像素值，得到该梯度图像对应的得分图像；步骤14，利用非极大值抑制方法在每个窗口内求得局部极大值，若局部极大值大于一预先设定的得分阈值，则以所述局部极大值为中心点，根据标准车牌的尺寸信息得到车牌的位置；步骤15，获得当前视频帧中车辆的位置后，对车辆进行跟踪，得到车辆的运动轨迹，在虚拟线圈所划定的位置上，抓拍车辆图像。

8.根据权利要求5所述的方法，其特征在于，所述步骤2进一步包括以下步骤: 步骤21，对接收到的每一帧车辆图像进行预处理；步骤22，采用基于连通分量特征的方法进行车牌字符分割；步骤23，利用字符组合特征的车牌识别方法，识别出所述车辆图像中的车牌号。

9.根据权利要求8所述的方法，其特征在于，所述步骤22具体为:首先对二值车辆图像进行轮廓分割，划分每一个连通区域，再结合对灰度车辆图像进行MESR特征分析，筛选确认得到每一个车牌字符所在位置，进而进行字符分割。

10.根据权利要求8所述的方法，其特征在于，所述步骤23具体为:使用模板匹配和分类器的方法来识别分割好的字符，最终识别得到所述车牌图像的车牌号。