CN101373517B - 一种车牌识别方法及系统 - Google Patents

Abstract

本发明提供一种车牌识别方法及系统，所述方法包括以下步骤：摄取车牌视频图像，并对摄取的车牌视频图像进行处理获取车牌视频图像识别结果；摄取车牌静止图像，并对摄取的车牌静止图像进行处理获取车牌静止图像识别结果；对所述的车牌视频图像识别结果和车牌静止图像识别结果进行车牌图像筛选处理，输出车牌识别结果。用于提供基于视频流和静止图像相结合的车牌自动识别系统。

Description

一种车牌识别方法及系统 

技术领域

本发明关于图像识别技术，特别是关于交通管理中的汽车车牌识别技术，具体的讲是一种车牌识别方法及系统。 

背景技术

目前，在高速公路收费或限高的车道中普遍应用了车辆自动识别系统，该系统的结构包括：地感线圈检测器(地感线圈和线圈检测控制器)、近景摄像机、恒定照明灯、闪光灯和车牌识别单元(嵌入式或者PC式)。当车辆经过埋设在车道的地感线圈时，线圈检测器给出车辆到达触发信号，车牌识别单元接收到触发信号后(如果此时外界光线不足则启动闪光灯)，控制近景摄像机抓拍车辆图像，然后对采集到的一幅车辆图像进行处理、识别得到最后的车牌识别结果，包括车牌颜色，车牌号码等。 

然而，在实际应用中上述系统的识别性能严重倚赖于地感线圈的布置位置，对施工要求极高，而且对不同车型的适应能力较低，如果车辆存在遮挡情况，系统就无法正常识别出车牌。 

为了解决上述问题，开发了基于视频的车牌识别系统，这种基于视频的车牌识别系统通过对车道内通行车辆的视频流进行采集，实现对同一车牌的多次识别，最后输出经过优化选择的结果。 

这种基于视频的车牌识别系统一般无需外界触发信号、具有较强的适应能力，对车辆遮挡情况有一定的抵抗能力。但是，由于目前该识别方式都是单独采用LED频闪光源进行补光，补光强度比闪光灯低很多，因此采集到的视频图像的质量要比闪光灯补光的图像质量差，可见这种基于视频的车牌识别系统在提高系统适应性的同时降低了识别准确度。 

中国实用新型专利200520055168.9公开了一种汽车牌照自动识别器，该汽车牌照自动识别器公开的技术方案可合并于此，以作为本发明的现有技术。 

发明内容

本发明提供一种车牌识别方法及系统，用于提供基于视频流和静止图像相结合的车牌自动识别系统。本发明的技术方案为： 

一种车牌识别方法，所述方法包括以下步骤：摄取车牌视频图像，并对摄取的车牌视频图像进行处理获取车牌视频图像识别结果；检测车辆是否到达静止图像拍摄位置，如果是则发出拍摄触发信号驱动摄像机拍摄所述车牌的静止图像，并对摄取的车牌静止图像进行处理获取车牌静止图像识别结果；根据包括识别置信度和车牌位置在内的有效信息，为视频每一帧识别结果进行权值分配，并为静止图像的识别结果分配较高权值，然后根据预定投票规则进行投票，从投票结果中选择最优结果作为车牌识别结果；输出该车牌识别结果。 

一种车牌识别系统，所述系统包括：视频图像单元，用于摄取车牌视频图像，并对摄取的车牌视频图像进行处理获取车牌视频图像识别结果；静止图像单元，用于检测车辆是否到达静止图像拍摄位置，如果是则发出拍摄触发信号驱动摄像机拍摄车牌的静止图像，并对摄取的车牌静止图像进行处理获取车牌静止图像识别结果；图像筛选单元，用于根据包括识别置信度和车牌位置在内的有效信息，为视频每一帧识别结果进行权值分配，并为静止图像的识别结果分配较高权值，然后根据预定投票规则进行投票，从投票结果中选择最优结果作为车牌识别结果；图像输出单元，用于输出该车牌识别结果。 

本发明的有益效果在于：车辆视频与车辆静止图像结合起来作为图像处理的信号源，对车辆视频进行每帧识别，将多次识别的结果进行投票得到一个识别结果，同时对车辆的静止图像进行识别得到一个识别结果，把两个识别结果进行综合优化筛选后形成最终的车牌识别结果，从而增加了车牌识别结果的准确性。 

附图说明

图1是本发明系统的结构框图； 

图2是本发明系统LED频闪补光控制板的结构框图； 

图3是本发明系统嵌入式车牌识别装置的结构框图； 

图4是本发明动实施例1的系统示意图； 

图5是本发明动实施例2的系统示意图； 

图6是本发明系统工作流程图； 

图7是本发明车牌识别筛选流程图。 

具体实施方式

以下结合附图说明本发明的具体实施方式。如图1所示，为一种基于视频流与静止图像相结合的汽车牌照自动识别系统，该系统包括：近景摄像机、LED频闪补光灯、闪光灯、线圈检测器和嵌入式车牌识别器，其中线圈检测器包含地感线圈和线圈控制器，近景摄像机包含摄像镜头与摄像控制单元，镜头方向对准地感线圈，LED频闪补光灯与近景摄像机方向一致，闪光灯固定在地感线圈前方(车辆行驶方向)。近景摄像机通过视频线连接在嵌入式车牌识别器的视频输入接口上，线圈控制器的输出接在嵌入式车牌识别器的触发信号输入端上，嵌入式车牌识别器可以通过网络或者串口把识别结果信息输送到车道计算机。 

所用的补光装置包括一个LED频闪补光灯和一个闪光灯。如图2所示，是本发明基于视频流与静止图像相结合的汽车牌照自动识别系统中LED频闪补光控制板的工作示意图。其中，LED频闪补光控制板的同步信号分离模块从近景摄像机的信号线中分离出同步信号，光强测量模块获取外界环境光的指标参数，硬件参数设置模块读取LED频闪补光控制板上的参数选择拨码开关的数值，远程控制模块接受通过RS-485总线传送来的控制信息，上述所有信号量被输入到LED频闪补光控制板的ARM7处理器中，该处理器经过处理产生一系列控制信号控制LED补光矩阵进行最优补光。 

如图2所示，LED频闪补光灯由一个LED补光矩阵和一块LED补光控制板组成，LED补光控制板的输入接在摄像控制单元的输出上，LED补光控制板 的输出接在LED补光矩阵。LED补光矩阵可由多个LED灯组成，且LED补光矩阵设置在摄像机的上方对阵被摄车牌的位置。闪光灯包括闪光光源和闪光灯控制器，闪光灯控制器的输入信号为线圈控制器的输出信号。 

当外界环境光线较弱时，视频流的补光采用LED频闪补光灯，其闪光时刻与近景摄像机的快门开启时间严格一致；静止图像采用闪光灯进行补光，闪光灯由线圈控制器触发。LED频闪补光灯能够自动根据外界环境光线的强弱决定是否进行补光，如果需要补光则在启动自身进行补光的同时，向闪光灯控制器发送进入补光模式的命令，此时闪光灯就可以根据线圈控制器的有车信号进行补光。 

上述基于视频流与静止图像相结合的汽车牌照自动识别系统，主要包括以下步骤： 

a.近景摄像机以25帧/秒的速度实时采集本车道的视频图像，通过视频线传输到嵌入式车牌识别器，如果外界环境光线不足，LED频闪补光控制板自动进行补光； 

b.当嵌入式车牌识别器检测到有车辆进入视场时，嵌入式车牌识别器开始对近景摄像机捕获到的该车辆一系列连续视频进行处理识别，整个视频识别过程包括车牌定位、字符切割、字符预处理，单帧识别和多帧识别； 

c.当车辆进入到地感线圈的感应范围时，线圈控制器向嵌入式车牌识别器发出触发信号，线圈控制器触发闪光灯进行一次补光； 

d.嵌入式车牌识别器根据线圈的触发信号通知近景摄像机捕获车辆的一张静止图像进行静止图像的处理识别； 

e.嵌入式车牌识别器对两个识别结果进行综合优化，输出该车辆的最终识别结果，包括车牌颜色、车牌号码、车牌小图和车牌大图以及抓拍时间。 

上述基于视频流与静止图像相结合的汽车牌照自动识别系统把基于视频流的车牌识别方式和基于静止图像的车牌识别方式有机结合起来，通过两种识别方式的结合，可以有效的克服视频流识别和静止图像识别的缺点，实现取长补 短的目的，采用LED频闪补光灯的常规视频流识别的缺点是补光强度不够，采集的图象质量普遍较差，而采用闪光灯的静止图象识别对车辆触发位置有严格要求，而且对遮挡车牌无法识别；相应地，视频车牌识别无需外部触发信号，对车辆遮挡有一定的抵御能力，静止图象识别获取的图象质量较好，识别准确程度教高，本发明将两者有机结合，既降低了对外部触发时机的严格要求，易于工程实施，又能实现较高的识别准确度。 

上述基于视频流与静止图像相结合的汽车牌照自动识别系统，其中闪光灯的补光是由地感线圈控制器的有车信号触发，当有车辆通过地感线圈区域时，如果地感线圈控制器由于各种原因如设备故障而没有正常发出触发信号，那么嵌入式车牌识别器可以根据视频识别结果向外发出视频触发信号，触发闪光灯补光。 

上述基于视频流与静止图像相结合的汽车牌照自动识别系统，其中，视频流识别和静止图像识别可以分别进行，然后根据规则筛选出一个最优结果；也可以综合在一起进行，把静止图像的识别结果作为特殊的一帧，放到视频流中参与统一投票得到一个识别结果。 

上述基于视频流与静止图像相结合的汽车牌照自动识别系统通过把两种识别方式相结合，可以有效地提高车牌字符的识别率，由于对于一些容易产生混淆的字符、例如O、D、Q三个字符本身非常相似，单纯的视频识别由于补光方式的限制，采集得的图像更增加了三者发生混淆的机会，本发明基于视频流与静止图像相结合的汽车牌照自动识别系统在嵌入式车牌识别器中实现了一个综合筛选表决器，该综合筛选表决器首先对视频中每一帧的识别结果、识别置信度和其他一些可供使用的信息例如车牌位置等进行综合投票、对不同位置的识别结果根据预定的规则分配不同权值，然后参与多帧投票。由于采用闪光灯补光的静止图像其质量较好，因此识别结果的可信度比较高，在参与投票时被赋予较高的权重，正是由于这一可信识别结果的存在能大大提高本发明基于视频流与静止图像相结合的汽车牌照自动识别系统对类似于O、D、Q这样的易混字 符的识别正确率，使得其识别正确率远超过单纯的视频识别方式。 

上述基于视频流与静止图像相结合的汽车牌照自动识别系统，其中，嵌入式车牌识别器的识别结果可以通过网络接口传输到车道计算机上，也可以通过RS-232接口传输，传输的信息经过数据加密和完整性处理，可以有效保证数据的完整性和保密性。 

上述基于视频流与静止图像相结合的汽车牌照自动识别系统，其中，如图3所示，嵌入式车牌识别器采用先进的DSP芯片作为核心识别算法的硬件载体，所有算法固化在硬件之中。所述的车牌识别装置包括：视频图像单元，用于对摄取的车牌视频图像进行处理获取车牌视频图像识别结果；静止图像单元，用于对摄取的车牌静止图像进行处理获取车牌静止图像识别结果；图像筛选单元，用于对所述的车牌视频图像识别结果和车牌静止图像识别结果进行车牌图像筛选处理，生成车牌识别结果；图像输出单元，用于将生成的车牌识别结果输出。与普通的基于PC机的车牌识别系统相比，具有识别性能高、结构紧凑、环境适应性强、安装维护简单等特点。嵌入式车牌识别器中设置了专门的看门狗单元，不会出现系统死机的状况。 

上述基于视频流与静止图像相结合的汽车牌照自动识别系统主要的应用领域为收费车道或超限超载检测站点，具有施工难度低、系统稳定可靠、识别准确率高，对不同车型适应性强等优点。 

实施例1 

如图4所示，是本发明基于视频流与静止图像相结合的汽车牌照自动识别系统在收费车道中一种应用的示例图，其中包括车道计算机1、嵌入式车牌识别器2、近景摄像机和LED频闪补光光源3、闪光灯4、线圈控制器5、为地感线圈6。 

图6是本发明基于视频流与静止图像相结合的汽车牌照自动识别系统中嵌入式车牌识别器内嵌软件的流程图。其中，系统启动后，近景摄像机3获取当前帧图像，并由嵌入式车牌识别器2将当前帧图像与上一帧图像作差，根据差 图像判断视场内是否有车进入，如果有车进入则对摄取的车牌视频图像进行车牌定位、车牌切割、车牌识别处理。并判断是否为有效车牌，如果为有效车牌，则进行车牌跟踪计数、识别结果存储到缓存中。感线圈6检测车辆是否到达地感线圈所在位置，如果是，则得到视频识别结果。判断感线圈6是否发出静态拍摄的触发信号，如果是则由近景摄像机3拍摄静止图像，并由嵌入式车牌识别器2对静止图像进行车牌定位、切割、识别的处理，得到静止图像识别结果。然后由嵌入式车牌识别器2对两种识别结果进行优化选择，得到最后的车牌识别结果。 

如图7所示，是本发明基于视频流与静止图像相结合的汽车牌照自动识别系统中嵌入式车牌识别器中综合筛选表决器的工作示意图，其中综合筛选表决器根据识别置信度、车牌位置等有效信息为视频每一帧识别结果进行权值分配，并为静止图像的识别结果分配较高权值，然后根据预定投票规则进行投票，从投票结果中选择最优结果作为最终识别结果。 

实施例2 

如图5所示，是本发明基于视频流与静止图像相结合的汽车牌照自动识别系统在收费车道中一种不设置地感线圈的应用示例图，其中包括车道计算机1、嵌入式车牌识别器2、近景摄像机和LED频闪补光光源3、闪光灯4。 

图6是本发明基于视频流与静止图像相结合的汽车牌照自动识别系统中嵌入式车牌识别器内嵌软件的流程图。其中，系统启动后，近景摄像机3获取当前帧图像，并由嵌入式车牌识别器2将当前帧图像与上一帧图像作差，根据差图像判断视场内是否有车进入，如果有车进入则对摄取的车牌视频图像进行车牌定位、车牌切割、车牌识别处理。并判断是否为有效车牌，如果为有效车牌，则进行车牌跟踪计数、识别结果存储到缓存中。嵌入式车牌识别器2检测车辆是否到达地感线圈所在位置，如果是，则得到视频识别结果。判断嵌入式车牌识别器2是否发出静态拍摄的触发信号，如果是则由近景摄像机3拍摄静止图像，并由嵌入式车牌识别器2对静止图像进行车牌定位、切割、识别的处理， 得到静止图像识别结果。然后由嵌入式车牌识别器2对两种识别结果进行优化选择，得到最后的车牌识别结果。 

如图7所示，是本发明基于视频流与静止图像相结合的汽车牌照自动识别系统中嵌入式车牌识别器中综合筛选表决器的工作示意图，其中综合筛选表决器根据识别置信度、车牌位置等有效信息为视频每一帧识别结果进行权值分配，并为静止图像的识别结果分配较高权值，然后根据预定投票规则进行投票，从投票结果中选择最优结果作为最终识别结果。 

在上述的两个实施例中，所使用的补光系统包括一套与近景摄像机配套使用的LED频闪补光灯和一个位于车道地面的闪光灯，LED频闪补光灯由近景摄像机的同步信号触发启动，闪光灯可以由嵌入式车牌识别器触发启动，也可以由地感线圈触发如果有地感线圈。 

所使用的识别方式是视频识别和静止图像识别相结合的识别方式，视频识别结果和静止图像识别结果经过综合表决得到最优识别结果。 

基于视频流与静止图像相结合的汽车牌照自动识别系统，还可以与布设在检测车道中的线圈控制器相连接，由其触发闪光灯进行补光。 

近景摄像机以25帧/秒的速度实时采集本车道的视频图像，通过视频线传输到嵌入式车牌识别器，如果外界环境光线不足，LED频闪补光控制板自动进行补光；当嵌入式车牌识别器检测到有车辆进入视场时，嵌入式车牌识别器开始对近景摄像机捕获到的该车辆一系列连续视频进行处理识别，整个视频识别过程包括车牌定位、字符切割、字符预处理，单帧识别和多帧识别；当车辆进入到地感线圈的感应范围时，线圈控制器向嵌入式车牌识别器发出触发信号，线圈控制器触发闪光灯进行一次补光；嵌入式车牌识别器根据线圈的触发信号通知近景摄像机捕获车辆的一张静止图像进行静止图像的处理识别；嵌入式车牌识别器对两个识别结果进行综合优化，输出该车辆的最终识别结果，包括车牌颜色、车牌号码、车牌小图和车牌大图以及抓拍时间。其中提到的地感线圈，也可以没有。如果没有地感线圈，嵌入式车牌识别器可以实现对闪光灯的视频 触发。 

因此以上具体实施方式仅用于说明本发明，而非用于限定本发明。 

Claims (9)

1.一种车牌识别方法，其特征是，所述方法包括以下步骤：

摄取车牌视频图像，并对摄取的车牌视频图像进行处理获取车牌视频图像识别结果；

检测车辆是否到达静止图像拍摄位置，如果是则发出拍摄触发信号驱动摄像机拍摄所述车牌的静止图像，并对摄取的车牌静止图像进行处理获取车牌静止图像识别结果；

根据包括识别置信度和车牌位置在内的有效信息，为视频每一帧识别结果进行权值分配，并为静止图像的识别结果分配较高权值，然后根据预定投票规则进行投票，从投票结果中选择最优结果作为车牌识别结果；

输出所述的车牌识别结果。

2.根据权利要求1所述的方法，其特征是，所述的摄取车牌视频图像包括：

摄取车道的视频图像；

将车道视频图像的当前帧图像与上一帧图像作差，根据差图像判断视场内是否有车进入，如果有车进入，则对车牌视频图像进行定位、切割、识别处理，输出车牌视频图像识别结果。

3.根据权利要求1所述的方法，其特征是，所述的摄取车牌静止图像包括：

在拍摄车牌静止图像时，采用闪光灯和/或LED频闪补光灯进行补光；

对车牌静止图像进行定位、切割、识别处理，输出车牌静止图像识别结果。

4.根据权利要求3所述的方法，其特征是，所述的检测车辆是否到达静止图像拍摄位置包括：

采用线圈感应车辆是否到达静止图像拍摄位置；或

采用视频识别车辆是否到达静止图像拍摄位置。

5.根据权利要求1所述的方法，其特征是，所述方法包括以下具体步骤：

摄取车道的视频图像；

将车道视频图像的当前帧图像与上一帧图像作差，根据差图像判断视场内 是否有车进入，如果有车进入，则对车牌视频图像进行定位、切割、识别处理，输出车牌视频图像识别结果；

检测车辆是否到达静止图像拍摄位置，如果是则发出拍摄触发信号；

所述的拍摄触发信号驱动摄像机拍摄所述的车牌静止图像，在拍摄车牌静止图像时，采用闪光灯和/或LED频闪补光灯进行补光；

对车牌静止图像进行定位、切割、识别处理，输出车牌静止图像识别结果；

对所述的车牌视频图像识别结果和车牌静止图像识别结果进行车牌图像筛选处理，输出包括车牌颜色、车牌号码车牌图像和拍摄时间在内的车牌识别结果。

6.一种车牌识别系统，其特征是，所述系统包括：

视频图像单元，用于摄取车牌视频图像，并对摄取的车牌视频图像进行处理获取车牌视频图像识别结果；

静止图像单元，用于检测车辆是否到达静止图像拍摄位置，如果是则发出拍摄触发信号驱动摄像机拍摄所述车牌的静止图像，并对摄取的车牌静止图像进行处理获取车牌静止图像识别结果；

图像筛选单元，用于根据包括识别置信度和车牌位置在内的有效信息，为视频每一帧识别结果进行权值分配，并为静止图像的识别结果分配较高权值，然后根据预定投票规则进行投票，从投票结果中选择最优结果作为车牌识别结果；

图像输出单元，用于输出所述的车牌识别结果。

7.根据权利要求6所述的系统，其特征是，所述的视频图像单元进一步用于摄取车道的视频图像，并将车道视频图像的当前帧图像与上一帧图像作差，根据差图像判断视场内是否有车进入，如果有车进入，则对车牌视频图像进行定位、切割、识别处理，输出车牌视频图像识别结果。

8.根据权利要求6所述的系统，其特征是，所述的静止图像单元进一步用于在拍摄车牌静止图像时，采用闪光灯和/或LED频闪补光灯进行补光； 

并且，对车牌静止图像进行定位、切割、识别处理，输出车牌静止图像识别结果。

9.根据权利要求8所述的系统，其特征是，所述的检测车辆是否到达静止图像拍摄位置包括：线圈感应车辆是否到达静止图像拍摄位置；或视频识别车辆是否到达静止图像拍摄位置。 

Images