CN104392205B - 一种非正常车牌的识别方法和系统 - Google Patents

Abstract

本发明公开了一种非正常车牌的识别方法和系统，所述方法包括如下步骤：步骤10，捕获非正常车牌的图像；步骤20，预处理所述非正常车牌的图像得到滤波图像；步骤30，在滤波图像中检测车体图像；步骤40，在车体图像中定位非正常车牌；步骤50，在车牌区域中分割所述非正常车牌的字符；步骤60，分别设置汉字分类器、字母分类器和数字字母混合分类器，对所述非正常车牌的字符进行识别，对于每一个分类器，分别执行以下操作。本发明能够在非正常的情形下，实时性地对车牌进行识别，并且具体较高的车牌识别精度。

Description

一种非正常车牌的识别方法和系统

技术领域

本发明涉及车牌识别技术领域，具体涉及一种非正常车牌的识别方法和系统。

背景技术

随着信息时代的快速发展，结合信息技术、数据通信传输技术、电子自动控制技术、传感器感应触发技术以及计算机数据处理技术的新型交通道路控制信息——智能交通系统(Intelligent Transportation System，简称ITS)开始被原来越多的国家认可和采用，其对加强公路和道路管理、提高运输效率、减少交通事故、侦查违法违规行为、保障社会稳定等方面都产生了深远的影响。

车牌识别(License Plate Recognition，简称LPR)系统是ITS的重要组成部分，其主要包括车辆图像获取、车牌定位、车牌字符分割和车牌字符识别等四个步骤，其处理流程图如图1所示。目前的LPR系统的基本工作原理是：在公路上安装摄像头，并在摄像头之前的路段铺设地面感应线圈，车辆经过触发感应线圈，启动摄像头拍照；将拍摄的车辆图像传至计算机，通过计算机程序对车牌进行定位和字符分割，最后将分割后的单个字符送入字符识别系统进行识别并输出识别结果。

虽然目前的LPR系统对于正常状态下的车牌识别具有较高的识别精确度，但是对于非正常状态下的车牌识别，例如在恶劣的天气或不良的光线条件下拍摄的模糊图像，或者车牌本身有划痕、污损、断裂等情形而导致车牌字迹模糊、相邻字符粘连、车牌信息部分丢失等，或者拍摄的图像中不止出现一辆车的情形，目前的LPR系统的效果并不十分理想。

本发明针对目前的LPR系统对于非正常状态下的车牌识别效果不理想的问题，提出了一种非正常车牌的识别方法和系统，能够在上述的非正常的情形下，也能够实时性地对车牌进行识别，并且具体较高的车牌识别精度。

发明内容

本发明的目的在于提供一种非正常车牌的识别方法和系统，不仅能够准确读取正常车牌的字符，而且对于非正常车牌同样具有较高的识别率和较快的读取速度。

为了解决上述技术问题，本发明所采用的技术方案为：

一种非正常车牌的识别方法，其特征在于该方法包括如下步骤：

步骤10，捕获非正常车牌的图像；

步骤20，预处理所述非正常车牌的图像得到滤波图像，具体包括：

步骤201，将捕获的彩色图像转变为灰度图像，

步骤202，对灰度图像进行灰度拉伸得到灰度拉伸图像，

步骤203，对灰度拉伸图像进行中值滤波得到滤波图像，

步骤30，在滤波图像中检测车体图像，具体包括：

步骤301，利用公式D_k(x,y)＝|f_k(x,y)-f_k-1(x,y)|²计算差分后的图像D_k(x,y)，其中f_k(x,y)为第K帧滤波图像中的点(x,y)所在的差分区域的灰度均值，所述差分区域为以该点(x,y)为中心的n×n的区域，k为大于等于2的整数，n为大于等于3的整数，

步骤302，对差分后的图像D_k(x,y)二值化后得到二值图像R_k(x,y)，对二值图像R_k(x,y)进行膨胀获得多个连通域，

步骤303，当某一个连通域的面积大于给定的阈值T，则判断该连通域为车体图像，否则，判断该连通域为背景图像；

步骤40，在车体图像中定位非正常车牌，具体包括：

步骤401，对车体图像进行边缘检测得到边缘图像，

步骤402，利用数学形态学对二值化图像进行先腐蚀后膨胀运算，利用连通域分析法在整个图像中搜索白点区的外接矩形，再根据车牌的几何特征精确定位出一个或多个车牌区域；

步骤50，在车牌区域中分割所述非正常车牌的字符，具体包括：

步骤501，初始化，

步骤502，确定连通域的起始点，

步骤503，确定同一连通域的像素集合，

步骤504，确定连通域的终止点，

步骤505，分割各个连通域，形成待识别的非正常车牌的字符；

步骤60，分别设置汉字分类器、字母分类器和数字字母混合分类器，对所述非正常车牌的字符进行识别，对于每一个分类器，分别执行以下操作：

步骤601，确定训练数据，

步骤602，选择核函数，其中，核函数为xc是核函数中心，σ是核函数的宽度范围，

步骤603，确定惩罚因子C和核函数的宽度范围σ，

步骤604，利用训练数据对支持向量机进行训练，

步骤605，利用所述支持向量机对待识别的非正常车牌的字符进行识别。

优选的，在步骤202中利用下述公式计算灰度拉伸图像的灰度，Q(i)＝1.7×P(i)-85，其中Q(i)为灰度拉伸图像的第i个像素的灰度值，P(i)为灰度图像的第i个像素的灰度值，i为灰度图像中像素点的个数。

优选的，步骤401，对车体图像进行边缘检测得到边缘图像具体包括:

步骤4011，利用Canny边缘检测器对滤波图像进行第一次边缘提取，

步骤4012，对滤波图像进行顶帽变换后，用Canny边缘检测器进行第二次边缘提取，

步骤4013，对顶帽变换后的图像进行对数变换后，用Canny边缘检测器进行第三次边缘提取，

步骤4014，将三次边缘提取的结果图像叠加，

步骤4015，对叠加后的图像进行骨架化处理，得到边缘图像。

优选的，步骤501具体包括为每一个车牌区域设置一个与所述车牌区域的像素点一一对应的标记值数组，并将该标记值数组初始化为0，在扫描过程中，标记值为0，表示该像素点未被扫描，标记值为N，表示该像素点已被扫描，并且表示该点在第N个连通域，其中N为大于等于1的整数，

步骤502具体包括顺序扫描所述一个或多个车牌区域，如果该像素点的灰度值为0，则扫描下一个像素点，如果该像素点的值为1并且未被标记，则依次扫描相邻像素的标记值，如果相邻像素的标记值全部为0，则确定当前像素点是新连通域的起始点，其标记值为前一个标记值加1，

步骤503具体包括从起始点开始顺序扫描，当目标像素标记值为N时扫描相邻像素，如果相邻像素中有m个像素点的灰度值为1且未被标记，则这m个像素与当前像素属于同一连通域，标记值都赋为N，而当目标像素标记值不为N时，停止扫描，转到步骤402，其中1＜m≤8，

步骤504具体包括从标记值数组的左上角开始，从左到右，从上到下逐行扫描所述标记值数组的标记值，当找到第一个像素点的标记值为N时，记录该像素点的横坐标为方框左上顶点的横坐标X1；从上到下，从左到右扫描，当找到第一个像素点的标记值为N时，记录该像素点的纵坐标为方框左上顶点的纵坐标Y1；同理，逆向扫描，找出方框的右下顶点的横坐标X2和纵坐标Y2，利用点(X1，Y1)和(X2,Y2)确定出属于同一连通域的矩形区域；依次类推，确定出每一个车牌区域中的各个属于同一连通域的矩形区域，

步骤505具体包括将各个属于同一连通域的矩形区域的左顶点的横坐标值降序排列，从右向左取出6个矩形区域，剩余的矩形区域则为车牌中的汉字字符。

优选的，在步骤505之后步骤60之前，还包括步骤506，将所述待识别的非正常车牌的字符归一化为统一大小。

一种非正常车牌的识别系统，其特征在于该系统包括：

图像捕获设备，用于捕获非正常车牌的图像；

图像预处理设备，用于预处理所述非正常车牌的图像得到滤波图像，其中，所述图像预处理设备具体包括：

灰度变换设备，用于将捕获的彩色图像转变为灰度图像，

灰度拉伸设备，用于对灰度图像进行灰度拉伸得到灰度拉伸图像，

中值滤波设备，用于对灰度拉伸图像进行中值滤波得到滤波图像，

车体图像检测设备，用于在滤波图像中检测车体图像，其中，所述车体图像检测设备具体包括：

差分图像获取设备，用于利用公式D_k(x,y)＝|f_k(x,y)-f_k-1(x,y)|²计算差分后的图像D_k(x,y)，其中f_k(x,y)为第K帧滤波图像中的点(x,y)所在的差分区域的灰度均值，所述差分区域为以该点(x,y)为中心的n×n的区域，k为大于等于2的整数，n为大于等于3的整数，

连通域获取设备，用于对差分后的图像D_k(x,y)二值化后得到二值图像R_k(x,y)，对二值图像R_k(x,y)进行膨胀获得多个连通域，

车体图像获取设备，用于当某一个连通域的面积大于给定的阈值T，则判断该连通域为车体图像，否则，判断该连通域为背景图像；

非正常车牌定位设备，用于在车体图像中定位非正常车牌，所述非正常车牌定位设备具体包括：

边缘检测设备，用于对车体图像进行边缘检测得到边缘图像，

车牌区域确定设备，用于利用数学形态学对二值化图像进行先腐蚀后膨胀运算，利用连通域分析法在整个图像中搜索白点区的外接矩形，再根据车牌的几何特征精确定位出一个或多个车牌区域；

非正常车牌字符分割设备，用于在车牌区域中分割所述非正常车牌的字符，所述非正常车牌字符分割设备具体包括：

初始化设备，用于初始化，

起始点确定设备，用于确定连通域的起始点，

像素集合确定设备，用于确定同一连通域的像素集合，

终止点确定设备，用于确定连通域的终止点，

连通域分割设备，用于分割各个连通域，形成待识别的非正常车牌的字符；

分类器确定设备，用于分别设置汉字分类器、字母分类器和数字字母混合分类器，对所述非正常车牌的字符进行识别，对于每一个分类器，分别包括：

训练数据确定设备，用于确定训练数据，

核函数选择设备，用于选择核函数，其中，核函数为xc是核函数中心，σ是核函数的宽度范围，

参数确定设备，用于确定惩罚因子C和核函数的宽度范围σ，

支持向量基训练设备，用于利用训练数据对支持向量机进行训练，

字符识别设备，用于利用所述支持向量机对待识别的非正常车牌的字符进行识别。

优选的，灰度拉伸设备利用下述公式计算灰度拉伸图像的灰度，Q(i)＝1.7×P(i)-85，其中Q(i)为灰度拉伸图像的第i个像素的灰度值，P(i)为灰度图像的第i个像素的灰度值，i为灰度图像中像素点的个数。

优选的，边缘检测设备具体包括:

第一次边缘提取设备，用于利用Canny边缘检测器对滤波图像进行第一次边缘提取，

第二次边缘提取设备，用于对滤波图像进行顶帽变换后，用Canny边缘检测器进行第二次边缘提取，

第三次边缘提取设备，用于对顶帽变换后的图像进行对数变换后，用Canny边缘检测器进行第三次边缘提取，

结果图像叠加设备，用于将三次边缘提取的结果图像叠加，

骨架化设备，用于对叠加后的图像进行骨架化处理，得到边缘图像。

优选的，初始化设备具体包括数组设置设备，用于为每一个车牌区域设置一个与所述车牌区域的像素点一一对应的标记值数组，并将该标记值数组初始化为0，在扫描过程中，标记值为0，表示该像素点未被扫描，标记值为N，表示该像素点已被扫描，并且表示该点在第N个连通域，其中N为大于等于1的整数，

起始点确定设备具体包括扫描设备，用于顺序扫描所述一个或多个车牌区域，如果该像素点的灰度值为0，则扫描下一个像素点，如果该像素点的值为1并且未被标记，则依次扫描相邻像素的标记值，如果相邻像素的标记值全部为0，则确定当前像素点是新连通域的起始点，其标记值为前一个标记值加1，

像素集合确定设备具体包括标记设备，用于从起始点开始顺序扫描，当目标像素标记值为N时扫描相邻像素，如果相邻像素中有m个像素点的灰度值为1且未被标记，则这m个像素与当前像素属于同一连通域，标记值都赋为N，而当目标像素标记值不为N时，停止扫描，转到步骤402，其中1＜m≤8，

终止点确定设备具体包括坐标记录设备，用于从标记值数组的左上角开始，从左到右，从上到下逐行扫描所述标记值数组的标记值，当找到第一个像素点的标记值为N时，记录该像素点的横坐标为方框左上顶点的横坐标X1；从上到下，从左到右扫描，当找到第一个像素点的标记值为N时，记录该像素点的纵坐标为方框左上顶点的纵坐标Y1；同理，逆向扫描，找出方框的右下顶点的横坐标X2和纵坐标Y2，利用点(X1，Y1)和(X2,Y2)确定出属于同一连通域的矩形区域；依次类推，确定出每一个车牌区域中的各个属于同一连通域的矩形区域，

连通域分割设备具体包括排序设备，用于将各个属于同一连通域的矩形区域的左顶点的横坐标值降序排列，从右向左取出6个矩形区域，剩余的矩形区域则为车牌中的汉字字符。

优选的，非正常车牌字符分割设备还包括归一化设备，用于将所述待识别的非正常车牌的字符归一化为统一大小。

优选的，所述C的大小为238，σ²的大小为1044。

与现有技术相比，本发明采用对灰度图像进行灰度拉伸的方式，从而区别开了车牌区域和非车牌区域，增加了其对比度；采用改进的帧差法进行车体检测，不仅能在保证车体检测实时性的前提下提高车体检测的精确度，还能够同时检测出多个车辆；采用基于Canny算子，将原始图像、顶帽变换和对数变换后的图像边缘检测结果叠加并进行骨架化处理，实现了对图像边缘尤其是弱边缘的提取；采用改进的连通域分析法，其简单便捷的对连通域进行标记的方式能够快速、准确地对非正常车牌的字符进行分割；采用三个分类器对车牌字符进行精细识别，不仅提高了非正常车牌字符识别的速度，还提高了识别的精确度。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明所述的非正常车牌的识别方法的流程图；

图2是预处理所述非正常车牌的图像得到滤波图像的方法流程图；

图3是在滤波图像中检测车体图像的方法流程图；

图4是在车体图像中定位非正常车牌的方法流程图；

图5是在车牌区域中分割所述非正常车牌的字符的方法流程图

图6是对非正常车牌的字符进行识别的方法流程图；

图7a是未标记的二值图像；

图7b是标记后的二值图像；

图8是非正常车牌的识别系统的框图；

图9是图像预处理设备的框图；

图10是车体图像检测设备的框图；

图11是非正常车牌定位设备的框图；

图12是非正常车牌字符分割设备的框图；

图13是分类器确定设备的框图；

图14是常见的单层车牌样式；

图15是目前的车牌识别系统的处理流程图。

具体实施方式

在对本发明的非正常车牌的识别方法和系统进行详细阐述之前，参照我国公安部颁布的《中华人民共和国机动车号牌》(GA36—2007)以及附图14对我国机动车号牌的特征做以下描述：

外廓尺寸。我国车牌的外廓尺寸根据车型的不同有所差别，有的机动车前后车牌的外廓尺寸亦有所差异。最常车牌外廓尺寸的是440mmxl40mm，其长宽比例近似3：l，包括小型汽车、使馆汽车、领馆汽车、港澳出入境汽车、教练汽车、警用汽车的前后车牌以及大型汽车的前车牌，而挂车车牌和大型车的后车牌的外廓尺寸为440mm×220mm。

颜色特征。为了增加车牌识别度，车牌的背景色和字符颜色的对比度比较强烈。小型汽车一般采用蓝底白字车牌，这也是道路上最常见的车牌颜色，而大型汽车、挂车和教练汽车一般采用黄底黑字车牌，警用汽车一般是白底黑字车牌，涉外汽车一般采用黑底白字车牌。

字符特征。我国车牌的字符布局有单行和双行之分。一般外廓尺寸为440ram×140mm的是单行字符，外廓尺寸为440mm×220mm的是双行字符，我国车牌一般由7个字符组成，从左向右，第一个字符是各省、自治区、直辖市的简称，第二个字符是发牌机关代号，第三到第六个字符是数字或者除了0和I以外的英文字母，第七位是数字、除了0和I以外的英文字母或者号牌分类用汉字如“挂”、“学”、“警”、‘颌”、“使”、“港”、“澳”等。

目前，国内市场上已经有许多较为成熟的车牌识别系统，附图15示出了目前的车牌识别系统的工作流程图，其包括车牌图像采集、图像预处理、车牌定位、车牌字符分割和车牌字符识别等几个步骤，具体为：当检测设备检测到有车辆到达时，触发图像采集设备采集车辆的图像或视频，图像处理设备对图像或视频帧进行灰度化，车牌定位设备对灰度化后的图像进行边缘检测、二值化以及车牌定位，字符分割设备对车牌定位图像进行字符分割，字符识别设备对分割后的字符进行识别。

目前的车牌识别系统在条件良好的情况下识别的准确率基本可以达到95％以上，基本满足市场的使用需求。但是，在恶劣的条件下，目前的车牌识别系统的识别率会急剧下降，例如在复杂的背景下可能存在多个车辆的干扰，例如受车牌污斑或剥落等因素的影响，车牌图像会有较大的噪声干扰，图像二值化过程中会有部分信息丢失，造成待分割的车牌字符的字迹模糊，相邻字符粘连，甚至残缺不全，这些因素会严重影响字符分割的效果；此外，我国的车牌中不仅有英文字母和阿拉伯数字，还包含笔划繁杂的汉字，导致其识别难度比仅对字母、数字的识别大得多，加上国内部分道路条件差，车牌污染比较严重，而且实际应用的车辆牌照会受到泥、油、漆等影响，车牌字符往往会有断裂现象，同时车牌制作工艺的不规范也会出现字符变浅、变模糊，这些因素会导致车牌识别的精度不高。

实施例一

本发明所述的非正常车牌的识别方法，其能够对非正常的车牌图像或视频获得实时性、高精确度的车牌识别结果。其具体方法流程如图1所示。

步骤10，捕获非正常车牌的图像。可以采用普通的照相机、摄像机或摄像头来捕获非正常车牌的图像。为了获得高质量的视频或图像，也可以利用具有LED补光灯和滤光灯的高清摄像头来捕获非正常车牌的图像，其采用环境光线动态跟踪技术和局部亮度反馈闭环控制技术来智能地调节摄像机的曝光参数，以适应恶劣的环境、气候或光照变换，全天候都可以拍摄到最清晰的图像。在夜间环境下，自动开启补光灯，并且能够有效抑制车灯眩光及图像噪声，使车牌清晰可辨，从而提高了车牌识别的准确度。

步骤20，预处理所述非正常车牌的图像得到滤波图像。如图2所示为预处理所述非正常车牌的图像得到滤波图像的方法流程图，具体包括：

步骤201，将捕获的彩色图像转变为灰度图像。在车牌识别系统中，需要突出对图像感兴趣的区域，由于彩色图像的背景比较复杂，并且数据量巨大，通常都需要先将彩色图像转变为灰度图像。

步骤202，对灰度图像进行灰度拉伸得到灰度拉伸图像。在对非正常的车牌图像灰度化处理之后，由于目标区域与干扰区域的灰度变化并不十分强烈，如果对这样的灰度图像直接进行后续的处理，则会导致滤波和边缘提取的效果不明显，从而造成车牌识别的结果不理想，因此本发明采用对灰度图像进行灰度拉伸的方式，从而区别开了车牌区域和非车牌区域，增加了其对比度。本发明利用下述公式(1)计算灰度拉伸图像的灰度：

Q(i)＝1.7×P(i)-85 公式(1)

其中Q(i)为灰度拉伸图像的第i个像素的灰度值，P(i)为灰度图像的第i个像素的灰度值，i为灰度图像中像素点的个数，参数1.7和85是根据经验值得出。

步骤203，对灰度拉伸图像进行中值滤波得到滤波图像。本发明采用中值滤波对灰度拉伸图像中的噪声点进行滤除，可以根据滤波的效果采用滤波窗口的大小，使得滤波的结果能够保留图像目标区域的灰度跳变。

步骤30，在滤波图像中检测车体图像。对于车牌识别，为了更准确的定位车牌，一般先进行车体检测。车体检测的方法很多，但是现有技术中如果追求车体检测的精确度，往往就牺牲了车体检测的速度，如果追求车体检测的实时性要求，又往往出现车体检测的精确度不高的问题。本发明提出了一种能够在保证实时性的前提下，大大提高车体检测的精确度的车体检测方法，采用本发明所述的改进的帧差法进行车体检测，不仅能在保证车体检测实时性的前提下提高车体检测的精确度，还能够同时检测出多个车辆。如图3所示为在滤波图像中检测车体图像的方法流程图，具体包括：

步骤301，计算差分后的图像D_k(x,y)。发明所述的车体检测方法采用以点为中心的基于块差分的变化检测，并取差分的平方，以加强运动像素与非运动像素的灰度反差。本发明采用以点为中心的3x3框架作为差分区域，取该区域的灰度均值做差分，所述差分过程如公式(2)所示：

D_k(x,y)＝|f_k(x,y)-f_k-1(x,y)|² 公式(2)

其中，D_k(x,y)为差分后的图像，f_k(x,y)为第K帧滤波图像中的点(x,y)所在的差分区域的灰度均值，所述差分区域为以该点(x,y)为中心的n×n的区域，k为大于等于2的整数，n为大于等于3的整数。

步骤302，对差分后的图像D_k(x,y)二值化后得到二值图像R_k(x,y)，对二值图像R_k(x,y)进行膨胀获得多个连通域。

步骤303，当某一个连通域的面积大于给定的阈值T，则判断该连通域为车体图像，否则，判断该连通域为背景图像。其中，根据经验值获得所述阈值T，并且能够通用于各种车辆。

步骤40，在车体图像中定位非正常车牌。车牌区域的定位就是指在车体图像中进一步确定车牌在车体图像中的准确位置，如图4所示为在车体图像中定位非正常车牌的方法流程图，具体包括：

步骤401，对车体图像进行边缘检测得到边缘图像。

非正常车牌定位过程中首先就需要进行非正常车牌的边缘检测。目前常用的边缘检测算子有很多，其中，Roberts(罗伯特)算子定位的边缘精度高，但是没有去噪功能，Sobel(索贝尔)、Prewitt(普瑞维特)算子能够对图像进行平滑处理，但容易制造虚假的边缘，Laplacian(拉普拉斯)算子对噪声十分敏感，但抗噪能力较弱，易造成边缘不连贯，相对前述算子，Canny(凯尼)算子寻找图像梯度的局部最大值，由于不同图像受到的噪声影响不同，Canny算子遵循最优边缘检测，是一种抗噪和定位精确的折衷选择。但Canny算子对一些灰度差很小的弱边缘检测依然存在一定的局限性，在抑制噪声的同时容易丢失小目标细节。本发明中所述的边缘检测算法，基于Canny算子，将原始图像、顶帽变换和对数变换后的图像边缘检测结果叠加并进行骨架化处理，实现了对图像边缘尤其是弱边缘的提取。

本发明所述的对车体图像进行边缘检测得到边缘图像具体包括：

步骤4011，利用Canny边缘检测器对滤波图像进行第一次边缘提取。

步骤4012，对滤波图像进行顶帽变换后，用Canny边缘检测器进行第二次边缘提取。顶帽变换是基于数学形态学的一种图像处理方式，其是从原图中减去开运算后的图像，其中，开运算可以用于补偿不均匀的背景亮度。

步骤4013，对顶帽变换后的图像进行对数变换后，用Canny边缘检测器进行第三次边缘提取。

步骤4014，将三次边缘提取的结果图像叠加。

步骤4015，对叠加后的图像进行骨架化处理，得到边缘图像。骨架化是将二值图像中的对象约简为一组细骨架，这些细骨架仍保留原始对象形状的重要信息。骨架化能从图像中抽取出模式的特征信息，大量消除冗余数据。

在通过上述方式获得边缘图像后，进入到附图4所示的在车体图像中定位非正常车牌的方法的下述步骤：

步骤402，利用数学形态学对二值化图像进行先腐蚀后膨胀运算，利用连通域分析法在整个图像中搜索白点区的外接矩形，再根据车牌的几何特征精确定位出一个或多个车牌区域。数学形态学的基本运算包括:1)膨胀:在二值图像中“加长”或“变粗”的操作，其可以填充图像中的小孔(相对于结构元素而言比较小的孔洞)及在图像边缘出现的小的凹陷部分；2)腐蚀:“收缩”或“细化”二值图像中的对象，可以消除图像中小的成分；3)开运算:先腐蚀后膨胀的过程，具有消除细小物体，在纤细处分离物体和平滑较大物体边界的作用；4)闭运算:先膨胀后腐蚀的过程，具有填充物体内细小孔洞，连接临近物体和平滑边界的作用。数学形态学的应用能简化图像数据，保持图像基本的形态特征，并去除不相干的结构。

步骤50，在车牌区域中分割所述非正常车牌的字符。

车牌字符分割是车牌识别系统非常重要的一部分，其直接决定最终的字符识别精确度。目前常用的车牌字符分割方法主要有：1)投影法是目前字符分割最常用的方法，该方法简单直观，利用了字符之间存在的固有空隙。如果车牌区域比较规则，字迹比较清晰，该方法可以取得良好的效果，而且算法实现简单快速，但是如果车牌区域的字符出现模糊，缺损或粘连等情况，在垂直方向上投影后会出现较多的波峰波谷或者波峰波谷不明显，这样可能就无法区分出字符和字符间的空隙，该方法就无法正确分割；2)模板匹配法利用了车牌字符结构相对固定的特点，利用车牌字符和空隙比例相对固定的先验知识设计出一个字符宽度和间隔宽度的模板，然后将该模板在车牌区域内滑动，求出字符模板内的像素和间隔模板内像素的比例或差值，比例或差值在一定区域内取极大值时为字符的分割点。模板匹配法在一定程度上能够解决车牌受损、字符断裂或粘连等问题，但是模板匹配法也会出现分割位置不准确的问题，如果模板不准确会直接导致分割错误；3)连通域分析法的基本思想是将相互连通的区域看成一个整体，车牌区域通常由7个字符组成，汉字有可能存在多个连通区域，但是字母和数字正常情况下都是连通的。这样可以通过在二值图像上搜寻连通区域，并得到连通区域的外接矩形，正常情况下汉字区域外可以得到6个连通区域即可分割出6个字符，汉字区域可以结合车牌区域的先验知识确定出，从而完成车牌区域的字符分割。连通域分析法具有很高的鲁棒性，但是算法设计较复杂，处理速度比较慢。

本发明提出了一种改进的连通域分析法，其简单便捷的对连通域进行标记的方式能够快速、准确地对非正常车牌的字符进行分割，如图5所示为在车牌区域中分割所述非正常车牌的字符的方法流程图，具体包括：

步骤501，初始化，具体包括为对于每一个车牌区域设置一个与所述车牌区域的像素点一一对应的标记值数组，并将该标记值数组初始化为0，在扫描过程中，标记值为0，表示该像素点未被扫描，标记值为N，表示该像素点已被扫描，并且表示该点在第N个连通域，其中N为大于等于1的整数，

步骤502，确定连通域的起始点，具体包括顺序扫描所述一个或多个车牌区域，如果该像素点的灰度值为0，则扫描下一个像素点，如果该像素点的值为1并且未被标记，则依次扫描相邻像素的标记值，如果相邻像素的标记值全部为0，则确定当前像素点是新连通域的起始点，其标记值为前一个标记值加1，

步骤503，确定同一连通域的像素集合，具体包括从起始点开始顺序扫描，当目标像素标记值为N时扫描相邻像素，如果相邻像素中有m个像素点的灰度值为1且未被标记，则这m个像素与当前像素属于同一连通域，标记值都赋为N，而当目标像素标记值不为N时，停止扫描，转到步骤402，其中1＜m≤8，如图7a所示为没有标记的二值图像，图7b所示为标记后的二值图像，

步骤504，确定连通域的终止点，具体包括从标记值数组的左上角开始，从左到右，从上到下逐行扫描所述标记值数组的标记值，当找到第一个像素点的标记值为N时，记录该像素点的横坐标为方框左上顶点的横坐标X1；从上到下，从左到右扫描，当找到第一个像素点的标记值为N时，记录该像素点的纵坐标为方框左上顶点的纵坐标Y1；同理，逆向扫描，找出方框的右下顶点的横坐标X2和纵坐标Y2，利用点(X1，Y1)和(X2,Y2)确定出属于同一连通域的矩形区域；依次类推，确定出每一个车牌区域中的各个属于同一连通域的矩形区域，

步骤505，分割各个连通域，形成待识别的非正常车牌的字符，具体包括将各个属于同一连通域的矩形区域的左顶点的横坐标值降序排列，从右向左取出6个矩形区域，剩余的矩形区域则为车牌中的汉字字符。

车牌字符识别就是要准确识别从车牌中分割出来的所有字符，它是整个车牌识别算法中的最后一个步骤，也是至关重要的一个步骤。

目前用于车牌字符识别的算法主要有以下几种：1)基于模板匹配的字符识别，此算法是将归一化的二值图像与模板库中的字符逐一进行匹配，取相似度最高的为识别结果。该算法识别速度较快，简单易行，但受光照、噪声、字符清晰度、严重变形、模板库大小等影响而失效，因此在实际中常常与其他方法进行结合使用；2)基于神经网络的字符识别，此算法模拟人脑功能结构，利用训练好的记忆模型来实现字符的识别，目前通常采用BP算法来实现字符的识别。该算法的缺点主要是其训练收敛速度慢，容易陷入过学习的问题；3)基于支持向量机(SVM)的字符识别，此算法是先通过提取字符特征，利用特征来训练核函数，从而得出优化模型，最后利用其对测试集进行识别判定。与传统方法相比，基于支持向量机的字符识别方法可使“误差积累”明显降低，分类质量得到很大提高。

本发明提出的基于支持向量基的非正常车牌的字符识别方法，其采用非线性的径向基核函数，并且针对车牌字符的特点，采用三个分类器对车牌字符进行精细识别，不仅提高了非正常车牌字符识别的速度，还提高了识别的精确度。如图6所示的非正常车牌的字符进行识别的方法流程图，具体包括：

步骤60，分别设置汉字分类器、字母分类器和数字字母混合分类器，对所述非正常车牌的字符进行识别，对于每一个分类器，分别执行以下操作：

步骤601，确定训练数据，

步骤602，选择核函数，其中，核函数为

公式(3)

其中，xc是核函数中心，σ是核函数的宽度范围，

步骤603，确定惩罚因子C和核函数的宽度范围σ，本发明中，根据经验值将所述C的大小设置为238，σ²的大小设置为1044。

步骤604，利用训练数据对支持向量机进行训练，

步骤605，利用所述支持向量机对待识别的非正常车牌的字符进行识别。

为了能够获得更高的识别精确度，在步骤60之前，还包括步骤506，将所述待识别的非正常车牌的字符归一化为统一大小。

实施例二

除了上述描述的非正常车牌的识别方法，本发明还提出了一种非正常车牌的识别系统，系统框图如附图8所示。

如图8所示，本发明提出的非正常车牌的识别系统包括：图像捕获设备10，用于捕获非正常车牌的图像；图像预处理设备20，用于预处理所述非正常车牌的图像得到滤波图像；车体图像检测设备30，用于在滤波图像中检测车体图像；非正常车牌定位设备40，用于在车体图像中定位非正常车牌；非正常车牌字符分割设备50，用于在车牌区域中分割所述非正常车牌的字符；分类器确定设备60，用于分别设置汉字分类器、字母分类器和数字字母混合分类器，对所述非正常车牌的字符进行识别。

如图9所示，所述图像预处理设备20具体包括：灰度变换设备201，用于将捕获的彩色图像转变为灰度图像；灰度拉伸设备202，用于对灰度图像进行灰度拉伸得到灰度拉伸图像；中值滤波设备203，用于对灰度拉伸图像进行中值滤波得到滤波图像。

如图10所示，所述车体图像检测设备30具体包括：差分图像获取设备301，用于利用公式D_k(x,y)＝|f_k(x,y)-f_k-1(x,y)|²计算差分后的图像D_k(x,y)，其中f_k(x,y)为第K帧滤波图像中的点(x,y)所在的差分区域的灰度均值，所述差分区域为以该点(x,y)为中心的n×n的区域，k为大于等于2的整数，n为大于等于3的整数；连通域获取设备302，用于对差分后的图像D_k(x,y)二值化后得到二值图像R_k(x,y)，对二值图像R_k(x,y)进行膨胀获得多个连通域；车体图像获取设备303，用于当某一个连通域的面积大于给定的阈值T，则判断该连通域为车体图像，否则，判断该连通域为背景图像。

如图11所示，所述非正常车牌定位设备40具体包括：边缘检测设备401，用于对车体图像进行边缘检测得到边缘图像；车牌区域确定设备402，用于利用数学形态学对二值化图像进行先腐蚀后膨胀运算，利用连通域分析法在整个图像中搜索白点区的外接矩形，再根据车牌的几何特征精确定位出一个或多个车牌区域；

如图12所示，所述非正常车牌字符分割设备50具体包括：初始化设备501，用于初始化；起始点确定设备502，用于确定连通域的起始点；像素集合确定设备503，用于确定同一连通域的像素集合；终止点确定设备504，用于确定连通域的终止点；连通域分割设备505，用于分割各个连通域，形成待识别的非正常车牌的字符。

如图13所示，对于每一个分类器，分别包括：训练数据确定设备601，用于确定训练数据；核函数选择设备602，用于选择核函数，其中，核函数为xc是核函数中心，σ是核函数的宽度范围；参数确定设备603，用于确定惩罚因子C和核函数的宽度范围σ；支持向量基训练设备604，用于利用训练数据对支持向量机进行训练；字符识别设备605，用于利用所述支持向量机对待识别的非正常车牌的字符进行识别。

此外，边缘检测设备401可以具体包括:第一次边缘提取设备，用于利用Canny边缘检测器对滤波图像进行第一次边缘提取；第二次边缘提取设备，用于对滤波图像进行顶帽变换后，用Canny边缘检测器进行第二次边缘提取；第三次边缘提取设备，用于对顶帽变换后的图像进行对数变换后，用Canny边缘检测器进行第三次边缘提取；结果图像叠加设备，用于将三次边缘提取的结果图像叠加；骨架化设备，用于对叠加后的图像进行骨架化处理，得到边缘图像。

初始化设备501具体包括数组设置设备，用于为每一个车牌区域设置一个与所述车牌区域的像素点一一对应的标记值数组，并将该标记值数组初始化为0，在扫描过程中，标记值为0，表示该像素点未被扫描，标记值为N，表示该像素点已被扫描，并且表示该点在第N个连通域，其中N为大于等于1的整数，

起始点确定设备502具体包括扫描设备，用于顺序扫描所述一个或多个车牌区域，如果该像素点的灰度值为0，则扫描下一个像素点，如果该像素点的值为1并且未被标记，则依次扫描相邻像素的标记值，如果相邻像素的标记值全部为0，则确定当前像素点是新连通域的起始点，其标记值为前一个标记值加1，

像素集合确定设备503具体包括标记设备，用于从起始点开始顺序扫描，当目标像素标记值为N时扫描相邻像素，如果相邻像素中有m个像素点的灰度值为1且未被标记，则这m个像素与当前像素属于同一连通域，标记值都赋为N，而当目标像素标记值不为N时，停止扫描，转到步骤402，其中1＜m≤8，

终止点确定设备504具体包括坐标记录设备，用于从标记值数组的左上角开始，从左到右，从上到下逐行扫描所述标记值数组的标记值，当找到第一个像素点的标记值为N时，记录该像素点的横坐标为方框左上顶点的横坐标X1；从上到下，从左到右扫描，当找到第一个像素点的标记值为N时，记录该像素点的纵坐标为方框左上顶点的纵坐标Y1；同理，逆向扫描，找出方框的右下顶点的横坐标X2和纵坐标Y2，利用点(X1，Y1)和(X2,Y2)确定出属于同一连通域的矩形区域；依次类推，确定出每一个车牌区域中的各个属于同一连通域的矩形区域，

连通域分割设备505具体包括排序设备，用于将各个属于同一连通域的矩形区域的左顶点的横坐标值降序排列，从右向左取出6个矩形区域，剩余的矩形区域则为车牌中的汉字字符。

非正常车牌字符分割设备50还可以包括归一化设备，用于将所述待识别的非正常车牌的字符归一化为统一大小。

应当理解的是，以上所述仅为本发明的较佳实施例而已，并不足以限制本发明的技术方案，对本领域普通技术人员来说，在本发明的精神和原则之内，可以根据上述说明加以增减、替换、变换或改进，而所有这些增减、替换、变换或改进后的技术方案，都应属于本发明所附权利要求的保护范围。

Claims (3)

1.一种非正常车牌的识别方法，其特征在于该方法包括如下步骤：

步骤10，利用具有LED补光灯和滤光灯的高清摄像头来捕获非正常车牌的图像；

步骤20，预处理所述非正常车牌的图像得到滤波图像，具体包括：

步骤201，将捕获的彩色图像转变为灰度图像，

步骤202，对灰度图像进行灰度拉伸得到灰度拉伸图像，具体为利用下述公式计算灰度拉伸图像的灰度，Q(i)＝1.7×P(i)-85，其中Q(i)为灰度拉伸图像的第i个像素的灰度值，P(i)为灰度图像的第i个像素的灰度值，i为灰度图像中像素点的个数，

步骤203，对灰度拉伸图像进行中值滤波得到滤波图像；

步骤30，在滤波图像中检测车体图像，具体包括：

步骤301，利用公式D_k(x,y)＝|f_k(x,y)-f_k-1(x,y)|²计算差分后的图像D_k(x,y)，其中f_k(x,y)为第k帧滤波图像中的点(x,y)所在的差分区域的灰度均值，所述差分区域为以该点(x,y)为中心的n×n的区域，k为大于等于2的整数，n为大于等于3的整数，

步骤302，对差分后的图像D_k(x,y)二值化后得到二值图像R_k(x,y)，对二值图像R_k(x,y)进行膨胀获得多个连通域，

步骤303，当某一个连通域的面积大于给定的阈值T，则判断该连通域为车体图像，否则，判断该连通域为背景图像；

步骤40，在车体图像中定位非正常车牌，具体包括：

步骤401，对车体图像进行边缘检测得到边缘图像，具体包括:

步骤4011，利用Canny边缘检测器对滤波图像进行第一次边缘提取，

步骤4012，对滤波图像进行顶帽变换后，用Canny边缘检测器进行第二次边缘提取，

步骤4013，对顶帽变换后的图像进行对数变换后，用Canny边缘检测器进行第三次边缘提取，

步骤4014，将三次边缘提取的结果图像叠加，

步骤4015，对叠加后的图像进行骨架化处理，得到边缘图像；

步骤402，利用数学形态学对二值化图像进行先腐蚀后膨胀运算，利用连通域分析法在整个图像中搜索白点区的外接矩形，再根据车牌的几何特征精确定位出一个或多个车牌区域；

步骤50，在车牌区域中分割所述非正常车牌的字符，具体包括：

步骤501，初始化，具体包括为每一个车牌区域设置一个与所述车牌区域的像素点一一对应的标记值数组，并将该标记值数组初始化为0，在扫描过程中，标记值为0，表示该像素点未被扫描，标记值为N，表示该像素点已被扫描，并且表示该点在第N个连通域，其中N为大于等于1的整数，

步骤502，确定连通域的起始点，具体包括顺序扫描所述一个或多个车牌区域，如果该像素点的灰度值为0，则扫描下一个像素点，如果该像素点的值为1并且未被标记，则依次扫描相邻像素的标记值，如果相邻像素的标记值全部为0，则确定当前像素点是新连通域的起始点，其标记值为前一个标记值加1，

步骤503，确定同一连通域的像素集合，具体包括从起始点开始顺序扫描，当目标像素标记值为N时扫描相邻像素，如果相邻像素中有m个像素点的灰度值为1且未被标记，则这m个像素与当前像素属于同一连通域，标记值都赋为N，而当目标像素标记值不为N时，停止扫描，转到步骤402，其中1＜m≤8，

步骤504，确定连通域的终止点，具体包括从标记值数组的左上角开始，从左到右，从上到下逐行扫描所述标记值数组的标记值，当找到第一个像素点的标记值为N时，记录该像素点的横坐标为方框左上顶点的横坐标X1；从上到下，从左到右扫描，当找到第一个像素点的标记值为N时，记录该像素点的纵坐标为方框左上顶点的纵坐标Y1；同理，逆向扫描，找出方框的右下顶点的横坐标X2和纵坐标Y2，利用点(X1，Y1)和(X2,Y2)确定出属于同一连通域的矩形区域；依次类推，确定出每一个车牌区域中的各个属于同一连通域的矩形区域，

步骤505，分割各个连通域，形成待识别的非正常车牌的字符，具体包括将各个属于同一连通域的矩形区域的左顶点的横坐标值降序排列，从右向左取出6个矩形区域，剩余的矩形区域则为车牌中的汉字字符；

步骤60，分别设置汉字分类器、字母分类器和数字字母混合分类器，对所述非正常车牌的字符进行识别，对于每一个分类器，分别执行以下操作：

步骤601，确定训练数据，

步骤602，选择核函数，其中，核函数为xc是核函数中心，σ是核函数的宽度范围，

步骤603，确定惩罚因子C和核函数的宽度范围σ，所述C的大小为238，σ²的大小为1044，

步骤604，利用训练数据对支持向量机进行训练，

步骤605，利用所述支持向量机对待识别的非正常车牌的字符进行识别。

2.根据权利要求1所述的非正常车牌的识别方法，其特征在于：在步骤505之后步骤60之前，还包括步骤506，将所述待识别的非正常车牌的字符归一化为统一大小。

3.一种非正常车牌的识别系统，其特征在于该系统包括：图像捕获设备、图像预处理设备、车体图像检测设备、非正常车牌定位设备、非正常车牌字符分割设备、分类器确定设备，其中：

图像捕获设备，用于捕获非正常车牌的图像，所述图像捕获设备为具有LED补光灯和滤光灯的高清摄像头；

图像预处理设备，用于预处理所述非正常车牌的图像得到滤波图像，所述图像预处理设备具体包括灰度变换设备、灰度拉伸设备、中值滤波设备，其中：

灰度变换设备，用于将捕获的彩色图像转变为灰度图像，

灰度拉伸设备，用于对灰度图像进行灰度拉伸得到灰度拉伸图像，具体为灰度拉伸设备利用下述公式计算灰度拉伸图像的灰度，Q(i)＝1.7×P(i)-85，其中Q(i)为灰度拉伸图像的第i个像素的灰度值，P(i)为灰度图像的第i个像素的灰度值，i为灰度图像中像素点的个数，

中值滤波设备，用于对灰度拉伸图像进行中值滤波得到滤波图像，

车体图像检测设备，用于在滤波图像中检测车体图像，所述车体图像检测设备具体包括：差分图像获取设备、连通域获取设备、车体图像获取设备，其中：

差分图像获取设备，用于利用公式D_k(x,y)＝|f_k(x,y)-f_k-1(x,y)|²计算差分后的图像D_k(x,y)，其中f_k(x,y)为第k帧滤波图像中的点(x,y)所在的差分区域的灰度均值，所述差分区域为以该点(x,y)为中心的n×n的区域，k为大于等于2的整数，n为大于等于3的整数，

连通域获取设备，用于对差分后的图像D_k(x,y)二值化后得到二值图像R_k(x,y)，对二值图像R_k(x,y)进行膨胀获得多个连通域，

车体图像获取设备，用于当某一个连通域的面积大于给定的阈值T，则判断该连通域为车体图像，否则，判断该连通域为背景图像；

非正常车牌定位设备，用于在车体图像中定位非正常车牌，所述非正常车牌定位设备具体包括边缘检测设备、车牌区域确定设备，其中：

边缘检测设备，用于对车体图像进行边缘检测得到边缘图像，边缘检测设备具体包括第一次边缘提取设备、第二次边缘提取设备、第三次边缘提取设备、结果图像叠加设备、骨架化设备，其中：

第一次边缘提取设备，用于利用Canny边缘检测器对滤波图像进行第一次边缘提取，

第二次边缘提取设备，用于对滤波图像进行顶帽变换后，用Canny边缘检测器进行第二次边缘提取，

第三次边缘提取设备，用于对顶帽变换后的图像进行对数变换后，用Canny边缘检测器进行第三次边缘提取，

结果图像叠加设备，用于将三次边缘提取的结果图像叠加，

骨架化设备，用于对叠加后的图像进行骨架化处理，得到边缘图像；

车牌区域确定设备，用于利用数学形态学对二值化图像进行先腐蚀后膨胀运算，利用连通域分析法在整个图像中搜索白点区的外接矩形，再根据车牌的几何特征精确定位出一个或多个车牌区域；

非正常车牌字符分割设备，用于在车牌区域中分割所述非正常车牌的字符，所述非正常车牌字符分割设备具体包括初始化设备、起始点确定设备、像素集合确定设备、终止点确定设备、连通域分割设备，其中：

初始化设备，用于初始化，初始化设备具体包括数组设置设备，用于为每一个车牌区域设置一个与所述车牌区域的像素点一一对应的标记值数组，并将该标记值数组初始化为0，在扫描过程中，标记值为0，表示该像素点未被扫描，标记值为N，表示该像素点已被扫描，并且表示该点在第N个连通域，其中N为大于等于1的整数，

起始点确定设备，用于确定连通域的起始点，起始点确定设备具体包括扫描设备，用于顺序扫描所述一个或多个车牌区域，如果该像素点的灰度值为0，则扫描下一个像素点，如果该像素点的值为1并且未被标记，则依次扫描相邻像素的标记值，如果相邻像素的标记值全部为0，则确定当前像素点是新连通域的起始点，其标记值为前一个标记值加1，

像素集合确定设备，用于确定同一连通域的像素集合，像素集合确定设备具体包括标记设备，用于从起始点开始顺序扫描，当目标像素标记值为N时扫描相邻像素，如果相邻像素中有m个像素点的灰度值为1且未被标记，则这m个像素与当前像素属于同一连通域，标记值都赋为N，而当目标像素标记值不为N时，停止扫描，转到步骤402，其中1＜m≤8，

终止点确定设备，用于确定连通域的终止点，终止点确定设备具体包括坐标记录设备，用于从标记值数组的左上角开始，从左到右，从上到下逐行扫描所述标记值数组的标记值，当找到第一个像素点的标记值为N时，记录该像素点的横坐标为方框左上顶点的横坐标X1；从上到下，从左到右扫描，当找到第一个像素点的标记值为N时，记录该像素点的纵坐标为方框左上顶点的纵坐标Y1；同理，逆向扫描，找出方框的右下顶点的横坐标X2和纵坐标Y2，利用点(X1，Y1)和(X2,Y2)确定出属于同一连通域的矩形区域；依次类推，确定出每一个车牌区域中的各个属于同一连通域的矩形区域，

连通域分割设备，用于分割各个连通域，形成待识别的非正常车牌的字符，连通域分割设备具体包括排序设备，用于将各个属于同一连通域的矩形区域的左顶点的横坐标值降序排列，从右向左取出6个矩形区域，剩余的矩形区域则为车牌中的汉字字符；

分类器确定设备，用于分别设置汉字分类器、字母分类器和数字字母混合分类器，对所述非正常车牌的字符进行识别，对于每一个分类器，分别包括：

训练数据确定设备，用于确定训练数据，

核函数选择设备，用于选择核函数，其中，核函数为xc是核函数中心，σ是核函数的宽度范围，

参数确定设备，用于确定惩罚因子C和核函数的宽度范围σ，所述C的大小为238，σ²的大小为1044，

支持向量基训练设备，用于利用训练数据对支持向量机进行训练，

字符识别设备，用于利用所述支持向量机对待识别的非正常车牌的字符进行识别。