CN103136528A - 一种基于双边缘检测的车牌识别方法 - Google Patents

Abstract

本发明涉及一种基于双边缘检测的车牌识别方法，包括以下步骤：1)车牌定位；2)车牌字符分割；3)车牌字符识别。与现有技术相比，本发明具有识别精度高等优点。

Description

一种基于双边缘检测的车牌识别方法

技术领域

本发明涉及一种车牌识别方法，尤其是涉及一种基于双边缘检测的车牌识别方法。 

背景技术

近年来我国的公路交通事业发展迅速，人工管理方式已经不能满足实际的需要，微电子、通信和计算机技术在交通领域的应用极大地提高了交通管理效率。汽车车牌识别(Vehicle License Plate Recognition，VLPR)是现代智能交通系统中的重要组成部分之一，应用十分广泛。它是以数字图像处理、模式识别、计算机视觉等技术为基础，对摄像机所拍摄的车辆图像或者视频序列进行分析，得到每一辆汽车唯一的车牌号码，从而完成识别过程。通过一些后续处理手段可以实现停车场收费管理，交通流量控制指标测量，车辆定位，汽车防盗，高速公路超速自动化监管等功能。对于维护交通安全和城市治安，防止交通堵塞，实现交通自动化管理及智慧城市等有着现实的意义。但是现有的车牌识别方法普遍存在识别精度低、识别效率低等优点。 

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种识别精度高的基于双边缘检测的车牌识别方法。 

本发明的目的可以通过以下技术方案来实现： 

一种基于双边缘检测的车牌识别方法，其特征在于，包括以下步骤： 

1)车牌定位； 

2)车牌字符分割； 

3)车牌字符识别。 

所述的步骤1)车牌定位具体包括以下步骤； 

11)对原始图片采用纵向Sobel算子进行边缘提取，执行步骤12)； 

12)采用较大的膨胀腐蚀算子对步骤11)处理后的图片进行腐蚀膨胀处理，计算连通域，获取可能的车牌区域，执行步骤13)； 

13)采用Sobel算子对步骤12)处理后的图片进行边缘提取，执行步骤14)； 

14)采用较小的膨胀腐蚀算子对步骤13)处理后的图片进行腐蚀膨胀处理，计算连通域，获取更加精细的车牌区域，执行步骤15)； 

15)将一些不满足车牌的候选区域剔除，再对剩余的可能车牌区域根据该车牌区域经过步骤13)纵向Sobel算子处理后的边缘点密度进行排序。 

所述的步骤12)中的较大的膨胀腐蚀算子具体为： 

其中膨胀算子表示为width*height，其中，width＝MIN(30，ImageWidth/15)，height＝width/3，ImageWidth是图片宽度；其中腐蚀算子表示为widthtemp*height，其中，widthtemp＝height/2，在腐蚀算子中的height为膨胀算子中的height。 

所述的步骤14)中的较小的膨胀腐蚀算子具体为： 

用到的膨胀算子是width*height，width＝ImageWidth/4，height＝width/3，ImageWidth是图片宽度。 

所述的步骤2)车牌字符分割具体步骤为； 

21)将图像灰度化，利用Radon变换进行车牌水平方向的倾斜纠正； 

22)采用Sobel算子对步骤21)处理后的图片进行边缘提取，去除车牌的水平边框； 

23)利用Radon变换进行车牌字符垂直倾斜纠正，根据车牌的HSV图像得到车牌的颜色类型； 

24)采用改进的OTSU算法对步骤23)处理后的图片进行二值化处理，将一些不满足车牌先验条件的连通域去掉； 

25)检测每一个连通域，判断该连通域的高度与车牌字符的平均高度是否一致，若为是，则直接保留并执行步骤26)，否则，将连通域剔除； 

26)根据连通域宽度与字符平均宽度的比值关系计算该连通域中包含的字符数量； 

27)根据平均宽度先估计分割位置，再在该位置求解一个局部最小值，该局部最小值的位置就是字符分割的位置； 

28)确定第二个字符的位置，然后向左找出汉字部分，向右查找五个字符进行 字符分割。 

所述的先验条件包括长度宽度的范围适中、长宽比满足设定的比例范围。 

所述的汉字部分的寻找过程为： 

由于汉字部分存在着一个汉字包含几个连通域的情况，对车牌字符平均宽度和汉字连通域的宽度进行对比计算以确定汉字部分的位置。 

所述的改进的OTSU算法为在原来的OTSU算法的基础上加入对于曝光过度图像进行特定二值化处理的过程。 

所述的曝光过度图像OTSU算法的阈值小于该图像的灰度平均值；所述的特定二值化处理为：如果OTSU算法的阈值小于该图像的灰度平均值AverageGray，则说明该图片曝光过度，此时将OTSU算法的阈值调整为t1，其中，t1＝AverageGray*C，C为一个常量，若OTSU算法的阈值大于该图像的灰度平均值，则按照传统的OTSU算法来处理。 

所述的步骤3)车牌字符识别具体为： 

31)将分割的字符依次通过OTSU算法进行二值化处理； 

32)经步骤31)处理后的字符进行大小归一化和位置归一化处理； 

33)采用粗网格提取法提取字符的粗网格特征，采用半积分投影法提取字符的半积分投影特征； 

34)采用训练好的支持向量机进行初步识别，得到识别结果； 

35)判断识别结果中是否存在易错字符，若为是，执行步骤36)；若为否，执行步骤37)； 

36)分别提取各组易错字符的精确特征，再一次采用支持向量机进行第二次识别，得到识别结果； 

37)输出识别结果。 

所述的步骤35)中的易错字符包括B、8、S、5、Z、2、D、Q和0。 

与现有技术相比，本发明具有以下优点： 

1、本发明的定位有效地克服了传统边缘检测的缺点；传统的边缘检测方法对于一些场景比较复杂的图像，不能有效地去除不相关的边缘信息，此外，膨胀腐蚀的算子选择也是一个难题，算子过大将造成车牌区域包含较多噪声，从而导致得到车牌区域过大；如果算子过小，将造成车牌区域识别不完整的现象；在本定位算法中，通过第一次纵向Sobel算子和较大的膨胀腐蚀算子操作，将会获得一个带有车 牌的局部图像；在这个局部图像上进行第二次纵向Sobel算子和较小的膨胀腐蚀算子操作，将获得车牌区域或者车牌区域的一部分，然后通过合并就能得到完整的车牌区域；这种方法可以有效地杜绝复杂场景下，无关边缘信息过多的现象。 

2、本发明的车牌字符分割方法能有效地对车牌字符进行分割；不仅克服了单一的投影法字符切割容易受噪声影响的缺点，同时也有效地解决了单纯连通域分割在字符粘连情况下不能有进行效分割的问题。 

3、本发明的识别精度高。 

附图说明

图1为本发明的流程图； 

图2为本发明的车牌定位流程图； 

图3为本发明的车牌字符分割流程图； 

图4为本发明的车牌字符识别流程图； 

图5为实施例2的原始图像； 

图6为实施例2的Sobel边缘提取之后的图片； 

图7为实施例2的膨胀腐蚀后的图片； 

图8为实施例2的定位车牌图； 

图9为实施例2的分割的字符图； 

图10为实施例2的识别结果图； 

图11为实施例3的原始图像； 

图12为实施例3的Sobel边缘提取之后的图片； 

图13为实施例3的膨胀腐蚀后的图片； 

图14为实施例3的定位车牌图； 

图15为实施例3的分割的字符图； 

图16为实施例3的识别结果图； 

图17为实施例4的原始图像； 

图18为实施例4的Sobel边缘提取之后的图片； 

图19为实施例4的膨胀腐蚀后的图片； 

图20为实施例4的定位车牌图； 

图21为实施例4的分割的字符图； 

图22为实施例4的识别结果图。 

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。 

实施例1 

如图1所示，车牌识别方法可以分为三个部分：1)车牌定位；2)字符分割；和3)字符识别。在车牌定位这一环节，采用的是基于边缘检测的定位方法。图像中的“边缘”就是指其周围像素灰度有阶跃变化的像素的集合。“边缘”的两侧分属于两个区域，每个区域的灰度均匀一致，但这两个区域的灰度在特征上存在一定的差异。边缘检测的任务是精确定位边缘和抑制噪声。而基于边缘检测车牌定位正是利用车牌字符与底色灰度变化剧烈这一特点来检测车牌的。在字符分割过程中采用的技术是寻找连通域和传统的投影分割相结合的方式。对于字符识别，采用支持向量机分类器。支持向量机是一种基于统计学习理论的模式识别方法，主要应用于模式识别领域。它在解决小样本、非线性及高维模式识别中表现出许多特有的优势，并能够推广应用到函数拟合等其他机器学习问题中。 

车牌定位 

如图2所示，车牌定位算法描述如下： 

步骤一：考虑到车牌上的字符边缘较多，因此采用纵向Sobel算子进行边缘提取，计算速度快，效果好。 

步骤二：对边缘提取后的图像进行腐蚀膨胀操作，在这一步的膨胀腐蚀操作中用到的算子比较大，目的是缩小车牌所在区域，以便准确进行定位。 

步骤三：对经过前两个步骤处理后的图像再次使用纵向Sobel算子进行边缘提取，并采用较小的腐蚀膨胀算子对其进行腐蚀膨胀操作。 

经过上述操作之后，基本能够找到车牌区域，但同时也会产生少量车牌区域隔断现象，这种现象的出现主要是由于车牌的第二个字符和第三个字符之间距离相对较大造成的。针对这一问题，我们的做法是将满足一定条件(高度类似、水平位置关系近似)的部分进行结合.从而保证完整车牌的识别。操作主要分为以下两个步骤：1)先将一些不满足车牌的候选区域剔除，再对剩余的可能车牌区域进行排序，排序的依据为该车牌区域经过纵向Sobel算子处理后的边缘点密度。2)经过以上操作，车牌区域将被置于整个图片处理序列的前端进行后续识别。 

本定位方法有效地克服了传统边缘检测的缺点。传统的边缘检测方法对于一些场景比较复杂的图像，不能有效地去除不相关的边缘信息。此外，膨胀腐蚀的算子选择也是一个难题，算子过大将造成车牌区域包含较多噪声，从而导致得到车牌区域过大；如果算子过小，将造成车牌区域识别不完整的现象。在本定位算法中，通过第一次纵向Sobel算子和较大的膨胀腐蚀算子操作，将会获得一个带有车牌的局部图像。在这个局部图像上进行第二次纵向Sobel算子和较小的膨胀腐蚀算子操作，将获得车牌区域或者车牌区域的一部分，然后通过合并就能得到完整的车牌区域。这种方法可以有效地杜绝复杂场景下，无关边缘信息过多的现象。 

字符分割 

如图3所示，在字符分割方面，采用的是寻找字符连通域法与传统的投影分割法相结合的方法。具体算法如下： 

步骤一：将图像灰度化，然后利用Radon变换实现车牌水平方向的倾斜纠正，接着再对其做Sobel算子的边缘提取，根据字符区域边缘信息比较密集的特点来去除车牌的水平边框。将切除水平边框后的图像再进行Radon变换实现车牌字符的倾斜纠正。根据车牌的HSV图像得到车牌的颜色类型。 

步骤二：将经过上述操作后的图像用改进的OTSU算法进行二值化。在进行二值化操作时，应该注意根据车牌的颜色信息将车牌统一变换成黑底白字。然后将一些不满足车牌先验条件(长度、宽度的范围适中，长宽比满足一定的比例范围等条件)的连通域去掉，然后再统计各个连通域的宽度和高度，这样可以得出车牌字符的平均宽度和平均高度。 

步骤三：检测每一个连通域，如果该连通域的高度与车牌字符的平均高度基本一致，则直接保留。否则，将连通域剔除。根据连通域宽度与字符平均宽度的比值关系计算该连通域中包含的字符个数，然后根据平均宽度先估计分割位置，再在该位置求解一个局部最小值(即在这个局部范围内，列像素和的最小值)，出现局部最小值的位置就是字符分割的位置。 

步骤四：根据第二个字符和第三个字符间距比较大的特点确定第二个字符的位置，然后向左找出汉字部分，向右查找五个字符进行字符分割。在寻找汉字的过程中，由于汉字部分存在着一个汉字包含几个连通域的情况，所以要对车牌字符平均宽度和汉字连通域的宽度进行对比计算以确定汉字部分的位置。 

上文中提到的改进OTSU算法就是在原来的OTSU算法的基础上加入对于曝 光过度图片进行特定二值化处理的过程。根据曝光过度图像OTSU算法的阈值小于该图像的灰度平均值的特点，在判断出该图像是否曝光过度后，对其做特定的处理(例如增加二值化阈值等)。 

该方法能有效地对车牌字符进行分割。不仅克服了单一的投影法字符切割容易受噪声影响的缺点，同时也有效地解决了单纯连通域分割在字符粘连情况下不能有进行效分割的问题。 

字符识别 

如图4所示，在车牌字符识别方面，使用粗网格提取法和半积分投影法进行特征提取。具体算法如下： 

步骤一：将分割的字符依次进行二值化(OTSU算法)处理，大小归一化(40*20)处理和位置归一化处理。 

步骤二：提取字符的粗网格特征和半积分投影特征。利用训练好的支持向量机(SVM)进行初步识别。 

步骤三：对一些易错字符(如B和8，S和5，Z和2，D和Q，0)在第一次识别之后，再分别提取各组易错字符的精确特征，进行第二次识别。在进行精确识别时主要考虑易混淆字符之间的差异部分，进行特征提取。例如，B和8的左侧部分具有明显差异，因此只提取左侧部分的特征来进行分类器训练。 

实施例2 

如图5-10所示，为本发明的具体车牌识别示例。 

实施例3 

如图11-16所示，为本发明的具体车牌识别示例。 

实施例4 

如图17-22所示，为本发明的具体车牌识别示例。 

Claims (10)

1.一种基于双边缘检测的车牌识别方法，其特征在于，包括以下步骤：

1)车牌定位；

2)车牌字符分割；

3)车牌字符识别。

2.根据权利要求1所述的一种基于双边缘检测的车牌识别方法，其特征在于，所述的步骤1)车牌定位具体包括以下步骤；

11)对原始图片采用纵向Sobel算子进行边缘提取，执行步骤12)；

12)采用较大的膨胀腐蚀算子对步骤11)处理后的图片进行腐蚀膨胀处理，计算连通域，获取可能的车牌区域，执行步骤13)；

13)采用Sobel算子对步骤12)处理后的图片进行边缘提取，执行步骤14)；

14)采用较小的膨胀腐蚀算子对步骤13)处理后的图片进行腐蚀膨胀处理，计算连通域，获取更加精细的车牌区域，执行步骤15)；

15)将一些不满足车牌的候选区域剔除，再对剩余的可能车牌区域根据该车牌区域经过步骤13)纵向Sobel算子处理后的边缘点密度进行排序。

3.根据权利要求2所述的一种基于双边缘检测的车牌识别方法，其特征在于，所述的步骤12)中的较大的膨胀腐蚀算子具体为：

其中膨胀算子表示为width*height，其中，width＝MIN(30，ImageWidth/15)，height＝width/3，ImageWidth是图片宽度；其中腐蚀算子表示为widthtemp*height，其中，widthtemp＝height/2，在腐蚀算子中的height为膨胀算子中的height。

4.根据权利要求3所述的一种基于双边缘检测的车牌识别方法，其特征在于，所述的步骤14)中的较小的膨胀腐蚀算子具体为：

用到的膨胀算子是width*height，width＝ImageWidth/4，height＝width/3，ImageWidth是图片宽度。

5.根据权利要求2所述的一种基于双边缘检测的车牌识别方法，其特征在于，所述的步骤2)车牌字符分割具体步骤为；

21)将图像灰度化，利用Radon变换进行车牌水平方向的倾斜纠正；

22)采用Sobel算子对步骤21)处理后的图片进行边缘提取，去除车牌的水平边框；

23)利用Radon变换进行车牌字符垂直倾斜纠正，根据车牌的HSV图像得到车牌的颜色类型；

24)采用改进的OTSU算法对步骤23)处理后的图片进行二值化处理，将一些不满足车牌先验条件的连通域去掉；

25)检测每一个连通域，判断该连通域的高度与车牌字符的平均高度是否一致，若为是，则直接保留并执行步骤26)，否则，将连通域剔除；

26)根据连通域宽度与字符平均宽度的比值关系计算该连通域中包含的字符数量；

27)根据平均宽度先估计分割位置，再在该位置求解一个局部最小值，该局部最小值的位置就是字符分割的位置；

28)确定第二个字符的位置，然后向左找出汉字部分，向右查找五个字符进行字符分割。

6.根据权利要求5所述的一种基于双边缘检测的车牌识别方法，其特征在于，所述的先验条件包括长度宽度的范围适中、长宽比满足设定的比例范围。

7.根据权利要求5所述的一种基于双边缘检测的车牌识别方法，其特征在于，所述的汉字部分的寻找过程为：

由于汉字部分存在着一个汉字包含几个连通域的情况，对车牌字符平均宽度和汉字连通域的宽度进行对比计算以确定汉字部分的位置。

8.根据权利要求5所述的一种基于双边缘检测的车牌识别方法，其特征在于，所述的改进的OTSU算法为在原来的OTSU算法的基础上加入对于曝光过度图像进行特定二值化处理的过程。

9.根据权利要求8所述的一种基于双边缘检测的车牌识别方法，其特征在于，所述的曝光过度图像OTSU算法的阈值小于该图像的灰度平均值；所述的特定二值化处理为：如果OTSU算法的阈值小于该图像的灰度平均值AverageGray，则说明该图片曝光过度，此时将OTSU算法的阈值调整为t1，其中，t1＝AverageGray*C，C为一个常量，若OTSU算法的阈值大于该图像的灰度平均值，则按照传统的OTSU算法来处理。

10.根据权利要求5所述的一种基于双边缘检测的车牌识别方法，其特征在于，所述的步骤3)车牌字符识别具体为：

31)将分割的字符依次通过OTSU算法进行二值化处理；

32)经步骤31)处理后的字符进行大小归一化和位置归一化处理；

33)采用粗网格提取法提取字符的粗网格特征，采用半积分投影法提取字符的半积分投影特征；

34)采用训练好的支持向量机进行初步识别，得到识别结果；

35)判断识别结果中是否存在易错字符，若为是，执行步骤36)；若为否，执行步骤37)；

36)分别提取各组易错字符的精确特征，再一次采用支持向量机进行第二次识别，得到识别结果；

37)输出识别结果；

所述的步骤35)中的易错字符包括B、8、S、5、Z、2、D、Q和0。

Images