CN100385452C

CN100385452C - 一种车牌字符分割方法

Info

Publication number: CN100385452C
Application number: CNB2006100208999A
Authority: CN
Inventors: 马争; 杨峰
Original assignee: University of Electronic Science and Technology of China
Current assignee: University of Electronic Science and Technology of China
Priority date: 2006-05-25
Filing date: 2006-05-25
Publication date: 2008-04-30
Anticipated expiration: 2026-05-25
Also published as: CN1851731A

Abstract

一种车牌字符分割方法，属于图象处理技术领域，涉及车牌自动识别技术。采用拉普拉斯变换、区域生长和车牌先验知识相结合的方法，先对原始车牌图像归一化；然后通过灰度直方图和灰度拉伸变换增强字符区域；接着采用拉普拉斯算子进行边缘检测；接着以检测到的边缘点为“种子”点进行区域生长，得到“初步”字符候选区；接着去除高度、宽度和高宽比明显不符合字符区域要求的“初步”字符候选区，得到“中间”字符候选区域；接着补足字符区域，得到“最终”字符候选区域并作为最终车牌字符分割结果。本发明充分利用了拉普拉斯变换和区域生长法的相关特性，又结合了车牌本身的先验知识，因而能够更加准确的定位字符区域；提高了区域生长算法的定位精度和提高了分割方法的鲁棒性。

Description

一种车牌字符分割方法

技术领域

一种车牌字符分割方法，属于计算机图象处理技术领域，特别涉及复杂背景中车牌自动识别技术。

背景技术

智能交通是当前交通管理发展的主要方向，是目前世界交通运输领域的前沿研究课题。汽车啤照自动识别技术则是智能交通系统的核心。它是解决高速公路管理问题的重要手段，是计算机图像处理技术和模式识别技术在智能交通领域的应用。该技术在解决高速公路的诸多问题，如车辆收费和管理，交通流量检测，停车场收费管理，违章车辆监控，假牌照车辆识别等具体问题中应用广泛，具有巨大的经济价值和现实意义。同时，它在城市道路、港口和机场等项目管理中占有重要地位。随着计算机性能的提高和图像处理技术的发展，车牌识别系统已经日趋成熟。详见文献：T.Vai to，T.Tsukada，K.Yamada，K.Kozuka，and S.Yamamoto，“Robust license-plate recognition method for passing vehicles under outsideenvironment，”IEEE Trans.Veh.Technol.，vol.49，pp.2309-2319，Nov.2000和文献：Shyang-Lih Chang，Li-Shien Chen，YunChung Chung，Sei-Wan Chen，Automatic licenseplate recognition，Intelligent Transportation Systems，IEEE Transactions on，March2004所述。

在自动车牌识别技术中，车牌字符的精确分割是整个识别技术的难点和关键。车牌字符分割的精度直接影响整个车牌识别系统的性能。在实际生活中，由于受背景的复杂性、光照条件的不均匀性和天气变换的不定性等环境因素，以及车牌本身倾斜程序、受污染程度等因素的影响，目前的多数车牌字符分割方法只是在一定程度上解决了特定条件下从复杂背景中提取字符的问题，然而这些方法必须利用具体问题的先验知识，比如要利用车牌在图像中出现的位置以及车牌颜色等特定信息，这样虽然可以解决某个特定的问题，但是当遇到新的问题或者某些先验知识不再成立时，又必须重新设计新的方法。通用的、能适用于所有环境和条件的车牌定位方法目前还没有成功研究出来。因此，如何在现有所有有价值的研究成果之上，提高车牌字符分割系统的通用性、缩短定位时间和提高分割精度成为焏待解决的技术问题。详见文献：Rahman，C.A.；Badawy，W.；Radmanesh，A，“A real time vehicle’s licenseplate recognition system”，Proceedings.IEEE Conference on Advanced Video and SignalBased Surveillance，Page(s)：163-166，2003和文献：Dogaru，R.；Dogaru，I.；Glesner，M，“Emergent computation in semitotali stic cellular automata：applications incharacter segmentation”，Semiconductor Conference，2004.CAS 2004 Proceedings，Page(s)：451-454 vol.2，2004

现在通常使用的车牌字符分割方法有：

(1)基于投影法的车牌字符分割方法。它通过对车牌区域的直方图进行分析，利用字符区域的投影值比背景区域大的特性达到识别字符区域的目的。其缺点是适用于车牌图像亮度变化比较均匀、对比度比较良好的情况。但是在实际应用中车牌图像处于变化光源的环境中，亮度极不均匀，从而限制了上述方法的使用。详见文献Yungang Zhang，ChangshuiZhang，″A New Algorithm for Character Segmentation of License Plate″，IntelligentVehicles Symposium，2003.Proceedings.IEEE，9-11 June 2003 Page(s)：106-109

(2)基于人工神经网络的方法。它利用神经网络的自适应、自学习能力，通过训练来达到车牌字符分割的目的。其优点是融若干预处理和识别于一体、识别速度快；缺点是当特征定义遇到困难时，效果不能令人满意。详见文献Satriyo Nugroho，A，Kuroyanagi，S，Iwata，A，″An algorithm for locating characters in color image using stroke analysisneural network″，Neural Information Processing，2002.ICONIP’02.Proceedings of the9th International Conference on Volume 4，18-22Nov.2002Page(s)：2132-2136vol.4.

(3)基于彩色的车牌字符分割方法。它是通过提取车牌中字符区域不同于其他区域的特殊彩色特征来区别字符区域和背景区域，从而在车牌中分割出字符。其缺点是难以解决在照明不均匀环境下定位准确率问题，并且定位速度慢，难以达到实时性识别的要求。详见文献H.Goto and H.Aso.Character Pattern Extraction from Colorful Documents withComplex Backgrounds[C].Proceedings of 16^th International Conference on PatternRecognition，ICPR2002，Aug.2002，Canada.

(4)基于边缘检测的方法。它通过提取图像的边缘信息进行分析，进而测得车牌字符边缘。其缺点是要求图像边缘的连续性要好，但实际拍摄的车牌字符边框往往不连续。详见文献Fu Yuqing，Shen Wei，Huang Xinhua.Research on vehicle license plate characterextraction from complex background[J].Pattern Recognition and ArtificialIntelligence，2000，13(3)：345~348(in Chinese)

上述的四种车牌字符分割算法的共同点是：这些方法都是针对一个特定的条件，容易受天气、背景、光照等因素的限制，鲁棒性不好。一旦条件发生变化，它们的分割准确率就会发生较大的波动，从而整个车牌识别系统的性能大大降低。

发明内容

本发明的任务是提供一种基于拉普拉斯变换、区域生长法和车牌先验知识相结合的车牌字符分割方法，它具有在照明不均匀环境下定位准确率高和便于识别的特点。

本发明的车牌字符分割方法，它包含以下步骤：

步骤一.对车牌定位过程分割出来的车牌源图像进行预处理，具体包括车牌图像归一化和车牌图像增强两个分步骤：

1)、确定车啤类型并归一化。车牌源图像是车牌的灰度图，具有白底黑字和黑底白字两种类型，在对字符进行分割之前对车牌进行归一化。本发明使用点象素分析方法对车牌灰度图像进行分析，确定车牌的类型，并把车牌归一化。点象素分析方法是确定车牌图像到底是白底黑字类型还是黑底白字类型的一种分析方法，它通过选取一个阈值，然后分别统计大于阈值和小于阈值的象素点的个数，并且比较。如果前者象素点的个数是后者的1.05倍以上，则认为车牌是白底黑字，否则车牌为黑底白字。在本发明中，统一把所有的车牌归一化为黑底白字。

2)、车啤图像增强。为了更好的实现从背景中分割出字符，应对车牌图像进行增强处理，以突出字符在车牌中的位置。本发明运用灰度直方图和灰度拉伸变换对车牌区域进行变换，实现对车牌中的字符区域的增强。灰度直方图描述了图像的灰度级内容，反映了图像的灰度分布情况。它通过对整个车牌区域进行扫描，统计车牌图像中各个灰度级出现的次数或概率，具体的统计公式为：grayA(1，A(i，j)+1)＝grayA(1，A(i，j)+1)+1，其中，i表示图像的行位置，j表示图像的列位置，A表示原始车牌图像，A(i，j)表示车牌图像中的一个象素值，grayA表示灰度直方图矩阵。灰度拉伸变换是一种最简单的分段线性变换函数，它的基本思想是找出灰度直方图中的最大和最小灰度值，将车牌图像中所有灰度值小于最小灰度值的点的灰度值置为0，将车牌图像中所有灰度值大于最大灰度值的点的灰度值置为255，而将车牌图像中所有灰度值介于最大和最小灰度值之间的点用以下变换公式来重新计算灰度值：B(i，j)＝((A(i，j)-min)/(max-min))*255。其中，max和min分别表示最大和最小灰度值，B为经过灰度拉伸变换后的车牌图像。

步骤二.采用拉普拉斯算子对车牌区域进行边缘检测。拉普拉斯算子是线性二次微分算子，与梯度算子一样，具有旋转不变性，从而满足不同走向的图像边界的锐化要求。用拉普拉斯算子对经预处理后的车牌图像中每一个象素点进行计算，找出像素值为零的点的位置作为边缘点；本方法中所采用的拉普拉斯算子如附图1所示。

步骤三.运用区域生长算法，确定车牌字符的“初步”候选区域。区域生长算法是一种把性质相同或相近的点集合在一起形成一个区域的算法，其基本原理是首先确定一个“种子”点，然后在“种子”点周围搜索性质相同或相近的点，接着以找到的新的点作为“种子”点，继续搜索，一直到“种子”点周围没有性质相同或相近的点为止。本方法中，以拉普拉斯变换检测到的边缘点为“种子”点开始区域生长，将相邻的“种子”点合并，得到车牌字符的初步候选区域，记录下每个初步候选区域的上、下、左、右边界。

步骤四.去除虚假字符区域。由于受噪声、光照不均匀等因素的影响，源图像不一定是理想状态下得到的车牌图像，在区域生长算法后得到的区域中可能存在着虚假字符区域，必须对这些字符候选区域进行筛选。具体的筛选方法如下：首先，根据标准车牌的长度、宽度和标准字符的宽度和高度等先验知识，计算车牌字符的理论宽度、高度和高宽比。其具体计算方法如下：char_width＝(45/440)*n＝0.1n，char_height＝(90/140)*m＝0.643m，height-to-width＝char_height/char_width，其中char_width和char_height分别为车牌字符的理论宽度和高度，m和n分别为车牌的高度和宽度，height-to-width为字符的高宽比。然后，根据计算得到的字符理论高度、宽度和高宽比，去除高度、宽度和高宽比明显不符合字符区域要求的“初步”字符候选区，剩下的字符候选区域为“中间”字符候选区域。

步骤五.若步骤四所得的“中间”字符候选区域为7个，则得到本发明的最终车牌字符分割结果；若步骤四所得的“中间”字符候选区域不足7个，则补足7个车牌字符候选区域，得到“最终”字符候选区域，具体包括以下顺序的分步骤：

1)、对“中间”字符候选区域进行排序

对步骤四所得的“中间”字符候选区域从左至右进行排序，排列后的候选字符区域和车牌中的字符区域具有相同的次序；

2)、计算字符的实际高度和宽度

计算所有“中间”字符候选区域的宽度和高度的平均值，把该平均值作为本幅车牌图像中字符的实际宽度和高度；

3)、对“中间”字符候选区域进行中间补足，即检测相邻的字符候选区域的间隔距离，判断两个字符候选区域之间是否有遗失字符，如果有遗失，则补足遗失的字符候选区域

4)、定位“中间”字符候选区域在实际车牌中的位置

采用基于车牌右边界的定位方法，首先确定经过中间补足后的最右边一个“中间”字符候选区域在实际车牌中的位置，具体过程为：如果该区域和车牌右边界的间隔距离小于1.2*(t+1)倍的字符实际宽度而大于1.2*t倍的字符实际宽度，则该区域右边遗失了t个字符没有补足，应该根据车牌的先验知识向右补足t个“‘中间’字符候选区域”；如果该区域和车牌右边界的间隔距离小于1.2倍的字符实际宽度而大于0.8倍的字符实际宽度，则该区域右边遗失了1个字符没有定位出来，同样向右补足一个“中间”字符候选区域；然后，根据上面确定的最右边一个“中间”字符候选区域在实际车牌中的位置情况来依次定位剩余“中间”字符候选区域在实际车牌中的位置；

5)、向左定位可能存在的字符

如果所有的“中间”字符候选区域都确定了在车牌中的实际位置，而此时定位出的车牌字符还不足7个，则说明左边还有字符没有补足，应根据车牌的先验知识向左补足其余的“中间”字符候选区域；

经过上述步骤，最终得到7个“中间”字符候选区域作为“最终”字符候选区域，即是本发明的最终车牌字符分割结果。

需要说明的是：

1.步骤1中使用的车牌源图像是经过车牌定位程序后得到的灰度图像，不需要再做灰度转换处理。

2.车牌彩色图像一共有3种主要类型，即黄底黑字、蓝底白字和黑底白字，经过车牌定位程序的灰度转换后步骤1中使用的车牌灰度图像一共有2种类型，即白底黑字和黑底白字，因此在进行字符定位之前要对车牌进行归一化处理。

3.由于受光照、噪声等因素的影响，如果直接对原始的车牌灰度图像进行字符定位，那么定位的精度一定不高，因此在步骤1中采用灰度直方图和灰度拉伸变换对车牌区域进行变换，实现对车牌中的字符区域的增强。

4.由于有些字符可能因为断裂或者对比度的原因在区域生长过程中没有完全被定位出来，在步骤4的去除伪候选区域过程中，这些不完全的字符区域可能会被去除，因此需要通过步骤5来检测是否有遗失的字符区域，并重新定位出来。

5.受车牌对比度和噪声、光照等因素的影响，在区域生长过程中定位出来的字符候选区域有时可能会比较少，经过步骤5的第四步后得到的字符区域可能不足7个，需要步骤5的第五步来补齐遗失的字符区域。

7.由于字符识别程序一般都是针对二值车牌字符进行识别，本发明最终得到的车牌字符分割结果在字符识别之前，应当进行二值化处理。具体的二值化方法可以是：若字符区域中的某点的灰度值大于或等于阀值，就把该处的值设置为255，否则把该处的值不变。二值化处理的具体步骤可以作为字符分割的最后一个步骤，也可以作为字符识别的第一个步骤。

本发明采用一种基于拉普拉斯变换、区域生长法和车牌先验知识相结合的车牌字符分割方法，首先对所有的车牌进行归一化处理；然后通过灰度直方图和灰度拉伸变换对车牌区域进行变换，实现对车牌中的字符区域的增强；接着采用拉普拉斯算子对进行车牌区域进行边缘检测；接着以拉普拉斯变换检测到的边缘点为“种子”点进行区域生长，得到“初步”字符候选区；接着去除高度、宽度和高宽比明显不符合字符区域要求的“初步”字符候选区，得到“中间”字符候选区域；接着结合车牌的先验知识修正和补足字符区域，得到“最终”字符候选区域并作为最终车牌字符分割结果。

本发明的创新之处在于：

本发明采用一种基于拉普拉斯变换、区域生长法和车牌先验知识相结合的车牌字符分割方法，既充分利用了拉普拉斯变换和区域生长法的相关特性，又结合了车牌本身的先验知识，因而能够更加准确的定位字符区域。以拉普拉斯变换检测到的边缘点为“种子”点进行区域生长的方法，能够有效的定位出车牌字符的候选区域，提高了区域生长算法的定位精度。结合车牌先验知识的字符区域修正和补足方法只要求车牌定位程序对车牌右边界的准确定位，而对车牌的上下边界和左边界的定位精度要求不是很高，提高了系统整体的鲁棒性。

附图说明

图1是本发明使用的拉普拉斯变换算子示意图。

图2是通常车牌图像示意图。其中，X1、X2、X3、X4、X5、X6和X7分别代表车牌的第一个、第二个、第三个、第四个、第五个、第六个和第七个字符。

图3是原始的车牌灰度图像示意图。

图4是增强后的车牌图像示意图。

图5是拉普拉斯变换后的车牌图像示意图。

图6是区域生长法得到的字符候选区域示意图。

图7是去除伪区域后得到的字符候选区域示意图。

图8是最终得到的车牌中字符区域示意图。

图9是从车牌中分割出来的字符。

图10是本发明的流程示意图。

图11是本发明中步骤五采用基于先验知识的车牌补齐方法确定7个车牌字符的具体流程示意图。

具体实施方式

鉴于发明内容部分已经对本发明的技术方案作出了清楚完整的说明，对于本领域的普通技术人员来说已经足可以按照发明内容的描述实施本发明的技术方案，故在此不再重复描述。

Claims

1.一种车牌字符分割方法，其特征是，它包含以下步骤：

1)、确定车牌类型并归一化

使用点像素分析方法对车牌灰度图像进行分析，确定车牌的类型，并把车牌归一化为黑底白字；

2)、车牌图像增强

运用灰度直方图和灰度拉伸变换对经归一化后的车牌图像进行变换，实现对车牌中字符区域的增强；

步骤二.采用拉普拉斯算子对经预处理后的车牌图像进行边缘检测

用拉普拉斯算子对经预处理后的车牌图像中每一个像素点进行计算，找出像素值为零的点的位置作为边缘点；

步骤三.运用区域生长算法，确定车牌字符的“‘初步’候选区域”

以拉普拉斯变换检测到的边缘点为“种子”点开始区域生长，将相邻的“种子”点合并，得到车牌字符的“‘初步’候选区域”，记录下每个“‘初步’候选区域”的上、下、左、右边界；

步骤四.去除虚假字符区域

首先，根据标准车牌的长度、宽度和标准字符的宽度和高度的先验知识，计算车牌字符的理论宽度、高度和高宽比；然后，根据计算得到的车牌字符理论高度、宽度和高宽比，去除高度、宽度和高宽比不符合字符区域要求的“‘初步’候选区域”，剩下的“‘初步’候选区域”为“‘中间’字符候选区域”；

步骤五.若步骤四所得的“‘中间’字符候选区域”为7个，则得到本发明的最终车牌字符分割结果；若步骤四所得的“‘中间’字符候选区域”不足7个，则补足7个车牌字符候选区域，得到“‘最终’字符候选区域”，具体包括以下顺序的分步骤：

1)、对“‘中间’字符候选区域”进行排序

对步骤四所得的“‘中间’字符候选区域”从左至右进行排序，排列后的候选字符区域和车牌中的字符区域具有相同的次序；

2)、计算字符的实际高度和宽度

计算所有“‘中间’字符候选区域”的宽度和高度的平均值，把该平均值作为本幅车牌图像中字符的实际宽度和高度；

3)、对“‘中间’字符候选区域”进行中间补足，即检测相邻的字符候选区域的间隔距离，判断两个字符候选区域之间是否有遗失字符，如果有遗失，则补足遗失的字符候选区域

4)、定位“‘中间’字符候选区域”在实际车牌中的位置

采用基于车牌右边界的定位方法，首先确定经过中间补足后的最右边一个“‘中间’字符候选区域”在实际车牌中的位置，具体过程为：如果该最右边一个“‘中间’字符候选区域”和车牌右边界的间隔距离小于1.2*(t+1)倍的字符实际宽度而大于1.2*t倍的字符实际宽度，则该区域右边遗失了t个字符没有补足，应该根据车牌的先验知识向右补足t个“‘中间’字符候选区域”；如果该区域和车牌右边界的间隔距离小于1.2倍的字符实际宽度而大于0.8倍的字符实际宽度，则该区域右边遗失了1个字符没有定位出来，同样向右补足一个“‘中间’字符候选区域”；然后，根据上面确定的最右边一个“‘中间’字符候选区域”在实际车牌中的位置情况来依次定位剩余“‘中间’字符候选区域”在实际车牌中的位置；

5)、向左定位可能存在的字符

如果所有的“‘中间’字符候选区域”都确定了在车牌中的实际位置，而此时定位出的车牌字符还不足7个，则说明左边还有字符没有补足，应根据车牌的先验知识向左补足其余的“‘中间’字符候选区域”；

经过上述步骤，最终得到7个“‘中间’字符候选区域”作为“‘最终’字符候选区域”，即是本发明的最终车牌字符分割结果。

2.根据权利要求1所述的一种车牌字符分割方法，其特征是，所述步骤一中的分步骤1)确定车牌类型并归一化时，选取一个阈值，然后分别统计大于阈值和小于阈值的像素点的个数，并且进行比较，如果前者像素点的个数是后者的1.05倍以上，则认为车牌是白底黑字，否则车牌为黑底白字；然后，统一把所有的车牌归一化为黑底白字。

3.根据权利要求1所述的一种车牌字符分割方法，其特征是，所述步骤一中的分步骤2)对车牌图像增强处理时，通过对整个车牌区域进行扫描，统计车牌图像中各个灰度级出现的次数或概率，具体的统计公式为：grayA(1，A(i，j)+1)＝grayA(1，A(i，j)+1)+1，其中，i表示图像的行位置，j表示图像的列位置，A表示原始车牌图像，A(i，j)表示车牌图像中的一个像素值，grayA表示灰度直方图矩阵；然后，找出灰度直方图中的最大和最小灰度值，将车牌图像中所有灰度值小于最小灰度值的点的灰度值置为0，将车牌图像中所有灰度值大于最大灰度值的点的灰度值置为255，而将车牌图像中所有灰度值介于最大和最小灰度值之间的点用以下变换公式来重新计算灰度值：B(i，j)＝((A(i，j)-min)/(max-min))*255，其中，max和min分别表示最大和最小灰度值，B为经过灰度拉伸变换后的车牌图像。

4.根据权利要求1所述的一种车牌字符分割方法，其特征是，所述步骤二中采用拉普拉斯算子对经预处理后的车牌图像进行边缘检测时，具体算法为：

A_lp(i，j)＝8*A(i，j)-A(i+1，j)-A(i-1，j)-A(i，j+1)-A(i，j-1)

-A(i-1，j-1)-A(i+1，j-1)-A(i-1，j+1)-A(i+1，j+1)

其中，A_lp(i，j)是拉普拉斯变换后的经预处理后的车牌图像某一像素点的值，A(i，j)是该点的原值，A(i+1，j)是该点右边那个点的值，A(i-1，j)是该点左边那个点的值，A(i，j+1)是该点下面那个点的值，A(i，j-1)是该点上面那个点的值，A(i-1，j-1)是该点左上角那个点的值，A(i+1，j-1)是该点右上角那个点的值，A(i-1，j+1)是该点左下角那个点的值，A(i+1，j+1)是该点右下角那个点的值。

5.根据权利要求1所述的一种车牌字符分割方法，其特征是，所述步骤四去除虚假字符区域时，计算车牌字符的理论宽度、高度和高宽比的具体计算方法如下：char_width＝(45/440)*n＝0.1n，char_height＝(90/140)*m＝0.643m，height-to-width＝char_height/char_width，其中char_width和char_height分别为车牌字符的理论宽度和高度，m和n分别为原始车牌图像的高度和宽度，height-to-width为字符的高宽比。