CN101183425A - 粤港两地车牌定位方法 - Google Patents

Abstract

一种粤港两地车牌定位方法，步骤如下：通过视频摄像系统捕获突时视频图像；大陆车牌和香港车牌的初定位；通过边缘检测算可检测边缘，分割边缘图得到二值图，再经滤波后，从原灰度图中提取初定位的结果图；大陆车牌定位：对初定位图像采用自适应阈值分割法进行分割，得到二值化图像，再利用大陆车牌具有的连续黑白线段跳变特征，进一步缩小候选区域，然后利用大陆车牌的高宽比特征，进行精确定位；香港车牌定位：对初定位图像采用自适应阈值分割法分割，再利用目标外接矩形的相关特征精确定位；输出定位结果。本发明定位准确率高，能满足海关现场检测需求。

Description

粤港两地车牌定位方法

技术领域

本发明属于图象处理技术领域，特别涉及车辆牌照的自动识别技术。

背景技术

近年来，随着城市交通的发展，智能交通系统的应用日益广泛，对智能交通系统的研究也越来越深入。车牌识别是其中一个重要的技术环节。车牌识别技术可以广泛地应用于高速公路自动收费、城市道路监控、停车场管理、海关过往车辆自动登记等方面，给交通管理部门提供了极大的方便。随着图象处理技术的发展，车牌识别系统已日趋成熟。详见文献：

(1)Shyang-Lih Chang，Li-Shien Chen，Yun-Chung Chung，and Sei-Wan Chen，“Automatic License Plate Recognition”，IEEE Trans.On IntelligentTransportation Systems，vol.5，No.1，March 2004，pp.42-53

(2)Christos Nikolaos E.Anagnostopoulos，Ioannis E.Anagnostopoulos，Vassili Loumos，and Eleftherios Kayafas，“A License Plate-RecognitionAlgorithm for Intelligent Transportation System Applications”，IEEE Trans.On Intelligent Transportation Systems，vol.7，No.3，September 2006，pp.377-392

在车牌识别系统中，车牌的定位是其中非常关键的环节，定位的准确率直接影响到整个系统的识别正确率。目前，常见的车牌定位方法有：

1.基于边缘统计与形态学的车牌定位方法

其中比较有代表性的研究是下列两篇文献：

(1)S.Z.Wang and H.M.Lee，“Detection and recognition of licenseplate characters with different appearences，”in Proc.Conf.Intell.Transp.Syst.，2003，vol.2，pp.979-984.

(2)B.Hongliang and L.Changping，“A hybrid license plate extractionmethod based on edge statistics and morphology，”in Proc.ICPR，2004，pp.831-834.

这种方法通过检测垂直边缘、边缘统计分析和形态学操作实现车牌定位。由于不依赖于车牌的边框，因此这种方法可以应用于没有清晰车牌边框的图象，并且可以快速简单的实现。其缺点是对于包含复杂背景的车牌图象，由于其中含有丰富的边缘信息，容易导致定位失败。

2.基于颜色信息的车牌定位方法

其中比较有代表性的研究是下列两篇文献：

(1)X.Shi，W.Zhao，and Y.Shen，“Automatic license plate recognitionsystem based on color image processing，”in Lecture Notes on ComputerScience.vol.3483，O.Gervasi et al.，Eds.New York：Springer-Verlag，2005，pp.1159-1168.

(2)Zhu Wei-gang，Hou Guo-jiang，Jia Xing，“A study of locating vehiclelicense plate based on color feature and mathematical morphology.”SignalProcessing，2002 6th International Conference on，vol.1.Aug.2002，pp.748-751

这种方法利用车牌颜色与其他区域的颜色不相同的特征来定位车牌，其关键在于颜色的正确分割。其缺点是在光照不均匀的环境下，很难获得较高的定位准确率。对于模糊图象以及背景中包含丰富颜色信息的图象，也很难获得好的定位效果。

除了上述方法之外，车牌定位方法还有基于霍夫变换的方法，基于小波变换的方法，以及基于神经网络的方法等等。这些方法的共同点是：都针对图象中只包含单个车牌的情况。对多数的国家或地区而言，虽然牌照格式各不相同，但通常车辆上只悬挂有一个牌照。在这种情况下，车牌识别只需要检测单个车牌。目前，国内外对车牌识别技术的研究也主要集中在对单个车牌的识别上。

然而，在中国的深圳海关，由于大陆和香港两地的车牌格式不同，进出海关的车辆需要同时悬挂大陆和香港两地的车牌。其中，大陆车牌为黑底白字，格式为水平排列的7个字符，并固定以字符“粤Z”开头，字符“港”结束，中间4个字符各不相同，即“粤Z××××港”。香港车牌为白底黑字，并分为单层和双层两类。其中，单层车牌的前2个字符为英文字母，其后可跟随1-4个数字。双层车牌的上层为两个英文字母，下层为1-4个数字。对于车辆上悬挂的大陆和香港两地的车牌，通常简称为粤港两地车牌。对车辆图片中的粤港两地车牌需要同时进行识别。现有技术很难满足这一要求。

发明内容

本发明的目的是针对进出深圳海关的车辆同时悬挂大陆车牌和香港车牌的情况，提供一种基于不同字符分布特征的车牌定位方法，用于同时检测图象中的粤港两地车牌。

本发明总体上是一种自动、实时捕获移动车辆并对车辆上悬挂的粤港两地车牌进行定位的图像处理技术。其技术方案是：首先由视频摄像系统获取实时视频图像，然后利用边缘特征，对大陆牌照和香港牌照进行初定位。接下来对大陆车牌，利用分割后车牌内部黑白线段跳变特征进一步缩小定位范围，并在此基础上精确定位。对香港车牌，则利用分割后字符区域的相关特征进行精确定位。

本方案的实施步骤大体分为下面几步(详细方案请见第五部分的“具体实施方式”)：

1、通过视频摄像系统捕获实时视频图像；

2、大陆车牌和香港车牌的初定位。首先通过边缘检测算子检测边缘，然后对边缘图进行分割，得到二值图。对分割后得到的二值图，采用非线性滤波去除其中不满足字符条件的矩形。再根据滤波之后的二值图，从原灰度图中提取初定位的结果图；

3、大陆车牌定位。对初定位得到的图象，采用自适应阈值分割法，按区域对图象进行分割。在分割后的二值化图象中，大陆车牌区域具有连续的黑白线段跳变特征，并且黑白线段的长度在一定范围之内。利用这一特征，可以对大陆牌照进行初定位，进一步缩小候选区域。然后利用大陆车牌宽高比在一定范围内的特征，对大陆车牌进行精确定位；

4、香港车牌定位

与大陆车牌相比，香港车牌具有不同的字符分布特征。香港车牌分为单层和双层两类。其中，单层车牌的前2个字符为英文字母，其后可跟随1-4个数字。双层车牌的上层为两个英文字母，下层为1-4个数字，上下层字符相对于车牌中心位置对称。因此，对初定位得到的图象，采用自适应阈值分割法，按区域对图象进行分割。在分割后的二值化图象中，利用目标外接矩形的相关特征对香港车牌进行精确定位；

5、输出大陆车牌和香港车牌的定位结果。

本发明在技术方案上与现有技术的主要区别在于：

1、针对进出深圳海关的车辆需要同时悬挂大陆和香港两地车牌的情况，对车牌图象中的两种车牌进行检测，并输出对这两种车牌的定位结果；

2、在定位过程中，分别利用了大陆车牌和香港车牌不同的字符分布特征。即大陆车牌为黑底白字，在分割后的二值化图象中，大陆车牌区域具有连续的黑白线段跳变特征，并且黑白线段的长度在一定范围之内。香港车牌为白底黑字，并分为单层和双层两类。双层车牌中上下层字符相对于车牌中心位置对称。利用不同的字符分布特征，实现对两种车牌的精确定位。

本发明针对进出深圳海关的车辆同时悬挂大陆车牌和香港车牌的情况，提供了对这两种车牌的定位检测方法。其中，大陆车牌定位正确率为98.1％，香港车牌定位正确率为95.2％，平均定位时间180ms，能够满足海关现场实际检测的需求。

附图说明

图1是包含有大陆车牌和香港车牌的示意图；

图2是本专利方法定位得到的大陆车牌和香港车牌；

图3是本专利方法的流程图。

具体实施方式

粤港两地车牌定位方法，包含下列具体实施步骤：

(1)、通过摄象机与采集卡进行实时视频捕获。为了得到有利于识别系统处理的图象，一般以大陆车牌为标准调节视场大小(因为大陆车牌的实际大小是统一标准)，在标准的768×576的视频图象中，当车牌处于图象中间位置时，其所占像素为150个像素点是最佳视场大小；

(2)、使用Sobel算子分别检测水平边缘和垂直边缘，然后采用垂直边缘结合部分水平边缘的方法检测边缘，如下式所示：

g_V(x，y)＝|[f(x-1，y-1)+2f(x-1，y)+f(x-1.y+1)]

        -[f(x+1，y-1)+2f(x+1，y)+f(x+1，y+1)]|

g_H(x，y)＝|[f(x-1，y-1)+2f(x，y-1)+f(x+1.y-1)]

        -[f(x-1，y+1)+2f(x，y+1)+f(x+1，y+1)]|

g(x，y)＝g_V(x，y)+g_H(x，y)/4

式中，f(x，y)为原始灰度图，gV(x，y)为垂直边缘图，gH(x，y)为水平边缘图，g(x，y)为最后检测得到的边缘图；

(3)、采用Ostu法获取分割阈值T，利用T对边缘图进行分割，得到二值图。由Ostu于1978年提出的最大类间方差法，是在判决分析最小二乘法原理的基础上推导得出的。该算法计算简单，稳定有效。有关Ostu算法的详细介绍，请参阅文献：N.Otsu，“A Threshold Selection Method From Gray Level Histogram”，IEEE Transactions on Systems.Man.and Cybernetics.SMC-9，1979，pp.62-66。

二值化的具体方法为：对边缘图中的每个象素依次进行判断，如果该象素的灰度值小于等于T，则将其值置为255；如果该象素的灰度值大于T，则将其值置为0；

(4)、对分割后得到的二值图，采用中值滤波去除其中的细小噪声，模板大小为3×3。对中值滤波之后的图象，采用种子点填充算法获得各目标的最小外接矩形。在填充过程中，还可获得各矩形的定量测量参数，如：宽度W，高度H，目标面积A等。利用这些参数，按下式算矩形的特征描述子：宽高比R，目标含量Per：

R＝W/H

Per＝A/(W×H)

根据各矩形的参数及特征描述子R和Per，去除一些过小过细的不满足字符条件的矩形。具体条件为：a.H＜10且R＞5；b.W＜10且R＜0.5；c.Per＜0.1。满足这3个条件之一的矩形均被去除；

(5)、在滤波之后的二值图g(x，y)中，属于各区域的象素点都置为目标。再将g(x，y)与原灰度图f(x，y)按下式进行操作，得到初定位的结果图g1(x，y)：

$g_1(x,y)=\left\{\begin{array}{cc}255& \mathrm{ifg}(x,y)==255\\ f(x,y)& \mathrm{ifg}(x,y)==0\end{array}\right.$

(6)、在初定位的非线性滤波过程中，已经获得了各区域的位置信息。在各个不同的区域中，分别采用Ostu法选择各区域的分割阈值，将初定位得到的图象分割为二值图；

(7)在分割后的二值化图象中，大陆车牌区域具有连续的黑白线段跳变特征，并且黑白线段的长度在一定范围之内。利用这一特征，可以对大陆车牌进行定位，进一步缩小候选区域。具体算法如下：

①在当前行内，首先判断黑白线段的长度是否满足条件。对白色线段，判断其长度是否小于最大字符宽度32；对黑色线段，判断其长度是否小于最大字符宽度32×2。若满足条件，则继续下面的处理；否则，重新开始处理下一线段；

②对长度满足条件的线段，逐段统计黑白线段的连续跳变次数，如果该次数大于指定的跳变次数12，则这一组连续跳变的黑白线段被判定为车牌区域，将其灰度值标记为128；

③当前行扫描结束之后，将不满足条件的黑色目标点置为白色象素255；

④从上到下，对车牌图象逐行进行上述处理；

⑤将图象中标记为车牌区域的象素值置为0。

(8)、经过上述处理之后，车牌区域通常都能被标记出来。但在车牌区域内部，由于光照或污损等原因，会出现细小的白色缝隙。而在非车牌区域，也会有一些细长的区域被标记为车牌区域。因此，采用非线性滤波滤除这一类区域。具体算法如下：

①在当前列中，逐断统计白色线段的高度，如果该高度小于5，则该白色线段被滤除，标记为黑色象素；

②从左到右，对车牌图象逐列进行上述处理；

③在当前列中，逐断统计黑色线段的高度，如果该高度小于10，则该黑色线段被滤除，标记为白色象素；

④从左到右，对车牌图象逐列进行上述处理。

(9)、将非线性滤波之后的结果图g(x，y)与原灰度图f(x，y)按下式进行操作，得到大陆车牌初定位的结果图g2(x，y)：

$g_2(x,y)=\left\{\begin{array}{cc}255& \mathrm{ifg}(x,y)==255\\ f(x,y)& \mathrm{ifg}(x,y)==0\end{array}\right.$

(10)、对初定位结果图g2(x，y)中的候选区域采用Ostu法选择阈值T，然后按下式将g2(x，y)分割为二值图：

$I_2(x,y)=\left\{\begin{array}{cc}255& \mathrm{if}{g}_2(x,y)==255\\ 0& \mathrm{if}{g}_2(x,y)<=T\\ 255& \mathrm{if}{g}_2(x,y)>T\end{array}\right.$

(11)、对二值化之后的图象，采用种子点填充算法获得各目标的最小外接矩形。在填充过程中，可获得各矩形的定量测量参数，如：宽度W，高度H，目标面积A等。利用这些参数，按下式计算矩形的特征描述子宽高比R及目标含量Per：

R＝W/H

Per＝A/(W×H)

根据各矩形的参数及特征描述子R和Per，删除独立的香港字符区域及非牌照区，具体条件为：a.W＜100；b.H＞W；c.R＜2.5或R＞10；d.Per＜0.2。经过上述处理之后，符合条件的大陆车牌区域被保留；

(12)、在定位大陆车牌之后，开始对香港车牌进行定位。在步骤6得到的二值图中，包含有香港车牌中的各个字符。对该二值图，在水平和垂直方向分别删除大于指定最大字符宽度和最大字符高度的线段。最大字符宽度设置为32，最大字符高度设置为45；

(13)、对删除长线段之后的图象，采用种子点填充算法获得各目标的最小外接矩形，并删除一些过小过细的不满足字符条件的矩形。具体条件同步骤4；

(14)、根据矩形的高度、宽度、位置等信息，对矩形进行合并处理，找出牌照区域。具体算法如下：各矩形左右扩展12个象素，上下扩展6个象素；对每一个矩形Ri，找出距离最近的矩形Rj，如果Ri和Rj相交，则判断两个矩形的宽度、高度、纵坐标位置的差异是否在指定范围之内；若是，则合并这两个矩形，记录合并后矩形的位置、包含的矩形个数N等信息，并将Rj标记为已处理；

(15)对合并后得到的候选牌照区域，首先删除宽度大于高度的非车牌区域。其次，由于香港车牌中包含的字符个数为3-6，因此，根据区域内包含的子区域个数N，删除N＜3以及N＞8的非车牌区域。经过上述处理，符合条件的的香港车牌被保留；

(16)、输出大陆车牌和香港车牌的定位结果。

Claims (1)

1.一种粤港两地车牌定位方法，包含下列具体实施步骤：

(1)、通过摄象机与采集卡进行实时视频捕获，以大陆车牌为标准调节视场大小，在标准的768×576的视频图象中，当车牌处于图象中间位置时，其所占像素为150个像素点是最佳视场大小；

(2)、使用Sobel算子分别检测水平边缘和垂直边缘，然后采用垂直边缘结合部分水平边缘的方法检测边缘，如下式所示，

g_V(x，y)＝|[f(x-1，y-1)+2f(x-1，y)+f(x-1.y+1)]

        -[f(x+1，y-1)+2f(x+1，y)+f(x+1，y+1)]|

g_H(x，y)＝|[f(x-1，y-1)+2f(x，y-1)+f(x+1.y-1)]

        -[f(x-1，y+1)+2f(x，y+1)+f(x+1，y+1)]|

g(x，y)＝g_V(x，y)+g_H(x，y)/4

式中，f(x，y)为原始灰度图，gV(x，y)为垂直边缘图，gH(x，y)为水平边缘图，g(x，y)为最后检测得到的边缘图；

(3)、采用Ostu法获取分割阈值T，利用T对边缘图进行分割，得到二值图；二值化的具体方法为：对边缘图中的每个象素依次进行判断，如果该象素的灰度值小于等于T，则将其值置为255；如果该象素的灰度值大于T，则将其值置为0；

(4)、对分割后得到的二值图，采用中值滤波去除其中的细小噪声，模板大小为3×3；对中值滤波之后的图象，采用种子点填充算法获得各目标的最小外接矩形；在填充过程中，还可获得各矩形的定量测量参数，如：宽度W，高度H，目标面积A等，利用这些参数，按下式算矩形的特征描述子：宽高比R，目标含量Per；

R＝W/H

Per＝A/(W×H)

根据各矩形的参数及特征描述子R和Per，去除一些过小过细的不满足字符条件的矩形；具体条件为：a、H＜10且R＞5；b、W＜10且R＜0.5；c、Per＜0.1，满足这3个条件之一的矩形均被去除；

(5)、在滤波之后的二值图g(x，y)中，属于各区域的象素点都置为目标；再将g(x，y)与原灰度图f(x，y)按下式进行操作，得到初定位的结果图g1(x，y)；

$g_1(x,y)=\left\{\begin{array}{cc}255& \mathrm{ifg}(x,y)==255\\ f(x,y)& \mathrm{ifg}(x,y)==0\end{array}\right.$

(6)、在初定位的非线性滤波过程中，已经获得了各区域的位置信息；在各个不同的区域中，分别采用Ostu法选择各区域的分割阈值，将初定位得到的图象分割为二值图；

(7)、在分割后的二值化图象中，大陆车牌区域具有连续的黑白线段跳变特征，并且黑白线段的长度在一定范围之内，利用这一特征，对大陆车牌进行定位，进一步缩小候选区域；具体算法如下：

(7-1)在当前行内，首先判断黑白线段的长度是否满足条件；对白色线段，判断其长度是否小于最大字符宽度32；对黑色线段，判断其长度是否小于最大字符宽度32×2；若满足条件，则继续下面的处理；否则，重新开始处理下一线段；

(7-2)对长度满足条件的线段，逐段统计黑白线段的连续跳变次数，如果该次数大于指定的跳变次数12，则这一组连续跳变的黑白线段被判定为车牌区域，将其灰度值标记为128；

(7-3)前行扫描结束之后，将不满足条件的黑色目标点置为白色象素255；

(7-4)从上到下，对车牌图象逐行进行上述处理；

(7-5)将图象中标记为车牌区域的象素值置为0；

(8)、经过上述处理之后，车牌区域通常都能被标记出来；但在车牌区域内部，由于光照或污损等原因，会出现细小的白色缝隙；而在非车牌区域，也会有一些细长的区域被标记为车牌区域；因此，采用非线性滤波滤除这一类区域；具体算法如下：

(8-1)在当前列中，逐断统计白色线段的高度，如果该高度小于5，则该白色线段被滤除，标记为黑色象素；

(8-2)从左到右，对车牌图象逐列进行上述处理；

(8-3)在当前列中，逐断统计黑色线段的高度，如果该高度小于10，则该黑色线段被滤除，标记为白色象素；

(8-4)从左到右，对车牌图象逐列进行上述处理；

(9)、将非线性滤波之后的结果图g(x，y)与原灰度图f(x，y)按下式进行操作，得到大陆车牌初定位的结果图g2(x，y)；

$g_2(x,y)=\left\{\begin{array}{cc}255& \mathrm{ifg}(x,y)==255\\ f(x,y)& \mathrm{ifg}(x,y)==0\end{array}\right.$

(10)、对初定位结果图g2(x，y)中的候选区域采用Ostu法选择阈值T，然后按下式将g2(x，y)分割为二值图；

$I_2(x,y)=\left\{\begin{array}{cc}255& \mathrm{if}{g}_2(x,y)==255\\ 0& \mathrm{if}{g}_2(x,y)<=T\\ 255& \mathrm{if}{g}_2(x,y)>T\end{array}\right.$

(11)、对二值化之后的图象，采用种子点填充算法获得各目标的最小外接矩形。在填充过程中，可获得各矩形的定量测量参数；利用这些参数，按下式计算矩形的特征描述子宽高比R及目标含量Per；

R＝W/H

Per＝A/(W×H)

其中，矩形宽度W，高度H，目标面积A；

根据各矩形的参数及特征描述子R和Per，删除独立的香港字符区域及非牌照区，具体条件为：a.W＜100；b.H＞W；c.R＜2.5或R＞10；d.Per＜0.2；经过上述处理之后，符合条件的大陆车牌区域被保留；

(12)、在定位大陆车牌之后，开始对香港车牌进行定位；在步骤6得到的二值图中，包含有香港车牌中的各个字符；对该二值图，在水平和垂直方向分别删除大于指定最大字符宽度和最大字符高度的线段，最大字符宽度设置为32，最大字符高度设置为45；

(13)、对删除长线段之后的图象，采用种子点填充算法获得各目标的最小外接矩形，并删除一些过小过细的不满足字符条件的矩形；具体条件同步骤4；

(14)、根据矩形的高度、宽度、位置等信息，对矩形进行合并处理，找出牌照区域；具体算法如下：各矩形左右扩展12个象素，上下扩展6个象素；对每一个矩形Ri，找出距离最近的矩形Rj，如果Ri和Rj相交，则判断两个矩形的宽度、高度、纵坐标位置的差异是否在指定范围之内；若是，则合并这两个矩形，记录合并后矩形的位置、包含的矩形个数N等信息，并将Rj标记为已处理；

(15)、对合并后得到的候选牌照区域，首先删除宽度大于高度的非车牌区域；其次，由于香港车牌中包含的字符个数为3-6，因此，根据区域内包含的子区域个数N，删除N＜3以及N＞8的非车牌区域；经过上述处理，符合条件的的香港车牌被保留；

(16)、输出大陆车牌和香港车牌的定位结果。

Images