CN103824078B - 复杂场景多车牌定位方法 - Google Patents

Abstract

本发明公开了复杂场景多车牌定位方法，包括以下步骤S1、读取车辆图像；S2、对读取的图像进行预处理；S3、对图像进行局部二值化，生成二值图像；S4、在二值图像上筛选出字符区域，去除非字符区域；S5、对筛选出的区域进行合并，形成车牌的候选区域；S6、对候选区域进行扩展；S7、从候选区域中去除伪车牌，筛选出有效车牌。本发明的方法具有较好的车牌定位效果。

Description

复杂场景多车牌定位方法

技术领域

本发明属于计算机视觉在智能交通方面的应用，特别是车牌定位识别方面，具体指非固定场景下的多车牌定位的方法。

背景技术

传统单一车辆的车牌定位，常用的方法有两种，一种是采用边缘检测结合数学形态学的方法，先对车牌进行竖直方向上的边缘检测，再选用适合尺度大小的结构元素对边缘图像进行一系列形态学操作，最后在形成的连通区域中找出车牌区域。另一种是方向滤波结合投影的方法来定位车牌，该方法先对图像进行水平梯度滤波，这样图像中的水平纹理将被凸显出来，再做水平方向的投影，根据车辆车灯、车牌区域水平纹理丰富的特点，先定位到车头部位，再进一步分析投影曲线，定位出车牌的上下边框。然后再做竖直方向梯度滤波后进行竖直投影，定位出车牌的左右边界。

上述的两种方法都有其局限性。第一种方法，在进行形态学操作时，如何选择结构元素的尺度是一个重要的问题，如果尺度太大，会使车牌字符与周围车灯或排气扇粘连在一起，如果太小，车牌又不能形成一个连通区域。所以要预先估计出车牌大概的大小。在连通区域的分析，非车牌的判断时也要根据车牌大小来进行筛选。而第二种方法，只适用于图像只有一辆车、且车身几乎充满图像的情况，不然复杂的环境背景会对车牌定位有较大的影响。

发明内容

本发明的目的在于克服上述现有技术的不足，提供一种能够不依赖于车牌的预设大小与车牌所处的背景情况，实现单张图像中不同远近的多车牌的定位方法。

为实现上述目的，本发明采用以下技术方案：

复杂场景多车牌定位方法，包括以下步骤：

S1、读取车辆图像；

S2、对读取的图像进行预处理；

S3、对图像进行局部二值化，生成二值图像；

S4、在二值图像上筛选出字符区域，去除非字符区域；

S5、对筛选出的区域进行合并，形成车牌的候选区域；

S6、对候选区域进行扩展；

S7、从候选区域中去除伪车牌，筛选出有效车牌。

所述步骤S2包括以下步骤：

S21、获取车辆图像的尺寸，即图像的高度imgH与宽度imgW；

S22、定义一个形态学的结构元素；

S23、采用上述定义的结构元素对车辆图像运用形态学开运算，得到处理图像imgMorph；

S24、将原图像imgSrc，与上述步骤中得到的形态学处理图像imgMorph作差值：imgDif＝abs(imgSrc-imgMorph)，得到的增强图像imgDif。

所述步骤S3具体包括以下步骤：

S31、将图像划分为多个网格；

S32、对每一个网格内的图像检测竖直边缘；

S33、记录竖直边缘周围的像素颜色；

S34、将上一步骤中记录的颜色分为2类，其中一类是字符的颜色C₁，一类为背景的颜色C₂；

S35、遍历网格内的像素，将网格像素的颜色值C与上一步骤中的2类颜色比较，如果更接近背景色 C₂，则二值化结果为该网格设成白色像素；反之，则二值化为黑色像素；

其中dist()为矢量欧氏距离函数，dist(c,c₁)和dist(c,c₂)分别 表示c与c₁的距离、c与c₂的距离， c＝[r,g,b],c₁＝[r₁,g₁,b₁],c₂＝[r₂,g₂,b₂]，式中r、g、b分别代表红、绿、蓝的分量值；

S36、将所有网格的图像的二值化完成后，整个图像的二值化结束。

所述步骤S4具体包括以下步骤：

S41、标记二值图像上的所有连通区域，所述连通区域是指二值图像的前景部分里的每一个单独的块状区域；

S42、获取每个连通区域的外接矩形Box，得到所述连通区域的高度conpH和所述连通区域的宽度conpW；

S43、计算所述连通区域的高宽比其中，h、w分别表示连通区域的高和宽；

S44、如果高宽比满足条件：(w、h分别表示连通区域的宽和高)，其中T₁＝1，T₂＝2.5则将所述连通区域保留，如果不满足，则将所述连通区域从二值图像中去除。

所述步骤S5中对筛选出的区域进行合并具体为：当两个连通区域满足：|H₁-H₂|＜H₁/4且时，则将所述两个连通区域进行合并，所述H₁与H₂分别表示需要合并的两个连通区域的高度，和分别表示要进行合并的两个连通区域在水平方向上的坐标。

所述步骤S6具体为：先求出该候选区域里的所有连通区域的平均高度mean_h，根据现有候选区域的高度进行扩展至5*mean_h的宽度，候选区域的上下边界则选择形成该候选区域的连通区域里的最小上边界与最大下边界，所述候选区域是指将筛选出的连通区域进行合并后形成的区域。

所述步骤S7中的去除伪车牌具体包括以下步骤：

S71、对候选区域进行二值化；

S72、对二值图像进行车牌字符的查找，并用SVM字符识别器进行识别；

S73、如在上述步骤中能找到3个或3个以上的字符，则说明该车牌为真车牌，否则为伪车牌，则将伪车牌直接去掉。

采用上述技术方案后，本发明与背景技术相比，具有如下优点：本发明的车牌定位方法能够有效适应复杂背景，算法复杂度低，定位效率和准确率高。

附图说明

图1为本发明的流程示意图；

图2为采集到的场景车辆图像；

图3为经过预处理后增强的图像；

图4为图像进行局部二值化处理后的效果图；

图5为对图像筛选出字符区域后的效果图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

实施例

如图1所示的流程示意图，本方法包括以下7个步骤：

步骤S1、先读取一张车辆图像

步骤S2、对读取的图像进行预处理，增强图像的亮度，去除图像噪声

由于在实际中，可能会因为光线不足或聚焦不准造成图像的模糊，导致采集到的车辆图像往往不理想，所以在对图像进行车牌定位之前，需要对图像做一定的预处理，来增强车牌在图像中的显示效果。

本发明中采用形态学差分算法来增强车牌显示效果，具体步骤如下：

S21、获取车辆图像的尺寸：即图像的高度imgH与宽度imgW。

S22、定义一个形态学的结构元素：矩形结构元素Se，其高度为imgH/10， 宽度为imgW/10。

S23、对车辆图像运用形态学开运算，并得到处理图像imgMorph，采用的结构元素为上一步骤中定义的矩形结构元素Se。

S24、将原图像imgSrc，与上述步骤中得到的形态学处理图像imgMorph作差值：imgDif＝abs(imgSrc-imgMorph)，其中imgDif即为得到的增强图像，与原图像相比，增强图像的车牌字符更加凸显，如图2所示的经过预处理后的图像。

步骤S3、对图像进行局部二值化，生成二值图像

局部二值化是一种针对于全局二值化的图像二值化算法，它是将图像分割成若干小窗口，并分别计算每个小窗口内的阈值，该阈值只针对该窗口内的图像进行二值化。局部二值化是一种细分算法，其对光照不均或小目标的图像有较好的效果。

局部二值化具体包括以下步骤

S31、将图像划分为多个120*30的网格；

S32、对每一个网格内的图像检测竖直边缘；

S33、记录竖直边缘周围的像素颜色；

S34、将上一步骤中记录的颜色分为2类，其中一类是字符的颜色C₁，一类为背景的颜色C₂；

S35、遍历网格内的像素，将网格像素的颜色值C与上一步骤中的2类颜色比较，如果更接近背景色 C₂，则二值化结果为设成白色像素；反之，二值化为黑色像素；

其中dist()为矢量欧氏距离函数，dist(c,c₁)和dist(c,c₂)分别表示c与c₁的距离、c与c₂的距离， c＝[r,g,b],c₁＝[r₁,g₁,b₁],c₂＝[r₂,g₂,b₂]，式中r、g、b分别代表红、绿、蓝的分量值；

S36、将所有网格的图像的二值化完成后，整个图像的二值化结束，可得到如图3所示的二值图像。

步骤S4、筛选出字符区域，去除非字符区域：

对车辆图像进行局部二值化的处理后将得到一张二值图像，把里面白色的区域作为前景部分,把前景部分里的每一个相连通的单独的块状区域称为连通区域，车牌里的每个字符均为一个单独的连通区域，因此在图像里，有的连通区域是字符区域，有的连通区域是非字符区域，对二值图像中所有的连通区域进行分析，将符合条件的连通区域保留下来，去除不符合条件的连通区域(非字符区域)，如图4所示，其具体步骤如下：

S41、标记二值图像上的所有连通区域；

S42、获取每个连通区域的外接矩形Box，得到所述连通区域的高度conpH和所述连通区域的宽度conpW；

S43、计算该连通区域的高宽比其中，h、w分别表示连通区域的高和宽；

S44、如果高宽比满足下面条件，则认为该连通区域很可能为车牌的字符区域，因此将连通区域保留，如果不满足，则可认定该连通区域为非字符区域，将该连通区域从二值图像中擦除。

(w、h分别表示连通区域的宽和高)，其中T₁＝1，T₂＝2.5

步骤S5、对字符区域进行合并

经过上述的步骤，非字符区域已被大量筛选掉，剩下的连通区域中，有些是车牌的字符区域，有些可能是一些无关的数字或线条等，因此需要对这些剩余的连通区域进行分析，将属于同一个车牌的多个字符区域进行合并，提取出车牌的候选区域。

考虑到车牌的字符一般是沿水平方向依次排列，且字符大小基本一致，所以当两个连通区域满足以下的合并条件时，则将该两个连通区域进行合并：

|H₁-H₂|＜H₁/4且

上述H₁与H₂分别表示需要合并的两个连通区域的高度，和分别表示要进行合并的两个连通区域在水平方向上的坐标。

步骤S6、候选区域的扩展

对二值图像中所有满足合并条件的连通区域进行合并归类后，就认为每个合并后的连通区域块，即每个候选区域都可能是一个车牌，但是考虑到二值化可能会使车牌中部分字符丢失等情况，使候选区域可能只包括了车牌里的部分字符，所以要对候选区域进行扩展。

先求出合并成该候选区域的所有连通区域的平均高度mean_h，即mean_h＝mdian{h_i},根据高度一般可以认为车牌的宽度一般在5*mean_h左右，根据现有候选区域的高度进行扩展至车牌应有的宽度即可。在形成该候选区域的所有连通区域里，选择其中的最小上边界作为候选区域的上边界，选择其中的最大下边界作为候选区域的下边界，这样可以保证所有连通区域都被包括进来。

x_top＝min(x_i) y_bottom＝max(y_i)

其中x_i表示该候选区域里的每个连通区域上边界在竖直方向的坐标；y_i代表该候选区域里的每个连通区域下边界在竖直方向的坐标。

步骤S7、伪车牌的去除

经上述的合并、扩展步骤后确定的车牌候选区域里，往往会有一些并非是真正的车牌，有可能是一些带有数字纹理的区域，例如出租车上的Taxi标志，车头的排气扇等，所以需要进一步去除这些伪车牌，从而筛选出有效的车牌，其具体包括以下3个步骤：

S71、对步骤S6中形成的候选区域进行二值化；

S72、对二值图像进行车牌字符的查找，并用SVM字符识别器进行识别；

S73、如果在步骤S72中能找到3个或3个以上的字符，则说明该候选区域为真车牌，否则为伪车牌，则将该候选区域直接去掉。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (3)

1.复杂场景多车牌定位方法，其特征在于：包括以下步骤

S1、读取车辆图像；

S2、对读取的图像进行预处理；

S3、对图像进行局部二值化，生成二值图像；

S4、在二值图像上筛选出字符区域，去除非字符区域；

S5、对筛选出的区域进行合并，形成车牌的候选区域；

S6、对候选区域进行扩展；

S7、从候选区域中去除伪车牌，筛选出有效车牌；

其中，所述步骤S3具体包括以下步骤：

S31、将图像划分为多个120*30的网格；

S32、对每一个网格内的图像检测竖直边缘；

S33、记录竖直边缘周围的像素颜色；

S34、将上一步骤中记录的颜色分为2类，其中一类是字符的颜色C₁，一类为背景的颜色C₂；

S35、遍历网格内的像素，将网格像素的颜色值C与上一步骤中的2类颜色比较，如果更接近背景色C₂，则二值化结果为该网格设成白色像素；反之，则二值化为黑色像素；

其中dist()为距离矩阵函数，dist(c,c₁)和dist(c,c₂)分别表示c与c₁的距离、c与c₂的距离；

S36、将所有网格的图像的二值化完成后，整个图像的二值化结束；

其中，所述步骤S4具体包括以下步骤：

S41、标记二值图像上的所有连通区域，所述连通区域是指二值图像的前景部分里的每一个单独的块状区域；

S42、获取每个连通区域的外接矩形Box，得到所述连通区域的高度conpH 和所述连通区域的宽度conpW；

S43、计算所述连通区域的高宽比其中，h、w分别表示连通区域的高和宽；

S44、如果高宽比满足条件：(w、h分别表示连通区域的宽和高)，其中T₁＝1，T₂＝2.5则将所述连通区域保留，如果不满足，则将所述连通区域从二值图像中去除；

其中，所述步骤S5中对筛选出的区域进行合并具体为：

当两个连通区域满足：|H₁-H₂|＜H₁/4且时，则将所述两个连通区域进行合并，所述H₁与H₂分别表示需要合并的两个连通区域的高度， 和分别表示要进行合并的两个连通区域在水平方向上的坐标；

其中，所述步骤S6具体为：先求出该候选区域里的所有连通区域的平均高度mean_h，根据现有候选区域的高度进行扩展至5*mean_h的宽度，候选区域的上下边界则选择形成该候选区域的连通区域里的最小上边界与最大下边界，所述候选区域是指将筛选出的连通区域进行合并后形成的区域。

2.根据权利要求1所述的复杂场景多车牌定位方法，其特征在于：所述步骤S2包括以下步骤：

S21、获取车辆图像的尺寸，即图像的高度imgH与宽度imgW；

S22、定义一个形态学的结构元素；

S23、采用上述定义的结构元素对车辆图像运用形态学开运算，得到处理图像imgMorph；

S24、将原图像imgSrc，与上述步骤中得到的形态学处理图像imgMorph作差值：imgDif＝abs(imgSrc-imgMorph)，得到的增强图像imgDif。

3.根据权利要求1所述的复杂场景多车牌定位方法，其特征在于：所述步骤S7中的去除伪车牌具体包括以下步骤：

S71、对候选区域进行二值化；

S72、对二值图像进行车牌字符的查找，并用SVM字符识别器进行识别；

S73、如在上述步骤中能找到3个或3个以上的字符，则说明该车牌为真车牌，否则为伪车牌，则将伪车牌直接去掉。