CN102831419A

CN102831419A - 一种快速的街景图像中车牌的检测模糊方法

Info

Publication number: CN102831419A
Application number: CN2012102650683A
Authority: CN
Inventors: 杨鑫; 王欣刚; 吴亮
Original assignee: Institute of Automation of Chinese Academy of Science
Current assignee: Institute of Automation of Chinese Academy of Science
Priority date: 2012-07-27
Filing date: 2012-07-27
Publication date: 2012-12-19
Anticipated expiration: 2032-07-27
Also published as: CN102831419B

Abstract

本发明公开了一种快速的街景图像中车牌的检测模糊方法，该方法包括以下步骤：去除不包含车牌区域的部分区域；将街景图像采用HSV空间模型进行颜色分割，得到二值图像；对二值图像进行两次膨胀操作；根据车牌的形状和梯度特征，初步判断车牌区域；根据车牌的空间特征，设置一定的限制条件来进一步检测车牌；对所有检测到的车牌区域进行水平、垂直方向上的平滑模糊，得到最终的结果图像。本发明引入水平方向的膨胀算法来连通候选区域，基于车牌区域的颜色、纹理、形状和空间特征，提出了快速、鲁棒的车牌检测算法。本发明巧妙地采用水平和垂直模板对车牌区域进行平滑模糊处理，在保证模糊效果的同时，大大提高了处理速度。

Description

一种快速的街景图像中车牌的检测模糊方法

技术领域

本发明涉及图像处理技术领域，尤其是一种快速的街景图像中车牌的检测模糊方法。

背景技术

在过去的几年时间内，在线的街景地图产品得到了快速发展。目前来说，最大且最流行的是谷歌街景。全世界范围内，除了谷歌街景外，还有Mapjack，Everyscape和Daum’s Road View等。街景图像的大尺度和精确特性使得用户可以有效地搜索感兴趣点的具体位置，而且使虚拟地在街道级别环境中漫步成为可能，衍生了一系列用途，比如：房地产搜索，虚拟旅游，旅游规划，增强化的驾驶导航和商业搜索等。但是，街景图像的展示是以牺牲个人隐私为代价的，主要包括人脸和车牌。为了保护这些隐私，需要对人脸和车牌区域进行检测和模糊化处理。

街景图像中的车牌检测不同于一般的车牌检测，它的挑战性主要表现在以下几个方面：1、街景图像尺度大，背景复杂，光照变化大，对比度小；2、车牌类型多样，姿态丰富；3、车牌所占区域分辨率低，且存在部分遮挡的情况。谷歌设计了高召回率的主检测器和高精度的次检测器提取车牌特征并采用神经网络的方法进行车牌检测，检测一张图片的时间为7～10秒，检测准确率达到93％。考虑到该方法耗时较长，本发明设计了一种快速的街景图像中车牌的检测模糊方法。

发明内容

本发明的目的是利用图像处理技术提取街景图像中车牌区域的特征，来检测和模糊车牌区域。为此提供一种快速的街景图像中车牌的检测模糊方法。

为了达成所述目的，本发明提供一种快速的街景图像中车牌的检测模糊方法，其特征在于，该方法包括以下步骤：

步骤1，对街景原始图像进行预处理，得到待处理街景图像；

步骤2，将待处理街景图像由RGB空间转换至HSV颜色空间；

步骤3，在HSV空间中，根据所述待处理街景图像中车牌区域的颜色特征，对所述待处理街景图像进行分割，得到所述待处理街景图像的二值图像；

步骤4，对所述二值图像进行膨胀操作；

步骤5，查找经膨胀操作后的二值图像中的所有轮廓，得到各个轮廓的最小包围矩形，根据车牌的形状和梯度特征，初步判断各最小包围矩形所包围的区域是否为车牌区域；

步骤6，根据车牌的空间特征，基于经所述步骤5初步判断为车牌区域的区域，对真实的车牌区域进行检测；

步骤7，对检测得到的真实的车牌区域进行模糊化处理。

本发明引入水平方向的膨胀算法来连通候选区域，基于车牌区域的颜色、纹理、形状和空间特征，创造性地设计了快速、鲁棒的车牌检测算法，并且巧妙地采用水平和垂直模板对车牌区域进行平滑模糊处理，在保证模糊效果的同时，大大提高了处理速度。

附图说明

图1是本发明提出的街景图像中车牌的检测模糊方法流程图；

图2是对蓝底白字车牌进行HSV空间颜色分割后得到的二值图像；

图3是对图2中的二值图像进行膨胀操作后得到的包含车牌候选区域的二值图像；

图4是基于图3中的二值图像的车牌检测结果；

图5是对图4中的车牌区域经水平垂直模糊处理后的结果。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

本发明的基本原理是提取车牌的颜色特征、形状特征、纹理特征以及空间特征来检测车牌，并对车牌区域进行水平和垂直方向的平滑模糊处理。

图1是本发明提出的街景图像中车牌的检测模糊方法流程图，如图1所示，本发明提出的街景图像中车牌的检测模糊方法包括以下步骤：

步骤1，对街景原始图像进行预处理，得到待处理街景图像；

设街景原始图像的分辨率为W*H，考虑到街景图像中的顶部区域中不存在车牌区域，底部为街景图像采集车，去除街景原始图像的顶部W*h₁像素区域和底部W*h₂像素区域，得到分辨率为W*(H-h₁-h₂)的待处理街景图像。

在通常应用中，街景原始图像的分辨率一般为1232*1616，去除街景原始图像的顶部1232*808像素区域，和底部1232*250的像素区域，得到分辨率为1232*558的待处理街景图像。

步骤2，将待处理街景图像由RGB空间转换至HSV颜色空间；

我国的车牌大致可以分为四大类，包括小功率汽车的蓝底白字车牌，大功率汽车的黄底黑字车牌，军警用的白底黑字车牌，以及国外驻华使馆用的黑底白字车牌，因此，需要将待处理街景图像由RGB空间转换至HSV颜色空间。

在HSV空间中，根据对待处理街景图像进行大量的色彩分析及对所述街景图像中车牌区域的颜色统计得出几种车牌区域的颜色分布，如表1所示。

车牌颜色	H分量	S分量	V分量
				蓝牌	[190，245]	[0.35，1]	[0.3，1]
黄牌	[25，55]	[0.35，1]	[0.3，1]
				白牌		[0，0.1]	[0.91，1]
黑牌			[0，0.35]

根据所述车牌区域的颜色分布，设置相应的阈值，对所述待处理街景图像进行颜色分割，得到所述待处理街景图像的二值图像，比如，蓝色车牌HSV空间各颜色分量的分布范围为：H∈[190，245]，S∈[0.35，1]，V∈[0.3，1]，对待处理街景图像进行分割，就可得到包含蓝色车牌候选区域的二值图像I_B，如图2所示，同理可得到包含其它颜色车牌候选区域的二值图像。

步骤4，对所述二值图像进行膨胀操作；

该步骤中，首先采用3*3模板对所述二值图像进行两次膨胀操作，然后再采用模板[111111111]对两次膨胀操作后得到的二值图像进行一次水平方向的膨胀操作。其中，水平方向的膨胀操作的原理为：遍历所述二值图像中的所有像素(像素灰度值为0或1)，如果某一像素的灰度值为1，则将其水平方向上4邻域内的像素全部置为1，并步进5个像素再进行操作；如果某一像素的灰度值为0，则步进1个像素进行操作。将所述二值图像I_B进行上述膨胀操作后的包含车牌候选区域的二值图像I′_B如图3所示。

该步骤中，首先查找经膨胀操作后的二值图像中的所有轮廓，得到各个轮廓的最小包围矩形R(P₁，P₂，P₃，P₄)，其中，P₁，P₂，P₃，P₄分别为包围矩形R的四个顶点坐标，将所述包围矩形的长和宽分别记为R_l和R_w。

然后根据车牌的形状、梯度特征，设置一定的限制条件，来判断各最小包围矩形所包围的区域是否为车牌区域。其中，所述限制条件主要包括：

①我国车牌的长宽比约为3∶1，即所述最小包围矩形的长宽比需要满足：R_l/R_w＞2且R_l/R_w＜4；

②基于当前相机的设置，由街景图像可以看出，随着图像纵坐标的增加，街景内容由远及近，因此，车牌的宽与该车牌在街景图像中的位置的纵坐标成线性递增关系，即满足：R_w＜α*y_c+β，其中，α，β为系数，在一实施例中，α，β分别取为0.25，15；y_c为所述最小包围矩形中心点的纵坐标；

③车牌的宽度有一定的下限，即满足：R_w＞R_wmin，其中，R_wmin为下限值，在一实施例中取为15；

④以最小包围矩形的中心为中心点，计算四个方向的像素梯度，然后，累加一个方向上的相邻像素灰度梯度，之后，将累加和除以该方向上的像素数得到该方向上的单位像素梯度G₁(0°)，G₂(45°)，G₃(90°)和G₄(135°)。考虑到车牌区域纹理丰富，所述单位像素梯度应满足：G₁(0°)＞T₁，G₂(45°)＞T₂，G₄(135°)＞T₂且G3(90°)＞T₃，其中，T₁，T₂，T₃分别为单位像素梯度阈值，在一实施例中分别取为12，10，8。

满足以上条件限制的区域可初步判断为车牌区域。

该步骤中，考虑车牌的空间特征，基于所述步骤5初步判断的结果，对真实的车牌区域进行检测。在本发明的一个实施例中，采用容器法对真实的车牌区域进行检测，即通过将初步判断为车牌区域的区域有选择的加入存储车牌的容器中来实现对真实车牌区域的检测。该方法具体包括以下步骤：

步骤61，判断容器是否为空，如果容器为空，则将所述初步判断为车牌区域的区域直接加入容器中；如果容器不为空，则进入步骤62；

步骤62，设当前初步判断为车牌区域P₀的中心位置为(x₀，y₀)，容器中存在的车牌区域P′的中心位置为(x′，y′)，若满足|x₀-x′|＜T_D且y₀＞y′，则用当前车牌区域P₀替换容器中的车牌区域P′，其中，T_D为横坐标距离阈值；若满足|x₀-x′|＜T_D且y₀＜y′，则当前车牌区域P₀不加入容器中；若满足|x₀-x′|≥T_D，则将当前车牌区域P₀加入容器中，在一实施例中，T_D取为120；

步骤63，最终容器中存在的车牌区域即为真实的车牌区域。

基于图3所示的二值图像I′_B的车牌检测结果如图4所示。

步骤7，对检测得到的真实的车牌区域进行模糊化处理。

该步骤中，首先对检测得到的真实的车牌区域，即容器中的所有车牌区域首先采用模板[111111111]进行水平方向上的平滑模糊，然后采用模板[11111111]^T进行垂直方向上的平滑模糊，[111111111]^T表示[111111111]的转置。其中，水平方向上的平滑模糊原理为：以所述车牌区域中的每个像素为一长度为9的水平窗口的中心点，计算该窗口内所有像素的平均值，并以该平均值替换当前像素的像素值，遍历所述车牌区域中的所有像素，得到所述车牌区域水平方向上的平滑模糊结果。垂直方向上的平滑模糊与水平方向上的平滑模糊类似，只是平滑模糊处理时所使用的窗口为垂直方向上的窗口。

对于图4所示的车牌检测结果进行模糊化处理的结果如图5所示。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种街景图像中车牌的检测模糊方法，其特征在于，该方法包括以下步骤：

步骤1，对街景原始图像进行预处理，得到待处理街景图像；

步骤2，将待处理街景图像由RGB空间转换至HSV颜色空间；

步骤4，对所述二值图像进行膨胀操作；

步骤7，对检测得到的真实的车牌区域进行模糊化处理。

2.根据权利要求1所述的方法，其特征在于，所述步骤1中，设街景原始图像的分辨率为W*H，考虑到街景图像中顶部区域不存在车牌区域，底部为街景图像采集车，去除街景原始图像的顶部W*h₁像素区域和底部W*h₂像素区域，得到分辨率为W*(H-h₁-h₂)的待处理街景图像。

3.根据权利要求1所述的方法，其特征在于，所述步骤3中对所述待处理街景图像进行分割进一步为通过设置相应的阈值进行的颜色分割。

4.根据权利要求1所述的方法，其特征在于，所述步骤4中的膨胀操作进一步为：

首先采用3*3模板对所述二值图像进行两次膨胀操作，然后再采用模板[111111111]对两次膨胀操作后得到的二值图像进行一次水平方向的膨胀操作。

5.根据权利要求4所述的方法，其特征在于，所述水平方向的膨胀操作进一步为：遍历所述二值图像中的所有像素，如果某一像素的灰度值为1，则将其水平方向上4邻域内的像素全部置为1，并步进5个像素再进行操作；如果某一像素的灰度值为0，则步进1个像素进行操作。

6.根据权利要求1所述的方法，其特征在于，所述步骤5中，所述根据车牌的形状和梯度特征，初步判断各最小包围矩形所包围的区域是否为车牌区域的步骤进一步为，根据车牌的形状和梯度特征设置限制条件，满足所述限制条件的最小包围矩形即初步判断为车牌区域。

7.根据权利要求6所述的方法，其特征在于，所述限制条件为：

①所述最小包围矩形的长宽比需要满足：R_l/R_w＞2且R_l/R_w＜4，其中，R_l和R_w分别为最小包围矩形的长和宽；

②车牌的宽与该车牌在街景图像中的位置的纵坐标成线性递增关系，即满足：R_w＜α*y_c+β，其中，α，β为系数；y_c为所述最小包围矩形中心点的纵坐标；

③车牌的宽度满足：R_w＞R_wmin，其中，R_wmin为下限值；

④车牌区域某一方向上的单位像素梯度应满足：

G₁(0°)＞T₁，G₂(45°)＞T₂，G₄(135°)＞T₂且G₃(90°)＞T₃，

其中，G₁(0°)，G₂(45°)，G₃(90°)和G₄(135°)分别为以最小包围矩形的中心为中心点的四个方向的单位像素梯度，T₁，T₂，T₃分别为单位像素梯度阈值。

8.根据权利要求7所述的方法，其特征在于，所述某一方向上的单位像素梯度的计算包括：

首先，计算以最小包围矩形的中心为中心点的该方向的像素梯度；

然后，累加该方向上的相邻像素灰度梯度；

之后，将累加和除以该方向上的像素数得到该方向上的单位像素梯度。

9.根据权利要求1所述的方法，其特征在于，所述步骤6中，采用容器法对真实的车牌区域进行检测，包括以下几个步骤：

步骤62，设当前初步判断为车牌区域P₀的中心位置为(x₀，y₀)，容器中存在的车牌区域P′的中心位置为(x′，y′)，若满足|x₀-x′|＜T_D且y₀＞y′，则用当前车牌区域P₀替换容器中的车牌区域P′，其中，T_D为横坐标距离阈值；若满足|x₀-x′|＜T_D且y₀＜y′，则当前车牌区域P₀不加入容器中；若满足|x₀-x′|≥T_D，则将当前车牌区域P₀加入容器中；

步骤63，最终容器中存在的车牌区域即为真实的车牌区域。

10.根据权利要求1所述的方法，其特征在于，所述步骤7中，首先对检测得到的真实的车牌区域采用模板[111111111]进行水平方向上的平滑模糊，然后再采用模板[111111111]^T进行垂直方向上的平滑模糊。