CN101789080B

CN101789080B - 车辆车牌实时定位字符分割的检测方法

Info

Publication number: CN101789080B
Application number: CN2010103005352A
Authority: CN
Inventors: 邱友杰; 崔秋石; 周文玲; 孙敏; 庞溟舟
Original assignee: Shanghai Jiaotong University
Current assignee: Shanghai Jiaotong University
Priority date: 2010-01-21
Filing date: 2010-01-21
Publication date: 2012-07-04
Anticipated expiration: 2030-01-21
Also published as: CN101789080A

Abstract

本发明涉及的是一种视频监测技术领域的车辆车牌实时定位字符分割的检测方法。包括如下步骤：从图像采集设备获取视频帧；图像预处理；提高信噪比；线性灰度变换；采用Otsu二值化方法计算阈值，将车辆图像转换为二值图像；首先使用大小为length个像素的结构元素进行闭运算，并在纤细处分离连通区域，平滑区域边缘出现的毛刺；轮廓检测；车牌区域精确定位：准确分割出每一个字符。本发明对图像色彩要求不高，不会占用计算机大量的系统内存资源，输入图像转换为灰度图之后运算速度加快，能够快速找到各个字符的准确位置，运用图像剪切的方法分割出每一个字符。

Description

车辆车牌实时定位字符分割的检测方法

技术领域

本发明涉及的是一种视频监测技术领域的车牌检测方法，特别涉及的是一种车辆车牌实时定位字符分割的检测方法。

背景技术

车牌识别技术是智能交通系统实现的关键技术，近期对车牌识别的研究已经成为一个热门。车牌识别系统(License Plate Recognition)在现实生活中有很多应用场合，比如电子收费站，出入控制，车流监控等等。由于数据量比较庞大，实时性能要求也比较高，这些场合如果仍然通过人工干预进行控制，会占用非常多的资源，效果也不理想。因此提供和数据库相连的能实现快速精确的车牌识别系统将极大地方便交通车辆管理。

车辆牌照自动识别系统一般由车牌定位，字符分割以及字符识别三个部分组成，其中汽车牌照的定位(License Plate Location)和车牌字符的分割，是后续字符识别的重要前提，也是整个识别系统的关键。目前车牌定位的方法多种多样：1.直接法，对已预处理增强的图像进行Sobel垂直算子检测，用阈值分割出前景，搜索出符合车牌字符特征的候选区域。2.神经网络法，利用神经网络分析字符的颜色、纹理等特征，对图像中的像素进行分类，从而分别确定车牌和背景区域。3.基于矢量量化的方法，不以像素为单位，而是以块为单位进行图像处理，对牌照定位的同时进行图像的压缩。上述方法中，或者对工作环境有严格的限制，比如局限于静止的背景、固定的光照强度、车牌无倾斜、高分辨率、低车速等，或者就是运算的时间复杂度比较高。

近年来，数学形态学图像处理这门特殊的图像处理学科已发展成为图像处理的一个主要研究领域，将数学形态学应用到车牌定位技术中，并结合其他一些技术方法，实现快速准确地定位车牌。在已经准确定位车牌区域的前提下，使用投影变换对车牌字符进行分割，能够满足实时性和鲁棒性要求。

发明内容

本发明的目的在于克服现有技术的上述不足，提出了一种车辆车牌实时定位字符分割的检测方法。本发明在高速公路收费站系统或者城市智能交通系统中电子警察等设备拍摄得到的实时车辆图像中能够有效准确地进行车牌自动定位，与现有技术比较对环境的适应性有很大提高，运算复杂度更低，速度更快，准确率更高。

本发明是通过以下技术方案实现的，本发明包括以下步骤：

(1)从图像采集设备获取视频帧；

(2)图像预处理：针对图像的边缘纹理特征结合数学形态学和轮廓检测进行车牌定位，首先使用加权形式的灰度化方法将24位RGB位图转化为8位灰度图；对被污染的图像进行滤波，消除噪声；然后针对车牌倾斜的情况进行校正；

(3)为提高信噪比，使用Sotropic Sobel垂直边缘检测算子对车辆图像进行边缘检测；

(4)线性灰度变换，将灰度范围为[60-120]的像素值调整到[0-255]；

(5)采用Otsu二值化方法计算阈值，将车辆图像转换为二值图像；

(6)首先使用大小为length个像素的结构元素进行闭运算，将两个邻近的车牌字符边缘目标连接起来，形成前景区域，并设置前景区域像素为255，然后再使用略小于length个像素的结构元素进行开运算，滤去小于结构元素的孤立细小的前景区域，并在纤细处分离连通区域，平滑区域边缘出现的毛刺；

(7)轮廓检测，找到所有前景连通区域的外切矩形，并设置矩形内像素值为255；

(8)车牌区域精确定位：根据已经掌握的车牌的先验知识，车牌矩形区域宽440cm，高140cm，候选矩形区域宽高比不满足经验阈值范围3～4.5的被判定为干扰区域，将此干扰区域像素值被置为0，即为背景，剩下的满足宽高比范围的区域，计算矩形区域的面积，车牌区域通常是面积最大的区域，因此把其他区域像素置为0，得到一个车牌区域的唯一前景；最后将唯一保留的矩形区域，扩充边缘4个像素补偿边界，再与原图像相乘，前景区域保持原图像像素不变，其余区域统一设置为背景，实现车牌区域精确定位；

(9)字符分割，根据车牌共有字符的特征，字符预先设定好且有一个定间隔，将已经定位的车牌分别进行水平和垂直投影，并结合阈值化得到车牌单个字符的位置，从而准确分割出每一个字符。

其中，步骤(2)图像预处理，采用加权形式的灰度化方法将24位RGB位图转化为8位灰度图。转化的公式如下：

Vgray＝0.299R+0.587G+0.114B

对一些被污染(如椒盐噪声)的图像进行中值滤波，消除噪声边缘对后续形态学处理步骤中的不良影响；对于车牌倾斜的情况，采用几何变换进行图像旋转。

其中，步骤(3)边缘检测，常有的边缘检测算子有Robet算子，Sobel算子，Prewitt算子以及Krisch算子。经过实验发现Sobel算子对边缘的响应最大，效果最好，因此选用Sotropic Sobel算子。Sotropic Sobel垂直边缘检测算子的卷积核如下所示：

(\begin{matrix} - 1 & 0 & 1 \\ - \sqrt{2} & 0 & \sqrt{2} \\ - 1 & 0 & 1 \end{matrix})

其中，步骤(4)线性灰度变换，是指：由于曝光不足或者曝光过度，以及成像、记录设备的非动态范围太窄等因素都直接影响图像质量，造成输入的图像细节分辨不清时，这时如将图像灰度度性扩展，常能显著改善图像的质量。假定源图像f(i，j)的灰度范围为[a，b]，希望变换后的图像g(i，j)的动态范围为[c，d]，则变换可采用如下公式：

g (i, j) = \frac{(d - c) [f (i, j) - a]}{b - a} + c

使更多的车牌边缘像素参与到接下来的数学形态学运算中来。

其中，步骤(5)采用Otsu二值化方法计算阈值，将车辆图像转换为二值图像。Otsu提出的最大类间方差法(大津阈值分割法)，是一种比较常用的全局阈值法，是在判段分析最小二乘法原理的基础上推导得出的。设给定图像具有1，2，3，…，L，共L级灰度，设阈值为T，把灰度大于或等于T和小于T的像素分为两类，即类1和类2。类1中的像素总数为W₁(k)，平均灰度值为M₁(k)，方差δ₁(k)。类2中的像素总数为W₂(k)，平均灰度值为M₂(k)，方差δ₂(k).所有图像像素平均值为M，则类间方差σ_B ²和类内方差σ_A ²，分别由以下两式决定：

σ_{B}^{2} = W_{1} {(M_{1} - M)}^{2} + W_{2} {(M_{2} - M)}^{2} = W_{1} W_{2} {(M_{1} - M_{2})}^{2}

σ_{A}^{2} = W_{1} δ_{1} (k) + W_{2} δ_{2} (k)

由于模式分在理论中，不同类别之间可分性度量有三个标准：散布矩阵、散度和Battacharyya距离，类间方差与类内方差的比值对应于散布矩阵，反映了各类模式在模式空间的分布情况。类间方差越大，类内方差越小，则说明分类结果类与类之间距离大，每类自身各像素性质相似度越大，即模式分类结果越好。所以根据上面的分析，定义使方差之比最大的阈值T为最佳阈值。

其中，步骤(6)包括步骤为：

①采用先进行闭运算再进行开运算的顺序；

②开、闭运算由腐蚀和膨胀运算构成，开运算的实质是先腐蚀后膨胀，闭运算的运算顺序与开运算相反；

③开、闭运算均分为水平和垂直两个方向进行，先进行闭运算连接车牌区域，再进行开运算平滑较大区域的边界；

④为了完全填充车牌字符间的小孔，防止车牌字符裂开，闭运算处理往往要重复至少两次；

⑤形态学处理过程中结构元素大小的选择非常关键，因车牌区域像素个数占图像总像素个数的比例p的大小而不同，p最小值为0.7％；

⑥在确定了输入车辆图像的尺寸结构之后，由p的大小和车牌长宽比两个经验特征，初步设定结构元素大小；

⑦假设车牌第二和第三字符之间的间隔为n个像素，则结构元素legth的大小按照下面公式定义为：

length = \{\begin{matrix} n & f n / 2 = 0 \\ n + 1 & f n / 2 = 1 \end{matrix}

实现精确设定结构元素大小。

其中，步骤(7)轮廓检测，找到所有前景连通区域的外切矩形，这样做是为了方便后续步骤中利用矩形区域的宽高比和面积等特征判断是否为车牌区域。

其中，步骤(8)车牌区域精确定位，根据已经掌握的车牌的先验知识，车牌矩形区域宽440cm，高140cm，候选矩形区域宽高比不满足经验阈值范围3～4.5的被判定为干扰区域，将此干扰区域像素值被置为0，即为背景，剩下的满足宽高比范围的区域，计算矩形区域的面积，车牌区域通常是面积最大的区域，因此把其他区域像素置为0，得到一个车牌区域的唯前景。最后将唯一保留的矩形区域，扩充边缘4个像素补偿边界，再与原图像相乘，前景区域保持原图像像素不变，其余区域统一设置为背景，实现车牌区域精确定位。

其中，步骤(9)字符分割，是指：由于图像当中除背景外仅剩下车牌区域，分水平和垂直两个方向投影容易确定字符的坐标，从而实现单个字符的分割。

对车牌区域采用二值化方法得到黑白图像，然后进行投影分析，通过对图像行或列进行扫描，计算出每行或每列的符合要求的像素个数。它类似于直方图，但是它的优势是能给出图像中物体的空间分布。通过垂直投影分割出图像的相连元件个数，如果元件个数为6～8，再进行水平投影，确定字符的坐标位置，以实现图像剪切时准确分割出每个字符。

本发明与现有技术相比的优点在于：

(1)本方法主要针对图像的边缘纹理特征进行运算，对图像色彩要求不高，不会占用计算机大量的系统内存资源，输入图像转换为灰度图之后运算速度加快。

(2)转换为黑白图像过程中采用Otsu二值化阈值分割方法，选取最理想的二值化阈值。

(3)形态学运算子选择开、闭运算，并按照先进行闭运算再进行开运算的顺序处理。选择结构元素大小的时候，结合输入车辆图像尺寸初步设定，然后根据车牌字符间距，再次选择结构元素进行闭运算。

(4)在已经精确定位出车牌区域之后，采用投影变换的方法实现车牌字符分割。投影之前对车牌进行二值化处理，分为水平和垂直两个方向进行，快速找到各个字符的准确位置，运用图像剪切的方法分割出每个字符。

附图说明

图1本发明车牌定位、字符分割流程示意图；

图2本发明车牌定位、字符分割各步骤示例示意图；

其中：(a)预处理结果示意，(b)Sobel边缘检测示意，(c)线性灰度变换示意，(d)形态学处理结果示意，(e)定位结果示意，(f)字符分割结果示意。

具体实施方式

下面结合附图对本发明的方法作详细说明：本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

如图1所示，对每一个视频帧图像，首先进行预处理，将彩色图像转换成为灰度图像，去除颜色特征；针对不同的噪声类型，选择适合的滤波器降噪；采用霍夫变换检测车牌倾斜角度，对图像进行几何旋转实现倾斜校正。

边缘检测过程中，考虑字符区域垂直边缘集中，因此只使用垂直边缘检测算子。设坐标位置(i，j)处的像素为f(i，j)用Sotropic Sobel垂直边缘检测算子的卷积核与灰度图中的每个点按照如下公式进行卷积：

来检测图像中的垂直边缘。边缘检测结果如图2(b)所示。

使用线性灰度变换增强图像对比度，将灰度范围为[60-120]的像素值调整到[0-255]。如图2(c)所示。

腐蚀和膨胀运算根据设定的结构元素大小，分为水平和垂直两个方向进行。以水平方向为例，腐蚀运算：设所选的结构元素大小为length×1，对图像逐行进行扫描。 (i，j)处像素f(i，j)自身或者其左右(length-1)/2范围内有黑色像素的点，则把当前点像素值设为0，即为背景。同样原理，水平方向的膨胀运算：设所选的结构元素大小为length×1，对图像逐行进行扫描。 (i，j)处像素f(i，j)自身或者其左右(length-1)/2范围内有白色像素的点，则把当前点像素值设为255，即前景。至此完成次水平方向的闭运算。接着在垂直方向进行闭运算，然后是水平方向和垂直方向的开运算。

闭运算能够填补小于结构元素的细节，将两个邻近的车牌字符边缘目标连接起来；开运算能够滤去小于结构元素的细节，消除孤立细小的前景区域，并在纤细处分离连通区域的功能。因此必须按照先进行闭运算再进行开运算的顺序，先连接车牌区域，再平滑较大区域边界产生的毛刺。

需要指出的是，结构元素大小的自适应选择，以输入图像尺寸为标准。设输入图像尺寸为width×height，定义车牌区域宽w像素，高h像素，车牌区域像素占图像总像素的比例为p，则有如下公式：

p＝(w×h)÷(width×height)

p的大小满足范围0.7％～1.5％，因此第一次闭运算选择结构元素大小时将p设定为1.1％，再由车牌宽高比满足范围3～4.5可以确定结构元素大小length的初值。实际上，一次水平闭运算一般不能完全填充车牌字符间的小孔。如果不及时填充这样的小孔，接下来的开运算将再次使车牌字符裂开。因此，另一次闭运算是必要的。第二次只需要选一个小的结构元素就可得到无缝隙的车牌区域，因为经过上一次的闭运算，车牌仅剩下残留的小孔了。第二次选择结构元素大小时，根据第次选择的结构元素大小length，考虑中国车牌的特征，共有7个字符(包括一个汉字)，字符维数(宽和高)预先设定好且有一定间隔，按照如下公式计算字符间隔：n＝length÷7

然后再按照如下公式选择第次结构元素的大小：

length = \{\begin{matrix} n & f n / 2 = 0 \\ n + 1 & f n / 2 = 1 \end{matrix}

最终使车牌区域构成个连通前景区域。

轮廓检测时将所有前景区域的外切矩形内像素值设置为255，即为前景，图像中会出现如图2(d)的几个备选区域。利用车牌区域的先验特征，排除掉不满足宽高比的矩形区域，再计算各个矩形的面积，保留面积最大的块区域，即为车牌所在区域。

在精确定位车牌时，用上步得到的黑白值图像与原图像相乘。设(i，j)处原图像(i，j)像素值为f(i，j)，黑白二值图像像素值为Mask(i，j)，所得到的新图像像素值为g(i，j)。按照如下公式计算：

g (i, j) = \{\begin{matrix} 0, & f Mask (i, j) = 0 \\ f (i, j), & f Mask (i, j) = 255 \end{matrix}

最终得到的图像中，背景为黑色，前景保留车牌的灰度图。

基于投影变换的车牌字符分割。由于我国车牌在设计和制作上都是由国家来统进行的，这就使得车牌的规格都非常的标准，例如车牌的装订位置(装订眼的位置)都是固定的，同类的实际车牌在车牌大小和车牌中的字符位置上也都是固定不变的，一个车牌上的所有字符在字体高度和宽度上(宽度除了“1”外)都是相等的，从而使整个车牌在字符分布上呈现出了规律性，充分利用这些信息，不仅可以减少分割的错误率，而且也使得整个分割过程变得简单明了。

垂直投影p(x)就是在x坐标位置上，通过垂直扫描累计图像中字符的像素点数量。对字符做垂直投影时，字符区域会产生个峰值，而字符间空隙处p(x)为零，所以可以根据投影直方图确定字符区域间隙区，从而容易实现字符切分。对定位好的车牌进行二值化处理后得到白色字符前景，黑色背景的车牌图片。对图像垂直方向进行投影，就是对像素值为255的白色像素点进行累加计算。根据车牌图像的垂直投影累加值，从左往右定位出每个字符的起始和结束位置。并统计得到的投影个数count，平均字符宽度aver由下面公式计算得出：

aver＝(b[end]-a[start])/count

其中a[start]，b[end]分别是整个车牌投影的起始坐标和终止坐标。计算aver的目的在于，数字“1”进行垂直投影时，宽度值很小，为了防止将其认为是“非元件”区域而漏检，采用平均字符宽度进行车牌字符的切分。切分后将每一个字符归一化处理可以得到统一大小的车牌字符。经过投影变换后，字符分割的结果如图2(f)所示。

Claims

1.一种车辆车牌实时定位字符分割的检测方法，包括如下步骤：

(1)从图像采集设备冷取视频帧；

(5)采用0tsu二值化方法计算阈值，将车辆图像转换为二值图像；

(6)首先使用大小为length个像素的结构元素进行闭运算，将两个邻近的车牌字符边缘目标连接起来，形成前景区域，并设置前景区域像素为255，然后再使用小于length个像素的结构元素进行开运算，滤去小于结构元素的孤立细小的前景区域，并在纤细处分离连通区域，平滑区域边缘出现的毛刺；包括的具体步骤为：

①形态学处理过程中结构元素大小的选择非常关键，因车牌区域像素个数占图像总像素个数的比例p的大小而不同，p的大小满足范围0.7％～1.5％；

②在确定了输入车辆图像的尺寸结构之后，由p的大小和车牌长宽比两个经验特征，初步设定结构元素大小；

③假设车牌第二和第三字符之间的间隔为n个像素，则结构元素length的大小按照下面公式定义为：

length = \{\begin{matrix} n & if & n % 2 = 0 \\ n + 1 & if & n % 2 = 1 \end{matrix}

实现精确设定结构元素大小；

④采用先进行闭运算再进行开运算的顺序；

⑤开、闭运算由腐蚀和膨胀运算构成，开运算的实质是先腐蚀后膨胀，闭运算的运算顺序和开运算相反；

⑥开、闭运算均分为水平和垂直两个方向进行，先进行闭运算连接车牌区域，再进行开运算平滑区域的边界；

⑦为了完全填充车牌字符间的小孔，防止车牌字符裂开，闭运算处理往往要重复至少两次；

(8)车牌区域精确定位：根据已经掌握的车牌的先验知识，车牌矩形区域宽440cm，高140cm，候选矩形区域宽高比不满足经验闭值范围3～4.5的被判定为干扰区域，将此干扰区域像素值被置为0，即为背景，剩下的满足宽高比范围的区域，计算矩形区域的面积，车牌区域通常是面积最大的区域，因此把其他区域像素置为0，得到一个车牌区域的唯一前景；最后将唯一保留的矩形区域，扩充边缘4个像素补偿边界，再与原图像相乘，前景区域保持原图像像素不变，其余区域统一设置为背景，实现车牌区域精确定位；

2.根据权利要求1所述的车辆车牌实时定位序符分割的检测方法，其特征是：步骤(3)中所述的边缘检测，使用Sotropic Sobel垂直边缘检测算子，SotropicSobel垂直边缘检测算子的卷积核如下：

(\begin{matrix} - 1 & 0 & 1 \\ - \sqrt{2} & 0 & \sqrt{2} \\ - 1 & 0 & 1 \end{matrix}) .

3.根据权利要求1所述的车辆车牌实时定位字符分割的检测方法，其特征是：步骤(4)中所述的线性灰度变换，是指：由于曝光不足或者曝光过度，以及成像、记录设备的非动态范围太窄的因素都直接影响图像质量，造成输入的图像细节分辨不清时，进行的图像灰度线性扩展。

4.根据权利要求1所述的车辆车牌实时定位字符分割的检测方法，其特征是：步骤(9)中所述字符分割，是指：由于图像当中除背景外仅剩下车牌区域，分水平

和垂直两个方向投影容易确定字符的坐标，从而实现单个字符的分割。