CN101408942B - 一种复杂背景下的车牌定位方法 - Google Patents

Abstract

一种复杂背景下的车牌定位方法，包括以下步骤：1)用固定大小的区域的灰度均值进行差分，从视频中提取车体；2)对车体图像进行灰度化、梯度信息增强、二值化等预处理；3)对经过处理的车体图像进行数学形态学运算，结合车牌的结构特征进行初步筛选，得到若干候选车牌区域；4)将得到的候选车牌区域彩色图像转化为HSV彩色空间图像；5)利用BP神经网络对HSV彩色空间的候选车牌图像进行颜色识别，通过计算某一像素点两相邻区域的平均色彩距离来进行彩色边缘检测；6)对边缘点进行边缘颜色对判断，剔除虚假车牌边缘；7)结合车牌纹理特征进行车牌最终定位。本发明适应复杂背景，定位准确率更高，鲁棒性更高。

Description

一种复杂背景下的车牌定位方法

技术领域

本发明涉及车牌定位技术，尤其是一种复杂背景下的车牌定位方法。

背景技术

我国当前很多城市都已经建立了交通控制中心，视频监控已经成为交通管理的主要手段，这同时也意味着车牌识别(License Plate Recognition，LPR)技术将会扮演越来越重要的角色。车牌自动识别系统可以广泛应用于以下场合：高速公路、桥梁、隧道等收费管理系统；城市交通车辆管理、电子警察、海关边境交通监控；智能小区、智能停车场管理；车牌验证、车流统计等。在以上场合使用该技术，都可以实现实时、高效地监控车辆的动态，使不停车收费、实时的失窃车辆与黑牌机动车查询、监控违章等功能的实现成为可能，同时获取的车牌信息可以让管理部门很快地从后台管理系统中得到有关该车辆的一切资料，为他们的工作提供很多便利。总之，对车牌识别技术的研究及相关应用系统的开发具有重要的现实意义，也具有广阔的市场和巨大的商业应用前景。

车牌识别系统一般可顺序地分为车辆图像获取、车牌定位、车牌字符分割和车牌字符识别4个基本部分。车体检测是第一步也是非常重要的一步，是后续工作的前提和基础。随着计算机和图像处理技术的不断发展，利用机器视觉检测成为了车辆检测的发展趋势。

车牌定位是否准确直接影响到后续车牌的识别，是整个车牌识别技术中的关键和基础部分。车牌定位的研究国外起步比较早，现有比较好的牌照定位方法主要有J.Barroso等提出的基于水平线搜寻的定位方法；R.Parisi等提出的基于DFT变换的频域分析方法；Charl Coetzee提出的基于Niblack二值化算法及自适应边界搜索算法的定位方法；J.Bulas-Cruz等人提出的基于扫描行的车牌提取方法。国内比较好的定位算法有基于车牌文字变化特征的自动扫描识别算法；基于特征的车辆牌照定位算法；基于变换函数提取车牌的算法；基于视觉的车辆牌照检测，还有同济大学的廖金周、宣国荣提出的基于字符串的车辆牌照分割方法。

目前已有的车牌定位方法实际效果并不理想，主要存在以下问题：(1)、传统车牌识别技术在复杂背景下效果不佳，而当今许多实际应用场合，如在繁忙交通路口对欠税费、报废、挂失等车辆的稽查，监视区域比较复杂，背景有广告牌、树木、建筑物、斑马线以及各种背景文字等；(2)、对采集的图像质量较敏感，鲁棒性不高。实际应用中车牌识别系统大多利用摄像机室外拍摄汽车图案，存在光线干扰、车牌污损、图像倾斜等许多客观因素的干扰，导致车牌定位效果不理想；(3)、传统方法大多基于灰度图像进行定位分割处理，虽然在一定程度上降低了算法复杂度，但是同时也丢失了丰富的色彩信息。

发明内容

为了克服已有车牌定位方法的不能适应复杂背景、可靠性差、色彩损失较多的不足，本发明提供一种适应复杂背景下的车牌定位方法，从视频中提取车体，最大程度去除复杂背景的干扰，并综合应用彩色图像和灰度图像进行车牌定位，定位准确率更高，鲁棒性更高。

本发明解决其技术问题所采用的技术方案是：

一种复杂背景下的车牌定位方法，包括以下步骤：

1)截取车辆视频中相邻的两帧，采用改进的瞬时差分法，为满足实时性要求，设计以点为中心的固定大小的范围作为差分区域，取该区域的灰度均值进行差分计算，对差分图像进行滤波及膨胀操作，根据连通域外接矩形的面积进行过滤并定位车体；

2)对车体区域图像进行预处理，包括车体图像的灰度化、梯度信息增强、采用平均值加标准差作为阈值进行二值化；

3)对经过处理的车体图像进行数学形态学运算，用线型结构元进行膨胀处理，再进行腐蚀操作，将小的区域加以合并得到若干个连通区域，利用车牌宽高范围、宽高比率以及连通域的填充度进行过滤，剔除不符合宽高比要求、填充度低于阈值的连通域，得到若干个候选车牌区域；

4)对候选车牌区域的彩色图像进行预处理，将图像由RGB颜色空间转换到HSV颜色空间，转换公式如下：

$H=\left\{\begin{array}{ccc}\mathrm{\&theta;}& \mathrm{if}& G\&GreaterEqual;B\\ 2\mathrm{\&pi;}-\mathrm{\&theta;}& \mathrm{if}& G<B\end{array}\right.----\left(1\right)$

$S=\frac{\max (R,G,B)-\min (R,G,B)}{\max (R+G+B)}---\left(2\right)$

$V=\frac{\max (R,G,B)}{255}---\left(3\right)$

$\mathrm{\&theta;}={\cos }^{-1}\left[\frac{[(R-G)+(R-B)]/2}{\sqrt{{(R-G)}^2+(R-B)(G-B)}}\right]---\left(4\right)$

其中，色度H用角度-π～π或0～2π来度量，对应于颜色轮上的角度；亮度V是指颜色明暗程度，通常用百分比度量，从黑0％到白100％；饱和度S指颜色的深浅，用百分比来度量，从0％到完全饱和的100％，与光强度无关。HSV颜色空间更加接近人眼的视觉，在自然光下更加稳定；

5)对候选车牌图像进行基于区域色彩距离的彩色边缘检测，利用BP神经网络对HSV彩色空间的候选车牌图像进行颜色识别，通过计算某一像素点两相邻区域的平均色彩距离来进行彩色边缘检测，若色彩距离大于某一个阈值t，则认为该像素是一个边缘点，定义区域平均色彩距离的计算公式如下：

$D=\sqrt{{(H_{{\mathrm{n\&beta;W}}_1}-H_{n{\mathrm{\&beta;W}}_2})}^2+{(S_{n{\mathrm{\&beta;W}}_1}-S_{n{\mathrm{\&beta;W}}_2})}^2+{(V_{n{\mathrm{\&beta;W}}_1}-V_{n{\mathrm{\&beta;W}}_2})}^2}---\left(5\right)$

其中，(H_nβWi，S_nβWi，V_nβWi)分别是两相邻区域的H、S、V颜色分量的平均值；

6)采用边缘颜色对的思想，对车牌图像彩色边缘进行筛选，判别各边缘点的边缘颜色对是否符合我国标准车牌的颜色搭配，若符合，则作为真实边缘点保留；否则，作为虚假边缘去除；

7)结合车牌的纹理特征进行车牌的最终定位。作包含连通区域的最小外接矩形，取矩形区域的水平中位线，对称地向上或者向下横向扫描各个候选区域，可知此中位线或其上下水平线中，必有一条或多条横穿字符区域，且每一水平线与车牌边缘筛选所得彩色边缘有多个交点，所以通过判断水平线与边缘的交点个数，得到真实的车牌区域。

作为优选的一种方案，对于步骤1)中述及的从车辆视频中截取相邻的两帧，采用改进的瞬时差分法，并对差分图像进行滤波及膨胀操作，过滤并定位出车体，具体描述如下：

(1.1)从视频中进行车体定位的思想在于将瞬间变化的运动的对象从相对静止的背景中分离出来，基于图像间的差分。从视频中截取相邻的第k帧与第k-1帧图像，并进行灰度化；

(1.2)对经典的瞬时差分法进行改进，选取以点为中心的3×3框架作为差分区域，取该区域的灰度均值做差分，并取差分的平方，以加强运动像素与非运动像素的灰度反差，计算公式如下：

    d_k(x，y)＝|f_k(x，y)-f_k-1(x，y)|²           (6)

其中，f_k(x，y)为该点第k帧图像差分区域的灰度均值，f_k-1(x，y)为第k-1帧图像差分区域的灰度均值；

(1.3)对差分图像进行滤波及膨胀操作，消除差分图像中细小的噪声影响，并通过膨胀操作使得目标区域增大，空洞减小，填补目标图像中的空洞，形成连通区域；

(1.4)根据连通域外接矩形的面积进行过滤，定位分割出车体，并将车体部分图像进行大小归一化。对于各连通区域的外接矩形，面积大于设定的阈值即判定为车体，再针对不同的车体模块，分别进行后续的处理。

进一步，对于步骤2)中述及的车体区域图像进行预处理，包括车体图像的灰度化、梯度信息增强和二值化，具体描述如下：

(2.1)对步骤(1)中取得的车体图像进行灰度化，计算公式是：

       Gray＝0.229R+0.587G+0.114B        (7)

(2.2)在车牌区域中，字符部分比较亮而背景部分则相对较暗，加上车牌区域规则的纹理结构特征，使得在车牌区域中水平方向的梯度特征比较明显，因此对车牌区域的梯度信息进行加强，便于后续的分割工作，方法如下：

$O(i,j)=\frac{1}{\mathrm{SR}}\underset{\mathrm{\&alpha;}=-s/2}{\overset{\mathrm{\&alpha;}=s/2}{\mathrm{\&Sigma;}}}|I(i,j+l+\mathrm{\&alpha;})-I(i,j-l+\mathrm{\&alpha;})|---\left(8\right)$

其中O(i，j)为输出图像；I(i，j)为原始图像；S、R、d为与车牌大小相关的常数。

(2.3)在进行二值化时，采用平均值加标准差作为阈值来进行二值化，二值化的阈值选取如下：

            T＝E+δ                  (9)

$E=\frac{1}{w*h}\underset{j=0}{\overset{h}{\mathrm{\&Sigma;}}}\underset{i=0}{\overset{w}{\mathrm{\&Sigma;}}}f(i.j)---\left(10\right)$

$\mathrm{\&delta;}=\sqrt{\frac{1}{w*h}\underset{i*w+j=0}{\overset{w*h-1}{\mathrm{\&Sigma;}}}{(f(i,j)-E)}^2}---\left(11\right)$

其中，T为阈值，E为均值，δ为标准差，f(i，j)为图像像素灰度值，w、h分别为图像宽度和高度。

进一步，对于步骤3)中述及的对经过处理的车体图像进行数学形态学运算得到若干个连通区域，利用车牌结构特征等进行过滤，选取若干个候选车牌区域，具体描述如下：

(3.1)进行数学形态学运算，先用一个“结构元素”对车体图像进行腐蚀运算以去除独立的噪点，其次用闭运算，即先膨胀后腐蚀，来填补图像中的微小孔洞并且平滑边界，形成若干个连通区域；

(3.2)车牌图像宽高比一般在1.5～3.5之间，以宽高比为标准对各个连通区域进行初次分类，剔除不符合条件的连通区域，得到若干候选车牌区域。

进一步，对于步骤5)中述及的利用BP神经网络对HSV彩色空间的候选车牌图像进行颜色识别，通过计算某一像素点两相邻区域的平均色彩距离来进行彩色边缘检测，具体描述如下：

(5.1)设计BP神经网络，神经网络由三层BP网络和一层竞争网络组成。定义神经网络输入层有24个节点，分别对应某一个像素点8邻域像素的H、S、V值。隐含层设置60个节点，输出层有6个节点，分别对应白、黑、红、黄、蓝和其他色共六种颜色，最后由竞争网络选择输出层6个输出值的最大值所对应的颜色作为最后的像素颜色。隐含层和输出层的激活转移函数都选择Sigmoid函数(f_Sig moid(x)＝1/(1+e^-x))；

(5.2)以C(i，j)为中心取一个大小为(2n+1)(2n+1)的窗口，其中n为大于等于1的整数。在窗口内过C(i，j)作一条与垂直方向夹角为β(0≤β≤π)的线段L，使窗口划分为W₁和W₂两部分。设W₁和W₂内各包含N个像素，则W₁和W₂内像素的平均色彩函数值分别为：

$C_{{\mathrm{n\&beta;W}}_1}=(H_{{\mathrm{n\&beta;W}}_1},S_{{\mathrm{n\&beta;W}}_1},V_{{\mathrm{n\&beta;W}}_1})=\frac{1}{N}\underset{k=1}{\overset{N}{\mathrm{\&Sigma;}}}{C}_{W_{1}x}---\left(12\right)$

$C_{{\mathrm{n\&beta;W}}_2}=(H_{{\mathrm{n\&beta;W}}_2},S_{{\mathrm{n\&beta;W}}_2},V_{{\mathrm{n\&beta;W}}_2})=\frac{1}{N}\underset{k=1}{\overset{N}{\mathrm{\&Sigma;}}}{C}_{W_{2}y}---\left(13\right)$

其中，C_nβW1x和C_nβW2y分别是W₁和W₂内的第x个和第y个向量像素；H_nβWi，S_nβWi，V_nβWi分别是W_i(i＝1，2)内N个向量像素H、S、V分量的平均值；

(5.3)所定义的区域平均色彩距离随β(0≤β≤π)的改变而改变，逆时针转动线段L，必定存在一个β角，使得D取得最大值D_max。显而易见D_max值越大，边缘的强度越大，用D_max来作为判断边缘点的度量；

(5.4)选择一个合理的阈值t，如果某一个像素的D_max＞t，我们就认为这个像素是一个边缘点。阈值t的选取，在于选取区域窗口最佳的n值。通过确定一个尺度范围，用大、中、小多个尺度进行边缘检测以改善检测效果。选取三种尺度的D_max之和的平均来作为方向区域距离的测度D_avg：

$D_{\mathrm{avg}}=\frac{1}{3}\underset{k=1}{\overset{3}{\mathrm{\&Sigma;}}}{D}_{{\max }_k},(1\&le;k\&le;3)---\left(14\right)$

其中max₁、max₂、max₃分别代表小尺度、中尺度和大尺度，根据先验知识，在进行边缘检测时，D_avg近似为高斯分布，若设D_avg均值为μ，标准方差为σ，则阈值t可近似表示为：

            t＝μ+λσ，λ＝3～4              (15)

进一步，对于步骤6)中述及的基于边缘颜色对思想对彩色边缘进行筛选，具体描述如下：

(6.1)车牌有蓝色、白色、黑色、红色、黄色和其他色共六类，而车牌底色和字符则有固定的色彩搭配，若用1-6来分别代表上述6类颜色，则所有车牌的边缘色彩搭配如下：

       color＝{(2，3)，(2，4)，(1，2)，(3，2)，(5，3)}  (16)

其中(2，3)＝(3，2)。

(6.2)对各个边缘像素点运用步骤5)中的BP神经网络进行边缘颜色对检测。如检测到的边缘颜色对符合color集合中的色彩搭配，则认为该点是真实车牌边缘点，否则认为是多余边缘除去。该步骤将去除绝大部分甚至全部的多余候选车牌区域。

本发明的有益效果主要表现在：1、采用改进的瞬时差分法进行车体定位，用固定大小的范围作为差分区域，取该区域的灰度均值进行差分计算，满足精确度和实时性要求，并同时可用于多车体定位2、运用HSV彩色空间的边缘颜色对概念进行车牌定位，受光线干扰小，定位准确，且在此得到的车牌颜色信息可以为车型判别等提供信息来源3、能够有效适应复杂背景、算法复杂度低、处理效率高、可靠性强。

附图说明

图1是从视频中截取车体图像的示意图，其中图1(a)是第k-1帧图像；图1(b)是第k帧图像；图1(c)是相邻两帧图像的差分图；图1(d)是差分图的滤波及膨胀效果；图1(e)是车体定位分割结果。

图2是对车牌图像进行初步处理的过程示意。其中图2(a)原始车体图像；图2(b)是二值化效果；图2(c)是数学形态学运算得到连通区域；图2(d)是利用车牌结构特征得到候选车牌区域。

图3是用于识别HSV色彩的BP神经网络结构示意图。

图4是彩色边缘检测及基于边缘颜色对判别。其中图4(a)和图4(d)是候选车牌区域，图4(b)和图4(e)是彩色边缘检测结果，图4(c)和图4(f)是基于边缘颜色对的筛选结果。

图5是本发明的整体流程图。

具体实施方式

下面结合附图对本发明作进一步描述。

参照图1～图5，一种复杂背景下的车牌定位方法，包括以下步骤：

1)截取车辆视频中相邻的两帧，采用改进的瞬时差分法，为满足实时性要求，设计以点为中心的固定大小(如3×3)的范围作为差分区域，取该区域的灰度均值进行差分计算，对差分图像进行滤波及膨胀操作，根据连通域外接矩形的面积进行过滤并定位车体；

2)、对车体区域图像进行预处理，主要包括车体图像的灰度化、梯度信息增强、采用平均值加标准差作为阈值进行二值化，提升图像质量；

3)、对经过处理的车体图像进行数学形态学运算，用线型结构元进行膨胀处理，再进行腐蚀操作，将小的区域加以合并得到若干个连通区域，利用车牌宽高范围、宽高比率以及连通域的填充度进行过滤，剔除不符合宽高比要求、填充度低于阈值的连通域，得到若干个候选车牌区域；

4)、对候选车牌区域的彩色图像进行预处理，将图像由RGB颜色空间转换到HSV颜色空间，转换公式如下：

$H=\left\{\begin{array}{ccc}\mathrm{\&theta;}& \mathrm{if}& G\&GreaterEqual;B\\ 2\mathrm{\&pi;}-\mathrm{\&theta;}& \mathrm{if}& G<B\end{array}\right.----\left(1\right)$

$S=\frac{\max (R,G,B)-\min (R,G,B)}{\max (R+G+B)}---\left(2\right)$

$V=\frac{\max (R,G,B)}{255}---\left(3\right)$

$\mathrm{\&theta;}={\cos }^{-1}\left[\frac{[(R-G)+(R-B)]/2}{\sqrt{{(R-G)}^2+(R-B)(G-B)}}\right]---\left(4\right)$

其中，色度H用角度-π～π或0～2π来度量，对应于颜色轮上的角度；亮度V是指颜色明暗程度，通常用百分比度量，从黑0％到白100％；饱和度S指颜色的深浅，用百分比来度量，从0％到完全饱和的100％，与光强度无关，HSV颜色空间更加接近人眼的视觉，在自然光下更加稳定；

5)、对候选车牌图像进行基于区域色彩距离的彩色边缘检测。利用BP神经网络对HSV彩色空间的候选车牌图像进行颜色识别，通过计算某一像素点两相邻区域的平均色彩距离来进行彩色边缘检测。若色彩距离大于某一个阈值t，则认为该像素是一个边缘点。定义区域平均色彩距离的计算公式如下：

$D=\sqrt{{(H_{{\mathrm{n\&beta;W}}_1}-H_{n{\mathrm{\&beta;W}}_2})}^2+{(S_{n{\mathrm{\&beta;W}}_1}-S_{n{\mathrm{\&beta;W}}_2})}^2+{(V_{n{\mathrm{\&beta;W}}_1}-V_{n{\mathrm{\&beta;W}}_2})}^2}---\left(5\right)$

其中，(H_nβWi，S_nβWi，V_nβWi)分别是两相邻区域的H、S、V颜色分量的平均值。

6)、由于我国车牌具有固定的色彩搭配，因此采用边缘颜色对的思想，对车牌图像彩色边缘进行筛选，判别各边缘点的边缘颜色对是否符合我国标准车牌的颜色搭配，若符合，则作为真实边缘点保留；否则，作为虚假边缘去除，以此可以减少大量边缘信息；

7)、结合车牌的纹理特征进行车牌的最终定位。由于我国车牌通常情况下为7个字符的，字符和底色之间存在着颜色的跳变，这就意味着在车牌区域，横向方向上存在着大量的边缘点。假设7个字符均为数字“1”，加上两侧边框，则至少应该存在18个边缘点。作包含连通区域的最小外接矩形，取矩形区域的水平中位线，对称地向上或者向下横向扫描各个候选区域，可知此中位线或其上下水平线中，必有一条或多条横穿字符区域，且每一水平线与车牌边缘筛选所得彩色边缘有多个交点，所以通过判断水平线与边缘的交点个数，得到真实的车牌区域。

本实施例充分考虑了复杂背景下各种干扰因素以及高速度、大范围、实时性等应用要求的基础上，从实用角度来研究车牌的定位方法，提出一种鲁棒性高和准确高效的车牌定位方法。该方法充分运用彩色图像的丰富信息，克服复杂背景的影响、天气情况的干扰以及拍摄中的噪声影响等不利因素，实现实时视频图像中的车牌定位分割。该方法包括以下几个步骤：

第一步：图像采集

通过视频采集接口捕获摄像头拍摄的视频图像，截取其中的第k帧图像与第k-1帧图像。将图像转换为灰度图像，如图1(a)和1(b)所示，并实时传送到车牌定位系统进行处理，进一步对运动的车体目标进行检测。

第二步：车体区域定位分割

从视频中定位动态车体区域的原理是检测并提取序列图像中与背景存在相对运动的前景，并根据灰度、边缘、纹理等二维图像特征将运动前景进一步分割为若干独立目标，即从相邻的两帧或几帧图像中检测出存在相对运动的区域。一个好的目标检测和分割算法，应该能适用于各种环境，通常应具有以下的特征：(1)对环境的缓慢变化(如光照变化等)不敏感；(2)对于复杂背景和复杂目标有效；(3)能适应场景中个别物体运动的干扰(如树木的摇晃，水面的波动等)；(4)能够去除目标阴影的影响；(5)检测和分割的结果应满足后续处理(如跟踪等)的精度要求。经典的瞬时差分法是基于点差异的变化检测的，提取目标的精度以及完整性不能令人满意。

本发明设计一种改进的瞬时差分法，即改以往基于点差异的变化检测为基于固定大小(3×3)的块差分的变化检测，并且取差分的平方，以加强运动像素与非运动像素的灰度反差。图1(c)是采取本文方法进行查分运算后的结果示意图，差分图中主体部分已经是车体，但是仍旧因为树木摇晃等各种原因存在少量零散的干扰点。差分图像主体部分为车体区域，干扰点大多是零散分布的，因此可以通过数学形态学运算，用于去除干扰点，并形成有效区域。可以使用合适的结构元素对差分图像进行一次开运算，即先进行一次腐蚀操作，进而进行一次膨胀操作。腐蚀操作的效果在于使目标缩小，空洞增大，可以有效消除孤立噪声点或较小的图像；膨胀操作的效果在于将与目标物体接触的背景点均合并到物体中，使得目标增大，空洞减小，可以用来填补目标图像中的空洞，形成连通域。因此上述运算能够有效减少孤立噪声干扰，并形成车体部分的连通区域。在实际应用中，我们考虑运算效率，可以将某个二维结构元素B_m×n分为水平和垂直两个一维元素b_m×1和b_1×n来运算。形态学运算的结果如图1(d)所示。

确定连通区域的外接矩形，按照面积大小进行过滤并定位车体。通过上述步骤的处理，已经成功去除复杂背景，成功的将车体部分检测并分割出来，如图1(e)所示。如果图像中包括多个车辆，可以基于同样的方法进行检测。

第三步：车体区域图像预处理

对车体图像的预处理，包括灰度化、图像梯度信息增强以及改进的二值化方法，使得图象信息更加适用于后期处理，提高车牌定位的准确率与效率。

在车牌区域中，字符部分比较亮而背景部分则相对较暗，加上车牌区域规则的纹理结构特征，使得在车牌区域中水平方向的梯度特征比较明显。有很多车牌区域定位算法都是基于车牌区域中明显的梯度特征进行的，因此进行图像梯度信息增强。

二值化目的在于为了突出字符进行统计分割。目前采用的二值化的方法基本上有固定阈值法、全局动态阈值法及局部动态阈值法，这些方法对光线敏感，运算的时间太长，计算量过大。在进行阈值选择时，常用的方法有Ostu法和熵函数法，但是都需要运算较长的时间。本发明采用车牌图像采取平均值的办法进行二值化，这里采用平均值加标准差作为阈值。

           T＝E+δ                    (9)

$E=\frac{1}{w*h}\underset{j=0}{\overset{h}{\mathrm{\&Sigma;}}}\underset{i=0}{\overset{w}{\mathrm{\&Sigma;}}}f(i,j)---\left(10\right)$

$\mathrm{\&delta;}=\sqrt{\frac{1}{w*h}\underset{i*w+j=0}{\overset{w*h-1}{\mathrm{\&Sigma;}}}{(f(i,j)-E)}^2}---\left(11\right)$

其中，T为阈值，E为均值，δ为标准差，f(i，j)为图像像素灰度值，w、h分别为图像宽度和高度。图2(a)是原始车辆图像；图2(b)是经过上述处理的车牌图像，效果较常规方法更好。

第四步：车牌区域定位

此时经过处理的车辆图像是二值化图像，对其进行形态学闭运算，用线型结构元进行膨胀处理，再进行腐蚀操作，将小的区域加以合并，得到一个或几个连通区域，如图2(c)所示。

考虑到我国的车牌尺寸相对固定，因此，尽管视频中的车辆图像因为拍摄角度等各种原因存在一定程度的倾斜，但车牌区域的宽高比还是在一定的范围内。按照先验知识，通常认为车牌图像宽高比在1.5～3.5之间。按照车牌这一结构特征，对前面得到的若干个连通区域进行筛选，剔除不符合条件的连通区域，实现车牌图像的初步分割，得到若干个候选车牌区域，如图2(d)所示。进行初次分割的目的在于可以因此减少部分无效区域，节约后续的处理时间。

对于剩余的若干个车牌候选区域，我们采用基于边缘颜色对的方法来进行车牌的再定位。传统车牌定位方法通常使用灰度图像，因为灰度图像提供了车牌纹理、结构等特征以用于车牌定位，但是去除了色彩信息，目的在于降低算法复杂度，节约处理时间。但是去除的色彩信息中包含了车牌的颜色，在我国车牌不同的色彩搭配代表不同的车型，而车型信息对于养路费征收等应用领域还是其存在意义的。本发明考虑到这些可能的应用场合，加之之前的步骤中已经去除了大部分虚假车牌区域，因此采用彩色图像来进行车牌定位也不会耗费过多的时间。

基于彩色图像的车牌定位，首先进行色彩空间的转化，将RGB彩色空间转化为HSV彩色空间，原因在于HSV颜色空间更加接近人眼的视觉，在自然光下更加稳定。由于我国车牌的底色为蓝色、黄色、黑色和白色，在HSV颜色空间中，要辨别这4种颜色，仅需充分利用H、S、V三个分量。在该模型下，仅用H和S两个分量就可以讲蓝色和黄色两种颜色区域找出来，而且不考虑V分量，排除了光照条件，对于光照不稳定的彩色车牌图像分割具有很大的意义。另一方面，只用V分量就能够分辨出黑色和白色。因此，选用HSV彩色空间很适合彩色车牌处理。

对于候选的车牌区域，需要进行彩色边缘检测，本发明采用区域平均色彩距离的方法来进行检测。到目前为止，对于边缘并没有一个严格的定义，我们可以认为边缘是图像不同区域的边界，反映了图像局部的不连续性，比如灰度的突变和颜色的突变等。彩色边缘是图像色彩函数具有边缘特征的不连续点的集合，它描述色彩函数在局部区域的突变。很容易理解，当两个区域的颜色存在一定程度的差异，在边界上存在的明显的色彩突变，若用一种有效的色彩距离来描述这种色彩突变，则一像素点的色彩距离大于某一阈值时，就可以认为该像素是一个边缘点。

要进行基于区域颜色距离的彩色边缘检测，就首先需要对区域色彩进行识别，本发明通过设计BP神经网络来进行色彩识别。图3给出了BP神经网络的设计结构：输入层24个节点，分别对应一个像素点8邻域像素的H、S、V值；隐含层设置60个节点；输出层有6个节点，分别对应白、黑、红、黄、蓝和其他色共六种颜色；最后由竞争网络选择输出层6个输出值的最大值所对应的颜色作为最后的像素颜色。

成功进行色彩识别后，根据步骤(5)中所述及的，选取三个不同尺度，得到不同的区域色彩距离D，取三者的平均值D_avg作为色彩距离的最终结果，当它大于某个阈值t时，就认为此像素点是一个边缘点。

彩色图像的边缘点检测，会检测出许多与车牌无关的边缘，如图4(a)的车灯图像，由于它的宽高比接近于车牌图像而得以保留下来，经过彩色边缘检测的结果如图4(b)所示。车灯图像与车牌图像边缘的主要区别在于边缘点两侧的色彩搭配以及纹理不同，因此后续的车牌区域的最终定位，就基于这两种差异。

基于边缘颜色对的边缘点筛选，基础在于我国车牌背景色与字符颜色的固定搭配，我国的车牌颜色搭配种类如下：黄底黑字、蓝底白字、白底黑字、白底红字、黑底白字；颜色总共6种：蓝色、白色、黑色、红色、黄色和其他色。若对颜色进行编码，用数字1-6分别对应上述颜色，那么车牌的颜色搭配也就可对应归纳为color＝{(2，3)，(2，4)，(1，2)，(3，2)，(5，3)}。此时对检测出的边缘点，运用前面述及的BP神经网络进行相邻区域的颜色对识别，如果边缘颜色对属于前面的color集合其中之一，那么该边缘点就认为是真实的车牌车牌边缘得以保留，否则就将该边缘点舍弃。在图4(c)中给出了车灯图像边缘颜色对检测结果，由于车灯区域因为本身原因和光照等原因，存在着部分符合color颜色集的颜色对，因此边缘点经过筛选之后，还是存在少数的残余。图4(f)中，车牌区域图像边缘点经过筛选后，去除了一些多余的边缘点。因此，边缘颜色对检测能够去除大部分的非车牌区域图像，减少车牌区域的无关边缘点。

经过上述各步骤处理之后，此时留下的边缘点主要包括：车牌区域、少数符合边缘颜色对的边缘点以及车身装饰，如广告语、标牌等。此时运用车牌图像的纹理特征来进行车牌区域的最终定位。由于我国的车牌固定是7个字符的，因此不难想象，假设车牌7个字符均为“1”，那么底色与字符颜色的跳变至少应该有14次。若加上车牌图像两侧的边框，那跳变次数应该至少有18次。基于这一特征，只需对剩下的边缘图像进行一次横向扫描，就可以对残留区域再进行一次筛选。如图4(c)所示，虽然车灯区域部分边缘点由于符合边缘颜色对而得以残留，但是这些边缘点显而易见并不符合车牌图像的纹理特征。同时，需要指出的是，残留的边缘点中，车身上的广告语或者标牌这类干扰信息往往具有与车牌图像非常类似的长宽比结构特征，也可以有类似的色彩搭配，甚至在纹理特征方面都可以非常类似。在面对相似程度特别高的伪车牌图像时，本发明并不能完全解决，这些干扰信息还需要在后续的字符识别等过程中进行再一次的筛选。

Claims (6)

1.一种复杂背景下的车牌定位方法，其特征在于：该方法包括以下步骤： 

1)截取车辆视频中相邻的两帧，采用改进的瞬时差分法，设计以点为中心的固定大小的范围作为差分区域，取该区域的灰度均值进行差分计算，对差分图像进行滤波及膨胀操作，根据连通域外接矩形的面积进行过滤并定位车体； 

2)对车体区域图像进行预处理：包括车体图像的灰度化、梯度信息增强、采用平均值加标准差作为阈值进行二值化； 

3)对经过处理的车体图像进行数学形态学运算，用线型结构元进行膨胀处理，再进行腐蚀操作，将小的区域加以合并得到若干个连通区域，利用车牌宽高范围、宽高比率以及连通域的填充度进行过滤，剔除不符合宽高比要求、填充度低于阈值的连通域，得到若干个候选车牌区域； 

4)对候选车牌区域的彩色图像进行预处理，将图像由RGB颜色空间转换到HSV颜色空间，转换公式如下： 

其中，色度H用角度-π～π或0～2π来度量，对应于颜色轮上的角度；亮度V是指颜色明暗程度，通常用百分比度量，从黑0％到白100％；饱和度S指颜色的深浅，用百分比来度量，从0％到完全饱和的100％，与光强度无关； 

5)对候选车牌图像进行基于区域色彩距离的彩色边缘检测，利用BP神经网络对HSV彩色空间的候选车牌图像进行颜色识别，通过计算某一像素点两相邻区域的平均色彩距离来进行彩色边缘检测；若色彩距离大于某一个阈值t，则 认为该像素是一个边缘点，定义区域平均色彩距离的计算公式如下：

其中， 

分别是两相邻区域的H、S、V颜色分量的平均值；

6)采用边缘颜色对的思想，对车牌图像彩色边缘进行筛选，判别各边缘点的边缘颜色对是否符合我国标准车牌的颜色搭配，若符合，则作为真实边缘点保留；否则，作为虚假边缘去除；

7)结合车牌的纹理特征进行车牌的最终定位，作包含连通区域的最小外接矩形，取矩形区域的水平中位线，对称地向上或者向下横向扫描各个候选区域，通过判断水平中位线与边缘的交点个数，得到真实的车牌区域。

2.如权利要求1所述的一种复杂背景下的车牌定位方法，其特征在于：所述的步骤1)中，从视频中定位车体区域，具体步骤如下：

(1.1)从视频中进行车体定位的思想在于将瞬间变化的运动的对象从相对静止的背景中分离出来，基于图像间的差分，从视频中截取相邻的第k帧与第k-1帧图像，并进行灰度化；

(1.2)对经典的瞬时差分法进行改进，选取以点为中心的3×3框架作为差分区域，取该区域的灰度均值做差分，并取差分的平方，以加强运动像素与非运动像素的灰度反差，计算公式如下：

其中，f_k(x，y)为该点第k帧图像差分区域的灰度均值，f_k-1(x，y)为第k-1帧图像差分区域的灰度均值；

(1.3)对差分图像进行滤波及膨胀操作，消除差分图像中细小的噪声影响，并通过膨胀操作使得目标区域增大，空洞减小，填补目标图像中的空洞，形成连通区域；

(1.4)根据连通域外接矩形的面积进行过滤，定位分割出车体，并将车体 部分图像进行大小归一化，对于各连通区域的外接矩形，面积大于设定的阈值即判定为车体，再针对不同的车体模块，分别进行后续的处理。 

3.如权利要求1或2所述的一种复杂背景下的车牌定位方法，其特征在于：所述的步骤2)中车体图像的预处理，具体步骤如下： 

(2.1)对步骤1)中取得的车体图像进行灰度化，计算公式是： 

        Gray＝0.229R+0.587G+0.114B    (7) 

(2.2)在车牌区域中，字符部分比较亮而背景部分则相对较暗，加上车牌区域规则的纹理结构特征，使得在车牌区域中水平方向的梯度特征比较明显，因此对车牌区域的梯度信息进行加强，方法如下： 

其中O(i，j)为输出图像；I(i，j)为原始图像；S、R、d为与车牌大小相关的常数。 

(2.3)在进行二值化时，采用平均值加标准差作为阈值来进行二值化，二值化的阈值选取如下： 

             T＝E+δ                 (9) 

其中，T为阈值，E为均值，δ为标准差，f(i，j)为图像像素灰度值，w、h分别为图像宽度和高度。

4.如权利要求3所述的一种复杂背景下的车牌定位方法，其特征在于：所述的步骤3)中初步选取候选车牌区域，具体步骤如下： 

(3.1)进行数学形态学运算，先用一个“结构元素”对车体图像进行腐蚀运算以去除独立的噪点，其次用闭运算，即先膨胀后腐蚀，来填补图像中的微 小孔洞并且平滑边界，形成若干个连通区域；

(3.2)车牌图像宽高比在1.5～3.5之间，以宽高比为标准对各个连通区域进行初次分类，剔除不符合条件的连通区域，得到若干候选车牌区域。

5.如权利要求4所述的一种复杂背景下的车牌定位方法，其特征在于：所述的步骤5)中BP神经网络对HSV彩色空间的颜色识别及基于区域平均色彩距离来进行彩色边缘检测，具体步骤如下：

(5.1)设计BP神经网络，神经网络由三层BP网络和一层竞争网络组成；定义神经网络输入层有24个节点，分别对应某一个像素点8邻域像素的H、S、V值；隐含层设置60个节点，输出层有6个节点，分别对应白、黑、红、黄、蓝和其他色共六种颜色，最后由竞争网络选择输出层6个输出值的最大值所对应的颜色作为最后的像素颜色；隐含层和输出层的激活转移函数都选择Sigmoid函数(f_Sigmoid(x)＝1/(1+e^-x))；

(5.2)以C(i，j)为中心取一个大小为(2n+1)(2n+1)的窗口，其中n为大于等于1的整数；在窗口内过C(i，j)作一条与垂直方向夹角为β的线段L，使窗口划分为W₁和W₂两部分，其中0≤β≤π；设W₁和W₂内各包含N个像素，则W₁和W₂内像素的平均色彩函数值分别为：

其中， 和 

分别是W₁和W₂内的第x个和第y个向量像素； 

分别是W_i(i＝1，2)内N个向量像素H、S、V分量的平均值；

(5.3)所定义的区域平均色彩距离随β的改变而改变，其中0≤β≤π，逆时针转动线段L，必定存在一个β角，使得D取得最大值D_max；用D_max来作为判断边缘点的度量；

(5.4)选择一个阈值t，如果某一个像素的D_max＞t，我们就认为这个像素 

6.如权利要求5所述的一种复杂背景下的车牌定位方法，其特征在于：所述的步骤6)中，基于边缘颜色对的彩色边缘检测，具体步骤如下： 

(6.1)车牌有蓝色、白色、黑色、红色、黄色和其他色共六类，而车牌底色和字符则有固定的色彩搭配，若用1-6来分别代表上述6类颜色，则所有车牌的边缘色彩搭配如下： 

color＝{(2，3)，(2，4)，(1，2)，(3，2)，(5，3)}     (16) 

其中(2，3)＝(3，2),

(6.2)对各个边缘像素点运用步骤5)中的BP神经网络进行边缘颜色对检测；如检测到的边缘颜色对符合color集合中的色彩搭配，则认为该点是真实车牌边缘点，否则认为是多余边缘除去。 

Images