CN101398894B - 机动车车牌自动识别方法及其实现装置 - Google Patents

Abstract

本发明公开了一种基于复杂背景下实时摄像视频的机动车车牌自动识别方法及其实现装置。其中识别步骤包括：(1)定位运动多目标车体区域；(2)获取候选车牌区域图像；(3)获取真实的车牌边缘点；(4)获取最小车牌区域；(5)分割字符，去除非字符图像；(6)将字符图像归一化，提取字符图像的原始粗网格特征；(7)使用经过训练的BP神经网络实现车牌字符的准确识别。实现机动车车牌自动识别方法的装置包括摄像装置及计算机，摄像装置通过IEEE1394电缆与计算机相连。本发明适用于复杂背景、分割和识别不受所拍摄的交通视频图像质量干扰、对汉字的识别效果好的机动车车牌自动识别方法及其实现装置。

Description

机动车车牌自动识别方法及其实现装置

技术领域

本发明涉及一种机动车车牌自动识别技术，具体是涉及一种基于复杂背景下实时摄像视频的机动车车牌自动识别方法及其实现装置。

背景技术

随着社会、经济的快速发展，车辆的数量也急剧增加，由此产生了严重的交通问题，已经成为世界各国所面临的一大难题。另一方面，网络通信技术、计算机技术、数据库等先进技术手段的迅猛发展，又为建立高效的智能交通管理系统(Intelligent Transportation Systems，ITS)提供了技术基础。车辆牌照识别(License Plate Recognition，LPR)技术作为交通管理自动化的重要手段，广泛应用于道路收费管理系统、交通监控、停车场管理、车牌验证、车流统计等场合，因此对车牌识别技术的研究和相关应用系统的开发具有重要的现实意义，也具有广阔的市场和巨大的商业应用前景。

机动车车牌自动识别技术的主要任务是采集、分析、处理汽车监控视频图像，自动捕获定位和识别汽车牌号，并进行相关智能化数据管理。通常一个完整的机动车车牌自动识别系统硬件上主要由摄像头、视频采集接口、计算机和辅助照明装置组成。计算机通过视频采集接口捕获摄像头摄入的视频图像，并按照顺序进行处理，包括视频中的运动多目标车体定位、车牌定位、车牌字符分割及车牌字符识别等关键步骤，最终识别出机动车车牌。

目前的复杂背景下的运动多目标车体检测大多是基于视频的，通过摄像设备取得交通场景的序列图像，根据一定的算法和规则分析出其中包含车体的部分，主要有帧差法、背景差法和非监督视频分割法。

车牌定位是整个车牌识别技术中的关键和基础部分，车牌定位准确与否直接影响到后续的识别。车牌定位的研究国外起步较早，较好的牌照定位方法主要有J.Barroso等提出的基于水平线搜寻的定位方法；R.Parisi等提出的基于DFT变换的频域分析方法；Charl Coetzee提出的基于Niblack二值化算法及自适应边界搜索算法的定位方法；J.Bulas-Cruz等人提出的基于扫描行的车牌提取方法。国内比较好的定位算法有基于车牌文字变化特征的自动扫描识别算法；基于特征的车辆牌照定位算法；基于变换函数提取车牌的算法以及同济大学的廖金周、宣国荣提出的基于字符串的车辆牌照分割方法等。

车牌字符分割就是将车牌分割成单个的字符，以利于进一步识别。由于车牌有一定的规则性，竖直方向上的投影往往在字符间或字符内的间隙处取得局部最小值，故多采用垂直投影法进行分割。国外如Yuntao等对车牌识别系统中二值化过程中引入马尔科夫场的某些特性进行研究，然后利用投影进行切分；韩国的Eun Ryung Lee等利用号牌颜色进行定位和切分；Ohya J.等先对灰度图像局部二值化，通过对相邻区域的灰度梯度的判断实现字符分割。国内如中国科技大学的陈锻生等提出的利用快速连通区域形状分析的方法来实现车牌字符切分；云南昆明理工大学潘小露等提出了一种利用投影的车牌定位切分方法；复旦大学卢达等人提出了一种基于骨架法形态分析的粘连字符图像切分方法，对车牌图像中有粘连问题图像将会十分有效。

车牌字符识别技术是一门综合技术。我国的车牌中不仅有英文字母和阿拉伯数字，还包含笔划繁杂的汉字，其识别难度较国外车牌更大。目前最常用的车牌字符识别方法有基于模板匹配的识别方法，基于神经网络的识别方法，基于结构特征的识别方法和基于模糊规则的识别方法等等。总的来说，传统的基于模板匹配的识别方法和基于结构特征的识别方法无法自动适应模糊、变形、噪声等干扰较大的情况，而基于神经网络的识别技术则由于具有较强的自适应能力而越来越受到重视，如T.W.Tindall等通过多层神经网络对输入字符图像样本进行训练，产生分类器模型用于字符识别等。

总体来说，机动车车牌自动识别系统的各个关键步骤积累了相当多的理论成果上，目前国内外已经投入应用的车牌识别系统有：英国IPI公司的便携式ANPR识别系统；新加坡Optasia公司的VLPRS系统；以色列Hi-Tech公司的See/Car system；我国香港地区的亚洲视觉科技有限公司(ASIA VisionTechnology LTD.)也在进行这方面技术的研究。目前已有的机动车车牌字符自动识别方法主要存在以下问题：(1)、现有的车牌定位方法在实际场景中的复杂背景下效果较差；(2)、在字符分割阶段，实际应用中采集的车牌图像受各种因素影响使得质量较低，传统的车牌分割技术无法适用；(3)、由于汉字的特殊性和复杂性，传统的识别方法对汉字的识别效率及正确率均较低；(4)、传统的字符识别算法对字符图像质量较敏感，鲁棒性不高，实际应用中字符识别效果不理想。

发明内容

为了克服已有的机动车车牌自动识别方法中存在的复杂背景下车牌定位效果差、字符分割算法受车牌图像质量影响较大、识别算法对低质量字符图像及汉字识别效果不佳等不足，本发明提供了一种适用于复杂背景、分割和识别不受所拍摄的交通视频图像质量干扰、对汉字的识别效果好的机动车车牌自动识别方法及其实现装置。

本发明的上述技术问题主要是通过下述技术方案得以解决的：一种机动车车牌自动识别方法，该方法包括以下步骤：

(1)对采集的车辆交通视频进行处理，截取视频中相邻的两帧，采用改进的瞬时差分法，设计以点为中心、固定大小的范围作为差分区域，取该区域的灰度均值进行差分计算，对差分图像进行滤波及膨胀操作，根据连通区域外接矩形的面积进行过滤，进行多目标的车体区域定位，具体为：(1.1)从视频中截取相邻的第k-1帧与第k帧图像，并进行灰度化；(1.2)选取以点为中心的3×3框架作为差分区域，取该区域的灰度均值做差分，并取差分的平方，以加强运动像素与静止像素的灰度反差，计算公式如下：

d_k(x，y)＝|f_k(x，y)-f_k-1(x，y)|²    (6)

其中，f_k(x，y)为该点第k帧图像差分区域的灰度均值，f_k-1(x，y)为第k-1帧图像差分区域的灰度均值；(1.3)对差分图像进行滤波及膨胀操作，通过滤波操作以消除差分图像中细小的噪声影响，通过膨胀操作使得目标区域增大，空洞减小，并填补目标图像中的空洞形成连通区域；(1.4)根据连通区域外接矩形的面积进行过滤，对于各连通区域的外接矩形，面积大于设定的阈值即判定为车体，定位并分割出车体区域图像；

(2)对车体区域图像进行处理，包括车体区域图像的灰度化、二值化、数学形态学运算，得到若干个连通区域，利用车牌宽高范围、宽高比率以及连通区域的填充度特征进行过滤，剔除不符合条件的连通区域，获取候选车牌区域图像，具体为：(2.1)对步骤(1)中获取的车体区域图像进行灰度化，计算公式是：

Gray＝0.229R+0.587G+0.114B    (7)

(2.2)对车体图像的梯度信息进行加强，使得其中的车牌区域的水平方向梯度更为明显，方法如下：

$O(i,j)=\frac{1}{\mathrm{SR}}\underset{\mathrm{\α}=-s/2}{\overset{\mathrm{\α}=s/2}{\mathrm{\Σ}}}|I(i,j+l+\mathrm{\α})-I(i,j-l+\mathrm{\α})|---\left(8\right)$

其中O(i，j)为输出图像；I(i，j)为原始图像；S、R、l为与车牌大小相关的常数，α为梯度增强的尺度变量；(2.3)采用平均值加标准差作为阈值来对车体区域图像进行二值化，二值化的阈值选取如下：

T＝E+δ    (9)

$E=\frac{1}{w*h}\underset{j=0}{\overset{h}{\mathrm{\Σ}}}\underset{i=0}{\overset{w}{\mathrm{\Σ}}}f(i,j)---\left(10\right)$

$\mathrm{\δ}=\sqrt{\frac{1}{w*h}\underset{i*w+j=0}{\overset{w*h-1}{\mathrm{\Σ}}}{(f(i,j)-E)}^2}---\left(11\right)$

其中，T为阈值，E为均值，δ为标准差，f(i，j)为图像像素灰度值，w、h分别为图像宽度和高度；(2.4)进行数学形态学运算，先用一个适当的结构元素对车体区域图像进行腐蚀运算以去除独立的噪点，其次用闭运算，即先膨胀后腐蚀，来填补图像中的微小孔洞并且平滑边界，形成若干个连通区域；(2.5)车牌图像宽高比在1.5～3.5之间，以宽高比为标准对各个连通区域进行初次分类，剔除不符合条件的连通区域，得到若干候选车牌区域图像；

(3)将候选车牌区域图像由RGB颜色空间转换到HSV颜色空间，并进行基于区域色彩距离的彩色边缘检测，利用BP神经网络对候选车牌图像进行颜色识别，计算任一像素点两个相邻区域的平均色彩距离，若大于阈值t，则认为该像素是一个边缘点，然后对边缘像素点进行筛选，判断各边缘点的边缘颜色对是否符合我国标准车牌的颜色搭配，取得真实的车牌边缘点，具体为：(3.1)将候选车牌区域图像由RGB颜色空间转换到HSV颜色空间，转换方法如下：

$H=\left\{\begin{array}{ccc}\mathrm{\&theta;}& \mathrm{if}& G\&GreaterEqual;B\\ 2\mathrm{\&pi;}-\mathrm{\&theta;}& \mathrm{if}& G<B\end{array}\right.---\left(12\right)$

$S=\frac{\max (R,G,B)-\min (R,G,B)}{\max (R+G+B)}---\left(13\right)$

$V=\frac{\max (R,G,B)}{255}---\left(14\right)$

$\mathrm{\&theta;}={\cos }^{-1}\left[\frac{[(R-G)+(R-B)]/2}{\sqrt{{(R-G)}^2+(R-B)(G-B)}}\right]---\left(15\right)$

其中，色度H用角度-π～π或0～2π来度量，对应于颜色轮上的角度，亮度V是指颜色明暗程度，从黑0％到白100％，饱和度S指颜色的深浅，从0％到完全饱和的100％，与光强度无关；(3.2)使用BP神经网络进行颜色识别，所述BP神经网络由定义神经网络输入层、隐含层、输出层三层BP网络和一层竞争网络组成；其中定义神经网络输入层有24个节点，分别对应某一个像素点8邻域像素的H、S、V值，隐含层设置60个节点，输出层有6个节点，分别对应白、黑、红、黄、蓝和其他色共六种颜色；最后由竞争网络选择输出层的6个输出值的最大值所对应的颜色作为最后的像素颜色；(3.3)以C(i，j)为中心取大小为(2n+1)(2n+1)的窗口，过C(i，j)作一条与垂直方向夹角为β(0≤β≤π)的线段L将窗口划分为W1和W2两部分，各包含N个像素，则W₁和W₂内像素的平均色彩函数值分别为：

$\begin{array}{c}{C}_{\mathrm{n\&beta;}{W}_1}=(H_{\mathrm{n\&beta;}{W}_1},S_{\mathrm{n\&beta;}{W}_1},V_{\mathrm{n\&beta;}{W}_1})=\frac{1}{N}\underset{x=1}{\overset{N}{\mathrm{\&Sigma;}}}\underset{x}{C_{W_{1}x}}---\left(16\right)\\ C_{\mathrm{n\&beta;}{W}_2}=(H_{\mathrm{n\&beta;}{W}_2},S_{\mathrm{n\&beta;}{W}_2},V_{\mathrm{n\&beta;}{W}_2})=\frac{1}{N}\underset{y=1}{\overset{N}{\mathrm{\&Sigma;}}}{C}_{W_{2}y}---\left(17\right)\end{array}$

其中，n为距离尺度，N为W₁和W₂区域内的像素个数，

分别是W_i(i＝1，2)内N个向量像素H、S、V分量的平均值，

和

分别表示W₁和W₂区域内的第x个和第y个像素；(3.4)定义区域平均色彩距离的计算公式如下：

$D=\sqrt{{\left(H_{\mathrm{n\&beta;}{W}_1-H_{\mathrm{n\&beta;}{W}_2}}\right)}^2+{(S_{\mathrm{n\&beta;}{W}_1}-S_{\mathrm{n\&beta;}{W}_2})}^2+{(V_{\mathrm{n\&beta;}{W}_1}-V_{\mathrm{n\&beta;}{W}_2})}^2}---\left(18\right)$

其中，

分别是两相邻区域的H、S、V颜色分量的平均值，旋转线段L，必定存在一个β(0≤β≤π)角，使得D取得最大值D_max，如果某一个像素的D_max＞t，这个像素是一个边缘点；阈值t的选取通过确定一个尺度范围，用大、中、小多个尺度进行边缘检测以改善检测效果，选取三种尺度的D_max之和的平均作为方向区域距离的测度D_avg：

$D_{\mathrm{avg}}=\frac{1}{3}\underset{k=1}{\overset{3}{\mathrm{\&Sigma;}}}{D}_{{\max }_k},$ (1≤k≤3)    (19)

其中max₁、max₂、max₃分别代表小尺度、中尺度和大尺度，若D_avg均值为μ，标准方差为σ，则阈值t可近似表示为：

t＝μ+λσ，λ＝3～4    (20)

(3.5)运用步骤(3.2)中的BP神经网络判别每个边缘点的边缘颜色对，用数字1-6来分别代表我国车牌的蓝色、白色、黑色、红色、黄色和其他色，则所有车牌的边缘色彩搭配如下：

color＝{(2，3)，(2，4)，(1，2)，(3，2)，(5，3)}    (21)

如检测到的边缘颜色对符合color集合中的色彩搭配，则认为该点是真实车牌边缘点，否则认为是多余边缘除去；

(4)结合车牌的纹理特征进行车牌的最终定位，通过判断水平线与彩色图像边缘的交点个数，得到真实的车牌区域，并对获取的车牌图像进行处理，包括对灰度化、二值化、倾斜校正、背景色统一、噪声干扰消除，最终取得最小车牌区域，具体为：(4.1)作剩余连通区域的最小外接矩形，取矩形的水平中位线，对称地向上或者向下横向扫描各个候选区域，水平线中必有一条或多条横穿字符区域，与车牌彩色边缘有多个交点，通过判断水平线与边缘的交点个数，得到真实的车牌区域；(4.2)按照步骤(2.1)及(2.3)所述方法对彩色车牌区域图像进行灰度化及二值化；(4.3)采用Radon变换对倾斜的车牌图像进行校正，曲线f(x，y)的Radon变换是一个平行于y轴的线积分：

$R_{\mathrm{\&theta;}}\left(x^{\&prime;}\right)={\&Integral;}_{-\&infin;}^{\&infin;}f(x^{\&prime;}\cos \mathrm{\&theta;}-y^{\&prime;}\sin \mathrm{\&theta;},x^{\&prime;}\sin \mathrm{\&theta;}+y^{\&prime;}\cos \mathrm{\&theta;}){\mathrm{dy}}^{\&prime;}---\left(22\right)$

式中：

$\left[\begin{array}{c}{x}^{\&prime;}\\ y^{\&prime;}\end{array}\right]=\left[\begin{array}{cc}\cos \mathrm{\&theta;}& \sin \mathrm{\&theta;}\\ -\sin \mathrm{\&theta;}& \cos \mathrm{\&theta;}\end{array}\right]\left[\begin{array}{c}x\\ y\end{array}\right]---\left(23\right)$

由θ以及x可确定一条直线，确定出θ值之后，对图像进行旋转|90-θ|°处理；(4.4)将车牌区域的二值图像统一为黑底白字，统计二值图像中白色像素的数量，若白色像素所占比例超过50％，则认为此图片的背景色为白色，进行反色变换；如果白色像素所占比例不足50％，则说明该车牌的二值图像为黑底白字，保持不变；(4.5)基于字符区域黑白颜色跳变特征，消除对车牌图像存在的上下边框的干扰，依次考虑以下规则：(4.5.1)黑白跳变小于第一阈值的行即被视为背景；(4.5.2)连续白线长度大于第二阈值，则该白线被认为是背景；(4.5.3)单行白色点总数大于第三阈值，则该行被认为是背景；

(4.5.4)在车牌高度的上面1/2处向上搜索第一条全为黑的线，则认为该黑线以上为背景；在下面1/2处向下搜索第一条全为黑的线，则认为该黑线以下为背景；(4.6)采用基于连通区域的方法消除车牌图像中的细小噪声，对于每个白色像素，均求出它的最大连通区域，即任选车牌图像中的某一个白色像素，向该像素相邻的8个方向搜索，若某方向上为白色像素，标记并计数，直到该白色连通区域内任意一个白色像素都被标记一次，此时白色像素数量的计数结果就是所述连通区域的面积，再通过设置高度阈值、面积阈值来去除噪声部分；(4.7)如果步骤(4.3)的旋转操作及后续的处理使得字符歪曲且边缘出现“毛刺”现象，对图像进行反旋转操作校正字符并消除毛刺，旋转角度为-|90-θ|°；(4.8)取得最小车牌区域的方法是依次从上向下、从下向上、从左向右、从右向左搜索第一条不为全黑的直线，则这4条直线包围的范围是最小车牌区域；(4.9)自定义结构元素对象，对车牌图像进行膨胀或腐蚀操作，实现平滑字符边缘、填补细小漏洞、均衡车牌字符的粗细程度；

(5)对经过处理的车牌图像结合竖直投影和滴水算法进行字符分割，在车牌字符间隙区域取得白色像素投影的局部最小值作为粗分割的依据，若粗分割得到的字符块宽度超过宽度阈值，则运用滴水算法进行二次精确分割，寻找字符的闭合边缘轮廓，沿着缝隙进行裁剪，以最左上角和最右下角的边缘点为基准进行分割及矩形化拓展，并对分割出来的目标字符图像进行筛选，去除垂直边框、铆钉、分隔符非字符图像，具体为：(5.1)对车牌图像进行竖直投影，即统计每一列白色像素的个数，在两个字符间隙可取得投影局部最小值，以此作为分割点进行字符粗分割；(5.2)粗分割结果中若有单个字符宽度大于车牌总宽度的1/7，则认为存在字符粘连，进行二次精确分割，采用各向同性的Isotropic Sobel算子提取粘连字符的闭合轮廓边缘，Sobel算子又分为两种：

检测水平边缘的 $\left[\begin{array}{ccc}-1& 0& 1\\ -\sqrt{2}& 0& \sqrt{2}\\ -1& 0& 0\end{array}\right],$ 以及检测垂直边缘的 $\left[\begin{array}{ccc}-1& -\sqrt{2}& -1\\ 0& 0& 0\\ 1& \sqrt{2}& 1\end{array}\right];$ (5.3)运用滴水算法进行字符二次分割，沿着字符的边缘轮廓进行分割，以最左上角和最右下角的边缘像素点作为定位点进行裁剪，并对裁剪的字符图像进行矩形化拓展，背景用黑色区域填充；(5.4)最左侧字符宽度若小于车牌总宽度的1/7×30％，则认为是左边框，设为背景色；(5.5)对目标字符图像进行色彩特征判断，去除残留分隔符和铆钉的干扰：若目标字符图像上下1/3都是空白，只有中间1/3不是空白，则认为是分隔符干扰；若中间1/3是空白，上面1/3或者下面1/3不是空白，则认为是铆钉干扰；(5.6)若目标字符图像数量仍然超过7个，则认为最后一个是右边框予以去除；

(6)根据水平和垂直两个方向字符像素的分布将字符图像归一化为32×16像素大小，字符区域背景为黑色，字符前景为白色，将归一化后的字符点阵的每个像素点作为一个网格，提取字符图像的原始粗网格特征，具体为：(6.1)根据水平和垂直两个方向字符像素的分布进行字符图像的归一化，计算文字的质心G_I和G_J：

$G_I=\underset{i=A}{\overset{B}{\mathrm{\&Sigma;}}}\underset{j=L}{\overset{R}{\mathrm{\&Sigma;}}}i\&CenterDot;c(i,j)/\underset{i=A}{\overset{B}{\mathrm{\&Sigma;}}}\underset{j=L}{\overset{R}{\mathrm{\&Sigma;}}}c(i,j)---\left(24\right)$

$G_J=\underset{i=A}{\overset{B}{\mathrm{\&Sigma;}}}\underset{j=L}{\overset{R}{\mathrm{\&Sigma;}}}j\&CenterDot;c(i,j)/\underset{i=A}{\overset{B}{\mathrm{\&Sigma;}}}\underset{j=L}{\overset{R}{\mathrm{\&Sigma;}}}c(i,j)---\left(25\right)$

其中，用i，j表示字符图像各个像素点的纵坐标与横坐标，用A和B表示字符图像自下而上的坐标值，用L和R表示字符图像从左到右的坐标值；c(i，j)为1时表示该像素为白像素(即字符像素)，为0时表示该像素点为背景；再计算水平和垂直方向的散度σ_I和σ_J：

${\mathrm{\&sigma;}}_I^2=\underset{i=A}{\overset{B}{\mathrm{\&Sigma;}}}\left\{\underset{j=L}{\overset{R}{\mathrm{\&Sigma;}}}c(i,j)\right\}\&CenterDot;{(i-G_I)}^2/\underset{i=A}{\overset{B}{\mathrm{\&Sigma;}}}\underset{j=L}{\overset{R}{\mathrm{\&Sigma;}}}c(i,j)---\left(26\right)$

${\mathrm{\&sigma;}}_J^2=\underset{i=A}{\overset{B}{\mathrm{\&Sigma;}}}\left\{\underset{j=L}{\overset{R}{\mathrm{\&Sigma;}}}c(i,j)\right\}\&CenterDot;{(j-G_J)}^2/\underset{i=A}{\overset{B}{\mathrm{\&Sigma;}}}\underset{j=L}{\overset{R}{\mathrm{\&Sigma;}}}c(i,j)---\left(27\right)$

按比例将字符线性放大或缩小成32×16像素大小、规定散度的点阵，背景为黑色，字符为白色；(6.2)归一化后的二值字符图像实质上是一个32×16的点阵，将字符点阵的每个像素点作为一个网格，提取字符的原始粗网格特征；

(7)设计BP神经网络针对不同字符分别设计汉字网络、字母网络、字母数字网络和数字网络，BP神经网络包括输入层、输出层和隐藏层；其中输入层对归一化为32×16点阵大小的字符，以每个像素点为一个网格，则输入层神经元个数为512；输出层每个神经元代表一个目标种类，各网络输出神经元个数分别为：汉字网络51个，字母网络25个，字母数字网络34个，数字网络10个；确定隐含层神经元个数计算公式如下：

$\mathrm{New}\_\mathrm{num}=\sqrt{\mathrm{in}\_\mathrm{num}\&times;(\mathrm{out}\_\mathrm{num}+1)+1}---\left(28\right)$

其中，New_num代表隐层神经元个数，in_num代表输入层神经元个数，out_num代表输出层神经元个数；在隐含层和输出层，激活函数选用Sigmoid函数，形式如下：

logistic函数属于S型函数，其中v_j(n)是神经元j的诱导局部域，且根据非线性，

的范围在[0，1]之内，通过调整a，b，c的值来改变函数饱和区，从而调整输出；设置初始权值的范围，初始权值是(-1，1)之间的随机数，选取权值的量级为

其中s₁为第一层神经元的个数；采用变化的自适应学习速率保证BP神经网络快速稳定地收敛，变化的自适应学习速率的调整公式是：

其中，η(k)表示学习速率，SSE(k)表示训练的误差。

优选地，所述的步骤(3.2)中，隐含层和输出层的激活转移函数都选择Sigmoid函数(f_Sigmoid(x)＝1/(1+e^-x))。

优选地，所述的步骤7中，当a，b，c均取1时，训练和识别都有较好的效果，此时激活函数表达式为：

形同 $f\left(x\right)=\frac{1}{1+e^{-x}}---\left(31\right).$

一种实现机动车车牌自动识别方法的装置，包括摄像装置及计算机，所述摄像装置通过IEEE1394电缆与计算机相连；其中将摄像装置固定架设于路口，使用较快的快门并手动聚焦，保证能够清晰获取过往车辆的车头部分图像，光线不好时可以用补光设备进行辅助；摄像装置获取的视频图像直接传输到计算机，并按照机动车车牌自动识别方法进行实时识别处理；对于识别处理所得到的车牌信息，与后台交通违章黑名单数据库进行对比，自动发现违法、违章车辆，并支持可调语音TTS自动报读违章车牌号码，使用预置音频为交通警察及监管者进行语音提示，从而将他们的眼睛从屏幕上解脱出来。

本发明的有益效果主要表现在：1、对摄像采集的视频图像质量要求低，适用于复杂背景下的车牌准确定位；2、结合竖直投影和滴水算法的字符分割方法，鲁棒性好，能够较好地解决字符粘连、断裂等问题，分割效果好；3、结合我国车牌的实际情况，针对汉字的特殊性，为质量低下的汉字图像建立多个训练样本，提高了神经网络识别汉字的稳健性和识别正确率4、BP神经网络设计科学合理，整体流程实现了实时性与准确性的平衡。

附图说明

图1是从视频中进行运动多目标车体定位截取的示意图，其中图1(a)是视频中截取的车辆示意图；图1(b)是第k-1帧图像；图1(c)是第k帧图像；图1(d)是相邻两帧图像的差分图；图1(e)是差分图的滤波及膨胀效果；图1(f)是对运动多目标车体检测结果进行矩形扩展。

图2是对车牌图像进行初步处理的过程示意，其中图2(a)原始车体图像；图2(b)是二值化效果；图2(c)和图2(d)是利用车牌宽高比特征筛选得到的候选车牌区域。

图3是彩色边缘检测及基于边缘颜色对判别，其中图3(a)和图3(d)是候选车牌区域，图3(b)和图3(e)是彩色边缘检测结果，图3(c)和图3(f)是基于边缘颜色对的筛选结果。

图4是车牌定位分割的整体流程图。

图5是彩色车牌图像统一为黑底白字二值车牌图，其中图5(a)为原车牌图像，图5(b)为灰度化图像，图5(c)为二值化图像，图5(d)为倾斜校正图像，图5(e)为背景色统一后的图像。

图6是背景统一的车牌图像取得最小车牌区域的过程，其中图6(a)为背景色统一的车牌图像，图6(b)为去除水平边框干扰，图6(c)为去除细小噪声，图6(d)为反旋转图像，图6(e)为最小车牌区域图像，图6(f)为数学形态学膨胀或腐蚀效果图。

图7是车牌字符切割及归一化结果示意图。

图8是字符粗网格特征提取过程示意图，其中图8(a)是字符归一化过程，图8(b)是提取字符粗网格特征示意图，图8(c)是分为8×4网格之的白色像素特征数字统计图。

图9是相似字符“0”和“D”的粗网格特征比较。

图10是BP神经网络的结构设计图。

图11是神经网络训练样本及识别样本的对比图。

图12是BP神经网络车牌字符识别系统的实现过程框图。

图13是本发明实现机动车车牌自动识别方法的装置图。

具体实施方式

下面通过实施例，并结合附图，对本发明的技术方案作进一步具体的说明。

实施例：参照图1～图12，一种机动车车牌自动识别方法，该方法包括以下步骤：

(1)对采集的车辆交通视频进行处理，截取视频中相邻的两帧，采用改进的瞬时差分法，设计以点为中心、固定大小的范围作为差分区域，取该区域的灰度均值进行差分计算，对差分图像进行滤波及膨胀操作，根据连通区域外接矩形的面积进行过滤并定位车体区域图像；

(2)对车体区域图像进行处理，包括车体图像的灰度化、二值化、数学形态学运算，得到若干个连通区域，利用车牌宽高范围、宽高比率以及连通区域的填充度等特征进行过滤，剔除不符合条件的连通区域，得到候选车牌区域；

(3)将候选车牌区域图像由RGB颜色空间转换到HSV颜色空间，并进行基于区域色彩距离的彩色边缘检测，利用BP神经网络对候选车牌图像进行颜色识别，计算任一像素点两个相邻区域的平均色彩距离，若大于阈值t，则认为该像素是一个边缘点；对边缘像素点进行筛选，判断各边缘点的边缘颜色对是否符合我国标准车牌的颜色搭配，取得真实的车牌边缘点；

(4)结合车牌的纹理特征进行车牌的最终定位，通过判断水平线与彩色图像边缘的交点个数，得到真实的车牌区域，并对获取的车牌图像进行处理：包括对灰度化与二值化、倾斜校正、背景色统一、噪声干扰消除等，最终取得最小车牌区域；

(5)对经过处理的车牌图像结合竖直投影和滴水算法进行字符分割，在车牌字符间隙区域可取得白色像素投影的局部最小值作为粗分割的依据，若粗分割得到的字符块宽度超过宽度阈值，则运用滴水算法进行二次精确分割，寻找字符的闭合边缘轮廓，沿着缝隙进行裁剪，以最左上角和最右下角的边缘点为基准进行分割及矩形化拓展，并对分割出来的目标字符图像进行筛选，去除垂直边框、铆钉、分隔符等非字符图像；

(6)根据水平和垂直两个方向字符像素的分布将字符图像归一化为32×16像素大小，字符区域背景为黑色，字符前景为白色，将归一化后的字符点阵的每个像素点作为一个网格，提取字符图像的原始粗网格特征；

(7)根据我国车牌的实际特点，设计BP神经网络：包含汉字网络、字母网络、字母数字网络和数字网络，对不同类型字符进行分类，并为相似度高的字符建立二级网络，同时确定输入输出神经元个数、隐含层个数、隐含层中神经元数目、激活函数、学习速率等参数；

(8)构造样本库进行训练，对BP神经网络进行训练，根据实际识别效果对训练样本进行调整，直到神经网络的识别率达到应用要求，实现车牌字符的准确识别。

本发明总体的流程是通过视频采集接口捕获摄像设备拍摄的车辆视频图像，从中定位出车体，进而取得车牌图像，最后分割出字符并实现识别。

从视频中进行运动多目标车体区域定位的原理是检测序列图像中与背景存在相对运动的前景，将运动前景分割为若干独立目标，即从相邻的两帧或几帧图像中检测出存在相对运动的区域，通常对图像进行差分运算。一个好的目标检测和分割算法，应该能适用于各种环境，通常应具有以下的特征：(1)对环境的缓慢变化(如光照变化等)不敏感；(2)对于复杂背景和复杂目标有效；(3)能适应场景中个别物体运动的干扰(如树木的摇晃，水面的波动等)；(4)能够去除目标阴影的影响；(5)检测和分割的结果应满足后续处理(如跟踪等)的精度要求。经典的瞬时差分法是基于点差异的变化检测的，提取目标的精度以及完整性不能令人满意。

本发明设计一种改进的瞬时差分法，即改以往基于点差异的变化检测为基于固定大小(3×3)的块差分的变化检测，并且取差分的平方，以加强运动像素与非运动像素的灰度反差。首先截取视频中的第k帧图像与第k-1帧图像，转换为灰度图像，如图1(b)和1(c)所示。图1(d)是采取本发明方法进行差分运算的结果，可以发现，差分图中主体部分已经是车体，但是因为各种原因仍旧存在少量零散的干扰点，可以运用数学形态学运算去除干扰点，形成有效区域。使用合适的结构元素对差分图像进行一次开运算，即先进行一次腐蚀操作，再进行一次膨胀操作。开运算的目的在于有效减少孤立噪声干扰，并形成车体部分的连通区域。在实际应用中，考虑运算效率，可以将某个二维结构元素B_m×n分为水平和垂直两个一维元素b_m×1和b_1×n来运算。形态学运算的结果如图1(e)所示，可以看到细小噪声已经大大减少，并在车体区域形成连通区域。对每个连通区域最左下角像素和最右上角像素进行矩形化扩展得到若干区域，按照面积进行过滤，定位出运动车体位置，如图1(f)所示。

车体定位之后需要定位出车牌位置，对车体图像进行处理，包括灰度化、图像梯度信息增强以及改进的二值化方法，提高车牌定位的准确率与效率，使得图像信息更加适用于后期处理。图2(a)是原始车辆图像；图2(b)是经过上述处理的车牌图像，效果较常规方法更好。对于二值化车体图像进行形态学闭运算，用线型结构元进行膨胀处理，再进行腐蚀操作，将小的区域加以合并，得到一个或几个连通区域。通常情况下车牌图像宽高比在1.5～3.5之间，先前得到的连通区域按照车牌这一结构特征进行筛选，剔除不符合条件的连通区域，实现车牌图像的初步分割，剩余若干个候选车牌区域，如图2(c)和图2(d)所示。

传统的车牌定位方法通常使用灰度图像，因为灰度图像提供了车牌纹理、结构等必要特征以定位车牌，但是为了降低算法复杂度，节约处理时间而去除了色彩信息。我国车牌不同的色彩搭配代表不同的车型，而车型信息对于养路费征收等领域还是有其存在意义的。本发明考虑到这些可能的应用场合，且之前的步骤中已经去除了大部分虚假车牌区域，因此采用基于边缘颜色对的方法来进行彩色车牌的再定位。

基于彩色图像的车牌定位，首先进行色彩空间的转化，将RGB彩色空间转化为HSV彩色空间，原因在于HSV颜色空间更加接近人眼的视觉，在自然光下更加稳定。我国车牌的底色仅有蓝色、黄色、黑色和白色，在HSV颜色空间中，要辨别这4种颜色，仅需充分利用H、S、V三个分量。在该模型下，仅用H和S两个分量就可以区分蓝色和黄色，而且不考虑V分量，排除了光照条件，对于光照不稳定的彩色车牌图像分割具有很大的意义。另一方面，只用V分量就能够分辨出黑色和白色。因此，选用HSV彩色空间很适合彩色车牌处理。

本发明采用区域平均色彩距离的方法对于候选的车牌区域来进行彩色边缘检测。边缘可以认为是图像不同区域的边界，比如灰度的突变和颜色的突变等。彩色边缘是图像色彩函数具有边缘特征的不连续点的集合，描述色彩函数在局部区域的突变。因此，当两个区域的颜色存在一定程度的差异时，在边界上存在着明显的色彩突变。若用一种有效的色彩距离来描述这种色彩突变，则一像素点的色彩距离大于某一阈值时，就可以认为该像素是一个边缘点。

要进行基于区域颜色距离的彩色边缘检测，就首先需要对区域色彩进行识别，本发明通过设计BP神经网络来进行色彩识别。BP神经网络的设计结构：输入层24个节点，分别对应一个像素点8邻域像素的H、S、V值；隐含层设置60个节点；输出层有6个节点，分别对应白、黑、红、黄、蓝和其他色共六种颜色；最后由竞争网络选择输出层6个输出值的最大值所对应的颜色作为最后的识别颜色。

进行色彩识别后，根据步骤(3)中述及的，选取三个不同尺度，得到不同的区域色彩距离D，取三者的平均值D_avg作为色彩距离的最终结果，当它大于某个阈值t时，就认为此像素点是一个边缘点。图3(a)所示是车灯图像，由于它的宽高比接近于车牌图像而得以保留下来，彩色边缘检测的结果如图3(b)所示。车灯图像与车牌图像边缘的主要区别在于边缘点两侧的色彩搭配以及纹理不同，因此后续的车牌区域的最终定位，就基于这两种差异。

我国车牌背景色与字符颜色固定搭配种类如下：黄底黑字、蓝底白字、白底黑字、白底红字、黑底白字；颜色总共6种：蓝色、白色、黑色、红色、黄色和其他色。若用数字1-6表示上述颜色，那么车牌的颜色搭配就可归纳为color＝{(2，3)，(2，4)，(1，2)，(3，2)，(5，3)}。对先前检测出的边缘点，运用BP神经网络进行边缘颜色对的识别，如果边缘颜色对属于color集合其中之一，那么该边缘点就认为是真实的车牌边缘得以保留，否则就舍弃。图3(c)中给出了车灯图像边缘颜色对检测结果，由于车灯本身色彩和光照等原因，存在少数符合color颜色集的颜色对，筛选之后仍有少数残余；图3(f)中，车牌区域图像边缘点经过筛选后，去除了一些多余的边缘点。因此，边缘颜色对检测能够去除大部分的非车牌区域图像，减少车牌区域的无关边缘点。

经过上述各步骤处理之后，对剩余的区域，运用车牌图像的纹理特征来进行最终定位。我国的车牌固定是7个字符的，因此不难想象，假设车牌7个字符均为“1”，那么底色与字符颜色的跳变至少应该有14次。若加上车牌两侧的边框，则跳变次数应该至少有18次。基于这一特征，只需对剩下的边缘图像进行一次横向扫描进行再次筛选。如图3(c)所示，虽然车灯区域部分边缘点由于符合边缘颜色对而得以残留，但是这些边缘点显而易见并不符合车牌图像的纹理特征，予以去除，则图3(f)即为车牌定位结果。

上述步骤截取出来的车牌图像是彩色的，尽管彩色图像可以提供更多的信息，如图5(a)所示，蓝底白字的车牌颜色代表这是一辆小型轿车，但是彩色图像对后续的处理也同样带来了更多的困难和更高的要求。另一方面，由于视频往往受到拍摄环境、角度等因素的影响，存在各种各样的干扰。为了对车牌字符进行有效的识别，有必要对车牌图像进行一定的处理。

对车牌图像的处理首先是灰度化和二值化，灰度化的效果如图5(b)所示；对于灰度化的车牌图像，对其进行二值化处理，使车牌图像变成仅有“0”和“1”的矩阵，因此二值化图像在图像处理过程中较灰度图像更具有优势。二值化的关键在于选择合适的阈值，大于阈值的灰度像素置为1，否则置为0，二值化的效果如图5(c)所示。

车牌都是矩形的，外围镶有金属边框，但在视频中往往因为拍摄角度等原因使得车牌图像有一定的倾斜，如图5(c)所示，因此需要对车牌图像进行倾斜校正。运用Radon变换，通过确定取得局部最大值时的角度θ值，对图像进行旋转|90-θ|°处理，实现倾斜校正的目的，如图5(d)所示。

二值化过程中，由于我国车牌颜色搭配多样，二值化会出现黑底白字与白底黑字两种结果，因此需要对二值化结果统一为黑色背景，白色字符。通常车牌区域内字符所占的面积应小于背景所占面积，因此只需判断二值化图像中黑白像素所占比例即可分辨字符及背景颜色，通过反色等操作，实现背景色的统一，如图5(e)所示。

经过上述处理的车牌图像中存在的主要干扰来自于边框、铆钉及其他细小噪声，分析二值化车牌图像，最显著的特征就是字符区域内黑白颜色跳变特征，而水平边框则不存在这样的特点。同时在水平边框区域存在大量连续的白色像素，且白色像素总和也往往大于字符区域，因此可以根据以上特征将水平边框去除。边框去除的效果如图6(b)所示，在某些情况下，铆钉能够随着水平边框一同被去除。

车牌图像中存在的一些细小的噪声，它们共同的特点就是小：面积小，或者高度小。对于这些噪声，运用基于连通区域的方法进行消除，其基本方法如下：对于任何的白色像素，均求出它的最大连通区域，再通过设置高度阈值、面积阈值等方式来去除。图6(c)为去除细小噪声的效果图，最明显的就是车牌间隔符被除去，某些情况下残留的垂直边框也会被去除。

此时车牌图像存在的干扰已相对较少了，但是先前的旋转操作虽然使车牌整体校正了，但图像出现“毛刺”现象，同时车牌字符本身出现歪曲了，因此对其进行相同角度的反旋转，如图6(d)所示，字符校正更有利于后续的分割操作。图6(e)是取得最小车牌区域的示意图，关键在于上下左右四个方向进行扫描，直到扫描到第一条不全黑的线。图6(f)是进行数学形态学的膨胀或腐蚀的效果图，主要目的在于使各个字符粗细均匀，便于后续的特征提取及识别工作。

图7是车牌字符切割及字符图像归一化的效果图，本发明结合竖直投影和滴水算法来进行切割。在车牌质量较好的情况下，采用竖直投影的方法即可取得较好的字符分割效果。但在实际应用中，由于存在残留边框及铆钉干扰、字符粘连等，竖直投影切割往往不能满足要求，需要运用滴水算法进行二次精细分割。滴水算法主要针对部分粗切割出的字符宽度大于车牌宽度的1/7，此时很有可能出现了字符粘连等情况。通过检测字符图像的封闭边缘，沿着字符边缘进行更精确的分割。

本发明采用基于质心的位置将字符图像归一化为32×16像素的点阵，以每一个像素点最为一个网格，提取字符的原始特征，如图8(b)所示，分为8×4网格后，得到白色像素特征统计图，如图8(c)所示。图9中分别是数字“0”和字母“D”的字符点阵。仔细观察，数字“0”和字母“D”的细微区别主要在于左上角和左下角，因此提取其相应点阵的左上角和左下角部分的网格特征对两者进行细分类。

车牌以及车牌字符的实际特点是神经网络结构设计的基础。针对应用于车牌字符识别的BP网络分类器，必须结合具体情况设计，并在试验中不断改进，才能训练出泛化性能好的模式分类器。我国的标准车牌共有7位字符，其中第一个是省份汉字，第二个是字母，第三、四个字符可能是字母或数字，第五到第七位都是数字，因此在车牌字符识别系统中，分别设计四个神经网络：汉字网络、字母网络、字母数字网络和数字网络实现对字符的分类。同时，由于车牌上的字符都是标准的印刷体，部分字符存在着很高的相似度，如“8”和“B”、“Q”、“0”和“D”或者“4”和“A”、“C”和“G”这样的字符。对于此类相似度较高的字符，额外设计数字、字母的二级细分类器进行再次细分类。二级BP神经网络结构如图10所示。

在按照实际情况设置了神经网络的输入输出神经元个数、隐含层个数、隐含层中神经元数目、激活函数、学习速率等参数后，需要建立样本库，对神经网络进行训练。合理的训练样本选取，对网络的分类和泛化能力有很大的影响。由于实际得到车牌字符的质量较低，如果为了追求网络识别某个较不规范字符而将之作为训练样本，则会导致网络学会了该不规范字符，但对该类较规范字符的识别率却下降了。如图11所示的例子里，图11(a)为字母“A”标准训练样本，而实际采集得到的车牌字母“A”大多存在一定程度的倾斜，如图11(b)所示。因此在用图11(a)作为训练样本时，字母“A”的识别效果不佳。因此，应该从车牌字符识别样本中选择一个大致规范的样本，如图11(b)来代替原来的训练样本。

另一方面，由于我国汉字的特殊性，有些省份汉字如浙、湘、鄂、赣等，字体复杂，笔划较多，粘连的现象严重，给网络训练和识别带来困难。本发明为笔划较多的汉字同时建立2～3个训练样本：标准样本、典型粘连样本和典型偏移样本，这样可以极大提高笔划粘连和偏移的字符的识别正确率。因此BP网络训练样本的收集必须是全面的，且每一个训练样本都应该能如实反映每一类待识别模式的特征。

建立合理的训练样本库的目的在于使神经网络能够对字符进行准确高效的识别。神经网络的训练过程基本步骤为：首先定义一个BP网络结构→初始化一个随机数种子→创建BP网络→将输入模式传递给创建的BP网络→将标准训练样本保存到文件中以矩阵形式存储→定义目标向量，教师信号中1表示目标种类，0表示非目标种类，设置训练参数，串行方式进行训练，训练失败，退出；成功，则保存权值，释放内存。

经过训练的神经网络可以直接用于字符识别，识别过程基本步骤为：定义BP网络结构、初始化随机数种子、创建BP网络结构(与训练过程相同)→将待识别字符的输入模式传递给创建的BP网络，将所有待识别字符样本以矩阵形式保存在文件夹中→将训练完成后保存的权值矩阵读入相应的BP网络结构的权值矩阵中→调用前向函数进行前向计算→判断输入的待识别样本的类别，并输出结果。值得注意的是，当经过训练的神经网络对于某一类字符的识别率特别低时，应将训练样本与待识别样本进行仔细比较，及时调整训练样本，重新对网络进行训练。

本发明实现机动车车牌自动识别方法的装置包括计算机1及摄像装置2，所述摄像装置2通过IEEE1394电缆3与计算机1相连；其中将摄像装置固定架设于路口，使用较快的快门并手动聚焦，保证能够清晰获取过往车辆的车体部分图像，光线不好时可以用补光设备进行辅助；摄像装置获取的视频图像直接传输到计算机，并按照机动车车牌自动识别方法进行实时识别处理；对于识别处理所得到的车牌信息，与后台交通违章黑名单数据库进行对比，自动发现违法、违章车辆，并支持可调语音TTS自动报读违章车牌号码，使用预置音频为交通警察及监管者进行语音提示，从而将他们的眼睛从屏幕上解脱出来。

本发明紧贴我国道路交通及车牌的实际情况，设计了一套完整的处理流程，对摄像机实时捕获的车辆视频图像质量要求低，适用于复杂背景下的车牌准确定位字符分割中较好地解决了字符粘连、断裂等问题；通过合理地对车牌图像进行一系列处理，取得字符的粗网格特征；在设计BP神经网络时，结合实际对易混淆的相似字符设计了二级分类器；构建样本库时，在标准样本的基础上，为结构复杂、笔划紧密的汉字字符适当增加典型笔划粘连样本和典型偏移样本。实验结果证明，本发明快速高效，有效提高机动车车牌自动识别系统的抗干扰能力、容错能力和识别率。

最后，应当指出，以上实施例仅是本发明较有代表性的例子。显然，本发明不限于上述实施例，还可以有许多变形。凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均应认为属于本发明的保护范围。

Claims (3)

1.一种机动车车牌自动识别方法，其特征在于所述方法包括以下步骤：

(1)对采集的车辆交通视频进行处理，截取视频中相邻的两帧，采用改进的瞬时差分法，设计以点为中心、固定大小的范围作为差分区域，取该区域的灰度均值进行差分计算，对差分图像进行滤波及膨胀操作，根据连通区域外接矩形的面积进行过滤，进行多目标的车体区域定位，具体为：(1.1)从视频中截取相邻的第k-1帧与第k帧图像，并进行灰度化；(1.2)选取以点为中心的3×3框架作为差分区域，取该区域的灰度均值做差分，并取差分的平方，以加强运动像素与静止像素的灰度反差，计算公式如下：

d_k(x，y)＝|f_k(x，y)-f_k-1(x，y)|²    (6)

其中，f_k(x，y)为该点第k帧图像差分区域的灰度均值，f_k-1(x，y)为第k-1帧图像差分区域的灰度均值；(1.3)对差分图像进行滤波及膨胀操作，通过滤波操作以消除差分图像中细小的噪声影响，通过膨胀操作使得目标区域增大，空洞减小，并填补目标图像中的空洞形成连通区域；(1.4)根据连通区域外接矩形的面积进行过滤，对于各连通区域的外接矩形，面积大于设定的阈值即判定为车体，定位并分割出车体区域图像；

(2)对车体区域图像进行处理，包括车体区域图像的灰度化、二值化、数学形态学运算，得到若干个连通区域，利用车牌宽高范围、宽高比率以及连通区域的填充度特征进行过滤，剔除不符合条件的连通区域，获取候选车牌区域图像，具体为：(2.1)对步骤(1)中获取的车体区域图像进行灰度化，计算公式是：

Gray＝0.229R+0.587G+0.114B    (7)

(2.2)对车体图像的梯度信息进行加强，使得其中的车牌区域的水平方向梯度更为明显，方法如下：

$O(i,j)=\frac{1}{\mathrm{SR}}\underset{\mathrm{\&alpha;}=-s/2}{\overset{\mathrm{\&alpha;}=s/2}{\mathrm{\&Sigma;}}}|I(i,j+l+\mathrm{\&alpha;})-I(i,j-l+\mathrm{\&alpha;})|---\left(8\right)$

其中O(i，j)为输出图像；I(i，j)为原始图像；S、R、l为与车牌大小相关的常数，α为梯度增强的尺度变量；(2.3)采用平均值加标准差作为阈值来对车体区域图像进行二值化，二值化的阈值选取如下：

    T＝E+δ    (9)

$E=\frac{1}{w*h}\underset{j=0}{\overset{h}{\mathrm{\&Sigma;}}}\underset{i=0}{\overset{w}{\mathrm{\&Sigma;}}}f(i,j)---\left(10\right)$

$\mathrm{\&delta;}=\sqrt{\frac{1}{w*h}\underset{i*w+j=0}{\overset{w*h-1}{\mathrm{\&Sigma;}}}{(f(i,j)-E)}^2}---\left(11\right)$

其中，T为阈值，E为均值，δ为标准差，f(i，j)为图像像素灰度值，w、h分别为图像宽度和高度；(2.4)进行数学形态学运算，先用一个适当的结构元素对车体区域图像进行腐蚀运算以去除独立的噪点，其次用闭运算，即先膨胀后腐蚀，来填补图像中的微小孔洞并且平滑边界，形成若干个连通区域；

(2.5)车牌图像宽高比在1.5～3.5之间，以宽高比为标准对各个连通区域进行初次分类，剔除不符合条件的连通区域，得到若干候选车牌区域图像；

(3)将候选车牌区域图像由RGB颜色空间转换到HSV颜色空间，并进行基于区域色彩距离的彩色边缘检测，利用BP神经网络对候选车牌图像进行颜色识别，计算任一像素点两个相邻区域的平均色彩距离，若大于阈值t，则认为该像素是一个边缘点，然后对边缘像素点进行筛选，判断各边缘点的边缘颜色对是否符合我国标准车牌的颜色搭配，取得真实的车牌边缘点，具体为：(3.1)将候选车牌区域图像由RGB颜色空间转换到HSV颜色空间，转换方法如下：

$H=\left\{\begin{array}{ccc}\mathrm{\&theta;}& \mathrm{if}& G\&GreaterEqual;B\\ 2\mathrm{\&pi;}-\mathrm{\&theta;}& \mathrm{if}& G<B\end{array}\right.---\left(12\right)$

$S=\frac{\max (R,G,B)-\min (R,G,B)}{\max (R+G+B)}---\left(13\right)$

$V=\frac{\max (R,G,B)}{255}---\left(14\right)$

$\mathrm{\&theta;}={\cos }^{-1}\left[\frac{[(R-G)+(R-B)]/2}{\sqrt{{(R-G)}^2+(R-B)(G-B)}}\right]---\left(15\right)$

其中，色度H用角度-π～π或0～2π来度量，对应于颜色轮上的角度，亮度V是指颜色明暗程度，从黑0％到白100％，饱和度S指颜色的深浅，从0％到完全饱和的100％，与光强度无关；(3.2)使用BP神经网络进行颜色识别，所述BP神经网络由定义神经网络输入层、隐含层、输出层三层BP网络和一层竞争网络组成；其中定义神经网络输入层有24个节点，分别对应某一个像素点8邻域像素的H、S、V值，隐含层设置60个节点，输出层有6个节点，分别对应白、黑、红、黄、蓝和其他色共六种颜色；最后由竞争网络选择输出层的6个输出值的最大值所对应的颜色作为最后的像素颜色；(3.3)以C(i，j)为中心取大小为(2n+1)(2n+1)的窗口，过C(i，j)作一条与垂直方向夹角为β(0≤β≤π)的线段L将窗口划分为W₁和W₂两部分，各包含N个像素，则W₁和W₂内像素的平均色彩函数值分别为：

$C_{\mathrm{n\&beta;}{W}_1}=(H_{\mathrm{n\&beta;}{W}_1},S_{\mathrm{n\&beta;}{W}_1},V_{\mathrm{n\&beta;}{W}_1})=\frac{1}{N}\underset{x=1}{\overset{N}{\mathrm{\&Sigma;}}}{C}_{W_{1}x}---\left(16\right)$

$C_{\mathrm{n\&beta;}{W}_2}=(H_{\mathrm{n\&beta;}{W}_2},S_{\mathrm{n\&beta;}{W}_2},V_{\mathrm{n\&beta;}{W}_2})=\frac{1}{N}\underset{y=1}{\overset{N}{\mathrm{\&Sigma;}}}{C}_{W_{2}y}---\left(17\right)$

其中，n为距离尺度，N为W₁和W₂区域内的像素个数，

分别是W_i(i＝1，2)内N个向量像素H、S、V_i分量的平均值，

和

分别表示W₁和W₂区域内的第x个和第y个像素；(3.4)定义区域平均色彩距离的计算公式如下：

$D=\sqrt{{\left(H_{\mathrm{n\&beta;}{W}_1-H_{\mathrm{n\&beta;}{W}_2}}\right)}^2+{(S_{\mathrm{n\&beta;}{W}_1}-S_{\mathrm{n\&beta;}{W}_2})}^2+{(V_{\mathrm{n\&beta;}{W}_1}-V_{\mathrm{n\&beta;}{W}_2})}^2}---\left(18\right)$

其中，

分别是两相邻区域的H、S、V颜色分量的平均值，旋转线段L，必定存在一个β(0≤β≤π)角，使得D取得最大值D_max，如果某一个像素的D_max＞t，这个像素是一个边缘点；阈值t的选取通过确定一个尺度范围，用大、中、小多个尺度进行边缘检测以改善检测效果，选取三种尺度的D_max之和的平均作为方向区域距离的测度D_avg：

$D_{\mathrm{avg}}=\frac{1}{3}\underset{k=1}{\overset{3}{\mathrm{\&Sigma;}}}{D}_{{\max }_k},$ (1≤k≤3)    (19)

其中max₁、max₂、max₃分别代表小尺度、中尺度和大尺度，若D_avg均值为μ，标准方差为σ，则阈值t可近似表示为：

t＝μ+λσ，λ＝3～4    (20)

(3.5)运用步骤(3.2)中的BP神经网络判别每个边缘点的边缘颜色对，用数字1-6来分别代表我国车牌的蓝色、白色、黑色、红色、黄色和其他色，则所有车牌的边缘色彩搭配如下：

color＝{(2，3)，(2，4)，(1，2)，(3，2)，(5，3)}    (21)

如检测到的边缘颜色对符合color集合中的色彩搭配，则认为该点是真实车牌边缘点，否则认为是多余边缘除去；

(4)结合车牌的纹理特征进行车牌的最终定位，通过判断水平线与彩色图像边缘的交点个数，得到真实的车牌区域，并对获取的车牌图像进行处理，包括对灰度化、二值化、倾斜校正、背景色统一、噪声干扰消除，最终取得最小车牌区域，具体为：(4.1)作剩余连通区域的最小外接矩形，取矩形的水平中位线，对称地向上或者向下横向扫描各个候选区域，水平线中必有一条或多条横穿字符区域，与车牌彩色边缘有多个交点，通过判断水平线与边缘的交点个数，得到真实的车牌区域；(4.2)按照步骤(2.1)及(2.3)所述方法对彩色车牌区域图像进行灰度化及二值化；(4.3)采用Radon变换对倾斜的车牌图像进行校正，曲线f(x，y)的Radon变换是一个平行于y轴的线积分：

$R_{\mathrm{\&theta;}}\left(x^{\&prime;}\right)={\&Integral;}_{-\&infin;}^{\&infin;}f(x^{\&prime;}\cos \mathrm{\&theta;}-y^{\&prime;}\sin \mathrm{\&theta;},x^{\&prime;}\sin \mathrm{\&theta;}+y^{\&prime;}\cos \mathrm{\&theta;}){\mathrm{dy}}^{\&prime;}---\left(22\right)$

式中： $\left[\begin{array}{c}{x}^{\&prime;}\\ y^{\&prime;}\end{array}\right]=\left[\begin{array}{cc}\cos \mathrm{\&theta;}& \sin \mathrm{\&theta;}\\ -\sin \mathrm{\&theta;}& \cos \mathrm{\&theta;}\end{array}\right]\left[\begin{array}{c}x\\ y\end{array}\right]---\left(23\right)$

由θ以及x可确定一条直线，确定出θ值之后，对图像进行旋转|90-θ|°处理；

(4.4)将车牌区域的二值图像统一为黑底白字，统计二值图像中白色像素的数量，若白色像素所占比例超过50％，则认为此图片的背景色为白色，进行反色变换；如果白色像素所占比例不足50％，则说明该车牌的二值图像为黑底白字，保持不变；(4.5)基于字符区域黑白颜色跳变特征，消除对车牌图像存在的上下边框的干扰，依次考虑以下规则：(4.5.1)黑白跳变小于第一阈值的行即被视为背景；(4.5.2)连续白线长度大于第二阈值，则该白线被认为是背景；(4.5.3)单行白色点总数大于第三阈值，则该行被认为是背景；(4.5.4)在车牌高度的上面1/2处向上搜索第一条全为黑的线，则认为该黑线以上为背景；在下面1/2处向下搜索第一条全为黑的线，则认为该黑线以下为背景；(4.6)采用基于连通区域的方法消除车牌图像中的细小噪声，对于每个白色像素，均求出它的最大连通区域，即任选车牌图像中的某一个白色像素，向该像素相邻的8个方向搜索，若某方向上为白色像素，标记并计数，直到该白色连通区域内任意一个白色像素都被标记一次，此时白色像素数量的计数结果就是所述连通区域的面积，再通过设置高度阈值、面积阈值来去除噪声部分；(4.7)如果步骤(4.3)的旋转操作及后续的处理使得字符歪曲且边缘出现“毛刺”现象，对图像进行反旋转操作校正字符并消除毛刺，旋转角度为-|90-θ|°；(4.8)取得最小车牌区域的方法是依次从上向下、从下向上、从左向右、从右向左搜索第一条不为全黑的直线，则这4条直线包围的范围是最小车牌区域；(4.9)自定义结构元素对象，对车牌图像进行膨胀或腐蚀操作，实现平滑字符边缘、填补细小漏洞、均衡车牌字符的粗细程度；

(5)对经过处理的车牌图像结合竖直投影和滴水算法进行字符分割，在车牌字符间隙区域取得白色像素投影的局部最小值作为粗分割的依据，若粗分割得到的字符块宽度超过宽度阈值，则运用滴水算法进行二次精确分割，寻找字符的闭合边缘轮廓，沿着缝隙进行裁剪，以最左上角和最右下角的边缘点为基准进行分割及矩形化拓展，并对分割出来的目标字符图像进行筛选，去除垂直边框、铆钉、分隔符非字符图像，具体为：(5.1)对车牌图像进行竖直投影，即统计每一列白色像素的个数，在两个字符间隙可取得投影局部最小值，以此作为分割点进行字符粗分割；(5.2)粗分割结果中若有单个字符宽度大于车牌总宽度的1/7，则认为存在字符粘连，进行二次精确分割，采用各向同性的Isotropic Sobel算子提取粘连字符的闭合轮廓边缘，Sobel算子又分为两种：

检测水平边缘的 $\left[\begin{array}{ccc}-1& 0& 1\\ -\sqrt{2}& 0& \sqrt{2}\\ -1& 0& 0\end{array}\right],$ 以及检测垂直边缘的 $\left[\begin{array}{ccc}-1& -\sqrt{2}& -1\\ 0& 0& 0\\ 1& \sqrt{2}& 1\end{array}\right];$ (5.3)运用滴水算法进行字符二次分割，沿着字符的边缘轮廓进行分割，以最左上角和最右下角的边缘像素点作为定位点进行裁剪，并对裁剪的字符图像进行矩形化拓展，背景用黑色区域填充；(5.4)最左侧字符宽度若小于车牌总宽度的1/7×30％，则认为是左边框，设为背景色；(5.5)对目标字符图像进行色彩特征判断，去除残留分隔符和铆钉的干扰：若目标字符图像上下1/3都是空白，只有中间1/3不是空白，则认为是分隔符干扰；若中间1/3是空白，上面1/3或者下面1/3不是空白，则认为是铆钉干扰；(5.6)若目标字符图像数量仍然超过7个，则认为最后一个是右边框予以去除；

(6)根据水平和垂直两个方向字符像素的分布将字符图像归一化为32×16像素大小，字符区域背景为黑色，字符前景为白色，将归一化后的字符点阵的每个像素点作为一个网格，提取字符图像的原始粗网格特征，具体为：

(6.1)根据水平和垂直两个方向字符像素的分布进行字符图像的归一化，计算文字的质心G_I和G_J：

$G_I=\underset{i=A}{\overset{B}{\mathrm{\&Sigma;}}}\underset{j=L}{\overset{R}{\mathrm{\&Sigma;}}}i\&CenterDot;c(i,j)/\underset{i=A}{\overset{B}{\mathrm{\&Sigma;}}}\underset{j=L}{\overset{R}{\mathrm{\&Sigma;}}}c(i,j)---\left(24\right)$

$G_J=\underset{i=A}{\overset{B}{\mathrm{\&Sigma;}}}\underset{j=L}{\overset{R}{\mathrm{\&Sigma;}}}j\&CenterDot;c(i,j)/\underset{i=A}{\overset{B}{\mathrm{\&Sigma;}}}\underset{j=L}{\overset{R}{\mathrm{\&Sigma;}}}c(i,j)---\left(25\right)$

其中，用i，j表示字符图像各个像素点的纵坐标与横坐标，用A和B表示字符图像自下而上的坐标值，用L和R表示字符图像从左到右的坐标值；c(i，j)为1时表示该像素为白像素(即字符像素)，为0时表示该像素点为背景；再计算水平和垂直方向的散度σ_I和σ_J：

${\mathrm{\&sigma;}}_I^2=\underset{i=A}{\overset{B}{\mathrm{\&Sigma;}}}\left\{\underset{j=L}{\overset{R}{\mathrm{\&Sigma;}}}c(i,j)\right\}\&CenterDot;{(i-G_I)}^2/\underset{i=A}{\overset{B}{\mathrm{\&Sigma;}}}\underset{j=L}{\overset{R}{\mathrm{\&Sigma;}}}c(i,j)---\left(26\right)$

${\mathrm{\&sigma;}}_J^2=\underset{i=A}{\overset{B}{\mathrm{\&Sigma;}}}\left\{\underset{j=L}{\overset{R}{\mathrm{\&Sigma;}}}c(i,j)\right\}\&CenterDot;{(j-G_J)}^2/\underset{i=A}{\overset{B}{\mathrm{\&Sigma;}}}\underset{j=L}{\overset{R}{\mathrm{\&Sigma;}}}c(i,j)---\left(27\right)$

按比例将字符线性放大或缩小成32×16像素大小、规定散度的点阵，背景为黑色，字符为白色；(6.2)归一化后的二值字符图像实质上是一个32×16的点阵，将字符点阵的每个像素点作为一个网格，提取字符的原始粗网格特征；

(7)设计BP神经网络针对不同字符分别设计汉字网络、字母网络、字母数字网络和数字网络，BP神经网络包括输入层、输出层和隐藏层；其中输入层对归一化为32×16点阵大小的字符，以每个像素点为一个网格，则输入层神经元个数为512；输出层每个神经元代表一个目标种类，各网络输出神经元个数分别为：汉字网络51个，字母网络25个，字母数字网络34个，数字网络10个；确定隐含层神经元个数计算公式如下：

$\mathrm{New}\_\mathrm{num}=\sqrt{\mathrm{in}\_\mathrm{num}\&times;(\mathrm{out}\_\mathrm{num}+1)+1}---\left(28\right)$

其中，New_num代表隐层神经元个数，in_num代表输入层神经元个数，out_num代表输出层神经元个数；在隐含层和输出层，激活函数选用Sigmoid函数，形式如下：

logistic函数属于S型函数，其中v_j(n)是神经元j的诱导局部域，且根据非线性，

的范围在[0，1]之内，通过调整a，b，c的值来改变函数饱和区，从而调整输出；设置初始权值的范围，初始权值是(-1，1)之间的随机数，选取权值的量级为其中s₁为第一层神经元的个数；采用变化的自适应学习速率保证BP神经网络快速稳定地收敛，变化的自适应学习速率的调整公式是：

其中，η(k)表示学习速率，SSE(k)表示训练的误差。

2.根据权利要求1所述的机动车车牌自动识别方法，其特征在于所述的步骤(3.2)中，隐含层和输出层的激活转移函数都选择Sigmoid函数(f_Sigmoid(x)＝1/(1+e^-x))。

3.根据权利要求1所述的机动车车牌自动识别方法，其特征在于所述的步骤7中，当a，b，c均取1时，训练和识别都有较好的效果，此时激活函数表达式为：

形同 $f\left(x\right)=\frac{1}{1+e^{-x}}---\left(31\right).$

Images