CN107103317A

CN107103317A - 基于图像融合和盲反卷积的模糊车牌图像识别算法

Info

Publication number: CN107103317A
Application number: CN201710236814.9A
Authority: CN
Inventors: 张斯尧; 马昊辰
Original assignee: Hunan Source Letter Photoelectric Polytron Technologies Inc
Current assignee: Hunan Source Letter Photoelectric Polytron Technologies Inc
Priority date: 2017-04-12
Filing date: 2017-04-12
Publication date: 2017-08-29

Abstract

本发明涉及计算机视觉领域，特指一种基于图像融合和盲反卷积的模糊车牌图像识别算法。本算法包括5个步骤：1.多帧图像融合增强车牌低照度图像的可辨识度；2.基于盲反卷积算法的模糊图像处理；3.车牌定位及倾斜估计；4.车牌字符的分割；5.车牌字符分割后的字符识别并输出。本发明的车牌识别算法在夜晚低照度，或因车辆超速等原因造成的车牌模糊不清，车牌图像成像质量低的情况下对车牌字符读取可靠性高，识别度好，鲁棒性好，同时步骤计算简单，能保持高效率，实时性也能满足需求。

Description

基于图像融合和盲反卷积的模糊车牌图像识别算法

技术领域

本发明涉及计算机视觉领域，特指一种基于图像融合和盲反卷积的模糊车牌图像识别算法。

背景技术

随着现代化交通的发展，车辆牌照自动识别技术越来越受到人们的重视，是近年来计算机视觉与模式识别技术在智能交通领域的重要研究课题之一。车辆牌照自动识别系统可用于公路收费站、停车场、十字路口等场所的车辆管理，对于道路交通和停车场车辆管理具有重要的促进作用。

车牌识别技术包括车牌定位、字符分割和字符识别3个基本环节，其中车牌定位是字符分割和字符识别的前提，而车牌字符分割是车牌识别的基础。

车牌识别系统在国内外研究都有一段时间了，普通的车牌识别系统在各种情况下都有一定的应用，但是对于特殊环境条件下的车牌识别，国内总体上来说还处于实验室阶段，离实际的工程应用还有一段距离。现实中，特殊环境条件下的车牌识别，往往是杜绝安全隐患的关键所在。比如车辆在晚间超速行驶，由于环境、时间、以及车辆本身超速的诸多因素综合影响，导致事故频发，损失巨大。同时，如果由于环境原因导致食品监控系统无法识别相关的车辆车牌信息，这无疑会给各方面的安全管理，带来很大的不变。

同时，国内的车牌不统一、汉字识别难度大等因素也导致了车牌识别，尤其是在特殊条件环境下的车牌识别带来了很大的困难。

发明内容

本发明要解决的技术问题在于提供一种能够提高监控系统的特殊条件下车牌识别的准确程度的基于图像融合和盲反卷积的模糊车牌图像识别算法，并使得监控系统能够满足实时性要求。

为了解决上述技术问题，本发明的具体技术方案包括以下步骤：

步骤(1)通过多帧图像融合增强低照度车牌图像的可辨识度；

步骤(2)采用基于盲反卷积算法处理模糊图像；

步骤(3)车牌定位与倾斜估计；

步骤(4)采用灰度投影法进行车牌字符分割；

步骤(5)采用基于联合HOG特征的车牌字符识别算法进行车牌分割字符识别。

作为本发明技术方案的优选，所述步骤(1)包括：

(1.1)对进行前ISP(Image Signal Processor)处理后输出的多帧图像进行Surf特征点匹配获得校准图像；所述前ISP处理中包括对原始图像进行白平衡处理，去马赛克，色彩校正，转RGB格式彩图，最后经过转RGB格式彩图后输出适合Surf特征点匹配的图像；

(1.2)对多帧连拍车牌图像采用加权累积方式进行累加，使得每幅图像权重相等。

作为本发明技术方案的优选，所述步骤(2)为采用一种盲复原方法，首先估计出模糊点扩散函数PSF，然后进行模糊处理，具体包括：

(2.1)估计点扩散函数，首先利用计算得到模糊长度和角度得到点扩散函数，然后对模糊图像的点扩散函数进行估计；

(2.2)计算图像支持域，所述支持域为包括原始图像的非零像素值最小的矩形区域，具体采用动量矩和平均值算法进行计算，设原图像矩阵为f，支持域内矩阵为则使用在迭代中恢复图像；

(2.3)设定约束条件，采用能量约束以加快算法收敛，

(2.4)噪声最小二乘估计，建立盲反卷积复原最小化模型，该模型如下公式所示：

上式中g(x,y)为模糊图像，f(x,y)为原图像，h(x,y)为点扩散函数，n(x,y)为噪声，α为权重系数，α用于保证迭代恢复过程中噪声均值为0，通常取值为10^-4，其中

两部分分别和

α[∑_x∑_y[g(x,y)-f(x,y)*h(x,y)]]分别表示噪声均方差为δ以及均值为0；该盲反卷积复原最小化模型的解即为迭代恢复模型的近似解；

(2.5)迭代恢复，求取盲反卷积复原最小化模型的解即为迭代恢复模型的近似解，经过迭代，得到图像矩阵恢复值，以及点扩散函数恢复值。

作为本发明技术方案的优选，所述步骤(3)包括：

(3.1)训练车牌样本特征提取及特征组织，其包括：

首先，手动抠取出任意正常国标车牌；

其次，对抠取出的车牌图像进行积分通道特征提取，所述通道包括LUV颜色通道、梯度幅值通道和梯度直方图通道；

最后，采用基于Adaboost算法训练检测器；

(3.2)车牌的检测定位，其包括：

首先，用滑窗法对目标图像进行扫描，获取初定位车牌图像；

其次，将检测器输出的初定位图像进行非极大值抑制处理后的初定位结果进行基于霍夫变换的倾斜校正得到二次定位后的车牌图像；

最后，将输出的二次定位后的车牌图像输入强检测器，得出最终定位车牌结果。

作为本发明技术方案的优选，所述步骤(4)包括：

(4.1)去除输入车牌区域图像的车牌边框；

(4.2)车牌字符分割，其包括：

首先，对去除车牌边框后的车牌区域图像进行图像增强，

其次，采用基于灰度投影的算法进行车牌字符分割，进行字符分割前，对前面步骤增强的车牌图像，按列累加图像的像素值，得到车牌的投影曲线，并采用高斯滤波进行平滑投影曲线。

作为本发明技术方案的优选，所述步骤(4)中所述图像增强的过程具体如下：

第1步：统计整个车牌区域内像素点的最大像素值和最小像素值maxvalue,minvalue；

第2步：设置需要增强的像素点数占全部像素点数的比例系数coef，比例系数范围在0-1之间，根据实际需要调整，通常原始车牌图像较清晰，比例系数就较小，原始车牌图像模糊，比例系数就大；

第3步：统计0-255像素值上对应出现的像素点的个数，并存储在1×255的数组count(1,i)里面；

第4步：从count(1,i)，i＝255开始往下统计像素点的个数，如果统计的像素点pixelnum<width*height*coef则将i-1继续统计，否则停止统计并记下当前的像素值index；

第5步：车牌区域每一点按下面的方法进行增强：

经过上面的变换后，实现图像增强。

作为本发明技术方案的优选，所述步骤(4)中采用基于灰度投影的算法进行车牌字符分割具体步骤如下：

第一步：根据车牌的灰度投影曲线图可得，车牌后面最多出现五个双峰结构，故搜索出前五个最大波谷点，然后判断这些点是否为双峰结构中的波谷点，如果是，则将该双峰结构的起止位置记下；

第二步：确定车牌字符宽度characterwidth；如果第一步检测到了双峰结构，则字符宽度就取为检测到的所有双峰结构的平均值，否则字符宽度就取前3个单峰宽度中的最大值；

第三步：设置字符起始点为第二字符和第三字符的分割点，设置结束点为车牌最后一个波谷点；如果在第一步中检测到了双峰结构则进行第四步，否则进行第五步；

第四步：设置字符临时分割段起始点为字符起始点，字符临时分割段终点为一个双峰结构起始位置，然后在字符临时分割段里进行检测，如果该段里有一个峰结构，则该峰就单独为一个字符，如果该段里有两个峰结构，则先判断这两个峰是一个双峰字符还是两个单峰字符，具体判断规则就利用这两个峰的宽度，以及该宽度和字符宽度进行比较；如果这两个峰宽度之和小于字符宽度的1.2倍且这两个峰宽度相差很小；否则这两个峰结构就不是一个双峰字符的投影，且可以肯定前面一个峰结构就是一个字符，所以可以将其前面的一个峰结构分割出来然后更新字符临时分割段如下：将字符临时分割段的起点更新到被分割出来的峰后面，字符临时分割段终点不变，但是如果此时字符临时分割段的起点等于终点时则将其起点更新到先前的双峰结构的终止位置，并将临时分割段的终点更新到下一个双峰结构的起点，如果后面没有双峰结构了则将临时分割段的终点更新为字符结束点，然后重复第四步直到分割到字符结束点为止；

第五步：进行到第五步说明在检测双峰结构时并未检测到，但是并不代表该车牌内不存在双峰结构的字符，并不能排除存在有双峰结构的字符；此时分割就直接从字符起始点开始分割直到分割出5个字符；在分割中需要检测的就是检测相邻的两个峰结构是不是一个字符的双峰曲线；检测所利用的方法和第四步中相同，利用两个峰的宽度和该宽度与字符宽度之间的关系进行判断；

第六步：根据分割出的后面五个字符来分割前面两个字符；首先将分割出来的后面五个字符中的最大宽度作为前面两个字符的宽度；前面两个字符为字母或者汉字，而字符也为双峰结构的，所以用后面五个字符中的最大宽度作为前面字符的宽度是合理的；分割前面两个字符的方法为：从第二字符和第三字符的分割点向前移动字符宽度个像素，然后将离该点的最近一个波谷值作为车牌第一字符和第二字符的分割点；利用同样方法也可以确定第一个字符的开始位置；

第七步：对分割出来的字符序列进行检测，看该序列是否符合车牌字符序列的特征；该特征可以用下面表达式来表示，假设dis1为前面两个字符的宽度向量，dis2为后面五个字符看宽度向量，width为车牌宽度，height为车牌高度，则一个合理的车牌字符序列必须满足下面的表达式：

min(min(dis1),min(dis2))>width/10

max(dis2)>width/5

height/min(dis1)<3

根据上面表达式从车牌区域中分割出字符序列。

作为本发明技术方案的优选，所述步骤(5)包括：

(1)提取H0G(方向梯度直方图)特征；

(2)联合方向梯度直方图，首先将灰度图和二值图分别计算HOG并组合成联合特征，然后将16值图的HOG特征加入联合HOG特征，即分别进行车牌字符的灰度图、二值图和16值图的HOG计算，将结果以某种关系线性组合起来得到的联合HOG特征，组合如下式所示：

H＝ω_grayh_gray+ω₂h₂+ω₁₆h₁₆

H代表最终的联合HOG特征，h_gray，h₂，h₁₆分别代表车牌字符灰度图、二值图和16值图的HOG特征，ω_i代表权重；

(3)车牌字符特征分类，在提取联合HOG特征以后，利用SVM进行训练分类，训练分类后，将分割好的字符输入训练器中，输出识别的车牌字符。

与现有技术相比，本发明具有以下有益效果：

本发明的车牌识别算法在夜晚低照度，或因车辆超速等原因造成的车牌模糊不清，车牌图像成像质量低的情况下对车牌字符读取可靠性高，识别度好，鲁棒性好，同时步骤计算简单，能保持高效率，实时性也能满足需求。

附图说明

图1是本发明具体实施方式所述整体算法流程图。

图2是本发明具体实施方式所述车牌图像三种积分特征通道图像。

图3是本发明具体实施方式所述四个方向梯度算子示意图。

图4是本发明具体实施方式所述像素点方向示意图。

图5是本发明具体实施方式所述霍夫变换倾斜校正的车牌图像。

图6是本发明具体实施方式所述车牌图像增强算法效果图。

图7是本发明具体实施方式所述车牌分割算法流程图。

图8是本发明具体实施方式所述车牌投影曲线的滤波前后的效果图。

图9是本发明具体实施方式所述基于联合HOG的车牌识别流程图。

图10是本发明具体实施方式所述不同迭代次数的效果图。

图11是本发明具体实施方式所述本发明算法与传统算法效果对比图。

具体实施方式

下面结合附图对本发明的具体实施方式作进一步详细的说明。

本发明具体实施方式为一种基于图像融合和盲反卷积的低照度下模糊图像的车牌识别算法，该车牌识别算法流程如图1所示，包括以下步骤；

S1.通过多帧图像融合增强低照度车牌图像的可辨识度；

S1.1对进行前ISP(Image Signal Processor)处理后输出的多帧图像进行Surf特征点匹配获得校准图像；

图像的帧累积，即图像的多帧积累增加，是通过累积同一场景连续帧图像的方法来提高图像的信噪比。在图像处理算法中，多帧累加就是将不同时刻两幅图像或多帧图像对应像素点的灰度值相加，求取它们的时间均值图像。当所观察目标的环境照度太低，会导致目标能量小，噪声大，图像信噪比降低。对静态的图像序列，利用各帧信号的相关性和噪声的不相关性，采用序列图像多帧累加技术，可大大改善图像的信噪比，提高清晰度。

对于待处理图像，假定含有噪声图像中原始图像任一像素点在一定时间内的平均光子数为推广到整幅图像中该任一像素点的原始图像信号S：

微弱光环境下，物体辐射的瞬时值则有所涨落，这种偏离平均值的随机起伏就构成了辐射的噪声。根据概率论中描述随机变量的理论可知，到达探测器的光子流符合泊松分布，量子数涨落值即量子噪声可以用方差表示。每一个空间位置(x,y)的噪声n(x,y,t)在时间序列上是不相关的，所以不同时刻得到的噪声之间的协方差为零，

图像噪声用标准差表示，得到经过累加处理后的图像噪声为比较可知，累加处理前的图像信噪比和处理后的分别为SNR1，SNR2：

由上式可以看出，对m帧图像序列取累加后可使图像信噪比提高倍，从而能够有效地抑制噪声。

前ISP处理中包括对原始图像进行白平衡处理，去马赛克，色彩校正，转RGB格式彩图，最后经过转RGB格式彩图后输出适合Surf特征点匹配的图像。SURF(Speed-Up RobustFeatures)是在SIFT(Scale Invariant Feature Transform)算法基础上提出的一种特征检测描述算子，具有尺度不变、旋转不变性、对光照变化、噪声、局部遮挡保持一定的稳健性等特点，且计算速度比SIFT快几倍。Surf特征点匹配方法分为以下4步：

第1步、检测特征点：选取不同的箱式滤波器建立图像的尺度空间，使用Hessian矩阵检测每一层图像上的极值点，在三维空间中，对极值点与邻近的3×3×3立体邻域内进行非极大值抑制，大于邻近26个响应值的点取为Surf特征点。

以高斯滤波器为例，对于图像中的某一点p＝(x,y)以及高斯滤波器的尺度σ，其Hessian矩阵H(p,σ)表达式如下:

其中L_xx(p,σ),L_xy(p,σ),L_yy(p,σ)分别是图像中p点与高斯二阶偏导数的卷积。Hessian矩阵的行列式为：

实际运算中由于高斯滤波器须离散化，故随着尺度σ的增大图像细节逐渐被过滤。采用Surf算法以方框滤波(box filter)近似代替高斯二阶导数，用积分图像加速卷积后Hessian矩阵的行列式的近似表达式为：

其中D_xx,D_yy,D_xy分别是图像中p点与方框滤波的卷积。

第2步、确定特征点主方向：以特征点为中心，计算半径为6σ(σ为特征点所在的尺度值)圆形邻域内的点在x、y方向的Harr小波响应，并给这些响应值按距离赋予不同高斯权重系数，对加权后的Harr小波响应用直方图进行统计；再将圆形邻域以每5°为间隔，划分为72组，分别将每组60°范围内的响应加起来形成一个新的矢量；遍历整个圆形邻域，一共生成72个矢量，选择其中最长的矢量的方向为特征点的主方向。

第3步、特征点描述：以特征点为中心，将坐标轴旋转到主方向，按主方向选取20σ×20σ的正方形窗口区域，将该正方形窗口区域划分为4×4个子区域，在每个子区域内计算Harr小波在y方向的响应d_x、d_y，每个子区域在x，y方向的响应分别求和并生成了一个∑d_x，∑|d_x|，∑d_y，∑|d_y|的四维向量，这样每个特征点就有64维的描述向量，再进行归一化，形成最终的特征点描述子。

第4步、特征点匹配：采用基于最小欧氏距离来度量特征点间的相似性为：

其中：A_ik表示待匹配的第一幅图像的第i个特征点描述向量的第k维的值，B_ik表示待匹配的第二幅图像的第i个特征点描述向量的第k维的值，n表示特征点描述子是一个n维的描述向量。假设T_U,T_V分别为待匹配两幅图像的特征点集合，对于T_U中的任意一个特征点T_Ui，若T_V中存在欧氏距离最小的两个特征点T_Vj、T′_Vj，且T_Vj≤T′_Vj(T_Vj与T′_Vj的比值的范围一般为0.5～0.7),则T_Vj认为是T_U的匹配对。根据上面所述选取匹配对的原理，最后采用穷举搜索算法找出所有的匹配对。

Surf特征点匹配具有匹配速度快、匹配精度高等优点，经过Surf特征点匹配后可获得校准图像。

S1.2对多帧连拍车牌图像进行累加。由于简单的叠加会导致图像产生过曝现象，因而本具体实施方式采用加权累积方式，使得每幅图像权重相等；

一幅有噪声的图像可认为是由原始车牌图像g(x,y,t)可认为是由原始车牌图像f(x,y,t)和噪声n(x,y,t)叠加而成，即；

g(x,y,t)＝f(x,y,t)+n(x,y,t)

多帧累加就是将不同时刻两帧图像或多帧图像对应像素点灰度值相加后求取它们的时间均值图像。

m帧图像进行累加，得到图像a(x,y,t)：

基于上述原理，求得帧累积车牌图像a(x,y,t)。

S2.基于盲反卷积算法的模糊图像处理；

本具体实施方式借助于超速车辆出现的图像模糊问题来验证改进的迭代盲反卷积算法的合理性。传统的去模糊方法是假定已知模糊参数，而实际的目标图像模糊参数是未知的。所以采用一种盲复原方法，首先估计出模糊点扩散函数PSF，然后进行模糊处理。一般情况下采用的各种盲反卷积去模糊算法通常不会对噪声因素进行特定处理，而是将不同环境背景下的图片进行统一的处理，而实际采集的车牌图像存在大量的噪声的污染，因此噪声会在不断的迭代过程中掺杂进实际解中，使求解沿着不可控的方向发展，求解出的解往往很大程度上偏离实际值，而且噪声随着迭代的进行也不断的被放大，致使恢复出的图像识别率低，使图像的恢复求解过程不收敛，得不到卷积的解。由此对噪声的处理对恢复效果至关重要。

通常来说，导致系统图像模糊的噪声基本上为高斯白噪声。模糊图像可以表示为模糊图像的点扩散函数与原图像卷积而成，如下列公式所示：

g(x,y)＝f(x,y)*h(x,y)+n(x,y)

其中，g(x,y)为模糊图像，f(x,y)为原图像，h(x,y)为点扩散函数，n(x,y)为噪声。

由上式可知去模糊过程即为解卷积过程。

S2.1点扩散函数估计

点扩散函数是评价光学系统成像质量的基本工具，点扩散函数即一点光源通过某介质后所成的像。图像的模糊程度可通过其点扩散函数两个参数判断，即模糊长度、模糊方向。将模糊图像矩阵转换到频域，然后进行radon变换，图像会交替出现黑白条纹，在主要的模糊方向上，radon变换的像素累积和最大，所以可以通过判断radon值来判断模糊角度。模糊的长度即为模糊角度上两个黑白条纹的最小距离。

点扩散函数估计过程为：首先利用计算得到模糊长度和角度得到点扩散函数，然后对模糊图像的点扩散函数进行估计。

对于要处理的模糊图像，首先对图像进行预处理处理。然后创建原始PSF(pointspread function)函数(模糊图像点扩散函数)，创建与原始图像同样大小的PSF掩膜。通过对超速车辆的模糊图像点扩散函数进行统计，设定模糊点扩散函数半径为15，即15×15大小的矩阵，矩阵像素值为全1。设目标图像大小为size_f。

设定一个size_f大小的全0矩阵，其中坐标(0,0)至(15,15)的正方形区域内像素为全1，作为PSF掩膜h_z。

S2.2计算图像支持域

支持域就是包括原始图像的非零像素值最小的矩形区域，在支持域内进行迭代恢复，能大大提高算法运行效率。

对于盲反卷积有一个解的模糊问题。如果所得(f(x,y),h(x,y))是盲反卷积问题的解，那么对于任意的非零常数η，也是盲反卷积问题的解。

同样位移(f(x+k₁,y+k₂),h(x+k₁,y+k₂))也是盲反卷积问题的解。位移模糊会影响迭代反卷积算法的收敛，由于盲反卷积问题的解可能收敛到位移相叠加的图像上，或处于若干相叠加的图像之间，使结果无法收敛。所以必须限制盲反卷积问题的解的支持域，将上文求解的支持域作为限制嵌入到迭代反卷积算法中，可以消除盲反卷积问题的解不收敛的问题。本具体方式中图像支持域利用动量矩和平均值算法进行计算。

对于动量矩，一阶动量矩A大小为像素点数和即A＝sum(His)，二阶动量矩B大小为所有像素值与相应点数的乘积的和B＝sum(M)，其中，His为像素点数，M为所有像素值与相应点数的乘积。

而平均值算法是根据像素平均值来推测图像范围的方法。假设图像平均值为t，令设t范围内的一阶动量矩为A1，二阶动量矩为B1。其中A1值为像素1到像素t范围内像素点数的和。即A1＝sum(His(1:t))。B1为像素1到像素t范围内像素与点数乘积的和即B1＝sum(M(1:t))。则由动量矩原理估计出的阈值为：

根据该阈值将图像进行二值化处理，从而得到有限支持域，该支持域的值设为k。在迭代过程中，将有限支持域与频域限制条件相结合。

设原图像矩阵为f，支持域内矩阵为则使用在迭代中恢复图像。

S2.3设定约束条件

本发明的约束条件采用能量约束，能量不变性条件主要是图像中的像素值不可以为负值以及点扩展函数具有恒定不变的能量，本具体实施方式引入能量约束用于加快算法收敛。

非负值的约束条件如以下公式所示：

其中，f(x,y)为图像的像素值，而为约束以后图像某点i的像素值。

能量不变则是根据图像中平均负值像素点来实现的，如下公式所示：

上式中的E表示的是图像中所有像素点负值的和，f_i(x,y)为图像某点i的像素值。

恢复时需要进行能量的重新组合，该重新组合如下公式所示：

上式中n是原始图像中像素点的总数。在迭代过程中只要仍然包含负值迭代就会不断的反复进行，直到迭代终止或者没有负值迭代就会停止。

S2.4噪声最小二乘估计

由于图像含有噪声，所以需要对最小化函数结合噪声均值和方差进行最小二乘化估计。传统图像增强算法不会对噪声做特殊处理，而实际的待处理的超速车辆图像包含各种噪声信息。噪声污染导致算法的求解过程变成病态的循环迭代过程，恢复出来的图像与原图像存在很大偏差，而且噪声被迭代算法不断放大，结果造成复原过程不收敛。因此，本发明具体实施方式提出的改进算法即加入了对噪声的最小二乘估计。

原盲反卷积的最小化模型为：

退化图像存在污染时噪声信号表示为：

n(x,y)＝g(x,y)-f(x,y)*h(x,y)

假设噪声均值为0则：

假设噪声均方差为δ²则：

分别对噪声方差和噪声均值做最小二乘估计，可得如下表达式：

综上，新的盲反卷积复原最小化模型为：

上式中g(x,y)为模糊图像，f(x,y)为原图像，h(x,y)为点扩散函数，n(x,y)为噪声。α为权重系数，α用于保证迭代恢复过程中噪声均值为0，通常取值为10^-4。

其中，两部分分别和α[∑_x∑_y[g(x,y)-f(x,y)*h(x,y)]]分别表示噪声均方差为δ以及均值为0。该新的盲反卷积复原最小化模型的解即为迭代恢复模型的近似解。

S2.5迭代恢复

经过上述迭代过程，得到图像矩阵恢复值，以及点扩散函数恢复值。不同迭代次数效果不同，本具体实施方式分别选取迭代次数为1、20、30、40的效果如图10所示。

利用传统算法进行去模糊处理同样是利用盲反卷积算法同时恢复图像和PSF的点扩散函数，但是并不加入抑制噪声信息的处理过程，所以各种噪声因子导致算法的求解过程变成病态的循环迭代过程，复原出来的图像与原图像存在很大偏差。图11为传统算法与本发明算法的恢复结果，由图11的结果可以明显看出改进算法识别的车牌图像中模糊因子大大降低，车牌号码、车标等关键信息很清晰，噪声信号被有效抑制；传统算法虽然也降低了模糊程度和抑制了噪声，但是效果还不是很明显，车牌号码部分仍存在明显的运动模糊痕迹，并且噪声的干扰导致恢复图像清晰度较原图像略有下降。

进行步骤S1-S2的图像预处理后，输出处理图像，进行车牌定位。

S3.车牌定位与倾斜估计；

S3.1训练车牌样本特征提取及特征组织；

S3.1.1手动抠取出任意正常国标车牌；

S3.1.2对抠取出的车牌图像进行积分通道特征提取；

积分通道特征由Dollár P等人在2009年提出，最早通常用于行人检测，是目前评估效果较好的检测算子。其基本思想是通过对输入图形进行各种线性和非线性的变换，图像的很多常用特征，例如局部求和、直方图、Haar以及它们的变种，可以借助积分图来快速、高效地计算。给定一个输入图像矩阵I，其对应的通道指的是原始输入图像的某种输出响应。对于灰度图，其对应的通道矩阵C＝I，即原图本身；

对于彩图，其每个颜色通道都对应一个通道。其他类似的通道可以通过各种线性和非线性的方法计算得到。令Ω代表图像的某种通道计算函数，则对应的通道C＝Ω(I)。

在计算中，不同的变换可以形成不同的通道类型，本发明具体实施方式中选取3种不同的通道作为积分通道特征，以保证其准确性。其中LUV颜色通道能够很好地描述车牌亮度及色度变化，梯度幅值通道很好地反映了车牌的轮廓，梯度直方图通道则从不同梯度方向上综合对车牌位置姿态变化进行描述。3种通道变换如图2所示。

S3.1.2.1LUV通道的建立

在图像处理中，LUV色彩空间(全称CIE1976(L*，U*，V*))优于RGB色彩空间。LUV色彩空间的目的是建立与人的视觉统一的色彩空间，具备一致性和均匀性且各色彩分量之间不相关。在LUV色彩空间中，L表示亮度，U、V表示色度。一般图像颜色都是RGB颜色空间的，通过下面的公式可以转换到LUV颜色空间中。

最后计算得到LUV色彩空间中的L、U、V通道。

S3.1.2.2梯度幅值通道

梯度幅值是一种用于图像边缘检测的描述方法。一幅图像中每个像素点具有八邻域以及四个边缘检测方向。为了能够在像素点X方向、Y方向、Z方向上检测边缘，本发明实施方式使用在窗口中分别计算X方向Y方向、Z方向的一阶偏导数有限差分均值来确定像素点的梯度幅值的方法。四个方向的梯度算子分别为图3所示。其中I[i,j]是坐标为3×3窗口中心像素点的灰度值，M[i,j]为中心像素点的梯度幅值，其计算公式如下所示，对应四个方向上的计算公式为：

由上述公式最后得到整幅图像的梯度幅值图。

S3.1.2.3梯度直方图通道

梯度直方图思想来源于梯度方向直方图(Histograms of OrientedGradients，HOG)是2005年Dalal等人将它用于行人识别而得名。HOG作为一种局部特征描述子，对方向、尺度、光照不敏感。后来Deniz等人将HOG成功应用于人脸识别，得到了比较好的效果。梯度直方图特征提取过程如下：

步骤1以图像I[i,j]为中心取3×3的像素邻域作为采样窗口。

步骤2计算该像素点[i,j]的梯度方向θ[i,j]和梯度幅值M[i,j]。

θ[i,j]＝arctan(I[i,j+1]-I[i,j-1])/I[i+1,j]-I[i-1,j]

如图4所示，箭头代表该像素点[i,j]的方向。

步骤3将梯度方向分为6个方向，即将180°平均分成6份，平均间隔30°。按照椭圆圈的高斯加权范围将该邻域上所有的梯度方向角度相同的像素点梯度幅值相加。

步骤4最后统计6个方向上的梯度幅值累加和，得到整幅图像6个方向上的梯度幅值图。

最后得到的包括LUV通道、梯度幅值通道、梯度直方图通道等10个通道的图像如图2所示。

S3.1.3基于Adaboost算法训练检测器

训练阶段，利用Adaboost对提取的积分通道特征训练出强分类器，在判别阶段，计算检测出定位车牌窗口的积分通道特征，运用强分类器进行打分(即是判别车牌位置的自信度)，最后存储一段视频中分数最高的那一帧或者几帧图像。

AdaBoost算法由Schapire、Freund等人于1996年提出,其实质是弱分类器的分类学习过程,是集成机器学习方法的一种,具有计算效率高、调节参数少、针对弱分类器的构造兼容性强、以及样本先验知识和数据格式要求低等优点，因此，得到广泛推广。AdaBoost算法中每个特征都对应一个弱分类器,但并不是每一个特征都能很好地描述前景目标的特点。如何从大量特征中挑选出最优特征并制作成弱分类器,再通过弱分类器集成,最终获得高精度的强分类器，是AdaBoost算法训练过程所要解决的关键问题。

弱分类器的定义为：

其中，f_j表示一个特征，p_j表示不等式方向，θ_j表示阈值。

具体训练算法如下所示：

(1)给定n个样本图像，x_i是输入样本图像，y_i是类别标志，其中y_i＝0表示为负样本，y_i＝1表示为正样本。

(2)初始化权重：

其中m和l分别为非正确车牌样本和正确车牌样本的数量，

n＝m+l。

(3)For t＝1,2,3,…,T

(3.1)归一化权重：其中ω_t为统计分布。

(3.2)随机选择积分通道特征j：

随机选择通道索引bin_k(k＝1,2,…,10)；

随机选择矩形区域Rect_j并计算像素值之和；

(3.3)对每个特征j，训练一个弱分类器h_j，计算相应的ω_t的错误率：ε_j＝∑_iω_i|h_j(x_i)-y_i|；

(3.4)选择最小错误率ε_t的弱分类器h_t。

(3.5)更新权重：其中，当x_i被正确分类时，e_i＝0，反之，e_i＝1；

(4)最终强分类器为h(x):

其中，

S3.2.车牌的检测定位；

S3.2.1用滑窗法对目标图像进行扫描，获取初定位车牌图像；

本发明实施方式根据国内车牌的固定比例，设定一个固定大小的滑窗，从获取视频图像顶端开始进行逐一扫描，为了提高扫描准确度，通常设置滑窗步长为4个像素，将每次扫描截取的图像进行积分通道特征计算，与AdaBoost算法训练出的强检测器进行比对，得到得分最高的(即相似度最高的)图像区域，即初步判定为车牌位置，截取该得分最高的图像区域为初定位图像并输出该强检测器。

S3.2.2将检测器输出的初定位图像进行非极大值抑制处理后的初定位结果进行基于霍夫变换的倾斜校正得到二次定位后的车牌图像；

非极大值抑制在物体检测中应用十分广泛，其主要目的是为了消除多余干扰因素，找到最佳的物体检测的位置。非极大值抑制是检测的后处理过程，是关键环节之一。

启发式窗口融合算法对非重合目标检测效果很好，但对于车辆车牌检测并不适合。启发式窗口融合算法，将初始检测窗口划分为若干个不重合的子集，然后计算每个子集的中心，最后每个子集只保留一个检测窗口，显然该启发式窗口融合算法容易造成大量漏检。

Dalal等提出了均值漂移非极大值抑制方法，该均值漂移非极大值抑制方法不仅计算复杂，需要将检测窗口在3维空间(横坐标，纵坐标，尺度)表示，检测分数转换，计算不确定性矩阵，迭代优化，而且还需要调整很多与检测器的步长等相关联的参数，因此，目前较少使用。

当前，大多数的目标检测普遍使用基于贪心策略的非极大值抑制算法，因为它简单高效，主要步骤如下：

(1)将初始检测窗口按照检测分数从高到低排序；

(2)将第1个初始检测窗口作为当前的抑制窗口；

(3)非极大值抑制。将所有检测分数比当前抑制窗口低的初始窗口作为被抑制窗口。计算当前抑制窗口与被抑制窗口的重合面积比率：面积的交集/面积的并集。剔除重合面积比率高于设定阈值的窗口；

(4)如果只剩最后一个初始检测窗口则结束，否则按照排好的顺序，取下一个未被抑制的窗口作为抑制窗口，转到步骤(3)。

本发明实施方式同样使用的是简单高效的基于贪心策略的非极大值抑制算法。经过非极大值抑制处理后的车牌图像再进行基于霍夫变换的倾斜校正。

霍夫变换是一种强有力的特征提取方法，它利用局部图像信息有效的积累所有可能的模型实例的依据，这使得它既能方便地从外部数据中获得额外的信息，又能敏锐地从只有一部分的实例中呈现出有效信息。霍夫变换普遍应用在计算机视觉中形状，位置，几何变换参数的判断中。自霍夫变换提出以来，其得到了广泛的应用。近些年，专家学者们对霍夫变换的理论性质与应用方法又进行了进一步的探讨。霍夫变换作为一种有效的识别直线的算法，具有良好的抗干扰性及鲁棒性。

霍夫变换方法包含一个从图像空间中的特征到参数空间中点的集合的映射。每一个参数空间中的点表征着图像空间中模型的一个实例，图像特征利用一个函数被映射到参数空间当中去，这个函数产生能够兼容观察到的图像特征与假设的模型的所有的参数组合。每一个图像特征将在多维的参数空间中产生一个不同的平面，但是由所有图像特征产生的属于同一个模型的实例的一切平面都会相交在描绘共同的实例的点。霍夫变换的根本是产生这些平面并且识别与之相交的参数点。

经过基于霍夫变换的倾斜校正后的车牌图像为系统二次定位后的图像。霍夫变换倾斜校正的车牌图像示例如图5所示。

S3.2.3将输出的二次定位后的车牌图像输入强检测器，得出最终定位车牌结果。

将经过非极大值抑制处理和基于霍夫变换的倾斜校正后的车牌图像后处理后的图像输出后再次进行积分通道特征提取后输入强检测器进行二次定位，包括：与AdaBoost算法训练出的强检测器进行比对，得到得分最高的(即相似度最高的)图像区域，即判定为车牌位置，截取该得分最高的图像区域为二次定位图像并输出检测器，得到最终的定位结果。

S4车牌字符分割；

S4.1.去除输入车牌区域图像的车牌边框；

对于车牌图像来说，在定位出来后的车牌图像有两种，一种是有边框的车牌，而另一种是没有边框的车牌。我们将车牌候选区域旋转至水平后就可以对车牌进行精确定位了，也就是对车牌边框的去除。对测试数据进行统计分析可以得出：经过定位旋转后的车牌候选区域边框有两种，一种是车牌本身的边框，而另一种是车牌周围的白色背景与车牌一起被当作候选车牌区域，此时该白色背景也可以被看作是车牌的边框。

车牌边框的处理分为车牌上下边框的处理和车牌左右边框的处理。车牌的上下边框的处理比较简单，车牌的上下边框分为两种：一种是车牌本身的白色边框，另一种是车牌上下位置的白色背景。而车牌的左右边界也可以归为这两类，不过由于图像本身的特征，一般来说车牌的上下边框要宽于左右边框，并且车牌左右边框要复杂一些。

对于车牌的上下边框的去除，本发明采取了下面步骤来处理：

S4.1.1上下边框的去除；

S4.1.1.1用OTSU(大津算法)方法获得车牌候选区域的二值化阈值，从而得到候选区域的二值图像，为了排除车牌倾斜角度的影响求取该二值图像中间部分的行和，然后将行和处理如下：

S4.1.1.2从中间向两端开始寻找rowsum的上下方向上有一段距离为零的边界，本发明算法中采用该距离为0.75×height，因为一般车牌的上下边框去除的比较准确，故我们采用图形高度来做参考距离。此时我们得到的边界就是最后所需要的车牌上下边界。

经过上面处理后，对于大多数图片我们就可以将其上下边框进行处理掉，然后我们就可以对该车牌区域进行去除左右边框了。

对于车牌的左右边框的去除，本发明采取了下面步骤来处理：

S4.1.2左右边框的去除；

S4.1.2.1用去除上下边框相同的方法来找到一个左右边框的边界：left1,right1。

S4.1.2.2重新构建一个二值图像再用和第一步相同的投影法来寻找边界left2,right2。此时构建的二值图像根据车牌区域HSI模型的h值来二值化图像。首先对车牌区域的中间区域来统计其h值的范围，然后根据该范围对全部车牌区域进行二值化，就得到了需要的二值化图像。

S4.1.2.3根据S4.1.2.1和S4.1.2.2得到的两个边界信息来确定最后的边界。最后确定的边界可以用下面式子表示：

left＝max(left1,left2)

right＝min(right1,right2)

按照上述S4.1.1和S4.1.2两个步骤的去边框处理后，得到的车牌区域比原来定位出来原始车牌区域精确了些，但是并不是绝对的精确，我们可以将其看作是边框去除过程中引入的误差。本发明具体实施方式采用的分割算法能够容忍在车牌边框去除时存在的少许误差。也就是说在去除车牌左右边框时，边框没有完全去除并不影响我们对字符的正确分割。

S4.2.车牌字符分割；

在进行分割字符前，必须要注意一个问题，那就是由于不同光照、和车牌脏旧等原因使得车牌的灰度图像中背景和字符对比度不强，这对于后一步用投影法来进行字符分割会带来一定的难度，故而在分割前需要先对车牌图像进行字符的对比度增强。

一个完整的车牌区域字符像素占整个车牌区域像素的20％，对于某些图片来说，虽然由于其他原因使得车牌中字符和背景的差异不是很大，但是总体上来说字符的像素值也比背景像素值高一些。故可以利用该特点来对车牌区域中前20％像素进行增强而对其他的像素进行抑制，从而到达增强目标字符抑制背景的目的。对此本发明采用车牌增强算法如下：

步骤1：统计整个车牌区域内像素点的最大像素值和最小像素值maxvalue,minvalue。

步骤2：设置需要增强的像素点数占全部像素点数的比例系数coef，比例系数范围在0-1之间，根据实际需要调整，通常原始车牌图像较清晰，比例系数就较小，原始车牌图像模糊，比例系数就大。

步骤3：统计0-255像素值上对应出现的像素点的个数，并存储在1×255的数组count(1,i)里面。

步骤4：从count(1,i)，i＝255开始往下统计像素点的个数，如果统计的像素点pixelnum<width*height*coef则将i-1继续统计，否则停止统计并记下当前的像素值index。

步骤5：车牌区域每一点按下面的方法进行增强：

经过上面的变换后，就可以将图像进行增强，如果原图已有很好的对比度，经过以上的变换也不会使图像的效果变差，其效果图如图3所示。

从图6的图像处理效果可以看出，前两幅由RGB直接转换为灰度图像的车牌区域其对比度不是很明显，经过增强后背景和字符的对比度明显好转，而原本对比度一般的车牌区域经过增强后其效果也变得更好了。这样的增强对下一步分割字符有利。因为本发明所采用的字符分割方法是基于灰度投影的算法，由于原本字符对比度不明显，其灰度投影图的波峰、波谷特征也不是很明显，但是经过图像增强后，其灰度投影图就能够很好的表现其波峰波谷特征，有利用对字符的精确分割。

本发明所用的灰度投影分割字符充分利用了车牌字符的特点，与一般的投影分割相比有很大的优越性。普通的投影分割就是利用灰度投影曲线的波谷点来对字符进行分割。本发明对这种普通的投影算法进行了改进大大提高了字符分割正确率。由车牌字符投影曲线可以看出，车牌圆点右边的五个字符中除了字符就是数字，当然还有少数车牌为汉字。对于字符和数字来说，其投影曲线不是双峰结构就是单峰结构。所以本发明在对字符进行分割充分利用该特征改进了投影分割算法。本发明字符分割算法流程图如图7所示。

进行字符分割前，对前面增强的车牌图像，按列累加图像的像素值，就可以得到车牌的投影曲线，但是得到的投影曲线有很多噪声使其并不平滑，这影响系对字符的分割，所以首先需要将投影曲线进行平滑，在本算法中采用高斯滤波来平滑投影曲线，用于滤波的核为[0.25,0.5,1,0.5,0.25]。图8为车牌投影曲线的滤波前后的效果图。从图8中可以很明显的看出经过滤波后的投影曲线比原曲线平滑了很多，且原曲线中的一些由噪声引起的峰值也在滤波后消失了，这样在检测波峰波谷时就不会检测出因噪声产生的波峰波谷点。

由滤波后的车牌灰度投影图，就可以根据该投影曲线来进行字符分割。本发明采用的是改进的投影法来进行字符分割。一般的投影法分割字符是直接利用波谷点来对字符进行分割，而本发明的投影法在分割字符时充分考虑了车牌字符的投影特征，具体步骤如下：

步骤1：根据车牌的灰度投影曲线图可得，车牌后面最多出现五个双峰结构，故搜索出前五个最大波谷点，然后判断这些点是否为双峰结构中的波谷点，如果是，则将该双峰结构的起止位置记下。

步骤2：确定车牌字符宽度characterwidth。如果步骤1检测到了双峰结构，则字符宽度就取为检测到的所有双峰结构的平均值，否则字符宽度就取前3个单峰宽度中的最大值。

步骤3：设置字符起始点为第二字符和第三字符的分割点，设置结束点为车牌最后一个波谷点。如果在步骤1中检测到了双峰结构则进行步骤4，否则进行步骤5。

步骤4：设置字符临时分割段起始点为字符起始点，字符临时分割段终点为一个双峰结构起始位置，然后在字符临时分割段里进行检测，如果该段里有一个峰结构，则该峰就单独为一个字符，如果该段里有两个峰结构，则先判断这两个峰是一个双峰字符还是两个单峰字符，具体判断规则就利用这两个峰的宽度，以及该宽度和字符宽度进行比较。如果这两个峰宽度之和小于字符宽度的1.2倍且这两个峰宽度相差很小。否则这两个峰结构就不是一个双峰字符的投影，且可以肯定前面一个峰结构就是一个字符，所以可以将其前面的一个峰结构分割出来然后更新字符临时分割段如下：将字符临时分割段的起点更新到被分割出来的峰后面，字符临时分割段终点不变，但是如果此时字符临时分割段的起点等于终点时则将其起点更新到先前的双峰结构的终止位置，并将临时分割段的终点更新到下一个双峰结构的起点，如果后面没有双峰结构了则将临时分割段的终点更新为字符结束点，然后重复步骤4直到分割到字符结束点为止。

步骤5：进行到步骤5说明在检测双峰结构时并未检测到，但是并不代表该车牌内不存在双峰结构的字符，并不能排除存在有双峰结构的字符。此时分割就直接从字符起始点开始分割直到分割出5个字符。在分割中需要检测的就是检测相邻的两个峰结构是不是一个字符的双峰曲线。检测所利用的方法和步骤4中相同，利用两个峰的宽度和该宽度与字符宽度之间的关系进行判断。

步骤6：根据分割出的后面五个字符来分割前面两个字符。首先将分割出来的后面五个字符中的最大宽度作为前面两个字符的宽度。前面两个字符为字母或者汉字，而字符也为双峰结构的，所以用后面五个字符中的最大宽度作为前面字符的宽度是合理的。分割前面两个字符的方法为：从第二字符和第三字符的分割点向前移动字符宽度个像素，然后将离该点的最近一个波谷值作为车牌第一字符和第二字符的分割点。利用同样方法也可以确定第一个字符的开始位置。

步骤7：对分割出来的字符序列进行检测，看该序列是否符合车牌字符序列的特征。该特征可以用下面表达式来表示，假设dis1为前面两个字符的宽度向量，dis2为后面五个字符看宽度向量，width为车牌宽度，height为车牌高度，则一个合理的车牌字符序列必须满足下面的表达式：

min(min(dis1),min(dis2))>width/10

max(dis2)>width/5

height/min(dis1)<3

这样就可以从车牌区域中分割出字符序列，从上面的算法步骤中可以看出，对于还有部分左右边框的车牌，本发明的分割算法对其有很高的鲁棒性。

S5采用基于联合HOG特征的车牌字符识别算法进行车牌分割字符识别；

对于已经分割好的车牌字符，需要进行识别才能输出，本发明提出了联合方向梯度直方图和核主成分分析法特征，它综合了二值图、灰度图、16值图的方向梯度直方图特征的优点，能够较好提取汉字结构特征。方向梯度直方图特征进行联合后，HOG特征维数增加，此时为了缩短特征提取时间，本系统用核主成分分析法方法进行降维。字符识别方法采用的是对小样本问题有较好分类效果的支持向量机。

常见车牌有7个字符，文中是将分割下来的7个字符进行识别。车牌字符由英文字母、汉字和数字组成，中文和英文数字的特点不一样：中文汉字笔画稠密、轮廓复杂；数字和英文则轮廓清晰，结构简单。因此文中对汉字和英文数字采用不同的分类器，对它们分别提取特征。本发明车牌识别过程是：首先确定字符的分类器。然后分别提取汉字、数字字母的灰度方向梯度直方图(HOG)特征、二值HOG特征、16值HOG特征，将它们组合成联合HOG特征，将得到的联合HOG特征用核主成分分析法进行降维。最后将汉字和数字字母的联合HOG特征送入支持向量机进行训练和预测，将汉字和数字字母的识别结果进行组合，得到最终的车牌字符识别结果。基于联合HOG的车牌识别流程如图9所示。

S5.1提取HOG(方向梯度直方图)特征

方向梯度直方图的核心思想是计算图像中被检测目标的局部梯度的统计信息。由于梯度是针对边缘轮廓，因此被检测目标的外形轮廓可以由梯度分布所描述。因此，HOG特征就是通过将分割下来的单个字符分割成小的连通区域，成为细胞单元，每个细胞单元中的每个像素生成一个梯度直方图，这些直方图的串联就可表示出所检测目标的特征。为了提高光照变化的适应性，将这些直方图在分割下来的单个字符中的一个较大区域内进行对比度归一化，具体来说就是计算每个局部直方图在块中的密度，根据密度来对这个块中的每个细胞单元进行归一化。经过归一化后，HOG特征对光照变化和阴影可以获得更好的适应能力。

HOG具体实现过程如下：

(1)计算图像梯度：先用模板[-1,0,1]对分割下来的单个字符做卷积运算，得到水平方向梯度分量G_h(x,y)，如式(1)所示；再用模板[-1,0,1]对分割下来的单个字符做卷积运算，得到竖值方向梯度分量G_v(x，y)，如式(2)所示；最后，计算该像素点的梯度幅值M(x,y)和θ(x,y)梯度方向，如式(3)、式(4)所示，f(x,y)表示该点的像素值，计算公式为：

G_h(x,y)＝f(x+1,y)－f(x-1,y) (1)

G_v(x,y)＝f(x,y+1)－f(x,y-1) (2)

M(x,y)≈|G_h(x,y)|+|G_v(x,y)| (3)

(2)构建梯度方向直方图：在细胞单元中的每个像素点都要为基于某个梯度方向的直方柱投票，梯度方向可取0～180°或者0～360°，在以往的实验证明0～180°效果较好。单个字符图像被分为若干个细胞单元，每个细胞单元包括8*8个像素，将梯度范围分为9个方向角度，因此利用9个方向角度对8*8个像素的梯度信息进行投票。特别指出，直方图投票采取加权投票，即每个像素的梯度幅值作为投票权重。

(3)将细胞单元组合成块：块的结构有两种：矩形块(R-HOG)和环形块(C-HOG)。本发明采用矩形块来进行目标检测，矩形块一般包含3个参数：每个块中细胞单元的数目，每个细胞单元中像素点的数目以及每个细胞单元的方向角数目。

(4)块内归一化计算公式如下所示:

L2_hys：先计算L2_norm，然后将v的最大值限定为0.2，再进行归一化。

其中，v表示包含给定块统计直方图信息的未归一化向量；δ是一个很小的常数，作用是为了避免分母为0；||v||_k是v的k阶范数。在Dalal的实验中发现L2_hys，L2_norm，L1_sqrt效果差不多，L1_norm字符识别效果要差一些，但这4个归一化方法在识别性能上对比未归一化都有明显提高。本发明中采用的是L2_norm进行归一化。

假设将车牌字符归一化到64*128，每8*8个像素组成一个细胞单元，每2*2个细胞单元组成一个块，当块的滑动步长为8时，扫描垂直方向可以滑动15次，水平方向可以滑动7次，因此可以得到36*7*15＝3780位的特征算子。单个车牌字符处理效果如图4所示，车牌字符灰度图的梯度幅值图和梯度角度图包含的细节信息多，但缺点在于角度图中的字符轮廓不明显，影响了车牌字符识别率。为了克服上述缺点，提出了联合HOG特征，将灰度图的HOG特征、二值图的HOG特征和16值图的HOG特征联合起来。

S5.2联合方向梯度直方图

联合HOG方法，即将灰度图和二值图分别计算HOG并组合成联合特征，如下所示：H代表是得到的联合特征，h _i表示灰度图和二值图的HOG特征，ω_i代表的是灰度图和二值图HOG的权重值，权重之和为1。权重分布的不同对后来的识别结果有很大影响。经实验证明，权重值都为0.5时，识别效果是最好的，并且对比单独的灰度图或二值图的识别效果好：

其中∑ω_i＝1

同时将16值图的HOG特征加入联合HOG特征，即分别进行车牌字符的灰度图、二值图和16值图的HOG计算，将结果以某种关系线性组合起来得到的联合HOG特征，组合如下式所示：

H＝ω_grayh_gray+ω₂h₂+ω₁₆h₁₆

H代表最终的联合HOG特征，h_gray，h₂，h₁₆分别代表车牌字符灰度图、二值图和16值图的HOG特征，ω_i代表权重。

联合HOG将灰度图、二值图和16值图的特点结合起来，能够一定程度的弥补单独进行灰度图或者二值图的HOG预案算造成的不足，对识别率有也有一定程度的提高。

S5.3车牌字符特征分类

车牌字符分类主要是指将待识别的字符特征与经过学习的训练字符特征通过某一算法进行对比来进行识别。常用的分类器主要包括最小距离分类器、k-最近邻分类器、贝叶斯分类器、决策树、Adaboost级联分类器、人工神经网络和支持向量机(SVM)。根据需要训练分类的车牌字符特性及不同分类器的特点，本发明主要采用支持向量机进行分类。支持向量机的核心思想在于利用一个分类超平面当作决策的曲面，来最大化正类和负类两者的边缘距离。考虑到本文中车牌字符识别中训练样本的数量有限，而且生成的HOG维数较多，因此本发明采用的对小样本问题有较好分类效果的支持向量机。针对多分类的问题，本文采用的“一对一”的方式进行划分。SVM在处理样本并进行训练预测识别的过程大致为以下几步：在车牌字符样本中选择训练样本集和测试样本集，分别对训练集和测试集进行预处理，并提取HOG等特征，然后利用交叉验证法选择最优参数c和g，最后利用最佳参数训练SVM，获得训练模型，利用训练模型对测试集进行预测，得到预测分类准确率。SVM中常用的核函数包括线性核函数，径向基核函数，多项式核函数，sigmoid核函数。对于不同的核函数测试集的分类准确率也会不同，车牌字符识别中采用径向基核函数的分类准确率最高。因此，本发明SVM的核函数采用的是RBF核函数。

综上所述，在提取特征以后，利用SVM进行训练分类。训练分类后，将分割好的字符输入训练器中，输出识别的车牌字符。

本发明中提出的方法实际上可嵌入FPGA实现，运用于具有实时输出图像功能的车牌识别功能的相机或摄像机监控系统中。

本领域技术人员将清楚本发明的范围不限制于以上讨论的示例，有可能对其进行若干改变和修改，而不脱离所附权利要求书限定的本发明的范围。尽管己经在附图和说明书中详细图示和描述了本发明，但这样的说明和描述仅是说明或示意性的，而非限制性的。本发明并不限于所公开的实施方式。

Claims

1.一种基于图像融合和盲反卷积的模糊车牌图像识别算法，其特征在于，包括以下步骤：

步骤(1)通过多帧图像融合增强低照度车牌图像的可辨识度；

步骤(2)采用基于盲反卷积算法处理模糊图像；

步骤(3)车牌定位与倾斜估计；

步骤(4)采用灰度投影法进行车牌字符分割；

2.根据权利要求1所述的一种基于图像融合和盲反卷积的模糊车牌图像识别算法，其特征在于，所述步骤(1)包括：

3.根据权利要求1所述的一种基于图像融合和盲反卷积的模糊车牌图像识别算法，其特征在于，所述步骤(2)为采用一种盲复原方法，首先估计出模糊点扩散函数PSF，然后进行模糊处理，具体包括：

(2.3)设定约束条件，采用能量约束以加快算法收敛，

<mfenced open = "" close = ""> <mtable> <mtr> <mtd> <mrow> <munder> <mi>min</mi> <mrow> <mi>f</mi> <mo>,</mo> <mi>h</mi> </mrow> </munder> <mi>J</mi> <mrow> <mo>(</mo> <mi>f</mi> <mo>,</mo> <mi>h</mi> <mo>)</mo> </mrow> <mo>=</mo> <munder> <mi>min</mi> <mrow> <mi>f</mi> <mo>,</mo> <mi>h</mi> </mrow> </munder> <mo>{</mo> <msup> <mrow> <mo>&lsqb;</mo> <msqrt> <mrow> <munder> <mi>&Sigma;</mi> <mi>x</mi> </munder> <munder> <mi>&Sigma;</mi> <mi>y</mi> </munder> <msup> <mrow> <mo>&lsqb;</mo> <mi>g</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>-</mo> <mi>f</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>*</mo> <mi>h</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>&rsqb;</mo> </mrow> <mn>2</mn> </msup> </mrow> </msqrt> <mo>-</mo> <mi>&delta;</mi> <mo>&rsqb;</mo> </mrow> <mn>2</mn> </msup> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mo>+</mo> <mi>&alpha;</mi> <mo>&lsqb;</mo> <munder> <mi>&Sigma;</mi> <mi>x</mi> </munder> <munder> <mi>&Sigma;</mi> <mi>y</mi> </munder> <mo>&lsqb;</mo> <mi>g</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>-</mo> <mi>f</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>*</mo> <mi>h</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>&rsqb;</mo> <mo>&rsqb;</mo> <mo>}</mo> </mrow> </mtd> </mtr> </mtable> </mfenced>

上式中g(x,y)为模糊图像，f(x,y)为原图像，h(x,y)为点扩散函数，n(x,y)为噪声，α为权重系数，α用于保证迭代恢复过程中噪声均值为0，通常取值为10^-4，其中两部分分别和α[∑_x∑_y[g(x,y)-f(x,y)*h(x,y)]]分别表示噪声均方差为δ以及均值为0；该盲反卷积复原最小化模型的解即为迭代恢复模型的近似解；

4.根据权利要求1所述的一种基于图像融合和盲反卷积的模糊车牌图像识别算法，其特征在于，所述步骤(3)包括：

(3.1)训练车牌样本特征提取及特征组织，其包括：

首先，手动抠取出任意正常国标车牌；

最后，采用基于Adaboost算法训练检测器；

(3.2)车牌的检测定位，其包括：

5.根据权利要求1所述的一种基于图像融合和盲反卷积的模糊车牌图像识别算法，其特征在于，所述步骤(4)包括：

(4.1)去除输入车牌区域图像的车牌边框；

(4.2)车牌字符分割，其包括：

首先，对去除车牌边框后的车牌区域图像进行图像增强，

6.根据权利要求5所述的一种基于图像融合和盲反卷积的模糊车牌图像识别算法，其特征在于，所述步骤(4)中所述图像增强的过程具体如下：

第2步：设置需要增强的像素点数占全部像素点数的比例系数coef；

第5步：车牌区域每一点按下面的方法进行增强：

经过上面的变换后，实现图像增强。

7.根据权利要求5所述的一种基于图像融合和盲反卷积的模糊车牌图像识别算法，其特征在于，所述步骤(4)中采用基于灰度投影的算法进行车牌字符分割具体步骤如下：

min(min(dis1),min(dis2))>width/10

max(dis2)>width/5

height/min(dis1)<3

根据上面表达式从车牌区域中分割出字符序列。

8.根据权利要求1所述的一种基于图像融合和盲反卷积的模糊车牌图像识别算法，其特征在于，所述步骤(5)包括：

(1)提取H0G(方向梯度直方图)特征；

H＝ω_gray h_gray+ω₂h₂+ω₁₆h₁₆