CN105139017B - 融合仿射不变角点特征及视觉颜色特征的车牌定位算法 - Google Patents

Abstract

本发明公开了一种融合仿射不变角点特征及视觉颜色特征的车牌定位算法，通过在高斯差尺度空间提取具有尺度和仿射不变特性的角点和颜色特征，并在多尺度角点特征及多特征融合中提出基于多尺度积的快速融合方法，最后通过车牌区域特征点之间的距离及密集关系实现车牌的准确定位。对大量实拍的复杂环境下的车辆图像进行测试表明，该算法对车牌定位具有快速、高效的定位效果，且在旋转变换、尺度变换和噪声等方面的鲁棒性表现较好。

Description

融合仿射不变角点特征及视觉颜色特征的车牌定位算法

技术领域

本发明涉及车牌定位领域，特别涉及一种融合仿射不变角点特征及视觉颜色特征的车牌定位算法。

背景技术

随着信息技术及数据通信技术的发展，智能交通已经成为未来交通系统的发展方向。车牌识别是智能交通的主要组成部分，并已广泛应用于公安系统执法、高速公路收费系统、监控系统和公路布控等诸多领域。车牌识别主要由图像采集、车牌定位、字符分割以及字符识别四部分构成。从图1中可以看出，车牌定位是车牌识别中最关键的步骤之一，它的好坏关系到整个车牌识别的成功与否。

车牌图像大多来自室外对行驶车辆的拍摄取样，受天气、光照、周围环境，拍摄距离等诸多因素的影响，能够准确、快速、对噪声及仿射变化鲁棒的定位是车牌定位算法研究的挑战。近年来已涌现出大量对车牌定位算法的研究工作，但目前国内尚没有一个完善通用的车牌定位系统。这些研究工作大致可分为：基于车牌图像自身特征的定位和基于机器学习的车牌定位算法。基于车牌图像自身特征的车牌定位算法主要有：基于边缘信息^[1-2]、基于车牌纹理特征^[3-5]、基于数学形态学^[6-7]、基于角点特征^[8]、基于水平或者垂直方向的投影^[9]、基于颜色特征^[10-11]的车牌定位算法。如文献[2]利用车牌区域周围的边缘和纹理信息确定车牌的位置。该方法可以应用于图像中车牌外边框模糊或有断裂的情况，实现简单且速度快，但对非车牌区的边缘信息较敏感。文献[4]提出利用纹理特征粗定位车牌区域，再通过改进的RGB颜色聚类算法实现车牌的精确定位。文献[5]通过改进Sobel算子提取图像不同方向的纹理特征确定候选区域，并采用两个模式滤波器除去非车牌区域的纹理特征实现车牌定位。文献[8]采用harris角点检测算法提取图像中的角点，对所有的角点进行AP聚类除去非车牌区域的角点来确定车牌位置。该方法对噪声图像具有一定鲁棒性，但对存在尺度及仿射变化的复杂环境的定位效果较差。文献[9]利用改进的Prewitt算子预处理车牌图像，通过水平或者垂直方向的投影特征确定车牌位置。以上基于纹理特征的车牌定位方法定位速度快，可以实现多车牌定位，但定位结果通常包含了一些车牌外的信息，且对于复杂背景的滤除能力较弱。文献[10]通过提取并分析车牌图像的颜色特征和黑白纹理特征，实现复杂环境下的车牌图像定位。文献[11]根据我国车牌颜色特征，融合车牌图像的颜色特征和边缘特征，采用车牌伴生与互补特性定位车牌位置。文献[12]通过最大类间方差法二值化车牌图像，采用改进的数学形态方法进行边缘检测，最后结合图像的颜色特征进行准确定位。这些基于颜色特征的定位方法适用于光照均匀、背景简单的状况，具有较大的针对性和局限性。

随着机器学习方法的发展和普及，近几年涌现出了大量的以机器学习理论为主导的车牌定位算法。文献[13]采用扫描行离差数据、有效谷峰点特征及先验知识确定大致位置，利用色彩分割技术及多级联合混合集成分类器实现车牌的准确定位。文献[14]根据神经网络和车牌图像的颜色特征和边缘特征，利用细胞神经网络模型训练出一种与车牌颜色特征相结合的车牌定位边缘检测算法。文献[15]采用支撑向量机的方法分析训练车牌的颜色特征和纹理特征，并结合CAMShift方法在视频流中准确定位车牌位置。文献[16]利用Adaboost算法剔除车牌图像中的背景区域，采用SUSAN角点检测方法搜索候选区域的车牌区域，实现车牌的有效定位。

上述基于机器学习的定位方法对车牌定位准确，对于复杂情况下的车牌图像有较好的识别率。但计算时间复杂度高对于复杂背景的实时场景定位效果有限。此外，这类方法需要大量的训练数据，定位结果也局限于训练数据的类别信息。因此，对于实时通用的车牌定位适用性较差。而基于车牌图像特征的定位算法实现简单、定位速度快，不需要大量的数据存储，对于车牌定位的普遍适用性较强。但这类方法缺乏对于复杂背景、光照变化及仿射变换的车牌图像的鲁棒性定位。

文献[1]：Tarabek P.A real-time license plate localization method basedon vertical edge analysis[C].Computer Science and Information Systems(FedCSIS),2012Federated Conference on.IEEE,2012:149-154。

文献[2]：Du Y,Shi W,Liu C.Research on an efficient method of licenseplate location[J].Physics Procedia,2012,24:1990-1995。

文献[3]：B.F Wu,S.P Lin,C.C Chiu.Extracting characters from realvehicle licence plates out-of-doors[J].Computer Vision,IET,2007,1(1):2-10。

文献[4]：万燕,徐勤燕,黄蒙蒙.复杂背景中基于纹理和颜色的车牌定位研究[J].计算机应用与软件,2013,30(10):259-262。

文献[5]：汪志兵,崔慧娟.一种基于纹理特征抽取的车牌定位预处理方法[J].计算机应用研究,2004,21(1):255-257。

文献[6]：Faradj F,Rezaie A H,Ziaratban M.A morphological-based licenseplate location[C]Image Processing,2007.ICIP 2007.IEEE InternationalConference on.IEEE,2007:57-60。

文献[7]：Mai V D,Miao D,Wang R,et al.An improved method forVietnamLicense Plate location.[C]Multimedia Technology(ICMT),2011International Conference on.IEEE,2011:2942-2946。

文献[8]：吴艳,陈忠进,乐志文.Harris角点检测与AP聚类结合的车牌定位方法[J].广西科技大学学报,2014,25(2):54-57。

文献[9]：Chen R,Luo Y.An improved license plate location method basedon edge detection[J].Physics Procedia,2012,24:1350-1356。

文献[10]：Li G,Liu C,He M Q,Huang X Y.A location method for vehiclelicense plate based on color image and black white texture[C].InternationalWorkshop and Conference on Photonics and Nanotechnology 2007.InternationalSociety for Optics and Photonics,2007:67944-67949。

文献[11]：王枚,苏光大,王国宏.复杂环境下的车牌定位及目标真实性验证算法[J].光学精密工程,2009,17(4):886-894。

文献[12]：廉宁,徐艳蕾.基于数学形态学和颜色特征的车牌定位方法[J].工程图学学报,2014,35(5):774-779。

文献[13]：金玲玲,廖芹,汪刘一.汽车牌照的提取方法[J].华南理工大学学报(自然科学版),2002,30(7):95-98。

文献[14]：刘万军,姜庆玲,张闯.基于CNN彩色图像边缘检测的车牌定位方法[J].自动化学报,2009,35(12):1503-1512。

文献[15]：Kim K I,Jung K,Kim J H.Color texture-based object detection:an application to license plate localization[J]Pattern Recognition withSupport Vector Machines.Springer Berlin Heidelberg,2002:293-309。

文献[16]：章品正,王健弘.一种应用机器学习的车牌定位方法[J].应用科学学报,2011,29(2):147-152。

发明内容

本发明的目的是提供一种融合仿射不变角点特征及视觉颜色特征的车牌定位算法，采用该算法可以大大减弱旋转变换、尺度变换和噪声带来的影响，算法可以达到快速、准确和鲁棒性强的定位效果。

车牌图像包含的尺度、仿射变化及其复杂的背景是影响车牌定位准确度的重要因素。本发明提出的车牌定位算法基于车牌图像特征，通过提取并融合多尺度角点特征和颜色特征进行定位。算法利用多尺度空间提取具有尺度不变和仿射不变的角点信息，确定车牌的候选位置；并进一步基于尺度空间提取多尺度车牌图像的颜色对特征；由于角点特征和颜色特征相辅相成，算法通过采用多尺度积技术对两种特征进行快速有效的融合；最后通过计算车牌区域特征点之间的距离及密集关系实现车牌的准确定位。实验数据表明，基于多尺度空间角点和颜色特征，并通过多尺度积特征融合的车牌定位新方法，可以大大减弱旋转变换、尺度变换和噪声带来的影响，算法可以达到快速、准确和鲁棒性强的定位效果。

具体的技术方案是：一种融合仿射不变角点特征及视觉颜色特征的车牌定位算法，有以下步骤：

1)对采集的车牌图像进行预处理:将采集的车牌图像进行灰度化处理，得到车牌图像IMG1；将采集的车牌图像进行颜色空间转换处理，得到已转化为HSV色彩空间的车牌图像IMG2；

2)车牌特征提取及特征融合:对车牌图像IMG1提取角点特征，得到角点特征图，根据车牌颜色分类，对车牌图像IMG2提取颜色对特征，得到各个类别的颜色对特征图，将角点特征图与颜色对特征图进行融合，得到车牌特征融合图；

3)车牌图像定位:对车牌特征融合图利用基于特征点密度的车牌精确定位算法确定车牌区域。

步骤2)中基于高斯差尺度空间提取具有尺度不变和仿射不变性的角点特征，得到高斯差尺度空间的角点特征图像。在基于高斯差尺度空间的方法提取角点特征后，再通过多尺度曲率积融合高斯差尺度空间的角点特征图像，增强角点特征曲率响应，求融合后角点特征点的极值点，形成最终的角点特征图。

基于高斯差尺度空间的角点特征检测步骤为：构建高斯尺度空间，将预处理后的车牌图像IMG1与高斯核卷积，得到不同尺度下的高斯图像；构建高斯差(DoG)尺度空间，在以上高斯空间中取不同尺度的特征图像相减，得到高斯差尺度空间的特征图像。

基于多尺度曲率积融合的角点检测的步骤为：通过多尺度曲率积融合高斯差尺度空间的特征图像，增强角点特征曲率响应；求融合后角点特征点的极值点，形成最终的角点特征图。

步骤2)中基于高斯差尺度空间提取多尺度车牌图像的颜色对特征。

基于高斯差尺度空间提取多尺度车牌图像的颜色对特征的步骤为：对已转化为HSV色彩空间的车牌图像IMG2分别提取蓝色、白色、黑色、黄色分量，按照我国车牌颜色特性，对包含四种颜色分量的图像配对，将配对颜色做差分得到各个颜色对差分图，再将各个颜色对差分图应用于高斯尺度空间，得到各个颜色对尺度通道，对各个颜色对尺度通道做高斯差，得到各颜色对通道的高斯差DoG图像，最后，对各颜色对通道的高斯差DoG图像，应用多尺度积融合高斯差DoG图像，得到4个颜色对特征图。

步骤2)中采用多尺度积技术将角点特征与颜色对特征进行融合。

采用多尺度积技术对角点特征与颜色对特征进行融合的步骤为:将步骤2)的角点特征图分别与四个颜色对特征图做乘积的运算，得到4幅颜色角点融合图，分别为蓝白颜色对角点融合图(Corner_BW)、黑白颜色对角点融合图(Corner_BLW)、黄黑颜色对角点融合图(Corner_YBL)和白黑颜色对角点融合图(Corner_WBL)，根据车牌颜色类型的分布，将4幅颜色角点融合图根据公式5做线性融合，得到车牌特征融合图Fin_img；公式5为：Fin_img＝a1*Corner_BW+a2*Corner_BLW+a3*Corner_YBL+a4*Corner_WBL，其中，a1、a2、a3、a4为融合权值，融合权值a1、a2、a3、a4加起来的和为1，融合权值a1、a2、a3、a4根据车牌颜色类型的分布设定。

步骤3)中车牌图像定位的步骤为:将车牌特征融合图转换为二值图，分别从横向和纵向扫描特征点，计算特征点的数目；将横向和纵向的特征点数分别与设定阈值比较，并初步确定车牌位置区域；对初定位后的车牌图像，自底向上扫描图像，计算每一特征点与同一行下个相邻特征点的距离；根据特征点间距离确定车牌区域起始点；确定起始点后，将起始点与此行中最远距离的特征点之间的距离作为矩形框的长，再以车牌的长宽比来确定矩形框大小；最后通过矩形框将此区域框出，从而定位车牌。

本发明的有益效果为：本发明提出了一种基于多尺度积融合多尺度差角点检测和视觉颜色特征的车牌定位算法。通过在高斯差尺度空间提取具有尺度和仿射不变特性的角点和颜色特征，并在多尺度角点特征及多特征融合中提出基于多尺度积的快速融合方法，最后通过车牌区域特征点之间的距离及密集关系实现车牌的准确定位。对大量实拍的复杂环境下的车辆图像进行测试表明，该算法对车牌定位具有快速、高效的定位效果，且在旋转变换、尺度变换和噪声等方面的鲁棒性表现较好。

附图说明

图1为车牌识别算法的流程图；

图2为本发明的车牌定位算法的流程图；

图3为基于高斯差尺度空间的角点特征图；

图4为基于多尺度曲率积融合的角点特征图；

图5为基于高斯差尺度空间的颜色对色差特征图：(a)图为蓝白高斯差图，(b)图为黄黑高斯差图，(c)图为黑白高斯差图，(d)为白黑高斯差图；

图6为车牌特征融合图；

图7为车牌精确定位算法流程图；

图8为基于多尺度积角点检测和视觉颜色特征的车牌定位效果图：(a)图为初定位效果图，(b)图为车牌定位效果图；

图9为在不同尺度和复杂环境下的鲁棒性：(a)和(b)图是不同尺度下的定位效果图，(c)和(d)图复杂环境下的定位效果图；

图10为对噪声的鲁棒性：(a)图为加入椒盐噪声后的车牌定位图，(b)图为加入斑点噪声后的车牌定位图，(c)图为加入高斯噪声后的车牌定位图。

具体实施方式

本发明的融合仿射不变角点特征及视觉颜色特征的车牌定位算法主要分为三部分：车牌图像预处理、车牌特征提取及特征融合、车牌图像定位。算法的具体流程如图2所示。

实际应用中采集的车牌图像多属于RGB彩色空间，但该色彩空间不能够很好的拟合人眼对颜色的感知。另一方面，在角点检测中若直接处理彩色图像会增大算法的计算复杂度。因此本发明对获取车牌图像做如下预处理：

⑴提取角点特征之前，将RGB彩色图像转化为灰度图像并作滤波处理去除噪声；得到灰度化处理后的车牌图像IMG1；

⑵提取颜色对特征之前，将RGB彩色图像从RGB色彩空间转化为HSV色彩空间，得到已转化为HSV色彩空间的车牌图像IMG2。

角点特征是指图像中具有代表性以及健壮性的点，是图像重要的局部特征，已被广泛应用于图像匹配、对象识别和跟踪等场景。目前的角点检测算法主要从图像的边缘信息和灰度信息两方面考虑。车牌定位算法要求能够准确地定位车牌，及对噪声、尺度及仿射变化具有鲁棒性。本发明采用高斯差尺度空间提取具有尺度不变和仿射不变性的角点特征，并进一步通过多尺度曲率积方法融合跨尺度角点特征，来获得具有对噪声、尺度及仿射变化鲁棒的车牌位置候选关键点。基于高斯差尺度空间多尺度曲率积融合的角点特征检测算法的具体步骤如下所示。

输入：灰度化处理后的车牌图像IMG1；

输出：车牌图像IMG1的角点特征图Corner_img；

步骤1构建高斯尺度空间，将预处理后的车牌图像IMG1与高斯核卷积，得到不同尺度下的高斯图像：

步骤2构建高斯差(DoG)尺度空间。在以上高斯空间中取适当尺度的特征图像相减，得到高斯差尺度空间的特征图像；

步骤3通过多尺度曲率积融合高斯差尺度空间的特征图像，增强角点特征曲率响应；

步骤4求融合后角点特征点的极值点，形成最终的角点特征图Corner_img。

灰度化处理后的车牌图像IMG与公式1在多个高斯尺度下进行卷积，构建车牌图像的多尺度高斯空间

公式1

其中，σ_s∈{0.3,0.4,0.6,0.7,0.8}。将尺度σ_i下的车牌模糊图像与尺度σ_j下的卷积图进行差分运算(如公式2所示)即得到不同尺度的高斯差分(Different ofGaussian，DoG)图像

公式2

其中σ_i∈{0.3、0.6、0.7},σ_j∈{0.4、0.7、0.8}，得到的高斯差尺度空间的特征图像的角点特征更明确，效果较优。

图3为应用以上多尺度差角点检测算法得到的车牌图像。不难发现，车牌部位的角点信息比其他部位丰富，因此，角点特征中包含了车牌的候选位置信息。此外，基于高斯差尺度空间的角点检测模拟了人眼视觉中的视觉感受野拮抗效应，对噪声、尺度及仿射变化具有一定的鲁棒性。

研究发现，对多尺度高斯差得到的不同尺度的角点曲率响应，应用多尺度积相乘的方式，可以明显增强角点曲率的幅度，同时可抑制非角点或噪声的曲率幅度，从而能够进一步得到鲁棒性更强的角点特征。因此，在基于高斯差尺度空间的方法提取角点特征后，本发明采用多尺度积跨尺度融合进一步增强真实角点的曲率响应和其对噪声、尺度及仿射变化的鲁棒性。

将上节得到的不同尺度下包含角点信息的高斯差DOG图像做乘积运算，以增强车牌周围角点处的曲率响应，同时降低噪声和非车牌区域弱角点的曲率响应。得到跨尺度融合后的角点特征图Corner_img¹。如公式3所示：

公式3

其中，σ_i,σ_m∈{0.3、0.6、0.7}，σ_j,σ_n∈{0.4、0.7、0.8}，最后，在Corner_img¹的每3×3的邻域取得角点响应的极值点，并得到车牌图像IMG的角点特征图Corner_img。

图4为应用多尺度曲率积融合得到的角点检测结果Corner_img。与图3相比，采用多尺度曲率积的跨尺度融合能够增强车牌周围角点处的曲率响应，同时去除一些噪声和非车牌区域弱角点信息。

以上实验结果可以看出，包含车牌位置的角点密集而丰富，利用上述角点检测算法可以得到抗噪声，且对尺度和放射变化鲁棒的车牌候选区域。但从图4中可以看出，非车牌区域也存在不少角点。而文献[8]中采用harris角点和近邻传播聚类算法确定车牌位置，其定位结果在复杂环境下的准确率不高。因此单纯基于角点特征不足以实现复杂环境的精确车牌定位。

另一方面，我国的车牌具有固定的颜色信息，颜色特征是定位车牌的另一有效特征。因此，本发明进一步考虑融合颜色特征对角点特征得到的车牌候选区域进一步筛选。

我国的车牌按照颜色主要分为蓝底白字，黄底黑字，黑底白字和白底黑字四种类型。为了在车牌图像中提取车牌位置，本发明根据视觉感受野的拮抗效应对车牌图像提取4种颜色特征对，构建了基于高斯差尺度空间的视觉颜色对抗色特征提取算法。

该算法对已转换为HSV色彩空间的车牌图像，分别提取蓝色、白色、黑色、黄色分量。按照我国车牌颜色特性，对包含四种颜色分量的图像配对，即蓝白颜色对、黄黑颜色对、黑白颜色对、白黑颜色对。将配对颜色做差分得到4幅颜色对差分图。再将差分应用于高斯尺度空间，形成4个颜色对尺度通道。在各个颜色对尺度通道做高斯差，即得到4个高斯差尺度空间的颜色对抗色特征图，分别为蓝白对DoG图、黄黑对DoG图、黑白对DoG图、白黑对DoG图。最后，在高斯空间的跨尺度融合中仍然采用基于多尺度积的高斯差尺度空间融合各个通道颜色对图，参见公式3，得到4个颜色对抗色特征图。如图5所示。

高斯差尺度空间及多尺度积融合的视觉颜色对抗色特征提取算法的具体步骤如下：

输入：已转化为HSV色彩空间的车牌图像IMG2；

输出：车牌图像IMG2的视觉颜色对抗色特征图BW_img，YB_img，BW_img，WB_img；

步骤1对IMG2提取包含蓝、白、黑和黄四种颜色分量的子图像，按照蓝与白、黄与黑、黑与白、白与黑的次序做差分，得到蓝白、黄黑、黑白和白黑4幅颜色对差分图；

步骤2将4个颜色对差分图应用于高斯尺度空间(公式1)，得到各个视觉颜色对多尺度通道；

步骤3在视觉颜色对多尺度空间，应用公式2进一步得到各颜色对通道的高斯差DoG图像，即：蓝白对DoG图、黄黑对DoG图、黑白对DoG图、白黑对DoG图；

步骤4对上步得到的4个颜色对DoG图像，同样应用上述所述的多尺度积融合高斯差DoG图像，参见公式3，得到视觉颜色对抗色特征图BW_img,YBL_img,BLW_img,WBL_img。多尺度积也称多尺度曲率积。

在以上多尺度角点特征融合中，基于多尺度积的特征融合方法既可以明显地增强角点的曲率幅度，也可抑制非角点或噪声的曲率幅度。因此，基于多尺度积的特征融合方法的快速、高效性特点，本发明将多尺度积特征融合应用于角点特征与颜色对特征的多特征融合中，以实现两种特征相辅相成的融合效果。

对提取的车牌图像IMG的角点特征图Corner_img分别和提取的四种颜色对特征图做乘积的运算，如公式4(以蓝白色为例)：公式4。

由此可以得到蓝白颜色对角点融合图(Corner_BW)、黑白颜色对角点融合图(Corner_BLW)、黄黑颜色对角点融合图(Corner_YBL)和白黑颜色对角点融合图(Corner_WBL)。

最终的车牌特征将4幅颜色角点融合图进一步做线性融合。公式5为：Fin_img＝a1*Corner_BW+a2*Corner_BLW+a3*Corner_YBL+a4*Corner_WBL，其中，a1、a2、a3、a4为融合权值，融合权值a1、a2、a3、a4加起来的和为1，融合权值a1、a2、a3、a4根据车牌颜色类型的分布设定。根据车牌颜色类型的分布：蓝牌占70％左右、黑牌占10％左右、黄牌占10％左右、白牌占10％左右，本发明实验中将蓝白颜色对、黑白颜色对、黄黑颜色对、白黑颜色对的对应融合权值依次设置为{0.7,0.1,0.1,0.1}。代入公式5为：

Fin_img＝0.7×Corner_BW+0.1×Corner_BLW+0.1×Corner_YBL+0.1×Corner_WBL，

得到最终的车牌特征融合图Fin_img，如图6所示。

基于以上车牌特征，本发明进一步设计基于特征点密度的车牌精确定位算法。具体流程如图7所示。

算法将定位过程进一步分为粗定位和细定位两个过程。因在特征融合图像中，车牌区域的特征点相对密集，且密集区域具有车牌的长宽比特征，因此，在粗定位过程中先将特征融合图像中具有一定密集程度的区域初步划分出来。将特征融合后的图像Fin_img转换为二值图，分别从横向和纵向扫描特征点，计算特征点的数目。将横向和纵向的特征点数分别与设定阈值比较，并初步确定车牌位置区域(如图8a所示)。

粗定位实现

输入：角点和颜色特征融合图像

输出：粗定位图像(区域划分的二值图像)

算法步骤：

⑴图像二值化，将角点和颜色对特征融合后的图像转换为二值图像。

⑵从横向和纵向扫描二值化后图像中的每个点(point)(从二值化图像的点(1,1)开始扫描)，分别计算点(point)在横向和纵向非零点值(由于已将特征融合图像转化为二值图像，因此可以将非零点作为特征点来统计)的数目，比较横向、纵向的特征点数与给定阈值(人为设定)的大小，将超过阈值的点(point)值设为1；若点(point)在横向、纵向上的任何一个方向的非零点数目小于给定的阈值，则把点(point)的值设为0。继而进行下一点扫描到最后一点结束。

因大于给定区域距离阈值的点(point)的值为1，小于给定阈值的点(point)的值为0。此过程实现对二值化图像的区域划分，达到对车牌的粗定位。

在粗定位之后，部分区域本属于车牌区域，但被划分为间隔距离较近的小区域。因此，这里从下往上扫描存在非零点的行，判断相邻非零点之间的距离，只有存在有大于预设阈值的行，才是车牌区域所在的行。由此，再进一步判断此行中非零点所在区域横向或纵向上非零点的数目进行车牌的细定位。

细定位实现

细定位是在粗定位确定车牌候选区域的基础上，进一步根据候选区域的相邻间隔距离确定车牌的起始点并定位车牌区域。

输入：粗定位车牌位置图像

输出：精确定位车牌位置图像

算法步骤：

⑴在粗定位图像的基础之上，自下而上的扫描(车牌一般在车的下部)粗定位的车牌图像。

⑵扫描粗定位图像，当横向上某行出现有值的点(point1)时(粗定位图像为分割区域的二值图像)，计算此行中所有相邻非零点之间的距离，若给定的阈值大于所有相邻非零点之间的距离，则进行下一行的扫描；若此行中有部分相邻非零点之间的距离出现大于给定阈值的情况，则进行(3)-(4)的操作。

⑶若有一个距离大于给定阈值：在纵向和横向上扫描点(point1)所在区域中非零点值的数目，若点(point1)所在区域中非零点值的数目大于给定的阈值，则点(point1)为车牌区域的起始点；将点(point1)与此行中最远距离的非零点(因其他非零点之间距离的阈值都小于距离阈值，因此将这些区域都考虑为车牌区域)之间的距离作为矩形框的长，以车牌的长宽比来确定矩形框大小(车牌的宽由长计算得到：宽＝0.3*长(现实情况中的车牌长宽比得到))，通过矩形框将此区域框出，从而定位车牌(如图8b所示)；若点(point1)所在区域的非零点值的数目小于给定的阈值，则点(point1)不是车牌位置起始点，跨过此区域继续扫描同行中的下一个非零点。

⑷若有多个距离大于给定阈值：在粗定位中的特征融合图像的二值化图像(fimg_bw)中，从纵向和横向上扫描点(point1)所在区域中非零点值的数目，若非零点值的数目大于给定的阈值，则点(point1)为车牌区域的起始点，点(point1)与此行中最远距离的非零点之间的距离作为矩形框的长(车牌的宽由长计算得到：宽＝0.3*长(有现实情况中的车牌长宽比得到))，以车牌的长宽比来确定矩形框大小，然后通过矩形框将此区域框出，从而定位车牌；若点(point1)非零点值的数目小于给定的阈值，则点(point1)不是车牌位置起始点，考虑与点(point1)之间距离大于给定阈值的下一个点(point2)为起点(只有与点Point1的距离大于阈值的非零点point(2)才有可能是车牌的起始点，若距离太近则不是车牌的起始点)。再次在图像fimg_bw中，从纵向和横向上扫描点(point2)所在区域中非零点值的数目，若点(point2)所在区域中非零点值的数目大于给定的阈值，则此点(point2)为车牌区域的起始点。此点(point2)与此行中最远距离的非零点之间的距离作为矩形框的长(车牌的宽由长计算得到：宽＝0.3*长(有现实情况中的车牌长宽比得到))，以车牌的长宽比来确定矩形框大小，然后通过矩形框将此区域框出，从而定位车牌(如图8b所示)，若点(point2)所在区域非零点值的数目小于给定的阈值，则进行同一行中，下一个与点(point1)距离大于给定阈值的点所在区域的扫描，直到找到车牌的起始位置或没有距离大于给定阈值位置(跨过此区域再次进行扫描)。本节采用的阈值根据大量图片实验设置。

本发明的实验结果及分析

本发明的实验的主机是一台主频为3GHz、内存为4G的微机，系统为64位的windows7系统。实验的车牌图像包含对实际道路采集的车辆图片集，及部分特殊环境下的车辆图像资料(车辆图片图像库)，共106幅真实车辆图像作为实验数据。在测试图像中，正常情况下的车牌图像有37幅，包含旋转变换和尺度变换的车牌图像各17幅和13幅，包含复杂背景的车牌图像39幅，通过对106幅车辆图像进行测试，本发明算法对车牌定位的有效定位率达到96.2％。在对旋转、尺度变换及噪声鲁棒性方面本发明进一步与文献[8]基于harris角点检测的车牌定位算法分别在只包含尺度变换(13幅图像)、旋转变换(17幅图像)及噪声和复杂背景图像(39幅图像)进行了比较，如表1所示。可以看出，基于harris角点检测的车牌定位算法对于尺度变化、噪声和防射变化的鲁棒性较差，但本发明采用多尺度空间提取角点和颜色对特征，避免了尺度和防射变化的影响，利用多尺度积技术快速有效地融合角点和颜色特征，增强了算法的抗噪性和鲁棒性。本发明提出的车牌定位算法是一种高效快速的车牌定位方法，为了验证本发明算法的高效性，本发明与文献[12]和文献[16]中的算法进行比较，如表2所示。从表中实验的数据可知，本发明提出的基于多尺度积角点检测和视觉颜色特征的车牌定位算法平均定位耗时在1.5s以内，具有快速定位的特点，具有较强的实用价值。

表1 本发明算法与基于harris角点检测的车牌定位算法的比较

*表中数据为照片数

表2 本发明算法与文献[12]和文献[16]算法的高效性比较

此外，通过与文献[5]、[12]具体比较发现，文献[12]的车牌定位算法，在尺度变化和旋转较小的非复杂背景下的车辆图像取得较好的定位效果，但应对尺度和光照发生变化及复杂环境较差；而文献[5]对非遮挡、车牌边缘连续等非复杂背景下的图像定位效果较好，但对复杂环境下的车牌图像定位效果较差。表3为本发明提出的车牌定位算法与上述两种车牌定位算法准确率的比较结果，从表中可以看出本发明提出的车牌定位算法较其他两种算法，在定位准确率上有一定的提高。本发明的车牌定位方法能够克服尺度和旋转变化对车牌定位的影响，对噪声的鲁棒性较好，应用到复杂背景下的车牌图像也能取得较好的定位效果。

表3 几种算法比较表

*表中数据为照片数

图9展示了本发明算法对车辆图像的不同尺度变换和复杂背景下的检测结果。图10展示了在加入椒盐噪声、斑点噪声和高斯噪声之后，采用本发明提出的车牌定位算法的定位效果。文中椒盐噪声、斑点噪声和高斯噪声设置的噪声密度均为0.02。实验结果充分验证了本发明算法对噪声、尺度、及仿射变化的较好鲁棒性。

本发明提出基于多尺度积角点检测和视觉颜色特征的车牌定位算法，充分考虑尺度及仿射变换、噪声等复杂环境对车牌定位的影响。通过在高斯差尺度空间提取车牌图像的多尺度角点特征和颜色对特征，应用多尺度积融合跨尺度的角点与颜色对特征，并构建角点与颜色的多特征融合图最后，通过采用融合图像中特征点之间的距离及密集关系，从粗定位和细定位两层粒度确定车牌的准确位置。实验结果表明，本发明的车牌定位方法能够克服尺度和旋转变化对车牌定位的影响，对噪声的鲁棒性较好，对复杂背景下的车牌图像能取得快速、高效的定位效果。

Claims (8)

1.一种融合仿射不变角点特征及视觉颜色特征的车牌定位方法，其特征在于，有以下步骤：

1)对采集的车牌图像进行预处理:将采集的车牌图像进行灰度化处理，得到车牌图像IMG1；将采集的车牌图像进行颜色空间转换处理，得到已转化为HSV色彩空间的车牌图像IMG2；

2)车牌特征提取及特征融合:对车牌图像IMG1采用基于高斯差尺度空间提取角点特征，得到角点特征图；根据车牌颜色分类，对车牌图像IMG2采用基于高斯差尺度空间提取颜色对特征，得到各个类别的颜色对特征图，将角点特征图分别与各个类别的颜色对特征图做乘积的运算，得到各个类别的颜色角点融合图，根据车牌颜色类型的分布，将各个类别的颜色角点融合图做加权线性融合，得到车牌特征融合图；

3)车牌图像定位:对车牌特征融合图，采用基于特征点密度的车牌精确定位算法通过车牌区域特征点之间的距离及密集关系实现车牌的准确定位。

2.根据权利要求1所述的定位方法，其特征在于：基于高斯差尺度空间提取角点特征的步骤包括：

步骤1：构建高斯尺度空间，将预处理后的车牌图像IMG1与高斯核卷积，得到不同尺度下的高斯图像：

步骤2：构建高斯差(DoG)尺度空间，在以上高斯空间中取适当尺度的特征图像相减，得到高斯差尺度空间的特征图像；

步骤3：通过多尺度曲率积融合高斯差尺度空间的特征图像，增强角点特征曲率响应；

步骤4：求融合后角点特征点的极值点，形成最终的角点特征图Corner_img。

3.根据权利要求2所述的定位方法，其特征在于：基于高斯差尺度空间提取角点特征的详细步骤：将灰度化处理后的车牌图像IMG1与公式1在多个高斯尺度下进行卷积，构建车牌图像的多尺度高斯空间公式1为：其中，σ_s∈{0.3,0.4,0.6,0.7,0.8}；将尺度σ_i下的车牌模糊图像与尺度σ_j下的卷积图根据公式2进行差分运算，即得到不同尺度的高斯差分(Different of Gaussian，DoG)图像公式2为：其中σ_i∈{0.3、0.6、0.7},σ_j∈{0.4、0.7、0.8}；采用公式3将得到的不同尺度下包含角点信息的高斯差DOG图像做乘积运算，以增强车牌周围角点处的曲率响应，同时降低噪声和非车牌区域弱角点的曲率响应，得到跨尺度融合后的角点特征图Corner_img¹；公式3为：其中，σ_i,σ_m∈{0.3、0.6、0.7}，σ_j,σ_n∈{0.4、0.7、0.8}，最后，在Corner_img¹的每3×3的邻域取得角点响应的极值点，并得到车牌图像IMG的角点特征图Corner_img。

4.根据权利要求1所述的定位方法，其特征在于，基于高斯差尺度空间提取多尺度车牌图像的颜色对特征的步骤为：对已转化为HSV色彩空间的车牌图像IMG2分别提取蓝色、白色、黑色、黄色分量；按照车牌颜色特性，对包含四种颜色分量的图像配对；将配对颜色做差分得到各个颜色对差分图；再将各个颜色对差分图应用于高斯尺度空间，得到各个颜色对尺度通道；对各个颜色对尺度通道做高斯差，得到各颜色对通道的高斯差DoG图像；最后，对各颜色对通道的高斯差DoG图像，应用多尺度积融合高斯差DoG图像，得到4个颜色对特征图。

5.根据权利要求1或4所述的定位方法，其特征在于，基于高斯差尺度空间提取颜色对特征的步骤包括：

步骤1：对IMG2提取包含蓝、白、黑和黄四种颜色分量的子图像，按照蓝与白、黄与黑、黑与白、白与黑的次序做差分，得到蓝白、黄黑、黑白和白黑4幅颜色对差分图；

步骤2：将4个颜色对差分图应用于高斯尺度空间，得到各个视觉颜色对多尺度通道；公式1为：其中，σ_s∈{0.3,0.4,0.6,0.7,0.8}；

步骤3：在视觉颜色对多尺度空间，应用公式2进一步得到各颜色对通道的高斯差DoG图像，即：蓝白对DoG图、黄黑对DoG图、黑白对DoG图、白黑对DoG图；公式2为：其中σ_i∈{0.3、0.6、0.7},σ_j∈{0.4、0.7、0.8}；

步骤4：对上步得到的4个颜色对DoG图像，应用多尺度积融合高斯差DoG图像，得到视觉颜色对抗色特征图BW_img,YBL_img,BLW_img,WBL_img。

6.根据权利要求1所述的定位方法，其特征在于：对提取的车牌图像IMG的角点特征图Corner_img分别和提取的四种颜色对特征图做乘积的运算，得到蓝白颜色对角点融合图(Corner_BW)、黑白颜色对角点融合图(Corner_BLW)、黄黑颜色对角点融合图(Corner_YBL)和白黑颜色对角点融合图(Corner_WBL)；最终的车牌特征将4幅颜色角点融合图根据公式5进一步做线性融合，得到最终的车牌特征融合图Fin_img，公式5为：Fin_img＝a1*Corner_BW+a2*Corner_BLW+a3*Corner_YBL+a4*Corner_WBL，其中，a1、a2、a3、a4为融合权值，融合权值a1、a2、a3、a4加起来的和为1，融合权值a1、a2、a3、a4根据车牌颜色类型的分布设定。

7.根据权利要求1所述的定位方法，其特征在于，步骤3)中车牌图像定位的步骤为:将车牌特征融合图转换为二值图，分别从横向和纵向扫描特征点，计算特征点的数目，将横向和纵向的特征点数分别与设定阈值比较，并初步确定车牌位置区域；对初定位后的车牌图像，自底向上扫描图像，计算每一特征点与同一行下个相邻特征点的距离，根据特征点间距离确定车牌区域起始点；确定起始点后，将起始点与此行中最远距离的特征点之间的距离作为矩形框的长，再以车牌的长宽比来确定矩形框大小；最后通过矩形框将此区域框出，从而定位车牌。

8.根据权利要求1所述的定位方法，其特征在于：基于特征点密度的车牌精确定位算法的步骤包括：

⑴图像二值化，将角点和颜色对特征融合后的图像转换为二值图像；

⑵从横向和纵向扫描二值化后图像中的每个点(point)，分别计算点(point)在横向和纵向非零点值的数目，比较横向、纵向的特征点数与给定阈值的大小，将超过阈值的点(point)值设为1；若点(point)在横向、纵向上的任何一个方向的非零点数目小于给定的阈值，则把点(point)的值设为0，继而进行下一点扫描到最后一点结束；因大于给定区域距离阈值的点(point)的值为1，小于给定阈值的点(point)的值为0；此过程实现对二值化图像的区域划分，达到对车牌的粗定位；

细定位是在粗定位确定车牌候选区域的基础上，进一步根据候选区域的相邻间隔距离确定车牌的起始点并定位车牌区域：步骤为：

⑴在粗定位图像的基础之上，自下而上的扫描粗定位的车牌图像；

⑵扫描粗定位图像，当横向上某行出现有值的点(point1)时，计算此行中所有相邻非零点之间的距离，若给定的阈值大于所有相邻非零点之间的距离，则进行下一行的扫描；若此行中有部分相邻非零点之间的距离出现大于给定阈值的情况，则进行(3)-(4)的操作；

⑶若有一个距离大于给定阈值：在纵向和横向上扫描点(point1)所在区域中非零点值的数目，若点(point1)所在区域中非零点值的数目大于给定的阈值，则点(point1)为车牌区域的起始点；将点(point1)与此行中最远距离的非零点之间的距离作为矩形框的长，以车牌的长宽比来确定矩形框大小，通过矩形框将此区域框出，从而定位车牌；若点(point1)所在区域的非零点值的数目小于给定的阈值，则点(point1)不是车牌位置起始点，跨过此区域继续扫描同行中的下一个非零点；

⑷若有多个距离大于给定阈值：在粗定位中的特征融合图像的二值化图像(fimg_bw)中，从纵向和横向上扫描点(point1)所在区域中非零点值的数目，若非零点值的数目大于给定的阈值，则点(point1)为车牌区域的起始点，点(point1)与此行中最远距离的非零点之间的距离作为矩形框的长，以车牌的长宽比来确定矩形框大小，然后通过矩形框将此区域框出，从而定位车牌；若点(point1)非零点值的数目小于给定的阈值，则点(point1)不是车牌位置起始点，考虑与点(point1)之间距离大于给定阈值的下一个点(point2)为起点；再次在图像fimg_bw中，从纵向和横向上扫描点(point2)所在区域中非零点值的数目，若点(point2)所在区域中非零点值的数目大于给定的阈值，则此点(point2)为车牌区域的起始点；此点(point2)与此行中最远距离的非零点之间的距离作为矩形框的长，以车牌的长宽比来确定矩形框大小，然后通过矩形框将此区域框出，从而定位车牌，若点(point2)所在区域非零点值的数目小于给定的阈值，则进行同一行中，下一个与点(point1)距离大于给定阈值的点所在区域的扫描，直到找到车牌的起始位置或没有距离大于给定阈值位置。