CN107832762A - 一种基于多特征融合的车牌定位与识别方法 - Google Patents

一种基于多特征融合的车牌定位与识别方法 Download PDF

Info

Publication number
CN107832762A
CN107832762A CN201711077344.2A CN201711077344A CN107832762A CN 107832762 A CN107832762 A CN 107832762A CN 201711077344 A CN201711077344 A CN 201711077344A CN 107832762 A CN107832762 A CN 107832762A
Authority
CN
China
Prior art keywords
license plate
image
car
aberration
plate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711077344.2A
Other languages
English (en)
Inventor
王智文
蒋联源
张灿龙
欧阳浩
黄镇谨
唐博文
胡振寰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangxi University of Science and Technology
Original Assignee
Guangxi University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangxi University of Science and Technology filed Critical Guangxi University of Science and Technology
Priority to CN201711077344.2A priority Critical patent/CN107832762A/zh
Publication of CN107832762A publication Critical patent/CN107832762A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/24—Character recognition characterised by the processing or recognition method
    • G06V30/248—Character recognition characterised by the processing or recognition method involving plural approaches, e.g. verification by template match; Resolving confusion among similar patterns, e.g. "O" versus "Q"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于多特征融合的车牌定位与识别方法，提取车牌图像的色差特征、边缘特征以及车牌字符的纹理投影特征；融合车牌图像的边缘特征与车牌字符的纹理投投影特征，进行数学形态学运算，对车牌进行粗定位；利用车牌粗定位图像，融合车牌图像的色差特征，进行车牌的精细定位，确定完整的车牌区域；对车牌区域内的车牌字符进行归一化处理；训练样本，得到训练好的网络，分别使用汉字、字母、字母数字、数字四个样本对四个子网络进行训练，得到相应的节点数和权值，逐个提取已经定位好的车牌图像特征，读取相应的节点数和权值，把归一化处理后的车牌字符分别送入相应的网络进行识别，输出识别结果。本发明可以提高车牌识别的准确率。

Description

一种基于多特征融合的车牌定位与识别方法
技术领域
本发明涉及一种车牌识别领域,特别是一种基于多特征融合的车牌定位与识别方法。
背景技术
随着人类社会的快速发展，世界各国汽车拥有量不断攀升，大中城市交通状况日益严峻，交通拥堵、事故多发、管理效率低等问题受到人们的重视。有效的交通管理成为各国政府及相关部门关注的焦点。为解决这些问题，智能交通系统 (IntelligentTransportation System，ITS)应运而生。它可以加强道路、车辆、驾驶员和管理人员之间的联系，实现道路交通管理自动化和车辆行驶的智能化，增强交通安全，减少交通堵塞，提高运输效率，减少环境污染，节约能源，提高经济活力。作为ITS的关键技术之一的汽车牌照自动识别(License Plate Automatic Recognition，LPAR)的准确性和速度将直接影响ITS的整体性能。目前，国内外车牌定位与识别方法使用单一特征主要包括：纹理特征[1]、边缘特征[2-5]、形态学特征[6]、颜色特征[7-9]及灰度投影特征[10]。纹理特征、边缘特征和灰度投影特征易受噪声影响，而颜色特征易受到光照及环境的影响，导致复杂场景下的车辆图像的定位与识别效果不理想。为避免车牌定位与识别过程中单一特征的环境适应性差，很难达到准确定位与识别车牌以及满足实时性识别的要求问题，一些研究采用融合两种特征来进行车牌定位与识别[11-13]，在一些特殊环境下效果差。如汽车的颜色是蓝色，车牌颜色也是蓝色，则融合颜色特征的车牌定位与识别方法效果会差很多。。
发明内容
本发明所要解决的技术问题是，针对现有技术不足，提供一种基于多特征融合的车牌定位与识别方法，提高车牌识别的准确率。
为解决上述技术问题，本发明所采用的技术方案是：一种基于多特征融合的车牌定位与识别方法，包括以下步骤：
1)对车辆图像进行预处理，提取车牌图像的色差特征、边缘特征以及车牌字符的纹理投影特征；
2)融合车牌图像的边缘特征与车牌字符的纹理投投影特征，进行数学形态学运算，对车牌进行粗定位；
3)利用上述粗定位得到的车牌粗定位图像，融合所述车牌图像的色差特征，进行车牌的精细定位，确定完整的车牌区域；
4)对所述车牌区域内的车牌字符进行归一化处理；
5)选取N幅精细定位后的车牌图像作为训练样本，利用深度学习算法训练样本，得到训练好的网络，分别使用归一化处理后的车牌字符内的汉字、字母、字母数字、数字四个样本对四个子网络进行训练，得到相应的节点数和权值，逐个提取车牌区域的图像特征，然后从相应的文件中读取相应的节点数和权值，把归一化处理后的车牌字符分别送入相应的网络进行识别，输出识别结果。
步骤1)中，车牌图像的色差特征提取具体过程包括：
对于蓝底白字的车牌，采用下式提取蓝色色差： S(x,y)＝B(x,y)-min{R(x,y),G(x,y)}；其中，S(x,y)为色差提取后的车牌图像坐标点(x,y) 的蓝色色差像素值，B(x,y)，R(x,y)，G(x,y)分别为(x,y)点蓝、红、绿对应的像素值；
对于黄底黑字组成的车牌，采用下式提取黄色色差：
其中，S'(x,y)为色差提取后的车牌图像坐标点(x,y) 的黄色色差像素值，R，G，B分别为(x,y)点红、绿、蓝对应的像素值；
对于白底车牌，采用下式提取白色色差：其中，S″(x,y)为色差提取后的车牌图像坐标点(x,y)的白色色差像素值，T1为阈值；
对于黑底车牌，采用下式提取黑色色差：其中， S* (x,y)为色差提取后的车牌图像坐标点(x,y)的黑色色差像素值，T2为阈值；
对于白底红字或者黑底红字的车牌，采用下式提取红色色差： S** (x,y)＝R(x,y)-min{B(x,y),G(x,y)}，其中，S** (x,y)为色差提取后的车牌图像坐标点 (x,y)的红色色差像素值。
步骤1)中，提取车牌字符的峰谷峰跳变数作为车牌字符的纹理投影特征。
步骤2)的具体实现过程包括：
1)使用Canny边缘算子提取车辆图像的边缘特征，得到车辆的轮廓；
2)对所述车牌的轮廓运用形态学运算，得到包含车牌区域的连通区域；
3)对所述连通区域进行平滑处理，得到平滑连通区域；
4)利用深度优先遍历方法筛选所述平滑连通区域，获得车牌区域，去除不相干的结构，得到车牌粗定位图像。
利用深度优先遍历方法筛选所述平滑连通区域的具体实现过程为：根据标准车牌设定阈值，当平滑连通区域长度和高度符合长宽比时，选中为候选区域，否则予以舍弃；对所述候选区域，融合车牌字符的投影特征并对车牌图像进行倾斜校正，得到车牌粗定位图像。
步骤3)的具体实现过程包括：
1)采用统计彩色色差像素点的方法，从所述车牌粗定位图像中分割出合理的车牌区域；
2)确定车牌底色RGB对应的各自灰度范围，然后在行方向统计在各自灰度范围内的像素点数量，设定合理的阈值(根据定位时的色差特征来选取T1或者T2)，确定车牌在行方向的合理区域；
3)在分割出的行区域内，统计列方向车牌底色像素点的数量，最终确定完整的车牌区域。
合理的车牌区域设定为：黄色车牌的合理的车牌区域的彩色色差为100以上；蓝色车牌蓝色分量取150以上，红色和绿色分量小于50，色彩在100以上；白色车牌的合理的车牌区域的彩色色差为10以下；黑色车牌的合理的车牌区域的彩色色差为5以下；红色车牌的合理的车牌区域的彩色色差为100以上。
N＝100；T1＝10；T2＝5。
与现有技术相比，本发明所具有的有益效果为：本发明提出的基于多特征融合的快速车牌定位与识别方法能在多种光照条件下采集的车辆牌照图像、车牌受污损程度比较严重、牌照存在倾斜和扭曲与变形、运动导致车牌模糊、背景与车牌颜色相似度高、背景复杂等情况下均能取得较好的定位效果。由于在车牌定位时采用了边缘特征、水平与垂直投影分析和阈值技术有效检测了车牌图像的上下左右边框、旋转角度，很好地实现了车牌图像的粗定位；采用融合彩色色差特征来实现车牌图像的精细定位可以提高定位精度同时减少算法运行时间。在车牌识别时采用了深度学习算法可以进一步提高车牌识别的准确率。该方法应用范围较广，对图像质量要求较低。
附图说明
图1为本发明车牌识别原理图；
图2为本发明粗定位的车牌图像；其中，(a)提取的边缘特征；(b)形态学运算后的图像；(c)车牌字符垂直投影(含边框)；(d)车牌字符水平投影(含边框)；(e)1.8721°倾斜校正后车牌字符垂直投影(含边框)；(f)1.8721°倾斜校正后车牌字符水平投影(含边框)；(g)1.8721°倾斜校正后车牌字符垂直投影 (不含边框)；(h)平滑后的连通区域；(i)粗定位后的车牌区域
图3为本发明精细定位后的车牌图像；其中，(a)行方向的合理区域；(b)精细定位后的彩色车牌图像；
图4为本发明车牌字符分割结果图；
图5为本发明归一化处理后的车牌字符结果图；
图6为本发明车牌识别结果。
具体实施方式
车辆图像包括车辆图像的灰度化、车辆图像二值化、车辆图像增强、车辆图像去噪、倾斜校正、灰度修正、运动模糊校正等。由于彩色图像含有大量的颜色信息，不但存储开销大，而且处理时会降低系统的运行速度，因此，车牌识别过程中经常将彩色图像转变为灰度图像，以加快处理速度。经过灰度变换的图像像素的动态范围增加，对比度得以扩展，图像变得更加清晰、细腻、易于识别。车牌图像二值化的过程是将整幅图像转换为黑、白二值图像。在车牌处理系统中，进行图像二值变换的关键是要确定能够很好地将字符与背景分割开来的合适阀值，二值变换的结果图像必须要具备良好的保形性，不丢掉有用的形状信息，不会产生额外的信息等。车牌识别要求处理的速度快、成本低、信息量大，采用二值图像进行处理，能大大地提高处理效率。阈值处理的操作过程是先通过算法生成一个阈值，如果图像中某中像素的灰度值小于该阈值，则将该像素的灰度值设置为0或255，否则灰度值设置为255或0，最后根据处理结果的好坏自适应调整阈值。车辆图像增强和车辆图像去噪参考文献[14]和文献[15]。车辆图像倾斜校正和灰度修正参考文献[16]。
本发明提取车辆的颜色色差特征、边缘特征、字符纹理的投影特征来实现车牌的定位与识别。
目前国内汽车牌照有六种类型：①黄底黑字牌照的大型民用汽车；②蓝底白字牌照的小型民用汽车；③白底红字或黑字牌照的军用或武警专用汽车；④黑底白字牌照的使领馆外籍汽车；⑤试用车和临时牌照是分别在数字前标有“试”和“临时”字标志白底红字；⑥汽车补用牌照是白底黑字。车牌的尺寸长和宽均为 44cm和14cm，共有7个或8个字符。民用汽车牌照上有省、直辖市、自治区名称的简称和发证照及监督机关的代号，编号是英文大写字母，接着是一个点“·”，后面的汽车编号，一般为5位数字，即从00001-99999，编号超过10万时，就由 A、B、C等英文字母代替，第三、四个字符可能是英文字母，也可能是阿拉伯数字，第五至第七个字符均为阿拉伯数字。
从人的视觉特点出发，车牌目标区域具有四大特点：①车牌底色往往与车身颜色、字符颜色有较大差异；②车牌有一个连续或由于磨损而不连续的边框，车牌内字符有多个，基本呈水平排列，所以在车牌的矩形区域内存在较丰富的边缘，呈现出规则的纹理特征；③车牌内字符之间的间隔比较均匀，字符和牌照底色在灰度值上存在跳变，而字符本身与牌照底色都有较均匀灰度；④不同图像中牌照的具体大小、位置不确定，但其长宽比变化有一定范围，存在一个最大和最小长宽比。根据这些特点，可以在灰度图像的基础上提取其相应的特征。
根据我国车牌的颜色特征，主要提取车辆图像中一定长宽比的蓝色、白色、黄色或黑色矩形区域的色差特征。
蓝色色差的提取
对于蓝底白字的车牌，为了增强蓝色区域同时很好地抑制非蓝色区域的像素点的值，从而加大蓝白色差，可以用式(1)来提取蓝色色差。
S(x,y)＝B(x,y)-min{R(x,y),G(x,y)} (1)
其中，S(x,y)为色差提取后的车牌图像坐标点(x,y)的蓝色色差像素值，B(x,y)，R(x,y)，G(x,y)分别为(x,y)点蓝、红、绿对应的像素值。
黄色色差的提取
对于黄底黑字组成的车牌，由于黄色是红色与绿色的合成色，合成过程中红色与绿色的值接近于255且相差不大，蓝色值要比红色与绿色的值小很多，所以可以用式(2)来提取黄色色差。
其中，S(x,y)为色差提取后的车牌图像坐标点(x,y)的黄色色差像素值，R，G， B分别为(x,y)点红、绿、蓝对应的像素值。
白色色差的提取
由于车牌中的白色像素点的值是由红、蓝、绿三种颜色值都接近于255组成且相差很小，所以可以用式(3)来提取白色色差。
其中，S(x,y)为色差提取后的车牌图像坐标点(x,y)的白色色差像素值，R，G， B分别为(x,y)点红、绿、蓝对应的像素值，T1为阈值。
黑色色差的提取
由于车牌中的黑色像素点的值是由红、蓝、绿三种颜色值都接近于0组成且相差很小，所以可以用式(4)来提取黑色色差。
其中，S(x,y)为色差提取后的车牌图像坐标点(x,y)的黑色色差像素值，R，G， B分别为(x,y)点红、绿、蓝对应的像素值，T2为阈值。
红色色差的提取
对于白底红字或黑底红字的车牌，为了增强红色区域同时很好地抑制非红色区域的像素点的值，从而加大红白或红黑色差，可以用式(5)来提取红色色差。
S(x,y)＝R(x,y)-min{B(x,y),G(x,y)} (5)
其中，S(x,y)为色差提取后的车牌图像坐标点(x,y)的红色色差像素值，R(x,y)，B(x,y)，G(x,y)分别为(x,y)点红、蓝、绿对应的像素值。
提取车牌边缘特征的目的是为了突出车牌信息的突变，更好地区分车牌背景和字体颜色。这样做的目的也是为了防止周围有和车牌底色相同颜色的物体干扰，尤其是车辆颜色，因为经过边缘检测后车体颜色没有那么多跳变干扰或者与车牌跳变规律不一样，这样就可以滤去车体颜色，去除干扰。两个具有不同灰度值的相邻区域之间总存在边缘，边缘就是灰度值不连续的结果，是图像分割、纹理特征提取和形状特征提取等图像分析的基础。为了对有意义的边缘点进行分类，与这个点相联系的灰度级必须比在这一点的背景上变换更有效，可以通过阈值方法来决定一个值是否有效。如果一个点的二维一阶导数比指定的阈值大，就定义图像中的该点是一个边缘点，依据事先设定的连接准则将一组边缘点相连就组成一条边缘。经过一阶导数的边缘检测，所求的一阶导数高于某个阈值，则确定该点为边缘点，这样会导致检测的边缘点太多。可以通过求梯度局部最大值对应的点，并认定为边缘点，去除非局部最大值，可以检测出精确的边缘。一阶导数的局部最大值对应二阶导数的零交叉点，通过找图像的二阶导数的零交叉点就能找到精确边缘点。
车牌的纹理投影特征提取的目的，主要是提取车牌区域水平或垂直投影特征，由于车牌中有水平且等间隔排列的字符，其灰度纹理在水平方向与垂直方向的投影呈等间隔峰谷峰跳变。因此可以提取字符的峰谷峰跳变数来作为车牌投影特征。
由于我国车牌种类多样，颜色不一，再加上车牌上经常有污损，以及车牌周围许多干扰因素，都成为了车牌定位的难点。如何在复杂背景中准确、快速定位车牌成为车牌识别中的难点。目前已有不少学者在这方面进行了研究。主要定位方法有六类：(1)基于水平灰度变化特征的方法，这种方法主要在车牌定位以前，需要对图像进行预处理，将彩色图像转换为灰度图像，利用车牌区域水平方向的纹理特征进行车牌定位；(2)基于边缘检测的定位方法，这种方法是利用车牌区域丰富的边缘特征进行车牌定位，使用Roberts边缘算子等来检测边缘；(3)基于车牌颜色特征的定位方法，这种方法主要是应用车牌的纹理特征、形状特征和颜色特征，即利用车牌字符和车牌底色具有明显的反差特征来排除干扰进行车牌的定位；(4)基于Hough变换的车牌定位方法，这种方法是利用车牌边框的几何特征，采取寻找车牌边框直线的方法进行车牌定位；(5)基于变换域的车牌定位方法，这种方法是将图像从空域变换到频域进行分析；(6)基于数学形态学的车牌定位方法，这种方法是利用数学形态学图像处理的基本思想，利用一个结构元素来探测一个图像，看是否能将这个结构元素很好的填放在图像内部，同时验证填放元素的方法是否有效。腐蚀、膨胀、开启和关闭是数学形态学的基本运算。这些方法各有优缺点，要实现快速、准确地定位车牌，应该综合利用车牌的各种特征，仅靠单一特征很难奏效。为了快速精准定位车牌区域，本发明先融合车牌图像的边缘特征与车牌字符的投影特征并进行数学形态学运算来实现对车牌的粗定位，然后融合色差特征实现车牌图像的精细定位，这样既提高了车牌定位的速度同时提升了车牌定位的精度。
车牌的粗定位
通过使用Canny边缘算子提取车辆图像的边缘特征可以得到车辆的轮廓，然后运用形态学运算形成一些包含车牌区域的连通区域并使用文献[14]提供的方法平滑连通区域，最后采用深度优先遍历方法筛选连通区域获得车牌区域并去除不相干的结构，从而实现对车牌的粗定位。当遇到连通域时，记录该区域的长度和高度。根据标准车牌设定阈值，当记录的区域长度和高度符合长宽比时，才会选中为候选区域，否则予以舍弃。当然符合这一比率的不一定就是车牌区域，需要融合车牌字符的投影特征并对车牌图像进行适度的倾斜校正来进一步判断选中的候选区域是否就是车牌区域。车牌图像粗定位的结果如图2所示。
车牌的精细定位
在获得车牌粗定位图像后，融合色差特征来实现对车牌图像的精细定位。利用车牌的彩色色差信息分割方法。根据车牌底色等有关的先验知识，采用统计彩色色差像素点的方法分割出合理的车牌区域，确定车牌底色RGB对应的各自灰度范围，然后行方向统计在此颜色范围内的像素点数量，设定合理的阈值，确定车牌在行方向的合理区域。然后，在分割出的行区域内，统计列方向车牌底色像素点的数量，最终确定完整的车牌区域，如图3所示。
车牌字符分割
车牌字符分割在车牌自动识别过程中的作用是承前启后。它是在车牌定位的基础上进行的，分割结果可用于字符识别。字符分割的算法很多，利用垂直投影法对复杂环境下的汽车图像中的字符分割有较好的效果。因为车牌字符间间隔较大，不会出现字符粘连情况，所以采用寻找连续有字符的块的方法来分割字符，若字符块的长度大于某阈值，则认为该字符块需要进一步分割，车牌字符分割结果如图4所示。
一般分割出来的字符要进一步进行处理，以满足字符识别的需要。但是对于车牌的识别，并不需要太多的处理就已经可以达到正确识别的目的。在此只进行了归一化处理，如图5所示，然后进行后期处理。
基于多特征融合深度学习神经网络的车牌识别
进行车牌识别前需要利用深度学习算法来训练样本，然后使用训练好的网络对车牌进行识别。分别使用汉字、字母、字母数字、数字四个样本对四个子网络进行训练，得到相应的节点数和权值。逐个提取已经定位好的车牌图像特征，然后从相应的文件中读取相应的节点数和权值，把车牌字符分别送入相应的网络进行识别，输出识别结果，如图6所示。
实施例
本发明收集了4000幅车辆图像和进出广西科技大学校门的2个车辆卡口的1个月内的视频数据，这些数据涵盖了我国六种类型的车牌。在数据采集过程中，采集了部分车牌字符受不同程度污损、车牌出现一定的变形、拍摄光照太亮或太暗、多辆车并列行驶、倾斜拍摄车牌及运动模糊车牌图像。采用正常光照及正面拍摄的车辆图像进行车牌定位对比实验结果如表1所示。从表1可以看出使用单一特征来定位车牌图像的定位精度普遍比使用二个以上特征要低，本发明融合三个特征后定位精度最高。算法耗时方面单纯使用形态学方法最少，因为处理过程仅对图像进行膨胀与腐蚀操作，所以算法的定位精度也最低。文献[11]融合边缘与颜色特征耗时最多，本发明融合三个特征时，将耗时比较大的颜色色差特征用来精确定位车牌图像，故在粗定位车牌图像过程中如果定位精度达到精度阈值要求时，精确定位车牌图像的过程可以省去。不同条件下车牌定位对比实验结果如表2所示。从表2可以看出定位运动模糊车牌图像时，所有方法受影响最严重，针对运动模糊车牌图像可以在图像预处理阶段采用运动补偿方法来弥补；复杂背景且光照不均匀(特别是光照特暗)的条件下算法定位车牌的精度都受到了比较大的影响，针对复杂背景，可以采用先建模好背景图像，然后采用减背景法来去除复杂背景的影响；针对光照特暗的情况可以采用光照补偿方法来校正；所有条件对使用单一特征定位车牌图像比使用多特征定位车牌图像影响更大；单纯使用空间特征来定位车牌图像时，定位精度受图像的对比度、噪声及车牌字符污损等因素影响较大；单纯使用颜色特征来定位车牌图像时，定位精度受背景与车牌颜色相似度、车牌褪色的严重程度及提取颜色的完整程度影响较大；融合边缘与颜色特征来定位车牌图像时，定位精度受背景与车牌颜色相似度、车牌褪色的严重程度及字符及车牌污损程度影响较大。车牌识别对比实验结果如表3所示。从表 3可以看出使用模板匹配方法识别准确率最低，本发明方法在识别过程中采用了深度学习方法提高了识别的准确率。
表1车牌定位精度及算法耗时比较
表2不同条件下车牌定位精度比较
表3不同方法车牌识别率比较
参考文献：
[1]刘广起,郑晓势,张晓波.基于图象纹理特征提取的车牌定位算法[J].中国图象图形学报,2005,10(11):1419-1422.
[2]Friston K,Harrison L,Penny W.Dynamic causal modeling[J].Neuroimage,2003, 19(4):1273-1302.
[3]张浩鹏,王宗义.基于灰度方差和边缘密度的车牌定位算法[J].仪器仪表学报, 2011,32(5):1095-1102.
[4]AI-Ghaili A,Mashohor S,Ramli A,et a1.Vertical edge-based carlicense plate detection method[J].IEEE Transactions on Vehicular Technology,2013, 62(1):26-38.
[5]Abolghasemi V,Ahmadyfard A.An edge-based color-aided method forlicense plate detection[J].Image and Vision Computing,2009,27(8):1134-1142.
[6]李刚,曾税利,林凌,等.基于数学形态学的车牌定位算法[J].仪器仪表学报,2007,28(7):1323-1327.
[7]郑楷鹏,郑翠环,郭山红,陈康宇.基于色差的车牌快速定位算法研究[J].计算机应用与软件,2017,34(5):195-199.
[8]程增会,戴祥,唐大鹏,童飞飞,冉庆森.一种基于HSI和YUV颜色模型的车牌定位方法[J].计算机应用与软件,2011,28(12):132-134.
[9]王枚,王国宏.基于伴生与互补颜色特征的车牌字符分割新方法[J].山东大学学报(工学版),2007,37(1):1-4.
[10]Marreiros A,Kiebel S,Friston K.Dynamic causal modeling for FMRI:Atwo-state model[J].Neuroimage,2008,19(39):269-278.
[11]王永杰,裴明涛,贾云得.多信息融合的快速车牌定位[J].中国图像图形学报. 2014,19(03):471-475.
[12]张震,杨晓.基于实现多特征融合的移动车牌定位算法[J].计算机应用与软件,2014,31(4):289-292.
[13]何兆成,佘锡伟,余文进,等.字符多特征提取方法及其在车牌识别中的应用[J].计算机工程与应用,2011,47(23):228-231.
[14]Zhiwen WANG,Shaozi LI,Yanping LV,Kaitao YANG.Remote Sensing ImageEnhancement Based on Orthogonal Wavelet Transformation Analysis and Pseudo-color Processing[J],International Journal of Computational IntelligenceSystems,2010,3(6):745-753.
[15]王智文,李绍滋.基于多元统计模型的分形小波自适应图像去噪[J],计算机学报,2014,37(6):1380-1389.
[16]王智文.基于改进BP神经网络的车牌字符识别[J],微电子学与计算机,2011,28(9):66-69。

Claims (9)

1.一种基于多特征融合的车牌定位与识别方法，其特征在于，包括以下步骤：
1)对车辆图像进行预处理，提取车牌图像的色差特征、边缘特征以及车牌字符的纹理投影特征；
2)融合车牌图像的边缘特征与车牌字符的纹理投投影特征，进行数学形态学运算，对车牌进行粗定位；
3)利用上述粗定位得到的车牌粗定位图像，融合所述车牌图像的色差特征，进行车牌的精细定位，确定完整的车牌区域；
4)对所述车牌区域内的车牌字符进行归一化处理；
5)选取N幅精细定位后的车牌图像作为训练样本，利用深度学习算法训练样本，得到训练好的网络，分别使用归一化处理后的车牌字符内的汉字、字母、字母数字、数字四个样本对四个子网络进行训练，得到相应的节点数和权值，逐个提取车牌区域的图像特征，然后从相应的文件中读取相应的节点数和权值，把归一化处理后的车牌字符分别送入相应的网络进行识别，输出识别结果。
2.根据权利要求1所述的基于多特征融合的车牌定位与识别方法，其特征在于，步骤1)中，车牌图像的色差特征提取具体过程包括：
对于蓝底白字的车牌，采用下式提取蓝色色差：S(x,y)＝B(x,y)-min{R(x,y),G(x,y)}；其中，S(x,y)为色差提取后的车牌图像坐标点(x,y)的蓝色色差像素值，B(x,y)，R(x,y)，G(x,y)分别为(x,y)点蓝、红、绿对应的像素值；
对于黄底黑字组成的车牌，采用下式提取黄色色差：其中，S'(x,y)为色差提取后的车牌图像坐标点(x,y)的黄色色差像素值，R，G，B分别为(x,y)点红、绿、蓝对应的像素值；
对于白底车牌，采用下式提取白色色差：其中，S”(x,y)为色差提取后的车牌图像坐标点(x,y)的白色色差像素值，T1为阈值；
对于黑底车牌，采用下式提取黑色色差：其中，S* (x,y)为色差提取后的车牌图像坐标点(x,y)的黑色色差像素值，T2为阈值；
对于白底红字或者黑底红字的车牌，采用下式提取红色色差：S** (x,y)＝R(x,y)-min{B(x,y),G(x,y)}，其中，S** (x,y)为色差提取后的车牌图像坐标点(x,y)的红色色差像素值。
3.根据权利要求1所述的基于多特征融合的车牌定位与识别方法，其特征在于，步骤1)中，提取车牌字符的峰谷峰跳变数作为车牌字符的纹理投影特征。
4.根据权利要求1所述的基于多特征融合的车牌定位与识别方法，其特征在于，步骤2)的具体实现过程包括：
1)使用Canny边缘算子提取车辆图像的边缘特征，得到车辆的轮廓；
2)对所述车牌的轮廓运用形态学运算，得到包含车牌区域的连通区域；
3)对所述连通区域进行平滑处理，得到平滑连通区域；
4)利用深度优先遍历方法筛选所述平滑连通区域，获得车牌区域，去除不相干的结构，得到车牌粗定位图像。
5.根据权利要求4所述的基于多特征融合的车牌定位与识别方法，其特征在于，利用深度优先遍历方法筛选所述平滑连通区域的具体实现过程为：根据标准车牌设定阈值，当平滑连通区域长度和高度符合长宽比时，选中为候选区域，否则予以舍弃；对所述候选区域，融合车牌字符的投影特征并对车牌图像进行倾斜校正，得到车牌粗定位图像。
6.根据权利要求1所述的基于多特征融合的车牌定位与识别方法，其特征在于，步骤3)的具体实现过程包括：
1)采用统计彩色色差像素点的方法，从所述车牌粗定位图像中分割出合理的车牌区域；
2)确定车牌底色RGB对应的各自灰度范围，然后在行方向统计在各自灰度范围内的像素点数量，设定合理的阈值，确定车牌在行方向的合理区域；
3)在分割出的行区域内，统计列方向车牌底色像素点的数量，最终确定完整的车牌区域。
7.根据权利要求6所述的基于多特征融合的车牌定位与识别方法，其特征在于，合理的车牌区域设定为：黄色车牌的合理的车牌区域的彩色色差为100以上；蓝色车牌蓝色分量取150以上，红色和绿色分量小于50，色彩在100以上；白色车牌的合理的车牌区域的彩色色差为10以下；黑色车牌的合理的车牌区域的彩色色差为5以下；红色车牌的合理的车牌区域的彩色色差为100以上。
8.根据权利要求1所述的基于多特征融合的车牌定位与识别方法，其特征在于，N＝100。
9.根据权利要求2所述的基于多特征融合的车牌定位与识别方法，其特征在于，T1＝10；T2＝5。
CN201711077344.2A 2017-11-06 2017-11-06 一种基于多特征融合的车牌定位与识别方法 Pending CN107832762A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711077344.2A CN107832762A (zh) 2017-11-06 2017-11-06 一种基于多特征融合的车牌定位与识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711077344.2A CN107832762A (zh) 2017-11-06 2017-11-06 一种基于多特征融合的车牌定位与识别方法

Publications (1)

Publication Number Publication Date
CN107832762A true CN107832762A (zh) 2018-03-23

Family

ID=61653702

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711077344.2A Pending CN107832762A (zh) 2017-11-06 2017-11-06 一种基于多特征融合的车牌定位与识别方法

Country Status (1)

Country Link
CN (1) CN107832762A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109271977A (zh) * 2018-11-23 2019-01-25 四川长虹电器股份有限公司 票据自动分类训练方法、装置及自动分类方法、装置
CN109409369A (zh) * 2018-11-09 2019-03-01 重庆巴奥科技有限公司 一种通过大数据图像信息进行车辆牌照识别方法
CN110689003A (zh) * 2019-08-22 2020-01-14 长沙千视通智能科技有限公司 低照度成像车牌识别方法、系统、计算机设备及存储介质
CN110866524A (zh) * 2019-11-15 2020-03-06 北京字节跳动网络技术有限公司 车牌检测方法、装置、设备及存储介质
CN111199228A (zh) * 2019-12-26 2020-05-26 深圳市芊熠智能硬件有限公司 一种车牌定位的方法及装置
CN111967474A (zh) * 2020-09-07 2020-11-20 北京凌云光技术集团有限责任公司 基于投影的文本行字符分割方法及装置
CN112580651A (zh) * 2020-12-23 2021-03-30 蚌埠学院 车牌快速定位和字符分割方法和装置
CN114821078A (zh) * 2022-05-05 2022-07-29 北方工业大学 一种车牌识别方法、装置、电子设备及存储介质
CN115661807A (zh) * 2022-12-28 2023-01-31 成都西物信安智能系统有限公司 一种获取车牌信息的方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105373794A (zh) * 2015-12-14 2016-03-02 河北工业大学 一种车牌识别方法
CN106529424A (zh) * 2016-10-20 2017-03-22 中山大学 一种基于选择性搜索算法的车标检测识别方法及系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105373794A (zh) * 2015-12-14 2016-03-02 河北工业大学 一种车牌识别方法
CN106529424A (zh) * 2016-10-20 2017-03-22 中山大学 一种基于选择性搜索算法的车标检测识别方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
张鑫 等: "基于 L-M 算法及不变矩特征值优化的神经网络图像识别", 《科技创新与应用》 *
杨硕 等: "多特征融合的车牌定位算法", 《计算机应用》 *
郑楷鹏 等: "基于色差的车牌快速定位算法研究", 《计算机应用与软件》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109409369A (zh) * 2018-11-09 2019-03-01 重庆巴奥科技有限公司 一种通过大数据图像信息进行车辆牌照识别方法
CN109271977A (zh) * 2018-11-23 2019-01-25 四川长虹电器股份有限公司 票据自动分类训练方法、装置及自动分类方法、装置
CN110689003A (zh) * 2019-08-22 2020-01-14 长沙千视通智能科技有限公司 低照度成像车牌识别方法、系统、计算机设备及存储介质
CN110866524A (zh) * 2019-11-15 2020-03-06 北京字节跳动网络技术有限公司 车牌检测方法、装置、设备及存储介质
CN111199228A (zh) * 2019-12-26 2020-05-26 深圳市芊熠智能硬件有限公司 一种车牌定位的方法及装置
CN111199228B (zh) * 2019-12-26 2023-03-28 深圳市芊熠智能硬件有限公司 一种车牌定位的方法及装置
CN111967474A (zh) * 2020-09-07 2020-11-20 北京凌云光技术集团有限责任公司 基于投影的文本行字符分割方法及装置
CN111967474B (zh) * 2020-09-07 2024-04-26 凌云光技术股份有限公司 基于投影的文本行字符分割方法及装置
CN112580651A (zh) * 2020-12-23 2021-03-30 蚌埠学院 车牌快速定位和字符分割方法和装置
CN114821078A (zh) * 2022-05-05 2022-07-29 北方工业大学 一种车牌识别方法、装置、电子设备及存储介质
CN114821078B (zh) * 2022-05-05 2023-03-14 北方工业大学 一种车牌识别方法、装置、电子设备及存储介质
CN115661807A (zh) * 2022-12-28 2023-01-31 成都西物信安智能系统有限公司 一种获取车牌信息的方法

Similar Documents

Publication Publication Date Title
CN107832762A (zh) 一种基于多特征融合的车牌定位与识别方法
CN106156768B (zh) 基于视觉的机动车行驶证检测方法
CN108108761B (zh) 一种基于深度特征学习的快速交通信号灯检测方法
CN101398894B (zh) 机动车车牌自动识别方法及其实现装置
CN104050471B (zh) 一种自然场景文字检测方法及系统
CN104392205B (zh) 一种非正常车牌的识别方法和系统
CN102375982B (zh) 一种融合多字符特征的车牌定位方法
CN103065138B (zh) 一种机动车牌号的识别方法
CN103810505B (zh) 基于多层描述子的车辆标识方法与系统
CN101408942B (zh) 一种复杂背景下的车牌定位方法
CN103198315B (zh) 基于字符轮廓和模板匹配的车牌字符分割算法
CN105205489B (zh) 基于颜色纹理分析器与机器学习的车牌检测方法
CN103488978B (zh) 一种基于灰度跳变和字符投影间隔模式的车牌定位方法
CN107273896A (zh) 一种基于图像识别的车牌检测识别方法
CN104050450A (zh) 一种基于视频的车牌识别方法
CN108765443A (zh) 一种自适应颜色阈值分割的标志增强处理方法
CN106845480A (zh) 一种从图片中识别车牌的方法
CN103605977A (zh) 一种车道线的提取方法及装置
CN106650553A (zh) 车牌识别方法及系统
CN109635733B (zh) 基于视觉显著性和队列修正的停车场和车辆目标检测方法
CN105160691A (zh) 基于颜色直方图的车身颜色识别方法
CN104766344B (zh) 基于运动边缘提取器的车辆检测方法
CN106709530A (zh) 基于视频的车牌识别方法
CN107066972B (zh) 基于多通道极值区域的自然场景文本检测方法
CN106682597A (zh) 一种交通信号灯识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180323