CN107180230A - 通用车牌识别方法 - Google Patents

通用车牌识别方法 Download PDF

Info

Publication number
CN107180230A
CN107180230A CN201710316982.9A CN201710316982A CN107180230A CN 107180230 A CN107180230 A CN 107180230A CN 201710316982 A CN201710316982 A CN 201710316982A CN 107180230 A CN107180230 A CN 107180230A
Authority
CN
China
Prior art keywords
car plate
image
coordinate
value
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710316982.9A
Other languages
English (en)
Other versions
CN107180230B (zh
Inventor
侯俊
苏乾
蒋睿杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Shanghai for Science and Technology
Original Assignee
University of Shanghai for Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Shanghai for Science and Technology filed Critical University of Shanghai for Science and Technology
Priority to CN201710316982.9A priority Critical patent/CN107180230B/zh
Publication of CN107180230A publication Critical patent/CN107180230A/zh
Application granted granted Critical
Publication of CN107180230B publication Critical patent/CN107180230B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/242—Aligning, centring, orientation detection or correction of the image by image rotation, e.g. by 90 degrees
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/34—Smoothing or thinning of the pattern; Morphological operations; Skeletonisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种通用车牌识别方法，通过触发相机进行视频拍摄、运动图像去模糊、车牌定位提取车牌轮廓区域图像、对拍摄到的车牌在图像的倾斜度仿射矫正、车牌内部区域分割提取信息、字符/图标识别达到各种车牌的识别。本方法对车辆与相机的相对位置无严格要求。该方法在识别车牌时不局限于某一特定国家车牌特点，无论哪国车牌都能进行车牌有效信息的提取，对背景或复杂、或简单的车牌均可正确识别。

Description

通用车牌识别方法
技术领域
本发明涉及一种图像处理技术，特别涉及一种通用车牌识别方法。
背景技术
目前基于计算机视觉的车牌自动识别系统很常见，比如在停车库车辆入口处、道路桥梁收费等处，通过对车牌区域进行拍照并进行图像识别自动获取车牌。
在目前应用中，通常触发相机启动的方法是通过传感器触发，传感器主要有类似红外和压力二种，比如在收费口一般是红外或超声波触发，例如红外触发基于车辆经过挡住了发射和接收波之间的线路、超声波则检测到发射波与接收到的反射回波之间距离在特定范围时触发相机启动；在道路中比如闯红灯、随意变道行为的抓拍则大多采用是地面安装压力传感器，当压力传感器测量数据满足一定条件时启动相机。这些启动相机的触发方式决定了拍照时相机与车辆的位置是大体相对固定的。如果出现并非在传感器埋设地的车辆需要记录车牌(如道路上肇事逃逸)，通常是把这段视频截取下来另外用计算机视觉算法做车牌识别出来。
在第二步对车牌进行识别时，目前识别方法主要是针对特定某一国车牌进行识别，比如国内车牌的主要特点是只有一行，车牌背景色为单色或者单一色度渐变背景车牌(如电动车车牌)，即使个性车牌也是如此。对来自其它国家车辆车牌格式明显不同的车辆，识别率很低。
发明内容
本发明是针对现在的车牌识别存在的问题，提出了一种通用车牌识别方法，通过视频检测进行拍照、对图像进行计算机视觉处理，对车辆与相机的相对位置无严格要求。该方法在识别车牌时不局限于某一特定国家车牌特点，无论哪国车牌都能进行车牌有效信息的提取，对背景或复杂、或简单的车牌均可正确识别。
本发明的技术方案为：一种通用车牌识别方法，具体包括如下步骤：
1)触发相机进行视频拍摄，具体包括二个独立进程：(A)光流法获得运动前景并提取关键特征点；(B)关键特征点聚类后聚焦拍照；
2)运动图像去模糊：视频所得图像清晰，则进入步骤3)，如视频所得图像清晰度不够，根据步骤1)中(B)所得到的聚焦特征点集合值进行滤波去除运动引发的模糊；
3)车牌定位，得到车牌区域轮廓二值化图I1；
4)仿射，对拍摄到的车牌在图像的倾斜度仿射矫正，根据I1计算仿射变换的参数，对I进行仿射变换得到仿射变换后车牌图像I2；
5)车牌内部区域分割，提取信息：对步骤4)仿射变换后车牌图像I2采用Sobel算子提取边界，进行车牌背景底色/背景图案边缘初步筛选；将主信息与未剔除的图案区进行区分，提取主信息；提取车牌内部矩形区域；车牌上方、下方辅助信息定位；检测车牌是否有上部、下部的辅助信息，如有获取上方、下方辅助信息；
6)字符/图标识别：对步骤5)区域内的信息进行字符/图标识别，完成整个车牌识别。
所述步骤1)中(A)光流法获得运动前景并提取关键特征点的具体实现步骤如下(A1)至(A6)：
设当前帧为f，该帧的前帧为fp，该帧的后帧为fn，
(A1)对视频当前帧f利用光流法检测前景目标；
(A2)如果当前帧f中出现了前景目标，找关键特征点，如果特征点数目大于门限值I，则跳转至步骤(A3)；否则忽略该帧，将该帧标记为前帧fp、将该帧的后帧fn标记为当前帧f，依此类推，然后跳转至步骤(A1)；
(A3)历遍当前帧每个关键特征点，对各点分别记录以下三组参数：其在当前帧f的坐标(x,y)、截止当前帧该特征点共出现的次数、相对运动坐标-即该特征点在fp帧中坐标(xp,yp)与其在当前帧f中坐标(x,y)之间的差值dx＝x-xp，dy＝y-yp，若该特征点是首次出现，则直接设其相对运动坐标为(0，0)；记录该特征点相对运动坐标时，将数据存放在一个链表中，链表的每一项是该点在二帧间相对运动坐标，x为行坐标，y为列坐标；
(A4)历遍(A3)中关键特征点，检查每个特征关键点的运动位置变化量，若相对运动坐标中dx或者dy的绝对值大于门限II则判断可能是匹配错误，将该关键特征点及在步骤(A3)获得的关于该点的参数全部删除，继续检查下一个关键特征点；否则保留该关键特征点及其参数；
(A5)历遍(A4)中保留下来的各关键特征点，检查若某关键特征点截止当前帧f出现的次数大于门限值III，说明跟踪的运动目标不是突发的运动干扰而是稳定的运动目标，将在本步骤中大于门限值III的所有关键特征点及其参数传给进程(B)，然后转至步骤(A6)；
(A6)将当前帧改记为fp、将fn帧改记为f，……，依此类推，然后转至步骤(A1)。
所述步骤1)中(B)关键特征点聚类后聚焦拍照，具体步骤如下(B1)至(B4)：(B1)对来自进程(A)的所有关键特征点，根据其参数中相对运动坐标中的行坐标符号进行第一次分类，分类规则如下：
只选取满足如下条件的关键特征点：关键特征点连续多帧相对运动坐标中行坐标dx的符号相同，即均为正或者均为负；对选取的点进行分类：将dx为正的所有关键特征点分为一类，称正待分类集合；dx为负的所有关键特征点分为一类，称负待分类集合；这二类集合中点所属车辆运动方向相反；
(B2)分别对(B1)中的二个待分类集合继续进行第二次分类，目的是将关键特征点聚类，满足一定条件的关键特征点被分到一类并被认为属于同一车辆，以便将相机焦距对准需要拍照的车辆；
对(B1)中二个待分类集合分别进行(B2)步骤第二次分类，(B2)的具体步骤如下(B2-1)至(B-3)：
(B2-1)初始化：只建立一个已知分类，该已知分类中只有一个关键特征点，是从该待分类集合中随机选出的，同时将该关键特征点从待分类集合中删除，重复步骤(B2-2)-(B2-3)直到该待分类集合为空；
(B2-2)从同一待分类集合中任意取出一个点，记为特征点Pany，如果该特征点与某个已知分类中特征点在连续二帧中记录相对运动坐标中dx坐标之差的绝对值小于门限IV、并且dy坐标之差绝对值小于门限V，则将该点放入该已知分类中，并从待分类集合中删除该点，转至(B2-2)；否则继续步骤(B2-3)；其中门限V和门限IV与道路限速有关，当道路限速高时将这二个门限值略微大点，但不超过30；
(B2-3)如没有已知分类中的特征点与Pany之间满足步骤(B2-2)中的判决关系，则新创建一个已知分类，将该特征点从待分类集合中删除并放入新创建的已知分类中，转至(B2-2)；
(B3)整理分类结果，删除不合理分类：对(B2)得到的所有已知分类结果进行检查：(1)每个已知分类中特征点数目若小于5个，则认为该已知分类不合理，对该已知分类予以删除；(2)如果该已知分类中所有特征点在当前帧中所围轮廓面积小于门限VI，门限VI取决于相机架设位置和分辨率，物体太小没有拍照的意义，则删除该已知分类；
(B4)将保留下来的每个已知分类中各关键特征点当作属于同一车辆的关键特征点，聚焦于同一已知分类中各点围成区域进行拍照，同时对该已知分类中各关键特征点相对运动坐标链表中最后一组(dx、dy)，即当前帧与前面一帧的运动位置变化量，分别求平均，平均值分别标记为(avedx，avedy)。
所述步骤5)所示车牌内部区域分割，提取信息的具体步骤如下(E1)-(E5)：
(E1)、车牌背景底色/背景图案边缘初步筛选：对步骤4)仿射变换后车牌图像I2采用Sobel算子提取边界，得到边界图像Ia，然后采用Otsu方法对边界图像进行二值化处理得到二值图像Ib；前景与背景之间的边界经sobel算子处理后绝对值非常大，在二值化后前景-背景边界被设定为1，背景经过Sobel算子处理后，相邻像素之间差异值很小，背景-背景边界在二值化后会被设定为0；
(E2)、提取主信息：将主信息与未剔除的图案区进行区分，提取主信息，具体实现方法如下步骤(E2-1)至(E2-3)：
(E2-1)首先对图像Ib检测闭合区域，然后对闭合区域做种子填充，闭合区域内部所有像素点用“1”填充，这样得到的图像称为模板图像Ic，再将Ic与图像I2进行“与”操作，得到图Id，Id中有主、辅助信息、强边缘的背景图；
(E2-2)对应模板Ic中像素值为1的位置，在图Id中与之对应的位置各像素点做直方图统计，初始化当前像素值pg＝2；
(E2-3)对当前像素值pg进行(E2-3a)至(E2-3d)处理：
(E2-3a)判断是否pg小于254，若否，则表示没有发现主信息，退出整个识别过程，车牌无法识别：若是，则统计步骤(E2-2)直方图中像素值pg-2、pg-1、pg、pg+1、pg+2合计出现的概率，若合计出现的概率超过12％，则转入(E2-3b)；否则更新pg＝pg+1，然后重复本步骤；
(E2-3b)在图Id中，连通为八连通、连通规则为：若相邻像素值分别与pg之差的绝对值不超过2则连通；判断此规则下出现的连通区域个数是否不少于门限VII，若是则转到步骤(E2-3c)；如否，更新pg＝pg+1,返回(E2-3a)；
(E2-3c)分别求(E2-3b)中这些连通区域的行坐标X最大值、最小值，统计满足以下条件：最大值大于车牌高度的55％、并且最小值小于车牌高度的40％的连通区域的个数N1，若N1小于门限VII则更新pg＝pg+1，返回(E2-3a)；否则转至(E2-3d)；
(E2-3d)判断满足(E2-3c)中X坐标条件的连通区域为车牌主信息区域，提取这些满足条件连通区域图像，将这些连通区域记录在一个序列中，同时记录这些连通区域行坐标X最大值Xmax、最小值Xmin和列坐标Y最大值Ymax、最小值Ymin，并记录下当前pg值，然后转到步骤(E3)；
(E3)、提取车牌内部矩形区域：具体做法如下(E3-1)至(E3-3)：
(E3-1)更新模板图像Ic：对步骤(E2-3d)中获得的主信息区域，在模板Ic中对应位置处像素值改为0，得到更新后的不含主信息的模板图像—此处记为Ic2；
(E3-2)将车牌图像I2与Ic2进行“与”操作，得到的图像记为Ie，Ie中不含车牌主信息、不含车牌背景中边缘强度较弱图案；
(E3-3)做步骤(E3-3a)至(E3-3c)处理去除车牌中边界强度较强的背景图案、提取车牌左、右方辅助信息的矩形；
(E3-3a)初始化矩形集合为空集，矩形集合用于记录各个矩形；
(E3-3b)对图Ie用Sobel边缘算子提取边界，得到边界图像If，对If进行二值化处理：只要边缘强度大于门限VIII则二值化为1，否则为0，得到二值化图像记为Ig；在Ig中检查是否包含闭合轮廓，并记录检测到的闭合轮廓，若闭合轮廓内部包含闭合轮廓，则只记录最顶层闭合轮廓，内部闭合轮廓勿需记录；
(E3-3c)历遍(E3-3b)中得到的所有轮廓，对每个顶层轮廓进行如下操作(E3-3C1)至(E3-3C3)：
(E3-3c1)该轮廓是否为矩形？如果否，则跳转至(E3-3c2)步骤；若是则继续判断矩形宽、高比值是否在0.6-1.25之间、并且该矩形面积大于车牌面积的5％？若否，则忽略该矩形、对下一个顶层轮廓进行(E3-3c1)步骤；若是则跳转至(E3-3c3)；
(E3-3c2)检查是否该轮廓行坐标X最小值小于车牌高度的一半、并且行坐标X最大值大于车牌高度的一半？若是，更新模板Ic2，即在模板Ic2中该轮廓所包含区域对应位置全部像素值修改为0；若否，则忽略该轮廓，返回(E3-3c1)对下一个轮廓进行处理；
(E3-3c3)该矩形放入矩形集合中，更新模板Ic2，在Ic2中将该矩形内部区域对应位置像素值全部修改为0；
模板Ic2像素值为1的区域对应车牌图I2中无弱背景图案、无位于车牌中部的强背景图案、无矩形内辅助信息、无车牌主信息；
(E4)车牌上方、下方辅助信息定位：车牌中信息无论分几行，行与行之间是有明显间隔的，对模板Ic2做水平方向投影，水平投影中出现峰值，如果只有上或下部出现峰值，则表明车牌有二部分组成，如果没有明显峰值，则车牌仅有中间信息组成；如果上、下部分投影后都没有明显峰值，说明只有主信息一行，可以转入步骤6)进行信息识别了，否则转入(E5)；
(E5)获取上方、下方辅助信息：具体步骤如下(E5-1)至(E5-8)：
(E5-1)将车牌图像I2与Ic2做“与”操作，得到的图像记为Ih；若在(E4)中判断上部有内容，则从Ih中提取X坐标在0-Xmin区间的图像，相应也从Ic2中提取X坐标在0-Xmin区间的模板图像；若判断下部有内容则在Ih中提取X坐标在Xmax---车牌高度区间的图像，相应也从Ic2中提取X坐标在Xmax---车牌高度区间的模板图像；
(E5-2)---(E5-8)是对上、下二个区域分别进行的，将从Ih中提取的一个区域图像称为Re，将从Ic2中提取的对应模板图像标记为Ics；
(E5-2)对Re运用Sobel边缘算子，得到边界图像，对该边界图像进行二值化处理得到图像Rc1，然后对得到的二值化图Rc1检测闭合轮廓，只记录顶层闭合轮廓；
(E5-3)在Rc1中对每个顶层闭合轮廓进行种子填充，得到图像Rc2，将Rc2和Re进行“与”操作，得到图像Re2，同时记录每个顶层闭合轮廓的最大、最小Y坐标；
(E5-4)对Rc1中各个顶层闭合轮廓，统计其在Re2中对应该轮廓所围区域像素平均值和方差；
(E5-5)检查每个轮廓的所围区域均值和方差，若方差大于门限XI，则在Ic2中将该轮廓所围区域内所有像素值改为0，判断该轮廓属于非辅助信息；否则判断为“潜在辅助信息”的轮廓；
(E5-6)历遍每个“潜在辅助信息”轮廓，检查该轮廓Y坐标最大值是否大于车牌宽带65％、并且最小值是否小于车牌宽带35％？若是，则保留该轮廓，认为它是辅助信息，可以被送入步骤6)进行识别，并将其标记为图标，以便在后续对该区域不做字符分割处理，同时在Ic2将所有该轮廓所围区域像素值均改为0；若否，则该轮廓被判为属于“孤立潜在辅助信息”的轮廓；
(E5-7)对所有“孤立潜在辅助信息”进行合并处理：如果二个“孤立潜在辅助信息”轮廓中X坐标最小值之差的绝对值不超过5，X坐标最大值之差的绝对值不超过5、并且所围区域像素平均值的差异之绝对值小于10，则认为这二个孤立潜在辅助信息可以合并，将二者Y坐标的最小值中最小的一个、二者Y坐标最大值中大的一个，分别作为合并后新区域Y坐标最小值、最大值，求新区域的像素平均值，重复本步骤直到没有可以合并的“孤立潜在辅助信息”；
(E5-8)检查每个合并后新区域Y坐标最大值是否大于车牌宽带65％并且最小值是否小于车牌宽带35％？如是，则认为它含有辅助信息，需要对区域内每个闭合区域进行字符识别；若否，则说明该区域无实质性信息，直接丢弃该区域，并在Ic2将所有该区域包含的像素点值设为0。
本发明的有益效果在于：本发明通用车牌识别方法，可对任何简单或复杂背景的车牌进行正确识别。
附图说明
图1为本发明通用车牌识别方法中车牌识别步骤图。
具体实施方式
本发明通用车牌识别方法分为二个步骤(1)触发相机；(2)对车牌进行自动识别。二个步骤完全独立，车牌识别与选择哪种触发相机的方式没有任何关系。根据应用的不同，在系统中相机可以有多种触发方式，常用的传感器触发、红外/超声波等触发方式对本系统依然有效，可以用在本系统中，在第一步可以不改变触发方式，例如将本车牌识别系统用于停车场收费时，采用目前停车场车牌自动识别系统的相机触发方式就很简单有效。本发明中我们提出了一种更加通用的相机触发方式：视频采用光流法跟踪车辆并按照一定规则触发相机。在视频拍摄中，相机位置固定而车辆是移动的，光流法是目前常用的运动前景跟踪方法。
如图1所示车牌识别步骤图：包括触发相机、运动图像去模糊、车牌定位、仿射、车牌内部区域分割、字符/图标识别，其中从运动图像去模糊到字符/图标识别属于车牌识别步骤。而下面介绍的触发相机部分的操作属于可选项，用户可以按照实际应用自行选择其他触发相机的方式。
1、触发相机
该步骤操作又分为二个独立进程：(A)光流法获得运动前景并提取关键特征点；(B)关键特征点聚类后聚焦拍照。
设当前帧为f，该帧的前帧为fp，该帧的后帧为fn，
进程(A)：光流法获得运动前景并提取关键特征点，对连续的视频帧序列进行处理，具体包括如下(A1)-(A6)步骤：
(A1)对视频当前帧f利用光流法检测前景目标；
(A2)如果当前帧f中出现了前景目标，找关键特征点，如果特征点数目大于门限值I(门限值I缺省设为5)，则跳转至步骤(A3)；否则忽略该帧，将该帧标记为前帧fp、将该帧的后帧fn标记为当前帧f，依此类推，然后跳转至步骤(A1)；
(A3)历遍当前帧每个关键特征点，对各点分别记录以下三组参数：其在当前帧f的坐标(此处以(x,y)表示，x为行坐标，y为列坐标)、截止当前帧该特征点共出现的次数、相对运动坐标-即该特征点在fp帧中坐标(xp,yp)与其在当前帧f中坐标(x,y)之间的差值(dx＝x-xp，dy＝y-yp)，若该特征点是首次出现，则直接设其相对运动坐标为(0，0)。注意记录该特征点相对运动坐标时，将数据存放在一个链表中，链表的每一项是该点在二帧间相对运动坐标，例如该点是第N次出现，则记录该点相对运动坐标的链表有N项，第一项为(0，0)，第二项为第二次出现时坐标与第一次出现时坐标差，第三项为第三次出现时坐标与第二次出现时坐标差……，依此类推。
(A4)历遍(A3)中关键特征点，检查每个特征关键点的运动位置变化量，若相对运动坐标中dx或者dy的绝对值大于门限II(缺省设为100)则可能是匹配错误，应将该关键特征点及在步骤(A3)获得的关于该点的参数全部删除，继续检查下一个关键特征点；否则保留该关键特征点及其参数。
(A5)历遍(A4)中保留下来的各关键特征点，检查若某关键特征点截止当前帧f出现的次数大于门限值III(缺省设为5)，说明跟踪的运动目标不是突发的运动干扰而是稳定的运动目标。将在本步骤中大于门限值III的所有关键特征点及其参数传给进程(B)，然后转至步骤(A6)；
(A6)将当前帧改记为fp、将fn帧改记为f，……，依此类推，然后转至步骤(A1)。
进程(B)：关键特征点聚类后聚焦拍照，具体步骤如下(B1)至(B4)：
(B1)对来自进程(A)的所有关键特征点，根据其参数中相对运动坐标中的行坐标符号进行第一次分类，分类规则如下：
只选取满足如下条件的关键特征点：关键特征点连续多帧(缺省设为门限值III-2)相对运动坐标中行坐标dx的符号相同(均为正或者均为负)。对选取的点进行分类：将dx为正的所有关键特征点分为一类(此处称正待分类集合)，dx为负的所有关键特征点分为一类(此处称负待分类集合)，这二类集合中点所属车辆运动方向相反；
(B2)分别对(B1)中的二个待分类集合继续进行第二次分类，目的是将关键特征点聚类，满足一定条件的关键特征点被分到一类并被认为属于同一车辆，以便将相机焦距对准需要拍照的车辆。
对(B1)中二个待分类集合分别进行(B2)步骤第二次分类，(B2)的具体步骤如下(B2-1)至(B-3)：
(B2-1)初始化：建立有一个已知分类，该已知分类中只有一个关键特征点，是从该待分类集合中随机选出的，同时将该关键特征点从待分类集合中删除，重复步骤(B2-2)-(B2-3)直到该待分类集合为空。
(B2-2)从同一待分类集合中任意取出一个点(为后续描述方便，此处记为特征点Pany)，如果该特征点与某个已知分类中特征点在连续二帧中记录相对运动坐标中dx坐标之差的绝对值小于门限IV(缺省设为7)、并且dy坐标之差绝对值小于门限V(缺省设为10)，则将该点放入已知分类中，并从待分类集合中删除该点，转至(B2-2)；否则继续步骤(B2-3)。需要说明的是门限V和门限IV与道路限速有关，当道路限速高时可将这二个门限值可略微大点，但一般不超过30。
(B2-3)由于没有已知分类中的特征点与Pany之间满足步骤(B2-2)中的判决关系，则新创建一个已知分类，将该特征点从待分类集合中删除并放入新创建的已知分类中，转至(B2-2)；
(B3)整理分类结果，删除不合理分类：对(B2)得到的所有已知分类结果进行检查：(1)每个已知分类中特征点数目若小于5个，则认为该已知分类不合理，对该已知分类予以删除；(2)如果该已知分类中所有特征点在当前帧中所围轮廓面积小于门限VI(缺省值设为500，取决于相机架设位置和分辨率)，物体太小没有拍照的意义，则删除该已知分类。
(B4)将保留下来的每个已知分类中各关键特征点当作属于同一车辆的关键特征点，聚焦于同一已知分类中各点围成区域进行拍照，同时对该已知分类中各关键特征点相对运动坐标链表中最后一组(dx、dy)(即当前帧与前面一帧的运动位置变化量)分别求平均，平均值分别标记为(avedx，avedy)。
以下所有步骤为通用车牌识别的方法，即发明中第二步车牌识别，针对聚焦拍照车辆的车牌进行识别。
2、对拍照得到的图像，根据所聚焦的特征点集合(avedx，avedy)值进行滤波去除运动引发的模糊。根据实际应用情况该步骤为可选项，如果车辆本身运动速度慢，例如在收费口时限速很低的区域，拍照图像很清楚，本步可以忽略。
3、车牌定位
由于实际应用中相机架设位置的关系，获取的图像可能包含了车辆的多个部位，而不仅仅是车牌区域，因此在获得图像后需要在图像中首先定位车牌区域。无论是个性车牌还是普通车牌，各国的车牌在外形上都是或接近矩形，因此我们的首要目的就是在拍摄的图片中找到矩形或者接近矩形的结构，这类结构的实际轮廓所围面积与该轮廓外接矩形面积较接近。
(c1)对拍摄图像进行形态学梯度处理得到图像MO，形态学梯度可以突出与周围不同的部分，强调边界，车牌是有边框的，并且这种与车身不同的边界属于强边界。形态学梯度处理突出了边界。
(c2)对图像MO进行otsu二值化处理，得到二值化图像I0；
(c3)对二值化图像I0检索闭合轮廓的个数，注意检索时不仅仅检索最顶层闭合轮廓，还要检索其中包含的闭合轮廓，提取所有闭合轮廓，并存储为双层结构，顶层为外边界，底层为物体内部孔洞的内边界,返回值为二值化图像I0中闭合轮廓的个数。
(c4)初始化矩形备选集合R1为空集
(c5)对(c3)检索到的每个轮廓进行如下运算：确定轮廓外部矩形区域，在此矩形区域内是否有至少4条直线，以斜率相似的直线分为一组，是否该闭合轮廓中至少二组、每组至少二条线直线？如果满足以上条件则将该轮廓加入矩形备选集合R1中，重复这步直到所有内/外轮廓都被检查完毕；
(c6)对矩形备选集合R1中所有轮廓分别如下操作：计算其轮廓所围面积与外接矩形区域的面积，若二者之比在0.85-1.0之间、并且外接矩形区域长度与高度比在1.15-1.65之间，则将轮廓放入矩形备选集合R2中，重复这步直到所有矩形备选集合R1中轮廓被检查完毕；
(c7)对所有矩形备选集合R2中的轮廓进行检查，如果该轮廓不包含另一个存在于备选集合R2中的轮廓，则该轮廓被判为车牌轮廓。
(c8)从拍摄得到的图像中提取车牌轮廓区域图像I，同时在I0中提取与之对应的车牌区域轮廓二值化图I1，以进行后续处理。
4、仿射
车牌区域可能不是完全正对镜头，拍摄到的车牌在图像上有倾斜度，需要对车牌进行仿射矫正，将车牌图片变成无倾斜度的。车牌仿射变换需要提供原始(有倾斜度)车牌的左上、左下、右上三个边界点的x、y坐标，以及矫正后的车牌对应这三个边界点的x、y坐标。
对步骤3获得的车牌轮廓区域，进行霍夫直线检测，对直线上经过点数按照从多到少排列，则必然是车牌上、下边缘的二条直线上包含的点数最多、排在最前面，这二条直线的左起点和右终点坐标即为仿射变换时需要提供的原始坐标。
具体采用步骤(D1)-(D3)实现：
(D1)获得仿射变换前坐标：对I1进行霍夫直线检测，将霍夫变换结果中亮度值最高的二条线找出来，根据车牌特点，则必然是车牌水平方向上、下边缘的二条直线在霍夫变换中亮度最高，在这二条直线中分别找到列坐标Y最大、最小的点，这四个点即是车牌水平方向上、下边缘直线的四个边界点；
(D2)计算仿射变换后坐标，具体步骤如下(D2-1)-(D2-3)：
(D2-1)计算(D1)中获得的左上点与右上点之间距离L1；
(D2-2)计算(D1)中获得的左上点、左下点之间距离L2；
(D2-3)仿射变换后坐标设置如下：左上点坐标(x、y)不变；左下点y坐标更新为与左上点y坐标相同，x坐标更新为左上点x坐标值加上L2；右上点x坐标更新为与左上点x坐标相同，y坐标更新为左上点y坐标值加上L1。
(D3)根据(D1)、(D2)步骤得到的车牌水平上、下边缘中左上点、左下点、右上点原始坐标以及仿射变换后坐标，对图像I进行仿射变换得到角度矫正后的车牌图像I2。
5、车牌内部区域分割、信息提取：
各国车牌无论车牌背景是单一色彩还是有丰富色彩的图案，一个明显特点就是车牌的信息(即前景)与背景底色/背景图案之间的边界非常明显，并且车牌中相同类型信息色彩相同，不同类型的信息比如车牌号码和州/省/郡/签发日等信息色彩不一定相同。例如车牌号信息(前景，这里称为主信息)通常位于车牌中央区域，这些号码均用相同色彩表示，此外有些国家车牌左/右/上/下部会有表示州/省/郡的信息(称为辅助信息，也属于前景)，这些辅助信息若处于相同区域则其色彩相同，即所有上部辅助信息色彩相同，所有下部辅助信息色彩相同，……，本方法利用以上特点提取前景信息，具体步骤(E1)-(E5)如下：
(E1)、车牌背景底色/背景图案边缘初步筛选：对步骤4仿射变换后车牌图像I2采用Sobel算子提取边界，得到边界图像Ia，然后采用Otsu方法对边界图像进行二值化处理得到二值图像Ib。由于前景与背景有明显差异，因此前景与背景之间的边界经sobel算子处理后绝对值非常大，在二值化后前景-背景边界被设定为1。而很多车牌的背景底色是渐变、背景色单一的、背景中图案与车牌底色区别不明显的，这些背景经过Sobel算子处理后，相邻像素之间差异值很小，明显小于前景-背景之间差异，这些背景-背景边界在二值化后会被设定为0。
(E2)、提取主信息：在步骤E1中，并不能剔除一些具有强边缘的背景图案，比如典型的美洲很多车牌背景中含有州/省图案，其中有些背景图案与背景底色之间的边缘较清晰，在步骤E1中无法剔除，需要将主信息与未剔除的图案区进行区分，提取主信息。具体实现方法如下步骤(E2-1)至(E2-3)：
(E2-1)首先对图像Ib检测闭合区域，然后对闭合区域做种子填充，闭合区域内部所有像素点用“1”填充，这样得到的图像称为模板图像Ic，再将Ic与图像I2进行“与”操作，得到图Id，Id中有主、辅助信息、强边缘的背景图等。
(E2-2)对应模板Ic中像素值为1的位置，在图Id中与之对应的位置各像素点做直方图统计，初始化当前像素值pg＝2。
(E2-3)对当前像素值pg进行(E2-3a)至(E2-3d)处理：
(E2-3a)判断是否pg小于254，若否，则表示没有发现主信息，退出整个识别过程，车牌无法识别：若是，则统计步骤(E2-2)直方图中像素值pg-2、pg-1、pg、pg+1、pg+2合计出现的概率，若合计出现的概率超过12％，则转入(E2-3b)；否则更新pg＝pg+1，然后重复本步骤；
(E2-3b)在图Id中，连通为八连通、连通规则为：若相邻像素值分别与pg之差的绝对值不超过2则连通。判断此规则下出现的连通区域个数是否不少于门限VII(缺省设为5)，若是则转到步骤(E2-3c)；如否，更新pg＝pg+1,返回(E2-3a)；
(E2-3c)分别求(E2-3b)中这些连通区域的行坐标X最大值、最小值，统计满足以下条件：最大值大于车牌高度的55％、并且最小值小于车牌高度的40％的连通区域的个数N1，若N1小于门限VII则更新pg＝pg+1，返回(E2-3a)；否则转至(E2-3d)；
(E2-3d)判断满足(E2-3c)中X坐标条件的连通区域为车牌主信息区域，提取这些满足条件连通区域图像，将这些连通区域记录在一个序列中，同时记录这些连通区域行坐标X最大值Xmax、最小值Xmin和列坐标Y最大值Ymax、最小值Ymin，并记录下当前pg值，然后转到步骤E3。
各国车牌不同，但无论哪种车牌主信息都位于车牌中央区域、经过车牌垂直方向中轴线，该信息由字母、文字、数字等组成，并且主信息中的字母、文字、数字都是分开的、个数通常不小于5，因此设门限VII缺省值为5。步骤(E2)可以提取车牌主信息。
(E3)、提取车牌内部矩形区域：车牌有几个特点：(1)车牌上方、下方的辅助信息一般没有明显矩形包围，而车牌左方、右方的辅助信息很多包含在矩形内部；(2)车牌底色图案中通常没有标准矩形图案；(3)如果辅助信息在主信息的上方或下方，辅助信息行坐标与主信息行坐标不会重叠。如果在不含车牌主信息的图中出现面积较大的矩形，认为内部包含辅助信息、需要识别矩形内部的信息。实现的具体步骤如下(E3-1)至(E3-3)：
(E3-1)更新模板图像Ic：对步骤(E2-3d)中获得的主信息区域，在模板Ic中对应位置处像素值改为0，得到更新后的不含主信息的模板图像—此处记为Ic2。
(E3-2)将车牌图像I2与Ic2进行“与”操作，得到的图像记为Ie，Ie中不含车牌主信息、不含车牌背景中边缘强度较弱图案，
(E3-3)做步骤(E3-3a)至(E3-3c)处理去除车牌中边界强度较强的背景图案、提取车牌左、右方辅助信息的矩形(如果有的话)。
(E3-3a)初始化矩形集合为空集，矩形集合用于记录各个矩形；
(E3-3b)对图Ie用Sobel边缘算子提取边界，得到边界图像If，对If进行二值化处理：只要边缘强度大于门限VIII(缺省设为20)则二值化为1，否则为0，得到二值化图像记为Ig。在Ig中检查是否包含闭合轮廓，并记录检测到的闭合轮廓，若闭合轮廓内部包含闭合轮廓，则只记录最顶层闭合轮廓，内部闭合轮廓勿需记录；
(E3-3c)历遍(E3-3b)中得到的所有轮廓，对每个顶层轮廓进行(E3-3C1)至(E3-3C3)操作：
(E3-3c1)该轮廓是否为矩形？如果否，则跳转至(E3-3c2)步骤；若是则继续判断矩形宽、高比值是否在0.6-1.25之间、并且该矩形面积大于车牌面积的5％？若否，则忽略该矩形、对下一个顶层轮廓进行(E3-3c1)步骤；若是则跳转至(E3-3c3)。
(E3-3c2)检查是否该轮廓行坐标x的最小值小于车牌高度的一半、并且x坐标最大值大于车牌高度的一半？若是，则说明该轮廓垂直方向上跨越车牌高度中线，由于车牌中跨越高度中线的主信息已经不包含在Ie中，因此当前闭合轮廓只能被认为是由于其它因素(如图案)造成的，更新模板Ic2：在模板Ic2中该轮廓所包含区域对应位置全部像素值修改为0；若否，则忽略该轮廓，返回(E3-3c1)对下一个轮廓进行处理。
(E3-3c3)该矩形放入矩形集合中，更新模板Ic2，在Ic2中将该矩形内部区域对应位置像素值全部修改为0。
经过(E3-3c)处理后，提取了车牌中面积较大的矩形区域，剔除了位于车牌中部区域的强边界背景图案。该步骤处理完成后，模板Ic2像素值为1的区域对应车牌图I2中无弱背景图案、无位于车牌中部的强背景图案、无矩形内辅助信息、无车牌主信息。
(E4)车牌上方、下方辅助信息定位：车牌中信息无论分几行，行与行之间是有明显间隔的，对模板Ic2做水平方向投影，检测车牌上部、下部的辅助信息(如果有)。
水平投影中，由于垂直方向中间部分(主信息和背景图案)已经被前面的处理剔除了，则如果车牌最上、最下部分有信息的话，必然在该步骤水平投影中出现峰值，如果只有上(或下)部出现峰值，则表明车牌有二部分组成，如果没有明显峰值，则车牌仅有中间信息组成。水平投影后，检查在X坐标在0---Xmin(步骤(E2-3d)中得到)区间内是否有明显峰值区域(即是否投影面积大于门限IX---缺省设为60)？若是则说明上部有内容，至于是辅助信息还是强背景、高度不高的图案此时还不清楚。
同理检查Xmax----车牌高度区间内Ic2水平投影是否有明显峰值(投影面积大于门限IX)？若是则说明下部分有内容。
如果上、下部分投影后都没有明显峰值，说明只有主信息一行，可以转入步骤6进行信息识别了，否则转入(E5)。
(E5)获取上方、下方辅助信息(如果有的话)。注意(E4)中投影的峰值并不意味着一定是有用信息，也可能是车牌具有强边缘、高度低的背景图案出现在车牌上、下区域。但是仅仅位于车牌主信息上方、下方的背景图案和辅助信息特点不同：(1)同一区域辅助信息色彩相同，而背景图案通常会有内部的色彩变化；(2)辅助信息横向跨越区间比较大，而仅仅位于车牌主信息上方、下方的强边缘、低高度背景图案横向跨越区域通常很窄。利用这二个特点可以进一步剔除背景、获取辅助信息。具体步骤见下(E5-1)至(E5-8)：
(E5-1)将车牌图像I2与Ic2做“与”操作，得到的图像记为Ih。若在(E4)中判断上部有内容，则从Ih中提取X坐标在0-Xmin区间的图像，相应也从Ic2中提取X坐标在0-Xmin区间的模板图像；若判断下部有内容则在Ih中提取X坐标在Xmax---车牌高度区间的图像，相应也从Ic2中提取X坐标在Xmax---车牌高度区间的模板图像；
以下操作(E5-2)---(E5-8)是对上、下二个区域分别进行的，为描述方便，将从Ih中提取的一个区域图像称为Re，将从Ic2中提取的对应模板图像标记为Ics；
(E5-2)对Re运用Sobel边缘算子，得到边界图像，对该边界图像进行二值化处理得到图像Rc1，然后对得到的二值化图Rc1检测闭合轮廓，只记录顶层闭合轮廓；
(E5-3)在Rc1中对每个顶层闭合轮廓进行种子填充，得到图像Rc2，将Rc2和Re进行“与”操作，得到图像Re2，同时记录每个顶层闭合轮廓的最大、最小Y坐标；
(E5-4)对Rc1中各个顶层闭合轮廓，统计其在Re2中对应该轮廓所围区域像素平均值和方差；
(E5-5)检查每个轮廓的所围区域均值和方差，若方差大于门限XI(缺省设为20)，则在Ic2中将该轮廓所围区域内所有像素值改为0，判断该轮廓属于非辅助信息；否则判断为“潜在辅助信息”的轮廓；
(E5-6)历遍每个“潜在辅助信息”轮廓，检查该轮廓Y坐标最大值是否大于车牌宽带65％、并且最小值是否小于车牌宽带35％？若是，则保留该轮廓，认为它是辅助信息，可以被送入步骤6进行识别，并将其标记为图标(以便在后续对该区域不做字符分割处理)，同时在Ic2将所有该轮廓所围区域像素值均改为0；若否，则该轮廓被判为属于“孤立潜在辅助信息”的轮廓；
(E5-7)对所有“孤立潜在辅助信息”进行合并处理：如果二个“孤立潜在辅助信息”轮廓中X坐标最小值之差的绝对值不超过5，X坐标最大值之差的绝对值不超过5、并且所围区域像素平均值的差异之绝对值小于10，则认为这二个孤立潜在辅助信息可以合并，将二者Y坐标的最小值中最小的一个、二者Y坐标最大值中大的一个，分别作为合并后新区域Y坐标最小值、最大值，求新区域的像素平均值。重复本步骤直到没有可以合并的“孤立潜在辅助信息”；
(E5-8)检查每个合并后新区域Y坐标最大值是否大于车牌宽带65％并且最小值是否小于车牌宽带35％？如是，则认为它含有辅助信息，需要对区域内每个闭合区域进行字符识别；若否，则说明该区域无实质性信息，直接丢弃该区域，并在Ic2将所有该区域包含的像素点值设为0。
在上、下部分提取的信息，步骤(E5-6)针对有些车牌中辅助信息是图标的情况，比如美国加州车牌，在上区域部分是连体的州名，这类情况相对比较少，因此这部分提取时直接以图像形式提取即可。
步骤(E5)排除了上、下部分强边界、低高度图案等的干扰，提取了车牌上、下部位的辅助信息。
6、字符/图标识别
针对不同情况，识别细分为(F1)至(F4)四个步骤：
(F1)车牌主体信息识别：车牌主信息是最重要的，各国车牌主信息字符都是分割开的，本发明中任何字符识别方法都可以用。比如可将每个字符归一化成相同大小的二维图像M×N大小，然后变换成(M×N)行、1列的矩阵，事先对任何车牌中可能出现的字符进行有监督神经网络训练，然后将每个需要识别的字符送人训练好的神经网络得到识别结果；或者事先对任何车牌中可能出现的每个字符提取特征，将车牌主信息中分割出字符与已知特征进行匹配识别。……等等方法不一一罗列。
(F2)车牌矩形区域内辅助信息处理：对步骤(E3-3C3)得到矩形区域内进行字符分割提出，矩形区域内底色作为背景，而且这种背景是底色均匀的，信息作为前景。对矩形区域内图像运用边缘算子，提取字符边缘图像并二值化，然后在二值化图像中检测闭合轮廓，对闭合轮廓进行填充，对填充后的二值化图像做垂直/水平投影分割字符，每个字符进行字符识别。这是由于通常矩形区域内信息每个字符是分开的，分割后采用同(F1)中相同的识别方法，任何字符识别方法均可。
(F3)上、下部分辅助信息如果没有被标记为图标，则对每个字符识别采用任何字符识别方法。
(F4)上、下部辅助信息如果标记为图标，则意味着是图而非字符的形式的信息，这类情况比较少，只要在识别系统中加入几个这种图标辅助信息的模板，做模板匹配即可识别。
随着越来越多车牌跨国行驶，车牌特点相差很远的车辆不需要再所经过国家挂上临时车牌也可形式，该发明具有实用意义。

Claims (4)

1.一种通用车牌识别方法，其特征在于，具体包括如下步骤：
1)触发相机进行视频拍摄，具体包括二个独立进程：(A)光流法获得运动前景并提取关键特征点；(B)关键特征点聚类后聚焦拍照；
2)运动图像去模糊：视频所得图像清晰，则进入步骤3)，如视频所得图像清晰度不够，根据步骤1)中(B)所得到的聚焦特征点集合值进行滤波去除运动引发的模糊；
3)车牌定位，得到车牌区域轮廓二值化图I1；
4)仿射，对拍摄到的车牌在图像的倾斜度仿射矫正，根据I1计算仿射变换的参数，对I进行仿射变换得到仿射变换后车牌图像I2；
5)车牌内部区域分割，提取信息：对步骤4)仿射变换后车牌图像I2采用Sobel算子提取边界，进行车牌背景底色/背景图案边缘初步筛选；将主信息与未剔除的图案区进行区分，提取主信息；提取车牌内部矩形区域；车牌上方、下方辅助信息定位；检测车牌是否有上部、下部的辅助信息，如有获取上方、下方辅助信息；
6)字符/图标识别：对步骤5)区域内的信息进行字符/图标识别，完成整个车牌识别。
2.根据权利要求1所述通用车牌识别方法，其特征在于，所述步骤1)中(A)光流法获得运动前景并提取关键特征点的具体实现步骤如下(A1)至(A6)：设当前帧为f，该帧的前帧为fp，该帧的后帧为fn，
(A1)对视频当前帧f利用光流法检测前景目标；
(A2)如果当前帧f中出现了前景目标，找关键特征点，如果特征点数目大于门限值I，则跳转至步骤(A3)；否则忽略该帧，将该帧标记为前帧fp、将该帧的后帧fn标记为当前帧f，依此类推，然后跳转至步骤(A1)；
(A3)历遍当前帧每个关键特征点，对各点分别记录以下三组参数：其在当前帧f的坐标(x,y)、截止当前帧该特征点共出现的次数、相对运动坐标-即该特征点在fp帧中坐标(xp,yp)与其在当前帧f中坐标(x,y)之间的差值dx＝x-xp，dy＝y-yp，若该特征点是首次出现，则直接设其相对运动坐标为(0，0)；记录该特征点相对运动坐标时，将数据存放在一个链表中，链表的每一项是该点在二帧间相对运动坐标，x为行坐标，y为列坐标；
(A4)历遍(A3)中关键特征点，检查每个特征关键点的运动位置变化量，若相对运动坐标中dx或者dy的绝对值大于门限II则判断可能是匹配错误，将该关键特征点及在步骤(A3)获得的关于该点的参数全部删除，继续检查下一个关键特征点；否则保留该关键特征点及其参数；
(A5)历遍(A4)中保留下来的各关键特征点，检查若某关键特征点截止当前帧f出现的次数大于门限值III，说明跟踪的运动目标不是突发的运动干扰而是稳定的运动目标，将在本步骤中大于门限值III的所有关键特征点及其参数传给进程(B)，然后转至步骤(A6)；
(A6)将当前帧改记为fp、将fn帧改记为f，……，依此类推，然后转至步骤(A1)。
3.根据权利要求1或2所述通用车牌识别方法，其特征在于，所述步骤1)中(B)关键特征点聚类后聚焦拍照，具体步骤如下(B1)至(B4)：
(B1)对来自进程(A)的所有关键特征点，根据其参数中相对运动坐标中的行坐标符号进行第一次分类，分类规则如下：
只选取满足如下条件的关键特征点：关键特征点连续多帧相对运动坐标中行坐标dx的符号相同，即均为正或者均为负；对选取的点进行分类：将dx为正的所有关键特征点分为一类，称正待分类集合；dx为负的所有关键特征点分为一类，称负待分类集合；这二类集合中点所属车辆运动方向相反；
(B2)分别对(B1)中的二个待分类集合继续进行第二次分类，目的是将关键特征点聚类，满足一定条件的关键特征点被分到一类并被认为属于同一车辆，以便将相机焦距对准需要拍照的车辆；
对(B1)中二个待分类集合分别进行(B2)步骤第二次分类，(B2)的具体步骤如下(B2-1)至(B-3)：
(B2-1)初始化：只建立一个已知分类，该已知分类中只有一个关键特征点，是从该待分类集合中随机选出的，同时将该关键特征点从待分类集合中删除，重复步骤(B2-2)-(B2-3)直到该待分类集合为空；
(B2-2)从同一待分类集合中任意取出一个点，记为特征点Pany，如果该特征点与某个已知分类中特征点在连续二帧中记录相对运动坐标中dx坐标之差的绝对值小于门限IV、并且dy坐标之差绝对值小于门限V，则将该点放入该已知分类中，并从待分类集合中删除该点，转至(B2-2)；否则继续步骤(B2-3)；其中门限V和门限IV与道路限速有关，当道路限速高时将这二个门限值略微大点，但不超过30；
(B2-3)如没有已知分类中的特征点与Pany之间满足步骤(B2-2)中的判决关系，则新创建一个已知分类，将该特征点从待分类集合中删除并放入新创建的已知分类中，转至(B2-2)；
(B3)整理分类结果，删除不合理分类：对(B2)得到的所有已知分类结果进行检查：(1)每个已知分类中特征点数目若小于5个，则认为该已知分类不合理，对该已知分类予以删除；(2)如果该已知分类中所有特征点在当前帧中所围轮廓面积小于门限VI，门限VI取决于相机架设位置和分辨率，物体太小没有拍照的意义，则删除该已知分类；
(B4)将保留下来的每个已知分类中各关键特征点当作属于同一车辆的关键特征点，聚焦于同一已知分类中各点围成区域进行拍照，同时对该已知分类中各关键特征点相对运动坐标链表中最后一组(dx、dy)，即当前帧与前面一帧的运动位置变化量，分别求平均，平均值分别标记为(avedx，avedy)。
4.根据权利要求3所述通用车牌识别方法，其特征在于，所述步骤5)所示车牌内部区域分割，提取信息的具体步骤如下(E1)-(E5)：
(E1)、车牌背景底色/背景图案边缘初步筛选：对步骤4)仿射变换后车牌图像I2采用Sobel算子提取边界，得到边界图像Ia，然后采用Otsu方法对边界图像进行二值化处理得到二值图像Ib；前景与背景之间的边界经sobel算子处理后绝对值非常大，在二值化后前景-背景边界被设定为1，背景经过Sobel算子处理后，相邻像素之间差异值很小，背景-背景边界在二值化后会被设定为0；
(E2)、提取主信息：将主信息与未剔除的图案区进行区分，提取主信息，具体实现方法如下步骤(E2-1)至(E2-3)：
(E2-1)首先对图像Ib检测闭合区域，然后对闭合区域做种子填充，闭合区域内部所有像素点用“1”填充，这样得到的图像称为模板图像Ic，再将Ic与图像I2进行“与”操作，得到图Id，Id中有主、辅助信息、强边缘的背景图；
(E2-2)对应模板Ic中像素值为1的位置，在图Id中与之对应的位置各像素点做直方图统计，初始化当前像素值pg＝2；
(E2-3)对当前像素值pg进行(E2-3a)至(E2-3d)处理：
(E2-3a)判断是否pg小于254，若否，则表示没有发现主信息，退出整个识别过程，车牌无法识别：若是，则统计步骤(E2-2)直方图中像素值pg-2、pg-1、pg、pg+1、pg+2合计出现的概率，若合计出现的概率超过12％，则转入(E2-3b)；否则更新pg＝pg+1，然后重复本步骤；
(E2-3b)在图Id中，连通为八连通、连通规则为：若相邻像素值分别与pg之差的绝对值不超过2则连通；判断此规则下出现的连通区域个数是否不少于门限VII，若是则转到步骤(E2-3c)；如否，更新pg＝pg+1,返回(E2-3a)；
(E2-3c)分别求(E2-3b)中这些连通区域的行坐标X最大值、最小值，统计满足以下条件：最大值大于车牌高度的55％、并且最小值小于车牌高度的40％的连通区域的个数N1，若N1小于门限VII则更新pg＝pg+1，返回(E2-3a)；否则转至(E2-3d)；
(E2-3d)判断满足(E2-3c)中X坐标条件的连通区域为车牌主信息区域，提取这些满足条件连通区域图像，将这些连通区域记录在一个序列中，同时记录这些连通区域行坐标X最大值Xmax、最小值Xmin和列坐标Y最大值Ymax、最小值Ymin，并记录下当前pg值，然后转到步骤(E3)；
(E3)、提取车牌内部矩形区域：具体做法如下(E3-1)至(E3-3)：
(E3-1)更新模板图像Ic：对步骤(E2-3d)中获得的主信息区域，在模板Ic中对应位置处像素值改为0，得到更新后的不含主信息的模板图像—此处记为Ic2；
(E3-2)将车牌图像I2与Ic2进行“与”操作，得到的图像记为Ie，Ie中不含车牌主信息、不含车牌背景中边缘强度较弱图案；
(E3-3)做步骤(E3-3a)至(E3-3c)处理去除车牌中边界强度较强的背景图案、提取车牌左、右方辅助信息的矩形；
(E3-3a)初始化矩形集合为空集，矩形集合用于记录各个矩形；
(E3-3b)对图Ie用Sobel边缘算子提取边界，得到边界图像If，对If进行二值化处理：只要边缘强度大于门限VIII则二值化为1，否则为0，得到二值化图像记为Ig；在Ig中检查是否包含闭合轮廓，并记录检测到的闭合轮廓，若闭合轮廓内部包含闭合轮廓，则只记录最顶层闭合轮廓，内部闭合轮廓勿需记录；
(E3-3c)历遍(E3-3b)中得到的所有轮廓，对每个顶层轮廓进行如下操作(E3-3C1)至(E3-3C3)：
(E3-3c1)该轮廓是否为矩形？如果否，则跳转至(E3-3c2)步骤；若是则继续判断矩形宽、高比值是否在0.6-1.25之间、并且该矩形面积大于车牌面积的5％？若否，则忽略该矩形、对下一个顶层轮廓进行(E3-3c1)步骤；若是则跳转至(E3-3c3)；
(E3-3c2)检查是否该轮廓行坐标X最小值小于车牌高度的一半、并且行坐标X最大值大于车牌高度的一半？若是，更新模板Ic2，即在模板Ic2中该轮廓所包含区域对应位置全部像素值修改为0；若否，则忽略该轮廓，返回(E3-3c1)对下一个轮廓进行处理；
(E3-3c3)该矩形放入矩形集合中，更新模板Ic2，在Ic2中将该矩形内部区域对应位置像素值全部修改为0；
模板Ic2像素值为1的区域对应车牌图I2中无弱背景图案、无位于车牌中部的强背景图案、无矩形内辅助信息、无车牌主信息；
(E4)车牌上方、下方辅助信息定位：车牌中信息无论分几行，行与行之间是有明显间隔的，对模板Ic2做水平方向投影，水平投影中出现峰值，如果只有上或下部出现峰值，则表明车牌有二部分组成，如果没有明显峰值，则车牌仅有中间信息组成；如果上、下部分投影后都没有明显峰值，说明只有主信息一行，可以转入步骤6)进行信息识别了，否则转入(E5)；
(E5)获取上方、下方辅助信息：具体步骤如下(E5-1)至(E5-8)：
(E5-1)将车牌图像I2与Ic2做“与”操作，得到的图像记为Ih；若在(E4)中判断上部有内容，则从Ih中提取X坐标在0-Xmin区间的图像，相应也从Ic2中提取X坐标在0-Xmin区间的模板图像；若判断下部有内容则在Ih中提取X坐标在Xmax---车牌高度区间的图像，相应也从Ic2中提取X坐标在Xmax---车牌高度区间的模板图像；
(E5-2)---(E5-8)是对上、下二个区域分别进行的，将从Ih中提取的一个区域图像称为Re，将从Ic2中提取的对应模板图像标记为Ics；
(E5-2)对Re运用Sobel边缘算子，得到边界图像，对该边界图像进行二值化处理得到图像Rc1，然后对得到的二值化图Rc1检测闭合轮廓，只记录顶层闭合轮廓；
(E5-3)在Rc1中对每个顶层闭合轮廓进行种子填充，得到图像Rc2，将Rc2和Re进行“与”操作，得到图像Re2，同时记录每个顶层闭合轮廓的最大、最小Y坐标；
(E5-4)对Rc1中各个顶层闭合轮廓，统计其在Re2中对应该轮廓所围区域像素平均值和方差；
(E5-5)检查每个轮廓的所围区域均值和方差，若方差大于门限XI，则在Ic2中将该轮廓所围区域内所有像素值改为0，判断该轮廓属于非辅助信息；否则判断为“潜在辅助信息”的轮廓；
(E5-6)历遍每个“潜在辅助信息”轮廓，检查该轮廓Y坐标最大值是否大于车牌宽带65％、并且最小值是否小于车牌宽带35％？若是，则保留该轮廓，认为它是辅助信息，可以被送入步骤6)进行识别，并将其标记为图标，以便在后续对该区域不做字符分割处理，同时在Ic2将所有该轮廓所围区域像素值均改为0；若否，则该轮廓被判为属于“孤立潜在辅助信息”的轮廓；
(E5-7)对所有“孤立潜在辅助信息”进行合并处理：如果二个“孤立潜在辅助信息”轮廓中X坐标最小值之差的绝对值不超过5，X坐标最大值之差的绝对值不超过5、并且所围区域像素平均值的差异之绝对值小于10，则认为这二个孤立潜在辅助信息可以合并，将二者Y坐标的最小值中最小的一个、二者Y坐标最大值中大的一个，分别作为合并后新区域Y坐标最小值、最大值，求新区域的像素平均值，重复本步骤直到没有可以合并的“孤立潜在辅助信息”；
(E5-8)检查每个合并后新区域Y坐标最大值是否大于车牌宽带65％并且最小值是否小于车牌宽带35％？如是，则认为它含有辅助信息，需要对区域内每个闭合区域进行字符识别；若否，则说明该区域无实质性信息，直接丢弃该区域，并在Ic2将所有该区域包含的像素点值设为0。
CN201710316982.9A 2017-05-08 2017-05-08 通用车牌识别方法 Expired - Fee Related CN107180230B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710316982.9A CN107180230B (zh) 2017-05-08 2017-05-08 通用车牌识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710316982.9A CN107180230B (zh) 2017-05-08 2017-05-08 通用车牌识别方法

Publications (2)

Publication Number Publication Date
CN107180230A true CN107180230A (zh) 2017-09-19
CN107180230B CN107180230B (zh) 2020-06-23

Family

ID=59831082

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710316982.9A Expired - Fee Related CN107180230B (zh) 2017-05-08 2017-05-08 通用车牌识别方法

Country Status (1)

Country Link
CN (1) CN107180230B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108256526A (zh) * 2017-12-07 2018-07-06 上海理工大学 一种基于机器视觉的机动车车牌定位检测方法
CN108701234A (zh) * 2018-03-05 2018-10-23 深圳前海达闼云端智能科技有限公司 车牌识别方法及云系统
CN109784309A (zh) * 2019-02-01 2019-05-21 上海智能交通有限公司 一种基于车载相机的高速公路广告牌识别系统及方法
CN109858339A (zh) * 2018-12-22 2019-06-07 深圳市珍爱捷云信息技术有限公司 信息验证方法、装置、计算机设备及计算机可读存储介质
CN111429394A (zh) * 2019-01-08 2020-07-17 阿里巴巴集团控股有限公司 基于图像的检测方法、装置、电子设备和存储介质
CN113392819A (zh) * 2021-08-17 2021-09-14 北京航空航天大学 一种批量化学术图像自动分割标注装置和方法
CN115079155A (zh) * 2022-05-27 2022-09-20 中国第一汽车股份有限公司 目标检测方法、装置和车辆

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101339601A (zh) * 2008-08-15 2009-01-07 张擎宇 一种基于sift算法的车牌汉字识别方法
CN101339697A (zh) * 2008-08-14 2009-01-07 北京中星微电子有限公司 车辆闯红灯的检测系统及方法
CN101398894A (zh) * 2008-06-17 2009-04-01 浙江师范大学 机动车车牌自动识别方法及其实现装置
CN101807257A (zh) * 2010-05-12 2010-08-18 上海交通大学 图像标签信息识别方法
CN101859382A (zh) * 2010-06-03 2010-10-13 复旦大学 一种基于最大稳定极值区域的车牌检测与识别的方法
CN103065135A (zh) * 2013-01-25 2013-04-24 上海理工大学 基于数字图像处理的车牌号码匹配算法
CN104050450A (zh) * 2014-06-16 2014-09-17 西安通瑞新材料开发有限公司 一种基于视频的车牌识别方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101398894A (zh) * 2008-06-17 2009-04-01 浙江师范大学 机动车车牌自动识别方法及其实现装置
CN101339697A (zh) * 2008-08-14 2009-01-07 北京中星微电子有限公司 车辆闯红灯的检测系统及方法
CN101339601A (zh) * 2008-08-15 2009-01-07 张擎宇 一种基于sift算法的车牌汉字识别方法
CN101807257A (zh) * 2010-05-12 2010-08-18 上海交通大学 图像标签信息识别方法
CN101859382A (zh) * 2010-06-03 2010-10-13 复旦大学 一种基于最大稳定极值区域的车牌检测与识别的方法
CN103065135A (zh) * 2013-01-25 2013-04-24 上海理工大学 基于数字图像处理的车牌号码匹配算法
CN104050450A (zh) * 2014-06-16 2014-09-17 西安通瑞新材料开发有限公司 一种基于视频的车牌识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
陈建恺: "《基于视频的嵌入式车牌识别系统的研究》", 《中国优秀硕士学位论文全文数据库（电子期刊），信息科技辑》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108256526A (zh) * 2017-12-07 2018-07-06 上海理工大学 一种基于机器视觉的机动车车牌定位检测方法
CN108256526B (zh) * 2017-12-07 2022-01-18 上海理工大学 一种基于机器视觉的机动车车牌定位检测方法
CN108701234A (zh) * 2018-03-05 2018-10-23 深圳前海达闼云端智能科技有限公司 车牌识别方法及云系统
WO2019169532A1 (zh) * 2018-03-05 2019-09-12 深圳前海达闼云端智能科技有限公司 车牌识别方法及云系统
CN109858339A (zh) * 2018-12-22 2019-06-07 深圳市珍爱捷云信息技术有限公司 信息验证方法、装置、计算机设备及计算机可读存储介质
CN109858339B (zh) * 2018-12-22 2023-06-09 深圳市珍爱捷云信息技术有限公司 信息验证方法、装置、计算机设备及计算机可读存储介质
CN111429394A (zh) * 2019-01-08 2020-07-17 阿里巴巴集团控股有限公司 基于图像的检测方法、装置、电子设备和存储介质
CN111429394B (zh) * 2019-01-08 2024-03-01 阿里巴巴集团控股有限公司 基于图像的检测方法、装置、电子设备和存储介质
CN109784309A (zh) * 2019-02-01 2019-05-21 上海智能交通有限公司 一种基于车载相机的高速公路广告牌识别系统及方法
CN113392819A (zh) * 2021-08-17 2021-09-14 北京航空航天大学 一种批量化学术图像自动分割标注装置和方法
CN113392819B (zh) * 2021-08-17 2022-03-08 北京航空航天大学 一种批量化学术图像自动分割标注装置和方法
CN115079155A (zh) * 2022-05-27 2022-09-20 中国第一汽车股份有限公司 目标检测方法、装置和车辆

Also Published As

Publication number Publication date
CN107180230B (zh) 2020-06-23

Similar Documents

Publication Publication Date Title
CN107180230A (zh) 通用车牌识别方法
CN105373794B (zh) 一种车牌识别方法
CN106682601B (zh) 一种基于多维信息特征融合的驾驶员违规通话检测方法
CN106886987B (zh) 一种列车车牌二值化图像融合方法
CN101859382B (zh) 一种基于最大稳定极值区域的车牌检测与识别的方法
CN110569905B (zh) 基于生成对抗网络和注意力网络的细粒度图像分类方法
CN104778444B (zh) 道路场景下车辆图像的表观特征分析方法
CN108734189A (zh) 浓雾天气下基于大气散射模型和深度学习的车牌识别系统
DE19831413C2 (de) Bildverarbeitungsverfahren und Vorrichtungen zur Erkennung von Objekten im Verkehr
Al-Hmouz et al. License plate localization based on a probabilistic model
CN106469309A (zh) 车辆监控的方法和装置、处理器、图像采集设备
CN106529592A (zh) 一种基于混合特征与灰度投影的车牌识别方法
CN106686280A (zh) 影像修补系统及其方法
CN106650731A (zh) 一种鲁棒的车牌、车标识别方法
CN106709530A (zh) 基于视频的车牌识别方法
CN109299672B (zh) 自适应调节阈值和算法结构的停车事件检测系统及方法
CN107704833A (zh) 一种基于机器学习的前方车辆检测与跟踪方法
CN112115800A (zh) 一种基于深度学习目标检测的车辆组合识别系统及方法
KR100942409B1 (ko) 고속 이동 차량 검지 방법
Yung et al. Recognition of vehicle registration mark on moving vehicles in an outdoor environment
CN110046618B (zh) 基于机器学习和最大极值稳定区域的车牌识别方法
CN106778765A (zh) 一种车牌识别的方法及装置
JP2893948B2 (ja) ナンバープレート認識装置
He et al. Combining global and local features for detection of license plates in video
Nguyen et al. Triple detector based on feature pyramid network for license plate detection and recognition system in unusual conditions

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200623

CF01 Termination of patent right due to non-payment of annual fee