CN106650731A - 一种鲁棒的车牌、车标识别方法 - Google Patents
一种鲁棒的车牌、车标识别方法 Download PDFInfo
- Publication number
- CN106650731A CN106650731A CN201611206923.8A CN201611206923A CN106650731A CN 106650731 A CN106650731 A CN 106650731A CN 201611206923 A CN201611206923 A CN 201611206923A CN 106650731 A CN106650731 A CN 106650731A
- Authority
- CN
- China
- Prior art keywords
- window
- logo
- area
- license plate
- vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 83
- 238000001514 detection method Methods 0.000 claims abstract description 31
- 238000004458 analytical method Methods 0.000 claims abstract description 20
- 230000008569 process Effects 0.000 claims abstract description 16
- 238000012216 screening Methods 0.000 claims abstract description 4
- 238000012360 testing method Methods 0.000 claims description 13
- 239000011159 matrix material Substances 0.000 claims description 12
- 238000012549 training Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 7
- 238000001914 filtration Methods 0.000 claims description 5
- 238000007689 inspection Methods 0.000 claims description 5
- 101100537274 Homo sapiens TIMM8B gene Proteins 0.000 claims description 4
- 102100036655 Mitochondrial import inner membrane translocase subunit Tim8 B Human genes 0.000 claims description 4
- 230000006870 function Effects 0.000 claims description 4
- 238000009966 trimming Methods 0.000 claims description 4
- 239000000284 extract Substances 0.000 claims description 3
- 239000000203 mixture Substances 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 abstract description 16
- 238000005286 illumination Methods 0.000 abstract description 4
- 238000005457 optimization Methods 0.000 abstract description 3
- 238000011109 contamination Methods 0.000 abstract 1
- 238000005516 engineering process Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 7
- 230000000007 visual effect Effects 0.000 description 3
- 230000007812 deficiency Effects 0.000 description 2
- 230000007935 neutral effect Effects 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2136—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on sparsity criteria, e.g. with an overcomplete basis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/14—Image acquisition
- G06V30/148—Segmentation of character regions
- G06V30/158—Segmentation of character regions using character size, text spacings or pitch estimation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
- G06V20/625—License plates
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开一种鲁棒的车牌、车标识别方法。采用基于Adaboost检测、SVM筛选以及纹理分析去边的方法进行车牌精确检测,以有效应对不同场景、光照、视角、分辨率等,检测出的车牌区域只包含较少的背景。以最大稳定极值区域检测为主、滑动窗检测为辅,配合能量优化进行车牌识别,不仅能够有效地检测出传统的基于字符分割方法难以处理的车牌污损、分辨率不足等情况下的字符,而且使得字符检测与识别同步进行,打破传统的“先分割再识别”的模式。采用基于置信度加权的特征编码表达车标样本,利用基于组稀疏的判别性字典对模型识别编码的车标特征,对包含复杂背景的车标样本具有较强的鲁棒性。
Description
技术领域
本发明涉及智能交通领域,具体地,涉及一种鲁棒的车牌、车标识别方法。
背景技术
近年来,随着人们生活品质的逐步提升,汽车的需求量也日益增大。为了提高道路交通管理效率,有效应对盗车、违规驾驶等交通问题,智能交通系统应运而生,其关键技术包括车牌和车标识别。车牌是车辆的唯一标识,自动并正确地识别车牌有利于提高交通与车辆管理效率。然而,仅仅依靠车牌识别技术并不足以解决日趋复杂的交通问题。车标作为区分不同汽车厂商最显著的标识,可以有效弥补车牌识别技术存在的不足,大大提升系统的可靠性。
车牌识别方法通常包括车牌检测、字符分割、字符识别等步骤。Thanongsak等提出一种基于车牌模式和监督学习的4层反向传播神经网络,识别率达96%。Menotti等的卷积神经网络与SVM相结合的方法,精度达96%以上。Sharma等利用小波变换获取特征,结合多类径向基的神经网络的方法,定位精度为97.6%,识别率达98.8%。王毅等人提出一种基于HVS色彩模型结合Adaboost的车牌检测方法,定位成功率达98.1%。但是由于拍摄视角、光照、分辨率、场景等因素的影响,在现有方法中。字符分割往往是整个方法的关键,常用的方法有垂直投影法,连通域分析法等,其效果直接决定着后续的识别。然而,车牌污损、不清晰等因素使得传统的过于依赖字符分割的方法性能大大降低。
在车标识别方面,现有的一些方法有:Sam等的径向切比雪夫的方法,识别率达92%,但其测试样本较少,代表性不强;Zhang等的模板匹配的方法,识别率达95%;Llorca等的HOG+SVM的方法,识别率达92.6%;Psyllos等的基于Merge-SIFT特征的方法,识别率达94.6%,但对低分辨率的情况效果不好;Yu等的基于Bag-of-Words的方法,识别率达97.3%,其样本为分割较好、仅包含车标的图像,对于实际中粗略分割的样本鲁棒性差。Huang等的基于预训练的卷积神经网络的方法,识别率达99.07%。虽然,上述方法取得了不错的效果,但大多是基于已经定位分割得比较理想的车标样本,而目前现有方法在车标定位上的准确率往往还不能令人满意,从而使这些依赖于准确定位分割的方法难以有效处理实际应用中包含复杂背景的车标图片。
发明内容
为了克服上述现有技术的不足,本发明首先提出一种鲁棒的车牌识别方法。该方法具有鲁棒性强、避免过于依赖字符分割的优点。
本发明还提出一种鲁棒的车标识别方法,该方法对于不精确的车标定位具有较好的鲁棒性。
为了实现上述目的,本发明的技术方案为:
一种鲁棒的车牌识别方法,包括车牌检测阶段和车牌识别阶段,在车牌检测阶段实现车牌区域的定位,基于定位后的车牌图像再进行车牌识别,其中车牌识别阶段具体实现过程为:
11)对定位后车牌区域进行灰度化;
12)利用最大稳定极值区域MSER检测方法在灰度化的车牌区域中寻找最大稳定极值区域,并对其检测结果进行候选字符窗口的排序,具体是根据每个候选字符窗口左上角起点的横坐标进行排序;
13)对MSER的检测结果进行非字符窗口的初步滤除;
14)记录并保存初步过滤后的每个候选字符窗口的置信度、中心点坐标以及宽和高,进而得到该特定车牌的字符宽、高均值;
15)利用保存的中心点坐标以及特定车牌的字符宽、高的均值进行字符窗口恢复;
16)利用基于滑动窗的检测方法和该特定车牌字符宽、高的均值,进一步检测MSER方法可能漏检的字符;
17)利用能量优化的方法对候选字符窗口进行识别,输出最终车牌识别的结果;能量优化方程如下式所示:
其中,x={xi|i=1,2,...,n}为窗口类标的集合,xi表示第i个窗口的类标,Ei(xi)=1-p(xi|ci)为一元项,表示自能量,其中ci表示第i个窗口,p(xi|ci)为窗口ci属于xi类的概率。Eij(xi,xj)为二元项,表示互能量,当xi与xj均为背景类时,Eij(xi,xj)=0,否则Eij(xi,xj)=λexp(-[100-Overlap(xi,xj)]2),其中Overlap(xi,xj)表示窗口之间重叠部分占窗口总面积的百分数,λ为调整互能量权重的参数,ε表示互有交集的窗口对的集合。
车牌检测阶段的具体实现过程为:
21)用Adaboost检测器对车牌样本进行检测,获取若干个候选区域;
22)利用SVM分类器对Adaboost检测结果进行筛选,找出置信度最高的区域;
23)对SVM的筛选结果进行纹理分析,确定车牌的边界,获取精确定位的车牌区域;
24)对纹理分析的结果进行判定,基于下面的公式,当θ>0.8时,则没有过分割,保留基于纹理分析的定位结果,否则拒绝基于纹理分析的定位结果,保留SVM筛选及精确定位后的结果;
其中AreaTexture_analysis表示基于纹理分析去边处理后车牌区域的面积,AreaSVM表示SVM筛选及精确定位后车牌区域的面积。
一种基于所述车牌识别方法的车标识别方法,包括以下步骤:
31)根据车标与车牌位置关系的先验知识,以及精确定位的车牌位置坐标,获得车标所在的大致区域;
32)利用Adaboost检测器在大致区域中进行车标检测,获得车标的候选区域(记为ROI),在这些ROI的并集区域内等间隔地提取局部描述子;接着对所有ROI进行加权,构建权值图,具体过程如下:
构建一张尺寸与输入图像I相同的辅助权值图W,令Ri∈S为第i个ROI的像素位置集合,S为输入图像中所有ROI的集合,RI为输入图像中所有像素位置的集合,对于每一个Ri,利用下式计算其权值分布,
其中,|Ri|表示Ri中所有像素的数量,(x,y)表示像素的坐标。假设每个ROI同等重要,利用下式合并图片中所有ROI的权重分布,从而构建出完整的权值图;
33)利用加权的特征编码方式对车标样本进行表达,具体过程如下:
设为提取的局部描述子特征向量集合,l为特征维数,N为特征向量的个数。利用K-means生成一个包含M个聚类的码本
求解与特征向量yi相对应的编码向量ci,如下式:
其中,符号⊙表示逐个元素相乘,λ为调节保真度和规范化之间平衡的参数;di刻画yi与码本B中各码字bj的相似关系,用于调节ci的局部性,由下式求得:
其中,||yi,B||=[||y1,b1||,||y2,b2||,...,||yi,bM||]T,||yi,bj||表示yi与bj之间的欧式距离,参数σ用于调整局部性;
为了提高编码效率,对每个yi∈Y,选出使其欧式距离||yi,B||最小的前K个码字,构成局部基向量矩阵对应的编码向量通过下式最小化求解:
接着,利用学习得到的权值图W对局部编码向量进行加权,如下式所示:
ci←W(x,y)ci
即利用(x,y)处的权值W(x,y)来加权与该处描述子所对应的编码向量ci;
接着,需要对加权后的编码向量进行最大值池化,如下式:
c=max(c1,c2,...,cN)
其中max执行逐分量的最大化操作。引入空间金字塔结构在多个尺度下对编码向量进行分区域的池化处理。金字塔被分成L层,在第r层(r=1,2,...,L),图像的特征空间会被分成2r-1×2r-1个矩形区域,在其中每个矩形区域内提取l维池化的编码向量。将每层的特征向量全部串联起来构成最终维的向量。
34)利用区分性字典对学习(DDPL)方法对编码特征进行识别并输出结果:
设X=[X1,X2,...,XK]为包含K类的训练样本集,为第k类的子集,p为特征向量维数,h为每类样本的数量。令D为所要学习的字典,A为编码系数矩阵。
基于组稀疏的区分性字典对模型,目标函数定义如下式:
其中,{Dk,Pk}构成了关于第k类的子字典对;Ak是第k类的的编码系数矩阵;表示除了Xk之外的所有训练样本;参数λ>0控制Pk对的表达;τ、ω为正,用于平衡对应项的贡献;mk是Ak的均值列向量,m是所有类的均值列向量,Mk是各列为mk的矩阵;di表示D的第i列,用于避免平凡解。
与传统技术相比,本发明的优点有:
(1)针对传统的车牌检测方法鲁棒性不强、分割出的车牌区域含有较多背景的问题,本发明提出一种结合Adaboost检测、SVM筛选以及纹理分析去边的车牌精确检测方法,对光照、视角、分辨率、场景等具有较好的鲁棒性,大大减少了检测出的车牌区域中的背景干扰。
(2)针对传统的车牌识别技术过于依赖准确的字符分割的问题,本发明提出一种以最大稳定极值区域检测为主、滑动窗检测为辅,结合能量优化的车牌识别方法,能够有效检出传统的字符分割方法难以处理的车牌污损、不清晰等情况下的字符,而且使得字符检测与识别同步进行,打破传统的“先分割再识别”的模式。
(3)针对传统车标识别技术对车标定位依赖较大的问题,本发明提出一种基于加权的特征编码和基于判别性字典对的稀疏表达车标识别方法,在仅提供粗定位的车标区域时也能够取得高识别率。
附图说明
图1为车牌检测模块实现流程图。
图2为车牌识别模块实现流程图。
图3为车标识别模块实现流程图。
图4为本发明车牌车标识别方法的总体实现流程图。
具体实施方式
下面结合附图对本发明做进一步的描述,但本发明的实施方式并不限于此。
本发明的车牌车标组合识别方法,具有较强的鲁棒性。其主要实现两个功能:一是对待检车辆进行车牌识别;二是对待检车辆进行车标识别。总体过程是首先检测出车牌的位置,根据先验知识获得粗分割的车标,再利用本发明的方法对车牌和车标进行识别。
车牌识别和车标识别:
(一)车牌识别
车牌识别阶段主要包括两大模块:车牌检测阶段和车牌识别阶段。
(1)车牌检测阶段,如图1;
1)利用Adaboost检测器对样本进行检测,获取若干个候选区域。
2)利用SVM分类器对Adaboost检测结果进行筛选,找出置信度最高的区域。
3)对SVM的筛选结果进行纹理分析,通过对目标区域的前景线、前景点比例、背景线等统计,从而确定车牌的边界,最终获取精确定位的车牌区域。
4)对纹理分析的结果进行判定,去除过分割的情况。如式(1)所示,当θ>0.8时,认为没有过分割,保留基于纹理分析的定位结果,否则拒绝基于纹理分析的定位结果,保留SVM筛选及精确定位后的结果;
(2)车牌识别阶段,如图2;
本发明中提出了一种以最大稳定极值区域检测(MSER)为主,滑动窗检测为辅,结合能量优化的车牌识别方法。具体过程如下:
1)对精确定位的车牌图片灰度化。
2)利用MSER方法寻找车牌中的最大稳定极值区域,并对其检测结果——即候选字符窗口,根据每个窗口左上角起点的横坐标大小进行排序;
3)对MSER检测结果进行非字符窗口的初步滤除。主要分为两步:第一步,利用SVM字符分类器滤除一部分非字符窗口,主要去除一些较为明显的非字符窗口。第二步,根据字符规格特性滤除SVM无法有效去除的一些污点和局部字符。
4)记录并保存每个候选字符窗口的置信度、中心点坐标以及宽和高,进而得到该特定车牌的字符宽、高均值。
5)利用保存的中心点坐标以及字符宽、高的均值进行字符窗口恢复。
6)利用基于滑动窗的检测方法和该特定车牌字符宽、高的均值,进一步检测MSER方法可能漏检的字符。
7)利用能量优化的方法对候选字符窗口进行识别,输出最终车牌识别的结果。能量优化方程如式(2)所示。
其中,x={xi|i=1,2,...,n}为窗口类标的集合,xi表示第i个窗口的类标,Ei(xi)=1-p(xi|ci)为一元项,表示自能量,其中ci表示第i个窗口,p(xi|ci)为窗口ci属于xi类的概率。Eij(xi,xj)为二元项,表示互能量,当xi与xj均为背景类时,Eij(xi,xj)=0,否则Eij(xi,xj)=λexp(-[100-Overlap(xi,xj)]2),其中Overlap(xi,xj)表示窗口之间重叠部分占窗口总面积的百分数,λ为调整互能量权重的参数。ε表示互有交集的窗口对的集合。
(二)车标识别,如图3;
1)车标粗定位。根据车标与车牌位置关系的先验知识,以及精确定位的车牌位置坐标,获得粗略分割的车标区域。
2)感兴趣的区域(记为ROI)检测和局部描述子提取。利用Adaboost检测器在大致区域中进行车标检测,找出所有感兴趣区域,在这些ROI的并集区域内等间隔地提取局部描述子;接着对所有ROI进行加权,构建权值图,具体过程如下:
构建一张尺寸与输入图像I相同的辅助权值图W。令Ri∈S为第i个ROI的像素位置集合,S为输入图像中所有ROI的集合,RI为输入图像中所有像素位置的集合。对于每一个Ri,可以利用式(3)计算其权值分布。
其中,|Ri|表示Ri中所有像素的数量,(x,y)表示像素的坐标。假设每个ROI同等重要,利用式(4)合并图片中所有ROI的权重分布,从而构建出完整的权值图。
3)利用加权的特征编码方式对车标样本进行表达。具体过程如下:
设为提取的局部描述子特征向量集合,l为特征维数,N为特征向量的个数。利用K-means生成一个包含M个聚类的码本
求解与特征向量yi相对应的编码向量ci,如式(5)所示:
其中,符号⊙表示逐个元素相乘,λ为调节保真度和规范化之间平衡的参数;di刻画yi与码本B中各码字bj的相似关系,用于调节ci的局部性,由式(6)求得:
其中,||yi,B||=[||y1,b1||,||y2,b2||,...,||yi,bM||]T,||yi,bj||表示yi与bj之间的欧式距离,参数σ用于调整局部性;
为了提高编码效率,对每个yi∈Y,选出使其欧式距离||yi,B||最小的前K个码字,构成局部基向量矩阵对应的编码向量可以通过最小化式(7)求解:
接着,利用学习得到的权值图W对局部编码向量进行加权,如式(8)所示:
ci←W(x,y)ci (8)
即利用(x,y)处的权值W(x,y)来加权与该处描述子所对应的编码向量ci;
接着,对加权后的编码向量进行最大值池化,如式(9)所示:
c=max(c1,c2,...,cN) (9)
其中max执行逐分量的最大化操作。引入空间金字塔结构在多个尺度下对编码向量进行分区域的池化处理。金字塔被分成L层,在第r层(r=1,2,...,L),图像的特征空间会被分成2r-1×2r-1个矩形区域,在其中每个矩形区域内提取l维池化的编码向量。将每层的特征向量全部串联起来构成最终维的向量。
4)利用本发明提出的区分性字典对学习(DDPL)方法对编码特征进行识别并输出结果。
设X=[X1,X2,...,XK]为训练样本集,其中为第k类的样本子集,p为特征维数,h为每类样本的数量。令D为所要学习的字典,A为编码系数矩阵。
基于组稀疏的区分性字典对模型,定义如下(10)的目标函数:
其中,{Dk,Pk}构成了关于第k类的子字典对;Ak是第k类的的编码系数矩阵;表示除了Xk之外的所有训练样本;参数λ>0控制Pk对的表达;τ、ω为正,用于平衡对应项的贡献;mk是Ak的均值列向量,m是所有类的均值列向量,Mk是各列为mk的矩阵;di表示D的第i列,用于避免平凡解。
(三)实验数据
实验中用于Adaboost训练的车牌正样本3000张,负样本8000张;用于SVM训练的正样本2500张(与Adaboost不同),负样本4000张。用于测试的样本共3334张,其中高速公路采集的样本2495张,分辨率为1360*1024像素,拍摄时间为白天不同时段,具有不同光照、天气、背景,拍摄地点包括不同高速路口;停车场采集样本839张;分辨率为720*576像素,拍摄时间分为白天和夜晚。
表1所示为本发明所提出方法在不同数据集下的车牌定位精度。
表1本发明所提出方法在不同数据集下的车牌定位精度
表2所示为本发明所提出车牌识别方法的整体效果。
表2本发明提出车牌识别方法的整体效果
表3所示为不同方法的车标识别效果。其中,CS表示使用LLC方法对车标样本进行编码,配合SVM进行分类;WCS表示使用基于加权的LLC方法进行编码,配合SVM进行分类;WCD表示使用基于加权的LLC编码,配合DDPL进行分类。
表3不同方法的车标识别效果
CS | WCS | WCD | |
车标识别精度 | 96.5% | 97.76% | 97.95% |
速度 | 0.34/s张 | 0.34/s张 | 0.36/s张 |
表4所示为整个车牌、车标识别系统的测试效果。
表4整个车牌、车标识别系统的测试效果
从实验结果可以看出,整个系统的车牌识别准确率为97.50%,车标识别准确率为98.16%,系统速度约为1.2s/张,能够较好的完成对车牌和车标信息的提取,而且基本可以实现实时应用的需求。同时,也充分说明了本发明的方法能够具有较好的鲁棒性和实用性。
与传统技术相比,本发明的优点有:
(1)对于传统的车牌检测方法鲁棒性不强、分割出的车牌四周背景冗余较多的问题,本发明提出一种基于Adaboost检测、SVM筛选,配合纹理分析去边的车牌精确检测方法,可以有效检测不同地点、光照、视角、分辨率、背景复杂度的样本,而且检测出的车标区域包含较少的背景干扰。
(2)对于传统的车牌识别技术对字符分割依赖较大的问题,本发明提出一种以最大稳定极值区域检测为主、滑动窗检测为辅,配合能量优化的车牌识别方法,不仅能够有效检出传统的字符分割方法难以处理的车牌污损、不清晰等情况下的字符,而且使得字符检测与识别同步进行,打破传统的“先分割再识别”的模式。
(3)对于传统车标识别技术对定位依赖较大,在处理包含复杂背景的样本时鲁棒性较低的问题,本发明提出一种基于加权的特征编码配合区分性字典对学习的车标识别方法,能够有效处理车标粗略定位、分割不好、包含复杂背景的情况,大大降低了对车标定位的依赖。
以上所述的本发明的实施方式,并不构成对本发明保护范围的限定。任何在本发明的精神原则之内所作出的修改、等同替换和改进等,均应包含在本发明的权利要求保护范围之内。
Claims (3)
1.一种鲁棒的车牌识别方法,其特征在于,包括车牌检测阶段和车牌识别阶段,在车牌检测阶段实现车牌区域的定位,基于定位后的车牌区域再进行车牌识别,其中车牌识别阶段具体实现过程为:
11)对定位后车牌区域进行灰度化;
12)利用最大稳定极值区域MSER检测方法在灰度化的车牌区域中寻找最大稳定极值区域,并对其检测结果进行候选字符窗口的排序,具体是根据每个候选字符窗口左上角起点的横坐标进行排序;
13)对MSER的检测结果进行非字符窗口的初步滤除;
14)记录并保存初步过滤后的每个候选字符窗口的置信度、中心点坐标以及宽和高,进而得到该特定车牌的字符宽、高均值;
15)利用保存的候选字符窗口的中心点坐标以及该特定车牌的字符宽、高的均值进行字符窗口恢复;
16)利用基于滑动窗的检测方法和该特定车牌字符宽、高的均值,进一步检测基于MSER的方法可能漏检的字符;
17)利用能量优化的方法对候选字符窗口进行识别,输出最终车牌识别的结果;能量优化方程如下式所示:
其中,x={xi|i=1,2,...,n}为窗口类标的集合,xi表示第i个窗口的类标,Ei(xi)=1-p(xi|ci)为一元项,表示自能量,其中ci表示第i个窗口,p(xi|ci)为窗口ci属于xi类的概率;Eij(xi,xj)为二元项,表示互能量,当xi与xj均为背景类时,Eij(xi,xj)=0,否则Eij(xi,xj)=λexp(-[100-Overlap(xi,xj)]2),其中Overlap(xi,xj)表示窗口之间重叠部分占窗口总面积的百分数,λ为调整互能量权重的参数;ε表示互有交集的窗口对的集合。
2.根据权利要求1所述的鲁棒的车牌识别方法,其特征在于,车牌检测阶段的具体实现过程为:
21)利用Adaboost检测器对车牌样本进行检测,获取若干个候选区域;
22)利用SVM分类器对Adaboost检测结果进行筛选,找出置信度最高的区域;
23)对SVM的筛选结果进行纹理分析,确定车牌的边界,获取精确定位的车牌区域;
24)基于公式(1)对纹理分析的结果进行判定,当θ>0.8时,则没有过分割,保留基于纹理分析的定位结果,否则拒绝基于纹理分析的定位结果,保留SVM筛选及精确定位后的结果;
其中AreaTexture_analysis表示基于纹理分析去边处理后车牌区域的面积,AreaSVM表示SVM筛选及精确定位后车牌区域的面积。
3.一种基于权利要求1或2所述车牌识别方法的车标识别方法,其特征在于,包括以下步骤:
31)根据车标与车牌位置关系的先验知识,以及精确定位的车牌位置坐标,获得车标所在的大致区域;
32)利用Adaboost检测器在大致区域中进行车标检测,获得车标的候选区域ROI,在车标的候选区域ROI的并集区域内等间隔地提取局部描述子;
构建一张尺寸与输入图像I相同的辅助权值图W,令Ri∈S为第i个ROI的像素位置集合,S为输入图像中所有ROI的集合,RI为输入图像中所有像素位置的集合,对于每一个Ri,利用下式计算其权值分布,
其中,|Ri|表示Ri中所有像素的数量,(x,y)表示像素的坐标;假设每个ROI同等重要,利用下式合并图片中所有ROI的权重分布,从而构建出完整的权值图;
33)利用加权的特征编码方式对车标样本进行表达,具体过程如下:
设为提取的局部描述子特征向量集合,l为特征维数,N为特征向量的个数;利用K-means生成一个包含M个聚类的码本
求解与特征向量yi相对应的编码向量ci,如下式:
其中,符号⊙表示逐个元素相乘,λ为调节保真度和规范化之间平衡的参数;di刻画yi与码本B中各码字bj的相似关系,用于调节ci的局部性,由下式求得:
其中,||yi,B||=[||y1,b1||,||y2,b2||,...,||yi,bM||]T,||yi,bj||表示yi与bj之间的欧式距离,参数σ用于调整局部性;
为了提高编码效率,对每个yi∈Y,选出使其欧式距离||yi,B||最小的前K个码字,构成局部基向量矩阵对应的编码向量通过下式最小化求解:
接着,利用学习得到的权值图W对局部编码向量进行加权,如下式所示:
ci←W(x,y)ci
即利用(x,y)处的权值W(x,y)来加权与该处描述子所对应的编码向量ci;
接着,需要对加权后的编码向量进行最大值池化,如下式:
c=max(c1,c2,...,cN)
其中max执行逐分量的最大化操作;引入空间金字塔结构在多个尺度下对编码向量进行分区域的池化处理;金字塔被分成L层,在第r层,r=1,2,...,L,图像的特征空间被分成2r-1×2r-1个矩形区域,在其中每个矩形区域内提取l维池化的编码向量;将每层的特征向量全部串联起来构成最终维的向量;
34)利用区分性字典对学习DDPL方法对编码特征进行识别并输出结果:
设X=[X1,X2,...,XK]为包含K类的训练样本集,为第k类的子集,p为特征向量维数,h为每类样本的数量;令D为所要学习的字典,A为编码系数矩阵;基于组稀疏的区分性字典对模型,目标函数定义如下式:
其中,{Dk,Pk}构成了关于第k类的子字典对;Ak是第k类的编码系数矩阵;表示除了Xk之外的所有训练样本;参数λ>0控制Pk对的表达;τ、ω为正,用于平衡对应项的贡献;mk是Ak的均值列向量,m是所有类的均值列向量,Mk是各列为mk的矩阵;di表示D的第i列,用于避免平凡解。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611206923.8A CN106650731B (zh) | 2016-12-23 | 2016-12-23 | 一种鲁棒的车牌、车标识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611206923.8A CN106650731B (zh) | 2016-12-23 | 2016-12-23 | 一种鲁棒的车牌、车标识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106650731A true CN106650731A (zh) | 2017-05-10 |
CN106650731B CN106650731B (zh) | 2020-02-21 |
Family
ID=58827350
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201611206923.8A Active CN106650731B (zh) | 2016-12-23 | 2016-12-23 | 一种鲁棒的车牌、车标识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106650731B (zh) |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107545265A (zh) * | 2017-07-17 | 2018-01-05 | 浙江智神数码科技有限公司 | 一种智能车牌识别系统 |
CN107688810A (zh) * | 2017-09-07 | 2018-02-13 | 湖北民族学院 | 一种伪牌照车贴检测方法 |
CN107704509A (zh) * | 2017-08-31 | 2018-02-16 | 北京联合大学 | 一种联合稳定区域与深度学习的重排序方法 |
CN108122000A (zh) * | 2017-11-28 | 2018-06-05 | 合肥工业大学 | 一种基于特征学习的车标识别方法 |
CN108537223A (zh) * | 2018-04-16 | 2018-09-14 | 广东工业大学 | 一种车牌检测方法、系统及设备和存储介质 |
CN109165643A (zh) * | 2018-08-21 | 2019-01-08 | 浙江工业大学 | 一种基于深度学习的车牌识别方法 |
CN109446882A (zh) * | 2018-09-05 | 2019-03-08 | 合肥工业大学智能制造技术研究院 | 基于梯度方向划分的特征量化的车标特征提取和识别方法 |
CN109919076A (zh) * | 2019-03-04 | 2019-06-21 | 厦门商集网络科技有限责任公司 | 基于深度学习的确认ocr识别结果可靠性的方法及介质 |
CN111144390A (zh) * | 2019-12-20 | 2020-05-12 | 武汉瑞纳捷电子技术有限公司 | 一种车牌识别中漏检字符查找方法、系统及电子设备 |
CN111429461A (zh) * | 2019-01-09 | 2020-07-17 | 武汉兰丁医学高科技有限公司 | 一种新型的重叠脱落上皮细胞分割方法 |
CN111652235A (zh) * | 2020-07-30 | 2020-09-11 | 南京天创电子技术有限公司 | 一种基于小波分解的腐蚀膨胀识别led字符的方法 |
CN112580629A (zh) * | 2020-12-23 | 2021-03-30 | 深圳市捷顺科技实业股份有限公司 | 一种基于深度学习的车牌字符识别方法以及相关装置 |
CN108647679B (zh) * | 2017-08-28 | 2021-04-27 | 浙江工业大学 | 一种基于车窗粗定位的车标识别方法 |
CN115600620A (zh) * | 2022-12-13 | 2023-01-13 | 深圳思谋信息科技有限公司(Cn) | 扫码方法、装置、电子设备和存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103810474A (zh) * | 2014-02-14 | 2014-05-21 | 西安电子科技大学 | 一种基于多特征低秩矩阵表示的车牌检测方法 |
CN104134079A (zh) * | 2014-07-31 | 2014-11-05 | 中国科学院自动化研究所 | 一种基于极值区域和极限学习机的车牌识别方法 |
CN104298966A (zh) * | 2014-09-17 | 2015-01-21 | 电子科技大学 | 一种车牌定位方法 |
US20160034778A1 (en) * | 2013-12-17 | 2016-02-04 | Cloud Computing Center Chinese Academy Of Sciences | Method for detecting traffic violation |
-
2016
- 2016-12-23 CN CN201611206923.8A patent/CN106650731B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160034778A1 (en) * | 2013-12-17 | 2016-02-04 | Cloud Computing Center Chinese Academy Of Sciences | Method for detecting traffic violation |
CN103810474A (zh) * | 2014-02-14 | 2014-05-21 | 西安电子科技大学 | 一种基于多特征低秩矩阵表示的车牌检测方法 |
CN104134079A (zh) * | 2014-07-31 | 2014-11-05 | 中国科学院自动化研究所 | 一种基于极值区域和极限学习机的车牌识别方法 |
CN104298966A (zh) * | 2014-09-17 | 2015-01-21 | 电子科技大学 | 一种车牌定位方法 |
Cited By (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107545265A (zh) * | 2017-07-17 | 2018-01-05 | 浙江智神数码科技有限公司 | 一种智能车牌识别系统 |
CN108647679B (zh) * | 2017-08-28 | 2021-04-27 | 浙江工业大学 | 一种基于车窗粗定位的车标识别方法 |
CN107704509A (zh) * | 2017-08-31 | 2018-02-16 | 北京联合大学 | 一种联合稳定区域与深度学习的重排序方法 |
CN107688810A (zh) * | 2017-09-07 | 2018-02-13 | 湖北民族学院 | 一种伪牌照车贴检测方法 |
CN108122000A (zh) * | 2017-11-28 | 2018-06-05 | 合肥工业大学 | 一种基于特征学习的车标识别方法 |
CN108122000B (zh) * | 2017-11-28 | 2021-07-30 | 合肥工业大学 | 一种基于特征学习的车标识别方法 |
CN108537223A (zh) * | 2018-04-16 | 2018-09-14 | 广东工业大学 | 一种车牌检测方法、系统及设备和存储介质 |
CN109165643A (zh) * | 2018-08-21 | 2019-01-08 | 浙江工业大学 | 一种基于深度学习的车牌识别方法 |
CN109165643B (zh) * | 2018-08-21 | 2021-11-16 | 浙江工业大学 | 一种基于深度学习的车牌识别方法 |
CN109446882B (zh) * | 2018-09-05 | 2022-03-04 | 合肥工业大学智能制造技术研究院 | 基于梯度方向划分的特征量化的车标特征提取和识别方法 |
CN109446882A (zh) * | 2018-09-05 | 2019-03-08 | 合肥工业大学智能制造技术研究院 | 基于梯度方向划分的特征量化的车标特征提取和识别方法 |
CN111429461A (zh) * | 2019-01-09 | 2020-07-17 | 武汉兰丁医学高科技有限公司 | 一种新型的重叠脱落上皮细胞分割方法 |
CN111429461B (zh) * | 2019-01-09 | 2023-09-01 | 武汉兰丁智能医学股份有限公司 | 一种新型的重叠脱落上皮细胞分割方法 |
CN109919076A (zh) * | 2019-03-04 | 2019-06-21 | 厦门商集网络科技有限责任公司 | 基于深度学习的确认ocr识别结果可靠性的方法及介质 |
CN111144390A (zh) * | 2019-12-20 | 2020-05-12 | 武汉瑞纳捷电子技术有限公司 | 一种车牌识别中漏检字符查找方法、系统及电子设备 |
CN111144390B (zh) * | 2019-12-20 | 2023-10-27 | 武汉瑞纳捷半导体有限公司 | 一种车牌识别中漏检字符查找方法、系统及电子设备 |
CN111652235A (zh) * | 2020-07-30 | 2020-09-11 | 南京天创电子技术有限公司 | 一种基于小波分解的腐蚀膨胀识别led字符的方法 |
CN111652235B (zh) * | 2020-07-30 | 2023-04-25 | 南京天创电子技术有限公司 | 一种基于小波分解的腐蚀膨胀识别led字符的方法 |
CN112580629A (zh) * | 2020-12-23 | 2021-03-30 | 深圳市捷顺科技实业股份有限公司 | 一种基于深度学习的车牌字符识别方法以及相关装置 |
CN115600620A (zh) * | 2022-12-13 | 2023-01-13 | 深圳思谋信息科技有限公司(Cn) | 扫码方法、装置、电子设备和存储介质 |
CN115600620B (zh) * | 2022-12-13 | 2023-06-02 | 深圳思谋信息科技有限公司 | 扫码方法、装置、电子设备和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN106650731B (zh) | 2020-02-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106650731A (zh) | 一种鲁棒的车牌、车标识别方法 | |
CN109977812B (zh) | 一种基于深度学习的车载视频目标检测方法 | |
CN108830188B (zh) | 基于深度学习的车辆检测方法 | |
CN107563372B (zh) | 一种基于深度学习ssd框架的车牌定位方法 | |
CN107729801B (zh) | 一种基于多任务深度卷积神经网络的车辆颜色识别系统 | |
CN108734189A (zh) | 浓雾天气下基于大气散射模型和深度学习的车牌识别系统 | |
CN107316036B (zh) | 一种基于级联分类器的害虫识别方法 | |
CN109284669A (zh) | 基于Mask RCNN的行人检测方法 | |
CN107273832B (zh) | 基于积分通道特征与卷积神经网络的车牌识别方法及系统 | |
CN105809121A (zh) | 多特征协同的交通标志检测与识别方法 | |
CN105354568A (zh) | 基于卷积神经网络的车标识别方法 | |
Zhang et al. | Study on traffic sign recognition by optimized Lenet-5 algorithm | |
CN105868700A (zh) | 一种基于监控视频的车型识别与跟踪方法及系统 | |
CN109271991A (zh) | 一种基于深度学习的车牌检测方法 | |
CN103903018A (zh) | 一种复杂场景中对车牌进行定位的方法和系统 | |
CN106295532B (zh) | 一种视频图像中的人体动作识别方法 | |
CN106709530A (zh) | 基于视频的车牌识别方法 | |
CN104598885A (zh) | 街景图像中的文字标牌检测与定位方法 | |
CN110008900B (zh) | 一种由区域到目标的可见光遥感图像候选目标提取方法 | |
CN104299009A (zh) | 基于多特征融合的车牌字符识别方法 | |
CN110008899B (zh) | 一种可见光遥感图像候选目标提取与分类方法 | |
CN111461039A (zh) | 基于多尺度特征融合的地标识别方法 | |
CN107590500A (zh) | 一种基于色彩投影分类的车牌颜色识别方法及装置 | |
CN107704833A (zh) | 一种基于机器学习的前方车辆检测与跟踪方法 | |
Zhang et al. | Automatic detection of road traffic signs from natural scene images based on pixel vector and central projected shape feature |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
OL01 | Intention to license declared | ||
OL01 | Intention to license declared |