CN106257494B - 复杂场景下的车牌检测方法及装置 - Google Patents

复杂场景下的车牌检测方法及装置 Download PDF

Info

Publication number
CN106257494B
CN106257494B CN201510347046.5A CN201510347046A CN106257494B CN 106257494 B CN106257494 B CN 106257494B CN 201510347046 A CN201510347046 A CN 201510347046A CN 106257494 B CN106257494 B CN 106257494B
Authority
CN
China
Prior art keywords
license plate
classifier
training
image
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510347046.5A
Other languages
English (en)
Other versions
CN106257494A (zh
Inventor
危春波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Uniview Technologies Co Ltd
Original Assignee
Zhejiang Uniview Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Uniview Technologies Co Ltd filed Critical Zhejiang Uniview Technologies Co Ltd
Priority to CN201510347046.5A priority Critical patent/CN106257494B/zh
Publication of CN106257494A publication Critical patent/CN106257494A/zh
Application granted granted Critical
Publication of CN106257494B publication Critical patent/CN106257494B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/28Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/62Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625License plates

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种复杂场景下的车牌检测方法,包括:对输入的图像进行粗定位,所述粗定位包括水平滤波以及二值化处理,用经过训练的精定位分类器对具有粗定位区域的图像进行车牌区域检测,还包括:将检测出车牌区域的图像通过分支训练所得的降误检分类器排除误检出车牌区域的图像,得到包含车牌区域的最终图像。本发明还包括一种车牌检测装置。本发明所采用的车牌检测方法及装置与现有的方法相比,突出的优点在于误检率低,在保证车牌的正检率基础上,较已有方法速度快。

Description

复杂场景下的车牌检测方法及装置
技术领域
本发明涉及图像处理领域,尤其涉及复杂场景下的车牌检测方法及装置。
背景技术
车牌检测技术是智能交通系统中的核心基础模块,为许多应用提供关键的信息,例如用于车辆捕获、车牌的定位及识别,车辆的违章抓拍等。
在实际交通场景中车牌丰富多样:有蓝牌、黄牌;在不同光照下会出现过曝、低对比度;部分车辆会有遮挡、脏污;不同拍摄角度车牌会有倾斜等各种复杂情况;且一些路面及车体广告纹理丰富,容易尝试误检。如何提升各种复杂场景下的车牌检测指标和性能是一个具有挑战性问题。
最原始的车牌检测主要基于图形处理求车牌纹理同时结合车牌颜色信息方式,例如公开号为CN104123553A的专利文献公开了一种基于级联形态学变换的车牌定位方法及系统,包括:对原图像进行降采样及灰度处理得到灰度图像;对灰度图像进行级联形态学变换并二值化,并对联通区域进行初步筛选得到若干个候选区域;计算各候选区域的颜色直方图信息分别与标准车牌的颜色直方图信息的相似度,并根据相似度判定车牌区域;通过降采样的逆运算将各车牌区域映射到原图像中得到相应的原车牌区域。该方法速度快,但复杂情况下的车牌检测率低,对于图像处于过曝、低对比度、脏污、大角度等复杂交通场景下适应性不佳;复杂情况下的车牌误检率高,因此不能满足实际应用需要。
后续有人提出通过机器学习方式进行车牌目标检测,例如公开号为CN102968646A的专利文献公开了一种基于机器学习的车牌检测方法,首先将原始彩色图像转换为梯度图像;然后结合Adaboost快速检测且虚警率低的特点,采用多尺度遍历搜索方式对车牌目标进行检测;最后将检测结果二值化和形态学处理,根据国内车牌字符特点对检测结果进行评判,标记车牌区域与准伪车牌区域。进一步,还提取准伪车牌区域特征,采用SVM对准伪车牌区域进行多尺度遍历识别,最后对识别结果评判输出。这个方法的缺点在于无粗定位,对整个车体区域进行扫描车牌检测耗时较多,并且未针对车牌进行特征设计,因此对于车体纹理丰富的车牌而言,同样存在误检率偏高。
因此,如何提供一种减少车牌误检率的检测方法,是目前亟需解决的技术问题。
发明内容
为了解决现有技术存在的问题,本发明提供了一种车牌检测方法,能够在复杂场景下进行误检率较低的车牌检测。
一种复杂场景下的车牌检测方法,包括:对输入的图像进行粗定位,所述粗定位包括水平滤波以及二值化处理,用经过训练的精定位分类器对具有粗定位区域的图像进行车牌区域检测,还包括:
将检测出车牌区域的图像通过分支训练所得的降误检分类器排除误检出车牌区域的图像,得到包含车牌区域的最终图像;所述分支训练中所采用的正样本为在精定位分类器的训练中分类正确的训练样本,负样本包括精定位分类器训练中分类错误的训练样本。
通过精定位分类器之后,得到的车牌检测结果存在着较高的误检率,通过分支训练所得的降误检分类器进行进一步的降误检。
分支训练的区分度较高,例如按车牌颜色进行区分,选择较佳的训练方式训练级联分类器,使得误检率较低,同时分支训练所采用的负样本为对精定位分类器训练时未能检出的样本,通过这种方式训练出的级联分类器能够对精定位后的图像进一步降低误检率。
进一步而言,所述粗定位在进行二值化处理之前还包括对图像进行垂直滤波。现有的滤波仅仅采用水平滤波,加入垂直滤波后能够排除图像中高度上与现有车牌相差过多的区域,从而达到车牌粗定位的目的。
为了达到排除一些明显不符合车牌形状区域的目的,进一步而言,所述粗定位在进行二值化处理之前还包括对图像进行垂直滤波,所述垂直滤波采用的分段滤波器由三个高斯滤波器叠加而成,其中:
第一高斯滤波器的第一幅值T1>0,第二高斯滤波器的幅值及第三高斯滤波器幅值相同,均为第二幅值T2,且T2<0;
第一高斯滤波器的期望值μ1、第二高斯滤波器的期望值μ2及第三高斯滤波器的期望值μ3之间的关系满足:μ2<μ1<μ3,且abs(μ1-μ2)=abs(μ3-μ1);
第一高斯滤波器的方差、第二高斯滤波器的方差及第三高斯滤波器的方差之间的关系满足:
第一幅值T1与第二幅值T2满足如下公式:
T1<abs(2*T2);
所得到的分段滤波器波峰的波长λ1、两侧波谷的波长λ2与车牌高度H取值满足如下公式:
λ1+2*λ2<2*H+C;
λ2≤λ1≤2*λ2;
其中C为常数。
通过波长与现有车牌的高度H之间的关系设定,滤除高度过窄和过高的纹理,且分段滤波器的波峰与波谷之间分段,在滤波过程中能够突出车牌,将高度上与车牌接近的区域更精确地区分滤除。由于摄像机安装角度和安装位置不同,导致图像中的车牌高度不同,为了减少滤波器对车牌高度依赖加入常数C,其中C的取值根据摄像机与运动目标的距离进行设置,距离越近则C的取值越大。
进一步而言,所述水平滤波采用高斯滤波器进行,所述高斯滤波器的波长λ0与车牌长度W满足关系式:
W/a<λ0<W/b;
其中a>b>2。
其中a和b为经验取值,以使得水平滤波器能根据现有车牌的长度滤除一些水平方向上明显不符合条件的区域。
通过垂直滤波和水平滤波的结合,能够滤除一些与现有车牌明显不符的区域,从而实现车牌区域的粗定位,大大提高了车牌的检测效率。
在粗定位之后,得到候选车牌区域,通过进一步的精定位,排除一些伪车牌区域。进一步而言,所述精定位分类器为用基于级联结构的Adaboost算法进行所述训练得到的分类器。
Adaboost算法的核心在于,每一次训练之后根据训练结果更新训练样本的权重,增加被错误分类的训练样本的权重,使得下一次训练过程中,被错误分类的训练样本选中的机会更大,将弱分类器的训练焦点放在被错分的训练样本上。这种每次更新样本权重的训练方法与一般的训练方法相比,可以较大地降低误检率。
级联分类器由若干强分类器级联而成,且每个强分类器又由若干最优弱分类器融合而成,这种级联结构对于误检率较低的训练方法而言能够进一步降低误检率,因此级联结构的Adaboost算法,能够在很大程度上降低误检率。
为了在这一步能够将分类器达到更好的检出效果,进一步而言,用Adaboost算法对MB-LBP特征训练,训练样本的权重按如下公式更新:
其中wt+1,i表示当前强分类器第i个训练样本在第t次弱分类器分类后更新得到的权重,wt,i表示更新前的权重,βt表示权重因子,yi表示第i个样本的目标值,ft(xi)表示第i个训练样本在第t个弱分类器的分类结果值;αt的取值方式为:对于第i个训练样本第t次弱分类器的分类,如果分类正确,则αt=z1;如果正样本分类错误,则αt=z2;如果负样本分类错误,则αt=z3;其中z3<z1<z2。
通过增加αt,使得被分类错误的正样本权重增加比正确分类的样本以及被错误负样本权重增加的速度要快,这种方式能够降低样本被漏检的可能性,保证较好的检出率。
在保证检出率的情况下,需要降低误检率。
进一步而言,分支训练所采用的特征模板包括以下类Haar特征模板:
由两个第一区域和三个第二区域组成的特征模板,各个区域沿水平方向排布,并且第一区域和第二区域间隔排布;
由两个第一区域和两个第二区域组成的特征模板,各个区域沿水平方向排布,左侧由第二区域开始,第一区域与第二区域间隔排布;
由一个第一区域和四个第二区域组成的特征模板,各区域沿水平方向排布,第一区域的两侧分别排布两个第二区域;
由五个第一区域和两个第二区域组成的特征模板,各区域沿竖直方向排布,且两个第二区域之间排布五个第一区域;
各个类Haar特征模板的第一区域及第二区域均为矩形,且同一类Haar特征模板内的各个区域面积相等,类Haar特征模板的特征值定义为第一区域中的像素和与第二区域中的像素和相减之差。
进一步而言,所述分支训练的方法包括:
a,利用所有正样本及负样本对特征模板用基于级联结构的Adaboost算法进行训练,得到统一训练的强分类器;
b,按现存车牌的颜色将正样本分为若干种,颜色种类与正样本种类一一对应,每种正样本结合所有负样本对特征模板用Adaboost算法分别进行训练,得到每种颜色对应的分支强分类器;
c,判断各种颜色所对应的强分类器包含的弱分类器数目相加之和是否小于统一分类的强分类器所包含弱分类器数目:如果是,则将各个分支强分类器分别加入当前的级联分类器并标记分叉;否则,将统一训练的强分类器加入当前的级联分类器并标记不分叉;
d,判断是否分叉:如果是,则采用步骤b的方法对特征模板用Adaboost算法训练直至所得到的级联分类器误差小于预定值;否则,重复步骤a、步骤b以及步骤c直至所得到的级联分类器误差小于预定值。
分支训练通过将按颜色分类训练得到的分支强分类器与统一训练得到的统一强分类器进行弱分类器数目的比较,弱分类器数目越小表示分类性能越好,从而确定开始分叉的位置,得到较佳的级联分类器,确保所训练的分类器不受车牌颜色的干扰。
利用本发明所提供的方法,本发明还提供了一种车牌检测的装置,确保检测出的图像具有较低的误检率。
一种复杂场景下的车牌检测装置,包括粗定位单元,对输入的图像进行粗定位,所述粗定位包括水平滤波以及二值化处理,以及车牌区域检测单元,用经过训练的精定位分类器对具有粗定位区域的图像进行车牌区域检测,还包括:
降误检单元,将检测出车牌区域的图像通过分支训练所得的降误检分类器排除误检出车牌区域的图像,得到包含车牌区域的最终图像;所述分支训练中所采用的正样本为在精定位分类器的训练中分类正确的训练样本,负样本包括精定位分类器训练中分类错误的训练样本。
进一步而言,所述粗定位单元还包括垂直滤波子单元,用于在进行二值化处理之前对图像进行垂直滤波,所述垂直滤波采用的分段滤波器由三个高斯滤波器叠加而成,其中:
第一高斯滤波器的第一幅值T1>0,第二高斯滤波器的幅值及第三高斯滤波器幅值相同,均为第二幅值T2,且T2<0;
第一高斯滤波器的期望值μ1、第二高斯滤波器的期望值μ2及第三高斯滤波器的期望值μ3之间的关系满足:μ2<μ1<μ3,且abs(μ1-μ2)=abs(μ3-μ1);
第一高斯滤波器的方差、第二高斯滤波器的方差及第三高斯滤波器的方差之间的关系满足:
第一幅值T1与第二幅值T2满足如下公式:
T1<abs(2*T2);
所得到的分段滤波器波峰的波长λ1、两侧波谷的波长λ2与车牌高度H取值满足如下公式:
λ1+2*λ2<2*H+C;
λ2≤λ1≤2*λ2;
其中C为常数。
本发明所采用的车牌检测方法及装置与现有的方法相比,突出的优点在于误检率低,在保证车牌的检出率基础上,通过粗定位排除无关区域,检出速度较已有方法快。
附图说明
图1为本发明当前实施例的方法流程图;
图2为当前实施例的粗定位流程图;
图3为当前实施例的垂直滤波器波形图;
图4为当前实施例的粗定位效果图;
图5为当前实施例的精定位分类器训练流程图;
图6为当前实施例的精定位效果图;
图7为当前实施例过用Adaboost算法分支训练Haar特征所得的级联分类器降误检的流程图;
图8A为当前实施例的分支训练所采用的第一类Haar特征模板;
图8B为当前实施例的分支训练所采用的第二类Haar特征模板;
图8C为当前实施例的分支训练所采用的第三类Haar特征模板;
图8D为当前实施例的分支训练所采用的第四类Haar特征模板;
图9为用本发明当前实施例的方法进行降误检得到的车牌区域检测结果第一效果图;
图10为用现有技术的方法进行降误检得到的车牌区域检测结果第一效果图;
图11为用本发明当前实施例的方法进行降误检得到的车牌区域检测结果第二效果图
图12为用现有技术的方法进行降误检得到的车牌区域检测结果第二效果图。
具体实施方式
为了对本发明进一步地阐释,现结合说明书附图和实施例对本发明进行解释说明。
本发明当前实施例的方法如图1所示,利用本发明的车牌检测装置进行。本发明当前实施例包括如下步骤:
步骤一,基于车牌分段滤波器车牌粗定位。该步骤利用粗定位单元进行,粗定位的流程如图2所示,根据标定的车牌宽、高设定滤波器的大小,对输入图像进行滤波、二值化及连通区域的提取,获得车牌所在的候选框,这一步能极大缩小后续处理的图像大小,提升处理效率。
步骤1-1,图像灰度化。对输入的图像进行灰度化处理并下采样,将图像缩小,输入的图像为电警、卡口场景的前景运动目标。
步骤1-2,图像梯度化,利用soble滤波器对灰度化后的图像进行滤波,获得梯度图像。
步骤1-3,对梯度化图像垂直滤波,如图3所示,对梯度图像采用分段滤波器进行垂直滤波。该步骤利用粗定位单元中的垂直滤波子单元进行。
垂直滤波采用的分段滤波器由三个高斯滤波器叠加而成,其中:
第一高斯滤波器的第一幅值T1>0,第二高斯滤波器的幅值及第三高斯滤波器幅值相同,均为第二幅值T2,且T2<0;
第一高斯滤波器的期望值μ1、第二高斯滤波器的期望值μ2及第三高斯滤波器的期望值μ3之间的关系满足:μ2<μ1<μ3,且abs(μ1-μ2)=abs(μ3-μ1);
第一高斯滤波器的方差、第二高斯滤波器的方差及第三高斯滤波器的方差之间的关系满足:
第一幅值T1与第二幅值T2满足如下公式:
T1<abs(2*T2); 公式1
分段滤波器中间波长λ1、两侧波长λ2与车牌高度H取值满足公式2及公式3:
λ1+2*λ2<2*H+C; 公式2
λ2<=λ1<=2*λ2; 公式3
其中C为一个常数,用于降低滤波器设计对车牌高度的依赖。
垂直滤波后的图像可以降低高度上很窄的纹理和高度上很大的纹理强度,增强与车牌高度相当的纹理强度,从而排除一些明显不符合车牌特征的区域。
步骤1-4,使用高斯滤波器对垂直滤波图像进行水平滤波,获得水平滤波图像,高斯滤波器的生成遵循下面的规则:
高斯滤波器的波长λ0与车牌长度W满足公式4:
W/a<λ0<W/b; 公式4
其中a>b>2;
步骤1-5,对水平滤波后图像进行二值化。在当前实施例中利用Otsu算法(大津法)进行二值化,在采用该方法时设定阈值,将超过阈值的像素点判定为背景。为了获得更精确的二值化图像,在当前实施例中,根据经验取值,对超过阈值的像素点数设置限定值,如采用大津法二值化所得到的超过阈值的点数大于限定值,则重新设定阈值进行二值化,直至满足条件,获得二值图像;
步骤1-6,提取二值图像中的连通区域。此过程需要遍历一次图像,最后获得可能的车牌候选区域,进行后续的车牌精定位。
如果在这一步骤未检出粗定位区域(无粗定位框)则判定为无车牌并结束步骤,否则进入步骤二。一张图像利用当前实施例粗定位得到的结果如图4所示,其中黑色矩形所围成的区域为粗定位区域。
步骤二,将具有粗定位区域的图像采用Adaboost算法对MB-LBP特征训练所得的级联分类器精定位。MB-LBP(Multi-scale Block Local Binary Patterns,多块分区局部二进制模式)特征对原图像按一定倍率进行缩放,每缩放一级均采用经过训练的基于MB-LBP特征的级联Adaboost分类器进行检测,中间任何一个分类器不能通过的矩形框判为非车牌目标,将通过所有级联分类器的矩形区域进行区域融合,作为第一轮车牌检测结果输出。该步骤由车牌区域检测单元进行。
基于MB-LBP特征的Adaboost级联分类器精定位训练过程如图5所示,包括:
首先,获得所有样本的MB-LBP特征。
MB-LBP特征分类器采用多分支结构来构造弱分类器,这个分类器包括256个分支,每一个分支的函数值与MB-LBP特征值一一对应。如公式5,公式6所示,其中gc是中心子块的灰度值和,gi(i=1,2,...,8)分别是周围八领域的灰度值和;每个子块的灰度值和基于积分图像进行计算得到MB-LBP特征值f(gc)。
公式5
公式6
每个MB-LBP特征由3*3个小区域组成,其中每个小区域大小一致,为矩形即可;针对每个小区域求像素值的和,将周围8个小区域的像素值和与中心区域的像素值分别进行比较,若周围区域大于中心区域像素值之和,则该区域标记为1,否则为0,所得到8位二进制数,为MB-LBP特征。窗口向右或向下滑动,可得到所有的MB-LBP特征。
接着,利用Adaboost算法对MB-LBP特征进行级联分类器的训练,训练方法包括:
步骤2-1,遍历所有的MB-LBP特征,找到误差最小的MB-LBP特征所对应的弱分类器,构造8个32位整形数据作为最优弱分类器,每一位对应一个MB-LBP特征值,共8*32=256位。
步骤2-2,初始化误差权重w1,i=D(i),w1,i表示训练前的第i个样本,其中k为正样本数量,l为负样本数量。
步骤2-3,进行弱分类器训练,并根据训练结果更新训练样本的权重。对于每个弱分类器ft(xi),其中t=1,2,...,T(其中T为弱分类器个数)进行如下操作,归一化训练样本的权重,让其在(0,1)区间。对当前的最优弱分类器,本发明提供了一种新的权重更新方式,增加更新速率因子αt,按照公式7进行训练样本权重的更新,当前最优弱分类器更新每个训练样本所对应的权重:
公式7
其中,wt+1,i表示第i个样本第t个弱分类器,βt表示权重因子,yi表示第i个样本的目标值,ft(xi)表示第i个样本在第t个弱分类器输出的输出值。
公式8
εt表示弱分类器的训练误差。
如果分类正确,则αt=1;如果正样本分类错误,则αt=2;如果负样本分类错误,则αt=0.5。当样本分类正确时,权重正常减少;当正样本分类错误(即漏检)时,权重快速增加;当负样本分类错误(即误检)时,权重缓慢增加,这种权重更新方法使得漏检的正样本权重更大,能更好地保证检出率。
在利用当前所有训练样本训练得到全部最优弱分类器之后,将所有最优弱分类器融合形成当前的强分类器,并判断强分类器个数是否达到预期,如未达到预期再更新训练样本,进行下一个分类器的训练所有的弱分类器在训练下一个强分类器之前需要更新正、负样本,其中选中的正样本需通过当前级联分类器,选中的负样本为当前级联分类器不能排除的负样本。
将其中一个图像利用训练得到的精定位分类器进行精定位,所得到的其效果图如图6所示。
步骤三:将检测出车牌区域的图像通过用Adaboost算法分支训练Haar特征所得的级联分类器排除误检出车牌区域的图像,得到包含车牌区域的最终图像。
步骤三由降误检单元进行,其中,分支训练中所采用的正样本为在精定位分类器的训练中分类正确的训练样本,负样本为精定位分类器训练中分类错误的训练样本。经过步骤一、二后,各种场景中的车牌目标都能检出,但存在一些误检,特别是纹理丰富的非车牌目标,误检率较高。通过针对车牌设计的基于Haar特征的Adaboost分类器能进行针对性地降误检,检测过程和步骤二一致,不同点在分类器和计算方式。
其中基于针对车牌Haar特征的多分支Adaboost分类器降误检训练流程图如图7所示。
Haar特征是一类图形表示的特征,特征为矩形,矩形分为矩形的第一区域(通常用白色表示)和第二区域(通常用黑色表示),并定义特征值为第一区域内的像素和与第二区域内的像素和之差。本发明当前实施例针对车牌的特点新增了4种类Haar特征模板,如图8A至图8D所示。分支训练所采用的特征模板包括以下类Haar特征模板:
如图8A所示,由两个第一区域和三个第二区域组成的第一特征模板,各个区域沿水平方向排布,并且第一区域和第二区域间隔排布;
如图8B所示,由两个第一区域和两个第二区域组成的第二特征模板,各个区域沿水平方向排布,左侧由第二区域开始,第一区域与第二区域间隔排布;
如图8C所示,由一个第一区域和四个第二区域组成的第三特征模板,各区域沿水平方向排布,第一区域的两侧分别排布两个第二区域;
如图8D所示,由五个第一区域和两个第二区域组成的第四特征模板,各区域沿竖直方向排布,且两个第二区域之间排布五个第一区域;
各个类Haar特征模板的第一区域及第二区域均为矩形,且同一类Haar特征模板内的各个区域面积相等,类Haar特征模板的特征值定义为第一区域中的像素和与第二区域中的像素和相减之差。
在当前实施例中,分支训练采用了全部四个特征模板,这些特征模板在训练中被选中的机会明显大于原始的Haar特征模板,有利于车牌的检出及误检车牌的剔除。
分支训练的方法包括:
a,利用所有正样本及负样本对特征模板用Adaboost算法进行训练,得到统一训练的强分类器。现有的车牌按颜色分为黄色和蓝色两种车牌,在步骤a的训练方式中,两种颜色的正样本进行统一的训练。
b,按现存车牌的颜色将正样本分为若干种,颜色种类与正样本种类一一对应,每种正样本结合所有负样本对特征模板用Adaboost算法分别进行训练,得到每种颜色对应的分支强分类器。在步骤b中,正样本被分为包含蓝色车牌的正样本和包含黄色车牌的正样本,分别将两种正样本与所有负样本进行训练,得到分支强分类器。
c,判断2种颜色所对应的强分类器包含的弱分类器数目相加之和是否小于统一分类的强分类器所包含弱分类器数目:如果是,则将各个分支强分类器分别加入当前的级联分类器并标记分叉;否则,将统一训练的强分类器加入当前的级联分类器,并标记为不分叉。
d,判断是否分叉:如果是,则采用步骤b的方法对特征模板用Adaboost算法训练直至所得到的级联分类器误差小于预定值;否则,重复步骤a、步骤b以及步骤c直至所得到的级联分类器误差小于预定值。
级联分类器的构造方法与基于MB-LBP类似,包括:
首先,构造最优弱分类器,方式与精定位分类器中基于MB-LBP特征构造最优弱分类器的方式类似,遍历所有的特征模板,找到使误差最小的特征模板对应的弱分类器为最优弱分类器;
然后,更新训练样本的权重,该训练样本权重的更新直接使用不引入αt权重更新因子的公式7与8,即
在训练误差达到预设的阈值之后,所得到的全弱分类器形成当前的强分类器,判断强分类器的个数是否达到预期,如未达到预期则进行下一个强分类器的训练。在训练下一个强分类器之前需要更新正、负样本,其中选中的正样本需通过当前级联分类器,选中的负样本为Haar特征Adaboost级联算法训练时误检为车牌且当前级联分类器不能排除的负样本。
将两张经过步骤一及步骤二的图像通过步骤三之后得到的效果图分别如图9及图11所示,图9中D1至D6的矩形框以及图12中F1及F2的矩形框均为车牌区域;作为对比,将图像通过用现有的Adaboost算法对Haar特征进行训练所得到的效果图分别如图10及图12所示,可以看到,现有的方法存在很大的误检率,例如图10中,C6所表示的矩形框将车灯误检为车牌,而C3则将广告牌误检为车牌;图12中E2、E3及E4均将非车牌区域误检为车牌区域。
本发明所采用的车牌检测方法及装置与现有的方法相比,突出的优点在于误检率低,在保证车牌的正检率基础上,较已有方法速度快。

Claims (8)

1.一种复杂场景下的车牌检测方法,包括:对输入的图像进行粗定位,所述粗定位包括水平滤波以及二值化处理,用经过训练的精定位分类器对具有粗定位区域的图像进行车牌区域检测,其特征在于,还包括:
将检测出车牌区域的图像通过分支训练所得的降误检分类器排除误检出车牌区域的图像,得到包含车牌区域的最终图像;所述分支训练中所采用的正样本为在精定位分类器的训练中分类正确的训练样本,负样本包括精定位分类器训练中分类错误的训练样本;
所述粗定位在进行二值化处理之前还包括对图像进行垂直滤波,所述垂直滤波采用的分段滤波器由三个高斯滤波器叠加而成,其中:
第一高斯滤波器的第一幅值T1>0,第二高斯滤波器的幅值及第三高斯滤波器幅值相同,均为第二幅值T2,且T2<0;
第一高斯滤波器的期望值μ1、第二高斯滤波器的期望值μ2及第三高斯滤波器的期望值μ3之间的关系满足:μ2<μ1<μ3,且abs(μ1-μ2)=abs(μ3-μ1);
第一高斯滤波器的方差、第二高斯滤波器的方差及第三高斯滤波器的方差之间的关系满足:=
第一幅值T1与第二幅值T2满足如下公式:
T1 < abs( 2 * T2 );
所得到的分段滤波器波峰的波长λ1、两侧波谷的波长λ2与车牌高度H取值满足如下公式:
λ1 + 2 *λ2 < 2 * H + C;
λ2≤λ1 ≤ 2 *λ2;
其中C为常数。
2.如权利要求1所述复杂场景下的车牌检测方法,其特征在于,所述水平滤波采用高斯滤波器进行,所述高斯滤波器的波长λ0与车牌长度W满足关系式:
W/a <λ0 < W/b;
其中a > b > 2。
3.如权利要求1所述复杂场景下的车牌检测方法,其特征在于,所述精定位分类器为用基于级联结构的Adaboost算法对MB-LBP特征进行训练得到的分类器。
4.如权利要求3所述复杂场景下的车牌检测方法,其特征在于,用基于级联结构的Adaboost算法进行训练的过程中,训练样本的权重按如下公式更新:
其中w t+1,i 表示当前强分类器第i个训练样本在第t次弱分类器分类后更新得到的权重,w t,i 表示更新前的权重,β t 表示权重因子,y i 表示第i个样本的目标值,f t x i )表示第i个训练样本在第t个弱分类器的分类结果值;的取值方式为:对于第i个训练样本第t次弱分类器的分类,如果分类正确,则= z1;如果正样本分类错误,则= z2;如果负样本分类错误,则=z3;其中z3<z1<z2。
5.如权利要求1所述复杂场景下的车牌检测方法,其特征在于,利用基于级联结构的Adaboost算法对Haar特征模板进行所述分支训练。
6.如权利要求5所述复杂场景下的车牌检测方法,其特征在于,所述分支训练所采用的特征模板还包括以下类Haar特征模板:
由两个第一区域和三个第二区域组成的特征模板,各个区域沿水平方向排布,并且第一区域和第二区域间隔排布;
由两个第一区域和两个第二区域组成的特征模板,各个区域沿水平方向排布,第一区域及第二区域间隔排布;
由一个第一区域和四个第二区域组成的特征模板,各区域沿水平方向排布,第一区域的两侧分别排布两个第二区域;
由五个第一区域和两个第二区域组成的特征模板,各区域沿竖直方向排布,且两个第二区域之间排布五个第一区域;
各个类Haar特征模板的第一区域及第二区域均为矩形,且同一类Haar特征模板内的各个区域面积相等,类Haar特征模板的特征值定义为第一区域中的像素和与第二区域中的像素和相减之差。
7.如权利要求5或6所述复杂场景下的车牌检测方法,其特征在于,所述分支训练的方法包括:
a,利用所有正样本及负样本对特征模板用基于级联结构的Adaboost算法进行训练,得到统一训练的强分类器;
b,按现存车牌的颜色将正样本分为若干种,颜色种类与正样本种类一一对应,每种正样本结合所有负样本对特征模板用Adaboost算法分别进行训练,得到每种颜色对应的分支强分类器;
c,判断各种颜色所对应的强分类器包含的弱分类器数目相加之和是否小于统一分类的强分类器所包含弱分类器数目:如果是,则将各个分支强分类器分别加入当前的级联分类器并标记分叉;否则,将统一训练的强分类器加入当前的级联分类器并标记不分叉;
d,判断是否分叉:如果是,则采用步骤b的方法对特征模板用Adaboost算法训练直至所得到的级联分类器误差小于预定值;否则,重复步骤a、步骤b以及步骤c直至所得到的级联分类器误差小于预定值。
8.一种复杂场景下的车牌检测装置,包括粗定位单元,对输入的图像进行粗定位,所述粗定位包括水平滤波以及二值化处理,以及车牌区域检测单元,用经过训练的精定位分类器对具有粗定位区域的图像进行车牌区域检测,其特征在于,还包括:
降误检单元,将检测出车牌区域的图像通过分支训练所得的降误检分类器排除误检出车牌区域的图像,得到包含车牌区域的最终图像;所述分支训练中所采用的正样本为在精定位分类器的训练中分类正确的训练样本,负样本包括精定位分类器训练中分类错误的训练样本;
所述粗定位单元还包括垂直滤波子单元,用于在进行二值化处理之前对图像进行垂直滤波,所述垂直滤波采用的分段滤波器由三个高斯滤波器叠加而成,其中:
第一高斯滤波器的第一幅值T1>0,第二高斯滤波器的幅值及第三高斯滤波器幅值相同,均为第二幅值T2,且T2<0;
第一高斯滤波器的期望值μ1、第二高斯滤波器的期望值μ2及第三高斯滤波器的期望值μ3之间的关系满足:μ2<μ1<μ3,且abs(μ1-μ2)=abs(μ3-μ1);
第一高斯滤波器的方差、第二高斯滤波器的方差及第三高斯滤波器的方差之间的关系满足:=
第一幅值T1与第二幅值T2满足如下公式:
T1 < abs( 2 * T2 );
所得到的分段滤波器波峰的波长λ1、两侧波谷的波长λ2与车牌高度H取值满足如下公式:
λ1 + 2 *λ2 < 2 * H + C;
λ2≤λ1 ≤ 2 *λ2;
其中C为常数。
CN201510347046.5A 2015-06-19 2015-06-19 复杂场景下的车牌检测方法及装置 Active CN106257494B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510347046.5A CN106257494B (zh) 2015-06-19 2015-06-19 复杂场景下的车牌检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510347046.5A CN106257494B (zh) 2015-06-19 2015-06-19 复杂场景下的车牌检测方法及装置

Publications (2)

Publication Number Publication Date
CN106257494A CN106257494A (zh) 2016-12-28
CN106257494B true CN106257494B (zh) 2019-11-05

Family

ID=57713523

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510347046.5A Active CN106257494B (zh) 2015-06-19 2015-06-19 复杂场景下的车牌检测方法及装置

Country Status (1)

Country Link
CN (1) CN106257494B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106778913B (zh) * 2017-01-13 2020-11-10 山东大学 一种基于像素级联特征的模糊车牌检测方法
CN112528056B (zh) * 2020-11-29 2021-09-07 枞阳县中邦科技信息咨询有限公司 双索引现场数据检索系统及方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101937508A (zh) * 2010-09-30 2011-01-05 湖南大学 一种基于高清图像的车牌定位与识别方法
CN103824078A (zh) * 2014-03-18 2014-05-28 厦门翼歌软件科技有限公司 复杂场景多车牌定位方法
CN104318225A (zh) * 2014-11-19 2015-01-28 深圳市捷顺科技实业股份有限公司 车牌检测方法及装置
CN104537359A (zh) * 2015-01-15 2015-04-22 浙江宇视科技有限公司 一种车辆目标检测方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101937508A (zh) * 2010-09-30 2011-01-05 湖南大学 一种基于高清图像的车牌定位与识别方法
CN103824078A (zh) * 2014-03-18 2014-05-28 厦门翼歌软件科技有限公司 复杂场景多车牌定位方法
CN104318225A (zh) * 2014-11-19 2015-01-28 深圳市捷顺科技实业股份有限公司 车牌检测方法及装置
CN104537359A (zh) * 2015-01-15 2015-04-22 浙江宇视科技有限公司 一种车辆目标检测方法及装置

Also Published As

Publication number Publication date
CN106257494A (zh) 2016-12-28

Similar Documents

Publication Publication Date Title
Gudigar et al. A review on automatic detection and recognition of traffic sign
WO2017190574A1 (zh) 一种基于聚合通道特征的快速行人检测方法
CN105930791B (zh) 基于ds证据理论的多摄像头融合的路面交通标志识别方法
Omachi et al. Detection of traffic light using structural information
Greenhalgh et al. Traffic sign recognition using MSER and random forests
CN109086687A (zh) 基于pca降维的hog-mblbp融合特征的交通标志识别方法
Ellahyani et al. Traffic sign detection and recognition using features combination and random forests
CN109614936B (zh) 遥感图像飞机目标的分层识别方法
KR20070027768A (ko) 교통 표지판 탐지를 위한 방법
Wang et al. License plate detection using gradient information and cascade detectors
Le et al. Real time traffic sign detection using color and shape-based features
Hechri et al. Automatic detection and recognition of road sign for driver assistance system
CN105760858A (zh) 一种基于类Haar中间层滤波特征的行人检测方法及装置
CN102799859A (zh) 一种交通标志识别方法
CN103824081A (zh) 一种室外恶劣光照条件下的快速鲁棒交通标志检测方法
CN107704853A (zh) 一种基于多分类器的交通信号灯的识别方法
Dehshibi et al. Persian vehicle license plate recognition using multiclass Adaboost
CN106503748A (zh) 一种基于s‑sift特征和svm训练器的车型识别算法
Sugiharto et al. Traffic sign detection based on HOG and PHOG using binary SVM and k-NN
CN107590500A (zh) 一种基于色彩投影分类的车牌颜色识别方法及装置
CN107315990A (zh) 一种基于xcs‑lbp特征以及级联aksvm的行人检测算法
Abedin et al. Traffic sign recognition using surf: Speeded up robust feature descriptor and artificial neural network classifier
Mammeri et al. North-American speed limit sign detection and recognition for smart cars
Sallah et al. Road sign detection and recognition system for real-time embedded applications
Chakraborty et al. Bangladeshi road sign detection based on YCbCr color model and DtBs vector

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant