CN104268596A - 一种车牌识别器及其车牌检测方法与系统 - Google Patents

一种车牌识别器及其车牌检测方法与系统 Download PDF

Info

Publication number
CN104268596A
CN104268596A CN201410497495.3A CN201410497495A CN104268596A CN 104268596 A CN104268596 A CN 104268596A CN 201410497495 A CN201410497495 A CN 201410497495A CN 104268596 A CN104268596 A CN 104268596A
Authority
CN
China
Prior art keywords
license plate
image
sorter
area
car
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410497495.3A
Other languages
English (en)
Other versions
CN104268596B (zh
Inventor
唐健
关国雄
李锐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Jieshun Science and Technology Industry Co Ltd
Original Assignee
Shenzhen Jieshun Science and Technology Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Jieshun Science and Technology Industry Co Ltd filed Critical Shenzhen Jieshun Science and Technology Industry Co Ltd
Priority to CN201410497495.3A priority Critical patent/CN104268596B/zh
Publication of CN104268596A publication Critical patent/CN104268596A/zh
Application granted granted Critical
Publication of CN104268596B publication Critical patent/CN104268596B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/14Image acquisition
    • G06V30/148Segmentation of character regions
    • G06V30/153Segmentation of character regions using recognition of characters or words
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques

Abstract

本发明提供一种车牌识别器及车牌检测方法与系统,其中方法包括:获取车牌图像;对车牌图像使用标准车牌分类器进行检测,得到第一疑似车牌区域;对车牌图像使用互补车牌分类器进行检测,得到第二疑似车牌区域;对第一疑似车牌区域进行字符分割与识别,得到第一疑似车牌区域每个字符的置信度;对第二疑似车牌区域中的字符进行分割与识别,得到第二疑似车牌区域每个字符的置信度;判定第一疑似车牌区域是否为车牌区域;判定第二疑似车牌区域是否为车牌区域;确定车牌区域的数量,若车牌区域的数量为1个,则输出该车牌区域,若车牌区域的数量大于1个,则将各车牌区域中所有字符的置信度相加,输出置信度相加后和最高的车牌区域。

Description

一种车牌识别器及其车牌检测方法与系统
技术领域
本发明涉及图像处理领域,特别是涉及一种车牌检测方法与系统。同时,本发明还涉及一种包括上述车牌检测系统的车牌识别器。
背景技术
车牌是车辆的“身份证”号码,通过车牌,可以检测到车辆的许多重要信息,如车辆所属的省、市、县,及车辆的主人等。为了更好地对交通系统进行管理,一般在公路收费、停车管理和交通执法等场合设立车牌识别器,利用车辆识别技术和一些后续处理来实现公路收费站、停车场收费管理和闯红灯电子警察等功能。而在车辆识别技术中,车辆定位是其中非常重要的一环节,若无法对你车牌进行准确定位,那么对车牌的识别更无从说起。
在现有技术中,对车牌进行检测的车牌分类器都是在实验室内来训练得到的,通过使用摄像机在各个时段和天气条件下拍摄并储存大量停车场出入口的视频,在这些视频中人工地截取出每辆车的车牌图像,以这些截取出的含有车牌的图像作为正样本,再人工截取出其中不是车牌的部分,以这些人工截取出的不含有车牌的图片作为负样本,使用Haar特征(哈尔特征)对每一幅车牌的正样本和负样本进行表征,形成Haar特征向量(哈尔特征向量),最后使用级联的Adaboost算法(Adaptive Boosting算法,自适应推进算法,一种迭代算法)对这些Haar特征向量进行训练,获得所需的车牌分类器。
由于实验室训练车牌分类器所选用的图片并没有针对性,而实际应用中的现场环境千变万化,工程安装人员的水平也参差不齐,当车辆进入直道很短的T型出入口,或车辆进行大角度拐弯,或工程安装人员将路面的摄像机和实验室训练的分类器的摄像机安装的角度有差异时,由于现有分类器都是在实验室训练而出,无法很好地适应现场路面的变化,可能导致分类器无法检测出车牌图像中的疑似车牌区域,严重影响到车牌识别器的检测率。
发明内容
有鉴于此,本发明实施例提供一种车牌定位方法及系统,以解决现有技术中只使用实验室训练的车牌分类器来进行车牌定位而造成的车牌检测的检测率低的问题。
为实现上述目的,本发明实施例提供如下技术方案:
一种车牌检测方法,包括:
获取车牌图像;
对所述车牌图像使用标准车牌分类器进行检测,得到第一疑似车牌区域;对所述车牌图像使用互补车牌分类器进行检测,得到第二疑似车牌区域;
对第一疑似车牌区域进行字符分割与识别,得到第一疑似车牌区域每个字符的置信度;对第二疑似车牌区域中的字符进行分割与识别,得到第二疑似车牌区域每个字符的置信度;
确定第一疑似车牌区域中置信度大于一定阈值的字符的数量,当置信度大于一定阈值的字符的数量不小于一定阈值时,判定所述第一疑似车牌区域为车牌区域;确定第二疑似车牌区域中置信度大于一定阈值的字符的数量,当置信度大于一定阈值的字符的数量不小于一定阈值时,判定所述第二疑似车牌区域为车牌区域;
确定车牌区域的数量,若车牌区域的数量为1个,则输出该车牌区域,若车牌区域的数量大于1个,则将各车牌区域中所有字符的置信度相加,输出置信度相加后和最高的车牌区域。
其中,所述获取车牌图像包括:
图像采集设备采集图像,获取所述采集的图像作为所述车牌图像;
或,图像采集设备采集图像,对所述采集的图像进行边缘检测,获取所述采集的图像中边缘度大于一定阈值的区域图像作为所述车牌图像。
其中,所述互补车牌分类器包括:
不能被标准车牌分类器检测得到第一疑似车牌区域的车牌图像训练得到的第一互补车牌分类器;
或,不能被标准车牌分类器检测得到第一疑似车牌区域且不能被第一互补车牌分类器检测得到第二疑似车牌区域的车牌图像训练得到的第二互补车牌分类器。
其中,训练所述互补车牌分类器的具体步骤包括:
获取训练互补车牌分类器所需的车牌图像样本,取所述车牌图像样本中包含车牌的部分为正样本,取所述车牌图像样本中的不包含车牌的部分为负样本;
使用哈尔特征对所述正样本和所述负样本进行表征,形成哈尔特征向量;
利用迭代算法对所述哈尔特征向量进行训练,得到互补车牌分类器。
其中,所述获取训练互补车牌分类器所需的车牌图像样本的具体步骤包括:
获取车牌图像;对获取的车牌图像进行跟踪;对跟踪后的车牌图像使用标准车牌分类器进行检测,若没有检测到第一疑似车牌区域,则将该车牌图像保存,得到训练互补车牌分类器所需的车牌图像样本;
或,
获取车牌图像;对获取的车牌图像进行跟踪;对跟踪后的车牌图像使用标准车牌分类器进行检测;对跟踪后的车牌使用互补车牌分类器进行检测;若没有检测到第一疑似车牌区域且没有检测到第二疑似车牌区域,则将该车牌图像保存,得到训练互补车牌分类器所需的车牌图像样本;
其中,在将该车牌图像保存前,还包括:获取当前帧车牌图像中车牌区域的位置信息;将获取的当前帧车牌图像中车牌区域的位置信息与上一帧车牌图像中车牌区域的位置信息进行比较,当满足预定条件时,再将当前帧车牌图像保存。
一种车牌检测系统,包括:第一获取模块、检测模块、字符处理模块、车牌判断模块和输出模块,其中,
所述第一获取模块,用于获取车牌图像;
所述检测模块,用于对获取的车牌图像使用标准车牌分类器进行检测,得到第一疑似车牌区域;对获取的车牌图像使用互补车牌分类器进行检测,得到第二疑似车牌区域;
所述字符处理模块,用于对第一疑似车牌区域进行字符分割与识别,得到第一疑似车牌区域每个字符的置信度;对第二疑似车牌区域中的字符进行分割与识别,得到第二疑似车牌区域每个字符的置信度;
所述车牌判定模块,用于确定第一疑似车牌区域中置信度大于一定阈值的字符的数量,当置信度大于一定阈值的字符的数量不小于一定阈值时,判定所述第一疑似车牌区域为车牌区域;确定第二疑似车牌区域中置信度大于一定阈值的字符的数量,当置信度大于一定阈值的字符的数量不小于一定阈值时,判定所述第二疑似车牌区域为车牌区域;
所述输出模块,用于确定车牌区域的数量,若车牌区域的数量为1个,则输出该车牌区域,若车牌区域的数量大于1个,则将所述车牌区域中所有字符的置信度相加,输出置信度相加后和最高的车牌区域。
其中,所述车牌检测还系统包括:第二获取模块,
用于对获取的车牌图像进行跟踪;对跟踪后的车牌图像使用标准车牌分类器进行检测,若没有检测到第一疑似车牌区域,则将该车牌图像保存,获取训练互补车牌分类器所需的车牌图像样本;
或,
用于对获取的车牌图像进行跟踪;对跟踪后的车牌图像使用标准车牌分类器进行检测;对跟踪后的车牌使用互补车牌分类器进行检测;若没有检测到第一疑似车牌区域且没有检测到第二疑似车牌区域,则将该车牌图像保存,获取训练互补车牌分类器所需的车牌图像样本。
其中,所述第二获取模块包括:训练模块,
用于获取训练互补车牌分类器所需的车牌图像样本,取所述车牌图像样本中包含车牌的部分为正样本,取所述车牌图像样本中的不包含车牌的部分为负样本;
使用哈尔特征对所述正样本和所述负样本进行表征,形成哈尔特征向量;
利用迭代算法对所述哈尔特征向量进行训练,得到车牌互补分类器。
其中,所述第一获取模块包括图像采集设备,用于采集图像,将所述采集的图片进行输出;
其中,所述图像采集设备还包括:图像检测单元,用于对图像采集设备输出的车牌图像进行边缘检测,将边缘检测后的图像中边缘度大于一定阈值的图像进行输出。
一种车牌识别器,其特征在于,包括上述的车牌检测系统。
基于上述技术方案,本发明实施例提供车牌检测方法,使用通过现场环境中不能被标准车牌分类器检测得到疑似区域的车牌图像训练得到的互补车牌分类器,将训练出的互补车牌分类器与标准分类器相互配合,当某个疑似车牌区域无法被标准车牌分类器检测到时,将可以通过训练完成后的互补车牌分类器来检测到,当互补车牌分类器与标准车牌分类器检测到同一疑似车牌区域时,也会更加有利于提高车牌识别器的检测率,有效地提高了车牌识别器的检测率;当配合使用互补车牌分类器与标准分类器后仍然无法检测到疑似车牌区域,即标准车牌分类器和互补车牌分类器均无法检测到疑似车牌区域,使车牌识别器的检测率偏低,那么便再将那些无法使用标准车牌分类器检测到疑似车牌区域又无法通过互补车牌分类器检测到疑似车牌区域的车牌图像作为该互补车牌分类器的训练图像样本,对该互补车牌分类器进行再次训练,直到将此互补车牌分类器和此标准车牌分类器配合使用时可以达到一个满意的检测率。如此,相比现有技术的车牌检测方法,使用本发明的车牌检测方法,将拥有更高的检测率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本发明实施例提供的车牌检测方法的流程图;
图2为本发明实施例提供的车牌检测方法中获取车牌图像的方法流程图;
图3为本发明实施例提供的车牌检测方法中训练互补车牌分类器的方法流程图;
图4为本发明实施例提供的车牌检测方法中获取训练互补车牌分类器所需的车牌图像样本的方法流程图;
图5为发明实施例提供的车牌检测方法中获取训练互补车牌分类器所需的车牌图像样本的另一方法流程图;
图6为本发明实施例提供的车牌检测系统的系统框图;
图7为本发明实施例提供的车牌检测系统的另一系统框图;
图8为发明实施例提供的车牌检测系统中第二获取模的一种可选结构;
图9为本发明实施例提供的车牌检测系统中第一获取模块的一种可选结构。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1为本发明实施例提供的车牌检测方法的流程图,该车牌检测方法使用实验室训练得到的标准车牌分类器和根据标准车牌分类器无法检测到车牌的车牌图像样本训练得到的互补车牌分类器同时对车牌进行检测,以提高对车牌检测的检测率,参照图1,该方法可以包括:
步骤S100:获取车牌图像;
获取的车牌图像可以是直接来自图像采集设备采集而来的图像,也可能是通过图像采集设备采集后经过了检测选择后的图像。其中,使用的图像采集设备可以为摄像机,而所述的检测选择可以是边缘检测或扫描,选择出满足一定边缘度的或满足一定分辨率的图像区域来作为车牌图像。
步骤S110:对所述车牌图像使用标准车牌分类器进行检测,得到第一疑似车牌区域;对所述车牌图像使用互补车牌分类器进行检测,得到第二疑似车牌区域;
其中,标准车牌分类器是指现有技术中的在实验室训练得到的车牌分类器,一般而言,使用标准车牌分类器便可以得到疑似车牌区域,但在某些情况时,如:车辆进入直道很短的T型出入口,或车辆进行大角度拐弯,或工程安装人员将路面的摄像机和实验室训练的分类器的摄像机安装的角度有差异时,可能会使标准车牌分类器无法检测到疑似车牌区域,从而漏过需要检测的疑似车牌区域,因此,此处将标准车牌分类器与互补车牌分类器配合使用,以使这些原本可能被标准车牌分类器漏过的疑似车牌区域也被检测出来,提供车牌识别器的检测率。
互补车牌分类器,顾名思义,是作为标准分类器的一个互补的车牌分类器,其通过现场环境中不能被标准车牌分类器检测得到疑似车牌区域的车牌图像训练而得,将训练出的互补车牌分类器与标准分类器相互配合,当某个疑似车牌区域无法被标准车牌分类器检测到时,将可以通过训练完成后的互补车牌分类器来检测到,有效地提高了车牌识别器的检测率。当然,互补车牌分类器也可能会与标准车牌分类器检测到同一疑似车牌区域,但如此将更有利于提高车牌识别器的检测率。
可以看出,一个标准车牌分类器可以同时训练出多个互补车牌分类器,而这些互补车牌分类器与该标准车牌分类器为相互对应的关系,即这些通过该标准车牌分类器训练得出的互补车牌分类器应该与该标准车牌分类器配套使用来检测车牌图像,而不是与其他标准车牌分类器配合使用来检测车牌图像,与其他标准车牌分类器配合使用将无法很好实现本发明提高车牌识别器检测率的目的,其他的标准车牌分类器应该与利用该其他标准车牌分类器训练而得的互补车牌分类器来配套使用。
另外,需要说明的是,由于Haar检测十分耗时,为了满足实时需求,虽然一个标准车牌分类器可以训练出多了可与其配套使用的互补车牌分类器,但在使用时,我们仅仅使用一个互补车牌分类器与一个标准车牌分类器配套使用,其他的训练出的也可与该标准车牌分类器配套使用的互补车牌分类器可以将其保留,当正在使用的与该标准车牌分类器配套的互补车牌分类器出现故障时,用其替换该故障的互补车牌分类器。
将标准车牌分类器与互补车牌分类器配合使用来检测车牌图像,若配合使用后仍然无法检测到疑似车牌区域,即标准车牌分类器和互补车牌分类器均无法检测到疑似车牌区域,使车牌识别器的检测率偏低,则说明该互补车牌分类器训练的不够完善,此时,将那些无法使用标准车牌分类器检测到疑似车牌区域又无法通过互补车牌分类器检测到疑似车牌区域的车牌图像作为该互补车牌分类器的训练图像样本,对该互补车牌分类器进行再次训练,直到将此互补车牌分类器和此标准车牌分类器配合使用时可以达到一个满意的检测率。同时,需要注意的是,每次训练互补车牌分类器所需的车牌图像样本要有足够多的数量,如果数量不够,也将无法很好地训练出令人满意的互补车牌分类器。
其中,需要说明的是,对车牌图像使用标准车牌分类器进行检测和对车牌图像使用互补车牌分类器进行检测并没有顺序的关系,即,可以对车牌图像同时使用标准车牌分类器和互补车牌分类器检测,也可以先对车牌图像使用标准车牌分类器进行检测再对车牌图像使用互补车牌分类器进行检测,当然,还可以先对车牌图像使用互补车牌分类器进行检测再对车牌图像使用标准车牌分类器进行检测。
步骤S120:对第一疑似车牌区域进行字符分割与识别,得到第一疑似车牌区域每个字符的置信度;对第二疑似车牌区域中的字符进行分割与识别,得到第二疑似车牌区域每个字符的置信度;
由于一个车牌图像中可能存在多个疑似车牌区域,所以,通过标准车牌分类器检测得到的第一疑似车牌区域和通过互补车牌分类器检测得到的第二疑似车牌区域的数量可能并不唯一,因此,需要对每个通过标准车牌分类器检测得到的第一疑似车牌区域和每个通过互补车牌分类器检测得到的第二疑似车牌区域都进行字符分割与识别,而每个疑似车牌区域经过字符分割与识别后,其中的字符都将获得一个置信度,获取该置信度。
对第一疑似车牌区域进行字符分割与识别得到第一疑似车牌区域每个字符的置信度,和对第二疑似车牌区域中的字符进行分割与识别得到第二疑似车牌区域每个字符的置信度也没有顺序的关系,即可以同时对第一疑似车牌区域和第二疑似车牌区域进行字符分割与识别,并在对第一疑似车牌区域和第二疑似车牌区域进行字符分割完成后分别再得到其每个字符的置信度;可以先对第一疑似车牌区域进行字符分割与识别得到其每个字符的置信度,当每个第一疑似车牌区域都得到其每个字符经过字符分割与识别后的置信度后,再对第二疑似车牌区域进行字符分割与识别得到其每个字符的置信度;还可以先对第二疑似车牌区域进行字符分割与识别得到其每个字符的置信度,当每个第二疑似车牌区域都得到其每个字符经过字符分割与识别后的置信度后,再对第一疑似车牌区域进行字符分割与识别得到其每个字符的置信度。
步骤S130:确定第一疑似车牌区域中置信度大于一定阈值的字符的数量,当置信度大于一定阈值的字符的数量不小于一定阈值时,判定所述第一疑似车牌区域为车牌区域;确定第二疑似车牌区域中置信度大于一定阈值的字符的数量,当置信度大于一定阈值的字符的数量不小于一定阈值时,判定所述第二疑似车牌区域为车牌区域;
目前,一个车牌中一般具有7个字符,而对每个疑似车牌区域进行字符分割与识别得到每个字符都将会具有一个置信度,这个置信度范围在0-1000之间,当一个字符的置信度大于一个预先设定好的阈值(定义这个阈值为第一阈值)时,可以判定该字符有效,当一个疑似车牌区域中的有效字符数量不小于一个预先设定好的阈值(定义这个阈值为第二阈值)时,判定该疑似区域为车牌区域。其中,第一阈值必须在0-1000之间,第二阈值必须为不大于7的正整数,比如为5。
第一阈值和第二阈值可以有效的防止车牌识别器对车牌的误检,即可以防止某些非车牌区域被检测为疑似车牌后为误检为车牌区域。第一阈值和第二阈均为预先设定,第一阈值和第二阈值被设定的越高,被检测为疑似车牌区域的非车牌区域被排除为车牌区域的可能便越大,但这个阈值也并非越大越好,过大的阈值还可能将为车牌区域的疑似车牌区域判定为非车牌区域,阈值的大小应该在对车牌分类器进行训练时,通过实验或现场检测的方法得出一个令人满意的数值。
步骤S140:确定车牌区域的数量,若车牌区域的数量为1个,则输出该车牌区域,若车牌区域的数量大于1个,则将各车牌区域中所有字符的置信度相加,输出置信度相加后和最高的车牌区域。
当获取的车牌图像中被判定为只有1个车牌区域时,那么便认为该车牌区域即为所获取的车牌图像中的车牌,将该车牌区域输出,车牌检测成功;当获取的车牌图像中被判定为拥有大于1个车牌区域时,那么将所有车牌区域的所有字符的置信度相加,可选的,可以将各个车牌区域置信度相加后按照置信度和的大小,从大到小依次排列,然后,输出置信度相加后和最高的车牌区域,认为其为所获取的车牌图像中的车牌,车牌检测成功;当获取的车牌图像中被判断为0个车牌区域,即被判断为没有车牌区域时,那么,可能是获取的车牌图像中原本便没有车牌,也可能是获取的车牌图像中有车牌而没有被检测到有车牌,即说明车牌检测失败,若车牌检测失败的次数过多,车牌识别器的检测率过低,那么便需要对本发明中的互补车牌分类器进行重新训练,以提高车牌检测的检测率。
当获取的车牌图像中被判定为拥有大于1个车牌区域时,由于将车牌区域中的所有字符的置信度相加后,可能会存在出现两个或多个车牌区域的置信度和均为最高的情况,若此种情况出现,那么,再获取此两个或多个置信度和均为最高的车牌区域的坐标,输出坐标值中纵坐标最大,即最靠近底部的车牌区域。
若在本发明所述的车牌检测之前已经对车牌进行成功跟踪,那么便说明获取的车牌图像中原本存在车牌,而若此时,获取的车牌图像中被判断为0个车牌区域,则可确定是车牌检测失败,而非获取的车牌图像中原本便没有车牌,可以将已经被成功跟踪而却车牌检测设备检测失败的车牌图像进行保存,以用来训练互补车牌分类器。
本发明实施例提供车牌检测方法,使用通过现场环境中不能被标准车牌分类器检测得到疑似区域的车牌图像训练得到的互补车牌分类器,将训练出的互补车牌分类器与标准分类器相互配合,当某个疑似车牌区域无法被标准车牌分类器检测到时,将可以通过训练完成后的互补车牌分类器来检测到,有效地提高了车牌识别器的检测率;当互补车牌分类器与标准车牌分类器检测到同一疑似车牌区域时,也会更加有利于提高车牌识别器的检测率;当配合使用互补车牌分类器与标准分类器后仍然无法检测到疑似车牌区域,即标准车牌分类器和互补车牌分类器均无法检测到疑似车牌区域,使车牌识别器的检测率低,那么便再将那些无法使用标准车牌分类器检测到疑似车牌区域又无法通过互补车牌分类器检测到疑似车牌区域的车牌图像作为该互补车牌分类器的训练图像样本,对该互补车牌分类器进行再次训练,直到将此互补车牌分类器和此标准车牌分类器配合使用时可以达到一个满意的检测率。如此,相比只是要标准车牌分类器的车牌检测方法,使用本发明的车牌检测方法,将拥有更高的检测率。
可选的,图2示出了本发明实施例提供的车牌检测方法中获取车牌图像的方法流程图,其中,图像采集设备使用摄像机,同时对摄像机采集后的图像进行边缘检测,选择符合要求的区域图像作为车牌图像,参照图2,获取车牌图像的方法可以包括:
步骤S200:摄像机采集图像;
使用摄像机采集图像时,摄像机应设置于较高于图片采集区域的位置,使摄像机可以清楚、全面地看到经过路面或出入口的车辆的车牌,而所述摄像机可以为摄像头可摆动的摄像机,使用摄像头可摆动的摄像机,当摄像机因为外部原因而使机身发生偏移时,可以通过控制摄像机摄像头的摆动来使摄像机可以重新捕获清晰、完整的图像。
步骤S210:对摄像机采集到的图像进行边缘检测,获取边缘检测后边缘度大于一定阈值的区域图像作为车牌图像。
经过摄像机采集得到的图像可以在不经过边缘处理等检测后直接作为车牌图像而被捕获,但是如果直接对整个摄像机采集的图像进行全图获取,由于获取的车牌图像中的所需的车牌区域往往只占车牌图像中的一小部分,如此,将使得被检测的车牌图像中的非车牌区域范围过大,使得被检测的车牌图像中的非车牌区域被误检为疑似车牌区域的可能增大,使得车牌检测所需的时间变长,影响车牌检测的检测效率。而若对摄像机采集到的图像进行边缘检测,由于一般车牌区域的颜色与路面和出入口等地的颜色有着一定明显的分层,使用边缘检测,将边缘度大于一定阈值的区域图像,即采集的图像中亮度变化明显的区域图像作为车牌图像被获取,将被摄像机采集的图像中一些明显不可能为车牌区域的区域图像删去,只保留可能为车牌区域的区域图像,减少被检测车牌图像中非车牌区域的范围,提高车牌检测的检测效率。
除了可以对摄像机采集的图像进行边缘检测来提供边缘检测效率外,还可以通过对摄像机采集的图像进行扫描,获取图像扫描后分辨率大于一定阈值的区域图像作为车牌图像。分辨率决定了图像的精细程度,摄像机采集的图像的分辨率越高,说明摄像机采集到的图像的便越清晰,若摄像机采集的图像的分辨率过低,那么便使得被存在于被采集的图像中车牌区域的像素过低,加大了后续过程中被检测出的疑似车牌区域的字符分析与识别的难度,或者甚至无法将疑似车牌区域进行字符分许与识别,因此,将采集的图像中一些像素过低,不可后续使用的区域图像略去,而获取被采集的图像中分辨率可用的区域图像作为需被获取的车牌区域,也可以从另一方面提高车牌检测的检测效率。
可选的,本发明实施例提供的车牌检测方法中使用的互补车牌分类器包括:
只利用不能被标准车牌分类器检测得到第一疑似车牌区域的车牌图像训练得到的互补车牌分类器,可以称此只利用不能被标准车牌分类器检测得到第一疑似车牌区域的车牌图像训练得到的互补车牌分类器为第一互补车牌分类器。当只有标准车牌分类器对路面或出入口车牌进行检测,即还没有训练出与标准车牌分类器相匹配的互补车牌分类器时,利用不能被此标准车牌分类器检测得到第一疑似车牌区域的车牌图像训练得到的第一类互补车牌分类器,然后利用此第一类互补车牌分类器与此标准车牌分类器配合使用,以提高车牌识别器的检测率。
不能被标准车牌分类器检测得到第一疑似车牌区域且不能被第一互补车牌分类器检测得到第二疑似车牌区域的车牌图像训练得到的互补车牌分类器,称此不能被标准车牌分类器检测得到第一疑似车牌区域且不能被第一互补车牌分类器检测得到第二疑似车牌区域的车牌图像训练得到的互补车牌分类器为第二互补车牌分类器。当已经训练好了第一互补车牌分类器,而第一互补车牌分类器与标准车牌分类器配合使用后车牌识别器的检测率并不理想时,便可以通过利用此不能被标准车牌分类器检测得到第一疑似车牌区域且不能被第一互补车牌分类器检测得到第二疑似车牌区域的车牌图像训练得到的第二互补车牌分类器来替换第一互补车牌分类器,使该第二互补车牌分类器与该标准车牌分类器配合使用,以提高车牌识别器的检测率。
同样的,除第一互补车牌分类器和第二互补车牌分类器外,自然也包括不能被标准车牌分类器检测得到第一疑似车牌区域且不能被第二互补车牌分类器检测得到第二疑似车牌区域的车牌图像训练得到的互补车牌分类器,称此不能被标准车牌分类器检测得到第一疑似车牌区域且不能被第二互补车牌分类器检测得到第二疑似车牌区域的车牌图像训练得到的互补车牌分类器为第三互补车牌分类器。依次类推,还可以包括第四互补车牌分类器、第五互补车牌分类器、第六互补车牌分类器等等,只要某个互补车牌分类器与标准车牌分类器配合使用后的车牌识别器检测率不佳,便可通过此互补分类器与该标准分类器收集图像而训练出下一个可以与该标准车牌分类器配合更好的互补车牌分类器,使车牌识别器始终保持一个良好的检测率。
可选的,获得本发明实施例提供的车牌检测方法中使用的互补车牌分类器可以包括:
步骤A1:获取使用标准车牌分类器不能检测到第一疑似车牌区域的车牌图像,保存至样本集;
所述样本集用于保存训练互补车牌分类器的车牌图像。
步骤A2:当获取的使用标准车牌分类器不能检测到车牌第一疑似车牌区域的车牌图像的数目达到预定阈值时,利用样本集中的车牌图像训练得到第一互补车牌分类器;
可选的,可以在训练得到第一互补车牌分类器后将样本集中保存的车牌图像继续保存,下次训练互补车牌分类器时,利用原本便保存在样本集中的车牌图像和重新获取并保存至样本集中的车牌图像进行互补车牌分类器的训练。
步骤A3:将训练得到的第一互补车牌分类器与所述标准车牌分类器配合使用。
步骤A4:当出现使用标准车牌分类器无法检测到第一疑似车牌区域,且使用第一互补分类器无法检测到第二疑似车牌区域的车牌图像时,获取这些车牌图像并将这些车牌图像保存至样本集;
步骤A5:当使用标准车牌分类器无法检测到第一疑似车牌区域,且使用互补分类器无法检测到第二疑似车牌区域的车牌图像达到预定阈值时,利用样本集中的车牌图像训练出第二互补车牌分类器;
可选的,训练第二互补车牌分类器的样本集中的车牌图像包括训练第一互补车牌分类器时使用的车牌图像样本与新收集的车牌图像样本。
步骤A6:将训练得到的第二互补车牌分类器替代第一互补车牌分类器与该标准车牌分类器配合使用。
以此类推,当出现使用标准车牌分类器无法检测到第一疑似车牌区域,且使用第二互补分类器无法检测到第二疑似车牌区域的车牌图像时,获取这些车牌图像并将这些车牌图像保存至样本集;当使用标准车牌分类器无法检测到第一疑似车牌区域,且使用互补分类器无法检测到第二疑似车牌区域的车牌图像达到预定阈值时,利用存于样本集中的之前一次训练使用的样本和本次收集的车牌图像样本进行训练,得到第三互补车牌分类器;将训练得到的第三互补车牌分类器替代第二互补车牌分类器与该标准车牌分类器配合使用。
如此,不断使用标准车牌分类器与最新训练出的互补车牌分类器配合使用来检测车牌图像,不断收集新的训练互补车牌分类器的车牌图像,收集到的新的训练互补车牌分类器的车牌图像达到一定数量后,训练出更新的互补车牌分类器,用这个更新的互补车牌分类器来替代前一个互补车牌分类器,将这个更新的互补车牌分类器与该标准车牌分类器配合使用,直到几乎不再出现使用标准车牌分类器无法检测到第一疑似车牌区域且使用补分类器无法检测到第二疑似车牌区域的车牌图像的情况,即,直到无法训练出比更新的互补车牌分类器更新的互补车牌分类器为止,如此,可提高车牌识别器的检测率,使车牌识别器的检测率和漏检率达到一定要求。
可选的,图3示出了本发明实施例提供的车牌检测方法中训练互补车牌分类器的方法流程图,参照图3,训练互补车牌分类器的方法可以包括:
步骤S300:获取训练互补车牌分类器所需的车牌图像样本,取车牌图像样本中包含车牌的部分为正样本,取车牌图像样本中的非车牌区域为负样本;
其中,获取的训练互补车牌分类器所需的车牌图像样,即为上文所描述的当还没有与标准车牌分类器相匹配的互补车牌分类器存在时,不能被该标准车牌分类器检测得到第一疑似车牌区域的车牌图像;或当已经有第一互补车牌分类器与标准车牌分类器配合使用时,而不能被该标准车牌分类器检测得到第一疑似车牌区域且不能被该第一互补车牌分类器检测得到第二疑似车牌区域的车牌图像;或当已经有第二互补车牌分类器与标准车牌分类器配合使用时,而不能被该标准车牌分类器检测得到第一疑似车牌区域且不能被该第二互补车牌分类器检测得到第二疑似车牌区域的车牌图像等等。
可选的,取车牌图像样本中包含车牌的部分为正样本,取车牌图像样本中的非车牌区域为负样本,这一操作可以采样人工截取的方式对车牌图像进行手动截取。通过肉眼识别出训练互补车牌分类器所需的车牌图像样本中的车牌,然后通过鼠标或键盘等操作人工得截取出训练互补车牌分类器所需的车牌图像样本中包含车牌的部分,将其作为正样本,再人工得截取出训练互补车牌分类器所需的车牌图像样本中不包含车牌的部分,将其作为负样本。由于人的精力有限,而截取出训练互补车牌分类器所需的车牌图像样本中的正、负样本的工程一般较大,当人工作到一定程度时,将会导致集中力下降,致使截取正、负样本的出错率变高,且在截取正、负样本的过程中,人脑的思考速度与手的操作速度毕竟有限,也会使得正、负样本的截取速度较慢。
可选的,此处可以采用机器自动截取出训练互补车牌分类器所需的车牌图像样本中的正、负样本的方式来训练互补车牌分类器。对需要截取出正、负样本而训练互补车牌分类器的车牌图像样本进行跟踪,若跟踪成功,机器便可以获得车牌图像样本中车牌的位置信息,确定车牌图像样本中车牌的位置信息后将该车牌图像样本中对应的车牌位置信息保存,保存后车牌识别器中将会生成一个txt文件,那么,每次训练互补车牌分类器时而需要取训练互补车牌分类器所需的车牌图像样本中的正、负样本时,便可以通过读取该保存有车牌位置信息的txt文件来获取所需的正样本,然后再随意选读取一个不包含如何车牌信息的图文文件夹中txt文件来获取所需的负样本。由于机器的运算速度迅速而错误率低,所以使用机器自动截取出训练互补车牌分类器所需的车牌图像样本中的正、负样本,可以拥有更快的速度和更小的出错率。
步骤S310:使用哈尔特征对所述正样本和所述负样本进行表征,形成哈尔特征向量;
哈尔特征(Haar特征,Haar-like features)是一种用于物体识别的图像特征,使用检测窗口中指定位置的相邻矩形,计算每一个矩形的像素和并取其差值,然后用这些差值来对图像的子区域进行分类。例如,当前有一个人脸图像集合,通过观察可以发现,人的眼睛的颜色要比两颊的深,因此,用于人脸检测的哈尔特征是分别放置在眼睛和脸颊的两个相邻矩形。这些矩形的位置则通过类似于人脸图像的外接矩形的检测窗口进行定义。在检测阶段,一个与目标物体同样尺寸的检测窗口将在输入图像上滑动,在图像的每一个子区域都计算出一个哈尔特征向量,然后这个差值会与一个预先计算好的阈值进行比较,将目标和非目标区分开来,单个哈尔特征向量可以视为一个弱分类器,而多个哈尔特征向量的组合可以形成一个级联分类器,最终形成一个强分类器。哈尔特征的计算非常快速,使用一个称为积分图的结构,任意尺寸的哈尔特征可以在常数时间内进行计算。
步骤S320:利用迭代算法对所述哈尔特征向量进行训练,得到互补车牌分类器。
具体的,可以使用Adaboost(Adaptive Boosting,自适应推进)算法来对哈尔特征向量进行训练,从而得到互补车牌分类器。Adaboost算法的核心思想是针对同一个训练集训练不同的弱分类器,然后把这些弱分类器集合起来,构成一个强分类器。其算法本身是通过改变数据分布来实现的,根据每次训练集之中每个样本的分类是否正确,以及上次的总体分类的准确率,来确定每个样本的权值,将修改过权值的新数据集送给下层分类器进行训练,最后将每次训练得到的分类器最后融合起来,作为最后的决策分类器。
可选的,图4示出了本发明实施例提供的车牌检测方法中获取训练互补车牌分类器所需的车牌图像样本的方法流程图,参照图4,获取训练互补车牌分类器所需的车牌图像样本的方法可以包括:
步骤S400:获取车牌图像;
步骤S410:对获取的车牌图像进行跟踪;
可选的,可以使用卡尔曼滤波器或使用mean-shift算法(聚类算法)来对获取的车牌图像进行跟踪。
其中,需要说明的是,此处所说的车牌图像是指在已经在车牌跟踪列表中的车牌图像,设该车牌图像为当前帧车牌图像,该车牌图像已经在车牌跟踪列表中,是指在当前帧之前当前帧车牌图像中的车牌区域已经被检测出来,并将该被检测出的车牌区域的信息加入了车牌跟踪列表之中。若该车牌图像未在车牌跟踪列表中,即在当前帧之前当前帧车牌图像中的车牌区域未被检测出来,车牌跟踪列表中无此被检测出的车牌区域,此时无法对当前帧车牌图像进行跟踪。可以通过对当前帧车牌图像进行车牌检测,当当前帧车牌图像被检测到车牌区域而将当前帧车牌图像的信息加入车牌跟踪列表之中后,使车牌识别器可以对下一帧的车牌图像进行跟踪,之后再执行后面的操作步骤。
步骤S420:判断车牌图像跟踪是否成功;
步骤S430:若跟踪成功,对跟踪后的车牌图像使用标准车牌分类器进行检测;
步骤S440:判断标准车牌分类器是否检测到第一疑似车牌区域;
步骤S450:若没有检测到,将该车牌图像保存。
当只有标准车牌分类器对路面或出入口车牌进行检测,即还没有训练出与标准车牌分类器相匹配的互补车牌分类器时,使用图4示出的获取训练互补车牌分类器所需的车牌图像样本的方法来获取训练互补车牌分类器所需的车牌图像样本,其中,步骤S450中被保存的车牌图像即为所需的训练互补车牌分类器所需的车牌图像样本。
在对车牌图像使用标准车牌分类器进行检测前对该车牌图像进行跟踪,是为了确定获取的车牌图像中车牌区域的存在。当获取的车牌图像被标准车牌分类器进行检测后没有检测到第一疑似车牌的存在,那么获取的车牌图像存在两种可能情况,一是可能获取的车牌中原本便不包含车牌,一是可能获取的车牌图像使用标准车牌分类器进行检测后并没有成功。如果在对车牌图像使用标准车牌分类器进行检测前对该车牌图像进行跟踪,若跟踪成功,那么便说明获取的车牌图像中原本存在车牌,可以排除当获取的车牌图像被标准车牌分类器进行检测后没有检测到第一疑似车牌的存在时可能获取的车牌中原本便不包含车牌这一情况,即确定当获取的车牌图像被标准车牌分类器进行检测后没有检测到第一疑似车牌的存在时是使用标准车牌分类器检测失败。
同时,由于对或取的车牌图像进行跟踪成功后,便可以获知该车牌图像中车牌的位置信息,将该车牌位置信息与该车牌图像相绑定保存后,将有利于之后对训练互补车牌分类器所需的车牌图像样本中的正、负样本的获取,加快训练互补车牌分类器所需的车牌图像样本中的正、负样本的获取速率,同时较少对训练互补车牌分类器所需的车牌图像样本中的正、负样本的获取的出错率。
可选的,可以在判定该标准车牌分类器没有检测到第一疑似车牌区域后,增加判断当前帧车牌图像中车牌区域的位置与上一帧车牌图像中车牌区域的位置是否满足预定条件的步骤,当判定当前帧车牌图像中车牌区域的位置与上一帧车牌图像中车牌区域的位置满足预定条件时,将当前帧车牌图像保存。判断当前帧车牌图像中车牌区域的位置与上一帧车牌图像中车牌区域的位置是否满足预定条件包括:
步骤B1:获取当前帧车牌图像中车牌区域的位置信息;
该位置信息中包括当前帧车牌图像中车牌区域的各个点的横向坐标和纵向坐标。
步骤B2:将获取的当前帧车牌图像中车牌区域的位置信息与上一帧车牌图像中车牌区域的位置信息进行比较,当满足预定条件时,将当前帧车牌图像保存。
可选的,可以将当前帧车牌图像中车牌区域的最左下角点处的横向坐标与上一帧车牌图像中车牌区域的最左下角点处的横向坐标做差值,得横向距离,并且将当前帧车牌图像中车牌区域的最左下角点处的纵向坐标与上一帧车牌图像中车牌区域的最左下角点处的纵向坐标做差值,得纵向距离,当上述两个差值均满足预定条件时,将当前帧车牌图像保存。其中,选用当前帧和上一帧车牌区域的最左下角点进行横向坐标和纵向坐标做差值仅仅是实施例的一种可选方式,整个车牌区域中的任一点位置均可选为用来做差值的点。可选的,可以设定当所述横向距离大于10个像素,且所述纵向距离大于5个像素时保存当前帧车牌图像;也可以设定当所述横向距离大于10个像素,无论纵向距离为多少时,保存当前帧车牌图像;还可以设定当所述纵向距离大于5个像素,无论横向距离为多少时,保存当前帧车牌图像。
可选的,可以通过当前帧车牌图像中车牌区域的最左下角点处的横向坐标和纵向坐标,与上一帧车牌图像中车牌区域的最左下角点处的横向坐标和纵向坐标来计算该两个车牌区域的距离,当计算出的车牌区域的距离大于预定阈值时,保存当前帧车牌图像。当然,选用当前帧和上一帧车牌区域的最左下角点进行距离的计算仅仅是实施例的一种可选方式,整个车牌区域中的任一点位置均可选为用来做距离的计算。可选的,可以设定当计算的距离大于12个像素时,保存当前帧车牌图像。
将当前帧车牌图像中车牌区域的位置信息与当前帧车牌图像中车牌区域的位置信息作比较,当当前帧车牌图像中车牌区域与上一帧车牌图像中的车牌区域之间满足预定条件时,再当前帧车牌图像保存,可以有效避免当某一车辆停留在某个不能被检测到的地方,而被车牌识别器的控制画面捕获到后,使该车牌识别器保存大量相同的训练互补车牌分类器的车牌图像样本的状况发生。保存有大量相同的训练互补车牌分类器的车牌图像样本,当被保存的训练互补车牌分类器的车牌图像样本达到一定阈值开始对互补车牌分类器进行训练后,训练互补车牌分类器将无法达到预期的训练效果,严重影响到互补车牌分类器的训练,而将当前帧车牌图像中车牌区域的位置信息与当前帧车牌图像中车牌区域的位置信息作比较,当满足预定条件后再将当前帧车牌图像进行保存,可以有效地解决这一问题,使每个位置不能检测的车牌仅保留一张,保证互补车牌分类器的训练的效果性。
可选的,图5示出了本发明实施例提供的车牌检测方法中获取训练互补车牌分类器所需的车牌图像样本的另一方法流程图,参照图5,获取训练互补车牌分类器所需的车牌图像样本的另一方法可以包括:
步骤S500:获取车牌图像;
步骤S510:对获取的车牌图像进行跟踪;
步骤S520:判断车牌图像跟踪是否成功;
步骤S530:若跟踪成功,对跟踪后的车牌图像使用标准车牌分类器进行检测;
步骤S540:若跟踪成功,对跟踪后的车牌图像使用互补车牌分类器进行检测;
其中,步骤S540和步骤530的顺序是可以调换的,即可以先对跟踪后的车牌图像使用标准车牌分类器进行检测,再对跟踪后的车牌图像使用互补车牌分类器进行检测,也可以先对跟踪后的车牌图像使用互补车牌分类器进行检测,再对跟踪后的车牌图像使用标准车牌分类器进行检测;除此之外,此处还可以同时对跟踪后的车牌图像使用互补车牌分类器和标准车牌分类器进行检测。
步骤S550:判断是否检测到第一疑似车牌区域且检测到第二疑似车牌区域;
步骤S560:若否,将该车牌图像保存。
当使用互补车牌分类器与标准车牌分类器相配合对路面或出入口车牌进行检测时,使用图5示出的获取训练互补车牌分类器所需的车牌图像样本的另一方法来获取训练互补车牌分类器所需的车牌图像样本,其中,步骤S560中被保存的车牌图像即为所需的训练互补车牌分类器所需的车牌图像样本。
本发明实施例提供的车牌检测方法使用实验室训练得到的标准车牌分类器和根据标准车牌分类器无法检测到车牌的车牌图像样本训练得到的互补车牌分类器同时对车牌进行检测,以实现提高车牌检测的检测率的目的。
下面对本发明实施例提供的车牌检测系统进行介绍,下文描述的车牌检测系统与上文描述的车牌检测方法可相互对应参照。
图6为本发明实施例提供的车牌检测系统的系统框图,该车牌检测系统可以应用于车牌识别器,参照图6,该车牌检测系统可以包括:第一获取模块、检测模块、字符处理模块、车牌判断模块和输出模块,其中,
第一获取模块100,用于获取车牌图像;
检测模块200,用于对获取的车牌图像使用标准车牌分类器进行检测,得到第一疑似车牌区域;对获取的车牌图像使用互补车牌分类器进行检测,得到第二疑似车牌区域;
字符处理模块300,用于对第一疑似车牌区域进行字符分割与识别,得到第一疑似车牌区域每个字符的置信度;对第二疑似车牌区域中的字符进行分割与识别,得到第二疑似车牌区域每个字符的置信度;
车牌判定模块400,用于确定第一疑似车牌区域中置信度大于一定阈值的字符的数量,当置信度大于一定阈值的字符的数量不小于一定阈值时,判定该第一疑似车牌区域为车牌区域;确定第二疑似车牌区域中置信度大于一定阈值的字符的数量,当置信度大于一定阈值的字符的数量不小于一定阈值时,判定该第二疑似车牌区域为车牌区域;
所述输出模块500,用于确定车牌区域的数量,若车牌区域的数量为1个,则输出该车牌区域,若车牌区域的数量大于1个,则将所述车牌区域中所有字符的置信度相加,输出置信度相加后和最高的车牌区域。
可选的,图7示出了本发明实施例提供的车牌检测系统的另一系统框图,参照图7,车牌检测系统还包括:
第二获取模块600,与第一获取模块100和检测模块200相关联,
用于对第一获取模块100获取的车牌图像进行跟踪;对跟踪后的车牌图像利用检测模块200对其使用标准车牌分类器进行检测,若没有检测到第一疑似车牌区域,则将该车牌图像保存,获取训练互补车牌分类器所需的车牌图像样本;
或,用于对第一获取模块100获取的车牌图像进行跟踪;对跟踪后的车牌图像利用检测模块200对其使用标准车牌分类器进行检测;对跟踪后的车牌图像利用检测模块200对其使用互补车牌分类器进行检测;若没有检测到第一疑似车牌区域且没有检测到第二疑似车牌区域,则将该车牌图像保存,获取训练互补车牌分类器所需的车牌图像样本。
获取训练互补车牌分类器所需的车牌图像样本时,当只有标准车牌分类器对路面或出入口车牌进行检测,即还没有训练出与标准车牌分类器相匹配的互补车牌分类器时,图7示出的第二获取模块600只利用检测模块200对跟踪后的车牌图像使用标准车牌分类器进行检测。当使用互补车牌分类器与标准车牌分类器相配合对路面或出入口车牌进行检测时,图7示出的第二获取模块600利用检测模块200对跟踪后的车牌图像使用标准车牌分类器进行检测,同时利用检测模块200对跟踪后的车牌图像使用互补车牌分类器进行检测。
可选的,图8示出了本发明实施例提供的车牌检测系统中第二获取模600的一种可选结构,参照图8,第二获取模600可以包括:
训练模块610,
用于接收第二获取模块600获取的训练互补车牌分类器所需的车牌图像样本,取车牌图像样本中包含车牌的部分为正样本,取所述车牌图像样本中的不包含车牌的部分为负样本;
使用哈尔特征对所述正样本和所述负样本进行表征,形成哈尔特征向量;
利用迭代算法对所述哈尔特征向量进行训练,得到车牌互补分类器。
可选的,图9示出了本发明实施例提供的车牌检测系统中第一获取模块100的一种可选结构,参照图9,第一获取模块100可以包括:
图像采集设备110,用于采集图像,将所述采集的图片作为车牌图像进行输出。
图像采集设备中还包括:图像检测单元111,用于对图像采集设备100输出的车牌图像进行边缘检测,将边缘检测后的图像中边缘度大于一定阈值的图像进行输出。
本发明实施例提供的车牌检测系统使用实验室训练得到的标准车牌分类器和根据标准车牌分类器无法检测到车牌的车牌图像样本训练得到的互补车牌分类器同时对车牌进行检测,以实现提高车牌检测的检测率的目的。
本发明实施例还提供一种车牌识别器,包括上述的车牌检测系统,车牌检测系统的具体描述可参照图6至图9对应部分的描述,此处不再赘述。该车牌识别器的其他各部分请参考现有技术,此处也不再赘述
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。
对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种车牌检测方法,其特征在于,包括:
获取车牌图像;
对所述车牌图像使用标准车牌分类器进行检测,得到第一疑似车牌区域;对所述车牌图像使用互补车牌分类器进行检测,得到第二疑似车牌区域;
对第一疑似车牌区域进行字符分割与识别,得到第一疑似车牌区域每个字符的置信度;对第二疑似车牌区域中的字符进行分割与识别,得到第二疑似车牌区域每个字符的置信度;
确定第一疑似车牌区域中置信度大于一定阈值的字符的数量,当置信度大于一定阈值的字符的数量不小于一定阈值时,判定所述第一疑似车牌区域为车牌区域;确定第二疑似车牌区域中置信度大于一定阈值的字符的数量,当置信度大于一定阈值的字符的数量不小于一定阈值时,判定所述第二疑似车牌区域为车牌区域;
确定车牌区域的数量,若车牌区域的数量为1个,则输出该车牌区域,若车牌区域的数量大于1个,则将各车牌区域中所有字符的置信度相加,输出置信度相加后和最高的车牌区域。
2.根据权利要求1所述的车牌检测方法,其特征在于,所述获取车牌图像包括:
图像采集设备采集图像,获取所述采集的图像作为所述车牌图像;
或,图像采集设备采集图像,对所述采集的图像进行边缘检测,获取所述采集的图像中边缘度大于一定阈值的区域图像作为所述车牌图像。
3.根据权利要求1所述的车牌检测方法,其特征在于,所述互补车牌分类器包括:
不能被标准车牌分类器检测得到第一疑似车牌区域的车牌图像训练得到的第一互补车牌分类器;
或,不能被标准车牌分类器检测得到第一疑似车牌区域且不能被第一互补车牌分类器检测得到第二疑似车牌区域的车牌图像训练得到的第二互补车牌分类器。
4.根据权利要求1所述的车牌检测方法,其特征在于,训练所述互补车牌分类器的具体步骤包括:
获取训练互补车牌分类器所需的车牌图像样本,取所述车牌图像样本中包含车牌的部分为正样本,取所述车牌图像样本中的不包含车牌的部分为负样本;
使用哈尔特征对所述正样本和所述负样本进行表征,形成哈尔特征向量;
利用迭代算法对所述哈尔特征向量进行训练,得到互补车牌分类器。
5.根据权利要求4所述的车牌检测方法,其特征在于,所述获取训练互补车牌分类器所需的车牌图像样本的具体步骤包括:
获取车牌图像;对获取的车牌图像进行跟踪;对跟踪后的车牌图像使用标准车牌分类器进行检测,若没有检测到第一疑似车牌区域,则将该车牌图像保存,得到训练互补车牌分类器所需的车牌图像样本;
或,
获取车牌图像;对获取的车牌图像进行跟踪;对跟踪后的车牌图像使用标准车牌分类器进行检测;对跟踪后的车牌使用互补车牌分类器进行检测;若没有检测到第一疑似车牌区域且没有检测到第二疑似车牌区域,则将该车牌图像保存,得到训练互补车牌分类器所需的车牌图像样本;
在将该车牌图像保存前,还包括:获取当前帧车牌图像中车牌区域的位置信息;将获取的当前帧车牌图像中车牌区域的位置信息与上一帧车牌图像中车牌区域的位置信息进行比较,当满足预定条件时,再将当前帧车牌图像保存。
6.一种车牌检测系统,其特征在于,包括第一获取模块、检测模块、字符处理模块、车牌判断模块和输出模块,其中,
所述第一获取模块,用于获取车牌图像;
所述检测模块,用于对获取的车牌图像使用标准车牌分类器进行检测,得到第一疑似车牌区域;对获取的车牌图像使用互补车牌分类器进行检测,得到第二疑似车牌区域;
所述字符处理模块,用于对第一疑似车牌区域进行字符分割与识别,得到第一疑似车牌区域每个字符的置信度;对第二疑似车牌区域中的字符进行分割与识别,得到第二疑似车牌区域每个字符的置信度;
所述车牌判定模块,用于确定第一疑似车牌区域中置信度大于一定阈值的字符的数量,当置信度大于一定阈值的字符的数量不小于一定阈值时,判定所述第一疑似车牌区域为车牌区域;确定第二疑似车牌区域中置信度大于一定阈值的字符的数量,当置信度大于一定阈值的字符的数量不小于一定阈值时,判定所述第二疑似车牌区域为车牌区域;
所述输出模块,用于确定车牌区域的数量,若车牌区域的数量为1个,则输出该车牌区域,若车牌区域的数量大于1个,则将所述车牌区域中所有字符的置信度相加,输出置信度相加后和最高的车牌区域。
7.根据权利要求6所述的车牌检测系统,其特征在于,还包括:第二获取模块,
用于对获取的车牌图像进行跟踪;对跟踪后的车牌图像使用标准车牌分类器进行检测,若没有检测到第一疑似车牌区域,则将该车牌图像保存,获取训练互补车牌分类器所需的车牌图像样本;
或,
用于对获取的车牌图像进行跟踪;对跟踪后的车牌图像使用标准车牌分类器进行检测;对跟踪后的车牌使用互补车牌分类器进行检测;若没有检测到第一疑似车牌区域且没有检测到第二疑似车牌区域,则将该车牌图像保存,获取训练互补车牌分类器所需的车牌图像样本。
8.根据权利要求7所述的车牌检测系统,其特征在于,所述第二获取模块包括:训练模块,
用于获取训练互补车牌分类器所需的车牌图像样本,取所述车牌图像样本中包含车牌的部分为正样本,取所述车牌图像样本中的不包含车牌的部分为负样本;
使用哈尔特征对所述正样本和所述负样本进行表征,形成哈尔特征向量;
利用迭代算法对所述哈尔特征向量进行训练,得到车牌互补分类器。
9.根据权利要求6所述的车牌检测系统,其特征在于,所述第一获取模块包括图像采集设备,用于采集图像,将所述采集的图片进行输出;其中,所述图像采集设备还包括:图像检测单元,用于对图像采集设备输出的车牌图像进行边缘检测,将边缘检测后的图像中边缘度大于一定阈值的图像进行输出。
10.一种车牌识别器,其特征在于,包括权利要求6至9中任一项所述的车牌检测系统。
CN201410497495.3A 2014-09-25 2014-09-25 一种车牌识别器及其车牌检测方法与系统 Active CN104268596B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410497495.3A CN104268596B (zh) 2014-09-25 2014-09-25 一种车牌识别器及其车牌检测方法与系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410497495.3A CN104268596B (zh) 2014-09-25 2014-09-25 一种车牌识别器及其车牌检测方法与系统

Publications (2)

Publication Number Publication Date
CN104268596A true CN104268596A (zh) 2015-01-07
CN104268596B CN104268596B (zh) 2017-11-10

Family

ID=52160116

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410497495.3A Active CN104268596B (zh) 2014-09-25 2014-09-25 一种车牌识别器及其车牌检测方法与系统

Country Status (1)

Country Link
CN (1) CN104268596B (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105205486A (zh) * 2015-09-15 2015-12-30 浙江宇视科技有限公司 一种车标识别方法及装置
CN105631470A (zh) * 2015-12-21 2016-06-01 深圳市捷顺科技实业股份有限公司 一种车牌类型验证的方法及系统
CN105654733A (zh) * 2016-03-08 2016-06-08 博康智能网络科技股份有限公司 一种基于视频检测的前后车牌识别方法及装置
CN106683073A (zh) * 2015-11-11 2017-05-17 杭州海康威视数字技术股份有限公司 一种车牌的检测方法及摄像机和服务器
CN107016356A (zh) * 2017-03-21 2017-08-04 乐蜜科技有限公司 特定内容识别方法、装置和电子设备
CN108073926A (zh) * 2016-11-17 2018-05-25 杭州海康威视数字技术股份有限公司 一种车牌识别方法及装置
CN108090484A (zh) * 2016-11-23 2018-05-29 杭州海康威视数字技术股份有限公司 一种车牌识别方法及装置
CN108205671A (zh) * 2016-12-16 2018-06-26 浙江宇视科技有限公司 图像处理方法及装置
CN109726678A (zh) * 2018-12-28 2019-05-07 深圳市捷顺科技实业股份有限公司 一种车牌识别的方法及相关装置
CN109858324A (zh) * 2018-12-10 2019-06-07 西南石油大学 语言图文识别系统及其实现方法
CN110491133A (zh) * 2019-08-08 2019-11-22 横琴善泊投资管理有限公司 一种基于置信度的车辆信息校正系统和方法
CN110728278A (zh) * 2018-07-16 2020-01-24 杭州海康威视数字技术股份有限公司 车牌识别方法及装置
CN111539421A (zh) * 2020-04-03 2020-08-14 哈尔滨市科佳通用机电股份有限公司 基于深度学习的铁路机车车号的识别方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101303803A (zh) * 2008-06-11 2008-11-12 北京中星微电子有限公司 一种车牌识别的方法和系统
CN101339697A (zh) * 2008-08-14 2009-01-07 北京中星微电子有限公司 车辆闯红灯的检测系统及方法
CN102163278A (zh) * 2011-03-03 2011-08-24 苏州市慧视通讯科技有限公司 一种公交车道非法车辆闯入检测方法
CN102968646A (zh) * 2012-10-25 2013-03-13 华中科技大学 一种基于机器学习的车牌检测方法
US8761498B1 (en) * 2012-01-26 2014-06-24 Google Inc. Face and license plate detection in street level images with 3-D road width features estimated from laser data

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101303803A (zh) * 2008-06-11 2008-11-12 北京中星微电子有限公司 一种车牌识别的方法和系统
CN101339697A (zh) * 2008-08-14 2009-01-07 北京中星微电子有限公司 车辆闯红灯的检测系统及方法
CN102163278A (zh) * 2011-03-03 2011-08-24 苏州市慧视通讯科技有限公司 一种公交车道非法车辆闯入检测方法
US8761498B1 (en) * 2012-01-26 2014-06-24 Google Inc. Face and license plate detection in street level images with 3-D road width features estimated from laser data
CN102968646A (zh) * 2012-10-25 2013-03-13 华中科技大学 一种基于机器学习的车牌检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
方义秋等: ""车牌检测级联分类器快速训练算法"", 《重庆邮电大学学报(自然科学版)》 *

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105205486A (zh) * 2015-09-15 2015-12-30 浙江宇视科技有限公司 一种车标识别方法及装置
CN105205486B (zh) * 2015-09-15 2018-12-07 浙江宇视科技有限公司 一种车标识别方法及装置
CN106683073A (zh) * 2015-11-11 2017-05-17 杭州海康威视数字技术股份有限公司 一种车牌的检测方法及摄像机和服务器
CN106683073B (zh) * 2015-11-11 2020-02-18 杭州海康威视数字技术股份有限公司 一种车牌的检测方法及摄像机和服务器
CN105631470A (zh) * 2015-12-21 2016-06-01 深圳市捷顺科技实业股份有限公司 一种车牌类型验证的方法及系统
CN105654733B (zh) * 2016-03-08 2019-05-21 新智认知数据服务有限公司 一种基于视频检测的前后车牌识别方法及装置
CN105654733A (zh) * 2016-03-08 2016-06-08 博康智能网络科技股份有限公司 一种基于视频检测的前后车牌识别方法及装置
CN108073926A (zh) * 2016-11-17 2018-05-25 杭州海康威视数字技术股份有限公司 一种车牌识别方法及装置
CN108090484A (zh) * 2016-11-23 2018-05-29 杭州海康威视数字技术股份有限公司 一种车牌识别方法及装置
CN108205671A (zh) * 2016-12-16 2018-06-26 浙江宇视科技有限公司 图像处理方法及装置
CN107016356A (zh) * 2017-03-21 2017-08-04 乐蜜科技有限公司 特定内容识别方法、装置和电子设备
CN110728278A (zh) * 2018-07-16 2020-01-24 杭州海康威视数字技术股份有限公司 车牌识别方法及装置
CN109858324A (zh) * 2018-12-10 2019-06-07 西南石油大学 语言图文识别系统及其实现方法
CN109858324B (zh) * 2018-12-10 2022-10-21 西南石油大学 语言图文识别系统及其实现方法
CN109726678A (zh) * 2018-12-28 2019-05-07 深圳市捷顺科技实业股份有限公司 一种车牌识别的方法及相关装置
CN109726678B (zh) * 2018-12-28 2023-02-28 深圳市捷顺科技实业股份有限公司 一种车牌识别的方法及相关装置
CN110491133A (zh) * 2019-08-08 2019-11-22 横琴善泊投资管理有限公司 一种基于置信度的车辆信息校正系统和方法
CN110491133B (zh) * 2019-08-08 2020-10-16 善泊科技(珠海)有限公司 一种基于置信度的车辆信息校正系统和方法
CN111539421A (zh) * 2020-04-03 2020-08-14 哈尔滨市科佳通用机电股份有限公司 基于深度学习的铁路机车车号的识别方法

Also Published As

Publication number Publication date
CN104268596B (zh) 2017-11-10

Similar Documents

Publication Publication Date Title
CN104268596A (zh) 一种车牌识别器及其车牌检测方法与系统
CN111178291B (zh) 一种停车支付系统以及停车支付方法
CN109977782B (zh) 基于目标位置信息推理的跨店经营行为检测方法
CN102542289B (zh) 一种基于多高斯计数模型的人流量统计方法
US8447139B2 (en) Object recognition using Haar features and histograms of oriented gradients
US8447112B2 (en) Method for automatic license plate recognition using adaptive feature set
CN109993056A (zh) 一种识别车辆违章行为的方法、服务器及存储介质
US9626599B2 (en) Reconfigurable clear path detection system
CN106203237A (zh) 集装箱拖车编号的识别方法和装置
CN101984453B (zh) 一种人眼识别系统及方法
CN104268528A (zh) 一种人群聚集区域检测方法和装置
CN104978567A (zh) 基于场景分类的车辆检测方法
CN103632170A (zh) 基于特征组合的行人检测方法及装置
Sharma et al. A hybrid technique for license plate recognition based on feature selection of wavelet transform and artificial neural network
CN101980245A (zh) 一种基于自适应模板匹配的客流统计方法
CN105512618A (zh) 视频跟踪方法
CN105160292A (zh) 一种车辆标识识别方法与系统
CN104463232A (zh) 一种基于hog特征和颜色直方图特征的密度人群计数的方法
CN104537840A (zh) 非法营运出租车辆的检测系统
Sangnoree et al. Thermal-image processing and statistical analysis for vehicle category in nighttime traffic
CN110689003A (zh) 低照度成像车牌识别方法、系统、计算机设备及存储介质
Su et al. A new local-main-gradient-orientation HOG and contour differences based algorithm for object classification
Helala et al. Road boundary detection in challenging scenarios
Thomas et al. Smart car parking system using convolutional neural network
Shafie et al. Smart video surveillance system for vehicle detection and traffic flow control

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant