CN104239867B - 车牌定位方法及系统 - Google Patents

车牌定位方法及系统 Download PDF

Info

Publication number
CN104239867B
CN104239867B CN201410476358.1A CN201410476358A CN104239867B CN 104239867 B CN104239867 B CN 104239867B CN 201410476358 A CN201410476358 A CN 201410476358A CN 104239867 B CN104239867 B CN 104239867B
Authority
CN
China
Prior art keywords
license plate
image
tracking
position information
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201410476358.1A
Other languages
English (en)
Other versions
CN104239867A (zh
Inventor
唐健
李昕
李锐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Jieshun Science and Technology Industry Co Ltd
Original Assignee
Shenzhen Jieshun Science and Technology Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Jieshun Science and Technology Industry Co Ltd filed Critical Shenzhen Jieshun Science and Technology Industry Co Ltd
Priority to CN201410476358.1A priority Critical patent/CN104239867B/zh
Publication of CN104239867A publication Critical patent/CN104239867A/zh
Application granted granted Critical
Publication of CN104239867B publication Critical patent/CN104239867B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种车牌定位方法和系统,包括:获取车辆图像;以所述车辆图像构建图像金字塔,所述图像金字塔包括多层图像;当通过所述图像金字塔检测到所述车辆图像包含车牌区域时,则对所述车牌区域进行车牌字符识别处理,确定字符识别处理结果符合预定条件的车牌区域;获取所确定的车牌区域所对应的车牌区域图像的第一位置信息;从与所述车辆图像对应的连续多帧图像中,提取车牌区域在当前帧和前一帧的位置,跟踪处理车牌区域在当前帧和前一帧的位置信息,跟踪处理的结果符合预定条件则为车牌区域图像的第二位置信息;融合所述第一位置信息和所述第二位置信息,完成车牌定位。

Description

车牌定位方法及系统
技术领域
本发明涉及图像处理领域,特别是涉及一种车牌定位方法及系统。
背景技术
近年来,车牌识别设备已经被广泛应用于停车场、城市道路等区域进行车辆号牌的自动抓拍和识别。
现有的车牌识别设备以使用标清模拟摄像机为主,车牌识别设备主要是针对停车场,小区出入口等,随着技术发展以及车牌识别技术的普及,车牌识别应用范围越来越广泛,已经发展到城市道路,高速公路以及一些比较宽敞的道路。但是标清模拟摄像机存在着图像层次感、对比度,分辨率都不足的问题,制约了车牌识别系统的性能。
随着科技的发展,高清摄像机和全高清摄像机开始逐渐普及,弥补了标清模拟摄像机在车牌识别应用中的不足,但是由于全高清摄像机的分辨率高,要在大范围内搜索到车牌并且对车牌进行分割和识别非常不容易。
因此,如何能够完成对标清车牌的定位也能够在更高像素更好分辨率的情况下完成对车牌的定位,是本领域技术人员需要解决的问题。
发明内容
本发明的目的是提供一种车牌定位方法,该方法能够完成对标清车牌的定位也能够在更高像素更好分辨率的情况下完成对车牌的定位;本发明的另一目的是提供一种车牌定位的系统。
为解决上述技术问题,本发明实施例提供如下技术方案:
一种车牌定位方法,包括:
获取车辆图像;
以所述车辆图像构建图像金字塔,所述图像金字塔包括多层图像;当通过所述图像金字塔检测到所述车辆图像包含车牌区域时,则对所述车牌区域进行车牌字符识别处理,确定字符识别处理结果符合预定条件的车牌区域;获取所确定的车牌区域所对应的车牌区域图像的第一位置信息;
从与所述车辆图像对应的连续多帧图像中,提取车牌区域在当前帧和前一帧的位置,跟踪处理车牌区域在当前帧和前一帧的位置信息,跟踪处理的结果符合预定条件则为车牌区域图像的第二位置信息;
融合所述第一位置信息和所述第二位置信息,完成车牌定位。其中,以所述车辆图像构建图像金字塔包括:
以所述车辆图像构建一个三层的图像金字塔,将输入的需要处理的所述车辆图像作为金字塔的第三层,将所述车辆图像的宽度和高度的1/2作为金字塔的第二层,将所述车辆图像的宽度和高度的1/3作为金字塔的第一层。
其中,所述通过所述图像金字塔检测到所述车辆图像包含车牌区域包括:
在所述图像金字塔的第一层通过车头分类器对所述车辆图像进行车头区域的检测,得到车头区域;
在所述图像金字塔的第二层对所述车头区域进行车牌区域的检测,得到第一车牌区域;
在所述图像金字塔的第三层通过车牌分类器对所述第一车牌区域进行分类,得到车牌区域。
其中,所述提取车牌区域在当前帧和前一帧的位置包括:
提取车牌区域在前一帧与当前帧的位置形成跟踪区域,将所述跟踪区域生成跟踪角点;
所述跟踪处理车牌区域在当前帧和前一帧的位置信息包括:
前一帧与当前帧做一次卢卡斯卡耐德LK跟踪,从前一帧提取角点pts0进行跟踪得到当前帧的角点pts1;
当前帧与前一帧做一次卢卡斯卡耐德LK反跟踪,根据当前帧角点pts1跟踪得到前一帧的角点pts2;
在预定的区域将角点pts0与pts2每一对匹配的像素点进行归一化互相关计算,并得到归一化互相关的中值;
计算角点pts0与pts2之间每一对对应像素点的欧氏距离,并得到欧氏距离的中值;
找到角点pts1中大于归一化互相关的中值并且小于欧氏距离中值的像素点为跟踪有效像素点;
所述跟踪处理的结果符合预定条件则为车牌区域图像的第二位置信息包括:
跟踪有效像素点的个数大于预定阈值,则角点pts1为当前帧车牌区域图像的第二位置信息。
其中,所述车头分类器的训练方法包括:
获取摄像机在设定时段和天气条件下所拍摄的多个车辆图像,以车辆图像的车头部分的图像作为正样本,以非车头部分的图像作为负样本;
使用方向梯度直方图HOG特征对每一幅车辆图像的正样本和负样本进行表征,形成方向梯度直方图HOG特征向量;
利用级联的演算Adaboost算法对得到的方向梯度直方图HOG特征进行训练,获得级联车头强分类器。
其中,所述车牌分类器的训练方法包括:
获取摄像机在设定时段和天气条件下所拍摄的多个车辆图像,以车辆图像的车牌图像作为正样本,以非车牌图像作为负样本;
使用哈尔小波Haar特征对每一幅车辆图像的正样本和负样本进行表征,形成哈尔小波Haar特征向量;
利用级联的演算Adaboost算法对得到的哈尔小波Haar特征进行训练,获得级联车牌强分类器。
其中,所述提取车牌区域在当前帧和前一帧的位置,跟踪处理车牌区域在当前帧和前一帧的位置信息,跟踪处理的结果符合预定条件则为车牌区域图像的第二位置信息之后还包括:
将车牌区域图像的位置信息作为对象建立跟踪列表;
对提取的车牌区域进行跟踪处理,将跟踪处理结果符合预定条件的车牌区域图像的位置信息放入跟踪列表;
比较所述第一位置信息和所述第二位置信息的重合度;
利用比较结果进行跟踪列表的更新。
其中,所述利用比较结果进行跟踪列表的更新包括:
当重合度超过阈值时,删除检测对象;
当所述重合度不超过阈值时,添加新的跟踪对象;
当检测对象与跟踪列表中的对象加起来超过了跟踪对象的最大值时,确定所述对象到摄像机的距离的数值,保留数值小于预定距离所对应的对象,删除数值大于预定距离所对应的对象。
本发明实施例还提供一种车牌定位系统,包括:获取模块,检测模块,跟踪模块,定位模块,其中,
获取模块,用于获取车辆图像;
检测模块,用于以所述车辆图像构建图像金字塔,所述图像金字塔包括多层图像;当通过所述图像金字塔检测到所述车辆图像包含车牌区域,则对所述车牌区域进行车牌字符识别处理,确定字符识别处理结果符合预定条件的车牌区域;获取所确定的车牌区域所对应的车牌区域图像的第一位置信息;
跟踪模块,用于从与所述车辆图像对应的连续多帧图像中,提取车牌区域在当前帧和前一帧的位置,跟踪处理车牌区域在当前帧和前一帧的位置信息,跟踪处理的结果符合预定条件则为车牌区域图像的第二位置信息;
定位模块,融合所述第一位置信息和所述第二位置信息,完成车牌定位。
其中,所述定位模块包括:比较单元,更新单元,定位单元,其中,
比较单元,用于比较所述第一位置信息和所述第二位置信息的重合度;
更新单元,用于利用比较单元得到的结果,对车牌区域图像的位置信息进行更新;
定位单元,用于根据更新后的车牌区域图像的位置信息完成对车牌的定位。
基于上述技术方案,本发明实施例所提供的车牌定位方法和系统,包括:获取车辆图像;以所述车辆图像构建图像金字塔,所述图像金字塔包括多层图像;当通过所述图像金字塔检测到所述车辆图像包含车牌区域时,则对所述车牌区域进行车牌字符识别处理,确定字符识别处理结果符合预定条件的车牌区域;获取所确定的车牌区域所对应的车牌区域图像的第一位置信息;从与所述车辆图像对应的连续多帧图像中,提取车牌区域在当前帧和前一帧的位置,跟踪处理车牌区域在当前帧和前一帧的位置信息,跟踪处理的结果符合预定条件则为车牌区域图像的第二位置信息;融合所述第一位置信息和所述第二位置信息,完成车牌定位。从而能够完成对标清车牌的定位也能够在更高像素更好分辨率的情况下完成对车牌的定位。由于利用了跟踪处理,对检测到的车牌进行跟踪仅需要在局部区域进行即可,可以降低运算量,且通过对车牌的连续跟踪,可以更精确定位到车牌出现的地方,从而降低车牌的误检率和错检率。由此通过对车辆图像的大范围的检测到车牌区域,在对车牌区域进行精确的检测和跟踪,这样的从粗到精的检索策略,降低了车牌定位时间,也大幅度提高了车牌识别效率,实现了快速准确定位到车牌在图像中的位置。
附图说明
图1为本发明实施例提供的车牌定位方法的流程图;
图2为本发明实施例提供的通过所述图像金字塔检测到所述车辆图像包含车牌区域的流程图;
图3为本发明实施例提供的跟踪处理的流程图;
图4为本发明实施例提供的更新跟踪列表的流程图;
图5为本发明实施例提供的车头分类器的训练方法的流程图;
图6为本发明实施例提供的车牌分类器的训练方法的流程图;
图7为本发明实施例提供的车牌定位系统的结构框图;
图8为本发明实施例提供的获取模块的结构框图;
图9为本发明实施例提供的检测模块的结构框图;
图10为本发明实施例提供的跟踪模块的结构框图;
图11为本发明实施例提供的定位模块的结构框图。
具体实施方式
本发明的核心是提供一种车牌定位方法,该方法能够完成对标清车牌的定位也能够在更高像素更好分辨率的情况下完成对车牌的定位;本发明的另一目的是提供一种车牌定位的系统。
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参考图1,图1为本发明实施例提供的车牌定位方法的流程图,该方法可以包括:
步骤s100、获取车辆图像;
这里获取车辆图像,可以是由普通摄像头采集的,也可以是高清、超高清等其他摄像头采集;也可以是其他能够进行图像采集的设备进行采集所获得的图像。
步骤s110、以所述车辆图像构建图像金字塔,所述图像金字塔包括多层图像;当通过所述图像金字塔检测到所述车辆图像包含车牌区域时,则对所述车牌区域进行车牌字符识别处理,确定字符识别处理结果符合预定条件的车牌区域;获取所确定的车牌区域所对应的车牌区域图像的第一位置信息;
其中,图像金字塔为:以多分辨率来解释处理图像的一种有效但概念简单的结构方法就是图像金字塔。图像金字塔最初用于机器视觉和图像压缩,一幅图像的金字塔是一系列以金字塔形状排列的分辨率逐步降低的图像集合。金字塔的底部是待处理图像的高分辨率表示,而顶部是低分辨率的近似。
构建图像金字塔,其中所述图像金字塔包含多层图像,通过一层层的检测筛选,获取车牌区域,通过对所述车牌区域进行车牌字符识别处理,找到车牌字符识的处理结果符合预定条件的车牌区域,预定条件是指对车牌区域进行分割得到7个字符的位置,然后分别对7个字符进行识别,看7个字符识别的结果是否达到标准。例如使用基于支持向量机的方法,可以分别统计7个字符的单独置信度和7个字符的总置信度;其中置信度为置信度也称为可靠度,或置信水平、置信系数,即在抽样对总体参数作出估计时,由于样本的随机性,其结论总是不确定的。因此,采用一种概率的陈述方法,也就是数理统计中的区间估计法,即估计值与总体参数在一定允许的误差范围以内,其相应的概率有多大,这个相应的概率称作置信度。在确定车牌区域后获取对应的车牌区域图像的位置信息,例如像素点的坐标等可以表示位置的信息,即为车牌区域图像的第一位置信息。
步骤s120、从与所述车辆图像对应的连续多帧图像中,提取车牌区域在当前帧和前一帧的位置,跟踪处理车牌区域在当前帧和前一帧的位置信息,跟踪处理的结果符合预定条件则为车牌区域图像的第二位置信息;
在所述车辆图像对应的连续多帧图像中提取车牌区域在当前帧和前一帧的位置,这里的提取的车牌区域可以是输入的检测成功的车牌区域,或者是对车辆图像进行初步跟踪检测处理得到的正在被跟踪区域(即车牌区域);对车牌区域进行跟踪处理,结果符合预定条件则为车牌区域图像的位置信息即可以得到车牌在当前帧的位置;
步骤s130、融合所述第一位置信息和所述第二位置信息,完成车牌定位。
其中,根据第一位置信息和所述第二位置信息的融合,也即比较第一位置信息和所述第二位置信息的重合度,当重合度大于阈值时,删除第一位置信息或第二位置信息都可以完成车牌的定位,但其中选择删除第一位置信息保留第二位置信息是一个优选技术方案,这是因为在经过试验,可以得到跟踪的到的第二位置信息往往比检测得到的第一位置信息更加精确,因此这里选择将第一位置信息删除是一个优选方式;当重合度小于阈值时,保留第一位置信息和第二位置信息。利用比较的方式可以更精确的得到车牌位置。
本发明实施例所提供的车牌定位方法包括:获取车辆图像;以所述车辆图像构建图像金字塔,所述图像金字塔包括多层图像;当通过所述图像金字塔检测到所述车辆图像包含车牌区域时,则对所述车牌区域进行车牌字符识别处理,确定字符识别处理结果符合预定条件的车牌区域;获取所确定的车牌区域所对应的车牌区域图像的第一位置信息;从与所述车辆图像对应的连续多帧图像中,提取车牌区域在当前帧和前一帧的位置,跟踪处理车牌区域在当前帧和前一帧的位置信息,跟踪处理的结果符合预定条件则为车牌区域图像的第二位置信息;融合所述第一位置信息和所述第二位置信息,完成车牌定位。从而能够完成对标清车牌的定位也能够在更高像素更好分辨率的情况下完成对车牌的定位。由于利用了跟踪处理,对检测到的车牌进行跟踪仅需要在局部区域进行即可,可以降低运算量,且通过对车牌的连续跟踪,可以更精确定位到车牌出现的地方,从而降低车牌的误检率和错检率。由此通过对车辆图像的大范围的检测到车牌区域,在对车牌区域进行精确的检测和跟踪,这样的从粗到精的检索策略,降低了车牌定位时间,也大幅度提高了车牌识别效率,实现了快速准确定位到车牌在图像中的位置。
优选的,以车辆图像构建图像金字塔包括:
以所述车辆图像构建一个三层的图像金字塔,将输入的需要处理的所述车辆图像作为金字塔的第三层,将所述车辆图像的宽度和高度的1/2作为金字塔的第二层,将所述车辆图像的宽度和高度的1/3作为金字塔的第一层。
其中,利用上述三层的图像金字塔,将需要进行处理的车辆图像通过这个三层的图像金字塔的一层层的进行检测处理,能够达到快速在很大范围内找到所关心的对象的这一目的,这个是一种快速的处理方法。
优选的,图2给出了本发明实施例提供的通过所述图像金字塔检测到所述车辆图像包含车牌区域的流程图,参照图2,通过图像金字塔检测到所述车辆图像包含车牌区域可以包括:
步骤s210、在所述图像金字塔的第一层通过车头分类器对所述车辆图像进行车头区域的检测,得到车头区域;
可选的,对输入到图像金字塔第一层的车辆图像按照从左到右,从上到下的窗口进行扫描,并将窗口以1为步长逐渐增大,对每个窗口提取特征向量,通过车头分类器对取得的特征向量进行车头检测,检测符合条件即得到车头区域进入步骤s220;但是由于车头检测也会存在一定的误检和漏检,因此若不符合条件没有检测到车头区域,但此时若连续没有检测到车头的帧数达到阈值,也对此车辆图像进行进一步的车牌区域的检测。
步骤s220、在所述图像金字塔的第二层对所述车头区域进行车牌区域的检测,得到第一车牌区域;
可选的,通过比例换算在图像金字塔的第二层划出包含车头的区域,然后把车头区域左右和上下各扩大10%,在扩大后的区域进行检测;
在步骤s210中由于不符合条件没有检测到车头区域,但此时若连续没有检测到车头的帧数达到阈值的情况是,此时对此车辆图像进行全图检测。
可选的,此时车头区域的检测方法可以包括:
使用一维离散微分模版[-1 0 1]在水平方向上对车头区域或全图进行处理,得到水平梯度图像;
计算步骤s210中得到的通过车头分类器的检测,符合条件得到车头区域,或连续没有检测到车头的帧数达到阈值时的车辆图像;对车头区域图像或车辆图像计算边缘积分图,使用积分图可以加快边缘密度的计算。为了避免一个区域的所有像素点的边缘值相加的重复计算,在算法中使用了积分图。积分图上的每个像素点(x,y)包含了从点(0,0)到点(x,y)所有的像素的边缘值,那么积分图
其中,用I(x,y)表示边缘计算后的灰度图,II(x,y)表示计算出来的积分图,
例如,任意的一个矩形可以使用以下的方式计算积分图,即如果矩形的左上角为(xlt,ylt),右下角的坐标为(xrb,yrb),那么该矩形的积分图可以利用下面的公式进行计算:
SUMD=II(xrb,yrb)-II(xlt,yrb)-II(xrb,ylt)+II(xlt,ylt)
其中,根据上面公式的描述可知,II(xrb,yrb)为(0,0)到(xrb,yrb)得所有像素的边缘值的和,II(xlt,yrb)为(0,0)到(xlt,yrb)得所有像素的边缘值的和,II(xrb,ylt)为(0,0)到(xrb,ylt)得所有像素的边缘值的和,II(xlt,ylt)为(0,0)到(xlt,ylt)得所有像素的边缘值的和。
传统的Haar一般使用多尺度,多尺寸扫描,速度比较慢。这里为了加快车牌区域的检测速度,本发明使用一种对全图预先设置扫描尺寸以及尺度,然后再进行划窗扫描的方法,描述如下:第一,由于含车牌区域的边缘密度是比较大的,因此可以通过仅扫描边缘密度大的区域来快速确认车牌的位置。第二,本发明为了加快检测速度在前期通过对大量视频中车牌区域的位置,估算了在一定的安装规则下,视频中不同位置的车牌区域的大小,制定了一套渐进车牌尺寸变化规则,以此来达到快速确认出牌区域。制定规则:车的行驶方向一般是从左上角往右下角或者从右上角往左下角。车牌出现在左上角或者右上角时,如果摄像机的安装满足安装规范,车牌的尺寸会在一定的范围内。经过统计可以得到车牌的最小尺寸和最大尺寸。把车牌的最小尺寸缩小20%作为第一搜索尺寸,把车牌的最大尺寸扩大20%作为第三搜索尺寸,取第一搜索尺寸和第三搜索尺寸的平均值作为第二搜索尺寸。把这三个尺寸作为图像第1行的搜索尺寸。在满足安装规范下,搜索窗口的大小会呈线性变化。本实施例中,最后一行的尺寸的大小为第一行的1.5倍。中间行的尺寸按1.5的倍数线性增加。即每行仅用三个区域进行滑块搜索,并且三个区域的尺寸是预先规定的。通过这个做法可以解决传统Haar检测多尺度,多尺寸扫描速度慢的问题。使用3个不同尺度的方形区域对车头区域或者全图进行逐行扫描。在每一行中,每移动一个像素,计算该方形区域中所有像素点的灰度值,每行扫描结束后取一个极大值,仅保留灰度值大于阈值的框。这里的扫描时检测的一个具体实施方式,利用扫描的方法进行检测。
可选的,对于上述灰度值大于阈值的区域,利用上述区域的面积重合度进行聚类操作。只要两两区域之间的重合达到阈值就认为这两个区域属于一类。对于同一类的区域,仅需要保留边缘密度最大的那一个区域。
可选的,由于利用方形区域扫描定位不一定准确,因此扩大扫描的方形区域,然后进行水平和垂直投影,这样以便获得比较精确的定位,即第一车牌区域。利用其它形状的区域进行扫描也存在这样的问题,也可以利用该方法进行处理。
步骤s230、在所述图像金字塔的第三层通过车牌分类器对所述第一车牌区域进行分类,得到车牌区域。
通过比例换算出在图像金字塔的第三层包含车牌区域,对上述步骤s220得到的第一车牌区域利用车牌分类器进行检测,输出所有检测的车牌区域。
利用上述方法能够快速进行车牌区域检测,降低检测时间,提高检测效率。
优选的,图3给出了本发明实施例提供的跟踪处理的流程图,参照图3,跟踪处理可以包括:
步骤s310、提取车牌区域在前一帧与当前帧的位置形成跟踪区域,将所述跟踪区域生成跟踪角点;
这里在车辆图像的视频流中,可以通过上述利用图像金字塔进行车牌检测得到的车牌区域,或者是由跟踪处理得到的车牌区域,这里的跟踪处理可以利用金字塔卢卡斯卡耐德LK跟踪算法得到车牌区域,通过寻找角点的方式确定跟踪需要的特征点。
其中,由于全高清图像分辨率太高,金字塔卢卡斯卡耐德LK跟踪算法是通过构建图像金字塔后,可以在图像金字塔的最高层计算光流,用得到的运动估计结果作为下一层金字塔的起点,重复该操作直到达到金字塔的最底层。这样的操作可以满足较快和较长距离的运动跟踪。相对于车牌检测,车牌跟踪运算量少。即可以达到快速定位到跟踪区域的目的。
步骤s320、前一帧与当前帧做一次卢卡斯卡耐德LK跟踪,从前一帧提取角点pts0进行跟踪得到当前帧的角点pts1;
步骤s330、当前帧与前一帧做一次卢卡斯卡耐德LK反跟踪,根据当前帧角点pts1跟踪得到前一帧的角点pts2;
步骤s340、在预定的区域将角点pts0与pts2每一对匹配的像素点进行归一化互相关计算,并得到出归一化互相关的中值;
其中,对每一对匹配的像素点进行归一化互相关计算的具体方法为:如果图像f是大小为Mx×My的需要与模板进行匹配的输入图像,那么图像f上的某个像素点(x,y)的灰度值可以表示为f(x,y),x∈{0,...,Mx-1},y∈{0,...,My-1}。如果图像t是大小为Nx×Ny的模板图像,那么图像t上某个像素点(x,y)的灰度值可以表示为t(x,y)。要计算模板图像t上的任意一点(u,v)与输入图像f上相同大小的块之间的相关度,可以使用以下公式:
其中,NCC为归一化互相关值,x-u表示在x方向移动了u个像素,y-v表示在y方向上移动了v个像素,为图像的平均值,为模板图像的平均值。
其中,的计算公式与的计算公式一致,
步骤s350、计算角点pts0与pts2之间每一对对应像素点的欧氏距离,并得到出欧氏距离的中值;
两个点(x1,y1)与(x2,y2)的欧氏距离可以表示为:
步骤s360、找到角点pts1中大于归一化互相关的中值并且小于欧氏距离中值的像素点为跟踪有效像素点;
步骤s370、跟踪有效像素点的个数大于预定阈值,则角点pts1为当前帧车牌区域图像的第二位置信息。
其中,这里的预定阈值可以设置为,大于特征点数的10%,达到这个预定条件则可以得到角点pts1为当前帧车牌区域图像的第二位置信息。
由于利用了卢卡斯卡耐德LK跟踪处理,能够快速从大范围内找到需要跟踪的区域,降低了跟踪处理时间,对检测到的车牌进行跟踪仅需要在局部区域进行即可,可以降低运算量,且通过对车牌的连续跟踪,可以更精确定位到车牌出现的地方,从而降低车牌的误检率和错检率。
优选的,图4给出了本发明实施例提供的更新跟踪列表的流程图,参照图4,更新跟踪列表可以包括:
步骤s400、将车牌区域图像的位置信息作为对象建立跟踪列表;
在本优选实施例中,将车牌区域图像的位置信息作为对象建立跟踪列表,这个列表用于记录车牌区域图像的位置信息。
步骤s410、对提取的车牌区域进行跟踪处理,将跟踪处理结果符合预定条件的车牌区域图像的位置信息放入跟踪列表;
其中,将跟踪处理后的符合预定条件的,例如这里可以是跟踪有效像素点的个数大于特征点数的10%,将这样的车牌区域图像的位置信息放入跟踪列表中,以便方便的进行后续处理。这里采用列表存放数据,是因为列表存放数据操作比较方便,取用、删除、保存、查看、比较等一系列对数据层面的操作利用列表都可以方便进行。采用其他方式也可以进行。
步骤s420、比较所述第一位置信息和所述第二位置信息的重合度;
其中,在列表中将通过上述方法得到的第一位置信息和第二位置信息进行对比,得到它们数据的重合度。
步骤s430、利用比较结果进行跟踪列表的更新。
这里,利用第一位置信息和所述第二位置信息的比较,来最终确定车牌区域的位置信息,可以有效地减少误检率和错检率,两者进行比较确定出来的车牌区域的位置信息将会更加准确。
优选的,利用比较结果进行跟踪列表的更新包括:
当重合度超过阈值时,删除检测对象;
其中,例如这里的删除检测对象,重合度大于阈值时,删除第一位置信息或第二位置信息都可,其中选择删除第一位置信息保留第二位置信息是一个优选技术方案,这是因为在经过试验,可以得到跟踪的到的第二位置信息往往比检测得到的第一位置信息更加精确,因此这里选择将第一位置信息删除是一个优选方式。
当所述重合度不超过阈值时,添加新的跟踪对象;
这里,当所述重合度不超过阈值时,将第一位置信息和第二位置信息都保留到跟踪列表中。
当检测对象与跟踪列表中的对象加起来超过了跟踪对象的最大值时,确定所述对象到摄像机的距离的数值,保留数值小于预定距离所对应的对象,删除数值大于预定距离所对应的对象。
可选的,对象到摄像机的距离数值小于预定距离,可以认为所述对象靠近摄像机,因此可优先处理,保留该所述对象;对象到摄像机的距离数值大于预定距离,可以认为所述对象远离摄像机,可在接下来获取的图像帧中处理,因此当前可删除所述对象。可选的一种具体处理方式为,依次比较所有对象的左下角的横坐标和纵坐标或只比较纵坐标,保留纵坐标大于预定数值的对象即纵坐标越大表示其距离摄像机的距离越近,删除纵坐标小于预定数值的对象即纵坐标越小表示其距离摄像机的距离越远。这样可以完成上述使靠近摄像机的对象,可优先处理。
优选的,图5给出了本发明实施例提供的车头分类器的训练方法的流程图,参照图5,车头分类器的训练方法可以包括:
步骤s500、获取摄像机在设定时段和天气条件下所拍摄的多个车辆图像,以车辆图像的车头部分的图像作为正样本,以非车头部分的图像作为负样本;
步骤s510、使用方向梯度直方图HOG特征对每一幅车辆图像的正样本和负样本进行表征,形成方向梯度直方图HOG特征向量;
可选的,这里使用方向梯度直方图HOG特征对每一幅车辆图像的正样本和负样本进行表征,形成方向梯度直方图HOG特征向量,也可以使用其他算法进行,这里只是一个优选的方式。
步骤s520、利用级联的演算Adaboost算法对得到的方向梯度直方图HOG特征进行训练,获得级联车头分类器。
可选的,这里使用演算Adaboost算法对得到的特征进行训练,获得级联车头分类器,也可以利用其它的训练方式进行,这里只是一个优选的方式。其他方式得到的分类器也可以。例如支持向量机算法、卷积神经网络等算法进行。
优选的,图6给出了本发明实施例提供的车牌分类器的训练方法的流程图,参照图6,车牌分类器的训练方法可以包括:
步骤s600、获取摄像机在设定时段和天气条件下所拍摄的多个车辆图像,以车辆图像的车牌图像作为正样本,以非车牌图像作为负样本;
步骤s610、使用哈尔小波Haar特征对每一幅车辆图像的正样本和负样本进行表征,形成哈尔小波Haar特征向量;
可选的,这里使用哈尔小波Haar特征对每一幅车辆图像的正样本和负样本进行表征,形成哈尔小波Haar特征向量;也可以用其他算法进行,这里只是一个优选方式。
步骤s620、利用级联的演算Adaboost算法对得到的哈尔小波Haar特征进行训练,获得级联车牌分类器。
可选的,这里利用级联的演算Adaboost算法对得到的特征进行训练,获得级联车牌分类器,也可以利用其它算法进行,这里只是一个优选方式,其他方式得到的分类器也可以。例如支持向量机算法、卷积神经网络等算法进行。
基于上述技术方案,本发明实施例所提供的车牌定位方法,获取车辆图像;以所述车辆图像构建图像金字塔,所述图像金字塔包括多层图像;当通过所述图像金字塔检测到所述车辆图像包含车牌区域时,则对所述车牌区域进行车牌字符识别处理,确定字符识别处理结果符合预定条件的车牌区域;获取所确定的车牌区域所对应的车牌区域图像的第一位置信息;从与所述车辆图像对应的连续多帧图像中,提取车牌区域在当前帧和前一帧的位置,跟踪处理车牌区域在当前帧和前一帧的位置信息,跟踪处理的结果符合预定条件则为车牌区域图像的第二位置信息;融合所述第一位置信息和所述第二位置信息,完成车牌定位。比较重合度后进行跟踪列表的更新,利用更新列表能够更方便的进行数据操作,更好地完成车牌区域位置信息的确定和比较。从而能够完成对标清车牌的定位也能够在更高像素更好分辨率的情况下完成对车牌的定位。由于利用了跟踪处理,对检测到的车牌进行跟踪仅需要在局部区域进行即可,可以降低运算量,且通过对车牌的连续跟踪,可以更精确定位到车牌出现的地方,从而降低车牌的误检率和错检率。由此通过对车辆图像的大范围的检测到车牌区域,在对车牌区域进行精确的检测和跟踪,这样的从粗到精的检索策略,降低了车牌定位时间,也大幅度提高了车牌识别效率,实现了快速准确定位到车牌在图像中的位置。
本发明实施例提供了车牌定位方法,可以通过上述方法进行车牌定位。
下面对本发明实施例提供的车牌定位系统进行介绍,下文描述的车牌定位系统与上文描述的车牌定位方法可相互对应参照。
图7为本发明实施例提供的车牌定位系统的结构框图;参照图7,该车牌定位系统可以包括:
获取模块100,用于获取车辆图像;
检测模块200,用于以所述车辆图像构建图像金字塔,所述图像金字塔包括多层图像;当通过所述图像金字塔检测到所述车辆图像包含车牌区域,则对所述车牌区域进行车牌字符识别处理,确定字符识别处理结果符合预定条件的车牌区域;获取所确定的车牌区域所对应的车牌区域图像的第一位置信息;
跟踪模块300,用于从与所述车辆图像对应的连续多帧图像中,提取车牌区域在当前帧和前一帧的位置,跟踪处理车牌区域在当前帧和前一帧的位置信息,跟踪处理的结果符合预定条件则为车牌区域图像的第二位置信息;
定位模块400,融合所述第一位置信息和所述第二位置信息,完成车牌定位。
可选的,图8示出了本发明实施例提供的获取模块100的结构框图,获取模块100可以包括:
获取单元110,用于获取车辆图像。
可选的,图9示出了本发明实施例提供的检测模块200的结构框图,检测模块200可以包括:
检测单元210,用于以所述车辆图像构建图像金字塔,所述图像金字塔包括多层图像;用所述图像金字塔对所述车辆图像进行检测,获得车牌区域;
处理单元220,用于将检测单元210得到的车牌区域进行车牌字符识别处理,通过字符识别处理得到车牌区域;
第一确定单元230,用于获取处理单元220所确定的车牌区域所对应的车牌区域图像的第一位置信息。
可选的,图10示出了本发明实施例提供的跟踪模块300的结构框图,跟踪模块300可以包括:
提取单元310,用于从与所述车辆图像对应的连续多帧图像中,提取车牌区域在当前帧和前一帧的位置;
跟踪处理单元320,用于跟踪处理车牌区域在当前帧和前一帧的位置信息;
第二确定单元330,用于获取跟踪处理的结果符合预定条件的车牌区域图像的第二位置信息。
可选的,图11示出了本发明实施例提供的定位模块400的结构框图,定位模块400可以包括:
比较单元410,用于比较所述第一位置信息和所述第二位置信息的重合度;
更新单元420,用于利用比较单元得到的结果,对车牌区域图像的位置信息进行更新;
定位单元430,用于根据更新后的车牌区域图像的位置信息完成对车牌的定位。
本发明实施例提供了车牌定位系统,可以通过上述系统进行车牌定位。
说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上对本发明所提供的机动车状态综合评估体系的建立方法以及装置进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以对本发明进行若干改进和修饰,这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (10)

1.一种车牌定位方法,其特征在于,该方法包括:
获取车辆图像;
以所述车辆图像构建图像金字塔,所述图像金字塔包括多层图像;当通过所述图像金字塔检测到所述车辆图像包含车牌区域时,则对所述车牌区域进行车牌字符识别处理,确定字符识别处理结果符合预定条件的车牌区域;获取所确定的车牌区域所对应的车牌区域图像的第一位置信息;
从与所述车辆图像对应的连续多帧图像中,提取车牌区域在当前帧和前一帧的位置,跟踪处理车牌区域在当前帧和前一帧的位置信息,跟踪处理的结果符合预定条件则为车牌区域图像的第二位置信息;
融合所述第一位置信息和所述第二位置信息,完成车牌定位。
2.如权利要求1所述的方法,其特征在于,所述以所述车辆图像构建图像金字塔包括:
以所述车辆图像构建一个三层的图像金字塔,将输入的需要处理的所述车辆图像作为金字塔的第三层,将所述车辆图像的宽度和高度的1/2像素点构成的分辨率的图像作为金字塔的第二层,将所述车辆图像的宽度和高度的1/3像素点构成的分辨率的图像作为金字塔的第一层。
3.如权利要求2所述的方法,其特征在于,所述通过所述图像金字塔检测到所述车辆图像包含车牌区域包括:
在所述图像金字塔的第一层通过车头分类器对所述车辆图像进行车头区域的检测,得到车头区域;
在所述图像金字塔的第二层对所述车头区域进行车牌区域的检测,得到第一车牌区域;
在所述图像金字塔的第三层通过车牌分类器对所述第一车牌区域进行分类,得到车牌区域。
4.如权利要求1所述的方法,其特征在于,所述提取车牌区域在当前帧和前一帧的位置包括:
提取车牌区域在前一帧与当前帧的位置形成跟踪区域,将所述跟踪区域生成跟踪角点;
所述跟踪处理车牌区域在当前帧和前一帧的位置信息包括:
前一帧与当前帧做一次卢卡斯卡耐德LK跟踪,从前一帧提取角点pts0进行跟踪得到当前帧的角点pts1;
当前帧与前一帧做一次卢卡斯卡耐德LK反跟踪,根据当前帧角点pts1跟踪得到前一帧的角点pts2;
在预定的区域将角点pts0与pts2每一对匹配的像素点进行归一化互相关计算,并得到归一化互相关的中值;
计算角点pts0与pts2之间每一对对应像素点的欧氏距离,并得到欧氏距离的中值;
找到角点pts1中大于归一化互相关的中值并且小于欧氏距离中值的像素点为跟踪有效像素点;
所述跟踪处理的结果符合预定条件则为车牌区域图像的第二位置信息包括:
跟踪有效像素点的个数大于预定阈值,则角点pts1为当前帧车牌区域图像的第二位置信息。
5.如权利要求3所述的方法,其特征在于,所述车头分类器的训练方法包括:
获取摄像机在设定时段和天气条件下所拍摄的多个车辆图像,以车辆图像的车头部分的图像作为正样本,以非车头部分的图像作为负样本;
使用方向梯度直方图HOG特征对每一幅车辆图像的正样本和负样本进行表征,形成方向梯度直方图HOG特征向量;
利用级联的演算Adaboost算法对得到的方向梯度直方图HOG特征进行训练,获得级联车头分类器。
6.如权利要求3所述的方法,其特征在于,所述车牌分类器的训练方法包括:
获取摄像机在设定时段和天气条件下所拍摄的多个车辆图像,以车辆图像的车牌图像作为正样本,以非车牌图像作为负样本;
使用哈尔小波Haar特征对每一幅车辆图像的正样本和负样本进行表征,形成哈尔小波Haar特征向量;
利用级联的演算Adaboost算法对得到的哈尔小波Haar特征进行训练,获得级联车牌分类器。
7.如权利要求1所述的方法,其特征在于,所述提取车牌区域在当前帧和前一帧的位置,跟踪处理车牌区域在当前帧和前一帧的位置信息,跟踪处理的结果符合预定条件则为车牌区域图像的第二位置信息之后还包括:
将车牌区域图像的位置信息作为对象建立跟踪列表;
对提取的车牌区域进行跟踪处理,将跟踪处理结果符合预定条件的车牌区域图像的位置信息放入跟踪列表;
比较所述第一位置信息和所述第二位置信息的重合度;
利用比较结果进行跟踪列表的更新。
8.如权利要求7所述的方法,其特征在于,所述利用比较结果进行跟踪列表的更新包括:
当重合度超过阈值时,删除检测对象;
当所述重合度不超过阈值时,添加新的跟踪对象;
当检测对象与跟踪列表中的对象加起来超过了跟踪对象的最大值时,确定所述对象到摄像机的距离的数值,保留数值小于预定距离所对应的对象,删除数值大于预定距离所对应的对象。
9.一种车牌定位系统,其特征在于,该系统包括:获取模块,检测模块,跟踪模块,定位模块,其中,
获取模块,用于获取车辆图像;
检测模块,用于以所述车辆图像构建图像金字塔,所述图像金字塔包括多层图像;当通过所述图像金字塔检测到所述车辆图像包含车牌区域,则对所述车牌区域进行车牌字符识别处理,确定字符识别处理结果符合预定条件的车牌区域;获取所确定的车牌区域所对应的车牌区域图像的第一位置信息;
跟踪模块,用于从与所述车辆图像对应的连续多帧图像中,提取车牌区域在当前帧和前一帧的位置,跟踪处理车牌区域在当前帧和前一帧的位置信息,跟踪处理的结果符合预定条件则为车牌区域图像的第二位置信息;
定位模块,融合所述第一位置信息和所述第二位置信息,完成车牌定位。
10.如权利要求9所述的系统,其特征在于,所述定位模块包括:
比较单元,更新单元,定位单元,其中,
比较单元,用于比较所述第一位置信息和所述第二位置信息的重合度;
更新单元,用于利用比较单元得到的结果,对车牌区域图像的位置信息进行更新;
定位单元,用于根据更新后的车牌区域图像的位置信息完成对车牌的定位。
CN201410476358.1A 2014-09-17 2014-09-17 车牌定位方法及系统 Expired - Fee Related CN104239867B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410476358.1A CN104239867B (zh) 2014-09-17 2014-09-17 车牌定位方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410476358.1A CN104239867B (zh) 2014-09-17 2014-09-17 车牌定位方法及系统

Publications (2)

Publication Number Publication Date
CN104239867A CN104239867A (zh) 2014-12-24
CN104239867B true CN104239867B (zh) 2017-12-01

Family

ID=52227893

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410476358.1A Expired - Fee Related CN104239867B (zh) 2014-09-17 2014-09-17 车牌定位方法及系统

Country Status (1)

Country Link
CN (1) CN104239867B (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104484661A (zh) * 2015-01-03 2015-04-01 武传胜 汽车牌照号码定位系统及其方法
CN104867080B (zh) * 2015-05-18 2018-09-25 健康宝互联网技术有限公司 一种自助式体检时的身份识别方法
CN104951784B (zh) * 2015-06-03 2018-10-12 贵州警官职业学院 一种车辆无牌及车牌遮挡实时检测方法
US10268901B2 (en) * 2015-12-04 2019-04-23 Texas Instruments Incorporated Quasi-parametric optical flow estimation
CN108109132B (zh) 2016-11-25 2021-02-05 杭州海康威视数字技术股份有限公司 一种图像分析方法及装置
CN106448184B (zh) * 2016-12-15 2019-03-01 深圳市捷顺科技实业股份有限公司 车辆识别方法及车辆出场识别方法
CN106778913B (zh) * 2017-01-13 2020-11-10 山东大学 一种基于像素级联特征的模糊车牌检测方法
WO2018209470A1 (zh) * 2017-05-15 2018-11-22 深圳市卓希科技有限公司 一种车牌辨识方法和系统
CN107273832B (zh) * 2017-06-06 2020-09-22 青海省交通科学研究院 基于积分通道特征与卷积神经网络的车牌识别方法及系统
CN110276342B (zh) 2018-03-14 2023-04-18 台达电子工业股份有限公司 车牌辨识方法以及其系统
TWI690857B (zh) * 2018-03-14 2020-04-11 台達電子工業股份有限公司 車牌辨識方法以及其系統
CN109948612A (zh) * 2019-03-19 2019-06-28 苏州怡林城信息科技有限公司 基于卷积网络的车牌检测方法、存储介质和检测设备
CN111738272B (zh) * 2019-03-25 2024-08-02 杭州海康威视数字技术股份有限公司 一种目标特征提取方法、装置及电子设备
CN111767915A (zh) * 2019-04-02 2020-10-13 顺丰科技有限公司 车牌检测方法、装置、设备及存储介质
CN110533039B (zh) * 2019-09-04 2022-05-24 深圳市捷顺科技实业股份有限公司 一种车牌的真伪检测方法、装置及设备
CN111191604A (zh) * 2019-12-31 2020-05-22 上海眼控科技股份有限公司 检测车牌完整性的方法、设备和存储介质
US11978260B2 (en) * 2020-08-25 2024-05-07 Axon Enterprise, Inc. Systems and methods for rapid license plate reading

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101408933A (zh) * 2008-05-21 2009-04-15 浙江师范大学 基于粗网格特征提取和bp神经网络的车牌字符识别方法
CN101520841A (zh) * 2009-03-10 2009-09-02 北京航空航天大学 一种高清视频中的实时抗干扰车牌定位方法
CN102831429A (zh) * 2012-08-13 2012-12-19 深圳市捷顺科技实业股份有限公司 车牌定位方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101408933A (zh) * 2008-05-21 2009-04-15 浙江师范大学 基于粗网格特征提取和bp神经网络的车牌字符识别方法
CN101520841A (zh) * 2009-03-10 2009-09-02 北京航空航天大学 一种高清视频中的实时抗干扰车牌定位方法
CN102831429A (zh) * 2012-08-13 2012-12-19 深圳市捷顺科技实业股份有限公司 车牌定位方法

Also Published As

Publication number Publication date
CN104239867A (zh) 2014-12-24

Similar Documents

Publication Publication Date Title
CN104239867B (zh) 车牌定位方法及系统
CN111368687B (zh) 一种基于目标检测和语义分割的人行道车辆违停检测方法
CN110414507B (zh) 车牌识别方法、装置、计算机设备和存储介质
CN109033950B (zh) 基于多特征融合级联深度模型的车辆违停检测方法
CN110659539B (zh) 一种信息处理方法、装置及机器可读存储介质
CN103699905B (zh) 一种车牌定位方法及装置
Al-Ghaili et al. Vertical-edge-based car-license-plate detection method
CN104978567B (zh) 基于场景分类的车辆检测方法
CN111709416A (zh) 车牌定位方法、装置、系统及存储介质
CN111915583B (zh) 复杂场景中基于车载红外热像仪的车辆和行人检测方法
JP6095817B1 (ja) 物体検出装置
CN113343985B (zh) 车牌识别方法和装置
CN113052170B (zh) 一种无约束场景下的小目标车牌识别方法
CN104376332A (zh) 车牌识别方法及装置
CN104463220A (zh) 一种车牌检测方法和系统
CN104463238B (zh) 一种车标识别方法和系统
CN106845458A (zh) 一种基于核超限学习机的快速交通标识检测方法
Asgarian Dehkordi et al. Vehicle type recognition based on dimension estimation and bag of word classification
Fusek et al. Adaboost for parking lot occupation detection
CN117593548A (zh) 基于加权注意力机制去除动态特征点的视觉slam方法
CN114155518B (zh) 基于深度语义分割网络和图像矫正的高速路遮光板倾斜识别方法
CN114913504A (zh) 一种融合自注意力机制的遥感图像的车辆目标识别方法
CN114445788A (zh) 车辆停放检测方法、装置、终端设备和可读存储介质
CN111583341B (zh) 云台像机移位检测方法
CN116030542B (zh) 一种路内停车无人值守收费管理方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20171201