CN107679565A - 跳跃式滑窗加速车牌检测方法 - Google Patents

跳跃式滑窗加速车牌检测方法 Download PDF

Info

Publication number
CN107679565A
CN107679565A CN201710856417.1A CN201710856417A CN107679565A CN 107679565 A CN107679565 A CN 107679565A CN 201710856417 A CN201710856417 A CN 201710856417A CN 107679565 A CN107679565 A CN 107679565A
Authority
CN
China
Prior art keywords
image
sliding window
feature vector
image feature
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710856417.1A
Other languages
English (en)
Inventor
解梅
李佩伦
秦方
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN201710856417.1A priority Critical patent/CN107679565A/zh
Publication of CN107679565A publication Critical patent/CN107679565A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种跳跃式滑窗加速车牌检测方法，属于计算机视觉领域。本发明首先基于训练样本图像的图像特征向量训练adaboost分类器，其中图像特征向量包括图像灰度值、梯度灰度值和六个梯度方向直方图；在进行车牌检测处理时，首先对其进行图像预处理：在HSV空间对V分量进行自适应直方图均衡增强处理，再转换到RGB颜色空间并转换为灰度图；从而构建待检测图像的快速特征金字塔图像，得到金字塔各层图像的图像特征向量并输入到adaboost分类器中进行跳跃式滑窗检测，最后使用非极大值抑制的方法获得局部最优检测结果。本发明用于车牌检测，其检测的计算复杂度低，检测速度快，准确度高。

Description

跳跃式滑窗加速车牌检测方法
技术领域
本发明属于计算机视觉领域，主要涉及数字图像处理、机器学习和车牌识别领域。
背景技术
智能交通的发展要求我们研发出一套智能的交通管理系统。车牌识别系统是智能交通管理系统的重要组成部分。它可以用于无人停车场管理、高速公路间断测速、十字路口交通监管等场合。车牌识别系统一般可以划分为以下三个部分：
1)车牌检测：判断待检测图像中是否存在车牌，若存在，则提取车牌所在的图像位置，并从待检测图像中切割出车牌检测结果。
2)车牌字符分割：将车牌中的每个字符分别进行字符定位后分割。
3)车牌字符识别：对字符分割结果进行识别，涉及到对汉字、数字和字母的字符识别。
现有的车牌检测主要利用颜色、梯度、图像形态学等方式，这些方式都是基于一些基础的图像处理领域的技术。虽然取得了一定的成效，但通常需要将几种不同的方法相结合才能达到较高的召回率，从而导致检测模型复杂，检测速度是缓慢的。
发明内容
本发明的发明目的在于：针对上述存在的问题，提供
步骤1：输入训练样本集，提取训练样本图像的图像特征向量，包括图像灰度值、梯度灰度值和六个梯度方向直方图，所述六个梯度方向为：180°均分为6所得到的6个梯度方向；
基于训练样本图像的图像特征向量训练adaboost分类器，记所述adaboost分类器的图像模板尺寸为m*n；
步骤2：对待检测图像进行图像预处理：若当前待检测图像的颜色空间不是HSV空间，则将其转换到HSV空间，对待检测图像的明度分量进行自适应直方图均衡增强处理，再转换到RGB颜色空间并转换为灰度图；
步骤3：构建待检测图像的快速特征金字塔图像：
基于预置的金字塔图像层数S，将其分为三部分，分别将各部分的起始层作为指定层，采用与提取训练样本图像的图像特征向量相同的提取方式，提取三个指定层的金字塔图像的图像特征向量；
基于各部分的指定层估计非指定层的图像特征向量：
用表示指定层的图像特征向量元素，其中k为指定层区分符，Ω为图像特征向量元素标识符；
根据得到各部分的非指定层的图像特征信息，其中表示将按照尺度s缩放，λΩ为对应图像特征向量Ω的估计参数；
步骤4：跳跃式滑窗检测：
基于所提取的图像特征向量，用步骤1训练好的adaboost分类器在金字塔图像的每一层分别做跳跃式滑窗检测，其中滑动窗口的大小为m*n，m为横向边长，n为纵向边长；
在滑窗检测时，设置基准滑窗步长为1，判断adaboost分类器对当前滑窗打分是否小于预设阈值(当前滑窗不存在车牌)，若是，则以当前滑窗位置为中心，跳过所述中心位置附近(横向*纵向)个未检测窗口；否则按基准滑窗步长滑窗检测；
步骤5：使用非极大值抑制的方法获得局部最优检测结果。
综上所述，由于采用了上述技术方案，本发明的有益效果是：对车牌的检测处理的计算复杂度低，检测速度快，准确度高。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面结合实施方式，对本发明作进一步地详细描述。
本发明的跳跃式滑窗加速车牌检测方法的具体实施步骤如下：
步骤1：输入训练样本集，提取训练样本图像的图像特征向量，包括图像灰度值、梯度灰度值和六个梯度方向(180°均分为6所得到的6个梯度方向)直方图，即8个特征通道；
基于训练样本图像的图像特征向量训练adaboost分类器，记所述adaboost分类器的图像模板尺寸为m*n；
步骤2：对待检测图像进行图像预处理：若当前待检测图像的颜色空间不是HSV空间，则将其转换到HSV空间，对待检测图像的明度分量(V分量)进行自适应直方图均衡(AHE)增强处理，再转换到RGB颜色空间并转换为灰度图；
步骤3：构建待检测图像的快速特征金字塔图像：
基于预置的金字塔图像层数S，将其分为三部分，分别将各部分的起始层作为指定层，提取三个指定层的金字塔图像的图像特征向量，包括图像灰度值、梯度灰度值和六个梯度方向(180°均分为6所得到的6个梯度方向)直方图；再基于指定层去估计其它层的图像特征向量。
以20层金字塔为例，取出图像的第1层、第9层，第17层作为指定层，例如原始图像大小为640*480，那么金字塔第1层图像大小为1280*800，每一层图像大小只有上一层的0.917，到第9层图像大小为640*400，第17层为320*200；
然后提取各指定层的图像特征向量，并基于各部分的指定层估计非指定层的图像特征向量：用表示指定层的图像特征向量元素，其中k为指定层区分符，Ω为图像特征向量元素标识符；根据得到各部分的非指定层的图像特征信息，其中表示将按照尺度s缩放，λΩ为对应图像特征向量Ω的估计参数。
该方式设置的快速特征金字塔图像在车牌检测时的处理速度快，且检测几乎没有损失。
步骤4：跳跃式滑窗检测：
基于所提取的图像特征向量，用训练好的adaboost分类器在金字塔图像的每一层分别做跳跃式滑窗检测，其中滑动窗口的大小为m*n，m为横向边长，n为纵向边长；
在滑窗检测时，设置基准滑窗步长为1，判断adaboost分类器对当前滑窗打分是否小于预设阈值(当前滑窗不存在车牌)，若是，则以当前滑窗位置为中心，附近(横向*纵向)个未检测窗口都不必再做滑窗检测；否则按基准滑窗步长滑窗检测。
例如滑动窗口的大小为116*36，若当前滑窗打分小于预设阈值，则将当前横向滑窗步长设置为58，并且纵向18个单位的滑窗也不必在检测。
本发明的跳跃式滑窗检测能显著减少滑窗次数，例如在1280*800图像中，假设该图片中不存在车牌(为了方便分析，在实际应用中的一张图像中，通常是没有车牌，或者只有有1个车牌)，则普通模式下滑窗步长为1的滑窗，需要判别的滑窗次数为(1280-116+1)*(800-36+1)＝891225，滑窗步长为4的滑窗，需要判别的滑窗次数为Floor[(1280-116+1)/4]*Floor[(800-36+1)/4]＝291*191＝55581；而在本发明的跳跃式滑窗模式下，基准滑窗步长为1时，需要判别的滑窗次数为：Floor[(1280-116+1)/58]*Floor[(800-36+1)/18]＝20*42＝840。当图像中存在车牌或者类似于车牌的物体，则滑窗次数会略大于840，但是也远远小于普通模式的滑窗运算量。
步骤5：使用非极大值抑制的方法获得局部最优检测结果(防止同一个车牌被检出多次)。
以上所述，仅为本发明的具体实施方式，本说明书中所公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换；所公开的所有特征、或所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以任何方式组合。

Claims (1)

1.跳跃式滑窗加速车牌检测方法，其特征在于，包括下列步骤：
步骤1：输入训练样本集，提取训练样本图像的图像特征向量，包括图像灰度值、梯度灰度值和六个梯度方向直方图，所述六个梯度方向为：180°均分为6所得到的6个梯度方向；
基于训练样本图像的图像特征向量训练adaboost分类器，记所述adaboost分类器的图像模板尺寸为m*n；
步骤2：对待检测图像进行图像预处理：若当前待检测图像的颜色空间不是HSV空间，则将其转换到HSV空间，对待检测图像的明度分量进行自适应直方图均衡增强处理，再转换到RGB颜色空间并转换为灰度图；
步骤3：构建待检测图像的快速特征金字塔图像：
基于预置的金字塔图像层数S，将其分为三部分，分别将各部分的起始层作为指定层，采用与提取训练样本图像的图像特征向量相同的提取方式，提取三个指定层的金字塔图像的图像特征向量；
基于各部分的指定层估计非指定层的图像特征向量：
用表示指定层的图像特征向量元素，其中k为指定层区分符，Ω为图像特征向量元素标识符；
根据得到各部分的非指定层的图像特征信息，其中表示将按照尺度s缩放，λΩ为对应图像特征向量Ω的估计参数；
步骤4：跳跃式滑窗检测：
基于所提取的图像特征向量，用步骤1训练好的adaboost分类器在金字塔图像的每一层分别做跳跃式滑窗检测，其中滑动窗口的大小为m*n，m为横向边长，n为纵向边长；
在滑窗检测时，设置基准滑窗步长为1，判断adaboost分类器对当前滑窗打分是否小于预设阈值，若是，则以当前滑窗位置为中心，跳过所述中心位置附近个未检测窗口；否则按基准滑窗步长滑窗检测；
步骤5：使用非极大值抑制的方法获得局部最优检测结果。
CN201710856417.1A 2017-09-21 2017-09-21 跳跃式滑窗加速车牌检测方法 Pending CN107679565A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710856417.1A CN107679565A (zh) 2017-09-21 2017-09-21 跳跃式滑窗加速车牌检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710856417.1A CN107679565A (zh) 2017-09-21 2017-09-21 跳跃式滑窗加速车牌检测方法

Publications (1)

Publication Number Publication Date
CN107679565A true CN107679565A (zh) 2018-02-09

Family

ID=61137598

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710856417.1A Pending CN107679565A (zh) 2017-09-21 2017-09-21 跳跃式滑窗加速车牌检测方法

Country Status (1)

Country Link
CN (1) CN107679565A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109241969A (zh) * 2018-09-26 2019-01-18 旺微科技（上海）有限公司 一种多目标检测方法及检测系统
CN109325487A (zh) * 2018-08-27 2019-02-12 电子科技大学 一种基于目标检测的全种类车牌识别方法
CN110796144A (zh) * 2019-11-08 2020-02-14 北京字节跳动网络技术有限公司 车牌检测方法、装置、设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101520841A (zh) * 2009-03-10 2009-09-02 北京航空航天大学 一种高清视频中的实时抗干扰车牌定位方法
CN106529522A (zh) * 2016-11-07 2017-03-22 湖南源信光电科技有限公司 一种基于积分通道特征的车牌定位方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101520841A (zh) * 2009-03-10 2009-09-02 北京航空航天大学 一种高清视频中的实时抗干扰车牌定位方法
CN106529522A (zh) * 2016-11-07 2017-03-22 湖南源信光电科技有限公司 一种基于积分通道特征的车牌定位方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
刘攀桂: ""复杂场景下的车牌检测算法研究及其工程实现"", 《中国优秀硕士学位论文全文数据库》 *
贾志勇等: "基于局部小波分形特征的车牌定位研究", 《计算机仿真》 *
黄鹏等: "改进积分通道特征的快速多尺度行人检测", 《计算机工程与应用》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109325487A (zh) * 2018-08-27 2019-02-12 电子科技大学 一种基于目标检测的全种类车牌识别方法
CN109325487B (zh) * 2018-08-27 2021-12-03 电子科技大学 一种基于目标检测的全种类车牌识别方法
CN109241969A (zh) * 2018-09-26 2019-01-18 旺微科技（上海）有限公司 一种多目标检测方法及检测系统
CN110796144A (zh) * 2019-11-08 2020-02-14 北京字节跳动网络技术有限公司 车牌检测方法、装置、设备及存储介质
CN110796144B (zh) * 2019-11-08 2023-04-25 北京字节跳动网络技术有限公司 车牌检测方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN105046196B (zh) 基于级联卷积神经网络的前车车辆信息结构化输出方法
CN106355602B (zh) 一种多目标定位跟踪视频监控方法
US9092696B2 (en) Image sign classifier
CN111402209B (zh) 一种基于U-Net的高速铁路钢轨损伤检测方法
EP2575077B1 (en) Road sign detecting method and road sign detecting apparatus
CN108805018A (zh) 道路交通标志检测识别方法、电子设备、存储介质及系统
CN109948416A (zh) 一种基于深度学习的违法占用公交车道自动审核方法
CN111191611B (zh) 基于深度学习的交通标志标号识别方法
CN110879950A (zh) 多级目标分类及交通标志检测方法和装置、设备、介质
CN105022990A (zh) 一种基于无人艇应用的水面目标快速检测方法
CN103679168A (zh) 文字区域检测方法及装置
CN107491762A (zh) 一种行人检测方法
CN103366190A (zh) 一种识别交通标志的方法
CN103544484A (zh) 一种基于surf的交通标志识别方法及系统
CN112381870B (zh) 一种基于双目视觉的船舶识别与航速测量系统及方法
Sharma et al. A hybrid technique for license plate recognition based on feature selection of wavelet transform and artificial neural network
CN107679565A (zh) 跳跃式滑窗加速车牌检测方法
CN105868734A (zh) 基于bow图像表征模型的输电线路大型施工车辆识别方法
CN110516633A (zh) 一种基于深度学习的车道线检测方法及系统
CN105184301B (zh) 一种利用四轴飞行器判别车辆方位的方法
CN104463134A (zh) 一种车牌检测方法和系统
Wali et al. Shape matching and color segmentation based traffic sign detection system
CN108960175A (zh) 一种基于深度学习的车牌识别方法
CN111079675A (zh) 基于目标检测与目标跟踪的行驶行为分析方法
CN109409409A (zh) 基于hog+cnn的交通标志的实时检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180209