CN108388884B - 基于Haar-Adaboost算法和直方图对比的出租车检测方法 - Google Patents

基于Haar-Adaboost算法和直方图对比的出租车检测方法 Download PDF

Info

Publication number
CN108388884B
CN108388884B CN201810221392.2A CN201810221392A CN108388884B CN 108388884 B CN108388884 B CN 108388884B CN 201810221392 A CN201810221392 A CN 201810221392A CN 108388884 B CN108388884 B CN 108388884B
Authority
CN
China
Prior art keywords
taxi
area
detection
haar
roof lamp
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810221392.2A
Other languages
English (en)
Other versions
CN108388884A (zh
Inventor
贾克斌
张日东
刘鹏宇
黄训平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Technology
Original Assignee
Beijing University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Technology filed Critical Beijing University of Technology
Priority to CN201810221392.2A priority Critical patent/CN108388884B/zh
Publication of CN108388884A publication Critical patent/CN108388884A/zh
Application granted granted Critical
Publication of CN108388884B publication Critical patent/CN108388884B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G06V10/507—Summing image-intensity values; Histogram projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了基于Haar‑Adaboost算法和直方图对比的出租车检测方法，首先采集车窗区域的正负样本，提取正负样本的Haar特征；然后，基于Adaboost算法的级联分类器训练对正负样本进行处理，将待测图像和视频与基于Adaboost算法的级联分类器训练后的样本输入至加载级联分类器中，显示出租车检测结果，检测到的区域定位车顶灯区域，车顶灯区域颜色空间转换，最后进行直方图对比。考虑到实际环境中极易发生出租车相互遮挡的情况，因此选取出租车不易被遮挡的车窗区域为Haar特征提取区域。考虑到非现场执法过程中需要对复杂环境下的出租车实现实时检测，选取经典算法中实时性和鲁棒性好的Haar‑Adaboost算法训练出租车的车窗特定区域。通过该方法对出租车进行二次检测，减小出租车误检率。

Description

基于Haar-Adaboost算法和直方图对比的出租车检测方法
技术领域
本发明涉及机器学习,机器视觉技术领域，尤其是涉及基于Haar-Adaboost算法和直方图对比的出租车检测方法。
背景技术
为了达到对交通运输行业高效智能监管的目的，道路交通管理非现场执法的应用率越来越高。目前广泛应用的非现场执法手段主要包括电视监控、电子警察、治安卡口等，这些设备的普遍应用不仅提升了道路交通的管理效能，实现了道路交通的安全管理，还极大的缓解了执法过程中人员不足、人情执法的问题。因此，加大非现场执法工作力度可以更加可靠有效的解决道路交通管理工作的难题。
出租车行业一直都是交通运输行业的重要组成部分之一，搭乘出租车出行是人们目前最常选取的出行方式之一。在北京等一线城市，由于人口众多、人流量大、公共交通分担率偏低、出租车需求量大等现象的存在，使得执法人员的执法难度和工作强度大大增加。因此，实现一种针对出租车的高效的、智能化的非现场的执法手段势在必行。
实现出租车的非现场执法最重要的一步是对出租汽车的自动检测，它是实现出租车其他违法行为自动检测的前提。目前，针对出租车的自动检测技术还处于起步阶段，国内外大部分的研究重点还是针对车辆的自动检测，因此，本技术针对出租车的有效检测展开研究。根据前期在机场，车站等重点监控地区调研发现，实际环境中极易出现如图1所示的车辆之间相互遮挡的复杂情况，因此，针对出租车不易被遮挡的车窗和车顶灯区域(定义为车窗区域)进行特征提取，提出一种基于Haar-Adaboost算法和直方图对比的出租车检测方法，经实际环境测试，该方法在保证对出租车检测准确率在94％以上的同时有效减少车辆相互遮挡复杂环境下的出租车误检情况。
发明内容
本发明所要解决的技术问题是针对目前缺少对出租车有效检测的问题，并且考虑到实际环境中极易出现车辆遮挡的情况，提供一种针对车窗区域的Haar-Adaboost算法和直方图对比的出租车检测的方法，在保证实时性的前提下，实现对出租车的高效检测。
本发明采用的技术方案为针对车窗区域的Haar-Adaboost算法和直方图对比的出租车检测方法，整体流程如图2所示。
首先采集车窗区域的正负样本，提取正负样本的Haar特征；然后，基于Adaboost算法的级联分类器训练对正负样本进行处理，将待测图像和视频与基于Adaboost算法的级联分类器训练后的样本输入至加载级联分类器中，显示出租车检测结果，检测到的区域定位车顶灯区域，车顶灯区域颜色空间转换，最后进行直方图对比。
首先建立用于出租车检测的标准数据集，本方法中所采用的数据样本集为通过摄像头采集的出租车图片，数据样本集中包含不同角度和不同亮度条件下的出租车图片样本。
考虑到实际环境中极易发生出租车相互遮挡的情况，因此选取出租车不易被遮挡的车窗区域为Haar特征提取区域。同时，为了增加训练样本的多样性，对原有的样本图像进行镜像处理，使得正样本数量为原有的样本图像两倍。
接着，考虑到非现场执法过程中需要对复杂环境下的出租车实现实时检测，所以选取经典算法中实时性和鲁棒性好的Haar-Adaboost算法训练出租车的车窗特定区域，实现对出租车的初步检测。
利用Haar-Adaboost算法对视频进行检测，如图5所示，除却检测距离较远的出租车，图5中存在出租车误检的情况。出现误检的原因则是该区域Haar特征和提取的出租车车窗区域Haar特征较为相似，在此基础上，根据经验值定位出出租车特有的车顶灯区域，利用HSV模型下的直方图对比的方法实现将定位的车顶灯区域图像和事先准备好的车顶灯样本图进行的直方图对比。通过该方法对出租车进行二次检测，进一步减小出租车的误检率。
附图说明
图1是实际环境出现出租车相互遮挡的情况；
图2是针对出租车检测的整体流程图；
图3是Haar特征模板，用于出租车车窗区域特征提取。
图4是训练用到的出租车车窗区域样本集；
图5是利用Haar-Adaboost分类器检测出租车视频得到的结果。
图6是出租车车窗区域参数标定。
图7是经过直方图对比得到的检测结果。
具体实施方式
本方法首先利用图3所示Haar特征模板对图4中的车窗区域样本集进行特征提取，在得到出租车车窗区域样本的Haar特征后，通过利用Adaboost算法对大量的正负样本进行学习。Adaboost算法根据得到的Haar特征利用弱分类器将样本进行分类，在每次迭代的过程中把分类错误率最小的弱分类器作为此次迭代的最优分类器，并为最优弱分类器赋以权重；并根据上一次的分类结果更新每个样本的权值，同时提高分类错误的训练样本的权重和降低分类正确的样本权重。把经过多次迭代之后得到的一系列弱分类器级联生成决策分类器。利用训练得到的分类器对采集的出租车图像进行检测，具体过程如下：在待检测出租车图像上利用不同大小的矩形框进行多尺度扫描，利用级联分类器对扫描的每个矩形区域进行判断。如果图像中某矩形区域通过了所有的级联分类器，该区域为出租车车窗区域，并得到当前图像中车辆所在的位置；否则，说明该区域不是出租车车窗区域。检测结果如图5所示。
得到车窗检测区域后，设Haar-Adaboost算法检测出的车窗位置最小外接矩的左上角定点坐标为P0(x0,y0)，最小外接矩的长和宽分别为L和H，如图6所示。车顶灯直方图对比的流程如下：
Step1：定义图像左上角为坐标原点，以坐标原点为中心建立图像坐标系，以图像坐标系为基准，选取车顶灯中心坐标为P1(x1,y1)，由于车顶灯居中于车顶，所以无论出租车角度如何变化，车顶灯的中心横坐标x1等于车窗中心坐标，而车顶灯宽度和提取的车窗区域的宽度的比例根据大量图像计算为1：6，则：
x1＝x0+0.5L (1)
y1＝y0+H/12 (2)
Step2：以P1为中心做最小外接矩，该最小外接矩为定位的车顶灯区域。为了尽可能保证矩形区域内包含车顶灯信息，选取的矩形区域小于车顶灯大小，设该矩形区域的长和宽分别为L0和H0，则初步选取：
L0＝L/4 (3)
H0＝H/8 (4)
Step3：读入定位的车顶灯检测区域和车顶灯样本图，并将其由RGB空间转换到HSV空间；
Step4：计算HSV空间下车顶检测区域和车顶灯样本图的颜色直方图，并归一化以便对比。其中，定位的车顶灯区域图像的直方图为H1，车顶灯样本图的直方图为H2；
Step5：采用相关系数法将车顶灯区域直方图和车顶灯样本图的直方图进行对比。
实验过程中，训练所用样本库为图4所示的出租车车窗区域样本库，样本数量为2400张，测试所用样本为1200张出租车样本以及通过摄像机采集的出租车视频。由于出租车车窗区域样本库为非标准库，所以特征提取前先将样本图像进行归一化处理。
在实验过程中发现，训练过程中图像归一化的大小和分类器迭代的次数多少都会对实验检测的准确率造成影响，根据不同的归一化大小和迭代次数生成的分类器对1200张测试图像进行测试所得到的准确率如表1所示，其中归一化大小的单位为像素；
表1：Haar-Adaboost算法检测准确率
Figure GDA0001649116630000041
由表1可知，当归一化大小设置为28×20像素大小，分类器迭代次数为13或者15次时，出租车检测准确率最高，可达到97.5％。由图5可以看出该方法对于复杂环境下的出租车检测有较好的效果，且每一帧图像检测平均时间为31.3ms，保证了检测的实时性。但除却检测距离较远的出租车，图5中存在出租车误检的情况。出现误检的原因则是该区域Haar特征和提取的出租车车窗区域Haar特征较为相似，因此，进一步利用车顶灯直方图对比的方法对检测出的出租车车窗区域进行检测。本文以相关系数作为直方图的衡量标准，，在实验过程中存在车顶灯区域定位有误差的现象，同时还存在车顶灯区域与数据集中的车顶灯明暗相差较大的情况。但在直方图对比过程中，所得相关系数结果依然高于0.5。因次本文将相关系数的阈值设定为0.5，并最终利用直方图对比的方法对出租车视频进行检测，实验结果如图7所示。
实验结果证明，基于直方图对比的二次检测有效的减少了出租车误检的情况。
进一步为了验证本文算法的优越性，同时将本技术和主流算法进行对比，测试数据集选取相同的视频数据集，其中，视频个数为8个，视频中出租车总数为153辆，私家车总数为37辆，对比结果如表2所示：
表2：算法对比
Figure GDA0001649116630000051
通过对比可得，本技术算法明显优于其他主流算法，主要原因在于目前主流算法都是针对车身整体进行特征提取，对于实际环境中车辆之间相互遮挡的情况难以进行有效检测，而本技术正是考虑到这种情况，针对车辆不易被遮挡的车窗区域进行特征提取，从而实现复杂环境下的车租车高效检测，同时，在出租车检测的基础上加入了针对车顶灯区域的直方图对比算法，大大减少了检测过程中的误检情况。

Claims (1)

1.基于Haar-Adaboost算法和直方图对比的出租车检测方法，其特征在于：
首先采集车窗区域的正负样本，提取正负样本的Haar特征；然后，基于Adaboost算法的级联分类器训练对正负样本进行处理，将待测图像和视频与基于Adaboost算法的级联分类器训练后的样本输入至级联分类器中，显示出租车检测结果，检测到的区域定位车顶灯区域，车顶灯区域颜色空间转换，最后进行直方图对比；
建立用于出租车检测的标准数据集，所采用的数据样本集为通过摄像头采集的出租车图片，数据样本集中包含不同角度和不同亮度条件下的出租车图片样本；
考虑到实际环境中极易发生出租车相互遮挡的情况，因此选取出租车不易被遮挡的车窗区域为Haar特征提取区域；同时，为了增加训练样本的多样性，对原有的样本图像进行镜像处理，使得正样本数量为原有的样本图像两倍；
接着，考虑到非现场执法过程中需要对复杂环境下的出租车实现实时检测，所以选取Haar-Adaboost算法对出租车的车窗特定区域进行训练，实现对出租车的初步检测；
利用Haar-Adaboost算法对视频进行检测，除却检测距离较远的出租车，存在出租车误检的情况；出现误检的原因则是该车窗特定区域Haar特征和提取的出租车车窗区域Haar特征较为相似，在此基础上，根据经验值定位出出租车特有的车顶灯区域，利用HSV模型下的直方图对比的方法实现将定位的车顶灯区域图像和事先准备好的车顶灯样本图进行的直方图对比；通过该方法对出租车进行二次检测，进一步减小出租车的误检率；
利用Haar特征模板对车窗区域样本集进行特征提取，在得到出租车车窗区域样本的Haar特征后，通过利用Adaboost 算法对大量的正负样本进行学习；Adaboost算法根据得到的Haar特征利用弱分类器将样本进行分类，在每次迭代的过程中把分类错误率最小的弱分类器作为此次迭代的最优分类器，并为最优弱分类器赋以权重；并根据上一次的分类结果更新每个样本的权值，同时提高分类错误的训练样本的权重和降低分类正确的样本权重；把经过多次迭代之后得到的一系列弱分类器级联生成决策分类器；利用训练得到的分类器对采集的出租车图像进行检测，具体过程如下：在待检测出租车图像上利用不同大小的矩形框进行多尺度扫描，利用级联分类器对扫描的每个矩形区域进行判断；如果图像中某矩形区域通过了所有的级联分类器，该区域为出租车车窗区域，并得到当前图像中车辆所在的位置；否则，说明该区域不是出租车车窗区域；
得到车窗检测区域后，设Haar-Adaboost算法检测出的车窗位置最小外接矩的左上角定点坐标为P0(x 0,y 0) ，最小外接矩的长和宽分别为L和H；车顶灯直方图对比的流程如下：
Step1：定义图像左上角为坐标原点，以坐标原点为中心建立图像坐标系，以图像坐标系为基准，选取车顶灯中心坐标为P1(x 1,y 1)，由于车顶灯居中于车顶，所以无论出租车角度如何变化，车顶灯的中心横坐标x 1等于车窗中心坐标，而车顶灯宽度和提取的车窗区域的宽度的比例根据大量图像计算为1：6，则：
x 1=x 0+0.5L (1)
y 1=y 0+H/12 (2)
Step2：以P1为中心做最小外接矩，该最小外接矩为定位的车顶灯区域；为了尽可能保证矩形区域内包含车顶灯信息，选取的矩形区域小于车顶灯大小，设该矩形区域的长和宽分别为L0和H0，则初步选取：
L0=L/4 (3)
H0=H/8 (4)
Step3：读入定位的车顶灯检测区域和车顶灯样本图，并将其由RGB空间转换到HSV空间；
Step4：计算HSV空间下车顶检测区域和车顶灯样本图的颜色直方图，并归一化以便对比；其中，定位的车顶灯区域图像的直方图为H1，车顶灯样本图的直方图为H2；
Step5：采用相关系数法将车顶灯区域直方图和车顶灯样本图的直方图进行对比。
CN201810221392.2A 2018-03-17 2018-03-17 基于Haar-Adaboost算法和直方图对比的出租车检测方法 Active CN108388884B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810221392.2A CN108388884B (zh) 2018-03-17 2018-03-17 基于Haar-Adaboost算法和直方图对比的出租车检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810221392.2A CN108388884B (zh) 2018-03-17 2018-03-17 基于Haar-Adaboost算法和直方图对比的出租车检测方法

Publications (2)

Publication Number Publication Date
CN108388884A CN108388884A (zh) 2018-08-10
CN108388884B true CN108388884B (zh) 2022-05-17

Family

ID=63067690

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810221392.2A Active CN108388884B (zh) 2018-03-17 2018-03-17 基于Haar-Adaboost算法和直方图对比的出租车检测方法

Country Status (1)

Country Link
CN (1) CN108388884B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101783076A (zh) * 2010-02-04 2010-07-21 西安理工大学 一种视频监控模式下的快速车型识别方法
CN103093249A (zh) * 2013-01-28 2013-05-08 中国科学院自动化研究所 一种基于高清视频的出租车识别方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1423833A4 (en) * 2001-07-18 2008-07-02 Hyunjae Tech Co Ltd SYSTEM FOR THE AUTOMATIC RECOGNITION OF IDENTIFICATION OF OTHER VEHICLES ON OBSERVATIVES AND METHOD THEREFOR

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101783076A (zh) * 2010-02-04 2010-07-21 西安理工大学 一种视频监控模式下的快速车型识别方法
CN103093249A (zh) * 2013-01-28 2013-05-08 中国科学院自动化研究所 一种基于高清视频的出租车识别方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于Adaboost算法和颜色特征的公交车辆视频检测;邝先验等;《广西师范大学学报(自然科学版)》;20160331(第01期);9-18 *

Also Published As

Publication number Publication date
CN108388884A (zh) 2018-08-10

Similar Documents

Publication Publication Date Title
CN105046196B (zh) 基于级联卷积神经网络的前车车辆信息结构化输出方法
WO2019196130A1 (zh) 面向车载热成像行人检测的分类器训练方法和装置
WO2019196131A1 (zh) 面向车载热成像行人检测的感兴趣区域过滤方法和装置
Sun et al. Moving cast shadow detection of vehicle using combined color models
TWI431559B (zh) 車牌偵測辨識方法及其系統
TWI409718B (zh) 移動中車輛之車牌定位方法
CN103824081B (zh) 一种室外恶劣光照条件下的快速鲁棒交通标志检测方法
CN103824091B (zh) 一种用于智能交通系统的车牌识别方法
US20070058863A1 (en) Label Detection
CN102880863B (zh) 一种基于可变形部件模型的车牌及驾驶员人脸定位方法
CN105678213B (zh) 基于视频特征统计的双模式蒙面人事件自动检测方法
CN105447503A (zh) 基于稀疏表示lbp和hog融合的行人检测方法
Prabhakar et al. A novel design for vehicle license plate detection and recognition
CN113537211B (zh) 一种基于非对称iou的深度学习车牌框定位方法
CN105046218A (zh) 一种基于串并行处理的多特征交通视频烟雾检测方法
WO2024037408A1 (zh) 一种基于图像融合和特征增强的煤矿井下行人检测方法
CN109460722A (zh) 一种车牌智能识别方法
CN104008404A (zh) 一种基于显著直方图特征的行人检测方法及系统
CN111401364A (zh) 一种基于颜色特征和模板匹配相结合的车牌定位算法
CN108985197B (zh) 基于多算法融合的出租车驾驶员吸烟行为的自动检测方法
Zhou et al. Real-time traffic light recognition based on c-hog features
CN108009480A (zh) 一种基于特征识别的图像人体行为检测方法
CN109800693B (zh) 一种基于颜色通道混合特征的夜间车辆检测方法
CN108388884B (zh) 基于Haar-Adaboost算法和直方图对比的出租车检测方法
TW201419168A (zh) 不均勻光線下的車牌辨識方法及系統

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant