CN108985197B - 基于多算法融合的出租车驾驶员吸烟行为的自动检测方法 - Google Patents

基于多算法融合的出租车驾驶员吸烟行为的自动检测方法 Download PDF

Info

Publication number
CN108985197B
CN108985197B CN201810705187.3A CN201810705187A CN108985197B CN 108985197 B CN108985197 B CN 108985197B CN 201810705187 A CN201810705187 A CN 201810705187A CN 108985197 B CN108985197 B CN 108985197B
Authority
CN
China
Prior art keywords
area
smoke
detection
front windshield
windshield area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810705187.3A
Other languages
English (en)
Other versions
CN108985197A (zh
Inventor
贾克斌
黄训平
刘鹏宇
汪祖云
廖惠敏
张日东
陈思玮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Technology
Original Assignee
Beijing University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Technology filed Critical Beijing University of Technology
Priority to CN201810705187.3A priority Critical patent/CN108985197B/zh
Publication of CN108985197A publication Critical patent/CN108985197A/zh
Application granted granted Critical
Publication of CN108985197B publication Critical patent/CN108985197B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/758—Involving statistics of pixels or of feature values, e.g. histogram matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了基于多算法融合的出租车驾驶员吸烟行为的自动检测方法，首先基于数据样本集建立用于前挡风玻璃区域检测的标准数据集。考虑到实际应用中速度的重要性，本方法利用实时性优异的Haar特征和Adaboost算法进行特征提取和训练，并加载检测数据和训练完成的分类器，实现对前挡风玻璃区域的初步检测。加载训练好的分类器进行检测的结果；接着基于二次检测后的前挡风玻璃区域划定右延伸区域。利用运动前景检测和烟雾在HSV颜色空间的颜色特征，提取疑似烟雾区域。利用疑似烟雾区域的平均质心运动距离和烟雾面积的扩散以及每帧运动距离和面积扩散的范围限定来降低误检。在保证实时性的前提下，实现对出租车驾驶员吸烟行为的高效检测。

Description

基于多算法融合的出租车驾驶员吸烟行为的自动检测方法
技术领域
本发明涉及机器学习，计算机视觉技术领域，尤其是涉及出租车驾驶员吸烟行为的自动检测技术。
背景技术
出租车具有灵活、舒适、定制化服务的特点，因此其逐渐成为人们最常选择的出行方式之一。
目前的非现场执法模式为人工通过电子监控平台实时回传的视频数据进行逐一排查，这种半自动的执法模式可以解决一部分执法人力资源紧张的问题。
同时，出租车行业属于服务性质行业，驾驶员的个人行为直接决定顾客的体验，因此，吸烟这种有害身心健康和污浊环境的行为已经被交通执法部门纳入了执法范围。因此，实现高效的出租车驾驶员的吸烟行为的自动检测技术已经势在必行。
出租车驾驶员的吸烟行为的自动检测关键在于出租车驾驶员所在区域和吸烟行为识别两部分，目前，国内外对于前者的研究还处于起步阶段，对于后者的研究相对较多，而对于二者结合的研究还并未开展。因此，本技术针对出租车驾驶员吸烟行为的有效行为展开研究。根据前期在出租车驾驶员发生违法违章行为的重灾区进行调研发现，该区域车流量极大，极易发生如图1所示的车辆之间相互遮挡的复杂情况，因此为不遗漏任一违法违章行为，提出一种基于出租车前挡风玻璃和车顶灯区域(定义为前挡风玻璃区域)的特征提取、Haar-Adaboost算法和滑动颜色直方图匹配、烟雾的平均质心的运动趋势和抖动限定的出租车驾驶员吸烟行为的检测方法，经实际环境测试，该方法能在复杂环境下保证82％以上的检测准确率。
发明内容
本发明要解决的技术问题是针对目前缺少对出租车驾驶员吸烟行为有效检测的问题，并且考虑到实际环境中的复杂情况，提出一种基于Haar-Adaboost和滑动颜色直方图匹配的驾驶员区域的精准定位，以及基于该区域的延伸区域的烟雾平均质心运动的出租车驾驶员吸烟行为的检测方法，在保证实时性的前提下，实现对出租车驾驶员吸烟行为的高效检测，整体流程如图2所示。
本发明采用的技术方案为基于多算法融合的出租车驾驶员吸烟行为的自动检测方法，该方法的实现过程如下：
Step1：首先基于数据样本集建立用于前挡风玻璃区域检测的标准数据集，所采用的数据样本集为交通监控摄像头采集的出租车图片，数据样本集中包含不同时间段和不同角度的出租车图片样本，其中正样本2719张，负样本7238张，部分样本如图3所示。
Step2：考虑到实际应用中速度的重要性，本方法利用实时性优异的Haar特征和Adaboost算法进行特征提取和训练，并加载检测数据和训练完成的分类器，实现对前挡风玻璃区域的初步检测。
Step3：加载训练好的分类器进行检测的结果，如图4所示；已具备前挡风玻璃区域的识别能力，但仍然存在少数误检区域。在前挡风玻璃区域的初步检测的基础上进行前挡风玻璃区域的二次检测，首先将获取的前挡风玻璃区域提取包含车顶灯的感兴趣区域，其次将该感兴趣区域分割成等高三等份，然后利用三等份分别进行滑动颜色直方图匹配，最后将不符合规律的前挡风玻璃区域删除，达到减少检测误检率的目的。
Step4：接着基于二次检测后的前挡风玻璃区域划定右延伸区域，此区域作为吸烟烟雾检测的关键区域，因为烟雾会从驾驶员这一侧的车窗飘出。然后利用运动前景检测和烟雾在HSV颜色空间的颜色特征，提取疑似烟雾区域。
Step5：最后利用疑似烟雾区域的平均质心运动距离和烟雾面积的扩散以及每帧运动距离和面积扩散的范围限定来降低误检，从而判定吸烟烟雾的存在，即判定存在吸烟行为。
本发明方法具有以下技术效果：
1、实现一种用前挡风玻璃区域的检测方法代替传统车辆的检测方法，提高出租车在复杂交通车流中的检出率。
2、实现一种滑动颜色直方图匹配的方法去匹配车顶灯区域，达到降低检测前挡风玻璃区域的误检率的目的。
3、基于实际交通场景的背景复杂性，提出用前挡风玻璃的延伸区域用作检测的关键区域，提高了检测吸烟行为所需的烟雾和手势信息的获取率。
4、提出一种吸烟烟雾平均质心运动和烟雾面积和运动限定步长的方法，提高吸烟烟雾的检测准确率。
附图说明
图1是实际环境中复杂车流的情况。
图2是出租车驾驶员吸烟行为检测的整体流程图。
图3是部分训练样本集。
图4是前挡风玻璃区域的初步检测结果。
图5是部分Haar特征模板。
图6是包含车顶灯的感兴趣区域划定。
图7是滑动颜色直方图匹配的过程和结果。
图8是前挡风玻璃区域的二次检测结果。
图9吸烟烟雾提取区域划定。
具体实施方式
本方法首先利用图5所示的Haar特征模板对前挡风玻璃区域样本集进行特征提取，在得到样本集的Haar特征描述后，利用Adaboost算法对特征进行学习和级联。具体过程如下：在待检测前挡风玻璃区域的图像上利用多尺度矩形窗口进行扫描，利用级联分类器对扫描的每个矩形窗口进行判断。如果图像中某矩形窗口通过了所有级联的分类器，说明该区域为前挡风玻璃区域；否则，说明该区域不是前挡风玻璃区域。
在获取前挡风玻璃区域后，设定其左上角坐标为P0(x0，y0)、宽度为W、高度为H。因此，需要分割包含车顶灯的感兴趣区域为分别以P0和P1(x1，y1) 为左上、右下顶点的矩形区域，其中x1＝x0+W，y1＝y0+H/7，如图6所示。然后利用提取的感兴趣区域进行滑动颜色直方图匹配，如图7(左)所示，将获取的感兴趣区域分成等高三等份，分别将每份与标准模板进行颜色直方图匹配，匹配相似度的计算采用的参数为巴氏距离，匹配的结果如图7(右)所示，因此，总结判定存在车顶灯的标准如公式(1)所示。
Figure RE-GDA0001828382910000031
DBi为第i等份与标准模板之间的巴氏距离，i＝1,2,3。P(x)＝1为判定为包含车顶灯，P(x)＝0为判定为不包含车顶灯。通过滑动颜色直方图匹配的二次检测后，前挡风玻璃区域的筛选结果如图8所示。
然后利用筛选后的前挡风玻璃区域设置检测烟雾的延伸区域，具体设置为分别以P1和P2(x2，y2)为左上、右下的矩形区域，其中x2＝x1+0.5W，y2＝y1+6H/ 7，如图9所示。接着对该延伸区域进行基于Vibe的运动目标检测，将提取到的运动目标前景转换到HSV颜色空间，利用烟雾在HSV颜色空间存在S通道像素值归一化后小于0.25的特性进行疑似烟雾区域的筛选，然后对疑似烟雾前景进行矩形外包，因为烟雾在扩散过程中可能会分块扩散，因此，本方法采用计算每个分块的平均质心作为该帧的烟雾质心参与到烟雾质心的运动距离计算中。同时在检测过程难免会有干扰区域，其造成个结果为在计算烟雾质心运动距离时会插入几个高峰值，因此，本方法限定了每帧烟雾运动的距离不能超过10个像素点。
为验证本方法的可行性，用本方法读取实际交通监控视频，其中，测试视频为20个，视频中存在吸烟行为的出租车驾驶员20名，不存在吸烟行为的出租车驾驶员224名，检测结果如下表所示。
表1：算法测试结果
Figure RE-GDA0001828382910000041
其中TP为正确检测存在吸烟行为的司机个数，FP为错误检测存在吸烟行为的司机个数，TN为正确检测不存在吸烟行为的司机个数，FN为错误检测不存在吸烟行为的司机个数，TDR、FDR为方法的检测准确率和误检率，其定义分别为公式(2)和公式(3)。
TDR＝TP/(TP+FN)(2)
FDR＝(FP+FN)/(TP+FP+TN+FN)(3)
通过实验结果可得，本方法能够识别大部分存在吸烟行为的出租车司机，具备很强的实用性，能够缓解交通执法压力。

Claims (1)

1.基于多算法融合的出租车驾驶员吸烟行为的自动检测方法，其特征在于：该方法的实现过程如下，
Step1：首先基于数据样本集建立用于前挡风玻璃区域检测的标准数据集，所采用的数据样本集为交通监控摄像头采集的出租车图片，数据样本集中包含不同时间段和不同角度的出租车图片样本；
Step2：利用实时性优异的Haar特征和Adaboost算法进行特征提取和训练，并加载检测数据和训练完成的分类器，实现对前挡风玻璃区域的初步检测；
Step3：加载训练好的分类器进行检测的结果，已具备前挡风玻璃区域的识别能力，但仍然存在少数误检区域；在前挡风玻璃区域的初步检测的基础上进行前挡风玻璃区域的二次检测，首先将获取的前挡风玻璃区域提取包含车顶灯的感兴趣区域，其次将该感兴趣区域分割成等高三等份，然后利用三等份分别进行滑动颜色直方图匹配，最后将不符合规律的前挡风玻璃区域删除，达到减少检测误检率的目的；
Step4：接着基于二次检测后的前挡风玻璃区域划定右延伸区域，此区域作为吸烟烟雾检测的关键区域，因为烟雾会从驾驶员这一侧的车窗飘出；然后利用运动前景检测和烟雾在HSV颜色空间的颜色特征，提取疑似烟雾区域；
Step5：最后利用疑似烟雾区域的平均质心运动距离和烟雾面积的扩散以及每帧运动距离和面积扩散的范围限定来降低误检，从而判定吸烟烟雾的存在，即判定存在吸烟行为；
本方法首先利用Haar特征模板对前挡风玻璃区域样本集进行特征提取，在得到样本集的Haar特征描述后，利用Adaboost算法对特征进行学习和级联；具体过程如下：在待检测前挡风玻璃区域的图像上利用多尺度矩形窗口进行扫描，利用级联分类器对扫描的每个矩形窗口进行判断；如果图像中某矩形窗口通过了所有级联的分类器，说明该区域为前挡风玻璃区域；否则，说明该区域不是前挡风玻璃区域；
在获取前挡风玻璃区域后，设定其左上角坐标为P0(x0，y0)、宽度为W、高度为H；因此，需要分割包含车顶灯的感兴趣区域为分别以P0和P1(x1，y1)为左上、右下顶点的矩形区域，其中x1＝x0+W，y1＝y0+H/7；然后利用提取的感兴趣区域进行滑动颜色直方图匹配，将获取的感兴趣区域分成等高三等份，分别将每份与标准模板进行颜色直方图匹配，匹配相似度的计算采用的参数为巴氏距离，因此，总结判定存在车顶灯的标准如公式(1)所示；
Figure FDA0002881645610000021
DBi为第i等份与标准模板之间的巴氏距离，i＝1,2,3；P(x)＝1为判定为包含车顶灯，P(x)＝0为判定为不包含车顶灯；通过滑动颜色直方图匹配的二次检测后，得到前挡风玻璃区域的筛选结果；
然后利用筛选后的前挡风玻璃区域设置检测烟雾的延伸区域，具体设置为分别以P1和P2(x2，y2)为左上、右下的矩形区域，其中x2＝x1+0.5W，y2＝y1+6H/7；接着对该延伸区域进行基于Vibe的运动目标检测，将提取到的运动目标前景转换到HSV颜色空间，利用烟雾在HSV颜色空间存在S通道像素值归一化后小于0.25的特性进行疑似烟雾区域的筛选，然后对疑似烟雾前景进行矩形外包，因为烟雾在扩散过程中可能会分块扩散，因此，本方法采用计算每个分块的平均质心作为该帧的烟雾质心参与到烟雾质心的运动距离计算中；同时在检测过程难免会有干扰区域，其造成个结果为在计算烟雾质心运动距离时会插入几个高峰值，因此，本方法限定每帧烟雾运动的距离不能超过10个像素点。
CN201810705187.3A 2018-07-01 2018-07-01 基于多算法融合的出租车驾驶员吸烟行为的自动检测方法 Active CN108985197B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810705187.3A CN108985197B (zh) 2018-07-01 2018-07-01 基于多算法融合的出租车驾驶员吸烟行为的自动检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810705187.3A CN108985197B (zh) 2018-07-01 2018-07-01 基于多算法融合的出租车驾驶员吸烟行为的自动检测方法

Publications (2)

Publication Number Publication Date
CN108985197A CN108985197A (zh) 2018-12-11
CN108985197B true CN108985197B (zh) 2021-07-30

Family

ID=64539200

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810705187.3A Active CN108985197B (zh) 2018-07-01 2018-07-01 基于多算法融合的出租车驾驶员吸烟行为的自动检测方法

Country Status (1)

Country Link
CN (1) CN108985197B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110399766A (zh) * 2019-01-28 2019-11-01 浙江浩腾电子科技股份有限公司 基于深度学习的抽烟检测分析系统
CN112735078B (zh) * 2020-12-24 2021-10-26 中标慧安信息技术股份有限公司 物联网的智能家居管理方法和系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1790541A2 (en) * 2005-11-23 2007-05-30 MobilEye Technologies, Ltd. Systems and methods for detecting obstructions in a camera field of view
CN203460775U (zh) * 2013-08-22 2014-03-05 江苏富新电子照明科技有限公司 一种汽车室内组合顶灯结构
CN104050480A (zh) * 2014-05-21 2014-09-17 燕山大学 基于计算机视觉的吸烟烟雾检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1790541A2 (en) * 2005-11-23 2007-05-30 MobilEye Technologies, Ltd. Systems and methods for detecting obstructions in a camera field of view
CN203460775U (zh) * 2013-08-22 2014-03-05 江苏富新电子照明科技有限公司 一种汽车室内组合顶灯结构
CN104050480A (zh) * 2014-05-21 2014-09-17 燕山大学 基于计算机视觉的吸烟烟雾检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Taxi Drivers" Smoking Behavior Detection in Traffic Monitoring Video;Siwei Chen等;《2019 Asia-Pacific Signal and Information Processing Association Annual Summit and Conference (APSIPA ASC)》;20200305;第968-937页 *
基于视频监控的室内香烟烟雾检测算法研究;艾博;《中国优秀硕士学位论文全文数据库 信息科技辑》;20170215(第02期);第I138-3886页 *

Also Published As

Publication number Publication date
CN108985197A (zh) 2018-12-11

Similar Documents

Publication Publication Date Title
CN105046196B (zh) 基于级联卷积神经网络的前车车辆信息结构化输出方法
TWI497422B (zh) 車牌影像辨識系統及方法
CN103279756B (zh) 基于集成分类器的车辆检测分析系统及其检测分析方法
CN104616021B (zh) 交通标志图像处理方法及装置
CN103824081B (zh) 一种室外恶劣光照条件下的快速鲁棒交通标志检测方法
Saha et al. License Plate localization from vehicle images: An edge based multi-stage approach
CN103824091B (zh) 一种用于智能交通系统的车牌识别方法
CN111161543A (zh) 一种基于图像识别的公交前车违章行为自动抓拍方法及系统
CN105512660A (zh) 车牌号码识别方法及装置
KR101246120B1 (ko) 전후면 번호판 영상 기반 차량번호 인식 시스템
CN111553214B (zh) 一种驾驶员吸烟行为检测方法及系统
CN111435446A (zh) 一种基于LeNet车牌识别方法及装置
CN112651293B (zh) 一种公路违法设摊事件视频检测方法
CN108985197B (zh) 基于多算法融合的出租车驾驶员吸烟行为的自动检测方法
CN111429376A (zh) 高低精度融合的高效数字图像处理方法
Sulehria et al. Mathematical morphology methodology for extraction of vehicle number plates
CN111444911A (zh) 车牌识别模型的训练方法及装置、车牌识别方法及装置
CN110782409A (zh) 一种去除多运动物体阴影的方法
Lu et al. Traffic light recognition
CN111178359A (zh) 车牌号码识别方法、装置和设备及计算机存储介质
CN109800693B (zh) 一种基于颜色通道混合特征的夜间车辆检测方法
Chen et al. Real-time vehicle color identification using symmetrical SURFs and chromatic strength
CN110796099A (zh) 一种车辆超限检测方法及装置
Lashkov et al. Edge-computing-facilitated nighttime vehicle detection investigations with CLAHE-enhanced images
CN115661757A (zh) 一种受电弓拉弧自动检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Jia Kebin

Inventor after: Huang Xunping

Inventor after: Liu Pengyu

Inventor after: Wang Zuyun

Inventor after: Liao Huimin

Inventor after: Zhang Ridong

Inventor after: Chen Siwei

Inventor before: Jia Kebin

Inventor before: Huang Xunping

Inventor before: Liu Pengyu

Inventor before: Zhang Ridong

Inventor before: Chen Siwei

GR01 Patent grant
GR01 Patent grant