CN105488453A - 一种基于图像处理的驾驶员未系安全带检测识别方法 - Google Patents

一种基于图像处理的驾驶员未系安全带检测识别方法 Download PDF

Info

Publication number
CN105488453A
CN105488453A CN201510744951.4A CN201510744951A CN105488453A CN 105488453 A CN105488453 A CN 105488453A CN 201510744951 A CN201510744951 A CN 201510744951A CN 105488453 A CN105488453 A CN 105488453A
Authority
CN
China
Prior art keywords
driver
image
detection
safety belt
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510744951.4A
Other languages
English (en)
Other versions
CN105488453B (zh
Inventor
曾凡涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Quanshiying Technology Co Ltd
Original Assignee
Hangzhou Quanshiying Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Quanshiying Technology Co Ltd filed Critical Hangzhou Quanshiying Technology Co Ltd
Priority to CN201510744951.4A priority Critical patent/CN105488453B/zh
Publication of CN105488453A publication Critical patent/CN105488453A/zh
Application granted granted Critical
Publication of CN105488453B publication Critical patent/CN105488453B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/24Aligning, centring, orientation detection or correction of the image
    • G06V10/245Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning

Abstract

本发明公开了一种基于图像处理的驾驶员未系安全带检测识别的方法,该方法通过车牌定位模块初步确定机动车辆在图片中的位置,依据车牌位置预估驾驶员的大致区域,在此图像区域中利用驾驶员检测模块精确定位驾驶员的位置,然后结合图像清晰度分析模块算法过滤掉驾驶员区域不清晰的图片,针对驾驶员区域清晰的图片采用深度卷积网络算法分析驾驶员是否系安全带,自动完成驾驶员未系安全带的检测识别。

Description

一种基于图像处理的驾驶员未系安全带检测识别方法
技术领域
[0001]本发明涉及图像模式识别及智能交通领域,具体是关于智能交通系统中采用图像处理技术自动检测驾驶员未系安全带的一种方法,特别针对通过高清监控摄像机抓拍的卡口图片。
背景技术
[0002]随着人工智能技术的飞速发展,运用图像处理及电子信息技术实现安全、高效的管理的成为智能交通的一个主要发展方向。据有关部门从大量的交事故数据中统计得出,排除其他人员的伤亡数据,单就驾驶员伤亡这一数字来看,不系安全带是造成死亡事故的第三大原因,仅次于超速行驶和酒后驾驶。汽车事故调查表明,在发生正面撞车时,如果系了安全带,可使死亡率减少57%,侧面撞车时可减少44%,翻车时可减少80%。因此如何有效的监管驾驶员是否系安全带并促使驾驶员有意识的养成安全文明驾车的习惯,从而最终达到减少交通事故中的人员伤亡是一个有意义的课题。
[0003]近些年来,基于图像处理技术的智能交通系统目前已经取得了非常广泛的应用,但通过高清监控摄像机采集的卡口图像数据来分析驾驶员是否系了安全带仍然面临着诸多困难,没有非常成熟的算法。如何通过图像识别的高端技术手段,辅助交警通过强制执法处罚不系安全带的驾驶行为,来提高驾驶员自觉系安全带的意识是一个全新的研究方向。本发明就是致力于采用图像处理的技术手段来解决这一难题。
发明内容
[0004]本发明针对高清监控摄像机拍摄的卡口图片,提出了一种自动检测识别驾驶员未系安全带的方法,该方法主要由四个部分构成:
[0005] S1:车牌定位模块,所述车牌定位是指通过对原始图像数据进行分析,自动输出图片中机动车辆的车牌属性,包括车牌位置和车牌颜色,初步确认图片中车辆的位置信息。然后根据车牌位置,以车牌为基准向上拓展3至5个车牌的宽度,向右拓展2至5个车牌的宽度即可得到驾驶员的候选区域。
[0006] S2:驾驶员检测模块,驾驶员检测模块主要完成驾驶员上半身区域的精确定位。本发明提出了一种全新的通过分析驾驶员头肩特征并结合AdaBo ο s t算法的驾驶员上半身定位方法。为了适应各种复杂的环境,本发明收集了 10万张驾驶员头肩区域样本图片,30万张非驾驶员头肩区域的车窗区域负样本,采用AdaBoost算法构建了一个非常稳定的驾驶员头肩区域检测器。AdaBoost是一种迭代寻优的算法,针对训练样本集反复训练出多个简单的分类器,最后再将这些分类器组合起来形成一个分类能力更强的分类器。
[0007] S3:图像清晰度分析模块,在S2的基础上,检测到驾驶员区域后,进一步对该区域的图像清晰程度进行分析。具体为本发明提出了采用sobel边缘梯度特征并结合支撑向量机的图像清晰度分析方法,人工将预先准备的所有驾驶员区域图像样本集分为清晰和不清晰的两部分,分别提取每一个样本的sobel边缘梯度特征,得到清晰和不清晰的两类图像的边缘梯度表述,再结合线性支撑向量机训练出一个稳定性极高的清晰/不清晰的判别模型。利用该模型,即可评判其他驾驶员区域图像是否清晰。不清晰的图像将直接被视为驾驶员已经系了安全带而不做进一步分析。
[0008] S4:安全带检测模块,本发明提出了一种全新的基于深度卷积网络的安全带检测算法,该网络使用了 10万张清晰的驾驶员头肩区域样本训练而成,其中5万张系安全带的正样本和5万张没系安全带的负样本,实践证明基于深度卷积网络的安全带检测具有非常高的检测识别精度。本发明的优选网络结构由1个输入层,4个卷积层,3个下采样层,2个全连接层和1个输出层构成。
附图说明
:
[0009]下面结合附图的详细说明将更为清晰的解释本发明的特征、目的和优势,其中:
[0010]图1是表示本发明的整体流程框架示意图。
具体实施方式
[0011 ]现在,将参照附图描述本发明的优选实施例。
[0012]图1表示本发明的整体流程示意图。
[0013]如图1所示,本发明由车牌定位模块S1、驾驶员检测模块S2、图像清晰度分析模块S3、安全带检测模块S4这个四个部分构成。
[0014] S1:车牌定位模块,通过对原始图像数据进行分析,自动输出图片中机动车辆的车牌属性,根据车牌可初步确认图片中车辆的位置。
[0015]车牌定位的作用主要是可以根据车牌位置粗略估计驾驶员所在的位置,本实施例中采用的具体方法是以车牌位置为基准,向上拓展3至5个车牌的宽度,向右拓展2至5个车牌的宽度。
[0016] S2:驾驶员检测模块,车窗内环境较为复杂,再加上车窗的反光等干扰,难以通过检测驾驶员的人脸特征来实现驾驶员位置的准确定位。本发明提出了一种分析驾驶员头肩特征并结合AdaBoos t算法的驾驶员上半身定位方法。
[0017]采用AdaBoost检测驾驶员的基本原理是:
[0018] S21、离线构建驾驶员检测的分类模型,具体分为如下两步:
[0019] 1)准备驾驶员头肩部分的正样本图片集合和非驾驶员头肩部分的负样本图片集合。为了能够适应各种复杂的环境,提高驾驶员检测算法的鲁棒性,本发明收集了不同环境下的驾驶员头肩区域正样本100000张,所有驾驶员图片的宽高均归一化为30x18。非驾驶员的负样本图片的收集,本发明并非是采用随意抓取的一些图片,而是将车头图像经过特殊处理(抹掉驾驶员及副驾驶区域)而得到的,为了提升负样本集合的多样性,本发明累从各种不同的卡口图片中收集的负样本图片达30万张。
[0020] 2)使用100000张驾驶员头肩正样本再结合经典的AdaBoost方法,通过几天的训练可得到判断一个图像区域是否为驾驶员头肩区域的分类器。
[0021] S22、在线的驾驶员头肩区域检测
[0022]在依据车牌位置估计得到的车窗候选区域中中,遍历所有位置尺度为30x18的子窗口图像,分别采用S21中训练的模型进行判断,得出该子窗口区域是否为驾驶员头肩部分的结论。由于摄像机安装位置的原因,图像中车辆的大小存在一定差异,本发明为了能够检测到不用尺度的驾驶员,需要对车窗候选区域按照一定的比例进行缩放,再然后重复上述遍历的步骤,在缩小后的图像中检测到的驾驶员位置需还原到相对于原始图像的位置。最终对所有判断为驾驶员头肩区域的的位置坐标取平均即可得到当前车辆中驾驶员的精确坐标。
[0023]由于室外条件比较复杂,部分图像可能由于车窗反光等因素导致不能检测到驾驶员的头肩区域,针对这一类图像本发明直接视为驾驶员已经系了安全带,不做进一步的分析处理。
[0024] S3:图像清晰度分析模块
[0025]检测到驾驶员区域后,需进一步对该区域的图像清晰程度进行分析,不清晰的图像由于在处罚时存在诸多争议,因此本发明直接视为驾驶员已经系了安全带不做进一步的识别处理。所述图像清晰度分析的方法是:
[0026] S31、人工将预先准备的所有驾驶员区域图像样本集分为清晰和不清晰的两部分,分别提取每一个样本的sobel边缘梯度特征,这样可以得到清晰和不清晰的两类图像的边缘梯度表述,这两类特征集合结合线性支撑向量机训练出一个稳定性极高的清晰/不清晰的判别模型。
[0027] S32、提取S2中检测到的驾驶员区域图像的sobel边缘梯度特征,输入S31得到的判别模型,输出驾驶员区域图像是否清晰的结论。不清晰的图像将直接被视为驾驶员已经系了安全带而不做进一步分析。
[0028] S4:安全带检测模块
[0029]安全带检测详细步骤如下:
[0030] S41、构建深度卷积网络
[0031]准备样本库。将所有清晰的驾驶员区域样本宽高统一缩放到60x 34,样本分为系安全带和未系安全带两个部分,本发明为两部分样本分别准备了 5万张。
[0032]设计深度卷积网络。深度卷积网络是一种非常灵活的神经网络结构,结构可以有多种变化形式,本实施例的优选网络结构由1个输入层,4个卷积层,3个下采样层,2个全连接层和1个输出层构成。然后采用经典的反向传输神经网络算法训练网络参数,待网络收敛后保存所有网络参数。
[0033] S42、使用深度卷积网络检测是否系安全带
[0034]将清晰的驾驶员头肩区域图像输入到S41中构建的深度卷积网络中,卷积网络自动输出驾驶员是否系安全带。
[0035]本发明提出的基于驾驶员头肩区域检测和结合深度卷积网络的安全带检测算法在实际应用中取得了非常高的识别准确率。
[0036]尽管出于说明性目的已经公开本发明的优选实施例,但是本领域的普通技术人员将懂得各种变更,增加或是替代都是可能的,并不脱离如附带的权利要求书中所公开的本发明的精神和范围。

Claims (5)

1.一种基于图像处理的驾驶员未系安全带检测识别方法,其特征在于,包括以下步骤: S1:车牌定位模块。所述车牌定位是指通过对原始图像数据进行分析,自动输出图片中机动车辆的车牌属性,包括车牌位置和车牌颜色,初步确认图片中车辆的位置信息。然后根据车牌位置粗略估计出驾驶员的候选区域。 S2:驾驶员检测模块,本发明提出了一种全新的通过分析驾驶员头肩特征并结合AdaBoost算法的驾驶员上半身定位方法。本发明为了适应各种复杂的环境收集了 10万张驾驶员头肩区域样本图片,30万张非驾驶员头肩区域的车窗区域负样本,构建了一个非常稳定的驾驶员头肩区域检测器。 S3:图像清晰度分析模块,在S2的基础上,检测到驾驶员区域后,进一步对该区域的图像清晰程度进行分析。具体为本发明提出了采用sobel边缘梯度特征并结合支撑向量机的图像清晰度分析方法,人工将预先准备的所有驾驶员区域图像样本集分为清晰和不清晰的两部分,分别提取每一个样本的sobel边缘梯度特征,得到清晰和不清晰的两类图像的边缘梯度表述,再结合线性支撑向量机训练出一个稳定性极高的清晰/不清晰的判别模型。利用该模型,即可评判其他驾驶员区域图像是否清晰。不清晰的图像将直接被视为驾驶员已经系了安全带而不做进一步分析。 S4:安全带检测模块,本发明提出了一种全新的基于深度卷积网络的安全带检测算法,该网络使用了 10万张清晰的驾驶员头肩区域样本训练而成,其中5万张系安全带的正样本和5万张没系安全带的负样本,实践证明基于深度卷积网络的安全带检测具有非常高的检测识别精度。其中S4中设计的深度卷积网络由1个输入层,4个卷积层,3个下采样层,2个全连接层和1个输出层构成。
2.根据权利要求1所述的驾驶员未系安全带检测识别方法,其特征在于,可通过车牌位置粗略估计驾驶员的位置图像区域。
3.根据权利要求1所述的驾驶员未系安全带检测识别方法,其特征在于,提出了一种通过分析驾驶员头肩特征并结合AdaBoost算法的驾驶员上半身检测定位方法,通过该方法可精确定位驾驶员区域。
4.根据权利要求1所述的驾驶员未系安全带检测识别方法,其特征在于,提出了采用sobel边缘梯度特征并结合支撑向量机的驾驶员区域图像清晰度分析方法,自动筛选出驾驶员区域清晰的图片。
5.根据权利要求1所述的驾驶员未系安全带检测识别方法,其特征在于,提出了一种基于深度卷积网络的安全带检测算法,设计的深度卷积网络由1个输入层,4个卷积层,3个下采样层,2个全连接层和1个输出层构成。实践证明基于深度卷积网络的安全带检测具有非常尚的检测识别精度。
CN201510744951.4A 2015-11-30 2015-11-30 一种基于图像处理的驾驶员未系安全带检测识别方法 Active CN105488453B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510744951.4A CN105488453B (zh) 2015-11-30 2015-11-30 一种基于图像处理的驾驶员未系安全带检测识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510744951.4A CN105488453B (zh) 2015-11-30 2015-11-30 一种基于图像处理的驾驶员未系安全带检测识别方法

Publications (2)

Publication Number Publication Date
CN105488453A true CN105488453A (zh) 2016-04-13
CN105488453B CN105488453B (zh) 2019-03-26

Family

ID=55675425

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510744951.4A Active CN105488453B (zh) 2015-11-30 2015-11-30 一种基于图像处理的驾驶员未系安全带检测识别方法

Country Status (1)

Country Link
CN (1) CN105488453B (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106295601A (zh) * 2016-08-18 2017-01-04 合肥工业大学 一种改进的安全带检测方法
CN106503673A (zh) * 2016-11-03 2017-03-15 北京文安智能技术股份有限公司 一种交通驾驶行为的识别方法、装置及一种视频采集装置
CN106530730A (zh) * 2016-11-02 2017-03-22 重庆中科云丛科技有限公司 交通违规检测方法及系统
CN106682602A (zh) * 2016-12-16 2017-05-17 深圳市华尊科技股份有限公司 一种驾驶员行为识别方法及终端
CN106845393A (zh) * 2017-01-19 2017-06-13 博康智能信息技术有限公司北京海淀分公司 安全带识别模型构建方法及装置
CN106874855A (zh) * 2017-01-19 2017-06-20 博康智能信息技术有限公司北京海淀分公司 头肩区域定位方法及装置
CN106886756A (zh) * 2017-01-19 2017-06-23 博康智能信息技术有限公司北京海淀分公司 未系安全带行为检测方法及装置
CN108399357A (zh) * 2017-02-08 2018-08-14 浙江宇视科技有限公司 一种人脸定位方法及装置
CN109086716A (zh) * 2018-08-01 2018-12-25 北京嘀嘀无限科技发展有限公司 一种安全带佩戴检测的方法及装置
CN110070113A (zh) * 2019-03-29 2019-07-30 广州思德医疗科技有限公司 一种训练集的训练方法及装置
WO2019223655A1 (zh) * 2018-05-22 2019-11-28 杭州海康威视数字技术股份有限公司 非机动车载人的检测
US10501048B2 (en) 2018-01-19 2019-12-10 Ford Global Technologies, Llc Seatbelt buckling detection
CN110738080A (zh) * 2018-07-19 2020-01-31 杭州海康威视数字技术股份有限公司 一种识别改装机动车的方法、装置和电子设备
CN110795969A (zh) * 2018-08-02 2020-02-14 上海汽车集团股份有限公司 安全带佩戴识别方法、装置及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101196989A (zh) * 2007-10-11 2008-06-11 北京海鑫科金高科技股份有限公司 网络嵌入式多路车牌检测系统及车牌检测方法
US8108134B2 (en) * 2008-11-28 2012-01-31 Toyota Jidosha Kabushiki Kaisha On-board apparatus and method used by said apparatus
CN102750544A (zh) * 2012-06-01 2012-10-24 浙江捷尚视觉科技有限公司 基于车牌识别的未扣紧安全带违章驾驶检测系统及方法
CN104281858A (zh) * 2014-09-15 2015-01-14 中安消技术有限公司 三维卷积神经网络训练方法、视频异常事件检测方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101196989A (zh) * 2007-10-11 2008-06-11 北京海鑫科金高科技股份有限公司 网络嵌入式多路车牌检测系统及车牌检测方法
US8108134B2 (en) * 2008-11-28 2012-01-31 Toyota Jidosha Kabushiki Kaisha On-board apparatus and method used by said apparatus
CN102750544A (zh) * 2012-06-01 2012-10-24 浙江捷尚视觉科技有限公司 基于车牌识别的未扣紧安全带违章驾驶检测系统及方法
CN104281858A (zh) * 2014-09-15 2015-01-14 中安消技术有限公司 三维卷积神经网络训练方法、视频异常事件检测方法及装置

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106295601A (zh) * 2016-08-18 2017-01-04 合肥工业大学 一种改进的安全带检测方法
CN106530730A (zh) * 2016-11-02 2017-03-22 重庆中科云丛科技有限公司 交通违规检测方法及系统
CN106503673A (zh) * 2016-11-03 2017-03-15 北京文安智能技术股份有限公司 一种交通驾驶行为的识别方法、装置及一种视频采集装置
CN106682602B (zh) * 2016-12-16 2020-01-21 深圳市华尊科技股份有限公司 一种驾驶员行为识别方法及终端
CN106682602A (zh) * 2016-12-16 2017-05-17 深圳市华尊科技股份有限公司 一种驾驶员行为识别方法及终端
CN106845393A (zh) * 2017-01-19 2017-06-13 博康智能信息技术有限公司北京海淀分公司 安全带识别模型构建方法及装置
CN106886756A (zh) * 2017-01-19 2017-06-23 博康智能信息技术有限公司北京海淀分公司 未系安全带行为检测方法及装置
CN106874855A (zh) * 2017-01-19 2017-06-20 博康智能信息技术有限公司北京海淀分公司 头肩区域定位方法及装置
CN108399357A (zh) * 2017-02-08 2018-08-14 浙江宇视科技有限公司 一种人脸定位方法及装置
CN108399357B (zh) * 2017-02-08 2020-12-29 浙江宇视科技有限公司 一种人脸定位方法及装置
US10501048B2 (en) 2018-01-19 2019-12-10 Ford Global Technologies, Llc Seatbelt buckling detection
WO2019223655A1 (zh) * 2018-05-22 2019-11-28 杭州海康威视数字技术股份有限公司 非机动车载人的检测
CN110738080A (zh) * 2018-07-19 2020-01-31 杭州海康威视数字技术股份有限公司 一种识别改装机动车的方法、装置和电子设备
CN109086716A (zh) * 2018-08-01 2018-12-25 北京嘀嘀无限科技发展有限公司 一种安全带佩戴检测的方法及装置
CN110795969A (zh) * 2018-08-02 2020-02-14 上海汽车集团股份有限公司 安全带佩戴识别方法、装置及电子设备
CN110070113A (zh) * 2019-03-29 2019-07-30 广州思德医疗科技有限公司 一种训练集的训练方法及装置
CN110070113B (zh) * 2019-03-29 2021-03-30 广州思德医疗科技有限公司 一种训练集的训练方法及装置

Also Published As

Publication number Publication date
CN105488453B (zh) 2019-03-26

Similar Documents

Publication Publication Date Title
CN105488453A (zh) 一种基于图像处理的驾驶员未系安全带检测识别方法
CN104778444B (zh) 道路场景下车辆图像的表观特征分析方法
CN109829403B (zh) 一种基于深度学习的车辆防碰撞预警方法及系统
CN104463241A (zh) 一种智能交通监控系统中的车辆类型识别方法
CN103279741B (zh) 一种基于车载红外图像的行人预警系统及其工作方法
US9633267B2 (en) Robust windshield detection via landmark localization
CN109190523B (zh) 一种基于视觉的车辆检测跟踪预警方法
CN103268468B (zh) 机动车前排就坐者是否扣带安全带的自动检测方法
CN104050447A (zh) 一种交通信号灯识别方法和装置
AU2013273715A1 (en) Method for automatically classifying moving vehicles
CN103593981B (zh) 一种基于视频的车型识别方法
CN105809184A (zh) 一种适用于加油站的车辆实时识别跟踪与车位占用判断的方法
DE102009050505A1 (de) Detektion eines freien Pfads durch Strassenmodellerstellung
CN103984950A (zh) 一种适应白天检测的运动车辆刹车灯状态识别方法
CN106845453A (zh) 基于图像的尾灯检测与识别方法
CN104966049A (zh) 基于图像的货车检测方法
CN103324958B (zh) 一种复杂背景下基于投影法和svm的车牌定位方法
CN109409337B (zh) 基于卷积神经网络的渣土车特征识别方法
CN106250816A (zh) 一种基于双摄像头的车道线识别方法及系统
CN103927548A (zh) 一种新的避免车辆碰撞的刹车行为检测方法
CN107609472A (zh) 一种基于车载双摄像头的无人驾驶汽车机器视觉系统
CN103390166B (zh) 基于车前脸特征的车辆型号一致性判别方法
CN103164958A (zh) 车辆监控方法及系统
CN104408431A (zh) 交通监控下的车款识别方法
CN106557754A (zh) 一种夜间车辆检测和状态判断方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant