CN102592143B - 一种驾驶员行车中手持电话违规行为检测方法 - Google Patents
一种驾驶员行车中手持电话违规行为检测方法 Download PDFInfo
- Publication number
- CN102592143B CN102592143B CN 201210004371 CN201210004371A CN102592143B CN 102592143 B CN102592143 B CN 102592143B CN 201210004371 CN201210004371 CN 201210004371 CN 201210004371 A CN201210004371 A CN 201210004371A CN 102592143 B CN102592143 B CN 102592143B
- Authority
- CN
- China
- Prior art keywords
- phone
- cell
- rectangle
- image
- recognition result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 62
- 238000001514 detection method Methods 0.000 claims abstract description 25
- 230000015572 biosynthetic process Effects 0.000 claims description 59
- 239000013598 vector Substances 0.000 claims description 24
- 230000008569 process Effects 0.000 claims description 18
- 238000010606 normalization Methods 0.000 claims description 12
- 238000003909 pattern recognition Methods 0.000 claims description 7
- 238000012360 testing method Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 4
- 230000006399 behavior Effects 0.000 abstract description 16
- 206010039203 Road traffic accident Diseases 0.000 abstract description 2
- 230000019771 cognition Effects 0.000 description 12
- 238000012549 training Methods 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 230000004069 differentiation Effects 0.000 description 4
- 238000005286 illumination Methods 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 208000019901 Anxiety disease Diseases 0.000 description 1
- 241001269238 Data Species 0.000 description 1
- VHCQVGQULWFQTM-VOTSOKGWSA-N Rubone Chemical compound COC1=CC(OC)=CC(O)=C1C(=O)\C=C\C1=CC(OC)=C(OC)C=C1OC VHCQVGQULWFQTM-VOTSOKGWSA-N 0.000 description 1
- VHCQVGQULWFQTM-UHFFFAOYSA-N Rubone Natural products COC1=CC(OC)=CC(O)=C1C(=O)C=CC1=CC(OC)=C(OC)C=C1OC VHCQVGQULWFQTM-UHFFFAOYSA-N 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000036506 anxiety Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000002386 leaching Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000008560 physiological behavior Effects 0.000 description 1
- 230000004962 physiological condition Effects 0.000 description 1
- 230000035484 reaction time Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 208000037974 severe injury Diseases 0.000 description 1
- 230000009528 severe injury Effects 0.000 description 1
- 230000001568 sexual effect Effects 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种驾驶员行车中手持电话违规行为检测方法,属于机器视觉技术领域。首先采集汽车驾驶员的头部图像,利用人脸检测算法从驾驶员头部图像中检测人脸,根据检测到的人脸定位出矩形人脸区域;由矩形人脸区域定位出矩形左、右耳部区域,分别从矩形左、右耳部区域中提取特征指标;将特征指标输入模式识别算法中,对头部图像中是否有手持电话进行识别,并将识别结果存储在手持电话结果队列中;然后对手持电话结果队列进行逻辑判别,并根据逻辑判别结果对驾驶员进行预警。本发明方法实时性好,识别精度高,能够对驾驶人左手和右手拨打接听电话行为进行检测和预警,有效减少因行车中拨打接听电话而造成的交通事故,从而提高驾驶安全性。
Description
技术领域
本发明涉及一种驾驶员行车中手持电话违规行为检测方法,更具体的说,本发明是一种利用图像处理和模式识别算法对驾驶员行车中手持电话的违规行为进行实时检测的方法,属于机器视觉技术领域。
背景技术
在驾驶过程中,对路况的选择和判断使得驾驶人注意力高度集中,若此时拨打接听手持电话,势必会分散一部分注意力,降低对行驶环境的感知能力,相应的就会减弱对路面情况的判断,反映速度降低,极易引发交通事故。正常驾驶时,驾驶人双手操纵方向盘,拨打接听手持电话时,使用一只手操纵方向盘,手动挡车换挡时,双手暂时离开方向盘,若此时发生危急情况,驾驶人来不及打方向盘,极易引发交通事故。在驾驶过程中,驾驶人拨打接听手持电话,通话的内容可能会影响到驾驶人的情绪,造成安全隐患。
哈佛大学风险分析中心2009年的研究报告指出,美国每年由于驾驶中使用手持电话直接或间接导致的交通事故占到了所有事故的6%,约63.6万起,累计34.2万人受伤、12000重伤、2600人死亡。英国一家交通研究所公布的测试结果显示,开车时使用手机,大脑的反应速度比酒后驾车时慢30%,开车打手机发生车祸的风险比正常驾驶时高4倍以上,有70%的致命事故是驾驶人注意力不集中造成的。因此对于驾驶过程中拨打接听手持电话行为,各国交通法作出了相应的规定。日本交法规定,驾驶普通机动车辆使用手机者,罚款6000日元;驾驶大型机动车辆使用手机者,罚款7000日元。新加坡交法规定,驾驶过程中使用电话,初犯者罚款1000新元,监禁6个月;再犯者最高罚款2000新元,监禁1年。《中华人民共和国道路交通安全法实施条例》第六十二条第三项规定:驾驶机动车不得有拨打接听手持电话、观看电视等妨碍安全驾驶的行为。
目前国内外对行车中手持电话的行为和危害研究较多。加拿大相关研究人员分析了驾驶人拨打手机时的反应时间、车辆横向位置、车头间距以及车速等指标的变化规律。瑞典及新西兰等相关研究人员及机构研究了驾驶人在不同交通环境下,拨打接听手持电话、免提通话以及不进行通话3种状态的驾驶行为表现。尽管国内外对于拨打接听手持电话对于驾驶行为的影响开展了大量的研究,但目前尚未发现对驾驶员行车中手持电话违规行为检测方法的研究和报导。
发明内容
本发明的目的是提出一种对驾驶员行车中手持电话违规行为的检测方法,对驾驶员在行车状态中的拨打接听手持电话行为进行检测和预警,减少驾驶人行车中拨打接听手持电话的行为,以防止因使用手机行为而造成的交通安全事故,提高行驶安全性。
本发明提出驾驶员行车中手持电话违规行为的检测方法,包括以下步骤:
(1)采集汽车驾驶员的头部图像,设定一个人脸区域队列,利用人脸检测算法从采集的每帧头部图像中检测人脸,对检测结果进行判断,若检测到人脸,则根据检测到的人脸定位出矩形人脸区域,用定位出的矩形人脸区域更新人脸区域队列,用定位出的矩形人脸区域作为矩形特征人脸区域;若检测不到人脸,则对人脸区域队列进行判断,若人脸区域队列空,则继续检测人脸,若人脸区域队列不空,则以人脸区域队列中的矩形人脸区域平均值作为矩形特征人脸区域;
(2)以上述矩形特征人脸区域的左上角为原点,根据矩形特征人脸区域的长和宽的比例移动原点,定位出矩形左侧耳部区域的左上顶点,并根据矩形特征人脸区域的长和宽定位出矩形左侧耳部区域的大小;根据矩形左侧耳部区域的左上顶点和大小,定位出矩形左侧耳部区域;将矩形左侧耳部区域按矩形特征人脸区域纵轴镜像,定位出矩形右侧耳部区域,对定位出的矩形耳部区域进行图像归一化处理,得到大小一致的矩形左侧耳部区域图像和矩形右侧耳部区域图像;
(3)分别将图像归一化处理后的矩形左侧耳部区域图像和矩形右侧耳部区域图像变换为灰度图像,并对变换后的灰度图像进行梯度处理,得到灰度图像各个像素的梯度分量,再通过极坐标化,得到灰度图像各个像素的梯度方向值,采用直方图投影的方式,将梯度方向均分为n份,得到n个角度区间,分别将矩形左侧耳部区域图像和矩形右侧耳部区域图像的梯度方向值投影到n个角度区间中去,分别得到与矩形左侧耳部区域图像和矩形右侧耳部区域图像相应的n个角度区间的频数,分别以n个角度区间的频数作为检测手持电话的左侧耳部区域特征向量和右侧耳部区域特征向量;
(4)根据上述左侧耳部区域特征向量和右侧耳部区域特征向量,利用模式识别算法,分别对左手手持电话和右手手持电话进行识别,得到当前帧头部图像的的识别结果,设定一个左侧手持电话识别结果队列和一个右侧手持电话识别结果队列,用当前帧头部图像的识别结果更新相应左侧手持电话识别结果队列或右侧手持电话识别结果队列,并对更新后的队列进行逻辑判别,根据判别结果发出预警信号,逻辑判别过程如下:
(4-1)对手持电话识别结果队列中从当前时刻开始的前t1秒内的数据进行判断,若在t1秒内大于a%的头部图像的识别结果为手持电话状态,则发出预警信号,若在t1秒内小于a%的头部图像的识别结果为手持电话状态,则重新开始判断,其中t1为设定的第一时间阈值,取值范围为3~5,a为设定的第一概率阈值,取值范围为65~85;
(4-2)对手持电话识别结果队列中从当前时刻开始的前t2秒内的数据进行判断,若在t2秒内大于b%的头部图像的识别结果是手持电话状态,则保持预警信号,若在t2秒内小于b%的头部图像的识别结果是手持电话状态,则进行步骤(4-3),其中t2为设定的第二时间阈值,取值范围为0.5~3,b为设定的第二概率阈值,取值范围为60~80;
(4-3)对手持电话识别结果队列中从当前时刻开始的前t3秒内的数据进行判断,若在t3秒内大于c%的头部图像的识别结果是手持电话状态,则返回步骤(4-2),若在t3秒内小于c%的头部图像的识别结果是手持电话状态,则进行步骤(4-4),其中t3为设定的第三时间阈值,取值范围为0.5~3,c为设定的第三概率阈值,取值范围为55~75;
(4-4)对手持电话识别结果队列中从当前时刻开始的前t4秒内的数据进行判断,若在t4秒内大于d%的头部图像的识别结果是手持电话状态,则返回步骤(4-2),若在t4秒内小于d%的头部图像的识别结果是手持电话状态,则中断预警信号;其中t4为设定的第四时间阈值,取值范围为1~4,d为设定的第四概率阈值,取值范围为55~75。
本发明提出的一种驾驶员行车中手持电话违规行为检测方法,其优点是,本发明方法是一种非接触式检测方法,不会对驾驶员的正常驾驶行为造成干扰;只需要在汽车仪表盘附近安装一个摄像头用于获取驾驶员头部图像,结构简单,容易实施;本发明方法经过大量实车数据测试,算法实时性好,识别精度高,能够对驾驶人左手和右手拨打接听电话行为进行检测和预警,有效减少因行车中拨打接听电话而造成的交通事故,从而提高驾驶安全性。
附图说明
图1是本发明方法的流程框图。
图2是本发明方法中人脸区域定位和耳部区域定位示意图。
图2中,1是矩形左侧耳部区域,2是矩形特征人脸区域纵轴,3是人脸,4是矩形特征人脸区域,5是矩形右侧耳部区域。
具体实施方式
本发明提出驾驶员行车中手持电话违规行为的检测方法,其流程框图如图1所示,包括以下步骤:
(1)采集汽车驾驶员的头部图像,设定一个人脸区域队列,利用人脸检测算法从采集的每帧头部图像中检测人脸,对检测结果进行判断,若检测到人脸,则根据检测到的人脸定位出矩形人脸区域,用定位出的矩形人脸区域更新人脸区域队列,用定位出的矩形人脸区域作为矩形特征人脸区域;若检测不到人脸,则对人脸区域队列进行判断,若人脸区域队列空,则继续检测人脸,若人脸区域队列不空,则以人脸区域队列中的矩形人脸区域平均值作为矩形特征人脸区域;
(2)以上述矩形特征人脸区域的左上角为原点,根据矩形特征人脸区域的长和宽的比例移动原点,定位出矩形左侧耳部区域的左上顶点,并根据矩形特征人脸区域的长和宽定位出矩形左侧耳部区域的大小;根据矩形左侧耳部区域的左上顶点和大小,定位出矩形左侧耳部区域;将矩形左侧耳部区域按矩形特征人脸区域纵轴镜像,定位出矩形右侧耳部区域,对定位出的矩形耳部区域进行图像归一化处理,得到大小一致的矩形左侧耳部区域图像和矩形右侧耳部区域图像;
(3)分别将图像归一化处理后的矩形左侧耳部区域图像和矩形右侧耳部区域图像变换为灰度图像,并对变换后的灰度图像进行梯度处理,得到灰度图像各个像素的梯度分量,再通过极坐标化,得到灰度图像各个像素的梯度方向值,采用直方图投影的方式,将梯度方向均分为n份,得到n个角度区间,分别将矩形左侧耳部区域图像和矩形右侧耳部区域图像的梯度方向值投影到n个角度区间中去,分别得到与矩形左侧耳部区域图像和矩形右侧耳部区域图像相应的n个角度区间的频数,分别以n个角度区间的频数作为检测手持电话的左侧耳部区域特征向量和右侧耳部区域特征向量;
(4)根据上述左侧耳部区域特征向量和右侧耳部区域特征向量,利用模式识别算法,分别对左手手持电话和右手手持电话进行识别,得到当前帧头部图像的的识别结果,设定一个左侧手持电话识别结果队列和一个右侧手持电话识别结果队列,用当前帧头部图像的识别结果更新相应左侧手持电话识别结果队列或右侧手持电话识别结果队列,并对更新后的队列进行逻辑判别,根据判别结果发出预警信号,逻辑判别过程如下:
(4-1)对手持电话识别结果队列中从当前时刻开始的前t1秒内的数据进行判断,若在t1秒内大于a%的头部图像的识别结果为手持电话状态,则发出预警信号,若在t1秒内小于a%的头部图像的识别结果为手持电话状态,则重新开始判断,其中t1为设定的第一时间阈值,取值范围为3~5,a为设定的第一概率阈值,取值范围为65~85;
(4-2)对手持电话识别结果队列中从当前时刻开始的前t2秒内的数据进行判断,若在t2秒内大于b%的头部图像的识别结果是手持电话状态,则保持预警信号,若在t2秒内小于b%的头部图像的识别结果是手持电话状态,则进行步骤(4-3),其中t2为设定的第二时间阈值,取值范围为0.5~3,b为设定的第二概率阈值,取值范围为60~80;
(4-3)对手持电话识别结果队列中从当前时刻开始的前t3秒内的数据进行判断,若在t3秒内大于c%的头部图像的识别结果是手持电话状态,则返回步骤(4-2),若在t3秒内小于c%的头部图像的识别结果是手持电话状态,则进行步骤(4-4),其中t3为设定的第三时间阈值,取值范围为0.5~3,c为设定的第三概率阈值,取值范围为55~75;(4-4)对手持电话识别结果队列中从当前时刻开始的前t4秒内的数据进行判断,若在t4秒内大于d%的头部图像的识别结果是手持电话状态,则返回步骤(4-2),若在t4秒内小于d%的头部图像的识别结果是手持电话状态,则中断预警信号;其中t4为设定的第四时间阈值,取值范围为1~4,d为设定的第四概率阈值,取值范围为55~75。
图2所示是本发明方法中人脸区域定位和耳部区域定位示意图。本发明方法用安装在汽车仪表盘的摄像头采集汽车驾驶员的头部图像,利用AdaBoost人脸检测算法从驾驶员头部图像中检测人脸3,根据检测到的人脸定位出矩形人脸区域4;由矩形人脸区域定位出左侧耳部区域1,将矩形左侧耳部区域1按矩形特征人脸区域纵轴2镜像,定位出矩形右侧耳部区域5。对定位出的左侧耳部区域1和矩形右侧耳部区域2进行图像归一化处理,得到大小一致的矩形左侧耳部区域图像和矩形右侧耳部区域图像;分别从图像归一化处理后的矩形左侧耳部区域图像和矩形右侧耳部区域图像中提取HOG特征,将该特征输入由模式识别算法建立的手持电话识别模型中,手持电话识别模型对驾驶员头部图像中是否有手持电话进行识别,并将识别结果存储在手持电话结果队列中;然后对手持电话结果队列进行逻辑判别,并根据逻辑判别结果对驾驶员进行预警。
以下结合图1对本发明方法的具体实施方式说明如下:
采集驾驶员头部图像后,本发明方法实施例中采用常用的AdaBoost人脸检测算法从采集的每帧头部图像中检测人脸。AdaBoost算法,全称为Adaptive Boosting,是现在使用最为广泛的检测算法之一。它的特点是将一系列弱分类器组合成为强分类器,从而避免了寻找强分类器。而且它使用级联结构,可以很快拒绝掉绝大部分非正确结果,从而大大加快检测速度。AdaBoost算法检测到人脸后输出一个包含整个人脸的矩形人脸框,本发明方法中将该矩形框叫做矩形人脸区域。AdaBoost算法是基于类Harr特征的级联分类器,该算法由于受光照、驾驶人生理条件及行为动作等因素的影响,会出现没有检测到人脸的情况。为了解决此种情况下的矩形人脸区域定位,本发明方法设定了一个人脸区域队列,用于存储定位最新检测到的i个矩形人脸区域,矩形人脸区域在人脸区域队列中的存储格式是一个结构体指针,其指向的结构体为{Location,Shape},其中Location是矩形人脸区域的左上顶点A在驾驶员头部图像中的坐标,Shape是矩形人脸区域的长和宽。人脸区域队列中存储的就是定位到的矩形人脸区域的历史信息,其中人脸区域队列存储信息的大小,也就是i的取值范围为1~10,本发明方法具体实施中i的取值为5。
利用AdaBoost人脸检测算法从采集的每帧头部图像中检测人脸,对检测结果进行判断,若检测到人脸,则根据检测到的人脸定位出矩形人脸区域,用定位出的矩形人脸区域更新人脸区域队列,用定位出的矩形人脸区域作为矩形特征人脸区域4;若检测不到人脸,则对人脸区域队列进行判断,若人脸区域队列空,则继续检测人脸,若人脸区域队列不空,则以人脸区域队列中的矩形人脸区域平均值作为矩形特征人脸区域4。其中人脸区域队列中的矩形人脸区域平均值是{mean(Location),mean(Shape)},即分别对人脸区域队列中的矩形人脸区域的位置和形状求均值。本发明方法中,人脸区域队列中保存的人脸区域数据实时更新,避免了因为队列中保存的人脸区域与当前检测时间差别较远而对手持电话状态检测精度造成影响。此外,由于驾驶员在驾驶过程中,其相对于安装在仪表盘摄像头的位置变化不大,在人脸检测算法没有检测到人脸时,利用人脸区域队列中的人脸区域历史数据同样可以实现较准确的人脸区域定位。
如图2所示,得到特征人脸区域后,以上述矩形特征人脸区域的左上角A为原点,沿x轴方向和y轴方向将原点A向左下平移到B,其中沿x轴方向平移的绝对值是矩形特征人脸区域宽的0.6倍,沿y轴方向平移的绝对值是矩形特征人脸区域长的0.4倍。这样,就定位出矩形左侧耳部区域的左上顶点B,矩形左侧耳部区域的长和宽分别是矩形特征人脸区域长和宽的k倍和j倍,其中k和j的取值范围为0.8~1.1,本发明方法实施例中k和j的取值均为1,由此就定位了矩形左侧耳部区域1。将矩形左侧耳部区域1按矩形特征人脸区域纵轴2镜像,定位出矩形右侧耳部区域5。对定位出的矩形耳部区域进行图像归一化处理,得到大小一致的矩形左侧耳部区域图像和矩形右侧耳部区域图像,本发明方法实施例中归一化后矩形左侧耳部区域图像和矩形右侧耳部区域图像的大小均为100×100像素。
从上述过程中可以看出,本发明方法是根据矩形特征人脸区域的位置和大小来确定矩形耳部区域的位置和大小的。采用本发明方法的原因是不同驾驶员由于身高、性别、胖瘦、驾驶习惯的不同,其在摄像头获取的头部图像中矩形特征人脸区域位置和大小不同,若取固定大小区域定位耳部区域会使得到的矩形耳部区域中的手持电话图像存在很大的个体差异性,从而给后续提取稳定的特征指标带来困难,影响检测精度。上述矩形特征人脸区域大小自适应矩形耳部区域定位算法具有个体差异自适应性,为后续提取稳定的特征指标奠定了基础。
得到图像归一化处理后的矩形左侧耳部区域图像和矩形右侧耳部区域图像后,下一步分别从矩形左侧耳部区域和矩形右侧耳部区域中提取特征,用于对手持电话违规行为进行检测。提取合适的特征指标是影响准确识别目标对象的关键因素。在定位的手持电话检测区域中,由于受到光照、后排座椅有无成员及成员的动作、驾驶人手持电话的动作、周边环境等因素的影响,因此要求提取的特征能够对光照和驾驶人小的动作不敏感。本发明方法实施例中在矩形耳部区域图像中提取HOG特征,HOG特征构成的特征向量被用于对驾驶员拨打接听手持电话的违规行为进行识别。HOG(Histogram of Oriented Gradient)特征,即方向梯度直方图。简要的说,它的提取过程是将待处理的灰度图像进行梯度处理,得到各个像素X和Y方向的梯度分量,再通过极坐标转化,得到各个像素的梯度方向值,然后采用直方图投影的方式,将梯度方向范围均分为n份,得到n个角度区间,将图像的梯度方向值投影到n个角度区间中去,得到n个角度区间的频数,n个角度区间的频数构成特征描述子。HOG特征的两个关键参数是目标图像分割方法和梯度方向范围分为多少份。
本发明方法的实施过程中,分别将图像归一化处理后的矩形左侧耳部区域图像和矩形右侧耳部区域图像变换为灰度图像,将灰度图像分割为m×n份,举例来说将本发明方法中100×100的矩形耳部区域图像分割为2×5份,即得到10个50×20的图像块。本发明方法的一个实施例中将矩形耳部图像分割为1×1份。然后对每份灰度图像进行梯度处理,得到灰度图像各个像素的梯度分量,再通过极坐标化,得到灰度图像各个像素的梯度方向值,采用直方图投影的方式,将梯度方向均分为n份,得到n个角度区间,分别将矩形左侧耳部区域图像和矩形右侧耳部区域图像的梯度方向值投影到n个角度区间中去,分别得到与矩形左侧耳部区域图像和矩形右侧耳部区域图像相应的n个角度区间的频数,分别以n个角度区间的频数作为检测手持电话的左侧耳部区域特征向量和右侧耳部区域特征向量。其中n的取值范围为12~20,本发明方法的一个实施例中n值取为16。综上,得到一个16维的向量(l1,l2,…l16)作为左侧耳部区域特征向量,其中li(i=1,2,…16)是左侧耳部区域梯度方向投影到各角度区间的频数;得到一个16维的向量(w1,w2,…w16)作为右侧耳部区域特征向量,其中wi(i=1,2,…16)是右侧耳部区域梯度方向投影到各角度区间的频数,这两个16维的特征向量构成了识别手持电话的特征空间。
将特征指标输入由模式识别算法建立的手持电话识别模型中,就可以对单帧驾驶员头部图像中是否有手持电话进行识别。本发明方法在具体实施中发现BP神经网络算法、支持向量机算法、贝叶斯网络算法等模式识别算法均能准确地从驾驶员头部图像中检测到手持电话行为。考虑到算法运算速度与算法复杂度的影响,本发明方法的一个实施例中采用Fisher线性判别算法将驾驶员行车中的状态分为正常驾驶和手持电话两类。Fisher线性判别算法可以将多维空间压缩到一维空间,即将多维空间按一定的投影规则将其投影致一条直线上,再在一维空间中确定分界点,将待识别对象分为两类。由于驾驶室内驾驶人左右耳部区域背景差异较大,本发明方法中针对左侧耳部区域和右侧耳部区域分别利用Fisher线性判别算法建立了左侧耳部区域手持电话识别模型和右侧耳部区域手持电话识别模型。
耳部区域手持电话识别模型训练方法为公知技术,其过程如下:开展实车实验,利用安装在汽车仪表盘的摄像头获取驾驶员行车中正常驾驶和拨打接听手持电话的视频片段。摄像头的安装位置要求能够在驾驶员驾车中完整获取其头部图像,摄像头拍摄图像分辨率要求不小于480×320像素。将获取的视频切割为左手手持电话、右手手持电话、和正常驾驶三类时长2分钟的视频片段。本发明方法的一个实施例中共开展了50人实车实验,即300分钟视频数据。其中100分钟的左手手持电话视频和100分钟正常驾驶视频用于训练左侧耳部区域手持电话识别模型,将这两类视频图像按上述特征提取方式从中提取有手持电话的左侧耳部区域特征向量和无手持电话的左侧耳部区域特征向量,以这两类数据集训练得到左侧耳部区域手持电话识别Fisher判别模型,如公式(1)所示:
f1=a1l1+a2l2+…+a16l16+c1(1)
其中,(l1,l2,…l16)是16维左侧耳部区域特征向量构成的自变量,(a1,a2,…a16)是模型系数,c1是常数项。
模型建立后,也就确定了模型系数(a1,a2,…a16)和常数项c1,对于新输入的驾驶员头部图像,从图像中提取出16维左侧耳部区域特征向量,代入公式(1),若f1>0则判别为手持电话,若f1<0则判别为正常驾驶。
同样,右侧耳部区域手持电话识别模型训练数据为100分钟的右手手持电话视频和100分钟正常驾驶视频,将这两类视频图像按上述特征提取方式从图像中提取有手持电话的右侧耳部区域特征向量和无手持电话的右侧耳部区域特征向量,以这两类数据集训练得到右侧耳部区域手持电话识别Fisher判别模型,如公式(2)所示:
f2=b1w1+b2w2+…+b16w16+c2(2)
其中,(w1,w2,…w16)是16维右侧耳部区域特征向量构成的自变量,(b1,b2,…b16)是模型系数,c2是常数项。
模型建立后,也就确定了模型系数(b1,b2,…b16)和常数项c2,对于新输入的驾驶员头部图像,从图像中提取出16维右侧耳部区域特征向量,代入公式(2),若f2>0则判别为手持电话,若f2<0则判别为正常驾驶。
利用Fisher线性判别算法建立的左侧耳部区域手持电话识别模型和右侧耳部区域手持电话识别模型只是对单帧图像中是否存在手持电话行为进行检测,然而,驾驶员拨打接听手持电话是一个时间持续行为,仅靠单帧图像的识别结果容易将抓耳挠腮等动作误检为手持电话。为了利用拨打接听手持电话行为的时序性,本发明方法设定一个左侧手持电话识别结果存储队列和一个右侧手持电话识别结果存储队列用于存储识别结果的历史信息。若手持电话识别模型识别出手持电话,则在手持电话识别结果队列中写入1,若手持电话识别模型没有识别出手持电话,则在手持电话识别结果队列中写入0。本发明方法的一个实施例中手持电话识别结果存储队列的长度为240,即最大可以存储240帧图像的识别结果。
分别用当前帧头部图像的识别结果更新相应的左侧手持电话识别结果队列和右侧手持电话识别结果队列,并对更新后的队列进行逻辑判别,根据判别结果发出预警信号,本发明方法中采用四层逻辑判别,具体实施过程如下:
第一层逻辑判别的判断结果决定是否发出手持电话预警信号,具体方法是对手持电话识别结果队列中从当前时刻开始的前t1秒内的数据进行判断,若在t1秒内大于a%的头部图像的识别结果为手持电话状态,则发出手持电话预警信号,若在t1秒内小于a%的头部图像的识别结果为手持电话状态,则重新开始判断。其中t1为设定的第一时间阈值,取值范围为3~5,a为设定的第一概率阈值,取值范围为65~85。
第二与第三层逻辑判别监控拨打接听手持电话行为的持续情况。设计两层逻辑判别是为了充分考虑驾驶过程中的干扰,提高系统的鲁棒性。车辆在实际行车过程中受光照因素、驾驶人个体差异性因素、环境因素的影响,会使某帧图片的成像质量不佳,造成模式识别算法的判断错误,故状态判别模块在第二层逻辑判别的基础上设计了第三层逻辑。
第二层逻辑判别对手持电话识别结果队列中从当前时刻开始的前t2秒内的数据进行判断,若在t2秒内大于b%的头部图像的识别结果是手持电话状态,则保持手持电话预警信号,若在t2秒内小于b%的头部图像的识别结果是手持电话状态,则进行第三层逻辑判别。其中t2为设定的第二时间阈值,取值范围为0.5~3,b为设定的第二概率阈值,取值范围为60~80。
第三层逻辑判别对手持电话识别结果队列中从当前时刻开始的前t3秒内的数据进行判断,若在t3秒内大于c%的头部图像的识别结果是手持电话状态,则返回第二层逻辑,若在t3秒内小于c%的头部图像的识别结果是手持电话状态,则进行第四层逻辑判别。其中t3为设定的第三时间阈值,取值范围为0.5~3,c为设定的第三概率阈值,取值范围为55~75;
第四层逻辑判别对手持电话识别结果队列中从当前时刻开始的前t4秒内的数据进行判断,若在t4秒内大于d%的头部图像的识别结果是手持电话状态,则返回第二层逻辑,若在t4秒内小于d%的头部图像的识别结果是手持电话状态,则中断手持电话预警信号;其中t4为设定的第四时间阈值,取值范围为1~4,d为设定的第四概率阈值,取值范围为55~75。
Claims (1)
1.一种驾驶员行车中手持电话违规行为的检测方法,其特征在于该方法包括以下步骤:
(1)采集汽车驾驶员的头部图像,设定一个人脸区域队列,利用人脸检测算法从采集的每帧头部图像中检测人脸,对检测结果进行判断,若检测到人脸,则根据检测到的人脸定位出矩形人脸区域,用定位出的矩形人脸区域更新人脸区域队列,用定位出的矩形人脸区域作为矩形特征人脸区域;若检测不到人脸,则对人脸区域队列进行判断,若人脸区域队列空,则继续检测人脸,若人脸区域队列不空,则以人脸区域队列中的矩形人脸区域平均值作为矩形特征人脸区域;
(2)以上述矩形特征人脸区域的左上角为原点,根据矩形特征人脸区域的长和宽的比例移动原点,定位出矩形左侧耳部区域的左上顶点,并根据矩形特征人脸区域的长和宽定位出矩形左侧耳部区域的大小;根据矩形左侧耳部区域的左上顶点和大小,定位出矩形左侧耳部区域;将矩形左侧耳部区域按矩形特征人脸区域纵轴镜像,定位出矩形右侧耳部区域,对定位出的矩形耳部区域进行图像归一化处理,得到大小一致的矩形左侧耳部区域图像和矩形右侧耳部区域图像;
(3)分别将图像归一化处理后的矩形左侧耳部区域图像和矩形右侧耳部区域图像变换为灰度图像,将灰度图像分割为m×n份,然后对每份灰度图像进行梯度处理,得到灰度图像各个像素的梯度分量,再通过极坐标化,得到灰度图像各个像素的梯度方向值,采用直方图投影的方式,将梯度方向均分为n份,得到n个角度区间,分别将矩形左侧耳部区域图像和矩形右侧耳部区域图像的梯度方向值投影到n个角度区间中去,分别得到与矩形左侧耳部区域图像和矩形右侧耳部区域图像相应的n个角度区间的频数,分别以n个角度区间的频数作为检测手持电话的左侧耳部区域特征向量和右侧耳部区域特征向量,其中n的取值范围为12~20;
(4)根据上述左侧耳部区域特征向量和右侧耳部区域特征向量,利用模式识别算法,分别对左手手持电话和右手手持电话进行识别,得到当前帧头部图像的的识别结果,设定一个左侧手持电话识别结果队列和一个右侧手持电话识别结果队列,用当前帧头部图像的识别结果更新相应左侧手持电话识别结果队列或右侧手持电话识别结果队列,并对更新后的队列进行逻辑判别,根据判别结果发出预警信号,逻辑判别过程如下:
(4-1)对手持电话识别结果队列中从当前时刻开始的前t1秒内的数据进行判断,若在t1秒内大于a%的头部图像的识别结果为手持电话状态,则发出手持电话预警信号,若在t1秒内小于a%的头部图像的识别结果为手持电话状态,则重新开始判断,其中t1为设定的第一时间阈值,取值范围为3~5,a为设定的第一概率阈值,取值范围为65~85;
(4-2)对手持电话识别结果队列中从当前时刻开始的前t2秒内的数据进行判断,若在t2秒内大于b%的头部图像的识别结果是手持电话状态,则保持手持电话预警信号,若在t2秒内小于b%的头部图像的识别结果是手持电话状态,则进行步骤(4-3),其中t2为设定的第二时间阈值,取值范围为0.5~3,b为设定的第二概率阈值,取值范围为60~80;
(4-3)对手持电话识别结果队列中从当前时刻开始的前t3秒内的数据进行判断,若在t3秒内大于c%的头部图像的识别结果是手持电话状态,则返回步骤(4-2),若在t3秒内小于c%的头部图像的识别结果是手持电话状态,则进行步骤(4-4),其中t3为设定的第三时间阈值,取值范围为0.5~3,c为设定的第三概率阈值,取值范围为55~75;
(4-4)对手持电话识别结果队列中从当前时刻开始的前t4秒内的数据进行判断,若在t4秒内大于d%的头部图像的识别结果是手持电话状态,则返回步骤(4-2),若在t4秒内小于d%的头部图像的识别结果是手持电话状态,则中断手持电话预警信号;其中t4为设定的第四时间阈值,取值范围为1~4,d为设定的第四概率阈值,取值范围为55~75。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 201210004371 CN102592143B (zh) | 2012-01-09 | 2012-01-09 | 一种驾驶员行车中手持电话违规行为检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 201210004371 CN102592143B (zh) | 2012-01-09 | 2012-01-09 | 一种驾驶员行车中手持电话违规行为检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102592143A CN102592143A (zh) | 2012-07-18 |
CN102592143B true CN102592143B (zh) | 2013-10-23 |
Family
ID=46480753
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN 201210004371 Active CN102592143B (zh) | 2012-01-09 | 2012-01-09 | 一种驾驶员行车中手持电话违规行为检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102592143B (zh) |
Families Citing this family (34)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103279750B (zh) * | 2013-06-14 | 2016-01-20 | 清华大学 | 基于肤色范围的驾驶员手持电话行为检测方法 |
TWI474264B (zh) * | 2013-06-14 | 2015-02-21 | Utechzone Co Ltd | 行車警示方法及車用電子裝置 |
CN103366506A (zh) * | 2013-06-27 | 2013-10-23 | 北京理工大学 | 一种驾驶员行车途中接打手机行为的自动监控装置及方法 |
CN103646239B (zh) * | 2013-12-25 | 2016-07-13 | 武汉大学 | 基于极坐标傅里叶变换的旋转不变性图像特征提取方法 |
JP6372388B2 (ja) * | 2014-06-23 | 2018-08-15 | 株式会社デンソー | ドライバの運転不能状態検出装置 |
CN105335059B (zh) * | 2014-07-31 | 2019-03-29 | 广州爱九游信息技术有限公司 | 手持设备上用户操作模式的识别方法和手持设备 |
CN104156717A (zh) * | 2014-08-31 | 2014-11-19 | 王好贤 | 基于图像处理技术的驾驶员驾车打电话违章识别方法 |
CN105516917A (zh) * | 2014-09-30 | 2016-04-20 | 小米科技有限责任公司 | 实现安全驾驶的方法及装置 |
TWI603270B (zh) * | 2014-12-11 | 2017-10-21 | 由田新技股份有限公司 | 偵測人員使用手持裝置的方法及裝置 |
TWI520076B (zh) * | 2014-12-11 | 2016-02-01 | 由田新技股份有限公司 | 偵測人員使用手持裝置的方法及裝置 |
CN104517444B (zh) * | 2015-01-08 | 2016-08-17 | 北京理工大学 | 一种开车使用手机违法行为的检测系统 |
CN104573659B (zh) * | 2015-01-09 | 2018-01-09 | 安徽清新互联信息科技有限公司 | 一种基于svm的驾驶员接打电话监控方法 |
CN104573724A (zh) * | 2015-01-09 | 2015-04-29 | 安徽清新互联信息科技有限公司 | 一种驾驶员接打电话行为监控方法 |
CN104683847A (zh) * | 2015-02-04 | 2015-06-03 | 四川长虹电器股份有限公司 | 智能控制音量的电视机与方法 |
CN105160913B (zh) * | 2015-08-17 | 2018-02-06 | 上海斐讯数据通信技术有限公司 | 一种规范驾驶人驾驶行为的方法及装置 |
CN105260705B (zh) * | 2015-09-15 | 2019-07-05 | 西安邦威电子科技有限公司 | 一种适用于多姿态下的驾驶人员接打电话行为检测方法 |
CN105740910A (zh) * | 2016-02-02 | 2016-07-06 | 北京格灵深瞳信息技术有限公司 | 一种车辆物件检测方法及装置 |
CN105868690A (zh) * | 2016-03-11 | 2016-08-17 | 博康智能信息技术有限公司 | 识别驾驶员打手机行为的方法和装置 |
CN106203385B (zh) * | 2016-07-20 | 2019-07-09 | 东方网力科技股份有限公司 | 一种驾驶员手持电话行为检测方法及装置 |
CN106682602B (zh) * | 2016-12-16 | 2020-01-21 | 深圳市华尊科技股份有限公司 | 一种驾驶员行为识别方法及终端 |
CN106815574B (zh) * | 2017-01-20 | 2020-10-02 | 博康智能信息技术有限公司北京海淀分公司 | 建立检测模型、检测接打手机行为的方法和装置 |
CN107301384A (zh) * | 2017-06-09 | 2017-10-27 | 湖北天业云商网络科技有限公司 | 一种驾驶员接打电话行为检测方法及系统 |
CN107479061A (zh) * | 2017-08-25 | 2017-12-15 | 重庆交通大学 | 一种基于图像识别与雷达测距的安全预警方法及系统 |
CN107832691B (zh) * | 2017-10-30 | 2021-10-26 | 北京小米移动软件有限公司 | 微表情识别方法及装置 |
CN108509902B (zh) * | 2018-03-30 | 2020-07-03 | 湖北文理学院 | 一种驾驶员行车过程中手持电话通话行为检测方法 |
CN108564034A (zh) * | 2018-04-13 | 2018-09-21 | 湖北文理学院 | 一种驾驶员行车中操作手机行为的检测方法 |
CN108647708A (zh) * | 2018-04-28 | 2018-10-12 | 清华-伯克利深圳学院筹备办公室 | 驾驶员评估方法、装置、设备和存储介质 |
CN109285327A (zh) * | 2018-07-05 | 2019-01-29 | 惠州市德赛西威汽车电子股份有限公司 | 一种针对行车过程中驾驶员使用手机的处理方法 |
CN109034111A (zh) * | 2018-08-17 | 2018-12-18 | 北京航空航天大学 | 一种基于深度学习的驾驶员手离方向盘检测方法及系统 |
CN109325439B (zh) * | 2018-09-18 | 2022-04-08 | 成都网阔信息技术股份有限公司 | 一种基于cnn的驾驶违规行为的识别方法 |
CN109685026B (zh) * | 2018-12-28 | 2023-04-18 | 南通大学 | 一种驾驶员手持手机通话的实时监测方法 |
CN109948450A (zh) * | 2019-02-22 | 2019-06-28 | 深兰科技(上海)有限公司 | 一种基于图像的用户行为检测方法、装置和存储介质 |
CN112528910B (zh) * | 2020-12-18 | 2023-04-07 | 上海高德威智能交通系统有限公司 | 手脱离方向盘检测方法、装置、电子设备及存储介质 |
CN116977906B (zh) * | 2023-09-22 | 2023-12-26 | 深圳市城市交通规划设计研究中心股份有限公司 | 一种实时展示行人违规翻越道路隔离带方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6496117B2 (en) * | 2001-03-30 | 2002-12-17 | Koninklijke Philips Electronics N.V. | System for monitoring a driver's attention to driving |
US20070244641A1 (en) * | 2006-04-17 | 2007-10-18 | Gm Global Technology Operations, Inc. | Active material based haptic communication systems |
CN101406390B (zh) * | 2007-10-10 | 2012-07-18 | 三星电子株式会社 | 检测人体部位和人的方法和设备以及对象检测方法和设备 |
EP2138988A1 (en) * | 2008-06-25 | 2009-12-30 | Ford Global Technologies, LLC | Method for determining a driving demand value |
CN102214296B (zh) * | 2011-06-03 | 2012-11-28 | 东南大学 | 一种基于空间比例的驾驶人姿态特征提取方法 |
-
2012
- 2012-01-09 CN CN 201210004371 patent/CN102592143B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN102592143A (zh) | 2012-07-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102592143B (zh) | 一种驾驶员行车中手持电话违规行为检测方法 | |
US11840239B2 (en) | Multiple exposure event determination | |
CN111274881B (zh) | 驾驶安全的监控方法、装置、计算机设备及存储介质 | |
CN110532976A (zh) | 基于机器学习和多特征融合的疲劳驾驶检测方法及系统 | |
CN109584507A (zh) | 驾驶行为监测方法、装置、系统、交通工具和存储介质 | |
CN109637151A (zh) | 一种高速公路应急车道违章行驶的识别方法 | |
CN103366506A (zh) | 一种驾驶员行车途中接打手机行为的自动监控装置及方法 | |
CN104013414A (zh) | 一种基于移动智能手机的驾驶员疲劳检测系统 | |
CN102752458A (zh) | 一种驾驶员疲劳检测手机与检测单元 | |
CN104499864A (zh) | 防撞防卡的公交车安全门系统 | |
CN110298257B (zh) | 一种基于人体多部位特征的驾驶员行为识别方法 | |
CN109685026A (zh) | 一种驾驶员手持手机通话的实时监测方法 | |
CN102543125B (zh) | 一种基于视频识别技术提供增值服务的方法及系统 | |
CN112320522A (zh) | 基于智能识别的电梯控制系统和方法 | |
CN106143308A (zh) | 基于智能后视镜的车道偏离预警系统 | |
CN109948433A (zh) | 一种嵌入式人脸跟踪方法及装置 | |
CN106682648B (zh) | 一种用户接打手机行为检测方法和装置 | |
CN111785050A (zh) | 一种高速公路疲劳驾驶预警装置及方法 | |
CN106073804A (zh) | 一种疲劳检测方法及移动终端 | |
Guria et al. | Iot-enabled driver drowsiness detection using machine learning | |
CN108459520B (zh) | 用于车辆的自动显示方法及其系统 | |
CN116935361A (zh) | 一种基于深度学习的驾驶员分心行为检测方法 | |
CN109685083A (zh) | 驾驶员开车违规使用手机的多尺度检测方法 | |
CN110210365A (zh) | 一种基于双目技术的驾驶行为评分系统与方法 | |
CN116630945A (zh) | 驾驶分心提醒方法、装置、设备及可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |