CN103150870B - 一种基于视频的火车驾驶员疲劳检测方法 - Google Patents
一种基于视频的火车驾驶员疲劳检测方法 Download PDFInfo
- Publication number
- CN103150870B CN103150870B CN201310044500.0A CN201310044500A CN103150870B CN 103150870 B CN103150870 B CN 103150870B CN 201310044500 A CN201310044500 A CN 201310044500A CN 103150870 B CN103150870 B CN 103150870B
- Authority
- CN
- China
- Prior art keywords
- eyes
- method based
- face
- train
- counter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 28
- 238000001514 detection method Methods 0.000 claims abstract description 26
- 230000037081 physical activity Effects 0.000 claims abstract description 8
- 238000004458 analytical method Methods 0.000 claims abstract description 6
- 206010041349 Somnolence Diseases 0.000 claims description 12
- 238000012549 training Methods 0.000 claims description 11
- 238000012706 support-vector machine Methods 0.000 claims description 6
- 230000003068 static effect Effects 0.000 claims description 4
- 239000000284 extract Substances 0.000 claims description 3
- 238000002474 experimental method Methods 0.000 claims description 2
- 238000010801 machine learning Methods 0.000 claims description 2
- 238000010223 real-time analysis Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 9
- 238000013461 design Methods 0.000 abstract description 4
- 238000012545 processing Methods 0.000 description 8
- 210000003128 head Anatomy 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 241000405217 Viola <butterfly> Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
Abstract
本发明涉及一种基于视频的火车驾驶员疲劳检测方法。目前已有的基于视频分析的检测疲劳方法，大多针对汽车驾驶设计。本发明从摄像头实时采集当前的一帧图像。然后进行驾驶员座位是否有人分析；人脸检测；人体活动分析；眼睛闭合检测等步骤，最后得到火车驾驶员疲劳情况。本发明使火车驾驶员疲劳状态检测准确率达到实用效果，并能给出离岗、瞌睡、注意观察前方等相关报警，检测准确性高。
Description
技术领域
本发明属于图像处理技术领域，涉及一种基于视频的火车驾驶员疲劳检测方法。
背景技术
驾驶员疲劳检测对提高驾驶安全性具有重要意义。通过摄像机，采集驾驶员面部的视频图像，进行分析，计算出头部姿态、眼睛睁闭频率等特征量，推测驾驶员的疲劳程度。这一技术思路具备非接触，不需特殊传感器，成本低等优点，受到广泛的关注。具有潜在的市场价值。
目前已有的基于视频分析的检测疲劳方法，大多针对汽车驾驶设计，假设司机在驾驶过程中姿态基本稳定，活动范围小，绝大部分时间正视前方。通过人脸特征点定位技术找到人的眼睛，然后分析眼睛的睁闭频率来进行疲劳判断。因汽车驾驶员在驾驶过程中，符合头部姿态变化小的假设条件，双眼定位的算法可以取得比较好的效果，整个方法具备实用的技术基础。
对于火车而言，驾驶员活动空间大，头部姿态变化大，且有可能离开座位。已有的疲劳检测技术直接应用，一般的双眼定位技术难以在大角度变化的人脸上取得好的效果，很多时候眼睛位置定位错误，因此，实际在火车上测得的准确率非常低，达不到应用的最低要求。
发明内容
由于已有驾驶员疲劳检测技术主要针对汽车驾驶设计，难以对具有大姿态变化、大范围活动的火车驾驶员进行准确的疲劳检测。本发明针对火车驾驶员驾驶过程中活动特点，设计出一种疲劳检测方法，能够有效的检测火车驾驶员是否疲劳，是否睡觉及是否离岗。满足铁路系统对火车驾驶员疲劳状态自动监测的需求。
本发明解决技术问题所采取的技术方案为：
步骤1.从摄像头实时采集当前的一帧图像。
步骤2.进行驾驶员座位是否有人分析；如果没有人，离岗计数器加1，若离岗计数器大于阈值T1，则输出离岗报警，结束处理；如果有人，转入下一步。
步骤3.对图像进行人脸检测；如果检测到正面人脸，转入步骤6，如果检测不到正面人脸，转入下一步。
步骤4.进行人体活动分析；如果人体处于活动状态，非观察状态计数器加1，若非观察状态计数器大于阈值T2，输出注意观察前方报警，结束处理；如果人体处于不动状态，瞌睡计数器加1，若瞌睡计数器阈值大于T3，输出瞌睡报警，结束处理。
步骤5.离岗计数器、瞌睡计数器清零。
步骤6.进行双眼定位。
步骤7.进行眼睛闭合检测，如眼睛闭合，统计最近N帧的闭眼率，如果闭眼率超过阈值T4，输出疲劳报警，结束处理；如果眼睛睁开，或闭眼率小于阈值T4，认为清醒，不做任何处理，结束处理。
步骤8.采集下一帧视频图像，重复上述步骤2-7，从而连续的对火车驾驶员状态进行实时分析。
本发明的有益效果：使火车驾驶员疲劳状态检测准确率达到实用效果，并能给出离岗、瞌睡、注意观察前方等相关报警，检测准确性高。
附图说明
图1为本发明方法流程图；
图2为本发明中人眼睁闭样本图；
图3为LBP示意图。
具体实施方式
以下结合附图和实施例对本发明作进一步说明。
如图1所示，本发明方法具体是：
1.从摄像头获取张视频图像。
2.对摄像头采集的图像进行驾驶员座位是否有人分析。具体做法：
1）将图像均匀分为3×3的9个矩形区域；
2）将每个区域送入有人无人区域分类器进行判断；
3）如果有3个或以上区域判断为有人，则认为驾驶员座位有人。否则，认为无人；
有人无人区域分类器采用机器学习的方法获得：
1）收集有人、无人的区域各5000张；
2）采用LBP直方图作为每个区域的纹理描述，LBP算子为：
（1）
其中
（2）
P是gc领域的像素个数，R是领域的半径，示意图如图3所示；
3）提取上述两类样本的LBP直方图特征。此处使用的LBP算子为P=8，R=1.0；
4）将两类特征数据作为输入，用支持向量机训练获得上述有人无人区域分类器；
如果没有人，离岗计数器加1，若计数器大于阈值T1，则输出离岗报警，结束本帧处理。如果有人转入下一步。
3.对图像进行人脸检测。
人脸检测器采用Adaboost算法，提取Haar特征训练得到。具体方法可以参见viola论文：Viola, P. and Jones, M., Rapid object detection using a boosted cascade of simple features. Proceedings of the 2001 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2001.
此处分类器训练的特别之处在于：
1）分类器训练正样本中人脸的角度只覆盖司机观察前方或操控设备等正常驾驶时的角度范围；
2）分类器训练的负样本中既包含无人脸的背景图片，也包含大角度、正常驾驶时不可能出现的角度的人脸。
这样处理的效果是，分类器能够检测到司机正常驾驶时角度的人脸，其它非正常角度的人脸检测不到。接下来的眼睛定位步骤只对正常驾驶角度的人脸进行。
对于检测不到人脸的情况，可以认为此时司机没有在正常驾驶，要么低头或仰头睡觉，要么做起的事情。
这一策略解决了大角度人脸难以准确定位眼睛的问题。使本发明的方法能够在司机活动范围大的火车上达到实用。
如果检测到正面人脸，转入步骤6。如果检测不到正面人脸，转入下一步；
4.进行人体活动分析。
1）此处人体活动判断具体步骤如下：
2）建立背景图I i bg ，将摄像头捕获第一帧图像作为I 0 bg ；
3）自第二帧起，第j帧图相I j 对应的背景图I j bg 更新如下：
I j bg =(1-β)I (j-1) bg + βI (j-1)
β为更新参数；因火车车速较快，背景变化快，实际中可以取0.7-0.95之间的数值；
4）用如下公式计算前景图I j fg ：
I j fg = I j - I j bg
5）用阈值Th二值化前景图I j fg ，Th通过统计静止背景像素变化的方差σ得到：Th = 3σ；
6）统计二值化的前景图中白色像素个数N w ；若图像宽高分别为W和H；如果N w ≥γW*H，则认为人体活动。否则，为静止。γ取值通过实验获得，设置在0.01-0.03之间。
如果人体处于活动状态，非观察状态计数器加1，若计数器大于阈值T2，输出注意观察前方报警，结束本帧处理；如果人体处于不动状态，瞌睡计数器加1，若计数器阈值大于T3，输出瞌睡报警，结束本帧处理。
5.离岗计数器、瞌睡计数器清零。
6.进行双眼定位。
此处的双眼定位技术，采用受约束的局部模型（CLM,Constrained Local Model）算法得到。算法的基本原理，参见论文：Y. Wang, S. Lucey, and J. Cohn. Enforcing Convextiy for Improved Alignment with Constrained Local Models, In CVPR, 2008.
本方法中实现的局部模型特点是，使用LBP特征和AdaBoost算法训练得到。LBP算子为P=8，R=1.0。
7.进行眼睛闭合检测。
眼睛定位后，将左、右眼睛区域的图像送与分类器进行闭合判断。
此处的眼睛闭合分类器特点是，采用LBP特征和支持向量机（SVM）训练得到，LBP算子为P=8，R=1.0。睁眼、闭眼的样本如图2所示。
判断眼睛闭合的策略是：支持向量机分类器输出两只眼睛判断结果，我们选择分数值最大的结果作为眼睛睁、闭状态的最终判断结果。
如闭合，统计最近N帧的闭眼率，如果超过阈值T4，输出疲劳报警，结束本帧处理。如果睁开，或阈值小于T4，认为清醒，不做任何处理，结束本帧处理。
8.对下一帧视频图像重复上述1-7步骤，连续的对火车驾驶员状态进行分析。
上述步骤中的报警参数T1、T2、T3、T4，可以根据报警确认时间来计算：
Ti = ti × n；
ti为Ti对应的报警确认时间，单位为秒。n为算法每秒钟处理的帧数。
以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围，应带理解，本发明并不限于这里所描述的实现方案，这些实现方案描述的目的在于帮助本领域中的技术人员实践本发明。
Claims (7)
1.一种基于视频的火车驾驶员疲劳检测方法，其特征在于该方法包括以下步骤；
步骤1.从摄像头实时采集当前的一帧图像；
步骤2.进行驾驶员座位是否有人分析；如果没有人，离岗计数器加1，若离岗计数器大于阈值T1，则输出离岗报警，结束处理；如果有人，转入下一步；
步骤3.对图像进行人脸检测；如果检测到正面人脸，转入步骤6，如果检测不到正面人脸，转入下一步；
步骤4.进行人体活动分析；如果人体处于活动状态，非观察状态计数器加1，若非观察状态计数器大于阈值T2，输出注意观察前方报警，结束处理；如果人体处于不动状态，瞌睡计数器加1，若瞌睡计数器阈值大于T3，输出瞌睡报警，结束处理；
步骤5.离岗计数器、瞌睡计数器清零；
步骤6.进行双眼定位；
步骤7.进行眼睛闭合检测，如眼睛闭合，统计最近N帧的闭眼率，如果闭眼率超过阈值T4，输出疲劳报警，结束处理；如果眼睛睁开，或闭眼率小于阈值T4，认为清醒，不做任何处理，结束处理；
步骤8.采集下一帧视频图像，重复上述步骤2-7，从而连续的对火车驾驶员状态进行实时分析。
2.根据权利要求1所述的一种基于视频的火车驾驶员疲劳检测方法，其特征在于：步骤2中进行驾驶员座位是否有人分析具体是：
a.将图像均匀分为3×3的9个矩形区域；
b.将每个区域送入有人无人区域分类器进行判断；该分类器采用机器学习的方法获得；
c.如果有3个或以上区域判断为有人，则认为驾驶员座位有人；否则，认为驾驶员座位无人。
3.根据权利要求1所述的一种基于视频的火车驾驶员疲劳检测方法，其 特征在于：步骤3对图像进行人脸检测中使用人脸检测器，该人脸检测器采用Adaboost算法，提取Haar特征训练得到。
4.根据权利要求3所述的一种基于视频的火车驾驶员疲劳检测方法，其特征在于：训练人脸检测器时，训练的正样本中人脸的角度只覆盖司机观察前方或操控设备正常驾驶时的角度范围；训练的负样本中既包含无人脸的背景图片，也包含大角度、正常驾驶时不可能出现的角度的人脸。
5.根据权利要求1所述的一种基于视频的火车驾驶员疲劳检测方法，其特征在于：步骤4中进行人体活动分析具体是：
e.建立背景图Ii bg，将摄像头捕获第一帧图像作为I0 bg；
f.自第二帧起，第j帧图 像Ij对应的背景图Ij bg更新如下：
Ij bg＝(1-β)I(j-1) bg+βI(j-1)
其中β为更新参数；
g.用如下公式计算前景图Ij fg：
Ij fg＝Ij-Ij bg
h.用阈值Th二值化前景图Ij fg，Th通过统计静止背景像素变化的方差σ得到：Th＝3σ；
i.统计二值化的前景图中白色像素个数Nw；
设图像宽高分别为W，H，如果Nw≥γW*H，则认为人体活动；否则，为静止；γ为判别参数，取值通过实验获得。
6.根据权利要求1所述的一种基于视频的火车驾驶员疲劳检测方法，其特征在于：步骤6中进行双眼定位采用受约束的局部模型得到，该局部模型使用LBP特征和AdaBoost算法训练得到。
7.根据权利要求1所述的一种基于视频的火车驾驶员疲劳检测方法，其特征在于：步骤7中进行眼睛闭合检测具体是：
眼睛定位后，将左、右眼睛区域的图像送至眼睛闭合分类器进行闭合判断；该眼睛闭合分类器采用LBP特征和支持向量机训练得到；
判断眼睛闭合的策略是：支持向量机分类器输出两只眼睛判断结果，选择分数值最大的结果作为眼睛睁、闭状态的最终判断结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310044500.0A CN103150870B (zh) | 2013-02-04 | 2013-02-04 | 一种基于视频的火车驾驶员疲劳检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310044500.0A CN103150870B (zh) | 2013-02-04 | 2013-02-04 | 一种基于视频的火车驾驶员疲劳检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103150870A CN103150870A (zh) | 2013-06-12 |
| CN103150870B true CN103150870B (zh) | 2014-12-10 |
Family
ID=48548903
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201310044500.0A Expired - Fee Related CN103150870B (zh) | 2013-02-04 | 2013-02-04 | 一种基于视频的火车驾驶员疲劳检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103150870B (zh) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103617421A (zh) * | 2013-12-17 | 2014-03-05 | 上海电机学院 | 基于综合视频特征分析的疲劳检测方法及系统 |
| CN103971093A (zh) * | 2014-04-22 | 2014-08-06 | 大连理工大学 | 基于多尺度lbp算法的疲劳检测方法 |
| CN106897659B (zh) * | 2015-12-18 | 2019-05-24 | 腾讯科技（深圳）有限公司 | 眨眼运动的识别方法和装置 |
| CN105825631B (zh) * | 2016-04-26 | 2018-01-16 | 成都远控科技有限公司 | 基于视频智能算法的疲劳检测方法及系统 |
| CN107085715A (zh) * | 2017-05-19 | 2017-08-22 | 武汉理工大学 | 一种电视智能检测用户睡眠状态的系统及方法 |
| CN107704805B (zh) * | 2017-09-01 | 2018-09-07 | 深圳市爱培科技术股份有限公司 | 疲劳驾驶检测方法、行车记录仪及存储装置 |
| CN108846308A (zh) * | 2018-04-24 | 2018-11-20 | 浙江吉利控股集团有限公司 | 一种疲劳驾驶检测方法及装置 |
| CN108600671A (zh) * | 2018-05-22 | 2018-09-28 | 深圳腾视科技有限公司 | 一种司机异常状态和行为检测中的实时视频举证机制 |
| CN109190560A (zh) * | 2018-08-31 | 2019-01-11 | 辽宁奇辉电子系统工程有限公司 | 一种基于人脸识别技术的铁路信号楼交接班及防困睡系统 |
| CN109285321A (zh) * | 2018-11-23 | 2019-01-29 | 泰安宇祺通讯技术有限公司 | 一种轨道交通驾驶员瞌睡预警系统及其使用方法 |
| CN114822034B (zh) * | 2022-05-06 | 2023-05-12 | 郑州铁路职业技术学院 | 一种列车安全驾驶方法和系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN201111685Y (zh) * | 2007-10-22 | 2008-09-10 | 王增安 | 机车司乘人员睡眠记录警示安全装置 |
| CN101639894A (zh) * | 2009-08-31 | 2010-02-03 | 华南理工大学 | 在线检测列车驾驶员行为和疲劳状态的方法及其检测系统 |
| CN102092408A (zh) * | 2010-12-15 | 2011-06-15 | 河北汉光重工有限责任公司 | 铁路机车辅助驾驶装置 |
| CN102393989A (zh) * | 2011-07-28 | 2012-03-28 | 山西智济电子科技有限公司 | 司机工作状态实时监测系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4922715B2 (ja) * | 2006-09-28 | 2012-04-25 | タカタ株式会社 | 乗員検出システム、警報システム、制動システム、車両 |
-
2013
- 2013-02-04 CN CN201310044500.0A patent/CN103150870B/zh not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN201111685Y (zh) * | 2007-10-22 | 2008-09-10 | 王增安 | 机车司乘人员睡眠记录警示安全装置 |
| CN101639894A (zh) * | 2009-08-31 | 2010-02-03 | 华南理工大学 | 在线检测列车驾驶员行为和疲劳状态的方法及其检测系统 |
| CN102092408A (zh) * | 2010-12-15 | 2011-06-15 | 河北汉光重工有限责任公司 | 铁路机车辅助驾驶装置 |
| CN102393989A (zh) * | 2011-07-28 | 2012-03-28 | 山西智济电子科技有限公司 | 司机工作状态实时监测系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN103150870A (zh) | 2013-06-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103150870B (zh) | 一种基于视频的火车驾驶员疲劳检测方法 | |
| Fuletra et al. | A survey on drivers drowsiness detection techniques | |
| WO2015131734A1 (zh) | 一种前视监视场景下的行人计数方法、装置和存储介质 | |
| CN105760849B (zh) | 基于视频的目标对象行为数据获取方法及装置 | |
| CN107085715A (zh) | 一种电视智能检测用户睡眠状态的系统及方法 | |
| CN104637246A (zh) | 一种驾驶员多种行为预警系统及危险评估方法 | |
| CN104732251A (zh) | 一种基于视频的机车司机驾驶状态检测方法 | |
| Qiao et al. | A smartphone-based driver fatigue detection using fusion of multiple real-time facial features | |
| CN105809890B (zh) | 面向校车安全的遗漏孩童检测方法 | |
| CN105373767A (zh) | 一种智能手机使用的眼睛疲劳检测方法 | |
| Kulkarni et al. | A review paper on monitoring driver distraction in real time using computer vision system | |
| CN104331160A (zh) | 一种基于唇部状态识别的智能轮椅人机交互系统及方法 | |
| Luo et al. | The driver fatigue monitoring system based on face recognition technology | |
| Maralappanavar et al. | Driver's distraction detection based on gaze estimation | |
| Devi et al. | Fuzzy based driver fatigue detection | |
| Sun et al. | Real-time driver fatigue detection based on eye state recognition | |
| Zhao et al. | Deep convolutional neural network for drowsy student state detection | |
| Suryawanshi et al. | Driver drowsiness detection system based on lbp and haar algorithm | |
| CN115937830A (zh) | 一种面向特种车辆的驾驶员疲劳检测方法 | |
| Valsan et al. | Monitoring driver’s drowsiness status at night based on computer vision | |
| Ghimire et al. | Real-time sleepiness detection for driver state monitoring system | |
| Dahiphale et al. | A review paper on portable driver monitoring system for real time fatigue | |
| Aguilar et al. | Driver fatigue detection based on real-time eye gaze pattern analysis | |
| Reddy et al. | Soft Computing Techniques for Driver Alertness | |
| Murugan et al. | Driver hypovigilance detection for safe driving using infrared camera |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C53 | Correction of patent for invention or patent application | ||
| CB02 | Change of applicant information |
Address after: Hangzhou City, Zhejiang province Yuhang District 311121 West Street Wuchang No. 998 building 7 East Applicant after: Zhejiang iCare Vision Technology Co., Ltd. Address before: 310013, Zhejiang, Xihu District, Hangzhou, Tian Shan Road, No. 398, Kun building, four floor, South Block Applicant before: Zhejiang iCare Vision Technology Co., Ltd. |
|
| C53 | Correction of patent for invention or patent application | ||
| CB02 | Change of applicant information |
Address after: Hangzhou City, Zhejiang province Yuhang District 311121 West Street Wuchang No. 998 building 7 East Applicant after: ZHEJIANG ICARE VISION TECHNOLOGY CO., LTD. Address before: Hangzhou City, Zhejiang province Yuhang District 311121 West Street Wuchang No. 998 building 7 East Applicant before: Zhejiang iCare Vision Technology Co., Ltd. |
|
| COR | Change of bibliographic data |
Free format text: CORRECT: APPLICANT; FROM: HANGZHOU ICARE VISION TECHNOLOGY CO., LTD. TO: ZHEJIANG ICARE VISION TECHNOLOGY CO., LTD. |
|
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: Train motorman fatigue detecting method based on videos Effective date of registration: 20190821 Granted publication date: 20141210 Pledgee: Hangzhou Yuhang Small and Medium-sized Enterprise Transfer Service Co., Ltd. Pledgor: ZHEJIANG ICARE VISION TECHNOLOGY CO., LTD. Registration number: Y2019330000020 |
|
| PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20141210 Termination date: 20210204 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |