CN106529496B - 一种机车乘务员实时视频疲劳检测的方法 - Google Patents

一种机车乘务员实时视频疲劳检测的方法 Download PDF

Info

Publication number
CN106529496B
CN106529496B CN201611048078.6A CN201611048078A CN106529496B CN 106529496 B CN106529496 B CN 106529496B CN 201611048078 A CN201611048078 A CN 201611048078A CN 106529496 B CN106529496 B CN 106529496B
Authority
CN
China
Prior art keywords
region
eye
video frame
image
left eye
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611048078.6A
Other languages
English (en)
Other versions
CN106529496A (zh
Inventor
贺德强
刘卫
王合良
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangxi University
Original Assignee
Guangxi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangxi University filed Critical Guangxi University
Priority to CN201611048078.6A priority Critical patent/CN106529496B/zh
Publication of CN106529496A publication Critical patent/CN106529496A/zh
Application granted granted Critical
Publication of CN106529496B publication Critical patent/CN106529496B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Ophthalmology & Optometry (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

一种机车实时视频疲劳检测的方法，步骤如下：打开摄像头，提取视频帧，确定人眼区域作为目标跟踪区域，运用CamShift跟踪算法获得初始矩形区域，再运用缩减区域方法得到缩减处理后左眼区域，当缩减处理后左眼区域中心不处于视频帧的边缘时，由缩减处理后左眼区域获得左眼矩形区域，对左眼矩形区域进行图像处理提取左眼轮廓，计算左眼轮廓最小外接矩形的高宽比S，统计左右眼的睁闭眼次数，计算设定的时间段内所检测的视频帧中眼镜为闭合状态的帧数与总帧数的比值，当比值小于设定值时，判断乘务员是否对机车进行有效操作，如果没有，则报警。本发明能够有效防止机车乘务员疲劳驾驶而影响机车运行安全，对机车乘务员正面检测效果尤为显著。

Description

一种机车乘务员实时视频疲劳检测的方法
技术领域
本发明属于图像处理技术领域，涉及一种实时视频疲劳检测的方法，具体是一种针对机车乘务员的实时视频疲劳检测的方法。
背景技术
因为机车乘务工作的特点及其轮乘工作制度使得乘务员的睡眠不规律，容易使乘务员在值乘前产生疲劳蓄积现象，且在值乘时，乘务员必须时刻注视各种仪表状态，瞭望轨道及周边情况，观察信号指示，过度使用眼睛极易产生疲劳。同时，乘务员还须随时应付可能发生的突发状况，致使精神上长期处于紧张状态，易导致心理疲劳。而过度疲劳会降低乘务员的反应速度，长时间疲劳会让乘务员进入盹睡状态，严重影响行车安全，所以，乘务员实时视频疲劳检测具有重要意义。
而当前技术发展尚不成熟，目前针对汽车驾驶员的疲劳检测研究较多，对于机车乘务员的实时视频疲劳检测较少，且到目前为止，仍没有在机车上进行实际应用。目前，中国铁路采用的手段是乘务员每分钟按压“无人警惕按钮”，虽然能对防止工作状态不佳、疲劳、盹睡起到作用，但是增加了乘务员的工作量及工作压力，且当乘务员熟练掌握后很容易转变为下意识重复动作，作用减弱，行车安全性有效保障不足。乘务员实时视频疲劳检测对于提高行车安全性具有重要意义。通过摄像机采集视频进行图像处理和分析，实时判断乘务员疲劳程度，及时示警，提高行车安全性。
目前，大部分的汽车驾驶员实时视频疲劳检测方法都受到光照影响，在光照条件复杂的情况下，可靠性和稳定性不足，且目前已有的检测系统都较为昂贵，多在高档车上安装，但实用性并不强，不利于推广。
发明内容
本发明的目的是提出一种性能稳定，实用性强，能够有效防止机车乘务员疲劳驾驶而影响机车运行安全的一种机车实时视频疲劳检测的方法，对于机车乘务员正面检测效果尤为显著。
为了实现上述目的，本发明采用了以下技术方案：
一种机车实时视频疲劳检测的方法，该方法可与现在中国的列车运行监控记录装置(LKJ2000)等结合起来，应用于机车车载安全防护系统(6A系统)的视频监控子系统，包括如下步骤：
第一步：
打开摄像头，提取视频帧，
第二步：
如果视频帧中有目标跟踪区域并且连续跟踪帧数G少于设定帧数，则开启CamShift跟踪，然后转入第四步；如果视频帧中没有目标跟踪区域或者连续跟踪帧数G等于设定帧数，转入第三步；
第三步：
运用基于Haar特征的AdaBoost人脸检测分类器检测视频帧中是否有人脸，如果没有检测到人脸，则认为该视频帧中左眼和右眼都处于闭眼状态，然后转入第七步；如果检测到人脸，记录人脸位置及区域大小，根据人脸的“三庭五眼”，确定人眼区域作为目标跟踪区域，然后返回第二步；
第四步：
将目标跟踪区域作为CamShift跟踪算法的输入，获得可旋转矩形区域，所述可旋转矩形的中心为(center.x，center.y)、宽为width、高为height，将以(center.x，center.y)为中心、以γ*width为宽、以δ*height为高的矩形区域作为初始矩形区域，其中，参数γ和δ根据实际情况的需要确定；
运用缩减区域方法对初始矩形区域进行迭代a次的计算，再左右等分为左眼区域和右眼区域，然后分别对左眼区域和右眼区域运用缩减区域方法迭代b次的计算，得到缩减处理后左眼区域和缩减处理后右眼区域，然后以缩减处理后左眼区域中心和缩减处理后右眼区域中心的距离为两眼距离L，其中，迭代计算次数a和b根据实际情况的需要确定；
第五步：
判断缩减处理后左眼区域中心是否处于视频帧的边缘，如果是，则认为该视频帧中左眼处于闭眼状态，然后转入第七步；否则，转入第六步，
判断缩减处理后右眼区域中心是否处于视频帧的边缘，如果是，则认为该视频帧中右眼处于闭眼状态，然后转入第七步；否则，转入第六步，
第六步：
将缩减处理后左眼区域的中心为中心、以η*L为宽、以θ*L为高的矩形作为左眼矩形区域，将缩减处理后右眼区域中心为中心、以η*L为宽、以θ*L为高的矩形作为右眼矩形区域，参数η和θ根据实际情况的需要确定，分别对左眼矩形区域和右眼矩形区域进行图像处理，然后分别提取左眼轮廓和右眼轮廓，分别计算左眼轮廓和右眼轮廓的最小外接矩形的高宽比S，当高宽比S小于设定值时，认为该视频帧中眼睛状态为闭合，然后转入第七步；当高宽比S大于或等于设定值时，认为该视频帧中眼睛状态为睁开，然后转入第七步；
第七步：
分别统计左眼和右眼的睁闭眼次数，计算设定的时间段内所检测的视频帧中左眼为闭合状态的帧数与总帧数的比值F1，同时计算设定的时间段内所检测的视频帧中右眼为闭合状态的帧数与总帧数的比值F2；
第八步：
当F1＞ε并且F2＞ζ时，判断最近时间t内乘务员是否对机车进行有效操作，如果没有，则报警；否则，进入下一帧图像，重复第二步至第七步，参数ε、ζ和时间t根据实际情况的需要确定。
进一步的，在第四步中，所述缩减区域方法，具体步骤如下：
(1)对初始矩形区域图像进行灰度化处理并计算灰度平均值，再进行二值化处理，得到二值化图像，二值化图像的宽为width1，二值化图像的高为heightl，二值化图像的中心坐标为(center1.x，center1.y)，所述二值化处理中的阈值根据灰度平均值确定；
(2)分别统计二值化图像中左右等分的两部分和上下等分的两部分的黑色像素点的个数，分别为W1、W2、H1和H2；
(3)缩减后矩形区域图像的宽width2由下式计算得到：
(4)缩减后矩形区域图像的高height2由下式计算得到：
(5)缩减后矩形区域图像的中心坐标(center2.x，center2.y)由下式计算得到：
式中，系数α和β根据实际情况的需要确定；
(6)根据步骤(3)得到的宽width2、步骤(4)得到的高height2和步骤(5)得到的中心坐标(center2.x，center2.y)得到缩减后矩形区域图像。
进一步的，在第五步中，所述图像的边缘是指x轴坐标小于n倍图像宽或大于(1-n)倍图像宽、y轴坐标小于n倍图像高或大于(1-n)倍图像高，n的值根据实际情况的需要确定。
进一步的，在第五步中，所述图像处理的具体步骤依次为模糊降噪、平滑滤波、均衡化处理以及利用OTSU算法计算阈值的二值化，然后利用边缘检测的方法提取眼睛轮廓。
在第八步中，判断最近三秒内是否对机车进行有效操作，如果没有，则报警，对于有效操作的定义包括乘务员的正常的驾驶操作及对特殊情况的一些操作(如按“无人警惕按钮”)；对于报警及解除报警的方法与列车运行监控记录装置(LKJ2000)相结合，将报警分等级，可以通过按“无人警惕按钮”解除最初的一级疲劳警报和一级在线提醒，但当连续按下超过N(根据实际情况设置，可设为10～20)次“无人警惕按钮”时直接升级为二级报警并发出二级在线提醒；当持续报警时间超过时间T1(T1可设为60S)，提升警报等级和在线提醒等级，当持续报警时间超过T2(T2可设为60S)，联系地面监管中心，根据具体情况紧急迫停机车。
本发明的特点在于：
将CamShift跟踪算法和基于Haar特征的AdaBoost人脸检测算法相结合，减少光照条件的限制，在复杂光照条件下仍然可以进行稳定可靠的检测。在精确定位人眼时，使用迭代缩减区域的方法，速度非常快。方法结合中国铁路的实际情况，可以与列车运行监控记录装置(LKJ2000)等结合起来，适合推广使用。本发明对于所运用的摄像头没有特殊要求，一般摄像头都可以应用，降低了成本。
具体实施方式
下面通过实例对本发明的方法作进一步阐述。
第一步：
打开摄像头，提取视频帧，
第二步：
如果视频帧中有目标跟踪区域并且连续跟踪帧数G少于设定帧数，则开启CamShift跟踪，然后转入第四步；如果视频帧中没有目标跟踪区域或者连续跟踪帧数G等于设定帧数，转入第三步；本实施例中，设定帧数为30帧。
第三步：
运用基于Haar特征的AdaBoost人脸检测分类器检测视频帧中是否有人脸，如果没有检测到人脸，则认为该视频帧中左眼和右眼都处于闭眼状态，然后转入第七步；如果检测到人脸，记录人脸位置及区域大小，根据人脸的“三庭五眼”，确定人眼区域作为目标跟踪区域，然后返回第二步；
第四步：
将目标跟踪区域作为CamShift跟踪算法的输入，获得可旋转矩形区域，所述可旋转矩形的中心为(center.x，center.y)、宽为width、高为height，将以(center.x，center.y)为中心、以γ*width为宽、以δ*height为高的矩形区域作为初始矩形区域，其中，参数γ和δ根据实际情况的需要确定；本实施例中，γ＝0.9，δ＝0.6。
运用缩减区域方法对初始矩形区域进行迭代a次的计算，再左右等分为左眼区域和右眼区域，然后分别对左眼区域和右眼区域运用缩减区域方法迭代b次的计算，得到缩减处理后左眼区域和缩减处理后右眼区域，然后以缩减处理后左眼区域中心和缩减处理后右眼区域中心的距离为两眼距离L，其中，迭代计算次数a和b根据实际情况的需要确定；本实施例中，a＝2，b＝8。
缩减区域方法可用简易编程实现迭代计算，通过迭代计算得到一个最终缩减的区域，迭代条件为：a、迭代次数K小于设定次数；b、缩减区域的高大于初始矩形区域的高的0.3倍；c、缩减区域的宽大于初始矩形区域的宽的0.3倍。
第五步：
判断缩减处理后左眼区域中心是否处于视频帧的边缘，如果是，则认为该视频帧中左眼处于闭眼状态，然后转入第七步；否则，转入第六步，
判断缩减处理后右眼区域中心是否处于视频帧的边缘，如果是，则认为该视频帧中右眼处于闭眼状态，然后转入第七步；否则，转入第六步，
第六步：
将缩减处理后左眼区域的中心为中心、以η*L为宽、以θ*L为高的矩形作为左眼矩形区域，将缩减处理后右眼区域中心为中心、以η*L为宽、以θ*L为高的矩形作为右眼矩形区域，参数η和θ根据实际情况的需要确定，本实施例中，η＝0.8，θ＝0.4，分别对左眼矩形区域和右眼矩形区域进行图像处理，然后分别提取左眼轮廓和右眼轮廓，分别计算左眼轮廓和右眼轮廓的最小外接矩形的高宽比S，当高宽比S小于设定值时，认为该视频帧中眼睛状态为闭合，然后转入第七步；当高宽比S大于或等于设定值时，认为该视频帧中眼睛状态为睁开，然后转入第七步；本实施例中，高宽比S的设定值为0.3；
第七步：
分别统计左眼和右眼的睁闭眼次数，计算设定的时间段内所检测的视频帧中左眼为闭合状态的帧数与总帧数的比值F1，同时计算设定的时间段内所检测的视频帧中右眼为闭合状态的帧数与总帧数的比值F2；
第八步：
当F1＞ε并且F2＞ζ时，判断最近时间t内乘务员是否对机车进行有效操作，如果没有，则报警；否则，进入下一帧图像，重复第二步至第七步，参数ε、ζ和时间t根据实际情况的需要确定，本实施例中，ε＝ζ＝0.3，t＝3s。
进一步的，在第四步中，所述缩减区域方法，具体步骤如下：
(1)对初始矩形区域图像进行灰度化处理并计算灰度平均值，再进行二值化处理，得到二值化图像，二值化图像的宽为width1，二值化图像的高为height1，二值化图像的中心坐标为(center1.x，center1.y)，所述二值化处理中的阈值根据灰度平均值确定；
(2)分别统计二值化图像中左右等分的两部分和上下等分的两部分的黑色像素点的个数，分别为W1、W2、H1和H2；
(3)缩减后矩形区域图像的宽width2由下式计算得到：
(4)缩减后矩形区域图像的高height2由下式计算得到：
(5)缩减后矩形区域图像的中心坐标(center2.x，center2.y)由下式计算得到：
式中，系数α和β根据实际情况的需要确定，本实施例中，ε＝ζ＝0.5；
(6)根据步骤(3)得到的宽width2、步骤(4)得到的高height2和步骤(5)得到的中心坐标(center2.x，center2.y)得到缩减后矩形区域图像。
进一步的，在第五步中，所述图像的边缘是指x轴坐标小于n倍图像宽或大于(1-n)倍图像宽、y轴坐标小于n倍图像高或大于(1-n)倍图像高，n的值根据实际情况的需要确定。
进一步的，在第五步中，所述图像处理的具体步骤依次为模糊降噪、平滑滤波、均衡化处理以及利用OTSU算法计算阈值的二值化，然后利用边缘检测的方法提取眼睛轮廓。
在第八步中，判断最近三秒内是否对机车进行有效操作，如果没有，则报警，对于有效操作的定义包括乘务员的正常的驾驶操作及对特殊情况的一些操作(如按“无人警惕按钮”)；对于报警及解除报警的方法与列车运行监控记录装置(LKJ2000)相结合，将报警分等级，可以通过按“无人警惕按钮”解除最初的一级疲劳警报和一级在线提醒，但当连续按下超过N(根据实际情况设置，可设为10～20)次“无人警惕按钮”时直接升级为二级报警并发出二级在线提醒；当持续报警时间超过时间T1(T1可设为60S)，提升警报等级和在线提醒等级，当持续报警时间超过T2(T2可设为60S)，联系地面监管中心，根据具体情况紧急迫停机车。
本发明所用到的基于Haar特征的AdaBoost人脸检测算法，在OpenCV中已有相应的函数接口，且OpenCV官网提供了一些人脸检测分类器，对于人脸的正面检测效果很好，可参考示例程序移植。另外，本发明中所用到的打开摄像头、提取视频帧、Camshifft跟踪算法以及灰度化和二值化等图像处理函数在OpenCV中都有相应的接口可以实现，如下所示是比较重要的几个函数：
1、打开摄像头：VideoCapture cap(0)；
2、灰度化：void cvCvtColor(const CvArr*src，CvArr*dst，CV_BGR2GRAY)；
3、二值化：void cvThreshold(const CvArr*src，CvArr*dst，double threshold，double max_value，int threshold_type)；
4、人脸分类器检测：void detectMultiScale(InputArray image，CV—OUT std：：vector<Rect>&objects，double scaleFactor＝1.1，int minNeighbors＝3，int flags＝0，Size minSize＝Size()，Size maxSize＝Size())；
5、寻找轮廓：void findContours(InputOutputArray image，OutputArrayOfArrays contours，OutputArray hierarchy，int mode，int method，Pointoffset＝Point())；
6、CamShift跟踪算法：int cvCamShift(const CvArr*prob_image，CvRectwindow，CvTermCriteria criteria，CvConnectedComp*comp，CvBox2D*box＝NULL)。
其中，CamShift跟踪算法中的prob_image包含颜色区域信息，window就是人眼粗定位的矩形区域或精确定位人眼后根据两眼的位置关系设置矩形区域，需要在第三步中得出，而根据人脸及人眼的对称性等属性可以将精确定位后的左右眼的位置关系设为CamShift目标跟踪算法是否打开的一个关键的判断条件。
在Ubuntu 14.04系统下安装OpenCV 3.0，根据总流程图编程以及交叉编译可以稳定的运行，检测效果很好，可以满足实时视频检测的要求，能够有效减少遮挡及复杂光照对检测的影响。

Claims (4)

1.一种机车实时视频疲劳检测的方法，该方法可与现在中国的列车运行监控记录装置结合起来，应用于机车车载安全防护系统的视频监控子系统，其特征在于，包括如下步骤：
第一步：
打开摄像头，提取视频帧，
第二步：
如果视频帧中有目标跟踪区域并且连续跟踪帧数G少于设定帧数，则开启CamShift跟踪，然后转入第四步；如果视频帧中没有目标跟踪区域或者连续跟踪帧数G等于设定帧数，转入第三步；
第三步：
运用基于Haar特征的AdaBoost人脸检测分类器检测视频帧中是否有人脸，如果没有检测到人脸，则认为该视频帧中左眼和右眼都处于闭眼状态，然后转入第六步；如果检测到人脸，记录人脸位置及区域大小，根据人脸的“三庭五眼”，确定人眼区域作为目标跟踪区域，然后返回第二步；
第四步：
将目标跟踪区域作为CamShift跟踪算法的输入，获得可旋转矩形区域，所述可旋转矩形的中心为（center.x ,center.y）、宽为width、高为height，将以（center.x ,center.y）为中心、以γ*width为宽、以δ*height为高的矩形区域作为初始矩形区域，其中，参数γ和δ根据实际情况的需要确定；
运用缩减区域方法对初始矩形区域进行迭代a次的计算，再左右等分为左眼区域和右眼区域，然后分别对左眼区域和右眼区域运用缩减区域方法迭代b次的计算，得到缩减处理后左眼区域和缩减处理后右眼区域，然后以缩减处理后左眼区域中心和缩减处理后右眼区域中心的距离为两眼距离L，其中，迭代计算次数a和b根据实际情况的需要确定；
第五步：
判断缩减处理后左眼区域中心是否处于视频帧的边缘，如果是，则认为该视频帧中左眼处于闭眼状态；否则，将缩减处理后左眼区域的中心为中心、以η*L为宽、以θ*L为高的矩形作为左眼矩形区域，对左眼矩形区域进行图像处理，然后提取左眼轮廓，计算左眼轮廓的最小外接矩形的高宽比S左，当高宽比S左小于设定值时，认为该视频帧中眼睛状态为闭合，当高宽比S左大于或等于设定值时，认为该视频帧中眼睛状态为睁开，
判断缩减处理后右眼区域中心是否处于视频帧的边缘，如果是，则认为该视频帧中右眼处于闭眼状态；否则，将缩减处理后右眼区域中心为中心、以η*L为宽、以θ*L为高的矩形作为右眼矩形区域，对右眼矩形区域进行图像处理，然后提取右眼轮廓，计算右眼轮廓的最小外接矩形的高宽比S右，当高宽比S右大于或等于设定值时，认为该视频帧中眼睛状态为睁开，
参数η和θ根据实际情况的需要确定；
第六步：
分别统计左眼和右眼的睁闭眼次数，计算设定的时间段内所检测的视频帧中左眼为闭合状态的帧数与总帧数的比值F1，同时计算设定的时间段内所检测的视频帧中右眼为闭合状态的帧数与总帧数的比值F2；
第七步：
当F1>ε并且F2>ζ时，判断最近时间t内乘务员是否对机车进行有效操作，如果没有，则报警；否则，进入下一帧图像，重复第二步至第六步，参数ε、ζ和时间t根据实际情况的需要确定。
2.如权利要求1所述的机车实时视频疲劳检测的方法，其特征在于，在第四步中，所述缩减区域方法，具体步骤如下：
（1）对初始矩形区域图像进行灰度化处理并计算灰度平均值，再进行二值化处理，得到二值化图像，二值化图像的宽为width1，二值化图像的高为height1，二值化图像的中心坐标为（center1.x , center1.y），所述二值化处理中的阈值根据灰度平均值确定；
（2）分别统计二值化图像中左右等分的两部分和上下等分的两部分的黑色像素点的个数，分别为W1、W2、H1和H2；
（3）缩减后矩形区域图像的宽width2由下式计算得到：
（4）缩减后矩形区域图像的高height2由下式计算得到：
（5）缩减后矩形区域图像的中心坐标(center2.x , center2.y)由下式计算得到：
式中，系数α和β根据实际情况的需要确定；
（6）根据步骤（3）得到的宽width2、步骤（4）得到的高height2和步骤（5）得到的中心坐标(center2.x , center2.y)得到缩减后矩形区域图像。
3.如权利要求1所述的机车实时视频疲劳检测的方法，其特征在于，在第五步中，所述视频帧的边缘是指x轴坐标小于n倍图像宽或大于(1-n)倍图像宽、y轴坐标小于n倍图像高或大于(1-n)倍图像高，n的值根据实际情况的需要确定。
4.如权利要求1所述的机车实时视频疲劳检测的方法，其特征在于，在第五步中，所述图像处理的具体步骤依次为模糊降噪、平滑滤波、均衡化处理以及利用OTSU算法计算阈值的二值化，然后利用边缘检测的方法提取眼睛轮廓。
CN201611048078.6A 2016-11-24 2016-11-24 一种机车乘务员实时视频疲劳检测的方法 Active CN106529496B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611048078.6A CN106529496B (zh) 2016-11-24 2016-11-24 一种机车乘务员实时视频疲劳检测的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611048078.6A CN106529496B (zh) 2016-11-24 2016-11-24 一种机车乘务员实时视频疲劳检测的方法

Publications (2)

Publication Number Publication Date
CN106529496A CN106529496A (zh) 2017-03-22
CN106529496B true CN106529496B (zh) 2019-04-12

Family

ID=58356805

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611048078.6A Active CN106529496B (zh) 2016-11-24 2016-11-24 一种机车乘务员实时视频疲劳检测的方法

Country Status (1)

Country Link
CN (1) CN106529496B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108919517A (zh) * 2018-09-25 2018-11-30 吉林大学 一种汽车驾驶用防疲劳眼镜及疲劳状态识别方法
CN109717830B (zh) * 2019-01-22 2021-09-17 中国科学院苏州生物医学工程技术研究所 基于眼动及头动参数监测的疲劳检测及促醒系统
CN109801475A (zh) * 2019-01-30 2019-05-24 浙江强脑科技有限公司 疲劳驾驶检测方法、装置及计算机可读存储介质
US10825196B2 (en) * 2019-02-15 2020-11-03 Universal City Studios Llc Object orientation detection system
CN110070135A (zh) * 2019-04-26 2019-07-30 北京启辰智达科技有限公司 一种监测乘务员状态的方法、装置、服务器及存储介质
CN110063736B (zh) * 2019-05-06 2022-03-08 苏州国科视清医疗科技有限公司 基于MOD-Net网络的眼动参数监测的疲劳检测及促醒系统
CN110211160B (zh) * 2019-05-30 2022-03-25 华南理工大学 一种基于改进Camshift算法的人脸跟踪方法
CN110264670A (zh) * 2019-06-24 2019-09-20 广州鹰瞰信息科技有限公司 基于客运车辆司机疲劳驾驶状态分析装置
CN112448974B (zh) * 2019-08-30 2023-10-17 北京嗨动视觉科技有限公司 网络交互方法、装置及系统和图像处理系统
CN110889955B (zh) * 2019-11-29 2021-11-19 上海掌门科技有限公司 用于在用户阅读时提醒用户休息的方法与设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102254151A (zh) * 2011-06-16 2011-11-23 清华大学 一种基于面部视频分析的驾驶人疲劳检测方法
CN103235931A (zh) * 2013-03-29 2013-08-07 天津大学 一种人眼疲劳检测方法
WO2013125876A1 (ko) * 2012-02-23 2013-08-29 인텔 코오퍼레이션 헤드 트래킹 방법, 장치 및 컴퓨터 판독 가능한 기록 매체
CN103279752A (zh) * 2013-06-19 2013-09-04 山东大学 一种基于改进Adaboost算法和人脸几何特征的眼睛定位方法
CN104050448A (zh) * 2014-06-11 2014-09-17 青岛海信信芯科技有限公司 一种人眼定位、人眼区域定位方法及装置
CN104361332A (zh) * 2014-12-08 2015-02-18 重庆市科学技术研究院 一种用于疲劳驾驶检测的人脸眼睛区域定位方法
TWI536279B (zh) * 2015-04-22 2016-06-01 緯創資通股份有限公司 人眼偵測方法及系統

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102254151A (zh) * 2011-06-16 2011-11-23 清华大学 一种基于面部视频分析的驾驶人疲劳检测方法
WO2013125876A1 (ko) * 2012-02-23 2013-08-29 인텔 코오퍼레이션 헤드 트래킹 방법, 장치 및 컴퓨터 판독 가능한 기록 매체
CN103235931A (zh) * 2013-03-29 2013-08-07 天津大学 一种人眼疲劳检测方法
CN103279752A (zh) * 2013-06-19 2013-09-04 山东大学 一种基于改进Adaboost算法和人脸几何特征的眼睛定位方法
CN104050448A (zh) * 2014-06-11 2014-09-17 青岛海信信芯科技有限公司 一种人眼定位、人眼区域定位方法及装置
CN104361332A (zh) * 2014-12-08 2015-02-18 重庆市科学技术研究院 一种用于疲劳驾驶检测的人脸眼睛区域定位方法
TWI536279B (zh) * 2015-04-22 2016-06-01 緯創資通股份有限公司 人眼偵測方法及系統

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
A New Real-Time Eye Tracking for Driver Fatigue Detection;Z Zhang 等;《ITS Telecommunications》;20070122;第8-11页
An efficient human face tracking method based on Camshift algorithm;Li, T 等;《Information Technology and Computer Application Engineering》;20130828;第353-356页
基于 Gabor 变换的人眼开闭状态识别技术研究;宋凯 等;《吉林大学学报(信息科学版)》;20131130;第31卷(第6期);第555-561页
基于人眼定位的快速人脸检测及归一化算法;李贤帅 等;《计算机工程与科学》;20061231;第28卷(第12期);第63-65页
基于眼动特征的疲劳驾驶检测方法;牛清宁 等;《哈尔滨工程大学学报》;20150331;第36卷(第3期);第394-398页

Also Published As

Publication number Publication date
CN106529496A (zh) 2017-03-22

Similar Documents

Publication Publication Date Title
CN106529496B (zh) 一种机车乘务员实时视频疲劳检测的方法
CN101593425B (zh) 一种基于机器视觉的疲劳驾驶监控方法及系统
CN110119676A (zh) 一种基于神经网络的驾驶员疲劳检测方法
Rongben et al. Monitoring mouth movement for driver fatigue or distraction with one camera
CN101639894B (zh) 在线检测列车驾驶员行为和疲劳状态的方法及其检测系统
CN104637246B (zh) 一种驾驶员多种行为预警系统及危险评估方法
CN103824420B (zh) 基于心率变异性非接触式测量的疲劳驾驶识别系统
CN108446600A (zh) 一种车辆驾驶员疲劳监测预警系统及方法
CN101587544B (zh) 基于计算机视觉的机动车车载反跟踪装置
CN102289660B (zh) 一种基于手部姿态跟踪的违规驾驶行为检测方法
CN107491769A (zh) 基于AdaBoost算法的疲劳驾驶检测方法及系统
CN102938058A (zh) 面向平安城市的视频主动智能感知方法及系统
CN105719431A (zh) 一种疲劳驾驶检测系统
CN102054163A (zh) 基于单目视觉的驾驶员疲劳检测方法
CN109460699A (zh) 一种基于深度学习的驾驶员安全带佩戴识别方法
CN106250801A (zh) 基于人脸检测和人眼状态识别的疲劳检测方法
CN103714660A (zh) 基于图像处理融合心率特征与表情特征实现疲劳驾驶判别的系统
CN109977930A (zh) 疲劳驾驶检测方法及装置
CN105303191A (zh) 一种前视监视场景下的行人计数方法和装置
CN106682603A (zh) 一种基于多源信息融合的实时驾驶员疲劳预警系统
CN104574819B (zh) 一种基于嘴巴特征的疲劳驾驶检测方法
CN105117681A (zh) 基于安卓的多特征疲劳实时检测方法
CN104224204A (zh) 一种基于红外检测技术的驾驶员疲劳检测系统
CN112016429A (zh) 基于火车驾驶室场景下疲劳驾驶检测方法
CN109543577A (zh) 一种基于面部表情特征的疲劳驾驶检测预警方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant