CN112528767A - 基于机器视觉的施工机械操作员疲劳作业检测系统及方法 - Google Patents

基于机器视觉的施工机械操作员疲劳作业检测系统及方法 Download PDF

Info

Publication number
CN112528767A
CN112528767A CN202011347239.8A CN202011347239A CN112528767A CN 112528767 A CN112528767 A CN 112528767A CN 202011347239 A CN202011347239 A CN 202011347239A CN 112528767 A CN112528767 A CN 112528767A
Authority
CN
China
Prior art keywords
fatigue
index
operator
facial
ear
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011347239.8A
Other languages
English (en)
Inventor
崔兵
张金月
刘相池
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN202011347239.8A priority Critical patent/CN112528767A/zh
Publication of CN112528767A publication Critical patent/CN112528767A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明公开了基于机器视觉的施工机械操作员疲劳作业检测系统，包括：视觉采集系统、图像处理系统及疲劳指标评估系统；视觉采集系统采集操作员面部视频数据；图像处理系统接收面部视频数据并转换为视频文件流；循环读取视频文件流中每一帧图像，提取面部器官特征发送给疲劳指标评价系统；疲劳指标评价系统由连续面部器官特征图获得面部器官的动作参数，其对每一种动作参数分别设置阈值进行疲劳程度评价，并根据动作参数与疲劳状态关联度设置相应权重，由各动作参数对应的疲劳程度评价指标结合权重，得到疲劳状态综合指标。本发明还公开了基于机器视觉的施工机械操作员疲劳作业检测方法，本发明能够准确反映不同情境下检测对象疲劳状态的变化趋势。

Description

基于机器视觉的施工机械操作员疲劳作业检测系统及方法
技术领域
本发明涉及一种施工机械操作员疲劳作业检测方法，特别涉及一种基于机器视觉的施工机械操作员疲劳作业检测系统及方法。
背景技术
一直以来，建筑施工行业都属于高危行业之一。各类机械设备在建筑工程中的应用越来越普遍，比如起重机、塔吊、泵车、装载机等。施工机械的普遍应用在提高建筑业生产效率的同时，也带来了诸多安全问题。因此，建筑施工安全在很大程度上依赖于施工机械的安全管理。
施工机械安全管理可以分为机械本身的安全维护和相关人员的安全操作两部分。而相关人员的安全管理，则是施工机械安全管理的重点和难点。人的安全管理是很难量化的，所以在实际生产中，相关人员的安全操作在很大程度上依赖于岗前安全培训和安全操作意识的培养。因此如何实现对相关人员机械操作过程的监督与评价，并对其安全操作状态进行量化，以此建立施工机械操作安全监督管理系统，是一个很值得探讨的问题。目前检测方法可以分为两种类型，即主观评价和客观评价。
主观评价方法以问卷调查为主。现有的疲劳评价量表有很多种类，量表评价方法表现出以下优势：(1)技术方案简单，不依赖于任何的设备，几乎适用于所有研究对象的任何工作场景。(2)针对不同的应用场景可以开发个性化的问卷和量表，评价指标具有很强的针对性。(3)合理的问卷设置能够保证检测结果的信度和效度。
然而量表评价法也存在很多不足：(1)无法做到实时检测与评价。文献中的研究都是采取每隔一段时间要求工人停止工作，接受量表调查的方式，这样只能得到工人某一时间点的疲劳状态。(2)检测结果存在较强的主观性。无论是问卷设置还是工人自我感知评价，都十分依赖研究者和被测者的主观意愿，这对研究结论的可靠性比较不利。
客观评价方法是指通过仪器设备等工具检测操作员的某项或某几项指标变化，进而进行疲劳的量化。从数据来源上，可以分为生理信号、面部检测和行为状态三类。
生理信号是一种稳定可靠的疲劳判断依据，具体包括脑电、心率、肌电、体温等。早期的研究大多基于心率测量来判断疲劳，然而这种方式的准确率十分有限，仅为59％。后续的研究证明，脑电信号或者脑电信号与其他生理信号的综合指标是更为准确的疲劳判定方式。
Tsa提出了一种通过检测工人的脑电节律和心率变异性来检测工人疲劳状态的方法，该方法可以实时确定工人疲劳程度，并在施工现场同时检测相当数量的工人；但是该方案在检测方法的敏感性、设备佩戴的舒适性、警报系统的智能化上仍存在一些问题。卢章平等综合了脑电和心电指标，提出一个明确的疲劳综合生理指标计算公式，但是其接触式的检测方法影响了操作员的正常操作。
总结来看，基于生理信号的疲劳检测研究有着明确的生理和医学研究基础，其评价方法客观可靠；但是其存在着检测设备复杂昂贵、设备影响工人正常工作的缺陷。
人的面部可以传达出相当丰富的、有价值的信息，例如眨眼、打哈欠、视线方向、面部表情等等。相比于生理信号的检测，面部检测方式有着设备非接触、检测成本低廉的优势，但同时也存在着判断指标及其阈值不够客观的缺陷。目前学术界十分看好基于操作员面部检测的疲劳检测方案，国内外学者也提出了很多面部检测的技术方案和综合的判断指标。
使用谷歌眼镜的接近传感器监测眨眼频率，来检测疲劳程度。这种方法价格较低，并且不需要专门的设备；但该方法仍存在着判断标准主观制定、车辆颠簸影响识别精度、眼镜电池续航时间短、无法适用于佩戴矫正眼镜或墨镜的缺陷。
现有技术中的基于面部检测的操作员疲劳检测方法有着实时、便捷、经济、非侵入接触的优势，但仍存在着算法不够稳定、结果不够准确、无法适用于复杂光线或操作员佩戴眼镜等情况的缺陷。
行为状态的含义十分广泛，它包含了操作员身体各个部位的动作以及其操作的施工机械的工作状态两个方面。具体来讲，操作员身体部位的异常动作包括间断的点头动作、颈部的频繁动作、手部的操作的迟钝与失误等；施工机械的异常工作状态包括不按规定路线行驶、长时间没有任何操作指令输入等。这种基于行为状态的疲劳检测同样可以做到非侵入性实时检测；但是其检测对象是施工机械，检测指标需要根据机械类型针对性地进行研究，很难形成一个通用的检测方法。
行为状态的检测一般作为疲劳状态判定的辅助因素，并且在机动车驾驶员的疲劳检测中已经得到了应用。一般来讲，当被检测对象处于疲劳状态时，其行为状态并不总会及时地反映出他的疲劳程度；然而当他的行为状态已经表现出明显异常时，被测对象一定已经处于了严重的疲劳状态。
发明内容
本发明为解决公知技术中存在的技术问题而提供一种基于机器视觉的施工机械操作员疲劳作业检测系统及方法。
本发明为解决公知技术中存在的技术问题所采取的技术方案是：
一种基于机器视觉的施工机械操作员疲劳作业检测系统，包括：用于采集视频数据的视觉采集系统，用于对面部图像进行器官特征提取的图像处理系统，用于根据操作员的面部器官动作数据评估其作业疲劳程度的疲劳指标评估系统；视觉采集系统采集操作员的面部视频数据；图像处理系统设有人脸图像识别系统，其接收来自视觉采集系统的面部视频数据，并将面部视频数据转换为视频文件流；人脸图像识别系统循环读取视频文件流中的每一帧图像，其对图像进行面部器官特征提取，并将提取的特征图发送给疲劳指标评价系统；疲劳指标评价系统由连续的面部器官特征图，测得面部器官的动作参数，其对每一种动作参数分别设置相应的阈值来进行疲劳程度评价，并根据面部器官的动作参数与疲劳状态的关联度，设置相应的权重，由各动作参数得到的疲劳程度评价指标结合对应权重，得到操作员疲劳状态综合指标。
进一步地，还包括报警系统，报警系统接收来自疲劳指标评价系统的疲劳综合指标信号，根据设定的阈值，判断疲劳级别并发出相应的警告信号。
本发明还提供了一种基于机器视觉的施工机械操作员疲劳作业检测方法，该方法包括：设置用于采集视频数据的视觉采集系统，设置用于对面部图像进行器官特征提取的图像处理系统，设置用于根据操作员的面部器官动作数据评估其作业疲劳程度的疲劳指标评估系统；采用视觉采集系统采集操作员的面部视频数据；在图像处理系统中设置人脸图像识别系统，采用图像处理系统接收来自视觉采集系统的面部视频数据，并将面部视频数据转换为视频文件流，采用人脸图像识别系统循环读取视频文件流中的每一帧图像，并对图像进行面部器官特征提取，然后将提取的特征图发送给疲劳指标评价系统；采用疲劳指标评价系统由连续的面部器官特征图测得面部器官的动作参数，使其对每一种动作参数分别设置相应的阈值来进行疲劳程度评价，并根据面部器官的动作参数与疲劳状态的关联度，设置相应的权重，由各动作参数得到的疲劳程度评价指标结合对应权重，得到操作员疲劳状态综合指标。
进一步地，人脸图像识别系统基于人脸特征点标定的dlib算法对图像进行面部器官特征点提取。
进一步地，面部器官的动作参数包括眨眼频率、平均眨眼时长及眼睑闭合时间百分比。
进一步地，眨眼频率、平均眨眼时长及眼睑闭合时间百分比的计算方法为：
人脸图像识别系统提取的眼部特征点，以眼睛中心为参照点分别定义如下：左侧为P1、左上方为P2、右上方为P3、右侧为P4、右下方为P5、左下方为P6；
设眼睛纵横比为EAR，其数值等于眼睛纵向界标与横向界标之间的欧氏距离比值，其计算公式表示如下：
Figure BDA0002800204110000041
检测对象前20～30s的视频作为样本，计算其中每一帧的EAR值，统计得出EAR中位数作为睁眼状态下EAR值；设置判定眼睛为闭眼状态的EAR阈值；
根据帧速率计算采集时长对应的帧数，当捕捉到连续超过0.1-0.2秒时长所对应的帧数的EAR值低于EAR阈值时，判定为一次眨眼；
设眨眼频率为BF，平均眨眼时长为ABT，眼睑闭合时间百分比为PERCLOS，三者的计算公式如下：
Figure BDA0002800204110000042
Figure BDA0002800204110000043
Figure BDA0002800204110000044
式中，n为累计眨眼次数；T1为疲劳检测的起始时刻；T2为疲劳检测的终止时刻；T3为某次眨眼的开始时刻；T4为某次眨眼的结束时刻；T5为眨眼过程中眼睑闭合80％的开始时刻；T6为眨眼过程中眼睑闭合80％的结束时刻。
进一步地，EAR阈值等于0.8倍的检测对象前20～30s的EAR中值。
进一步地，PERCLOS阈值的取值方法如下：
p＝e+0.2*(m-e)；
式中，p为PERCLOS阈值；e为30秒后的前三次眨眼过程中EAR最小值的平均值；m为第0秒至30秒后的第三次眨眼结束时间内的EAR中值。
进一步地，面部器官的动作参数还包括打哈欠频率。
进一步地，打哈欠频率的计算方法为：
人脸图像识别系统提取的嘴部特征点，以嘴部中心为参照点分别定义如下：左侧为M0、左上方为M2、右上方为M4、右侧为M6、右下方为M7、右下方为M9；
设嘴巴纵横比为MAR，其数值等于嘴巴纵向界标与横向界标之间的欧氏距离比值，其计算公式表示如下：
Figure BDA0002800204110000051
检测对象前20～30s的视频作为样本，计算其中每一帧的MAR值，统计得出MAR中位数作为闭嘴状态下MAR值；设置嘴巴为打哈欠状态的MAR阈值；
根据帧速率计算采集时长对应的帧数，当捕捉到连续超过1～2秒时长所对应的帧数的MAR值大于MAR阈值时，判定为一次打哈欠；
由打哈欠次数与时间的比值计算打哈欠频次。
进一步地，MAR阈值等于1.5倍的检测对象前20～30s的MAR中值。
进一步地，设眼睑闭合时间百分比对应的疲劳程度评价指标权重为1；平均眨眼时长对应的疲劳程度评价指标权重为0.8；眨眼频率对应的疲劳程度评价指标权重为0.2；打哈欠频次对应的疲劳程度评价指标权重为0.5；疲劳状态综合指标计算公式如下：
Figure BDA0002800204110000052
式中，X为疲劳状态综合指标，x1为眨眼频率对应的疲劳程度指标，x2为平均眨眼时长对应的疲劳程度指标，x3为眼睑闭合时间百分比对应的疲劳程度指标，x4为打哈欠频次对应的疲劳程度指标，x1、x2、x3、x4均为归一化后指标值。
进一步地，根据不同情景对应的综合疲劳指标的取值，将疲劳分为5个等级。
本发明具有的优点和积极效果是：采用基于人脸特征点标定的算法，如dlib算法等，识别人脸的多个特征点，提取眼睛和嘴巴等区域的特征点计算出实时EAR和MAR值。考虑个体差异的影响，采用一段时间的视频样本计算出各个疲劳指标对应的EAR和MAR的阈值。然后计算出眨眼频率、平均眨眼时长、PERCLOS以及哈欠频率的实时指标值，并使用归一化方法进行指标融合，得到一个综合疲劳指标。依据综合疲劳指标的取值和持续时间，采取不同程度的疲劳应对措施。
本发明提出的综合疲劳指标能够反映不同情境下检测对象疲劳状态的变化趋势，相比较现有技术，对作业者的疲劳程度的评估更加准确。本发明提出的综合疲劳指标能够反映不同情境下检测对象疲劳状态的变化趋势，其眨眼状态判定的正确率在95％左右。
附图说明
图1是本发明的一种工作流程示意图。
图2是人脸的68个特征点分布示意图。
图3是EAR边界特征点示意图。
图4是MAR边界特征点示意图。
图5是睁眼与眨眼过程中的EAR值变化示意图。
图6是疲劳指标计算原理示意图。
图7是不同疲劳综合指标值和持续时间下的应对措施图。
具体实施方式
为能进一步了解本发明的发明内容、特点及功效，兹列举以下实施例，并配合附图详细说明如下：
请参见图1至图7，一种基于机器视觉的施工机械操作员疲劳作业检测系统，该系统包括：用于采集视频数据的视觉采集系统，用于对面部图像进行器官特征提取的图像处理系统，用于根据操作员的面部器官动作数据评估其作业疲劳程度的疲劳指标评估系统；视觉采集系统采集操作员的面部视频数据；图像处理系统设有人脸图像识别系统，其接收来自视觉采集系统的面部视频数据，并将面部视频数据转换为视频文件流；人脸图像识别系统循环读取视频文件流中的每一帧图像，其对图像进行面部器官特征提取，并将提取的特征图发送给疲劳指标评价系统；疲劳指标评价系统由连续的面部器官特征图，测得面部器官的动作参数，其对每一种动作参数分别设置相应的阈值来进行疲劳程度评价，并根据面部器官的动作参数与疲劳状态的关联度，设置相应的权重，由各动作参数得到的疲劳程度评价指标结合对应权重，得到操作员疲劳状态综合指标。
视觉采集系统可包括摄像设备，摄像设备可为DellInspiron 7447，其内置的Sunplus Integrated_Webcam_HD摄像头，型号为USB\VID_1BCF&PID_2B8A&MI_00，分辨率为1280×720，视频帧率约为10帧/秒。
摄像设备也可采用Canon M50微单相机，配置15-45mm变焦镜头，视频录制分辨率1920×1080，帧率59.94帧/秒；
图像处理系统可采用现有技术中的图像处理系统。疲劳指标评估系统可运行在Python 3.6.8环境，Python Ide选用PyCharm 2017.1版本，并采用Ide导入numpy、opencv、dlib、scipy、imutils等相关类库。
优选地，该系统还可包括报警系统，报警系统接收来自疲劳指标评价系统的疲劳综合指标信号，根据设定的阈值，判断疲劳级别并发出相应的警告信号。
不同综合疲劳指标和持续时间下的应对措施如图7所示。无需操作、提醒、警告、报警这四种应对措施对应的疲劳程度依次增大。提醒措施为播放语音提示音，警告措施为持续播放尖锐的警笛声，并伴有语音提示；报警措施为播放警告音，并立即通知该机械附近的所有机械操作员和施工安全责任人。
在临界状态下持续30秒以上，则采取提醒措施；否则认为系统发生误判或操作员成功进行了自我调节，系统无需采取任何措施。在轻度疲劳状态下持续15秒以下，无需进行操作；持续45秒以上，进行警告；否则采取提醒措施。而对于中度疲劳状态，直接采取警告措施。对于严重疲劳状态，直接采取报警措施。
本发明还提供了一种基于机器视觉的施工机械操作员疲劳作业检测方法实施例，该方法包括：设置用于采集视频数据的视觉采集系统，设置用于对面部图像进行器官特征提取的图像处理系统，设置用于根据操作员的面部器官动作数据评估其作业疲劳程度的疲劳指标评估系统；采用视觉采集系统采集操作员的面部视频数据；在图像处理系统中设置人脸图像识别系统，采用图像处理系统接收来自视觉采集系统的面部视频数据，并将面部视频数据转换为视频文件流，采用人脸图像识别系统循环读取视频文件流中的每一帧图像，并对图像进行面部器官特征提取，然后将提取的特征图发送给疲劳指标评价系统；采用疲劳指标评价系统由连续的面部器官特征图测得面部器官的动作参数，使其对每一种动作参数分别设置相应的阈值来进行疲劳程度评价，并根据面部器官的动作参数与疲劳状态的关联度，设置相应的权重，由各动作参数得到的疲劳程度评价指标结合对应权重，得到操作员疲劳状态综合指标。
比如可将疲劳程度分为四个等级，即不疲劳、轻度疲劳、中度疲劳、严重疲劳，针对四个疲劳程度等级，对每一种动作参数分别设置相应的阈值。
优选地，可将由各动作参数得到的疲劳程度评价指标进行归一化处理，其方法如下：
Figure BDA0002800204110000081
式中，xi即为第i个动作参数的疲劳程度评价指标；xmax和xmin对应为第i个动作参数的疲劳程度评价指标的最大值和最小值；如果某一时刻的指标值xi＞xmax或xi＜xmin，则xi取为xmax或xmin。
优选地，人脸图像识别系统可基于人脸特征点标定的dlib算法对图像进行面部器官特征点提取。
优选地，面部器官的动作参数可包括眨眼频率、平均眨眼时长及眼睑闭合时间百分比。
优选地，眨眼频率、平均眨眼时长及眼睑闭合时间百分比的计算方法可如下：
人脸图像识别系统提取的眼部特征点，以眼睛中心为参照点可分别定义如下：左侧为P1、左上方为P2、右上方为P3、右侧为P4、右下方为P5、左下方为P6。
设眼睛纵横比为EAR，其数值等于眼睛纵向界标与横向界标之间的欧氏距离比值，其计算公式表示如下：
Figure BDA0002800204110000082
可检测对象前20～30s的视频作为样本，计算其中每一帧的EAR值，统计得出EAR中位数作为睁眼状态下EAR值；设置判定眼睛为闭眼状态的EAR阈值。
可根据帧速率计算采集时长对应的帧数，当捕捉到连续超过0.1-0.2秒时长所对应的帧数的EAR值低于EAR阈值时，判定为一次眨眼。
可设眨眼频率为BF，平均眨眼时长为ABT，眼睑闭合时间百分比为PERCLOS，三者的计算公式如下：
Figure BDA0002800204110000083
Figure BDA0002800204110000084
Figure BDA0002800204110000085
式中，n为累计眨眼次数；T1为疲劳检测的起始时刻；T2为疲劳检测的终止时刻；T3为某次眨眼的开始时刻；T4为某次眨眼的结束时刻；T5为眨眼过程中眼睑闭合80％的开始时刻；T6为眨眼过程中眼睑闭合80％的结束时刻。
优选地，EAR阈值可等于0.8倍的检测对象前20～30s的EAR中值。
优选地，PERCLOS阈值的取值方法可如下：
p＝e+0.2*(m-e)；
式中，p为PERCLOS阈值；e为30秒后的前三次眨眼过程中EAR最小值的平均值；m为第0秒至30秒后的第三次眨眼结束时间内的EAR中值。
优选地，面部器官的动作参数还可包括打哈欠频率。
优选地，打哈欠频率的计算方法可如下：
人脸图像识别系统提取的嘴部特征点，以嘴部中心为参照点分别定义如下：左侧为M0、左上方为M2、右上方为M4、右侧为M6、右下方为M7、右下方为M9。
设嘴巴纵横比为MAR，其数值等于嘴巴纵向界标与横向界标之间的欧氏距离比值，其计算公式表示可如下：
Figure BDA0002800204110000091
可检测对象前20～30s的视频作为样本，计算其中每一帧的MAR值，统计得出MAR中位数作为闭嘴状态下MAR值；设置嘴巴为打哈欠状态的MAR阈值。
可根据帧速率计算采集时长对应的帧数，当捕捉到连续超过1～2秒时长所对应的帧数的MAR值大于MAR阈值时，判定为一次打哈欠。
可由打哈欠次数与时间的比值计算打哈欠频次。
优选地，MAR阈值可等于1.5倍的检测对象前20～30s的MAR中值。
优选地，可设眼睑闭合时间百分比对应的疲劳程度评价指标权重为1；平均眨眼时长对应的疲劳程度评价指标权重为0.8；眨眼频率对应的疲劳程度评价指标权重为0.2；打哈欠频次对应的疲劳程度评价指标权重为0.5；疲劳状态综合指标计算公式可如下：
Figure BDA0002800204110000092
式中，X为疲劳状态综合指标，x1为眨眼频率对应的疲劳程度指标，x2为平均眨眼时长对应的疲劳程度指标，x3为眼睑闭合时间百分比对应的疲劳程度指标，x4为打哈欠频次对应的疲劳程度指标，x1、x2、x3、x4均为归一化后指标值。
优选地，可根据不同情景对应的综合疲劳指标的取值，将疲劳分为四个或五个等级。
优选地，人脸图像识别系统读取视频文件流前，可对视频文件流的每一帧进行灰度化处理。对视频流做了灰度化处理，因此光线的颜色并不影响检测算法的精度；而光线的强度才是影响检测算法准确性的关键因素。光线的强度决定了照片中人脸的曝光程度，进而影响人脸特征区域的细节和成像质量。
本发明的工作原理：
本发明采用dlib模型等工具标注人脸特征点，计算实时的EAR和MAR值，并取作业者一段时间的面部视频作为样本计算出相应的阈值，进而计算出眨眼频率、平均眨眼时长、PERCLOS以及哈欠频率这四个指标值，利用归一化方法进行指标融合，依据综合疲劳指标的取值和持续时间采取不同的疲劳应对措施。
(1)疲劳检测的本质是人脸特征点之间欧氏距离的计算。
欧式距离即为N维空间中两点之间的真实距离，在二维和三维空间中的欧氏距离就是两点之间的实际距离。本系统引用了EAR和MAR的概念，将复杂的图像处理问题转化为特征点之间的距离计算，从而得出了四个疲劳评价指标。
(2)EAR与MAR阈值的选取考虑了检测对象的个体差异。
本系统中以检测对象一段时间的视频作为样本，优选前30秒的面部视频，统计其中每一帧的EAR值，并选择0.8倍的EAR中值作为眨眼判断的EAR阈值。选择中位数是因为人闭眼的帧数一般不会超过总帧数的15％，中值一定反映的是人的睁眼状态；而0.8倍则是考虑到睁眼状态下的EAR数值存在一定波动，为了减少这种波动导致的疲劳误报的概率而选取的一个相对保守的倍数。
(3)采用归一化方法，将四个指标融合为一个疲劳综合指标。
本系统并没有针对四个疲劳指标制定复杂的判断逻辑，而是选择将指标融合为一个综合指标，根据综合指标的数值划分疲劳等级。这种疲劳判定的方式比较简单，对某一检测指标的容错率较高，也方便后续的检测实验以及依据实验结果调整疲劳判定规则。
(4)处理措施的选择考虑了综合疲劳指标取值的持续时间。
本系统针对临界状态和轻度疲劳状态，从实用性和容错率的角度出发，设定了持续时间作为应对措施的考虑因素之一；而对于完全清醒、中度疲劳以及严重疲劳状态，则不考虑持续时间的因素，直接依据综合疲劳指标的取值采取应对措施。
以上所述的实施例仅用于说明本发明的技术思想及特点，其目的在于使本领域内的技术人员能够理解本发明的内容并据以实施，不能仅以本实施例来限定本发明的专利范围，即凡本发明所揭示的精神所作的同等变化或修饰，仍落在本发明的专利范围内。

Claims (13)

1.一种基于机器视觉的施工机械操作员疲劳作业检测系统，其特征在于，包括：用于采集视频数据的视觉采集系统，用于对面部图像进行器官特征提取的图像处理系统，用于根据操作员的面部器官动作数据评估其作业疲劳程度的疲劳指标评估系统；视觉采集系统采集操作员的面部视频数据；图像处理系统设有人脸图像识别系统，其接收来自视觉采集系统的面部视频数据，并将面部视频数据转换为视频文件流；人脸图像识别系统循环读取视频文件流中的每一帧图像，其对图像进行面部器官特征提取，并将提取的特征图发送给疲劳指标评价系统；疲劳指标评价系统由连续的面部器官特征图，测得面部器官的动作参数，其对每一种动作参数分别设置相应的阈值来进行疲劳程度评价，并根据面部器官的动作参数与疲劳状态的关联度，设置相应的权重，由各动作参数得到的疲劳程度评价指标结合对应权重，得到操作员疲劳状态综合指标。
2.根据权利要求1所述的基于机器视觉的施工机械操作员疲劳作业检测系统，其特征在于，还包括报警系统，报警系统接收来自疲劳指标评价系统的疲劳综合指标信号，根据设定的阈值，判断疲劳级别并发出相应的警告信号。
3.一种基于机器视觉的施工机械操作员疲劳作业检测方法，其特征在于，该方法包括：设置用于采集视频数据的视觉采集系统，设置用于对面部图像进行器官特征提取的图像处理系统，设置用于根据操作员的面部器官动作数据评估其作业疲劳程度的疲劳指标评估系统；采用视觉采集系统采集操作员的面部视频数据；在图像处理系统中设置人脸图像识别系统，采用图像处理系统接收来自视觉采集系统的面部视频数据，并将面部视频数据转换为视频文件流，采用人脸图像识别系统循环读取视频文件流中的每一帧图像，并对图像进行面部器官特征提取，然后将提取的特征图发送给疲劳指标评价系统；采用疲劳指标评价系统由连续的面部器官特征图测得面部器官的动作参数，使其对每一种动作参数分别设置相应的阈值来进行疲劳程度评价，并根据面部器官的动作参数与疲劳状态的关联度，设置相应的权重，由各动作参数得到的疲劳程度评价指标结合对应权重，得到操作员疲劳状态综合指标。
4.根据权利要求3所述的基于机器视觉的施工机械操作员疲劳作业检测方法，其特征在于，人脸图像识别系统基于人脸特征点标定的dlib算法对图像进行面部器官特征点提取。
5.根据权利要求4所述的基于机器视觉的施工机械操作员疲劳作业检测方法，其特征在于，面部器官的动作参数包括眨眼频率、平均眨眼时长及眼睑闭合时间百分比。
6.根据权利要求5所述的基于机器视觉的施工机械操作员疲劳作业检测方法，其特征在于，眨眼频率、平均眨眼时长及眼睑闭合时间百分比的计算方法为：
人脸图像识别系统提取的眼部特征点，以眼睛中心为参照点分别定义如下：左侧为P1、左上方为P2、右上方为P3、右侧为P4、右下方为P5、左下方为P6；
设眼睛纵横比为EAR，其数值等于眼睛纵向界标与横向界标之间的欧氏距离比值，其计算公式表示如下：
Figure FDA0002800204100000021
检测对象前20～30s的视频作为样本，计算其中每一帧的EAR值，统计得出EAR中位数作为睁眼状态下EAR值；设置判定眼睛为闭眼状态的EAR阈值；
根据帧速率计算采集时长对应的帧数，当捕捉到连续超过0.1-0.2秒时长所对应的帧数的EAR值低于EAR阈值时，判定为一次眨眼；
设眨眼频率为BF，平均眨眼时长为ABT，眼睑闭合时间百分比为PERCLOS，三者的计算公式如下：
Figure FDA0002800204100000022
Figure FDA0002800204100000023
Figure FDA0002800204100000024
式中，n为累计眨眼次数；T1为疲劳检测的起始时刻；T2为疲劳检测的终止时刻；T3为某次眨眼的开始时刻；T4为某次眨眼的结束时刻；T5为眨眼过程中眼睑闭合80％的开始时刻；T6为眨眼过程中眼睑闭合80％的结束时刻。
7.根据权利要求6所述的基于机器视觉的施工机械操作员疲劳作业检测方法，其特征在于，EAR阈值等于0.8倍的检测对象前20～30s的EAR中值。
8.根据权利要求6所述的基于机器视觉的施工机械操作员疲劳作业检测方法，其特征在于，PERCLOS阈值的取值方法如下：
p＝e+0.2*(m-e)；
式中，p为PERCLOS阈值；e为30秒后的前三次眨眼过程中EAR最小值的平均值；m为第0秒至30秒后的第三次眨眼结束时间内的EAR中值。
9.根据权利要求5所述的基于机器视觉的施工机械操作员疲劳作业检测方法，其特征在于，面部器官的动作参数还包括打哈欠频率。
10.根据权利要求9所述的基于机器视觉的施工机械操作员疲劳作业检测方法，其特征在于，打哈欠频率的计算方法为：
人脸图像识别系统提取的嘴部特征点，以嘴部中心为参照点分别定义如下：左侧为M0、左上方为M2、右上方为M4、右侧为M6、右下方为M7、右下方为M9；
设嘴巴纵横比为MAR，其数值等于嘴巴纵向界标与横向界标之间的欧氏距离比值，其计算公式表示如下：
Figure FDA0002800204100000031
检测对象前20～30s的视频作为样本，计算其中每一帧的MAR值，统计得出MAR中位数作为闭嘴状态下MAR值；设置嘴巴为打哈欠状态的MAR阈值；
根据帧速率计算采集时长对应的帧数，当捕捉到连续超过1～2秒时长所对应的帧数的MAR值大于MAR阈值时，判定为一次打哈欠；
由打哈欠次数与时间的比值计算打哈欠频次。
11.根据权利要求10所述的基于机器视觉的施工机械操作员疲劳作业检测方法，其特征在于，MAR阈值等于1.5倍的检测对象前20～30s的MAR中值。
12.根据权利要求9所述的基于机器视觉的施工机械操作员疲劳作业检测方法，其特征在于，设眼睑闭合时间百分比对应的疲劳程度评价指标权重为1；平均眨眼时长对应的疲劳程度评价指标权重为0.8；眨眼频率对应的疲劳程度评价指标权重为0.2；打哈欠频次对应的疲劳程度评价指标权重为0.5；疲劳状态综合指标计算公式如下：
Figure FDA0002800204100000032
式中，X为疲劳状态综合指标，x1为眨眼频率对应的疲劳程度指标，x2为平均眨眼时长对应的疲劳程度指标，x3为眼睑闭合时间百分比对应的疲劳程度指标，x4为打哈欠频次对应的疲劳程度指标，x1、x2、x3、x4均为归一化后指标值。
13.根据权利要求3所述的基于机器视觉的施工机械操作员疲劳作业检测方法，其特征在于，根据不同情景对应的综合疲劳指标的取值，将疲劳分为5个等级。
CN202011347239.8A 2020-11-26 2020-11-26 基于机器视觉的施工机械操作员疲劳作业检测系统及方法 Pending CN112528767A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011347239.8A CN112528767A (zh) 2020-11-26 2020-11-26 基于机器视觉的施工机械操作员疲劳作业检测系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011347239.8A CN112528767A (zh) 2020-11-26 2020-11-26 基于机器视觉的施工机械操作员疲劳作业检测系统及方法

Publications (1)

Publication Number Publication Date
CN112528767A true CN112528767A (zh) 2021-03-19

Family

ID=74993906

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011347239.8A Pending CN112528767A (zh) 2020-11-26 2020-11-26 基于机器视觉的施工机械操作员疲劳作业检测系统及方法

Country Status (1)

Country Link
CN (1) CN112528767A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113297966A (zh) * 2021-05-25 2021-08-24 郑州铁路职业技术学院 一种基于多重刺激的夜间学习方法
CN117274919A (zh) * 2023-11-23 2023-12-22 深圳鹏锐信息技术股份有限公司 一种基于机器视觉的厂区施工违章行为监测管理系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107491769A (zh) * 2017-09-11 2017-12-19 中国地质大学（武汉） 基于AdaBoost算法的疲劳驾驶检测方法及系统
CN109934199A (zh) * 2019-03-22 2019-06-25 扬州大学 一种基于计算机视觉的驾驶员疲劳检测方法及系统
CN110210382A (zh) * 2019-05-30 2019-09-06 上海工程技术大学 一种基于时空特征识别的人脸疲劳驾驶检测方法及装置
CN110532887A (zh) * 2019-07-31 2019-12-03 郑州大学 一种基于面部特征融合的疲劳驾驶检测方法及系统
CN110532976A (zh) * 2019-09-03 2019-12-03 湘潭大学 基于机器学习和多特征融合的疲劳驾驶检测方法及系统
CN111310683A (zh) * 2020-02-24 2020-06-19 合肥工业大学 一种基于驾驶员疲劳检测的人机协同控制方法及系统
CN111582086A (zh) * 2020-04-26 2020-08-25 湖南大学 基于多特征的疲劳驾驶识别方法及系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107491769A (zh) * 2017-09-11 2017-12-19 中国地质大学（武汉） 基于AdaBoost算法的疲劳驾驶检测方法及系统
CN109934199A (zh) * 2019-03-22 2019-06-25 扬州大学 一种基于计算机视觉的驾驶员疲劳检测方法及系统
CN110210382A (zh) * 2019-05-30 2019-09-06 上海工程技术大学 一种基于时空特征识别的人脸疲劳驾驶检测方法及装置
CN110532887A (zh) * 2019-07-31 2019-12-03 郑州大学 一种基于面部特征融合的疲劳驾驶检测方法及系统
CN110532976A (zh) * 2019-09-03 2019-12-03 湘潭大学 基于机器学习和多特征融合的疲劳驾驶检测方法及系统
CN111310683A (zh) * 2020-02-24 2020-06-19 合肥工业大学 一种基于驾驶员疲劳检测的人机协同控制方法及系统
CN111582086A (zh) * 2020-04-26 2020-08-25 湖南大学 基于多特征的疲劳驾驶识别方法及系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113297966A (zh) * 2021-05-25 2021-08-24 郑州铁路职业技术学院 一种基于多重刺激的夜间学习方法
CN117274919A (zh) * 2023-11-23 2023-12-22 深圳鹏锐信息技术股份有限公司 一种基于机器视觉的厂区施工违章行为监测管理系统
CN117274919B (zh) * 2023-11-23 2024-03-01 深圳鹏锐信息技术股份有限公司 一种基于机器视觉的厂区施工违章行为监测管理系统

Similar Documents

Publication Publication Date Title
KR101898414B1 (ko) 3차원 안구 움직임 측정 방법 및 전자동 딥러닝 기반 어지럼 진단 시스템
CN106846734B (zh) 一种疲劳驾驶检测装置及方法
CN109157186A (zh) 无人化自助视力监测仪
US11715333B2 (en) Human monitoring system incorporating calibration methodology
CN112235537B (zh) 一种变电站现场作业安全预警方法
CN105243386A (zh) 人脸活体判断方法以及系统
CN106023516A (zh) 一种考试监控方法、系统及考场监控器
CN113887386B (zh) 基于深度学习和机器学习的多特征融合的疲劳检测方法
CN112528767A (zh) 基于机器视觉的施工机械操作员疲劳作业检测系统及方法
CN104068868A (zh) 一种基于机器视觉的驾驶人疲劳监测方法及装置
CN109063686A (zh) 一种汽车驾驶员疲劳检测方法及系统
CN110136172A (zh) 一种矿工下井前防护设备佩戴的检测方法
CN108537138A (zh) 一种基于机器视觉的眼睛闭合度计算方法
Al Redhaei et al. Realtime driver drowsiness detection using machine learning
Alagarsamy et al. An automated assistance system for detecting the stupor of drivers using vision-based technique
CN105894732A (zh) 一种疲劳驾驶监测系统
CN116965781B (zh) 一种驾驶员生命体征和驾驶行为监控方法及系统
Amudha et al. A fuzzy based eye gaze point estimation approach to study the task behavior in autism spectrum disorder
CN111860437A (zh) 一种基于面部表情判断疲劳程度的方法及装置
CN115937829A (zh) 一种吊车驾驶室操作人员异常行为检测方法
CN108618789A (zh) 基于opencv技术的疲劳驾驶预警系统
CN113901866A (zh) 一种机器视觉的疲劳驾驶预警方法
CN114492656A (zh) 一种基于计算机视觉和传感器的疲劳度监测系统
RU188260U1 (ru) Система на основе термоэлектрических приемников инфракрасного излучения и физиологических датчиков для определения достоверности ответов человека
CN109344791B (zh) 基于脸部智能扫描的识别鉴定方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210319