CN109670421B - 一种疲劳状态检测方法和装置 - Google Patents

Abstract

本发明公开一种疲劳状态检测方法和装置。疲劳状态检测方法包括：利用相机参数实时调整的TOF相机对用户摄像，获取用户的红外图像和深度图像；对红外图像进行人脸识别，获取人脸位置以及获取人脸位置中包含的面部特征点；根据人脸位置中包含的面部特征点确定头部姿态和目标区域的状态，利用头部姿态、目标区域的状态和外部环境信息实现疲劳状态检测；根据红外图像和深度图像像素点的对应关系，获取深度图像中所述人脸位置对应的深度信息，利用深度信息调整所述TOF相机的参数。本发明综合多种特征信息识别用户的疲劳状态，可以提高识别结果的准确性，以及通过调整TOF相机与用户之间的距离获得更好的成像效果，进而提高基疲劳状态检测结果。

Description

一种疲劳状态检测方法和装置

技术领域

本发明涉及机器学习技术领域，尤其涉及一种疲劳状态检测方法和装置。

背景技术

由于疲劳驾驶是造成交通事故的重要原因之一，市场上对于疲劳检设备的需求日益增大，利用疲劳检测设备监测闭眼、打哈欠、低头等动作来判断驾驶员疲劳状态，进而选择相应的报警级别，这对于避免交通事故，提高行车安全有着重要意义。

现有技术中，大多是基于RGB相机或者红外相机并配合机器学习算法，通过人眼、人脸或嘴巴的实时状态进行疲劳状态检测。其中，使用RGB相机容易受到光照影响，例如在白天光照不均匀的情况下，不均匀的光线对图像的识别干扰极大，导致疲劳状态检测结果不准确；而使用红外相机可以避免光照影响，但由于红外相机采集的图片没有深度信息，无法得到相机和驾驶员之间的距离，当驾驶员或相机位置发生变动，无法根据距离调节亮度，进而影响疲劳状态检测结果的准确性。

发明内容

本发明提供了一种疲劳状态检测方法和装置，以解决现有技术无法准确识别驾驶员疲劳状态的问题。

本发明一方面提供了一种疲劳状态检测方法，包括：利用相机参数实时调整的TOF相机对用户摄像，获取用户的红外图像和深度图像，同时间拍摄的红外图像和深度图像的像素点之间一一对应；对红外图像进行人脸识别，获取人脸位置以及获取人脸位置中包含的面部特征点；根据人脸位置中包含的面部特征点确定头部姿态和目标区域的状态，利用头部姿态、目标区域的状态和外部环境信息实现疲劳状态检测；根据红外图像和深度图像像素点的对应关系，获取深度图像中所述人脸位置对应的深度信息，利用深度信息调整所述TOF相机的参数。

本发明一方面提供了一种疲劳状态检测装置，包括：图像获取单元，用于利用相机参数实时调整的TOF相机对用户摄像，获取用户的红外图像和深度图像，同时间拍摄的红外图像和深度图像的像素点之间一一对应；特征点识别单元，用于对红外图像进行人脸识别，获取人脸位置以及获取人脸位置中包含的面部特征点；疲劳检测单元，用于根据人脸位置中包含的面部特征点确定头部姿态和目标区域的状态，利用头部姿态、目标区域的状态和外部环境信息实现疲劳状态检测；相机调整单元，用于根据红外图像和深度图像像素点的对应关系，获取深度图像中所述人脸位置对应的深度信息，利用深度信息调整TOF相机的参数。

本发明利用TOF相机同时获得红外图和深度图，一方面利用红外成像不受光照环境影响，避免光照对疲劳检测的影响，并在疲劳检测过程中，综合头部姿态、目标区域的状态和外部环境信息等多种特征信息识别用户的疲劳状态，提高疲劳状态识别的准确性；另一方面利用深度图测算TOF相机与用户之间的距离变化，在用户位置发生变化时，及时调节亮度，提高成像效果，进一步提高疲劳检测的准确性。

附图说明

图1为本发明实施例示出的疲劳状态检测方法的流程图；

图2为本发明实施例示出的闭眼动作检测流程图；

图3为本发明实施例示出的张嘴动作检测流程图；

图4为本发明实施例示出的歪头动作检测流程图；

图5为本发明实施例示出的疲劳状态检测装置的结构框图；

图6为本发明实施例示出的疲劳状态检测装置的硬件结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

以下，将参照附图来描述本发明的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。

在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本发明。这里使用的词语“一”、“一个(种)”和“该”等也应包括“多个”、“多种”的意思，除非上下文另外明确指出。此外，在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。

在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。

附图中示出了一些方框图和/或流程图。应理解，方框图和/或流程图中的一些方框或其组合可以由计算机程序指令来实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，从而这些指令在由该处理器执行时可以创建用于实现这些方框图和/或流程图中所说明的功能/操作的装置。

因此，本发明的技术可以硬件和/或软件(包括固件、微代码等)的形式来实现。另外，本发明的技术可以采取存储有指令的机器可读介质上的计算机程序产品的形式，该计算机程序产品可供指令执行系统使用或者结合指令执行系统使用。在本发明的上下文中，机器可读介质可以是能够包含、存储、传送、传播或传输指令的任意介质。例如，机器可读介质可以包括但不限于电、磁、光、电磁、红外或半导体系统、装置、器件或传播介质。机器可读介质的具体示例包括：磁存储装置，如磁带或硬盘(HDD)；光存储装置，如光盘(CD-ROM)；存储器，如随机存取存储器(RAM)或闪存；和/或有线/无线通信链路。

目前，大多是通过人脸的单一特性进行疲劳检测，例如通过眼睛的闭合，或者头部状态或者嘴巴张合来判断用户是否疲劳，基于单一特性的判断不能准确反映用户的真实状态，本发明综合多种特性进行疲劳检测，快速准确的识别用户的疲劳状态。

本发明一方面提供一种疲劳状态检测方法。

图1为本发明实施例示出的疲劳状态检测方法的流程图，如图1所示，本实施例的方法包括：

S110，利用相机参数实时调整的TOF相机对用户摄像，获取用户的红外图像和深度图像，同时间拍摄的红外图像和深度图像的像素点之间一一对应。

TOF相机为采用飞行时间(Time of Flight，TOF)技术的相机，即传感器发出经调制的近红外光，遇物体后反射，传感器通过计算光线发射和反射时间差或相位差，来获得被拍摄物体的距离，以产生深度信息，此外再结合传统的相机拍摄，就能将物体的三维轮廓以不同颜色代表不同距离的地形图方式呈现出来。

S120，对红外图像进行人脸识别，获取人脸位置以及获取人脸位置中包含的面部特征点。

S130，根据人脸位置中包含的面部特征点确定头部姿态和目标区域的状态，利用头部姿态、目标区域的状态和外部环境信息实现疲劳状态检测。

本实施例中目标区域包括但不限于嘴巴所在区域、眼睛所在区域。

S140，根据红外图像和深度图像像素点的对应关系，获取深度图像中人脸位置对应的深度信息，利用深度信息调整所述TOF相机的参数。

其中，深度信息表示TOF相机与人脸之间的距离。

本实施例利用TOF相机同时获得红外图和深度图，一方面利用红外成像不受光照环境影响，避免光照对疲劳检测的影响，并在疲劳检测过程中，综合头部姿态、目标区域的状态和外部环境信息等多种特征信息识别用户的疲劳状态，提高疲劳状态识别的准确性；另一方面利用深度图测算TOF相机与用户之间的距离变化，在用户位置发生变化时，及时调节亮度，提高成像效果，进一步提高疲劳检测的准确性。

图2为本发明实施例示出的闭眼动作检测流程图，图3为本发明实施例示出的张嘴动作检测流程图，图4为本发明实施例示出的歪头动作检测流程图，下面结合如图2-4对上述步骤S110-S140进行详细说明。

首先，执行步骤S110，即利用相机参数实时调整的TOF相机对用户摄像，获取用户的红外图像和深度图像，同时间拍摄的红外图像和深度图像的像素点之间一一对应。

本实施例利用TOF相机可以得到红外图像和深度图像，由于红外图像和深度图像是由同一个传感器产生，因此同时间拍摄得到的红外图像帧和深度图像帧之间的像素点是一一对应的。本实施例可以利用同时间拍摄得到的红外图像和深度图像像素点之间的对应关系获得深度图像中人脸位置，进而获得人脸相对TOF相机的距离，获得用户位置是否发生变化。

在获得红外图像和深度图像之后，继续执行步骤S120，即对红外图像进行人脸识别，获取人脸位置以及获取人脸位置中包含的面部特征点。

本实施例通过下述方法确定面部特征点：首先利用OpenCV中的Haar级联分类器对红外图像进行识别，获取人脸框中尺寸最大的区域为人脸位置的区域；即在利用Haar级联分类器对红外图像进行全图查找得到人脸框时，如果人脸框中存在多个人脸区域，则选择最大的人脸区域为人脸位置所在区域。然后利用dlib机器学习库确定人脸位置区域中包含的面部特征点，面部特征点用于进行人脸状态检测，本实施例可以确定68个面部特征点，这68个面部特征点可以表达所有面度特征。

在确定面部特征点之后，继续执行步骤S130，即根据人脸位置中包含的面部特征点确定头部姿态和目标区域的状态，利用头部姿态、目标区域的状态和外部环境信息实现疲劳状态检测。

本实施例可以通过下述方法确定目标区域的状态：首先根据面部特征点定位红外图像中眼睛和嘴巴的位置，截取眼睛所在位置和嘴巴所在位置的红外图像作为感兴趣区域；本实施例利用point1,point2,…point68依次标记68个面度特征点，其中point36至point47特征点所在区域为眼睛区域，point48至point67特征点所在区域为嘴巴区域，截取红外图像中的这两部分区域，得到眼睛局部图像和嘴巴局部图像。接着利用SVM模型对感兴趣区域进行识别，获得表示眼睛状态的第一状态值和表示嘴巴状态的第二状态值，第一状态值和第二状态值为零表示开状态，为1表示合状态。其中，目标区域的状态包括眼睛状态和嘴巴状态，眼睛状态包括闭眼动作，嘴巴状态包括打哈欠动作。然后，在第一状态值为1时，获取设定时间段内拍摄到的红外图像序列，利用获取的红外图像序列中的帧图像依次更新基础图像序列，并在更新过程中，若基础图像序列中眼睛所在位置的红外图像对应的第一状态值为1的帧图像数量比值大于第一比例阈值，且在设定时间段内拍摄到的红外图像序列均被更新到基础图像序列中后，基础图像序列中眼睛所在位置的红外图像对应的第一状态值为1的帧图像数量比值和连续帧图像数量依次大于第二比例阈值、第三数量阈值时，确定发生闭眼动作；在第二状态值为0时，获取设定时间段内拍摄到的红外图像序列，利用获取的红外图像序列中的帧图像依次更新基础图像序列，并在更新过程中，若基础图像序列中嘴巴所在位置的红外图像对应的第一状态值为0的帧图像数量比值大于第一比例阈值，且在设定时间段内拍摄到的红外图像序列均被更新到基础图像序列中后，基础图像序列中嘴巴所在位置的红外图像对应的第二状态值为0的帧图像数量比值和连续帧图像数量依次大于第二比例阈值、第四数量阈值时，确定发生闭眼动作；其中，第二比例阈值大于第一比例阈值，第三数量阈值根据图像采集频率和闭眼时长确定，第四数量阈值根据图像采集频率和打哈欠时长确定。

图2为本发明实施例示出的闭眼动作检测流程图，如图2所示，利用SVM模型对相应于眼睛的感兴趣区域进行识别，获得表示眼睛状态的第一状态值State1。当第一状态值State1为1时，即识别红外图像中眼睛处于闭合状态时，获取设定时间段内拍摄到的红外图像序列，图2中该设定时间段为0.7s时段，假设0.7s时段可以拍摄的红外图像序列帧包括10帧，此时基础图像序列为前0.7s拍摄的10帧红外图像序列，当检测到当前红外图像中的眼睛处于闭合状态时，利用下一时刻拍摄的红外图像更新基础图像序列中的第一帧图像，在更新过程中，确定基础图像序列中眼睛所在位置的红外图像对应的第一状态值为1的帧图像数量比值是否大于第一比例阈值，如图2所示，确定基础图像序列中眼睛所在位置的红外图像对应的第一状态值为1的帧图像数量比值是否大于0.5，即在更新过程中，如果基础图像序列中眼睛所在位置的红外图像对应的第一状态值为1的帧图像数量小于5张，确定没有发生闭眼动作，继续检测下一帧红外图像的目标区域的状态，反之，如果基础图像序列中眼睛所在位置的红外图像对应的第一状态值为1的帧图像数量大于5张，在0.7s时段内拍摄的10帧红外图像序列帧均被更新到基础图像序列中时，此时基础图像序列为0.7s时段内拍摄的10帧红外图像序列，若此10帧红外图像序列中眼睛所在位置的红外图像对应的第一状态值为1的帧图像数量比值和连续帧图像数量依次大于0.9、第三数量阈值Hold on Frames时，确定发生闭眼动作，否则确定没有发生闭眼动作。

图3为本发明实施例示出的打哈欠动作检测流程图，如图3所示，利用SVM模型对相应于嘴巴的感兴趣区域进行识别，获得表示嘴巴状态的第二状态值State2。当第二状态值State2为0时，即识别红外图像中嘴巴处于张开状态时，获取设定时间段内拍摄到的红外图像序列，图3中该设定时间段为0.7s时段，假设0.7s时段可以拍摄的红外图像序列帧包括10帧，此时基础图像序列为前0.7s拍摄的10帧红外图像序列，当检测到当前红外图像中的嘴巴处于张开状态时，利用下一时刻拍摄的红外图像更新基础图像序列中的第一帧图像，在更新过程中，确定基础图像序列中嘴巴所在位置的红外图像对应的第一状态值为0的帧图像数量比值是否大于0.5，即在更新过程中，如果基础图像序列中嘴巴所在位置的红外图像对应的第二状态值为0的帧图像数量小于5张，确定没有发生打哈欠动作，继续检测下一帧红外图像的目标区域的状态，反之，如果基础图像序列中嘴巴所在位置的红外图像对应的第二状态值为0的帧图像数量大于5张，在0.7s时段内拍摄的10帧红外图像序列帧均被更新到基础图像序列中时，此时基础图像序列为0.7s时段内拍摄的10帧红外图像序列，若此10帧红外图像序列中嘴巴所在位置的红外图像对应的第二状态值为0的帧图像数量比值和连续帧图像数量依次大于0.9、第四数量阈值Hold onFrames’时，确定发生打哈欠动作，否则确定没有发生打哈欠动作。

本实施例可以通过下述方法确定目标区域的状态：首先根据面部特征点和TOF相机的校准参数，确定头部姿态的第三状态值，第三状态值为零表示正常状态，非零表示歪头状态，例如01表示侧头，02表示低头，03表示仰头；本实施例中的校准参数包括焦距参数、相机坐标位置参数等，可以利用现有的技术进行头部姿态确定，例如利用约束局部模型(Constrained local model，CLM)算法和透视n点定位(pespective-n-point，PnP)算法识别头部姿态。然后在第三状态值为非零时，获取设定时间段内拍摄到的红外图像序列，利用获取的红外图像序列中的帧图像依次更新基础图像序列，并在更新过程中，若基础图像序列中确定头部姿态的第三姿态值对应为非零值的帧图像数量比值大于第一比例阈值，且在设定时间段内拍摄到的红外图像序列均被更新到基础图像序列中后，基础图像序列中确定头部姿态的第三状态值对应为非零值的帧图像数量比值和连续帧图像数量依次大于第二比例阈值、第五数量阈值时，确定发生歪头动作；其中，第五数量阈值根据图像采集频率和歪头时长确定。

图4为本发明实施例示出的低头动作检测流程图，如图4所示，根据68个面部特征点和TOF相机的校准参数，确定头部姿态的第三状态值state3。当第三状态值state3为02时，即识别红外图像中头部姿态为低头状态时，获取设定时间段内拍摄到的红外图像序列，图4中该设定时间段为0.7s时段，假设0.7s时段可以拍摄的红外图像序列帧包括10帧，此时基础图像序列为前0.7s拍摄的10帧红外图像序列，当检测到当前红外图像中的头部姿态为低头状态时，利用下一时刻拍摄的红外图像更新基础图像序列中的第一帧图像，在更新过程中，确定基础图像序列中头部姿态的第三状态值为02的帧图像数量比值是否大于0.5，即在更新过程中，如果基础图像序列中头部姿态的第三状态值为02的帧图像数量小于5张，确定没有发生低头动作，继续检测下一帧红外图像中的头部姿态，反之，如果基础图像序列中头部姿态的第三状态值为02的帧图像数量大于5张，在0.7s时段内拍摄的10帧红外图像序列帧均被更新到基础图像序列中时，此时基础图像序列为0.7s时段内拍摄的10帧红外图像序列，若此10帧红外图像序列中头部姿态的第三状态值为02的帧图像数量比值和连续帧图像数量依次大于0.9、第五数量阈值Hold on Frames”时，确定发生低头动作，否则确定没有发生低头动作。对于头部姿态中的侧头和仰头的检测过程可以参见对低头动作的检测过程，本实施例在此不再赘述。

本实施例通过上述检测方法对打哈欠动作、闭眼动作和歪头动作进行检测，可以避免将用户的眨眼、说话或摇头调整颈椎等非疲劳状态特征误判断为疲劳状态特征，进而提高疲劳检测的准确性。

在检测到头部姿态和目标区域的状态时，例如在头部姿态包括歪头动作，以及目标区域的状态包括闭眼动作和/或打哈欠动作时，根据头部姿态中的歪头动作，以及目标区域姿态中的闭眼动作和/或打哈欠动作，并结合外部环境信息，确定用户处于疲劳状态；外部环境信息包括行车速度、天气、时段信息。

在实现疲劳状态检测之后，继续执行步骤S140，即根据红外图像和深度图像像素点的对应关系，获取深度图像中人脸位置对应的深度信息，利用深度信息调整TOF相机的参数。

本实施例中的深度信息为每帧深度图像中人脸位置对应的人脸区域内各像素点深度值之和的平均值，相机参数包括增益参数Gain和激光亮度参数Pulsecnt。

本实施例利用深度信息所指示的TOF相机与人脸之间的距离，在根据深度信息确定用户与TOF相机距离变近时，调小TOF相机的增益参数Gain和激光亮度参数Pulsecnt，使亮度变暗；在根据深度信息确定用户与TOF相机距离变远时，调大TOF相机的增益参数Gain和激光亮度参数Pulsecnt，使亮度变亮，以达到更好的成像效果，使疲劳检测更准确。

本发明另一方面提供一种疲劳状态检测装置。

图5为本发明实施例示出的疲劳状态检测装置的结构框图，如图5所示，本实施例的控制装置包括：

图像获取单元51，用于利用相机参数实时调整的TOF相机对用户摄像，获取用户的红外图像和深度图像，同时间拍摄的红外图像和深度图像的像素点之间一一对应；

特征点识别单元52，用于对红外图像进行人脸识别，获取人脸位置以及获取人脸位置中包含的面部特征点；

疲劳检测单元53，用于根据人脸位置中包含的面部特征点确定头部姿态和目标区域的状态，利用头部姿态、目标区域的状态和外部环境信息实现疲劳状态检测；

相机调整单元54，用于根据红外图像和深度图像像素点的对应关系，获取深度图像中人脸位置对应的深度信息，利用深度信息调整TOF相机的参数。

本实施例中的深度信息为深度图像中人脸位置对应的人脸区域内各像素点深度值之和的平均值。

在本实施例中，特征点识别单元52用于利用Haar级联分类器对红外图像进行识别，获取人脸框中尺寸最大的区域为人脸位置的区域；利用dlib机器学习库确定人脸位置区域中包含的面部特征点，面部特征点用于进行人脸状态检测。

本实施例的疲劳检测单元53包括第一检测模块和第二检测模块；

第一检测模块，用于根据面部特征点定位红外图像中眼睛和嘴巴的位置，截取眼睛所在位置和嘴巴所在位置的红外图像作为感兴趣区域；利用SVM模型对感兴趣区域进行识别，获得表示眼睛状态的第一状态值和表示嘴巴状态的第二状态值，第一状态值和第二状态值为零表示开状态，为1表示合状态；在第一状态值为1时，获取设定时间段内拍摄到的红外图像序列，利用获取的红外图像序列中的帧图像依次更新基础图像序列，并在更新过程中，若基础图像序列中眼睛所在位置的红外图像对应的第一状态值为1的帧图像数量比值大于第一比例阈值，且在设定时间段内拍摄到的红外图像序列均被更新到基础图像序列中后，基础图像序列中眼睛所在位置的红外图像对应的第一状态值为1的帧图像数量比值和连续帧图像数量依次大于第二比例阈值、第三数量阈值时，确定发生闭眼动作；在第二状态值为0时，获取设定时间段内拍摄到的红外图像序列，利用获取的红外图像序列中的帧图像依次更新基础图像序列，并在更新过程中，若基础图像序列中嘴巴所在位置的红外图像对应的第二状态值为0的帧图像数量比值大于第一比例阈值，且在设定时间段内拍摄到的红外图像序列均被更新到基础图像序列中后，基础图像序列中嘴巴所在位置的红外图像对应的第二状态值为0的帧图像数量比值和连续帧图像数量依次大于第二比例阈值、第四数量阈值时，确定发生闭眼动作；第二比例阈值大于第一比例阈值，第三数量阈值根据图像采集频率和闭眼时长确定，第四数量阈值根据图像采集频率和打哈欠时长确定。

第二检测模块，用于根据面部特征点和TOF相机的校准参数，确定头部姿态的第三状态值，第三状态值为零表示正常状态，非零表示歪头状态；在第三状态值为非零时，获取设定时间段内拍摄到的红外图像序列，利用获取的红外图像序列中的帧图像依次更新基础图像序列，并在更新过程中，若基础图像序列中确定头部姿态的第三状态值对应为非零值的帧图像数量比值大于第一比例阈值，且在设定时间段内拍摄到的红外图像序列均被更新到基础图像序列中后，基础图像序列中确定头部姿态的第三状态值对应为非零值的帧图像数量比值和连续帧图像数量依次大于第二比例阈值、第五数量阈值时，确定发生歪头动作；所述第二比例阈值大于第一比例阈值，所述第五数量阈值根据图像采集频率和歪头时长确定。

在本实施例中，相机调整单元54用于在根据深度信息确定用户与TOF相机距离变近时，调小TOF相机的增益参数和激光亮度参数，使亮度变暗；在根据深度信息确定用户与TOF相机距离变远时，调大TOF相机的增益参数和激光亮度参数，使亮度变亮。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

本发明提供的疲劳状态检测装置可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，参照图6所示，本发明提供的疲劳状态检测装置可包括处理器601、存储有机器可执行指令的机器可读存储介质602。处理器601与机器可读存储介质602可经由系统总线603通信。并且，通过读取并执行机器可读存储介质602中与控制逻辑对应的机器可执行指令，处理器601可执行上文描述的疲劳状态检测方法。

本发明中提到的机器可读存储介质602可以是任何电子、磁性、光学或其它物理存储装置，可以包含或存储信息，如可执行指令、数据，等等。例如，机器可读存储介质可以是：RAM(Radom Access Memory，随机存取存储器)、易失存储器、非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、固态硬盘、任何类型的存储盘(如光盘、DVD等)，或者类似的存储介质，或者它们的组合。

根据本发明公开的示例，本发明还提供了一种包括机器可执行指令的机器可读存储介质，例如图6中的机器可读存储介质602，机器可执行指令可由疲劳状态检测装置中的处理器601执行以实现上文描述的疲劳状态检测方法。

以上所述，仅为本发明的具体实施方式，在本发明的上述教导下，本领域技术人员可以在上述实施例的基础上进行其他的改进或变形。本领域技术人员应该明白，上述的具体描述只是更好的解释本发明的目的，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种疲劳状态检测方法，其特征在于，所述方法包括：

利用相机参数实时调整的TOF相机对用户摄像，获取用户的红外图像和深度图像，同时间拍摄的红外图像和深度图像的像素点之间一一对应；

对所述红外图像进行人脸识别，获取人脸位置以及获取人脸位置中包含的面部特征点；

根据人脸位置中包含的面部特征点确定头部姿态和目标区域的状态，利用头部姿态、目标区域的状态和外部环境信息实现疲劳状态检测；

根据红外图像和深度图像像素点的对应关系，获取所述深度图像中所述人脸位置对应的深度信息，利用所述深度信息调整所述TOF相机的参数，所述深度信息为深度图像中所述人脸位置对应的人脸区域内各像素点深度值之和的平均值，所述TOF相机的参数包括增益参数和激光亮度参数。

2.根据权利要求1所述的方法，其特征在于，所述对所述红外图像进行人脸识别，获取人脸位置以及获取人脸位置中包含的面部特征点，包括：

利用Haar级联分类器对所述红外图像进行识别，获取人脸框中尺寸最大的区域为人脸位置的区域；

利用dlib机器学习库确定所述人脸位置区域中包含的面部特征点，所述面部特征点用于进行人脸状态检测。

3.根据权利要求2所述的方法，其特征在于，所述根据人脸位置中包含的面部特征点确定头部姿态和目标区域的状态，包括：

根据所述面部特征点定位红外图像中眼睛和嘴巴的位置，截取眼睛所在位置和嘴巴所在位置的红外图像作为感兴趣区域；

利用SVM模型对所述感兴趣区域进行识别，获得表示眼睛状态的第一状态值和表示嘴巴状态的第二状态值，所述第一状态值和第二状态值为零表示开状态，为1表示合状态；

在所述第一状态值为1时，获取设定时间段内拍摄到的红外图像序列，利用获取的红外图像序列中的帧图像依次更新基础图像序列，并在更新过程中，若基础图像序列中眼睛所在位置的红外图像对应的第一状态值为1的帧图像数量比值大于第一比例阈值，且在设定时间段内拍摄到的红外图像序列均被更新到基础图像序列中后，基础图像序列中眼睛所在位置的红外图像对应的第一状态值为1的帧图像数量比值和连续帧图像数量依次大于第二比例阈值、第三数量阈值时，确定发生闭眼动作；

在所述第二状态值为0时，获取设定时间段内拍摄到的红外图像序列，利用获取的红外图像序列中的帧图像依次更新基础图像序列，并在更新过程中，若基础图像序列中嘴巴所在位置的红外图像对应的第二状态值为0的帧图像数量比值大于第一比例阈值，且在设定时间段内拍摄到的红外图像序列均被更新到基础图像序列中后，基础图像序列中嘴巴所在位置的红外图像对应的第二状态值为0的帧图像数量比值和连续帧图像数量依次大于第二比例阈值、第四数量阈值时，确定发生闭眼动作；

所述第二比例阈值大于第一比例阈值，所述第三数量阈值根据图像采集频率和闭眼时长确定，所述第四数量阈值根据图像采集频率和打哈欠时长确定。

4.根据权利要求2所述的方法，其特征在于，所述根据人脸位置中包含的面部特征点确定头部姿态和目标区域的状态，包括：

根据所述面部特征点和TOF相机的校准参数，确定头部姿态的第三状态值，所述第三状态值为零表示正常状态，非零表示歪头状态；

在所述第三状态值为非零时，获取设定时间段内拍摄到的红外图像序列，利用获取的红外图像序列中的帧图像依次更新基础图像序列，并在更新过程中，若基础图像序列中确定头部姿态的第三状态值对应为非零值的帧图像数量比值大于第一比例阈值，且在设定时间段内拍摄到的红外图像序列均被更新到基础图像序列中后，基础图像序列中确定头部姿态的第三状态值对应为非零值的帧图像数量比值和连续帧图像数量依次大于第二比例阈值、第五数量阈值时，确定发生歪头动作；

所述第二比例阈值大于第一比例阈值，所述第五数量阈值根据图像采集频率和歪头时长确定。

5.根据权利要求1所述的方法，其特征在于，所述根据所述深度信息调整所述TOF相机的参数，包括：

在根据所述深度信息确定用户与所述TOF相机距离变近时，调小TOF相机的增益参数和激光亮度参数，使亮度变暗；

在根据所述深度信息确定用户与所述TOF相机距离变远时，调大TOF相机的增益参数和激光亮度参数，使亮度变亮。

6.一种疲劳状态检测装置，其特征在于，所述装置包括：

图像获取单元，用于利用相机参数实时调整的TOF相机对用户摄像，获取用户的红外图像和深度图像，同时间拍摄的红外图像和深度图像的像素点之间一一对应；

特征点识别单元，用于对所述红外图像进行人脸识别，获取人脸位置以及获取人脸位置中包含的面部特征点；

疲劳检测单元，用于根据人脸位置中包含的面部特征点确定头部姿态和目标区域的状态，利用头部姿态、目标区域的状态和外部环境信息实现疲劳状态检测；

相机调整单元，用于根据红外图像和深度图像像素点的对应关系，获取所述深度图像中所述人脸位置对应的深度信息，利用所述深度信息调整所述TOF相机的参数，所述深度信息为深度图像中所述人脸位置对应的人脸区域内各像素点深度值之和的平均值，所述TOF相机的参数包括增益参数和激光亮度参数。

7.根据权利要求6所述的装置，其特征在于，

所述特征点识别单元，用于利用Haar级联分类器对所述红外图像进行识别，获取人脸框中尺寸最大的区域为人脸位置的区域；利用dlib机器学习库确定所述人脸位置区域中包含的面部特征点，所述面部特征点用于进行人脸状态检测。

8.根据权利要求7所述的装置，其特征在于，所述疲劳检测单元包括第一检测模块；

所述第一检测模块，用于根据所述面部特征点定位红外图像中眼睛和嘴巴的位置，截取眼睛所在位置和嘴巴所在位置的红外图像作为感兴趣区域；利用SVM模型对所述感兴趣区域进行识别，获得表示眼睛状态的第一状态值和表示嘴巴状态的第二状态值，所述第一状态值和第二状态值为零表示开状态，为1表示合状态；在所述第一状态值为1时，获取设定时间段内拍摄到的红外图像序列，利用获取的红外图像序列中的帧图像依次更新基础图像序列，并在更新过程中，若基础图像序列中眼睛所在位置的红外图像对应的第一状态值为1的帧图像数量比值大于第一比例阈值，且在设定时间段内拍摄到的红外图像序列均被更新到基础图像序列中后，基础图像序列中眼睛所在位置的红外图像对应的第一状态值为1的帧图像数量比值和连续帧图像数量依次大于第二比例阈值、第三数量阈值时，确定发生闭眼动作；在所述第二状态值为0时，获取设定时间段内拍摄到的红外图像序列，利用获取的红外图像序列中的帧图像依次更新基础图像序列，并在更新过程中，若基础图像序列中嘴巴所在位置的红外图像对应的第二状态值为0的帧图像数量比值大于第一比例阈值，且在设定时间段内拍摄到的红外图像序列均被更新到基础图像序列中后，基础图像序列中嘴巴所在位置的红外图像对应的第二状态值为0的帧图像数量比值和连续帧图像数量依次大于第二比例阈值、第四数量阈值时，确定发生闭眼动作；所述第二比例阈值大于第一比例阈值，所述第三数量阈值根据图像采集频率和闭眼时长确定，所述第四数量阈值根据图像采集频率和打哈欠时长确定。

9.根据权利要求7所述的装置，其特征在于，所述疲劳检测单元包括第二检测模块；

所述第二检测模块，用于根据所述面部特征点和TOF相机的校准参数，确定头部姿态的第三状态值，所述第三状态值为零表示正常状态，非零表示歪头状态；在所述第三状态值为非零时，获取设定时间段内拍摄到的红外图像序列，利用获取的红外图像序列中的帧图像依次更新基础图像序列，并在更新过程中，若基础图像序列中确定头部姿态的第三状态值对应为非零值的帧图像数量比值大于第一比例阈值，且在设定时间段内拍摄到的红外图像序列均被更新到基础图像序列中后，基础图像序列中确定头部姿态的第三状态值对应为非零值的帧图像数量比值和连续帧图像数量依次大于第二比例阈值、第五数量阈值时，确定发生歪头动作；所述第二比例阈值大于第一比例阈值，所述第五数量阈值根据图像采集频率和歪头时长确定。

10.根据权利要求6所述的装置，其特征在于，

所述相机调整单元，用于在根据所述深度信息确定用户与所述TOF相机距离变近时，调小TOF相机的增益参数和激光亮度参数，使亮度变暗；在根据所述深度信息确定用户与所述TOF相机距离变远时，调大TOF相机的增益参数和激光亮度参数，使亮度变亮。

Images