CN114022871A - 基于深度感知技术的无人机驾驶员疲劳检测方法及系统 - Google Patents

Abstract

本发明公开了一种基于深度感知技术的无人机驾驶员疲劳检测方法及系统，属于疲劳检测技术领域，所述方法为：得到待测疲劳特征图；提取待测疲劳特征图中眼部特征和头部姿态，建立人脸模型，并根据人脸模型得到人脸疲劳特征数据；得到眼睑纵横比EAR；根据眼睛闭合帧，计算得到眼睛闭合时间比例值PERCLOS，完成基于深度感知技术的无人机驾驶员疲劳检测；同时提供一种基于深度感知技术的无人机驾驶员疲劳检测方法的检测系统，用以实现上述方法；本发明利用计算机视觉，基于深度感知技术，面向无人机驾驶员提出的非接触式实时疲劳检测方法实用性好且精度高，降低了由疲劳诱发的无人机驾驶员的人为差错，提升了无人机的飞行安全奠定技术基础。

Description

基于深度感知技术的无人机驾驶员疲劳检测方法及系统

技术领域

本发明属于疲劳检测技术领域，尤其涉及一种基于深度感知技术的无人机驾驶员疲劳检测方法及系统。

背景技术

国内外关于驾驶疲劳状态检测研究技术开始于上世纪三十年代，一直没有很大的进步，直到近二十年来，其研究结果才有了长足的发展，这主要得益于近些年信息处理技术，传感器技术和深度学习技术等的发展。基于驾驶人行为特征的驾驶疲劳状态检测方法，是一种结合模式识别和图像处理技术的研究方法。以摄像头采集的驾驶人面部状态图像为输入数据，经过图像处理和计算机视觉相关技术处理后，对驾驶人面部的眼睛和嘴巴等的动态数据分析，判断是否达到疲劳界限，继而判断驾驶员的疲劳状态。

目前，对无人机驾驶员疲劳检测方法的研究还不够深入，我国民航部门的疲劳管理大多局限于定性分析和主观判断，对民航从业人员的疲劳状态缺乏实时有效的检测和告警的方法。而对于无人机驾驶员群体来说，现有的常规的疲劳检测系统，存在以下几点不足：

(1)无法实时跟踪被测者姿态：无人机驾驶员在工作过程中需要改变自身的坐立姿态，常规的疲劳检测系统只能检测预定框内的对象，系统会在被测者改变姿态后失效。

(2)受光照条件影响大：无人机驾驶员需要在阴雨天气或夜间等光照条件较差的天气环境下工作，常规的疲劳检测系统在光照过强或过弱的情况下往往会加大检测的误差。

(3)容易发生误判：无人机驾驶员在工作过程中需要及时与人沟通，提取无人机驾驶员的嘴部特征会影响疲劳检测系统的准确率，从而造成误判情况的出现。

发明内容

针对现有技术中的上述不足，本发明从计算机视觉入手，基于深度感知技术，面向无人机驾驶员，提供的基于深度感知技术的无人机驾驶员疲劳检测方法及系统解决了上述现有常规的疲劳检测系统存在的问题。

为了达到上述发明目的，本发明采用的技术方案为：

本发明提供一种基于深度感知技术的无人机驾驶员疲劳检测方法，包括如下步骤：

S1、采集包含无人机驾驶员面部和头部信息的RGB图像和Depth图像，并通过融合所述RGB图像和Depth图像得到待测疲劳特征图；

S2、提取待测疲劳特征图中眼部特征、嘴部特征和头部姿态，建立人脸模型，并根据人脸模型得到人脸疲劳特征数据；

S3、计算人脸疲劳特征数据，得到眼睑纵横比EAR和嘴部纵横比Kmouth；

S4、判断EAR是否小于清醒时眼睑纵横比EAR`，或Kmouth是否大于清醒时嘴部纵横比Kmouth`，若是则分别对应得到眼部闭合帧和嘴部张开帧，并进入步骤S5，否则返回步骤S1；

S5、根据眼睛闭合帧和嘴部张开帧，分别计算得到眼睛闭合时间比例值PERCLOS和嘴部闭合时间比例值Tmouth，完成基于深度感知技术的无人机驾驶员疲劳检测。

本发明的有益效果为：本发明提出的一种基于深度感知技术的无人机驾驶员疲劳检测方法，是利用计算机视觉，基于深度感知技术，面向无人机驾驶员提出的一种非接触式、实用性好、精度高的实时疲劳检测方法；本发明探索了不同光照条件下的疲劳状态实时检测关键技术，降低了由疲劳诱发的无人机驾驶员的人为差错，提升了无人机的飞行安全奠定技术基础；本发明通过深度感知技术实时采集无人机驾驶员面部和头部信息的RGB图像和Depth图像，将其融合得到待测疲劳特征图，并构建基于深度感知技术的人脸三维模型，通过对人脸疲劳特征数据、眼睛闭合时间比例值PERCLOS和嘴部张开时间比例值Tmouth的计算，实现对无人机驾驶员的疲劳检测。

进一步地，所述步骤S1包括如下步骤：

S11、采集包含无人机驾驶员面部和头部信息的RGB图像和Depth图像；

S12、判断待融合的RGB图像和Depth图像是否同步输入，若是则进入步骤S13，否则返回步骤S11；

S13、将RGB图像转为第一BGR图像，并将Depth图像先灰度化处理后转为第二BGR图像；

S14、将第一BGR图像与第二BGR图像按预设比例进行融合，得到待测疲劳特征图。

采用上述进一步方案的有益效果为：将同一帧的面部和头部信息同时输入进行融合，得到待测疲劳特征图，为进一步获取待测帧中人脸疲劳特征数据提供检测图像基础。

进一步地，所述步骤S2包括如下步骤：

S21、将提取的待测疲劳特征图中眼睛横纵比和嘴部纵横比分别作为眼部特征和嘴部特征；

S22、将待测疲劳特征图利用坐标转换到3D空间，得到待测疲劳特征头部模型；

S23、采用待测疲劳特征头部模型的俯仰角pitch、偏航角yaw、翻滚角roll作为头部姿态；

S24、根据眼部特征和和头部姿态建立人脸模型；

S25、根据人脸模型得到包括由若干特征点标注的眉毛特征、眼睛特征、鼻子特征、嘴部特征和脸部轮廓特征的人脸疲劳特征数据。

采用上述进一步方案的有益效果为：通过眼睑横纵比对眼部特征进行刻画，通过嘴部纵横比对嘴部进行刻画，通过头部模型的俯仰角pitch、偏航角yaw、翻滚角roll对头部模型的姿态进行刻画，并提取到人脸疲劳特征数据。

进一步地，所述步骤S3中眼睑纵横比EAR计算表达式如下：

其中，P₁表示第一眼睑特征点坐标，P₂表示第二眼睑特征点坐标，P₃表示第三眼睑特征点坐标，P₄表示第四眼睑特征点坐标，P₅表示第五眼睑特征点坐标，P₆表示第六眼睑特征点坐标；

所述嘴部纵横比Kmouth计算表达式如下：

其中，H_mouth表示嘴部高度，W_mouth表示嘴部宽度，P₅₅表示第一嘴部特征点坐标，P₄₉表示第二嘴部特征点坐标，P₅₁表示第三嘴部特征点坐标，P₅₉表示第四嘴部特征点坐标，P₅₃表示第五嘴部特征点坐标，P₅₇表示第六嘴部特征点坐标。

采用上述进一步方案的有益效果为：通过眼睑纵横比EAR计算得到无人机驾驶员的眼睑纵横比，与无人机驾驶员清醒时眼睑纵横比EAR`比较，即可得到眼睑闭合帧，通过嘴部纵横比Kmouth计算得到无人机驾驶员的嘴部纵横比，与无人机驾驶员清醒时嘴部纵横比Kmouth比较，即可得到嘴部张开帧。

进一步地，所述步骤S5包括如下步骤：

S51、根据眼睛闭合帧和嘴部张开帧，分别计算得到眼睛闭合时间比例值PERCLOS和嘴部闭合时间比例值Tmouth；

S52、判断PERCLOS和Tmouth是否至少一项大于或等于阈值，若是则进入步骤S53，否则返回步骤S51；

S53、告警无人机驾驶员正处于疲劳驾驶状态，完成基于深度感知技术的无人机驾驶员疲劳检测。

采用上述进一步方案的有益效果为：利用眼睛闭合帧和嘴部张开帧计算无人机驾驶员眼睛闭合时间比例值PERCLOS和嘴部闭合时间比例值Tmouth，通过眼睛闭合时间与检测时间段的比例和设定阈值比较，以及嘴部张开时间与检测时间段的比例和设定阈值比较，能够判断无人机驾驶员是否处于疲劳驾驶状态，并在疲劳驾驶时向无人驾驶员进行告警。

进一步地，所述步骤S51中PERCLOS计算表达式如下：

其中，ECTF表示眼睛闭合帧的数量，TNOF表示待测视频总帧数；

所述Tmouth计算表达式如下：

其中，NFOM表示嘴部张开的帧数，TNOF表示待测视频总帧数。

采用上述进一步方案的有益效果为：通过眼睛闭合时间比例值计算表达式和嘴部张开时间比例值计算表达式，计算无人机驾驶员闭眼时长占检测时间段比例和张嘴时间占检测时间段比例，分别与对应设定的阈值进行比较后，即可判断无人机驾驶员是否疲劳工作。

本发明还提供一种基于深度感知技术的无人机驾驶员疲劳检测方法的检测系统，包括：

待测疲劳特征图获取模块，用于采集包含无人机驾驶员面部和头部信息的RGB图像和Depth图像，并通过融合所述RGB图像和Depth图像得到待测疲劳特征图；

人脸特征疲劳数据获取模块，用于提取待测疲劳特征图中眼部特征、嘴部特征和头部姿态，建立人脸模型，并根据人脸模型得到人脸疲劳特征数据；

眼睑横纵比获取模块，用于计算人脸疲劳特征数据，得到眼睑纵横比EAR；

嘴部纵横比获取模块，用于计算人脸疲劳特征数据，得到嘴部纵横比Kmouth；

眼睛闭合帧判断模块，用于判断EAR是否小于清醒时眼睑纵横比EAR`；

嘴部张开帧判断模块，用于判断Kmouth是否大于清醒时嘴部张开比Kmouth`；

眼睛闭合时间比例值获取模块，用于根据眼睛闭合帧计算得到眼睛闭合时间比例值PERCLOS，完成基于深度感知技术的无人机驾驶员疲劳检测；

嘴部张开时间比例值获取模块，用于根据嘴部张开帧，计算得到嘴部张开时间比例值Tmouth，完成基于深度感知技术的无人机驾驶员疲劳检测。

本发明的有益效果为：本发明提供的一种基于深度感知技术的无人机驾驶员疲劳检测方法的检测系统，为本发明提供的一种基于深度感知技术的无人机驾驶员疲劳检测方法对应的系统，通过获取待测疲劳特征图、人脸疲劳特征数据、眼睑横纵比，并对眼睑闭合帧进行判断，且获取到眼睑闭合时间的比例，实现对无人机驾驶员疲劳状态的检测。

进一步地，所述待测疲劳特征图获取模块包括：

深度感知图像获取子模块，用于采集包含无人机驾驶员面部和头部信息的RGB图像和Depth图像；

图像同步输入判断子模块，用于判断待融合的RGB图像和Depth图像是否同步输入；

BGR图像转换子模块，用于将RGB图像转为第一BGR图像，并将Depth图像经灰度化处理后转为第二BGR图像；

图像融合子模块，用于将第一BGR图像与第二BGR图像按预设比例进行融合，得到待测疲劳特征图。

采用上述进一步方案的有益效果为：通过深度感知图像获取子模块和图像同步输入判断子模块实现同步采集包含无人机驾驶员面部和头部信息的RGB图像和Depth图像，并通过BGR图像转换子模块实现对RGB图像和Depth图像进行BGR格式的转换，通过图像融合子模块实现两BGR图像的融合，得到待测疲劳特征图，为进一步的人脸特征疲劳数据获取提供图像基础。

进一步地，所述人脸特征疲劳数据获取模块包括：

眼部特征提取子模块，用于将提取的待测疲劳特征图中眼睛横纵比作为眼部特征；

嘴部特征提取子模块，用于将提取的待测疲劳特征图中嘴部张开比作为嘴部特征；

头部模型转换子模块，用于将待测疲劳特征图利用坐标转换到3D空间，得到待测疲劳特征头部模型；

头部姿态获取子模块，用于采用待测疲劳特征头部模型的俯仰角pitch、偏航角yaw、翻滚角roll作为头部姿态；

人脸模型建立子模块，用于根据眼部特征和和头部姿态建立人脸模型；

人脸疲劳数据获取子模块，用于根据人脸模型得到包括由若干特征点标注的眉毛特征、眼睛特征、鼻子特征、嘴部特征和脸部轮廓特征的人脸疲劳特征数据。

采用上述进一步方案的有益效果为：通过眼睑横纵比对眼部特征进行刻画，通过嘴部纵横比对嘴部进行刻画，通过头部模型的俯仰角pitch、偏航角yaw、翻滚角roll对头部模型的姿态进行刻画，并通过人脸疲劳数据获取子模块提取到人脸疲劳特征数据，为眼睑纵横比EAR和嘴部纵横比Kmouth获取提供数据基础。

进一步地，所述眼睛闭合时间比例值获取模块包括：

PERCLOS获取子模块，用于根据眼睛闭合帧，计算得到眼睛闭合时间比例值PERCLOS；

Tmouth获取子模块，用于根据嘴部张开帧，计算得到嘴部张开时间比例值Tmouth；

PERCLOS阈值比较子模块，用于判断PERCLOS是否大于或等于阈值；

Tmouth阈值比较子模块，用于判断Tmouth是否大于或等于阈值；

疲劳告警子模块，用于告警无人机驾驶员正处于疲劳驾驶状态，完成基于深度感知技术的无人机驾驶员疲劳检测。

采用上述进一步方案的有益效果为：通过PERCLOS获取子模块利用眼睛闭合帧计算得到眼睛闭合时间比例值，通过Tmouth获取子模块根据嘴部张开帧，计算得到嘴部张开时间比例值Tmouth，通过Tmouth阈值比较子模块判断Tmouth是否大于或等于阈值，通过PERCLOS阈值比较子模块和Tmouth阈值比较子模块实现眼睛闭合时间和嘴部张开时间分别与检测时间段的比例，与设定阈值比较，能够判断无人机驾驶员是否处于疲劳驾驶状态，并通过疲劳告警子模块在疲劳驾驶时向无人驾驶员进行告警。

附图说明

图1为本发明实施例中基于深度感知技术的无人机驾驶员疲劳检测方法的步骤流程图。

图2为本发明实施例中待测疲劳特征头部模型示意图。

图3为本发明实施例中68特征点人脸疲劳特征数据示意图。

图4为本发明实施例中眼睑横纵比EAR计算时眼部特征示意图。

图5为本发明实施例中基于深度感知技术的无人机驾驶员疲劳检测方法的检测系统的结构图。

具体实施方式

下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

实施例1

如图1所示，本发明提供一种基于深度感知技术的无人机驾驶员疲劳检测方法，包括如下步骤：

S1、采集包含无人机驾驶员面部和头部信息的RGB图像和Depth图像，并通过融合所述RGB图像和Depth图像得到待测疲劳特征图；

所述步骤S1包括如下步骤：

S11、采集包含无人机驾驶员面部和头部信息的RGB图像和Depth图像；

S12、判断待融合的RGB图像和Depth图像是否同步输入，若是则进入步骤S13，否则返回步骤S11；

S13、将RGB图像转为第一BGR图像，并将Depth图像经灰度化处理后转为第二BGR图像；

S14、将第一BGR图像与第二BGR图像按预设比例进行融合，得到待测疲劳特征图；

将同一帧的面部和头部信息同时输入进行融合，得到待测疲劳特征图，为进一步获取待测帧中人脸疲劳特征数据提供检测图像基础；

S2、提取待测疲劳特征图中眼部特征、嘴部特征和头部姿态，建立人脸模型，并根据人脸模型得到人脸疲劳特征数据；

所述步骤S2包括如下步骤：

S21、将提取的待测疲劳特征图中眼睛横纵比和嘴部纵横比分别作为眼部特征和嘴部特征；

S22、将待测疲劳特征图利用坐标转换到3D空间，得到待测疲劳特征头部模型；

S23、采用待测疲劳特征头部模型的俯仰角pitch、偏航角yaw、翻滚角roll作为头部姿态，如图2所示；

S24、根据眼部特征和和头部姿态建立人脸模型；

S25、根据人脸模型得到包括由若干特征点标注的眉毛特征、眼睛特征、鼻子特征、嘴部特征和脸部轮廓特征的人脸疲劳特征数据；

如图3所示，人脸特征点示意图包括含有眉毛特征、眼睛特征、鼻子特征、嘴部特征和脸部轮廓特征的68个特征点，充分展示了人脸的面部识别信息；

通过眼睑横纵比对眼部特征进行刻画，通过嘴部纵横比对嘴部进行刻画，通过头部模型的俯仰角pitch、偏航角yaw、翻滚角roll对头部模型的姿态进行刻画，并提取到人脸疲劳特征数据；

S3、计算人脸疲劳特征数据，得到眼睑纵横比EAR和嘴部纵横比Kmouth；如图4所示，所述步骤S3中眼睑纵横比EAR计算表达式如下：

其中，P₁表示第一眼睑特征点坐标，P₂表示第二眼睑特征点坐标，P₃表示第三眼睑特征点坐标，P₄表示第四眼睑特征点坐标，P₅表示第五眼睑特征点坐标，P₆表示第六眼睑特征点坐标；

所述嘴部纵横比Kmouth计算表达式如下：

其中，H_mouth表示嘴部高度，W_mouth表示嘴部宽度，P₅₅表示第一嘴部特征点坐标，P₄₉表示第二嘴部特征点坐标，P₅₁表示第三嘴部特征点坐标，P₅₉表示第四嘴部特征点坐标，P₅₃表示第五嘴部特征点坐标，P₅₇表示第六嘴部特征点坐标；

P₅₅和P₄₉分别对应图3中嘴部最左点和嘴部最右点的嘴部特征点坐标，P₅₁、P₅₃、P₅₇、和P₅₉分别对应嘴部左上嘴唇点、右上嘴唇点、右下嘴唇点和左下嘴唇点的嘴部特征点坐标；

通过眼睑纵横比EAR计算得到无人机驾驶员的眼睑纵横比，与无人机驾驶员清醒时眼睑纵横比EAR`比较，即可得到眼睑闭合帧，通过嘴部纵横比Kmouth计算得到无人机驾驶员的嘴部纵横比，与无人机驾驶员清醒时嘴部纵横比Kmouth比较，即可得到嘴部张开帧；

S4、判断EAR是否小于清醒时眼睑纵横比EAR`，或Kmouth是否大于清醒时嘴部纵横比Kmouth`，若是则分别对应得到眼部闭合帧和嘴部张开帧，并进入步骤S5，否则返回步骤S1；

S5、根据眼睛闭合帧和嘴部张开帧，分别计算得到眼睛闭合时间比例值PERCLOS和嘴部闭合时间比例值Tmouth，完成基于深度感知技术的无人机驾驶员疲劳检测；

所述步骤S5包括如下步骤：

S51、根据眼睛闭合帧和嘴部张开帧，分别计算得到眼睛闭合时间比例值PERCLOS和嘴部闭合时间比例值Tmouth；

所述步骤S51中PERCLOS计算表达式如下：

其中，ECTF表示眼睛闭合帧的数量，TNOF表示待测视频总帧数；

所述Tmouth计算表达式如下：

其中，NFOM表示嘴部张开的帧数，TNOF表示待测视频总帧数；

通过眼睛闭合时间比例值计算表达式和嘴部张开时间比例值计算表达式，计算无人机驾驶员闭眼时长占检测时间段比例和张嘴时间占检测时间段比例，分别与对应设定的阈值进行比较后，即可判断无人机驾驶员是否疲劳工作。；

S52、判断PERCLOS和Tmouth是否至少一项大于或等于阈值，若是则进入步骤S53，否则返回步骤S51；

S53、告警无人机驾驶员正处于疲劳驾驶状态，完成基于深度感知技术的无人机驾驶员疲劳检测；

利用眼睛闭合帧和嘴部张开帧计算无人机驾驶员眼睛闭合时间比例值PERCLOS和嘴部闭合时间比例值Tmouth，通过眼睛闭合时间与检测时间段的比例和设定阈值比较，以及嘴部张开时间与检测时间段的比例和设定阈值比较，能够判断无人机驾驶员是否处于疲劳驾驶状态，并在疲劳驾驶时向无人驾驶员进行告警。

本发明的有益效果为：本发明提出的一种基于深度感知技术的无人机驾驶员疲劳检测方法，是利用计算机视觉，基于深度感知技术，面向无人机驾驶员提出的一种非接触式、实用性好、精度高的实时疲劳检测方法；本发明探索了不同光照条件下的疲劳状态实时检测关键技术，降低了由疲劳诱发的无人机驾驶员的人为差错，提升了无人机的飞行安全奠定技术基础；本发明通过深度感知技术实时采集无人机驾驶员面部和头部信息的RGB图像和Depth图像，将其融合得到待测疲劳特征图，并构建基于深度感知技术的人脸三维模型，通过对人脸疲劳特征数据和眼睛闭合时间比例值PERCLOS的计算，实现对无人机驾驶员的疲劳检测。

实施例2

如图4所示，本发明还提供一种基于深度感知技术的无人机驾驶员疲劳检测方法的检测系统，包括：

待测疲劳特征图获取模块，用于采集包含无人机驾驶员面部和头部信息的RGB图像和Depth图像，并通过融合所述RGB图像和Depth图像得到待测疲劳特征图；

所述待测疲劳特征图获取模块包括：

深度感知图像获取子模块，用于采集包含无人机驾驶员面部和头部信息的RGB图像和Depth图像；

图像同步输入判断子模块，用于判断待融合的RGB图像和Depth图像是否同步输入；

BGR图像转换子模块，用于将RGB图像转为第一BGR图像，并将Depth图像经灰度化处理后转为第二BGR图像；

图像融合子模块，用于将第一BGR图像与第二BGR图像按预设比例进行融合，得到待测疲劳特征图；

通过深度感知图像获取子模块和图像同步输入判断子模块实现同步采集包含无人机驾驶员面部和头部信息的RGB图像和Depth图像，并通过BGR图像转换子模块实现对RGB图像和Depth图像进行BGR格式的转换，通过图像融合子模块实现两BGR图像的融合，得到待测疲劳特征图，为进一步的人脸特征疲劳数据获取提供图像基础；

人脸特征疲劳数据获取模块，用于提取待测疲劳特征图中眼部特征、嘴部特征和头部姿态，建立人脸模型，并根据人脸模型得到人脸疲劳特征数据；

所述人脸特征疲劳数据获取模块包括：

眼部特征提取子模块，用于将提取的待测疲劳特征图中眼睛横纵比作为眼部特征；

嘴部特征提取子模块，用于将提取的待测疲劳特征图中嘴部张开比作为嘴部特征；

头部模型转换子模块，用于将待测疲劳特征图利用坐标转换到3D空间，得到待测疲劳特征头部模型；

头部姿态获取子模块，用于采用待测疲劳特征头部模型的俯仰角pitch、偏航角yaw、翻滚角roll作为头部姿态；

人脸模型建立子模块，用于根据眼部特征和和头部姿态建立人脸模型；

人脸疲劳数据获取子模块，用于根据人脸模型得到包括由若干特征点标注的眉毛特征、眼睛特征、鼻子特征、嘴部特征和脸部轮廓特征的人脸疲劳特征数据；

通过眼睑横纵比对眼部特征进行刻画，通过嘴部纵横比对嘴部进行刻画，通过头部模型的俯仰角pitch、偏航角yaw、翻滚角roll对头部模型的姿态进行刻画，并通过人脸疲劳数据获取子模块提取到人脸疲劳特征数据，为眼睑纵横比EAR和嘴部纵横比Kmouth获取提供数据基础。；

眼睑横纵比获取模块，用于计算人脸疲劳特征数据，得到眼睑纵横比EAR；

嘴部纵横比获取模块，用于计算人脸疲劳特征数据，得到嘴部纵横比Kmouth；

眼睛闭合帧判断模块，用于判断EAR是否小于清醒时眼睑纵横比EAR`；

嘴部张开帧判断模块，用于判断Kmouth是否大于清醒时嘴部张开比Kmouth`；

眼睛闭合时间比例值获取模块，用于根据眼睛闭合帧，计算得到眼睛闭合时间比例值PERCLOS，完成基于深度感知技术的无人机驾驶员疲劳检测；

所述眼睛闭合时间比例值获取模块包括：

PERCLOS获取子模块，用于根据眼睛闭合帧，计算得到眼睛闭合时间比例值PERCLOS；

Tmouth获取子模块，用于根据嘴部张开帧，计算得到嘴部张开时间比例值Tmouth；

PERCLOS阈值比较子模块，用于判断PERCLOS是否大于或等于阈值；

Tmouth阈值比较子模块，用于判断Tmouth是否大于或等于阈值；

疲劳告警子模块，用于告警无人机驾驶员正处于疲劳驾驶状态，并建议适度休息，完成基于深度感知技术的无人机驾驶员疲劳检测；

通过PERCLOS获取子模块利用眼睛闭合帧计算得到眼睛闭合时间比例值，通过Tmouth获取子模块根据嘴部张开帧，计算得到嘴部张开时间比例值Tmouth，通过Tmouth阈值比较子模块判断Tmouth是否大于或等于阈值，通过PERCLOS阈值比较子模块和Tmouth阈值比较子模块实现眼睛闭合时间和嘴部张开时间分别与检测时间段的比例，与设定阈值比较，能够判断无人机驾驶员是否处于疲劳驾驶状态，并通过疲劳告警子模块在疲劳驾驶时向无人驾驶员进行告警。。

实施例提供的基于深度感知技术的无人机驾驶员疲劳检测方法的检测系统可以执行上述方法实施例所示的技术方案，其实现原理与有益效果类似，所述系统精准率高，实用性好，通过普通计算机、深度摄像机即可实现，可靠性高；且通过高精度深度相机不受制于自然光照，在复杂头部姿态下的表现大大优于二维人脸技术，基于结构光的深度相机通过3万个红外散斑重建的三维人脸模型非常精细；本发明实时性强，图像采集校正融合处理控制均在短时间内完成，延时小，整体的同步性能高；本发明适用范围广，基于深度感知技术对无人机驾驶员的疲劳程度和状态做非接触式的实时检测，能够在不影响无人机驾驶员的工作前提下，做出预防和疲劳预警的措施。

Claims (10)

1.一种基于深度感知技术的无人机驾驶员疲劳检测方法，其特征在于，包括如下步骤：

S1、采集包含无人机驾驶员面部和头部信息的RGB图像和Depth图像，并通过融合所述RGB图像和Depth图像得到待测疲劳特征图；

S2、提取待测疲劳特征图中眼部特征、嘴部特征和头部姿态，建立人脸模型，并根据人脸模型得到人脸疲劳特征数据；

S3、计算人脸疲劳特征数据，得到眼睑纵横比EAR和嘴部纵横比Kmouth；

S4、判断EAR是否小于清醒时眼睑纵横比EAR`，或Kmouth是否大于清醒时嘴部纵横比Kmouth`，若是则分别对应得到眼部闭合帧和嘴部张开帧，并进入步骤S5，否则返回步骤S1；

S5、根据眼睛闭合帧和嘴部张开帧，分别计算得到眼睛闭合时间比例值PERCLOS和嘴部闭合时间比例值Tmouth，完成基于深度感知技术的无人机驾驶员疲劳检测。

2.根据权利要求1所述的基于深度感知技术的无人机驾驶员疲劳检测方法，其特征在于，所述步骤S1包括如下步骤：

S11、采集包含无人机驾驶员面部和头部信息的RGB图像和Depth图像；

S12、判断待融合的RGB图像和Depth图像是否同步输入，若是则进入步骤S13，否则返回步骤S11；

S13、将RGB图像转为第一BGR图像，并将Depth图像经灰度化处理后转为第二BGR图像；

S14、将第一BGR图像与第二BGR图像按预设比例进行融合，得到待测疲劳特征图。

3.根据权利要求1所述的基于深度感知技术的无人机驾驶员疲劳检测方法，其特征在于，所述步骤S2包括如下步骤：

S21、将提取的待测疲劳特征图中眼睛横纵比和嘴部纵横比分别作为眼部特征和嘴部特征；

S22、将待测疲劳特征图利用坐标转换到3D空间，得到待测疲劳特征头部模型；

S23、采用待测疲劳特征头部模型的俯仰角pitch、偏航角yaw、翻滚角roll作为头部姿态；

S24、根据眼部特征、嘴部特征和和头部姿态建立人脸模型；

S25、根据人脸模型得到包括由若干特征点标注的眉毛特征、眼睛特征、鼻子特征、嘴部特征和脸部轮廓特征的人脸疲劳特征数据。

4.根据权利要求1所述的基于深度感知技术的无人机驾驶员疲劳检测方法，其特征在于，所述步骤S3中眼睑纵横比EAR计算表达式如下：

其中，P₁表示第一眼睑特征点坐标，P₂表示第二眼睑特征点坐标，P₃表示第三眼睑特征点坐标，P₄表示第四眼睑特征点坐标，P₅表示第五眼睑特征点坐标，P₆表示第六眼睑特征点坐标；

所述嘴部纵横比Kmouth计算表达式如下：

其中，H_mouth表示嘴部高度，W_mouth表示嘴部宽度，P₅₅表示第一嘴部特征点坐标，P₄₉表示第二嘴部特征点坐标，P₅₁表示第三嘴部特征点坐标，P₅₉表示第四嘴部特征点坐标，P₅₃表示第五嘴部特征点坐标，P₅₇表示第六嘴部特征点坐标。

5.根据权利要求1所述的基于深度感知技术的无人机驾驶员疲劳检测方法，其特征在于，所述步骤S5包括如下步骤：

S51、根据眼睛闭合帧和嘴部张开帧，分别计算得到眼睛闭合时间比例值PERCLOS和嘴部闭合时间比例值Tmouth；

S52、判断PERCLOS和Tmouth是否至少一项大于或等于阈值，若是则进入步骤S53，否则返回步骤S51；

S53、告警无人机驾驶员正处于疲劳驾驶状态，完成基于深度感知技术的无人机驾驶员疲劳检测。

6.根据权利要求5所述的基于深度感知技术的无人机驾驶员疲劳检测方法，其特征在于，所述步骤S51中PERCLOS计算表达式如下：

其中，ECTF表示眼睛闭合帧的数量，TNOF表示待测视频总帧数；

所述Tmouth计算表达式如下：

其中，NFOM表示嘴部张开的帧数，TNOF表示待测视频总帧数。

7.一种如权利要求1-6所述的基于深度感知技术的无人机驾驶员疲劳检测方法的检测系统，其特征在于，包括：

待测疲劳特征图获取模块，用于采集包含无人机驾驶员面部和头部信息的RGB图像和Depth图像，并通过融合所述RGB图像和Depth图像得到待测疲劳特征图；

人脸特征疲劳数据获取模块，用于提取待测疲劳特征图中眼部特征、嘴部特征和头部姿态，建立人脸模型，并根据人脸模型得到人脸疲劳特征数据；

眼睑横纵比获取模块，用于计算人脸疲劳特征数据，得到眼睑纵横比EAR；

嘴部纵横比获取模块，用于计算人脸疲劳特征数据，得到嘴部纵横比Kmouth；

眼睛闭合帧判断模块，用于判断EAR是否小于清醒时眼睑纵横比EAR`；

嘴部张开帧判断模块，用于判断Kmouth是否大于清醒时嘴部张开比Kmouth`；

眼睛闭合时间比例值获取模块，用于根据眼睛闭合帧，计算得到眼睛闭合时间比例值PERCLOS，完成基于深度感知技术的无人机驾驶员疲劳检测；

嘴部张开时间比例值获取模块，用于根据嘴部张开帧，计算得到嘴部张开时间比例值Tmouth，完成基于深度感知技术的无人机驾驶员疲劳检测。

8.根据权利要求7所述的基于深度感知技术的无人机驾驶员疲劳检测系统，其特征在于，所述待测疲劳特征图获取模块包括：

深度感知图像获取子模块，用于采集包含无人机驾驶员面部和头部信息的RGB图像和Depth图像；

图像同步输入判断子模块，用于判断待融合的RGB图像和Depth图像是否同步输入；

BGR图像转换子模块，用于将RGB图像转为第一BGR图像，并将Depth图像经灰度化处理后转为第二BGR图像；

图像融合子模块，用于将第一BGR图像与第二BGR图像按预设比例进行融合，得到待测疲劳特征图。

9.根据权利要求7所述的基于深度感知技术的无人机驾驶员疲劳检测系统，其特征在于，所述人脸特征疲劳数据获取模块包括：

眼部特征提取子模块，用于将提取的待测疲劳特征图中眼睛横纵比作为眼部特征；

嘴部特征提取子模块，用于将提取的待测疲劳特征图中嘴部张开比作为嘴部特征；

头部模型转换子模块，用于将待测疲劳特征图利用坐标转换到3D空间，得到待测疲劳特征头部模型；

头部姿态获取子模块，用于采用待测疲劳特征头部模型的俯仰角pitch、偏航角yaw、翻滚角roll作为头部姿态；

人脸模型建立子模块，用于根据眼部特征和和头部姿态建立人脸模型；

人脸疲劳数据获取子模块，用于根据人脸模型得到包括由若干特征点标注的眉毛特征、眼睛特征、鼻子特征、嘴部特征和脸部轮廓特征的人脸疲劳特征数据。

10.根据权利要求7所述的基于深度感知技术的无人机驾驶员疲劳检测系统，其特征在于，所述眼睛闭合时间比例值获取模块包括：

PERCLOS获取子模块，用于根据眼睛闭合帧，计算得到眼睛闭合时间比例值PERCLOS；

Tmouth获取子模块，用于根据嘴部张开帧，计算得到嘴部张开时间比例值Tmouth；

PERCLOS阈值比较子模块，用于判断PERCLOS是否大于或等于阈值；

Tmouth阈值比较子模块，用于判断Tmouth是否大于或等于阈值；

疲劳告警子模块，用于告警无人机驾驶员正处于疲劳驾驶状态，完成基于深度感知技术的无人机驾驶员疲劳检测。

Images