CN113420656A - 一种疲劳驾驶检测方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请实施例提供的一种疲劳驾驶检测方法、装置、电子设备及存储介质，所述方法包括采集驾驶者的头部图像；对所述头部图像进行分析，确定所述头部图像中眼部特征信息，嘴部特征信息及头部姿态特征信息；根据所述眼部特征信息、嘴部特征信息及头部特征信息，分别确定眼部疲劳状态、嘴部疲劳状态及头部疲劳状态；根据所述眼部疲劳状态、嘴部疲劳状态及头部疲劳状态，判断是否疲劳驾驶，若是疲劳驾驶，则报警提示。在本申请实施例中，通过采用眼部疲劳状态、嘴部疲劳状态及头部疲劳状态进行疲劳驾驶的判断，可以提高疲劳驾驶的检测准确性，并且无需接触驾驶者就可完成疲劳驾驶的检测，解决了现有技术中检测的可靠性低或者需要接触实现检测的问题。

Description

一种疲劳驾驶检测方法、装置、电子设备及存储介质

技术领域

本申请涉及计算机技术领域，具体地涉及一种疲劳驾驶检测方法、装置、电子设备及存储介质。

背景技术

随着交通运输和国民经济的发展，我国的机动车拥有量逐年激增，与此同时，每年因交通导致的人员伤亡和国民财产损失也明显增加，而在伤亡事故中，约有30％是由疲劳驾驶造成的。疲劳驾驶是指驾驶者在长时间连续行车后，产生生理机能和心理机能的失调，从而出现驾驶机能下降的现象。引起疲劳的原因是多方面的，如驾驶者睡眠质量差或者不足，道路条件较好导致路面情况单一，疲劳后继续驾驶车辆，会感到困倦瞌睡，四肢无力，注意力不集中，判断力下降，出现动作迟缓或过早，操作停顿等不安全因素，极易产生道路交通事故。

目前，疲劳驾驶的检测方法可分为主观检测和客观检测两类。客观检测的科学性与可靠性要远高于主观检测，也是使用最广泛的一类检测方法。在客观检测中，常用的检测方法有以下几种：(1)生理参数检测，如脑电信号、心电信号、肌电信号、脉搏、呼吸、吸氧浓度等。这类检测方法，具有检测准确率高、数据处理量小的有点，但头部佩戴配套的电极系统或检测装置可能对驾驶者造成一定的干扰，大众接受程度有待提高。(2)车辆行驶数据检测，通过检测方向盘、油门踏板、刹车踏板等部位的数据，实现疲劳驾驶的及时监测。这种方法对驾驶者没有任何侵扰影响，但个体差异明显，普适性较差，在路况复杂的道路上很容易发生误判，检测结果的可靠性偏低。

发明内容

有鉴于此，本申请提供一种疲劳驾驶检测方法、装置、电子设备及存储介质，以利于解决现有技术中检测的可靠性低或者需要接触实现检测的问题。

第一方面，本申请实施例提供了一种疲劳驾驶检测方法，包括：

采集驾驶者的头部图像；

对所述头部图像进行分析，确定所述头部图像中眼部特征信息，嘴部特征信息及头部姿态特征信息；所述眼部特征信息用以表征眼部当前状态的信息，至少包括眼部的宽高比信息；所述嘴部特征信息用以表征嘴部当前状态的信息，至少包括嘴部的宽高比信息；所述头部姿态特征信息用以表征头部当前姿态的信息，至少包括头部姿态角信息；

根据所述眼部特征信息、嘴部特征信息及头部特征信息，分别确定眼部疲劳状态、嘴部疲劳状态及头部疲劳状态；

根据所述眼部疲劳状态、嘴部疲劳状态及头部疲劳状态，判断是否疲劳驾驶，若是疲劳驾驶，则报警提示。

优选地，所述对所述头部图像进行分析，确定所述头部图像中眼部特征信息，嘴部特征信息及头部姿态特征信息包括：

将所述头部图像输入人脸关键点坐标计算模型，得到所述头部图像中眼部、嘴部关键点坐标信息；

根据所述眼部、嘴部关键点坐标信息，分别确定出眼部的宽高比信息，嘴部的宽高比信息；

将所述头部图像输入头部姿态检测模型，得到头部姿态角信息。

优选地，所述根据所述眼部特征信息、嘴部特征信息及头部特征信息，分别确定眼部疲劳状态、嘴部疲劳状态及头部疲劳状态包括：

分别根据所述眼部的宽高比信息、嘴部的宽高比信息及头部姿态角信息，确定所述眼部睁闭眼状态、嘴部开合状态及头部姿态；

若眼部睁闭眼状态为闭眼状态，且所述闭眼状态的时长大于第一预设值，则确定眼部疲劳状态为闭眼疲劳；

若所述嘴部开合状态为嘴部张开状态，且所述嘴部张开状态的时长大于第二预设值，则确定嘴部疲劳状态为哈欠疲劳；

若所述头部姿态为低头状态，且所述低头状态的时长大于第三预设值，则确定头部疲劳状态为低头疲劳。

优选地，所述分别根据所述眼部的宽高比信息、嘴部的宽高比信息及头部姿态角信息，确定所述眼部睁闭眼状态、嘴部开合状态及头部姿态包括：

根据所述眼部的宽高比信息，在所述眼部的宽高比大于预设眼部的宽高比阈值时，确定所述眼部睁闭眼状态为闭眼状态；

根据所述嘴部的宽高比信息，在所述嘴部的宽高比小于预设嘴部的宽高比阈值时，确定所述嘴部开合状态为嘴部张开状态；

根据所述头部姿态角信息，在所述头部姿态的俯角大于预设俯角阈值时，确定所述头部姿态为低头状态。

优选地，所述眼部特征信息还包括眼部睁闭眼属性信息；所述眼部睁闭眼属性信息用于指示当前眼部是否为闭眼状态；

对所述头部图像进行分析，确定所述头部图像中眼部特征信息包括：

将所述头部图像输入眼部睁闭眼属性检测模型，得到所述眼部睁闭眼属性信息；

所述根据所述眼部的宽高比信息，在所述眼部的宽高比大于预设眼部的宽高比阈值时，确定所述眼部睁闭眼状态为闭眼状态包括：

根据所述眼部的宽高比信息，在所述眼部的宽高比大于预设眼部的宽高比阈值，且所述眼部睁闭眼属性信息为当前眼部为闭眼状态时，确定所述眼部睁闭眼状态为闭眼状态。

优选地，所述眼部特征信息还包括眼部遮挡状态信息，所述眼部遮挡状态信息用以表征所述眼部是否被遮挡；嘴部特征信息还包括嘴部遮挡状态信息，所述嘴部遮挡状态信息用以表征所述嘴部是否被遮挡；

所述对所述头部图像进行分析，确定所述头部图像中眼部特征信息，嘴部特征信息包括：

将所述头部图像输入遮挡状态识别模型，得到所述眼部遮挡状态信息及所述嘴部遮挡状态信息；

所述根据所述眼部的宽高比信息，在所述眼部的宽高比大于预设眼部的宽高比阈值，且所述眼部睁闭眼属性信息为当前眼部为闭眼状态时，确定所述眼部睁闭眼状态为闭眼状态包括：

根据所述眼部的宽高比信息，在所述眼部的宽高比大于预设眼部的宽高比阈值，所述眼部睁闭眼属性信息为当前眼部为闭眼状态，且所述眼部遮挡状态信息为未遮挡状态的信息，或者为眼镜遮挡状态的信息时，确定所述眼部睁闭眼状态为闭眼状态；

所述根据所述嘴部的宽高比信息，在所述嘴部的宽高比小于预设嘴部的宽高比阈值时，确定所述嘴部开合状态为嘴部张开状态包括：

所述根据所述嘴部的宽高比信息，在所述嘴部的宽高比小于预设嘴部的宽高比阈值，且所述嘴部遮挡状态信息为未遮挡状态的信息，或者为其他遮挡状态的信息时，确定所述嘴部开合状态为嘴部张开状态，其中，所述其他遮挡状态是指所述嘴部被除口罩之外的其他物件遮挡的状态。

优选地，所述根据所述眼部疲劳状态、嘴部疲劳状态及头部疲劳状态，判断是否疲劳驾驶包括：

根据所述眼部疲劳状态、嘴部疲劳状态及头部疲劳状态，在所述眼部疲劳状态为闭眼疲劳，和/或所述嘴部疲劳状态为哈欠疲劳，和/或所述头部疲劳状态为低头疲劳，则判断是疲劳驾驶。

第二方面，本申请实施例提供了一种疲劳驾驶检测装置，包括：

采集单元，用于采集驾驶者的头部图像；

确定单元，用于对所述头部图像进行分析，确定所述头部图像中眼部特征信息，嘴部特征信息及头部姿态特征信息；所述眼部特征信息用以表征眼部当前状态的信息，至少包括眼部的宽高比信息；所述嘴部特征信息用以表征嘴部当前状态的信息，至少包括嘴部的宽高比信息；所述头部姿态特征信息用以表征头部当前姿态的信息，至少包括头部姿态角信息；

所述确定单元，还用于根据所述眼部特征信息、嘴部特征信息及头部特征信息，分别确定眼部疲劳状态、嘴部疲劳状态及头部疲劳状态；

判断单元，用于根据所述眼部疲劳状态、嘴部疲劳状态及头部疲劳状态，判断是否疲劳驾驶，若是疲劳驾驶，则报警提示。

第三方面，本申请实施例提供了一种电子设备，所述存储器存储有计算机程序，当所述计算机程序被执行时，使得所述电子设备执行上述第一方面任一项所述的方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的程序，其中，在所述程序运行时控制所述计算机可读存储介质所在设备执行上述第一方面任一项所述的方法。

采用本申请实施例所提供的方案，采集驾驶者的头部图像，对头部图像进行分析，确定出头部图像中眼部特征信息，嘴部特征信息及头部姿态特征信息，进而可以根据眼部特征信息，嘴部特征信息及头部姿态特征信息，分别确定眼部疲劳状态、嘴部疲劳状态及头部疲劳状态，根据眼部疲劳状态、嘴部疲劳状态及头部疲劳状态，判断是否疲劳驾驶，若是疲劳驾驶，则报警提示。在本申请实施例中，通过采用眼部疲劳状态、嘴部疲劳状态及头部疲劳状态进行疲劳驾驶的判断，可以提高疲劳驾驶的检测准确性，并且无需接触驾驶者就可完成疲劳驾驶的检测，解决了现有技术中检测的可靠性低或者需要接触实现检测的问题。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。

图1为本申请实施例提供的一种疲劳驾驶检测方法的流程示意图；

图2为本申请实施例提供的一种嘴部状态检测的场景示意图；

图3为本申请实施例提供的一种疲劳驾驶检测装置的结构示意图；

图4为本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

为了更好的理解本申请的技术方案，下面结合附图对本申请实施例进行详细描述。

应当明确，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。

在本申请实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。

应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，甲和/或乙，可以表示：单独存在甲，同时存在甲和乙，单独存在乙这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

在对本申请实施例进行具体介绍之前，首先对本申请实施例应用或可能应用的术语进行解释。

在实际应用场景中，由于疲劳驾驶是现在交通事故的主要原因之一，为了减少疲劳驾驶，可以对疲劳驾驶进行检测，在检测出驾驶者是疲劳驾驶时，可以发出报警，已提醒驾驶者休息。目前，疲劳驾驶的检测方法可以是生理参数检测，如脑电信号、心电信号、肌电信号、脉搏、呼吸、吸氧浓度等。这类检测方法，具有检测准确率高、数据处理量小的有点，但头部佩戴配套的电极系统或检测装置可能对驾驶者造成一定的干扰，大众接受程度有待提高。还可以是车辆行驶数据检测，通过检测方向盘、油门踏板、刹车踏板等部位的数据，实现疲劳驾驶的及时监测。这种方法对驾驶者没有任何侵扰影响，但个体差异明显，普适性较差，在路况复杂的道路上很容易发生误判，检测结果的可靠性偏低。

在本申请实施例中，采集驾驶者的头部图像，对头部图像进行分析，确定出头部图像中眼部特征信息，嘴部特征信息及头部姿态特征信息，进而可以根据眼部特征信息，嘴部特征信息及头部姿态特征信息，分别确定眼部疲劳状态、嘴部疲劳状态及头部疲劳状态，根据眼部疲劳状态、嘴部疲劳状态及头部疲劳状态，判断是否疲劳驾驶，若是疲劳驾驶，则报警提示。在本申请实施例中，通过采用眼部疲劳状态、嘴部疲劳状态及头部疲劳状态进行疲劳驾驶的判断，可以提高疲劳驾驶的检测准确性，并且无需接触驾驶者就可完成疲劳驾驶的检测，解决了现有技术中检测的可靠性低或者需要接触实现检测的问题。

如图1为本申请实施例提供的一种疲劳驾驶检测方法的流程示意图。如图1所示，所述方法包括：

步骤S101、采集驾驶者的头部图像。

在本申请实施例中，在驾驶者驾驶过程中，可以实时对驾驶者是否疲劳驾驶进行检测，以便当存在疲劳驾驶时，及时主动的向驾驶者发出驾驶提醒，以保障及时过程的安全。此时可以疲劳驾驶检测装置通过摄像头采集驾驶者的头部图像。

进一步地，为了能够适应自然光照场景中不同光线变化的白天场景以及光线较弱的夜间场景，可以通过红外(Infra Red，IR)摄像头采集驾驶者的头部图像。

在一种可能实现方式中，为了保证当前疲劳驾驶检测装置的当前位置被固定时，其内的摄像头所采集的图像信息是有效的，可以判断当前采集的头部图像是否是包含驾驶者的完整头部的图像。在当前采集的头部图像包含驾驶者的完整头部的图像则认为该头部图像时有效的，否则确定是无效的，需要重新采集，此时可以生成提示信息，提示驾驶者调整当前疲劳驾驶检测装置的摄像头的拍摄角度，以便采集驾驶者完整的头部图像。

步骤S102、对头部图像进行分析，确定头部图像中眼部特征信息，嘴部特征信息及头部姿态特征信息。

其中，眼部特征信息用以表征眼部当前状态的信息，至少包括眼部的宽高比信息。嘴部特征信息用以表征嘴部当前状态的信息，至少包括嘴部的宽高比信息。头部姿态特征信息用以表征头部当前姿态的信息，至少包括头部姿态角信息。

在本申请实施例中，疲劳驾驶检测装置采集到驾驶者的头部图像后，可以将头部图像输入获取眼部特征信息，嘴部特征信息及头部姿态特征信息的相应的模型，以便得到眼部特征信息，嘴部特征信息及头部姿态特征信息。

其中，获取眼部特征信息，嘴部特征信息及头部姿态特征信息的相应的模型包含有获取头部图像中眼部、嘴部等关键点的坐标信息的人脸关键点坐标计算模型，获取头部姿态角的头部姿态检测模型。

为了更好的对下述各个步骤进行阐述，首先对人脸关键点坐标计算模型及头部姿态检测模型的具体结构进行说明。

在一种可能的实现方式中，人脸关键点坐标计算模型及头部姿态检测模型是基于轻量级神经网络进行构建，如mobilenet模型和shufflenet模型。

其中，mobilenet模型和shufflenet模型等其他轻量级神经网络模型相比，在相同复杂度下，shufflenet模型的处理速度更快、准确度也更高。由于人脸关键点坐标计算模型及头部姿态检测模型对准确度的要求较高，可以采用shufflenet模型。当然，可以采用准确度稍低的mobilenet模型，本申请对此不作限制。

在一种可能的实施例中，人脸关键点坐标计算模型及头部姿态检测模型采用shufflenet模型，人脸关键点坐标计算模型及头部姿态检测模型的预设卷积层可以采用depthwise卷积和pointwise卷积，且人脸关键点坐标计算模型及头部姿态检测模型可以采用focal loss损失训练得到。

需要说明的是，人脸关键点坐标计算模型及头部姿态检测模型也可以采用其他模型、卷积层及损失进行相应的构建及训练得到，本申请对此不作限制。

此时，对头部图像进行分析，确定头部图像中眼部特征信息，嘴部特征信息及头部姿态特征信息包括：

将头部图像输入人脸关键点坐标计算模型，得到头部图像中眼部、嘴部关键点坐标信息。根据眼部、嘴部及头部的关键点坐标信息，分别确定出眼部的宽高比信息，嘴部的宽高比信息。将头部图像输入头部姿态检测模型，得到头部姿态角信息。

具体的，在预先构建及训练得到训练完成的人脸关键点坐标计算模型及头部姿态检测模型后，疲劳驾驶检测装置可以将采集的头部图像输入至人脸关键点坐标计算模型，经过人脸关键点坐标计算模型的处理，人脸关键点坐标计算模型输出头部图像的眼部、嘴部等关键点的坐标信息。通过将采集的头部图像输入至头部姿态检测模型，经过头部姿态检测模型的处理，头部姿态检测模型输出头部图像的头部姿态角信息。例如，输出包含了俯仰角θ、偏航角Ψ、滚转角Φ在内的头部姿态角信息。

需要说明的是，头部姿态角信息中还可以包含其他角度信息，本申请对此不作限制。

疲劳驾驶检测装置在获取了眼部及嘴部关键点坐标信息后，可以根据眼部关键点的坐标信息计算出包围眼部的最小矩形的宽及高的信息，根据嘴部关键点的坐标信息，计算出包围嘴部的最小矩形的宽及高的信息。根据包围眼部的最小矩形的宽及高的信息及包围嘴部的最小矩形的宽及高的信息，计算出眼部的宽高比及嘴部的宽高比。

进一步地，眼部的宽高比可以是左眼的宽高比和/或右眼的宽高比。嘴部的宽高比可以是嘴部外轮廓的宽高比及嘴部内轮廓的宽高比。

需要说明的是，嘴部关键点的坐标信息包含嘴部外轮廓关键点的坐标信息及嘴部内轮廓关键点的坐标信息。如图2所示，嘴部可以通过22个关键点来描述。即为，通过22个关键点连线在描述嘴部外轮廓和嘴部内轮廓。其中，位于外圈的12个关键点用来描述嘴部外轮廓，位于内圈的10个关键点用来描述嘴部内轮廓。22个关键点包括：位于嘴部外轮廓的第一左嘴角点41、嘴部外轮廓的第一右嘴角点42、嘴部内轮廓的第二左嘴角点43和嘴部内轮廓的第二右嘴角点44。嘴部关键点的描述方式不局限于这种描述方式，例如，嘴部关键点的个数不局限于22个，还可以是其他数值，可以根据使用的人脸关键点坐标计算模型进行调整，只要能够通过嘴部关键点描述出嘴部外轮廓及嘴部内轮廓即可，本申请对此不作限制。

示例性的，以计算左眼宽高比为例进行说明。假设左眼关键点个数为N个，第n个关键点坐标为(x_n,y_n)，用rect.x，rect.y，rect.width，rect.height分别表示矩形左上角x坐标、左上角y坐标、宽、高。则：

通过上述公式，可以计算出包围左眼的最小矩形的宽及高的值，利用包围左眼的最小矩形的宽及高的值，计算出宽与高的比值，该比值就是左眼的宽高比。这样，通过上述方式可以分别计算出嘴部的宽高比及右眼宽高比。

进一步地，眼部特征信息还包括：眼部睁闭眼属性信息。其中，眼部睁闭眼属性信息用于指示当前眼部是否为闭眼状态。

为了更好的对下述各个步骤进行阐述，首先对眼部睁闭眼属性检测模型的具体结构进行说明。

在一种可能的实现方式中，眼部睁闭眼属性检测模型是基于轻量级神经网络进行构建，如mobilenet模型和shufflenet模型。

其中，mobilenet模型和shufflenet模型等其他轻量级神经网络模型相比，在相同复杂度下，shufflenet模型的处理速度更快、准确度也更高。例如，可以采用mobilenet模型。当然，可以采用准确度更高的的shufflenet模型，或者其他模型，本申请对此不作限制。

在一种可能的实施例中，眼部睁闭眼属性检测模型采用mobilenet模型，眼部睁闭眼属性检测模型的预设卷积层可以采用depthwise卷积和pointwise卷积，且眼部睁闭眼属性检测模型可以采用softmax损失和focal loss损失联合训练得到。

需要说明的是，眼部睁闭眼属性检测模型也可以采用其他模型、卷积层及损失进行相应的构建及训练得到，本申请对此不作限制。

此时疲劳驾驶检测装置将采集的头部图像输入眼部睁闭眼属性检测模型，经过眼部睁闭眼属性检测模型的处理，眼部睁闭眼属性检测模型输出头部图像的眼部睁闭眼属性信息。在眼部睁闭眼属性信息中记录了当前采集的头部图像中的眼部是处于睁眼状态还是处于闭眼状态。

进一步地，眼部特征信息还包括眼部遮挡状态信息，眼部遮挡状态信息用以表征眼部是否被遮挡。嘴部特征信息还包括嘴部遮挡状态信息，嘴部遮挡状态信息用以表征嘴部是否被遮挡。

为了更好的对下述各个步骤进行阐述，首先对遮挡状态识别模型的具体结构进行说明。

在一种可能的实现方式中，遮挡状态识别模型是基于轻量级神经网络进行构建，如mobilenet模型和shufflenet模型。

其中，mobilenet模型和shufflenet模型等其他轻量级神经网络模型相比，在相同复杂度下，shufflenet模型的处理速度更快、准确度也更高。例如，可以采用mobilenet模型。当然，可以采用准确度更高的的shufflenet模型，或者其他模型，本申请对此不作限制。

在一种可能的实施例中，遮挡状态识别模型采用mobilenet模型，遮挡状态识别模型的预设卷积层可以采用depthwise卷积和pointwise卷积，且遮挡状态识别模型可以采用softmax损失和focal loss损失联合训练得到。

需要说明的是，遮挡状态识别模型也可以采用其他模型、卷积层及损失进行相应的构建及训练得到，本申请对此不作限制。

此时，疲劳驾驶检测装置将采集的头部图像输入遮挡状态识别模型，经过遮挡状态识别模型的处理，遮挡状态识别模型输出头部图像的眼部遮挡状态信息及嘴部遮挡状态信息，以便通过眼部遮挡状态信息获知当前采集的头部图像的眼部是否被物体遮挡，若遮挡是否为眼镜遮挡等信息。通过嘴部遮挡状态信息获知当前采集的头部图像的嘴部是否被物体遮挡，若遮挡是否为口罩遮挡等信息。

步骤S103、根据眼部特征信息、嘴部特征信息及头部特征信息，分别确定眼部疲劳状态、嘴部疲劳状态及头部疲劳状态。

在本申请实施例中，疲劳驾驶检测装置在确定出眼部特征信息、嘴部特征信息及头部特征信息后，可以根据眼部特征信息，确定当前采集的头部图像中驾驶者的眼部疲劳状态，可以根据嘴部特征信息，确定当前采集的头部图像中驾驶者的嘴部疲劳状态，根据头部特征信息，确定当前采集的头部图像中驾驶者的头部疲劳状态。

进一步地，根据眼部特征信息、嘴部特征信息及头部特征信息，分别确定眼部疲劳状态、嘴部疲劳状态及头部疲劳状态包括：

分别根据眼部的宽高比信息、嘴部的宽高比信息及头部姿态角信息，确定眼部睁闭眼状态、嘴部开合状态及头部姿态。

若眼部睁闭眼状态为闭眼状态，且闭眼状态的时长大于第一预设值，则确定眼部疲劳状态为闭眼疲劳。

若嘴部开合状态为嘴部张开状态，且嘴部张开状态的时长大于第二预设值，则确定嘴部疲劳状态为哈欠疲劳。

若头部姿态为低头状态，且低头装置的时长大于第三预设值，则确定头部疲劳状态为低头疲劳。

具体的，在眼部特征信息仅包含眼部的宽高比信息时，疲劳驾驶检测装置在确定出眼部的宽高比信息后，可以根据眼部的宽高比信息确定采集的头像图像中驾驶者的眼部睁闭眼状态，即为，确定采集的头像图像中驾驶者的眼部是睁开状态还是闭合状态。可以根据嘴部的宽高比信息确定采集的头像图像中驾驶者的嘴部开合状态，即为，确定采集的头像图像中驾驶者的嘴部是张开状态还是闭合状态。可以根据头部姿态角信息确定采集的头像图像中驾驶者的头部是否处于低头状态。

进一步地，分别根据眼部的宽高比信息、嘴部的宽高比信息及头部姿态角信息，确定眼部睁闭眼状态、嘴部开合状态及头部姿态包括：

根据眼部的宽高比信息，在眼部的宽高比大于预设眼部的宽高比阈值时，确定眼部睁闭眼状态为闭眼状态。根据嘴部的宽高比信息，在嘴部的宽高比小于预设嘴部的宽高比阈值时，确定嘴部睁闭眼状态为嘴部张开状态。根据头部姿态角信息，在头部姿态的俯角大于预设俯角阈值时，确定头部姿态为低头状态。

也就是说，疲劳驾驶检测装置计算出眼部宽高比后，可以根据眼部宽高比确定当前采集的头部图像中的驾驶者眼部是否处于闭眼状态。此时，疲劳驾驶检测装置可以将眼部的宽高比与预先的眼部宽高比的阈值进行比较。在眼部的宽高比大于预设眼部的宽高比阈值时，则确定头部图像中的驾驶者眼部处于闭眼状态。在眼部的宽高比不大于预设眼部的宽高比阈值时，则确定头部图像中的驾驶者眼部处于睁眼状态

疲劳驾驶检测装置计算出嘴部宽高比后，可以根据嘴部宽高比确定当前采集的头部图像中的驾驶者嘴部是否处于张开状态。此时，疲劳驾驶检测装置可以将嘴部的宽高比与预设嘴部的宽高比阈值进行比较。在嘴部的宽高比小于预设嘴部的宽高比阈值时，则确定头部图像中的驾驶者嘴部处于张开状态。当在上述步骤S102中计算出的嘴部宽高比为嘴部的外轮廓宽高比及内轮廓宽高比时，可以将嘴部的外轮廓的宽高比、内轮廓的宽高比与预设嘴部的宽高比阈值进行比较，如果嘴部的外轮廓的宽高比及内轮廓的宽高比均大于预设嘴部的宽高比阈值时，则确定头部图像中的驾驶者嘴部处于闭合状态。如果嘴部的内轮廓的宽高比小于预设嘴部的宽高比阈值，则确定嘴部为张开状态。

进一步地，为了更准确的判断驾驶者的嘴部状态，嘴部的外部轮廓及内部轮廓的宽高比对应的阈值可以不同。此时，预设嘴部的宽高比阈值可以包含嘴部外部轮廓的宽高比阈值及嘴部内部轮廓的宽高比阈值。此时，疲劳驾驶检测装置可以将嘴部的外轮廓的宽高比与嘴部外部轮廓的宽高比阈值进行比较，将嘴部的内轮廓的宽高比与嘴部内部轮廓的宽高比阈值进行比较。如果嘴部的外轮廓的宽高比大于嘴部外部轮廓的宽高比阈值，且嘴部的内轮廓的宽高比大于嘴部内部轮廓的宽高比阈值，则可以确定嘴部开合状态为闭合状态。如果嘴部的内轮廓的宽高比小于嘴部内部轮廓的宽高比阈值，则可以确定嘴部开合状态为张开状态。

由于驾驶者在驾驶疲劳状态时，驾驶者的头部一般会处于低头状态，即为驾驶者在驾驶过程中若出现睡着的情况，其头部相对于正常驾驶状态是处于低头状态的。此时，疲劳驾驶检测装置可以根据头部姿态角确定驾驶者的头部是否处于低头状态。此时，疲劳驾驶检测装置可以检测头部姿态角的俯角θ是否大于预设俯角阈值，如果头部姿态角的俯角θ大于预设俯角阈值，则确定头部图像中的驾驶者处于低头状态。

进一步地，不同驾驶者的眼部大小不同，为了防止通过眼部宽高比与第一预设值间的比较时，将眼部较小，但是处于睁眼状态的情况误判为处于闭眼状态，可以进一步检测眼部睁闭眼属性信息。此时，眼部特征信息还包括眼部睁闭眼属性信息。其中，眼部睁闭眼属性信息用于指示当前眼部是否为闭眼状态。

此时，步骤S102对头部图像进行分析，确定头部图像中眼部特征信息包括：将头部图像输入眼部睁闭眼属性检测模型，得到眼部睁闭眼属性信息。

根据眼部的宽高比信息，在眼部的宽高比大于预设眼部的宽高比阈值时，确定眼部睁闭眼状态为闭眼状态包括：根据眼部的宽高比信息，在眼部的宽高比大于预设眼部的宽高比阈值，且眼部睁闭眼属性信息为当前眼部为闭眼状态时，确定眼部睁闭眼状态为闭眼状态。

疲劳驾驶检测装置将采集的头部图像输入至眼部睁闭眼属性检测模型，经眼部睁闭眼属性检测模型处理，眼部睁闭眼属性检测模型输出眼部睁闭眼属性信息。疲劳驾驶检测装置可以根据眼部睁闭眼属性信息获知当前采集的头部图像中的驾驶者的眼部是处于闭眼状态还是睁眼状态。此时，疲劳驾驶检测装置可以结合眼部睁闭眼属性信息及眼部的宽高比信息来确定眼部睁闭眼状态。在疲劳驾驶检测装置解析出眼部睁闭眼属性信息为当前眼部为闭眼状态，且检测出眼部的宽高比大于预设眼部的宽高比阈值，则确定眼部睁闭眼状态为闭眼状态。如果疲劳驾驶检测装置解析出眼部睁闭眼属性信息为当前眼部为睁眼状态，则直接确定眼部睁闭眼状态为睁眼状态。

进一步地，若眼部或者嘴部有物件遮挡，则上述步骤中判断的眼部睁闭眼状态及嘴部开合状态由于眼部及嘴部有物件遮挡而存在判断不准确的情况。因此，为了提高检测的准确性，可以预先判断眼部及嘴部有物件遮挡，在进行眼部睁闭眼状态及嘴部开合状态的判断。

基于此，眼部特征信息还包括眼部遮挡状态信息，眼部遮挡状态信息用以表征所述眼部是否被遮挡；嘴部特征信息还包括嘴部遮挡状态信息，嘴部遮挡状态信息用以表征所述嘴部是否被遮挡。

步骤S102中对头部图像进行分析，确定头部图像中眼部特征信息，嘴部特征信息包括：

将头部图像输入遮挡状态识别模型，得到眼部遮挡状态信息及嘴部遮挡状态信息。

根据眼部的宽高比信息，在眼部的宽高比大于预设眼部的宽高比阈值，且眼部睁闭眼属性信息为当前眼部为闭眼状态时，确定眼部睁闭眼状态为闭眼状态包括：

根据眼部的宽高比信息，在眼部的宽高比大于预设眼部的宽高比阈值，眼部睁闭眼属性信息为当前眼部为闭眼状态，且眼部遮挡状态信息为未遮挡状态的信息，或者为眼镜遮挡状态的信息时，确定眼部睁闭眼状态为闭眼状态。

根据嘴部的宽高比信息，在嘴部的宽高比小于预设嘴部的宽高比阈值时，确定嘴部睁闭眼状态为嘴部张开状态包括：

根据所述嘴部的宽高比信息，在嘴部的宽高比小于预设嘴部的宽高比阈值，且嘴部遮挡状态信息为未遮挡状态的信息，或者为其他遮挡状态的信息时，确定嘴部睁闭眼状态为嘴部张开状态。

其中，其他遮挡状态是指嘴部被除口罩之外的其他物件遮挡的状态。

具体的，在疲劳驾驶检测装置将采集的头部图像输入至遮挡状态识别模型，经遮挡状态识别模型的处理，遮挡状态识别模块输出头部图像的眼部遮挡状态信息及嘴部遮挡状态信息。疲劳驾驶检测装置可以通过解析眼部遮挡状态信息获知当前采集的头部图像中驾驶者的眼部是否被遮挡，如果被遮挡是眼镜遮挡还是除眼睛之外的其他遮挡。通过解析嘴部遮挡状态信息获知当前采集的头部图像中驾驶者的嘴部是否被遮挡，如果被遮挡是口罩遮挡还是除口罩之外的其他遮挡。疲劳驾驶检测装置可以结合眼部遮挡状态信息、眼部睁闭眼属性信息及眼部的宽高比信息来确定眼部睁闭眼状态。结合嘴部遮挡状态信息、嘴部的宽高比信息来确定嘴部开合状态。即为，疲劳驾驶检测装置在得到眼部的宽高比信息、眼部睁闭眼属性信息及眼部遮挡状态信息时，将眼部的宽高比与预设眼部的宽高比阈值进行比较，如果眼部的宽高比大于预设眼部的宽高比阈值，且眼部睁闭眼属性信息为当前眼部为闭眼状态，则可以解析眼部遮挡状态信息，此时如果眼部遮挡状态信息为眼部未遮挡状态的信息，或者是为眼镜遮挡状态的信息时，说明当前检测到的眼部的宽高比信息、眼部睁闭眼属性信息是有效的，此时，疲劳驾驶检测装置可以直接确定眼部睁闭眼状态为闭眼状态。如果疲劳驾驶检测装置检测出眼部的宽高比大于预设眼部的宽高比阈值，且眼部睁闭眼属性信息为当前眼部为闭眼状态，但是眼部遮挡状态信息为其他遮挡状态的信息，则说明当前眼部是由除眼镜之外的其他物件遮挡，说明检测到的眼部的宽高比信息、眼部睁闭眼属性信息是无效的，无法从当前采集的头部图像中确定驾驶者的眼部睁闭眼状态。同理，疲劳驾驶检测装置在得到嘴部宽高比信息及嘴部遮挡状态信息时，如果嘴部宽高比小于预设嘴部宽高比阈值，则疲劳驾驶检测装置可以解析嘴部遮挡状态信息。若嘴部遮挡状态信息为未遮挡状态的信息，或者为其他遮挡状态的信息，则说明当前检测到的额嘴部的宽高比信息是有效的，此时，疲劳驾驶检测装置可以直接确定嘴部开合状态为张开状态。若嘴部遮挡状态信息为口罩遮挡状态的信息，则说明当前嘴部由口罩遮挡，检测到的嘴部的宽高比时无效的，无法从当前采集的头部图像中确定驾驶者的嘴部开合状态。

通过上述过程可以更加精准的检测出当前采集的头部图像中驾驶者的眼部及嘴部的状态。

疲劳驾驶检测装置在确定出当前采集的头部图像中驾驶者的眼部睁闭眼状态、嘴部开合状态及头部姿态后，可以在检测出当前采集的头部图像中驾驶者的眼部睁闭眼状态为闭眼状态、和/或嘴部开合状态为嘴部张开状态，和/或头部姿态为低头状态，可以持续采集驾驶者的头部图像，确定持续采集的头部图像的眼部睁闭眼状态、嘴部开合状态及头部姿态，从而可以根据采集的一段时间内的头部图像的眼部睁闭眼状态、嘴部开合状态及头部姿态，确定驾驶者是否为闭眼疲劳、哈欠疲劳、低头疲劳中的至少一种。

即为，疲劳驾驶检测装置需要基于多帧头部图像中的眼部睁闭眼状态、嘴部开合状态及头部姿态判断当前驾驶者是否为闭眼疲劳、哈欠疲劳、低头疲劳中的至少一种。此时，疲劳驾驶检测装置在眼部睁闭眼状态为闭眼状态，且闭眼状态的时长大于第一预设值，则确定眼部疲劳状态为闭眼疲劳。即为，在检测出驾驶者眼部处于闭眼状态持续一定时长时，例如，连续n帧头部图像中驾驶者眼部均处于闭眼状态，确定当前驾驶者为闭眼疲劳。在嘴部开合状态为嘴部张开状态，且嘴部张开状态的时长大于第二预设值，则确定嘴部疲劳状态为哈欠疲劳。即为，在检测出驾驶者嘴部处于张开状态持续一定时长时，例如，连续n帧头部图像中驾驶者嘴部均处于张开状态，确定当前驾驶者为哈欠疲劳。在头部姿态为低头状态，且低头状态的时长大于第三预设值，则确定头部疲劳状态为低头疲劳。即为，在检测出驾驶者头部处于低头状态持续一定时长时，例如，连续n帧头部图像中驾驶者头部均处于低头状态，确定当前驾驶者为低头疲劳。其中，n是根据实际需求预先设置的。

需要说明的是，第一预设值，第二预设值，第三预设值是预先设置的时间阈值，第一预设值，第二预设值，第三预设值可以相同，也可以不同，本申请对此不作限制。

进一步的，在判断低头疲劳时，如果头部姿态为低头状态，且低头状态的时长不大于第三预设值，但是驾驶者的低头频率大于超过一定值，则也可判定其为低头疲劳。也就是说，在判断低头疲劳时，不仅可以检测驾驶者处于低头状态的时长，还可以根据一定时间内驾驶者的低头频率来判断。其中，驾驶者的低头频率可以根据驾驶者在一定时间内采集全部头部图像中，检测到处于低头状态的图像个数确定。

步骤S104、根据眼部疲劳状态、嘴部疲劳状态及头部疲劳状态，判断是否疲劳驾驶，若是疲劳驾驶，则报警提示。

具体的，疲劳驾驶检测装置在确定出驾驶者的眼部疲劳状态、嘴部疲劳状态及头部疲劳状态后，可以根据检测出的驾驶者的眼部疲劳状态、嘴部疲劳状态及头部疲劳状态来判断当前驾驶者是否为疲劳驾驶，并在判断是疲劳驾驶时，进行报警提示。

进一步地，根据眼部疲劳状态、嘴部疲劳状态及头部疲劳状态，判断是否疲劳驾驶包括：

根据眼部疲劳状态、嘴部疲劳状态及头部疲劳状态，在眼部疲劳状态为闭眼疲劳，和/或嘴部疲劳状态为哈欠疲劳，和/或头部疲劳状态为低头疲劳，则判断是疲劳驾驶。

在本申请实施例中，疲劳驾驶检测装置在确定出眼部疲劳状态、嘴部疲劳状态及头部疲劳状态后，若当前驾驶员处于眼部疲劳状态为闭眼疲劳，嘴部疲劳状态为哈欠疲劳，头部疲劳状态为低头疲劳中的至少一种，则判断当前驾驶为疲劳驾驶。可以通过语音报警提示用户注意休息，保证安全驾驶。

在本申请实施例中，采集驾驶者的头部图像，对头部图像进行分析，确定出头部图像中眼部特征信息，嘴部特征信息及头部姿态特征信息，进而可以根据眼部特征信息，嘴部特征信息及头部姿态特征信息，分别确定眼部疲劳状态、嘴部疲劳状态及头部疲劳状态，根据眼部疲劳状态、嘴部疲劳状态及头部疲劳状态，判断是否疲劳驾驶，若是疲劳驾驶，则报警提示。在本申请实施例中，通过采用眼部疲劳状态、嘴部疲劳状态及头部疲劳状态进行疲劳驾驶的判断，可以提高疲劳驾驶的检测准确性，并且无需接触驾驶者就可完成疲劳驾驶的检测，解决了现有技术中检测的可靠性低或者需要接触实现检测的问题。

图3所示为本申请实施例提供的一种疲劳驾驶检测装置的结构示意图。如图3所示，疲劳驾驶检测装置包括：

采集单元301，用于采集驾驶者的头部图像。

确定单元302，用于对头部图像进行分析，确定头部图像中眼部特征信息，嘴部特征信息及头部姿态特征信息。

其中，眼部特征信息用以表征眼部当前状态的信息，至少包括眼部的宽高比信息；嘴部特征信息用以表征嘴部当前状态的信息，至少包括嘴部的宽高比信息；头部姿态特征信息用以表征头部当前姿态的信息，至少包括头部姿态角信息。

具体的，确定单元302，具体用于将头部图像输入人脸关键点坐标计算模型，得到头部图像中眼部、嘴部关键点坐标信息；根据眼部、嘴部坐标信息，分别确定出眼部的宽高比信息，嘴部的宽高比信息；将头部图像输入头部姿态检测模型，得到头部姿态角信息。

确定单元302，还用于根据眼部特征信息、嘴部特征信息及头部特征信息，分别确定眼部疲劳状态、嘴部疲劳状态及头部疲劳状态。

具体的，确定单元302，具体用于分别根据眼部的宽高比信息、嘴部的宽高比信息及头部姿态角信息，确定眼部睁闭眼状态、嘴部开合状态及头部姿态。若眼部睁闭眼状态为闭眼状态，且闭眼状态的时长大于第一预设值，则确定眼部疲劳状态为闭眼疲劳。若嘴部开合状态为嘴部张开状态，且嘴部张开状态的时长大于第二预设值，则确定嘴部疲劳状态为哈欠疲劳。若头部姿态为低头状态，且低头状态的时长大于第三预设值，则确定头部疲劳状态为低头疲劳。

进一步地，分别根据眼部的宽高比信息、嘴部的宽高比信息及头部姿态角信息，确定眼部睁闭眼状态、嘴部开合状态及头部姿态包括：

根据眼部的宽高比信息，在眼部的宽高比大于预设眼部的宽高比阈值时，确定眼部睁闭眼状态为闭眼状态。根据嘴部的宽高比信息，在嘴部的宽高比小于预设嘴部的宽高比阈值时，确定嘴部开合状态为嘴部张开状态。根据头部姿态角信息，在头部姿态的俯角大于预设俯角阈值时，确定头部姿态为低头状态。

进一步地，眼部特征信息还包括眼部睁闭眼属性信息。其中，眼部睁闭眼属性信息用于指示当前眼部是否为闭眼状态。

此时，对头部图像进行分析，确定头部图像中眼部特征信息包括：将头部图像输入眼部睁闭眼属性检测模型，得到眼部睁闭眼属性信息。

根据眼部的宽高比信息，在眼部的宽高比大于预设眼部的宽高比阈值时，确定眼部睁闭眼状态为闭眼状态包括：根据眼部的宽高比信息，在眼部的宽高比大于预设眼部的宽高比阈值，且眼部睁闭眼属性信息为当前眼部为闭眼状态时，确定眼部睁闭眼状态为闭眼状态。

进一步地，眼部特征信息还包括眼部遮挡状态信息，眼部遮挡状态信息用以表征眼部是否被遮挡嘴部特征信息还包括嘴部遮挡状态信息，嘴部遮挡状态信息用以表征嘴部是否被遮挡。

对所述头部图像进行分析，确定头部图像中眼部特征信息，嘴部特征信息包括：将头部图像输入遮挡状态识别模型，得到眼部遮挡状态信息及嘴部遮挡状态信息。

根据眼部的宽高比信息，在眼部的宽高比大于预设眼部的宽高比阈值，且眼部睁闭眼属性信息为当前眼部为闭眼状态时，确定眼部睁闭眼状态为闭眼状态包括：

根据眼部的宽高比信息，在眼部的宽高比大于预设眼部的宽高比阈值，眼部睁闭眼属性信息为当前眼部为闭眼状态，且眼部遮挡状态信息为未遮挡状态的信息，或者为眼镜遮挡状态的信息时，确定眼部睁闭眼状态为闭眼状态。

根据嘴部的宽高比信息，在嘴部的宽高比小于预设嘴部的宽高比阈值时，确定嘴部开合状态为嘴部张开状态包括：根据嘴部的宽高比信息，在嘴部的宽高比小于预设嘴部的宽高比阈值，且嘴部遮挡状态信息为未遮挡状态的信息，或者为其他遮挡状态的信息时，确定嘴部开合状态为嘴部张开状态，其中，其他遮挡状态是指所述嘴部被除口罩之外的其他物件遮挡的状态。

判断单元303，用于根据眼部疲劳状态、嘴部疲劳状态及头部疲劳状态，判断是否疲劳驾驶，若是疲劳驾驶，则报警提示。

具体的，判断单元303，具体用于根据眼部疲劳状态、嘴部疲劳状态及头部疲劳状态，在眼部疲劳状态为闭眼疲劳，和/或嘴部疲劳状态为哈欠疲劳，和/或头部疲劳状态为低头疲劳，则判断是疲劳驾驶。

在本申请实施例中，采集驾驶者的头部图像，对头部图像进行分析，确定出头部图像中眼部特征信息，嘴部特征信息及头部姿态特征信息，进而可以根据眼部特征信息，嘴部特征信息及头部姿态特征信息，分别确定眼部疲劳状态、嘴部疲劳状态及头部疲劳状态，根据眼部疲劳状态、嘴部疲劳状态及头部疲劳状态，判断是否疲劳驾驶，若是疲劳驾驶，则报警提示。在本申请实施例中，通过采用眼部疲劳状态、嘴部疲劳状态及头部疲劳状态进行疲劳驾驶的判断，可以提高疲劳驾驶的检测准确性，并且无需接触驾驶者就可完成疲劳驾驶的检测，解决了现有技术中检测的可靠性低或者需要接触实现检测的问题。

与上述实施例相对应，本申请还提供了一种电子设备。图4为本发明实施例提供的一种电子设备的结构示意图，所述电子设备400可以包括：处理器401、存储器402及通信单元403。这些组件通过一条或多条总线进行通信，本领域技术人员可以理解，图中示出的服务器的结构并不构成对本发明实施例的限定，它既可以是总线形结构，也可以是星型结构，还可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

其中，所述通信单元403，用于建立通信信道，从而使所述存储设备可以与其它设备进行通信。接收其他设备发是的用户数据或者向其他设备发送用户数据。

所述处理器401，为存储设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储器402内的软件程序和/或模块，以及调用存储在存储器内的数据，以执行电子设备的各种功能和/或处理数据。所述处理器可以由集成电路(integrated circuit，IC)组成，例如可以由单颗封装的IC所组成，也可以由连接多颗相同功能或不同功能的封装IC而组成。举例来说，处理器401可以仅包括中央处理器(centralprocessing unit，CPU)。在本发明实施方式中，CPU可以是单运算核心，也可以包括多运算核心。

所述存储器402，用于存储处理器401的执行指令，存储器402可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

当存储器402中的执行指令由处理器401执行时，使得嵌入式设备400能够执行图1所示实施例中的部分或全部步骤。

具体实现中，本发明还提供一种计算机存储介质，其中，该计算机存储介质可存储有程序，该程序执行时可包括本发明提供的疲劳驾驶检测方法的各实施例中的部分或全部步骤。所述的存储介质可为磁碟、光盘、只读存储记忆体(read-only memory，ROM)或随机存储记忆体(random access memory，RAM)等。

本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。

本说明书中各个实施例之间相同相似的部分互相参见即可。尤其，对于装置实施例和终端实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例中的说明即可。

Claims (10)

1.一种疲劳驾驶检测方法，其特征在于，包括：

采集驾驶者的头部图像；

对所述头部图像进行分析，确定所述头部图像中眼部特征信息，嘴部特征信息及头部姿态特征信息；所述眼部特征信息用以表征眼部当前状态的信息，至少包括眼部的宽高比信息；所述嘴部特征信息用以表征嘴部当前状态的信息，至少包括嘴部的宽高比信息；所述头部姿态特征信息用以表征头部当前姿态的信息，至少包括头部姿态角信息；

根据所述眼部特征信息、嘴部特征信息及头部特征信息，分别确定眼部疲劳状态、嘴部疲劳状态及头部疲劳状态；

根据所述眼部疲劳状态、嘴部疲劳状态及头部疲劳状态，判断是否疲劳驾驶，若是疲劳驾驶，则报警提示。

2.根据权利要求1所述的方法，其特征在于，所述对所述头部图像进行分析，确定所述头部图像中眼部特征信息，嘴部特征信息及头部姿态特征信息包括：

将所述头部图像输入人脸关键点坐标计算模型，得到所述头部图像中眼部、嘴部关键点坐标信息；

根据所述眼部、嘴部关键点坐标信息，分别确定出眼部的宽高比信息，嘴部的宽高比信息；

将所述头部图像输入头部姿态检测模型，得到头部姿态角信息。

3.根据权利要求2所述的方法，其特征在于，所述根据所述眼部特征信息、嘴部特征信息及头部特征信息，分别确定眼部疲劳状态、嘴部疲劳状态及头部疲劳状态包括：

分别根据所述眼部的宽高比信息、嘴部的宽高比信息及头部姿态角信息，确定所述眼部睁闭眼状态、嘴部开合状态及头部姿态；

若眼部睁闭眼状态为闭眼状态，且所述闭眼状态的时长大于第一预设值，则确定眼部疲劳状态为闭眼疲劳；

若所述嘴部开合状态为嘴部张开状态，且所述嘴部张开状态的时长大于第二预设值，则确定嘴部疲劳状态为哈欠疲劳；

若所述头部姿态为低头状态，且所述低头状态的时长大于第三预设值，则确定头部疲劳状态为低头疲劳。

4.根据权利要求3所述的方法，其特征在于，所述分别根据所述眼部的宽高比信息、嘴部的宽高比信息及头部姿态角信息，确定所述眼部睁闭眼状态、嘴部开合状态及头部姿态包括：

根据所述眼部的宽高比信息，在所述眼部的宽高比大于预设眼部的宽高比阈值时，确定所述眼部睁闭眼状态为闭眼状态；

根据所述嘴部的宽高比信息，在所述嘴部的宽高比小于预设嘴部的宽高比阈值时，确定所述嘴部开合状态为嘴部张开状态；

根据所述头部姿态角信息，在所述头部姿态的俯角大于预设俯角阈值时，确定所述头部姿态为低头状态。

5.根据权利要求4所述的方法，其特征在于，所述眼部特征信息还包括眼部睁闭眼属性信息；所述眼部睁闭眼属性信息用于指示当前眼部是否为闭眼状态；

对所述头部图像进行分析，确定所述头部图像中眼部特征信息包括：

将所述头部图像输入眼部睁闭眼属性检测模型，得到所述眼部睁闭眼属性信息；

所述根据所述眼部的宽高比信息，在所述眼部的宽高比大于预设眼部的宽高比阈值时，确定所述眼部睁闭眼状态为闭眼状态包括：

根据所述眼部的宽高比信息，在所述眼部的宽高比大于预设眼部的宽高比阈值，且所述眼部睁闭眼属性信息为当前眼部为闭眼状态时，确定所述眼部睁闭眼状态为闭眼状态。

6.根据权利要求5所述的方法，其特征在于，所述眼部特征信息还包括眼部遮挡状态信息，所述眼部遮挡状态信息用以表征所述眼部是否被遮挡；嘴部特征信息还包括嘴部遮挡状态信息，所述嘴部遮挡状态信息用以表征所述嘴部是否被遮挡；

所述对所述头部图像进行分析，确定所述头部图像中眼部特征信息，嘴部特征信息包括：

将所述头部图像输入遮挡状态识别模型，得到所述眼部遮挡状态信息及所述嘴部遮挡状态信息；

所述根据所述眼部的宽高比信息，在所述眼部的宽高比大于预设眼部的宽高比阈值，且所述眼部睁闭眼属性信息为当前眼部为闭眼状态时，确定所述眼部睁闭眼状态为闭眼状态包括：

根据所述眼部的宽高比信息，在所述眼部的宽高比大于预设眼部的宽高比阈值，所述眼部睁闭眼属性信息为当前眼部为闭眼状态，且所述眼部遮挡状态信息为未遮挡状态的信息，或者为眼镜遮挡状态的信息时，确定所述眼部睁闭眼状态为闭眼状态；

所述根据所述嘴部的宽高比信息，在所述嘴部的宽高比小于预设嘴部的宽高比阈值时，确定所述嘴部开合状态为嘴部张开状态包括：

所述根据所述嘴部的宽高比信息，在所述嘴部的宽高比小于预设嘴部的宽高比阈值，且所述嘴部遮挡状态信息为未遮挡状态的信息，或者为其他遮挡状态的信息时，确定所述嘴部开合状态为嘴部张开状态，其中，所述其他遮挡状态是指所述嘴部被除口罩之外的其他物件遮挡的状态。

7.根据权利要求3-6任一项所述的方法，其特征在于，所述根据所述眼部疲劳状态、嘴部疲劳状态及头部疲劳状态，判断是否疲劳驾驶包括：

根据所述眼部疲劳状态、嘴部疲劳状态及头部疲劳状态，在所述眼部疲劳状态为闭眼疲劳，和/或所述嘴部疲劳状态为哈欠疲劳，和/或所述头部疲劳状态为低头疲劳，则判断是疲劳驾驶。

8.一种疲劳驾驶检测装置，其特征在于，包括：

采集单元，用于采集驾驶者的头部图像；

确定单元，用于对所述头部图像进行分析，确定所述头部图像中眼部特征信息，嘴部特征信息及头部姿态特征信息；所述眼部特征信息用以表征眼部当前状态的信息，至少包括眼部的宽高比信息；所述嘴部特征信息用以表征嘴部当前状态的信息，至少包括嘴部的宽高比信息；所述头部姿态特征信息用以表征头部当前姿态的信息，至少包括头部姿态角信息；

所述确定单元，还用于根据所述眼部特征信息、嘴部特征信息及头部特征信息，分别确定眼部疲劳状态、嘴部疲劳状态及头部疲劳状态；

判断单元，用于根据所述眼部疲劳状态、嘴部疲劳状态及头部疲劳状态，判断是否疲劳驾驶，若是疲劳驾驶，则报警提示。

9.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有计算机程序，当所述计算机程序被执行时，使得所述电子设备执行权利要求1-7任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的程序，其中，在所述程序运行时控制所述计算机可读存储介质所在设备执行权利要求1-7中任意一项所述的方法。

Images