CN114898341A - 疲劳驾驶预警方法、装置、电子设备及存储介质 - Google Patents

Abstract

本发明公开了一种疲劳驾驶预警方法、装置、电子设备及存储介质，其中，该方法包括：基于针对驾驶员的监控图像获取驾驶员的头部姿态信息、以及驾驶员与摄像头之间的距离；从监控图像中识别出眼部区域图像；从眼部区域图像中检测出瞳孔的边缘关键点和眼睑的边缘关键点；利用瞳孔的边缘关键点进行椭圆拟合得到瞳孔的图像区域，利用眼睑的边缘关键点得到眼睑的轮廓围合的图像区域；对瞳孔的图像区域和眼睑的轮廓围合的图像区域取交集，得到瞳孔可见度；若获取的头部姿态信息、距离和瞳孔可见度均满足预设条件，则确定驾驶员处于疲劳驾驶状态，进行疲劳驾驶预警。本发明能够提高疲劳驾驶状态判断的准确性，进而提高预警的准确性。

Description

疲劳驾驶预警方法、装置、电子设备及存储介质

技术领域

本发明涉及数据处理技术领域，具体涉及一种疲劳驾驶预警方法、装置、电子设备及存储介质。

背景技术

人员在疲劳的状态下，易出现操作错误的情况，例如：驾驶员在疲劳驾驶时，易出现车祸。为了在一定程度上降低因人员疲劳而导致的危险情况的发生，一般会对人员进行疲劳检测，如果检测到处于疲劳状态则进行预警。人员的当前状态检测方法的过程，一般为：获得针对目标人员采集的人脸图像，并通过检测人脸图像中人眼的上下眼睑之间的开闭程度，确定目标人员的眼睛的状态，进而，确定目标人员的当前状态是否为疲劳状态，其中，当开闭程度低于预设开闭阈值时，则确定人眼处于闭合状态，进而确定目标人员的当前状态为疲劳状态。但是，这种检测方法易受人脸与摄像头之间的相对位置关系影响，具体来说人脸与摄像头之间的相对位置关系不同检测到的上下眼皮之间的开闭程度差距很大，因此检测的准确度低，容易发生误报。

发明内容

有鉴于此，本发明实施例提供了一种疲劳驾驶预警方法、装置、电子设备及存储介质，以解决目前的疲劳检测准确度低的问题。

根据第一方面，本发明实施例提供了一种疲劳驾驶预警方法，所述方法包括：

获取针对驾驶员的监控图像；

基于所述监控图像获取驾驶员的头部姿态信息、以及驾驶员与摄像头之间的距离；

从所述监控图像中识别出眼部区域图像；

从所述眼部区域图像中检测出瞳孔的边缘关键点和眼睑的边缘关键点；

利用所述瞳孔的边缘关键点进行椭圆拟合得到瞳孔的图像区域，利用所述眼睑的边缘关键点得到眼睑的轮廓围合的图像区域；

对所述瞳孔的图像区域和所述眼睑的轮廓围合的图像区域取交集，得到瞳孔可见度；

若获取的所述头部姿态信息指示所述驾驶员头部左右偏转的角度小于或等于第一预设阈值、所述距离在预设范围内、并且所述瞳孔可见度从瞳孔可见度最大值的第一百分比逐渐减小至第二百分比且逐渐减小持续的时间大于第二预设阈值，则确定驾驶员处于疲劳驾驶状态，进行疲劳驾驶预警。

可选的，所述从所述眼部区域图像中检测出瞳孔的边缘关键点和眼睑的边缘关键点，包括：

利用瞳孔关键点检测模型从所述眼部区域图像中检测得到瞳孔的初始边缘关键点，利用眼睑关键点检测模型从所述眼部区域图像中检测得到眼睑的初始边缘关键点；

从所述瞳孔的初始边缘关键点中筛选出置信度大于或等于第三预设阈值的，作为所述瞳孔的边缘关键点；

从所述眼睑的初始边缘关键点中筛选出置信度大于或等于第四预设阈值的，作为所述眼睑的边缘关键点。

可选的，所述瞳孔关键点检测模型和/或所述眼睑关键点检测模型为基于mobilenet结构搭建的模型，所述瞳孔关键点检测模型和/或所述眼睑关键点检测模型中的编码网络包括逐深度卷积网络、逐点卷积网络，所述瞳孔关键点检测模型和/或所述眼睑关键点检测模型中的解码网络包含最近邻插值的反卷积结构。

可选的，所述利用瞳孔关键点检测模型从所述眼部区域图像中检测得到瞳孔的初始边缘关键点之前，还包括：

将所述眼部区域图像调整到预设尺寸；

所述利用瞳孔关键点检测模型从所述眼部区域图像中检测得到瞳孔的初始边缘关键点，包括：

所述瞳孔关键点检测模型基于调整到预设尺寸的所述眼部区域图像，输出瞳孔关键点热力图；

利用所述瞳孔关键点热力图的最大值所在位置和邻域位置确定所述瞳孔的初始边缘关键点的亚像素坐标。

可选的，利用以下公式计算所述瞳孔的初始边缘关键点的亚像素坐标：

x=σ²*log(feature(x_max+1)/feature(x_max))-0.5*(x_max ²-(x_max+1)²)

y=σ²*log(feature(y_max+1)/feature(y_max))-0.5*(y_max ²-(y_max+1)²)

其中，x,y为所述瞳孔的初始边缘关键点的亚像素坐标，feature()为所述瞳孔关键点热力图，（x_max,y_max）=argmax(feature)，σ为高斯核的尺度缩放因子。

可选的，所述利用瞳孔关键点检测模型从所述眼部区域图像中检测得到瞳孔的初始边缘关键点之前，还包括：

获取训练数据；

利用所述训练数据对构建的所述瞳孔关键点检测模型进行训练，直至所述瞳孔关键点检测模型收敛；所述瞳孔关键点检测模型的损失函数为：

其中，

，

，

为预测值，

为真实值，

、

、

和

为超参数。

可选的，所述利用眼睑关键点检测模型从所述眼部区域图像中检测得到眼睑的初始边缘关键点之前，还包括：

将所述眼部区域图像调整到预设尺寸；

所述利用眼睑关键点检测模型从所述眼部区域图像中检测得到眼睑的初始边缘关键点，包括：

所述眼睑关键点检测模型基于调整到预设尺寸的所述眼部区域图像，输出眼睑关键点热力图；

利用所述眼睑关键点热力图的最大值所在位置和邻域位置确定所述眼睑的初始边缘关键点的亚像素坐标。

根据第二方面，本发明实施例提供了一种疲劳驾驶预警装置，包括：

图像获取模块，用于获取针对驾驶员的监控图像；

第一获取模块，用于基于所述监控图像获取驾驶员的头部姿态信息、以及驾驶员与摄像头之间的距离；

识别模块，用于从所述监控图像中识别出眼部区域图像；

检测模块，用于从所述眼部区域图像中检测出瞳孔的边缘关键点和眼睑的边缘关键点；

第二获取模块，用于利用所述瞳孔的边缘关键点进行椭圆拟合得到瞳孔的图像区域，利用所述眼睑的边缘关键点得到眼睑的轮廓围合的图像区域；

第三获取模块，用于对所述瞳孔的图像区域和所述眼睑的轮廓围合的图像区域取交集，得到瞳孔可见度；

预警模块，用于若获取的所述头部姿态信息指示所述驾驶员头部左右偏转的角度小于或等于第一预设阈值、所述距离在预设范围内、并且所述瞳孔可见度从瞳孔可见度最大值的第一百分比逐渐减小至第二百分比且逐渐减小持续的时间大于第二预设阈值，则确定驾驶员处于疲劳驾驶状态，进行疲劳驾驶预警。

根据第三方面，本发明实施例提供了一种电子设备，包括：

存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器用于存储计算机程序，所述计算机程序被所述处理器执行时，实现上述第一方面所述的任一种疲劳驾驶预警方法。

根据第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机程序，所述计算机程序被处理器执行时，实现上述第一方面所述的任一种疲劳驾驶预警方法。

本发明实施例提供的疲劳驾驶预警方法、装置、电子设备及存储介质，通过对驾驶员的头部姿态信息、以及驾驶员与摄像头之间的距离进行识别，以在进行疲劳驾驶状态判断时，排除它们对眼部图像的影响，具体的，如果驾驶员的头部姿态信息或驾驶员与摄像头之间的距离不满足一定的条件，则不进行疲劳驾驶状态判断或不认定为疲劳驾驶状态，从而提高疲劳驾驶状态判断的准确性，进而提高预警的准确性，降低误报率。另外，本发明实施例还利用所述瞳孔的边缘关键点进行椭圆拟合得到瞳孔的图像区域，利用所述眼睑的边缘关键点得到眼睑的轮廓围合的图像区域，然后对所述瞳孔的图像区域和所述眼睑的轮廓围合的图像区域取交集，得到瞳孔可见度，最后利用瞳孔可见度来判断是否是疲劳驾驶状态，与单纯检测上下眼睑，然后基于上下眼睑之间的距离确定人眼的开闭程度相比，可以提高人眼开闭程度检测的准确度和可靠性，从而可以进一步提高疲劳驾驶状态判断的准确性。

附图说明

通过参考附图会更加清楚的理解本发明的特征和优点，附图是示意性的而不应理解为对本发明进行任何限制，在附图中：

图1为本发明实施例提供的一种疲劳驾驶预警方法的流程示意图；

图2为本发明实施例提供的一种疲劳驾驶预警装置的结构示意图；

图3为本发明实施例提供的一种电子设备的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。此外，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。在以下各实施例的描述中，“多个”的含义是两个以上，除非另有明确具体的限定。

请参阅图1，本发明实施例提供了一种疲劳驾驶预警方法，所述方法包括：

S101：获取针对驾驶员的监控图像；

具体的，可以在座舱环境下，使用近红外摄像头，对驾驶员实时驾驶情况进行监测，采集驾驶员实时驾驶图像，即针对驾驶员的监控图像。

S102：基于所述监控图像获取驾驶员的头部姿态信息、以及驾驶员与摄像头之间的距离；

其中，所述摄像头即采集所述监控图像的摄像头。具体的，在基于所述监控图像获取驾驶员的头部姿态信息、以及驾驶员与摄像头之间的距离时，先使用目标检测算法进行人脸检测，得到人脸区域图像，该目标检测算法可以是现有的目标检测算法。在得到人脸区域图像之后，再基于人脸区域图像进行人脸关键点检测，最后基于检测到的人脸关键点（例如68个人脸关键点）和现有的头部模型计算头部姿态。

S103：从所述监控图像中识别出眼部区域图像；

具体的，可以对所述监控图像进行人眼关键点检测，然后根据检测到的人眼关键点（例如6个）的位置对所述监控图像进行裁剪得到所述眼部区域图像。

S104：从所述眼部区域图像中检测出瞳孔的边缘关键点和眼睑的边缘关键点；

S105：利用所述瞳孔的边缘关键点进行椭圆拟合得到瞳孔的图像区域，利用所述眼睑的边缘关键点得到眼睑的轮廓围合的图像区域；

S106：对所述瞳孔的图像区域和所述眼睑的轮廓围合的图像区域取交集，得到瞳孔可见度；

S107：若获取的所述头部姿态信息指示所述驾驶员头部左右偏转的角度小于或等于第一预设阈值、所述距离在预设范围内、并且所述瞳孔可见度从瞳孔可见度最大值的第一百分比逐渐减小至第二百分比且逐渐减小持续的时间大于第二预设阈值，则确定驾驶员处于疲劳驾驶状态，进行疲劳驾驶预警。

具体的，所述第一预设阈值例如可以是30°，所述头部姿态信息指示所述驾驶员头部左右偏转的角度小于或等于第一预设阈值，也就是说，头部姿态偏航角（yaw）正的第一预设阈值和负的第一预设阈值之间，例如yaw角度可以在[-30，30]区间内。所述距离在预设范围内，具体可以是大于第一距离值且小于第二距离值（第二距离值大于第一距离值），也可以是小于一定的距离值（例如80厘米）。关于所述瞳孔可见度最大值，可以监测一段时间内的瞳孔可见度，然后选取该时间段内的瞳孔可见度的最大值得到。该时间段一般不应太短，且该时间段内驾驶员的头部yaw角度应在[-30，30]区间内且所述距离在预设范围内，或者该时间段内的至少部分时段内驾驶员的头部yaw角度在[-30，30]区间内且所述距离在预设范围内。关于所述瞳孔可见度从瞳孔可见度最大值的第一百分比逐渐减小至第二百分比且逐渐减小持续的时间大于第二预设阈值，举例来说，瞳孔可见度从瞳孔可见度最大值的百分之八十逐渐减小到百分之二十，且该逐渐减小的持续时间超过设定阈值T（即所述第二预设阈值）。

一些具体的实施方式中，在基于所述监控图像获取驾驶员的头部姿态信息、以及驾驶员与摄像头之间的距离之后，若所述头部姿态信息指示所述驾驶员头部左右偏转的角度大于第一预设阈值或所述距离在不预设范围内，那么就可以不执行后续的步骤，即不执行上述的步骤S103-S107。只有所述头部姿态信息指示所述驾驶员头部左右偏转的角度小于或等于第一预设阈值且所述距离在预设范围内才执行后续的步骤。

本发明实施例提供的疲劳驾驶预警方法，通过对驾驶员的头部姿态信息、以及驾驶员与摄像头之间的距离进行识别，以在进行疲劳驾驶状态判断时，排除它们对眼部图像的影响，具体的，如果驾驶员的头部姿态信息或驾驶员与摄像头之间的距离不满足一定的条件，则不进行疲劳驾驶状态判断或不认定为疲劳驾驶状态，从而提高疲劳驾驶状态判断的准确性，进而提高预警的准确性，降低误报率。另外，本发明实施例还利用所述瞳孔的边缘关键点进行椭圆拟合得到瞳孔的图像区域，利用所述眼睑的边缘关键点得到眼睑的轮廓围合的图像区域，然后对所述瞳孔的图像区域和所述眼睑的轮廓围合的图像区域取交集，得到瞳孔可见度，最后利用瞳孔可见度来判断是否是疲劳驾驶状态，与单纯检测上下眼睑，然后基于上下眼睑之间的距离确定人眼的开闭程度相比，可以提高人眼开闭程度检测的准确度和可靠性，从而可以进一步提高疲劳驾驶状态判断的准确性。

本发明实施例中，利用得到的瞳孔的边缘关键点来定位瞳孔的位置，由于瞳孔一般呈椭圆形，因此具体可以利用椭圆方程和最小二乘法来选取合适的关键点进行椭圆拟合，剔除奇异点。利用得到的眼睑的边缘关键点来构建眼睑的轮廓围合的图像区域，主要是巩膜区域，在此过程中，对于相邻的眼睑的边缘关键点之间进行下采样，同时满足巩膜边缘轮廓形状。具体的，根据相邻关键点位置，计算两关键点之间的像素邻域梯度，当梯度变化数值大于均值的时候，当前关键点记为下采样的关键点。

一些具体的实施方式中，所述从所述眼部区域图像中检测出瞳孔的边缘关键点和眼睑的边缘关键点，包括：

利用瞳孔关键点检测模型从所述眼部区域图像中检测得到瞳孔的初始边缘关键点，利用眼睑关键点检测模型从所述眼部区域图像中检测得到眼睑的初始边缘关键点；

例如可以检测得到十个瞳孔的初始边缘关键点，十个眼睑的初始边缘关键点；

从所述瞳孔的初始边缘关键点中筛选出置信度大于或等于第三预设阈值的，作为所述瞳孔的边缘关键点；

从所述眼睑的初始边缘关键点中筛选出置信度大于或等于第四预设阈值的，作为所述眼睑的边缘关键点。

其中，所述瞳孔关键点检测模型和眼睑关键点检测模型可以是同一关键点检测模型也可以是不同的关键点检测模型。

一些具体的实施方式中，所述瞳孔关键点检测模型和/或所述眼睑关键点检测模型为基于mobilenet结构搭建的模型，所述瞳孔关键点检测模型和/或所述眼睑关键点检测模型中的编码网络包括逐深度卷积(depthwise convolution，DWConv)网络、逐点卷积(depthwise convolution，PW Conv)网络，所述瞳孔关键点检测模型和/或所述眼睑关键点检测模型中的解码网络包含最近邻插值的反卷积结构。在基于mobilenet结构搭建所述瞳孔关键点检测模型和/或所述眼睑关键点检测模型时，添加XY方向的关键点坐标位置编码。

本发明实施例中，MobileNet是一个轻量级卷积神经网络，它进行卷积的参数比标准卷积要少很多，因此基于mobilenet结构搭建的所述瞳孔关键点检测模型和/或所述眼睑关键点检测模型为轻量化模型，模型算力低，而且不影响关键点定位精度，从而对应用本发明实施例的平台的要求低，大大提高了本发明实施例的适用范围。

其他可选的具体实施方式中，在不影响关键点定位精度的情况下，对模型的通道数进行修剪，进一步降低对应用平台的算力要求，减少模型运行耗时。

其中一些具体的实施方式中，所述利用瞳孔关键点检测模型从所述眼部区域图像中检测得到瞳孔的初始边缘关键点之前，还包括：

将所述眼部区域图像调整到预设尺寸，该预设尺寸例如可以是256*128；

所述利用瞳孔关键点检测模型从所述眼部区域图像中检测得到瞳孔的初始边缘关键点，包括：

所述瞳孔关键点检测模型基于调整到预设尺寸的所述眼部区域图像，输出瞳孔关键点热力图；

利用所述瞳孔关键点热力图的最大值所在位置和邻域位置确定所述瞳孔的初始边缘关键点的亚像素坐标。即利用所述瞳孔关键点热力图中置信度最大的点所在位置和其邻域位置确定所述瞳孔的初始边缘关键点的亚像素坐标。

其中一些具体的实施方式中，利用以下公式计算所述瞳孔的初始边缘关键点的亚像素坐标：

x=σ²*log(feature(x_max+1)/feature(x_max))-0.5*(x_max ²-(x_max+1)²)

y=σ²*log(feature(y_max+1)/feature(y_max))-0.5*(y_max ²-(y_max+1)²)

其中，x,y为所述瞳孔的初始边缘关键点的亚像素坐标，feature()为所述瞳孔关键点热力图，（x_max,y_max）=argmax(feature)，即x_max,y_max为所述瞳孔关键点热力图的最大值所在位置的坐标，σ为高斯核的尺度缩放因子，例如可以为1.5。

一些具体的实施方式中，所述利用瞳孔关键点检测模型从所述眼部区域图像中检测得到瞳孔的初始边缘关键点之前，还包括：

获取训练数据；此处的训练数据为瞳孔关键点检测模型的训练数据；

利用所述训练数据对构建的所述瞳孔关键点检测模型进行训练，直至所述瞳孔关键点检测模型收敛；所述瞳孔关键点检测模型的损失函数为：

其中，

，

，

为预测值，

为真实值，

、

、

和

为超参数。合理设置超参数可以加快模型收敛。

本发明实施例中，预测值即基于所述瞳孔关键点检测模型得到的关键点热力图，真实值即基于标注的关键点生成的关键点热力图真值。上述损失函数的设计可以使得瞳孔关键点检测模型能够更快地收敛。具体的，α=0.9，ω=12.0，θ=0.5，ε=1.3可以使得模型在训练过程中，更加关注前景像素，即热力图中的最高亮点，也是关键点所在的位置。

本发明实施例中，训练数据可以通过人脸三维模型，构建人脸三维mesh网格图，利用仿真软件加载该网格图，模拟人眼部图像，生成眼睛瞳孔和眼睑关键点的真值，构建训练数据集。

获取训练数据的过程还可以包括训练数据的预处理过程：

a.将训练数据从RGB图像转变为三通道的灰度图像；

b.根据单只眼睛的眼部关键点（此处为瞳孔关键点）的位置对单只眼部图像进行缩放裁剪，具体可以根据关键点获取中心点位置，然后以眼部宽高最大值的1.2倍进行扩展；

c.根据头部姿态和标准头部模型，对头部进行旋转，旋转之后yaw角度范围为[-30,30]；

d.对图像进行噪声处理，如添加椒盐噪声、高斯模糊化处理、暗瞳场景、亮瞳场景等，适配难样本场景；

e.对眼部区域图像进行归一化处理，例如像素值减去128，除以256；

f.将眼部图像尺寸调整到预设尺寸，例如256*128，根据关键点的坐标值得到对应的热力图图像作为关键点训练的真值。

本发明实施例中，根据关键点的坐标值生成热力图真值，每个关键点对应的热力图为：

其中，σ为高斯核的尺度缩放因子，例如可以是1.5，（x_s，y_s）为生成热力图的坐标值，例如热力图为64*32时，x_s∈（0,64），y_s∈（0,32）。

对应地，在利用瞳孔关键点检测模型从所述眼部区域图像中检测得到瞳孔的初始边缘关键点，利用眼睑关键点检测模型从所述眼部区域图像中检测得到眼睑的初始边缘关键点之前，还可以将眼部区域图像从RGB图像转变为三通道的灰度图像。

一些具体的实施方式中，所述利用眼睑关键点检测模型从所述眼部区域图像中检测得到眼睑的初始边缘关键点之前，还包括：

将所述眼部区域图像调整到预设尺寸；

所述利用眼睑关键点检测模型从所述眼部区域图像中检测得到眼睑的初始边缘关键点，包括：

所述眼睑关键点检测模型基于调整到预设尺寸的所述眼部区域图像，输出眼睑关键点热力图；

利用所述眼睑关键点热力图的最大值所在位置和邻域位置确定所述眼睑的初始边缘关键点的亚像素坐标。

具体的，计算眼睑的初始边缘关键点的亚像素坐标的过程，请参阅上述瞳孔的初始边缘关键点的亚像素坐标的计算过程，眼睑关键点检测模型的训练过程，请参阅上述瞳孔关键点检测模型的训练过程，此处不再赘述。

相应地，请参考图2，本发明实施例提供一种疲劳驾驶预警装置，该装置包括：

图像获取模块201，用于获取针对驾驶员的监控图像；

第一获取模块202，用于基于所述监控图像获取驾驶员的头部姿态信息、以及驾驶员与摄像头之间的距离；

识别模块203，用于从所述监控图像中识别出眼部区域图像；

检测模块204，用于从所述眼部区域图像中检测出瞳孔的边缘关键点和眼睑的边缘关键点；

第二获取模块205，用于利用所述瞳孔的边缘关键点进行椭圆拟合得到瞳孔的图像区域，利用所述眼睑的边缘关键点得到眼睑的轮廓围合的图像区域；

第三获取模块206，用于对所述瞳孔的图像区域和所述眼睑的轮廓围合的图像区域取交集，得到瞳孔可见度；

预警模块207，用于若获取的所述头部姿态信息指示所述驾驶员头部左右偏转的角度小于或等于第一预设阈值、所述距离在预设范围内、并且所述瞳孔可见度从瞳孔可见度最大值的第一百分比逐渐减小至第二百分比且逐渐减小持续的时间大于第二预设阈值，则确定驾驶员处于疲劳驾驶状态，进行疲劳驾驶预警。

本发明实施例提供的疲劳驾驶预警装置，通过对驾驶员的头部姿态信息、以及驾驶员与摄像头之间的距离进行识别，以在进行疲劳驾驶状态判断时，排除它们对眼部图像的影响，具体的，如果驾驶员的头部姿态信息或驾驶员与摄像头之间的距离不满足一定的条件，则不进行疲劳驾驶状态判断或不认定为疲劳驾驶状态，从而提高疲劳驾驶状态判断的准确性，进而提高预警的准确性，降低误报率。另外，本发明实施例还利用所述瞳孔的边缘关键点进行椭圆拟合得到瞳孔的图像区域，利用所述眼睑的边缘关键点得到眼睑的轮廓围合的图像区域，然后对所述瞳孔的图像区域和所述眼睑的轮廓围合的图像区域取交集，得到瞳孔可见度，最后利用瞳孔可见度来判断是否是疲劳驾驶状态，与单纯检测上下眼睑，然后基于上下眼睑之间的距离确定人眼的开闭程度相比，可以提高人眼开闭程度检测的准确度和可靠性，从而可以进一步提高疲劳驾驶状态判断的准确性。

一些具体的实施方式中，所述检测模块204包括：

模型检测单元，用于利用瞳孔关键点检测模型从所述眼部区域图像中检测得到瞳孔的初始边缘关键点，利用眼睑关键点检测模型从所述眼部区域图像中检测得到眼睑的初始边缘关键点；

第一筛选单元，用于从所述瞳孔的初始边缘关键点中筛选出置信度大于或等于第三预设阈值的，作为所述瞳孔的边缘关键点；

第二筛选单元，用于从所述眼睑的初始边缘关键点中筛选出置信度大于或等于第四预设阈值的，作为所述眼睑的边缘关键点。

一些具体的实施方式中，所述瞳孔关键点检测模型和/或所述眼睑关键点检测模型为基于mobilenet结构搭建的模型，所述瞳孔关键点检测模型和/或所述眼睑关键点检测模型中的编码网络包括逐深度卷积网络、逐点卷积网络，所述瞳孔关键点检测模型和/或所述眼睑关键点检测模型中的解码网络包含最近邻插值的反卷积结构。

一些具体的实施方式中，所述检测模块204还包括：

第一调整单元，用于将所述眼部区域图像调整到预设尺寸；

所述模型检测单元包括：

第一关键点热力图检测子单元，用于利用所述瞳孔关键点检测模型基于调整到预设尺寸的所述眼部区域图像，输出瞳孔关键点热力图；

第一关键点确定子单元，用于利用所述瞳孔关键点热力图的最大值所在位置和邻域位置确定所述瞳孔的初始边缘关键点的亚像素坐标。

一些具体的实施方式中，所述关键点确定子单元用于利用以下公式计算所述瞳孔的初始边缘关键点的亚像素坐标：

x=σ²*log(feature(x_max+1)/feature(x_max))-0.5*(x_max ²-(x_max+1)²)

y=σ²*log(feature(y_max+1)/feature(y_max))-0.5*(y_max ²-(y_max+1)²)

其中，x,y为所述瞳孔的初始边缘关键点的亚像素坐标，feature()为所述瞳孔关键点热力图，（x_max,y_max）=argmax(feature)，σ为高斯核的尺度缩放因子。

一些具体的实施方式中，所述检测模块204还包括：

训练数据获取单元，用于获取训练数据；

训练单元，用于利用所述训练数据对构建的所述瞳孔关键点检测模型进行训练，直至所述瞳孔关键点检测模型收敛；所述瞳孔关键点检测模型的损失函数为：

其中，

，

，

为预测值，

为真实值，

、

、

和

为超参数。

一些具体的实施方式中，所述检测模块204还包括：

第二调整单元，用于将所述眼部区域图像调整到预设尺寸；

所述模型检测单元包括：

第二关键点热力图检测子单元，用于利用所述眼睑关键点检测模型基于调整到预设尺寸的所述眼部区域图像，输出眼睑关键点热力图；

第二关键点确定子单元，用于利用所述眼睑关键点热力图的最大值所在位置和邻域位置确定所述眼睑的初始边缘关键点的亚像素坐标。

本发明实施例是与上述方法实施例基于相同的发明构思的装置实施例，因此具体的技术细节和对应的技术效果请参阅上述方法实施例，此处不再赘述。

本发明实施例还提供了一种电子设备，如图3所示，该电子设备可以包括处理器301和存储器302，其中处理器301和存储器302可以通过总线或者其他方式互相通信连接，图3中以通过总线连接为例。

处理器301可以为中央处理器（Central Processing Unit，CPU）。处理器301还可以为其他通用处理器、数字信号处理器（Digital Signal Processor，DSP）、专用集成电路（Application Specific Integrated Circuit，ASIC）、现场可编程门阵列（Field-Programmable Gate Array，FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。

存储器302作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本发明实施例中的疲劳驾驶预警方法对应的程序指令/模块（例如，图2所示的图像获取模块201、第一获取模块202、识别模块203、检测模块204、第二获取模块205、第三获取模块206和预警模块207）。处理器301通过运行存储在存储器302中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及数据处理，即实现上述方法实施例中的疲劳驾驶预警方法。

存储器302可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储处理器301所创建的数据等。此外，存储器302可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器302可选包括相对于处理器301远程设置的存储器，这些远程存储器可以通过网络连接至处理器301。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

所述一个或者多个模块存储在所述存储器302中，当被所述处理器301执行时，执行上述实施例中的疲劳驾驶预警方法。

上述电子设备的具体细节可以对应参阅上述方法实施例中对应的相关描述和效果进行理解，此处不再赘述。

相应地，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机程序，所述计算机程序被处理器执行时，实现上述疲劳驾驶预警方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种疲劳驾驶预警方法，其特征在于，所述方法包括：

获取针对驾驶员的监控图像；

基于所述监控图像获取驾驶员的头部姿态信息、以及驾驶员与摄像头之间的距离；

从所述监控图像中识别出眼部区域图像；

从所述眼部区域图像中检测出瞳孔的边缘关键点和眼睑的边缘关键点；

利用所述瞳孔的边缘关键点进行椭圆拟合得到瞳孔的图像区域，利用所述眼睑的边缘关键点得到眼睑的轮廓围合的图像区域；

对所述瞳孔的图像区域和所述眼睑的轮廓围合的图像区域取交集，得到瞳孔可见度；

若获取的所述头部姿态信息指示所述驾驶员头部左右偏转的角度小于或等于第一预设阈值、所述距离在预设范围内、并且所述瞳孔可见度从瞳孔可见度最大值的第一百分比逐渐减小至第二百分比且逐渐减小持续的时间大于第二预设阈值，则确定驾驶员处于疲劳驾驶状态，进行疲劳驾驶预警。

2.根据权利要求1所述的方法，其特征在于，所述从所述眼部区域图像中检测出瞳孔的边缘关键点和眼睑的边缘关键点，包括：

利用瞳孔关键点检测模型从所述眼部区域图像中检测得到瞳孔的初始边缘关键点，利用眼睑关键点检测模型从所述眼部区域图像中检测得到眼睑的初始边缘关键点；

从所述瞳孔的初始边缘关键点中筛选出置信度大于或等于第三预设阈值的，作为所述瞳孔的边缘关键点；

从所述眼睑的初始边缘关键点中筛选出置信度大于或等于第四预设阈值的，作为所述眼睑的边缘关键点。

3.根据权利要求2所述的方法，其特征在于，所述瞳孔关键点检测模型和/或所述眼睑关键点检测模型为基于mobilenet结构搭建的模型，所述瞳孔关键点检测模型和/或所述眼睑关键点检测模型中的编码网络包括逐深度卷积网络、逐点卷积网络，所述瞳孔关键点检测模型和/或所述眼睑关键点检测模型中的解码网络包含最近邻插值的反卷积结构。

4.根据权利要求2或3所述的方法，其特征在于，所述利用瞳孔关键点检测模型从所述眼部区域图像中检测得到瞳孔的初始边缘关键点之前，还包括：

将所述眼部区域图像调整到预设尺寸；

所述利用瞳孔关键点检测模型从所述眼部区域图像中检测得到瞳孔的初始边缘关键点，包括：

所述瞳孔关键点检测模型基于调整到预设尺寸的所述眼部区域图像，输出瞳孔关键点热力图；

利用所述瞳孔关键点热力图的最大值所在位置和邻域位置确定所述瞳孔的初始边缘关键点的亚像素坐标。

5.根据权利要求4所述的方法，其特征在于，利用以下公式计算所述瞳孔的初始边缘关键点的亚像素坐标：

x=σ²*log(feature(x_max+1)/feature(x_max))-0.5*(x_max ²-(x_max+1)²)

y=σ²*log(feature(y_max+1)/feature(y_max))-0.5*(y_max ²-(y_max+1)²)

其中，x,y为所述瞳孔的初始边缘关键点的亚像素坐标，feature()为所述瞳孔关键点热力图，（x_max,y_max）=argmax(feature)，σ为高斯核的尺度缩放因子。

6.根据权利要求2所述的方法，其特征在于，所述利用瞳孔关键点检测模型从所述眼部区域图像中检测得到瞳孔的初始边缘关键点之前，还包括：

获取训练数据；

利用所述训练数据对构建的所述瞳孔关键点检测模型进行训练，直至所述瞳孔关键点检测模型收敛；所述瞳孔关键点检测模型的损失函数为：

其中，

，

，

为预测值，

为真实值，

、

、

和

为超参数。

7.根据权利要求2或3所述的方法，其特征在于，所述利用眼睑关键点检测模型从所述眼部区域图像中检测得到眼睑的初始边缘关键点之前，还包括：

将所述眼部区域图像调整到预设尺寸；

所述利用眼睑关键点检测模型从所述眼部区域图像中检测得到眼睑的初始边缘关键点，包括：

所述眼睑关键点检测模型基于调整到预设尺寸的所述眼部区域图像，输出眼睑关键点热力图；

利用所述眼睑关键点热力图的最大值所在位置和邻域位置确定所述眼睑的初始边缘关键点的亚像素坐标。

8.一种疲劳驾驶预警装置，其特征在于，包括：

图像获取模块，用于获取针对驾驶员的监控图像；

第一获取模块，用于基于所述监控图像获取驾驶员的头部姿态信息、以及驾驶员与摄像头之间的距离；

识别模块，用于从所述监控图像中识别出眼部区域图像；

检测模块，用于从所述眼部区域图像中检测出瞳孔的边缘关键点和眼睑的边缘关键点；

第二获取模块，用于利用所述瞳孔的边缘关键点进行椭圆拟合得到瞳孔的图像区域，利用所述眼睑的边缘关键点得到眼睑的轮廓围合的图像区域；

第三获取模块，用于对所述瞳孔的图像区域和所述眼睑的轮廓围合的图像区域取交集，得到瞳孔可见度；

预警模块，用于若获取的所述头部姿态信息指示所述驾驶员头部左右偏转的角度小于或等于第一预设阈值、所述距离在预设范围内、并且所述瞳孔可见度从瞳孔可见度最大值的第一百分比逐渐减小至第二百分比且逐渐减小持续的时间大于第二预设阈值，则确定驾驶员处于疲劳驾驶状态，进行疲劳驾驶预警。

9.一种电子设备，其特征在于，包括：

存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器用于存储计算机程序，所述计算机程序被所述处理器执行时，实现权利要求1至7中任一项所述的疲劳驾驶预警方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储计算机程序，所述计算机程序被处理器执行时，实现权利要求1至7中任一项所述的疲劳驾驶预警方法。

Images