CN107480629A - 一种基于深度信息的疲劳驾驶检测方法及装置 - Google Patents

Abstract

本发明公开了一种基于深度信息的疲劳驾驶检测方法，包括步骤：通过Kinect获取包含驾驶员影像的彩色数据帧或红外数据帧、深度数据帧、人体索引帧和面部帧；将人体索引帧映射到深度数据帧，深度数据帧上属于同一人体索引号的数据点深度值相加求得平均值，取平均值最小的对应的人体索引号为驾驶员索引号；根据驾驶员索引号获取相对应的面部帧；从面部帧获取五官信息绘制于彩色数据帧或红外数据帧；根据彩色数据帧或红外数据帧的眼睛图像获取眼睛闭合情况计算PERCLOS值，当PERCLOS值超过设定阈值时给出疲劳驾驶的提示。本发明还公开了基于深度信息的疲劳驾驶检测装置。该方法利用深度数据排除其他非驾驶员的人体数据干扰，疲劳检测准确性高。

Description

一种基于深度信息的疲劳驾驶检测方法及装置

技术领域

本发明涉及一种疲劳驾驶检测方法及装置，特别是涉及一种基于深度信息的疲劳驾驶检测方法及装置。

背景技术

疲劳驾驶是指驾驶员因长时间行车、睡眠不足或身体不适等因素而引起的视线模糊、反应迟钝、注意力分散、动作僵硬等进而出现驾驶技能下降的现象。疲劳驾驶是道路交通安全的重要隐患，因此现有技术不乏对疲劳驾驶进行检测并做出提醒的设计，以此减少疲劳驾驶的发生，减少交通事故的发生。

现有的疲劳的检测技术包括接触式检测和非接触式检测。接触式的检测系统构成复杂，容易干扰驾驶员，故一般在疲劳驾驶检测时采用非接触式检测。非接触式检测都是通过定位驾驶员头部影像，提取眼睛、嘴巴等特征，根据疲劳驾驶时眼睛嘴巴的特定特征进行疲劳驾驶判断。

如中国专利CN104269028A公开一种疲劳驾驶检测方法及系统，其中疲劳驾驶检测方法包括如下步骤：S1、采集图像和预处理；S2、人脸定位和检测；S3、人脸跟踪；S4、眼睛检测和状态识别；S5、计算疲劳PERCLOS值；S6、将得到的PERCLOS值与预设的阈值进行比较，判定驾驶员是否疲劳驾驶。PERCLOS(percentage of eyelid closure over the pupil overtime)是指眼睛闭合程度超过某一阈值的时间占总时间的百分比。该技术方案自动捕捉驾驶员的脸部微观变化，通过科学的概率计算判别驾驶员状态，并及时警示处于疲劳驾驶状态的驾驶员，保证行车安全。中国专利CN104881955A公开了一种驾驶员疲劳驾驶检测方法及系统，包括步骤：采集驾驶员头部图像；定位驾驶员眼睛区域；对定位后的眼睛图像进行处理得到眼睛的轮廓；根据得到得眼睛的轮廓计算眼高，得到眼睛的开合度；根据比较眼睛的开合度与设定的阈值来判断驾驶员是否处于疲劳状态；若判断驾驶员处于疲劳状态，则发出警报提醒驾驶员。该技术方案能够在不同光照强度以及驾驶员戴墨镜的情况下对驾驶员是否疲劳驾驶进行检测，并且得到较为准确的检测结果，对驾驶员疲劳驾驶进行了有效的提醒与警告。

然而申请人发现，现有技术中默认均是已经采集获得驾驶员的相关影像后，对该影像作出检测判断。但是实际操作中，在图像采集装置获取的影像中可能包含驾驶员在内出现多个人类头部影像，出现多双眼睛，嘴巴等特征部位。直接采用现有技术方案可能得出不正确的疲劳驾驶判断结果，检测准确性存疑。

发明内容

针对上述现有技术的不足，本发明的目的是提供一种基于深度信息的疲劳驾驶检测方法，解决多人乘坐时检测影像出现多个人类头部图像，存在多双眼睛时，检测准确性降低的问题。本发明还提供了一种基于深度信息的疲劳驾驶检测装置。

本发明的技术方案是这样的：一种基于深度信息的疲劳驾驶检测方法，包括以下步骤：通过Kinect获取包含驾驶员影像的彩色数据帧或红外数据帧、深度数据帧、人体索引帧和面部帧；将人体索引帧映射到深度数据帧，深度数据帧上属于同一人体索引号的数据点深度值相加求得平均值，取平均值最小的对应的人体索引号，该人体索引号为驾驶员索引号；根据所述驾驶员索引号获取相对应的面部帧；从所述面部帧获取五官信息绘制于所述彩色数据帧或红外数据帧；根据所述彩色数据帧或红外数据帧的眼睛图像获取眼睛闭合情况计算PERCLOS值，当所述PERCLOS值超过设定阈值时给出疲劳驾驶的提示。

进一步的，所述根据所述彩色数据帧或红外数据帧的眼睛图像获取眼睛闭合情况计算PERCLOS值是先通过眼睛定位到眼睛的矩形框，获取当前眼睛的高的值，再和驾驶员的完全睁开情况下眼睛的矩形框的高进行比对确定眼睛是否闭合。

进一步的，所述根据所述彩色数据帧或红外数据帧的眼睛图像获取眼睛闭合情况计算PERCLOS值，是将一段时间内所有的彩色数据帧或红外数据帧中对应的眼睛图像获取眼睛闭合情况存储于队列中计算眼睛闭合时间和眼睛睁开时间，再计算对应PERCLOS值。

更进一步的，所述队列中有新一帧的眼睛闭合情况需要存入时，队列中队首的眼睛闭合情况弹出，新一帧的眼睛闭合情况从队尾插入。

优选的，所述计算PERCLOS值时采用当前眼睛的高的值小于驾驶员的完全睁开情况下眼睛的矩形框的高为眼睛闭合。

一种基于深度信息的疲劳驾驶检测装置，包括：

数据帧获取模块：用于获取包含驾驶员影像的彩色数据帧或红外数据帧、深度数据帧、人体索引帧和面部帧；

驾驶员跟踪模块：由人体索引帧映射到深度数据帧，深度数据帧上属于同一人体索引号的数据点深度值相加求得平均值，取平均值最小的对应的人体索引号，该人体索引号为驾驶员索引号；

数据帧处理模块：根据驾驶员索引号获取相对应的面部帧；从所述面部帧获取五官信息绘制于所述彩色数据帧或红外数据帧；

疲劳检测模块：根据所述彩色数据帧或红外数据帧的眼睛图像获取眼睛闭合情况计算PERCLOS值，当所述PERCLOS值超过设定阈值时给出疲劳驾驶的提示。

本发明的技术方案的有益效果是，采用Kinect采集的深度数据进行计算可跟踪驾驶员的位置，排除其余人体出现在摄像头前对疲劳检测的干扰。采用彩色数据帧或红外数据帧进行眼镜闭合检测，可是适用于多种光线环境下的疲劳驾驶检测，环境适应性强。Kinect物美价廉，设备成本低，开发成本小，易于推广。

附图说明

图1为基于深度信息的疲劳驾驶检测方法流程示意图。

图2为人体索引帧示意图。

图3为深度数据帧示意图。

图4为PERCLOS值计算示意图。

图5为基于深度信息的疲劳驾驶检测装置示意图。

具体实施方式

下面结合实施例对本发明作进一步说明，但不作为对本发明的限定。

请结合图1和图5所示，基于深度信息的疲劳驾驶检测装置，包括：

数据帧获取模块：用于获取包含驾驶员影像的彩色数据帧或红外数据帧、深度数据帧、人体索引帧和面部帧；

驾驶员跟踪模块：由人体索引帧映射到深度数据帧，深度数据帧上属于同一人体索引号的数据点深度值相加求得平均值，取平均值最小的对应的人体索引号，该人体索引号为驾驶员索引号；

数据帧处理模块：根据驾驶员索引号获取相对应的面部帧；从所述面部帧获取五官信息绘制于所述彩色数据帧或红外数据帧；

疲劳检测模块：根据所述彩色数据帧或红外数据帧的眼睛图像获取眼睛闭合情况计算PERCLOS值，当所述PERCLOS值超过设定阈值时给出疲劳驾驶的提示。

具体的检测方法是，首先通过Kinect For Windows SDK提供的接口，获取到彩色数据帧(ColorFrame)、深度数据帧(DepthFrame)、红外数据帧(InfraredFrame)、人体索引帧(BodyIndexFrame)以及面部帧(FaceFrame)。

其中彩色数据帧(ColorFrame)：30帧(每秒30张图片)尺寸为1920*1080的彩色图像。

深度数据帧(DepthFrame)：尺寸为512*424的数据集，每个数据点为16bit，表示从深度摄像头到该点的距离，单位：毫米，如图1所示。

红外数据帧(InfraredFrame)：尺寸为512*424，30帧，显示红外光下的黑白图像。

人体索引帧(BodyIndexFrame)：尺寸为512*424，每一个点对应着深度数据的每一个点。当该点的值为(0～5)表示深度数据的该点属于Kinect识别出的人体的一点(0～5表示跟踪的人体索引号)；当该点为-1(0XFF)，则表示该像素点不属于人体。Kinect用一个字节表示当前坐标下该像素的人体索引号(最大支持六人)，如图2所示。

面部帧(FaceFrame)：FaceFrame中包含了很多的五官信息：左右眼的闭合情况、嘴巴的张合情况、表情是否高兴、五官在彩色图像中的坐标。

将图2、图3两幅图重叠，即将人体索引帧映射到深度数据帧上，深度数据帧上每一点都能确定到是否属于人体，且属于哪个人体。将深度数据帧上同一个人体的点的深度值进行相加并取其平均值，可以获取到所有捕获的人体的深度值。该深度值近似表示了对应的人体到Kinect的图像采集器的距离。由于疲劳驾驶检测装置与驾驶员距离是最近的，因此平均值最小的对应的人体即认为是驾驶员，取得这个最小平均值的对应的人体索引号，即为驾驶员索引号。

Kinect会为每个追踪到的人体提供面部帧，因此根据之前获得的驾驶员索引号即可取得驾驶员的面部帧。从驾驶员面部帧中获取五官信息，将这些信息通过C#的DrawingContext类绘制在彩色数据帧或者红外数据帧中，在外部光线条件良好时，可直接采用彩色数据帧数据，而外部光线条件较差，比如过隧道、夜晚驾驶等情况时，可次采用红外数据帧。由彩色数据帧或者红外数据帧获取了眼睛的闭合情况。

眼睛的闭合情况是这样计算的：

PERCLOS(percentage of eyelid closure over the pupil over time)是指眼睛闭合程度超过某一阈值的时间占总时间的百分比。P80：指眼睑遮住瞳孔的面积超过80％就计为眼睛闭合，统计在一定时间内眼睛闭合时所占的时间比例。美国国家公路交通安全局对PERCLOS方法作了对比研究，实验结果表明该方法中的P80与疲劳发展程度的相关性较好，本实施例也采用P80作为疲劳驾驶的判别标准。

在彩色数据帧或者红外数据帧，由绘制的面部帧的五官信息，通过眼睛定位到眼睛的矩形框，获取当前眼睛的高的值，再和驾驶员的完全睁开情况下眼睛的矩形框的高进行比对确定眼睛是否闭合。驾驶员的完全睁开情况下眼睛的矩形框的高可通过系统初始化时采集驾驶员眼睛信息获取。当前眼睛的高不足驾驶员的完全睁开情况下眼睛的矩形框的高的20％时，认为眼睛为闭合。因为Kinect采集的是每秒30帧，所以设置了30*30长度的队列用来存储30秒内的眼睛闭合情况。队列大小固定，当队满时将队首的眼睛闭合情况弹出，将新的一帧的眼睛闭合情况从队尾插入。

结合图4所示，根据队列中所有眼睛闭合情况计算P80判断标准的PERCLOS值，

其中f80为PERCLOS值，t1为眼睛完全睁开到闭合20％的时间，t2为眼睛完全睁开到闭合80％的时间；t3为眼睛完全睁开到下一次睁开20％的时间；t4为眼睛完全睁开到下一次睁开80％的时间。本实施例没有为闭合80％以上的时间计时，只需要为队列中的图像进行判断，当该帧眼睛闭合程度在80％以上则为“闭合帧数”+1，计算单位时间内的闭合帧数占总帧数的比即可得到f80值。

设定一个阈值，当计算得到的当前PERCLOS值超过该阈值时则认为处于疲劳驾驶状态，给出相应的信息提示，例如显示红色报警灯，播放报警语音等对驾驶员进行提示。

Claims (6)

1.一种基于深度信息的疲劳驾驶检测方法，其特征在于，包括以下步骤：通过Kinect获取包含驾驶员影像的彩色数据帧或红外数据帧、深度数据帧、人体索引帧和面部帧；将人体索引帧映射到深度数据帧，深度数据帧上属于同一人体索引号的数据点深度值相加求得平均值，取平均值最小的对应的人体索引号，该人体索引号为驾驶员索引号；根据所述驾驶员索引号获取相对应的面部帧；从所述面部帧获取五官信息绘制于所述彩色数据帧或红外数据帧；根据所述彩色数据帧或红外数据帧的眼睛图像获取眼睛闭合情况计算PERCLOS值，当所述PERCLOS值超过设定阈值时给出疲劳驾驶的提示。

2.根据权利要求1所述的基于深度信息的疲劳驾驶检测方法，其特征在于，所述根据所述彩色数据帧或红外数据帧的眼睛图像获取眼睛闭合情况计算PERCLOS值是先通过眼睛定位到眼睛的矩形框，获取当前眼睛的高的值，再和驾驶员的完全睁开情况下眼睛的矩形框的高进行比对确定眼睛是否闭合。

3.根据权利要求1所述的基于深度信息的疲劳驾驶检测方法，其特征在于，所述根据所述彩色数据帧或红外数据帧的眼睛图像获取眼睛闭合情况计算PERCLOS值，是将一段时间内所有的彩色数据帧或红外数据帧中对应的眼睛图像获取眼睛闭合情况存储于队列中计算眼睛闭合时间和眼睛睁开时间，再计算对应PERCLOS值。

4.根据权利要求3所述的基于深度信息的疲劳驾驶检测方法，其特征在于，所述队列中有新一帧的眼睛闭合情况需要存入时，队列中队首的眼睛闭合情况弹出，新一帧的眼睛闭合情况从队尾插入。

5.根据权利要求2所述的基于深度信息的疲劳驾驶检测方法，其特征在于，所述计算PERCLOS值时采用当前眼睛的高的值小于驾驶员的完全睁开情况下眼睛的矩形框的高为眼睛闭合。

6.一种基于深度信息的疲劳驾驶检测装置，包括：

数据帧获取模块：用于获取包含驾驶员影像的彩色数据帧或红外数据帧、深度数据帧、人体索引帧和面部帧；

驾驶员跟踪模块：由人体索引帧映射到深度数据帧，深度数据帧上属于同一人体索引号的数据点深度值相加求得平均值，取平均值最小的对应的人体索引号，该人体索引号为驾驶员索引号；

数据帧处理模块：根据驾驶员索引号获取相对应的面部帧；从所述面部帧获取五官信息绘制于所述彩色数据帧或红外数据帧；

疲劳检测模块：根据所述彩色数据帧或红外数据帧的眼睛图像获取眼睛闭合情况计算PERCLOS值，当所述PERCLOS值超过设定阈值时给出疲劳驾驶的提示。