CN105354987A - 车载型疲劳驾驶检测与身份认证装置及其检测方法 - Google Patents

Abstract

本发明公开了一种车载型疲劳驾驶检测与身份认证装置，包括壳体和深度摄像头，深度摄像头通过360度转动部件安装于壳体顶部，壳体内设置有控制器、报警器和存储器；深度摄像头、报警器和存储器均与控制器相连；360度转动部件包括依次相连的底座、伸缩杆和转动部，底座与壳体相连，转动部与深度摄像头相连。本发明还提供一种检测方法，依次根据深度摄像头拍摄的驾驶图像中的深度图像进行面部三维重建，根据深度摄像头拍摄的驾驶图像进行眼部定位，以及头部姿态判断、眼睛闭合程度判断和视线判断，再基于模糊控制进行疲劳状态判断。整机结构紧凑、安装便捷，可实现实时的驾驶状态采集并做出快速准确的疲劳驾驶判断，检测灵敏度高、安全可靠。

Description

车载型疲劳驾驶检测与身份认证装置及其检测方法

技术领域

本发明涉及一种检测装置和检测方法，特别是涉及一种车载型疲劳驾驶检测与身份认证装置及其检测方法，属于汽车安全领域。

背景技术

近年来，随着大众生活水平的提高，各国人民汽车的人均持有量也变得越来越多。然而，伴随而来的交通事故也不断的增多。经研究表明，疲劳驾驶是交通事故变得日益严重的重要原因之一，因此，研究出可以进行实时检测驾驶员疲劳的预警系统有着十分重要的现实意义。

中国疲劳驾驶检测的产品甚少原因就是在控制成本的情况下无法做到很高的准确性，所以本项目新颖的检测手段对疲劳检测系统的实现方法进行研究，以期提高疲劳检测的速度和准确度。如果能将好的方法应用于疲劳检测系统之中，无疑能更有效的预防驾驶员疲劳驾驶而引起不必要的人员伤亡和经济损失。

现有的大多数驾驶疲劳检测算法因其检测条件的限制和复杂环境的影响，不能准确完整地提取驾驶员的疲劳信息，导致目前开发的疲劳驾驶检测装置难以快速对疲劳状态做出正确判断与响应，检测灵敏度低，可靠性差。目前国内外关于疲劳驾驶检测的研究还停留在理论和方法的探索上，没有系统的标准和完善的解决方案，尤其是在如何提高检测方法的精度上有待提高。

发明内容

本发明的主要目的在于，克服现有技术中的不足，提供一种车载型疲劳驾驶检测与身份认证装置及其检测方法，基于深度摄像头实现实时的驾驶状态采集后，实现快速准确的疲劳驾驶判断，不仅结构紧凑、安装便捷，而且检测灵敏度高、安全可靠，具有产业上的利用价值。

为了达到上述目的，本发明所采用的技术方案是：

一种车载型疲劳驾驶检测与身份认证装置，包括壳体和深度摄像头，所述深度摄像头通过360度转动部件安装于壳体顶部，所述壳体内设置有控制器、报警器和存储器；所述深度摄像头、报警器和存储器均与控制器相连；所述360度转动部件包括依次相连的底座、伸缩杆和转动部，所述底座与壳体相连，所述转动部与深度摄像头相连。

其中，所述深度摄像头用于实时采集驾驶员面部的驾驶图像；所述存储器用于存储符合身份驾驶员的身份信息和疲劳特征信息；所述控制器用于将深度摄像头采集的驾驶图像进行疲劳驾驶检测与身份认证，并存储于存储器，以及对驾驶图像符合疲劳特征信息或驾驶图像与身份信息对比不成功、则启动报警器。

本发明更进一步设置为：还包括设置于壳体上的吸附部件。

本发明更进一步设置为：所述吸附部件安装于壳体底部或壳体侧面。

本发明更进一步设置为：所述吸附部件为吸盘。

本发明更进一步设置为：所述深度摄像头为duo3d深度摄像头。

本发明更进一步设置为：所述报警器为蜂鸣器或语音播报器。

本发明还提供车载型疲劳驾驶检测与身份认证装置的检测方法：包括以下步骤：

1)根据深度摄像头拍摄的驾驶图像中的深度图像进行面部三维重建；

2)根据深度摄像头拍摄的驾驶图像进行眼部定位；

3)头部姿态判断、眼睛闭合程度判断和视线判断；

4)基于模糊控制的疲劳状态判断。

本发明的检测方法更进一步设置为：所述步骤1)的面部三维重建，具体包括以下步骤：

1-1)对深度图像进行前背景分割，利用统计学算法和模板匹配法进行人脸识别，模板来源于存储器存储的身份信息；

1-2)对深度图像通过滤波进行预处理以实现降噪；

1-3)通过坐标计算以获得每个像素点的坐标和法向、即点云数据；

1-4)对点云数据进行变换处理以生成每个点云数据的三维空间坐标；

1-5)将基于三维空间坐标的每个点云数据进行融合；

1-6)进行修正后生成三维脸部表面；

1-7)对连续几帧的驾驶图像重复进行步骤1-1)至步骤1-6)，最后获得三维面部图像；

所述步骤2)的眼部定位，具体包括以下步骤：

2-1)提取出深度摄像头采集的彩色图像的脸部图像；

2-2)将脸部图像进行灰度处理和归一化处理；

2-3)依次进行直方图均衡化和滤波降噪；

2-4)灰度积分投影进行人眼粗定位获得人眼图像；

2-5)根据人眼图像利用OTSU法进行二值化处理并进行瞳孔中心定位获得瞳孔位置；

2-6)根据人眼图像利用hough变换和canny边缘算子进行眼部边缘的精确定位获得眼部边缘位置；

2-7)对深度图像提取脸部并进行基于susan算法的面部五官分割和特征点定位，获得瞳孔特征点和两眼内外眼角特征点；

2-8)将步骤2-5)获得的瞳孔位置和步骤2-7)获得的瞳孔特征点、将步骤2-6)获得的眼部边缘位置和步骤2-7)获得的两眼内外眼角特征点，均进行结合拟合分析，排除瞳孔位置的定位错误和眼部边缘位置的误差，得到瞳孔及眼部边缘的精确特征信息；

本发明的检测方法更进一步设置为：所述步骤3)的头部姿态判断、眼睛闭合程度判断和视线判断，具体包括以下步骤：

3-1)基于三维面部图像建立欧拉旋转角坐标，每种不同姿态以欧拉旋转角R(α，β，γ)表示，由平动角α、转动角β、滚动角γ组成；

控制器根据欧拉旋转角坐标分析并判断是否有向正面低头或向左右摆头姿态、判断是否打瞌睡，若偏离了正常位置的时间超过第一设定阈值视作轻度危险信号1，若偏离了正常位置的时间超过第二设定阈值视作重度危险信号2；

3-2)根据获得的瞳孔及眼部边缘的精确特征信息，检测眼部开闭合状态，再根据PERCLOSP80疲劳标准判断驾驶员在第三设定阈值内眼睛闭合时间符合PERCLOSP80疲劳标准、视作轻度危险信号3，在第四设定阈值内眼睛闭合时间符合PERCLOSP80疲劳标准、视作重度危险信号4；

3-3)将步骤2)获得的瞳孔及眼部边缘的精确特征信息映射到步骤1)获得的三维面部图像中，得到三维面部图像上的瞳孔在整个眼部的具体位置，结合欧拉旋转角表示的姿态计算出面部朝向，并判断驾驶员的视线方向，如果驾驶员视线偏离正前方的时间超过第五设定阈值视作轻度危险信号5，如果驾驶员视线偏离正前方的时间超过第六设定阈值视作重度危险信号6；

所述步骤4)基于模糊控制的疲劳状态判断，满足重度危险信号2、重度危险信号4和重度危险信号6其中之一则判断为疲劳，启动报警器；当满足轻度危险信号1、轻度危险信号3和轻度危险信号5其中两个及以上时，则判断为疲劳，启动报警器。

本发明的检测方法更进一步设置为：还包括身份认证方法，所述身份认证方法为将深度摄像头采集符合身份驾驶员的身份信息存于存储器，在每次启动汽车时，控制器将深度摄像头采集的驾驶图像与身份信息进行比对实现一次身份认证，若比对不成功、则启动报警器，并将每一次汽车的启动至停止阶段均生成一个驾驶员身份报告、存储于存储器。

与现有技术相比，本发明具有的有益效果是：

1、本发明提供的车载型疲劳驾驶检测与身份认证装置，通过壳体、深度摄像头、控制器、报警器和存储器，以及360度转动部件的设置，使得检测装置整机结构紧凑、安装便捷；而且实现360度转动调节深度摄像头，将深度摄像头准确对准需要拍摄的驾驶员具体位置，大幅提高装置的适用范围。更重要的是，其中360度转动部件包括依次相连的底座、伸缩杆和转动部，通过伸缩杆的设置，实现灵活的高度调节。

2、本发明提供的车载型疲劳驾驶检测与身份认证装置的检测方法，基于深度摄像头实现实时的驾驶状态采集后，实现快速准确的疲劳驾驶判断，检测灵敏度高、安全可靠，可做出正确判断与响应。

上述内容仅是本发明技术方案的概述，为了更清楚的了解本发明的技术手段，下面结合附图对本发明作进一步的描述。

附图说明

图1为本发明车载型疲劳驾驶检测与身份认证装置的结构示意图；

图2为本发明车载型疲劳驾驶检测与身份认证装置的连接框图；

图3为本发明检测方法中疲劳驾驶检测方法的流程图；

图4为本发明检测方法中身份认证方法的流程图；

图5为本发明检测方法中疲劳驾驶检测方法的欧拉旋转角示意图。

具体实施方式

下面结合说明书附图，对本发明作进一步的说明。

如图1及图2所示，一种车载型疲劳驾驶检测与身份认证装置，包括壳体1和深度摄像头2，所述深度摄像头2通过360度转动部件3安装于壳体1顶部，所述壳体1内设置有控制器4、报警器5和存储器6；所述深度摄像头2、报警器5和存储器6均与控制器4相连；所述360度转动部件3包括依次相连的底座、伸缩杆和转动部，所述底座与壳体1相连，所述转动部与深度摄像头2相连。

所述深度摄像头2优选为duo3d深度摄像头，用于实时采集驾驶员面部的驾驶图像；duo3d深度摄像头由duo公司生成的产品，其具体构造是一个红外摄像头和一个普通摄像头的结合。

所述存储器6用于存储符合身份驾驶员的身份信息和疲劳特征信息；所述控制器4用于将深度摄像头2采集的驾驶图像进行疲劳驾驶检测与身份认证，并存储于存储器6，以及对驾驶图像符合疲劳特征信息或驾驶图像与身份信息对比不成功、则启动报警器5。所述报警器5为蜂鸣器或语音播报器。

本发明提供的检测装置还包括设置于壳体1上的吸附部件7；所述吸附部件7可安装于壳体1底部或壳体1侧面；所述吸附部件7优选为吸盘，便于车载场所快速安装，有助于灵活安装及安装位置变动。

本发明还提供车载型疲劳驾驶检测与身份认证装置的检测方法，如图3所示，包括以下步骤：

1)根据深度摄像头拍摄的驾驶图像中的深度图像进行面部三维重建，具体包括以下步骤：

1-1)对深度图像进行前背景分割，利用统计学算法和模板匹配法进行人脸识别，模板来源于存储器存储的身份信息；

1-2)对深度图像通过滤波进行预处理以实现降噪；

1-3)通过坐标计算以获得每个像素点的坐标和法向、即点云数据；

1-4)对点云数据进行变换处理以生成每个点云数据的三维空间坐标；

1-5)将基于三维空间坐标的每个点云数据进行融合；

1-6)进行修正后生成三维脸部表面；

1-7)对连续几帧的驾驶图像重复进行步骤1-1)至步骤1-6)，最后获得三维面部图像。

2)根据深度摄像头拍摄的驾驶图像进行眼部定位，具体包括以下步骤：

2-1)提取出深度摄像头采集的彩色图像的脸部图像；

2-2)将脸部图像进行灰度处理和归一化处理；

2-3)依次进行直方图均衡化和滤波降噪；

2-4)灰度积分投影进行人眼粗定位获得人眼图像；

2-5)根据人眼图像利用OTSU法进行二值化处理并进行瞳孔中心定位获得瞳孔位置；

2-6)根据人眼图像利用hough变换和canny边缘算子进行眼部边缘的精确定位获得眼部边缘位置；

2-7)对深度图像提取脸部并进行基于susan算法的面部五官分割和特征点定位，获得瞳孔特征点和两眼内外眼角特征点；

2-8)将步骤2-5)获得的瞳孔位置和步骤2-7)获得的瞳孔特征点、将步骤2-6)获得的眼部边缘位置和步骤2-7)获得的两眼内外眼角特征点，均进行结合拟合分析，排除瞳孔位置的定位错误和眼部边缘位置的误差，得到瞳孔及眼部边缘的精确特征信息。

3)头部姿态判断、眼睛闭合程度判断和视线判断，具体包括以下步骤：

3-1)基于三维面部图像建立欧拉旋转角坐标，每种不同姿态以欧拉旋转角R(α，β，γ)表示，由平动角α、转动角β、滚动角γ组成，如图5所示；

控制器根据欧拉旋转角坐标分析并判断是否有向正面低头或向左右摆头姿态、判断是否打瞌睡，若偏离了正常位置的时间超过第一设定阈值视作轻度危险信号1，若偏离了正常位置的时间超过第二设定阈值视作重度危险信号2；比如，若有20秒时间偏离了正常位置视作轻度危险信号1，若有30秒时间偏离了正常位置视作重度危险信号2；

3-2)根据获得的瞳孔及眼部边缘的精确特征信息，检测眼部开闭合状态，再根据PERCLOSP80疲劳标准判断驾驶员在第三设定阈值内眼睛闭合时间符合PERCLOSP80疲劳标准、视作轻度危险信号3，在第四设定阈值内眼睛闭合时间符合PERCLOSP80疲劳标准、视作重度危险信号4；比如，驾驶员在10秒内眼睛闭合时间符合PERCLOSP80疲劳标准、视作轻度危险信号3，30秒内眼睛闭合时间符合PERCLOSP80疲劳标准、视作重度危险信号4；

3-3)将步骤2)获得的瞳孔及眼部边缘的精确特征信息映射到步骤1)获得的三维面部图像中，得到三维面部图像上的瞳孔在整个眼部的具体位置，结合欧拉旋转角表示的姿态计算出面部朝向，并判断驾驶员的视线方向，如果驾驶员视线偏离正前方的时间超过第五设定阈值视作轻度危险信号5，如果驾驶员视线偏离正前方的时间超过第六设定阈值视作重度危险信号6；比如，驾驶员视线偏离正前方超过10秒视作轻度危险信号5，如果驾驶员视线偏离正前方超过20秒视作重度危险信号6。

4)基于模糊控制的疲劳状态判断；

满足重度危险信号2、重度危险信号4和重度危险信号6其中之一则判断为疲劳，启动报警器；当满足轻度危险信号1、轻度危险信号3和轻度危险信号5其中两个及以上时，则判断为疲劳，启动报警器。

本发明的检测方法还包括身份认证方法，如图4所示；所述身份认证方法为将深度摄像头采集符合身份驾驶员的身份信息存于存储器，在每次启动汽车时，控制器将深度摄像头采集的驾驶图像与身份信息进行比对实现一次身份认证，若比对不成功、则启动报警器，并将每一次汽车的启动至停止阶段均生成一个驾驶员身份报告、存储于存储器。

以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明，任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内，当可利用上述揭示的技术内容做出些许更动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何的简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (10)

1.一种车载型疲劳驾驶检测与身份认证装置，其特征在于：包括壳体和深度摄像头，所述深度摄像头通过360度转动部件安装于壳体顶部，所述壳体内设置有控制器、报警器和存储器；所述深度摄像头、报警器和存储器均与控制器相连；

所述360度转动部件包括依次相连的底座、伸缩杆和转动部，所述底座与壳体相连，所述转动部与深度摄像头相连；

所述深度摄像头用于实时采集驾驶员面部的驾驶图像；

所述存储器用于存储符合身份驾驶员的身份信息和疲劳特征信息；

所述控制器用于将深度摄像头采集的驾驶图像进行疲劳驾驶检测与身份认证，并存储于存储器，以及对驾驶图像符合疲劳特征信息或驾驶图像与身份信息对比不成功、则启动报警器。

2.根据权利要求1所述的车载型疲劳驾驶检测与身份认证装置，其特征在于：还包括设置于壳体上的吸附部件。

3.根据权利要求2所述的车载型疲劳驾驶检测与身份认证装置，其特征在于：所述吸附部件安装于壳体底部或壳体侧面。

4.根据权利要求2所述的车载型疲劳驾驶检测与身份认证装置，其特征在于：所述吸附部件为吸盘。

5.根据权利要求1所述的车载型疲劳驾驶检测与身份认证装置，其特征在于：所述深度摄像头为duo3d深度摄像头。

6.根据权利要求1所述的车载型疲劳驾驶检测与身份认证装置，其特征在于：所述报警器为蜂鸣器或语音播报器。

7.根据权利要求1所述的车载型疲劳驾驶检测与身份认证装置的检测方法，其特征在于，包括以下步骤：

1)根据深度摄像头拍摄的驾驶图像中的深度图像进行面部三维重建；

2)根据深度摄像头拍摄的驾驶图像进行眼部定位；

3)头部姿态判断、眼睛闭合程度判断和视线判断；

4)基于模糊控制的疲劳状态判断。

8.根据权利要求7所述的车载型疲劳驾驶检测与身份认证装置的检测方法，其特征在于，所述步骤1)的面部三维重建，具体包括以下步骤：

1-1)对深度图像进行前背景分割，利用统计学算法和模板匹配法进行人脸识别，模板来源于存储器存储的身份信息；

1-2)对深度图像通过滤波进行预处理以实现降噪；

1-3)通过坐标计算以获得每个像素点的坐标和法向、即点云数据；

1-4)对点云数据进行变换处理以生成每个点云数据的三维空间坐标；

1-5)将基于三维空间坐标的每个点云数据进行融合；

1-6)进行修正后生成三维脸部表面；

1-7)对连续几帧的驾驶图像重复进行步骤1-1)至步骤1-6)，最后获得三维面部图像；

所述步骤2)的眼部定位，具体包括以下步骤：

2-1)提取出深度摄像头采集的彩色图像的脸部图像；

2-2)将脸部图像进行灰度处理和归一化处理；

2-3)依次进行直方图均衡化和滤波降噪；

2-4)灰度积分投影进行人眼粗定位获得人眼图像；

2-5)根据人眼图像利用OTSU法进行二值化处理并进行瞳孔中心定位获得瞳孔位置；

2-6)根据人眼图像利用hough变换和canny边缘算子进行眼部边缘的精确定位获得眼部边缘位置；

2-7)对深度图像提取脸部并进行基于susan算法的面部五官分割和特征点定位，获得瞳孔特征点和两眼内外眼角特征点；

2-8)将步骤2-5)获得的瞳孔位置和步骤2-7)获得的瞳孔特征点、将步骤2-6)获得的眼部边缘位置和步骤2-7)获得的两眼内外眼角特征点，均进行结合拟合分析，排除瞳孔位置的定位错误和眼部边缘位置的误差，得到瞳孔及眼部边缘的精确特征信息。

9.根据权利要求8所述的车载型疲劳驾驶检测与身份认证装置的检测方法，其特征在于，所述步骤3)的头部姿态判断、眼睛闭合程度判断和视线判断，具体包括以下步骤：

3-1)基于三维面部图像建立欧拉旋转角坐标，每种不同姿态以欧拉旋转角R(α，β，γ)表示，由平动角α、转动角β、滚动角γ组成；

控制器根据欧拉旋转角坐标分析并判断是否有向正面低头或向左右摆头姿态、判断是否打瞌睡，若偏离了正常位置的时间超过第一设定阈值视作轻度危险信号1，若偏离了正常位置的时间超过第二设定阈值视作重度危险信号2；

3-2)根据获得的瞳孔及眼部边缘的精确特征信息，检测眼部开闭合状态，再根据PERCLOSP80疲劳标准判断驾驶员在第三设定阈值内眼睛闭合时间符合PERCLOSP80疲劳标准、视作轻度危险信号3，在第四设定阈值内眼睛闭合时间符合PERCLOSP80疲劳标准、视作重度危险信号4；

3-3)将步骤2)获得的瞳孔及眼部边缘的精确特征信息映射到步骤1)获得的三维面部图像中，得到三维面部图像上的瞳孔在整个眼部的具体位置，结合欧拉旋转角表示的姿态计算出面部朝向，并判断驾驶员的视线方向，如果驾驶员视线偏离正前方的时间超过第五设定阈值视作轻度危险信号5，如果驾驶员视线偏离正前方的时间超过第六设定阈值视作重度危险信号6；

所述步骤4)基于模糊控制的疲劳状态判断，满足重度危险信号2、重度危险信号4和重度危险信号6其中之一则判断为疲劳，启动报警器；当满足轻度危险信号1、轻度危险信号3和轻度危险信号5其中两个及以上时，则判断为疲劳，启动报警器。

10.根据权利要求7所述的车载型疲劳驾驶检测与身份认证装置的检测方法，其特征在于，还包括身份认证方法，所述身份认证方法为将深度摄像头采集符合身份驾驶员的身份信息存于存储器，在每次启动汽车时，控制器将深度摄像头采集的驾驶图像与身份信息进行比对实现一次身份认证，若比对不成功、则启动报警器，并将每一次汽车的启动至停止阶段均生成一个驾驶员身份报告、存储于存储器。