CN109770922B - 嵌入式疲劳检测系统及方法 - Google Patents

Abstract

本发明公开了一种嵌入式疲劳检测系统及方法，包括摄像头、提示设备及嵌入式主控；摄像头采集车内的图像，提示设备将疲劳状态传达给驾驶员。嵌入式主控则计算驾驶员的疲劳状态，通过小型的CNN网络模型检测图像的人脸位置及大小，识别驾驶员的人脸；在预设时间内，计算驾驶员哈欠时间占比，并且计算闭眼时间占比，判定该预设时间内驾驶员的疲劳度；通过状态容器存储当前时间之前预设数量的疲劳度，判断驾驶员的最终疲劳状态。本技术方案通过在PERCLOS算法的基础上引入驾驶员嘴部的检测，同时还通过状态容器引入时间信息，提升了检测的准确性，本发明还使用对硬件性能要求较低的小型CNN网络模型，使得系统可运行于车载的嵌入式系统中，降低了成本。

Description

嵌入式疲劳检测系统及方法

技术领域

本发明涉及图像识别技术领域，特别涉及一种嵌入式疲劳检测系统及方法。

背景技术

疲劳驾驶不但会影响驾驶员的反应时间、判断和视觉，也会影响他的警觉性和对问题的处理能力，疲劳检测正是为了减少疲劳驾驶带来的安全隐患。目前针对疲劳检测有以下几种实现方法，1.通过车主佩戴的各种疲劳检测设备采集生物信号进行分析；2.通过车载雷达分析行车路线是否为正常驾驶；3.通过摄像头捕捉车主的面部图像，采用传统的视觉算法进行疲劳检测；4.通过摄像头捕捉车主的面部图像，采用神经网络算法进行疲劳检测。但是，现有技术中，车主佩戴检测设备会额外增加负担和不适感；行车过程中行车路线复杂且容易有各种突发状况，通过行车路线分析难度大且准确率低；而单纯的通过摄像头捕捉到的图像进行分析，该方法的视觉算法维度单一，鲁棒性差不能满足复杂环境的要求；而现有的神经网络虽然效果好、鲁棒性高但是对设备要求高，车载硬件不能满足，且成本较高。

发明内容

本发明要解决的技术问题是如何提供一种硬件成低、疲劳识别准确度高的嵌入式疲劳检测系统及方法。

为了解决上述技术问题，本发明的技术方案为：

一种嵌入式疲劳检测系统，包括摄像头、提示设备及嵌入式主控；所述摄像头采集车内的图像，并传输至所述嵌入式主控；所述提示设备将所述嵌入式主控检测到的疲劳状态传达给驾驶员；所述嵌入式主控包括：

人脸检测模块，通过一预训练的小型的CNN网络模型检测图像的人脸位置及大小，进而识别驾驶员的人脸；

疲劳检测模块，通过另一预训练的小型的CNN网络模型对图像的眼部及嘴部特征进行数据采集及特征判断；

疲劳度判定模块，预设时间内，计算驾驶员哈欠时间占比，并且计算闭眼时间占比，判定该预设时间内驾驶员的疲劳度；

状态容器模块，存储当前时间之前预设数量的疲劳度，统计所述状态容器模块内所有疲劳度的数值，判断驾驶员的疲劳状态。

优选地，所述人脸检测模块及疲劳检测模块中的小型的CNN网络模型都采用全卷积结构，由五个卷积层，三个池化层和一个softmax分类器构成；其中对模型的训练包括：

在公开数据集DROZY Dataset、CEW Dataset和YawDD Dataset的基础上，加入不同亮度和夜间数据；

对训练的数据进行数据增广，包括裁剪、对比度变化、旋转变换。

优选地，所述嵌入式主控还包括图像预处理模块，所述图像预处理模块对图像进行去噪处理。

优选地，所述疲劳度判定模块判定疲劳度的方法为：

PERCLOS计算方法为：

疲劳度Multi-Fatigue的计算方法为：

其中T_总时间为预设时间，T_{眼睛闭合的时间}为预设时间内的闭眼时间，T_{打哈欠的时间}为预设时间内的哈欠时间。

优选地，所述状态容器模块中，通过计算所述状态容器模块内所有疲劳度的数值的平均值，通过所述平均值与预设阈值之间进行大小比对，确定驾驶员的疲劳状态。

本发明还提出一种嵌入式疲劳检测方法，包括步骤：

采集车内的图像；

通过一预训练的小型的CNN网络模型检测图像的人脸位置及大小，进而识别驾驶员的人脸；

通过另一预训练的小型的CNN网络模型对图像的眼部及嘴部特征进行数据采集及特征判断；

预设时间内，计算驾驶员哈欠时间占比，并且计算闭眼时间占比，判定该预设时间内驾驶员的疲劳度；

通过状态容器存储当前时间之前预设数量的疲劳度，统计所述状态容器内所有疲劳度的数值，判断驾驶员的疲劳状态；

将所述疲劳状态传达给驾驶员。

优选地，小型的CNN网络模型采用全卷积结构，由五个卷积层，三个池化层和一个softmax分类器构成；其中对模型的训练包括：

在公开数据集DROZY Dataset、CEW Dataset和YawDD Dataset的基础上，加入不同亮度和夜间数据；

对训练的数据进行数据增广，包括裁剪、对比度变化、旋转变换。

优选地，通过一预训练的小型的CNN网络模型检测图像的人脸位置及大小，进而识别驾驶员的人脸的步骤之前，还包括：对图像进行去噪处理。

优选地，判定疲劳度的方法为：

PERCLOS计算方法为：

疲劳度Multi-Fatigue的计算方法为：

其中T_总时间为预设时间，T_{眼睛闭合的时间}为预设时间内的闭眼时间，T_{打哈欠的时间}为预设时间内的哈欠时间。

优选地，通过计算所述状态容器内所有疲劳度的数值的平均值，通过所述平均值与预设阈值之间进行大小比对，确定驾驶员的疲劳状态。

采用上述技术方案，由采集车内图像的摄像头、载有预训练的CNN卷积神经网络模型的嵌入式主控及用于提示驾驶员疲劳状态的提示设备，实现了一种嵌入式疲劳检测系统。通过图像中的人脸大小，将驾驶员与车内的乘客区分开来，避免了误将乘客判断为驾驶员的情况。通过在PERCLOS算法的基础上引入驾驶员嘴部的检测，增加了疲劳度的检测准确度，同时还通过状态容器引入时间信息，根据一段时间内的多个疲劳度结合时间序列信息，对驾驶员的疲劳状态进行更加准确的判断。本技术方案中使用的识别模型及疲劳检测模块都为精简且对硬件要求较低的小型CNN网络模型，使用车载的嵌入式设备即可运行，成本低、鲁棒性好，且不会对驾驶员造成束缚感。

附图说明

图1为本发明嵌入式疲劳检测方法一实施例的流程图；

图2为本发明嵌入式疲劳检测方法一实施例的CNN卷积神经网络模型的网络的原理图；

图3为本发明嵌入式疲劳检测方法一实施例的状态容器数据更新原理图；

图4为本发明嵌入式疲劳检测系统一实施例的模块原理图；

图5为本发明嵌入式疲劳检测系统一实施例的嵌入式主控的原理图。

图中，10-人脸检测模块，20-疲劳检测模块，30-疲劳度判定模块，40-状态容器模块，50-摄像头，60-图像预处理模块，70-提示设备。

具体实施方式

下面结合附图对本发明的具体实施方式作进一步说明。在此需要说明的是，对于这些实施方式的说明用于帮助理解本发明，但并不构成对本发明的限定。此外，下面所描述的本发明各个实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互组合。

参照图1，本发明提出了一种嵌入式疲劳检测方法，包括步骤：

在车辆内对着驾驶座架设置一台固定位置和角度的摄像头，实时采集驾驶员图像；

对图像进行去噪处理，去燥可以减少噪声对后续算法的影响；

S10：通过一预训练的CNN卷积神经网络模型检测图像的人脸位置及大小，进而识别驾驶员的人脸；为了应对车中有多个人的情况，防止乘员被误检为驾驶员，因此需要先进行人脸检测和筛选。通过人脸大小以及人脸的位置来确定驾驶员人脸并进行对齐。

需要说明的是，驾驶员的人脸通过CNN卷积神经网络模型进行筛选识别。

参照图2，S20：通过预训练的CNN卷积神经网络模型对图像的眼部及嘴部特征进行数据采集及特征判断；CNN卷积神经网络模型的网络采用全卷积结构，由五个卷积层，三个池化层和一个softmax分类器构成；其中对模型的训练包括：

在公开数据集DROZY Dataset、CEW Dataset和YawDD Dataset的基础上，加入不同亮度和夜间数据；

对训练的数据进行数据增广，包括裁剪、对比度变化、旋转变换。

需要说明的是，本发明技术方案采用轻量化的CNN模块进行检测，去除了不必要的内容，模型占用空间较小，避免了过于繁琐的计算，便于搭载于嵌入式硬件。

该算法为疲劳疲劳检测专门设计了一个小型的CNN网络模型，仅由6个卷积层和3个池化层组成，该模型不包括全连接层，因此支持任意尺度的图片输入防止因改变图片尺寸而导致图片比例失真，同时加速网络计算。同时设计状态容器来融入时间信息让结果更准确。该算法对CPU的计算力要求低占用小，能够在轻易的在低端的嵌入式平台部署。

S30：预设时间内，计算驾驶员哈欠时间占比，并且计算闭眼时间占比，判定该预设时间内驾驶员的疲劳度，判定疲劳度的方法为：

本发明借鉴PERCLOS疲劳度判断方法，优化和增加嘴部特征提出Multi-Fatigue判定方法，并根据多次实验选择最优的权重和时间参数。PERCLOS计算方法为：

疲劳度Multi-Fatigue的计算方法为：

其中T_总时间为预设时间，T_{眼睛闭合的时间}为预设时间内的闭眼时间，T_{打哈欠的时间}为预设时间内的哈欠时间。

即在预设的时间内，如果未发生打哈欠的情况，则疲劳度等于眼睛闭合时间占总时间的百分比。而当预设时间内发生打哈欠的情况时，疲劳度则为打呵欠的时间占比与闭眼的时间占比相结合来决定。通过引入打哈欠这一疲劳特征，是的疲劳值的判断更加接近人员的真实状态。

参照图3，S40：通过状态容器存储当前时间之前预设数量的疲劳度，统计状态容器内所有疲劳度的数值，判断驾驶员的疲劳状态。通过计算状态容器内所有疲劳度的数值的平均值，通过平均值与预设阈值之间进行大小比对，确定驾驶员的疲劳状态。

若仅仅对当前时刻进行疲劳检测所得出的结果是不准确的，疲劳是时间上的积累因此需要引入时间信息。本实施例中，为了让疲劳检测更稳定和准确，设计了状态容器储存2分钟内的疲劳度，每3秒将当前的疲劳度存入状态容器同时删除2分钟前的结合疲劳度，通过状态容器来结合时间序列信息得出最终的疲劳状态。疲劳状态分为：正常、中度疲劳和重度疲劳。

当驾驶员处于中度或者重度疲劳状态时，该系统就会对驾驶员做出提前预警，驾驶员因疲劳有可能在驾驶中突然进入梦乡，在此关键时刻通过车载的音响等设备，发出声音对驾驶员进行疲劳提醒，以提醒驾驶员目前疲劳度较高，建议休息，进而减少安全事故的发生概率。

采用上述技术方案，通过人脸检测、卷积神经网络模型的数据处理、计算一段时间内驾驶员的哈欠和闭眼时间，实现了一种嵌入式疲劳检测方法。通过图像中的人脸大小，将驾驶员与车内的乘客区分开来，避免了误将乘客判断为驾驶员的情况。通过在PERCLOS算法的基础上引入驾驶员嘴部的检测，增加了疲劳度的检测准确度，同时还通过状态容器引入时间信息，根据一段时间内的多个疲劳度结合时间序列信息，对驾驶员的疲劳状态进行更加准确的判断。

参照图4、图5，本发明还提出了一种嵌入式疲劳检测系统，包括摄像头、提示设备及嵌入式主控；摄像头采集车内的图像，并传输至嵌入式主控；提示设备将嵌入式主控检测到的疲劳状态传达给驾驶员；嵌入式主控包括人脸检测模块10、疲劳检测模块20、疲劳度判定模块30、状态容器模块40，图像预处理模块60、提示设备70及摄像头50。

人脸检测模块10，通过一预训练的CNN卷积神经网络模型检测图像的人脸位置及大小，进而识别驾驶员的人脸；

疲劳检测模块20，通过预训练的CNN卷积神经网络模型对图像的眼部及嘴部特征进行数据采集及特征判断；CNN卷积神经网络模型的网络采用全卷积结构，由五个卷积层，三个池化层和一个softmax分类器构成；其中对模型的训练包括：

在公开数据集DROZY Dataset、CEW Dataset和YawDD Dataset的基础上，加入不同亮度和夜间数据；

对训练的数据进行数据增广，包括裁剪、对比度变化、旋转变换。

该算法为疲劳疲劳检测专门设计了一个小型的CNN网络模型，仅由6个卷积层和3个池化层组成，该模型不包括全连接层，因此支持任意尺度的图片输入防止因改变图片尺寸而导致图片比例失真，同时加速网络计算。同时设计状态容器来融入时间信息让结果更准确。该算法对CPU的计算力要求低占用小，能够在轻易的在低端的嵌入式平台部署。

疲劳度判定模块30，预设时间内，计算驾驶员哈欠时间占比，并且计算闭眼时间占比，判定该预设时间内驾驶员的疲劳度；疲劳度判定模块判定疲劳度的方法为：

PERCLOS计算方法为：

疲劳度Multi-Fatigue的计算方法为：

其中T_总时间为预设时间，T_{眼睛闭合的时间}为预设时间内的闭眼时间，T_{打哈欠的时间}为预设时间内的哈欠时间。

状态容器模块40，存储当前时间之前预设数量的疲劳度，统计状态容器模块内所有疲劳度的数值，判断驾驶员的疲劳状态。状态容器模块中，通过计算状态容器模块内所有疲劳度的数值的平均值，通过平均值与预设阈值之间进行大小比对，确定驾驶员的疲劳状态。

图像预处理模块60，对图像进行去噪处理。

图像通过摄像头50，进行采集。

提示设备70，通过声音对驾驶员进行疲劳提醒。

本发明基于深度学习的方法，压缩网络模型并增加夜视支持。相比于以上方法，本发明只需要一块低成本的嵌入式设备加一个摄像头，通过捕捉到的视频检测人脸和疲劳状态识别，具有低成本、安装方便、稳定性高等特点。采用本方案，可以适应不同天气、亮度等干扰等影响，准确率、稳定性高，可达99％。

本实施例中，将嵌入式设备连接到车载电源，将摄像头连接到板载上，嵌入式疲劳检测系统的硬件采用以下设备完成：

主控硬件最低配置要求：

CPU：ARM Cortex-A531.2GHz 64-bit quad-core ARMv8 CPU

内存：512MB，

视频输入：USB 2.0接口1个，

板载存储：MicroSD卡插槽，

电源输入：5V，通过MicroUSB或GPIO头输入。

图像采集摄像头最低配置要求：

接口：USB，

感光元件：CMOS，

分辨率：480P。

采用上述技术方案，由采集车内图像的摄像头、载有预训练的CNN卷积神经网络模型的嵌入式主控及用于提示驾驶员疲劳状态的提示设备，实现了一种嵌入式疲劳检测系统。技术方案中使用的识别模型及疲劳检测模块都为精简且对硬件要求较低的小型CNN网络模型，使用车载的嵌入式设备即可运行，成本低、鲁棒性好，且不会对驾驶员造成束缚感。

本方案采用摄像头非接触式疲劳检测并在移动嵌入式端实现，具有不增加驾驶员行车负担、部署简单大幅减少设备成本、易于维护等特点。该技术还可同时实现对车内乘员进行监控，具有看护、取证、监控等其他功能。

以上结合附图对本发明的实施方式作了详细说明，但本发明不限于所描述的实施方式。对于本领域的技术人员而言，在不脱离本发明原理和精神的情况下，对这些实施方式进行多种变化、修改、替换和变型，仍落入本发明的保护范围内。

Claims (10)

1.一种嵌入式疲劳检测系统，其特征在于，包括摄像头、提示设备及嵌入式主控；所述摄像头采集车内的图像，并传输至所述嵌入式主控；所述提示设备将所述嵌入式主控检测到的疲劳状态传达给驾驶员；所述嵌入式主控包括：

人脸检测模块，通过一预训练的小型的CNN网络模型检测图像的人脸位置及大小，进而识别驾驶员的人脸；

疲劳检测模块，通过另一预训练的小型的CNN网络模型对图像的眼部及嘴部特征进行数据采集及特征判断；

疲劳度判定模块，预设时间内，计算驾驶员哈欠时间占比，并且计算闭眼时间占比，判定该预设时间内驾驶员的疲劳度；

状态容器模块，存储当前时间之前预设数量的疲劳度，统计所述状态容器模块内所有疲劳度的数值，判断驾驶员的疲劳状态。

2.根据权利要求1所述的嵌入式疲劳检测系统，其特征在于：所述人脸检测模块及疲劳检测模块中的小型的CNN网络模型都采用全卷积结构，由五个卷积层，三个池化层和一个softmax分类器构成；其中对模型的训练包括：

在公开数据集DROZY Dataset、CEW Dataset和YawDD Dataset的基础上，加入不同亮度和夜间数据；

对训练的数据进行数据增广，包括裁剪、对比度变化、旋转变换。

3.根据权利要求2所述的嵌入式疲劳检测系统，其特征在于：所述嵌入式主控还包括图像预处理模块，所述图像预处理模块对图像进行去噪处理。

4.根据权利要求1、2或3任一项所述的嵌入式疲劳检测系统，其特征在于：所述疲劳度判定模块判定疲劳度的方法为：

PERCLOS计算方法为：

疲劳度Multi-Fatigue的计算方法为：

其中T_总时间为预设时间，T_{眼睛闭合的时间}为预设时间内的闭眼时间，T_{打哈欠的时间}为预设时间内的哈欠时间。

5.根据权利要求1、2或3任一项所述的嵌入式疲劳检测系统，其特征在于：所述状态容器模块中，通过计算所述状态容器模块内所有疲劳度的数值的平均值，通过所述平均值与预设阈值之间进行大小比对，确定驾驶员的疲劳状态。

6.一种嵌入式疲劳检测方法，其特征在于，包括步骤：

采集车内的图像；

通过一预训练的小型的CNN网络模型检测图像的人脸位置及大小，进而识别驾驶员的人脸；

通过另一预训练的小型的CNN网络模型对图像的眼部及嘴部特征进行数据采集及特征判断；

预设时间内，计算驾驶员哈欠时间占比，并且计算闭眼时间占比，判定该预设时间内驾驶员的疲劳度；

通过状态容器存储当前时间之前预设数量的疲劳度，统计所述状态容器内所有疲劳度的数值，判断驾驶员的疲劳状态；

将所述疲劳状态传达给驾驶员。

7.根据权利要求6所述的嵌入式疲劳检测方法，其特征在于：小型的CNN网络模型采用全卷积结构，由五个卷积层，三个池化层和一个softmax分类器构成；其中对模型的训练包括：

在公开数据集DROZY Dataset、CEW Dataset和YawDD Dataset的基础上，加入不同亮度和夜间数据；

对训练的数据进行数据增广，包括裁剪、对比度变化、旋转变换。

8.根据权利要求7所述的嵌入式疲劳检测方法，其特征在于，

通过一预训练的小型的CNN网络模型检测图像的人脸位置及大小，进而识别驾驶员的人脸的步骤之前，还包括：对图像进行去噪处理。

9.根据权利要求6、7或8任一项所述的嵌入式疲劳检测方法，其特征在于：判定疲劳度的方法为：

PERCLOS计算方法为：

疲劳度Multi-Fatigue的计算方法为：

其中T_总时间为预设时间，T_{眼睛闭合的时间}为预设时间内的闭眼时间，T_{打哈欠的时间}为预设时间内的哈欠时间。

10.根据权利要求6、7或8任一项所述的嵌入式疲劳检测方法，其特征在于：通过计算所述状态容器内所有疲劳度的数值的平均值，通过所述平均值与预设阈值之间进行大小比对，确定驾驶员的疲劳状态。

Images