CN108369766A - 一种基于人脸识别的车载疲劳预警系统及预警方法 - Google Patents

Abstract

一种基于人脸识别的车载疲劳预警系统及预警方法，系统包括：主控模块(1)，用于为主控模块(1)提供识别信息的人脸图像获取模块(2)，以及报警模块(5)，其中人脸图像获取模块(2)、报警模块(5)均电连接于主控模块(1)，主控模块(1)根据人脸图像获取模块(2)提供的人脸图像，当检测到用户处于疲劳驾驶状态时，控制报警模块(5)进行报警提醒。该基于人脸识别的车载疲劳预警系统及其预警方法，采用数据库，并实时进行学习记录，从而不简单依赖于数据模型，提高了疲劳预警的准确性。

Description

一种基于人脸识别的车载疲劳预警系统及预警方法

技术领域

本发明涉及预警安全技术领域，尤其涉及一种基于人脸识别的车载疲劳驾驶预警系统及预警方法。

背景技术

目前市场上的车载疲劳驾驶预警装置较多主体分为：1、挂耳朵式疲劳预警器，基本原理为识别驾驶员低头信号，从而判断并报警；2、手表式或眼镜式，其通过脉搏的跳动来判断人是否疲劳；3、方向盘触摸式，通过判定驾驶人员手掌是否离开方向盘为疲劳驾驶信号。以上三种疲劳驾驶预警判定方法存在以下缺点：

首先，对疲劳状态的变化规律难以总结，每个驾驶员存在不同的年龄，体质，情绪，饮食状态不同，患病情况的多方因素，很难准确判断疲劳状态。

其二，通过图像获取，通过人体动作进行判断方法中，图像处理算法受环境及其检测条件等影响较大。

其三，目前市场上的车载预警装置，需要直接接触驾驶人员，对驾驶人员造成许多不变，或者不能准确识别驾驶员状态，预警效果差，无法商用。

发明内容

本发明的目的在于提供一种基于人脸识别的疲劳预警系统及其预警方法，用于解决现有技术中疲劳驾驶预警不准确的技术问题。

为达到上述目的，本发明所提出的技术方案为：

本发明的一种基于人脸识别的车载疲劳预警系统，其包括：主控模块，用于为所述主控模块提供识别信息的人脸图像获取模块，以及报警模块，其中，所述的人脸图像获取模块、报警模块均电连接于主控模块，所述主控模块根据人脸图像获取模块提供的人脸图像，当检测到用户处于疲劳驾驶状态时，控制所述报警模块进行报警提醒。

其中，所述的主控模块上还电连接有蓝牙模块，所述蓝牙模块与智能终端设备进行用户疲劳数据传输。

其中，所述的所述主控模块上还连接有GPRS模块，当检测到用户处于疲劳状态时，由所述GPRS模块将疲劳信息以及位置信息发送至绑定的移动智能终端。

其中，所述的人脸图像获取模块为CCD摄像装置。

一种基于人脸识别的车载疲劳预警系统的预警方法，其包括以下步骤：

第一步，获取用户人脸图像，并将获取的人脸图像传送至主控模块；

第二步，根据人脸图像判定是否进入训练模式，若是，则进入第三步，否则进入第四步；

第三步，将人脸图像进行预处理，保存至人脸库，然后返回第一步；

第四步，提取人脸特征，并计算用户当前是否处于疲劳状态，若是，进入第五步，若否，则返回第一步，其中，所述的人脸特征包括眨眼周期和打哈欠时长；

第五步，发出报警提醒用户处于疲劳状态。

其中，所述的第五步之后还包括确认当前报警提醒是否存在误判的判定步骤，若存在误判则对当前人脸特征进行记录学习。若否则返回第一步。

其中，所述第三步中的图像预处理包括对人脸图像的灰度变换，直方图均衡化，中值滤波处理步骤，并建立用户的眼睛和嘴巴处于疲态时的数据库。

其中，所述的第四步中提取人脸特征采用PCA算法。

其中，所述第四步中，计算用户当前是否处于疲劳状态的参数为：当用户在持续2s内眨眼时长大于0.25s时，则判定用户处于疲劳状态。

其中，所述第四步中，计算用户当前是否处于疲劳状态的参数为：通过用户嘴型判断，当一次打哈欠时长超过3.5s，且相邻打哈欠间隔时间小于10分钟时，则判定处于疲劳状态。

与现有技术相比，本发明的基于人脸识别的疲劳预警系统及其预警方法，采用建立数据库，并实时进行学习记录，不简单依赖于数据模型，提高了疲劳预警的准确性。

附图说明

图1为本发明基于人脸识别的疲劳预警系统的功能框图。

图2为本发明基于人脸识别的疲劳预警的预警方法的流程图。

具体实施方式

以下参考附图，对本发明予以进一步地详尽阐述，本发明的基于人脸识别的疲劳预警系统用于监控用户是否处于疲劳状态，在本实施例中，以驾驶员为用户，详述应用于车载疲劳预警时的系统结构及预警过程。

请参阅附图1，在本实施例中，本发明的一种基于人脸识别的车载疲劳预警系统至少包括：主控模块1，用于为所述主控模块1提供识别信息的人脸图像获取模块2，以及报警模块5。其中，人脸图像获取模块2、报警模块5均电连接于主控模块1，所述主控模块1根据人脸图像获取模块2提供的人脸图像，当检测到用户处于疲劳驾驶状态时，控制所述报警模块5进行报警提醒。

更具体的，上述主控模块1具备以下处理能力：根据人脸图像获取模块获取的人脸图像，获取人脸图像的人脸特征，人脸特征包括眨眼周期、打哈欠的时长以及其他可能表征疲劳的特征。主控模块1获取人脸特征之后，自动进行判别是否处于疲劳状态，若是，则立刻报警提醒。由于每个人的人脸特征表征疲劳状态的不同，该主控模块1同时具备很强的自学能力，即对于首次使用的用户，初期数据都是作为主控模块学习的数据，若系统判定疲劳状态正确，则维持当前判定标准，若判定错误，则由人工手动等方式触发误报警，从而将误报警数据作为以后判定的数据基础，依次积累，形成对用户的智能精确判定。

为了完备该基于人脸识别的疲劳预警系统，所述的主控模块1上还电连接有蓝牙模块3，所述蓝牙模块3与智能终端设备进行用户疲劳数据传输。智能终端包括手机，平板，电脑等，如采用手机作为智能终端，则可在手机端安装APP，该APP可将蓝牙模块传送的数据读取，并形成数据报表，如疲劳程度时序图，从而反映用户一天中疲劳分布图。

同时，所述的主控模块上还连接有GPRS模块4，当检测到用户处于疲劳状态时，由所述GPRS模块4将疲劳信息以及位置信息发送至绑定的移动智能终端。或者自动向绑定的终端拨打电话。

在该实施例，上述的人脸图像获取模块2为CCD摄像装置。在其他实施例中，上述人脸图像获取模块2也可以是其他图像获取设备，也可以通过主控模块协同进行人脸特征的抓捕。

请参阅附图2，本实施例还公开了一种基于上述人脸识别的车载疲劳预警系统的预警方法，其包括以下步骤：

第一步，获取用户人脸图像，并将获取的人脸图像传送至主控模块；首先打开摄像头，开启预警系统，由摄像头进行人脸图像的获取，其中摄像头传感器安装于方向盘中间位置，不会阻挡用户视线。其中，该预警系统可自备电源，也可以直接挂接在车载电源直接供电。

第二步，根据人脸图像判定是否进入训练模式，若是，则进入第三步，否则进入第四步。由于对于新用户而言，需要进行人脸疲劳特征的数据库建立，根据个人的脸部疲劳特征，进行识别，从而提高准确性，因此需要进入训练模式。

第三步，将人脸图像进行预处理，保存至人脸库，然后返回第一步；如果需要进入训练模式，首先将获取的人脸图像进行预处理，并将预处理的图像加载至数据库，从而为后期智能判定提供数据基础。一次训练模式结束后，则返回第一步，重复进行下一次检测。

第四步，提取人脸特征，并计算用户当前是否处于疲劳状态，若是，进入第五步，若否，则返回第一步，其中，所述的人脸特征包括眨眼周期和打哈欠时长；

第五步，发出报警提醒用户处于疲劳状态。

其中，所述的第五步之后还包括确认当前报警提醒是否存在误判的判定步骤，若存在误判则对当前人脸特征进行记录学习。

其中，所述第三步中的图像预处理包括对人脸图像的灰度变换，直方图均衡化，中值滤波处理步骤，并建立用户的眼睛和嘴巴处于疲态时的数据库。

其中，所述的第四步中提取人脸特征采用PCA算法。

其中，所述第四步中，计算用户当前是否处于疲劳状态的参数分为两种，一种是：当用户在持续2s内眨眼时长大于0.25s时，则判定用户处于疲劳状态。另外一种是：通过用户嘴型判断，当一次打哈欠时长超过3.5s，且相邻打哈欠间隔时间小于10分钟时，则判定处于疲劳状态。

以下以一组具体数据对疲劳判定进行说明：

由人脸图像获取模块采集回来的图像可以通过灰度变换，直方图均衡化，中值滤波等方法预处理后，利用改进后的PCA算法提取人脸特征，眼部局部特征。由于不同的人眨眼，打哈欠，低头等特征有很大的区别。在驾驶员等用户使用本产品之前，需要初始化。对不同的驾驶员建立对应的眼睛，嘴巴以及人脸数据库，得到驾驶员在眼睛以及嘴巴全开，半开，微开，闭合等不同情况下的数据，并在今后的使用过程中不断完善自己的人脸数据。

获取热脸特征之后计算PERCLOS（单位时间内眼睛闭合时间所占的百分率）。PERCLOS是美国联邦公路管理局提出的用来判断驾驶人员疲劳状态的参数。有PERLCOS以及一次眨眼持续的周期，以及眼睛张开的度数变化，和人脸数据库中的数据进行特征系数比较得出，这三项参数，再通过这三项数据作为依据计算出一组数据，最后通过这一组数据判断驾驶员是否处于疲劳状态。

PERCLOS的计算方法为f=（t3-t2）/（t4-t1）。

f即PERCLOS，t1是眼睛最大闭合到80%的时间。t2是眼睛80%闭合到20%的时间。t3是眼睛闭合到20%之后增开到20%的时间。t4是眼睛20%睁开到80%的时间。

根据数据表明，正常情况下人眼每分钟眨眼10—20次，每次周期0.2~0.4s。通常人疲劳时，眨眼时间会持续维持0.25s以上，特别疲劳时由于睁眼困难将达到一秒以上，当持续2秒眨眼时间会持续维持0.25s，或眨眼曲线偏高，同时出现睁眼困难现象时候进行提醒。其中，闭眼80%以上即视为全闭合。

然后计算PERCLOS曲线，得到确定的人眼疲劳时的准确参数用以判断。

当t>1时，或者无法检测驾驶员眼部信息，如有的驾驶员在驾驶过程中有带墨镜等习惯，在这种情况下我们需要对驾驶人员其他面部特征进行提取，如打哈欠时长。

设打哈起张嘴用时为S0，嘴巴停留在最大左右时间为S1，闭合时间为S2，S1时间越长证明越疲劳，S0、S1、S2发生的越频繁则证明越疲劳。为防止误判当S1太小则不计，视为大声说话。根据生理学表明人在打呼噜是通常时间为6秒左右，而驾驶人员会有意识的控制自己尽量不打呼噜，时间会缩短至4秒。故此我们判断当打哈欠时间超过3.5秒时，判定为疲劳。当驾驶人员低头时候，且低头时间大于设定值，则视为驾驶员疲劳。给出相应提醒。

并且记录生成驾驶员疲劳曲线并保存，将近一天至一周内的疲劳信息，经过加权平均得到一条疲劳曲线，并且每天更正曲线，对驾驶员每天最易疲劳时间段进行提醒。

上述内容，仅为本发明的较佳实施例，并非用于限制本发明的实施方案，本领域普通技术人员根据本发明的主要构思和精神，可以十分方便地进行相应的变通或修改，故本发明的保护范围应以权利要求书所要求的保护范围为准。

Claims (10)

1. 一种基于人脸识别的车载疲劳预警系统，其特征在于，包括：主控模块，用于为所述主控模块提供识别信息的人脸图像获取模块，以及报警模块，其中，所述的人脸图像获取模块、报警模块均电连接于主控模块，所述主控模块根据人脸图像获取模块提供的人脸图像，当检测到用户处于疲劳驾驶状态时，控制所述报警模块进行报警提醒。
2. 如权利要求1所述的基于人脸识别的车载疲劳预警系统，其特征在于，所述的主控模块上还电连接有蓝牙模块，所述蓝牙模块与智能终端设备进行用户疲劳数据传输。
3. 如权利要求1或2所述的基于人脸识别的车载疲劳预警系统，其特征在于，所述的主控模块上还连接有GPRS模块，当检测到用户处于疲劳状态时，由所述GPRS模块将疲劳信息以及位置信息发送至绑定的移动智能终端。
4. 如权利要求1所述的基于人脸识别的车载疲劳预警系统，其特征在于，所述的人脸图像获取模块为CCD摄像装置。
5. 采用如权利要求1至4任意一项所述基于人脸识别的车载疲劳预警系统的预警方法，其特征在于，包括以下步骤：

   第一步，获取用户人脸图像，并将获取的人脸图像传送至主控模块；

   第二步，根据人脸图像判定是否进入训练模式，若是，则进入第三步，否则进入第四步；

   第三步，将人脸图像进行预处理，保存至人脸库，然后返回第一步；

   第四步，提取人脸特征，并计算用户当前是否处于疲劳状态，若是，进入第五步，若否，则返回第一步，其中，所述的人脸特征包括眨眼周期和打哈欠时长；

   第五步，发出报警提醒用户处于疲劳状态。
6. 如权利要求5所述的预警方法，其特征在于，所述的第五步之后还包括确认当前报警提醒是否存在误判的判定步骤，若存在误判则对当前人脸特 征进行记录学习，若否则返回第一步。
7. 如权利要求5所述的预警方法，其特征在于，所述第三步中的图像预处理包括对人脸图像的灰度变换，直方图均衡化，中值滤波处理步骤，并建立用户的眼睛和嘴巴处于疲态时的数据库。
8. 如权利要求5所述的预警方法，其特征在于，所述的第四步中提取人脸特征采用PCA算法。
9. 如权利要求5所述的预警方法，其特征在于，所述第四步中，计算用户当前是否处于疲劳状态的参数为：当用户在持续2s内眨眼时长大于0.25s时，则判定用户处于疲劳状态。
10. 如权利要求5所述的预警方法，其特征在于，所述第四步中，计算用户当前是否处于疲劳状态的参数为：通过用户嘴型判断，当一次打哈欠时长超过3.5s，且相邻打哈欠间隔时间小于10分钟时，则判定处于疲劳状态。