CN103315754A - 一种疲劳检测方法及装置 - Google Patents

Abstract

本发明提供了一种疲劳检测方法及装置，该方法通过检测被测对象的眼睛开闭状态获取该对象是否疲劳。该装置通过利用自备光源照射到被测对象的脸上，然后利用黑白摄像头获得反射图像，并截取眼部图像，然后通过与数据库内的模板进行比较获得该对象是否处于疲劳状态。系统能准确定位人眼，对闭合和张开的人眼能准确识别，并根据闭合时间判断疲劳状态，闭合时间可以自定义调整，准确判断人脸（头部）形态，判断人脸朝向，根据人脸朝向不同的角度，判定司机驾驶状态，提示正视驾驶前方。

Description

一种疲劳检测方法及装置

技术领域

本发明涉及图像智能处理和识别领域，更具体地说，涉及一种新型的带自学习功能的疲劳检测方法及装置。

背景技术

目前，我国公路运输、铁路运输（包括：地铁运输）广泛的实行长交路、单司机值乘的工作模式。司机的操纵区段长、工作压力大，特别是在夜间值乘时，司机在工作中发生疲劳几率增大，是道路行车运行安全重要风险因素。

从目前调研得知：针对运行中可能出现的司乘人员工作状态不佳、疲劳、甚至瞌睡等安全隐患，交管部门以及铁路部门都采取积极的管理和技术措施，归纳起来主要有两种：一是在管理上采取了管理人员跟车检查、指导（属语为“押运”或“添乘”）的方法进行工作检查。这种方法的问题是检查覆盖几率低、周期长，增加了人力成本。二是在技术上采取了“无人警惕按钮”的手段，如机车司机每分钟按压一次按钮，以证实机车司机值乘状态；如果超过一分钟没有按压按钮，系统音响报警，提示机车司机按压按钮解锁报警；如果报警后仍没有按压按钮，系统认为机车司机工作状态不佳，系统实施制动。“无人警惕按钮”的使用，对防止机车司机工作状态不佳、疲劳、盹睡起到了一定的作用，但也存在一些问题。主要是：当机车司机熟练地掌握了“无人警惕按钮”的使用后，机车司机对其按钮进行机械性重复敲击，而工作并没有在兴奋状态，甚至可能用其他辅助简单机械装置可自动敲击，从而投机取巧，司机可完全不用管，失去真正作用。

发明内容

针对上述问题，本申请在充分调研机车安全装备现状和司机工作要求的机车上，提供一种带有自动学习功能的疲劳检测装置和方法，对司机的驾驶精神状态情况的正确与否进行分析判断，进一步促使司机的工作处于清醒、理智的状态。该方法较“无人警惕按钮”这种辅助设施更进一步，对保持司机的工作状态更加有利，但从另外一方面来看，此装置和方法也有一些局限性，比如光照环境，配带眼镜甚至用户配合角度的使用，都有可能导致采集的图像出现一些瑕疵，造成疲劳误报或漏报存在一些几率。

本发明的技术方案是：一种疲劳检测方法，该方法是通过对人的眼睛进行实时检测，通过对人眼闭合的状态，判定被检测人员的疲劳程度；事先或者在使用过程中通过自学习的方式将特定对象疲劳时眼部图像保存在模板库中成为疲劳模板，包括以下步骤：

步骤1、获取人眼图像；

步骤2、提取人眼图像的特征分析数据；

步骤3、将特征分析数据与模板库中疲劳模板进行比对判断对象是否处于疲劳状态。

进一步的，上述的疲劳检测方法中：所述的步骤1中是按如下步骤获取人眼图像的：

步骤A、利用照明光源照射到被对象的脸部； 

步骤B、获取被对象的脸部反射的脸部图像；

步骤C、将脸部图像进行缩放定位，截取眼部像素形成人眼图像。

进一步的，上述的疲劳检测方法中：所述的照明光源为窄带的红外线或者紫外线；获取脸部图像时，采用黑白摄像头并在黑白摄像头前加入所述的照明光源波长的通光片。

进一步的，上述的疲劳检测方法中：所述的步骤2中将人眼图像进行分割，滤掉噪声，二值化后，提取特征分析数据。

进一步的，上述的疲劳检测方法中：所述的模板库中疲劳模板是通过自学习的方法获取检测对象在疲劳状态时的眼部图像。

本发明还提供一种疲劳检测装置，该装置包括获取被检测对象脸部图像的脸部图像获取装置、对脸部图像获取装置所获取的脸部图像进行处理获得被检测对象眼部图像的视频处理装置、主控制器和存储有疲劳模板数据库的存储装置；所述的脸部图像获取装置包括照射到被检测对象脸部的照明光源、正对被检测对象脸部的黑白摄像头、设置在所述的黑白摄像头前的照明光源波长的通光片；所述的脸部图像获取装置与视频处理装置相连，所述的视频处理装置、存储装置分别与主控制器相连。

进一步的，上述的装置中：所述的照明光源为红外线光源或者紫外线光源。

进一步的，上述的装置中：所述的照明光源为红外线发光二极管。

进一步的，上述的装置中：还包括语音控制装置，所述的语音控制装置安装在被检测对象周围。

本发明的有益效果是，系统能准确定位人眼，对闭合和张开的人眼能准确识别，并根据闭合时间判断疲劳状态，闭合时间可以自定义调整，准确判断人脸（头部）形态，判断人脸朝向。如果用在防止汽车驾驶员疲劳驾驶上，将会配合车速，形成不同的报警级别；识别的频率高，每秒钟能连续识别超过20次眼部状态；连续驾驶时长控制，结合身份认证和GPS轨迹跟踪实现；疲劳检测判断规则可以根据实际情况手动设定参数，设置灵活方便。

下面结合具体实施例对本发明作较为详细的描述。

附图说明

图1为本发明实施例人脸识别装置系统架构图。

图2为本发明实施例流程图。

具体实施方式

本实施例是一种设置在长途货车上，对长途货车司机的疲劳状态进行检测，重点检测到货车司机的眼睛部位，从货车司机眼睛开闭的状态，通过学习的过程，获得该司机处于疲劳状态时的图像，并在使用时，将司机眼睛部位实时截取后与该疲劳状态的图像相比较，获得正在开车的货车司机处于疲劳状态时，通过一些方式提醒货车司机主意打起精神开车或者休息后再继续工作。在事先自学习的方式将司机疲劳时眼部图像保存在模板库中成为疲劳模板。

如图1所示，本实施例的货车司机疲劳检测装置包括获取被检测对象脸部图像的脸部图像获取装置，对脸部图像获取装置所获取的脸部图像进行处理获得被检测对象眼部图像的视频处理装置，主控制器和存储有疲劳模板数据库的存储装置。

脸部图像获取装置设置在货车驾驶楼内，包括照射到被检测对象脸部也就是驾驶员脸部的红外线照明光源、正对驾驶员脸部的黑白摄像头、设置在所述的黑白摄像头前的照明光源波长的通光片。红外线照明光源采用LED，照射到驾驶员脸部后，反射到黑白摄像头上，在黑白摄像头前面设置通光片，这个通光片的波长是LED所发红外线的波长，只有波长如照明光源波长的反射光线能够透过通光片照射到摄像头，在黑白摄像头上获取了驾驶员脸部的由红外线反射的图像。该图像输入到视频处理装置进行处理，主要是将人脸图像进行一定比例的缩放定位，将人眼位置算出并切换出来一定像素的人眼图像。然后输入到主控单元，在主控单元中主控制器运行保存在存储器内主控程序，其和疲劳检测算法对人眼图像进行分割，滤掉噪声，二值化后，提取特征分析数据，最终将分析数据与模板库中疲劳模板进行比对，最后通过语音控制装置的扬声器发出报警声音。通过该报警声音提醒货车司机集中精力开车或者选择先休息后再开车，以保证行车安全。

本实施例中，主要特点在通过黑白摄像头摄取由自备的红外线光源照射到驾驶员脸上后反射的图像，并且还经过有通光片滤除杂波，使所获得的人脸图像的特征更加容易提取，使系统能准确定位人眼，对闭合和张开的人眼能准确识别，并根据闭合时间判断疲劳状态，闭合时间可以自定义调整，准确判断人脸（头部）形态，判断人脸朝向，根据人脸朝向不同的角度，判定司机驾驶状态，提示正视驾驶前方。系统能配合车速，形成不同的报警级别；识别的频率高，每秒钟能连续识别超过20次眼部状态；连续驾驶时长控制，结合身份认证和GPS轨迹跟踪实现；疲劳检测判断规则可以根据实际情况手动设定参数，设置灵活方便。

本实施例的驾驶员疲劳检测装置中疲劳检测方法如下：该方法是通过对人的眼睛进行实时检测，通过对人眼闭合的状态，判定被检测人员的疲劳程度；事先或者在使用过程中通过自学习的方式将特定对象疲劳时眼部图像保存在模板库中成为疲劳模板，包括以下步骤：

步骤1、获取人眼图像；

步骤A、利用照明光源照射到被对象的脸部； 

步骤B、获取被对象的脸部反射的脸部图像；

这里照明光源为窄带的红外线或者紫外线；获取脸部图像时，采用黑白摄像头并在黑白摄像头前加入所述的照明光源波长的通光片。

步骤C、将脸部图像进行缩放定位，截取眼部像素形成人眼图像。

步骤2、提取人眼图像的特征分析数据；将人眼图像进行分割，滤掉噪声，二值化后，提取特征分析数据。

步骤3、将特征分析数据与模板库中疲劳模板进行比对判断对象是否处于疲劳状态。

模板库中疲劳模板是通过自学习的方法获取检测对象在疲劳状态时的眼部图像。

利用上面方法检测驾驶员是否疲劳是通过下面的方式进行判断的：

首先定义算法检测结果分类：

（1）闭眼：两个眼睛都闭上。

（2）睁眼：两个眼睛至少有一个眼睛睁开，即左眼睁开、右眼睁开、两两眼睁开。

（3）检测不到人眼：检测到人脸的情况下，检测人眼失败或者检测人眼，但人眼状态检测失败。

（4）检测不到人脸。

其次是定义一个疲劳值：

根据检测结果再结合系统根据状态持续性，自动的进行不同的分数加减。

再次是进入和退出疲劳状态的规则：

疲劳的状态根据疲劳值进行确定；当疲劳值大于某个值时，认为进入疲劳状态；而当疲劳值小于某个值时，认为退出疲劳状态。

最后是设计加减分规则：

较难进入疲劳状态，只有在比较确认疲劳的情况下，才进入疲劳状态，以便尽量减少误检；而一旦进入疲劳状态，只有比较明确不疲劳的情况下，才退出疲劳状态，为了保持疲劳状态的持续性，退出疲劳状态疲劳值小于进入疲劳状态的疲劳值，差值至少可以容下一次睁眼的减分，以避免刚进入疲劳状态后，检测到一个减分选项后，马上退出疲劳状态。

最终汇总

统计过去10次中闭眼次数、睁眼次数、失败次数及其在过去10次中的分布情况。调整本次加减分数值。比如在过去10次中，有7次是闭眼或者有5次为闭眼但闭眼情况比较分散，则本次检测结果为睁眼减去的分数会低于基础分数。检测失败时，根据过程10次的数据及分布，基本上闭眼较多，减去分数较少；而当睁眼情况较多，减去分数较多。在非疲劳状态下，若本次检测为闭眼，且过去10次中检测中有5、6次检测到闭眼且分布比较平均的情况下，将直接进入疲劳状态。

Claims (9)

1.一种疲劳检测方法，其特征在于：该方法是通过对人的眼睛进行实时检测，通过对人眼闭合的状态，判定被检测人员的疲劳程度；其特征在于，事先或者在使用过程中通过自学习的方式将特定对象疲劳时眼部图像保存在模板库中成为疲劳模板，包括以下步骤：

步骤1、获取人眼图像；

步骤2、提取人眼图像的特征分析数据；

步骤3、将特征分析数据与模板库中疲劳模板进行比对判断对象是否处于疲劳状态。

2.根据权利要求1所述的疲劳检测方法，其特征在于：所述的步骤1中是按如下步骤获取人眼图像的：

步骤A、利用照明光源照射到被对象的脸部； 

步骤B、获取被对象的脸部反射的脸部图像；

步骤C、将脸部图像进行缩放定位，截取眼部像素形成人眼图像。

3.根据权利要求2所述的疲劳检测方法，其特征在于：所述的照明光源为窄带的红外线或者紫外线；获取脸部图像时，采用黑白摄像头并在黑白摄像头前加入所述的照明光源波长的通光片。

4.根据权利要求1所述的疲劳检测方法，其特征在于：所述的步骤2中将人眼图像进行分割，滤掉噪声，二值化后，提取特征分析数据。

5.根据权利要求1所述的疲劳检测方法，其特征在于：所述的模板库中疲劳模板是通过自学习的方法获取检测对象在疲劳状态时的眼部图像。

6.一种根据权利要求1所述的疲劳检测方法的装置，其特征在于：包括获取被检测对象脸部图像的脸部图像获取装置、对脸部图像获取装置所获取的脸部图像进行处理获得被检测对象眼部图像的视频处理装置、主控制器和存储有疲劳模板数据库的存储装置；

所述的脸部图像获取装置包括照射到被检测对象脸部的照明光源、正对被检测对象脸部的黑白摄像头、设置在所述的黑白摄像头前的照明光源波长的通光片；

所述的脸部图像获取装置与视频处理装置相连，所述的视频处理装置、存储装置分别与主控制器相连。

7.根据权利要求6所述的装置，其特征在于：所述的照明光源为红外线光源或者紫外线光源。

8.根据权利要求7所述的装置，其特征在于：所述的照明光源为红外线发光二极管。

9.根据权利要求6所述的装置，其特征在于：还包括语音控制装置，所述的语音控制装置安装在被检测对象周围。

Images