CN202568277U

CN202568277U - 疲劳检测装置

Info

Publication number: CN202568277U
Application number: CN 201220230067
Authority: CN
Inventors: 刘振宇; 柯丽; 李振田
Original assignee: Shenyang University of Technology
Current assignee: Shenyang University of Technology
Priority date: 2012-05-22
Filing date: 2012-05-22
Publication date: 2012-12-05
Anticipated expiration: 2022-05-22

Abstract

本实用新型提供一种疲劳检测装置，其特征在于：所述装置包视觉检测模块、脉搏信号检测模块、多点压力检测模块和中央处理板；视觉检测模块、脉搏信号检测模块和多点压力检测模块均连接至中央处理板。本实用新型结构合理，判断准确，可以及时的发现驾驶员的疲劳状态，可以大大提高驾车的安全性。

Description

疲劳检测装置

技术领域

本实用新型涉及一种检测设备，尤其涉及一种应用于驾驶员疲劳状态检测的疲劳检测装置。

背景技术

随着汽车产业和汽车消费的快速发展，中国已经步入了汽车社会。 2011年8月16日，美国汽车行业杂志Wardsauto公布目前全球处于使用状态的各种汽车，其中包括轿车、卡车和公共汽车等的总保有量已经突破了10亿辆，美国是世界上最大的汽车拥有国，汽车注册量达2.4亿辆；中国次之，汽车拥有量为7800万辆。我国的汽车销量逐年稳步上升，我们在感叹中国的汽车工业发展如此之快的时候，也不能忽视我国交通事故的数量以及严重性，而且交通事故也在逐年增长。统计数据表明，2007到2009年我国由于疲劳驾驶而导致的死亡人数非常大，约为每年9000人，分别占到了机动车交通肇事总死亡人数的11.35%、10.91%和12.5%^[1]。如果能够对驾驶员的疲劳状态进行自动检测并且及时发出报警，将有效的减少交通事故的发生。现有的疲劳检测方法是多种多样的，但是还没有一种公认的最有效的方法。针对目前的研究现状，将驾驶员疲劳检测方法总体上分为主观和客观这两个方面：主观方法包括主观调查表和驾驶员自我记录方法等，客观方法主要是医学上的方法，比如脑电图方法、眼电图方法、肌电图方法、呼吸气流方法、呼吸效果方法、心电图等方法，这些方法虽然都还相对比较准确，但是由于实际工作环境复杂，而且每个人的生理参数也不同，所以仅根据以上的某一种方法来判断疲劳，检测的结果会不可靠，难以满足实际应用需要。

发明内容

实用新型目的：本实用新型提供一种疲劳检测装置，其目的是解决以往检测疲劳驾驶的方式效果不理想的问题。

技术方案：本实用新型是通过以下技术方案来实现的：

疲劳检测装置，其特征在于：所述装置包视觉检测模块、脉搏信号检测模块、多点压力检测模块和中央处理板；视觉检测模块、脉搏信号检测模块和多点压力检测模块均连接至中央处理板。

视觉检测模块包括广角摄像头和高清广角摄像头，广角摄像头和高清广角摄像头连接至中央处理板；脉搏信号检测模块包括脉搏传感器、两个单片机、无线发送单元和无线接收单元，脉搏传感器通过第一单片机连接至无线发送单元，无线发送单元与无线接收单元无线连接，无线接收单元通过第二单片机连接至中央处理板；多点压力检测模块包括多个压力传感器、串口扩展单元和压力检测单片机，多个压力传感器连接至串口扩展单元，串口扩展单元连接至压力检测单片机，压力检测单片机连接至中央处理板。

优点及效果：本实用新型涉及一种疲劳检测装置，本实用新型主要包括视觉检测模块，脉搏信号检测模块和多点压力检测模块，分别检测人眼和嘴的形态特征、脉搏频率和多点压力值，从而对信息进行多模态融合，在不干扰驾驶员正常工作的情况下，形成一套利用多个疲劳特征的算法，该多模态疲劳检测系统中视觉检测模块为最主要的参考标准，因为它可以最直观的反映出驾驶员的疲劳情况，而且说服力最大，所以我们将视觉检测模块的权值拟设定为70%，而辅助的脉搏检测模块和多点压力检测模块对于系统来说不能起到决定作用，我们将它们拟定为15%，而后我们根据各模块的综合疲劳值来判断驾驶员是否疲劳，当判断出驾驶员处于疲劳状态时，系统发出报警。

本实用新型可以快速、准确的识别人的疲劳状态，并及时提醒驾驶员，很好的解决了以往的检测方式所存在的问题，大大降低了因疲劳驾驶造成的影响。

附图说明：

图1为本实用新型的结构框图；

图2为本实用新型的检测原理框图；

图3为本实用新型的睁眼积分投影图；

图4为本实用新型的闭眼积分投影图。

具体实施方式：下面结合附图对本实用新型做进一步的说明：

如图1所示，本实用新型提供一种疲劳检测装置，其所述装置包视觉检测模块、脉搏信号检测模块、多点压力检测模块和中央处理板；视觉检测模块、脉搏信号检测模块和多点压力检测模块均连接至中央处理板。

视觉检测模块包括广角摄像头和高清广角摄像头，广角摄像头和高清广角摄像头连接至中央处理板；脉搏信号检测模块包括脉搏传感器、两个单片机、无线发送单元和无线接收单元，两个单片机分为第一单片机和第二单片机，脉搏传感器通过第一单片机连接至无线发送单元，无线发送单元与无线接收单元无线连接，无线接收单元通过另一个单片机连接至中央处理板；多点压力检测模块包括多个压力传感器、串口扩展单元和压力检测单片机，多个压力传感器连接至串口扩展单元，串口扩展单元连接至压力检测单片机，压力检测单片机连接至中央处理板。

下面详细介绍一下本实用新型的原理：

我们将总的疲劳程度量化为0～100,0为最清醒，100为最疲劳。系统根据各模块的权值得到疲劳程度的量化总值来综合判断驾驶员的疲劳状态。试验中系统将30秒作为一个判断周期，我们暂时规定30秒内获得的综合疲劳量化总值大于70时，就判断驾驶员处于疲劳状态。综合疲劳量化总值这样计算：我们将每个模块各自的疲劳程度同样量化为0~100，对于视觉模块，每3秒检测一次，在一个疲劳判定周期30秒内需要检测10次，因此每次视觉检测出疲劳状态时其视觉疲劳量化值为10，若在30秒内检测出n（n≤10）次疲劳状态，则视觉检测模块带来的疲劳程度量化总值为w1 = 10×n×70%；若通过脉搏检测模块检测到疲劳状态，则其疲劳量化总值为 w2 = 100×15% = 15，若未通过脉搏检测模块检测到疲劳则w2 = 0；而压力检测模块的疲劳程度由5个通道检测结构构成，因此，当检测到任意一个压力通道有疲劳情况时，其疲劳程度量化值为20，若k（k≤5）个通道检测出疲劳状态，其疲劳量化总值为w3 = 20×n×15%。因此本系统最终获得的疲劳程度量化总值为 w = w1 + w2 + w3。目前我们规定当w≥70时，即判定为疲劳状态。

当未到30秒而视觉检测模块检测出疲劳，系统发出普通警告，同时车内会播放音乐来提示驾驶员已经有疲劳的趋势了，要注意行车安全；而每到30秒，系统将三个检测模块的综合数据进行分析，当综合判断出疲劳状态后，系统便会发出严重报警直到驾驶员去处理报警这个严重警报才会解除。

视觉检测模块：

眼睛和嘴的信息被认为是最能反映人疲劳与否的标准，所以视觉检测模块是此多模态疲劳检测系统中权值最大的。该模块主要应用机器视觉和图像处理的方法实时的检测驾驶员的疲劳状态，先利用广角摄像头和高清广角摄像头采集驾驶员的图像，将信息传递给中央处理板，在中央处理板内利用肤色检测和腐蚀膨胀的方法确定驾驶员脸部的位置，再利用灰度积分投影和平滑曲线相结合的方法确定眼睛和嘴的位置，当眼睛和嘴的精确位置确定后，本系统采用了自适应阈值二值化图像和区域生长相结合的方法进行预处理，再确定眼睛和嘴的开闭状态，从而进行疲劳状态的判断。在人眼位置根据预处理图像可以计算出眼睛的张开程度和宽度，得出眼睛的纵横比与正常状态下相比较，如果小于一个标准值，则判断为闭合，如果闭合时间大于一定时间，则判断为疲劳状态。同理，在嘴的位置根据预处理图像计算出嘴的纵横比，将这个比值与正常值相比较来判断此人是否在打哈欠。眼、嘴的动作最能体现一个人的疲劳情况，因此，视觉检测模块获得的疲劳情况在本系统中的权值为70%。

视觉检测模块实现方法

视觉检测模块选用基于肤色模型的方法进行人脸检测，该方法要求颜色空间的聚类效果好，基本不受亮度影响，所以选择了聚类型性较好的YCbCr空间。然后根据先验知识知道眼睛在脸部区域的大概位置。我们截取适当的人脸灰度图像区域进行水平积分投影。人眼区域的像素灰度值相对皮肤来说较低，将投影后表现出来的曲线根据情况进行适当次数的平滑处理，这样就可以滤除曲线上影响特征目标坐标的干扰，得到比较容易分析的投影曲线，从而大致定位出人眼的位置，然后再对人眼的大致灰度图像进行垂直投影和平滑曲线的组合操作，最后就能精确的定位出人眼的位置。这种基于灰度积分投影与平滑曲线相结合的人眼检测方法计算量小，速度快，精度高。

然后采用积分投影和区域生长相结合的方法检测眼睛和嘴的状态。在精确定位眼睛的基础上，采用自适应阈值的方法对眼睛图像进行二值化，但是自适应阈值分割后的图像在眉毛、眼球、眼镜处呈黑点，区别于周围肤色的白点，要得到眼球的位置、大小需要对二值化的图像进行分割。这里选择眼睛为中心，并且通过区域生长的方法获得眼球的连通域，从而有效的滤除了眼镜、眉毛的连通域的影响。眼睛的状态图像经过预处理以后，采用积分投影的方法来寻找眼睛的边缘，从而确定眼睛的睁开程度及宽度，进而计算纵横比。睁眼和闭眼的积分投影图如图3和4所示。图3和4中，A为左边缘，B为右边缘，C为上边缘，D为下边缘。

根据眼睛积分投影图可以计算出此时的纵横比，根据PERCLOS的P80标准，系统认为当眼睛纵横比大于眼睛睁开最大程度的20%时，状态为睁眼，反之则为闭眼。在本系统中对嘴疲劳状态的判断同样采用积分投影计算纵横比的方法，当人疲劳时，会有打哈欠的动作，系统认为嘴的纵横比大于嘴张开最大程度的80%时，状态为打哈欠，而人在正常状态以及说话的情况下，嘴张开的程度一般不会超过嘴部纵横比的80%，所以系统不会误判此种情况。

本模块的检测实验是在白天正常光照下的室内完成的，通过摄像头采集被测者的视频序列，采样率为25帧/秒。人在疲劳时眨眼的速度会明显变慢，眼睛闭合睁开需要1秒左右的时间甚至更长，与此同时，会伴随着打哈欠的动作，而在正常状态下，闭眼一次只需要0.2～0.3秒。所以本模块采用每3秒计算一次PERCLOS值的方法，这里的PERCLOS值包括两个部分，分别是眼睛和嘴的疲劳状态判断，即是计算这3秒75帧中判断为疲劳的帧数占总帧数的百分比，本模块分别计算这75帧图像中眼睛被判断为闭眼的帧数和嘴巴被判断为张嘴的帧数，然后分别计算出眼睛和嘴被判断为疲劳的帧数占总帧数的比率，本模块软件设定为眼睛的PERCLOS值大于0.4即为眼睛状态疲劳，嘴巴的PERCLOS值大于0.8即为嘴的状态疲劳，因为这里考虑驾驶员在说话的时候有被误判的情况，所以适当调整嘴巴疲劳判断的PERCLOS值大小。当眼睛疲劳和嘴巴疲劳这两种情况有一种满足时，本模块软件就认为这3秒钟驾驶员处于疲劳状态。

脉搏信号检测模块

人在疲劳时脉搏的频率会明显变慢。我们通过PVDF脉搏传感器采集脉搏信号，模拟的脉搏信号经过第一单片机的调理电路变为周期不等的方波，再通过无线发送单元发送出去，该信号由无线接收单元接收之后再通过第二单片机传输至做为上位机的中央处理板，上位机计算一段时间内周期不等的方波信号的平均周期，进而得到驾驶员的瞬时脉搏频率，再与该驾驶员正常的脉搏频率比较，当检测倒脉搏变慢时，系统会认为驾驶员有疲劳的趋势。本模块采用nRF905无线通信模式，工作频率300～1000MHz可调，而且辐射低，功耗小，操作方便，不影响驾驶员正常操作。由于此模块采用接触式测量，且对个人依赖程度较大，所以脉搏检测模块在本系统中权值大约为15%。

脉搏检测模块实现方法

本模块分为数据发送模块和接收模块，主要就是根据比较脉搏的实时频率与正常频率的快慢，当驾驶员产生疲劳时表现为脉搏的变慢。因为每个人的身体状况不同，所以脉搏的频率也就不同，当驾驶员刚开始驾驶汽车时一般是非疲劳状态，可以认为这段时间内测量的脉搏频率的平均值是驾驶员的正常脉搏频率，而脉搏的实时频率即是每30秒内测量脉搏频率的二倍，当脉搏的实时频率低于正常频率一定数值时，本模块即认为该驾驶员处于疲劳状态，并将其疲劳量化总值置为15。而这个一定数值的确切值需要医学上给以证明。

多点压力检测模块

人在疲劳时身体会感到倦怠，反映为相对位置较长时间不动，因此我们设计通过检测压力判断驾驶员是否处于疲劳状态。本检测模块采用了实时读取串口缓冲区数据并且实时分析的方法，将多个压力传感器放置在座椅上驾驶员能够接触的位置，采集的信号通过串口扩展单元和压力检测单片机传输至中央处理板，然后本实用新型将获取多个通道的压力值进行平滑处理，这样可以消除掉汽车运动中所带来的干扰，我们实时的分析每个通道的压力值，当发现有通道的波形曲线为平坦时，计算出压力模块的疲劳参数值，最后通过本模块的权值计算出综合疲劳值，再与其他两个模块的综合疲劳值相整合，来综合判断驾驶员的疲劳状态。由于驾驶员个体间的差异及不确定性，多点压力检测模块在本系统中权值设定为15%。

多点压力检测模块实现方法

本模块检测方法是在驾驶员的座椅上安装5个或其他个数的压力传感器，利用5个或其他个数的通道实时采集这5个活其他个数位置的压力值，并在软件界面上实时画出压力的波形曲线。当驾驶员产生疲劳时表现为身体长时间的不动，这样5个波形曲线就是平坦的状态。因此通过分析这5个位置的实时曲线形态可以获得驾驶员的疲劳状态：当在30秒内检测到某个通道的压力波形曲线为平坦，就认为此通道产生疲劳状态。

实验结果分析

在实验室白天正常光照的情况下，对5名检测对象进行模拟疲劳分析。我们对每位检测对象都采集共30分钟的视频，而每30秒综合判断一次疲劳状态，这30分钟的视频时间共包括60个阶段，即为60个状态。我们人为规定被检测者每300秒中的前150秒时间保持为正常状态，后150秒时间模拟疲劳状态，即频繁的眨眼、长时间闭眼或者伴随着打哈欠。由于很难模拟人疲劳时的脉搏情况，所以在这里的脉搏模块疲劳值人为的设定为困倦时候的疲劳值的最大值。某位被检测者300秒内的测试数据如表1所示，当疲劳程度量化总值w≥70时系统判定为疲劳状态。

表1 某位被检测者300秒测试数据

Table1 Result data of one person in 300 seconds

Figure 2012202300670100002DEST_PATH_IMAGE002

表2 系统检测结果数据

Table2 Result data of the system

从表2的结果数据可以看出被检测对象2号和5号的正确率较低，因为被检测对象2号的部分长头发遮盖住了眼睛区域，而被检测对象5号佩戴了眼镜，所以对系统的检测结果造成了一定的影响。通过以上数据我们可以看到系统比较准确地判断出了被测对象的疲劳程度。

综上所述，本实用新型结构合理，判断准确，可以及时的发现驾驶员的疲劳状态，可以大大提高驾车的安全性。

Claims

1.疲劳检测装置，其特征在于：所述装置包视觉检测模块、脉搏信号检测模块、多点压力检测模块和中央处理板；视觉检测模块、脉搏信号检测模块和多点压力检测模块均连接至中央处理板。

2.根据权利要求1所述的疲劳检测装置，其特征在于：视觉检测模块包括广角摄像头和高清广角摄像头，广角摄像头和高清广角摄像头连接至中央处理板；脉搏信号检测模块包括脉搏传感器、两个单片机、无线发送单元和无线接收单元，脉搏传感器通过第一单片机连接至无线发送单元，无线发送单元与无线接收单元无线连接，无线接收单元通过第二单片机连接至中央处理板；多点压力检测模块包括多个压力传感器、串口扩展单元和压力检测单片机，多个压力传感器连接至串口扩展单元，串口扩展单元连接至压力检测单片机，压力检测单片机连接至中央处理板。