CN103273882A

CN103273882A - 汽车驾驶员疲劳状态预判系统

Info

Publication number: CN103273882A
Application number: CN2013102292353A
Authority: CN
Inventors: 不公告发明人
Original assignee: Wuxi Beidou Xingtong Information Technology Co Ltd
Current assignee: NANTONG ELEVATOR PARTS INDUSTRY COMMERCE CHAMBER
Priority date: 2013-06-08
Filing date: 2013-06-08
Publication date: 2013-09-04
Anticipated expiration: 2033-06-08
Also published as: CN104276085B; CN103273882B; CN104276085A

Abstract

本发明涉及一种汽车驾驶员疲劳状态预判系统，包括：图像采集模块、图像预处理模块、疲劳状态预判模块和控制器模块，图像预处理模块连接图像采集模块以对图像采集模块拍摄的面部图像进行模数转换，疲劳状态预判模块根据模数转换后数字图像中的驾驶员眼睛闭合时间判断驾驶员疲劳状态，控制器模块连接疲劳状态预判模块以根据驾驶员疲劳状态进行车速控制和报警操作。通过本发明，能够及时预判到汽车驾驶员的疲劳状态，并将所述疲劳状态快速发送给有关部门，以便于有关部门采取措施，避免事故发生。

Description

汽车驾驶员疲劳状态预判系统

技术领域

本发明涉及监控领域，尤其涉及一种汽车驾驶员疲劳状态预判系统。

背景技术

汽车的发展为人类带来极大的方便，进一步改变了人类的时空观，改善了人们的生活条件。汽车的快速发展也为人类带来了不小的麻烦，例如，能源的耗尽、交通噪声、尾气污染等，如果这些问题属于给人类带来的潜在危机，那么每天发生的交通事故引起的人身伤害和财产损失给人类造成的影响更加直接。

交通事故的肇事原因主要有几个：车辆状况、路况、开车习惯和疲劳驾驶，其中疲劳驾驶导致的事故更惨烈，但也是最容易避免的一个肇事原因，现有的预防疲劳驾驶的方案基本上着重于汽车驾驶员开车前自己的判断，但是往往为了追求经济利益和用车效率，还是有很多睡眠不足或连续开车时间过长的驾驶员上路，在现有技术中，缺乏对这些驾驶员即时状态的检测和报警方案。

因此，需要一种汽车驾驶员疲劳状态预判系统，根据人眼闭合时间反映疲劳程度的特点，通过对汽车驾驶员的眼睛闭合时间的检测，预先判断汽车驾驶员的疲劳程度等级，在较为疲劳或极端疲劳状态下向汽车驾驶员本人、汽车所属单位和驾驶员亲属发出不同等级的报警信息，便于相关单位和个人采取紧急措施，避免交通事故的发生。

发明内容

为了解决上述问题，本发明提供了一种汽车驾驶员疲劳状态预判系统，引入人脸识别模块、人眼定位模块、疲劳状态预判模块，对接收到的人脸图像逐步进行人脸识别、人眼定位和最终的疲劳状态预判，并将判断结果通过音视频信息、无线通信网络发送给相关单位和个人，以在汽车驾驶员疲劳时进行降低车速和即时报警，保障了汽车上乘客的人身和财产安全。

根据本发明的一方面，提供了一种汽车驾驶员疲劳状态预判系统，包括图像采集模块、图像预处理模块、疲劳状态预判模块和控制器模块，图像预处理模块连接图像采集模块以对图像采集模块拍摄的面部图像进行模数转换，疲劳状态预判模块根据模数转换后数字图像中的驾驶员眼睛闭合时间判断驾驶员疲劳状态，控制器模块连接疲劳状态预判模块以根据驾驶员疲劳状态进行车速控制和报警操作。

更具体地，所述汽车驾驶员疲劳状态预判系统进一步包括：所述图像采集模块设置在汽车车内且位于汽车驾驶员位置的上方，进行拍摄以获得驾驶员的面部图像，并输出模拟图像信号，所述模拟图像信号的格式是复合视频广播信号CVBS格式；所述图像预处理模块设置在汽车的仪表盘中，连接所述图像采集模块以接收CVBS格式的模拟图像信号，将CVBS格式的模拟图像信号进行模数转换，获得并输出数字图像信号，所述数字图像信号的格式是8比特位的ITU656YUV4:4:4格式；色度空间转换模块，设置在汽车的仪表盘中，连接所述图像预处理模块以接收8比特位的ITU656YUV4:4:4格式的数字图像信号，将ITU656YUV4:4:4格式的数字图像信号进行色度空间转换，获得RGB888格式的数字图像信号；人脸识别模块，设置在汽车的仪表盘中，连接所述图像预处理模块以接收YUV4:4:4格式的数字图像信号，并根据所述YUV4:4:4格式的数字图像信号进行人脸识别，所述人脸识别具体为，判断所述YUV4:4:4格式的数字图像信号中的像素的像素值是否落在肤色范围内，如果是，则认定为肤色像素，如果否，则认定为非肤色像素，所有的肤色像素组合成人脸图像；人眼定位模块，设置在汽车的仪表盘中，连接所述人脸识别模块以接收人脸图像，并根据人眼部位的像素的像素值中的亮度值偏大的特点，认定人脸图像中的属于人眼部分的像素，所有的人眼像素组合成人眼图像；所述疲劳状态预判模块设置在汽车的仪表盘中，连接所述人眼定位模块以接收所述人眼图像，根据所述人眼图像提取驾驶员眼睛闭合时间，并输出所述驾驶员眼睛闭合时间占所述人眼图像被采样时间的比率；所述控制器模块设置在汽车的仪表盘中，连接所述疲劳状态预判模块，根据用户通过方向盘上的控制按键发出的控制指令进入或退出疲劳状态控制模式，当进入疲劳状态控制模式时，接收所述疲劳状态预判模块输出的所述比率，当所述比率大于等于第一预定阈值时，发出极度疲劳报警信号，当所述比率在第一预定阈值和第二预定阈值之间时，发出中度疲劳报警信号，当所述比率小于等于第二预定阈值时，发出状态正常信号，所述第一预定阈值大于所述第二预定阈值；车速控制模块，设置在汽车的仪表盘中，连接控制器模块以接收极度疲劳报警信号、中度疲劳报警信号或状态正常信号，当接收到极度疲劳报警信号时，控制汽车的行驶速度在每小时20公里，当接收到中度疲劳报警信号时，控制汽车的行驶速度在每小时40公里，当接收到状态正常信号时，不对汽车行驶速度进行控制；无线数据通信模块，设置在汽车的车身上，连接控制器模块和车速控制模块，以通过无线通信网络将极度疲劳报警信号、中度疲劳报警信号、状态正常信号和当前车速发送给汽车所属单位的网络上或发送给汽车驾驶员亲属的手机上；语音播放模块，设置在汽车的仪表盘中，连接控制器模块和车速控制模块，以通过麦克风播放极度疲劳报警信号、中度疲劳报警信号、状态正常信号和当前车速分别对应的语音内容；显示模块，设置在汽车的仪表盘中，连接色度空间转换模块、控制器模块和车速控制模块，显示色度空间转换模块输出的RGB888格式的数字图像信号，并显示与极度疲劳报警信号、中度疲劳报警信号、状态正常信号和当前车速分别对应的文字内容；太阳能供电模块，包括固定在汽车车体以采集太阳能的光伏板，检测汽车自身蓄电池的电量，在汽车自身蓄电池的电量小于预定电量阈值时对图像采集模块、图像预处理模块、色度空间转换模块、人脸识别模块、人眼定位模块、疲劳状态预判模块、控制器模块、车速控制模块、无线数据通信模块、语音播放模块和显示模块供电。

更具体地，所述汽车驾驶员疲劳状态预判系统进一步包括：将语音播放模块和显示模块集成为一个音视频报警模块以进行音视频报警。

更具体地，所述汽车驾驶员疲劳状态预判系统进一步包括：手动供电切换模块，在驾驶员手动操作下切换太阳能供电模块和汽车自身蓄电池的供电。

更具体地，所述汽车驾驶员疲劳状态预判系统进一步包括：无线数据通信模块还通过无线通信网络将极度疲劳报警信号、中度疲劳报警信号、状态正常信号和当前车速发送给当地交管部门的网络上。

附图说明

以下将结合附图对本发明的实施方案进行描述，其中：

图1根据本发明实施方案示出的汽车驾驶员疲劳状态预判系统的结构方框图。

其中，1、图像采集模块；2、图像预处理模块；3、疲劳状态预判模块；4、控制器模块。

具体实施方式

下面将参照附图对本发明的汽车驾驶员疲劳状态预判系统的实施方案进行详细说明。

图1示出根据本发明实施方案示出的汽车驾驶员疲劳状态预判系统的结构方框图。其中汽车驾驶员疲劳状态预判系统包括，图像采集模块1、图像预处理模块2、疲劳状态预判模块3和控制器模块4，图像预处理模块2连接图像采集模块1以对图像采集模块1拍摄的面部图像进行模数转换，疲劳状态预判模块3根据模数转换后数字图像中的驾驶员眼睛闭合时间判断驾驶员疲劳状态，控制器模块4连接疲劳状态预判模块3以根据驾驶员疲劳状态进行车速控制和报警操作。进一步地，所述汽车驾驶员疲劳状态预判系统还包括，所述图像采集模块1设置在汽车车内且位于汽车驾驶员位置的上方，进行拍摄以获得驾驶员的面部图像，并输出模拟图像信号，所述模拟图像信号的格式是复合视频广播信号CVBS格式；所述图像预处理模块2设置在汽车的仪表盘中，连接所述图像采集模块1以接收CVBS格式的模拟图像信号，将CVBS格式的模拟图像信号进行模数转换，获得并输出数字图像信号，所述数字图像信号的格式是8比特位的ITU656YUV4:4:4格式；色度空间转换模块，设置在汽车的仪表盘中，连接所述图像预处理模块2以接收8比特位的ITU656YUV4:4:4格式的数字图像信号，将ITU656YUV4:4:4格式的数字图像信号进行色度空间转换，获得RGB888格式的数字图像信号；人脸识别模块，设置在汽车的仪表盘中，连接所述图像预处理模块2以接收YUV4:4:4格式的数字图像信号，并根据所述YUV4:4:4格式的数字图像信号进行人脸识别，所述人脸识别具体为，判断所述YUV4:4:4格式的数字图像信号中的像素的像素值是否落在肤色范围内，如果是，则认定为肤色像素，如果否，则认定为非肤色像素，所有的肤色像素组合成人脸图像；人眼定位模块，设置在汽车的仪表盘中，连接所述人脸识别模块以接收人脸图像，并根据人眼部位的像素的像素值中的亮度值偏大的特点，认定人脸图像中的属于人眼部分的像素，所有的人眼像素组合成人眼图像；所述疲劳状态预判模块3设置在汽车的仪表盘中，连接所述人眼定位模块以接收所述人眼图像，根据所述人眼图像提取驾驶员眼睛闭合时间，并输出所述驾驶员眼睛闭合时间占所述人眼图像被采样时间的比率；所述控制器模块4设置在汽车的仪表盘中，连接所述疲劳状态预判模块3，根据用户通过方向盘上的控制按键发出的控制指令进入或退出疲劳状态控制模式，当进入疲劳状态控制模式时，接收所述疲劳状态预判模块3输出的所述比率，当所述比率大于等于第一预定阈值时，发出极度疲劳报警信号，当所述比率在第一预定阈值和第二预定阈值之间时，发出中度疲劳报警信号，当所述比率小于等于第二预定阈值时，发出状态正常信号，所述第一预定阈值大于所述第二预定阈值；车速控制模块，设置在汽车的仪表盘中，连接控制器模块4以接收极度疲劳报警信号、中度疲劳报警信号或状态正常信号，当接收到极度疲劳报警信号时，控制汽车的行驶速度在每小时20公里，当接收到中度疲劳报警信号时，控制汽车的行驶速度在每小时40公里，当接收到状态正常信号时，不对汽车行驶速度进行控制；无线数据通信模块，设置在汽车的车身上，连接控制器模块4和车速控制模块，以通过无线通信网络将极度疲劳报警信号、中度疲劳报警信号、状态正常信号和当前车速发送给汽车所属单位的网络上或发送给汽车驾驶员亲属的手机上；语音播放模块，设置在汽车的仪表盘中，连接控制器模块4和车速控制模块，以通过麦克风播放极度疲劳报警信号、中度疲劳报警信号、状态正常信号和当前车速分别对应的语音内容；显示模块，设置在汽车的仪表盘中，连接色度空间转换模块、控制器模块4和车速控制模块，显示色度空间转换模块输出的RGB888格式的数字图像信号，并显示与极度疲劳报警信号、中度疲劳报警信号、状态正常信号和当前车速分别对应的文字内容；太阳能供电模块，包括固定在汽车车体以采集太阳能的光伏板，检测汽车自身蓄电池的电量，在汽车自身蓄电池的电量小于预定电量阈值时对图像采集模块1、图像预处理模块2、色度空间转换模块、人脸识别模块、人眼定位模块、疲劳状态预判模块3、控制器模块4、车速控制模块、无线数据通信模块、语音播放模块和显示模块供电。

其中，人脸识别特指利用分析比较人脸视觉特征信息进行身份鉴别的计算机技术。人脸识别是一项热门的计算机技术研究领域，可以将人脸明暗侦测，自动调整动态曝光补偿，人脸追踪侦测，自动调整影像放大；他属于生物特征识别技术，是对生物体（一般特指人）本身的生物特征来区分生物体个体。人脸识别技术中的最重要的技术是人脸面貌检测，所述面貌检测是指在动态的场景与复杂的背景中判断是否存在面像，并分离出这种面像，一般有下列几种方法：（1）参考模板法，首先设计一个或数个标准人脸的模板，然后计算测试采集的样品与标准模板之间的匹配程度，并通过阈值来判断是否存在人脸；（2）人脸规则法，由于人脸具有一定的结构分布特征，所谓人脸规则的方法即提取这些特征生成相应的规则以判断测试样品是否包含人脸；（3）样品学习法，这种方法即采用模式识别中人工神经网络的方法，即通过对面像样品集和非面像样品集的学习产生分类器；（4）肤色模型法，这种方法是依据面貌肤色在色彩空间中分布相对集中的规律来进行检测；（5）特征子脸法，这种方法是将所有面像集合视为一个面像子空间，并基于检测样品与其在子孔间的投影之间的距离判断是否存在面像。

另外，所述汽车驾驶员疲劳状态预判系统进一步包括：将语音播放模块和显示模块集成为一个音视频报警模块以进行音视频报警。所述音视频报警模块实现原有的语音播放模块和显示模块的功能，以在出现紧急状况时及时播放音视频内容，提醒汽车驾驶员采取紧急措施。

另外，所述汽车驾驶员疲劳状态预判系统进一步包括：手动供电切换模块，在驾驶员手动操作下切换太阳能供电模块和汽车自身蓄电池的供电。这样，汽车驾驶员能够根据观测的太阳能供电模块的电量情况和汽车自身蓄电池的电量情况，方便地在二者之间进行供电电源的选择。

其中，所述汽车蓄电池电能分配系统的汽车蓄电池是铅酸电池，其放电的化学反应是依靠正极板活性物质和负极板活性物质在电解液（稀硫酸溶液）的作用下进行，其中极板的栅架是用铅锑合金制造。在汽车中铅酸电池的作用有（1）启动发动机时，给起动机提供强大的起动电流（一般高达200～600A）；（2）当发电机过载时，可以协助发电机向用电设备供电；（3）当发动机处于怠速时，向用电设备供电；（4）当发电机端电压高于铅蓄电池的电动势时，将一部分电能转变为化学能储存起来，也就是进行充电；（5）蓄电池还是一个大容量电容器，可以保护汽车的用电器。除了铅酸电池，所述汽车蓄电池还可以采用镍镉电池、镍氢电池、锂离子电池、锂聚合物电池等规格。

另外，所述汽车驾驶员疲劳状态预判系统进一步包括：无线数据通信模块还通过无线通信网络将极度疲劳报警信号、中度疲劳报警信号、状态正常信号和当前车速发送给当地交管部门的网络上。所述无线数据通信模块可以是3G通信模块或4G通信模块。

其中，第三代移动通信技术（3rd-generation，3G），是指支持高速数据传输的蜂窝移动通讯技术。3G服务能够同时传送声音及数据信息，速率一般在几百kbps以上。3G是指将无线通信与国际互联网等多媒体通信结合的新一代移动通信系统，目前3G存在四种标准：CDMA2000，WCDMA，TD-SCDMA，WiMAX。3G与2G的主要区别是在传输声音和数据的速度上的提升，他能够在全球范围内更好地实现无线漫游，并处理图像、音乐、视频流等多种媒体形式，提供包括网页浏览、电话会议、电子商务等多种信息服务，同时也要考虑与已有第二代系统的良好兼容性。为了提供这种服务，无线网络必须能够支持不同的数据传输速度，也就是说在室内、室外和行车的环境中能够分别支持至少2Mbps（兆比特/每秒）、384kbps（千比特/每秒）以及144kbps的传输速度（此数值根据网络环境会发生变化）。

其中，4G是第四代移动通信及其技术的简称，是集3G与WLAN于一体并能够传输高质量视频图像且图像传输质量与高清晰度电视不相上下的技术产品。4G系统能够以100Mbps的速度下载，比拨号上网快2000倍，上传的速度也能达到20Mbps，并能够满足几乎所有用户对于无线服务的要求。此外，4G可以在DSL和有线电视调制解调器没有覆盖的地方部署，然后再扩展到整个地区。很明显，4G有着不可比拟的优越性。

采用本发明的汽车驾驶员疲劳状态预判系统，通过图像识别技术将拍摄的图像中的人眼部分识别出来，并借助于眼睛闭合度与疲劳程度相关的特点对人眼部分进行分析，以得出疲劳度预判结果，将疲劳度预判结果本地音视频播放、无线发送到相关单位和个人，用于在危险状况发生时，降低车速并快速通知汽车驾驶员，提高行车的安全性。

可以理解的是，虽然本发明已以较佳实施例披露如上，然而上述实施例并非用以限定本发明。对于任何熟悉本领域的技术人员而言，在不脱离本发明技术方案范围情况下，都可利用上述揭示的技术内容对本发明技术方案作出许多可能的变动和修饰，或修改为等同变化的等效实施例。因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所做的任何简单修改、等同变化及修饰，均仍属于本发明技术方案保护的范围内。

Claims

1.一种汽车驾驶员疲劳状态预判系统，其特征在于，所述预判系统包括：

图像采集模块、图像预处理模块、疲劳状态预判模块和控制器模块，图像预处理模块连接图像采集模块以对图像采集模块拍摄的面部图像进行模数转换，疲劳状态预判模块根据模数转换后数字图像中的驾驶员眼睛闭合时间判断驾驶员疲劳状态，控制器模块连接疲劳状态预判模块以根据驾驶员疲劳状态进行车速控制和报警操作。

2.如权利要求1所述的汽车驾驶员疲劳状态预判系统，其特征在于，还包括：

所述图像采集模块设置在汽车车内且位于汽车驾驶员位置的上方，进行拍摄以获得驾驶员的面部图像，并输出模拟图像信号，所述模拟图像信号的格式是复合视频广播信号CVBS格式；

所述图像预处理模块设置在汽车的仪表盘中，连接所述图像采集模块以接收CVBS格式的模拟图像信号，将CVBS格式的模拟图像信号进行模数转换，获得并输出数字图像信号，所述数字图像信号的格式是8比特位的ITU656YUV4:4:4格式；

色度空间转换模块，设置在汽车的仪表盘中，连接所述图像预处理模块以接收8比特位的ITU656YUV4:4:4格式的数字图像信号，将ITU656YUV4:4:4格式的数字图像信号进行色度空间转换，获得RGB888格式的数字图像信号；

人脸识别模块，设置在汽车的仪表盘中，连接所述图像预处理模块以接收YUV4:4:4格式的数字图像信号，并根据所述YUV4:4:4格式的数字图像信号进行人脸识别，所述人脸识别具体为，判断所述YUV4:4:4格式的数字图像信号中的像素的像素值是否落在肤色范围内，如果是，则认定为肤色像素，如果否，则认定为非肤色像素，所有的肤色像素组合成人脸图像；

人眼定位模块，设置在汽车的仪表盘中，连接所述人脸识别模块以接收人脸图像，并根据人眼部位的像素的像素值中的亮度值偏大的特点，认定人脸图像中的属于人眼部分的像素，所有的人眼像素组合成人眼图像；

所述疲劳状态预判模块设置在汽车的仪表盘中，连接所述人眼定位模块以接收所述人眼图像，根据所述人眼图像提取驾驶员眼睛闭合时间，并输出所述驾驶员眼睛闭合时间占所述人眼图像被采样时间的比率；

所述控制器模块设置在汽车的仪表盘中，连接所述疲劳状态预判模块，根据用户通过方向盘上的控制按键发出的控制指令进入或退出疲劳状态控制模式，当进入疲劳状态控制模式时，接收所述疲劳状态预判模块输出的所述比率，当所述比率大于等于第一预定阈值时，发出极度疲劳报警信号，当所述比率在第一预定阈值和第二预定阈值之间时，发出中度疲劳报警信号，当所述比率小于等于第二预定阈值时，发出状态正常信号，所述第一预定阈值大于所述第二预定阈值；

车速控制模块，设置在汽车的仪表盘中，连接控制器模块以接收极度疲劳报警信号、中度疲劳报警信号或状态正常信号，当接收到极度疲劳报警信号时，控制汽车的行驶速度在每小时20公里，当接收到中度疲劳报警信号时，控制汽车的行驶速度在每小时40公里，当接收到状态正常信号时，不对汽车行驶速度进行控制；

无线数据通信模块，设置在汽车的车身上，连接控制器模块和车速控制模块，以通过无线通信网络将极度疲劳报警信号、中度疲劳报警信号、状态正常信号和当前车速发送给汽车所属单位的网络上或发送给汽车驾驶员亲属的手机上；

语音播放模块，设置在汽车的仪表盘中，连接控制器模块和车速控制模块，以通过麦克风播放极度疲劳报警信号、中度疲劳报警信号、状态正常信号和当前车速分别对应的语音内容；

显示模块，设置在汽车的仪表盘中，连接色度空间转换模块、控制器模块和车速控制模块，显示色度空间转换模块输出的RGB888格式的数字图像信号，并显示与极度疲劳报警信号、中度疲劳报警信号、状态正常信号和当前车速分别对应的文字内容；

太阳能供电模块，包括固定在汽车车体以采集太阳能的光伏板，检测汽车自身蓄电池的电量，在汽车自身蓄电池的电量小于预定电量阈值时对图像采集模块、图像预处理模块、色度空间转换模块、人脸识别模块、人眼定位模块、疲劳状态预判模块、控制器模块、车速控制模块、无线数据通信模块、语音播放模块和显示模块供电。

3.如权利要求2所述的汽车驾驶员疲劳状态预判系统，其特征在于：

将语音播放模块和显示模块集成为一个音视频报警模块以进行音视频报警。

4.如权利要求2所述的汽车驾驶员疲劳状态预判系统，其特征在于，还包括：

手动供电切换模块，在驾驶员手动操作下切换太阳能供电模块和汽车自身蓄电池的供电。

5.如权利要求2所述的汽车驾驶员疲劳状态预判系统，其特征在于：

无线数据通信模块还通过无线通信网络将极度疲劳报警信号、中度疲劳报警信号、状态正常信号和当前车速发送给当地交管部门的网络上。