CN202257856U - 驾驶员疲劳驾驶监控装置 - Google Patents

Abstract

本实用新型公开了一种驾驶员疲劳驾驶监控装置，包括摄像头、车载传感器和车载终端，所述车载终端包括人脸识别装置、驾驶员疲劳驾驶监控模块、中央处理器、3G通讯模块和显示屏，摄像头的信号输出端与人脸识别装置的信号输入端连接，人脸识别装置的第一通讯端口与中央处理器的人脸识别通讯端口连接，车载传感器的信号输出端与中央处理器的车辆信息输入端连接，驾驶员疲劳驾驶监控模块的两个通讯端口分别与人脸识别装置的第二通讯端口和中央处理器的疲劳监控通讯端口连接，3G通讯模块的有线通讯端口与中央处理器的3G通讯端口连接，显示屏的信号输入端与中央处理器的视频信号输出端连接。使用本实用新型可避免因驾驶员疲劳驾驶引发的事故。

Description

驾驶员疲劳驾驶监控装置

技术领域

本实用新型涉及一种驾驶监控装置，尤其涉及一种驾驶员疲劳驾驶监控装置。

背景技术

目前，汽车工业的发展为广大人民的生活带来了极大的方便。但同时，汽车所引起的社会问题也随之而来。机动车辆与日俱增，交通安全越来越受到世人的关注。由于超速和疲劳驾驶引发的交通事故数量不断上升。据美国国家公路交通安全管理局保守估计，每年因疲劳驾驶导致的车祸至少达10万起；法国国家警察总署事故报告表明，因疲劳驾驶导致的意外占人身伤害事故的14.9％；我国因疲劳驾驶而造成的交通事故占事故总数的20％左右，占特大交通事故的40％以上，占交通事故死亡率的83％。由此可见，疲劳驾驶已成为一个严重的交通安全问题。针对疲劳驾驶，我国2004年5月1日实行的《中华人民共和国道路交通安全法》中规定“驾驶员连续驾驶时间不得超过4小时”。因此，怎样准确、有效地判断驾驶员的身份、监测其疲劳程度，如何有效地利用科技手段预防疲劳驾驶，是当前亟需解决的问题。

目前对驾驶员身份识别及疲劳驾驶的控制方式主要通过IC卡、RFID卡以及指纹识别，但均需在驾驶员高度自觉、车辆管理方规范化管理的情况下才能发挥作用。

鉴于疲劳驾驶的危害性，国内外都在进行疲劳驾驶监控与预防的研究，目前检测疲劳驾驶的方法主要有三种：

1)、监测司机个体行为特征，如眼睑的活动，点头的动作，闭眼，握力等；

2)、监测司机的生理信号，如心电图、脑电图、肌肉活动情况等；

3)、监测车辆参数，如速度、加速度等。

在监测车辆参数的研究方向上，曾提出过基于LIN总线的疲劳驾驶综合测试系统；国外各大汽车生产厂商也针对此研究方向做出了大量的研究，并已经有相关的系统应用到相关的高端车型上。但由于这种检测车辆参数方法误判率高、预警性也并不理想，近年来已经不是主流的研究方向。

在监测司机的生理信号的研究方向上，此种检测方式实施成本高，目前国内有关的研究较少。

监测司机个体行为，已经成为现阶段疲劳驾驶检测的主要研究方向，其研究方向是基于PERCLOS法，即通过判断Percentage of Eye Closure值(眼睛闭合时间占某特定时间的百分率)，来判定疲劳驾驶。目前在此研究方向上可实现的硬件平台有PC、ARM、FPGA以及DSP等，虽然近年来在FPGA以及DSP上的研究逐渐增多，但多数研究停留在PC平台上。大连理工大学的赵巧云已经提出了基于FPGA的PERCLOS法平台。在实现算法上，美国卡内基梅隆大学的Grace，R.Byrne提出了基于神经网络的PERCLOS值判定算法；国内中南大学的杨秋芬、桂卫华等也提出了基于ICA算法结合隐马尔可夫模型(HMM)的PERCLOS值判定算法。

以上相关领域的研究主要集中在基于视频信号的驾驶人面部生理特征的研究方面，而且目前各种算法在识别精度、可靠性、实时性等基础性能方面尚存在一定的问题，急需完善。

发明内容

本实用新型的目的就在于为了解决上述问题而提供一种驾驶员疲劳驾驶监控装置，这种装置可有效解决驾驶员身份的识别与监控并限制驾驶员超时驾驶的问题。

本实用新型通过以下技术方案来实现上述目的：

本实用新型包括摄像头、车载传感器和车载终端，所述车载终端包括人脸识别装置、驾驶员疲劳驾驶监控模块、中央处理器、3G通讯模块和显示屏，所述摄像头的信号输出端与所述人脸识别装置的信号输入端连接，所述人脸识别装置的第一通讯端口与所述中央处理器的人脸识别通讯端口连接，所述车载传感器的信号输出端与所述中央处理器的车辆信息输入端连接，所述驾驶员疲劳驾驶监控模块的两个通讯端口分别与所述人脸识别装置的第二通讯端口和所述中央处理器的疲劳监控通讯端口连接，所述3G通讯模块的有线通讯端口与所述中央处理器的3G通讯端口连接，所述显示屏的信号输入端与所述中央处理器的视频信号输出端连接。

具体地，所述人脸识别装置包括人脸定位模块、人脸特征提取模块、眼疲劳识别模块和数据库管理模块。

具体地，所述驾驶员疲劳驾驶监控模块包括疲劳驾驶即时报警及记录模块、临时驾驶即时报警及记录模块、非在职驾驶报警及记录模块、疲劳驾驶报表统计及分析模块和疲劳驾驶远程监控模块。

本实用新型采用先进的图像识别技术监测驾驶员个体的特征，如眼睑的活动、点头的动作、闭眼等多项生物行为特征。在对驾驶员行为进行监控时，利用摄像头提取连续的眼部图像特征数据，进行动态局部特征分析，确定驾驶员持续闭眼时间，由于正常情况下人眼睑持续闭合时间与疲劳状态下的闭眼持续时间有着明显的差异，从而可以判断出驾驶员的疲劳状态。通过获取驾驶员脸部特征，追踪多幅正面脸部特征图像来判断驾驶员是否驾驶疲劳。所有这些数据与控制系统相连接并完成所有数据记录。一旦驾驶员出现疲劳状态或者超时驾驶，系统将声光报警和语音提示。

本实用新型的有益效果在于：

通过对驾驶员身份的识别与监控并限制驾驶员超时驾驶，本实用新型能够有效防止因驾驶员疲劳驾驶而引发交通安全事故。

附图说明

图1是本实用新型的整体结构框图；

图2是本实用新型中人脸识别装置的结构框图；

图3是本实用新型中驾驶员疲劳驾驶监控模块的结构框图；

图4是本实用新型中眼睛睁开度与时间的坐标分析示意图；

图5是本实用新型中驾驶员疲劳驾驶监控模块的工作流程示意图。

具体实施方式

下面结合附图对本实用新型作进一步说明：

如图1所示，本实用新型包括摄像头、车载传感器和车载终端，所述车载终端包括人脸识别装置、驾驶员疲劳驾驶监控模块、中央处理器、3G通讯模块和显示屏，摄像头的信号输出端与人脸识别装置的信号输入端连接，人脸识别装置的第一通讯端口与中央处理器的人脸识别通讯端口连接，车载传感器的信号输出端与中央处理器的车辆信息输入端连接，驾驶员疲劳驾驶监控模块的两个通讯端口分别与人脸识别装置的第二通讯端口和中央处理器的疲劳监控通讯端口连接，3G通讯模块的有线通讯端口与中央处理器的3G通讯端口连接，显示屏的信号输入端与中央处理器的视频信号输出端连接。

如图2所示，人脸识别装置包括人脸定位模块、人脸特征提取模块、眼疲劳识别模块和数据库管理模块。

如图3所示，驾驶员疲劳驾驶监控模块包括疲劳驾驶即时报警及记录模块、临时驾驶即时报警及记录模块、非在职驾驶报警及记录模块、疲劳驾驶报表统计及分析模块和疲劳驾驶远程监控模块。

如图1所示，人脸识别装置的体积小，可安装于驾驶室内驾驶台上，不影响驾驶员的正常驾驶活动。人脸识别装置与摄像头相连接，实时获取驾驶员的面部信息、情绪活动、持续闭眼时间和持续驾驶时间等疲劳数据，确定驾驶员的身份，并实时跟踪驾驶员的驾驶状态，计算连续驾驶时间，同时判断驾驶员是否处于疲劳状态。一旦驾驶员超时驾驶或出现疲劳状态，该人脸识别装置即会对驾驶员进行声光报警和语音提示。该装置通过3G通信模块与驾驶员疲劳驾驶监控系统相连接，实时向监控系统上传和接收信息。

本实用新型驾驶员疲劳驾驶监控装置主要实现以下几点主要功能：

1、超时驾驶即时报警及记录；

2、疲劳驾驶即时报警及记录；

3、非在职驾驶员开车报警及记录；

4、疲劳驾驶远程监控；

5、疲劳驾驶报表统计及分析。

为了实现上述主要功能，本实用新型中的车载终端的内部系统支撑结构包括：

人脸定位技术：

采用一种融入彩色梯度特征的方法来改进原始的主动形状模型算法ASM(主动形状模型：Active Shape Model，缩写为ASM，ASM是一种物体形状描述技术，是Cootes提出的用于解决图像中的目标搜寻的形状统计模型，被广泛应用于医学图像处理、数字图像理解和计算机视觉等领域。)，并在IMM人脸库上进行对比实验，实验结果表明改进的算法性能较原始ASM算法有大幅提高。

ASM的思想最早可以追溯到1987年Kass等人提出的snake方法，该方法主要用于边界检定与图像分割。1989年，Yuille等人提出使用参数化的可变形模板来代替snake模型。1995年，Cootes等人提出ASM算法，ASM采用参数化的采样形状来构成对象形状模型，并利用PCA方法建立描述形状的控制点的运动模型，最后利用一组参数组来控制形状控制点的位置变化，从而逼近当前对象的形状。

ASM的基本思想是选取一组训练样本，用一组特征点来描述样本的形状，然后对各样本的形状进行配准使得形状尽可能地相似，对这些配准后的形状向量利用主分量分析方法进行统计建模得到物体形状的统计学描述，最后利用建立的模型在新的图像中搜索物体轮廓，从而定位出目标物体。ASM依靠一个由人工标定特征点的训练集来得到一个平均的人脸形状(Mean Shape)之后，在平均形状点的邻接区域进行搜索得到目标形状(Shape)。

由ASM训练得到的平均形状模型能很好地覆盖各种人脸几何外形子空间，具有较高的定位精度；同时，采用灰度和梯度信息指导形状模型收敛速度也较快，并且可以提高收敛的概率。

人脸特征提取技术：

采用动态局部特征分析技术(Dynamic Local Feature Analysis，DLFA)识别人脸特征，并结合多光源条件的人脸识别技术与识别算法，将脸形和人脸皮肤肌理(即肤纹)两种信息组合再用局部特征分析(LFA)算法来比对、统计脸部多个特征点。

动态局部特征分析技术，首先进行人脸照片的预处理，目的是为了去除照片过高的噪声，将输入的人脸照片用边缘适应检测的方法转换成二进位的照片，再提取出人脸皮肤肌理，然后使用局部特征分析方法来处理脸部的边缘阴影和肤纹，从而识别人脸。

局部特征分析算法：

局部特征分析技术是由洛克菲勒大学(Rockefeller University)的艾提克(Atick)等人提出的。LFA在本质上是一种基于统计的低维对象描述方法，与只能提取全局特征而且不能保留局部拓扑结构的PCA相比，LFA在全局PCA描述的基础上提取的特征是局部的，并能够同时保留全局拓扑信息，从而具有更佳的描述和判别能力。

局部特征分析(LFA)是一种用局部特征表示的类似于搭建积木统计的技术，基于所有的人脸都可由很多简化的结构单元块综合而成。LFA使用32到50个单元块区域来辨别一个人脸，选用的最通常的点包括鼻子、眼睛、嘴巴和特定的骨骼曲率差，如脸颊。这些单元块是使用复杂的统计技术而形成的，它们代表了整个人脸，通常跨越多个像素并代表了普遍的脸部形状，但并不是通常意义上的脸部特征。要确定一个人脸不仅仅取决于特性单元块，还决定于它们的几何结构(如形状和相关位置)。通过这种方式，LFA将人脸的特性对应为一种复杂的数字表达式，就可以进行人脸识别了。

眼疲劳识别技术：

采用PERCLOS原理确定眼疲劳驾驶。PERCLOS(Percent eye Closure)是指在一定的时间内眼睛闭合时所占的时间比例。实验表明，眼睛闭合时间的长短与疲劳程度有密切关系，驾驶员眼睛闭合时间越长，疲劳程度越严重。因此可以通过测量眼睛闭合长短来确定驾驶疲劳的程度。在具体试验中有P70，P80和EM三种判定标准，分别表示在特定时间内瞳孔被眼睑遮盖面积超过70％、80％以及平均值的百分率，其中P80与客观疲劳程度的相关系数最大。

眼睛定位和状态检测是PERCLOS判断方法的根本所在。在检测出人脸的基础上，可以判断眼睛大概位于脸部的上半部分。然后应用基于水平投影法和Hough查找圆法的眼睛状态识别方法，即先用二值化水平投影法进行眼睛状态识别，再用Hough变换查找眼珠的方法，最后用Hough变换查找眼睛上眼睑的方法对眼睛的状态进行识别，来判定眼睛是睁开还是闭合，这样可缩短计算时间，并且提高人眼状态识别的精确度和鲁棒性。最后由连续的图像序列，就可以计算出PERCLOS值。

在实际驾驶中，连续检测司机的PERCLOS和眼睛持续闭合时间，如果有，就判定该司机处于疲劳状态，必须对其警告，甚至强行刹车。

基于SOA应用架构技术：

面向服务的体系结构SOA是一个组件模型，它将应用程序的不同功能单元通过这些功能单元之间定义良好的接口和契约联系起来。将系统中地理分析、数据通讯传输、业务应用分析等关键应用以服务方式进行封装，以Web服务的方式向内部系统与外围相关系统提供数据与功能服务。利用服务对象数据(Service Data Object，SDO)使用统一的抽象代替了传统的数据访问模型来创建、检索、更新和删除供服务实现使用的业务数据。

系统应用由松耦合的服务构成，由灵活的运行时业务流程实现弹性应用，最终实现可以满足不断变化的业务需求的、灵活的SOA应用基础设施。

基于决策图的Web数据库访问优化技术：

这种基于图形结构的优化方法借助了香农信息论手段，能够减少数据访问的时间，实现对大型数据库的快速查询，降低数据库的设计成本。经测试，获得100000个数据库连接，平均用时4.88毫秒。

本监控装置的内部系统是基于一种交互式查询，通过查询用户可以确定Web数据库信息中的特定资源。在产生一个查询式时，基本的准则是用户能够通过较少的选择性提问，最快地获得所期望的结果。因此，采用什么样的查询序列是提高数据库访问性能的关键。决策图优化策略的基本思想是：预先将Web数据库转化为一般的决策表；再运用信息论的观点，计算各决策变量的熵值，按熵值大小选择决策变量，构造相应的决策图；最后，根据决策图生成查询序列。这种对数据库访问优化的过程。

基于PERCLOS原理的眼睛状态的计算：

PERCLOS的原理是：测量在一定的时间内眼睛闭合时间所占的比例。

眼睛状态计算的测量原理如图4所示，大量的实验结果显示眼睛闭合时间的长短与疲劳程度之间有着密切关系，驾驶员眼睛闭合的时间越长，疲劳程度越严重。PERCLOS被公认为是检测人类疲劳或警觉性最可靠和最有效的方法，而PERCLOS系列算法中的P80与驾驶疲劳程度的相关性最好。通常PERCLOS方法有三种标准。

(1)P70：指眼睑遮住瞳孔的面积超过70％就计为眼睛闭合，统计在一定时间内眼睛闭合时所占的时间比例。

(2)P80：指眼睑遮住瞳孔的面积超过80％就计为眼睛闭合，统计在一定时间内眼睛闭合时所占的时间比例。

(3)EM：指眼睑遮住瞳孔的面积超过一半就计为眼睛闭合，统计在一定时间内眼睛闭合时所占的时间比例。

实验结果显示P80与疲劳发展程度的相关性较好，所以本项目经过眼睛状态识别确定眼睛是睁开还是闭合的；定义眼睑遮住瞳孔的面积超过80％就计为眼睛闭合，统计在一定时间内眼睛闭合时所占的时间比例。P80大于0.4时则认为驾驶员处于疲劳状态，并提出相应警告。

报警机制：

本实用新型驾驶员疲劳驾驶监控装置的内部系统通讯模式采用UDP/TCP相结合的方式，将报警信息采用UDP专门通道传输，保证数据传输的及时性。此外，终端机与系统服务器拥有专门的指令转发模块，且建立完备的转发提示机制与自动补包方式，保证信息转发的准确性。另一方面，系统具有疲劳驾驶即时报警、超时驾驶即时报警、非在职驾驶员开车报警等一系列报警功能，提升安全驾驶能力。另外，在本系统中采用SOA架构，SOA是与技术无关的。在系统环境中，每一个功能都被定义为独立的服务，它们都具有良好定义的调用接口，可以按照业务流程需要的顺利被依次调用。这样实现两个最关键的特性：首先，服务是真正独立的；其次，它们是可管理的。

另外，为了准确地识别驾驶员并判断驾驶员是否疲劳，采用了如下的算法流程：

如图5所示：算法启动时，系统从视频序列按顺序取一帧图像，进行人脸检测，然后根据需要再进行特征提取与人眼定位。特征提取后与图像数据库对应ID的图像对比确认，当采集的图像与数据库对应ID的图像不匹配时即发生非在职驾驶员开车，则触发报警系统。反之，如果为在职驾驶员，则继续具体定位眼睛，用PERCLOS原理确定是否为疲劳驾驶，若满足疲劳条件，则触发报警系统。反之，则系统继续取下一帧进行跟踪检测。

人脸检测问题是预警系统的第一步，也是关键一步，人脸定位检测失败将导致后面工作无法进行。事实上，对大多数方法而言，人脸的检测过程也就是人脸特征识别的生成过程，而且检测算法也是与识别算法密切相关的。而人脸关键特征点的自动标定目的是检测人眼，根据人眼坐标把人脸图像归一化。

本项目采用主动形状模型(Active Shape Model，ASM)算法进行人脸定位检测。其基本思想是对训练失败的训练样本赋以较大的权值，让学习算法在后续的学习中集中对比较困难的训练样本进行学习，最后将挑选出的若干个训练样本加权相加。同时，采用动态局部特征分析技术(Dynamic Local FeatureAnalysis，DLFA)识别人脸特征，并结合多光源条件的人脸识别技术与识别算法对人脸图像进行分析和理解。

综上，本实用新型采用先进的图像识别技术监测驾驶员个体的特征，如眼睑的活动、点头的动作、闭眼等多项生物行为特征。在对驾驶员行为进行监控时，利用摄像头提取连续的眼部图像特征数据，进行动态局部特征分析，确定驾驶员持续闭眼时间，由于正常情况下人眼睑持续闭合时间与疲劳状态下的闭眼持续时间有着明显的差异，从而可以判断出驾驶员的疲劳状态。通过获取驾驶员脸部特征，追踪多幅正面脸部特征图像来判断驾驶员是否驾驶疲劳。所有这些数据与控制系统相连接并完成所有数据记录。一旦驾驶员出现疲劳状态或者超时驾驶，系统将声光报警和语音提示。通过对驾驶员身份的识别与监控并限制驾驶员超时驾驶，能够有效防止因驾驶员疲劳驾驶而引发交通安全事故。

如熟悉此技术的人员所了解的，以上所述本实用新型的较佳实施例仅用于帮助了解本实用新型的实施，本实用新型不限于上述实施方式，本领域普通技术人员所做出的对上述实施方式任何显而易见的改进或变更，都不会超出本实用新型的构思和所附权利要求的保护范围。

Claims (3)

1.一种驾驶员疲劳驾驶监控装置，其特征在于：包括摄像头、车载传感器和车载终端，所述车载终端包括人脸识别装置、驾驶员疲劳驾驶监控模块、中央处理器、3G通讯模块和显示屏，所述摄像头的信号输出端与所述人脸识别装置的信号输入端连接，所述人脸识别装置的第一通讯端口与所述中央处理器的人脸识别通讯端口连接，所述车载传感器的信号输出端与所述中央处理器的车辆信息输入端连接，所述驾驶员疲劳驾驶监控模块的两个通讯端口分别与所述人脸识别装置的第二通讯端口和所述中央处理器的疲劳监控通讯端口连接，所述3G通讯模块的有线通讯端口与所述中央处理器的3G通讯端口连接，所述显示屏的信号输入端与所述中央处理器的视频信号输出端连接。

2.根据权利要求1所述的驾驶员疲劳驾驶监控装置，其特征在于：所述人脸识别装置包括人脸定位模块、人脸特征提取模块、眼疲劳识别模块和数据库管理模块。

3.根据权利要求1所述的驾驶员疲劳驾驶监控装置，其特征在于：所述驾驶员疲劳驾驶监控模块包括疲劳驾驶即时报警及记录模块、临时驾驶即时报警及记录模块、非在职驾驶报警及记录模块、疲劳驾驶报表统计及分析模块和疲劳驾驶远程监控模块。

Images