CN101540090B - 基于多元信息融合的驾驶员疲劳监测方法 - Google Patents

Abstract

本发明公开了一种基于多元信息融合的驾驶员疲劳监测装置及其监测方法，所述装置包括数字信号处理器，带有滤光片的摄像头，安装在汽车的挡风玻璃的矩形红外LED光源模块，扬声器模块和由角度传感器和压力传感器组成的传感器模块，所述摄像头、矩形红外LED光源模块、扬声器模块和传感器模块分别与数字信号处理器连接；所监测方法包括、视线跟踪、驾驶行为监测、疲劳特征判决四个过程，疲劳特征判融合眼睛特征识别、视线跟踪、驾驶行为监测的疲劳判断结果，准确判断驾驶员的疲劳状态。本发明利用信息融合技术，，使疲劳驾驶检测技术得到更进一步的发展和提高，能客观、实时、快速准确地判断出驾驶员的疲劳状态，避免疲劳驾驶所引起的交通事故。

Description

基于多元信息融合的驾驶员疲劳监测方法

技术领域

本发明属于数字图像信号处理应用领域和传感器应用领域，具体涉及基于多元信息融合的驾驶员疲劳监测装置及其监测方法。 

背景技术

随着汽车消费的普及，交通安全已成为制约社会和谐发展的焦点问题。由于驾驶员疲劳驾驶而造成的交通事故率的增长已成为社会普遍关注的一个热点，疲劳驾驶的司机在观察、识别和进行车辆控制的能力上都显著下降，严重威胁着自身的安全和他人的生命。 

据研究介绍，全世界每年因交通事故而导致的死亡人数也已经超过60万，造成的直接经济损失约125亿美元。我国的汽车拥有量虽然只占到全世界的3％，但每年因交通事故造成的死亡人数却占全世界的20％，多年来中国每年交通事故死亡数都超过10万人，位居世界第一，这些事故多与疲劳驾驶有关。英国交通研究实验室认为：驾驶疲劳导致的道路交通事故占全部交通事故的10％。更有研究表明在高速公路上，50％的交通事故是由于驾驶疲劳引起。在美国，车祸已成为引起死亡和伤害的三大原因之一，在每年发生的200万交通事故中，由于疲劳驾驶和因疲劳导致注意力不集中所致的车祸超过100万起。1995年美国国家交通安全委员会NTSB(The National Transportation Safety Board)检查了107起由驾驶员造成的卡车交通事故，其中58起与驾驶员打盹驾驶有关。法国国家警察总署事故报告表明，因疲劳瞌睡而发生车祸的，占人身伤害事故的14.9％，占死亡事故的20.6％。英国交通研究实验室(Transport Research Laboratory)认为驾驶疲劳导致的路面交通事故占全部交通事故率的10％。而在中国境内，来自湖南省交警总队最新统计数据表明，仅从2005年5月下旬至7月上旬，在湖南省内高速公路共发生事故55起，造成34人死亡，81人受伤，其中因疲劳驾驶已引发交通事故13起，造成13人死亡，29人不同程度受伤。即使在广州市区中心，疲劳驾驶也时刻危及到人们的生命财产安全，如2005年4月16日，广州市197路公共汽车由于驾驶员疲劳驾驶，三辆公共汽车连环相撞，造成30名乘客和1名司机不同程度受伤的事故。 

基于多源信息融合的驾驶员疲劳特征识别理论与方法是从主动安全出发的研究的驾驶员疲劳特征理论方法。它综合了驾驶员的各种疲劳特征，它利用传感器测量驾驶员驾驶时方向、踏板等，疲劳检测中先进的PERCLOS标准，驾驶员视点跟踪等信息进行融合，对驾驶员的疲劳状态进行判别与预警。 

研究表明，一个处于疲劳状态的人会表现出特定的视觉行为，这些行为容易通过诸如 眼睛、头部、面部表情等视觉特征的改变来观察。基于这些视觉特征，利用摄像机和计算机视觉技术对司机的视觉行为进行监测。该方法不会对司机的驾驶行为带来任何干扰，因此成为这一领域现行研究的热点。PERCLOS(Percent Eyelid Closure眼睛闭合时间占特定时间的百分率)是此领域中的公认的最具潜力的检测疲劳的方法之一，目前大部分研究驾驶疲劳的机构都采用PERCLOS(Percent Eyelid Closure眼睛闭合时间占特定时间的百分率)作为生理疲劳程度的指标。根据美国联邦公路管理局和汽车联合会资助的研究结果表明：一般情况下人们眼睛闭合的时间在0.12-0.13秒之间，驾驶时若眼睛皮和时间达到0.15秒就很容易发生交通事故。但是其在实际应用中，这种方法还是存在着很多问题：①不同体质和生活习惯的驾驶员的PERCLOS有很大不同，因此，它的误判率较高；②它是一种多重的非严格的对象跟踪，车内照明条件的变化和头部的移动可导致预测不准甚至失败；③当头部未正对摄像头时，无法识别眼部特征；④驾驶员戴墨镜时无法进行PERCLOS检测。另一方面，监测驾驶员注视方向也是有效的方法之一，通过摄像头获得眼睛的图像，对眼球进行建模，眼球中心与眼球表面亮点的连线即为驾驶员视线的方向，通过判别驾驶员的视线是否在偏离正常范围作为判别驾驶员是否疲劳的特征之一，但是此方法也同样存在着与PERCLOS测量时所发生的问题。 

也有研究表明，驾驶员驾驶时方向、踏板等的运动参数与驾驶员的疲劳程度具有一定的联系，如方向盘较长时间不动，说明驾驶员在打瞌睡借助仪器对驾驶行为和状态进行实时检测和客观评价。因此安装方向盘，踏板运动传感器可监视驾驶员驾车动作的稳定性和协调性；安装车轴转向角速度传感器并且检测转向灯时候开启可监视行驶路线有所偏离时驾驶员的转向操作，从而监测驾驶员的驾驶员的疲劳状态。但从实际来说单一的检测方法还无法做到十全十美，在准确率上与理想的状态存在一定的差距。 

因此，本装置采用基于多源信息融合的驾驶员疲劳特征识别理论与方法是从主动安全出发的研究的驾驶员疲劳特征理论方法，综合了驾驶员的各种疲劳特征，利用传感器测量驾驶员驾驶时方向、踏板，利用图像处理的手段检测PERCLOS系数和驾驶员视线方向的信息后，通过对驾驶员视线信息、眼状态信息、以及驾驶员驾驶时方向、踏板的行为信息进行融合，建立的驾驶员疲劳状态判决架构，准确地监测驾驶员的疲劳状态。 

发明内容

本发明的目的在于克服现有技术存在的上述不足，提供基于多元信息融合的驾驶员疲劳监测装置及其监测方法，利用信息融合技术，将车辆现有电子控制装置的运行工况数据和疲劳检测方法紧密结合起来，使疲劳驾驶检测技术得到更进一步的发展和提高，能客观、实时、快速准确地判断出驾驶员的疲劳状态，最大限度的避免疲劳驾驶所引起的交通事故。 

本发明的基本原理如下：本装置通过摄像头实时采集驾驶室图像，采用人脸检测、人眼的识别定位、基于计算机视觉理论的眼状态判别等模式识别理论，综合运用图像处理方法，实时地判断驾驶员的眼状态，并记录闭眼频率以获取PERCLOS指标。同时，在前面进行的采用人脸检测、人眼的识别定位所得出的眼睛图像的基础上，结合人机交互技术，利用矩形红外LED光源帮助成像，有效地计算出司机的视点，建立视点跟踪的具体算法模型，用根据眼睛的特征和位置以及其他的线索来检测用户注视的方向的变化。通过安装在方向盘和踏板的角度传感器和压力传感器测量驾驶员驾驶时方向、踏板等的运动参数，从驾驶员的驾驶行为上判断其疲劳状态。最后，采用信息融合技术动态的对采集的数据进行评估得出驾驶员的疲劳状态。 

本发明的目的通过如下技术方案实现： 

一种基于多元信息融合的驾驶员疲劳监测装置，包括数字信号处理器，带有滤光片的摄像头，安装在汽车的挡风玻璃的矩形红外LED光源模块，扬声器模块和由角度传感器和压力传感器组成的传感器模块，所述摄像头、矩形红外LED光源模块、扬声器模块和传感器模块分别与数字信号处理器连接；所述数字信号处理器用于接收并处理由摄像头和传感器模块输入的数据，通过基于多元信息融合的驾驶员疲劳监测的监测算法，计算出驾驶员的疲劳状态，如果驾驶员处于疲劳，则输出信号到扬声器模块；所述矩形红外LED光源模块与数字信号处理器连接；带有滤光片的摄像头用于采集驾驶员的头部范围图像数据并输入到数字信号处理器，其采集数据用于眼睛特征识别步骤和视线跟踪步骤；所述矩形红外LED光源模块包括安装在汽车挡风玻璃的四个角上的高亮红外LED，发射的红外光通过人眼瞳孔的反射到摄像头之上并在摄像头采集的图像上产生四个光斑，用于视线跟踪辅助，是对驾驶员的视线方向进行跟踪的信号产生模块，用于视线跟踪步骤；所述由角度传感器和压力传感器组成的传感器模块包括角度传感器和压力传感，安装在方向盘上的角度传感器和压力传感器测量方向盘转动情况和驾驶员是否有抓紧方向盘、安装在脚踏板上的压力传感器测量脚踏板的使用状态，并把数据输入到数字信号处理器进行处理，用于驾驶行为监测步骤；所述的扬声器模块接收数字信号处理器发出的驾驶员疲劳判别结果信号，如果为疲劳状态，则发出声音警告疲劳中的驾驶员。 

上述的基于多元信息融合的驾驶员疲劳监测装置中，所述与数字信号处理器连接并带有滤光片的摄像头，在摄像头的镜头上装有红外滤光片，把日光干扰滤除，只采集由矩形红外LED光源模块发出的红外光产生的图像信息，通过SVHS视频接口发送图像数据到数字信号处理器进行处理。 

上述的基于多元信息融合的驾驶员疲劳监测装置中，所述矩形红外LED光源模块包括安装在汽车的挡风玻璃的四个角上的四个高亮红外LED，形成矩形排列并在人眼虹膜的反 射作用下，在人眼瞳孔四周产生四个亮点，由带有滤光片的摄像头采集其图像并输入到数字信号处理器进行计算，判定视线方向的改变。 

上述的基于多元信息融合的驾驶员疲劳监测装置中，所述由角度传感器和压力传感器组成的传感器模块包括角度传感器和压力传感器，安装在方向盘上的角度传感器和压力传感器测量方向盘转动情况和驾驶员是否有抓紧方向盘、安装在脚踏板上的压力传感器测量脚踏板的使用状态，通过RS232接口把数据输入到数字信号处理器进行处理，判断其驾驶行为。 

基于多元信息融合的驾驶员疲劳监测装置的监测方法，由眼睛特征识别、视线跟踪、驾驶行为监测、疲劳特征判决四个部分块组成： 

(1)眼睛特征识别，其过程如下：摄像头采集到头部图像数据并通过SVHS接口传送到数字信号处理器，数字信号处理器对摄像头拍摄的图像进行平滑去噪声处理，去除造成干扰的冗余信息，采用Viola方法检测和定位摄像头采集图像的人脸区域，再次使用Viola方法检测和定位之前得到人脸区域内的人眼区域图像。对采集到的人眼区域图像进行2D-DCT变换得到观察向量序列，把观察向量序列输入到已训练好的用于判断眼睛闭合的嵌入式隐马尔可夫判别模型，计算睁眼和闭眼分类器产生该序列的似然值，根据此似然值判定眼睛的睁闭状态。如果睁眼分类器的似然值比闭眼分类器的似然值大，则为睁眼状态，相反则为闭眼状态。检测到人眼状态后，分时段记录判别为闭眼状态的帧数和采集到的帧总数，并计算出眼睛闭合时间占特定时间的百分率的perclos系数，从而判断驾驶员的疲劳程度。如果perclos系数超过正常状态值，则驾驶员处于疲劳状态，相反则处于正常状态。 

(2)视线跟踪，其过程如下：安装在汽车的挡风玻璃的矩形红外LED光源模块发出高亮红外线，红外光源经人眼角膜反射后，在带有滤光片的摄像头采集的图像上形成高亮斑点，称为普尔钦斑点。数字信号处理器通过SVHS接口接收由摄像头采集经红外光源照射后的人脸图像，通过眼睛特征识别步骤中的人脸人眼定位处理得到人眼区域，采用水平和垂直灰度投影法定位瞳孔中心，并利用普尔钦斑点的几何特征检测其位置，然后对普尔钦斑点进行灰度修正、平滑处理，通过几何计算求取瞳孔中心与普尔钦斑点的位置关系，从而判别视线方向。通过计算在特定时间内视线不变的帧数占帧段总数的比例得出视线停留时间比例，若视线停留时间比例过长，则判断驾驶员为长时间注视某个方向或者是视线没有注视道路前方等情况，并认定为疲劳状态。 

(3)驾驶行为监测，其过程如下：通过安装在方向盘上的角度传感器和压力传感器，监测方向盘的转动情况和驾驶员是否有抓紧方向盘，记录特定长时间段内的角度传感器和压力传感器的数据变化情况，如果两传感器RS232接口输出到数字信号处理器的数据长时间没发生变化，则可以判断驾驶员处于疲劳驾驶状态，没有操作方向盘。通过安装在脚踏板 上的压力传感器，监测汽车脚踏板的使用状况，记录特定长时间段内的压力传感器的数据变化情况，如果传感器通过RS232接口输出到数字信号处理器的数据长时间没发生变化，则可以判断驾驶员处于疲劳驾驶状态，没有操作脚踏板。 

(4)疲劳特征判决，其过程如下：测量眼睛特征识别步骤、视线跟踪步骤、驾驶行为监测步骤中判别驾驶员疲劳状态的基本可信度，即正确判断的概率；结合信息融合理论建立疲劳特征判决架构，使用已有的贝叶斯推理扩充的D-S证据推理方法，利用Dempster组合规则融合眼睛特征识别步骤、视线跟踪步骤、驾驶行为监测步骤的疲劳判断的基本可信度得到联合基本可信度分配，从而建立准确的疲劳判决架构利用各模块的疲劳测量信息来判断对驾驶员是否处于疲劳驾驶状态。如果驾驶员处于疲劳驾驶状态，数字信号处理器输出信号到扬声器模块，此时扬声器模块发出声音来提醒驾驶员。 

上述的监测方法中，所述用于判断眼睛闭合的嵌入式隐马尔可夫判别模型的训练过程如下： 

(1)采集一定数量的不同人群在不同时间、不同光照条件、不同距离、不同面部表情、不同面部细节和不同脸部朝向条件下的闭眼和睁眼状态样本。 

(2)对步骤(1)中采集到的图像进行几何尺寸归一化处理和灰度均衡预处理，对两类人眼图像进行采样并对每个采样窗进行2D-DCT变换，通过2D-DCT变换后的低频系数构成观察向量序列。 

(3)设定嵌入式隐马尔可夫模型的超状态个数和每一个超状态中的子隐马尔可夫模型状态数，根据设定的超状态个数和每个超状态内嵌入状态个数以及嵌入式隐马尔可夫模型的结构，将步骤(2)中的人眼观察向量序列均匀分割。 

(4)根据步骤(3)中的状态数和图像均匀分割后得到的观察向量序列，初始化嵌入式隐马尔可夫模型参数，通过双重嵌套的Viterbi算法对图像进行重新分割，用Baum-welch算法重估嵌入式隐马尔可夫模型参数。当前后两次的迭代误差小于设定的阈值时，停止迭代，得到所述的用于判断眼睛闭合的嵌入式隐马尔可夫判别模型。 

上述的监测方法中，视线跟踪过程中所述的普尔钦斑点灰度值修正的方法如下：以其中一个普尔钦斑点P0为中心，对与P0相邻的8个像素A1～A8中的每个像素的灰度值进行修正；以被修正像素为中心，取其周围相邻8个像素，寻找包括被修正的像素在内这9个像素中的灰度最小值，将其替代被修正像素的灰度值；再对P0的灰度值进行修正，取P0，A1～A8这9个像素中的灰度最小值，将其替代P0的灰度值，另外三个普尔钦斑点的灰度修正方法和P0相同。 

上述的监测方法中，视线跟踪过程中所述的通过几何计算求取瞳孔中心与普尔钦斑点 的位置关系来判别视线方向的过程如下：设P0、P1、P2、P3为检测到的四个普尔钦斑点，Q为瞳孔中心，利用定比分点公式求出P0～P3的对角线交点O的坐标，连结OQ，OP0，OP1，OP2，OP3，OP0～OP3把由点P0～P3连接成的矩形分割为四个区域。通过计算OQ处于哪个区域，计算出相应的视线方向。 

与现有技术相比，本发明的优点与积极效果在于： 

(1)基于多元信息融合的驾驶员疲劳监测装置的开发，采用的数字信号处理器运算能力高，开发的装置实时性、功耗低，符合车载装置的要求。 

(2)采用更加准确的PERCLOS系数测量方法，首先在人眼定位和人脸定位上采用当今先进的VIOLA算法，而且在人眼状态的识别上采用准确率更高的嵌入式隐马尔可夫判别模型的判别模型，这两方面大大地提升了装置的准确性。 

(3)利用带有滤光片的摄像头和安装在汽车的挡风玻璃的矩形红外LED光源模块，运动图像处理和模式识别技术，在没有接触和影响到驾驶员地情况下，研究驾驶员在驾驶的时候视线是否偏移了正常的视角范围，以判断驾驶员的疲劳状态。本方法结合人机交互技术，利用红外光源帮助成像，可以有效地计算出司机的视线方向。 

(4)利用安装在方向盘上的角度传感器与安装在脚踏板上的压力传感器，测量驾驶员的驾驶行为参数，增加装置对疲劳状态的判断依据，安装在方向盘上的角度传感器和和压力传感器测量方向盘的转动情况以确定驾驶员是否操作方向盘和驾驶方向的偏离，在踏板上的压力传感器检测驾驶员是否因瞌睡而失去对踏板的控制，完善驾驶员疲劳监测装置的测量机制。 

(5)采用基于多源信息融合的方法综合驾驶员的各种疲劳特征，通过对驾驶员视线信息、眼状态信息、以及驾驶员操作方向盘、踏板的行为信息进行融合，可以在不同光线、背景、人脸姿势、面部细节等条件下，快速、准确地判别驾驶员精神状态。 

附图说明

图1是基于多元信息融合的驾驶员疲劳监测装置硬件总体结构框图。 

图2是基于多元信息融合的驾驶员疲劳监测装置方法流程图。 

图3是基于多元信息融合的驾驶员疲劳监测装置中PERCLOS系数检测流程图。 

图4是人眼状态识别的嵌入式隐马尔可夫模型训练流程图。 

图5是基于多元信息融合的驾驶员疲劳监测装置中驾驶员视线跟踪监测流程图。 

图6是驾驶员视线跟踪监测的视线方向判别几何关系图。 

图7是基于多元信息融合的驾驶员疲劳监测装置中多元信息融合的原理图。 

具体实施方式

下面结合附图及实施例对本发明的具体实施作进一步说明。 

一.基于多元信息融合的驾驶员疲劳监测装置的硬件实施方式 

参见图1，本装置的硬件实施实施方式由五个模块组成，其中包括数字信号处理器和分别与数字信号处理器连接并带有滤光片的摄像头、安装在汽车的挡风玻璃的矩形红外LED光源模块、由角度传感器和压力传感器组成的传感器模块和扬声器模块。 

1.数字信号处理器 

所述数字信号处理器选用TI公司的DSP处理器，接收并处理由摄像头和传感器模块输入的数据，通过基于多元信息融合的驾驶员疲劳检测的监测算法，计算出驾驶员的疲劳状态，如果驾驶员处于疲劳，则输出信号到扬声器模块。 

2.与数字信号处理器连接并带有滤光片的摄像头 

所述与数字信号处理器连接并带有滤光片的摄像头选用，在摄像头的镜头上装有红外滤光片，把日光干扰滤除，采集由矩形红外LED光源模块发出的红外光产生的图像信息，通过SVHS视频接口发送图像数据到数字信号处理器进行处理。 

3.安装在汽车的挡风玻璃的矩形红外LED光源模块 

所述安装在汽车挡风玻璃的四个角上的高亮红外LED，发射的红外光通过人眼瞳孔的反射到摄像头之上并在摄像头采集的图像上产生四个光斑，是视线跟踪辅助装置，是对驾驶员的视线方向进行跟踪的信号产生模块，用于视线跟踪步骤，由带有滤光片的摄像头采集其图像并输入到数字信号处理器进行计算，判定视线方向的改变。 

4.由角度传感器和压力传感器组成的传感器模块 

所述由角度传感器和压力传感器组成的传感器模块包括角度传感器和压力传感器，安装在方向盘上的角度传感器和压力传感器测量方向盘转动情况和驾驶员是否有抓紧方向盘、安装在脚踏板上的压力传感器测量脚踏板的使用状态，通过RS232接口把数据输入到数字信号处理器进行处理，判断其驾驶行为。 

5.扬声器模块 

所述扬声器模块接收数字信号处理器发出的驾驶员疲劳判别结果信号，如果为疲劳状态，则发出声音警告疲劳中的驾驶员。 

二.基于多元信息融合的驾驶员疲劳监测装置的监测方法的实施 

本装置的监测方法是在VC++编程环境下开发的，多元信息融合驾驶员疲劳监测装置在基于CCS2的DSP处理器开发软件的环境下进行仿真与实现，工作步骤如流程图2，介绍如下： 

所述的多元信息融合驾驶员疲劳监测装置的监测方法有四个部分组成：眼睛特征识别步骤，视线跟踪步骤，驾驶行为监测步骤，疲劳特征判决。眼睛特征识别装置，是图像处理和模式识别方法提取驾驶员的眼睛闭合状态特征，计算PERCLOS系数，判断疲劳状态。 视觉跟踪装置是通过图像处理、模式识别和几何计算方法提取驾驶员的视线方向特征数据，判断疲劳状态。驾驶员行为监测装置是通过压力传感器和角度传感器提取驾驶员某些特定驾驶行为的特征数据，通过这些行为数据判断疲劳状态。疲劳特征判决架构是把上述的疲劳检测结果，通过D-S证据推理方法融合成一个疲劳判决架构以监测驾驶员的疲劳状态。 

1.眼睛特征识别步骤：快速准确地分析出驾驶员的PERCLOS系数，判别驾驶员疲劳状态，流程图如图3所示，主要包含以下几个工作步骤： 

第一步，人脸区域定位，采集图像时，利用摄像头固有功能对图像进行如灰度化、直方图均衡化等处理，然后直接对图像进行搜索并定位出人脸。使用Viola方法进行检测并标记出人脸：在检测人脸时使用Cascade级联算法基于已训练好的类矩形分类器特征库来识别人脸区域，本模块使用的分类器特征库由22级强分类器构成，而每个强分类器又由若干个弱分类器构成，是通过长期采集的人脸图像库通过利用AdaBoost算法进行特征的筛选和特征训练得出来的。 

第二步，人眼定位及确认，将定位出的人脸图像再次利用Viola方法人眼进行定位。本工作步骤在人脸区域定位步骤检测出人脸区域的基础上，使用Viola方法进行检测并标记出人眼：在检测人脸时使用Cascade级联算法基于已训练好的类矩形分类器特征库来识别人脸区域，本步骤使用的分类器特征库由22级强分类器构成，而每个强分类器又由若干个弱分类器构成，本步骤所使用的眼睛训练库是采用有O PENCV提供的右眼特征库，是通过采样7000多幅人脸图像的右眼区域并通过AdaBoost算法进行特征的筛选和特征训练所得。 

第三步，眼睛状态判别，在定位到人眼区域后，判断人眼区域的人眼状态是睁开还是闭合，本工作步骤采用基于2D-DCT特征的嵌入式隐马尔可夫模型(EHMM算法模式)对人眼状态进行识别。 

A.判别模型的建立 

如图4所示，人眼状态识别EHMM模型是用概率最大可能性评估标准进行训练，为睁眼和闭眼的图像状态确定一组经过优化的EHMM模型参数。针对人眼的相关特征建立相应的嵌入式隐马尔可夫模型，对两个眼状态模型都用多幅图像进行训练，并对人眼从上到下进行分割，包括上中下3个状态(超状态)，划分每一个状态从左到右建立4个嵌入状态，对不同的光照、不同的头偏转角度等环境下采集到的睁眼和闭眼图像库进行训练：根据状态数和图像均匀分割后得到的观察向量，初始化嵌入式隐马尔可夫模型参数，通过双重嵌套的Viterbi算法，对图像进行重新分割；用Baum-welch算法重估模型参数。当前后两次的迭代误差小于某个设定的阈值时，迭代停止，得出睁眼和闭眼的EHMM评估模型。 

B.眼状态识别 

进行眼状态识别时，先将待识别眼睛图像分块，并提取窗口经过2D-DCT变换以后的图 像构造观察向量序列，然后输入到嵌入式隐马尔可夫模型，计算睁眼和闭眼分类器产生该序列的似然值(相似程度)，根据此似然值(相似程度)判定眼睛的睁闭状态，具有最大似然值的模型即为待识别眼睛图像所属对象。 

第四步，PERCLOS系数的确定，在图像处理速度达到20帧/s的情况下，PERCLOS可以转换为闭眼的帧占特定时间段帧总数的比例，所以在检测到人眼状态后，在一定长的时间内分别记录判别状态为闭眼的帧数和采集到的帧总数，计算出PERCLOS系数来判断出驾驶员的驾驶状态。 

2.视线跟踪步骤，计算跟踪视线的注视方向和通过计算在特定时间内视线不变的帧数占帧段总数的比例，得出视线停留时间比例，判断驾驶员疲劳状态本步骤(只对睁眼区域进行视线的跟踪)，流程图如图5所示，主要包含以下4个工作步骤： 

第一步，瞳孔中心定位(在图像中检测定位瞳孔中心的精确坐标)：由于在眼睛特征识别装置已经对人脸的右眼区域进行定位，在视线跟踪的检测中直接对眼睛特征识别步骤中所得出的右眼区域进行视线跟踪的图像处理，使用水平和垂直灰度投影法来定位瞳孔中心。首先对人眼灰度图像进行平滑处理，接着做水平和垂直的灰度投影，寻找在瞳孔中心的垂直方向和水平方向上灰度投影的极小值并记录坐标，此坐标为瞳孔中心的坐标。 

第二步，普尔钦斑点的定位：矩形红外LED光源由于人眼虹膜的反射作用，由摄像头采集到的图像上可以看到在人眼瞳孔四周也会相应出现四个亮点(普尔钦斑点)，经过分析图像上普尔钦斑点具有以下几何特征：a.位置位于瞳孔周围，与瞳孔中心距离小于30像素；b.大小为5～20个像素，灰度值在100以，表现为突出的亮点；c.眼部区域中，四个普尔钦斑点处灰度值突变最大；d.四个普尔钦斑点之间的距离在8～18像素范围内，且成矩形或类似矩形关系。根据这些特征定位四个普尔钦斑点：在第一步工作步骤上定位的瞳孔中心周围距离小于30个像素范围内，搜索满足普尔钦斑点几何特征的像素点集；再用Laplace算子对进普尔钦斑点行卷积，用Laplace卷积得到的值越大，说明该处灰度的突变越大，Laplace算子卷积运算后具有最大值的四个像素，即为四个普尔钦斑点，且四个普尔钦斑点顺次连接，会形成矩形的形状。 

第三步，根据瞳孔中心与图像中因矩形红外LED光源所形成普尔钦斑点的位置关系，计算出视线的方向。通过几何计算，确定LED光源所引起的矩形与采集图像的一一对应关系，即四个角的LED与人眼图像中四个亮点相对应，视线方向与瞳孔中心相对应。如图6所示，设P0、P1、P2、P3为检测到的四个普尔钦斑点，Q为瞳孔中心，利用定比分点公式求出P0～P3的对角线交点O的坐标，连结OQ，OP0，OP1，OP2，OP3，OP0～OP3把由点P0～P3连接成的矩形分割为四个区域，计算OQ处于哪个区域，便可计算驾驶员的视线方向。 

第四步，计算视线停留时间比例。在图像处理速度达到20帧/s的情况下，视线停留时 间可以转换为闭眼的帧占特定时间段帧总数的比例，通过计算出视线停留时间比例，判断出驾驶员的驾驶状态，如果长时间注视某个方向或者是视线没有注视道路前方等情况，判定为疲劳状态。 

3.驾驶员行为监测步骤：汽车方向盘的操作参数的测量，通过安装在方向盘上的角度传感器和压力传感器可以监测到方向盘的转动情况和驾驶员是否有抓紧方向盘，通过驾驶员对方向盘的操作情况的监测来判断疲劳状态。汽车脚踏板的操作参数测量：通过安装在脚踏板上的压力传感器可以测量脚踏板的使用状态，判断驾驶员的疲劳状态。以驾驶员对方向盘和脚踏板的驾驶行为作为判断疲劳状态的依据输入到数字信号处理器进行处理。 

4.基于信息融合理论建立的疲劳判决架构(原理图如图7所示)：由于测量的不精确以及环境噪声和人为干扰等因素，会增加被融合的数据不确定性，作为贝叶斯推理扩充的D-S证据推理方法能很好的把握问题的未知性和不确定，基于信息融合理论建立的疲劳判决架构包含以下工作步骤： 

第一步，根据D-S证据理论，首先定义一个空间Θ，称为识别框架，是由相互排斥的命题组成的有限完备集。Θ的幂集表示为2^Θ，是Θ所有子集的集合。对于2^Θ中的任何命题A，定义映射m：2^Θ→[0，1]为基本概率分配函数(Basic Probability Assignment，BPA)，也称BPA函数，m满足： 

(1)0≤m(A)≤1； 

(2)m(Φ)＝0，Φ表示空集，即不可能的命题； 

(3)∑_A∈Θm(A)＝1。 

2.根据Dempster规则，通过Dempster规则来组合不同信息源产生的证据，该规则是在假设信息源独立的条件下进行的。对于独立的多个证据，组合运算可以通过正交和表述如下： 

$m=m1\⊕m2\⊕m3......\⊕\mathrm{mn}$

式中， 

表示组合运算。对于n个BPA函数mi(i＝1，2，…，n)，Demp ster组合规则定义如下： 

m(A)＝0，A＝Φ 

$m\left(A\right)={\mathrm{\Σ}}_{\∩\mathrm{Ai}=A}\underset{i=1}{\overset{n}{\mathrm{\Π}}}\mathrm{mi}\left(\mathrm{Ai}\right)/1-{\mathrm{\Σ}}_{\∩\mathrm{Ai}=\mathrm{\Φ}}\underset{i=1}{\overset{n}{\mathrm{\Π}}}\mathrm{mi}\left(\mathrm{Ai}\right),A\≠\mathrm{\Φ}$

令 $K={\mathrm{\Σ}}_{\∩\mathrm{Ai}=\mathrm{\Φ}}\underset{i=1}{\overset{n}{\mathrm{\Π}}}\mathrm{mi}\left(\mathrm{Ai}\right),A\≠\mathrm{\Φ},$ 式中K表示融合过程中各证据之间冲突程度，1-K称为归一化因子，避免在组合过程中将非零的概率分配给空集。 

第三步，测量眼睛特征识别步骤、视线跟踪步骤、驾驶行为监测步骤中判别驾驶员疲 劳状态的基本可信度，即正确判断的基本概率；结合信息融合理论，使用上述步骤的D-S证据推理方法和Dempster组合规则融合眼睛特征识别步骤、视线跟踪步骤、驾驶行为监测步骤的疲劳判断的基本可信度得到联合基本可信度分配，从而建立准确的疲劳判决架构利用各模块的疲劳测量信息，判断对驾驶员是否处于疲劳驾驶状态。如果驾驶员处于疲劳驾驶状态，数字信号处理器输出信号到扬声器模块，此时扬声器模块发出声音来提醒驾驶员。 

Claims (4)

1.基于多元信息融合的驾驶员疲劳监测装置的监测方法，其特征在于由眼睛特征识别过程、视线跟踪过程、驾驶行为监测过程和疲劳特征判决四个部分组成，

所述眼睛特征识别过程包括：摄像头采集到头部图像数据并通过SVHS接口传送到数字信号处理器，数字信号处理器对摄像头拍摄的图像进行平滑去噪声处理，去除造成干扰的冗余信息，采用Viola方法检测和定位摄像头采集图像的人脸区域，再次使用Viola方法检测和定位之前得到人脸区域内的人眼区域图像；对采集到的人眼区域图像进行2D-DCT变换得到观察向量序列，把观察向量序列输入到已训练好的用于判断眼睛闭合的嵌入式隐马尔可夫判别模型，计算睁眼和闭眼分类器产生该序列的似然值，根据此似然值判定眼睛的睁闭状态，如果睁眼分类器的似然值比闭眼分类器的似然值大，则为睁眼状态，相反则为闭眼状态；检测到人眼状态后，分时段记录判别为闭眼状态的帧数和采集到的帧总数，并计算出眼睛闭合时间占特定时间的百分率的perclos系数，从而判断驾驶员的疲劳程度，如果perclos系数超过正常状态值，则驾驶员处于疲劳状态，相反则处于正常状态；

所述视线跟踪过程包括：安装在汽车的挡风玻璃的矩形红外LED光源模块发出红外线，红外光源经人眼角膜反射后，在带有滤光片的摄像头采集的图像上形成亮斑点，称为普尔钦斑点；数字信号处理器通过SVHS接口接收由摄像头采集经红外光源照射后的人脸图像，通过所述眼睛特征识别过程中的人脸人眼定位处理得到人眼区域，采用水平和垂直灰度投影法定位瞳孔中心，并利用普尔钦斑点的几何特征检测其位置，然后对普尔钦斑点进行灰度修正、平滑处理，通过几何计算求取瞳孔中心与普尔钦斑点的位置关系，从而判别视线方向；通过计算在特定时间内视线不变的帧数占帧段总数的比例得出视线停留时间比例，若视线停留时间比例超过设定值，则判断驾驶员为长时间注视某个方向或者是视线没有注视道路前方，并认定为疲劳状态；

所述驾驶行为监测过程包括：通过安装在方向盘上的角度传感器和压力传感器，监测方向盘的转动情况和驾驶员是否有抓紧方向盘，记录设定长时间段内的角度传感器和压力传感器的数据变化情况，如果传感器RS232接口输出到数字信号处理器的数据在设定时间内没发生变化，则判断驾驶员处于疲劳驾驶状态，没有操作方向盘；通过安装在脚踏板上的压力传感器，监测汽车脚踏板的使用状况，记录特定长时间段内的压力传感器的数据变化情况，如果传感器通过RS232接口输出到数字信号处理器的数据设定时间内没发生变化，则判断驾驶员处于疲劳驾驶状态，没有操作脚踏板；

所述疲劳特征判决包括：测量所述眼睛特征识别过程、视线跟踪过程、驾驶行为监测过程中判别驾驶员疲劳状态的基本可信度，即正确判断的概率；结合信息融合理论建立疲劳特征判决架构，使用现有的贝叶斯推理扩充的D-S证据推理方法，利用Dempster组合规则融合眼睛特征识别过程、视线跟踪过程、驾驶行为监测过程的疲劳判断的基本可信度得到联合基本可信度分配，从而建立准确的疲劳判决架构并利用各个过程的疲劳测量信息来判断对驾驶员是否处于疲劳驾驶状态，如果驾驶员处于疲劳驾驶状态，数字信号处理器输出信号到扬声器模块，此时扬声器模块发出声音来提醒驾驶员。

2.根据权利要求1所述的方法，其特征在于眼睛特征识别过程中用于判断眼睛闭合的嵌入式隐马尔可夫判别模型的训练过程如下：

(1)采集不同人群在不同时间、不同光照条件、不同距离、不同面部表情、不同面部细节和不同脸部朝向条件下的闭眼和睁眼状态样本；

(2)对步骤(1)中采集到的图像进行几何尺寸归一化处理和灰度均衡预处理，对两类人眼图像进行采样并对每个采样窗进行2D-DCT变换，通过2D-DCT变换后的低频系数构成观察向量序列；

(3)设定嵌入式隐马尔可夫模型的超状态个数和每一个超状态中的子隐马尔可夫模型状态数，根据设定的超状态个数和每个超状态内嵌入状态个数以及嵌入式隐马尔可夫模型的结构，将步骤(2)中的人眼观察向量序列均匀分割；

(4)根据步骤(3)中的状态数和图像均匀分割后得到的观察向量序列，初始化嵌入式隐马尔可夫模型参数，通过双重嵌套的Viterbi算法对图像进行重新分割，用Baum-welch算法重估嵌入式隐马尔可夫模型参数；当前后两次的迭代误差小于设定的阈值时，停止迭代，得到所述用于判断眼睛闭合的嵌入式隐马尔可夫判别模型。

3.根据权利要求1所述的方法，其特征在于视线跟踪过程中视线跟踪过程中所述的普尔钦斑点灰度值修正的方法如下：以其中一个普尔钦斑点P0为中心，对与P0相邻的8个像素A1～A8中的每个像素的灰度值进行修正；以被修正像素为中心，取其周围相邻8个像素，寻找包括被修正的像素在内这9个像素中的灰度最小值，将其替代被修正像素的灰度值；再对P0的灰度值进行修正，取P0，A1～A8这9个像素中的灰度最小值，将其替代P0的灰度值，另外三个普尔钦斑点的灰度修正方法和P0相同。

4.根据权利要求1所述的方法，其特征在于视线跟踪过程中所述的通过几何计算求取瞳孔中心与普尔钦斑点的位置关系来判别视线方向的过程如下：设P0、P1、P2、P3为检测到的四个普尔钦斑点，Q为瞳孔中心，利用定比分点公式求出P0～P3的对角线交点O的坐标，连结OQ，OP0，OP1，OP2，OP3，OP0～OP3把由点P0～P3连接成的矩形分割为四个区域；通过计算OQ处于哪个区域，得出相应的视线方向。

Images