CN1830389A

CN1830389A - 疲劳驾驶状态监控装置及方法

Info

Publication number: CN1830389A
Application number: CNA2006100126236A
Authority: CN
Inventors: 何国红; 李晓明; 李埃荣; 梁富
Original assignee: Taiyuan University of Technology
Current assignee: Taiyuan University of Technology
Priority date: 2006-04-21
Filing date: 2006-04-21
Publication date: 2006-09-13

Abstract

本发明公开了一种疲劳驾驶状态监控装置及方法，其装置由图像采集和转换系统、图像处理系统、疲劳状态识别系统、提示和报警以及制动系统构成；其方法是利用红外光源光线和摄像机光轴成一定的角度，采集到的驾驶员的面部图像信号由数字信号处理器的图像处理程序进行处理，得到眼睛图像，同时利用Kalman滤波器Mean Shift算法实现眼睛跟踪，采用模板匹配的方法，以相似度衡量相似程度来识别眼睛状态，根据眼睛的状态计算出眨眼持续时间、眨眼频率、PERCLOS值，来判断驾驶员的疲劳程度。机动车在行驶过程中，本装置实施监控。本发明有效地防止了夜间测量时“红眼”现象，提高了系统的可靠性和准确性，大幅度地减少了人为因素造成的事故。

Description

疲劳驾驶状态监控装置及方法

技术领域

本发明属于数字信号处理器应用领域，具体地说是一种对机动车辆驾驶员在驾驶过程中出现的疲劳驾驶状态进行监控的装置及监控方法。

背景技术

随着汽车保有量的增加，交通事故发生有不断增加的趋势。据相关统计，疲劳驾驶在交通事故中占22％～30％，在死亡交通事故的原因中居首位。因此，西方发达国家投入巨大的人力、物力，广泛开展驾驶疲劳的研究工作，有的研究成果已经申请了专利。

在先申请号为CN200510037771.9的专利，利用红外光线对驾驶员眼部照射，通过2个不同波长滤波镜头的CMOS摄像头得到2副在同一时刻只有视网膜图像不同的图像。采集到图像信号由控制主板中的图像处理程序进行差分处理得到瞳孔图像参数，通过计算得出PERCLOS(单位时间眼睛闭合时间所占的比例)值来判断驾驶员的疲劳程度。

在先申请号为CN200520069521.9的专利，该装置包括摄像头、接口电路单元、中央处理器(TMS320VC5407)，声光报警单元、车速检测单元，IC卡接口单元等。在驾驶员疲劳时给出闪光、声音告警，提醒驾驶员注意。

但是，上述专利CN200510037771.9在不同的波长下获取眼睛的图像，进行差分，跟踪眼睛的位置在光线比较亮的环境下，容易造成测量失败。采用计算PERCLOS值的方法来进行疲劳检测，由于实际应用环境复杂，检测结果可靠性差、准确率低。上述专利CN200520069521.9采用的中央处理器TMS320VC5407是16位定点的DSP，处理实时图像速度慢。当驾驶员严重疲劳时只能报警而没有采取主动的制动措施，不能有效预防交通事故的发生。

发明内容

本发明的目的是提供一种疲劳驾驶状态监控装置及监控方法，并在现有技术的基础上进一步提高检测结果的可靠性和准确度，以更大限度地避免疲劳驾驶所引发的交通事故。

本装置将两个红外光源安装在摄像机两侧，其光线与摄像机光轴成一定的角度，有效地防止了夜间测量时的“红眼”现象；利用眨眼持续时间，眨眼频率和PERCLOS值信息融合的结果作为驾驶员疲劳程度的检测指标，提高系统的可靠性和准确性；图像数据的特点是数据量大、传输速率高，采用浮点型TMS320C6711DSP可以满足图像数据处理的要求，还能实现人眼识别、跟踪等复杂的算法；本装置对驾驶员的疲劳程度进行判断，采取预警提示、报警、制动三级防范措施。

本发明疲劳驾驶状态监控装置主要技术方案包括：

1.图像采集和转换

实现图像采集的部分主要由两个红外光源、中心波长为850nm的带通红外滤波镜头、红外黑白摄像机、视频解码器、数字信号处理器DSP和相应的软件来实现。

2.图像处理和识别以及实时跟踪

采集到的图像在数字信号处理器中采用相应的程序完成人脸定位、眼睛定位与跟踪。在人脸定位的基础上利用Canny算子进行边缘提取定位眼睛，综合Kalman滤波和Mean Shift算法实现眼睛跟踪。

3.眼睛状态识别

采用模板匹配的方法，以相似度衡量相似程度来识别眼睛状态。眼睛模板有左眼睁、左眼闭、右眼睁、右眼闭四种，每次找到眼睛后用这四种模板进行匹配，取相似度值最大的作为最终的眼睛状态。

4.疲劳状态识别

根据眼睛的开合状态计算出驾驶员眨眼持续时间，眨眼频率和PERCLOS值，并根据上述计算值与事先设定的阈值进行比较判断出驾驶员的疲劳状态：没有睡意，轻微睡意、中度睡意及重度睡意。

5.预警提示和报警以及制动

把判断的结果送入单片机，单片机根据判断结果和车速传感器送入的车速信号执行相应控制功能。不同车速下，不同的疲劳状态相应的警告级别也不相同，对于轻微睡意状态，无论是低速还是高速行驶，单片机都驱动声光电路对驾驶员提醒即可；中度睡意和重度睡意下的操作已经充满了危险性，因此单片机根据具体车速执行强行唤醒驾驶员功能以及减速制动功能。

实施本发明疲劳驾驶状态监控装置的方法是利用红外光线对驾驶员眼部的照射，两个红外光源安装在摄像机两侧，其光线与摄像机光轴成一定的角度；采集到的图像信号由数字信号处理器的图像处理程序进行处理，得到眼睛图像；同时利用Kalman滤波器Mean Shift算法实现眼睛跟踪；采用模板匹配的方法，以相似度衡量相似程度来识别眼睛状态；根据眼睛的状态计算出眨眼持续时间，眨眼频率和PERCLOS值，来判断驾驶员的疲劳程度。

眨眼持续时间为：每次眨眼时，眼睛由开—合—开的过程所用的时间：

D(t)＝t₆-t₁

其中：t₁眼睛睁开到最大程度的时刻；

t₆眼睛再次睁开到最大程度的时刻，见图3；

眨眼频率：

v = \frac{M}{T}

其中：M是固定时间间隔内(如30秒)检测到的眼睛开—合—开的次数；

T是固定时间间隔(如30秒)；

PERCLOS值指单位时间里眼睛闭合时间所占的百分比，通过测量出t₂～t₅就能计算出PERCLOS的值：

f = \frac{t_{4} - t_{3}}{t_{5} - t_{2}} \times 100 %

其中：t₂眼睛睁开程度减小到80％的时刻；

t₃眼睛睁开程度减小到20％的时刻；

t₄眼睛再次睁开到20％的时刻；

t₅眼睛再次睁开到80％的时刻，见图3。

本发明实施上述技术方案的优点与积极效果在于：(1)两个红外光源安装在摄像机两侧，其光线与摄像机光轴成一定角度，可以减少由于头的转动形成的阴影；(2)用红外带通滤光镜头，只有固定波长的红外光能通过，滤除可见光影响，使红外光在人脸成像中占主导地位，白天和晚上成像效果相差不大；(3)红外摄像机，利用黑白的红外摄像机，在800nm～900nm处有最好的成像效果；(4)利用眼睛闭合持续时间、眼睛眨眼速度和PERCLOS值信息融合的结果作为驾驶员疲劳程度的检测指标，提高了检测疲劳状态可靠性和准确度。(5)不同疲劳状态相应的警告级别也不相同，(预警提示、报警、制动三级防范措施)更符合疲劳驾驶状态监控的要求。

附图说明

图1是疲劳驾驶状态监控装置的硬件组成框图

图2是数字信号处理器软件系统结构框图

图3是计算眨眼持续时间和PERCLOS值的示意图

图4是为驾驶员疲劳状态的识别流程框图

图5是单片机控制模块框图

图6是疲劳驾驶状态监控装置的安装位置示意图

图7是红外光线与摄像机光路示意图

具体实施方式

下面结合附图及实施例对本发明说明如下：

一.疲劳驾驶状态监控装置的硬件组成

本装置的电源由机动车上的电源经电源变换器接入。机动车在行驶过程中，该装置实施监控。系统由以下硬件部分组成：红外光源、红外带通滤光镜头、红外线黑白摄像机、视频解码器、视频缓冲接口、同步动态存储器、闪存、系统逻辑产生模块、异步串行通信接口、数字信号处理器、单片机、车速传感器(车载)和预警提示、报警与制动电路等。如图1所示框图。按电路功能可分为图像采集、转换模块、DSP图像处理、识别模块和单片机控制预警提示、报警、制动电路。

1.图像采集模块

红外敏感的黑白CCD摄像机，要求波长800nm～900nm范围内有较高敏感性；两个红外光源，中心波长约850nm，功率10mW；红外带通滤波镜头，中心波长850nm，半带宽12nm，峰值通透率83％。

2.图像采集和转换模块

图像转换由视频解码器完成，视频解码器负责将摄像机输出的模拟视频信号转换成Y∶U∶V为4∶2∶2的数字视频信号.在DSP的控制下，将其存入视频缓冲接口FIFO中，DSP利用读语句从视频缓冲接口获得视频数据，处理、识别和判断后经HPI口传给单片机系统。

3.DSP图像处理和识别模块

DSP(TMS320C6711)是整个疲劳驾驶状态监测系统的核心，它的任务是从RAM中读取一帧图像，然后应用处理算法对整幅图像进行处理，即进行图像的数字化采集、数字图像的预处理，人脸识别和眼睛的定位与跟踪，将识别结果进行计算后判断驾驶员是否疲劳以及疲劳程度。系统逻辑产生模块(CPLD)主要实现数字信号处理器(DSP)系统综合逻辑控制、地址译码、协调处理器等功能。同步动态存储器(SDRAM)作为数据存储器。闪存作为程序存储器，具有在线可编程能力。

4.单片机控制模块

单片机接收数字信号处理器送来的判别结果和车速传感器送来的车速信号，输出控制信号驱动预警提示和报警及制动电路，以声和光等方式提示驾驶员以及对机动车直接制动，实现对疲劳驾驶状态事故的有效主动防范控制。

5.异步串行通信接口

本装置还提供与PC机间采用RS232串口通讯协议进行串口通讯，由于DSP系统的资源毕竟有限，所以提供与PC间的通讯可使PC机完成其它扩展功能。

二.数字信号处理器的软件系统

数字信号处理器软件系统采用专用汇编语言和C语言混合编程实现，软件系统结构如图2所示。各模块功能如下：

(1)主模块：完成各个模块初始化工作，对各个模块的工作流程进行控制。系统的初始化工作包括：对数字信号处理器(DSP)的外部存储器接口初始化；对同步动态存储器(SDRAM)初始化；对视频解码器的初始化等。

(2)图像采集和转换模块：采集驾驶员脸部图像，进行数字化处理后将图像存放到存储器中。

(3)驾驶员疲劳状态识别模块：驾驶员疲劳程度识别在整个系统中处于最重要的地位，识别流程如图4所示，主要包括图像预处理、人脸定位、眼睛定位、眼睛跟踪、眼睛状态判定、疲劳程度识别。图像预处理部分主要是对图像进行预处理，主要有增强图像对比度，增强人脸轮廓；图像二值化处理，将人脸图像数据转换为二值图像数据，并检查图像噪声，去除影响人脸和眼睛检测的噪声；在人脸定位的基础上利用Canny算子进行边缘提取定位眼睛，综合Kalman滤波和Mean Shift算法实现眼睛跟踪。眼睛闭合状态的判定是采用模板匹配的方法。眼睛模板有左眼睁、左眼闭、右眼睁、右眼闭四种，每次找到眼睛后用这四种模板进行匹配，取相似度值最大的作为最终的眼睛状态。根据眼睛的状态可以计算出驾驶员眨眼持续时间，眨眼频率和PERCLOS值：

D(t)＝t₆-t₁

其中：t₁眼睛睁开到最大程度的时刻；

t₆眼睛再次睁开到最大程度的时刻；

眨眼频率：

v = \frac{M}{T}

T是固定时间间隔(如30秒)；

f = \frac{t_{4} - t_{3}}{t_{5} - t_{2}} \times 100 %

其中：t₂眼睛睁开程度减小到80％的时刻；

t₃眼睛睁开程度减小到20％的时刻；

t₄眼睛再次睁开到20％的时刻；

t₅眼睛再次睁开到80％的时刻，见图3。

把上面计算得到的值与事先设定的阈值进行比较判断出驾驶员的疲劳状态：没有睡意、轻微睡意、中度睡意及重度睡意。

(4)数据输出模块：将数字信号处理器判断出的结果送入单片机，让单片机执行相应的控制。

(5)通讯模块：完成PC和DSP间的通讯任务，完成其他与计算机相连接的用途。

(6)异常处理模块：处理监控过程中的异常情况，比如光线变化超过系统的容许的限度，导致监控工作无法继续进行下去。

三.单片机与执行器部分

把判断的结果经HPI接口送入单片机，单片机根据判断结果和车速高低执行相应的控制功能，如图5所示。单片机可以控制报警鸣叫器在不同类报警时发出不同频率的声音，制动执行于电喷机动车的EFI系统或ABS系统。

根据车速和疲劳状态设定相应警告级别：

轻微睡意状态：无论机动车是低速还是高速行驶，单片机都驱动发光管按照较慢的频率点亮、熄灭，报警鸣叫器发出一定频率的声音对进行驾驶员预警提示；

中度睡意：机动车低速行驶时，单片机驱动发光管按照较快的频率点亮、熄灭，报警鸣叫器发出高频刺耳的声音，执行强行唤醒驾驶员功能；机动车高速行驶时，单片机同时驱动电喷机动车的EFI系统和ABS系统，从而达到减速制动目的。

重度睡意：无论机动车是低速还是高速行驶，单片机都同时驱动电喷机动车的EFI系统和ABS系统，从而达到减速制动目的。

装置的安装位置如图6所示。红外黑白摄像机，安装在仪表盘上，距离人脸0.4～0.7米，使得每帧图像中人脸基本处于正中，并占据大部分面积。两个红外光源安装在摄像机两侧，其光线与摄像机光轴成一定角度，如图7所示；以数字信号处理器为核心的嵌入式系统体积很小，可以安装在机动车的任何部位。

Claims

1.一种疲劳驾驶状态监控装置，包括图像采集和转换系统、图像处理和识别以及实时跟踪系统、眼睛状态识别系统、疲劳状态识别系统、预警提示和报警以及制动系统，其特征在于：

所述的图像采集和转换系统是由两个红外光源、中心波长为850nm的带通红外滤波镜头、红外黑白摄像机、视频解码器、数字信号处理器DSP和相应的软件来实现；

所述的图像处理和识别以及实时跟踪系统是将采集到的图像在数字信号处理器中采用相应的程序完成人脸定位、眼睛定位与跟踪，在人脸定位的基础上利用Canny算子进行边缘提取定位眼睛，综合Kalman滤波和Mean Shift算法实现眼睛跟踪；

所述的眼睛状态识别系统是采用模板匹配的方法，并以相似度衡量相似程度来识别眼睛状态，检测人脸和跟踪眼睛以及识别眼睛的状态，以此确定驾驶员的疲劳状态，眼睛模板有左眼睁、左眼闭、右眼睁、右眼闭四种，每次找到眼睛后用这四种模板进行匹配，取相似度值最大的作为最终的眼睛状态；

所述的疲劳状态识别系统是依据眼睛的开合状态计算眨眼持续时间，眨眼频率和PERCLOS值，并根据上述计算值与事先设定的阈值进行比较判断出驾驶员的疲劳状态：没有睡意、轻微睡意、中度睡意及重度睡意；

所述的预警提示和报警以及制动系统是将判断结果送入单片机，单片机依据判断结果和车速高低执行相应的没有睡意、轻微睡意、中度睡意或重度睡意控制。

2.用于疲劳驾驶状态监控装置的方法，其特征在于该方法首先是利用两束和摄像机光轴成一定角度的红外光线对驾驶员眼部照射；其次是将采集到的图像信号由数字信号处理器的图像处理程序进行处理，得到眼睛图像；最后是利用Kalman滤波器和Mean Shift算法实现眼睛跟踪，获得眼睛的状态后，通过图像处理程序计算出眨眼持续时间，眨眼频率和PERCLOS值，来判断驾驶员的疲劳程度；

D(t)＝t₆-t₁

其中：t₁眼睛睁开到最大程度的时刻；

t₆眼睛再次睁开到最大程度的时刻；

眨眼频率：

v = \frac{M}{T}

T是固定时间间隔(如30秒)；

f = \frac{t_{4} - t_{3}}{t_{5} - t_{2}} \times 100 %

其中：t₂眼睛睁开程度减小到80％的时刻；

t₃眼睛睁开程度减小到20％的时刻；

t₄眼睛再次睁开到20％的时刻；

t₅眼睛再次睁开到80％的时刻。