CN101574260B - 车载疲劳预警装置及方法 - Google Patents

Abstract

本发明公开了一种车载疲劳预警装置及方法。所述车载疲劳预警装置包括：图像采集单元、图像处理及定位单元、疲劳检测单元；用于控制各功能单元协调工作的控制单元及报警单元。所述车载疲劳预警方法包括以下步骤：第一步，采集瞳孔图像数据；第二步，对采集的瞳孔图像数据进行定位处理；第三步，计算瞳孔面积，并根据单位时间内眼睛闭合时间所占的百分比判断驾驶员是否疲劳；第四步，根据判断结果发出报警信号。本发明采用FPGA芯片，通过数字电路系统形式来实现眼睛定位算法。与现有技术相比，实时响应较高，能够快速对疲劳状态做出及时的预警，同时具有体积小，功耗低，安装方便等优点，非常适合用于车载电子系统。

Description

车载疲劳预警装置及方法

技术领域

本发明涉及疲劳驾驶监检仪器及方法领域，特别涉及一种车载疲劳预警装置及方法。

背景技术

目前疲劳驾驶监检的方法的种类：一类是利用人疲劳时的生理特征与疲劳的关系，通过检测这些生理特征来监测测试者的疲劳状态。

检测驾驶员视网膜大小的PERCLOS法(percentage of eyelidclosureover the pupil overtime)。PERCLOS是指眼睛闭合时间占某一特定时间的百分率。通过安装在驾驶员前方仪表板上的摄像头，获得驾驶员眨眼频率与眼部闭上时间的数据.其他测量方法和传感器。利用脉搏变化与疲劳之间的关系来监测驾驶员的精神状态，利用脑电图来检测疲劳。

另一类是利用驾驶员驾驶行为与疲劳的关系，通过检测驾驶员的驾驶行为来监测驾驶员的疲劳状态。当前，利用驾驶员驾驶行为开发的驾驶疲劳监测系统主要有以下几种：

美国研制的瞌睡驾驶员侦探系统DDDS(drowsy driverdetectionsystem)，采用多普勒雷达和复杂的信号处理方法，可获取驾驶员烦躁不安的情绪活动、眨眼频率和持续时间等疲劳数据。

头部位置传感器(head position sensor)，由ASCI(AdvancedSafetyConcepts，Inc.)研制开发的用于计算驾驶员头部位置的传感器，通过头部位置的变化规律判定司机是否瞌睡。

方向盘监视装置(steering attention monitor)，一种监测方向盘非正常运动的传感器装置。

DAS2000型路面警告系统(DAS2000 road alert system)，一种设置在高速公路上用计算机控制的红外线监测装置，当行驶车辆越过道路中线或路肩时，向驾驶员发出警告。

综上所述，目前疲劳驾驶监检的方法大概有以下几类：(1)传感器测量方法；(2)利用脉搏变化与疲劳之间的关系来监测驾驶员的精神状态；(3)利用脑电图来检测疲劳；(4)嘴部状态的疲劳驾驶监测方法；(5)头部位置传感器(head position sensor)；(6)方向盘监视装置(steeringattention monitor)；(8)检测驾驶员视网膜大小的PERCLOS法(percentage of eyelid closure over the pupil overtime)。

目前疲劳检测方法的比较如表1所示：可以看出，现有技术的疲劳检测系统及方法准确性极差，最高为78.80％；而且实时性、适用性偏低。

现有系统的体积一般较为庞大，安装不方便，同时成本较高。

检测方法

准确性

实时性

全天候

抗干扰

舒适性

集成度

适用性

脉搏

一般

高

高

一般

低

高

高

脑电图

46.60％

高

高

高

低

低

低

嘴部闭合

一般

高

低

低

高

高

一般

头部位置

52.90％

一般

一般

低

高

高

一般

方向盘监视

低

一般

高

高

高

高

一般

反映时间测试仪

低

一般

高

一般

一般

低

一般

PERCLOS

78.80％

低

高

低

高

高

高

表1

上述产品平台的选择有以下几种：(1)基于PC机方案：该方案系统已经比较完善，但缺点是成本高、功耗大、不适合车载。(2)基于SOC或ASIC方案：缺点是研发成本巨大。

发明内容

为了克服现有技术存在的现有技术的疲劳检测系统及方法准确性极差，实时性、适用性偏低，产品平台的成本高、功耗大、不适合车载、研发成本巨大，体积较为庞大，安装不方便，同时成本较高的技术问题，本发明提供了一种车载疲劳预警装置及方法。

本发明解决现有技术存在的问题所采用的技术方案是：提供一种车载疲劳预警装置。所述车载疲劳预警装置包括：用于采集瞳孔图像数据的图像采集单元；用于对采集的瞳孔图像数据进行定位处理的图像处理及定位单元；用于计算瞳孔面积，并根据PERCLOS方法(单位时间内眼睛闭合时间所占的百分比)判断驾驶员是否疲劳的疲劳检测单元；用于控制各功能单元协调工作的控制单元；和用于根据判断结果发出报警信号的报警单元；所述图像采集单元、图像处理及定位单元、疲劳检测单元及报警单元依次连接；所述控制单元分别与所述图像采集单元、图像处理及定位单元、疲劳检测单元及报警单元连接。

根据本发明所述的车载疲劳预警装置一优选技术方案：所述图像采集单元进一步包括：用于采集瞳孔图像数据的摄像传感单元；用于滤波的滤波单元，安装于摄像传感单元上；用于交替闪烁，使摄像传感单元获取亮瞳孔图像数据和暗瞳孔图像数据的两组LED光源，一组LED光源设置于摄像传感单元物镜的轴上，另一组LED光源设置于摄像传感单元物镜的轴外，所述两组LED光源处于同一平面内；所述控制单元采用FPGA单片机。

根据本发明所述的车载疲劳预警装置一优选技术方案：所述图像处理及定位单元进一步包括：用于提取瞳孔图像数据的灰度分量，并对亮、暗两幅瞳孔图像数据做差分处理的差分单元；用于对差分后的瞳孔图像数据进行卡尔曼滤波的卡尔曼滤波单元；和用于对差分、滤波后的瞳孔图像数据做二值化、去噪处理，并利用灰度投影原理对瞳孔进行定位的眼睛定位单元；所述差分单元、卡尔曼滤波单元及眼睛定位单元依次连接。

根据本发明所述的车载疲劳预警装置一优选技术方案：所述疲劳检测单元进一步包括：用于计算瞳孔面积大小的瞳孔面积计算单元；用于根据瞳孔面积判断眼睛状态：眼睛张开为“1”，眼睛闭合为“0”，并将眼睛状态组成一个时间状态序列的状态序列生成单元；和用于根据时间状态序列，计算驾驶员在一段时间内眼睛闭合所占的时间百分比，据此判断驾驶员是否疲劳的判断单元。

根据本发明所述的车载疲劳预警装置一优选技术方案：所述疲劳检测单元进一步包括：用于判断瞳孔定位是否成功的跟踪定位判断单元；所述跟踪定位判断单元连接于瞳孔面积计算单元与状态序列生成单元之间。

本发明提供了一种车载疲劳预警方法。所述车载疲劳预警方法包括以下步骤：第一步.采集瞳孔图像数据；第二步.对采集的瞳孔图像数据进行定位处理；第三步.计算瞳孔面积，并根据PERCLOS方法(单位时间内眼睛闭合时间所占的百分比)判断驾驶员是否疲劳；第四步.根据判断结果发出报警信号。

根据本发明所述的车载疲劳预警方法一优选技术方案：所述第一步进一步包括以下子步骤：首先.控制单元两组LED光源交替闪烁；然后.摄像传感单元获取亮瞳孔图像数据和暗瞳孔图像数据。

根据本发明所述的车载疲劳预警方法一优选技术方案：所述第二步进一步包括以下子步骤：首先.提取瞳孔图像数据的灰度分量，并对亮、暗两幅瞳孔图像数据做差分处理；其次.对差分后的瞳孔图像数据进行卡尔曼滤波；最后.对差分、滤波后的瞳孔图像数据做二值化、去噪处理，并利用灰度投影原理对瞳孔进行定位。

根据本发明所述的车载疲劳预警方法一优选技术方案：所述第三步进一步包括以下子步骤：首先.计算瞳孔面积大小的瞳孔面积；其次.根据瞳孔面积判断眼睛状态：眼睛张开为“1”，眼睛闭合为“0”，并将眼睛状态组成一个时间状态序列；最后.根据时间状态序列，计算驾驶员在一段时间内眼睛闭合所占的时间百分比，据此判断驾驶员是否疲劳。

根据本发明所述的车载疲劳预警方法一优选技术方案：所述第三步进一步包括一判断瞳孔定位是否成功，如果定位不成功，则返回第二步的步骤。

本发明车载疲劳预警装置及方法的有益技术效果是：本发明采用FPGA芯片，通过数字电路系统形式来实现眼睛定位算法。与现有技术相比，实时响应较高，能够快速对疲劳状态做出及时的预警，同时具有体积小，功耗低，安装方便等优点，非常适合用于车载电子系统。

附图说明

图1是本发明车载疲劳预警装置的结构框图；

图2是本发明车载疲劳预警装置的图像采集单元的结构框图；

图3是本发明实施例中车载疲劳预警装置的CMOS图像传感器及两组LED光源的结构图；

图4是本发明车载疲劳预警装置的图像处理及定位单元的结构框图；

图5是本发明车载疲劳预警装置的疲劳检测单元的结构框图；

图6是本发明实施例中车载疲劳预警装置的结构框图；

图7是本发明车载疲劳预警方法的流程图；

图8是本发明车载疲劳预警方法的采集瞳孔图像数据的流程图；

图9是本发明车载疲劳预警方法的瞳孔图像数据处理的流程图；

图10是本发明车载疲劳预警方法的疲劳判断的流程图；

图11是本发明具体实施例中的车载疲劳预警方法的流程图；

图12是本发明具体实施例中的车载疲劳预警方法的亮瞳孔图像；

图13是本发明具体实施例中的车载疲劳预警方法的暗瞳孔图像；

图14是本发明具体实施例中的车载疲劳预警方法的差分图像；

图15是本发明具体实施例车载疲劳预警方法的PERCLOS方法的原理图。

具体实施方式

下面结合附图及具体实施例对本发明做详细说明。

请参照图1，本实施例的车载疲劳预警装置，包括：用于采集瞳孔图像数据的图像采集单元；用于对采集的瞳孔图像数据进行定位处理的图像处理及定位单元；用于计算瞳孔面积，并根据PERCLOS方法判断驾驶员是否疲劳的疲劳检测单元；用于控制各功能单元协调工作的控制单元；和用于根据判断结果发出报警信号的报警单元；所述图像采集单元、图像处理及定位单元、疲劳检测单元及报警单元依次连接；所述控制单元分别与所述图像采集单元、图像处理及定位单元、疲劳检测单元及报警单元连接。

请参照图2及图3，所述图像采集单元进一步包括：用于采集瞳孔图像数据的摄像传感单元；用于滤波的滤波单元，安装于摄像传感单元上；用于交替闪烁，使摄像传感单元获取亮瞳孔图像数据和暗瞳孔图像数据的两组LED光源，一组LED光源1设置于摄像传感单元物镜3的轴上，另一组LED光源2设置于摄像传感单元物镜3的轴外，所述两组LED光源处于同一平面内；所述控制单元采用FPGA单片机。

请参照图4，所述图像处理及定位单元进一步包括：用于提取瞳孔图像数据的灰度分量，并对亮、暗两幅瞳孔图像数据做差分处理的差分单元；用于对差分后的瞳孔图像数据进行卡尔曼滤波的卡尔曼滤波单元；和用于对差分、滤波后的瞳孔图像数据做二值化、去噪处理，并利用灰度投影原理对瞳孔进行定位的眼睛定位单元；所述差分单元、卡尔曼滤波单元及眼睛定位单元依次连接。

请参照图5，所述疲劳检测单元进一步包括：用于计算瞳孔面积大小的瞳孔面积计算单元；用于根据瞳孔面积判断眼睛状态：眼睛张开为“1”，眼睛闭合为“0”，并将眼睛状态组成一个时间状态序列的状态序列生成单元；和用于根据时间状态序列，计算驾驶员在一段时间内眼睛闭合所占的时间百分比，据此判断驾驶员是否疲劳的判断单元。

请参照图6，本实施例车载疲劳预警装置优选技术方案是：所述车载疲劳预警装置包括：配有滤光片的CMOS红外摄像头和分布在物镜的内轴和外轴位置的2种红外LED发光二极管(图像采集单元)、视频解码芯片和SDRAM芯片(图像处理及定位单元)、接口逻辑与时序控制FPGA(控制单元)、语音芯片和扬声器(报警单元)。设计本系统是由红外光源、CMOS摄像头、FPGA控制主板、报警电路和相应的软件组成的防疲劳驾驶系统。基于PERCLOS算法，通过特殊设计的硬件电路，可以使得两个红外光源按设计的要求交替开关以分别使图像传感器接收亮瞳孔图像和暗瞳孔图像，经嵌入式数字信号处理器运算处理，通过把亮瞳孔图像和暗瞳孔图像相减可以方便地得到清晰的瞳孔像。利用主动红外光源产生红眼效应的原理，获取差分图像，瞳孔定位和跟踪算法来检测驾驶员的眼睛开闭状态，以此来判断其疲劳状况并实行实时报警。

硬件配置为：

1、CMOS红外摄像头：OV7141型号传感器；

2、单片FPGA开发板；

3、红外LED：850nm与940nm的红外LED发光二极管；

4、接口：视频输入接口

硬件型号为：

SDRAM：          hy57v561620ftp-h

FPGA芯片：       EP2C35F484C8

EPCS16：         EPCS16SI16N

视频解码芯片：   SAA7113

CMOS图像传感器： OV7620

滤光片：         HWB850

请参照图7，本实施例的车载疲劳预警方法包括以下步骤：第一步.采集瞳孔图像数据；第二步.对采集的瞳孔图像数据进行定位处理；第三步.计算瞳孔面积，并根据PERCLOS方法判断驾驶员是否疲劳；第四步.根据判断结果发出报警信号。

请参照图8，所述第一步进一步包括以下子步骤：首先.控制单元两组LED光源交替闪烁；然后.摄像传感单元获取亮瞳孔图像数据和暗瞳孔图像数据。

请参照图9，所述第二步进一步包括以下子步骤：首先.提取瞳孔图像数据的灰度分量，并对亮、暗两幅瞳孔图像数据做差分处理；其次.对差分后的瞳孔图像数据进行卡尔曼滤波；最后.对差分、滤波后的瞳孔图像数据做二值化、去噪处理，并利用灰度投影原理对瞳孔进行定位。

请参照图10，所述第三步进一步包括以下子步骤：首先.计算瞳孔面积大小的瞳孔面积；其次.根据瞳孔面积判断眼睛状态：眼睛张开为“1”，眼睛闭合为“0”，并将眼睛状态组成一个时间状态序列；最后.根据时间状态序列，计算驾驶员在一段时间内眼睛闭合所占的时间百分比，据此判断驾驶员是否疲劳。

请参照图11，本实施例车载疲劳预警方法优选技术方案是：系统上电后，两组LED灯交替闪烁，通过控制两组LED灯的时序使装有滤光片的图像传感器分别接收到亮瞳孔和暗瞳孔图像，把接收到的亮、暗瞳孔图像数据存入SDRAM控制器，提取图像的灰度分量的同时对两幅图像做差分，获得只有瞳孔的差分图像，然后对差分图像二值化，并借助形态学算子腐蚀、膨胀对二值图像进行去噪处理，然后利用灰度投影原理实现了对瞳孔的定位，最后通过计算瞳孔面积并依据perclos P80原理来判断疲劳与否，并根据判断结果来控制报警电路是否报警。

请参照图12～14，所用的光源由两组红外LED组成，一组放置在物镜的轴上，另一组轴外。两组光源放同一平面内，通过特殊设计的硬件电路，可以使得两个红外光源按设计的要求交替开关以分别使图像传感器接收亮瞳孔图像和暗瞳孔图像，基于FPGA电路经把嵌入式数字信号做运算处理，通过把亮瞳孔图像和暗瞳孔图像相减可以方便地得到清晰的差分孔像。

请参照图15，PERCLOS(percentage of eyelid closure over the pupilovertime)是指眼睛闭合时间占某一特定时间的百分率。通过安装在驾驶员前方仪表板上的摄像头，获得驾驶员眨眼频率与眼部闭上时间的数据，作为判断驾驶员警觉程度的依据。在实际运用过程中PERCLOS的P80标准(眼睛闭合程度超过80％的时间占某一特定时间的百分比)表现出与驾驶疲劳程度较好的相关性。实践证明驾驶员眼睛闭合的时间越长，疲劳程度就越严重。因此可以通过测量眼睛闭合时间的长短就能够确定疲劳驾驶的程度。其原理图所示。

根据前面的分析，我们可以知道每一帧图像驾驶员眼睛的状态为开、闭两种。判定疲劳驾驶状态，不能只根据当前一帧驾驶员眼睛的状态来判断，因为本发明是采用PERCI刀S测童原理来进行司机疲劳的判定，即根据一定时间内司机眼睛闭合所占的百分比的多少。这就需要根据驾驶员眼睛状态的连续时间系列数据统计规律统计决定驾驶员的疲劳状态。如果用“0”表示眼睛闭合状态，用“1”表示眼睛张开状态，那么驾驶员眼睛状态就是由“0”、“1”组成的一个时间状态系列。本发明将根据这时间状态系列来判断驾驶员的状态。

驾驶员在正常驾驶过程中，其眼睛大部分时间处于张开状态，眼睛闭合时间较短，眨眼频率较快。当驾驶员处于疲劳驾驶状态时，其眼睛闭合时间变长，眨眼频率变慢。对于不同人，其眼睛张开和闭合频率不同，而且，对于同一个人，其眨眼频率因各种环境的影响也会有较大改变。为了减少驾驶员状态报警的误警率，提高系统报警的准确性，考虑到眼睛张开的时间大于闭合的时间，因此，本发明采用PERCLOS原理即驾驶员在一段时间内眼睛闭合所占的时间百分比作为驾驶员疲劳的判断标准，当一分钟内眼睛80％的时间是闭合的为疲劳。

本实施例的采用FPGA实现车载防瞌睡的方案是非接触式检测疲劳瞌睡，实用方便，不需要佩戴传感器等设备在身上采用单片FPGA，外围很少的元器件实现，集成度高，占用空间小可配置性强，关键代码可由硬件加速器实现，设计架构上可以根据需要，逐步加大硬件功能，减少CPU负荷，优化系统性能；可扩展性强，比如后续开发人脸的身份识别组件等。

以上内容是结合具体的优选技术方案对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (2)

1.一种车载疲劳预警装置，所述车载疲劳预警装置包括：用于采集瞳孔图像数据的图像采集单元；用于控制各功能单元协调工作的控制单元，其特征在于：还包括用于对采集的瞳孔图像数据进行定位处理的图像处理及定位单元；用于计算瞳孔面积，并根据单位时间内眼睛闭合时间所占的百分比判断驾驶员是否疲劳的疲劳检测单元；和用于根据判断结果发出报警信号的报警单元；所述图像采集单元进一步包括：用于采集瞳孔图像数据的摄像传感单元；用于滤波的滤波单元，安装于摄像传感单元上；用于交替闪烁，使摄像传感单元获取亮瞳孔图像数据和暗瞳孔图像数据的两组LED光源，一组LED光源设置于摄像传感单元物镜的轴上，另一组LED光源设置于摄像传感单元物镜的轴外，所述两组LED光源处于同一平面内；控制单元采用FPGA单片机；所述图像处理及定位单元进一步包括：用于提取瞳孔图像数据的灰度分量，并对亮、暗两幅瞳孔图像数据做差分处理的差分单元；用于对差分后的瞳孔图像数据进行卡尔曼滤波的卡尔曼滤波单元；和用于对差分、滤波后的瞳孔图像数据做二值化、去噪处理，并利用灰度投影原理对瞳孔进行定位的眼睛定位单元；所述差分单元、卡尔曼滤波单元及眼睛定位单元依次连接；所述疲劳检测单元进一步包括：用于计算瞳孔面积大小的瞳孔面积计算单元；用于根据瞳孔面积判断眼睛状态：眼睛张开为“1”，眼睛闭合为“0”，并将眼睛状态组成一个时间状态序列的状态序列生成单元；和用于根据时间状态序列，计算驾驶员在一段时间内眼睛闭合所占的时间百分比，据此判断驾驶员是否疲劳的判断单元，所述疲劳检测单元进一步包括：用于判断瞳孔定位是否成功的跟踪定位判断单元；所述跟踪定位 判断单元连接于瞳孔面积计算单元与状态序列生成单元之间；所述图像采集单元、图像处理及定位单元、疲劳检测单元及报警单元依次连接；所述控制单元分别与所述图像采集单元、图像处理及定位单元、疲劳检测单元及报警单元连接。

2.一种车载疲劳预警方法，其特征在于：所述车载疲劳预警方法包括以下步骤：

A.采集瞳孔图像数据；

B.对采集的瞳孔图像数据进行定位处理；

C.计算瞳孔面积，并根据单位时间内眼睛闭合时间所占的百分比判断驾驶员是否疲劳；

D.根据判断结果发出报警信号，

所述步骤A进一步包括以下子步骤：

A1.控制单元两组LED光源交替闪烁；

A2.摄像传感单元获取亮瞳孔图像数据和暗瞳孔图像数据，

所述步骤B进一步包括以下子步骤：

B1.提取瞳孔图像数据的灰度分量，并对亮、暗两幅瞳孔图像数据做差分处理；

B2.对差分后的瞳孔图像数据进行卡尔曼滤波；

B3.对差分、滤波后的瞳孔图像数据做二值化、去噪处理，并利用灰度投影原理对瞳孔进行定位，

所述步骤C进一步包括以下子步骤：

C1.计算瞳孔面积大小的瞳孔面积； 

C2.根据瞳孔面积判断眼睛状态：眼睛张开为“1”，眼睛闭合为“0”，并将眼睛状态组成一个时间状态序列；

C3.根据时间状态序列，计算驾驶员在一段时间内眼睛闭合所占的时间百分比，据此判断驾驶员是否疲劳，

所述步骤C进一步包括一判断瞳孔定位是否成功，如果定位不成功，则返回步骤B的步骤。 

Images