CN101551934A - 驾驶员疲劳驾驶的监测装置及监测方法 - Google Patents

Abstract

本发明涉及一种驾驶员疲劳驾驶的监测装置及监测方法。首先对摄像机采集的面部图像信息进行二值化处理，再将二值化亮度分量的数字矩阵分别进行水平、垂直累加，截取脸部像素，画出脸部定位框；进行水平复杂度计算，画出眼部定位框；通过对复杂度第一、二峰值的比值，第一峰值与脸部定位框的水平宽度的比值，第一峰值的水平位置是否在阈值范围内的判断得出驾驶员眼睛的睁闭状态；从而确定驾驶员是否处于疲劳驾驶状态；若判断得出驾驶员正处于疲劳驾驶状态，则自动启动报警装置，同时在显示器上输出一幅彩色图像；若通过判断得出驾驶员当前并不是处于疲劳驾驶状态，则直接在显示器上输出一幅彩色图像。该装置实时性强，准确率高，且为非接触式。

Description

驾驶员疲劳驾驶的监测装置及监测方法

技术领域：

本发明涉及一种驾驶员疲劳驾驶的监测装置及监测方法。

背景技术：

驾驶员疲劳驾驶是造成交通事故的一个重要因素。据统计，我国因疲劳驾车而造成的交通事故占总数的20％左右，占特大交通事故的40％以上，占交通事故死亡率的83％。2001年在美国进行的一项调查发现，有53％的被调查者曾在驾驶时打过磕睡；2003年赛诺非一圣德拉堡发起的驾车者警觉度测试和问卷调查结果显示，在516名驾驶者中，24％感觉有疲劳驾驶。由此可见，疲劳驾驶是造成交通事故的一个重要因素。

目前，对驾驶员疲劳驾驶的监测方法中共有以下3类监测指标：

一、通过监测驾驶员的生理信号评价驾驶员的疲劳状态。该方法是3类监测指标中最有代表性的，该方法通过监测驾驶员的生理信号来评价驾驶员的疲劳状态。用于监测驾驶员疲劳状态的生理信号主要包括脑电信号、心电信号及肌电信号。脑电信号一直被誉为监测疲劳的“金标准”，但需要在头上粘贴电极，并且脑电信号容易受外界因素干扰且个体间的生理反映差距较大，价格过高；因此，还没有投入到实际应用中。心电信号的监测具有简单易行，非侵入式，可随身携带等优点，其不足之处在于敏感性和诊断性较差。肌电信号的监测也需要在身体上固定好电极，其不便性和不稳定性也限制了其发展。

二、通过监测驾驶员的个体特征评价驾驶员的疲劳状态。其中，个体特征主要包括：瞳孔直径、眼睛特征、头部位移及驾车动作。其中，眼睛特征被大部分研究驾驶员疲劳状态的机构所采用。PERCLOS(眼睛闭合时间占特定时间的百分率)被作为一项生理疲劳程度的监测指标。人在疲劳磕睡时，眼睑的眨动一般较频繁，眼睛的闭合时间也较长。研究发现：一般情况下，人们眼睛闭合的时间在0.2到0.3s之间，驾驶时若驾驶员眼睛闭合的时间达到0.5s就很容易发生交通事故。目前，PERCLOS已被公认为是最有效的、车载的、实时的驾驶疲劳测评方法。

三、通过监测车辆的参数评价驾驶员的疲劳状态。目前普遍采用的是监测车辆的方向盘运动情况及行驶方向。

我国关于疲劳驾驶监测装置和监测方法的研究起步较晚，目前比较成型的是通过传感器测量驾驶员驾驶时方向盘、踏板等的运动参数来判断驾驶员的安全系数，研究发现方向盘的操纵情况与驾驶员的疲劳程度有一定的联系，方向盘较长时间不动，说明驾驶员在打瞌睡。现有的驾驶员疲劳驾驶的监测方法多基于传感器等检测技术，其虽然能够对驾驶员的疲劳驾驶进行监测，但由于传感器的接触式设计给驾驶员的行动带来了不便。还有一些是基于视觉的疲劳监测方法，其中的算法过于复杂繁琐，严重影响实时性的要求。

综上所述，虽然目前已经有多种装置和方法能够监测驾驶员的疲劳状态，但是大都仅限于理论研究的层次，已经问世的监测装置和监测方法存在着很多局限性，有很多有待解决的问题。首先，现有的监测方法中由于驾驶员的个体差异，使监测方法不能够非常准确地反映驾驶员的疲劳状态。再者，接触式带来的不便性，实时性不高带来的延时报警，以及装置基于PC机难以实现车载等缺陷都制约了其产品化发展。

发明内容：

本发明就是针对上述问题，提供一种实时性强，准确率高的非接触式驾驶员疲劳驾驶的监测装置及监测方法。

为了实现上述目的，本发明采用如下技术方案，一种驾驶员疲劳驾驶的监测装置，包括ICETEK-DM642-C板卡上集成的芯片、器件及外部装置，所述的板卡上集成的芯片、器件包括DM642芯片、视频解码芯片、视频编码芯片、FLASH芯片、RAM存储器、LED灯；DM642芯片分别与视频解码芯片、视频编码芯片、FLASH芯片、RAM存储器、LED灯相连；FLASH芯片与RAM存储器相连；所述的外部装置包括报警装置、电源装置、摄像机及显示器；报警装置由光敏开关与扬声器组成，光敏开关的感光探头与LED灯密封在一起，摄像机与视频解码芯片的输入端口相连，视频编码芯片的输出端口与显示器相连；在所述的FLASH芯片内嵌入有监测处理模块，该模块包括：

二值化处理模块，用于将摄像机采集到的面部图像信息进行二值化处理；

水平、垂直累加模块，用于对脸部边缘进行确定，截取脸部像素，画出脸部定位框；

水平复杂度计算模块，用于画出眼部定位框，找出复杂度第一峰值、第二峰值；

疲劳驾驶状态判断模块，用于通过对复杂度第一峰值与第二峰值的比值，复杂度第一峰值与脸部定位框的水平宽度的比值，复杂度第一峰值的水平位置是否在阈值范围内的判断得出驾驶员眼睛的睁闭状态，并通过分析确定驾驶员当前是否处于疲劳驾驶状态；

报警及图像显示模块，用于当驾驶员处于疲劳驾驶状态时驱动报警装置并通过显示器进行图像的显示。

在所述的电源装置与显示器之间设置有滤波器。

所述的驾驶员疲劳驾驶的监测装置的监测方法，包括以下步骤：

A、通过摄像机采集一幅面部的图像信息，对采集到的图像信息进行二值化处理，再将二值化处理得到的二值化亮度分量的数字矩阵分别进行水平、垂直累加从而对脸部边缘进行确定，截取脸部像素，画出脸部定位框；

B、将原始图像的亮度分量的数字矩阵中脸部定位框内的部分进行水平复杂度计算，画出眼部定位框，并找出复杂度第一峰值、第二峰值；

C、通过对复杂度第一峰值与第二峰值的比值，复杂度第一峰值与脸部定位框的水平宽度的比值，复杂度第一峰值的水平位置是否在阈值范围内的判断得出驾驶员眼睛的睁闭状态；

D、通过对步骤C的分析判断确定驾驶员当前是否处于疲劳驾驶状态；

E、若通过上述判断得出驾驶员当前正处于疲劳驾驶状态，则自动启动报警装置，同时按照原始图像数据在显示器上输出一幅彩色图像，然后返回到步骤A；若通过判断得出驾驶员当前并不是处于疲劳驾驶状态，则直接按照原始图像数据在显示器上输出一幅彩色图像，然后返回到步骤A。

所述的复杂度第一峰值与第二峰值的比值的阈值为1.5。

所述的复杂度第一峰值与脸部定位框的水平宽度的比值的阈值为4。

所述的二值化处理的步骤如下：

通过对肤色相似度矩阵的实验分析得出一椭圆方程：

(x-115)/10²+(y-145)/15²＝1

其中，x为像素点的Cb值，y为像素点的Cr值；

该椭圆的长轴长为130-100＝30，短轴长为155-135＝20，中心点为(Cb，Cr)＝(115，145)；

将所有像素点的Cb、Cr值带入椭圆方程左侧，若计算结果小于等于1则判定该像素点为肤色，将该像素点的亮度分量值变为255；否则判定该像素点为背景，将该像素点的亮度分量值变为0，结果便得到一个二值化亮度分量的数字矩阵，即得出一幅以白色表示脸部区域、黑色表示背景区域的二值化图像。

本发明的有益效果：

本发明经多次实验证明，其监测实时性强，闭眼后0.5s以内就能发出报警；且准确率高，其误判率低于8.7％。本发明可有效地对驾驶员的疲劳驾驶予以监测，并在驾驶员出现疲劳驾驶状态的初期给驾驶员以警示。

本发明的监测方法中的二值化处理与以往的二值化处理的目的相同，但方法不同。比较经典的二值化处理方法是利用高斯模型计算，它是带有e指数的大量重复计算；还有一些类似的方法，但基本上都是采用计算统计的方法找出二值化的阈值。大量的计算统计太费时，严重影响实时性的要求。本发明所采用的二值化处理方法是依据高斯模型人工统计出肤色相似度矩阵，该矩阵中数值的大小由中心向四周递减，呈现出椭圆形的等值曲线；最后通过经验分析，直接以几何中椭圆方程的形式限定二值化的阈值。最终减少了720×530＝38.16万次对e指数的运算；进行一次e指数运算耗时约15um，即处理一帧图像(720×530像素)需要5.7s，是本发明0.04s/帧的142.5倍。因此，本发明的监测方法满足了实时性的要求。而且本发明根据肤色相似度矩阵将二值化的阈值固定在较小的范围内，使二值化图像中的白色区域一定是肤色，即脸部区域；因此，省去了现有技术中普遍应用的灰度积分等操作，再一次免去了大量的重复计算，进一步提高了实时性。

附图说明：

图1是本发明的监测装置的结构示意图；

图2是本发明的监测方法的主流程图。

其中，1.DM642芯片；2.视频解码芯片；3.视频编码芯片；4.FLASH芯片；5.RAM存储器；6.LED灯；7.电源装置；8.光敏开关；9.滤波器；10.摄像机；11.显示器；12.扬声器。

具体实施方式：

如图1所示，一种驾驶员疲劳驾驶的监测装置，包括ICETEK-DM642-C板卡上集成的芯片、器件及外部装置，所述的板卡上集成的芯片、器件包括DM642芯片1、SAA7115视频解码芯片2、SAA7105视频编码芯片3、FLASH芯片4、RAM存储器5、LED灯6；DM642芯片1分别与SAA7115视频解码芯片2、SAA7105视频编码芯片3、FLASH芯片4、RAM存储器5、LED灯6相连；FLASH芯片4与RAM存储器5相连；所述的外部装置包括报警装置、电源装置7、摄像机10及显示器11；报警装置由光敏开关8与扬声器12组成，光敏开关8的感光探头与LED灯6密封在一起，摄像机10与视频解码芯片2的输入端口相连，视频编码芯片3的输出端口与显示器11相连；在所述的FLASH芯片4内嵌入有监测处理模块，该模块包括：

二值化处理模块，用于将摄像机10采集到的面部图像信息进行二值化处理；

水平、垂直累加模块，用于对脸部边缘进行确定，截取脸部像素，画出脸部定位框；

水平复杂度计算模块，用于画出眼部定位框，找出复杂度第一峰值、第二峰值；

疲劳驾驶状态判断模块，用于通过对复杂度第一峰值与第二峰值的比值，复杂度第一峰值与脸部定位框的水平宽度的比值，复杂度第一峰值的水平位置是否在阈值范围内的判断得出驾驶员眼睛的睁闭状态，并通过分析确定驾驶员当前是否处于疲劳驾驶状态；

报警及图像显示模块，用于当驾驶员处于疲劳驾驶状态时驱动报警装置并通过显示器11进行图像的显示。

在电源装置7与显示器11之间设置有滤波器9；从而使电源装置7供给显示器11的电压更平稳，使图像显示得清晰、稳定。

电源装置7将220V交流电转换为5V和12V的直流电；其中5V电压为板卡的总电源供电，即为所有集成在板卡上的芯片、器件供电，12V电压为摄像机10、显示器11及报警装置供电。

在FLASH芯片4内存储着所有的控制程序，通电后FLASH芯片4可自动启动，将控制程序加载到RAM存储器5中，供DM642芯片1调用运行。

下面结合附图对本发明的监测装置的一次使用过程进行说明：

首先，由摄像机10采集一幅面部的图像信息，以模拟信号传输给视频解码芯片2进行解码，然后将解码后的数字图像信息传送给DM642芯片1。DM642芯片1按照预先烧写在FLASH芯片4内的控制程序对数字图像信息进行处理，然后将处理后的图像信息传送给视频编码芯片3进行编码。最后，通过视频编码芯片3的输出端口将编码后的信号传送给显示器11。显示器11接收到信号后，显示处理后的彩色图像。在DM642芯片1进行处理的过程中，如果需要发出报警信号，则驱动LED灯6，使其点亮；此时，光敏开关8为导通状态，扬声器12发出刺耳的报警声。

如图2所示，所述的驾驶员疲劳驾驶的监测装置的监测方法，包括以下步骤：

A、对系统进行初始化设置，包括对摄像机和显示器进行参数设置、加载摄像机和显示器的驱动以及对数据传输端口的设置。其中，对摄像机和显示器的参数设置用以保证输入输出的信号制式相互符合，使数据流畅通。该初始化设置开机后只需执行一次。

B、读入一幅摄像机采集的面部图像(530*720像素)信息。通过对摄像机的设置可以直接由摄像机分别将每个像素点的三个分量值提取出来(每一像素点的色彩由蓝色分量、红色分量、亮度分量三个分量合成，每一分量的值都是从0到255，由低到高逐渐加强。若只显示亮度分量则呈现出的就是一幅灰度图像，即黑白图像)，组成三个530*720的数字矩阵。

C、对采集到的图像信息进行二值化处理。

由于Cb的值为0～255，Cr的值为0～255，利用高斯模型公式对每一对(Cb，Cr)组合进行计算，进而得出256×256的肤色相似度矩阵。通过对矩阵中数值的观察分析发现，矩阵的几何中心区域的数值最大，且呈辐射状向四周递减，边缘处附近区域几乎为0。将矩阵中相近的值用圆滑的曲线连起来，会呈现出近似于椭圆的形状。矩阵中数值越大表明越接近肤色。

由上述分析可知，椭圆内区域所对应的(Cb，Cr)为比较接近肤色的分量值组合。也就是说，人的肤色是在一定范围内变化的。因此，我们把整个矩阵看作平面直角坐标系的第一象限，依据椭圆所在位置构造出椭圆方程。

由实验得出：

Cb在100～130，Cr在135～155时最合适，因此，得出二值化的阈值为：Cb在100～130，Cr在135～155；即椭圆长轴长为130-100＝30，短轴长为155-135＝20。中心点为(Cb，Cr)＝(115，145)。因此椭圆方程为：

(x-115)/10²+(y-145)/15²＝1

其中，x为像素点的Cb值，y为像素点的Cr值；

将所有像素点的Cb、Cr值带入方程左侧，若计算结果小于等于1则判定该像素点为肤色，然后将该像素点变为白色(即将该像素点的亮度分量值变为255)。否则判定该像素点为背景，将该像素点变为黑色(即将该像素点的亮度分量值变为0)。结果便得到一个二值化亮度分量的数字矩阵，即得出一幅以白色表示脸部区域、黑色表示背景区域的二值化图像。

D、对脸部边缘进行确定，截取脸部像素，画出脸部定位框。

将步骤C中得到的二值化亮度分量的数字矩阵的每行数字分别累加，得出530个水平累加值。因为二值化亮度分量的数字矩阵中每行数值或是0或是255，而且人脸必显示在一个封闭的区域内。所以从第一行的累加值开始找出第一个不是0的行A_i和最后一个不是0的行A_j，A_i、A_j行之间就是要识别出的脸部部分。同理，利用垂直累加值找出B_i、B_j列。这样就找出了脸部的边缘，截取脸部像素，画出脸部定位框。

E、计算原始图像的亮度分量的数字矩阵中脸部定位框内的部分的水平复杂度，画出眼部定位框，并找出复杂度第一峰值、第二峰值。

提取脸部定位框内原始图像的亮度分量值，对每行数值进行复杂度计算：

|a₁-a₂|+|a₂-a₃|+|a₃-a₄|+……

从人的面部特征来看，人眼位置的水平线上黑白色差最大，所以复杂度值最大，依此便可以找到眼部位置，画出眼部定位框；并找出复杂度第一峰值、第二峰值。

F、判断驾驶员眼部的睁闭状态。

求出复杂度第一峰值与第二峰值的比值，判断是否在阈值范围内，阈值为1.5，若小于1.5则判断是闭眼状态；求出复杂度第一峰值与脸部定位框的水平宽度的比值(即第一峰值与|B_i-B_j|的比值)是否在阈值范围内，阈值为4，若小于4则判断是闭眼状态；判断复杂度第一峰值的水平位置(即复杂度第一峰值所在的行数)是否在阈值范围内，若不在阈值范围内则判断是闭眼状态。当人睁眼时，复杂度第一峰值的水平位置处于脸部约上1/4的位置；当人闭眼时，复杂度第一峰值的水平位置处于脸部的中下部。

G、上述三个判断按顺序执行，只要有一个判断是闭眼状态就跳出判断环节，使累加器加1。当累加器中的数值大于3时，则判断驾驶员当前正处于疲劳驾驶状态；此时，驱动LED灯使其点亮，光敏开关导通，扬声器发出报警声。如果三个判断均未判断出是闭眼状态，则使累加器置零。这样，只有当连续四幅图像是闭眼状态时才会被判定为驾驶员正处于疲劳驾驶状态，可有效地避免眨眼误判。

H、按照原始图像数据在显示器上输出一幅彩色图像，但保留脸部和眼部的定位框。然后返回到步骤B，如此不断循环往复下去。最终显示器以20帧/s的速度输出，可以呈现出动态的视频效果。

步骤B到步骤H需要不断地重复操作，因此这部分是无限循环程序，一次循环用时约50ms，判断四幅图像用时约0.2s，人正常眨眼用时约0.05s。

Claims (6)

1、一种驾驶员疲劳驾驶的监测装置，包括ICETEK-DM642-C板卡上集成的芯片、器件及外部装置，所述的板卡上集成的芯片、器件包括DM642芯片(1)、视频解码芯片(2)、视频编码芯片(3)、FLASH芯片(4)、RAM存储器(5)、LED灯(6)；DM642芯片(1)分别与视频解码芯片(2)、视频编码芯片(3)、FLASH芯片(4)、RAM存储器(5)、LED灯(6)相连；FLASH芯片(4)与RAM存储器(5)相连；所述的外部装置包括报警装置、电源装置(7)、摄像机(10)及显示器(11)；报警装置由光敏开关(8)与扬声器(12)组成，光敏开关(8)的感光探头与LED灯(6)密封在一起，摄像机(10)与视频解码芯片(2)的输入端口相连，视频编码芯片(3)的输出端口与显示器(11)相连；其特征在于在所述的FLASH芯片(4)内嵌入有监测处理模块，该模块包括：

二值化处理模块，用于将摄像机(10)采集到的面部图像信息进行二值化处理；

水平、垂直累加模块，用于对脸部边缘进行确定，截取脸部像素，画出脸部定位框；

水平复杂度计算模块，用于画出眼部定位框，找出复杂度第一峰值、第二峰值；

疲劳驾驶状态判断模块，用于通过对复杂度第一峰值与第二峰值的比值，复杂度第一峰值与脸部定位框的水平宽度的比值，复杂度第一峰值的水平位置是否在阈值范围内的判断得出驾驶员眼睛的睁闭状态，并通过分析确定驾驶员当前是否处于疲劳驾驶状态；

报警及图像显示模块，用于当驾驶员处于疲劳驾驶状态时驱动报警装置并通过显示器(11)进行图像的显示。

2、根据权利要求1所述的一种驾驶员疲劳驾驶的监测装置，其特征在于在所述的电源装置(7)与显示器(11)之间设置有滤波器(9)。

3、权利要求1所述的驾驶员疲劳驾驶的监测装置的监测方法，其特征在于，包括以下步骤：

A、通过摄像机采集一幅面部的图像信息，对采集到的图像信息进行二值化处理，再将二值化处理得到的二值化亮度分量的数字矩阵分别进行水平、垂直累加从而对脸部边缘进行确定，截取脸部像素，画出脸部定位框；

B、将原始图像的亮度分量的数字矩阵中脸部定位框内的部分进行水平复杂度计算，画出眼部定位框，并找出复杂度第一峰值、第二峰值；

C、通过对复杂度第一峰值与第二峰值的比值，复杂度第一峰值与脸部定位框的水平宽度的比值，复杂度第一峰值的水平位置是否在阈值范围内的判断得出驾驶员眼睛的睁闭状态；

D、通过对步骤C的分析判断确定驾驶员当前是否处于疲劳驾驶状态；

E、若通过上述判断得出驾驶员当前正处于疲劳驾驶状态，则自动启动报警装置，同时按照原始图像数据在显示器上输出一幅彩色图像，然后返回到步骤A；若通过判断得出驾驶员当前并不是处于疲劳驾驶状态，则直接按照原始图像数据在显示器上输出一幅彩色图像，然后返回到步骤A。

4、根据权利要求3所述的驾驶员疲劳驾驶的监测装置的监测方法，其特征在于所述的复杂度第一峰值与第二峰值的比值的阈值为1.5。

5、根据权利要求3所述的驾驶员疲劳驾驶的监测装置的监测方法，其特征在于所述的复杂度第一峰值与脸部定位框的水平宽度的比值的阈值为4。

6、根据权利要求3所述的驾驶员疲劳驾驶的监测装置的监测方法，其特征在于所述的二值化处理的步骤如下：

通过对肤色相似度矩阵的实验分析得出一椭圆方程：

(x-115)/10²+(y-145)/15²＝1

其中，x为像素点的Cb值，y为像素点的Cr值；

该椭圆的长轴长为130-100＝30，短轴长为155-135＝20，中心点为(Cb，Cr)＝(115，145)；

将所有像素点的Cb、Cr值带入椭圆方程左侧，若计算结果小于等于1则判定该像素点为肤色，将该像素点的亮度分量值变为255；否则判定该像素点为背景，将该像素点的亮度分量值变为0，结果便得到一个二值化亮度分量的数字矩阵，即得出一幅以白色表示脸部区域、黑色表示背景区域的二值化图像。

Images