CN101281646A - 基于视觉的驾驶员疲劳实时检测方法 - Google Patents

Abstract

一种基于视觉的驾驶员疲劳实时检测方法，属于电子技术应用技术领域。特征是，摄像头采集的经过红外滤波的连续模拟信号，通过图像采集模块的A/D转换，变成数字图像信号；图像处理模块完成对数字图像信号的运算处理，包括图像的预处理、图像分割、特征提取、疲劳识别；最后通过输出模块显示处理结果。硬件分为图像采集、图像处理和图像输出三大模块，图像采集模块包括带有云台的红外线敏感的黑白CCD摄像机、红外线带通滤波器、红外光源；图像处理模块以美国TI公司的TMS320DM642为核心部件构成；图像输出模块为液晶显示器；系统安装在驾驶室内。本发明的优点是方法简单易于实现，实时性好，判决结果准确度较高，为真正应用于实践打下了基础。

Description

基于视觉的驾驶员疲劳实时检测方法

技术领域

本发明涉及一种基于视觉的驾驶员疲劳实时检测方法，属于电子技术应用技术领域。

背景技术

目前国际上有不少研究瞌睡/疲劳驾驶检测的机构和正在开发的瞌睡检测系统，常用的疲劳/瞌睡驾驶检测技术有：(1)测量人的生理信号，比如脑电、心电、皮肤电势等，其主要缺点是需要身体接触，不容易被接受。(2)测量物理反应，比如眨眼的频率、眨眼持续时间、眼睛的运动、头部运动等，其特点是处于发展阶段，有效而且没有身体接触，易于接受。(3)测量车辆和路面相关参数，比如速度、加速度、侧向位置、白线位置等，其缺点是测量的信息不是很可靠。

发明内容

为了克服现有技术的缺点，本发明提供一种基于视觉的驾驶员疲劳实时检测方法。

本发明是一种基于计算机视觉的、无接触、无生理负荷的驾驶员疲劳检测方法，建立了基于视觉的驾驶员疲劳实时检测系统，实时采集、处理并显示图像，提取驾驶员的眼睛状态特征，以眼睛状态特征为依据，融合各种参数以判断驾驶员是否有疲劳发生。

一种基于视觉的驾驶员疲劳实时检测方法，特征是，摄像头采集的经过红外滤波的连续模拟信号，通过图像采集模块的A/D转换，变成数字图像信号；图像处理模块完成对数字图像信号的运算处理，主要包括：图像的预处理、图像分割、特征提取、疲劳识别；最后通过输出模块显示处理结果。基于视觉的驾驶员疲劳实时检测方法的具体步骤如下：

1)系统初始化，并设置云台的预置位；

2)根据头部位置调用相应的预置位；

3)定位驾驶员头部，并判断头部的移动信息；

4)DSP芯片根据头部的移动信息，发出控制信息控制云台的转动，使其能跟踪到头部的运动；

5)在整幅图像中搜索眼睛的反射点，并使用卡尔曼滤波估计下一帧中反射点的位置，根据反射点的位置定位出眼睛的大体位置；

6)在整幅图像中搜索嘴部的区域；

7)分别对眼睛区域和嘴部区域提取特征参数；

8)对分别根据眼睛参数和嘴部参数所得到的判决结果进行融合，确定驾驶员的疲劳程度。

所述的云台预置位的设置方法为：采用空间网格法设置，步骤如下：

1)在系统的初始化时设置好预置位；

2)在跟踪的过程中，计算头部的质心并判断头部在整幅图像中的位置；

3)根据头部位置调用相应的预置位，使摄像头一直跟踪人的正面脸部区域；

4)计算头部的长短轴，根据长短轴和采集图像的大小比例控制摄像头变焦，使头部图像在整幅图像中的大小比例基本保持不变。

一种用于基于视觉的驾驶员疲劳实时检测方法的检测系统，整个系统分为图像采集、图像处理和图像输出三大模块，图像采集模块包括带有云台的红外线敏感的黑白CCD摄像机、红外线带通滤波器、红外光源；图像处理模块以美国TI公司的TMS320DM642为核心部件构成；图像输出模块为液晶显示器。系统安装在驾驶室内。系统的硬件框图见附图2。

所述的图像处理模块由视频输入解码器TVP5150、核心DSP处理器TMS320DM642、视频输出编码器SAA7121、通用异步收发器TL16C752B和FPGA组成。解码器TVP5150、视频输出编码器SAA7121、通用异步收发器TL16C752B和FPGA都与DSP处理器TMS320DM642连接。

系统首先通过云台所带的摄像头采集模拟视频信号(NTSC/PAL制式)经视频解码器TVP5150解码成BT656格式的视频，然后通过EDMA搬移到SDRAM中再送进DSP进行处理，处理后的数据存放到SDRAM中。接着通过EDMA将BT656视频流搬移到视频编码器SAA7121缓存中，经编码成模拟视频信号(NTSC/PAL制式)由显示器显示；同时由DSP发出控制命令由通用异步收发器TL16C752B控制云台运动，从而使摄像头一直能跟踪人的面部区域，进而提取出人的眼睛和嘴部特征参数，判断是否疲劳。

本发明把肤色分割后的图像转换为灰度图像，得到肤色灰度图像，并对其进行灰度直方图统计，可以看到灰度分布区域有很大的不同，有些图像的背景光线弱些，肤色区域的亮度(也就是灰度)主要集中在(0，125)之间，而有些图像的背景光线强些，肤色区域亮度集中在(25，210)之间，然而它们有一个共同点，就是低亮区域的像素个数非常少。

经过对将要进行二值化的脸部图像的上述分析后，本发明提出了一种自适应的动态阈值方法来二值化图像，这种方法使系统能根据图像的整体亮度自适应的选择二值化的阈值，并且具有很好的实时性。该方法具体描述如下：设H为肤色的总面积，h(t)为肤色像素的统计直方图，我们定义A(t)为累计直方图，A(t)的定义如下：

$A\left(t\right)=\underset{0}{\overset{T}{\mathrm{\Σ}}}h\left(t\right)$

实际的驾驶环境中，司机的头部是随着车辆的颠簸而不停的运动的。如果只是利用固定的摄像机拍摄，通常不能满足要求，从而导致跟踪失败。因此本发明采用了带云台的摄像头，可以随时跟踪司机脸部的运动，从而使头部的运动始终保持在摄像头的采集范围内。本方法所选择的云台可以设置80个预置位，预置位需要提前设置，设置好之后就可以根据需要调用。驾驶员在座位上的头部运动，运动范围不大，而且上下的运动幅度一般小于左右的运动幅度，所以在水平方向设置15个预置位，在垂直方向设置5个预置位，把空间划分成网格状，如附图3所示。本发明提出了一种基于预置位的空间网格法来控制云台的转动。

网格法每次重启系统后需要重新初始化，但这是一种精确迅速的云台位置调整方法。网络法的使用依赖于云台预置位的多少，预置位越多，空间网格分的越细，定位也就越精确。设置预置位时，需要根据具体的云台型号设置水平和垂直方向的预置位数量，如采用VISCA协议的Sony D100P摄像头只可以设置6个预置位，所以不可能采用网格法来划分空间了，只可以发送上下左右方向控制命令，但由于D100P灵敏度非常高，经过测试也可以达到满意的跟踪效果。

从二值化后的图像上可以看出虹膜区域和上眼睑是连在一起的，如果能够将虹膜区域大概定位出来，那么眼睛的睁闭程度也就大概知道了。虹膜应该近似于一个圆形，但是随着眼睛的睁闭，虹膜也会在形状上变化。我们可以把眼睛区域二值化后的图像向水平方向投影。二值化后眼睛水平方向的投影结果见附图4所示。从最初定位出的瞳孔中心位置开始向两边扩展找到附近区域的最大值，并把这个最大值作为虹膜的直径。从瞳孔的质心开始分别向两边找边界点，找到第一个为零的值就认为是眼角的位置。上眼睑的提取是一个边界跟踪问题，有了眼角的坐标，就可以从这一坐标开始寻找整个上眼睑，跟踪边界的算法采用八邻域搜索法。

对于眼睑曲率的计算，首先对于上眼睑进行建模，令上眼睑近似为抛物线，则眼睑模型见附图5。眼睑曲率的计算公式详细推导过程如下：

设A，C，B是从曲线上采集的三个点。其中ACD是按照水平方向等间隔取得。在求曲率的时候，曲率Q＝OP/AB，近似等于CD/AB。

$Q=\frac{\mathrm{OP}}{\mathrm{AB}}\≈\frac{\mathrm{CD}}{\mathrm{AB}}$

从附图5看出：

$\sin \mathrm{\α}=\frac{\mathrm{CD}}{\mathrm{OC}}=\frac{\mathrm{AM}}{\mathrm{AB}}$

所以：

$\mathrm{CD}=\frac{\mathrm{OC}*\mathrm{AM}}{\mathrm{AB}}$

即：

$Q\≈\frac{\mathrm{CD}}{\mathrm{AB}}=\frac{\mathrm{OC}*\mathrm{AM}}{\mathrm{AB}*\mathrm{AB}}$

现在只要把相关的参数求出就可以近似的得到曲率Q。设A，B，C点的坐标分别为(A_X，A_Y)，(B_X，B_Y)，(C_X，C_Y)，则：

$\mathrm{AB}=\sqrt{{(A_X-B_X)}^2+{(A_Y-B_Y)}^2}$

            AM＝A_X-B_X

O点是AB的中点，那么

$O_X=\frac{A_X+B_X}{2},$ $O_Y=\mathrm{fix}\left(\frac{A_Y+B_Y}{2}\right)$

O点的Y坐标取得是偏向于B的整数坐标，那么就有：

            OC＝O_Y-C_Y

所以：

$Q=\frac{(O_Y-C_Y)*(A_X-B_X)}{{(A_X-B_X)}^2+{(A_Y-B_Y)}^2}=\frac{(\mathrm{fix}\left(\frac{A_Y+B_Y}{2}\right)-C_Y)*(A_X-B_X)}{{(A_X-B_X)}^2+{(A_Y-B_Y)}^2}$

我们采用决策级的信息融合，先利用各特征(以眼睑曲率和眼睑距离为例)的隶属函数对眼睛的状态做出初步判断，然后进行融合得出最终判断。

在研究和分析了模糊融合的三个主要过程后，我们确定了本发明的信息融合算法，其步骤如下：

1、基于归纳推理的隶属度函数确定

确定隶属度函数是融合的关键。本发明选用归纳推理法来确定隶属度函数，用于训练的是在视频图像中获取的200幅连续图片，人工将其分为3类，睁眼集、半睁闭集、闭眼集。隶属度函数采用三角形。

基于归纳推理的隶属度函数确定方法是用熵最小值法确定一个阈值线，然后开始分割过程，首先分成两类，通过将第一次分成的两类再次分割，我们可以得到三个各不相同的类。这样，用计算的阈值重复分区可将该数据集分成若干类或模糊集。其具体过程如下：

设数据的范围为[x1，x2]，x为此区间内的任一点。

(1)计算[x1，xl+x]和[xl+x，x2]上k类样本的条件概率。

$p_k\left(x\right)=\frac{n_k\left(x\right)+1}{n\left(x\right)+1},$ $q_k\left(x\right)=\frac{N_k\left(x\right)+1}{N\left(x\right)+1}$

式中n_k(x)为位于[x1，xl+x]中k类样本的数目，n(x)为位于[x1，xl+x]中的样本的总数，N_k(x)为位于[xl+x，x2]中的k类样本的数目，N(x)为位于[xl+x，x2]中的样本的数目。

(2)计算[x1，xl+x]和[xl+x，x2]上所有样本的概率。

$p\left(x\right)=\frac{n\left(x\right)}{n},$ q(x)＝1-p(x)

其中，n为位于[x1，x2]中的样本总数。

(3)求出x在[x1，x]和[x，x2]上的总熵。

            s(x)＝p(x)s_p(x)+q(x)s_q(x)

其中s_p＝-[p₁(x)ln p₁(x)+p₂(x)ln p₂(x)]，s_q＝-[q₁(x)ln q₁(x)+q₂(x)ln q₂(x)]

(4)计算x每个位置的熵，具备最小熵值的x为初级阈值，记为x，将[x1，x2]一分为二。

(5)在[x1，x^*]和[x^*，x2]区间重复(1)-(4)确定二级阈值，依次得到各级阈值。

这样，就可获得上眼睑曲率和眼睑距离的隶属度函数，见附图6、7所示。

2、采用决策级的信息融合。

先利用各特征(眼睑曲率，眼睑距离，嘴部形状等)的隶属函数对驾驶员的状态做出初步判断，然后进行融合得出最终判断。其流程图见附图8所示。

在融合过程中我们设计了一般均值操作子，其定义为：

$g(x_1,x_2\·\·\·x_n;p,w_1,w_2\·\·\·w_n)={\left(\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{w}_i{x}_i^p\right)}^{1/p}$

其中，p为模糊子，p越大结果越模糊。x_i为子判决，w_i为每一个子判决的权重，表明对结果的影响且 $\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{w}_i=1.$

该融合算子有以下性质：

(1)min(a，b)≤mean(a，b)≤max(a，b)

(2)当p在(-∞，∞)变化时，可取到[min，max]之间的任意数。

我们认为眼睑曲率和上下眼睑距离作为特征判断眼睛状态效果等同，故取w₁＝w₂＝1/2。p的取值直接影响模糊融合结果，在大量的实验后我们确定其值为3。对于眼睛处于睁状态下的30幅图片，分别使用曲率、眼睑距离和二者融合后得到的隶属度值，可看出，经过融合后错误的隶属度值得到了纠正。

在得到了融合判决结果后需清晰化，我们选用变种的α分割法。在传统的α分割法中α值是固定的，一般取0.5。而本发明中α值是不固定的，取每次得到隶属度值的最大值。

本发明的优点是方法简单易于实现，实时性好，判决结果准确度较高，为真正应用于实践打下了基础。

附图说明

图1是本发明的软件算法流程图。

图2是本发明的硬件结构框图。

图3是本发明云台预置位设置示意图

图4是二值化后眼部图像的水平投影图。

图5是眼睑模型示意图。

图6上眼睑曲率的隶属函数示意图。

图7眼睑距离的隶属函数示意图。

图8是多特征融合判决示意图。

其中，1、图像采集模块，2、图像处理模块，3、图像输出模块，4、分类一，5、分类二，6、融合。

具体实施方式

实施例：

一种基于视觉的驾驶员疲劳实时检测方法，特征是，摄像头采集的经过红外滤波的连续模拟信号，通过图像采集模块的A/D转换，变成数字图像信号；图像处理模块完成对数字图像信号的运算处理，主要包括：图像的预处理、图像分割、特征提取、疲劳识别；最后通过输出模块显示处理结果；疲劳实时检测方法的具体步骤如下：

1)系统初始化，并设置云台的预置位；

2)根据头部位置调用相应的预置位；

3)定位驾驶员头部，并判断头部的移动信息；

4)DSP芯片根据头部的移动信息，发出控制信息控制云台的转动，使其能跟踪到头部的运动；

5)在整幅图像中搜索眼睛的反射点，并使用卡尔曼滤波估计下一帧中反射点的位置，根据反射点的位置定位出眼睛的大体位置；

6)在整幅图像中搜索嘴部的区域；

7)分别对眼睛区域和嘴部区域提取特征参数；

8)对分别根据眼睛参数和嘴部参数所得到的判决结果进行融合，确定驾驶员的疲劳程度。

所述的云台预置位的设置方法为：采用空间网格法设置，步骤如下：

1)在系统的初始化时设置好预置位；

2)在跟踪的过程中，计算头部的质心并判断头部在整个图像中的位置；

3)根据头部位置调用相应的预置位，使摄像头一直跟踪人的正面脸部区域；

4)计算头部的长短轴，根据长短轴和采集图像的大小比例控制摄像头变焦，使头部图像在整幅图像中的大小比例保持基本不变。

一种用于基于视觉的驾驶员疲劳实时检测方法的检测系统，整个系统分为图像采集、图像处理和图像输出三大模块，图像采集模块1包括带有云台的红外线敏感的黑白CCD摄像机、红外线带通滤波器、红外光源；图像处理模块2以美国TI公司的TMS320DM642为核心部件构成；图像输出模块3为液晶显示器；系统安装在驾驶室内。

所述的图像处理模块2由视频输入解码器TVP5150、核心处理器TMS320DM642、视频输出编码器SAA7121、通用异步收发器TL16C752B和FPGA组成，解码器TVP5150、视频输出编码器SAA7121、通用异步收发器TL16C752B和FPGA都与核心处理器TMS320DM642连接。

Claims (4)

1、一种基于视觉的驾驶员疲劳实时检测方法，其特征在于，摄像头采集的经过红外滤波的连续模拟信号，通过图像采集模块的A/D转换，变成数字图像信号；图像处理模块完成对数字图像信号的运算处理，主要包括：图像的预处理、图像分割、特征提取、疲劳识别，最后通过输出模块显示处理结果；疲劳实时检测方法的具体步骤如下：

1)系统初始化，并设置云台的预置位；

2)根据头部位置调用相应的预置位；

3)定位驾驶员头部，并判断头部的移动信息；

4)DSP芯片根据头部的移动信息，发出控制信息控制云台的转动，使其能跟踪到头部的运动；

5)在整幅图像中搜索眼睛的反射点，并使用卡尔曼滤波估计下一帧中反射点的位置，根据反射点的位置定位出眼睛的大体位置；

6)在整幅图像中搜索的嘴部的区域；

7)分别对眼睛区域和嘴部区域提取特征参数；

8)对分别根据眼睛参数和嘴部参数所得到的判决结果进行融合，确定驾驶员的疲劳程度。

2、如权利要求1所述的一种基于视觉的驾驶员疲劳实时检测方法，其特征在于，所述的云台预置位的设置方法为：采用空间网格法设置，步骤如下：

1)在系统的初始化时设置好预置位；

2)在跟踪的过程中，计算头部的质心并判断头部在整个图像中的位置；

3)根据头部位置调用相应的预置位，使摄像头一直跟踪人的正面脸部区域；

4)计算头部的长短轴，根据长短轴和采集图像的大小比例控制摄像头变焦，使头部图像在整幅图像中的大小比例保持基本不变。

3、一种用于如权利要求1所述的基于视觉的驾驶员疲劳实时检测方法的检测系统，其特征在于，检测系统分为图像采集、图像处理和图像输出三大模块，图像采集模块包括带有云台的红外线敏感的黑白CCD摄像机、红外线带通滤波器、红外光源；图像处理模块以美国TI公司的TMS320DM642为核心部件构成；图像输出模块为液晶显示器，系统安装在驾驶室内。

4、如权利要求3所述的用于基于视觉的驾驶员疲劳实时检测方法的检测系统，其特征在于，所述的图像处理模块由视频输入解码器TVP5150、核心处理器TMS320DM642、视频输出编码器SAA7121、通用异步收发器TL16C752B和FPGA组成，解码器TVP5150、视频输出编码器SAA7121、通用异步收发器TL16C752B和FPGA都与核心处理器TMS320DM642连接。

Images