CN103268479A - 全天候疲劳驾驶检测方法 - Google Patents

Abstract

本发明提供了一种全天候疲劳驾驶检测方法。通过摄像头获取人脸图像初步的定位出人的眼睛；然后光照预处理获得具有良好光照处理的人眼图像，再与训练出来的人眼模板进行匹配，从而获得人眼睁闭状态；最后通过PERCLOS疲劳判断准则来判断驾驶人员是否疲劳。本发明提出一种对比度均衡的光照预处理方法，利用图像明暗区的变化，并根据像素矩阵函数和高斯差分函数进行卷积运算，从而实现对比度均衡。另外，本发明提出一种多特征融合的人眼定位方法，汲取各类特征的优点，使得融合后的特征能更加有效的表征检测对象，检测更加准确，适应性更强。

Description

全天候疲劳驾驶检测方法

技术领域

本发明属于计算机视觉和机器学习技术领域，涉及驾驶人员的疲劳检测技术。

技术背景

1998年美国联邦高速公路管理局试验证实了PERCLOS（单位时间人眼闭合的百分比）与驾驶员的疲劳状况具有高度的相关性，提出一种可靠性高的疲劳驾驶的检测方法。以往的疲劳检测方法基于脑电波，心电图，要将其传感器佩戴在驾驶员的身体上，对驾驶员有一定程度的干扰。而基于视觉的疲劳驾驶检测方法，只需将摄像头放置车内，对准驾驶员头部，对驾驶员是非干扰的且成本低。

在人脸检测，人眼定位等关键技术上，国内外也已有了一些技术方案上的探索：

1.基于人眼生理特征的识别方法。视网膜对不同波长红外光的反射量不同，波长850nm时，它能反射90%的入射光；波长950nm时，只能反射40%的入射光。在同样照度情况下，两个摄像头同时测量人眼的图像，一个是850nm波长的图像，另一个是950nm波长的图像；两幅图像相减后留下视网膜的位置图像，然后分析视网膜的大小和位置。

2．基于数学特征的人脸图像识别方法。包括将人脸器官的形状和几何关系用一组几何特征矢量表示的基于几何特征识别方法和用一组代数特征矢量表示人脸的基于代数特征的人眼图像识别方法。前者采用模式识别中层次聚类思想设计分类器进行识别，后者将人脸看成一个二维的灰度变化模板，从整体上捕捉和描述人脸的特征，通过对图像灰度进行各种代数变换和矩阵分解提取眼部图像。

3．基于神经网络的方法。把人脸检测看作非人脸样本与人脸样本两大类进行模式分类，通过对人脸样本集和非人脸样本集进行学习以产生分类器，在此基础上进行眼部识别。人工神经网络是目前国际上广泛采用的一种方法，BP神经网络训练算法在人脸检测中应用普遍。

4．基于皮肤色彩特征的高斯模型识别方法。假设人脸图像轮廓符合二维高斯模型，用水平和垂直灰度投影图进行索贝尔Sobel卷积得到眼睛区域，并且分割出左右眼睛；利用模板匹配方法确定眼睛的睁闭，通过计算某一特定时间内的帧数得出眼睛闭合时间占该段时间的百分率。

由于驾车环境受光照影响大。如何在各种天候，任何光照下可靠地识别出人眼图像成为一个有待解决的问题。

发明内容

本发明所要解决的技术问题是，提供一种能适应复杂光照的疲劳驾驶检测方法。

本发明为解决上述技术问题所采用的技术方案是，全天候疲劳驾驶检测方法，包括以下步骤：

步骤1、建立人眼库：

1-1）截取各种不同光照下以及不同闭合程度的人眼图片建立人眼库；

1-2）对人眼图片进行光照预处理后输入人眼分类器；

步骤2、分类器训练：

2-1）对输入人眼分类器的图片进行LBP特征、haar-like特征、Gabor特征的提取；

2-2）将LBP特征、haar-like特征、Gabor特征按顺序组合成一个联合特征列向量{n₁,n₂,n₃}^T，其中n₁表示LBP特征的维数，n₂表示haar-like特征的维数，n₃表示Gabor特征维数；

2-4）利用联合特征列向量采用Adaboost的方法训练出人眼分类器；

步骤3、人眼定位：

3-1）检测输入的视频流中的人脸图像，根据人眼分布的几何位置对人眼继续粗定位；

3-2）对粗定位的人眼图片进行光照预处理；

3-3）利用人眼分类器对光照预处理后的粗定位人眼图片进行检测得到人眼精定位图片；

步骤4、疲劳判定：

4-1）将人眼精定位图片与标准人眼图片进行匹配，得到当前人眼闭合状态；

4-2）统计出在一定时间内眼睛的各闭合状态，结合PERCLOS准则判定是否疲劳；

所述光照预处理为：

先对图片进行伽马变换；再对伽马变换后的图像的像素矩阵函数和高斯函数进行卷积运算，并与原始图像做差分处理，再根据目标和背景频带增益对差分处理后的图像进行高斯带通滤波；最后对滤波后的图像进行对比度归一化处理。

本发明通过摄像头获取人脸图像初步的定位出人的眼睛；然后光照预处理获得具有良好光照处理的人眼图像，再与训练出来的人眼模板进行匹配，从而获得人眼睁闭状态；最后通过PERCLOS疲劳判断准则来判断驾驶人员是否疲劳。本发明提出一种新的基于对比度均衡的光照预处理方法应用在人眼定位。该方法利用图像明暗区的变化，并根据像素矩阵函数和高斯差分函数进行卷积运算，从而实现对比度均衡，使得疲劳驾驶检测能适应复杂光照下的环境，特别是对光线较暗及偏光效应有比较好的适应性，有效提高了检测的准确率。另外，本发明提出一种多特征融合的人眼定位方法，汲取各类特征的优点，使得融合后的特征能更加有效的表征检测对象，用这样的特征训练出来的分类器，检测更加准确，适应性更强。

本发明的有益效果是能够实现全天候的，任何光照下的疲劳驾驶检测。使得检测精度和速度都得到了大面积的提升。

附图说明

附图是本实施例的流程示意图。

具体实施方式

本文中Adaboost（Adaptive Boost）分类器、局部二值模LBP(Local Binary Pattern)特征、Haar-like特征、Gabor特征、高斯差分滤波器DOG、主动表观模型AAM（Active AppearanceModels）、PERCOLS（percentage of eyelid closure over the pupil over time，眼睛闭合时间占某一特定时间的百分率）均为计算机视觉和图像处理领域成熟的现有技术，不在此赘述。

实现复杂光照下的人眼定位跟踪，最终做出疲劳判定，如图1所示，包含下列步骤：

步骤1、建立人眼库：

这一步是为后续训练人眼分类器准备。由于没有现成的人眼库，所以我们需要自己建立。这里主要是从人脸库中截取标准人眼图片，正样本包括各种不同光照下、不同角度的、不同闭合程度的眼睛。

1-1）截取标准人眼图片以及各种不同光照下不同闭合程度的人眼图片作为；

1-2）对人眼图片进行光照预处理后输入人眼分类器；

为了尽可能地减少光照条件对整个检测系统的影响，我们要对待检测的人眼粗定位图片、训练分类器前的正样本图片及AAM建模前的标准人眼图片进行光照预处理。基于对比度均衡的光照预处理方法，具体实现主要包括以下几步：

1.伽马变换。伽马变换是一种非线性的灰度变换，是将一张图片中的像素I变为I^γ，其中γ值在[0，1]内变化。经此处理可增强图像暗区及阴影区的动态范围，同时压缩明亮区及高光区域的动态范围。

2．由伽马变换得到的结果，对图像的像素矩阵函数和高斯函数进行卷积运算，并与原始图像做差分处理，根据目标和背景频带增益，对差分处理后的图像进行DOG滤波，从而实现目标图像的对比度均衡。该步骤可以有效去除遮光效应的影响，还可以在去除噪声的同时保留大部分潜在的识别信息。

3．为移除图像中高亮度和暗点的影响，对图像进行对比度归一化处理，分两步处理：

$I(x,y)\←\frac{I(x,y)}{{\left(\mathrm{mean}\left({\left|I(x^{\′},y^{\′})\right|}^a\right)\right)}^{1/a}}$

$I(x,y)\←\frac{I(x,y)}{{\left(\mathrm{mean}\left(\min {(\mathrm{\τ},|I(x^{\′},y^{\′})\left|\right)}^a\right)\right)}^{1/a}}$

其中，mean(·)表示求均值，I(x',y')表示图像中除当前处理像素点(x,y)外的像素点像素值，a为压缩参数，←表示赋值；min表示取最小值，τ为第一阶段处理后截短大像素的阈值。

对图像进行以上两个阶段的处理，调整像素值到【0,255】，输出光照预处理后的灰度图片。

步骤2、分类器训练：

2-1）对输入人眼分类器的图片进行LBP特征、haar-like特征、Gabor特征的提取；

2-2）将LBP特征、haar-like特征、Gabor特征按顺序组合成一个联合特征列向量{n₁,n₂,n₃}^T，其中n₁表示LBP特征的维数，n₂表示haar-like特征的维数，n₃表示Gabor特征维数；联合特征列向量左乘一个每行都符合高斯分布的无损压缩矩阵，从何得到一个压缩的联合特征列向量。

2-4）利用联合特征列向量采用Adaboost的方法训练出人眼分类器。采用同样的方法可以训练出人脸分类器。人脸分类器用于在人眼识别识别之前的人脸识别、定位中。

步骤3、人眼定位：

3-1）检测输入的视频流中的人脸图像，根据人眼分布的几何位置对人眼继续粗定位；

3-2）对粗定位的人眼图片进行光照预处理；

3-3）利用人眼分类器对光照预处理后的粗定位人眼图片进行检测得到人眼精定位图片；

步骤4、疲劳判定：

4-1)将人眼精定位图片与标准人眼图片进行AAM模型匹配，即，将检测出的眼睛精定位图片作为模型匹配的初始位置，以AAM表观模型匹配眼睛的精确轮廓数据；

4-2)根据得到的眼睛轮廓的左右眼角间距离和上下眼睑距离做比例公式来衡量人眼睁闭程度，可以统计出在一定时间内眼睛各种闭合状态的帧数。进而计算出不同闭合程度下所占的百分比，最后结合PERCLOS准则做出是否疲劳的判定。在状态识别过程中，并以此结合PERCLOS特征来判断驾驶员是否疲劳。

综上，实施例采用多特征融合技术，将光照的处理与AdaBoost和AAM的建模相结合，应用于基于视觉的驾驶员疲劳驾驶检测，可以有效增强对光照的适应性，提高检测的准确率。

Claims (3)

1.全天候疲劳驾驶检测方法，其特征在于，包括以下步骤：

步骤1、建立人眼库：

1-1）截取各种不同光照下以及不同闭合程度的人眼图片建立人眼库；

1-2）对人眼图片进行光照预处理后输入人眼分类器；

步骤2、分类器训练：

2-1）对输入人眼分类器的图片进行LBP特征、haar-like特征、Gabor特征的提取；

2-2）将LBP特征、haar-like特征、Gabor特征按顺序组合成一个联合特征列向量{n₁,n₂,n₃}^T，其中n₁表示LBP特征的维数，n₂表示haar-like特征的维数，n₃表示Gabor特征维数；

2-4）利用联合特征列向量采用Adaboost的方法训练出人眼分类器；

步骤3、人眼定位：

3-1）检测输入的视频流中的人脸图像，根据人眼分布的几何位置对人眼继续粗定位；

3-2）对粗定位的人眼图片进行光照预处理；

3-3）利用人眼分类器对光照预处理后的粗定位人眼图片进行检测得到人眼精定位图片；

步骤4、疲劳判定：

4-1）：将人眼精定位图片与标准人眼图片进行匹配，得到当前人眼闭合状态；

4-2）：统计出在一定时间内眼睛的各闭合状态，结合PERCLOS准则判定是否疲劳；

所述光照预处理为：

先对图片进行伽马变换；再对伽马变换后的图像的像素矩阵函数和高斯函数进行卷积运算，并与原始图像做差分处理，再根据目标和背景频带增益对差分处理后的图像进行滤波；最后对滤波后的图像进行对比度归一化处理。

2.如权利要求1所述全天候疲劳驾驶检测方法，其特征在于，光照预处理中对比度归一化处理的具体方法是：

1）对于图像中每个像素点(x,y)的像素值I(x,y)进行第一阶段归一化处理：

$I(x,y)\←\frac{I(x,y)}{{\left(\mathrm{mean}\left({\left|I(x^{\′},y^{\′})\right|}^a\right)\right)}^{1/a}};$

其中，mean(·)表示求均值，I(x',y')表示图像中除当前处理像素点(x,y)外的像素点像素值，a为压缩参数，←表示赋值；

2）对于图像中每个像素点(x,y)的像素值I(x,y)进行第二阶段归一化处理：

$I(x,y)\←\frac{I(x,y)}{{\left(\mathrm{mean}\left(\min {(\mathrm{\τ},|I(x^{\′},y^{\′})\left|\right)}^a\right)\right)}^{1/a}}$

其中，min表示取最小值，τ为第一阶段处理后截短大像素的阈值。

3.如权利要求1所述全天候疲劳驾驶检测方法，其特征在于，步骤6-1中将人眼精定位图片与标准人眼图片进行匹配的具体方式为采用主动外观模型AAM匹配。

Images