CN101732055B - 驾驶员疲劳检测方法及系统 - Google Patents

Abstract

本发明公开了一种驾驶员疲劳检测方法及系统，该方法包括：检测人脸，从红外摄像机获取的视频图像，利用椭圆模板搜寻区域，并用面部特征孔洞进行验证，以得到图像中的人脸区域；提取脸部特征，通过FRST法和椭圆拟合方法提取人脸区域内眼、鼻、嘴的位置；跟踪脸部特征，利用所提取的脸部特征提取以实时更新脸部特征中人眼的位置数据，并保留其运动轨迹；判断疲劳，根据跟踪脸部特征的结果，计算PERCLOS值来判断驾驶员是否处于疲劳状态。本发明提高了驾驶员人脸检测的准确度，降低了计算复杂度，提高了检测疲劳状态的可靠性和准确度。

Description

驾驶员疲劳检测方法及系统

技术领域

本发明涉及视频监控技术，特别是涉及一种驾驶员疲劳检测的方法及系统。

背景技术

驾驶员疲劳、睡眠不足是引发严重交通事故的重要诱因之一。统计表明，由于疲劳/瞌睡造成的交通事故在交通事故总数中占7％左右，在严重交通事故中占40％，而在重型卡车和高速路上的交通事故中则占到35％左右。因此，有效地监督和防止驾驶员疲劳，有着十分重要的意义。

疲劳检测是对驾驶员在行车中出现的疲劳现象实时检测并施以适当警告的过程，它有以下几个要求：1)必须是无干扰的；2)必须是实时的；3)必须受光照的影响较小；4)不能有有害辐射，不能包括移动设备。

在各种检测方法中能满足以上要求且效果较为理想的是用摄像机进行实时拍摄，通过图像处理来检测驾驶员眼部的物理反应。研究表明，眼睛的反应与驾驶员的疲劳有着较高的相关性，能可靠地反映驾驶员是否疲劳。因此，通过眼睛的检测和跟踪可以有效地实现驾驶员疲劳检测。

在先申请号为CN200510037771.9的专利，利用红外光线对驾驶员眼部照射，通过2个不同波长滤波镜头的CMOS摄像头得到2幅在同一时刻只有视网膜图像不同的图像。采集到图像信号由控制主板中的图像处理程序进行差分处理得到瞳孔图像参数，通过计算得出PERCLOS(单位时间眼睛闭合时间所占的比例)值来判断驾驶员的疲劳程度。但上述专利在不同波长下获取眼睛的图像，进行差分，跟踪眼睛的位置在光线比较亮的环境下，容易造成测量失败。

在先申请号为CN200610012623.6的专利，利用红外光源光线和摄像机光轴成一定的角度，采集到的驾驶员的面部图像信号由数字信号处理器的图像处理程序进行处理，得到眼睛图像，同时利用Kalman滤波器Mean Shift算法实现眼睛跟踪，采用模板匹配的方法，以相似度衡量相似程度来识别眼睛状态，根据眼睛的状态计算出眨眼持续时间、眨眼频率、PERCLOS值，来判断驾驶员的疲劳程度。但是上述专利数字信号处理器的图像处理程序进行处理，得到眼睛图像，眼睛误检率较高。利用Kalman滤波器Mean Shift算法实现眼睛跟踪，其计算量也较大。

综上所述，上述公开的驾驶员疲劳检测的技术方案，都存在一定的局限性。因此，目前需要一种更有效地驾驶员疲劳检测方案。

发明内容

本发明的目的在于提供一种驾驶员疲劳检测方法，利用视频图像处理技术对驾驶员图像进行人脸检测、人眼跟踪、疲劳判断等处理，并在疲劳状态发生时发出警报。所述方法能够有效地实现驾驶员的疲劳检测，并遏制驾驶员疲劳导致的交通事故。

为实现上述目的，本发明采用如下技术方案：

本发明提供了一种驾驶员疲劳检测方法，该方法包括：

步骤1：检测人脸，从红外摄像机获取的视频图像，利用椭圆模板搜寻区域，并用面部特征孔洞进行验证，以得到图像中的人脸区域；

步骤2：提取脸部特征，通过FRST法和椭圆拟合方法，提取人脸区域内眼、鼻、嘴的位置；

步骤3：跟踪脸部特征，利用所提取的脸部特征，提取以实时更新脸部特征中人眼的位置数据，并保留其运动轨迹；

步骤4：判断疲劳，根据跟踪脸部特征的结果，计算PERCLOS值来判断驾驶员是否处于疲劳状态。

其中，步骤1中所述检测人脸包括：阈值分割，对视频图像进行亮度阈值分割，以获取候选人脸区域；搜索椭圆，利用椭圆模板搜寻候选人脸区域；和滤除虚假区域，利用至少有三个孔洞的面部特征，从所述候选人脸区域的图像中滤除不符合人脸几何特征的虚假的候选人脸区域，以获得真正的人脸区域；其中，三个孔洞包括眉毛孔洞、眼睛孔洞、和嘴孔洞。

其中，所述椭圆模板的形成包括如下步骤：

形成0度倾斜角的椭圆模板：以若干幅幅人脸图像为样本，计算该样本的人脸区域的高度与宽度比值的均值α，并确定该样本中的最大人脸图像的尺度，然后确定一个初始椭圆，该初始椭圆的长短轴之比为α，倾斜角为0度，尺度与最大人脸图像的尺度相等；再从椭圆上顶点往上延长此椭圆长半轴的阈值1距离，形成椭圆模板的头发区域；

形成±30度的椭圆模板：在形成0度倾斜角的椭圆模板的基础上，将0倾斜角的椭圆模板以椭圆中心为中心旋转+30度和-30度而形成的两个倾斜±30度的椭圆模板；

形成不同尺度的椭圆模板，基于上述两步所形成的不同倾斜角度的三类椭圆模板，以固定比例β，形成每一倾斜角下不同尺度的椭圆模板集合。其中所述阈值1为0.2～0.3；所述固定比例β为0.8～0.95。

在形成所述椭圆模板集合后，利用该椭圆模板集合在经过二值化后的图像上依次进行匹配，匹配系数γ的公式：

其中，t_n为第n个椭圆模板，x为直角坐标系的横坐标，y为直角坐标系的纵坐标，i为椭圆模板的横坐标，j为椭圆模板的纵坐标。选取匹配系数γ值最小的区域作为候选人脸区域。

其中，滤除虚假区域的方法是：在候选人脸区域的上半部分搜索孔洞，若搜索到的眉毛孔洞、眼睛孔洞是以对出现的，且眼睛孔洞是椭圆形的，则认为该候选人脸区域的上半部分存在眼睛和眉毛，并继续对该区域的下半部分进行搜索，否则认为该区域为虚假区域并滤除；在候选人脸区域的下半部分搜索孔洞，若搜索到的嘴孔洞是呈椭圆形，其中心位于两眼睛孔洞中心的中间，则认为该候选人脸区域存在嘴，否则认为该候选人脸区域是虚假区域并滤除。

其中，步骤2中所述提取脸部特征是利用FRST算法，计算候选人脸区域内具有对称性特征的眼睛、鼻孔及嘴孔洞位置的各个连通区域，再辅以椭圆拟合以得到上述对称性特征的五个FRST特征参数，并根据所述五个FRST特征参数判定是否符合眼睛、鼻孔及嘴的几何分布关系，若符合，则记录人眼检测的结果；若不符合，则认为该区域是虚假区域并滤除；其中，所述五个FRST特征参数包括：孔洞的左端位置、孔洞的右端位置、孔洞的上端位置、孔洞的下端位置及孔洞的中心位置。

其中，利用所述五个FRST特征参数判定符合眼睛、鼻孔及嘴的几何分布的方法是：第一步，根据两眼位置确定眼睛的线段，然后鼻孔位置向眼睛线段垂直投影，若鼻孔投影点位于眼睛线段中点，那么眼睛鼻孔位置关系就符合几何关系；第二步，若嘴巴位置点位于鼻孔位置点和鼻孔在眼睛线段上的投影点所确定的直线延长线上，且嘴鼻距离与眼鼻投影距离小于阈值2，就符合嘴巴位置的几何关系。其中，所述阈值2为2～4个像素。

步骤3中所述跟踪脸部特征包括如下步骤：

初始化位置，将所述提取脸部特征中人眼检测结果设置为初始值；预测位置，通过人眼的运动速度和运动趋势，确定下一帧人眼位置；检测得到真实人眼区域，并实时的更新人眼跟踪数据，记录人眼运动轨迹。

其中，所述人眼的运动速度，是指统计当前时刻以前的连续阈值3帧图像中的眼睛位置及每帧对应的时刻；然后根据这连续阈值3帧图像中眼睛的位移总量及时间计算眼睛的运动平均速度；所述人眼的运动趋势，是指根据算出的运动方向和速率，再根据帧间时间间隔，计算出下一帧人眼的位置点，以确定下一帧人眼位置。其中，所述阈值3为6～8。

确定所述真实人眼区域包括如下步骤：

第一步：确定人眼搜索区域，在下一帧中预测的人眼位置，根据预测的人眼位置点左右各扩大两眼距离的阈值4，往上扩大两眼距离的阈值5，往下扩大两眼距离的阈值6，以形成一个矩形区域，选取该矩形区域作为人眼搜索区域。其中，所述阈值4为0.4～0.6；所述阈值5为0.2～0.4；所述阈值6为0.5～0.7。

第二步：确定真实人眼区域，用FRST算法对所述人眼搜索区域进行FRST算法计算，以得到相应的映射图像，并获取该映射图像的最大像素值，然后将最大像素值的阈值7作为分割阈值，对所述人眼搜索区域进行分割，以得到二值图像区域，再判断该二值图像区域内是否存在一对垂直区域；若存在，则认为垂直区域的下面区域为真实人眼区域，垂直区域的上面区域为眉毛；若不存在，则认为该垂直区域为真实人眼区域；其中，所述阈值7为0.05～0.15。

判断该二值图像区域内是否存在一对垂直区域的方法是：根据两只眼睛的预测位置，计算出预测的两眼线段的连线方向，若当前区域内存在一对区域连线方向与两眼线段连线方向的夹角在阈值8范围内，则认为该区域内存在一对垂直区域。其中，所述阈值8为90°±5°。

步骤1中所述PERCLOS值是单位时间内眼睛闭合时间所占的百分率，该PERCLOS值的计算公式为：

$f=\frac{t_2}{t_1}\×100\%$

其中，t₁为某一设定的特定时间，t₂为眼睛闭合的时间，

判断眼睛闭合的条件，是根据所计算人眼区域的高度与宽度的比值进行判断，若小于阈值9，则认为眼睛闭合；由于眼睛闭合时间的长短与疲劳程度有密切关系，驾驶员眼睛闭合时间越长，疲劳程度越严重，因此通过测量眼睛闭合时间长短就能确定驾驶疲劳的程度。

确定驾驶疲劳程度的方法是：当PERCLOS值f超过设定的阈值10，则认为驾驶员属于疲劳状态。因此PERCLOS值f越大，则认为驾驶员的疲劳程度越大。其中，所述阈值9为0.3～0.5；所述阈值10为70％。

根据本发明的另一方面，本发明还提供了一种驾驶员疲劳检测系统，所述驾驶员疲劳检测系统包括：

检测人脸模块，用于从红外摄像机获取的视频图像，利用椭圆模板搜寻区域，并用面部特征孔洞进行验证，以得到图像中的人脸区域；

提取脸部特征模块，用于通过FRST法和椭圆拟合方法提取人脸区域内眼、鼻、嘴的位置；

跟踪脸部特征模块，用于利用所提取的脸部特征提取以实时更新脸部特征中人眼的位置数据，并保留其运动轨迹；和

判断疲劳模块，用于根据人眼跟踪结果，计算PERCLOS值来判断驾驶员是否处于疲劳状态。

根据本发明，检测人脸模块包括：阈值分割模块，用于对视频图像进行亮度阈值分割，以获取候选人脸区域；搜索椭圆模块，用于利用椭圆模板搜寻候选人脸区域；滤除虚假区域模块，用于利用至少有三个孔洞的面部特征，从所述候选人脸区域的图像中滤除不符合人脸几何特征的虚假的候选人脸区域，以获得真正的人脸区域；其中，三个孔洞包括眉毛孔洞、眼睛孔洞、和嘴孔洞。

根据本发明，提取脸部特征模块包括：计算FRST特征参数模块，用于计算候选人脸区域内具有对称性特征的眼睛、鼻孔及嘴孔洞位置的各个连通区域，再辅以椭圆拟合以得到上述对称性特征的五个FRST特征参数；判定几何分布关系模块，用于根据所述五个FRST特征参数判定是否符合眼睛、鼻孔及嘴的几何分布关系，若符合，则记录人眼检测的结果；若不符合，则认为该区域是虚假区域并滤除。

根据本发明，跟踪脸部特征模块包括：初始化位置模块，用于将所述提取脸部特征中人眼检测结果设置为初始值；预测位置模块，用于通过人眼的运动速度和运动趋势，确定下一帧人眼位置；记录人眼运动轨迹模块，用于检测真实人眼区域，并实时的更新人眼跟踪数据来记录人眼运动轨迹。

本发明实施上述技术方案的特点在于：(1)根据人脸几何特征，利用FRST算法检测人脸，提高了驾驶员人脸检测的准确度，降低了计算复杂度；(2)利用PERCLOS值作为驾驶员疲劳程度的检测指标，提高了检测疲劳状态的可靠性和准确度。

附图说明

图1为本发明驾驶员疲劳检测方法的流程示意图；

图2为本发明驾驶员疲劳检测方法中人脸检测的流程示意图；

图3为本发明驾驶员疲劳检测系统的结构示意图；

图4为本发明驾驶员疲劳检测系统中检测人脸模块的结构示意图；

图5为本发明驾驶员疲劳检测系统中提取脸部特征模块的结构示意图；

图6为本发明驾驶员疲劳检测系统中跟踪脸部特征模块的结构示意图。

具体实施方式

图1为本发明中驾驶员疲劳检测流程示意图，如图1所示，驾驶员疲劳检测方法包括：

步骤1，检测人脸：从红外摄像机获取的视频图像，利用椭圆模板搜寻区域，并用面部特征孔洞进行验证，以得到图像中的人脸区域；

步骤2，提取脸部特征：通过FRST法和椭圆拟合方法提取人脸区域内眼、鼻、嘴的位置；

步骤3，跟踪脸部特征：利用所提取的脸部特征提取以实时更新脸部特征中人眼的位置数据，并保留其运动轨迹；

步骤4，判断疲劳：根据人眼跟踪结果，计算PERCLOS值来判断驾驶员是否处于疲劳状态。

如图2所示，首先进行步骤1的检测人脸，包括：

阈值分割11，即对视频图像进行亮度阈值分割，以获取候选人脸区域。阈值分割的方法选择基于二维最大类间方差的常规图像分割算法，可以参考文献“一种基于二维最大类间方差的图像分割算法.通信学报.2001，4(22)”，分割后将候选人脸区域内的像素的亮度值设置为“255”，其余像素的亮度值设置为“0”。

搜索椭圆12，即利用椭圆模板搜寻候选人脸区域，椭圆模板的形成包括如下步骤：

形成0度倾斜角的椭圆模板：以若干幅人脸图像为样本，计算该样本的人脸区域的高度与宽度比值的均值α，并确定该样本中的最大人脸图像的尺度，然后确定一个初始椭圆，该初始椭圆的长短轴之比为α，倾斜角为0度，尺度与最大人脸图像的尺度相等。再从椭圆上顶点往上延长此椭圆长半轴的阈值1距离，形成椭圆模板的头发区域。

形成±30度的椭圆模板：由于驾驶员在驾驶过程中，脸部时常会有倾斜的情况，因此，还需要考虑有倾斜角的情况。这种模板就是在上一步(即：形成0度倾斜角的椭圆模板)的基础上，将0倾斜角的椭圆模板以椭圆中心为中心旋转+30度和-30度而形成的两个倾斜±30度的椭圆模板。

形成不同尺度的椭圆模板：上述两步形成了不同倾斜角度的三类椭圆模板，这一步主要是以固定比例β，形成每一倾斜角下不同尺度的椭圆模板集合。实现方式是以每一类初始椭圆模板开始，乘以固定比例β，形成第二椭圆模板，然后用第二椭圆模板再次乘以固定比例β形成第三椭圆模板，依次类推，直至椭圆模板尺寸小于使用环境中的最小人脸图像尺寸为止。其中，所述阈值1为0.2～0.3；所述固定比例β为0.8～0.95。

制作好这三类椭圆模板以后，就用椭圆模板集合在经过二值化后的图像上依次进行匹配，匹配系数γ的公式如下：

其中，t_n为第n个椭圆模板，x为直角坐标系的横坐标，y为直角坐标系的纵坐标，i为椭圆模板的横坐标，j为椭圆模板的纵坐标。选取匹配系数γ值最小的区域作为候选人脸区域。

滤除虚假区域13，即利用面部特征孔洞，即面部中至少有三个孔洞，从搜索椭圆12的候选人脸区域的图像中滤除不符合人脸几何特征的虚假的候选人脸区域，以获得真正的人脸区域。其中，滤除虚假区域13包括：在候选人脸区域的上半部分搜索孔洞，若搜索到的眉毛孔洞、眼睛孔洞是以对出现的，且眼睛孔洞是椭圆形的，则认为该候选人脸区域的上半部分存在眼睛和眉毛，并继续对该区域的下半部分进行搜索，否则认为该区域为虚假区域并滤除；在候选人脸区域的下半部分搜索孔洞，若搜索到的嘴孔洞是呈椭圆形，其中心位于两眼睛孔洞中心的中间，则认为该候选人脸区域存在嘴，否则认为该候选人脸区域是虚假区域并滤除。

步骤2，提取脸部特征：用FRST算法，计算候选人脸区域内具有对称性特征的眼睛、鼻孔及嘴孔洞位置的各个连通区域，再用连通区域内的各前景区域点按照椭圆的形状进行拟合，算出椭圆的长半轴、短半轴喝长半轴与水平方向的夹角，然后再计算此椭圆的上下左右四个顶点和中心点五个参数，并根据这些参数判定是否符合眼睛、鼻孔及嘴的几何分布关系，若符合，则记录人眼检测的结果(即眼睛对孔洞的五个FRST特征参数)；若不符合，则认为该区域是虚假人脸区域并滤除。其中五个FRST特征参数包括：孔洞的左端位置、孔洞的右端位置、孔洞的上端位置、孔洞的下端位置及孔洞的中心位置。

利用五个FRST特征参数判定符合眼睛、鼻孔及嘴的几何分布的方法是：第一步根据两眼位置确定眼睛的线段，然后鼻孔位置向眼睛线段垂直投影，若鼻孔投影点位于眼睛线段中点，那么眼睛鼻孔位置关系就符合几何关系；第二步若嘴巴位置点位于鼻孔位置点和鼻孔在眼睛线段上的投影点所确定的直线延长线上，且嘴鼻距离与眼鼻投影距离小于阈值2，那么就符合嘴巴位置的几何关系。其中，所述阈值2优选为2～4个像素。

FRST(Fast Radial Symmetry Transform)是快速径向对称变换，可以通过“Gareth Loy and Alexander Zelinsky.Fast Radial SymmetryTransform for Detecting Points of Interest.IEEE Transactions On PatternAnalysis And Machine Intelligence，Vol.25，No.8，August 2003”所述方法来实现。

眼睛、鼻孔及嘴的孔洞有如下几何关系：(1)鼻孔孔洞位于眼睛对孔洞与嘴孔洞的中间；(2)左眼孔洞与鼻孔孔洞的中心间距近似于右眼孔洞与鼻孔孔洞的中心间距。

接着进行步骤3的跟踪脸部特征，包括如下步骤：

初始化位置，将提取脸部特征中步骤2中所述的人眼检测结果设置为初始值。

预测位置，通过人眼的运动速度和运动趋势，确定下一帧的可能位置。其中，所述人眼的运动速度，是指统计当前时刻以前的连续阈值3帧图像中的眼睛位置及每帧对应的时刻，因为连续阈值3帧图像的时间非常短，可以近似为直线匀速运动；然后根据这连续阈值3帧图像中眼睛的位移总量及时间计算眼睛的运动平均速度包括速率和运动方向。所述人眼的运动趋势，是指根据算出的运动方向和速率，再根据帧间时间间隔，计算出下一帧人眼的位置点，以确定下一帧人眼位置。其中，所述阈值3优选为6～8。

检测得到真实人眼区域，并实时的更新人眼跟踪数据，记录人眼运动轨迹。由于在现实中常常出现人眼定位到眉毛的现象，该步骤解决了此类问题。确定真实人眼区域包括如下步骤：

第一步：确定人眼搜索区域，在下一帧中预测的人眼位置，根据预测的人眼位置点左右各扩大两眼距离的阈值4，往上扩大两眼距离的阈值5，往下扩大两眼距离的阈值6，以形成一个矩形区域，选取该矩形区域作为人眼搜索区域。其中，所述阈值4为0.4～0.6值；所述阈值5为0.2～0.4；所述阈值6为0.5～0.7。

第二步：确定真实人眼区域，用FRST算法对所述人眼搜索区域进行FRST算法计算，以得到相应的映射图像，并获取该映射图像的最大像素值，然后将最大像素值的阈值7作为分割阈值，对所述人眼搜索区域进行分割，以得到二值图像区域，再判断该二值图像区域内是否存在一对垂直区域；若存在，则认为垂直区域的下面区域为真实人眼区域，垂直区域的上面区域为眉毛；若不存在，则认为该垂直区域为真实人眼区域。

所述确定真实人眼区域的方法可以克服脸部与相机之间的距离变化。

判断二值图像内是否存在一对垂直区域的方法是：根据两只眼睛的预测位置，计算出预测的两眼线段的连线方向，若当前区域内存在一对区域连线方向与两眼线段连线方向的夹角在阈值8范围内，则认为该区域内存在一对垂直区域。其中，所述阈值7为0.05～0.15；所述阈值8优选为90°±5°。

最后进行步骤4的判断疲劳，即根据人眼跟踪结果，计算单位时间内眼睛闭合时间所占的百分率(即，PERCLOS值Percentage ofEyelid Closure Over the Pupil Over Time)来判断驾驶员是否处于疲劳状态。其中，PERCLOS值f的计算公式为：

$f=\frac{t_2}{t_1}\×100\%$

其中，t₁为某一设定的特定时间，t₂为眼睛闭合的时间。

判断眼睛闭合的条件，是根据所计算人眼区域的高度与宽度的比值进行判断。若小于阈值9，则认为眼睛闭合。由于眼睛闭合时间的长短与疲劳程度有密切关系，驾驶员眼睛闭合时间越长，疲劳程度越严重，因此通过测量眼睛闭合时间长短就能确定驾驶疲劳的程度。

确定驾驶疲劳的程度的方法是：当PERCLOS值f超过设定的阈值10，则认为驾驶员属于疲劳状态。因此PERCLOS值f越大，则认为驾驶员的疲劳程度越大。其中，所述阈值9优选为0.3～0.5。所述阈值10优选为70％。

以火车的驾驶员为例，所述特定时间t₁优选为1分钟。

本发明的实施例还提供了一种驾驶员疲劳检测系统，图3为本发明驾驶员疲劳检测系统实施例的结构示意图。如图3所示，驾驶员疲劳检测系统3包括：检测人脸模块31、提取脸部特征模块32、跟踪脸部特征模块33、和判断疲劳模块34。

其中，检测人脸模块31，用于从红外摄像机获取的视频图像，利用椭圆模板搜寻区域，并用面部特征孔洞进行验证，以得到图像中的人脸区域；提取脸部特征模块32，用于通过FRST法和椭圆拟合方法提取人脸区域内眼、鼻、嘴的位置；跟踪脸部特征模块33，用于利用所提取的脸部特征提取以实时更新脸部特征中人眼的位置数据，并保留其运动轨迹；判断疲劳模块34，根据人眼跟踪结果，计算PERCLOS值来判断驾驶员是否处于疲劳状态。

图4为本发明驾驶员疲劳检测系统中检测人脸模块的结构示意图。如图4所示，检测人脸模块31包括阈值分割模块311、搜索椭圆模块312和滤除虚假区域模块313。其中，阈值分割模块311，用于对视频图像进行亮度阈值分割，以获取候选人脸区域；搜索椭圆模块312，用于利用椭圆模板搜寻候选人脸区域；滤除虚假区域模块313，用于利用至少有三个孔洞的面部特征，从所述候选人脸区域的图像中滤除不符合人脸几何特征的虚假的候选人脸区域，以获得真正的人脸区域；其中，三个孔洞包括眉毛孔洞、眼睛孔洞、和嘴孔洞。

图5为本发明驾驶员疲劳检测系统中提取脸部特征模块的结构示意图。如图5所示，提取脸部特征模块32包括计算FRST特征参数模块321和判定几何分布关系模块322。其中，计算FRST特征参数模块321，用于计算候选人脸区域内具有对称性特征的眼睛、鼻孔及嘴孔洞位置的各个连通区域，再辅以椭圆拟合以得到上述对称性特征的五个FRST特征参数；判定几何分布关系模块322，用于根据所述五个FRST特征参数判定是否符合眼睛、鼻孔及嘴的几何分布关系，若符合，则记录人眼检测的结果；若不符合，则认为该区域是虚假区域并滤除。

图6为本发明驾驶员疲劳检测系统中跟踪脸部特征模块的结构示意图。如图6所示，跟踪脸部特征模块33包括初始化位置模块331、预测位置模块332和记录人眼运动轨迹模块333。其中，初始化位置模块331，用于将所述提取脸部特征中人眼检测结果设置为初始值；预测位置模块332，用于通过人眼的运动速度和运动趋势，确定下一帧人眼位置；记录人眼运动轨迹模块333，用于检测真实人眼区域，并实时的更新人眼跟踪数据来记录人眼运动轨迹。

本发明实施上述技术方案的特点在于：(1)根据人脸几何特征，利用FRST算法检测人脸，提高了驾驶员人脸检测的准确度，降低了检测复杂度；(2)利用PERCLOS值作为驾驶员疲劳程度的检测指标，提高了检测疲劳状态的可靠性和准确度。

以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围，应当理解，本发明并不限于这里所描述的实现方案，这些实现方案描述的目的在于帮助本领域中的技术人员实践本发明。任何本领域中的技术人员很容易在不脱离本发明精神和范围的情况下进行进一步的改进和完善，因此本发明只受到本发明权利要求的内容和范围的限制，其意图涵盖所有包括在由所附权利要求所限定的本发明精神和范围内的备选方案和等同方案。

Claims (10)

1.一种驾驶员疲劳检测的方法，其特征在于，该方法包括如下步骤：

(1)检测人脸，从红外摄像机获取的视频图像，利用椭圆模板搜寻区域，并用面部特征孔洞进行验证，以得到图像中的人脸区域；

(2)提取脸部特征，通过FRST法和椭圆拟合方法，提取人脸区域内眼、鼻、嘴的位置；

(3)跟踪脸部特征，利用所提取的脸部特征，提取以实时更新脸部特征中人眼的位置数据，并保留其运动轨迹；和

(4)判断疲劳，根据跟踪脸部特征的结果，计算PERCLOS值来判断驾驶员是否处于疲劳状态；

其中，所述检测人脸包括：

阈值分割，对视频图像进行亮度阈值分割，以获取候选人脸区域；

搜索椭圆，利用椭圆模板搜寻候选人脸区域；

滤除虚假区域，利用至少有三个孔洞的面部特征，从所述候选人脸区域的图像中滤除不符合人脸几何特征的虚假的候选人脸区域，以获得真正的人脸区域；其中，三个孔洞包括眉毛孔洞、眼睛孔洞、和嘴孔洞；

所述椭圆模板的形成包括如下步骤：

形成0度倾斜角的椭圆模板，以若干幅人脸图像为样本，计算该样本的人脸区域的高度与宽度比值的均值α，并确定该样本中的最大人脸图像的尺度，然后确定一个初始椭圆，该初始椭圆的长短轴之比为α，倾斜角为0度，尺度与最大人脸图像的尺度相等；再从椭圆上顶点往上延长此椭圆长半轴的阈值1距离，形成椭圆模板的头发区域；

形成±30度的椭圆模板，在形成0度倾斜角的椭圆模板的基础上，将0倾斜角的椭圆模板以椭圆中心为中心旋转+30度和-30度而形成的两个倾斜±30度的椭圆模板；

形成不同尺度的椭圆模板，基于上述两步所形成的不同倾斜角度的三类椭圆模板，以固定比例β，形成每一倾斜角下不同尺度的椭圆模板集合；

所述提取脸部特征是利用FRST算法，计算候选人脸区域内具有对称性特征的眼睛、鼻孔及嘴孔洞位置的各个连通区域，再辅以椭圆拟合以得到上述对称性特征的五个FRST特征参数，并根据所述五个FRST特征参数判定是否符合眼睛、鼻孔及嘴的几何分布关系，若符合，则记录入眼检测的结果；若不符合，则认为该区域是虚假区域并滤除；其中，所述五个FRST特征参数包括：孔洞的左端位置、孔洞的右端位置、孔洞的上端位置、孔洞的下端位置及孔洞的中心位置；

利用所述五个FRST特征参数判定符合眼睛、鼻孔及嘴的几何分布的方法是：第一步，根据两眼位置确定眼睛的线段，然后鼻孔位置向眼睛线段垂直投影，若鼻孔投影点位于眼睛线段中点，那么眼睛鼻孔位置关系就符合几何关系；第二步，若嘴巴位置点位于鼻孔位置点和鼻孔在眼睛线段上的投影点所确定的直线延长线上，且嘴鼻距离与眼鼻投影距离小于阈值2，就符合嘴巴位置的几何关系；

其中，FRST为快速径向对称变换。

2.根据权利要求1所述的方法，其特征在于，在形成所述椭圆模板集合后，利用该椭圆模板集合在经过二值化后的图像上依次进行匹配，匹配系数γ的公式：

其中，t_n为第n个椭圆模板，x为直角坐标系的横坐标，y为直角坐标系的纵坐标，i为椭圆模板的横坐标，j为椭圆模板的纵坐标；选取匹配系数γ值最小的区域作为候选人脸区域。

3.根据权利要求1所述的方法，其特征在于，滤除虚假区域的方法是：在候选人脸区域的上半部分搜索孔洞，若搜索到的眉毛孔洞、眼睛孔洞是以对出现的，且眼睛孔洞是椭圆形的，则认为该候选人脸区域的上半部分存在眼睛和眉毛，并继续对该区域的下半部分进行搜索，否则认为该区域为虚假区域并滤除；在候选人脸区域的下半部分搜索孔洞，若搜索到的嘴孔洞是呈椭圆形，其中心位于两眼睛孔洞中心的中间，则认为该候选人脸区域存在嘴，否则认为该候选人脸区域是虚假区域并滤除。

4.根据权利要求1所述的方法，其特征在于，所述跟踪脸部特征包括如下步骤：

初始化位置，将所述提取脸部特征中人眼检测结果设置为初始值；

预测位置，通过人眼的运动速度和运动趋势，确定下一帧人眼位置；

检测得到真实人眼区域，并实时的更新人眼跟踪数据，记录人眼运动轨迹。

5.根据权利要求4所述的方法，其特征在于，所述人眼的运动速度，是指统计当前时刻以前的连续阈值3帧图像中的眼睛位置及每帧对应的时刻；然后根据这连续阈值3帧图像中眼睛的位移总量及时间计算眼睛的运动平均速度；所述人眼的运动趋势，是指根据算出的运动方向和速率，再根据帧间时间间隔，计算出下一帧人眼的位置点，以确定下一帧人眼位置。

6.根据权利要求4所述的方法，其特征在于，确定所述真实人眼区域包括如下步骤：

第一步：确定人眼搜索区域，在下一帧中预测的人眼位置，根据预测的人眼位置点左右各扩大两眼距离的阈值4，往上扩大两眼距离的阈值5，往下扩大两眼距离的阈值6，以形成一个矩形区域，选取该矩形区域作为人眼搜索区域；

第二步：确定真实人眼区域，用FRST算法对所述人眼搜索区域进行FRST算法计算，以得到相应的映射图像，并获取该映射图像的最大像素值，然后将最大像素值的阈值7作为分割阈值，对所述人眼搜索区域进行分割，以得到二值图像区域，再判断该二值图像区域内是否存在一对垂直区域；若存在，则认为垂直区域的下面区域为真实人眼区域，垂直区域的上面区域为眉毛；若不存在，则认为该垂直区域为真实人眼区域。

7.根据权利要求6所述的方法，其特征在于，判断该二值图像区域内是否存在一对垂直区域的方法是：根据两只眼睛的预测位置，计算出预测的两眼线段的连线方向，若当前区域内存在一对区域连线方向与两眼线段连线方向的夹角在阈值8范围内，则认为该区域内存在一对垂直区域。

8.根据权利要求1所述的方法，其特征在于，所述PERCLOS值是单位时间内眼睛闭合时间所占的百分率，该PERCLOS值的计算公式为：

$f=\frac{t_2}{t_1}\×100\%$

其中，t₁为某一设定的特定时间，t₂为眼睛闭合的时间，

判断眼睛闭合的条件，是根据所计算人眼区域的高度与宽度的比值进行判断，若小于阈值9，则认为眼睛闭合；

确定驾驶疲劳程度的方法是：当PERCLOS值f超过设定的阈值10，则认为驾驶员属于疲劳状态。

9.一种驾驶员疲劳检测系统，其特征在于，所述驾驶员疲劳检测系统包括：

检测人脸模块，用于从红外摄像机获取的视频图像，利用椭圆模板搜寻区域，并用面部特征孔洞进行验证，以得到图像中的人脸区域；

提取脸部特征模块，用于通过FRST法和椭圆拟合方法提取人脸区域内眼、鼻、嘴的位置；

跟踪脸部特征模块，用于利用所提取的脸部特征提取以实时更新脸部特征中人眼的位置数据，并保留其运动轨迹；

判断疲劳模块：根据人眼跟踪结果，计算PERCLOS值来判断驾驶员是否处于疲劳状态；

所述检测人脸模块包括：

阈值分割模块，用于对视频图像进行亮度阈值分割，以获取候选人脸区域；

搜索椭圆模块，用于利用椭圆模板搜寻候选人脸区域；

滤除虚假区域模块，用于利用至少有三个孔洞的面部特征，从所述候选人脸区域的图像中滤除不符合人脸几何特征的虚假的候选人脸区域，以获得真正的人脸区域；其中，三个孔洞包括眉毛孔洞、眼睛孔洞、和嘴孔洞；

其中，所述椭圆模板的形成包括如下步骤：

形成0度倾斜角的椭圆模板，以若干幅人脸图像为样本，计算该样本的人脸区域的高度与宽度比值的均值α，并确定该样本中的最大人脸图像的尺度，然后确定一个初始椭圆，该初始椭圆的长短轴之比为α，倾斜角为0度，尺度与最大人脸图像的尺度相等；再从椭圆上顶点往上延长此椭圆长半轴的阈值1距离，形成椭圆模板的头发区域；

形成±30度的椭圆模板，在形成0度倾斜角的椭圆模板的基础上，将0倾斜角的椭圆模板以椭圆中心为中心旋转+30度和-30度而形成的两个倾斜±30度的椭圆模板；

形成不同尺度的椭圆模板，基于上述两步所形成的不同倾斜角度的三类椭圆模板，以固定比例β，形成每一倾斜角下不同尺度的椭圆模板集合；

所述提取脸部特征模块包括：

计算FRST特征参数模块，用于计算候选人脸区域内具有对称性特征的眼睛、鼻孔及嘴孔洞位置的各个连通区域，再辅以椭圆拟合以得到上述对称性特征的五个FRST特征参数；

判定几何分布关系模块，用于根据所述五个FRST特征参数判定是否符合眼睛、鼻孔及嘴的几何分布关系，若符合，则记录人眼检测的结果；若不符合，则认为该区域是虚假区域并滤除；

其中，利用所述五个FRST特征参数判定符合眼睛、鼻孔及嘴的几何分布的方法是：第一步，根据两眼位置确定眼睛的线段，然后鼻孔位置向眼睛线段垂直投影，若鼻孔投影点位于眼睛线段中点，那么眼睛鼻孔位置关系就符合几何关系；第二步，若嘴巴位置点位于鼻孔位置点和鼻孔在眼睛线段上的投影点所确定的直线延长线上，且嘴鼻距离与眼鼻投影距离小于阈值2，就符合嘴巴位置的几何关系；

其中，FRST为快速径向对称变换。

10.根据权利要求9所述的驾驶员疲劳检测系统，其特征在于，所述跟踪脸部特征模块包括：

初始化位置模块，用于将所述提取脸部特征中人眼检测结果设置为初始值；

预测位置模块，用于通过人眼的运动速度和运动趋势，确定下一帧人眼位置；

记录人眼运动轨迹模块，用于检测真实人眼区域，并实时的更新人眼跟踪数据来记录人眼运动轨迹。

Images