CN105844252A - 一种面部关键部位的疲劳检测方法 - Google Patents

Abstract

一种面部关键部位的疲劳检测方法。首先，利用肤色模型检测到人脸区域为AAM提供初始定位，然后基于AAM进行局部人眼和嘴巴跟踪获得眼睛与嘴巴区域，再利用Canny算子对两个区域精确定位，获得疲劳检测参数，最后根据PERCLOS方法实现疲劳检测。考虑到基于HSV颜色模型的人脸检测不受姿势和角度的影响，但容易受到背景干扰，而AAM的优点是人脸关键点跟踪效果好，但初始定位困难，将二者结合实现了眼睛与嘴巴精确定位与跟踪。本发明避免了身体的直接接触，采用AAM局部纹理搜索，降低搜索时间，得到的效果相对ASM算法更加准确。同时给出驾驶员精神评估模型，更容易对驾驶员状态进行明确判断。

Description

一种面部关键部位的疲劳检测方法

技术领域

本发明属于图像处理和模式识别技术领域，具体涉及一种基于驾驶员的面部关键部分的疲劳状态检测方法。

背景技术

据中国救援装备网统计，2014年一季度交通事故分析总结中提到全国发生涉及人员伤亡的道路交通事故40283起，造成10575人死亡、直接财产损失2.1亿元。从事故认定原因看，疲劳驾驶肇事出现明显反弹，导致的死亡人数同比上升12.1％，是导致死亡人数最多的重要原因之一。因此，疲劳驾驶检测成为当前国内外研究的前沿和热点。

面部疲劳特征区域(如眼睛和嘴巴)的精确定位是疲劳检测准确度的前提条件。目前眼睛区域的定位算法主要有基于主动红外光的方法、基于图像的方法、基于人脸全局形状约束的等方法。

基于主动红外光的方法较为简单，且能够在室内环境中获得比较高的眼睛定位和跟踪精度。但它需要特制的光源和信号同步装置，并且眼睛定位成功与否还主要取决于图像的亮度和瞳孔的大小，而瞳孔的大小又往往取决于人的视角方向、外界光照情况以及人与摄像机之间的距离。

基于图像的人眼定位方法主要包含基于知识的方法和基于机器学习的方法。前者提取人脸的器官分布、几何形状、灰度来检验是否符合人脸器官的先验知识，后者把面部特征点检测转化为高维空间中信号的检测，如子空间法、神经网、SVM、HMM、Boosting等算法。

基于人脸全局形状约束的方法，如主动形状模型算法，利用面部区域的拓扑约束实现眼睛局部区域的定位，该方法由于引入了面部区域的拓扑约束，定位精度相对较高，但姿态适应性不强，不能适应实际行车过程中，驾驶员的头部姿态频繁的变化。

由于以上算法中的缺陷，很多方法在实际应用中并不能取得理想的效果，不具有实用性，有待改进。

发明内容

本发明的目的是提供一种面部关键部位的疲劳检测方法，一种具有高匹配效率的面部关键部分的跟踪和检测方法。

一种基于AAM和肤色模型的面部关键部位疲劳检测方法，其特征在于，包括以下步骤：

(1)将采集的视频流转化为帧图像，对源图像进行图像预处理，通过直方图均值化方法提高对比度，用参白法对图像进行光照补偿，计算图像中像素点的灰度值并按照大小进行统计分布，设置亮度值在前5％的像素的灰度值为255；

(2)肤色模型检测人脸区域：将预处理完成的图像转换到HSV色彩空间后，利用最佳阈值分割的方法进行类肤色与背景的区分，肤色在色度取值范围设定为7<H<29时呈现良好的聚类特性，据此色度根据色度阈值将图像二值化，然后利用图像形态学中的腐蚀运算把图像中的一些非人脸的毛刺、小凸起等有可能影响检测效果的像素点过滤掉，最后再利用图像处理中的开运算，去除类肤色块中那些像素点少于1000的区域，最终分割出一片或若干类人脸区域；

(3)图像采集及数据的标注：采集N组应用用户不同程度的闭眼图片M张，图片包括从闭眼到睁眼的各种状态，以及头部旋转45度范围内的照片。对采集到的人脸图片进行手工方法标注图像中被跟踪的面部特征的相应位置，选择标注眉毛、眼睛、鼻子和嘴巴三个地方，共37个点，眉毛特征点标记为1-6和20-25，眼睛标记为7-11和26-30，嘴巴为12-19，鼻子为31-37；

(4)对标记好的图片进行训练，建立形状模型和纹理模型，并组合形成表观模型。然后进行AAM搜索，搜索过程就是表观模型参数c的优化过程，以达到输入纹理与最终达到的纹理的最佳匹配。为了缩短搜索时间初始化位置由肤色模型提供，旋转因子θ：肤色模型分割出的肤色区域为U(n*m)，面积为V，此区域的中心坐标为：

$\stackrel{\&OverBar;}{x}=\frac{1}{V}\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{m}{\mathrm{\&Sigma;}}}jU\&lsqb;i,j\&rsqb;,\stackrel{\&OverBar;}{y}=\frac{1}{V}\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{m}{\mathrm{\&Sigma;}}}iU\&lsqb;i,j\&rsqb;$

再通过下列公式求得旋转角度θ：

$\mathrm{\&theta;}=\frac{1}{2}{\tan }^{-1}\frac{b}{a-c}$

其中：

$b=2\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{m}{\mathrm{\&Sigma;}}}{x_{ij}}^{\&prime;}{y_{ij}}^{\&prime;}U\&lsqb;i,j\&rsqb;$

$c=\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{m}{\mathrm{\&Sigma;}}}{\left({y_{ij}}^{\&prime;}\right)}^{2}U\&lsqb;i,j\&rsqb;$

其中：

缩放因子s：假设训练图像大小w*h，要进行人脸定位的图像的大小为w’*h’，令s₁＝w/w’，s₂＝h/h’，若s₁＝s₂，则s＝s₁＝s₂；若s₁≠s₂，则s＝(s₁+s₂)/2。

平移因子t：设置人脸长和宽之比为1.2，略到脖子的影响，则t＝肤色区域的中心坐标-平均模板的中心坐标。

AAM搜索完成后得到人脸的局部图像，初步确定了眼睛和嘴巴的位置。下一步对眼睛和嘴巴进行精确定位提取疲劳数据：哈欠数据、眨眼数据，进行疲劳判断。

为了对驾驶员状态进行判断，综合哈欠数据和眨眼数据，建立了一个状态评估模型，如表1所示。将眼睛特征和嘴巴特征分别划分为4个等级，两个疲劳状态的利用加权平均法进行综合即：W＝A*x+B*y。其中A＝0.8，B＝0.2，A，B系数的取值根据检测准确率、眨眼和哈欠与疲劳的相关性确定的。综合结果分为四种情况：正常，轻度疲劳，中度疲劳，严重疲劳。

表1驾驶员精神评估模型

本发明提出了一种基于AAM和肤色模型的疲劳驾驶检测方法。AAM算法的优点是复杂背景下人脸跟踪效果好，但缺点是初始定位困难，而且头部摆动姿势过大时定位不准确。实际测量发现驾驶员头姿摆动幅度在左右45°范围内，不会影响AAM人脸定位效果。基于HSV颜色模型的人脸检测不受姿势和角度的影响，检测速度快，但容易受到背景干扰。本发明将二者结合实现了眼睛与嘴巴精确定位与跟踪，疲劳检测实验取得了较为理想的实验结果。此发明避免了身体的直接接触，采用AAM局部纹理搜索，降低搜索时间，得到的效果相对ASM算法更加准确。同时给出驾驶员精神评估模型，更容易对驾驶员状态进行明确判断。

附图说明

图1是本实施例的流程示意图。

图2是Canny边缘检测眼睛轮廓。

图3是眼睛模型。

图4是嘴巴三种状态二值图。

具体实施方式

本发明将通过以下实施例作进一步说明。

本实施例为实现面部关键部位轮廓的精确跟踪，包括以下步骤：

(1)将采集的视频流转化为帧图像。

(2)对源图像进行图像预处理，通过直方图均值化方法提高对比度，去除噪声，凸显图像细节，提高图像质量。最后用参白法对图像进行光照补偿。计算图像中像素点的灰度值并按照大小进统计分布，设置亮度值在前5％的像素的灰度值为255。

(3)肤色模型检测人脸区域：预处理完成的图像转换到HSV色彩空间后，利用最佳阈值分割的方法进行类肤色与背景的区分。肤色在色度取值范围设定为7<H<29时呈现良好的聚类特性，据此色度根据色度阈值将图像二值化。然后利用图像形态学中的腐蚀运算把图像中的一些非人脸的毛刺、小凸起等有可能影响检测效果的像素点过滤掉，最后再利用图像处理中的开运算，去除类肤色块中那些像素点少于1000的区域，最终分割出一片或若干类人脸区域。

(4)AAM模型的建立，初步得到面部关键部位眼睛和嘴巴的位置。

4.1图像采集及数据的标注。采集N组用户不同程度的闭眼图片M张，图片包括从闭眼到睁眼的各种状态，且照片的头部旋转在45度范围。手工方法标注人脸图片中被跟踪的面部特征的相应位置。本文采用局部AAM方法，为了局部的稳定性，选择标注眉毛、眼睛、鼻子和嘴巴三个地方，共37个点。

4.2形状模型的建立。首先训练标定好的N幅图中特征点构造一个形状向量：

α_i＝(x_i0,y_i0,x_i1,y_i1...x_ik,y_ik...x_i(n-1),y_i(n-1))^T

π＝(α₁,α₂...α_k...α_N)

然后将所有图片经过缩放、旋转、平移之后对齐。训练样本对齐后，用PCA建立形状模型。过程如下：

计算平均形状向量：

计算协方差矩阵：

设协方差矩阵S的特征值为λ_i，选择前t个对应的特征向量p＝(p₁，p₂,…p_t)使得与其对应的特征值满足这里的f_v是特征向量个数比例。所以，形状模型可以表示为：其中，形状参数修改b_s可以得到任何形状，实验研究表明，在时会有较好的形状。

4.3纹理模型的建立。

将训练图像经过Delaunay三角划分到标准模型，在标准模型上采集纹理信息，即可得到对应特征点纹理信息的采样向量集g_i(i＝1,2,…,N)，对得到的纹理信息进行PCA提取主成分，得到纹理模型其中为平均纹理，Φ_g为PCA分析得到的特征向量组成的特征矩阵，b_g为控制纹理变化的统计纹理参数。

4.4表观模型的建立

将形状模型和表观模型结合在一起，构成了表观模型。b为结合后的新的表观特征向量。其中,对角矩阵W_S用来调整b_s和b_g之间的量纲不同。对b进行PCA进一步消除纹理和纹理之间的相关性，得到表观模型：其中为平均表观向量，Q为表观主成分特征向量形成的变换矩阵，c为控制表观变化的统计表观参数，通过调整c来得到不同的b_s、b_g参数，从而得到不同的人脸模型。

4.5模型的搜索。

AAM搜索过程就是表观模型参数c的优化过程，以达到输入纹理与最终达到的纹理的最佳匹配。具体的目标函数为Δ＝||δg||²＝||g_s-g||²，其中g为输入图像的纹理，g_s为输入图像根据当前形状形变到平均形状得到的纹理。为了缩短搜索时间，采用基于纹理预测参数变化的启发式参数搜索策略，利用线性回归进行参数预测。

(1)初始化：AAM初始状态是通过对平均形状向量进行平移、选择和缩放得到的。本文由肤色模型提供初始化位置X＝M(s,θ)[a_i]+X_c。

旋转因子θ：肤色模型分割出的肤色区域为U(n*m)，面积为V，此区域的中心坐标为：

$\begin{array}{cc}\stackrel{\&OverBar;}{x}=\frac{1}{V}\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{m}{\mathrm{\&Sigma;}}}jU\&lsqb;i,j\&rsqb;& \stackrel{\&OverBar;}{y}=\frac{1}{V}\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{m}{\mathrm{\&Sigma;}}}iU\&lsqb;i,j\&rsqb;\end{array}$

再通过下列公式求得旋转角度θ

$\mathrm{\&theta;}=\frac{1}{2}{\tan }^{-1}\frac{b}{a-c}$

其中：

$b=2\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{m}{\mathrm{\&Sigma;}}}{x_{ij}}^{\&prime;}{y_{ij}}^{\&prime;}U\&lsqb;i,j\&rsqb;$

$c=\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{m}{\mathrm{\&Sigma;}}}{\left({y_{ij}}^{\&prime;}\right)}^{2}U\&lsqb;i,j\&rsqb;$

其中：

缩放因子s：假设训练图像大小w*h，要进行人脸定位的图像的大小为w’*h’，令s₁＝w/w’，s₂＝h/h’，若s₁＝s₂，则s＝s₁＝s₂；若s₁≠s₂，则s＝(s₁+s₂)/2

平移因子t:设置人脸长和宽之比为1.2，略到脖子的影响，则t＝肤色区域的中心坐标-平均模板的中心坐标。

迭代次数为n＝0，表观模型参数c_t；

(2)计算当前纹理和模型纹理之差：δg＝g_s-g，其中g为输入图像的纹理，g_s为输入图像根据当前形状形变到平均形状得到的纹理，δg为输入和模型纹理之间的差别

(3)利用线性回归模型预测参数变化：δc＝R_cδg，其中δc为模型参数变化R_c为线性回归变化矩阵

(4)尝试新的模型参数：c_t'＝c_t-kδc,k＝1；

(5)重新计算误差函数：δg'

(6)比较||δg||、||δg'||，如果||δg'||<||δg||，则接受ct'作为新的参数；否则重新更新ct'，尝试k＝1.5；0.5；0.25等

(7)n＝n+1，如果||δg'||-||δg||<ξ或者迭代次数n超过预定次数，则退出，否则转到(2)

4.6眼睛、嘴巴的精确定位及疲劳判断。

AAM搜索完成后得到人脸局部图像，为了提高精度，本发明将人眼特征感兴趣区域设定为眉毛轮廓的最下端作为矩形框的上边界，眼睛区域的最下端5个像素点处、最左边5像素处、最右边5像素处分别作为矩形框的下边界、左边界、右边界。同理，得到嘴巴矩形框。

首先，对眼睛矩形框进行二值化。然后选用相同高度的正方形模板对眼睛矩形框从左往右进行扫描，当模板中黑色像素达到最多时停止。最后依次改变模板的各边长，当其中黑色像素数达到整个模板像素数的85％时停止，所得模板的几何中心即瞳孔坐标。为精确提取眼睛和嘴巴的疲劳特征，下一步采用Canny算子进一步提取眼睛和嘴巴的精确位置，提取眼角和上眼睑，判断眼睛的状态。

(1)利用Canny算子提取眼睛的边缘特征得到单像素宽度的二值图像。

(2)提取内外眼角点。对整个图像从左向右进行遍历搜索选取像素值为255的点作为目标像素点。然后判断左右眼，如果是左眼从左边搜索到的第一个值为255的像素点就是外眼角，最后一个值大于255的像素点就是内眼角。同理得到右眼的内外眼角点。

(3)确定上眼睑的高度。按列扫描图像，取每列最上面的点即上眼睑。由于噪声影响，当某列检测数据与前一列数据相差过大时，该点取前一列数据替换。以瞳孔坐标的Y轴方向与上眼睑边缘的交点即上眼睑轮廓曲线的近似中间点。

根据PERCLOS的原理来判断驾驶员是否处于疲劳状态。根据眼睛模型，定义eye(i)表示视频中第i帧图像中眼睛状态：

$eye\left(i\right)=\left\{\begin{array}{cc}0& H\left(i\right)\&le;T\\ 1& H\left(i\right)>T\end{array}\right.$

其中，H(i)表示第i帧眼睛上眼睑距离内外眼角水平线的高度，T为眼睛闭合与睁开状态的分界阈值，eye(i)＝0表示眼睛闭合，eye(i)＝1表示眼睛睁开。经多次实验设定阈值T＝0.66时，眼睛闭合度超过80％。

(4)提取嘴巴特征。本发明根据AAM确定的区域直接进行二值化，计算上下嘴唇之间的连通区域像素值来计算嘴巴张开度。对实时数据进行分析，驾驶员正常闭合时嘴巴张开度值在0.2～0.4之间；驾驶员正常说话时嘴巴开闭变化频率快，时间短，且嘴巴张开度值变化范围比较大；驾驶员张大嘴巴打哈欠时，嘴巴张开度较大，其值基本保持在0.6以上，且张大嘴时间比较长。多次实验表明，嘴巴张开度阈值设置为0.6，准确度达到83.3％以上。

为了对驾驶员状态进行判断，综合哈欠数据和眨眼数据，建立了一个状态评估模型，如表1所示。将眼睛特征和嘴巴特征分别划分为4个等级，两个疲劳状态的利用加权平均法进行综合即：W＝A*x+B*y。其中A＝0.8，B＝0.2，A，B系数的取值根据检测准确率、眨眼和哈欠与疲劳的相关性确定的。综合结果分为四种情况：正常，轻度疲劳，中度疲劳，严重疲劳。

Claims (1)

1.一种面部关键部位的疲劳检测方法，其特征是包括以下步骤：

(1)将采集的视频流转化为帧图像，对源图像进行图像预处理，通过直方图均值化方法提高对比度，用参白法对图像进行光照补偿，计算图像中像素点的灰度值并按照大小进行统计分布，设置亮度值在前5％的像素的灰度值为255；

(2)肤色模型检测人脸区域：将预处理完成的图像转换到HSV色彩空间后，利用最佳阈值分割的方法进行类肤色与背景的区分，肤色在色度取值范围设定为7<H<29时呈现良好的聚类特性，据此色度根据色度阈值将图像二值化，然后利用图像形态学中的腐蚀运算把图像中的一些非人脸的毛刺、小凸起等有可能影响检测效果的像素点过滤掉，最后再利用图像处理中的开运算，去除类肤色块中那些像素点少于1000的区域，最终分割出一片或若干类人脸区域；

(3)图像采集及数据的标注：采集N组用户不同程度的闭眼图片M张，图片包括从闭眼到睁眼的各种状态，以及头部旋转45度范围内的照片；对采集到的人脸图片进行手工方法标注图像中被跟踪的面部特征的相应位置，选择标注眉毛、眼睛、鼻子和嘴巴三个地方，共37个点，眉毛特征点标记为1-6和20-25，眼睛标记为7-11和26-30，嘴巴为12-19，鼻子为31-37；

(4)对标记好的图片进行训练，建立形状模型和纹理模型，并组合形成表观模型，然后进行AAM搜索，以达到输入纹理与最终达到的纹理的最佳匹配；为了缩短搜索时间初始化位置由肤色模型提供，旋转因子θ：肤色模型分割出的肤色区域为U(n*m)，面积为V，此区域的中心坐标为：

$\stackrel{\&OverBar;}{x}=\frac{1}{v}\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{m}{\mathrm{\&Sigma;}}}\mathrm{jU}[i,j],\stackrel{\&OverBar;}{y}=\frac{1}{V}\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{m}{\mathrm{\&Sigma;}}}\mathrm{iU}[i,j]$

再通过下列公式求得旋转角度θ：

$\mathrm{\&theta;}=\frac{1}{2}{\tan }^{-1}\frac{b}{a-c}$

其中：

$b=2\underset{i=1}{\overset{n}{\&Sigma;}}\underset{j=1}{\overset{m}{\&Sigma;}}{x_{ij}}^{\&prime;}{y_{ij}}^{\&prime;}U\&lsqb;i,j\&rsqb;$

$c=\underset{i=1}{\overset{n}{\&Sigma;}}\underset{j=1}{\overset{m}{\&Sigma;}}{\left({y_{ij}}^{\&prime;}\right)}^{2}U\&lsqb;i,j\&rsqb;$

其中：

缩放因子s：假设训练图像大小w*h，要进行人脸定位的图像的大小为w’*h’，令s₁＝w/w’，s₂＝h/h’，若s₁＝s₂，则s＝s₁＝s₂；若s₁≠s₂，则s＝(s₁+s₂)/2；

平移因子t：设置人脸长和宽之比为1.2，略到脖子的影响，则t＝肤色区域的中心坐标-平均模板的中心坐标；

为了对驾驶员状态进行判断，综合哈欠数据和眨眼数据，建立了一个状态评估模型：将眼睛特征和嘴巴特征分别划分为4个等级，两个疲劳状态的利用加权平均法进行综合即：W＝A*x+B*y，其中A＝0.8，B＝0.2，A，B系数的取值根据检测准确率、眨眼和哈欠与疲劳的相关性确定的；综合结果分为四种情况：正常，轻度疲劳，中度疲劳，严重疲劳。