CN104298963B - 一种鲁棒的基于人脸形状回归模型的多姿态疲劳监测方法 - Google Patents

Abstract

本发明涉及一种鲁棒的基于人脸形状回归模型的多姿态疲劳监测方法。本发明采用人脸对齐技术，根据在疲劳监测的实际应用中遇到的实际问题，改进已有的人脸对齐方法，用于人眼准确定位，同时给出人脸的姿态信息。该方法能够在复杂光照环境及人员不同姿态下给出稳定的人眼位置，在人员侧脸时仍能给出准确的人眼位置。在疲劳监测应用中，根据给出的人眼区域初步判别人眼的闭合状态序列，并结合人脸姿态判断人员的疲劳状态，进一步提高疲劳监测产品的稳定性和适用性。本发明不仅能准确判别正脸图像中的眼睛闭合状态，而且能够识别侧脸图像中的闭合状态，且该方法结合了人脸姿态信息判别疲劳状态，进一步提高了鲁棒性，符合复杂场景的人员疲劳监测要求。

Description

一种鲁棒的基于人脸形状回归模型的多姿态疲劳监测方法

技术领域

本发明属于视频智能监控技术领域，涉及一种鲁棒的基于人脸形状回归模型的多姿态疲劳监测方法。

背景技术

日常生活中都会碰到前一天睡眠时间过少、睡眠质量过差或者工作枯燥乏味等情况，导致注意力不集中和疲劳状况，从而诱发工作失误，给社会和个人造成重大损失。疲劳监测系统无疑是避免工作失误的有效手段。

在基于视频分析的疲劳监测应用中，主要是根据眼睛的闭合状态及闭合频率等信息判别人员是否正在疲劳驾驶。目前业界主要是通过边缘分析、主动形状模型、纹理模型及其衍生算法在视频序列中检测出人眼位置，训练分类器判别人眼的闭合状态。这种方法在简单场景下可以取得很好的效果。也有学术界直接利用上述边缘分析、主动形状模型、纹理模型等算法检测出眼睑轮廓线，根据眼睑形状直接判断出眼睛是否闭合，但由于眼睑轮廓线检测精度不高，造成大量虚警和误警，此类技术目前还仅限于学术研究，难以在实际场景中应用。

在上述两类方法中，精确定位人眼位置是实现准确疲劳监测的前提条件，而在实际应用中，由于人员的姿态复杂多变，目前产品利用人脸表面建模方法，如主动形状模型ASM算法、纹理模型AAM及其衍生算法CLM等，进行人眼定位，受尺度、旋转、光照等影响严重，尤其对人脸平面内旋转敏感，当人员侧转时效果不理想，影响了疲劳监测产品的应用范围，目前仅局限于火车驾驶员领域应用，而对在复杂场景下的人员，如货车、客车、私家车等普通车辆的驾驶员，背景、光照等因素变化频繁，难以实现稳定、可靠的疲劳监测。

发明内容

本发明采用目前先进的人脸对齐技术，根据在疲劳监测的实际应用中遇到的实际问题，改进已有的人脸对齐方法，用于人眼准确定位，同时给出人脸的姿态信息。该方法能够在复杂光照环境及人员不同姿态下给出稳定的人眼位置，在人员侧脸时仍能给出准确的人眼位置。在疲劳监测应用中，根据给出的人眼区域初步判别人眼的闭合状态序列，并结合人脸姿态判断人员的疲劳状态，进一步提高疲劳监测产品的稳定性和适用性。

本发明解决技术问题所采取的技术方案为：

本发明基于形状回归技术，在人脸图像中定位具有特定物理意义的兴趣点，根据这些兴趣点及点之间的位置关系，得出人眼位置及人脸姿态信息。在人眼图像集上训练分类器得到人眼闭合模型，用以判别人脸的闭合状态，结合人眼闭合状态序列及人脸姿态判别人员的疲劳状况。

步骤1：采集大量人脸样本，并在人脸中标记特征点形成参考形状

步骤2：设定初始形状，利用人脸检测器在人脸图像中确定人脸的位置和尺寸，根据该尺寸对人脸图像进行尺度归一化，缩放后图像中人脸具有近似大小，图像用I表示，在归一化后的人脸上放置标准形状S0，然后根据可能遇到的人脸旋转、人脸检测器的平移和尺度误差对初始位置进行扰动，得到新的样本，组合以下三个方面对样本进行扰动得到新样本：

(1)旋转扰动：随机产生固定范围内的角度θ，将人脸形状和参考形状旋转θ，调整初始形状的位置以适应新的人脸中心，得到新样本。

(2)平移扰动：随机产生两个一定范围内的随机整数Δx、Δy，将初始形状整体平移(Δx，Δy)，得到平移扰动后的新样本。

(3)尺度扰动：随机产生以1为中心的小数s，将人脸形状和参考形状缩放s倍，调整初始形状的位置以适应新的人脸中心，得到缩放扰动下的新样本。

对样本进行扰动后得到训练样本集。

步骤3：收集特征，在图像I中S0表示的点集上计算LBP特征描述矩阵T。

步骤4：学习形状回归模型，形状回归模型是一个迭代模型，首先计算当前迭代步骤的线性模型：

此处，A表示单位矩阵，λ>0；

然后根据上面得到的线性模型H更新初始形状S0：

S0←S0+HT

更新完初始形状S0之后，根据新的S0利用仿射变换对图像进行旋转和尺度矫正，得到新的样本集，在新的样本集上重新计算LBP特征描述矩阵T，根据上面的线性模型和形状更新重新计算线性模型H并更新S0，不断重复直至形状回归误差其中e是很小的正数，通过上述迭代过程可以得到线性回归序列{H_i}_{i＝1,2,…,J}。

步骤5：在训练集上标记并采集人眼图像块，利用SVM算法学习人眼闭合模型。

步骤6：人脸形状是个迭代更新过程，先用人脸检测器确定图形中人脸的位置和尺寸，进行人脸归一化缩放人脸图像使得人脸尺寸具有跟学习形状模型时相同的人脸大小，设定初始形状S0，计算归一化图像I中S0位置处的图像LBP特征描述矩阵T，更新人脸形状S0：

S0←S0+H₁T

与训练过程相同，根据新的S0利用仿射变换对图像I进行旋转和尺度矫正得到，重新计算S0处LBP特征描述矩阵T，利用下一个线性模型H₂用相同的方式更新S0，不断迭代，直至完成J次迭代过程。

步骤7：在疲劳监测时，先根据形状回归模型预测输入图像中的人脸形状，然后根据人脸形状得到人眼区域图像，用人眼闭合模型判别人眼闭合状态，根据人脸形状利用现有3D模型得到人脸姿态信息，利用一段时间周期内连续的人眼闭合状态和人脸姿态信息判别人员疲劳状态。

本发明有益效果：该发明解决了复杂环境下及多姿态下人员疲劳监测效果不理想的问题，用形状回归方法定位人眼位置，结果准确稳定，与现有技术相比，不仅能准确判别正脸图像中的眼睛闭合状态，而且能够识别侧脸图像中的闭合状态，且该方法结合了人脸姿态信息判别疲劳状态，进一步提高了鲁棒性，符合复杂场景的人员疲劳监测要求。

附图说明

图1为本发明方法流程图；

图2为回归模型训练流程图；

图3为预测人脸形状示意图；

图4为眼睛闭合状态中图像块标记示意图；

图5为人脸形状定义示例图。

具体实施方式

以下结合实施例对本发明作进一步说明：

如图1所示，采集一定时间周期内待测人员的脸部视频数据，根据视频分析其人脸姿态及眼睛闭合状态序列，以此序列来判断其是否疲劳，主要流程如下：

(1)实时采集人员的图像序列，假如已经采集到N幅图像序列。

(2)对每幅人脸图像，根据人脸检测设定初始形状，代入形状回归模型，可以得到该图像中的人脸形状，抠出人眼图像块代入眼睛闭合模型得到人脸的闭合状态，将人脸形状代入人脸3D模型得到人脸姿态信息。

(3)对采集到的图像序列中所有人脸图像进行步骤(2)操作，得到人脸姿态及眼睛闭合状态序列，根据人脸姿态和眼睛闭合序列的特点判别待测人员的疲劳状态。

形状回归模型

本发明采用的形状回归模型是一个线性模型，模型表示如下：

其中，S＝[S_1x,S_1y,S_2x,S_2y,...,S_Nx,S_Ny,]′表示当前的形状，或初始形状，它由一系列有意义的点表示，表示人脸的真实形状。T是在图像中形状S表示的点集处提取LBP特征后组成的向量，λ>0，H就是线性模型。该模型的物理意义是当前形状S与真实形状之间的差异可以由S表示的点集的纹理特征补偿，补偿系数为矩阵H。为了防止当前形状部分落入背景时导致人脸形状出现较大失真，增加约束项λ||H||²控制补偿系数。

该模型的最小二乘解为

其中S＝[S₁,S₂,...,S_n]，S＝[T₁,T₂,...,T_n]，A是单位矩阵，λ>0。

利用该线性模型可以得到当前位置的近似估计：

S＝S+HT

由于线性模型的精度往往不是很准确，通过多次迭代的方式逐步修正当前位置，可以得到更准确的形状估计，形状回归模型可以表示为一个回归序列{H_i}_{i＝1,2,…,J}。

学习形状回归模型

回归模型训练流程参见图2，主要如下：(1)采集大量人脸样本，并在人脸中标记特征点形成参考形状(2)利用人脸检测器在人脸图像中确定人脸的位置和尺寸，根据该尺寸对人脸图像进行尺度归一化，缩放后图像中人脸具有近似大小，图像用I表示，在归一化后的人脸上放置标准形状S0，然后根据可能遇到的人脸旋转、人脸检测器的平移和尺度误差对初始位置进行旋转、平移和尺度扰动，得到新的样本，对样本进行扰动后得到训练样本集(3)在图像I中S0表示的点集上计算LBP特征T；(4)学习形状回归模型，形状回归模型是一个迭代模型，首先计算当前迭代步骤的线性模型：然后根据线性模型H更新初始形状S0：S0←S0+HT，更新完初始形状S0之后，根据新的S0利用仿射变换对图像进行旋转和尺度矫正，并对图像进行缩放，得到高一级分辨率的样本集在新的样本集上重新计算LBP特征描述矩阵T，根据上面的线性模型计算方法和形状更新方法重新计算线性模型H并更新S0，不断重复直至形状回归误差(e是很小的正数)，通过上述迭代过程可以得到线性回归序列{H_i}_{i＝1,2,…,J}。

人脸形状预测

人脸形状更新实际是一个更新过程，如图3所示，对输入图像I，用人脸检测器寻找人脸区域R，缩放人脸图像I使得人脸区域与训练人脸形状回归模型时具有相同的大小，在人脸区域R中放置初始形状S0，计算S0对应的位置的LBP特征描述T，更新S0：S0←S0+H₁T，按照S0对图像进行旋转矫正、尺度矫正及缩放，矫正人脸大小与学习模型时第一次迭代的尺寸对应，不断迭代，每次人脸尺寸都与学习模型时该次迭代对应，直至完成所有的人脸形状回归序列，将最终结果映射回原始输入图像就得到了当前图像的人脸形状。

眼睛闭合模型

眼睛闭合状态可以通过训练一个二类分类器SVM(支持向量机)实现，将闭眼作为负类，睁眼作为正类，在人脸标记样本集的基础上提取眼睛子图像块重新标记如图4所示：

提取子图像块的LBP特征x即可组成训练样本集{x_i,y_i}_i＝1,2,…，其中x_i表示第i个样本的LBP特征向量，表示y_i该样本的标注，即-1或+1。有了训练样本集后，眼睛闭合模型可表示为求解如下的数学模型(SVM方法)：

s.t a_i≥0，i＝1，...，n

其中，

上式是一个二次规划问题，求解该二次规划问题可以进一步得到阈值

人眼闭合模型表示为{a_i,x_i,b}

对任意给定人眼图像块，计算其LBP特征描述向量x，根据人眼闭合模型可以得到是否闭合

其中，sign是示性函数，其定义如下：

人脸形状定义，主要由若干个点组成，如图5所示。

人脸形状的点集是人为预先定义的，人眼周围的点用于提取人眼图像；其他点用于辅助定位，根据点之间的耦合约束人眼周围的点，提高人眼定位的准确度，另一个作用是进行人脸姿态估计。

实施例：

收集不同人、不同姿态的人脸图像并标记，图像可以是可见光图像，也可以是红外图像，图像数量不少于3000张。

步骤一：对图像进行必要的缩放处理，人脸在图像中的大小为150x150～300x300的矩形区域，避免人脸过大或过小，样本标记参考人脸形状定义；

步骤二：用人脸检测器在图像中标记出人脸的位置和大小，对人脸图像进行缩放，使得人脸区域大小为60x60，设置初始形状S0，对样本集进行旋转、平移、缩放三种扰动，每幅图像扰动10次，得到扩充的样本集；

步骤三：计算样本集中对应的位置的LBP特征描述，组合起来得到矩阵T，计算线性模式：

其中，I表示单位矩阵，λ取0.1。

根据此线性模型更新初始位置S0：S0←S0+HT

按照S0对图像进行旋转矫正、尺度矫正及缩放，矫正人脸大小为80x80，且存在很小的平面内旋转。在此尺度上重新计算S0对应的LBP特征描述向量，重新计算下一次迭代的计算线性模型H、更新初始位置S0及对图像进行旋转矫正、尺度矫正及缩放，矫正人脸大小为100x100，不断迭代，每次人脸尺寸增加20，直至算法收敛，得到人脸形状回归序列{H_i}。

步骤四：根据样本集的标记形状抠取两只眼睛的图像块，进行睁眼和闭眼状态标记，正类表示睁眼，负类表示闭眼，提取LBP特征，训练支持向量机得到一个眼睛闭合模型。

步骤五：人脸形状更新实际是一个更新过程，对输入图像I，用人脸检测器寻找人脸区域R，缩放人脸图像I使得人脸区域大小为60x60，在人脸区域R中放置初始形状S0，计算S0对应的位置的LBP特征描述T，更新S0：S0←S0+H₁T，按照S0对图像进行旋转矫正、尺度矫正及缩放，矫正人脸大小为80x80，不断迭代，每次人脸尺寸增加20，直至完成所有的人脸形状回归序列{H_i}，将最终结果映射回原始输入图像就得到了当前图像的人脸形状。

步骤六：根据预测的当前图像的人脸形状，提取两眼的图像区域，提取LBP特征，用人眼闭合模型判别眼睛的闭合状态E。利用已有的人脸三维模型，将当前图像的人脸形状代入，得到当前人脸的姿态Z。

步骤七：对最近的视频序列得到的人眼闭合状态序列{E_i}和对应的人脸姿态序列{Z_i}，利用统计规律，判别当前人员的疲劳状态

以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围，应带理解，本发明并不限于这里所描述的实现方案，这些实现方案描述的目的在于帮助本领域中的技术人员实践本发明。

Claims (4)

1.一种鲁棒的基于人脸形状回归模型的多姿态疲劳监测方法，其特征在于该方法具体包括以下步骤：

步骤1：采集大量人脸样本，并在人脸中标记特征点形成参考形状

步骤2：设定初始形状，利用人脸检测器在人脸图像中确定人脸的位置和尺寸，根据该尺寸对人脸图像进行尺度归一化，缩放后图像中人脸具有近似大小，图像用I表示，在归一化后的人脸上放置标准形状S0，然后根据可能遇到的人脸旋转、人脸检测器的平移和尺度误差对初始位置进行扰动，得到新的样本，从而形成训练样本集；

步骤3：收集特征，在图像I中S0表示的点集上计算LBP特征描述矩阵T；

步骤4：学习形状回归模型，形状回归模型是一个迭代模型，首先计算当前迭代步骤的线性模型：

<mrow> <mi>H</mi> <mo>=</mo> <mrow> <mo>(</mo> <mover> <mi>S</mi> <mo>^</mo> </mover> <mo>-</mo> <mi>S</mi> <mn>0</mn> <mo>)</mo> </mrow> <msup> <mrow> <mo>(</mo> <msup> <mi>T</mi> <mo>&amp;prime;</mo> </msup> <mi>T</mi> <mo>+</mo> <mi>&amp;lambda;</mi> <mi>A</mi> <mo>)</mo> </mrow> <mrow> <mo>-</mo> <mn>1</mn> </mrow> </msup> <msup> <mi>T</mi> <mo>&amp;prime;</mo> </msup> </mrow>

此处，A表示单位矩阵，λ>0；

然后根据上面得到的线性模型H更新初始形状S0：

S0←S0+HT

更新完初始形状S0之后，根据新的S0利用仿射变换对图像进行旋转和尺度矫正，得到新的样本集，在新的样本集上重新计算LBP特征描述矩阵T，根据上面的线性模型和形状更新重新计算线性模型H并更新S0，不断重复直至形状回归误差其中e是很小的正数，通过上述迭代过程可以得到线性回归序列{H_i}_{i＝1,2,…,J}；

步骤5：在训练集上标记并采集人眼图像块，利用SVM算法学习人眼闭合模型；

步骤6：人脸形状是个迭代更新过程，先用人脸检测器确定图形中人脸的位置和尺寸，进行人脸归一化缩放人脸图像使得人脸尺寸具有跟学习形状模型时相同的人脸大小，设定初始形状S0，计算归一化图像I中S0位置处的图像LBP特征描述矩阵T，更新人脸形状S0：

S0←S0+H₁T

与训练过程相同，根据新的S0利用仿射变换对图像I进行旋转和尺度矫正得到，重新计算S0处LBP特征描述矩阵T，利用下一个线性模型H₂用相同的方式更新S0，不断迭代，直至完成J次迭代过程；

步骤7：在疲劳监测时，先根据形状回归模型预测输入图像中的人脸形状，然后根据人脸形状得到人眼区域图像，用人眼闭合模型判别人眼闭合状态，根据人脸形状利用现有3D模型得到人脸姿态信息，利用一段时间周期内连续的人眼闭合状态和人脸姿态信息判别人员疲劳状态；

所述的人眼闭合模型通过训练一个支持向量机的二类分类器实现，将闭眼作为负类，睁眼作为正类，在人脸标记样本集的基础上提取眼睛子图像块重新标记；提取子图像块的LBP特征x，组成训练样本集{x_i,y_i}_i＝1,2,…，其中x_i表示第i个样本的LBP特征向量，y_i表示该样本的标注，即-1或+1；

有了训练样本集后，人眼闭合模型表示为求解二次规划问题，通过求解二次规划问题得到人眼闭合模型{a_i,x_i,b}，其中a_i为二次规划问题求解的参数，b为二次规划问题求解得到的阈值；对任意给定人眼图像块，计算其LBP特征描述向量x，根据人眼闭合模型得到是否闭合。

2.根据权利要求1所述的一种鲁棒的基于人脸形状回归模型的多姿态疲劳监测方法，其特征在于：

步骤2中根据可能遇到的人脸旋转对初始位置进行扰动具体是：随机产生固定范围内的角度θ，将人脸形状和参考形状旋转θ，调整初始形状的位置以适应新的人脸中心，得到新样本。

3.根据权利要求1所述的一种鲁棒的基于人脸形状回归模型的多姿态疲劳监测方法，其特征在于：

步骤2中根据人脸检测器的平移对初始位置进行扰动具体是：随机产生两个一定范围内的随机整数Δx、Δy，将初始形状整体平移(Δx，Δy)，得到平移扰动后的新样本。

4.根据权利要求1所述的一种鲁棒的基于人脸形状回归模型的多姿态疲劳监测方法，其特征在于：

步骤2中根据尺度误差对初始位置进行扰动具体是：随机产生以1为中心的小数s，将人脸形状和参考形状缩放s倍，调整初始形状的位置以适应新的人脸中心，得到缩放扰动下的新样本。