CN107038422A - 基于空间几何约束深度学习的疲劳状态识别方法 - Google Patents

Abstract

本发明涉及一种空间几何约束深度学习的疲劳状态识别方法。目前基于机器视觉的疲劳检测方法使用HOG、SHIT、Haar等人为定制的特征进行模式识别，在光照条件变化、部分遮挡、振动变化下检测精度有所下降。本发明建立建立基于人脸特征点定位和姿态回归任务协同的深度卷积神经网络模型，协同回归出人脸特征点定位和头部姿态估计，然后利用空间几何约束方法对卷积神经网络进行预训练，最后采用多特征融合的决策方法评估疲劳状态，检测结果具有良好的准确性和可靠性。这种使用非接触式的图像处理方法，仅仅需要常规摄像头对信号采集，设备简单，具有很好的实用性。

Description

基于空间几何约束深度学习的疲劳状态识别方法

技术领域

本发明属于计算机图像处理领域，涉及一种深度学习算法的图像处理技术，根据对驾驶员面部信息的学习得出驾驶员疲劳程度的方法。

背景技术

当前，我国公路交通事业逐渐繁荣，汽车数量不断上升。随之到来的道路交通安全问题变得日益严重起来。根据公安部相关统计调查，由于疲劳驾驶导致的交通事故占总事故数的比例超过20％。美国国家交通安全管理局对于本国的最近几年调查显示，约有27％的受采访者有过开车打瞌睡的经历。由于驾驶疲劳导致的交通事故通常比一般交通事故要严重很多，通常为重大交通事故，驾驶员在事故中死亡概率较高，具体事故原因无法判断；为了逃避相关法律责任，当事人往往隐瞒疲劳驾驶的事实，当对事故原因进行深入调查时发现，交通事故中疲劳驾驶比例会上升至35％-45％，甚至更高。据有关研究表明，在发生交通事故前对司机进行提醒，可以成功避免交通事故的概率达90％左右。因此，对驾驶员的疲劳程度进行实时检测与预警，对避免交通事故的发生具有重要的意义。

疲劳驾驶是导致道路交通事故的主要原因之一，如何有效对驾驶员疲劳状态进行检测和预警已成为世界各国科学家的研究热点。与基于生理参数的疲劳检测方法相比，基于图像处理的非接触式检测方法交互方便且自然，日益受到广泛关注，但在光照变化、部分遮挡、振动等复杂环境下如何有效地提高疲劳检测的准确率和稳定性，仍然需要深入探索。

发明内容

本发明针对现有基于传统图像处理算法进行疲劳检测的不足，提供一种基于空间几何约束深度学习的疲劳状态识别方法。

近年，深度学习技术发展迅猛，尤其是在图像处理领域如目标检测、物体跟踪、人脸识别、场景理解等等取得了很多突破性进展。深度的网络结构有较强的特征学习能力，对光照、遮挡、振动等等表现鲁棒性。本发明进行汽车驾驶疲劳检测的方法基于深度学习与多任务协同的图像处理技术，结合空间几何约束的方法对深度学习网络进行预训练，使得系统具有高效性和鲁棒性等优点。另外，利用融合决策的思想，选取表征疲劳驾驶的非常关键的指标：眼睛状态、嘴巴状态和头部姿态进行融合得到驾驶员的疲劳程度，检测结果具有可靠性。这种使用非接触式的图像处理方法，仅仅需要常规摄像头对信号采集，设备简单，具有很好的实用性。

为了实现以上目的，本发明方法主要包括以下步骤：

步骤(1)对摄像头采集的驾驶员头部图像进行人脸检测，得到人脸区域图像；

步骤(2)建立基于人脸特征点定位和姿态回归任务协同的深度卷积网络模型，相应的目标函数如式(1)，以人脸区域图像数据作为网络输入，将人脸特征点定位和姿态估计两个任务协同优化，同时回归得到人脸特征点坐标和姿态角度值；

其中，任务r代表人脸特征点检测定位任务，任务a表示头部姿态估计；N表示样本的总数；λ∈(0,1)表示头部姿态估计在整个任务中所占的权重；W表示各个任务的待学习权重矩阵；x_i表示两个任务共享的特征表达；表示K个人脸特征点二维坐标构成的向量，表示头部姿态欧拉角，包括平动角(Yaw)、转动角(Pitch)、滚动角(Roll)；f(x_i；W^r)＝(W^r)^Tx_i为一个线性回归函数，f(x_i；W^a)＝(W^a)^Tx_i也是一个线性回归函数；||·||表示l₂范数；

步骤(3)采用空间几何约束方法对基于任务协同的深度卷积网络进行预训练，对应的目标函数如式(2)，提高人脸特征点定位的鲁棒性，加快网络训练的收敛时间；

其中，表示估计的人脸特征点坐标值与实际标签值的损失；S₁,S₂,...,S₆分别表示固定特征数所对应的六点组合，其中S₁为右眼的左右眼角、左眼的左眼角、鼻翼的右侧端部、嘴巴的左右角，S₂为右眼的左右眼角、左眼的右眼角、鼻翼的右侧端部、嘴巴的左右角，S₃为右眼的左右眼角、左眼的左眼角、鼻翼的左右侧端部、嘴巴的左角，S₄为右眼的左右眼角、左眼的右眼角、鼻翼的左右侧端部、嘴巴的左角，S₅为右眼的左右眼角、左眼的左眼角、鼻翼的左侧端部、嘴巴的左右角，S₆为右眼的左右眼角、左眼的右眼角、鼻翼的左侧端部、嘴巴的左右角；表示第i个样本第j个组合的固定特征数；是从第i个样本第j个组合中计算出的实际特征数；η∈(0,1)表示约束项的权重；

步骤(4)利用人脸特征点坐标和头部姿态角度信息提取眼部状态、嘴巴形状、头部姿态多个疲劳特征，然后采用粗糙集方法对特征信息进行融合决策，以评估驾驶员疲劳状态。

本发明与已有汽车驾驶疲劳检测方法相比，具有如下特点：

1、基于深度学习算法的疲劳检测方法

基于机器视觉的检测方法是一种非接触式的方式，不会对驾驶员进行干扰，是当前研究的热点。但传统的机器视觉方法使用HOG、SHIT、Haar等人为定制的特征进行模式识别，在光照条件变化、部分遮挡、振动变化下检测精度有所下降。本发明使用多任务协同深度学习算法，利用深度网络的较强的特征学习能力，对光照、遮挡、振动等等表现鲁棒性。

2、基于多任务协同的深度模型设计方法

设计一个深度卷积神经网络同时协同回归出人脸特征点坐标和头部姿态欧拉角度值，利用二者提取眼部状态、嘴巴形状、头部姿态等多个特征去评估驾驶员的疲劳状态，提高检测准确性。

3、利用空间几何约束方法对深度卷积神经网络进行预训练

当前，深度卷积网络方法网络参数初始化难是一个普遍存在的问题，本发明提出一种基于空间几何约束的初始化方法使得模型输出对姿态变化更加鲁棒，也加快了网络的收敛速度。

附图说明

图1算法整体网络框架图；

图2六点的特征数描述图；

图3八特征点分布图；

图4信息融合决策结构图

具体实施方式

下面结合附图详细描述本发明基于空间几何约束深度学习的疲劳状态识别方法。

本发明方法的实施主要包括四个步骤：(1)对摄像头采集的驾驶员头部图像进行人脸检测，得到人脸区域图像；(2)建立基于人脸特征点定位和姿态估计任务协同的深度卷积网络模型，以人脸区域图像数据作为网络输入，将人脸特征点定位和姿态估计两个任务协同优化，同时回归得到人脸特征点坐标和姿态角度值；(3)采用空间几何约束方法对基于任务协同的深度卷积网络进行预训练，提高人脸特征点定位的鲁棒性，加快网络训练的收敛时间；(4)利用人脸特征点坐标和头部姿态角度信息提取眼部状态、嘴巴形状、头部姿态等多个疲劳特征，然后采用粗糙集方法对特征信息进行融合决策，以评估驾驶员疲劳状态。

下面逐一对各步骤进行详细说明。

步骤一：对摄像头采集的驾驶员头部图像进行人脸检测，得到人脸区域图像；

首先使用普通摄像头采集驾驶员头部图像，摄像头位置方向固定，可以较好地捕捉驾驶员的整个头部区域图像。然后，采用SVM算法进行人脸区域的检测提取。

步骤二：建立基于人脸特征点定位和姿态估计任务协同的深度卷积网络模型；

采用基于任务协同的深度卷积神经网络学习方法，将人脸特征点定位和姿态估计两个任务联合优化，同时回归出人脸特征点坐标和姿态角度。常规的头部姿态估计就是间隔地设定固定角度值，然后判断检测结果最接近这些固定值中的哪一个，最终估计输出的是离散的角度值。但是，头部姿态空间是一个连续的三维空间，姿态估计输出应该为连续的角度值。因此，本发明将头部姿态估计任务设计为一个回归问题，设计的算法输出连续的三维头部欧拉旋转角。分别为平动角(Yaw)、转动角(Pitch)、滚动角(Roll)。可对头部运动空间完整表达。整体网络框架如图1所示。

将人脸特征点定位和姿态估计两个任务都设计为回归模型，本发明设计算法的目标函数为：

其中，任务r代表人脸特征点检测定位任务，任务a表示头部姿态估计；N表示样本的总数；λ∈(0,1)表示头部姿态估计在整个任务中所占的权重；W表示各个任务的待学习权重矩阵；x_i表示两个任务共享的特征表达；表示K个人脸特征点二维坐标构成的向量，表示头部姿态欧拉角，包括平动角(Yaw)、转动角(Pitch)、滚动角(Roll)；f(x_i；W^r)＝(W^r)^Tx_i为一个线性回归函数，f(x_i；W^a)＝(W^a)^Tx_i也是一个线性回归函数；||·||表示l₂范数。

给定一张人脸图像x°，深度卷积网络模型逐层将x°由低层次表示映射为高层次表示，过程如下所示：

其中，l为卷积-池化层的总层数，x^l表示两个任务的共享特征表达。可知，式(2)学习共享特征空间，而式(1)表示使用这个共享特征空间优化两个任务，利用误差反向传播进行网络参数的学习。

步骤三：采用空间几何约束方法对基于任务协同的深度卷积网络进行预训练；

深度卷积网络学习的是一个复杂的非线性函数，最终是收敛到一个局部最优，不同的网络初始化对最终的局部最优值影响很大。传统的深度卷积神经网络权重和偏置的初始化都是采用均值为0、标准差为1的高斯分布随机初始化一个较小值，这种初始化的方法比较会导致隐藏神经元的饱和，最终导致权重在进行梯度下降算法时学习得非常缓慢。对此，本发明提出根据空间几何理论，构造约束项进行网络模型预训练，保存训练得到的相关模型参数，作为步骤二中网络参数的初始化。利用几何约束进行模型参数初始化的优点是：不但让深度卷积神经网络学习到对空间几何信息鲁棒的特征，并且可以加快网络的训练时间。

(1)六点构成的特征数

在射影空间中，取任意三点都不共线的六点A＝(x_a,y_a,1)，I＝(x_i,y_i,1)，B＝(x_b,y_b,1)，C＝(x_c,y_c,1)，H＝(x_h,y_h,1)，J＝(x_j,y_j,1)，如图2所示。根据有向三角形面积的比率，计算该六点的特征数κ，

进一步，用点的坐标构成的行列式表示三角形的面积，则κ可表示为：

其中，

将六点特征数理论应用到人脸特征点检测时，对任意三点不共线的条件不必进行严格限制，这六个点只要可以构成一个三角形即可。

(2)构造特征数约束

人脸有很强的结构化特性，不同人脸上都存在固有的几何属性。对于正脸，如图3中2，1，3，4编号特征点的连线、5，6编号特征点的连线和编号7，8点特征点连线是相互平行，虽然随着视角的变换这些平行和垂直的性质会发生改变，但是特征数的值在射影变换下却能保持不变。特征数描述了人脸特征点位置的子集所构成的固有的几何属性。将这些几何属性作为形状约约束，进行人脸特征点提取。

对于图3的8个特征点，以穷举方法找到人脸的共有几何特征。具体是：首先从8个人脸特征点中任意选出6个不同的点，共得到28种组合；然后，对于某种组合，实施中使用515张正脸图像，分别计算在每张图像中的六点特征数，得到515个特征数值；最后，从28种组合中找出所有满足式(6)条件的组合：

其中，κ_j是六点组合的特征数，j＝1,2,…,28；ε和σ是很小的正整数；std(·)表示特征数的标准差；C是找出的满足式(6)条件的六点组合所对应的固定特征数值。最终，共找到了6组这样的六点组合满足上面的公式，如具体如下表1所示。

表1六点组合的固定特征数

本发明根据特征数的性质，在图3所示的8个点中找到6组特征数固定不变的组合，形成人脸固有属性，再将这些固有属性作为形状约束，用来提取人脸特征点。预训练的网络结构与步骤三的网络一样，输出为8个人脸特征点的二维坐标值。目标函数为：

其中，表示估计的人脸特征点坐标值与实际标签值的损失；S₁,S₂,...,S₆分别表示固定特征数所对应的六点组合，其中S₁为右眼的左右眼角、左眼的左眼角、鼻翼的右侧端部、嘴巴的左右角，S₂为右眼的左右眼角、左眼的右眼角、鼻翼的右侧端部、嘴巴的左右角，S₃为右眼的左右眼角、左眼的左眼角、鼻翼的左右侧端部、嘴巴的左角，S₄为右眼的左右眼角、左眼的右眼角、鼻翼的左右侧端部、嘴巴的左角，S₅为右眼的左右眼角、左眼的左眼角、鼻翼的左侧端部、嘴巴的左右角，S₆为右眼的左右眼角、左眼的右眼角、鼻翼的左侧端部、嘴巴的左右角；表示第i个样本第j个组合的固定特征数；是从第i个样本第j个组合中计算出的实际特征数；η∈(0,1)表示约束项的权重。

步骤四：利用人脸特征点坐标和头部姿态角度信息提取眼部状态、嘴巴形状、头部姿态多个疲劳特征，然后采用粗糙集方法对特征信息进行融合决策，以评估驾驶员疲劳状态；

根据步骤三得到人脸特征点坐标和头部姿态欧拉旋转角，分别从眼部状态、嘴部状态、头部姿态提出反映驾驶疲劳的特征，具体包括PERCLOS，眨眼频率，打哈欠频率，点头频率，异常姿态占比。

当Roll旋转角的平均变化大于15.4°或者Yaw旋转角的平均变化大于15.8°时，判断驶员处于异常姿态。设异常姿态占比f_pose：

其中，N_pose为时间T内检测出现异常姿态的帧数，N_T为T时间内的视频总帧数，实验中T值大小为30s。

在提取眼部状态、嘴巴形状、头部姿态多个疲劳特征之后，进行融合决策的步骤是：首先对各疲劳特征进行分析处理，做出判决结果，然后在决策层根据粗糙集理论对各结果做融合处理，得出最终判断。基于信息融合决策的疲劳评估过程如图4所示。

Claims (1)

1.基于空间几何约束深度学习的疲劳状态识别方法，其特征在于该方法包括如下步骤：

步骤(1)对摄像头采集的驾驶员头部图像进行人脸检测，得到人脸区域图像；

步骤(2)建立基于人脸特征点定位和姿态回归任务协同的深度卷积网络模型，相应的目标函数如式(1)，以人脸区域图像数据作为网络输入，将人脸特征点定位和姿态估计两个任务协同优化，同时回归得到人脸特征点坐标和姿态角度值；

其中，任务r代表人脸特征点检测定位任务，任务a表示头部姿态估计；N表示样本的总数；λ∈(0,1)表示头部姿态估计在整个任务中所占的权重；W表示各个任务的待学习权重矩阵；x_i表示两个任务共享的特征表达；表示K个人脸特征点二维坐标构成的向量，表示头部姿态欧拉角，包括平动角(Yaw)、转动角(Pitch)、滚动角(Roll)；f(x_i；W^r)＝(W^r)^Tx_i为一个线性回归函数，f(x_i；W^a)＝(W^a)^Tx_i也是一个线性回归函数；||·||表示l₂范数；

步骤(3)采用空间几何约束方法对基于任务协同的深度卷积网络进行预训练，对应的目标函数如式(2)，提高人脸特征点定位的鲁棒性，加快网络训练的收敛时间；

其中，表示估计的人脸特征点坐标值与实际标签值的损失；S₁,S₂,...,S₆分别表示固定特征数所对应的六点组合，其中S₁为右眼的左右眼角、左眼的左眼角、鼻翼的右侧端部、嘴巴的左右角，S₂为右眼的左右眼角、左眼的右眼角、鼻翼的右侧端部、嘴巴的左右角，S₃为右眼的左右眼角、左眼的左眼角、鼻翼的左右侧端部、嘴巴的左角，S₄为右眼的左右眼角、左眼的右眼角、鼻翼的左右侧端部、嘴巴的左角，S₅为右眼的左右眼角、左眼的左眼角、鼻翼的左侧端部、嘴巴的左右角，S₆为右眼的左右眼角、左眼的右眼角、鼻翼的左侧端部、嘴巴的左右角；表示第i个样本第j个组合的固定特征数；是从第i个样本第j个组合中计算出的实际特征数；η∈(0,1)表示约束项的权重；

步骤(4)利用人脸特征点坐标和头部姿态角度信息提取眼部状态、嘴巴形状、头部姿态多个疲劳特征，然后采用粗糙集方法对特征信息进行融合决策，以评估驾驶员疲劳状态。