CN109344802A - 一种基于改进的级联卷积神经网的人体疲劳检测方法 - Google Patents

Abstract

本发明请求保护一种基于改进的级联卷积神经网的人体疲劳检测方法，该方法包括步骤：对带人脸图像进行肤色检测结合预训练CNN分类器识别人脸区域；对得到的人脸图像设计了一种级联神经网络结构来检测人眼以及人眼特征点，其中一级网络采用灰度积分投影粗定位与多任务卷积神经(G‑RCNN)网实现人眼的检测与定位，二级网络(PCNN)将人眼图片进行分割后采用并联子卷积系统进行特征点回归预测；利用人眼特征点计算人眼开闭度识别当前人眼状态；S4，根据PERCLOS准则判断人体疲劳状态；本发明可获得较高识别率、能够对光照和随机噪声具有较强的鲁棒性。

Description

一种基于改进的级联卷积神经网的人体疲劳检测方法

技术领域

本发明属于图像处理与模式识别领域，特别是一种基于改进的级联卷积神经网的人体疲劳检测方法。

背景技术

疲劳是指机体在一定环境条件下，由于过于长时间或过度紧张的体力或脑力劳动而引起的劳动效率趋向下降的状态，精神疲劳是多种病症的起源。疲劳不仅危害人的身心健康，更会给社会生产生活带来重大安全隐患，尤其是在电力工业、建筑高空作业、车辆驾驶、航空航天、大型复杂工业等高风险作业中，生产操控人员的精神疲劳引起的注意力分散、反应迟钝或身体协调性下降，都可能导致极为严重的生产事故。在汽车驾驶方面，随着中国汽车总量逐年增加，交通事故也更为频发，而驾驶员疲劳驾驶是引发交通事故的重要原因之一。因此，对驾驶员是否疲劳进行检测并及时给予预警对于减少由于疲劳而产生的汽车驾驶事故有着非常重要的实际意义。

目前，对疲劳检测主要分为生理特征信号检测、视觉检测等方式。基于生理特征信号的检测方式具有较高的准确率，但是该方法信号采集设备复杂，相关设备的小型化与实用化也仍有不足，同时佩戴这些设备会对驾驶员驾驶行为造成一些不便，因此目前的主要研究还是在实验室进行。而基于视觉检测的方式在保持较高准确率的同时设备要求低，同时具有非入侵性特点，不会给驾驶员行为带来不便，是疲劳检测的主要研究方向之一。人眼状态是最能反映人体疲劳的因素之一，基于眼睛状态的疲劳检测主要包括人眼位置检测以及人眼状态的识别。Deng等人利用利用肤色模型结合人脸三庭五眼的布局定位人眼，并利用人眼的积分投影区域大小识别人眼状态，这种方法虽然算法简单，但是定位的准确率受环境影响较大，且由于人眼区域在图像中占的比例很小，利用积分投影的人眼状态识别准确率较低。李响等利用图像的矩特征通过计算人眼模板的Zernike矩特征向量与待识别的人脸区域做相似度计算，选取相似度最大的区域作为人眼区域，该方法类似模板匹配法，虽然能够减小环境对于检测结果的影响，但计算量较大，并且结果受选取的人眼模板影响。

发明内容

本发明旨在解决以上现有技术的问题。提出了一种提高识别率、能够对光照和随机噪声具有较强的鲁棒性的基于改进的级联卷积神经网的人体疲劳检测方法。本发明的技术方案如下：

一种基于改进的级联卷积神经网的人体疲劳检测方法，其包括以下步骤：

S1、将人脸面部图像由RGB空间映射到YCrCb空间；R,G,B代表红绿蓝三原色，Y代表亮度信息，Cb，Cr分别表示色彩和饱和度信息；

S2、采用Otsu最大类间方差算法进行自适应近肤色阈值分割，去除与肤色信息差距较大的背景信息，经过腐蚀、膨胀过滤噪点，保留肤色候选区域；

S3、分割肤色候选区域的最小外接矩形区域图像，输入CNN分类器分类获取人脸区域图像；

S4、利用灰度积分投影对人脸图像进行人眼粗定位；

S5、利用GRCNN灰度-区域卷积神经网检测人眼，对人眼完成精定位；

S6、构建改进的级联卷积神经网PCNN网络，该网络首先将图像进行2×2分割并采用并行卷积来进行加速计算，同时，最后一层前采用不共享卷积，共享权值的主要优点是减少了参数个数，但是其忽视了图像不同部分特征的差异性，对于人眼特征点的预测，眼睑的高层特征与眼睛其他部位差别比较大，且由于人眼图片较小，经过卷积池化以后特征映射大小进一步缩小，因此在最后一层卷积层前采用3×3的非共享卷积更够对特征点进行更为精确的回归预测，通过检测人眼六个特征点并利用特征点计算人眼开闭度，识别人眼状态；

S7、利用PERCLOS闭眼帧数百分比准则识别人体疲劳状态。

进一步的，所述步骤S1由RGB空间映射到YCrCb空间的关系式为：

Y＝0.2990*R+0.5870*G+0.1140*B

Cr＝-0.1687*R-0.3313*G+0.5000*B+128

Cb＝0.5000*R-0.4187*G-0.0813*B+128

其中，R,G,B代表红绿蓝三原色，Y代表亮度信息，Cb，Cr代表色度信息。

进一步的，所述步骤S2肤色阈值选取采用Otsu最大类间方差自适应算法，去除与肤色信息差距较大的背景信息，经过腐蚀、膨胀保留肤色候选区域，该算法关系式为:

g＝w₀w₁(u₀-u₁)²

g为类间方差，算法步骤为：将利用阈值T将图像分为前景和背景，记属于前景的像素点数占整幅图像的比例记为w₀，其平均灰度μ₀；背景像素点数占整幅图像的比例为w₁，其平均灰度为μ₁，图像的总平均灰度记为μ，遍历0～255各灰阶，寻找使类间方差最大的阈值T。

进一步的，所述步骤S3分割肤色候选区域的最小外接矩形区域图像的步骤包括：直接计算候选目标的外接矩形；(2)将图像在90°范围内旋转一设定角度，计算最小外接矩形；(3)依次迭代，找出最小面积外界矩形；(4)反旋转至原图角度，获得最小外接矩形。

进一步的，所述步骤S4利用灰度积分投影对人脸图像进行人眼粗定位，具体包括：

对于待检测的人脸图像f(x,y)，其水平灰度积分可表示为：

其中x₂,x₁分别为图像的右边界与左边界，G(x)为人脸灰度积分投影曲线，根据积分曲线得知人脸区域的灰度最大值与次大值点分别对应于人的额头部分与人的鼻中部，选取这两点之间的区域作为人眼候选区域。

进一步的，所述步骤S5利用G-RCNN灰度-区域卷积神经网检测人眼，对人眼完成精定位，具体包括：将人眼候选区域输入G-RCNN网络，提取人眼特征进行分类以及人眼框回归来定位人眼：

通过设计一3层结构的CNN结合RPN区域推荐网络，主要实现人眼分类与人眼框回归预测两种任务，网络利用3×3卷积核提取图像特征，利用2×2的最大池化进行降维，激励函数采用Tanh函数，Tanh函数形式为(e^z-e^-z)/(e^z+e^-z)，函数的取值范围在[-1,1]，均值为0，在训练中性能较sigmod函数更优，人眼定位误差函数：

L_err表示实际人眼框与预测的人眼眶的定位误差；x，y，w，h分别表示实际人眼框的中心点坐标与长、宽；x'、y'、w'、h'分别表示预测人眼框的中心点坐标与长、宽。

进一步的，步骤S6中，检测人眼6个特征点并利用特征点计算人眼开闭度，识别人眼状态，具体包括：

通过检测了人眼的6个特征点，分别为上下眼睑的内交点与外交点，内外交点连线三等分点靠近内交点处与上下眼睑的交点，内外交点连线三等分点靠近外交点处与上下眼睑的交点识别人眼状态，特征点具体检测方式为一种包含4个并行子卷积系统的CNN结构，每个子卷积系统包含3个卷积层，两个2×2池化层，激励函数采用Tanh函数，最后一个卷积层采用不共享卷积方式，利用眼睑特征与其他区域特征的差异性，通过计算人眼的开闭度进行人眼状态识别，人眼开闭度计算公式为：

其中d为点AB之间的直线距离，d₁为点CD之间的距离，d₂为点EF之间的距离，具体点如图2。当比值<0.1时，认为当前人眼状态为闭眼状态。

进一步的，所述步骤S7的PERCLOS准则具体包括：

研究表明人平均每分钟眨眼10～20次，即平均每3～6秒一次，人的正常眨眼时间为0.2～0.3s，而若眨眼时间达到0.5～3s则可视为疲劳状态，此时PERCLOS值处于8.3％～100％之间。为了提高容错率并且更为准确的区分疲劳与清醒状态，规定PERCLOS>＝20％时，则可以认为当前人体处于疲劳状态。

本发明的优点及有益效果如下：

本发明提供了一种基于基于改进的级联卷积神经网的人体疲劳检测方法，针对头部姿势变化、光线等因素会对人眼定位以及人眼状态检测造成很大影响，并提出两点改进：1)针对人眼检测，结合灰度积分投影与卷积神经网，采用灰度积分投影进行人眼粗定位后将结果输入神经网络进行精定位，加快了检测速度；2)将人眼图像进行2×2分割后利用4个子卷积网络构成的卷积神经网进行特征点回归预测，同时考虑到眼睑与眼部其他特征的差异，在最后一层卷积层采用不同享权值，在一定程度上提高了检测准确率,具体步骤是：首先对带人脸图像进行肤色检测结合预训练CNN分类器识别人脸区域。对得到的人脸图像设计了一种级联神经网络结构来检测人眼以及人眼特征点，一级网络采用灰度积分投影粗定位与多任务卷积神经网实现人眼的检测与定位。二级网络将人眼图片进行分割后采用并联子卷积系统进行特征点回归预测。利用人眼特征点计算人眼开闭度识别当前人眼状态，并根据PERCLOS准则判断人体疲劳状态。利用LFW库与CEW人眼睁闭库训练网络并利用自采集视频帧进行实验，结果表明该方法能实现较好的人眼定位及人眼状态识别,人眼定位准确率可达96.2％，检测速度最快达到了11帧/s，人眼特征点平均识别率达到95.8％，能够较好的反映人体疲劳状态。

附图说明

图1是本发明提供优选实施例基于改进的级联卷积神经网的人体疲劳检测方法流程图；

图2是人眼定位的神经网络结构图；

图3是人眼特征点回归的神经网络结构图；

图4是人眼6特征点位置图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、详细地描述。所描述的实施例仅仅是本发明的一部分实施例。

本发明解决上述技术问题的技术方案是：

如图1所示，本发明提供了一种基于改进的LTP与二维双向PCA融合的人脸特征提取方法，其特征在于，包括以下步骤：

S1、将图像划由RGB空间映射到YCrCb空间；

Y＝0.2990*R+0.5870*G+0.1140*B

Cr＝-0.1687*R-0.3313*G+0.5000*B+128

Cb＝0.5000*R-0.4187*G-0.0813*B+128

S2、采用Otsu方法采用自适应阈值进行肤色分割，去除与肤色信息差距较大的背景信息，经过腐蚀、膨胀保留肤色候选区域；

S3、求解肤色候选区域最小外接矩形，分割肤色候选区域的最小外接矩形区域图输入CNN分类器获取得分最高的矩形区域图像作为人脸图像；

S4、对于待检测的人脸图像f(x,y)利用灰度积分投影进行人眼粗定位，其水平灰度积分可表示为：

其中x₂,x₁分别为图像的右边界与左边界，G(x)为人脸灰度积分投影曲线，根据积分曲线得知人脸区域的灰度最大值与次大值点分别对应于人的额头部分与人的鼻中部，选取这两点之间的区域作为人眼候选区域；

S5、将人眼候选区域输入G-RCNN网络，提取人眼特征进行分类以及人眼框回归来定位人眼具体包括：

设计了一种3层结构的CNN结合RPN网络，主要实现人眼分类与人眼框回归预测两种任务，网络利用3×3卷积核提取图像特征，利用2×2的最大池化进行降维，网络结构如如图2。激励函数采用Tanh函数，Tanh函数形式为(e^z-e^-z)/(e^z+e^-z)，函数的取值范围在[-1,1]，均值为0，在训练中性能较sigmod函数更优，人眼定位误差函数：

S6、通过检测了人眼的6个特征点，分别为上下眼睑的内交点与外交点，内外交点连线三等分点靠近内交点处与上下眼睑的交点，内外交点连线三等分点靠近外交点处与上下眼睑的交点识别人眼状态。特征点具体检测方式为一种包含4个并行子卷积系统的CNN结构，每个子卷积系统包含3个卷积层，两个2×2池化层，激励函数采用Tanh函数，最后一个卷积层采用不共享卷积方式，利用眼睑特征与其他区域特征的差异性提高检测准确率，网络结构如如图4。通过计算人眼的开闭度进行人眼状态识别，人眼开闭度计算公式为：

S7、PERCLOSE准则是指一定时间内闭眼状态时间占总时间的百分比，是目前视觉疲劳检测方面最有效的指标，在利用人眼特征点计算得人眼状态后利用PERCLOSE准则识别人体疲劳状态。

以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。

Claims (8)

1.一种基于改进的级联卷积神经网的人体疲劳检测方法，其特征在于，包括以下步骤：

S1、将人脸面部图像由RGB空间映射到YCrCb空间；R,G,B代表红绿蓝三原色，Y代表亮度信息，Cb，Cr分别表示色彩和饱和度信息；

S2、采用Otsu最大类间方差算法进行自适应近肤色阈值分割，去除与肤色信息差距较大的背景信息，经过腐蚀、膨胀过滤噪点，保留肤色候选区域；

S3、分割肤色候选区域的最小外接矩形区域图像，输入CNN分类器分类获取人脸区域图像；

S4、利用灰度积分投影对人脸图像进行人眼粗定位；

S5、利用G-RCNN灰度-区域卷积神经网检测人眼，对人眼完成精定位；

S6、构建改进的级联卷积神经网PCNN网络，该网络首先将图像进行2×2分割并采用并行卷积来进行加速计算，同时，最后一层前采用3×3的非共享卷积对特征点进行回归预测，检测人眼六个特征点并利用特征点计算人眼开闭度，识别人眼状态；

S7、利用PERCLOS闭眼帧数百分比准则识别人体疲劳状态。

2.根据权利要求1所述的基于改进的级联卷积神经网的人体疲劳检测方法，其特征在于，所述步骤S1由RGB空间映射到YCrCb空间的关系式为：

Y＝0.2990*R+0.5870*G+0.1140*B

Cr＝-0.1687*R-0.3313*G+0.5000*B+128

Cb＝0.5000*R-0.4187*G-0.0813*B+128

其中，R,G,B代表红绿蓝三原色，Y代表亮度信息，Cb，Cr代表色度信息。

3.根据权利要求1所述的基于改进的级联卷积神经网的人体疲劳检测方法，其特征在于，所述步骤S2肤色阈值选取采用Otsu最大类间方差自适应算法，去除与肤色信息差距较大的背景信息，经过腐蚀、膨胀保留肤色候选区域，该算法关系式为:

g＝w₀w₁(u₀-u₁)²

g为类间方差，算法步骤为：将利用阈值T将图像分为前景和背景，记属于前景的像素点数占整幅图像的比例记为w₀，其平均灰度μ₀；背景像素点数占整幅图像的比例为w₁，其平均灰度为μ₁，图像的总平均灰度记为μ，遍历0～255各灰阶，寻找使类间方差最大的阈值T。

4.根据权利要求1所述的基于改进的级联卷积神经网的人体疲劳检测方法，其特征在于，所述步骤S3分割肤色候选区域的最小外接矩形区域图像的步骤包括：直接计算候选目标的外接矩形；(2)将图像在90。范围内旋转一设定角度，计算最小外接矩形；(3)依次迭代，找出最小面积外界矩形；(4)反旋转至原图角度，获得最小外接矩形。

5.根据权利要求1所述的基于改进的级联卷积神经网的人体疲劳检测方法，其特征在于，所述步骤S4利用灰度积分投影对人脸图像进行人眼粗定位，具体包括：

对于待检测的人脸图像f(x,y)，其水平灰度积分可表示为：

其中x₂,x₁分别为图像的右边界与左边界，G(x)为人脸灰度积分投影曲线，根据积分曲线得知人脸区域的灰度最大值与次大值点分别对应于人的额头部分与人的鼻中部，选取这两点之间的区域作为人眼候选区域。

6.根据权利要求1所述的基于改进的级联卷积神经网的人体疲劳检测方法，其特征在于，所述步骤S5利用G-RCNN灰度-区域卷积神经网检测人眼，对人眼完成精定位，具体包括：将人眼候选区域输入G-RCNN网络，提取人眼特征进行分类以及人眼框回归来定位人眼：

通过设计一3层结构的CNN结合RPN区域推荐网络，主要实现人眼分类与人眼框回归预测两种任务，网络利用3×3卷积核提取图像特征，利用2×2的最大池化进行降维，激励函数采用Tanh函数，Tanh函数形式为(e^z-e^-z)/(e^z+e^-z)，函数的取值范围在[-1,1]，均值为0，在训练中性能较sigmod函数更优，人眼定位误差函数：

L_err表示实际人眼框与预测的人眼眶的定位误差；x，y，w，h分别表示实际人眼框的中心点坐标与长、宽；x'、y'、w'、h'分别表示预测人眼框的中心点坐标与长、宽。

7.根据权利要求6所述的基于改进的级联卷积神经网的人体疲劳检测方法，其特征在于，步骤S6中，检测人眼6个特征点并利用特征点计算人眼开闭度，识别人眼状态，具体包括：

通过检测了人眼的6个特征点，分别为上下眼睑的内交点与外交点，内外交点连线三等分点靠近内交点处与上下眼睑的交点，内外交点连线三等分点靠近外交点处与上下眼睑的交点识别人眼状态，特征点具体检测方式为一种包含4个并行子卷积系统的CNN结构，每个子卷积系统包含3个卷积层，两个2×2池化层，激励函数采用Tanh函数，最后一个卷积层采用不共享卷积方式，利用眼睑特征与其他区域特征的差异性，通过计算人眼的开闭度进行人眼状态识别，人眼开闭度计算公式为：

其中d为点A、B之间的直线距离，d₁为点C、D之间的距离，d₂为点E、F之间的距离，当比值<0.1时，认为当前人眼状态为闭眼状态。

8.根据权利要求6所述的基于改进的级联卷积神经网的人体疲劳检测方法，其特征在于，所述S7的PERCLOS准则具体包括：

研究表明人平均每分钟眨眼10～20次，即平均每3～6秒一次，人的正常眨眼时间为0.2～0.3s，而若眨眼时间达到0.5～3s则可视为疲劳状态，此时PERCLOS值处于8.3％～100％之间，规定PERCLOS>＝20％时，则可以认为当前人体处于疲劳状态。