CN108596087A - 一种基于双网络结果的驾驶疲劳程度检测回归模型 - Google Patents

Abstract

本发明公开了一种基于双网络结果的驾驶疲劳程度检测回归模型，包括以下步骤：S1、获取现有不同角度人脸数据集或收集固定、移动车内摄像头拍摄视频作为样本视频数据，并进行尺寸处理和人工标注；S2、将S1处理过的图片级输入第一个卷积网络，该卷积网络获得头部候选窗口以及头部状态；S3、将S2头部候选窗中不是低头的图片级处理后输入第二个卷积网络，获得人眼和嘴部状态；S4、将每分钟内低头、闭眼、打哈欠的次数输入回归模型中，用梯度下降算法优化参数，最后输出疲劳程度。本发明通过对人脸特征次数进行统计并通过建立回归模型实现疲劳检测。

Description

一种基于双网络结果的驾驶疲劳程度检测回归模型

技术领域

本发明涉及基于神经网络识别结果建立疲劳程度线性回归技术领域，具体是一种基于双网络结果的驾驶疲劳程度检测回归模型。

背景技术

预防事故的发生在一直是研究的热点之一，在过去的十年，许多研究人员一直在努力使用不同的技术对驾驶员监视系统进行开发。精确的检测技术是基于驾驶员像脑电波，心脏速率，脉搏速率和呼吸的生理现象。在这些基于人的生理反应的技术是通过两种方式实现：测量生理信号的变化，如脑电波、心脏速率和眨眼和测量人的姿势的变化，如点头的姿势，识别驾驶员的头部和眼睛的开/关状态。这种技术产生的疲劳数据相对准确的，但是感测电极都必须直接连接到驾驶员的身体上，给驾驶员驾驶带来了直接的困扰所以难以实现。长时间驾驶将导致在传感器排汗，削弱了其监测准确的能力。

现有技术CN106909879A提供了一种疲劳驾驶检测方法及系统，其中方法包括如下步骤：输入采集的驾驶员视频图像，利用预设的人脸特征分离器获取待检测人脸区域图像集；将待检测人脸区域图像集中所有人脸图像进行归一得到平均脸，根据平均脸获取待检测人脸区域图像集中某一人脸图像的初始关键点形状，通过预设的回归器计算初始关键点的偏差值，根据偏差结果更新关键点形状直至确定人脸区域内关键点的形状；根据确定的人脸区域关键点的形状获取眼睛关键点的位置，并提取对应的纹理特征，利用预设墨镜分类器判断用户是否佩戴眼睛，判断结果进行驾驶员疲劳状态的检测。该技术优点在于采用嵌入式智能设备，防止了驾驶员佩戴墨镜导致误判降低疲劳驾驶检测的准确性。但是该技术是基于回归器计算关键点偏差值确定人脸区域后提取眼睛位置的纹理特征得到疲劳检测，检测范围局限，计算结果偏差大。

发明内容

本发明的目的在于提供一种基于双网络结果的驾驶疲劳程度检测回归模型，以解决上述背景技术中提出的疲劳检测范围局限、计算结果存在偏差的问题。

为实现上述目的，本发明提供如下技术方案：

一种基于双网络结果的驾驶疲劳程度检测回归模型，把每分钟获取的车内共1000帧的视频逐帧输入神经网络，通过网络输出不同样本的次数输入回归模型进而判断驾驶员疲劳的程度，包括以下步骤：

S1、获取现有不同角度人脸数据集或收集固定、移动车内摄像头拍摄视频作为样本视频数据，并进行尺寸处理和人工标注；

S2、将S1处理过的图片级输入第一个卷积网络，该卷积网络获得头部候选窗口以及头部状态；

S3、将S2头部候选窗中不是低头的图片级处理后输入第二个卷积网络，获得人眼和嘴部状态；

S4、将每分钟内低头、闭眼、打哈欠的次数输入回归模型中，用梯度下降算法优化参数，最后输出疲劳程度。

优选的，所述S1的样本视频数据来源于Multi-pie、point-04公开数据库以及驾驶车内移动摄像头拍摄的视频。

优选的，其特征在于，所述S2的第一卷积网络用于定位人头部并识别是否低头，其训练过程包括以下步骤：

S21、第一个卷积网络选用15层卷积神经网络，依次是卷积核使用3*3的卷积层conv1、最大池化层maxpool2、卷积核使用3*3的卷积层conv3、最大池化层maxpool4、卷积核使用3*3的卷积层conv5、卷积核使用1*1的卷积层conv6、最大池化层maxpool7、卷积核使用3*3的卷积层conv8、卷积核使用3*3的卷积层conv9、最大池化层maxpoo10、卷积核使用3*3的卷积层conv11、卷积核使用3*3卷积层conv12、卷积核使用3*3的卷积层conv13和两个平行的全连接层fc14_1与全连接层fc14_2；

S22、在卷积的最后一层conv13上使用固定大小的窗口滑动，每个窗口会输出固定大小维度的特征，每一个窗口对候选的9个box进行回归坐标和分类；

S23、分类和回归整体损失函数为：

其中，pi为anchor预测为目标的概率，pi^*＝0时表示为negative lable，pi^*＝1时表示为positive label,ti表示是一个向量，表示预测的bounding box包围盒的4个参数化坐标,ti^*是与positive anchor对应的ground truth包围盒的坐标向量；

Lcls(pi,pi^*)是两个类别的对数损失,Lreg(ti,ti^*)表示回归损失；

S24、通过不断的进行梯度下降和反向传播算法进行迭代，当损失函数值L(χ,c,l,g)<0.01，卷积神经网络完成训练。

优选的，所述S3中第二卷积网络用于定位眼部和嘴部并识别是否闭眼和打哈欠，其训练过程包括以下步骤：

S31、第二个卷积网络网络架构分为进行目标特征提取的前端深度神经网络和实现多尺度特征检测的位于后端的级联卷积网络，前端卷积网络共16层，依次是卷积核使用3*3的卷积层conv1_1、最大池化层maxpool1_2、卷积核使用3*3的卷积层conv1_3、最大池化层maxpool1_4、卷积核使用3*3的卷积层conv1_5、卷积核使用1*1的卷积层conv1_6、最大池化层maxpool1_7、卷积核使用3*3的卷积层conv1_8、卷积核使用3*3的卷积层conv1_9、卷积核使用1*1的卷积层conv1_10、最大池化层maxpool1_11、卷积核使用3*3的卷积层conv1_12、卷积核使用3*3的卷积层conv1_13、卷积核使用3*3的卷积层conv1_14和最大池化层maxpool1_15，位于后端的级联卷积网络共5层，依次是卷积核使用3*3的卷积层conv2_1、卷积核使用1*1的卷积层conv2_2、卷积核使用3*3的卷积层conv2_3、卷积核使用1*1的卷积层conv2_4和最大池化层maxpool2_5，其中，卷积层conv1_10、卷积层conv2_2、卷积层conv2_3和卷积层conv2_4再分别采用两个3*3大小的用于并列执行回归和分类的卷积核进行卷积；

S32、后端卷积网络采用多尺度检测可以获得多尺度特征图，假设模型检测共有n层特征图，Smax设为0.95，Smin设为0.2，则第i个特征图比例为：

S33、采用anchors机制，设定默认框的中心为(a,b)，特征图和原始图片的映射关系为：

其中，(X,Y)为特征层上默认框中心的坐标，H_b、W_b是默认框的高和宽，H_f、W_f为特征层的高和宽，H_img、W_img为原始图像的高和宽，(X_min、Y_min、X_max、Y_max)为第i层特征图上中心为大小是(a,b)的默认框映射到原始图像的物体框坐标；

S34、构造损失函数的公式为：

其中，N是匹配的default boxes的个数，χ表示匹配了的框是否属于类别，l是预测框predicted box，g是真实值ground truth box，c是指所框选目标属于类别p的置信度confidence，L_conf(χ,c)为置信损失，L_loc(χ,l,g)是位置损失，α为权衡置信损失和位置损失的参数，α的值一般为1；

S35、通过不断的进行梯度下降和反向传播算法进行迭代，当损失函数值L(χ,c,l,g)<0.001，卷积神经网络完成训练。

优选的，所述S4疲劳程度计算包括以下步骤：

S41、所述S4的线性回归模型假定特征和结果之间满足线性关系，通过所述权力要求3和4判断出来3种特征，解释变量分别代表低头、闭眼和打哈欠的次数为χ1、χ2和χ3，建立估计函数：

h_θ(x)＝θ^Tx＝θ₀x₀+θ₁x₁+θ₂x₂+θ₃x₃；

S42、将S41中的χ0设为1，其中，θ为解释变量χ的参数，用于表示每个变量的影响力大小，建立以下公式同于根据损失函数χ来对h进行评估，其中，m表示样本数量：

S43、采用梯度下降，θ设定一个初试值，然后向着让S42中J变化最大的方向更新θ的取值，公式如下：

S44、当损失函数L(χ,c,l,g)<0.01时，参数训练完成，通过驾驶员在驾驶过程中每分钟的视频数据，经过深度学习的神经网络获得解释变量χ1、χ2和χ3再根据S43调整参数的线性回归模型，得到驾驶员疲劳程度的估计值h。

更为优选的，所述驾驶员疲劳程度估计值h的大小与疲劳程度关系为：当h≥100时，表示非常疲劳，驾驶员处于危险驾驶极端，当50≤h＜100时，表示比较疲劳，驾驶员需要休息，当20≤h＜50时，表示有点疲劳，驾驶员需要注意休息，当h＜20时，表示驾驶员不疲劳。

与现有技术相比，本发明的有益效果是：

本发明通过对于小目标(眼睛、嘴巴)的定位和识别建立回归模型，把每分钟视频(共1000帧)逐帧输入两个神经网络中识别出出现低头、闭眼、打哈欠(张大嘴)的次数。把次数结果输入回归模型中，通过输出的回归结果实现驾驶员疲劳程度的判断；本发明通过对人脸多个器官特征进行特征行为次数统计进行回归模型建立，检测参数多，参考数据广泛，得到的疲劳检测结果可行度高。

附图说明

图1为本发明一种基于双网络结果的驾驶疲劳程度检测回归模型的流程图；

图2为本发明一种基于双网络结果的驾驶疲劳程度检测回归模型第一个卷积神经网络的结构示意图；

图3为本发明一种基于双网络结果的驾驶疲劳程度检测回归模型第二个卷积神经网络的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，一种基于双网络结果的驾驶疲劳程度检测回归模型，将每分钟拍摄的视频逐帧输入第一个卷积网络，框出驾驶员头部以及识别是否为低头，若低头则统计数中低头样本数加一；否则，对框出头部位置的图片进行图像处理，把框出的头部裁剪出来，采用插值算法放大相应倍数，再输入第二个卷积网络，框出人眼和嘴部位置同时识别状态，若眼部为闭眼，则闭眼统计数中加一，若嘴部状态为打哈欠(张大嘴)，则打哈欠(张大嘴)统计数中加一。当视频每一帧都处理完，把低头、闭眼、打哈欠(张大嘴)出现的次数输入线性回归模型中，输出疲劳程度。

首先，将Multi-pie、point-04公开数据库中部分数据以及移动摄像头拍摄驾驶车的图片划分为训练集和测试集两部分，图片格式为224*224*3，分别用于第一个卷积神经网络的训练和检验效果的验证。

如图2所示，第一个卷积网络共有15层，分别为9个卷积层、4个池化层以及两个水平的全连接层。使用一个小网络在最后卷积得到的特征图(conv13)上进行滑动扫描，这个滑动网络每次与特征图上3*3的窗口全连接，然后映射到一个低维向量，最后将这个低维向量送入到两个全连接层，即分类层(cls)和位置回归层(reg)。分类和回归整体损失函数为：

其中，pi为anchor预测为目标的概率，pi*＝0时表示为negative lable，pi*＝1时表示为positive label；ti表示是一个向量，表示预测的bounding box包围盒的4个参数化坐标；ti*是与positive anchor对应的ground truth包围盒的坐标向量。Lcls(pi,pi*)是两个类别(目标VS.非目标)的对数损失,Lreg(ti,ti*)表示回归损失。进行多次损失函数计算和进行参数调整，当损失函数<0.01时，进行测试。把测试数据集输入网络中，如果满足一定准确率，表示网络训练成功，否则重新进行训练来调整参数。

如图3所示，第二个卷积网络共21层，分为前端和后端，前端共16层，用于进行初步特征提取，后端卷积网络是一组级联卷积神经网络，用于多尺度特征检验。然后一方面，针对卷积层conv1_10、卷积层conv2_2、卷积层conv2_3、卷积层conv2_4中的每一个再分别采用两个3*3大小的卷积核进行卷积，这两个卷积核是并列执行回归和分类。后端卷积网络采用多尺度检测可以获得多尺度特征图，采用anchors机制，在特征图的每个位置预测K个box。对于每个box，预测C个类别得分，以及相对于default bounding box的4个偏移值，这样需要(C+4)*k个预测器，在m*n的特征图上将产生(C+4)*k*m*n个预测值。总的损失函数是localization loss(loc)和confidence loss(conf)的加权和，为；

N是匹配的default boxes的个数；χ表示匹配了的框是否属于类别，l是预测框predicted box，g是真实值ground truth box；c是指所框选目标属于类别p的置信度confidence。L_conf(χ，c)为置信损失，L_loc(χ，l，g)是位置损失。α为权衡置信损失和位置损失的参数，α一般为1。目标损失函数同时包含置信损失和位置损失，在训练过程中，通过减小损失函数值可以确保在提升预测框类別置信度的同时也提高预测框的位置可信度，通过数据训练进行不断的优化，提高模型的目标检测性能。

通过统计的结果建立回归模型，做出估计函数为：

h_θ(x)＝θ^Tx＝θ₀x₀+θ₁x₁₊θ₂x₂₊θ₃x₃

为了使估计函数更加精确和实用，使用一个损失函数来对h进行评估，来优化每一个样本特征的参数，损失函数方程为：

使用梯度下降算法对参数进行优化，首先我们给θ一个初试值，然后向着让J变化最大的方向更新θ的取值，使模型更加稳定和精确。公式如下：

当损失函数小于0.01时，参数调整完毕，模型完成。在驾驶过程中，可以根据每分钟模型得到的结果h来判断出司机的疲劳程度。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (6)

1.一种基于双网络结果的驾驶疲劳程度检测回归模型，其特征在于把每分钟获取的车内共1000帧的视频逐帧输入神经网络，通过网络输出不同样本的次数输入回归模型进而判断驾驶员疲劳的程度，包括以下步骤：

S1、获取现有不同角度人脸数据集或收集固定、移动车内摄像头拍摄视频作为样本视频数据，并进行尺寸处理和人工标注；

S2、将S1处理过的图片级输入第一个卷积网络，该卷积网络获得头部候选窗口以及头部状态；

S3、将S2头部候选窗中不是低头的图片级处理后输入第二个卷积网络，获得人眼和嘴部状态；

S4、将每分钟内低头、闭眼、打哈欠的次数输入回归模型中，用梯度下降算法优化参数，最后输出疲劳程度。

2.根据权利要求1所述的一种基于双网络结果的驾驶疲劳程度检测回归模型，其特征在于，所述S1的样本视频数据来源于Multi-pie、point-04公开数据库以及驾驶车内移动摄像头拍摄的视频。

3.根据权利要求1所述的一种基于双网络结果的驾驶疲劳程度检测回归模型，其特征在于，所述S2的第一卷积网络用于定位人头部并识别是否低头，其训练过程包括以下步骤：

S21、第一个卷积网络选用15层卷积神经网络，依次是卷积核使用3*3的卷积层conv1、最大池化层maxpool2、卷积核使用3*3的卷积层conv3、最大池化层maxpool4、卷积核使用3*3的卷积层conv5、卷积核使用1*1的卷积层conv6、最大池化层maxpool7、卷积核使用3*3的卷积层conv8、卷积核使用3*3的卷积层conv9、最大池化层maxpoo10、卷积核使用3*3的卷积层conv11、卷积核使用3*3卷积层conv12、卷积核使用3*3的卷积层conv13和两个平行的全连接层fc14_1与全连接层fc14_2；

S22、在卷积的最后一层conv13上使用固定大小的窗口滑动，每个窗口会输出固定大小维度的特征，每一个窗口对候选的9个box进行回归坐标和分类；

S23、分类和回归整体损失函数为：

其中，pi为anchor预测为目标的概率，pi^*＝0时表示为negative lable，pi^*＝1时表示为positive label,ti表示是一个向量，表示预测的bounding box包围盒的4个参数化坐标,ti^*是与positive anchor对应的ground truth包围盒的坐标向量；

Lcls(pi,pi^*)是两个类别的对数损失,Lreg(ti,ti^*)表示回归损失；

S24、通过不断的进行梯度下降和反向传播算法进行迭代，当损失函数值L(χ,c,l,g)<0.01，卷积神经网络完成训练。

4.根据权利要求1所述的一种基于双网络结果的驾驶疲劳程度检测回归模型，其特征在于，所述S3中第二卷积网络用于定位眼部和嘴部并识别是否闭眼和打哈欠，其训练过程包括以下步骤：

S31、第二个卷积网络网络架构分为进行目标特征提取的前端深度神经网络和实现多尺度特征检测的位于后端的级联卷积网络，前端卷积网络共16层，依次是卷积核使用3*3的卷积层conv1_1、最大池化层maxpool1_2、卷积核使用3*3的卷积层conv1_3、最大池化层maxpool1_4、卷积核使用3*3的卷积层conv1_5、卷积核使用1*1的卷积层conv1_6、最大池化层maxpool1_7、卷积核使用3*3的卷积层conv1_8、卷积核使用3*3的卷积层conv1_9、卷积核使用1*1的卷积层conv1_10、最大池化层maxpool1_11、卷积核使用3*3的卷积层conv1_12、卷积核使用3*3的卷积层conv1_13、卷积核使用3*3的卷积层conv1_14和最大池化层maxpool1_15，位于后端的级联卷积网络共5层，依次是卷积核使用3*3的卷积层conv2_1、卷积核使用1*1的卷积层conv2_2、卷积核使用3*3的卷积层conv2_3、卷积核使用1*1的卷积层conv2_4和最大池化层maxpool2_5，其中，卷积层conv1_10、卷积层conv2_2、卷积层conv2_3和卷积层conv2_4再分别采用两个3*3大小的用于并列执行回归和分类的卷积核进行卷积；

S32、后端卷积网络采用多尺度检测可以获得多尺度特征图，假设模型检测共有n层特征图，Smax设为0.95，Smin设为0.2，则第i个特征图比例为：

S33、采用anchors机制，设定默认框的中心为(a,b)，特征图和原始图片的映射关系为：

其中，(X,Y)为特征层上默认框中心的坐标，H_b、W_b是默认框的高和宽，H_f、W_f为特征层的高和宽，H_img、W_img为原始图像的高和宽，(X_min、Y_min、X_max、Y_max)为第i层特征图上中心为大小是(a,b)的默认框映射到原始图像的物体框坐标；

S34、构造损失函数的公式为：

其中，N是匹配的default boxes的个数，χ表示匹配了的框是否属于类别，l是预测框predicted box，g是真实值ground truth box，c是指所框选目标属于类别p的置信度confidence，L_conf(χ,c)为置信损失，L_loc(χ,l,g)是位置损失，α为权衡置信损失和位置损失的参数，α的值一般为1；

S35、通过不断的进行梯度下降和反向传播算法进行迭代，当损失函数值L(χ,c,l,g)<0.001，卷积神经网络完成训练。

5.根据权利要求1所述的一种基于双网络结果的驾驶疲劳程度检测回归模型，其特征在于，所述S4疲劳程度计算包括以下步骤：

S41、所述S4的线性回归模型假定特征和结果之间满足线性关系，通过所述权力要求3和4判断出来3种特征，解释变量分别代表低头、闭眼和打哈欠的次数为χ1、χ2和χ3，建立估计函数：

h_θ(x)＝θ^Tx＝θ₀x₀+θ₁x₁+θ₂x₂+θ₃x₃；

S42、将S41中的χ0设为1，其中，θ为解释变量χ的参数，用于表示每个变量的影响力大小，建立以下公式同于根据损失函数χ来对h进行评估，其中，m表示样本数量：

S43、采用梯度下降，θ设定一个初试值，然后向着让S42中J变化最大的方向更新θ的取值，公式如下：

S44、当损失函数L(χ,c,l,g)<0.01时，参数训练完成，通过驾驶员在驾驶过程中每分钟的视频数据，经过深度学习的神经网络获得解释变量χ1、χ2和χ3再根据S43调整参数的线性回归模型，得到驾驶员疲劳程度的估计值h。

6.根据权利要求5所述的一种基于双网络结果的驾驶疲劳程度检测回归模型，其特征在于，所述驾驶员疲劳程度估计值h的大小与疲劳程度关系为：当h≥100时，表示非常疲劳，驾驶员处于危险驾驶极端，当50≤h＜100时，表示比较疲劳，驾驶员需要休息，当20≤h＜50时，表示有点疲劳，驾驶员需要注意休息，当h＜20时，表示驾驶员不疲劳。