CN114743184A - 一种驾驶员驾驶状态预警系统 - Google Patents

Abstract

一种驾驶员驾驶状态预警系统，它属于驾驶状态预警技术领域。本发明解决了现有的驾驶状态预警系统的漏报率高，且预警的实时性差的问题。本发明的系统采用深度学习与监测规则融合的方式，其中，驾驶员图像获取单元用于实时获取驾驶过程中驾驶员的图像；图像预处理单元用于对实时获取的驾驶员图像进行预处理，截取出每张图像中的人脸区域图像；驾驶状态监测单元结合深度学习方式和监测规则对不同的状态进行监测；驾驶状态预警单元用于根据驾驶状态监测单元的监测结果向驾驶员进行驾驶状态预警。采用本发明的系统可以大幅度降低现有驾驶状态预警系统的漏报率，同时提高驾驶状态预警系统的预警实时性。本发明可以应用于对驾驶状态进行预警。

Description

一种驾驶员驾驶状态预警系统

技术领域

本发明属于驾驶状态预警技术领域，具体涉及一种驾驶员驾驶状态预警系统。

背景技术

驾驶状态对驾驶员的注意力、感知、意识、思考、预估、决断和动作等都会产生较大的影响，如果驾驶员的驾驶状态不佳，那么反应就会变得迟钝，各种驾驶操作反应时间变长，导致出现对紧急情况处理不及时、操作失误等情况。

驾驶状态不能仅仅在事故发生后才进行辨识，更重要的是如何避免不良驾驶状态的发生。通过制定法规来限定驾驶时间固然有效，但普遍性约束并不能解决所有问题，因此，主动预防是防止事故发生的关键。防患于未然需要有效的监控手段，实现实时评价和监测驾驶员的驾驶状态已经成为研究的新趋势。通过实时驾驶状态监测，当驾驶状态异常时不仅能为驾驶员提前预警，还能为交通、运输部门实时提供驾驶员状态信息。

一般汽车监测驾驶状态的方式是通过计算连续驾驶时间，一旦超过系统预设的时长便会发出警报。还有一些具有驾驶员驾驶状态监测功能的汽车会结合方向盘的转动情况或驾驶员的其它驾驶行为来判断。但是现有方法中普遍存在的一个问题就是驾驶状态监测的效率和准确率均偏低，因此，导致了驾驶状态预警系统的漏报率高，且预警的实时性较差。

发明内容

本发明的目的是为解决现有的驾驶状态预警系统的漏报率高，且预警的实时性差的问题，而提出了一种驾驶员驾驶状态预警系统。

本发明为解决上述技术问题所采取的技术方案是：

一种驾驶员驾驶状态预警系统，所述系统包括驾驶员图像获取单元、图像预处理单元、驾驶状态监测单元和驾驶状态预警单元，其中：

所述驾驶员图像获取单元用于实时获取驾驶过程中驾驶员的图像；

所述图像预处理单元用于对实时获取的驾驶员图像进行预处理，获得图像中人脸位置的矩形框以及人脸关键点的位置；再根据获得的人脸关键点位置对图像做对齐校准，获得对齐校准后的图像，再根据人脸位置矩形框从对齐校准后图像中截取出感兴趣区域图像，即截取出每张图像中的人脸区域图像；

所述驾驶状态监测单元中包括第一监测模块至第七监测模块，所述第一监测模块至第七监测模块分别用于对不同的状态进行监测；其中：

所述第一监测模块用于根据对齐校准后图像中的人脸关键点位置和截取出的人脸区域图像进行打哈欠状态的监测，具体的监测方式为：

对于截取出的任意一张人脸区域图像，根据该张人脸区域图像中嘴部的关键点位置信息计算嘴巴的张开度，即嘴巴的横宽比：

其中，

为中间变量，

为第50个关键点的坐标，

为第52个关键点的坐标，

为第58个关键点的坐标，

为第56个关键点的坐标，

为第60个关键点的坐标，

为第64个关键点的坐标；

其中，

为嘴巴的张开度；

若

的值大于等于设置的阈值，则该张人脸区域图像中出现打哈欠状态，否则未出现打哈欠状态；

同理，对实时获得的每张人脸区域图像中的打哈欠状态进行监测；

所述驾驶状态预警单元用于根据驾驶状态监测单元的监测结果向驾驶员进行驾驶状态预警。

进一步地，所述驾驶员图像获取单元利用红外相机实时获取驾驶过程中驾驶员的图像。

进一步地，所述图像预处理单元对实时获取的驾驶员图像进行预处理，采用的是MTCNN P-R-O网络。

进一步地，所述第二监测模块和第三监测模块分别用于根据对齐校准后图像中的人脸关键点位置以及截取出的人脸区域图像进行左顾右盼状态的监测和低头状态的监测，具体的监测方式为：

步骤S1、根据红外相机的内外参获得平均脸3d模版；

步骤S2、对于截取出的任意一张人脸区域图像，根据平均脸3d模版，将该张人脸区域图像中的人脸关键点位置映射到三维，获得人脸关键点对应的三维坐标；

步骤S3、根据人脸关键点对应的三维坐标求取出该张人脸区域图像中的人脸角度姿态；

再根据求取出的人脸角度姿态判断该张人脸区域图像中是否出现左顾右盼状态以及低头状态；

步骤S4、重复步骤S2至步骤S3的过程，对实时获得的每张人脸区域图像进行左顾右盼状态以及低头状态监测。

进一步地，所述第四监测模块用于根据驾驶员图像获取单元获取的图像和截取出的人脸区域图像进行接打电话状态监测，具体的监测方式为：

对驾驶员图像获取单元获取的图像进行手势识别，然后再对人脸区域图像的嘴部区域进行检测，结合手势识别结果和嘴部区域检测结果判断图像中是否出现接打电话状态；

所述对驾驶员图像获取单元获取的图像进行手势识别所采用的是改进的MTCNN网络；且对MTCNN网络改进的具体过程为：

将MTCNN网络中的卷积层替换为Depthwise卷积，将池化层去掉，替换为卷积的stride操作。

进一步地，所述第五监测模块用于根据驾驶员图像获取单元获取的图像进行吸烟状态的监测，具体的监测方式为：

对驾驶员图像获取单元获取的图像进行手势识别和亮点检测，再根据手势识别和亮点检测结果对获取的每张图像进行吸烟状态监测。

进一步地，所述第六监测模块用于根据对齐校准后图像中的人脸位置矩形框进行摄像头遮挡状态的监测，具体的监测方式为：

采用跳跃像素和跳跃图像帧两种方式进行监测；

跳跃像素方式为：计算人脸位置矩形框上像素点的梯度，且每间隔5个像素点计算一次；跳跃图像帧方式为：每间隔10帧监测一帧；

像素点梯度的计算公式如下：

其中，

其中，

为像素点

的梯度，

和

为中间变量，

为像素点

的强度，

为像素点

的强度，

为像素点

的强度；

若当前帧图像中存在梯度大于阈值的像素点，则认为当前帧图像中存在摄像头遮挡状态，否则当前帧图像中不存在摄像头遮挡状态。

进一步地，所述第七监测模块用于根据截取出的人脸区域图像进行闭眼状态的监测，具体的监测方式为：

步骤一、对于截取出的任意一张人脸区域图像，采用LBP特征提取网络提取人脸的局部特征，采用密集连接卷积神经网络提取人脸的全局特征，将人脸的局部特征和人脸的全局特征进行加权融合，得到人脸区域图像的面部特征；

所述密集连接卷积神经网络的结构具体为：从输入端开始，密集连接卷积神经网络依次包括卷积层、第一密集块、第一过渡块、第二密集块、第二过渡块、第三密集块、第三过渡块、第四密集块、平均池化层和全连接层；

所述第一密集块中包含有8个卷积单元，第二密集块中包含有10个卷积单元，第三密集块中包含有10个卷积单元，第四密集块中包含有8个卷积单元，每个卷积单元中均包括一个1×1卷积核大小的卷积层和一个3×3卷积核大小的卷积层；

所述第一过渡块由一个1×1卷积核大小的卷积层和一个平均池化层组成，且第二过渡块和第三过渡块的结构与第一过渡块的结构相同；

步骤二、若从某张人脸区域图像A开始，在该张人脸区域图像之后连续截取出的N张人脸区域图像与该张人脸区域图像A的相似度均小于设定的阈值，则向驾驶员发出提醒信号，若驾驶员对提醒信号做出应答，则不需要开启闭眼状态的监测，否则执行步骤三开启闭眼状态的监测；

所述相似度根据两张人脸区域图像的面部特征进行计算；

步骤三、从人脸区域图像A之后截取出的第N+1张人脸区域图像开始，根据人脸区域图像中眼部的关键点位置信息，从人脸区域图像中分别提取出左眼部图像以及右眼部图像；

对提取出的左眼部图像依次进行高斯滤波和灰度直方图均衡化处理，获得处理后的左眼部图像，同理，获得处理后的右眼部图像；

将处理后的左眼部图像以及处理后的右眼部图像分别输入P-Net分类器模型，通过P-Net分类器模型分别检测出左眼和右眼是否处于闭眼状态；

若左眼和右眼中至少有一只为闭眼状态，则认为在人脸区域图像中出现闭眼状态，否则在人脸区域图像中未出现闭眼状态。

更进一步地，所述驾驶状态监测单元的监测结果满足条件(1)至(7)中的至少一条时，则触发驾驶状态预警单元向驾驶员进行驾驶状态预警，否则不触发驾驶状态预警单元；

(1)第一监测模块的监测结果为：打哈欠状态在图像中连续出现的帧数达到设定的阈值；

(2)第二监测模块的监测结果为：左顾右盼状态在图像中连续出现的帧数达到设定的阈值；

(3)第三监测模块的监测结果为：低头状态在图像中连续出现的帧数达到设定的阈值；

(4)第四监测模块的监测结果为：图像中存在接打电话状态；

(5)第五监测模块的监测结果为：图像中存在吸烟状态；

(6)第六监测模块的监测结果为：摄像头遮挡状态在图像中连续出现的帧数达到设定的阈值；

(7)第七监测模块的监测结果为：闭眼状态在图像中连续出现的帧数达到设定的阈值。

本发明的有益效果是：

本发明采用深度学习与监测规则融合的方式，极大提高了驾驶员驾驶状态监测的效率和准确率，进而根据驾驶状态监测结果进行预警，大幅度降低了现有驾驶状态预警系统的漏报率，同时提高了驾驶状态预警系统的预警实时性。在很大程度上提升了道路安全，减少交通事故的发生。通过对本发明系统的优化设计，使得硬件部署、扩展、升级极为方便。

同时，本发明在不增加技术成本的基础上，带来更好的表现，使得方法可以支持更多场景，节约了开发、部署成本。本发明方法的适应性和鲁棒性较强，对光照、角度等客观环境要求较低，很好地适应车内情况。

附图说明

图1为本发明的一种驾驶员驾驶状态预警系统的框图；

图2为人脸68个关键点的分布图；

图中的数字代表关键点编号；

图3为Landmark嘴部区域关键点分布图；

图4为人脸姿态图；

图5为基于深度学习的人脸识别架构图。

具体实施方式

具体实施方式一：结合图1、图2和图3说明本实施方式。本实施方式所述的一种驾驶员驾驶状态预警系统，所述系统包括驾驶员图像获取单元、图像预处理单元、驾驶状态监测单元和驾驶状态预警单元，其中：

所述驾驶员图像获取单元用于实时获取驾驶过程中驾驶员的图像；

所述图像预处理单元用于对实时获取的驾驶员图像进行预处理，获得图像中人脸位置的矩形框以及人脸关键点的位置；再根据获得的人脸关键点位置对图像做对齐校准（对齐校准所采用的是仿射变换方法，使用仿射变换将人脸统一摆正，以尽量消除由于姿势不同带来的监测误差），获得对齐校准后的图像，再根据人脸位置矩形框从对齐校准后图像中截取出感兴趣区域图像，即截取出每张图像中的人脸区域图像；

所述驾驶状态监测单元中包括第一监测模块至第七监测模块，所述第一监测模块至第七监测模块分别用于对不同的状态进行监测；其中：

所述第一监测模块用于根据对齐校准后图像中的人脸关键点位置和截取出的人脸区域图像进行打哈欠状态的监测，具体的监测方式为：

对于截取出的任意一张人脸区域图像，根据该张人脸区域图像中嘴部的关键点位置信息计算嘴巴的张开度，即嘴巴的横宽比：

其中，

为中间变量，

为第50个关键点的坐标，

为第52个关键点的坐标，

为第58个关键点的坐标，

为第56个关键点的坐标，

为第60个关键点的坐标，

为第64个关键点的坐标；

其中，

为嘴巴的张开度；

若

的值大于等于设置的阈值，则该张人脸区域图像中出现打哈欠状态，否则未出现打哈欠状态；

同理，对实时获得的每张人脸区域图像中的打哈欠状态进行监测；

所述驾驶状态预警单元用于根据驾驶状态监测单元的监测结果向驾驶员进行驾驶状态预警。

本发明的驾驶状态监测单元启动之前，会对系统获取到的图像中的人脸进行验证，即对图像中的人脸进行识别，验证通过后，再启动本发明的驾驶状态监测单元，如图5所示，本发明的人脸识别流程如下：

①通过车载红外摄像头采集视频流数据，对视频流进行抽帧转图片处理；

②对得到的包含人脸特征的图像进行相关预处理，去掉外界干扰噪声；

③特征提取，利用训练过的模型，计算提取预处理后图像的68维特征向量（欧氏距离），存入数据库；

④将满足要求的人脸图像输入训练好的深度学习模型，输出人脸位置矩形框与68个关键点信息；

⑤计算所有任意两个关键点数据的欧氏距离，得到68维特征向量；

⑥将计算出的68维特征向量与预先数据库中的人脸特征向量做比对，输出结果。

其中，深度学习模型，是整套系统核心所在。网络为MTCNN P-R-O网络，该网络具有轻量化、灵活扩展、高精度、高稳定性等诸多优点。

本发明方法提升了监测效率，减少了误监测，增加了帧率。在不增加技术成本的基础上，带来更好的表现，使得系统可以支持更多场景，节约了开发、部署成本。本发明采用大量神经网络模型，适应性和鲁棒性较强，对光照、角度等客观环境要求较低，很好地适应车内情况。

以人脸本身作为参考，对于嘴部外侧区域的关键点：

将嘴部外侧区域的关键点中最右侧的关键点编号为第48个关键点，再按照逆时针方向依次对嘴部外侧区域的关键点进行编号（即将嘴部外侧区域的关键点依次编号为48~59）；

对于嘴部内侧区域的关键点：

将嘴部内侧区域的关键点中最右侧的关键点编号为第60个关键点，再按照逆时针方向依次对嘴部内侧区域的关键点进行编号（即将嘴部内侧区域的关键点依次编号为60~67）；

对于左眼区域的关键点：

将左眼区域的关键点中最内侧的关键点编号为第42个关键点，最外侧关键点编号为第45个关键点，其它关键点按照逆时针方向依次编号（即将左眼区域的关键点依次编号为42~47）；将左眼眉的最内侧的关键点编号为第22个关键点，再按照逆时针方向对左眼眉的其它关键点进行编号，依次编号为23~26；

对于右眼区域的关键点：

将右眼区域的关键点中最内侧的关键点编号为第39个关键点，最外侧关键点编号为第36个关键点，其它关键点按照逆时针方向依次编号（即将右眼区域的关键点依次编号为36~41）；将右眼眉的最内侧的关键点编号为第21个关键点，再按照顺时针方向对右眼眉的其它关键点进行编号，依次编号为20~17；

在鼻梁区域，将鼻尖的关键点编号为30点，鼻梁区域的其它关键点排布顺序从上到下依次为27~29；

在鼻子区域，将鼻子区域的关键点中最中间的关键点编号为33点，鼻子区域的其它关键点排布顺序从右到左依次为31~35；

在脸部区域，将脸部区域的最右外侧的关键点编号为0点，脸部区域的其它关键点进行顺时针排布，编号依次为1~16点。

阈值的设置应当足够合理，经过大量测试验证，该阈值设置应当能够与正常说话或哼歌区分开来。另外，本发明设置人脸关键点的数量为68个，是为了兼顾和平衡监测的准确度与速度。

具体实施方式二：本实施方式与具体实施方式一不同的是，所述驾驶员图像获取单元利用红外相机实时获取驾驶过程中驾驶员的图像。

其它步骤及参数与具体实施方式一相同。

具体实施方式三：本实施方式与具体实施方式一或二不同的是，所述图像预处理单元对实时获取的驾驶员图像进行预处理，采用的是MTCNN P-R-O网络。

利用MTCNN P-R-O网络分别获得每张图像中人脸位置矩形框以及人脸关键点的位置。

其它步骤及参数与具体实施方式一或二相同。

具体实施方式四：结合图4说明本实施方式。本实施方式与具体实施方式一至三之一不同的是，所述第二监测模块和第三监测模块分别用于根据对齐校准后图像中的人脸关键点位置以及截取出的人脸区域图像进行左顾右盼状态的监测和低头状态的监测，具体的监测方式为：

步骤S1、根据红外相机的内外参获得平均脸3d模版；

步骤S2、对于截取出的任意一张人脸区域图像，根据平均脸3d模版，将该张人脸区域图像中的人脸关键点位置映射到三维，获得人脸关键点对应的三维坐标；

步骤S3、根据人脸关键点对应的三维坐标求取出该张人脸区域图像中的人脸角度姿态；

再根据求取出的人脸角度姿态判断该张人脸区域图像中是否出现左顾右盼状态以及低头状态；

步骤S4、重复步骤S2至步骤S3的过程，对实时获得的每张人脸区域图像进行左顾右盼状态以及低头状态监测。

如图4所示，人脸旋转角度有roll、pitch、yaw，yaw对应左顾右盼方向，也就是绕Y轴旋转，pitch对应低头抬头方向，也就是绕X轴方向旋转，图4中，X轴、Y轴和Z轴是空间直角坐标系的三个坐标轴。通常是先求取出人脸关键点，再根据平均脸的3d模板，将二维人脸关键点坐标映射至三维坐标，再求取出三维坐标中人脸区域所对应的角度姿态。人脸姿态估计完成后判断当前角度（绕Y轴旋转角度以及绕X轴旋转角度）是否超出安全阈值，从而决定是否报警，即判断图像中是否出现左顾右盼状态和低头状态。角度的准确性、关键点定位的准确性以及采用的平均脸模板的准确性均与相机内外参标定结果相关。

关键点有5点模型，21点模型和68点模型，同一个人的相同位置各个模型、关键点计算出的角度大小可能不一样，但能保证角度跟人脸旋转变化一致的情况下，设置好对应角度阈值即可完成报警。

角度阈值目前有两种方法：一种主要通过经验阈值设置，如左顾右盼报警阈值为yaw角度正负三十度，低头阈值设置为pitch角度大于20度（pitch方向角度变化趋势是抬头角度小，低头角度大）；另一种为自适应阈值设置，在原有经验阈值的基础上，根据前几秒中司机的初始化位置做对应调整，之所以需要自适应，是因为角度在相机坐标系中与人和相机相对位置有关，在非正面的情况下，需要根据初始相对位置对报警阈值做相应偏移，阈值设定后，统计司机人脸角度旋转情况，当旋转角度超过阈值的时间达到报警时间后，开始报警。

其它步骤及参数与具体实施方式一至三之一相同。

具体实施方式五：本实施方式与具体实施方式一至四之一不同的是，所述第四监测模块用于根据驾驶员图像获取单元获取的图像和截取出的人脸区域图像进行接打电话状态监测，具体的监测方式为：

对驾驶员图像获取单元获取的图像进行手势识别，然后再对人脸区域图像的嘴部区域进行检测，结合手势识别结果和嘴部区域检测结果判断图像中是否出现接打电话状态；

所述对驾驶员图像获取单元获取的图像进行手势识别所采用的是改进的MTCNN网络；且对MTCNN网络改进的具体过程为：

将MTCNN网络中的卷积层替换为Depthwise卷积，将池化层去掉，替换为卷积的stride操作。

对于车内打电话识别，主要为手势识别与后处理策略。改进的MTCNN网络负责手势识别，在这种情况下再检测嘴部区域，即可实现打电话检测识别，再经过时间累加策略，做出最终预警动作。对于吸烟，类似于打电话检测，改进的MTCNN负责手势检测，后期策略为亮点检测，即可实现吸烟检测识别。

本实施方式对现有的MTCNN网络进行改进，将MTCNN网络中原有的卷积层替换为Depthwise卷积，即对每个通道进行卷积，再利用shuffle-channel合并结果，可以显著降低计算量，大约降低9倍，而且精度几乎不损失。将MTCNN网络中原有的池化层去除，修改为卷积的stride操作。嵌入式部署采用NCNN框架，可以极大加速推理过程。在对改进的MTCNN网络进行训练时，对错误样本和漏检样本进行多次重复训练，可以提高改进MTCNN网络的识别准确率。而且，在将图像输入改进MTCNN网络之前，需要对图像进行中值滤波处理，这样处理可以去除图像中的噪点并保护图像边缘，减少误检。

其它步骤及参数与具体实施方式一至四之一相同。

具体实施方式六：本实施方式与具体实施方式一至五之一不同的是，所述第五监测模块用于根据驾驶员图像获取单元获取的图像进行吸烟状态的监测，具体的监测方式为：

对驾驶员图像获取单元获取的图像进行手势识别和亮点检测，再根据手势识别和亮点检测结果对获取的每张图像进行吸烟状态监测。

其它步骤及参数与具体实施方式一至五之一相同。

具体实施方式七：本实施方式与具体实施方式一至六之一不同的是，所述第六监测模块用于根据对齐校准后图像中的人脸位置矩形框进行摄像头遮挡状态的监测，具体的监测方式为：

采用跳跃像素和跳跃图像帧两种方式进行监测；

跳跃像素方式为：计算人脸位置矩形框上像素点的梯度，且每间隔5个像素点计算一次；跳跃图像帧方式为：每间隔10帧监测一帧；

像素点梯度的计算公式如下：

其中，

其中，

为像素点

的梯度，

和

为中间变量，

为像素点

的强度，

为像素点

的强度，

为像素点

的强度；

若当前帧图像中存在梯度大于阈值的像素点（阈值大小可以根据驾驶实际情况设定，比如车内环境较暗时，则阈值可以设定的较小一些），则认为当前帧图像中存在摄像头遮挡状态，否则当前帧图像中不存在摄像头遮挡状态。

本实施方式设置每间隔10帧监测一帧的方式，监测每帧时，每间隔5个像素点计算一次梯度，可以降低计算量。

其它步骤及参数与具体实施方式一至六之一相同。

具体实施方式八：本实施方式与具体实施方式一至七之一不同的是，所述第七监测模块用于根据截取出的人脸区域图像进行闭眼状态的监测，具体的监测方式为：

步骤一、对于截取出的任意一张人脸区域图像，采用LBP特征提取网络提取人脸的局部特征，采用密集连接卷积神经网络提取人脸的全局特征，将人脸的局部特征和人脸的全局特征进行加权融合，得到人脸区域图像的面部特征；

所述密集连接卷积神经网络的结构具体为：从输入端开始，密集连接卷积神经网络依次包括卷积层、第一密集块、第一过渡块、第二密集块、第二过渡块、第三密集块、第三过渡块、第四密集块、平均池化层和全连接层；

所述第一密集块中包含有8个卷积单元，第二密集块中包含有10个卷积单元，第三密集块中包含有10个卷积单元，第四密集块中包含有8个卷积单元，每个卷积单元中均包括一个1×1卷积核大小的卷积层和一个3×3卷积核大小的卷积层；

所述第一过渡块由一个1×1卷积核大小的卷积层和一个平均池化层组成，且第二过渡块和第三过渡块的结构与第一过渡块的结构相同；

步骤二、若从某张人脸区域图像A开始，在该张人脸区域图像之后连续截取出的N张人脸区域图像与该张人脸区域图像A的相似度均小于设定的阈值（连续截取出的N张人脸区域图像是在获取时间上紧位于人脸区域图像A之后的图像，若相似度小于阈值则说明之后截取出的图像与人脸区域图像A的区别非常小，若连续N张人脸区域图像与人脸区域图像A的区别均非常小，则证明驾驶员面部表情呆滞），则向驾驶员发出提醒信号，若驾驶员对提醒信号做出应答，则不需要开启闭眼状态的监测，否则执行步骤三开启闭眼状态的监测；

所述相似度根据两张人脸区域图像的面部特征进行计算，例如，可以计算出两张人脸区域图像的面部特征的欧式距离；

步骤三、从人脸区域图像A之后截取出的第N+1张人脸区域图像开始（即步骤二中所述的连续截取出的N张人脸区域图像的下一张图像），根据人脸区域图像中眼部的关键点位置信息，从人脸区域图像中分别提取出左眼部图像以及右眼部图像；

对提取出的左眼部图像依次进行高斯滤波和灰度直方图均衡化处理，获得处理后的左眼部图像，同理，获得处理后的右眼部图像；

将处理后的左眼部图像以及处理后的右眼部图像分别输入P-Net（即MTCNN P-R-O网络中P的结构）分类器模型，通过P-Net分类器模型分别检测出左眼和右眼是否处于闭眼状态；

若左眼和右眼中至少有一只为闭眼状态，则认为在人脸区域图像中出现闭眼状态，否则在人脸区域图像中未出现闭眼状态。

其它步骤及参数与具体实施方式一至七之一相同。

具体实施方式九：本实施方式与具体实施方式一至八之一不同的是，所述驾驶状态监测单元的监测结果满足条件(1)至(7)中的至少一条时，则触发驾驶状态预警单元向驾驶员进行驾驶状态预警，否则不触发驾驶状态预警单元；

(1)第一监测模块的监测结果为：打哈欠状态在图像中连续出现的帧数达到设定的阈值；

(2)第二监测模块的监测结果为：左顾右盼状态在图像中连续出现的帧数达到设定的阈值；

(3)第三监测模块的监测结果为：低头状态在图像中连续出现的帧数达到设定的阈值；

(4)第四监测模块的监测结果为：图像中存在接打电话状态；

(5)第五监测模块的监测结果为：图像中存在吸烟状态；

(6)第六监测模块的监测结果为：摄像头遮挡状态在图像中连续出现的帧数达到设定的阈值；

(7)第七监测模块的监测结果为：闭眼状态在图像中连续出现的帧数达到设定的阈值。

当打哈欠状态、闭眼状态、左顾右盼状态和低头状态中的任何一项触发阈值时都会进行驾驶状态预警，打哈欠状态、闭眼状态、左顾右盼状态和低头状态达到触发阈值是指状态在图像中连续出现的帧数达到设置的阈值，监测到接打电话状态会发出接打电话警报，接打电话状态一旦被检测出，就发出接打电话警报，吸烟状态一旦被检测出，就发出吸烟警报，若达到连续N帧监测到摄像头遮挡状态，则就会发出摄像头遮挡警报，阈值和N可根据实际情况设定。

其它步骤及参数与具体实施方式一至八之一相同。

本发明的上述实施例仅为详细地说明本发明的计算模型和计算流程，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动，这里无法对所有的实施方式予以穷举，凡是属于本发明的技术方案所引伸出的显而易见的变化或变动仍处于本发明的保护范围之列。

Claims (9)

1.一种驾驶员驾驶状态预警系统，其特征在于，所述系统包括驾驶员图像获取单元、图像预处理单元、驾驶状态监测单元和驾驶状态预警单元，其中：

所述驾驶员图像获取单元用于实时获取驾驶过程中驾驶员的图像；

所述图像预处理单元用于对实时获取的驾驶员图像进行预处理，获得图像中人脸位置的矩形框以及人脸关键点的位置；再根据获得的人脸关键点位置对图像做对齐校准，获得对齐校准后的图像，再根据人脸位置矩形框从对齐校准后图像中截取出感兴趣区域图像，即截取出每张图像中的人脸区域图像；

所述驾驶状态监测单元中包括第一监测模块至第七监测模块，所述第一监测模块至第七监测模块分别用于对不同的状态进行监测；其中：

所述第一监测模块用于根据对齐校准后图像中的人脸关键点位置和截取出的人脸区域图像进行打哈欠状态的监测，具体的监测方式为：

对于截取出的任意一张人脸区域图像，根据该张人脸区域图像中嘴部的关键点位置信息计算嘴巴的张开度，即嘴巴的横宽比：

其中，

为中间变量，

为第50个关键点的坐标，

为第52个关键点的坐标，

为第58个关键点的坐标，

为第56个关键点的坐标，

为第60个关键点的坐标，

为第64个关键点的坐标；

其中，

为嘴巴的张开度；

若

的值大于等于设置的阈值，则该张人脸区域图像中出现打哈欠状态，否则未出现打哈欠状态；

同理，对实时获得的每张人脸区域图像中的打哈欠状态进行监测；

所述驾驶状态预警单元用于根据驾驶状态监测单元的监测结果向驾驶员进行驾驶状态预警。

2.根据权利要求1所述的一种驾驶员驾驶状态预警系统，其特征在于，所述驾驶员图像获取单元利用红外相机实时获取驾驶过程中驾驶员的图像。

3.根据权利要求2所述的一种驾驶员驾驶状态预警系统，其特征在于，所述图像预处理单元对实时获取的驾驶员图像进行预处理，采用的是MTCNN P-R-O网络。

4.根据权利要求3所述的一种驾驶员驾驶状态预警系统，其特征在于，所述第二监测模块和第三监测模块分别用于根据对齐校准后图像中的人脸关键点位置以及截取出的人脸区域图像进行左顾右盼状态的监测和低头状态的监测，具体的监测方式为：

步骤S1、根据红外相机的内外参获得平均脸3d模版；

步骤S2、对于截取出的任意一张人脸区域图像，根据平均脸3d模版，将该张人脸区域图像中的人脸关键点位置映射到三维，获得人脸关键点对应的三维坐标；

步骤S3、根据人脸关键点对应的三维坐标求取出该张人脸区域图像中的人脸角度姿态；

再根据求取出的人脸角度姿态判断该张人脸区域图像中是否出现左顾右盼状态以及低头状态；

步骤S4、重复步骤S2至步骤S3的过程，对实时获得的每张人脸区域图像进行左顾右盼状态以及低头状态监测。

5.根据权利要求4所述的一种驾驶员驾驶状态预警系统，其特征在于，所述第四监测模块用于根据驾驶员图像获取单元获取的图像和截取出的人脸区域图像进行接打电话状态监测，具体的监测方式为：

对驾驶员图像获取单元获取的图像进行手势识别，然后再对人脸区域图像的嘴部区域进行检测，结合手势识别结果和嘴部区域检测结果判断图像中是否出现接打电话状态；

所述对驾驶员图像获取单元获取的图像进行手势识别所采用的是改进的MTCNN网络；且对MTCNN网络改进的具体过程为：

将MTCNN网络中的卷积层替换为Depthwise卷积，将池化层去掉，替换为卷积的stride操作。

6.根据权利要求5所述的一种驾驶员驾驶状态预警系统，其特征在于，所述第五监测模块用于根据驾驶员图像获取单元获取的图像进行吸烟状态的监测，具体的监测方式为：

对驾驶员图像获取单元获取的图像进行手势识别和亮点检测，再根据手势识别和亮点检测结果对获取的每张图像进行吸烟状态监测。

7.根据权利要求6所述的一种驾驶员驾驶状态预警系统，其特征在于，所述第六监测模块用于根据对齐校准后图像中的人脸位置矩形框进行摄像头遮挡状态的监测，具体的监测方式为：

采用跳跃像素和跳跃图像帧两种方式进行监测；

跳跃像素方式为：计算人脸位置矩形框上像素点的梯度，且每间隔5个像素点计算一次；跳跃图像帧方式为：每间隔10帧监测一帧；

像素点梯度的计算公式如下：

其中，

其中，

为像素点

的梯度，

和

为中间变量，

为像素点

的强度，

为像素点

的强度，

为像素点

的强度；

若当前帧图像中存在梯度大于阈值的像素点，则认为当前帧图像中存在摄像头遮挡状态，否则当前帧图像中不存在摄像头遮挡状态。

8.根据权利要求7所述的一种驾驶员驾驶状态预警系统，其特征在于，所述第七监测模块用于根据截取出的人脸区域图像进行闭眼状态的监测，具体的监测方式为：

步骤一、对于截取出的任意一张人脸区域图像，采用LBP特征提取网络提取人脸的局部特征，采用密集连接卷积神经网络提取人脸的全局特征，将人脸的局部特征和人脸的全局特征进行加权融合，得到人脸区域图像的面部特征；

所述密集连接卷积神经网络的结构具体为：从输入端开始，密集连接卷积神经网络依次包括卷积层、第一密集块、第一过渡块、第二密集块、第二过渡块、第三密集块、第三过渡块、第四密集块、平均池化层和全连接层；

所述第一密集块中包含有8个卷积单元，第二密集块中包含有10个卷积单元，第三密集块中包含有10个卷积单元，第四密集块中包含有8个卷积单元，每个卷积单元中均包括一个1×1卷积核大小的卷积层和一个3×3卷积核大小的卷积层；

所述第一过渡块由一个1×1卷积核大小的卷积层和一个平均池化层组成，且第二过渡块和第三过渡块的结构与第一过渡块的结构相同；

步骤二、若从某张人脸区域图像A开始，在该张人脸区域图像之后连续截取出的N张人脸区域图像与该张人脸区域图像A的相似度均小于设定的阈值，则向驾驶员发出提醒信号，若驾驶员对提醒信号做出应答，则不需要开启闭眼状态的监测，否则执行步骤三开启闭眼状态的监测；

所述相似度根据两张人脸区域图像的面部特征进行计算；

步骤三、从人脸区域图像A之后截取出的第N+1张人脸区域图像开始，根据人脸区域图像中眼部的关键点位置信息，从人脸区域图像中分别提取出左眼部图像以及右眼部图像；

对提取出的左眼部图像依次进行高斯滤波和灰度直方图均衡化处理，获得处理后的左眼部图像，同理，获得处理后的右眼部图像；

将处理后的左眼部图像以及处理后的右眼部图像分别输入P-Net分类器模型，通过P-Net分类器模型分别检测出左眼和右眼是否处于闭眼状态；

若左眼和右眼中至少有一只为闭眼状态，则认为在人脸区域图像中出现闭眼状态，否则在人脸区域图像中未出现闭眼状态。

9.根据权利要求8所述的一种驾驶员驾驶状态预警系统，其特征在于，所述驾驶状态监测单元的监测结果满足条件(1)至(7)中的至少一条时，则触发驾驶状态预警单元向驾驶员进行驾驶状态预警，否则不触发驾驶状态预警单元；

(1)第一监测模块的监测结果为：打哈欠状态在图像中连续出现的帧数达到设定的阈值；

(2)第二监测模块的监测结果为：左顾右盼状态在图像中连续出现的帧数达到设定的阈值；

(3)第三监测模块的监测结果为：低头状态在图像中连续出现的帧数达到设定的阈值；

(4)第四监测模块的监测结果为：图像中存在接打电话状态；

(5)第五监测模块的监测结果为：图像中存在吸烟状态；

(6)第六监测模块的监测结果为：摄像头遮挡状态在图像中连续出现的帧数达到设定的阈值；

(7)第七监测模块的监测结果为：闭眼状态在图像中连续出现的帧数达到设定的阈值。

Images