CN113269069B - 一种基于卡车司机面部特征的困倦辨识方法及装置 - Google Patents

Abstract

本发明公开一种基于卡车司机面部特征的困倦辨识方法及装置,所述方法包括：采集驾驶人的人脸图像数据，构建为数据集；构建并训练人脸检测模型，通过训练好的人脸检测模型进行人脸检测及追踪；构建并训练人脸对齐模型，通过训练好的人脸对齐模型进行人脸关键点定位，提取驾驶人眼动、嘴部困倦表征参数数据；基于人脸关键点定位结果，通过三维立体空间与二维图像之间的映射关系，提取头部困倦表征参数数据；对困倦表征参数数据进行数据清洗及数据预处理；构建并训练PSO‑GRNN模型，通过训练好的PSO‑GRNN模型对实时采集的人脸图像数据进行卡车司机困倦驾驶状态辨识。本发明能够快速准确地对中年卡车司机进行困倦驾驶辨识。

Description

一种基于卡车司机面部特征的困倦辨识方法及装置

技术领域

本发明涉及智能交通技术领域，特别是涉及一种基于卡车司机面部特征的困倦辨识方法及装置。

背景技术

随着中国经济的飞速发展，中国机动车保有量连年升高，在汽车保有量稳步上升的同时，发生交通事故的数量也逐年上升。根据大型事故原因研究，因司机困倦驾驶导致重型卡车交通事故发生率占比较高，且其中中年驾驶人占大多数，中年卡车司机因驾驶里程、驾驶年龄、生活压力等多方面的因素，更容易陷入困倦驾驶状态。困倦驾驶给人民生命财产安全带来了巨大损失。因此，推动中年司机困倦驾驶检测相关技术的研究发展应用于改善交通安全状况具有重大的意义。

驾驶员困倦驾驶是指驾驶人由于睡眠不足、长时间驾驶或道路环境单调引起的心理和生理机能的失调，而在客观上出现驾驶机能下降的现象。例如，驾驶员在困倦状态下驾驶车辆，具有如下明显特征：频繁打哈欠、点头、歪头、闭眼时间长、目光呆滞等特征，如果驾驶员在上述情况下继续驾驶极易引发道路交通事故。

随着技术的不断进步，目前的困倦驾驶辨识、报警装置主要分为3类：1)基于生理信息的困倦驾驶检测系统，该系统通过人因传感器、驾驶模拟器采集驾驶人脑电、心电、肌电、眼电、皮肤电、呼吸以及脉搏等信号进行困倦驾驶判断，该类系统需要驾驶员佩戴多种传感器，容易引起司机反感，不利于司机的正常驾驶，且设备成本高，较难在实车驾驶环境下推广；2)基于驾驶人行为及车辆行为特征的困倦驾驶检测系统，该系统利用雷达等多种传感器采集车辆方向盘转角、车速、加速度、换道次数、踏板力等多个特征参数进行困倦驾驶判定，该类系统与司机个人驾驶习惯有关，路况的好坏与驾驶路线等因素对困倦检测存在着干扰，检测准确率较低，可靠性较差，一般作为其他检测方式的辅助手段；3)基于机器视觉的困倦驾驶检测系统，通常是提取驾驶员的面部特征，常用的特征参数有眼部、嘴部、头部、表情等，通过设定阈值、单一特征参数辨识驾驶员困倦的不足之处在于：首先，阈值会受到驾驶人个体差异的影响。不同的驾驶人面部五官差异较大，困倦表征参数多有不同，且阈值因人而异，无法选择出适应大多数人的阈值。传感器的质量、参数、固定的位置等因素不同也会影响阈值取值。因此，使用单一参数、阈值等方法进行驾驶员困倦辨识会受到多方面因素条件的限制。

前人在困倦驾驶辨识的研究中，采用单一参数或设定阈值的方法进行驾驶员困倦检测居多，未考虑困倦驾驶状态在时间上的连续性，前人模型的建构流程不清晰，对于驾驶员困倦辨识模型的准精率不高、实时性无法得到保障，未曾提及模型“终身”学习概念，从而无法应用于特殊的驾驶环境与特定的专属群体。因此，提供一种基于卡车司机面部特征的困倦辨识方法及装置以克服现有问题显得尤为必要。

发明内容

本发明的目的是提供一种基于卡车司机面部特征的困倦辨识方法及装置，以解决现有技术中存在的技术问题，能够快速准确地对中年卡车司机进行困倦驾驶辨识。

为实现上述目的，本发明提供了如下方案：本发明提供一种基于卡车司机面部特征的困倦辨识方法，包括如下步骤：

采集驾驶人的人脸图像数据，构建为数据集，并对所述数据集中的人脸图像进行图像预处理；

构建并训练人脸检测模型，通过训练好的人脸检测模型对所述数据集中的人脸图像进行人脸检测及追踪；

构建并训练人脸对齐模型，基于人脸检测及追踪结果，通过训练好的人脸对齐模型进行人脸关键点定位，提取驾驶人眼动、嘴部困倦表征参数数据；

基于人脸关键点定位结果，通过三维立体空间与二维图像之间的映射关系，提取头部困倦表征参数数据；其中，头部困倦表征参数包括偏航角、翻滚角和俯仰角；

对提取的眼动、嘴部及头部困倦表征参数数据进行数据清洗及数据预处理；

基于预处理后的困倦表征参数数据构建并训练PSO-GRNN模型，通过训练好的PSO-GRNN模型对实时采集的人脸图像数据进行卡车司机困倦驾驶状态辨识。

优选地，所述的数据集包括困倦驾驶状态数据集和干扰数据集；所述困倦驾驶状态数据集包含困倦驾驶状态时的特征和标签数据，所述干扰数据集包含驾驶人正常驾驶时的特征和标签数据。

优选地，对所述数据集中的人脸图像进行图像预处理的方法包括：灰度化处理、局部方差均衡化处理。

优选地，所述人脸检测模型基于MTCNN卷积神经网络进行构建，并通过公开人脸数据集进行人脸检测模型训练，得到训练好的人脸检测模型；通过训练好的人脸检测模型对所述数据集中的人脸图像进行人脸检测及追踪。

优选地，所述人脸对齐模型采用MobileV3Net_small与CNN相结合的深度神经网络进行构建；所述MobileV3Net_small神经网络为主网络，用于预测人脸关键点在图像坐标系中的坐标，完成人脸关键点定位；所述CNN神经网络为辅网络，用于对所述主网络进行约束。

优选地，头部困倦表征参数数据的提取方法包括：

利用张正友标定法求解相机内部参数矩阵，EPnP算法求得相机外部的旋转矩阵和偏移矩阵，将二维关键点坐标与标准三维人脸模型进行对应，求解出三维立体空间与二维图像之间的映射关系，提取偏航角、翻滚角和俯仰角困倦表征参数。

优选地，对提取的特征进行数据清洗及数据预处理的方法包括：

将眼动、嘴部及头部困倦表征参数数据进行特征层融合，将融合后的数据进行清洗，得到原始特征矩阵；

运用独热编码将非浮点数困倦表征参数数据转为稀疏矩阵，将所述稀疏矩阵融合到所述原始特征矩阵中。

优选地，进行卡车司机困倦驾驶状态辨识的具体方法包括：

S601、利用RFE算法对数据预处理后的特征进行筛选，得到最优特征矩阵；

S602、构建PSO-GRNN模型，并对所述PSO-GRNN模型进行参数初始化；

S603、基于最优特征矩阵对所述PSO-GRNN模型进行训练，得到训练好的PSO-GRNN模型；其中，训练过程中，通过PSO算法优化GRNN神经网络的光滑因子；

S604、实时采集基于时间序列的驾驶状态数据，通过滑动窗口算法将所述驾驶状态数据输入到训练好的PSO-GRNN模型，得到卡车司机困倦状态的辨识结果。

优选地，卡车司机困倦状态的辨识结果为困倦时，进行卡车司机困倦驾驶状态辨识的方法还包括如下步骤：

提取困倦驾驶状态数据作为困倦驾驶状态数据集中的新增困倦驾驶状态数据，基于新增困倦驾驶状态数据对所述PSO-GRNN模型进行泛化误差验证，泛化误差小于期望误差，则保持训练好的PSO-GRNN模型的权重参数和阈值，否则重复步骤S603对所述PSO-GRNN模型进行训练。

本发明还提供一种基于卡车司机面部特征的困倦辨识装置，用于执行所述的基于卡车司机面部特征的困倦辨识方法，包括数据采集模块、中央微处理器CPU、存储模块、供电模块、集成电路、显示模块、单片机引脚插针模块、报警模块；所述中央微处理器CPU分别与所述数据采集模块、存储模块、供电模块、集成电路、显示模块、单片机引脚插针模块连接，所述报警模块与所述单片机引脚插针模块连接；

所述数据采集模块用于采集驾驶人的人脸图像数据，构建为数据集；

所述中央微处理器CPU包括驾驶人困倦辨识系统、困倦等级判定模块；所述驾驶人困倦辨识系统用于进行图像预处理、人脸检测及追踪、人脸关键点定位与特征提取，特征数据清洗及数据预处理、卡车司机困倦驾驶状态辨识；所述困倦等级判定模块用于判定驾驶人的困倦等级；

所述供电模块用于为所述困倦辨识装置供电；

所述集成电路用于保证所述困倦辨识装置的正常使用；

所述显示模块用于实时地显示标定的人脸区域、困倦表征参数的提取结果，驾驶人的状态信息；

所述单片机引脚插针模块用于传输电信号，为所述报警模块赋予高低电平；

所述报警模块用于根据不同困倦等级发出不同音调的警报声。

本发明公开了以下技术效果：

(1)本发明针对特定的驾驶环境与驾驶人群提出一种基于卡车司机面部特征的困倦辨识方法及装置，对于中年卡车司机困倦驾驶具有较好的辨识效果；

(2)本发明辨识装置在嵌入式装置中研发，该开发板具有体积小、低功耗等特点，Jetson nano嵌入式装置能够加速神经网络的训练与计算，每检测一帧图像并输出检测数据用时约为50ms，满足实时检测的要求；

(3)本发明利用MobileV3Net_small神经网络与CNN神经网络相结合进行多任务学习训练人脸对齐模型，该模型可以定位98个人脸关键点，相比于广泛用到的集成回归树算法训练68人脸关键点模型，该模型关键点定位眼部轮廓更加“细腻”、准确、模型更轻量化，能够更好的表达人脸关键点特征；

(4)本发明采集了驾驶人多个困倦表征参数，通过RFE算法筛选特征，消除特征之间信息的冗余，与现有辨识方法相比，利用较少、最有效的特征完成对困倦驾驶的辨识，提升了PSO-GRNN模型辨识准确率，模型在特定的驾驶环境下具有良好的实时性，减少了误报率；

(5)本发明利用粒子群优化算法PSO优化GRNN模型的光滑因子，激发PSO-GRNN神经网络最大的潜能；提取部分含激活报警的困倦驾驶数据，形成新的学习样本，对模型进行检验并进一步强化模型训练，使模型“终身”学习，为模型训练与辨识提供了新的思路与技术路线。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明基于卡车司机面部特征的困倦辨识方法流程图；

图2为本发明基于卡车司机面部特征的困倦辨识装置原理图；

图3为本发明实施例中基于优化的人脸对齐模型神经网络结构图；

图4为本发明实施例中世界坐标系与图像平面的转换关系图；

图5为本发明实施例中GRNN神经网络结构图；

图6为本发明实施例中基于RFE-PSO-GRNN优化算法的模型辨识流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

参照图1所示，本实施例提供一种基于卡车司机面部特征的困倦辨识方法，具体包括如下步骤：

S10、采集驾驶人的人脸图像数据，构建数据集，其中，所述数据集包括困倦驾驶状态数据集和干扰数据集；

为了克服夜晚光照度低，同时避免对驾驶人正常驾驶产生干扰，本实施例中采用红外摄像头，在实车驾驶环境下采集驾驶人驾驶汽车时的人脸图像数据并构建数据集；其中，红外摄像头安装固定在A柱旁、前挡风玻璃左上角附近；同时，图像采集过程中，采用940nm红外滤光片阻隔波长低于940nm长度的光，滤除图像中的颜色信息。

所述的数据集包括困倦驾驶状态数据集和干扰数据集。所述困倦驾驶状态数据集包含困倦驾驶状态时的特征和标签数据，所述干扰数据集包含驾驶人正常驾驶时的特征和标签数据，所述特征包括：说话交流、转头、低头等特征。

S20、对所述数据集中的人脸图像数据进行图像预处理；

本实施例中，图像预处理的方法包括：灰度化处理、局部方差均衡化处理，以均衡人脸图像中的亮度信息，增强局部图像的对比度；具体包括：

S201、对采集的人脸图像数据进行灰度化处理，降低图像占用的存储资源，提升微处理器的运算处理能力；

S202、基于灰度化处理后的人脸图像数据，利用局部方差均衡化方法调整像素值的大小以使局部方差与全局方差匹配，修改移动区域中心像素值，增强局部像素区域的对比度；相比于直方图均衡化、自适应均衡化等图像增强方法，本发明方法考虑图像局部区域信息、减少图像噪声，对高曝、光照度低等亮度失衡图像具有较好的处理效果。其中，局部方差均衡化处理如式(1)所示：

式中，f′(i，j)为局部方差均衡化处理后的图像；G(i，j)为增强因子，f(i,j)为图像像素的灰度值，n为滑动窗口大小，(i，j)为像素点,x(k,l)为滑动窗口内的图像。

S30、构建并训练人脸检测模型，通过训练好的人脸检测模型进行人脸检测及追踪；具体包括：

S301、基于MTCNN卷积神经网络构建人脸检测模型，利用公开人脸数据集对MTCNN人脸检测模型进行训练，得到训练好的人脸检测模型；本实施例中，公开人脸数据集采用WINDE FACE开源数据集；

S302、通过训练好的人脸检测模型对所述数据集中的人脸图像进行人脸检测及追踪。

S40、构建并训练人脸对齐模型，基于人脸检测及追踪结果，通过训练好的人脸对齐模型进行人脸关键点定位与特征提取；具体包括：

S401、采用MobileV3Net_small与CNN相结合的深度神经网络构建人脸对齐模型，如图3所示；人脸对齐模型用于定位驾驶人的人脸关键点，所述人脸关键点包括眼部、嘴部区域的关键点，基于定位的人脸关键点提取驾驶人眼部、嘴部区域。

其中，所述人脸对齐模型包括主网络和辅助网络，所述主网络为MobileV3Net_small神经网络，所述MobileV3Net_small神经网络用于预测人脸关键点在图像坐标系中的坐标，共有4个卷积层，2个平均池化层，11个bneck块。所述辅助网络为CNN神经网络，所述CNN神经网络包括4个卷积层，1个最大池化层，2个全连接层，所述CNN神经网络主要对所述主网络附加惩罚项，约束主网络，避免主网络模型训练过拟合；所述主网络与所述辅助网络相关联。

该人脸对齐模型在WFLW数据集上进行训练，训练完成的所述人脸对齐模型能够定位98个人脸关键点，其中，左右眼睛轮廓、瞳孔共有18个特征点，嘴部内外轮廓有20个特征点；本发明方法相比于68人脸关键点模型，眼部轮廓更加细腻，关键点定位更加准确、快速、轻量化，能够更好的表达人脸关键点特征。其中，人脸对齐模型的损失函数loss如式(2)所示：

其中，M表示人脸样本的数量，Q表示每张图像中特征点数目，γ_q为惩罚项，

为关键点的L2距离。

S402、利用训练好的人脸对齐模型定位人脸眼部、嘴部关键点，基于定位的人脸关键点提取驾驶人眼部、嘴部区域，并提取驾驶人的面部特征参数；提取的面部特征参数包括眼动困倦表征参数、嘴部困倦表征参数，具体为：眼睑闭合率、眼角开合度、闭眼时间、注视方向、注视时间、眨眼频率、打哈欠频率、嘴角开合度、嘴角张合面积等困倦表征参数，将图像信息转换成数据信息。

S403、利用张正友标定法求解相机内部参数矩阵，EPnP算法求得相机外部的旋转矩阵和平移矩阵，将二维关键点坐标与标准三维人脸模型进行对应，求解出三维立体空间与二维图像之间的映射关系，提取偏航角、翻滚角和俯仰角困倦表征参数，世界坐标系与图像平面的转换关系图如图4所示。其中，坐标系转换关系如式(3)所示：

其中，

K是相机的内部参数矩阵，R是相机外部的旋转矩阵，用于头部姿态角的求解，t为相机外部的平移矩阵，P_i ^w为世界坐标系下的3D人脸模型关键点信息，i＝1,2,3,....,n，P_i ^c为P_i ^w映射到相机坐标系下的对应点，

表示4个控制点坐标，

表示对应

的虚拟点，j＝1,2,3,4；δ_ij为齐次重心坐标，n为三维人脸模型关键点个数。

以α、β、γ分别代表欧拉角中的偏航角、俯仰角及翻滚角，即旋转矩阵R可表示为：

R(α,β,γ)＝R_z(γ)R_y(α)R_x(β)……………(4)

其中，R_z、R_y、R_x分别表示为绕z、y、x轴旋转得到的对应旋转矩阵，则旋转矩阵R改写为：

求得旋转矩阵R后，即可计算得到欧拉角，计算公式为：

S50、对提取的特征进行数据清洗及数据预处理；具体包括：

S501、将眼动、嘴部及头部困倦表征参数数据进行特征层融合，将融合后的数据按照一定的清洗规则进行数据清洗，去除无效、冗余、错误、丢失、噪声等“脏数据”，得到原始特征矩阵；

S502、运用独热编码将非浮点数困倦表征参数数据(即注视方向这一困倦表征参数)转为稀疏矩阵，将稀疏矩阵融合到S501中得到的原始特征矩阵中。

S60、基于预处理后的困倦表征参数数据构建并训练PSO-GRNN模型，通过训练好的PSO-GRNN模型对实时采集的数据进行卡车司机困倦驾驶状态辨识。具体如图6所示，包括：S1，数据按照一定的规则进行数据清洗；S2，运用RFE筛选特征，按照特征对模型的贡献率进行排序，筛选出最优特征参数矩阵；S3，设置PSO算法的初始化参数，定义适应度函数和最大迭代次数；S4，将特征选择后的目标数据、干扰数据及标签输入到PSO-GRNN模型中训练GRNN模型，通过PSO优化算法更新GRNN网络模型的光滑因子。将优化后的光滑因子连接到神经网络中，验证PSO-GRNN神经网路，判断该网络是否小于期望的泛化误差；S5，实时采集基于时间序列的困倦驾驶数据；S6，利用滑动窗口算法将实时采集的数据输入到PSO-GRNN辨识模型中，模型对实时采集的数据进行计算，若模型输出y_j＝1，输出结果，否则模型继续进行辨识；S7，若模型的输出结果为y_j＝1，则激活蜂鸣器模块进行报警，否则不激活蜂鸣器模块；提取并带有部分困倦驾驶数据，构建新的学习样本，强化模型的泛化能力。具体步骤如下：

S601、利用RFE算法对预处理后的特征进行困倦表征参数筛选，得到最优特征矩阵；根据特征对模型的贡献率筛选最能表现原始数据信息的最佳特征矩阵，能够消除各特征之间共线性、信息重叠等问题；RFE算法是一种贪婪的优化算法，在每次迭代时保留最佳特征或剔除最差特征，下一次迭代时，使用上一次建模中没有被选中的特征来构建下一个模型，直到所有特征都耗尽为止。然后，根据自己保留或剔除特征的顺序来对特征进行排名，最终选出一个最佳特征子集。其中，本实施例中，最终筛选出的特征参数如表1所示。

表1

S602、构建PSO-GRNN模型，通过PSO算法对GRNN模型中光滑因子σ进行优化，步骤如下：

1)初始化粒子群(即粒子群规模、粒子位置与速度)，并设置粒子群算法的基本参数：种群规模为30，最大迭代次数为300次。为防止盲目搜索，本实施例中粒子速度限制在[-30,30]，粒子位置限制在[0.001,1000]。PSO算法如式(7)所示：

其中，V_id(t+1)表示第i个粒子在第d维上第t+1次迭代的速度，Z_id(t+1)表示第i个粒子在t+1次迭代中第d维上的位置，ω为惯性权重，c₁、c₂为学习因子，r₁、r₂为[0,1]之间的随机数，pbest_id(t)表示第i个粒子在第t次更新时的个体极值，gbest_d(t)为截止第t次更新全部粒子的最优历史位置。

2)将粒子位置映射到GRNN网络中，构建GRNN困倦驾驶状态辨识模型，GRNN神经网络的结构如图5所示；

3)将特征选择后的包含一定比例的困倦驾驶状态数据集和干扰数据集输入到GRNN神经网络中进行模型训练，模型训练时引入滑动窗口算法，设置窗口大小为100，滑动步长为10。将PSO-GRNN网络的适应度函数定义为网络的输出值和节点实际值的均方根误差，计算粒子群中每个粒子的适应度函数值。网络训练的计算公式如下：

式中：X_i ^A为训练样本数据集中的第i个数据，n为训练样本数据集中的数据总个数；Y_i ^A为训练样本数据集中的第i组数据对应的标签；y^A为网络实际输出；σ为GRNN的光滑因子。

适应度函数计算公式如下：

4)更新粒子pbest，若此轮迭代最优适应度值优于历史迭代中的最优适应度值，则以当前位置为pbest；

5)更新全局最优位置gbest，若此轮迭代中gbest对应的粒子最优位置优于上次迭代的位置，则种群选择当前位置为新的粒子位置；

6)根据pbest和gbest更新和调整粒子的当前位置和速度；

7)判断是否满足条件或达到最大迭代次数，如果达到最大迭代次数，则PSO优化结束，将gbest映射到GRNN中进行网络模型的测试。

利用泛化误差在验证数据集上验证优化后的GRNN辨识模型表现。泛化误差公式如下：

E(f；d)＝(E_d[f(x；d)]-y_i)²+E_d[(f_d(x)-E_d[f(x；d)])²]…(10)

其中，E(f；d)为模型的泛化误差，E_d[f(x；d)]为在训练集d上训练的模型在样本x的期望值，f_d(x)为在训练集d上训练的模型在样本x上的预测值，y_i为真实值，E_d为模型的期望。

若PSO-GRNN模型的泛化误差E(i)＜E_J(E_J期望的泛化误差)，模型通过测试，输出该模型；若E(i)＞E_J，则模型需要进一步学习，通过PSO算法进行迭代寻优，更新并优化GRNN模型的光滑因子，直到系统达到稳定状态，停止学习。

S603、利用红外摄像头实时采集基于时间序列的驾驶状态数据，通过滑动窗口算法将采集到的驾驶状态数据输入到训练好的PSO-GRNN辨识模型中进行计算,在特定的驾驶环境下实时对中年卡车司机困倦状态进行辨识。

如果模型判定驾驶人为困倦驾驶，步骤S60还包括：

S604、提取困倦驾驶状态表征参数作为困倦驾驶状态数据集中的新增困倦驾驶状态数据，基于新增困倦驾驶状态数据进行总体泛化误差检测，如果模型的泛化误差E(i)＜E_J，则保持训练后模型的权重和阈值不变；如果泛化误差超过期望的泛化误差，则重复步骤S602强化模型的训练与学习，进一步提升模型的表现与泛化能力，强化模型的训练与学习。

参照图2所示，本发明还提供一种基于卡车司机面部特征的困倦辨识装置，包括：数据采集模块、中央微处理器CPU、存储模块、供电模块、集成电路、显示模块、单片机引脚插针模块、报警模块；所述中央微处理器CPU分别与所述数据采集模块、存储模块、供电模块、集成电路、显示模块、单片机引脚插针模块连接，所述报警模块与所述单片机引脚插针模块连接。

所述数据采集模块采用红外摄像头，用于在实车驾驶环境下采集驾驶人的人脸图像数据，构建数据集，所述数据集包括困倦驾驶状态数据集和干扰数据集；困倦驾驶状态数据集包含困倦驾驶状态时的特征和标签数据，干扰数据集包含驾驶人正常驾驶时的特征和标签数据。

所述存储模块采用SD卡存储模块，用于存储所述数据采集模块采集的人脸图像数据，以及所述中央微处理器CPU应用的程序和算法。

所述中央微处理器CPU采用ARM CotexA57的Jetson nano主控芯片，具有多种接口，支持Linux系统。该处理器主要在本发明中发挥图像预处理、数据预处理、数据分析、特征提取、辨识算法实现等作用；所述中央微处理器CPU包括驾驶人困倦辨识系统、困倦等级判定模块；所述驾驶人困倦辨识系统基于所述数据采集模块所采集的驾驶人的人脸图像数据进行困倦辨识；所述困倦等级判定模块用于判定驾驶人的困倦等级，并根据困倦等级为报警模块发送不同振频的信号。

所述驾驶人困倦辨识系统包括依次连接的图像预处理单元、人脸检测及追踪单元、特征提取单元、数据清洗及特征选择单元、困倦驾驶状态模型辨识单元，所述图像预处理单元与所述数据采集模块连接，所述困倦驾驶状态模型辨识单元与所述困倦等级判定模块连接。

所述的图像预处理单元用于将采集的驾驶人的人脸图像进行灰度化处理、局部方差均衡化处理，以均衡图像中的亮度信息，增强局部图像对比度。

所述的人脸检测及追踪单元基于MTCNN卷积神经构建人脸检测模型，并通过公开人脸数据集对所述人脸检测模型进行训练，得到训练好的人脸检测模型，通过训练好的人脸检测模型对所述数据集中的人脸图像进行人脸检测及追踪。

所述的特征提取单元，采用MobileV3Net_small与CNN相结合的深度神经网络构建人脸对齐模型，通过训练好的所述人脸对齐模型进行人脸关键点定位，提取驾驶人眼动、嘴部困倦表征参数数据；所述的特征提取单元还基于人脸关键点定位结果，通过三维立体空间与二维图像之间的映射关系，提取头部困倦表征参数数据，所述头部困倦表征参数包括偏航角、翻滚角和俯仰角。

所述的数据清洗及特征选择单元用于将驾驶人眼动、嘴部及头部困倦表征参数数据进行特征层融合，并按照一定的清洗规则滤除无效、冗余、错误、噪声等“脏数据”。

所述的困倦驾驶状态模型辨识单元基于预处理后的困倦表征参数数据构建并训练PSO-GRNN模型，通过训练好的PSO-GRNN模型对实时采集的数据进行卡车司机困倦驾驶状态辨识。

所述供电模块用于为所述困倦辨识装置供电；

所述集成电路用于保证所述困倦辨识装置的正常使用；

所述显示模块采用电容触摸屏显示模块，用于实时地显示标定的人脸区域、困倦表征参数的提取结果，驾驶人的状态信息；若检测不到人脸，电容触摸显示屏上驾驶人人脸区域将不会被标定，困倦表征参数提取算法将不会被执行，若检测到人脸，则电容触摸显示屏上会标定驾驶人人脸区域，困倦表征参数提取算法会在人脸标定区域内提取特征参数，减少算法对特征的搜索范围，提升嵌入式装置计算速度。

所述单片机引脚插针模块用于传输辨识IO口电信号，赋予所述报警模块高低电平。

所述报警模块采用蜂鸣器报警模块，用于根据不同振频的信号发出不同音调的警报声；如果判定为困倦驾驶状态，则输出困倦驾驶信号，即PSO-MLP模型输出y_m＝1，并触发报警信号，激活蜂鸣报警模块，否则，蜂鸣报警模块不报警。

本发明的工作原理如下：

在不影响驾驶人正常驾驶情况下，将红外摄像头固定在A柱旁、前挡风玻璃左上角。车辆启动后，通过车载点烟器处给整个嵌入式系统及装置供电。当开启驾驶员困倦检测系统后，观察电容触摸屏上是否正常显示驾驶人脸标定区域，若没有显示人脸标定区域，说明未检测到驾驶人人脸，则图像预处理、困倦表征参数提取、辨识模型等程序将不会被执行。在特定的驾驶环境下对中年驾驶员进行困倦辨识时，实时的计算特征参数，若模型输出为y_m＝1，即困倦驾驶状态，根据不同的困倦等级，蜂鸣器发出不同音量的警报声提醒驾驶人，否则模型继续计算数据。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。

需要理解的是，以上对本发明的具体实施进行的描述只是为了说明本发明的原理和技术路线，其目的在于让本领域内的技术人员能够了解本发明的内容并据以实施，但本发明并不限于上述特定实施方式。凡是在本发明权利要求的范围内做出的各种变化或修饰，都应涵盖在本发明的保护范围内。

Claims (8)

1.一种基于卡车司机面部特征的困倦辨识方法，其特征在于，包括如下步骤：

采集驾驶人的人脸图像数据，构建为数据集，并对所述数据集中的人脸图像进行图像预处理；

构建并训练人脸检测模型，通过训练好的人脸检测模型对所述数据集中的人脸图像进行人脸检测及追踪；

构建并训练人脸对齐模型，基于人脸检测及追踪结果，通过训练好的人脸对齐模型进行人脸关键点定位，提取驾驶人眼动、嘴部困倦表征参数数据；

基于人脸关键点定位结果，通过三维立体空间与二维图像之间的映射关系，提取头部困倦表征参数数据；其中，头部困倦表征参数包括偏航角、翻滚角和俯仰角；

对提取的眼动、嘴部及头部困倦表征参数数据进行数据清洗及数据预处理；

基于预处理后的困倦表征参数数据构建并训练PSO-GRNN模型，通过训练好的PSO-GRNN模型对实时采集的人脸图像数据进行卡车司机困倦驾驶状态辨识；

所述的数据集包括困倦驾驶状态数据集和干扰数据集；所述困倦驾驶状态数据集包含困倦驾驶状态时的特征和标签数据，所述干扰数据集包含驾驶人正常驾驶时的特征和标签数据；

所述卡车司机困倦驾驶状态辨识的具体方法包括：

S601、利用RFE算法对数据预处理后的特征进行筛选，得到最优特征矩阵；

S602、构建PSO-GRNN模型，并对所述PSO-GRNN模型进行参数初始化；

所述构建PSO-GRNN模型，通过PSO算法对GRNN模型中光滑因子σ进行优化，步骤如下：

1)初始化粒子群，并设置粒子群算法的基本参数；

2)将粒子位置映射到GRNN网络中，构建GRNN困倦驾驶状态辨识模型；

3)将特征选择后的包含一定比例的困倦驾驶状态数据和干扰数据集输入到GRNN神经网络中进行模型训练；

4)更新粒子pbest；

5)更新全局最优位置gbest；

6)根据pbest和gbest更新和调整粒子的当前位置和速度；

7)判断是否满足条件或最大迭代次数，如果达到最大迭代次数，则PSO优化结束，将gbest映射到GRNN中进行网络模型的测试；

S603、基于最优特征矩阵对所述PSO-GRNN模型进行训练，得到训练好的PSO-GRNN模型；其中，训练过程中，通过PSO算法优化GRNN神经网络的光滑因子；

S604、实时采集基于时间序列的驾驶状态数据，通过滑动窗口算法将所述驾驶状态数据输入到训练好的PSO-GRNN模型，得到卡车司机困倦状态的辨识结果。

2.根据权利要求1所述的基于卡车司机面部特征的困倦辨识方法，其特征在于，对所述数据集中的人脸图像进行图像预处理的方法包括：灰度化处理、局部方差均衡化处理。

3.根据权利要求1所述的基于卡车司机面部特征的困倦辨识方法，其特征在于，所述人脸检测模型基于MTCNN卷积神经网络进行构建，并通过公开人脸数据集进行人脸检测模型训练，得到训练好的人脸检测模型；通过训练好的人脸检测模型对所述数据集中的人脸图像进行人脸检测及追踪。

4.根据权利要求1所述的基于卡车司机面部特征的困倦辨识方法，其特征在于，所述人脸对齐模型采用MobileV3Net_small与CNN相结合的深度神经网络进行构建；所述MobileV3Net_small神经网络为主网络，用于预测人脸关键点在图像坐标系中的坐标，完成人脸关键点定位；所述CNN为辅网络，用于对所述主网络进行约束。

5.根据权利要求1所述的基于卡车司机面部特征的困倦辨识方法，其特征在于，头部困倦表征参数数据的提取方法包括：

利用张正友标定法求解相机内部参数矩阵，EPnP算法求得相机外部的旋转矩阵和偏移矩阵，将二维关键点坐标与标准三维人脸模型进行对应，求解出三维立体空间与二维图像之间的映射关系，提取偏航角、翻滚角和俯仰角困倦表征参数。

6.根据权利要求1所述的基于卡车司机面部特征的困倦辨识方法，其特征在于，对提取的特征进行数据清洗及数据预处理的方法包括：

将眼动、嘴部及头部困倦表征参数数据进行特征层融合，将融合后的数据进行清洗，得到原始特征矩阵；

运用独热编码将非浮点数困倦表征参数数据转为稀疏矩阵，将所述稀疏矩阵融合到所述原始特征矩阵中。

7.根据权利要求1所述的基于卡车司机面部特征的困倦辨识方法，其特征在于，卡车司机困倦状态的辨识结果为困倦时，进行卡车司机困倦驾驶状态辨识的方法还包括如下步骤：

提取困倦驾驶状态数据作为困倦驾驶状态数据集中的新增困倦驾驶状态数据，基于新增困倦驾驶状态数据对所述PSO-GRNN模型进行泛化误差验证，泛化误差小于期望误差，则保持训练好的PSO-GRNN模型的权重参数和阈值，否则重复步骤S603对所述PSO-GRNN模型进行训练。

8.一种基于卡车司机面部特征的困倦辨识装置，其特征在于，用于执行权利要求1-7任一项所述的基于卡车司机面部特征的困倦辨识方法，包括数据采集模块、中央微处理器CPU、存储模块、供电模块、集成电路、显示模块、单片机引脚插针模块、报警模块；所述中央微处理器CPU分别与所述数据采集模块、存储模块、供电模块、集成电路、显示模块、单片机引脚插针模块连接，所述报警模块与所述单片机引脚插针模块连接；

所述数据采集模块用于采集驾驶人的人脸图像数据，构建为数据集；

所述中央微处理器CPU包括驾驶人困倦辨识系统、困倦等级判定模块；所述驾驶人困倦辨识系统用于进行图像预处理、人脸检测及追踪、人脸关键点定位与特征提取，特征数据清洗及数据预处理、卡车司机困倦驾驶状态辨识；所述困倦等级判定模块用于判定驾驶人的困倦等级；

所述供电模块用于为所述困倦辨识装置供电；

所述集成电路用于保证所述困倦辨识装置的正常使用；

所述显示模块用于实时地显示标定的人脸区域、困倦表征参数的提取结果，驾驶人的状态信息；

所述单片机引脚插针模块用于传输电信号，为所述报警模块赋予高低电平；

所述报警模块用于根据不同困倦等级发出不同音调的警报声。

Images