CN115565159B

CN115565159B - 一种疲劳驾驶检测模型的构建方法及应用

Info

Publication number: CN115565159B
Application number: CN202211188223.6A
Authority: CN
Inventors: 郭逸非; 黄剑; 傅中正
Original assignee: Huazhong University of Science and Technology
Current assignee: Huazhong University of Science and Technology
Priority date: 2022-09-28
Filing date: 2022-09-28
Publication date: 2023-03-28
Anticipated expiration: 2042-09-28
Also published as: CN115565159A

Abstract

本发明公开了一种疲劳驾驶检测模型的构建方法及应用，属于疲劳驾驶检测领域，在提取到表达人面部状态的表情肌的表情肌关键点和表达身体状态的骨骼关键点后，根据面部肌肉和骨骼的分布来关联这些关键点，利用图形的顶点构图，图形的边表示关键点之间的距离，并将各关键点所在的各连接线的长度的集合进行综合得到关键点的特征表示矩阵，最终将关键点的节点编号、邻接矩阵和特征表示矩阵输入到深度学习网络中进行训练；本发明选择了最具有疲劳表达能力的面部表情肌和身体骨骼，基于生物学与人体工程学的方式，以脸部肌肉松弛无法保持状态，身体无法保持稳定为判断依据，更快更好地利用关键信息判断驾驶员是否疲劳，大大提高了疲劳驾驶检测的准确率。

Description

一种疲劳驾驶检测模型的构建方法及应用

技术领域

本发明属于疲劳驾驶检测领域，更具体地，涉及一种疲劳驾驶检测模型的构建方法及应用。

背景技术

疲劳驾驶，表现为打哈欠、闭眼、疲惫和类似的症状，已经成为近来交通事故的主要原因之一。

疲劳驾驶检测已经得到了世界各国政府交通部门的重视。各种针对实际车辆驾驶过程的智能算法和系统应运而生。由于受到驾驶员姿态、车辆形状、道路状况等因素的影响，在实际应用中，疲劳驾驶检测的效果不是很明显。因此，疲劳驾驶检测仍然是一个未解决的问题。

在生理学的观点中，人的精神面貌与面部肌肉的状态直接相关。一般来说，人在兴奋时，面部肌肉会处于紧张状态；相反，当人疲惫或萎靡不振时，其面部表情会呈现出松弛和放松的状态，因此，发现局部区域的相关关系以及脸部局部区域的关键点（如眼睛和嘴）之间的关系（距离）可以被视为识别人类精神状态的标准之一。传统的视觉特征和基于深度特征的方法已被广泛用于疲劳驾驶检测，尤其是采用深度卷积神经网络的方法在物体检测和面部检测领域取得了良好的表现，但是这些方法往往是单独关注眼睛和嘴巴的变化，例如计算眼睑中瞳孔黑色素所占的比例判断眼睛是否闭合，或者利用积分投影等方法计算嘴部是否打哈欠，弱化了表情肌肉在整个面部的关联效应；即使关注到表情肌肉在整个面部的关联效应，现有方法也只是取特征点间的直线距离作为特征长度以及特征参数单元，人为的定义了以比值为参考的关联效应，这种方法在人脸处于旋转、倾斜、低头或者被遮挡状态下时容易出现判断偏差，无法很好的判断驾驶员是否产生疲劳，疲劳驾驶检测的准确率较低。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种疲劳驾驶检测模型的构建方法及应用，用以解决现有技术疲劳驾驶检测准确率较低的技术问题。

为了实现上述目的，第一方面，本发明提供了一种疲劳驾驶检测模型的构建方法，包括以下：

S1、搭建疲劳驾驶检测模型；其中，疲劳驾驶检测模型包括：

关键点提取模块，用于对输入图像中的驾驶员进行脸部关键点识别和身体关键点识别，得到脸部关键点和身体关键点，以及对应的关键点节点编号；提取位于表情肌走向上的脸部关键点，得到表情肌关键点；提取位于骨骼走向线上的身体关键点，得到骨骼关键点；

表情肌特征提取模块，用于将表情肌关键点按照表情肌的走向进行连接，得到表情肌连接线，以及各表情肌连接线所构成的脸部连接图；基于脸部连接图，得到各表情肌关键点的邻接矩阵；分别获取各表情肌关键点所在的各表情肌连接线的长度的集合，作为各表情肌关键点的特征表示；所有表情肌关键点的特征表示共同构成表情肌关键点特征表示矩阵；

骨骼特征提取模块，用于将骨骼关键点按照骨骼的走向进行连接，得到骨骼连接线，以及各骨骼连接线所构成的骨骼连接图；基于骨骼连接图，得到各骨骼关键点的邻接矩阵；分别获取各骨骼关键点所在的各骨骼连接线的长度的集合，作为各骨骼关键点的特征表示；所有骨骼关键点的特征表示共同构成骨骼关键点特征表示矩阵；

疲劳驾驶检测模块，用于将各表情肌关键点和各骨骼关键点的节点编号、对应的邻接矩阵以及表情肌关键点特征表示矩阵和骨骼关键点特征表示矩阵，输入至深度学习模型中，以判断输入图像中的驾驶员是否处于疲劳状态；

S2、将预采集的训练样本集输入至上述疲劳驾驶检测模型中进行训练，得到训练好的疲劳驾驶检测模型；其中，训练样本集包括：实际采集到的处于疲劳状态的驾驶员图像和处于非疲劳状态的驾驶员图像，及其对应的疲劳状态标签；驾驶员图像为包括驾驶员脸部和身体的图像。

进一步优选地，上述深度学习模型为GraphSAGE模型。

进一步优选地，上述疲劳驾驶检测模型的损失函数为：

其中，v为关键点节点u随机游走访达的邻居关键点节点；z_u为关键点节点u的特征表示矩阵输入到GraphSAGE模型进行聚合后所得的嵌入映射；z_v为关键点节点v的特征表示矩阵输入到GraphSAGE模型进行聚合后所得的嵌入映射；P _n为对训练样本集输入至上述疲劳驾驶检测模型中进行疲劳状态检测时所得结果为疲劳状态的图像经关键点提取模块提取后的关键点集合进行负采样的概率分布；

是按照概率分布P _n进行负采样得到的关键点节点；

为sigmoid函数；Q为负采样个数；E表示期望函数。

进一步优选地，表情肌包括颧小肌、口轮匝肌和眼轮匝肌。

进一步优选地，骨骼包括：胸骨、肱骨、肩胛骨和颈椎。

第二方面，本发明提供了一种疲劳驾驶检测方法，包括：将采集到的包括驾驶员脸部和身体的图像输入至采用本发明第一方面所提供的疲劳驾驶检测模型的构建方法所构建的疲劳驾驶检测模型中，以得到驾驶员是否处于疲劳状态的结果。

进一步优选地，实时采集包括驾驶员脸部和身体的监测图像，并将预设时间段内的各个监测图像输入到疲劳驾驶检测模型中来识别驾驶员是否处于疲劳状态；若识别为疲劳状态的监测图像的数目与预设时间段内监测图像总数之比大于或等于预设比值，则判定驾驶员处于疲劳状态；否则，判定驾驶员处于非疲劳状态。

第三方面，本发明提供了一种疲劳驾驶检测系统，包括：存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时执行本发明第二方面所提供的疲劳驾驶检测方法。

第四方面，本发明还提供了一种机器可读存储介质，所述机器可读存储介质存储有机器可执行指令，所述机器可执行指令在被处理器调用和执行时，所述机器可执行指令促使所述处理器实现本发明第一方面所提供的疲劳驾驶检测模型的构建方法、和/或本发明第二方面所提供的疲劳驾驶检测方法。

总体而言，通过本发明所构思的以上技术方案，能够取得以下有益效果：

1、本发明提供了一种疲劳驾驶检测模型的构建方法，由于人类自身认知与先验知识可以通过脸部表情判断人的疲劳状态，表情肌在清醒状态保持下会兴奋收紧，疲劳状态下会松弛，身体姿势也有同样的天然特征，本发明选择了最有疲劳表达能力的面部表情肌和身体骨骼，在提取得到表达人面部状态的表情肌的表情肌关键点和表达身体状态的骨骼关键点后，根据面部肌肉和骨骼的分布来关联这些关键点，利用图形的顶点构图，图形的边表示关键点之间的距离，并将各关键点所在的各连接线的长度的集合进行综合得到关键点整体的特征表示矩阵，来进一步表示表情肌肉在整个面部的关联效应，最终将关键点的节点编号、邻接矩阵和特征表示矩阵输入到深度学习网络中进行训练，从而基于生物学与人体工程学的方式，以脸部肌肉松弛无法保持状态，身体无法保持稳定为判断依据，更快更好地利用关键信息判断驾驶员是否疲劳，大大提高了疲劳驾驶检测的准确率。

2、本发明所提供的疲劳驾驶检测模型的构建方法，所采用的深度学习模型为GraphSAGE模型，并不使用每一个关键点本身来生成嵌入映射，而是通过一个顶点的局部邻居采样并聚合关键点得到的嵌入映射，能够在驾驶员转身、低头、抬头等运动过程中，不影响现有关键点的嵌入映射的生成，拥有更好的鲁棒性和准确率。

3、本发明所提供的疲劳驾驶检测模型的构建方法，相比现有的疲劳驾驶检测，摒弃了更多的无用信息，只专注于关键点的图谱构成，具有无接触、抗干扰、速度快和训练速度快的优势，能够在短时间内对驾驶员发出预警。

附图说明

图1为本发明实施例1所提供的疲劳驾驶检测模型的构建方法流程图。

图2 为本发明实施例1所提供的脸部关键点编号示意图。

图3 为本发明实施例1所提供的身体关键点编号示意图。

图4为本发明实施例1所提供的脸部连接图的示意图。

图5为本发明实施例1所提供的骨骼连接图的示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

实施例1

一种疲劳驾驶检测模型的构建方法，如图1所示，包括以下：

S1、搭建疲劳驾驶检测模型；其中，疲劳驾驶检测模型包括：关键点提取模块、表情肌特征提取模块、骨骼特征提取模块和疲劳驾驶检测模块；

关键点提取模块：

关键点提取模块用于对输入图像中的驾驶员进行脸部关键点识别和身体关键点识别，得到脸部关键点和身体关键点，以及对应的关键点节点编号；提取位于表情肌走向上的脸部关键点，得到表情肌关键点，并将表情肌关键点及其对应的关键点节点编号输出至表情肌特征提取模块；提取位于骨骼走向线上的身体关键点，得到骨骼关键点，并将骨骼关键点及其对应的关键点节点编号输出至骨骼特征提取模块；

具体地，为了提取能够表达人面部状态的表情肌，提取表情肌走向线上的脸部关键点作为表情肌关键点，在一种可选实施方式中，首先对输入图像进行归一化处理，然后通过Dlib库中的人脸识别算法进行人物面部识别，获得脸部关键点及其对应的关键点节点编号，具体如图2所示，所得脸部关键点的节点编号包括：f2、f4、f7、f9、f12、f14、f21、f22、f27、f36、f37、f38、f39、f40、f41、f42、f43、f44、f45、f46、f47、f48、f49、f50、f51、f52、f53、f54、f55、f56、f57、f58、f59等；最后选取在脸部表面可以表达人面部状态的表情肌，例如：颧小肌，口轮匝肌，眼轮匝肌等的分布，并提取位于表情肌的走向线上的脸部关键点作为表情肌关键点。

为了提取能够表达身体状态的骨骼，提取位于骨骼的走向线上的身体关键点作为骨骼关键点，在一种可选实施方式中，首先对输入图像进行归一化处理，然后通过BLazepose算法或Openpose算法等人体姿态检测算法进行身体姿态定位，从而得到身体关键点及其对应的关键点节点编号，具体如图3所示，所得身体关键点的节点编号包括：p7、p9、p10、p8、p11、p13、p12、p14等；最后选取在选取可以表达身体状态的骨骼，例如：胸骨，肱骨，肩胛骨，颈椎等，并提取位于骨骼的走向线上的身体关键点作为骨骼关键点。

表情肌特征提取模块：

表情肌特征提取模块用于将表情肌关键点按照表情肌的走向进行连接，得到表情肌连接线，以及各表情肌连接线所构成的脸部连接图；基于脸部连接图，得到各表情肌关键点的邻接矩阵；分别获取各表情肌关键点所在的各表情肌连接线的长度的集合，作为各表情肌关键点的特征表示；最终，所有表情肌关键点的特征表示共同构成表情肌关键点特征表示矩阵；

具体地，如图4所示，按照各表情肌的走向，定向连接表情肌关键点获得表情肌连接线；各个表情肌连接线构成脸部连接图，建立表情肌关键点的邻接矩阵。分别获取各表情肌关键点所在的各表情肌连接线的长度的集合，作为各表情肌关键点的特征表示；其中，表情肌连接线的长度为表情肌连接线首、末两端表情肌关键点间各相邻两个表情肌关键点之间的欧式距离之和。将各表情肌关键点的节点编号、邻接矩阵和表情肌关键点特征表示矩阵输出至疲劳驾驶检测模块中。

骨骼特征提取模块：

骨骼特征提取模块，用于将骨骼关键点按照骨骼的走向进行连接，得到骨骼连接线，以及各骨骼连接线所构成的骨骼连接图；基于骨骼连接图，得到各骨骼关键点的邻接矩阵；分别获取各骨骼关键点所在的各骨骼连接线的长度的集合，作为各骨骼关键点的特征表示；最终，所有骨骼关键点的特征表示共同构成骨骼关键点特征表示矩阵；

具体地，如图5所示，按照各骨骼的走向，定向连接骨骼关键点获得骨骼连接线；各个骨骼连接线构成脸部连接图，建立骨骼关键点的邻接矩阵。分别获取各骨骼关键点所在的各骨骼连接线的长度的集合，作为各骨骼关键点的特征表示；其中，骨骼连接线的长度为骨骼连接线首、末两端骨骼关键点间各相邻两个骨骼关键点之间的欧式距离之和。将各骨骼关键点的节点编号、邻接矩阵和骨骼关键点特征表示矩阵输出至疲劳驾驶检测模块中。

疲劳驾驶检测模块：

具体地，在上述训练过程中，将各表情肌关键点和各骨骼关键点作为节点，将节点编号、节点的邻接矩阵、表情肌关键点特征表示矩阵以及骨骼关键点特征表示矩阵作为一组输入，对应的疲劳状态标签作为输出，通过最小化疲劳驾驶检测模型输出的是否处于疲劳状态的结果与疲劳状态标签之间的差异，对疲劳驾驶检测模型进行训练。

需要说明的是，上述深度学习模型可以为GCN模型、GraphSAGE模型等。由于在驾驶员转身、低头、抬头等运动过程中，采集的图像会发生变化，容易导致关键点缺失，为了进一步提高检测的准确率和鲁棒性，本发明将深度学习模型优选为GraphSAGE模型，在该模型下并不使用每一个关键点本身来生成嵌入映射，而是通过一个顶点的局部邻居采样并聚合关键点得到的嵌入映射，当关键点缺失时，并不影响现有关键点的嵌入映射的生成，能够拥有更好的鲁棒性和准确率。

具体地，当深度学习模型为GraphSAGE模型时，上述疲劳驾驶检测模型的损失函数

为：

表示负采样；

是按照概率分布P _n进行负采样得到的关键点节点；

为sigmoid函数；Q为负采样个数；E表示期望函数。需要说明的是，各表情肌关键点节点的特征表示矩阵均为上述表情肌特征表示矩阵，各骨骼关键点节点的特征表示矩阵均为上述骨骼特征表示矩阵。

综上，本发明首先提取面部的关键点，如眼睛和嘴巴周围的关键点，以代表面部表情特征。然后，提出了一个图样本和聚合网络，根据面部肌肉的分布来关联这些关键点，利用图形的顶点构图，图形的边表示每个点的距离，通过图形聚合网络来计算关键点之间的关联。最后，该框架通过端到端方式进行训练，以实现整个疲劳驾驶的识别。

实施例2

一种疲劳驾驶检测方法，包括：将采集到的包括驾驶员脸部和身体的图像输入至采用本发明实施例1所提供的疲劳驾驶检测模型的构建方法所构建的疲劳驾驶检测模型中，以得到驾驶员是否处于疲劳状态的结果。

进一步地，在一种可选实施方式下，采用摄像头实时采集包括驾驶员脸部和身体的监测图像，并将预设时间段（本实施方式下取值为15s）内的各个监测图像输入到上述疲劳驾驶检测模型中来识别驾驶员是否处于疲劳状态；若识别为疲劳状态的监测图像的数目与预设时间段内监测图像总数之比大于或等于预设比值（参照perclos算法确定本实施方式下的预设比值取值为80%），则判定驾驶员处于疲劳状态；否则，判定驾驶员处于非疲劳状态；进一步地，对处于疲劳状态的驾驶员进行预警。

相关技术方案同实施例1，这里不做赘述。

综上，本发明根据面部肌肉和身体骨骼的分布，对其进行图的构建，并将其肌肉和骨骼的位置与长度作为肌肉的收紧和松弛的标准，利用图神经网络进行训练，并根据判定为疲劳的图片数量与时长的固定比例（百分之八十）来确认驾驶员是否处于疲劳状态，达到提高了疲劳驾驶检测的准确性。

为了进一步说明本发明所提供的疲劳驾驶检测方法的准确性，本发明选取了中国公交车数据集，内含4125张图像，使用传统基于CNN（VGG-16）的疲劳驾驶检测方法和本发明所提供的疲劳驾驶检测方法进行对比试验，实验结果表明，本发明所提供的疲劳驾驶检测方法的准确率达到了98.7%，高于传统方法的97.0%。

实施例3

一种疲劳驾驶检测系统，包括：存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时执行本发明实施例2所提供的疲劳驾驶检测方法。

相关技术方案同实施例2，这里不做赘述。

实施例4

一种机器可读存储介质，所述机器可读存储介质存储有机器可执行指令，所述机器可执行指令在被处理器调用和执行时，所述机器可执行指令促使所述处理器实现本发明实施例1所提供的疲劳驾驶检测模型的构建方法、和/或本发明实施例2所提供的疲劳驾驶检测方法。

相关技术方案同实施例1和实施例2，这里不做赘述。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims

1.一种疲劳驾驶检测模型的构建方法，其特征在于，包括以下：

S1、搭建疲劳驾驶检测模型；所述疲劳驾驶检测模型包括：

表情肌特征提取模块，用于将表情肌关键点按照表情肌的走向进行连接，得到表情肌连接线，以及各表情肌连接线所构成的脸部连接图；基于所述脸部连接图，得到各表情肌关键点的邻接矩阵；分别获取各表情肌关键点所在的各表情肌连接线的长度的集合，作为各表情肌关键点的特征表示；所有表情肌关键点的特征表示共同构成表情肌关键点特征表示矩阵；

骨骼特征提取模块，用于将骨骼关键点按照骨骼的走向进行连接，得到骨骼连接线，以及各骨骼连接线所构成的骨骼连接图；基于所述骨骼连接图，得到各骨骼关键点的邻接矩阵；分别获取各骨骼关键点所在的各骨骼连接线的长度的集合，作为各骨骼关键点的特征表示；所有骨骼关键点的特征表示共同构成骨骼关键点特征表示矩阵；

S2、将预采集的训练样本集输入至所述疲劳驾驶检测模型中进行训练，得到训练好的疲劳驾驶检测模型；其中，所述训练样本集包括：实际采集到的处于疲劳状态的驾驶员图像和处于非疲劳状态的驾驶员图像，及其对应的疲劳状态标签；所述驾驶员图像为包括驾驶员脸部和身体的图像。

2.根据权利要求1所述的疲劳驾驶检测模型的构建方法，其特征在于，所述深度学习模型为GraphSAGE模型。

3.根据权利要求2所述的疲劳驾驶检测模型的构建方法，其特征在于，所述疲劳驾驶检测模型的损失函数为：

其中，v为关键点节点u随机游走访达的邻居关键点节点；z_u为关键点节点u的特征表示矩阵输入到所述GraphSAGE模型进行聚合后所得的嵌入映射；z_v为关键点节点v的特征表示矩阵输入到所述GraphSAGE模型进行聚合后所得的嵌入映射；P _n为对训练样本集输入至所述疲劳驾驶检测模型中进行疲劳状态检测时所得结果为疲劳状态的图像经关键点提取模块提取后的关键点集合进行负采样的概率分布；

是按照概率分布

进行负采样得到的关键点节点；

为sigmoid函数；Q为负采样个数；E表示期望函数。

4.根据权利要求1-3任意一项所述的疲劳驾驶检测模型的构建方法，其特征在于，所述表情肌包括颧小肌、口轮匝肌和眼轮匝肌。

5.根据权利要求1-3任意一项所述的疲劳驾驶检测模型的构建方法，其特征在于，所述骨骼包括：胸骨、肱骨、肩胛骨和颈椎。

6.一种疲劳驾驶检测方法，其特征在于，包括：将采集到的包括驾驶员脸部和身体的图像输入至采用权利要求1-5任意一项所述的疲劳驾驶检测模型的构建方法所构建的疲劳驾驶检测模型中，以得到驾驶员是否处于疲劳状态的结果。

7.根据权利要求6所述的疲劳驾驶检测方法，其特征在于，实时采集包括驾驶员脸部和身体的监测图像，并将预设时间段内的各个监测图像输入到所述疲劳驾驶检测模型中来识别驾驶员是否处于疲劳状态；若识别为疲劳状态的监测图像的数目与预设时间段内监测图像的总数之比大于或等于预设比值，则判定驾驶员处于疲劳状态；否则，判定驾驶员处于非疲劳状态。

8.一种疲劳驾驶检测系统，其特征在于，包括：存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时执行权利要求6或7所述的疲劳驾驶检测方法。

9.一种机器可读存储介质，所述机器可读存储介质存储有机器可执行指令，所述机器可执行指令在被处理器调用和执行时，所述机器可执行指令促使所述处理器实现权利要求1-5任意一项所述的疲劳驾驶检测模型的构建方法、和/或权利要求6-7任意一项所述的疲劳驾驶检测方法。