CN110532925B - 基于时空图卷积网络的驾驶员疲劳检测方法 - Google Patents

Abstract

本发明公开了一种基于时空图卷积网络的驾驶员疲劳检测方法，主要解决现有技术中驾驶员疲劳检测准确率低的问题。本发明的具体步骤如下：(1)搭建时空图卷积网络；(2)生成数据集；(3)训练时空图卷积网络；(4)对驾驶状态进行实时分类。本发明具有提高驾驶员疲劳检测准确率和鲁棒性，降低漏检率的优点，是一种非常实用的驾驶员疲劳检测方法。

Description

基于时空图卷积网络的驾驶员疲劳检测方法

技术领域

本发明属于图像处理技术领域，更进一步涉及光学图像分类技术领域中的一种基于时空图卷积网络ST-GCN(Spatial-Temporal Graph Convolutional Network)的驾驶员疲劳检测方法。本发明可用于对机动车驾驶场景下驾驶员的驾驶状态进行分类，其分类的结果可为机动车驾驶员和交管人员判断驾驶员是否处于疲劳状态提供参考依据。

背景技术

研究表明，目前在所有的机动车撞车事故中，有8.8％-9.5％的驾驶员感到疲劳。驾驶员疲劳是造成重大道路交通事故的重要原因之一。近年来，人们提出了许多驾驶员疲劳检测技术。这些检测方法利用驾驶员疲劳时闭眼、打哈欠、低头等主要特征和头部动作、人脸状态，判断机动车驾驶员是否疲劳。

济南浪潮高新科技投资发展有限公司在其申请的专利文献“一种基于卷积神经网络的驾驶员疲劳检测方法及装置”(专利申请号：201910398400.5，公开号：CN110119714A)中提出了一种基于卷积神经网络的驾驶员疲劳检测方法。该方法利用卷积神经网络对驾驶室内的车载摄像头拍摄的驾驶员图片进行睁眼和闭眼的分类，能够判断驾驶员是否处于疲劳驾驶。相比其他驾驶员疲劳检测方法，该方法具有更强的适用性。但是，该方法仍然存在的不足之处是：机动车驾驶时驾驶室内的环境复杂多变，该方法在驾驶员面部有遮挡和光照不良的环境下的检测效果差，因此该方法对驾驶员疲劳检测的鲁棒性低，准确率低。

广东工业大学在其申请的专利文献“一种基于神经网络的驾驶员疲劳检测方法”(专利申请号：201910243728.X，公开号：CN110119676A)中提出了一种基于神经网络的驾驶员疲劳检测方法。该方法利用多任务级联卷积网络检测到人脸和关键点位置,然后利用区域提取算法提取出驾驶员眼部和嘴部区域图，紧接着将眼部和嘴部区域图送入神经网络进行抽烟、打电话、打哈欠、闭眼和正常状态五种类别的图像分类，最终判断驾驶员疲劳状态。该方法具有检测范围更广，不局限于眼睛和嘴巴，还可以同时检测打电话和抽烟等特征，但是，该方法仍然存在的不足之处是：由于连续的人脸关键点蕴含着丰富的时间和空间信息，例如驾驶员感到疲劳前的微小的头部动作和细微的人脸状态变化，该方法没有从驾驶员人脸关键点的时间和空间信息上着手进行处理，因此该方法无法检测出驾驶员微小的头部动作和细微的人脸状态变化，导致该方法对驾驶员疲劳检测的漏检率高，准确率低。

发明内容

本发明的目的是针对上述现有技术的不足，提出一种基于时空图卷积网络的驾驶员疲劳检测方法，以解决机动车驾驶场景下驾驶员的驾驶状态分类中存在的鲁棒性低、漏检率高、准确率低的问题。

实现本发明目的的思路是：驾驶员的驾驶状态反应在驾驶员微小的头部动作和细微的人脸状态变化中；连续的人脸关键点蕴含着丰富的时间和空间信息；与传统的卷积神经网络相比，时空图卷积网络能够充分利用输入数据蕴含的时间和空间信息；在驾驶员驾驶状态分类的过程中时空图卷积网络充分利用了提取到的驾驶员人脸关键点的时间和空间信息，能够捕捉到驾驶员微小的头部动作和细微的人脸状态变化，得到的驾驶员的驾驶状态的分类结果更准确，提高了驾驶员疲劳检测的准确率并且降低了漏检率；人脸关键点的提取受驾驶员面部有遮挡和环境光照不良的影响小，对环境的适应性强，提高了驾驶员疲劳检测的鲁棒性。

本发明的具体步骤包括如下：

步骤1.搭建时空图卷积网络：

搭建一个82层的时空图卷积网络，其结构依次为：输入层→批归一化层→11个级联的时空图卷积算子→全局池化层→归一化指数函数层→输出层；将批归一化层的动量设置为0.1；

所述每个时空图卷积算子的结构依次为：第1卷积层→第1批归一化层→第1修正线性单元层→第2卷积层→第2批归一化层→第1随机失活层→第2修正线性单元层，其中，第1卷积层与第1随机失活层之间跳跃连接；设置时空图卷积算子各层的参数为：将第5、8个时空图卷积算子中所有卷积层的步长均设置为2，将其余时空图卷积算子中的所有卷积层的步长均设置为1；将所有卷积层的卷积核大小均设置为9×3；将所有随机失活层的随机失活概率均设置为0.45；将所有批归一化层的动量均设置为0.1；

步骤2.生成数据集：

使用摄像头对模拟的机动车驾驶环境中驾驶员的肩膀以上部位的进行录像；将每段完整视频分割为多个长度为T帧的短视频，其中T≥1；

将所有短视频中驾驶员的驾驶状态划分为4类并组成数据集；

使用人脸关键点提取软件，提取所有短视频中每一帧的人脸关键点，每一个人脸提取出N个关键点，其中N≥1，将数据保存为json格式的文件；

使用数据集数据预处理软件，将所有json格式的文件以npy格式组成数据集以及与该数据集对应的pkl格式的分类标签文件；

步骤3.训练时空图卷积网络：

将npy格式的数据集以及与该数据集对应的pkl格式的分类标签文件，输入到时空图卷积网络中，利用梯度下降法，对网络参数进行迭代更新，直至损失函数J(θ)≤0.1，得到训练好的时空图卷积网络；

步骤4.对驾驶状态进行实时分类：

第一步，使用人脸关键点提取软件，提取实时采集到的机动车驾驶室内驾驶员的肩膀以上部位的视频图像中人脸的所有关键点，并存入到用于存储人脸关键点数据的队列中；

第二步，判断队列中是否存满L个人脸关键点数据，若是，则执行本步骤的第三步，否则，则执行本步骤的第一步，其中，L的取值与T相等；

第三步，将队列中的所有人脸关键点数据送入训练好的时空图卷积网络，时空图卷积网络进行推断，得到驾驶员当前驾驶状态的分类结果。

本发明与现有的技术相比具有以下优点：

第一，本发明利用人脸关键点提取软件，提取实时采集到的机动车驾驶室内驾驶员的肩膀以上部位的视频图像中人脸的所有关键点，克服了现有技术在驾驶员面部有遮挡和光照不良的环境下检测效果差，驾驶员疲劳检测的鲁棒性低的缺点，使得本发明提高了驾驶员疲劳检测的鲁棒性和准确率。

第二，本发明利用搭建并训练好的时空图卷积网络，对机动车行驶中驾驶员的微小的头部动作和细微的人脸状态变化等细微驾驶状态进行实时分类，克服了现有技术无法检测出驾驶员微小的头部动作和细微的人脸状态变化，驾驶员疲劳检测的漏检率高、准确率低的缺点，使得本发明降低了驾驶员疲劳检测的漏检率，提高了驾驶员疲劳检测的准确率。

附图说明

图1是本发明的流程图；

图2是本发明时空图卷积网络结构示意图；

图3是本发明时空图卷积算子示意图；

图4是本发明使用的人脸关键点提取软件提取的人脸关键点的示意图；

图5是本发明的仿真图。

具体实施方式

下面结合附图对本发明作进一步详细描述。

参照图1，对本发明的具体实现步骤作进一步详细描述。

步骤1.搭建时空图卷积网络。

搭建一个82层的时空图卷积网络，其结构依次为：输入层→批归一化层→11个级联的时空图卷积算子→全局池化层→归一化指数函数层→输出层；将批归一化层的动量设置为0.1。

所述每个时空图卷积算子的结构依次为：第1卷积层→第1批归一化层→第1修正线性单元层→第2卷积层→第2批归一化层→第1随机失活层→第2修正线性单元层，其中，第1卷积层与第1随机失活层之间跳跃连接，作为时空图卷积算子的残差网络机制；设置时空图卷积算子各层的参数为：将第5、8个时空图卷积算子中所有卷积层的步长均设置为2，将其余时空图卷积算子中的所有卷积层的步长均设置为1；将所有卷积层的卷积核大小均设置为9×3；将所有随机失活层的随机失活概率均设置为0.45；将所有批归一化层的动量均设置为0.1。

下面参照图2，对所搭建的时空图卷积网络结构示意图进行详细描述。时空图卷积层的输入层是提取到的人脸关键点数据，然后是批归一化层，这个批归一化层的作用是对输入的人脸关键点数据进行归一化操作。在批归一化层之后，依次是11个时空图卷积算子，紧接着是全局池化层、归一化指数函数层，最终得到驾驶员的驾驶状态分类结果。时空图卷积网络输入层的维度是3，批归一化层后输出数据的维度仍然是3，第一个时空图卷积算子输出数据的维度是64，第二个时空图卷积算子输出数据的维度仍然是64，第三个时空图卷积算子输出数据的维度仍然是64，第四个时空图卷积算子输出数据的维度仍然是64，第五个时空图卷积算子输出数据的维度是128，第六个时空图卷积算子输出数据的维度仍然是128，第七个时空图卷积算子输出数据的维度仍然是128，第八个时空图卷积算子输出数据的维度是256，第九个时空图卷积算子输出数据的维度仍然是256，第十个时空图卷积算子输出数据的维度仍然是256，第十一个时空图卷积算子输出数据的维度仍然是256，全局池化层输出数据的维度仍然是256，归一化指数函数层输出数据的维度是4，输出层的数据的维度仍然是4。

下面参照图3，对所搭建的时空图卷积算子示意图进行详细描述，其结构依次为：第1卷积层→第1批归一化层→第1修正线性单元层→第2卷积层→第2批归一化层→第1随机失活层→第2修正线性单元层，其中，第1卷积层与第1随机失活层之间跳跃连接。

步骤2.生成数据集。

使用摄像头对模拟的机动车驾驶环境中驾驶员的肩膀以上部位的进行录像；将每段完整视频分割为多个长度为T帧的短视频，其中T≥1。

将所有短视频中驾驶员的驾驶状态划分为4类并组成数据集。所述驾驶员的驾驶状态划分为4类是指，驾驶员闭眼、驾驶员打哈欠、驾驶员低头、驾驶员未闭眼且未打哈欠且未低头，且每段短视频唯一分类为一个类别。

在本发明的仿真实验中，使用人脸关键点提取软件，提取所有短视频中每一帧的人脸关键点，每一个人脸提取出60个关键点，将数据保存为json格式的文件。每段短视频的长度为30帧，30帧中的人脸关键点数据都保存在一个json格式的文件中。所述人脸关键点提取软件是指openpose人脸关键点提取软件、百度公司的人脸关键点提取软件、旷视公司的人脸关键点提取软件、商汤公司的人脸关键点提取软件、腾讯云公司的人脸关键点提取软件、阿里云公司的人脸关键点提取软件中的任意一种软件均可。

图4是本发明使用的人脸关键点提取软件提取的人脸关键点的示意图，图4中的人脸外围上共有60个白色圆点，对应所提取到的60个人脸关键点，各白色圆点间的白色连接线表示人脸关键点之间的连接。图4中人脸的左眼眉毛和右眼眉毛分别提取了5个关键点，对应17到21和22到26所表示的白色圆点。图4中人脸的左眼框和右眼框分别提取了6个关键点，对应36到41和42到47所表示的白色圆点。图4中人脸的鼻梁提取了4个关键点，对应27到30所表示的白色圆点。图4中人脸的鼻子和嘴唇中间的部分提取了5个关键点，对应31到35所表示的白色圆点。图4中人脸的嘴唇提取了12个关键点，对应48到59所表示的白色圆点。图4中人脸的人脸的轮廓提取了17个关键点，在图4中对应0到16所表示的白色圆点。

使用数据集数据预处理软件，将所有json格式的文件以npy格式组成数据集以及与该数据集对应的pkl格式的分类标签文件。所述数据集数据预处理软件是指能够将多个json格式的文件中的数据提取出来，保存到一个npy格式的文件和一个pkl格式的文件。

步骤3.训练时空图卷积网络。

将npy格式的数据集以及与该数据集对应的pkl格式的分类标签文件，输入到时空图卷积网络中，利用梯度下降法，对网络参数进行迭代更新，直至损失函数J(θ)≤0.1，得到训练好的时空图卷积网络。在本发明的仿真实验中，使用随机梯度下降训练时空图卷积网络，初始学习率设置为0.01，每迭代训练10次，学习率以10％衰减。

步骤4.对驾驶状态进行实时分类。

第一步，使用人脸关键点提取软件，提取实时采集到的机动车驾驶室内驾驶员的肩膀以上部位的视频图像中人脸的所有关键点，并存入到用于存储人脸关键点数据的队列中。

第二步，判断队列中是否存满L个人脸关键点数据，若是，则执行本步骤的第三步，否则，则执行本步骤的第一步，其中，L的取值与T相等。

第三步，将队列中的所有人脸关键点数据送入训练好的时空图卷积网络，时空图卷积网络进行推断，得到驾驶员当前驾驶状态的分类结果。所述时空图卷积网络进行推断是指，给定时空图卷积网络输入数据后，时空图卷积网络进行前向运算，得到分类结果，为机动车驾驶员和交管人员判断驾驶员是否处于疲劳状态提供参考依据。

下面结合仿真实验对本发明的效果做进一步的说明：

1.仿真实验条件：

本发明的仿真实验的硬件平台为：CPU型号为Intel Xeon E5-2640 v4，20核，主频为2.4GHz，内存大小为64GB；GPU为NVIDIA GeForce GTX 1080 Ti/PCIe/SSE2，显存大小为20GB。

本发明的仿真实验的软件平台为：操作系统为Ubuntu18.04 LTS，OpenCV版本为3.2.0，TensorFlow的版本为1.2.1。

2.仿真内容及其结果分析：

本发明仿真实验是采用本发明和两个现有技术(卷积神经网络方法、神经网络方法)分别对台湾清华大学数据集中的验证集进行驾驶员疲劳检测。

在仿真实验中，采用的二个现有技术是指：

济南浪潮高新科技投资发展有限公司在其申请的专利文献“一种基于卷积神经网络的驾驶员疲劳检测方法及装置”(专利申请号：201910398400.5，公开号：CN110119714A)中提出的一种基于卷积神经网络的驾驶员疲劳检测方法，简称卷积神经网络方法。

广东工业大学在其申请的专利文献“一种基于神经网络的驾驶员疲劳检测方法”(专利申请号：201910243728.X，公开号：CN110119676A)中提出的一种基于神经网络的驾驶员疲劳检测方法，简称神经网络方法。

本发明仿真实验所使用的疲劳驾驶检测数据集为台湾清华大学采集的数据集，该数据集包含五个场景，分别是戴眼镜、不戴眼镜、晚上戴眼镜、晚上不戴眼镜和戴太阳镜。该数据集的训练集中有18名志愿者，其中10名男性、8名女性在每个场景中扮演4位不同的驾驶员。数据集中的视频都是模拟驾驶，分辨率为640×480像素，每秒30帧，视频格式为AVI，没有声音。台湾清华大学数据集中的验证集有4名志愿者，包括两名男性和两名女性，共有20个视频，视频总帧数为173259。台湾清华大学数据集中的验证集提供了驾驶员是否感到疲劳的分类标签，每帧视频都经过台湾清华大学研究人员严格、客观的分析与研究，每帧视频的标签为驾驶员感到疲劳或者驾驶员未感到疲劳。

当本发明仿真实验中的检测结果与台湾清华大学数据集中的验证集中视频的标签相同，则认为驾驶员疲劳检测结果正确；当本发明仿真实验中的检测结果与台湾清华大学数据集中的验证集中视频的标签不相同，则认为驾驶员疲劳检测结果不正确。统计每个方法驾驶员疲劳检测结果正确的次数之和，得到检测结果正确的视频帧数总和。

为了评价本发明的效果，利用下述的评价指标(准确率)公式，分别计算本发明仿真实验中三种方法的检测结果的准确率，并将计算结果绘制成表1：

表1.本发明仿真的准确率对比表

方法	准确率
		卷积神经网络方法	84.21％
神经网络方法	85.52％
		本发明方法	91.78％

结合表1可以看出，本发明的准确率为91.78％，这个指标均高于2种现有技术方法，证明本发明可以得到更高的驾驶员疲劳检测准确率。

下面结合图5，对本发明仿真的四种驾驶状态进行详细描述。图5(a)是利用本发明方法通过仿真得到的驾驶员的驾驶状态为“驾驶员闭眼”的分类结果示意图；图5(b)是利用本发明方法通过仿真得到的驾驶员的驾驶状态为“驾驶员打哈欠”的分类结果示意图；图5(c)是利用本发明方法通过仿真得到的驾驶员的驾驶状态为“驾驶员低头”的分类结果示意图；图5(d)是利用本发明方法通过仿真得到的驾驶员的驾驶状态为“驾驶员未闭眼且未打哈欠且未低头”的分类结果示意图。

以上仿真实验表明：本发明方法利用搭建并训练好的时空图卷积网络，能够充分利用提取到的人脸关键点的空间和时间信息，解决了机动车驾驶场景下驾驶员的驾驶状态分类中存在的鲁棒性低、漏检率高、准确率低的问题，是一种非常实用的驾驶员疲劳检测方法。

Claims (3)

1.一种基于时空图卷积网络的驾驶员疲劳检测方法，其特征在于，利用搭建并训练好的时空图卷积网络对提取出的机动车驾驶场景下驾驶员的人脸关键点进行驾驶员的驾驶状态分类；该方法的步骤包括如下：

步骤1.搭建时空图卷积网络：

搭建一个82层的时空图卷积网络，其结构依次为：输入层→批归一化层→11个级联的时空图卷积算子→全局池化层→归一化指数函数层→输出层；将批归一化层的动量设置为0.1；

所述每个时空图卷积算子的结构依次为：第1卷积层→第1批归一化层→第1修正线性单元层→第2卷积层→第2批归一化层→第1随机失活层→第2修正线性单元层，其中，第1卷积层与第1随机失活层之间跳跃连接；设置时空图卷积算子各层的参数为：将第5、8个时空图卷积算子中所有卷积层的步长均设置为2，将其余时空图卷积算子中的所有卷积层的步长均设置为1；将所有卷积层的卷积核大小均设置为9×3；将所有随机失活层的随机失活概率均设置为0.45；将所有批归一化层的动量均设置为0.1；

步骤2.生成数据集：

使用摄像头对模拟的机动车驾驶环境中驾驶员的肩膀以上部位的进行录像；将每段完整视频分割为多个长度为T帧的短视频，其中T≥1；

将所有短视频中驾驶员的驾驶状态划分为4类并组成数据集；

使用人脸关键点提取软件，提取所有短视频中每一帧的人脸关键点，每一个人脸提取出N个关键点，其中N≥1，将数据保存为json格式的文件；

使用数据集数据预处理软件，将所有json格式的文件以npy格式组成数据集以及与该数据集对应的pkl格式的分类标签文件；

步骤3.训练时空图卷积网络：

将npy格式的数据集以及与该数据集对应的pkl格式的分类标签文件，输入到时空图卷积网络中，利用梯度下降法，对网络参数进行迭代更新，直至损失函数J(θ)≤0.1，得到训练好的时空图卷积网络；

步骤4.对驾驶状态进行实时分类：

第一步，使用人脸关键点提取软件，提取实时采集到的机动车驾驶室内驾驶员的肩膀以上部位的视频图像中人脸的所有关键点，并存入到用于存储人脸关键点数据的队列中；

第二步，判断队列中是否存满L个人脸关键点数据，若是，则执行本步骤的第三步，否则，则执行本步骤的第一步，其中，L的取值与T相等；

第三步，将队列中的所有人脸关键点数据送入训练好的时空图卷积网络，时空图卷积网络进行推断，得到驾驶员当前驾驶状态的分类结果。

2.根据权利要求1所述的基于时空图卷积网络的驾驶员疲劳检测方法，其特征在于，步骤2中所述驾驶员的驾驶状态划分为4类是指，驾驶员闭眼、驾驶员打哈欠、驾驶员低头、驾驶员未闭眼且未打哈欠且未低头，且每段短视频唯一分类为一个类别。

3.根据权利要求1所述的基于时空图卷积网络的驾驶员疲劳检测方法，其特征在于，步骤4中第三步所述时空图卷积网络进行推断是指，给定时空图卷积网络输入数据后，时空图卷积网络进行前向运算，得到分类结果。

Images