CN113158850B - 基于深度学习的船舶驾驶员疲劳检测方法和系统 - Google Patents

基于深度学习的船舶驾驶员疲劳检测方法和系统 Download PDF

Info

Publication number
CN113158850B
CN113158850B CN202110373262.2A CN202110373262A CN113158850B CN 113158850 B CN113158850 B CN 113158850B CN 202110373262 A CN202110373262 A CN 202110373262A CN 113158850 B CN113158850 B CN 113158850B
Authority
CN
China
Prior art keywords
network
improved
mouth
training
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110373262.2A
Other languages
English (en)
Other versions
CN113158850A (zh
Inventor
尹勇
王鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian Haida Zhilong Technology Co ltd
Dalian Maritime University
Original Assignee
Dalian Haida Zhilong Technology Co ltd
Dalian Maritime University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian Haida Zhilong Technology Co ltd, Dalian Maritime University filed Critical Dalian Haida Zhilong Technology Co ltd
Priority to CN202110373262.2A priority Critical patent/CN113158850B/zh
Publication of CN113158850A publication Critical patent/CN113158850A/zh
Application granted granted Critical
Publication of CN113158850B publication Critical patent/CN113158850B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度学习的船舶驾驶员疲劳检测方法和系统。疲劳检测方法包括以下步骤：获取当前视频帧图像；通过改进的Retinaface人脸检测网络进行人脸检测，同时标注左眼、右眼、鼻尖、左嘴角和右嘴角5个人脸关键点；根据5个人脸关键点的位置自适应地裁剪眼睛、嘴巴图片，通过改进的ShuffleNet v2卷积神经网络识别眼睛、嘴巴的开闭状态；计算眼睛和嘴巴的PERCLOS参数；通过随机森林模型，融合眼睛、嘴巴PERCLOS参数综合判断驾驶员是否疲劳。本发明能够快速实现人脸检测和关键点定位，无需手工提取图片信息，可以自动识别眼睛、嘴巴的开闭状态，基于多特征融合的思想，融合眼睛、嘴巴特征参数，从而快速、准确地检测出船舶驾驶员的疲劳状态。

Description

基于深度学习的船舶驾驶员疲劳检测方法和系统
技术领域
本发明属于航运技术领域，特别涉及基于深度学习的船舶驾驶员疲劳检测方法和系统。
背景技术
我国是一个海洋大国，航运业的发展非常迅速。在我国，90％以上的外贸物资是通过海运完成的。随着现代科技和造船技术的快速发展，从整体上看我国航运业的综合实力已经得到了显著提升。然而，在航运业快速发展的过程中仍然存在许多安全问题，安全事故时有发生，对船员、船舶以及海洋环境造成了极大的威胁。据统计，80％的海上安全事故与人为因素有关，其中由于疲劳驾驶导致的海上事故占了相当比例。在此背景下加强对船舶驾驶员进行疲劳检测和预警尤为重要。
目前，针对船舶驾驶员的疲劳检测技术还处于萌芽阶段，相关技术的研究主要集中在机动车领域，就基于计算机视觉的驾驶员疲劳检测方法来说主要有以下几种：
(1)纯图像处理的疲劳检测算法：Adaboost人脸检测算法检测人脸；对人脸区域进行水平投影和垂直投影定位人眼区域；对人眼区域进行二值化处理；最后通过二值化之后的图像判断眼睛的开闭状态，进而判断驾驶员是否疲劳。优点：速度很快，在良好的光照条件有比较好的识别效果；缺点：无法适应复杂的光照条件，应用场景单一。
(2)传统机器学习的疲劳检测算法：利用Adaboost或者JDA算法进行人脸检测，然后使用LBP特征进行人脸特征点定位，跟踪人脸特征点找到人眼位置，将人眼区域输入支持向量机(SVM)分类判断疲劳状态。优点：速度也是较快，模型鲁棒性增强；缺点:无法区分眼睛张开程度，对于小眼睛情况疲劳识别的效果很差。
(3)深度学习的疲劳检测算法：利用MTCNN检测人脸，同时利用MTCNN输出的人脸特征点定位眼睛，利用眼睛区域的6个特征点计算眼睛的宽高比，判断眼睛的开闭状态，进而判断驾驶员是否疲劳。优点：人脸定位准确，疲劳分类准确；缺点：MTCNN人脸检测速度比较慢，算法鲁棒性不强，容易受到光照变化、戴眼镜、侧脸等因素的影响。
发明内容
为解决现有技术存在的上述问题，本发明的主要目的在于提出一种基于深度学习的船舶驾驶员疲劳检测方法，使疲劳检测的精度更高，实时性更好，能够适应船舶驾驶台或集控室的复杂环境。
为了实现上述目的，本发明的技术方案如下：
一种基于深度学习的船舶驾驶员疲劳检测方法，包括以下步骤：
步骤1、获取当前视频帧图像；
步骤2、构建改进的Retinaface人脸检测网络，并通过所述改进的Retinaface人脸检测网络提取所述当前视频帧图像的人脸位置信息以及人脸关键点的位置信息，所述人脸关键点至少包括左眼、右眼、鼻尖、左嘴角和右嘴角；
步骤3、利用所述人脸关键点的位置信息裁剪眼睛、嘴巴区域图片，构建基于迁移学习改进的ShuffleNet v2卷积神经网络，并通过所述改进的ShuffleNet v2卷积神经网络识别眼睛、嘴巴的开闭状态；
步骤4、利用PERCLOS准则，分别计算眼睛的PERCLOS参数和嘴巴的PERCLOS参数；
步骤5、利用随机森林模型融合所述眼睛的PERCLOS参数和嘴巴的PERCLOS参数综合判定驾驶员的疲劳状态。
进一步地，所述构建改进的Retinaface人脸检测网络包括以下步骤：
构建Retinaface人脸检测网络；
对所述Retinaface人脸检测网络的基本卷积模块进行改进获得改进的Retinaface人脸检测网络，所述改进的Retinaface人脸检测网络的基本卷积模块包括用于通道数扩张的1×1的升维卷积层、用于进行特征提取的深度可分离卷积层、用于加强网络的学习能力的轻量级注意力模型、用于通道数减少的1×1的降维卷积层以及用于避免网络退化的残差边；部分卷积层的激活函数使用h-swish；
设置网络训练超参数，所述网络训练超参数包括所述改进的Retinaface人脸检测网络的损失调节参数λ1和λ2、网络batch_size、学习率、训练次数以及训练优化方法，并使用WIDER FACE人脸数据集和自建人脸数据集对所述改进的Retinaface人脸检测网络进行训练获得训练后的改进的Retinaface人脸检测网络。
进一步地，所述利用所述人脸关键点的位置信息裁剪眼睛、嘴巴区域图片通过公式(2)进行计算：
其中，we为眼睛裁剪区域图片的宽度，he为眼睛裁剪区域图片的高度，wm为嘴巴裁剪区域图片的宽度，hm为嘴巴裁剪区域图片的高度，Le为左右人眼关键点的距离，Lm为左右嘴角关键点的距离。
进一步地，所述构建基于迁移学习改进的ShuffleNet v2卷积神经网络包括以下步骤：
构建ShuffleNet v2卷积神经网络；
对ShuffleNet v2卷积神经网络的基本卷积模块进行改进获得改进的ShuffleNetv2卷积神经网络，改进的ShuffleNet v2卷积神经网络的基本卷积模块包括通道分离模块、两次1×1的普通卷积层、用于特征提取的深度可分离卷积层、用于加强网络的学习能力的轻量级注意力模型、用于避免网络退化的残差边以及通道交换模块；每次卷积后使用批量正则化对数据流进行处理避免梯度消失；激活函数使用ReLU；
对改进的ShuffleNet v2卷积神经网络进行训练，包括，
获取样本数据集；
设置网络训练超参数，所述网络训练超参数包括网络batch_size、学习率、Dropout值、训练次数以及训练的优化方法；
加载ShuffleNet v2卷积神经网络的预训练权重，并以高斯分布对基本卷积模块中注意力模型的权重进行初始化，冻结注意力模型以外的权重，对改进的ShuffleNet v2卷积神经网络进行预训练，获得预训练的改进的ShuffleNet v2卷积神经网络；
重新设置网络训练超参数，所述网络训练超参数包括网络batch_size、学习率、Dropout值、训练次数以及训练的优化方法；
解冻改进的ShuffleNet v2卷积神经网络的所有权重，并对改进的ShuffleNet v2卷积神经网络进行联合训练，获得联合训练的改进的ShuffleNet v2卷积神经网络。
进一步地，所述眼睛的PERCLOS参数和嘴巴的PERCLOS参数通过公式(3)进行计算：
其中，pe和pm分别表示的是眼睛的PERCLOS参数和嘴巴的PERCLOS参数，Te和Tm分别表示单位时间T内眼睛闭合以及嘴巴张开角度超过正常状态的累计时间，N表示的是单位时间T内采集到的视频总帧数，Ne和Nm分别表示单位时间T内眼睛闭合以及嘴巴张开角度超过正常状态累计帧数。
进一步地，所述利用随机森林模型融合眼睛的PERCLOS参数和嘴巴的PERCLOS参数综合判定驾驶员是否疲劳；随机森林模型的输入是眼睛和嘴巴的PERCLOS参数，输出为分类标签，0代表清醒状态，1代表疲劳状态。
一种基于深度学习的船舶驾驶员疲劳检测系统，包括：
图像获取模块，用于获取当前视频帧图像；
人脸检测模块，用于构建改进的Retinaface人脸检测网络，并通过所述改进的Retinaface人脸检测网络提取所述当前视频帧图像的人脸位置信息以及人脸关键点的位置信息，所述人脸关键点至少包括左眼、右眼、鼻尖、左嘴角和右嘴角；
特征提取模块，用于利用所述人脸关键点的位置信息裁剪眼睛、嘴巴区域图片，通过基于迁移学习改进的眼睛、嘴巴状态分类网络识别眼睛、嘴巴的开闭状态；
疲劳分析模块，用于利用PERCLOS准则，分别计算眼睛的PERCLOS参数和嘴巴的PERCLOS参数，并利用随机森林模型融合所述眼睛的PERCLOS参数和嘴巴的PERCLOS参数综合判定驾驶员的疲劳状态。
一种针对船舶驾驶员疲劳检测的计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现本发明公开的基于深度学习的船舶驾驶员疲劳检测方法。
与现有技术相比，本发明具有以下有益效果：1、本发明一种基于深度学习的船舶驾驶员疲劳检测方法，利用改进的Retinaface人脸检测网络快速实现人脸定位与关键点标注，有效提高了人脸检测的精度和速度，既能适应船舶驾驶台的复杂环境，又能满足疲劳检测的实时性要求；2、同时通过基于迁移学习对眼睛、嘴巴的开闭状态进行识别，比传统使用眼睛、嘴巴关键点计算宽高比来识别开闭状态的方法鲁棒性更好，识别速率也有所提升；
附图说明
图1是本发明实施例的基于深度学习的疲劳检测算法流程图。
图2a是本发明实施例改进的Retinaface人脸检测网络的基本卷积模块。
图2b是本发明实施例改进的Retinaface主干特征提取网络的网络结构示意图。
图2c是本发明实施例使用的深度可分离卷积示意图。
图3是本发明实施例的改进的Retinaface人脸检测网络的训练流程图。
图4是本发明实施例的改进的Retinaface人脸检测网络的检测流程图。
图5是本发明实施例的眼睛、嘴巴区域图片裁剪示意图。
图6是本发明实施例改进的ShuffleNet v2卷积神经网络的基本卷积模块。
图7a是本发明实施例的改进的ShuffleNet v2卷积神经网络的训练流程图。
图7b是本发明实施例的眼睛、嘴巴训练数据示意图。
图8是本发明实施例的随机森林模型示意图。
图9是本发明实施例的基于深度学习的船舶驾驶员疲劳检测系统结构框图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步的详细描述。
如图1所示为本发明公开的一种基于深度学习的船舶驾驶员疲劳检测方法，包括以下步骤：
步骤1、获取当前视频帧图像；
步骤2、构建改进的Retinaface人脸检测网络，并通过所述改进的Retinaface人脸检测网络提取所述当前视频帧图像的人脸位置信息以及左眼、右眼、鼻尖、左嘴角和右嘴角5个人脸关键点的位置信息；
步骤3、利用所述5个人脸关键点的位置信息裁剪眼睛、嘴巴区域图片，通过基于迁移学习改进的眼睛、嘴巴状态分类网络识别眼睛、嘴巴的开闭状态；
步骤4、利用PERCLOS准则，分别计算眼睛的PERCLOS参数和嘴巴的PERCLOS参数；
步骤5、利用随机森林模型融合所述眼睛的PERCLOS参数和嘴巴的PERCLOS参数综合判定驾驶员的疲劳状态。
所述构建改进的Retinaface人脸检测网络包括以下步骤：
构建Retinaface人脸检测网络；
对所述Retinaface人脸检测网络的基本卷积模块进行改进获得改进的Retinaface人脸检测网络，所述改进的Retinaface人脸检测网络的基本卷积模块包括用于通道数扩张的1×1的升维卷积层、用于进行特征提取的深度可分离卷积层、用于加强网络的学习能力的轻量级注意力模型、用于通道数减少的1×1的降维卷积层以及用于避免网络退化的残差边；部分卷积层的激活函数使用h-swish；
设置所述改进的Retinaface人脸检测网络的损失调节参数λ1和λ2、网络batch_size、学习率以及训练次数，并使用WIDER FACE人脸数据集和自建人脸数据集对所述改进的Retinaface人脸检测网络进行训练获得训练后的改进的Retinaface人脸检测网络。
具体的，首先构建Retinaface人脸检测网络，然后对构建Retinaface人脸检测网络的基本卷积模块进行改进；改进的Retinaface主干特征提取网络使用的基本卷积模块如图2a所示，包括用于通道数扩张的1×1的升维卷积层、用于进行特征提取的深度可分离卷积层、用于加强网络的学习能力的轻量级注意力模型、用于通道数减少的1×1的降维卷积层以及用于避免网络退化的残差边；部分卷积层的激活函数使用h-swish。改进Retinaface人脸检测网络的输入、输出使用低维张量减少计算量，深度可分离卷积使用高维张量提高网络的特征提取能力。改进的Retinaface主干特征提取网络的网络结构如图2b所示。参见图2c，深度可分离卷积将一个普通卷积拆分为两个部分，首先进行深度卷积，通道数不变，然后进行点卷积，调整通道数。使用深度可分离卷积代替普通卷积可显著减少模型的参数量。对于一个卷积点而言：假设有一个3×3大小的卷积层，其输入通道为16，输出通道为32。具体为32个3×3大小的卷积核会遍历16个通道中的每个数据，最后可得到所需的32个输出通道，所需参数为16×32×3×3＝4608个；应用深度可分离卷积，用16个3×3大小的卷积核分别遍历16通道的数据，得到了16个特征图谱。在融合操作之前，接着用32个1×1大小的卷积核遍历这16个特征图谱，所需参数为16×3×3+16×32×1×1＝656个，参数量明显减少。本发明中改进后的Retinaface人脸检测网络通过1×1的卷积将通道数扩张(升维)，然后通过3×3的深度可分离卷积提取大量信息，接着通过SE注意力模块获取空间权重来优化性能，最后通过1×1的卷积将通道数减少至输出通道数(降维)。本发明中的改进的Retinaface人脸检测网络由于具有SE注意力模块可以获取空间权重来优化性能，由于输入、输出使用低维张量可以减少计算量，同时采用深度可分离卷积使用高维张量提高网络的特征提取能力。
具体的，参见图3所示，所述改进的Retinaface人脸检测网络的训练流程包括：
步骤301，收集人脸图片并标注人脸框以及5个人脸关键点(左眼、右眼、鼻尖、左嘴角和右嘴角)。
具体的，收集各种应用场景(白天，夜晚，不同光照情况，不同头部姿态，是否戴眼镜)的人脸红外图片，标注人脸框位置face(x,y,w,h)和5个人脸关键点。其中，人脸框为矩形，(x,y)为人脸框左下角的位置，w和h分别为人脸框的宽和高。
步骤302，样本和标签的预处理。
具体的，在视频流中不同帧之间人脸位置会发生改变，如果帧率快的话人脸上下左右变化的偏移量较小，可以使用跟踪算法修正人脸以及5个人脸关键点得位置。以人脸中心区域扩大1.5倍作为标准框，然后以标准框为基准类似训练Retinaface数据生成方式一样随机生成正负样本。标签分为3部分，人脸分类标签0或者1，人脸框回归标签为scale_x，scale_y，scale_w，scale_h(其中，scale_x表示人脸框左下角点的x坐标，scale_y表示人脸框左下角点的y坐标，scale_w表示人脸框左下角点向右的宽度大小，scale_h表示人脸框左下角点向上的高度)，5个人脸关键点的位置标签为scale_point1_x，scale_point1_y，scale_point2_x，scale_point2_y，scale_point3_x，scale_point3_y，scale_point4_x，scale_point4_y，scale_point5_x，scale_point5_y。带scale标识的是经过编码过后的标签，具体的处理方式可以参考Retinaface的数据处理方式。
步骤303，改进的Retinaface人脸检测网络的训练。
本实施例所使用的改进的Retinaface人脸检测网络使用WIDER FACE人脸数据集和自建人脸数据集进行训练，共有32000张图像和392326个人脸框。人脸在尺度、姿态、遮挡、表情、装扮、光照等方面都有很大差异，人脸特征具有多样性。训练时，通过随机采样，将WIDER FACE数据集分为三个子集，其中的40％用于模型训练，50％作为测试集，剩余的为验证集。训练模型的正负样本的处理参考原始Retinaface的训练方法。网络的输入为640*640的图像，图像经过特征提取后输出为一个有着16个神经元的全连接层，其中，前两个神经元用于人脸分类(人脸/非人脸)，中间4个神经元表示检测人脸框的位置，最后的10个神经元表示5个人脸关键点的位置。
训练时，使用的多任务损失函数，表示如下：
人脸分类损失其中pi是anchor i是人脸的预测概率，/>等于1代表positive anchor，等于0代表negative anchor。分类损失/>是二分类情况(人脸/非人脸)的softmax损失。
人脸框回归损失其中，/>分别代表positive anchor相关的预测框和真实框(ground-truth box)的坐标。对回归框目标进行归一化，定义这里的R是鲁棒损失函数(L1平滑)。
人脸关键点回归损失其中li＝{lx1,ly1,...,lx5,ly5}，代表预测的5个人脸关键点和基准点(ground-truth)的坐标。5个人脸关键点的回归也采用了基于anchor中心的目标归一化。
本实施例中，损失调节参数λ1～λ2设置为0.25，0.1。设置网络batch_size为8，学习率为0.001，采用适应性矩阵估计(Adam)的优化方法训练300个epoch。
通过以上训练可以获得训练后的改进的Retinaface人脸检测网络，并可以通过该训练后的改进的Retinaface人脸检测网络对提取所述当前视频帧图像的人脸位置信息以及左眼、右眼、鼻尖、左嘴角和右嘴角5个人脸关键点的位置信息，参见附图4。
进一步地，如图5所示，所述利用5个人脸关键点的位置信息裁剪眼睛、嘴巴区域图片通过公式(2)进行计算：
其中，其中，we为眼睛裁剪区域图片的宽度，he为眼睛裁剪区域图片的高度，wm为嘴巴裁剪区域图片的宽度，hm为嘴巴裁剪区域图片的高度，Le为左右人眼关键点的距离，Lm为左右嘴角关键点的距离。
所述构建基于迁移学习改进的ShuffleNet v2卷积神经网络包括以下步骤：
构建ShuffleNet v2卷积神经网络；
对ShuffleNet v2卷积神经网络的基本卷积模块进行改进获得改进的ShuffleNetv2卷积神经网络，改进的ShuffleNet v2卷积神经网络的基本卷积模块包括通道分离模块、两次1×1的普通卷积层、用于特征提取的深度可分离卷积层、用于加强网络的学习能力的轻量级注意力模型、用于避免网络退化的残差边以及通道交换模块；每次卷积后使用批量正则化对数据流进行处理避免梯度消失；激活函数使用ReLU；
对改进的ShuffleNet v2卷积神经网络进行训练，包括，
获取样本数据集；
设置网络训练超参数，所述网络训练超参数包括网络batch_size、学习率、Dropout值、训练次数以及训练的优化方法；
加载ShuffleNet v2卷积神经网络的预训练权重，并以高斯分布对基本卷积模块中注意力模型的权重进行初始化，冻结注意力模型以外的权重，对改进的ShuffleNet v2卷积神经网络进行预训练，获得预训练的改进的ShuffleNet v2卷积神经网络；
重新设置网络训练超参数，所述网络训练超参数包括网络batch_size、学习率、Dropout值、训练次数以及训练的优化方法；
解冻改进的ShuffleNet v2卷积神经网络的所有权重，并对改进的ShuffleNet v2卷积神经网络进行联合训练，获得联合训练的改进的ShuffleNet v2卷积神经网络。
具体地，如图6所示，改进的ShuffleNet v2卷积神经网络的基本卷积模块包括通道分离模块、两次1×1的普通卷积层、用于特征提取的深度可分离卷积层、用于加强网络的学习能力的轻量级注意力模型、用于避免网络退化的残差边以及通道交换模块；每次卷积后使用批量正则化对数据流进行处理避免梯度消失；激活函数使用ReLU；由于加入残差边与注意力模块，提高网络的特征提取能力。
参见图7a，所述改进的ShuffleNet v2卷积神经网络的训练流程包括：
步骤701，收集眼睛、嘴巴数据集。
具体的，参见图7b，收集眼睛(张开、闭合)和嘴巴(打哈欠、正常)的图片，包括各种光照环境，正脸、侧脸，是否戴眼镜等。
步骤702，设置网络训练的超参数。
具体的，本实施例中，设置网络batch_size为16，学习率为0.001，Dropout为0.5，epoch等于30，采用随机梯度下降(SGD)的优化方法。
步骤703，预训练。
具体的，利用迁移学习的思想，加载ShuffleNet v2卷积神经网络在ImageNet上的预训练模型，该模型可以实现1000种图像的分类任务，具有较强的特征提取能力。利用Collection库中的OrderedDict类处理预训练权重，重新初始化网络改进部分的模型权重，使之适合本文搭建的眼睛、嘴巴状态分类网络。冻结基本卷积模块中注意力模型以外的权重训练30个epoch。由于冻结了大部分的模型权重，模型将会保留较强的特征提取能力，快速收敛。
步骤704，重新设置网络超参数。
具体的，本实施例中，设置网络batch_size为16，学习率为0.0001，Dropout为0.5，epoch等于30，采用适应性矩阵估计(Adam)的优化方法。
步骤705，联合训练。
解冻网络所有权重，采用适应性矩阵估计(Adam)的优化方法训练30个epoch，对模型权重进行微调，使网络模型提取的图像特征更契合于本发明的分类任务。
进一步地，所述眼睛的PERCLOS参数和嘴巴的PERCLOS参数通过公式(3)进行计算：
其中，pe和pm分别表示的是眼睛的PERCLOS参数和嘴巴的PERCLOS参数，Te和Tm分别表示单位时间T内眼睛闭合以及嘴巴张开角度超过正常状态的累计时间，N表示的是单位时间T内采集到的视频总帧数，Ne和Nm分别表示单位时间T内眼睛闭合以及嘴巴张开角度超过正常状态累计帧数。
进一步地，所述利用随机森林模型融合眼睛的PERCLOS参数和嘴巴的PERCLOS参数综合判定驾驶员是否疲劳如图8所示：随机森林模型的输入是眼睛和嘴巴的PERCLOS参数，输出为分类标签，0代表清醒状态，1代表疲劳状态。随机森林模型的训练采用网格搜索来寻找最优参数，训练数据集来源于YawDD视频数据集，将视频裁剪为30s的长度，用本发明的算法对视频进行检测，计算每个视频的眼睛PERCLOS参数和嘴巴PERCLOS参数，同时打上是否疲劳的标签。训练过程不断调整网格的参数范围，直至找到最优参数。
如图9所示为本发明公开的一种基于深度学习的船舶驾驶员疲劳检测系统，包括：图像获取模块，用于获取当前的视频帧图像；
人脸检测模块，利用改进的Retinaface人脸检测网络对所述获取到的视频帧图像进行人脸检测同时标注5个人脸关键点(左眼、右眼、鼻尖、左嘴角和右嘴角)；
特征提取模块，根据5个人脸关键点裁剪眼睛、嘴巴区域图片，利用改进的ShuffleNet v2卷积神经网络识别眼睛、嘴巴的开闭状态；
疲劳分析模块，计算一个检测周期内眼睛和嘴巴的PERCLOS参数，利用随机森林模型融合两种特征参数综合判定驾驶员是否疲劳。
图像获取模块，用于获取当前视频帧图像；
人脸检测模块，用于构建改进的Retinaface人脸检测网络，并通过所述改进的Retinaface人脸检测网络提取所述当前视频帧图像的人脸位置信息以及左眼、右眼、鼻尖、左嘴角和右嘴角5个人脸关键点的位置信息；
特征提取模块，用于利用所述5个人脸关键点的位置信息裁剪眼睛、嘴巴区域图片，通过基于迁移学习改进的眼睛、嘴巴状态分类网络识别眼睛、嘴巴的开闭状态；
疲劳分析模块，用于利用PERCLOS准则，分别计算眼睛的PERCLOS参数和嘴巴的PERCLOS参数，并利用随机森林模型融合所述眼睛的PERCLOS参数和嘴巴的PERCLOS参数综合判定驾驶员的疲劳状态。
进一步地，所述构建改进的Retinaface人脸检测网络包括以下步骤：
构建Retinaface人脸检测网络；
对所述Retinaface人脸检测网络的基本卷积模块进行改进获得改进的Retinaface人脸检测网络，所述改进的Retinaface人脸检测网络的基本卷积模块包括用于通道数扩张的1×1的升维卷积层、用于进行特征提取的深度可分离卷积层、用于加强网络的学习能力的轻量级注意力模型、用于通道数减少的1×1的降维卷积层以及用于避免网络退化的残差边；部分卷积层的激活函数使用h-swish；
设置网络训练超参数，所述网络训练超参数包括所述改进的Retinaface人脸检测网络的损失调节参数λ1和λ2、网络batch_size、学习率、训练次数以及训练优化方法，并使用WIDER FACE人脸数据集和自建人脸数据集对所述改进的Retinaface人脸检测网络进行训练获得训练后的改进的Retinaface人脸检测网络。
进一步地，所述构建基于迁移学习改进的ShuffleNet v2卷积神经网络包括以下步骤：
构建ShuffleNet v2卷积神经网络；
对ShuffleNet v2卷积神经网络的基本卷积模块进行改进获得改进的ShuffleNetv2卷积神经网络，改进的ShuffleNet v2卷积神经网络的基本卷积模块包括通道分离模块、两次1×1的普通卷积层、用于特征提取的深度可分离卷积层、用于加强网络的学习能力的轻量级注意力模型、用于避免网络退化的残差边以及通道交换模块；每次卷积后使用批量正则化对数据流进行处理避免梯度消失；激活函数使用ReLU；
对改进的ShuffleNet v2卷积神经网络进行训练，包括，
获取样本数据集；
设置网络训练超参数，所述网络训练超参数包括网络batch_size、学习率、Dropout值、训练次数以及训练的优化方法；
加载ShuffleNet v2卷积神经网络的预训练权重，并以高斯分布对基本卷积模块中注意力模型的权重进行初始化，冻结注意力模型以外的权重，对改进的ShuffleNet v2卷积神经网络进行预训练，获得预训练的改进的ShuffleNet v2卷积神经网络；
重新设置网络训练超参数，所述网络训练超参数包括网络batch_size、学习率、Dropout值、训练次数以及训练的优化方法；
解冻改进的ShuffleNet v2卷积神经网络的所有权重，并对改进的ShuffleNet v2卷积神经网络进行联合训练，获得联合训练的改进的ShuffleNet v2卷积神经网络。
本发明还公开了一种针对船舶驾驶员疲劳检测的计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现的基于深度学习的船舶驾驶员疲劳检测方法。
本发明公开的一种基于深度学习的船舶驾驶员疲劳检测方法、系统和计算机设备，使用随机森林模型，融合眼睛、嘴巴特征参数综合判断驾驶员是否处于疲劳状态，检测效果相比于单一特征更好；
本发明一种基于深度学习的船舶驾驶员疲劳检测方法、系统和计算机设备，能够在嵌入式RAM平台上实现船舶驾驶员的疲劳检测，在复杂环境中具有较高的识别率和鲁棒性。
上述说明仅是本发明技术方案的概述，为了能够更清楚地了解本发明的技术手段，从而可依照说明书上的内容予以实施，并且为了让本发明的上述和其他目的、特征和优点能够更明显易懂，以下列举本发明的具体实施方式。
本发明不局限于本实施例，任何在本发明披露的技术范围内的等同构思或者改变，均列为本发明的保护范围。

Claims (7)

1.一种基于深度学习的船舶驾驶员疲劳检测方法，其特征在于，包括以下步骤：
步骤1、获取当前视频帧图像；
步骤2、构建改进的Retinaface人脸检测网络，并通过所述改进的Retinaface人脸检测网络提取所述当前视频帧图像的人脸位置信息以及人脸关键点的位置信息，所述人脸关键点至少包括左眼、右眼、鼻尖、左嘴角和右嘴角；
步骤3、利用所述人脸关键点的位置信息裁剪眼睛、嘴巴区域图片，构建基于迁移学习改进的ShuffleNet v2卷积神经网络，并通过所述改进的ShuffleNet v2卷积神经网络识别眼睛、嘴巴的开闭状态；
步骤4、利用PERCLOS准则，分别计算眼睛的PERCLOS参数和嘴巴的PERCLOS参数；
步骤5、利用随机森林模型融合所述眼睛的PERCLOS参数和嘴巴的PERCLOS参数综合判定驾驶员的疲劳状态；
所述构建改进的Retinaface人脸检测网络包括以下步骤：
构建Retinaface人脸检测网络；
对所述Retinaface人脸检测网络的基本卷积模块进行改进获得改进的Retinaface人脸检测网络，所述改进的Retinaface人脸检测网络的基本卷积模块包括用于通道数扩张的1×1的升维卷积层、用于进行特征提取的深度可分离卷积层、用于加强网络的学习能力的轻量级注意力模型、用于通道数减少的1×1的降维卷积层以及用于避免网络退化的残差边；部分卷积层的激活函数使用h-swish；
设置网络训练超参数，所述网络训练超参数包括所述改进的Retinaface人脸检测网络的损失调节参数λ1和λ2、网络batch_size、学习率、训练次数以及训练优化方法，并使用WIDER FACE人脸数据集和自建人脸数据集对所述改进的Retinaface人脸检测网络进行训练获得训练后的改进的Retinaface人脸检测网络。
2.根据权利要求1所述的基于深度学习的疲劳检测方法，其特征在于，所述利用所述人脸关键点的位置信息裁剪眼睛、嘴巴区域图片通过公式(2)进行计算：
其中，we为眼睛裁剪区域图片的宽度，he为眼睛裁剪区域图片的高度，wm为嘴巴裁剪区域图片的宽度，hm为嘴巴裁剪区域图片的高度，Le为左右人眼关键点的距离，Lm为左右嘴角关键点的距离。
3.根据权利要求2所述的基于深度学习的疲劳检测方法，其特征在于，所述构建基于迁移学习改进的ShuffleNet v2卷积神经网络包括以下步骤：
构建ShuffleNet v2卷积神经网络；
对ShuffleNet v2卷积神经网络的基本卷积模块进行改进获得改进的ShuffleNet v2卷积神经网络，改进的ShuffleNet v2卷积神经网络的基本卷积模块包括通道分离模块、两次1×1的普通卷积层、用于特征提取的深度可分离卷积层、用于加强网络的学习能力的轻量级注意力模型、用于避免网络退化的残差边以及通道交换模块；每次卷积后使用批量正则化对数据流进行处理避免梯度消失；激活函数使用ReLU；
对改进的ShuffleNet v2卷积神经网络进行训练，包括，
获取样本数据集；
设置网络训练超参数，所述网络训练超参数包括网络batch_size、学习率、Dropout值、训练次数以及训练的优化方法；
加载ShuffleNet v2卷积神经网络的预训练权重，并以高斯分布对基本卷积模块中注意力模型的权重进行初始化，冻结注意力模型以外的权重，对改进的ShuffleNet v2卷积神经网络进行预训练，获得预训练的改进的ShuffleNet v2卷积神经网络；
重新设置网络训练超参数，所述网络训练超参数包括网络batch_size、学习率、Dropout值、训练次数以及训练的优化方法；
解冻改进的ShuffleNet v2卷积神经网络的所有权重，并对改进的ShuffleNet v2卷积神经网络进行联合训练，获得联合训练的改进的ShuffleNet v2卷积神经网络。
4.根据权利要求1所述的基于深度学习的疲劳检测方法，其特征在于，所述眼睛的PERCLOS参数和嘴巴的PERCLOS参数通过公式(3)进行计算：
(3)
其中，pe和pm分别表示的是眼睛的PERCLOS参数和嘴巴的PERCLOS参数，Te和Tm分别表示单位时间T内眼睛闭合以及嘴巴张开角度超过正常状态的累计时间，N表示的是单位时间T内采集到的视频总帧数，Ne和Nm分别表示单位时间T内眼睛闭合以及嘴巴张开角度超过正常状态累计帧数。
5.根据权利要求4所述的基于深度学习的疲劳检测方法，其特征在于，所述利用随机森林模型融合眼睛的PERCLOS参数和嘴巴的PERCLOS参数综合判定驾驶员是否疲劳；随机森林模型的输入是眼睛和嘴巴的PERCLOS参数，输出为分类标签，0代表清醒状态，1代表疲劳状态。
6.一种基于深度学习的船舶驾驶员疲劳检测系统，其特征在于，包括：
图像获取模块，用于获取当前视频帧图像；
人脸检测模块，用于构建改进的Retinaface人脸检测网络，并通过所述改进的Retinaface人脸检测网络提取所述当前视频帧图像的人脸位置信息以及人脸关键点的位置信息，所述人脸关键点至少包括左眼、右眼、鼻尖、左嘴角和右嘴角；
特征提取模块，用于利用所述人脸关键点的位置信息裁剪眼睛、嘴巴区域图片，通过基于迁移学习改进的眼睛、嘴巴状态分类网络识别眼睛、嘴巴的开闭状态；
疲劳分析模块，用于利用PERCLOS准则，分别计算眼睛的PERCLOS参数和嘴巴的PERCLOS参数，并利用随机森林模型融合所述眼睛的PERCLOS参数和嘴巴的PERCLOS参数综合判定驾驶员的疲劳状态；
所述构建改进的Retinaface人脸检测网络包括以下步骤：
构建Retinaface人脸检测网络；
对所述Retinaface人脸检测网络的基本卷积模块进行改进获得改进的Retinaface人脸检测网络，所述改进的Retinaface人脸检测网络的基本卷积模块包括用于通道数扩张的1×1的升维卷积层、用于进行特征提取的深度可分离卷积层、用于加强网络的学习能力的轻量级注意力模型、用于通道数减少的1×1的降维卷积层以及用于避免网络退化的残差边；部分卷积层的激活函数使用h-swish；
设置网络训练超参数，所述网络训练超参数包括所述改进的Retinaface人脸检测网络的损失调节参数λ1和λ2、网络batch_size、学习率、训练次数以及训练优化方法，并使用WIDER FACE人脸数据集和自建人脸数据集对所述改进的Retinaface人脸检测网络进行训练获得训练后的改进的Retinaface人脸检测网络。
7.根据权利要求6所述的基于深度学习的疲劳检测系统，其特征在于，
所述构建基于迁移学习改进的ShuffleNet v2卷积神经网络包括以下步骤：
构建ShuffleNet v2卷积神经网络；
对ShuffleNet v2卷积神经网络的基本卷积模块进行改进获得改进的ShuffleNet v2卷积神经网络，改进的ShuffleNet v2卷积神经网络的基本卷积模块包括通道分离模块、两次1×1的普通卷积层、用于特征提取的深度可分离卷积层、用于加强网络的学习能力的轻量级注意力模型、用于避免网络退化的残差边以及通道交换模块；每次卷积后使用批量正则化对数据流进行处理避免梯度消失；激活函数使用ReLU；
对改进的ShuffleNet v2卷积神经网络进行训练，包括，
获取样本数据集；
设置网络训练超参数，所述网络训练超参数包括网络batch_size、学习率、Dropout值、训练次数以及训练的优化方法；
加载ShuffleNet v2卷积神经网络的预训练权重，并以高斯分布对基本卷积模块中注意力模型的权重进行初始化，冻结注意力模型以外的权重，对改进的ShuffleNet v2卷积神经网络进行预训练，获得预训练的改进的ShuffleNet v2卷积神经网络；
重新设置网络训练超参数，所述网络训练超参数包括网络batch_size、学习率、Dropout值、训练次数以及训练的优化方法；
解冻改进的ShuffleNet v2卷积神经网络的所有权重，并对改进的ShuffleNet v2卷积神经网络进行联合训练，获得联合训练的改进的ShuffleNet v2卷积神经网络。
CN202110373262.2A 2021-04-07 2021-04-07 基于深度学习的船舶驾驶员疲劳检测方法和系统 Active CN113158850B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110373262.2A CN113158850B (zh) 2021-04-07 2021-04-07 基于深度学习的船舶驾驶员疲劳检测方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110373262.2A CN113158850B (zh) 2021-04-07 2021-04-07 基于深度学习的船舶驾驶员疲劳检测方法和系统

Publications (2)

Publication Number Publication Date
CN113158850A CN113158850A (zh) 2021-07-23
CN113158850B true CN113158850B (zh) 2024-01-05

Family

ID=76888887

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110373262.2A Active CN113158850B (zh) 2021-04-07 2021-04-07 基于深度学习的船舶驾驶员疲劳检测方法和系统

Country Status (1)

Country Link
CN (1) CN113158850B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113947869B (zh) * 2021-10-18 2023-09-01 广州海事科技有限公司 基于船舶驾驶状态的报警方法、系统、计算机设备及介质
CN116665313A (zh) * 2022-08-29 2023-08-29 天翼数字生活科技有限公司 一种基于深度学习的眼动活体检测方法和系统
CN115700842B (zh) * 2022-09-09 2023-08-11 广州方图科技有限公司 一种驾驶人自助体检机
CN116912808B (zh) * 2023-09-14 2023-12-01 四川公路桥梁建设集团有限公司 架桥机控制方法、电子设备和计算机可读介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107194346A (zh) * 2017-05-19 2017-09-22 福建师范大学 一种汽车疲劳驾驶预测方法
CN108309311A (zh) * 2018-03-27 2018-07-24 北京华纵科技有限公司 一种列车驾驶员实时盹睡检测装置及检测算法
CN110119676A (zh) * 2019-03-28 2019-08-13 广东工业大学 一种基于神经网络的驾驶员疲劳检测方法
WO2021012526A1 (zh) * 2019-07-22 2021-01-28 平安科技（深圳）有限公司 人脸识别模型的训练方法、人脸识别方法、装置、设备及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200151474A1 (en) * 2017-07-31 2020-05-14 Alcohol Countermeasure Systems (International) Inc. Non-intrusive assessment of fatigue in drivers using eye tracking

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107194346A (zh) * 2017-05-19 2017-09-22 福建师范大学 一种汽车疲劳驾驶预测方法
CN108309311A (zh) * 2018-03-27 2018-07-24 北京华纵科技有限公司 一种列车驾驶员实时盹睡检测装置及检测算法
CN110119676A (zh) * 2019-03-28 2019-08-13 广东工业大学 一种基于神经网络的驾驶员疲劳检测方法
WO2021012526A1 (zh) * 2019-07-22 2021-01-28 平安科技（深圳）有限公司 人脸识别模型的训练方法、人脸识别方法、装置、设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于深度学习的疲劳驾驶检测算法;郑伟成;李学伟;刘宏哲;代松银;;计算机工程(第07期);全文 *
深度残差网络和LSTM结合的图像序列表情识别;马玉环;张瑞军;武晨;屈军锁;;重庆邮电大学学报(自然科学版)(第05期);全文 *

Also Published As

Publication number Publication date
CN113158850A (zh) 2021-07-23

Similar Documents

Publication Publication Date Title
CN113158850B (zh) 基于深度学习的船舶驾驶员疲劳检测方法和系统
CN110119676B (zh) 一种基于神经网络的驾驶员疲劳检测方法
CN107563372B (zh) 一种基于深度学习ssd框架的车牌定位方法
CN104616438B (zh) 一种用于疲劳驾驶检测的打哈欠动作检测方法
US7953253B2 (en) Face detection on mobile devices
CN109460704B (zh) 一种基于深度学习的疲劳检测方法、系统和计算机设备
CN102289660B (zh) 一种基于手部姿态跟踪的违规驾驶行为检测方法
CN105160317B (zh) 一种基于区域分块行人性别识别方法
CN112861635B (zh) 一种基于深度学习的火灾及烟雾实时检测方法
CN110263712B (zh) 一种基于区域候选的粗精行人检测方法
CN105389554A (zh) 基于人脸识别的活体判别方法和设备
CN108615226A (zh) 一种基于生成式对抗网络的图像去雾方法
CN108960076B (zh) 基于卷积神经网络的耳朵识别与跟踪方法
CN106250801A (zh) 基于人脸检测和人眼状态识别的疲劳检测方法
CN102254151A (zh) 一种基于面部视频分析的驾驶人疲劳检测方法
CN103020986A (zh) 一种运动目标跟踪方法
CN113553979B (zh) 一种基于改进yolo v5的安全服检测方法和系统
CN104636749A (zh) 目标对象检测方法及装置
CN110991315A (zh) 一种基于深度学习的安全帽佩戴状态实时检测方法
CN111553214B (zh) 一种驾驶员吸烟行为检测方法及系统
CN111079625A (zh) 一种摄像头自动跟随人脸转动的控制方法
Luo et al. The driver fatigue monitoring system based on face recognition technology
CN113409252A (zh) 一种架空输电线路巡检机器人障碍物检测方法
CN108108651B (zh) 基于视频人脸分析的驾驶员非专心驾驶检测方法及系统
CN112347967B (zh) 一种复杂场景下融合运动信息的行人检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant