CN106446811A - 基于深度学习的驾驶员疲劳检测方法及装置 - Google Patents

基于深度学习的驾驶员疲劳检测方法及装置 Download PDF

Info

Publication number
CN106446811A
CN106446811A CN201610818104.2A CN201610818104A CN106446811A CN 106446811 A CN106446811 A CN 106446811A CN 201610818104 A CN201610818104 A CN 201610818104A CN 106446811 A CN106446811 A CN 106446811A
Authority
CN
China
Prior art keywords
driver
image
training
module
video image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610818104.2A
Other languages
English (en)
Inventor
谢静
崔凯
班华忠
曾建平
李志国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zhi Xinyuandong Science And Technology Ltd
Original Assignee
Beijing Zhi Xinyuandong Science And Technology Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zhi Xinyuandong Science And Technology Ltd filed Critical Beijing Zhi Xinyuandong Science And Technology Ltd
Priority to CN201610818104.2A priority Critical patent/CN106446811A/zh
Publication of CN106446811A publication Critical patent/CN106446811A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了基于深度学习的驾驶员疲劳检测方法，该方法包括：选取不同状态的驾驶员图像作为样本图像，对具有深度学习的神经网络进行训练，获取训练好的驾驶员状态识别模型；采集驾驶员的视频图像；采用人脸检测算法从每帧视频图像中获取人脸区域；采用训练好的驾驶员状态识别模型对每帧视频图像的人脸区域进行识别，获取每帧视频图像中驾驶员的状态；根据连续帧的视频图像中驾驶员的状态，采用眨眼分析、打哈欠分析、综合分析判断驾驶员是否疲劳，并输出结果。与现有技术相比，本发明能准确地检测驾驶员是否疲劳。

Description

基于深度学习的驾驶员疲劳检测方法及装置
技术领域
本发明涉及图像处理、视频监控以及智能交通，特别涉及基于深度学习的驾驶员疲劳检测方法及装置。
背景技术
驾驶员疲劳检测是引发交通事故的一个重要因素，因此到了广泛的研究。目前，驾驶员疲劳检测方法主要是从驾驶员的生理信息、面部信息以及车辆状态对驾驶员是否处于疲劳状态进行检测。
基于驾驶员生理信息的检测方法需要在驾驶员的身体上加一些测量设备，检测驾驶员的生理参数，如心电图、脑电图、脉搏等，但是这种方法容易对驾驶员产生干扰。基于车辆状态的检测方法通过检测方向盘转动、车辆速度、转弯角度的异常，来判断驾驶员是否处于疲劳状态，但容易受路况、驾驶员的驾驶习惯等外界的影响。基于驾驶员面部信息的检测方法通过检测驾驶员的眼睛闭合度、眨眼频率、头部位置、打哈欠等信息判断驾驶员是否疲劳，该方法是非接触的，受外界影响较少，近年来得到了广泛的关注。
公开号为CN104881955A的中国发明专利申请公开了一种驾驶员疲劳驾驶检测方法及系统，该方法通过定位驾驶员眼睛区域，计算眼睛的开合度，根据比较眼睛的开合度与设定的阈值来判断驾驶员是否处于疲劳状态。公开号为CN104574819A的中国发明专利申请公开了一种基于嘴巴特征的疲劳驾驶检测方法，该方法通过精确定位驾驶员的嘴巴位置，判断驾驶员嘴巴的张开程度，根据单位时间内，嘴巴张开程度较大的帧数所占比例，判断驾驶员是否处于疲劳驾驶状态。
然而，上述驾驶员疲劳检测方法检测准确率较差。
综上所述，目前迫切需要提出一种检测准确率较好的驾驶员疲劳检测方法及装置。
发明内容
有鉴于此，本发明的主要目的在于实现驾驶员的疲劳检测，且检测准确率较高。
为达到上述目的，按照本发明的第一个方面，提供了基于深度学习的驾驶员疲劳检测方法，该方法包括：
第一步骤，选取不同状态的驾驶员图像作为样本图像，对具有深度学习的神经网络进行训练，获取训练好的驾驶员状态识别模型；
第二步骤，采集驾驶员的视频图像；
第三步骤，采用人脸检测算法从每帧视频图像中获取人脸区域；
第四步骤，采用训练好的驾驶员状态识别模型对每帧视频图像的人脸区域进行识别，获取每帧视频图像中驾驶员的状态；及
第五步骤，根据连续帧的视频图像中驾驶员的状态，采用眨眼分析、打哈欠分析、综合分析判断驾驶员是否疲劳，并输出结果。
所述第一步骤进一步包括：
样本选取步骤，分别选取DNum1个闭眼的驾驶员图像、DNum2个打哈欠的驾驶员图像、DNum3个正常状态的驾驶员图像为样本图像，并将样本图像缩放为宽度为Th_Width、高度为Th_Height，若样本图像为彩色图像，对样本图像进行灰度化处理，获取灰度的样本图像；
初步样本训练步骤，利用具有深度学习的神经网络对灰度的样本图像进行训练，获取初步训练好的模型；
二次训练步骤，选取TNum个由闭眼、打哈欠、正常状态的驾驶员图像组成的测试图像，并将测试图像缩放为宽度Th_Width、高度为Th_Height，若测试图像为彩色图像，对测试图像进行灰度化处理，获取灰度的测试图像，利用初步训练好的模型对灰度的测试图像进行反复训练，直至模型收敛，将收敛的模型作为驾驶员状态识别模型输出。
所述二次训练步骤进一步包括：
测试图像选取步骤，选取TNum个测试图像，测试图像由闭眼、打哈欠、正常状态的驾驶员图像组成，并将测试图像缩放为宽度Th_Width、高度为Th_Height，若测试图像为彩色图像，对测试图像进行灰度化处理，获取灰度的测试图像；
训练特征提取步骤，根据初步训练好的模型提取灰度的测试图像的特征；
训练分类判定步骤，计算灰度的测试图像的特征与闭眼的驾驶员的特征的相似度Simi1、与打哈欠的驾驶员的特征的相似度Simi2、以及与正常状态的驾驶员的特征的相似度Simi3，选取Simik值最大的驾驶员状态类别作为候选驾驶员状态类别，k表示第k个类别，k＝{1,2,3}；
反复训练步骤，计算判定结果与真实结果的误差，利用反向传播算法来训练模型，重复训练特征提取步骤和训练分类判定步骤，直至该模型收敛，将收敛的模型作为驾驶员状态识别模型并输出。
所述第四步骤进一步包括：
人脸区域预处理步骤，将当前帧视频图像内人脸区域缩放为宽度为Th_Width、高度为Th_Height，若人脸区域为彩色图像，对人脸区域进行灰度化处理，获取灰度化的人脸区域；
人脸特征提取步骤，对于当前帧视频图像，利用训练好的驾驶员状态识别模型提取当前帧视频图像内人脸区域的特征；
驾驶员状态类别判定步骤，计算当前帧视频图像内人脸特征与闭眼的驾驶员的特征的相似度Simi1、与打哈欠的驾驶员的特征的相似度Simi2、与正常状态的驾驶员的特征的相似度Simi3，选取Simik值最大的驾驶员状态类别作为候选驾驶员状态类别，k表示第k个类别，k＝{1,2,3}。
所述第五步骤进一步包括：
驾驶员状态统计步骤，对于连续FINum帧视频图像，分别统计属于闭眼的驾驶员的帧数CNum、打哈欠的驾驶员的帧数YNum；
眨眼分析步骤，计算连续FINum帧视频图像内的眨眼频率Bfre，若Bfre≥Th_BF，则输出驾驶员处于疲劳状态，否则转入打哈欠分析步骤；
打哈欠分析步骤，计算连续FINum帧视频图像内的哈欠频率Yfre，若Yfre≥Th_YF，则输出驾驶员处于疲劳状态，否则转入综合分析步骤；
综合分析步骤，计算连续FINum帧视频图像内的眨眼打哈欠总和频率Cfre，若Cfre≥Th_CF，则输出驾驶员处于疲劳状态，否则输出驾驶员处于清醒状态。
按照本发明的另一个方面，提供了基于深度学习的驾驶员疲劳检测装置，该装置包括：
驾驶员状态识别模型获取模块(1)，用于选取不同状态的驾驶员图像作为样本图像，对具有深度学习的神经网络进行训练，获取训练好的驾驶员状态识别模型；
视频图像获取模块(2)，用于采集驾驶员的视频图像；
人脸区域获取模块(3)，用于采用人脸检测算法从每帧视频图像中获取人脸区域；
驾驶员状态获取模块(4)，用于采用训练好的驾驶员状态识别模型对每帧视频图像的人脸区域进行识别，获取每帧视频图像中驾驶员的状态；及
驾驶员疲劳判断模块(5)，用于根据连续帧的视频图像中驾驶员的状态，采用眨眼分析、打哈欠分析、综合分析判断驾驶员是否疲劳，并输出结果。
所述驾驶员状态识别模型获取模块(1)进一步包括：
样本选取模块(11)，用于分别选取DNum1个闭眼的驾驶员图像、DNum2个打哈欠的驾驶员图像、DNum3个正常状态的驾驶员图像为样本图像，并将样本图像缩放为宽度为Th_Width、高度为Th_Height，若样本图像为彩色图像，对样本图像进行灰度化处理，获取灰度的样本图像；
初步样本训练模块(12)，用于利用具有深度学习的神经网络对灰度的样本图像进行训练，获取初步训练好的模型；
二次训练模块(13)，用于选取TNum个由闭眼、打哈欠、正常状态的驾驶员图像组成的测试图像，并将测试图像缩放为宽度Th_Width、高度为Th_Height，若测试图像为彩色图像，对测试图像进行灰度化处理，获取灰度的测试图像，利用初步训练好的模型对灰度的测试图像进行反复训练，直至模型收敛，将收敛的模型作为驾驶员状态识别模型输出。
所述二次训练模块(13)进一步包括：
测试图像选取模块(131)，用于选取TNum个测试图像，测试图像由闭眼、打哈欠、正常状态的驾驶员图像组成，并将测试图像缩放为宽度Th_Width、高度为Th_Height，若测试图像为彩色图像，对测试图像进行灰度化处理，获取灰度的测试图像；
训练特征提取模块(132)，用于根据初步训练好的模型提取灰度的测试图像的特征；
训练分类判定模块(133)，用于计算灰度的测试图像的特征与闭眼的驾驶员的特征的相似度Simi1、与打哈欠的驾驶员的特征的相似度Simi2、以及与正常状态的驾驶员的特征的相似度Simi3，选取Simik值最大的驾驶员状态类别作为候选驾驶员状态类别，k表示第k个类别，k＝{1,2,3}；
反复训练模块(134)，用于计算判定结果与真实结果的误差，利用反向传播算法来训练模型，重复训练特征提取模块和训练分类判定模块，直至该模型收敛，将收敛的模型作为驾驶员状态识别模型并输出。
所述驾驶员状态获取模块(4)进一步包括：
人脸区域预处理模块(41)，用于将当前帧视频图像内人脸区域缩放为宽度为Th_Width、高度为Th_Height，若人脸区域为彩色图像，对人脸区域进行灰度化处理，获取灰度化的人脸区域；
人脸特征提取模块(42)，用于对于当前帧视频图像，利用训练好的驾驶员状态识别模型提取当前帧视频图像内人脸区域的特征；
驾驶员状态类别判定模块(43)，用于计算当前帧视频图像内人脸特征与闭眼的驾驶员的特征的相似度Simi1、与打哈欠的驾驶员的特征的相似度Simi2、与正常状态的驾驶员的特征的相似度Simi3，选取Simik值最大的驾驶员状态类别作为候选驾驶员状态类别，k表示第k个类别，k＝{1,2,3}。
所述驾驶员疲劳判断模块(5)进一步包括：
驾驶员状态统计模块(51)，用于对于连续FINum帧视频图像，分别统计属于闭眼的驾驶员的帧数CNum、打哈欠的驾驶员的帧数YNum；
眨眼分析模块(52)，用于计算连续FINum帧视频图像内的眨眼频率Bfre，若Bfre≥Th_BF，则输出驾驶员处于疲劳状态，否则转入打哈欠分析模块；
打哈欠分析模块(53)，用于计算连续FINum帧视频图像内的哈欠频率Yfre，若Yfre≥Th_YF，则输出驾驶员处于疲劳状态，否则转入综合分析模块；
综合分析模块(54)，用于计算连续FINum帧视频图像内的眨眼打哈欠总和频率Cfre，若Cfre≥Th_CF，则输出驾驶员处于疲劳状态，否则输出驾驶员处于清醒状态。
与现有的驾驶员疲劳检测技术相比，本发明基于深度学习的驾驶员疲劳检测方法及装置检测准确率较高。
附图说明
图1示出了按照本发明基于深度学习的驾驶员疲劳检测方法的流程图。
图2示出了按照本发明基于深度学习的驾驶员疲劳检测装置的框架图。
具体实施方式
为使贵审查员能进一步了解本发明的结构、特征及其他目的，现结合所附较佳实施例详细说明如下，所说明的较佳实施例仅用于说明本发明的技术方案，并非限定本发明。
图1给出了按照本发明基于深度学习的驾驶员疲劳检测方法的流程图。如图1所示，按照本发明基于深度学习的驾驶员疲劳检测方法包括：
第一步骤S1，选取不同状态的驾驶员图像作为样本图像，对具有深度学习的神经网络进行训练，获取训练好的驾驶员状态识别模型；
第二步骤S2，采集驾驶员的视频图像；
第三步骤S3，采用人脸检测算法从每帧视频图像中获取人脸区域；
第四步骤S4，采用训练好的驾驶员状态识别模型对每帧视频图像的人脸区域进行识别，获取每帧视频图像中驾驶员的状态；及
第五步骤S5，根据连续帧的视频图像中驾驶员的状态，采用眨眼分析、打哈欠分析、综合分析判断驾驶员是否疲劳，并输出结果。
所述第一步骤S1进一步包括：
样本选取步骤S11，分别选取DNum1个闭眼的驾驶员图像、DNum2个打哈欠的驾驶员图像、DNum3个正常状态的驾驶员图像为样本图像，并将样本图像缩放为宽度为Th_Width、高度为Th_Height，若样本图像为彩色图像，对样本图像进行灰度化处理，获取灰度的样本图像；
初步样本训练步骤S12，利用具有深度学习的神经网络对灰度的样本图像进行训练，获取初步训练好的模型；
二次训练步骤S13，选取TNum个由闭眼、打哈欠、正常状态的驾驶员图像组成的测试图像，并将测试图像缩放为宽度Th_Width、高度为Th_Height，若测试图像为彩色图像，对测试图像进行灰度化处理，获取灰度的测试图像，利用初步训练好的模型对灰度的测试图像进行反复训练，直至模型收敛，将收敛的模型作为驾驶员状态识别模型输出。
所述样本选取步骤S11中正常状态的驾驶员图像为睁着眼睛、没打哈欠的驾驶员图像。优选地，驾驶员图像选为只包含人脸区域的图像。
所述初步样本训练步骤S12中具有深度学习的神经网络可以为深度卷积神经网络(Convolutional Neural Network，简称CNN)、深度信念网络(Deep Belief Network，简称DBN)等。优选地，具有深度学习的神经网络选为深度卷积神经网络。
所述二次训练步骤S13进一步包括：
测试图像选取步骤S131，选取TNum个测试图像，测试图像由闭眼、打哈欠、正常状态的驾驶员图像组成，并将测试图像缩放为宽度Th_Width、高度为Th_Height，若测试图像为彩色图像，对测试图像进行灰度化处理，获取灰度的测试图像；
训练特征提取步骤S132，根据初步训练好的模型提取灰度的测试图像的特征；
训练分类判定步骤S133，计算灰度的测试图像的特征与闭眼的驾驶员的特征的相似度Simi1、与打哈欠的驾驶员的特征的相似度Simi2、以及与正常状态的驾驶员的特征的相似度Simi3，选取Simik值最大的驾驶员状态类别作为候选驾驶员状态类别，k表示第k个类别，k＝{1,2,3}；
反复训练步骤S134，计算判定结果与真实结果的误差，利用反向传播算法来训练模型，重复训练特征提取步骤S132和训练分类判定步骤S133，直至该模型收敛，将收敛的模型作为驾驶员状态识别模型并输出。
所述DNum1≥1000，DNum2≥1000，DNum3≥1000，Th_Width∈[32,64]，Th_Height∈[36,72]，TNum≥1000。优选地，DNum1≥5000，DNum2≥5000，DNum3≥5000，Th_Width选为32，Th_Height选为36，TNum≥5000。
优选地，所述深度卷积神经网络络包括：
输入层，输入Th_Width*Th_Height的图像；
第一层卷积层，输出Th_CK1个卷积核，卷积核的大小为CKSi1*CKSi1、步长为1；
第一层采样层，采用最大池化法输出大小为KSi*KSi、步长为KSi的采样核；
第二层卷积层，输出Th_CK2个卷积核，卷积核的大小为CKSi2*CKSi2、步长为1；
第二层采样层，采用最大池化法输出大小为KSi*KSi、步长为KSi的采样核；
全连接层，采用ReLU作为激活函数，输出Th_Neur个神经元；
全连接层，输出3个神经元，即3个驾驶员状态类别。
其中，Th_Width和Th_Height分别为输入图像的宽度和高度，Th_Width∈[32，64]，Th_Height∈[36,72]。Th_CK1∈[6,20]。CKSi1∈[3,7]。KSi∈[2,4]。Th_CK2∈[10,40]。CKSi2∈[3,5]。Th_Neur∈[80,10000]。
优选地，Th_Width选为32，Th_Height选为36，Th_CK1选为16，CKSi1选为5，KSi选为2，Th_CK2选为32，CKSi2选为3，Th_Neur选为84。
所述第一层采样层和第二层采样层中的最大池化法可以替换为平均池化法或者随机池化法。
所述全连接层中ReLU全称为Rectified Linear Units，中文译为修正线性单元，可以参考文献“Taming the ReLU with Parallel Dither in a Deep NeuralNetwork.AJR Simpson.Computer Science,2015”。
所述全连接层中ReLU可以替换为sigmoid函数或者tanh函数作为激活函数。
所述第二步骤S2中采集驾驶员的视频图像可以替换为输入驾驶员的视频图像。
所述第三步骤S3中人脸检测算法可以通过现有的人脸检测算法实现。例如，“梁路宏，艾海舟，何克忠.基于多模板匹配的单人脸检测.《中国图象图形学报》,1999(10):825-830”。
所述第四步骤S4进一步包括：
人脸区域预处理步骤S41，将当前帧视频图像内人脸区域缩放为宽度为Th_Width、高度为Th_Height，若人脸区域为彩色图像，对人脸区域进行灰度化处理，获取灰度化的人脸区域；
人脸特征提取步骤S42，对于当前帧视频图像，利用训练好的驾驶员状态识别模型提取当前帧视频图像内人脸区域的特征；
驾驶员状态类别判定步骤S43，计算当前帧视频图像内人脸特征与闭眼的驾驶员的特征的相似度Simi1、与打哈欠的驾驶员的特征的相似度Simi2、与正常状态的驾驶员的特征的相似度Simi3，选取Simik值最大的驾驶员状态类别作为候选驾驶员状态类别，k表示第k个类别，k＝{1,2,3}。
所述第五步骤S5进一步包括：
驾驶员状态统计步骤S51，对于连续FINum帧视频图像，分别统计属于闭眼的驾驶员的帧数CNum、打哈欠的驾驶员的帧数YNum；
眨眼分析步骤S52，计算连续FINum帧视频图像内的眨眼频率Bfre，若Bfre≥Th_BF，则输出驾驶员处于疲劳状态，否则转入打哈欠分析步骤S53；
打哈欠分析步骤S53，计算连续FINum帧视频图像内的哈欠频率Yfre，若Yfre≥Th_YF，则输出驾驶员处于疲劳状态，否则转入综合分析步骤S54；
综合分析步骤S54，计算连续FINum帧视频图像内的眨眼打哈欠总和频率Cfre，若Cfre≥Th_CF，则输出驾驶员处于疲劳状态，否则输出驾驶员处于清醒状态。
其中，所述FINum∈[20,50]，Th_BF∈[0.35,0.45]，Th_YF∈[0.55,0.65]，Th_CF∈[0.4,0.6]。优选地，FINum选为30，Th_BF选为0.4，Th_YF选为0.6，Th_CF选为0.5。
图2给出了按照本发明基于深度学习的驾驶员疲劳检测装置的框架图。如图2所示，按照本发明基于深度学习的驾驶员疲劳检测装置包括：
驾驶员状态识别模型获取模块1，用于选取不同状态的驾驶员图像作为样本图像，对具有深度学习的神经网络进行训练，获取训练好的驾驶员状态识别模型；
视频图像获取模块2，用于采集驾驶员的视频图像；
人脸区域获取模块3，用于采用人脸检测算法从每帧视频图像中获取人脸区域；
驾驶员状态获取模块4，用于采用训练好的驾驶员状态识别模型对每帧视频图像的人脸区域进行识别，获取每帧视频图像中驾驶员的状态；及
驾驶员疲劳判断模块5，用于根据连续帧的视频图像中驾驶员的状态，采用眨眼分析、打哈欠分析、综合分析判断驾驶员是否疲劳，并输出结果。
所述驾驶员状态识别模型获取模块1进一步包括：
样本选取模块11，用于分别选取DNum1个闭眼的驾驶员图像、DNum2个打哈欠的驾驶员图像、DNum3个正常状态的驾驶员图像为样本图像，并将样本图像缩放为宽度为Th_Width、高度为Th_Height，若样本图像为彩色图像，对样本图像进行灰度化处理，获取灰度的样本图像；
初步样本训练模块12，用于利用具有深度学习的神经网络对灰度的样本图像进行训练，获取初步训练好的模型；
二次训练模块13，用于选取TNum个由闭眼、打哈欠、正常状态的驾驶员图像组成的测试图像，并将测试图像缩放为宽度Th_Width、高度为Th_Height，若测试图像为彩色图像，对测试图像进行灰度化处理，获取灰度的测试图像，利用初步训练好的模型对灰度的测试图像进行反复训练，直至模型收敛，将收敛的模型作为驾驶员状态识别模型输出。
所述样本选取模块11中正常状态的驾驶员图像为睁着眼睛、没打哈欠的驾驶员图像。优选地，驾驶员图像选为只包含人脸区域的图像。
所述初步样本训练模块12中具有深度学习的神经网络可以为深度卷积神经网络(Convolutional Neural Network，简称CNN)、深度信念网络(Deep Belief Network，简称DBN)等。优选地，具有深度学习的神经网络选为深度卷积神经网络。
所述二次训练模块13进一步包括：
测试图像选取模块131，用于选取TNum个测试图像，测试图像由闭眼、打哈欠、正常状态的驾驶员图像组成，并将测试图像缩放为宽度Th_Width、高度为Th_Height，若测试图像为彩色图像，对测试图像进行灰度化处理，获取灰度的测试图像；
训练特征提取模块132，用于根据初步训练好的模型提取灰度的测试图像的特征；
训练分类判定模块133，用于计算灰度的测试图像的特征与闭眼的驾驶员的特征的相似度Simi1、与打哈欠的驾驶员的特征的相似度Simi2、以及与正常状态的驾驶员的特征的相似度Simi3，选取Simik值最大的驾驶员状态类别作为候选驾驶员状态类别，k表示第k个类别，k＝{1,2,3}；
反复训练模块134，用于计算判定结果与真实结果的误差，利用反向传播算法来训练模型，重复训练特征提取模块132和训练分类判定模块133，直至该模型收敛，将收敛的模型作为驾驶员状态识别模型并输出。
所述DNum1≥1000，DNum2≥1000，DNum3≥1000，Th_Width∈[32,64]，Th_Height∈[36,72]，TNum≥1000。优选地，DNum1≥5000，DNum2≥5000，DNum3≥5000，Th_Width选为32，Th_Height选为36，TNum≥5000。
优选地，所述深度卷积神经网络络包括：
输入层，输入Th_Width*Th_Height的图像；
第一层卷积层，输出Th_CK1个卷积核，卷积核的大小为CKSi1*CKSi1、步长为1；
第一层采样层，采用最大池化法输出大小为KSi*KSi、步长为KSi的采样核；
第二层卷积层，输出Th_CK2个卷积核，卷积核的大小为CKSi2*CKSi2、步长为1；
第二层采样层，采用最大池化法输出大小为KSi*KSi、步长为KSi的采样核；
全连接层，采用ReLU作为激活函数，输出Th_Neur个神经元；
全连接层，输出3个神经元，即3个驾驶员状态类别。
其中，Th_Width和Th_Height分别为输入图像的宽度和高度，Th_Width∈[32，64]，Th_Height∈[36,72]。Th_CK1∈[6,20]。CKSi1∈[3,7]。KSi∈[2,4]。Th_CK2∈[10,40]。CKSi2∈[3,5]。Th_Neur∈[80,10000]。
优选地，Th_Width选为32，Th_Height选为36，Th_CK1选为16，CKSi1选为5，KSi选为2，Th_CK2选为32，CKSi2选为3，Th_Neur选为84。
所述第一层采样层和第二层采样层中的最大池化法可以替换为平均池化法或者随机池化法。
所述全连接层中ReLU全称为Rectified Linear Units，中文译为修正线性单元，可以参考文献“Taming the ReLU with Parallel Dither in a Deep NeuralNetwork.AJR Simpson.Computer Science,2015”。
所述全连接层中ReLU可以替换为sigmoid函数或者tanh函数作为激活函数。
所述视频图像获取模块2中采集驾驶员的视频图像可以替换为输入驾驶员的视频图像。
所述人脸区域获取模块3中人脸检测算法可以通过现有的人脸检测算法实现。例如，“梁路宏，艾海舟，何克忠.基于多模板匹配的单人脸检测.《中国图象图形学报》,1999(10):825-830”。
所述驾驶员状态获取模块4进一步包括：
人脸区域预处理模块41，用于将当前帧视频图像内人脸区域缩放为宽度为Th_Width、高度为Th_Height，若人脸区域为彩色图像，对人脸区域进行灰度化处理，获取灰度化的人脸区域；
人脸特征提取模块42，用于对于当前帧视频图像，利用训练好的驾驶员状态识别模型提取当前帧视频图像内人脸区域的特征；
驾驶员状态类别判定模块43，用于计算当前帧视频图像内人脸特征与闭眼的驾驶员的特征的相似度Simi1、与打哈欠的驾驶员的特征的相似度Simi2、与正常状态的驾驶员的特征的相似度Simi3，选取Simik值最大的驾驶员状态类别作为候选驾驶员状态类别，k表示第k个类别，k＝{1,2,3}。
所述驾驶员疲劳判断模块5进一步包括：
驾驶员状态统计模块51，用于对于连续FINum帧视频图像，分别统计属于闭眼的驾驶员的帧数CNum、打哈欠的驾驶员的帧数YNum；
眨眼分析模块52，用于计算连续FINum帧视频图像内的眨眼频率Bfre，若Bfre≥Th_BF，则输出驾驶员处于疲劳状态，否则转入打哈欠分析模块53；
打哈欠分析模块53，用于计算连续FINum帧视频图像内的哈欠频率Yfre，若Yfre≥Th_YF，则输出驾驶员处于疲劳状态，否则转入综合分析模块54；
综合分析模块54，用于计算连续FINum帧视频图像内的眨眼打哈欠总和频率Cfre，若Cfre≥Th_CF，则输出驾驶员处于疲劳状态，否则输出驾驶员处于清醒状态。
其中，所述FINum∈[20,50]，Th_BF∈[0.35,0.45]，Th_YF∈[0.55,0.65]，Th_CF∈[0.4,0.6]。优选地，FINum选为30，Th_BF选为0.4，Th_YF选为0.6，Th_CF选为0.5。
与现有的驾驶员疲劳检测技术相比，本发明基于深度学习的驾驶员疲劳检测方法及装置检测准确率较高。
以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围，应当理解，本发明并不限于这里所描述的实现方案，这些实现方案描述的目的在于帮助本领域中的技术人员实践本发明。任何本领域中的技术人员很容易在不脱离本发明精神和范围的情况下进行进一步的改进和完善，因此本发明只受到本发明权利要求的内容和范围的限制，其意图涵盖所有包括在由所附权利要求所限定的本发明精神和范围内的备选方案和等同方案。

Claims (14)

1.基于深度学习的驾驶员疲劳检测方法，其特征在于，该方法包括：
第一步骤，选取不同状态的驾驶员图像作为样本图像，对具有深度学习的神经网络进行训练，获取训练好的驾驶员状态识别模型；
第二步骤，采集驾驶员的视频图像；
第三步骤，采用人脸检测算法从每帧视频图像中获取人脸区域；
第四步骤，采用训练好的驾驶员状态识别模型对每帧视频图像的人脸区域进行识别，获取每帧视频图像中驾驶员的状态；及
第五步骤，根据连续帧的视频图像中驾驶员的状态，采用眨眼分析、打哈欠分析、综合分析判断驾驶员是否疲劳，并输出结果。
2.如权利要求1所述的方法，其特征在于，所述第一步骤包括：
样本选取步骤，分别选取DNum1个闭眼的驾驶员图像、DNum2个打哈欠的驾驶员图像、DNum3个正常状态的驾驶员图像为样本图像，并将样本图像缩放为宽度为Th_Width、高度为Th_Height，若样本图像为彩色图像，对样本图像进行灰度化处理，获取灰度的样本图像；
初步样本训练步骤，利用具有深度学习的神经网络对灰度的样本图像进行训练，获取初步训练好的模型；
二次训练步骤，选取TNum个由闭眼、打哈欠、正常状态的驾驶员图像组成的测试图像，并将测试图像缩放为宽度Th_Width、高度为Th_Height，若测试图像为彩色图像，对测试图像进行灰度化处理，获取灰度的测试图像，利用初步训练好的模型对灰度的测试图像进行反复训练，直至模型收敛，将收敛的模型作为驾驶员状态识别模型输出。
3.如权利要求2所述的方法，其特征在于，所述二次训练步骤包括：
测试图像选取步骤，选取TNum个测试图像，测试图像由闭眼、打哈欠、正常状态的驾驶员图像组成，并将测试图像缩放为宽度Th_Width、高度为Th_Height，若测试图像为彩色图像，对测试图像进行灰度化处理，获取灰度的测试图像；
训练特征提取步骤，根据初步训练好的模型提取灰度的测试图像的特征；
训练分类判定步骤，计算灰度的测试图像的特征与闭眼的驾驶员的特征的相似度Simi1、与打哈欠的驾驶员的特征的相似度Simi2、以及与正常状态的驾驶员的特征的相似度Simi3，选取Simik值最大的驾驶员状态类别作为候选驾驶员状态类别，k表示第k个类别，k＝{1,2,3}；
反复训练步骤，计算判定结果与真实结果的误差，利用反向传播算法来训练模型，重复训练特征提取步骤和训练分类判定步骤，直至该模型收敛，将收敛的模型作为驾驶员状态识别模型并输出。
4.如权利要求2和3所述的方法，所述DNum1≥1000，DNum2≥1000，DNum3≥1000，Th_Width∈[32,64]，Th_Height∈[36,72]，TNum≥1000。
5.如权利要求1所述的方法，其特征在于，所述第四步骤包括：
人脸区域预处理步骤，将当前帧视频图像内人脸区域缩放为宽度为Th_Width、高度为Th_Height，若人脸区域为彩色图像，对人脸区域进行灰度化处理，获取灰度化的人脸区域；
人脸特征提取步骤，对于当前帧视频图像，利用训练好的驾驶员状态识别模型提取当前帧视频图像内人脸区域的特征；
驾驶员状态类别判定步骤，计算当前帧视频图像内人脸特征与闭眼的驾驶员的特征的相似度Simi1、与打哈欠的驾驶员的特征的相似度Simi2、与正常状态的驾驶员的特征的相似度Simi3，选取Simik值最大的驾驶员状态类别作为候选驾驶员状态类别，k表示第k个类别，k＝{1,2,3}。
6.如权利要求1所述的方法，其特征在于，所述第五步骤包括：
驾驶员状态统计步骤，对于连续FINum帧视频图像，分别统计属于闭眼的驾驶员的帧数CNum、打哈欠的驾驶员的帧数YNum；
眨眼分析步骤，计算连续FINum帧视频图像内的眨眼频率Bfre，
若Bfre≥Th_BF，则输出驾驶员处于疲劳状态，否则转入打哈欠分析步骤；
打哈欠分析步骤，计算连续FINum帧视频图像内的哈欠频率Yfre，
若Yfre≥Th_YF，则输出驾驶员处于疲劳状态，否则转入综合分析步骤；
综合分析步骤，计算连续FINum帧视频图像内的眨眼打哈欠总和频率Cfre，若Cfre≥Th_CF，则输出驾驶员处于疲劳状态，否则输出驾驶员处于清醒状态。
7.如权利要求6所述的方法，所述FINum∈[20,50]，Th_BF∈[0.35,0.45]，Th_YF∈[0.55,0.65]，Th_CF∈[0.4,0.6]。
8.基于深度学习的驾驶员疲劳检测装置，其特征在于，该装置包括：
驾驶员状态识别模型获取模块(1)，用于选取不同状态的驾驶员图像作为样本图像，对具有深度学习的神经网络进行训练，获取训练好的驾驶员状态识别模型；视频图像获取模块(2)，用于采集驾驶员的视频图像；
人脸区域获取模块(3)，用于采用人脸检测算法从每帧视频图像中获取人脸区域；驾驶员状态获取模块(4)，用于采用训练好的驾驶员状态识别模型对每帧视频图像的人脸区域进行识别，获取每帧视频图像中驾驶员的状态；及
驾驶员疲劳判断模块(5)，用于根据连续帧的视频图像中驾驶员的状态，采用眨眼分析、打哈欠分析、综合分析判断驾驶员是否疲劳，并输出结果。
9.如权利要求8所述的装置，其特征在于，所述驾驶员状态识别模型获取模块(1)包括：
样本选取模块(11)，用于分别选取DNum1个闭眼的驾驶员图像、DNum2个打哈欠的驾驶员图像、DNum3个正常状态的驾驶员图像为样本图像，并将样本图像缩放为宽度为Th_Width、高度为Th_Height，若样本图像为彩色图像，对样本图像进行灰度化处理，获取灰度的样本图像；
初步样本训练模块(12)，用于利用具有深度学习的神经网络对灰度的样本图像进行训练，获取初步训练好的模型；
二次训练模块(13)，用于选取TNum个由闭眼、打哈欠、正常状态的驾驶员图像组成的测试图像，并将测试图像缩放为宽度Th_Width、高度为Th_Height，若测试图像为彩色图像，对测试图像进行灰度化处理，获取灰度的测试图像，利用初步训练好的模型对灰度的测试图像进行反复训练，直至模型收敛，将收敛的模型作为驾驶员状态识别模型输出。
10.如权利要求9所述的装置，所述其特征在于，所述二次训练模块(13)包括：测试图像选取模块(131)，用于选取TNum个测试图像，测试图像由闭眼、打哈欠、正常状态的驾驶员图像组成，并将测试图像缩放为宽度Th_Width、高度为Th_Height，若测试图像为彩色图像，对测试图像进行灰度化处理，获取灰度的测试图像；
训练特征提取模块(132)，用于根据初步训练好的模型提取灰度的测试图像的特征；
训练分类判定模块(133)，用于计算灰度的测试图像的特征与闭眼的驾驶员的特征的相似度Simi1、与打哈欠的驾驶员的特征的相似度Simi2、以及与正常状态的驾驶员的特征的相似度Simi3，选取Simik值最大的驾驶员状态类别作为候选驾驶员状态类别，k表示第k个类别，k＝{1,2,3}；
反复训练模块(134)，用于计算判定结果与真实结果的误差，利用反向传播算法来训练模型，重复训练特征提取模块和训练分类判定模块，直至该模型收敛，将收敛的模型作为驾驶员状态识别模型并输出。
11.如权利要求9和10所述的装置，所述DNum1≥1000，DNum2≥1000，DNum3≥1000，Th_Width∈[32,64]，Th_Height∈[36,72]，TNum≥1000。
12.如权利要求8所述的装置，其特征在于，所述驾驶员状态获取模块(4)包括：
人脸区域预处理模块(41)，用于将当前帧视频图像内人脸区域缩放为宽度为Th_Width、高度为Th_Height，若人脸区域为彩色图像，对人脸区域进行灰度化处理，获取灰度化的人脸区域；
人脸特征提取模块(42)，用于对于当前帧视频图像，利用训练好的驾驶员状态识别模型提取当前帧视频图像内人脸区域的特征；
驾驶员状态类别判定模块(43)，用于计算当前帧视频图像内人脸特征与闭眼的驾驶员的特征的相似度Simi1、与打哈欠的驾驶员的特征的相似度Simi2、与正常状态的驾驶员的特征的相似度Simi3，选取Simik值最大的驾驶员状态类别作为候选驾驶员状态类别，k表示第k个类别，k＝{1,2,3}。
13.如权利要求8所述的装置，其特征在于，所述驾驶员疲劳判断模块(5)进一步包括：
驾驶员状态统计模块(51)，用于对于连续FINum帧视频图像，分别统计属于闭眼的驾驶员的帧数CNum、打哈欠的驾驶员的帧数YNum；
眨眼分析模块(52)，用于计算连续FINum帧视频图像内的眨眼频率Bfre，若Bfre≥Th_BF，则输出驾驶员处于疲劳状态，否则转入打哈欠分析模块；
打哈欠分析模块(53)，用于计算连续FINum帧视频图像内的哈欠频率Yfre，若Yfre≥Th_YF，则输出驾驶员处于疲劳状态，否则转入综合分析模块；
综合分析模块(54)，用于计算连续FINum帧视频图像内的眨眼打哈欠总和频率若Cfre≥Th_CF，则输出驾驶员处于疲劳状态，否则输出驾驶员处于清醒状态。
14.如权利要求13所述的装置，所述FINum∈[20,50]，Th_BF∈[0.35,0.45]，Th_YF∈[0.55,0.65]，Th_CF∈[0.4,0.6]。
CN201610818104.2A 2016-09-12 2016-09-12 基于深度学习的驾驶员疲劳检测方法及装置 Pending CN106446811A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610818104.2A CN106446811A (zh) 2016-09-12 2016-09-12 基于深度学习的驾驶员疲劳检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610818104.2A CN106446811A (zh) 2016-09-12 2016-09-12 基于深度学习的驾驶员疲劳检测方法及装置

Publications (1)

Publication Number Publication Date
CN106446811A true CN106446811A (zh) 2017-02-22

Family

ID=58168778

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610818104.2A Pending CN106446811A (zh) 2016-09-12 2016-09-12 基于深度学习的驾驶员疲劳检测方法及装置

Country Status (1)

Country Link
CN (1) CN106446811A (zh)

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107038422A (zh) * 2017-04-20 2017-08-11 杭州电子科技大学 基于空间几何约束深度学习的疲劳状态识别方法
CN107194346A (zh) * 2017-05-19 2017-09-22 福建师范大学 一种汽车疲劳驾驶预测方法
CN107704836A (zh) * 2017-10-17 2018-02-16 电子科技大学 基于物体检测的疲劳驾驶检测方法
CN107714057A (zh) * 2017-10-01 2018-02-23 南京邮电大学盐城大数据研究院有限公司 一种基于卷积神经网络的三分类情绪识别模型方法
CN107832721A (zh) * 2017-11-16 2018-03-23 百度在线网络技术（北京）有限公司 用于输出信息的方法和装置
CN107944415A (zh) * 2017-12-06 2018-04-20 董伟 一种基于深度学习算法的人眼注意力检测方法
CN108052920A (zh) * 2017-12-27 2018-05-18 百度在线网络技术（北京）有限公司 用于输出信息的方法和装置
CN108216252A (zh) * 2017-12-29 2018-06-29 中车工业研究院有限公司 一种地铁司机车载驾驶行为分析方法、车载终端及系统
CN108382396A (zh) * 2018-02-02 2018-08-10 辽宁友邦网络科技有限公司 驾驶员驾驶状态识别系统及其应用方法
CN108545080A (zh) * 2018-03-20 2018-09-18 北京理工大学 驾驶员疲劳检测方法及系统
CN108701214A (zh) * 2017-12-25 2018-10-23 深圳市大疆创新科技有限公司 图像数据处理方法、装置及设备
CN109409173A (zh) * 2017-08-18 2019-03-01 安徽三联交通应用技术股份有限公司 基于深度学习的驾驶人状态监测方法、系统、介质及设备
CN109409174A (zh) * 2017-08-18 2019-03-01 安徽三联交通应用技术股份有限公司 基于深度学习的驾驶人面部监测方法、系统、介质及设备
CN109670457A (zh) * 2018-12-21 2019-04-23 东软睿驰汽车技术（沈阳）有限公司 一种驾驶员状态识别方法及装置
CN109803583A (zh) * 2017-08-10 2019-05-24 北京市商汤科技开发有限公司 驾驶状态监控方法、装置和电子设备
CN109815937A (zh) * 2019-02-25 2019-05-28 湖北亿咖通科技有限公司 疲劳状态智能识别方法、装置及电子设备
CN109977930A (zh) * 2019-04-29 2019-07-05 中国电子信息产业集团有限公司第六研究所 疲劳驾驶检测方法及装置
CN109993065A (zh) * 2019-03-06 2019-07-09 开易（北京）科技有限公司 基于深度学习的驾驶员行为检测方法和系统
CN110020597A (zh) * 2019-02-27 2019-07-16 中国医学科学院北京协和医院 一种用于头晕/眩晕辅诊的眼部视频处理方法及系统
CN110103816A (zh) * 2019-03-15 2019-08-09 河南理工大学 一种驾驶状态检测方法
CN110147713A (zh) * 2019-03-28 2019-08-20 石化盈科信息技术有限责任公司 一种疲劳驾驶检测方法及系统
CN110210445A (zh) * 2019-06-12 2019-09-06 广东工业大学 一种目标对象的疲劳状态检测方法、装置、设备及介质
WO2020051781A1 (en) * 2018-09-12 2020-03-19 Beijing Didi Infinity Technology And Development Co., Ltd. Systems and methods for drowsiness detection
US10699144B2 (en) 2017-10-26 2020-06-30 Toyota Research Institute, Inc. Systems and methods for actively re-weighting a plurality of image sensors based on content
CN111860056A (zh) * 2019-04-29 2020-10-30 北京眼神智能科技有限公司 基于眨眼的活体检测方法、装置、可读存储介质及设备
CN112201008A (zh) * 2020-08-21 2021-01-08 深圳市豪恩汽车电子装备股份有限公司 疲劳驾驶监测系统及方法
CN112464716A (zh) * 2020-10-22 2021-03-09 南京理工大学 基于afn网络的驾驶员疲劳状态检测方法
CN113051959A (zh) * 2019-12-26 2021-06-29 深圳市光鉴科技有限公司 基于深度学习的驾驶员状态检测方法、系统、设备及介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102426757A (zh) * 2011-12-02 2012-04-25 上海大学 基于模式识别的安全驾驶监控系统和方法
KR20140094794A (ko) * 2013-01-23 2014-07-31 주식회사 만도 주차 보조 장치 및 그 주차 보조 방법
CN104207791A (zh) * 2014-08-26 2014-12-17 江南大学 一种疲劳驾驶检测方法
CN104574819A (zh) * 2015-01-09 2015-04-29 安徽清新互联信息科技有限公司 一种基于嘴巴特征的疲劳驾驶检测方法
CN105769120A (zh) * 2016-01-27 2016-07-20 深圳地平线机器人科技有限公司 疲劳驾驶检测方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102426757A (zh) * 2011-12-02 2012-04-25 上海大学 基于模式识别的安全驾驶监控系统和方法
KR20140094794A (ko) * 2013-01-23 2014-07-31 주식회사 만도 주차 보조 장치 및 그 주차 보조 방법
CN104207791A (zh) * 2014-08-26 2014-12-17 江南大学 一种疲劳驾驶检测方法
CN104574819A (zh) * 2015-01-09 2015-04-29 安徽清新互联信息科技有限公司 一种基于嘴巴特征的疲劳驾驶检测方法
CN105769120A (zh) * 2016-01-27 2016-07-20 深圳地平线机器人科技有限公司 疲劳驾驶检测方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
周慧: "基于深度学习的疲劳状态识别算法", 《计算机科学》 *
朱淑亮: "基于视频图像分析与信息融合的驾驶员疲劳检测技术研究", 《中国博士学位论文全文数据库信息科技辑》 *

Cited By (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107038422B (zh) * 2017-04-20 2020-06-23 杭州电子科技大学 基于空间几何约束深度学习的疲劳状态识别方法
CN107038422A (zh) * 2017-04-20 2017-08-11 杭州电子科技大学 基于空间几何约束深度学习的疲劳状态识别方法
CN107194346A (zh) * 2017-05-19 2017-09-22 福建师范大学 一种汽车疲劳驾驶预测方法
CN109803583A (zh) * 2017-08-10 2019-05-24 北京市商汤科技开发有限公司 驾驶状态监控方法、装置和电子设备
CN109409173A (zh) * 2017-08-18 2019-03-01 安徽三联交通应用技术股份有限公司 基于深度学习的驾驶人状态监测方法、系统、介质及设备
CN109409173B (zh) * 2017-08-18 2021-06-04 安徽三联交通应用技术股份有限公司 基于深度学习的驾驶人状态监测方法、系统、介质及设备
CN109409174A (zh) * 2017-08-18 2019-03-01 安徽三联交通应用技术股份有限公司 基于深度学习的驾驶人面部监测方法、系统、介质及设备
CN107714057A (zh) * 2017-10-01 2018-02-23 南京邮电大学盐城大数据研究院有限公司 一种基于卷积神经网络的三分类情绪识别模型方法
CN107704836A (zh) * 2017-10-17 2018-02-16 电子科技大学 基于物体检测的疲劳驾驶检测方法
US10699144B2 (en) 2017-10-26 2020-06-30 Toyota Research Institute, Inc. Systems and methods for actively re-weighting a plurality of image sensors based on content
CN107832721A (zh) * 2017-11-16 2018-03-23 百度在线网络技术（北京）有限公司 用于输出信息的方法和装置
CN107832721B (zh) * 2017-11-16 2021-12-07 百度在线网络技术（北京）有限公司 用于输出信息的方法和装置
CN107944415A (zh) * 2017-12-06 2018-04-20 董伟 一种基于深度学习算法的人眼注意力检测方法
CN108701214A (zh) * 2017-12-25 2018-10-23 深圳市大疆创新科技有限公司 图像数据处理方法、装置及设备
CN108052920A (zh) * 2017-12-27 2018-05-18 百度在线网络技术（北京）有限公司 用于输出信息的方法和装置
CN108216252A (zh) * 2017-12-29 2018-06-29 中车工业研究院有限公司 一种地铁司机车载驾驶行为分析方法、车载终端及系统
CN108216252B (zh) * 2017-12-29 2019-12-20 中车工业研究院有限公司 一种地铁司机车载驾驶行为分析方法、车载终端及系统
CN108382396A (zh) * 2018-02-02 2018-08-10 辽宁友邦网络科技有限公司 驾驶员驾驶状态识别系统及其应用方法
CN108382396B (zh) * 2018-02-02 2020-08-07 上海灏领科技有限公司 驾驶员驾驶状态识别系统及其应用方法
CN108545080A (zh) * 2018-03-20 2018-09-18 北京理工大学 驾驶员疲劳检测方法及系统
WO2020051781A1 (en) * 2018-09-12 2020-03-19 Beijing Didi Infinity Technology And Development Co., Ltd. Systems and methods for drowsiness detection
CN111052127A (zh) * 2018-09-12 2020-04-21 北京嘀嘀无限科技发展有限公司 疲劳检测的系统和方法
CN109670457A (zh) * 2018-12-21 2019-04-23 东软睿驰汽车技术（沈阳）有限公司 一种驾驶员状态识别方法及装置
CN109815937A (zh) * 2019-02-25 2019-05-28 湖北亿咖通科技有限公司 疲劳状态智能识别方法、装置及电子设备
CN110020597A (zh) * 2019-02-27 2019-07-16 中国医学科学院北京协和医院 一种用于头晕/眩晕辅诊的眼部视频处理方法及系统
CN109993065A (zh) * 2019-03-06 2019-07-09 开易（北京）科技有限公司 基于深度学习的驾驶员行为检测方法和系统
CN109993065B (zh) * 2019-03-06 2022-08-23 开易（北京）科技有限公司 基于深度学习的驾驶员行为检测方法和系统
CN110103816B (zh) * 2019-03-15 2022-04-19 河南理工大学 一种驾驶状态检测方法
CN110103816A (zh) * 2019-03-15 2019-08-09 河南理工大学 一种驾驶状态检测方法
CN110147713A (zh) * 2019-03-28 2019-08-20 石化盈科信息技术有限责任公司 一种疲劳驾驶检测方法及系统
CN109977930A (zh) * 2019-04-29 2019-07-05 中国电子信息产业集团有限公司第六研究所 疲劳驾驶检测方法及装置
CN111860056A (zh) * 2019-04-29 2020-10-30 北京眼神智能科技有限公司 基于眨眼的活体检测方法、装置、可读存储介质及设备
CN111860056B (zh) * 2019-04-29 2023-10-20 北京眼神智能科技有限公司 基于眨眼的活体检测方法、装置、可读存储介质及设备
CN109977930B (zh) * 2019-04-29 2021-04-02 中国电子信息产业集团有限公司第六研究所 疲劳驾驶检测方法及装置
CN110210445A (zh) * 2019-06-12 2019-09-06 广东工业大学 一种目标对象的疲劳状态检测方法、装置、设备及介质
CN113051959A (zh) * 2019-12-26 2021-06-29 深圳市光鉴科技有限公司 基于深度学习的驾驶员状态检测方法、系统、设备及介质
CN112201008A (zh) * 2020-08-21 2021-01-08 深圳市豪恩汽车电子装备股份有限公司 疲劳驾驶监测系统及方法
CN112464716A (zh) * 2020-10-22 2021-03-09 南京理工大学 基于afn网络的驾驶员疲劳状态检测方法
CN112464716B (zh) * 2020-10-22 2022-11-04 南京理工大学 基于afn网络的驾驶员疲劳状态检测方法

Similar Documents

Publication Publication Date Title
CN106446811A (zh) 基于深度学习的驾驶员疲劳检测方法及装置
CN103942577B (zh) 视频监控中基于自建立样本库及混合特征的身份识别方法
CN108053615B (zh) 基于微表情的驾驶员疲劳驾驶状态检测方法
EP2552305B1 (en) A method and system for motor rehabilitation
CN106056071B (zh) 一种驾驶员打电话行为的检测方法及装置
CN107403142B (zh) 一种微表情的检测方法
CN107423690A (zh) 一种人脸识别方法及装置
Qiu et al. Global texture analysis of iris images for ethnic classification
CN108830262A (zh) 自然状态下多角度人脸表情识别方法
CN109993068B (zh) 一种基于心率和面部特征的非接触式的人类情感识别方法
CN107491740A (zh) 一种基于面部表情分析的新生儿疼痛识别方法
CN107133612A (zh) 基于图像处理与语音识别技术的智能病房及其运行方法
CN109858439A (zh) 一种基于人脸的活体检测方法及装置
CN106709450A (zh) 一种指纹图像识别方法及系统
CN105999670A (zh) 基于kinect的太极拳动作判定和指导系统及其指导方法
CN110751051A (zh) 一种基于机器视觉的异常驾驶行为检测方法
CN106446849B (zh) 一种疲劳驾驶检测方法
Li et al. Robust iris segmentation based on learned boundary detectors
CN106529377A (zh) 一种基于图像的年龄估计方法、装置及系统
CN106203497A (zh) 一种基于图像质量评价的手指静脉感兴趣区域图像筛选方法
CN108446690A (zh) 一种基于多视角动态特征的人脸活体检测方法
CN113221655A (zh) 基于特征空间约束的人脸欺骗检测方法
CN107862298A (zh) 一种基于红外摄像装置下眨眼的活体检测方法
Ukwuoma et al. Deep learning review on drivers drowsiness detection
CN107967944A (zh) 一种基于Hadoop的户外环境大数据人体健康监测方法与平台

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination