CN110232327A - 一种基于梯形级联卷积神经网络的驾驶疲劳检测方法 - Google Patents

一种基于梯形级联卷积神经网络的驾驶疲劳检测方法 Download PDF

Info

Publication number
CN110232327A
CN110232327A CN201910426074.4A CN201910426074A CN110232327A CN 110232327 A CN110232327 A CN 110232327A CN 201910426074 A CN201910426074 A CN 201910426074A CN 110232327 A CN110232327 A CN 110232327A
Authority
CN
China
Prior art keywords
trapezoidal
convolutional neural
data
neural network
concatenated convolutional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910426074.4A
Other languages
English (en)
Other versions
CN110232327B (zh
Inventor
庄千洋
王佳逸
陈倩倩
朱苗苗
丁璐
黄勋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Normal University CJNU
Original Assignee
Zhejiang Normal University CJNU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Normal University CJNU filed Critical Zhejiang Normal University CJNU
Priority to CN201910426074.4A priority Critical patent/CN110232327B/zh
Publication of CN110232327A publication Critical patent/CN110232327A/zh
Application granted granted Critical
Publication of CN110232327B publication Critical patent/CN110232327B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/197—Matching; Classification

Abstract

本发明公开了一种基于梯形级联卷积神经网络的驾驶疲劳检测方法，包括：利用摄像头采集驾驶员眨眼图像数据；根据眼睛睁开程度，将采集的数据分为睁开和闭合两类；搭建梯形级联卷积神经网络，将生成的两类人眼数据传入网络模型进行训练；将自然驾驶状态下，通过视频采集的驾驶员人眼图像数据，并输入梯形级联卷积神经网络模型进行判断每一帧眼睛图像的开闭状态，并记录数据；通过记录数据，计算驾驶疲劳参数PERCLOS值。本发明可以做到实时检测，准确度高，避免误判，在司机疲劳驾驶时，可以发出语音报警。

Description

一种基于梯形级联卷积神经网络的驾驶疲劳检测方法
技术领域
本发明属于驾驶疲劳检测技术领域，更具体的说是涉及一种基于梯形级联卷积神经网络的驾驶疲劳检测方法。
背景技术
大量研究表明，驾驶人在长时间行车后，会产生精神和心理的疲劳，并且出现反应延长等现象。从近几年来国家发布的交通事故统计分析表中得到，我国道路交通事故依然高发，年死亡人数仍高居世界第二位，经过对事故原因的研究分析，在各类交通事故中，疲劳驾驶是引发交通事故的首要因素。因此致力于研究驾驶员疲劳驾驶，及时提醒处于疲劳驾驶状态的驾驶员，能有效降低交通事故的发生率，对保护人们生命安全具有重要的社会意义。
申请号为CN107909055A的发明专利公开了一种眼睛状态检测方法，将捕获的人脸图像经过灰度化，中值滤波和直方图均衡化处理，利用投影法粗定位眉毛和眼睛，再利用模板匹配方法对眉毛和眼睛进行精定位，计算眉毛和上眼皮边缘第一相对距离，眉毛和下眼皮边缘第二相对距离以及上眼皮边缘和下眼皮边缘绝对距离；最后根据眼睛状态公式以及设计误差补偿来判断眼睛状态。该发明主要不足之处主要是：1、在自然驾驶环境下，采集图像易受光线影响，利用投影法粗定位眉毛和眼睛位置，会产生较大偏差；2、不同驾驶员的眼睛形状差距较大，利用模板匹配对眼睛进行精定位，只能适用于少数人，以及利用眼睛状态公式判断眼睛状态，需要根据不同的测试者，调整误差补偿。
因此，如何提供一种基于梯形级联卷积神经网络的驾驶疲劳检测方法成为了本领域技术人员亟需解决的问题。
发明内容
有鉴于此，本发明提供了一种基于梯形级联卷积神经网络的驾驶疲劳检测方法，可以做到实时检测，准确度高，避免误判，在司机疲劳驾驶时，可以发出语音报警。
为了实现上述目的，本发明采用如下技术方案：
一种基于梯形级联卷积神经网络的驾驶疲劳检测方法，包括如下步骤：
(1)利用摄像头采集驾驶员眨眼图像数据；
(2)根据眼睛睁开程度，将步骤1所采集的数据分为睁开和闭合两类；
(3)搭建梯形级联卷积神经网络，将步骤(2)生成的两类人眼数据传入网络模型进行训练；
(4)将自然驾驶状态下，通过视频采集的驾驶员人眼图像数据，并输入梯形级联卷积神经网络模型进行判断每一帧眼睛图像的开闭状态，并记录数据；
(5)通过步骤(4)的记录数据，计算驾驶疲劳参数PERCLOS值，其公式为：
优选的，步骤(1)中图像数据采集方法为利用摄像头采集十万张分辨率为25像素*25像素的眨眼图像数据。
优选的，步骤(1)中眨眼图像数据内容包含上眼睑、下眼睑和瞳孔。
优选的，步骤(3)中梯形级联卷积神经网络结构包含双线程计算结构，在短线程结构上包含2个卷积层，2个池化层，2个激活层以及一个全连接层；在长线程结构上包含8个卷积层，1个池化层，8个归一化层，3个叠加层。
优选的，步骤(3)中梯形级联卷积神经网络训练所使用的损失函数定义如下：
其中y表示期望输出，a表示神经元实际输出，wj表示第j个神经元权重，xj表示第j个神经元值，表示惩罚项系数，||w||2表示权重向量各个元素平方和再平方根；b表示每个神经元上的偏重参数。
优选的，步骤(4)中判断眼睛图像数据开闭状态，其公式为：
其中pi表示属于第i个类别的概率，l_pi表示对前一帧人眼数据属于第i个类别的概率；表示将第i类神经元计算结果归一化当[0,1]之间，表示激活函数总和，p0表示睁眼的概率，p1表示闭眼的概率。
优选的，通过判断驾驶员眼睛状态数据，实时计算疲劳值PERCLOS，当PERCLOS值到达0.15时，发出报警。
本发明的有益效果在于：
本发明通过十万张眨眼数据训练梯形级联深度卷积神经网络模型，利用短线程和长线程的并行学习方法，可以实时准确检测驾驶员的眼睛状态，并运用眼睛状态数据计算PERCLOS疲劳值，当PERCLOS疲劳值达到一定阈值时，系统会发出报警。运用视觉疲劳检测方式检测驾驶员眼睛疲劳状态，可以减少对驾驶员驾驶行为的干扰；通过视频流实时检测驾驶员的疲劳状态，当驾驶员处于轻度疲劳时，可提前发出预警；捕获数据仅包含上眼睑、下眼睑和瞳孔信息，减少识别特征，提高识别的准确性；通过双线程并行训练方式，利用短线程弱分类器与长线程强分类器联合决策，可以提高检测数据泛化能力，提高识别准确性。在损失函数中，添加惩罚项，可防止网络过拟合。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1附图为本发明的流程示意图。
图2附图为本发明的眼睛数据特征图。
图3附图为本发明的眨眼过程状态图。
图4附图为本发明梯形级联深度卷积神经网络模型结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参阅附图1-4，本发明提供了一种基于梯形级联卷积神经网络的驾驶疲劳检测方法，包括如下步骤：
S1：利用摄像头采集十万张分辨率为25像素*25像素的眨眼图像数据；
S2：根据眼睛睁开程度，将步骤S1所采集的数据分为睁开和闭合两类；如图3所示为眨眼过程状态图，当上眼睑覆盖瞳孔程度超过80％，则认为是闭眼状态，反之为睁眼状态。
S3：搭建梯形级联卷积神经网络，将步骤S2生成的两类人眼数据传入网络模型进行训练；
S4：将自然驾驶状态下，通过视频采集的驾驶员人眼图像数据，并输入梯形级联卷积神经网络模型进行判断每一帧眼睛图像的开闭状态，并记录数据；
S5：通过步骤S4的记录数据，计算驾驶疲劳参数PERCLOS值，其公式为：
在另一种实施例中，如图2所示，步骤S1中眨眼图像数据内容包含上眼睑、下眼睑和瞳孔。
在另一种实施例中，如图4为梯形级联卷积神经网络模型图，步骤S3中梯形级联卷积神经网络结构包含双线程计算结构，数据流从第一个节点通过复制的方式分别输入到短线程学习网络和长线程学习网络。在短线程结构上包含2个卷积层，2个池化层，2个激活层以及一个全连接层；在长线程结构上包含8个卷积层，1个池化层，8个归一化层，3个叠加层。
利用双线程学习方式，其最后一层训练的损失函数公式为：
其中y表示期望输出，a表示神经元实际输出，wj表示第j个神经元权重，xj表示第j个神经元值，表示惩罚项系数，||w||2表示权重向量各个元素平方和再平方根；b表示每个神经元上的偏重参数。
在另一种实施例中，如图1本发明流程示意图所示，在自然驾驶环境下，首先通过摄像头采集驾驶员眼睛数据，然后通过插值法对采集图像尺寸进行变化，接着将其转换为灰度图，并利用直方图均衡化增强图像对比相关，最后将眼睛数据图像输入梯形级联卷积神经网络模型进行判断眼睛的开闭状态，根据眨眼过程的连续性，前一次的眼睛状态可以作为当前眼睛状态的参考，其眼睛状态公式为：
其中pi表示属于第i个类别的概率，l_pi表示对前一帧人眼数据属于第i个类别的概率；表示将第i类神经元计算结果归一化当[0,1]之间，表示激活函数总和，p0表示睁眼的概率，p1表示闭眼的概率。
在另一种实施例中，通过判断驾驶员眼睛状态数据，实时计算疲劳值PERCLOS，当PERCLOS值到达0.15时，发出报警。
本发明通过十万张眨眼数据训练梯形级联深度卷积神经网络模型，利用短线程和长线程的并行学习方法，可以实时准确检测驾驶员的眼睛状态，并运用眼睛状态数据计算PERCLOS疲劳值，当PERCLOS疲劳值达到一定阈值时，系统会发出报警。运用视觉疲劳检测方式检测驾驶员眼睛疲劳状态，可以减少对驾驶员驾驶行为的干扰；通过视频流实时检测驾驶员的疲劳状态，当驾驶员处于轻度疲劳时，可提前发出预警；捕获数据仅包含上眼睑、下眼睑和瞳孔信息，减少识别特征，提高识别的准确性；通过双线程并行训练方式，利用短线程弱分类器与长线程强分类器联合决策，可以提高检测数据泛化能力，提高识别准确性。在损失函数中，添加惩罚项，可防止网络过拟合。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (7)

1.一种基于梯形级联卷积神经网络的驾驶疲劳检测方法，其特征在于，包括如下步骤：
(1)利用摄像头采集驾驶员眨眼图像数据；
(2)根据眼睛睁开程度，将步骤1所采集的数据分为睁开和闭合两类；
(3)搭建梯形级联卷积神经网络，将步骤(2)生成的两类人眼数据传入网络模型进行训练；
(4)将自然驾驶状态下，通过视频采集的驾驶员人眼图像数据，并输入梯形级联卷积神经网络模型进行判断每一帧眼睛图像的开闭状态，并记录数据；
(5)通过步骤(4)的记录数据，计算驾驶疲劳参数PERCLOS值，其公式为：
2.根据权利要求1所述的一种基于梯形级联卷积神经网络的驾驶疲劳检测方法，其特征在于，步骤(1)中图像数据采集方法为利用摄像头采集十万张分辨率为25像素*25像素的眨眼图像数据。
3.根据权利要求1或2所述的一种基于梯形级联卷积神经网络的驾驶疲劳检测方法，其特征在于，步骤(1)中眨眼图像数据内容包含上眼睑、下眼睑和瞳孔。
4.根据权利要求1所述的一种基于梯形级联卷积神经网络的驾驶疲劳检测方法，其特征在于，步骤(3)中梯形级联卷积神经网络结构包含双线程计算结构，在短线程结构上包含2个卷积层，2个池化层，2个激活层以及一个全连接层；在长线程结构上包含8个卷积层，1个池化层，8个归一化层，3个叠加层。
5.根据权利要求1或4所述的一种基于梯形级联卷积神经网络的驾驶疲劳检测方法，其特征在于，步骤(3)中梯形级联卷积神经网络训练所使用的损失函数定义如下：
其中y表示期望输出，a表示神经元实际输出，wj表示第j个神经元权重，xj表示第j个神经元值，表示惩罚项系数，||w||2表示权重向量各个元素平方和再平方根；b表示每个神经元上的偏重参数。
6.根据权利要求5所述的一种基于梯形级联卷积神经网络的驾驶疲劳检测方法，其特征在于，步骤(4)中判断眼睛图像数据开闭状态，其公式为：
其中pi表示属于第i个类别的概率，l_pi表示对前一帧人眼数据属于第i个类别的概率；表示将第i类神经元计算结果归一化当[0,1]之间，表示激活函数总和，p0表示睁眼的概率，p1表示闭眼的概率。
7.根据权利要求1所述的一种基于梯形级联卷积神经网络的驾驶疲劳检测方法，其特征在于，通过判断驾驶员眼睛状态数据，实时计算疲劳值PERCLOS，当PERCLOS值到达0.15时，发出报警。
CN201910426074.4A 2019-05-21 2019-05-21 一种基于梯形级联卷积神经网络的驾驶疲劳检测方法 Active CN110232327B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910426074.4A CN110232327B (zh) 2019-05-21 2019-05-21 一种基于梯形级联卷积神经网络的驾驶疲劳检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910426074.4A CN110232327B (zh) 2019-05-21 2019-05-21 一种基于梯形级联卷积神经网络的驾驶疲劳检测方法

Publications (2)

Publication Number Publication Date
CN110232327A true CN110232327A (zh) 2019-09-13
CN110232327B CN110232327B (zh) 2023-04-21

Family

ID=67861446

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910426074.4A Active CN110232327B (zh) 2019-05-21 2019-05-21 一种基于梯形级联卷积神经网络的驾驶疲劳检测方法

Country Status (1)

Country Link
CN (1) CN110232327B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110765980A (zh) * 2019-11-05 2020-02-07 中国人民解放军国防科技大学 一种异常驾驶的检测方法及装置
CN111191573A (zh) * 2019-12-27 2020-05-22 中国电子科技集团公司第十五研究所 一种基于眨眼规律识别的驾驶员疲劳检测方法
CN112580464A (zh) * 2020-12-08 2021-03-30 北京工业大学 一种上眼睑遮挡虹膜的判断方法及装置

Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102594927A (zh) * 2012-04-05 2012-07-18 高汉中 基于神经网络的云端服务器结构
CN103020594A (zh) * 2012-12-03 2013-04-03 清华大学苏州汽车研究院（吴江） 利用在线学习消除驾驶人个体差异性的疲劳状态检测方法
US20160132726A1 (en) * 2014-05-27 2016-05-12 Umoove Services Ltd. System and method for analysis of eye movements using two dimensional images
CN106128032A (zh) * 2016-07-05 2016-11-16 北京理工大学珠海学院 一种疲劳状态监测及预警方法及其系统
CN106203394A (zh) * 2016-07-26 2016-12-07 浙江捷尚视觉科技股份有限公司 基于人眼状态检测的疲劳驾驶安全监测方法
CN107194346A (zh) * 2017-05-19 2017-09-22 福建师范大学 一种汽车疲劳驾驶预测方法
CN107240118A (zh) * 2017-05-19 2017-10-10 成都信息工程大学 一种基于rgb颜色直方图的判别式跟踪方法
US20170364766A1 (en) * 2014-12-22 2017-12-21 Gonzalo Vaca First-Person Camera Based Visual Context Aware System
US20180012085A1 (en) * 2016-07-07 2018-01-11 Ants Technology (Hk) Limited. Computer Vision Based Driver Assistance Devices, Systems, Methods and Associated Computer Executable Code
CN108009634A (zh) * 2017-12-21 2018-05-08 美的集团股份有限公司 一种卷积神经网络的优化方法、装置及计算机存储介质
KR20180066610A (ko) * 2016-12-09 2018-06-19 동국대학교 산학협력단 회선 신경망 기반 눈 개폐 분류 장치 및 방법
US20180173934A1 (en) * 2016-12-21 2018-06-21 Volkswagen Ag System and methodologies for occupant monitoring utilizing digital neuromorphic (nm) data and fovea tracking
CN108294759A (zh) * 2017-01-13 2018-07-20 天津工业大学 一种基于cnn眼部状态识别的驾驶员疲劳检测方法
CN108629326A (zh) * 2018-05-14 2018-10-09 中国科学院自动化研究所 目标体的动作行为识别方法及装置
CN109002774A (zh) * 2018-06-28 2018-12-14 清华大学天津高端装备研究院 一种基于卷积神经网络的疲劳监测装置及方法
CN109272045A (zh) * 2018-09-25 2019-01-25 华南农业大学 一种基于神经网络和迁移学习的水果图像分类方法及装置
CN109271875A (zh) * 2018-08-24 2019-01-25 中国人民解放军火箭军工程大学 一种基于眉部和眼部关键点信息的疲劳检测方法
US20190077409A1 (en) * 2017-07-31 2019-03-14 Alcohol Countermeasure Systems (International) Inc. Non-intrusive assessment of fatigue in drivers using eye tracking
CN109509195A (zh) * 2018-12-12 2019-03-22 北京达佳互联信息技术有限公司 前景处理方法、装置、电子设备及存储介质
CN109740477A (zh) * 2018-12-26 2019-05-10 联创汽车电子有限公司 驾驶员疲劳检测系统及其疲劳检测方法

Patent Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102594927A (zh) * 2012-04-05 2012-07-18 高汉中 基于神经网络的云端服务器结构
CN103020594A (zh) * 2012-12-03 2013-04-03 清华大学苏州汽车研究院（吴江） 利用在线学习消除驾驶人个体差异性的疲劳状态检测方法
US20160132726A1 (en) * 2014-05-27 2016-05-12 Umoove Services Ltd. System and method for analysis of eye movements using two dimensional images
US20170364766A1 (en) * 2014-12-22 2017-12-21 Gonzalo Vaca First-Person Camera Based Visual Context Aware System
CN106128032A (zh) * 2016-07-05 2016-11-16 北京理工大学珠海学院 一种疲劳状态监测及预警方法及其系统
US20180012085A1 (en) * 2016-07-07 2018-01-11 Ants Technology (Hk) Limited. Computer Vision Based Driver Assistance Devices, Systems, Methods and Associated Computer Executable Code
CN106203394A (zh) * 2016-07-26 2016-12-07 浙江捷尚视觉科技股份有限公司 基于人眼状态检测的疲劳驾驶安全监测方法
KR20180066610A (ko) * 2016-12-09 2018-06-19 동국대학교 산학협력단 회선 신경망 기반 눈 개폐 분류 장치 및 방법
US20180173934A1 (en) * 2016-12-21 2018-06-21 Volkswagen Ag System and methodologies for occupant monitoring utilizing digital neuromorphic (nm) data and fovea tracking
CN108294759A (zh) * 2017-01-13 2018-07-20 天津工业大学 一种基于cnn眼部状态识别的驾驶员疲劳检测方法
CN107194346A (zh) * 2017-05-19 2017-09-22 福建师范大学 一种汽车疲劳驾驶预测方法
CN107240118A (zh) * 2017-05-19 2017-10-10 成都信息工程大学 一种基于rgb颜色直方图的判别式跟踪方法
US20190077409A1 (en) * 2017-07-31 2019-03-14 Alcohol Countermeasure Systems (International) Inc. Non-intrusive assessment of fatigue in drivers using eye tracking
CN108009634A (zh) * 2017-12-21 2018-05-08 美的集团股份有限公司 一种卷积神经网络的优化方法、装置及计算机存储介质
CN108629326A (zh) * 2018-05-14 2018-10-09 中国科学院自动化研究所 目标体的动作行为识别方法及装置
CN109002774A (zh) * 2018-06-28 2018-12-14 清华大学天津高端装备研究院 一种基于卷积神经网络的疲劳监测装置及方法
CN109271875A (zh) * 2018-08-24 2019-01-25 中国人民解放军火箭军工程大学 一种基于眉部和眼部关键点信息的疲劳检测方法
CN109272045A (zh) * 2018-09-25 2019-01-25 华南农业大学 一种基于神经网络和迁移学习的水果图像分类方法及装置
CN109509195A (zh) * 2018-12-12 2019-03-22 北京达佳互联信息技术有限公司 前景处理方法、装置、电子设备及存储介质
CN109740477A (zh) * 2018-12-26 2019-05-10 联创汽车电子有限公司 驾驶员疲劳检测系统及其疲劳检测方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110765980A (zh) * 2019-11-05 2020-02-07 中国人民解放军国防科技大学 一种异常驾驶的检测方法及装置
CN111191573A (zh) * 2019-12-27 2020-05-22 中国电子科技集团公司第十五研究所 一种基于眨眼规律识别的驾驶员疲劳检测方法
CN112580464A (zh) * 2020-12-08 2021-03-30 北京工业大学 一种上眼睑遮挡虹膜的判断方法及装置

Also Published As

Publication number Publication date
CN110232327B (zh) 2023-04-21

Similar Documents

Publication Publication Date Title
CN110119676A (zh) 一种基于神经网络的驾驶员疲劳检测方法
CN110232327A (zh) 一种基于梯形级联卷积神经网络的驾驶疲劳检测方法
CN109389806A (zh) 基于多信息融合的疲劳驾驶检测预警方法、系统及介质
CN106781282A (zh) 一种智能行车驾驶员疲劳预警系统
CN107085715A (zh) 一种电视智能检测用户睡眠状态的系统及方法
CN101908152B (zh) 一种基于用户定制分类器的眼睛状态识别方法
CN112131981B (zh) 一种基于骨架数据行为识别的司机疲劳检测方法
CN106128032A (zh) 一种疲劳状态监测及预警方法及其系统
CN110020632A (zh) 一种基于深度学习的人脸识别用于检测疲劳驾驶的方法
CN109815937A (zh) 疲劳状态智能识别方法、装置及电子设备
CN109740477A (zh) 驾驶员疲劳检测系统及其疲劳检测方法
CN106548132A (zh) 融合眼睛状态和心率检测的疲劳驾驶检测方法
CN106295474A (zh) 船舶驾驶员的疲劳检测方法、系统和服务器
CN108960216A (zh) 一种动态人脸检测和识别方法
CN109977867A (zh) 一种基于机器学习多特征融合的红外活体检测方法
CN109829409A (zh) 驾驶员情绪状态检测方法及系统
CN108446673A (zh) 一种基于面部识别的管制员疲劳预警方法
CN112733628A (zh) 基于MobileNet-V3的疲劳驾驶状态检测方法
Ribarić et al. A neural-network-based system for monitoring driver fatigue
CN113887386A (zh) 基于深度学习和机器学习的多特征融合的疲劳检测方法
Karacs et al. Bionic eyeglass: an audio guide for visually impaired
CN110176128A (zh) 一种驾驶员疲劳驾驶预警处理系统
Manjula et al. Driver inattention monitoring system based on the orientation of the face using convolutional neural network
CN110287795A (zh) 一种基于图像分析的眼部年龄检测方法
Roska et al. System aspects of a bionic eyeglass

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: Zhuang Qianyang

Inventor after: Zhang Kehua

Inventor after: Wang Jiayi

Inventor after: Chen Qianqian

Inventor after: Zhu Miaomiao

Inventor after: Ding Lu

Inventor after: Huang Xun

Inventor before: Zhuang Qianyang

Inventor before: Wang Jiayi

Inventor before: Chen Qianqian

Inventor before: Zhu Miaomiao

Inventor before: Ding Lu

Inventor before: Huang Xun

CB03 Change of inventor or designer information
GR01 Patent grant
GR01 Patent grant