CN109614901B - 驾驶员疲劳检测系统 - Google Patents

驾驶员疲劳检测系统 Download PDF

Info

Publication number
CN109614901B
CN109614901B CN201811449339.4A CN201811449339A CN109614901B CN 109614901 B CN109614901 B CN 109614901B CN 201811449339 A CN201811449339 A CN 201811449339A CN 109614901 B CN109614901 B CN 109614901B
Authority
CN
China
Prior art keywords
face
detection system
fatigue detection
convolution
driver
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811449339.4A
Other languages
English (en)
Other versions
CN109614901A (zh
Inventor
杨德尧
艾腾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xi'an Sift Information Technology Co ltd
Original Assignee
Xi'an Sift Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xi'an Sift Information Technology Co ltd filed Critical Xi'an Sift Information Technology Co ltd
Priority to CN201811449339.4A priority Critical patent/CN109614901B/zh
Publication of CN109614901A publication Critical patent/CN109614901A/zh
Application granted granted Critical
Publication of CN109614901B publication Critical patent/CN109614901B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818—Inactivity or incapacity of driver
    • B60W2040/0827—Inactivity or incapacity of driver due to sleepiness
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)
  • Emergency Alarm Devices (AREA)

Abstract

本发明涉及驾驶员疲劳检测系统，包括以下步骤：步骤一、在公开人脸数据集对疲劳检测系统进行预训练，使得检测系统的获取单元检测到是否人脸的精度达到99%；步骤二、将预训练完毕的疲劳检测系统获取当前驾驶员的面部数据，采用STN空间变换网络，对面部数据中的不同姿势的面部的鲁棒性进行调整；步骤三、将面部数据进行压缩、扩展，以至少进行一次卷积、池化以及Relu函数的处理，以得出当前面部所处的状态。本发明用疲劳检测系统用于提取驾驶员的面部特征，若获取的面部特征为瞌睡或睡眠状态，则启动报警装置进行警示。

Description

驾驶员疲劳检测系统
技术领域
本发明属于数据监测领域，具体涉及驾驶员疲劳检测系统。
背景技术
随着人们生活水平的提高，机动车和驾驶员的数量都有了很大增长，机动车驾驶日渐普及，与此同时，随之而来的是频繁发生的交通事故，对我们的生命财产安全造成很大威胁。调查显示，近年来全国涉及人员伤亡的道路交通事故210812起，共造成62387人死亡，虽较往年数据这两个数字均有所下降，但仍然不容忽视。查阅和分析我国在过去几年中交通事故的案例统计可以知道，在所有交通事故中，由于驾驶员在疲劳状态下驾驶而引发的交通事故在所有的道路交通事故中所占据的比例高达15-20%，令人触目惊心。
所以对驾驶员驾驶机动车过程中疲劳状态的监测显得十分必要，对驾驶员驾驶过程中疲劳状态的及时发现，并作出相应的提醒，减少甚至制止驾驶员疲劳驾驶，对于减少交通事故的发生数量，保护生命财产安全，有着非同一般的重要意义。
发明内容
为了解决现有技术的问题，本发明公开了驾驶员疲劳检测系统，利用疲劳检测系统用于提取驾驶员的面部特征，若获取的面部特征为瞌睡或睡眠状态，则启动报警装置进行警示。
驾驶员疲劳检测系统，包括以下步骤：
步骤一、在公开人脸数据集对疲劳检测系统进行预训练，使得检测系统的获取单元检测到是否人脸的精度达到99%；
步骤二、将预训练完毕的疲劳检测系统获取当前驾驶员的面部数据，采用STN空间变换网络，对面部数据中的不同姿势的面部的鲁棒性进行调整；
步骤三、将面部数据进行压缩、扩展，以至少进行一次卷积、池化以及Relu函数的处理，以得出当前面部所处的状态。
在本发明一个优选实施例中，经步骤三处理之后的面部数据包括眼睛特征以及嘴巴特征，结合眼睛特征以及口部特征定位出当前面部所处的状态。
在本发明一个优选实施例中，所述面部所处的状态包括正常、瞌睡或疲劳三种状态：
当眼睛睁开同时嘴巴闭合，认定为正常状态；
当眼睛睁开同时嘴巴张开，认定为瞌睡状态；
当眼睛闭合，认定为疲劳状态。
在本发明一个优选实施例中，所述步骤三中的卷积包括分组卷积、逐点卷积。
在本发明一个优选实施例中，所述分组卷积采用3X3的卷积核，逐点卷起采用1X1的卷积核。
在本发明一个优选实施例中，在步骤二与步骤三之间还设置人脸区域分割步骤，将面部数据进行RPN区域候选网络对面部数据进行分割以提取包括眼睛特征或/和嘴巴特征的面部数据。
在本发明一个优选实施例中，所述疲劳检测系统通过摄像头进行面部数据采集，所述摄像头位于主驾驶位前面区域。
一种疲劳检测仪，包括：一个或多个处理器；和存储器；一个或多个程序，其中所述一个或多个程序存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行上述方法中的任一方法的指令。
通过以上技术方案，本发明的技术效果在于：
本发明利用疲劳检测系统用于提取驾驶员的面部特征，若获取的面部特征为瞌睡或睡眠状态，则启动报警装置进行警示。
附图说明
图1为本发明的预训练精度的示意图。
图2为本发明的STN空间变换网络的变化情况图。
图3为本发明的卷积核的示意图。
具体实施方式
为进一步阐述本发明达成预定目的所采取的技术手段及功效，以下结合附图及实施例对本发明的具体实施方式、结构特征及其功效，详细说明如下。
在本发明的描述中，需要理解的是，术语“内置”、“外置”、“垂直”、“上”、“下”、“前”、“后”、“左”、“右”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。
术语“相连”、“连接”、“固定”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以通过具体情况理解上述术语在本发明中的具体含义。
实施例1：
驾驶员疲劳检测系统，包括以下步骤：
步骤一、在公开人脸数据集对疲劳检测系统进行预训练，使得检测系统的获取单元检测到是否人脸的精度达到99%；
具体地为在公开人脸数据集CASIA WebFace进行预训练，这样的好处在于：对面部变化、肤色、性别更敏感，收敛速度更快；如图1可以看出，经预训练之后的数据出错率较低，低于0.2%。
步骤二、将预训练完毕的疲劳检测系统获取当前驾驶员的面部数据，采用STN空间变换网络，对面部数据中的不同姿势的面部的鲁棒性进行调整；
如图2所示，有了STN空间变换网络后，检测完的人脸，直接就可以做对齐操作。关键的一点就是这个矫正过程是可以进行梯度传导的，直接使用ROI pooling取出人脸的feature map，输入STN就可以进行矫正，输出矫正后的人脸。后面还可以再接点卷积操作，直接就可以进行分类，人脸识别的训练。
步骤三、将面部数据进行压缩、扩展，以至少进行一次卷积、池化以及Relu函数的处理，以得出当前面部所处的状态。
池化操作是利用一个矩阵窗口在张量上进行扫描，将每个矩阵窗口中的值通过取最大值或者平均值来减少元素个数。每个池化操作的矩阵窗口大小是由ksize指定的，并且根据步长strides决定移动步长。矩阵窗口直接获得相应的面部所处的状态数据。
经步骤三处理之后的面部数据包括眼睛特征以及嘴巴特征，结合眼睛特征以及口部特征定位出当前面部所处的状态；上述面部所处的状态包括正常、瞌睡或疲劳三种状态：当眼睛睁开同时嘴巴闭合，认定为正常状态；当眼睛睁开同时嘴巴张开，认定为瞌睡状态；当眼睛闭合，认定为疲劳状态。
如图3所示，进一步地，所述步骤三中的卷积包括分组卷积、逐点卷积；分组卷积采用3X3的卷积核，逐点卷起采用1X1的卷积核。卷积(或pooling)核太大速度就慢，太小覆盖信息又不足。将采用分组卷积采用3X3的卷积核，逐点卷起采用1X1的卷积核，利用更好的卷积实现方式。
进一步地，在步骤二与步骤三之间还设置人脸区域分割步骤，将面部数据进行RPN区域候选网络对面部数据进行分割以提取包括眼睛特征或/和嘴巴特征的面部数据。
由于本发明中眼睛或嘴巴特征最能体现现有驾驶员的工作状态，故通过RPN区域候选网络分割数据后的数据，数据量较小，处理速度快，这样便于在驾驶过程中能迅速给出指令，提高运算速度以及准确率。
而本发明的疲劳检测系统通过摄像头进行面部数据采集，所述摄像头位于主驾驶位前面区域，即摄像头正对主驾驶位，能信息采集端就能迅速获得相关面部信息，然后送至处理器处理。
实施例2：
一种疲劳检测仪，包括：一个或多个处理器；和存储器；一个或多个程序，其中所述一个或多个程序存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行上述方法中的任一方法的指令。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (5)

1.驾驶员疲劳检测系统，包括以下步骤：
步骤一、在公开人脸数据集对疲劳检测系统进行预训练，使得检测系统的获取单元检测到是否人脸的精度达到99%；具体地为在公开人脸数据集CASIA WebFace进行预训练，这样的好处在于：对面部变化、肤色、性别更敏感，收敛速度更快；
步骤二、将预训练完毕的疲劳检测系统获取当前驾驶员的面部数据，采用STN空间变换网络，对面部数据中的不同姿势的面部的鲁棒性进行调整；有了STN空间变换网络后，检测完的人脸，直接就可以做对齐操作；关键的一点就是这个矫正过程是可以进行梯度传导的，直接使用ROI pooling取出人脸的feature map，输入STN就可以进行矫正，输出矫正后的人脸；后面还可以再接点卷积操作，直接就可以进行分类，人脸识别的训练；
步骤三、将面部数据进行压缩、扩展，以至少进行一次卷积、池化以及Relu函数的处理，以得出当前面部所处的状态；
池化操作是利用一个矩阵窗口在张量上进行扫描，将每个矩阵窗口中的值通过取最大值或者平均值来减少元素个数；每个池化操作的矩阵窗口大小是由ksize指定的，并且根据步长strides决定移动步长；矩阵窗口直接获得相应的面部所处的状态数据；
经步骤三处理之后的面部数据包括眼睛特征以及嘴巴特征，结合眼睛特征以及口部特征定位出当前面部所处的状态；上述面部所处的状态包括正常、瞌睡或疲劳三种状态：当眼睛睁开同时嘴巴闭合，认定为正常状态；当眼睛睁开同时嘴巴张开，认定为瞌睡状态；当眼睛闭合，认定为疲劳状态。
2.根据权利要求1所述驾驶员疲劳检测系统，其特征在于，所述步骤三中的卷积包括分组卷积、逐点卷积。
3.根据权利要求2所述驾驶员疲劳检测系统，其特征在于，所述分组卷积采用3X3的卷积核，所述逐点卷积采用1X1的卷积核。
4.根据权利要求1所述驾驶员疲劳检测系统，其特征在于，在步骤二与步骤三之间还设置人脸区域分割步骤，将面部数据进行RPN区域候选网络对面部数据进行分割以提取包括眼睛特征或/和嘴巴特征的面部数据。
5.根据权利要求1-4之一所述驾驶员疲劳检测系统，其特征在于，所述疲劳检测系统通过摄像头进行面部数据采集，所述摄像头位于主驾驶位前面区域。
CN201811449339.4A 2018-11-30 2018-11-30 驾驶员疲劳检测系统 Active CN109614901B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811449339.4A CN109614901B (zh) 2018-11-30 2018-11-30 驾驶员疲劳检测系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811449339.4A CN109614901B (zh) 2018-11-30 2018-11-30 驾驶员疲劳检测系统

Publications (2)

Publication Number Publication Date
CN109614901A CN109614901A (zh) 2019-04-12
CN109614901B true CN109614901B (zh) 2023-06-20

Family

ID=66006579

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811449339.4A Active CN109614901B (zh) 2018-11-30 2018-11-30 驾驶员疲劳检测系统

Country Status (1)

Country Link
CN (1) CN109614901B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102254151A (zh) * 2011-06-16 2011-11-23 清华大学 一种基于面部视频分析的驾驶人疲劳检测方法
WO2018137595A1 (zh) * 2017-01-25 2018-08-02 丁贤根 一种面部识别方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101480926A (zh) * 2008-12-31 2009-07-15 广州伟韬电子科技有限公司 一种驾驶员疲劳智能监控系统和疲劳骚扰器
CN101692980B (zh) * 2009-10-30 2011-06-08 深圳市汉华安道科技有限责任公司 疲劳驾驶检测方法及装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102254151A (zh) * 2011-06-16 2011-11-23 清华大学 一种基于面部视频分析的驾驶人疲劳检测方法
WO2018137595A1 (zh) * 2017-01-25 2018-08-02 丁贤根 一种面部识别方法

Also Published As

Publication number Publication date
CN109614901A (zh) 2019-04-12

Similar Documents

Publication Publication Date Title
CN108053615B (zh) 基于微表情的驾驶员疲劳驾驶状态检测方法
CN104013414B (zh) 一种基于移动智能手机的驾驶员疲劳检测系统
CN109389806B (zh) 基于多信息融合的疲劳驾驶检测预警方法、系统及介质
Devi et al. Driver fatigue detection based on eye tracking
CN110119676A (zh) 一种基于神经网络的驾驶员疲劳检测方法
CN105769120A (zh) 疲劳驾驶检测方法和装置
CN105654753A (zh) 一种智能车载安全驾驶辅助方法及系统
US7620216B2 (en) Method of tracking a human eye in a video image
CN101593425A (zh) 一种基于机器视觉的疲劳驾驶监控方法及系统
WO2011050734A1 (zh) 疲劳驾驶检测方法、装置及汽车
CN102263937A (zh) 基于视频检测的驾驶员驾驶行为监控装置及监控方法
CN108596087B (zh) 一种基于双网络结果的驾驶疲劳程度检测回归模型
CN104881956A (zh) 一种疲劳驾驶预警系统
Flores et al. Driver drowsiness detection system under infrared illumination for an intelligent vehicle
CN112754498B (zh) 驾驶员的疲劳检测方法、装置、设备及存储介质
CN109740477A (zh) 驾驶员疲劳检测系统及其疲劳检测方法
CN111626272A (zh) 一种基于深度学习的驾驶员疲劳监测系统
CN107563346A (zh) 一种基于人眼图像处理实现驾驶员疲劳判别的方法
JP5720627B2 (ja) 人検出装置
CN112528843A (zh) 一种融合面部特征的机动车驾驶人疲劳检测方法
CN103729646B (zh) 一种眼睛图像有效性检测方法
CN115937830A (zh) 一种面向特种车辆的驾驶员疲劳检测方法
Joseph et al. Real time drowsiness detection using Viola jones & KLT
CN109614901B (zh) 驾驶员疲劳检测系统
Mašanović et al. Driver monitoring using the in-vehicle camera

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant