CN110194174B - 一种疲劳驾驶监控系统 - Google Patents

一种疲劳驾驶监控系统 Download PDF

Info

Publication number
CN110194174B
CN110194174B CN201910441138.8A CN201910441138A CN110194174B CN 110194174 B CN110194174 B CN 110194174B CN 201910441138 A CN201910441138 A CN 201910441138A CN 110194174 B CN110194174 B CN 110194174B
Authority
CN
China
Prior art keywords
fatigue
processor
distance
vibration motor
column
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910441138.8A
Other languages
English (en)
Other versions
CN110194174A (zh
Inventor
廖列法
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangxi University of Science and Technology
Original Assignee
Jiangxi University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangxi University of Science and Technology filed Critical Jiangxi University of Science and Technology
Priority to CN201910441138.8A priority Critical patent/CN110194174B/zh
Publication of CN110194174A publication Critical patent/CN110194174A/zh
Application granted granted Critical
Publication of CN110194174B publication Critical patent/CN110194174B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W50/16—Tactile feedback to the driver, e.g. vibration or force feedback to the driver on the steering wheel or the accelerator pedal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B6/00—Tactile signalling systems, e.g. personal calling systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818—Inactivity or incapacity of driver
    • B60W2040/0827—Inactivity or incapacity of driver due to sleepiness

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Emergency Management (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Business, Economics & Management (AREA)
  • Ophthalmology & Optometry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Traffic Control Systems (AREA)
  • Emergency Alarm Devices (AREA)

Abstract

本发明涉及一种疲劳驾驶监控系统，包括红外摄像头、触觉反馈装置、距离监测装置及处理器，所述红外摄像头、触觉反馈装置及距离监测装置分别与处理器连接；所述红外摄像头设置于方向盘的上部中央，触觉反馈装置包括振动电机以及压力传感器，分别安装于方向盘的左右两侧；距离监测装置包括三个红外距离传感器，分别位于车辆左侧A柱、右侧A柱及驾驶员座椅头枕，所述处理器包括图像处理模块、图像分析模块以及疲劳判定模块；连续处理多帧图像后，若最大高度差ΔH低于阈值或眼睛区域面积ΔS低于阈值，则认为第一疲劳条件成立；所述处理器即控制所述振动电机工作；能多角度判断疲劳等级、安全可靠，能针对不同疲劳程度，能给予适当的提醒，适用于防止在高速公路上进行疲劳驾驶。

Description

一种疲劳驾驶监控系统
技术领域
本发明属于车辆安全领域，具体涉及一种疲劳驾驶监控系统。
背景技术
车辆驾驶人疲劳时,判断能力下降、反应迟钝和操作失误增加。驾驶人处于轻微疲劳时，会出现换档不及时、不准确；驾驶人处于中度疲劳时，操作动作呆滞，有时甚至会忘记操作；驾驶人处于重度疲劳时，往往会下意识操作或出现短时间睡眠现象，严重时会失去对车辆的控制能力。如果仍勉强驾驶车辆，则可能导致交通事故的发生。因此，对疲劳驾驶检测很有必要，能有效地提醒驾驶员。
疲劳驾驶检测是安全驾驶中的重要部分，如何自动的检测行驶中的驾驶员的疲劳状态，并提醒驾驶员安全驾驶，这一问题已经成为一个广受关注的问题。关于疲劳检测目前有很多种方法。比较主流是检测驾驶员的脸部特征，进行判断，然而，由于图像识别技术受光线环境影响大，作为单一的判断依据，并不是行之有效的办法，容易出现误判，对驾驶员造成不必要的干扰。特别是高速行车时，是很危险的。
疲劳驾驶主要发生在长时间高速行驶，在此状态下，方向盘转动幅度小、驾驶员坐姿单一，因此，可以通过结合脸面特征识别及驾驶员的姿态来进行多方面判定，确保对疲劳驾驶者及时正确的提醒。
发明内容
本发明为了解决上述问题，提出一种疲劳驾驶监控系统，能多角度判断疲劳等级、安全可靠，能针对不同疲劳程度，能给予适当的提醒，安全性高，不易误判，不会对驾驶员造成干扰的特点，适用于防止在高速公路上进行疲劳驾驶。本发明采用的技术方案为：
一种疲劳驾驶监控系统，包括红外摄像头、触觉反馈装置、距离监测装置及处理器，所述红外摄像头、触觉反馈装置及距离监测装置分别与处理器连接；
所述红外摄像头设置于方向盘的上部中央，触觉反馈装置包括振动电机以及压力传感器，分别安装于方向盘的左右两侧；
距离监测装置包括三个红外距离传感器，分别位于车辆左侧A柱、右侧A柱及驾驶员座椅头枕，用于检测头部在车辆内的位置变化，即头部与左侧A柱之间的距离L1、头部与右侧A柱之间的距离L2及头部与头枕之间的距离L3；
所述处理器包括图像处理模块、图像分析模块以及疲劳判定模块；当车速高于预定值时，所述监控系统启动，所述红外摄像头将实时采集的图像传递至所述处理器中的图像处理模块，所述图像处理模块对图像进行预处理，通过人脸检测算法，检测人脸位置；基于Sobel算子，找出眼睛边缘特征点位置，根据其像素点位置计算上眼皮和下眼皮的最大高度差或眼睛区域面积；图像分析模块将预先存储的驾驶员脸部信息与所述图像处理模块处理后的结果进行对比；
连续处理多帧图像后，若最大高度差ΔH低于阈值或眼睛区域面积ΔS低于阈值，则认为第一疲劳条件成立；所述处理器还采集所述触觉反馈装置中的压力传感器的信号，若驾驶员手握方向盘的压力在一定时间内的压力变化值低于阈值，则认为第二疲劳条件成立；所述处理器还采集所述红外距离传感器的数据，若头部与左侧A柱之间的距离变化值ΔL1、头部与右侧A柱之间的距离变化值ΔL2及头部与头枕之间的距离变化值ΔL3中的两个低于阈值，则认为第三疲劳条件成立；
当第一疲劳条件成立，不论第二疲劳条件、第二疲劳条件是否成立，则疲劳判定模块认为处于疲劳状态，所述处理器即控制所述振动电机工作。
优选地，所述处理器还包括声音报警装置，且所述振动电机的振动幅度由弱到强依次分为一级、二级及三级，当所述振动电机振动幅度为三级时，所述声音报警装置启动。
优选地，当仅第一疲劳条件成立时，所述疲劳判定模块认为处于一般疲劳状态，所述振动电机产生一级振动；当第一疲劳条件和第二疲劳条件成立时，疲劳判定模块认为处于较为疲劳状态，所述振动电机产生二级振动；当第一疲劳条件、第二疲劳条件以及第三疲劳条件同时成立时，疲劳判定模块认为处于非常疲劳状态，所述振动电机产生三级振动。
优选地，当判定为非常疲劳状态时，若在预设时间内，第一疲劳条件仍未解除，则所述处理器向车辆ECU发送切断发动机油门的指令，或进行自动制动介入。
优选地，所述图像处理模块处理的图像时间间隔为0.05～0.2s，若最大高度差ΔH低于阈值或眼睛区域面积ΔS低于阈值持续时间不超过0.1s，则图像分析模块认为是“眨眼”动作，不进行下一步判断。
优选地，所述对图像进行预处理包括灰度化及高斯滤波处理，所述图像处理模块通过人脸对齐算法SDM-LBF，检测人脸位置；且将驾驶员眼睛区域图像输入到卷积神经网络进行深度学习和训练。
优选地，所述红外摄像头主体安装于方向盘的轮辐管体内，所述振动电机安装于方向盘两侧的轮缘内壁，所述压力传感器安装于方向盘两侧的轮缘内壁，与对应于振动电机位置相对应。
本发明相对现有技术，具有如下有益效果：
(1)本发明检测的参考数据多，综合考虑了面脸特征以及驾驶员的姿态，判断准确。包括计算上眼皮和下眼皮的最大高度差ΔH或眼睛区域面积ΔS、头部与左侧A柱之间的距离变化值ΔL1、头部与右侧A柱之间的距离变化值ΔL2、头部与头枕之间的距离变化值ΔL3，还包括压力传感器，根据不同数据结果，等于不同的疲劳等级，适应性地给予提醒。
(2)本发明核心的参考数据是上眼皮和下眼皮的最大高度差ΔH或眼睛区域面积ΔS，这两个参数准确地反应的疲劳时，闭眼的状态，能够更准确地进行确认是否疲劳。
(3)本发明的提醒方式是设置于方向盘两侧的振动电机。由于疲劳驾驶常发生于长时间的高速行驶，方向盘转动幅度小，大部分的情况下，方向盘处于正向位置，两手常放置于方向盘两侧，通过振动电机对驾驶员的手进行触觉反馈，能更及时、更易触发驾驶员的警觉性。
(4)本发明的距离监测装置在车辆的左侧A柱、右侧A柱及驾驶员座椅头枕上布置三个红外距离传感器，用于检测头部在车辆内的位置变化，从而判断是否疲劳；基于的理由在于驾驶员在疲劳状态下，肢体(如头部)移动量小。
(5)本发明的硬件设备易于安装，方便生产或改装。
附图说明
图1为本发明的一种疲劳驾驶监控系统整体构成示意图；
图2为本发明的一种疲劳驾驶监控系统的安装结构示意图；
图3为本发明的一种疲劳驾驶监控系统的距离传感器布置示意图；
图4为本发明的一种疲劳驾驶监控系统的疲劳判断示意图。
其中附图标记对应的名称为：
1红外摄像头、2振动电机、3压力传感器、4方向盘
具体实施例
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述；显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要说明的是，术语“上”、“下”、“内”、“外”、“顶/底端”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“设置有”、“套设/接”、“连接”等，应做广义理解，例如“连接”，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
实施例一
如图1-3所示，一种疲劳驾驶监控系统，防止在高速公路上进行疲劳驾驶，包括红外摄像头1、触觉反馈装置、距离监测装置及处理器，红外摄像头1、触觉反馈装置及距离监测装置分别与处理器连接；
红外摄像头设置于方向盘4的上部中央，触觉反馈装置包括振动电机2以及压力传感器3，分别安装于方向盘的左右两侧；
距离监测装置包括三个红外距离传感器，分别位于车辆左侧A柱、右侧A柱及驾驶员座椅头枕，用于检测头部在车辆内的位置变化，即头部与左侧A柱之间的距离L1、头部与右侧A柱之间的距离L2及头部与头枕之间的距离L3；
处理器包括图像处理模块、图像分析模块以及疲劳判定模块；当车速高于预定值时，监控系统启动，红外摄像头将实时采集的图像传递至处理器中的图像处理模块，图像处理模块对图像进行预处理，通过人脸检测算法，检测人脸位置；基于Sobel算子，找出眼睛边缘特征点位置，根据其像素点位置计算上眼皮和下眼皮的最大高度差或眼睛区域面积；图像分析模块将预先存储的驾驶员脸部信息与图像处理模块处理后的结果进行对比；
连续处理多帧图像后，若最大高度差ΔH低于阈值或眼睛区域面积ΔS低于阈值，则认为第一疲劳条件成立；处理器还采集触觉反馈装置中的压力传感器的信号，若驾驶员手握方向盘的压力在一定时间内的压力变化值低于阈值，则认为第二疲劳条件成立；处理器还采集红外距离传感器的数据，若头部与左侧A柱之间的距离变化值ΔL1、头部与右侧A柱之间的距离变化值ΔL2及头部与头枕之间的距离变化值ΔL3中的两个低于阈值，则认为第三疲劳条件成立；
当第一疲劳条件成立，不论第二疲劳条件、第三疲劳条件是否成立，则疲劳判定模块认为处于疲劳状态，处理器即控制振动电机工作。
处理器还包括声音报警装置，且振动电机的振动幅度由弱到强依次分为一级、二级及三级，当振动电机振动幅度为三级时，声音报警装置启动。
当仅第一疲劳条件成立时，疲劳判定模块认为处于一般疲劳状态，振动电机产生一级振动；当第一疲劳条件和第二疲劳条件成立时，疲劳判定模块认为处于较为疲劳状态，振动电机产生二级振动；当第一疲劳条件、第二疲劳条件以及第三疲劳条件同时成立时，疲劳判定模块认为处于非常疲劳状态，振动电机产生三级振动。
当判定为非常疲劳状态时，若在预设时间内，第一疲劳条件仍未解除，则处理器向车辆ECU发送切断发动机油门的指令，或进行自动制动介入。
另外，图像处理模块处理的图像时间间隔为0.05～0.2s，若最大高度差ΔH低于阈值或眼睛区域面积ΔS低于阈值持续时间不超过0.1s，则图像分析模块认为是“眨眼”动作，不进行下一步判断。
对图像进行预处理包括灰度化及高斯滤波处理，图像处理模块通过人脸对齐算法SDM-LBF，检测人脸位置；且将驾驶员眼睛区域图像输入到卷积神经网络进行深度学习和训练。
对于SDM人脸对齐算法，其核心内容在于特征到偏移量的映射，公式为：
Ix＝R，其中I是特征，x是映射矩阵，R是偏移量。
SDM人脸对齐方法训练的目的就是得到映射矩阵x，步骤如下：1)归一化样本，使样本的尺度统一；2)计算均值人脸；3)将均值人脸作为估计人脸放在样本上，使均值中心和原始人脸形状中心对齐；4)计算基于每一个均值人脸的标记点的特征，即sift、surf或hog函数；5)将所有点的特征串在一起，形成样本特征，所有样本特征形成矩阵I；6)计算估计人脸和真实人脸之间的偏移量，并形成矩阵R；7)解线性方程Ix＝R，matlab中可用x＝I\R，lapack中可用函数dgelsd。
红外摄像头主体安装于方向盘的轮辐管体内，振动电机安装于方向盘两侧的轮缘内壁，压力传感器安装于方向盘两侧的轮缘外壁，与对应于振动电机位置相对应；此处的“方向盘两侧”指的是方向盘没有转向夹角或夹角很小的情况，因为，驾驶员易在直线行驶时因疲劳闭眼，在转弯时，不易出现疲劳闭眼。
本发明的应用场景在于防止在高速公路上进行疲劳驾驶，本发明的具体工作过程如下：在车辆上安装本发明的硬件装置，如红外摄像头、振动电机、压力传感器、红外距离传感器及处理器；当在车辆高速公路上行驶的车速超过预计速度时，例如，车速下限为80Km/h，本发明的疲劳驾驶监控系统启动，红外摄像头实时捕捉驾驶员的面部表情，当检测到上眼皮和下眼皮的最大高度差ΔH低于阈值或眼睛区域面积ΔS低于阈值，即第一疲劳条件成立，处理器即向振动电机发出信号进行振动；进一步地，处理器还参考压力传感器的信号以及红外距离传感器的数据，若驾驶员手握方向盘的压力在一定时间内的压力变化值低于阈值，则认为第二疲劳条件成立；处理器还采集红外距离传感器的数据，若头部与左侧A柱之间的距离变化值ΔL1、头部与右侧A柱之间的距离变化值ΔL2及头部与头枕之间的距离变化值ΔL3中的两个低于阈值，则认为第三疲劳条件成立；振动电机的振动强度受第二疲劳条件、第三疲劳条件的影响；当第一疲劳条件、第二疲劳条件以及第三疲劳条件同时成立时，疲劳判定模块认为处于非常疲劳状态，振动电机产生三级振动，此时，声音报警会启动。
实施例二
一种疲劳驾驶监控系统，防止在高速公路上进行疲劳驾驶，包括红外摄像头1、触觉反馈装置、距离监测装置及处理器，红外摄像头1、触觉反馈装置及距离监测装置分别与处理器连接；
红外摄像头设置于方向盘4的上部中央，触觉反馈装置包括振动电机2以及压力传感器3，分别安装于方向盘的左右两侧；
距离监测装置包括三个红外距离传感器，分别位于车辆左侧A柱、右侧A柱及驾驶员座椅头枕，用于检测头部在车辆内的位置变化，即头部与左侧A柱之间的距离L1、头部与右侧A柱之间的距离L2及头部与头枕之间的距离L3；
处理器包括图像处理模块、图像分析模块以及疲劳判定模块；当车速高于预定值时，监控系统启动，红外摄像头将实时采集的图像传递至处理器中的图像处理模块，图像处理模块对图像进行预处理，通过人脸检测算法，检测人脸位置；基于Sobel算子，找出眼睛边缘特征点位置，根据其像素点位置计算上眼皮和下眼皮的最大高度差或眼睛区域面积；图像分析模块将预先存储的驾驶员脸部信息与图像处理模块处理后的结果进行对比；
连续处理多帧图像后，若最大高度差ΔH低于阈值或眼睛区域面积ΔS低于阈值，则认为第一疲劳条件成立；处理器还采集触觉反馈装置中的压力传感器的信号，若驾驶员手握方向盘的压力在一定时间内的压力变化值低于阈值，则认为第二疲劳条件成立；处理器还采集红外距离传感器的数据，若头部与左侧A柱之间的距离变化值ΔL1、头部与右侧A柱之间的距离变化值ΔL2及头部与头枕之间的距离变化值ΔL3中的两个低于阈值，则认为第三疲劳条件成立；
当第一疲劳条件不成立时，若第二疲劳条件、第三疲劳条件均成立，则疲劳判定模块认为处于疲劳状态，处理器即控制振动电机工作。
此种情况是针对光线不足或驾驶员眼睛被遮挡(如带眼镜)的环境下，而提供的疲劳驾驶监控模式。
实施例三
一种疲劳驾驶监控系统，防止在高速公路上进行疲劳驾驶，包括红外摄像头1、触觉反馈装置、距离监测装置及处理器，红外摄像头1、触觉反馈装置及距离监测装置分别与处理器连接；
红外摄像头设置于方向盘4的上部中央，触觉反馈装置包括振动电机2以及压力传感器3，分别安装于方向盘的左右两侧；
距离监测装置包括三个红外距离传感器，分别位于车辆左侧A柱、右侧A柱及驾驶员座椅头枕，用于检测头部在车辆内的位置变化，即头部与左侧A柱之间的距离L1、头部与右侧A柱之间的距离L2及头部与头枕之间的距离L3；
处理器包括图像处理模块、图像分析模块以及疲劳判定模块；当车速高于预定值时，监控系统启动，红外摄像头将实时采集的图像传递至处理器中的图像处理模块，图像处理模块对图像进行预处理，通过人脸检测算法，检测人脸位置；基于Sobel算子，找出眼睛边缘特征点位置，根据其像素点位置计算上眼皮和下眼皮的最大高度差或眼睛区域面积；图像分析模块将预先存储的驾驶员脸部信息与图像处理模块处理后的结果进行对比；
连续处理多帧图像后，若最大高度差ΔH低于阈值或眼睛区域面积ΔS低于阈值，则认为第一疲劳条件成立；处理器还采集触觉反馈装置中的压力传感器的信号，若驾驶员手握方向盘的压力在一定时间内的压力变化值低于阈值，则认为第二疲劳条件成立；处理器还采集红外距离传感器的数据，若头部与左侧A柱之间的距离变化值ΔL1、头部与右侧A柱之间的距离变化值ΔL2及头部与头枕之间的距离变化值ΔL3中的两个低于阈值，则认为第三疲劳条件成立；
当第一疲劳条件成立，不论第二疲劳条件、第三疲劳条件是否成立，则疲劳判定模块认为处于疲劳状态，处理器即控制振动电机工作。
所述红外摄像头1安装于仪表板上，大致在驾驶员正前方的位置，所述振动电机有2至4个，分别均匀分布于方向盘4轮缘内壁，所述压力传感器有2至4个，分别均匀分布于方向盘4两侧的轮缘外壁。
以上所述，仅为本发明较佳的具体实施方式；但本发明的保护范围并不局限于此。任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其改进构思加以等同替换或改变，都应涵盖在本发明的保护范围内。

Claims (4)

1.一种疲劳驾驶监控系统，其特征在于，包括红外摄像头(1)、触觉反馈装置、距离监测装置及处理器，所述红外摄像头(1)、触觉反馈装置及距离监测装置分别与处理器连接；
所述红外摄像头(1)设置于方向盘(4)的上部中央，触觉反馈装置包括振动电机(2)以及压力传感器(3)，分别安装于方向盘(4)的左右两侧；
距离监测装置包括三个红外距离传感器，分别位于车辆左侧A柱、右侧A柱及驾驶员座椅头枕，用于检测头部在车辆内的位置变化，即头部与左侧A柱之间的距离L1、头部与右侧A柱之间的距离L2及头部与头枕之间的距离L3；
所述处理器包括图像处理模块、图像分析模块以及疲劳判定模块；当车速高于预定值时，所述监控系统启动，所述红外摄像头(1)将实时采集的图像传递至所述处理器中的图像处理模块，所述图像处理模块对图像进行预处理，通过人脸检测算法，检测人脸位置；基于Sobel算子，找出眼睛边缘特征点位置，根据其像素点位置计算上眼皮和下眼皮的最大高度差或眼睛区域面积；图像分析模块将预先存储的驾驶员脸部信息与所述图像处理模块处理后的结果进行对比；
连续处理多帧图像后，若最大高度差ΔH低于阈值或眼睛区域面积ΔS低于阈值，则认为第一疲劳条件成立；所述处理器还采集所述触觉反馈装置中的压力传感器(3)的信号，若驾驶员手握方向盘(4)的压力在一定时间内的压力变化值低于阈值，则认为第二疲劳条件成立；所述处理器还采集所述红外距离传感器的数据，若头部与左侧A柱之间的距离变化值ΔL1、头部与右侧A柱之间的距离变化值ΔL2及头部与头枕之间的距离变化值ΔL3中的两个低于阈值，则认为第三疲劳条件成立；
当第一疲劳条件成立，不论第二疲劳条件、第三疲劳条件是否成立，则疲劳判定模块认为处于疲劳状态，所述处理器即控制所述振动电机(2)工作；
所述处理器还包括声音报警装置，且所述振动电机(2)的振动幅度由弱到强依次分为一级、二级及三级，当所述振动电机(2)振动幅度为三级时，所述声音报警装置启动；
当仅第一疲劳条件成立时，所述疲劳判定模块认为处于一般疲劳状态，所述振动电机(2)产生一级振动；当第一疲劳条件和第二疲劳条件成立时，疲劳判定模块认为处于较为疲劳状态，所述振动电机(2)产生二级振动；当第一疲劳条件、第二疲劳条件以及第三疲劳条件同时成立时，疲劳判定模块认为处于非常疲劳状态，所述振动电机(2)产生三级振动；
所述图像处理模块处理的图像时间间隔为0.05～0.2s，若最大高度差ΔH低于阈值或眼睛区域面积ΔS低于阈值持续时间不超过0.1s，则图像分析模块认为是“眨眼”动作，不进行下一步判断。
2.根据权利要求1所述的一种疲劳驾驶监控系统，其特征在于，当判定为非常疲劳状态时，若在预设时间内，第一疲劳条件仍未解除，则所述处理器向车辆ECU发送切断发动机油门的指令，或进行自动制动介入。
3.根据权利要求1所述的一种疲劳驾驶监控系统，其特征在于，所述对图像进行预处理包括灰度化及高斯滤波处理，所述图像处理模块通过人脸对齐算法SDM-LBF，检测人脸位置；且将驾驶员眼睛区域图像输入到卷积神经网络进行深度学习和训练。
4.根据权利要求1所述的一种疲劳驾驶监控系统，其特征在于，所述红外摄像头(1)主体安装于方向盘(4)的轮辐管体内，所述振动电机(2)安装于方向盘(4)两侧的轮缘内壁，所述压力传感器(3)安装于方向盘(4)两侧的轮缘外壁。
CN201910441138.8A 2019-05-24 2019-05-24 一种疲劳驾驶监控系统 Active CN110194174B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910441138.8A CN110194174B (zh) 2019-05-24 2019-05-24 一种疲劳驾驶监控系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910441138.8A CN110194174B (zh) 2019-05-24 2019-05-24 一种疲劳驾驶监控系统

Publications (2)

Publication Number Publication Date
CN110194174A CN110194174A (zh) 2019-09-03
CN110194174B true CN110194174B (zh) 2021-02-12

Family

ID=67753053

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910441138.8A Active CN110194174B (zh) 2019-05-24 2019-05-24 一种疲劳驾驶监控系统

Country Status (1)

Country Link
CN (1) CN110194174B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110491091A (zh) * 2019-09-08 2019-11-22 湖北汽车工业学院 一种商用车驾驶员疲劳状态监测预警系统
CN110568770B (zh) * 2019-09-30 2021-07-13 珠海格力电器股份有限公司 一种控制智能家居设备的方法及控制设备
CN112298176B (zh) * 2019-12-27 2022-11-04 苏州鱼得水电气科技有限公司 一种基于大数据的车辆变道监控和预测系统
GB2597492B (en) * 2020-07-23 2022-08-03 Nissan Motor Mfg Uk Ltd Gesture recognition system
CN112185066A (zh) * 2020-09-17 2021-01-05 北京汽车集团越野车有限公司 防疲劳驾驶装置及其方法、车辆
CN113442934A (zh) * 2021-06-25 2021-09-28 西安芯海微电子科技有限公司 疲劳驾驶预警方法及系统
CN114373280A (zh) * 2022-01-20 2022-04-19 一汽解放汽车有限公司 驾驶行为监测系统及监测方法
CN115973256A (zh) * 2022-11-08 2023-04-18 哈尔滨理工大学 一种基于体传感器智能可测的方向盘及主动预警的方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102436715A (zh) * 2011-11-25 2012-05-02 大连海创高科信息技术有限公司 疲劳驾驶检测方法
CN105354985A (zh) * 2015-11-04 2016-02-24 中国科学院上海高等研究院 疲劳驾驶监控装置及方法
CN106530623A (zh) * 2016-12-30 2017-03-22 南京理工大学 一种疲劳驾驶检测装置及检测方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101540090B (zh) * 2009-04-14 2011-06-15 华南理工大学 基于多元信息融合的驾驶员疲劳监测方法
CN103600692B (zh) * 2013-11-11 2016-04-20 徐志兴 车辆智能提示方法及其装置
CN104881955B (zh) * 2015-06-16 2017-07-18 华中科技大学 一种驾驶员疲劳驾驶检测方法及系统
DE102015122245A1 (de) * 2015-12-18 2017-06-22 Valeo Schalter Und Sensoren Gmbh Verfahren zum Betreiben eines Kraftfahrzeugs mit einerZustandsüberwachungseinrichtung, Fahrerassistenzsystem und Kraftfahrzeug
CN205381146U (zh) * 2016-02-22 2016-07-13 魏星 汽车安全行驶综合装置
CN105788176B (zh) * 2016-05-25 2018-01-26 厦门理工学院 疲劳驾驶监测提醒方法及系统
CN107862832A (zh) * 2017-11-05 2018-03-30 佛山鑫进科技有限公司 一种驾驶员疲劳检测系统
CN108839658B (zh) * 2018-05-07 2021-03-26 威马智慧出行科技（上海）有限公司 一种疲劳驾驶监测系统和方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102436715A (zh) * 2011-11-25 2012-05-02 大连海创高科信息技术有限公司 疲劳驾驶检测方法
CN105354985A (zh) * 2015-11-04 2016-02-24 中国科学院上海高等研究院 疲劳驾驶监控装置及方法
CN106530623A (zh) * 2016-12-30 2017-03-22 南京理工大学 一种疲劳驾驶检测装置及检测方法

Also Published As

Publication number Publication date
CN110194174A (zh) 2019-09-03

Similar Documents

Publication Publication Date Title
CN110194174B (zh) 一种疲劳驾驶监控系统
CN107640152B (zh) 一种车道保持辅助系统的可靠性控制装置及方法
US11787408B2 (en) System and method for controlling vehicle based on condition of driver
JP5045374B2 (ja) 運転状態判定装置
CN106515742B (zh) 一种车道偏离预警方法及系统
US8954238B2 (en) Vehicle emergency evacuation device
EP2535224B1 (en) Driving support equipment for vehicles
CN110203202B (zh) 一种基于驾驶员意图识别的换道辅助预警方法及装置
CN205469262U (zh) 基于嵌入式摄像识别技术的汽车车道保持辅助系统
US20180060674A1 (en) Fusion-based wet road surface detection
CN110472556B (zh) 基于单目视觉的驾驶员注意力状态分析系统和分析方法
CN106184232B (zh) 一种基于驾驶员视角的车道偏离预警控制方法
CN103895512B (zh) 一种行车安全警示方法及其系统
CN101547819A (zh) 驾驶辅助系统及方法
CN109969195B (zh) 一种驾驶员面部行为异常报警系统及方法和基于其的车辆
CN102785661A (zh) 车道偏离控制系统及方法
JP6756174B2 (ja) 車両制御装置
JP2005092285A (ja) 車両運転状態推定装置、及びドライバの車両運転特性推定装置
JP2019166968A (ja) 状態判定装置、及び状態判定プログラム
EP3342662B1 (en) Method and apparatus for pedestrian collision mitigation
CN113119982A (zh) 操作状态识别与处理方法、装置、设备、介质及程序产品
CN112644507A (zh) 驾驶者状态判定装置
JP4760113B2 (ja) 運転者状態推定装置
JP5036620B2 (ja) 運転状態判定装置
CN115107786B (zh) 一种用于智能汽车的驾驶行为纠正系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant