CN115578835B - 基于方向盘的驾驶员疲劳检测方法及装置 - Google Patents

基于方向盘的驾驶员疲劳检测方法及装置 Download PDF

Info

Publication number
CN115578835B
CN115578835B CN202211218319.2A CN202211218319A CN115578835B CN 115578835 B CN115578835 B CN 115578835B CN 202211218319 A CN202211218319 A CN 202211218319A CN 115578835 B CN115578835 B CN 115578835B
Authority
CN
China
Prior art keywords
driver
fatigue
steering wheel
reminding
fatigue state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211218319.2A
Other languages
English (en)
Other versions
CN115578835A (zh
Inventor
李彬
邝文健
闻健
王宁
李善德
胡志刚
马明
吴奥林
刘帅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HUBEI INSTITUTE OF SPECIALTY VEHICLE
Wuhan Polytechnic University
Original Assignee
HUBEI INSTITUTE OF SPECIALTY VEHICLE
Wuhan Polytechnic University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by HUBEI INSTITUTE OF SPECIALTY VEHICLE, Wuhan Polytechnic University filed Critical HUBEI INSTITUTE OF SPECIALTY VEHICLE
Priority to CN202211218319.2A priority Critical patent/CN115578835B/zh
Publication of CN115578835A publication Critical patent/CN115578835A/zh
Application granted granted Critical
Publication of CN115578835B publication Critical patent/CN115578835B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/22—Ergometry; Measuring muscular strength or the force of a muscular blow
    • A61B5/224—Measuring muscular strength
    • A61B5/225—Measuring muscular strength of the fingers, e.g. by monitoring hand-grip force
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6893—Cars
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/29—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area inside the vehicle, e.g. for viewing passengers or cargo
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G08B21/182—Level alarms, e.g. alarms responsive to variables exceeding a threshold
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B3/00—Audible signalling systems; Audible personal calling systems
    • G08B3/10—Audible signalling systems; Audible personal calling systems using electric transmission; using electromagnetic transmission
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M2021/0005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
    • A61M2021/0027—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the hearing sense
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M2021/0005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
    • A61M2021/0072—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus with application of electrical currents
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M2021/0005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
    • A61M2021/0083—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus especially for waking up
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Emergency Management (AREA)
  • Transportation (AREA)
  • Business, Economics & Management (AREA)
  • Cardiology (AREA)
  • Physiology (AREA)
  • Multimedia (AREA)
  • Psychology (AREA)
  • Anesthesiology (AREA)
  • Hematology (AREA)
  • Acoustics & Sound (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Pulmonology (AREA)
  • Mathematical Physics (AREA)
  • Electromagnetism (AREA)
  • Human Computer Interaction (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Traffic Control Systems (AREA)
  • Auxiliary Drives, Propulsion Controls, And Safety Devices (AREA)

Abstract

本发明提供一种基于方向盘的驾驶员疲劳检测方法及装置，该方法包括：基于方向盘上设置的近红外摄像头模组，从驾驶员颈部脉搏运动获取心率数据，通过颈部运动获取呼吸频率数据，及获取人脸图像数据；基于方向盘上的语音信号检测器获取驾驶员的语音数据，并基于方向盘上的握力检测模组获取驾驶员的握力数据；根据前述数据分别确定五种疲劳状态；在五种疲劳状态中三种、四种或五种判为疲劳时，对应确定驾驶员为轻度疲劳状态、中度疲劳状态和重度疲劳状态；根据不同疲劳状态分别触发不同提醒装置，以产生不同等级提醒信号。该方法具有较高准确度和客观性可避免常规检测的误差，不会影响驾驶员舒适性以及造成活动限制，结构布局简单不占用驾驶室空间。

Description

基于方向盘的驾驶员疲劳检测方法及装置
技术领域
本发明涉及汽车技术领域，尤其涉及一种基于方向盘的驾驶员疲劳检测方法及装置。
背景技术
交通事故产生的原因中，驾驶员疲劳驾驶是导致交通事故的主要原因之一。有资料显示，28％的驾驶员曾经在开车时感到过瞌睡，而且多数会选择继续驾驶。与此同时，研究发现疲劳驾驶时出现事故的概率比正常驾驶高3～5倍。
目前，现有的司机疲劳状态监测方法大都基于单项或部分指标，虽然在限定条件下能够达到一定的精度，但在实际复杂多变的行车环境下，其准确性和可靠性还存在问题，难以达到理想的效果。比如目前已有的疲劳驾驶检测系统大多通过采集司机的面部信息，根据眼睛的闭合情况来判定是否处于疲劳驾驶状态，因此无法保证复杂情况下的准确性。
发明内容
针对现有技术存在的问题，本发明提供一种基于方向盘的驾驶员疲劳检测方法及装置。
本发明提供一种基于方向盘的驾驶员疲劳检测方法，包括：基于方向盘上设置的近红外摄像头模组，根据驾驶员颈部脉搏的运动获取心率数据，基于所述摄像头模组根据颈部运动获取呼吸频率数据，以及基于所述摄像头模组获取人脸图像数据；基于方向盘上设置的语音信号检测器获取驾驶员的语音数据，并基于方向盘上设置的握力检测模组，获取驾驶员的握力数据；根据所述心率数据确定第一疲劳状态，根据所述呼吸频率数据确定第二疲劳状态，根据所述人脸图像数据确定第三疲劳状态，根据所述语音数据确定第四疲劳状态，以及根据所述握力数据确定第五疲劳状态；在五种疲劳状态中三种判为疲劳时，确定驾驶员为轻度疲劳状态；在五种疲劳状态中四种判为疲劳时，确定驾驶员为中度疲劳状态；在五种疲劳状态中五种判为疲劳时，确定驾驶员为重度疲劳状态；根据不同疲劳状态，分别触发不同提醒装置，以产生不同等级的提醒信号。
根据本发明提供的一种基于方向盘的驾驶员疲劳检测方法，所述根据不同疲劳状态，分别触发不同提醒装置，包括：在轻度疲劳状态时控制触发第一提醒装置和第二提醒装置；在中度疲劳状态时控制触发第一提醒装置、第二提醒装置和第三提醒装置；在重度疲劳状态时控制触发第一提醒装置、第二提醒装置、第三提醒装置和第四提醒装置；其中，所述第一提醒装置为提神喷气装置，用于喷出雾化的提神液体；所述第二提醒装置为语音提醒装置；所述第三提醒装置为喇叭装置；所述第四提醒装置为导电装置，用于发出电击皮肤的电信号。
根据本发明提供的一种基于方向盘的驾驶员疲劳检测方法，所述根据不同疲劳状态，分别触发不同提醒装置之后，还包括：基于语音提醒装置播放预设问题；并通过语音信号检测器接收驾驶员的答复结果；在预设时长内，所述答复结果和预设问题的标准答案一致，则确定驾驶员已清醒，否则重复上述根据五种疲劳状态确定驾驶员疲劳状态的过程，直至语音检测装置接收驾驶员的答复结果与标准答案一致。
根据本发明提供的一种基于方向盘的驾驶员疲劳检测方法，根据所述人脸图像数据确定第三疲劳状态，包括：根据所述人脸图像数据分别获取眼睛闭合程度、眼睛纵横比、嘴部纵横比；在所述眼睛闭合程度和所述嘴部纵横比分别大于对应的预设阈值，且眼睛纵横比小于对应的预设阈值情况下，确定为第三疲劳状态。
根据本发明提供的一种基于方向盘的驾驶员疲劳检测方法，根据所述语音数据确定第四疲劳状态，包括：根据所述语音数据获取语音波形的近似熵、短时平均能量、短时平均幅度；根据所述近似熵、所述短时平均能量、所述短时平均幅度确定对应的语音检测评判因子；在所述语音检测评判因子大于对应的预设阈值情况下，确定为第四疲劳状态。
根据本发明提供的一种基于方向盘的驾驶员疲劳检测方法，根据所述握力数据确定第五疲劳状态，包括：每隔预设时长收集一次预设时长内的最大握力和最小握力；在所述最大握力和所述最小握力的差值大于对应的预设阈值的情况下，确定为第五疲劳状态。
本发明还提供一种基于方向盘的驾驶员疲劳检测设备，包括：采集模块，用于基于方向盘上设置的近红外摄像头模组，根据驾驶员颈部脉搏的运动获取心率数据，基于所述摄像头模组根据颈部运动获取呼吸频率数据，以及基于所述摄像头模组获取人脸图像数据；基于方向盘上设置的语音信号检测器获取驾驶员的语音数据，并基于方向盘上设置的握力检测模组，获取驾驶员的握力数据；检测模块，用于根据所述心率数据确定第一疲劳状态，根据所述呼吸频率数据确定第二疲劳状态，根据所述人脸图像数据确定第三疲劳状态，根据所述语音数据确定第四疲劳状态，以及根据所述握力数据确定第五疲劳状态；判断模块，用于在五种疲劳状态中三种判为疲劳时，确定驾驶员为轻度疲劳状态；在五种疲劳状态中四种判为疲劳时，确定驾驶员为中度疲劳状态；在五种疲劳状态中五种判为疲劳时，确定驾驶员为重度疲劳状态；提醒模块，用于根据不同疲劳状态，分别触发不同提醒装置，以产生不同等级的提醒信号。
根据本发明提供的一种基于方向盘的驾驶员疲劳检测设备，所述提醒模块具体用于：在轻度疲劳状态时控制触发第一提醒装置和第二提醒装置；在中度疲劳状态时控制触发第一提醒装置、第二提醒装置和第三提醒装置；在重度疲劳状态时控制触发第一提醒装置、第二提醒装置、第三提醒装置和第四提醒装置；其中，所述第一提醒装置为提神喷气装置，用于喷出雾化的提神液体；所述第二提醒装置为语音提醒装置；所述第三提醒装置为喇叭装置；所述第四提醒装置为导电装置，用于发出电击皮肤的电信号。
根据本发明提供的一种基于方向盘的驾驶员疲劳检测设备，还包括确认模块，用于在根据不同疲劳状态，分别触发不同提醒装置之后：
基于语音提醒装置播放预设问题；并通过语音信号检测器接收驾驶员的答复结果；在预设时长内，所述答复结果和预设问题的标准答案一致，则确定驾驶员已清醒，否则重复上述根据五种疲劳状态确定驾驶员疲劳状态的过程，直至语音检测装置接收驾驶员的答复结果与标准答案一致。
根据本发明提供的一种基于方向盘的驾驶员疲劳检测设备，检测模块具体用于：根据所述人脸图像数据分别获取眼睛闭合程度、眼睛纵横比、嘴部纵横比；在所述眼睛闭合程度和所述嘴部纵横比分别大于对应的预设阈值，且眼睛纵横比小于对应的预设阈值情况下，确定为第三疲劳状态。
根据本发明提供的一种基于方向盘的驾驶员疲劳检测设备，检测模块具体用于：根据所述语音数据获取语音波形的近似熵、短时平均能量、短时平均幅度；根据所述近似熵、所述短时平均能量、所述短时平均幅度确定对应的语音检测评判因子；在所述语音检测评判因子大于对应的预设阈值情况下，确定为第四疲劳状态。
根据本发明提供的一种基于方向盘的驾驶员疲劳检测设备，检测模块具体用于：每隔预设时长收集一次预设时长内的最大握力和最小握力；在所述最大握力和所述最小握力的差值大于对应的预设阈值的情况下，确定为第五疲劳状态。
本发明还提供一种基于方向盘的驾驶员疲劳检测系统，包括方向盘以及上述基于方向盘的驾驶员疲劳检测设备，其中：所述方向盘包括近红外摄像头模组、语音信号检测器和握力检测模组，以及包括提神喷气装置、语音提醒装置、导电装置和喇叭装置；所述近红外摄像头模组，用于根据驾驶员颈部脉搏的运动获取心率数据，通过颈部运动获取呼吸频率数据，以及获取人脸图像数据；所述语音信号检测器用于获取驾驶员的语音数据；所述握力检测模组用于获取驾驶员的握力数据；所述握提神喷气装置、语音提醒装置、导电装置和喇叭装置通过所述检测设备触发，以产生不同等级的提醒信号。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述基于方向盘的驾驶员疲劳检测方法。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述基于方向盘的驾驶员疲劳检测方法。
本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述基于方向盘的驾驶员疲劳检测方法。
本发明提供的基于方向盘的驾驶员疲劳检测方法及装置，能够根据驾驶员发出的各种信号，全面地判断驾驶员处在的疲劳等级，具有较高的准确度和客观性，有利于针对不同的疲劳等级，对驾驶员进行不同程度的疲劳预警提醒，在保证驾驶员舒适性的前提下减少事故风险，也不会对驾驶员的自主活动造成限制。同时，通过方向盘上设置的近红外摄像头模组、语音信号检测器和握力检测模组获取数据源，结构布局简单不占用驾驶室空间，适用于各种包括货车等驾驶室内的方向盘。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的基于方向盘的驾驶员疲劳检测方法的流程示意图之一；
图2是本发明提供的判断过程示意图；
图3是本发明提供的提醒流程示意图；
图4是本发明提供的确认流程示意图；
图5是本发明提供的基于方向盘的驾驶员疲劳检测方法的流程示意图之二；
图6是本发明提供的基于方向盘的驾驶员疲劳检测设备的结构示意图；
图7是本发明提供的方向盘结构示意图；
图8是本发明提供的近红外摄像头模组结构示意图；
图9是本发明提供的导电装置结构示意图；
图10是本发明提供的电子设备的结构示意图；
附图标记说明：1、近红外摄像头模组；2、语音信号检测器；3、握力检测模组；4、提神喷气装置；5、语音提醒装置；6、环形导电块；11、RGB摄像头；12、近红外摄像头；31、条形压力传感器。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
现在大部分货车的方向盘主要只具备转向功能，部分货车装有多功能方向盘，可以用于调节音量、开启定速巡航、接听蓝牙电话等，这些功能都是为了便于驾驶员操作，以此给驾驶员减负。但是目前的方向盘在监测驾驶员健康状况方面考虑的不是很周全，而人体健康与驾驶安全直接相关，通过监测人体健康状态，可以判断驾驶员是否疲劳，进而能够尽量防止驾驶员疲劳驾驶，减少由于疲劳驾驶所引发的交通事故。
下面结合图1-图10描述本发明的基于方向盘的驾驶员疲劳检测方法及装置。图1是本发明提供的基于方向盘的驾驶员疲劳检测方法的流程示意图，如图1所示，本发明提供基于方向盘的驾驶员疲劳检测方法，包括：
101、基于方向盘上设置的近红外摄像头模组，根据驾驶员颈部脉搏的运动获取心率数据，基于所述摄像头模组根据颈部运动获取呼吸频率数据，以及基于所述摄像头模组获取人脸图像数据；基于方向盘上设置的语音信号检测器获取驾驶员的语音数据，并基于方向盘上设置的握力检测模组，获取驾驶员的握力数据。
在本发明中，一方面，使用近红外摄像头模组测量与颈动脉脉搏、颈部呼吸运动相关的细微运动，通过颈动脉脉搏检测驾驶员心率以及颈部呼吸运动检测驾驶员呼吸频率特征。另一方面，使用近红外摄像头模组获取人脸图像，基于人脸图像可以提取出疲劳的表征指标，如朝向、位置、眼睛开合度、眨眼频率、嘴部开合度数据等，当然也可以将人脸图像相关预处理后，输入训练好的基于深度学习的疲劳检测模型来得到疲劳检测结果。人脸图像数据可以提取驾驶员的面部信号，面部信号包括驾驶员打哈欠和眨眼这两种对抗疲劳的行为对应的图像。
具体而言，先检测显著性区域，然后通过空间去噪、频率去噪和时间去噪提取心率。从颈部运动中提取呼吸频率，与前述方式的方法相同，首先检测显著性区域，然后通过空间去噪、频率去噪和时间去噪提取呼吸频率。
可选地，握力检测方面，可使用一种低成本且全方位包裹在方向盘上的条形压力传感器收集驾驶员在驾驶时对方向盘握力值的大小，以便后续判断驾驶员疲劳状态。
102、根据所述心率数据确定第一疲劳状态，根据所述呼吸频率数据确定第二疲劳状态，根据所述人脸图像数据确定第三疲劳状态，根据所述语音数据确定第四疲劳状态，以及根据所述握力数据确定第五疲劳状态。
可选地，根据所述心率数据确定第一疲劳状态，包括：在行驶所述预设时长后，将获取的实时心率与标准心率进行比较，在实时心率小于或等于标准心率的情况下，确定为第一疲劳状态，标准心率为清醒时的心率，记心率参数为HR。
其中，所述标准心率为预设值(如50次/分钟)，或者根据车辆启动后开始行驶预设时长(如1分钟)获取的驾驶员心率确定。一般而言，车辆启动后开始行驶预设时长，如1分钟，人体从一个环境换到另一个环境，不会存在疲劳驾驶的状态，而是驾驶一段时间后进入疲劳状态。基于此，本发明实施例可采集刚进入驾驶状态的驾驶员心率，作为标准心率。
此外，根据所述呼吸频率数据确定第二疲劳状态可具体为，通过近红外成像设备从颈部运动中提取呼吸频率，将呼吸信号时间序列和呼吸信号特征数据放入车载电脑中，首先对驾驶员的呼吸信号进行预处理，再将采集到的驾驶员呼吸信号与车载电脑中预存的标准呼吸频率比对，最后根据有用的目标特征t检验来选择有用的特征进行判断。目标特征包括呼吸频率。例如，根据某个目标特征t在200～300的范围，判断驾驶员为疲劳状态；t在300～400的范围，判断驾驶员为清醒状态。
103、在五种疲劳状态中三种判为疲劳时，确定驾驶员为轻度疲劳状态；在五种疲劳状态中四种判为疲劳时，确定驾驶员为中度疲劳状态；在五种疲劳状态中五种判为疲劳时，确定驾驶员为重度疲劳状态。
具体而言，当五种方式中任意三种方式提取出的信号经车载电脑分析后反映驾驶员疲劳时，驾驶员为轻度疲劳状态；当五种方式中任意四种方式提取出的信号经车载电脑分析后反映驾驶员疲劳时，驾驶员为中度疲劳状态；当五种方式提取出的信号经车载电脑分析后都反映驾驶员疲劳时，驾驶员为重度疲劳状态。
图2是本发明提供的判断过程示意图，如图2所示，五种方式中判为疲劳状态的结果分别为A、B、C、D、E，结果取值为1时为疲劳状态，0为非疲劳状态。此步骤判断驾驶员的疲劳等级，当五种方式中任意三种方式提取出的信号经车载电脑分析后反映驾驶员疲劳时，驾驶员为轻度疲劳状态；当五种方式中任意四种方式提取出的信号经车载电脑分析后反映驾驶员疲劳时，驾驶员为中度疲劳状态；当五种方式提取出的信号经车载电脑分析后都反映驾驶员疲劳时，驾驶员为重度疲劳状态。
104、根据不同疲劳状态，分别触发不同提醒装置，以产生不同等级的提醒信号。
判断完疲劳等级后，开启提醒装置，不同的疲劳状态通过不同等级的提醒信号进行唤醒。例如，轻度疲劳可以通过声音提醒，重度疲劳可额外进行物理刺激唤醒。
本发明的基于方向盘的驾驶员疲劳检测方法，能够根据驾驶员发出的各种信号，全面地判断驾驶员处在的疲劳等级，具有较高的准确度和客观性，有利于针对不同的疲劳等级，对驾驶员进行不同程度的疲劳预警提醒，在保证驾驶员舒适性的前提下减少事故风险，也不会对驾驶员的自主活动造成限制。同时，通过方向盘上设置的近红外摄像头模组、语音信号检测器和握力检测模组获取数据源，结构布局简单不占用驾驶室空间，适用于各种包括货车等驾驶室内的方向盘。
在一个实施例中，所述根据不同疲劳状态，分别触发不同提醒装置，包括：在轻度疲劳状态时控制触发第一提醒装置和第二提醒装置；在中度疲劳状态时控制触发第一提醒装置、第二提醒装置和第三提醒装置；在重度疲劳状态时控制触发第一提醒装置、第二提醒装置、第三提醒装置和第四提醒装置；其中，所述第一提醒装置为提神喷气装置，用于喷出雾化的提神液体；所述第二提醒装置为语音提醒装置，用于发出提醒的声音；所述第三提醒装置为喇叭装置，用于发出音量更大(相对于语音提醒装置的音量，喇叭装置的发声部分可具体为车载喇叭)的提示音；所述第四提醒装置为导电装置，用于发出电击皮肤的电信号。
图3是本发明提供的提醒流程示意图，如图3所示，提醒装置包括提神喷气装置、语音提醒装置、喇叭装置、具有导电装置的握力检测模组。提神喷气装置可由容器、超声雾化片和喷孔组成，里面装有薄荷植物精油，当检测到驾驶者处于疲劳驾驶状态且需要启动时，超声雾化片启动，将薄荷精油雾化并释放，从而对驾驶者起到提神的作用。语音提醒装置和喇叭装置都可以对驾驶员的听觉造成不同层度的刺激，而导电装置可为一种带有安全电压的环形导电环块，可以有效帮助驾驶员恢复清醒。驾驶员出现轻度疲劳状态时，提神喷气装置和语音提醒装置开启。驾驶员出现中度疲劳状态时，提神喷气装置、语音提醒装置和喇叭装置开启。驾驶员出现重度疲劳状态时，提神喷气装置、语音提醒装置、喇叭装置和导电装置全部开启。
本发明实施例的方法，通过多个装置与司机无接触，安全、可靠、实时、有效地进行驾驶提醒，从嗅觉、听觉、触觉三个方面预防司机疲劳驾驶，可显著提高驾驶的安全性。
在一个实施例中，所述根据不同疲劳状态，分别触发不同提醒装置之后，还包括：基于语音提醒装置播放预设问题；并通过语音信号检测器接收驾驶员的答复结果；在预设时长内，所述答复结果和预设问题的标准答案一致，则确定驾驶员已清醒，否则重复上述根据五种疲劳状态确定驾驶员疲劳状态的过程，直至语音检测装置接收驾驶员的答复结果与标准答案一致。
图4是本发明提供的确认流程示意图，如图4所示，为了进一步避免疲劳驾驶。上述提醒装置开启后，要确认此时驾驶员是否清醒。在本发明实施例中，在任意疲劳程度时，完成该状态下需要进行的提醒流程后，驾驶员需要进行一次语音问答，进行语音问答的设备是蜂鸣器和语音信号检测装置，在车载电脑中提前设置好问题(例如，五个问题)，可设置稍复杂的答案，避免驾驶员可以在不清醒的状态下答对。车载电脑随机抽取其中一个问题由蜂鸣器播放出来让驾驶员进行作答，语音信号检测装置用来接收驾驶员的回答，若在预先设置的时间内回答正确，则判断驾驶员已清醒，若超过预设时间或回答错误，则重新通过上述五种方式提取信号，当五种方式中有任意三种及以上的方式提取出的信号经车载电脑分析后反映驾驶员疲劳，则判断驾驶员仍未清醒。
可重复执行上述根据五种疲劳状态确定驾驶员疲劳状态,以及根据不同疲劳状态，分别触发不同提醒装置的过程，直至语音检测装置接收驾驶员的答复结果与标准答案一致。
可选地，如果多次执行仍不一致，则重复上述根据五种疲劳状态确定驾驶员疲劳状态的过程之后，还包括：若重复预设次数，语音检测装置接收驾驶员的答复结果与标准答案不一致的情况下，控制汽车减缓车速(通过紧急控制模块)，以及还包括触发所有提醒装置(开启)。
具体而言，考虑到已有的系统没有车速干预功能，如果在司机疲劳的情况下汽车仍继续高速行驶的话，很容易引发交通事故，对驾乘人员造成无法弥补的伤害。例如，高速上汽车时速会达到100km/h，一旦因疲劳驾驶发生事故，后果会较为严重。在本发明实施例中，如果通过语音检测问答得到的结果不一致，且多次检测认为疲劳而得不到正确答案，可进行控制汽车减缓车速。例如，在高速上将车辆缓慢减速至60km/h，并保持该限速。
在一个实施例中，根据所述人脸图像数据确定第三疲劳状态，包括：根据所述人脸图像数据分别获取眼睛闭合程度、眼睛纵横比、嘴部纵横比；在所述眼睛闭合程度和所述嘴部纵横比分别大于对应的预设阈值，且眼睛纵横比小于对应的预设阈值情况下，确定为第三疲劳状态。
通过近红外摄像头模组提取驾驶员的面部信号，面部信号包括驾驶员打哈欠和眨眼这两种对抗疲劳的行为特征。
举例而言，当驾驶员的眼睛闭合程度PERCLOS指标-P80≤40％(P80为眼睑遮住瞳孔面积的80％以上判别为眼睛闭合，40％为单位时间内眼睛闭合程度超过80％的时间占总时间的百分比)，眼睛纵横比EAR＞0.2，嘴巴纵横比MAR＜0.75，判定驾驶员为清醒状态；当驾驶员的眼睛闭合程度PERCLOS指标-P80≥40％，眼睛纵横比EAR＜0.2，嘴巴纵横比MAR＞0.75，判定驾驶员为疲劳状态。
在一个实施例中，根据所述语音数据确定第四疲劳状态，包括：根据所述语音数据获取语音波形的近似熵、短时平均能量、短时平均幅度；根据所述近似熵、所述短时平均能量、所述短时平均幅度确定对应的语音检测评判因子；在所述语音检测评判因子大于对应的预设阈值情况下，确定为第四疲劳状态。
其中，近似熵是一个随机复杂度，反应序列相邻的m个点所连成折线段的模式的互相近似的概率与由m+1个点所连成的折线段的模式相互近似的概率之差。由于语音信号的能量随时间而变化，清音和浊音之间的能量差别相当显著。因此，对短时能量和短时平均幅度进行分析，可以描述语音的这种特征变化情况。
举例而言，语音信号监测器提取到语音信号后，通过车载电脑分析计算出近似熵、短时平均能量、短时平均幅度的检测值，然后根据如公式计算指标值，称为语音检测评判因子，根据语音检测评判因子的值来判断驾驶员是否疲劳，当J3≥1时，驾驶员为疲劳状态。公式如下：
J3＝-1.406V1-0.033V2-0.563V3+3.018
其中，J3为驾驶员疲劳状态语音检测评判因子；V1为近似熵检测值；V2为短时平均幅度检测值；V3短时平均能量检测值。
本发明实施例的方法，可以有效获取驾驶员所发出的语音信号，良好地建立了驾驶员与语音信号检测器之间的联系，提高了对驾驶员的疲劳状态的正确判断。
在一个实施例中，根据所述握力数据确定第五疲劳状态，包括：每隔预设时长收集一次预设时长内的最大握力和最小握力；在所述最大握力和所述最小握力的差值大于对应的预设阈值的情况下，确定为第五疲劳状态。
本发明实施例通过握力检测模组中的条形压力传感器来提取压力信号，如每隔20秒收集一次最大握力(Fmax)和最小握力(Fmin)。计算差值ΔF(ΔF＝Fmax–Fmin)，可将△F＝11.2N可作为预测疲劳和清醒状态的边界。当△F<11.2N，驾驶员通常处于清醒状态；当△F＞11.2N，驾驶员通常处于疲劳状态。当△F增得越大，驾驶员变得更加疲劳。
图5是本发明提供的基于方向盘的驾驶员疲劳检测方法的流程示意图之二，如图5所示，基于上述各实施例的组合，实现如图中的整个方法流程，具体可分别参照上述实施例，此处不再赘述。
下面对本发明提供的基于方向盘的驾驶员疲劳检测设备进行描述，下文描述的基于方向盘的驾驶员疲劳检测设备与上文描述的基于方向盘的驾驶员疲劳检测方法可相互对应参照。
图6是本发明提供的基于方向盘的驾驶员疲劳检测设备的结构示意图，如图6所示，该基于方向盘的驾驶员疲劳检测设备包括：采集模块601、检测模块602、判断模块603和提醒模块604。其中，采集模块601用于基于方向盘上设置的近红外摄像头模组，根据驾驶员颈部脉搏的运动获取心率数据，基于所述摄像头模组根据颈部运动获取呼吸频率数据，以及基于所述摄像头模组获取人脸图像数据；基于方向盘上设置的语音信号检测器获取驾驶员的语音数据，并基于方向盘上设置的握力检测模组，获取驾驶员的握力数据；检测模块602用于根据所述心率数据确定第一疲劳状态，根据所述呼吸频率数据确定第二疲劳状态，根据所述人脸图像数据确定第三疲劳状态，根据所述语音数据确定第四疲劳状态，以及根据所述握力数据确定第五疲劳状态；判断模块603用于在五种疲劳状态中三种判为疲劳时，确定驾驶员为轻度疲劳状态；在五种疲劳状态中四种判为疲劳时，确定驾驶员为中度疲劳状态；在五种疲劳状态中五种判为疲劳时，确定驾驶员为重度疲劳状态；提醒模块604用于根据不同疲劳状态，分别触发不同提醒装置，以产生不同等级的提醒信号。
在一个设备实施例中，所述提醒模块具体用于：在轻度疲劳状态时控制触发第一提醒装置和第二提醒装置；在中度疲劳状态时控制触发第一提醒装置、第二提醒装置和第三提醒装置；在重度疲劳状态时控制触发第一提醒装置、第二提醒装置、第三提醒装置和第四提醒装置；其中，所述第一提醒装置为提神喷气装置，用于喷出雾化的提神液体；所述第二提醒装置为语音提醒装置；所述第三提醒装置为喇叭装置；所述第四提醒装置为导电装置，用于发出电击皮肤的电信号。
在一个设备实施例中，还包括确认模块，用于在根据不同疲劳状态，分别触发不同提醒装置之后：基于语音提醒装置播放预设问题；并通过语音信号检测器接收驾驶员的答复结果；在预设时长内，所述答复结果和预设问题的标准答案一致，则确定驾驶员已清醒，否则重复上述根据五种疲劳状态确定驾驶员疲劳状态的过程，直至语音检测装置接收驾驶员的答复结果与标准答案一致。
在一个设备实施例中，检测模块具体用于：根据所述人脸图像数据分别获取眼睛闭合程度、眼睛纵横比、嘴部纵横比；在所述眼睛闭合程度和所述嘴部纵横比分别大于对应的预设阈值，且眼睛纵横比小于对应的预设阈值情况下，确定为第三疲劳状态。
在一个设备实施例中，检测模块具体用于：根据所述语音数据获取语音波形的近似熵、短时平均能量、短时平均幅度；根据所述近似熵、所述短时平均能量、所述短时平均幅度确定对应的语音检测评判因子；在所述语音检测评判因子大于对应的预设阈值情况下，确定为第四疲劳状态。
在一个设备实施例中，检测模块具体用于：每隔预设时长收集一次预设时长内的最大握力和最小握力；在所述最大握力和所述最小握力的差值大于对应的预设阈值的情况下，确定为第五疲劳状态。
本发明还提供一种基于方向盘的驾驶员疲劳检测系统，包括方向盘以及上述基于方向盘的驾驶员疲劳检测设备，其中：所述方向盘包括近红外摄像头模组1、语音信号检测器2和握力检测模组3，以及包括提神喷气装置4、语音提醒装置5、导电装置和喇叭装置；所述近红外摄像头模组1用于根据驾驶员颈部脉搏的运动获取心率数据，通过颈部运动获取呼吸频率数据，以及获取人脸图像数据；所述语音信号检测器2用于获取驾驶员的语音数据；所述握力检测模组3用于获取驾驶员的握力数据；所述握提神喷气装置4、语音提醒装置5、导电装置和喇叭装置通过所述检测设备触发，以产生不同等级的提醒信号。
具体而言，方向盘的一种实现方式如图7所示，握力检测模组3包括条形压力传感器31，用于提取压力信号。可选地，所述握力检测模组3包括按预设间隔设置的，覆盖整个方向盘圆环的多个条形压力传感器。本发明的系统对握力检测易于获取的问题，通过安装条形压力传感器降低成本，并将其包裹在方向盘上，不会影响驾驶员的正常驾驶。
图8是本发明提供的近红外摄像头模组1的结构示意图，其包括RGB摄像头11和近红外摄像头12，RGB摄像头11可用来获取人脸图像数据，近红外摄像头模头12用于根据驾驶员颈部脉搏的运动获取心率数据，以及通过颈部运动获取呼吸频率数据。
此外，提神喷气装置4可由容器、超声雾化片和喷孔组成，里面装有薄荷植物精油，当检测到驾驶者处于疲劳驾驶状态且需要启动时，超声雾化片启动，将薄荷精油雾化并释放，从而对驾驶者起到提神的作用。语音提醒装置5(可设置为扬声器)和喇叭装置(可以为车载喇叭，无需额外设置)都可以对驾驶员的听觉造成不同层度的刺激。
图9是本发明提供的导电装置结构示意图，导电装置可为一种带有安全电压的环形导电环块6，可以有效帮助驾驶员恢复清醒。
可选地，导电装置包括按预设间隔设置的，覆盖整个方向盘圆环的多个环形导电块6。相应地，在所述握力检测模组3包括按预设间隔设置的，覆盖整个方向盘圆环的多个条形压力传感器的情况下，环形导电块和条形压力传感器交错设置，共同覆盖整个方向盘圆环。
驾驶员出现轻度疲劳状态时，提神喷气装置4和语音提醒装置5开启。驾驶员出现中度疲劳状态时，提神喷气装置4、语音提醒装置5和喇叭装置开启。驾驶员出现重度疲劳状态时，提神喷气装置4、语音提醒装置5、喇叭装置和导电装置全部开启
本发明实施例提供的设备和系统实施例是为了实现上述各方法实施例的，具体流程和详细内容请参照上述方法实施例，此处不再赘述。
本发明实施例所提供的基于方向盘的驾驶员疲劳检测设备和系统，其实现原理及产生的技术效果和前述基于方向盘的驾驶员疲劳检测方法实施例相同，为简要描述，基于方向盘的驾驶员疲劳检测设备和系统实施例部分未提及之处，可参考前述基于方向盘的驾驶员疲劳检测方法实施例中相应内容。
图10是本发明提供的电子设备的结构示意图，如图10所示，该电子设备可以包括：处理器(processor)1001、通信接口(Communications Interface)1002、存储器(memory)1003和通信总线1004，其中，处理器1001，通信接口1002，存储器1003通过通信总线1004完成相互间的通信。处理器1001可以调用存储器1003中的逻辑指令，以执行基于方向盘的驾驶员疲劳检测方法，该方法包括：基于方向盘上设置的近红外摄像头模组，根据驾驶员颈部脉搏的运动获取心率数据，基于所述摄像头模组根据颈部运动获取呼吸频率数据，以及基于所述摄像头模组获取人脸图像数据；基于方向盘上设置的语音信号检测器获取驾驶员的语音数据，并基于方向盘上设置的握力检测模组，获取驾驶员的握力数据；根据所述心率数据确定第一疲劳状态，根据所述呼吸频率数据确定第二疲劳状态，根据所述人脸图像数据确定第三疲劳状态，根据所述语音数据确定第四疲劳状态，以及根据所述握力数据确定第五疲劳状态；在五种疲劳状态中三种判为疲劳时，确定驾驶员为轻度疲劳状态；在五种疲劳状态中四种判为疲劳时，确定驾驶员为中度疲劳状态；在五种疲劳状态中五种判为疲劳时，确定驾驶员为重度疲劳状态；根据不同疲劳状态，分别触发不同提醒装置，以产生不同等级的提醒信号。
此外，上述的存储器1003中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的基于方向盘的驾驶员疲劳检测方法，该方法包括：基于方向盘上设置的近红外摄像头模组，根据驾驶员颈部脉搏的运动获取心率数据，基于所述摄像头模组根据颈部运动获取呼吸频率数据，以及基于所述摄像头模组获取人脸图像数据；基于方向盘上设置的语音信号检测器获取驾驶员的语音数据，并基于方向盘上设置的握力检测模组，获取驾驶员的握力数据；根据所述心率数据确定第一疲劳状态，根据所述呼吸频率数据确定第二疲劳状态，根据所述人脸图像数据确定第三疲劳状态，根据所述语音数据确定第四疲劳状态，以及根据所述握力数据确定第五疲劳状态；在五种疲劳状态中三种判为疲劳时，确定驾驶员为轻度疲劳状态；在五种疲劳状态中四种判为疲劳时，确定驾驶员为中度疲劳状态；在五种疲劳状态中五种判为疲劳时，确定驾驶员为重度疲劳状态；根据不同疲劳状态，分别触发不同提醒装置，以产生不同等级的提醒信号。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的基于方向盘的驾驶员疲劳检测方法，该方法包括：基于方向盘上设置的近红外摄像头模组，根据驾驶员颈部脉搏的运动获取心率数据，基于所述摄像头模组根据颈部运动获取呼吸频率数据，以及基于所述摄像头模组获取人脸图像数据；基于方向盘上设置的语音信号检测器获取驾驶员的语音数据，并基于方向盘上设置的握力检测模组，获取驾驶员的握力数据；根据所述心率数据确定第一疲劳状态，根据所述呼吸频率数据确定第二疲劳状态，根据所述人脸图像数据确定第三疲劳状态，根据所述语音数据确定第四疲劳状态，以及根据所述握力数据确定第五疲劳状态；在五种疲劳状态中三种判为疲劳时，确定驾驶员为轻度疲劳状态；在五种疲劳状态中四种判为疲劳时，确定驾驶员为中度疲劳状态；在五种疲劳状态中五种判为疲劳时，确定驾驶员为重度疲劳状态；根据不同疲劳状态，分别触发不同提醒装置，以产生不同等级的提醒信号。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (9)

1.一种基于方向盘的驾驶员疲劳检测方法，其特征在于，包括：
基于方向盘上设置的近红外摄像头模组，根据驾驶员颈部脉搏的运动获取心率数据，基于所述摄像头模组根据颈部运动获取呼吸频率数据，以及基于所述摄像头模组获取人脸图像数据；基于方向盘上设置的语音信号检测器获取驾驶员的语音数据，并基于方向盘上设置的握力检测模组，获取驾驶员的握力数据；
根据所述心率数据确定第一疲劳状态，根据所述呼吸频率数据确定第二疲劳状态，根据所述人脸图像数据确定第三疲劳状态，根据所述语音数据确定第四疲劳状态，以及根据所述握力数据确定第五疲劳状态；
在五种疲劳状态中三种判为疲劳时，确定驾驶员为轻度疲劳状态；在五种疲劳状态中四种判为疲劳时，确定驾驶员为中度疲劳状态；在五种疲劳状态中五种判为疲劳时，确定驾驶员为重度疲劳状态；
根据不同疲劳状态，分别触发不同提醒装置，以产生不同等级的提醒信号；
所述根据不同疲劳状态，分别触发不同提醒装置，包括：
在轻度疲劳状态时控制触发第一提醒装置和第二提醒装置；
在中度疲劳状态时控制触发第一提醒装置、第二提醒装置和第三提醒装置；
在重度疲劳状态时控制触发第一提醒装置、第二提醒装置、第三提醒装置和第四提醒装置；
其中，所述第一提醒装置为提神喷气装置，用于喷出雾化的提神液体；所述第二提醒装置为语音提醒装置；所述第三提醒装置为喇叭装置；所述第四提醒装置为导电装置，用于发出电击皮肤的电信号。
2.根据权利要求1所述的基于方向盘的驾驶员疲劳检测方法，其特征在于，所述根据不同疲劳状态，分别触发不同提醒装置之后，还包括：
基于语音提醒装置播放预设问题；
并通过语音信号检测器接收驾驶员的答复结果；
在预设时长内，所述答复结果和预设问题的标准答案一致，则确定驾驶员已清醒，否则重复上述根据五种疲劳状态确定驾驶员疲劳状态的过程，直至语音检测装置接收驾驶员的答复结果与标准答案一致。
3.根据权利要求1所述的基于方向盘的驾驶员疲劳检测方法，其特征在于，根据所述人脸图像数据确定第三疲劳状态，包括：
根据所述人脸图像数据分别获取眼睛闭合程度、眼睛纵横比、嘴部纵横比；
在所述眼睛闭合程度和所述嘴部纵横比分别大于对应的预设阈值，且眼睛纵横比小于对应的预设阈值情况下，确定为第三疲劳状态。
4.根据权利要求1所述的基于方向盘的驾驶员疲劳检测方法，其特征在于，根据所述语音数据确定第四疲劳状态，包括：
根据所述语音数据获取语音波形的近似熵、短时平均能量、短时平均幅度；
根据所述近似熵、所述短时平均能量、所述短时平均幅度确定对应的语音检测评判因子；
在所述语音检测评判因子大于对应的预设阈值情况下，确定为第四疲劳状态。
5.根据权利要求1所述的基于方向盘的驾驶员疲劳检测方法，其特征在于，根据所述握力数据确定第五疲劳状态，包括：
每隔预设时长收集一次预设时长内的最大握力和最小握力；
在所述最大握力和所述最小握力的差值大于对应的预设阈值的情况下，确定为第五疲劳状态。
6.一种基于方向盘的驾驶员疲劳检测设备，其特征在于，包括：
采集模块，用于基于方向盘上设置的近红外摄像头模组，根据驾驶员颈部脉搏的运动获取心率数据，基于所述摄像头模组根据颈部运动获取呼吸频率数据，以及基于所述摄像头模组获取人脸图像数据；基于方向盘上设置的语音信号检测器获取驾驶员的语音数据，并基于方向盘上设置的握力检测模组，获取驾驶员的握力数据；
检测模块，用于根据所述心率数据确定第一疲劳状态，根据所述呼吸频率数据确定第二疲劳状态，根据所述人脸图像数据确定第三疲劳状态，根据所述语音数据确定第四疲劳状态，以及根据所述握力数据确定第五疲劳状态；
判断模块，用于在五种疲劳状态中三种判为疲劳时，确定驾驶员为轻度疲劳状态；在五种疲劳状态中四种判为疲劳时，确定驾驶员为中度疲劳状态；在五种疲劳状态中五种判为疲劳时，确定驾驶员为重度疲劳状态；
提醒模块，用于根据不同疲劳状态，分别触发不同提醒装置，以产生不同等级的提醒信号；
所述提醒模块具体用于：
在轻度疲劳状态时控制触发第一提醒装置和第二提醒装置；
在中度疲劳状态时控制触发第一提醒装置、第二提醒装置和第三提醒装置；
在重度疲劳状态时控制触发第一提醒装置、第二提醒装置、第三提醒装置和第四提醒装置；
其中，所述第一提醒装置为提神喷气装置，用于喷出雾化的提神液体；所述第二提醒装置为语音提醒装置；所述第三提醒装置为喇叭装置；所述第四提醒装置为导电装置，用于发出电击皮肤的电信号。
7.一种基于方向盘的驾驶员疲劳检测系统，其特征在于，包括方向盘以及权利要求6所述的基于方向盘的驾驶员疲劳检测设备，其中：
所述方向盘包括近红外摄像头模组、语音信号检测器和握力检测模组，以及包括提神喷气装置、语音提醒装置、导电装置和喇叭装置；
所述近红外摄像头模组，用于根据驾驶员颈部脉搏的运动获取心率数据，通过颈部运动获取呼吸频率数据，以及获取人脸图像数据；
所述语音信号检测器用于获取驾驶员的语音数据；
所述握力检测模组用于获取驾驶员的握力数据；
所述提神喷气装置、语音提醒装置、导电装置和喇叭装置通过所述检测设备触发，以产生不同等级的提醒信号。
8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至5任一项所述基于方向盘的驾驶员疲劳检测方法的步骤。
9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述基于方向盘的驾驶员疲劳检测方法。
CN202211218319.2A 2022-09-30 2022-09-30 基于方向盘的驾驶员疲劳检测方法及装置 Active CN115578835B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211218319.2A CN115578835B (zh) 2022-09-30 2022-09-30 基于方向盘的驾驶员疲劳检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211218319.2A CN115578835B (zh) 2022-09-30 2022-09-30 基于方向盘的驾驶员疲劳检测方法及装置

Publications (2)

Publication Number Publication Date
CN115578835A CN115578835A (zh) 2023-01-06
CN115578835B true CN115578835B (zh) 2023-11-24

Family

ID=84583417

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211218319.2A Active CN115578835B (zh) 2022-09-30 2022-09-30 基于方向盘的驾驶员疲劳检测方法及装置

Country Status (1)

Country Link
CN (1) CN115578835B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN207764952U (zh) * 2017-11-18 2018-08-24 西安航空学院 一种疲劳驾驶提醒装置
CN114767115A (zh) * 2022-04-28 2022-07-22 郑州铁路职业技术学院 基于面部多模态深度学习的疲劳驾驶视觉检测方法及系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN207764952U (zh) * 2017-11-18 2018-08-24 西安航空学院 一种疲劳驾驶提醒装置
CN114767115A (zh) * 2022-04-28 2022-07-22 郑州铁路职业技术学院 基于面部多模态深度学习的疲劳驾驶视觉检测方法及系统

Also Published As

Publication number Publication date
CN115578835A (zh) 2023-01-06

Similar Documents

Publication Publication Date Title
US20210009149A1 (en) Distractedness sensing system
US10867218B2 (en) Biometric sensor fusion to classify vehicle passenger state
US10379535B2 (en) Drowsiness sensing system
JP7204739B2 (ja) 情報処理装置、移動装置、および方法、並びにプログラム
US10210409B1 (en) Seating system with occupant stimulation and sensing
US10864918B2 (en) Vehicle and method for supporting driving safety thereof
CN106965674B (zh) 当乘员经历潜在病症时用于操作车辆的方法和系统
CN113345204B (zh) 一种车载远程疲劳唤醒方法及其唤醒系统
US8731736B2 (en) System and method for reducing driving skill atrophy
CN106218405A (zh) 疲劳驾驶监控方法及云端服务器
US20060011399A1 (en) System and method for controlling vehicle operation based on a user&#39;s facial expressions and physical state
KR102053794B1 (ko) 생체신호를 이용한 차량 간 운전자의 주행의도정보 상호전달 시스템 및 그 제어방법
CN105261153A (zh) 车辆行驶监控方法和装置
CN106585624A (zh) 驾驶员状态监控方法及装置
CN107554528B (zh) 驾乘人员的疲劳等级检测方法及装置、存储介质、终端
JP7357006B2 (ja) 情報処理装置、移動装置、および方法、並びにプログラム
CN109598899A (zh) 一种个性化疲劳监测与提醒的系统及方法
JP2019512780A (ja) 自動車両のドライバーを監視するための装置及び方法
US11751784B2 (en) Systems and methods for detecting drowsiness in a driver of a vehicle
CN109472253B (zh) 行车安全智能提醒方法、装置、智能方向盘和智能手环
US11813060B2 (en) System and method for biometric evoked response monitoring and feedback
CN106448047A (zh) 车辆安全预警方法及装置
CN109471439A (zh) 车辆控制方法、装置、设备、存储介质及汽车
CN115578835B (zh) 基于方向盘的驾驶员疲劳检测方法及装置
CN113168758B (zh) 确定车辆驾驶者的困倦水平的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant