CN113628448A - 车辆及其缓解疲劳驾驶的装置 - Google Patents

车辆及其缓解疲劳驾驶的装置 Download PDF

Info

Publication number
CN113628448A
CN113628448A CN202110721734.9A CN202110721734A CN113628448A CN 113628448 A CN113628448 A CN 113628448A CN 202110721734 A CN202110721734 A CN 202110721734A CN 113628448 A CN113628448 A CN 113628448A
Authority
CN
China
Prior art keywords
fatigue
current stimulation
determining
driver
driving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110721734.9A
Other languages
English (en)
Other versions
CN113628448B (zh
Inventor
张贵平
韩杨
瞿爱敬
储祖江
黄浩伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dongfeng Motor Corp
Original Assignee
Dongfeng Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dongfeng Motor Corp filed Critical Dongfeng Motor Corp
Priority to CN202110721734.9A priority Critical patent/CN113628448B/zh
Publication of CN113628448A publication Critical patent/CN113628448A/zh
Application granted granted Critical
Publication of CN113628448B publication Critical patent/CN113628448B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7455—Details of notification to user or communication with user or patient ; user input means characterised by tactile indication, e.g. vibration or electrical stimulation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/746—Alarms related to a physiological condition, e.g. details of setting alarm thresholds or avoiding false alarms
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00—Evaluating a particular growth phase or type of persons or animals
    • A61B2503/20—Workers
    • A61B2503/22—Motor vehicles operators, e.g. drivers, pilots, captains

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Psychology (AREA)
  • Physiology (AREA)
  • Developmental Disabilities (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychiatry (AREA)
  • General Physics & Mathematics (AREA)
  • Social Psychology (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Electrotherapy Devices (AREA)
  • Traffic Control Systems (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明公开了一种缓解疲劳驾驶的装置，包括：获取组件，用于获取驾驶员的身体图像，踏板踩踏信息，以及车辆的位置信息；控制器，用于根据所述身体图像，确定所述驾驶员在预设时间间隔内的疲劳特征；根据所述踏板踩踏信息，确定在预设时间间隔内的踏板踩踏次数；根据所述位置信息，确定所述车辆的驾驶场景；并根据所述疲劳特征，所述踏板踩踏次数和所述驾驶场景，确定所述驾驶员的第一疲劳等级；根据所述第一疲劳等级，确定第一电流刺激策略；电流刺激组件，包括导电机构，用于根据所述第一电流刺激策略，对所述驾驶员进行电流刺激；上述装置实现在不同驾驶场景、对不同疲劳等级的驾驶疲劳的有效缓解。

Description

车辆及其缓解疲劳驾驶的装置
技术领域
本申请涉及车辆技术领域，尤其涉及一种车辆及其缓解疲劳驾驶的装置。
背景技术
疲劳驾驶是当今诱发交通事故的重要因素。对于驾驶的司机来说，长时间的开车很容易导致疲劳驾驶，而疲劳驾驶同时也是各种诱发交通事故的重要因素。为了减少疲劳驾驶导致的车祸事故，相应的规定要求，一般司机驾驶四个小时需要休息一段时间之后继续上路。鉴于实际的驾驶环境，很多情况感觉到疲劳后即刻休息无法实现。
目前疲劳预警技术多采用声音、灯光来对驾驶员进行疲劳预警，而在疲劳状态下，人体的感官接收信息迟钝，这些方案的消解疲劳效果不佳；也有采用电刺激方式进行预警，电刺激是采用不危害人体安全的微电流作用于人体产生热效应形成局部刺激，可有效缓解驾驶员疲劳感。例如，相关技术CN109291984提供了一种缓解驾驶疲劳的方向盘系统，根据驾驶员与方向盘的距离、压力、转动程度来判断驾驶员的疲劳等级，根据不同程度的驾驶疲劳，依次采用频闪灯及音响、植物成分施放、微电流刺激来缓解驾驶疲劳。然而此法的问题是，在判断出驾驶员严重疲劳或过度疲劳后才实施电刺激，而在人体疲劳等级高时，为了保证人体安全，较低的电流已经无法有效缓解驾驶疲劳。另一方面，它的电刺激方式是固定的，而人体对电流的感受随不同场景、电流大小的不同而不同，固定的电流刺激方案可能无法有效缓解重度驾驶疲劳，或对轻度疲劳的驾驶员产生明显不适。
发明内容
本发明提供了一种车辆及其缓解疲劳驾驶的装置，以解决或者部分解决目前的电刺激缓解疲劳方案无法兼顾缓解不同程度驾驶疲劳的技术问题。
为解决上述技术问题，根据本发明一个可选的实施例，提供了一种缓解疲劳驾驶的装置，包括：
获取组件，用于获取驾驶员的身体图像，踏板踩踏信息，以及车辆的位置信息；
控制器，用于根据所述身体图像，确定所述驾驶员在预设时间间隔内的疲劳特征；根据所述踏板踩踏信息，确定在预设时间间隔内的踏板踩踏次数；根据所述位置信息，确定所述车辆的驾驶场景；并根据所述疲劳特征，所述踏板踩踏次数和所述驾驶场景，确定所述驾驶员的第一疲劳等级；根据所述第一疲劳等级，确定第一电流刺激策略；
电流刺激组件，包括导电机构，所述导电机构设置在方向盘表面，用于根据所述第一电流刺激策略，对所述驾驶员进行电流刺激。
可选的，在所述电流刺激组件根据所述第一电流刺激策略对所述驾驶员进行电流刺激之后，所述控制器用于：
确定所述驾驶员的第二疲劳等级；获取在单位时间内对所述驾驶员实施的电流刺激数量；根据所述电流刺激数量和所述第二疲劳等级，确定目标电流刺激策略；
所述电流刺激组件用于：
根据所述目标电流刺激策略，对所述驾驶员进行电流刺激。
进一步的，所述控制器用于：
若所述第二疲劳等级不低于所述第一疲劳等级，则根据所述第二疲劳等级，确定第二电流刺激策略；
根据所述电流刺激数量和所述第二电流刺激策略，确定所述目标电流刺激策略；其中，所述目标电流刺激策略的电流强度高于所述第二电流刺激策略的电流强度，和/或所述目标电流刺激策略的的电流刺激时间大于所述第二电流刺激策略的电流刺激时间。
可选的，所述疲劳特征包括闭眼时长，哈欠时长和手部运动时长；
所述控制器用于：
根据所述闭眼时长，所述哈欠时长，所述手部运动时长，所述踏板踩踏次数和所述驾驶场景，确定所述驾驶员的第一疲劳等级。
进一步的，所述控制器用于：
根据所述身体图像，确定所述驾驶员的眼部感兴趣区域ROI；
根据尺度不变特征变换SIFT算法提取所述眼部ROI的眼部特征；
根据所述眼部特征，确定所述闭眼时长。
进一步的，所述控制器用于：
根据所述身体图像，确定所述驾驶员的口部感兴趣区域ROI；
根据尺度不变特征变换SIFT算法提取所述口部ROI的口部特征；
根据所述口部特征，确定所述哈欠时长。
进一步的，所述控制器用于：
根据所述身体图像，确定所述驾驶员的手部感兴趣区域ROI；
根据Canny边缘检测算法和所述手部ROI，确定所述手部运动时长。
进一步的，所述控制器用于：
将所述闭眼时长，所述哈欠时长，所述手部运动时长，所述踏板踩踏次数和所述驾驶场景输入预设的反向传播BP神经网络模型，获得所述疲劳等级。
如上述的技术方案，所述导电机构为环形。
基于前述技术方案相同的发明构思，根据本发明又一个可选的实施例，提供了一种车辆，所述车辆搭载前述技术方案中任一项缓解疲劳驾驶的装置。
通过本发明的一个或者多个技术方案，本发明具有以下有益效果或者优点：
本发明提供了一种缓解疲劳驾驶的装置，在基于行驶过程中驾驶员的身体图像提取疲劳特征的基础上，进一步获取预设时间间隔内的踏板踩踏次数，并根据车辆的定位信息，确定此时车辆的驾驶场景；之所以将踏板踩踏次数、驾驶场景并结合疲劳特征作为判断驾驶员疲劳等级的参考因素，是因为在不同的驾驶场景下驾驶员的控车操作是存在明显区别的，即使通过图像分析检测到相同的疲劳特征，但在不同的驾驶场景下，驾驶员的真实疲劳等级是不同的，并且相同的疲劳等级在不同驾驶场景下，其发展趋势也是不同的；故而，结合驾驶场景、踏板踩踏次数和驾驶员的疲劳特征，能够更精准地得出不同驾驶环境下驾驶员的疲劳等级，然后基于不同的疲劳等级，设置与疲劳等级相对应的差异化的电流刺激策略，通过方向盘上的导电机构对驾驶员进行电刺激，实现在不同驾驶场景、对不同疲劳等级的驾驶疲劳的有效缓解。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了根据本发明一个实施例的缓解疲劳驾驶的装置的示意简图；
图2示出了根据本发明一个实施例的缓解疲劳驾驶的装置的详细示意图；
图3示出了根据本发明一个实施例的导电机构与方向盘的配置示意图；
附图标记说明：
1、获取组件；11、摄像模块；12、踏板感知模块；13、定位模块；2、控制器；21、信息集成模块；22、融合判断模块；23、刺激生成模块；24、计数模块；3、电流刺激组件，31、导电机构；32、方向盘。
具体实施方式
为了使本申请所属技术领域中的技术人员更清楚地理解本申请，下面结合附图，通过具体实施例对本申请技术方案作详细描述。在整个说明书中，除非另有特别说明，本文使用的术语应理解为如本领域中通常所使用的含义。因此，除非另有定义，本文使用的所有技术和科学术语具有与本发明所属领域技术人员的一般理解相同的含义。若存在矛盾，本说明书优先。除非另有特别说明，本发明中用到的各种设备等，均可通过市场购买得到或者可通过现有方法制备得到。
在背景技术中已经指出，目前的方式固定的电刺激方案无法满足不同驾驶疲劳等级的缓解需求。而通过对驾驶疲劳等级的进一步研究发现，根据驾驶场景的不同，疲劳易发程度不同，因此在不同的驾驶环境下，识别驾驶员的疲劳等级的方案也应该有所区别。例如在高速驾驶场景下，由于路况良好，交通干扰少，驾驶员不需要投入过多的行车操作，故而随着驾驶时间的延长，驾驶员逐渐出现疲劳感觉；并且高速道路环境单一，速度稳定，行车中的噪声和振动频率小，驾驶员极易产生单调感而困倦瞌睡，而在高速环境下产生驾驶疲劳是极容易酿成事故。对于普通路况驾驶场景，如城市道路，其道路、交通情况更为复杂，需要驾驶员的注意力十分集中，始终处于高度精神紧张的状态，需要更多的行车操作来应对各种路况，并且疲劳易发程度较低。而目前识别驾驶员疲劳的相关技术，并没有考虑到驾驶场景或驾驶路况的差异对驾驶员疲劳等级判断的影响。
基于上述的研究结论，为了更实现更有效的利用电刺激缓解不同程度的驾驶疲劳，本发明提出了一种缓解疲劳驾驶的装置，包括：
获取组件，用于获取驾驶员的身体图像，踏板踩踏信息，以及车辆的位置信息；控制器，用于根据所述身体图像，确定所述驾驶员在预设时间间隔内的疲劳特征；根据所述踏板踩踏信息，确定在预设时间间隔内的踏板踩踏次数；根据所述位置信息，确定所述车辆的驾驶场景；并根据所述疲劳特征，所述踏板踩踏次数和所述驾驶场景，确定所述驾驶员的第一疲劳等级；根据所述第一疲劳等级，确定第一电流刺激策略；电流刺激组件，包括导电机构，所述导电机构设置在方向盘表面，用于根据所述第一电流刺激策略，对所述驾驶员进行电流刺激。
上述装置缓解不同程度驾驶疲劳的原理是：在基于行驶过程中驾驶员的身体图像提取疲劳特征的基础上，进一步获取预设时间间隔内的踏板踩踏次数，并根据车辆的定位信息，确定此时车辆的驾驶场景；之所以将踏板踩踏次数、驾驶场景并结合疲劳特征作为判断驾驶员疲劳等级的参考因素，是因为在不同的驾驶场景下驾驶员的控车操作是存在明显区别的，例如对于高速场景，由于路况良好，驾驶员踩踏踏板的频率整体偏低；而对于普通路况，如城市道路，由于路况和交通复杂，驾驶员踩踏踏板的频率整体偏高，因此即使通过图像分析检测到相同的疲劳特征，但在不同的驾驶场景下，驾驶员的真实疲劳等级是不同的，并且相同的疲劳等级在不同驾驶场景下，其发展趋势也是不同的，在高速路况下轻度疲劳更容易进一步发展成中度或重度疲劳；故而，结合驾驶场景、踏板踩踏次数和驾驶员的疲劳特征，能够更精准地识别不同驾驶环境下驾驶员的疲劳等级，然后基于不同的疲劳等级，设置与疲劳等级相对应的差异化的电流刺激策略，通过方向盘上的导电机构对驾驶员进行电刺激，实现在不同驾驶场景、对不同疲劳等级的驾驶疲劳的有效缓解。
在接下里的内容里，结合具体实施方式，对上述方案进行进一步的说明：
在一个可选的实施例中，如图1～图2所示，提供的缓解驾驶疲劳的装置包括：
获取组件1，用于获取驾驶员的身体图像，踏板踩踏信息，以及车辆的位置信息；
具体的，获取组件1是驾驶员的疲劳感知模组，包括摄像模块11、踏板感知模块12和定位模块13。摄像模块11即摄像仪，设置在车内驾驶室的前方或上方，用于采集驾驶员的身体图像，主要是上身的面部图像和肢体图像。所述踏板感知模块12用于实时记录驾驶员对各类踏板，如油门、刹车、离合踏板的踩踏信号和踩踏时间；定位模块13用于定位并获取车辆当前的位置信息，如车辆GPS信息或北斗位置信息。疲劳感知模组将上述实时采集的数据信息，通过无线传输或CAN传输的方式发送至控制器2进行处理。
控制器2，用于根据所述身体图像，确定所述驾驶员在预设时间间隔内的疲劳特征；根据所述踏板踩踏信息，确定在预设时间间隔内的踏板踩踏次数；根据所述位置信息，确定所述车辆的驾驶场景；并根据所述疲劳特征，所述踏板踩踏次数和所述驾驶场景，确定所述驾驶员的第一疲劳等级；根据所述第一疲劳等级，确定第一电流刺激策略；
控制器2作为采集数据的集成、融合、处理设备，可以使用车载控制器，如车身控制器BCM或整车控制器VCU实现所需的功能，也可以通过新增控制器实现所需的功能。预设时间间隔是判断驾驶员当前是否疲劳驾驶的时间周期，可以根据实际需求确定，如20秒，30秒等。
按照具体实现的功能可以将控制器2划分为如下的功能模块：
信息集成模块21，用于接收并处理摄像模块11采集的图像信息，踏板感知模块12采集的踏板踩踏次数和踩踏时间信息，定位模块13采集的车辆位置信息；并基于处理后的图像信息，采用图像分析算法提取驾驶员在预设时间间隔内的疲劳特征；根据位置信息和地图，可以确定当前车辆所处的驾驶场景，如普通路段，高速路段，城市路段等；根据踩踏信号和踩踏时间，确定预设时间间隔内的踏板踩踏次数，如20秒内踩踏制动、油门、离合踏板的总次数；
融合判断模块22，基于疲劳特征、驾驶场景、踩踏次数进行融合判断，得到驾驶员在本轮预设时间间隔内的疲劳等级。可选的，疲劳特征包括：预设时间间隔内的眼睛闭合时间，预设时间间隔内的哈欠时长，以及预设时间间隔内的手部运动时长；对应的，控制器2的融合判断模块22根据所述闭眼时长，所述哈欠时长，所述手部运动时长，所述踏板踩踏次数和所述驾驶场景，综合确定所述驾驶员的疲劳等级。之所以选择这三种疲劳特征，是因为实践表明其它的人体动作特征在疲劳状态下不可控，无法形成疲劳信号，从而无法用于定量判断疲劳等级，从而无法评估在不同场景下的微电流的刺激效果。例如，若根据驾驶员的生理指标如体温、心率、血压、肌电来作为疲劳等级检测，由于不同的驾驶员，甚至相同的驾驶员在不同的状况下，其生理特征均有差异，如熬夜后心率将明显升高。
可选的，确定疲劳特征的方法可以是：
对于闭眼时长特征，控制器2根据所述身体图像，确定所述驾驶员的眼部感兴趣区域ROI；根据尺度不变特征变换SIFT(Scale Invariant Feature Transform)算法提取所述眼部ROI的眼部特征；根据所述眼部特征，确定所述闭眼时长。
对于哈欠时长特征，控制器2根据所述身体图像，确定所述驾驶员的口部感兴趣区域ROI；根据尺度不变特征变换SIFT算法提取所述口部ROI的口部特征；根据所述口部特征，确定所述哈欠时长。
对于手部运动时长，所述控制器2用于：根据所述身体图像，确定所述驾驶员的手部感兴趣区域ROI；根据Canny边缘检测算法和所述手部ROI，确定所述手部运动时长。
在获得所有的疲劳特征、踏板踩踏次数和驾驶场景后，可将这些数据输入预设的反向传播BP神经网络模型，获得对应的疲劳等级。
控制器2还包括刺激生成模块23，用于根据疲劳等级，确定本次微电流刺激策略。电流刺激策略包括本次电流刺激采用的刺激强度，如电流强度或电压强度，电流脉冲时间即单次电击时间。人体刺激电流参数设置可参考《医疗器械分类目录》中II-6826-2电疗仪器相关规定；例如，本次电流刺激策略，采用5mA的电流强度，0.2s的脉冲时间。通常来说，疲劳等级越重，电流刺激强度越大，刺激次数和单次电击时间越长。可在控制器2中预置多种疲劳强度对应的电流刺激策略。
由于本实施例考虑了驾驶场景对疲劳等级的影响，在同样的预设时间间隔内，即使是相同的疲劳特征和踏板踩踏次数，若处于不同的驾驶场景，控制器2确定的疲劳等级是不同的。考虑到高速路况与普通路况相比，本身具有较少的控车操作，因此一种可选的方式是同样的疲劳特征和踏板踩踏次数，高速路况的疲劳等级低于普通路况。例如在高速路况，在20秒左右的预设时间间隔内闭眼时长5秒、哈欠时长1秒、手部运动时长4秒、踏板踩踏1次，可确定为中度疲劳；而在普通路况，在20秒内闭眼时长5秒、哈欠时长1秒、手部运动时长4秒、踏板踩踏1次，可确定为重度疲劳。
但从另一个角度出发，考虑到高速路况上出现疲劳驾驶更容易产生事故，需要及时缓解疲劳，因此另一种可选的方式是：对于同样的疲劳特征和踏板踩踏次数，高速路况的疲劳等级高于普通路况。例如在高速路况，在20秒左右的预设时间间隔内闭眼时长5秒、哈欠时长1秒、手部运动时长4秒、踏板踩踏1次，可确定为重度疲劳；而在普通路况，在20秒内闭眼时长5秒、哈欠时长1秒、手部运动时长4秒、踏板踩踏1次，可确定为中度疲劳。
电流刺激组件3，包括导电机构31，所述导电机构31设置在方向盘表面，用于根据所述第一电流刺激策略，对所述驾驶员进行电流刺激。
具体的，电流刺激组件3是对驾驶员执行电流刺激策略的机构，通过在方向盘上设置导电机构31，如导电块，对驾驶员的手掌实施电流刺激。导电块的电流来源可以是车辆系统的低压线束，也可以是新增微电流发生器，与控制器2建立通信连接，根据电流刺激策略产生对应的微电流。
为了避免驾驶员因为握方向盘位置不同，导致不能有效的实施电流刺激，可选的，如图3所示，导电块可以是环形的，贴合在方向盘32的整个表面，如此只要驾驶员手握方向盘32的任何位置，都可以实施电流刺激，使驾驶员疲劳缓解刺激无死角。
本实施例的缓解驾驶疲劳的装置是实时分析驾驶员的疲劳等级，以在驾驶员出现疲劳驾驶时，随时通过微电流刺激进行缓解。在经过上一轮的微电流刺激后，在本轮的预设时间间隔内，驾驶员的疲劳等级可能缓解，也可能进一步加深。为了更好的缓解驾驶疲劳，可选的，在所述电流刺激组件3根据所述第一电流刺激策略对所述驾驶员进行电流刺激之后，所述控制器2继续用于：
确定所述驾驶员的第二疲劳等级；具体的，确定第二疲劳等级的方案与确定第一疲劳等级的方案相同；
获取在单位时间内对所述驾驶员实施的电流刺激数量；此处的单位时间内对所述驾驶员实施的电流刺激数量，是统计一定时间间隔内，如100秒内对驾驶员实施过的历史电流刺激策略的数量或次数。次数统计的功能可通过控制器2内的计数模块24实现。
根据所述电流刺激数量和所述第二疲劳等级，确定目标电流刺激策略；
所述电流刺激组件3用于：根据所述目标电流刺激策略，对所述驾驶员进行电流刺激。
具体的，若第二疲劳等级小于第一疲劳等级，说明之前的电流刺激起到了良好的疲劳缓解效果，此时可以根据第二疲劳等级对应的第二电流刺激策略继续缓解疲劳，或者根据单位时间内已对驾驶员进行电流刺激的次数，降低第二电流刺激策略中的电流强度和/或电流刺激时间，获得新的目标电流刺激策略，对驾驶员进行疲劳缓解，如此能够提高驾驶员的驾车体验。
若所述第二疲劳等级不低于所述第一疲劳等级，说明之前的电流刺激效果欠佳，没有缓解驾驶员的疲劳等级，或者疲劳等级进一步加深，此时应该加大电流刺激强度，即：根据所述第二疲劳等级，确定第二电流刺激策略；根据所述电流刺激数量和所述第二电流刺激策略，确定所述目标电流刺激策略；所述目标电流刺激策略的电流强度高于所述第二电流刺激策略的电流强度，和/或所述目标电流刺激策略的的电流刺激时间大于所述第二电流刺激策略的电流刺激时间。
进一步的，所述根据所述电流刺激数量和所述第二电流刺激策略，确定所述目标电流刺激策略，包括：
若所述电流刺激数量大于或等于预设阈值，则所述目标电流刺激策略的电流强度高于所述第二电流刺激策略的电流强度，且所述目标电流刺激策略的的电流刺激时间大于所述第二电流刺激策略的电流刺激时间；
若所述电流刺激数量小于预设阈值，则所述目标电流刺激策略的电流强度高于所述第二电流刺激策略的电流强度，或者所述目标电流刺激策略的的电流刺激时间大于所述第二电流刺激策略的电流刺激时间。
例如，在上一轮20秒的周期内检测到驾驶员处于中度疲劳，而本轮周期检测到驾驶员仍然处于中度疲劳，并且计数模块24统计单位时间：100秒内已经对驾驶员实施过超过预设数量，如五次的中度疲劳电流刺激：电流强度5mA，脉冲时间0.2秒，则本轮周期的目标电流刺激策略应当在中度疲劳电流刺激策略的基础上，进一步加大电流刺激时间，如采用电流强度5mA，脉冲时间0.3秒的电流刺激策略。若本轮周期检测到驾驶员已经进入了重度疲劳，则应当在满足人体安全的前提下，在重度疲劳对应的电流刺激策略的基础上进一步加大电流强度，增加电流刺激时间。
总的来说，上述方案提供了一种根据驾驶场景，驾驶员在预设时间段内的疲劳特征和驾驶员在预设时间段内的踏板踩踏数量，综合判断此时驾驶员的疲劳等级，并根据不同的疲劳等级，制定对应的电流刺激策略，通过差异化的电流刺激策略，在满足不同程度的驾驶疲劳缓解的基础上，保证驾驶员的驾车体验和驾车安全，避免在重度疲劳下电流刺激强度不够不足以缓解疲劳，或者在轻度疲劳下实施较高的电流刺激强度引起的驾车安全隐患。同时，通过跟踪电流刺激后驾驶员的疲劳等级的变化，并统计单位时间内已对驾驶员实施的电流刺激数量，基于此调整接下来的电流刺激策略，如电流强度和刺激时间，如此能够根据不同的电流刺激结果的反馈，制定更精确的电流刺激策略，进一步提高驾驶疲劳的缓解效率。
在接下来的内容中，结合具体实施过程对上述疲劳缓解装置进一步的说明：
1、车辆启动，缓解疲劳装置上电启动；
2、疲劳感知模组中的摄像模块实时采集驾驶员上身图像，踏板感知模块实时记录驾驶员踩踏踏板的时间点，地图定位模块采集车辆位置及地图信息；上述信息采集后实时传递至控制器；
3、控制器中的信息集成模块接收驾驶员上身图像，从上身图像中提取疲劳特征信息，如本轮的预设时间间隔：20秒内的闭眼时长、哈欠时长、手部运动时长等；同时接收踩踏踏板的时间及次数，计算20秒内的踏板踩踏次数；同时接收车辆位置信息，结合地图判断车辆是行驶在高速公路场景，或是普通公路场景，或是城市道路场景。
其中，闭眼时长确定方法为：
输入人体上身图像，框取眼部ROI(region of interest)；采用SIFT匹配算法提取眼部特征点；计算20秒内的眼睛闭合时间，具体公式如下：E＝N1(周期内眼睛闭合图像帧数)×T(帧隔时间)；
哈欠时长确定方法为：
输入人体上身图像，框取口部ROI(region of interest)；采用SIFT匹配算法提取口部特征点；计算一定周期内口部较大角度，如超过20°的张开时间，具体公式如下：M＝N2(较大角度张开的图像帧数)×T(帧隔时间)；
手部运动时长确定方法为：
输入人体上身图像，框取手部ROI(region of interest)；采用Canny算法进行边缘检测，统计手部变动图像帧数；计算20秒内手部移动时间，具体公式如下：H＝N3(周期内手部图像变动帧数)×T(帧隔时间)；
踏板踩踏次数确定方法为：
输入踏板踩踏触发时间点，提取20秒内踏板踩踏次数F；
驾驶场景确定方法为：
输入车辆GPS/北斗位置信息，匹配地图位置，判断车辆位置信息，输出信号0—高速公路，1—常规公路，2—城市道路等；
4、控制器的融合判断模块根据上述疲劳特征、踏板踩踏次数和驾驶场景，采用预先训练好的BP神经网络的方法识别驾驶员疲劳等级，具体过程如下：
(1)对闭眼时长，哈欠时长，手部运动时长，踏板踩踏次数和驾驶场景数据进行预处理，获得BP模型输入数据；
(2)将所述模型输入数据输入BP神经网络模型，输出疲劳等级和疲劳等级量化值。
其中，BP神经网络的训练过程是：
(1)确定疲劳等级和对应的量化值，一种可选的方案如表1所示：
表1：疲劳等级划分
疲劳程度 正常 轻微疲劳 中度疲劳 重度疲劳
量化值 0.00～0.25 0.25～0.50 0.50～0.75 0.75～1.00
(2)准备数据样本：收集包括闭眼时长，哈欠时长，手部运动时长，踏板踩踏次数和驾驶场景的疲劳样本数据，对数据样本进行标注，确定对应的疲劳程度，如：
在高速公路，20秒内闭眼时长5秒、哈欠时长1秒、手部运动时长4秒、踏板踩踏1次，设置为中度疲劳，对应的量化值为0.6；
在普通公路，20秒内闭眼时长5秒、哈欠时长1秒、手部运动时长4秒、踏板踩踏1次，设置为重度疲劳，对应的量化值为0.85；
(3)模型训练：将收集和标注的样本数据集分为训练集和检测集，使用训练集和BP神经网络进行模型训练；BP神经网络包括1个隐层，5个输入矢量，1个输出矢量，输出传递函数采用Log-sigmoid；实践表明上述BP神经网络的结构能够获得精确的疲劳等级输出；
(4)结果评价：模型训练后进行检测集的的检测，并计算训练集和检测集的均方误差值，评价训练结果；
(5)模型调优：根据训练集均方差值、检测集均方差值和二种均方差值的差值这3个指标，优化模型训练参数；3个指标值越小，模型参数越优。
5、控制器的计数模块记录已经对驾驶员实施过的特定疲劳等级的电刺激数量或次数；
6、控制器的刺激生成模块根据当前的疲劳等级和电刺激数量，确定当前的目标电流刺激策略。目标电流刺激策略包括对应的电流强度和电流刺激时长；例如，当前驾驶员疲劳等级为中度疲劳，并且在单位时间：100秒内已对驾驶员实施过中度疲劳电流刺激(电流大小5mA，脉冲时间0.2s)五次，则接下来增加电流刺激时长，如电流大小5mA，脉冲时间0.3s；
7、根据目标电流刺激策略，通过电流刺激组件中的导电块对驾驶员实时电流刺激，以缓解驾驶员疲劳。
上述电流刺激过程的流程示意图如图3所示。
基于上述实施例相同的发明构思，在又一个可选的实施例中，提供了一种车辆，所述车辆搭载如前述实施例所述的缓解疲劳驾驶的装置。
通过本发明的一个或者多个实施例，本发明具有以下有益效果或者优点：
本发明提供了一种缓解疲劳驾驶的装置，在基于行驶过程中驾驶员的身体图像提取疲劳特征的基础上，进一步获取预设时间间隔内的踏板踩踏次数，并根据车辆的定位信息，确定此时车辆的驾驶场景；之所以将踏板踩踏次数、驾驶场景并结合疲劳特征作为判断驾驶员疲劳等级的参考因素，是因为在不同的驾驶场景下驾驶员的控车操作是存在明显区别的，即使通过图像分析检测到相同的疲劳特征，但在不同的驾驶场景下，驾驶员的真实疲劳等级是不同的，并且相同的疲劳等级在不同驾驶场景下，其发展趋势也是不同的；故而，结合驾驶场景、踏板踩踏次数和驾驶员的疲劳特征，能够更精准地得出不同驾驶环境下驾驶员的疲劳等级，然后基于不同的疲劳等级，设置与疲劳等级相对应的差异化的电流刺激策略，通过方向盘上的导电机构对驾驶员进行电刺激，实现在不同驾驶场景、对不同疲劳等级的驾驶疲劳的有效缓解。
尽管已描述了本申请的优选实施例，但本领域内的普通技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (10)

1.一种缓解疲劳驾驶的装置，其特征在于，所述装置包括：
获取组件，用于获取驾驶员的身体图像，踏板踩踏信息，以及车辆的位置信息；
控制器，用于根据所述身体图像，确定所述驾驶员在预设时间间隔内的疲劳特征；根据所述踏板踩踏信息，确定在预设时间间隔内的踏板踩踏次数；根据所述位置信息，确定所述车辆的驾驶场景；并根据所述疲劳特征，所述踏板踩踏次数和所述驾驶场景，确定所述驾驶员的第一疲劳等级；根据所述第一疲劳等级，确定第一电流刺激策略；
电流刺激组件，包括导电机构，所述导电机构设置在方向盘表面，用于根据所述第一电流刺激策略，对所述驾驶员进行电流刺激。
2.如权利要求1所述的装置，其特征在于，在所述电流刺激组件根据所述第一电流刺激策略对所述驾驶员进行电流刺激之后，所述控制器用于：
确定所述驾驶员的第二疲劳等级；获取在单位时间内对所述驾驶员实施的电流刺激数量；根据所述电流刺激数量和所述第二疲劳等级，确定目标电流刺激策略；
所述电流刺激组件用于：
根据所述目标电流刺激策略，对所述驾驶员进行电流刺激。
3.如权利要求2所述的装置，其特征在于，所述控制器用于：
若所述第二疲劳等级不低于所述第一疲劳等级，则根据所述第二疲劳等级，确定第二电流刺激策略；
根据所述电流刺激数量和所述第二电流刺激策略，确定所述目标电流刺激策略；其中，所述目标电流刺激策略的电流强度高于所述第二电流刺激策略的电流强度，和/或所述目标电流刺激策略的的电流刺激时间大于所述第二电流刺激策略的电流刺激时间。
4.如权利要求1所述的装置，其特征在于，所述疲劳特征包括闭眼时长，哈欠时长和手部运动时长；
所述控制器用于：
根据所述闭眼时长，所述哈欠时长，所述手部运动时长，所述踏板踩踏次数和所述驾驶场景，确定所述驾驶员的第一疲劳等级。
5.如权利要求4所述的装置，其特征在于，所述控制器用于：
根据所述身体图像，确定所述驾驶员的眼部感兴趣区域ROI；
根据尺度不变特征变换SIFT算法提取所述眼部ROI的眼部特征；
根据所述眼部特征，确定所述闭眼时长。
6.如权利要求4所述的装置，其特征在于，所述控制器用于：
根据所述身体图像，确定所述驾驶员的口部感兴趣区域ROI；
根据尺度不变特征变换SIFT算法提取所述口部ROI的口部特征；
根据所述口部特征，确定所述哈欠时长。
7.如权利要求4所述的装置，其特征在于，所述控制器用于：
根据所述身体图像，确定所述驾驶员的手部感兴趣区域ROI；
根据Canny边缘检测算法和所述手部ROI，确定所述手部运动时长。
8.如权利要求4所述的装置，其特征在于，所述控制器用于：
将所述闭眼时长，所述哈欠时长，所述手部运动时长，所述踏板踩踏次数和所述驾驶场景输入预设的反向传播BP神经网络模型，获得所述疲劳等级。
9.如权利要求1所述的装置，其特征在于，所述导电机构为环形。
10.一种车辆，其特征在于，所述车辆搭载如权利要求1～9任一权项所述的缓解疲劳驾驶的装置。
CN202110721734.9A 2021-06-28 2021-06-28 车辆及其缓解疲劳驾驶的装置 Active CN113628448B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110721734.9A CN113628448B (zh) 2021-06-28 2021-06-28 车辆及其缓解疲劳驾驶的装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110721734.9A CN113628448B (zh) 2021-06-28 2021-06-28 车辆及其缓解疲劳驾驶的装置

Publications (2)

Publication Number Publication Date
CN113628448A true CN113628448A (zh) 2021-11-09
CN113628448B CN113628448B (zh) 2023-05-30

Family

ID=78378482

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110721734.9A Active CN113628448B (zh) 2021-06-28 2021-06-28 车辆及其缓解疲劳驾驶的装置

Country Status (1)

Country Link
CN (1) CN113628448B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115035718A (zh) * 2022-06-02 2022-09-09 东风汽车集团股份有限公司 基于车辆动作类型和次数的场景复杂度评价方法
CN115137941A (zh) * 2022-06-21 2022-10-04 北京中科心研科技有限公司 一种基于疲劳识别模型和电刺激的应急唤醒方法及系统
CN117116006A (zh) * 2023-08-04 2023-11-24 深圳腾信百纳科技有限公司 一种疲劳驾驶的提醒方法、系统、终端及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105894734A (zh) * 2015-10-19 2016-08-24 乐卡汽车智能科技（北京）有限公司 用于交通工具的疲劳驾驶预警方法及系统
CN105894733A (zh) * 2014-05-15 2016-08-24 Lg电子株式会社 驾驶员监控系统
CN109833049A (zh) * 2019-03-05 2019-06-04 浙江强脑科技有限公司 疲劳驾驶预防方法、装置及可读存储介质
CN109993180A (zh) * 2017-12-29 2019-07-09 新华网股份有限公司 人体生物电数据处理方法和装置、存储介质和处理器
CN110027567A (zh) * 2019-04-30 2019-07-19 奇瑞汽车股份有限公司 驾驶员的驾驶状态确定方法、装置及存储介质
CN110103819A (zh) * 2019-04-24 2019-08-09 惠州市德赛西威智能交通技术研究院有限公司 疲劳驾驶唤醒方法及系统
CN112319484A (zh) * 2020-11-03 2021-02-05 山东建筑大学 一种用于长途驾驶的检测和提示系统
CN112849151A (zh) * 2021-02-18 2021-05-28 上海航盛实业有限公司 一种预防疲劳驾驶的提醒装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105894733A (zh) * 2014-05-15 2016-08-24 Lg电子株式会社 驾驶员监控系统
CN105894734A (zh) * 2015-10-19 2016-08-24 乐卡汽车智能科技（北京）有限公司 用于交通工具的疲劳驾驶预警方法及系统
CN109993180A (zh) * 2017-12-29 2019-07-09 新华网股份有限公司 人体生物电数据处理方法和装置、存储介质和处理器
CN109833049A (zh) * 2019-03-05 2019-06-04 浙江强脑科技有限公司 疲劳驾驶预防方法、装置及可读存储介质
CN110103819A (zh) * 2019-04-24 2019-08-09 惠州市德赛西威智能交通技术研究院有限公司 疲劳驾驶唤醒方法及系统
CN110027567A (zh) * 2019-04-30 2019-07-19 奇瑞汽车股份有限公司 驾驶员的驾驶状态确定方法、装置及存储介质
CN112319484A (zh) * 2020-11-03 2021-02-05 山东建筑大学 一种用于长途驾驶的检测和提示系统
CN112849151A (zh) * 2021-02-18 2021-05-28 上海航盛实业有限公司 一种预防疲劳驾驶的提醒装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115035718A (zh) * 2022-06-02 2022-09-09 东风汽车集团股份有限公司 基于车辆动作类型和次数的场景复杂度评价方法
CN115035718B (zh) * 2022-06-02 2023-04-18 东风汽车集团股份有限公司 基于车辆动作类型和次数的场景复杂度评价方法
CN115137941A (zh) * 2022-06-21 2022-10-04 北京中科心研科技有限公司 一种基于疲劳识别模型和电刺激的应急唤醒方法及系统
CN115137941B (zh) * 2022-06-21 2024-05-03 北京中科心研科技有限公司 一种基于疲劳识别模型和电刺激的应急唤醒方法及系统
CN117116006A (zh) * 2023-08-04 2023-11-24 深圳腾信百纳科技有限公司 一种疲劳驾驶的提醒方法、系统、终端及存储介质

Also Published As

Publication number Publication date
CN113628448B (zh) 2023-05-30

Similar Documents

Publication Publication Date Title
CN113628448A (zh) 车辆及其缓解疲劳驾驶的装置
Daza et al. Drowsiness monitoring based on driver and driving data fusion
CN110422174A (zh) 生物特征传感器融合以对车辆乘客状态进行分类
CN103714660B (zh) 基于图像处理融合心率特征与表情特征实现疲劳驾驶判别的系统
AU2010239137B2 (en) A method and system for controlling a device
CN110509983B (zh) 一种适用于不同驾驶需求的线控转向路感反馈装置
WO2017177128A1 (en) Systems and methods for deep reinforcement learning using a brain-artificial intelligence interface
CN108464839A (zh) 一种基于机器学习的车载疲劳驾驶监测预警系统
García et al. Vision-based drowsiness detector for a realistic driving simulator
CN105261153A (zh) 车辆行驶监控方法和装置
CN110728241A (zh) 一种基于深度学习多特征融合的驾驶员疲劳检测方法
Djamal et al. Identification of post-stroke EEG signal using wavelet and convolutional neural networks
CN104881956A (zh) 一种疲劳驾驶预警系统
CN108537198A (zh) 一种基于人工智能的驾驶习惯的分析方法
CN113276867A (zh) 一种自动驾驶情景下的脑电波紧急控制系统及方法
Lin et al. Nonparametric single-trial EEG feature extraction and classification of driver's cognitive responses
Gruel et al. Bio-inspired visual attention for silicon retinas based on spiking neural networks applied to pattern classification
Zhong et al. Localized energy study for analyzing driver fatigue state based on wavelet analysis
CN112829755B (zh) 通过乘员脚部位置压力分布识别乘员状态的系统与方法
Rahman et al. EMG signal segmentation to predict driver’s vigilance state
CN113989887A (zh) 基于视觉特征信息融合的设备操作人员疲劳状态检测方法
CN113269069A (zh) 一种基于卡车司机面部特征的困倦辨识方法及装置
CN113724833B (zh) 一种下肢运动障碍者行走意图强化虚拟诱导方法及系统
Srivastava Driver's drowsiness identification using eye aspect ratio with adaptive thresholding
CN110427840A (zh) 一种基于皮肤电信号的驾驶员心理应激强度智能识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant