CN112168190B - 驾驶压力实时监测系统及方法 - Google Patents

驾驶压力实时监测系统及方法 Download PDF

Info

Publication number
CN112168190B
CN112168190B CN202011145540.0A CN202011145540A CN112168190B CN 112168190 B CN112168190 B CN 112168190B CN 202011145540 A CN202011145540 A CN 202011145540A CN 112168190 B CN112168190 B CN 112168190B
Authority
CN
China
Prior art keywords
driving
pressure
data
event
task
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011145540.0A
Other languages
English (en)
Other versions
CN112168190A (zh
Inventor
周鑫
张伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN202011145540.0A priority Critical patent/CN112168190B/zh
Publication of CN112168190A publication Critical patent/CN112168190A/zh
Application granted granted Critical
Publication of CN112168190B publication Critical patent/CN112168190B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/10—Geometric CAD
    • G06F30/15—Vehicle, aircraft or watercraft design
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G09B9/04—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of land vehicles
    • G09B9/052—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of land vehicles characterised by provision for recording or measuring trainee's performance
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00—Evaluating a particular growth phase or type of persons or animals
    • A61B2503/20—Workers
    • A61B2503/22—Motor vehicles operators, e.g. drivers, pilots, captains
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2119/00—Details relating to the type or aim of the analysis or the optimisation
    • G06F2119/14—Force analysis or force optimisation, e.g. static or dynamic forces

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Psychiatry (AREA)
  • Geometry (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Educational Technology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Social Psychology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Child & Adolescent Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Computer Hardware Design (AREA)
  • Hospice & Palliative Care (AREA)
  • Automation & Control Theory (AREA)
  • Psychology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Mathematics (AREA)
  • Software Systems (AREA)
  • Pure & Applied Mathematics (AREA)

Abstract

本发明提供一种驾驶压力实时监测系统及方法，包括：构建驾驶场景及事件；设定事件发生地点与客户端在驾驶场景中位置之间的第一距离和第二距离，使得事件成为有压力事件和无压力事件，结合驾驶场景生成有压力驾驶任务和无压力驾驶任务，采集客户端在有压力驾驶任务和无压力驾驶任务中的驾驶行为数据和面部表情数据；构建机器学习模型；将有压力驾驶任务的驾驶行为数据超过设定阈值的驾驶行为数据对应的面部表情数据构成有压力数据集，将对应的无压力驾驶任务中面部表情数据作为无压力数据集，对机器学习模型进行训练；采用训练后机器学习模型对客户端驾驶行为进行实时监测。上述系统及方法对驾驶过程中压力水平实时监测。

Description

驾驶压力实时监测系统及方法
技术领域
本发明涉及智能驾驶技术领域，更具体地，涉及一种驾驶压力实时监测系统及方法。
背景技术
驾驶压力是指当驾驶员感知或者评估其驾驶任务所需要的能力超过了自身的驾驶能力时，所产生的一系列反应。驾驶压力对驾驶行为和自身意识有负面影响，进而影响驾驶绩效。例如，驾驶压力会弱化驾驶员控制机动车的能力，降低警觉性，让驾驶员产生更多的危险和挑衅性行为，甚至在与安全性相关的事件上作出错误的决策。此外，驾驶压力也会影响驾驶员的生理和心理健康，导致高血压的风险、影响个人自信。
现有的驾驶压力评估方法分为两大类：主观测量和客观测量。这两类测量都需要让驾驶员置于某一场景之中，该场景用于诱发驾驶压力，驾驶场景又可按照其存在方式分为实际道路驾驶和模拟器驾驶。实际道路驾驶虽然真实性更高，可以体现在真实驾驶场景下驾驶员会出现的行为，但是驾驶压力的产生往往是具有危险性的。模拟器驾驶场景则是基于虚拟现实技术让被试在没有危险的前提下展开实验，并且在实验室环境下，可以自由控制驾驶场景，重复采集特定场景下被试的数据。此外，已经有大量的研究表明，与实际道路驾驶相比，在驾驶模拟器条件下展开的测量，其信度和效度得到证实。
主观测量主要是以事后问卷的方式来让被试自主评分，采用一些成熟的心理学量表。二维情感量表(EmotionalCircumplex)是一种常见的自评量表，包含两个测量维度：唤醒水平和情感倾向，前者用于评估某一事件或任务唤醒被试情绪的高低，后者用于评估被唤醒的情绪是属于积极的还是消极的。
客观测量则可以分为三大类：生理测量、驾驶行为测量和面部表情测量。生理测量主要是使用穿戴式传感器去采集被试的生理信号，包括皮肤电信号、心电信号和脑电信号等，驾驶行为测量则主要是采集被试的驾驶操作(例如方向盘转角、刹车力度)以及车辆的动力学信息(例如速度、加速度、车道偏离程度)，面部表情测量则是通过摄像头采集面部肌肉的运动情况。有研究表明，当被试的压力水平升高时，其皮电值、心率也会升高，瞳孔直径也会变大。通过这些客观测量，可以间接地反映被试的压力水平。
虽然主观测量可以直接测量被试的压力水平，但是只能在事后进行，无法做到对驾驶员压力的实时监测。客观测量方面，现有的基于生理信号的驾驶压力监测，需要使用昂贵的生理信号采集设备，而且这些设备需要直接与被试的皮肤接触，非常不适且会影响驾驶员的驾驶操作。基于驾驶行为的测量则会受到被试的行为特征、车辆的特征和路况的影响。而采用基于驾驶员的面部表情的驾驶压力的测量则是一种非接触式的测量方法，不会干扰驾驶员的驾驶操作。现有的研究中采用的采集设备则是红外摄像头系统或者RGB 摄像头系统，需要连接外部的处理装置，导致整个系统非常复杂，车载环境下空间有限，安装不便。
已有的研究中对驾驶压力的诱发是通过改变驾驶场景,将交通流量大的城市道路场景定义为“压力场景”，将交通流量小的郊区场景定义为“无压力场景”，这样的定义无法将驾驶压力与具体的险情事件关联，进而无法帮助判断针对具体的某一个事件，驾驶员的压力水平的高低。
发明内容
本发明提供一种对驾驶员驾驶过程中压力水平的实时监测的驾驶压力实时监测系统及方法。
根据本发明的一个方面，提供一种驾驶压力实时监测系统，包括场景模块、驾驶模拟器、采集模块、数据处理模块和实时监测模块，其中：
所述场景模块包括场景构建单元、事件构建单元、有压力驾驶任务生成单元和无压力驾驶任务生成单元，场景构建单元用于构建驾驶场景；事件构建单元用于构建驾驶场景中出现的多个事件；有压力驾驶任务生成单元，设定各事件发生的地点与客户端在驾驶场景中位置之间的第一距离使得事件成为有压力事件，结合驾驶场景生成有压力驾驶任务；无压力驾驶任务生成单元，设定各事件发生的地点与客户端在驾驶场景中位置之间的第二距离，使得事件成为无压力事件，结合驾驶场景生成无压力驾驶任务，其中，所述第二距离大于所述第一距离，所述第一距离小于设定距离，所述设定距离是指在设定驾驶速度下完成刹车操作需要的最短距离；
所述驾驶模拟器，包括刺激呈现装置和输入装置，所述刺激呈现装置用于向客户端呈现场景模块的有压力驾驶任务和无压力驾驶任务，所述输入装置包括方向盘、油门踏板和刹车踏板；
所述采集模块，用于采集客户端使用驾驶模拟器在场景模块提供的有压力驾驶任务和无压力驾驶任务中的驾驶行为数据和面部表情数据；
所述数据处理模块包括机器学习模型和训练子模块，所述机器学习模型的输入为采集模块采集的面部表情数据，输出为客户端驾驶状态，所述驾驶状态包括有压力和无压力；所述训练子模块包括训练集构建单元和模型训练单元，所述训练集构建单元将采集模块采集的有压力驾驶任务的驾驶行为数据中超过设定阈值的驾驶行为数据对应的面部表情数据取出，构成有压力数据集，将采集模块采集的对应的无压力驾驶任务中与有压力数据集的各事件的时间窗对应的面部表情数据作为无压力数据集，有压力数据集和无压力数据集构成模型数据集；所述模型训练单元通过训练集构建单元的模型数据集对机器学习模型进行训练；
实时监测模块，采用训练后的机器学习模型对客户端的驾驶行为进行实时监测。
优选地，所述训练子模块还包括模型评估单元，将模型数据集的一部分作为训练集，另一部分作为测试集，所述模型训练单元通过训练集对机器学习模型进行训练，所述模型评估单元采用测试集对训练后的机器学习模型进行评价。
优选地，所述采集模块包括问卷单元，所述数据处理模块还包括压力事件确认子模块，所述问卷单元向客户端提供问卷，获得问卷评分，所述压力事件确认子模块将有压力驾驶任务中问卷评分低于设定阈值的事件删除。
优选地，所述训练集构建单元包括：
所述训练集构建单元包括：
压力事件被试反应位置获得子单元，将有压力驾驶任务的驾驶行为数据超过设定阈值的驾驶行为发生位置作为有压力反应起始点；
无压力驾驶任务下反应位置获得子单元，将无压力驾驶任务中与有压力反应点相应的位置点的坐标作为无压力反应起始点；
数据标记子单元，将有压力反应起始点设定时间范围内的面部表情数据标记到有压力数据集，将无压力反应起始点设定时间范围内的面部表情数据标记到无压力数据集。
进一步，优选地，所述训练集构建单元还包括：
第一筛选子单元，删除超过有压力驾驶任务生成单元中事件地点的设定距离的压力事件被试反应位置获得子单元获得的有压力反应起始点。
更进一步，优选地，所述训练集构建单元还包括：
第二筛选子单元，通过视频回放删除不熟练操作导致的异常值。
优选地，所述采集模块包括：油门位移传感器，用于采集油门被踩下的深度；刹车位移传感器，用于采集刹车被踩下的深度；转角传感器，用于采集方向盘的转角；所述训练集构建单元的设定阈值包括以下标准差中的一个或多个：
刹车踏板位移超过有压力驾驶任务中刹车踏板位移均值加上第一设定倍数的刹车踏板位移的标准差为第一标准差；
方向盘转角超过有压力驾驶任务中方向盘转角均值加上第二设定倍数的方向盘转角的标准差为第二标准差；
油门踏板位移超过有压力驾驶任务中油门踏板位移均值加上第三设定倍数的油门踏板位移的标准差为第三标准差。
优选地，所述面部表情数据是由面部特征构成的数据，所述面部特征包括左眼特征、右眼特征、嘴巴和下颌特征、眉毛、脸颊和鼻子特征以及舌头特征。
优选地，所述采集模块通过客户端的手机采集客户端的面部表情数据。
根据本发明的另一方面，提供一种驾驶压力实时监测方法，包括：
构建驾驶场景及构建驾驶场景中出现的多个事件；
设定各事件发生的地点与客户端在驾驶场景中位置之间的第一距离，使得事件成为有压力事件，结合驾驶场景生成有压力驾驶任务；
设定各事件发生的地点与客户端在驾驶场景中位置之间的第二距离，使得事件成为无压力事件，结合驾驶场景生成无压力驾驶任务，其中，所述第二距离大于所述第一距离，所述第一距离小于设定距离，所述设定距离是在设定驾驶速度下完成刹车操作需要的最短距离；
向客户端呈现有压力驾驶任务和无压力驾驶任务；
采集客户端在有压力驾驶任务和无压力驾驶任务中的驾驶行为数据和面部表情数据；
构建机器学习模型，机器学习模型的输入为采集的面部表情数据，输出为客户端驾驶状态，所述驾驶状态包括有压力和无压力；
将有压力驾驶任务的驾驶行为数据超过设定阈值的驾驶行为数据对应的面部表情数据构成有压力数据集，
将对应的无压力驾驶任务中与有压力数据集的各事件的时间窗对应的面部表情数据作为无压力数据集，有压力数据集和无压力数据集构成模型数据集；
通过模型数据集对机器学习模型进行训练；
采用训练后的机器学习模型对客户端的驾驶行为进行实时监测。
上述驾驶压力实时监测系统及方法将驾驶压力与具体的事件关联，使用驾驶模拟器来诱发、使用驾驶行为测量和面部表情测量，实现了在驾驶过程中的对压力水平的实时监控。
附图说明
图1是本发明所述驾驶压力实时监测系统的构成框图；
图2是本发明所述驾驶压力实时监测方法的流程图的示意图；
图3是本发明一个具体实施例中驾驶者的驾驶压力曲线图。
具体实施方式
现在将参考附图更全面地描述示例性实施方式。然而，示例性实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例性实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。
此外，图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
图1是本发明所述驾驶压力实时监测系统的构成框图，如图1所示，所述驾驶压力实时监测系统包括场景模块1、驾驶模拟器2、采集模块3、数据处理模块4和实时监测模块5，其中：
所述场景模块1包括场景构建单元11、事件构建单元12、有压力驾驶任务生成单元13和无压力驾驶任务生成单元14，场景构建单元用于构建驾驶场景；事件构建单元用于构建驾驶场景中出现的多个事件；有压力驾驶任务生成单元，设定各事件发生的地点与客户端在驾驶场景中位置之间的第一距离，使得事件成为有压力事件，结合驾驶场景生成有压力驾驶任务；无压力驾驶任务生成单元，设定各事件发生的地点与客户端在驾驶场景中位置之间的第二距离，使得事件成为无压力事件，结合驾驶场景生成无压力驾驶任务，其中，所述第二距离大于所述第一距离，所述第一距离小于设定距离，所述设定距离是在驾驶速度下完成刹车操作需要的最短距离，若小于设定距离则驾驶员无法在当前条件下完成刹车操作；
所述驾驶模拟器2包括刺激呈现装置21和输入装置22，所述刺激呈现装置用于向客户端呈现场景模块的有压力驾驶任务和无压力驾驶任务，所述输入装置包括方向盘221、油门踏板222和刹车踏板223，所述刺激呈现装置21 可以包括视频播放设备211和音频播放设备212，视频播放设备211用于播放驾驶任务的视频画面，音频播放设备212用于输出声音；
所述采集模块3用于采集客户端使用驾驶模拟器在场景模块提供的有压力驾驶任务和无压力驾驶任务中的驾驶行为数据和面部表情数据；
所述数据处理模块4包括机器学习模型41和训练子模块，所述机器学习模型的输入为采集模块采集的面部表情数据，输出为客户端驾驶状态，所述驾驶状态包括有压力和无压力；所述训练子模块包括训练集构建单元和模型训练单元，所述训练集构建单元将采集模块采集的有压力驾驶任务的驾驶行为数据中超过设定阈值的驾驶行为数据对应的面部表情数据取出，构成有压力数据集，将采集模块采集的对应的无压力驾驶任务中与有压力数据集的各事件的时间窗对应的面部表情数据作为无压力数据集，有压力数据集和无压力数据集构成模型数据集；所述模型训练单元422通过训练集构建单元的模型数据集对机器学习模型进行训练；
实时监测模块，采用训练后的机器学习模型对客户端的驾驶行为进行实时监测。
在一个实施例中，所述训练子模块还包括模型评估单元423，将模型数据集的一部分作为训练集，模型数据集的另一部分作为测试集，所述模型训练单元通过训练集对机器学习模型进行训练，所述模型评估单元采用测试集对训练后的机器学习模型进行评价。
在一个实施例中，所述采集模块3包括问卷单元31，所述数据处理模块还包括压力事件确认子模块43，所述问卷单元向客户端提供问卷，获得问卷评分，所述压力事件确认子模块将有压力驾驶任务中问卷评分低于设定阈值的事件删除。
在一个实施例中，所述训练集构建单元包括：
压力事件被试反应位置获得子单元4211，将有压力驾驶任务的驾驶行为数据超过设定阈值的驾驶行为发生位置作为有压力反应起始点；
无压力驾驶任务下反应位置获得子单元4212，将无压力驾驶任务中与有压力反应点相应的位置点的坐标作为无压力反应起始点；
数据标记子单元4213，将有压力反应起始点设定时间范围内的面部表情数据标记到有压力数据集，将无压力反应起始点设定时间范围内的面部表情数据标记到无压力数据集。
优选地，所述训练集构建单元还包括：
第一筛选子单元，删除超过有压力驾驶任务生成单元中事件地点的设定距离的压力事件被试反应位置获得子单元获得的有压力反应起始点。
进一步，优选地，所述训练集构建单元还包括：
第二筛选子单元，通过视频回放删除不熟练操作导致的异常值。
在一个实施例中，所述采集模块包括：油门位移传感器32，用于采集油门被踩下的深度；刹车位移传感器33，用于采集刹车被踩下的深度；转角传感器34，用于采集方向盘的转角；所述训练集构建单元的设定阈值包括以下标准差中的一个或多个：
刹车踏板位移超过有压力驾驶任务中刹车踏板位移均值加上第一设定倍数的刹车踏板位移的标准差为第一标准差；
方向盘转角超过有压力驾驶任务中方向盘转角均值加上第二设定倍数的方向盘转角的标准差为第二标准差；
油门踏板位移超过有压力驾驶任务中油门踏板位移均值加上第三设定倍数的油门踏板位移的标准差为第三标准差。
在上述各实施例中，所述面部表情数据是由面部特征构成的数据，所述面部特征包括左眼特征、右眼特征、嘴巴和下颌特征、眉毛、脸颊和鼻子特征以及舌头特征。
优选地，所述采集模块还包括面部表情数据采集单元34，通过具有拍摄功能的设备采集执行驾驶任务的客户端的面部表情数据。
进一步，优选地，通过客户端的手机采集客户端的面部表情数据，采用的面部表情采集设备仅为一台智能手机，大大降低了系统对安装空间的需求，同时也降低了成本。
更进一步，优选地，所述训练集构建单元还包括：
特征选取子单元4214，通过设定的选取条件选取有压力数据集和无压力数据集中的面部特征及对应的面部特征数据，例如，删除有压力数据集和无压力数据集中与驾驶任务中面部特征的面部表情数据平均值的差值小于设定值的面部特征及其对应的面部表情数据。
在一个具体实施例中，场景模块可以通过驾驶场景编辑软件实现，例如UcWinRoad、SimCreator、Vega Prime等；
采集模块通过客户端的手机采集客户端的面部表情数据，面部特征提取采集软件FacialFeature，每一帧画面会提取出52个特征，面部特征如表1所示。面部特征的提取是基于Xcode中的ARKit模块，采用深度学习技术自动识别人脸并提取相应的特征。每个特征对应面部特定的肌肉的紧张程度，取值范围在0～1之间，其中0表示肌肉处于自然状态，而1表示肌肉处于最大的紧张状态。在开发工具中，每一帧的52个数据被保存在名为blendShapes的字典之中，实际的特征数据则从字典中提取后存入名为Observe的对象的实例之中，一并保存的还有该帧的时间戳，时间精度达毫秒级。当数据采集完成后，使用FacialFeature中的格式转化工具将数据转换为csv格式，并通过云存储的方式导出。
表1
Figure GDA0003156348550000101
Figure GDA0003156348550000111
Figure GDA0003156348550000121
机器学习模型包括支持向量机、线性判别、k近邻、决策树、逻辑回归和提升树中的一种和多种，机器学习模型的输入为数据处理模块处理后的面部表情数据和对应的标签(有压力和无压力)，模型评估单元采用十折交叉验证法，对训练完成的机器学习模型进行评价，并导出相应的机器学习模型；
实时监测模块，通过客户端的手机利用训练后的机器学习模型实时监测驾驶任务过程中客户端的驾驶压力。
在一个优选实施例中，所述机器学习模型通过K近邻(KNN)方法构建，具体地：
假设一个新待判断的样本点为X，已知类别的样本点为Y，则计算两个点之间的距离，例如欧式距离：
Figure GDA0003156348550000122
其中，n是指样本的维度，对应的是输入的样本的面部特征数量。计算待判断样本点与所有已知类别的样本点Y1、Y2…Yn的距离，将距离从小到大排序取前k个，统计分别属于各类的样本的次数，将待判断样本点判定为出现次数最多的类。
在一个优选实施例中，所述机器学习模型通过支持向量机(SVM)构建，具体地：
给定训练集T＝{(x1,y1),(x2,y2),…,(xN,yN)}其中，xi∈Rn,yi∈{-1,1},i＝ 1,2,…,N，N为给定的训练集的样本数量，求解如下规划问题：
Figure GDA0003156348550000123
Figure GDA0003156348550000124
其中，0≤αi≤C,i＝1,2,…,N，惩罚参数C>0
求解该规划问题，可以得到最优解
Figure GDA0003156348550000131
可以计算得
Figure GDA0003156348550000132
选择α*的一个分量
Figure GDA0003156348550000133
满足条件
Figure GDA0003156348550000134
可以计算得
Figure GDA0003156348550000135
此时，可以得到分离超平面
ω*·x+b*＝0
则分类决策函数为f(x)＝sign(ω*·x+b*)，即对一个新的待判断样本，输入其特征x，若结果为-1则对应类别1(无压力)，+1则对应类别2(有压力)。支持向量机得到的是一个二分类器。
本发明的驾驶压力实时监测系统与具体的压力事件相关，侧重于监测驾驶员在应对具体的压力事件时的反应，这些事件将是与驾驶安全直接相关的，是实现对驾驶员驾驶过程中压力水平的实时监测，在模拟驾驶过程中呈现特定的事件，以达到帮助驾驶员应对压力事件、管理驾驶过程中情绪的目的。使用智能手机的摄像头系统识别驾驶员的面部表情，通过简单便捷的方式来获取数据，具有非常好的推广性。
图2是本发明所述驾驶压力实时监测方法的流程图的示意图，如图2所示，所述驾驶压力实时监测方法包括：
步骤S1，构建驾驶场景及构建驾驶场景中出现的多个事件；
步骤S2，设定各事件发生的地点与客户端在驾驶场景中位置之间的第一距离，使得事件成为有压力事件，结合驾驶场景生成有压力驾驶任务，所述第一距离小于设定距离，所述设定距离是在设定驾驶速度下完成刹车操作需要的最短距离，驾驶速度不同最短距离不同，驾驶速度越快，最短距离的值越大；
步骤S3，设定各事件发生的地点与客户端在驾驶场景中位置之间的第二距离，使得事件成为无压力事件，结合驾驶场景生成无压力驾驶任务，其中所述第二距离大于所述第一距离；
步骤S4，向客户端呈现有压力驾驶任务和无压力驾驶任务；
步骤S5，采集客户端在有压力驾驶任务和无压力驾驶任务中的驾驶行为数据和面部表情数据；
步骤S6，构建机器学习模型，机器学习模型的输入为采集的面部表情数据，输出为客户端驾驶状态，所述驾驶状态包括有压力和无压力；
步骤S7，将有压力驾驶任务的驾驶行为数据超过设定阈值的驾驶行为数据对应的面部表情数据构成有压力数据集；
步骤S8，将对应的无压力驾驶任务中与有压力数据集的各事件的时间窗对应的面部表情数据作为无压力数据集，有压力数据集和无压力数据集构成模型数据集；
步骤S9，通过模型数据集对机器学习模型进行训练；
步骤S10，采用训练后的机器学习模型对客户端的驾驶行为进行实时监测。
在一个实施例中，在步骤S4之前还包括：
向客户端提供问卷，获得问卷评分，将有压力驾驶任务中问卷评分低于设定阈值的事件删除。
在一个实施例中，步骤S7和S8包括：
将有压力驾驶任务的驾驶行为数据超过设定阈值的驾驶行为发生位置作为有压力反应起始点；
将无压力驾驶任务中与有压力反应点相应的位置点的坐标作为无压力反应起始点；
将有压力反应起始点设定时间范围内的驾驶行为数据标记为有压力驾驶行为数据；
将无压力反应起始点设定时间范围内的驾驶行为数据标记为无压力行为数据；
将有压力反应起始点设定时间范围内的面部表情数据标记到有压力数据集，将无压力反应起始点设定时间范围内的面部表情数据标记到无压力数据集。
优选地，在构建有压力数据集的设定阈值包括以下标准差中的一个或多个：
刹车踏板位移超过有压力驾驶任务中刹车踏板位移均值加上第一设定倍数的刹车踏板位移的标准差为第一标准差；
方向盘转角超过有压力驾驶任务中方向盘转角均值加上第二设定倍数的方向盘转角的标准差为第二标准差；
油门踏板位移超过有压力驾驶任务中油门踏板位移均值加上第三设定倍数的油门踏板位移的标准差为第三标准差。
此外，优选地，对构建有压力数据集的驾驶行为数据进行删选的步骤，所述步骤包括以下步骤中的一个或两个：
删除超过事件地点的设定距离的有压力反应起始点；
通过视频回放删除不熟练操作导致的异常值。
在步骤S9中，包括：将模型数据集的一部分作为训练集，另一部分作为测试集，通过训练集对机器学习模型进行训练，采用测试集对训练后的机器学习模型进行评价。
在一个实施例中，采用多种方法构建多个机器学习模型，采用训练集和测试集分别对多个机器学习模型进行训练和评价，获得多个机器学习模型的评价指标值(例如准确性)，将评价指标值达到设定指标阈值的训练后的及机器学习模型对客户端的驾驶行为进行实时监测。
在步骤S1-S3中，驾驶场景可以通过驾驶场景编辑软件实现，例如，整个驾驶场景可以设置在城市道路景况下，双车道，周围是在城市可见的建筑物群。在整个驾驶场景中，设置一系列的随机事件，这些随机事件有两个不同的版本：无压力的版本和有压力的版本，也就是说随机事件可以为有压力事件。无压力事件是指在该事件发生时，被试有足够的时间可以作出驾驶行为上的调整，例如调整速度、变换车道、转弯等操作，而有压力事件则使得被试没有足够的时间调整其驾驶行为，并伴随有碰撞等事故的发生，如下表2 所示：
表2
Figure GDA0003156348550000161
通过驾驶场景和两个版本的事件，便可以得到两个不同的驾驶任务，分别是无压力驾驶任务和有压力驾驶任务。此外，在驾驶过程中会呈现方向指引和限速提醒，被试被要求遵循交通规则安全驾驶，并保持最高速度小于 60km/h。两个驾驶任务的场景完全一致，唯一的不同仅体现在上述的压力事件。
在步骤S4-S10中，客户端需要完成无压力驾驶任务和有压力驾驶任务，在完成任务的过程中，实时采集客户端的面部表情数据、驾驶行为数据，优选地，当客户端完成有压力驾驶任务后，回放记录下的模拟驾驶过程，对各个压力事件的主观压力感受进行评分，采用的是可视化的压力量表，在0(未感知到压力)～100(感知到极大的压力)之间打分。
主观测量数据用于评估压力事件是否诱发了驾驶员的压力，主观测量是最直接采集被试感知到驾驶压力的方法，客观测量是作为推测和印证主观测量的手段，可帮助确认压力事件。因此，使用主观压力问卷采集到的数据，去除评分低于50分的压力事件，判定该事件无法有效诱发驾驶压力，在之后的数据处理中也不会使用与该事件相关的数据。
接下来，找到客户端对有压力事件作出反应的有压力起始点，有压力起始点存在于有压力驾驶任务中。通过查询驾驶行为数据，使用刹车踏板和方向盘转角数据，筛选标准是：刹车踏板位移超过整个过程中的均值+两倍的标准差或者方向盘转角超过整个过程中的均值+两倍的标准差，符合标准的数据被筛选出来。之后结合视频回放以及压力事件的设计位置去除由于被试不熟练操作模拟器导致的异常值(例如压力事件A的设定位置坐标为(xa,ya),待筛选的数据点在驾驶场景中对应的位置坐标为(xb,yb),令
Figure GDA0003156348550000171
Figure GDA0003156348550000172
如果d>20m则直接排除，否则需要结合视频回放来判断)，找到每个压力事件对应的有压力起始点，记录下其坐标。利用该坐标，进一步在无压力驾驶任务中进行索引，考虑到被试两次的驾驶轨迹不会完全重叠，故在无压力驾驶过程中寻找到最接近压力驾驶任务中的有压力起始点的坐标，作为无压力起始点。此外，考虑到客户端由接收到压力事件刺激到作出相应的反应需要有一定的反应时，而作出反应后还需要一定的时间恢复到正常驾驶状态，故以压力起始点作为原点，向前取0.5s，向后取2s，共构成一段2.5s时长的时间窗，将压力驾驶任务下，各个事件对应的时间窗内的数据标记为“有压力”，相应的，将无压力驾驶任务下，对应的时间窗内的数据标记为“无压力”。通过两个驾驶场景完全相同的驾驶任务，以及重叠坐标的方式，以达到减少场景对被试的面部表情数据干扰的目的。这两个驾驶任务下采集到的时间窗内的数据组合在一起，构成了用于机器学习分类的原始数据。
使用客户端手机采集到的面部表情数据是一系列的时间序列，采样率为 60Hz，每一条记录均包含有52个特征，对应面部肌肉的运动情况，其取值范围在0～1之间。有一些面部特征的数据在整个实验过程中几乎未发生变化，对机器学习模型训练没有帮助，因此计算了每一个特征各自的标准差，去除了标准差小于0.02的特征，最后一共保留了44个特征用于机器学习模型训练。
使用分类模型，例如支持向量机、线性判别、k近邻、决策树、逻辑回归、提升树等构建机器学习模型，机器学习模型的输入为处理后的面部表情数据和对应的标签，采用十折交叉验证法，对训练完成的机器学习模型进行模型评价，并导出相应的机器学习模型。
得到训练后的机器学习模型后，客户端操作驾驶模拟器，驾驶压力水平便可以实时被监测记录，并呈现在客户端的手机的屏幕上。
本发明驾驶压力实时监测系统及方法监测驾驶者的驾驶压力的准确率也非常高，最高可达99％，其中，准确率的计算公式如下所示，其中TP表示正确的将正类判断为正类的数量，TN表示正确的将负类判断为负类的数量，FP 表示将负类错误的判断为正类的数量，FP表示将正类错误的判断为负类的数量，
Figure GDA0003156348550000181
图3为驾驶者的驾驶压力曲线，代价是指误分类代价，即将有压力的识别为无压力的(错误1)，或者将无压力的识别为有压力的(错误2)。这两种错误带来的代价是不一样的，如果将代价设置为相同，则为“相同代价”，否则就是“不同代价”。其中x轴表示假阳率(检测出来的假阳性样本除以所有真实阴性样本数量)，y轴表示真阳率(检测出来的真阳性样本数量除以所有真实阳性样本数量)，此处阳性表示“有压力”，阴性表示“无压力”。该图表示不断调整检测方法的阈值(即高于该阈值便判断为阳性，低于该阈值则判断为阴性)绘制出来的一条曲线，该曲线越接近左上角表示性能越好。图右下角的值表示某一分类器对应的假阳率和真阳率。
图3的数据来自于10名驾驶者的有效面部数据，每个人均进行了一次有压力驾驶任务和一次无压力驾驶任务，进行数据的预处理、特征选择、标记，将所有人的数据整合在一起，分别采用kNN、LDA(线性判别)、QDA(二次判别)、SVM(支持向量机)构建机器学习模型，进行模型的训练。采用的是十折交叉验证法，采用验证集中的数据，绘制了受试者曲线。为了更细致地衡量不同模型的表现，采用了主成分分析处理(PCA)和调整误分类代价的两种操作的组合，共构成了4类，对应图3中四张子图，其中，第一类表示设定错误1与错误2代价相同，且对原始数据无主成分分析处理；第二类表示设定错误1与错误2代价相同，且对原始数据有主成分分析处理；第三类表示设定错误1与错误2代价不同，且对原始数据无主成分分析处理；第四类表示设定错误1与错误2代价不同，且对原始数据有主成分分析处理。从图中可以看出，kNN算法的表现最好，且稳定性非常高。
尽管前面公开的内容示出了本发明的示例性实施例，但是应当注意，在不背离权利要求限定的范围的前提下，可以进行多种改变和修改。根据这里描述的发明实施例的方法权利要求的功能、步骤和/或动作不需以任何特定顺序执行。此外，尽管本发明的元素可以以个体形式描述或要求，但是也可以设想具有多个元素，除非明确限制为单个元素。

Claims (10)

1.一种驾驶压力实时监测系统，其特征在于，包括场景模块、驾驶模拟器、采集模块、数据处理模块和实时监测模块，其中：
所述场景模块包括场景构建单元、事件构建单元、有压力驾驶任务生成单元和无压力驾驶任务生成单元，场景构建单元用于构建驾驶场景；事件构建单元用于构建驾驶场景中出现的多个事件；有压力驾驶任务生成单元，设定各事件发生的地点与客户端在驾驶场景中位置之间的第一距离使得事件成为有压力事件，结合驾驶场景生成有压力驾驶任务；无压力驾驶任务生成单元，设定各事件发生的地点与客户端在驾驶场景中位置之间的第二距离，使得事件成为无压力事件，结合驾驶场景生成无压力驾驶任务，其中，所述第二距离大于所述第一距离，所述第一距离小于设定距离，所述设定距离是指在设定驾驶速度下完成刹车操作需要的最短距离；
所述驾驶模拟器，包括刺激呈现装置和输入装置，所述刺激呈现装置用于向客户端呈现场景模块的有压力驾驶任务和无压力驾驶任务，所述输入装置包括方向盘、油门踏板和刹车踏板；
所述采集模块，用于采集客户端使用驾驶模拟器在场景模块提供的有压力驾驶任务和无压力驾驶任务中的驾驶行为数据和面部表情数据；
所述数据处理模块包括机器学习模型和训练子模块，所述机器学习模型的输入为采集模块采集的面部表情数据，输出为客户端驾驶状态，所述驾驶状态包括有压力和无压力；所述训练子模块包括训练集构建单元和模型训练单元，所述训练集构建单元将采集模块采集的有压力驾驶任务的驾驶行为数据中超过设定阈值的驾驶行为数据对应的面部表情数据取出，构成有压力数据集，将采集模块采集的对应的无压力驾驶任务中与有压力数据集的各事件的时间窗对应的面部表情数据作为无压力数据集，有压力数据集和无压力数据集构成模型数据集；所述模型训练单元通过训练集构建单元的模型数据集对机器学习模型进行训练；
实时监测模块，采用训练后的机器学习模型对客户端的驾驶行为进行实时监测。
2.根据权利要求1所述的驾驶压力实时监测系统，其特征在于，所述训练子模块还包括模型评估单元，将模型数据集的一部分作为训练集，另一部分作为测试集，所述模型训练单元通过训练集对机器学习模型进行训练，所述模型评估单元采用测试集对训练后的机器学习模型进行评价。
3.根据权利要求1所述的驾驶压力实时监测系统，其特征在于，所述采集模块包括问卷单元，所述数据处理模块还包括压力事件确认子模块，所述问卷单元向客户端提供问卷，获得问卷评分，所述压力事件确认子模块将有压力驾驶任务中问卷评分低于设定阈值的事件删除。
4.根据权利要求1所述的驾驶压力实时监测系统，其特征在于，所述训练集构建单元包括：
压力事件被试反应位置获得子单元，将有压力驾驶任务的驾驶行为数据超过设定阈值的驾驶行为发生位置作为有压力反应起始点；
无压力驾驶任务下反应位置获得子单元，将无压力驾驶任务中与有压力反应起始点相应的位置点的坐标作为无压力反应起始点；
数据标记子单元，将有压力反应起始点设定时间范围内的面部表情数据标记到有压力数据集，将无压力反应起始点设定时间范围内的面部表情数据标记到无压力数据集。
5.根据权利要求1所述的驾驶压力实时监测系统，其特征在于，所述采集模块包括：油门位移传感器，用于采集油门被踩下的深度；刹车位移传感器，用于采集刹车被踩下的深度；转角传感器，用于采集方向盘的转角；所述训练集构建单元的设定阈值包括以下标准差中的一个或多个：
刹车踏板位移超过有压力驾驶任务中刹车踏板位移均值加上第一设定倍数的刹车踏板位移的标准差为第一标准差；
方向盘转角超过有压力驾驶任务中方向盘转角均值加上第二设定倍数的方向盘转角的标准差为第二标准差；
油门踏板位移超过有压力驾驶任务中油门踏板位移均值加上第三设定倍数的油门踏板位移的标准差为第三标准差。
6.根据权利要求4所述的驾驶压力实时监测系统，其特征在于，所述训练集构建单元还包括：
第一筛选子单元，删除超过有压力驾驶任务生成单元中事件地点的设定距离的压力事件被试反应位置获得子单元获得的有压力反应起始点。
7.根据权利要求6所述的驾驶压力实时监测系统，其特征在于，所述训练集构建单元还包括：
第二筛选子单元，通过视频回放删除不熟练操作导致的异常值。
8.根据权利要求1所述的驾驶压力实时监测系统，其特征在于，所述面部表情数据是由面部特征构成的数据，所述面部特征包括左眼特征、右眼特征、嘴巴和下颌特征、眉毛、脸颊和鼻子特征以及舌头特征。
9.根据权利要求1所述的驾驶压力实时监测系统，其特征在于，所述采集模块通过客户端的手机采集客户端的面部表情数据。
10.一种驾驶压力实时监测方法，其特征在于，包括：
构建驾驶场景及构建驾驶场景中出现的多个事件；
设定各事件发生的地点与客户端在驾驶场景中位置之间的第一距离，使得事件成为有压力事件，结合驾驶场景生成有压力驾驶任务；
设定各事件发生的地点与客户端在驾驶场景中位置之间的第二距离，使得事件成为无压力事件，结合驾驶场景生成无压力驾驶任务，其中，所述第二距离大于所述第一距离，所述第一距离小于设定距离，所述设定距离是在设定驾驶速度下完成刹车操作需要的最短距离；
向客户端呈现有压力驾驶任务和无压力驾驶任务；
采集客户端在有压力驾驶任务和无压力驾驶任务中的驾驶行为数据和面部表情数据；
构建机器学习模型，机器学习模型的输入为采集的面部表情数据，输出为客户端驾驶状态，所述驾驶状态包括有压力和无压力；
将有压力驾驶任务的驾驶行为数据超过设定阈值的驾驶行为数据对应的面部表情数据构成有压力数据集，
将对应的无压力驾驶任务中与有压力数据集的各事件的时间窗对应的面部表情数据作为无压力数据集，有压力数据集和无压力数据集构成模型数据集；
通过模型数据集对机器学习模型进行训练；
采用训练后的机器学习模型对客户端的驾驶行为进行实时监测。
CN202011145540.0A 2020-10-23 2020-10-23 驾驶压力实时监测系统及方法 Active CN112168190B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011145540.0A CN112168190B (zh) 2020-10-23 2020-10-23 驾驶压力实时监测系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011145540.0A CN112168190B (zh) 2020-10-23 2020-10-23 驾驶压力实时监测系统及方法

Publications (2)

Publication Number Publication Date
CN112168190A CN112168190A (zh) 2021-01-05
CN112168190B true CN112168190B (zh) 2021-09-21

Family

ID=73923876

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011145540.0A Active CN112168190B (zh) 2020-10-23 2020-10-23 驾驶压力实时监测系统及方法

Country Status (1)

Country Link
CN (1) CN112168190B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116129704A (zh) * 2022-12-24 2023-05-16 北京千种幻影科技有限公司 驾驶模拟训练方法、电子设备及存储介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170213474A1 (en) * 2009-09-29 2017-07-27 Advanced Training System Llc System, Method and Apparatus for Driver Training System with Stress Management
US9493130B2 (en) * 2011-04-22 2016-11-15 Angel A. Penilla Methods and systems for communicating content to connected vehicle users based detected tone/mood in voice input
JP5917841B2 (ja) * 2011-06-15 2016-05-18 日産自動車株式会社 気分判定装置及び気分判定装置の作動方法
JP6563798B2 (ja) * 2015-12-17 2019-08-21 大学共同利用機関法人自然科学研究機構 視覚認知支援システムおよび視認対象物の検出システム
CN110395260B (zh) * 2018-04-20 2021-12-07 比亚迪股份有限公司 车辆、安全驾驶方法和装置
JP7068156B2 (ja) * 2018-12-28 2022-05-16 本田技研工業株式会社 情報処理装置及びプログラム
CN110516658A (zh) * 2019-09-06 2019-11-29 山东理工大学 一种基于面部图像和车辆运行信息的驾驶员情绪的识别算法设计

Also Published As

Publication number Publication date
CN112168190A (zh) 2021-01-05

Similar Documents

Publication Publication Date Title
Li et al. Detecting drivers' mirror-checking actions and its application to maneuver and secondary task recognition
Li et al. Modeling of driver behavior in real world scenarios using multiple noninvasive sensors
US20230154207A1 (en) Driver fatigue detection method and system based on combining a pseudo-3d convolutional neural network and an attention mechanism
Li et al. Predicting perceived visual and cognitive distractions of drivers with multimodal features
Braunagel et al. Online recognition of driver-activity based on visual scanpath classification
Li et al. Analysis of facial features of drivers under cognitive and visual distractions
CN106934368A (zh) 一种基于眼动指标数据的驾驶疲劳检测系统及识别方法
Feng et al. An on-board system for detecting driver drowsiness based on multi-sensor data fusion using Dempster-Shafer theory
CN105956548A (zh) 驾驶员疲劳状况检测方法和装置
Celona et al. A multi-task CNN framework for driver face monitoring
CN113743471B (zh) 一种驾驶评估方法及其系统
Jain et al. Analysis of driver behaviors during common tasks using frontal video camera and CAN-Bus information
Joshi et al. In-the-wild drowsiness detection from facial expressions
Yüce et al. Action units and their cross-correlations for prediction of cognitive load during driving
Henni et al. Feature selection for driving fatigue characterization and detection using visual-and signal-based sensors
CN112168190B (zh) 驾驶压力实时监测系统及方法
Alam et al. Active vision-based attention monitoring system for non-distracted driving
Qiu et al. Use of triplet-loss function to improve driving anomaly detection using conditional generative adversarial network
Umut et al. Detection of driver sleepiness and warning the driver in real-time using image processing and machine learning techniques
Hou Deep Learning-Based Human Emotion Detection Framework Using Facial Expressions
Li et al. A driving attention detection method based on head pose
Rusmin et al. Design and implementation of driver drowsiness detection system on digitalized driver system
Kalisetti et al. Analysis of driver drowsiness detection methods
Kulkarni et al. Driver drowsiness monitoring system
Wang et al. Fatigue driving detection of urban road at night based on multimodal information fusion.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant