CN104540701A - 用于确定驾驶员的操作状态的方法 - Google Patents

用于确定驾驶员的操作状态的方法 Download PDF

Info

Publication number
CN104540701A
CN104540701A CN201280074227.XA CN201280074227A CN104540701A CN 104540701 A CN104540701 A CN 104540701A CN 201280074227 A CN201280074227 A CN 201280074227A CN 104540701 A CN104540701 A CN 104540701A
Authority
CN
China
Prior art keywords
source
chaufeur
vehicle
driver status
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201280074227.XA
Other languages
English (en)
Other versions
CN104540701B (zh
Inventor
彼得·科隆博格
弗雷德里克·桑德布卢姆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Volvo Truck Corp
Original Assignee
Volvo Lastvagnar AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Volvo Lastvagnar AB filed Critical Volvo Lastvagnar AB
Publication of CN104540701A publication Critical patent/CN104540701A/zh
Application granted granted Critical
Publication of CN104540701B publication Critical patent/CN104540701B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4806—Sleep evaluation
    • A61B5/4809—Sleep detection, i.e. determining whether a subject is asleep or not
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6893—Cars
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7246—Details of waveform analysis using correlation, e.g. template matching or determination of similarity
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818—Inactivity or incapacity of driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/223—Posture, e.g. hand, foot, or seat position, turned or inclined
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/225—Direction of gaze
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/229—Attention level, e.g. attentive to driving, reading or sleeping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • B60W2554/802—Longitudinal distance
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B29/00—Checking or monitoring of signalling or alarm systems; Prevention or correction of operating errors, e.g. preventing unauthorised operation
    • G08B29/18—Prevention or correction of operating errors
    • G08B29/185—Signal analysis techniques for reducing or preventing false alarms or for enhancing the reliability of the system
    • G08B29/186—Fuzzy logic; neural networks
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B29/00—Checking or monitoring of signalling or alarm systems; Prevention or correction of operating errors, e.g. preventing unauthorised operation
    • G08B29/18—Prevention or correction of operating errors
    • G08B29/185—Signal analysis techniques for reducing or preventing false alarms or for enhancing the reliability of the system
    • G08B29/188—Data fusion; cooperative systems, e.g. voting among different detectors

Abstract

本发明涉及一种用于使用意识检测装置确定车辆驾驶员的操作状态的方法，所述意识检测装置包括用于产生与驾驶员的行为相关的数据的至少第一源和第二源，所述方法包括从所述第一源和第二源接收与驾驶员的生理学数据、车辆的操作、以及操作车辆的驾驶员模型中的至少一种相关的数据，将来自所述第一源和第二源的数据与驾驶员状态模型进行对比，所述驾驶员状态模型分别为所述第一源和第二源中的各个定义多个预定的驾驶员状态，基于所述对比，为所述第一源和第二源中的各个确定所述多个预定的驾驶员状态中的各个的状态概率，并且将为所述第一源和第二源所确定的驾驶员状态相互加权，以便为驾驶员确定总体的操作状态概率。

Description

用于确定驾驶员的操作状态的方法
技术领域
本发明涉及与倦睡检测相关的改进，尤其是涉及与通过使用多源输入确定操作车辆的驾驶员的操作状态相关的改进，例如通过将由照相机提供的信息和提供与车辆的操作相关的信息的车辆相关信息源组合。
背景技术
由于例如由倦睡引起的驾驶员能力下降，经常发生交通事故。为预防由驾驶员能力下降而引发的事故，向驾驶员提供警告消息以重新建立驾驶员对周围交通状况的注意或者在危急情形下建议驾驶员休息或切换给车辆的另一个驾驶员可能是至关重要的。
近年来，在研发基于驾驶员行为检测的倦睡检测算法方面已经取得了很大的进步，包括例如使用传感器装置例如用于使用照相机监测驾驶员的眼睛闭合，检测方向盘的操作模式等。通过使用多于一个的传感器装置，假如传感器装置之一未能检测到倦睡的驾驶员能够实现冗余，并且相应地，有可能改进倦睡检测的稳健性。
US2003/0151516A1中公开了一种示范性的倦睡检测系统，其中，使用智能的软件算法将来自两个不同传感器装置的数据融合。特别地，从第一传感器装置和第二传感器装置提供数据，其中，第一传感器装置包括安装在车辆顶棚和座椅中的传感器阵列，用于检测头部运动，并且第二传感器装置包括放置在方向盘内的心率监测传感器，并且用于监测指示倦睡的驾驶员的驾驶员特性。
虽然US2003/0151516A1中公开的倦睡检测系统提供了与倦睡检测的冗余和稳健性相关的一些改进，但它未能提供这样一种方案，该方案适合于更一般地组合来自任意传感器装置的数据，所述传感器装置有可能具有不同的检测驾驶员特性的时间线和/或取样速率，从而允许引入另外的传感器装置，无需不得不重新校准全部的倦睡检测系统。因此，希望提供这样一种方法，该方法允许在传感器数据的融合中更加灵活，进一步改善倦睡检测的稳健性。
发明内容
根据本发明的一个方面，上述目的至少部分通过一种用于使用意识检测装置确定车辆驾驶员的操作状态的方法得以实现，所述意识检测装置包括用于产生与驾驶员的行为相关的数据的至少第一源和第二源，所述方法包括从所述第一源和第二源接收与驾驶员的生理学数据、车辆的操作、和操作车辆的驾驶员模型中的至少一种相关的数据，将来自所述第一源和第二源的数据与驾驶员状态模型进行对比，所述驾驶员状态模型分别为所述第一源和第二源中的各个定义多个预定的驾驶员状态，基于所述对比为所述第一源和第二源中的各个确定所述多个预定的驾驶员状态中的各个的状态概率，并且将为所述第一源和第二源所确定的驾驶员状态相互加权，以便为驾驶员确定总体的操作状态概率。
本发明是基于如下理解：希望融合若干个信息源，以做出与确定驾驶员的操作状态相关的更好的判定，但是用于融合信息的现有技术方法典型地使用优化方案获得多个信息源的汇聚，导致有价值的信息在该过程中丢失。这种优化方案可以例如是基于使用固定规则，以将数据加权到驾驶员倦睡、神经网络或者各种统计方法的单一度量中，以将多个倦睡指示器组合到单一输出中，所述输出用于向驾驶员发出警告或者启动某种对策。后续的平均化或竞争规则随后被用于将它们组合为单一输出。而且，现有的方案通常是基于非模型的并且需要广泛的验证。
根据本发明，当在最终的判定中加权不同检测器的影响时，倦睡演变的生理学模型已经被识别为最有用的。因此，有兴趣的是预测(真实地)疲倦驾驶员的存在并且能够在危险情形之前发出警告。典型地通过驾驶员状态监测装置检测的明显倦睡可能是由睡眠的生理学需要以及由长时间作业或者厌倦所致的疲劳引起的。因此，明显倦睡可能在变化的程度上与实际上由于缺乏睡眠而引起的潜在倦睡不同。实际上存在许多掩盖因素，所述因素可能临时地增加或者降低观察到的倦睡级别，诸如外部的刺激、漫长单调的路段或者甚至是食物摄取。当这些临时的掩盖因素被去除时，潜在的倦睡级别将变为占优势的。实际上，由于外部的刺激可能导致人看起来是相当警惕的，但是这些掩盖因素一旦被去除，则很快就屈服于倦睡。警惕/倦睡的数学模型能够将潜在的倦睡模型化，并且当与驾驶员状态的实时监测融合时，能够显著地增加检测的准确度和有效性。优势包括例如改进的预测能力、对于少量定制的需求较少以及为各种实施方式进行调整，导致成本有效的实施方式，以便在检测驾驶员的操作状态时实现高稳健性。
本发明的概念采用了多个检测器(例如，第一信息源，基于事实上在任何时间标度上起作用的任何传感器)的输出以及倦睡的预测性模型(例如，第二信息源，并且有可能是更高级模型的基础)，其随后使用已知的贝叶斯方法(Bayesian approach)处理，以产生倦睡的稳健的多源指示器。
通过本发明，有可能出于参数化等级的目的来设计，所述等级与将由独立的车内系统触发的特定行为相关联。这就意味着子系统将被设计成在其设计的真正核心处执行这些独立系统的关键功能，代替试图稍后基于倦睡驾驶检测系统(例如，基于驾驶员状态：警惕的，倦睡的)的一般输出定义该行为的映射。其特定示例是如何设计驾驶员状态的敏感阈值，对于驾驶员倦睡的情形，所述阈值将扩展适应性巡航控制系统(ACC)的进展时间间隔。对于ACC系统，一种典型的方式将是使用倦睡驾驶报警系统的输出赋值给专门设计的函数，所述函数应当确定已测量的倦睡对于ACC改变其进展灵敏性是否是明显关键性的。随后将创建所有必要的逻辑，以处理潜在的错误或者该数据的低置信度。
应当注意，词语“生理学数据”在下文中应当被解释为所有类型的数据，所述数据可以由基于图像的系统识别，所述系统识别例如操作员的眼睛、脸、身体以及眼睛的凝视方向、眼皮闭合，或者所述数据通过测量驾驶员的心率、大脑活动、应力等级、呼吸等被识别。此外，下面关于本发明的详细描述来讨论驾驶员状态以及确定这样的状态的概念。
根据一个实施例，驾驶员的操作数据包括与操作员的眼睛、脸、头、臂和身体运动中的至少一种相关的信息。这种与驾驶员相关的信息可以例如通过设置在车辆车厢内并且俯视车辆驾驶员的图像捕获装置产生。产生关于本发明的概念使用的相关信息的其它类型的传感器可以例如包括被设置成连接到方向盘或驾驶员座椅的心率传感器。此外，用于产生驾驶员运动指示的运动传感器可以被集成在驾驶员座椅内，并且用于产生关于本发明的概念而言是可用的信息。
根据另一个实施例，车辆的操作可以包括与越线时间、到所述车辆前方行驶的另一车辆的距离、转向和/或车轮操作模式中的至少一种相关的信息。这种与车辆相关的信息可以通过例如图像捕获装置、雷达设备或者在车辆操作中使用的任何其它类型的传感器产生。
在一个实施例中，操作车辆的驾驶员模型包括与一天中的时间和车辆的操作时间(例如，作业时间)中的至少一种相关的第一分量，以及与驾驶员的倦睡级别相关的第二分量。与驾驶员的倦睡级别相关的第二分量是基于睡眠潜伏期、一天中的时间、作业时间、昼夜节律、和睡眠/清醒体内平衡过程中的模型的至少一种。在申请人的WO09126071中提供了驾驶员倦睡的一个示范性模型，其通过引用全部并入本文。
优选地，本发明方法的结果，即所确定的驾驶员的状态被提供至配置成实施车辆控制功能性的车辆系统，所述车辆系统基于驾驶员状态调节所述车辆控制功能性。这可以如上讨论的关于适应性巡航控制系统执行，和/或例如关于如下将关于本发明的详细描述而进一步讨论的前方碰撞报警(FCW)系统执行。此外，所确定的驾驶员的状态可以被提供到倦睡驾驶员检测系统，用于对所述驾驶员状态产生警告，指示所述驾驶员是倦睡的。
根据本发明的另一个方面，提供了一种用于确定车辆驾驶员的操作状态的控制系统，所述控制系统包括控制单元，所述控制单元被连接到意识检测装置，所述意识检测装置包括用于产生与驾驶员的行为相关的数据的至少第一源和第二源，其中，所述控制单元被配置成从所述第一源和第二源接收与驾驶员的生理学数据、车辆的操作和操作车辆的驾驶员模型中的至少一种相关的数据，将来自所述第一源和第二源的所述数据与驾驶员状态模型进行对比，所述驾驶员状态模型分别为所述第一源和第二源中的各个定义多个预定的驾驶员状态，基于所述对比为所述第一源和第二源中的各个确定所述多个预定的驾驶员状态中的各个的状态概率，并且将为所述第一源和第二源所确定的驾驶员状态相互加权，以便为所述驾驶员确定总体的操作状态概率。本发明的这个方面提供了如上关于本发明的先前方面所讨论的类似优势。
所述控制系统可以例如形成车辆系统的部件，还包括上面公开的意识检测装置。优选地，所述第一源和第二源中的至少一种可以被配置成产生驾驶员的操作数据，包括与操作员的眼睛、脸、头、臂和身体运动中的至少一种相关的信息，其中，所述第一源和第二源中的至少一种是图像捕获装置。此外，所述第一源和第二源中的至少一种可以被配置成产生车辆的操作数据，包括与越线时间、到在车辆前方行驶的另一车辆的距离、转向和/或车轮操作模式中的至少一种相关的信息。
根据本发明的更另一个方面，提供了一种计算机可读介质，所述计算机可读介质包含用于使用意识检测装置确定车辆驾驶员的操作状态的计算机程序产品，所述意识检测装置包括用于产生与驾驶员的行为相关的数据的至少第一源和第二源，所述计算机程序产品包括代码，所述代码被配置成当被处理器执行时，从所述第一源和第二源接收与驾驶员的生理学数据、车辆的操作以及操作车辆的驾驶员模型中的至少一种相关的数据，将来自所述第一源和第二源的所述数据与驾驶员状态模型进行对比，所述驾驶员状态模型分别为所述第一源和第二源中的各个定义多个预定的驾驶员状态，基于所述对比为所述第一源和第二源中的各个确定所述多个预定的驾驶员状态中的各个的状态概率，并且将为所述第一源和第二源所确定的驾驶员状态相互加权，以便为驾驶员确定总体的操作状态概率。同样，本发明的这个方面提供了如上关于本发明先前方面所讨论的类似的优势。
处理器可以优选被设置在车辆控制单元、计算机、服务器或者类似物内，并且计算机可读介质可以是可移除的非易失性随机存取存储器、硬盘驱动器、软盘、CD-ROM、DVD-ROM、USB存储器、SD存储卡或者本领域(现在和将来)公知的类似计算机可读介质中的一个。可以使用软件和硬件元件的组合来执行本发明。
当研究所附的权利要求书和下面的说明时，本发明的其它特征和优势将会变得显而易见。熟练的技术人员意识到本发明的不同特征可以被组合，以产生除了下面描述的那些实施例以外的实施例，而不会偏离本发明的范围。
附图说明
通过下面的详细说明和附图，将很容易理解本发明的各种方面，包括其具体的特征和优势，其中：
图1是在其前端装有外部传感器和坐标系的车辆的透视图；
图2是装有内部传感器的车辆内部的透视图；
图3示出了车辆操作员的脸和头的坐标系；
图4a和4b示出了与本发明的方法一起使用的驾驶员状态的两个示范性独立指示器的统计学似然计算；
图5概念性地示出了根据本发明的当前优选实施例的车辆系统，以及
图6a-c概念性地示出了对驾驶员的操作状态概率迭代调节的示例。
具体实施方式
现在参照附图，在下文中将更加充分地描述本发明，其中示出了本发明的当前优选实施例。然而，本发明可以以许多不同的形式实施，并且不应当被解释为对本文中阐述的实施例的限制；而是，为了彻底性和完整性而提供了这些实施例，并且充分地向熟练的技术人员传达了本发明的范围。贯穿全文，相同的附图标记表示相同的元素。
下面，参照一种用于改善车辆操作员的视觉输入质量估计的系统描述本发明。所述车辆优选装有用于检索车辆操作员的信息的(一个或多个)内部传感器和用于检索车辆操作以及车辆周围环境的信息的(一个或多个)外部传感器。为了更好的理解本发明，现在将关于图1-3描述内部传感器和外部传感器。
图1示出了一个示范性的车辆，这里被图示为小汽车100，在小汽车中可以包含根据本发明的系统。小汽车100设有外部传感器104，所述外部传感器被设置成检测车辆的操作，诸如超车、车速、车辆偏航速率等，以及物体和地区、车辆的周围环境，例如车道标线、路标、道路弯道、周围的车辆等。外部传感器104可以例如是照相机或者雷达传感器。优选地，可以使用照相机和雷达传感器的组合，这是由于当确定物体的高度和宽度时照相机提供高精度，而当确定至物体的距离时雷达传感器提供高精度。因此，能够确定周围物体的尺寸、位置、速度等。参照小汽车100的位置，坐标系102，这里被图示为笛卡儿坐标系，位于小汽车100的前端处。坐标系102被设置成跟随车辆并且轴分别代表纵向(x-轴)、横向(y-轴)和垂直方向(z-轴)。被测物体和小汽车100的坐标系102一起被提供到车辆的系统，从而使该系统能够确定物体相对于小汽车100的尺寸和位置。例如，系统可以被连续地提供来自不同传感器104的物体数据。因此，也有可能确定周围的交通环境的速度和加速度。
图2示出了包含车辆操作员202的小汽车100的内部，其中，车辆100装有内部传感器，这里被图示为照相机系统204。照相机系统204被设置成在车辆操作期间测量并检测车辆操作员202的行为，并且可以被配置成产生指示生理学数据的操作员运动输入信号，包括与车辆操作员的眼睛、脸、头部和身体运动中的至少一种相关的信息。
此外，照相机系统204可以被设置成聚焦到操作员的脸、头或上体的预定数量的位置上。这些位置可以例如是眼睛、眼皮、眉毛、鼻子、嘴巴、面颊、颈、肩、臂等。可以为正常操作小汽车的特定操作员202预先校正照相机系统204，或者每当操作员202进入小汽车100的驾驶员座椅时校正照相机系统204。当照相机系统204检测到操作员的脸或头的不同位置时，对于照相机系统204而言，对面部行为的估计是可能的。照相机系统204可以因此检测例如头和眼睛的方向和运动及其衍生物、头部姿势、眼睛扫视、组合的头和眼睛扫视、眼睛闭合、眼睛闭合速度等。
照相机系统204通过使用与操作员的脸304相关的坐标系302，例如在图3中示出的操作员位于中央的俯仰/偏航坐标系，也可以检测操作员的头或眼睛是否转动到右侧或左侧(偏航)305，是否上或下转动(俯仰)306，或者在头运动的情况下，是否朝向右肩或左肩倾斜(侧摆)307。脸304的坐标系302优选为极坐标系，其原点被定位在操作员的眼睛之间。
此外，内部传感器也可以代替照相机系统204，或者除照相机系统204之外包括其它类型的操作员检测装置。这可以例如包括用于检测转向行为的方向盘传感器、在加速踏板和/或刹车踏板中用于检测小汽车100的不一致的加速和/或刹车的传感器、在小汽车100的各种按钮中的传感器，以检测例如操作员202是否正在调节信息娱乐系统的各种功能性中的任何一个功能性等。内部传感器的更多示例可以包括呼吸分析传感器或者瞳孔大小传感器，以监测操作员的意识的状态。
为了提供对本发明的进一步理解，下面提供了一种解释，其中概念被分为必要参考值的参数化及计算的最初准备阶段，以及连续的检测、计算并预测倦睡的进一步的使用阶段，包括随后产生对驾驶员的警告或者控制其它的车辆功能。
在最初的准备阶段，基于专家的(例如离线)参数化表征驾驶员(倦睡)状态的可能的驾驶员状态。从研究中获知这种参数化能够变得强而稳健。在一个实施例中，参数化可以基于两种状态{警惕的，倦睡的}。在另一个实施例中，参数化可以基于四种状态{非常警惕的，警惕的，倦睡的，抗争睡眠}。
更多的状态当然是可能的，并且处于本发明的范围内。作为一个示例，采用一种完全不同的方法，状态能够被定义成对应于打算将信息供给的其它车辆功能的启动触发器。系统可以随后要么使用一般的功能级别，要么使用为特定的车辆系统量身定制的功能状态。因此，在一个实施例中，融合系统被设计为前置级，以影响独立的车辆系统(而不是被设计成一种倦睡驾驶员检测系统)的特定行为，例如被实施为考虑驾驶员状态的前方碰撞报警(FCW)系统。FCW系统可以随后将融合系统的输出直接映射到内部警告判定函数。
准备阶段中的下一个步骤涉及为定义的驾驶员状态计算各个指示器(即信息源)的概率质量函数(pmf)。在图4a和4b中使用两种状态参数化{警惕的，倦睡的}示出了两个指示器即越线时间(TLC)和方向盘反转速率(SRR)的pmf。实际上，预先采集的实际倦睡和警惕驾驶的数据可用于为各个指示器创建pmf:s。由于数据始终将是固有二义的(在某种程度上)，期望计算驾驶员状态的pmf，而不是离散的分类。换句话说，描述指示器数值的pmf:s的形状用于计算驾驶员状态pmf。因此，将有若干个描述各个指示器的数据值的分布的pmf:s，以及描述有效的驾驶员状态之间的分布的一个pmf。
现在转向图5，其概念性地阐明了根据本发明的当前优选实施例的关于使用阶段而使用的车辆系统500。车辆系统500典型地包括含有多个传感器(例如上面关于图1所讨论的(一个或多个)图像捕获装置、雷达设备等)的检测系统502、指示器计算系统504、预测和数据融合系统506、判定及反馈系统508。此外，车辆系统500典型地包括有可能通过人机界面提供反馈至车辆驾驶员的可能性。
图5中的概念性说明仅仅为实施本发明概念的许多方式之一。此外，车辆系统500能够异步运行，即融合估计能够在任何时间被计算，不论新观察是否变为可用的。形式上，如果估计在时间T＝[t1,t2,…,tN]T处被计算，则时间差t2-t1不必等于t3-t2。
在时间tk处的倦睡级别被表示为xk，这里被假定为离散变量，并且车辆系统500计算其概率质量函数(或者如果状态被假定为连续的，则计算概率密度函数)。具有离散的状态矢量的好处是双重的；状态能够被设计成对应于不同的干预，并且概率质量函数(pmf)能够被准确地计算，而不是被近似。在计算pmf中使用的最近的指示器值的时戳在注释中被显示为符号p(xk|Ij)；条件pmf。数据Ij(黑体字)表示累积到时间tj的、所有的指示器值:Ij＝[I1,I2,…,Ij]。
车辆系统500的操作也可以使用“步进式”伪代码对于指示器融合进行描述：
对于k＝1：N
1、储存来自所有连接的指示器(信息源)的输出，在时间间隔tk-tk-1内成为可用的，Ik＝[i1,i2,…,iM]，通过其时戳来排序。
2、利用新数据IK更新来自先前迭代p(xk|Ik)的pmf：
对于j＝1:M
a、在IK中,预测至最初期指示器值ij的时间的倦睡pmf：
计算p(xj|Ik-1,i1,…ij-1)。
b、利用新的指示器值ij更新预测的pmf：
计算p(xj|Ik-1,i1,…ij)。
结束
3、预测至预期的输出时间的pmf：
计算p(xk|Ik)
4、应用概率决策方案以确定系统输出，例如警告驾驶员。
结束
第三步也可以用于估计“遥远的”未来中的驾驶员状态(例如，1小时)并且相应地虑及旅行计划，而不是仅仅预测下一次的迭代。
第四步能够做出稳健的决策，这是由于不仅一些倦睡估计是已知的，而且全部的pmf是已知的。随后，任何用于干预的最优性准则能够被包含在设计中。此外，该方法的使用允许很容易计算各个估计的置信度数值。
在一个实施例中，判定及反馈模块508在决定是否发布警告时能够考虑当前估计的倦睡级别和预测的未来倦睡级别(例如，从现在开始的15分钟)。例如，如果预测到驾驶员在下一个15分钟内变为非常倦睡的，则驾驶员可以接收到警告，因此给他一个机会积极地行动。
进一步参照图6a-c，其中概念性地示出了车辆驾驶员的操作状态概率的迭代调节的示例，驾驶员的倦睡级别x可以取值为1-3，其中1是“倦睡的”，并且应当产生警告或干预，而3是“警惕的”。假定所提出的系统计算出
p(x)＝[0.5,0.1,0.4]
仅给出“最好的猜测”的估计的典型融合系统将输出“1”，而计算平均值的系统将给出“2”。这些估计均不包含必要的置信度信息。在这种情况下，由于状态1和3几乎是相同可能的而且是矛盾的，状态很明显是不明确的——驾驶员不能同时是倦睡的和警惕的。根据本发明的观点，这可以被视为例如如果概率p(x＝1)>0.5，则警告，并且如果p(x＝1)>0.9，则干预。
在一种更先进的实施例中，可以有多个与参数化的各个状态相关联的行为，例如，“小警告”、“大警告”、“干预”、“调节自动刹车系统的灵敏性”、“调节气候控制系统的温度和气流”、“重新调度递送”等(参见表1)。为了平衡这些行为，不能简单地使用具有单一输出的融合方案，如在现有技术中经常被提议的那样。
当新指示器值可用时或者当需要倦睡估计而不是当数据可用时，可以相应地执行上面的迭代，从而改善系统的功能性。
虽然已参照其特定的示例性实施例描述了本发明，但许多不同的改变、修改等对本领域技术人员来说将是显而易见的。通过研究附图、说明书和所附的权利要求书，当熟练的技术人员在实施要求保护的本发明时，能够理解和作出针对所公开实施例的变化。例如，上面参照几个实施例大体上描述了本发明。然而，如熟练的技术人员很容易意识到，除上面公开的实施例之外的其它实施例可能同样处于如所附的专利权利要求书所限定的本发明的保护范围内。例如，本发明亦可应用于卡车、公共汽车、翻斗车、轮式装载机和除上面描述的小汽车之外的其它类型的车辆。
在权利要求书中，词语“包括”不排除其它的元素或步骤，并且不定冠词“一个”不排除多个。单个的计算机或其它单元可以实现权利要求中叙述的若干项目的功能。在互不相同的从属权利要求中叙述了某些措施，仅此事实并不表示这些措施的组合不能用于使优点更突出。

Claims (15)

1.一种用于使用意识检测装置确定车辆驾驶员的操作状态的方法，所述意识检测装置包括用于产生与所述驾驶员的行为相关的数据的至少第一源和第二源，所述方法包括：
从所述第一源和第二源接收与所述驾驶员的生理学数据、所述车辆的操作和操作所述车辆的驾驶员模型中的至少一种相关的数据；
将来自所述第一源和第二源的所述数据与驾驶员状态模型进行对比，所述驾驶员状态模型分别为所述第一源和第二源中的各个定义多个预定的驾驶员状态；
基于所述对比，为所述第一源和第二源中的各个确定所述多个预定的驾驶员状态中的各个的状态概率；以及
将为所述第一源和第二源所确定的驾驶员状态相互加权，以便为所述驾驶员确定总体的操作状态概率。
2.根据权利要求1所述的方法，其中，所述驾驶员的操作数据包括与操作员的眼睛、脸、头、臂和身体运动中的至少一种相关的信息。
3.根据权利要求1或2所述的方法，其中，所述车辆的操作包括与越线时间、到设置在所述车辆前方的另一车辆的距离、转向和/或车轮操作模式中的至少一种相关的信息。
4.根据前述权利要求中的任一项所述的方法，其中，操作所述车辆的所述驾驶员模型包括与一天中的时间和所述车辆的操作时间中的至少一种相关的第一分量和与所述驾驶员的倦睡级别相关的第二分量。
5.根据权利要求4所述的方法，其中，与所述驾驶员的所述倦睡级别相关的所述第二分量是基于睡眠潜伏期、一天中的时间、作业时间、昼夜节律、以及睡眠/清醒体内平衡过程的模型中的至少一种。
6.根据前述权利要求中的任一项所述的方法，其中，所述多个预定的驾驶员状态包括分别被定义为倦睡的和警惕的至少两种状态，优选包括分别被定义为非常警惕的、警惕的、倦睡的和抗争睡眠的四种状态。
7.根据前述权利要求中的任一项所述的方法，其中，所确定的驾驶员的状态被提供至配置成实施车辆控制功能性的车辆系统，所述车辆系统基于所述驾驶员状态调节所述车辆控制功能性。
8.根据前述权利要求中的任一项所述的方法，其中，所确定的驾驶员的状态被提供至倦睡驾驶员检测系统，用于对所述驾驶员状态产生警告，指示所述驾驶员是倦睡的。
9.一种用于确定车辆驾驶员的操作状态的控制系统，所述控制系统包括控制单元，所述控制单元被连接到意识检测装置，所述意识检测装置包括用于产生与所述驾驶员的行为相关的数据的至少第一源和第二源，其中，所述控制单元被配置成：
从所述第一源和第二源接收与所述驾驶员的生理学数据、所述车辆的操作、和操作所述车辆的驾驶员模型中的至少一种相关的数据；
将来自所述第一源和第二源的所述数据与驾驶员状态模型进行对比，所述驾驶员状态模型分别为所述第一源和第二源中的各个定义多个预定的驾驶员状态；
基于所述对比，为所述第一源和第二源中的各个确定所述多个预定的驾驶员状态中的各个的状态概率；以及
将为所述第一源和第二源所确定的驾驶员状态相互加权，以便为所述驾驶员确定总体的操作状态概率。
10.根据权利要求9所述的控制系统，其中，所述控制单元进一步被配置成将所确定的驾驶员的状态提供至配置成实施车辆控制功能性的车辆系统，所述车辆系统基于所述驾驶员状态调节所述车辆控制功能性。
11.一种车辆系统，包括根据权利要求9和10中的任一项所述的控制系统和意识检测装置。
12.根据权利要求11所述的车辆系统，其中，所述第一源和第二源中的至少一种被配置成产生所述驾驶员的操作数据，所述驾驶员的操作数据包括与所述操作员的眼睛、脸、头、臂和身体运动中的至少一种相关的信息。
13.根据权利要求11和12中的任一项所述的车辆系统，其中，所述第一源和第二源中的至少一种为图像捕获装置。
14.根据权利要求11-13中的任一项所述的车辆系统，其中，所述第一源和第二源中的至少一种被配置成产生所述车辆的操作数据，所述车辆的操作数据包括与越线时间、到设置在所述车辆前方的另一车辆的距离、转向和/或车轮操作模式中的至少一种相关的信息。
15.一种计算机可读介质，包含计算机程序产品，所述计算机程序产品用于使用意识检测装置确定车辆驾驶员的操作状态，所述意识检测装置包括用于产生与所述驾驶员的行为相关的数据的至少第一源和第二源，所述计算机程序产品包括代码，所述代码被配置成当被处理器执行时：
从所述第一源和第二源接收与所述驾驶员的生理学数据、所述车辆的操作、和操作所述车辆的驾驶员模型中的至少一种相关的数据；
将来自所述第一源和第二源的所述数据与驾驶员状态模型进行对比，所述驾驶员状态模型分别为所述第一源和第二源中的各个定义多个预定的驾驶员状态；
基于所述对比，为所述第一源和第二源中的各个确定所述多个预定的驾驶员状态中的各个的状态概率；以及
将为所述第一源和第二源所确定的驾驶员状态相互加权，以便为所述驾驶员确定总体的操作状态概率。
CN201280074227.XA 2012-08-14 2012-08-14 用于确定驾驶员的操作状态的方法 Active CN104540701B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/SE2012/000116 WO2014027933A1 (en) 2012-08-14 2012-08-14 Method for determining the operational state of a driver

Publications (2)

Publication Number Publication Date
CN104540701A true CN104540701A (zh) 2015-04-22
CN104540701B CN104540701B (zh) 2017-11-07

Family

ID=50685663

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280074227.XA Active CN104540701B (zh) 2012-08-14 2012-08-14 用于确定驾驶员的操作状态的方法

Country Status (5)

Country Link
US (1) US9848813B2 (zh)
EP (1) EP2885151B1 (zh)
JP (1) JP6219952B2 (zh)
CN (1) CN104540701B (zh)
WO (1) WO2014027933A1 (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105761431A (zh) * 2016-05-05 2016-07-13 中晟国计科技有限公司 一种行为监控预警方法和系统
CN106408874A (zh) * 2015-07-28 2017-02-15 比亚迪股份有限公司 疲劳驾驶的提醒系统及疲劳驾驶的提醒方法
CN107690402A (zh) * 2015-06-01 2018-02-13 沃尔沃卡车集团 驾驶员辅助系统
CN109334669A (zh) * 2018-10-17 2019-02-15 湖南仪峰安安网络科技股份有限公司 驾驶员驾驶状态下的体征安全监测方法及数据处理系统
CN110291478A (zh) * 2016-12-22 2019-09-27 斯坦福国际研究院 驾驶员监视和响应系统
CN110861653A (zh) * 2019-11-26 2020-03-06 北京明略软件系统有限公司 一种提醒方法、装置、车辆、设备和存储介质
CN111213189A (zh) * 2017-07-12 2020-05-29 华为技术有限公司 用于检测驾驶员状况的集成系统
CN112572454A (zh) * 2020-12-01 2021-03-30 浙江清华柔性电子技术研究院 疲劳驾驶检测方法、装置及方向盘设备
CN112590798A (zh) * 2020-09-09 2021-04-02 禾多科技（北京）有限公司 用于检测驾驶员状态的方法、装置、电子设备和介质
CN114596688A (zh) * 2022-02-11 2022-06-07 山东临工工程机械有限公司 装载机防疲劳驾驶装置及其疲劳预警方法

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140276104A1 (en) 2013-03-14 2014-09-18 Nongjian Tao System and method for non-contact monitoring of physiological parameters
GB2521665A (en) * 2013-12-30 2015-07-01 Nokia Technologies Oy Method, apparatus, computer program and system for controlling a vehicle's alert output
US20160052524A1 (en) * 2014-08-25 2016-02-25 Hyundai Motor Company System and method for alerting drowsy driving
WO2016162237A1 (de) * 2015-04-09 2016-10-13 Bayerische Motoren Werke Aktiengesellschaft Steuerung für ein elektronisches multifunktionsgerät
US10716502B2 (en) 2015-07-22 2020-07-21 Panasonic Intellectual Property Corporation Of America Method for predicting arousal level and arousal level prediction apparatus
CN106361270B (zh) * 2015-07-22 2021-05-07 松下电器（美国）知识产权公司 清醒度预测方法和清醒度预测装置
WO2017028895A1 (en) * 2015-08-17 2017-02-23 Polar Electro Oy Enhancing vehicle system control
US9797881B2 (en) * 2015-11-05 2017-10-24 GM Global Technology Operations LLC Method and system for controlling a passive driver impairment detection system in a vehicle
GB2539531B (en) * 2016-03-30 2018-10-03 Ford Global Tech Llc A method of operating an environmental control system
US20170297581A1 (en) * 2016-04-19 2017-10-19 Caterpillar Inc. System and method for controlling operation of machine
WO2017208529A1 (ja) * 2016-06-02 2017-12-07 オムロン株式会社 運転者状態推定装置、運転者状態推定システム、運転者状態推定方法、運転者状態推定プログラム、対象者状態推定装置、対象者状態推定方法、対象者状態推定プログラム、および記録媒体
US10759424B2 (en) 2016-08-16 2020-09-01 Honda Motor Co., Ltd. Vehicle data selection system for modifying automated driving functionalities and method thereof
JP6998564B2 (ja) * 2017-02-08 2022-01-18 パナソニックＩｐマネジメント株式会社 覚醒度推定装置及び覚醒度推定方法
US10357195B2 (en) 2017-08-01 2019-07-23 Panasonic Intellectual Property Management Co., Ltd. Pupillometry and sensor fusion for monitoring and predicting a vehicle operator's condition
JP6387173B1 (ja) * 2017-10-30 2018-09-05 ダイキン工業株式会社 眠気推定装置
GB2573261B (en) * 2018-02-26 2022-05-18 Babylon Partners Ltd Sleep activity detection method and apparatus
JP7099036B2 (ja) * 2018-05-07 2022-07-12 オムロン株式会社 データ処理装置、モニタリングシステム、覚醒システム、データ処理方法、及びデータ処理プログラム
US10322695B1 (en) * 2018-06-14 2019-06-18 GM Global Technology Operations LLC System and method to detect vehicle movement
US10945651B2 (en) 2018-07-05 2021-03-16 Denso Corporation Arousal level determination device
CN109409207B (zh) 2018-09-10 2022-04-12 阿波罗智能技术(北京)有限公司 无人车内乘客状态的识别方法、装置、设备及存储介质
KR102529919B1 (ko) * 2018-11-28 2023-05-08 현대자동차주식회사 졸음 운전 관리 장치, 시스템 및 방법
DE102019204892A1 (de) * 2019-04-05 2020-10-08 Robert Bosch Gmbh Verfahren und Steuergerät zum Erkennen einer Müdigkeit eines Fahrers für ein Fahrassistenzsystem für ein Fahrzeug
TWI749323B (zh) * 2019-04-30 2021-12-11 先進光電科技股份有限公司 行動載具輔助系統
CN110992676B (zh) * 2019-10-15 2021-06-04 同济大学 一种道路通行能力与网联自动驾驶车当量系数估计方法
JP7460867B2 (ja) 2021-12-24 2024-04-03 パナソニックオートモーティブシステムズ株式会社 推定装置、推定方法及びプログラム
US11780458B1 (en) * 2022-12-14 2023-10-10 Prince Mohammad Bin Fahd University Automatic car side-view and rear-view mirrors adjustment and drowsy driver detection system

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6060989A (en) * 1998-10-19 2000-05-09 Lucent Technologies Inc. System and method for preventing automobile accidents
JP2007514467A (ja) * 2003-11-26 2007-06-07 ダイムラークライスラー・アクチェンゲゼルシャフト 車両の運転者による不注意を識別する方法及びコンピュータプログラム
US20090033501A1 (en) * 2007-07-31 2009-02-05 National Taiwan University Of Science And Technology Online monitoring method of driver state and system using the same
CN101389521A (zh) * 2005-12-28 2009-03-18 国立大学法人名古屋大学 驾驶行动推定装置、驾驶支援装置、车辆评价系统、驾驶者模型生成装置、及驾驶行动判定装置
WO2009043650A1 (de) * 2007-09-26 2009-04-09 Siemens Aktiengesellschaft Vorrichtung zur erhöhung der sicherheit im strassenverkehr
DE102010034599A1 (de) * 2010-08-16 2012-02-16 Hooshiar Mahdjour Verfahren zur Erfassung des Benutzerprofils zur Müdigkeitserkennung eines Fahrzeugfahrers

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3998855B2 (ja) * 1999-05-18 2007-10-31 三菱電機株式会社 危険接近防止装置
DE10042367A1 (de) 2000-08-29 2002-05-02 Bosch Gmbh Robert Verfahren und Vorrichtung zur Diagnose der Fahrtüchtigkeit eines Fahrers in einem Kraftfahrzeug
US6909947B2 (en) * 2000-10-14 2005-06-21 Motorola, Inc. System and method for driver performance improvement
US6599243B2 (en) * 2001-11-21 2003-07-29 Daimlerchrysler Ag Personalized driver stress prediction using geographical databases
US6822573B2 (en) * 2002-01-18 2004-11-23 Intelligent Mechatronic Systems Inc. Drowsiness detection system
JP4791874B2 (ja) * 2006-03-31 2011-10-12 株式会社エクォス・リサーチ 運転支援装置及び運転行動判定装置
WO2007077867A1 (ja) * 2005-12-28 2007-07-12 National University Corporation Nagoya University 運転行動推定装置、運転支援装置、車両評価システム、ドライバモデル作成装置、及び運転行動判定装置
BRPI0712837B8 (pt) * 2006-06-11 2021-06-22 Volvo Tech Corporation método para determinação e análise de uma localização de interesse visual
JP2008228759A (ja) * 2007-03-16 2008-10-02 Toyota Central R&D Labs Inc 意識低下判定装置及びプログラム
WO2008126071A2 (en) 2007-04-12 2008-10-23 Aladdin Knowledge Systems Ltd. Piggyback smartcard adapter providing enhanced services
BRPI0822549A2 (pt) * 2008-04-11 2015-07-07 Volvo Technology Corp Método e sistema paa modificação de um plano de tração de um veículo em direção a um destino
JP5444649B2 (ja) * 2008-07-08 2014-03-19 日産自動車株式会社 飲酒運転検出装置
US20120206252A1 (en) * 2011-02-16 2012-08-16 Toyota Motor Engineering & Manufacturing North America, Inc. Lane departure warning system
US9292471B2 (en) * 2011-02-18 2016-03-22 Honda Motor Co., Ltd. Coordinated vehicle response system and method for driver behavior
US8698639B2 (en) * 2011-02-18 2014-04-15 Honda Motor Co., Ltd. System and method for responding to driver behavior
EP2564765B1 (en) * 2011-09-02 2017-12-13 Volvo Car Corporation System and method for improving a performance estimation of an operator of a vehicle
EP2564766B1 (en) * 2011-09-02 2018-03-21 Volvo Car Corporation Visual input of vehicle operator
KR101646401B1 (ko) * 2014-12-08 2016-08-12 현대자동차주식회사 운전자의 졸음상태 판단 시스템 및 그 판단 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6060989A (en) * 1998-10-19 2000-05-09 Lucent Technologies Inc. System and method for preventing automobile accidents
JP2007514467A (ja) * 2003-11-26 2007-06-07 ダイムラークライスラー・アクチェンゲゼルシャフト 車両の運転者による不注意を識別する方法及びコンピュータプログラム
CN101389521A (zh) * 2005-12-28 2009-03-18 国立大学法人名古屋大学 驾驶行动推定装置、驾驶支援装置、车辆评价系统、驾驶者模型生成装置、及驾驶行动判定装置
US20090033501A1 (en) * 2007-07-31 2009-02-05 National Taiwan University Of Science And Technology Online monitoring method of driver state and system using the same
WO2009043650A1 (de) * 2007-09-26 2009-04-09 Siemens Aktiengesellschaft Vorrichtung zur erhöhung der sicherheit im strassenverkehr
DE102010034599A1 (de) * 2010-08-16 2012-02-16 Hooshiar Mahdjour Verfahren zur Erfassung des Benutzerprofils zur Müdigkeitserkennung eines Fahrzeugfahrers

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107690402A (zh) * 2015-06-01 2018-02-13 沃尔沃卡车集团 驾驶员辅助系统
US10569752B2 (en) 2015-06-01 2020-02-25 Volvo Truck Corporation Driver assistance system
CN107690402B (zh) * 2015-06-01 2020-06-23 沃尔沃卡车集团 驾驶员辅助系统
CN106408874A (zh) * 2015-07-28 2017-02-15 比亚迪股份有限公司 疲劳驾驶的提醒系统及疲劳驾驶的提醒方法
CN106408874B (zh) * 2015-07-28 2019-02-26 比亚迪股份有限公司 疲劳驾驶的提醒系统及疲劳驾驶的提醒方法
CN105761431A (zh) * 2016-05-05 2016-07-13 中晟国计科技有限公司 一种行为监控预警方法和系统
CN110291478B (zh) * 2016-12-22 2023-09-29 斯坦福国际研究院 驾驶员监视和响应系统
CN110291478A (zh) * 2016-12-22 2019-09-27 斯坦福国际研究院 驾驶员监视和响应系统
CN111213189A (zh) * 2017-07-12 2020-05-29 华为技术有限公司 用于检测驾驶员状况的集成系统
CN109334669A (zh) * 2018-10-17 2019-02-15 湖南仪峰安安网络科技股份有限公司 驾驶员驾驶状态下的体征安全监测方法及数据处理系统
CN110861653A (zh) * 2019-11-26 2020-03-06 北京明略软件系统有限公司 一种提醒方法、装置、车辆、设备和存储介质
CN112590798A (zh) * 2020-09-09 2021-04-02 禾多科技（北京）有限公司 用于检测驾驶员状态的方法、装置、电子设备和介质
CN112590798B (zh) * 2020-09-09 2021-10-22 禾多科技（北京）有限公司 用于检测驾驶员状态的方法、装置、电子设备和介质
CN112572454A (zh) * 2020-12-01 2021-03-30 浙江清华柔性电子技术研究院 疲劳驾驶检测方法、装置及方向盘设备
CN114596688A (zh) * 2022-02-11 2022-06-07 山东临工工程机械有限公司 装载机防疲劳驾驶装置及其疲劳预警方法
CN114596688B (zh) * 2022-02-11 2023-12-15 山东临工工程机械有限公司 装载机防疲劳驾驶装置及其疲劳预警方法

Also Published As

Publication number Publication date
US20150216466A1 (en) 2015-08-06
EP2885151B1 (en) 2022-10-12
WO2014027933A1 (en) 2014-02-20
US9848813B2 (en) 2017-12-26
EP2885151A1 (en) 2015-06-24
CN104540701B (zh) 2017-11-07
EP2885151A4 (en) 2016-04-06
JP2015532743A (ja) 2015-11-12
JP6219952B2 (ja) 2017-10-25

Similar Documents

Publication Publication Date Title
CN104540701A (zh) 用于确定驾驶员的操作状态的方法
US10485468B2 (en) System and method for assessing arousal level of driver of vehicle that can select manual driving mode or automated driving mode
US9676395B2 (en) Incapacitated driving detection and prevention
JP7273031B2 (ja) 情報処理装置、移動装置、情報処理システム、および方法、並びにプログラム
US9101313B2 (en) System and method for improving a performance estimation of an operator of a vehicle
CN112041910A (zh) 信息处理装置、移动设备、方法和程序
CN102975718B (zh) 用以确定车辆驾驶员对物体状态预期的方法、系统和收录计算机程序产品的计算机可读介质
US10528833B1 (en) Health monitoring system operable in a vehicle environment
US11235776B2 (en) Systems and methods for controlling a vehicle based on driver engagement
EP2730448B1 (en) Method and system for control of the residual efficiency of man-vehicle interaction
CN111915159B (zh) 一种基于动态时间预算的个性化接管预警方法和系统
CN111666307A (zh) 根据场景观察进行直觉推断的无人驾驶安全判断系统
CN116013110A (zh) 一种车辆碰撞风险预测装置及方法
CN110816542A (zh) 提供驾驶员帮助的方法
JP6772775B2 (ja) 運転支援装置および運転支援方法
GB2564563A (en) Vehicle driver workload management
WO2022240823A1 (en) Online driver delay and frequency response model
JP2012018527A (ja) 車両状態記録装置
Zheng et al. A data-based lane departure warning algorithm using hidden Markov model
EP3974801A1 (en) Vehicle failure diagnosis apparatus
CN116186591A (zh) 一种基于三维变形模型的驾驶员状态监控方法
Dababneh Development and validation of a driver distraction alert system for highway driving using a truck driving simulator
CN117360496A (zh) 一种以损伤风险最优化为目标的车辆控制方法和装置

Legal Events

Date Code Title Description
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant