CN1627915A - 用于监视和管理司机注意力负荷的系统和方法 - Google Patents

用于监视和管理司机注意力负荷的系统和方法 Download PDF

Info

Publication number
CN1627915A
CN1627915A CNA03803168XA CN03803168A CN1627915A CN 1627915 A CN1627915 A CN 1627915A CN A03803168X A CNA03803168X A CN A03803168XA CN 03803168 A CN03803168 A CN 03803168A CN 1627915 A CN1627915 A CN 1627915A
Authority
CN
China
Prior art keywords
driver
behavior
checkout gear
parameter
monitor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA03803168XA
Other languages
English (en)
Other versions
CN100488443C (zh
Inventor
特伦特·维克托
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Volvo Technology AB
Original Assignee
Volvo Technology AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Volvo Technology AB filed Critical Volvo Technology AB
Publication of CN1627915A publication Critical patent/CN1627915A/zh
Application granted granted Critical
Publication of CN100488443C publication Critical patent/CN100488443C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1113—Local tracking of patients, e.g. in a hospital or private home
    • A61B5/1114—Tracking parts of the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Arrangement of adaptations of instruments
    • B60K35/29—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W40/09—Driving style or behaviour
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/01—Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
    • A61B5/015—By temperature mapping of body part
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1103—Detecting eye twinkling
    • B60K2360/191—
    • B60K2360/338—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T2201/00—Particular use of vehicle brake systems; Special systems using also the brakes; Special software modules within the brake system controller
    • B60T2201/02—Active or adaptive cruise control system; Distance control
    • B60T2201/022—Collision avoidance systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T2201/00—Particular use of vehicle brake systems; Special systems using also the brakes; Special software modules within the brake system controller
    • B60T2201/08—Lane monitoring; Lane Keeping Systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T2201/00—Particular use of vehicle brake systems; Special systems using also the brakes; Special software modules within the brake system controller
    • B60T2201/08—Lane monitoring; Lane Keeping Systems
    • B60T2201/086—Lane monitoring; Lane Keeping Systems using driver related features
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818—Inactivity or incapacity of driver
    • B60W2040/0827—Inactivity or incapacity of driver due to sleepiness
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/22—Psychological state; Stress level or workload
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system

Abstract

公开了一种用于监视司机的生理行为的系统和方法，其包括测量司机的生理变化，根据至少所述测量到的生理变化(1、4)来确定司机的行为参数，并且通知司机(2、3)所确定的司机行为参数(1、4)。生理变化(1、4)的测量可以包括测量司机的眼睛运动，测量司机的凝视方向，测量司机的眼睛闭合量，测量司机的眨眼运动，测量司机的头部运动，测量司机的头部位置，测量司机的头部方向，测量司机的活动的面部特征，以及测量司机的面部温度图形。

Description

用于监视和管理司机注意力负荷的系统和方法
技术领域：
本发明涉及提高司机安全的系统和方法；尤其涉及补救睡意、注意力分散和类似的危险状态对司机的驾驶能力的影响。
技术背景：
所有类型车辆的司机通常都没有意识到睡意和注意力分散对他们自己的车辆控制能力的影响。人们，尤其是司机，对他们自己行为能力的判断通常是不够的。通常，司机对他的或她的能力的的自我感觉要比实际上好得多。即使这个人基本上具有很好的驾驶技术，但是其在车辆的方向盘后面也并不始终保持不变。此外，在驾驶途中的很多时候，司机很少需要将精力放在执行驾驶任务上。因此，司机会有麻痹心理，在开车的时候仅投入了较少的注意力。很明显地，司机疏忽是车辆相撞的主要原因，尤其是汽车相撞。根据国家公路和交通安全管理局(NHTSA)在一年的时间里对超过两百五十万件的车辆被拖走事故的调查，司机疏忽是发生碰撞的主要原因，估计占事故总数的百分之二十五到百分之五十六之间。在这些调查中，将疏忽定义为由三部分组成：视觉注意力分散、思维注意力分散(看到了却没看见)和瞌睡。由疏忽造成的常见事故类型是：追尾碰撞、道路交叉口碰撞、变道或并道碰撞、偏离道路、个别车辆的事故、在最低限速道路上发生的事故。
司机瞌睡是一个常见的现象。至少一项调查表示，百分之五十七的被调查司机表示在上年度开车时有过瞌睡的经历，百分之二十三的司机表示在驾驶过程中有过实际上睡着的经历。大家都知道疲劳会削弱司机的行为、警觉、和判断能力。由瞌睡造成碰撞是一个严重的公路安全问题，并且据估计疲劳因素所造成的事故占到了所有事故的百分之二十三。
从技术的观点来看，可在车辆内使用的新信息系统和功能正在发展和快速增长当中，这种新信息系统和功能包括移动电话、导航系统、因特网、及其它类型的电子服务。因为它们的广泛应用，司机使用移动电话的影响已经首先为公众所注目，但是导航系统和IT服务的销售也在快速增长。据估计，在美国，一年的时间内，仅仅由于使用移动电话造成的死亡事故就有300-1000起，这样的死亡事故在2004年预计将达到4000起。注意力分散，比如使用手提式电话、读标记、吃东西、与其他乘客交谈、观察物体和操作车辆内的装置可能过多地分散司机的注意力，从而危害安全驾驶。驾驶安全性不会由于这些新型服务和活动在驾驶环境中越来越常见而受到危害变得尤其重要。
由于这些新功能和技术的使用，增加了司机的劳动负荷。在这方面，“劳动负荷”应该理解为一个人有多忙，和完成必需的任务所需要付出的工作量。当司机有很多事情要做并且他正经受高劳动负荷的时候，司机在驾驶中需要高度集中注意力，因为有很多事情需要同时完成。司机通常会注意到与车辆的驾驶控制不相关的一些事情，并且因此在技术上不注意驾驶情况。这些事情通常被称作次要任务并且可能干扰司机对主要的驾驶任务的注意力。当获得司机的注意力达到一定程度而使得对驾驶的主要控制任务的注意力不足的时候，次要任务成为注意力分散的原因(包括视觉的、听觉的、认识的和生物力学上的注意力分散)。结果，例如保持车道和速度控制的驾驶行为受到危害，并最终危害驾驶安全。
如图1所示，从一些次要任务是与驾驶相关的任务的意义上来讲，驾驶任务和次要任务是交错的。驾驶和次要任务之间的这个关系产生了两件难事。首先，很难描述出哪些次要任务信息是“与驾驶情况不相干的”而哪些不是；其次，与次要任务相关的特定驾驶，例如，寻找路标或计划驾驶路线也可以危害安全，如图1所示。
应当理解，司机经常意识不到在驾驶任务中注意力分散的后果。此外，司机也不可能准确地确定他们何时会疲劳到警惕性严重下降或无法控制睡意的攻击的程度。在此所概述的注意力管理系统是想要帮助处于瞌睡的、注意力分散的、与/或高度劳动负荷的情况下的司机提高安全性。
发明内容：
在此公开的注意力管理系统的目的是通过帮助处于瞌睡的、注意力分散的、与/或高度劳动负荷的情况下的司机提高安全性。为若干个注意力管理系统提供的功能说明的特征在于包括：睡意管理、注意力分散管理、适应于向前碰撞和变道警报系统的注意力分散调节的管理和劳动负荷管理，其至少部分地根据从司机的可视行为观察到或推断出的驾驶需要评估来进行控制。还说明了可以适当地使用硬件系统执行这些司机注意力管理任务。还公开了根据人机交互(HMI)开发即时睡意和注意力分散管理的“平台”，将其作为连续的和旅途后(post-trip)注意力反馈系统的说明。HMI方法的目的是通过提供危急的防撞警告和注意力反馈来使行为发生积极的变化，减少司机疏忽。
附图说明：
图1是司机**和司机次要任务的互相关系的示意图；
图2是一个流程图，表示一个注意力管理系统的实施例，该系统包括硬件和用于感测、计算、HMI和提供电源的功能模块；
图3是一个可以在其上面示范性地实现若干睡意管理对策的平台的示意图；
图4描述了一个向司机发出的可能显示警告的示范性的图标；
图5描述了一个示范性的、交互的、司机反应面板；
图6描述了一个司机改变凝视方向的示范性的实施例；
图7利用图表示出了司机疏忽的组成部分的相互作用；
图8(a)-(c)示出了多个“活动的”图形显示，用于根据本发明的教导实时显示司机信息；
图9示出了与最理想的注意力级别的指示对比的司机的实时反馈的示例；
图10提供了一个基于检测到的增加的劳动负荷/疏忽级别的示范性的格式化的说明的示例；
图11提供了一个同屏显示旅途后反馈的示范性示出；
图12提供了一个平视或屏幕显示的向前碰撞情况的警告；
图13提供了一个平视或屏幕显示的关于变道碰撞情况的警告；
图14提供了一个根据本发明的系统和方法的示范性的流程图，其中对司机生理特征进行测量，例如头部与/或眼睛运动。在另一个步骤，估算一个行为参数，比如司机注意力分散或注意力负荷的级别。在另一个步骤中，将关于此估算的反馈发给给司机。
具体实施方式
在至少一个实施例中，本发明提供了一个系统和方法，所述的系统和方法能够使得在车辆中实现注意力管理构思，包括能够实现本发明的功能的示范性的硬件。在此，对若干基本问题和目的进行阐明，包括：哪些获得的视觉支持是司机需要的，如何将它概念化以便能够被接受；对司机的视觉行为的实时识别如何可以被用于减少驾驶错误并且防止事故；实现的商业可能性如何。为示范性的睡意管理；注意力分散管理；适应于向前碰撞的注意力分散和变道警报系统；和劳动负荷管理提供如下功能描述。还包括用于实现根据视觉行为判断驾驶需要的系统和方法。
一个或多个这些系统和方法分别地和一起描述为产生所谓的注意力管理系统。在此说明的这些系统的一个可能部分和若干发明的一部分，是可用于实现这些系统和方法的用于实证和试验的注意力支持演示。在此还说明了根据视觉行为判断驾驶需要的例子。
在一个实施例中，注意力管理系统包括用于(1)感测、(2)计算、(3)HMI和(4)提供电源的硬件。单元或功能模块可以示范性地设置(相互关连)为如图2所示，并且适于在上述车辆如汽车和卡车中的实现。
使用了视觉行为传感器，例如从SeeingMachines公司获得的视觉行为传感器，该视觉行为传感器可以被安装在车辆中。这种类型的系统可以包括(1)立体摄像头、(2)个人电脑(PC)，和(3)适当的驾驶软件。也可以可选地使用例如以商品名称为SMARTEYE的而生产和销售的视觉行为传感器。
可以从CAN总线获取车辆性能信号。还可以利用方向盘角度传感器和车道跟踪硬件和软件。使用了注释框和视频记录硬件。使用了车载个人电脑或具有同样能力的计算装置。另外，尤其是为了便于试验和实施，可以使用运行诸如“Director”和“Simulink”的软件的便携式计算机。还可以安装和使用xPC。从硬件的观点来看，使用LED控制器硬件。通过计算装置提供音频HMI(警告声音、记录消息)。还可以使用触摸屏用于用户输入。应当理解，这些实施例中的一些是适合于产品开发和便于系统测试的，但是当商品化时，这些部分直接集成到车辆中。
可以包括座位振动方案或类似的驾驶警报。在一个优选实施例中，使用了LED HUD(平视显示器)。还可以使用一个LED阵列(显示器)，由LED控制器进行控制。可以在运载车辆上安装用于整个系统的电源。
睡意管理可以以两种结构实现。在第一个例子中，它完全基于PC；也就是说不需要外部硬件或外部通信能力。这个实施例是基于具体情况的；也就是说根据实际PERCLOS(考虑到扫描模式、定影的数量和长度、扫视延迟等等的分析)数据而不是实时跟踪睡意事件。硬件功能通过这样的如基于LED或HUD的可视显示的刺激物或对身体的刺激例如座位振动来刺激司机。在另一个实施例中，实现了HMI硬件和Simulink通信。
可在其上面实现几个睡意管理对策和进行试验的“平台”是所需的。用于这种实现的示范性的平台如图3所示意性示出。
图3所示可以被认为是对控制程序的描述。这样一个方案很容易针对不同HMI部分而改变；例如，提供(1)连续信息数据流给司机，提供(2)告诫的警告，(3)突出的危险警告警报，(4)司机响应测试，(5)旅途后总结信息，和(6)操作者输入设置菜单。
在本发明的一个实施例中，为司机提供了一个告诫警告。司机能够选择警告版本，但是不能完全禁止警告。示范性的，在可选择的声音消息警告之后可以为司机播放一个蜂鸣声，例如<睡意导致的自动插入>，“休息一会儿”。可以另外地将一个图标显示给司机，或者分别结合一个音响报警信号，或者和警告的打印版本一起显示给司机。
示范性的图标警告如图4(a)-(d)所示，如(a)急剧的眼睛闭合检测，(b)不协调的驾驶检测，(c)不一致的车道-保持检测，和(d)司机睡意检测。这些图标的一个或多个可以依据检测的司机的状态同时显示。
在另一个实施例中，包括了一个麦克风以便司机可以记录或提供他或她自己的警告，就像电话应答机及其它可定制的音频重放装置。
在另一个实施例中，应用了对司机身体的刺激警告。优选地，司机可以选择在设置菜单中的警告类型，但是在至少一个实施例中，防止操作者完全禁止对其身体的警告。这种对身体的刺激的一个例子将是座位振动。
在另一个版本中，一个闪烁的“HUD”LED可以用于明显地刺激司机；再次，单独或结合了在此所说明的其他类型的警告。在一个优选实施例中，当它被激活时，提供给司机实现同时显示所描述的三种类型的警告的能力。
还提供了司机反应功能；也就是说，对信号的反应时间。针对这些功能而言，司机既能够启动又能够禁止以及选择设置菜单中的警告版本。
在预先确定的时间量中，例如5到8秒后进行警告，司机响应功能起作用。示范性的，当如图5所示的显示在触摸屏上的按钮下面的文字“按下”被按下时将有一个蜂鸣声。如果司机不在规定的时间量内作出反应，或根据其它的基于算法的反应时间，那么将提出一个报警警告。持续这个状态，直到司机停车、变得警觉并且系统检测到这个改变、或司机关闭该功能。
为了将定制能力提供给操作者，可以通过以下示出的HMI部分选择示范性的选项：
  HMI部分     选项
  (1)连续的睡意反馈     连续反馈开/关选择几个版本中的一个
  (2)告诫警告     声音消息开/关默认信息开/关用户提供的信息开/关使用多个图标或使用默认图标
  (3)报警/刺激警告     之后的选择(至少一个必须被检查)座位振动开/关声音开/关HUD视觉的警告开/关风扇(没有在反复1中实现)香味(没有在反复1中实现)切断气体(没有在反复1中实现)开到路边(没有在反复1中实现)使用多个图标或使用默认图标
  (4)司机反应     司机反应开/关
在两个实施例中示范性地实现了注意力分散管理。在第一个实施例中，注意力分散管理完全基于PC，而没有外部硬件或通信能力。它是基于具体情况的；也就是说，以注意力分散事件的时间安排产生而不是实时产生。硬件功能是模拟的。第二个实施例是根据一个硬件实现的，该硬件包括实时通信的能力。
本发明的另一个方面是基于安全性阈值的注意力分散警告。提供的警告通知司机危害安全性的注意力分散的行为。根据对上文的理解，司机经常意识不到在他们开车时，注意力分散对驾驶能力的影响。因此基于安全性的注意力分散警告的目标是产生司机反馈，所述的反馈是关于减少驾驶控制任务行为的。也就是说，如果检测到了注意力分散(例如扫视行为在适当的安全性阈值之上和/或在扫视行为期间车辆性能降低)，系统提供以下警报中的一个或多个。可以提供诸如简单的蜂鸣声的声音或特定于性能的声音消息，该特定于性能的声音消息是关于已经被检测的性能减少的。例如，如果扫视行为超出扫视安全性阈值标准(例如EU建议4次扫视或2秒单独的扫视持续时间，US AAA建议总共10秒持续时间的扫视)，那么可以发出“检测到视觉注意力分散”或“眼睛离开道路太多”的消息。如果在次要任务扫视行为期间驾驶不正常，那么可以发出消息“在视觉注意力分散期间驾驶不协调”。如果在次要任务扫视行为期间车道保持不正常，可以提供例如“在视觉注意力分散期间车道保持不一致”的消息。如果在次要任务扫视行为期间检测到急剧减速，那么可以发出例如“在视觉注意力分散期间急剧减速”的消息。如果检测到多个原因，那么可以发出一个通用消息，例如“检测到视觉注意力分散”。如果在次要任务扫视行为期间，在不同道路类型或不同需求级别期间检测到控制任务干扰，那么发出一个相应的警告。警告的形式可以包括司机记录或提供的消息，在下文所说明的座位的前面部分的座位振动或凝视重定向。
本发明的公开包括一个新概念“凝视重定向”的方案，如图6所示。其中，如果检测到司机注意力分散，则一个界面指示司机的眼睛向前看，观察驾驶情景(例如；通过前挡风玻璃)。示范性的，三个LED“线”(左、中或右)中的一个或多个之后的光线波动将根据在何处检测到司机的凝视而启动。光线波动之后，可以选择性地照亮一个较大的圆圈，然后LED的中线将被照亮；其目的是为了更清楚地将司机的注意力集中到需要的地方。几个LED光线的准确的位置和定时不是关键性的，颜色也不重要。实际上，定时可以低于限值；也就是说，快到不能有意识地察觉到它们。另外，适当的光线可以首先慢慢地闪烁，用系统对司机的评估确定是否产生了正确的行为。否则，可以增加闪动定时和光强度。
注意力分散反馈的设置菜单可以具有如下所示的示范性逻辑：
  HMI部分     选项
  (1)连续的注意力分散反馈     连续的注意力分散反馈开/关
  (2)基于安全性阈值的注意力分散警告     声音消息开/关特定于性能的消息开/关默认/多个原因消息开/关用户提供的消息开/关座位振动开/关凝视重定向开/关
在另一个方面中，本发明将来源于司机的视觉行为的驾驶需要评估与劳动负荷管理的概念相结合。通常，“劳动负荷管理”的概念是优先化(prioritization)系统，对信息进行分类，并且可能地延迟向司机显示信息，直到他或她的劳动负荷足够地低，从而能够避免与信息的接收相关的风险。集成的、车辆信息系统的界面可以用于保证给予驾驶任务正确注意力。在此参考的注意力分散管理算法的输出可以作为劳动负荷管理的输入使用。
在此公开的劳动负荷管理的类型使用驾驶所需要的驾驶需要视觉活动测量来精确地测量司机的劳动负荷。这是对一个司机的“视觉活动”如何的测量；也就是说，头和眼睛运动(转动)的变化。头和眼睛运动的测量在美国临时专利申请60/418,171中进行了更加详细的说明，该申请于2002年10月15日申请，在此特意结合其内容作为参考，其包括了“视觉活动”算法。此外，在此公开了驾驶需要视觉活动测量能够实现劳动负荷管理HMI中的新功能。
劳动负荷管理的一个方面是暂停音响交谈对话或信息。例如，这包括了系统初始化或自动初始化信息(例如从文字到语言的电子邮件和非关键性导航系统信息)，以及随机初始化谈话对话(例如正在打入和打出的电话交谈)可以在需要较多的视觉活动期间被暂停。
作为一个例子，将一系列电子邮件发送给司机，例如来自存储器的十封新的电子邮件正由文字-语音系统大声地“读”出。在这种音频传输过程中，由管理系统检测司机正处于需要较多的视觉活动的时期。作为响应，系统暂停了音频传输，以避免分散司机的注意力，使其负荷超过预先选择的级别；这种级别示范性地与对驾驶能力造成危害的注意力负荷相应。可选地，管理系统可以包括一个通过音调等给这种受到中断的司机的音响指示，这也可以起到通知司机高度注意负荷情况的作用。音响传输可以根据司机开始或系统初始化而继续进行，所述的司机开始或系统初始化是基于系统已检测到注意力负荷已足够降低至示范性的预先选择的水平，该示范性的预先选择的水平与司机接收这种音响信息的安全状况相应。
在另一个特征中，通过所公开的管理系统来实现连续的与/或旅途后注意力负荷反馈。这个方面是基于基本的人的行为特征的，其通常称为反馈原理；这种原理通常认为反馈增强行为。这对任务/技术学习(例如学习安全驾驶)和工作动力来说是正确的。根据对上文的理解，司机通常对他们自己的行为不能作出正确的判断。关于任务/技术行为的直接、准确、快速和连续信息的实现程度对提高司机行为和动力来讲是有效的关键要素。注意力反馈构成本质的驾驶反馈的形式，这种形式到现在为止对于司机还没有实现。该方法是积极的行为适应和生活方式变化的一种而不是危急的防撞警告。例如，一些研究员相信用于提高警觉性的主要机制是“判断影响”。判断影响的概念规定这种本质的信息(司机注意力负荷和警觉状态)将影响司机对是否停下来休息、喝咖啡、减少酒精消费或改变其它此类行为的判断力。
注意力反馈的目的是因此通过多个时框中的一个或多个来鼓励积极的行为变化，例如：(1)即时(例如短期的补偿行为，例如改变座姿或半途终止一个复杂的任务)；(2)途中(例如停下来小睡一下，关掉移动电话)；(3)日常(在注意力低下的一天之后睡上一觉，从前排座移开视频屏幕)；(4)长期(采用不同的睡觉方式或注意力分散姿势)。这个反馈增加了司机对疏忽的行为的自我意识并且实现了更好的自我管理。
考虑了两个主反馈类型。首先是连续的车载反馈，它将实时注意力行为信息提供给了司机，这些信息可以是例如载开车时的给出的信息。这个信息以不会危害安全性的方式传送。该方案提供了一种注意力测量计、警觉度测量计(警觉度-o-测量计)、或安全/不安全驾驶行为测量计。第二反馈类型是旅途后反馈，当停止驾驶时，将更详细的注意力行为信息提供给司机。
把旅途后反馈保存为“文档”还允许基于车队的安全性反馈，以集中在与测量结果相反的源行为上，例如车祸事件。也许有助于司机接受的一个选项是提供分层系统。在这种分层系统中，司机可以连续访问数据，车队管理人员可以访问汇总的数据，可以允许监制机构访问汇总数据。因此，在车队司机的实例种，可以更好地把本发明作为有用的工具加以利用，不必使司机一定要理解使用者报告的特征。
为了能够产生注意力反馈，必须使管理系统能够运转。疏忽可以被看作由睡意/精神不佳、注意力分散和高度工作负荷因素组成。因此，如图7所示，优选一个组合模型，该组合模型考虑了每种类型的疏忽。其中根据本发明所配置的一个系统模型示出为可以有选择地考虑司机疏忽、劳动负荷和个人特征例如睡意和注意力分散。
在本发明的另一个方面中，提供了显示多个信息或反馈给司机的唯一方法。在连续的注意力反馈的实例中，图8(a)-(c)表示多种“活动的”图形显示，用于显示由管理系统检测到或产生的实时的司机信息。作为一个例子，该显示可以是“一般的”或综合的注意力反馈量，例如注意/疏忽的级别，其是睡意、注意力分散和劳动负荷的综合测量。在图8(a)的实例中，示出了没有利用倾向信息的光线的简单的层叠。在图8(b)的实例中，采用了″飞机雷达类型″的显示，其中，一个方框被放置成围绕当前的级别且使倾向信息为“逐渐变暗”的形式。图8(c)表示一个直方图，其中，即时的“实时”信息由右边的可延伸/回缩的条形图(比较宽的)表示，预先选择的持续时间周期内的总统计数值(平均值、中间值等等)由左边更加狭窄的条形图表示。用这样的方式表示倾向信息。在图8(c)的示范性例子中，显示了5个以前的周期。应该理解，可以根据对显示和存储量的控制逻辑来显示任何以前的周期。
在另一个方面中，本发明还提供了与最理想的注意力级别的指示对比的司机的实时反馈的示例；这种显示的示范性的实施例如图9所示，在此司机可以观察他或她的相对于最佳注意力的注意力分散程度或超负荷。
在另一个方面中，本发明可以利用所提供的状态通知来测量所检测到的司机疏忽周期。然后司机可以“询问”(例如通过触摸屏幕)出现什么问题以及接收对检测到的增加的劳动负荷/疏忽级别的说明。这种反馈可以示范性地以口头消息与/或如图10所示的图解的形式而提供。其中，睡意、注意力分散和劳动负荷的三个图形表示位于右边，在左边示出了相对的司机注意力的综合效果。
如上所述，途中-报告的方面对于司机的训练和行为改正非常有利。因此，本发明公开的方法提供了同屏旅途后反馈，并且示范性地在图11中示出。在这个示出的例子中，从显示屏中选择一个菜单选择，用于旅途后反馈，并且以历史格式显示这种测量特征的相关显示，如眼睛闭合、驾驶一致性等等的百分比。当然可以记录相同的信息，以便用于后来的分析和使用。
上述讨论到的司机能力还可以用于其它车辆系统的注意力分散调节，例如前部-碰撞、后部-碰撞和变道碰撞警告(FCW、RCW和LCW)系统。追尾碰撞占汽车事故的百分之二十八左右。由于在超过这些碰撞的百分之六十中司机疏忽是一个主要的因素，因此碰撞警告和防撞系统是减少事故和挽救生命是重要的工具。本注意力管理系统的一个目标是检测疏忽和交通环境中的安全性关键事件是否同时出现；例如，前方车辆的突然刹车和司机注意力偏移道路的情况。有两个这样的例子可以作为视觉行为信息，以便适应向前碰撞-和变道警告。
根据司机是否在操作可能分散注意的装置或进行其它类型的任务，通过动态地调整防撞警告阈值，量化的次要任务的检测集成(例如通过检测按钮按下或眼睛运动)大大增强了碰撞警告系统。例如，如果检测到司机正在进行移动电话交谈，则碰撞警告系统可以及早产生警告。相比于晚到的警告或根本没有警告，早期的碰撞警告可以帮助司机更快的作出反应，并且更能避免碰撞。如果司机由于驾驶任务的某个方面而疏忽，例如当检测到可能发生向前碰撞的时候，将目光从向前转移到别的方向，或当检测到可能发生变道碰撞的时候，没有向旁看，则较早地启动对这种情况的告警。研究表明，当司机把目光转向别处的时候，即使早一秒的警告，对防止碰撞也是卓有成效的。
如果检测到司机注意力集中，则可以延迟警告甚至取消警告。提示警告中的延迟允许利用更多时间来进行向前碰撞和变道警告算法，以便更确定地断定是否需要警告，从而减少错误的警告。更进一步，当注视道路或侧镜的时候，司机选择不发出碰撞警告的司机取消还将清除令人讨厌的错误警告。
作为一个实现策略，在第一阶段，这种警告可以是“温和的”，但是当状态恶化和事故更加临近的时候则要增加强度。在向前碰撞警告的实例中，首先提出平视或屏幕显示警告，稍后产生音响报警信号，表示事故状态增强。这种警告的一个例子和它的控制参数(可以或不可以显示给司机)如关于向前碰撞情况的图12和关于变道碰撞情况的图13所示。
在上文说明的关于司机特性的检测特征可以在其它环境中使用并且用于没有明确描述的其它目的。检测特征还可以被合并为应用于其它车载系统中。例如，可以使用作为被动安全设施特征的“智能”气囊，其检测司机的/乘客的头部何时不在正确的位置上，以便接受所安装的气囊。相应地，可以改变气囊的安装，以便适应感测到的头所在的位置。
在另一种设置中，感测到的行为可用于鉴定司机，或至少排除在方向盘后面的是经授权的司机，从而便于预防盗窃。头部和眼睛传感器还可以用于自动地设定反光镜、座位位置等等。口头跟踪可用于增强语音识别附件。可以采用能对迎面而来的车的灯光进行过滤的滤光器，可以根据眼睛位置和移动将其显示给司机。

Claims (15)

1.一种用于监视司机的生理行为的方法，包括：
测量司机的生理变化；
根据至少所述的测量到的生理变化来估算司机的行为参数；以及
通知司机所估算的司机的行为参数。
2.如权利要求1所述的用于监视司机的生理行为的方法，其中所述的测量生理变化的步骤还包括从如下组成的组中选择出来的至少一个步骤：测量司机的眼睛运动；测量司机的凝视方向；测量司机的眼睛闭合量；测量司机的眨眼运动；测量司机的头部移动；测量司机的头部位置；测量司机的头部方向；测量司机的活动的面部特征；以及测量司机的面部温度图形。
3.如权利要求2所述的用于监视司机的生理行为的方法，其中所述的测量生理变化的步骤还包括从由如下组成的组中选择出来的至少一个步骤：测量方向盘上的握力；以及测量驾驶杆的移动。
4.如权利要求1所述的用于监视司机的生理行为的方法，其中所述的估算司机的行为参数的步骤包括一个或多个从由如下组成的组中选择出来的步骤：
估算表示在一个预先确定的时段内司机的眼睛闭合情况的时间权重参数；
估算表示在一个预先确定的时段内司机的凝视偏移道路的情况的时间权重参数；
估算表示在一个预先确定的时段内司机的眨眼运动情况的时间权重参数；
估算表示在一个预先确定的时段内司机的眼睛闭合情况的时间权重参数；
估算表示在一个预先确定的时段内司机的头部位置的时间权重参数；以及
估算表示在一个预先确定的时段内司机的头部移动的时间权重参数。
5.如权利要求1所述的用于监视司机的生理行为的方法，其中所述的通知司机的步骤包括至少一个从由提供实时反馈给司机和提供旅途后反馈给司机所组成的组中选择出来的步骤。
6.如权利要求1所述的用于监视司机的生理行为的方法，其中所述的通知司机的步骤包括一个提供在给出的时间周期内的参数的直方图的步骤。
7.如权利要求1所述的用于监视司机的生理行为的方法，其中所述的通知司机的步骤包括一个提供参数和至少一个标准值之间的成比例比较的步骤。
8.如权利要求1所述的用于监视司机的生理行为的方法，还包括一个向司机提供关于应该如何改变司机的姿势的反馈消息的步骤，所述的消息取决于所述的参数。
9.如权利要求1所述的用于监视司机的生理行为的方法，还包括判断所述的参数是否下降和当估算的行为参数下降时通知司机的步骤。
10.如权利要求1所述的用于监视司机的生理行为的方法，还包括判断所述参数是否超出了安全范围和当估算的行为参数超出安全范围时通知司机的步骤。
11.如权利要求10所述的用于监视司机的生理行为的方法，还包括估算由位于车辆上的车辆状态检测装置所提供的车辆状态数据的步骤，估算位于车辆上的环境检测装置所提供的环境数据的步骤，和根据车辆状态数据和环境数据中的至少一个确定安全范围的步骤。
12.如权利要求11所述的用于监视司机的生理行为的方法，其中所述的车辆状态检测装置包括从由如下组成的组中选择出来的检测装置：驾驶杆检测装置；车辆速度检测装置；变速器检测装置；制动器检测装置；风门踏板检测装置；离合器检测装置；和车轮转速检测装置。
13.如权利要求11所述的用于监视司机的生理行为的方法，其中所述的环境检测装置包括从由如下装置组成的组中选择出来的检测装置：亮度检测装置；道路状态检测装置；车辆位置检查装置；靠近度检测装置和车道位置检测装置。
14.如权利要求1所述的用于监视司机的生理行为的方法，其中所述通知司机的步骤包括通过人机界面输出信息数据的步骤。
15.如权利要求14所述的用于监视司机的生理行为的方法，其中所述的输出信息数据的步骤包括至少一个从由如下组成的组中选择的步骤：在屏幕显示器上输出可视信息数据；在平视显示器上输出可视信息数据；和在声音输出上输出话语信息。
CNB03803168XA 2002-02-19 2003-02-19 用于监视和管理司机注意力负荷的系统和方法 Expired - Fee Related CN100488443C (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US35713502P 2002-02-19 2002-02-19
US60/357,135 2002-02-19
US41817102P 2002-10-15 2002-10-15
US60/418,171 2002-10-15

Publications (2)

Publication Number Publication Date
CN1627915A true CN1627915A (zh) 2005-06-15
CN100488443C CN100488443C (zh) 2009-05-20

Family

ID=27760455

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB03803168XA Expired - Fee Related CN100488443C (zh) 2002-02-19 2003-02-19 用于监视和管理司机注意力负荷的系统和方法

Country Status (8)

Country Link
US (1) US6974414B2 (zh)
EP (4) EP2314207A1 (zh)
JP (2) JP4603264B2 (zh)
CN (1) CN100488443C (zh)
AU (1) AU2003211065A1 (zh)
BR (1) BR0307760A (zh)
ES (1) ES2392082T3 (zh)
WO (1) WO2003070093A1 (zh)

Cited By (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7532958B2 (en) 2005-06-24 2009-05-12 General Motors Corporation Method for real-time assessment of driver workload by a navigation or telematics device
CN101843496A (zh) * 2010-04-23 2010-09-29 北京工业大学 驾驶工作负荷成套检测方法
CN101234223B (zh) * 2007-01-29 2011-02-09 株式会社电装 清醒保持装置以及保持清醒的方法
CN101690666B (zh) * 2009-10-13 2011-05-04 北京工业大学 汽车驾驶员驾驶工作负荷测量方法
CN102171740A (zh) * 2008-10-01 2011-08-31 罗伯特·博世有限公司 用于在车辆中显示警告提示的方法
CN102402286A (zh) * 2010-09-03 2012-04-04 微软公司 动态姿势参数
CN101466305B (zh) * 2006-06-11 2012-05-30 沃尔沃技术公司 用于确定和分析视觉兴趣位置的方法
CN102682598A (zh) * 2012-05-31 2012-09-19 山东交通学院 一种能够消除振荡的交通信息发布方法
CN102723003A (zh) * 2012-05-28 2012-10-10 华为终端有限公司 阅读状态提醒的方法和移动终端
CN103303141A (zh) * 2012-03-15 2013-09-18 由田新技股份有限公司 具有照明光源的车用眼控装置
CN103661396A (zh) * 2012-08-30 2014-03-26 罗伯特·博世有限公司 交互式的注意力提高
CN103764015A (zh) * 2011-08-26 2014-04-30 佳能株式会社 眨眼测量设备及其方法和程序
CN103858153A (zh) * 2011-09-30 2014-06-11 宝马股份公司 具有用于影响驾驶员的注意力的并且用于确定驾驶员的视向的设备的车辆
CN104254281A (zh) * 2012-04-24 2014-12-31 巴塞罗纳大学 测量注意力的方法
CN104636890A (zh) * 2015-03-13 2015-05-20 中国民航大学 一种空中交通管制员工作负荷测量方法
CN104680714A (zh) * 2015-03-24 2015-06-03 北京嘀嘀无限科技发展有限公司 用于向用户发送提醒的方法及系统
CN104665848A (zh) * 2013-11-28 2015-06-03 现代摩比斯株式会社 驾驶员状态感知装置及其方法
CN104704541A (zh) * 2012-10-04 2015-06-10 三菱电机株式会社 车载信息处理装置
CN104871224A (zh) * 2012-10-25 2015-08-26 罗伯特·博世有限公司 用于驾驶员状态识别的方法和装置
CN104905802A (zh) * 2015-06-05 2015-09-16 张程 一种测量注意力的方法和装置
CN105011952A (zh) * 2015-08-07 2015-11-04 北京环度智慧智能技术研究所有限公司 驾驶员极速测评系统及方法
CN105708480A (zh) * 2016-01-26 2016-06-29 北京航空航天大学 基于检测反应任务的驾驶员注意力测试装置
CN105725995A (zh) * 2016-04-19 2016-07-06 北京理工大学 一种驾驶分心行为的检测系统
CN105799713A (zh) * 2015-01-16 2016-07-27 福特全球技术公司 基于可穿戴装置的触觉车辆警告
CN106413555A (zh) * 2014-05-26 2017-02-15 松下知识产权经营株式会社 集中度评价装置和程序
CN107161152A (zh) * 2017-05-24 2017-09-15 成都志博科技有限公司 车道偏移监测的驾驶员检测系统
CN108369767A (zh) * 2015-12-06 2018-08-03 声钰科技 基于用户认知状态和/或情境状态的会话调整系统和方法
CN109278556A (zh) * 2018-11-19 2019-01-29 深圳和而泰智能控制股份有限公司 汽车安全装置
CN109804220A (zh) * 2016-12-06 2019-05-24 美国景书公司 用于跟踪头部和眼睛的运动和姿势的系统和方法
CN109890662A (zh) * 2016-11-11 2019-06-14 本田技研工业株式会社 车辆控制系统、车辆控制方法及车辆控制程序
CN109979594A (zh) * 2017-12-28 2019-07-05 北京京东尚科信息技术有限公司 数据处理方法及其系统、计算机系统和可读存储介质
CN111976734A (zh) * 2020-08-28 2020-11-24 陕西科技大学 一种监测驾驶员规范驾驶的方法及系统
WO2021124140A1 (en) * 2019-12-17 2021-06-24 Indian Institute Of Science System and method for monitoring cognitive load of a driver of a vehicle

Families Citing this family (186)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8604932B2 (en) * 1992-05-05 2013-12-10 American Vehicular Sciences, LLC Driver fatigue monitoring system and method
US9129505B2 (en) 1995-06-07 2015-09-08 American Vehicular Sciences Llc Driver fatigue monitoring system and method
US8301108B2 (en) 2002-11-04 2012-10-30 Naboulsi Mouhamad A Safety control system for vehicles
WO2004040531A1 (en) * 2002-10-28 2004-05-13 Morris Steffin Method and apparatus for detection of drownsiness and for monitoring biological processes
US20040199311A1 (en) * 2003-03-07 2004-10-07 Michael Aguilar Vehicle for simulating impaired driving
DE10314119A1 (de) * 2003-03-28 2004-10-21 Dieter Dr. Bastian Verfahren zur Ermittlung eines integralen Risikopotentials für einen Verkehrsteilnehmer und Einrichtung zur Durchführung des Verfahrens
DE10322458A1 (de) * 2003-05-16 2004-12-02 Daimlerchrysler Ag Verfahren und Vorrichtung zur Beeinflussung der Beanspruchung eines Fahrers in einem Kraftfahrzeug
EP1914106A3 (en) * 2003-06-06 2008-09-24 Volvo Technology Corporation An attention management system and method
JP4841425B2 (ja) * 2003-06-06 2011-12-21 ボルボ テクノロジー コーポレイション 運転者の行動解釈に基づいて自動車のサブシステムを制御する方法および機構
US8164464B2 (en) * 2005-03-24 2012-04-24 Matos Jeffrey A Method and system of aircraft pilot assessment
US7452336B2 (en) * 2003-09-06 2008-11-18 Interactive Neuro Technology, Inc. Interactive neural training device
JP4432420B2 (ja) * 2003-09-17 2010-03-17 横浜ゴム株式会社 作業快適度評価装置および作業快適度評価方法
JP4239771B2 (ja) * 2003-09-18 2009-03-18 日産自動車株式会社 車両用運転操作補助装置および車両用運転操作補助装置を備えた車両
KR100569009B1 (ko) * 2003-12-30 2006-04-07 현대자동차주식회사 차량용 정보 시스템의 사용성 평가 시스템
JP4277081B2 (ja) * 2004-03-17 2009-06-10 株式会社デンソー 運転支援装置
JP4595377B2 (ja) * 2004-04-28 2010-12-08 株式会社デンソー 運転者状態検出装置及びプログラム
US7435227B2 (en) * 2004-09-13 2008-10-14 Biocognisafe (Bcs) Technologies Method and apparatus for generating an indication of a level of vigilance of an individual
JP2006130010A (ja) * 2004-11-04 2006-05-25 Denso Corp 視覚認識支援装置
DE102004054472B3 (de) * 2004-11-11 2006-03-16 Bayerische Motoren Werke Ag Fahrerassistenzsystem
JP4442402B2 (ja) * 2004-11-26 2010-03-31 日産自動車株式会社 車両用運転操作補助装置および車両用運転操作補助装置を備えた車両
JP4773080B2 (ja) * 2004-12-17 2011-09-14 株式会社デンソー 視認力向上支援装置
US20060149426A1 (en) * 2005-01-04 2006-07-06 Unkrich Mark A Detecting an eye of a user and determining location and blinking state of the user
US9165280B2 (en) * 2005-02-22 2015-10-20 International Business Machines Corporation Predictive user modeling in user interface design
US7301465B2 (en) * 2005-03-24 2007-11-27 Tengshe Vishwas V Drowsy driving alarm system
US7403124B2 (en) * 2005-05-10 2008-07-22 Fuji Jukogyo Kabushiki Kaisha Driving support equipment for vehicles
US20060259206A1 (en) * 2005-05-16 2006-11-16 Smith Matthew R Vehicle operator monitoring system and method
US7394393B2 (en) 2005-08-02 2008-07-01 Gm Global Technology Operations, Inc. Adaptive driver workload estimator
JP2007072632A (ja) * 2005-09-05 2007-03-22 Toyota Motor Corp 車載警報装置
JP4815960B2 (ja) * 2005-09-09 2011-11-16 日産自動車株式会社 視認状態判断装置、自動車、及び視認状態判断方法
DE102005047648A1 (de) * 2005-10-05 2007-04-12 Volkswagen Ag Eingabevorrichtung für ein Kraftfahrzeug
DE102005052424A1 (de) * 2005-11-03 2007-05-10 Robert Bosch Gmbh Projektionsanzeige
US7428449B2 (en) * 2006-03-14 2008-09-23 Temic Automotive Of North America, Inc. System and method for determining a workload level of a driver
WO2007111223A1 (ja) * 2006-03-24 2007-10-04 Pioneer Corporation 運転者の精神状態検出装置および精神状態検出方法
JP2008013004A (ja) * 2006-07-04 2008-01-24 Fuji Heavy Ind Ltd 芳香発生による運転支援システム
KR100753838B1 (ko) * 2006-08-11 2007-08-31 한국전자통신연구원 적응형 차량 운전지원 장치 및 방법
KR100753839B1 (ko) * 2006-08-11 2007-08-31 한국전자통신연구원 적응형 차량 인터페이스 제공 장치 및 방법
EP2082383B1 (en) * 2006-10-13 2012-06-13 Toyota Jidosha Kabushiki Kaisha On-board warning apparatus and warning method
JP4793650B2 (ja) * 2006-11-07 2011-10-12 アイシン精機株式会社 体調管理システム
GB0622715D0 (en) 2006-11-15 2006-12-27 Ibm An apparatus for processing event data
JP4211841B2 (ja) * 2006-11-15 2009-01-21 トヨタ自動車株式会社 ドライバ状態推定装置、サーバ、ドライバ情報収集装置及び運転者状態推定システム
US8161454B2 (en) * 2007-01-22 2012-04-17 Ford Motor Company Software architecture for developing in-vehicle software applications
US8068968B2 (en) * 2007-02-06 2011-11-29 Denso Corporation Vehicle travel control system
SE530880C2 (sv) * 2007-02-19 2008-10-07 Scania Cv Abp Förfarande, anordning och datorprogramprodukt för att uppskatta tröttheten hos en förare av ett motorfordon samt ett motorfordon innehållande en sådan anordning
JP4182131B2 (ja) * 2007-03-13 2008-11-19 トヨタ自動車株式会社 覚醒度判定装置及び覚醒度判定方法
JP2008234009A (ja) * 2007-03-16 2008-10-02 Denso Corp 健康管理支援システム
US7652583B2 (en) * 2007-03-20 2010-01-26 Deere & Company Method and system for maintaining operator alertness
US20080243558A1 (en) * 2007-03-27 2008-10-02 Ash Gupte System and method for monitoring driving behavior with feedback
JP4259587B2 (ja) * 2007-03-30 2009-04-30 株式会社デンソー データベース装置、注意喚起装置及び運転支援装置
US20080243005A1 (en) * 2007-03-30 2008-10-02 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Computational user-health testing
US7979177B2 (en) * 2007-04-30 2011-07-12 Ford Motor Company System and method for updating vehicle computing platform configuration information
US20090043586A1 (en) * 2007-08-08 2009-02-12 Macauslan Joel Detecting a Physiological State Based on Speech
US20090089108A1 (en) * 2007-09-27 2009-04-02 Robert Lee Angell Method and apparatus for automatically identifying potentially unsafe work conditions to predict and prevent the occurrence of workplace accidents
FR2923046B1 (fr) * 2007-10-31 2012-11-16 Airbus France Dispositif de gestion d'une phase de reveil pour un pilote d'un avion.
US9665910B2 (en) 2008-02-20 2017-05-30 Hartford Fire Insurance Company System and method for providing customized safety feedback
AT506667B1 (de) * 2008-04-03 2013-06-15 Gesunde Arbeitsplatzsysteme Gmbh Verfahren zum prüfen des ermüdungsgrades einer ein gerät bedienenden person
JP4727688B2 (ja) * 2008-04-23 2011-07-20 トヨタ自動車株式会社 覚醒度推定装置
US8275348B2 (en) 2008-05-30 2012-09-25 Volkswagen Ag Method for managing telephone calls in a vehicle
US9493149B2 (en) * 2008-07-02 2016-11-15 Michael Phelan Driver authentication system and method for monitoring and controlling vehicle usage
US9045101B2 (en) * 2008-07-02 2015-06-02 Michael Phelan Driver authentication system and method for monitoring and controlling vehicle usage
ITCH20080018A1 (it) * 2008-08-08 2010-02-09 Leonardo Bellante Anti sleep driver (asd)
DE102008056343A1 (de) * 2008-11-07 2010-05-12 Bayerische Motoren Werke Aktiengesellschaft Warnsystem für ein Kraftfahrzeug
KR101173944B1 (ko) * 2008-12-01 2012-08-20 한국전자통신연구원 차량 운전자의 감성 조절 시스템 및 방법
WO2010091464A1 (en) * 2009-02-11 2010-08-19 Seeing Machines Limited Method and system for monitoring an operator of machinery
JP4837762B2 (ja) * 2009-06-18 2011-12-14 本田技研工業株式会社 車載機器操作装置
US8369608B2 (en) * 2009-06-22 2013-02-05 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for detecting drowsy facial expressions of vehicle drivers under changing illumination conditions
US20110039572A1 (en) * 2009-08-12 2011-02-17 Pm&L Concepts, Inc. Cellular device control
US8823527B2 (en) * 2009-09-03 2014-09-02 Koninklijke Philips N.V. Consciousness monitoring
WO2011075392A1 (en) 2009-12-18 2011-06-23 Honda Motor Co., Ltd. A predictive human-machine interface using eye gaze technology, blind spot indicators and driver experience
US20110187518A1 (en) * 2010-02-02 2011-08-04 Ford Global Technologies, Llc Steering wheel human/machine interface system and method
US8552850B2 (en) * 2010-02-17 2013-10-08 Honeywell International Inc. Near-to-eye tracking for adaptive operation
US9460471B2 (en) 2010-07-16 2016-10-04 Hartford Fire Insurance Company System and method for an automated validation system
US8880282B2 (en) * 2010-10-04 2014-11-04 Toyota Motor Engineering & Manufacturing North America, Inc. Method and system for risk prediction for a support actuation system
US9952046B1 (en) * 2011-02-15 2018-04-24 Guardvant, Inc. Cellular phone and personal protective equipment usage monitoring system
US9265477B2 (en) 2011-02-17 2016-02-23 Sharp Laboratories Of America, Inc. Adaptive lightweight acoustic signal classification for physiological monitoring
US8698639B2 (en) 2011-02-18 2014-04-15 Honda Motor Co., Ltd. System and method for responding to driver behavior
US9292471B2 (en) 2011-02-18 2016-03-22 Honda Motor Co., Ltd. Coordinated vehicle response system and method for driver behavior
US8731736B2 (en) 2011-02-22 2014-05-20 Honda Motor Co., Ltd. System and method for reducing driving skill atrophy
US20120329020A1 (en) * 2011-02-25 2012-12-27 Pulsar Informatics, Inc. Systems and methods for presonalized fatigue education and risk management
KR20120117232A (ko) * 2011-04-14 2012-10-24 현대자동차주식회사 차량 내에서의 감성선곡 시스템 및 그 방법
EP2523434A1 (en) 2011-05-11 2012-11-14 10n2 Technologies, Inc. A method for limiting the use of a mobile communications device dependent on the travelling speed
WO2012176535A1 (ja) * 2011-06-20 2012-12-27 本田技研工業株式会社 車載機器操作装置及び報知装置
US8878660B2 (en) 2011-06-28 2014-11-04 Nissan North America, Inc. Vehicle meter cluster
US8872640B2 (en) * 2011-07-05 2014-10-28 Saudi Arabian Oil Company Systems, computer medium and computer-implemented methods for monitoring health and ergonomic status of drivers of vehicles
DE102011111213A1 (de) * 2011-08-20 2013-02-21 GM Global Technology Operations LLC (n. d. Gesetzen des Staates Delaware) Vorrichtung und Verfahren zur Ausgabe von Informationen
EP2564765B1 (en) 2011-09-02 2017-12-13 Volvo Car Corporation System and method for improving a performance estimation of an operator of a vehicle
US20140229228A1 (en) * 2011-09-14 2014-08-14 Deborah Ann Rose Determining risk associated with a determined labor type for candidate personnel
DE102011083836A1 (de) * 2011-09-30 2013-04-04 Bayerische Motoren Werke Aktiengesellschaft Fahrzeug mir einer Vorrichtung zur Beeinflussung der Aufmerksamkeit des Fahrers und zur Ermittlung der Bediensicherheit
US20130089847A1 (en) * 2011-10-11 2013-04-11 John Allen Baker SYSTEMS AND METHODS FOR MONITORING eLEARNING SYSTEM DATA AND GENERATING RECOMMENDATIONS
DE102011085825A1 (de) * 2011-11-07 2013-05-08 Robert Bosch Gmbh Verfahren und Vorrichtung zum Warnen des Fahrers eines Kraftfahrzeugs bei mangelnder Aufmerksamkeit
DE102011117850B4 (de) * 2011-11-08 2020-12-03 Audi Ag Verfahren zum Betrieb eines Fahrzeugsystems eines Kraftfahrzeugs und Kraftfahrzeug
JP5533938B2 (ja) * 2012-06-01 2014-06-25 株式会社デンソー 運転能力低下判定装置
WO2014062107A1 (en) * 2012-10-19 2014-04-24 Autoliv Development Ab Driver attentiveness detection method and device
CN102915193B (zh) * 2012-10-24 2015-04-01 广东欧珀移动通信有限公司 一种网页浏览方法、装置及智能终端
WO2014165250A1 (en) * 2013-03-12 2014-10-09 PayrollHero.com Pte. Ltd. Method for employee parameter tracking
US9141583B2 (en) * 2013-03-13 2015-09-22 Ford Global Technologies, Llc Method and system for supervising information communication based on occupant and vehicle environment
US9751534B2 (en) 2013-03-15 2017-09-05 Honda Motor Co., Ltd. System and method for responding to driver state
US8738523B1 (en) * 2013-03-15 2014-05-27 State Farm Mutual Automobile Insurance Company Systems and methods to identify and profile a vehicle operator
US10499856B2 (en) 2013-04-06 2019-12-10 Honda Motor Co., Ltd. System and method for biological signal processing with highly auto-correlated carrier sequences
JP5842857B2 (ja) * 2013-04-08 2016-01-13 株式会社デンソー 覚醒度改善装置
FI124068B (en) * 2013-05-03 2014-02-28 Jyvaeskylaen Yliopisto Procedure for improving driving safety
US20140358423A1 (en) * 2013-05-29 2014-12-04 Sony Corporation Method and apparatus for automatically warning driver to take a break
IN2013MU02083A (zh) * 2013-06-19 2015-07-10 Tata Consultancy Services Ltd
CN104249370B (zh) * 2013-06-27 2016-05-11 比亚迪股份有限公司 一种车载智能机器人的控制方法、控制装置及控制系统
CN103315754B (zh) * 2013-07-01 2015-11-25 深圳市飞瑞斯科技有限公司 一种疲劳检测方法及装置
DE102013013869B4 (de) * 2013-08-20 2019-06-19 Audi Ag Verfahren zum Betrieb eines Fahrerassistenzsystems zur Warnung vor zu großer Ablenkung und Kraftfahrzeug
US9501693B2 (en) * 2013-10-09 2016-11-22 Honda Motor Co., Ltd. Real-time multiclass driver action recognition using random forests
US9881221B2 (en) 2013-10-24 2018-01-30 Conduent Business Services, Llc Method and system for estimating gaze direction of vehicle drivers
KR20160060743A (ko) * 2013-10-25 2016-05-30 엠파이어 테크놀로지 디벨롭먼트 엘엘씨 오퍼레이터 경계 상태 모니터
US20150123820A1 (en) * 2013-11-04 2015-05-07 Airbus S.A.S. Systems and methods for detecting pilot over focalization
JP6044516B2 (ja) * 2013-11-12 2016-12-14 株式会社デンソー 運転支援装置
JP6203281B2 (ja) * 2013-11-12 2017-09-27 三菱電機株式会社 運転支援画像生成装置、運転支援画像表示装置、運転支援画像表示システム、及び運転支援画像生成プログラム
US10417486B2 (en) 2013-12-30 2019-09-17 Alcatel Lucent Driver behavior monitoring systems and methods for driver behavior monitoring
US9135849B2 (en) 2014-01-31 2015-09-15 International Business Machines Corporation Variable operating mode HMD application management based upon crowd determined distraction
JP5967116B2 (ja) * 2014-02-27 2016-08-10 株式会社デンソー 車載システム、情報処理装置、及びプログラム
CN106033638A (zh) * 2015-03-19 2016-10-19 鸿富锦精密工业(武汉)有限公司 智能提醒系统及智能提醒方法
CN104008664B (zh) * 2014-04-18 2017-03-01 小米科技有限责任公司 路况信息获取方法及相关装置
DE112015002948T5 (de) * 2014-06-23 2017-03-09 Denso Corporation Vorrichtung zum erfassen eines fahrunvermögenzustands eines fahrers
US10540723B1 (en) 2014-07-21 2020-01-21 State Farm Mutual Automobile Insurance Company Methods of providing insurance savings based upon telematics and usage-based insurance
DE102014216208A1 (de) * 2014-08-14 2016-02-18 Robert Bosch Gmbh Verfahren und eine Vorrichtung zum Bestimmen einer Reaktionszeit eines Fahrzeugführers
US10377303B2 (en) * 2014-09-04 2019-08-13 Toyota Motor Engineering & Manufacturing North America, Inc. Management of driver and vehicle modes for semi-autonomous driving systems
US9747812B2 (en) 2014-10-22 2017-08-29 Honda Motor Co., Ltd. Saliency based awareness modeling
WO2016073620A1 (en) 2014-11-06 2016-05-12 Maven Machines, Inc. System for monitoring vehicle operator compliance with safe operating conditions
DE102014224120B4 (de) 2014-11-26 2022-01-05 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zum Ausgeben von Audiobeiträgen für ein Fahrzeug
US10009738B2 (en) * 2014-12-23 2018-06-26 Palo Alto Research Center Incorporated System and method for determining an appropriate time for providing a message to a driver
DE102015201456B4 (de) * 2015-01-28 2016-12-15 Volkswagen Aktiengesellschaft Verfahren und System zur Ausgabe einer Warnmeldung in einem Fahrzeug
KR101646449B1 (ko) * 2015-02-12 2016-08-05 현대자동차주식회사 시선 인식 시스템 및 방법
JP2016173651A (ja) * 2015-03-16 2016-09-29 株式会社デンソーアイティーラボラトリ ドライバ状態改善支援装置及びドライバ状態改善支援方法
CN107889466B (zh) 2015-03-31 2021-01-22 飞利浦照明控股有限公司 用于提高人的警惕性的照明系统和方法
US20160297362A1 (en) * 2015-04-09 2016-10-13 Ford Global Technologies, Llc Vehicle exterior side-camera systems and methods
US10328852B2 (en) * 2015-05-12 2019-06-25 University Of North Dakota Systems and methods to provide feedback to pilot/operator by utilizing integration of navigation and physiological monitoring
CN104898834A (zh) * 2015-05-18 2015-09-09 百度在线网络技术（北京）有限公司 行为状态的调整方法及装置
US10475299B2 (en) 2015-07-20 2019-11-12 Banner Engineering Corporation Modular indicator
US9997031B2 (en) 2015-07-20 2018-06-12 Banner Engineering Corporation Modular indicator
US9771082B2 (en) 2015-08-13 2017-09-26 International Business Machines Corporation Reducing cognitive demand on a vehicle operator by generating passenger stimulus
JP6358212B2 (ja) * 2015-09-17 2018-07-18 トヨタ自動車株式会社 車両用覚醒制御システム
JP6515764B2 (ja) * 2015-09-28 2019-05-22 株式会社デンソー 対話装置及び対話方法
DE102016202966A1 (de) * 2016-02-25 2017-08-31 Bayerische Motoren Werke Aktiengesellschaft Akustische Wiedergabe eines digitalen Audio-Mediums in einem Kraftfahrzeug
DE102016202968A1 (de) 2016-02-25 2017-08-31 Bayerische Motoren Werke Aktiengesellschaft Akustische Wiedergabe eines digitalen Audio-Mediums in einem Kraftfahrzeug
FR3048544B1 (fr) * 2016-03-01 2021-04-02 Valeo Comfort & Driving Assistance Dispositif et methode de surveillance d'un conducteur d'un vehicule automobile
CN105894855A (zh) * 2016-04-22 2016-08-24 乐视控股（北京）有限公司 危险驾驶的提示方法及装置
JP6790440B2 (ja) * 2016-04-27 2020-11-25 株式会社デンソー 運転支援装置
WO2018008666A1 (ja) * 2016-07-07 2018-01-11 国立研究開発法人産業技術総合研究所 生理状態判定装置、生理状態判定方法、生理状態判定装置用プログラムおよび、生理状態判定システム
US9809165B1 (en) 2016-07-12 2017-11-07 Honda Motor Co., Ltd. System and method for minimizing driver distraction of a head-up display (HUD) in a vehicle
EP3500975A1 (en) 2016-08-19 2019-06-26 Massachusetts Institute of Technology Systems and methods for providing visual allocation management
EP3500466A2 (en) 2016-08-19 2019-06-26 Massachusetts Institute of Technology Systems and methods for using an attention buffer to improve resource allocation management
CN106361357B (zh) * 2016-08-30 2020-04-28 西南交通大学 驾驶能力的测试方法与系统
US10093322B2 (en) * 2016-09-15 2018-10-09 International Business Machines Corporation Automatically providing explanations for actions taken by a self-driving vehicle
DE102016014383A1 (de) * 2016-12-02 2018-06-07 Lucas Automotive Gmbh Erweitertes Fahreraufmerksamkeitsmodul für Fahrerassistenzsysteme
JP2018102617A (ja) * 2016-12-27 2018-07-05 オムロン株式会社 感情推定装置、方法およびプログラム
US10059336B2 (en) 2017-01-06 2018-08-28 Toyota Research Institute, Inc. Systems and methods for dynamically adjusting a vehicle trajectory according to deviations of a driver from expected inputs
JP6834578B2 (ja) * 2017-02-22 2021-02-24 トヨタ自動車株式会社 車両用健康診断装置
JP2018142258A (ja) * 2017-02-28 2018-09-13 オムロン株式会社 生産管理装置、方法およびプログラム
WO2018158704A1 (en) * 2017-02-28 2018-09-07 Omron Corporation Work management apparatus, method, and program
WO2018158702A1 (en) * 2017-02-28 2018-09-07 Omron Corporation Production management apparatus, method, and program
JP2018142259A (ja) * 2017-02-28 2018-09-13 オムロン株式会社 作業管理装置、方法およびプログラム
DE102017206485A1 (de) * 2017-04-18 2018-10-18 Robert Bosch Gmbh Vorrichtung und Verfahren zur Steuerung eines Fahrzeugs
US10134279B1 (en) 2017-05-05 2018-11-20 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for visualizing potential risks
CN109094568B (zh) * 2017-06-20 2022-05-03 奥迪股份公司 驾驶精力付出评估系统和方法
WO2019028798A1 (zh) * 2017-08-10 2019-02-14 北京市商汤科技开发有限公司 驾驶状态监控方法、装置和电子设备
DE102017009353A1 (de) * 2017-10-09 2019-04-11 Daimler Ag Varfahran zur Ansteuerung von Fahrzeugfunktion
US10748426B2 (en) 2017-10-18 2020-08-18 Toyota Research Institute, Inc. Systems and methods for detection and presentation of occluded objects
JP6965727B2 (ja) * 2017-12-21 2021-11-10 株式会社デンソー 居眠り警報装置
EP3576074A1 (en) * 2018-06-01 2019-12-04 Volvo Car Corporation Method and system for assisting drivers to drive with precaution
US10915769B2 (en) 2018-06-04 2021-02-09 Shanghai Sensetime Intelligent Technology Co., Ltd Driving management methods and systems, vehicle-mounted intelligent systems, electronic devices, and medium
CN109002757A (zh) * 2018-06-04 2018-12-14 上海商汤智能科技有限公司 驾驶管理方法和系统、车载智能系统、电子设备、介质
JP6626549B1 (ja) * 2018-09-20 2019-12-25 三菱ロジスネクスト株式会社 判定装置および判定方法
SE543249C2 (en) * 2018-12-12 2020-11-03 Lincoding Ab Alcolock device using mapping gaze and motion parameters
KR20200072999A (ko) 2018-12-13 2020-06-23 현대자동차주식회사 운전자 경고 출력 시스템 및 그 제어 방법
US11488399B2 (en) * 2018-12-19 2022-11-01 Magna Electronics Inc. Vehicle driver monitoring system for determining driver workload
EP4011738A1 (en) * 2018-12-28 2022-06-15 The Hi-Tech Robotic Systemz Ltd System and method for engaging a driver during autonomous driving mode
US11364929B2 (en) 2019-01-04 2022-06-21 Toyota Research Institute, Inc. Systems and methods for shared control of a vehicle
EP3730331B1 (en) * 2019-04-26 2023-03-08 Zenuity AB Method and device for controlling a driver assistance
TWI749323B (zh) 2019-04-30 2021-12-11 先進光電科技股份有限公司 行動載具輔助系統
US10759441B1 (en) * 2019-05-06 2020-09-01 Cambridge Mobile Telematics Inc. Determining, scoring, and reporting mobile phone distraction of a driver
US11383720B2 (en) * 2019-05-31 2022-07-12 Lg Electronics Inc. Vehicle control method and intelligent computing device for controlling vehicle
US11255685B2 (en) 2019-08-15 2022-02-22 International Business Machines Corporation Real-time route determination based on localized information
US11267482B2 (en) 2019-10-11 2022-03-08 International Business Machines Corporation Mitigating risk behaviors
JP7276082B2 (ja) * 2019-11-11 2023-05-18 マツダ株式会社 運転者状態推定装置
WO2021119901A1 (en) * 2019-12-16 2021-06-24 Beijing Didi Infinity Technology And Development Co., Ltd. Systems and methods for distinguishing a driver and passengers in an image captured inside a vehicle
US11707971B2 (en) * 2019-12-20 2023-07-25 Bayerische Motoren Werke Aktiengesellschaft Method, apparatus, and program for delivering a scent alert
EP4097706A4 (en) * 2020-01-29 2023-07-19 Netradyne, Inc. COMBINED ALERTS
KR20220000536A (ko) * 2020-06-26 2022-01-04 현대자동차주식회사 차량 주행 제어 장치 및 방법
DE102020208203A1 (de) 2020-07-01 2022-01-05 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zum Überwachen eines Fahrzeuginnenraumes eines Fahrzeugs
US20220392261A1 (en) * 2021-06-04 2022-12-08 Rockwell Collins, Inc. Pilot safety system with context-sensitive scan pattern monitoring and alerting
US11861916B2 (en) 2021-10-05 2024-01-02 Yazaki Corporation Driver alertness monitoring system
US11840145B2 (en) * 2022-01-10 2023-12-12 GM Global Technology Operations LLC Driver state display

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6412503U (zh) * 1987-07-13 1989-01-23
US5465079A (en) * 1992-08-14 1995-11-07 Vorad Safety Systems, Inc. Method and apparatus for determining driver fitness in real time
US5402109A (en) * 1993-04-29 1995-03-28 Mannik; Kallis H. Sleep prevention device for automobile drivers
GB2285681A (en) * 1994-01-07 1995-07-19 Robert Joseph Terry Sleep warning-alarm spectacle frames
US5585785A (en) * 1995-03-03 1996-12-17 Gwin; Ronnie Driver alarm
US5689241A (en) * 1995-04-24 1997-11-18 Clarke, Sr.; James Russell Sleep detection and driver alert apparatus
US5570698A (en) * 1995-06-02 1996-11-05 Siemens Corporate Research, Inc. System for monitoring eyes for detecting sleep behavior
JPH09267660A (ja) * 1996-04-01 1997-10-14 Mitsubishi Motors Corp 車両用覚醒度情報出力装置
JP3183161B2 (ja) * 1996-04-12 2001-07-03 三菱自動車工業株式会社 覚醒度推定装置
SE515699C2 (sv) * 1996-06-12 2001-09-24 Saab Automobile Signalindikeringsanordning samt förfarande för indikering av tillstånd i system i ett fordon
US6265978B1 (en) * 1996-07-14 2001-07-24 Atlas Researches, Ltd. Method and apparatus for monitoring states of consciousness, drowsiness, distress, and performance
JP3388101B2 (ja) * 1996-07-23 2003-03-17 三菱電機株式会社 覚醒低下警報装置
JPH10181379A (ja) * 1996-12-27 1998-07-07 Mitsubishi Electric Corp 覚醒判定装置および覚醒判定方法
JP3414191B2 (ja) * 1997-04-18 2003-06-09 日産自動車株式会社 車間距離警報装置
WO1998049028A1 (en) * 1997-04-25 1998-11-05 Applied Science Group, Inc. An alertness monitor
EP0908860A1 (en) * 1997-10-13 1999-04-14 Cebollas Y Derivados, S.L. Device for sensing the opening of the eyelids and the initial sleeping phase
US5900819A (en) 1998-04-21 1999-05-04 Meritor Heavy Vehicle Systems, Llc Drowsy driver detection system
US6087941A (en) * 1998-09-01 2000-07-11 Ferraz; Mark Warning device for alerting a person falling asleep
US6091334A (en) * 1998-09-04 2000-07-18 Massachusetts Institute Of Technology Drowsiness/alertness monitor
FR2784887B1 (fr) * 1998-10-22 2001-01-19 Renault Systeme pour surveiller des yeux afin de detecter et de prevenir des baisses de vigilance d'un conducteur de vehicule
US6130617A (en) * 1999-06-09 2000-10-10 Hyundai Motor Company Driver's eye detection method of drowsy driving warning system
US6120461A (en) * 1999-08-09 2000-09-19 The United States Of America As Represented By The Secretary Of The Army Apparatus for tracking the human eye with a retinal scanning display, and method thereof
JP4163844B2 (ja) * 2000-06-29 2008-10-08 日産ディーゼル工業株式会社 車両の追突回避装置
AUPQ896000A0 (en) * 2000-07-24 2000-08-17 Seeing Machines Pty Ltd Facial image processing system
US6599243B2 (en) * 2001-11-21 2003-07-29 Daimlerchrysler Ag Personalized driver stress prediction using geographical databases

Cited By (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7532958B2 (en) 2005-06-24 2009-05-12 General Motors Corporation Method for real-time assessment of driver workload by a navigation or telematics device
CN101466305B (zh) * 2006-06-11 2012-05-30 沃尔沃技术公司 用于确定和分析视觉兴趣位置的方法
CN101234223B (zh) * 2007-01-29 2011-02-09 株式会社电装 清醒保持装置以及保持清醒的方法
CN102171740B (zh) * 2008-10-01 2015-08-26 罗伯特·博世有限公司 用于在车辆中显示警告提示的方法
CN102171740A (zh) * 2008-10-01 2011-08-31 罗伯特·博世有限公司 用于在车辆中显示警告提示的方法
US8680978B2 (en) 2008-10-01 2014-03-25 Robert Bosch Gmbh Method for displaying a warning message in a vehicle
CN101690666B (zh) * 2009-10-13 2011-05-04 北京工业大学 汽车驾驶员驾驶工作负荷测量方法
CN101843496A (zh) * 2010-04-23 2010-09-29 北京工业大学 驾驶工作负荷成套检测方法
CN102402286A (zh) * 2010-09-03 2012-04-04 微软公司 动态姿势参数
US9983784B2 (en) 2010-09-03 2018-05-29 Microsoft Technology Licensing, Llc Dynamic gesture parameters
US9710154B2 (en) 2010-09-03 2017-07-18 Microsoft Technology Licensing, Llc Dynamic gesture parameters
CN103764015A (zh) * 2011-08-26 2014-04-30 佳能株式会社 眨眼测量设备及其方法和程序
CN103858153A (zh) * 2011-09-30 2014-06-11 宝马股份公司 具有用于影响驾驶员的注意力的并且用于确定驾驶员的视向的设备的车辆
CN103858153B (zh) * 2011-09-30 2016-10-19 宝马股份公司 具有用于影响驾驶员的注意力的并且用于确定驾驶员的视向的设备的车辆
CN103303141A (zh) * 2012-03-15 2013-09-18 由田新技股份有限公司 具有照明光源的车用眼控装置
CN104254281A (zh) * 2012-04-24 2014-12-31 巴塞罗纳大学 测量注意力的方法
CN104254281B (zh) * 2012-04-24 2016-08-31 巴塞罗纳大学 测量注意力的方法
CN102723003A (zh) * 2012-05-28 2012-10-10 华为终端有限公司 阅读状态提醒的方法和移动终端
CN102723003B (zh) * 2012-05-28 2015-01-07 华为终端有限公司 阅读状态提醒的方法和移动终端
CN102682598A (zh) * 2012-05-31 2012-09-19 山东交通学院 一种能够消除振荡的交通信息发布方法
CN103661396B (zh) * 2012-08-30 2018-06-29 罗伯特·博世有限公司 交互式的注意力提高
CN103661396A (zh) * 2012-08-30 2014-03-26 罗伯特·博世有限公司 交互式的注意力提高
CN104704541B (zh) * 2012-10-04 2017-09-26 三菱电机株式会社 车载信息处理装置
CN104704541A (zh) * 2012-10-04 2015-06-10 三菱电机株式会社 车载信息处理装置
CN104871224A (zh) * 2012-10-25 2015-08-26 罗伯特·博世有限公司 用于驾驶员状态识别的方法和装置
CN104665848A (zh) * 2013-11-28 2015-06-03 现代摩比斯株式会社 驾驶员状态感知装置及其方法
CN106413555B (zh) * 2014-05-26 2019-05-14 松下知识产权经营株式会社 集中度评价装置和程序
CN106413555A (zh) * 2014-05-26 2017-02-15 松下知识产权经营株式会社 集中度评价装置和程序
CN105799713A (zh) * 2015-01-16 2016-07-27 福特全球技术公司 基于可穿戴装置的触觉车辆警告
CN104636890A (zh) * 2015-03-13 2015-05-20 中国民航大学 一种空中交通管制员工作负荷测量方法
CN104680714A (zh) * 2015-03-24 2015-06-03 北京嘀嘀无限科技发展有限公司 用于向用户发送提醒的方法及系统
CN104905802A (zh) * 2015-06-05 2015-09-16 张程 一种测量注意力的方法和装置
CN105011952A (zh) * 2015-08-07 2015-11-04 北京环度智慧智能技术研究所有限公司 驾驶员极速测评系统及方法
CN105011952B (zh) * 2015-08-07 2018-03-16 北京环度智慧智能技术研究所有限公司 驾驶员极速测评系统及方法
CN108369767A (zh) * 2015-12-06 2018-08-03 声钰科技 基于用户认知状态和/或情境状态的会话调整系统和方法
CN108369767B (zh) * 2015-12-06 2021-12-14 声钰科技 基于用户认知状态和/或情境状态的会话调整系统和方法
US10431215B2 (en) 2015-12-06 2019-10-01 Voicebox Technologies Corporation System and method of conversational adjustment based on user's cognitive state and/or situational state
CN105708480A (zh) * 2016-01-26 2016-06-29 北京航空航天大学 基于检测反应任务的驾驶员注意力测试装置
CN105725995A (zh) * 2016-04-19 2016-07-06 北京理工大学 一种驾驶分心行为的检测系统
CN105725995B (zh) * 2016-04-19 2019-10-25 北京理工大学 一种驾驶分心行为的检测系统
CN109890662A (zh) * 2016-11-11 2019-06-14 本田技研工业株式会社 车辆控制系统、车辆控制方法及车辆控制程序
CN109804220B (zh) * 2016-12-06 2021-01-26 美国景书公司 用于跟踪头部运动的装置和方法
CN109804220A (zh) * 2016-12-06 2019-05-24 美国景书公司 用于跟踪头部和眼睛的运动和姿势的系统和方法
CN112578911A (zh) * 2016-12-06 2021-03-30 美国景书公司 跟踪头部和眼睛的运动的装置和方法
CN107161152A (zh) * 2017-05-24 2017-09-15 成都志博科技有限公司 车道偏移监测的驾驶员检测系统
CN109979594A (zh) * 2017-12-28 2019-07-05 北京京东尚科信息技术有限公司 数据处理方法及其系统、计算机系统和可读存储介质
CN109278556A (zh) * 2018-11-19 2019-01-29 深圳和而泰智能控制股份有限公司 汽车安全装置
WO2021124140A1 (en) * 2019-12-17 2021-06-24 Indian Institute Of Science System and method for monitoring cognitive load of a driver of a vehicle
CN111976734A (zh) * 2020-08-28 2020-11-24 陕西科技大学 一种监测驾驶员规范驾驶的方法及系统

Also Published As

Publication number Publication date
US20030181822A1 (en) 2003-09-25
EP2296008A1 (en) 2011-03-16
EP2314207A1 (en) 2011-04-27
JP5248558B2 (ja) 2013-07-31
EP1478268A1 (en) 2004-11-24
JP4603264B2 (ja) 2010-12-22
AU2003211065A1 (en) 2003-09-09
WO2003070093A1 (en) 2003-08-28
US6974414B2 (en) 2005-12-13
BR0307760A (pt) 2006-04-04
EP1478268A4 (en) 2008-05-14
JP2005517484A (ja) 2005-06-16
EP2305106A1 (en) 2011-04-06
ES2392082T3 (es) 2012-12-04
JP2011019921A (ja) 2011-02-03
CN100488443C (zh) 2009-05-20
EP1478268B1 (en) 2012-06-20

Similar Documents

Publication Publication Date Title
CN100488443C (zh) 用于监视和管理司机注意力负荷的系统和方法
CN1802273B (zh) 根据被解释的驾驶员活动控制车辆子系统的方法和装置
CN109774471B (zh) 一种适用于安全驾驶的车载设备
CN108297874B (zh) 一种用于共享汽车的驾驶员身份授权系统
Zeeb et al. What determines the take-over time? An integrated model approach of driver take-over after automated driving
Grace et al. Drowsy driver monitor and warning system
Zhang et al. Identification of real-time diagnostic measures of visual distraction with an automatic eye-tracking system
EP1999527A2 (en) System and method for determining a workload level of a driver
EP1631946A1 (en) Method and apparatus for classifying vehicle operator activity state
CN114802266B (zh) 一种基于驾驶人情绪和疲劳度分析的行车安全管理系统
CN114834474A (zh) 一种基于驾驶人实时状态监测的主动安全辅助驾驶系统
Kutila et al. Driver cognitive distraction detection: Feature estimation and implementation
US20200094820A1 (en) Automatically assessing and reducing vehicular incident risk
Linder et al. Intelligent transport systems (ITS) in passenger cars and methods for assessment of traffic safety impact: a literature review
CN112298172A (zh) 一种车载主动安全系统、方法及存储介质
WO2020257420A1 (en) Good driver scorecard and driver training
Prasad et al. Accident avoidance and detection on highways
Eby et al. Human factors and ergonomics in motor vehicle transportation
Lenné et al. Real-time feedback reduces the incidence of fatigue events in heavy vehicle fleets
Karlsson Evaluating driver distraction countermeasures
Kanthan et al. MCEP based intelligent vehiclewith multitask management
Huey et al. In-vehicle crash avoidance warning systems: human factors considerations
Wilson et al. Light vehicle forward-looking, rear-end collision warning system performance guidelines
Watson et al. A driving simulator HMI study comparing a steering wheel mounted display to HUD, Instrument Panel and Center Stack Displays for Advanced Driver Assistance Systems and Warnings
Leasure NHTSA's IVHS Collision Avoidance Research Program: Strategic Plan and Status Update

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20090520

Termination date: 20140219