CN101466305A - 用于确定和分析视觉兴趣位置的方法与装置 - Google Patents

用于确定和分析视觉兴趣位置的方法与装置 Download PDF

Info

Publication number
CN101466305A
CN101466305A CNA2007800217204A CN200780021720A CN101466305A CN 101466305 A CN101466305 A CN 101466305A CN A2007800217204 A CNA2007800217204 A CN A2007800217204A CN 200780021720 A CN200780021720 A CN 200780021720A CN 101466305 A CN101466305 A CN 101466305A
Authority
CN
China
Prior art keywords
driver
data
road
attention
attentively
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2007800217204A
Other languages
English (en)
Other versions
CN101466305B (zh
Inventor
特伦特·维克托
彼得·科隆博格
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Volvo Truck Corp
Original Assignee
Volvo Technology AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Volvo Technology AB filed Critical Volvo Technology AB
Publication of CN101466305A publication Critical patent/CN101466305A/zh
Application granted granted Critical
Publication of CN101466305B publication Critical patent/CN101466305B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1113—Local tracking of patients, e.g. in a hospital or private home
    • A61B5/1114—Tracking parts of the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00—Evaluating a particular growth phase or type of persons or animals
    • A61B2503/20—Workers
    • A61B2503/22—Motor vehicles operators, e.g. drivers, pilots, captains
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6893—Cars
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • A61B5/7207—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal of noise induced by motion artifacts
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Physiology (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Physics & Mathematics (AREA)
  • Social Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Child & Adolescent Psychology (AREA)
  • Educational Technology (AREA)
  • Fuzzy Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Traffic Control Systems (AREA)
  • Eye Examination Apparatus (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

提供了一种基于驾驶员的生理上的定向来分析数据的方法。处理描述驾驶员的注视方向的数据，并且确定限定驾驶员感兴趣的位置的标准。基于所确定的标准，注视方向实例被分类为在位置上或偏离位置。该分类实例然后可以用于进一步的分析，通常涉及非驾驶员困倦和增加的驾驶员工作负荷的次数。该分类实例被转换为两个二进制值(例如，1和0)中的一个，所述二进制值表示相应的分类实例是在位置上还是偏离位置。二进制值的使用使得数据的处理和分析更为快速而高效。此外，从不符合被分类为在位置上的驾驶员注视方向实例的确定标准的情况来推断出偏离位置的注视方向实例中的至少一些的分类。

Description

用于确定和分析视觉兴趣位置的方法与装置
技术领域
本发明一般涉及车辆驾驶；更具体地，涉及驾驶员的视觉特性和行为，随后可以对所述视觉特性和行为进行分析，以有助于驾驶体验和驾驶员能力。
背景技术
关于驾驶员疲劳、分心、工作负荷及其他产生潜在危险驾驶情形的驾驶员状态相关的因素，已有很多正在进行的研究。考虑到所有交通事故的大约百分之九十五都是由于驾驶员失误，其中驾驶员的疏忽是最常见的起因，就不会对此感到奇怪了。大量的研究已经建立了眼睛运动和高级认知过程之间的关系。这些研究一般争论于：眼睛运动在某种程度上反映出驾驶员的认知状态。在多个研究中，眼睛运动被用作对驾驶员的认知注意力(替代地，精神负荷)的直接测量。
知道驾驶员正在观察哪里被通常接受为对于设计用来避免车辆事件(尤其是碰撞)的系统来说是重要的输入因素。通过确定驾驶员正在观察哪里，可以对人机交互(HMI)系统进行优化，并且，基于驾驶员眼睛的定向和移动，可以采用主动安全功能，例如前碰撞警告(FWC)。可以完成此工作作为对许多受试者的离线分析，或者使用在线或者实时算法来使诸如FCW阈值的事情适应于当前的驾驶员状态。
所有类型车辆的驾驶员通常没有意识到困倦和分心对他们控制车辆的能力所带来的影响。人类(特别是驾驶员)通常都是他们自身能力的不良判断者。典型地，驾驶员对其能力的自我印象要优于实际情形。即使具有基本良好驾驶技能的人，当坐在方向盘后面时，也不会一直表现如一。此外，在驾驶行程期间，经常会对驾驶员有相对于执行驾驶任务来说很小的要求。因此，驾驶员会暂时进入到只有少量精力投入到驾驶任务的精神状态。毫不奇怪，驾驶员的疏忽是车辆碰撞(特别是汽车碰撞)的主要原因。根据国家公路交通安全局(NHTSA)对一年时间内超过250万起严重碰撞事故的研究，驾驶员的疏忽是碰撞的主要原因，估计占到碰撞的百分之二十五至百分之五十六。在此研究中，疏忽被定义为具有三个部分：视觉分心，精神上的分心(视而不见)和困倦。由疏忽造成的常见事故类型有：追尾碰撞、十字路口碰撞、车道变更或并线时的碰撞、车道偏离碰撞、单个车辆碰撞以及发生在低限速道路上的碰撞。
困倦的驾驶员是很著名的现象。至少有一个调查已经指出，被询问的驾驶员中，百分之五十七的人在上年度中存在困倦驾驶，百分之二十三的人在驾驶时实际上已经睡着。大家都知道，疲劳削弱驾驶员的能力、警觉和判断。由困倦造成的碰撞是严重的道路安全问题，并且，所有碰撞的多达百分之二十三估计都涉及到疲劳。
从技术的角度来说，可以用在车辆内的新的信息系统和功能(包括移动电话、导航辅助设备、互连网及其他类型的电子服务)正在飞速发展。因为它们的广泛使用，使用移动电话对驾驶员的影响已经变得最为公众所注目，但是，导航辅助设备和IT服务的销售也同样快速增长。在美国一年时间内，估计单是移动电话就导致了300-1000起车祸，并且，这一数据在2004年达到了每年4000起。分心(例如手提电话的使用、阅读标牌、吃食物、与其他乘客交流、观察目标以及操作车辆内的装置)将可能过度地吸引驾驶员的注意力，并由此降低安全性。随着这些新型的服务以及活动在驾驶环境中得到了更为广泛的应用，尤其重要的是不降低驾驶安全性。
基于对这些新的功能和技术的使用，驾驶员的工作负荷增加了。在此上下文中，＂工作负荷＂应当理解为指的是一个人有多忙碌以及他们执行所需任务时需要的努力量。当驾驶员要做很多事情并且正在经受高工作负荷时，对驾驶员做出了较高的注意力要求，因为同时有很多事情要做。驾驶员经常参与和车辆的驾驶员控制无关且因此技术上不涉及驾驶情形的事情。这些事情通常被称为次要任务，并且是将驾驶员的注意力从主要驾驶任务上转移开的潜在干扰物。一般地，当驾驶员的注意力被吸引到一个这样的程度，即，没有足够的注意力来用于主要的驾驶控制任务时，次要任务变成一种分心(包括视觉分心，听觉分心，精神分心，认知分心及生物力学分心)。结果，诸如车道保持和速度控制的驾驶能力被降低，最终降低了安全性。
从一些次要任务是关于驾驶的意义上来说，驾驶任务和次要任务重叠，如图1示意性示出的。驾驶任务和次要任务之间的关系引起了两个困难。第一，可能难以确定哪些次要任务信息是＂与驾驶情形无关＂以及哪些是与其有关的；第二，如图1所示，某些驾驶相关的次要任务(例如，寻找街道标牌或者规划驾驶路线)也可能降低安全性。
还应理解，驾驶员通常没有意识到分心对驾驶任务的影响。此外，驾驶员不能可靠地确定何时他们会被疲劳损害到具有严重的警戒失效或不受控制的睡眠的程度；此处提出的注意力管理系统意在通过帮助处于困倦、分心和/或高工作负荷情形下的驾驶员来提高安全性。
如上所述，对眼睛运动的有趣使用是在人机工程学和HMI领域。例如，可以在以下方面进行这种使用：确定道路交通信息(RTI)显示器的最佳位置，以及分析某一HMI是否比另一个HMI有更少的视觉需求。通过研究受试者的眼睛运动同时使用HMI装置可以进行这些类型的分析。然而，与当前方法相关的主要缺点是存在很少的(即使有)用于执行这些分析的合适的自动工具；当没有它们时，通常求助于劳动密集的人工分析。
当前的眼睛运动研究中的一个显著的问题是，每个研究团队似乎使用他们自己的定义和软件来解释眼睛运动信号。这使得研究结果之间难以相互比较。希望有定义视觉检测量和概念的标准。ISO15007和SAEJ—2396构成这种标准的实例，因为它们规定了车辆内的视力需求测量方法并且提供了用于此类视觉特性(例如扫视频率、扫视时间、偏离前方道路景象的时间和扫视持续时间)的量化规则和获得这些视觉特性的步骤。然而，这两个标准都是基于记录视频技术，并且依靠既费时又极不可靠的逐帧的人工判定分析。随着各种车辆内信息和驾驶员辅助系统及装置的数量增加，对驾驶员眼睛运动及其他认知指示的兴趣也可能增加。因此，存在对用于眼睛运动的标准化的、自动而稳健的分析方法的需求，并且在将来会变得更重要。
某些眼睛跟踪方法和分析步骤已经过统计学验证，符合ISO15007和SAEJ-2396的规定。这些系统的物理部分可以被构造成是既不是干扰式的又不很依赖环境。至少一个实例是基于定位在驾驶员前方的两个照相机(立体头部照相机)。使用软件来在实时的基础上计算注视向量及其他感兴趣的检测量，并指示诸如头部位置和转动(定向)、眨眼、眨眼频率、以及眼睛睁开度的事情。此软件的重要特征是同时实时计算头部位置/转动(定向)和注视转动，这是此前不曾有的特征。而且，它对含噪声的环境不敏感，例如发生在车内的噪声。其中，已经发现，由于诸如照明条件和头部/注视运动的这类事情，数据中的＂噪声＂是导致数据质量退化的重要因素。
眼睛跟踪相关的研究领域中的先前工作似乎相当彻底。然而，随着技术进步使得眼睛跟踪更为稳健和轻便，这些技术领域的研究继续扩展。然而，对驾驶任务相关的驾驶员特征的研究并不是很多，并且，迄今为止，一直无人在实时的基础上使用眼睛跟踪数据来计算诸如视觉分心或认知分心(参见图2至4)的检测量。这至少部分是手工分段的耗时特征和/或与通常使用的眼睛跟踪系统的不可携带性有关的技术困难的结果。然而，在实验室环境下进行的研究中，已经开发出了各种各样的算法。已经开始使用许多不同的方法，例如，神经网络、自适应数字滤波器、隐马尔可夫模型(Hidden Markov Model)、最小均方根法、基于分散或速度的方法以及其他高阶导数法。然而，这些方法中的许多都是基于眼睛跟踪器的典型特性(例如取样频率)，并且不能与其他的这种系统一起良好地工作。
迄今为止，一直没有用于定义哪些驾驶员特征需要被测量以及如何对它们进行测量的标准。没有涉及基本的视觉分段(包括跳视、注视和闭眼)的标准。标准只涉及扫视，即，跨视野的快速眼睛运动的事件。
有趣的是，当前的方法都没有考虑平滑的眼睛运动或者跟踪；即，有目的地把目光从驾驶路径上移开，例如经过时观看(阅读)道路标牌。实际上，许多研究被设计成使得平滑跟踪永不会发生，例如通过假定没有要跟踪的目标。当前研究对此的避免是可以理解的；可能难以将平滑跟踪与跳视或者注视区分开。这些特性在文献中很少提到。不管未考虑这些特性的原因是什么，对于本公开发明来说，考虑了平滑跟踪，因为在实际驾驶的情况下，这种平滑的眼睛运动时常发生。
对驾驶车辆来说，基本的要求是需要盯住车辆，以检测其路径或者前方，并且检测潜在的碰撞威胁，无论它们来自于目标还是事件。该道路景象意识是纵向和横向控制车辆的先决条件。应当理解，由于道路中几乎总是存在或大或小的弯曲，道路中心并不总是位于车辆纵轴的正前方，而是经常偏离中心线。尽管如此，研究表明，驾驶员倾向于基本上向正前方观看(考虑道路弯曲的合理偏差)，他们的眼睛大部分时间(即，大约百分之八十五至九十五的时间)都在道路上。更进一步，谨慎(prudence)的经验告诉通常的驾驶员，良好地定期偏离道路中心或者驾驶路径的扫视以便不干扰盯住车辆，并且与非预期事件或者目标物碰撞的发生的低概率一致。尽管如此，上述统计表明，即使谨慎的驾驶员也并不总是注意驾驶需求，当驾驶时，他们也不会一直是其自身的工作负荷和分心的良好管理者。
道路中心概念的理论基础认为，车辆控制的视觉引导是基于前方道路区域内的光流信息。为了接收最相关的视觉信息，驾驶员倾向于注视特定的位置，或者是＂定位点＂。已经有人提出，信息主要从两个这种定位点处获得：一个远点和一个近点(例如Salvucci和Gray，2004)。对于远区域，有人提出，最有效率的定位点是将转向引导到其上的目标(Wilkie和Warm，2005)，虽然其他的定位点也是可能的(参见Victor于2005年对文献的综述)。近点位于车辆前方的区域(Salvucci和Gray，2004)。提议用远点来说明光流的转动分量，而近点更适合于理解平移分量(Victor，2005)。
此处，由定位点定义的区域被概念化为道路中心(RC)。在正常驾驶期间，驾驶员通常在道路中心及其他信息源(例如镜子、道路标牌，或者车辆内外的其他目标物)之间分配视觉注意力。然而，在扩展的视觉分时期间，例如，当在车辆内信息系统(IVIS)上执行一项任务时，在道路上的扫视需要聚焦在与路径控制最相关的区域上，即定位点。这导致道路前方扫视的高度集中(Victor等，2005)。如上所述，这是使用道路中心扫视作为视觉需求测量的基础的一个主要动机。同样由实验结果(Victor等，2005)所确认的第二个关键动机是，在IVIS任务执行期间，大多数偏离道路中心(off-RC)的扫视是朝向IVIS目标。
道路中心识别—从驾驶员的观点来说，指出道路中心的位置是重要的，其通过身体和车辆相对于环境的定位/定向来确定。因此，驾驶员的身材、坐姿以及道路弯曲的不一致导致道路中心的大量变化。为此，以自底向上的方式从数据中估计RC。
大多数情形下，驾驶并不是特别苛刻的任务。例如，据估计，在大部分州际驾驶期间，使用了驾驶员感知能力的百分之五十以下。因此，驾驶员通常执行次要任务，例如拨打移动电话和改变收音机频道。当执行次要任务时，出现分时扫视行为，其中，眼睛在道路和任务之间来回移动。这种暂时的视觉分配是对具有单一视觉源的暗示。可以说，道路被采样同时执行次要任务而不是相反。导致碰撞的问题是，在眼睛离开道路时，非预期的事情可能发生并且对这些非预期事件或者目标的反应可能严重变慢。
此处介绍的新的检测量和分析技术已经揭示了此基本而必需的向正前方或向车辆路径轨迹观看的驾驶眼睛运动行为。检测量给出了执行视觉上、认知上或手工上要求高的车内任务的视觉影响的精确离线估计，已经发现其与常规的检测量高度相关。它们还能与正常驾驶进行比较。重要的是，此处提出的检测量还适合于对此视觉影响进行在线计算和评估，并因此提出了能用于分心和工作负荷检测的实时检测量。
发明内容
本发明的至少一个特征是提供了经验证的分析方法和算法，其有利于：由头部/眼睛/身体跟踪系统产生的行为运动数据的自动分析，对人工评定的相当大的消除，以及输出经过滤波和验证的特性数据，所述特性数据对于错误和噪声来说是稳健的。优选地，这些有利措施是根据ISO/SAE以及现在和将来被接受的类似标准来进行。于2003年10月15日提交的美国专利申请No.10/605,637中描述了某些算法、标准以及有利措施，在此将其全部内容通过引用的方式并入。
本发明提供了分析数据的方法，该数据基于车辆内的驾驶员的生理上的定向(orientation)而测得。所述数据是对驾驶员的注视方向的描述并且可以由数据集定义。使用计算机来处理所述数据，并且利用所述数据中的至少一部分来确定定义驾驶员感兴趣的位置的标准。基于所确定的标准，将注视方向实例分为在位置上或偏离位置。然后，所分类的实例可以用于与视觉兴趣位置有关的进一步的分析。进一步的分析一般涉及非驾驶员困倦和增加的驾驶员工作负荷的次数(times)。
位置可以是感兴趣的任何位置，例如位置可以包括：道路中心，驾驶员后面的位置，驾驶员左边或右边的位置，后视镜，侧镜，中央控制台，汽车附件(例如收音机，车窗开关，导航系统)，个人附件(例如手机，PDA，膝上型电脑)，或乘客(例如汽车座位或后座位上的孩子)。以上列表并不包括所有，并且其用来仅示出位置的一些实例。如上述实例可以看到的，位置不是固定的，而是可以随时间变化，例如，当位置是移动电话或PDA时，当用户拨打电话、接听电话、检查呼叫方ID、检查收到的消息或发送外发的消息时，该位置随时间变化。
分类实例被转换成两个二进制值(例如，1和0)中的一个，所述二进制值表示各个分类实例是“在位置上”还是“偏离位置”。二进制值的使用使得处理和分析更高效。
此外，本发明允许从不符合被分类为在位置上的驾驶员注视方向的实例的确定标准来推断出偏离位置的注视方向实例中的至少一些的分类。
本发明提供注视方向实例，所述注视方向实例可以检测并且来源于行为运动。例如，注视方向实例可以来源于对以下部位的检测到的定向：驾驶员身体的腰以上部分；驾驶员身体的上躯干部分；驾驶员的头部；和/或驾驶员的至少一只眼睛。用于测量行为运动的传感器包括各种各样的传感器，其包括但不限于照相机、超声波检测装置以及电容传感器。
从上面可以看出，本发明的目的之一是提供简化的特性规则，其将数据特征简化为在指定位置上或偏离指定位置。在一个示例性实施例中，特性为道路中心注视或非道路中心注视。一般地，当驾驶员以典型的驾驶方式观察前方时，即，驾驶员视觉上注视道路中心，表征一个道路中心注视。从没被表征为道路中心注视的注视中可以推断出非道路中心注视，其中，驾驶员是把目光从道路中心移开。
在另一个示例性实施例中，特性是后视镜注视或非后视镜注视。一般地，当驾驶员观看后视镜以观察车辆后面的情形时，表征为后视镜注视。从没有被表征为后视镜注视的注视中可以推断出非后视镜注视，其中，驾驶员没有观看后视镜。
另一个目的是使某些算法适应实时环境。另一个目的是识别并提供驾驶员支持，该驾驶员支持是基于视觉行为的并且因为使驾驶员重新集中注意力的所实施的系统而能够帮助驾驶员避免潜在的不利情形。
一方面，本发明提出了对在车辆内具有一个标准参考的需求，驾驶员可能感兴趣的各种目标和区域能够以其作为参考进行相对定位。出于在此描述的几个目的，因为它对这种数据进行＂标准化＂以用于良好处理，希望有标准的参考系(由车辆内部的相对位置/定位/定向限定{在本公开内容的上下文中，使用的正斜线标记“/”用于指示＂和/或＂的关系})，取自不同体形、身材和行为的操作者的头部/面部/眼睛跟踪数据可以转换为所述标准的参考系。
在至少一个实施例中，当前公开的发明可以限定为一种用于分析车辆驾驶员的视觉和/或头部定向特性的方法。应当理解，所描述的分析技术或过程应能够用于所存储的跟踪数据(已典型地相对于时间做出标记)或实时数据(其本质上认为时间是数据流中的限定因子)，因此描述名为＂实时＂数据。无论如何，本发明的此实施例考虑对驾驶员头部相对于车辆乘员舱内的空间的位置的检测和量化。提供了“基准”驾驶员头部(或其一部分)的参考基本位置，这使驾驶员感兴趣的区域/目标的相对于所述参考基本位置的位置能够交叉参考。应当理解，这些驾驶员感兴趣的区域/目标可以位于车辆内或车辆外，并且可以由以下方面构成：(1)＂事物＂，例如音频控制，车速表及其他仪表，以及(2)区域或位置，例如＂道路前方＂和相邻车道之间的车道变更间隙。为了相对于感兴趣的车辆使跟踪数据＂标准化＂，将对驾驶员头部位置的量化归一化为参考基本位置，由此使得能够基于所检测到的信息推断出驾驶员已显示兴趣的位置，所述检测到的信息涉及以下项中的一个或两个：(1)驾驶员视觉定向，或者(2)驾驶员头部定向。
在另一个实施例中，当前公开的发明基于检测量提出了道路中心(RC)的一般概念，其中，视觉需求被按照离开道路中心的扫视情形进行量化，用于离线和在线(实时)应用。此简化的主要优点是在离开道路的扫视期间可以允许更低的数据质量(因为对RC区域外的注视被忽略)。
如果对驾驶员头部和眼睛特性的跟踪信息都可用，那么，涉及驾驶员视觉定向的检测信息优选地用作推断驾驶员感兴趣的位置的基础。当检测到的涉及驾驶员视觉定向的信息的质量降低至超过规定的阈值注视置信度水平时，切换到所检测到的涉及驾驶员头部定向的信息作为用于推断哪里已显示驾驶员兴趣的基础。举例来说，当驾驶员的眼睛闭合时，即眼睛以某种方式被模糊或遮住时，可能需要此切换，因为这阻止眼睛被跟踪。眼睛闭合的情形还考虑包括跟踪系统传感器因为例如不能识别/定位相对的面部特征而不能跟踪眼睛的情形。例如，不能推断出眼睛到鼻子到嘴的定向以及参考。一些跟踪系统要求建立面部参考系，以便定位被跟踪并且被特征化为数据值的眼睛。当面部未被适当地参考时，对于一些传感器系统来说有可能跟踪例如与眼睛混淆的受试者的鼻孔，或者使眼睛图像变形(近视镜)或模糊(太阳镜)的眼镜。眼睛闭合的另一个实例是，当驾驶员头部位置偏离眼睛的向前(主要是驾驶时)定向超出允许程度的偏差时的情形。在这些场合，驾驶员的眼睛被从跟踪设备(传感器)有效地视觉阻挡，所述跟踪设备产生眼睛定向数据。
优选地，使用数学变换来完成驾驶员头部位置到参考基本位置的量化的归一化。在车载安装结构中，优选地使用基于车辆的计算机在基本实时的基础上执行数学变换。
规定驾驶员感兴趣的区域/目标的相对于参考基本位置的可能位置，在这一点上，这种规定用作模板，可以向从该模板读出检测到的数据或者将其覆盖。
可选地，基于检测到的驾驶员视觉特性，相对于参考基本位置限定驾驶员感兴趣的区域/目标的可能位置。在一个示例性开发中，可以基于检测到的驾驶员视觉的注视频率特性来建立对驾驶员感兴趣的区域/目标的相对于参考基本位置的可能位置的这种定义。此处，注视频率的建立是基于对所收集的注视密度特性的量化。
在本发明的一个实施例中，基于驾驶员视觉特性(示例性地表示为跟踪数据)，通过将检测到的驾驶员视觉特性映射到驾驶员感兴趣的区域/目标的相对于参考基本位置的规定或限定的可能位置，识别出驾驶员感兴趣的区域/目标(意图将其解释为还包括多个驾驶员感兴趣的区域/目标)。即，通过将观测到的数据(头部和/或眼睛跟踪数据)与上文限定的规定模板的比较，或者是与驾驶员可能感兴趣的特定目标和/或区域相关的已知数据集进行比较，可以完成对被推断为驾驶员可能感兴趣的目标或区域的识别。
一个实例将是识别出为特定车辆和相对频率而开发的基于区域的模板，驾驶员以所述相对频率注视各种位置/目标。例如，可以发现，在驾驶期间，典型的驾驶员基本上沿正前方向观察的时间约占驾驶时间的百分之四十，观察仪表群包括速度计的时间约占驾驶时间的百分之二十。还公知的是，在空间上，这两个区域的中心是一个位于另一个的下方。因此，利用注视方向数据(不管其是基于头部定向或眼睛(视觉)定向)，对于特定的驾驶员，可以推断出道路中心和仪表群的相对位置。一旦建立了基本参考系，就可以推断出特定车辆的与实际的对应，并且可以确定到参考系的转换。更进一步，还可以推断出对车辆音频控制的扫视，例如，如果统计的话，已知典型的驾驶员注意音频控制的时间大约占正常驾驶时间的百分之十。一旦已经记录了一段＂学习时间＂，就能够以统计数据为基础来确定驾驶员感兴趣的许多区域/目标的相对位置；甚至独立于目标/区域的任何已知映射，或车辆内的参考系。
另一方面，本公开内容描述了由车辆基于映射的驾驶员视觉特性执行的对规定功能的改变。当检测到驾驶员已经把目光从道路上移开太长时间时，可以简单地将分心警告改编成声音，通过自适应巡航控制系统增加与前行车辆之间保持的缓冲区。
已经发现，可以部分或完全基于检测到的涉及驾驶员视觉定向的信息来识别出这些驾驶员感兴趣的区域/目标，其中，所述视觉定向专门由对注视角度这个检测量构成。至少相对于特定车辆内的参考系(被示例性识别为车辆的特定构成和模型)，区域/目标的角位置特别精确，因为去除了对考虑距离的需求。也就是说，如果区域位置被识别为在统计学上(概率上)表示可能的驾驶员感兴趣的区域/目标，那么所述区域与参考系之间的距离必须已知。这样导致限定的区域从中心点展开，很像锥体从其顶点展开。然而，与顶点之间的角度是离散的检测量(参见图5)。
注视角度这个检测量可以源自检测到的基于眼球定向的注视方向向量。这可以取自一个眼球的观测，但是，优选地，作为取自两个眼球的观测组合。因此，代表性向量被更精确地描述为源自受试者鼻梁处的区域并且平行于平均观测角度定向的向量。此外，可以从对头部、面部或其他的身体运动和/或位置的观测来估计注视角度这个检测量。
虽然上面特别地依照眼球角度对本发明进行了描述，但是，也可以预期，可以基于头部定向通过进行类似观测来获得相关但不类似的结果。通常，比较可以被描述为使用如下方向，即沿该方向，鼻子指向(基于头部)与眼睛从参考系定向的方向相反，所述参考系由参考系的定向限定；基于检测到的头部定向，限定驾驶员感兴趣的区域/目标的相对于参考基本位置的可能位置。
在至少一个实施例中，基于检测到的头部定向、相对于参考基本位置来确定驾驶员感兴趣的区域/目标的可能位置的定义，其中，从检测到的头部定向推断出面部朝向的方向。在此情形下，由于具有眼球轨迹测量数据，特别是头部定向，因此可以利用密度映射来建立面部朝向的方向，所述密度映射指示驾驶员沿某一方向观看的频率。
可以通过将代表性的映射与驾驶员感兴趣的区域/目标相对于参考基本位置的规定/限定的可能位置联系起来(因此，这还可以通过角度的直接数据完成)来识别出驾驶员感兴趣的目标/区域。
当提出基于头部定向的分析时，可以从检测的基于头部定向的注视方向向量来获得注视角度这个检测量。
在另一个实施例中，本发明采取了一种用于开发基准点(参考系)的方法的形式，该基准点用于评估的驾驶员活动和/或驾驶员条件的比较。此方法包括(包括但不限于)：基于检测到的驾驶员特性以及基于此驾驶员特性所开发的密度分布图，收集(也可以包括使用记录数据流)注视方向数据流；限定对应于可能的驾驶员感兴趣的至少一个区域的基于注视方向的参数。
如前所述，此方法需要使用下列检测量中的至少一个：(1)驾驶员视觉定向和(2)驾驶员头部定向，以构成注视方向数据。
基于从收集到的注视方向数据估计的高密度分布图，建立表示典型的眼睛朝前驾驶的区域。示例性地，该区域可以定义为一个二维限定的面积，例如抛物面，或者是一个三维限定的体积，例如从参考系呈辐射形扩展的锥体，其中，其顶点基本上位于典型的驾驶员相对于所建立的参考系的眼睛位置。
将收集到的注视方向数据与建立的代表性区域进行比较，并由此基于该比较来识别注视的离开。基于类似的比较，可以推断出环境或驾驶员的其他性质。例如，注视方向数据可用来识别和/或测量这样的事物，例如驾驶员的认知分心，驾驶员的视觉分心，和/或高的驾驶工作负荷状况。
更进一步，所述方法考虑并提供了用于基于确定的频率或持续时间(取决于事件是离散还是连续地发生)来量化驾驶员的损伤相对于执行的驾驶任务的严重性(程度)的途径，在规定的时间内，以所述频率或持续时间来检测这样的指示性状况，例如注视离开、认知分心、(3)视觉分心和(4)高的驾驶员工作负荷。
可以记录、存储和/或传输感兴趣的事件，用于由处理器进行的进一步的分析。相反地，可以在实时的基础上在本地或远程地(如果还实时传输)分析表示感兴趣的事件的数据。
注意力管理系统和方法的一个目标是通过帮助处于困倦、分心和/或高的工作负荷状况下的驾驶员来提高安全性。为许多注意力管理系统提供了功能说明，所述注意力管理系统可以被特征化为包括困倦管理器、分心管理器、用于前碰撞和车道变更警告系统的分心适应的管理器，以及工作负荷管理器，至少基于从驾驶员的视觉行为所观测或推断出的驾驶需求估计来部分地控制它们。还描述了能适当地用于执行这些驾驶员注意力管理任务的硬件系统。还公开了用于基于人机交互(HMI)开发瞬间困倦和分心管理的＂平台＂，如连续的以及行程后注意力反馈系统的描述。该HMI方法其目标是通过提供即将来临的碰撞警告以及将引起积极的行为变化的注意力反馈来抑制驾驶员的疏忽。
这种分析的至少一种用途是在严重性量化值超过规定的严重性阈值水平时提供驾驶员反馈。例如，当发生过度水平的视觉分心(目光离开太多次)或者是认知分心(当全神贯注时没有充分地离开向前看)时，可以警告驾驶员。
来自分析的输出的另一种用途是在严重性量化值超过规定的严重性阈值水平时修改由车辆执行的规定功能。一个实例可能是在驾驶员被评估为分心或疏忽时使自适应巡航控制系统制定与前行车辆之间的额外空间。
用于分析收集到的注视方向数据流的一个特别有利的模式是使用跨过数据序列(统计分析学科中公知的分析工具)的规定时长的主移动时间窗口，并且检测主移动时间窗口内的指示驾驶员分时活动的发生的特性。一个实例是对移动的九十秒窗口中的某些数据取平均值。由于时间窗口沿着数据序列前进，将新数据加入考虑中并丢弃最早的数据(基于时间，等量地进行新进旧出)。
对此方法的使用可用来基于驾驶员分时活动的超过阈值的发生频率来识别出驾驶员高的工作负荷时段。为了使窗口摆脱检测到的发生的影响，当检测到驾驶员分时活动的发生的停止时，使主移动时间窗口更新(刷新或恢复正常)。以此方式，在检测和分析之后，发生的影响被最小化，由此使系统为下一次偏离正常做好准备。
如下文中将要详细讨论的，可以基于观测到的眼睛活动来识别视觉活动的多个特性。非专业人士容易辨别出的一些公共特性是眨眼和扫视。非专业人士不易于理解的是诸如扫视之类的事情可以基于更少的已有眼睛活动(例如跳视、注视和转换)来特征化或识别，前述眼睛活动的每一个都具有可测量的限定特性。
在另一个实施例中，本发明采用了一种用于眼睛运动数据的自动分析的方法的形式，该方法包括如下步骤：通过向数据应用分类规则并由此至少识别出受试者经历的注视，使用基于计算机的处理器来处理描述观测受试者时得到的眼睛运动的数据。下文中详细讨论这些规则或特征。还对与识别注视方向相关的信息进行分析，由此生成表示目前正分析的在数据收集期间的受试者注视方向的数据。
所应用的分类规则至少包括限定注视和转换的标准。另外使用了还可以提供标准以限定跳视的分类规则。
至少部分地基于注视方向，可以将数据分离成定界(delimited)的数据集，每个定界的数据集表示在数据收集期间存在的受试者感兴趣的区域/目标。
另一方面，通过向数据应用至少一个扫视限定规则来识别扫视，每个识别出的扫视包括至少一个识别的注视。在本发明的此方面中，一般由下列特性中的至少一个特性来限定扫视限定规则：扫视持续时间、扫视频率、总扫视时间以及总任务时间。
另一方面，与至少一个其他扫视集相比较地估计一个扫视集的相对密度，并且基于此，该方法识别出所比较的扫视集的代表性的受试者感兴趣的区域/目标。
在类似的方面，本发明的方法考虑了至少一个扫视集在多个扫视集中的相对密度的评估，并且，基于所评定的相对密度与已知的相对密度的映射来识别出所比较的扫视集的代表性的受试者感兴趣的区域/目标，其中所述已知的相对密度与眼睛运动数据被收集的类型设置相关。例如，使用在正常驾驶状况期间的在驾驶员感兴趣的某些目标或区域内已知的停留时间的百分比，可以从所收集的数据中识别出那些目标或区域。
另一方面，评定至少两个扫视集的相对密度，所述扫视集开发自描述在空间上已知的设置中所观测的眼睛运动的数据，并由此确定两个比较的扫视集中的每一个扫视集的代表性的受试者感兴趣的区域/目标。然后在已知的设置中确定代表性的受试者感兴趣的区域/目标的位置，由此，因为推断出的位置可以与目标/区域的已知位置进行映射或重叠，建立用于已知设置的参考系。
在特别优选的实施例中，受试者是车辆驾驶员，并且，基于至少一个扫视数据集的密度，推断出正常的驾驶员眼睛定向。
在车辆驾驶员是受试者的本发明的另一方面中，考虑利用了多个分析协议，对该协议的选择取决于与正在处理的数据集相关的主要噪声特性。
在一个开发例中，具有预定严格度的第一数据滤波器应用于数据输入流，所述数据流包括描述观测车辆驾驶员得到的眼睛运动的数据。使用了基于计算机的处理器，并且因此输出第一滤波数据流，其对应于数据的输入流。对应的概念可以是这样：每个输出值对应于输入值，所述输出值源自输入值。通过向其应用第一鉴定规则来评估输出的第一滤波数据流的质量，并且，通过了第一鉴定规则的输出的第一滤波数据流的数据被输出并且构成经过鉴定的第一数据流。
在另一个开发例中，具有比利用基于计算机的处理器的第一数据滤波器更大的严格度(数据更为平滑)的第二数据滤波器应用至数据的输入流，并且因此输出第二滤波数据流，其通过共同来源于数据的输入流而对应于第一滤波数据流(再一次，基于对相同的输入数据值进行的计算进行对应/比较)。通过向其应用第二鉴定规则来评估输出的第二次滤波数据流的质量，并且，通过了第二鉴定规则的输出的第二滤波数据流的数据被输出并且构成经过鉴定的第二数据流。
利用两个经过鉴定的数据流，由经过鉴定的第一数据流的全部来构成汇集的经过鉴定的数据流，并且，该汇集的经过鉴定的数据流还由经过鉴定的第二数据流的部分构成，所述部分对应于输出的第一滤波数据流的未鉴定的部分。
在至少一个实施例中，第一和第二鉴定规则相同；在另一个实施例，第一和第二鉴定规则是基于同样的标准，但是可能不是同样的规则。
在另一个开发例中，所述方法包括从由下列项组成的组中选择至少两个分析协议以构成多个：(1)基于速度的双阈值协议，相对于组中的其他协议来说，其最适合于低噪声含量的眼睛和眼睑行为数据；(2)基于距离的分散空间协议，相对于组中的其他协议来说，其最适合于中等噪声含量的眼睛和眼睑行为数据；和(3)基于视觉特性的面向规则的协议，相对于组中的其他协议来说，其最适合于高噪声含量的眼睛和眼睑行为数据。
在一个相关方面中，对于任何已知数据集来说，取决于检测到的数据集中的噪声水平，协议的选择偏向于三个协议中的一个。另一方面，面向规则的协议在区分注视和跳视时考虑下列标准中的一个或多个：(1)注视持续时间必须超过150毫秒；(2)跳视持续时间不可能超过200毫秒；以及跳视起始和结束于两个不同的位置。
另一方面，基于多个分析协议中的各自分析协议的相对使用来评估描述行为运动的数据的质量。可选地或与此相关地，可以考虑在规定的时段内的多个分析协议中的各自分析协议的基于时间的相对使用来进行该质量评估。
附图说明
图1是驾驶控制任务和次要任务的相互关系的图解表示；
图2是示出了使用道路中心百分比来测量各种车辆内部任务的相对影响的图解演示；
图3是绝对道路中心百分比的图解演示，被与其他的分心检测量相比较地示出；
图4是对于不同时间阈值的离开道路中心的长扫视百分比的图解演示；
图5是示出了注视方向检测量的示意图；
图6是两个眼睛运动的细节的曲线图，示出了微小的跳视、偏移和颤动；
图7是眼睛运动样本的不同分量特性的图解演示；
图8是多个注视和跳视的图解；
图9是表示注意力管理系统的一个实施例的流程图，所述注意力管理系统包括硬件和用于检测、计算、HMI以及供电的功能模块；
图10是一种平台的图解演示，可以在所述平台上示例性地实施多个困倦管理措施；
图11描述了给驾驶员的可能的显示警告的示例性表示；
图12描述了示例性的、交互式的驾驶员响应面板；
图13描述了用于驾驶员注视的重新定向的示例性实施例；
图14示意性地示出了使驾驶员疏忽的构成部分的相互作用；
图15(a)至(c)示出了多种＂主动式＂图形显示，其用于显示根据本发明的教导的实时驾驶员信息；
图16以与最佳注意力水平的指示相比较的格式提供了实时的驾驶员反馈的示图；
图17提供了对检测出的增加的工作负荷/疏忽水平的基础的示例性格式说明的示图；
图18提供了屏幕上行程后(on-screen post-trip)反馈的示例性示图；
图19提供了用于前碰撞情形的抬头显示或屏幕显示警告的示例性示图；
图20提供了涉及车道变更碰撞情形的抬头显示或屏幕显示警告的示例性示图；
图21提供了用于进行根据本发明的系统和方法的示例性流程图，其中对驾驶员生理特性进行测量。在另一个步骤中，对诸如驾驶员分心水平或注意力负荷水平的行为参数进行评估，在又一个步骤中，将关于该评估的反馈提供给驾驶员；
图22示出了构成扫视的眼睛运动分量；
图23是离线混合算法的示图；
图24是示出了限定注视和跳视的阈值规则的曲线图；
图25是示出了基于信号噪声量的分析工具选择的示图；
图26是在线混合算法的示图；
图27是用于对在位置上和偏离位置数据进行分类和聚类的装置的示图；
图28是车辆内部朝向仪表面板的透视图，其中单个照相机或监视器位于车辆内；和
图29示意性示出了本公开内容的道路中心区域概念的环境；
图30是基于事实上的群或密度的受试者感兴趣的两个区域/目标的兴趣点的曲线图；
图31是示出了眼睛运动对时间的变化的曲线图；
图32a是示出了未滤波的数据的示图；
图32b是示出了数据滤波的示图；
图33a提供了二维图，示出了基于扫视行为的对道路中心前方区域的识别；和
图33b提供了三维图，示出了基于作为时间的函数的扫视行为的道路中心前方区域的识别；和
图34示出了对道路中心区域的替代测定；
图35是用于影响定向数据的实时分析的替代装置的示图；
图36是示出了实际头部位置向参考系的平移的示意图；
图37至40不同地示出了白天群或密度收集的图形描述，用于示例性地识别道路中心百分比或尖峰；
图41是车辆内部朝向仪表面板的透视图，其中两个＂立体式＂跟踪照相机或监视器位于车辆内；和
图42是具有被插值的眨眼的注视水平信号的图解演示；
图43是水平注视的图解演示，并且示出了由于眨眼引起的三次偏离(dip)；
图44是相对于阈值的眼睛运动速度的图解演示；
图45是被分段的注视信号的图解演示；
图46是被恢复的注视的图解演示；
图47是离开前方道路景象的多次扫视的图解演示；
图48是示出了两个感兴趣的区域/目标的停留时间直方图；
图49示意性地示出了前方道路景象边界的建立；
图50至53是各种分量的图解演示，所述分量是驾驶员做出的典型扫视的方面；以及
图54至56是扫视数据的某些统计分析的图解演示。
具体实施方式
在描述为本发明的焦点的实际数据处理技术之前，将先提供涉及眼睛运动的基本特性的一些基础信息，以及关于典型的跟踪系统的一般信息，所述跟踪系统可用来检测、量化以及可选地记录描述头部和/或眼睛定向(位置及运动特性)的数据，以尝试方便于非本技术领域的读者。
至少对于基于眼睛运动的系统来说，目前可用的用于收集眼睛运动数据的检测系统输出含相当多噪声且包括假象(artifact)的“原始”眼睛运动信号。通过阅读本公开内容的各个方面，这将变得明显：典型地，头部定向跟踪数据可以用作近似值，且因此经常可以用作对眼睛跟踪数据的有效代替者。
本发明的算法处理此信息并且产生表示诸如下列检测量的输出：扫视频率(在预定时间段内朝着目标区域扫视的次数)、单次扫视持续时间、总扫视时间和总任务时间。该算法包括限定触发不同警告的规则，例如，如果驾驶员查看他/她的移动电话超过两秒而没有把目光移回道路。对精确的触发规则的定义是继续开发中的实时系统进行整理的产物。
目前公开的本发明的方面包括两个不同基础的算法；一个是用于离线后续数据收集处理，一个用于实时处理，其中，实时处理基本上与数据收集同时进行(当执行量化的特性时)。它们的基础类似，但是实时算法具有初始化步骤并缺少一些离线特征。离线分析的主要目的和益处在于对所记录或存储的特性数据的处理。实时分析的主要目的是立即处理所收集的数据，并且使其基本上同时可用于以下事情：例如当观察的受试者是车辆驾驶员时，对被观察的受试者的反馈或对相关系统的适应(例如对车辆系统)。
关于驾驶员，离线算法的一个目的是从任务(例如，改变广播电台或使用RTI系统(同时在驾驶时))中分析眼睛运动数据，以确定单元把多少视觉需求放在驾驶任务上。实时算法的目的是确定驾驶员在多大程度上观察道路。本发明的一个目的是使实时算法适应或有效，使得可以获得类似于离线算法的结果。
眼睛运动一般可以分成两类：跳视和注视。当眼睛固定在某物(例如本页上的字母)时，发生了注视。当大脑可以吸收被解释为物体(注视集中在其上)的视觉图像的信息时，也会发生注视。另一方面，跳视是在注视之间的运动，即改变关注点。跳视很快(其最大幅度处的峰值速度为700°/s)，并且观察者的大脑抑制对这些入射影像(incident)的识别，因为光跨过视网膜时速度太快，以至于不能被大脑解释。
朝着某些东西(例如移动电话)的扫视是以下三个部分的组合：离开预定目标区域(例如道路)的跳视、扫视的开始、对新目标区域(例如移动电话)的注视。当离开第二目标区域的跳视开始时，扫视结束。在同一目标区域中的连续跳视扫视和注视被限定为同一扫视的部分。
本发明的一些目的和有利方面可以概括为：(1)即使处于只组合基于速度和分散的算法的水平，该混合算法是新的，特别是当结合视觉规则时。迄今为止，当对眼睛运动进行分段时，还没有考虑眼睛的物理能力；(2)比只是指定“山形”的平均值要更为详细的使用密度函数尖峰作为其中心来定位道路中心区域的想法和步骤；(3)整个算法以及每个不同的算法部分相互协作的方式。道路中心百分比(PRC)和绝对道路中心百分比(A-PRC)的概念作为驾驶员注意力的检测量。
算法不仅想产生所述检测量，而且还可以用来确定在ISO15007-2中限定的所有检测量以及SAEJ-2396中的检测量。
已经对眼球运动的概念进行了很好的研究；一般地，眼睛运动被分成多个不同的种类，例如跳视、微小跳视、平滑跟踪、异向(vergence)、颤动、偏移(drift)等。然而，对本发明来说，眼睛运动被分成两个基本的种类：跳视和注视。本发明的合理性是：所有的数据点不是跳视而是扫视。这包括在驾驶期间经常发生的下文描述的注视概念中的平滑跟踪。
注视被定义为在眼睛可以吸收信息的信息区域上的暂停。为了实现有效的注视，该暂停必须持续至少约150毫秒，同样，人脑利用信息所需要的时间也同样是至少约150毫秒。虽然被称为＂注视＂，但眼睛仍然运动，形成微小的运动，如偏移、颤动和微小跳视，同时＂固定＂在一个区域上。这些小的运动具有很低的幅度，并且是限定注视的部分。图6示出了具有偏移、颤动和微小跳视的典型注视。其中，用曲线示出了受试者两只眼睛的活动情形，一个位于另一个的上方；水平轴上标出时间，而纵轴表示距离。幸运地，这些运动要么非常缓慢(典型地大约为4到200s.sup.-1)，要么很小(典型地大约20-40英寸)，这阻止了通过在这些类型的应用中所使用的典型设备对他们的检测。这是有利的，因为这些偏差将被视为噪声。
仍具有次跳视速度的其他的大范围移动被称为平滑跟踪。它们是注视的子类；即，移动目标的注视或者当观察者移动时对静止(或者移动)目标的注视。当我们跟踪目标时，眼睛使用小的跳视来将中心凹(fovea)带到目标上，然后执行缓慢、连续的运动以跟踪目标，并且，这取决于其速度。速度范围大约在80至160度每秒的缓慢移动构成了平滑跟踪。图7示出了此行为，其中受试者跟踪在由曲线(a)表示的弯曲路径上移动的点。曲线(e)表示全部眼睛运动，包括跳视和平滑跟踪。曲线(esa)表示平滑跟踪的去除，并且(esm)示出去除了扫视的曲线。通常，全部跟踪行为被称为平滑跟踪，并且可以被认为是偏移的注视。为此，由于在此运动期间信息正被处理并且跳视太小以至于不能用可用的眼睛运动跟踪系统来进行检测，此类行为在本发明中被称为注视。
跳视是快速的眼睛运动，它发生在人的目光在两点之间改变时。跳视运动在幅度、持续时间、速度和方向上不尽相同。幅度大于五度的跳视的持续时间将大约是20-30毫秒；其后，每增加一度，持续时间大约增加两毫秒。典型地，峰值速度从幅度小于0.1度的大约10度每秒到大幅度时的700度每秒之间变动。
图8示出了从一个关注点到另一个点的典型跳视，其示出了几乎不含有噪声的良好跟踪测量的实例。示例性的跳视被示出为从点(A)开始，终止于点(B)。而且，示出的眼睛运动只由绕一个轴线的运动构成；即，没有对水平面内的跳视进行测量。
在跳视运动期间，由于光在视网膜上移动得太快，人脑一般不能感知信息。然而应当理解，事实上已经证明在跳视期间有一些信息实际上得到了处理。只有被观察目标以与眼睛相同的速度并沿相同的方向运动时，识别的感知才发生。信息的一般缺失迫使大脑预先计算幅度和持续时间。此过程中的不精确和噪声几乎总是产生一定程度的“上超(over-shot)”与“下超(under-shot)”。通过比先前的时间更短的偏移或者新的跳视对此进行修正，因此更为精确。此处，由轨迹(A)的长垂直部分表示的跳视下超通过表示修正性微小跳视(B)的较短垂直部分修正。这种修正性跳视通常具有低幅度，其不能使用已知的眼睛跟踪设备检测，并且反而被认为是增加的噪声。
除这三类运动以外，还有不同一种不同类型的视觉行为，通常称为眨眼。人类通常大约每两秒钟眨眼一次，这是对注视估计有不利影响的特性。在眨眼时，在眼睛实际闭合期间，无法检测注视，并且因为眨眼确实发生在跳视和注视期间，当对跟踪设备重新可视时很难预期眼睛会观察哪里。幸运地，眨眼速度很快，整个眨眼过程大约200毫秒。这意味着眼睛全部闭合的时间只有大约100-150毫秒。因为受试者通常完全没有意识到眨眼的发生，所以，本发明通过抑制对跳视和眨眼的识别来获得真实情形更为连贯和稳定的感知。
眼睛的属性有利于分段，意味着存在眼睛运动的物理边界，这提供了用于分类的规则。例如，在小于约180毫秒的时间内，一次跳视后不可能接着另一次跳视；这意味着跳视不可能持续超过200毫秒。200毫秒的跳视将具有约90度的幅度，这很不常见。更进一步，时长大于大约220毫秒的任何测得的跳视很可能是两次跳视，在两者之间存在一次注视。另一个有趣的事实是，受试者对上述眨眼识别的抑制。受试者一般没有意识到眨眼的发生，并且一般可以不对其进行分析，因为眼睛的行为不受它们的影响。下列情形构成与本发明有关的眼睛的物理边界：注视持续至少大约150毫秒；在小于约180毫秒的间隔内，一次跳视后不可能接着另一次跳视；人的视野是有限的；注视可以空间非常大(平滑跟踪)；跳视由视中枢抑制；眨眼由视中枢抑制。
对车辆的驾驶员来说，可以有更多的限制，例如：在驾驶期间，特别是在执行任务期间，驾驶员不可能注视内部顶板或底板；受试者的注意力(和注视)的大部分最有可能集中于道路中心，并且平滑跟踪的速度较低以便缓和。举例来说，出现的交通和道路标牌触发大部分检测的跟踪。在本发明中，这些边界用来限定一个系，所述系可用作驾驶员眼睛运动的分段的一部分。
根据本发明，眼睛检测量被分成两组，基于扫视的检测量和基于非扫视的检测量。这两组由基本的视觉分段的结果形成，其中，识别出注视、跳视和闭眼。
如上所述，不同的研究员具有不同的分析数据和限定注视/跳视的方法。具有统一的规则和基准是重要的，使得所有的这类分析方法可以基于公认的国际标准。这就是为什么本发明中的检测量是基于ISO15007-2和SAEJ-2396标准的定义的原因。这两个标准都标准化了与驾驶员视觉行为的检测量有关的定义和度量标准以及步骤，以确保实际评估的适当进行。SAE文档依赖于许多ISO标准术语，并且每个文档用作对其他文档的补充。
还考虑到了人机交互(HMI)；这种HMI概念的实例已经彻底地描述在于2003年2月19日提交的，题目为“SYSTEM AND METHOD FORMONITORING AND MANAGING DRIVER ATTENTION LOADS(用于监测和管理器驾驶员注意力负荷的系统和方法)”的美国专利NO.US6,974,414中，其全部公开内容在此通过引用的方式并入。其中，提出了如何发出这些警告信息的概念。
在至少一个实施例中，本发明提供了一种能够实施车辆内注意力管理概念的系统和方法，包括示例性的硬件，本发明的功能可以在所述示例性的硬件上实现。在此处理几个基本问题和目标，包括：驾驶员需要何种源自视觉的支持以及如何将其概念化以实现被接受；对驾驶员视觉行为的实时识别如何可以用于降低驾驶错误并防止事故；实施方式的商业可行性是什么。为困倦管理器、分心管理器、前碰撞及车道变化碰撞警告系统的分心适应以及工作负荷管理器提供功能性描述。还包括用于实施视觉行为的驾驶需求估计的系统和方法。
这些系统和方法中的一个或多个被分别以及共同地描述为包装的所谓的注意力管理系统。这些系统的一个可能的元件以及此处描述的几个发明的元件是注意力支持演示器，其可用来实施这些用于演示和测试的系统和方法。此处还描述了视觉行为的驾驶需求估计的实例。
在一个实施例中，注意力管理系统包括用于以下项的硬件：(1)检测、(2)计算、(3)HMI以及(4)供电。装置或功能模块可以示例性地被配置(互相联系)成如图9所示，并且适合于在诸如汽车和卡车的车辆内实施。
采用了视觉行为传感器，比如，可购自SeeingMachines公司并且适合于安装在车辆内的传感器。这类系统可以包括(1)立体摄像头、(2)个人电脑(PC)以及(3)适当的驾驶软件。可选地，也可以采用例如由SMARTEYE商行生产和销售的视觉行为传感器。其他的视觉行为测量装置也可以包括例如照相机、超声装置和电容传感器。照相机可用于执行图像处理以获得眼睛运动、眼睛闭合和/或头部运动数据。超声装置和电容传感器能用于提供位置信息，例如身体姿势和头部位置。
在一个实例中，车辆性能信号可以从CAN总线获得。还可以使用方向盘角度传感器以及车道跟踪硬件和软件。使用注释箱(annotationbox)和视频记录硬件。使用了车载个人电脑，或者类似功能的计算装置。替代地，特别是为了便于测试和实施，可以使用膝上型计算机，其示例性地运行诸如＂Director＂和＂Simulink＂的软件。还可以安装和使用xPC。从硬件角度来说，使用了LED控制器硬件。音频HMI(警告声音，记录消息)通过计算装置提供。还可以使用用于用户输入的触摸屏。应当理解，这些实施例中的一部分适合于产品开发并且便于系统测试，但是当商业化时，几个元件被直接集成到车辆内。
可以包括座椅振动装置或者类似的驾驶员警告器。在一个优选实施例中，使用LED HUD(抬头显示器)。还可以使用由LED控制器控制的LED阵列(显示器)。用于整个系统的电源可以取自承载的车辆。
困倦管理器可以用两种构造来实施。在第一实例中，其完全基于PC；即，不需要外部硬件或者外部通信能力。此实施例是基于场景的，即，基于实际的PERCLOS(考虑扫描模式的分析、注视的次数与时长、跳视延迟等)数据进行困倦事件的跟踪，而不是实时进行。硬件功能通过诸如基于LED或HUD或物理刺激(例如座椅振动)的可视显示的激励来刺激驾驶员，在另一个实施例中，实现了HMI硬件和Simulink的通信。
可以在其上实施多个困倦管理措施的＂平台＂是希望的，并且，可以在所述“平台”上进行测试。图10示意性地示出了用于这种实施的示例性平台。
可以认为图10示出了引导(director)程序。相对于不同的HMI元件来说，这种布置易于改变；例如，向驾驶员提供(1)连续的信息流，提供(2)警戒性警告，(3)突出的危险报警，(4)驾驶员响应测试，(5)行程后的汇总信息，以及(6)操作者输入设置菜单。
在一个实施例中，向驾驶员提供警戒性警告。驾驶员能够在警告版本间做出选择，但是不能使警告完全无效。示例性地，可以在蜂鸣音之后向驾驶员播放可选的语音消息警告，例如“<困倦导致的自动插入>”、＂休息一会儿＂。替代地，可以单独或者与听得见的警告一起或者与警告的打印版本一起向驾驶员显示图标。
示例性的图标警告如图11(a)至(d)所示，其中(a)大眼睛闭合检测，(b)不一致的转向检测，(c)不一致的车道保持检测，(d)驾驶员困倦检测。取决于检测到的驾驶员状况，可以同时显示这些图标中的一个或多个。
在另一个实施例中，包括麦克风，使得驾驶员能够记录或者提供他或她自己的警告信息，就像电话应答机及其他可定制的音频回放装置。
在又一个实施例中，向驾驶员施加物理刺激警告。优选地，驾驶员可以在设置菜单中的警告类型之间做出选择，但是，在至少一个实施例中，防止操作者使物理警告完全无效。这种物理刺激的一个实例将是座位振动。
在另一个版本中，闪光＂HUD＂LED可以用来明显地刺激驾驶员；再一次，其单独地或者与此处描述的其他类型的警告相结合。在一个优选实施例中，驾驶员能够启动三种上述类型的警告，以在有效时同时发出。
还提供了驾驶员反应功能，即对信号的反应时间。就这些功能而言，驾驶员能够使其有效和无效，以及在设置菜单中的警告版本之间做出选择。
在预定时间内，例如在发出警告后五至八秒钟，驾驶员反应功能开始运行。示例性地，将有蜂鸣音，如图12所示，在触摸屏上显示的按钮下有“Press”文本。如果驾驶员没有在规定的时间内反应，或者根据基于一些其它反应时间的算法的时间没有反应，那么，将发出报警警告信息。这将继续，直到驾驶员停下车辆，变得警觉并且系统检测到这一点，或者驾驶员将此功能关闭。
为了向操作者提供定制能力，下面示出了可以通过HMI元件来选择的示例性选项：
HMI元件选项(1)连续的困倦反馈on/off选择多个反馈版本中的一个(2)警戒性语音消息警告on/off缺省消息on/off用户提供的消息on/off使用多个图标或者使用缺省图标(3)报警/下列刺激方式的选择(必须检查至少一个警告)座位振动on/off声音on/off HUD视觉警告on/off风扇(在迭代(iteration)1中没有实施)气味(在迭代1中没有实施)中断供气(在迭代1中没有实施)驾驶至路旁(在迭代1中没有实施)使用多个图标或使用缺省图标(4)驾驶员响应驾驶员响应on/off
分心管理器可以在两个实施例中实施。在第一实施例中，分心管理器完全基于PC，没有外部硬件或通信能力。它是基于场景的，即，给出的是分心事件的时间线，而不是实时进行。模拟了硬件功能。第二实施例是基于硬件实现，它包括实时通信能力。
本发明的另一个方面是基于安全阈值的分心警告。提供警告以通知驾驶员降低安全的分心行为。如上文所述，驾驶员通常没有意识到他们的分心对他们驾驶能力的影响。因此，基于安全的分心警告的目标是向驾驶员给出关于驾驶控制任务的能力降低(performancedecrement)的反馈。即，如果检测到分心(即，扫视行为已超出适当的安全阈值和/或在扫视行为期间车辆的性能恶化)，系统提供下列警告中的一个或多个。可以提供声音(例如简单蜂鸣音)或者关于已检测出能力降低的性能特定的语音消息。例如，如果扫视行在扫视安全阈值标准(例如EU推荐的4次扫视或者2秒的单次扫视持续时间，美国AAA推荐10秒总扫视持续时间)之上，那么可以发出消息＂检测到视觉分心＂或者＂目光严重偏离道路＂。如果在次要任务扫视行为期间转向不正常，那么可以发出消息＂在视觉分心期间转向不一致＂。如果在次要任务扫视行为期间车道保持不正常，那么可以提供诸如＂在视觉分心期间车道保持不一致＂的消息。如果在次要任务扫视行为期间检测到大的速度降低，那么可以提供诸如＂在视觉分心期间大的速度降低＂的消息。如果检测到多个起因，那么可以发出诸如＂检测到视觉分心＂的通用消息。如果在次要任务扫视期间，在不同的道路类型或不同的需求水平下检测到控制任务干扰，那么发出相应的警告。警告的形式可以包括驾驶员记录或提供的消息、在座位前部的座位振动或者如下所述的对注视的重新定向。
本公开内容还包括图13所示的＂注视的重新定向＂的新概念。其中，如果检测到驾驶员分心，接口将驾驶员的眼睛引导向前方驾驶景象(即，通过前挡风玻璃)。示例性地，取决于检测到的驾驶员的目光，跟随三个LED＂线＂(左，中，右)中的一个或多个的光波将启动。光波之后，可选地，可以点亮大的圆圈，然后点亮LED的中线；每个目的都是使驾驶员的注意力更清晰地集中在需要的地方。LED灯的确切位置和时长不是关键，颜色也不是。实际上，时长可以是低于限值的；即，太快以至于驾驶员无法有意识地感知到。替代地，首先，适当的灯光可以慢慢地闪烁，并且通过系统对驾驶员进行评估，以确定修正行为是否发生。如果没有，可以增加闪烁时长和光的强度。
用于分心反馈的设置菜单可以具有如下所示的示例性逻辑：
HMI元件选项(1)连续的分心反馈on/off(2)安全语音消息on/off阈值性能特定信息on/off基本的缺省/多个起因消息on/off分心用户提供的消息on/off警告座位振动on/off注视的重新定向on/off。
另一方面，本发明并入了具有驾驶需求估计的工作负荷管理的概念，所述驾驶需求估计源于驾驶员的视觉行为。通常，＂工作负荷管理＂的概念是优先化(prioritization)系统，其对信息进行分类并且可能延迟向驾驶员提供当前的展示，直到他或她的工作负荷低到足以避免与信息的接收相关的风险。集成的车辆内信息系统的接口可以适合于保证将适当的注意力分给驾驶任务。此处引用的分心管理算法的输出可以用作工作负荷管理器的输入。
使用对驾驶需求的驾驶需求视觉主动检测，在此公开的类型的工作负荷管理器精确地测量驾驶员的工作负荷。示例性地，这是非接触的车载测量，其测量驾驶员＂在视觉上有多么主动＂；即，头部和眼睛运动(转动)的变化。
工作负荷管理器的一个方面是暂停可听见的会话或者信息。举例来说，这包括系统初始化的或者自动初始化的信息(例如从文本-语音电子邮件和不关键的导航系统信息)，并且在较高的视觉主动性时可以暂停随机初始化的语音对话(例如打进和打出的电话会话)。
举例来说，一系列电子邮件可能正传送给驾驶员，例如，来自存储器中的十封新的电子邮件正通过文本-语音系统大声“读出”。在这种音频传送期间，由管理系统检测驾驶员较高的视觉主动性时段。作为响应，系统暂停音频传送以避免增加驾驶员的注意力负荷而使其超出预选水平；此水平示例性地对应于注意力负荷，超出该水平则驾驶能力下降。可选地，管理系统可以包括通过音调等给驾驶员的这种中断的可听见的指示，其也可以用作给驾驶员的高注意力负荷状况的通知。基于驾驶员的初始化或系统初始化，可听见的传送可以重新开始，这取决于系统检测出注意力负荷已足够减小到预选水平，此水平示例性地对应于驾驶员接收这种可听见的信息时的安全状况。
另一方面，通过所公开的管理系统使连续和/或行程后的注意力负荷反馈有效。根据通常称为反馈原理的基本人类行为特性，可以使该方面有效；这种原理一般认为反馈能增强性能。这对于任务/技能学习(例如学习安全驾驶)和工作提升来说都是真的。如上文所述，典型地，驾驶员不善于判断他们自己的能力。在任务/技能表现方面可获得的直接、精确、即时、连续信息的程度是增强驾驶员能力和动力的关键元素。注意力反馈构成了一种形式的固有驾驶反馈，迄今为止，其还不能用于驾驶员。该方法是积极的行为适应和生活方式改变之一，而不是即将来临的碰撞警告。例如，一些研究员相信，用于增加警觉的主要机制是＂决定影响＂。决定影响的概念规定，此性质的信息(驾驶员注意力负荷和警觉状态)将影响驾驶员的决定：是否停下来休息，喝咖啡，降低酒精消耗或改变其他的这种行为。
因此，注意力反馈的目的是在多个时间系中的一个或多个内鼓励积极的行为改变，例如：(1)即时(例如短期的补偿行为，如改变姿势或放弃复杂的任务)；(2)行程后(例如停下小睡，切断移动电话)；(3)日间(在注意力较低的白天之后睡更多时间，从前排座上去除视频屏幕)；(4)长期(采取不同的睡觉生活方式或分心态度)。此反馈增加了驾驶员对疏忽行为的自我意识，并且使得能够进行更好的自我管理。
考虑了两种主要的反馈类型。第一种是连续的车辆内反馈，其为驾驶员提供实时的注意能力信息，例如，在驾驶时展示信息。此信息以其自身不会造成危险的方式进行通信。该概念是提供一种注意力检测器，警觉能力检测器(警觉检测器)，或安全/不安全的驾驶能力检测器。第二种反馈类型是行程后反馈，一旦停止驾驶，其向驾驶员提供更详细的注意力能力信息。
将行程后反馈保存至“文件”进一步允许基于车队(fleet-based)进行的安全反馈集中于源行为，其与诸如事故事件的结果测量相反。可以有助于驾驶员接受的一种选择是提供一种等级系统。在这种等级系统中，驾驶员连续访问数据，车队管理者可以获得汇总的数据，并且，调节机构可以被授予获得汇总数据的权限。因此，在车队驾驶员的情形下，本发明作为一种有益工具可能更有吸引力，不必引起驾驶员对雇主报告的特性的忧虑。
为了能够给出注意力反馈，管理系统必须运转。可以认为疏忽包括困倦/生病、分心以及高工作负荷因素。因此，如图14所示，考虑每一种类型的疏忽的集成模型是优选的。其中，示出了根据本发明构造的一个系统模型，其可以选择性地考虑驾驶员的疏忽、工作负荷以及个人特性(例如困倦和分心)。
在本发明的另一方面，提供了独特的方法，用于向驾驶员显示各种信息或反馈。在连续的注意力反馈情形中，图15(a)至(c)示出了各种＂主动的＂图形显示，用于显示由管理系统检测或生成的实时驾驶信息。举例来说，显示可以是＂通用的＂或者合成的注意力反馈量，例如注意力/分心的水平，它是困倦、分心和工作负荷的组合的检测量。在图15(a)的情形中，示例了没有趋势信息的简单堆叠的灯。在图15(b)的情形中，使用了＂飞机雷达式＂显示，其中，一个方框环绕着当前的高度水平定位，并且能显示＂渐淡＂形式的趋势信息。图15(c)示出了直方图，其中，瞬时的＂实时＂信息被示出为右边的升高/下降的光柱(相对较宽)，预选的持续时间内总的统计数值(平均值，中间值等)由左边的较窄的光柱示出。这样，示出了趋势信息。在图15(c)示出的示例性实例中，示出了五个先前的时段。应当理解的，根据用于显示的控制逻辑和存储器容量，可以显示任何先前的时段。
另一方面，本发明还以与注意力的最佳水平的指示相比较的格式提供了实时的驾驶员反馈。图16示出了这种显示的示例性实施例，其中，驾驶员可以观察他或她相对于最佳注意力状态的分心程度或过载程度。
又一方面，本发明可以用来测量驾驶员疏忽的检测时段，提供状态通知。对于检测到的增加的工作负荷/分心水平，驾驶员然后可以＂问＂(例如通过触摸屏幕)问题是什么，并且接收对所述问题的说明。这种反馈可以示例性地用口头消息的形式和/或图形地提供，如图17所示。其中，在右边示出了表示困倦、分心和工作负荷的三幅图，在左边示出了组合效果，其中指示了相对的驾驶员注意力集中状态。
如上所述，行程报告的方面对于驾驶员学习和行为修正来说是非常有利的。因此，图18示例性地公开且示出了提供屏幕上行程后反馈信息的创新性方法。在该示例性的实例中，已经为行程后反馈选择了从显示屏幕的菜单选择，并且也以历史格式显示了诸如闭眼的百分比、转向一致性等的测量特性。当然，可以有利地记录该相同的信息，用于以后的分析和使用。
上述驾驶员能力还可以用于其他车辆系统的分心适应，例如前碰撞警告、后碰撞警告和车道变更碰撞警告(FCW，RCW和LCW)系统。追尾碰撞大约占汽车碰撞的百分之二十八。因为在这些碰撞的百分之六十以上，驾驶员的疏忽都是起作用的因素，所以碰撞警告及避免系统是减少碰撞并挽救生命的重要工具。本发明的注意力管理系统的一个目的是检测在交通环境下疏忽和安全关键事件一起发生的情形；例如，前方车辆的突然制动和驾驶员眼睛偏离道路的情形。这样的两个实例可以用作视觉行为信息，以适合于前碰撞警告和车道变更警告。
通过根据驾驶员是否与潜在的导致分心的装置或其他类型的任务接合来动态地调节碰撞警告阈值，对量化的次要任务的检测(例如通过检测按钮是否按下或眼睛运动)的整合大大增强了碰撞警告系统。例如，如果检测至驾驶员正在用移动电话进行会话，那么碰撞警告系统可以在更早的时候生成警告。相比于较迟的警告或根本没有警告来说，早期的碰撞警告帮助驾驶员更快速地反应，并避免更多的碰撞。如果驾驶员疏忽于驾驶任务的某一方面，例如，当检测到将可能发生前碰撞时把目光从前方移开，或者是当检测到可能发生车道变更碰撞时没有横向观察，那么，将更早地启动这种情形的警告。研究表明，当驾驶员把目光转向别处时，对于避免碰撞来说，即使早一秒钟的警告也是高度有效的。
如果检测到驾驶员是专注的，那么可以推迟警告甚至取消。延迟发出警告允许有更多的时间用于前碰撞警告和车道变更警告算法，以更肯定地确定需要警告，由此减少误报警。更进一步，当驾驶员注视道路或侧镜时，驾驶员选择不使碰撞警告激活，这样的驾驶员取消也消除了恼人的误报警。
作为一种实施策略，在第一阶段，这种警告可以是＂软性的＂，但是，随着情形恶化，在碰撞即将来临时强度增加。在这种前碰撞警告情形中，可以首先调用抬头警告或屏幕显示警告，当碰撞情形加剧时，稍后结合可听见的报警信号。图19示出了前碰撞情形下的这种警告及其控制参数的实例(其可能向驾驶员显示或不显示)，图20示出的是车道变更碰撞情形下的情况。
可以在其他环境下使用上文描述的关于驾驶员特性的检测特征，并且可以用于除清楚描述的以外的其他用途。检测特征也可以集成以用于其他车辆内系统中。例如，作为被动安全特征，可以使＂智能＂安全气囊能够检测何时驾驶员/乘客的头部不处于适当位置以接收展开的安全气囊。作为响应，可以改变安全气囊的展开，以适应检测出的头部位置。
另一方面，检测出的行为可用来识别驾驶员，或者至少判断出方向盘后的是否是授权驾驶员，由此便于防盗。头部和眼睛传感器还可以用于自动地配置镜子、座位位置等。口形跟踪可用来增强语音识别附件。可以采用用于迎面车前灯的过滤器，其可以基于眼睛位置和运动为驾驶员提供显示。
在描述本发明的过程中，判别设备和步骤是否同时适合于两个模拟环境以及道路试验。然而，两个标准(SAE和ISO)都是基于使用例如照相机和记录器的视频技术，通过人工评定来对注视和跳视进行手工(离线)分类。手工图像录制是费时的并且可能不可靠。因此，诸如本发明所基于的方法的自动方法是优选的。有利地，使用手工地或自动地对眼睛运动进行分类的任何系统，对ISO/SAE类型的检测量的结合与示例性信赖可以依赖。
下面，描述基本的视觉分段的子部分以及两组检测量。基本的视觉分段利用可用的眼睛跟踪系统将眼睛运动分成最小可测量。这些眼睛移动＂块＂表示一个基本单位(base)，所有的基于扫视的和统计检测量都源自此基本单位。总之，它们包括：(1)跳视，限定了从一个感兴趣区域转向另一个时的眼睛快速运动；(2)注视，其提出了眼睛位置的对准或稳定，使得对其进行注视的目标的图像落在中央凹上持续给定时间段；(3)眼睛闭合，其中短持续时间的眼睛闭合称为眨眼，而长的眼睛闭合可以认为是困倦的特征。
为了理解在ISO/SAE文档中使用的检测量，重要的是熟悉对扫视的定义，根据SAE标准，扫视被认为是在目标区域的一系列注视，直到眼睛被导向到新的区域。例如：如果驾驶员最初观察正前方(道路上)并然后看收音机，那么，首先注视其显示然后注视音量控制，他或她执行两次注视(未计数第一次对正前方的注视)和两次跳视，所有这些组成一次扫视。扫视随着离开道路的第一次跳视(此跳视被称为转换)的开始而开始，随着对收音机的注视的结束而结束。图22提供了典型的驾驶员三种扫视系列的分量的图解说明。其中，注视、跳视和转换被量化为几个扫视的分量。
所有基于扫视的检测量都源自这些定义，并且被认为是对眼睛运动的“高水平”描述，其中所述眼睛运动构成先前部分描述的“块”。这些检测量表现出不同的属性，比如分时、工作负荷和视觉注意力需求。ISO和SAE协议中限定和使用的检测量是：(1)扫视持续时间，其被限定为从注视方向朝着目标移动的时刻到它从目标上离开的时刻。较长的持续时间表示此区域中的较高的工作负荷需求；(2)扫视频率，其被限定为在预定样本时间段内或在预定任务期间对目标的扫视次数，其中，每次扫视通过至少一次对不同的目标的扫视隔开。此检测量应当与扫视持续时间一起考虑，因为低扫视频率与长扫视持续时间相关；(3)总扫视时间，其被限定为与目标相关的总扫视时间。这提供了对由目标位置提出的视觉需求的检测量；(4)扫视概率，其被限定为扫视给定位置的概率。此检测量表示与目标相关的相对注意力需求。如果计算一组互斥的、穷尽的目标，那么可以使用这样的分布来进行统计学比较；(5)停留时间，其被限定为总扫视时间减去使扫视开始的的跳视；(6)连接值(link value)概率，其被限定为两个不同位置之间的扫视转换的概率。此检测量表示在不同目标区域之间对分时注意力的需求；(7)离开前方道路景象的时间(＂前方道路景象＂不包括后视镜和侧镜)，其被限定为对前方道路景象的两次连续扫视之间的总时间，并且，其被对非道路目标的扫视隔开；(8)转换，其被限定为眼睛从一个限定的目标位置到不同的目标位置(即使扫视开始的跳视)的眼睛注视位置的变化；(9)转换时间，其被限定为在一个目标位置上的注视的结束与在另一个目标位置上的新注视的开始之间的持续时间。因为在转换期间少有或几乎没有新信息，所以增加的转换时间表明对新的驾驶信息的降低的可获得性；(10)总任务时间，其被限定为任务的总时间，其转而被限定为任务期间从第一次扫视的起始点到最后一次扫视的结束之间的时间。
非基于扫视的检测量是除了ISO/SAE标准中限定的参数以外的可以计算得到的所有其他检测量。两个实例包括：(1)在不同群(例如前方道路景象和移动电话)中的注视位置的平均值和标准差；和(2)在不同群和/或不同任务中的注视停留时间的平均值和标准差。当进行分析时，这些类型的检测量是有趣的，例如，将正常的驾驶与高认知负荷期间(例如如果驾驶员涉及数学任务时可能发生的)的驾驶进行比较。
本发明的总目标是提供眼睛运动的数据分析的自动化，其聚焦于ISO15007-2和SAEJ-2396的方法中规定的检测量，用于相对于运输信息和控制系统来测量驾驶员视觉行为。在本自动化中使用的示例性工具包括眼睛跟踪系统，在此对其进行更详细的描述。有利地，算法和实施系统只需要最少的人机互动，例如数据的加载/保存以及所检测的群和异常值的目视检查。
本公开内容的起始就表明，使用可用的检测系统则自动分析是可能的，特别的研究结果显示所有的检测量高度相关。在此实例中，使用滑动十三样本中间值窗口滤波器对信号进行滤波以减少噪声，消除一些异常值和眨眼。开发了速度阈值算法，以将跳视从注视中区分开(平滑跟踪被认为是注视)，并且，对群的人工界定为扫视分类提供了基础。所述步骤需要明显的操作者输入和注意力；例如，信号需要被滤波，并且人工地识别异常值、短时注视以及其他假象。由于发明已经进化到本公开内容的程度，省去了这些操作者时间密集型的步骤。
开始时，中值滤波器的带宽并非对于所有受试者来说都是最佳的；其长度必须与噪声水平成比例。作为响应，采用不同的滤波方式和参数。此外，众所周知的是，速度算法对噪声很敏感。由此，将阈值设置成340度每秒，其基本上高于跳视开始和结束的速度。为对此进行补偿，还对跳视之前和之后的两个样本进行标记以获得跳视速度。由于跳视在幅度和峰值速度方面不同，所以它们的加速度也不同。因此，此前导方法提供了对跳视开始和结束的良好近似。因此，当前描述的本发明的目的是为跳视/注视识别提供稳健且更精确的技术。
此外，识别出对自动识别扫视目标区域和扫视的聚类技术的需求。一个目的是以自动的方式消除异常值及其他假象，而不是借助于常规的人工判定。
当设计检测算法时，理解此处公开的数据的来源和属性是重要的。因此，对可用数据和用于获得该数据的技术平台进行描述。
对于本发明，附图的图23提供了示例性的离线分析算法的总体框图。在左上侧的方框输入原始眼睛运动数据，在所述方框中执行数据预处理。示例性地，这种预处理包括抑制噪声、假象和眨眼的中值滤波器。而且，在此功能阶段去除了所有的非跟踪数据。
较大的中间方框表示一个示例性算法，如图所示，是两种常用的数据处理算法(双阈值速度检测，基于分散和规则的检测)之间的混合处理法。如中间方框的右边部分所示，施加的视觉规则是基于已有的限制或视觉行为某些方面的参数，例如注视的最小长度(相对于时间而言)，其一般由人类视觉能力限定。混合算法内的底部方框表示自适应聚类算法，其基于注视中的一个或多个特性来对注视进行聚类，并且实际上，随着被采样的扫视数量的增加，其使得各群倾向于“浮动”到位。
混合算法内的上部方框所表示的双阈值速度检测算法是基于眼睛运动速度(度/秒)。参照图24，高阈值(顶部、平坦的虚线)将注视从跳视中区分开来，在所述注视之间具有低速度。下方的点划线表示实际眼睛移动量(示出为沿一个方向)，并且，带尖峰的实线表示其导数或者眼睛移动速度。一旦检测到跳视，那么低阈值(长短相间的线)用于确定起点和终点。使用两个阈值的原因是为了避免由跳视检测所引起的噪声触发。然而，应当理解，随着噪声的增加，此协议中的误差也随之增加。
除了跳视检测以外，分散协议也与视觉规则结合使用。该规则确定何时检测出的跳视和注视不是正常的；即，它们限定的数据有些超出指定的分类(跳视和注视)的可接受的范围之外。
这样的规则的实例可以是：注视的持续时间不超过150毫秒，跳视是通过一些预定的短时段来测量的。而且，跳视不能回到其开始时的同一区域。每当施加这些规则来将注视改变成跳视的部分，或者将跳视变成注视的部分时，分散算法确定将如何处理这种情形。例如，如果检测到对相同目标的两个连续的注视之间存在一个60毫秒的跳视，那么，可以推断出它可能是由跳视检测所触发的噪声。通过分散协议来确定其是否是噪声。如果两次注视彼此相距一定的距离(分散阈值)，那么，它们是同一注视的一部分，并且将跳视变成注视的一部分，否则，其很可能是正确的检测。
混合算法的主要概念是，它自动地偏置＂决定＂，处理算法(或其一部分)将基于当前的噪声水平而施加于数据。如图25所示，高质量的、噪声相对较少的跟踪数据将主要使用双阈值速度检测来处理。数据噪声/质量的平均值或中间值的存在增加了数据的分散检测处理的影响。最终，如图25的右侧所示，当数据富含噪声且质量较低时，影响了注视的恢复。通常，这种低质量的数据或含有噪声的数据将只有暂时影响且并不适用于全部的数据流。在部分数据的质量较低的情况下，通过对相应的数据进行精确滤波可以对该部分数据进行恢复，以观察其是否可以＂平静＂(平滑)到足以在极端的噪声情形下辨别视觉行为。当更严格滤波后的输出结果通过了＂有效性＂规则时，通过对大量处理过的部分的“替换”来完成恢复，其中，经过更缓和地滤波后的数据不能通过前述＂有效性＂规则。
当完成对所有注视和跳视的检测时，数据被输入至聚类算法，所述聚类算法基于所执行的聚类分析的结果来识别扫视，下文对其示例性的细节进行了详细描述。
图26示出了混合算法，其用来执行实时跟踪数据处理。从知觉系统中获得典型为任何数据流形式的原始跟踪数据，所述知觉系统涉及头部和/或眼睛的定向与运动。因为是在实时的基础上进行处理，所以，如果其不能满足规则的要求，就无法再利用数据用于任何进一步的滤波。无论什么时间，最可能的数据都必须可以获得。因此，实时混合算法基本上对同一数据进行两次一前一后的处理。如图26所示，在上方使用标准滤波器对源数据进行处理，同时在下方使用更严格的滤波器进行处理。同时，经过不同滤波处理的源数据利用规则集进行处理。通常，施加到每个滤波后的数据流的规则是相同的，但是，取决于各自的滤波特性，可以特制每个规则。
从两个规则处理中的每一个规则处理产生数据流。从图26中可以看出，两个输出的滤波后的数据流的特征是不同的。优选地，标准滤波器在平滑数据方面已经相当缓和，并且，施加到数据流的规则集致力于确定正在发生的有效注视或跳视。如果没有满足规则，那么没有数据流输出。从图26的右上角可以看出数据的空白。存在一种可能，即，只是在数据流中存在过多的噪声，使得无法满足所施加的规则。
在此全部时间内，还利用上述严格的滤波器来处理数据。典型地，该严格的滤波器显著地＂平滑＂数据，尝试去除噪声。输出的数据可以不那么尖锐，但是当相同的规则施加于更高频滤波后的数据时，其中所述数据对应于不遵守规则的标准滤波数据部分的空白区域，跳视或注视特性是可辨别的。当是这种情况时，规则通过，并且获得数据的有效特性。此高频滤波后的数据的规则通过部分(对应于空白的不能通过规则的较低滤波的数据区域)可以并入已经通过标准滤波的输出流。这在图26中示出为汇集处理的数据流。
汇集的数据流虽然可能具有其中被不同滤波的数据流都不能通过规则的较短的空白部分，但是如果源数据具有可接受的质量(无噪声)，一般来说其基本上是相连的。也就是说，非常低质量的数据永不会是可接受的，并且通常不能被滤波或者处理以使其可接受。但是如果源数据除一些不符合标准的部分以外大致是可接受的，用于处理实时跟踪数据的示例性混合算法产生汇集数据的输出流，该汇集数据的输出流由适合于诸如聚类和密度分析的进一步处理的可分类注视和跳视组成，如这里更详细描述的。
图27提供了算法的代表性示意图，该算法涉及描述数据收集、在位置上注视或偏离位置注视分类，以及对分类的数据进行聚类。
位置可以是感兴趣的任何位置，例如位置可以包括：道路中心，驾驶员后面的位置，驾驶员左边或右边的位置，后视镜，侧镜，中央控制台，汽车附件(例如收音机，车窗开关，导航系统)，个人附件(例如手机，PDA，膝上型电脑)，或乘客(例如汽车座位或后座位上的孩子)。以上列表并不包括所有，并且其用来仅示出位置的一些实例。如上述实例可以看到的，位置不是固定的，而是可以随时间变化，例如，当位置是移动电话或PDA时，当用户拨打电话、接听电话、检查呼叫方ID、检查收到的消息或发送外发的消息时，该位置随时间变化。
在一种构造中，数据处理过程开始于确定是否可以将注视分类为在位置上注视或偏离位置注视。此外，如果需要，还可以基于对在位置上注视的确定来确定偏离位置注视。例如，如果将数据分类为在位置上注视，那么数据就如此进行分类。如数据未被分类为在位置上数据，那么此数据就可以被分类为偏离位置数据。此简化的主要优点是：在离开道路的扫视期间，由于可以忽略注视偏离位置，所以能够允许更低的数据质量。
此外，与以前的解决方案相比，此构造提供了对行为运动的更稳健的估计，以前的解决方案需要处理驾驶员看非中心位置(即偏离位置)时的信号部分。例如，可以忽略未被分类为在位置上注视的行为运动并将其估计为偏离位置注视。
结果，当前的构造降低了对技术上的需求，并且允许更简单且更便宜的测量装置。例如，可以使用更少的、技术上较不先进的测量装置来降低实施系统的成本。同样地，可以使用较不强大的处理器来处理从测量装置获得的信息。
由于只涉及测量装置提供最佳性能的区域，因此确保了高质量的测量。例如，对道路中心注视的测量可包括基本上直接放置在驾驶员前方的测量装置，如图28所示。从驾驶员没有观察道路时的情形推断出离开道路的扫视。在另一个实例中，对后视镜注视的测量可包括放置在后视镜内或后视镜周围的测量装置。
图29提供了道路中心区域概念的示意图。应当理解，道路中心概念适用于对驾驶员意识的离线后续收集分析，也适用于对驾驶员意识功能的实时分析。
RC区域的精确位置是重要的，因为由测量装置所测得的实际道路中心群应受到预定的RC区域的限制。因此，RC区域的位置可以有利地实时连续调节。关于前方景象(从驾驶员的角度来说)中的RC群和其他群的相对几何位置的先验信息还可以用来进一步增强对RC区域位置的估计。
可以有利地调整道路中心区域的尺寸和形状，用于其预期的应用中。此外，当希望以高灵敏度来测量与不同道路特征相关的不同视觉行为时，以及当要实现特定功能时，可以用重叠的方式限定多个RC区域。例如，由临界安全实时应用来限定和使用大的RC区域，其中，所述实时应用需要确切地知道何时驾驶员正确定地把目光从道路上移开。另一个应用同时对偏离道路扫视感兴趣，但是其使用了较小的区域，以便捕捉更多的偏离道路扫视。
下面的表格呈现了ISO检测量以及相应的RC近似值的综述：
 
检测量(眼睛、头部、6DOF、身体) 缩写 定义 相应的ISO 15007检测量(眼睛、头部、6DOF、身体) 
非RC扫视的频率   NRC__GF 在兴趣间隔期间离开RC的扫视数量           扫视频率
(平均)非RC扫视的持续时间     NRC__GD 在兴趣间隔期间非RC扫视的平均持续时间 平均单次扫视的持续时间          
时长大于2秒的非RC扫视的数量 NNR__2 在兴趣间隔期间时长大于2秒的非RC扫视的数量 时长大于2秒的扫视数量         
总的非RC时间     TNRT 在兴趣间隔期间注视被导向离开RC的总时间   总的扫视时间
大部分当前可用的头部/眼睛测量装置测量头部运动比眼睛运动更为稳健(当受试者的目光从传感器上离开时，头部运动更易于跟踪)。在本发明的一个实施例中，通过同时关注头部运动的方向(并因此估计出眼睛沿某一方向运动的可能性)，这些头部运动可以用来提供对测量的眼睛运动方向的更好估计。在另一个实施例中，头部运动提供了对眼睛运动方向的估计(即，当对眼睛的跟踪不佳或者根本没有跟踪时，头部运动用作眼睛运动的近似值)。诸如俯仰、横摆以及摇晃的关于转动运动的头部运动可以被测量，还可以单独或者与诸如起伏、横移以及前后移动的位置运动一起测量。三个转动运动和三个位置运动一起称为六自由度(6DOF)。
当分析6DOF时，一般通过三个头部转动分量(Pitch(俯仰)、Yaw(横摆)以及Roll(摇晃))和根据笛卡尔坐标系的X、Y、Z轴的三个头部平移分量(Posx，Posy，Posz)来描述头部运动。可以将这六个分量组合成完全描述头部运动的头部运动信号HMOVE。
优选地，对此六个信号分量中的每一个都进行预处理，以去除测量噪声和驾驶员的长期姿势变化。实现这点的一种方法是使用高通滤波器来去除长期的姿势变化并使用低通滤波器来抑制或至少削弱信号噪声，所述长期的姿势变化自然是低频的。当然，这两者也可以由适当的带通滤波器来实现。
在该预处理之后，例如，总的头部运动的全局测量可以根据等式(1.1)被表示和计算为所述6个自由度及它们对时间的一阶和二阶导数的函数：
(1.1)
Figure A200780021720D00491
&PartialD; &PartialD; t Yaw , &PartialD; &PartialD; t Roll , &PartialD; 2 &PartialD; t 2 P os x , &PartialD; 2 &PartialD; t 2 Pos y , &PartialD; 2 &PartialD; t 2 Pos z , &PartialD; 2 &PartialD; t 2 Pitch , &PartialD; 2 &PartialD; t 2 Yaw , &PartialD; 2 &PartialD; t 2 Roll )
对于不同的应用，可以对此一般函数或模型进行不同的选择和调整。例如，可以根据等式(1.2)来限定全局的头部运动测量：
(1.2)
HMove = A * pitch 2 + B * yaw 2 + C * roll 2 + D * Pos x 2 + E * Pos y 2 + F * Pos z 2
并因此决定所述测量的灵敏度。在另一个实施例中，身体位置能用来提供对测量的眼睛运动的方向的估计。通过同时关注身体的方向(并因此估计出眼睛沿某一方向运动的可能性)，驾驶员身体的定向可用来提供对测量的眼睛运动和头部运动方向的更佳的估计。在另一个实施例中，身体运动提供了对眼睛运动方向的估计(即，当对眼睛或头部的跟踪不佳和/或根本没有跟踪时，身体运动用作眼睛运动的近似值)。
取决于测量装置的特性，可能需要另外的信号处理或者说该另外的信号处理有益于应对在位置上/偏离位置分类不正确的情形。例如，眨眼可能被测量装置偶尔误解为向下看。能够以各种方式来应对此情形，例如，通过采用滤波器，所述滤波器忽略小于指定时长的扫视，因为其时间太短，因此不可能是实际的自然扫视。此滤波器可以对测得的信号或者二进制的在位置上-偏离位置分类信号进行操作。该滤波器操作适用于离线和在线(实时)分析。
从远程测量装置输出的是表示行为运动的角度、幅度和/或方向的测量信号。此处，通过采用上述方法，这些信号用来对信号的每个样本进行在位置上/偏离位置分类，参见图31。
分类步骤的结果(输出)是分类信号，该分类信号确定在每个样本(或时间单位)中眼睛/头部/面部是被导向为在道路上还是被导向为偏离道路(即RC区域)。在操作上，这通过关注每个样本(或时间单位)中的测量注视点(或头部/面部方向坐标)到RC区域的原点之间的欧氏距离来完成。如果结果落入由RC区域限定的周界/边界之内，那么它就属于on-RC(在RC上)区域并被分类为on-RC类，否则它将被分类为属于off-RC(偏离RC)类。
传感器偶尔会失去对驾驶员的跟踪(即，没有测量眼睛/头部/面部/身体运动)。在大部分情况下，由于驾驶员把目光从道路上移开，将出现这种情况，并且，失去跟踪将被解释/分类为偏离道路扫视。取决于失去跟踪事件的性质(例如持续时间、幅度等)，可能有必要利用专门的滤波器来处理跟踪的丢失。
图32a和32b示出了最后的分类结果如何可以被过滤以去除朝向位置或离开位置的反常扫视的实例，在图32a中示出了原始分类，在图32b中，时长非常短的扫视(短于20个样本)已经被过滤或忽略，即，被重新分类为属于＂主＂扫视。
当估计的位置和由驾驶员对位置的注视所形成的实际群没有对准时，当注视被在位置的边缘上导向时(因此，尽管注视差不多是在空间内的相同位置处被导向，结果在位置上/偏离位置之间交替)，分类步骤中可能会引入误差。这主要通过与图32a和32b所示的相同的方法进行管理。
关于头部运动和眼睛运动的生理学的先验知识也可以用来进一步增强算法的性能。跳视转换的速度和最小停留时间可以提供生理基础(或动机)用于确定哪些扫视是正确的，从而对由所述算法形成的实时分类实施真实性测试。
当前的二进制的在位置上/偏离位置分类可以被扩展成允许有若干感兴趣的区域。
在进行分类后，计算上述的扫视频率和扫视持续时间检测量仅涉及分别计算分类信号中的ON和OFF间隔的数量。扫视持续时间也通过关注以相同方式分类的各连续片段的起点和终点来进行计算。
图33a和33b提供了扫视行为的说明性实例，在图33a中，圆圈示出道路中心区域所处的位置，并且图表化地示出了驾驶员观察到的前方景象的道路。图33b表示同样的视图，但是增加了时间轴。
在相关的方法中，对于测量装置在较大区域中提供了非常良好的注视或头部跟踪能力的情形，通过关注环绕实际道路中心区域的较大区域，可以扩展测量区域。在这种情形下，额外的测量可以提供额外的稳健性，如图34所示。
图35提供了实时算法的替代方案的代表性示意图，其涉及数据的预处理、道路前方识别、聚类以及混合算法的应用，它们一起最终产生有意义的输出检测量。
在此构造中，数据处理方法开始于自动初始化，该自动初始化查找什么被定义为前方道路景象，这通过形成密度曲面来完成，其中，驾驶员沿某一方向观看的时间由在此区域内的注视密度来描述。例如，驾驶员注视一个区域越多，则注视密度在所述区域内也增加得越多。可能发现驾驶员的大部分注意力位于被称为前方道路景象的中心；如图30所示，在此区域的中心将存在＂注意力尖峰＂。在此示图中，当驾驶员面对挡风玻璃时，升起两个尖峰的平面应当垂直于驾驶员的面部。高尖峰表示前方道路景象，而低尖峰表示集中点。在映射型(mapped)实例中，受试者被要求改变导航系统的语言，这就是低尖峰所表示的情形。
在驾驶期间，高(左)尖峰逐渐建立，并且在大约两分钟之后，峰值道路中心(PRC)位置稳定。道路中心区域被限定为此山体的基部，并且尖峰被限定为中心。该基部被认为具有95％的置信度值，该置信度值是基于山体为高斯形状且平均值是峰位置的近似而计算的。一旦完成这个，可以检测出离开道路前方位置的扫视，并因此可以使用如下所述的峰值道路中心的定义来计算注意力和驾驶员工作负荷。在识别道路中心的概念的进一步发展中，利用纯数学的平移和转动以及信号滤波器来执行数据的预处理。由于眼睛-注视是源自眼睛之间的一点的向量，所以其变得取决于头部的位置。驾驶员视野内的每个目标都可以由从驾驶员的眼睛的视角进行定位。然而，该角度与驾驶员的头部位置和转动高度相关，其转而取决于驾驶员的身高以及优选的驾驶位置。不同的头部位置/转动影响注视信号以及头部运动的性质。为了使这些影响最小化，头部位置被归一化为参考位置，有利地将其作为大部分驾驶员的近似平均位置。如图36所示，这通过位于驾驶员前方的理论镜像平面来实现。
其中，通过此平面，测量的注视和头部角度被投射到静态或参考的头部上。在此实施例中，在所述算法中使用的是静态头部的注视和头部角度。
当注视置信度较低时，例如，当眼睛闭合时，算法自动地切换至头部定向并且使用面部向前的方向，好像它就是注视向量。然后，将结果信号提供给此处描述的混合算法，并且通过注视密度函数定位道路中心。在以大于70公里/小时的速度正常驾驶的情况下，初始化步骤费时大约二十秒。在此具体应用中，道路中心定义为一个椭圆，20度乘40度，由正前方视野的密度函数估计定心。然而，道路中心几何结构可能取决于速度和/或环境。
上述椭圆对于在具有中量交通的双车道高速公路上的高于70公里/小时并低于大约120公里/小时的速度来说是理想的。对于一些环境(如以不同的速度行驶)以及对于其他应用场合来说，其他的几何结构可以工作得更好。长扫视持续时间(即时间延长的一次扫视)的测量以20度的水平范围看起来工作得更好，所述20度的水平范围由注视密度函数垂直地定心。
道路中心限定了驾驶员视野中仅有的世界目标(world object)。驾驶员要么看道路中心，要么不看。当注视恰好在道路中心的边缘时，使用转换延迟以避免闪烁信号。对于要记录的转换来说，注视必须在两个目标中的一个(在道路上或偏离道路)保持恒定100毫秒以上。
一旦道路中心有效(即注视密度函数稳定)，那么PRC(这里所用的意思是峰值道路中心或百分比道路中心)将开始计算。出于必要，每当没有源跟踪数据时，算法暂停。更进一步，以及优选实施例，每当车辆速度低于65公里/小时使算法无效。这还将PRC的值重置为80百分比。
在PRC算法方案的一个版本中，maxPRC参数防止PRC爬升到高于80％。这是在正常驾驶期间稳定PRC的简单方法(对于一些受试者来说，正常的驾驶在75和85百分比的近似PRC值之间变化)。使用此约束，对于一定数量的扫视，PRC将总是(从PRC 80％)减小至某一水平。对于minPRC和认知分心来说也是同样的原因。
使用短的PRC窗口(3至10秒)来指示分时行为，即两个目标区域之间的多次扫视。使用分时行为指示来在行为结束时(例如辅助任务结束时)将PRC重置为80％。
可以示例性地向驾驶员给出三种不同的警告/反馈。即使PRC低于阈值，也不给出警告，直到驾驶员把目光从道路上移开(认知警告是其例外)。在视觉分心的情况下，当受试者稍微分心时(即当PRC低于65％时)到达反馈(tickle)水平。在10秒钟的时段内，给出最多两次的警告，并且只有当驾驶员把目光从道路上移开时才给出。即，当PRC已经低于65％后，将对最先的两次离开道路中心的扫视发出警告。当受试者严重分心时(即当PRC低于58％时)达到另一个警告水平。在此情况下，在发出此警告之后立即将PRC重置为正常驾驶，即80％。
在认知分心的情况下，当驾驶员认知上分心时(即当PRC大于92％时)发生认知警告。然后，将PRC重置为80％。每当对道路中心以外的扫视持续超过四秒钟时，发出长扫视(离开道路)警告。
采用时间窗口可能不是最佳方案。一分钟的时间窗口具有一分钟的历史，因此，驾驶员半分钟前的行为将影响PRC以及当前的任务。如果驾驶员调整收音机的频道并且因此对收音机扫视四次，那么，他将至少在半分钟内受到这四次扫视的影响，也就是说，即使驾驶员回到正常驾驶(这时假定任务最多持续30秒)，PRC将在至少30秒的时间内保持较低。存在多种方法来处理此问题。
一种方法是使用具有衰减因子(dampening factor)的短窗口(以获得大致相同的窗口动态)。另一种方法是每当任务完成时清空时间窗口。更进一步，可使用例如3-15秒的更短的时间窗口来确定任务是否正在执行。
分时检测器可以用来确定PRC-Sum(通常是时间窗口内所有对道路中心的扫视的总时间)是否应当忽略在道路上的扫视；即，在执行任务时，PRC-Sum与偏离道路中心的扫视时间成比例地减小，但是忽略对道路中心的扫视时间，因此给出了与窗口一样的总和的动态。
当前算法的另一个问题是眨眼经常被解释为朝向仪表群向下扫视。由于注视信号的性质稍微不同，所以标准的数据滤波将不能滤出眨眼。提出的解决方案包括使用眼睛睁开信号来确定其是眨眼还是扫视。当程序处于＂非延迟模式＂时，这需要在记录数据中存在眼睛睁开信号。替代方案是设计眨眼检测器。眨眼时间太短无法成为扫视，因此能在滤波器中被阻止。然而，这将给系统引入至少150毫秒的延迟。
将上述算法调整为用于以大约70—120公里/小时的速度行驶时的中等交通高速公路。存在多种方法来使算法适合于不同的速度和环境。一种方法是使道路中心区域适合于速度和环境。随着速度减小，道路中心区域将主要沿水平视场尺寸增大。道路中心增加使得在此速度和环境下的正常驾驶具有大约80％的PRC。有两种方法来完成此这一点。一种方法是在线地适应各驾驶员。另一种方法是为不同的速度和环境提供预定的道路中心几何结构。再一种方法是对于特定的速度和环境根据正常驾驶的PRC水平来调节警告阈值。又一种方法是提供对环境或至少由驾驶行为所指示的环境的描述。
一个限制是如果驾驶员的头部转动偏离道路中心超过大约60度(即，如果驾驶员看他的肩部或者看侧面以观察在相邻车道上是否有汽车)，算法将失败。可使用模式识别来填补此类空白。
除了直接警告以外，PCR可用来使第三方系统有效/无效，或将其设置为不同的模式。例如，PRC可用来将前碰撞警告(FCW)系统设置为＂敏感＂模式，并且即时的眼睛观察道路中心信号可用来确定是否应该使警告有效。其还可以用来调整自适应巡航控制(ACC)控制回路的时间间隔(增减安全距离)，或使其他的警告和系统有效/无效。
此处概括的多个检测量使用了道路中心点(RCP)的参考计算。例如，从例如三分钟数据的分段眼睛运动数据集(分段为注视、平滑跟踪和跳视)中计算出垂直和水平道路中心点。首先，每个注视数据点被加入到垂直和水平空间(bin)；例如，空间的尺寸是0.98度乘0.98度(对于正前方或零点+/—30度的范围内为128乘128)。接下来，将空间的模(空间内的最高频率)设置为垂直和水平道路中心点。图37—40更完全地描述了这些基于数据点的测量，其中，基于驾驶员眼睛位置的样本密度来识别道路中心点。在这些附图中，示出了在直行双车道高速公路上正常驾驶条件下的眼睛运动。数据集中于道路中心点周围，并且基于此将道路中心点设置为零。单位频率表示每个空间内的总频率的百分比(一个空间等于0.98乘0.98度)。向左和向上的眼睛运动为正，向右和向下的眼睛运动被示出为负。
对于移动时间窗口(例如，具有60赫兹更新频率的一分钟时间窗口)内的每个步骤进行下列计算。将时间窗口内的每个注视数据点分类为要么是表示＂道路中心的＂1＂要么是表示＂非道路中心＂的＂0＂，基于是在限定的道路中心区域内部还是外部进行区分。例如，通过如下方法计算道路中心区域，即，选取角度/弧度为单位的离道路中心点的距离并且设置一个截止阈值，例如以八度为半径环绕道路中心点。那些落入截止阈值内的注视数据点被分类为＂道路中心＂，而那些落在阈值外的被分类为＂非道路中心＂。在此实例中，截止阈值限定道路中心区域的形状。
还可以用其他的方式限定道路中心区域，作为对使用半径截止阈值的替代。例如，道路中心区域可以被限定为非对称的形状。当在弯曲的或者繁忙的道路环境中驾驶时，非对称道路中心识别是有用的。限定非对称形状的一些方法是：(1)可以以每个空间内的频率设置阈值水平，例如，如图39所示的水平道路中心区域线。如图38示出的几何形状是其结果；(2)例如，道路中心区域可以被限定为偏离道路中心点的一个或两个标准差中的数据。可以基于距离中心点的半径限定标准差，或者是分别地基于垂直和水平分量限定标准差。垂直/水平标准差的定义将使要计算的形状为椭圆；(3)在弯曲的道路环境中，大部分注视数据点集中于车辆未来的轨迹周围。瞬时路径轨迹通常从车辆横摆率计算出(或基于方向盘角度进行测量)。此曲线路径轨迹(转换为视角)可用来限定有效的＂在轨迹上注视＂的区域。例如，此轨迹可用来限定与车辆路径相距一定距离的范围内的注视的＂在轨迹上区域＂。因此，能够以与上述的相同的方法来计算PRC、A-PRC以及PLG，用在路径上区域(ON Path Area)代替道路中心区域(Road Center Area)。最后，通过将道路中心数据点的数量除以窗口内的注视数据点的总数并且将结果乘上100来进行百分比的计算。因此，该百分比的计算忽略了跳视和缺失数据。
在与以上相同的时间窗口内，将道路中心绝对百分比(A-PRC)计算为与给定PRC值之间的绝对差(例如，与正常驾驶的PRC值之间的绝对差)。图3示出了A-PRC与一些其他常规的分心检测量的比较。
在与以上相同的时间窗口内，将离开道路中心的长扫视百分比(PLG)计算为注视数据点的百分比，所述注视数据点的百分比在一定(PLG)计算为注视数据点的百分比，所述注视数据点的百分比在一定的时间阈值(例如，如图4所示的两秒)内被分类为扫视(如SAEJ-2396标准限定的扫视)。
在与以上相同的时间窗口内，根据标准差公式计算与道路中心模之间的标准差(SD—MRC)，但是，存在一个例外，即，平均值用模值取代，如下所示：
DistRoadCenter＝sqrt(((VerticalPos-VerticalMode){circumflex over()}2)+((Horizontal-
HorizontalMode){circumflex over()}2))
SD-MRC＝sqrt(sum((DistRoadCenter){circumflex over()}2)/length(NonFixation-s))
在与以上相同的时间窗口内，将车辆外百分比(POV)计算为落在车辆外的注视数据点以及落在后视镜或侧镜上的注视数据点的百分比。以角度或弧度为单位将车辆的内部限定为几何区域。
收集了与本发明相关的实例数据集。在模拟器环境下，利用7.5mx2.2m的＂投影墙＂屏幕，进行了验证研究，所述屏幕具有111度的视角并具有2456X750@48Hz的分辨率。十四名受试者参加了该研究和各种车内任务，例如使用移动电话，切换广播电台等类似动作。对数据进行收集，并且所述数据还可以是根据ISO15007-2方法(ISO1999)的视频录制格式。在称为GIB-T警戒研究(GIB-T Vigilance Study)中，在上述环境中进行同样的模拟，并包括十二人在轻量交通环境中在四车道高速公路上驾驶。每个人参加两次机会，人们在正常条件下驾驶三十分钟并且在大约二又四分之一小时内不能睡觉；使用录像机记录结果。该组是有十六名受试者参与的更大的在道路上实验的一部分。在三十公里的驾驶和大约十五分钟的正常高速公路驾驶期间，每个人执行各种车内任务。
跟踪系统有能力跟踪头部位置和角度以及相对于固定坐标系的注视角度。跟踪系统使用立体视觉；即，定位于受试的驾驶员前方、在仪表群前面但在方向盘后面(如图41所示)两个照相机，用于跟踪头部位置和注视。替代地并且优选地，如图28所示，也可以使用单个照相机。这是对所描述的其他现有眼睛跟踪系统的相当大的改进。与基于视觉的策略相比，使用此技术的折衷是注视估计精度稍差(±3度)，低于使用某种角膜反射的系统(±1度)。这些其他类型的基于视觉的系统只取决于视觉，并不能很好地工作。当前公开的系统的一个相当大的优点是它同时输出头部和眼睛向量。
所采用的系统使用模板匹配算法来查找面部特征，比如眉毛、嘴角和眼睛。每个模板都被认为是3D刚体面部模型的一部分。当在两个画面中发现若干特征，使用模型转动和平移的最小二乘优化来计算头部和眼睛的3D位置。此问题的解决方案偏向于良好跟踪的点，这使其相对于杂音、噪声和透视畸变来说比较稳健。此外，使用卡尔曼滤波器来降低噪声并在下一次迭代中预测头部姿势，这减少了下一帧的计算时间。
注视估计是基于头部-眼睛位置。使用对眼球转动中心和虹膜中心的测量，注视被计算为通过此两点的光束。当两个眼睛都可见时，注视方向被计算为两个向量的平均值，否则只使用可见的眼睛的光束。如果没有检测到任何一只眼睛，例如当受试者的头部转动超过约六十度时或者当眼睛闭合时，面部法线用作注视方向。
使用闭眼检测算法来确定受试者何时眨眼。由眼角之间的距离所衡量的上下眼睑之间的距离用作闭眼的检测量。为了计算此距离，系统使用边缘检测器，然后使用近似的抛物线，每个眼睑一个，所述抛物线通过两个眼角。闭眼检测量和其它一些检测量(眼睛图像区域的垂直光流，区域瞬时变化率，眼睛巩膜彩色像素量以及眼睛模板相关系数)随后加权在一起(weighted together)，并且阈值确定受试者何时眨眼。
系统输出许多信号，所述信号的几个实例包括但不限于：(1)在本情形下，注视信号＂gaze_rotation_raw＂和＂gaze_rotation_final＂是相同的信号，因为在所有的研究中滤波器参数都被设置为零。该信号由两个方向(俯仰和横摆)组成，以弧度给出。(2)＂gaze_confidence＂信号提供用于注视估计算法的置信度检测量。(3)＂head_position_filtered＂和＂head_rotation_filtered＂唯一地确定头部的3D位置和转动。对于＂head_position__raw＂和head_rotation_raw＂也是如此，因为在可用数据中所有滤波器参数都被设置为零。(4)＂跟踪＂状态指示系统是处于跟踪模式还是搜索模式。(5)＂眨眼＂指示受试者是否眨眼。(6)＂时间＂是与每个估计相关联的CPU时间。
注视信号中的信息量好像一点也不恒定，而是随着时间变化。在记录期间，存在偶然的朝着不可能聚焦在此点(例如受试驾驶员的膝关节、车辆的内顶板等)的目标的扫视。这些扫视中的一部分可以称为未检测的闭眼，其导致注视信号的偏离(dip)。系统还可以对不同的光照水平敏感。它能够处理背景照明的变化，然而，不能处理背景照明的快速变化，例如当车辆从阴暗的道路驶入阳光充足的道路时。结果是噪声水平较高，且有时几乎不存在信息量。由于镜头眩光，直接进入照相机镜头的阳光使信号过于嘈杂。偶尔这会导致失去跟踪数秒。
毫无疑问，眼睛闭合导致上述闭眼期间的＂偏离＂，眼睛闭合导致近似失败(如前文所述)。在俯仰信号中偏离十分明显，约30—40度，但是在横摆信号中也可察觉到。典型的眨眼持续大约300毫秒，然而偏离却只持续大约100毫秒。因此，直到眼睛几乎闭合，估计都不会失败。使用中值滤波器在预处理阶段容易地去除了偏离。在示例性实施例中，系统简单地排除由眨眼信号指示的眨眼部分，并且在上个已知的样本和本次第一个新样本之间进行线性插值，如图42所示(其中眨眼已进行插值)。结果是去除了通常约300毫秒的数据的显著部分，并且用某种程度上更反常的表示(即直线)来取代。由于眨眼通常发生在跳视期间，所以不能进行适当的测量。为了进行精确的测量，重建这些特征是有利的。
眨眼信号并不总是与实际情形一致。这很明显，根据眨眼信号，受试者执行任务时从不眨眼，但实际上大家都知道眨眼肯定发生过。在示例性系统中，受试者移动他们的注视越多，则眨眼信号越不精确。
注视置信度信号可用来克服上述缺点的很大一部分。然而，经验表明，信号质量和注视置信度检测量并不总是相关的。其不但对于不同受试者来说差别显著说而且对于采自相同受试者的不同样本来说也差别显著。此外，对于每次眨眼，置信度检测量下降至零。在未检测眨眼的情形下，不能肯定事件就是实际的使置信度降为零的眨眼，或者是假象。由此，不能绝对地依赖置信度信号。
事实上，系统的计算速率是＂大约60赫兹＂，取样间隔不是恒定的，而是取决于每帧的计算时间。然而，在示例性系统中，时间能够以秒和毫秒计量，同样，计算延迟信号能够以毫秒计量。延迟为大约150-200毫秒。
最后，不同的受试者具有不同的面部特征，使得他们或多或少地适合于基于系统的测量。具有良好对比度的面部特征通常具有良好的数据质量，在照相机视图中定心的正确的头部位置也是如此。
变化检测算法的设计总是需要在检测出真实改变和避免误报警之间进行折衷。变化的噪声和信号属性使得灰色区域更大。因为信号质量变化，想法是使用自适应滤波器来克服此问题。一般地，当使用自适应滤波器时，它是适合于使用某种估计处理(例如，最小均方(LMS))的信号的滤波系数。然而，数据信号证明具有诸如改变的信息量和奇怪假象的特性，这使得它们不太适合于这类应用。而是，开发了使用两个预处理中值滤波器的混合算法。在此章描述了离线算法和实时算法。但是，首先简要描述通常用于眼睛运动分段的一些不同的算法。
Salvucci和Goldbergr的作法已限定于＂Identifying Fixations andSaccades in Eye-Tracking Protocols(在眼睛跟踪协议中识别注视和跳视)＂，其中收集了几种用于识别跳视和注视的不同技术。
基于速度
速度阈值识别(VT-I)
HMM识别(HMM-I)
基于分散(dispersion-based)
分散阈值识别(DT-I)
最小生成树(MST)识别(MST-I)
基于区域
感兴趣区域的识别(AOI-I)。
因为已经在VT-I方法的基础上进行了验证工作，所以第一个方法使用DT-I方法来进行。DT-I算法被认为十分精确且稳健，然而，此处使用的眼睛跟踪器的不精确和噪声使得其不太适合。由于噪声和尖脉冲，识别出跳视，并且由于信号的性质，例如在注视变得或多或少稳定之前的偶尔偏移，注视的开始/结束是不准确的。另一个问题是平滑跟踪，当平滑跟踪被认为是一次注视时，这导致算法失败。因此，分散法不能单独使用。
另一方面，HMM-I利用概率分析来确定最可能的识别。HMM-I中的HMM模型是两状态模型。第一状态表示高速度跳视点；第二状态表示低速度注视点。给定其转移概率，HMM-I借助于最大化概率来确定每个协议点的最可能的识别结果。只要给定正确的参数，该算法被认为是精确而稳健的。使用重估计过程来估计这些，主要是HMMs的复杂性。此估计的实施既复杂又冗长。
VT-I算法没有上述问题。然而，速度阈值是采集噪声和识别精确的注视开始和结束之间的折衷。为了使此问题最小化，采用双阈值算法(DualVT-I)。高阈值确保适当的跳视识别。如果检测到跳视，那么低阈值用来计算开始和结束。
VT-I算法的主要缺点是缺少稳健性。然而，其在DualVT-I算法中已大大改进。
在先前部分中描述的识别方法中没有一个是完美的，它们都具有不同的缺点。由此，组合两种算法以及为此工作挑选的眼睛运动的附加规则，即DualVT-I和DT-I。就决策被自动偏向于DT-I和基于规则的部分同时当噪声增加时保留DualVT-I属性而言，此组合充当自适应算法。这结合了DualVT-I速度协议的准确性和DT-I分散协议的稳健性。一种观察它的方法是将规则作为算法控制来考虑，意味着它们使＂决定＂偏向于目前工作最为精确的算法部分。图25示出了算法的协作。
至于预处理，需要在分段之前对原始数据进行预处理。该原始数据或多或少地具有噪声，并且包含有眨眼和未跟踪的部分。
许多研究者已经指出，中值滤波器和FIR混合中值(FHM)滤波器适合于眼睛运动。中值滤波器的特点在于保留了锐边，同时噪声和异常值得到抑制，这一点适合于跳视信号。通常，FHM或加权FHM滤波器被认为工作得最佳，然而，15个样本滑动窗口的中值滤波器充分降低了噪声。作为正面的副作用，它还将每当受试者眨眼时产生的＂眨眼偏离＂抑制到足以通过图43所示的未检测的分段。
一个完全不同的问题是稍前描述的并且其中注视信号由线性插值替代的眨眼插值。如果这发生在注视期间，那么它通常没有问题。然而，在跳视期间，通常人眨眼只持续约100毫秒，而200—300毫秒用直线替换。为绕开此问题需要进行重建。鉴于基于时间的测量不够精确，本发明采用了简单、稳健的解决方案，该方案提供了适当的扫视数量。与信号中出现的幅度相同的噪声被加入到所有眨眼数据，其中分散小于五度，并且将所有其他眨眼标记为跳视。基于所有可用数据来设置五度的阈值，不检测任何错误的注视。幸运地，在具有多次扫视的任务期间，受试者倾向于眨眼较少。
如上所述，选择识别算法是速度协议、分散协议以及由眼睛和眼睛跟踪设备的物理属性概括出的规则之间的混合。在离线版本中，这些过程顺序进行，首先，应用使用双阈值的速度协议，然后是具有规则的分散协议。图23示出了此情形。当信号的噪声或其它属性防碍对注视的检测时(此处应根据视觉规则判断)，使用注视恢复算法。这被示出为从DT-I和基于规则的模块至DualVT-I模块的箭头。而且，在混合shell中已经包括自动聚类算法。其管理扫视检测。
现在将进一步描述每个算法部分。借助于两点中心差分来计算导数(速度)估计值：
&PartialD; y = y ( x + h ) - y ( x - h ) 2 h
应用各注视分量并然后与二次方根加权在一起以形成二维速度。当区分信号时，噪声总是一个问题，处理此问题的一种方法是对导数进行低通滤波。然而，该中心差分可以被描述为串联的理想微分器和低通滤波器。频率响应按下式计算：
Y &CenterDot; ( &omega;T ) = Y ( &omega;T ) j sin ( &omega;T ) T
将采样率设置为大约60赫兹时，此滤波器具有大约14赫兹的3dB截止频率。此相当低的截止防止了混叠，确保30Hz以上的频率受到抑制，但是仍然足够高不会使跳视开始和跳视结束扭曲。图44示出了双阈值和速度估计。
通过对五个导数算法的实际比较发现，对于12位数据来说，两点中心差分是最精确的技术。在此方法的优点中，其简单、精确和快速。
主要通过将结果与先前执行的半自动分析的结果相比较来设置用于跳视检测的阈值。
现在，虽然导数近似值被自动地低通滤波，但是其仍然噪声严重，噪声水平处在大约70°/s。然而，因为数据收集系统在最佳情况下也具有±3°的误差，并且对于大于约三至四度的幅度，跳视运动的峰值速度高于100°/s，所以没有问题。尽管如此，实际的评估已经表明，随机误差可以从中通过，特别是当噪声增加时。检测出那些不精确的识别并且在分段过程的下一步骤由DT-I部分去除。因此，使用三个样本用于速度估计的精度折衷已经被证明是可以忽略的。
在第二步骤中，上文所述的物理标准和基于分散的算法部分确定检测到的跳视和注视是否有效(规则应用)。图45提供了示例性跳视和注视的三维视图。当噪声水平较高时，导数近似值变得更为敏感，并且偶尔会在注视中检测到易混淆的假象。它们的去除具有多个防止误判的基本规则：1)如果新的注视分散小于阈值，那么跳视可以变更为注视的部分；和2)如果注视的变化小于阈值，跳视可以变更为注视的部分。
如果满足此标准，利用线性插值将两次注视与一些加性噪声结合在一起。引入噪声以避免使此信号部分为非物理的。原始信号通常多少包含尖脉冲，因此进行插值。
同样，如果它们是非物理的，意味着持续时间小于约150毫秒，那么将注视去除并且简单地标记为跳视。这在信号的信息量较低时发生。
在离线版本(当可接受长延迟时)中，已经开发了如图46所示的注视恢复算法来补偿注视信号的低信息量。这可能发生在注视的开始时刻，此时算法不能使其自身稳定。它基于如下的假定来工作，即，跳视不可能持续大于约200毫秒，并且如果大于的话，其很可能是两次跳视和位于两次跳视之间的未检测的注视。基于这一点，算法定位可能包含未检测的注视的跳视，并然后使用比在预处理中使用的滤波器(20个样本)稍长的滑动中值滤波器对它们进行滤波。有时，这使信号噪声平滑到足以检测新的注视。现在，这可以看作一种直接而危险的方法，或多或少强制进行检测。然而，它只是分段公式的自适应属性，并且已经证明，相对于确认部分来说，其与真实情形高度相关。
扫视分类算法分两个步骤进行。首先，所有群基于它们的总停留时间来自动定位。在第二步骤中，这些群基于同样的停留数据来自身进行聚类并形成世界模型(world model)目标。世界模型是对不同的预定观察区域的简单描述，例如，右后视镜或道路正前方。所有的模型都限定在当驾驶员观看道路正前方时垂直于他/她的平面内。
在第一步骤中，使用二维停留时间直方图完成对群位置的粗略近似；即，如图47和48所示，基于每次注视的持续时间和平均位置的不同观察区域中的总注视时间。平均位置的使用已经证明是减少噪声问题的简单方法。直方图空间尺寸被设置为3乘3度，主要通过试错法得到。这样生成了很好的、平滑的直方图，其中每个尖峰表示群的近似位置。由于注视数据是以弧度为单位给出的，所以实际的群平面不是平面，而是柱体的内侧。因此，注视角度不影响群的尺寸。一旦确定了近似的群位置，每个平均注视点通过欧氏平均被分配到最近的群点。然后，将所有群更新到与各自群相关的点的平均位置。
算法还生成分类记录，其中每个分类事件存储在矩阵内，有其位置、开始、终止、持续时间，相关的群和被编码成数字的类型，其中类型是跳视或注视。记录矩阵只是数据简化，并且稍后用作统计函数计算的基础。
在第二步骤中，所有的群被映射成世界模型。不同的几何区域(例如方框、圆圈或它们的组合或其他的形状)限定了各目标，例如镜子、中控台、仪表群等。多个群通常位于属于相同扫视的相同区域内。这些现在结合成一个群，并且重新计算其平均位置。世界模型目标的数量随任务而变化。已经为此工作挑选了三个目标的基本模型，并且基于停留时间直方图的算法使目标“浮动”到位。它然后计算目标中心与所有群位置之间的距离的标准差。目标的置信度值落入95％内的群被认为是其一部分，因此，调节目标的尺寸以包围群。世界模型目标的数量容易通过参数进行控制。
这是一个需要检查并且有时需要来自实验者的修正的步骤。这是因为，由于原始信号中的噪声和未跟踪，对什么是目标什么不是目标的确定是很难的；不得不由实验者进行合格猜测。消除对人为评价的需要的一种方法是在收集数据时避免晴天。阳光直接进入照相机是一个原因，其导致几乎所有的注视错位。
对于除扫视分类(例如，在道路上的与偏离道路的比率和大规模的视觉扫描图案)以外的其他测量目的来说，世界模型方法可以是非常有用的；当注视信号含有噪声或损坏时(例如由日光引起)，它也是有用的，并且注视被分散在形成比实际更多的群的较大区域中。在该过程中，记录矩阵连续更新。
当对感兴趣的区域制作模板(templating)时，存在两个主要问题：1)对于各次运行以及各受试者，需要进行校准；和2)由于传感器系统的不精确，目标通常需要被限定得比它们实际的大。难以在检查数据之前确定世界目标(world object)需要有多大。如果目标太大，总有可能性包括了异常值，或者是目标不得不彼此重叠。
为此，当分析数据时更易于限定区域模型并使其适合于当前的状况。
最后，使用记录矩阵来产生统计检测量。将该检测量限定为：1)停留时间；2)扫视持续时间；3)扫视频率；4)总扫视时间；5)扫视概率；6)连接值概率；7)偏离前方道路景象时间；8)总的任务时间；和9)转换时间。
一旦执行了扫视分类，直接进行这些检测量的计算，因此它们没有包括在内。
示例性的实时实施方式非常类似于离线算法。差别之处是，只有＂前方道路景象＂和＂其他区域＂被限定为世界模型目标。对于每个任务，输出是在道路上和偏离道路的总扫视次数和总扫视时间。在记录文件中，通过注释或时间间隔来指示任务的开始与结束(这在记录期间手动完成)。
在执行任何分类之前，前方道路景象世界目标被定位。这使用初始化阶段来完成，对于特别的受试者和运行对设置进行校准。前方道路景象区域借助于注视密度函数进行定位。驾驶员的大部分注意力被导向在此区域内，并且停留时间密度函数总是在其中心具有非常显著的尖峰，如图48所示。注视在此区域内的分布近似于高斯分布。因此，可以是利用停留时间直方图的最高点计算标准差来作为平均注视位置值。技术上，它不是计算的标准差，而是模的偏差。然后，前方道路景象被认为是处于95％置信度值以内。分别为偏航和俯仰完成该步骤，因此形成一个表示前方道路景象的椭圆区域。
在初始化期间，搜索区域限于前方道路景象可能是什么样子；典型地，半径为10度、中心为(0，0)的圆圈和仅落入此区域中的注视用于计算。尽管如此，95％置信度边界必须向下、向右偏置大约2度，以便使其对一些受试者有效；当受试者的注视跟随着道路的弯曲时，出现特性。示例性地，对这些偏差的简单解决方案是更长的初始化时段或额外计算，使用允许其跟随所述弯曲的时间窗口。如果横摆率可用，那么前方道路景象的中心大概可以适合于此信号并解决问题，然而，这不是当前在车辆中使用的普通传感器。在图49中可以看到初始化阶段。在产生有效值之前，使用大约五分钟的正常驾驶来将校准过程调整至工作在最佳状态。
当驾驶员执行任务时出现类似的问题。眼睛似乎没有回到道路前方区域的中心，而是偏离几度在次要任务的方向上(驾驶是主要任务)。头部偏置可能是此行为的答案，意味着其不是垂直于前方道路景象，因此在注视估计中引入偏置。受试者把目光从前方道路景象上移开得越多，注视估计就越不精确。
初始化阶段一完成，就使DualVT-I、DT-I和规则有效。DualVT-I首先识别跳视-注视的组合。随后将该组合(扫视的最短形式)及其扫视时间一起转送至DT-I和规则。如果它们属于同样的区域，小的扫视(例如，在某个区域内的注视序列)被结合在一起；即，形成根据ISO/SAE标准的扫视。对扫视时间求和并且将其转送至与在道路前方/非道路前方信号同步的计数器，所述信号是如图35所示的聚类算法的输出。该计数器记录属于相同任务的所有扫视和扫视时间，并且随后被重置以用于每个新任务。然而，在执行重置之前，出于记录的目的，数据被发送处理。在此情况下，时间间隔已经用来指示任务的开始和结束。
已经使用视频录制验证了算法对来自VDM验证研究的数据有效。视频录制根据ISO15007-2和SAEJ-2396方法进行。采用了七名受试者、四个检测量，其中比较：1)任务长度；2)扫视频率；3)平均扫视持续时间；和4)总扫视时间。
利用视觉确认的每次扫视来一个任务接一个任务地执行验证，以确保适当的算法功能。使用恢复算法来自动地恢复一些注视，已经证明，其能很好地工作且实际上没有误算。
皮尔森积矩(Pearson product-moment)显示，在下列所有重要的检测量方面，分析类型之间高度相关：任务长度r＝0.999，扫视频率r＝0.998，平均扫视持续时间r＝0.816，总的扫视持续时间r＝0.995。这比得上＂Automating Driver Visual Behavior Measurement(自动驾驶员视觉行为测量)＂的结果，其中，相关系数分别为r＝0.991、r＝0.997、r＝0.732和r＝0.995。图50至53示出了每个任务的平均偏差和标准偏差。
已经验证了实时算法对来自VDM验证研究的六个视频录制受试者有效。由于缺少基准线的驾驶数据(没有校准数据)，在离线验证中使用的受试者之一必须省去。
比较三个检测量：1)扫视数量；2)总扫视时间；和3)平均扫视时间。
各受试者的整个驾驶过程通过算法依次运行。为了保证万无一失，尽管只需要五分钟，每次运行开始于在正常的车道上驾驶20分钟(基准线)以校准系统。皮尔森积矩显示，在下列两个检测量方面，分析类型之间高度相关：扫视数量r＝0.925，总扫视时间r＝0.964。然而，平均扫视时间相关系数不是很好，r＝0.301。图54至56示出了各任务的平均偏差和标准偏差。
验证的结果证明，即使在数据质量不处于最佳水平时，算法也高度可靠，例如，算法对于变化的噪声水平和信号精度来说是稳健的。此外，使用眼睛运动规则，算法可以恢复几乎淹没在信号中的注视。
对于除了扫视持续时间以外的所有检测量，分析方法之间的相关系数非常高，处于0.99的区域内(离线版本)，而扫视持续时间的相关系数仍然很高(r＝0.82)。然而，对于基于两个其他的检测量，预计会出现较低的相关系数。
预处理同样也被证明工作得很好。15个样本的中值滤波器保留了跳视开始/结束，同时非常有效地抑制了噪声和眨眼。
DualVT-I、DT-I和规则的组合被证明工作良好超过预期。DualVT-I的精度和DT-I的可靠性与用于眼睛运动的物理规则组合在一起，形成对于暂时的传感器置信度下降和高噪声水平来说也稳健的算法。
已经证实，有可能具有稳健而可靠的实时扫视检测。模拟表明在两个检测量方面(扫视数量和总扫视时间)高度相关。然而，平均扫视时间的相关系数较低(r＝0.301)。请记住，实时算法不能将朝向镜子的扫视与朝向收音机的扫视区分开，对全部的检测量预计更低。有可能使实时算法与离线版本一样精确。这可以通过识别通常最能在车内看到的目标(例如，内镜、侧镜、仪表群和中控台)来实现。这些目标在车内相当分散，因此不会相互混淆。此外，在被限定为最可能的区域内只应有两次或三次扫视，用于那些目标中的一个以启动此特定目标的初始化阶段。最经常看到的目标是最易引起此错误的目标，并且也是最易于检测的目标。
因为没有别的数据集被视频录制或以任何其他的方法进行分析，所以，它只用于测试不同的算法部分，例如实时初始化。然而，此工作已经开启了分析此数据的大门。
已经开发了根据ISO15007-2和SAEJ-2396标准中的定义和检测量的稳健的混合算法。该方法基本上比视频录制(video transcription)更为迅速，一个小时的数据进行视频录制费时大约一天时间，相比之下，利用此算法只费时几分钟，所述算法同样自动地适应于当前的噪声水平。
在本发明(一个或多个)的开发过程中，已经观察到了下列成果：1)对于以60Hz采样得到的数据，预处理中值滤波的长度优化为15个样本；2)在嘈杂的信号部分，使用具有20个样本的中值滤波器，其中，根据眼睛规则，应当存在注视。这样使信号平稳至足以检测注视；3)两个注视/跳视检测算法的稳健混合，其适合于当前的噪声水平，并且，已经开发出决策算法并将其调整为用于60Hz的数据；4)用于眼睛运动的物理规则被实施为智能决策和控制算法；5)已经为任务分析开发出自动而稳健的聚类方法，其需要最少的交互；6)已经开发并验证了算法的实时版本；7)算法的实时版本使用新系，其将扫视分段为＂道路正前方＂或＂其他＂种类；以及8)ISO/SAE内的全部检测量已经实施。
此论题为几个有趣的车辆内产品应用开启了大门，所述应用可以利用在实际道路环境中被测试的眼睛运动数据。例如：工作负荷估计，注意力估计，困倦检测，自适应接口，自适应警告等。人机工程学评价，HMI研究，对认知工作负荷、分心、困倦等的研究都可能是此处限定的本发明潜在的有趣应用。
因此，已经打开了通往驾驶员想法的新路径。在今天的环境下，仍然还有要执行的一些手工步骤，例如加载和存储数据、目视检查分段以及偶尔调节世界模型。然而，可以预期且易于理解，根据本发明，本领域的普通技术人员可以使这些手工任务自动化并且执行这些任务。阳光直接进入照相机是一种特殊情形，它将注视分散在较大区域内，有时甚至会将各群＂融化＂在一起。因此，分析工具变得更加稳健和精确，一些步骤将不再是必需的，并且有可能进行批处理。
本发明提出了一种实时算法，其稳健而智能地工作，以从驾驶员的眼睛中为车辆(和研究人员)提供尽可能多的有用信息。实时算法将能够稳健而智能地对多个目标进行分类。世界模型对象对现实世界的实时适配将记录事件和数据。一个有趣的方法是将目标区域实施为HMM状态。通过引入此统计学方法，可以增强对目标的分类，因为它将使目标区域边界更加浮动。一个有趣的想法是在曾经的注视被记录在外部或者离开另一个目标一定距离时，使世界模型区域弹出一个动态世界模型。世界模型可以使用目标的该历史来校准世界模型并且做出智能决策，例如，目标的整个任务驾驶识别。
至于检测算法，可以利用其他的传感器信息。在现代的汽车中，CAN总线中充满了对于在跟踪失败时估计注视方向可能有用的传感器信号，例如转向角、转向指示器动作(actuation)、车辆速度以及某些按钮是否被按下。还可以提供与交通环境有关的信息，并因此优化用于特定交通环境的分段参数，比如乡村、郊区和城市交通。还完成了识别大规模驾驶模式(driving pattern)的更成功的方法。
可以测试其他的WHM滤波器以找出是否有更好的方法来减少注视开始偏离道路时的噪声，其中使用了恢复算法。滤波器的种类似乎很多。
支持该算法的一种方法是：受试者的头部通常沿着与眼睛相同的方向移动，至少对侧向注视来说是如此。此方法的缺点来自受试者的个体差异。一些受试者几乎根本不移动他们的头部，而另外一些人却总是这样做。然而，当注视中有噪声时，这可能是辅助进行分段的适当方法。
在实时算法中，对接下来的六个样本的预测将加速100毫秒。已经证明，可以预测跳视信号，至少几个点，采用五点二次预测器只有很小的误差。在实时算法中，速度最重要。
鉴于上述内容，很明显，在将来还将继续对此算法进行细微调整。一个已经进行的开发是算法GUI，称为＂视觉要求测量工具(VisualDemand Measurement Tool)＂，或简单地称为＂VDM-工具＂。此程序的目的是使分析工具对于任何希望分析眼睛运动的人来说都易于使用。
本说明书公开了本发明的分析技术的许多方面，包括方法和可以在其上执行那些方法的装置。该分析的重要特性包括至少部分基于驾驶员眼睛运动和在实时基础上进行的评估。

Claims (26)

1.一种用于分析源自对车辆内驾驶员生理上的定向的观测的数据的方法，所述方法包括：
获得描述多个驾驶员注视方向实例的数据，并且其中，每个驾驶员注视方向实例由数据集定义；以及
使用基于计算机的处理器处理所述数据，并从所述数据确定定义驾驶员视觉兴趣位置的标准，并且基于所述标准来将多个所述驾驶员注视方向实例分类为在位置上或偏离位置，为与所述驾驶员视觉兴趣位置有关的进一步分析做准备。
2.如权利要求1所述的方法，其中描述多个分类的驾驶员注视方向实例中的每个实例的数据集被转换成两个二进制值中的一个，所述二进制值表示相应的驾驶员注视方向实例是在位置上或偏离位置。
3.如权利要求2所述的方法，其中所述二进制值是1和0，在所述进一步分析中，与所述获得的数据相比，所述1和0值可以被更快速地处理，所述1和0值源自所述获得的数据。
4.如权利要求1所述的方法，其中从不符合被分类为在位置上的驾驶员注视方向实例的确定标准的情况来推断出所述偏离位置的驾驶员注视方向实例中的至少一些的分类。
5.如权利要求1所述的方法，其中所述进一步的分析涉及非驾驶员困倦和增加的驾驶员工作负荷的次数。
6.如权利要求1所述的方法，其中定义驾驶员注视方向实例的每个数据集都源自所检测的驾驶员身体的腰以上部分的定向。
7.如权利要求1所述的方法，其中定义驾驶员注视方向实例的每个数据集都源自所检测的驾驶员身体的上躯干部分的定向。
8.如权利要求7所述的方法，其中使用超声波装置来检测所述检测的上躯干部分的定向。
9.如权利要求7所述的方法，其中使用照相机传感器来检测所述检测的驾驶员头部的定向。
10.如权利要求1所述的方法，其中定义驾驶员注视方向实例的每个数据集都源自所检测的驾驶员头部的定向。
11.如权利要求10所述的方法，其中使用照相机传感器来检测所述检测的驾驶员头部的定向。
12.如权利要求10所述的方法，其中使用电容传感器来检测所述检测的驾驶员头部的定向。
13.如权利要求1所述的方法，其中定义驾驶员注视方向实例的每个数据集都源自所检测的驾驶员的至少一只眼睛的定向。
14.如权利要求1所述的方法，其中所述位置是道路中心位置。
15.如权利要求1所述的方法，其中所述位置是后视镜位置。
16.如权利要求1所述的方法，其中所述位置是侧镜位置。
17.如权利要求1所述的方法，其中所述位置是车辆附件位置。
18.如权利要求1所述的方法，其中所述位置是个人附件。
19.如权利要求1所述的方法，还包括如下步骤：使用基于计算机的处理器来分析所分类的注视方向实例；以及基于驾驶员工作负荷的评估，从分析结果来确定是否过多量的驾驶员注意力投入到偏离位置。
20.如权利要求19所述的方法，还包括如下步骤：在确定过多量的驾驶员注意力投入到偏离位置后，开始刺激驾驶员对驾驶控制任务的注意力。
21.如权利要求20所述的方法，还包括如下步骤：在刺激驾驶员的注意力之前，检测驾驶控制任务能力的降低。
22.如权利要求21所述的方法，其中所述驾驶控制任务能力降低是基于不一致的转向。
23.如权利要求21所述的方法，其中所述驾驶控制任务能力降低是基于不一致的车道保持。
24.如权利要求21所述的方法，其中所述驾驶控制任务能力降低是基于不一致的车辆速度。
25.如权利要求14所述的方法，还包括如下步骤：使用基于计算机的处理器来分析所分类的注视方向实例，以及基于驾驶员工作负荷的评估，从分析结果来确定是否过多量的驾驶员注意力投入到偏离道路中心位置。
26.如权利要求25所述的方法，还包括如下步骤：在确定过多量的驾驶员注意力投入到偏离位置后，开始刺激驾驶员对驾驶控制任务的注意力。
CN2007800217204A 2006-06-11 2007-06-11 用于确定和分析视觉兴趣位置的方法 Expired - Fee Related CN101466305B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US80444406P 2006-06-11 2006-06-11
US60/804,444 2006-06-11
PCT/SE2007/000567 WO2007145566A1 (en) 2006-06-11 2007-06-11 Method and apparatus for determining and analyzing a location of visual interest

Publications (2)

Publication Number Publication Date
CN101466305A true CN101466305A (zh) 2009-06-24
CN101466305B CN101466305B (zh) 2012-05-30

Family

ID=38831990

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2007800217204A Expired - Fee Related CN101466305B (zh) 2006-06-11 2007-06-11 用于确定和分析视觉兴趣位置的方法

Country Status (6)

Country Link
US (1) US8487775B2 (zh)
EP (1) EP2032034B1 (zh)
JP (1) JP5036814B2 (zh)
CN (1) CN101466305B (zh)
BR (1) BRPI0712837B8 (zh)
WO (1) WO2007145566A1 (zh)

Cited By (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103718134A (zh) * 2011-05-25 2014-04-09 索尼电脑娱乐公司 用于改变设备行为的眼睛凝视
CN103767715A (zh) * 2014-01-15 2014-05-07 中国人民解放军国防科学技术大学 一种驾驶员安全驾驶状态检测装置
CN103903276A (zh) * 2014-04-23 2014-07-02 吉林大学 基于密度聚类法和形态学聚类法的驾驶员注视点聚类方法
CN103942527A (zh) * 2013-01-18 2014-07-23 通用汽车环球科技运作有限责任公司 利用眼镜分类器的眼睛离开道路分类
CN104008664A (zh) * 2014-04-18 2014-08-27 小米科技有限责任公司 路况信息获取方法及相关装置
CN104820669A (zh) * 2014-01-31 2015-08-05 大众汽车有限公司 用于使用全景成像的增强时间推移视频生成的系统和方法
CN105313902A (zh) * 2014-06-11 2016-02-10 福特全球技术公司 改进车辆行驶方向错误检测的系统和方法
CN105358358A (zh) * 2013-07-05 2016-02-24 罗伯特·博世有限公司 用于求取车辆驾驶员的注意力程度的方法
CN106446771A (zh) * 2015-08-12 2017-02-22 福特全球技术公司 驾驶员注意力评估
CN106529409A (zh) * 2016-10-10 2017-03-22 中山大学 一种基于头部姿态的眼睛注视视角测定方法
CN106687026A (zh) * 2014-05-12 2017-05-17 汽车技术国际公司 驾驶员健康以及疲劳监控系统和方法
CN106923908A (zh) * 2015-12-29 2017-07-07 东洋大学校产学协力团 性别注视特性分析系统
CN107368808A (zh) * 2017-07-20 2017-11-21 湖南科乐坊教育科技股份有限公司 一种儿童阅读状态检测方法及装置
CN107562213A (zh) * 2017-10-27 2018-01-09 网易（杭州）网络有限公司 视疲劳状态的检测方法、装置以及头戴式可视设备
CN108351685A (zh) * 2015-08-15 2018-07-31 谷歌有限责任公司 用于与真实和虚拟对象交互的基于生物力学的眼睛信号的系统和方法
CN108369768A (zh) * 2015-12-14 2018-08-03 罗伯特·博世有限公司 用于对车辆的乘客的至少一只眼睛的眼睛睁开数据进行分类的方法和装置以及用于检测车辆的乘客的困倦和/或微睡眠的方法和装置
CN108491823A (zh) * 2018-03-30 2018-09-04 百度在线网络技术（北京）有限公司 用于生成人眼识别模型的方法和装置
CN108596106A (zh) * 2018-04-26 2018-09-28 京东方科技集团股份有限公司 基于vr设备的视觉疲劳识别方法及其装置、vr设备
CN109074748A (zh) * 2016-05-11 2018-12-21 索尼公司 图像处理设备、图像处理方法和可移动体
CN109858403A (zh) * 2019-01-16 2019-06-07 深圳壹账通智能科技有限公司 一种监测司机开车使用手机的方法及摄像装置
CN110268338A (zh) * 2017-02-09 2019-09-20 谷歌有限责任公司 使用视觉输入进行代理导航
CN110276334A (zh) * 2019-06-28 2019-09-24 海马汽车有限公司 一种针对用户车辆使用情况的分析方法及系统
CN110386146A (zh) * 2018-04-17 2019-10-29 通用汽车环球科技运作有限责任公司 用于处理驾驶员注意力数据的方法和系统
CN110691726A (zh) * 2017-08-07 2020-01-14 宝马股份公司 用于评估驾驶员状态的方法和设备以及车辆
CN110928618A (zh) * 2019-10-30 2020-03-27 西北工业大学 一种座舱人机界面注意力分配计算方法
CN111565978A (zh) * 2018-01-29 2020-08-21 华为技术有限公司 主预览区域和基于视线的驾驶员分心检测
CN111970958A (zh) * 2017-11-30 2020-11-20 思维股份公司 用于检测神经障碍和测量一般认知能力的系统和方法
CN112204505A (zh) * 2018-06-06 2021-01-08 索尼公司 信息处理装置、信息处理方法和程序
CN112446499A (zh) * 2019-08-30 2021-03-05 西门子医疗有限公司 改进用于自动量化冠状动脉疾病的机器学习模型的性能
CN112519786A (zh) * 2019-09-19 2021-03-19 通用汽车环球科技运作有限责任公司 用于评估乘员目光的设备和方法
CN113276822A (zh) * 2020-02-19 2021-08-20 马自达汽车株式会社 驾驶员状态推断装置
CN113468956A (zh) * 2021-05-24 2021-10-01 北京迈格威科技有限公司 注意力判定方法、模型训练方法及对应装置
US20220284717A1 (en) * 2019-12-02 2022-09-08 Denso Corporation Consciousness determination device and consciousness determination method
CN115273600A (zh) * 2022-07-27 2022-11-01 山东心法科技有限公司 一种飞行员驾驶技能智能辅助训练方法及系统
CN115844404A (zh) * 2023-03-01 2023-03-28 中国民航大学 一种基于眼动数据的管制员注意力特征评价方法及装置

Families Citing this family (213)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4946672B2 (ja) * 2007-07-04 2012-06-06 オムロン株式会社 脇見検出装置および方法、並びに、プログラム
JP4893507B2 (ja) * 2007-07-04 2012-03-07 オムロン株式会社 脇見検出装置および方法、並びに、プログラム
JP5078815B2 (ja) * 2008-09-12 2012-11-21 株式会社豊田中央研究所 開眼度推定装置
FR2943901B1 (fr) * 2009-04-01 2017-11-17 E(Ye)Brain Procede et systeme de detection d'anomalies oculomotrices.
JP5287746B2 (ja) * 2009-05-21 2013-09-11 日産自動車株式会社 運転支援装置、及び運転支援方法
US8787936B2 (en) 2009-07-21 2014-07-22 Katasi Llc Method and system for controlling a mobile communication device in a moving vehicle
US9386447B2 (en) 2009-07-21 2016-07-05 Scott Ferrill Tibbitts Method and system for controlling a mobile communication device
US9615213B2 (en) 2009-07-21 2017-04-04 Katasi Llc Method and system for controlling and modifying driving behaviors
JP2013506221A (ja) * 2009-09-29 2013-02-21 ボルボ テクノロジー コーポレイション 少なくとも１つのアプリケーションにおいて及び／又は少なくとも１つのアルゴリズムによって更に処理するためにセンサアセンブリのセンサ出力データを作成する方法及びシステム
US9688286B2 (en) * 2009-09-29 2017-06-27 Omnitracs, Llc System and method for integrating smartphone technology into a safety management platform to improve driver safety
CA2781064C (en) * 2009-11-19 2019-07-02 Esight Corp. Image magnification on a head mounted display
WO2011075392A1 (en) * 2009-12-18 2011-06-23 Honda Motor Co., Ltd. A predictive human-machine interface using eye gaze technology, blind spot indicators and driver experience
US8825304B2 (en) * 2010-06-30 2014-09-02 Microsoft Corporation Mediation of tasks based on assessments of competing cognitive loads and needs
JP5565258B2 (ja) * 2010-10-12 2014-08-06 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
JP5810511B2 (ja) * 2010-11-10 2015-11-11 日産自動車株式会社 車両用表示装置および車両用表示方法
US9691289B2 (en) * 2010-12-22 2017-06-27 Brightstar Learning Monotonous game-like task to promote effortless automatic recognition of sight words
WO2012089261A1 (en) * 2010-12-29 2012-07-05 Tomtom Belgium Nv Method of automatically extracting lane markings from road imagery
US9952046B1 (en) * 2011-02-15 2018-04-24 Guardvant, Inc. Cellular phone and personal protective equipment usage monitoring system
CN102151120B (zh) * 2011-02-24 2012-12-12 复旦大学 眩光动态评估系统
US8766819B2 (en) * 2011-06-17 2014-07-01 The Boeing Company Crew allertness monitoring of biowaves
US8885882B1 (en) 2011-07-14 2014-11-11 The Research Foundation For The State University Of New York Real time eye tracking for human computer interaction
WO2013023061A1 (en) * 2011-08-09 2013-02-14 Ims Solutions, Inc. Vehicle monitoring system with automatic driver identification
DE102011111213A1 (de) * 2011-08-20 2013-02-21 GM Global Technology Operations LLC (n. d. Gesetzen des Staates Delaware) Vorrichtung und Verfahren zur Ausgabe von Informationen
US9442565B2 (en) * 2011-08-24 2016-09-13 The United States Of America, As Represented By The Secretary Of The Navy System and method for determining distracting features in a visual display
EP2564766B1 (en) * 2011-09-02 2018-03-21 Volvo Car Corporation Visual input of vehicle operator
EP2755192A4 (en) * 2011-10-06 2015-05-27 Honda Motor Co Ltd VISUALALLY DISTANCE DRIVING DETECTION DEVICE
DE102011117850B4 (de) * 2011-11-08 2020-12-03 Audi Ag Verfahren zum Betrieb eines Fahrzeugsystems eines Kraftfahrzeugs und Kraftfahrzeug
US20150097772A1 (en) * 2012-01-06 2015-04-09 Thad Eugene Starner Gaze Signal Based on Physical Characteristics of the Eye
TWI478691B (zh) * 2012-01-06 2015-04-01 Wistron Corp 睡意偵測方法及其裝置
US8977426B2 (en) 2012-06-04 2015-03-10 Geotab Inc. VIN based accelerometer threshold
JP6047318B2 (ja) * 2012-07-06 2016-12-21 矢崎総業株式会社 ドライバ状態検出装置及びドライバ状態報知装置
JP6219952B2 (ja) * 2012-08-14 2017-10-25 ボルボ ラストバグナー アーベー ドライバの運転状態を判断する方法
US9220454B2 (en) * 2012-08-20 2015-12-29 Autoliv Development Ab Device and method for detecting drowsiness using eyelid movement
KR101384332B1 (ko) * 2012-09-06 2014-04-10 현대모비스 주식회사 차량 영상처리 장치 및 방법과 이를 이용한 차량 영상처리 시스템
US9428052B1 (en) * 2012-09-08 2016-08-30 Towers Watson Software Limited Automated distraction measurement of machine operator
US9834221B2 (en) * 2012-10-19 2017-12-05 Autoliv Development Ab Driver attentiveness detection method and device
CN102930693B (zh) * 2012-11-06 2015-01-21 深圳市艾大机器人有限公司 安全驾驶预警方法
US9031729B2 (en) * 2012-11-29 2015-05-12 Volkswagen Ag Method and system for controlling a vehicle
US9265458B2 (en) 2012-12-04 2016-02-23 Sync-Think, Inc. Application of smooth pursuit cognitive testing paradigms to clinical drug development
JP6068964B2 (ja) * 2012-12-07 2017-01-25 公立大学法人首都大学東京 人の状態推定装置およびそれを備えた輸送機器
DE102014100352B4 (de) 2013-01-18 2020-07-23 Carnegie Mellon University Verfahren zum Detektieren einer Bedingung mit von der Straße abgewandten Augen
US9405982B2 (en) * 2013-01-18 2016-08-02 GM Global Technology Operations LLC Driver gaze detection system
US8847771B2 (en) * 2013-01-25 2014-09-30 Toyota Motor Engineering & Manufacturing North America, Inc. Method and apparatus for early detection of dynamic attentive states for providing an inattentive warning
US9380976B2 (en) 2013-03-11 2016-07-05 Sync-Think, Inc. Optical neuroinformatics
US9833697B2 (en) * 2013-03-11 2017-12-05 Immersion Corporation Haptic sensations as a function of eye gaze
JP6221292B2 (ja) * 2013-03-26 2017-11-01 富士通株式会社 集中度判定プログラム、集中度判定装置、および集中度判定方法
DE102013206212A1 (de) * 2013-04-09 2014-10-09 Ford Global Technologies, Llc Verfahren zur Steuerung eines Fahrzeugs mit temporär autonomer Fahrzeugführung sowie Steuerungseinrichtung
CN104112334B (zh) * 2013-04-16 2017-12-22 百度在线网络技术（北京）有限公司 疲劳驾驶预警方法及系统
FI124068B (en) * 2013-05-03 2014-02-28 Jyvaeskylaen Yliopisto Procedure for improving driving safety
KR101500085B1 (ko) * 2013-06-13 2015-03-18 현대자동차주식회사 벡터를 이용한 시선 추적 장치 및 방법
TWI493511B (zh) * 2013-09-04 2015-07-21 Ind Tech Res Inst 駕駛狀態偵測系統、駕駛狀態偵測方法與電子裝置
ES2784258T3 (es) * 2013-11-01 2020-09-23 Cybergym Control Ltd Defensa cibernética
JP6292054B2 (ja) * 2013-11-29 2018-03-14 富士通株式会社 運転支援装置、方法、及びプログラム
KR101539302B1 (ko) * 2013-12-11 2015-07-30 현대자동차주식회사 차량 및 그 제어방법
US20150185831A1 (en) * 2013-12-26 2015-07-02 Dinu Petre Madau Switching between gaze tracking and head tracking
US10417486B2 (en) * 2013-12-30 2019-09-17 Alcatel Lucent Driver behavior monitoring systems and methods for driver behavior monitoring
US8977376B1 (en) 2014-01-06 2015-03-10 Alpine Electronics of Silicon Valley, Inc. Reproducing audio signals with a haptic apparatus on acoustic headphones and their calibration and measurement
DE102014201036A1 (de) * 2014-01-21 2015-07-23 Bayerische Motoren Werke Aktiengesellschaft Bildbasierte Klassifikation des Fahrerzustands und/oder des Fahrerverhaltens
US20150235538A1 (en) * 2014-02-14 2015-08-20 GM Global Technology Operations LLC Methods and systems for processing attention data from a vehicle
US9189692B2 (en) * 2014-02-14 2015-11-17 GM Global Technology Operations LLC Methods and systems for detecting driver attention to objects
US9412363B2 (en) 2014-03-03 2016-08-09 Microsoft Technology Licensing, Llc Model based approach for on-screen item selection and disambiguation
US9827992B2 (en) * 2014-03-19 2017-11-28 Ford Global Technologies, Llc Driver anomaly detection
US20150302422A1 (en) * 2014-04-16 2015-10-22 2020 Ip Llc Systems and methods for multi-user behavioral research
JP6409318B2 (ja) * 2014-04-25 2018-10-24 日産自動車株式会社 情報呈示装置及び情報呈示方法
US10409366B2 (en) 2014-04-28 2019-09-10 Adobe Inc. Method and apparatus for controlling display of digital content using eye movement
US10319039B1 (en) 2014-05-20 2019-06-11 State Farm Mutual Automobile Insurance Company Accident fault determination for autonomous vehicles
US11669090B2 (en) 2014-05-20 2023-06-06 State Farm Mutual Automobile Insurance Company Autonomous vehicle operation feature monitoring and evaluation of effectiveness
US10599155B1 (en) 2014-05-20 2020-03-24 State Farm Mutual Automobile Insurance Company Autonomous vehicle operation feature monitoring and evaluation of effectiveness
US9858621B1 (en) 2014-05-20 2018-01-02 State Farm Mutual Automobile Insurance Company Autonomous vehicle technology effectiveness determination for insurance pricing
US10373259B1 (en) 2014-05-20 2019-08-06 State Farm Mutual Automobile Insurance Company Fully autonomous vehicle insurance pricing
US9972054B1 (en) 2014-05-20 2018-05-15 State Farm Mutual Automobile Insurance Company Accident fault determination for autonomous vehicles
US10185999B1 (en) 2014-05-20 2019-01-22 State Farm Mutual Automobile Insurance Company Autonomous feature use monitoring and telematics
KR20150139229A (ko) * 2014-06-03 2015-12-11 현대모비스 주식회사 헤드 마운트 디스플레이를 활용한 운전자 졸음경보장치 및 방법
CN106456077A (zh) * 2014-06-20 2017-02-22 Sdip控股企业有限公司 监测睡意
JP6372388B2 (ja) 2014-06-23 2018-08-15 株式会社デンソー ドライバの運転不能状態検出装置
DE112015002934B4 (de) 2014-06-23 2021-12-16 Denso Corporation Vorrichtung zum Erfassen eines Fahrunvermögenzustands eines Fahrers
US10430676B2 (en) 2014-06-23 2019-10-01 Denso Corporation Apparatus detecting driving incapability state of driver
GR1008670B (el) * 2014-07-03 2016-02-03 Ιωαννης Μηνα Ασλανης-Ασλανιδης Συσκευη οφθαλμικης ιχνηλατησης κατα την αναγνωση
US9411417B2 (en) * 2014-07-07 2016-08-09 Logitech Europe S.A. Eye gaze tracking system and method
JP6065885B2 (ja) * 2014-07-15 2017-01-25 株式会社デンソー 状態判定装置
US10387962B1 (en) 2014-07-21 2019-08-20 State Farm Mutual Automobile Insurance Company Methods of reconstructing an accident scene using telematics data
US9972184B2 (en) * 2014-07-24 2018-05-15 State Farm Mutual Automobile Insurance Company Systems and methods for monitoring a vehicle operator and for monitoring an operating environment within the vehicle
KR101936891B1 (ko) * 2014-08-05 2019-01-10 런치 테크 컴퍼니 리미티드 운전 행위 안내 정보의 생성 방법 및 장치
US9778628B2 (en) * 2014-08-07 2017-10-03 Goodrich Corporation Optimization of human supervisors and cyber-physical systems
US9767373B2 (en) * 2014-09-05 2017-09-19 Ford Global Technologies, Llc Head-mounted display head pose and activity estimation
US10317992B2 (en) * 2014-09-25 2019-06-11 Microsoft Technology Licensing, Llc Eye gaze for spoken language understanding in multi-modal conversational interactions
KR101628493B1 (ko) * 2014-10-10 2016-06-21 현대자동차주식회사 안경 착용자의 시선 추적 장치 및 그 방법
US9904362B2 (en) * 2014-10-24 2018-02-27 GM Global Technology Operations LLC Systems and methods for use at a vehicle including an eye tracking device
US10241509B1 (en) 2014-11-13 2019-03-26 State Farm Mutual Automobile Insurance Company Autonomous vehicle control assessment and selection
DE102014117830A1 (de) * 2014-12-04 2016-06-09 Valeo Schalter Und Sensoren Gmbh Verfahren zum Bestimmen eines fahrerspezifischen Totwinkelfeldes für ein Fahrerassistenzsystem, Fahrerassistenzsystem sowie Kraftfahrzeug
CN104463916B (zh) * 2014-12-31 2017-04-12 武汉大学 基于随机游走的眼动注视点测定方法
US10303247B2 (en) * 2015-01-16 2019-05-28 Hewlett-Packard Development Company, L.P. User gaze detection
DE102015201369A1 (de) * 2015-01-27 2016-07-28 Robert Bosch Gmbh Verfahren und Vorrichtung zum Betreiben eines zumindest teilautomatisch fahrenden oder fahrbaren Kraftfahrzeugs
US10242379B2 (en) * 2015-01-30 2019-03-26 Adobe Inc. Tracking visual gaze information for controlling content display
US20160267335A1 (en) * 2015-03-13 2016-09-15 Harman International Industries, Incorporated Driver distraction detection system
US9798941B2 (en) 2015-03-18 2017-10-24 Ford Global Technologies, Llc Driver visual sensor behavior study device
CN104700090B (zh) * 2015-03-25 2017-11-28 武汉大学 基于密度的眼动注视点测定方法及系统
US10328852B2 (en) * 2015-05-12 2019-06-25 University Of North Dakota Systems and methods to provide feedback to pilot/operator by utilizing integration of navigation and physiological monitoring
EP3317755B1 (en) * 2015-07-02 2021-10-20 Volvo Truck Corporation An information system for a vehicle
US10475299B2 (en) 2015-07-20 2019-11-12 Banner Engineering Corporation Modular indicator
US9997031B2 (en) 2015-07-20 2018-06-12 Banner Engineering Corporation Modular indicator
WO2017025487A1 (en) 2015-08-07 2017-02-16 SensoMotoric Instruments Gesellschaft für innovative Sensorik mbH System and method for displaying a stream of images
WO2017025486A1 (en) 2015-08-07 2017-02-16 SensoMotoric Instruments Gesellschaft für innovative Sensorik mbH Method and system to control a workflow and method and system for providing a set of task-specific control parameters
US20210166323A1 (en) 2015-08-28 2021-06-03 State Farm Mutual Automobile Insurance Company Determination of driver or vehicle discounts and risk profiles based upon vehicular travel environment
US11162793B2 (en) * 2015-09-15 2021-11-02 Here Global B.V. Method and apparatus for autonomous navigation speed at intersections
DE102015217783B4 (de) 2015-09-17 2024-11-07 Conti Temic Microelectronic Gmbh Verbesserter Spurassistent
EP3369091B1 (en) * 2015-10-26 2024-09-04 Pillantas Inc. Systems and methods for eye vergence control
US10812778B1 (en) 2015-11-09 2020-10-20 Cognex Corporation System and method for calibrating one or more 3D sensors mounted on a moving manipulator
US11562502B2 (en) 2015-11-09 2023-01-24 Cognex Corporation System and method for calibrating a plurality of 3D sensors with respect to a motion conveyance
US10757394B1 (en) 2015-11-09 2020-08-25 Cognex Corporation System and method for calibrating a plurality of 3D sensors with respect to a motion conveyance
US9886958B2 (en) 2015-12-11 2018-02-06 Microsoft Technology Licensing, Llc Language and domain independent model based approach for on-screen item selection
US10040551B2 (en) * 2015-12-22 2018-08-07 International Business Machines Corporation Drone delivery of coffee based on a cognitive state of an individual
US10384678B1 (en) 2016-01-22 2019-08-20 State Farm Mutual Automobile Insurance Company Autonomous vehicle action communications
US10395332B1 (en) 2016-01-22 2019-08-27 State Farm Mutual Automobile Insurance Company Coordinated autonomous vehicle automatic area scanning
US11441916B1 (en) 2016-01-22 2022-09-13 State Farm Mutual Automobile Insurance Company Autonomous vehicle trip routing
US11719545B2 (en) 2016-01-22 2023-08-08 Hyundai Motor Company Autonomous vehicle component damage and salvage assessment
US9940834B1 (en) 2016-01-22 2018-04-10 State Farm Mutual Automobile Insurance Company Autonomous vehicle application
US10324463B1 (en) 2016-01-22 2019-06-18 State Farm Mutual Automobile Insurance Company Autonomous vehicle operation adjustment based upon route
US11242051B1 (en) 2016-01-22 2022-02-08 State Farm Mutual Automobile Insurance Company Autonomous vehicle action communications
US10134278B1 (en) 2016-01-22 2018-11-20 State Farm Mutual Automobile Insurance Company Autonomous vehicle application
US10162651B1 (en) * 2016-02-18 2018-12-25 Board Of Trustees Of The University Of Alabama, For And On Behalf Of The University Of Alabama In Huntsville Systems and methods for providing gaze-based notifications
FR3048544B1 (fr) * 2016-03-01 2021-04-02 Valeo Comfort & Driving Assistance Dispositif et methode de surveillance d'un conducteur d'un vehicule automobile
EP3235701B1 (en) * 2016-04-20 2021-08-18 Honda Research Institute Europe GmbH Method and driver assistance system for assisting a driver in driving a vehicle
JP6699831B2 (ja) * 2016-04-28 2020-05-27 トヨタ自動車株式会社 運転意識推定装置
US9864737B1 (en) 2016-04-29 2018-01-09 Rich Media Ventures, Llc Crowd sourcing-assisted self-publishing
US10015244B1 (en) 2016-04-29 2018-07-03 Rich Media Ventures, Llc Self-publishing workflow
US10083672B1 (en) 2016-04-29 2018-09-25 Rich Media Ventures, Llc Automatic customization of e-books based on reader specifications
US9886172B1 (en) * 2016-04-29 2018-02-06 Rich Media Ventures, Llc Social media-based publishing and feedback
US10065651B2 (en) 2016-05-10 2018-09-04 Samsung Electronics Co., Ltd Electronic device and method for determining a state of a driver
WO2017208529A1 (ja) * 2016-06-02 2017-12-07 オムロン株式会社 運転者状態推定装置、運転者状態推定システム、運転者状態推定方法、運転者状態推定プログラム、対象者状態推定装置、対象者状態推定方法、対象者状態推定プログラム、および記録媒体
JP6737906B2 (ja) * 2016-06-07 2020-08-12 トヨタ モーター ヨーロッパ 視覚的且つ動的な運転シーンの知覚的負荷を決定する制御装置、システム及び方法
CN106080194A (zh) * 2016-06-14 2016-11-09 李英德 防疲劳驾驶的预警方法和系统
JP6759743B2 (ja) * 2016-06-17 2020-09-23 アイシン精機株式会社 視認方向推定装置
JP7161410B2 (ja) 2016-06-29 2022-10-26 シーイング マシーンズ リミテッド シーンにおけるカメラの姿勢を特定するシステム及び方法
US9972134B2 (en) 2016-06-30 2018-05-15 Microsoft Technology Licensing, Llc Adaptive smoothing based on user focus on a target object
EP3481661A4 (en) 2016-07-05 2020-03-11 Nauto, Inc. AUTOMATIC DRIVER IDENTIFICATION SYSTEM AND METHOD
US10025383B2 (en) * 2016-07-20 2018-07-17 Toyota Motor Engineering & Manufacturing North America, Inc. Automatic pause and resume of media content during automated driving based on driver's gaze
US9760827B1 (en) * 2016-07-22 2017-09-12 Alpine Electronics of Silicon Valley, Inc. Neural network applications in resource constrained environments
US10210451B2 (en) 2016-07-22 2019-02-19 Alpine Electronics of Silicon Valley, Inc. Neural network applications in resource constrained environments
US20180032816A1 (en) * 2016-07-29 2018-02-01 Worcester Polytechnic Institute Fixation identification using density optimization
US10209081B2 (en) 2016-08-09 2019-02-19 Nauto, Inc. System and method for precision localization and mapping
WO2018035531A1 (en) * 2016-08-19 2018-02-22 Massachusetts Intitute Of Technology Systems and methods for providing visual allocation management
WO2018035533A2 (en) 2016-08-19 2018-02-22 Massachusetts Institute Of Technology Systems and methods for using an attention buffer to improve resource allocation management
EP3290284A1 (en) 2016-08-30 2018-03-07 Honda Research Institute Europe GmbH Vehicle with a driver seat and at least one passenger seat and a method for providing a co-driver and/or at least one fellow passenger with information on a currently experienced driving situation
US10733460B2 (en) 2016-09-14 2020-08-04 Nauto, Inc. Systems and methods for safe route determination
JP7290567B2 (ja) * 2016-11-07 2023-06-13 ナウト，インコーポレイテッド 運転者の注意散漫決定のためのシステム及び方法
KR101896790B1 (ko) * 2016-11-08 2018-10-18 현대자동차주식회사 운전자 집중도 판정 장치, 그를 포함한 시스템 및 그 방법
JP2018081539A (ja) * 2016-11-17 2018-05-24 パイオニア株式会社 制御装置、制御方法及びプログラム
US11062175B2 (en) * 2016-11-22 2021-07-13 Japan Aerospace Exploration Agency System, method, and program for estimating reduced attention state, and storage medium storing the same program
US10796147B1 (en) * 2016-12-12 2020-10-06 Keith Hanna Method and apparatus for improving the match performance and user convenience of biometric systems that use images of the human eye
US10346697B2 (en) 2016-12-21 2019-07-09 Hyundai America Technical Center, Inc Driver state monitoring using corneal reflection detection
JP6344747B2 (ja) * 2016-12-26 2018-06-20 ヤマハ発動機株式会社 演算処理装置及び人の状態推定方法
US10891502B1 (en) * 2017-01-19 2021-01-12 State Farm Mutual Automobile Insurance Company Apparatuses, systems and methods for alleviating driver distractions
US20180225617A1 (en) * 2017-02-06 2018-08-09 Google Inc. Method and system for automated work pattern quantification
US10296786B2 (en) * 2017-02-15 2019-05-21 International Business Machines Corporation Detecting hand-eye coordination in real time by combining camera eye tracking and wearable sensing
KR20180124381A (ko) * 2017-05-11 2018-11-21 현대자동차주식회사 운전자의 상태 판단 시스템 및 그 방법
US10191462B2 (en) 2017-06-06 2019-01-29 International Business Machines Corporation Vehicle electronic receptionist for communications management
WO2018229548A2 (en) 2017-06-16 2018-12-20 Nauto Global Limited System and method for contextualized vehicle operation determination
US10453150B2 (en) 2017-06-16 2019-10-22 Nauto, Inc. System and method for adverse vehicle event determination
CN111295699B (zh) * 2017-08-31 2023-03-21 松下知识产权经营株式会社 辅助方法以及利用该辅助方法的辅助系统、辅助装置
JP6915502B2 (ja) * 2017-11-09 2021-08-04 トヨタ自動車株式会社 ドライバ状態検出装置
US10572745B2 (en) 2017-11-11 2020-02-25 Bendix Commercial Vehicle Systems Llc System and methods of monitoring driver behavior for vehicular fleet management in a fleet of vehicles using driver-facing imaging device
US11042994B2 (en) * 2017-11-15 2021-06-22 Toyota Research Institute, Inc. Systems and methods for gaze tracking from arbitrary viewpoints
WO2019125098A1 (es) * 2017-12-19 2019-06-27 Dino Alejandro Pardo Guzman Método de detección y gestión de fatiga mental durante la conducción basado en analisis de mirada y deteccion de objetos
US10528802B2 (en) * 2018-01-09 2020-01-07 Futurewei Technologies, Inc. Head pose and distraction estimation
US11620419B2 (en) 2018-01-24 2023-04-04 Toyota Research Institute, Inc. Systems and methods for identifying human-based perception techniques
EP3759700B1 (en) 2018-02-27 2023-03-15 Nauto, Inc. Method for determining driving policy
JP7099037B2 (ja) * 2018-05-07 2022-07-12 オムロン株式会社 データ処理装置、モニタリングシステム、覚醒システム、データ処理方法、及びデータ処理プログラム
EP3576074A1 (en) * 2018-06-01 2019-12-04 Volvo Car Corporation Method and system for assisting drivers to drive with precaution
US10849543B2 (en) * 2018-06-08 2020-12-01 Ford Global Technologies, Llc Focus-based tagging of sensor data
ES2736901A1 (es) 2018-06-29 2020-01-08 Geotab Inc Caracterización de una colisión de vehículo
GB2577270B (en) * 2018-09-19 2021-04-07 Jaguar Land Rover Ltd Apparatus and method for monitoring vehicle operation
GB2591036B (en) * 2018-09-19 2023-03-15 Jaguar Land Rover Ltd Apparatus and method for monitoring vehicle operation
JP7263734B2 (ja) * 2018-10-29 2023-04-25 株式会社アイシン 視認対象判定装置
US11150656B2 (en) * 2018-11-19 2021-10-19 Honda Motor Co., Ltd. Autonomous vehicle decision making
FR3090172B1 (fr) 2018-12-13 2020-11-20 Continental Automotive France Procédé de détermination d’un niveau de vigilance d’un conducteur
US11488399B2 (en) * 2018-12-19 2022-11-01 Magna Electronics Inc. Vehicle driver monitoring system for determining driver workload
CN109752727B (zh) * 2019-01-11 2022-03-04 山东科技大学 一种机载LiDAR测深海气界面折射改正方法
US10921883B2 (en) 2019-01-17 2021-02-16 International Business Machines Corporation Eye tracking for management of mobile device
JP2020158047A (ja) * 2019-03-28 2020-10-01 本田技研工業株式会社 車両制御システム
GB2582775B (en) * 2019-04-02 2022-04-06 Jaguar Land Rover Ltd Attention level determination
KR102610759B1 (ko) * 2019-04-03 2023-12-08 현대자동차주식회사 졸음 운전 관리 장치, 그를 포함한 시스템 및 그 방법
CN110298865B (zh) * 2019-05-22 2023-07-07 深空探测科技(北京)有限责任公司 基于阈值分离聚类器的天基星空背景弱小点目标跟踪方法
US10803334B1 (en) 2019-10-18 2020-10-13 Alpine Electronics of Silicon Valley, Inc. Detection of unsafe cabin conditions in autonomous vehicles
CN110728256A (zh) * 2019-10-22 2020-01-24 上海商汤智能科技有限公司 基于车载数字人的交互方法及装置、存储介质
US11538259B2 (en) * 2020-02-06 2022-12-27 Honda Motor Co., Ltd. Toward real-time estimation of driver situation awareness: an eye tracking approach based on moving objects of interest
JP2021144419A (ja) * 2020-03-11 2021-09-24 いすゞ自動車株式会社 安全運転判定装置
US11647925B2 (en) 2020-03-20 2023-05-16 Starkey Laboratories, Inc. Alertness mode initiation for non-alert detection using ear-worn electronic devices
US12023147B2 (en) 2020-03-20 2024-07-02 Starkey Laboratories, Inc. Alertness determination for non-alert detection using ear-worn electronic devices
US20230159046A1 (en) * 2020-04-06 2023-05-25 Adam Cogtech Ltd Generation and Presentation of Stimuli
US11611587B2 (en) 2020-04-10 2023-03-21 Honda Motor Co., Ltd. Systems and methods for data privacy and security
KR20220000536A (ko) * 2020-06-26 2022-01-04 현대자동차주식회사 차량 주행 제어 장치 및 방법
GB2596541B (en) * 2020-06-30 2023-09-13 Sony Interactive Entertainment Inc Video processing
US20220117529A1 (en) * 2020-10-20 2022-04-21 Harman Becker Automotive Systems Gmbh System and method for determining an eye movement
US11654921B2 (en) * 2020-11-10 2023-05-23 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for limiting driver distraction
US20220180109A1 (en) * 2020-12-04 2022-06-09 Nauto, Inc. Devices and methods for monitoring drivers of vehicles
US12005922B2 (en) 2020-12-31 2024-06-11 Honda Motor Co., Ltd. Toward simulation of driver behavior in driving automation
US11941986B2 (en) 2021-02-03 2024-03-26 Geotab Inc. Methods for characterizing a low-impact vehicle collision using high-rate acceleration data
US11884285B2 (en) * 2021-02-03 2024-01-30 Geotab Inc. Systems for characterizing a vehicle collision
US11862022B2 (en) 2021-02-03 2024-01-02 Geotab Inc. Methods for characterizing a vehicle collision
FR3121347B1 (fr) 2021-04-01 2023-06-02 Faurecia Interieur Ind Dispositif électronique et procédé de surveillance du comportement d’un conducteur lors de la conduite d’un véhicule, système électronique de supervision et programme d’ordinateur associés
US11794753B2 (en) 2021-04-09 2023-10-24 Ford Global Technologies, Llc Eyes-on-road detection
US12087092B2 (en) * 2021-06-04 2024-09-10 Rockwell Collins, Inc. Pilot safety system with context-sensitive scan pattern monitoring and alerting
EP4113464A1 (en) * 2021-06-30 2023-01-04 Tobii AB An eye tracking system
US11847840B2 (en) * 2021-08-24 2023-12-19 Toyota Research Institute, Inc. Visual notification of distracted driving
US20230110464A1 (en) * 2021-10-08 2023-04-13 Woven Alpha, Inc. Vehicle occupant gaze detection system and method of using
US11745744B2 (en) * 2021-12-15 2023-09-05 Honda Motor Co., Ltd. System and method for determining object-wise situational awareness
JP7460867B2 (ja) * 2021-12-24 2024-04-03 パナソニックオートモーティブシステムズ株式会社 推定装置、推定方法及びプログラム
CN114680889A (zh) * 2022-03-08 2022-07-01 中国石油大学(北京) 钻井作业人员的不安全行为识别方法和装置
US11726340B1 (en) * 2022-03-28 2023-08-15 Honeywell International Inc. Systems and methods for transforming video data in an indirect vision system
US20240025450A1 (en) * 2022-07-20 2024-01-25 GM Global Technology Operations LLC Vehicle systems and methods for autonomous operation using driver attention
US11780458B1 (en) * 2022-12-14 2023-10-10 Prince Mohammad Bin Fahd University Automatic car side-view and rear-view mirrors adjustment and drowsy driver detection system
WO2024146692A1 (en) 2023-01-05 2024-07-11 Xylon d.o.o. Visual distraction detection method in driving monitoring system

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7983817B2 (en) * 1995-06-07 2011-07-19 Automotive Technologies Internatinoal, Inc. Method and arrangement for obtaining information about vehicle occupants
WO1998049028A1 (en) 1997-04-25 1998-11-05 Applied Science Group, Inc. An alertness monitor
US6091334A (en) * 1998-09-04 2000-07-18 Massachusetts Institute Of Technology Drowsiness/alertness monitor
US6724920B1 (en) * 2000-07-21 2004-04-20 Trw Inc. Application of human facial features recognition to automobile safety
US6496117B2 (en) * 2001-03-30 2002-12-17 Koninklijke Philips Electronics N.V. System for monitoring a driver's attention to driving
US6974414B2 (en) * 2002-02-19 2005-12-13 Volvo Technology Corporation System and method for monitoring and managing driver attention loads
EP1553872B1 (en) 2002-10-15 2010-01-13 Volvo Technology Corporation Method for interpreting a subjects head and eye activity
US6906619B2 (en) * 2003-02-27 2005-06-14 Motorola, Inc. Visual attention influenced condition indicia apparatus and method
JP4841425B2 (ja) * 2003-06-06 2011-12-21 ボルボ テクノロジー コーポレイション 運転者の行動解釈に基づいて自動車のサブシステムを制御する方法および機構

Cited By (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103718134B (zh) * 2011-05-25 2017-02-22 索尼电脑娱乐公司 用于改变设备行为的眼睛凝视
CN103718134A (zh) * 2011-05-25 2014-04-09 索尼电脑娱乐公司 用于改变设备行为的眼睛凝视
CN103942527A (zh) * 2013-01-18 2014-07-23 通用汽车环球科技运作有限责任公司 利用眼镜分类器的眼睛离开道路分类
CN103942527B (zh) * 2013-01-18 2018-01-05 通用汽车环球科技运作有限责任公司 利用眼镜分类器的眼睛离开道路分类
CN105358358B (zh) * 2013-07-05 2019-06-04 罗伯特·博世有限公司 用于求取车辆驾驶员的注意力程度的方法
CN105358358A (zh) * 2013-07-05 2016-02-24 罗伯特·博世有限公司 用于求取车辆驾驶员的注意力程度的方法
CN103767715A (zh) * 2014-01-15 2014-05-07 中国人民解放军国防科学技术大学 一种驾驶员安全驾驶状态检测装置
CN103767715B (zh) * 2014-01-15 2015-10-28 中国人民解放军国防科学技术大学 一种驾驶员安全驾驶状态检测装置
CN104820669A (zh) * 2014-01-31 2015-08-05 大众汽车有限公司 用于使用全景成像的增强时间推移视频生成的系统和方法
CN104008664B (zh) * 2014-04-18 2017-03-01 小米科技有限责任公司 路况信息获取方法及相关装置
CN104008664A (zh) * 2014-04-18 2014-08-27 小米科技有限责任公司 路况信息获取方法及相关装置
CN103903276A (zh) * 2014-04-23 2014-07-02 吉林大学 基于密度聚类法和形态学聚类法的驾驶员注视点聚类方法
CN103903276B (zh) * 2014-04-23 2017-01-11 吉林大学 基于密度聚类法和形态学聚类法的驾驶员注视点聚类方法
CN106687026A (zh) * 2014-05-12 2017-05-17 汽车技术国际公司 驾驶员健康以及疲劳监控系统和方法
CN105313902B (zh) * 2014-06-11 2019-05-03 福特全球技术公司 改进车辆行驶方向错误检测的系统和方法
CN105313902A (zh) * 2014-06-11 2016-02-10 福特全球技术公司 改进车辆行驶方向错误检测的系统和方法
CN106446771B (zh) * 2015-08-12 2022-02-25 福特全球技术公司 驾驶员注意力评估
CN106446771A (zh) * 2015-08-12 2017-02-22 福特全球技术公司 驾驶员注意力评估
CN108351685A (zh) * 2015-08-15 2018-07-31 谷歌有限责任公司 用于与真实和虚拟对象交互的基于生物力学的眼睛信号的系统和方法
CN108351685B (zh) * 2015-08-15 2022-07-08 谷歌有限责任公司 用于与真实和虚拟对象交互的基于生物力学的眼睛信号的系统和方法
CN108369768A (zh) * 2015-12-14 2018-08-03 罗伯特·博世有限公司 用于对车辆的乘客的至少一只眼睛的眼睛睁开数据进行分类的方法和装置以及用于检测车辆的乘客的困倦和/或微睡眠的方法和装置
CN106923908A (zh) * 2015-12-29 2017-07-07 东洋大学校产学协力团 性别注视特性分析系统
CN109074748A (zh) * 2016-05-11 2018-12-21 索尼公司 图像处理设备、图像处理方法和可移动体
CN106529409A (zh) * 2016-10-10 2017-03-22 中山大学 一种基于头部姿态的眼睛注视视角测定方法
CN110268338A (zh) * 2017-02-09 2019-09-20 谷歌有限责任公司 使用视觉输入进行代理导航
CN110268338B (zh) * 2017-02-09 2022-07-19 谷歌有限责任公司 使用视觉输入进行代理导航
CN107368808B (zh) * 2017-07-20 2020-02-21 湖南科乐坊教育科技股份有限公司 一种儿童阅读状态检测方法及装置
CN107368808A (zh) * 2017-07-20 2017-11-21 湖南科乐坊教育科技股份有限公司 一种儿童阅读状态检测方法及装置
CN110691726A (zh) * 2017-08-07 2020-01-14 宝马股份公司 用于评估驾驶员状态的方法和设备以及车辆
CN107562213A (zh) * 2017-10-27 2018-01-09 网易（杭州）网络有限公司 视疲劳状态的检测方法、装置以及头戴式可视设备
CN111970958A (zh) * 2017-11-30 2020-11-20 思维股份公司 用于检测神经障碍和测量一般认知能力的系统和方法
CN111565978A (zh) * 2018-01-29 2020-08-21 华为技术有限公司 主预览区域和基于视线的驾驶员分心检测
US11977675B2 (en) 2018-01-29 2024-05-07 Futurewei Technologies, Inc. Primary preview region and gaze based driver distraction detection
CN108491823B (zh) * 2018-03-30 2021-12-24 百度在线网络技术（北京）有限公司 用于生成人眼识别模型的方法和装置
CN108491823A (zh) * 2018-03-30 2018-09-04 百度在线网络技术（北京）有限公司 用于生成人眼识别模型的方法和装置
CN110386146A (zh) * 2018-04-17 2019-10-29 通用汽车环球科技运作有限责任公司 用于处理驾驶员注意力数据的方法和系统
CN108596106B (zh) * 2018-04-26 2023-12-05 京东方科技集团股份有限公司 基于vr设备的视觉疲劳识别方法及其装置、vr设备
CN108596106A (zh) * 2018-04-26 2018-09-28 京东方科技集团股份有限公司 基于vr设备的视觉疲劳识别方法及其装置、vr设备
CN112204505A (zh) * 2018-06-06 2021-01-08 索尼公司 信息处理装置、信息处理方法和程序
CN109858403A (zh) * 2019-01-16 2019-06-07 深圳壹账通智能科技有限公司 一种监测司机开车使用手机的方法及摄像装置
CN110276334A (zh) * 2019-06-28 2019-09-24 海马汽车有限公司 一种针对用户车辆使用情况的分析方法及系统
CN112446499A (zh) * 2019-08-30 2021-03-05 西门子医疗有限公司 改进用于自动量化冠状动脉疾病的机器学习模型的性能
CN112519786A (zh) * 2019-09-19 2021-03-19 通用汽车环球科技运作有限责任公司 用于评估乘员目光的设备和方法
CN110928618A (zh) * 2019-10-30 2020-03-27 西北工业大学 一种座舱人机界面注意力分配计算方法
US20220284717A1 (en) * 2019-12-02 2022-09-08 Denso Corporation Consciousness determination device and consciousness determination method
CN113276822B (zh) * 2020-02-19 2023-10-20 马自达汽车株式会社 驾驶员状态推断装置
CN113276822A (zh) * 2020-02-19 2021-08-20 马自达汽车株式会社 驾驶员状态推断装置
CN113468956A (zh) * 2021-05-24 2021-10-01 北京迈格威科技有限公司 注意力判定方法、模型训练方法及对应装置
CN115273600B (zh) * 2022-07-27 2024-08-27 山东心法科技有限公司 一种飞行员驾驶技能智能辅助训练方法及系统
CN115273600A (zh) * 2022-07-27 2022-11-01 山东心法科技有限公司 一种飞行员驾驶技能智能辅助训练方法及系统
CN115844404A (zh) * 2023-03-01 2023-03-28 中国民航大学 一种基于眼动数据的管制员注意力特征评价方法及装置
CN115844404B (zh) * 2023-03-01 2023-05-12 中国民航大学 一种基于眼动数据的管制员注意力特征评价方法及装置

Also Published As

Publication number Publication date
EP2032034A1 (en) 2009-03-11
WO2007145566A1 (en) 2007-12-21
US20100033333A1 (en) 2010-02-11
JP5036814B2 (ja) 2012-09-26
EP2032034A4 (en) 2010-03-17
BRPI0712837A8 (pt) 2017-11-07
EP2032034B1 (en) 2020-04-01
CN101466305B (zh) 2012-05-30
BRPI0712837B1 (pt) 2019-10-29
JP2009540459A (ja) 2009-11-19
US8487775B2 (en) 2013-07-16
BRPI0712837B8 (pt) 2021-06-22
BRPI0712837A2 (pt) 2012-07-31

Similar Documents

Publication Publication Date Title
CN101466305B (zh) 用于确定和分析视觉兴趣位置的方法
US12032730B2 (en) Methods and systems for using artificial intelligence to evaluate, correct, and monitor user attentiveness
Braunagel et al. Ready for take-over? A new driver assistance system for an automated classification of driver take-over readiness
EP2204118B1 (en) Method for interpreting a drivers head and eye activity
US20220388518A1 (en) Information processing device, moving apparatus, method, and program
Victor Keeping eye and mind on the road
Jiménez et al. Gaze fixation system for the evaluation of driver distractions induced by IVIS
KR20200113202A (ko) 정보 처리 장치, 이동 장치, 및 방법, 그리고 프로그램
Costa et al. Detecting driver’s fatigue, distraction and activity using a non-intrusive ai-based monitoring system
JP2019528217A (ja) 資源配分管理を改善するために注意力バッファを使用するシステムおよび方法
CN110448316A (zh) 数据处理装置及方法、监测系统、唤醒系统以及记录介质
JP2008079737A (ja) 集中度評価装置及びこれを用いた車両用表示装置
EP4042322A1 (en) Methods and systems for using artificial intelligence to evaluate, correct, and monitor user attentiveness
Bergasa et al. Visual monitoring of driver inattention
Kotseruba Investigating and Modeling the Effects of Task and Context on Drivers' Attention
Braunagel Ensuring the take-over readiness of the driver based on the gaze behavior in conditionally automated driving scenarios
Möbus Driver modeling and simulation of lane change situations
CN118457865A (zh) 游艇控制方法、系统及游艇
Alomari Human-centric detection and mitigation approach for various levels of cell phone-based driver distractions
KAVYA et al. Traffic Sign Recognition for Advanced Driver Assistance using Digital Image Processing
Zaid et al. Assessing Driver Hazard Attention Toward anIntelligent, Artificial Co-Driver
Abas Non-intrusive driver drowsiness detection system.

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20170616

Address after: Gothenburg

Patentee after: VOLVO TRUCK CORPORATION

Address before: Gothenburg

Patentee before: Volvo Technology Corp.

TR01 Transfer of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20120530

Termination date: 20210611

CF01 Termination of patent right due to non-payment of annual fee