CN100398065C

CN100398065C - 解释对象的头部和眼睛活动的方法和装置

Info

Publication number: CN100398065C
Application number: CNB2003801015606A
Authority: CN
Inventors: 特伦特·维克托; 彼得·拉松
Original assignee: Volvo Technology AB
Current assignee: Volvo Technology AB
Priority date: 2002-10-15
Filing date: 2003-10-15
Publication date: 2008-07-02
Anticipated expiration: 2023-10-15
Also published as: CN101317763A; JP4551766B2; JP2010131401A; CN1705454A; US7460940B2; WO2004034905A1; EP2204118B1; US20050073136A1; EP2204118A2; EP1553872A1; AU2003269772A1; BR0315384A; ATE454849T1; JP2006502796A; CN101317763B; EP2298155A3; DE60330980D1; EP1553872B1; EP2204118A3; JP2013056180A

Abstract

用于分析对象的眼睛和/或头部定向特征的方法。驾驶员头部位置和/或眼睛运动的检测和量化相对于环境进行。进行数据测试，并从该数据推导出对象感兴趣的已经历的区域/事物的定位。当车辆驾驶员是该对象时，驾驶员感兴趣的区域/事物可以在该车辆内部或车辆外部，并且可以由(1)诸如收音机控制器、速度表和其他仪表的“事物”，和(2)诸如“前面的道路”和改变车道时相邻车道的间隙空间的区域或位置构成。为了使跟踪数据关于感兴趣的车辆“标准化”，驾驶员头部位置的量化对于参考的基准位置被标准化，因而根据关于(1)驾驶员的眼睛定向和(2)驾驶员的头部位置中的任何一个或者全部两个的检测信息，能够推导驾驶员已经表示出兴趣的位置。

Description

解释对象的头部和眼睛活动的方法和装置

相关申请

本申请要求于2000年10月15日提交的临时专利申请60/418,171的利益，该申请的题目为“METHOD AND ARRANGEMENT FORINTERPRETING DRIVER ACTIVITY(解释驾驶员活动的方法和装置)”，其公开的内容通过参考明白地结合于此。

技术领域

本发明涉及自动数据处理的方法，更具体地说，本发明涉及一种自动化方法，用于分析和利用头部和眼睛跟踪数据，以推断出诸如认知与视觉分散的被观察对象的特征，以及量化工作负荷水平。

背景技术

正在进行的关于驾驶员疲劳、精神分散、工作负荷以及其他与形成潜在危险驾驶情况的驾驶员状态研究是非常重要的。大约百分之九十五的交通事故是由于驾驶员的错误造成的，这不是令人吃惊的估计，其中驾驶员的疏忽是最普通的起因因素。大量研究证明眼睛活动与较高度的认知过程之间的关系。这些研究主要讨论眼睛活动在一定程度上反映驾驶员的认知状态。在一些研究中，眼睛活动用来直接衡量驾驶员的认知注意水平，另一方面用来衡量心理负荷。

驾驶员所看到的一般作为系统的重要的输入因素而被接受，该系统设计成避免车辆事故，特别是撞车事故。通过确定驾驶员所看到的，人机交互作用(HMI)系统能够被优化，并且根据驾驶员眼睛的定向和运动能够调节诸如向前碰撞警告(FWC)的主动安全功能。这可以作为许多对象的脱机分析，或使用联机或实时算法，可能将例如FCW阈值的事物调节到当前的驾驶员状态。

如上所述，眼睛运动的有趣的应用是人机工程学和HMI领域。例如，这种用途可以用来确定道路和交通信息(RTI)的最好方位显示，以及分析特定HMI是否比其他的提出较少的视觉需要。这些类型的分析能够并且由研究对象的眼睛运动作出，同时利用装置-HMI。然而，与当前方法相关的主要缺点在于，几乎没有什么用于进行分析的合适的自动化工具；在没有合适的自动化工具的情况下，所凭借的方法通常是劳动繁重的人工分析。

当前眼睛运动研究的严重问题在于，每个研究小组似乎都在用他们自己的定义和软件解码眼睛运动信号。这使得研究结果相互之间很不一样。因此希望有定义视觉量度和概念的标准。ISO 15007和SAEJ-2396构成这种标准的范例，因为他们规定了车内视觉需求测量方法，并提供了像扫视频率、扫视时间、离开前面路面实况的时间以及扫视持续时间这一类的视觉特征的量化规则，并提供获得这类视觉特征的步骤。但是，这两个标准是基于视频记录技术并依靠逐个画面定等级人的分析，这既费时又很不可靠。由于大量的各种车内信息和驾驶员辅助系统和装置增加，驾驶员眼睛运动的兴趣和其他认知指示器也增加。因此需要用于眼睛运动的标准化的自动的和健全的分析方法，并且在将来会变得更加重要。

关于ISO 15007和SAE J-2396的规定，已经令人满意地验证了某些眼睛跟踪方法和分析程序。该系统的物理部分可以构造成既不是侵入的也不十分依赖于环境。至少一个例子基于两个设置在驾驶员前侧摄像机(立体声磁头)。软件用来实时地计算凝视矢量和其他感兴趣的测量，以指示诸如头部位置和转动(定向)、眨眼、眨眼频率以及眼睛睁开的程度这类事情。在这种软件中的其他重要特征是实时的同时计算头部位置/转动(定向)和凝视转动，得到以前没有的特征。而且，对诸如发生在车内的噪声环境不敏感。尤其是，业已发现，数据中的“噪声”是由于如可变的照明条件和头部/凝视运动这些事情影响数据质量变差的重要因素。

似乎在眼睛跟踪相关研究领域中以前的工作已经做得相当彻底。然而，由于技术进步使眼睛跟踪能够更健全、更轻便，这一技术领域继续在扩展。但是，缺少与驾驶工作相关的驾驶员特征的路上研究，并且到目前为止，没有利用实时的眼睛跟踪数据来计算诸如视觉或认知错乱的测量(见图16-18)。这是手工分段的耗时性和/或与通常利用的眼睛跟踪系统的不易便携性相关的技术困难的至少部分结果。然而，在实验室环境下进行的研究中，已经开发出各种算法。已经采用许多不同的手段，例如，神经网络，自适应数字滤波器，Hidden Markow模型，最小均方法，分散或基于速度的方法和其他高阶导数法。然而，许多这些方法是基于眼睛跟踪者的典型特性，例如采样频率，并且不能与其他的这种系统很好地工作。

因此，还没有标准用来定义要测量的驾驶员特征是什么以及怎样测量这些特征。没有涉及包括迅速扫视(saccade)、注视(fixation)和眼睛闭合的基本视觉分段的标准。该标准仅仅涉及扫视(glance)，也就是说，掠过视野的快速眼睛运动的发生。

有趣地，当前没有方法考虑到平稳的眼睛运动或追踪，即，远离驾驶路线有目的的观察，例如通过路标时看(读)路标。事实上，许多研究，例如通过确定没有目标追踪，设计成以便不发生平稳的追踪。当前研究的这种回避是可以理解的，因为很难区分平稳追踪与迅速扫视或注视。在文献中很少提到这些特征。不管这些特征没有被考虑的理由，本发明考虑了平稳追踪，因为这种平稳的眼睛运动在实际驾驶条件下相当频繁地发生。

驾驶车辆最基本的是必须使车辆对准，检查其路线或前进方向，并且检查潜在的碰撞危险，无论它们是来自物体或事件。这种道路实况意识是纵向和横向控制车辆的先决条件。应当明白，道路中心并非总是在车辆纵轴线前面笔直的，由于曲线而是经常偏离中心线，这在道路上或多或少几乎总是存在的。既便如此，研究表明，驾驶员在大多数时间，即百分之八十五到百分之九十五的时间，往往用他们的眼睛主要看道路基本笔直的前面(对于道路弯曲考虑合理的偏离)。还有，谨慎告诉一般的驾驶员，扫视远离道路中心或行进路线被选择最好的时机，以便不干扰使车辆对准，并且符合发生意外事件或遇到物体的低概率。既便如此，上述统计表明，即使是谨慎的驾驶员也不总是专心地驾驶，也不是一贯地安排好他们自己的工作负荷，而是驾驶时精神分散。

在大多数场合驾驶不是特别要求的工作。例如，据估计，在大多数州际驾驶时，使用驾驶员的感知能力在百分之五十以下。因此，驾驶员经常进行次要的工作，例如拨打便携式电话和改变收音机频道。当进行次要的工作时，出现时间共享的扫视行为，眼睛在道路和该工作之间来回移动。视觉的暂时分享是具有单一视觉源的牵涉动作，可以说，一方面在观看道路，另一方面在进行次要工作。包括撞车在内的问题是，在眼睛离开道路的时间间隔中可能会发生意想不到的事情，并且对这些意想不到的事件或事物的反应变得非常慢。

这里提出的新的测量和分析技术采用这种看笔直前方或车辆路线迹线的基本而必须的驾驶眼睛运动行为。该测量对进行视觉上、认知上或手动需要的车内工作的视觉影响给出精确的脱机评估，业已发现这些车内工作与常规的测量高度相关。它们也能够与正常驾驶进行比较。这里提出的量度也非常适合这种视觉影响的联机计算和评估，并且代表了能够用于检测精神分散和工作负荷的实时测量。

发明内容

本发明的至少一个特征是被验证的分析方法和算法的措施，该分析方法和算法便于：由头部/眼睛跟踪系统产生的眼睛运动数据的自动化分析，基本上消除了人的评价，并且输出过滤的、有效的特征数据，该数据是健全的并消除了错误和噪声。优选地，这些便利是按照ISO/SEA进行的并且是相似地被接受的现有和将来的标准。

另一个目的是对实时环境采用一定算法。另一个目的是识别并提供驾驶员支撑，该支撑是基于视觉行为并且由于执行系统而能够辅助驾驶员避免潜在的有害情况，所述执行系统使驾驶员重新聚焦。

一方面，本发明提出在车内需要有一种标准参考，其中驾驶员感兴趣的不同事物和区域能够被相对地定位。希望有一种参考的标准框架(该参考由在车辆内部的相关位置/定位/定向所定义(在本公开的内容中，向前的斜杠符号“/”用来表示“和/或”关系))，参照该参考可以解释来自不同尺寸、身材和行为的操作者的头部/脸部/眼睛跟踪数据，由于该参考的标准框架使为了这里描述的各种目、用于精确处理的这些数据标准化。

在至少一个实施例中，本发明可以被定义为用于分析车辆驾驶员的视觉和/或头部定向特征的一种方法。应当理解，所述的分析技术或过程预期能够被用于储存跟踪数据或实时数据，跟踪数据通常关于时间而被作标记，实时数据本质上将时间作为在数据流中的定义因素；因此是描述性的名称，“实时”数据。在任何情况下，本发明的实施例预计检测并量化驾驶员的头部相对于乘客车厢内的空间的位置。提供“基准点”驾驶员头部(或其一部分)的参考基准位置，其能够使驾驶员感兴趣的区域/事物的位置相对其相互参照。应当理解，驾驶员感兴趣的这些区域/事物可以在车辆内部，也可以在车辆外部，并且可以由以下两条构成：(1)诸如声频控制、速度表和其他仪表的“事物”，以及(2)诸如“道路前面”和与相邻车道之间的改变车道的间隙空间的区域或位置。为了相对于所关心的车辆使跟踪数据标准化，驾驶员头部位置的量化对于参考基准位置是标准化的，因而根据检测的信息能够推导驾驶员表现出兴趣的位置，所述信息关于下列两项中的任一项或两项：(1)驾驶员的视觉定向，(2)驾驶员的头部定向。

在跟踪信息是关于驾驶员的头部和眼睛的特征两者而获得的情况下，优先使用关于驾驶员的视觉定向的检测信息作为推导驾驶员所关心的位置的基础。当关于驾驶员的视觉定向的检测信息的质量降低到规定的极限凝视置信度水平以下时，一个开关用于关于驾驶员头部定向的检测信息，作为用来推导驾驶员已经表示出兴趣的地方的基础。作为例子，当驾驶员的眼睛闭合时，即以防止它们被跟踪的某种方式被挡住或被盖住时，这个开关可以是必须的。也可以认为闭合的状态包括跟踪传感器不能跟踪眼睛的状态，例如因为不能识别/定位相关的脸部特征。例如，不能推导眼睛-到鼻子-到嘴的定向和参考(某些跟踪系统需要参考框架，用于建立脸部，以便定位要被跟踪并且被数据值特征化的眼睛)。当脸部没有被适当参考时，例如，某些传感器可能跟踪错当成眼睛的对象的鼻孔，或者，戴着的已(折射地)变形的或使眼睛图象模糊(太阳镜)的眼镜。眼睛闭合的另一个例子是当驾驶员的头部位置离开眼睛向前(多数驾驶)的定向超过偏离允许的程度时。在这些情况下，驾驶员的眼睛有效地在视觉上与跟踪设备(传感器)被相阻挡开，所述跟踪设备(传感器)产生眼睛定向数据。

优选地，利用数学变换实现驾驶员头部位置相对参考基准位置的量化的标准化。在车上安装，优选为在基本为实时的基础上使用车载计算机进行数学变换。

在本发明的一种发展(方案)中，规定驾驶员关心的区域/事物相对于参考基准位置的位置。在这方面，这种规定用作样板，贴着它或在它上面可以读取或覆盖检测数据。

可选地，驾驶员关心的区域/事物的可能的位置是根据检测的驾驶员的视觉特征、相对于参考基准位置定义的。在一个示例性的发展中，驾驶员关心的区域/事物的可能位置相对于参考基准位置的这种定义可以根据检测的驾驶员凝视频率的视觉特征建立。在这里，根据对收集的凝视密度特征的量化建立凝视频率。

在本发明的一个实施例中，通过将检测的驾驶员视觉特征映射到所述规定或定义的驾驶员关心的区域/事物相对于参考基准位置的可能位置，驾驶员关心的区域/事物(这往往是被解释为包含多个驾驶员关心的区域/事物)根据驾驶员视觉特征(示例性地表示为跟踪数据)来识别。也就是说，可以通过比较所观察的数据(头部和/或眼睛跟踪数据)和上面定义的规定的样板，或通过对照与驾驶员将可能关心的特定事物和/或区域相关的已知数据组，作出已经被推导作为驾驶员可能关心的区域或事物的识别。

示例性的例子是，为特定的车辆设计一个基于区域的样板，并且识别驾驶员看各种定位/事物的相关频率。例如，可能发现，一般的驾驶员在约百分之四十的驾驶时间里基本上笔直地向前看，而约百分之二十的驾驶时间看包含速度计的各种仪表。还知道，空间上，这两个区域的中心的位置是一个在另一个的下面。因此，利用凝视方向数据(无论是否根据头部定向或眼睛(视觉)定向)，对于特定的驾驶员可以推导出道路中心和仪表组的相关位置。一旦参考的基本框架被建立之后，能够推导特定车辆对现实的响应，并且能够确定参考框架的移动。还有，也能够推导对车辆声频控制的扫视，例如，如果统计可知道一般的驾驶员看声频控制大约占正常驾驶时间的百分之十。一旦已经记录“学习时间”周期，许多驾驶员关心的区域/事物的相关位置能够根据统计确定，即使独立于事物/区域的任何已知的映射，或车辆中的参考框架。

另一方面，本发明需要根据映射的驾驶员视觉特征由车辆执行而适应规定的功能性。这可能简单的如，当检测到驾驶员视线离开道路的时间太长时使精神分散警告发出声音，通过自适应巡游控制系统以使保持在前面车辆后面的缓冲区增加。

在一个特别有利实施例中，业已发现，这些驾驶员关心的区域/事物，可以部分地根据，或专门地根据关于专门由凝视角量度构成的驾驶员视觉定向的检测信息来识别。关于在一特定车辆(举例性地识别为轿车的特定标志和模型)内的参考框架，区域/事物的角位置是特别精确的，因为不需要考虑距离。也就是说，如果区域定位被识别为统计地(概率地)表示可能的驾驶员关心的区域/事物，那么必须知道定位在远离该参考框架的区域的距离。这显露出这样一个事实，即定义的区域从焦点张开很多，就像一个锥体从其顶点张开一样。然而从顶点的角度是离散的测量(见图11)。

在本发明的一个示例性的方案中，凝视角的量度从基于眼球定向的检测的凝视方向矢量导出的。这可以取自一个眼球的观察，但是优选取作取自两个眼球的观察的凝聚。因此，代表性的矢量更准确地描述为从对象鼻梁区域发出的矢量，并定向为平行于观察角的平均值。

虽然以上本发明就眼球角度进行了细节描述，但是也可以认为，从基于头部定向的相似观察可以获得相似的结构。总的来说，比较可以描述为利用鼻子指向的(基于头部)方向，相对眼睛从该参考框架定向的方向(该方向由参考框架的定向所定义)，根据检测的头部定向定义驾驶员关心的区域/事物相对于参考基准位置的可能位置。

在至少一个实施例中，驾驶员关心的区域/事物的可能位置的定义根据检测的头部定向相对于参考基准位置而确定，从该头部定向推导出脸部朝前的方向。在这种情况下，如同眼球迹线测量数据一样，特定的头部定向和脸部朝前的方向可以利用密度映射而建立，该密度映射指示了驾驶员看某一确定的方向的频率。

驾驶员关心的区域/事物可以使代表性的映射(因此，这也能够从角的直接数据完成)与驾驶员关心的区域/事物相对于参考基准位置的规定/定义的可能位置相关而识别。

当提出基于头部定向的分析时，凝视角的测量能够从基于头部定向的检测的凝视方向矢量得到。

在另一个实施例中，本发明采用一种方法，用于研发在评价驾驶员活动和/或驾驶员状况中用于比较的基准点(参考框架)。该方法包括(包括但不限于)根据检测的驾驶员的特征，并根据从其研发的密度图形而收集(其也可以包括利用记录的数据流)凝视方向数据流，定义基于凝视方向的参数，其对应于驾驶员可能关心的至少一个的区域。

如前所述，该方法需要利用下述两个测量中的至少一个构成凝视方向数据：(1)驾驶员视觉定向，(2)驾驶员头部定向。

表示一般眼睛朝前驾驶的区域是根据来自收集的凝视方向数据的高密度图形而建立的。举例来说，该区域可以定义为在二维中定义的区域，例如抛物线，或在三维中定义的体积，例如从参考框架的顶点发出的锥形，该顶点相对于建立的参考框架基本上位于典型驾驶员的眼睛位置。

所收集的凝视方向数据与建立的代表性区域进行比较，从而根据该比较识别凝视离开(gaze departure)。根据类似的比较，可以推导环境或驾驶员的其他量。例如，凝视方向数据可以用来识别和/或测量诸如驾驶员的认知分散、驾驶员的视觉分散，和/或驾驶员高度工作负荷的事物。

还有，该方法预期并提供一种手段，根据确定的频率或持续时间(根据是否发生分散的或连续的事故)用于量化驾驶员关于完成驾驶工作所受伤害的严重性(程度)，其中在规定的时间段内检测作为凝视离开、认知分散、(3)视觉分散和(4)驾驶员高工作负荷的指示状况。

所关心的事故可以记录、存储和/或传输，用于由处理器进一步分析。相反，如果进行实时传输，表示所关心的事故的数据也可以被就地或远程实时分析。

这种分析的至少一种典型应用是，当严重性量化超过规定的严重性极限水平时，给驾驶员提供反馈。例如，当发生超过视觉分散(太多地移开目光)或认知分散(移开目光不够多——全神贯注时盯着前面)的水平时，驾驶员被警告。

来自分析的输出的另一种应用是，当严重性量化超过规定的严重性极限水平时，处理由车辆完成的规定的功能。其中一个例子是当确定驾驶员处于精神分散或不注意的状态时，使自适应巡游系统在与前面车辆之间设立附加的空间。

用于分析收集的凝视方向数据流的一种特别有利的模式是，利用横向通过数据系列的规定时间段的主要移动时间窗(统计分析领域的技术人员熟知的一种分析工具)，并检测指示驾驶时间共享活动发生的主要移动时间窗内的特征。其中一个例子是在移动九十二窗内取一定数据的平均值。当窗口沿数据系列前进时，新数据加到需要考虑的事项，而不考虑最旧数据(根据时间，等量地新进旧出)。

这种处理的应用可以用于根据发生驾驶员时间共享活动超过阈值的频率识别驾驶员高工作负荷时间段。为了免去所检测的事件效果的窗口，当检测到发生驾驶员时间共享活动终止时，使主要移动时间窗的更新(刷新或重新存储到正常)。以这种方式，在检测和分析之后使该事件的效果最小化，因此使该系统准备好用于下一次从正常的离开。

正如将要在下面详细讨论的，视觉活动的若干特征可以根据观察的眼睛活动而识别。一些容易由外行识别的共同特征是眨眼和扫视。不容易被外行理解的是如根据不太知道的诸如具有可测量的定义特征的迅速扫视、注视和转换构成的眼睛活动来表示特征或识别的扫视一类的事物。

在另一个实施例中，本发明采用一种方法，用于自动分析眼睛运动的数据，该方法包括通过将分类规则应用于数据，用基于计算机的程序处理代表对象被观察的眼睛运动的数据，并且因此识别至少由该对象经历的视觉注视。这些规则或特征将在下面详细讨论。分析由与该识别的注视相关的凝视方向信息构成，因而产生表示在数据收集期间对象视觉注视的方向的数据，该数据该被即刻分析。应当理解，在当前描述的实施例中，该对象不限于车辆的驾驶员，而可以是在其他设置中感兴趣的对象。设置在驾驶环境外面的至少一个例子置是试验场的区域，其中，不同地设置的产品展示被暴露给试验对象(举例来说，在一系列视频显示上)并且较之其他产品吸引他们注意的产品能够被识别。还有，在观察期间由对象的感受而产生的某些作用能够从某些可跟踪的眼睛活动被确定。例如，能够确定扫视发生有多长，从而提供由第一感受引起的相关的感兴趣的指示。

在优选实施例中，应用的分类规则至少包括定义注视和变化的准则，更优选地，提供定义迅速扫视准则的分类规则被附加地利用。

至少部分地根据注视的凝视方向，数据被分成定界数据组，每个定界数据组表示在数据收集期间存在的对象感兴趣的区域/事物。

在另一方面，扫视通过对数据应用至少一个扫视定义规则来识别，每个被识别的扫视包含至少一个被识别的注视。在本发明的这方面，定义扫视的规则是基于下列特征的至少一个，包括：扫视持续时间、扫视频率、总的扫视时间和总的工作时间。

在另一方面，相对密度由一组扫视与至少另一组扫视进行比较来评价，根据该比较，该方法识别被比较的所表示的扫视组的对象感兴趣的区域/事物。

同样，本发明的方法预期评价至少一组扫视在多组扫视中的相对密度，并且根据评估的相对密度到关于这种类型设置的已知相对密度的映射，其中收集眼睛运动数据，识别被比较扫视组的所表示的对象感兴趣的区域/事物。例如，利用在正常驾驶条件下驾驶员感兴趣的某个事物或区域已知的停止时间的典型百分比数，能够从收集的数据中识别这些区域或事物。

另一方面，评价从在空间上已知的设置中描述观察的眼睛运动的数据中产生的至少两组扫视的相对密度，并且从该相对密度中确定两个被比较的扫视组的每一组的所表示的对象感兴趣的区域/事物。然后在已知的设置中确定所表示的对象感兴趣的区域/事物的位置，从而建立用于已知设置的参考框架，因为推导的定位能够被映射或重叠在事物/区域的已知定位上。

然而，在一个特定的优选实施例中，该对象是车辆驾驶员，并且根据至少一个扫视数据组的密度，推导眼睛向前的正常驾驶员的眼睛定向。

本发明的又一方面，其中车辆驾驶员是对象，预期利用多个分析协议，其选择是根据与被处理的数据组相关的主要噪声特性。

在一种发展方案中，预定严格的第一数据滤波器被应用于输入数据流，该数据流包括代表车辆驾驶员被观察的眼睛运动的数据。利用基于计算机的处理器，并且从该处理器输出对应于该输入数据流的第一被过滤的数据流。这种对应的概念可以是这样的概念，其中每个输出值对应于输入值，从该输入值推导输出值。输出的第一过滤的数据流的质量由对其应用的第一认可规则评估，通过第一认可规则的被输出的第一过滤的数据流被输出并构成被认可的第一数据流。

在另一发展方案中，第二数据滤波器被应用于输入数据流，该第二数据滤波器比利用计算机处理器的第一数据滤波器更加严格(使数据更加平滑)；从该第二数据滤波器，经由其来自输入数据流的共同的导出物输出对应于第一被过滤的数据流第二被过滤的数据流(再一次，根据来自同一输入数据值已经计算的对应/比较)。该输出的第二被过滤的数据流的质量由对其应用的第二认可规则评价，并且通过第二认可规则的输出的第二被过滤的数据流的数据被输出并构成被认可的第二数据流。

从两个被认可的数据流，组成采集的被认可的数据流，由整个第一被认可的数据流构成，所述采集的被认可的数据流还由对应于输出的第一过滤的数据流的未认可证部分的认可的第二数据流部分构成。

在至少一个实施例中，该第一和第二认可规则是同样的；在另一个实施例中，该第一和第二认可规则是根据同样的准则，但可以是不一样的规则。

在另一种发展方案中，该方法包括选择至少两种分析协议，以从包括下述的组中构成多个：(1)基于速度的双阈值协议，相对该组的其他部分，最适合含有低噪声的眼睛和眼睑行为数据；(2)基于距离的分散间隔协议，相对该组的其他部分，最适合含有中等噪声的眼睛和眼睑行为数据；(3)基于视觉特征的定向规则协议，相对该组的其他部分，最适合含有高噪声的眼睛和眼睑行为数据。

在相关方面，对于任何给定的数据组，依据在数据组中所检测的噪声水平，协议的选择偏向于三个协议之一。另一方面，定向规则协议在注视和迅速扫视之间考虑下述一个或多个区分标准：(1)注视的持续时间必须超过150毫秒；(2)迅速扫视持续时间必须不超过200毫秒；并且迅速扫视开始和结束是在两个不同的位置。

在另一方面，描述眼睛运动的数据质量根据该多个分析协议中各自分析协议的相对应用评价。可选地，与其相关，可以在整个规定时间段考虑多个分析协议中基于时间的相应分析协议的相关应用作出质量评价。

如上所述，可以利用规定时间段的横过数据流的主要时间窗，进行收集的驾驶员眼睛凝视数据流的分析，但是在这种场合，检测使数据流的一部分的真实性变模糊的人为因素。在这种情况下，对辅助移动时间窗口进行分类，该辅助移动时间窗口同时横过该数据流并当遇到人为现象时从收集的数据中产生高度过滤数据。规定类似的过程用于在数据流行进期间处理质量变差超过规定的质量阈值的被检测数据。在这种情况下，对辅助移动时间窗口再一次进行分类，该辅助移动时间窗口同时横过该数据流并且由此当数据质量变差超过规定的质量阈值时从该收集的数据流生产高度过滤的数据。因此，当检测到数据质量变差已经落入在规定的质量阈值内时，返回该主要移动时间窗口。

附图说明

图1是脱机混合算法的示意图；

图2是联机混合算法的示意图；

图3是曲线图，示出定义注视和迅速扫视的阈值规则；

图4是示意图，示出根据信号噪声量的分析工具选择；

图5是曲线图，示出根据事实的群或密度的对象感兴趣的两个区域/事物；

图6是两个眼睛运动的详细曲线图，示出微小迅速扫视、飘移和颤动；

图7是眼睛运动采样的不同成分的特征的曲线说明图；

图8示出多个注视和迅速扫视的曲线图；

图9示出构成扫视的眼睛运动成分；

图10是示意图，示出实际头部位置向参考框架位移；

图11是示意图，示出凝视方向的测量；

图12-15用各种方式图解示出示例性地识别百分比或峰值道路中心的日间组群或密度收集；

图16是曲线图，示出利用百分比道路中心，以测量不同车内工作的相关影响；

图17是相对于精神分散的其他量度的绝对百分比道路中心的曲线图；

图18是用于不同时间阈值的离开道路中心的百分比长扫视曲线图；

图19是朝向仪表板的车辆内的透视图，其中有两个“立体”跟踪摄像机或监视器；

图20是朝向仪表板的车辆内的透视图，其中有一个跟踪摄像机或监视器；

图21是凝视水平信号的图解说明，其中插入有眨眼；

图22是水平凝视的图解说明，并且示出由于眨眼产生的三个下降；

图23是关于阈值的眼睛运动速度的图解说明；

图24是个分段凝视信号的图解说明；

图25是恢复的注视的图解说明；

图26是远离道路前面景象的多个扫视的图解说明；

图27是短暂停顿的频率分布图，示出两个感兴趣的区域/事物；

图28是另一种设置的示意图，用于对定向数据的实时分析起作用；

图29图解说明道路景象前面边界的确定；

图30-33图解说明由驾驶员产生的典型扫视状况的各种成分；

图34-36图解说明扫视数据的特定统计分析。

具体实施方式

在描述作为本发明的中心内容的实际数据处理方法之前，提供一些关于眼睛运动基本特征的基础信息，以及一些关于使用的典型跟踪系统的一般信息，所述跟踪系统用于感测、量化和选择地记录描述头部和/或眼睛定向(位置和运动特征)的数据，以方便水平低于本领域普通技术人员的读者。

至少关于基于眼睛运动的系统，目前能够得到的用于搜集眼运动数据的检测系统传递“未处理的”眼睛运动信号，这种信号具有相当大噪声并包括人为现象。正如通过阅读本发明的内容而变得非常明显的，通常，头部定向跟踪数据能够用作近似法，因此经常有效地代替眼睛跟踪数据。由于眼睛跟踪数据显然几乎总是提供对象观察处的更真实的指示(与头部跟踪数据相比)，但是，在本发明的内容中主要考虑的正是眼睛跟踪数据。

本发明的算法处理这种信息并产生表示这种事物的输出作为扫视频率(在预定的时间段内对目标区域扫视的次数)、单次扫视持续时间、总的扫视时间和总的工作时间的量度。算法体现被定义的规则以引发不同的警告；例如，如果驾驶员看他或她的移动电话多于两秒钟而不往回看道路。确切的引发规则的定义是在实时系统调整的产物，该实时系统还在继续开发。本发明在这里公开的内容也考虑人机交互作用(HMI)，这种人机交互作用概念的例子在2003年2月19日提交的美国专利申请No.10/248,798中已经详细地描述，该申请名称为“SYSTEM AND METHOD FOR MONITORING AND MANAGINGDRIVER ATTENTION LOADS(用于监控并管理驾驶员注意力负荷的系统和方法)”，其整个内容因此包含于此。其中介绍了如何引起这些警告的概念。

本发明的各方面引入两个不同的基本算法，一个用于数据收集之后的脱机处理，一个用于基本与数据收集同时的实时处理(在量化特征被进行时)。它们具有基本上类似，但是实时算法具有初始化程序并缺少某些脱机特性。脱机分析的主要目的和好处是处理已记录或已存储的特征数据。实时分析的主要目的是立即处理收集的数据，并且可以利用，基本上同时使用诸如向观察的对象进行反馈的方法，或当观察的对象是车辆驾驶员时适于诸如车辆系统的相关系统。

关于驾驶员，用于脱机算法的目的之一是分析来自工作的眼睛运动数据，例如收音机调台，或(驾驶时)使用RTI系统，以确定驾驶工作中的单个姿势有怎样多的视觉需要。实时算法的目的是确定驾驶员看道路有怎样多。本发明的一个目的是适于或能够用实时算法，以便其结果类似于脱机算法获得的结果。

眼睛运动一般分成两类：迅速扫视和注视。当眼睛凝视(注视)在某个事物上，例如某页上的字母时发生注视。这也是当头脑能够吸收解释为被注视的事物的视觉图像的信息时。另一方面，迅速扫视是在注视之间的运动，即，改变注意点。迅速扫视是非常快的(对于大幅度，最大速度700°/秒)，并且由于这时光线移动过视网膜太快不能被大脑解释，观看者的头脑抑制对这些事故的认知。

朝事物例如移动电话的扫视，是远离预定的目标区域(例如道路)的迅速扫视、扫视起始和在新目标区域(例如移动电话)注视的结合。当远离第二个目标区域的新的迅速扫视开始时，扫视终止。在同一个目标区域的连续的迅速扫视和注视定义为同一扫视的一部分。

本发明的一定目的和优点可以总结为：(1)混合算法是新的，甚至在仅仅结合基于速度和分散的算法的水平上说，特别是当结合视觉规则时。因此，在眼睛运动分段时眼睛的物理能力不予以考虑；(2)利用密度函数峰值作为道路中心来定位道路中心区域的构思和方法比仅仅赋予“峰”的平均值更详细；(3)算法作为整体和每种不同算法部分的方式与其他的配合。百分数道路中心(PRC)和绝对百分数道路中心(A-PRC)的概念作为驾驶员注意力的量度。算法不仅想要产生希望的量度，而且能够用于确定在ISO15007-2中所定义的所有量度，以及在SAE J-2396中的量度。

转动眼球的构思进行了很好的研究，一般来说，眼睛运动分为若干不同的种类，举例来说可以分为迅速扫视、微迅速扫视、平稳追踪、聚散度、颤动、飘移等。但是，为了本发明的目的，眼睛运动分成两种基本的种类：迅速扫视和注视。本发明的合理性是所有的数据点不是迅速扫视，而是注视。这包括平稳追踪，平稳追踪在下面描述的注视概念中在驾驶期间经常发生。

注视定义为在眼睛能够吸收信息的信息提供区暂停。作为有效的注视，该暂停必须持续至少150毫秒，人的大脑利用信息所需要的时间大约是这个时间。虽然称之为“注视”，但是眼睛仍然移动，进行微小的移动，例如“注视”在该区域上时的飘移、颤动、微迅速扫视。这些微小的运动具有很小的幅度并且属于定义的注视的一部分。图6是具有飘移、颤动和微小迅速扫视的典型的注视。其中，对象的两只眼睛的运动用曲线表示，一个在另一个上面。横轴表示时间，垂直轴表示距离。所幸的是这些运动或者很慢(通常在4和200S^-1的量级)，或者很小(通常在20-40英寸)。这防止被用于这种类型的用途的一般设备所检测。这是一个优点，因为否则这种偏离将会看作噪声。

其他较大的运动，但是仍然在亚迅速扫视数度，称作平稳追踪。它们是注视的子类，即在移动目标上注视，或注视在静止(或移动)目标上同时观察者在运动中。当我们跟踪目标时，眼睛用很小的迅速扫视使视网膜凹斑在该目标上，然后变慢，根据目标的速度进行跟踪目标的连续运动。速度在大约每秒80到160度每秒范围内慢运动构成平稳追踪。图示于图7的这种行为是对象在跟踪在用曲线(a)表示的正弦路径上运动的点。曲线(e)表示整个眼睛运动，包括迅速扫视和平稳追踪。曲线(e_sa)代表去除了平稳追踪，而曲线(e_sm)示出去除迅速扫视的曲线。总的来说，整个跟踪行为称作平稳追踪，并且可以当作滑移注视。为此，由于在运动期间信息被处理并且迅速扫视太小以做用可得到的眼睛运动跟踪系统不能检测，对于本发明这类行为在这里称作注视。

迅速扫视是当人的视线在两点之间变化时发生的快速眼睛运动。迅速扫视运动在幅度、持续时间、速度和方向上变化。在幅度上大于约5度的迅速扫视的持续时间大约是20-30毫秒，其后，对于每增加1度可以加上约两毫秒。峰值速度通常在从对于幅度小于0.1°的每秒10度到对于大幅度的每秒大于700度的范围内。

从一个注意点到另一点的典型迅速扫视示于图8，图8示出实际上没有噪声的很好的跟踪测量的一个例子。所示的一个示例性的迅速扫视在点(A)开始而在点(B)结束。而且，所示的眼睛运动仅仅包括绕一个轴线的运动，也就是说，在水平面内没有检测到迅速扫视。

在迅速扫视运动期间，由于光线在视网膜上移动太快，人的大脑通常不察觉信息。但是，应当理解，事实上一些信息在迅速扫视期间实际上正被处理。如果被观察的事物与眼睛以同样的速度并且沿同样的方向运动，仅仅产生认知感知作用。信息的总体缺乏迫使大脑提前对幅度和持续时间进行计算。在这种处理中几乎总是在某种程度上或多或少产生不准确性和噪声。这被滑移或比前一迅速扫视短得多的新迅速扫视所校正，因此更准确。在这儿，由迹线(A)的长垂直部分表示的范围小的迅速扫视被表示校正的小迅速扫视(B)的短垂直部分所校正。这种校正的迅速扫视常常是幅度很小，用已知的眼睛跟踪设备不能检测，而是当作附加的噪声。

除了这三种运动之外，还有不同种类的视觉行为，通常称之为眨眼。人通常约每两秒钟眨一次眼，这个特征对凝视判断有破坏影响。在眨眼时眼睛实际闭合期间，凝视不能被测量，并且由于眨眼确实在迅速扫视和注视时都会发生，当对于跟踪设备来说眼睛再一次可见时，很难预料眼睛将会看在什么地方。所幸的是，眨眼非常快，整个眨眼为约200毫秒的量级。这意味着眼睛总的被闭合仅仅约100-150毫秒。由于对象通常完全没有意识到眨眼的发生，本发明通过抑制迅速扫视和眨眼的认知而实现对现实更清晰、更稳定的感知。

眼睛工作的性质有利于分段，意味着存在提供分类规则的眼睛运动的物理边界。例如，一次迅速扫视不能被间隔小于约180毫秒的另一次迅速扫视跟着，这意味着迅速扫视的持续不能多于200毫秒。200毫秒的迅速扫视将具有约90度的幅度，这是不常见的。还有，任何长于约220毫秒的被测量的迅速扫视可能是两次迅速扫视，在其之间有一次注视。另一个有趣的事实是上面提到的对象的眨眼认知的抑制。对象通常意识不到眨眼的发生，由于眼睛行为不被它们的发生所影响，因此一般能够从分析中去掉。下面构成关于本发明的眼睛的物理边界：注视持续至少约150毫秒；迅速扫视不能被间隔小于约180毫秒的另一次迅速扫视跟着；人的视野有限；注视在空间上可以大(平稳追踪)；迅速扫视通过视觉中心而被抑制；眨眼被视觉中心抑制。

对于车辆驾驶员来说，甚至可能存在更多的限制，例如：在驾驶时不可能有内顶棚上的或地板上的注视，特别是工作时不可能；对象注意力(和注视)的相当大的比例可能是在道路中心，并且平稳追踪速度为低到中等速度。例如，迎面而来的交通和道路标志触发大多数被测量的追踪。在本发明中，这些边界用于定义能够用作驾驶员眼睛运动分段部分的框架。

根据本发明，视觉测量分成两组，基于扫视的测量和基于非扫视的测量。这两组由基础视觉分段的结果构成，其中注视、迅速扫视和眼睛闭合被识别。

如上所述，不同的研究者有不同的分析数据和定义的注视/迅速扫视的方法。重要的是有一致的规则和基准点，以便所有这些分析方法能够基于一般被接受的国际标准。这就是为什么在这种工作中的量度是基于ISO 15007-2和SAE J-2396中的定义。这两个标准关于驾驶员视觉行为的测量的使定义和量度标准以及方法标准化，以保证实际评估适当地进行。SAE文件根据ISO标准的许多术语，并且每个标准作为另一个的补充。

在描述本发明的过程中，装置和方法都适合模拟环境也适合路上的试验。但是，两种标准(ISO和SAE)都基于视频技术，例如，利用摄像机和记录器，注视和迅速扫视的手工(脱机)分类由定级人完成。手工视频转录既费时又不可靠，因此，本发明所基于的自动化方法是优选的。结合和示例性的信赖于ISO/SAE型量度可以有利地依靠使用任何眼睛运动分类系统，手工的或自动化的。

下面描述基本视觉分段的三个细节，以及两组测量。基础视觉分段将眼睛运动分成用可得到的眼睛跟踪系统能够测量的最小量。这些眼睛运动“块”表示一个基础，从该基础推导所有的基于扫视的和统计的量度。总而言之，它们包括：(1)当从感兴趣的一个区域看到另一个区域时，定义快速运动发生的迅速扫视；(2)提出眼睛位置的对齐或不变性的注视，以便注视发生在其上的目标的图像落在视网膜上一个给定的时间长度；(3)眼睛闭合，短时间的闭合称作眨眼，长时间的闭合可能是困倦的特征。

为了充分理解用于ISO/SAE文件的量度，重要的是熟悉扫视的定义，根据SAE标准，扫视被认为是在目标区域上的一系列注视，直到眼睛对准新区域。例如，如果驾驶员起初看笔直的前面(道路上)而然后看收音机，首先注视在显示器上，而然后注视在音量控制上，他或她进行两次注视(不算第一个笔直前面)和两个迅速扫视，所有这些构成一次扫视。扫视当离开道路的第一次迅速扫视开始(这个迅速扫视叫做转换)而开始，当在收音机上的最后注视结束而结束。图9提供了典型的驾驶员三个扫视系列的图解说明。其中，注视、迅速扫视和转换被量化成若干个扫视的成分。

基于扫视的量度从这些定义推导并且当作眼睛运动的“高水平”描述，眼睛运动构成前面所述的“块”。这些量度反映了不同的性质，例如时间共享、工作负荷和视觉注意需要。在ISO和SAE协议中定义和使用的量度是：(1)扫视持续时间，其定义为从凝视的方向移向目标到离开该目标的瞬间的这段时间。较长的持续时间表示在该区域需要高工作负荷；(2)扫视频率，定义为在预定的采样时间内或预定工作期间扫视目标的次数，其中每个扫视被至少一个向不同目标的扫视分开。由于低扫视频率与长扫视持续时间相关，这个量度应当与扫视持续时间一起考虑；(3)总的扫视时间，定义为与该目标相关的总扫视时间，这提供了该场所提出的视觉需要的量度；(4)扫视概率，定义为对给定场所的扫视概率。该量度反映与该目标相关的相关注意需求。如果对一组相互地全部的和完全的目标进行计算，这种分布能够用于进行统计比较；(5)短暂停留时间，定义为总的扫视时间减去开始该扫视的迅速扫视时间；(6)连接值概率，定义为两个不同场所之间扫视转换的概率，该量度反映了对不同目标区域之间的时间共享注意的需要；(7)离开前面道路景观(前面的道路景观，不包括后视镜和侧视镜)的时间，定义为对前面道路景观的两个连续的扫视之间的总的时间，其被向非道路目标的扫视分开；(8)转换，定义为从一个定义的目标场所到不同的目标场所眼睛注视场所的改变，既开始扫视的迅速扫视；(9)转换时间，定义为在目标场所上的注视结束和另一个目标场所上的新注视的开始之间的持续时间，由于在转换时很少有或没有新信息，因此增加的转换时间反映了减少对驾驶员新信息的可得到性；(10)总的工作时间，定义为工作的总时间，这又定义为工作时从第一扫视开始点到最后扫视结束的时间。

基于非扫视的量度是所有的其他能够计算的量度，而不是ISO/SAE标准定义的量度。其中的两个例子包括：(1)在不同组群，例如前面的道路景观和移动电话内的注视位置的平均值和标准偏差，；(2)不同组群和/或不同工作内的注视短暂停留时间的平均值和标准偏差。分析时对这类量度感兴趣，例如，如果驾驶员被卷入数学任务中，将高认知负荷期间的驾驶与正常驾驶进行比较。

本发明的总的目的是提供健全的眼睛运动数据分析的自动化，其重点在ISO15007-2和SAE J-2396方法规定的量度，用于关于传输信息和控制系统的驾驶员视觉行为的测量。在本发明的自动化中所用的示例性的工具包括眼跟踪系统，其另外详细讨论。有利的是，算法和补充系统只需要很少的人工干预，例如装载/存储数据以及被检测的组群和远离本体的事物的视觉检查。

本公开开头示出了能够用可得到的检测系统进行自动化分析，具体的研究揭示了所有量度的高度相关性。在这个例子中，信号用滑动十三采样中值窗口滤波器过滤以减少噪声，消除某些远离本体的事物和眨眼。研发了速度阈值算法，使迅速扫视不同于注视(平稳追踪被当作注视)，并且组群的人工分界提供扫视分类的基础。该方法要求大量的操作者输入和注意，例如，要被过滤的信号和远离本体的事物，短注视和其他人为现象要被人工识别。由于本发明研究出本公开的要点，这些操作者时间密集法已经能够被取消。

起初，中值滤波器宽度对所有的对象优化不是最佳的，长度需要与噪声大小成比例地保持。相应地，使用不同类型的滤波器和参数。而且，已经知道速度算法对噪声很敏感。所以阈值设置成每秒340度，这明显高于迅速扫视开始和结束的速度。为了补偿，迅速扫视之前和之后的两个采样点也标记为具有迅速扫视速度。由于迅速扫视在幅度和峰值速度上变化，所以它们的加速度也变化。因此，只有这种先驱的方法提供迅速扫视开始和结束的很好的近似。因此，本发明的目的是提供一种更精确地识别迅速扫视/注视的健全的技术。

此外，需要自动识别扫视目标区和扫视的分组技术。一个目的是以自动化的方式消除远离本体的事物和其他人为现象，而不是用传统的人工评估手段。

当设计检测算法时，这里所公开的数据的来源和性质的理解是重要的。因此，描述了可得到的数据和用于获得该数据的技术平台。

关于即将到来的本发明，图1提供了示例性的脱机分析算法的总的概要。未处理的眼睛运动数据被输入左上的方框中在那儿进行预处理。举例来说，这种预处理包括中值滤波器，降低噪声、人为现象和眨眼。还有所有的非跟踪数据在这个功能站被去掉。

中间的大方框表示示例性的算法，如图所示，是一种在两个共用的数据处理算法(双重阈值速度检测和分散以及分散和基于规则的检测)之间的混合处理。如右面中等的方框所示，应用的视觉规则是基于已知的眼睛行为的某些方面的限制或参数，例如通常由人的视觉能力限定的注视的最小长度(关于时间)。混合算法内的底部方框表示自适应分组算法，根据其一个或多个特征对注视分组，并且在实践中使分组趋向于当采样的扫视数目增加时“浮动”到位。

由混合算法内的上面方框表示的双重阈值速度检测算法是基于眼睛运动速度(度/秒)。参考图3，高阈值(顶部、平的点虚线)将在具有低速度的眼睛运动之间的注视从迅速扫视中区分出来。下面的点划曲线表示实际的眼睛运动，在一维中示出，而带尖峰的实曲线表示其导数或眼睛运动速度。一旦迅速扫视被检测到，低阈值(长短划虚线)用于确定开始和结束点。使用两个阈值的理由是避免由迅速扫视检测引起的噪声触发。但是，应当理解，当噪声增加时该协议的误差也增加。

除了迅速扫视检测之外，分散协议与所用的视觉规则结合使用。该规则确定什么时候被检测的迅速扫视和注视不是自然的，也就是说，它们的定义的数据在某种方式上超出指定分类(迅速扫视和注视)可接收的特征参数。

这种规则的例子可以是，注视必须持续多于150毫秒，而迅速扫视由预定的较短的时间段测量。还有，迅速扫视不能返回到它开始的同一个区域。无论什么时候这些规则用来将注视改变成迅速扫视的一部分或将迅速扫视改变成注视的一部分，该分散算法确定该情况将被怎样处理。例如，如果在同一目标上的两个连续的注视被检测到在其之间具有60毫秒的迅速扫视，那么可以推导出可能有噪声触发该迅速扫视检测。通过分散协议确定它是否是噪声。如果两个注视相互在一定距离内(分散阈值)，那么它们是同一注视的一部分，并且迅速扫视改变成注视的一部分，否则它最可能是正确的检测。

混合算法的主要规则是，关于哪一种处理算法(或其一部分)将用于根据当前噪声水平的数据，它自动地偏离“决定”。如图4所示，具有较高质量的、相对无噪声的跟踪数据将主要用双重阈值速度来处理。数据噪声/质量的平均值或中间量增加了对该数据的分散检测处理的影响。最后，如图4右侧所示，当数据的噪声很严重而质量低时，注视恢复会受影响。通常这种低质量或有噪声的数据将仅仅是短暂的效果并且不会应用到整个数据流。在数据的部分质量相当低的情况下，这部分的恢复通过对相应的数据应用严格的滤波器发生，以便看它是否能够被“静化”(平滑)到足以识别在该严重噪声下的行为。当更加严格的被过滤的输出通过“有效性”规则时，恢复是通过严格处理部分的“替换”实现的，而该“有效性”规则使不太严格的被过滤的数据失效。

当所有的注视和迅速扫视的检测已经完成时，数据被输入到根据进行的分组分析的结果识别扫视的分组算法，其示例性的细节将在下面更详细地说明。

图2示出用于进行实时跟踪数据处理的混合算法。通常以任何数据流形式中的未处理的跟踪数据，是从关于头部和/或眼睛定向和运动的检测系统获得的。由于该处理在实时基础上发生，如果它没有满足规则的准则，能够重循环该数据用于任何进一步的过滤通过的特殊功能将不能被享用。必须总是能够得到最好的可能的数据。因此，实时混合算法主要运行同一数据的两个前后串联的处理。如图2所示，源数据在上面用标准滤波器处理，同时平行地在下面用更严格的滤波器处理。同时，不同被过滤的源数据用规则组处理。通常用于每个被过滤的数据流的规则是同样的，但是每个可能根据相应的过滤特征而设计。

从两个规则处理的每一个产生一个数据流。正如从图2能够理解的，两个输出的被过滤的数据流的特征是不同的。优选地，标准滤波器关于平滑数据是很温和的，而应用于数据流的规则组尽力确定是否发生有效的迅速扫视或注视。如果不能满足规则，那么不输出数据流。这种数据中的空白在图2的右上角被辨别。在未能满足所用规则的数据流的部分中仅仅可能是噪声太多。

在整个时间，如上所述，数据也用严格的滤波器处理。通常，严格的滤波器以努力去掉噪声的形式的确明显地“平滑”数据。输出数据可能更平滑，但是当同样的规则应用于对应于空白区的没有规则适应的标准过滤的数据部分的更高过滤的数据时，迅速扫视或注视特征是可辨识的。当情况是这样时，规则被通过，并且获得该数据的有效特征。该高过滤的数据的通过规则的部分相应于作废的、规则破坏、较少过滤数据区域，被合并到在标准过滤之后已经通过的输出数据流。这在图2中示出为编辑处理数据流。

如果源数据具有大体上可接受的质量(噪声少)，那么在没有通过该应用规则的不同过滤的数据流处可能具有短空白部分时，该被编辑的数据基本上是连接的。也就是说，质量很低的数据决不能被接受，并且通常不能过滤或处理成能够接受的。但是，在除了某些子标准部分外，源数据大体上能够被接受的情况下，用于处理实时跟踪数据的示例性混合算法产生被编辑数据的输出流，所述被编辑的数据包括适于进一步处理的可分类的注视和迅速扫视，诸如在这里详细描述的分组和密度分析。

图28示出另一种关于预处理数据的实时算法的代表性的示意图，前面道路识别、混合算法的分组和应用，它们一起产生有意义的输出量度。

在这个结构中，数据处理过程以找到什么被定义为前面道路景观的自动起动开始。这是在驾驶员沿由这个区域的凝视密度规定的某个方向看该区域时的情况下由形成密度面完成的。例如，驾驶员看一个区域越多，凝视密度在这个区域将增加越多。驾驶员的大多数注意可能是在叫做前面道路景观中心的地方被发现，在该区域中心有“注意尖峰”，如图5所示。在该图中，形成两个尖峰的平面应当取作垂直于相面向风挡玻璃时驾驶员的脸部。高尖峰表示前面道路景观，而低尖峰表示集中点。在映射的例子中，该对象需要改变该低尖峰表示的导航系统的语言。在驾驶时，高(左)尖峰逐渐形成，在大约两分钟之后，峰值道路中心(PRC)位置稳定。该道路中心区域被定义为该高山的底面，而尖峰被定义为中心。根据近似法计算的该底面的准确度认为是95％，高山具有高斯形状，而平均值是尖峰部分。做完这些之后，离开前面道路部分的扫视可以被检测，并且如下面将要描述的，因此用峰值路面中心的定义可以计算注意力和驾驶员工作负荷。

在识别道路中心构思的进一步研发中，数据的预处理是用纯数学转换和旋转以及信号滤波器完成的。由于眼睛凝视是从两眼之间的点开始的矢量，因此它取决于头部位置。驾驶员视野中的每个事物通过来自驾驶员眼睛的视角定位。虽然该角度主要决定于驾驶员的头部位置和转动，但是也决定于驾驶员的高度和优选的驾驶位置。不同的头部位置/转动影响凝视信号以及头部运动的性质。为了使这些影响最小化，头部位置被标准化为参考位置，取大多数驾驶员的近似平均位置是有利的。这是经由位于驾驶员前面的理论镜面实现的，如图10所示。

在这里被测量的凝视和头部角度经由该平面被投影在静止的或参考头部上。在这个实施例中，它是用于该算法的静止头部的凝视和头部角度。

当凝视置信度低时，例如当眼睛闭合时，该算法自动转换到头部定向并用朝前的脸部指向的方向权且作为凝视矢量。结果得到的信号被馈送给这里描述的混合算法中，并且道路中心经由凝视密度函数定位。初始化过程以大于70公里/小时的速度要用正常驾驶的约20秒钟。在这个具体的应用中，道路中心被定义为由笔直朝前看的密度函数估计定中心的20乘40度的椭圆形。但是，该道路中心的几何形状可以决定于速度和/或环境。

上述椭圆形对于具有中等交通量的双车道上高于70公里/小时并低于约120公里/小时的速度是理想的。其他的几何形状对于在不同速度下行驶的一些环境和用于其他应用能够最好地工作。长扫视持续时间的测量，即，在时间上延伸的一个扫视对于由凝视密度函数垂直定中心的20度的水平范围似乎能较好地工作。

道路中心只定义驾驶员看到的世界事物。驾驶员或者看道路中心或者不看。转换延迟用来避免当凝视正好在道路中心边缘上时的忽隐忽现的信号。凝视必须在两个事物(在道路上，或不在道路上)之一上保持恒定大于100毫秒，以便记录转换。

一旦道路中心是有效的(即凝视密度函数稳定)，PRC(这里取做或者峰值道路中心，或者百分比道路中心)将开始计算。在必要范围之外，无论什么时候没有源跟踪数据，该算法都暂停。还有，在优选实施例，无论什么时候车辆速度低于65公里/小时，都不使用该算法。还将PRC的值重置为80％。

在PRC算法的一个方案中，最大PRC参数防止PRC超过80％。在正常驾驶时稳定PRC(对一些对象正常驾驶PRC值大约在75％和85％之间变化)，这是一种简单的方法。利用这种限制，对于一定数目的扫视，PRC总是落入某个水平(从80％PRC)。对于最小PRC和认知分散，也是同样。

较短的PRC窗口(3-10秒)用于指示时间共享行为，即两个目标区之间的多个扫视。时间共享行为指示用于当该行为结束时，即辅助工作结束时，将PRC重置为80％。

可以给出示例性的对于驾驶员的三种不同的警告/反馈。即便PRC落到低阈值以下，在驾驶员的眼离开道路之前不发出警告(认知警告除外)。在视觉分散的情况下，当对象稍有分散时，即当PRC低于65％时，达到反馈水平。只有当驾驶员视线离开道路时，在10秒钟内最多发出两次警告，也就是说，在PRC已经低于65％之后，头两次离开道路的扫视时将发出警告。当对象严重精神分散时，即PRC低于58％时，达到另一种警告水平，在这种情况下，警告发出之后立即将PRC重设为正常驾驶，即80％。

在认知分散的情况下，当驾驶员处于认知分散状态时，即当PRC高于92％时，发出认知警告。然后PRC重设为80。无论什么时候在道路中心之外的扫视持续超过四秒钟，都发出长扫视(离开道路)警告。

使用时间窗口不应是最佳方案。一分钟时间窗口具有一分钟时间经历，因此，驾驶员在半分钟时间之前所做的将影响PRC，以及当前工作。如果驾驶员调谐收音机并且因此对收音机有四次扫视，那么由于这四次扫视他将受到惩罚至少半分钟，也就是说，PRC将保持在低水平至少30秒钟，即使驾驶员已经回到正常驾驶中(假定该工作持续最多30秒钟)。处理该问题有多种方式。

其中之一是使用具有阻尼因子(以获得大致同样的窗口动态特性)的较短的时间窗口。另一种是无论什么时候完成工作就刷新该窗口。还有，可以用相当短的时间窗口，例如3-15秒钟，确定工作是否已经被完成。

时间分享检测器用来确定PRC的总和(通常是在时间窗口内的道路中心扫视的总时间)是否应当忽略道路上的扫视，也就是当完成工作时，该PRC总和与离开道路中心的扫视时间成比例减少，但是忽略在道路中心上的扫视时间，因此显示和如同该窗口同样的总和的动态特性。

当前算法的另一个问题是，眨眼相当经常被解释为向下扫视仪表板组。由于稍稍不同于凝视信号的性质，标准数据过滤将不过滤出眨眼。提出的方案包括利用眼睛睁开信号以确定它是眨眼或是扫视。当程序在“非等待模式”时，这要求在记录的数据中有眼睛睁开信号。可选的方案是设计眨眼检测器。对于扫视来说眨眼太短并且因此被停止在滤波器中。但是，这将引起系统延迟至少150毫秒。

上述算法对于以约70-120公里/小时的速度驾驶的中等交通量的公路是可行的。有多种方式使该算法适应于不同的速度和环境。一种是使道路中心区域适应于速度和环境。随着速度的减少，道路中心的大小将增加，主要是在水平区域。道路中心增加，从而以这个速度和环境下的正常驾驶具有大约80％的PRC。这样做有两种方式。一种是适应联机的每个驾驶员。另一种是对于不同的速度和环境提供预定义的道路中心几何形状。还有一种是根据正常驾驶的PRC水平调节警告阈值，用于特定的速度和环境。还有一种是提供环境的描述，或至少由驾驶员行为指示的环境的描述。

限制是如果驾驶员的头部从道路中心转动超过约60度，也就是，如果驾驶员看他的肩部或侧面，以看相邻车道是否有车，该算法将失效。可以使用图形识别以填满这些空白。

除了直接警告之外，PRC可以用来使第三组系统正常操作/失效或设置成不同模式。例如PRC能够用来将向前碰撞警告(FCW)系统设置成“敏感”模式，并且即时的眼睛在道路中心的信号可以用来确定警告是否应当允许操作。它还可以用来调节用于自适应巡航控制(ACC)控制回路(增加或减少安全距离)的时间间隙，或使其他警告和系统能够起作用/不能够起作用。

这里概述的许多量度利用道路中心点(RCP)的参考计算。垂直和水平道路中心点从例如三分钟的数据的分段的眼睛运动数据组(分成注视/平稳追踪和迅速扫视)，计算出。首先，每个注视数据点被加到垂直和水平接受器(bin)，接受器的大小为0.98乘0.98度(128×128用于从笔直前面的+/-30度，或零点)。其次，接受器的模式(接受器中最大频率)设置为道路中心垂直和水平点。这些基于数据点的测量在图12-15的图示中被充分描述，其中道路中心点根据驾驶员眼睛位置的采样密度来识别。在笔直的两车道的快车道上正常驾驶条件下的眼睛运动在这些图中描述。数据集中在道路中心点周围，并且根据其道路中心点设置为零。单元的频率表示每个接受器(一个接受器等于0.98度乘0.98度)总频率的百分比。向左和向上眼睛运动是正的，向右和向下眼睛运动示为负的。

在移动时间窗口中的每个步骤，例如，具有60Hz更新频率的一分钟时间窗口，计算下述内容。在时间窗口内的每个注视数据点被分类为或者是表示“道路中心”的“1”型，或者是表示“非道路中心”的“O”型，这种差别是根据在定义的道路中心区内或道路中心区外而产生的。例如，通过从道路中心点以度或弧度取距离和设置截止阈值，例如，八度作为绕它的半径范围，计算道路中心区域。这些落入截止阈值内的那些固定数据点被分类为“道路中心”，而那些落入截止阈值外的数据点被分类为“非道路中心”。在这个例子中，截止阈值定义了道路中心区域的形状。

道路中心区域也可以以其他方式被定义为利用半径截止阈值的可选方案。例如，道路中心区域可以被定义为非对称形状。当在曲线或繁忙道路环境驾驶下，非对称道路中心识别是有用的。定义非对称形状的一些方式为：(1)阈值水平可以以每个接受器的频率设置，例如图14所示的水平道路中心区域线，像图13的轮廓的几何形状是这种产物；(2)道路中心区域可以被定义为在例如从道路中心点的一个或两标准偏差之内的数据。标准偏差可以根据中心点的半径，或分别地根据垂直和水平分量来定义。垂直/水平标准偏差定义将使形状能够被计算为椭圆形；(3)在曲线道路环境下，大多数注视数据点围绕车辆的未来路径定中心。瞬时路径轨迹通常由车辆横摆速率(或根据方向盘角度的量度)计算。这种曲线路径轨迹(转换成视角)能够用来定义有效的“路径上的注视”的区域。这种轨迹能够用来定义，例如，在离车辆路径一定距离内的扫视的“在路径上的区域”。因此，PRC、A-PRC和PLG可以用同样的方式计算，如上所述用在路径上的区域替换道路中心区域。最后，百分比计算是通过道路中心点的数目除以该窗口内的注视数据点的总数并将该商乘以100来计算。百分比计算忽略迅速扫视和失去的数据。

绝对百分比道路中心(A-PRC)如在上所述在同样的时间窗口内被计算为与给定的PRC值的绝对差，例如正常驾驶的PRC值。图17示出A-PRC与一些其他通常的精神分散量度的比较。

离开道路中心的百分比长扫视(PLG)，在上述同样的窗口内，计算为注视数据点的百分比，该注视数据点在一定的时间阈值内，例如在图18中举例性的两秒钟，被分类为扫视(如用SAE J-2396标准定义的)。

离模型道路中心的标准偏差(SD-MRC)，在如上所述的时间窗口内根据标准偏差公式计算，但是平均值被模型替换除外，例如：

DistRoadCenter＝sqrt(((VerticalPos-VerticalMode)^2)+((Horizontal-HorizontalMode)^2))

SD-MRC＝sqrt(sum((DistRoadCenter)^2)/length(NonFixations))

在如上所述的同样时间窗口内将车辆外面百分比(POV)计算为落入车辆外面的注视数据点和落入所述后视镜或侧视镜的注视数据点的百分比。车辆内部被定义为以度或弧度的几何形状区。

关于本发明收集举例的数据组。验证研究在模拟环境进行，利用7.5m×2.2m的、在48Hz下具有111度视角和具有2456×750分辨率的“动力墙”屏幕。14个对象参加了该项研究并且在车内的工作不同，例如用移动电话，收音机换台等。根据ISO 15007-2方法(ISO 1999)收集数据并且以视觉转录形式得到。在称作GIB-T警戒研究中，在上述环境中进行同样的模拟，并且有12个人在轻交通量的四车道上驾驶。每个人参加两个场合，一个人在正常条件下驾驶30分钟并且大约两小时又一刻钟缺少睡眠；结果用视频记录仪记录。这组是16个对象参加的较大的路上试验的一部分。每个人在30公里驾驶中完成不同的车内工作并且约15分钟的正常公路驾驶。

示例性的跟踪系统跟踪头部位置和角度，以及相对于固定座标系统的凝视角。该系统用立体影像，也就是两台设置在仪表板组前对象驾驶员头部前面、但是在方向盘的后面的摄像机，用于跟踪头部运动和凝视，如图19所示。可选地，并且优选地，可以用，如图20所示的单独一台摄像机。与基于非影像的方案相比，使用这种技术的比较研究与使用某种角膜反射(±1°)的系统相比，具有稍微差的凝视估计(±3°)。其他类型的基于影像的系统取决于单影像并且工作得不好。本发明的系统一个主要的优点是同时输出头部矢量和眼睛矢量。

所用的系统用样板匹配算法以发现脸部特征，例如眉毛、嘴角和眼角。每个样板当作三维刚体脸部模型的一部分。当若干个特征在两幅画面上看到时，头部和眼睛的三维位置用该模型转动和平移的最小二乘方优化法计算。这个问题的解决方法是向跟踪好的点偏移，这相对于闭合、噪声和透视失真是健全的。此外，卡尔曼滤波器用来减少噪声并预计在下一次迭代中的头部姿势，这减少下一个画面的计算时间。

眼睛凝视估计是基于头部-眼睛位置。利用转动的眼球中心和虹膜中心的量度，凝视被计算为通过这两点的射线。当两个眼睛是可见的时，凝视方向被计算为两个矢量的平均值，另外利用可见的眼睛射线。如果没有眼睛可被检测到，例如当对象的头部转动超过60度，或当眼睛闭上时，则脸部的法线被用作凝视方向。

眼睛闭合检测算法被用于确定什么时候对象眨眼。以眼角之间的距离按比例换算的上下眼睑之间的距离，用作眼睛闭合的量度。为了计算这些距离，该系统用边缘检测器并且然后近似抛物线，每个眼睑上一个，该抛物线通过两个眼角。眼睛闭合量度和少数其他量度(眼睛图像区垂直光学流、区域短暂变化速率、具有眼睛巩膜颜色的像素的nr和眼睛样板相关系数)然后一起被加权并且阈值确定该对象何时眨眼。

该系统输出许多信号，但是只有少数在本发明中进行示例性的描述。这些包括：(1)由于滤波器参数在所有的研究中都设置为零，凝视信号“凝视-转动-未处理”和“凝视-转动-过滤的”在瞬间情况下是同样的信号。该信号包括两个方向，俯仰和偏转，以弧度给出。(2)“凝视-置信度”信号提供凝视估计算法的置信度的量度。(3)“头部-位置-过滤的”和“头部-转动-过滤的”唯一地确定头部的三维位置和转动。由于所有的滤波器参数在可得到的数据中都设置为零，这些与“头部-位置-偏转和头部-转动-偏转”是同样的。(4)“跟踪”状态指示该系统是否在跟踪或研究模式中。(5)“眨眼”指示该对象是否在眨眼。(6)“时间”是与每个估计相关的CPU时间。

似乎是在凝视信号中的信息内容完全不是恒定的，而是时时在变化。在记录时，存在朝事物偶然的扫视，该事物不大可能地被聚焦在这一点，例如对象驾驶员的膝盖，车辆的内顶棚等。这些扫视中的一些可以被称作引起凝视信号下降的未检测的眼睛闭合。该系统也可以对不同的照明水平都是敏感的。它能够处理背景照明的变化，但是不是变化很快的时候，例如，车辆从阴影道路带移动出进入阳光照耀的道路带时。结果是高噪声水平，有时几乎不存在信息内容。直接射入摄像机镜头的日光由于镜头闪光使信号的噪声更大。偶尔这还会导致损失几秒钟跟踪。

上述在眼睛闭合时的“下降”毫无疑问是由于眼睛闭合引起的，其导致近似于故障(如在介绍中所述)。该下降在俯仰信号中非常明显，约30-40度，但也能够在偏转信号中被发觉。典型的眨眼持续300毫秒的量级，然而，下降仅仅持续100毫秒。因此，该估计不消失直到眼睛几乎闭上。该下降很容易在预处理阶段用中等滤波器去掉。在实例性的实施例中，该系统仅仅去掉由眨眼信号表示的眨眼部分，并线性地在上一个已知的采样和第一个新采样之间插入眨眼，如在图21中所示例的，在那儿眨眼已经被插入。结果是相当多的一部分数据，经常是几乎300毫秒有价值的数据，被去掉并用相当不自然的图象替代，也就是说，用直线代替。由于眨眼经常在迅速扫视时发生，因此不能进行适当的测量。为了精确测量，重新构造这些特征会是有利的。

眨眼信号不总是与实际一致。当对象进行工作时这是很明显的，并且按照眨眼信号，决不眨眼，但是实际上知道眨眼确实已经发生。在示例性的系统中，对象移动他们的凝视越多，眨眼信号越不精确。

凝视置信度信号可以用来克服上述大部分缺陷。但是，经验表明，信号质量和凝视置信度量度不总是相关的。不仅对于不同的对象，而且对取自同一对象的不同采样，都可以是明显不同的。此外，在每个眨眼，置信度量度下降为零。在未检测的眨眼的情况下，不能确定事故实际上是驾驶置信度到零的眨眼，还是人为现象。因此，置信度信号不可能绝对可靠。

系统的计算速率为“约60Hz”的事实，采样间隔不是恒定的，而是取决于每个画面的计算时间。但是，在示例性的系统中，时间是以秒和毫秒得到的，计算延迟信号以毫秒计。这种延迟在150-200毫秒的量级。

最后，不同的对象具有不同的脸部特征使他们或多或少地适合于基于系统的测量。具有良好对比度的脸部特征经常与良好的数据质量相关，中心在摄像机画面的正确的头部位置也是如此。

改变检测算法的设计总是在检测真实性变化和避免假警告之间进行折衷。变化的噪声和信号性质使凝视区更大。由于信号质量变化，设想使用自适应滤波器来克服这一问题。一般来说，当提出自适应滤波器时，滤波器系数适合于用某些类型估计(例如最小均方(LMS))处理的信号。但是，数据信号被证明具有一些特征，例如改变的信息内容和奇怪的人为现象，这使它们不太适合于这种类型的适应。取而代之，研发了利用两种预处理的中等滤波器的混合算法。这在这一节中被描述用于脱机和实时算法。但是首先简要看一下通常用于眼睛运动分段的一些不同算法。

Salvucii和Gildberg的工作在“眼睛跟踪协议中的识别注视和迅速扫视”中已经被定义，其中，已经搜集了若干不同的技术用于识别注视和迅速扫视。

基于速度的

·速度阈值识别法(VT-I)

·HMM识别法(HMM-I)

基于分散的

·分散阈值识别法(DT-I)

·最小跨度树(MST)识别法(MST-I)

基于区域的

·感兴趣的区域识别法(AOI-I)

这三种被认为是本发明的条件和目的感兴趣的，VT-I、HMM-I和DT-I也同样。AOI-I和MST-I的主要问题是它们不像其他的那么早应用于ISO/SAE标准。由于在VT-I法中已经做了核实工作，第一种方法是用DT-I法。DT-I算法被认为相当精确和健全，但是这里所用的眼睛跟踪器的不精确性和噪声使它不太合适。由于噪声和尖峰值，迅速扫视被识别，而由于信号性质，注视的开始/结束是不精确的，例如在注视之前的偶然飘移或多或少成为定常的。另一个问题是平稳追踪，当平稳追踪被当作一个注视时它使该算法失败。因此分散法不能单独使用。

另一方面，HMM-I，使利用概率分析确定最可能的识别。在HMM-I中的HMM模式是一个两种状态的模式。第一种状态表示较高的速度迅速扫视点，第二种状态表示较低的速度注视点。已知其转换概率，则该HMM-I借助于最大概率确定每个协议点的最可能的识别。如果给出正确的参数，该算法则被认为是精确和健全的。这些是用重估计过程估计的，HMMs的主要复杂之处在于重估计过程。这种估计的实现是既复杂又冗长。

VT-I算法没有上述提到的问题。但是速度阈值在检拾噪声和注视在开始和结束的识别精确性之间折衷。为了使这一问题最小化，采用双阈值算法(双VT-I)。高阈值确保合适的迅速扫视识别。如果检测到迅速扫视，低阈值用于计算开始和结束。

VT-I算法的主要缺点是不健全。但是这在双VT-I中被极大地改进。

前面描述的识别方法无论如何没有一个是十全十美的，它们都有不足之处。因此选择两种算法和用于眼睛运动的附加规则的结合用于这种工作，即双VT-I和DT-I。这种结合工作作为在这种意义上的自适应的算法，即判定自动偏向DT-I和基于规则的部分，同时当噪声增加时保持双VT-I性质。这结合双VT-I速度阈值协议的精确性和DT-I分散协议的健全性。一种看着它的方法当作算法控制的规则，意味着它们将“判断”偏向在现时工作最精确的算法部分。该算法合作示于图4。

关于预处理，未处理的数据需要在分段之前进行预处理。它或多或少是噪声并包含眨眼和非跟踪部分。

许多研究者指出，中等滤波器和FIR-混合-中等(FHM)滤波器用于眼睛运动是适当的。具体特征是保持清晰边缘同时噪声和远离本体的事物减弱的中等滤波器适合于迅速扫视信号。一般的说，FHM或加权的FHM滤波器被认为工作得最好。但是15采样滑动窗口中等滤波器足以减少噪声。无论什么时候该对象眨眼，作为正边效应，也抑制所产生的“眨眼下降”，足以通过未检测的分段，如图22所示。

完全不同的问题是如前所述的眨眼插入，其中凝视信号被线性插入所替代。如果在注视时发生这个，它通常不是问题。但是人在(眼睛)迅速扫视期间经常发生眨眼，该迅速扫视只持续约100毫秒而200-300毫秒用直线替代。为了解决这个问题，重新构造是必要的。本发明采用提供适当数量扫视的简单的、健全的方法，而基于时间测量精确性较差。出现在信号中具有相同幅度的噪声被加到具有少于5度的分散的所有眨眼，其他所有的眨眼被标记为迅速扫视。5度的阈值是基于所有得到的数据而设置的，而没有检测任何假注视。所幸的是对象在工作时由于多个扫视往往眨眼较少。

如前所述，选择的识别算法是在速度和分散协议以及由眼睛的物理性质和眼睛跟踪设备拟定的规则之间的混合。在脱机方案中，处理顺序地运行，首先使用双重阈值的速度协议被采用，然后采用那个具有规则的分散协议。这示于图1。当信号的噪声或一些其他性质妨碍注视的检测时(应当按照眼睛规则)，用注视恢复算法。这被表示为一个从DT-I和基于规则的方块向双VT-I方块的箭头。还有，该自动分组算法已经能够被包含在混合方框中。它管理扫视检测。

将不再描述每种算法部分。导数(速度)的估计利用两点中心差计算：

&PartialD; y (x) = \frac{y (x + h) - y (x - h)}{2 h}

应用于每个凝视成分然后与平方和的根(平方之和开方)一起加权以形成二维速度。当微分该信号时噪声总是问题。处理这个问题的一种方式是低通过滤该导数。但是中心差可以依次描述为理想的微分器并且顺序低通过滤。频率响应用下述公式计算：

\overset{\cdot}{Y} (ωT) = \frac{Y (ωT) j \sin (ωT)}{T}

由于采样速率设置成约60Hz，这个滤波器具有约14Hz的3dB截止频率。这种相当低的截止频率防止混淆，确保大于30Hz的频率减弱但是仍然足够高，使迅速扫视的开始和结束不失真。双重阈值和速度估计示于图23。

一个找到两点中心差的五次导数算法的试验对比对于12比特数据是最精确的技术。该方法的优点是简单、精确和快速。

用于迅速扫视检测的阈值主要通过将结果与前面进行半自动分析的结果进行比较来设置。

虽然求导(近似法是自动低通过滤的，但是它仍然是有噪声的，噪声水平为约70°/s。但是由于数据收集系统具有至多±3°的误差，并且对于幅度大于约3-4度的迅速扫视运动的峰值速度高于100°/s，不会出现问题。尽管如此，实际评估已经表明偶然的误差可以通过，特别是当噪声增加时。这些不精确的识别被检测并且在分段处理的下一步通过DT-I部分去掉。因此用速度估计的三个采样的被精度的折衷证明为可以忽略。

在第二步，前面所述的物理准则和基于分散的算法的某些部分确定是否被检测的迅速扫视和注视是有效的(规则应用)。示例性的迅速扫视和注视的三维表示示于图24。当噪声水平高时，求导近似成为比较敏感并且混淆的人为现象在注视中偶尔被检测到。它们的去掉有用于防止误判的少量基本规则：1)如果新的注视分散小于阈值，迅速扫视能够被变成注视的一部分；2)如果注视的变化小于阈值，迅速扫视能够被变成注视的一部分。

如果这些准则被实现，用具有一些附加噪声的线性插入来结合两个注视。引进噪声是为了避免产生信号非物理的那部分。原始信号经常包含某种类型的尖峰值以及插入。

同样，如果它们是非物理的，注视被去掉并且简单标记为迅速扫视，这意味着持续时间少于约150毫秒。这发生在信号的信息内容少的时候。

在脱机方案中(当长延迟是可接受的时)，已经研发出如图25所示的注视恢复算法，有时候用来补偿在凝视信号中的低信息内容。当算法本身尚未稳定时，这可能发生在注视的开始。这发生在假定迅速扫视不可能持续200毫秒以上的情况下并且如果情况就是这样，最大可能是两个迅速扫视和在其之间未检测的注视。据此，该算法定位可能包含未检测的注视的迅速扫视，然后用滑动的中等滤波器过滤它们，该滤波器比在预处理中用的滤波器长一些(20个采样)。这有时足以将信号噪声抑制到能够检测新的注视。这可能似乎是直接的、危险的方法，或多或少强制检测。但是，这仅仅是分段公式的自适应性质，并且已经被证明为关于有效部分与实际非常相关。

扫视分类算法分两步进行。首先，所有组群根据它们总的停留时间自动定位。在第二步，这些组群根据同样的停留数据被自身分组，并且形成世界模型事物。世界模型是不同的预定义观察区的简单描述，例如，右后视镜或道路笔直朝前。所有的模型被定义在当他或她看着笔直朝前的道路时垂直于驾驶员的平面内。

在第一步，组群定位的粗略逼近用二维停留时间直方图进行，也就是说，根据每个注视的持续时间和平均位置在不同观察区的总的注视时间，如图26和27所示。这种平均位置的运用已经证明是减少噪声问题的一种简单方法。直方图接收器大小是3乘3度，主要依据检查错误。这形成一个很好的平滑的直方图，其中每个尖峰表示组群的近似位置。由于凝视数据以弧度给出，实际组群(cluster)平面不是一个平面，而是圆柱的内侧。因此凝视角度不影响组群大小。一旦组群的近似位置被确定，每个平均的注视点由Euclidian法被赋予最接近的组群点。然后，所有的组群被更新到与各自组群相关点的平均位置。

该算法还产生分类记录，其中每个分类的事件存储在具有其位置、开始、结束、持续时间、相关组群和数字编码的类型的矩阵中，所述类型是迅速扫视或注视。该记录矩阵是简单的数据压缩，后面用作统计功能计算的基础。

在第二步，所有的组群被映射在世界模型上。不同的几何区域，例如盒子、圆或同样形状或其他不同形状的组合，定义诸如镜子、中心堆、仪表板等的事物。若干组群通常在属于同一扫视的同一区域内。这些现在被结合成一个组群并且重新计算它的平均位置。世界模型事物的数目随着工而变化。三种事物的基本模型已经被选定用于这种工作，基于停留时间直方图的算法使事物“浮动”进平面内。然后它计算该事物中心和所有组群的位置之间距离的标准偏差。落入事物95％置信度值内的组群被当作它的一部分，因此事物的尺寸被调节为包围该组群。世界模型事物的数目经由一个参数很容易控制。

这是可能需要检查并且有时需要来自试验者的修正的一步。这是因为关于什么是什么不是事物的判断由于在未处理信号中的噪声和非跟踪而变得非常之难，合格的估计必须由试验者作出。消除需要人来评估的一种方法是收集数据时避开阳光灿烂的白天。阳光直射入摄像机是代表几乎所有的注视错位的一个原因。

除了扫视分类之外，世界模型方法在其他测量方面也可以是非常有用的，例如，在道路上和不在道路上的比例和大比例视频扫描图形。当凝视信号是有噪声的或不可靠时(由于日光)它也是很有用的，并且注视在更大面积上散布，形成比实际多的组群。在处理中，记录矩阵不断更新。

感兴趣的样板区域，有两个主要问题：1)对所有每个对象都需要校准并运行；2)由于传感器系统的误差，事物经常需要被定义为比它实际大。很难在检查数据之前确定世界事物需要为多大。如果事物太大，总是有这种可能，即远离本体的事物被包括或者这些事物不得不相互重叠。

从这点看，当分析数据时定义世界模型并使它适于当前环境是较为容易的。

最后，用记录矩阵产生统计量度。所述量度被定义为：1)停留时间；2)扫视持续时间；3)扫视频率；4)总的扫视时间；5)扫视概率；6)连接值概率；7)离开前面道路景观的时间；8)总的工作时间；和9)转换时间。

一旦完成扫视分类，这些量度的计算是直截了当的，因此所说计算不被包括。

一个示例性的实时执行非常像脱机算法。不同之处在于只有“前面道路景观”和“其他区域”被定义为世界模型事物。对于每个任务，输出是在道路上和离开道路的总的扫视次数和总的扫视时间。任务的开始和结束由注释或时间间隙表示在记录文件中(在记录时由人工进行)。

在进行任何分类之前，使前面道路景观世界事物定位。这是使用初始化阶段、校准特定对象的建立并运行来完成。前面道路景观区通过凝视密度函数而定位。驾驶员的大多数注意力对着这个区域并停留时间密度函数在其中心总是有明显的峰值，如图27所示。注视在这个区域的分布近似于高斯分布。因此用停留时间直方图的最高点作为平均注视位置值能够计算标准偏差。技术上，计算的不是标准偏差，而是模态偏差。然后，前面道路景观被看作95％置信度值。该过程对俯仰和偏转分别进行，因此形成表示前面道路景观的椭圆形区域。

在初始化过程中，研究区域被限制在可能是前面道路景观的地方，通常是具有弧度为10°并且中心在(0，0)的圆，并且只有落入这个区域的注视用来计算。尽管如此，95％置信度值边界不得不被向下并向右偏移约2度，以便使它与一些对象工作；当对象的凝视跟随道路弯曲时特征出现。对于这些偏差的简单办法是示例性的较长的初始化时期或用允许它跟随曲线的时间窗口进行另外的计算。如果可得到横摆速率，前面道路景观的中心可能适于这种信号并解决该问题，但是这不是目前在车辆中的共识。初始化阶段可以看图29。该校准过程在产生有效值之前，用大约5分钟正常驾驶被调整到以最佳状态工作。

当驾驶员进行工作时产生相似的问题。眼睛似乎不回到前面道路区域中心，而是有点在辅助工作(驾驶时主要工作)方向。头部偏移是这种行为的答案，意味着它不垂直于前面道路景观，因此产生凝视估计的偏移。对象离开前面道路景观看得越多，凝视估计的精度越低。

初始化阶段一结束，双VT-I、DT-I和规则起作用。双VT-I首先识别迅速扫视-注视结合。即最短形式的扫视，然后与其扫视时间一起发送到DT-I和规则。如果它们属于同一区域，微小扫视，例如在一个区域内的一系列注视被连接。也就是说，形成根据ISO/SAE标准的扫视。扫视时间被总计并且发送到与在前面道路上/不在前面道路上的信号同步的计数器，该信号是如图28所述的分组算法的输出。该计数器记录属于同一工作的所有的扫视和扫视时间，然后对于每个新工作，计数器被重置。但是，在进行重置之前，数据被送出(处理)以便记录。在这种情况下，时间间隙被用来指示工作的开始和结束。

利用视频转录，该算法已经对来自VDM的数据有效——验证研究。该视频转录按照ISO15007-2和SAE J-2396方法进行。使用7个对象，4个量度，其中比较1)工作长度；2)扫视频率；3)平均扫视持续时间；和4)总的扫视时间。

验证一个工作接一个工作地被完成，每个扫视视觉上被确认以确保正确的算法函数。少数的注视用恢复算法自动恢复，该恢复算法被证明能很好地工作，并且实际上没有误算。

皮尔逊积矩(Pearson product-movement)揭示对所有重要量度的分析类型之间高相关性：工作长度r＝0.999，扫视频率r＝0.998，平均扫视持续时间r＝0.816，和总的扫视持续时间r＝0.995。这是将要与“自动驾驶员视觉行为测量”的结果进行比较，其中相关性分别是r＝0.991，r＝0.997，r＝0.732，和r＝0.995。图30-33绘出每个工作的平均和标准偏差。

实时算法已经对于来自VDM——验证研究的六个视频转录的对象已经被有效。用于脱机验证的对象之一由于缺少基线驾驶(非校准数据)必须离开。

其中被比较的三个量度：1)扫视数目；2)总的扫视时间；3)平均扫视时间。

每个对象的整体驾驶是通过算法顺序运行的。虽然只要求5分钟，但是在安全侧每个运行20分钟正常公路(基线)驾驶，以校准该系统。皮尔逊积矩揭示对两个量度的分析类型之间的高度相关性：扫视数目r＝0.925，和总的扫视时间r＝0.964。但是，平均扫视时间不十分相关，r＝0.301。图34-36绘出每个工作的平均和标准偏差。

来自验证的结果证明该算法是非常可靠的，即使当数据质量不是在其最佳水平；例如该算法对变化噪声水平和信号精确性是健全的。还有，用眼睛运动规则，该算法能够重新得到在信号中几乎被消失的注视。

除了平均扫视持续时间之外，对所有量度在0.99的区域中(脱机方案)，分析方法之间的相关性是很高的，而平均扫视持续时间也仍然很相关(r＝0.82)。但是基于两个其他的量度相关性低。

预处理也证明很有效。15个采样中等滤波器保存迅速扫视的开始/结束，同时非常有效地抑制了噪声和眨眼。

双VT-I、和DT-I和规则的组合证明了工作超过预计的情况。双VT-I的精确性和DT-I的可靠性与眼睛运动物理规则的共同协作形成的算法对瞬时传感器置信度下降和高噪声水平是健全的。

已经表明，有健全和可靠的实时扫视检测是可能的。模拟揭示了两个测量(扫视数目和总的扫视时间)的高相关性。但是，平均扫视时间的相关性是低的(r＝0.301)。记住，实时算法不能区别朝着反射镜的扫视和朝着收音机的扫视，所有的量度都可能被认为是相当低的。使实时算法与脱机方案一样精确是可能的。这将通过识别最通常的看车内的事物来实现，例如，内镜、侧镜、仪表板组和中心堆。这些事物在车辆内很好地分布开，因此不会相互混淆。此外，在定义为最可能的区域，对那些事物之一只要扫视一或两次，以对这些特定的事物开始一个起始阶段。最通常看的事物是最可能发生错误的事物和最容易检测的事物。

由于没有其他数据组被视觉转录或以任何其他方式分析，它只用来测试不同的算法部分，例如，实时初始化。但是这个工作已经打开了这些数据分析的大门。

已经研发出按照ISO 15007-2和SAE J-2396标准的定义和量度工作的健全的混合算法。该方法比视频转录快得多，与用该算法只要几分钟相比，一个小时的数据视频转录要花约一天的时间，而且该算法还自动适应当前噪声水平。

在本发明的研发期间，已经看到下述成绩：1)预处理中等滤波器长度优化为对于以60Hz采样的数据是15个采样；2)具有20个采样的中等滤波器用于有噪声的信号部分，其中按照视觉规则，应当有注视。这使信号平稳足以检测注视；3)两个注视/迅速扫视检测算法的健全混合，其适于当前噪声水平，并且已经研发并调整出用于60Hz数据的判断算法；4)眼睛运动的物理规则实现为智能判断并控制算法；5)研发出需要最小干预的自动和健全的分组方法，用于工作分析；6)已经研发出算法的实时方案并使其有效；7)该算法的实时方案用新颖的构架，其将扫视分段为：“笔直的前面道路”或“其他”种类；8)已经实施在ISO/SAE中的所有量度。

这个课题打开了几个感兴趣的车内产品应用的大门，其能够利用要在真实路上环境被测试的眼睛运动数据。例如，工作负荷估计、注意力估计、困倦检测、自适应界面、自适应警告等。人类工程学评估、HMI研究、认知工作负荷、精神分散、困倦等的研究都是这里定义的本发明潜在的感兴趣的应用。

因此，打开了一条进入驾驶员精神的新道路。在现在的环境中，仍然有少量人工步骤来进行加载和存储数据、视觉检查分段和偶尔调节世界模型。然而，可以认为，并且本领域的技术人员也能够理解，按照本发明可是使这些手工工作自动化并执行这些工作。特别是在阳光直接射进摄像机的情况下，将使注视散布在一个大区域上，有时甚至使组件“混合”在一起。因此分析工具变得更健全和更精确，这些步骤中的一些将不再是必要的并且也可能进行批处理。

本发明设想了一种实时算法，该实时算法健全地、智能地工作并为车辆(和研究者)提供尽可能多的来自驾驶员眼睛的有用的信息。该实时算法将能够健全地、智能地将若干事物分类。世界模型事物对真实世界的实时适应将记录事件和数据。一种有趣的方法是将目标区实现为HMM状态。当使得目标区域边界更浮动时，引入这些统计方法可以提高目标分类。一种有趣的想法是当在外部或远离其他事物的距离处有注视被记录时，使世界模型区意想不到地突然出现。世界模型可以用事物经历来校准世界模型并进行智能判断，例如，事物的完全工作驱动的识别。

关于检测算法，可以利用其他传感器信息。在现代汽车中，当跟踪转向角度、转动指示器起动、车辆速度以及某个按钮是否被按下失灵时，CAN总线充满可以用来估计凝视方向的传感器信号。这也提供关于交通环境的信息，从而优化了用于特定交通环境的分段参数，例如用于乡下、郊区和城市。识别大量驾驶图形的相当成功的方法也已经完成。能够测试其他WHM滤波器以发现是否存在更好的方法来减少远离道路的注视开始时的噪声，其中利用恢复算法。滤波器群似乎很庞大。

支持算法的一种方式可以是这样的事实，即对象的头部经常沿着与眼睛相同的方向移动，至少用于横向凝视。这种方法的缺点来自对象个体差别。一些对象实际上完全不移动他们的头部，而另一些则经常移动他们的头部。还有，当凝视有噪声时，这应当是帮助分段的合适方法。

在实时算法中，下一组六个采样的预计将增加100毫秒的速度。业已表明，利用五个点二次预测器以很小的误差，可以至少在少量点预计迅速扫视信号。速度在实时算法中是最重要的。

按照上面所述，很清楚，精细地调整这些算法在将来还会继续。一种已经在进行的研制是GUI算法，称作“视觉要求测量工具”或简称“VDM工具”。这项工作的目的是使分析工具对希望分析眼睛运动的任何人都容易使用。

本发明分析方法的许多方面，包括方法和执行这些方法的装置均已公开。分析的重要特征至少包括关于驾驶员眼睛运动的部分基础，和在实时基础上进行的评估。

Claims

1.一种用于分析车辆驾驶员的眼睛和/或头部定向特征的方法，所述方法包括：

检测并量化驾驶员头部相对于车辆乘客车厢内的空间的位置；

提供驾驶员头部的参考基准位置，从而能够使驾驶员感兴趣的区域/事物的位置相对其进行相互参照；

使所述驾驶员头部位置对于所述参考基准位置的量化标准化，因而能够根据关于(1)驾驶员的眼睛定向和(2)驾驶员的头部定向的至少一个的检测信息，推导驾驶员感兴趣的位置。

2.如权利要求1的方法，还包括：

优选地将关于驾驶员眼睛定向的检测信息用作驾驶员感兴趣位置的所述推导的基础；和

当关于驾驶员眼睛定向的所述检测信息的质量降低到规定的阈值凝视置信度水平之外时，转换到将关于驾驶员头部定向的检测信息用作驾驶员感兴趣位置的所述推导的基础。

3.如权利要求2的方法，其中当驾驶员的眼睛闭合时，超过所述阈值凝视置信度水平。

4.如权利要求2的方法，其中当驾驶员的头部定向离开眼睛向前的定向超过允许的偏离程度时，超过所述阈值凝视置信度水平。

5.如权利要求1的方法，还包括：

利用数学变换实现驾驶员头部位置对于所述参考基准位置的所述量化的所述标准化。

6.如权利要求5的方法，还包括：

在基本实时的基础上利用基于车辆的计算机进行所述数学变换。

7.如权利要求1的方法，还包括：

相对于所述参考基准位置规定驾驶员感兴趣的区域/事物的可能位置。

8.如权利要求1的方法，还包括：

根据所检测的驾驶员眼睛特征，相对于所述参考基准位置定义驾驶员感兴趣的区域/事物的可能位置。

9.如权利要求8的方法，还包括：

根据所检测的驾驶员凝视频率的眼睛特征，相对于所述参考基准位置建立驾驶员感兴趣的区域/事物的可能位置的所述定义。

10.如权利要求9的方法，还包括：

根据所收集的凝视密度特征，量化所述凝视频率的眼睛特征。

11.如权利要求9的方法，还包括：

通过将所述检测的驾驶员眼睛特征映射到所述规定的或定义的驾驶员感兴趣的区域/事物相对于所述参考基准位置的可能位置，根据驾驶员眼睛特征识别驾驶员感兴趣的事物。

12.如权利要求11的方法，还包括：

根据所述映射的驾驶员眼睛特征，调整由该车辆执行的规定的功能。

13.如权利要求1的方法，其中关于驾驶员眼睛定向的所述检测信息专门地由凝视角的量度构成。

14.如权利要求1的方法，其中关于驾驶员眼睛定向的所述检测信息包括凝视角的量度。

15.如权利要求13的方法，其中所述凝视角度的量度是从所检测的基于眼球定向的凝视方向矢量导出的。

16.如权利要求1的方法，还包括：

根据所检测的头部定向，相对于所述参考基准位置，定义驾驶员感兴趣的区域/事物的可能位置。

17.如权利要求16的方法，还包括：

根据所检测的头部定向，相对于所述参考基准位置，建立驾驶员感兴趣的区域/事物的可能位置的所述定义，其中从该头部定向可推导出脸部朝前的方向。

18.如权利要求17的方法，还包括：

收集多个数据点，每个数据点表示一个特定的被检测的头部定向；根据所述的数据点，建立指示驾驶员沿某个方向看的频率的密度映射。

19.如权利要求18的方法，还包括：

通过使所述密度映射与规定的/定义的驾驶员感兴趣的事物/区域相对于所述参考基准位置的可能位置相关，识别驾驶员感兴趣的事物/区域。

20.如权利要求19的方法，还包括：

根据所述的相关，调整由该车辆执行的规定的功能。

21.如权利要求16的方法，其中关于头部定向的所述检测信息专门地由脸朝前的方向角的量度构成。

22.如权利要求16的方法，其中关于头部定向的所述检测信息包括脸朝前的方向角的量度。

23.如权利要求21的方法，其中脸朝前的方向角的所述量度从所检测的基于头部定向的凝视方矢量导出。