CN107066936A - 用于识别驾驶员的疲劳的方法和装置 - Google Patents

Abstract

用于识别驾驶员的疲劳的方法和装置。本发明涉及一种用于识别疲劳的方法，其中该方法具有查明的步骤（502）、确定的步骤（504）和比较的步骤（506）。在查明的步骤（502）中，在使用描绘眼睛运动的视向信号的情况下查明人员的眼睛运动的第一扫视以及至少一个另外的扫视。在确定的步骤（504）中，在使用视向信号的情况下确定表示第一扫视的第一幅度和第一扫视的第一峰值速度的第一数据点、以及至少一个表示所述另外的扫视的另外的幅度和所述另外的扫视的另一峰值速度的另一数据点。在比较的步骤（506）中，将第一数据点和至少所述另一数据点与扫视模型相比较。在此，当所述数据点与扫视模型的置信区具有预先确定的关系时将所述人员识别为疲劳的。

Description

用于识别驾驶员的疲劳的方法和装置

技术领域

本发明的出发点是根据独立权利要求的前序部分所述的装置或方法。本发明的主题还有一种计算机程序。

背景技术

在车辆中，例如可以使用眼睛监视系统，以便使视野显示的投影区域跟踪观察者的眼睛位置。通过眼睛监视系统，也可以监视眼睛的眼睑闭合。通过眼睑闭合可以推断出观察者的疲劳。

发明内容

在此背景下，利用这里所介绍的方案而介绍根据独立权利要求所述的一种用于识别疲劳的方法、进一步地一种使用该方法的装置、以及最后一种相应的计算机程序。由于在从属权利要求列举的措施，在独立权利要求中说明的装置的有利的扩展方案和改进方案是可能的。

眼睑闭合部分地作为反射进行。因此，外部影响常常是眼睑闭合的原因。例如，眼睑闭合可能响应于炫目发生。眼睑闭合同样可能响应于空气流发生。单单对眼睑闭合的监视因此不允许关于人员疲劳的可靠的陈述。

在此处介绍的方案中，附加地分析至少一个眼睛的运动，以便推断出人员的疲劳。眼睛的运动一般而言可以至少被区分为注视部分（fixierender Teil ）和扫视部分。扫视部分由被称为扫视的快速的眼睛运动构成。在此，对扫视进行分析。进行扫视，例如以便在两个所观察物体之间切换。而缓慢的眼睛运动例如在跟踪运动物体时进行。

在眼睛在扫视期间的运动速度与扫视的大小之间存在关联。在此，可以将大小理解成扫视的开始与扫视的结束之间的角度。在人员未疲劳的情况下，该关联可以以小方差再现。

如果人员疲劳，则该方差变得更大。

介绍了一种用于识别疲劳的方法，其中该方法具有下列步骤：

在使用描绘眼睛运动的视向信号的情况下查明人员的眼睛运动的第一扫视以及至少一个另外的扫视；

在使用视向信号的情况下确定表示第一扫视的第一幅度和第一扫视的第一最大速度的第一数据点、以及至少一个表示所述另一扫视的另一幅度和所述另一扫视的另一最大速度的另外的数据点；以及

将第一数据点和至少所述另外的数据点与扫视模型相比较，其中当所述数据点与扫视模型的置信区具有预先确定的关系时将所述人员识别为疲劳的。

可以将扫视理解为眼睛的运动片段。扫视是扫视周期的一部分。扫视周期可以与注视周期邻接。在扫视中，眼睛从第一角位置迅速运动到第二角位置。第一角位置与第二角位置之间的角度可以被称为幅度。在扫视期间最大达到的角速度可以被称为最大速度。幅度的值和最大速度的值形成值对或数据点。扫视模型在数值上描绘幅度与最大速度之间的关联。置信区可以被称为容差区域。置信区由一个或两个置信极限来限定。置信区可以表示数据空间中的区域，其中数据空间由数据点的维度撑开。例如，数据空间可以以眼睛运动的最大速度和幅度的维度来撑开。

该方法可以具有将扫视模型个人化到所述人员的步骤。在此，可以在使用时间上已过去（即在时间上在先）的数据点的情况下来确定扫视模型的至少一个参数。在这种情况下，可以使用被分配给该人员的在时间上已过去或在时间上在先的数据点。扫视模型可以在该人员休息好并且不疲劳时被个人化。在个人化期间，可以描绘幅度与最大速度之间的独特的关联。通过个人化，可以可靠地识别该人员的疲劳。

扫视模型可以在使用预先确定的最少数目个数据点的情况下被个人化。通过充足的数据库，离群值可以被识别并且针对个人化而被丢弃。例如，扫视模型可以在100个数据点被收集时被个人化。

可以使用来自预先给定的时间窗的数据点。例如，扫视模型可以在车辆发动以后的预先给定的时间段中被个人化。在发动以后，人员以高概率是清醒的或不疲劳。

当数据点中的预先确定的份额处于置信区以外时，可以将人员识别为疲劳的。如果数据点处于置信区以外，则扫视的方差增大，这表明人员的疲劳。

数据点可以被加权。例如，处于置信区之下的数据点可以与处于置信区之上的数据点相比以更高权重被评估。处于置信区之上的数据点可以表明有误的检测。通过加权，可以快速和可靠地识别疲劳。

在确定的步骤中可以在使用视向信号的情况下确定扫视的附加的、表示所述扫视的幅度和所述扫视的时长的数据点。所述比较的步骤可以在使用附加的数据点的情况下进行。附加的数据点可以用于使识别受到保障。

可以使用基于下列等式的扫视模型：

其中

V_p表示峰值速度，V_m和C表示人员特定的参数，并且A表示幅度。人员特定的参数可以被匹配，以便对扫视模型进行个人化。该等式可以描述置信区域的中心。

该方法例如可以以软件或硬件或者以由软件和硬件构成的混合形式例如在控制设备中实现。

此处介绍的方案还提供了一种装置，该装置被构造用于在相应设备中执行、操控或实现此处介绍的方法的变型方案的步骤。通过本发明的以装置形式的该实施变型方案也可以快速和有效地解决本发明所基于的任务。

对此，该装置可以具有：至少一个计算单元，其用于处理信号或数据；至少一个存储单元，其用于存储信号或数据；至少一个到传感器或执行器的接口，其用于从传感器读入传感器信号或者将数据信号或控制信号输出给执行器；和/或至少一个通信接口，其用于读入或输出嵌入到通信协议中的数据。计算单元例如可以是信号处理器、微控制器或者诸如此类的，其中存储单元可以是闪存存储器、EPROM、或者磁存储单元。通信接口可以被构造用于无线地和/或有线地读入或输出数据，其中可以读入或输出有线数据的通信接口可以从相应的数据传输线路中例如电地或光学地读入所述数据或者将其输出到相应数据传输线路中。

在此，当前可以将装置理解成处理传感器信号并据此输出控制信号和/或数据信号的电设备。该装置可以具有可按照硬件和/或软件来构造的接口。在按照硬件构造的情况下，所述接口例如可以是包含装置的各种各样的功能的所谓系统ASIC的一部分。但是也可能的是，接口是单独的集成电路或者至少部分地由分立器件构成。在按照软件构造的情况下，接口可以是软件模块，该软件模块与其它软件模块并列地例如存在于微控制器上。

有利的还有一种具有程序代码的计算机程序产品或计算机程序，该程序代码可以存储在诸如半导体存储器、硬盘存储器或光学存储器之类的机器可读载体或存储介质上，并且尤其是在该程序产品或程序在计算机或装置上被实施时被用于执行、实现和/或操控根据前述实施方式之一的方法的步骤。

附图说明

在此介绍的方案的实施例在附图中予以示出并且在下面的描述中予以进一步阐述。附图：

图1示出了根据一个实施例的具有用于识别疲劳的装置的车辆的图示；

图2示出了根据一个实施例的扫视模型的个人化的图示；

图3示出了根据一个实施例的识别疲劳的图示；

图4示出了根据一个实施例的用于识别疲劳的装置的框图；以及

图5示出了根据一个实施例的用于识别疲劳的方法的流程图。

具体实施方式

在随后的对本发明的有益的实施例的描述中，为在不同的图中示出和作用相似的元素使用相同或相似的附图标记，其中省去对这些元素的重复的描述。

图1示出了根据一个实施例的具有用于识别疲劳的装置102的车辆100的图示。车辆100具有眼睛检测设备104，该眼睛检测设备104检测车辆100的驾驶员的至少一只眼睛106并且在视向信号108中描绘眼睛106的瞬时视向。视向信号108因此描述该只眼睛106或多只眼睛106的眼睛运动110。

用于识别疲劳的装置102被构造用于在使用视向信号108的情况下提供表示驾驶员的疲劳度的疲劳信号112。为此，装置102具有用于查明的设备114、用于确定的设备116和用于比较的设备118。

用于查明的设备114被构造为在使用视向信号108的情况下查明眼睛运动110的第一扫视120和至少一个另外的扫视122。扫视120、122是快速的眼睛运动110。在两个扫视之间，驾驶员至少在短的瞬间内注视物体，或者眼睛106短时地停留在视向上。

如果驾驶员变得疲劳，则眼睛运动110发生改变。

用于确定的设备116被构造为在使用描绘扫视120、122的视向信号108的情况下确定第一数据点124和至少一个另外的数据点126。在此，第一数据点124描绘第一扫视120的第一幅度和第一扫视120的峰值速度。所述另外的数据点126描绘另一扫视122的另一幅度和另一扫视122的另一峰值速度。在此，幅度表示扫视持续的角度。峰值速度表示眼睛106在扫视期间最大达到的转动速度。

用于比较的设备118被构造为将第一数据点124和至少所述另外的数据点106与扫视模型128相比较。在此，当数据点126、126与扫视模型128的置信区具有预先确定的关系时，驾驶员被识别为疲劳的。

如果驾驶员被识别为疲劳的，则提供疲劳信号112。例如，可以提醒驾驶员。同样，驾驶员被要求休息一下。

在一个实施例中，数据点124、126被用于针对驾驶员来个人化扫视模型128。为此，例如使用如下数据点124、126，所述数据点表示驾驶员未疲劳期间的扫视120、122。

介绍了一种用于通过测量扫视特性来确定疲劳的方法。该方法例如可以在装置102上实施。

对人的疲劳的判断在大量应用领域中、尤其是在车辆100的操纵中扮演一定角色。用于疲劳判断的现有方法要么通过测量任务完成的良好度、例如车辆操控的良好度，要么根据要进行判断的人员的生理特征来估计人员的疲劳状态。用于疲劳判断的重要生理特征例如可以通过测量要进行判断的人员的眼睛106来获得。例如，可以借助于基于视频的跟踪系统104（眼睛跟踪系统）来查明人员的眼睑闭合。眼睑闭合的累积例如可以表明人员的疲劳。

基于生理度量的疲劳判断一般而言是有利的，但是也可能导致判断错误。这样，例如增加的眼睑闭合不仅仅归因于疲劳，而且归因于其它情形、例如光线情况或空气情况。为了避免判断错误，可以考虑到另外的生理特性。

在此介绍的方案描述了一种方法，利用该方法可以在测量要进行判断的人员的眼睛106时导出用于疲劳判断的另外的度量。

描述了一种方法，该方法允许根据对快速的眼睛运动或扫视120、122的特性的测量来进行疲劳判断。该方法于是可以用在将跟踪系统104用于测量要进行判断的人员的眼睛106时。因此，该方法可以用于疲劳判断，或者用于改善例如基于眼睑闭合的现有方法。

图2示出了根据一个实施例的扫视模型128的个人化的图示。在此，扫视模型128基本上对应于在图1中的扫视模型。扫视模型128被示为关于幅度A的峰值速度V的函数。该函数在图表中示出，该图表在其横坐标上以度为单位绘出了扫视的幅度A，并且在其纵坐标上以度/秒为单位绘出了扫视的峰值速度V。

在图表中示出了对清醒的休息好的人的多个扫视进行表示的数据点124、126。扫视模型128基本上对应于数据点124、126中的多数的趋势线。换言之，扫视模型128对应于扫视的关于幅度A的峰值速度V的平均值。

在图表中，示出了扫视模型128的上部的置信极限200和下部的置信极限202。扫视模型128的置信区域204在置信极限200、202之间。函数128在此居中地布置在置信区域204中。置信区域204包括不疲劳人员的所有数据点124、126中的确定的份额。例如，不疲劳人员的所有数据点124、126中的95%都处于置信区域204之内。

扫视模型128、上部的置信极限200和下部的置信极限202与人员的实际上所检测到的扫视相匹配。换言之，扫视模型128被个人化。因此，当在人员变得疲劳时数据点124、126与置信区域204偏离时，可以进行明确地识别。

换言之，图2示出了清醒的观察者的扫视幅度A和峰值速度V_p的典型比例。该比例可以通过在此由实线128示出的函数和在此由虚线200、202示出的置信区间204来描述。置信区间204可以被称为主序列（Main Sequence）。

图3示出了根据一个实施例的识别疲劳的图示。示出了扫视模型128连同其限制置信区域204的置信极限200、202，该扫视模型128基本上对应于图2中的扫视模型。在此，示出了疲劳人员的扫视的数据点124、126。与图2中的不疲劳人员的数据点相比，数据点124、126具有更大散射（Streuung）。在此，数据点124、126的非常小的份额被布置在置信区域204之外。

换言之，图3示出了观察者疲劳情况下的幅度A和速度V的典型比例。具有主序列224之外的比例的扫视的数目对疲劳判断产生影响。

图4示出了根据一个实施例的用于识别疲劳的装置120的框图。装置102基本上对应于图1中的装置。相反，设备114、116在此被合并成分类设备400。

在此介绍的用于疲劳估计的方法利用了要进行判断人员的快速眼睛运动或扫视的大小或幅度A和峰值速度V之间的生物力学比例。扫视是如由每个人大约每三至四秒执行那样的典型的眼睛运动。

所介绍的方法的前提是，例如借助于基于视频的跟踪系统（眼睛跟踪器）对要进行判断人员的瞬时视向、即水平和垂直视角进行测量。眼睛跟踪系统以例如每秒60次扫描的恒定时间间隔来提供对当前视角的测量。在此介绍的方案不与特定的扫描率绑定。

在分类设备400中实施的分类的步骤中，将扫描的视向信号108划分为扫视和注视周期。在这种情况下，该分类可以动用已经公知的方法。作为该步骤的结果，可以从扫描的视向信号中提取和测量出现的扫视。在此，所测量的特性124、126尤其是扫视的以度为单位的大小或幅度、以及以度/秒为单位的峰值速度。

在模型创建的步骤中，基于所测量的扫视特性124、126来创建人员特定的模型128。模型128将幅度（A）和峰值速度（V_p）相联系，并且可以利用下列公式来描述：

。

在此，V_m和C是人员特定的参数，所述参数可以借助于统计回归方法根据绘出的数据124、126来确定。该关联的其它表达方式是可能的。

在一个实施例中，其它扫视特性124、126被置于比例关系，并且充当另外的实施方案的基础。例如，扫视幅度与扫视时长的比例。

为了实现参数的可靠确定，可以收集最小数目个测量结果、例如至少100个测量结果。此外，根据测量的散射来计算模型参数的置信限值。借助于这些限值，可以描述置信区。限值被选择为使得例如数据点124、126中的95%都位于该区之内。

模型128的创建可以周期性地进行，并且这些参数可以取平均，以便平衡行为中的可能的波动。这样保证了：模型128的参数反映了不疲劳人员的观察行为。

此外，模型128的制定可以限于与由被观察的人员执行的任务相关的时间段。例如，在确定驾驶员的疲劳时，可以在驾驶开始时创建模型1128，以便提高所查明的模型参数描绘正常、即非疲劳行为的概率。

在比较设备118中执行的比较的步骤中，分析第二数据库402的数据。在该步骤确定：数据点124、126、即由扫视幅度和峰值速度构成的三元组是否根据模型128的期望而存在。这通过如下方式进行：检查数据库402中收集的数据点124、126中有多少位于在模型128中确定的置信区之外。

在解释设备404中实施的解释的步骤中，根据预先给定的容差值来观察在置信区之外的数据点124、126的数目与在置信区之内的数据点124、126的比例。如果数据点124、126的处于置信区之外的份额位于公差值之上、例如20%，则这被评判为疲劳的指标并且执行相应的归类。

此外，在解释的步骤中的观察可以被匹配为使得在置信区之外的、高于或低于置信区的数据点124、126以不同权重被解释。例如，在置信区之下的数据点124、126可以以较高权重被解释，因为所述数据点124、126是针对疲劳的更清楚的指标。

图5示出了根据一个实施例的用于识别疲劳的方法500的流程图。方法500例如可以在如图1中所示的装置上实施。方法500具有所述查明的步骤502、所述确定的步骤504和所述比较的步骤506。在所述查明的步骤502中，在使用描绘眼睛运动的视向信号的情况下查明人员的眼睛运动的第一扫视以及至少一个另外的扫视。在所述确定的步骤504中，在使用视向信号的情况下确定表示第一扫视的第一幅度和第一扫视的第一峰值速度的第一数据点、以及至少一个表示所述另外的扫视的另一幅度和所述另外的扫视的另一峰值速度的另一数据点。在所述比较的步骤506中，将第一数据点和至少所述另外的数据点与扫视模型相比较。在此，当数据点与扫视模型的置信区具有预先确定的关系时，人员被识别为疲劳的。

换言之，图5示出了用于根据所记录的视角信息来估计观察者的疲劳的方法500的流程图。视角信息在所述分类的步骤404中被划分为扫视和注视部分，其中扫视周期的特性、如扫视的大小或幅度及其峰值速度也被确定。这些信息首先被暂存，直到存在一定数目个数据对。在该数据库上，在模型创建的步骤中，创建模型的独特的参数，所述模型将扫视幅度和峰值速度置于比例关系。第二数据库被建立，以便确定关于该模型的行为的改变。在所述比较的步骤506中确定：在数据库中存在的数据点如何偏离于数据点根据该模型的所要预期的分布。在所述解释的步骤中查明：该偏差是否足以确认疲劳状态。

如果实施例包括第一特征与第二特征的“和/或”关联，则这应当被理解为该实施例根据一个实施方式既具有第一特征又具有第二特征，并且根据另一实施方式要么仅具有第一特征、要么仅具有第二特征。

Claims (11)

1.一种用于识别疲劳的方法（500），其中所述方法（500）具有下列步骤：

在使用描绘眼睛运动（110）的视向信号（108）的情况下查明（502）人员的眼睛运动（110）的第一扫视（120）以及至少一个另外的扫视（122）；

在使用所述视向信号（108）的情况下确定（504）表示所述第一扫视（120）的第一幅度（A）和所述第一扫视（120）的第一峰值速度（V）的第一数据点（124）、以及至少一个表示所述另外的扫视（122）的另一幅度（A）和所述另外的扫视（122）的另一峰值速度（V）的另一数据点（108）；以及

将所述第一数据点（124）和至少所述另一数据点（126）与扫视模型（128）相比较（506），其中当所述数据点（124，126）与所述扫视模型（128）的置信区（204）具有预先确定的关系时将所述人员识别为疲劳的。

2.根据权利要求1所述的方法（500），具有步骤：将所述扫视模型（128）个人化到所述人员，其中在使用时间上已过去的数据点（124，126）的情况下来确定所述扫视模型（128）的至少一个参数。

3.根据权利要求2所述的方法（500），其中在所述个人化的步骤中，在使用预先确定的最小数目个数据点（124，126）的情况下个人化所述扫视模型（128）。

4.根据权利要求2至3之一所述的方法（500），其中在所述个人化的步骤中，使用来自预先给定的时间窗的数据点（124，126）。

5.根据前述权利要求之一所述的方法（500），其中在所述比较的步骤（506）中，当所述数据点（124，126）中的预先确定的份额处于所述置信区（204）以外时，将所述人员识别为疲劳的。

6.根据前述权利要求之一所述的方法（500），其中在所述比较的步骤（506）中，对所述数据点（124，126）进行加权。

7.根据前述权利要求之一所述的方法（500），其中在所述确定的步骤（506）中，在使用所述视向信号（108）的情况下确定所述扫视（120，122）的附加的、表示扫视（120，122）的幅度（A）和所述扫视（120，122）的时长的数据点（124，126），其中所述比较的步骤（506）在使用所述附加的数据点（124，126）的情况下进行。

8.根据前述权利要求之一所述的方法（500），其中在所述比较的步骤（506）中，使用基于下列等式的扫视模型（128）：

其中V_p表示峰值速度，V_m和C表示人员特定的参数，并且A表示幅度。

9.一种装置（102），其被配置为在相应的单元中实施根据前述权利要求之一所述的方法（500）的步骤。

10.一种计算机程序，其被配置为实施根据前述权利要求之一所述的方法（500）。

11.一种机器可读存储介质，在所述机器可读存储介质上存储有根据权利要求10所述的计算机程序。