CN106714688B - 操作者疲劳监测系统 - Google Patents

Abstract

公开了一种与机器(10)一起使用的疲劳监测系统(26)。该疲劳监测系统可以具有配置为产生表示机器操作者所执行的活动的第一信号的输入装置(24)、配置为产生表示机器操作者的识别特征的第二信号的扫描装置(28)，以及警告装置(34)。疲劳监测系统还可以具有与输入装置、扫描装置和警告装置通信的控制器(32)。控制器可以配置为确定第一信号的产生之间的时间，以将识别特征与阈值特征进行比较并且基于时间或比较选择性地激活警告装置。

Description

操作者疲劳监测系统

技术领域

本发明总体上涉及一种操作者疲劳监测系统，并且更特别地涉及一种用于监测如列车机车等机器的操作者的疲劳的系统。

背景技术

疲劳是运输业中公知的问题。操作者在对机器进行较长时间的控制之后将会感到疲倦。某些机器需要操作者反复地移动，这可让人感到疲惫，而其他机器只需要操作者进行很少的移动，这可带来困意。在任何一种情况下，操作者都可能失去一部分集中注意力的能力，并且操作者的注意力都可能会变得迟钝。这可能会导致错误的机器控制、延迟的机器控制或者机器控制的缺失。这些结果中的任何结果都可能带来生产效率、收益率和安全性方面的损失。

一种用于帮助操作者保持警觉的示例性系统通常称为警惕性控制装置。警惕性控制装置包括连接至计时器的灯具和发声器。操作者需要以受计时器控制的最小频率来提供某些类型的输入。如果没有在特定时段内接收到输入，则以闪烁灯或发声警报器的形式发出警告。如果操作者仍然没有提供任何输入，则警惕性控制装置自动地实施形式为机器减速或者机器制动器的激活的惩罚。这种系统在麻省理工学院人车实验室于2006年11月20日发表的标题为“机车驾驶室内报警器技术评估”的出版物(“报警器出版物”)中进行了描述。

除了描述常规的基于活动的报警器之外，报警器出版物还描述了在没有操作者输入的情况下自动地检测操作者疲劳的新型报警器。特别地，自动报警器依赖于操作者的视频图像，并且使用计算机机器视觉算法来识别视频图像中的具体特点(例如，头部姿势、视线方向以及眼睑位置)。基于这些特征，自动报警器随后产生以上所述的警告和/或惩罚。

尽管常规报警器和自动报警器在使操作者保持警惕和警觉方面都可以提供一些益处，但是它们也都存在有缺点。例如，已经确定了常规报警器促使作出避免警醒式警告被激活的先发行为。此外，已经发现的是，随着时间的推移，列车操作者可变得习惯于向报警器提供输入，这变成了一种不需要集中注意力且甚至在睡觉时就能完成的反射性活动。另外，自动报警器有时会误读操作者的脸部，尤其是在光照条件不足时、在操作者佩戴了眼镜时或者在其他类似条件期间。

本发明旨在克服以上所述的一个或多个缺点和/或现有技术的其他问题。

发明内容

在一个方面，本发明涉及用于机器的疲劳监测系统。疲劳监测系统可以包括配置为产生表示机器操作者所执行的活动的第一信号的输入装置、配置为产生表示机器操作者的识别特征的第二信号的扫描装置、以及警告装置。疲劳监测系统还可以包括与输入装置、扫描装置和警告装置通信的控制器。控制器可以配置为确定第一信号的产生之间的时间，以将识别特征与阈值特征进行比较并且基于时间或比较选择性地激活警告装置。

在另一个方面，本发明涉及另一种用于机器的疲劳监测系统。该疲劳监测系统可以包括配置为产生表示机器操作者所执行的活动的第一信号的输入装置、配置为产生表示机器操作者的识别特征的第二信号的扫描装置、警告装置、以及与输入装置、扫描装置和警告装置通信的控制器。控制器可以配置为确定第一信号的产生之间的时间，以当第一信号的产生之间的时间超过第一阈值时间时选择性地实施第一水平响应，并且当第一信号的产生之间的时间超过大于第一阈值时间的第二阈值时间时选择性地实施第二水平响应。控制器还可以配置为将识别特征与阈值特征进行比较并且基于比较选择性地实施第二水平响应。

在又一个方面，本发明涉及一种监测机器操作者的疲劳的方法。该方法可以包括接收表示机器操作者所执行的活动的第一信号，并且扫描机器操作者的面部特征。该方法还可以包括确定输入的接收之间的时间，并且将特征与阈值特征进行比较。该方法还进一步包括基于时间或比较选择性地激活警告装置。

附图说明

图1为示例性公开机车的等距图；

图2为可以形成图1的机车的一部分的示例性公开驾驶室的等距图；

图3为可以与图1和图2的机车和驾驶室相结合使用的示例性公开疲劳监测系统的示意图；以及

图4为描绘了可以由图3的疲劳监测系统执行的示例性公开方法的流程图。

具体实施方式

图1图示了示例性移动机器10。在所公开的示例中，机器10为机车。然而可以设想的是，如果需要，机器10可以体现为另一种类型的机器。例如，机器10可以体现为公路用或非公路用拖运卡车、施工机器或行业车辆。可选地，机器10能够是固定机器，例如需要操作者持续关注的发电机组、泵或钻机。其他类型的机器也是可以的。

作为机车，机器10可以包括通过多个载重卡车14(图1中仅示出了一个载重卡车14)支撑在相对端处的车身12。每一个载重卡车14可以配置为经由多个车轮16接合轨道15(仅在图2中示出)，并且支撑车身12的车架18。一个或多个制动装置20可以与特定载重卡车14的一个或所有车轮16相关联，并且任意数量的发动机(未示出)可以安装至车身12内的车架18上并且驱动连接来推动车轮16。可以借助由车架18支撑的操作者驾驶室22来提供对车轮制动和发动机燃料加注的控制(以及其他机车控制)。

图2中示出了示例性驾驶室22的内部。如本附图中可以看出的，驾驶室22可以容纳多个输入装置24。输入装置24可以由操作者用来控制机器10，并且可以体现为本领域已知的任何类型的装置。例如，输入装置24可以尤其包括配置为控制机器10的燃料加注的节流阀和配置为控制机器10的制动的制动杆。输入装置24可以是杆、踏板、车轮、旋钮、推拉式装置、触摸屏显示器等。

在所公开的实施例中，机器操作者的移动和其他活动可以追踪到驾驶室22的内部。这些移动和/或活动可以包括使用输入装置24。例如，除了产生用于控制机器操作的控制信号之外，疲劳监测系统26(“系统”-如图3所示)还可以监测并使用输入装置24所产生的一个或多个信号，以作为确定操作者是否疲劳的方式。特别地，基于输入装置使用的频率，系统26可能能够确定操作者是否警觉(例如，当频繁地接收到输入时)、是否略微感到疲劳(例如，当输入频率降低时)、是否明显感到疲劳(例如，当零星地接收到输入时)或者甚至是否睡着了(例如，当没有接收到输入时)。在一些实施例中，专用输入装置24可以用于此目的。也就是说，可以将特定的输入装置24提供来仅用于证明操作者警觉性的目的。为了展示出期望水平的警觉性，机器操作者必须以最小频率来操纵此专用输入装置24。

除了将输入装置24的频率用作为确定机器操作者的疲劳水平的方式之外，系统26还可以将监测硬件用于这种相同的目的。例如，系统26可以单独地或者与一个或多个光源30一起包括扫描仪28。在所公开的示例中，扫描仪28为IR扫描仪(例如，摄像头)，并且光源30产生仅扫描仪28可见的以便由扫描仪28在低光照条件期间使用的IR光。如果需要，也可以可选地将其它类型的扫描仪和/或光源用于此目的。扫描仪28和光源30可以位于驾驶室22内，例如位于中央控制面板内面向机器操作者。

如图3所示，系统26可以包括与输入装置24、扫描仪28和光源30通信的控制器32。控制器32可以配置为接收这些部件所产生的信号、基于信号确定操作者疲劳水平以及选择性地激活一个或多个警告装置34和/或惩罚装置36。在所公开的示例中，示出了两个警告装置34，其中包括音频警告装置和视觉警告装置。可以设想的是，任意数量和/或类型的警告装置34可以被使用并位于机器10上的任何地方(例如，驾驶室22内)。惩罚装置36可以是当确定操作者经过阈值量之后变得疲劳时(例如，当操作者无响应时)由控制器32用来自动地调节机器10的操作的装置。在所公开的示例中，惩罚装置36是用来自动地激活与车轮16相关联的制动装置20的致动器。在一些实施例中，这个相同的致动器(或者另一个致动器)可以用于同时地(或分开地)减少机器10的发动机的燃料加注。

控制器32可以体现为包括用于响应于所接收的信号来控制机器10的(例如，系统26的)操作的装置的单个微处理器或多个微处理器。许多市场上可买到的微处理器都可以配置为执行控制器32的功能。应该理解，控制器32能够容易地体现为能够控制多种机器功能的通用机器微处理器。控制器32可以包括存储器、辅助储存装置、处理器、计时器以及用来运行应用程序的任何其他部件。各种其他电路可以与控制器32相关联，例如，电源电路、信号调节电路、电磁驱动器电路以及其它类型的电路。

图4图示了控制器32执行的示例性方法。图4将在下面的部分中进行详细论述，从而进一步解释所公开的概念。

工业实用性

本发明的疲劳监测系统可以适用于操作者警觉性比较重要的任何机器。所公开的疲劳监测系统可以通过监测操作者的活动水平并且还通过监测操作者的特征(例如，面部特征)来帮助使操作者保持警觉。当疲劳监测系统确定操作者疲劳时，可以判断出疲劳水平，并且可以采取多种不同的行动来警示操作者和/或超越操作者控制的权限并确保安全的机器操作。现将详细地描述疲劳监测系统26的操作。

在机器10的操作期间，系统26可以用于确定操作者的疲劳水平并对其作出响应。控制器32可以通过启动内部计时器并发起操作者的扫描来发起此过程(步骤400)。可以通过激活扫描仪28并且(在某些情况下)还激活光源30来发起扫描。基于扫描仪28所生成的图像和/或视频，控制器32随后可以确定操作者是否疲劳(步骤405)。特别地，控制器32可以将操作者的扫描图像与存储器中存储的一个或多个图像进行比较。例如，控制器32可以从扫描图像中确定出实际的头部姿势，并且将实际的头部姿势与对应于不同的操作者疲劳水平的一个或多个头部姿势进行比较。在另一个示例中，控制器32可以从扫描图像中计算出眼部位置或眨眼频率，并且将眼部位置和/或眨眼频率与阈值位置或频率进行比较。可以另外地或者可选地在扫描图像中捕获其他操作者特征，并将其与存储器中存储的对应于不同的操作者疲劳水平的信息进行比较。

之后，基于这些比较，控制器32可以确定操作者疲劳水平是否与需要控制器32进行动作的特定水平相对应。例如，控制器32可以确定操作者的疲劳水平是处于水平1、水平2还是水平3(步骤410)。在所公开的实施例中，水平1疲劳可以对应于略微感到疲劳的操作者，其中响应时间和/或判断力可能多少受到损害。水平2疲劳可以对应于明显感到疲劳的操作者，其中响应时间和/或判断力明显受到损害。水平3疲劳可以对应于无响应的操作者(例如，已经睡着的操作者)。可以设想的是，如果需要，系统26可以利用任意数量的疲劳水平和/或疲劳水平可以具有不同的含义。

当控制器32基于操作者的扫描而确定出操作者的疲劳水平为水平1时，控制器32可以激活水平1输出下的警告装置34并且还将对应的故障状况记入日志(步骤415)。在所公开的实施例中，水平1警告可以包括仅视觉警告装置34被激活，目的在于警示操作者并消除操作者的疲劳。

当控制器32基于操作者的扫描而确定出操作者的疲劳水平为水平2时，控制器32可以激活水平2输出下的警告装置34并且还将对应的故障状况记入日志(步骤420)。在所公开的实施例中，水平2警告可以包括仅音频警告装置34被激活或者视觉和音频警告装置34都被激活，目的在于在较大程度上警示操作者并消除操作者的疲劳。

当控制器32基于操作者的扫描而确定出操作者的疲劳水平为水平3时，控制器32可以激活惩罚装置36并且还将对应的故障状况记入日志(步骤425)。在一些应用中，控制器32可以另外将故障状况传送(例如，经由无线通信)至其他个人机载机器10和/或另一个位置(例如，传送至中央服务设施)。在所公开的实施例中，惩罚装置36的激活可能导致发动机燃料加注的减少、制动装置20的激活或者这两者，目的在于超越操作者的权限并使机器10减速或停下来。

即使操作者的扫描没有展示出操作者出现了疲劳，但是，操作者仍然能够处于疲劳状态，并且这种疲劳仅仅通过扫描是无法检测到的。因此，如果在步骤405中确定操作者没有疲劳，则控制器32可以检查操作者的活动水平以确定自从经由装置24从操作者接收到输入之后是否经过了第一时间阈值(步骤430)。如果没有经过第一时间阈值，则控制器32可以确定是否已经从操作者接收到了任何输入(步骤435)。当从操作者接收到了输入，计时器可以进行重置，并且控制可以返回至步骤400。控制可以以步骤405、430和435进行循环，直到接收到了输入或者直到已经经过了第一时间阈值。在所公开的实施例中，第一时间阈值可以是大约45秒，但是其他时间阈值也是可以利用的。

如果在没有来自操作者的额外输入的情况下经过了第一时间阈值，则控制器32可以激活水平1警告并且将对应的故障状况记入日志(步骤415)。控制器32随后可以继续监测操作者输入以确定之后是否接收到了输入(步骤440)，并且还继续提供水平1下的警告。与以上所述的步骤435一样，一旦接收到了输入，控制可以进行至步骤400，并且计时器可以进行重置。然而，如果确定在没有操作者输入的情况下已经经过了大于第一时间阈值的第二时间阈值(步骤445)，则控制器32可以激活水平2下的警告装置34并且将对应的故障状况记入日志(步骤420)。

再一次地，控制器32可以在水平2下的警告装置34被激活之后监测操作者输入，以确定之后是否接收到了输入(步骤450)、继续追踪时间以及继续激活警告装置34。与以上所述的步骤435和440一样，一旦接收到了输入，控制可以进行至步骤400，并且计时器可以进行重置。然而，如果控制器32确定在没有操作者输入的情况下已经经过了大于第一时间阈值的第三时间阈值(步骤455)，则控制器32可以激活惩罚装置36、将故障状况记入日志和/或将该日志传送给其他人员或非机载服务实施(步骤425)。

在未示出的可选实施例中，控制器32可以配置为基于操作者的扫描图像仅仅检测疲劳事件的存在(即没有对事件进行量化)。并且基于事件的存在，立刻发起水平2和/或3警告和/或激活惩罚装置36。其他控制策略也是可以的。

可以设想的是，如果需要，系统26可以是基于疲劳的系统与现有报警器系统的组合。例如，现有报警器系统可以只基于从操作者接收到的输入的频率来产生作用，直到系统26视觉上检测到了操作者的一些最小水平的疲劳。在本实施例中，系统26可以仅在检测到了最小疲劳水平之后才对常规报警器系统产生影响。并且当检测到了最小疲劳水平时，系统26可以立刻发起最大水平的音频和/或视觉警告。这能够有助于将操作者从装有常规报警器系统的列车机车上观察到的正常疲劳周期中摆脱出来。还可以设想的是，基于疲劳检测实施的音频和/或视觉警告能够与现有报警器系统通常实施的警告有所不同(例如，不同的音量、声音等)。

可以进一步设想的是，所公开的系统26能够与列车机车事件记录器(未示出)相关联。例如，每次发出警告时和/或当激活了惩罚装置36时，能够将对应的故障记录在事件记录器中。如果需要，这种信息随后可以从机车上选择性地卸载到远程监测系统。

由于系统26可以依赖于监测到的操作者活动以及操作者的扫描图像，因此，系统可以更加易于检测并正确地识别疲劳事件。这种得到改善的能力可以有助于确保快速地实施针对这种事件的响应。

对于本领域的技术人员而言将显而易见的是，可以在不脱离本发明的范围的前提下，对本发明的疲劳监测系统作出各种修改和变型。通过考虑本文中公开的疲劳监测系统的说明书和实践，其它实施例对于本领域的技术人员而言将是显而易见的。说明书和示例仅仅旨在视为是示例性的，本发明的真实范围由以下的权利要求书及其等价内容指出。

Claims (9)

1.一种用于机器(10)的疲劳监测系统(26)，其包括：

输入装置(24)，其配置为产生表示机器操作者所执行的活动的第一信号；

扫描装置(28)，其配置为产生表示所述机器操作者的识别特征的第二信号；

警告装置(34)；以及

控制器(32)，其与所述输入装置、所述扫描装置和所述警告装置通信，所述控制器配置为：

确定所述第一信号的产生之间的时间；

将所述识别特征与阈值特征进行比较；以及

基于所述时间和所述比较选择性地激活所述警告装置，以及

在所述比较指示所述机器操作者没有疲劳的情况下，基于所述时间与不同的时间阈值的比较确定疲劳水平并且根据所确定的疲劳水平激活所述警告装置，以及在所述时间超过更大的时间阈值的情况下，根据所确定的更高的疲劳水平进一步激活所述警告装置。

2.根据权利要求1所述的疲劳监测系统，其中所述活动包括与所述机器的操作相关联的控制活动。

3.根据权利要求1所述的疲劳监测系统，其中所述活动仅与所述疲劳监测系统的重置相关联。

4.根据权利要求1所述的疲劳监测系统，其中所述识别特征为面部特征。

5.根据权利要求1所述的疲劳监测系统，其中：

所述扫描装置为设置在所述机器的驾驶室内的IR摄像头；以及

所述疲劳监测系统进一步包括也设置在所述机器的所述驾驶室内的至少一个IR源(30)。

6.根据权利要求1所述的疲劳监测系统，其中：

所述警告装置为音频警告装置；以及

所述疲劳监测系统进一步包括视觉警告装置。

7.根据权利要求6所述的疲劳监测系统，其进一步包括惩罚装置(36)，其中所述控制器进一步配置为基于所述时间和所述比较选择性地激活所述惩罚装置。

8.根据权利要求7所述的疲劳监测系统，其中所述惩罚装置包括所述机器的制动器。

9.根据权利要求8所述的疲劳监测系统，其中所述控制器进一步配置为当所述机器的所述制动器作为惩罚而激活时选择性地减少所述机器的节流。