CN109528219A - 用于监测操作者的系统 - Google Patents

Abstract

本发明公开了一种用于监测操作者的系统。本发明提供了一种用于基于地面的交通工具的操作者监测系统。操作者系统包括监测系统，该监测系统用于收集关于交通工具状态和交通工具运行环境中的一者的信息。核心平台，该核心平台被配置为至少部分地基于来自监测系统的信息来确定状况或对象中的一者。响应系统，该响应系统被配置为产生与状况或对象相对应的警告。以及向操作者呈现警告的界面。

Description

用于监测操作者的系统

交叉引用

本申请根据35 U.S.C§119(e)要求2017年9月22日提交的题为“System ofMonitoring an Operator”的美国临时专利申请62/562,130的权益，其内容通过引用并入本文。

技术领域

本公开涉及基于交通工具的操作者监测系统、方法和装置。具体地，系统、方法和装置捕获关于操作者的身体和/或生理特征的信息、分析该信息、确定操作者疲劳或健康状态的程度和/或提供至少部分地基于该信息的警告。

背景技术

由于疲劳或医疗条件导致的性能下降是重型机械和交通工具(例如火车、机动车、飞机、船只等)操作期间的大多数重大事故的原因。由于缺乏焦点，操作者可能错过外部信号、误解动态事件和/或在交通工具操作期间的时间段内入睡的影响，从而导致情境意识下降。经历疲劳的操作者使操作者、交通工具乘客和交通工具操作的环境处于危险之中，例如碰撞和其他事故。

疲劳监测系统通过监测身体特征和可测量的人机交互来解决身体和精神疲劳中的一者或两者。此外，操作者可能由于例如缺氧、心力衰竭、癫痫发作等医疗状况而经历失能。这种失能将使交通工具操作的区域中的操作者、机组人员、乘客、人员和财产以及交通工具本身置于碰撞或其他损坏的严重风险中。因此，期望一种能够在交通工具操作期间监测和解决疲劳或医疗失能的系统。

发明内容

本公开涉及交通工具控制系统、方法和装置；甚至更具体地，涉及一种用于捕获关于操作者的身体和/或生理特征的信息、分析该信息、确定操作者疲劳程度和/或提供至少部分地基于该信息的警告的系统、方法和装置。

在某些方面，公开了一种用于监测交通工具的操作者的系统。该系统包括用于收集关于操作者的一个或多个特征的信息的传感器。核心平台，该核心平台被配置为确定一个或多个特征是否对应于疲劳指标。响应系统，该响应系统被配置为至少部分地基于疲劳指标来产生响应(例如，警告、机械或认知干预)。以及向操作者呈现响应的界面。在一些示例中，特征对应于生理特征，并且传感器包括用于测量生理特征的生理传感器。生理特征为心率、呼吸率、血氧水平或体温中的一者。

在一些方面，所述系统包括生理特征值库，其中，通过将测得的生理特征值与对应的存储的生理特征值进行比较来确定变化。系统还包括分类系统，该分类系统至少部分地基于比较、测得的生理特征值和存储的生理特征值来识别操作者状况。在一些示例中，分类系统包括对应于操作者状况的一个或多个阈值，其中，操作者状况包括清醒、疲劳和睡眠。

在本公开的一些方面，该特征对应于身体运动，该身体运动为头部姿势和/或取向的变化、延迟的反应时间以及身体姿势和/或取向的变化中的一者。核心平台进一步包括身体运动值库，其变化通过测得的身体运动值与对应的存储的身体运动值的比较来确定。传感器为视觉相机、红外相机、激光传感器、超声波传感器、温度传感器和/或力传感器中的一者或多者。

在一个示例中，界面在听觉上、视觉上和/或通过触觉反馈提供响应，并且包括触摸屏显示器或其他机械干预，例如机器人致动。还包括连接到网络的通信接口，核心平台经由通信系统向远程系统发送另一个警告。

在附加或替代方面，提供了一种监测交通工具的操作者的方法。方法包括经由多个传感器感测操作者的一个或多个特征。方法由核心平台确定一个或多个特征是否对应于疲劳指标，由响应系统至少部分地基于疲劳指标产生警告，并且经由接口向操作者呈现警告。

方法还包括由分类系统至少部分地基于测得的生理特征值和存储的生理特征值来识别操作者状况，经由分类系统应用与操作者状况相对应的一个或多个阈值。在一些示例中，操作者状况包括清醒、疲劳和睡眠。

在某些方面，方法包括经由分类系统确定操作者状况对应于睡眠，经由命令系统产生响应于睡眠确定的以控制一个或多个交通工具功能的命令，并且响应于命令控制一个或多个交通工具功能。一个或多个特征可以对应于生理特征，其中多个传感器包括测量生理特征的生理传感器。

附加地或替代地，方法可以包括将测得的生理特征值与对应的存储的生理特征值进行比较，将一个或多个阈值应用于比较，并且至少部分地基于该比较来确定操作者状况，其中，操作者状况包括清醒、疲劳和睡眠。

如将讨论的，操作者监测系统可以为各种行业中的各种终端用户提供显着的益处。示例应用包括疲劳和无聊可以导致乘员注意力下降的交通工具的操作，在这种情况下，操作者监测系统通过警告操作者并且在某些情况下呈现(assuming)交通工具的控件来降低交通工具操作中的风险。还存在人为错误的可能性目前限制了交通工具的广泛使用并且由于全面的数据记录而改善了汇报能力的其他示例应用。

根据第一方面，一种用于监测例如机车、机动车、航天器、飞机、船只、摩托车或其他形式的运输工具的操作者的系统包括：用于收集关于操作者在机车操作期间的一个或多个特征的信息的传感器；核心平台，该核心平台被配置为确定一个或多个特征是否对应于疲劳指标；响应系统，该响应系统被配置为至少部分地基于疲劳指标产生警告；以及向操作者呈现警告的界面。

在某些方面，特征对应于生理特征，传感器包括用于测量生理特征的生理传感器。

在某些方面，生理特征为心率、呼吸率、血氧水平和体温中的一个。

在某些方面，系统进一步包括生理特征值库，其中，变化通过将测得的生理特征值与对应的存储的生理特征值进行比较来确定。

在某些方面，系统进一步包括分类系统，该分类系统至少部分地基于比较、测得的生理特征值和存储的生理特征值来识别操作者状况。

在某些方面，分类系统包括对应于操作者状况的一个或多个阈值，其中，操作者状况包括清醒、疲劳和睡眠。

在某些方面，特征对应于(1)头部姿势或取向的变化、(2)延迟的反应时间、(3)面部运动或(4)身体姿势或取向的变化中的至少一者。

在某些方面，核心平台可操作地与和操作者相关联的历史数据库联接，并且被配置为通过历史数据的趋势分析来识别疲劳指标。

在某些方面，核心平台使用一个或多个机器学习算法来产生用于机车的预期操作者动作或理想操作者动作的库，其中，库用于识别一个或多个特征对应是否与疲劳指标相关联。

在某些方面，核心平台进一步包括身体运动值库，其中，变化通过测得的身体运动值与对应的存储的身体运动值的比较来确定。

在某些方面，传感器为视觉相机、红外相机、激光传感器、超声波传感器、温度传感器或力传感器中的一者。

在某些方面，系统进一步包括连接到网络的通信接口，核心平台经由通信系统向远程系统发送另一个警告。

根据第二方面，一种监测交通工具的操作者的方法包括：经由多个传感器感测操作者的一个或多个特征；由核心平台确定一个或多个特征是否对应于疲劳指标，由响应系统至少部分地基于疲劳指标产生警告，并且经由接口向操作者呈现警告。

在某些方面，方法进一步包括由分类系统至少部分地基于测得的生理特征值和存储的生理特征值来识别操作者状况的步骤。

在某些方面，方法进一步包括经由分类系统应用对应于操作者状况的一个或多个阈值的步骤。

在某些方面，操作者状况为清醒、疲劳或睡眠中的至少一者。

在某些方面，方法进一步包括以下步骤：经由分类系统确定操作者状况对应于睡眠；经由命令系统产生响应于睡眠确定的以控制一个或多个交通工具功能的命令；并且响应于命令控制一个或多个车辆功能。

在某些方面，一个或多个特征对应于生理特征，多个传感器包括用于测量生理特征的生理传感器。

在某些方面，方法进一步包括以下步骤：将测得的生理特征值与对应的存储的生理特征值进行比较，将一个或多个阈值应用于比较，并且至少部分地基于比较来确定操作者状况，其中，操作者状况包括清醒、疲劳和睡眠。在某些方面，方法进一步包括至少部分地基于疲劳指标来呈现控件或调节机车的操作的步骤。

本发明的一个实施例涉及一种监测机车的操作者的系统，该系统包括用于在机车操作期间收集关于操作者的一个或多个特征的信息的传感器；核心平台，该核心平台被配置为确定一个或多个特征是否对应于疲劳指标；响应系统，该响应系统被配置为至少部分地基于疲劳指标产生警告；以及向操作者呈现警告的界面。特征可以对应于生理特征，并且传感器可以包括用于测量生理特征的生理传感器。这将增强操作。生理特征可以为心率、呼吸率、血氧水平和体温中的一者。系统还可以包括生理特征值库，其中，通过将测得的生理特征值与对应的存储的生理特征值进行比较来确定变化。系统还可以包括分类系统，该分类系统至少部分地基于比较、测得的生理特征值和存储的生理特征值来识别操作者状况。分类系统可包括对应于操作者状况的一个或多个阈值，其中，操作者状况包括清醒、疲劳和睡眠。特征可以对应于(1)头部姿势或取向的变化、(2)延迟的反应时间、(3)面部运动或(4)身体姿势或取向的变化中的至少一者。核心平台可以与与操作者相关联的历史数据库可操作地联接，并且被配置为通过历史数据的趋势分析来识别疲劳指标。核心平台可以使用一个或多个机器学习算法来产生用于机车的预期操作者动作或理想操作者动作的库，其中，库用于识别一个或多个特征对应是否与疲劳指标相关联。核心平台还可以包括身体运动值库，其中，变化通过测得的身体运动值与对应的存储的身体运动值的比较来确定。传感器可以为视觉相机、红外相机、激光传感器、超声波传感器、温度传感器或力传感器中的一者。系统还可以包括连接到网络的通信接口，核心平台经由通信系统向远程系统发送另一个警告。

本发明的另一个实施例涉及一种监测车辆的操作者的方法，该方法包括：经由多个传感器感测操作者的一个或多个特征；由核心平台确定一个或多个特征是否对应于疲劳指标(indicator)；由响应系统至少部分地基于疲劳指标产生警告；并经由界面向操作者呈现警告。该方法还可以包括由分类系统至少部分地基于测得的生理特征值和存储的生理特征值来识别操作者状况的步骤。这可以增强操作。该方法还可以包括经由分类系统应用对应于操作者状况的一个或多个阈值的步骤。因此，该方法的操作可以进行改善。操作者状况可以为清醒、疲劳或睡眠中的至少一者。该方法还可以包括以下步骤：经由分类系统确定操作者状况对应于睡眠；经由命令系统产生响应于睡眠确定的以控制一个或多个车辆功能的命令；并且响应于该命令控制一个或多个车辆功能。一个或多个特征可以对应于生理特征，多个传感器包括测量生理特征的生理传感器。方法还可以包括以下步骤：将测得的生理特征值与对应的存储的生理特征值进行比较，将一个或多个阈值应用于比较，并且至少部分地基于该比较来确定操作者状况，其中，所述操作者状况包括清醒、疲劳和睡眠。方法还可以包括至少部分地基于疲劳指标来呈现控件或调节机车的操作的步骤。

附图说明

参考以下说明书和附图，可以容易地理解目前描述的系统、方法和装置的这些和其他优点，其中：

图1a示出了示例操作者监测系统的框图。

图1b示出了图1a的子系统之间的信息数据的示例流程。

图2示出了示例核心平台架构的示意图。

图3示出了示例监测系统的框图。

图4示出了实现操作者监测系统的示例方法。

具体实施方式

在下文中可以参考附图描述优选实施例。在以下描述中，没有详细描述公知的功能或结构，因为它们可能以不必要的细节模糊本主题。对于本公开，以下术语和定义适用。

监测人机交互提供了关于操作者表现的额外见解，操作者表现与疲劳相关。任何此类交互都可以通过连接到任何现有数据总线来直接测量和/或使用被动地监测开关、仪表、节流阀等的状态的相机或其他传感器间接地测量。

目前描述的系统已经由Aurora飞行科学公司在监测工程师疲劳(MEFA)系统中开发。MEFA是驾驶室中的被动监测系统，该被动监测系统能够检测和/或干预何时交通工具的操作者(例如，机车工程师)在交通工具操作期间被确定为由于疲劳和/或健康状况造成的不怎么聚精会神。监测系统依赖于一个或多个操作者生理和/或行为特征来推断出操作者的疲劳程度。这些特征来自多个来源，并使用传感器和与操作者在驾驶室中的动作相关联的学习和/或计算值来测量。

MEFA系统捕获、合成和分析来自多个源和/或多个对象，例如操作者运动(例如，眼睛、头部、身体等)和驾驶室动作(例如，操作者响应和/或基于控件的动作)的数据。多个特征的分析提供了冗余并且产生了对疲劳分类的准确性方面的置信度。此外，独立的特征源增加了系统对常规疲劳监测技术(即，眼动仪)不能准确确定的各种工作条件，例如极端照明条件(例如，非常低和/或非常高的照明水平)、头戴式装置(例如，帽子、头盔等)、眼镜和/或护目镜、操作者和/或交通工具的过度运动等的稳健性。

当前公开的监测系统通过与特征相关和与传感器无关来克服这些问题，使得随着感测技术的改进，传感器本身可以升级并与现有系统架构结合。来自各种传感器，例如用于记录操作者运动的视觉相机的信息用于提供疲劳特征的子集。此外，多模态疲劳干预技术可以使工程师从非警戒状态快速唤醒，或将操作者的注意力引导到正确的任务动作。

Aurora使用数字数据总线演示了基于视觉的驾驶舱系统监测。可以最大限度地减少操作者工作空间中的障碍物和蒙昧、所有相关面板和指示器的视线可见性，和/或最大限度地减少操作者身体遮挡的方式安装相机。

在工作空间内，操作者表现可以通过将当前身体和/或生理特征与存储的预期特征进行比较来测量。经由比较确定的不适当的系统接合和/或延迟的反应时间可能代表不佳的表现。例如，Aurora的人工驾驶舱自动化系统(ALIAS)知识获取模块被配置为使用趋势分析和/或训练运动来数字化标准操作程序，与标准程序相对应的值的库或矩阵可以被下载和/或构建，并用于确定任务相关性和相似性。ALIAS模块的输出还可用于通知电子检查表、运动地图，调节抬头显示器和/或提供文本到语音的提醒。手臂运动的运动跟踪也用作操作者动作的指标，如果传感器(例如相机)没有控制面板的无障碍视图，则提供冗余层。操作者响应于动态操作条件的反应时间范围，可以使用一阶模型(如Fitts定律)进行近似，其中重复使用值被更新并存储在库或矩阵中，并用于绘制比较以供将来使用动作。通过Jessica E.Duda等人共同拥有的题为“Aircrew Automation System and Method”的美国专利公开2017/0277185A1和William Bosworth等人的题为“System and Method forPerforming an Emergency Descent and Landing”的美国专利申请15/624,139，更详细地描述了ALIAS和其他监测系统。

各种交通工具类型、工作和操作环境以及操作者可受益于所描述的监测系统。例如，铁路行业和长途卡车运输的操作者面临例如长时间轮班和单调风景等挑战。此外，航空航天和海军行业往往在需要接近操作者完全注意力的具有挑战性的条件下操作。普通的机动车操作者也可以同样受益于该系统。

在一个示例中，监测操作者的眼睛可以提供用于识别操作者疲劳的特征(例如，经由分析操作者的眼睛闭合百分比或“PERCLOS”)。例如，使用固定或头戴式眼动仪测量眼睛的运动和状态。眼动仪还可以提供操作者凝视的方向。例如，在例如操作交通工具的前向活动中长时间侧向凝视是低警戒性和可能疲劳的指标。在一些示例中，通过监测其他特征来介导眼睛的闭塞，例如使用眼镜或太阳镜的闭塞。

头部和身体动力学提供操作者疲劳的额外或替代特征。例如，头部下垂(例如，打瞌睡)和离轴身体姿势(例如，偏心、斜倚、瘫软的肩膀)通常在嗜睡开始时发生。相反，疲劳的操作者可能靠在操作环境中的对象上和/或用手臂支撑头部。运动跟踪传感器能够检测这种头部和身体运动。

例如心力衰竭之类的医学病症可能是完全丧失能力的前兆，并且可以由操作者的行为例如咳嗽和/或喘息和/或生理特征例如增加的心率指示。在心脏病发作或心脏骤停时，头部可能会运动到不自然的取向并伴随着眼睛闭合。

在另一个示例中，缺氧被定义为到大脑的血液中缺乏氧气。例如，在高海拔(例如，在8,000英尺之上)操作飞机的飞行员存在缺氧的风险，其病症的严重程度与飞机海拔成比例地增加，尽管个人可能在不同时间表现出这些和/或其他症状。缺氧引起的完全失能可能具有类似于心脏病发作或心脏骤停的症状，例如头部下垂和闭眼。另一方面，癫痫发作的特征在于头部、眼睛和身体的抽搐运动。在癫痫发作期间，心率迅速变化，其中一些个人可能表现出比操作者正常心率更低或更高的心率。

在来自工业的特定示例中，铁路操作者疲劳是主要问题。例如，操作者在几乎没有休息的情况下长时间工作，并且火车机车的操作往往可能是单调的(例如，夜间旅行的时间、很少风景的长途路程等)。因此，频繁的疲劳和无聊导致沿着行进路径错过的项目，例如铁路路边信号。这些信号/标牌对于铁路行业的安全运行至关重要，因为它们指示操作者停止、减速、意识到轨道状况的变化、途中的危险等。类似的问题可能会在道路上产生，如长途卡车司机和汽车操作者也会错过或未能对停止标志、信号等作出反应。

疲劳导致的表现下降是铁路之外各种行业，例如长途运输的事故的原因。由于在操作交通工具时情境意识下降和/或疲劳和/或健康问题的影响，交通工具的操作者可能错过路边信号或其他相关提示和/或信息。受疲劳或其他问题困扰的操作者使他或她自己(包括交通工具操作的乘客和区域)面临事故的风险。

一些报警器系统试图保持操作者警觉性，现有报警器系统不考虑工程师是否在精神上与交通工具的操作接合。这样，一些警报器系统在任何操作者与交通工具系统的控件交互时不工作。例如，操作者可能足够清醒以按压特定按钮(例如，经由肌肉记忆)，直到疲劳到其周围环境和/或操作的情境意识受损的程度。

联邦铁路协会(FRA)长期以来一直在研究解决铁路行业疲劳的方法。FRA参与解决了铁路行业易受人类疲劳和注意力丧失造成的伤害和财产损失风险的影响的研究和项目。这种易感性是由于几个不可避免的因素，例如全天候的操作、单独的工作环境、没有激励的场景以及铁路操作者面临的其他问题造成的。已经研究了关于操作者的工作和活动的若干特征，包括以下对交通工具的操作者的影响：操作者的调度/呼叫系统；换岗；呼叫任务；住宿条件；通勤时间；睡眠障碍筛查和治疗；疲劳教育；故障安全技术的有效性；以及其他。遗憾的是，常见的结果是不规律的工作时间、长时间的轮班和不可预测的时间表。FRA寻求干预或解决方案以减轻这种影响。

在一个特别悲惨的示例中，在2004年德克萨斯州麦克多纳发生了一起致命的事故(NTSB/RAR-06/03)，该事故涉及一名工程师能够证明自动行为但不能表现出真正的专注。换句话说，工程师在精神上疲劳并且正经历表现下降，但是在身体上足够清醒以继续向机车控制系统提供输入(例如，根据学习行为的自动响应)。这是意义重大的，因为运动反射响应通常需要较低水平的认知努力。因此，尽管操作者受损，但操作者能够操作机车；工程师对按钮或控件的启动用于重置警报器系统，该警报器系统不会触发唤醒工程师处于更警戒的状态。

然而，事故调查发现，在直接任务的背景下，工程师与交通工具控件的交互是不合适的。特别是，当速度应该降低时，工程师已经提高了机车的速度。当前公开的监测系统被配置为响应于意外和/或不正确的操作者交互(例如使节流阀沿错误的方向接合)而产生警报。

仍然存在需要注意的情况和状况，例如低照明区域或(例如，由于昂贵的基础设施、复杂的网络等)尚未并入其他系统中的铁路线部分(例如，等级交叉点)。在覆盖范围有限的这些和其他区域，即使是被捕获的情况也可能需要立即进行人为干预。

系统本身也被设计成与特征相关和/或与传感器无关，这意味着随着感测模态和/或运动跟踪技术的发展，这种设备可以与现有的系统架构集成在一起。

因此，本文描述的监测系统提供疲劳和/或健康状况的一致、可靠和准确的检测和/或干预。由于监测系统可以作为独立系统实施，因此预计会有广泛的行业认可。此外，如果系统与道路和/或轨道自主辅助装置(例如抬头显示器、外部感知装置、GPS等)配对，则提供增强的功能。

为了减轻这些和其他潜在的灾难性事件，本文描述的系统提供多个传感器以捕获对应于一个或多个操作者特征的数据，以及核心平台，该核心平台被配置为通过采用“深度学习”或“机器学习”技术来分析数据以确定操作者的状况。

从光学捕获系统(例如，一种或多种类型的相机)收集的数据可以与其他数据收集源(例如，生理传感器、交通工具状态传感器、存储的信息等)集成，以更完整地理解操作者的状况。系统响应将通过任何数量的被配置为唤醒和/或以其他方式与疲劳的操作者接合的方式(例如人机界面(HMI)(例如平板计算机和/或计算机屏幕、音频源、触觉反馈装置等))来完成。该系统被配置为提示操作者响应警报而动作和/或确认要采取什么动作(如果有的话)。

在一些示例中，如果操作者未能提供适当的响应，则系统可进一步被配置成控制交通工具的一个或多个功能以解决识别的危险，例如自动减速交通工具、停止交通工具和/或产生外部警报(例如，向远程指挥中心，经由交通工具和/或交通工具路径附近的人可感知的系统等)。

本文描述的系统被配置为经由多个模态实时操作以识别和/或产生对疲劳操作者的响应。通过采用计算机辅助的、启用视觉的监测系统，该系统使用机器学习/深度学习技术来捕获与操作者相关的信息、确定操作者的状况和/或产生响应以与操作者接合，系统能够避免潜在的危险情况。

考虑到包括历史趋势的存储数据，从各种传感器收集的信息作为整体被编译和分析，以快速且准确地构建操作者的预期和/或共同状况的图片。换句话说，核心平台被配置为至少部分地基于不同类型的传感器(例如视觉传感器、生理传感器、交通工具状态传感器等等)中的各种传感器信息或“传感器融合”来接受、分析和/或做出确定。因此，能够随时间收集数据并构建模型以识别并适应未来的类似情况的机器学习/深度学习技术用于克服有限的视图、损坏的标识符、可变的照明条件等等。

在系统的给定实现示例中，从音频、视觉和触觉源到接受用于自动化的“智能”系统的语音命令以及转换为供另一个操作者和/或系统访问联网的可视监测系统的文本的系统，可以存在任何数量和类型的人机界面。

弗吉尼亚州马纳萨斯的Aurora飞行科学公司为飞行交通工具开发了自动驾驶仪功能。Aurora飞行科学公司拥有飞机中的机器视觉系统和通过人工驾驶舱自动化系统(ALIAS)和数字飞行工程师(DFE)计划的机器学习经验。在这些计划下，Aurora开发了一种机器视觉操作员系统，该机器视觉操作员系统用于以足够高的保真度读取和处理飞机仪表板上的仪器以准确地导出飞机状态，并继而使用机载自动驾驶仪自动飞行飞机。这在五种不同类型的驾驶舱中得到了证明，其中三种在飞行中穿越各种飞行条件。Aurora将利用从这些计划中学到的有关成像硬件和软件开发的经验教训来创建操作者监测系统。该创新在于至少部分地基于所捕获的信息来监测操作者状况的技术的应用和细化。

铁路行业已经研究了检测疲劳的方法，主要集中在眼动追踪和可穿戴装置上。然而，没有现有的研究或系统利用活动监测来告知操作者疲劳程度的疲劳。在一个方面，由操作者监督的智能电子检查表被用作确保完整系统健康的方法。这种互补和重叠的信息捕获和测量能力为其他系统中的缺点(例如，复杂和昂贵的设备、照明灵敏度)提供了解决方案。

该操作者监测系统为操作者疲劳提供低成本、稳健、实时的响应。该系统为监测系统提供多个安全措施，这些安全措施填补了当前未能利用现有警报器系统解决的领域，例如当操作者在精神上脱离当前任务，但身体上足够清醒以使现有警报器系统的效果无效时。因此，本系统提供了对操作者疲劳的更准确的评估。当与响应系统联接时，应降低因疲劳引起的事故的风险。

此外，操作者监测系统可以与自动交通工具操作系统和/或外部感知系统一起使用，以通过增加操作者停机时间、更好地分配操作者资源和/或消除在某些任务中依赖人类操作者的需要来增强复杂平台的操作。

如本文所使用的，术语“电路”和“线路(circuitry)”是指物理电子部件(即硬件)和任何软件和/或固件(“代码”)，该固件可以配置硬件、由硬件执行或者以其他方式与硬件关联。如本文所使用的，例如，特定处理器和存储器可以包括当执行第一组一行或多行代码时的第一“电路”，并且可以包括当执行第二组一行或多行代码时的第二“电路”。

如本文所使用的，“和/或”表示由“和/或”连接的列表中的任何一个或多个项目。作为示例，“x和/或y”表示三元素集{(x),(y),(x,y)}中的任何元素。换句话说，“x和/或y”表示“x和y中的一者或两者”。作为另一个示例，“x、y和/或z”表示七元素集{(x),(y),(z),(x,y),(x,z),(y,z),(x,y,z)}中的任何元素。换句话说，“x、y和/或z”表示“x、y和z中的一个或多个”。如本文所使用的，术语“示例性”意味着用作非限制性示例、实例或说明。如本文所使用的，术语“例如”和“例如”引出一个或多个非限制性示例、实例或图示的列表。

如本文所使用的，当用于修饰或描述值(或值的范围)时，词语“约”和“近似”意味着合理地接近该值或值范围。因此，本文描述的实施例不限于所引用的值和值的范围，而是应该包括合理可行的偏差。如本文所使用的，无论电路或装置是否包括必要的硬件和代码(如果有必要)以执行功能，电路或装置“可操作”以执行功能，而不管功能的性能是否被禁用、启用(例如，通过用户可配置的设置、工厂微调等)。

如本文所使用的，术语“通信”和“通信”是指(1)从源到目的地发送或以其他方式传送数据，和/或(2)将数据传送到通信介质、系统、信道、网络、装置、电线、电缆、光纤、电路和/或将被传送到目的地的链路。本文使用的术语“数据库”表示相关数据的有组织的主体，而不管数据或其组织的主体的表示方式。例如，相关数据的有组织的主体可以为一种或多种形式的表格、地图、网格、包、数据报、帧、文件、电子邮件、消息、文档、报告、列表或以任何其他形式呈现的数据。

本文公开了一种被配置为尤其监测交通工具的操作者的一个或多个状况的系统。这样的自动化操作者系统可以被配置为在行进期间连续监测操作者动作、表情、响应、生理数据等，并且响应于操作者各种状态中的一种状态的确定(例如，疲劳)向操作者或其他责任方和/或系统自动产生一个或多个警告或警报。附加地或替代地，该系统被配置为至少部分地基于这样的确定来控制与交通工具相关联的一个或多个交通工具子系统。

具体地，监测并分析一个或多个身体和/或生理特征，例如行为、神经学和其他状况。确定操作者的身体和/或生理特征是否对应于潜在的疲劳状况或负面健康状况，并且产生适当的警告以作为响应。该系统利用来自独立的生理和/或基于表现的源(例如，值和/或数据的库或矩阵)的各种特征以确定操作者的疲劳程度和/或健康状况，并且如果该程度超过阈值水平，则进行干预。生理特征来自各种传感器，传感器被配置为被动地和/或非侵入性地监测操作者。通过人机交互监测(包括跟踪操作者的运动)推断出基于表现的特征。

在铁路交通工具操作的背景下，核心平台102被配置为根据GCOR数字化信息，利用机器学习技术(例如，人工智能)和/或主题专家(SME)分析来确定例如机车驾驶室内的任务相关性和相似性。在一些示例中，机器学习采用算法以鉴于正在操作的特定交通工具产生预期和/或理想的操作者动作和/或运动的库。可以为动作分配与操作者动作(例如，速度、轨迹、与仪器的接触等)相关联的任何数量的值。基于该值，机器学习算法可以构建简档并设置阈值和/或用于将动作识别为与疲劳特征相关联的代表性示例。一旦识别出疲劳特征，就可以将值与一个或多个阈值进行比较以确定操作者疲劳状况的严重程度。

例如，阈值可以对应于失去注意力的低风险，该阈值可以通过警告系统108a产生警告。较高级别阈值可以对应于要采取的动作，例如经由命令系统108b。此外，可以使用多个阈值，由此产生一系列响应。在一些情况下，阈值可以对应于从非侵入式警报到交通工具控件的响应的浮动(例如，视觉警告、听觉警告、触觉反馈、对操作者响应的请求、到远程系统的通信、制动系统的自动控制等)。附加地或替代地，SME确定操作者执行的哪个任务受操作者疲劳影响，并且确定事故风险有多大。

疲劳和/或健康分类的肯定确定可以触发干预(例如，警告、警报等)以使工程师专注于操作交通工具的任务。例如，多模态疲劳干预技术可以将工程师从微睡眠状态快速唤醒和/或重定向操作者的注意力。系统被设计为响应传感器输入和特征分类；换句话说，传感器的类型和灵敏度以及存储数据的细节和体积可以变化，使得升级和扩展的参考材料被结合到系统中以提供更新的响应，而无需重新配置或替换系统。传感器可以包括运动跟踪器、眼动仪、相机、数据总线等，并且可以由其他传感器，例如RGB、IR传感器、肌电图(EMG)补充和/或替换，这取决于交通工具、操作环境、处理能力等。

由于传感器的性质和种类，操作者监测系统可以针对各种交通工具定制。因此，操作者监测系统可以临时安装和/或容易地从交通工具转移到交通工具，而无需大量修改。通过其模块化设计，操作者监测系统进一步降低了设计单点解决方案的可能性，该解决方案随着交通工具和操作的发展而变得过时。

操作者监测系统的子系统组合提供了操作者身体状态的高保真度知识，并基于例如预测模型和/或存储在对应于预期操作者特征的值矩阵中的信息产生响应(例如，警告、警报等)。

系统级架构在图1a和图1b中示出了根据一个方面的用于操作者监测系统100的示例系统架构。操作者监测系统100可以与交通工具(例如，机车)集成或以其他方式安装在其上。如图1a所示，核心平台102可以作为经由一个或多个接口连接其他子系统的中央子系统来操作。子系统可以使用有线和/或无线通信协议和硬件通过软件和/或硬件接口彼此通信。图1b示出了各种子系统之间的信息(例如，数据)的示例流程。

多个子系统可以包括例如响应系统108、HMI系统104、疲劳分类系统116和健康分类系统117，每个子系统可以与核心平台102可操作地联接。在某些方面，除了来自各种传感器的数据之外，来自交通工具驾驶室的信息可以被馈送到核心平台102以辅助学习和/或决策制定过程。例如，操作者监测系统100可以与仪表板联接(例如，通信地或电子地)或者以其他方式与交通工具或其系统集成，以提供关于操作者与交通工具交互的可对应于操作者的运动和响应的信息。然而，可以预期的是，这种集成可能需要对交通工具或其布线进行一定程度的修改。操作者监测系统100和/或核心平台102还可以包括信息存储系统114和通信系统122，或者可操作地联接到信息存储系统114和通信系统122。

在操作中，核心平台102基于来自另一子系统(例如，信息收集系统106)的信息数据导出交通工具状态，并指示另一子系统(例如，响应系统108)(例如，动态地)以维持安全的交通工具操作的方式操作。例如，交通工具可以从命令系统108b接收命令，同时向核心平台102发送由交通工具产生的信息。在一些示例中，系统要求操作者响应某些刺激。这种系统在提供情境意识方面是有效的，以帮助预防可能导致事故的各种情况，例如疲劳或沉睡的操作者或机组成员。

系统包括信息监测系统112，信息监测系统112包括信息收集系统106。包括多个相机的多个传感器有助于监测操作者的状况和/或交通工具的状态和/或周围环境中的状况。

开放式架构核心平台102用作操作者监测系统100的中心集线器或接口，该中心集线器或接口在开放式架构中连接和控制其余子系统(例如，作为单独的应用)。其余子系统包括例如HMI系统104、响应系统108(例如，警告系统108a和命令系统108b，以在需要时提供自主操作)、信息收集系统106、信息存储系统114和其他子系统236。因此，可以经由特定于特定硬件的单独应用来提供对其他操作者监测系统100硬件的控制，这使得能够快速集成新系统或其他外部交通工具支持技术。

核心平台被配置为合并并且分析与来自不同组的多个特征相关联的数据；对操作者任务绩效的评估；使用交通工具状态数据；并以绝对和/或个性化的术语解释每个特征。换句话说，绝对特征对于所有操作者是共同的(例如，如果操作者的眼睛长时间闭合，则系统将确定操作者正在睡觉)，而一些特征可以特定于操作者和/或交通工具操作(例如，相对心率)，因为一些个人对类似的刺激可能表现出不同的响应和/或反应。此系统可扩展到不同的交通工具模型和交通工具类型(例如，船只、汽车、卡车、火车、飞机等)，并且可以与其他系统联接以改进疲劳分类的相关性。

在一个示例中，核心平台102与疲劳分类系统116和健康分类系统中的一者或两者通信，以导出特定值以分别对疲劳程度或健康状况进行分类。例如，信息收集系统106提供对应于眼睛闭合的测得数据，该测得数据与对应于将眼睛闭合率和/或测量值与疲劳度相关联的存储信息的数据进行比较。疲劳分类系统116将测得数据与存储数据进行比较，并计算与疲劳严重程度相对应的值。如果确定疲劳足够严重(例如，超过警告阈值)，则核心平台102将确定发送到响应系统108。在该示例中，警告系统108a例如经由HMI 104为操作者产生警告。

后处理可用于从原始传感器数据中提取对应于给定特征的值。例如，RGB相机可以给出心率的间接测量值，可以基于视觉上捕获的来自聚焦在操作者身体上的视频的各个帧之间的差异以提取心脏活动来计算间接测量值。在该示例中，数据由核心处理器102组合并且由核心处理器102同步时间，以便确定运动以及该运动表示的特征。除了确定应用于特征数据的阈值之外，所收集的数据还用于“训练”疲劳分类系统116以识别疲劳。

可以通过初始校准例程在交通工具操作期间实时收集疲劳的训练数据，或者可以从先前班次的长期数据中编译信息。校准例程可以包括操作者打击与疲劳相关的各种姿势，以教导系统如何识别个人的疲劳的代表性身体表现(例如，打哈欠、摩擦眼睛、凝视、语言变化、肤色变化等)。类似地，可以基于人机界面练习来校准对各种任务的反应速率。在个人训练期间，还使用量表例如卡罗林斯卡嗜睡量表将特征分类算法结果与标准嗜睡进行比较。在一些示例中，可以编译从许多不同操作者中的不同操作者中收集的信息以产生与疲劳(以及健康数据等)相关的信息存储。可以确定一系列可接受的特征和/或运动，并且应用阈值来对这些特征(例如，延长的眼睛闭合)的严重程度进行分类。

疲劳分类系统116确定操作者的状态，例如操作者是清醒、疲劳还是睡眠。各种特征的组合或组合的子集用于提供合适的数据集，在该数据集的基础上进行确定。疲劳分类系统116输出最终状态评估，包括响应的置信度。一旦操作者疲劳状态已经被分类，就可以将睡眠或疲劳状态发送到核心平台102和/或发送到响应系统108，响应系统108从警告系统108a触发驾驶舱、驾驶室等中的警告。

来自信息收集系统106的数据和来自疲劳分类系统116的确定(以及健康分类)被实时处理(例如，收集、过滤、下采样、应用于适当的算法等)。例如，来自信息收集系统106的数据被合成以提供每个时间单位的一组操作者特征以用于分类。操作者的疲劳状态的分类(例如，经由疲劳分类系统116)使用机器学习算法，例如支持向量机或人工神经网络。

在一些示例中，信息收集系统106被配置为将操作者运动(例如，头部和眼睛)转换为用于确定位置、轨迹、运动、速度等的广义几何形状。信息收集系统106采用的用于活动监测的传感器(例如，相机)可以位于操作者后面。监测系统利用基于独立的生理、生物和/或基于表现的信息源确定的多个特征来对操作者的疲劳程度进行分类。这种系统使用传感器来被动地和/或远程地监测操作者。疲劳分类系统116用于识别和/或触发疲劳干预方法以快速重新接合操作者。以类似的方式，健康分类系统117可以进行干预以解决待决或实际的健康状况。

在一个示例中，采用三个分类级别，已经识别并存储了关于对应于疲劳状况的最频繁出现的特征组合的信息。如上所述，这些级别可以对应于基于存储在信息存储系统中的数据的阈值。

第一级别对应于处正在睡眠的操作者。在该示例中，操作者在身体和精神上脱离，这通过例如瘫软的头部和身体姿势、闭合的眼睛和/或缺乏与控件、警报和/或其他刺激的交互的提示来识别。第二级别对应于处于疲劳的操作者。例如，确定操作者身体上接合，但精神上脱离。操作者的头部看起来是下垂的，眼睛部分闭合和/或锁定在非向前的凝视中。操作者运动登记员的受限运动或比系统预期和/或要求的慢的反应时间、或者交互产生不正确的最终状态。第三级别对应于处于清醒的操作者。清醒的操作者在身心上都很投入。头部和身体是直立的，眼睛是睁开的，并且考虑到预期的公差，记录正确的交互和/或反应时间。

可以通过采用一个或多个算法和/或由SME分析的训练数据来开发分类算法、级别、阈值等。将教导系统如何正确地解释疲劳/健康特征，和/或(例如，在信息存储系统114处)构建用于比较的特征存储。将经由真实世界或模拟事件通过一系列火车操作活动(例如等级交叉)收集数据。在某些情况下，完全由计算机进行模拟，因此不使用人类操作者。收集的数据将被划分以用于训练系统(例如，构建比较信息)并测试分类算法(例如，用于分类目的)。

在一些示例中，可以基于操作者和/或交通工具操作的情况、个体操作者的特定特征或者被设计用于产生准确确定的其他原因来差异地对来自一个或多个传感器的数据进行加权。例如，在飞机中，预期操作者(例如，飞行员)在上升和下降期间心率增加。核心平台102被配置为识别飞机正在经历有意的海拔变化，并相应地对操作者的心率加权。相反，如果操作者记录心率的意外加速，并且数据后面跟着表明飞机正在经历意外下降的测量结果，则该数据可用于对情况的严重程度进行分类(例如，这可能导致命令系统108b控制交通工具的一个或多个功能)。

一旦被分析，核心平台102输出操作者疲劳状态(例如，清醒、疲劳、睡眠等)。该分类可以被发送到响应系统108以用于干预，该分类触发警告和/或交通工具命令。可以结合现有的交通工具人机界面(例如控制显示器)和/或交通工具扬声器系统和/或具有音频、视觉、文本到语音功能的专用装置(例如，平板计算机)提供这些警报。

警告系统108a产生警告，例如视觉警告和音频警告，这些警告可以包括为各个操作者和/或情况定制的警报(例如，呼叫操作者的姓名；例如“醒来！”的指令)。可以提供刺激音乐、对话和/或其他娱乐源，或提供适当的咖啡因或其他兴奋剂的建议。可以结合操作者可用的其他人机界面(例如手持平板计算机、手机或抬头显示器)使用这种警告或警报。

在一些示例中，使用触觉反馈装置。虽然必须仔细考虑这种振动的强度和局部性以避免与正常的交通工具操作振动(例如，躯干、手腕、脚等)混淆，但是身体上的突然并且强大的力可以提供唤醒操作者的冗余。疲劳分类系统116在其提供有来自基于上下文的库的(例如可以在信息存储系统114中找到的)数据时，可以确定可接受的打盹时段。

健康分类系统117可以将特征阈值应用于与操作者的健康状态相对应的数据。例如，来自一个或多个传感器的测量结果可用于确定一种或多种健康状况，例如缺氧、癫痫发作、心力衰竭等。健康分类系统117可以被校准至个体操作者的身体特征。

健康分类系统117确定操作者是否处于许多识别的极端健康状态(例如，缺氧、癫痫发作、心力衰竭等)中的任何一种，这将需要不同的干预。例如，通过将飞机飞行到较低的海拔可以减轻缺氧，而癫痫发作和心脏衰竭将导致飞机立即着地。类似地，癫痫发作可能需要对操作者进行身体干预，以最大程度降低与交通工具接合的意外动作的风险。在任何这样的情况下，自动化的机器人机构(例如，自动驾驶仪、臂或一系列较小机构)可用于控制交通工具和/或重新编程自动驾驶系统和/或与操作者身体接合。在一些示例中，一旦确定操作者正经历极端健康状况，响应系统108就可以产生经由通信系统122发送的用于帮助的呼叫。附加地或替代地，命令系统108b可以用作自动驾驶仪，或者产生用于机器人机构的命令，以操作交通工具的功能以避免潜在危险的情况。例如，如果公路交通工具的操作者正在经历虚弱的癫痫发作，则命令系统108b可以使交通工具减速、打开危险警告灯和/或将交通工具引导到道路的侧面以避免碰撞。

鉴于这种健康状态的严重程度，HMI 104可以请求来自操作者的响应以验证操作者是否真正丧失能力。这种验证可以以口头和/或触觉交互的形式存在。因此，可以要求操作者按下界面上的按钮、将代码或密码输入到装置中和/或在设定的期限内作出响应、做出特定的手势和/或口头和言辞交互的一些组合，以取消分类。

一旦操作，与疲劳和健康分类方案相关联的数据及其响应可用于学习干预系统的有效性。因此，可以识别和增强最佳实践，并且可以避免无效或有害的干预措施。还可以在识别正误(false positive)期间(例如，当操作者用算法确认给定状态已被错误地确定时)改进健康分类算法。

核心平台102架构在转换到新交通工具或并入新交通工具特征/功能时实现了快速便携性和可扩展性。因此，可以使用应用使操作者监测系统100能够获取该交通工具的信息或提供新的功能。例如，可以由在核心平台102或其他子系统内操作的各个应用处理转换和设置，这些应用表示特定于交通工具的功能以及操作者监测系统100的不断增长的能力库，可以根据交通工具或者机务人员的要求来交换。在某些方面，转换过程可以由操作者监测系统100外部的软件应用(例如程序编辑器)支持。

核心平台102图2示出了示例核心平台102的架构图。为了实现与交通工具无关的操作者监测系统100，核心平台102可以提供或以其他方式用作软件、硬件、中间件、处理等，其可以通过初始转换和设置阶段而特定于特定交通工具或配置。换句话说，核心平台102提供操作系统，该操作系统向一组操作应用202提供服务并将信号输出到一组硬件接口220中的一个或多个，同时收集并记录启用那些应用所必需的数据。

通过采用若干部件和/或模块来实现监测系统100，例如，信息监测系统112，其用于经由信息收集系统106内的一个或多个传感器收集信息；信息存储系统114，信息存储系统114被配置为数字化操作规则(GCOR)或飞行员操作手册(POH)的特定和通用代码，并且捕获操作者任务相关性和相似性。在一些示例中，信息收集系统106确定交通工具状态(例如，一个或多个控件和/或仪器的位置、来自交通工具操作系统的信息等)以及操作者特征，例如通过使用视频和音频感测。

ALIAS系统采用微创技术和设备、允许快速扩展并且模块适用于其他交通工具和/或操作者(例如，在铁路行业中)。结果是通过采用故障安全技术(例如，利用多层冗余)来提高操作效率，从而最大限度地减少由于疲劳状态(例如当操作者未完全清醒但未完全睡眠时)导致的事故数量，从而提高安全性并节省成本。因此，该系统解决了先前系统由于其设计限制而无法实现的操作差距。附加地或替代地，所描述的监测系统可以捕获关于操作者的健康状况的数据，并且分析和确定响应以避免如本文所述的潜在危险的操作情况。

核心平台102用作主要自主代理和决策者，其将来自信息收集系统106和HMI系统104的输入与其获取的知识库合成以确定整个系统状态。核心平台102可以处理来自各种传感器套件的输入并将信息聚合成对交通工具当前操作状态的理解。该信息可以与交通工具特定文件进行比较，该交通工具特定文件包括操作者监测系统100对操作者意图、系统健康状况的理解，以及与操作者监测系统100的状态估算有关的适当交通工具程序的理解。所得的状态知识和相关推荐可以经由HMI系统104传递给操作员，或者在某些方面，传递给交通工具控制系统124和/或响应系统108以实现自主操作。在图1a的示例中，响应系统108连接到交通工具90。因此，警告(经由警告系统108a)和/或命令(经由命令系统108b)可以被传送到交通工具90。这可以包括向交通工具90的一个或多个交通工具功能发送命令。此外，操作者监测系统100可以进一步产生操作的日志以供稍后分析，该分析可以用于促进操作者训练。日志可以与例如操作质量保证分析、维护分析等结合使用。

响应系统108响应系统108可以处理信息(例如，识别、解释、相对位置)以确定一个或多个动作，用于唤醒或以其他方式与操作者接合，例如警告或其他警报。可以根据确定的操作者疲劳程度定制警告。例如，警告的类型可以包括但不限于视觉警报、听觉警报、触觉或振动反馈、向多个实体(例如，其他机组成员、远程监测站等)发送警报。

可以从操作者和/或机组成员请求或要求响应。可以根据操作者确定的状态的严重程度或操作者不行动的潜在结果(例如即将发生的碰撞)的严重程度来定制响应类型。此外，警报的频率或强度可以随着时间的推移而没有操作者响应，和/或交通工具接近即将发生的危险而增加。

在接收警报的操作者不能提供所需响应的情况下，系统100可以(例如经由命令系统108b)控制一个或多个系统来减轻和/或避免即将发生的危险。控制可以指向交通工具自身的功能(例如，激活间歇)，指示系统沿着道路/铁路(例如，激活轨道开关以改变交通工具的路径)、指向另一交通工具系统(例如，对沿着道路/铁路的另一交通工具的自动响应)或其组合。

人机界面(HMI)系统104HMI系统104为操作者(例如，操作员，无论是在交通工具上还是在远端)提供控件和通信接口。HMI系统104可以包括人机界面104，人机界面104可以基于触摸屏图形用户界面(“GUI”)和/或语音识别系统。人机界面104可以采用例如平板计算机、膝上型计算机、智能电话或其组合。根据操作者的喜好，人机界面104可以固定在操作者附近。人机界面104可以可拆卸地联接到交通工具机舱，或者在某些方面，采用舱内的集成显示器(例如，现有的显示器)。

HMI系统104用作操作者和操作者监测系统100之间的通信通道，使操作者能够向操作者监测系统100命令任务并从操作者监测系统100接收反馈和/或指令，以改变操作者和操作者监测系统100之间的任务分配，并选择当前为操作者监测系统100启用哪些操作应用202。

如图1b所示，例如，HMI系统104可以经由核心平台102从子系统接收状态信息，同时向核心平台102发送由HMI系统104产生或由操作者输入的模式命令。操作者可以为远程的(例如，在地面上或在另一交通工具中)或在机上(即，在交通工具中)。因此，在某些方面，可以经由通信系统122在网络上远程促进HMI系统104。

如本文所述，操作者监测系统100的多个子系统中的每个子系统可以为模块化的，使得整个操作者监测系统100可以基本上快速地移植到另一交通工具。例如，各种子系统可以使用一个或多个软件和/或硬件接口220经由核心平台102可移除地且通信地彼此联接。然而，在某些方面，操作者监测系统100可替代地与其他交通工具系统集成，从而直接采用交通工具中的所有传感器和指示器。例如，操作者监测系统100或其部件可以在其设计和制造期间集成到交通工具中。

如图所示，核心平台102可以经由一个或多个软件和/或硬件接口与其他子系统通信，软件和/或硬件接口可以为硬件(例如，永久或可移除连接器)和软件的组合。核心平台102可以托管跟踪操作者和交通工具状态的各种软件过程，以及用于趋势分析(预测警告)和机器学习例程的任何模块。在某些方面，操作者监测系统100和/或核心平台102可以采用计算机总线和规范(例如，作为接口)，其有助于在解决资源冲突时在操作者监测系统100内发现子系统的硬件部件，而无需身体装置配置或用户干预。因此，用户可以容易地经由核心平台102向操作者监测系统100添加或移除系统或子系统(例如，作为模块)，而无需实质上的修改和/或集成工作。

核心平台102输出可用于向HMI系统104提供消息。这些消息可以指示例如检查表进度、要突发的意外事件、要发出的警告等。核心平台102还可以包含交通工具数据记录器，例如，用于提供表现评估能力。硬件和各种计算机也可以加固并与其他装置(例如，感知计算机)共享外壳。在一些示例中，核心平台102可操作地与全球定位系统(“GPS”)/惯性导航系统(“INS”)系统和电力管理系统联接。核心平台102还可以包含交通工具数据记录器，例如，用于提供表现评估能力。

图2示出了核心平台102和信息存储系统114的增强视图，如图1a和图1b所示。例如，核心平台102包括多个操作应用202，以提供指令、执行计算、处理信息并且与其他子系统协作以监测交通工具的操作者。多个硬件接口220被配置为根据需要向例如响应系统108、交通工具90、HMI 104以及任何数量的其他系统和/或子系统232发送和/或接收信息和/或命令。

操作应用202核心平台102可以向操作者监测系统100提供多个操作应用202。这些操作应用202的示例可以包括但不限于处理器204、异常检测系统206、存储器208(例如，具有交通工具数据结构的计算机可读存储装置)、机器学习应用210以及其他应用和/或系统，用于执行核心平台102的功能。

异常检测应用程序206采用机器学习技术来监测操作者特征、交通工具状态和/或对传感器输入进行分类，以检测非正常情况的存在并且识别是否存在正常操作之外的情况。异常检测应用程序206被配置为将感测的信息与在疲劳和健康分类系统116、117中定义的一组阈值进行比较。在一些示例中，从异常检测应用206识别特定条件或特征可以触发向操作者提供警告(例如，经由警告108a的视觉警报或听觉警报)和/或要发送给交通工具系统或子系统的命令(例如，经由命令108b的休息命令等)。

在监测操作者的行为和/或特征显示出与预期表现的偏离时，可以提醒操作者，从而减轻或避免潜在的错误。如果检测到异常，则意外事件操作应用234经由HMI系统104通知操作者并与操作者交互，并且可以执行(多个)给定的程序以响应异常(例如，产生警告、提供命令等)。

在一些示例中，监测的特征和/或提示可以指示疲劳状况或健康状况中的一者或两者。例如，可以经由一个或多个传感器(例如，相机)捕获操作者的头部姿势和/或运动，其中由分类系统116、117使用与取向、运动速率和特定面部运动相关联的数据。例如，取向的变化可以指示疲劳、心力衰竭、缺氧和/或癫痫发作。头部运动速率可指示疲劳和癫痫发作。面部运动可以指示疲劳、心力衰竭和/或癫痫发作。

眼球运动在分类操作者的状态/状况时特别有用。例如，操作者的眨眼率可以指示疲劳、心力衰竭和/或癫痫发作。眼球运动可以指示心脏衰竭和/或癫痫发作。疲劳的另一个指标不仅是速率而且是眨眼的持续时间(例如，眼睛闭合的时间)。由光学传感器或被配置为捕获生理数据的佩戴装置捕获的心率可指示疲劳、心力衰竭、缺氧和/或癫痫发作。替换地，在飞机中，或在交通工具将经历压力变化(例如，实现高海拔或潜水)的另一种情况下，缺氧可由条件的变化引起。类似地，在飞机中，飞行阶段可以引起操作者的疲劳。还可以监测可能影响操作者状态的其他环境条件。例如，如果机舱空气被污染和/或缺氧，则操作者可能经历与疲劳和/或负面健康状况类似的注意力下降。此外，环境的变化，例如夜幕降临，可能导致操作者的嗜睡。如果趋势分析表明操作者可以响应照明的变化，则可以产生警告或其他响应。

机器学习应用210为了不断更新存储的信息并从历史信息中学习，系统经由核心平台102可以实现机器学习技术以帮助识别并解释随时间遇到的各种操作者状况、反应、特征等。可以使用与机器学习技术(例如，人工智能、“深度学习”技术等)一起实现的机器辅助感知技术。由于在交通工具操作环境中需要复杂且变化的决策，并且自动化系统接收并分析来自各种源(例如，相机、生理传感器、交通工具状态传感器等)的信息，因此采用机器学习。

机器学习被用作编程与变化的环境相关联的每个变量以及不能合理地存储和关联的行为。因此，机器学习替代方案使得核心平台102能够在捕获新信息时从示例中学习。换句话说，即使是已实施了基于专家知识的“如果，则，否则(if,then,else)”规则的大型数据库，系统将解决与这些示例相对应的一组有限的情景，并且对新情况的反应将很困难或者不可能。采用图1和图2的信息存储系统114的这种系统可以构建数据存储(例如，生理数据库242、健康数据库244、运动数据库248、交通工具状态数据库250)，以提供稳健的信息以与捕获的数据(例如，经由信息收集系统106)形成比较、分析操作者状况和/或特征，以便响应于比较产生警告和/或命令。

机器学习技术可以使用来自训练练习的数据(例如，在真实世界操作期间的数据收集，和/或真实世界的操作的模拟)来创建针对特定场景等定制的算法。例如，使用不同类型传感器可以确定哪些传感器收集最有影响力的信息，以及这些传感器应该位于何处。可以在各种情况下测试不同传感器的可行性，数据被存储并分析以产生类似于交通工具的真实世界操作的模拟环境。该知识库可用作与实时捕获数据的比较，以用于确定适当的响应，以及更新存储的信息。

本文描述的实时监测和分析系统被配置为在不需要为每个独特情况和/或交通工具或其变型开发特定算法的情况下操作。机器学习应用210辅助趋势识别，提供基于例如存储在信息存储系统114中的数据、列表、矩阵等使用机器学习开发的趋势分析。在某些方面，机器学习应用210可以提供数据，或以其他方式触发异常检测应用206。例如，如果机器学习应用210检测到不期望的趋势，则可以将趋势标记为异常并且报告给异常检测应用206。

可以从编码数据(例如，来自指南、编译数据、历史模型等)和在操作中获取的数据(例如，经由传感器)的组合导出数据，其支持离线机器学习和趋势分析。待编码的数据可以以各种人和/或机器可读格式(例如，.xml格式)加载，以描述程序的内容和程序内和程序之间的任务流。如图1b所示，例如，信息存储系统114可以从核心平台102接收操作命令，同时向核心平台102发送由信息存储系统114产生的配置数据和状态以及响应信息。

除了书面信息之外，操作者监测系统100还可以基于过去事件和更有经验的操作者的经验(例如，来自监测和存储趋势信息和分析)来编码信息。机器学习使知识获取过程能够高效且快速地执行。

系统100并入了在人机交互、神经生理学测量和人体测试领域中获得的知识。在一些示例中，人类因素、睡眠和行为研究以及人-系统交互的领域发挥作用。此外，包括疲劳特征的选择、获取和解释(例如，眼睛跟踪系统)的疲劳特征测量的实施部分地基于在睡眠研究、铁路人为因素、人体测量、信号处理、生物力学和认知精神学的领域中收集的模型和/或数据。此外，系统的每个操作用于产生和/或更新信息存储系统114以及干预系统机器学习算法的设计，并且告知各种响应和/或干预的适当使用。

数据的平均值和数据的标准偏差可以在一段时间内完成。值可以为近似值，例如计算或估算的值(例如，如果传感器未执行详细校准)。传感器获取的数据可用于产生事件和响应的库。附加地或替代地，该库可用于统计地定义交通工具的性能。以这种方式，传感器可用于通过记录对每个确定的事件的响应来统计地定义交通工具响应。换句话说，系统可以使用所获取的数据来显示由交通工具在后续操作中施加的力的平均值和标准偏差。如本文所述，该库还可用于比较交通工具的当前性能以评估系统的功能。

信息存储系统114信息存储系统114采集和/或产生使操作者监测系统100能够确定操作者特征信息所必需的知识库。这包括操作者生理信息(经由生理数据库242)、健康状况信息(经由健康数据库244)、运动信息(从运动数据库248导出)和/或交通工具状态信息(来自交通工具状态数据库250)的知识。生理数据库242可包括对应于操作者的生理特征(例如，心率、呼吸率、血压等)的数据。健康数据库244可以存储关于操作者健康的特征(例如，心脏功能、中风的发作、异常的身体姿势等)的信息。运动数据库248包含操作者在正常情况下在操作期间经历的预期运动相关联的信息。运动数据库248可以与交通工具状态数据库250同时构建，以利用操作者响应(例如，期望解决刺激的身体动作)协调交通工具刺激(例如，对交通工具控制的请求)。

在一些示例中，与特定特征相关联的值的库或值的矩阵可以被存储在核心平台102可访问的数据库中。数据库可以与系统100集成在一起或远程定位(例如，通过网络访问)等。可以将监测的特征与值的库进行比较，以验证操作者是警觉的并且如预期操作交通工具。

在每个数据库中，各种数据可以作为一系列值存储在库或矩阵中。例如，数据可以从原始数据(例如，捕获的图像)被转换为与原始数据的特征相对应的一系列值(例如，到身体动作或形状的数字表示)。将值存储为用于比较的工具，使得提供了对应于预期值的数据，以用于与来自结合疲劳分类系统116和健康分类系统117的多个传感器的测得数据进行比较。

在示例中，数据库不存在特定特征(例如，与新测得的特征有关)的存储值，核心平台102可以根据在监测期间由传感器获取的信息来构建矩阵。在示例中，在例如特定仪器的重复控制的操作期间(例如，频繁激活制动系统)，可以基于所获取的操作者运动数据来更新和细化与系统相关联的矩阵。因此，如果获取的信息偏离矩阵中的值，则可以经由警告系统108a向操作者或其他系统(例如，远程控制器)发送警报(经由警告系统108a)，或者发送附加信息请求(例如，来自另一传感器)以确定是否存在疲劳和/或健康状况等。

附加地或替代地，交通工具状态数据库250可以在知识获取阶段期间(例如，在初始设置期间)被填充和调节到特定交通工具，使得其包含操作交通工具所需的所有信息。例如，当转换到新交通工具时，信息存储系统114可以执行预定义的动作，以便确定特定的交通工具仪表、交通工具的性能参数以及交通工具的其他特征。预定义的动作可以包括，例如：(1)生成交通工具系统模型，其向操作者监测系统100通知哪些系统在车上以及它们如何配置、致动限制等；(2)程序和检查表编码，其向操作者监测系统100通知如何在正常和非正常情况下操作交通工具；(3)操作状态模型，其向操作者监测系统100通知预期的响应和/或来自警觉的操作者的动作。

核心平台102可以将该信息与来自一组内部状态传感器的数据组合，这也改善了冗余和系统稳健性，从而允许操作者监测系统100产生交通工具状态和系统状态的准确估算，并识别与预期的行为和/或交通工具的状态的偏差。在交通工具操作期间，数据结构利用由操作者监测系统100、信息收集系统106、HMI系统104以及操作者监测系统100内部状态感测等收集的实时数据来动态更新。

一旦填充了给定交通工具的存储器208的交通工具数据结构，则存储器208的交通工具数据结构可以保留在交通工具库中并且用于操作者监测系统100可用的相同品牌和型号的所有其他交通工具。当操作者监测系统100产生和/或收集附加数据时，可以进一步细化存储器208的交通工具数据结构。

硬件接口220经由例如致动系统222(例如，主致动系统)、致动系统224(例如，辅助致动系统)、交通工具操作系统226、HMI系统228和其他接口230，与操作应用202有关的各种信息在警告系统108a、命令系统108b、交通工具90、HMI系统104和其他子系统232之间传送。硬件接口220被配置为与操作应用202协作以与各种系统(直接或经由通信系统122)通信。

响应系统108响应系统108执行经由核心平台102命令的动作。如图1b所示，例如，响应系统108可以从核心平台102接收致动命令和配置数据，同时向核心平台102发送由响应系统108产生的状态和响应信息。为了响应潜在的疲劳操作者，操作者监测系统100可以采用警告系统108a，同时进一步采用命令系统108b来物理地控制交通工具系统。

传感器(例如，相机)允许从各个位置并从多个角度对操作者的运动、表情、交通工具和/或仪器交互、操作者环境等进行成像。在一些示例中，传感器可以查看交通工具内的表面和仪器、捕获关于操作者状况的信息或者作为冗余信息源。下面参考图3描述各种传感器。

人机界面104操作者的人机界面104可以采用基于平板计算机的GUI和能够进行语音通信的语音识别界面。人机界面104的目的是使操作者能够以类似于操作者与人类工程师或机组人员交互的方式与核心平台102的知识库交互。

人机界面104可以显示操作者监测系统100的当前状态(其当前设置和职责)以及当前安装哪些操作应用202、哪些操作应用正在运行，并且如果它们是活动的，则操作应用202正在采取哪些操作。人机界面104的GUI显示器也可以为夜视镜，使得无论操作者的眼镜、可用照明如何，信息都是可见的。语音识别系统可以用于复制人类操作者在通过检查表和在交通工具上通信时使用的相同类型的语言通信。在某些方面，语音识别可以限于操作者团队使用的编码通信的相同标准，以最大程度降低系统未能识别命令或改变为不适当的操作模式的机会。语音识别系统可以被配置为通过语音训练协议来学习/识别给定操作者的语音。例如，操作者可以说出预定的脚本，使得语音识别系统可以用操作者的方言进行训练。

人机界面104可以提供各种操作的状态和/或细节，包括整个操作者监测系统100、经由感知状态应用的信息收集系统106、自动驾驶仪(在适用的情况下)、GPS/INS系统以及任何其他应用或系统状态信息(例如，经由信息存储系统114)。人机界面104的显示可以由操作者定制。例如，操作者可能希望添加、重新组织或移除某些显示图标和/或操作应用202，这可以通过选择和拖动操作来完成。人机界面104还可以向操作者通知交通工具的操作状态并向操作者提供指令或建议。

可以从信息收集系统106或另一传感器采集的交通工具的各种操作状况可以显示为字母数字字符或显示为图形拨号盘(例如，根据操作者的偏好设置)。

HMI系统104可以提供直观的显示和界面，其包括来自核心平台102的核对表验证和警报。因此，操作者可以查看和监测检查表项目，以及查看任何可用的警报。实际上，HMI系统104的功能是促进检查表监测和/或执行，当信息收集系统106感知到项目完成时将项目标记为完成，并且当项目未完成时向操作者提供警告，如基于先前从例如操作者的手册或操作指南中导入的信息。操作者监测系统100还监测系统状态、将当前系统状态与基于手册和其他知识源预期的系统状态进行比较并引导对特定情况的适当响应。

HMI系统104可以使操作者能够限制由操作者监测系统100执行的动作(如果有的话)。因此，操作者监测系统100可以根据配置以咨询角色(即，无需对交通工具进行控制)、完全自主的角色(即，无需操作者干预地控制交通工具控件)或者具有控制交通工具控制器的能力的咨询角色来操作。

采用任何自动化系统时的风险在于操作者模式混淆的可能性(例如，操作者忽略了认为自动化系统将处理任务的任务)。人机界面104可以显示确保操作者始终知道操作者监测系统100正在操作的模式所必需的信息。另外，HMI系统104用作各个交通工具应用(例如，操作应用202)的人机接口。

信息监测系统112如本文所述，并且如图3所示，信息监测系统112收集、确定或以其他方式感知操作者的实时特征。如上所述，信息监测系统112保持与核心平台的直接连接(例如，与其成一体或以其他方式硬连线)。如图3所示，例如，当使用信息收集系统106时，信息监测系统112可以包括专用控制器(例如，处理器)或共享信息收集系统106的控制器(例如，控制器300)。与特定传感器相关联的每种数据类型可以使用数据处理部件来降低噪声并消除用于数据处理的不必要的伪像。

信息收集系统106例如可以采用传感器的组合，包括例如光学相机308、生理传感器310、IR相机312、交通工具传感器314以及任何数量的替代和附加传感器316，例如，录音/语音转录、脑电图(EEG)、心电图(ECG)、功能性近红外光谱(fNIRS)、呼吸、汗液，喉/面部/身体肌电图(EMG)、眼电图(EOG)、面向外部感知单元、温度传感器、位置传感器、惯性传感器、体重传感器、加速度计、血气传感器、流体化学分析传感器等。数据捕获、数据融合和/或识别算法可以存储在数据库(例如，数据库302)中以帮助确定经由一个或多个传感器输入(包括与交通工具仪表304的交互、经由HMI 104或经由其他装置306的输入)的一个或多个操作者特征。

虽然监测眼睛运动是确定操作者疲劳的有用特征，但是眼动仪并非普遍适用于交通工具驾驶室环境。使用中的许多传感器易受遮挡效应，例如来自眼镜的影响，并且对头部运动敏感。另选地，头戴式眼动仪很难佩戴，并且可能在长时间佩戴时引起头部拉伤。这样的系统可能需要对各个用户进行校准，并且如果检测到身体振动或快速或意外的运动，则可能容易出错。相反，对于先前的系统，当前描述的操作者监测系统捕获对应于多个生理、生物、行为和/或健康特征的数据，以识别和/或分类操作者疲劳。

头部和身体动力学用于确定疲劳特征。例如，头部下垂和离轴身体姿势(例如，偏心姿势、斜倚、瘫软的肩膀)通常在嗜睡开始时发生。疲劳的操作者可能靠在控制台上和/或用手臂支持一个人的头部。长时间的侧向凝视，特别是在交通工具操作中典型的前向姿势，是失去警惕和日益疲劳的另一个指标。附加地或替代地，传感器例如相机用于通过识别身体特征例如鼻子和嘴巴来跟踪操作者的头部，并且监测形状的变化、运动等。

驾驶室动作或人机交互(例如，与交通工具控件的交互)提供关于操作者的表现(其与疲劳相关)的附加或替代见解。这种交互可以通过连接到任何现有的驾驶室数据总线来直接测量，和/或使用被动地监测开关、仪表、节流阀等的状态的传感器(例如，相机308、312和/或传感器316)来间接测量。

基于视觉的驾驶室/驾驶舱监测系统使用多种不同设置(例如，交通工具类型、操作状况等)的多个相机(例如，相机308、312)。相机系统被设计成与直接数据连接同步以准确地确定仪器类型(例如，使用模拟与数字显示器)、不同的照明条件和/或通过采用冗余收集模式来确认收集的数据的准确性。鉴于收集和分析的数据，操作者表现通过将测得数据与对应于预期表现值的存储数据库进行比较来计量。以这种方式，可以通过不适当的系统交互或延迟的反应时间来识别不佳的表现。

来自信息收集系统106的输出可用于通知电子检查表、运动地图、抬头显示器、文本到语音提醒等。与操作者运动相关联的传感器数据被用作动作的指标，从而在相机由于遮挡而无法查看控制面板的情况下提供冗余层。

由信息收集系统106采集的数据可以被编码并实时提供给核心平台102。核心平台102的开放式架构使得能够并入从交通工具操作系统接收到的附加数据(例如，经由数据总线)以增强由信息收集系统106产生的操作者特征数据。如图1b所示，例如，信息监测系统112和/或信息收集系统106可以从核心平台102接收命令和配置数据，同时向核心平台102发送状态和交通工具状况信息(例如，经由存储在交通工具状态数据库250中的库或矩阵)、来自信息收集系统106的数据和/或由信息监测系统112以其他方式收集的数据。因此，与信息监测系统112相关联的传感器可以直接链接到核心平台102，和/或使用冗余系统(即，数字读出的视觉捕获等)以识别交通工具状态的元素并基于此进行确定。

操作者监测系统100进一步提高了商业运营的安全性和实用性，同时显着节省了人力运营成本。例如，操作者监测系统100可以应用于长途货物运输工具，以提高安全性和效率以及这种先进的操作者辅助技术的成本节省。此外，操作者监测系统可以在交通工具操作期间用作操作者的训练工具，或者用作安全系统，在传统上为单操作者交通工具的情况下提供第二组眼睛。HMI 104的一些部分简化了所有交通工具的操作，甚至是多机组操作。

图4表示根据本公开的用于操作者监测系统的示例实施方式的流程图。如本文所述，由于机车驾驶室中的疲劳、厌倦和分心而丧失情境意识是重要的问题。常规系统旨在减轻这些问题，但存在若干不能提供完整的局部的情境意识的缺点。当前描述的操作者监测系统为提供实时感知、分析和与操作者的交互从而降低由于疲劳引起的事故风险的自动化系统。操作者监测系统能够在交通工具操作期间观察操作者、确定潜在的疲劳状态、警告或以其他方式向操作者发出警报、将焦点恢复到手头的任务、使操作者有时间对危险作出反应并在可能发生碰撞前停止交通工具。

在实现所述的操作者监测系统(例如，操作者监测系统100)的示例方法400中，关于操作者状况的反馈(例如，一个或多个操作者特征，例如身体和眼睛运动、生理特征等)被确定并被用于减轻潜在的问题情况。

在图4所示的示例中，在框402中经由多个传感器(例如，经由信息收集系统106)感测/测量操作者特征。在框404中，将与操作者特征相关联的值与和已知、学习和/或计算的操作者特征相关联的一个或多个存储值进行比较(例如，经由信息存储系统114)。在框402中，经由一个或多个分类系统(例如，疲劳分类系统116和/或健康分类系统117)进行分析比较，以确定特征是否对应于疲劳和/或健康指标。例如，如果操作者正在经历损害操作者焦点的状况和/或状态(例如，嗜睡、健康紧急情况)，则系统能够以适当的响应作出反应。

如果没有确定指标，则该方法返回到框400，并继续监测操作者的特征。然而，如果确定疲劳和/或健康指标，则该过程继续到框404，在框404处，将一个或多个阈值应用于指标以确定操作者状况的严重程度。在框406处，核心平台102确定操作者是否疲劳、睡眠或以其他方式不警觉。如果没有这样的确定，则该方法返回到框404，以继续监测操作者的状况。如果确定操作者疲劳等，则该方法前进到框408，在框408处，考虑关于交通工具的信息，以及操作者状况的严重程度。例如，如果交通工具处于正常操作，并且操作者状况的严重程度低，则系统可以在框410中产生警告(例如，经由警告系统108a)。例如，可以在框412中向操作者提供视觉和/或听觉警报，以重新聚焦操作者的注意力。

然而，如果交通工具以高速运动，或在拥挤区域中操作，或者由于操作者注意力不集中(例如，在飞行中)而在危险情况下操作时，则系统在框414中产生命令(例如，经由命令系统108b)。因此，命令系统108b响应于该命令控制一个或多个交通工具功能(例如，制动系统)，如框416所示。在每种情况下，方法将继续监测操作者特征。

上述专利和专利公开通过引用整体并入本文。尽管已经参考部件、特征等的特定布置描述了各种实施例，但是这些并不旨在详述所有可能的布置或特征，并且实际上许多其他实施例、修改和变化可以由本领域的技术人员确定。因此，应该理解，本发明可以不同于上面具体描述的方式实施。

Claims (15)

1.一种监测交通工具(90)的操作者的系统，所述系统包括：

传感器(316)，所述传感器用于在所述交通工具(90)的操作期间收集关于所述操作者的一个或多个特征的信息；

核心平台(102)，所述核心平台被配置为确定所述一个或多个特征是否对应于疲劳指标；

响应系统(108)，所述响应系统被配置为至少部分地基于所述疲劳指标产生警告(108a)；以及

向所述操作者呈现所述警告(108a)的界面(230)。

2.根据权利要求1所述的系统，其中所述特征对应于生理特征，所述传感器(316)包括用于测量所述生理特征的生理传感器(316)。

3.根据权利要求2所述的系统，其中所述生理特征为心率、呼吸率、血氧水平和体温中的一种。

4.根据权利要求3所述的系统，进一步包括生理特征值库，其中通过将测得的生理特征值与对应的存储的生理特征值进行比较来确定变化。

5.根据权利要求4所述的系统，进一步包括分类系统(116，117)，所述分类系统至少部分地基于所述比较、所述测得的生理特征值和所述存储的生理特征值来识别操作者状况。

6.根据权利要求5所述的系统，其中所述分类系统(116，117)包括对应于所述操作者状况的一个或多个阈值，其中所述操作者状况包括清醒、疲劳和睡眠。

7.根据权利要求1、权利要求2、权利要求3、权利要求4、权利要求5或权利要求6所述的系统，其中，所述特征对应于(1)头部姿势或取向的变化、(2)延迟的反应时间、(3)面部运动或(4)身体姿势或取向的变化中的至少一个。

8.一种监测交通工具(90)的操作者的方法，所述方法包括：

经由多个传感器(316)感测所述操作者的一个或多个特征；

由核心平台(102)确定所述一个或多个特征是否对应于疲劳指标；

由响应系统(108)产生至少部分地基于所述疲劳指标的警告(108a)；并且

经由接口(230)向所述操作者呈现所述警告(108a)。

9.根据权利要求8所述的方法，进一步包括由分类系统(116，117)至少部分地基于测得的生理特征值和存储的生理特征值来识别操作者状况的步骤。

10.根据权利要求9所述的方法，进一步包括经由所述分类系统(116，117)应用对应于所述操作者状况的一个或多个阈值的步骤。

11.根据权利要求9或权利要求10所述的方法，其中所述操作者状况为清醒、疲劳或睡眠中的至少一种。

12.根据权利要求8、权利要求9、权利要求10或权利要求11所述的方法，进一步包括以下步骤：

经由所述分类系统(116，117)确定所述操作者状况对应于睡眠；

经由命令系统产生响应于所述睡眠测定的用于控制一个或多个交通工具(90)功能的命令；并且

响应于所述命令控制一个或多个交通工具(90)的功能。

13.根据权利要求8、权利要求9、权利要求10、权利要求11或权利要求12所述的方法，其中所述一个或多个特征对应于生理特征，所述多个传感器(316)包括用于测量所述生理特征的生理传感器(316)。

14.根据权利要求13所述的方法，进一步包括以下步骤：

将测得的生理特征值与对应的存储的生理特征值进行比较；

将一个或多个阈值应用于所述比较；并且

至少部分地基于所述比较来确定操作者状况，其中所述操作者状况为清醒、疲劳或睡眠中的至少一种。

15.根据权利要求13或权利要求14所述的方法，进一步包括至少部分地基于所述疲劳指标来呈现控件或调节所述交通工具(90)的操作的步骤。