CN110155349A - 人机界面中的外围视觉 - Google Patents

Abstract

本发明涉及人机界面中的外围视觉。一种用于管理图形人机界面的计算机实施的方法，该方法包括以下步骤：在界面处接收与用户的眼球位置和凝视方向有关的信息；接收用户的生理信息；基于所接收的生理信息来确定认知负荷的水平；基于凝视方向和/或确定的认知负荷的水平来调节界面的显示装置。一些改进方式描述了显示区域的管理，显示区域例如视网膜中央凹区域和外围区域，一个或多个显示装置的选择，从消息显示到当前凝视位置的距离的管理，消息的关键性的管理，各种用于吸引注意力的图形技术，航空电子设备中的飞行环境的管理，视觉密度的管理等。描述了一些系统方面，虚拟和/或增强现实。

Description

人机界面中的外围视觉

技术领域

本发明一般涉及显示方法和系统的技术领域，更具体地涉及飞行器驾驶舱中的多模式界面的技术领域。

背景技术

在现代飞行器的驾驶舱中，飞行员接收并操控大量信息。在某些情况下(例如，飞行环境或任务类型)，飞行员可能会信息过载，以至于他没有响应航空电子系统传达的要求。在某些情况下，飞行员甚至可能无法感知刺激。具体而言，因其它任务而过载或分心的飞行员可能不会注意到系统可能向他呈现的重要信息。在航空史上，此前曾发生过这样的情况：飞行员在压力的影响下没有感知到音频警告。结果可能是严重的。

此外，人机界面正在变得越来越复杂。因此，特别是出于安全性和/或航空安全性的目的，对人机界面(在广义上，也就是说以多模式方式，即涉及各种传感器功能)的改善管理的需求不断增加。

现有的航空电子系统通过音频警告或特定语音消息向飞行员通知系统故障。有时会冗余使用额外的光指示器。当接收到数据链消息(例如，来自空中交通管制的消息)时，可以在驾驶舱中广播音频信号，并且专业人机界面可以用信号通知消息的到达。然后飞行员能够做出反应，特别是通过与位于驾驶舱中的界面装置的触摸交互(例如，通过实体键盘来发送消息)。这些现有的解决方案呈现出缺陷或不足。

已公开的关于人机界面的文献很多，但是仍没有部分触及具体的航空方面，至少在最近的方面是这样。

标题为“用于维持情景感知和空间定向的飞行器视觉系统和方法(Aircraft-vision systems and methods for maintaining situational awareness and spatialorientation)”的专利文献US2016272340公开了特别是在困难条件下用于维持飞行员的情景感知和空间定向的显示系统和方法。具有视觉标记的图像被投影到视野的外围区域中，使得这些标记刺激飞行员的外围视觉。这种方法具有局限性。

需要用于管理外围视野的显示装置的系统和方法。

发明内容

本发明涉及一种用于管理图形人机界面的计算机实施的方法，方法包括以下步骤：在界面处接收与眼球的位置和用户的凝视方向有关的信息；接收用户的生理信息；基于所接收的生理信息来确定认知负荷的水平；基于凝视方向和/或确定的认知负荷的水平来调节界面的显示装置。一些改进方式描述了显示区域(视网膜中央凹(foveal)区域和外围区域)的管理，一个或多个显示装置的选择，从消息显示到当前凝视位置的距离的管理，消息的关键性的管理，各种用于吸引注意力的图形技术，航空电子设备中的飞行环境的管理，视觉密度的管理等。描述了一些系统方面(虚拟和/或增强现实)。

一般而言，所提供的示例简化了人机交互，特别是减轻了有时重复且通常很复杂的飞行员的繁琐操控，同样地提高了他专注于实际领航的能力。这些操控和操作通常发生在紧急情况或需要快速反应的情况中。为驾驶或领航所提供的认知努力被优化，或者更准确地，被重新分配给对于领航目标更有用的认知任务。换句话说，与本发明的某些方面相关的技术效果对应于人机界面的用户的认知负荷的减小。

根据本发明的改进和精炼是有利的，因为它们在人机交互的环境下降低了人为错误的风险(例如，关键数据的删除风险或未考虑的这些风险等)。因此，本发明的实施方案有助于提高安全性和航空安全性(更一般地，车辆驾驶的安全性)。

一些实施方案使得可以基于飞行员所经受的认知负荷(例如，不会干扰他当前的任务)在视觉上对于特定的事件警告或通知飞行员。相比之下，现有的解决方案是固定的或静态的，因为它们没有考虑到飞行员的认知负荷(在高工作负荷期间可能无法感知音频警告，例如因为外围视觉可能减弱，所以消息或指示灯可能会离开飞行员的视野)。

此外，一些实施方案可以在视觉上对于特定的事件警告或通知飞行员，而不管他在看哪里。因此，本发明的实施方案优化了飞行员视野的需求和使用。

在一些有利的实施方案中，根据本发明的人机界面能够通过凝视部分地或完全地被控制。例如，飞行员可以在不利用他的手而只利用他的凝视来与界面交互。例如，他可以响应(确认或否认)来自界面的问题或请求。他也可以发起一个动作。这种交互技术更安全，因为它允许飞行员将手保持飞行器控制。相比之下，现有技术中已知的方法需要最小的触摸干预，即使飞行员有时不能使用他的手(例如当他保持他的飞行器控制时)。

通过将显示方法扩展到增强和/或虚拟现实环境，本发明允许新的交互可能性。相反，根据航空电子现有技术的人机界面通常是针对(有限的或甚至受限制的)显示格式设计的。新的增强或虚拟交互可能性可以重新定义人机界面本身。例如，可以最佳地和更集中地利用用户的视野。机器和人之间可能存在实际的交互式对话，例如以便保持高水平的注意力或最佳地利用后者。在这种情况下，通过优化该视觉区域的使用，本发明的实施方案可以增加在视野外围使用的或能够使用的显示表面积。

在本发明的一个有利的实施方案中，用于显示信息的最佳位置是实时选择的，尤其是基于飞行员的凝视。

在本发明的一个有利的实施方案中，移动的图标或符号显示在飞行员的外围视场中，在离取决于他的认知负荷的一距离处。

在本发明的一个有利的实施方案中，界面能够通过凝视来控制。

附图说明

本发明的各个方面和优点将出现在本发明的一个优选但非限制性的实施方案的描述中，参考下图：

图1示出了在航空电子设备的特定环境中的示例性人机界面，该界面由根据本发明的方法操控；

图2示出了一个具体的显示系统；

图3示出了根据本发明方法的步骤的示例；

图4描述了一个特定的实施方案；

图5示出了根据本发明的一个特定的实施方案的管理消息的示例。

具体实施方式

根据本发明的实施方案，飞行器可以是商用、军用或货运飞机，自主或遥控无人驾驶飞机，直升机或者能够使用人机界面的任何其它运输工具。本发明不限于航空应用：实施方案可以适用于其它类型的车辆(例如，汽车、卡车、大客车、火车、船等)。

由本发明操控的术语“显示装置”表示散布或插置于用户(例如，外科医生、飞行员、计算机科学家等)的视觉系统(即，眼睛)与其外部环境(因此形成“视觉背景”)之间的任何显示系统。

“视野”字面上表示眼睛看到的空间部分。眼睛在这个空间区域中感知光、颜色、形状、纹理等。通过扩展，两只眼睛立体感知一部分空间。视觉可以是各种类型：单眼或双眼。该视野包括多个区域。最大视敏度对应于视网膜中央凹(foveal)区域；其它区域可以阅读、符号识别和颜色辨别。驾驶员或飞行员的视野随着眼球运动而变化：例如，视野随着速度而减小(实际上意味着眼睛变得不那么灵活)。

在本文档的其余部分中，表述“凝视位置”表示视网膜中央凹视觉的中心(视锥感知的区域的中心)。

“外围”视觉表示人类视觉的特征。关于视网膜中央凹视觉，眼睛在定像点停止200至400毫秒，以便获得高分辨率的细节。视网膜中央凹视觉收集详细但缓慢的分析(每秒3到4个“图像”)。相比之下，外围视觉非常快速地(每秒高达100个“图像”)收集视野的更多全局(或者甚至扭曲了的)印象。因此，外围视觉可以超快速地感知运动。这种检测运动的能力在向极端外围地方向增加。据估计，外围视觉覆盖超过99％的视野，一半与视神经相关，一半与视觉皮层相关。

视敏度在视网膜中央凹区域最大(“视野”为5°FOV，凝视方向为立体角)。通常在超过视网膜中央凹区域(10°FOV)的区间内进行阅读。符号识别通常在20°FOV的区间内进行，并且辨别颜色通常在30°FOV的区间内进行。

视觉可以被认为达到18°FOV，然后超出该视觉的视觉被称为外围。根据各种阈值(通常为60°和120°FOV)，该外围视觉可以分解为“近”、“中”或“远”外围视觉。在该文件中表述“外围视觉”表示这些不同的区域。

视野的外围是相对于用户头部的位置。由于头部能够移动或定向自身(例如，向侧面、向上、向下)，在文档的其余部分中隐含地是，可以进行追踪飞行员的头部(“头部追踪”)(如果几何视觉特征需要这样)。

视网膜中央凹区域和外围视觉区域落入(主观)视野范围内，视野包括多个独立或非独立的组成部分：视觉背景(远处环境，例如山脉、云、道路等)，车辆中的固定位置处的显示装置(它可以相对于用户头部的位置移动)以及用户穿戴的通常连接到用户的头部的显示装置(不透明、透明或半透明的)。

在人机界面至少部分被穿戴(例如，透明或半透明的虚拟现实VR或增强现实AR头戴装置)的实施方案中，视网膜中央凹区域和外围区域随着凝视方向移动。在这种类型的VR/AR显示装置中，可以修改或调节视觉背景(即各种显示平面或深度)(与不使用VR或AR时地平线上的自然且不变的外部相比)。换句话说，在这种类型的VR/AR环境中，存在一个或多个(可配置和可调节的)插置于现实与视觉系统之间的能够被操控以管理视网膜中央凹区域和这些外围区域的人工中间显示“层”或深度。例如，可以针对视网膜中央凹区域对图形渲染(即图像的准确度和光度质量、多边形的数量、等待时间和图形刷新等)进行特别优化，而外围区域可能需要较少的计算能力。在其它场景下，折中方案可能会有所不同，或甚至逆转。

在一些实施方案中，可以透明地感知外部视觉环境(除了用户穿戴的显示装置之外，还可以感知驾驶舱仪表板的元件)。换句话说，虚拟元素以及“真实”元素都可以被感知。

图1示出了在航空电子设备的特定环境中的示例性人机界面，该界面由根据本发明的方法操控。

飞行器(或远程驾驶舱，或广义上的车辆)的驾驶舱100可以包括仪表板110，仪表板110包括一个或多个显示装置。根据本发明的人机界面可以包括多个显示系统，例如位于仪表板上或驾驶舱中和/或由飞行员穿戴。根据本发明的显示系统或人机界面可以包括从平视显示装置120、俯视显示装置130、便携式或可移动屏幕140、虚拟和/或增强现实显示装置150、一个或多个投影仪160中选择的一个或多个显示装置(“屏幕”或“显示单元”)。人机界面还可以包括摄像机或图像采集装置170以及输入接口或外围设备190。

平视显示装置120可以是HUD。平视显示装置在允许车辆驾驶员的车载仪器提供信息的同时监测他的环境。这种类型的装置在飞行员的视野中叠加特定信息(例如，领航、导航、任务信息)。在现有技术中已知各种装置，特别是投影仪、半透明镜、透明投影表面(例如，增强现实)或不透明投影表面(例如，虚拟现实)，或甚至不透明度能够配置的投影表面的使用。在一些实施方案中，平视显示装置是双眼型的(即，需要双眼)。在其它情况下，显示装置是单眼型的(即，仅移动一只眼睛)。在这种单眼平视系统中，信息叠加在环境中。因此，HUD系统可以是单眼的(例如，Google Glass连接的眼镜)，但也可以是双眼的(例如，“头戴式显示装置”或HMD系统，其传递两个不同的图像，每只眼睛一个)。在某些情况下，显示系统也可以是“双眼的”(向双眼呈现相同的图像)。被投影在挡风玻璃上的驱动信息向右眼和左眼提供不同的图像，因此属于双眼显示系统的类别。

俯视显示装置130是位于主视区下方的显示装置。本发明使用的俯视显示装置可以例如是主飞行显示装置PFD(和/或导航显示装置ND/VD和/或多功能显示装置MFD)。更一般地，屏幕可以是航空电子飞行管理系统屏幕。在陆地车辆的情况下，俯视显示装置可以例如表示集成的GPS屏幕。

便携式(或可移动的)屏幕140可以包括航空电子屏幕和/或非航空电子“电子飞行包”(或“电子袋”)装置和/或增强和/或虚拟现实装置。

根据实施方案，显示装置可以表示或包括虚拟和/或增强现实显示装置150。这种显示系统可以由飞行员或驾驶员专门穿戴。因此，显示装置可以是单独的并且包括不透明的虚拟现实头戴装置或半透明的增强现实头戴装置(或具有可配置透明度的头戴装置)。因此，头戴装置可以是可穿戴计算机、眼镜、头盔显示装置等。虚拟或增强现实装置可以表示或包括增强视觉系统(EVS)或合成视觉系统(SVS)航空电子系统。

车辆驾驶或领航室中的显示装置(根据本发明的人机界面)还可以包括一个或多个投影仪160。投影仪可以例如是手持式投影仪或视频投影仪(例如，激光投影仪)。为飞行员显示的信息可以特别地是完全虚拟的(在单独的头戴装置中显示的)，或者是完全真实的(例如，投影到驾驶舱的真实环境中可用的平坦表面上的)，或者两者的组合(即，部分是叠加在现实上或与现实融合的虚拟显示，部分是通过投影仪的现实显示)。投影仪的使用具体可以重新配置飞行员的浸入空间(可以考虑仪表板的弯曲表面，以便通过扭曲投影的图像来按需创建整体融合的显示)。信息投影和/或掩模投影的分布可以是可配置的，特别是取决于用户的浸入式(immersion)视觉环境。通过考虑所有可用的表面以便添加(叠加、覆盖)虚拟信息，这种“分布”可能导致环境被适时地考虑，所述虚拟信息可以根据其性质(要显示的内容)，时间性(何时显示，以什么频率显示)和位置(显示装置的优先级，位置与类型的稳定性；为了不使用户迷惑，可能需要一定的一致性)适当地进行选择。在极端的情况下，可以利用在用户的环境中很少或不经常使用的所有位置，以便增加信息显示的密度。因此，虚拟/现实融合显示装置可能变得高度分散(取决于在清洁室中或在具有多个装置的房间中的用户的复杂性，因此至少一部分可能被接收或选择的信息的显示装置掩盖或隐藏)。因此，现实转换为几个“潜在的”屏幕。

可以利用在用户的环境中很少或不经常使用的所有位置，以便增加信息显示的密度。更甚至，通过在真实物体上叠加图像掩模的投影，显示装置能够“擦除”一个或多个实际存在于驾驶舱内的控制仪器(操纵杆、旋钮、致动器)，控制仪器的几何形状是已知且稳定的，以便进一步增加可以处理的表面。因此，驾驶舱的真实环境可以转换为几个“潜在的”屏幕，或甚至转换为单个统一的屏幕(现实的配置)。

可选地，车辆驾驶或领航室中的显示装置可以包括一个或多个图像采集摄像机170。摄像机可以是鱼眼、立体或其它类型的摄像机。这种图像的反馈使本发明得到许多有利的发展。位于驾驶舱内的摄像机或摄影机可以捕捉为飞行员显示的所有视觉信息中的至少一些(有利地，该视频反馈可以位于平视护目镜、智能眼镜或由飞行员穿戴的任何其它装置，以便捕捉飞行员的主观视野)。利用图像分析(在视频捕捉的情况下以固定间隔或连续地定期执行)，可以根据预定标准和/或根据预定目标来分析和修改或校正飞行员的主观视野(subjective view)。

例如，在一个实施方案中，可以估算所显示的信息的视觉密度。例如，可以利用图像的各个子部分来估算该密度，并且可以动态地确定显示装置的调节。例如，如果显示屏变得过度“负荷”(文本或图形符号的量超过一个或多个预定阈值)，则可以“缩小”或“压缩”或以标记或符号的形式“概括”最低优先级的信息。相反，如果显示的信息密度允许，则减少的或压缩的或概括的信息可以被扩展或细化或延伸或放大。对信息呈现的这种管理可以取决于各种参数(下文中进行解释)。

车辆驾驶或领航舱中的显示装置包括一个或多个凝视追踪装置180(“眼球追踪(eye tracking)”)。

根据本发明的方法所使用的“凝视追踪(gaze tracking)”确定眼球的位置(矢量的原点)和凝视方向(矢量)随时间的变化。为简单起见，确定眼球的位置是隐含的。

眼球追踪(或“凝视追踪”)技术可以特别地追踪眼部的运动。在一个实施方案中，眼球追踪系统分析通常由红外光摄像机记录的人眼图像，以便计算飞行员凝视的方向。在一个实施方案中，分析面部皮肤表面上的电势变化。在一个实施方案中，分析由晶状体在磁场中产生的干扰。使用眼球追踪，可以确定飞行员凝视所指向的位置，从而能够确定他正在看什么(以及他没有看到什么)。

可以使用或甚至组合各种眼球追踪技术。

在一个实施方案中，使用电子眼球追踪技术(Marg，1951)，通过测量生物电势的差来执行凝视追踪，所述生物电势是由眼睛在其轨道上的旋转调制的生物电角膜-视网膜场产生的(用表面电极进行的眼电图)。

在一个实施方案中，使用所谓的角膜缘技术(Torok等，1951)来执行凝视追踪。通过照射眼睛的角膜缘(巩膜和虹膜之间的分离)，反射光的量取决于在测量范围中巩膜和虹膜的相对表面积，因此可以识别眼球的位置。

在一个实施方案中，使用基于Hirschberg在1985年开发的原理的技术来执行凝视追踪。具体地，可以通过记录光源在眼角膜上相对于瞳孔的反射(角膜反射)位置来确定凝视取向：摄像机可以检测眼球探索图像的运动。然后可以执行眼部运动的定量分析(凝视定像的数量和持续时间、抽动的数量和幅度等)。该方法尤其允许眼球的各种位置的绝对测量，而与用户头部的运动无关。

在一个实施方案中，通过测量光在眼睛的各种结构上的反射(Purkinje(普尔钦)图像；角膜的内表面和外表面以及晶状体的前表面和后表面)来进行凝视追踪。聚焦在一只或两只眼睛上的一个到多个摄像机可以记录/分析它们的运动。变体可以是头戴式(“头戴式系统”)。其它变体是非侵入式(intrusive)系统。这些变体可以使用环境光或红外光(例如，使用一个或多个二极管)。采集频率在30赫兹到数千赫兹之间变化。一些非侵入式系统是校准过的。

在一个实施方案中，通过追踪面部的3D模型来执行凝视追踪。根据该变体，采集图像以便检测面部、瞳孔、嘴和鼻孔。此后，使用3D模型来评估面部的取向，并且最终使用眼睛的图像来估算凝视取向。

在一个实施方案中，使用所谓的闪烁方法来执行凝视追踪。使用PCCR(瞳孔中心/角膜反射)技术，通过追踪瞳孔的相对位置和从角膜反射的光点来确定视轴的角度和凝视位置。

在一个实施方案中，使用Tobii装置执行凝视追踪(使用接近红外线的光源追踪在一距离处的眼球，然后使用眼球的生理3D模型进行图像处理以估算眼球的位置和凝视方向)。

根据本发明的人机界面还可以包括输入接口或外围设备190。在一个改进方式中，该装置包括用于选择虚拟显示装置的一个或多个部分的装置。可以使用各种装置(例如，鼠标类型的指向装置或基于手动指向的识别装置)通过采集接口(按钮、滚动、操纵杆、键盘、远程控制装置、运动传感器、麦克风等)，或通过组合接口(触摸屏、力反馈控制器、手套等)来指向人机界面(HMI)或这些界面的部分或信息。输入或选择人机界面可以具体包括一个或多个选择界面(菜单、指针等)、图形界面、语音界面、手势和位置界面。在一个有利的实施方案中，可以使用凝视进行选择(例如，定像持续时间超过预定的持续时间的阈值、眨眼、伴随的语音命令、肌肉收缩，脚控制等)。在一个实施方案中，可以通过一个或多个头部运动进行选择。

在一个实施方案中，系统始终知道飞行员凝视的方向和他的眼球的位置，这允许系统选择用于显示消息的适当显示装置。

可以改变所选择的显示装置(类型)，并且可以调动多个空间或表面(例如，平面、曲线等)。显示装置可以是俯视屏幕、HUD、头戴式护目镜或挡风玻璃。显示装置也可以由投影产生。在一些实施方案中，投影空间被“适时”选择(例如，利用仪表板的未使用空间，例如侧柱或屏幕之间的间隙)。在一个实施方案中，可以预定一个或多个空间来投影(它们可以有意地专用于该任务)。例如，驾驶舱的任意区域可允许投影仪显示信息。一般来说，没有什么可以限制这种投影自由，投影可以在任何类型的支撑件(例如，塑料、织物、玻璃等，包括人体)上进行，假设投影系统已知目标主观视点就能够调节它们的显示以符合环境并产生稳定和形成的图像。

图2示出了平视显示装置或HUD系统200。

示出的该类型的可选的显示系统显示叠加在外部景观(透明可见的或在视频中捕捉和重新传输的)上的信息(例如，领航信息)。该显示系统200可以包括透明显示装置210，在透明显示装置210上可以投影或创建图像，可以看到该图像叠加在“外部”场景上。单眼系统包括单个显示装置。双眼系统包括两个显示装置。在一些变体实施方案中，显示装置的透明度是可变的(或可配置的)。显示装置固定或与飞行员的头部相关联，使得显示装置保持靠近眼睛(“近眼显示”)。在所示的示例中，显示装置固定至飞行员穿戴的头戴装置。其它装置也是可以的(例如，穿戴的眼镜，操作者接近的固定支撑件等)。在一些实施方案中，HUD显示装置可以是固定至飞机的装置，提供固定的视野(通常具有40°的横向视场，26°的竖直视场)。在其它实施方案中，平视显示装置固定至飞行员穿戴的头戴装置或观察装置。在一个实施方案中，一个或多个投影仪在车辆(例如，飞机或汽车)的挡风玻璃上显示信息，或者在驾驶舱的任意区域上显示信息(例如)。

该显示系统200可以与系统230相关联，系统230用于检测头部(即，操作者的头部)所指向/所在的方向(使用凝视追踪(或眼球追踪)系统)。许多系统允许这种类型的测量(光学、电学、机械等测量)。系统230可以联接到显示装置200，但是在没有由飞行员穿戴的头戴装置的情况下它也可以位于驾驶舱的其它地方(它可以面向飞行员，以便例如测量瞳孔的扩张和方向)。

图中所示的显示系统200可以包括计算机或与计算机相关联，即计算资源240(例如，计算、存储、图形等资源)。计算机240能够控制(命令、管理)投影仪220。计算机可以利用与头部方向和/或凝视方向的追踪230有关的信息。它可以整合和操控与飞行器和/或任务有关的各种信息。它在每个时刻(连续地，根据期望的视频刷新率)确定要在显示装置上显示的操作图像。

显示系统200可以与一个或多个人机界面(HMI)相关联，人机界面例如输入外围设备(鼠标、键盘、触摸屏、触摸力、触觉装置、触控板、轨迹球等)，允许飞行员从提出的多个数据中进行选择，或者输入数据。根据实施方案，HMI可以包括各种外围设备或外围设备的组合。在一些情况下，可以使用语音命令。在其他情况下，可以使用神经接口。可以使用通过眨眼选择的接口。

图3示出了一个实施方案的步骤的示例。

在一个实施方案中，描述了一种用于管理包括多个显示装置的人机界面的计算机实现的方法，该方法包括以下步骤：-在人机界面接收与用户的眼球位置和凝视方向有关的信息；-接收用户的生理信息；-基于所接收的生理信息从多个预定的水平中确定认知负荷的水平；-基于凝视方向和确定的认知负荷的水平来调节人机界面的显示装置。

监测飞行员的整体状态可能导致以某种方式调节或重新配置显示装置，例如通过增加屏幕的密度或简化屏幕等。飞行员的整体状态可以包括各种因素，例如，a)认知负荷，b)与飞行阶段或其它事件或外部物理参数(如声级)相关的压力水平，c)飞行员的生理或生物参数，例如心率和出汗导致的压力水平的估算。这些各种因素之间的权重或层级可以是静态的或改变的/动态的、可配置的或预先配置的。

在一个实施方案中，该方法还包括在人机界面的外围，距用户凝视指向的人机界面位置可配置距离处显示图形消息的步骤。

在一个实施方案中，图形消息可以在多个显示装置上显示，以便追踪飞行员的凝视。

在一个实施方案中，图形消息可以仅被分配给同一个屏幕。在其它实施方案中，图形消息从显示装置到显示装置可以“改变”，以确保视觉的连续性。与给出的其它示例一样，可以是消息跟随凝视跨过各种显示装置的情况，并且当飞行员希望处理它时“固定”。然后，他可以通过凝视来打开交互式界面。一旦观察或感知到该消息，该消息可以移动到其默认位置(其由飞行员训练)，以便稍后(可能)由他处理。

在一个实施方案中，距离取决于认知负荷和/或与消息相关联的优先级。术语“优先级”可以用“重要性”代替。认知负荷越高和/或信息越关键，它就越接近视网膜中心凹区域的中心。该距离也可以随着时间的推移而减小，随着时间的推移消息变得越来越重要。

在一个实施方案中，距离随时间减小。

在某些情况下(关键消息)，可以有意要求飞行员注意，直到他确认他有意识地获取了该信息。

在本发明的一个有利的实施方案中，只要飞行员没有感知到图形符号(并因此清楚地确认它)，图形符号就会特别地跟随飞行员的凝视(必要时，改变显示装置)。

在一个实施方案中，使用包括平移运动和/或旋转(例如，振动)的图形技术来显示图形消息，这些运动和/或旋转取决于消息的内容。

消息的“内容”可以表示其优先级和/或其重要性。

由于上述原因(外围视觉的特性)，外围视觉中的振动(即，低幅度运动)是特别有利的。

在一个实施方案中，调节显示装置的步骤包括从形成人机界面的显示装置中选择一个或多个显示装置的步骤。

在一个实施方案中，该方法基于凝视方向确定要使用的优选的显示装置，以便最好地捕捉飞行员的注意力。可以选择最靠近视网膜中央凹中心的显示装置。

在一个实施方案中，生理信息包括一个或多个参数，参数包括：心率、心率变异性、呼吸速率、眼球运动、凝视定像(gaze fixations)、瞳孔扩张、皮质醇水平、皮肤温度、皮肤电导率(skin conductivity)、副交感神经系统活动的一个或多个标记、心电图信号、脑电图信号、脑磁图信号、fNIR信号或fMRI信号。

认知负荷的水平可以基于用户或飞行员的一个或多个生理参数(和/或这些参数的动态)来确定，生理参数是物理测量的和/或逻辑地，直接地或间接地估算的。确定飞行员的生理状态可以包括直接和/或间接测量。直接测量可以特别地包括心率和/或ECG(心电图)和/或EEG(脑电图)和/或飞行员的呼吸和/或呼吸速率的一个或多个直接测量。间接测量可以特别地包括飞行员的激励或疲劳或压力的估算，这些状态可以具体地与飞行阶段或与其它参数相关联。

被操控的生理参数可以包括(顺序不重要)：包括追踪眼球的运动和/或凝视定像(“最邻近指数”或NRI)的凝视追踪，唾液中恢复的皮质醇水平，例如(“下丘脑垂体肾上腺”或HPA)，心率，该心率的变异性(“心率变异性”或HRV)，副交感神经系统活动的一个或多个标记，呼吸速率，皮肤温度，出汗水平，皮肤电导率(“皮肤电反应”或GSR)，瞳孔扩张(“瞳孔测量”或“认知活动指数(ICA)”)，ECG(心电图)信号，EEG(脑电图)信号，MEG(脑磁图)信号，fNIR(“功能性近红外成像”)信号或fMRI(“功能性磁共振成像”)信号。

在一个实施方案中，心理或认知负荷的“内在”或“生理”水平来源于物理直接在飞行员身上测量的生理数据的集合。可以相对于彼此对这些生理值进行加权，以便在预定的极限之间定义分数(例如，在0至100之间)，极限可以由飞行员定制。

这种认知负荷的水平可以来源于生理测量：它可以“内化”所有的内部认知约束以及由飞行员的认知所处理的外部事件。因此，所定义的认知负荷的水平是必要的并且足以有助于根据本发明的显示装置的调节。

在一些可选的实施方案中，认知负荷的水平由于外部或“外在”因素而被情境化，例如正在执行的任务类型(起飞、巡航、转向、修正等)或飞行环境(模拟器中的噪音、光线、振动、遥控无人机舱、A380、小型飞机等)。考虑这些因素本身可以有利地将飞行员的认知负荷在给定时间进行透视，也就是说可以从中确定动态(例如，可能的变化，过去倾向等)。有利地，知道操作环境可以至少概率地预测飞行员的认知负荷的变化，并因此预测对他的显示装置的调节。

在一个实施方案中，还基于包括飞行环境的环境参数来确定认知负荷的水平。可以执行各种测试(因此除被动观察之外的主动测量)以便评估飞行员的认知和/或生理/生物数据。例如，可以通过分析飞行员关于正在进行的领航任务(预定标准)的当前行为，和/或利用在确定出飞行员可以接受附加(机会性的，事故等)测试的间隙时间间隔期间可选地提出的此类测试，评估飞行员的认知负荷的测量。这些评估反过来可以使得显示装置被调节。

在一个实施方案中，凝视追踪基于预定的定像持续时间和/或预定的眼部运动来确定包括放大消息、缩小消息、发送数据项或领航命令的动作。

在一个实施方案中，该方法还包括获取人机界面的至少一个图像的步骤。

在一个实施方案中，通过手动配置或通过配置文件的方式，驾驶舱的几何形状是已知的(屏幕的数量、类型和倾斜等)。

在一个特定实施方案中，驾驶舱的几何形状可以半自动地、或甚至完全自动地已知。例如，“反馈”回路(例如，以捕捉飞行员的主观视觉视点的摄像机的形式)可以检测存在的每个屏幕的数量、类型和配置(例如，剪裁等)。采集人机界面的(整体)图像的步骤的优点在于它允许显示装置的自动配置。

在一个实施方案中，该方法还包括测量人机界面的视觉密度的步骤以及根据测量的视觉密度来调节人机界面的显示装置的步骤。

在一个实施方案中，该方法包括在用户将他的凝视指向预定位置超过预定持续时间的持续时间之后，停用人机界面的显示装置的步骤(“可解除”图形调节)。

在一个实施方案中，描述了一种系统，该系统包括用于实现该方法的一个或多个步骤的装置，人机界面包括：-从平视显示装置120、俯视显示装置130、便携式或可移动屏幕140、虚拟和/或增强现实显示装置150、一个或多个投影仪160、摄像机或图像采集装置170中选择的多个显示装置；-用于追踪人机界面的用户凝视的装置。

在一个实施方案中，该系统还包括增强现实和/或虚拟现实头戴装置。

在一个实施方案中，该系统还包括在存在摄像机的情况下的调节反馈回路，所述调节反馈回路用于获取人机界面的用户的主观视野的至少近似图像。

在一个实施方案中，显示装置的特征在于预定显示规则的应用，该规则根据i)飞行员的整体状态310(其包括在a)认知负荷、b)压力水平、c)正在进行的活动飞行阶段、在认知感觉中内化的外部环境参数之间的加权)和/或ii)凝视方向320。

可以以各种方式执行显示装置的调节330。在一个实施方案中，修改显示装置(直接参与)。在一个实施方案中，控制显示装置管理的规则受到影响(通过调节规则的改变而间接参与)。

在一个改进方式中，人机界面中的显示装置由预定规则控制，这些规则包括显示位置规则和显示优先级规则。这些人机界面的映射是根据真实的实施配置(模拟器、飞机类型、任务类型)定义的。例如，用户(或指导员或航空公司)可以手动预定显示特定类型信息的各个空间区域。可以在虚拟或增强现实空间内(在适用的情况下)调换或移动所有或一些屏幕和相关联的人机界面。图像替换规则或图像流规则是可能的。一些规则可以是相关联的或提供不同的显示优先级、最小和最大显示持续时间、连续、间歇、规则或不规则显示、可选和可更换显示、不可停用显示、显示技术或参数(亮度、表面、纹理等)。

在一个改进方式中，位置规则是预定的。在一个实施方案中，人机界面可以由指导者根据他的个人偏好在特定驾驶舱中进行配置并且被配置用于特定驾驶舱。在一个实施方案中，该配置可以是完全手动的。例如，指导者可以在头戴装置中为显示装置提供专用于指令并且不干扰学员视觉的窗口。这些窗口可以虚拟地附接至驾驶舱：例如，指导者可以配置这些窗口的内容(飞行器的参数、与飞行员有关的参数、性能监测等)。因此，虚拟空间的定义可以与驾驶舱或飞行模拟器的几何特征相关联。

一般而言，可以优化一个或多个符号的显示(即，例如调节正在进行的修正和/或飞行环境)。具体地，所选择的交互模型(反映在相应图形符号的显示装置中)可以在各个屏幕上最佳地分布(例如，在各个可用和/或可访问的屏幕上信息的空间分布或划分)。例如，就空间而言，显示装置可以划分或分解或分布在多个显示设备之间适当的位置处。例如，可选地，该方法可以图形地转换或移动整个显示装置，例如在输入时间期间，以便允许替换模型在该显示区域的极限处显示。

值可以例如显示在飞行员视野中的各个位置，例如靠近修正装置(手指、光标)处或驾驶舱中的其它位置(平视投影、增强现实叠加、3D渲染等)。就时间而言，图形符号可以包括以各种方式排序的显示序列。

在一个实施方案中，可以在外围视场中显示反馈(例如，键盘输入)。在一个实施方案中，查看反馈是以用户的凝视固定和/或指向某个预定区域为条件的。根据该实施方案，相对地，如果凝视路径不满足预定条件(例如，根据时间和/或空间标准)，则反馈保留在外围区域中。在一个实施方案中，反馈可以“跟随”凝视，以便保持在能够被调用的状态，但不会妨碍当前的凝视位置。

为此，视野可以“离散化”到各个区域。就质量而言，这些区域可以被称为(例如)正面阻塞区域，用于吸引高、中、低、零注意等的区域。就数量而言，区域可以在数字上或客观上被确定(空间周长、具有公差的精确距离、置信区间等)。视野的离散区域可以“普遍地”确定(对于一组用户)，或以定制和个人的方式确定。

在一个实施方案中，调节视觉密度341和/或调节外围视野342中的显示装置。

“视觉密度”可以被操控。视觉密度可以测量为每平方厘米接通或激活的像素数量，和/或测量为每单位表面积的字母数字字符数量和/或每单位表面积的预定几何图案数量。视觉密度也可以至少部分地根据生理标准(飞行员的阅读速度的模型等)来定义。

在本发明的一个实施方案中，该视觉密度可以保持基本恒定。在其它实施方案中，将调节视觉密度。例如，飞行环境可以调节该视觉密度(例如，在着陆时或在飞行的关键阶段中，可以有意地减少信息密度，或者相反地，可以显示最大量的信息)。

图4描述了与外围视野管理有关的一个特定实施方案。

利用传感器410来确定飞行员的认知负荷420。

如果知道驾驶舱或可用VR/AR装置的几何形状431，一个或多个参数就可以确定一个或多个显示装置(120、130、140、150)的选择430。

在一个实施方案中，凝视方向而不是认知负荷来确定显示装置的选择。然后，认知负荷就其本身而言确定消息相对于视锥中心的显示距离。

在一个实施方案中，认知负荷单独确定显示装置的选择。例如，在一些饱和或紧急情况下，可以关闭大部分屏幕并且可以移动单个屏幕(不管凝视方向如何)。

在一个实施方案中，涉及两个因素(以相等的比例或不同的权重或折中)。凝视方向和认知负荷直接或间接地影响显示装置(一个或多个显示装置)的选择。

此后，与航空电子系统441交互的外围视觉消息管理器440在所选择的显示装置或显示系统(120、130、140、150、160)上显示一个或多个消息。

传感器410主要是测量物理或化学参数的直接或间接生理传感器。传感器410主要可以包括：眼球追踪装置(例如，眼球的位置、运动、凝视方向、瞳孔扩张、眨眼检测及眨眼频率等)；用于测量环境的物理参数(例如，环境亮度、湿度、声级，呼出的CO₂等)的装置以及生理测量装置(例如，用于测量心率；呼吸速率；EEG；ECG；出汗水平，例如，颈部出汗、手部出汗；眼睛湿度；飞行员身体的运动，头、手、脚等)。

这组原始信号被集中并在称为“认知负荷分析器”420的逻辑单元中进行分析，该逻辑单元主要根据离散化的“认知负荷”水平(例如，“最大认知负荷”、“快速增加的认知负荷”、“零认知负荷(睡眠)”等)，将该组测量参数解释并分类为预定类别。

认知负荷状态的离散化可以通过许多其它附加可选参数来调节或减弱或限制，可选参数例如根据本身也被量化的压力水平(例如，“无压力”或“最大压力(着陆)”)。因此，当没有压力或者相反在最大压力状态下时，可能发生强烈的认知负荷。此外，飞行环境可以激励或抑制压力和/或认知负荷(其根据起飞、上升、巡航、转向、飞行计划修正、着陆、滑行等飞行阶段而不同)。

由此获得的各种类别可以各自与用于管理消息显示440的规则相关联。

可以根据各种目标(特别是注意标准)来管理显示装置。人脑虽然正确地感知视觉信号(在没有双眼竞争的极限情况下)，但在某些情况下可能会特别“隐藏”信息元素。例如，完全专注于超车的汽车驾驶员可能会忽略速度限制警告灯，即使他的视觉系统已经完美地解码并融合了视觉刺激。专注于地平线上存在的物体的飞行员可能忽略存在于第一平面中的物体，这些物体可能是危险的。这种注意力的竞争是每个大脑专有和特定的，无法被测量或推断(“黑匣子”)。相反，可以方便地实施提醒(及其变体，以避免习惯化)，以便能够很好地保持用户(其置于危险情况或基于情景的决策中，证明要保持警觉或特别意识的状态)的注意力。

根据本发明的实施方案，将调用所有或一些可用的显示装置。

在一个特定的实施方案中，根据凝视方向选择单个屏幕。有利地，选择单个屏幕(例如，位于离当前凝视位置最短距离处的屏幕)允许快速且自然的交互(在某种意义上，它最小化干扰或视觉变化)。本发明的一个值得注意的优点在于“忽略”显示装置和追踪凝视使得飞行员能够快速交互。

在一个特定的实施方案中，根据所确定的认知或心理负荷和/或凝视方向来选择一个或多个屏幕(“显示单元”、“显示装置”)。

可以以各种方式执行显示装置的选择430。

在一个实施方案中，显示装置的选择可以主要利用已知驾驶舱的几何形状(各种屏幕的表面积、它们的形状、它们在空间中的位置、飞行员最常访问的屏幕、视网膜中央凹区域所在的位置等)。由于该配置变化不大，因此该初始配置解决方案可能是充分且令人满意的。

在一个实施方案中，可以通过使用主观视野图像捕捉来确定或获取这种几何形状(例如，安装在飞行员穿戴的头戴装置上的视频摄像机可以粗略估计他在他的环境中感知的内容，该内容排布在多个屏幕上)。此后，期望的显示区域可以与特定屏幕相匹配(寻址)。该改进方式提供了灵活性(并且不一定需要手动校准)。

在一个特定实施方案中，人机界面的显示装置可以考虑操作者的位置和/或凝视方向，所以总是根据驾驶舱的几何形状或在优化的主观视野中呈现。

在一个特定的实施方案中，视频反馈回路的存在可以是特别有利的，因为它可以主要与投影仪结合使用来动态地重新定义用户的视觉环境，例如通过适应环境(使用自动化或自动方法)。

与根据本发明的人机界面的凝视追踪装置结合使用是特别有利的，因为这样可以调制或调节或影响位置规则和/或显示优先级规则。

在一些有利的实施方案中(例如，在认知隧道的情况下)，关闭距离过远的屏幕。一些变体提供视觉密度的逐渐减小(以便最小化对于飞行员的干扰)。

关于外围视觉消息管理440，许多实施方案是可能的。

图5示出了在外围视野中管理显示装置的一个示例。

通过了解飞行员的整体状态(内部认知)和外部参数(飞行阶段、消息的优先级)，根据本发明的方法包括从航空电子系统接收消息(例如，天气警报、飞行指令、ATC指令、转向等)的步骤。该消息可以与优先级或关键性的可变等级相关联。

该方法可以基于包括飞行员的认知状态(心理负荷)和他的凝视方向的因素来监视显示装置。

在下文中描述完全特定且不受限制的一个实施方案。在步骤510，飞行员的凝视被确定为指向人机界面中的给定位置。在一个实施方案中，由航空电子服务广播优先级超过预定阈值的消息：该消息需要飞行员的短期注意。在另一个实施方案中，飞行员的意识状态需要保持或重新获得他的注意：特定消息应该刺激飞行员。

此后，在步骤520，在外围显示消息。在一个有利的实施方案中，该消息振动。在一个实施方案中，消息利用根据与消息(形式取决于背景)相关联的预定关键性的技术来振动。由于上述原因(外围视觉的特性)，外围视觉中的振动(即，低幅度运动)是特别有利的。

在步骤530，无论飞行员是否(视觉上)感知到在外围显示的消息，都继续他的活动：他的凝视移动。消息不是保持静止的而是与凝视运动相关联地运动(使用各种技术：按比例，平行等)。该步骤530逐渐吸引飞行员的注意。

在步骤540，飞行员仍在看着其它地方，即仍未查阅消息。然后，显示管理有意地将符号/图标的显示移向飞行员凝视的活动位置。在一个实施方案中，振动消息和凝视位置之间的空间距离主要可以取决于飞行员的认知负荷。在一个实施方案中，当达到预定的心理负荷水平时，消息朝向视网膜中央凹视觉移动。在一个实施方案中，距离可以取决于该认知负荷和消息的关键性。控制距离的函数可以是数学(分析)函数，但也可以是算法类型(步骤序列的结果，不能通过分析被公式化)。函数可以例如随时间而减小距离。视情况而定，可以以恒定速度或加速执行减小。

在步骤550，飞行员意识到消息，他查看消息并“看到”消息。此时，消息的振动停止。换句话说，如果凝视指向消息，则所述消息固定(振动消失)，以允许打开并处理消息。

各种实施方案都是可能的。

存在若干技术用于确定图形目标(例如，消息)已被“看到”，并且更一般地用于控制人机界面(选择显示的目标)。可以组合这些技术。

在一个实施方案中，确定飞行员凝视的路径(即，其投影到人机界面的平面或空间上)是否经过预定区域(例如，围绕界面的特定对象)。该区域可以严格定义，即根据严格的轮廓，但也可以根据公差界限(例如，渐变缓冲区域等)。这些界限可能与凝视追踪的测量误差相关联。可以在给定时间在人机界面的一个或多个区域与凝视路径(或简称它的位置)之间确定一个或多个交叉点。这些交叉点可以依次触发一个或多个动作(例如，确认发送响应，其它显示等)。在一个实施方案中，飞行员的凝视经过与消息相关联的预定区域的持续时间是能够通过根据本发明的方法操控的参数。

在一个实施方案中，眼部路径或凝视路径与消息交叉(“相交”、“经过”)；这种专有的空间条件是必要和充分的，它确定了消息已被看到。该实施方案具有不扰乱飞行员的“自然”活动的优点。在一个实施方案中，条件是空间和时间的：需要预定的最小持续时间(飞行员必须在消息上保持几分之一秒，以便认为所述消息被看到)。在一个实施方案中，交叉持续时间处于最大值(如果凝视停留在给定区域上，则可能需要不同的动作)。在一个实施方案中，交叉持续时间应该在最小持续时间和最大持续时间之间的预定区间内(绝对的，即不管消息如何，或者相对于消息的类型或其内容)。

在步骤560，飞行员的凝视被引导至超过预定持续时间的消息，然后消息被“打开”。例如，使用较大的显示表面，与初始符号相邻。

然后可以进行几次互动。在步骤561，飞行员可以查看要发送的响应并利用实体装置确认它以确保交互。

例如，在航空领域中，对于诸如与空中交通管制(ATC)的交互之类的关键操作，例如发送数据链消息，可能需要物理或触觉确认(按照惯例)。为了以相同的方式驾驶部分自动化的陆地车辆，可能需要一些物理动作(例如，用于超车等)。

飞行员还能够通过凝视来控制在消息中预先配置的动作或通过消息预先配置的动作(例如，确认命令、从列表中选择、关闭窗口、确认、拒绝等)。在另一个序列中，飞行员可以在步骤570简单地忽略消息，然后在步骤580将消息“缩小”(例如，由人机界面定义的正常位置或空间不变的正常位置)。缩小可以理解为意味着消息被最小化(缩小显示表面)或者代表它的符号被替换。其它技术也是可能的。交互的组合是可能的：例如，在确认561之后，还可以在外围视场中缩小消息。

换句话说，接收到警告或通知飞行员的请求时，根据本发明的方法可以在飞行员的外围视场中，在根据飞行员的当前认知负荷的一距离处(该认知负荷越高，图标越近；该位置可以在例如10°和30°之间变化)显示专用图标。在一个实施方案中，根据本发明的方法可以包括定义与当前凝视位置(例如，俯视屏幕、HUD、头戴式护目镜、挡风玻璃等)相关联的水平线最接近的显示装置的步骤。该特征是有利的(“无缝显示”)，即最小化图形变化或惊喜效果。可以例如利用包含关于驾驶舱中显示装置的位置(以及例如它们的形状)的信息的数据库来选择显示装置。显示的符号或图标可以振动，以便获得飞行员的注意。振动或振荡是有利的，因为人类对外围视觉中的运动比形状或颜色更敏感。在一个实施方案中，图标可以“跟随”飞行员的凝视(例如，模仿或成比例或平行运动)。可以持续跟随直到预定的持续时间已经过去和/或直到飞行员已经看到它(例如，根据信息的关键性的等级)。一旦消息被“查看”，就可以出现更具体或扩展或丰富或细化的交互消息。飞行员可以稍后处理消息；在适用的情况下，消息可以将其自身置于最初为其保留的位置。如果飞行员有效地查看消息，则他能够从其中读取信息并选择执行消息中包含的某些功能，例如通过查看专用于这些动作的按钮(因此使用凝视控制)。根据本发明的人机界面可以通过凝视和/或物理输入接口(例如，蜂鸣器、鼠标、触摸、语音命令)来控制：界面可以仅通过凝视来控制，或者可以仅通过物理装置来控制，或通过两种类型的控制(即，凝视和物理动作)的组合来控制。

给出了计算机程序产品的描述，所述计算机程序包括在计算机上执行所述程序时用于执行该方法的一个或多个步骤的代码指令。

作为适合于实施本发明的硬件架构的示例，装置可以包括：通信总线、只读存储器(ROM)、随机存取存储器(RAM)或高速缓冲存储器、以及I/O(“输入/输出”)或通信接口，所述通信总线连接中央处理单元(CPU)或微处理器，该处理器可以是“多芯”或“多核”的；所述只读存储器(ROM)能够包括实施本发明所需要的程序；所述随机存取存储器(RAM)或高速缓冲存储器包括适用于记录在执行上述程序期间创建和修改的变量和参数的寄存器；所述I/O(“输入/输出”)或通信接口适合于发送和接收数据。如果将本发明植入可重新编程的计算机器(例如，FPGA电路)中，则相应的程序(即，指令序列)可以存储在可移动的存储介质(例如，SD卡或大容量存储装置，例如硬盘，例如SSD)中或不可移动的(即，易失性或非易失性的)存储介质中，该存储介质可由计算机或处理器部分地或全部地读取。对计算机程序(当程序被执行时，执行先前描述的功能中的任何一个)的引用不限于在单个主计算机上执行的应用程序。相反，本文使用的术语计算机程序和软件在一般意义上指代任何类型的计算机代码(例如，应用软件、固件、微代码或任何其他形式的计算机指令，例如web服务或SOA，或者通过编程接口API)，计算机代码可以用于对一个或多个处理器进行编程，以便实施本文描述的技术的各方面。计算装置或资源主要可以是分布式的(“云计算”)，可以具有或利用对等和/或虚拟化技术。软件代码可以在任何合适的处理器(例如，微处理器)或处理器核心或一组处理器上执行，无论这些处理器是设置在单个计算装置中还是分布在几个计算装置(例如，在装置的环境中可访问的)之间。可以使用安全技术(加密处理器，可能是生物识别认证、加密、芯片卡等)。

Claims (15)

1.一种用于管理包括多个显示装置的人机界面的计算机实施的方法，其包括以下步骤：

-在人机界面接收与用户的眼球位置和凝视方向有关的信息；

-接收用户的生理信息；

-基于所接收的生理信息从多个预定水平中确定认知负荷的水平；

-基于凝视方向和确定的认知负荷的水平来调节人机界面的显示装置。

2.根据权利要求1所述的方法，其还包括以下步骤：在人机界面的外围，离用户的凝视所指向的人机界面的位置可配置距离处显示图形消息。

3.根据权利要求2所述的方法，所述距离取决于认知负荷和/或与消息相关联的优先级。

4.根据权利要求3所述的方法，所述距离随时间减小。

5.根据前述权利要求的任一项所述的方法，图形消息利用图形技术显示，所述图形技术包括平移运动和/或旋转，例如振动，这些运动和/或旋转取决于消息的内容。

6.根据权利要求1所述的方法，调节显示装置的步骤包括从形成人机界面的显示装置中选择一个或多个显示装置的步骤。

7.根据权利要求1所述的方法，所述生理信息包括一个或多个参数，所述参数包括：心率、心率变异性、呼吸速率、眼球运动、凝视定像、瞳孔扩张、皮质醇水平、皮肤温度、皮肤电导率、副交感神经系统活动的一个或多个标记、心电图信号、脑电图信号、脑磁图信号、fNIR信号或fMRI信号。

8.根据权利要求1所述的方法，认知负荷的水平还基于包括飞行环境的环境参数来确定。

9.根据前述权利要求的任一项所述的方法，所述凝视追踪基于预定的定像持续时间和/或预定的眼球运动来确定动作，所述动作包括放大消息、缩小消息、发送数据项或领航命令。

10.根据前述权利要求的任一项所述的方法，其还包括获取人机界面的至少一个图像的步骤。

11.根据前述权利要求的任一项所述的方法，其还包括测量人机界面的视觉密度的步骤以及根据测量的视觉密度调节人机界面的显示装置的步骤。

12.一种计算机程序产品，所述计算机程序包括代码指令，所述代码指令用于当在计算机上执行所述程序时，执行根据权利要求1至11中任一项所述的方法的步骤。

13.一种包括用于实施根据权利要求1至11中任一项所述的方法的步骤的装置的系统，人机界面包括：

-从平视显示装置120、俯视显示装置130、便携式或可移动屏幕140、虚拟和/或增强现实显示装置150、一个或多个投影仪160、摄像机或图像获取装置170中选择的多个显示装置；

-用于追踪人机界面的用户凝视的装置。

14.根据权利要求13所述的系统，其还包括增强现实和/或虚拟现实头戴装置。

15.根据权利要求13和14的任一项所述的系统，其还包括在存在摄像机的情况下的调节反馈回路，所述调节反馈回路用于获取人机界面的用户的主观视野的至少近似图像。