CN116074690A - 舱外活动期间基于音频的帮助 - Google Patents

Abstract

舱外活动期间基于音频的帮助。一种装置被配置为在舱外活动期间帮助个体。该装置获得并操作表示围绕该个体的检测空间的第一数据和表示该个体的头部(20)相对于头盔(10)的姿态的第二数据，该头盔(10)戴在个体的头部(20)上并与头部(20)间隔开。该装置被配置成处理第一数据以检测该检测空间中的物体(40)并且确定该物体(40)相对于头盔(10)的第一位置；基于第一位置和第二数据来确定所述物体(40)相对于头部(20)的第二位置，并使所述头盔(10)中的扬声器(33)阵列在所述头盔(30)内生成具有由第二位置给出的空间起源的可听见的声音。

Description

舱外活动期间基于音频的帮助

技术领域

本公开总体上涉及用于舱外活动的设备，并且具体地涉及用于在舱外活动期间提供帮助的此类设备。

背景技术

舱外活动(EVA)是由地球的可感知大气之外处于航天器外部的个体完成的任何活动。EVA包括太空行走、地面勘探、维护和修理等。进入太空的个人通常被称为宇航员、航天员或太空宇航员。

在EVA期间，个体穿着太空服，太空服是设计成在外部空间的恶劣环境中保持人存活的服装。除了在低重力下四处移动的总体挑战之外，个体还与有限的视野、加压太空服的有限灵活性以及不利的照明条件作斗争。例如，太空服包括刚性头盔，该头盔限制了用户的视野并要求个体转动其躯干以环顾四周。这使得在EVA期间(例如，当在复杂地形中行走，使用工具工作或勘测地面时)个体完全感知其周围环境是有挑战性的。

已经提出为头盔提供增强现实(AR)显示器，以使个体了解周围环境。CN107885124B中公开了一个示例。AR显示器可以确实对个体有帮助。然而，在一些情况下，可能在AR显示器上呈现太多的信息，并且实际上阻碍了视野，并使个体从要执行的任务分散注意力。此外，AR显示器可以用于呈现许多不同类型的信息，并且环境信息可能不被注意，这可以使个体处于危险中。

发明内容

一个目的是至少部分地克服现有技术的一个或更多个限制。

另一个目的是提供一种在舱外活动期间允许个体感知周围环境的技术。

另一个目的是提供这种对个体而言直观的技术。

另一个目的是提供这种不妨碍个体视野的技术。

这些目的中的一个或更多个目的以及可能在下面的说明中出现的另外目的可以至少部分由用于在舱外活动期间帮助个体的装置、太空服、计算机实现的方法和计算机可读介质来实现。

其他目的和方面以及特征和技术效果将从以下详细描述、所附权利要求以及附图中显现。

附图说明

图1是穿着在示例性太空服中的个体的侧视图。

图2是用于太空服的示例控制系统的框图。

图3A和图3B是太空服的头盔中的示例性头部姿态的部分剖视的顶部平面图。

图4是用于执行舱外活动的个体的基于音频的帮助的示例装置的框图。

图5是用于基于音频的帮助的示例方法的流程图。

图6是当根据图5中的方法操作时由图4中的装置提供的音频反馈的示意图。

图7A至图7C是图5的方法中的示例过程的流程图。

图8A和图8B示出了用于基于音频的帮助的装置的示例使用。

图9是穿着太空服执行示例性任务的个体的侧视图。

图10是用于向个体提供与该个体所执行的任务相关的表现相关反馈的示例装置的框图。

图11是提供表现相关反馈的示例方法的流程图。

图12是用于执行图11的方法的示例处理系统的框图。

图13A是图12中的处理系统所使用的活动序列定义的示意图，图13B至图13D是图11的方法中的示例过程的流程图。

图14A是由图13B中的过程确定的示例动作的曲线图，并且图14B和图14C是根据一示例的在预定时间段期间时间分辨的身体姿态数据和注视方向的曲线图。

图15是穿着在包括照明装置的太空服中的个体的侧视图。

图16是用于进行舱外活动的个体的基于照明的帮助的示例装置的框图。

图17是用于基于照明的帮助的示例方法的流程图。

图18是用于执行图17的方法的示例处理系统的框图。

图19是在图17的方法中使用的一组示例规则的示意图。

图20A至图20G是图19中的一组规则的应用实例的俯视图。

图21是可实现本文所述的方法、过程和功能的机器的框图。

具体实施方式

现在将在下文中参考所附示意图更全面地描述实施方式，其中示出了一些而非全部实施方式。实际上，本公开的主题可以以许多不同的形式体现，并且不应被解释为限于本文阐述的实施方式；相反，提供这些实施方式使得本公开可以满足适用的法律要求。

此外，应当理解，在可能的情况下，本文描述和/或预期的任何实施方式的任何优点、特征、功能、装置和/或操作方面可以包括在本文描述和/或预期的任何其他实施方式中，和/或反之亦然。此外，在可能的情况下，本文中以单数形式表达的任何术语意在还包括复数形式和/或反之亦然，除非另外明确说明。如本文所用，“至少一个”应意指“一个或更多个”，并且这些短语旨在是可互换的。因此，术语“一”和/或“一个”应意指“至少一个”或“一个或更多个”，即使短语“一个或更多个”或“至少一个”也在本文中使用。如本文所使用的，除了上下文由于表达语言或必要的暗示而另外要求的情况之外，词语“包括”或诸如“包含”或“包括”的变型以包含的意义使用，即，指定所述特征的存在，但不排除在各种实施方式中存在或添加其它特征。

如本文所用，术语“多个(multiple)”、“复数个(plural)”和“多数个(plurality)”旨在暗示提供两个或更多个元件，而术语“一组”元件旨在暗示提供一个或更多个元件。术语“和/或”包括一个或更多个相关列出要素的任何和所有组合。

还应当理解，尽管这里可以使用术语第一、第二等来描述各种元件，但是这些元件不应当受这些术语的限制。这些术语仅用于区分一个元件与另一个元件。例如，在不脱离本公开的范围的情况下，第一元件可以被称为第二元件，并且类似地，第二元件可以被称为第一元件。

为了简洁和/或清楚起见，可能不详细描述公知的功能或构造。除非另外定义，否则本文使用的所有术语(包括技术和科学术语)具有与本公开所属领域的普通技术人员通常理解的相同含义。

相同的附图标记始终表示相同的元件。

在更详细地描述实施方案之前，将给出一些定义。

如本文所用，“舱外活动”EVA是指在地球的可感知大气之外由航天器外部的个体进行的任何活动。

如本文所用，“可听见的声音”是指落入人的听力范围内的声音，人的听力范围通常为20至20000Hz。

如本文所用，“可见光”是指人眼可见的电磁辐射，通常在300至1100nm的波长范围内。

实施方式涉及在EVA期间帮助个体的装置和方法的各个方面。以下描述被分成涉及EVA帮助的发明概念的第1至3章。分离成多个章节是为了说明的清楚起见，并不意味着这些概念不能被组合。相反，如本领域技术人员所理解的，其概念和实施方式实际上可以以各种星座组合以实现相应的协同效果。

仅就上下文而言，图1示意性地示出了穿着用于EVA的太空服2的个体1。用于EVA的太空服被设计成提供稳定的内部压力并且使个体能够移动其肢体，并且屏蔽不同类型的辐射以及微流星体。各种设备可以连接到太空服2或与太空服2集成，例如便携式生命支持系统(PLLS)3和操纵单元4。PLLS 3可以被配置成例如调节太空服压力，提供可呼吸的氧气，从呼吸氧气中去除二氧化碳、湿气、气味和污染物，冷却气体或液体并使其再循环通过太空服。操纵单元4可以被配置为提供用于个体在自由空间中的受控运动的推进功率。在所示示例中，太空服2包括衣服部分9和头盔10。头盔10通过紧固装置8可释放地连接到衣服部分9的顶部。头盔10通常是刚性的并且包括限定个体可用视野的透明护目镜12。

太空服2和任何帮助设备3、4可以被看作是被电子控制的太空服系统SSS的一部分。SSS包括控制装置，该控制装置包括被配置为控制SSS的操作的逻辑单元。该逻辑单元可以用硬件、软件或硬件和软件的组合来实现。

图2中描述了SSS的详细示例。在所示示例中，SSS包括一个或更多个处理器102、存储器控制器103、外围设备接口(I/F)104、存储器105、电源106、内部传感器装置107、外部传感器装置108、音频控制电路109、视觉控制电路110、通信接口(I/F)111、用于用户输入的一个或更多个手动控制件112、麦克风113、扬声器系统114、可选地被配置用于增强现实(AR)的显示系统、光控制电路116、一个或更多个光源117、推力控制电路118、推进系统118'和流体控制电路119。这些部件中的一个或更多个可以通过一个或更多个通信总线或信号线进行通信，如图2中的箭头所示。

图2仅是SSS系统的一个示例。因此，SSS可以包括比图2所示的组件更多或更少的组件，可以将两个或更多个组件组合为功能单元，或者可以具有不同的组件配置或布置。图2所示的各种组件中的一些可以用硬件、软件或硬件和软件的组合来实现，包括一个或更多个信号处理和/或专用集成电路。

在一些实施方式中，处理器102运行或执行存储在存储器105中的各种软件程序和/或指令集，以执行SSS的各种功能并处理数据。在一些实施方式中，处理器102包括CPU(“中央处理单元”)、DSP(“数字信号处理器”)、微处理器、微控制器、ASIC(“专用集成电路”)、离散模拟和/或数字组件的组合或一些其它可编程逻辑装置(例如FPGA(“现场可编程门阵列”))中的一者或更多者。存储器105可以包括一个或更多个计算机可读存储介质(例如高速随机存取存储器)和/或非易失性存储器(例如一个或更多个磁盘存储装置、闪存装置或其它非易失性固态存储装置)。存储器控制器103可以控制诸如处理器102和外围设备I/F 104的其它组件对存储器105的访问。外围设备I/F 104可以将输入和输出外围设备联接到处理器102和存储器105。在一些实施方式中，处理器102、存储器控制器103和存储器105是上述控制装置101的一部分，其由虚线表示并且可以或可以不集成在单个芯片上。

在一些实施方式中，存储在存储器105中的软件组件包括操作系统和一组软件模块或应用程序。软件模块可以对应于通过使用图2所示的组件来执行一个或更多个功能的一组指令。为了清楚起见，在图2中没有示出这样的软件模块。操作系统可以包括用于控制和管理一般系统任务(例如，存储器管理、存储装置控制、电源管理等)的各种软件组件和/或驱动器，并且便于各种硬件和软件组件之间的通信。

在一些实施方式中，SSS包括用于为其各种组件供电的电源106(“电力系统”)。电力系统106可以包括电力管理系统、一个或更多个本地电源(诸如电池、燃料电池、光伏电池等)、再充电系统、电力故障检测电路、电力转换器或逆变器、电力状态指示器以及与计算机化装置中的电力的生成、管理和分配相关联的任何其他组件。

在一些实施方式中，SSS包括内部传感器装置107，其被配置为检测和/或测量个体和/或太空服内部的特性。例如，装置107可以包括用于测量气体压力、气体成分、温度、湿度、心脏活动、血压、应力水平等的传感器。在一些实施方式中，装置107包括头部跟踪装置或视线跟踪装置中的至少一个。头部跟踪装置被配置为确定个体的头部在头盔内的瞬时姿态，并且可以基于任何常规技术，例如直接或间接附接到头部的计算机视觉和/或惯性传感器。在另一个另选方案中，头部的姿态是通过使用头部上和头盔内部的协作元件(例如磁体和磁场传感器、或光发射器和光传感器)来确定的。视线跟踪装置被配置成通过测量眼睛位置和眼睛运动来确定个体的瞬时视线方向。视线跟踪装置可以基于任何常规技术，诸如通过计算机视觉的光学跟踪、眼睛附着的跟踪或通过布置在眼睛周围的电极的电势测量。在一些实施方式中，装置107包括用于测量个体的瞬时身体姿态的传感器(“身体姿态传感器”)。身体姿态可以以任何细节给出，并且因此可以定义任何数量的肢体的相对位置。身体姿态传感器可以包括直接或间接连接到个体的各个肢体和/或太空服的各个部分的可穿戴惯性传感器。另选地或附加地，身体姿态传感器可以包括直接或间接连接到个体和/或太空服的应变传感器。

在一些实施方式中，SSS包括外部传感器装置108，其被配置为检测和/或测量个体周围的属性。例如，装置108可以包括用于测量诸如气体成分、温度等环境参数的传感器。在一些实施方式中，装置108包括用于检测个体周围的检测空间中的物体和/或物体的一个或更多个属性的一个或更多个传感器。检测空间可以具有任何形状和范围。在一些实施方式中，所述检测空间是全向的。这样的装置108可以被配置为生成表示物体的位置、形状、距离、温度或成分中的一个或更多个的测量数据。装置108中的传感器的示例包括提供视野内的二维(2D)或三维(3D)表示的视觉传感器。视觉传感器可以是用于一个或更多个波长区域中的辐射检测的阵列检测器或相机，例如视觉相机、热感相机、多光谱相机等。视觉传感器的其它示例包括光检测和测距(LIDAR)系统、无线电检测和测距(RADAR)系统、超声传感器等。

在一些实施方式中，SSS包括音频控制电路109，其被配置为允许个体与其他个体交流和/或生成用于语音控制装置的语音命令。其它个体可以位于航天器的内部或外部，或者在任务控制中心中，例如在地球上。音频控制电路109连接到太空服内的一个或更多个麦克风113以及扬声器系统114。麦克风113和扬声器系统114可以连接到个体的头部和/或头盔的内部。

在一些实施方式中，SSS包括视觉控制电路110，其被配置为向个体视觉地呈现信息。视觉信息可以表示由装置107、108生成的数据或经由通信I/F 111接收到的数据。在一些实施方式中，视觉控制电路110连接到显示装置115，显示装置115可以集成到护目镜(参见图1中的12)中或与护目镜相关联和/或佩戴在个体的头部或眼睛上。显示装置115可以被配置为或可以不被配置为提供增强现实(AR)。例如，显示装置115可以包括抬头显示器(HUD)、仿生隐形眼镜、虚拟视网膜显示器、AR启用眼镜等中的一个或更多个。在一些实施方式中，视觉控制电路110连接到光控制电路116，光控制电路116可工作以控制一个或更多个光源117将可见光投射到太空服的周围环境中。光控制电路116可以控制由光源117提供的光的空间分布和/或波长。在一个示例中，光源117可工作为选择性地将光束引导到周围环境中，例如通过使用常规光束扫描器。在另一示例中，光源117可工作为生成静态光束并将其投射到周围环境中。

在一些实施方式中，SSS包括通信I/F 111，其被配置用于接收例如电磁信号形式的通信信号。通信I/F 111可以实现与航天器或其它太空服的本地通信，并且实现与任务控制中心的远程通信。通信信号的发送和接收可以例如经由射频(RF)收发器无线地执行。在一些实施方式中，通信I/F 111包括RF电路，该RF电路被配置成将电信号转换成电磁信号/从电磁信号转换电信号，并且经由电磁信号与通信网络和其他通信装置通信。RF电路可以包括用于发送和接收通信信号的公知电路，包括但不限于天线系统、RF收发器、一个或更多个放大器、调谐器、一个或更多个振荡器、数字信号处理器、CODEC芯片组等。无线通信可以使用任何可用的通信标准、协议和技术。

在一些实施方式中，SSS包括用于用户输入的一个或更多个手动控制件112。手动控制件可以包括一个或更多个物理按钮(例如，按钮、摇杆按钮等)、拨号盘、杠杆、键、滑块开关、操纵杆、点击轮等。

在一些实施方式中，SSS包括推力控制电路118，其被配置为控制由推进系统118'产生的推力，推进系统118'可以包括在SSS中(参见图1中的操纵单元4)。推力控制电路118可工作为控制推力的大小和方向。推进系统118'可工作为释放流体以产生期望的推力。在非限制性示例中，流体包括氧气或氮气中的一种或更多种。推进系统118'可以被启动以使个体在太空中移动，例如在太空行走期间。

在一些实施方式中，SSS包括流体控制电路119，其被配置为控制太空服内的一种或多种流体的供应和/或移除。流体控制电路119可以对应于图1中的PLLS 3。

1.舱外活动期间的基于音频的帮助

本公开的该部分涉及在EAV期间向个体或用户提供帮助以改善用户对周围环境的感知的技术。本公开的这一部分具体地但非排他地涉及通过为用户生成具有感知到的起源的可听见的声音来指示周围环境中存在物体的发明概念，所述感知到的起源对应于物体相对于用户头部的位置。因此，基于音频的帮助对于用户是直观的，并且可以在不遮挡或阻碍用户的视野的情况下提供。

将参考图3A和图3B进一步解释本发明的概念，图3A和图3B是太空服的示例头盔10内的头部20的俯视图。出于说明的目的，以截面示出了头盔10。头部20的方向由鼻子21和耳朵22的位置表示。如图所示，头盔10限定围绕头部20的保护壳体11。该壳体11与头部20间隔开，从而头部20可相对于头盔10移动。这是太空服头盔的共同特性。通常，头盔10被成形为球形圆顶，以平衡对视野、压力补偿和低重量的需要。

在图3A和图3B的示例中，外部监视传感器31设置在头盔10上。术语“外部”并不意味着监视传感器31需要位于太空服的外部，而是被配置为生成外部传感器数据ESD，该数据表示头盔10外部和周围的检测空间。在一些实施方式中，监视传感器31被配置为生成表示检测空间中的物体的测量数据。这种测量数据至少表示物体相对于监视传感器31的位置，并且还可以表示物体的性质，诸如其形状、其温度或其成分。监视传感器31可以是如图2所示的装置108的一部分，并且可以实现为视觉传感器。

监视传感器31不需要设置在头盔10上，而是可以设置在太空服上的任何地方。此外，可以设置多个监视传感器31以提供ESD。在一个示例中，监视传感器31中的至少一些是相同的并且布置在太空服上的不同位置处，例如以增加检测空间。在另一示例中，至少一些监视传感器31是不同类型的，例如以增加ESD的多样性并增加检测物体和/或物体特性的能力。

在图3A和图3B的例子中，头部跟踪装置32被设置在头盔10上以生成头部姿态数据HPD，该数据表示瞬时头部姿态。如本文所用，“头部姿态”是指头部20在头盔10内部并相对于头盔10的取向，并且可选地还指头部20的位置。在所示的例子中，头部跟踪装置32被设置在头盔10的内部，但是也可以设置在外部。头部跟踪装置32可以是如图2所示的装置107的一部分。

图3A和图3B还示出了分布在头盔10内部的扬声器33阵列的设置。阵列中的扬声器33的数量至少为两个，以实现所生成的声音的空间化(下文)。在一个变型中，扬声器33被设置在位于用户耳朵22上的耳机中。扬声器33的阵列可以是如图2所示的扬声器系统114的一部分。

为了便于下面的讨论，在图3A和图3B中示出了第一坐标系C1和第二坐标系C2。第一坐标系C1相对于传感器31固定。第二坐标系C2相对于头部固定。坐标系C1、C2分别表示为(x，y，z)轴和(x'，y'，z')轴的笛卡尔坐标系，但是可以使用任何其它坐标系，例如极坐标系。

头盔10还包括透明护目镜12，透明护目镜12允许用户观察头盔10前面的周围环境。在图3A和图3B中，虚线表示当将头部保持在固定位置并且仅移动眼睛时用户的中心视觉的极限。因此，在图3A和图3B中，IFV表示中心视觉的可用跨度。中心视觉也称为中心凹视觉，并且允许用户区分物体的细节、颜色和形状。在中心视觉之外，在旁中心视觉(paracentral vision)、中周视觉(mid-peripheral vision)和远周视觉(far-peripheralvision)(在此统称为“周边视觉”)的区域中，人类发现难以区分物体。因此，人倾向于移动其头部以扫描周围环境。此外，当感知到物体存在于周边视觉中时，人倾向于将其头部转向物体以将其带入中心视觉。

在图3A中，用户面向护目镜12并且具有至少在水平方向上不受头盔10阻碍的IFV。在图3B中，个体已经将头部20向左转动，并且IFV部分地由护目镜12左侧的不透明头盔材料界定。如果还考虑用户的周边视觉，可以认识到，对于头盔10内的头部10的所有取向，头盔10将阻挡周边视觉的至少一部分。因此，包括周边视觉的视野可以是头部姿态不变的。

为了在视觉上扫描更大部分的周围环境，用户必须扭转躯干或整个身体以转动头盔10。这可能相当困难并且在低重力下花费时间。鉴于头盔10的视觉约束，用户易于受到出现的可能对用户造成危害的物体的侵害。此外，视觉约束可能使用户执行与一个或更多个周围物体相关的各种任务非常麻烦。应当记住，由于低重力，物体以及用户在自由空间中随着时间的推移被吸引向较重的物体。因此，低重力和视觉约束的组合可能导致用户未注意到物体的位置的不期望的变化。因此，通常希望提高在低重力环境中穿着太空服的用户对周围环境的认识。

该目的至少部分地由图4所示的装置120实现。装置120是系统100的一部分，系统100还包括监视传感器31、头部跟踪装置32和扬声器33的阵列。装置120包括处理器电路101(可以对应于图2中的控制装置101)、第一输入装置120A和第二输入装置120B，第一输入装置120A被配置为从监视传感器31接收ESD，并且第二输入装置120B被配置为从头部跟踪装置32接收HPD。输入装置120A、120B(“输入端”)可以包括用于接收输入信号的任意常规硬件接口(可选地与软件组合)。装置120还包含输出装置120C(“输出端”)，输出装置120C被配置为可选地经由图2中的音频控制电路109将音频控制数据ACD提供到扬声器33的阵列。在图4中，监视传感器31是传感器装置108的一部分，头部跟踪装置32是传感器装置107的一部分，而扬声器33是扬声器系统114的一部分。

图4中的装置120可以包括在太空服2中，例如通过制造或改装。装置120可以是单一部件或分离部件的组件。还可以想到，装置120包括系统100的一个或更多个附加部件，例如扬声器33的阵列、监视传感器31或头部跟踪装置32。在一些实施方式中，头盔10也是装置120的一部分。

图5是在EVA期间帮助用户的示例方法140的流程图。方法140是由计算机实现的，并且可以由图4中的装置120执行。方法140可以由硬件或硬件与软件的组合来实现，例如由存储在装置120的存储器中的程序指令来实现。方法140包括步骤141至145，其可以随时间重复以向用户提供连续帮助。

在步骤141中，获得所述第一数据和所述第二数据。第一数据表示用户周围的检测空间。第一数据对应于图4中的ESD并且由装置120经由输入端120A获得。检测空间由这样的一体积限定，在该体积中，一个或更多个监视传感器31响应于物体。第二数据表示用户的头部相对于头盔10的姿态。第二数据对应于图4中的HPD并且由装置120经由输入端120B获得。

在步骤142中，处理第一数据以检测与检测空间中的用户相关的物体。相关物体可以是广义上的任何类型的物体。因此，物体可以是能触知的物体(如人造工具)、地形、另一穿太空服中的用户、太空碎片、陨石等。物体还可以是难以识别的物体，诸如温度升高/降低的区域、气体的形成等。步骤142可以检测任何数量的相关物体。在一些实施方式中，在步骤142中，在检测空间内检测到的任何和所有物体可被认为是相关物体。在其它实施方式中，相关物体被限制为一个或更多个特定类别的物体(下文)。

在步骤143中，基于第一数据来确定相应物体相对于头盔10的第一位置。在图3A和图3B的示例中，第一位置在第一坐标系C1中确定，并且可以由(x，y，z)坐标给出。第一位置可以表示物体的任何可检测特征，例如角部、几何中心等。还应当理解，步骤143可以确定物体的超过一个的第一位置。尽管第一位置通常是三维给出的3D位置，但在一些实施方式中它可以是2D位置。如这里所使用的，“相对于头盔”确定的位置意味着该位置是相对于太空服上的参考点确定的。因此，参考点不需要但可以位于头盔上。

实际上，步骤142和143可以合并，使得物体的第一位置是作为物体检测处理的一部分被确定的。

在步骤144中，基于来自步骤143的第一位置和来自步骤141的第二数据(HPD)确定物体相对于用户头部20的第二位置。如这里所使用的，“相对于头部”确定的位置意味着该位置是相对于头部20上的参考点确定的。通过步骤144，确定第二位置以相对于头部20而不是太空服2或头盔10来定位物体。本领域技术人员理解，步骤144中的确定是可行的，因为第二数据定义了头部20与头盔10之间的空间关系，并且第一位置定义了物体与头盔10之间的空间关系。如果在步骤143中为物体确定了超过一个的第一位置，则在步骤144中可以为第一位置的全部或子集确定多个第二位置。在图3A和图3B的示例中，第二位置在第二坐标系C2中被确定，并且可以由(x'，y'，z')坐标给出。

在步骤145中，使扬声器33的阵列生成具有由第二位置给出的空间起源的可听见的声音。因此，不仅将关于物体的存在通知给用户，而且可以将其相对于用户头部的位置通知给用户。在图4的上下文中，步骤145生成由控制装置120输出的音频控制数据ACD。在一些实施方式中，空间起源被设置为与第二位置重合。在其它实施方式中，空间起源被设置在物体离开用户头部20的方向上，例如沿着连接头部20和第二位置的线的某处。对于后面的实施方式，可听见的声音将不再现到物体的距离，但仍然通知用户关于到物体的方向。

具有特定空间起源的可听见的声音的生成通常被称为“3D音频空间化”，并且涉及操纵到扬声器33的阵列中的不同扬声器的音频信号，以便实现所得到的可听见的声音的空间起源的期望的虚拟布置。

在非限制性示例中，3D音频空间化是通过对具有已知布置的扬声器使用所谓的头部相关传递函数(HRTF：Head-related Transfer Function)来实现的。HRTF模块可以被配置为基于第二位置获得两个或更多个扬声器33的HRTF。HRTF模块可以从将HRTF与位置关联起来的HRTF数据库中取得HRTF。这样的数据库对于所有用户可以是通用的，或者适合于特定用户。HRTF模块可以被配置为在给定第二位置的情况下从所述数据库中选择HRTF的最佳匹配，或者基于第二位置在所述数据库中的HRTF之间执行插值。然后，针对基本信号运算所选择的HRTF，以生成用于各个扬声器的音频信号。如本领域所公知的，该运算可以在时域或频域中进行。

在一些实施方式中，3D音频空间化由控制装置120实现，并且ACD是以音频信号的形式提供给各个扬声器33的。在其它实施方式中，3D音频空间化是由图2中的音频控制电路109实施的，并且ACD仅表示空间起源。装置120与音频控制电路109之间的3D音频空间化的划分也是可以想象的。

图5中的方法将在图6中进一步说明，图6对应于图3A并且示出了位于监视传感器31的检测空间内的物体40。在步骤142中检测物体40，并且在步骤143中确定物体40相对于第一坐标系C1的第一位置。在所示示例中，第一位置指定物体40上的角部41。与头盔10相关的头部姿态(即第一坐标系C1与第二坐标系C2之间的空间关系)由头部跟踪装置32提供的第二数据给出。在步骤144中，基于第二数据将第一坐标系C1中的第一位置转换为第二坐标系C2中的第二位置。例如，可以基于第二数据定义传统的3D变换矩阵，并对第一位置进行运算。例如，如图6所示，第二位置可以由距离r'、(x'，y')平面中的方位角φ'和(y'，z')平面中的仰角(未示出)给出。在步骤145中，如图6中的压力波图标所示，激活扬声器33以产生起源在第二坐标系C2中的第二位置处的可听见的声音。

在一些实施方式中，所测量的头部姿态的时间响应被设置为提供期望的用户体验。如果时间响应高，则可听见的声音的位置可以立即表示头部姿态。如果时间响应低，则可以抑制快速或暂时头部运动的影响。所测量的头部姿态的时间响应可以由传感器装置107和/或装置120中的低通滤波器来设置。

图7A是可以是方法140中的步骤142的一部分的示例过程的流程图。如下面将进一步说明的，当生成可听见的声音时，来自步骤142的结果可以被步骤145使用，例如以多样化由可听见的声音提供的反馈。在步骤142A中，处理第一数据以进行物体检测。如上所述，第一数据可以源自多个监视传感器31，并且来自不同监视传感器31的数据可以作为步骤142的一部分被合并或融合，例如以确定物体的多个属性或物体的3D形状。在一些实施方式中，第一数据包括2D表示(“数字图像”)，并且步骤142涉及通过用于物体检测的一个或更多个常规算法来处理数字图像，其可以涉及或可以不涉及物体分类(参见步骤142B)。这种算法的非限制性示例包括各种基于机器学习的方法或基于深度学习的方法，诸如Viola-Jones物体检测框架、SIFT、HOG(方向梯度的直方图)、区域建议(RCNN、Fast-RCNN、Faster-RCNN、GCNN)、SSD(Single shot Multibox Detection，单步多框检测器)、只看一次(YOLO、YOLO9000、YOLOv3)、Refinedet(用于物体检测的单步细化神经网络)和RetinaNet。步骤142还可以包括传统的特征检测算法，例如可工作用于检测数字图像中的边缘、拐角、斑点、脊等中的一个或更多个的图像处理技术。特征检测算法的非限制性示例包括SIFT(尺度不变特征变换)、SURF(加速鲁棒特征)，FAST(来自加速段测试的特征)、SUSAN(最小单值段同化核)、Harris仿射区域检测器和ORB(定向FAST和旋转BRIEF)。

步骤142B基于第一数据和/或在步骤142A中检测到的物体来执行物体分类。因此，步骤142B可以为检测到的相关物体提供至少一个物体类别。可以基于由可用监视传感器31给出的任何可检测特性(例如形状、温度、成分、速度等)，将物体分类成不同的物体类别。如果在步骤142A中检测到物体，则也可以基于上述物体特征将物体分类。如上所述，在一些实施方式中，步骤142B可以作为步骤142A中使用的算法的组成部分来执行。

步骤142C处理第一数据、在步骤142A中检测的物体、或在步骤142B中确定的物体类别中的至少一者以用于危险检测。步骤142C由此评估物体是否对用户造成危险或风险。步骤142C因此可以指出物体是否与危险相关联。危险的存在可能取决于环境。例如，在空间中探索地面期间，不稳定的地面、陡峭的山丘、悬崖、大岩石、尖锐物体、空间探测车辆、建筑物等可能对用户造成危险。在太空行走期间，陨石、空间碎片、尖锐物体、点火推进器等可能对用户造成危险。

步骤142D处理第一数据、在步骤142A中检测的物体或在步骤142B中确定的物体类别中的至少一者以进行危险分类。基于由可用监视传感器31给出的任何可检测属性(例如形状、大小、温度、成分、速度、移动方向、加速度等)，可以将危险分类为不同的危险类别。步骤142D因此可以为相关的检测物体提供至少一个危险类别。

在图7A中，步骤142B至142D是可选的，并且可以根据将由步骤145提供的功能来实现。还可以注意到，步骤142A至142D中的任何一个可以至少部分地由相应的监视传感器31、由图4中的传感器装置108中的预处理单元(未示出)、或由多个监视传感器31之间的协作处理来执行。因此，参考图4，第一数据(ESD)可以包括来自监视传感器31的原始传感器数据、预处理的数据或物体检测的指示，可选地还包括物体类别和/或检测到的危险和/或危险类别的指示。在图4的上下文中，当步骤142由装置120执行时，装置120对ESD的处理的范围可以从根据如上所述的步骤142A至142D中的一个或更多个的原始传感器数据的完全处理到从ESD提取检测到的物体、物体类别、检测到的危险或危险类别的一个或更多个指示。对于步骤143中的位置确定，类似的处理划分是可能的。在图4的上下文中，当由装置120执行步骤143时，装置120对ESD的处理的范围可在从原始传感器数据的完全处理到从ESD提取所检测的物体的位置的指示。

图7B是可以作为方法140中的步骤145的一部分的示例过程的流程图。图7B中的过程包括步骤151至155，它们都是可选的并且可以以任何方式组合。步骤151至154的共同之处在于，生成具有表示物体的可辨别特性的可听见的声音。该特征是“可辨别的”，即它是可听见的，并且能够与可能由扬声器系统在头盔内产生的其它声音区别开来(参见图2中的114)。就步骤151至154的目的是传送除了物体的位置之外的信息而言，可辨别特性是可听见的声音(而不是空间起源)的可听特性。例如，可听属性可以是频率或频率组合、持续时间、开和关的声音模式、响度、音色等，或其任何组合。

在步骤151中，可辨别特性被设置为表示被检测到的物体的特性。在一些实施方式中，如步骤142B所确定的，可辨别特性表示物体类别，并且在不同物体类别之间不同。这允许用户从可听见的声音中察觉物体的位置和类型。在一些实施方式中，如步骤142C所确定的，可辨别特性表示检测到的物体是否与危险相关联。这允许用户察觉到在检测空间存在潜在风险以及风险的位置。在一些实施方式中，如步骤142D所确定的，可辨别特性表示危险类别，并且在不同危险类别之间不同。这允许用户察觉在检测空间中存在潜在风险以及风险的程度和位置。

在步骤152中，假定方法140包括基于第一数据ESD确定检测到的物体的轨迹的步骤152A，则根据物体的轨迹修改可辨别特性。步骤152A不必是步骤152的一部分，而是可以在步骤141之后的任何时间执行，此时已经获得第一数据。轨迹是例如在第一坐标系C1中的物体的位置的时间序列。轨迹可以是由物体所遵循直到当前时间点的实际轨迹和/或物体的估计的未来轨迹。未来轨迹可以以公知的方式估计，例如基于第一位置、速度或加速度。图8A示出了背对物体40的用户，该物体40由传感器31检测到并被发现处于未来轨迹T1上。在一些实施方式中，步骤152可以修改可辨别特性以指出实际轨迹或未来轨迹是朝向还是远离用户，或者指出未来轨迹与另一检测到的物体的未来轨迹相交或与用户相交的可能性。在另一示例中，可辨别特征被设置为在不同类型的轨迹之间是不同的。

在步骤153中，根据检测到的物体与用户之间的距离和/或检测到的物体相对于用户的移动方向来修改可辨别特性。例如，可辨别特性可被修改为随着距离减小而越来越多地引起用户的注意。类似地，当移动方向以用户的身体为目标时，可辨别特征可以被修改以越来越多地捕引起用户的注意。

在步骤154中，根据头部姿态来修改可辨别特性，例如由第二数据HPD给出的头部相对于头盔的取向。头部姿态表示用户的焦点。通常，步骤154允许基于用户知道检测到的物体的可能性来调整可辨别特性。因此，可以执行步骤154以将用户的注意力引导向不可能被用户视觉检测到的物体。这种物体可以被头盔或一个或更多个其它物体遮蔽而看不见。回到图8A，在检测到用户的头部20背对物体40时，可以使头盔10中的扬声器阵列(未示出)生成具有可辨别特性的可听见的声音，该可辨别特性对于被遮蔽的物体或位于用户后面的物体是特定的。

在一些实施方式中，根据检测到的物体与用户的视野之间的关系来修改可辨别特性。视野可以是静态的或动态的。动态视野随着用户的头部姿态而改变，而静态视野是固定的并且独立于头部姿态。如上所述，视野可以随头部姿态而不同，例如，如果视野对于每个头部姿态是通过面甲12的中心视觉的可用跨度，如图3A和图3B中的IFV所示。同样如上所述，当还考虑用户的周边视觉时，视野可以独立于头部姿态。

在一些实施方式中，如图7B中例示的，方法140可以包括基于第二数据HPD计算用户的通过护目镜12的视野的步骤154A，以及确定检测到的物体40与视野之间的关系的步骤154B。步骤154A由此确定动态视野。步骤154A至154B不必是步骤154的一部分，而是可以在步骤141之后的任何时间执行，此时已经获得了第二数据。可以认识到，步骤154A至154B可以增加多样性和/或改善可听反馈与用户的相关性。

在图7B中未示出的一些实施方式中，视野是静态的并且是相对于头盔10限定的。由此，可以通过评估物体在第一坐标系C1(图6)中相对于视野的第一位置的固定定义来确定所检测的物体与视野之间的关系。这样的实施方式还可以增加多样性和/或改善可听反馈与用户的相关性。

在可应用于静态视野和动态视野两者的一些实施方式中，如果物体在视野内或视野外，则生成具有不同可辨别特性的可听见的声音。例如，如果物体在视野内，可听见的声音可以更柔和或完全关闭。如果物体在视野之外，则可以生成更引人注意的可听见的声音。

在步骤155中，使扬声器33的阵列以言语表达代表所检测的物体的物体数据。如这里所使用的，“言语表达”意指说出具有一个或更多个单词的消息。使用言语表达可以进一步改善用户对检测空间中的物体或风险的感知。可以注意到，针对言语表达和空间化声音的生成，可以激活扬声器阵列的不同子集。在一些实施方式中，物体数据包括检测到的物体的表征，例如物体类别、危险类别、温度、成分等。在一些实施方式中，物体数据包括至检测到的物体的距离和/或至检测到的物体的方向。在一些实施方式中，物体数据包括对用户的移动指令，例如停止或移开的命令。

可以注意到，可以实现图7B的过程中的至少一些步骤，以警告用户关于对位于用户的检测空间内并由此在步骤142(图5)中检测到的另一用户造成风险的物体。用户可以使用常规的音频通信、光信令(第3章)等来警告其他用户该风险。例如，步骤142C、142D(图7A)中的危险检测和/或危险分类也可以用于其他用户。因此，在步骤151中，可以生成具有可辨别特性的可听见的声音，该可辨别特性向用户指出另一个用户处于危险中，并且可选地指出危险的类型。在另一示例中，在步骤152中，可辨别特性可以根据另一用户的轨迹被修改。在又一示例中，在步骤153中，可辨别特征可以根据相对于另一用户的距离和/或移动方向被修改。在所有示例中，可以生成可听见的声音，其中空间起源处于在其他用户或有危险的物体或两者处。

图7C是例如在步骤145之后可以包括在方法140中的示例过程146的流程图。例如在紧急情况下或在地面探索期间，提供示例过程146以沿着路径引导用户。图8B中示出了即将发生的紧急情况的示例。这里，用户1在航天器50外部的自由空间中执行任务。该太空服包括装置120(图4)，该装置被操作为检测用户1周围的检测空间中的风险，并通过空间化的可听见的声音以及可选地通过言语表达来发信号通知这些风险。在所示的例子中，装置120检测接近用户1的流星群40。在检测到所述流星群对用户造成风险时，装置120可以确定个体1离开有被流星群击中的风险的区域的路径P1。路径P1可以是预定的或动态确定的，例如基于第一数据。通常，路径P1从第一位置延伸到第二位置。在所示的示例中，路径P1沿着梯子51通向舱口52以进入航天器50。转到图7C，过程146包括步骤161至163。在步骤161中，基于在步骤141中获得的第一数据(ESD)来确定路径P1上的路径点。通过与步骤142类似的方式，相对于头盔10确定在图8B中表示为W1的路径点。在步骤162中，类似于步骤143至144，基于在步骤141中获得的第二数据(HPD)，确定路径点W1相对于个体头部的位置。在步骤163中，通过与步骤145类似的方式，使头盔10中的扬声器阵列生成相对于头部在路径点W1处或在路点W1的方向上具有空间起源的可听见的声音。由此，沿着路径P1通过可听的声音来引导用户。还可以想到，在步骤163中使扬声器阵列言语表达路径P1。

在上文中描述的一些实施方式的一个优点是通过音频呈现用户视野之外的障碍物和危险，允许用户同时处理用户视野内的视觉信息。相比之下，AR系统不能指示用户视野之外的物体的位置。因此，这里描述的实施方式可以代替或补充AR系统。

一些实施方式的另一个优点是如果视力丧失，例如如果用户失明或头盔护目镜受损，则将用户引导到安全的地方。

此外，一些实施方式使得用户能够被告知人眼察觉不到的特征。例如，一些实施方式可以帮助用户在冷热物体之间进行区分。

在下文中，引用条款以概括如在前述中公开的一些方面和实施方式。

C1、一种在舱外活动期间帮助个体的装置，所述装置包括：用于表示所述个体周围的检测空间的第一数据(ESD)的第一输入端(120A)；用于表示所述个体的头部(20)相对于头盔(10)的姿态的第二数据(HPD)的第二输入端(120B)，该头盔被穿戴在所述个体的头部(20)并且具有允许头部(20)在头盔(10)内移动的间距；以及处理器电路(101)，其被配置为：获得第一输入端(120A)上的第一数据(ESD)；获得第二输入端(120B)上的第二数据(HPD)；处理所述第一数据(ESD)以在所述检测空间中检测与所述个体相关的物体(40)并确定所述物体(40)相对于所述头盔(10)的第一位置；基于所述第一位置和所述第二数据(HPD)来确定所述物体(40)相对于所述头部(20)的第二位置，并使所述头盔(10)中的扬声器(33)的阵列在所述头盔(30)内生成具有由所述第二位置给定的空间起源的可听见的声音。

C2、根据C1所述的装置，其中，所述处理器电路(101)被配置成使所述扬声器(33)的阵列生成具有可辨别特性的可听见的声音，所述可辨别特性表示所述物体(40)。

C3、根据权利要求C2所述的装置，其中，所述可辨别特性是所述可听见的声音的除所述空间起源以外的可听特性。

C4、根据C2或C3所述的装置，其中，所述处理器电路(101)被配置为处理所述第一数据(ESD)以检测与所述物体(40)相关联的危险，并且其中，所述可辨别特性表示所述危险。

C5、根据C4所述的装置，其中，所述处理器电路(101)还被配置为处理所述第一数据(ESD)以将所述危险分类为多个危险类别中的危险类别，其中，所述可辨别特性表示所述危险类别并且在所述危险类别之间是不同的。

C6、根据C2至C5中任一项所述的装置，其中，所述处理器电路(101)被配置为处理所述第一数据(ESD)以将所述物体(40)分类为多个物体类别中的物体类别，其中，所述可辨别特性表示所述物体类别并且在所述物体类别之间是不同的。

C7、根据C2至C6中任一项所述的装置，其中，所述处理器电路(101)被配置为根据所述物体(40)与所述个体或所述检测空间中的另一个体之间的距离和/或所述物体(40)相对于所述个体或所述检测空间中的所述另一个体的移动方向来修改所述可辨别特性。

C8、根据C2至C7中任一项所述的装置，其中，所述处理器电路(101)被配置为根据所述头部的姿态来修改所述可辨别特性。

C9、根据C2至C8中任一项所述的装置，其中，所述处理器电路(101)被配置为根据所述物体(40)与所述个体的视野之间的关系来修改所述可辨别特性。

C10、根据C9所述的装置，其中，所述处理器电路(101)被配置为基于所述第二数据(HPD)来计算所述个体的通过所述头盔(10)的护目镜(12)的视野，并且确定所述物体(40)与所述视野之间的关系。

C11、根据C9或C10所述的装置，其中，所述处理器电路(101)被配置为如果所述物体(40)在所述视野内或所述视野外，则生成具有不同的可辨别特性的所述可听见的声音。

C12、根据C2至C11中任一项所述的装置，其中，所述处理器电路(101)被配置为基于所述第一数据来估计所述物体的轨迹(T1)，并且根据所述轨迹(T1)来修改所述可辨别特性。

C13、根据任一前述条款所述的装置，其中，所述处理器电路(101)被配置为基于所述第一数据(ESD)来确定在从所述个体的第一位置到第二位置(EP)的路径(P1)上相对于所述头盔(10)的路径点(W1)，基于所述第二数据(HPD)来确定所述路径点(W1)相对于所述头部的位置，并且生成另一可听见的声音，该另一可听见的声音具有由所述路径点(W1)相对于所述头部的所述位置给出的空间起源。

C14、根据C13所述的装置，其中，所述处理器电路(101)还被配置成使所述扬声器(33)的阵列对所述路径(P1)进行言语表达。

C15、根据前述任一项条款所述的装置，其中，所述处理器电路(101)被配置成使所述扬声器(33)的阵列对表示所述物体(40)的物体数据进行言语表达。

C16、根据C15所述的装置，其中，所述物体数据包括以下中的一个或更多个：所述物体(40)的表征、到所述物体(40)的距离、到所述物体(40)的方向或针对所述个体的移动指令。

C17、根据任一前述项条款所述的装置，所述装置还包括被配置为生成第一数据的所述头盔(10)、所述扬声器的(33)阵列、所述传感器装置(108；31)中的任一者，或者被配置为生成第二数据的头部跟踪装置(32)。

C18、根据C17所述的装置，其中，所述传感器装置(108；31)被配置为检测形状、距离、温度或成分中的一项或更多项。

C19、一种用于舱外活动的太空服，所述太空服(2)包括根据任一前述条款所述的装置。

C20、一种在舱外活动期间帮助佩戴头盔的个体的计算机执行的方法，所述头盔允许所述个体在所述头盔内移动其头部，所述计算机执行的方法包括：获得(141)表示所述个体周围的检测空间的第一数据；获得(141)表示所述个体的头部相对于所述头盔的姿态的第二数据；基于所述第一数据，在所述检测空间中检测(142)与所述个体相关的物体；基于所述第一数据来确定(143)所述物体相对于所述头盔的第一位置；基于所述第一位置和所述第二数据来确定(144)所述物体相对于所述头部的第二位置；以及使(145)头盔中的扬声器的阵列生成具有由第二位置给出的空间起源的可听见的声音。

C21、一种包含指令的计算机可读介质，当所述指令被安装在处理器(401)上时，所述计算机可读介质使所述处理器(401)执行根据C20所述的方法。

2.低重力环境中的活动期间的基于性能的反馈

本公开的这一部分涉及一种在低重力环境中提供表现支持的技术，以改善用户在低重力环境中如何执行任务的感知。本公开的这一部分具体地但不排他地涉及评估用户的测量的身体姿态和注视方向以检测用户执行任务的偏差并向用户或另一用户提供相关反馈的发明概念。本发明的概念可以实现为实时地向执行任务的用户提供反馈，从而允许用户立即校正任何偏差。或者，可以在任务完成之后向用户提供反馈，使得用户知道偏差，并且可以在下一次执行任务时采取校正措施。另选地或附加地，可以向另一用户提供反馈。实时反馈允许其他用户实时地向用户提供校正指令。在一些实施方式中，低重力环境是地球外的并且是舱外活动EVA。在其他实施方式中，本发明的概念应用于EVA的准备，例如在地球上低重力环境中的任务演练期间。在这两种情况下，本发明的概念具有降低用户在EVA期间无意中偏离预演运动的风险的技术效果。取决于实现方式，反馈可以是可听的/可视的或以另一种格式。

图9示出了在空间中或在准备空间任务的低重力环境中执行任务的个体或用户1。这里，任务是爬下或爬上梯子160。应当注意，术语“任务”广义上是指预定由个体在低重力环境中执行的任何动作序列。任务的其他非限制性示例包括爬出或爬入舱口，进入或离开载具、跳跃、举起、执行不同类型的维修或保养等。任务可以根据包括在任务中的不同动作的身体姿态和注视方向来预定。

在图9中，注视方向由箭头GD表示，并且身体姿态由两个身体角度θ1、θ2表示，这两个身体角度θ1、θ2是在在关节或“关键点”KP1、KP2处相遇的肢体之间定义的。可以认识到，取决于任务的身体姿态可以由一组身体角度来定义，并且该组身体角度在任务之间可以是不同的，例如取决于与任务相关的肢体。注视方向可以相对于太空服2(例如头盔10)给出。在一些实施方式中，注视方向是由相对于与太空服2相关联的坐标系的一组注视角(例如方位角和仰角)定义的。

从梯子160爬下的任务可以被定义为包括几个动作或运动，例如“从台阶抬起右脚”、“放下右腿”、“将右脚放在台阶上”、“从台阶抬起左脚”、“放下左腿”和“将左脚放在台阶上”。这些动作可以在任务期间重复并且可以花费任何时间来执行。该任务与标称表现方案NPS相关联，该标称表现方案NPS定义了执行该任务时将由个体获得的可允许的身体姿态和注视方向。如下面将要描述的，NPS可以采用不同的形式，并且用于评估个体是否有或没有偏差地执行任务。

图10示出了根据本发明构思的被配置为在低重力环境中提供表现支持的装置220。装置220是系统200的一部分，系统200还包括第一测量装置201、第二测量装置202和反馈装置203。第一测量装置201被配置为生成表示用户的身体姿态的第一数据。第一数据在下文中表示身体姿态数据BPD。第一测量装置201可以包括一个或更多个身体姿态传感器，例如参考图2中的传感器装置107所讨论的。第二测量装置202被配置成生成表示用户注视方向的第二数据。第二数据在下文中被表示为注视方向数据GDD。第二测量装置202可以包括注视跟踪装置。或者，注视方向可以由用户头部的取向来近似。因此，在一些实施方式中，第二测量装置202包括头部跟踪装置，并且GDD是头部跟踪装置的输出(参见第1章和第3章中的HPD)。注视或头部跟踪装置可以被配置成如参考图2中的传感器装置107所讨论的。反馈装置203被配置为基于由装置220提供的反馈数据FD来呈现反馈。反馈可以以视觉和/或听觉形式呈现。可听反馈数据可以以言语表达形式或作为表示检测到的偏差的专用信号来呈现。例如，可以呈现视觉反馈数据以在用户的图形表示上表示检测到的偏差的位置和大小，和/或示出相对于理想运动的所执行的运动。反馈还可以包括与用户的任务表现有关的一个或更多个计算的度量。

作为视觉和听觉反馈的替代或补充，反馈装置203可以呈现任何其它形式的反馈。例如，触觉反馈可以通过附着到用户肢体或身体部位的致动器给出。触觉反馈可以通过向用户施加力、振动或运动来给出。可以给出触觉反馈以表示偏离的位置和幅度。在一些实施方式中，可以操作致动器以通过抑制或抵消被发现偏离的肢体或身体部位的运动来提供反馈。这种类型的触觉反馈可以被看作“力反馈”。应当理解，“当前反馈”在本文中用于广义地涵盖向个体传达反馈的任何方式。

如上所述，反馈装置203可被设置成向执行任务的用户呈现反馈，并因此可被设置在太空服2中。这样的反馈装置203可以包括图2中的显示装置115和/或扬声器系统114，和/或上述致动器。另选地，反馈装置203可以被布置为向另一用户呈现反馈，该另一用户可以在另一太空服、航天器、任务控制中心、训练设施等中。这样的反馈装置203可以包括任何合适类型的显示装置和/或扬声器系统。

装置220包括：处理器电路101，其可以对应于图2中的控制装置101；第一输入装置220A，其被配置为从第一测量装置201接收BPD；以及第二输入装置220B，其被配置为从第二测量装置202接收GDD。输入装置220A、220B(“输入端”)可以包括用于接收输入信号的任意常规硬件接口(可选地与软件组合)。装置220还包括被配置为向反馈装置203提供FD的输出装置220C(“输出端”)。

图10中的装置220可以包括在太空服2中，例如通过制造或翻新。装置220可以是单一部件或分离部件的组件。还可以想到，装置220包括系统200的一个或更多个附加部件，例如第一测量装置201、第二测量装置202或反馈装置203。

图11是在低重力环境中提供表现支持的示例方法210的流程图。方法210是计算机实现的，并且可以由图10中的装置220执行。方法210可以由硬件或硬件与软件的组合来实现，例如由存储在装置220的存储器中的程序指令来实现。

在步骤211中，经由第一输入端220A获得BPD。根据实施方式，BPD可以包括来自第一测量装置201中的传感器的原始传感器数据、预处理的数据或表示身体姿态的数据(例如第一组身体角度)。

在步骤212中，经由第二输入端220B获得GDD。根据实施方式，GDD可以包括来自第二测量装置202中的传感器的原始传感器数据、预处理的数据或表示注视方向的数据(例如第二组注视角度)。

在步骤213中，基于BPD确定身体姿态的第一时间序列，并且基于GDD确定注视方向的第二时间序列。确定第一时间序列和第二时间序列以表示执行任务时的个体。根据BPD和GDD的内容和格式，步骤213可以包括从BPD和/或GDD读取表示身体姿态和/或注视方向的数据，或者处理BPD和/或GDD以确定这样的数据。

第一时间序列包括身体姿态的时间序列，并且表示在第一时间段的不同时间点的瞬时身体姿态。相应地，第二时间序列包括注视方向的时间序列，并且表示在第二时间段的不同时间点的瞬时注视方向。第一时间段和第二时间段可以重叠或不重叠，并且第一时间序列和第二时间序列中的时间点可以重合或不重合。然而，在一些实施方式中，第一时间序列和第二时间序列是协调的，使得在身体姿态和注视方向之间存在近似的时间匹配。

在步骤214中，获得上述标称表现方案NPS。NPS可以从装置220中的存储器获得，或者从系统200中的另一存储装置获得。在一些实施方式中，NPS是特定于任务的，并且可以基于在步骤213中执行的任务标识来获得。在一些实施方式中，NPS定义了在执行相应任务期间要获得的身体姿态和注视方向的理想序列。下面将参照图12至图13D描述NPS的另一种格式。NPS还可以定义身体姿态和注视方向的可允许偏差，并且该可允许偏差在任务的不同阶段之间可以是不同的。此外，在身体姿态的不同部位之间(例如在不同的身体角度之间)，可允许的偏差可以是不同的。

在步骤215中，相对于NPS评估第一时间序列和第二时间序列以检测表现偏差。步骤215的实现取决于NPS的格式，并且还取决于提供FD的方法210所需的时间响应，但是可以视为涉及第一时间序列中的相应身体姿态与由NPS定义的对应身体姿态之间的比较，以及第二时间序列中的相应注视方向与由NPS定义的对应注视方向之间的比较，以及来自相应比较的结果的组合。

在步骤216中，生成FD以表示步骤215中的评估结果，并输出以由反馈装置203呈现。在一些实施方式中，步骤216包括生成用于操作反馈装置203的控制信号。在其它实施方式中，步骤216包括以适合于反馈装置203的格式发送FD。在其他实施方式中，步骤216包括将FD发送到反馈装置，反馈装置独立地生成适当的控制信号。

如果在完成任务之后执行方法210以提供FD，则处理效率可能不是问题，并且可以执行方法210以消耗装置220的任何数量的存储器资源和处理容量。另一方面，如果执行方法201以实时提供FD，则处理和功率效率可能是重要的。此外，对于实时反馈，必须执行方法210以与任务的进展同步地生成步骤215中的评估结果。

图12是被配置为执行方法210并且可工作为提供实时反馈的示例性处理系统230的框图。然而，也可以操作处理系统230以在任务完成之后提供反馈。处理系统230可以包括在装置220中，例如作为处理器电路101的一部分。处理系统230包括块或模块231至235。

模块231执行步骤213(图11)，并被配置为接收BPD和GDD，并在预定时间段或时间窗口内重复生成第一时间序列和第二时间序列，所述预定时间段或时间窗口是执行任务所需的总时间的子集。时间窗口也可以小于包括在任务中的相应动作的持续时间。时间窗口的长度是处理效率与性能之间的折衷，并且可以通过测试或建模来确定。例如，时间窗口可以被设置在10ms至10s的范围内，或者在100ms至5s的范围内。连续的时间窗口可以重叠或不重叠。所得到的第一时间序列和第二时间序列在图12中被标示为[BP]和[GD]。如图12所示，模块231还可以输出瞬时身体姿态BP'和瞬时注视方向GD'以供模块234使用，如下所述。

模块232执行步骤215(图11)的一部分，并且被配置为接收并处理第一时间序列和第二时间序列[BP]、[GD]以用于确定动作数据。动作数据包括至少一个预定动作Aij和可选的相关概率Pij。如图所示，模块232可以包括经训练的基于机器学习的模块232'(MLM_T)，模块232'被配置为将传入的[BP]、[GD]映射到可作为待由用户执行的任务的一部分的预定动作。MLM_T 232'可以是传统的活动识别算法，并且可以利用神经网络进行动作分类。根据实现方式，如本领域技术人员所熟知的，MLM_T 232'可以输出单个动作(可选地连同概率值一起)，或者输出多个动作和每个动作的概率值。相应的概率值表示输入数据[BP]、[GD]对应于相关联的动作的可能性。

模块233执行步骤215的一部分，并且被配置为与基于NPS的验证标准相关地评估来自模块232的至少一个动作Aij和/或至少一个概率Pij。在所示的例子中，NPS包括用于定义验证标准的动作序列定义ASD。下面将参考图13A和图13B描述ASD的验证标准和使用的例子。模块233还被配置成如果违反了验证标准，则选择性地激活模块234。

模块234执行步骤215的一部分，并且被配置成执行与包括在NPS中的参考数据RD相关的偏差分析。在一些实施方式中，偏差分析包括相对于RD来评估由模块231提供的瞬时身体姿态(BP')和/或瞬时注视方向(GD')。模块234可以被配置成按需从模块231获得BP'和/或GD'。下面参考图13C、图14B和图14C给出偏差分析和RD的例子。

模块235执行步骤216，并且被配置为基于由模块234执行的偏差分析的结果来生成FD。

应注意，模块232、233被操作为在连续时间点重复生成并评估[BP]、[GC]，模块234被操作为在由动作数据激励时执行偏差分析，并且模块235被操作为基于偏差分析的结果生成FD。由此，能够生成实时的反馈。此外，偏差分析仅在违反验证标准时执行，这将改善处理和功率效率。

图13B是可以是评估步骤215(图11)的一部分的示例过程的流程图。图13B中的示例过程可由图12中的处理系统230执行。

在可以由模块232执行的步骤251中，针对第一时间序列[BP]和/或第二时间序列[GD]确定动作数据。因此，尽管在图12中示出模块232接收[BP]和[GD]两者，但是可以想到基于[BP]或[GD]来确定动作数据。

步骤252可以由模块233执行，并且包括与基于动作序列定义ASD的验证标准相关的动作数据中的一个或更多个动作Aij的评估。ASD是预定的，并且定义用户在任务内要执行的可允许动作以及可允许动作的可允许排序或顺序。图13A中示出了ASD的图形示例。在所示的例子中，ASD定义两个任务T1、T2的动作。任务T1包括可允许的动作A11至A17，任务T2包括可允许的动作A21至A26。实线箭头240表示任务的连续动作之间的允许切换，虚线箭头241表示跳过任务的一个或更多个动作的允许跳转，并且虚线箭头242表示从一个任务中的动作到另一任务中的动作的允许跳转。ASD因此为一个或更多个任务定义预定的动作序列。然而，如图所示，ASD不限于动作的线性序列，而是可以包括循环、向前和向后步骤，以及在任务内的动作之间和任务之间跳跃跳转。ASD可以被看作是由动作和动作之间的链接定义的图，其中链接定义了在下一个时间步骤的相应动作之后的一个或更多个动作(“预期动作”)。应当注意，尽管在图13A中未示出，但是可以允许每个动作之后跟随相同的动作。这将使得步骤251中的评估与用户执行任务的速度无关。

在一个示例中，T2是攀爬图9中的梯子160的任务，并且A21至A26表示上述动作：“从台阶抬起右脚”(A21)、“放下右腿”(A22)、“将右脚放在台阶上”(A23)、“从台阶抬起左脚”(A24)、“放下左腿”(A25)和“将左脚放在台阶上”(A26)。图13A中的ASD允许用户重复A21至A26并允许在相邻动作之间来回转换。

在步骤252的一些实施方式中，如果来自步骤252的动作数据中的评估的动作偏离根据ASD的预期动作，则违反验证标准。在步骤252的先前执行(例如上一次执行)中，在ASD中识别与所评估的动作相关的预期动作。如果动作数据包括单个动作，则所评估的动作是单个动作。如果动作数据包括多个动作，则所评估的动作可以是与最高概率相关联的动作。还可以设想存在多个被评估的动作，这些动作可以是动作数据中具有高于概率限制的概率的所有动作。

图14A示出了通过步骤252的验证的示例。这里，每个点表示由步骤251确定并由步骤252在连续时间步长(即针对连续时间序列[BP]、[GD])评估的动作。如图所示，用户被认为在多个时间步长内执行A11，然后用户看起来切换到A12，这根据图13A中的ASD是允许的。在时间点tc，用户看起来切换到动作A17，这根据图13A中的ASD是不允许的。因此，在时间tc，步骤252将检测到验证标准的违反。

步骤253也可以由模块233执行，并且可以补充或替换步骤252。步骤253包括与验证标准相关的动作数据中的一个或更多个概率值Pij的评估。如果动作包括多个概率值，则评估最大概率值。例如，如果概率低于可由NPS给出的参考值，则验证标准可能被违反。

在可由模块233执行的步骤254中，评估步骤252和/或步骤253的结果。取决于实现方式，如果通过步骤252、253中的至少一个(OR准则)或通过步骤252、253两者(AND准则)确定违反，则步骤254可以检测对偏差分析的需要。如果确定需要偏差分析，则过程继续到步骤255。否则，过程可以前进到步骤213，步骤213确定新的第一时间序列和第二时间序列。或者，该过程可以前进到步骤216，并使反馈装置203指出没有偏差。

步骤255可以由模块234执行，并且包括与上述参考数据RD相关的上述偏差分析以检测表现偏差。

如果在步骤255中检测到表现偏差，则步骤256将该过程引导到步骤257。否则，步骤256将过程引导到步骤213，步骤213确定新的第一时间序列和第二时间序列。或者，步骤256可以将过程引导至步骤216，这可以使反馈装置203指出不存在偏差。

在可以由模块234执行的步骤257中，以一个或更多个不一致的身体部位和/或不一致的注视方向的形式来识别表现偏差的起源。步骤257还可以通过基于步骤255中的偏差分析的结果来计算一个或更多个度量来量化表现偏差。步骤257的输出然后可以由步骤216包括在FD中。

图13C是可以是图13B的步骤255中的偏差分析的一部分的示例过程的流程图。如从图13B所理解的，在由步骤252至253检测到违反的情况下，在特定时间点执行步骤255。在图14A的示例中，该时间点对应于时间tc。

图13C中的示例过程假定参考数据RD将ASD中的相应动作与身体姿态和/或注视方向的一个或更多个可允许范围相关联。因此，RD可以定义注视方向的一个或更多个可允许的范围，例如可允许的仰角范围和/或可允许的方位角范围。另选地或附加地，RD可以定义身体姿态的一个或更多个可允许范围，例如被认为与动作相关的每个身体部位的可允许取向范围。在一些实施方式中，RD可以为被认为与动作相关的每个关节或关键点(参见图9)定义身体角度范围。应当注意，关节之间的可允许范围可以是不同的。

步骤261在检测到违反时的时间点获得身体姿态和/或注视方向的瞬时数据。这对应于正被操作为从图12中的模块231取回BP'、GD'的模块234。

步骤262包括评估与RD给出的相应可允许范围相关的瞬时数据。如果瞬时数据落在一个或更多个允许范围之外，则可以检测到表现偏差。步骤262可以从RD选择要在评估中使用的可允许范围。在一些实施方式中，每个这样的可允许范围由在识别出违反之前由用户执行的最后动作(即，最近的未违反动作)给出。参考图14A，步骤262将选择在RD中提取动作A12的可允许范围。

应该认识到，图13C中的示例过程提供了用于检测表现偏差的处理有效技术。

图14B是作为时间函数的身体角度θn的曲线图，而图14C是作为时间函数的注视方向的对应曲线图。曲线281被包括在第一时间序列[BP]中，并且曲线281被包括在第二时间序列[GD]中，并且Δt表示上述时间窗口。此外，Δθn表示身体角度θn的可允许范围，并且ΔGD表示注视方向的可允许范围。此外，281'表示在时间点tc检测到违反时的瞬时身体角度，而282'表示在时间点tc的瞬时注视方向。如图14B所示，瞬时身体角度281'落在Δθn之外，这将导致步骤262识别身体角度θn的表现偏差。另一方面，如图14C所示，由于瞬时注视方向282'落在ΔGD内，所以将不会识别出注视方向GD的表现偏差。

可允许范围可基于穿着太空服的个人在低重力环境中的运动模式的理论模型来设定。还可以想到的是，从BPD和GDD计算允许的范围，BPD和GDD是在执行相应的动作时，优选地在大量次数并且在良好控制的条件下，针对一个或更多个个体测量的。例如，参数的可允许范围可以作为参数的测量值的函数来计算，例如表示测量值的分散。例如，可允许范围可以作为测量值的标准偏差或四分位差范围的函数给出。应该认识到，装置220可以用于通过微小的修改来收集测量值，例如通过包括当装置220被设置在校准模式中时激活的存储/计算功能。举例来说，图12中的处理系统230可由存储模块补充，所述存储模块可工作为联合地存储模块232的输入数据和输出数据的相关联样本，例如[BP]和/或[GD]和所得动作。另选地或附加地，处理系统230可以由计算模块来补充，该计算模块被配置为基于模块232的输入数据和输出数据的相关样本来计算和设置允许范围。

图13D是可以是步骤216(图11)的一部分的过程的流程图。该过程可以包括所有步骤271至274，或步骤271、步骤272或步骤273至274中的任一个。

步骤271包括在FD中包括例如在步骤257中识别的非确认身体部位和/或非一致注视方向的指示符。步骤272包括提供校正反馈作为FD的一部分。校正反馈可以包括关于用户采取校正措施以补救表现偏差的指令。步骤271和/或步骤272将帮助用户坚持NPS。

步骤273包括识别或确定用户要执行的下一动作。下一个动作被标识为ASD，作为与当前未违反动作相关的后续动作。例如，下一个动作可以由图13A的示例中的实线箭头给出，并且可以对应于在当前动作之后用户要采取的最合理的动作。在步骤274中，使反馈装置203呈现下一个动作。步骤273至274的组合将引导用户以预定顺序执行任务的动作。

以上描述的一些实施方式的一个优点是，无论何时用户执行不正确的移动作为任务的一部分，都可以警告用户。

一些实施方式的另一个优点是可以给予用户关于什么运动和/或部分运动是错误的以及如何校正它的支持和建议。

此外，这里描述的技术可以在训练或演练期间使用，以验证个人是否已经学会以所需方式执行任务。

在下文中，引用条款以概括如在前述中公开的一些方面和实施方式。

C1、一种用于低重力环境中的表现支持的装置，所述装置包括：用于表示个体的身体姿态的第一数据(BPD)的第一输入端(220A)；用于表示所述个体的注视方向的第二数据(GDD)的第二输入端(220B)；以及处理器电路(101)，其被配置为：获得第一输入端(220A)上的第一数据(BPD)；获得第二输入端(220B)上的第二数据(GDD)；基于该第一数据(BPD)和该第二数据(GDD)来确定代表执行任务的个体的身体姿态的第一时间序列和注视方向的第二时间序列；获得所述任务的标称表现方案(NPS)；相对于所述标称表现方案(NPS)，执行对第一时间序列和第二时间序列的评估以检测表现偏差；以及基于所述评估提供反馈数据(FD)以由反馈装置(203)呈现。

C2、根据C1所述的装置，其中，处理器电路(101)被配置为确定预定时间段(Δt)的第一时间序列和第二时间序列，所述预定时间段是用于执行任务的总时间段的子集。

C3、根据任一前述条款所述的装置，其中，所述任务包括预定动作序列(ASD)，并且其中，所述处理器电路(101)被配置成在所述评估中评估所述第一时间序列和/或第二时间序列以确定将所述第一时间序列和/或第二时间序列与所述预定动作序列(ASD)相关联的动作数据(Aij，Pij)，并且根据所述动作数据(Aij，Pij)选择性地执行偏差分析以检测所述表现偏差。

C4、根据C3所述的装置，其中，所述动作数据(Aij，Pij)包括以下各项中的至少一项：被认为对应于第一时间序列和/或第二时间序列的动作(Aij)；或所述动作(Aij)对应于第一时间序列和/或第二时间序列的概率(Pij)。

C5、根据C4所述的装置，其中，所述处理器电路(101)被配置成相对于基于所述标称表现方案(NPS)的验证标准来评估所述动作(Aij)或所述概率(Pij)中的至少一者，并且如果所述验证标准被违反，则选择性地执行所述偏差分析。

C6、根据C5所述的装置，其中，所述标称表现方案(NPS)包括所述预定动作序列(ASD)的定义。

C7、根据C5或C6所述的装置，其中，如果所述动作(Aij)偏离根据所述预定动作序列(ASD)的一个或更多个预期动作和/或如果所述概率(Pij)低于参考值，则所述验证标准被违反。

C8、根据C5至C7中任一项所述的装置，其中，所述标称表现方案(NPS)包括参考数据(RD)，所述参考数据(RD)将所述预定动作序列中的相应动作与所述个体的所述身体姿态和/或所述注视方向的一个或更多个可允许范围相关联，其中，所述处理器电路(101)在所述偏差分析中被配置成获得所述验证标准被违反时的时间点(tc)的所述身体姿态和/或所述注视方向的瞬时数据(BP'，GD')，并且相对于所述参考数据(RD)来评估所述瞬时数据(BP'，GD')。GD')以检测所述表现偏差。

C9、根据C8所述的装置，其中，所述瞬时数据包括多个身体部位的瞬时取向(BP')，其中，所述参考数据(RD)将所述多个身体部位与取向的可允许范围相关联，并且其中，所述处理器电路(101)被配置为将所述表现偏差检测为身体部位的瞬时取向相对于所述身体部位的取向的可允许范围(Δθn)的偏差，所述取向的可允许范围(Δθn)由所述参考数据(RD)给出。

C10、根据C9所述的装置，其中，所述身体部位的瞬时取向包括所述身体部位相对于另一身体部位的角度(θn)。

C11、根据C8至C10中任一项所述的装置，其中，所述瞬时数据包括瞬时注视方向(GD')，并且其中，所述处理器电路(101)被配置成将所述表现偏差检测为所述瞬时注视方向(GD')相对于所述注视方向的可允许范围(ΔGD)的偏差，所述注视方向的所述可允许范围(ΔGD)由所述参考数据(RD)给出。

C12、根据C3至C11中任一项所述的装置，其中，所述处理器电路(101)被配置为在所述预定动作序列(ASD)中确定与当前动作相关的后续动作，并使所述反馈装置(203)呈现所述后续动作。

C13、根据权利要求C3至C12中任一项所述的装置，其中，所述处理器电路(101)包括经训练的基于机器学习的模型(232')，所述经训练的基于机器学习的模型被配置为对所述第一时间序列和/或第二时间序列进行运算以确定所述动作数据(Aij，Pij)。

C14、根据任一前述条款所述的装置，其中，所述处理器电路(101)还被配置成识别与所述表现偏差相关联的不一致的身体部位或不一致的注视方向中的至少一者。

C15、根据C14所述的装置，其中，所述反馈数据(FD)被设置为指出不一致的身体部位或不一致的注视方向中的所述至少一者，并且可选地提供关于不一致的身体部位或不一致的注视方向中的所述至少一者的校正指令。

C16、根据任一前述条款所述的装置，所述装置还包括被配置成用于生成第一数据的第一测量装置(201)、被配置成用于生成第二数据的第二测量装置(202)，或该反馈装置(203)中的至少一者。

C17、一种用于舱外活动的太空服，所述太空服(2)包括根据任一前述条款所述的装置。

C18、一种在低重力环境中提供表现支持的计算机实现的方法，所述计算机实现的方法包括：从第一测量装置(201)获得(211)表示个体的身体姿态的第一数据(BPD)；从第二测量装置(202)获得(212)表示该个体的注视方向的第二数据(GDD)；基于该第一数据(BPD)和该第二数据(GDD)来确定(213)表示该个体执行任务的第一时间序列的身体姿态和第二时间序列的注视方向；获得(214)任务的标称表现方案(NPS)；相对于所述标称表现方案(NPS)来执行(215)所述第一时间序列和第二时间序列的评估以检测表现偏差；以及使反馈装置(203)呈现表示评估结果的反馈数据(FD)(216)。

C19、一种包含指令的计算机可读介质，当所述指令被安装在处理器(401)上时，所述计算机可读介质使所述处理器(401)执行根据C18所述的方法。

3.舱外活动期间基于照明的帮助

本公开的该部分涉及在EAV期间向一个或更多个个体或用户提供帮助的技术。本公开的这一部分具体地但不排他地涉及操作计算机设备来处理一组规则以识别与在用户的周围环境中检测到的一个或更多个物体有关的相关用户指令并通过与物体有关的光的选择性投射向用户提供用户指令的发明概念。用户指令由此向个人提供例如关于要执行的任务的主动引导。本发明的概念减少了用户进行认知处理以决定如何在某一情况下进行的依赖，相反，与手边的任务有关的关于周围环境的信息的认知处理被转移到计算机设备。这将用于减少用户的认知负担，并允许用户尽可能集中于实现任务。它还可以提高用户的安全性，以及用户对安全协议和可以为空间中的个人定义的其它计划、过程和方案的遵从性。光的选择性投射提供了将用户指令传送给用户的便利方式，因为它独立于常规的可听通信，并且允许将用户指令分发给任何数量的用户。根据本发明构思的基于照明的帮助对于用户也是直观的，并且可以在不遮挡或阻碍用户的视野的情况下提供。

图15示出了在空间中执行任务的个体或用户1。照明装置301连接到太空服2上，在该示例中连接到头盔10上。照明装置301可工作为将可见光301'投射到用户的周围环境中。在图15的示例中，监视传感器31也布置在头盔10上以生成表示太空服2外部和周围的检测空间的传感器数据。根据上述发明构思，操作照明装置301以将与基于来自监视传感器31的传感器数据检测到的物体有关的用户指令传送给用户1或另一用户(未示出)。

图16示出了被配置为在低重力环境中提供基于照明的帮助的装置320。装置320是系统300的一部分，系统300还包括一个或更多个监视传感器31(示出了一个)和照明装置301。可选地，系统300还可以包括测量装置201和/或头部跟踪装置32，测量装置201被配置为生成表示用户的身体姿态的第一数据，并且头部跟踪装置32被配置为生成表示用户的头部姿态的第二数据。

监视传感器31可以与以上第1章所述的相同或相似。由监视传感器31生成的外部传感器数据ESD表示与监视传感器31相关的检测空间中的物体。检测空间由一体积限定，在该体积中，一个或更多个监视传感器31响应于物体。测量数据可以表示物体的位置和/或物体的一个或更多个其它属性，诸如其形状、温度、颜色、成分等。监视传感器31可以是如参照图2所述的装置108的一部分，并且可以实现为视觉传感器。

照明装置301被配置为基于由装置设备320提供的照明控制数据ICD来生成可见光301'(图15)。在一些实施方式中，如图16所示，照明装置301包括如参照图2所述的光控制电路116和光源117的至少一部分。

如上所述，本发明的概念涉及可见光的选择性投射。在此上下文中，“选择性投射”意味着可见光被空间控制以传达关于一个或更多个物体的用户指令。在一个示例中，可见光301'在空间上被限制并且被选择性地引导到物体上或附近的区域。例如，空间受限的光可以是被引导到该区域上的准直的激光束或适当聚焦的光束。这种激光束或聚焦光束可以或可以不被空间控制以在该区域中生成图像。图像可以传达用户指令并且可以包括一个或更多个符号和/或纯文本。在另一示例中，可选地通过提供上述图像，在检测空间内投射静态光束以照亮该区域。在一些实施方式中，照明装置301包括激光投影仪或视频投影仪。视频投影仪可以是所谓的短程投影仪，其能够在1至10米的距离投射图像。根据实施方式，照明装置301可用于生成具有不同的视觉提示的可见光301'，例如不同的图像、颜色、辐射强度等。

如上所述，测量装置201和头部跟踪装置32是可选的。与第2章一样，由测量装置201生成的第一数据被表示为身体姿态数据BPD。测量装置201可以包括一个或更多个身体姿态传感器，例如参考图2中的传感器装置107所讨论的。与第1章一样，由头部跟踪装置32生成的第二数据被表示为头部姿态数据HPD。如图所示，头部跟踪装置32可以包括在传感器装置107中。

装置320包括：处理器电路101，其可以对应于图2中的控制装置101；第一输入装置320A，其被配置为从监视传感器31接收ESD；第二(可选)输入装置320B，其被配置为从测量装置201接收BPD；以及第三(可选)输入装置320C，其被配置为从头部跟踪装置322接收HPD。输入装置320A、320B、320C(“输入端”)可以包括任意传统的硬件接口(可选地与软件组合)以接收输入信号。装置320还包括输出装置320D(“输出端”)，其被配置为向照明装置301提供照明控制数据ICD。

在一些实施方式中，图16中的装置320被包括在太空服2中，例如通过制造或翻新。在其它实施方式中，装置320与太空服2分离。例如，装置320可以被包括在诸如航天器或空间探测车辆的载具中。

类似地，监视传感器31和照明装置301可以包括在太空服2中或附接到太空服2，如图15所示和上文所述。然而，在变型中，监视传感器31和/或照明装置301与太空服2分离。因此，系统300可以与太空服2完全集成，与太空服2完全分离，或其间的任何情况。

装置320可以是单一部件或分离部件的组件。还可以想到，装置320包括系统300的一个或更多个附加部件，例如监视传感器31、测量装置201、头部跟踪装置32或照明装置301。

图17是用于在EVA期间提供帮助的示例方法310的流程图。方法310是计算机实现的，并且可以由图16中的设备320执行。方法310可以由硬件或硬件和软件的组合来实现，例如由存储在装置320的存储器中的程序指令来实现。

在步骤311中，经由第一输入端320A获得第一数据。第一数据对应于图16中的ESD。ESD可以包括来自监视传感器31的原始传感器数据、预处理的数据或检测到的物体的指示(可选地连同一个或更多个物体属性的指示)。

在步骤312中，处理第一数据(ESD)以获得相应物体的一个或更多个物体属性。在该上下文中，ESD的处理可以从例如根据图7A中的步骤142A的原始传感器数据的完全处理到从ESD提取物体属性的指示。与实现无关，步骤312为由监视传感器31检测到的相应物体生成一个或更多个物体属性。可以注意到，监视传感器31和/或步骤312中的处理可以针对特定的相关物体，并且可以仅针对这种相关物体提供物体属性。一个或更多个物体属性可以包括位置、形状、温度、颜色、成分、速度、移动方向、加速度等中的一个或更多个。

如图17所示，步骤312可以包括确定物体到一个或更多个物体类别的分类的步骤312A。此外，在步骤312A中，通过从例如根据图7A中的步骤142B的原始传感器数据的完全处理到从ESD提取物体类别的一个或更多个指示的任何东西，可以获得分类。如这里所使用的，物体类别被认为是物体属性。物体类别的使用可以简化步骤313(下文)中的评估。物体类别的非限制性示例包括“岩石”、“尖锐物体”、“不稳定地面”、“稳定地面”、“热物体”、“冷物体”、“工具”、“工具类别”、“其他用户”、“载具”、“载具类别”、“被操纵的物体”、“锚定点”等。

步骤313包括评估与规则定义相关的一个或更多个物体属性以确定一个或更多个用户指令。规则定义包括要基于一个或更多个物体属性定义执行的专用处理的一组规则。规则定义还可以包括用于基于专用处理的结果来选择特定用户指令的标准。因此，可以看到，每个规则定义了要由一个或更多个物体属性满足的一个或更多个标准，以便选择特定的用户指令。下面参考图19和图20A至图20G给出规则和得到的用户指令的例子。

在步骤314中，通过相对于检测到的物体中的一个或更多个物体选择性地投射光，使得照明装置301提供由步骤313确定的用户指令。在一些实施方式中，步骤314包括生成用于操作照明装置301以执行光的选择性投射的控制信号。在其他实施方式中，步骤314包括向照明装置301提供高级命令，例如包括用于选择性投射的一个或更多个位置，并且可选地包括投射光的范围。

在一些实施方式中，步骤314使照明装置301生成具有视觉提示的光。在一些实施方式中，步骤314使得照明装置301用不同的视觉提示来表示不同的用户指令，例如取决于紧迫性、风险水平、用户指令的类型、物体属性、规则等。

图18是被配置为实现方法310的示例处理系统330的框图。处理系统330可以包括在装置320中，例如作为处理器电路101的一部分。处理系统330包括块或模块331至333。

模块331实现步骤312(图17)，并被配置为接收和处理ESD以确定物体属性。模块331的输出是包括相应物体的一个或更多个物体属性的物体属性数据OPD。在所说明的示例中，模块331包含经训练的基于机器学习的模块331'(MLM_T)，模块331'被配置用于确定物体特性(可选地包含物体类别)。MLM_T 331'可以是用于物体检测的一个或更多个常规算法，例如参考第1章中的图7A所列出的。

模块332实现步骤313，并被配置成评估来自模块331的OPD以确定用户指令UI。UI可以以预定用户指令的标识符或索引的形式输出。模块332的评估与上述规则定义相关，这里表示为[R]。如图所示，模块332还可以对在输入端320B上接收到的BPD和/或在输入端320C上接收到的HPD进行操作(图16)。下面将参考图20E给出使用BPD和HPD的例子。在一些实施方式中，模块332被配置为通过使用由[R]给出的条件控制语句(例如IF语句等)来执行评估。评估例如可以表示为决策树。在一些实施方式中，模块332被配置为通过使用被配置为实现规则定义[R]的人工智能(AI)或机器学习(ML)来执行评估。

模块333实现步骤314并被配置为生成ICD以表示由模块332生成的UI。如从前述可以理解的，模块333可以被配置为生成ICD作为控制信号或高级命令。

图19示出可包括在规则定义[R]中的规则R1至R7的非限制性示例。R1是用于识别对用户造成实际或潜在危险的至少一个物体的风险检测规则。R2是用于识别用于执行任务的多个物体之间的排序的任务控制规则。R3是用于识别任务何时完成的完成规则。R4是用于识别要对物体执行的操纵操作的操纵控制规则。R5是用于识别处于离开视野和/或超出用户可达限度的风险中的至少一个物体的收回规则(retrieval rule)。R6是用于选择用户来执行操作的工作共享规则。R7是用于识别作为安全锚定点的至少一个物体的锚定检测规则。如上所述，规则可以定义如何处理物体属性以及提供什么用户指令二者。

回到图18，模块332可以包括被配置成基于输入的OPD来自动识别要评估的规则的逻辑单元。这样的逻辑单元可以被视为提供情境认识，并且可以由AI、机器学习等来提供。另选地或附加地，在特定情境中由模块332评估的规则的选择可以基于外部输入，例如通过用户操作手动控件(参见图2中的112)或通过向连接到模块332的语音控制装置输入语音命令。

现在将参考图20A至图20G给出使用图18中的规则R1至R7的示例。所给出的示例仅用于说明的目的，并不旨在限制相应规则的使用或排除其他规则的使用。尽管在所有实施方式中照明装置301都连接到用户1的头盔10上，但是它也可以取而代之地连接到太空服2的另一部分上，或者与个体1分开提供，例如连接到载具的支承结构上。尽管在图20A至图20G中未示出，但是这些示例假定照明装置301连接到装置320，装置320被操作以控制可见光301'的选择性投射。

在一些实施方式中，装置320被配置为基于风险检测规则R1使照明装置301提供用户指令以主动地引导用户避开被识别为对用户造成实际或潜在危险的物体。这些实施方式将提高用户在EVA期间的安全性。在图20A的示例中，物体340、341可以表示用户1在地外表面行走的不同表面危险。例如，八边形物体340可以对应于失去的或光滑的表面材料(“不稳定的表面”)，而五边形物体341可以表示锯齿状的岩石或岩石边缘(“岩石”、“尖锐物体”)。根据R1，可以基于形状、颜色或成分来检测物体340，并且可以基于形状来检测物体341。

在未示出的一个示例中，可以将光束301'引导到物体340、341上以指示用户避开物体340、341。可以使用不同的视觉提示来表示不同的风险等级，从而向用户呈现风险排序。此外，可以基于要被照亮的物体到用户的距离来确定要被照亮的物体，使得光束301'被优先地对准最靠近用户的物体上。

在另一示例中，如图所示，可以对准光束301'以照亮用户1的安全区域350，以指示用户移动到被照亮的区域350。通过重复地执行方法310(图17)，装置320可工作为在用户1沿着被照亮的区域350移动时相对于物体340、341沿着安全路径360引导用户1。当通过抓住不同的物体，例如沿着图8B中的梯子51移动时，可以在对应的安全路径上引导用户。此外，安全路径可以通过考虑重力的量和用户的运动能力来确定，例如由太空服约束、人类动力学、视野等给出。

在另一示例中，R1被配置为基于要避开的物体(“热物体”、“冷物体”)的温度来识别要避开的物体。可以通过将光束301'引导到物体上以指示它们由于它们的温度而造成危险来提供不触摸所述物体的用户指令。

在一些实施方式中，装置320被配置为基于任务控制规则R2使照明装置301提供用户指令以主动地引导用户1以特定顺序使用物体。规则R2还可以定义用于检测要排序的不同物体的物体属性。例如，不同的物体可以对应于在任务中使用的不同工具或材料。这些实施方式将增强用户对安全协议、工作协议、服务手册等的遵从性。在图20B的示例中，光束301'被顺序地引导以按照物体350要被使用的顺序来照亮物体350，如圆圈数字1、2和3所示。可以在用户1启动该任务之前和/或当用户1完成该任务的各个子步骤时进行顺序照明，例如以照明要使用的下一个物体。这种顺序照明对于用户是非常直观的。就组合使用两个或更多个物体而言，这些物体可以作为顺序照明的一部分被同时照明。顺序照明还可以包括将不同的图像投影到不同的物体上，其中不同的图像指定使用顺序。这种图像可以是字母数字，例如图20B所示的数字。代替顺序照明，可以用指定使用顺序的相应图像(例如字母数字)同时照明不同的物体。

在一些实施方式中，装置320被配置为基于完成规则R3使照明装置301提供用户指令以在任务完成时主动地引导用户收集多个物体。这些实施方式将减轻用户在任务完成后忘记空间中的工具或材料的风险。在图20C的示例中，操作照明装置301以通过光束301'共同照明两个物体350，作为对用户收集这些物体350的指令。得到的物体350的集体照明对于用户是直观的。

在一些实施方式中，装置320被配置为基于操纵控制规则R4使得照明装置301提供用户指令以主动地指导用户如何执行专用操纵操作。因此，用户指令指导用户如何操纵物体。可以通过投影到物体上的指导性图像和/或通过用表示操纵操作的特定颜色照明物体来提供用户指令。这些实施方式将方便用户并防止无意的错误。在图20D的示例中，操作照明装置301以用光束301'来照明物体350，该光束301'限定图像301”，该图像301”指示用户1如何转动物体，例如螺栓。在一些实施方式中，装置320对操纵操作进行监视，并通过选择性照明来提供用户指令以停止操纵操作。在图20D的示例中，装置320可以计算施加在物体350上的转动的次数，并向光束310'提供视觉提示以指示用户停止转动物体，例如通过改变图像/颜色。

在一些实施方式中，装置320被配置为基于收回规则R5使照明装置301提供主动地引导用户收回物体的用户指令。基于R5，可以检测到物体处于离开用户视野和/或超出用户视野的风险。该物体在下文中表示为“潜在丢失物体”PLO。用户指令可以通过对物体进行照明来提供，可选地利用专用的视觉提示。这些实施方式将降低用户丢失在EVA期间由用户操纵的工具、材料或其它设备的风险。图20E中示出了一个例子，其中RL表示用户1的到达极限，IFV'表示用户1的视野，并且通过用光束301'照射PLO 350来提供用户指令。在图20E中，IFV'由左手极限IFVL和右手极限IFVR形成边界。可以通过评估一个或更多个物体相对于RL和/或IFV'的位置来检测PLO。取决于实现方式，IFV'可以独立于头部姿态并且仅相对于头盔10限定(参见第1章中的静态视野)，或者相对于头盔10内部的头部姿态定义(参见第1章中的动态视野)。通过考虑用户的手的位置、姿态、太空服2的约束和低重力的影响，可以基于用户1的身体姿态来估计到达极限RL。因此，在一些实施方式中，装置320被配置为基于R5来估计RL和/或IFV'。可以基于BPD来估计RL，并且可以基于HPD来估计动态视野(参见图16和图18)。可以基于表示头盔取向的物体属性(如果在步骤312(图17)中被确定)来估计静态视野。在另一个变型中，如果设备320从注视跟踪装置(参见图10中的202)获得注视方向数据GDD，则基于用户的注视方向来确定IFV'。例如，IFV'可以被设置为对应于中心视觉或外围视觉相对于用户的注视方向的跨度，同时还考虑了护目镜的阻碍(参见图15中的12)。

在一些实施方式中，装置320被配置为确定检测空间内的相应物体的轨迹。可以如第1章中参考图7B所述那样确定轨迹。根据R5，装置320可以通过将相应物体的轨迹分别与IFV'和RL进行比较来检测PLO。因此，即使物体完全在IFV'和/或RL内，它仍然可以被标识为PLO。在图20E的示例中，确定物体350的轨迹T1。由于物体350接近RL和IFVR并且具有与RL和IFVR相交的轨迹T1，因此物体350可以被识别为PLO。

在一些实施方式中，装置320被配置为基于工作共享规则R6使得照明装置301提供用户指令以主动地指示用户执行操作。可以基于用户的一个或更多个属性和/或基于要在操作中被操纵的物体的一个或更多个属性在多个用户中选择用户。可以在步骤312(图17)中确定所述一个或更多个属性。应当注意，监视传感器31可以被配置为还检测表示用户的对象，并且这种“用户对象”可以被分配一个或更多个对象属性。这些实施方式将有助于用户之间的协作。在一个示例中，可以基于要被操纵的物体与多个用户之间的距离和/或移动方向来选择用户。在另一示例中，可以考虑由用户执行的正在进行的或即将到来的操作来选择用户。在一些实施方式中，可以通过照亮所选择的用户来提供用户指令。在其他实施方式中，通过由与所选择的用户相关联的视觉提示(例如专用颜色、指定用户的图像等)照明要操纵的物体来提供用户指令。在图20F的示例中，操作用户1的照明装置301以通过光束301'照明物体350，其中视觉提示指定用户1'操纵被照明的物体350。

在一些实施方式中，装置320被配置为基于锚定检测规则R7使照明装置301提供用户指令以主动地引导用户将锚定装置连接到被检测为是安全锚定点的至少一个物体。这些实施方式将提高用户的安全性。在图20G的示例中，物体351是安全锚定点并且被光束301'照射以指示用户1将锚定线352连接到物体351。

在所有前述示例中，可见光301'可产生有视觉提示以增强用户对相应用户指令的理解。视觉提示是视觉属性，并且可以以任何组合包括投射光的图像或图案、投射光的颜色或投射光的辐射强度。可以应用不同的视觉提示来表示不同的用户指令和/或不同的物体和/或不同的物体属性。例如，用户指派(图20F)可以由不同用户的不同视觉提示来表示。物体的不同温度可以由不同的视觉提示来表示。与用户相距不同距离的物体可以由不同的视觉提示来照明。PLO可以由专用的视觉提示来表示。相关物体(图20C)可以用相同的视觉提示来照明。取决于物体是否被认为对用户构成危险，和/或表示不同的危险程度(“危险水平”)，可以通过不同的视觉提示来照亮物体。根据用户与物体之间的相对运动的方向，可以通过不同的视觉提示来照亮物体。

在一些实施方式中，待照明的物体的选择可取决于用户的速度或用户与相应物体之间的相对速度。在一个示例中，规则定义[R]中的一个或更多个规则可以被配置成使得装置320在(相对)速度低(例如低于第一速度限制)的情况下照亮更详细细节的物体，并且在(相对)速度高(例如高于第二速度限制)的情况下仅照亮最大相关物体。

在一些实施方式中，给予用户拒绝由装置320提供的用户指令的选项。例如，用户可以通过操作手动控制件(参见图2中的112)或通过发出专用语音命令来拒绝用户指令。这可以使装置320重新执行步骤311至314以生成新的用户指令。在图20A的示例中，用户1可以拒绝被照明的安全区域350。在图20F的示例中，用户1'可以拒绝被分配操作。在图20G的示例中，用户1可以拒绝被照亮的安全锚定点351。

在一些实施方式中，装置320被配置为通过将用户指令投影在用户视野内的表面上来指示用户注意视野外的物体。用户指令可以由任何类型的视觉提示来提供，该视觉提示使得用户查看相关物体。视觉提示可以指示用户查看/转动的方向，例如以清楚的文本或通过箭头。可以如参考图20E所描述的那样确定视野。如果被认为对用户构成危险(例如基于移动方向、轨迹、形状、颜色、成分等)，则视野外的物体可导致用户指令。

在上文中描述的一些实施方式的一个优点在于，被照明的物体和相关联的用户指令对于存在于检测空间处的所有用户是固有可见的。因此，即使传统的通信系统不可用，用户们也可以合作。

与基于AR的解决方案相比，一些实施方式的另一优点是提供用户指令而不会使用户的视野膨胀或混乱。

此外，一些实施方式使得用户能够被指示关于人眼察觉不到的物体属性，例如太热或太冷而不能触摸的物体，或光滑或不稳定的地面。

此外，一些实施方式使得能够以跟踪处于低重力的物体，并且当物体将要移动得离用户太远时提供早期警告。

在下文中，列举多个条款以概括如在前述中公开的一些方面和实施方式。

C1、一种在舱外活动期间提供帮助的装置，所述装置包括：用于表示检测空间中的一个或更多个物体的第一数据(ESD)的输入端(320A)；以及处理器电路(101)，其被配置为：获得第一输入端(320A)上的第一数据(ESD)；处理所述第一数据(ESD)以确定所述一个或更多个物体的一个或更多个物体属性；基于所述一个或更多个物体属性，相对于一组规则([R])来评估所述一个或更多个物体，以确定一个或更多个用户指令(UI)；以及使照明装置(301)通过相对于所述一个或更多个物体选择性地投射光(301')来提供所述一个或更多个用户指令(UI)。

C2、根据C1所述的装置，其中，所述一个或更多个物体属性包括将相应物体分类成一个或更多个物体类别。

C3、根据C1或C2所述的装置，其中，所述处理器电路(101)被配置成通过将光(301')选择性地投射到至少一个物体上来使照明装置(301)提供一个或更多个用户指令(UI)。

C4、根据前述任一项条款所述的装置，其中，所述处理器电路(101)被配置成使所述照明装置(301)通过所述光(301')的不同视觉属性来表示不同的用户指令。

C5、根据前述任一项条款所述的装置，其中，所述一组规则([R])包括至少一个风险检测规则(R1)，所述风险检测规则用于识别构成实际或潜在危险的至少一个物体(340、341)，并且其中，所述处理器电路(101)被配置成基于所述至少一个风险检测规则(R1)使所述照明装置(301)通过选择性投射所述光(301')来提供用于避开所述至少一个物体(340、341)的用户指令。

C6、根据C5所述的装置，其中，所述处理器电路(101)被配置成重复地处理第一数据(ESD)，相对于至少一个风险检测规则(R1)来评估一个或更多个物体，并使照明装置(301)提供用于避开至少一个物体(340、341)的用户指令，从而照亮与至少一个物体(340，341)相关的安全路径(360)。

C7、根据C5或C6的装置，其中，所述至少一个风险检测规则(R1)被配置为基于所述至少一个物体(340、341)的温度来识别所述至少一个物体(340、341)。

C8、根据前述任一项条款所述的装置，其中，所述一组规则([R])包括至少一个任务控制规则(R2)，所述任务控制规则(R2)用于识别在执行任务时使用的多个物体间的次序，并且其中，所述处理器电路(101)被配置成基于所述至少一个任务控制规则(R2)使得所述照明装置(301)通过选择性地投射所述光(301')来提供用于根据所述次序使用所述物体的用户指令。

C9、根据C8所述的装置，其中，所述处理器电路(101)被配置为使所述照明装置(301)根据所述次序将光(301')顺序地投射到所述物体上。

C10、根据前述任一项条款所述的装置，其中，所述一组规则([R])包括用于识别任务何时完成的至少一个完成规则(R3)，并且其中，所述处理器电路(101)被配置成基于所述至少一个完成规则(R3)使所述照明装置(301)将所述光(301')共同投射到所述多个物体上作为收集所述多个物体的用户指令。

C11、根据前述任一项条款所述的装置，其中，所述处理器电路(101)被配置成估计个体的视野(IFV')或所述个体的到达极限(RL)中的至少一个，其中，所述一组规则([R])包括用于识别处于离开所述视野(IFV')和/或超出所述到达极限(RL)的风险的至少一个物体(350)的至少一个收回规则(R5)，并且其中，所述处理器电路(101)被配置成基于所述至少一个收回规则(R5)，使所述照明装置(301)通过选择性地投射所述光(301')来提供用于收回所述至少一个物体(350)的用户指令。

C12、根据C11所述的装置，其中，所述处理器电路(101)被配置为估计所述一个或更多个物体的轨迹(T1)，并且其中，所述至少一个收回规则(R5)被配置为通过将所述轨迹(T1)与所述视野(IFV')和/或所述到达极限(RL)进行比较来识别所述至少一个物体。

C13、根据C11或C12所述的装置，该装置包括用于表示所述个体的身体姿态的测量数据(BPD)的另一输入端(320B)，其中，所述处理器电路(101)被配置为基于所述身体姿态来估计所述个体的到达极限(RL)。

C14、根据C11至C13中任一项所述的装置，该装置包括用于表示所述个体的头部姿态和/或注视方向的测量数据(HPD、GDD)的另一输入端(320C)，其中，所述处理器电路(101)被配置成基于所述头部姿态和/或所述注视方向来估计所述个体的视野(IFV')。

C15、根据前述任一项条款所述的装置，其中，所述一组规则([R])包括用于识别要对物体执行的操纵操作的至少一个操纵控制规则(R4)，并且其中，所述处理器电路(101)被配置成基于所述至少一个操纵控制规则(R4)使所述照明装置(301)通过选择性地投射所述光(301')来提供关于如何执行所述操纵操作的用户指令。

C16、根据前述任一项条款所述的装置，其中，所述一组决策规则([R])包括用于选择对应于个体(1；1')的物体来执行操作的至少一个工作共享规则(R6)，并且其中，所述处理器电路(101)被配置为基于所述至少一个工作共享规则(R6)，使所述照明装置(301)通过选择性地投射所述光(301')向所述个体(1；1')提供执行所述操作的用户指令。

C17、根据任一前述条款所述的装置，其中，所述一组决策规则([R])包含用于识别作为安全锚定点的至少一个物体(351)的至少一个锚定检测规则(R7)，并且其中，所述处理器电路(101)被配置为基于所述至少一个锚定检测规则(R7)使所述照明装置(301)通过选择性地投射所述光(301')来提供用于将锚定装置(352)连接到所述至少一个物体(351)的用户指令。

C18、根据前述任一条款所述的装置，该装置还包含被配置为生成所述第一数据(ESD)的传感器装置(108)或所述照明装置(301)中的至少一者。

C19、一种用于舱外活动的太空服，所述太空服(2)包括根据前述任一条款所述的装置。

C20、一种在舱外活动期间提供帮助的计算机实现的方法，所述计算机实现的方法包括：

获得(311)表示检测空间中的一个或更多个物体的第一数据；

处理(312)所述第一数据以确定所述一个或更多个物体的一个或更多个物体属性；

基于所述一个或更多个物体属性，与一组规则相关地评估所述一个或更多个物体以确定一个或更多个用户指令；以及

使(314)照明装置通过相对于所述一个或更多个物体选择性地投射光来提供所述一个或更多个用户指令。

C21、一种包括指令的计算机可读介质，当所述指令被安装在处理器(401)上时，使所述处理器(401)执行根据C20所述的方法。

本文所公开的结构和方法可由硬件或软件与硬件的组合来实施。在一些实施方式中，这种硬件包括一个或更多个软件控制的计算机系统。图21示意性地示出了这样的计算机系统400，其包括一个或更多个处理器401、计算机存储器402和用于输入和/或输出数据的接口装置403。取决于实现方式，计算机系统400可以被包括在SSS中、与SSS通信的任何外部计算资源中或任何其他计算资源中。接口装置403可以被配置用于有线和/或无线通信。处理器401例如可以包括CPU(“中央处理单元”)、DSP(“数字信号处理器”)、微处理器、微控制器、ASIC(“专用集成电路”)、离散模拟和/或数字组件的组合，或诸如FPGA(“现场可编程门阵列”)的一些其它可编程逻辑器件中的一个或更多个。包括计算机指令的控制程序402A存储在存储器402中并由处理器401执行以执行前述示例的任何方法、操作、功能或步骤。如图21所示，存储器402还可以存储由处理器401使用的控制数据402B。控制程序402A可以在计算机可读介质410上提供给计算机系统400，计算机可读介质410可以是有形(非暂时性)产品(例如，磁介质、光盘、只读存储器、闪存等)或传播信号。

虽然已经结合目前被认为是最实际的实施方式描述了本公开的主题，但是应当理解，本公开的主题不限于所公开的实施方式，而是相反，旨在覆盖包括在所附权利要求的精神和范围内的各种修改和等同布置。

此外，虽然在附图中以特定顺序描绘了操作，但是这不应被理解为要求以所示的特定顺序或按顺序执行这些操作，或者执行所有示出的操作以实现期望的结果。在某些情况下，并行处理可能是有利的。

如上所述，上述概念和实施方式的任何和所有组合都是可能的，并且可以提供协同作用。下面给出一些非限制性实施方式。第1章中的实施方式可以与第3章中的实施方式组合，以通过组合基于音频和基于照明的帮助来提高用户感知其周围环境中的危险的能力。包括在第3章的实施方式中的照明装置可以用作第2章的实施方式的反馈装置，用于向用户提供与性能相关的反馈。由第2章中的一些实施方式(参见图13D)确定的下一动作可以由第3章中的实施方式呈现为基于照明的用户指令。另选地或附加地，通过使用第1章中的实施方式，可以将下一个动作呈现为空间化的音频信号。音频信号可以通过其空间源通知用户在下一个动作中如何和/或在哪里移动。

Claims (20)

1.一种在舱外活动期间帮助个体的装置，所述装置包括：

用于第一数据(ESD)的第一输入端(120A)，所述第一数据表示所述个体周围的检测空间；

用于第二数据(HPD)的第二输入端(120B)，所述第二数据表示所述个体的头部(20)相对于头盔(10)的姿态，所述头盔有间隔地戴在所述个体的头部(20)上，以允许所述头部(20)在所述头盔(10)内移动；以及

处理器电路(101)，其被配置成：

获得所述第一输入端(120A)上的所述第一数据(ESD)；

获得所述第二输入端(120B)上的所述第二数据(HPD)；

处理所述第一数据(ESD)以在所述检测空间中检测与所述个体相关的物体(40)，并且确定所述物体(40)相对于所述头盔(10)的第一位置；

基于所述第一位置和所述第二数据(HPD)，确定所述物体(40)相对于所述头部(20)的第二位置；以及

使所述头盔(10)中的扬声器(33)的阵列在所述头盔(30)内生成可听见的声音，所述可听见的声音具有由所述第二位置给出的空间起源。

2.根据权利要求1所述的装置，其中，所述处理器电路(101)被配置成使所述扬声器(33)的阵列生成具有可辨别特性的所述可听见的声音，所述可辨别特性表示所述物体(40)。

3.根据权利要求2所述的装置，其中，所述可辨别特性是所述可听见的声音的不同于所述空间起源的可听特性。

4.根据权利要求2所述的装置，其中，所述处理器电路(101)被配置为处理所述第一数据(ESD)以检测与所述物体(40)相关联的危险，并且其中，所述可辨别特性表示所述危险。

5.根据权利要求4所述的装置，其中，所述处理器电路(101)还被配置为处理所述第一数据(ESD)以将所述危险分类为多个危险类别中的一危险类别中，其中，所述可辨别特性表示该危险类别，并且所述可辨别特性在所述多个危险类别之间是不同的。

6.根据权利要求2所述的装置，其中，所述处理器电路(101)被配置为处理所述第一数据(ESD)以将所述物体(40)分类到多个物体类别中的一物体类别中，其中，所述可辨别特性表示该物体类别，并且所述可辨别特性在所述多个物体类别之间是不同的。

7.根据权利要求2所述的装置，其中，所述处理器电路(101)被配置为根据所述物体(40)与所述个体或所述检测空间中的另一个体之间的距离和/或所述物体(40)相对于所述个体或所述检测空间中的所述另一个体的移动方向来修改所述可辨别特性。

8.根据权利要求2所述的装置，其中，所述处理器电路(101)被配置为根据所述头部的所述姿态来修改所述可辨别特性。

9.根据权利要求2所述的装置，其中，所述处理器电路(101)被配置为根据所述物体(40)与所述个体的视野之间的关系来修改所述可辨别特性。

10.根据权利要求9所述的装置，其中，所述处理器电路(101)被配置为基于所述第二数据(HPD)来计算所述个体的透过所述头盔(10)的护目镜(12)的视野，并且确定所述物体(40)与所述视野之间的关系。

11.根据权利要求9所述的装置，其中，所述处理器电路(101)被配置为如果所述物体(40)在所述视野内或在所述视野外，则生成具有不同的可辨别特性的所述可听见的声音。

12.根据权利要求2所述的装置，其中，所述处理器电路(101)被配置为基于所述第一数据来估计所述物体的轨迹(T1)，并且根据所述轨迹(T1)来修改所述可辨别特性。

13.根据权利要求1所述的装置，其中，所述处理器电路(101)被配置为基于所述第一数据(ESD)来确定在从所述个体的第一定位到第二定位(EP)的路径(P1)上相对于所述头盔(10)的路径点(W1)，基于所述第二数据(HPD)来确定所述路径点(W1)相对于所述头部的位置，并且生成具有由所述路径点(W1)相对于所述头部的位置给出的空间起源的另外的可听见的声音。

14.根据权利要求1所述的装置，其中，所述处理器电路(101)被配置成使所述扬声器(33)的阵列用言语表达代表所述物体(40)的物体数据。

15.根据权利要求14所述的装置，其中，所述物体数据包括以下中的一项或更多项：所述物体(40)的表征、到所述物体(40)的距离、到所述物体(40)的方向或针对所述个体的移动指令。

16.根据权利要求1所述的装置，所述装置还包括以下中的至少一项：所述头盔(10)；所述扬声器(33)的阵列；传感器装置(108；31)，其被配置为生成所述第一数据；以及头部跟踪装置(32)，其被配置成生成所述第二数据。

17.根据权利要求16所述的装置，其中，所述传感器装置(108；31)被配置为检测形状、距离、温度或成分中的一项或更多项。

18.一种用于舱外活动的太空服，所述太空服(2)包括根据权利要求1至17中任一项所述的装置。

19.一种在舱外活动期间帮助戴头盔的个体的计算机执行的方法，所述头盔允许所述个体在所述头盔内移动头部，所述计算机执行的方法包括以下步骤：

获得(141)表示所述个体周围的检测空间的第一数据；

获得(141)表示所述个体的头部相对于所述头盔的姿态的第二数据；

基于所述第一数据，在所述检测空间中检测(142)与所述个体相关的物体；

基于所述第一数据，确定(143)所述物体相对于所述头盔的第一位置；

基于所述第一位置和所述第二数据，确定(144)所述物体相对于所述头部的第二位置；以及

使(145)所述头盔中的扬声器的阵列生成可听见的声音，所述可听见的声音具有由所述第二位置给出的空间起源。

20.一种包含指令的计算机可读介质，当所述指令被安装在处理器(401)上时，使所述处理器(401)执行根据权利要求19所述的方法。

Images