CN107490866B - 一种飞行员可穿戴显示系统及其定位头部姿态的方法 - Google Patents

Abstract

本发明提出一种飞行员可穿戴显示系统及其定位头部姿态的方法，可穿戴显示系统包括可穿戴显示器、头部姿态定位系统、第一处理器和第二处理器。本发明采用了可穿戴显示器及头部姿态定位系统相对于飞行员头部稳固的方案，使飞行员向任一方向扭头观察时都能够看到可穿戴显示系统提供的字符画面。头部姿态定位系统的组成及采用的定位头部姿态的方法一方面扩大了头部姿态定位系统的工作角度范围，另一方面提高了头部姿态定位系统抗环境干扰能力。并最终使该可穿戴显示系统的安全性提高。

Description

一种飞行员可穿戴显示系统及其定位头部姿态的方法

技术领域

本发明涉及飞行员可穿戴设备领域，以及民用飞机驾驶舱显示系统，具体涉及一种飞行员可穿戴显示系统及其定位飞行员头部的方法。

背景技术

增强飞行员的情景感知是民用飞机驾驶舱显示系统始终致力于的发展方向。然而据统计，飞行员在执行飞行任务时，仍然需要花费超过三分之二的时间抬头目视观察外景，以目视的方式识别并避让潜在的空中或机场交通、地形或障碍物的威胁。尤其是当飞行员操纵小型固定翼飞机、直升机时，由于此类飞机的巡航高度较低，无论是飞行员执行任务中目视寻找任务作业地点时，还是在巡航中前方视野受到高海拔地形、障碍物、低云等条件的阻碍时，都需要以飞机两侧的外景作为参考。

在民航业内，已经证明了最有效的建立情景感知的手段是通过将等角的字符画面叠加在真实外景上，使飞行员观察外景的同时还可以监控飞机的关键仪表参数。以HUD为例，HUD仅能够在机轴的方向上提供画面显示，无法增强飞行员对两侧的情景感知能力。

本发明所涉及的可穿戴显示系统，期望能够扩大飞行员情景感知的覆盖范围，使飞行员在观察飞机两侧的外景时，也能够观察到等角的字符画面叠加在外景上的效果。并且借由可穿戴设备的特征，使飞行员观察显示器时无需保持同一个坐姿，从而降低飞行员的工作负荷。

与此同时，为了保证飞行员观察飞机两侧时字符画面的等角性，本发明所涉及的可穿戴显示系统需要对飞行员头部姿态进行定位，利用定位后的头部姿态参数对字符画面进行修正。通常，任何单一的定位手段都具有缺陷。

AHRS包括加速度计、陀螺仪和磁场计。AHRS实现头部姿态定位的方式是将加速度计输出的初始角度信息和陀螺仪输出的三轴角速度信息通过积分计算得到当前的姿态数据(俯仰角、翻滚角和方位角)，并利用磁场计测量地球磁场，对陀螺仪产生的累积误差进行修正，从而保证AHRS的长期稳定。当AHRS用于测量头部姿态时，具有定位识别范围大的优点，缺点是当飞机处于异常天气中、地磁南北极附近、或飞机为高俯仰的态势时，AHRS容易产生异常数据。

摄像定位通过使用摄像装置对飞行员头部的定位标记进行连续拍摄，可根据拍摄的图像进行分析处理得出飞行员头部的姿态。这种定位手段具有高精度的优点，缺点是摄像装置探测范围有限，当飞行员视野离轴较大，导致定位标记脱离摄像装置探测范围时，摄像装置无法识别头部姿态数据。

飞行员在使用可穿戴显示系统时需要飞越不同的环境，这要求可穿戴显示系统中的头部姿态定位系统免疫大多数异常外部条件。美国联邦航空局(FAA)在其会议备忘录中提出了“可穿戴显示系统的头部姿态定位系统故障后能保持正常工作”的期望，这是目前绝大多数军用头盔、或其他领域所发明的头戴式显示器难以满足的。本发明所涉及的可穿戴显示系统采用头部姿态定位的方式是航姿参考系统(AHRS)与摄像装置定位的综合定位。两种定位系统互为冗余，任意一种定位手段所对应的设备故障或失效时，另一种定位手段仍然可以保证该可穿戴显示系统的头部姿态定位功能正常工作。符合民航业对可穿戴显示系统应用于航空领域时提出的高安全性的要求。

发明内容

本发明的目的在于提供一种飞行员可穿戴显示系统，主要解决飞行员对飞机外部的情景感知范围不足，无法顾及到飞机两侧的问题，并采用一种综合定位的方法，提高该可穿戴显示系统的安全性。

本发明为解决以上问题所提出方案的主要思路为：该系统利用穿戴设备的特性，直接将字符画面呈现在飞行员眼前，使飞行员无需考虑坐姿、观察角度等问题。该系统还针对航空电子显示对字符画面等角性要求，通过其具有的头部定位系统测量飞行员实时的头部姿态变化，从而获得定位参数作为依据，来修正字符画面位置以保持等角性。该系统进一步将头部定位系统配置为包含两个不同源、且互为冗余的定位传感器，并利用到了一种综合的定位头部姿态的方法。

本发明的技术方案为：

所述一种飞行员可穿戴显示系统，其特征在于：包括可穿戴显示器、头部姿态定位系统、第一处理器和第二处理器；

所述可穿戴显示器在使用时相对于飞行员头部保持稳固；所述可穿戴显示器包括像源和显示部件，能够从第一处理器接收并显示字符画面；

所述头部姿态定位系统包括航姿参考系统、摄像装置和定位标记；所述航姿参考系统在使用时相对于飞行员头部保持稳固，能够发送第一定位信号至第一处理器；所述摄像装置相对于驾驶舱结构保持稳固，能够发送第二定位信号至第二处理器；所述定位标记在使用时相对于飞行员头部保持稳固，被安装于可被摄像装置捕获的位置；

所述第二处理器将接收的第二定位信号数据格式处理为与第一定位信号数据格式一致，并将处理后的第二定位信号发送至所述第一处理器；

所述第一处理器能够对输入的第一定位信号以及第二定位信号进行处理，得到飞行员头部姿态参数，并接收外部航电传感器输出的航电传感器参数；第一处理器根据航电传感器参数绘制字符，并根据飞行员头部姿态参数修正字符画面的位置，并将字符画面并发送至可穿戴显示器；

所述第一处理器对第一定位信号以及第二定位信号的处理包括：

1)通过坐标变换将第一定位信号和第二定位信号分别与机轴对准；

2)设置第一定位信号以及第二定位信号中的一种定位信号为主定位信号，另一种定位信号为备用定位信号；

3)对第一定位信号以及第二定位信号进行一致性对比，判断主定位信号是否无效，若无效，则将备用定位信号处理为头部姿态参数；若主定位信号有效，则将主定位信号处理为头部姿态参数，同时当一致性对比结果低于设定的一致性要求，记录定位信号不一致讯息。

进一步的优选方案，所述一种飞行员可穿戴显示系统，其特征在于：当所述第一处理器连续设定周期均记录到定位信号不一致讯息时，所述第一处理器生成定位警告提示。

进一步的优选方案，所述一种飞行员可穿戴显示系统，其特征在于：所述第一处理器能够利用人机交互设备响应飞行员的选择，执行以下某一种模式：

1)、只接收第一定位信号以及第二定位信号中的一种定位信号，不接收另一种定位信号；

2)、同时接收第一定位信号以及第二定位信号；

3)、同时不接收第一定位信号以及第二定位信号。

进一步的优选方案，所述一种飞行员可穿戴显示系统，其特征在于：所述头部姿态定位系统输出第一定位信号与第二定位信号的速率一致，且不低于50Hz。

进一步的优选方案，所述一种飞行员可穿戴显示系统，其特征在于：所述像源采用OLED像源、LCD像源或LCOS像源。

进一步的优选方案，所述一种飞行员可穿戴显示系统，其特征在于：所述航姿参考系统采用基于MEMS传感器的航姿参考系统。

利用上述装置的飞行员头部姿态定位方法，其特征在于：包括以下步骤：

步骤1：通过坐标变换将第一定位信号和第二定位信号分别与机轴对准；

步骤2：设置第一定位信号以及第二定位信号中的一种定位信号为主定位信号，另一种定位信号为备用定位信号；

步骤3：对第一定位信号以及第二定位信号进行一致性对比，根据一致性对比结果判断主定位信号是否无效，若无效，则进行步骤5，若主定位信号有效，且一致性对比结果达到设定的一致性要求，则进行步骤4，若主定位信号有效，但一致性对比结果低于设定的一致性要求，则进行步骤6；

步骤4：将主定位信号处理为头部姿态参数，对下一周期定位信号执行步骤3；

步骤5：将备用定位信号处理为头部姿态参数，对下一周期定位信号执行步骤3；

步骤6：将主定位信号处理为头部姿态参数，记录定位信号不一致讯息，对下一周期定位信号执行步骤3。

有益效果

本发明的有益成果是：由于所述可穿戴显示系统采用了可穿戴显示器及头部姿态定位系统相对于飞行员头部稳固的方案，使飞行员向任一方向扭头观察时都能够看到可穿戴显示系统提供的字符画面。头部姿态定位系统的组成及采用的定位头部姿态的方法一方面扩大了头部姿态定位系统的工作角度范围，另一方面提高了头部姿态定位系统抗环境干扰能力。并最终使该可穿戴显示系统的安全性提高。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1是本发明的可穿戴显示系统的架构及功能框图。

图2是本发明的可穿戴显示系统的必要搭建和穿戴方式的示意图。

图3是本发明的可穿戴显示系统的通常工作流程图。

图4是本发明中涉及到的一种定位头部姿态的方法的流程图。

具体实施方式

下面详细描述本发明的实施例，所述实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

本发明涉及到一种可穿戴显示系统。主要解决飞行员对飞机外部的情景感知范围不足，无法顾及到飞机两侧的问题，并采用一种综合定位的方法，提高该可穿戴显示系统的安全性。为实现以上目标，采用以下方案：

飞行员可穿戴显示系统，包括可穿戴显示器、头部姿态定位系统、第一处理器和第二处理器。

所述可穿戴显示器在使用时相对于飞行员头部保持稳固；所述可穿戴显示器包括像源和显示部件，能够从第一处理器接收并显示字符画面。

所述头部姿态定位系统包括航姿参考系统、摄像装置和定位标记；所述航姿参考系统在使用时相对于飞行员头部保持稳固，能够发送第一定位信号至第一处理器；所述摄像装置相对于驾驶舱结构保持稳固，能够发送第二定位信号至第二处理器；所述定位标记在使用时相对于飞行员头部保持稳固，被安装于可被摄像装置捕获的位置。

所述第二处理器将接收的第二定位信号数据格式处理为与第一定位信号数据格式一致，并将处理后的第二定位信号发送至所述第一处理器。

所述第一处理器能够对输入的第一定位信号以及第二定位信号进行处理，得到飞行员头部姿态参数，并接收外部航电传感器输出的航电传感器参数；第一处理器根据航电传感器参数绘制字符，并根据飞行员头部姿态参数修正字符画面的位置，并将字符画面并发送至可穿戴显示器。

所述第一处理器对第一定位信号以及第二定位信号的处理包括：

1)通过坐标变换将第一定位信号和第二定位信号分别与机轴对准；

2)设置第一定位信号以及第二定位信号中的一种定位信号为主定位信号，另一种定位信号为备用定位信号；

3)对第一定位信号以及第二定位信号进行一致性对比，判断主定位信号是否无效，若无效，则将备用定位信号处理为头部姿态参数；若主定位信号有效，则将主定位信号处理为头部姿态参数，同时当一致性对比结果低于设定的一致性要求，记录定位信号不一致讯息。

此外，所述第一处理器能够利用人机交互设备响应飞行员的选择，执行以下某一种模式：

1)、只接收第一定位信号以及第二定位信号中的一种定位信号，不接收另一种定位信号；

2)、同时接收第一定位信号以及第二定位信号；

3)、同时不接收第一定位信号以及第二定位信号。

所述头部姿态定位系统输出第一定位信号与第二定位信号的速率一致，且不低于50Hz。

本实施例中，图1是可穿戴显示系统10的架构及功能框图。系统10具有多个组件，包括可穿戴显示器11、第一处理器14、第二处理器15、头部姿态定位系统16。其中可穿戴显示器11进一步包括像源12和显示部件13；头部姿态定位系统16进一步包括AHRS17、定位标记18、摄像装置19。以上所述每个组件都可以被配置为安装在飞机上。

其中，像源采用OLED像源、LCD像源或LCOS像源为一种优化的选择；AHRS采用基于MEMS传感器的AHRS为一种优化的选择。

以上所述的组件分别承担如图3所示的功能，以实现本发明的可穿戴显示系统的通常工作流程。飞行员以机轴为准发出对准指令50并设置主定位信号51。第一处理器14接收对准指令50后处理定位信号的坐标系转换参数55，使将接收到的第一定位信号21和第二定位信号22转换到同一参考坐标系内。主定位信号也可以是由第一处理器14默认配置的主定位信号52。头部姿态定位系统被配置为生成和发送第一定位信号53和第二定位信号54。其中，第一定位信号被直接发送到第一处理器14等待定位信号对比56。而第二定位信号需要经过第二处理器15的处理之后，再发送至第一处理器14。由第一处理器进行第一定位信号和第二定位信号对比56。第一处理器采用所述定位头部姿态的方法，通过对定位信号的综合判断(或飞行员干预：选择定位模式62)，生成头部姿态定位参数57。由飞机的航电传感器生成传感器参数60发送至第一处理器。第一处理器生成字符画面，修正字符画面位置58，发送到可穿戴显示器中为飞行员显示字符画面61。

使用所述可穿戴显示系统时需采用类似于如图2的安装和佩戴方式。飞行员将可穿戴显示器穿戴在身上。佩戴后像源12和显示部件13自然落于飞行员眼前。可穿戴显示器的结构设计使飞行员佩戴后自然处于设计眼位上。佩戴后飞行员通过显示组件13以及飞机的风挡玻璃30可以观察到字符画面与外景叠加在一起。可穿戴显示器在结构上包含了头部姿态定位系统中AHRS17的部分以及定位标记18部分。佩戴后，显示部件13、AHRS17以及定位标记18能够相对于飞行员头部保持稳固，从而分别起到字符画面显示、测量头部姿态的第一定位信号以及为第二定位信号提供参考的作用。第一处理器14和第二处理器15可以是任何类型的计算机、计算机系统、微处理器或由其他航电系统提供的计算资源。通常它们被安置于飞机的航电设备机柜。其中值得注意的是，图2只反映所述可穿戴显示系统的安装要求，不用于反映或约束本发明所述可穿戴显示器的结构设计及佩戴方式设计。

AHRS17生成的第一定位信号21是包含俯仰、横滚、偏航的角度信息。如背景技术章节所述，由AHRS生成的第一定位信息21利用到了陀螺仪测量姿态角度，并使用磁场计对陀螺仪的累积误差进行了修正。第一定位信息21被发送至第一处理器14，并被转换为与第二定位信号22相同的参考坐标系，准备与第二定位信号22进行比对。

如背景技术章节所述，利用摄像装置19与定位标记18的组合生成的第二定位信号22为包含定位标记画面的图像信息。采用如图2的安装方式，将摄像装置19安装于机轴的位置上连续拍摄安装于飞行员头部的定位标记18。飞行员头部的姿态和运动可以反映为固定的摄像装置19拍摄到的定位标记18处于画面中的不同位置。第二定位信号22为包含定位信息的图片，被发送到第二处理器15，被转换为与第一定位信号21相同格式和相同参考坐标系的定位数据，最后发送至第一处理器14进行比对。

本发明所述的头部姿态定位系统采用的是包含了AHRS和摄像定位所组成的综合定位。如背景技术章节所述，通常AHRS和摄像定位可以分别独立承担头部姿态定位的功能。AHRS的优点在于大范围定位识别，尤其是偏航角的测量范围达到正负180°，可完全覆盖飞行员两侧的视野。但当飞机处于异常天气中、地磁南北极附近、或飞机为高俯仰的态势时，AHRS容易产生异常数据。摄像定位的优点在于识别精度高，缺点在于识别范围小，一旦飞行员头部转动幅度较大，摄像装置无法有效识别到定位标记。比对两种定位信号的目的在于当某一定位信号受到干扰时，另一定位信号还能持续为飞行员提供稳定有效的定位信号。

如图4，所述系统通过飞行员的配合，采用一种定位头部姿态的方法生成头部姿态定位参数。其步骤为：飞行员将第一定位信号和第二定位信号分别与机轴对准，(飞行员执行对准的方式包括而不限于按键、语音控制、手势控制等)并同时设置第一定位信号或第二定位信号为主定位信号，则另一定位信号为备用定位信号。当第一处理器获取一组对比定位信号并将定位信号处理至同一参考坐标系后，判断主定位信号是否无效。若主定位信号是否无效，则将备用定位信号处理为头部姿态参数，随后准备接收下一组定位信号。若主定位信号参数是有效的，则对比两种定位信号的一致性程度。若一致性程度高，达到设定要求，则将主定位信号处理为头部姿态参数，随后准备接收下一组定位信号；若一致性程度低，没有达到设定要求，则记录定位信息不一致的讯息，仍将主定位信号处理为头部姿态参数，随后准备接收下一组定位信号。

所述“判断主定位信号是否无效”是指一些可预期的定位信号异常。包括但不限于：当第一定位信号21作为主定位信号时，第一定位信号21包含俯仰角信息超过85°时，会出现可预期的定位信号异常；当第二定位信号22作为主定位信号时，第二定位信号22中没有出现任何定位标记的图像时，会出现可预期的定位信号异常。不包括因任何不可预知的原因而产生的随机定位信号异常。

当连续一段时间内(可设计为任意时长)第一处理器持续记录定位信息不一致的讯息，表明无法确定主定位信息是否有误，则发出定位信息不一致的警告。警告的方式包括但不限于：警告语音、显示在可穿戴显示器上的警告信息。

当可穿戴显示系统发出定位不一致的警告信息时，飞行员可以通过飞行员可选择定位模式62(如图3)的方式确定定位数据异常的发生源。飞行员可作出的选择包括：

·仅接收第一定位信号21，查看AHRS17的定位信号输出是否异常；

·仅接收第二定位信号22，查看摄像定位的定位信号输出是否异常；

·同时接收第一定位信号和第二定位信号，可穿戴显示系统的常规定位模式；

●同时不接收两种定位信号，当定位信号异常造成了严重的字符画面误导时，飞行员应暂时关闭定位信号输入。

仅接收某一定位信号不意味着另一定位信号所对应的传感器不再发送定位信号，而是第一处理器获得另一定位信号时，不再对该定位信号进行任何处理和对比。

飞行员可以设置第一定位信号21或第二定位信号22为主定位信号51，或由第一处理器14选择默认配置的主定位信号52。其意义在于使飞行员有准备地应对异常环境所导致的的定位异常。举例说明，当所驾驶的飞机需穿越地磁北极附近时(往返中国和美国的客机通常如此飞行)，飞行员应提前判断AHRS所受的潜在影响，将第二定位信号设置为主定位信号。飞行员设置主定位信号的方式包括而不限于按键、语音控制、手势控制等。

所述头戴式显示系统提供叠加字符画面主要集中在外景上，飞行员不期望头戴式显示系统提供的字符画面叠加在其他仪表设备上，因此第一处理器被进一步配置根据驾驶舱结构参数，将字符画面显示的范围限制在飞行员头部姿态通过风挡玻璃30(如图2)的观察范围内。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在不脱离本发明的原理和宗旨的情况下在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (7)

1.一种飞行员可穿戴显示系统，其特征在于：包括可穿戴显示器、头部姿态定位系统、第一处理器和第二处理器；

所述可穿戴显示器在使用时相对于飞行员头部保持稳固；所述可穿戴显示器包括像源和显示部件，能够从第一处理器接收并显示字符画面；

所述头部姿态定位系统包括航姿参考系统、摄像装置和定位标记；所述航姿参考系统在使用时相对于飞行员头部保持稳固，能够发送第一定位信号至第一处理器；所述摄像装置相对于驾驶舱结构保持稳固，能够发送第二定位信号至第二处理器；所述定位标记在使用时相对于飞行员头部保持稳固，被安装于可被摄像装置捕获的位置；

所述第二处理器将接收的第二定位信号数据格式处理为与第一定位信号数据格式一致，并将处理后的第二定位信号发送至所述第一处理器；

所述第一处理器能够对输入的第一定位信号以及第二定位信号进行处理，得到飞行员头部姿态参数，并接收外部航电传感器输出的航电传感器参数；第一处理器根据航电传感器参数绘制字符，并根据飞行员头部姿态参数修正字符画面的位置，并将字符画面发送至可穿戴显示器；

所述第一处理器对第一定位信号以及第二定位信号的处理包括：

1)通过坐标变换将第一定位信号和第二定位信号分别与机轴对准；

2)设置第一定位信号以及第二定位信号中的一种定位信号为主定位信号，另一种定位信号为备用定位信号；

3)对第一定位信号以及第二定位信号进行一致性对比，判断主定位信号是否无效，若无效，则将备用定位信号处理为头部姿态参数；若主定位信号有效，则将主定位信号处理为头部姿态参数，同时当一致性对比结果低于设定的一致性要求，记录定位信号不一致讯息。

2.根据权利要求1所述一种飞行员可穿戴显示系统，其特征在于：当所述第一处理器连续设定周期均记录到定位信号不一致讯息时，所述第一处理器生成定位警告提示。

3.根据权利要求2所述一种飞行员可穿戴显示系统，其特征在于：所述第一处理器能够利用人机交互设备响应飞行员的选择，执行以下某一种模式：

1)、只接收第一定位信号以及第二定位信号中的一种定位信号，不接收另一种定位信号；

2)、同时接收第一定位信号以及第二定位信号；

3)、同时不接收第一定位信号以及第二定位信号。

4.根据权利要求1所述一种飞行员可穿戴显示系统，其特征在于：所述头部姿态定位系统输出第一定位信号与第二定位信号的速率一致，且不低于50Hz。

5.根据权利要求1所述一种飞行员可穿戴显示系统，其特征在于：所述像源采用OLED像源、LCD像源或LCOS像源。

6.根据权利要求1所述一种飞行员可穿戴显示系统，其特征在于：所述航姿参考系统采用基于MEMS传感器的航姿参考系统。

7.利用权利要求1所述系统的飞行员头部姿态定位方法，其特征在于：包括以下步骤：

步骤1：通过坐标变换将第一定位信号和第二定位信号分别与机轴对准；

步骤2：设置第一定位信号以及第二定位信号中的一种定位信号为主定位信号，另一种定位信号为备用定位信号；

步骤3：对第一定位信号以及第二定位信号进行一致性对比，根据一致性对比结果判断主定位信号是否无效，若无效，则进行步骤5，若主定位信号有效，且一致性对比结果达到设定的一致性要求，则进行步骤4，若主定位信号有效，但一致性对比结果低于设定的一致性要求，则进行步骤6；

步骤4：将主定位信号处理为头部姿态参数，对下一周期定位信号执行步骤3；

步骤5：将备用定位信号处理为头部姿态参数，对下一周期定位信号执行步骤3；

步骤6：将主定位信号处理为头部姿态参数，记录定位信号不一致讯息，对下一周期定位信号执行步骤3。