CN116558510A - 机载增强现实设备的多源融合定位及增强显示标定方法 - Google Patents

Abstract

本发明公开了一种机载增强现实设备的多源融合定位及增强显示标定方法，主要由头戴式增强现实显示设备的上安装的有源红外标志点模块、惯导传感器模块、红外图像传感器模块，飞机座椅上安装的双目红外视觉定位传感器，飞机座舱安装的无源红外靶标图像模块、显控处理计算机及其配套的定位注册与显示标定、实时位姿融合定位工作流程实现完成。本发明实现基于惯导及红外视觉传感器的多源融合定位、增强现实显示标定功能，为头戴式增强现实显示设备提供一种具有高精度、高可靠性、鲁棒性的综合定位显示标定解决方案。

Description

机载增强现实设备的多源融合定位及增强显示标定方法

技术领域

本发明属于飞机座舱显控系统的交互设备，具体涉及用于机载头戴式增强现实显示设备的一种多源融合定位及增强显示标定方法。

背景技术

具备增强现实显示与头动控制功能的增强现实显示头盔器，是飞行员实现全向态势感知能力与保障飞行安全的理想显控交互设备。要实现机载环境的增强现实显示，增强现实显示设备必须有准确的定位技术与增强显示技术，其精度及鲁棒性直接影响增强显示的精度，甚至影响到飞行安全。相比地面的增强现实显示设备，机载的增强现实显示设备的定位及显示注册方案，更容易受到机载环境复杂的光环境、电磁环境以及振动环境的影响。目前，用于增强现实定位采用的方法比较多，如惯导定位、超声波定位、磁性定位、红外激光扫描定位、视觉图像定位等，但单一的定位方法难以满足机载的定位精度要求，且很难适应机载复杂的应用环境，因此也无法准确的获得高精度的增强显示效果。

发明内容

本发明针对复杂的机载环境，提供一种面向机载头戴式增强现实显示设备的定位及增强显示标定方法，实现基于惯导及红外视觉传感器的多源融合定位、增强现实显示标定功能，为头戴式增强现实显示设备提供一种具有高精度、高可靠性、鲁棒性的综合定位显示标定解决方案。

为了实现上述任务，本发明采用以下技术方案：

一种机载增强现实设备的多源融合定位及增强显示标定装置，包括源红外标志点模块、惯导传感器模块、红外图像采集阵列模块、双目红外视觉定位传感器、无源红外靶标图像模块以及显控处理计算机；其中：

所述双目红外视觉定位传感器安装在飞行员的座椅后上方，由双目红外图像传感器和惯导传感器组成；根据显控处理计算机统一发出的时间同步信号，双目红外图像传感器采集头戴式增强现实显示设备上安装的有源红外标志点模块的红外标记点图像，提取图像中的红外标记点的二维坐标，根据匹配2D-3D点匹配信息，结合已知的红外标记点的三维坐标，对头戴增强现实显示设备的位姿进行实时的跟踪定位计算；惯导传感器则实时采集飞机座舱的角速度和加速度位姿数据；

所述有源红外标志点模块规则地分布在头戴式增强现实显示设备外表面；红外标志点模块的红外LED灯由显控处理计算机发出的时间同步信号统一控制；

所述惯导传感器模块安装在头戴式增强现实显示设备上，用于对头戴式增强现实显示设备的角速度、加速度数据进行实时采集，并与所述双目红外视觉定位传感器中的惯导传感器采集的飞机座舱的角速度、加速度数据做消减处理，获得头戴式增强现实显示设备相对于飞机座舱的角速度、加速度数据；

所述无源红外靶标图像模块安装在飞行员座椅正前方的前仪表板上；

所述红外图像采集阵列模块安装在头戴式增强现实设备前侧，能够在头戴式增强现实设备活动的范围内，对无源红外靶标图像模块进行定位识别；

所述显示处理计算机作为主控制单元，对各传感器的数据的时间进行同步对齐控制，并按照实时位姿融合定位流程，根据各传感器的主次关系对头戴增强现实显示设备的位姿进行融合计算。

进一步地，使用PnP算法对头戴增强现实显示设备的位姿进行实时的跟踪定位计算。

一种机载增强现实设备的多源融合定位及增强显示标定方法，包括定位注册及显示标定流程：

步骤1，飞行员进入座舱后，调整好座椅位置，佩戴调整好头戴式增强现实显示设备，面向无源红外靶标图像模块的位置保持稳固、舒适的佩戴；

步骤2，头戴式增强现实显示设备上的红外图像采集阵列模块采集飞机前仪表板的无源红外靶标图像模块，计算头戴式增强现实显示设备相对于无源红外靶标图像模块的位姿；

步骤3，飞行员座椅上的双目红外视觉定位传感器采集头戴式增强现实显示设备上布置的有源红外标志点模块的图像，提取计算所有红外标志点在图像中的二维坐标，进行图像上的红外标志点与头盔上的红外标志点的匹配，根据匹配2D-3D点匹配信息，结合红外标记点的二维坐标和三维坐标，使用PnP算法计算得到头戴式增强现实显示设备相对于双目红外视觉定位传感器的位姿；

步骤4，由步骤2和步骤3得到的位姿数据，计算得到双目红外视觉定位传感器相对于无源红外靶标图像模块的位姿；

步骤5，以无源红外靶标图像模块的位置为世界坐标系的原点，通过步骤3中头戴式增强现实显示设备相对于的双目红外视觉定位传感器位姿和步骤4中双目红外视觉定位传感器相对于红外靶标的位姿计算得到头戴式增强现实显示设备相对无源红外靶标图像模块的位姿，完成头戴式增强现实显示设备在飞机座舱下的定位标定。

进一步地，所述方法还包括：

步骤6，由显控处理计算机在无源红外靶标图像模块的原点位置生成放置一个与无源红外靶标图像物理形状大小一致的虚拟靶标物体，飞行员通过头戴式增强现实显示设备观察增强显示的虚拟靶标物体与真实的无源红外靶标图像的空间一致性；

步骤7，当飞行员观察到虚拟靶标物体与真实的无源红外靶标图像的空间位置有差异时，通过调整虚拟靶标物体的位姿，使得虚拟靶标物体与真实的无无源红外靶标图像空间位置保持一致，计算得到调整后的虚拟靶标物体相对于世界坐标系的原点的位姿差；

步骤8，根据步骤7得到的虚拟靶标物体相对于世界坐标系的原点的位姿差，调整头戴式增强现实显示设备中显示的其他虚拟图符或者物体的空间位置，完成头戴式增强现实显示设备在飞机座舱下的显示标定。

进一步地，所述方法还包括实时位姿融合定位流程，具体如下：

A.显控处理计算机向双目红外视觉定位传感器、头戴式增强现实显示设备上的惯导传感器模块设备发送时间同步信号；

B.头戴式增强现实显示设备的惯导传感器模块基于所述时间同步信号，实时获取角速度、加速度原始传感器数据，并进行去噪处理；

C.双目红外视觉定位传感器中的惯导传感器基于所述时间同步信号，实时获取角速度、加速度原始传感器数据，并进行去噪处理；

D.显控处理计算机获取步骤B和步骤C所获得的原始传感器数据，并进行消减处理，得到头戴式增强现实显示设备相对飞机的角速度、加速度数据；

E.双目红外视觉定位传感器中的红外图像传感器基于显控处理计算机的时间同步信号，采集头戴式增强现实显示设备上布置的有源红外标志点模块图像，计算得到头戴式增强现实显示设备相对于双目红外视觉定位传感器的位姿；

F.显控处理计算机获取所述头戴式增强现实显示设备相对于双目红外视觉定位传感器的位姿，结合定位注册及显示标定流程中得到的双目红外视觉定位传感器相对于无源红外靶标图像模块的位姿，计算得到头戴式增强现实显示设备相对于无源红外靶标图像模块的位姿；

G.在显控处理计算机中采用异步松耦合的方法，通过扩展卡尔曼滤波算法将步骤D得到的头戴式增强现实显示设备相对飞机的角速度、加速度数据和步骤F中得到的头戴式增强现实显示设备相对于无源红外靶标图像模块的位姿进行融合，以固定频率计算并输出融合后的位姿信息。

进一步地，所述方法还包括：

H.在位姿进行融合的计算周期内，显控处理计算机获取到新的双目红外视觉定位传感器的位姿数据时，则实时更新当前的融合状态；

I.在位姿进行融合的计算周期内，如未收到双目红外视觉定位传感器的新的位姿数据，则通过当前位姿的加速度和角速度对未来位姿的预测和去噪，得到预测的位姿数据。

进一步地，当双目红外视觉定位传感器无法输出实时位姿数据时，头戴式增强现实显示设备上的红外图像传感器采集无源红外靶标图像模块图像，计算头戴式增强现实显示设备相对于无源红外靶标图像模块的位姿，替代双目红外视觉定位传感器的数据参与步骤G-I中的融合定位数据的计算。

进一步地，显控处理计算机根据融合后的位姿信息、飞机自身惯性导航系统的位姿数据以及增强显示标定参数，计算生成增强现实显示画面，输出至头戴式增强现实设备中。

与现有技术相比，本发明具有以下技术特点：

第一，本发明通过头戴设备的惯导传感器与外部双目红外视觉定位传感器中的惯导传感器的消减处理算法，去除了机载环境下由飞机自身的高速度运动与振动环境的影响，可以得到头戴式增强现实显示设备在飞机坐标系下的相对运动参数。

第二，本发明的降低了有源定位(电磁定位、红外标志点定位)在飞机系统上配置的集成难度。

第三，本发明通过由外向内的红外标志点视觉定位和由内向外的红外图像视觉定位以及与惯导定位的多源融合定法方法，实现了适用机载环境的增强现实定位方法，一方面提高定位精度，另外一方面提高了系统的冗余度，为头戴式增强现实显示设备的机载应用提供了可靠的定位和增强显示显示标定技术方案。

附图说明

图1是本发明的实施例的标定装置的架构框图；

图2是本发明实施例的设备整体布局示意图；

图3是本发明实施例的穿戴式增强现实显示设备的布局示意图；

图4是本发明实施例的定位传感器的相关组成示意；

图5是本发明的工作流程图。

具体实施方式

本发明的目的是解决在复杂机载环境下，头戴式增强现实显示设备在飞机机体坐标系下的准确实时定位与显示标定问题，通过从外向里(Outside-in)方式的双目红外图像传感器对于有源红外标志点的实时位姿定位、惯导传感器实时位姿计算、从里向外(Inside-out)方式的红外图像传感器对于无源红外靶标的定位及显示校准等三种定位算法，以及融合三种定位方法的位姿融合算法，实现了一种面向机载头戴式增强现实显示设备的多源融合定位及增强显示标定方案，有效的解决了定位容易丢失、定位校准精度低、无法及时显示标定以及与机载环境匹配性等问题。

本发明首先提供了一种机载增强现实设备的多源融合定位及增强显示标定装置，包括在头戴式增强现实显示设备上安装的有源红外标志点模块、惯导传感器模块、红外图像采集阵列模块；在飞机座椅上安装双目红外视觉定位传感器，在飞机座舱中设有无源红外靶标图像模块、显控处理计算机；其中：

所述双目红外视觉定位传感器安装在飞行员的座椅后上方，由双目红外图像传感器和惯导传感器组成；根据显控处理计算机统一发出的时间同步信号，双目红外图像传感器采集头戴式增强现实显示设备上安装的有源红外标志点模块的红外标记点图像，提取图像中的红外标记点的二维坐标，根据匹配2D-3D点匹配信息，结合已知的红外标记点的三维坐标，使用PnP算法对头戴增强现实显示设备的位姿进行实时的跟踪定位计算；惯导传感器则实时采集飞机座舱的角速度和加速度等位姿数据；

所述有源红外标志点模块规则地分布在头戴式增强现实显示设备外表面；红外标志点模块的红外LED灯由显控处理计算机发出的时间同步信号统一控制，保证与双目红外视觉定位传感器的图像采集同步和位姿数据计算同步；

所述惯导传感器模块用于对头戴式增强现实显示设备的角速度、加速度数据进行实时采集，并与所述双目红外视觉定位传感器中的惯导传感器采集的飞机座舱的角速度、加速度数据做消减处理，获得头戴式增强现实显示设备相对于飞机座舱的角速度、加速度数据；

所述无源红外靶标图像模块安装在飞行员座椅正前方的前仪表板上或者其它可安装的位置上；

所述红外图像采集阵列模块安装在头戴式增强现实设备前侧，能够在头戴式增强现实设备活动的范围内，对无源红外靶标图像模块进行定位识别，用来进行定位标定和显示标定；

所述显示处理计算机作为主控制单元，对各传感器的数据的时间进行同步对齐控制，并按照实时位姿融合定位流程，根据各传感器的主次关系对头戴增强现实显示设备的位姿进行融合计算。

本发明的一种机载增强现实设备的多源融合定位及增强显示标定方法，包括定位注册及显示标定流程，如下：

步骤1，飞行员进入座舱后，调整好座椅位置，佩戴调整好头戴式增强现实显示设备，面向无源红外靶标图像模块的位置保持稳固、舒适的佩戴；

步骤2，头戴式增强现实显示设备上的红外图像采集阵列模块采集飞机前仪表板的无源红外靶标图像模块，计算头戴式增强现实显示设备相对于无源红外靶标图像模块的位姿；

步骤3，飞行员座椅上的双目红外视觉定位传感器采集头戴式增强现实显示设备上布置的有源红外标志点模块的图像，提取计算所有红外标志点(红外LED灯)在图像中的二维坐标，进行图像上的红外标志点与头盔上的红外标志点的匹配，根据匹配2D-3D点匹配信息，结合红外标记点的二维坐标和三维坐标，使用PnP算法计算得到头戴式增强现实显示设备相对于双目红外视觉定位传感器的位姿；

步骤4，由于双目红外视觉定位传感器安装在飞行员座椅上，由于飞行员的调整或飞行过程中的振动等原因，使得双目红外视觉定位传感器相对于飞机座舱的位姿不固定，而无源红外靶标图像模块与飞机座舱前面板为硬连接，其相对于飞机座舱的位姿固定；因此由步骤2和步骤3得到的位姿数据，可以计算得到双目红外视觉定位传感器相对于无源红外靶标图像模块的位姿；

步骤5，以无源红外靶标图像模块的位置为世界坐标系的原点，则头戴式增强现实显示设备相对无源红外靶标图像模块的位姿可以由步骤3中头戴式增强现实显示设备相对于的双目红外视觉定位传感器位姿和步骤4中双目红外视觉定位传感器相对于红外靶标的位姿计算得到，完成头戴式增强现实显示设备在飞机座舱下的定位标定；

步骤6，由显控处理计算机在无源红外靶标图像模块的原点位置生成放置一个与无源红外靶标图像物理形状大小一致的虚拟靶标物体，飞行员通过头戴式增强现实显示设备观察增强显示的虚拟靶标物体与真实的无源红外靶标图像的空间一致性；

步骤7，当飞行员观察到虚拟靶标物体与真实的无源红外靶标图像的空间位置有差异时，通过调整虚拟靶标物体的位姿，使得虚拟靶标物体与真实的无无源红外靶标图像空间位置保持一致，计算得到调整后的虚拟靶标物体相对于世界坐标系的原点的位姿差；当飞行员观察到虚拟靶标物体与真实的无源红外靶标的空间位置没有差异时，则所述位姿差异为零；

步骤8，根据步骤7得到的虚拟靶标物体相对于世界坐标系的原点的位姿差，调整头戴式增强现实显示设备中显示的其他虚拟图符或者物体的空间位置，完成头戴式增强现实显示设备在飞机座舱下的显示标定。

本发明的一种机载增强现实设备的多源融合定位及增强显示标定方法，还包括实时位姿融合定位流程，具体如下：

A.显控处理计算机向双目红外视觉定位传感器、头戴式增强现实显示设备上的惯导传感器模块等设备发送时间同步信号；

B.头戴式增强现实显示设备的惯导传感器模块基于所述时间同步信号，实时获取角速度、加速度等原始传感器数据，并进行去噪处理；

C.双目红外视觉定位传感器中的惯导传感器基于所述时间同步信号，实时获取角速度、加速度等原始传感器数据，并进行去噪处理；

D.显控处理计算机获取步骤B和步骤C所获得的原始传感器数据，并进行消减处理，去除飞机自身的角速度、加速度引起的影响，得到头戴式增强现实显示设备相对飞机的角速度、加速度数据；

E.双目红外视觉定位传感器中的红外图像传感器基于显控处理计算机的时间同步信号，采集头戴式增强现实显示设备上布置的有源红外标志点模块图像，计算得到头戴式增强现实显示设备相对于双目红外视觉定位传感器的位姿；

F.显控处理计算机获取所述头戴式增强现实显示设备相对于双目红外视觉定位传感器的位姿，结合定位注册及显示标定流程中步骤4得到的双目红外视觉定位传感器相对于无源红外靶标图像模块的位姿，计算得到头戴式增强现实显示设备相对于无源红外靶标图像模块的位姿；

G.在显控处理计算机中采用异步松耦合的方法，通过扩展卡尔曼滤波算法将步骤D得到的头戴式增强现实显示设备相对飞机的角速度、加速度数据和步骤F中得到的头戴式增强现实显示设备相对于无源红外靶标图像模块的位姿进行融合，以固定频率计算并输出融合后的位姿信息；

H.在位姿进行融合的计算周期内，显控处理计算机获取到新的双目红外视觉定位传感器的位姿数据时，则实时更新当前的融合状态；

I.在位姿进行融合的计算周期内，如未收到双目红外视觉定位传感器的新的位姿数据，则通过当前位姿的加速度和角速度对未来位姿的预测和去噪，得到预测的位姿数据；

J.当双目红外视觉定位传感器受头盔的构型影响，在特殊头动位置不能对红外标志点进行识别定位或者其它异常原因无法输出实时位姿数据时，头戴式增强现实显示设备上的红外图像传感器，采集无源红外靶标图像模块图像，计算头戴式增强现实显示设备相对于无源红外靶标图像模块的位姿，替代双目红外视觉定位传感器的数据参与步骤G-I中的融合定位数据的计算；

K.显控处理计算机根据融合后的位姿信息、飞机自身惯性导航系统的位姿数据以及增强显示标定参数，计算生成增强现实显示画面，输出至头戴式增强现实设备中。

实施例

以下实施例中实施例1为该方法中系统各模块组成及具体的实施案例配置情况，实施例2为该方法在使用场景的具体工作流程。

实施例1：

(1)本发明的实例按照图1所示的系统框图所示，为实现头戴式增强现实显示设备的定位注册及增强显示功能，该方案包括了头戴式增强现实显示设备201、双目红外视觉定位传感器202、显控处理计算机203、无源红外靶标图像模块204四个组成单元；其中，在头戴式增强现实显示设备上需要配置有源红外标志点模块301、惯导传感器模块302、红外图像采集阵列模块303以及其它相应的功能模块。双目红外视觉定位传感器202主要包括惯导传感器304、双目红外图像传感器305。

(2)如图2所示，有源红外标志点模块301，按照预设点阵分布的形式固定在头戴式增强现实显示设备201的外壳表面，作为基于标志点视觉定位的红外图像像源标记，并根据显控处理计算机203提供的时间同步信号进行曝光点亮。

(3)如图2所示，惯导传感器模块302安装在头戴式增强现实显示设备201的后壳部分的控制处理单元中，获取头戴式增强现实显示设备201的原始角速度，加速度等运动位姿信息。

(4)如图2和图3所示，红外视觉传感器模块303为双目的红外图像传感器，安装在头戴式增强现实显示设备201的前上方，使用其中一个红外图像传感器可以获取飞机驾驶员视野内的无源红外靶标图像模块204的图像，并基于视觉定位算法，计算得到头戴式增强现实显示设备与无源红外靶标图像的相对位姿信息。

(5)如图2和图4所示，双目红外视觉传感器202安装在飞机驾驶员正后方的座椅的上方，双目红外视觉定位传感器202上的红外图像传感器模块401的镜头视场角，覆盖头戴式增强现实显示设备201在飞机座舱的的极限移动或极限转动情况下的位置，保证在飞机驾驶员活动范围内都能采集到红外标志点图像。

(6)如图2和图4所示，双目红外视觉传感器202上安装有惯导传感器模块402模块，可对飞机机体的角速度、加速度等数据进行实时采集。

(7)如图2所示，无源红外靶标图像模块204安装在飞机座舱前仪表板上，为头戴式增强现实显示设备201上的红外图像采集阵列模块303提供识别像源。

(8)显控处理计算机203作为主控制单元，安装在飞机座椅下，主要对传感器进行时间同步控制，并按照定位融合处理的流程，根据传感器的主次关系对头戴式增强现实显示设备的实时位置进行融合计算。

(9)根据硬件配置方案，显控处理计算机203对双目红外视觉传感器202、以及无源红外靶标图像模块204以及头戴式增强现实显示设备201进行数据建模，记录各个硬件的相对位姿关系，作为的显示标定和位姿融合计算的参数。

实施例2

本发明的具体实施步骤流程图按照图5所示，分为定位注册与显示标定、位姿融合定位计算两个环节，具体步骤如下：

步骤1，按照实施例1的硬件配置以及系统状态进行配置；

步骤2，飞机驾驶员启动头戴式增强现实显示设备201、双目红外视觉定位传感器202、显控处理计算机203及其相关的系统；

步骤3，飞机驾驶员戴上头戴式增强现实显示设备201，保持稳固、舒适的佩戴；

步骤4，头戴式增强现实显示设备201上的红外图像采集模块303，采集飞机前仪表板的无源红外靶标图像模块204的图像，计算头戴式增强现实显示设备相对于红外靶标的位姿；

步骤5，双目红外视觉定位传感器202采集头戴式增强现实显示设备201上布置的红外标志点图像，计算得到头戴式增强现实显示设备相对于双目红外视觉定位传感器的位姿；

步骤6，由步骤4和步骤5得到的位姿数据，可以计算得到双目红外视觉定位传感器202相对于红外靶标204的位姿，再结合步骤5的位姿数据计算得到头戴式增强现实显示设备相对无源红外靶标的位姿，完成头戴式增强现实显示设备201在飞机座舱下的定位标定；

步骤7，显控处理计算机203在无源红外靶标204的位置生成放置一个无源红外靶标物理形状大小一致的虚拟靶标物体，飞行员通过头戴式增强现实显示设备观察增强显示的虚拟靶标物体与真实的无源红外靶标的空间一致性。若存在差异，通过调整虚拟靶标物体的位姿，使得虚拟靶标物体与真实的无源红外靶标空间位置保持一致，计算得到调整后的虚拟靶标物体相对于初始位置即世界坐标系的原点的位姿差；若不存在差异无需调整虚拟靶标物体的位置，则位姿差异为零；

步骤8，根据步骤7得到的虚拟靶标物体相对于初始位置的位姿差异，调整头戴式增强现实显示设备201中显示的其他虚拟图符或者物体的空间位置，完成头戴式增强现实显示设备201在飞机座舱下的显示标定；

步骤9，头戴式增强现实显示设备201和双目红外视觉定位传感器202的惯导传感器模块302、402基于显控处理计算机的时间同步信号，实时获取角速度、加速度等原始数据，并进行去噪处理；

步骤10，显控处理计算机203获取头戴式增强现实显示设备201的惯导传感器模块302数据和双目红外视觉定位传感器202的惯导传感器模块402数据进行消减处理，去除飞机自身的高速度运动与振动环境的引起的影响，获得头戴式增强现实显示设备201相对飞机的位姿变化；

步骤11，双目红外视觉定位传感器202根据时间同步信号采集头戴式增强现实显示设备201的有源红外标志点模块301的红外标记点图像，进行增强显示设备的实时位姿计算；

步骤12，显控处理计算机203获取双目红外视觉定位传感器202计算的头戴式增强现实显示设备201相对于的双目红外视觉定位传感器202位姿，结合步骤5得到的双目红外视觉定位传感器相对于红外靶标的位姿，计算得到头戴式增强现实显示设备相对于红外靶标的位姿；

步骤13，在显控处理计算机203中采用异步松耦合的方法，通过扩展卡尔曼滤波算法将步骤10得到的头戴式增强现实显示设备201相对飞机的角速度、加速度数据和步骤12中得到的头戴式增强现实显示设备201相对于红外靶标204的位姿进行融合，以固定频率计算并输出融合后的位姿信息；

步骤14，当在融合位姿数据计算周期内，显控处理计算机203获取到新的双目红外视觉定位传感器202的位姿数据时，则实时更新当前的融合状态和偏移量；

步骤15，当在融合位姿数据计算周期内，未获取到双目红外视觉定位传感器202的位姿数据，则通过步骤10得到的加速度和角速度对未来位姿的预测和去噪，得到预测的位姿数据；

步骤16，当双目红外视觉定位传感器202因头盔的构型影响，在特殊头动位置不能对红外标志点进行识别定位或者其它异常原因无法输出实时位姿数据时，头戴式增强现实显示设备202上的红外图像采集阵列模块303采集飞机前部无源红外靶标图像模块204的图像，计算头戴式增强现实显示设备202相对于红外靶标204的位姿，替代双目红外视觉定位传感器的数据参与步骤13-15中的融合定位数据的计算；

步骤17，显控处理计算机203根据融合后的实时定位位姿、飞机自身惯性导航系统的位姿数据以及增强显示标定参数，计算生成增强现实显示画面，输出至头戴式增强现实设备中。

综上，本发明提供了一种面向机载头戴式增强现实显示设备的多源融合定位及增强显示标定方法，有效的将头戴式增强现实显示设备的上安装的红外标志点模块、惯导传感器模块、红外图像传感器模块，飞机座椅上安装的双目红外视觉定位传感器、飞机座舱安装的无源红外靶标图像模块、显控处理计算机融为一体，有效的解决了定位容易丢失、定位校准精度低、无法及时显示标定以及与机载环境匹配性等问题，为头戴式增强现实显示设备提供一种具有高精度、高可靠性、鲁棒性的综合定位显示标定解决方案。

以上实施例仅用于说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行同等替换；而这些修改或替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (8)

1.一种机载增强现实设备的多源融合定位及增强显示标定装置，其特征在于，包括源红外标志点模块、惯导传感器模块、红外图像采集阵列模块、双目红外视觉定位传感器、无源红外靶标图像模块以及显控处理计算机；其中：

所述双目红外视觉定位传感器安装在飞行员的座椅后上方，由双目红外图像传感器和惯导传感器组成；根据显控处理计算机统一发出的时间同步信号，双目红外图像传感器采集头戴式增强现实显示设备上安装的有源红外标志点模块的红外标记点图像，提取图像中的红外标记点的二维坐标，根据匹配2D-3D点匹配信息，结合已知的红外标记点的三维坐标，对头戴增强现实显示设备的位姿进行实时的跟踪定位计算；惯导传感器则实时采集飞机座舱的角速度和加速度位姿数据；

所述有源红外标志点模块规则地分布在头戴式增强现实显示设备外表面；红外标志点模块的红外LED灯由显控处理计算机发出的时间同步信号统一控制；

所述惯导传感器模块安装在头戴式增强现实显示设备上，用于对头戴式增强现实显示设备的角速度、加速度数据进行实时采集，并与所述双目红外视觉定位传感器中的惯导传感器采集的飞机座舱的角速度、加速度数据做消减处理，获得头戴式增强现实显示设备相对于飞机座舱的角速度、加速度数据；

所述无源红外靶标图像模块安装在飞行员座椅正前方的前仪表板上；

所述红外图像采集阵列模块安装在头戴式增强现实设备前侧，能够在头戴式增强现实设备活动的范围内，对无源红外靶标图像模块进行定位识别；

所述显示处理计算机作为主控制单元，对各传感器的数据的时间进行同步对齐控制，并按照实时位姿融合定位流程，根据各传感器的主次关系对头戴增强现实显示设备的位姿进行融合计算。

2.根据权利要求1所述的机载增强现实设备的多源融合定位及增强显示标定装置，其特征在于，使用PnP算法对头戴增强现实显示设备的位姿进行实时的跟踪定位计算。

3.一种机载增强现实设备的多源融合定位及增强显示标定方法，其特征在于，包括定位注册及显示标定流程：

步骤1，飞行员进入座舱后，调整好座椅位置，佩戴调整好头戴式增强现实显示设备，面向无源红外靶标图像模块的位置保持稳固、舒适的佩戴；

步骤2，头戴式增强现实显示设备上的红外图像采集阵列模块采集飞机前仪表板的无源红外靶标图像模块，计算头戴式增强现实显示设备相对于无源红外靶标图像模块的位姿；

步骤3，飞行员座椅上的双目红外视觉定位传感器采集头戴式增强现实显示设备上布置的有源红外标志点模块的图像，提取计算所有红外标志点在图像中的二维坐标，进行图像上的红外标志点与头盔上的红外标志点的匹配，根据匹配2D-3D点匹配信息，结合红外标记点的二维坐标和三维坐标，使用PnP算法计算得到头戴式增强现实显示设备相对于双目红外视觉定位传感器的位姿；

步骤4，由步骤2和步骤3得到的位姿数据，计算得到双目红外视觉定位传感器相对于无源红外靶标图像模块的位姿；

步骤5，以无源红外靶标图像模块的位置为世界坐标系的原点，通过步骤3中头戴式增强现实显示设备相对于的双目红外视觉定位传感器位姿和步骤4中双目红外视觉定位传感器相对于红外靶标的位姿计算得到头戴式增强现实显示设备相对无源红外靶标图像模块的位姿，完成头戴式增强现实显示设备在飞机座舱下的定位标定。

4.根据权利要求3所述的机载增强现实设备的多源融合定位及增强显示标定方法，其特征在于，所述方法还包括：

步骤6，由显控处理计算机在无源红外靶标图像模块的原点位置生成放置一个与无源红外靶标图像物理形状大小一致的虚拟靶标物体，飞行员通过头戴式增强现实显示设备观察增强显示的虚拟靶标物体与真实的无源红外靶标图像的空间一致性；

步骤7，当飞行员观察到虚拟靶标物体与真实的无源红外靶标图像的空间位置有差异时，通过调整虚拟靶标物体的位姿，使得虚拟靶标物体与真实的无无源红外靶标图像空间位置保持一致，计算得到调整后的虚拟靶标物体相对于世界坐标系的原点的位姿差；

步骤8，根据步骤7得到的虚拟靶标物体相对于世界坐标系的原点的位姿差，调整头戴式增强现实显示设备中显示的其他虚拟图符或者物体的空间位置，完成头戴式增强现实显示设备在飞机座舱下的显示标定。

5.根据权利要求3所述的机载增强现实设备的多源融合定位及增强显示标定方法，其特征在于，所述方法还包括实时位姿融合定位流程，具体如下：

A.显控处理计算机向双目红外视觉定位传感器、头戴式增强现实显示设备上的惯导传感器模块设备发送时间同步信号；

B.头戴式增强现实显示设备的惯导传感器模块基于所述时间同步信号，实时获取角速度、加速度原始传感器数据，并进行去噪处理；

C.双目红外视觉定位传感器中的惯导传感器基于所述时间同步信号，实时获取角速度、加速度原始传感器数据，并进行去噪处理；

D.显控处理计算机获取步骤B和步骤C所获得的原始传感器数据，并进行消减处理，得到头戴式增强现实显示设备相对飞机的角速度、加速度数据；

E.双目红外视觉定位传感器中的红外图像传感器基于显控处理计算机的时间同步信号，采集头戴式增强现实显示设备上布置的有源红外标志点模块图像，计算得到头戴式增强现实显示设备相对于双目红外视觉定位传感器的位姿；

F.显控处理计算机获取所述头戴式增强现实显示设备相对于双目红外视觉定位传感器的位姿，结合定位注册及显示标定流程中得到的双目红外视觉定位传感器相对于无源红外靶标图像模块的位姿，计算得到头戴式增强现实显示设备相对于无源红外靶标图像模块的位姿；

G.在显控处理计算机中采用异步松耦合的方法，通过扩展卡尔曼滤波算法将步骤D得到的头戴式增强现实显示设备相对飞机的角速度、加速度数据和步骤F中得到的头戴式增强现实显示设备相对于无源红外靶标图像模块的位姿进行融合，以固定频率计算并输出融合后的位姿信息。

6.根据权利要求5所述的机载增强现实设备的多源融合定位及增强显示标定方法，其特征在于，还包括：

H.在位姿进行融合的计算周期内，显控处理计算机获取到新的双目红外视觉定位传感器的位姿数据时，则实时更新当前的融合状态；

I.在位姿进行融合的计算周期内，如未收到双目红外视觉定位传感器的新的位姿数据，则通过当前位姿的加速度和角速度对未来位姿的预测和去噪，得到预测的位姿数据。

7.根据权利要求5所述的机载增强现实设备的多源融合定位及增强显示标定方法，其特征在于，当双目红外视觉定位传感器无法输出实时位姿数据时，头戴式增强现实显示设备上的红外图像传感器采集无源红外靶标图像模块图像，计算头戴式增强现实显示设备相对于无源红外靶标图像模块的位姿，替代双目红外视觉定位传感器的数据参与步骤G-I中的融合定位数据的计算。

8.根据权利要求5所述的机载增强现实设备的多源融合定位及增强显示标定方法，其特征在于，显控处理计算机根据融合后的位姿信息、飞机自身惯性导航系统的位姿数据以及增强显示标定参数，计算生成增强现实显示画面，输出至头戴式增强现实设备中。