CN114416006A - 一种随动于头盔显示装置的浸入式综合视景生成方法 - Google Patents

Abstract

本发明属于机载光电侦察、态势感知领域，公开了一种随动于头盔显示装置的浸入式综合视景生成方法，包括：载机座舱中头部运动跟踪数据获取；座舱坐标系与载机坐标系进行转换以及转换矩阵求解；基于综合视景现有的融合算法，重构基于头盔的综合实景生成模型；基于重构后的模型生成综合设计内容并传输至头盔设备；基于操控指令，控制综合视景图像处于透视显示模式或者头盔显示模式。本发明通过相关技术手段实现飞行员看到哪里就能够显示相应场景的效果，能够随动于头盔显示装置显示相关的综合视景场景内容；从而提供一种浸入式快速准确的浸入式综合态势感知能力。

Description

一种随动于头盔显示装置的浸入式综合视景生成方法

技术领域

本发明属于机载光电侦察、态势感知领域，涉及一种随动于头盔显示装置的浸入式综合视景生成方法。

背景技术

综合视景技术的不断发展进步，以及对其强烈迫切的军事需求，加速推动了综合视景装备在航空系统的集成和应用。当前的综合视景技术已经具备了在航电系统综合显示器以及平视显示器中显示相关视景内容的能力。

为了使其进一步发挥其最大功效，在飞行员头盔中显示综合视景内容，提供更好的综合态势感知能力和人机功效，需要建立基于头部运动数据的综合视景生成模型，并应用到当前的综合视景处理算法中。

发明内容

(一)发明目的

本发明的目的是：提供一种随动于头盔显示装置的浸入式综合视景生成方法，能够机舱环境下随动于头盔转动生成对应的场景内容，提供给飞行员更好的综合态势感知能力和恶劣视觉环境下辅助导航能力。

(二)技术方案

为能够让现有综合视景技术与现有的机载头盔显示设备进行对接，在头盔设备上显示综合视景内容，本专利提出一种随动于头盔跟踪数据的综合视景生成方法。通过接收座舱中头盔跟踪数据的姿态，将其融合到现有的综合视景数据融合算法中，从而实现跟随头部运动的实时视角生成功能。

该方法主要包括以下几部分，首先获取座舱中头部运动跟踪数据，将座舱坐标系与载机坐标系进行融合；其次，基于载机位姿数据生成综合视景；第三，头部姿态数据融合；第四，完成综合视景场景下不同的模式控制；第五，基于重构后的模型生成综合设计内容并传输至头盔设备。

(三)有益效果

根据该发明提供的方法。可以将其设计为软件功能，利用该功能可连接现有的机载头盔设备与综合视景设备的融合处理单元，实现在头盔上显示综合视景内容的功能。附图说明

图1是本发明中方法的流程组成示意图。

具体实施方式

为使本发明的目的、内容、和优点更加清楚，下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。

如图1所示，本发明实施例随动头盔综合视景生成方法包括以下步骤：第一，建立头部跟踪数据周期通讯接收流程，实时接收来自头盔设备上报的头部姿态数据；第二，基于载机导航模块提供的位置和姿态数据生成动态综合视景；第三，转换载机坐标系、机舱坐标系、东北天坐标系、大地坐标系下的数据，融合头部姿态数据与综合视景数据转换矩阵，生成复合矩阵；第四，完成透视模式和头盔显示模式的模式控制；第五，随动头盔的综合视景生成并传输显示。

下面对上述过程中的每个步骤进行详细描述：

S1：建立头盔跟踪数据周期通讯接收流程

建立与机载航电总线的头部跟踪数据接收流程，封装总线通信协议，实时接收头部跟踪数据。头部跟踪数据包括以机舱坐标系为基准的头部方位角度和头部俯仰角度，分别记为hel_azi和hel_pit。头部位置以载机坐标系质心为原点的空间位置，记为hel_pos(hp_x,hp_y,hp_z)。其中头部位置是已知量，飞行过程中头部位置的微小变化可以忽略。头部跟踪数据实时变化，并影响场景的生成。

S2：基于载机位姿数据的三维综合视景生成

载机的位姿参数主要包括载机位置参数和姿态参数，位置参数包括经度、纬度、高度，分别记为L、B、H，位置数据以地理坐标系为基准，经度、纬度单位为度，姿态参数包括航向角、俯仰角、横滚角，分别记为a、p、r，单位为度，该角度以东北天坐标系为基准。光电瞄准线姿态数据包括瞄准线的俯仰角和方位角，分别记为a_los、p_los，该角度以载机坐标系为基准。

获取包括载机位置、姿态，瞄准线姿态在内的共8个数据，作为后续动态连续合成视觉图像生成步骤的输入。

空间位置转换矩阵记为M_pos，姿态矩阵M_pos采用如下计算过程：

其中，n,u,v是局部转换坐标系下的基向量，nx，ny，nz分别是向量n的x，y，z分量，ux、uy、uz分别是向量u的x，y，z分量，vx、vy、(vz分别是向量v的x，y)，z分量，其计算采用如下公式：

n＝(cosLcosB,sinLcosB,sinB)

vpx是地心坐标下的载机位置vp的x分量，vpy是地心坐标下的载机位置vp的y分量，vpz是地心坐标下的载机位置vp的z分量，计算采用如下公式：

vpx＝(N+H)cosBcosL

vpy＝(N+H)cosBsinL

vpz＝[(N(1-e²)+H]sinB

其中，L，B分别是上述步骤中采集得到的载机位置数据中每一帧的经度和纬度，N为卯酉圈半径，e²为第一偏心率，分别采用如下计算公式：

上式中，a，c分别为地球椭球体模型的长半径和短半径，

a＝6378137.0m

c＝6356752.3142m。

空间姿态转换矩阵记为M_atti

姿态矩阵M_atti采用如下计算过程，首先根据载机的姿态数据构建四元数，记为q:

其中，a，p，r分别为上述步骤中采集得到的载机的航向角、俯仰角、横滚角；

基于载机所在地理区域的地形数据，包含高程数据和卫星纹理影像数据，生成该区域的三维地理场景SCENE_stategraph；以该区域三维地理场景SCENE_stategraph为输入，S1阶段采集得到的载机位姿数据M_pos，M_atti，瞄准线姿态M_los为输入，其中M_los为瞄准线姿态数据构建的瞄准线空间变换矩阵，计算得到复合转换矩阵M_composite，由复合矩阵M_composite驱动生成的三维静态场景

M_composite＝M_los*M_atti*M_pos

，即可生成动态连续的合成视觉图像，其中某一帧的图像记为f_svs(x,y,z,t)

S3：融合头部姿态数据与综合视景数据转换矩阵：

与S2阶段的载机空间姿态矩阵M_atti生成过程类似，头部姿态的变换矩阵，记为M_{hel_atti}，以S1阶段生成的头部姿态方位角和俯仰角为输入，即以hel_azi和hel_pit，替代M_atti中的方位角和俯仰角，且横滚角设置为0，即可求得M_{hel_atti}。

与S2阶段的载机空间位置矩阵M_pos生成过程类似，头部姿态的空间平移变换矩阵，记为M_{hel_pos}，以S1阶段已知得到的头部位置hel_pos(hp_x,hp_y,hp_z)的三个分量为输入，替代M_pos求解过程中的vpx，vpy，vpz，n，u，v的三个分量全部置为0即可求得M_{hel_pos}。

参考S2阶段的载机空间复合矩阵的求解，融合头部姿态数据与综合视景数据的复合转换矩阵，记为M_{hel_compos_atti}，求解如下：

M_{hel_compos_atti}＝M_{hel_atti}*M_{hel_pos}*M_atti*M_pos

S4：透视模式和头盔显示模式切换控制：

综合视景场的生成包括透视模式头盔模式两种模式，透视模式采用线框化重新绘制画面场景，头盔模式采用完整的渲染画面。添加控制响应指令，能够响应外部命令，确保在透视模式和头盔模式之间切换画面。

S5：随动头盔的综合视景生成并传输显示：

基于载机所在地理区域的地形数据，包含高程数据和卫星纹理影像数据，生成该区域的三维地理场景SCENE_stategraph；以该区域三维地理场景SCENE_stategraph为输入，S3阶段计算得到复合转换矩阵M_{hel_compos_atti}，由复合矩阵M_{hel_compos_atti}驱动生成的三维静态场景，通过机上总线和显示总线连接至头盔设备，即可实现随动于头盔的综合视景生成。

由上述技术方案可以看出，本发明采集头盔设备的头部跟踪姿态数据，将载机位置与姿态数据与头盔姿态数据融合，生成能够随动于头盔转动的综合视景画面，提供给飞行员浸入式的综合视景内容，提供了更局沉浸感的三维态势感知能力。该方法结合测绘领域以及信息融合处理的成果，以软件方式实现了一种新的随动头盔的综合视景生成方法，对于机载航电系统有较强的工程应用意义，可提高直升机的目标侦察能力和辅助导航能力，其战术意义值得进一步挖掘以提升直升机的战场生存能力。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (10)

1.一种随动于头盔显示装置的浸入式综合视景生成方法，其特征在于，包括以下步骤：

S1：头部运动跟踪姿态数据接收；

S2：基于载机位姿数据的综合视景生成；

该过程包括基于载机位姿数据和光电瞄准线姿态数据生成三维综合视景，计算载机的空间位置转换矩阵和空间姿态转换矩阵，并根据地形数据完成三维地理场景重建；

S3：头部姿态数据融合；

S4：综合视景场景模式控制；

S5：随动于头盔显示装置的综合视景图像传输。

2.如权利要求1所述的随动于头盔显示装置的浸入式综合视景生成方法，其特征在于，所述步骤S1中，建立与机载航电总线的头部跟踪数据接收流程，封装总线通信协议，实时接收头部运动跟踪姿态数据。

3.如权利要求2所述的随动于头盔显示装置的浸入式综合视景生成方法，其特征在于，所述头部跟踪数据包括以机舱坐标系为基准的头部方位角度和头部俯仰角度，分别记为hel_azi和hel_pit；头部位置以载机坐标系质心为原点的空间位置，记为hel_pos(hp_x,hp_y,hp_z)。

4.如权利要求3所述的随动于头盔显示装置的浸入式综合视景生成方法，其特征在于，所述步骤S2中，基于载机位姿数据和光电瞄准线姿态数据生成三维综合视景，载机的位姿数据包括载机位置参数和姿态参数，位置参数包括经度、纬度、高度，分别记为L、B、H，位置数据以地理坐标系为基准，经度、纬度单位为度，姿态参数包括航向角、俯仰角、横滚角，分别记为a、p、r，单位为度，该角度以东北天坐标系为基准；光电瞄准线姿态数据包括瞄准线的俯仰角和方位角，分别记为a_los、p_los，该角度以载机坐标系为基准。

5.如权利要求4所述的随动于头盔显示装置的浸入式综合视景生成方法，其特征在于，所述步骤S2中，采用如下计算公式，空间位置转换矩阵的计算过程为：

空间位置转换矩阵记为M_pos：

其中，n,u,v是转换坐标系下的基向量，nx，ny，nz分别是向量n的x，y，z分量，ux、uy、uz分别是向量u的x，y，z分量，vx、vy、vz分别是向量v的x，y，z分量，其计算采用如下公式：

n＝(cosLcosB,sinLcosB,sinB)

vpx是地心坐标下的载机位置vp的x分量，vpy是地心坐标下的载机位置vp的y分量，vpz是地心坐标下的载机位置vp的z分量，计算采用如下公式：

vpx＝(N+H)cosBcosL

vpy＝(N+H)cosBsinL

vpz＝[(N(1-e²)+H]sinB

其中，L，B分别是上述步骤中采集得到的载机位置数据中每一帧的经度和纬度，N为卯酉圈半径，e²为第一偏心率，分别采用如下计算公式：

上式中，a，c分别为地球椭球体模型的长半径和短半径，

a＝6378137.0m

c＝6356752.3142m。

6.如权利要求5所述的随动于头盔显示装置的浸入式综合视景生成方法，其特征在于，所述步骤S2中，采用如下计算公式，空间姿态转换矩阵记为M_atti，计算过程为：

首先根据载机的姿态数据构建四元数，记为q:

其中，a，p，r分别为上述步骤中采集得到的载机的航向角、俯仰角、横滚角；

7.如权利要求6所述的随动于头盔显示装置的浸入式综合视景生成方法，其特征在于，所述步骤S2中，基于载机所在地理区域的地形数据，包含高程数据和卫星纹理影像数据，生成该区域的三维地理场景，步骤包括：

2.1单块规则高程地形数据可视化

高程数据的形式为规则网格高程数据文件形式，对规则网格高程数据文件进行解析，根据高程数据进行模型视点变换、透视投影变换、视口变换，生成单块规则高程地形数据的网格化三维模型；

2.2海量数据组织方法

海量地形数据由单块规则高程地形数据组成，以四叉树多分辨率方法对多块规则高程地形数据进行组织，生成大规模的三维地形场景模型；

2.3基于纹理的映射方法

以卫星影像为纹理，在大规模的三维地形场景表面映射卫星纹理，生成超大规模真实效果的三维地形场景，三维场景记为SCENE_stategraph。

8.如权利要求7所述的随动于头盔显示装置的浸入式综合视景生成方法，其特征在于，所述步骤S3中，融合头部姿态数据与综合视景数据转换矩阵；

参考S2阶段的载机空间姿态矩阵M_atti生成过程，头部姿态的变换矩阵，记为M_{hel_atti}，以S1阶段生成的头部姿态方位角和俯仰角为输入，即以hel_azi和hel_pit，替代M_atti中的方位角和俯仰角，且横滚角设置为0，求得M_{hel_atti}；

结合S2阶段的载机空间位置矩阵M_pos生成过程，头部姿态的空间平移变换矩阵，记为M_{hel_pos}，以S1阶段已知得到的头部位置hel_pos(hp_x,hp_y,hp_z)的三个分量为输入，替代M_pos求解过程中的vpx，vpy，vpz，n，u，v的三个分量全部置为0，求得M_{hel_pos}；

结合S2阶段的载机空间复合矩阵的求解，融合头部姿态数据与综合视景数据的复合转换矩阵，记为M_{hel_compos_atti}，求解如下：

M_{hel_compos_atti}＝M_{hel_atti}*M_{hel_pos}*M_atti*M_pos。

9.如权利要求8所述的随动于头盔显示装置的浸入式综合视景生成方法，其特征在于，所述步骤S4中，综合视景场景模式控制包括透视模式和头盔显示模式切换控制：

综合视景场的生成包括透视模式头盔模式两种模式，透视模式采用线框化重新绘制画面场景，头盔模式采用完整的渲染画面；添加控制响应指令，能够响应外部命令，确保在透视模式和头盔模式之间切换画面。

10.如权利要求9所述的随动于头盔显示装置的浸入式综合视景生成方法，其特征在于，所述步骤S5中，随动头盔的综合视景生成并传输显示：

基于载机所在地理区域的地形数据，包含高程数据和卫星纹理影像数据，生成该区域的三维地理场景SCENE_stategraph；以该区域三维地理场景SCENE_stategraph为输入，S3阶段计算得到复合转换矩阵M_{hel_compos_atti}，由复合矩阵M_{hel_compos_atti}驱动生成的三维静态场景，通过机上总线和显示总线连接至头盔设备，实现随动于头盔的综合视景生成。

Images