CN112182774B - 一种直升机载环境下的三维场景实时更新方法 - Google Patents

Abstract

本发明属于三维重建、态势感知领域，公开了一种直升机载环境下的三维场景实时更新方法，该方法以合成视觉技术为基础，步骤包括：机载惯导设备以及光电瞄准线位姿数据解析、地形空间变换矩阵构建、多视角变换矩阵构建、场景节点变换矩阵应用。本发明合成视觉场景在该方法驱动下，可生成连续实时更新的飞机外部场景，或者由外部观察的飞机运动场景。

Description

一种直升机载环境下的三维场景实时更新方法

技术领域

本发明属于三维重建、态势感知技术领域，涉及一种直升机载环境下的三维场景实时更新方法。

背景技术

直升机在恶劣视觉条件下的损毁率在世界范围内一直都居高不下，航空业的统计数据显示，直升机事故数量是固定翼飞机的十倍以上。美国陆军在两伊战争期间由于非敌方火力导致损失了130架直升机损毁。仅2013年一年全球范围内统计到的损失直升机总计有537架，除去事故数量中约35％的无法找到原因，其余的事故数量约一半与环境有关，包括雨，雪，雾，沙尘等导致不同程度的恶劣视觉条件。进一步的研究表明，任何可导致恶劣视觉条件的情况，包括昏化的日间光照，强光，雪盲环境，黑夜，都会严重影响飞行员对外界环境的感知能力。

在恶劣视觉条件下，帮助飞行员有效地感知外部环境和态势是降低直升机事故数量，提升直升机战场生存力的一个主要技术思路。

航天技术以及测绘技术的不断发展，产生了大量的可用于描述地球表面地理信息的高精度地形数据；可利用地形数据结合地形三维重建技术实现超大规模的三维地理信息场景生成，是超大规模虚拟现实场景技术的一个典型应用。机载的惯导系统提供的空间定位功能，实际上是利用GPS或北斗系统进行现代空间定位技术发展的结晶；将二者技术结合起来，找到为军用直升机在恶劣视觉下克服挑战提升性能的方法，是本专利提出方法要解决的问题。

发明内容

(一)发明目的

本发明的目的是：提供一种直升机载环境下的三维场景实时更新方法，主要用于恶劣视觉条件下，在包括雨、雪、云、雾、霾、沙尘等恶劣视觉条件时，飞行员无法有效感知外部环境，利用合成视觉技术合成的三维场景，结合本专利提供的方法，可提供给飞行员一个实时更新渲染的周围态势环境，并根据不同飞行阶段，可切换至多个不同视点下实时更新渲染的场景，对提高直升机在恶劣视觉条件下的飞行安全、以及辅助进行目标侦察、目标跟踪以及路线分析、环境态势感知方面都有一定的应用潜力。

(二)技术方案

为实现实时更新渲染飞机外部的三维场景，本发明以合成视觉技术合成的三维场景为基础，采集载机的位置姿态数据和光电瞄准线的姿态数据，利用处理后的数据，生成载机空间位姿转换矩阵，和多视点空间转换矩阵。利用载机预置数据和图形引擎可预先生成飞行区域静态三维场景，该场景可视作固定的场景节点树，利用实时载机数据构建的空间变换矩阵和多视点变换矩阵，应用到场景节点树进行空间变换计算，可生成对应于载机位置和姿态下的场景，以及对应视点下的场景；利用实时接入的数据，不断重复上述步骤，便可生成连续不断实时更新的场景，从而提供给飞行员实时更新的环境态势，以及不同视点下的实时更新的环境态势。

(三)有益效果

上述技术方案所提供的直升机载环境下的三维场景实时更新方法，整体技术效果体现在以下两个方面：

(一)本发明在设计通过相关技术手段实现生成连续不断实时更新的飞机外部三维场景，形成连续的三维态势感知环境。对于受恶劣视觉条件影响的外部环境观察，提供非常直观的感知效果。

(二)本发明生成的视觉环境能够让观察者选择切换至不同视点和视角方向。在低空飞行阶段，以及起飞和着陆阶段，能够提供给飞行员以第三视角观察飞机与场景的相对位置和姿态，便于飞行员更加有效的感知飞机面临的与地形，地物，山峰等障碍物以及着陆区的接近程度。

附图说明

图1是本发明方法的流程示意图。

图2至图9分别为生成的三维场景实时更新过程中的不同视角下的场景效果。

具体实施方式

为使本发明的目的、内容、和优点更加清楚，下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。

本发明提出的方法实际上是将超大规模虚拟现实技术与现代定位导航技术结合的一个典型应用，可用于军用直升机在恶劣视觉条件下，生成虚拟的机身外界周围三维场景，提供直观且接近真实的外部场景的视觉环境，在飞行过程中能够提供直观画面降低飞行员工作负荷，能以上帝视角观察载机位置姿态，观察载机在着陆降落过程中与地形、山体、水体等的接近程度(直升机着陆降落阶段极易发生事故，所有事故中着陆阶段占70％以上)，并根据预设键切换视角角度等功能。

本发明提出的方法以建立的超大规模场景为基础，实时接收惯导的位姿数据和瞄准线数据，实时生成和外界一致的三维场景，包括飞行员视角和任意距离和方位的上帝视角。用于解决上述技术问题，或者提升相关应用场景下的飞行员态势感知。

本发明提出的方法设计了场景更新渲染的底层算法，根据该算法可实现任意视角下三维场景的更新和观察的技术功能，包括第一视角和第三视角(即所谓的上帝视角)。设计这样的技术功能其实是充分考虑和研究了现有直升机事故发生概率和主要事故原因的结果，着陆降落阶段是直升机事故高发阶段，根本原因在于这个阶段可能产生无法准确有效感知环境，以任意视角和距离观察以载机为视觉中心的上帝视角，将极大提升飞行员在着陆降落阶段的环境和地形地貌威胁感知。

相信以本发明提出方法设计的技术功能对于恶劣视觉条件下，飞行环境的感知将起到重要作用，对于预防和降低各飞行阶段的事故发生都有积极意义。

如图1所示，本发明实施例首先提供一种直升机载环境下的三维场景实时更新系统，包括两个模块：机载实时传感器数据处理模块和数据场景融合模块；机载实时传感器数据处理模块完成机载传感器数据的采集和解析，从组合惯导设备原始数据中解析出载机的位置和姿态数据，以下简称载机位姿数据，同时从光电码盘中提取出载机瞄准线的姿态数据，以下简称描线姿态数据，作为后续处理流程中空间变换矩阵和多视点变换矩阵的数据来源；数据场景融合模块用于完成空间变换矩阵的构建，完成多视点变换矩阵的构建，并将这些变换矩阵应用于已经生成的三维静态场景，从而生成飞机外部场景的连续动态实时视频，或者生成从外部视角观察飞机的连续动态实时视频。

本实施例直升机载环境下的三维场景实时更新方法主要用于生成直升机载环境下三维场景的实时更新视频画面，其输入包括载机位姿传感器数据、光电瞄准线姿态数据和三维静态场景；其中载机位姿传感器数据包括载机的经度、维度、高度和航向角、俯仰角、横滚角，三维静态场景由载机预置的地形数据经图形引擎生成。本方法的主要工作是把三维场景在上述载机实时数据的驱动下，生成连续不断实时更新的视频。

下面概括描述从输入到输出的步骤：

S1：实时接收载机的位置姿态数据；

S2：实时接收载机瞄准线姿态数据；

S3：构建空间变换矩阵；

S4：构建多视点变换矩阵；

S5：应用变换矩阵到静态场景中，生成实时连续更新的三维场景和多视点场景。

下面对上述每个步骤的计算过程进行详细描述：

S1：实时接收载机的位置姿态数据

载机的位置姿态数据经由机上总线或者串口获取其原始数据，根据数据协议对其进行解析，在每一帧数据中提取对应的位置数据，包括纬度、经度、高度，分别记为b，l，h；在每一帧数据中提取对应的姿态数据，包括航向角、俯仰角、横滚角，分别记为α，β，γ；

S2：实时接收载机瞄准线姿态数据

瞄准线姿态数据由光电码盘提供，从光电码盘原始数据中解析提取出载机瞄准线姿态数据，以下简称瞄准线姿态数据。瞄准线姿态数据包括瞄准线的俯仰角和方位角，分别记为p_los，a_los；

S3：构建空间变换矩阵

根据上述解析得到的载机位置姿态数据和瞄准线姿态数据，构建位姿空间变换矩阵，记为M_atti-pos，M_atti-pos按照如下公式计算：

M_atti-pos＝M_atti*M_pos

其中，M_pos为位置矩阵，M_atti为姿态矩阵。

位置矩阵M_pos采用如下计算公式：

其中，n,u,v是转换坐标系下的基向量，nx，ny，nz分别是向量n的x，y，z分量，ux、uy、uz分别是向量u的x，y，z分量，vx、vy、vz分别是向量v的x，y，z分量，其计算采用如下公式：

u＝(-sinl,cosl,0)

v＝(coslsinb,sinbsinl,-cosb)

n＝(coslcosb,sinlcosb,sinb)………(2)

其中，l，b分别是上述步骤中采集得到的载机位置数据中每一帧的经度和纬度；

其中，vpx是地心坐标下的载机位置vp的x分量，vpy是地心坐标下的载机位置vp的y分量，vpz是地心坐标下的载机位置vp的z分量，计算采用如下公式：

其中，l，b分别是上述步骤中采集得到的载机位置数据中每一帧的经度和纬度，N为卯酉圈半径，e²为第一偏心率，分别采用如下计算公式：

上式中，a，c分别为地球椭球体模型的长半径和短半径，

a＝6378137.0m

c＝6356752.3142m

姿态矩阵M_atti采用如下计算过程，首先根据载机的姿态数据构建四元数，记为q:

其中，α，β，γ分别为上述步骤中采集得到的载机的航向角、俯仰角、横滚角。

S4：构建多视点变换矩阵

多视点变换的功能，可以提供一个在飞行过程中从外部观察直升机的视角，该功能需要输入一个外部观察视点，该视点的指定以载机位置为目标并且以载机位置为基础，包含三个数据，一个是观察视角的方位偏转，记为vp_a，第二个是观察视角的俯仰偏转vp_p，第三个是观察距离vp_r，上述三个数据再加上观察目标(也就是飞机)的位置是多视点变换矩阵的输入，飞机的位置记为P_a(x,y,z)。

视点变换的过程实际上更改的只是视点的空间位置，对应到三维空间向二维平面转换的过程中，修改的只是模型视点变换过程，所以构建多视点变换矩阵实质上是根据上述输入数据重新求解模型视点变换矩阵。

更新后的模型视点变换矩阵M_vp-transform采用如下公式：

表示对中心旋转矩阵求逆，/>表示对旋转矩阵求逆，M_{-dis_tranlate}表示视点位置的平移矩阵，下面分别给出其求解公式。

的求解以观察目标的P_a(x,y,z)世界坐标为输入，计算步骤包括：

4.1将地心坐标P_a(x,y,z)转化为地理坐标P_a(b',l',h')

4.2将地理坐标P_a(b',l',h')带入上式2，求解基向量(n',u',v')

4.3将地理坐标P_a(b',l',h')带入上式(3)和(4)，求解平移量(vpx',vpy',vpz')

4.4结合步骤2)和3)，可得到局部到世界的位置转换矩阵，记为M_l2w

4.5令

设置向量LookVector，并使LookVector＝-(a₂₀ a₂₁ a₂₂)；

设置向量WorldUp＝(0,1,0)；

求得SideVector＝LookVector^WorldUp，“^”表示向量的叉乘；

设置向量UpVector，并使UpVector＝SideVector^LookVector；

4.6设置向量eye＝p_a-(LookVector*ξ)，

设置向量center＝p_a，

设置向量up＝UpVecotr，其中p_a为观察目标的坐标P_a(x,y,z)，ξ＝e^-6

4.7设置向量

设置向量

设置向量

4.8按照如下公式求得

4.9按照如下过程求得其输入是vp_a和vp_p，

首先设置四元数Quat_az＝azim_q(vp_a,Vec3d(0,0,1))，

可利用四元数概念，方便求得绕Z轴旋转vp_a的四元数Quat_az；

其次设置四元数Quat_pt＝azim_pt(vp_p,Vec3d(1,0,0))，

可利用四元数概念，方便求得绕X轴旋转vp_p的四元数Quat_pt；

可求得

4.10按照如下公式求得M_{-dis_translate}，其输入是vp_r

S5：应用变换矩阵到静态场景中，生成实时连续更新的三维场景和多视点场景

在静态场景上应用上述步骤中生成的空间变换矩阵时，记为Y，可将静态的场景视为场景节点树，针对该节点树设计其自身对应的空间变换矩阵，记为x，这意味着场景中所有的节点都将同时根据x的变换规则进行变化。应用上述空间变换矩阵Y时，场景的变化将服从整体变化规律。利用空间变换规律，Y*X即可完成Y到场景节点树的变换。

图2至图9分别为生成的三维场景实时更新过程中的不同视角下的场景效果。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (2)

1.一种直升机载环境下的三维场景实时更新方法，其特征在于，所述更新方法基于一种直升机载环境下的三维场景实时更新系统进行实时更新，所述更新系统包括机载实时传感器数据处理模块和数据场景融合模块；机载实时传感器数据处理模块完成机载传感器数据的采集和解析，从组合惯导设备原始数据中解析出载机的位置和姿态数据，同时从光电码盘中提取出载机瞄准线的姿态数据，作为后续处理过程中空间变换矩阵和多视点变换矩阵的数据来源；数据场景融合模块用于完成空间变换矩阵的构建，完成多视点变换矩阵的构建，并将空间变换矩阵和多视点变换矩阵用于已生成的三维静态场景，生成飞机外部场景的连续动态实时视频，或者生成从外部视角观察飞机的连续动态实时视频；所述机载传感器数据包括载机的经度、纬度、高度和航向角、俯仰角、横滚角；三维静态场景由载机预置的地形数据经图形引擎生成；

所述更新方法包括以下步骤：

S1：实时接收载机的位置姿态数据；

S2：实时接收载机瞄准线姿态数据；

S3：构建空间变换矩阵；

S4：构建多视点变换矩阵；

S5：应用变换矩阵到静态场景中，生成实时连续更新的三维场景和多视点场景；

所述步骤S1中，载机的位置姿态数据经由机上总线或者串口获取其原始数据，根据数据协议对其进行解析，在每一帧数据中提取对应的位置数据，包括纬度、经度、高度，分别记为b，l，h；在每一帧数据中提取对应的姿态数据，包括航向角、俯仰角、横滚角，分别记为α，β，γ；

所述步骤S2中，瞄准线姿态数据由光电码盘提供，从光电码盘原始数据中解析提取出载机瞄准线姿态数据，载机瞄准线姿态数据包括瞄准线的俯仰角和方位角，分别记为p_los，a_los；

所述步骤S3中，根据载机位置姿态数据和瞄准线姿态数据，构建位姿空间变换矩阵，记为M_atti-pos，M_atti-pos按照如下公式计算：

M_atti-pos＝M_atti*M_pos

其中，M_pos为位置矩阵，M_atti为姿态矩阵；

所述步骤S3中，位置矩阵M_pos采用如下计算公式：

其中，n,u,v是转换坐标系下的基向量，nx，ny，nz分别是向量n的x，y，z分量，ux、uy、uz分别是向量u的x，y，z分量，vx、vy、vz分别是向量v的x，y，z分量，其计算采用如下公式：

u＝(-sinl,cosl,0)

v＝(coslsinb,sinbsinl,-cosb)

n＝(coslcosb,sinlcosb,sinb)………(2)

其中，l，b分别是上述步骤中采集得到的载机位置数据中每一帧的经度和纬度；

其中，vpx是地心坐标下的载机位置vp的x分量，vpy是地心坐标下的载机位置vp的y分量，vpz是地心坐标下的载机位置vp的z分量，计算采用如下公式：

其中，l，b分别是上述步骤中采集得到的载机位置数据中每一帧的经度和纬度，N为卯酉圈半径，e²为第一偏心率，分别采用如下计算公式：

上式中，a，c分别为地球椭球体模型的长半径和短半径，

a＝6378137.0m

c＝6356752.3142m

所述步骤S3中，姿态矩阵M_atti采用如下计算过程，首先根据载机的姿态数据构建四元数，记为q:

其中，α，β，γ分别为上述步骤中采集得到的载机的航向角、俯仰角、横滚角；

所述步骤S4中，确定一个外部观察视点，该视点以载机位置为目标并且以载机位置为基础，包含三个数据，一个是观察视角的方位偏转，记为vp_a，第二个是观察视角的俯仰偏转vp_p，第三个是观察距离vp_r，上述三个数据再加上观察目标，即飞机的位置作为多视点变换矩阵的输入，飞机的位置记为P_a(x,y,z)；

构建多视点变换矩阵是根据上述输入数据重新求解模型视点变换矩阵；

更新后的模型视点变换矩阵M_vp-transform采用如下公式：

表示对中心旋转矩阵求逆，/>表示对旋转矩阵求逆，M_{-dis_tranlate}表示视点位置的平移矩阵；

的求解以观察目标的P_a(x,y,z)世界坐标为输入，计算步骤包括：

4.1将地心坐标P_a(x,y,z)转化为地理坐标P_a(b',l',h')；

4.2将地理坐标P_a(b',l',h')带入上式(2)，求解基向量(n',u',v')；

4.3将地理坐标P_a(b',l',h')带入上式(3)和(4)，求解平移量(vpx',vpy',vpz')；

4.4结合步骤4.2和4.3，得到局部到世界的位置转换矩阵，记为M_l2w；

4.5令

设置向量LookVector，并使LookVector＝-(a₂₀ a₂₁ a₂₂)；

设置向量WorldUp＝(0,1,0)；

求得SideVector＝LookVector^WorldUp，“^”表示向量的叉乘；

设置向量UpVector，并使UpVector＝SideVector^LookVector；

4.6设置向量eye＝p_a-(LookVector*ξ)，

设置向量center＝p_a，

设置向量up＝UpVecotr，其中p_a为观察目标的坐标P_a(x,y,z)，ξ＝e^-6；

4.7设置向量

设置向量

设置向量

4.8按照如下公式求得

4.9按照如下过程求得其输入是vp_a和vp_p，

首先设置四元数Quat_az＝azim_q(vp_a,Vec3d(0,0,1))，

利用四元数概念，求得绕Z轴旋转vp_a的四元数Quat_az；

其次设置四元数Quat_pt＝azim_pt(vp_p,Vec3d(1,0,0))，

利用四元数概念，方便求得绕X轴旋转vp_p的四元数Quat_pt；

求得

4.10按照如下公式求得M_{-dis_translate}，其输入是vp_r

。

2.如权利要求1所述的直升机载环境下的三维场景实时更新方法，其特征在于，所述步骤S5中，在静态场景上应用上述步骤中生成的空间变换矩阵时，记为Y，将静态的场景视为场景节点树，针对该节点树设计其自身对应的空间变换矩阵，记为X；应用空间变换矩阵Y时，场景的变化服从整体变化规律；利用空间变换规律，Y*X即完成Y到场景节点树的变换。