CN106530894B - 一种飞行训练器虚拟平显方法及系统 - Google Patents

Abstract

本发明提出一种飞行训练器虚拟平显方法及系统，属于飞行训练器虚拟显示技术领域。该方法包括以下步骤：根据预先获取的地图数据构建虚拟场景；通过数字图像处理方法对所述虚拟场景的图像进行处理，得到场景图像的显著性信息；通过模式识别算法，结合所述显著性信息，构建出增强现实模型，将所述增强现实模型叠加到所述虚拟场景中；将所述虚拟场景中的平显画面嵌入到已有视景系统中，在视频场景中显示出来。本发明还涉及基于该方法的系统，能够逼真的展现飞行员在高空飞行时复杂的环境，最大限度的模拟实际飞行体验；利用增强显示技术，将地形图反映在训练机舱中，帮助训练员体验真实飞行。

Description

一种飞行训练器虚拟平显方法及系统

技术领域

本发明涉及飞行训练器虚拟显示技术领域，特别是指一种飞行训练器虚拟平显方法及系统。

背景技术

增强现实(Augmented Reality，简称AR)，是一种实时地计算摄影机影像的位置及角度并加上相应图像的技术，这种技术的目标是在屏幕上把虚拟世界叠加在现实世界上并进行互动。增强现实只是实现对现实环境的辅助而不是完全替代现实环境，其目的是为了增强用户对现实世界的感知能力和与现实世界的交互能力。利用这样一种技术，可以模拟真实的现场景观，它是以交互性和构想为基本特征的计算机高级人机界面。使用者不仅能够通过虚拟现实系统感受到在客观物理世界中所经历的“身临其境”的逼真性，而且能够突破空间、时间以及其它客观限制，感受到在真实世界中无法亲身经历的体验。严格说，增强现实有三个要素：1、结合虚拟与现实；2、即时互动；3、3D定位。增强现实技术能够把虚拟信息(物体、图片、视频、声音等等)融合在现实环境中，将现实世界丰富起来，构建一个更加全面、更加美好的世界。其可以通过透明显示屏、虚拟视网膜显示技术、半透明分光式LCD投影、TOF摄像头、单色玻璃投影来实现。

飞行训练模拟器是训练飞行员、航天员的基本地面训练设备，是经济、高效并且安全的训练方式。传统飞行训练器其目的单纯是为了让飞行员熟悉仪器操作，无法提供类似真实的高空飞行体验，尤其是视景显示部分。平显是飞行训练器的重要子系统，它实时为飞行员显示各种参数与控制信息。而平显显示技术一直是飞行训练器的一个技术难点，目前有几种解决方案，但都不尽理想，不能实现平显各种工作模式和工作状态下的静、动态画面及操作响应，且维护不方便。

发明内容

本发明提出一种飞行训练器虚拟平显方法及系统，解决了现有技术中飞行训练模拟器不能实现平显各种工作模式和工作状态下的静、动态画面及操作响应的问题。

本发明的技术方案是这样实现的：

一种飞行训练器虚拟平显方法，包括以下步骤：

S1、根据预先获取的地图数据构建虚拟场景；

S2、通过数字图像处理方法对所述虚拟场景的图像进行处理，得到场景图像的显著性信息；

S3、通过模式识别算法，结合所述显著性信息，构建出增强现实模型，将所述增强现实模型叠加到所述虚拟场景中；

S4、将所述虚拟场景中的平显画面嵌入到已有视景系统中，在视频场景中显示出来。

本发明还涉及一种飞行训练器虚拟平显系统，包括：仿真平台，用于根据预先获取的地图数据构建虚拟场景；仿真控制平台，用于对所述仿真平台进行初始化设置；数据处理平台，用于先通过使用数字图像处理方法对场景图像进行处理，得到场景图像的显著性信息；再通过模式识别算法，结合所述显著性信息，构建出增强现实模型并将其叠加到所述虚拟场景中；将所述虚拟场景中的平显画面嵌入到已有视景系统中，在所述仿真平台中的现实视频场景中显示；DDS数据分发模块，用于发送和接收仿真平台、人机交互系统、仿真控制平台、数据处理平台之间需要发送和接收的数据，实现相互之间的通信；人机交互系统，用于实现用户对仿真平台、仿真控制平台、数据处理平台、和DDS数据分发模块的操作。

本发明的有益效果为：

本发明中的飞行训练器虚拟平显方法及系统，能够逼真的展现飞行员在高空飞行时复杂的环境，最大限度的模拟实际飞行体验。利用增强显示技术，将地形图反映在训练机舱中，帮助训练员体验真实飞行；以飞行员的视角，将实际的飞行参数反馈到显示屏上，帮助训练员更好的掌握飞行状态。应用虚拟现实/增强现实技术不会在模拟器的研制和改造过程中出现大的反复和浪费，降低研发费用，且维护方便；同时可借助于网络技术同时对多人进行训练，在保证训练人员的数量、训练强度和效果的基础上节省大量的训练费用。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为实施例中飞行训练器虚拟平显系统的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例中的飞行训练器虚拟平显方法，包括以下步骤：

S1、根据预先获取的地图数据构建虚拟场景；

S2、通过数字图像处理方法对虚拟场景的图像进行处理，得到场景图像的显著性信息；

S3、通过模式识别算法，结合显著性信息，构建出增强现实模型，将增强现实模型叠加到虚拟场景中；

S4、将虚拟场景中的平显画面嵌入到已有视景系统中，在视频场景中显示出来。

实施例中，通过使用但不限于AC(论文题目：Visual Attention Detection inVideo Sequences Using Spatiotemporal Cues)、HC(论文题目：Global Contrast basedsalient region detection)、LC(论文题目：Salient Region Detection andSegmentation)、FT(论文题目：Frequency-tuned Salient Region Detection)等方法，得到场景图像的显著性信息。数字图像处理方法和模式识别算法均为现有技术。

实施例中，对于已有的虚拟场景的数据，步骤S2还包括以下步骤：

S21、制作真实飞行员视角的视频流，获取尽可能多的飞行视频；

S22、运用图像处理软件监控视频流中的图像帧，捕捉视频流中的特征点。

步骤S22中，帧数就是在1秒钟时间里传输的图片的量，也可以理解为图形处理器每秒钟能够刷新几次，通常用fps表示；通过SIFT、SURF、Harris Corner(计算机视觉领域经典的特征点检测算法)或其他跟踪注册算法捕捉特征点(二维码标记或自然图像特征标记)。

步骤S3还包括以下步骤：

S31、计算特征点所在平面和计算用于摄制飞行员视角视频的摄像头的姿态，在特征点所在平面上建立虚拟三维坐标；

步骤S31中，计算特征点所在平面和摄像头的姿态，可采用现有技术，优先采用Tsai相机标定法。

S32、通过计算摄像头姿态变化，实时更新虚拟场景中虚拟目标定位所需的三维坐标，使虚拟目标与真实世界的三维空间中的变化一致。

步骤S32中，在虚拟的三维坐标上实现虚拟目标与真实世界的融合，随着摄像头姿态变化，摄像头拍摄视角也发生变化，通过摄像头姿态变化计算，将新的虚拟目标定位所需的三维坐标，叠加到虚拟场景上，使虚拟目标与真实世界的三维空间中的变化一致，而达到融合叠加的效果。

实施例中，将虚拟平显画面嵌入到已有视景系统(Synthesize View System，如EPX-50)构成完整的虚拟平显系统时，存在视场角与分辨率不匹配问题，导致虚拟平显画面无法在视景画面中显示，且在动态显示时虚拟平显原始画面中的天地线(地面与天空交界处)和已有视景系统的天地线不能保持重合，需要调整虚拟平显与视景系统的视场角与位置。

实施例中，步骤S4还包括：调整虚拟平显画面与视景系统的视场角，具体步骤如下：

a、为保持动态显示时虚拟平显原始画面天地线和视景系统天地线不保持重合，需将虚拟平显画面放大，放大倍数公式如下：

N1＝Vhud/Vepx (1-1)

其中：Vhud为虚拟平显画面垂直视场角(初始化硬件参数)，Vepx为视景系统垂直视场角(虚拟场景中摄像机的垂直视场角)，N1为垂直视场角放大倍数；

b、为虚拟平显画面背景分辨率和已有视景系统图像的分辨率保持一致，需将虚拟平显画面放大，放大倍数公式如下：

N2＝PHepx/PHhud (1-2)

其中：PHepx为视景系统图像水平分辨率；PHhud为虚拟平显画面背景水平分辨率；N2为图像分辨率放大倍数；

c、综合垂直视场角与图像分辨率两个方面的因素，虚拟平显画面放大倍数N，公式如下：

N＝N1*N2。 (1-3)

将虚拟平显画面放大N倍后，虚拟平显画面中心位置有所偏移，需重新计算虚拟平显画面在视景系统中央通道的位置，使虚拟平显和视景系统中央通道画面相匹配；位置计算方式如下：

Dh＝(PHhud*N-PHepx)/2； (1-4)

Dv＝(PVhud*N-PVepx)/2； (1-5)

其中：PVepx为视景系统图像垂直分辨率；PVhud为虚拟平显画面背景垂直分辨率；Dh为虚拟平显画面中间位置和视景系统画面中央位置的水平偏差；Dv为虚拟平显画面中间位置和视景系统画面中央位置的垂直偏差；

根据Dh和Dv，最终确定虚拟平显位置。

实施例中，模式识别算法在识别时需满足以下条件：与相应场景图像中的所述显著性信息相符合；与模式识别训练的实时操作记录相符；识别的模式必须匹配该模式对应位置的场景图像；识别的模式必须保证生成的增强现实模型与真实场景中特定形状物体的位置匹配。

如图1所示，为实施例中飞行训练器虚拟平显系统的结构示意图。

本发明还涉及基于上述方法的飞行训练器虚拟平显系统，包括：

仿真平台，用于根据预先获取的地图数据构建虚拟场景；仿真平台上分别搭载有X-Plane Flight飞行视景平台(飞行视景平台包括飞行仿真和视景仿真)和传感器仿真处理模块，飞行视景平台为HUD符号生成软件提供叠加显示功能，传感器仿真模块为HUD引导算法提供算法数据源。

仿真控制平台，用于对仿真平台进行初始化设置；仿真控制平台中包含仿真操纵装置、仿真航电规划、标准通信软件、飞行参数模拟收集器(具有参数收集功能)以及其它的必要硬件设置，其各个模块模拟真实的飞机控制系统，帮助训练员获得逼真操纵感的同时，并为仿真平台和数据处理平台生成必要的实时数据。

数据处理平台，用于先通过使用数字图像处理方法对场景图像进行处理，得到场景图像的显著性信息；再通过模式识别算法，结合显著性信息，构建出增强现实模型并将其叠加到虚拟场景中；将虚拟场景中的平显画面嵌入到已有视景系统中，在仿真平台中的现实视频场景中显示；HUD引导算法负责专门处理传感器传来的飞行数据，并将数据导入到HUD符号生成软件中进行视镜系统中辅助图形的生成，最终将飞行辅助图形叠加到仿真平台中。

DDS数据分发模块，用于发送和接收仿真平台、人机交互系统、仿真控制平台、数据处理平台之间需要发送和接收的数据，实现相互之间的通信；

人机交互系统，用于实现用户对仿真平台、仿真控制平台、数据处理平台、和DDS数据分发模块的操作，并以视景显示的方式来将所有数据以图形化的方法提供给训练员。

实施例中，仿真平台主要担任整个仿真软件的仿真计算任务，包含Simulink和X-Plane两大仿真软件。其中Simulink用于运行洛阳电光设备研究所开发的平显导引数学模塑，实现平显导引算法的功能输出：X-Plane用于运行B737-800飞机数学模型(包括飞机六自由度非线性远动模型、飞行控制系统模型、动力系统模型、执行机构模型以及机上传感器模型)、自然及人文环境视景(包括机场环境、机场跑道、地面设施、建筑物模型、自然环境模型、自然气候、路基助航传感器模型等)以及由洛阳电光设备所开发的HUD符号显示插件,以实现飞机数字模型(包括机上传感器)的功能性能仿真，视景系统(包括路基助航传感器)的显示和数据仿真，HUD符号叠加显示。人机交互系统为驾驶员提供人机交互界面供其对仿真软件进行操作，以驱动仿真平台进行仿真运算；人机交互系统中，用户对增强现实模型中的交互按钮进行操作，仿真控制平台直接响应操作效果。DDS数据分发的主要功能是在各平台间传递消息，发送和接收各平台之间的需要发送和接收的数据，从而实现其他仿真平台、人机交互系统、仿真控制平台、数据处理平台之间的通信。

实施例中，仿真控制平台包括摄像头，用于拍摄飞行员视角的视频；仿真控制平台还用于对仿真过程进行控制。

实施例中，数据处理平台，还用于采集并记录仿真开始到结束的所有数据并进行数据分析，以及支持事后对仿真过程进行回放。

实施例中，数据处理平台，包括：

特征点捕捉模块，用于捕捉视频中的特征点；

数据处理模块，用于计算特征点所在平面和摄像头的姿态，在特征点所在平面上建立虚拟的三维坐标；

更新模块，通过摄像头姿态变化计算，实时更新虚拟目标定位所需的三维坐标，使虚拟目标与真实世界的三维空间中的变化一致。

实施例中，将过去机械按钮变为虚拟现实的按钮，大大节省了飞行训练机的体积；依据飞行员所在的角度，将飞机操纵环境逼真地构建出来，使得飞行员实时把控飞行的具体信息。

实施例中的飞行训练器虚拟平显方法及系统，根据我国虚拟现实技术和载人航天飞行训练模拟器研制工作的技术基础和技术水平，采用物理仿真和数学仿真相结合的混合仿真模式，在现有的技术水平基础上，基于己经完成的硬件设备和模拟座舱界面，首先利用仿真平台实现舷窗外太空景象的数学仿真，建立太空景象及天体的三维立体模型，从而给航天员创造一个虚拟的外部太空景象，为航天飞行训练打下基础。在此基础上，在人机交互系统中实现座舱仪表板及舱内人一机界面的软仪表化，充分利用高性能计算机、实时多任务操作系统和相应工具软件以及平板显示器等技术领域的创新和突破，用软件建立可编程并便于维护和升级的、显示在平板显示器上的虚拟的座舱仪表板系统。在这种技术支持下，可以方便地对座舱仪表板系统的显示、操作界面进行更改。在此基础上，再结合座舱视景系统显示图像的某些改变，可以方便地在同一硬件平台上实现不同任务的模拟训练。

实施例中的飞行训练器虚拟平显方法及系统，能够逼真的展现飞行员在高空飞行时复杂的环境，最大限度的模拟实际飞行体验。利用增强显示技术，将地形图反映在训练机舱中，帮助训练员体验真实飞行；以飞行员的视角，将实际的飞行参数反馈到显示屏上，帮助训练员更好的掌握飞行状态。同应用传统技术的模拟器相比，基于增强现实技术的飞行训练模拟器有巨大的优势：首先，它可实现在一个训练平台上进行多任务模拟训练，一机多能。通过软件的升级和更新，它可以方便地从在轨机动任务模拟转换为交会对接模拟训练，从而可节省资源，提高利用效率；其次，应用虚拟现实技术的训练模拟器可以方便灵活地进行更改和升级。载人航天器的研制是非常复杂的系统工程，研制过程中出现部分更改和反复是难以避免的，而由于航天任务的特殊性，飞行训练模拟器又必须同航天器的研制工作同步进行而稍微早一些投入运行才能保证对航天员的训练工作。应用虚拟现实/增强现实技术正好能够满足以上要求，既能模拟真实的环境，造价成本又相比大型飞行器要低很多，先通过模拟器来进行效果模拟，能够及时得出反馈结果来协助航天器的设计开发，而不会在模拟器的研制和改造过程中出现大的反复和浪费，是保证工程进度的有效手段。另外，未来的载人航天飞行，科研任务将日趋复杂，所涉及的专业和学科越来越广泛和深入，对航天员的训练工作提出了更高的要求。基于虚拟现实/增强现实技术的训练模拟器可借助于网络技术同时对多人进行训练，在保证训练人员的数量、训练强度和效果的基础上节省大量的训练费用。可以说，基于虚拟现实技术的飞行训练模拟器技术优势十分明显，是飞行训练模拟器的发展方向。另外，借助网络技术，基于虚拟现实/增强现实技术的训练模拟器可以实现多用户同时训练。随着航天技术的发展，人类航天飞行活动越来越频繁，飞行任务也日趋复杂。一方面需要对更多的航天员进行训练，另一方面训练课程的内容也更加广泛和深入。而有些航天飞行任务则更需要航天员和地面技术专家及支持人员密切协同才能完成，这些都大大增加了训练任务的工作量。传统的训练模拟器往往规模庞大，运行费用昂贵，并要求很长的准备时间，根本难以满足正迅速增长的训练任务的需求。而基于虚拟现实/增强现实技术的训练模拟器的技术特色之一就是网络技术，为解决这个问题提供了非常完善的技术途径，应用前景非常光明。将原来单纯的机械操作改为模拟真实飞行体验，更让飞行员更加有效的训练，也能模拟出更多的紧急状况，使其在最小的代价下完成更全面的训练内容，能够极大的丰富我国的飞行训练内容，培养出更优秀的飞行员。在现代飞机的航电系统和设备研发过程中，使用仿真技术对系统和设备的需求进行验证是一种非常有效的验证方法，并且也是适航当局认可并推荐的符合性方法，可以极大的提高系统研发效率和节约研发成本。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种飞行训练器虚拟平显方法，其特征在于，包括以下步骤：

S1、根据预先获取的地图数据构建虚拟场景；

S2、通过数字图像处理方法对所述虚拟场景的图像进行处理，得到场景图像的显著性信息；

S3、通过模式识别算法，结合所述显著性信息，构建出增强现实模型，将所述增强现实模型叠加到所述虚拟场景中；

S4、将所述虚拟场景中的平显画面嵌入到已有视景系统中，在视频场景中显示出来。

2.根据权利要求1所述的方法，其特征在于，步骤S2还包括以下步骤：

S21、制作真实飞行员视角的视频流，获取多个飞行视频；

S22、运用图像处理软件监控视频流中的图像帧，捕捉所述视频流中的特征点。

3.根据权利要求2所述的方法，其特征在于，步骤S3还包括以下步骤：

S31、计算所述特征点所在平面和计算用于摄制飞行员视角视频的摄像头的姿态，在所述特征点所在平面上建立虚拟三维坐标；

S32、通过计算摄像头姿态变化，实时更新所述虚拟场景中虚拟目标定位所需的三维坐标，使所述虚拟目标与真实世界的三维空间中的变化一致。

4.根据权利要求1所述的方法，其特征在于，步骤S4还包括：调整虚拟平显画面与视景系统的视场角，具体步骤如下：

a、为保持动态显示时虚拟平显原始画面天地线和视景系统天地线不保持重合，需将虚拟平显画面放大，放大倍数公式如下：

N1＝Vhud/Vepx

其中：Vhud为虚拟平显画面垂直视场角，Vepx为视景系统垂直视场角，N1为垂直视场角放大倍数；

b、为虚拟平显画面背景分辨率和已有视景系统图像的分辨率保持一致，需将虚拟平显画面放大，放大倍数公式如下：

N2＝PHepx/PHhud

其中：PHepx为视景系统图像水平分辨率；PHhud为虚拟平显画面背景水平分辨率；N2为图像分辨率放大倍数；

c、综合垂直视场角与图像分辨率两个方面的因素，虚拟平显画面放大倍数N，公式如下：

N＝N1*N2。

5.根据权利要求4所述的方法，其特征在于，将虚拟平显画面放大N倍后，虚拟平显画面中心位置有所偏移，需重新计算虚拟平显画面在视景系统中央通道的位置，使虚拟平显和视景系统中央通道画面相匹配；位置计算方式如下：

Dh＝(PHhud*N-PHepx)/2；

Dv＝(PVhud*N-PVepx)/2；

其中：PVepx为视景系统图像垂直分辨率；PVhud为虚拟平显画面背景垂直分辨率；Dh为虚拟平显画面中间位置和视景系统画面中央位置的水平偏差；Dv为虚拟平显画面中间位置和视景系统画面中央位置的垂直偏差；

根据Dh和Dv，最终确定虚拟平显位置。

6.根据权利要求1所述的方法，其特征在于，所述模式识别算法在识别时需满足以下条件：与相应场景图像中的所述显著性信息相符合；与模式识别训练的实时操作记录相符；识别的模式必须匹配该模式对应位置的场景图像；识别的模式必须保证生成的增强现实模型与真实场景中特定形状物体的位置匹配。

7.一种飞行训练器虚拟平显系统，其特征在于，包括：

仿真平台，用于根据预先获取的地图数据构建虚拟场景；

仿真控制平台，用于对所述仿真平台进行初始化设置；

数据处理平台，用于先通过使用数字图像处理方法对场景图像进行处理，得到场景图像的显著性信息；再通过模式识别算法，结合所述显著性信息，构建出增强现实模型并将其叠加到所述虚拟场景中；将所述虚拟场景中的平显画面嵌入到已有视景系统中，在所述仿真平台中的现实视频场景中显示；

DDS数据分发模块，用于发送和接收仿真平台、人机交互系统、仿真控制平台、数据处理平台之间需要发送和接收的数据，实现相互之间的通信；

人机交互系统，用于实现用户对仿真平台、仿真控制平台、数据处理平台、和DDS数据分发模块的操作。

8.根据权利要求7所述的飞行训练器虚拟平显系统，其特征在于，所述仿真控制平台包括摄像头，用于拍摄飞行员视角的视频；所述仿真控制平台还用于对仿真过程进行控制。

9.根据权利要求8所述的飞行训练器虚拟平显系统，其特征在于，所述数据处理平台，还用于采集并记录仿真开始到结束的所有数据并进行数据分析，以及支持事后对仿真过程进行回放。

10.根据权利要求9所述的飞行训练器虚拟平显系统，其特征在于，所述数据处理平台，包括：

特征点捕捉模块，用于捕捉所述视频中的特征点；

数据处理模块，用于计算所述特征点所在平面和摄像头的姿态，在所述特征点所在平面上建立虚拟的三维坐标；

更新模块，通过摄像头姿态变化计算，实时更新虚拟目标定位所需的三维坐标，使虚拟目标与真实世界的三维空间中的变化一致。