CN113298955B - 一种真实场景与虚拟现实场景融合方法、系统及飞行模拟器 - Google Patents

Abstract

一种真实场景与虚拟现实场景融合方法、系统及飞行模拟器，该系统包括：真实场景图像获取模块，用于获取第一真实场景图像；虚拟现实场景图像获取模块，用于获取虚拟现实场景图像；图像融合模块，用于融合第一真实场景图像和虚拟现实场景图像，得到融合图像；虚拟现实头戴式显示设备，用于显示融合图像。本发明将真实场景与虚拟现实场景融合形成合成图像，可以实现在虚拟现实头戴式显示设备上同时进行观看。

Description

一种真实场景与虚拟现实场景融合方法、系统及飞行模拟器

技术领域

本发明涉及图像处理技术领域，特别是一种真实场景与虚拟现实场景融合方法、系统及飞行模拟器。

背景技术

飞行模拟器，顾名思义也就是模拟飞行器飞行的设备，用来应对真实世界在飞行过程中会遇到的空气动力、气象、地理环境、飞行系统等，并且将仿真操控和飞行感官反馈给用户。飞行模拟器对飞机驾驶舱各个部位进行了充分的飞行模拟，利用三维视景生成逼真、准确的虚拟环境，可以多角度地模拟真实飞行中的种种情况。它的硬件由五大部分组成，模拟座舱、运动系统、视景系统、计算机系统和教员控制台。

其中，视景系统利用虚拟现实技术来模拟飞行员所看到的座舱外部的景象，从而使飞行员判断出飞机的姿态、位置、高度、速度以及天气等情况。常规的飞行模拟器的视景系统使用显示器或投影仪显示虚拟现实场景，显示的场景的视角范围有所局限，飞行员的视景沉浸感不强。

虽然使用虚拟现实头戴式显示设备(VR头显)作为替代，显示虚拟现实场景，可以大大加强视景沉浸感，但存在的最大弊病是飞行员只能看到显示的场景，而看不到自己的操作动作，操控时缺乏真实感。因此，目前VR头显在飞行模拟器上的应用受到了很大的限制，大多数只限应用于初步学习认知阶段，用来使飞行员感知环境以及进行模拟操作。

发明内容

本发明为解决上述问题，提供了一种真实场景与虚拟现实场景融合方法、系统及飞行模拟器，将真实场景与虚拟现实场景融合形成合成图像，可以实现在虚拟现实头戴式显示设备上同时进行观看。

为实现上述目的，本发明采用的技术方案为：

一种真实场景与虚拟现实场景融合系统，包括：真实场景图像获取模块，用于获取第一真实场景图像；虚拟现实场景图像获取模块，用于获取虚拟现实场景图像；图像融合模块，用于融合所述第一真实场景图像和所述虚拟现实场景图像，得到融合图像；虚拟现实头戴式显示设备，用于显示所述融合图像。

优选的，所述真实场景图像采集模块包括：图像拍摄模块，用于拍摄第二真实场景图像；图像识别模块，用于识别所述第二真实场景图像中的所述第一真实场景图像；图像提取模块，用于提取所述第一真实场景图像。

优选的，所述图像拍摄模块设置于所述虚拟现实头戴式显示设备上的眼部，所述第二真实场景图像的采集范围为人眼视角范围。

优选的，所述图像识别模块设置有第一真实场景图像特征库。

优选的，所述图像融合模块还包括采集模块，所述采集模块用于高速同步采集所述第一真实场景图像和所述虚拟现实场景图像。

基于同样的发明构思，本发明还提供了一种真实场景与虚拟现实场景融合方法，包括以下步骤：获取第一真实场景图像；获取虚拟现实场景图像；融合所述第一真实场景图像和所述虚拟现实场景图像，得到融合图像；使用虚拟现实头戴式显示设备显示所述融合图像。

基于同样的发明构思，本发明还提供了一种飞行模拟器，包括上述的真实场景与虚拟现实场景融合系统。

基于同样的发明构思，本发明还提供了一种上述的飞行模拟器在编队飞行模拟的应用。

本发明的有益效果是：

1.将真实场景与虚拟现实场景融合形成合成图像，可以实现在虚拟现实头戴式显示设备上同时进行观看；

2.建立第一真实场景图像特征库，用于动态识别第二真实场景图像中的第一真实场景图像，提升第一真实场景图像的获取速度；

3.将实际的飞行模拟器内部环境以及飞行员的操作动作的场景与虚拟现实的飞行场景融合后输出至虚拟现实头戴式显示设备进行显示，以供飞行员观看，提高飞行员操控时的真实感；

4.使用飞行模拟器进行编队飞行模拟时，编队飞行员相互能够看到位置信息和飞机动态信息，加强视景沉浸感。

附图说明

图1为一种VR头显的结构示意图；

图2为一种真实场景与虚拟现实场景融合系统的结构示意图。

具体实施方式

为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚、明白，以下结合具体实施例对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

实施例一

本实施例提供一种真实场景与虚拟现实场景融合系统，包括真实场景图像获取模块，用于获取第一真实场景图像。在本实施例中，第一真实场景图像为飞行座舱的外部轮廓内的图像，包括近距内部环境和飞行员的操作动作的图像，这部分图像作为与虚拟现实场景图像进行图像融合的有用图像。

真实场景图像采集模块包括：

图像拍摄模块，用于拍摄第二真实场景图像。第二真实场景图像包括飞行座舱内部环境和外部环境的近距图像。

在本实施例中，图像拍摄模块具体为近距高清摄像头。本发明的虚拟现实场景与真实场景融合的应用研究解决的技术问题是如何将近距真实场景融合到虚拟现实场景中。本发明的构思是将原先通过人眼看到的近距场景通过摄像头获取，摄像头可以代替人眼观看近距环境和飞行员的操作动作。因此，摄像头的拍摄视角范围应该符合人眼视角，并且摄像头设置在VR头显上对应人眼的部位，即若图像拍摄模块为单摄像头，则其安装位置在两眼之间，若为双摄像头，则其安装位置在两眼位置上。单摄像头的拍摄视角范围应该大于双摄像头中的任一个摄像头，以满足上述拍摄视角范围。

图像识别模块，用于识别第二真实场景图像中的第一真实场景图像。

摄像头获取的近距环境场景并不需要全部都叠加到虚拟现实场景中，因此，需要对第二真实场景图像进行识别，将需要的部分进行提取，不需要的场景进行剔除，即替换成透明无色，以得到第一真实场景图像。

在本实施例中，在飞行模拟器中，参照附图1，飞行员佩戴安装有近距高清摄像头的VR头显，摄像头拍摄的近距环境包含有飞行座舱内部环境和外部环境(包括飞机机头)。我们只需要飞行座舱内部环境，因此将获取的近距环境中的飞行座舱外部环境剔除，再将得到的第一真实场景图像融合到飞行环境下的虚拟现实场景中，替换这部分的内容，这样就可将真实的近距座舱环境和操作动作叠加到虚拟现实环境中了。

在本实施例中，图像识别模块设置有第一真实场景图像特征库。第一真实场景图像特征库预存有不同视角的飞行座舱外部轮廓图像信息作为识别参照，用于动态识别摄像头获取的图像中的有用图像。

图像提取模块，用于提取所需轮廓内的第一真实场景图像。

作为真实场景研究的技术基础，本发明需要进行飞行模拟器的搭建。在本实施例中，飞行模拟器模拟战斗机的座舱配置，为飞行员提供仿真的操控场景，同时也为摄像头提供了用于拍摄的近距真实场景。

本实施例所述的系统还包括虚拟现实场景图像获取模块，用于获取虚拟现实场景图像。

作为虚拟现实场景的技术基础，本发明需要进行虚拟现实环境的搭建。在本实施例中，虚拟现实环境以飞行模拟器的飞行环境为主，本发明采用基础地图和3D技术对以厦门地区高崎机场为中心方圆10000平方公里的区域地貌进行立体处理，搭建虚拟现实飞行环境。

图像融合模块，用于融合第一真实场景图像和虚拟现实场景图像，得到融合图像，并输出融合图像到VR头显。

图像融合模块包括采集模块，采集模块用于高速同步采集第一真实场景图像和虚拟现实场景图像，以满足融合图像实时显示的需要。

为达到较高的视频画面的流畅性，同一张图像的采集时间、融合时间和输出时间的总计需要在一定的时间内完成。例如，画面帧率为每秒60帧，则从获取第二真实场景图像到输出融合图像的过程需要在约16.6毫秒内完成。画面帧率为每秒30帧，则该过程需要在约33毫秒内完成。

VR头显，作为图像显示模块，用于实时显示融合图像，形成连续的视频，使飞行员获得视景沉浸感。

具体的，参照附图2，本实施例所述的系统由VR头显、近距高清摄像头、图像高速采集器和嵌入式计算机图像融合处理系统组成。

其中，虚拟现实图像采集器安装有虚拟现实场景图像获取模块。虚拟现实图像采集器采用HDMI接口输入虚拟现实视景生成系统生成的虚拟现实视景的信号，采用高速USB接口输出虚拟现实场景图像的信号到嵌入式计算机图像融合处理系统。

近距高清摄像头也采用高速USB接口输出第二真实场景图像的信号到嵌入式计算机图像融合处理系统。

嵌入式计算机图像融合处理系统，具体为高速高性能ARM系统，安装有图像识别模块、图像提取模块和图像融合模块。嵌入式计算机图像融合处理系统带有HDMI输出接口和双USB输入接口，同步采集虚拟现实场景图像的信号和摄像头获取的信号，对摄像头输入的信号进行有用图像的识别和提取，得到第一真实场景图像的信号，然后叠加到虚拟现实场景图像的信号上，形成融合图像的信号，采用HDMI格式输出到VR头显进行显示。

本实施例所述的系统通过在VR头显上安装近距高清摄像头，代替人眼观看近距真实场景。采用图像采集、图像识别、图像提取、图像融合等技术和相关算法应用研究，将摄像头获取的近距真实场景图像中所需的真实场景与同步采集的虚拟现实场景图像进行融合，形成合成图像在VR头显上进行显示，解决了飞行模拟器中使用显示屏或投影屏幕显示的飞行视景沉浸感不强，飞行员看不到自己的操作动作和飞行座舱的仿真设备的技术问题。本实施例所述的系统在发挥VR头显显示的虚拟现实场景逼真的特点的同时，实现了实际环境和动作的可视性。

本实施例所述的系统采用图像高速采集和同步技术同步采集来自近距高清摄像头图像和虚拟现实场景图像，为图像融合提供了保障；采用图像识别和图像提取(图像选择和图像滤除)技术和应用算法，实现了摄像头图像中有用图像的保留和无用图像的剔除，即有效提取了有用图像及动作信息；采用有用图像预处理建库技术，为实时图像识别创造了便利条件；采用图像融合技术，将提取的有用图像与虚拟现实场景图像进行融合，实现了真实场景与虚拟场景的有机结合，为飞行模拟训练运用VR头显进行训练创造了应用条件。

本发明采用关键技术有：虚拟现实视景生成技术，包括3D图像生成技术、特效技术、图像拼接融合技术、三维复杂场景快速构建技术，绘制引擎和物理引擎技术，信息可视化技术等；飞行模拟座舱仿真技术，包括飞行模拟控制技术、无线电导航技术、雷达技术、武器瞄准技术、指挥仪控制技术、指挥引导技术等；融合系统技术，包括图像的快速采集技术、图像的识别技术、图像建库技术、有用图像提取技术、图像融合技术等。

实施例二

本实施例提供一种使用实施例一所述系统的方法，包括以下步骤：

S1.近距高清摄像头拍摄飞行模拟器的飞行座舱内部环境和外部环境以及飞行员的操作动作的近距真实场景图像。近距高清摄像头将近距真实场景图像输入嵌入式计算机图像融合处理系统。

S2.虚拟现实图像采集器将虚拟现实场景图像输入嵌入式计算机图像融合处理系统。

S3.嵌入式计算机图像融合处理系统同步采集近距真实场景图像和虚拟现实场景图像。

S4.嵌入式计算机图像融合处理系统以第一真实场景图像特征库为参照，动态识别近距真实场景图像中的有用图像，并进行提取，得到第一真实场景图像。

S5.嵌入式计算机图像融合处理系统融合第一真实场景图像和虚拟现实场景图像，得到融合图像。嵌入式计算机图像融合处理系统将融合图像输入VR头显。

S6.VR头显显示融合图像供飞行员观看，以进行飞行模拟。

本领域技术人员可以理解，实现上述方法实施例中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

实施例三

本实施例提供一种飞行模拟器，包括实施例一所述的系统。

常规的飞机飞行模拟器在应用过程中存在视景沉浸感不强的技术问题，尤其是作战飞行模拟器无法实现编队飞行模拟，即编队飞行员相互无法看到位置信息和飞机动态信息。

在本实施例中，VR头显应用在飞行模拟器上，取代传统的显示器或投影仪显示飞行视景，同时使用摄像头代替人眼观看飞机座舱内部的实景操作，并将近距真实场景与虚拟现实场景融合，使飞行员能够看到飞行座舱的实际环境，以及自己的操作动作。

本实施例所述的飞机模拟器可以用于军用飞机或民用飞机的飞行模拟，尤其作为作战飞机模拟器时，不仅可以做到单机飞行，还可以做到编队飞行。在进行编队飞行模拟时，飞行员能够看到编队飞机的情况，解决了编队飞行员之间的互视问题，突破了以往飞行模拟器无法展现编队飞行的技术难点，进一步加强了飞行员的视景沉浸感，提高了训练层次。

因此，本实施例所述的飞行模拟器实现了质的飞跃，意义重大，具有很大的推广和实用价值。

实施例一所述的系统不仅限应用于本实施例所述的飞行模拟器，还可以广泛应用于各类需要人操作的带有视景的模拟器中，包括民用航空飞行模拟器、军用航空飞行模拟器，无人机模拟器、汽车模拟器，舰船模拟器、动车模拟器等相关模拟器，具有广泛的应用前景。

上述说明示出并描述了本发明的优选实施例，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文发明构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。

Claims (4)

1.一种真实场景与虚拟现实场景融合系统，其特征在于，包括：

真实场景图像获取模块，用于获取第一真实场景图像，所述第一真实场景图像为飞行座舱的外部轮廓内的图像，包括近距内部环境和飞行员的操作动作的图像；

虚拟现实图像采集器，所述虚拟现实图像采集器安装有虚拟现实场景图像获取模块；所述虚拟现实场景图像获取模块，用于获取虚拟现实场景图像；

嵌入式计算机图像融合处理系统，安装有图像融合模块；所述图像融合模块，用于融合所述第一真实场景图像和所述虚拟现实场景图像，得到融合图像；所述图像融合模块包括采集模块，所述采集模块用于高速同步采集所述第一真实场景图像和所述虚拟现实场景图像；

虚拟现实头戴式显示设备，用于显示所述融合图像；

所述真实场景图像获取模块包括：

图像拍摄模块，用于拍摄第二真实场景图像，所述第二真实场景图像包括飞行座舱内部环境和外部环境的近距图像；

所述图像拍摄模块具体为近距高清摄像头；

图像识别模块，设置有第一真实场景图像特征库，第一真实场景图像特征库预存有不同视角的飞行座舱外部轮廓图像信息作为识别参照，用于动态识别所述第二真实场景图像，删除所述第二真实场景图像中的无用图像，得到所述第一真实场景图像；

图像提取模块，用于提取所需轮廓内的所述第一真实场景图像；

所述虚拟现实图像采集器采用HDMI接口输入虚拟现实视景生成系统生成的虚拟现实视景的信号，采用高速USB接口输出虚拟现实场景图像的信号到所述嵌入式计算机图像融合处理系统；所述近距高清摄像头也采用高速USB接口输出第二真实场景图像的信号到嵌入式计算机图像融合处理系统，形成融合图像的信号，采用HDMI格式输出到所述虚拟现实头戴式显示设备进行显示，所述虚拟现实头戴式显示设备显示融合图像供飞行员观看，以进行飞行模拟。

2.根据权利要求1所述的真实场景与虚拟现实场景融合系统，其特征在于，所述图像拍摄模块设置于所述虚拟现实头戴式显示设备上的眼部，所述第二真实场景图像的采集范围为人眼视角范围。

3.一种真实场景与虚拟现实场景融合方法，采用如权利要求1~2中任一项所述的真实场景与虚拟现实场景融合系统实现，其特征在于，包括以下步骤：

获取第一真实场景图像；

获取虚拟现实场景图像；

融合所述第一真实场景图像和所述虚拟现实场景图像，得到融合图像；

使用虚拟现实头戴式显示设备显示所述融合图像。

4.一种飞行模拟器，其特征在于，包括如权利要求1~2任一项所述的真实场景与虚拟现实场景融合系统。