CN115496884A - 基于SRWorks视频透视技术的虚实座舱融合方法 - Google Patents

Abstract

本发明公开了一种基于SRWorks视频透视技术的虚实座舱融合方法，包括：搭建虚拟训练场景步骤；实物图像采集步骤；座舱盖视口创建步骤，建立座舱盖模型；动态材质创建步骤，从虚拟训练场景中截取位于人眼视场内的贴图；创建动态材质实例，将贴图制作为动态材质并赋给座舱盖模型；虚实融合步骤包括，在虚幻引擎UE4下建立一张基于Scene Capture 2D类的蓝图，将捕获到的画面绘制到Render Target画布上，并进行纹理参数化，建立Actor类蓝图CockpitCover存放座舱盖模型，CockpitCover中显示虚拟训练场景和座舱仪表盘的融合场景。本发明的基于SRWorks视频透视技术的虚实座舱融合方法是在自然光环境下，通过视频透视技术将现实场景的座舱叠加到虚拟环境中，实现虚实座舱的融合，提供现实场景融入虚拟环境的方式。

Description

基于SRWorks视频透视技术的虚实座舱融合方法

技术领域

本发明属于虚实融合技术领域，具体指一种基于SRWorks视频透视技术的虚实座舱融合方法。

背景技术

通过分析国内外虚实融合技术的发展，在视频透视式的虚实融合方面并没有太多系统的研究，现有主要集中在研究增强现实（AR）技术领域，该技术也是MR(Mixed Reality，混合现实)技术的一种，但是该技术是将虚拟的环境通过光学透视原理叠加在现实的场景中。目前虚实融合在模拟训练领域应用的方法较少，一般都是基于绿幕环境下构建的模拟训练系统，该方式首先要搭建包围盒式的绿幕环境，同时还要建立精确的灯光系统，依靠绿幕抠像算法实现虚实场景的融合。

目前，用于模拟训练用的虚实融合技术多采用桌面级和VR任务训练器，桌面级和VR任务训练器沉浸感差，应用到训练教学中意义不大；全功能模拟器都是使用六自由度运动平台、球形视景投影系统，价格昂贵、需要专门的团队资源对其进行维护保障，占用场地多达数百个平方，因此过于庞大，受场地、资金、人员等因素限制，保障困难、使用维护复杂，造成该技术难以大规模推广应用，能模拟的训练任务也十分有限。另一方面使用模拟座舱和多通道液晶屏拼接成的视觉系统（如典型的三通道、四通道），但是视场角小，沉浸感差，即时增加到六通道，也难以达到人眼自然视场角度，因此该技术方案研制的战术训练系统一直存在视场角小，沉浸感差等问题。

随着商业头戴式MR显示器制作逐步成熟，跟踪注册、虚实融合、人机交互的技术在工业上的应用发展越来越多，效果越来越好。然而，MR在军事上的应用不多，特别是在飞行模拟训练领域应用极少，当前应用主要是采用光学透视式头戴显示器实现虚拟维修拆装训练，通过前方的光学透镜组允许来自真实和虚拟环境中的光线同时通过，实现虚拟引导信息叠加到现实装备上，实现虚实融合效果。这种方式计算机生成的虚拟物体不能够完全遮挡住真实环境中的物体，使得注册的虚拟物体呈现出半透明的状态，破坏了真实景象与虚拟场景相融合的真实感以及由于遮挡而提供给人们的深度信息，该方式无法应用于飞行模拟训练系统、战术模拟训练系统等，只能用于虚拟维修领域。

随着MR显示器技术的发展，国内外也开始尝试视频透视技术应用于模拟训练，但都是基于绿幕环境下构建的模拟训练系统，该方式首先要搭建包围盒式的绿幕环境，同时还要建立精确的灯光系统，依靠绿幕抠像算法实现虚实场景的融合；该方式既占用场地，同时也提高了建设成本，而且对光照效果特别敏感。

本背景技术所公开的上述信息仅仅用于增加对本申请背景技术的理解，因此，其可能包括不构成本领域普通技术人员已知的现有技术。

发明内容

本发明针对现有技术中桌面级和VR任务训练器的虚实融合技术存在视场角小、沉浸感差的技术问题，视频透视式的虚实融合存在需要搭建绿幕环境的技术问题，提出了一种基于SRWorks视频透视技术的虚实座舱融合方法，可以解决上述问题。

为实现上述发明目的，本发明采用下述技术方案予以实现：

一种基于SRWorks视频透视技术的虚实座舱融合方法，包括：

搭建虚拟训练场景步骤，获取训练场景的地形数据；

座舱盖视口创建步骤，建立座舱盖模型；

实物图像采集步骤，真实摄像头采集实物座舱的图像；

虚实融合步骤，包括动态材质创建步骤和融合场景显示步骤；

所述动态材质创建步骤包括：

实时获取用户的眼部姿态确定人眼视场，从所述训练场景中截取位于人眼视场内的贴图；

创建动态材质实例，将所述贴图制作为动态材质，将创建的动态材质实例作为材质赋给所述座舱盖模型；

所述融合场景显示步骤包括：

创建材质实例；

实时获取实物座舱的图像及其参数；

将实物座舱的图像赋值给贴图，将所述贴图传递至所述材质实例；

调节虚幻引擎UE4中摄像机在虚拟场景中的参数，使其与真实摄像头的参数一致；

将所述材质实例赋给所述座舱盖模型，以所述座舱盖模型作为显示窗口显示所述材质实例和动态材质实例。

本发明的一些实施例中，搭建虚拟训练场景步骤中，包括：

确定所要虚拟训练场景的地理范围；

从地图数据库中下载所确定的地理范围的地形数据文件；

将所述地形数据文件转换成HFZ格式；

地形图软件World Machine对HFZ格式的地形数据文件进行细节刻画；

在虚幻引擎UE4的蓝图中新建一个地图，并赋上初始材质，将地形图软件WorldMachine处理的地形数据文件和高度图、法线图一起放在文件中导入虚幻引擎UE4的蓝图中，构建出地形模型；

在虚幻引擎UE4中对初始材质进行处理，至少包括通过贴图混合使用多个纹理进行画面渲染，通过法线混合优化光线慢反射，对高度图和法线图中的地形尺寸、灰度图海拔高度进行计算调整，并通过画面渲染还原真实地貌。

本发明的一些实施例中，虚幻引擎UE4中还包括对所导入的地形数据文件进行分割，生成多个地形组件，以所述地形组件为单位加载所述地形数据文件。

本发明的一些实施例中，座舱盖视口创建步骤中，建立座舱盖模型的方法为：

根据实物座舱的尺寸，建立与其匹配的座舱盖模型；

在所述座舱盖模型中划定仪表盘区域，建立仪表盘的正投影模型并显示在所述座舱盖模型的仪表盘区域中；

对仪表盘的正投影模型采用布尔运算进行处理，并导入到虚幻引擎UE4中。

本发明的一些实施例中，实物图像采集步骤中，真实摄像头为双目摄像头，其中一个摄像头用于采集并渲染左眼图像，另外一个摄像头用于采集并渲染右眼图像；

还包括获取实物座舱的图像的深度信息，用来生成深度网格；

对所获取的图像进行三维重建，得到实物座舱的几何信息，生成拟合曲面曲率的三角剖分组成自适应网格。

本发明的一些实施例中，所述动态材质创建步骤中，还包括在虚幻引擎UE4中建立一张基于Scene Capture 2D类的蓝图，所述蓝图从父类中继承用于捕获画面的摄像机，通过所述摄像机将捕获到的画面绘制到Render Target画布上，所述Render Target画布作为动态材质的基础纹理；

调整所述摄像机的角度，保证摄像机的视场与人眼视场一致，根据所述摄像机的视场从所述训练场景中截取贴图；

利用虚幻引擎UE4的动态材质功能来实现材质基础纹理的不断切换，创建一个材质作为父材质，对所述贴图进行参数化；

建立一张Actor类蓝图CockpitCover用于存放所述座舱盖模型，以及实现显示功能的逻辑，在所述Actor类蓝图CockpitCover中添加Static Mesh组件，并将导入的座舱盖模型作为Mesh赋值给Static Mesh组件。

本发明的一些实施例中，所述融合场景显示步骤中，在所述Actor类蓝图CockpitCover中显示融合场景，即实现了虚实融合场景在座舱盖模型上的实时显示。

与现有技术相比，本发明的优点和积极效果是：

本发明的基于SRWorks视频透视技术的虚实座舱融合方法是在自然光环境下，通过视频透视技术将现实场景的座舱叠加到虚拟环境中，实现虚实座舱的融合，提供现实场景融入虚拟环境的方式，该方法采用商业头显及其API开发库,基于虚幻引擎UE4引擎设计座舱盖视口模块来实现虚实座舱的融合，不借助其他开发平台及插件、绿幕环境及抠像算法，集成方法优势明显。

结合附图阅读本发明的具体实施方式后，本发明的其他特点和优点将变得更加清楚。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1 是本发明提出的基于SRWorks视频透视技术的虚实座舱融合方法的一种实施例的原理方框图；

图2是本发明提出的基于SRWorks视频透视技术的虚实座舱融合方法的一种实施例中虚实座舱的融合的流程图；

图3是本发明提出的基于SRWorks视频透视技术的虚实座舱融合方法的一种实施例中虚拟舱盖导入UE4的效果。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，在本发明的描述中，术语“上”、“下”、“左”、“右”、“竖”、“横”、“内”、“外”等指示的方向或位置关系的术语是基于附图所示的方向或位置关系，这仅仅是为了便于描述，而不是指示或暗示所述装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

HTC VIVE Pro Eye型号的头戴显示设备具有SRWork的工具，本方案的实现需要基于HTC VIVE Pro Eye的SRWork工具实现。

舰载机模拟器实现虚实融合技术的基础在于视频透视技术的实现，在虚幻引擎UE4中将HTC VIVE Pro Eye摄像头拍摄的实物模拟座舱与虚幻引擎UE引擎制作的虚拟训练场景融合在一起，并通过HTC VIVE Pro Eye头显将融合画面显示出来。

基于视频透视的舰载机飞行模拟系统的设计要结合舰载机模拟训练的要求，满足实现飞行训练基础科目的需求，由此训练场景的逼真度，虚拟座舱模型与实物模拟座舱的实时对准，以及视频透视的实现效果都很关键。结合HTC VIVE Pro Eye，按照模块化思想，分训练场景模块、座舱盖视口模块、视频透视管理模块三方面实现基于SRWorks的视频透视技术。

下面将以一具体实施例进行说明。

实施例一

本实施例提出了一种基于SRWorks视频透视技术的虚实座舱融合方法，如图1所示，包括：

搭建虚拟训练场景步骤，获取训练场景的地形数据；

座舱盖视口创建步骤，建立座舱盖模型；

实物图像采集步骤，真实摄像头采集实物座舱的图像；

虚实融合步骤，包括动态材质创建步骤和融合场景显示步骤。

动态材质创建步骤包括：

实时获取用户的眼部姿态确定人眼视场，从训练场景中截取位于人眼视场内的贴图；

创建动态材质实例，将贴图制作为动态材质，将创建的动态材质实例作为材质赋给座舱盖模型。

其中，融合场景显示步骤包括：

创建材质实例；

实时获取实物座舱的图像及其参数；

将实物座舱的图像赋值给贴图，将贴图传递至材质实例；

调节虚幻引擎UE4中摄像机在虚拟场景中的参数，使其与真实摄像头的参数一致；

将材质实例赋给所述座舱盖模型，以座舱盖模型作为显示窗口显示材质实例和动态材质实例。

本实施例的基于SRWorks视频透视技术的虚实座舱融合方法是在自然光环境下，通过视频透视技术将现实场景的座舱叠加到虚拟环境中，实现虚实座舱的融合，提供现实场景融入虚拟环境的方式，该方法采用商业头显及其API开发库,基于虚幻引擎UE4引擎设计座舱盖视口模块来实现虚实座舱的融合，不借助其他开发平台及插件、绿幕环境及抠像算法，集成方法优势明显。

虚实融合步骤还包括，在虚幻引擎UE4下建立一张基于Scene Capture 2D类的蓝图，将捕获到的画面绘制到Render Target画布上，将该画布作为动态材质的基础纹理贴图进行纹理参数化，建立Actor类蓝图CockpitCover存放座舱盖模型，CockpitCover中显示虚拟训练场景和座舱仪表盘的融合场景。

本发明方法应用于虚实融合模拟训练系统，具有部署方便、针对性强、沉浸感强、使用简单，可灵活实现多人协同技战术对抗训练等优点，可以满足单兵训练、分队级、中队级训练，可以应用于航母甲板起飞降落、复杂条件起降、空中加油、编队飞行、自由空战等多种训练科目。

发明采用虚拟座舱盖视口方式实现实物模拟座舱与虚拟座舱及场景的融合，训练者坐在实物座舱中通过佩戴HTC VIVE Pro Eye,在头显中可以看到实物座舱上的虚拟座舱盖，并通过虚拟座舱盖看到虚拟场景，实现虚实座舱的融合。

传统飞行训练系统采用模拟地形制作，时间长、效率低、模式简单，设计方式都是采用Vega Prime、Mantis、BlueSky等仿真引擎驱动大场景，但是不支持VR训练应用，因此始终存在沉浸感不足、视场角受限，训练场景不够真实等问题，也无法应用于虚实融合模拟训练领域。本发明选用UE4引擎还原真实地形，支持VR/MR技术的开发，成本低、技术先进、兼容性好，可以有效提高VR视景的逼真度和沉浸感，本发明解决了快速高效的对真实训练地形进行建模，且实现场景加载不卡顿。

本发明的一些实施例中，搭建虚拟训练场景步骤中，包括：

确定所要虚拟训练场景的地理范围；

从地图数据库中下载所确定的地理范围的地形数据文件；

将所述地形数据文件转换成HFZ格式；

地形图软件World Machine对HFZ格式的地形数据文件进行细节刻画；

在虚幻引擎UE4的蓝图中新建一个地图，并赋上初始材质，将地形图软件WorldMachine处理的地形数据文件和高度图、法线图一起放在文件中导入虚幻引擎UE4的蓝图中，构建出地形模型；

在虚幻引擎UE4中对初始材质进行处理，至少包括通过贴图混合使用多个纹理进行画面渲染，通过法线混合优化光线慢反射，对高度图和法线图中的地形尺寸、灰度图海拔高度进行计算调整，并通过画面渲染还原真实地貌。

根据舰载机的驾驶训练对场景范围的需求，在UE4中还原450km×450km的超大真实训练场景，设计主要分为三步：真实地形数据的获取及预处理、地形数据导入UE4引擎、地形关卡的划分。

本发明的一些实施例中，虚幻引擎UE4中还包括对所导入的地形数据文件进行分割，生成多个地形组件，以所述地形组件为单位加载所述地形数据文件。

（1）首先根据所需训练真实地形的范围，以辽东半岛、山东半岛为例。通过谷歌地图框选并下载包含上述区域的地形数据文件；通过GlobalMapper读取下载好的DEM数据文件，确认所需区域并转换成HFZ格式，以便World Machine识别并操作，记下区域面积约921600km2、最高海拔高度2749m和最低海拔高度17m。在World Machine对地形文件进行细节刻画，为了保证建模后的清晰度，调整预览分辨率为1024×1024，将RGB通道拆成灰度图，和高度图、法线图一起放在文件中导入UE4蓝图中，进行最终的地形模型构建。

（2）在UE4蓝图中新建一个地图，并赋上一个初始材质。在贴图细节面板中添加三个Layers，方便后期连接不同的灰度图。将在World Machine中生成的文件导入创建的地形中，连接创建好的材质。对UE4中的材质进行复杂的处理，通过贴图混合使用多个纹理进行画面渲染，通过法线混合优化光线慢反射等等。为实现训练地景与真实场景1:1还原，提高地形精度。UE4通过使用-256到255.992中间的值来表示高度，所以高度图置换公式如下：

将对高度图的置换导入UE4，通过公式对地形尺寸、灰度图海拔高度等进行相应的调整，并通过画面渲染尽可能还原真实地貌。

（3）依据节省显示资源的原则，在UE4地形编辑器中，从外部导入的地形需要进行划分，生成多个地形组件，将整块大地形分割以后，为后续关卡划分的工作提供了便利。系统要实现的训练地形范围过大，且对分辨率要求较高式，为了避免加载超大地形，以及处理所有地形数据时造成的卡顿现象，将训练地形划分为30*30个地形关卡，按照地形与像素面积之间的转化关系计算，每个地形关卡范围大约为15km*15km，其中细化机场所在关卡地形，分8*8的小地形关卡组成，每个小关卡范围约为1.875km*1.875km，这样划分保证了起飞前机场所在地形关卡的清晰度和远处景象的加载效果。

座舱盖视口CockpitCover作为虚拟场景的显示窗口，是完成座舱虚实融合视频透视技术最重要的因素。一方面，虚拟座舱盖要与实物座舱能够1：1对准，以减少融合后的边缘穿帮现象；另一方面，训练者坐在实物座舱中通过佩戴HTC VIVE Pro Eye,在头显中可以看到实物座舱上的虚拟座舱盖，并通过虚拟座舱盖看到虚拟场景，实现虚实座舱的融合。

通过座舱盖建模及处理步骤，该建模方法的特征是虚拟舱盖的FBX模型是根据实物座舱Catia模型建立的，其外形能够与实物座舱精准匹配，并且与真机舱盖外形一致，舱盖模型作为虚拟场景的显示窗口，通过虚幻4引擎的Scene Capture功能完成对虚拟场景画面的捕捉，能够大大提升飞行人员训练过程中的沉浸感。

如图3所示，为虚拟舱盖导入UE4的效果图。

本发明的一些实施例中，座舱盖视口创建步骤中，建立座舱盖模型的方法为：

根据实物座舱的尺寸，建立与其匹配的座舱盖模型；

在所述座舱盖模型中划定仪表盘区域，建立仪表盘的正投影模型并显示在所述座舱盖模型的仪表盘区域中；

对仪表盘的正投影模型采用布尔运算进行处理，并导入到虚幻引擎UE4中。

该建模方法的特征是虚拟舱盖的FBX模型是根据实物座舱Catia模型建立的，其外形能够与实物座舱精准匹配，并且与真机舱盖外形一致，舱盖模型作为虚拟场景的显示窗口，通过虚幻引擎4的Scene Capture功能完成对虚拟场景画面的捕捉，能够大大提升飞行人员训练过程中的沉浸感。

采用实装飞机座舱盖模型建模进行虚实融合实验，建模方法如图2所示，首先由Catia导出的舱盖模型文件格式为.STEP，可直接导入3Dmax中。

该模型为完整的舱盖模型，但是与实物座舱合并时，由于实现了视频透视功能，会遮挡到部分的实物座舱仪表盘，因此需要对舱盖模型进行局部处理。建立仪表盘的正投影模型。然后通过3DMax中的“复合对象-布尔-差集”对模型进行修剪。

将布尔运算处理后的模型导出，导出的文件格式为.FBX，可直接导入到UE4中。

本发明的一些实施例中，实物图像采集步骤中，真实摄像头为双目摄像头，其中一个摄像头用于采集并渲染左眼图像，另外一个摄像头用于采集并渲染右眼图像；

还包括获取实物座舱的图像的深度信息，用来生成深度网格；

对所获取的图像进行三维重建，得到实物座舱的几何信息，生成拟合曲面曲率的三角剖分组成自适应网格。

HTC VIVE Pro Eye可以在SteamVR中打开摄像头并进行测试，在头显摄像头开启的情况下，通过蓝图编程将导入的虚拟座舱模型显示出来，调整虚拟座舱对准实物座舱，将导入的训练场景以贴图形式赋在座舱盖内部，实时更新场景画面，以实现视频透视效果。

基于SRWorks视频透视方法测试包括：

(a) Pass-through模块确保双目摄像头正常运行，接受图像的渲染层次设置，其中一个摄像头负责渲染左眼图像，另一个负责渲染右眼图像。

(b) Depth模块负责提供深度图像及相关信息，保证深度图像可以实时显示，提供的深度信息可以用来生成深度网格，用于与碰撞器的交互。

(c) 3DReconstruction模块负责得到真实世界的场景几何信息，通过生成拟合曲面曲率的三角剖分组成自适应网格。

(d)将SRWorks Experience in Unreal工程导入UE4中，Persistent Level包含一系列包含SRWorks功能的ViveSR actors，为实现视频透视提供引用和参考。

本发明的一些实施例中，动态材质创建步骤中，还包括在虚幻引擎UE4中建立一张基于Scene Capture 2D类的蓝图，该蓝图从父类中继承用于捕获画面的摄像机，通过摄像机将捕获到的画面绘制到Render Target画布上，Render Target画布作为动态材质的基础纹理。

调整摄像机的角度，保证摄像机的视场与人眼视场一致，根据所述摄像机的视场从所述训练场景中截取贴图。通过调整相机的角度，保证相机恰好能够从座舱内的人眼角度捕获到搭建好的虚拟训练场景，而捕获到的这张Render Target本质上其实是一张图片，可以用做材质的基础纹理。

利用虚幻引擎UE4的动态材质功能来实现材质基础纹理的不断切换，创建一个材质作为父材质，对贴图进行参数化。利用UE4的动态材质功能来实现材质基础纹理的不断切换，创建一个材质作为父材质，对基础纹理贴图进行参数化，方便后期制作动态材质。

建立一张Actor类蓝图CockpitCover用于存放所述座舱盖模型，以及实现显示功能的逻辑，在所述Actor类蓝图CockpitCover中添加Static Mesh组件，并将导入的座舱盖模型作为Mesh赋值给Static Mesh组件。在蓝图中添加Static Mesh组件，并将3DS MAX中导入的座舱盖模型作为Mesh赋值给Static Mesh组件。

创建动态材质实例，父类选择之前新建的材质，并且将基础纹理参数设置为绘制好的Render Target。将创建的动态材质实例作为材质赋给座舱盖模型，即实现了透过机舱盖显示虚拟场景画面的需求。

在虚拟舱盖CockpitCover实现虚拟场景VREnviroment的显示方法，主要是在蓝图CockpitCover_Manager中实现的，因此，本发明的一些实施例中，所述融合场景显示步骤中，在所述Actor类蓝图CockpitCover中显示融合场景。方法如下：

（a）首先创建函数Creat VRMode CC MID，通过Create Dynamic MaterialInstance创建一个材质实例，命名为CC_MID。

（b）给Set VRCapture Component传入三个参数：1、CC Capture_VRWorld，该参数内容即为UE4中摄像头捕捉到的画面，即画面快照；2、屏幕大小；3、材质实例CC_MID。

（c）创建函数Update Render Texture，在Update Render Texture里通过CreateRender Target 2D创建一张2D贴图，把摄像头捕捉到的画面，即画面快照CC Capture_VRWorld赋给这张2D贴图，再把它传给创建好的材质实例CC_MID。

（d）UE4中的摄像机在世界中的位置与HTC VIVE Pro Eye的摄像头位置对应，对Scene Capture 2D中相机的参数进行调整，通过调整画面的大小和相机的FOV来调整使用者通过座舱盖看到的虚拟场景的范围，尽可能还原人眼视角，实现虚实画面的视角一致。

（e）在蓝图中编写Set This Actor Owner Can See函数，设置MR模式下座舱盖可见，虚拟场景不能通过摄像头被看见。蓝图CockpitCover_Manager对应场景中的虚拟舱盖变量CockpitCover，可以给座舱盖模型赋CC_MID材质，再通过Update VR_CockpitcoverCapture函数设置实时更新材质画面，实现虚拟场景只能透过座舱盖被看到的显示效果。

使用HTC VIVE Pro Eye需要固定好两个定位器, 每次定位器范围内环境发生变化时都需要重新进行房间设置，需要校正头显的相对位置。因此制作的虚拟座舱盖在现实场景中的显示位置会受定位器的影响，难以固定。另外，由于坐在实物座舱内使用头显视角不是平直向前的，通过简单位移调整座舱盖，边缘部分难以和实物座舱对准，因此，本发明在该环境下设计调整键实现手动校正功能。

S和W键盘按键可以左右调整座舱盖模型位置，A和D键盘按键可以前后调整座舱盖，Q和E键盘按键上下调整座舱盖；R键盘按键结合Ctrl键可以调整座舱盖的横滚角度，同理，F键和V键分别调整座舱盖的偏航和俯仰角度。

在UE4环境下基于SRWorks视频透视方法实现虚实座舱融合的具体实现方法，并且在该环境下设计调整键实现手动校正头显相对位置功能、调整座舱盖模型位置和姿态角度功能，方便了手动调整融合效果。

本实施例的方法可以实现下列功能：

（1）在自然光环境下，基于SRWorks的视频透视技术实现了虚拟座舱盖与实物座舱的虚实融合显示，在虚拟座舱盖中可以融合显示虚拟场景，不需要搭建绿幕环境、避免了占用场地和特殊环境的应用模式。

（2）本发明实现了实物模拟座舱与虚拟环境的融合，改变了传统模拟训练视景系统的构建模式，不再需要通过液晶屏拼接视视景、也不需要通过多通道投影系统搭建视景，既降低了成本，也避免了占用场地，而且视场角和沉浸感都有很大的提高。

（3）通过大地景的设计与实现还原真实训练地形，取代了原有简单不可靠的虚拟训练地形，通过UE4引擎及其地形快速加载的手段，将真实训练大地形模型放入虚拟训练系统中并进行相应的画面优化，实现了游戏引擎高效加载渲染大地景，改变了传统视景引擎应用模式，提高模拟训练的真实性、有效性。

（4）座舱盖视口模块以真机座舱盖及仪表盘模型为基础，在建模软件进行了运算处理，解决了应用过程中的仪表盘遮挡问题，导入UE4后得到了较好的仿真效果。

（5）视频透视管理模块在SRWorks提供的各模块功能基础上，通过蓝图编程，将训练场景以贴图形式实时加载到做好的座舱盖模型的材质上，通过函数设置MR模式下训练场景的可见性，实现了MR模式下透过座舱盖看到训练场景的效果。

（6）通过增设校正座舱盖模型位置和翻转角度的按键、头显相对位置调整按键，实现了通过键盘手动实现虚实融合的效果。

本实施例中的术语解释为：

UE4:UNREAL ENGINEE4开发引擎。

SRWorks: HTC VIVE Pro Eye提供的SRWorks SDK开发模块。

MR:混合现实，现实世界与虚拟世界融合显示。

Catia：建模工具，该工具建立的模型也称Catia模型。

SteamVR：VR场景驱动平台，用于VR头显的驱动。

HTC VIVE Pro Eye： HTC提供的商业头戴式显示器型号。

以上实施例仅用以说明本发明的技术方案，而非对其进行限制；尽管参照前述实施例对本发明进行了详细的说明，对于本领域的普通技术人员来说，依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或替换，并不使相应技术方案的本质脱离本发明所要求保护的技术方案的精神和范围。

Claims (7)

1.一种基于SRWorks视频透视技术的虚实座舱融合方法，其特征在于，包括：

搭建虚拟训练场景步骤，获取训练场景的地形数据；

座舱盖视口创建步骤，建立座舱盖模型；

实物图像采集步骤，真实摄像头采集实物座舱的图像；

虚实融合步骤，包括动态材质创建步骤和融合场景显示步骤；

所述动态材质创建步骤包括：

实时获取用户的眼部姿态确定人眼视场，从所述训练场景中截取位于人眼视场内的贴图；

创建动态材质实例，将所述贴图制作为动态材质，将创建的动态材质实例作为材质赋给所述座舱盖模型；

所述融合场景显示步骤包括：

创建材质实例；

实时获取实物座舱的图像及其参数；

将实物座舱的图像赋值给贴图，将所述贴图传递至所述材质实例；

调节虚幻引擎UE4中摄像机在虚拟场景中的参数，使其与真实摄像头的参数一致；

将所述材质实例赋给所述座舱盖模型，以所述座舱盖模型作为显示窗口显示所述材质实例和动态材质实例。

2.根据权利要求1所述的虚实座舱融合方法，其特征在于，搭建虚拟训练场景步骤中，包括：

确定所要虚拟训练场景的地理范围；

从地图数据库中下载所确定的地理范围的地形数据文件；

将所述地形数据文件转换成HFZ格式；

地形图软件World Machine对HFZ格式的地形数据文件进行细节刻画；

在虚幻引擎UE4的蓝图中新建一个地图，并赋上初始材质，将地形图软件WorldMachine处理的地形数据文件和高度图、法线图一起放在文件中导入虚幻引擎UE4的蓝图中，构建出地形模型；

在虚幻引擎UE4中对初始材质进行处理，至少包括通过贴图混合使用多个纹理进行画面渲染，通过法线混合优化光线慢反射，对高度图和法线图中的地形尺寸、灰度图海拔高度进行计算调整，并通过画面渲染还原真实地貌。

3.根据权利要求2所述的虚实座舱融合方法，其特征在于，虚幻引擎UE4中还包括对所导入的地形数据文件进行分割，生成多个地形组件，以所述地形组件为单位加载所述地形数据文件。

4.根据权利要求1所述的虚实座舱融合方法，其特征在于，座舱盖视口创建步骤中，建立座舱盖模型的方法为：

根据实物座舱的尺寸，建立与其匹配的座舱盖模型；

在所述座舱盖模型中划定仪表盘区域，建立仪表盘的正投影模型并显示在所述座舱盖模型的仪表盘区域中；

对仪表盘的正投影模型采用布尔运算进行处理，并导入到虚幻引擎UE4中。

5.根据权利要求1-4任一项所述的虚实座舱融合方法，其特征在于，实物图像采集步骤中，真实摄像头为双目摄像头，其中一个摄像头用于采集并渲染左眼图像，另外一个摄像头用于采集并渲染右眼图像；

还包括获取实物座舱的图像的深度信息，用来生成深度网格；

对所获取的图像进行三维重建，得到实物座舱的几何信息，生成拟合曲面曲率的三角剖分组成自适应网格。

6.根据权利要求1-4任一项所述的虚实座舱融合方法，其特征在于，所述动态材质创建步骤中，还包括在虚幻引擎UE4中建立一张基于Scene Capture 2D类的蓝图，所述蓝图从父类中继承用于捕获画面的摄像机，通过所述摄像机将捕获到的画面绘制到Render Target画布上，所述Render Target画布作为动态材质的基础纹理；

调整所述摄像机的角度，保证摄像机的视场与人眼视场一致，根据所述摄像机的视场从所述训练场景中截取贴图；

利用虚幻引擎UE4的动态材质功能来实现材质基础纹理的不断切换，创建一个材质作为父材质，对所述贴图进行参数化；

建立一张Actor类蓝图CockpitCover用于存放所述座舱盖模型，以及实现显示功能的逻辑，在所述Actor类蓝图CockpitCover中添加Static Mesh组件，并将导入的座舱盖模型作为Mesh赋值给Static Mesh组件。

7.根据权利要求6所述的虚实座舱融合方法，其特征在于，所述融合场景显示步骤中，在所述Actor类蓝图CockpitCover中显示融合场景，即实现了虚实融合场景在座舱盖模型上的实时显示。

Images